JP5442050B2 - Vehicle perimeter monitoring system - Google Patents
Vehicle perimeter monitoring system Download PDFInfo
- Publication number
- JP5442050B2 JP5442050B2 JP2012031157A JP2012031157A JP5442050B2 JP 5442050 B2 JP5442050 B2 JP 5442050B2 JP 2012031157 A JP2012031157 A JP 2012031157A JP 2012031157 A JP2012031157 A JP 2012031157A JP 5442050 B2 JP5442050 B2 JP 5442050B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- contour portion
- target object
- monitoring system
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
本発明は、車両に搭載されている撮像装置を通じて得られた画像に基づいて当該車両の周辺を監視するシステムに関する。 The present invention relates to a system for monitoring the periphery of a vehicle based on an image obtained through an imaging device mounted on the vehicle.
車載の赤外線カメラにより撮像された車両の周辺画像に基づき、当該車両と接触する可能性がある人間等の物体の有無を判定する技術が提案されている（たとえば、特許文献１参照）。 There has been proposed a technique for determining the presence or absence of an object such as a human who may come into contact with a vehicle based on a surrounding image of the vehicle captured by an in-vehicle infrared camera (see, for example, Patent Document 1).
しかし、人間と当該建造物等とが重なると、車両の周辺画像のグレースケール画像において図４に示されているように人間（対象物体）Ｐが背景の建造物に紛れ込んでしまい、対象物体Ｐの存在を認識することが困難となる場合がある。すなわち、図４に示されているグレースケール画像から図５に示されているように４つの高輝度領域（白抜き部分）を含む２値化画像が得られても、これらの高輝度領域の輪郭Ｃやサイズからただちに人間Ｐの存在を認識することは困難な場合がある。 However, if the person and the building overlap, the human (target object) P is mixed into the background building as shown in FIG. 4 in the grayscale image of the surrounding image of the vehicle, and the target object P It may be difficult to recognize the existence of That is, even if a binary image including four high-intensity areas (outlined portions) is obtained from the grayscale image shown in FIG. 4 as shown in FIG. It may be difficult to recognize the presence of the person P immediately from the contour C and the size.
そこで、本発明は、車両に搭載された撮像装置を通じて得られた画像において人間等の対象物体が背景に紛れ込んだ場合でも、この対象物体の存在を高精度で認識しうる車両周辺監視システムを提供することを解決課題とする。 Therefore, the present invention provides a vehicle periphery monitoring system that can recognize the presence of a target object with high accuracy even when the target object such as a human is mixed in the background in an image obtained through an imaging device mounted on the vehicle. To solve it.
前記課題を解決するための本発明の車両周辺監視システムは、車両に搭載されている撮像装置を通じて得られた画像に基づいて当該車両の周辺を監視するシステムであって、前記画像における高輝度領域の輪郭を認識し、当該輪郭のうち対象物体の形状に応じた１次要件を満たす部分を１次輪郭部分として認識する第１処理部と、前記第１処理部により前記１次輪郭部分が存在すると判定されたことを要件として、前記１次輪郭部分の実空間における位置又はサイズを測定し、当該１次輪郭部分の実空間における位置又はサイズが前記対象物体のサイズに応じた２次要件を満たすか否かに応じて、前記１次輪郭部分が当該対象物体の輪郭部分である２次輪郭部分に該当するか否かを判定する第２処理部とを備え、前記第１処理部が、前記高輝度領域の輪郭が前記対象物体である人間の肩に相当する段差部分を有し、かつ、当該段差部分より上側にある部分の鉛直方向のサイズが、当該段差部分より下側にある部分の鉛直方向のサイズよりも小さいことを前記１次要件として前記１次輪郭部分を認識することを特徴とする。 A vehicle periphery monitoring system according to the present invention for solving the above-described problem is a system for monitoring the periphery of a vehicle based on an image obtained through an imaging device mounted on the vehicle, the high-luminance region in the image A first processing unit that recognizes a contour that satisfies a primary requirement according to the shape of the target object as a primary contour portion, and the primary processing portion includes the primary contour portion. Then, it is determined that the position or size of the primary contour portion in the real space is measured, and the secondary requirement that the position or size of the primary contour portion in the real space corresponds to the size of the target object is determined. A second processing unit that determines whether or not the primary contour portion corresponds to a secondary contour portion that is a contour portion of the target object, according to whether or not the first processing portion is satisfied, Said high brightness The contour of the area has a step portion corresponding to the shoulder of the human being as the target object, and the vertical size of the portion above the step portion is the vertical direction of the portion below the step portion. The primary contour portion is recognized as the primary requirement that the size is smaller than the size of.
本発明の車両周辺監視システムによれば、撮像装置を通じて得られた画像において高輝度領域の輪郭が認識される。高輝度領域の存在は撮像装置の撮像範囲における物体の存在を示しているので、その輪郭には対象物体の輪郭（２次輪郭部分）が含まれている可能性がある。高輝度領域の輪郭から２次輪郭部分を抽出するため、当該輪郭のうち対象物体の形状に応じた「１次要件」を満たす部分が「１次輪郭部分」として認識される。これにより、対象物体の形状に鑑みて、高輝度領域の輪郭のうち当該対象物体の輪郭部分に該当する可能性が高い部分が認識又は抽出されうる。 According to the vehicle periphery monitoring system of the present invention, the outline of the high luminance region is recognized in the image obtained through the imaging device. Since the presence of the high brightness region indicates the presence of an object in the imaging range of the imaging apparatus, the contour may include the contour of the target object (secondary contour portion). In order to extract the secondary contour portion from the contour of the high luminance region, a portion satisfying the “primary requirement” corresponding to the shape of the target object in the contour is recognized as the “primary contour portion”. Thereby, in view of the shape of the target object, a portion that is highly likely to correspond to the contour portion of the target object in the contour of the high luminance region can be recognized or extracted.
さらに、１次輪郭部分の実空間における位置又はサイズが対象物体のサイズに応じた「２次要件」を満たす場合、この１次輪郭部分が「２次輪郭部分」として認識される。これにより、前記画像において人間等の対象物体が背景に紛れ込んだ場合でも、２次輪郭部分が高い精度で認識又は抽出され、ひいてはこの２次輪郭部分を有する対象物体の存在が高い精度で認識されうる。具体的には、対象物体としての人間の肩に相当する段差部分を有する（又は囲う）２次輪郭部分、ひいては当該２次輪郭部分を有する人間（対象物体）の存在が高い精度で認識されうる。特に、前記のように車両の前方等、撮像装置の撮像範囲に建造物や森林が広がって画像においてこの建造物や森林に人間等の対象物体が紛れ込むことが起こりうる環境下で車両が走行している状況ではその真価が発揮されうる。 Furthermore, when the position or size of the primary contour portion in the real space satisfies the “secondary requirement” corresponding to the size of the target object, the primary contour portion is recognized as the “secondary contour portion”. As a result, even when a target object such as a human is included in the background in the image, the secondary contour portion is recognized or extracted with high accuracy, and the presence of the target object having the secondary contour portion is recognized with high accuracy. sell. Specifically, the presence of a secondary contour portion having (or enclosing) a stepped portion corresponding to a human shoulder as a target object, and thus the presence of a human (target object) having the secondary contour portion can be recognized with high accuracy. . In particular, as described above, the vehicle travels in an environment where a building or forest spreads in the imaging range of the imaging device, such as in front of the vehicle, and a target object such as a human may be mixed in the building or forest in the image. The true value can be demonstrated in the situation.
本発明の車両周辺監視システムにおいて、前記第２処理部が前記１次輪郭部分の前記段差部分の実空間における鉛直位置を測定し、当該測定した鉛直位置が当該対象物体である人間の肩の標準的な高さに応じた範囲に含まれることを前記２次要件として前記２次輪郭部分を認識することが好ましい。 In the vehicle periphery monitoring system of the present invention, the second processing unit measures a vertical position in the real space of the stepped portion of the primary contour portion, and the measured vertical position is a standard for a human shoulder that is the target object. It is preferable to recognize the secondary contour portion as the secondary requirement to be included in a range corresponding to a specific height.
当該構成の車両周辺監視システムによれば、対象物体としての人間の肩に相当する段差部分を有する２次輪郭部分、ひいては当該２次輪郭部分を有する人間（対象物体）の存在が高い精度で認識されうる。なお、実空間の鉛直座標軸の原点が地面と同じ高さに設定されている場合、段差部分の当該実空間における鉛直位置は、当該段差部分の地面からの高さ（サイズ）と同義である。 According to the vehicle periphery monitoring system having the above configuration, the presence of a secondary contour portion having a step portion corresponding to a human shoulder as a target object, and by extension, a human (target object) having the secondary contour portion is recognized with high accuracy. Can be done. When the origin of the vertical coordinate axis of the real space is set to the same height as the ground, the vertical position of the step portion in the real space is synonymous with the height (size) of the step portion from the ground.
本発明の車両周辺監視システムにおいて、前記第２処理部が前記１次輪郭部分の実空間における横幅を測定し、当該測定した横幅が当該対象物体である人間の標準的な肩幅に応じた範囲に含まれることを前記２次要件として前記２次輪郭部分を認識することが好ましい。 In the vehicle periphery monitoring system of the present invention, the second processing unit measures the width of the primary contour portion in real space, and the measured width is within a range corresponding to a standard shoulder width of the human being as the target object. It is preferable that the secondary contour portion is recognized as being included as the secondary requirement.
当該構成の車両周辺監視システムによれば、対象物体としての人間の肩に相当する段差部分を有する２次輪郭部分、ひいては当該２次輪郭部分を有する人間（対象物体）の存在が高い精度で認識されうる。 According to the vehicle periphery monitoring system having the above configuration, the presence of a secondary contour portion having a step portion corresponding to a human shoulder as a target object, and by extension, a human (target object) having the secondary contour portion is recognized with high accuracy. Can be done.
本発明の車両周辺監視システムにおいて、前記第２処理部により前記２次輪郭部分に該当すると認識された前記１次輪郭部分の時系列的な測定位置に基づき前記車両と当該２次輪郭部分を有する前記対象物体との接触可能性を評価する第３処理部をさらに備えていることが好ましい。 In the vehicle periphery monitoring system of the present invention, the vehicle and the secondary contour portion are included based on a time-series measurement position of the primary contour portion recognized as corresponding to the secondary contour portion by the second processing unit. It is preferable that the apparatus further includes a third processing unit that evaluates the possibility of contact with the target object.
当該構成の車両周辺監視システムによれば、前記のように撮像装置を通じて得られた画像において対象物体が背景に紛れ込んだ場合でも、２次輪郭部分が高い精度で認識（又は抽出）され、この２次輪郭部分を有する対象物体の存在が高い精度で認識されうるので、車両とこの対象物体とが接触する可能性も高い精度で評価されうる。 According to the vehicle periphery monitoring system configured as described above, even when the target object is mixed into the background in the image obtained through the imaging device as described above, the secondary contour portion is recognized (or extracted) with high accuracy. Since the presence of the target object having the next contour portion can be recognized with high accuracy, the possibility of contact between the vehicle and the target object can also be evaluated with high accuracy.
本発明の車両周辺監視システムにおいて、前記第３処理部が前記車両と前記対象物体との接触可能性の評価に基づき、当該対象物体の存在を知らせる又は強調する情報を車載の情報出力装置に出力させる、あるいは当該車両の挙動を制御するもしくは車載機器に制御させることが好ましい。 In the vehicle periphery monitoring system of the present invention, the third processing unit outputs information for informing or emphasizing the presence of the target object to an in-vehicle information output device based on the evaluation of the possibility of contact between the vehicle and the target object. It is preferable to control the behavior of the vehicle or to control the vehicle-mounted device.
当該構成の車両周辺監視システムによれば、前記のように車両と対象物体との接触可能性が高い精度で評価されうるので、車両と対象物体との接触回避等の観点から、当該対象物体又はその複数の対象部分を強調等する情報が適当に出力されうる。ここで、情報の出力とは、視覚、聴覚、触覚等、五感を通じて当該情報を車両の運転者等に認識させうるあらゆる形態で情報が出力されることを意味する。これにより、車両の運転者に対象物体の存在を認識させ、車両と対象物体との接触を回避するために車両の減速や操舵等、車両の挙動を適当に制御させることができる。 According to the vehicle periphery monitoring system having the above configuration, the possibility of contact between the vehicle and the target object can be evaluated with high accuracy as described above. Therefore, from the viewpoint of avoiding contact between the vehicle and the target object, the target object or Information emphasizing the plurality of target portions can be appropriately output. Here, the output of information means that the information is output in any form that allows the driver of the vehicle to recognize the information through the five senses, such as vision, hearing, and touch. This allows the driver of the vehicle to recognize the presence of the target object and appropriately control the behavior of the vehicle such as vehicle deceleration and steering in order to avoid contact between the vehicle and the target object.
また、前記のように高精度で評価された車両と対象物体との接触可能性に基づいて車載機器が制御される。これにより、車両と対象物体との接触を回避する観点から、車両の減速や操舵等、車両の挙動が適当に制御されうる。 Further, the in-vehicle device is controlled based on the possibility of contact between the vehicle and the target object evaluated with high accuracy as described above. Thereby, from the viewpoint of avoiding contact between the vehicle and the target object, the behavior of the vehicle such as deceleration or steering of the vehicle can be appropriately controlled.
本発明の車両周辺監視システムの構成について図１を用いて説明する。 The configuration of the vehicle periphery monitoring system of the present invention will be described with reference to FIG.
図１に示されているように車両１には、車両周辺監視システム１０と、車両１の前方部において車幅方向中央部にほぼ対称に配置された一対の赤外線カメラ（撮像装置）１０２と、フロントウィンドウにおいて運転者の視界を妨げないように配置されたＨＵＤ１０４とが搭載されている。また、図２に示されているように車両１には、ヨーレートセンサ１２２や速度センサ１２４等の種々のセンサが搭載されている。 As shown in FIG. 1, the vehicle 1 includes a vehicle periphery monitoring system 10, a pair of infrared cameras (imaging devices) 102 disposed substantially symmetrically at the center in the vehicle width direction at the front portion of the vehicle 1, A HUD 104 is mounted on the front window so as not to obstruct the driver's view. As shown in FIG. 2, various sensors such as a yaw rate sensor 122 and a speed sensor 124 are mounted on the vehicle 1.
車両周辺監視システム１０は車載の一対の撮像装置を通じて得られた画像に基づいて車両の周辺を監視するシステムである。車両周辺監視システム１０は、車両１に搭載されたハードウェアとしてのＥＣＵ又はコンピュータ（ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ等により構成されている。）と、メモリに格納され、当該コンピュータに諸機能を付与するソフトウェアとしての本発明の車両周辺監視プログラムとにより構成されている。なお、車両周辺監視プログラムは最初から車載コンピュータのメモリ（ＲＯＭ等）に格納されていてもよいが、車載コンピュータからのリクエストがあったとき等の任意のタイミングでこのプラグラムの一部又は全部がサーバ（構築システムを構成する。）２０からネットワークや衛星を介して当該車載コンピュータにダウンロードされ、そのメモリ（ＥＥＰＲＯＭ、ＲＡＭ等）に格納されてもよい。 The vehicle periphery monitoring system 10 is a system that monitors the periphery of a vehicle based on images obtained through a pair of in-vehicle imaging devices. The vehicle periphery monitoring system 10 is stored in a memory and an ECU or a computer (configured by a CPU, ROM, RAM, I / O, etc.) as hardware mounted on the vehicle 1, and has various functions in the computer. And a vehicle periphery monitoring program of the present invention as software for providing The vehicle periphery monitoring program may be stored in the memory (ROM or the like) of the in-vehicle computer from the beginning, but a part or all of this program is stored in the server at any timing such as when a request is received from the in-vehicle computer. (Constructs the construction system) It may be downloaded from 20 to the in-vehicle computer via a network or satellite and stored in its memory (EEPROM, RAM, etc.).
車両周辺監視システム１０は図２に示されているように、第１処理部１１と、第２処理部１２と、第３処理部１３とを備えている。 As shown in FIG. 2, the vehicle periphery monitoring system 10 includes a first processing unit 11, a second processing unit 12, and a third processing unit 13.
第１処理部１１は赤外線カメラ１０２により得られた画像における高輝度領域の輪郭Ｃを認識する。また、第１処理部１１は当該輪郭Ｃのうち対象物体である人間の形状に応じた「１次要件」を満たす部分を１次輪郭部分Ｃ1として認識する。 The first processing unit 11 recognizes the outline C of the high brightness area in the image obtained by the infrared camera 102. In addition, the first processing unit 11 recognizes, as the primary contour portion C 1 , a portion that satisfies the “primary requirement” corresponding to the shape of the target human being in the contour C.
第２処理部１２は第１処理部１１により認識された１次輪郭部分Ｃ1の実空間における高さ（Ｙ座標）を測定し、１次輪郭部分Ｃ1の実空間高さが人間のサイズに応じた「２次要件」を満たすか否かに応じて、１次輪郭部分Ｃ1が人間Ｐの輪郭部分（２次輪郭部分）Ｃ2に該当するか否かを判定する。 The second processing unit 12 measures the height (Y coordinate) of the primary contour portion C 1 recognized by the first processing unit 11 in the real space, and the real space height of the primary contour portion C 1 is the human size. It is determined whether or not the primary contour portion C 1 corresponds to the contour portion (secondary contour portion) C 2 of the person P depending on whether or not the “secondary requirement” is satisfied.
第３処理部１３は第２処理部１２により２次輪郭部分Ｃ2に該当すると認識された１次輪郭部分Ｃ1の時系列的な測定位置に基づき、車両１と人間Ｐとの接触可能性を評価する。また、第３処理部１３は車両１と人間Ｐとの接触可能性の評価に応じて、当該人間Ｐの存在を知らせる又は強調する画像をＨＵＤ（情報出力装置）１０４に表示させる等、車載機器の動作を制御する。 The third processing unit 13 may contact the vehicle 1 and the person P based on the time-series measurement position of the primary contour portion C 1 recognized as corresponding to the secondary contour portion C 2 by the second processing unit 12. To evaluate. In addition, the third processing unit 13 displays on the HUD (information output device) 104 an image that informs or emphasizes the presence of the person P in accordance with the evaluation of the possibility of contact between the vehicle 1 and the person P. To control the operation.
前記構成の車両１及び車両周辺監視システム１０の機能について図３〜図１０を用いて説明する。 Functions of the vehicle 1 and the vehicle periphery monitoring system 10 configured as described above will be described with reference to FIGS.
まず、第１処理部１１が「第１処理」を実行する（図３／Ｓ１１）。 First, the first processing unit 11 executes “first processing” (S11 in FIG. 3).
第１処理部１１はメモリから２値化画像を読み出し、この２値化画像における高輝度領域の輪郭Ｃを認識する（図３／Ｓ１１１）。この２値化画像は、一対の赤外線カメラ１０２により撮像された赤外線画像がＡ／Ｄ変換されることで得られたグレースケール画像が２値化処理されることで得られたものである。たとえば図４に示されているグレースケール画像から図５に示されている２値化画像が得られた場合、図５に白抜き部分として示されている高輝度領域の輪郭Ｃが認識される。画像における高輝度領域のランレングスコードの始点又は終点により構成される線分（曲がっている形状の線分も含まれる。）が、当該高輝度領域の輪郭Ｃとして認識される。 The first processing unit 11 reads the binarized image from the memory, and recognizes the outline C of the high luminance area in the binarized image (S111 in FIG. 3). This binarized image is obtained by binarizing a grayscale image obtained by A / D converting an infrared image captured by a pair of infrared cameras 102. For example, when the binarized image shown in FIG. 5 is obtained from the grayscale image shown in FIG. 4, the outline C of the high-intensity region shown as a white portion in FIG. 5 is recognized. . A line segment constituted by the start point or end point of the run length code of the high luminance area in the image (including a bent line segment) is recognized as the outline C of the high luminance area.
また、第１処理部１１は輪郭Ｃのうち、対象物体である人間Ｐの形状に応じた「１次要件」を満たす部分があるか否かを判定する（図３／Ｓ１１２）。たとえば、図６に示されているように正面又は背面からみた人間（破線）の頭部から肩を経て腕にいたる輪郭を特徴付ける基準輪郭部分（太線で示されている。）Ｃ0は、肩に相当する段差部分を有している。また、基準輪郭部分Ｃ0は当該段差部分より上側にある部分の高さ（鉛直方向のサイズ）Ｈ1が、当該段差部分より下側にある部分の高さＨ2よりも小さいという傾向がある。そこで、基準輪郭部分Ｃ0と同じ特徴を有すること、すなわち（１）（滑らかに変化する）段差部分があり、かつ（２）当該段差部分より上側にある部分の高さ（鉛直方向のサイズ）が、当該段差部分より下側にある部分の高さよりも小さいことが１次要件とされる。 In addition, the first processing unit 11 determines whether or not there is a part of the contour C that satisfies the “primary requirement” according to the shape of the target person P (FIG. 3 / S112). For example, as shown in FIG. 6, a reference contour portion (indicated by a thick line) C 0 characterizing a contour from the head of a human (dashed line) through the shoulder to the arm as viewed from the front or back is shown as shoulder. Has a step portion corresponding to. Further, in the reference contour portion C 0, the height (vertical size) H 1 of the portion above the step portion tends to be smaller than the height H 2 of the portion below the step portion. . Therefore, it has the same characteristics as the reference contour portion C 0 , that is, (1) there is a step portion (which changes smoothly), and (2) the height of the portion above the step portion (size in the vertical direction). However, the primary requirement is that the height is smaller than the height of the portion below the stepped portion.
なお、たとえば図５に示されているような４つの高輝度領域の最上位点を基準とする、ランレングスコードの始点又は終点の上下方向の変化パターンに基づいて１次輪郭部分Ｃ1の有無が認識されてもよい。また、たとえば図６に示されている基準輪郭部分Ｃ0を含むテンプレートを用いたテンプレート・マッチングにより、当該基準輪郭部分に類似することを１次要件として１次輪郭部分Ｃ1の有無が認識されてもよい。さらに、たとえば図７に示されているように歩行中の人間を横向きで見た際に胴体部から横に突出する上肢部又は下肢部に相当する、下方に延びた突出部分を囲う基準輪郭部分Ｃ0と同じ特徴を有することを１次要件として１次輪郭部分Ｃ1の有無が判定されてもよい。 For example, the presence or absence of the primary contour portion C 1 based on the change pattern in the vertical direction of the start point or end point of the run length code with reference to the highest point of the four high luminance areas as shown in FIG. May be recognized. Further, for example, by template matching using a template including the reference contour portion C 0 shown in FIG. 6, the presence or absence of the primary contour portion C 1 is recognized as a primary requirement that it is similar to the reference contour portion. May be. Further, for example, as shown in FIG. 7, a reference contour portion that surrounds a protruding portion extending downward, corresponding to an upper limb portion or a lower limb portion that protrudes laterally from the body portion when a human being walking is viewed sideways. The presence or absence of the primary contour portion C 1 may be determined on the basis of having the same characteristics as C 0 as a primary requirement.
そして、第１処理部１１は輪郭Ｃのうち１次要件を満たす部分がある場合（図３／Ｓ１１２‥ＹＥＳ）、当該部分を１次輪郭部分Ｃ1として認識する（図３／Ｓ１１３）。これにより、たとえば図６に示されている基準輪郭部分Ｃ0に形状が類似する、図８に示されているような１次輪郭部分Ｃ1が認識される。 When the first processing unit 11 have a portion to meet the primary requirement of the contour C (Fig. 3 / S112 ‥ YES), recognizes that part as a primary contour portion C 1 (FIG. 3 / S113). As a result, for example, the primary contour portion C 1 as shown in FIG. 8 that is similar in shape to the reference contour portion C 0 shown in FIG. 6 is recognized.
次に、第２処理部１２が「第２処理」を実行する（図３／Ｓ１２）。 Next, the second processing unit 12 executes “second processing” (S12 in FIG. 3).
第２処理部１２は一対の赤外線カメラ１０２の視差を利用して、第１処理部１１により認識された１次輪郭部分Ｃ1の重心（又は代表点）の実空間における位置（Ｙ座標）を測定する（図３／Ｓ１２１）。この際、第２処理部１２はヨーレートセンサ１２２及び速度センサ１２４のそれぞれの出力に基づき、車両１の回頭による、画像における位置ずれを補正する。回頭角補正されたエッジＥPの測定位置は時系列的にメモリに保存される。ここで実空間位置とは、図１に示されているように一対の赤外線カメラ１０２の取り付け位置の中点を原点Ｏとし、水平方向、鉛直方向及び前後方向をそれぞれＸ、Ｙ及びＺ軸とする座標系における位置を意味する。実空間位置の測定方法及び回頭角補正方法はたとえば前記特許文献１において説明されているので本願明細書では詳細な説明を省略する。 The second processing unit 12 uses the parallax of the pair of infrared cameras 102 to determine the position (Y coordinate) of the center of gravity (or representative point) of the primary contour portion C 1 recognized by the first processing unit 11 in real space. Measure (FIG. 3 / S121). At this time, the second processing unit 12 corrects the positional deviation in the image due to the turning of the vehicle 1 based on the outputs of the yaw rate sensor 122 and the speed sensor 124. The measurement position of the edge E P corrected for the turning angle is stored in the memory in time series. As shown in FIG. 1, the real space position is the origin O at the midpoint of the attachment position of the pair of infrared cameras 102, and the horizontal, vertical, and front-rear directions are the X, Y, and Z axes, respectively. Means a position in the coordinate system. Since the method for measuring the real space position and the method for correcting the turning angle are described in Patent Document 1, for example, detailed description thereof is omitted in this specification.
さらに、第２処理部１２は、１次輪郭部分Ｅ2の実空間位置（Ｙ座標）が、人間の標準的な肩の高さに応じた範囲（メモリに格納されている。）に含まれるという２次要件が満たされるか否かを判定する（図３／Ｓ１２２）。 Further, the second processing section 12, the real space position of the primary contour portion E 2 (Y coordinate) are included in the range corresponding to the height of the human standard shoulder (stored in the memory.) It is determined whether or not the secondary requirement is satisfied (FIG. 3 / S122).
そして、第２処理部１２は当該要件が満たされていると判定した場合（図３／Ｓ１２２‥ＹＥＳ）、１次輪郭部分Ｃ1が２次輪郭部分Ｃ2、すなわち人間（対象物体）Ｐの輪郭部分に該当すると認識する（図３／Ｓ１２３）。これにより、たとえば図８に示されている１次輪郭部分Ｃ1が２次輪郭部分Ｃ2として認識され、同じく図８に破線で示されているような人間Ｐの存在が認識される。
続いて、第３処理部１３が「第３処理」を実行する（図３／Ｓ１３）。
When the second processing unit 12 determines that the requirement is satisfied (FIG. 3 / S122... YES), the primary contour portion C 1 is the secondary contour portion C 2 , that is, the human (target object) P. It recognizes that it corresponds to an outline part (S123 of Drawing 3). As a result, for example, the primary contour portion C 1 shown in FIG. 8 is recognized as the secondary contour portion C 2 , and the presence of the person P as shown by the broken line in FIG. 8 is also recognized.
Subsequently, the third processing unit 13 executes “third processing” (S13 in FIG. 3).
第３処理部１３は第２処理部１２により２次輪郭部分Ｃ2に該当すると認識された１次輪郭部分Ｃ1の時系列的な測定位置をメモリから読み取り、読み取った時系列的な測定位置に基づき車両１を基準とした人間Ｐの相対速度（大きさ及び向きを含む。）を算出する（図３／Ｓ１３１）。 The third processing unit 13 reads the time-series measurement position of the primary contour portion C 1 recognized as corresponding to the secondary contour portion C 2 by the second processing unit 12 from the memory, and reads the read time-series measurement position. Based on the above, the relative speed (including size and direction) of the human P with respect to the vehicle 1 is calculated (FIG. 3 / S131).
また、第３処理部１３は車両１と当該人間Ｐとの接触可能性を評価する（図３／Ｓ１３２）。たとえば、図９に示されているように赤外線カメラ１０２により監視可能な三角形領域Ａ0よりも、車両１に対する人間Ｐの相対速度ｖsと余裕時間Ｔとの積（ｖs×Ｔ）だけ低い三角形領域（警報判定領域）が定義される。また、当該三角形領域のうち、Ｚ軸を中心とするＸ方向の幅がα＋２β（α：車幅、β：余裕幅）の第１領域（接近判定領域）Ａ1と、第１領域Ａ1の左右の第２領域（侵入判定領域）Ａ2L及びＡ2Rとが定義される。そして、人間Ｐが第１領域Ａ1にある場合や、人間Ｐが左右の第２領域Ａ2にあって、その相対速度ベクトルｖsに鑑みて第１領域Ａ1に侵入してくることが予測される場合、この人間Ｐと車両１とが接触する可能性が高く評価される。 The third processing unit 13 evaluates the possibility of contact between the vehicle 1 and the person P (FIG. 3 / S132). For example, as shown in FIG. 9, it is lower than the triangular area A 0 that can be monitored by the infrared camera 102 by the product (v s × T) of the relative speed v s of the person P to the vehicle 1 and the margin time T. A triangular area (alarm determination area) is defined. Among the triangular regions, a first region (approaching determination region) A 1 having a width in the X direction centered on the Z axis of α + 2β (α: vehicle width, β: margin width) and the first region A 1 The left and right second areas (intrusion determination areas) A 2L and A 2R are defined. When the person P is in the first area A 1 or when the person P is in the left and right second areas A 2 and enters the first area A 1 in view of the relative velocity vector v s. When predicted, the possibility that the person P and the vehicle 1 are in contact with each other is highly evaluated.
そして、第３処理部１３は車両１と人間（対象物体）Ｐとの接触可能性を高く評価した場合（図３／Ｓ１３３‥ＹＥＳ）、「第１制御処理」を実行する（図３／Ｓ１３４）。これにより、たとえば人間Ｐの存在を強調するため、図１０に示されているように２次輪郭部分Ｃ2を囲む矩形状の橙色のフレームｆが「第１情報」としてＨＵＤ１０４に表示される。なお、フレームｆが２次輪郭部分Ｃ2の全部又は大部分を包含するものであれば、その形状やサイズは任意に変更されてもよい。また、第１情報として「ピッピッピッ」等の音声がスピーカ（図示略）から出力されてもよい。 When the third processing unit 13 highly evaluates the possibility of contact between the vehicle 1 and the human (target object) P (FIG. 3 / S133... YES), the third processing unit 13 executes the “first control process” (FIG. 3 / S134). ). Thus, for example, in order to emphasize the presence of the person P, a rectangular orange frame f surrounding the secondary contour portion C 2 is displayed on the HUD 104 as “first information” as shown in FIG. Incidentally, if the frame f to encompass all or most of the secondary edge portion C 2, the shape and size may be arbitrarily changed. Further, as the first information, a sound such as “beep” may be output from a speaker (not shown).
一方、第３処理部１３は車両１と人間Ｐとが接触する可能性が低いと判定した場合（図３／Ｓ１３３‥ＮＯ）、「第２制御処理」を実行する（図３／Ｓ１３５）。これにより、たとえば人間Ｐの存在を控えめに強調するため、図１０に示されているように２次輪郭部分Ｃ2を囲む矩形状の黄色のフレームｆが「第２情報」としてＨＵＤ１０４に表示される。なお、第２情報として「ピッ」等、第１情報よりも短い（又は音量が小さい）音声がスピーカ（図示略）から出力されてもよい。 On the other hand, when it is determined that the possibility that the vehicle 1 and the person P are in contact with each other is low (FIG. 3 / S133... NO), the third processing unit 13 executes the “second control process” (FIG. 3 / S135). Accordingly, for example, in order to conspicuously emphasize the presence of the human P, a rectangular yellow frame f surrounding the secondary contour portion C 2 is displayed on the HUD 104 as “second information” as shown in FIG. The Note that the second information may be output from a speaker (not shown), such as “beep”, which is shorter (or lower in volume) than the first information.
前記機能を発揮する本発明の車両周辺監視システム１０によれば、赤外線カメラ（撮像装置）１０２を通じて得られた画像（２値化画像）において高輝度領域の輪郭Ｃが認識される（図３／Ｓ１１１、図５）。高輝度領域の存在は赤外線カメラ１０２の撮像範囲における物体の存在を示しているので、その輪郭Ｃには対象物体（人間）Ｐの輪郭（２次輪郭部分）Ｃ2が含まれている可能性がある。高輝度領域の輪郭Ｃから２次輪郭部分Ｃ2を抽出するため、当該輪郭Ｃのうち人間Ｐの形状に応じた「１次要件」を満たす部分が１次輪郭部分Ｃ1として認識される（図３／Ｓ１１３、図８）。これにより、人間の形状に鑑みて、高輝度領域の輪郭Ｃのうち人間の輪郭部分に該当する可能性が高い１次輪郭部分Ｃ1が認識又は抽出されうる。 According to the vehicle periphery monitoring system 10 of the present invention that exhibits the above function, the outline C of the high brightness region is recognized in the image (binarized image) obtained through the infrared camera (imaging device) 102 (FIG. 3 / S111, FIG. 5). Since the presence of the high luminance region indicates the presence of an object in the imaging range of the infrared camera 102, the possibility of including the target object (a human) P of the contour (secondary contour portion) C 2 on its contour C There is. In order to extract the secondary contour portion C 2 from the contour C of the high luminance region, a portion satisfying the “primary requirement” corresponding to the shape of the human P in the contour C is recognized as the primary contour portion C 1 ( FIG. 3 / S113, FIG. 8). Thereby, in view of the human shape, the primary contour portion C 1 that is highly likely to correspond to the human contour portion of the contour C of the high-luminance region can be recognized or extracted.
さらに、１次輪郭部分Ｃ1の実空間における鉛直位置（地面からの高さ）が人間のサイズに応じた「２次要件」を満たす場合、この１次輪郭部分Ｃ1が２次輪郭部分Ｃ2として認識される（図３／Ｓ１２１〜Ｓ１２３、図８）。これにより、前記画像において人間Ｐが背景に紛れ込んだ場合でも、２次輪郭部分Ｃ2が高い精度で認識又は抽出され、ひいてはこの２次輪郭部分Ｃ2を有する人間Ｐの存在が高い精度で認識されうる。特に、車両１の前方等、撮像装置の撮像範囲に建造物や森林が広がり、画像（２値化画像）においてこの建造物等に人間等の対象物体が紛れ込みやすい環境下で車両１が走行している状況ではその真価が発揮されうる。 Further, when the vertical position (height from the ground) of the primary contour portion C 1 in the real space satisfies the “secondary requirement” according to the size of the person, the primary contour portion C 1 becomes the secondary contour portion C. 2 (FIG. 3 / S121-S123, FIG. 8). As a result, even when the human P is mixed in the background in the image, the secondary contour portion C 2 is recognized or extracted with high accuracy, and consequently the presence of the human P having the secondary contour portion C 2 is recognized with high accuracy. Can be done. In particular, the vehicle 1 travels in an environment where a building or forest spreads in the imaging range of the imaging device, such as in front of the vehicle 1, and a target object such as a human is easily mixed into the building in the image (binary image). The true value can be demonstrated in the situation.
また、前記のように人間Ｐが背景に紛れ込んだ場合でも、２次輪郭部分Ｃ2、さらには２次輪郭部分Ｃ2を有する人間Ｐの存在が高い精度で認識されうるので、車両１と人間Ｐとが接触する可能性も高い精度で評価されうる（図３／Ｓ１３２）。 Further, even when the human P is mixed in the background as described above, the existence of the human P having the secondary contour portion C 2 and further the secondary contour portion C 2 can be recognized with high accuracy. The possibility of contact with P can be evaluated with high accuracy (FIG. 3 / S132).
さらに、前記のように車両１と人間Ｐとの接触可能性が高い精度で評価されうるので、車両１と人間Ｐとの接触回避等の観点から、当該人間Ｐ又はその部分を強調する第１又は第２情報が適当にＨＵＤ１０４に表示（出力）されうる（図３／Ｓ１３４，Ｓ１３５、図９、図１０）。これにより、車両１の運転者に人間Ｐの存在を認識させ、車両１と人間Ｐとの接触を回避するために車両１の減速や操舵等、車両１の挙動を適当に制御させることができる。 Furthermore, since the possibility of contact between the vehicle 1 and the person P can be evaluated with high accuracy as described above, from the viewpoint of avoiding contact between the vehicle 1 and the person P, the person P or a portion thereof is emphasized. Alternatively, the second information can be appropriately displayed (output) on the HUD 104 (FIG. 3 / S134, S135, FIG. 9, FIG. 10). This allows the driver of the vehicle 1 to recognize the presence of the person P and appropriately control the behavior of the vehicle 1 such as deceleration and steering of the vehicle 1 in order to avoid contact between the vehicle 1 and the person P. .
なお、前記実施形態では人間Ｐの輪郭部分が２次輪郭部分Ｃ2として認識されたが、他の実施形態として同様の方法に基づいて犬や猫等の動物のエッジが２次輪郭部分として認識されてもよい。 In the above embodiment, the contour portion of the human P is recognized as the secondary contour portion C 2. However, as another embodiment, the edge of an animal such as a dog or a cat is recognized as the secondary contour portion based on the same method. May be.
前記実施形態では１次輪郭部分Ｃ1の実空間におけるＹ座標（鉛直位置）が人間（対象物体）の標準的な肩の高さ（サイズ）に鑑みた適当な範囲に含まれているという１次要件が満たされているか否かに応じて１次輪郭部分Ｃ1が２次輪郭部分Ｃ2に該当するか否かが判定されたが（図３／Ｓ１２２）、他の実施形態として１次輪郭部分Ｃ1の実空間における横又は縦の広がりが、人間（対象物体）の標準的な肩幅等（サイズ）に応じた範囲に属するという２次要件を満たしているか否かに応じて１次輪郭部分Ｃ1が２次輪郭部分Ｃ2に該当するか否かが判定されてもよい。 In the above-described embodiment, the Y coordinate (vertical position) in the real space of the primary contour portion C 1 is included in an appropriate range in consideration of the standard shoulder height (size) of a human (target object). It is determined whether or not the primary contour portion C 1 corresponds to the secondary contour portion C 2 depending on whether or not the next requirement is satisfied (FIG. 3 / S122). Depending on whether or not the horizontal or vertical spread of the contour portion C 1 in the real space satisfies the secondary requirement that it belongs to a range corresponding to a standard shoulder width or the like (size) of a person (target object) It may be determined whether or not the contour portion C 1 corresponds to the secondary contour portion C 2 .
また、前記実施形態では第３処理部１３が、第１又は第２制御処理としてこの対象物体の存在を強調する第１又は第２情報をＨＵＤ１０４に表示させたが（図９、図１０）、他の実施形態として第３処理部１３が、第１又は第２制御処理として車両１の挙動を制御するためにステアリングシステムやブレーキシステム等の車載機器を制御する、又は当該車載機器に車両１の挙動を制御させてもよい。当該構成の車両周辺監視システム１０によれば、前記のように高精度で評価された車両１と人間Ｐとの接触可能性に基づいて車載機器が制御され、これにより、車両１と人間Ｐとの接触を回避する観点から、車両１の減速や操舵等、その挙動が適当に制御されうる。 In the embodiment, the third processing unit 13 displays the first or second information that emphasizes the presence of the target object on the HUD 104 as the first or second control processing (FIGS. 9 and 10). As another embodiment, the third processing unit 13 controls in-vehicle devices such as a steering system and a brake system in order to control the behavior of the vehicle 1 as the first or second control processing, or the in-vehicle devices have the vehicle 1 The behavior may be controlled. According to the vehicle periphery monitoring system 10 having the above configuration, the in-vehicle device is controlled based on the possibility of contact between the vehicle 1 and the human P evaluated with high accuracy as described above. From the viewpoint of avoiding this contact, the behavior of the vehicle 1 such as deceleration and steering can be appropriately controlled.
１‥車両、１０‥車両周辺監視システム、１１‥第１処理部、１２‥第２処理部、１３‥第３処理部、２０‥サーバ（車両周辺監視システムの構築システム）、１０２‥赤外線カメラ（撮像装置）、１０４‥ＨＵＤ（情報出力装置（車載機器））、１２２‥ヨーレートセンサ、１２４‥速度センサ。 DESCRIPTION OF SYMBOLS 1 ... Vehicle, 10 ... Vehicle periphery monitoring system, 11 ... 1st process part, 12 ... 2nd process part, 13 ... 3rd process part, 20 ... Server (construction system of vehicle periphery monitoring system), 102 ... Infrared camera ( Imaging device), 104... HUD (information output device (on-vehicle equipment)), 122... Yaw rate sensor, 124.
Claims (5)
前記画像における高輝度領域の輪郭を認識し、当該輪郭のうち対象物体の形状に応じた１次要件を満たす部分を１次輪郭部分として認識する第１処理部と、
前記第１処理部により前記１次輪郭部分が存在すると判定されたことを要件として、前記１次輪郭部分の実空間における位置又はサイズを測定し、当該１次輪郭部分の実空間における位置又はサイズが前記対象物体のサイズに応じた２次要件を満たすか否かに応じて、前記１次輪郭部分が当該対象物体の輪郭部分である２次輪郭部分に該当するか否かを判定する第２処理部とを備え、
前記第１処理部が、前記高輝度領域の輪郭が前記対象物体である人間の肩に相当する段差部分を有し、かつ、当該段差部分より上側にある部分の鉛直方向のサイズが、当該段差部分より下側にある部分の鉛直方向のサイズよりも小さいことを前記１次要件として前記１次輪郭部分を認識することを特徴とする車両周辺監視システム。 A system for monitoring the periphery of a vehicle based on an image obtained through an imaging device mounted on the vehicle,
A first processing unit for recognizing a contour of a high-luminance region in the image and recognizing, as a primary contour portion, a portion satisfying a primary requirement according to a shape of a target object in the contour;
On the condition that the primary contour portion is determined to be present by the first processing unit, the position or size of the primary contour portion in the real space is measured, and the position or size of the primary contour portion in the real space is measured. 2nd to determine whether or not the primary contour portion corresponds to the secondary contour portion that is the contour portion of the target object, depending on whether or not satisfies the secondary requirement according to the size of the target object A processing unit,
The first processing unit has a step portion whose contour of the high brightness region corresponds to the shoulder of a human being as the target object, and a vertical size of a portion above the step portion is equal to the step The vehicle periphery monitoring system, wherein the primary contour portion is recognized as the primary requirement that the size in the vertical direction of the portion below the portion is smaller.
前記第２処理部が前記１次輪郭部分の前記段差部分の実空間における鉛直位置を測定し、当該測定した鉛直位置が当該対象物体である人間の肩の標準的な高さに応じた範囲に含まれることを前記２次要件として前記２次輪郭部分を認識することを特徴とする車両周辺監視システム。 In the vehicle periphery monitoring system according to claim 1,
The second processing unit measures a vertical position in the real space of the stepped portion of the primary contour portion, and the measured vertical position is in a range corresponding to a standard height of a human shoulder as the target object. The vehicle periphery monitoring system, wherein the secondary contour portion is recognized as being included as the secondary requirement.
前記第２処理部が前記１次輪郭部分の実空間における横幅を測定し、当該測定した横幅が当該対象物体である人間の標準的な肩幅に応じた範囲に含まれることを前記２次要件として前記２次輪郭部分を認識することを特徴とする車両周辺監視システム。 In the vehicle periphery monitoring system according to claim 1,
The secondary requirement is that the second processing unit measures the width of the primary contour portion in the real space, and the measured width is included in a range corresponding to a standard shoulder width of a human being as the target object. A vehicle periphery monitoring system, wherein the secondary contour portion is recognized.
前記第２処理部により前記２次輪郭部分に該当すると認識された前記１次輪郭部分の時系列的な測定位置に基づき前記車両と当該２次輪郭部分を有する前記対象物体との接触可能性を評価する第３処理部をさらに備えていることを特徴とする車両周辺監視システム。 In the vehicle periphery monitoring system according to any one of claims 1 to 3,
The possibility of contact between the vehicle and the target object having the secondary contour portion based on the time-series measurement position of the primary contour portion recognized as corresponding to the secondary contour portion by the second processing unit. A vehicle periphery monitoring system, further comprising a third processing unit for evaluation.
前記第３処理部が前記車両と前記対象物体との接触可能性の評価に基づき、当該対象物体の存在を知らせる又は強調する情報を車載の情報出力装置に出力させる、あるいは当該車両の挙動を制御するもしくは車載機器に制御させることを特徴とする車両周辺監視システム。 In the vehicle periphery monitoring system according to claim 4,
Based on the evaluation of the possibility of contact between the vehicle and the target object, the third processing unit causes the in-vehicle information output device to output information that informs or emphasizes the presence of the target object, or controls the behavior of the vehicle A vehicle periphery monitoring system characterized in that it is controlled by an in-vehicle device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012031157A JP5442050B2 (en) | 2012-02-15 | 2012-02-15 | Vehicle perimeter monitoring system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012031157A JP5442050B2 (en) | 2012-02-15 | 2012-02-15 | Vehicle perimeter monitoring system |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006188476A Division JP4970861B2 (en) | 2006-07-07 | 2006-07-07 | Vehicle periphery monitoring system, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring system construction system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012142966A JP2012142966A (en) | 2012-07-26 |
| JP5442050B2 true JP5442050B2 (en) | 2014-03-12 |
Family
ID=46678720
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012031157A Expired - Fee Related JP5442050B2 (en) | 2012-02-15 | 2012-02-15 | Vehicle perimeter monitoring system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5442050B2 (en) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4135123B2 (en) * | 1998-05-13 | 2008-08-20 | 日産自動車株式会社 | Display processing device |
| JP4060159B2 (en) * | 2002-01-18 | 2008-03-12 | 本田技研工業株式会社 | Vehicle periphery monitoring device |
| JP3879848B2 (en) * | 2003-03-14 | 2007-02-14 | 松下電工株式会社 | Autonomous mobile device |
| JP3987048B2 (en) * | 2003-03-20 | 2007-10-03 | 本田技研工業株式会社 | Vehicle periphery monitoring device |
| JP2005149145A (en) * | 2003-11-14 | 2005-06-09 | Konica Minolta Holdings Inc | Object detecting device and method, and computer program |
-
2012
- 2012-02-15 JP JP2012031157A patent/JP5442050B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012142966A (en) | 2012-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4171501B2 (en) | Vehicle periphery monitoring device | |
| JP4173901B2 (en) | Vehicle periphery monitoring device | |
| JP4456086B2 (en) | Vehicle periphery monitoring device | |
| JP6284644B2 (en) | Information providing apparatus and program for motorcycle | |
| US7982748B2 (en) | Vehicle surroundings monitoring apparatus | |
| JP4521642B2 (en) | Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program | |
| WO2009150771A1 (en) | Vehicle periphery monitoring device | |
| JP2007304033A (en) | Monitoring device for vehicle periphery, vehicle, vehicle peripheral monitoring method, and program for vehicle peripheral monitoring | |
| US7885430B2 (en) | Automotive environment monitoring device, vehicle with the automotive environment monitoring device, and automotive environment monitoring program | |
| JP4869835B2 (en) | Vehicle perimeter monitoring system | |
| US20220198809A1 (en) | Image presentation device, image presentation method, and non-transitory computer-readable medium storing program | |
| JP4629638B2 (en) | Vehicle periphery monitoring device | |
| JP5442050B2 (en) | Vehicle perimeter monitoring system | |
| JP2008052467A5 (en) | ||
| JP4970861B2 (en) | Vehicle periphery monitoring system, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring system construction system | |
| JP4694441B2 (en) | Vehicle perimeter monitoring system | |
| JP4343920B2 (en) | Vehicle periphery monitoring system, vehicle, vehicle periphery monitoring program, configuration method of vehicle periphery monitoring system, and server | |
| JP4975379B2 (en) | Vehicle perimeter monitoring system | |
| JP4496383B2 (en) | Vehicle periphery monitoring device, vehicle periphery monitoring method, vehicle periphery monitoring program | |
| JP4828333B2 (en) | Vehicle perimeter monitoring system | |
| JP2007334763A5 (en) | ||
| JP2008042779A5 (en) | ||
| US20240317241A1 (en) | Driver assistance recommendations using sensor data associated with a lower extremity region | |
| JP4590654B2 (en) | Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program | |
| JP2009110065A (en) | Driving support device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130205 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130402 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131126 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131217 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5442050 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |