WO2010103961A1 - 駐車支援装置 - Google Patents

駐車支援装置 Download PDF

Info

Publication number
WO2010103961A1
WO2010103961A1 PCT/JP2010/053385 JP2010053385W WO2010103961A1 WO 2010103961 A1 WO2010103961 A1 WO 2010103961A1 JP 2010053385 W JP2010053385 W JP 2010053385W WO 2010103961 A1 WO2010103961 A1 WO 2010103961A1
Authority
WO
WIPO (PCT)
Prior art keywords
parking
mark
image
video camera
vehicle
Prior art date
Application number
PCT/JP2010/053385
Other languages
English (en)
French (fr)
Inventor
孝治 比嘉
和典 嶋▲崎▼
富雄 木村
豊 中島
Original Assignee
株式会社豊田自動織機
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社豊田自動織機 filed Critical 株式会社豊田自動織機
Publication of WO2010103961A1 publication Critical patent/WO2010103961A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/168Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264Parking

Definitions

  • the present invention relates to a parking assistance device, and in particular, a mark placed at a target parking position is photographed by a video camera mounted on the vehicle, and the relative positional relationship between the vehicle and the target parking position is identified by recognizing the mark.
  • the present invention relates to a parking assistance device that calculates a parking locus for guiding a vehicle to a target parking position.
  • a mark installed in a parking space that is a target parking position is photographed by a video camera mounted on the vehicle, and by recognizing this mark, the relative positional relationship between the vehicle and the target parking position is specified, and the vehicle is A parking assistance device that calculates a parking locus for guiding to a target parking position is known.
  • the mark M installed in the parking space S is photographed by the camera 1 mounted on the vehicle, and the image processing means 5 recognizes the mark M and features thereof.
  • the relative positional relationship between the vehicle and the mark M is specified by extracting the two-dimensional coordinates on the image.
  • the control unit 6 calculates a deviation between the ideal parking locus L stored in the storage unit 8 and the current vehicle position, and calculates a guidance locus Ld for guiding the vehicle to the ideal parking locus L.
  • the guidance device 9 outputs driving operation guidance information for driving the vehicle along the calculated guidance locus Ld and ideal locus L to the driver.
  • the present invention has been made to solve such problems, and can recognize a mark with high accuracy even when the brightness suitable for the mark recognition process cannot be obtained due to the influence of the surrounding environment.
  • An object of the present invention is to provide a parking assist device that can be used.
  • a mark placed in a parking space is photographed, and a video camera mounted on a vehicle and an image photographed by the video camera are marked.
  • a parking target recognition unit that recognizes and identifies the relative positional relationship between the mark and the vehicle, and identifies the relative positional relationship between the vehicle and the parking space based on the relative positional relationship between the mark and the vehicle, and moves the vehicle to the parking space.
  • a parking trajectory calculation unit that calculates a parking trajectory for guidance, and the parking target recognition unit sets a photometric area on the image and adjusts the luminance value of the image based on the luminance value of the photometric area. The process of recognizing the mark is performed.
  • the parking assist device can accurately recognize a mark even when the brightness suitable for the mark recognition process cannot be obtained due to the influence of the surrounding environment.
  • Embodiment 1 of this invention It is a top view which shows the relationship between the vehicle and mark in Embodiment 1 of this invention. It is a figure which shows the mark used in Embodiment 1 of this invention. It is a block diagram which shows the structure of the parking assistance apparatus which concerns on Embodiment 1 of this invention. It is a flowchart which shows the process which the parking assistance apparatus which concerns on Embodiment 1 of this invention performs. It is a figure which shows the monitor display of the parking assistance apparatus which concerns on Embodiment 1 of this invention. It is a figure which shows the image acquired with the parking assistance apparatus which concerns on Embodiment 1 of this invention.
  • Embodiments of the present invention will be described below with reference to the accompanying drawings.
  • Embodiment 1 FIG. The configuration of the parking assistance apparatus according to the first embodiment of the present invention will be described with reference to FIGS.
  • a mark M that is a parking target is installed on the floor surface of a parking space S that is a target parking position, and a video camera 10 that has an exposure condition control function for photographing the mark M is a vehicle. 100.
  • the video camera 10 is installed at a predetermined location having a predetermined positional relationship with respect to the vehicle 100, for example, at the rear of the vehicle 100.
  • the video camera 10 It is installed so that the mark M installed on the floor surface of S is included in the field of view. It is assumed that the predetermined positional relationship of the video camera 10 with respect to the vehicle 100 is known in advance.
  • the mark M for example, as shown in FIG. 2, a figure having a square outer shape in which four right isosceles triangles are in contact with each other can be used.
  • the mark M has adjacent right-angled isosceles triangles painted in different colors and has five characteristic points C1 to C5 that are intersections of a plurality of sides.
  • the output of the video camera 10 is connected to the parking target recognition unit 20.
  • the parking target recognition unit 20 recognizes the mark M from the image photographed by the video camera 10, identifies the relative positional relationship between the mark M and the vehicle 100, and outputs it to the parking locus calculation unit 30. Further, the parking target recognition unit 20 outputs an image for monitor display to the parking target position designation unit 50 and outputs an exposure condition control signal to the video camera 10.
  • the parking locus calculation unit 30 specifies the relative positional relationship between the vehicle 100 and the parking space S based on the relative positional relationship between the mark M and the vehicle 100, and the parking locus L for guiding the vehicle 100 to the parking space S. Is calculated and output to the parking guidance generator 40.
  • the parking guidance generation unit 40 includes the parking locus L calculated by the parking locus calculation unit 30 and the actual movement distance and movement direction of the vehicle 100 acquired by the steering angle sensor 70, the yaw rate sensor 80, and the vehicle speed sensor 90. Based on this, parking guidance information is generated and output to the parking guidance output unit 60.
  • the parking target position designating unit 50 displays the monitor display image captured by the video camera 10 input from the parking target recognition unit 20, and receives information input from the driver and outputs the information to the parking target recognition unit 20. To do.
  • the parking guidance output unit 60 outputs the parking guidance information input from the parking guidance generation unit 40.
  • the driver designates a position on the image where the mark M is considered to exist on the monitor of the parking target position designation unit 50, and then performs a driving operation according to the parking guidance information output from the parking guidance output unit 60.
  • the vehicle 100 is parked in the parking space S.
  • a parking assistance device is configured.
  • the parking target recognition unit 20 the parking locus calculation unit 30, the parking guidance generation unit 40, the parking target position designation unit 50, and the parking guidance output unit 60 will be described in order.
  • the initial position of the photometric area R is designated by the driver via the parking target position designation unit 50 as will be described later. Further, the parking target recognition unit 20 outputs an image input from the video camera 10 to the parking target position designation unit 50 for monitor display. Note that the parking target recognition unit 20 performs steps S4 to S6 in the flowchart of FIG. 4 to be described later.
  • the parking trajectory calculation unit 30 identifies the relative positional relationship between the vehicle 100 and the parking space S based on the relative positional relationship between the mark M input from the parking target recognition unit 20 and the vehicle 100, and parks the vehicle 100.
  • a parking locus L for guiding to the space S is calculated and output to the parking guidance generating unit 40.
  • the parking guidance generation unit 40 includes the parking locus L calculated by the parking locus calculation unit 30 and the actual movement distance and movement direction of the vehicle 100 acquired by the steering angle sensor 70, the yaw rate sensor 80, and the vehicle speed sensor 90. Based on this, for example, parking guidance information by voice is generated and output to the parking guidance output unit 60.
  • the parking target position designation unit 50 includes a monitor 51 having a touch panel function, displays a monitor display image input from the parking target recognition unit 20, and a mark M designated on the touch panel by the driver. The position on the image that seems to exist is output to the parking target recognition unit 20.
  • the parking guidance output unit 60 includes a speaker 61 and outputs the parking guidance information input from the parking guidance generation unit 40 as a voice.
  • the video camera 10 starts shooting video images in a state where the vehicle 100 is located at a point A in the vicinity of the parking space S and the mark M is in the field of view (step S1).
  • the image of each frame of the video shot by the video camera 10 is input to the parking target recognition unit 20.
  • the parking target recognition unit 20 displays an image taken by the video camera 10 on the monitor 51 of the parking target position designation unit 50, and designates the position on the image where the mark M is considered to be present to the driver using the touch panel. (Step S2). When the position on the image on which the mark M is considered to be present is designated by the driver, the parking target recognition unit 20 sets a certain range as the photometric area R around the designated position (step S3).
  • An example of the monitor display when the driver designates the position on the image where the mark M is considered to be present is shown in FIG. In the figure, the location indicated by a cross is a position designated by the driver.
  • step S3 the driver may be allowed to specify a range on the image where the mark M is considered to be present instead of specifying the position on the image where the mark M is considered to be present.
  • the parking target recognizing unit 20 takes out an image of one frame of the video signal, calculates the average brightness value of the photometry area R, performs photometry of the photometry area R (step S4), and calculates the calculated average brightness value. Is within a predetermined range (average luminance value range suitable for performing processing for recognizing the mark M and extracting the coordinates of the feature point) (step S5). When the average luminance value of the photometric area R is below a predetermined range, that is, when the photometric area R is too dark, an exposure condition control signal for extending the exposure time is output to the video camera 10 (step S6a).
  • the exposure condition control signal is not output in order to keep the exposure time at the specified value (step) S6b).
  • the exposure condition control signal is not output in order to keep the exposure time at the specified value (step) S6b).
  • the exposure condition control signal for shortening the exposure time is output to the video camera 10 (step S6c).
  • the exposure conditions of the video camera 10 are set so that the parking target recognition unit 20 is suitable for performing processing for recognizing the mark M from within the photometric region R on the image and extracting the coordinates of the feature points. Is done.
  • the exposure condition of the video camera 10 may be set based on the shape of the luminance distribution of the photometric region R, instead of based on the average luminance value of the photometric region R.
  • the parking target recognition unit 20 acquires an image photographed under the exposure conditions set in step S6 (step S7).
  • An example of the image acquired at this time is shown in FIG.
  • FIG. 6 shows an example in which the process proceeds from step S5 to step S6a in the flowchart of FIG. 4, and the image of FIG. 5 is brightened by extending the exposure time of the video camera 10.
  • a rectangular frame (symbol R) representing the photometric region R is shown superimposed.
  • the relative positional relationship between the mark M and the vehicle 100 is specified and output to the parking locus calculation unit 30 (step S8).
  • a road surface coordinate system is assumed in which a point on the ground surface perpendicular to the road surface from the center of the rear axle of the vehicle 100 is set as an origin O, and the x-axis and y-axis are set in the horizontal direction and the z-axis is set in the vertical direction.
  • an image coordinate system in which an X axis and a Y axis are set on an image captured by the video camera 10.
  • image coordinates are defined.
  • the mark M and the vehicle 100 The relative positional relationship is specified.
  • the parking target recognition unit 20 updates the position of the photometry area R so that the mark M is located at the center of the photometry area R (step S9). Thereby, even if the position of the mark M on the image moves due to the movement of the vehicle 100 during the parking operation, the position of the photometric region R also moves accordingly.
  • An example of the image after updating the position of the photometric region R is shown in FIG. However, for convenience of description, a broken-line rectangular frame (reference R ′) representing the photometric area R before the update and a solid rectangular frame (reference R) representing the updated photometric area R are shown in an overlapping manner. Yes.
  • step S8 instead of recognizing the mark M from within the photometric region R, the mark M may be recognized from the entire region on the acquired image.
  • the parking locus calculation unit 30 performs the relative positional relationship between the mark M and the vehicle 100 and the parking space S that is grasped in advance. Based on the predetermined positional relationship of the mark M, the relative positional relationship between the vehicle 100 and the parking space S is specified, the parking locus L for guiding the vehicle 100 to the parking space S is calculated, and the parking guidance generating unit 40 is calculated. (Step S10). For example, a parking locus L as shown in FIG. 8 is calculated and output to the parking guidance generation unit 40.
  • the parking guidance generation unit 40 is calculated based on the parking locus L and information acquired from the steering angle sensor 70, the yaw rate sensor 80, and the vehicle speed sensor 90. By comparing the actual travel distance and travel direction of the vehicle 100, the parking guidance information is generated by voice for driving the vehicle 100 along the parking locus L and output to the speaker 61 of the parking guidance output unit 60. (Step S11).
  • the parking guidance generation unit 40 calculates the actual movement distance and movement direction of the vehicle 100 calculated based on the parking locus L, information acquired from the steering angle sensor 70, the yaw rate sensor 80, and the vehicle speed sensor 90. Are compared to determine whether or not parking has been completed (step S12), and return to step S4 with a predetermined time interval (for example, 500 ms) until it is determined that parking has been completed. repeat.
  • a predetermined time interval for example, 500 ms
  • the driver designates the position on the image where the mark M is considered to be present on the monitor 51 of the parking target position designation unit 50, and then the speaker 61 of the parking guidance output unit 60.
  • the vehicle 100 can travel along the parking locus L and can be parked in the parking space S simply by performing a driving operation according to the parking guidance information output from.
  • the mark M installed on the floor surface of the parking space S is photographed by the video camera 10 mounted on the vehicle 100 and photographed.
  • the recognition process of the mark M is performed from the captured image
  • the photometric area R is set on the image, and the exposure condition of the video camera 10 is controlled so as to be suitable for the recognition process of the mark M based on the luminance value of the photometric area R.
  • the luminance value of the image is adjusted.
  • the recognition of the mark M based on the luminance value of the photometric region R is possible. Since the exposure conditions suitable for the processing are set, the mark M can be recognized with high accuracy. In addition, since a certain range based on the position or range on the image designated by the driver is set as the photometric region R, the possibility of misrecognizing a place that is not the mark M as the mark M is reduced. . Further, when recognizing the mark M from the range of the photometric region R, the image region where the mark M is recognized is limited, so that a place other than the mark M may be erroneously recognized as the mark M.
  • the time required for the mark M recognition process is shortened. Furthermore, even if the position of the mark M on the image moves due to the movement of the vehicle 100 during the parking operation, the position of the photometric region R also moves following the movement, so that the mark M is always displayed with high accuracy during the parking operation. Can be recognized.
  • generation part 40 can be comprised by a microcomputer or DSP. In that case, the processing of each step of FIG. 4 is stored as a program in a microcomputer or a ROM of a DSP and executed by the processor.
  • the parking target recognition unit 20, the parking locus calculation unit 30, and the parking guidance generation unit 40 can be configured as an integrated circuit.
  • step S8 if the brightness of the surrounding environment changes abruptly, for example, because the brake lamp of the vehicle 100 is turned on, and the mark M recognition process fails, the mark M recognized in the immediately preceding loop is changed. Based on the two-dimensional coordinates of the feature points, the processing after step S9 may be performed.
  • Embodiment 2 a parking assistance apparatus according to Embodiment 2 of the present invention will be described based on FIG. 9 and FIG.
  • the same reference numerals as those in FIG. 3 are the same or similar components, and thus detailed description thereof is omitted.
  • the video camera for photographing the mark M is preferably a camera capable of color photographing in consideration of convenience when the photographed image is displayed on the monitor and visually recognized by the driver.
  • the video camera 210 having a function of switching between the color shooting mode and the monochrome shooting mode is used, and the initial shooting mode is color as shown in the flowchart of FIG.
  • the shooting mode is set (step S201), and after the start of shooting video images, the average luminance value of the entire image is determined (step S202).
  • the mode is switched to the shooting mode (step S203), and the mark M recognition process is performed based on the monochrome image. Thereby, even when the surrounding environment is dark such as at night, the mark M can be accurately recognized.
  • Embodiment 3 a parking assistance apparatus according to Embodiment 3 of the present invention will be described based on FIG. 11 and FIG.
  • the same reference numerals as those in FIG. 3 are the same or similar components, and thus detailed description thereof is omitted.
  • the video camera for photographing the mark M is preferably wide-angle in order to provide the driver with a wide field of view.
  • the distant resolution on the image is low.
  • the distance on the image between the feature points C1 to C5 of the mark M becomes short, and an error is likely to occur when specifying the relative positional relationship between the mark M and the vehicle 100. Therefore, in the third embodiment, as shown in FIG. 11, a video camera 310 having a zoom control function is used, and after setting the photometric area R (step S303) as shown in the flowchart of FIG. 12, The video camera 310 is controlled to zoom up the photometric region R (step S304), and the resolution of the image around the mark M is increased. Thereby, the mark M can be recognized with high accuracy while providing the driver with a wide field of view.
  • Embodiment 4 FIG. Next, a parking assistance apparatus according to Embodiment 4 of the present invention will be described based on FIG. Since the configuration according to the fourth embodiment is the same as the configuration of FIG. 3 according to the first embodiment, the description thereof is omitted.
  • the photometric area R is set based on the position or range on the image where the mark M specified by the driver is supposed to exist.
  • a rectangular frame representing a photometric area candidate N (a candidate for photometric area R) is displayed on the monitor 51 of the parking target position designating unit 50, and whether or not the photometric area candidate N is appropriate. Let the driver determine. That is, as shown in the flowchart of FIG. 13, first, the mark M is detected from the entire image range, and the coordinates of the feature points C1 to C5 are extracted (step S404). The photometric area candidate N is set (step S405).
  • a rectangular frame representing the photometric area candidate N is displayed on the monitor 51 of the parking target position specifying unit 50, and the driver determines whether the photometric area candidate N is appropriate (step S406).
  • An example of the monitor display at this time is shown in FIG. In FIG. 14, a rectangular frame with a symbol N is a photometric region candidate N.
  • the photometry area candidate N is set as the photometry area R (step S407), and the process proceeds to step S410 to perform photometry of the photometry area R.
  • step S408 the driver is caused to designate a position or range on the image where the mark M is considered to be present.
  • step S404 when a plurality of objects that are considered to be marks M are detected in step S404, a plurality of photometric area candidates N corresponding to them are displayed on the monitor 51 of the parking target position designating unit 50, and the driver can You may make it judge whether the candidate of is suitable. Further, when the mark M cannot be automatically detected, a dark area in the image may be automatically set as the photometric area R.
  • Embodiments 2 to 4 may be combined.
  • the parking guidance information is not output by the parking guidance generator 40 and the parking guidance output unit 60, but the parking locus L calculated by the parking locus calculator 30 and the steering angle are calculated. Based on the actual travel distance and travel direction of the vehicle 100 calculated based on information acquired from the sensor 70, the yaw rate sensor 80, and the vehicle speed sensor 90, the steering wheel, accelerator, brake, etc. of the vehicle 100 are automatically operated. It is good also as an automatic parking apparatus provided with the parking automatic operation part.
  • the mark M that is a parking target may be installed on the wall surface of the parking space S instead of the floor surface of the parking space S.
  • the aperture may be changed or the sensitivity may be changed instead of changing the exposure time. Further, instead of changing the exposure condition, switching between the monochrome photographing mode and the color photographing mode may be performed.
  • the exposure conditions of the video cameras 10, 210, and 310 suitable for the mark M recognition process may not necessarily be suitable for monitor display.
  • two exposure conditions are defined: exposure condition 1 for mark recognition processing and exposure condition 2 for monitor display, and switching between exposure condition 1 and exposure condition 2 of video cameras 10, 210, and 310 at regular intervals. May be.
  • the frame shot under the exposure condition 1 is used for the mark M recognition processing performed by the parking target recognition units 20, 220, and 320, and the frame shot under the exposure condition 2 is used as a monitor of the parking target position specifying unit 50.
  • 51 is used to display images taken by the video cameras 10, 210, and 310 performed by 51.
  • each frame rate after being assigned to the mark M recognition process and the monitor display is set to a normal frame rate. Furthermore, a monitor display without any sense of incongruity becomes possible.
  • the luminance value of the image is not adjusted by controlling the exposure conditions of the video cameras 10, 210, and 310, but the average luminance value of the photometric region R or the shape of the luminance distribution
  • the luminance value of the image may be adjusted by adding or subtracting a certain value to the luminance value of each pixel of the image captured by the video camera 10, 210, 310 based on the above.
  • the luminance value may be adjusted for the entire image, but it is more preferable to adjust only the luminance value within the range of the photometric region R because the processing time can be shortened.
  • the image in which the brightness value is adjusted is used only in the mark M recognition process performed internally by the parking target recognition unit 20, 220, 320, and the video camera 10, 210, 320 is displayed on the monitor display in the parking target position designation unit 50.
  • the image photographed by 310 is displayed as it is.
  • the brightness value of the image can be adjusted to be suitable for the recognition process of the mark M, and the mark M can be recognized with high accuracy.
  • the photometric area R may be set wider as the distance becomes shorter. Thereby, the size of the photometry area
  • the photometry area R is set to be wide before the mark M is recognized, and the photometry area R is set to be narrow after the mark M is recognized.
  • the time required for the recognition process may be shortened.
  • Embodiments 1 to 3 and combinations thereof in a parking space with high usage frequency such as a garage at home, the position at which the vehicle 100 stops before starting parking is almost the same, so it is designated by the driver.
  • the photometric region R is automatically set to the learned position or range. May be. For example, when the position on the image is specified by the driver, the two-dimensional coordinates of the position on the image where the mark M specified by the driver is supposed to exist are stored up to a predetermined number n.
  • the center coordinates of the range on the image where the mark M specified by the driver is supposed to exist, with a predetermined number of times n as an upper limit, and from there outside the range
  • the parking guidance information is voice and is output from the speaker 61 of the parking guidance output unit 60, but is not limited thereto.
  • the parking guidance information may be transmitted to the driver by an image displayed on the monitor.
  • the parking guidance information may be transmitted by a vibration by a vibrator, a warning sound by a buzzer, or the like.
  • the means for allowing the driver to specify the position or range on the image where the mark M is considered to be present is not limited to the touch panel, but is voice recognition, button, keyboard, mouse, marker light (marker light on the ground).
  • Various input devices can be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Analysis (AREA)

Abstract

 駐車スペースSの床面に設置された駐車目標であるマークMを車両100に搭載されたビデオカメラ10により撮影し、撮影された画像からマークMの認識処理を行う。運転者によりマークMが存在すると思われる画像上の位置が駐車目標位置指定部50により指定されると、駐車目標認識部20は、指定された位置を中心として一定範囲を測光領域Rとして設定し、この測光領域Rの輝度値に基づいてマークMの認識処理に適するようにビデオカメラ10の露光条件を制御することにより、画像の輝度値を調整する。

Description

駐車支援装置
 本発明は駐車支援装置に係り、特に目標駐車位置に設置されたマークを車両に搭載されたビデオカメラにより撮影し、このマークを認識することによって車両と目標駐車位置との相対位置関係を特定し、車両を目標駐車位置へ誘導するための駐車軌跡を算出する駐車支援装置に関する。
 従来、目標駐車位置となる駐車スペースに設置されたマークを、車両に搭載されたビデオカメラにより撮影し、このマークを認識することによって車両と目標駐車位置との相対位置関係を特定し、車両を目標駐車位置へ誘導するための駐車軌跡を算出する駐車支援装置が知られている。
 例えば、特許文献1に記載の駐車支援装置では、駐車スペースSに設置されたマークMを車両に搭載されたカメラ1により撮影し、画像処理手段5が、このマークMを認識してその特徴点の画像上における2次元座標を抽出することにより、車両とマークMとの相対位置関係を特定する。続いて、制御手段6が、記憶手段8に記憶されている理想駐車軌跡Lと現在の車両位置とのずれを算出し、車両を理想駐車軌跡Lへ誘導するための誘導軌跡Ldを算出する。最後に、案内装置9が、算出された誘導軌跡Ld及び理想軌跡Lに沿って車両を走行させるための運転操作の案内情報を運転者に出力する。
 また、特許文献2には、駐車支援装置ではないが、車両周辺を撮影した映像をモニタ表示する際に、表示領域を複数に分割し、運転者によって選択された表示領域の輝度値に基づいて利得及び露光を制御することにより、表示映像の輝度値を運転者が視認するのに適するように調整する車両周辺視認装置が記載されている。
特開2008-174000号公報 特開2007-74070号公報
 しかしながら、特許文献1に記載されている駐車支援装置では、特に夜間や雨天の場合などには、適切な明るさが得られず、ビデオカメラから取得される画像が暗すぎる、或いは1つの画像上に明暗が混在する等、マークの認識処理に適した撮影画像が得られない場合がある。そのような場合、マークを認識することができない、或いはマークではない場所をマークであると誤認識してしまうという問題があった。
 また、特許文献2に記載されている技術を用いて、モニタ表示して運転者が視認するのに適するように画像の輝度値を調整したとしても、そのようにして得られる画像が、必ずしも駐車支援装置によるマークMの認識処理に適した画像であるとは限らない。
 本発明は、このような問題点を解決するためになされたものであり、周囲環境の影響でマークの認識処理に適した明るさが得られない場合にも、マークを精度良く認識することができる駐車支援装置を提供することを目的とする。
 上記の課題を解決するために、本発明に係る駐車支援装置によれば、駐車スペースに設置されたマークを撮影すると共に車両に搭載されるビデオカメラと、ビデオカメラにより撮影された画像からマークを認識してマークと車両との相対位置関係を特定する駐車目標認識部と、マークと車両との相対位置関係に基づいて、車両と駐車スペースとの相対位置関係を特定し、車両を駐車スペースへ誘導するための駐車軌跡を算出する駐車軌跡算出部とを備え、駐車目標認識部は、画像上に測光領域を設定し、測光領域の輝度値に基づいて画像の輝度値を調整した後、画像からマークを認識する処理を行う。
 本発明に係る駐車支援装置によれば、周囲環境の影響でマークの認識処理に適した明るさが得られない場合にも、マークを精度良く認識することができる。
本発明の実施の形態1における車両とマークとの関係を示す平面図である。 本発明の実施の形態1で用いられるマークを示す図である。 本発明の実施の形態1に係る駐車支援装置の構成を示すブロック図である。 本発明の実施の形態1に係る駐車支援装置が行う処理を示すフローチャートである。 本発明の実施の形態1に係る駐車支援装置のモニタ表示を示す図である。 本発明の実施の形態1に係る駐車支援装置で取得される画像を示す図である。 本発明の実施の形態1に係る駐車支援装置における測光領域の位置更新後の画像を示す図である。 本発明の実施の形態1における駐車軌跡を示す図である。 本発明の実施の形態2に係る駐車支援装置の構成を示すブロック図である。 本発明の実施の形態2に係る駐車支援装置が行う処理を示すフローチャートである。 本発明の実施の形態3に係る駐車支援装置の構成を示すブロック図である。 本発明の実施の形態3に係る駐車支援装置が行う処理を示すフローチャートである。 本発明の実施の形態4に係る駐車支援装置が行う処理を示すフローチャートである。 本発明の実施の形態4に係る駐車支援装置のモニタ表示を示す図である。 本発明の一変形例に係る駐車支援装置における表示フレームの補間方法を示す図である。
 以下、本発明の実施の形態について、添付の図面に基づいて説明する。
実施の形態1.
 本発明の実施の形態1に係る駐車支援装置の構成を、図1~図3に基づいて説明する。
 図1に示されるように、目標駐車位置となる駐車スペースSの床面に駐車目標であるマークMが設置され、このマークMを撮影するための露光条件制御機能を有するビデオカメラ10が、車両100に搭載されている。
 ビデオカメラ10は、車両100に対して所定の位置関係を有する所定の場所、例えば車両100の後部に設置されており、車両100が駐車スペースSの近傍の地点Aに位置するときに、駐車スペースSの床面に設置されたマークMを視野内に含むように設置されている。車両100に対するビデオカメラ10の所定の位置関係は予め把握されているものとする。また、駐車スペースSに対するマークMの所定の位置関係も予め把握されているものとする。
 マークMとしては、例えば図2に示されるように、4つの直角2等辺三角形を互いに当接させた正方形状の外形を有する図形を用いることができる。このマークMは、互いに隣接する直角2等辺三角形が異なる色で塗り分けられており、複数の辺の交点からなる5つの特徴点C1~C5を有している。
 次に、図3に示されるように、ビデオカメラ10の出力は駐車目標認識部20に接続されている。駐車目標認識部20は、ビデオカメラ10により撮影された画像からマークMを認識してマークMと車両100との相対位置関係を特定し、駐車軌跡算出部30に出力する。また、駐車目標認識部20は、駐車目標位置指定部50にモニタ表示用の画像を出力すると共に、露光条件制御信号をビデオカメラ10に出力する。駐車軌跡算出部30は、マークMと車両100との相対位置関係に基づいて、車両100と駐車スペースSとの相対位置関係を特定し、車両100を駐車スペースSへ誘導するための駐車軌跡Lを算出して駐車案内生成部40に出力する。駐車案内生成部40は、駐車軌跡算出部30により算出された駐車軌跡Lと、操舵角センサ70、ヨーレートセンサ80、及び車速センサ90により取得される車両100の実際の移動距離及び移動方向とに基づいて駐車案内情報を生成し、駐車案内出力部60に出力する。駐車目標位置指定部50は、駐車目標認識部20から入力されるビデオカメラ10により撮影されたモニタ表示用の画像を表示すると共に、運転者からの情報入力を受け付けて駐車目標認識部20に出力する。駐車案内出力部60は、駐車案内生成部40から入力される駐車案内情報の出力を行う。運転者は、駐車目標位置指定部50のモニタ上で、マークMが存在すると思われる画像上の位置を指定した後、駐車案内出力部60から出力される駐車案内情報に従って運転操作を行うことにより、車両100を駐車スペースSに駐車させる。
 ビデオカメラ10、駐車目標認識部20、駐車軌跡算出部30、駐車案内生成部40、駐車目標位置指定部50、駐車案内出力部60、操舵角センサ70、ヨーレートセンサ80、及び車速センサ90により、駐車支援装置が構成される。
 以下、駐車目標認識部20、駐車軌跡算出部30、駐車案内生成部40、駐車目標位置指定部50、及び駐車案内出力部60の詳細について順に説明していく。
 駐車目標認識部20は、ビデオカメラ10から入力される画像上に測光領域R(マークMが存在する可能性があるとして測光を行う領域)を設定し、測光領域Rの輝度値に基づいてビデオカメラ10の露光条件を制御することにより画像の輝度値を調整した後、画像からマークMを認識する処理を行う。そして、認識したマークMの特徴点の画像上における2次元座標Xm及びYm(m=1~5)を抽出し、マークMと車両100との相対位置関係を特定して駐車軌跡算出部30に出力する。測光領域Rの初期位置は、後述するように駐車目標位置指定部50を介して運転者により指定される。また、駐車目標認識部20は、ビデオカメラ10から入力される画像をモニタ表示用に駐車目標位置指定部50に出力する。
 尚、駐車目標認識部20により、後述する図4のフローチャートにおけるステップS4~S6の処理が行われる。
 駐車軌跡算出部30は、駐車目標認識部20にから入力されるマークMと車両100との相対位置関係に基づいて、車両100と駐車スペースSとの相対位置関係を特定し、車両100を駐車スペースSへ誘導するための駐車軌跡Lを算出して駐車案内生成部40に出力する。
 駐車案内生成部40は、駐車軌跡算出部30により算出された駐車軌跡Lと、操舵角センサ70、ヨーレートセンサ80、及び車速センサ90により取得される車両100の実際の移動距離及び移動方向とに基づいて、例えば音声による駐車案内情報を生成し、駐車案内出力部60に出力する。
 駐車目標位置指定部50は、タッチパネル機能を有するモニタ51を備えており、駐車目標認識部20から入力されるモニタ表示用の画像を表示すると共に、運転者によりタッチパネル上で指定されるマークMが存在すると思われる画像上の位置を駐車目標認識部20に出力する。
 駐車案内出力部60は、スピーカ61を備えており、駐車案内生成部40から入力される駐車案内情報を音声として出力する。
 次に、図4のフローチャートを参照して、本発明の実施の形態1に係る駐車支援装置が行う処理について説明する。
 まず、ビデオカメラ10は、車両100が駐車スペースSの近傍の地点Aに位置してマークMを視野内に入れた状態で、ビデオ映像の撮影を開始する(ステップS1)。ビデオカメラ10により撮影された映像の各フレームの画像は、駐車目標認識部20に入力される。
 駐車目標認識部20は、ビデオカメラ10により撮影された画像を駐車目標位置指定部50のモニタ51上に表示させ、運転者に対してマークMが存在すると思われる画像上の位置をタッチパネルにより指定するように促す(ステップS2)。運転者によりマークMが存在すると思われる画像上の位置が指定されると、駐車目標認識部20は、指定された位置を中心として一定範囲を測光領域Rとして設定する(ステップS3)。運転者が、マークMが存在すると思われる画像上の位置を指定する際のモニタ表示の一例を図5に示す。図中で×印が表示されている箇所が、運転者により指定された位置である。また、測光領域Rを表す矩形枠(符号R)を重ねて示しているが、これは説明の便宜のためであり必ずしも実際にモニタ上に表示される必要はない。
 尚、ステップS3において、運転者にマークMが存在すると思われる画像上の位置を指定させるのではなく、マークMが存在すると思われる画像上の範囲を指定させてもよい。
 次に、駐車目標認識部20は、映像信号の1フレームの画像を取り出して、測光領域Rの平均輝度値を算出することにより測光領域Rの測光を行い(ステップS4)、算出した平均輝度値が予め定められた所定の範囲内(マークMを認識してその特徴点の座標を抽出する処理を行うのに適した平均輝度値の範囲内)にあるか判定する(ステップS5)。測光領域Rの平均輝度値が所定の範囲を下回っている場合、すなわち測光領域Rが暗すぎる場合には、露光時間を延長する露光条件制御信号をビデオカメラ10に出力する(ステップS6a)。測光領域Rの平均輝度値が所定の範囲内である場合、すなわち測光領域Rの明るさが適切である場合には、露光時間を規定値のままとするため露光条件制御信号を出力しない(ステップS6b)。測光領域Rの平均輝度値が所定の範囲を上回っている場合、すなわち測光領域Rが明るすぎる場合には、露光時間を短縮する露光条件制御信号をビデオカメラ10に出力する(ステップS6c)。これにより、ビデオカメラ10の露光条件は、駐車目標認識部20が画像上における測光領域Rの範囲内からマークMを認識してその特徴点の座標を抽出する処理を行うのに適するように設定される。
 尚、ステップS4~S6において、測光領域Rの平均輝度値に基づくのではなく、測光領域Rの輝度分布の形状に基づいてビデオカメラ10の露光条件を設定してもよい。
 続いて、駐車目標認識部20は、ステップS6において設定した露光条件のもとで撮影された画像を取得する(ステップS7)。このとき取得される画像の一例を図6に示す。ここで図6は、図4のフローチャートにおいてステップS5からステップS6aに進んだ場合の例を示すものであり、ビデオカメラ10の露光時間を延長することにより図5の画像を明るくしたものである。ただし、説明の便宜のために測光領域Rを表す矩形枠(符号R)を重ねて示している。そして、取得した画像上における測光領域Rの範囲内から、マークMを認識してその5つの特徴点C1~C5の画像上における2次元座標Xm及びYm(m=1~5)を抽出し、マークMと車両100との相対位置関係を特定して駐車軌跡算出部30に出力する(ステップS8)。
 ここで、駐車目標認識出部20が、マークMと車両100との相対位置関係を特定する処理の詳細を以下に説明する。
 まず、車両100のリヤアクスル中心から路面に対して垂直に下ろした地面上の点を原点Oとし、水平方向にx軸及びy軸、鉛直方向にz軸を設定した路面座標系を想定すると共に、ビデオカメラ10により撮影された画像上にX軸とY軸を設定した画像座標系を想定する。ここで、マークMを基準としたビデオカメラ10の3次元座標(x,y,z)、チルト角ω、パン角γ、スイング角θの6個のパラメータからなる位置パラメータを定義すると、画像座標系におけるマークMの特徴点C1~C5の座標Xm及びYm(m=1~5)は、6つの位置パラメータ(x,y,z,ω,γ,θ)と、路面座標系におけるマークMの特徴点C1~C5の位置パラメータ(xm,ym,zm)とから、関数F及びGを用いて
 Xm=F(xm,ym,zm,x,y,z,ω,γ,θ)+DXm
 Ym=G(xm,ym,zm,x,y,z,ω,γ,θ)+DYm
で表される。ここで、DXm及びDYmは、関数F及びGを用いて算出された特徴点C1~C5のX座標及びY座標と、駐車目標認識部20により抽出された特徴点C1~C5の座標Xm及びYmとの偏差である。
 つまり、5個の特徴点C1~C5のX座標及びY座標をそれぞれ表すことにより、6個の位置パラメータ(x,y,z,ω,γ,θ)に対して計10個の関係式が作成される。
 そこで、偏差DXm及びDYmの二乗和
 S=Σ(DXm2+DYm2
を最小とするような位置パラメータ(x,y,z,ω,γ,θ)を求める。そして、ビデオカメラ10の位置パラメータ(x,y,z,ω,γ,θ)と、予め把握されている車両100に対するビデオカメラ10の所定の位置関係とに基づいて、マークMと車両100との相対位置関係が特定される。
 最後に、駐車目標認識部20は、マークMが測光領域Rの中央に位置するように、測光領域Rの位置を更新する(ステップS9)。これにより、駐車運転中に車両100が移動することにより画像上におけるマークMの位置が移動しても、それに追従して測光領域Rの位置も移動する。測光領域Rの位置を更新した後の画像の一例を図7に示す。ただし、説明の便宜のために、更新前の測光領域Rを表す破線の矩形枠(符号R‘)と、更新後の測光領域Rを表す実線の矩形枠(符号R)とを重ねて示している。
 尚、ステップS8において、測光領域Rの範囲内からマークMを認識するのではなく、取得した画像上の全領域からマークMを認識してもよい。
 駐車目標認識部20からマークMと車両100との相対位置関係が出力されると、駐車軌跡算出部30は、マークMと車両100との相対位置関係と、予め把握されている駐車スペースSに対するマークMの所定の位置関係とに基づいて、車両100と駐車スペースSとの相対位置関係を特定し、車両100を駐車スペースSへ誘導するための駐車軌跡Lを算出して駐車案内生成部40に出力する(ステップS10)。例えば、図8に示されるような駐車軌跡Lを算出し、駐車案内生成部40に出力する。
 駐車軌跡Lが駐車軌跡算出部30から出力されると、駐車案内生成部40は、駐車軌跡Lと、操舵角センサ70、ヨーレートセンサ80、及び車速センサ90から取得される情報に基づいて算出される車両100の実際の移動距離及び移動方向とを比較することにより、駐車軌跡Lに沿って車両100を走行させるための音声による駐車案内情報を生成し、駐車案内出力部60のスピーカ61に出力させる(ステップS11)。
 続いて、駐車案内生成部40は、駐車軌跡Lと、操舵角センサ70、ヨーレートセンサ80、及び車速センサ90から取得される情報に基づいて算出される車両100の実際の移動距離及び移動方向とを比較することにより、駐車が完了したが否かを判定し(ステップS12)、駐車が完了したと判定されるまで、所定の時間間隔(例えば500ms)をおいてステップS4に戻り以降の処理を繰り返す。駐車が完了したと判定された場合には、駐車支援装置の処理を終了する。
 駐車支援装置が行う以上の処理により、運転者は、駐車目標位置指定部50のモニタ51上で、マークMが存在すると思われる画像上の位置を指定した後、駐車案内出力部60のスピーカ61から出力される駐車案内情報に従って運転操作を行うだけで、車両100を駐車軌跡Lに沿って走行させて駐車スペースSに駐車させることができる。
 以上説明したように、本発明の実施の形態1に係る駐車支援装置によれば、駐車スペースSの床面に設置されたマークMを車両100に搭載されたビデオカメラ10により撮影し、撮影された画像からマークMの認識処理を行う際に、画像上に測光領域Rを設定し、この測光領域Rの輝度値に基づいてマークMの認識処理に適するようにビデオカメラ10の露光条件の制御を行うことにより、画像の輝度値を調整する。これにより、周囲環境の影響でマークMの認識処理に適した明るさが得られない場合にも、マークMを精度良く認識することができる。
 特に、1つの画像上に明暗が混在し、画像全体の輝度値に基づいてマークMの認識処理に適した露光条件を設定できない場合にも、測光領域Rの輝度値に基づいてマークMの認識処理に適した露光条件を設定するので、マークMを精度良く認識することができる。
 また、運転者により指定された画像上の位置又は範囲に基づいた一定範囲を測光領域Rとして設定するので、マークMではない場所を、マークMであると誤認識してしまう可能性が減少する。
 また、測光領域Rの範囲内からマークMを認識する場合には、マークMの認識処理を行う画像領域が限定されるため、マークMではない場所をマークMであると誤認識してしまう可能性がさらに減少すると共に、マークMの認識処理にかかる時間が短縮される。
 さらに、駐車運転中に車両100が移動することにより画像上におけるマークMの位置が移動しても、それに追従して測光領域Rの位置も移動するので、駐車運転中は常に精度良くマークMを認識することができる。
 尚、駐車目標認識部20、駐車軌跡算出部30、及び駐車案内生成部40は、マイクロコンピュータ或いはDSPにより構成することができる。その場合、図4の各ステップの処理をプログラムとしてマイクロコンピュータ或いはDSPのROM等に記憶させ、プロセッサに実行させる。或いは、駐車目標認識部20、駐車軌跡算出部30、及び駐車案内生成部40を、集積回路化して構成することもできる。
 また、ステップS8において、例えば車両100のブレーキランプが点灯した等の理由により周囲環境の明暗が急激に変化し、マークMの認識処理に失敗した場合には、直前のループにおいて認識したマークMの特徴点の2次元座標に基づいて、ステップS9以降の処理を行うようにしてもよい。
 実施の形態2.
 次に、本発明の実施の形態2に係る駐車支援装置について、図9及び図10に基づいて説明する。尚、以下の説明において、図3の参照符号と同一の符号は同一又は同様な構成要素であるので、その詳細な説明は省略する。
 マークMを撮影するためのビデオカメラは、撮影画像をモニタ表示して運転者に視認させる際の便宜を考えると、カラー撮影が可能なものが好ましい。しかしながら、夜間など周囲環境が暗いときには、カラー画像に基づいてマークMの認識処理を行うよりも、モノクロ画像に基づいて行ったほうが、マークMを精度良く認識することができる。そのため、実施の形態2では、図9に示されるように、カラー撮影モードとモノクロ撮影モードの切り替え機能を有するビデオカメラ210を用いると共に、図10のフローチャートに示されるように、初期撮影モードはカラー撮影モードとし(ステップS201)、ビデオ映像の撮影を開始した後に、画像全体の平均輝度値を判定し(ステップS202)、所定の閾値未満であると判定された場合には、ビデオカメラ210をモノクロ撮影モードに切り替え(ステップS203)、マークMの認識処理をモノクロ画像に基づいて行う。これにより、夜間など周囲環境が暗いときにも、マークMを精度よく認識することができる。
 実施の形態3.
 次に、本発明の実施の形態3に係る駐車支援装置について、図11及び図12に基づいて説明する。尚、以下の説明において、図3の参照符号と同一の符号は同一又は同様な構成要素であるので、その詳細な説明は省略する。
 マークMを撮影するためのビデオカメラは、運転者に広範囲の視野を提供するためには広角であることが好ましい。しかしながら、広角の場合には画像上における遠方の解像度は低くなる。測光領域Rの解像度が低いと、マークMの特徴点C1~C5間の画像上における距離が短くなり、マークMと車両100との相対位置関係を特定する際に誤差が生じ易くなる。そのため、実施の形態3では、図11に示されるように、ズーム制御機能を有するビデオカメラ310を用いると共に、図12のフローチャートに示されるように、測光領域Rを設定(ステップS303)した後に、測光領域Rをズームアップするようにビデオカメラ310を制御し(ステップS304)、マークM周辺の画像の解像度を上げるようにする。これにより、運転者に広範囲の視野を提供しながら、マークMを精度良く認識することができる。
 実施の形態4.
 次に、本発明の実施の形態4に係る駐車支援装置について、図13に基づいて説明する。尚、実施の形態4に係る構成は、実施の形態1に係る図3の構成と同一であるので、その説明は省略する。
 実施の形態1~3では、運転者により指定されたマークMが存在すると思われる画像上の位置又は範囲に基づいて測光領域Rを設定した。それに対して、実施の形態4では、測光領域候補N(測光領域Rの候補)を表す矩形枠を駐車目標位置指定部50のモニタ51上に表示させ、その測光領域候補Nが適切か否かを運転者に判定させる。すなわち、図13のフローチャートに示されるように、まず、画像全体の範囲からマークMを検出してその特徴点C1~C5の座標を抽出し(ステップS404)、特徴点C5を中心として一定範囲を測光領域候補Nとして設定する(ステップS405)。そして、測光領域候補Nを表す矩形枠を駐車目標位置指定部50のモニタ51上に表示させ、その測光領域候補Nが適切か否かを運転者に判定させる(ステップS406)。このときのモニタ表示の一例を図14に示す。図14において、符号Nを付した矩形枠が測光領域候補Nである。測光領域候補Nが運転者により適切であると判定された場合には、測光領域候補Nを測光領域Rとし(ステップS407)、ステップS410に進んで測光領域Rの測光を行う。測光領域候補Nが運転者により適切でないと判定された場合には、ステップS408に進んで運転者にマークMが存在すると思われる画像上の位置又は範囲を指定させる。これにより、ステップS404におけるマークMの検出処理が成功した場合には、運転者が、マークMが存在すると思われる画像上の位置又は範囲を指定する手間を省くことができる。
 尚、ステップS404において、マークMと思われるものが複数検出された場合には、それらに対応する複数の測光領域候補Nを駐車目標位置指定部50のモニタ51上に表示させ、運転者にいずれの候補が適切かを判断させるようにしてもよい。
 また、マークMの自動検出ができなかった場合に、画像中の暗い領域を測光領域Rとして自動設定するようにしてもよい。
 その他の実施の形態
 実施の形態2~4は、組み合わせてもよい。
 実施の形態1~4及びそれらの組み合わせにおいて、駐車案内生成部40及び駐車案内出力部60により駐車案内情報を出力するのではなく、駐車軌跡算出部30により算出される駐車軌跡Lと、操舵角センサ70、ヨーレートセンサ80、及び車速センサ90から取得される情報に基づいて算出される車両100の実際の移動距離及び移動方向とに基づいて、車両100のハンドル、アクセル、ブレーキ等を自動操作する駐車自動操作部を備えた自動駐車装置としてもよい。
 実施の形態1~4及びそれらの組み合わせにおいて、駐車目標であるマークMは、駐車スペースSの床面ではなく、駐車スペースSの壁面に設置されてもよい。
 実施の形態1~4及びそれらの組み合わせにおいて、ビデオカメラ10,210,310の露光条件を変える方法としては、露光時間を変えるのではなく、絞りを変える或いは感度を変える等でもよい。
 また、露光条件を変えるのではなく、モノクロ撮影モードとカラー撮影モードの切替えを行ってもよい。
 実施の形態1~4及びそれらの組み合わせにおいて、マークMの認識処理に適したビデオカメラ10,210,310の露光条件が、モニタ表示用には必ずしも適さない場合もある。そのため、マーク認識処理用の露光条件1と、モニタ表示用の露光条件2という2つの露光条件を定義し、ビデオカメラ10,210,310の露光条件1と露光条件2とを一定の間隔で切り替えてもよい。そして、露光条件1で撮影されたフレームは、駐車目標認識部20,220,320が行うマークMの認識処理に使用し、露光条件2で撮影されたフレームは、駐車目標位置指定部50のモニタ51が行うビデオカメラ10,210,310により撮影された画像の表示に使用する。これにより、運転者が視認するのに適したモニタ表示を提供しながら、マークMの認識処理に適するようにビデオカメラ10,210,310の露光条件の制御を行うことができる。このとき、駐車目標位置指定部50のモニタ51が行うビデオカメラ10,210,310により撮影された画像の表示においては、露光条件1で撮影されたフレームが欠落するので、図15に示されるように、露光条件1で撮影されたフレームに相当するフレームを、直前に表示した露光条件2で撮影されたフレームを再度表示して補間することにより、違和感のないモニタ表示が可能になる。図15において、フレーム1とフレーム1’、フレーム4とフレーム4’、及びフレーム7とフレーム7’は、それぞれ同一のものである。或いは、高速フレームレートでの撮影が可能なビデオカメラを使用し、マークMの認識処理用とモニタ表示用とに振り分けられた後の各々のフレームレートが、通常のフレームレートになるようにすれば、さらに違和感のないモニタ表示が可能になる。
 実施の形態1~4及びそれらの組み合わせにおいて、ビデオカメラ10,210,310の露光条件を制御することにより画像の輝度値を調整するのではなく、測光領域Rの平均輝度値或いは輝度分布の形状に基づいてビデオカメラ10,210,310により撮影された画像の各画素の輝度値に一定値を加算或いは減算することにより、画像の輝度値を調整してもよい。このとき、画像全体に対して輝度値の調整を行ってもよいが、測光領域Rの範囲内の輝度値のみを調整した方が処理時間を短縮することができるためより好ましい。また、駐車目標認識部20,220,320が内部で行うマークMの認識処理においてのみ輝度値を調整した画像を使用し、駐車目標位置指定部50でのモニタ表示では、ビデオカメラ10,210,310により撮影された画像をそのまま表示する。これにより、ビデオカメラが露光条件制御機能を有していなくても、画像の輝度値をマークMの認識処理に適するように調整し、マークMを精度良く認識することができる。
 実施の形態1~4及びそれらの組み合わせにおいて、ビデオカメラ10,210,310により撮影された画像を駐車目標位置指定部50でモニタ表示すると、路面上において車両100の近くに位置する物体は大きく表示され、遠くに位置する物体は小さく表示される。そのため、測光領域Rに対応する路面上又は壁面上における位置と車両100との距離に基づいて、距離が近くなるに従って測光領域Rを広く設定するようにしてもよい。これにより、測光領域Rのサイズを適切に設定することができる。
 実施の形態1~4及びそれらの組み合わせにおいて、マークMの認識前は測光領域Rを広めに設定しておき、マークMの認識後は測光領域Rを狭く設定することにより、測光やマークMの認識処理にかかる時間が短縮されるようにしてもよい。
 実施の形態1~3及びそれらの組み合わせにおいて、自宅の車庫などのように使用頻度の高い駐車スペースでは、駐車開始前に車両100が停車する位置が概ね同じになるため、運転者により指定されたマークMが存在すると思われる画像上の位置又は範囲を学習し、概ね同一の位置又は範囲が所定回数指定された後は、測光領域Rをその学習した位置又は範囲に自動的に設定するようにしてもよい。例えば、運転者により画像上の位置が指定される場合には、所定の回数nを上限として、運転者が指定するマークMが存在すると思われる画像上の位置の2次元座標を記憶していき、記憶された各点間の2次元ユークリッド距離が全て所定の閾値よりも小さい場合には、概ね同一の位置が所定回数(n回)指定されたものと判定し、測光領域Rをそれらの中央に自動的に設定する。また、運転者により画像上の範囲が指定される場合には、所定の回数nを上限として、運転者が指定するマークMが存在すると思われる画像上の範囲の中心座標及びそこから範囲の外枠までの平均距離を記憶していき、記憶された各中心点間の2次元ユークリッド距離が所定の閾値よりも小さく、且つ、記憶された各平均距離の分散が所定の閾値よりも小さい場合には、概ね同一の範囲が所定回数(n回)指定されたものと判定し、測光領域Rをその範囲に自動的に設定する。これらにより、運転者が、毎回マークMが存在すると思われる画像上の位置又は範囲を指定する手間を省くことができる。
 実施の形態1~4及びそれらの組み合わせにおいて、駐車案内情報は音声であり、駐車案内出力部60のスピーカ61から出力されていたが、これに限定されるものではない。例えば、モニタに表示する画像により、運転者に駐車案内情報を伝達してもよい。その他にも、バイブレータによる振動、ブザーによる警告音等により、駐車案内情報を伝達してもよい。
 また、運転者にマークMが存在すると思われる画像上の位置又は範囲を指定させる手段も、タッチパネルに限定されるものではなく、音声認識、ボタン、キーボード、マウス、マーカーライト(地面にマーカーライトを当てる)等の様々な入力デバイスを使用することができる。

Claims (13)

  1.  駐車スペースに設置されたマークを撮影すると共に車両に搭載されるビデオカメラと、
     前記ビデオカメラにより撮影された画像から前記マークを認識して前記マークと前記車両との相対位置関係を特定する駐車目標認識部と、
     前記マークと前記車両との相対位置関係に基づいて、前記車両と前記駐車スペースとの相対位置関係を特定し、前記車両を前記駐車スペースへ誘導するための駐車軌跡を算出する駐車軌跡算出部とを備え、
     前記駐車目標認識部は、前記画像上に測光領域を設定し、前記測光領域の輝度値に基づいて前記画像の輝度値を調整した後、前記画像から前記マークを認識する処理を行うことを特徴とする駐車支援装置。
  2.  前記ビデオカメラにより撮影された前記画像を表示すると共に運転者からの入力を受け付ける機能を有する駐車目標位置指定部を備え、
     前記駐車目標位置指定部は、運転者により指定される画像上の位置又は範囲を前記駐車目標認識部に出力し、
     前記駐車目標認識部は、前記運転者により指定された画像上の位置又は範囲に基づいた一定範囲を、前記測光領域として設定することを特徴とする、請求項1に記載の駐車支援装置。
  3.  前記駐車目標認識部は、前記測光領域の範囲内から前記マークを認識する処理を行うことを特徴とする、請求項2に記載の駐車支援装置。
  4.  前記駐車目標認識部は、前記測光領域の路面上又は壁面上における位置と前記車両との距離に基づいて、前記距離が近くなるに従って前記測光領域を広く設定することを特徴とする、請求項1~3のいずれか一項に記載の駐車支援装置。
  5.  前記駐車目標認識部は、前記運転者により指定された画像上の位置又は範囲を学習し、概ね同一の位置又は範囲が所定回数指定された後は、前記測光領域を前記学習した位置又は範囲に自動的に設定することを特徴とする、請求項2~4のいずれか一項に記載の駐車支援装置。
  6.  前記駐車目標認識部は、前記画像全体の範囲から前記マークを検出し、検出した前記マークの位置に基づいた一定範囲を前記測光領域の候補として設定することを特徴とする、請求項1に記載の駐車支援装置。
  7.  前記ビデオカメラは、露光条件制御機能を有し、
     前記駐車目標認識部は、前記測光領域の輝度値に基づいて前記ビデオカメラの露光条件を制御することにより、前記画像の輝度値を調整することを特徴とする、請求項1~6のいずれか一項に記載の駐車支援装置。
  8.  前記ビデオカメラにより撮影された前記画像を表示するモニタと、
     前記ビデオカメラの露光条件として、第1の露光条件と第2の露光条件とを備え、
     前記駐車目標認識部は、前記ビデオカメラの前記第1の露光条件と前記第2の露光条件とを切り替え、
     前記第1の露光条件で撮影されたフレームは、前記駐車目標認識部が行う前記マークを認識する処理に使用し、
     前記第2の露光条件で撮影されたフレームは、前記モニタが行うビデオカメラにより撮影された画像の表示に使用することを特徴とする、請求項7に記載の駐車支援装置。
  9.  前記モニタが行う前記ビデオカメラにより撮影された画像の表示において、前記第1の露光条件で撮影されたフレームに相当するフレームを、直前に表示した前記第2の露光条件で撮影されたフレームを再度表示することにより補間することを特徴とする、請求項8に記載の駐車支援装置。
  10.  前記駐車目標認識部は、前記測光領域の輝度値に基づいて、前記ビデオカメラにより撮影された画像の各画素の輝度値を調整することを特徴とする、請求項1~6のいずれか一項に記載の駐車支援装置。
  11.  前記駐車目標認識部は、前記マークを認識した後、前記マークが前記測光領域の中央に位置するように、前記測光領域の位置を更新することを特徴とする、請求項1~10のいずれか一項に記載の駐車支援装置。
  12.  前記ビデオカメラは、カラー撮影モードとモノクロ撮影モードの切り替え機能を有し、
     前記駐車目標認識部は、前記画像全体の平均輝度値が所定の閾値未満である場合には、前記ビデオカメラをモノクロ撮影モードに切り替えることを特徴とする、請求項1~11のいずれか一項に記載の駐車支援装置。
  13.  前記ビデオカメラは、ズーム制御機能を有し、
     前記駐車目標認識部は、前記測光領域を設定した後、前記測光領域をズームアップするように前記ビデオカメラを制御することを特徴とする、請求項1~12のいずれか一項に記載の駐車支援装置。
PCT/JP2010/053385 2009-03-13 2010-03-03 駐車支援装置 WO2010103961A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-061815 2009-03-13
JP2009061815A JP2010215029A (ja) 2009-03-13 2009-03-13 駐車支援装置

Publications (1)

Publication Number Publication Date
WO2010103961A1 true WO2010103961A1 (ja) 2010-09-16

Family

ID=42728251

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/053385 WO2010103961A1 (ja) 2009-03-13 2010-03-03 駐車支援装置

Country Status (2)

Country Link
JP (1) JP2010215029A (ja)
WO (1) WO2010103961A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017072941A1 (ja) * 2015-10-30 2017-05-04 三菱電機株式会社 駐車支援装置および駐車支援方法
US10328866B2 (en) * 2013-01-30 2019-06-25 Fujitsu Ten Limited Image processing apparatus and image processing method for generating synthetic image and changing synthetic image
EP3893497A4 (en) * 2018-12-07 2022-04-27 Sony Semiconductor Solutions Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
CN115131989A (zh) * 2021-03-26 2022-09-30 丰田自动车株式会社 驾驶辅助方法、驾驶辅助装置、驾驶辅助系统及记录介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101720649B1 (ko) * 2015-08-20 2017-03-28 한국과학기술원 자동주차 방법 및 시스템
JP6738722B2 (ja) * 2016-12-26 2020-08-12 株式会社Soken 駐車支援装置
EP3852355A4 (en) 2018-09-13 2021-11-10 Sony Semiconductor Solutions Corporation INFORMATION PROCESSING DEVICE AND METHOD, IMAGING DEVICE, MOBILE BODY DEVICE AND COMPUTER PROGRAM
JP6744058B1 (ja) * 2019-06-06 2020-08-19 三菱電機株式会社 駐車支援装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175882A (ja) * 1997-12-16 1999-07-02 Furuno Electric Co Ltd 車番読取装置
JP2001045512A (ja) * 1999-08-04 2001-02-16 Sanyo Electric Co Ltd 白黒/カラー切換カメラ
JP2005067565A (ja) * 2003-08-28 2005-03-17 Aisin Seiki Co Ltd 車両後退支援装置
JP2008174000A (ja) * 2007-01-16 2008-07-31 Toyota Industries Corp 駐車支援装置、駐車支援装置部品、駐車支援方法及び駐車支援プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175882A (ja) * 1997-12-16 1999-07-02 Furuno Electric Co Ltd 車番読取装置
JP2001045512A (ja) * 1999-08-04 2001-02-16 Sanyo Electric Co Ltd 白黒/カラー切換カメラ
JP2005067565A (ja) * 2003-08-28 2005-03-17 Aisin Seiki Co Ltd 車両後退支援装置
JP2008174000A (ja) * 2007-01-16 2008-07-31 Toyota Industries Corp 駐車支援装置、駐車支援装置部品、駐車支援方法及び駐車支援プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10328866B2 (en) * 2013-01-30 2019-06-25 Fujitsu Ten Limited Image processing apparatus and image processing method for generating synthetic image and changing synthetic image
WO2017072941A1 (ja) * 2015-10-30 2017-05-04 三菱電機株式会社 駐車支援装置および駐車支援方法
EP3893497A4 (en) * 2018-12-07 2022-04-27 Sony Semiconductor Solutions Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
CN115131989A (zh) * 2021-03-26 2022-09-30 丰田自动车株式会社 驾驶辅助方法、驾驶辅助装置、驾驶辅助系统及记录介质
CN115131989B (zh) * 2021-03-26 2024-04-09 丰田自动车株式会社 驾驶辅助方法、驾驶辅助装置、驾驶辅助系统及记录介质

Also Published As

Publication number Publication date
JP2010215029A (ja) 2010-09-30

Similar Documents

Publication Publication Date Title
WO2010103961A1 (ja) 駐車支援装置
JP5820787B2 (ja) 画像処理装置、及びプログラム
US10789845B2 (en) Parking assistance method and parking assistance device
US10953869B2 (en) Automated driving control device, vehicle, and automated driving control method
JP5126069B2 (ja) 駐車支援装置、駐車支援装置部品、駐車支援方法、駐車支援プログラム、車両走行パラメータの算出方法及び算出プログラム、車両走行パラメータ算出装置並びに車両走行パラメータ算出装置部品
US6587760B2 (en) Motor vehicle parking support unit and method thereof
JP4672190B2 (ja) 映像ナビゲーション装置
JP4461091B2 (ja) 位置検出装置及びその補正方法
US8010283B2 (en) Driving evaluation system and server
WO2011108217A1 (ja) 車両の周辺監視装置
JP6062609B1 (ja) 車両の外側寸法を監視するための方法ならびに装置
US11525694B2 (en) Superimposed-image display device and computer program
WO2010137364A1 (ja) 校正目標検出装置と、校正目標を検出する校正目標検出方法と、校正目標検出装置のためのプログラム
WO2010101067A1 (ja) 駐車支援装置および駐車支援方法
JP2012076551A (ja) 駐車支援装置、駐車支援方法、及び、駐車支援システム
JP2005038225A (ja) 車線追従装置
KR100871044B1 (ko) 차량 후방안내 시스템의 온스크린 디스플레이 라인 사전생성 방법 및 이를 출력하는 차량 후방이동 궤적 안내방법
JP2016139914A (ja) 表示装置、携帯端末及び制御方法
JP2006160193A (ja) 車両運転支援装置
JP2011232168A (ja) ナビゲーション装置
JP4006272B2 (ja) 運転支援装置
WO2024157449A1 (ja) 駐車支援方法及び駐車支援装置
WO2023166738A1 (ja) 駐車支援方法及び駐車支援装置
WO2023119656A1 (ja) 駐車支援方法及び駐車支援装置
JP2019215789A (ja) カメラパラメータのキャリブレーション方法及びカメラパラメータのキャリブレーション装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10750715

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10750715

Country of ref document: EP

Kind code of ref document: A1