WO2013030932A1 - ナビゲーション装置、画像表示装置、サーバ、調整装置、及び前方画像表示方法 - Google Patents

ナビゲーション装置、画像表示装置、サーバ、調整装置、及び前方画像表示方法 Download PDF

Info

Publication number
WO2013030932A1
WO2013030932A1 PCT/JP2011/069483 JP2011069483W WO2013030932A1 WO 2013030932 A1 WO2013030932 A1 WO 2013030932A1 JP 2011069483 W JP2011069483 W JP 2011069483W WO 2013030932 A1 WO2013030932 A1 WO 2013030932A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image
front image
posture
parameter
Prior art date
Application number
PCT/JP2011/069483
Other languages
English (en)
French (fr)
Inventor
宏平 伊藤
市原　直彦
理 山崎
伸一 杉江
幸浩 佐藤
中山　務
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to PCT/JP2011/069483 priority Critical patent/WO2013030932A1/ja
Publication of WO2013030932A1 publication Critical patent/WO2013030932A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display

Definitions

  • the present invention relates to a navigation device, an image display device, a server, an adjustment device, and a front image display method for adjusting a mounting posture of a camera that is mounted on a vehicle and captures a front image in a traveling direction.
  • Patent Literature 1 a front image in the traveling direction of the vehicle is captured, the white lines on both sides of the traveling lane displayed in the front image are recognized, and the two A vanishing point located on the horizon that is the convergence point of the white line is detected.
  • the camera mounting posture can be adjusted correctly by changing the viewing angle of the camera so that the vanishing point coincides with the center of the image.
  • the problems to be solved by the present invention include the above-mentioned problems as an example.
  • the invention according to claim 1 attaches the image pickup means mounted on a vehicle to pick up a front image of the vehicle and the image pickup means so that the relative posture relationship with respect to the vehicle can be adjusted.
  • An adjustment attachment means, a vehicle attitude parameter detection means for detecting a vehicle attitude parameter representing the attitude state of the vehicle at that time in the front image, and the vehicle attitude parameter detected by the vehicle attitude parameter detection means are stored.
  • a setting attitude parameter setting means for setting a setting attitude parameter to be taken by the vehicle attitude parameter according to the purpose of use of the front image A front image processing means for processing the front image in the display mode, and the front image processing means A display means for displaying a front image, a.
  • an invention is an image pickup means for picking up a front image of a vehicle, and a vehicle for detecting a vehicle posture parameter representing a posture state of the vehicle at that time in the front image.
  • Attitude parameter detection means storage means for storing the vehicle attitude parameters detected by the vehicle attitude parameter detection means, and setting attitudes for setting the setting attitude parameters to be taken by the vehicle attitude parameters according to the purpose of use of the front image
  • a parameter setting unit a front image processing unit that processes the front image in a display mode corresponding to a posture deviation of the set posture parameter relative to the vehicle posture parameter, and the front image processed by the front image processing unit.
  • Display means for displaying.
  • an invention according to claim 11 is an image pickup means for picking up a front image of a vehicle, and a vehicle for detecting a vehicle posture parameter representing a posture state of the vehicle at that time in the front image.
  • Attitude parameter detection means communication means for transmitting and receiving the vehicle attitude parameters detected by the vehicle attitude parameter detection means to an external server, and setting attitudes to be taken by the vehicle attitude parameters according to the purpose of use of the front image
  • a setting attitude parameter setting means for setting a parameter
  • a front image processing means for processing the front image in a display mode corresponding to a relative attitude deviation of the setting attitude parameter with respect to the vehicle attitude parameter, and the front image processing means.
  • Display means for displaying the processed front image.
  • the invention according to claim 12 includes storage means for storing the vehicle attitude parameter detected by the vehicle attitude parameter detection means.
  • the invention according to claim 13 adjusts the mounting angle of the imaging means so as to automatically adjust the relative posture relationship of the imaging means with respect to the vehicle according to the attitude deviation.
  • An adjustment drive mechanism is provided.
  • an invention according to claim 13 is an imaging step of capturing a front image of a vehicle, and a vehicle that detects a vehicle posture parameter representing a posture state of the vehicle at that time in the front image.
  • a posture parameter detection step, a setting posture parameter setting step for setting a setting posture parameter to be taken by the vehicle posture parameter according to the purpose of use of the front image, and a relative posture deviation of the set posture parameter with respect to the vehicle posture parameter A front image processing step of processing the front image in a display mode corresponding to the above, and a display step of displaying the front image processed by the front image processing step.
  • FIG. 7 is a diagram illustrating an example of an arrangement relationship with an original average vanishing point in a case where the average vanishing point in each imaging range in FIG. 6 is set as a setting reference point.
  • FIG. 7 shows an example of the front image imaged when the vehicle is parked in an outdoor parking lot. It is an example of the image for adjustment for adjusting so that the deviation component of a X-axis direction may be eliminated. It is an example of the image for adjustment at the time of adjusting so that the deviation component of a X-axis direction may be eliminated.
  • FIG. 1 is a perspective view showing a configuration example of a vehicle equipped with the navigation device of the present invention.
  • the navigation device 100 is provided with a single front camera 1 at a front side position of a room mirror 51 installed in a vehicle V.
  • the imaging direction Dc of the front camera 1 is attached in a posture capable of imaging the front in the traveling direction of the vehicle V.
  • the front camera 1 is attached to the vehicle V by, for example, an attachment device (adjustment attachment means; not shown) via a universal joint, and the imaging direction Dc is the yaw direction (horizontal direction) and pitch. It is movable manually or electrically in a predetermined range in each direction (vertical direction).
  • the front camera 1 does not deviate from the imaging range the direction Dv of the vehicle axis passing through the center front-rear direction of the vehicle V within the movable range of the posture.
  • FIG. 2 is an example of a block diagram illustrating a hardware configuration example of the navigation device 100.
  • the navigation device 100 includes a front camera 1, an imaging unit 2, and a display 3.
  • the front camera 1 corresponds to an image pickup means, for example, using a CCD image pickup device or the like, picks up a front image in the traveling direction of the vehicle V described above, and outputs a corresponding signal to a CPU (described later) of the imaging unit 2. It has a function.
  • the front camera 1 continuously captures the front image at short time intervals, thereby capturing the front image in the form of a moving image.
  • the display 3 corresponds to display means, and is composed of, for example, an LCD panel and has a function of displaying a front image based on an image signal input from a graphic controller (described later) of the imaging unit 2.
  • the imaging unit 2 corresponds to an image processing apparatus, and includes a CPU 11, a storage device 12, a GPS 13, a vehicle speed sensor 14, and a graphic controller 15.
  • the CPU 11 has a function of controlling the entire navigation device by performing various calculations according to the operation of a predetermined program and exchanging information with other units and outputting various control instructions.
  • the storage device 12 includes a ROM 12a, a RAM 12b, and a storage medium 12c.
  • the ROM 12a is an information storage medium in which various processing programs and other necessary information are written in advance.
  • the RAM 12b is an information storage medium on which information necessary for executing the various programs is written and read.
  • the storage medium 12c corresponds to storage means, and is a non-volatile information storage medium such as a flash memory or a hard disk.
  • the GPS 13 has a function of measuring the current location of the vehicle V and acquiring current position information, and performing a predetermined route search and route guidance based on map information stored in advance.
  • the vehicle speed sensor 14 has a function of detecting the traveling speed of the vehicle V. Based on the detection signal of the vehicle speed sensor 14, the CPU 11 can identify whether the vehicle V is in a stopped state or at what traveling speed. Instead of the vehicle speed sensor 14, the traveling speed of the vehicle V can be detected based on the current position information acquired by the GPS 13.
  • the graphic controller 15 has a function of acquiring image data from a video RAM (not shown) and the GPS 13 under the control of the CPU 11 and displaying an image signal based on the image data on the display 3.
  • FIG. 3 is a diagram showing an example of a vehicle window scenery viewed from the cab and a display on the display 3 corresponding thereto.
  • the display 3 is disposed at the center position of the instrument panel 52 and is installed in a parallel posture in the left-right direction of the vehicle V.
  • the vehicle V is traveling in a substantially straight traveling lane, and the vehicle V is following the front vehicle Vf that is in front of the traveling direction.
  • the front camera 1 provided on the back side (traveling direction side) of the room mirror 51 captures a front image including the straight traveling lane and the forward vehicle Vf.
  • the imaging range of the front camera 1 includes the vehicle axis direction Dv of the vehicle V without removing it.
  • the display 3 displays a front image captured by the front camera 1.
  • the mounting posture of the front camera 1 since the mounting posture of the front camera 1 is movable, there are cases where the imaging direction Dc is not in a posture relationship parallel to the vehicle axial direction Dv as in the illustrated example. Such a shift can also occur when the user attaches the front camera 1 at an arbitrary position or when it is attached manually. Therefore, in the present embodiment, when adjusting the mounting posture of the front camera 1, an adjustment image that assists in setting the imaging direction Dc and the vehicle axis direction Dv to an arbitrary posture relationship is displayed on the display 3.
  • a method for generating such an adjustment image and display examples will be sequentially described.
  • FIG. 4 shows a display example when a front image captured by the front camera 1 in the posture state shown in FIG. 3 is displayed on the display 3.
  • the center position of the display area of the display 3 that is, the intersection position of the center lines Lv and Ll in the vertical direction and the horizontal direction in the figure is separated from the vehicle axis direction Dv.
  • the front image loses left-right symmetry with respect to the center line Ll. For example, even if the actual driving lane changes to a right curve and a left curve having the same curvature, the front image has different curvatures on the front image. Reflect (not shown).
  • the lane vanishing point P1 corresponding to the infinitely far point of the traveling lane is always It is located on the intersection of a substantially horizon line (substantially horizontal line) at that time and a substantially extended line in the vehicle axial direction Dv.
  • a point located in the vicinity of an extension line in the vehicle axial direction Dv in the forward image, such as the lane vanishing point P1 detected on such a straight lane, is hereinafter referred to as a vehicle axial direction point.
  • the correspondence between the vehicle axis direction Dv and the vehicle axis direction point is maintained no matter what the imaging direction Dc of the front camera 1 is, and therefore the position of the vehicle axis direction point in the front image is at that time.
  • the direction in which the vehicle axial direction Dv is pointing is indicated.
  • a white line applied to both sides of an actual traveling lane, a boundary line between a road surface and a curb, or an edge part of an asphalt road is displayed as a front image. And is recognized as two lane contour lines Lr forming the contour of the travel lane. Then, the intersection of the two lane outlines Lr on the extension line in the vehicle traveling direction is detected as the lane vanishing point P1 on the front image.
  • the two lane outlines Lr are also recognized in accordance with the direction and curvature of the curve on the front image.
  • the two lane contours Lr are recognized with priority given to the curvature on the near side of the vehicle V.
  • an extension line of the curve is calculated with an approximate expression based on the curvature on the near side, and the position of the intersection is detected as the lane vanishing point P1.
  • not all lane vanishing points P1 detected in any lane correspond to the vehicle axial direction points, and in particular, the lane vanishing point P1 detected by a large curve as shown in FIG. It deviates greatly from the extended line of Dv.
  • the average vanishing point P2 located at the average position of the lane vanishing points P1 is statistical. In particular, they are close to the extended line in the vehicle axial direction Dv and the horizon. That is, the average vanishing point P2 can be regarded as a vehicle axial direction point located on the infinitely far horizon seen in the vehicle pitch angle horizontal state.
  • the center position of the display area of the display 3, that is, the intersection position of the center lines Lv and Ll in the vertical direction and the horizontal direction in FIG. 4 is a position corresponding to the arrival point in the imaging direction Dc of the front camera 1.
  • adjusting the mounting posture of the front camera 1 so that the average vanishing point P2 is fixed at an arbitrary position in the front image displayed on the display 3 is the posture relationship between the imaging direction Dc and the vehicle axial direction Dv. Is an arbitrary setting.
  • said average vanishing point P2 and vehicle axial direction point are equivalent to the vehicle attitude
  • the imaging direction Dc of the front camera 1 it is necessary to set the imaging direction Dc of the front camera 1 according to the purpose of use of the front image.
  • the center position of the display area of the display 3 is required.
  • the average vanishing point P2 is located at a predetermined position other than.
  • FIG. 6 shows an example of the entire landscape in front of the vehicle corresponding to FIG. 4, and in this example, the lane vanishing point P1 coincides with the average vanishing point P2.
  • an imaging range mainly above the average vanishing point P2 located on the horizon for example, a set imaging range A1 shown in the figure.
  • an imaging range mainly below the average vanishing point P2 located on the horizon for example, a set imaging range A2 (dashed line) It is desirable to take a front image at (displayed in).
  • an imaging range mainly leftward from the average vanishing point P2 that is a vehicle axial direction point for example, a set imaging range A3 ( It is desirable to take a forward image with a two-dot chain line).
  • the setting reference points where the average vanishing point P2 should be located in the display area of the display 3 are set reference points Pa1 to Pa3 as shown in FIG. Become.
  • the mounting posture of the front camera 1 is adjusted so that the average vanishing point P2 detected in FIG. 5 matches one of the corresponding setting reference points Pa1 to Pa3. That's fine
  • the setting reference points Pa1 to Pa3 correspond to the setting posture parameters in the present embodiment.
  • an integrated setting reference point may be set at the average position of the setting reference points corresponding to each of the image processing applications.
  • FIG. 8 shows an example of a front image captured when the vehicle V is parked in an outdoor parking lot.
  • a fence 201 that exists in the entire horizontal direction at a height approximately at the center in the vertical direction, and an exterior lamp 202 that extends upward from a position at the approximate center in the vertical direction are displayed characteristics. It is displayed as a thing.
  • the relative position deviation between the average vanishing point P2 and the set reference point Pa1 is obtained by processing the forward image captured by the vehicle V in this way while the vehicle is stopped. Is generated and displayed on the display 3.
  • the position deviation in the front image corresponds to a relative attitude deviation of the set attitude parameter with respect to the vehicle attitude parameter.
  • the adjustment image is generated and displayed separately for each of the horizontal and vertical components ⁇ xi and ⁇ yi of the positional deviation, and the deviation components ⁇ xi and ⁇ yi of the front camera 1 are sequentially eliminated. Adjust the mounting posture twice.
  • the coordinate positions of the average vanishing point P2 and the set reference point Pa1 are known in advance. Thereby, the relative positional deviation of the average vanishing point P2 with respect to the set reference point Pa1 can be calculated by the X-axis direction component ⁇ xi and the Y-axis direction component ⁇ yi.
  • an example of an adjustment image for adjusting to eliminate the deviation component ⁇ xi in the X-axis direction is generated as shown in FIG.
  • the front image is divided into three image areas in the vertical division direction.
  • a reference image is stored in which a front image captured immediately before the start of the adjustment image generation processing is stored and fixed at a position shifted by a negative X-axis direction deviation component ⁇ xi. Display a still image.
  • the front images captured by the front camera 1 at that time are continuously displayed at short time intervals, that is, a through image in a real-time moving image format is displayed.
  • the average vanishing point P2 and the set reference point Pa1 are indicated by dotted lines for easy understanding, but it is not necessary to display them in the actual adjustment image.
  • the user can move the through image in the center in the direction opposite to the turning direction by turning the front camera 1 in the left-right direction. Then, the user turns the front camera 1 in the left-right direction so that the upper and lower reference still images coincide with the center through image in the left-right direction as in the example shown in FIG.
  • the operation may be performed so as to eliminate the deviation of the outer light 202 that is divided in the middle. Thereby, the mounting posture of the front camera 1 can be adjusted so as to eliminate the deviation component ⁇ xi in the X-axis direction.
  • FIG. 11 divides the front image into three image areas in the horizontal division direction.
  • a reference still image is displayed in which the forward image captured after the horizontal adjustment is stored and fixed at a position shifted by a negative Y-axis direction deviation component - ⁇ yi.
  • a through image in a real-time moving image format is displayed in the center image area, and the center through image can be moved in the direction opposite to the turning direction by turning the front camera 1 up and down. .
  • the operation may be performed so as to eliminate the deviation of the fence 201 that is divided on the way.
  • the mounting posture of the front camera 1 can be adjusted so as to eliminate the deviation component ⁇ yi in the Y-axis direction.
  • the average vanishing point P2 can be made to coincide with the set reference point Pa1 by performing the adjustment operation of the mounting posture twice to eliminate the X-axis direction deviation component ⁇ xi and the Y-axis direction deviation component ⁇ yi, respectively. That is, the imaging direction Dc and the vehicle axial direction Dv can be adjusted to a desired posture relationship.
  • the adjustment image is generated from the front image including the fence 201 and the external light 202, so that the deviation between the reference still image and the through image can be clearly shown.
  • there are actually some landmarks and display objects around the vehicle V unless it is on a large desert or ocean, there is no need to select a stop location of the vehicle V in consideration of a front image for adjustment.
  • FIG. 13 is an example of a flowchart showing control contents executed by the CPU 11 of the imaging unit 2 in order to realize the operation mode described above. This flow is called and started to be executed at an appropriate time interval, for example, while the navigation apparatus 100 is powered on.
  • step S5 it is determined based on the detection signal of the vehicle speed sensor 14 whether or not the vehicle V is traveling at a predetermined speed or higher. If the vehicle V is traveling at a predetermined speed or higher, the determination is satisfied, and the routine goes to Step S10.
  • step S10 it is determined whether or not a predetermined time has elapsed since the previous detection of the lane vanishing point P1. If the predetermined time has not elapsed, the determination is not satisfied, and the process returns to step S5 and the same procedure is repeated.
  • Step S15 if the predetermined time has elapsed, the determination is satisfied, and the routine goes to Step S15.
  • step S15 the front camera 1 captures a front image. Including the procedure of step S15, the process in which the front camera 1 always captures the front image corresponds to the imaging process.
  • step S20 the process proceeds to step S20, and the two lane contours Lr in the current traveling lane are recognized in the front image captured in step S15.
  • the procedure of this step S20 corresponds to a vehicle outline recognition means.
  • step S25 the process proceeds to step S25, and the lane vanishing point P1 in the current traveling lane is detected based on the two lane outlines Lr recognized in step S20.
  • the procedure of step S25 corresponds to lane vanishing point detection means and vehicle attitude parameter detection means.
  • step S30 the process proceeds to step S30, and the lane vanishing point P1 detected in step S25 is additionally recorded so as to be accumulated in the storage medium 12c. And it returns to said step S5 and repeats the same procedure.
  • step S5 determines whether the traveling speed of the vehicle V is less than the predetermined speed, or if the vehicle is stopped. If it is determined in step S5 that the traveling speed of the vehicle V is less than the predetermined speed, or if the vehicle is stopped, the determination is not satisfied and the process proceeds to step S35.
  • step S35 it is determined whether or not an operation instructing the user to adjust the mounting posture of the front camera 1 has been input. If the operation for instructing the adjustment is not input, the determination is not satisfied, and the process returns to step S5 and the same procedure is repeated. On the other hand, if an operation for instructing adjustment is input, the determination is satisfied, and the routine goes to Step S40.
  • step S40 based on the detection signal of the vehicle speed sensor 14, it is determined whether or not the vehicle V is stopped. If the vehicle V is traveling at a low speed and is not stopped, the determination is not satisfied, an error process is performed to warn that adjustment processing cannot be performed unless the vehicle is stopped in step S80, and the process returns to step S5. Repeat the same procedure.
  • Step S45 if the vehicle V has stopped, the determination is satisfied, and the routine goes to Step S45.
  • step S45 it is determined whether or not the lane vanishing point P1 is detected and stored with a sufficient number that can detect the average vanishing point P2 that is already highly reliable at that time. If the number of detections is not yet sufficient at that time, the determination is not satisfied, error processing is performed to notify that the number of detected lane vanishing points P1 is insufficient in step S80, and the same procedure is repeated by returning to step S5.
  • Step S50 if the lane vanishing point P1 is detected and stored in a sufficient number that can detect the average vanishing point P2 that is already highly reliable at that time, the determination is satisfied, and the routine goes to Step S50.
  • step S50 selection input of the image processing application to be applied is received.
  • step S55 the process proceeds to step S55, and the set reference point Pa1 corresponding to the image processing application selected in step S50 is read out.
  • the procedure of step S55 corresponds to a set posture parameter setting unit and a set posture parameter setting step.
  • step S60 the process proceeds to step S60, and all lane vanishing points P1 recorded in the storage medium 12c are read out.
  • step S65 the process proceeds to step S65, and the average vanishing point P2 located at the average position of all the lane vanishing points P1 read out in step S60 is detected.
  • the procedure of step S65 corresponds to a vehicle attitude parameter detection unit, an average vanishing point detection unit, and a vehicle attitude parameter detection step.
  • step S70 the relative positional deviation of the average vanishing point P2 with respect to the set reference point Pa1 is calculated by the X-axis direction component ⁇ xi and the Y-axis direction component ⁇ yi.
  • step S100 an adjustment image for eliminating the X-axis direction deviation component ⁇ xi calculated in step S70 is generated and displayed, and the user is allowed to adjust the mounting posture of the front camera 1 in the yaw direction.
  • Direction adjustment processing is performed (see FIG. 14 described later).
  • step S200 the adjustment image for eliminating the Y-axis direction deviation component ⁇ yi calculated in step S70 is generated and displayed, and the user is allowed to adjust the mounting orientation of the front camera 1 in the pitch direction.
  • Direction adjustment processing is performed (see FIG. 15 described later).
  • step S75 the process proceeds to step S75, and the display 3 displays that the adjustment of the mounting posture of the front camera 1 has been completed. And it returns to step S5 and repeats the same procedure.
  • FIG. 14 is an example of a flowchart showing details of the control contents performed in the horizontal direction adjustment processing in step S100.
  • step S105 it is determined whether or not the absolute value of the X-axis direction deviation component ⁇ xi is equal to or less than a predetermined value set as appropriate. Thereby, when the set reference point Pa1 and the average vanishing point P2 are at substantially the same left-right position from the beginning, unnecessary horizontal adjustment processing can be avoided. If the absolute value of the X-axis direction deviation component ⁇ xi is equal to or smaller than the predetermined value, the determination is satisfied, and the routine goes to Step S110.
  • step S110 it is displayed on the display 3 that the adjustment in the horizontal direction is unnecessary, and this flow is finished.
  • step S105 if the absolute value of the X-axis direction deviation component ⁇ xi is greater than the predetermined value in the determination in step S105, the determination is not satisfied, and the process proceeds to step S115.
  • step S115 the front image captured by the front camera 1 at that time is divided into three in the vertical direction and the upper and lower reference still images are stored.
  • step S115 correspond to the front image processing means and the front image processing step.
  • step S125 the display 3 is instructed to instruct the user to adjust the mounting posture of the front camera 1.
  • step S130 it is determined whether or not the user has performed an input operation indicating that the manual mounting posture adjustment operation has been completed, and a loop waits until the input operation is determined. If there is an input operation, the process proceeds to step S135. Note that the process in which the display 3 sequentially displays the adjustment image during the loop standby in step S130 corresponds to a display process.
  • step S135 it is determined whether or not the deviation of the lateral component remaining at that time is equal to or less than a predetermined value. As a result, it is possible to check with high accuracy whether the horizontal adjustment has been completed correctly.
  • the lateral residual deviation can be calculated by, for example, recognizing an appropriate feature point in the center through image and comparing the lateral movement amount with the X-axis direction deviation component ⁇ xi. If the lateral residual deviation is still larger than the predetermined value, the determination is not satisfied, error processing is performed in step S140, and the process returns to step S130 to repeat the same procedure.
  • Step S145 if the lateral residual deviation is less than or equal to the predetermined value, the determination is satisfied, and the routine goes to Step S145.
  • step S145 the display 3 indicates that the adjustment of the horizontal mounting posture of the front camera 1 is completed for the user, and this flow is ended.
  • FIG. 15 is an example of a flowchart showing details of the control content performed in the vertical direction adjustment processing in step S200.
  • the flow of this vertical direction adjustment process is basically the same control content as the horizontal direction adjustment process, with the X-axis direction deviation component ⁇ xi in each procedure being the Y-axis direction deviation component ⁇ yi, the vertical direction being the horizontal direction, Since only the upper and lower ends are replaced with the left and right ends and the horizontal residual deviation is replaced with the vertical residual deviation, the description is omitted here.
  • the steps S215 and S220 corresponding to steps S115 and S120 in FIG. 14 correspond to the front image processing means and the front image processing step.
  • the process in which the display 3 sequentially displays the adjustment image corresponds to the display process.
  • the front camera 1 (corresponding to the imaging unit) that is mounted on the vehicle V and captures a front image of the vehicle V, and the relative attitude with respect to the vehicle V
  • step S55 for setting the setting posture parameter to be taken (corresponding to the setting posture parameter setting means); Steps S115 and S120 for processing the front image in a display mode corresponding to the relative posture deviation of the set posture parameter with respect to the vehicle posture parameter, or the procedure of steps S215 and S220 (corresponding to the forward image processing means); And a display 3 (corresponding to a display means) for displaying the front image processed by these procedures.
  • the imaging process of the front camera 1 that captures the forward image of the vehicle V, and the posture state of the vehicle V at that time in the forward image Step S65 for detecting a vehicle posture parameter (corresponding to a vehicle posture parameter detection step) and a step S55 for setting a set posture parameter to be taken by the vehicle posture parameter according to the purpose of use of the front image ( Step S115 and step S120, or step S215 and step S220 in which the front image is processed in a display manner corresponding to a relative posture deviation of the set posture parameter with respect to the vehicle posture parameter.
  • Procedure (equivalent to the forward image processing step) and It has a display step of display 3 that displays the front image obtained by processing at al procedure, a.
  • the user refers to the front image (that is, the adjustment image) that is processed by the procedure of step S115 and step S120, or step S215 and step S220 and displayed on the display 3, so that the vehicle at that time It is possible to clearly and intuitively recognize the posture deviation between the posture parameter and the set posture parameter that the vehicle posture parameter should take according to the purpose of use of the front image. And the user can adjust the attachment attitude
  • the vehicle posture parameters are detected on the roadway, they are temporarily stored in the storage medium 12c, and the set posture parameters are set in advance for each image processing application. For this reason, the vehicle posture parameter and the set posture parameter are read at that point in time for a front image captured other than on the roadway, and appropriate adjustment is performed according to the procedure of steps S115 and S120 or steps S215 and S220. Can be processed into images. As a result, the user who refers to it can adjust the mounting posture of the front camera 1 easily and accurately even on the roadway.
  • the attachment device can adjust the posture relationship of the imaging direction Dc of the front camera 1 with respect to the vehicle axis direction Dv of the vehicle V, and the vehicle posture parameter is included in the front image. It is a vehicle axial direction point located on or near the extension line of the vehicle axial direction Dv of the vehicle V at that time, and the set posture parameter is located at the vehicle axial direction point according to the purpose of use of the front image.
  • the set reference point Pa1 and the steps S115 and S120 or the steps S215 and S220 correspond to the relative position deviation (corresponding to the attitude deviation) of the vehicle axial direction point with respect to the set reference point Pa1.
  • the front image is processed in the displayed manner.
  • adjusting the mounting posture of the front camera 1 so as to eliminate the posture deviation between the vehicle posture parameter and the set posture parameter, that is, the vehicle axial direction Dv and the imaging direction Dc according to the purpose of use of the front image.
  • a front image can be imaged in the imaging range according to the utilization purpose of the said front image among the whole wide scenery ahead of a vehicle.
  • the front image is divided into a plurality of image regions in either the vertical direction or the horizontal direction in the steps S115 and S120 or the steps S215 and S220, In any one of the plurality of image areas, the position deviation components ⁇ xi and ⁇ yi in a direction different from the division direction are shifted and fixed, and in the other image areas, the front image captured at that time is fixed. Process to display.
  • some of the surrounding landmarks and display objects displayed in the front image are divided by dividing the image area, and they are displayed with a deviation of the components ⁇ xi and ⁇ yi of the position deviation.
  • the user can clearly and intuitively recognize the deviation components ⁇ xi and ⁇ yi between the set reference point Pa1 and the vehicle axial direction point.
  • the user can adjust the mounting posture of the front camera 1 so as to eliminate the deviation components ⁇ xi and ⁇ yi easily and accurately by adjusting the mounting posture of the front camera 1 so as to eliminate the deviation between the divided image areas. .
  • step S20 the procedure of recognizing the two lane contour lines Lr that are located on the left and right sides of the travel lane of the vehicle V and form the contour of the travel lane in the front image (lane lane)
  • step S25 correspond to the lane vanishing point detection means
  • step S65 the procedure of step S65 for detecting the average vanishing point P2 located at the average position of each of the plurality of lane vanishing points P1 detected in the past in the procedure of step S25.
  • the procedure of step S65 detects the average vanishing point P2 as the vehicle axial direction point.
  • the average vanishing point P2 located in the vicinity of the extension in the vehicle axis direction Dv in the front image can be detected almost correctly as the vehicle axis direction point.
  • the lane vanishing point P1 is detected by various traveling lanes, and the average vanishing point P2 at the average position thereof is detected as the vehicle axial direction point, but the present invention is not limited to this.
  • the function of the GPS 13 of the imaging unit 2 is used to detect that the vehicle V is traveling in a substantially straight traveling lane at that time, the lane disappearance detected in the front image captured by the front camera 1 is detected. You may detect the point P1 as a vehicle axial direction point.
  • the attachment device for attaching the front camera 1 to the vehicle V has a configuration of manual adjustment that is adjusted manually by the user, but the present invention is not limited to this.
  • the mounting device is driven by a motor or the like so as to automatically adjust the relative posture relationship of the front camera 1 with respect to the vehicle V according to the position deviation.
  • An adjustment drive mechanism for adjusting the mounting posture of the front camera 1 may be provided. In this way, adjustment work by the user can be saved, adjustment with high accuracy is possible, and in some cases, it is not necessary to display an adjustment image.
  • two types of adjustment images are displayed on the XY coordinate display area of the display 3 by dividing the entire display area in the X-axis direction and the Y-axis direction.
  • the present invention is not limited to this.
  • the set reference point Pa1 is fixedly displayed at a predetermined position in the display area
  • the average vanishing point P2 is displayed following the movement of the front camera 1 in accordance with the movement of the front camera 1 in the imaging direction Dc.
  • An adjustment image may be generated and displayed.
  • both the average vanishing point P2 and the set reference point Pa1 are stored as coordinate position information (for example, (x, y)) on the XY coordinate display area of the display 3.
  • the average vanishing point P2 is the feature point Pc closest to the average vanishing point P2 in the front image captured at the place where the vehicle V stopped for adjustment as shown in the example of FIG.
  • the relative position (( ⁇ xp, ⁇ yp) in the illustrated example) is detected and stored.
  • the feature point Pc is a characteristic fixed point whose position can be reliably recognized by image recognition regardless of how the forward image moves.
  • the feature point Pc is a rectangular display as shown in the example shown in the figure. There are corners of objects, lane edges and steel tower tips.
  • the average vanishing point P2 can be placed at a fixed position on the front image. Then, no matter how the front image moves due to the turning of the front camera 1, the position of the feature point Pc can be recognized by image recognition, and the average vanishing point P2 can be displayed following the movement.
  • the other set reference point Pa1 is fixedly displayed at a predetermined coordinate position on the XY coordinate display area of the display 3 as described above, and how the front image moves as the front camera 1 turns. However, the display position on the XY coordinate display area does not change.
  • the user refers to the adjustment image generated and displayed in this manner, and sets the average vanishing point P2 at the fixed position on the front image as the reference reference point at the predetermined coordinate position on the display coordinates as shown in the example of FIG.
  • the front camera 1 By turning the front camera 1 so as to coincide with Pa1 and adjusting its mounting posture, it is possible to easily and accurately adjust the deviation components ⁇ xi and ⁇ yi to be eliminated.
  • the adjustment image of the above-described embodiment when the adjustment operation is performed by displaying the adjustment image separately in the horizontal direction and the vertical direction, there is an advantage that only one adjustment operation is required if this adjustment image is used.
  • the average vanishing point P2 can be tracked and displayed even in the through image of the adjustment image used in the above-described embodiment by using the method of copying the average vanishing point P2 at a fixed position on the front image. it can. Further, by displaying the auxiliary reference line passing through the fixed reference point Pa1 fixed in the reference still image and the average vanishing point P2 to be followed and displayed in the vertical direction or the horizontal direction together, the user can clearly define the deviation component. ⁇ xi and ⁇ yi can be visually recognized, and the adjustment operation can be performed accurately.
  • FIG. 18 corresponding to FIG. 9 which is an example of the adjustment image for adjusting in the left-right direction
  • the auxiliary lines 301 and 302 drawn in the up and down direction are fixedly displayed, and in the central through image, the auxiliary line 303 drawn in the up and down direction at the same position in the X-axis direction as the average vanishing point P2 to be followed up is displayed.
  • the user may adjust the auxiliary line 303 in the through image so as to coincide with the two auxiliary lines 301 and 302 in the reference still image in the X-axis direction.
  • the set reference point Pa1 is fixed and displayed at a predetermined position in the display coordinates of the display 3.
  • a front image (displayed by a dotted line in the figure) in which the average vanishing point P2 is positioned at a fixed position by imaging before moving the imaging direction Dc of the front camera 1 and movement of the imaging direction Dc of the front camera 1
  • an adjustment image in which a front image (displayed with a solid line in the figure) captured at that time is displayed in an overlapping manner by semi-transparent processing.
  • the front image (indicated by the dotted line in the figure) in which the average vanishing point P2 is located at a fixed position as a sample the front image (indicated by the solid line in the figure) captured at that time is moved to be a sample.
  • the mounting posture of the front camera 1 may be adjusted so that the set reference points Pa1 overlap.
  • the set reference point Pa ⁇ b> 1 is located on the left side of the base of the external light 202.
  • the adjustment operation may be performed so that
  • the adjustment can be easily performed so as to eliminate the deviation components ⁇ xi and ⁇ yi by a single adjustment operation, and the average vanishing point P2 is placed at a fixed position on the front image and displayed in accordance with the image recognition as described above. Is unnecessary, the processing load on the CPU 11 can be reduced.
  • the rectangular areas having four vertices on each of them have the same aspect ratio as the display area of the display 3, and the arrangement position of the set reference point Pa1 in the display area and the average vanishing point P2 in the rectangular area. Similar to placement position. Therefore, by extracting the image portion of the largest rectangular area that satisfies the above conditions in the display area of the display 3 and displaying it in an enlarged manner in the entire display area of the display 3 as shown in an example of FIG.
  • the set reference point Pa1 in the middle and the average vanishing point P2 in the front image can be displayed in agreement. That is, the deviation components ⁇ xi and ⁇ yi between the average vanishing point P2 and the set reference point Pa1 can be eliminated.
  • the relative posture relationship between the vehicle axis direction Dv of the vehicle V and the imaging direction Dc of the front camera 1 is adjusted by adjusting the yaw angle and pitch angle of the mounting posture of the front camera 1. It was.
  • the present invention is not limited to this, and the mounting device can also adjust the imaging roll angle around the imaging direction Dc of the front camera 1, and the horizontal reference of the vehicle V and the horizontal reference of the front camera 1 are relative to each other. The roll angle deviation may be adjusted.
  • a circular image region is divided at a substantially central position of the front image, and an image region other than the circular image region is rotated around the center of the circular image region.
  • the deviation is rotated and fixed, and in the circular image area, the front image captured at that time is displayed as a through image.
  • the roll angle deviation will be described.
  • a straight line obtained by averaging them from a number of lane vanishing points P1 detected in the past is calculated, and this straight line corresponds to the vehicle at that time in the forward image.
  • the vehicle horizontal reference line corresponding to the horizontal reference of V in the left-right direction is used.
  • the display 3 is assumed to be installed such that the upper side of the rectangular display region and the X-axis direction of the display coordinates are parallel to the horizontal reference in the left-right direction of the vehicle V.
  • the upper side of the display area of the display 3 and the X axis of the display coordinates A virtual straight line (not shown) parallel to the direction may be set as a set horizontal reference line, and the roll angle deviation may be detected by a deviation angle between the vehicle horizontal reference line and the set horizontal reference line in the front image.
  • the vehicle horizontal reference line in the front image taken before adjustment is parallel to the upper side of the fence 201, and the angle formed by the upper side of the fence 201 with respect to the X axis of the display 3 is the roll angle deviation. It becomes.
  • an image area other than the circular image area may be fixedly displayed as a reference still image by rotating the roll image by the roll angle deviation around the center of the circular image area.
  • the user adjusts the imaging roll angle of the front camera 1 to rotate the through image and eliminates the deviation from the surrounding images, so that the horizontal reference in the left-right direction of the vehicle V and the horizontal reference of the front camera 1 are parallel. Can be.
  • the lane vanishing point P1 and the average vanishing point P2 detected by the navigation device 100 are stored in the storage medium 12c provided therein.
  • the navigation device 100A includes a wireless communication device 21 (corresponding to communication means) and an antenna 22, and is provided in an external data center 24 through a communication network via wireless communication with the relay station 23. It may be a so-called cloud type in which the database server 25 stores the lane vanishing point P1 and the average vanishing point P2.
  • the lane vanishing point P1 stored in the database server 25 of the data center 24 can be used as a backup.
  • the device configuration mounted on the vehicle V is only the navigation device 100, 100A. Not limited.
  • an electronic portable terminal 31 such as a commercially available smartphone or an electronic book terminal is equipped with a camera and a display, which are detachably attached to, for example, a cradle 32 whose attachment posture can be adjusted and mounted on the vehicle V. In some cases (see FIG. 24).
  • the electronic portable terminal 31 is caused to capture a front image, and the CPU included in the same electronic portable terminal 31 is caused to perform analysis processing using a predetermined image processing application, thereby allowing the electronic portable terminal 31 to function as a simple driving support image processing unit 300.
  • the driving support image processing unit 300 having such a configuration, it is possible to generate and display the adjustment image exemplified in the above embodiment, and to adjust the mounting posture of the entire electronic portable terminal 31.
  • the electronic portable terminal 31 corresponds to an image display device
  • the camera equipped in the electronic portable terminal 31 corresponds to an imaging unit.
  • the control procedures processed by the CPU of the electronic portable terminal 31 for example, the average vanishing point P2 And the procedure for detecting the vehicle horizontal reference line as the vehicle attitude parameter corresponds to the vehicle attitude parameter detection means, and the storage unit for storing these vehicle attitude parameters corresponds to the storage means.
  • the setting reference point Pa1 and the setting horizontal reference line are set.
  • the setting procedure corresponds to the setting posture parameter setting means
  • the procedure for generating the adjustment image corresponds to the front image processing means
  • the display equipped in the electronic portable terminal 31 corresponds to the display means
  • the electronic portable terminal A cradle 32 for attaching 31 to the vehicle V corresponds to the adjusting device.
  • the configuration using the electronic portable terminal 31 can be the above-described cloud type.
  • the electronic portable terminal 31 includes communication means instead of storage means, and the database server 25 of the data center 24 corresponds to a server that stores vehicle attitude parameters.
  • the above-described embodiment, the first modified example, and the second modified example all have the same basic constituent elements and processing contents, and only their sharing among the constituent devices is different. .
  • the main examples of these assignments are shown in FIG.
  • the processing unit in the components of FIG. 25 corresponds to a CPU that performs detection processing of vehicle attitude parameters and setting attitude parameters and generation processing of adjustment images using these parameters, and the storage unit stores vehicle attitude parameters.
  • the storage medium 12c and the database server to be stored correspond to the camera mounting portion
  • the mounting device corresponds to the cradle 32
  • the communication portion corresponds to the wireless communication device 21.
  • the mobile terminal in the component device must have a camera
  • the in-vehicle device must have a camera mounting portion
  • the data center must have a storage portion.
  • the display and the processing unit may be equipped with either the portable terminal or the in-vehicle device
  • the storage unit may be equipped with either the portable terminal or the in-vehicle device.
  • the mobile terminal usage mode when the in-vehicle device includes any of a display, a processing unit, a storage unit, a camera mounting unit having an adjustment drive mechanism, and a communication unit, the mobile terminal and the cradle have a connector or the like. It is necessary to be able to attach and receive information signals through the network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

【課題】車道上以外でも容易かつ正確にカメラの取付姿勢の調整を行う。 【解決手段】車両Ｖの停車中に撮像した前方画像を加工処理して、平均消失点Ｐ２と設定基準点Ｐａ１との間の相対的な位置偏差がどれだけあるかを明確かつ直感的に示せる調整用画像を生成し、ディスプレイ３に表示する。調整用画像を、上記位置偏差の左右方向と上下方向のそれぞれの成分Δｘｉ、Δｙｉごとに分けて生成・表示し、順に各偏差成分Δｘｉ、Δｙｉを無くすようフロントカメラ１の取付姿勢を２回調整させる。例えば偏差成分Δｘｉを無くすための調整用画像として、前方画像を縦方向の分割方向で３つの画像領域に分割し、上端と下端の両方の画像領域には、負のＸ軸方向偏差成分－Δｘｉだけずらした位置に固定した基準静止画像を表示する。中央の画像領域には、その時点でフロントカメラ１が撮像している動画形式のスルー画像を表示する。

Description

ナビゲーション装置、画像表示装置、サーバ、調整装置、及び前方画像表示方法
　本発明は、車両に搭載して進行方向の前方画像を撮像するカメラの取付姿勢を調整するナビゲーション装置、画像表示装置、サーバ、調整装置、及び前方画像表示方法に関する。
　近年では、車両に搭載されたカメラで周囲の画像を撮像し、その撮像した画像を解析することで当該車両の周囲の状況を検出する技術が提案されている。このとき、正確な画像解析を行うためには、車両とカメラの姿勢関係が規定された正しい関係にあることが望ましい。しかし、ユーザ自身の手作業によって車両にカメラを取り付ける場合や、カメラの固定位置や取付姿勢が動く可能性がある場合には、当該車両の姿勢に対する当該カメラの撮像方向やロール角などの姿勢関係が上記規定の関係からズレやすくなる。
　これに対して、例えば特許文献１に記載の技術では、車両の走行方向の前方画像を撮像し、当該前方画像中に映し出されている走行車線の両側の白線を認識して、それら２本の白線の収束点であり地平線上に位置する消失点を検出する。そして、この消失点を画像の中央に一致させるようカメラの眺望角度を角度変位させることで、カメラの取付姿勢を正しく調整できる。
特開２００７－２１５１６９号公報
　しかしながら、上記従来技術による取付姿勢の調整を行うためには、正しい消失点を検出できるだけの長くて直線的な車道上に車両を停車させる必要がある。しかしそのような好条件の車道を探すのは容易ではなく、また本当に直線的であるかどうかはユーザ個人の感覚に依存することになるためバラツキが生じやすい。
　また一方、カメラが撮像した前方画像を利用する画像処理アプリケーションによっては、前方画像の利用目的に応じてそれぞれカメラの撮像方向を設定する必要があり、それら設定では上記消失点を画像中央以外の所定位置に位置させる場合が多い。このような画像処理アプリケーションを頻繁に切り替えるたびに、カメラの取付姿勢を調整すべく上記好条件の車道へ行くのは非常に煩雑であり、また車道上に長時間停車して調整作業を行うことは安全上好ましくない。そのため、車道上以外でも容易かつ正確にカメラの取付姿勢の調整を行える技術が要望されていた。
　本発明が解決しようとする課題には、上記した問題が一例として挙げられる。
　上記課題を解決するために、請求項１記載の発明は、車両に搭載して当該車両の前方画像を撮像する撮像手段と、当該車両に対する相対的な姿勢関係を調整可能に前記撮像手段を取り付ける調整取付手段と、前記前方画像中において、その時点の当該車両の姿勢状態を表す車両姿勢パラメータを検出する車両姿勢パラメータ検出手段と、前記車両姿勢パラメータ検出手段が検出した前記車両姿勢パラメータを記憶する記憶手段と、前記前方画像の利用目的に応じて前記車両姿勢パラメータが取るべき設定姿勢パラメータを設定する設定姿勢パラメータ設定手段と、前記設定姿勢パラメータに対する前記車両姿勢パラメータの相対的な姿勢偏差に対応した表示態様で前記前方画像を加工する前方画像加工手段と、前記前方画像加工手段が加工した前方画像を表示する表示手段と、を有する。
　上記課題を解決するために、請求項１０記載の発明は、車両の前方画像を撮像する撮像手段と、前記前方画像中において、その時点の当該車両の姿勢状態を表す車両姿勢パラメータを検出する車両姿勢パラメータ検出手段と、前記車両姿勢パラメータ検出手段が検出した前記車両姿勢パラメータを記憶する記憶手段と、前記前方画像の利用目的に応じて前記車両姿勢パラメータが取るべき設定姿勢パラメータを設定する設定姿勢パラメータ設定手段と、前記車両姿勢パラメータに対する前記設定姿勢パラメータの相対的な姿勢偏差に対応した表示態様で前記前方画像を加工する前方画像加工手段と、前記前方画像加工手段が加工した前記前方画像を表示する表示手段と、を有する。
　上記課題を解決するために、請求項１１記載の発明は、車両の前方画像を撮像する撮像手段と、前記前方画像中において、その時点の当該車両の姿勢状態を表す車両姿勢パラメータを検出する車両姿勢パラメータ検出手段と、前記車両姿勢パラメータ検出手段が検出した前記車両姿勢パラメータを外部サーバへ送受信して記憶させる通信手段と、前記前方画像の利用目的に応じて前記車両姿勢パラメータが取るべき設定姿勢パラメータを設定する設定姿勢パラメータ設定手段と、前記車両姿勢パラメータに対する前記設定姿勢パラメータの相対的な姿勢偏差に対応した表示態様で前記前方画像を加工する前方画像加工手段と、前記前方画像加工手段が加工した前記前方画像を表示する表示手段と、を有する。
　上記課題を解決するために、請求項１２記載の発明は、前記車両姿勢パラメータ検出手段が検出した前記車両姿勢パラメータを記憶する記憶手段を有する。
　上記課題を解決するために、請求項１３記載の発明は、前記姿勢偏差に応じて当該車両に対する前記撮像手段の相対的な姿勢関係を自動的に調整するよう前記撮像手段の取り付け角度を調整する調整駆動機構を備えている。
　上記課題を解決するために、請求項１３記載の発明は、車両の前方画像を撮像する撮像工程と、前記前方画像中において、その時点の当該車両の姿勢状態を表す車両姿勢パラメータを検出する車両姿勢パラメータ検出工程と、前記前方画像の利用目的に応じて前記車両姿勢パラメータが取るべき設定姿勢パラメータを設定する設定姿勢パラメータ設定工程と、前記車両姿勢パラメータに対する前記設定姿勢パラメータの相対的な姿勢偏差に対応した表示態様で前記前方画像を加工する前方画像加工工程と、前記前方画像加工工程が加工した前記前方画像を表示する表示工程と、を有する。
本発明のナビゲーション装置を搭載した車両の構成例を示す斜視図である。 実施形態のナビゲーション装置のシステム構成の一例を示すブロック図である。 運転室から見た車窓風景及びこれに対応するディスプレイの表示の一例を示す図である。 図３に示した姿勢状態のフロントカメラが撮像した前方画像をディスプレイに表示した場合の表示例を表した図である。 車線輪郭線、車線消失点、及び平均消失点を写し込んだ前方画像をディスプレイに表示した場合の表示例を表した図である。 車両前方の景観全体例のうち、各種の画像処理アプリケーションに対応する撮像範囲と平均消失点との配置関係の一例を示す図である。 図６の各撮像範囲における平均消失点を設定基準点とした場合で、元の平均消失点との配置関係の一例を表した図である。 車両を屋外駐車場に駐車している際に撮像した前方画像の一例を示す図である。 Ｘ軸方向の偏差成分を無くすよう調整するための調整用画像の一例である。 Ｘ軸方向の偏差成分を無くすよう調整した際の調整用画像の一例である。 Ｙ軸方向の偏差成分を無くすよう調整するための調整用画像の一例である。 Ｙ軸方向の偏差成分を無くすよう調整した際の調整用画像の一例である。 イメージングユニットのＣＰＵが実行する制御内容を表すフローチャートの一例である。 横方向調整処理で行われる制御内容の詳細を表すフローチャートの一例である。 縦方向調整処理で行われる制御内容の詳細を表すフローチャートの一例である。 平均消失点を前方画像上の定位置に写し置くために検出する特徴点との相対位置の一例を示す図である。 平均消失点をスルー画像の移動に追従表示させる調整用画像の一例である。 図９の調整用画像に補助線を追加して表示した場合の一例である。 平均消失点を定位置に位置させた移動前の前方画像と、移動中の前方画像とを重複表示させた調整用画像の一例である。 ディスプレイの表示領域と相似する矩形領域の抽出を説明する図の一例である。 矩形領域を拡大表示した図の一例である。 フロントカメラの撮像ロール角を調整するための調整用画像の一例である。 クラウド型のナビゲーション装置を搭載した車両とネットワークの構成例を示す斜視図の一例である。 電子携帯端末を利用した形態を搭載した車両の構成例を示す斜視図の一例である。 各形態での構成要素の分担例を示す図の一例である。
　以下、本発明の実施形態を図面を参照しつつ説明する。
　図１は、本発明のナビゲーション装置を搭載した車両の構成例を示す斜視図である。この図１において、ナビゲーション装置１００は、車両Ｖの車内に設置されているルームミラー５１の前方側位置に単独のフロントカメラ１を設けている。フロントカメラ１の撮像方向Ｄｃは、当該車両Ｖの進行方向の前方を撮像可能な姿勢で取り付けられている。なおこの例では、フロントカメラ１は、例えばユニバーサルジョイントを介した取付装置（調整取付手段；特に図示せず）によって車両Ｖに取り付けられており、その撮像方向Ｄｃはヨー方向（水平方向）とピッチ方向（垂直方向）のそれぞれの所定範囲で手動又は電動により可動となっている。このフロントカメラ１は、その姿勢の可動範囲内では、当該車両Ｖの中央前後方向を貫く車両軸の方向Ｄｖを撮像範囲から外さない。
　図２は、ナビゲーション装置１００のハードウェア構成例を示すブロック図の一例である。この図２において、ナビゲーション装置１００は、フロントカメラ１、イメージングユニット２、ディスプレイ３を有している。
　フロントカメラ１は撮像手段に相当し、例えばＣＣＤ撮像素子などを利用して、上述した当該車両Ｖの進行方向の前方画像を撮像し、対応する信号をイメージングユニット２のＣＰＵ（後述）へ出力する機能を有する。なお、本実施形態の例では、このフロントカメラ１が短い時間間隔で前方画像を撮像し続けることで、前方画像を動画の形態で撮像する。
　ディスプレイ３は表示手段に相当し、例えばＬＣＤパネルなどで構成されて、イメージングユニット２のグラフィックコントローラ（後述）から入力された画像信号に基づいて前方画像を表示する機能を有する。
　イメージングユニット２は画像処理装置に相当し、ＣＰＵ１１、記憶装置１２、ＧＰＳ１３、車速センサ１４、グラフィックコントローラ１５を有している。
　ＣＰＵ１１は、所定のプログラムの動作によって各種の演算を行うとともに、他の各部との間で情報の交換や各種の制御指示を出力することで、ナビゲーション装置全体を制御する機能を有する。
　記憶装置１２は、ＲＯＭ１２ａ、ＲＡＭ１２ｂ、及び記憶媒体１２ｃを有する。ＲＯＭ１２ａは、各種の処理プログラムやその他必要な情報が予め書き込まれた情報記憶媒体である。ＲＡＭ１２ｂは、上記各種のプログラムを実行する上で必要な情報の書き込み及び読み出しが行われる情報記憶媒体である。記憶媒体１２ｃは記憶手段に相当し、例えばフラッシュメモリ、ハードディスクなどの不揮発性の情報記憶媒体である。
　ＧＰＳ１３は、車両Ｖの現在地の測位を行い現在位置情報を取得するとともに、予め記憶している地図情報に基づいて所定の経路探索や経路誘導を行う機能を有する。
　車速センサ１４は、当該車両Ｖの走行速度を検出する機能を有する。ＣＰＵ１１は、この車速センサ１４の検出信号に基づき、当該車両Ｖが停止中の状態であるか、もしくはどのくらいの走行速度で走行しているか、を識別することができる。なお、車速センサ１４の代わりに、ＧＰＳ１３で取得した現在位置情報に基づき当該車両Ｖの走行速度を検出することも可能である。
　グラフィックコントローラ１５は、ＣＰＵ１１の制御によってビデオＲＡＭ（図示せず）及び上記ＧＰＳ１３などから画像データを取得し、この画像データに基づく画像信号を上記ディスプレイ３に表示させる機能を有する。
　図３は、運転室から見た車窓風景及びこれに対応するディスプレイ３の表示の一例を示す図である。この図３に示す例において、上記ディスプレイ３がインストゥルメントパネル５２の中央位置に配置され、当該車両Ｖの左右方向で平行な姿勢で設置されている。
　図示する例では、当該車両Ｖはほぼ直線の走行車線を走行しており、その走行方向前方にいる前方車両Ｖｆに追従している状態を示している。ルームミラー５１の裏側（進行方向側）に備えられているフロントカメラ１は、上記直線の走行車線と前方車両Ｖｆを含んだ前方画像を撮像している。このとき、上述したように、フロントカメラ１の撮像範囲は当該車両Ｖの車両軸方向Ｄｖを外さずに含んでいる。そして、ディスプレイ３は、フロントカメラ１が撮像した前方画像を表示している。
　ここで、上述したようにフロントカメラ１はその取付姿勢が可動であるため、図示する例のように、その撮像方向Ｄｃが車両軸方向Ｄｖと平行な姿勢関係にない場合がある。このようなズレは、ユーザがフロントカメラ１を任意の位置に取り付けた場合や、手作業で取り付けた場合などにも生じ得る。そこで本実施形態では、フロントカメラ１の取付姿勢の調整する際に、撮像方向Ｄｃと車両軸方向Ｄｖとを任意の姿勢関係に設定できるよう支援する調整用画像をディスプレイ３に表示する。以下、そのような調整用画像の生成手法及び表示例を順次説明する。
　まず図４は、上記図３に示した姿勢状態のフロントカメラ１が撮像した前方画像をディスプレイ３に表示した場合の表示例を表している。この図４において、ディスプレイ３の表示領域の中心位置、つまり図中の縦方向、横方向それぞれの中心線Ｌｖ，Ｌｌの交点位置が、車両軸方向Ｄｖから離れている。この場合には、前方画像は中心線Ｌｌに対する左右方向の対称性を損なっており、例えば実際の走行車線がそれぞれ同じ曲率の右カーブと左カーブに変わっても、前方画像上ではそれぞれ異なる曲率で写り込む（図示省略）。
　これに対し、図示する例のように平坦な土地で直線状の走行車線を走行している際に撮像した前方画像中においては、走行車線の無限遠方点に相当する車線消失点Ｐ１が、常にその時点の無限遠方の略地平線（略水平線）と、車両軸方向Ｄｖの略延長線との交点上に位置する。このような直線車線上で検出される車線消失点Ｐ１のように、前方画像中において車両軸方向Ｄｖの延長線上付近に位置する点を、以下において車両軸方向点という。フロントカメラ１の撮像方向Ｄｃがどのような方向にあっても、この車両軸方向Ｄｖと車両軸方向点との対応関係は維持されるため、前方画像中における車両軸方向点の位置はその時点で車両軸方向Ｄｖが向いている方向を指標する。
　上記車線消失点Ｐ１を検出する手法としては、まず図示するように実際の走行車線の両側に塗布されている白線や、路面と縁石との境界線や、又はアスファルト道路の縁部などを前方画像の画像解析により検出し、当該走行車線の輪郭を形成する２本の車線輪郭線Ｌｒとして認識する。そして、これら２本の車線輪郭線Ｌｒの車両進行方向の延長線上の交点が、前方画像上における上記車線消失点Ｐ１として検出される。
　ここで例えば図５に示すように、走行車線がカーブ状である場合には、上記２本の車線輪郭線Ｌｒも、前方画像上におけるそのカーブの方向と曲率に合わせて認識される。なお、特に図示しないが、このカーブの曲率が途中で変化する場合には、当該車両Ｖの手前側の曲率を優先して２本の車線輪郭線Ｌｒが認識される。そして手前側の曲率に基づいた近似式でカーブの延長線を算出し、それらの交点位置が車線消失点Ｐ１として検出される。
　そして、どの車線で検出される車線消失点Ｐ１も全てが上記車両軸方向点に該当するとは限られず、特に図５に示したような大きく曲がるカーブで検出される車線消失点Ｐ１は車両軸方向Ｄｖの延長線上から大きく外れる。しかし、当該車両Ｖが多様な形状の走行車線を長く走行し、上記車線消失点Ｐ１を多数検出して記録した場合には、それら車線消失点Ｐ１の平均位置に位置する平均消失点Ｐ２は統計的に車両軸方向Ｄｖの延長線上と地平線上に近接する。つまり、平均消失点Ｐ２は、車両ピッチ角水平状態で見た無限遠方地平線上に位置する車両軸方向点と見なすことができる。
　また、ディスプレイ３の表示領域の中心位置、つまり上記図４中の縦方向、横方向それぞれの中心線Ｌｖ，Ｌｌの交点位置は、当該フロントカメラ１の撮像方向Ｄｃの到達点に相当する位置と見なせる。以上のことから、ディスプレイ３が表示する前方画像中において上記平均消失点Ｐ２を任意の位置に固定させるようフロントカメラ１の取付姿勢を調整することは、撮像方向Ｄｃと車両軸方向Ｄｖの姿勢関係を任意に設定することに他ならない。なお、上記の平均消失点Ｐ２及び車両軸方向点が、本実施形態における車両姿勢パラメータに相当する。
　また一方、撮像した前方画像を利用する画像処理アプリケーションによっては、前方画像の利用目的に応じてそれぞれフロントカメラ１の撮像方向Ｄｃを設定する必要があり、それら設定ではディスプレイ３の表示領域の中央位置以外の所定位置に上記平均消失点Ｐ２を位置させる場合が多い。例えば、図６は上記図４に対応する車両前方の景観全体例を示しており、この図示する例では車線消失点Ｐ１が平均消失点Ｐ２と一致している。この前方景観のうち信号機の点灯表示を検出・解析する画像処理アプリケーションを適用する場合には、地平線上に位置する平均消失点Ｐ２より主に上方の撮像範囲、例えば図中に示す設定撮像範囲Ａ１（点線で表示）で前方画像を撮像することが望ましい。また、車道上の車線を検出・解析する画像処理アプリケーションを適用する場合には、地平線上に位置する平均消失点Ｐ２より主に下方の撮像範囲、例えば図中に示す設定撮像範囲Ａ２（一点鎖線で表示）で前方画像を撮像することが望ましい。また、車道脇の標識を検出・解析する画像処理アプリケーションを適用する場合には、車両軸方向点である平均消失点Ｐ２より主に左方の撮像範囲、例えば図中に示す設定撮像範囲Ａ３（二点鎖線で表示）で前方画像を撮像することが望ましい。
　これら設定撮像範囲Ａ１～Ａ３のそれぞれの場合に対応して、ディスプレイ３の表示領域において平均消失点Ｐ２が位置すべき設定基準点は、図７に示す一例のような設定基準点Ｐａ１～Ｐａ３となる。いずれかの画像処理アプリケーションを適用する場合には、上記図５で検出した平均消失点Ｐ２を対応する設定基準点Ｐａ１～Ｐａ３のいずれかに一致させるように、フロントカメラ１の取付姿勢を調整すればよい。なお、設定基準点Ｐａ１～Ｐａ３が、本実施形態における設定姿勢パラメータに相当する。また、複数の画像処理アプリケーションを並行して適用する場合には、それぞれに対応する設定基準点の平均位置で統合的な設定基準点を設定してもよい。以下においては、本実施形態によって設定基準点Ｐａ１に平均消失点Ｐ２を一致させるようフロントカメラ１の取付姿勢を調整する場合の具体的な例を説明する。
　図８は、当該車両Ｖを屋外駐車場に駐車している際に撮像した前方画像の一例を示している。この図８の例の前方画像には、上下方向略中央の高さで左右方向全体に渡って存在する柵２０１と、上下方向略中央の位置から上方に延びて存在する外灯２０２が、表示特徴物として表示されている。
　本実施形態の例では、このように当該車両Ｖの撮像した前方画像を停車中に加工処理して、平均消失点Ｐ２と設定基準点Ｐａ１との間の相対的な位置偏差がどれだけあるかを明確かつ直感的に示せる調整用画像を生成し、ディスプレイ３に表示する。なお、前方画像中における上記の位置偏差が、車両姿勢パラメータに対する設定姿勢パラメータの相対的な姿勢偏差に相当する。またこの例では、上記調整用画像を、上記位置偏差の左右方向と上下方向のそれぞれの成分Δｘｉ、Δｙｉごとに分けて生成・表示し、順に各偏差成分Δｘｉ、Δｙｉを無くすようフロントカメラ１の取付姿勢を２回調整させる。
　まず、ディスプレイ３の表示領域におけるＸ－Ｙ座標上で、平均消失点Ｐ２と設定基準点Ｐａ１のそれぞれの座標位置があらかじめ既知となっている。これにより、設定基準点Ｐａ１に対する平均消失点Ｐ２の相対的な位置偏差を、Ｘ軸方向成分ΔｘｉとＹ軸方向成分Δｙｉで算出できる。最初にＸ軸方向の偏差成分Δｘｉを無くすよう調整するための調整用画像の一例が、図９に示すように生成される。
　この図９の調整用画像は、前方画像を縦方向の分割方向で３つの画像領域に分割している。上端と下端の両方の画像領域には、この調整用画像の生成処理を開始する直前に撮像した前方画像を記憶してそれを負のＸ軸方向偏差成分－Δｘｉだけずらした位置に固定した基準静止画像を表示する。中央の画像領域には、その時点でフロントカメラ１が撮像している前方画像を短い時間間隔で連続して表示しており、つまりリアルタイム動画形式のスルー画像を表示している。なお、図中には理解を容易にするために平均消失点Ｐ２と設定基準点Ｐａ１を点線で示しているが、実際の調整用画像にはこれらを表示させる必要はない。
　ユーザは、フロントカメラ１を左右方向に旋回させることで、その旋回方向と逆方向に中央のスルー画像を移動させることができる。そしてユーザがフロントカメラ１を左右方向に旋回操作して、図１０に示す一例のように上下の基準静止画像と中央のスルー画像とを左右方向で一致させる。図示する例では、途中で分断している外灯２０２のズレをなくすように操作すればよい。これにより、Ｘ軸方向の偏差成分Δｘｉを無くすようフロントカメラ１の取付姿勢を調整できる。
　次にＹ軸方向の偏差成分Δｙｉを無くすよう調整するための調整用画像の一例が、図１１に示すように生成される。この図１１の調整用画像は、前方画像を横方向の分割方向で３つの画像領域に分割している。左端と右端の両方の画像領域には、上記左右方向の調整後に撮像した前方画像を記憶してそれを負のＹ軸方向偏差成分－Δｙｉだけずらした位置に固定した基準静止画像を表示する。中央の画像領域には、同様にリアルタイム動画形式のスルー画像を表示しており、フロントカメラ１を上下方向に旋回させることで、その旋回方向と逆方向に中央のスルー画像を移動させることができる。そしてユーザがフロントカメラ１を上下方向に旋回操作して、図１２に示す一例のように左右の基準静止画像と中央のスルー画像とを上下方向で一致させる。図示する例では、途中で分断している柵２０１のズレをなくすように操作すればよい。これにより、Ｙ軸方向の偏差成分Δｙｉを無くすようフロントカメラ１の取付姿勢を調整できる。
　以上のように、Ｘ軸方向偏差成分ΔｘｉとＹ軸方向偏差成分Δｙｉをそれぞれ無くす２回の取付姿勢の調整操作を行うことで、平均消失点Ｐ２を設定基準点Ｐａ１に一致させることができる。すなわち、撮像方向Ｄｃと車両軸方向Ｄｖとを目的の姿勢関係に調整できる。なお、図示した例では、柵２０１と外灯２０２を含んだ前方画像で調整用画像を生成したおかげで、基準静止画像とスルー画像とのズレを明確に示すことができた。しかし、実際には広い砂漠や海洋上でない限り車両Ｖの周囲に何らかのランドマークや表示物が存在するため、特に調整用の前方画像を考慮して車両Ｖの停車場所を選ぶ必要はない。
　図１３は、以上説明した動作態様を実現するために、イメージングユニット２のＣＰＵ１１が実行する制御内容を表すフローチャートの一例である。なお、このフローは、当該ナビゲーション装置１００に電源が入っている間に、例えば適宜の時間間隔で呼び出されて実行を開始する。
　図１３において、まずステップＳ５において、車速センサ１４の検出信号に基づき当該車両Ｖが所定速度以上で走行しているか否かを判定する。当該車両Ｖが所定速度以上で走行している場合には、判定が満たされ、ステップＳ１０へ移る。
　ステップＳ１０では、前回の車線消失点Ｐ１の検出から所定時間が経過したか否かを判定する。所定時間が経過していない場合には、判定は満たされず、ステップＳ５に戻って同様の手順を繰り返す。このように車線消失点Ｐ１を検出する時間間隔を空けることで、検出する車線消失点Ｐ１の多様性を確保し、検出する平均消失点Ｐ２の信頼性を向上できる。
　一方、所定時間を経過した場合には、判定が満たされ、ステップＳ１５へ移る。
　ステップＳ１５では、フロントカメラ１で前方画像を撮像する。なお、このステップＳ１５の手順も含めて、常時フロントカメラ１が前方画像を撮像する工程が撮像工程に相当する。
　次にステップＳ２０へ移り、上記ステップＳ１５で撮像した前方画像中において、現在の走行車線における２本の車線輪郭線Ｌｒを認識する。なお、このステップＳ２０の手順が、車両輪郭線認識手段に相当する。
　次にステップＳ２５へ移り、上記ステップＳ２０で認識した２本の車線輪郭線Ｌｒに基づいて、現在の走行車線における車線消失点Ｐ１を検出する。なお、このステップＳ２５の手順が、車線消失点検出手段及び車両姿勢パラメータ検出手段に相当する。
　次にステップＳ３０へ移り、上記ステップＳ２５で検出した車線消失点Ｐ１を記憶媒体１２ｃに蓄積するよう追加記録する。そして、上記ステップＳ５に戻って同様の手順を繰り返す。
　また一方、上記ステップＳ５の判定において、当該車両Ｖの走行速度が所定速度未満であった場合、もしくは停車していた場合、判定は満たされず、ステップＳ３５へ移る。
　ステップＳ３５では、ユーザからフロントカメラ１の取付姿勢を調整するよう指示する操作が入力されたか否かを判定する。調整を指示する操作が入力されていない場合、判定は満たされず、ステップＳ５に戻って同様の手順を繰り返す。一方、調整を指示する操作が入力されている場合、判定が満たされ、ステップＳ４０へ移る。
　ステップＳ４０では、車速センサ１４の検出信号に基づき当該車両Ｖが停車しているか否かを判定する。当該車両Ｖが低速走行中であって停車していない場合には、判定は満たされず、ステップＳ８０において停車していなければ調整処理を行えない旨を警告するエラー処理を行い、ステップＳ５へ戻って同様の手順を繰り返す。
　一方、当該車両Ｖが停車していた場合には、判定が満たされ、ステップＳ４５へ移る。
　ステップＳ４５では、その時点で既に信頼性の高い平均消失点Ｐ２を検出できるだけの十分な数で車線消失点Ｐ１を検出、記憶しているか否かを判定する。その時点でまだ検出数が十分でない場合、判定は満たされず、ステップＳ８０において車線消失点Ｐ１の検出数が足りない旨を報知するエラー処理を行い、ステップＳ５へ戻って同様の手順を繰り返す。
　一方、その時点で既に信頼性の高い平均消失点Ｐ２を検出できるだけの十分な数で車線消失点Ｐ１を検出、記憶している場合、判定が満たされ、ステップＳ５０へ移る。
　ステップＳ５０では、適用する画像処理アプリケーションの選択入力を受け付ける。
　次にステップＳ５５へ移り、上記ステップＳ５０で選択した画像処理アプリケーションに対応する設定基準点Ｐａ１を読み出す。なお、このステップＳ５５の手順が、設定姿勢パラメータ設定手段及び設定姿勢パラメータ設定工程に相当する。
　次にステップＳ６０へ移り、記憶媒体１２ｃに記録されている全ての車線消失点Ｐ１を読み出す。
　次にステップＳ６５へ移り、上記ステップＳ６０で読み出した全ての車線消失点Ｐ１の平均位置に位置する平均消失点Ｐ２を検出する。なお、このステップＳ６５の手順が、車両姿勢パラメータ検出手段、平均消失点検出手段、及び車両姿勢パラメータ検出工程に相当する。
　次にステップＳ７０へ移り、設定基準点Ｐａ１に対する平均消失点Ｐ２の相対的な位置偏差を、Ｘ軸方向成分ΔｘｉとＹ軸方向成分Δｙｉで算出する。
　次にステップＳ１００へ移り、上記ステップＳ７０で算出したＸ軸方向偏差成分Δｘｉを無くすための調整用画像の生成と表示を行い、ユーザにフロントカメラ１のヨー方向の取付姿勢の調整を行わせる横方向調整処理を行う（後述の図１４参照）。
　次にステップＳ２００へ移り、上記ステップＳ７０で算出したＹ軸方向偏差成分Δｙｉを無くすための調整用画像の生成と表示を行い、ユーザにフロントカメラ１のピッチ方向の取付姿勢の調整を行わせる縦方向調整処理を行う（後述の図１５参照）。
　次にステップＳ７５へ移り、ディスプレイ３にフロントカメラ１の取付姿勢の調整が完了した旨を表示する。そして、ステップＳ５に戻り同様の手順を繰り返す。
　図１４は、上記ステップＳ１００の横方向調整処理で行われる制御内容の詳細を表すフローチャートの一例である。
　図１４において、まずステップＳ１０５において、Ｘ軸方向偏差成分Δｘｉの絶対値が適宜設定された所定値以下であるか否かを判定する。これにより、初めから設定基準点Ｐａ１と平均消失点Ｐ２とがほぼ同じ左右方向位置にある場合に、無用な横方向調整処理を回避できる。Ｘ軸方向偏差成分Δｘｉの絶対値が所定値以下である場合、判定が満たされ、ステップＳ１１０へ移る。
　ステップＳ１１０では、ディスプレイ３に横方向の調整が不要であることを表示し、このフローを終了する。
　一方、上記ステップＳ１０５の判定において、Ｘ軸方向偏差成分Δｘｉの絶対値が所定値より大きかった場合、判定は満たされず、ステップＳ１１５へ移る。
　ステップＳ１１５では、その時点でフロントカメラ１が撮像している前方画像を縦方向に３分割して、その上端と下端の基準静止画像を記憶する。
　次にステップＳ１２０へ移り、上記ステップＳ１１５で記憶した上端と下端の基準静止画像を、それぞれ横方向に－Δｘｉだけ移動させた位置で固定表示する。なお、上記ステップＳ１１５とこのステップＳ１２０の手順が、前方画像加工手段及び前方画像加工工程に相当する。
　次にステップＳ１２５へ移り、ユーザに対してフロントカメラ１の取付姿勢を調整するよう指示する旨をディスプレイ３に表示する。
　次にステップＳ１３０へ移り、ユーザから手作業による取付姿勢の調整操作が完了したことを示す入力操作があったか否かを判定し、入力操作が判定されるまでループ待機する。入力操作があった場合、ステップＳ１３５へ移る。なお、このステップＳ１３０のループ待機中において、ディスプレイ３が調整用画像を逐次表示する工程が表示工程に相当する。
　ステップＳ１３５では、その時点で残留している横方向成分の偏差が所定値以下となっているか否かを判定する。これにより、横方向の調整が正しく完了したかを高い精度でチェックできる。なお、横方向残留偏差は、例えば中央のスルー画像中における適宜の特徴点を画像認識して、その横方向の移動量とＸ軸方向偏差成分Δｘｉとの比較により算出できる。横方向残留偏差がまだ所定値より大きかった場合、判定は満たされず、ステップＳ１４０でエラー処理を行ってからステップＳ１３０に戻り、同様の手順を繰り返す。
　一方、横方向残留偏差が所定値以下であった場合、判定が満たされ、ステップＳ１４５へ移る。
　ステップＳ１４５では、ユーザに対してフロントカメラ１の横方向の取付姿勢の調整が完了した旨をディスプレイ３に表示し、このフローを終了する。
　図１５は、上記ステップＳ２００の縦方向調整処理で行われる制御内容の詳細を表すフローチャートの一例である。この縦方向調整処理のフローは、基本的に上記横方向調整処理と同等の制御内容であり、各手順におけるＸ軸方向偏差成分ΔｘｉをＹ軸方向偏差成分Δｙｉに、縦方向を横方向に、上端・下端を左端・右端に、横方向残留偏差を縦方向残留偏差に置き換えて実行されるだけであるため、ここでは説明を省略する。なお、上記図１４のステップＳ１１５とステップＳ１２０に対応する、ステップＳ２１５とステップＳ２２０の手順が、前方画像加工手段及び前方画像加工工程に相当する。また、上記ステップＳ１３０に対応するステップＳ２３０のループ待機中において、ディスプレイ３が調整用画像を逐次表示する工程が表示工程に相当する。
　以上説明したように、上記実施形態のナビゲーション装置１００においては、車両Ｖに搭載して当該車両Ｖの前方画像を撮像するフロントカメラ１（撮像手段に相当）と、当該車両Ｖに対する相対的な姿勢関係を調整可能に前記フロントカメラ１を取り付ける取付装置（調整取付手段に相当）と、前記前方画像中において、その時点の当該車両Ｖの姿勢状態を表す車両姿勢パラメータを検出するステップＳ６５の手順（車両姿勢パラメータ検出手段に相当）と、前記ステップＳ６５の手順が検出した前記車両姿勢パラメータを記憶する記憶媒体１２ｃ（記憶手段に相当）と、前記前方画像の利用目的に応じて前記車両姿勢パラメータが取るべき設定姿勢パラメータを設定するステップＳ５５の手順（設定姿勢パラメータ設定手段に相当）と、前記車両姿勢パラメータに対する前記設定姿勢パラメータの相対的な姿勢偏差に対応した表示態様で前記前方画像を加工するステップＳ１１５及びステップＳ１２０、又はステップＳ２１５及びステップＳ２２０の手順（前方画像加工手段に相当）と、これらの手順で加工した前記前方画像を表示するディスプレイ３（表示手段に相当）と、を有する。
　また、上記実施形態のナビゲーション装置１００が実行する前方画像表示方法においては、車両Ｖの前方画像を撮像するフロントカメラ１の撮像工程と、前記前方画像中において、その時点の当該車両Ｖの姿勢状態を表す車両姿勢パラメータを検出するステップＳ６５の手順（車両姿勢パラメータ検出工程に相当）と、前記前方画像の利用目的に応じて前記車両姿勢パラメータが取るべき設定姿勢パラメータを設定するステップＳ５５の手順（設定姿勢パラメータ設定工程に相当）と、前記車両姿勢パラメータに対する前記設定姿勢パラメータの相対的な姿勢偏差に対応した表示態様で前記前方画像を加工するステップＳ１１５及びステップＳ１２０、又はステップＳ２１５及びステップＳ２２０の手順（前方画像加工工程に相当）と、これらの手順で加工した前記前方画像を表示するディスプレイ３の表示工程と、を有する。
　このようにすると、ユーザは、ステップＳ１１５及びステップＳ１２０、又はステップＳ２１５及びステップＳ２２０の手順で加工してディスプレイ３に表示された前方画像（つまり調整用画像）を参照することで、その時点の車両姿勢パラメータと、前方画像の利用目的に応じて当該車両姿勢パラメータが取るべき設定姿勢パラメータとの間の姿勢偏差を明確かつ直感的に認識できる。そして、ユーザはこの姿勢偏差を無くすように、取付装置を介して車両Ｖに取り付けられたフロントカメラ１の取付姿勢を調整することができる。
　ここで、上記車両姿勢パラメータは車道上で検出されるものの一旦は記憶媒体１２ｃに記憶され、また設定姿勢パラメータはあらかじめ画像処理アプリケーションごとに設定されているものである。このため、車道上以外で撮像した前方画像に対しても、その時点で車両姿勢パラメータと設定姿勢パラメータを読み出して、上記のステップＳ１１５及びステップＳ１２０、又はステップＳ２１５及びステップＳ２２０の手順により適切な調整用画像に加工することができる。この結果、それを参照するユーザは車道上以外でも容易かつ正確にフロントカメラ１の取付姿勢の調整を行える。
　また、ナビゲーション装置１００においては、前記取付装置は、当該車両Ｖの車両軸方向Ｄｖに対する前記フロントカメラ１の撮像方向Ｄｃの姿勢関係を調整可能であり、前記車両姿勢パラメータは、前記前方画像中においてその時点の当該車両Ｖの車両軸方向Ｄｖの延長線上又はその近傍に位置する車両軸方向点であり、前記設定姿勢パラメータは、前記前方画像の利用目的に応じて前記車両軸方向点が位置するべき設定基準点Ｐａ１であり、前記ステップＳ１１５及びステップＳ１２０、又はステップＳ２１５及びステップＳ２２０の手順は、前記設定基準点Ｐａ１に対する前記車両軸方向点の相対的な位置偏差（姿勢偏差に相当）に対応した表示態様で前記前方画像を加工する。
　このように車両姿勢パラメータと設定姿勢パラメータとの間の姿勢偏差を無くすようフロントカメラ１の取付姿勢を調整することは、すなわち、前方画像の利用目的に応じて車両軸方向Ｄｖと撮像方向Ｄｃとの間の姿勢関係を調整することになる。これにより、車両前方の広い景観全体のうち、当該前方画像の利用目的に応じた撮像範囲で前方画像を撮像できる。
　また、ナビゲーション装置１００においては、前記ステップＳ１１５及びステップＳ１２０、又はステップＳ２１５及びステップＳ２２０の手順で、前記前方画像をその縦方向又は横方向のいずれかの分割方向で複数の画像領域に分割し、それら複数の画像領域のうちのいずれかの画像領域では前記分割方向と異なる方向での前記位置偏差の成分Δｘｉ、Δｙｉだけずらして固定し、他の画像領域ではその時点で撮像された前記前方画像を表示するよう加工する。
　このようにすると、前方画像に表示されている周囲のランドマークや表示物のいくつかが画像領域の分割によって分断され、それらが位置偏差の成分Δｘｉ、Δｙｉだけズレて表示される。これによりユーザは、設定基準点Ｐａ１と車両軸方向点との間の偏差成分Δｘｉ、Δｙｉを明確かつ直感的に認識できる。そしてユーザは、分断された画像領域間のズレをなくすようにフロントカメラ１の取付姿勢を調整操作することで、容易かつ正確に偏差成分Δｘｉ、Δｙｉを無くすようフロントカメラ１の取付姿勢を調整できる。
　また、ナビゲーション装置１００においては、前記前方画像中において、当該車両Ｖの走行車線の左右両側に位置して当該走行車線の輪郭を形成する２本の車線輪郭線Ｌｒを認識するステップＳ２０手順（車線輪郭線認識手段に相当）と、前記２本の車線輪郭線Ｌｒのそれぞれの前記進行方向の延長線上の交点を車線消失点Ｐ１として検出するステップＳ２５の手順（車線消失点検出手段に相当）と、前記ステップＳ２５の手順で過去に検出した複数の前記車線消失点Ｐ１のそれぞれの平均位置に位置する平均消失点Ｐ２を検出するステップＳ６５の手順（平均消失点検出手段に相当）と、を有し、前記ステップＳ６５の手順は、前記平均消失点Ｐ２を前記車両軸方向点として検出する。
　このようにすると、前方画像中において車両軸方向Ｄｖの延長上近傍に位置する平均消失点Ｐ２を車両軸方向点としてほぼ正しく検出できる。
　なお、上記実施形態では、車線消失点Ｐ１を多様な走行車線で検出して、それらの平均位置にある平均消失点Ｐ２を車両軸方向点として検出したが、本発明はこれに限られない。例えば、イメージングユニット２のＧＰＳ１３の機能を利用して、当該車両Ｖがその時点で略直線状の走行車線を走行していると検知した際にフロントカメラ１が撮像した前方画像で検出した車線消失点Ｐ１を車両軸方向点として検出してもよい。
　また、上記実施形態のナビゲーション装置１００においては、フロントカメラ１を車両Ｖに取り付ける取付装置が、ユーザの手作業によって調整する手動調整の構成としていたが、本発明はこれに限られない。他にも、特に図示説明は省略するが、取付装置が、前記位置偏差に応じて当該車両Ｖに対する前記フロントカメラ１の相対的な姿勢関係を自動的に調整するよう、例えばモータなどの駆動によって前記フロントカメラ１の取付姿勢を調整する調整駆動機構を備えてもよい。このようにすると、ユーザによる調整の手間が省けるとともに高い精度での調整が可能となり、また場合によっては調整用画像の表示も不要となる。
　また、上記実施形態のナビゲーション装置１００においては、ディスプレイ３のＸ－Ｙ座標表示領域上で、Ｘ軸方向とＹ軸方向のそれぞれで表示領域全体を複数分割して表示する２種類の調整用画像を生成表示したが、本発明はこれに限られない。例えば、表示領域中に設定基準点Ｐａ１を所定位置で固定表示する一方、平均消失点Ｐ２についてはフロントカメラ１の撮像方向Ｄｃの移動に伴う前方画像の移動に対応して追従移動させて表示するよう調整用画像を生成表示してもよい。
　この場合には、あらかじめ平均消失点Ｐ２を前方画像上の定位置に写し置く必要がある。つまり、記憶媒体１２ｃにおいては、平均消失点Ｐ２及び設定基準点Ｐａ１のいずれもディスプレイ３のＸ－Ｙ座標表示領域上の座標位置情報（例えば（ｘ、ｙ））として記憶されている。しかし、そのうちの平均消失点Ｐ２については、図１６の一例に示すように、当該車両Ｖが調整のために停車した場所で撮像した前方画像中において、当該平均消失点Ｐ２に最も近い特徴点Ｐｃに対してどのくらいの相対位置（図示する例では（Δｘｐ、Δｙｐ））にあるかを検出して記憶する。なお、特徴点Ｐｃとは、前方画像がどのように移動してもその中から画像認識によって確実にその存在位置が認識可能な特徴的な定点であり、例えば図示する例のように矩形の表示物の角や、車線の端部や鉄塔の先端などがある。
　このように、最も近い特徴点Ｐｃに対する平均消失点Ｐ２の相対位置を検出・記憶することで、平均消失点Ｐ２を前方画像上の定位置に写し置くことができる。そして、フロントカメラ１の旋回により前方画像がどのように移動しても、その中の特徴点Ｐｃの位置を画像認識で認識し、その移動に合わせて平均消失点Ｐ２を追従表示できる。そして他方の設定基準点Ｐａ１は、上述したように、ディスプレイ３のＸ－Ｙ座標表示領域上の所定座標位置に固定表示されており、フロントカメラ１の旋回により前方画像がどのように移動してもＸ－Ｙ座標表示領域上の表示位置は変わらない。
　ユーザは、このように生成・表示された調整用画像を参照し、図１７の一例に示すように前方画像上の定位置の平均消失点Ｐ２を、表示座標上の所定座標位置の設定基準点Ｐａ１に一致させるようフロントカメラ１を旋回してその取付姿勢を調整操作することで、容易かつ正確に偏差成分Δｘｉ、Δｙｉを無くすよう調整できる。なお、上記実施形態の調整用画像では横方向と縦方向の２回に分けて表示して調整操作したところ、この調整用画像を用いれば１度の調整操作で済む利点がある。
　なお、上述したように平均消失点Ｐ２を前方画像上の定位置に写し置く手法を用いて、上記実施形態で使用した調整用画像のスルー画像中においても平均消失点Ｐ２を追従表示させることができる。さらに、基準静止画像中に固定した設定基準点Ｐａ１や、追従表示する平均消失点Ｐ２のそれぞれを上下方向又は左右方向に通過する補助線を併せて表示することで、ユーザがより明確に偏差成分Δｘｉ、Δｙｉを視認でき、調整操作を正確に行える。
　例えば、左右方向の調整を行うための調整用画像の一例である上記図９に対応する図１８に示すように、上下端それぞれの基準静止画像中においては設定基準点Ｐａ１と同じＸ軸方向位置で上下方向に引いた補助線３０１，３０２を固定表示し、中央のスルー画像においては追従表示する平均消失点Ｐ２と同じＸ軸方向位置で上下方向に引いた補助線３０３を同じく追従表示する。ユーザは、スルー画像中の補助線３０３が基準静止画像中の２本の補助線３０１，３０２とＸ軸方向で一致させるよう調整すればよい。このような調整用画像を生成、表示することで、ユーザは調整操作中においてもリアルタイムに偏差成分Δｘｉの増減を明確に視認でき、調整操作を正確に行える。
　また、上述した以外の他の調整用画像として、例えば図１９の一例に示すように、ディスプレイ３の表示座標における所定位置に設定基準点Ｐａ１を固定して表示する。それとともに、フロントカメラ１の撮像方向Ｄｃを移動させる前に撮像して平均消失点Ｐ２を定位置に位置させた前方画像（図中の点線で表示）と、フロントカメラ１の撮像方向Ｄｃの移動に対応してその時点で撮像した前方画像（図中の実線で表示）とを、半透過処理により重複表示させた調整用画像も適用可能である。
　この場合には、平均消失点Ｐ２を定位置に位置させた前方画像（図中の点線で表示）を見本として、その時点に撮像した前方画像（図中の実線で表示）を移動させて見本の前方画像と同様に設定基準点Ｐａ１が重複するようフロントカメラ１の取付姿勢を調整操作すればよい。図１９に示す例では、見本の前方画像で外灯２０２の基台の左脇に平均消失点Ｐ２が位置しているので、それと同様に設定基準点Ｐａ１が外灯２０２の基台の左脇に位置させるように調整操作すればよい。
　この場合でも、１度の調整操作で容易に偏差成分Δｘｉ、Δｙｉを無くすよう調整でき、さらに上述したように平均消失点Ｐ２を前方画像上の定位置に写し置いて画像認識により追従表示させる処理が必要ないためＣＰＵ１１の処理負担を軽減できる。
　また、フロントカメラ１の取付姿勢を調整せずとも、平均消失点Ｐ２と設定基準点Ｐａ１との間の偏差成分Δｘｉ、Δｙｉを無くす方法がある。例えば、図２０の一例に示すように、まず設定基準点Ｐａ１を始点としてディスプレイ３の表示領域の４箇所の頂点をそれぞれ終点とした４つの相対位置ベクトル
Figure JPOXMLDOC01-appb-I000001
を算出する。そして、これら４つの相対位置ベクトル
Figure JPOXMLDOC01-appb-I000002
をそれぞれ平均消失点Ｐ２を始点として再配置する。
　ここで、４つの相対位置ベクトル
Figure JPOXMLDOC01-appb-I000003
上にそれぞれ同時に４頂点が位置する矩形領域は、ディスプレイ３の表示領域と縦横比が同じであって、当該表示領域中における設定基準点Ｐａ１の配置位置と当該矩形領域中における平均消失点Ｐ２の配置位置とが相似する。そこで、ディスプレイ３の表示領域中で上記条件を満たす最大の矩形領域の画像部分を抽出し、それを図２１の一例に示すようにディスプレイ３の表示領域全体で拡大表示することで、表示領域座標中の設定基準点Ｐａ１と前方画像中の平均消失点Ｐ２とを一致させて表示できる。つまり、平均消失点Ｐ２と設定基準点Ｐａ１との間の偏差成分Δｘｉ、Δｙｉを無くすことができる。
　以上においては、フロントカメラ１の取付姿勢のヨー角とピッチ角を調整することにより、車両Ｖの車両軸方向Ｄｖとフロントカメラ１の撮像方向Ｄｃとの間の相対的な姿勢関係を調整していた。本発明はこれに限られず、他にも取付装置がフロントカメラ１の撮像方向Ｄｃ周りの撮像ロール角を調整可能とし、車両Ｖの左右方向の水平基準とフロントカメラ１の水平基準との相対的なロール角偏差を調整してもよい。
　この場合の調整用画像としては、例えば図２２に示すように前方画像の略中央位置に円形画像領域を分割し、当該円形画像領域以外の画像領域を当該円形画像領域の中心周りに上記ロール角偏差だけ回転させて固定し、円形画像領域ではその時点で撮像された前方画像をスルー画像として表示する。
　ここで、上記ロール角偏差について説明すると、特に図示しないが、例えば過去に検出した多数の車線消失点Ｐ１からそれらを平均化した直線を算出し、この直線を前方画像中においてその時点の当該車両Ｖの左右方向の水平基準に対応する車両水平基準線とする。また一方、ディスプレイ３は、その矩形の表示領域の上辺及び表示座標のＸ軸方向が、車両Ｖの左右方向の水平基準と平行となるよう設置されていることを前提とする。その上で、車両Ｖの左右方向の水平基準とフロントカメラ１の水平基準とが平行な姿勢関係となるよう取付姿勢を調整する場合には、ディスプレイ３の表示領域の上辺及び表示座標のＸ軸方向と平行な仮想直線（図示省略）を設定水平基準線に設定し、前方画像中における上記車両水平基準線と設定水平基準線との間の偏差角で上記ロール角偏差を検出すればよい。
　図２２に示す例では、調整前に撮像した前方画像中の車両水平基準線が柵２０１の上辺と平行であり、ディスプレイ３のＸ軸に対してこの柵２０１の上辺が成す角度がロール角偏差となる。調整用画像では、円形画像領域以外の画像領域を当該円形画像領域の中心周りに上記ロール角偏差だけ回転させて基準静止画像として固定表示すればよい。ユーザは、フロントカメラ１の撮像ロール角を調整操作してスルー画像を回転させ、周囲の画像とのズレを無くすことで、車両Ｖの左右方向の水平基準とフロントカメラ１の水平基準とを平行にできる。
　なお、本発明は、上記実施形態に限られるものではなく、その趣旨及び技術的思想を逸脱しない範囲内で種々の変形が可能である。
　（１）車両軸方向点を外部のデータベースに記憶させる場合
　上記実施形態では、ナビゲーション装置１００が自ら検出した車線消失点Ｐ１や平均消失点Ｐ２を、その内部に備えた記憶媒体１２ｃに記憶させて調整用に利用するいわゆるスタンドアローン型であったが、本発明はこれに限られない。例えば、図２３に示すように、ナビゲーション装置１００Ａが無線通信装置２１（通信手段に相当）とアンテナ２２を備え、中継局２３との無線通信を介した通信ネットワークで外部のデータセンター２４に備えたデータベースサーバ２５に車線消失点Ｐ１や平均消失点Ｐ２を記憶させるいわゆるクラウド型としてもよい。
　これにより、ナビゲーション装置１００Ａの記憶媒体１２ｃの方で過去の車線消失点Ｐ１を誤って消去してしまった場合でも、データセンター２４のデータベースサーバ２５に記憶させた車線消失点Ｐ１をバックアップとして利用できる。
　（２）電子携帯端末を利用して構成する場合
　上記実施形態及び上記第１変形例は、いずれも車両Ｖに搭載する機器構成がナビゲーション装置１００、１００Ａだけであったが、本発明はこれに限られない。近年では市販のスマートフォンや電子書籍端末などの電子携帯端末３１にカメラとディスプレイを装備しているモデルが多く、これを例えば取付姿勢の調整可能なクレードル３２に着脱可能に取り付けて車両Ｖに搭載する場合がある（図２４参照）。そして、この電子携帯端末３１に前方画像を撮像させ、同じ電子携帯端末３１が備えるＣＰＵに所定の画像処理アプリケーションで解析処理させることで、簡易な運転支援画像処理ユニット３００として機能させることができる。このような構成の運転支援画像処理ユニット３００においても、上記実施形態で例示した調整用画像を生成・表示させて、電子携帯端末３１全体の取付姿勢を調整することができる。
　この場合には、電子携帯端末３１が画像表示装置に相当し、これに装備されているカメラが撮像手段に相当し、当該電子携帯端末３１のＣＰＵが処理する制御手順のうち例えば平均消失点Ｐ２及び車両水平基準線を車両姿勢パラメータとして検出する手順が車両姿勢パラメータ検出手段に相当し、これら車両姿勢パラメータを記憶する記憶部が記憶手段に相当し、例えば設定基準点Ｐａ１や設定水平基準線を設定する手順が設定姿勢パラメータ設定手段に相当し、調整用画像を生成する手順が前方画像加工手段に相当し、電子携帯端末３１に装備されているディスプレイが表示手段に相当し、当該電子携帯端末３１を車両Ｖに取り付けるクレードル３２が調整装置に相当する。
　また、特に図示しないが、電子携帯端末３１を利用した構成でも上述したクラウド型とすることは可能である。この場合には、電子携帯端末３１において記憶手段の代わりに通信手段が備えられ、データセンター２４のデータベースサーバ２５が車両姿勢パラメータを記憶するサーバに相当する。
　なお、以上説明した実施形態、第１変形例、及び第２変形例はいずれも必要とする基本的な構成要素及び処理内容は同じであり、構成機器間におけるそれらの分担が相違するだけである。これらの分担の主な例を図２５に示す。
　図２５の構成要素における処理部とは、車両姿勢パラメータや設定姿勢パラメータの検出処理やそれらパラメータを用いた調整用画像の生成処理を行うＣＰＵに相当するものであり、記憶部は車両姿勢パラメータを記憶する記憶媒体１２ｃやデータベースサーバに相当するものであり、カメラ取付部は上記取付装置やクレードル３２に相当するものであり、通信部は上記無線通信装置２１に相当するものである。また構成機器における携帯端末にはカメラの装備が必須であり、車載装置にはカメラ取付部の装備が必須であり、データセンターには記憶部の装備が必須である。そのうちクラウド型の場合には、携帯端末と車載装置のいずれかとデータセンターに通信部の装備が必須である。
　図示する分担例以外でも、ディスプレイと処理部は、それぞれ携帯端末と車載装置のいずれかが装備すればよく、記憶部は、携帯端末と車載装置のいずれかが装備すればよい。また、携帯端末利用形態において、車載装置がディスプレイ、処理部、記憶部、調整駆動機構を備えたカメラ取付部、及び通信部のいずれかを備える場合には、携帯端末とクレードルとがコネクタなどを介して情報信号を送受可能に装着できる必要がある。
　また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。
　１　　　　　　　フロントカメラ（撮像手段に相当）
　２　　　　　　　イメージングユニット
　３　　　　　　　ディスプレイ（表示手段に相当）
　１１　　　　　　ＣＰＵ
　１３　　　　　　ＧＰＳ
　１４　　　　　　車速センサ
　１５　　　　　　グラフィックコントローラ
　２１　　　　　　無線通信装置（通信手段に相当）
　２５　　　　　　データベースサーバ（サーバに相当）
　３１　　　　　　電子形態端末（画像表示装置に相当）
　３２　　　　　　クレードル（調整装置に相当）
　１００　　　　　ナビゲーション装置
　３００　　　　　運転支援画像処理ユニット
　Ｄｃ　　　　　　撮像方向
　Ｄｖ　　　　　　車両軸方向
　Ｌｒ　　　　　　車線輪郭線
　Ｐ１　　　　　　車線消失点
　Ｐ２　　　　　　平均消失点
　Ｐａ１～Ｐａ４　設定基準点
　Ｖ　　　　　　　車両
 

Claims (14)

  1. 　車両に搭載して当該車両の前方画像を撮像する撮像手段と、
    　当該車両に対する相対的な姿勢関係を調整可能に前記撮像手段を取り付ける調整取付手段と、
    　前記前方画像中において、その時点の当該車両の姿勢状態を表す車両姿勢パラメータを検出する車両姿勢パラメータ検出手段と、
    　前記車両姿勢パラメータ検出手段が検出した前記車両姿勢パラメータを記憶する記憶手段と、
    　前記前方画像の利用目的に応じて前記車両姿勢パラメータが取るべき設定姿勢パラメータを設定する設定姿勢パラメータ設定手段と、
    　前記設定姿勢パラメータに対する前記車両姿勢パラメータの相対的な姿勢偏差に対応した表示態様で前記前方画像を加工する前方画像加工手段と、
    　前記前方画像加工手段が加工した前方画像を表示する表示手段と、を有する
    ことを特徴とするナビゲーション装置。
  2. 　請求項１記載のナビゲーション装置において、
    　前記調整取付手段は、当該車両の車両軸方向に対する前記撮像手段の撮像方向の姿勢関係を調整可能であり、
    　前記車両姿勢パラメータは、前記前方画像中においてその時点の当該車両の車両軸方向の延長線上又はその近傍に位置する車両軸方向点であり、
    　前記設定姿勢パラメータは、前記前方画像の利用目的に応じて前記車両軸方向点が位置するべき設定基準点であり、
    　前記前方画像加工手段は、前記設定基準点に対する前記車両軸方向点の相対的な位置偏差に対応した表示態様で前記前方画像を加工する
    ことを特徴とするナビゲーション装置。
  3. 　請求項２記載のナビゲーション装置において、
    　前記前方画像加工手段は、前記前方画像をその縦方向又は横方向のいずれかの分割方向で複数の画像領域に分割し、それら複数の画像領域のうちのいずれかの画像領域では前記分割方向と異なる方向での前記位置偏差の成分だけずらして固定し、他の画像領域ではその時点で撮像された前記前方画像を表示するよう加工することを特徴とするナビゲーション装置。
  4. 　請求項２記載のナビゲーション装置において、
    　前記前方画像加工手段は、前記表示手段の表示座標における所定位置に固定した前記設定基準点を表示するとともに、前記撮像手段の撮像方向の移動に伴う前方画像の移動に対応して、当該前方画像中の定位置に位置させた前記車両軸方向点も移動表示するよう加工することを特徴とするナビゲーション装置。
  5. 　請求項２記載のナビゲーション装置において、
    　前記前方画像加工手段は、前記表示手段の表示座標における所定位置に固定して前記設定基準点を表示するとともに、前記撮像手段の撮像方向を移動させる前に撮像して前記車両軸方向点を定位置に位置させた前方画像と、前記撮像手段の撮像方向の移動に対応してその時点に撮像した前方画像とを、半透過処理により重複させて表示するよう加工することを特徴とするナビゲーション装置。
  6. 　請求項２乃至５のいずれか１項に記載のナビゲーション装置において、
    　前記前方画像中において、当該車両の走行車線の左右両側に位置して当該走行車線の輪郭を形成する２本の車線輪郭線を認識する車線輪郭線認識手段と、
    　前記２本の車線輪郭線のそれぞれの前記進行方向の延長線上の交点を車線消失点として検出する車線消失点検出手段と、
    　前記車線消失点検出手段が過去に検出した複数の前記車線消失点のそれぞれの平均位置に位置する平均消失点を検出する平均消失点検出手段と、を有し、
    　前記車両姿勢パラメータ検出手段は、前記平均消失点を前記車両軸方向点として検出する
    ことを特徴とするナビゲーション装置。
  7. 　請求項１記載のナビゲーション装置において、
    　前記調整取付手段は、当該車両の左右方向の水平基準に対する前記撮像手段の　撮像ロール角の姿勢関係を調整可能であり、
    　前記車両姿勢パラメータは、前記前方画像中においてその時点の当該車両の左右方向の水平基準に対応する車両水平基準線であり、
    　前記設定姿勢パラメータは、前記前方画像の利用目的に応じて前記車両水平基準線と平行となるべき設定水平基準線であり、
    　前記前方画像加工手段は、前記設定水平基準線に対する前記車両水平基準線の相対的なロール角偏差に対応した表示態様で前記前方画像を加工する
    ことを特徴とするナビゲーション装置。
  8. 　請求項７記載のナビゲーション装置において、
    　前記前方画像加工手段は、前記前方画像の略中央位置に円形画像領域を分割し、当該円形画像領域とそれ以外の画像領域のいずれかの一方の画像領域を当該円形画像領域の中心周りに前記ロール角偏差だけ回転させて固定し、他方の画像領域ではその時点で撮像された前記前方画像を表示するよう加工することを特徴とするナビゲーション装置。
  9. 　請求項１乃至８のいずれか１項に記載のナビゲーション装置において、
    　前記調整取付手段は、前記姿勢偏差に応じて当該車両に対する前記撮像手段の相対的な姿勢関係を自動的に調整するよう前記撮像手段の取付姿勢を調整する調整駆動機構を備えていることを特徴とするナビゲーション装置。
  10. 　車両の前方画像を撮像する撮像手段と、
    　前記前方画像中において、その時点の当該車両の姿勢状態を表す車両姿勢パラメータを検出する車両姿勢パラメータ検出手段と、
    　前記車両姿勢パラメータ検出手段が検出した前記車両姿勢パラメータを記憶する記憶手段と、
    　前記前方画像の利用目的に応じて前記車両姿勢パラメータが取るべき設定姿勢パラメータを設定する設定姿勢パラメータ設定手段と、
    　前記車両姿勢パラメータに対する前記設定姿勢パラメータの相対的な姿勢偏差に対応した表示態様で前記前方画像を加工する前方画像加工手段と、
    　前記前方画像加工手段が加工した前記前方画像を表示する表示手段と、を有する
    ことを特徴とする画像表示装置。
  11. 　車両の前方画像を撮像する撮像手段と、
    　前記前方画像中において、その時点の当該車両の姿勢状態を表す車両姿勢パラメータを検出する車両姿勢パラメータ検出手段と、
    　前記車両姿勢パラメータ検出手段が検出した前記車両姿勢パラメータを外部サーバへ送受信して記憶させる通信手段と、
    　前記前方画像の利用目的に応じて前記車両姿勢パラメータが取るべき設定姿勢パラメータを設定する設定姿勢パラメータ設定手段と、
    　前記車両姿勢パラメータに対する前記設定姿勢パラメータの相対的な姿勢偏差に対応した表示態様で前記前方画像を加工する前方画像加工手段と、
    　前記前方画像加工手段が加工した前記前方画像を表示する表示手段と、を有する
    ことを特徴とする画像表示装置。
  12. 　請求項１１記載の画像表示装置の前記通信手段と前記車両姿勢パラメータを送受信するサーバであって、
    　前記車両姿勢パラメータ検出手段が検出した前記車両姿勢パラメータを記憶する記憶手段を有することを特徴とするサーバ。
  13. 　請求項１０又は１１記載の画像表示装置を車両に取り付けて当該車両に対する相対的な姿勢関係を調整可能な調整装置であって、
    　前記姿勢偏差に応じて当該車両に対する前記撮像手段の相対的な姿勢関係を自動的に調整するよう前記撮像手段の取り付け角度を調整する調整駆動機構を備えていることを特徴とする調整装置。
  14. 　車両の前方画像を撮像する撮像工程と、
    　前記前方画像中において、その時点の当該車両の姿勢状態を表す車両姿勢パラメータを検出する車両姿勢パラメータ検出工程と、
    　前記前方画像の利用目的に応じて前記車両姿勢パラメータが取るべき設定姿勢パラメータを設定する設定姿勢パラメータ設定工程と、
    　前記車両姿勢パラメータに対する前記設定姿勢パラメータの相対的な姿勢偏差に対応した表示態様で前記前方画像を加工する前方画像加工工程と、
    　前記前方画像加工工程が加工した前記前方画像を表示する表示工程と、を有する
    ことを特徴とする前方画像表示方法。
     
PCT/JP2011/069483 2011-08-29 2011-08-29 ナビゲーション装置、画像表示装置、サーバ、調整装置、及び前方画像表示方法 WO2013030932A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/069483 WO2013030932A1 (ja) 2011-08-29 2011-08-29 ナビゲーション装置、画像表示装置、サーバ、調整装置、及び前方画像表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/069483 WO2013030932A1 (ja) 2011-08-29 2011-08-29 ナビゲーション装置、画像表示装置、サーバ、調整装置、及び前方画像表示方法

Publications (1)

Publication Number Publication Date
WO2013030932A1 true WO2013030932A1 (ja) 2013-03-07

Family

ID=47755485

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/069483 WO2013030932A1 (ja) 2011-08-29 2011-08-29 ナビゲーション装置、画像表示装置、サーバ、調整装置、及び前方画像表示方法

Country Status (1)

Country Link
WO (1) WO2013030932A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018514122A (ja) * 2015-03-19 2018-05-31 ジェンテックス コーポレイション カメラベースの表示システムのための画像処理
WO2019042390A1 (zh) * 2017-08-31 2019-03-07 比亚迪股份有限公司 控制车辆的方法和装置以及车辆

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09189517A (ja) * 1996-01-09 1997-07-22 Toyota Motor Corp 撮像装置
JP2000242899A (ja) * 1999-02-24 2000-09-08 Mitsubishi Electric Corp 白線認識装置
JP2001331787A (ja) * 2000-05-19 2001-11-30 Toyota Central Res & Dev Lab Inc 道路形状推定装置
JP2002259995A (ja) * 2001-03-06 2002-09-13 Nissan Motor Co Ltd 位置検出装置
JP2003083742A (ja) * 2001-09-13 2003-03-19 Fuji Heavy Ind Ltd 監視システムの距離補正装置および距離補正方法
JP2007215169A (ja) * 2006-01-19 2007-08-23 Valeo Vision 車両に搭載されているカメラの向きを調整する方法、および、その方法を実行するためのシステム
JP2010258897A (ja) * 2009-04-27 2010-11-11 Fujitsu Ltd 判定プログラムおよびキャリブレーション装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09189517A (ja) * 1996-01-09 1997-07-22 Toyota Motor Corp 撮像装置
JP2000242899A (ja) * 1999-02-24 2000-09-08 Mitsubishi Electric Corp 白線認識装置
JP2001331787A (ja) * 2000-05-19 2001-11-30 Toyota Central Res & Dev Lab Inc 道路形状推定装置
JP2002259995A (ja) * 2001-03-06 2002-09-13 Nissan Motor Co Ltd 位置検出装置
JP2003083742A (ja) * 2001-09-13 2003-03-19 Fuji Heavy Ind Ltd 監視システムの距離補正装置および距離補正方法
JP2007215169A (ja) * 2006-01-19 2007-08-23 Valeo Vision 車両に搭載されているカメラの向きを調整する方法、および、その方法を実行するためのシステム
JP2010258897A (ja) * 2009-04-27 2010-11-11 Fujitsu Ltd 判定プログラムおよびキャリブレーション装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018514122A (ja) * 2015-03-19 2018-05-31 ジェンテックス コーポレイション カメラベースの表示システムのための画像処理
WO2019042390A1 (zh) * 2017-08-31 2019-03-07 比亚迪股份有限公司 控制车辆的方法和装置以及车辆
US11260828B2 (en) 2017-08-31 2022-03-01 Byd Company Limited Method and apparatus for controlling vehicle, and vehicle

Similar Documents

Publication Publication Date Title
JP5893054B2 (ja) 画像処理装置、画像処理サーバ、画像処理方法、画像処理プログラム、及び記録媒体
JP5935636B2 (ja) 交差点案内システム、方法およびプログラム
JP6213567B2 (ja) 予測進路提示装置及び予測進路提示方法
EP2983153A1 (en) Signal recognition device
JP2013117515A (ja) レーン案内表示システム、方法およびプログラム
US8477191B2 (en) On-vehicle image pickup apparatus
JP2013187562A (ja) 車両用後方視界支援装置
WO2013161028A1 (ja) 画像表示装置、ナビゲーション装置、画像表示方法、画像表示プログラム、及び記録媒体
JP2013096913A (ja) レーン案内表示システム、方法およびプログラム
JP2013196387A (ja) 画像処理装置、及び画像処理方法
JP2009211624A (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
JP5636493B2 (ja) 画像処理装置、及び画像表示装置
JP2013045176A (ja) 信号機認識装置、候補点パターン送信装置、候補点パターン受信装置、信号機認識方法、及び候補点パターン受信方法
EP2988097A1 (en) Driving support system, method, and program
WO2011013813A1 (ja) 車載装置および画像処理プログラム
JP2014106739A (ja) 車載画像処理装置
JP2005038225A (ja) 車線追従装置
JP2013109639A (ja) 画像処理装置、サーバ、携帯端末装置、及び画像処理方法
CN112339771B (zh) 一种泊车过程展示方法、装置及车辆
WO2013030932A1 (ja) ナビゲーション装置、画像表示装置、サーバ、調整装置、及び前方画像表示方法
JP2016139914A (ja) 表示装置、携帯端末及び制御方法
JP2014106740A (ja) 車載用駐車枠認識装置
JP6328366B2 (ja) ヘッドアップディスプレイの表示制御装置および表示制御方法
JPWO2013030932A1 (ja) ナビゲーション装置、画像表示制御装置、サーバ、調整装置、及び前方画像表示制御方法
JP2009075842A (ja) 車載表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11871741

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013530914

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11871741

Country of ref document: EP

Kind code of ref document: A1