WO2016075809A1 - 表示装置及び表示方法 - Google Patents

表示装置及び表示方法 Download PDF

Info

Publication number
WO2016075809A1
WO2016075809A1 PCT/JP2014/080176 JP2014080176W WO2016075809A1 WO 2016075809 A1 WO2016075809 A1 WO 2016075809A1 JP 2014080176 W JP2014080176 W JP 2014080176W WO 2016075809 A1 WO2016075809 A1 WO 2016075809A1
Authority
WO
WIPO (PCT)
Prior art keywords
host vehicle
posture
moving body
coordinate system
change
Prior art date
Application number
PCT/JP2014/080176
Other languages
English (en)
French (fr)
Inventor
拓良 柳
Original Assignee
日産自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日産自動車株式会社 filed Critical 日産自動車株式会社
Priority to JP2016558523A priority Critical patent/JP6380550B2/ja
Priority to PCT/JP2014/080176 priority patent/WO2016075809A1/ja
Publication of WO2016075809A1 publication Critical patent/WO2016075809A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a display device and a display method for stereoscopically displaying an image around a moving object.
  • a deformed solid coordinate system obtained by deforming a predefined reference curved surface coordinate system is set according to the position of the virtual viewpoint relative to the reference curved surface coordinate system, and a captured image is projected onto the deformed deformed solid coordinate system.
  • a moving body display device that displays a captured image is known (Patent Document 1).
  • the problem to be solved by the present invention is to suppress the occurrence of distortion in the video generated when the posture of the moving body changes.
  • the present invention sets a modified three-dimensional coordinate system in which a predefined reference three-dimensional coordinate system is deformed in accordance with the amount of change in the posture of a moving object, and displays a video in which a captured image is projected on the deformed deformed three-dimensional coordinate system.
  • the deformed three-dimensional coordinate system deformed according to the amount of change in the posture of the moving body also projects the captured image, thereby reducing the displacement amount of the positional relationship between the moving body and the three-dimensional coordinate system. Even when the posture of the body changes, it is possible to suppress the occurrence of distortion in the video.
  • FIG. 2A and 2B are diagrams showing an example of the installation position of the camera of this embodiment. It is a figure which shows an example of a reference
  • the display system 1 of the present embodiment displays a video for grasping the moving body and the surroundings of the moving body on a display viewed by an operator of the moving body.
  • FIG. 1 is a block configuration diagram of a display system 1 including a display device 100 according to the present embodiment.
  • the display system 1 of this embodiment includes a display device 100 and a mobile device 200.
  • Each device of the display device 100 and the mobile device 200 includes a wired or wireless communication device (not shown), and exchanges information with each other.
  • the moving body to which the display system 1 of the present embodiment is applied includes a vehicle, a helicopter, a submarine explorer, an airplane, an armored vehicle, a train, a forklift, and other devices having a moving function.
  • a case where the moving body is a vehicle will be described as an example.
  • the moving body of the present embodiment may be a manned machine on which a human can be boarded, or an unmanned machine on which a human is not boarding.
  • the display system 1 of the present embodiment may be configured as a device mounted on a moving body, or may be configured as a portable device that can be brought into the moving body.
  • a part of the configuration of the display system 1 according to the present embodiment may be mounted on a moving body, and another configuration may be mounted on a device physically different from the moving body, and the configuration may be distributed.
  • the mobile body and another device are configured to be able to exchange information.
  • the mobile device 200 of this embodiment includes a camera 40, a controller 50, a sensor 60, a navigation device 70, and a display 80.
  • a LAN CANCAController ⁇ Area Network
  • LAN CANCAController ⁇ Area Network
  • the camera 40 of the present embodiment is provided at a predetermined position of a vehicle (an example of a moving body; the same applies hereinafter).
  • the number of cameras 40 provided in the vehicle may be one or plural.
  • the camera 40 mounted on the vehicle images the vehicle and / or the surroundings of the vehicle, and sends the captured image to the display device 100.
  • the captured image in the present embodiment includes a part of the vehicle and a video around the vehicle.
  • the captured image data is used for calculation processing of the positional relationship with the ground surface around the vehicle and generation processing of the image of the vehicle or the surroundings of the vehicle.
  • FIGS. 2A and 2B are diagrams illustrating an example of the installation position of the camera 40 mounted on the host vehicle V.
  • the host vehicle V includes a right front camera 40R1, a right center camera 40R2, a right rear camera 40R3, a left front camera 40L1 of the host vehicle V, and a left side.
  • Six cameras 40 of a center camera 40L2 and a left rear camera 40L3 are installed.
  • the arrangement position of the camera 40 is not specifically limited, The imaging direction can also be set arbitrarily.
  • Each camera 40 sends a captured image to the display device 100 at a command from the control device 10 to be described later or at a preset timing.
  • the captured image captured by the camera 40 is used for generating a video, as well as for detecting an object and measuring a distance to the object.
  • the captured image of the camera 40 of the present embodiment includes an image of an object around the vehicle.
  • the target object in the present embodiment includes a ground surface around the moving body and an object around the moving body.
  • the “ground surface” is a term indicating a concept including the surface of the earth and the surface of the earth's crust (land).
  • the term “surface” of the present embodiment refers to a land surface, a sea surface, a river or river surface, a lake surface, a seabed surface, a road surface, a parking lot surface, a port surface, or two of these. Includes faces that contain more than one.
  • the term “ground surface” in the present embodiment has a meaning including the floor surface and wall surface of the facility.
  • the “surface” is a surface that is exposed to the camera 40 during imaging.
  • the target object includes other vehicles, pedestrians, road structures, parking lots, signs, facilities, and other objects existing around the host vehicle V.
  • the camera 40 of this embodiment includes an image processing device 401.
  • the image processing apparatus 401 extracts features such as an edge, a color, a shape, and a size from the captured image data of the camera 40, and identifies an attribute of the target object included in the captured image from the extracted features.
  • the image processing apparatus 401 stores in advance the characteristics of each target object, and identifies the target object included in the captured image by pattern matching processing.
  • the method for detecting the presence of an object using captured image data is not particularly limited, and a method known at the time of filing this application can be used as appropriate.
  • the image processing device 401 calculates the distance from the own vehicle to the object from the position of the feature point extracted from the data of the captured image of the camera 40 or the change over time of the position.
  • the image processing apparatus 401 uses imaging parameters such as the installation position of the camera 40, the optical axis direction, and imaging characteristics.
  • the method for measuring the distance to the object using the captured image data is not particularly limited, and a method known at the time of filing the present application can be used as appropriate.
  • the distance measuring device 41 may be provided as means for acquiring data for calculating the positional relationship with the host vehicle V.
  • the distance measuring device 41 may be used together with the camera 40 or may be used instead of the camera 40.
  • the distance measuring device 41 detects a target existing around the host vehicle V and measures the distance between the target and the host vehicle V. That is, the distance measuring device 41 has a function of detecting an object around the host vehicle V.
  • the distance measuring device 41 measures the distance from the host vehicle V to the surface of the land, the surface of the sea, the surface of the river or river, and the surface of the road.
  • the distance measuring device 41 measures the distance from the host vehicle V to other vehicles, pedestrians, road structures, parking lots, signs, facilities, and other objects.
  • the distance measuring device 41 sends distance measurement data up to the measured object to the display device 100.
  • the distance measuring device 41 may be a radar distance measuring device or an ultrasonic distance measuring device. A ranging method known at the time of filing of the present application can be used.
  • the number of distance measuring devices 41 that install the distance measuring devices 41 on the host vehicle V is not particularly limited.
  • the installation position of the distance measuring device 41 that installs the distance measuring device 41 in the host vehicle V is not particularly limited.
  • the distance measuring device 41 may be provided at a position corresponding to the installation position of the camera 40 shown in FIG. 2 or in the vicinity thereof, or may be provided in front of or behind the host vehicle V. When the moving body is a helicopter, airplane, submarine spacecraft, or the like that moves in the height direction, the camera 40 and / or the distance measuring device 41 may be provided on the bottom side of the body.
  • the controller 50 of this embodiment controls the operation of the moving object including the host vehicle V.
  • the controller 50 centrally manages each piece of information related to the operation of the moving body, including detection information of the sensor 60 described later.
  • the sensor 60 of the present embodiment includes a speed sensor 61, a longitudinal acceleration sensor 62, a lateral acceleration sensor 63, a steering angle sensor 64, and an attitude sensor 65.
  • the speed sensor 61 detects the moving speed of the host vehicle V.
  • the longitudinal acceleration sensor 62 detects the acceleration in the longitudinal direction of the host vehicle V.
  • the lateral acceleration sensor 63 detects the acceleration in the lateral direction (left-right direction) of the host vehicle V.
  • the steering angle sensor 64 detects a trigger for starting movement control of the host vehicle V in the left or left direction. Changes in the speed of the host vehicle V, changes in acceleration, changes in steering angle, and changes in lateral acceleration affect the posture of the host vehicle V.
  • the posture of the host vehicle V changes.
  • the posture changes even if the amount of depression of the accelerator is reduced to reduce the engine torque.
  • the display device 100 can calculate a change in posture of the host vehicle V from detection values of the speed sensor 61, the longitudinal acceleration sensor 62, the lateral acceleration sensor 63, and the steering angle sensor 64.
  • the attitude sensor 65 detects the attitude of the host vehicle V based on the vehicle body structure such as the weight, the center of gravity, and the wheel base of the host vehicle V, and information on the attitude of the vehicle such as the pitching angle, the yaw angle, and the suspension stroke amount.
  • the posture of the host vehicle V can be expressed by a predefined evaluation value.
  • the posture evaluation method and the posture change measurement method of the host vehicle V are not particularly limited. In order to determine the amount of change in the posture of the host vehicle V, the detection result related to the posture of the vehicle detected by the posture detection device included in the skid prevention device, the anti-lock / brake system, the anti-skid device and other vehicle behavior control devices is used. May be.
  • the navigation device 70 of the present embodiment includes a position detection device 71 having a GPS (Global Positioning System) 711, map information 72, road information 73, and terrain information 74.
  • the map information 72 of the present embodiment is information in which points are associated with roads, structures, facilities, and the like.
  • the navigation device 70 has a function of referring to the map information 72, obtaining a route from the current position of the host vehicle V detected by the position detection device 71 to the destination, and guiding the host vehicle V.
  • the road information 73 of the present embodiment is information in which position information is associated with information such as road curvature and inclination.
  • the road information 73 of the present embodiment may include information in which the curvature and inclination of the road change and the road curvature and inclination change amount are associated with each other.
  • the navigation device 70 refers to the road information 73 and obtains information on the curvature and inclination angle of the road on which the host vehicle V travels at the current position detected by the position detection device 71. Information on the curvature and inclination angle of the road on which the host vehicle V travels can be used as information for determining the attitude of the host vehicle V.
  • the terrain information 74 of the present embodiment is information in which the height of the position and the inclination angle of the region including the position are associated with each position information.
  • the terrain information 74 of the present embodiment associates the position altitude, the position where the tilt angle of the area including the position changes, the change amount of the altitude of the position, and the change amount of the tilt angle of the area including the position. Information may also be included.
  • the navigation device 70 of the present embodiment refers to the terrain information 74 and obtains the altitude and inclination angle of the current position detected by the position detection device 71.
  • the information on the altitude and the inclination angle at the point where the host vehicle V exists can be used as information for determining the attitude of the host vehicle V.
  • the information on the altitude and the inclination angle at the point where the host vehicle V exists can be used as information for determining the attitude of the host vehicle V.
  • the display 80 of the present embodiment displays an image of the host vehicle V and the surroundings of the host vehicle V generated from an arbitrary virtual viewpoint generated by the display device 100 described later.
  • the display system 1 in which the display 80 is mounted on a moving body will be described as an example.
  • the display 80 may be provided on the portable display device 100 side that can be brought into the moving body.
  • the display device 100 of this embodiment includes a control device 10.
  • the control device 10 of the display device 100 is stored in a ROM (Read Only Memory) 12 in which a program for displaying a moving body and surrounding images is stored, and in the ROM 12.
  • the CPU (Central Processing Unit) 11 serving as an operation circuit for realizing the functions of the display device 100 and the RAM (Random Access Memory) 13 functioning as an accessible storage device are provided.
  • the control device 10 may include a Graphics / Processing / Unit that executes image processing.
  • the control device 10 of the display device 100 realizes an image acquisition function, an attitude calculation function, a coordinate system setting function, and a display control function.
  • the control device 10 of this embodiment further includes an information acquisition function.
  • the control apparatus 10 of this embodiment performs each function by cooperation of the software for implement
  • the control device 10 acquires captured image data captured by the camera 40.
  • the display device 100 acquires captured image data from the mobile device 200 using a communication device (not shown).
  • the control device 10 acquires various types of information from the mobile device 200 using a communication device (not shown).
  • the control device 10 acquires position information of the ground surface around the host vehicle V as a moving body.
  • the position information of the ground surface acquired over time is used to calculate the amount of change in posture of the host vehicle V, which will be described later.
  • the control device 10 calculates the distance from the host vehicle V to the ground surface from the captured image of the camera 40 as position information of the ground surface with respect to the host vehicle V.
  • the control device 10 may use the imaging parameters of the camera 40 for the calculation process of the position information on the ground surface.
  • the control device 10 may acquire the position information of the ground surface calculated by the image processing device 401.
  • the control device 10 acquires attitude information regarding the attitude of the host vehicle V that is a moving body from the host vehicle V.
  • the control device 10 uses the longitudinal acceleration detected by the longitudinal acceleration sensor 62, the lateral acceleration detected by the lateral acceleration sensor 63, the steering amount detected by the steering angle sensor 64, and the evaluation value of the posture of the host vehicle detected by the posture sensor 65, Acquired as posture information.
  • Posture information acquired over time is used to calculate the amount of change in posture of the host vehicle V, which will be described later.
  • the control device 10 acquires position information of the host vehicle V that is a moving body.
  • the position information of the host vehicle V is information indicating the position (three-dimensional position) of the host vehicle V in a predetermined three-dimensional coordinate system.
  • the posture information of the host vehicle V changes, the position information of the host vehicle V also changes.
  • the posture information of the host vehicle V acquired over time is used to calculate the amount of change in the posture of the host vehicle V, which will be described later.
  • the control device 10 of the present embodiment may acquire only the position information of the ground surface with respect to the host vehicle V, or may acquire only the position information of the host vehicle V. Further, the control device 10 may acquire both the position information of the ground surface and the position information of the host vehicle V. In this case, it is preferable that the control device 10 acquires the position information of the ground surface in a predetermined three-dimensional coordinate system and the position information of the host vehicle V in the same predetermined three-dimensional coordinate system. By using the position information of the ground surface and the position information of the host vehicle V at the common coordinates, the coordinate conversion process can be omitted in the process of obtaining the positional relationship between the ground surface and the host vehicle V.
  • the control device 10 acquires terrain information around the host vehicle V from the mobile device 200 side.
  • the terrain information 74 included in the navigation device 70 of the mobile device 200 stores the position of each point and the terrain at that position.
  • the control device 10 extracts the terrain of the surrounding area including the position of the host vehicle V detected by the GPS 711 from the terrain information 74, and acquires the terrain information at the current position.
  • the terrain information includes information such as the degree of inclination of the ground surface and the direction of inclination. Terrain information is defined using a coordinate system based on gravity.
  • the control device 10 calculates the attitude of the host vehicle V that is a moving body.
  • the posture of the host vehicle V is calculated as the position of one or more reference points set in the host vehicle V.
  • the control device 10 of the present embodiment calculates the attitude of the host vehicle V as the position (coordinates) of the reference point of the host vehicle V or the position (coordinates) of the reference plane with respect to a predefined reference solid coordinate system.
  • the reference solid coordinate system can be arbitrarily defined.
  • the center of gravity of the host vehicle V (moving body) and the like are set at the position.
  • the reference plane of the host vehicle V is set to a plane including the reference point of the host vehicle V when the host vehicle V is stationary.
  • the stationary vehicle V placed on the ground surface GR1 is a plane parallel to the ground surface GR1 and includes a reference point Q. Is defined as a reference plane G1.
  • the center of gravity of the host vehicle V may be used as the reference point Q.
  • the ground surface GR1 may be a horizontal plane orthogonal to the direction of gravity.
  • the control device 10 of the present embodiment calculates the amount of change from the attitude of the host vehicle V.
  • the amount of change may be the amount of change in the posture of the host vehicle V at different timings, that is, the amount of change over time, or the position (position) of the current posture of the host vehicle V relative to the reference posture (position). It may be a change amount.
  • the change amount of the posture of the host vehicle V includes the change amount of the position of the component in the height direction of the space where the host vehicle V exists. When the host vehicle V exists on the ground, the amount of change in the position of the component along the direction of gravity is included.
  • the control device 10 calculates a change in the relative positional relationship between the host vehicle V and the ground surface as an amount of change in the posture of the host vehicle V.
  • the ground surface and the host vehicle are particularly distorted based on the inventors' knowledge that the ground image included in the displayed video is distorted. Pay attention to the positional relationship with V.
  • the control device 10 calculates the amount of change in the position of the ground surface relative to the position of the host vehicle V as the amount of change in the attitude of the host vehicle V. Since the camera 40 is mounted on the host vehicle V that is a moving body, if the position of the ground surface is calculated over time from the data of the captured image of the camera 40, the amount of change in the position of the ground surface relative to the position of the host vehicle V can be calculated. Can be sought. Similarly, since the distance measuring device 41 is mounted on the host vehicle V that is a moving body, if the position of the ground surface is calculated over time from the distance measurement data of the distance measuring device 41, the ground surface with respect to the position of the host vehicle V is calculated. The amount of change in the position of can be obtained. In the present embodiment, the amount of change in the position of the ground surface relative to the position of the host vehicle V can be handled as the amount of change in the posture of the host vehicle V.
  • the control device 10 calculates the change amount of the position of the host vehicle V with respect to the position of the ground surface as the change amount of the posture of the host vehicle V. Since the ground surface is a stationary object, a change in the position of the host vehicle V relative to the position of the ground surface, in particular, a change in the position of the host vehicle V including the amount of change in the height direction (the direction along the direction of gravity) Can be treated as the amount of change. If the change amount of the position of the own vehicle V with respect to the position of the ground surface is calculated with time, the change amount of the position of the own vehicle V with respect to the position of the ground surface can be obtained. In the present embodiment, the amount of change in the position of the host vehicle V relative to the position on the ground surface is treated as the amount of change in the attitude of the host vehicle V.
  • the control device 10 calculates the change amount of the position of the host vehicle V and the ground surface as the change amount of the posture of the host vehicle V using the position information of the host vehicle V and the position information of the ground surface around the host vehicle V. To do.
  • the control device 10 calculates the change amount of the attitude of the host vehicle V using the acquired attitude information.
  • the control device 10 of the present embodiment can calculate the amount of change in the posture of the host vehicle V in consideration of the behavior of the host vehicle V such as acceleration / deceleration, the change in the posture caused by the structure of the host vehicle V, and the like.
  • the control apparatus 10 may correct
  • the control device 10 acquires surrounding terrain information including the current position of the host vehicle V, and calculates the attitude of the host vehicle V using the terrain information.
  • the control device 10 determines the own vehicle V (the seabed) from the inclination direction and the inclination angle of the road surface (the seabed) on which the host vehicle V (the seabed probe) moves. Calculate the attitude of the spacecraft.
  • the control device 10 stores a reference solid coordinate system defined in advance for projecting a captured image.
  • the reference three-dimensional coordinate system is used when projecting an image captured by the camera 40.
  • the reference three-dimensional coordinate system S1 (S) may have a cylindrical shape
  • the reference three-dimensional coordinate system S2 (S) may have a spherical shape.
  • the reference three-dimensional coordinate system S is a coordinate for projecting a surrounding image when the host vehicle V (moving body) is present inside thereof.
  • the virtual viewpoint E which is the reference for the projection processing, is set inside the three-dimensional coordinate system S. Since the virtual viewpoint E is set on the assumption that the surroundings are viewed from within the host vehicle V, the virtual viewpoint E is defined according to the position of the host vehicle V. That is, the virtual viewpoint E and the reference plane G1 (see FIG. 2A) of the host vehicle V are defined in the reference solid coordinate system S.
  • the position in the height direction of the reference plane G1 of the host vehicle V is set between the upper end PN and the lower end PS without corresponding to the upper end PN or the lower end PS of the three-dimensional coordinate system S.
  • the reference plane G1 of the host vehicle V is set at the position G0.
  • the control device 10 sets deformed three-dimensional coordinate systems S1 ′ and S2 ′ obtained by deforming the reference three-dimensional coordinate system S in accordance with the amount of change in posture of the host vehicle V that is a moving body.
  • the deformation of the reference solid coordinate system S includes deformation of a component in the height direction of the space where the host vehicle V exists. When the host vehicle V exists on the ground, the deformation of the component along the direction of gravity is included.
  • the control device 10 calculates the amount of change in the attitude of the host vehicle V.
  • FIG. 4A An example of a scene where the posture of the host vehicle V changes is shown in FIG. 4A.
  • the posture of the vehicle V changes according to the amount of change in the slope of the ground surface GR.
  • the slope of the ground surface GR changes from zero degrees to ⁇ degrees.
  • the reference plane G2 when the host vehicle V travels on the ground surface (road) GR is an angle ⁇ with respect to the reference plane G1 when the host vehicle V is stationary and placed on a horizontal plane.
  • the inclination angle is as follows.
  • the amount of change in posture may be expressed as an angle at which a preset reference plane G1 changes, or may be expressed as a change amount in coordinate values.
  • 4A is a view as seen from a cross section taken along IVA-IVA shown in FIG. 4B described later.
  • FIG. 4B is a view as seen from the IVB-IVB line shown in FIG. 4A.
  • the present embodiment can also be applied to a scene where the host vehicle V travels on a road along a mountain.
  • the right hand in the traveling direction of the host vehicle V is a mountain side slope
  • the left hand in the traveling direction of the host vehicle V is a valley side slope.
  • the inclination of the ground surface on the right side and the ground surface on the left side in the traveling direction of the host vehicle is different.
  • the image is distorted even when the inclination of the ground surface of the region including the ground on which the host vehicle V travels is different.
  • the control device 10 may calculate the inclination of the ground surface GR on which the host vehicle V travels, and calculate the amount of change in the posture of the host vehicle V from the inclination of the ground surface GR with respect to the host vehicle V. For example, as illustrated in FIG. 4C, the control device 10 acquires the distances d1, d2, and d3 to the points P1, P2, and P3 on the ground surface GR measured by the distance measuring device 41 mounted on the host vehicle V. The slope of the ground surface GR including the points P1, P2, P3 can be calculated. The distances d1, d2, and d3 to the points P1, P2, and P3 are distances from the reference point Q such as the center of gravity of the host vehicle V.
  • control device 10 calculates the distances d1, d2, and d3 to the points P1, P2, and P3 on the ground surface GR using the image of one ground surface GR synthesized from the captured image of the camera 40, and the point P1. , P2 and P3, the slope of the ground surface GR may be calculated.
  • the control device 10 measures the points P1L, P2L, and P1L, P2L, the ground surface GR on the left side of the vehicle from the reference point Q of the vehicle V measured by the distance measuring device 41 mounted on the vehicle V.
  • the distances d1L, d2L, d3L to P3L are acquired, and the slope of the ground surface GR including the points P1L, P2L, P3L can be calculated.
  • distances d1R, d2R, and d3R from the reference point Q of the host vehicle V to the points P1R, P2R, and P3R on the ground surface GR on the right side of the host vehicle are acquired, and the ground GR including the points P1R, P2R, and P3R is acquired.
  • the slope can be calculated.
  • the amount of change in the posture of the host vehicle V can be calculated from the inclination value with respect to the host vehicle V on the ground surface GR in any region. Good.
  • the image of the slope on the side of the valley on the left side in the traveling direction is distorted.
  • the amount of change in the posture of the host vehicle V may be calculated from the slope of the slope on the valley side on the left side in the traveling direction.
  • a representative value such as an average value is obtained as the inclination of the ground surface GR with respect to the host vehicle V from the slope values of the ground surface GR in these regions.
  • the amount of change in the attitude of the host vehicle V may be calculated from the inclination of the vehicle.
  • an image around the host vehicle is displayed using the display device 100.
  • the display device 100 can display an image around a moving body other than an automobile.
  • the slope of the ground surface around the host vehicle may differ from one part to another (each area), unlike the scene of traveling on a maintained flat road.
  • the amount of change in the posture of the host vehicle is larger than that in the scene of traveling on the maintained road, and the image distortion due to the change in posture is also large.
  • the inclination of the ground surface around the movable body may be different for each portion (each region).
  • a moving body that can move without contacting the ground surface has a large amount of change in posture and a large amount of image distortion due to the change in posture, as in the case of the vehicle in the scenes of FIGS. 4A and 4B.
  • this embodiment demonstrates the display apparatus 100 applied to the vehicle, it is applicable also to mobile bodies other than a vehicle.
  • the control device 10 appropriately selects the above-described method, and calculates the amount of change in the posture of the host vehicle V.
  • the control device 10 may calculate the change amount of the posture of the host vehicle V from the change amount of the ground surface GR with respect to the host vehicle V, or change the posture of the host vehicle V from the change amount of the position of the host vehicle V with respect to the ground surface GR.
  • the amount may be calculated.
  • the amount of change in the posture of the host vehicle V may be calculated using the posture information of the host vehicle V and the terrain information 74 including the inclination of the ground surface GR.
  • the control device 10 of the present embodiment deforms the reference solid coordinate system S (S1, S2) defined in advance to project the captured image in accordance with the amount of change in the attitude of the host vehicle V, A modified solid coordinate system S ′ (S1 ′, S2 ′) is set. Specifically, the control device 10 inclines the coordinate axis of the reference stereoscopic coordinate system S (S1, S2) according to the amount of change in the attitude of the host vehicle V with respect to the preset reference stereoscopic coordinate system S (S1, S2). S ′ (S1 ′, S2 ′) is set as the deformed solid coordinate system.
  • the control device 10 of the present embodiment defines a reference plane G1 including the reference point Q of the host vehicle V when the host vehicle V is stationary, and the host vehicle V is in an operating state of the moving body, that is, the host vehicle V is traveling.
  • the XY plane G0 of the reference three-dimensional coordinate system S (S1, S2) corresponding to the reference plane G1 is inclined, and the deformed three-dimensional coordinate system S ′ (S1 ′, S2 ′) is deformed.
  • the control apparatus 10 sets the deform
  • the method of modifying the reference solid coordinate system S (S1, S2) is not particularly limited, and only the XY plane G0 of the reference solid coordinate system S (S1, S2) serving as a reference for the height position of the host vehicle V is inclined.
  • the reference solid coordinate system S (S1, S2) may be entirely inclined and deformed.
  • 5A and 5B show an example of the modified solid coordinate system S ′.
  • 5A and FIG. 5B shows a modified three-dimensional coordinate system S ′ when the change amount of the posture calculated based on the reference plane G1 of the host vehicle V is an angle ⁇ [°].
  • I a three-dimensional coordinate system inclined by a deformation angle ⁇ ′ [°].
  • the deformation angle ⁇ ′ [°] is determined according to the angle ⁇ [°], which is the amount of change in the attitude of the host vehicle V.
  • the modified three-dimensional coordinate system S1 ′ shown in FIG. 5A is a coordinate system in which the coordinate axis of the reference three-dimensional coordinate system S1 shown in FIG. 3A is inclined by a deformation angle ⁇ ′ [°].
  • a deformed solid coordinate system S2 ′ illustrated in FIG. 5B is a coordinate system in which the coordinate axis of the reference solid coordinate system S2 illustrated in FIG. 3B is inclined by a deformation angle ⁇ ′ [°]. As shown in FIG. 5B, the coordinate axis EX extending in the Z direction in the reference three-dimensional coordinate system S2 is inclined by the deformation angle ⁇ ′ [°] to become the coordinate axis EX ′.
  • the deformation amount of the reference three-dimensional coordinate system S1, S2 is determined according to the amount of change in the posture of the host vehicle V.
  • the reference three-dimensional coordinate system S1, S2 may be modified with a change amount equivalent to the change amount of the posture of the host vehicle V.
  • the reference three-dimensional coordinate systems S1 and S2 may be modified with a change amount obtained by multiplying or changing the coefficient of the change amount of the posture of the host vehicle V (or by adding or subtracting a value).
  • the reference is based on the change amount obtained by multiplying the change amount of the posture of the host vehicle V by a positive coefficient (or adding a positive value).
  • the three-dimensional coordinate systems S1 and S2 may be modified. A video emphasizing that the posture of the host vehicle V has changed / a video exaggerating the amount of change in the posture of the host vehicle V can be provided to the user.
  • control device 10 of the present embodiment tilts the reference solid coordinate system S according to the amount of change in the posture of the host vehicle V, the influence of the ground tilt caused by the change in the posture of the host vehicle V is affected. It can cancel and it can control that distortion occurs in a picture.
  • the control device 10 projects the data of the image captured by the camera 40 onto the deformed three-dimensional coordinate system S ′, and generates and displays an image in which the host vehicle V and the surroundings of the host vehicle V are viewed from the virtual viewpoint E.
  • the control device 10 projects the captured image data acquired from the camera 40 on the reference stereoscopic coordinate system S or a modified stereoscopic coordinate system S ′ obtained by deforming the reference stereoscopic coordinate system S. An image of the surroundings of the vehicle V is generated. If the change amount of the posture of the host vehicle V is less than the predetermined amount, it is determined that the posture of the host vehicle V has not changed. Then, the captured image is projected onto the reference three-dimensional coordinate system S. On the other hand, when the amount of change in the posture of the host vehicle V is greater than or equal to a predetermined amount, it is determined that the posture of the host vehicle V has changed. Then, a deformed solid coordinate system S ′ is set, and a captured image is projected onto it.
  • the “predetermined amount” is set as a change amount threshold value for determining whether or not the posture of the host vehicle V has changed.
  • the “predetermined amount” is preferably experimentally determined in consideration of the imaging characteristics of the camera 40 of the host vehicle V, the aspect of the reference three-dimensional coordinate system S, the structure of the host vehicle V, and the like.
  • the control device 10 projects the captured image data acquired from the plurality of cameras 40 onto the reference three-dimensional coordinate system S or a modified three-dimensional coordinate system S ′ obtained by deforming the reference three-dimensional coordinate system S.
  • the projection method is not particularly limited.
  • the control device 10 may execute the projection process using a projection mapping technique known at the time of filing.
  • the projection process may be executed using correspondence information between the address of the captured image data and the address (coordinate value) of the reference stereoscopic coordinate system S or the modified stereoscopic coordinate system S ′.
  • the display device 100 generates an image in which the host vehicle V and the surroundings of the host vehicle V are viewed from a virtual viewpoint using an image projected on the deformed solid coordinate system S ′.
  • the display device 100 displays the generated video on the display 80.
  • the video image displayed by the display device 100 may be displayed by superimposing a prepared icon image V ′ (see FIGS. 3A and 3B) indicating the host vehicle V in advance.
  • the icon image V ′ of the vehicle may be created and stored in advance based on the design of the host vehicle V. In this manner, by superimposing the icon image V ′ of the host vehicle V on the video, the relationship between the position and orientation of the host vehicle V and the surrounding video can be shown in an easily understandable manner.
  • the control device 10 of the present embodiment may deform the icon image V ′ of the host vehicle to be superimposed and displayed on the generated video according to the change amount of the posture of the host vehicle V (moving body). For example, when the host vehicle V is tilted, the icon image V ′ of the vehicle may be tilted according to the tilt angle.
  • the control device 10 sets a deformed three-dimensional coordinate system that is deformed according to the amount of change in the posture of the host vehicle V, and projects captured image data on the deformed three-dimensional coordinate system. Prevent distortion in the image due to changes in posture.
  • FIG. 6A shows a display example of a video generated when there is no change in the posture of the host vehicle V.
  • the video is displayed on the display 80.
  • the host vehicle V is in a state where it is placed on a horizontal plane in a stationary state and / or is moving horizontally on the horizontal plane. There is no distortion in the host vehicle V and the surrounding image of the host vehicle V viewed from the virtual viewpoint. Specifically, the lane marks L1 and L2 drawn in parallel to the road on which the host vehicle V travels are also parallel in the video, and the positional relationship with the horizon GL is also maintained.
  • 6B shows a display example of an image generated when the posture of the host vehicle V is changed.
  • the host vehicle V is in a state in which a change in the height direction occurs with respect to the ground surface. Distortion has arisen in the image
  • the lane marks L1 and L2 of the road on which the host vehicle V travels are drawn in parallel.
  • the lane marks L1 and L2 in the video are not expressed in parallel. This is because the image is distorted.
  • the positional relationship between the lane marks L1, L2 and the horizon GL is also distorted.
  • the control device 10 When there is a change in the posture of the host vehicle V, the control device 10 according to the present embodiment projects a captured image on a deformed solid coordinate system S ′ that is deformed according to the amount of change of the host vehicle V (moving body). This corrects the video.
  • 7A to 7D are diagrams showing display examples when an image in which distortion caused by a change in the posture of the host vehicle V is corrected is displayed on the display 80.
  • FIG. The display 80 displays a two-dimensional image on the xy plane.
  • FIG. 7A shows a modification of the reference three-dimensional coordinate system according to the amount of change in the position of the ground surface relative to the own vehicle V or the amount of change in the position of the own vehicle V relative to the surface of the ground.
  • This is an image obtained by projecting data. Since the projection coordinate system is deformed according to the change amount of the posture of the host vehicle V, the distortion caused by the change amount of the posture of the host vehicle V can be canceled.
  • FIG. 6A an image similar to the state in which the host vehicle V is placed on the horizontal plane or the host vehicle V is moving at a constant speed on the horizontal plane can be displayed.
  • FIG. 7B sets the deformed three-dimensional coordinate system S1 by inclining the xy plane on the bottom side of the cylindrical reference three-dimensional coordinate system S1 according to the inclination (posture) of the own vehicle V with respect to the ground surface, and also displays an icon image of the own vehicle. Tilt V '.
  • the xy plane on the bottom surface side of the reference three-dimensional coordinate system S1 is the xy plane on the ground contact surface side of the host vehicle V.
  • the posture of the host vehicle V that climbs the hill can be displayed in an easy-to-understand manner, and the road on which the host vehicle V is traveling can be displayed in an easy-to-understand manner.
  • FIG. 7C is a display example showing a change in the attitude of the host vehicle V with respect to the ground surface using an icon image V ′ of the host vehicle.
  • the expansion and contraction of the suspension of the host vehicle corresponding to the amount of change in the posture of the host vehicle V with respect to the ground surface is expressed by the inclination of the icon image V ′ of the host vehicle.
  • the icon image V ′ of the host vehicle indicates the presence / absence of expansion / contraction of the suspension of the host vehicle V and the amount of the extension / contraction based on the inclination of the icon image V ′.
  • the icon image V ′ of the host vehicle shown in FIG. It is displayed so as to have an inclination with respect to the x-axis of the system S1.
  • the inclination angle of the icon image V ′ is determined according to the amount of change in the attitude of the host vehicle V. In this way, by changing the display position of the icon image V ′ of the host vehicle, it is possible to express a change in the posture of the host vehicle V with respect to the ground surface.
  • FIG. 7D tilts all of the cylindrical reference solid coordinate system S1 and tilts the icon image V ′ of the host vehicle according to the tilt (posture) of the host vehicle V with respect to the ground surface.
  • the icon image V ′ of the host vehicle shown in FIG. 7D is displayed so as to have an inclination with respect to the x-axis of the deformed three-dimensional coordinate system S1, similarly to the icon image V ′ of the host vehicle shown in FIG. 7C.
  • the coordinate system itself that expresses the posture of the host vehicle V is deformed according to the amount of change in the posture of the host vehicle V, so that the posture of the host vehicle V that climbs the hill is known. It is possible to easily display that the road on which the vehicle V is traveling is a slope.
  • the video of the present embodiment distortion caused by the amount of change in the posture of the host vehicle V is corrected, so the video around the host vehicle V does not include distortion.
  • the lane marks L1 and L2 drawn in parallel to the road on which the host vehicle V is traveling can be displayed in parallel in the video.
  • the control device 10 of the present embodiment cuts out a predetermined area from the captured image of each camera 40 and executes a projection process.
  • predetermined regions AR1, AR2, AR3, AL1, AL2, and AL3 are cut out from the captured images of the cameras 40 except for overlapping portions.
  • FIG. 8A shows the predetermined area with a simple shape to show the outline of the processing, but the control device 10 determines the shape of the reference stereoscopic coordinate system S or the modified stereoscopic coordinate system S ′ and the imaging characteristics of the camera 40.
  • the predetermined areas AR1, AR2, AR3, AL1, AL2, AL3 to be cut out are designed.
  • the control device 10 changes a predetermined area to be cut out from the captured image when performing the projection process according to the acceleration of the host vehicle V.
  • the control device 10 acquires the acceleration in the traveling direction of the host vehicle V detected by the longitudinal acceleration sensor 64 of the host vehicle V.
  • the control device 10 projects data of a predetermined area of the captured image of the camera 40 onto the deformed solid coordinate system S ′.
  • a positive acceleration of the traveling direction component of the host vehicle V forward component: indicated by an arrow F in the figure
  • the predetermined areas AR2 and AL2 of the captured images 40R2 and 40L2 are expanded to the opposite side to the traveling direction of the host vehicle V (rearward direction: a direction indicated by an arrow F ′ in the drawing).
  • the acceleration of the traveling direction component of the host vehicle V may be predicted from the execution information of the braking operation acquired from the controller 50 of the host vehicle V.
  • FIG. 8B shows a predetermined area AR2 ′ in which the predetermined areas AR2 and AL2 set on the left and right sides of the host vehicle V shown in FIG. 8A are expanded in the rearward direction of the host vehicle V (the direction indicated by the arrow F ′ in the figure). , AL2 ′.
  • the length MR2 ′ in the rear direction (direction indicated by arrow F ′ in the figure) shown in FIG. 8B is the length MR2 ′ in the rear direction (direction indicated by arrow F ′ in the figure) shown in FIG. 8A. It is longer than MR2.
  • the host vehicle V When a positive acceleration is detected in the traveling direction of the host vehicle V, the host vehicle V assumes a forward turning posture. When the host vehicle is in a forward-facing posture, among the captured images of the cameras 40R2 and 40L2 on the side of the host vehicle V, the image range that can be used for the projection process is widened in the rear direction of the vehicle.
  • the control device 10 of the display device 100 extracts an image cut out from the imaging regions of the cameras 40R2 and 40L2 provided on the left and right sides of the host vehicle V. This area (predetermined area) is extended rearward of the vehicle.
  • a three-dimensional image with less distortion is provided by changing the region (predetermined region) of the image to be cut out according to the attitude of the host vehicle V. it can.
  • the captured images of the left and right cameras 40R2 and 40L2 are expanded rearward and cut out, so that an image with little distortion can be generated.
  • the captured image of the predetermined area extended rearward is projected onto the deformed three-dimensional coordinate system ′ deformed according to the posture of the host vehicle V, an image with less distortion can be generated.
  • the control device 10 displays the generated video on the display 80.
  • the display 80 may be mounted on the host vehicle V and configured as the mobile device 200 or may be provided on the display device 100 side.
  • the display 80 may be a two-dimensional image display or a display that displays a three-dimensional image.
  • step S ⁇ b> 101 the control device 10 acquires a captured image captured by the camera 40.
  • step S ⁇ b> 102 the control device 10 calculates the attitude of the host vehicle V.
  • the control device 10 determines whether or not the amount of change in the posture of the host vehicle V is greater than or equal to a predetermined amount.
  • the amount of change in the posture of the host vehicle V may be obtained from the difference between the posture (position information) of the host vehicle V at the timing T1 and the posture (position information) of the host vehicle V at the subsequent timing T2 (T1 + ts).
  • the amount of change in the posture of the host vehicle V may be obtained from a difference between a predetermined reference posture (position information) of the host vehicle V and the posture (position information) of the host vehicle V at the time of posture calculation (current).
  • step S103 the control device 10 determines whether or not the amount of change in the posture of the host vehicle V is greater than or equal to a predetermined amount. If the amount of change in the attitude of the host vehicle V is less than the predetermined amount, the process proceeds to step S108, where a predefined reference solid coordinate system S is set as projection coordinates. On the other hand, when the change amount of the posture of the host vehicle V is less than the predetermined amount, the process proceeds to step S104, and the predefined reference solid coordinate system S is deformed. In subsequent step S105, the control device 10 sets the deformed solid coordinate system S ′ obtained in step S104 as a projection coordinate system.
  • step S106 the control device 10 executes a process of projecting the captured image on the set reference three-dimensional coordinate system S or deformed three-dimensional coordinate system S ′, and generates a display image.
  • step S107 the control device 10 displays the generated video on the display 80.
  • the display device 100 projects a captured image on the deformed solid coordinate system S ′ deformed according to the amount of change in the posture of the host vehicle V.
  • the display device 100 of the present embodiment calculates the amount of change in the position of the ground surface relative to the host vehicle V as the amount of change in the attitude of the host vehicle V, the above effect is achieved.
  • the display device 100 of the present embodiment calculates the amount of change in the position of the host vehicle V with respect to the ground surface as the amount of change in the posture of the host vehicle V, and thus has the above-described effect.
  • the display device 100 displays the amount of change in the positional relationship between the host vehicle V and the ground surface obtained from the position information of the host vehicle V and the position information of the ground surface around the host vehicle V. Since it is calculated as the amount of change in the posture of the host vehicle V, the above-described effect is achieved.
  • the display device 100 of the present embodiment calculates the amount of change in the posture of the host vehicle V using the posture information of the host vehicle V, and thus has the above-described effect. Further, the display device 100 according to the present embodiment can calculate the amount of change in the posture of the host vehicle V in consideration of the behavior such as acceleration / deceleration of the host vehicle V, the change in posture caused by the structure of the host vehicle V, and the like.
  • the display device 100 sets a modified three-dimensional coordinate system in which the coordinate axis of the reference three-dimensional coordinate system S is inclined according to the amount of change in the posture of the host vehicle V. It is possible to suppress the occurrence of distortion in the image caused by the change and caused by the inclination of the host vehicle V with respect to the ground surface.
  • the display device 100 sets a modified three-dimensional coordinate system in which the XY plane of the reference three-dimensional coordinate system corresponding to the reference plane is inclined according to the inclination of the reference plane of the host vehicle V. It is possible to suppress the occurrence of distortion in the video caused by the inclination of the host vehicle V with respect to the ground surface caused by the change in the posture of the vehicle V.
  • the display device 100 acquires acceleration of the traveling direction component of the host vehicle V
  • the captured image of the camera 40 mounted on the side of the host vehicle V among the plurality of cameras 40. Is expanded to the rear side of the host vehicle V.
  • the posture of the host vehicle V is turned forward at the time of acceleration
  • the captured images of the left and right cameras 40R2 and 40L2 are expanded rearward and cut out, and the cut out captured image is deformed according to the posture of the host vehicle V Since the projection is performed on the deformed solid coordinate system ′, an image with less distortion can be generated.
  • the display device 100 of the present embodiment causes the display method of the present embodiment to execute the above-described effect.
  • the display system 1 including the display device 100 as one embodiment of the display device according to the present invention will be described as an example, but the present invention is not limited to this.
  • the display device 100 including the control device 10 including the CPU 11, the ROM 12, and the RAM 13 is described as an embodiment of the display device according to the present invention, but the present invention is not limited to this.
  • a display device having an image acquisition unit, an attitude calculation unit, a coordinate system setting unit, and a display control unit according to the present invention
  • an image acquisition function, an attitude calculation function The display device 100 including the control device 10 that executes the coordinate system setting function and the display control function will be described as an example, but the present invention is not limited to this.
  • the display device 100 including the control device 10 that further executes the information acquisition function will be described as an example of the display device further including the information acquisition unit according to the present invention. It is not limited to this.

Abstract

自車両Ｖに搭載されたカメラ４０が撮像した撮像画像を取得する画像取得機能と、自車両Ｖの姿勢の変化量を算出する姿勢算出機能と、自車両Ｖの姿勢の変化量に応じて、撮像画像を投影するために予め定義された基準立体座標系Ｓを変形させた変形立体座標系Ｓ´を設定する座標系設定機能と、撮像画像のデータを変形立体座標系Ｓに投影し、仮想視点から自車両Ｖ及び自車両Ｖの周囲を見た映像を表示させる表示制御機能と、を実現する制御装置１０を備える表示装置１００を提供する。

Description

表示装置及び表示方法
　本発明は、移動体の周囲の映像を立体的に表示する表示装置及び表示方法に関する。
　この種の装置に関し、基準曲面座標系に対する仮想視点の位置に応じて、予め定義された基準曲面座標系を変形させた変形立体座標系を設定し、変形した変形立体座標系に撮像画像を投影した映像を表示する移動体用表示装置が知られている（特許文献１）。
特開２０１２－１３８６６０号公報
　しかしながら、撮像画像が投影される立体座標系と移動体との位置関係が固定されていると、移動体の姿勢が変化したときに生成される映像に歪みが発生するという問題がある。
　本発明が解決しようとする課題は、移動体の姿勢が変化したときに生成される映像に歪みが発生することを抑制することである。
　本発明は、移動体の姿勢の変化量に応じて、予め定義された基準立体座標系を変形させた変形立体座標系を設定し、変形した変形立体座標系に撮像画像を投影した映像を表示することにより、上記課題を解決する。
　本発明によれば、移動体の姿勢の変化量に応じて変形させた変形立体座標系も撮像画像を投影させることにより、移動体と立体座標系の位置関係のずれ量を低減させるため、移動体の姿勢が変化した場合であっても、映像に歪みが発生することを抑制できる。
本発明に係る表示装置を備える表示システムの構成図である。 図２（Ａ）（Ｂ）は本実施形態のカメラの設置位置の一例を示す図である。 基準立体座標系の一例を示す図である。 基準立体座標系の他の例を示す図である。 移動体の姿勢の算出手法を説明するための第１の図である。 移動体の姿勢の算出手法を説明するための第２の図である。 移動体の姿勢の算出手法を説明するための第３の図である。 図３Ａに示す基準立体座標系に対応する変形立体座標系の一例を示す図である。 図３Ｂに示す基準立体座標系に対応する変形立体座標系の一例を示す図である。 歪みが生じない場合の映像の一例を示す図である。 歪みが生じた場合の映像の一例を示す図である。 自車両の姿勢の変化量に応じて補正をした映像の一例を示す図である。 自車両の姿勢の傾きの変化量に応じて基準立体座標系の底面を傾けて生成した映像の一例を示す図である。 地表に対する自車両の姿勢の変化量に応じて、自車両のアイコン表示を傾けて生成した映像の一例を示す図である。 自車両の姿勢の傾きの変化量に応じて、自車両のアイコン表示及び基準立体座標系を傾けて生成した映像の一例を示す図である。 変形立体座標系に投影する撮像画像の所定領域の一例を示す図である。 変形立体座標系に投影する撮像画像の、拡張された所定領域の一例を示す図である。 本発明の実施形態に係る表示装置の制御手順を示すフローチャート図である。
　以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、本発明に係る表示装置を、移動体に搭載された表示システム１に適用した場合を例にして説明する。本実施形態の表示システム１は、移動体及び移動体周囲の状況を把握するための映像を移動体の操作者が見るディスプレイに表示する。
　図１は、本実施形態に係る表示装置１００を含む表示システム１のブロック構成図である。図１に示すように、本実施形態の表示システム１は、表示装置１００と、移動体装置２００とを備える。表示装置１００と移動体装置２００の各機器は、いずれも図示しない有線又は無線の通信装置を備え、互いに情報の授受を行う。
　本実施形態の表示システム１が適用される移動体は、車両、ヘリコプター、海底探査機、飛行機、装甲車、列車、フォークリフトその他の移動機能を備えるものを含む。本実施形態では、移動体が車両である場合を例にして説明する。なお、本実施形態の移動体は、人間が搭乗可能な有人機であってもよいし、人間が搭乗しない無人機であってもよい。
　なお、本実施形態の表示システム１は、移動体に搭載された装置として構成してもよいし、移動体に持ち込み可能な可搬装置として構成してもよい。また、本実施形態の表示システム１の一部の構成を移動体に搭載し、他の構成を移動体とは物理的に別の装置に搭載し、構成を分散させてもよい。この場合において、移動体と別の装置とは、情報の授受が可能なように構成される。
　図１に示すように、本実施形態の移動体装置２００は、カメラ４０と、コントローラ５０と、センサ６０と、ナビゲーション装置７０と、ディスプレイ８０と、を備える。これらの各装置はＣＡＮ（Controller Area Network）その他の移動体に搭載されたＬＡＮによって接続され、相互に情報の授受を行うことができる。
　本実施形態のカメラ４０は、車両（移動体の一例である。以下同じ）の所定位置に設けられている。車両に設けるカメラ４０の個数は、一つでもよいし、複数でもよい。車両に搭載されたカメラ４０は、車両及び／又は車両の周囲を撮像し、その撮像画像を表示装置１００に送出する。本実施形態における撮像画像は、車両の一部と車両の周囲の映像を含む。撮像画像のデータは、車両の周囲の地表との位置関係の算出処理、車両又は車両の周囲の映像の生成処理に用いられる。
　図２（Ａ）（Ｂ）は、自車両Ｖに搭載されたカメラ４０の設置位置の一例を示す図である。同図に示す例では、自車両Ｖには、自車両Ｖの右側前方のカメラ４０Ｒ１と、右側中央のカメラ４０Ｒ２と、右側後方のカメラ４０Ｒ３と、自車両Ｖの左側前方のカメラ４０Ｌ１と、左側中央のカメラ４０Ｌ２と、左側後方のカメラ４０Ｌ３との６つのカメラ４０が設置されている。なお、カメラ４０の配置位置は特に限定されず、その撮像方向も任意に設定できる。各カメラ４０は後述する制御装置１０からの指令又は予め設定されたタイミングで撮像画像を表示装置１００へ送出する。
　本実施形態において、カメラ４０が撮像した撮像画像は、映像の生成に用いられるほか、対象物の検出、及び対象物までの距離の計測に用いられる。本実施形態のカメラ４０の撮像画像は、車両の周囲の対象物の映像を含む。本実施形態における対象物は、移動体周囲の地表、移動体周囲の物体を含む。
　本実施形態において「地表」は、地球の表面、地球の地殻（土地）の表面を含む概念を示す用語である。本実施形態の用語「地表」は、陸地の表面、海の表面、河又は川の表面、湖の表面、海底の表面、道路の表面、駐車場の表面、ポートの表面、又はこれらのうち二つ以上を含む面を含む。なお、移動体が倉庫や工場などの施設（建屋）の屋内に存在する場合において、本実施形態の用語「地表」は、その施設の床面、壁面を含む意味を有する。「表面」とは、撮像時にカメラ４０側に表出される面である。また、対象物は、自車両Ｖの周囲に存在する他車両、歩行者、道路構造物、駐車場、標識、施設、その他の物体を含む。
　本実施形態のカメラ４０は、画像処理装置４０１を備える。画像処理装置４０１は、カメラ４０の撮像画像のデータからエッジ、色、形状、大きさなどの特徴を抽出し、抽出した特徴から撮像画像に含まれる対象物の属性を特定する。画像処理装置４０１は、各対象物の特徴を予め記憶し、パターンマッチング処理により撮像画像に含まれる対象物を特定する。撮像画像のデータを用いて対象物の存在を検出する手法は、特に限定されず、本願出願時に知られた手法を適宜に用いることができる。画像処理装置４０１は、カメラ４０の撮像画像のデータから抽出した特徴点の位置又は位置の経時的な変化から自車両から対象物までの距離を算出する。距離を算出する際に、画像処理装置４０１は、カメラ４０の設置位置、光軸方向、撮像特性などの撮像パラメータを用いる。撮像画像のデータを用いて対象物までの距離を計測する手法は、特に限定されず、本願出願時に知られた手法を適宜に用いることができる。
　本実施形態では、自車両Ｖとの位置関係を算出するためのデータを取得する手段として、測距装置４１を備えてもよい。測距装置４１は、カメラ４０とともに使用してもよいし、カメラ４０に代えて使用してもよい。測距装置４１は、自車両Ｖの周囲に存在する対象物を検出し、対象物と自車両Ｖとの距離を計測する。つまり、測距装置４１は、自車両Ｖの周囲の対象物を検出する機能を備える。測距装置４１は、自車両Ｖから陸地の表面、海の表面、河又は川の表面、道路の表面までの距離を計測する。測距装置４１は、自車両Ｖから他車両、歩行者、道路構造物、駐車場、標識、施設、その他の物体までの距離を計測する。測距装置４１は、計測した対象物までの測距データを表示装置１００に送出する。
　測距装置４１は、レーダー測距装置であってもよいし、超音波測距装置であってもよい。本願出願時に知られた測距手法を利用できる。自車両Ｖに測距装置４１を設置する測距装置４１の個数は特に限定されない。また、自車両Ｖに測距装置４１を設置する測距装置４１の設置位置も、特に限定されない。測距装置４１は、図２に示すカメラ４０の設置位置に対応する位置又はその近傍に設けてもよいし、自車両Ｖの前方又は後方に設けてもよい。移動体が、高さ方向に移動するヘリコプター、飛行機、海底探査機などである場合には、カメラ４０及び／又は測距装置４１を機体の底面側に設けてもよい。
　本実施形態のコントローラ５０は、自車両Ｖを含む移動体の動作を制御する。コントローラ５０は、後述するセンサ６０の検出情報を含む、移動体の動作に関する各情報を集中的に管理する。
　本実施形態のセンサ６０は、速度センサ６１と、前後加速度センサ６２と、横加速度センサ６３と、操舵角センサ６４と、姿勢センサ６５を含む。速度センサ６１は、自車両Ｖの移動速度を検出する。前後加速度センサ６２は、自車両Ｖの前後方向の加速度を検出する。横加速度センサ６３は、自車両Ｖの横方向（左右方向）の加速度を検出する。操舵角センサ６４は、自車両Ｖの左又は左方向への移動制御が開始されるトリガを検出する。自車両Ｖの速度の変化、加速度の変化、操舵角の変化、横加速度の変化は、自車両Ｖの姿勢に影響を与える。たとえば、自車両Ｖは、アクセルを踏んで加速操作を実行すると姿勢が変化する。反対にアクセルの踏み込み量を小さくしてエンジンのトルクを減少させても姿勢は変化する。表示装置１００は、速度センサ６１、前後加速度センサ６２、横加速度センサ６３、操舵角センサ６４の検出値から自車両Ｖの姿勢の変化を算出することができる。　
　また、姿勢センサ６５は、自車両Ｖの重量、重心、ホイールベースなどの車体構造と、ピッチング角、ヨー角、サスペンションストローク量などの車両の姿勢に関する情報に基づいて、自車両Ｖの姿勢を検出する。自車両Ｖの姿勢は、予め定義した評価値によって表現できる。自車両Ｖの姿勢の評価手法、姿勢の変化量の計測手法は、特に限定されない。自車両Ｖの姿勢の変化量を求めるために、横滑り防止装置、アンチロック・ブレーキシステム、空転防止装置その他の車両挙動制御装置が備える姿勢検出装置が検出した、車両の姿勢に関する検出結果を利用してもよい。
　本実施形態のナビゲーション装置７０は、ＧＰＳ（Global Positioning System）７１１を備える位置検出装置７１と、地図情報７２と、道路情報７３と、地形情報７４と、を有する。本実施形態の地図情報７２は、地点と、道路、構造物、施設などが対応づけられた情報である。ナビゲーション装置７０は、地図情報７２を参照し、位置検出装置７１により検出された自車両Ｖの現在位置から目的地までの経路を求め、自車両Ｖを誘導する機能を備える。
　本実施形態の道路情報７３は、位置情報と道路の曲率、傾斜などの情報が対応づけられた情報である。本実施形態の道路情報７３は、道路の曲率、傾斜が変化する位置と、その道路の曲率、傾斜変化量とを対応づけた情報を含んでもよい。ナビゲーション装置７０は、道路情報７３を参照し、位置検出装置７１により検出された現在位置において、自車両Ｖが走行する道路の曲率、傾斜角度の情報を得る。自車両Ｖが走行する道路の曲率、傾斜角度の情報は、自車両Ｖの姿勢を求める情報として利用できる。
　本実施形態の地形情報７４は、位置情報ごとに、その位置の高度、その位置を含む領域の傾斜角度が対応づけられた情報である。本実施形態の地形情報７４は、位置の高度、その位置を含む領域の傾斜角度が変化する位置と、その位置の高度の変化量、その位置を含む領域の傾斜角度の変化量とを対応づけた情報を含んでもよい。本実施形態のナビゲーション装置７０は、地形情報７４を参照し、位置検出装置７１により検出された現在位置の高度、傾斜角度を得る。現在、自車両Ｖが存在する地点の高度、傾斜角度の情報は、自車両Ｖの姿勢を求める情報として利用できる。現在、自車両Ｖが存在する地点の高度、傾斜角度の情報は、自車両Ｖの姿勢を求める情報として利用できる。
　本実施形態のディスプレイ８０は、後述する表示装置１００が生成した、任意の仮想視点から自車両Ｖ及びその自車両Ｖの周囲を見た映像を表示する。なお、本実施形態では、ディスプレイ８０を移動体に搭載させた表示システム１を例にして説明するが、移動体に持ち込み可能な可搬の表示装置１００側にディスプレイ８０を設けてもよい。
　次に、本実施形態の表示装置１００について説明する。本実施形態の表示装置１００は、制御装置１０を備える。
　図１に示すように、本実施形態に係る表示装置１００の制御装置１０は、移動体及びその周囲の映像を表示させるプログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭ１２に格納されたプログラムを実行することで、表示装置１００の機能を実現させる動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備える。制御装置１０は、画像処理を実行するGraphics Processing Unit（グラフィックス プロセッシング ユニット）を備えてもよい。
　本実施形態に係る表示装置１００の制御装置１０は、画像取得機能と、姿勢算出機能と、座標系設定機能と、表示制御機能とを実現する。本実施形態の制御装置１０は、さらに情報取得機能を備える。本実施形態の制御装置１０は、上記機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行する。
　以下、制御装置１０が実現する各機能についてそれぞれ説明する。
　まず、制御装置１０の画像取得機能について説明する。本実施形態の制御装置１０は、カメラ４０が撮像した撮像画像のデータを取得する。表示装置１００は、図示しない通信装置を用いて移動体装置２００から撮像画像のデータを取得する。
　次に、制御装置１０の情報取得機能について説明する。制御装置１０は、図示しない通信装置を用いて移動体装置２００から各種の情報を取得する。
　制御装置１０は、移動体としての自車両Ｖの周囲の地表の位置情報を取得する。経時的に取得した地表の位置情報は、後述する自車両Ｖの姿勢の変化量の算出に用いられる。制御装置１０は、カメラ４０の撮像画像から自車両Ｖから地表までの距離を、自車両Ｖに対する地表の位置情報として算出する。制御装置１０は、地表の位置情報の算出処理にカメラ４０の撮像パラメータを用いてもよい。制御装置１０は、画像処理装置４０１が算出した地表の位置情報を取得してもよい。
　制御装置１０は、移動体である自車両Ｖの姿勢に関する姿勢情報を自車両Ｖから取得する。制御装置１０は、前後加速度センサ６２が検出した前後加速度、横加速度センサ６３が検出した横加速度、操舵角センサ６４が検出した操舵量、姿勢センサ６５が検出した自車両の姿勢の評価値を、姿勢情報として取得する。経時的に取得した姿勢情報は、後述する自車両Ｖの姿勢の変化量の算出に用いられる。
　制御装置１０は、移動体である自車両Ｖの位置情報を取得する。自車両Ｖの位置情報は、所定の立体座標系における自車両Ｖの位置（三次元位置）を示す情報である。自車両Ｖの姿勢が変化した場合には、自車両Ｖの位置情報も変化する。経時的に取得した自車両Ｖの姿勢情報は、後述する自車両Ｖの姿勢の変化量の算出に用いられる。
　本実施形態の制御装置１０は、自車両Ｖに対する地表の位置情報のみを取得してもよいし、自車両Ｖの位置情報のみを取得してもよい。また、制御装置１０は、地表の位置情報と自車両Ｖの位置情報との両方を取得してもよい。この場合において、制御装置１０は、所定の立体座標系における地表の位置情報と、同じ所定の立体座標系における自車両Ｖの位置情報とを取得することが好ましい。共通の座標における地表の位置情報と自車両Ｖの位置情報を用いることにより、地表と自車両Ｖとの位置関係を求める処理において、座標変換の処理を省くことができる。
　本実施形態の制御装置１０は、自車両Ｖの周囲の地形情報を、移動体装置２００側から取得する。移動体装置２００のナビゲーション装置７０が備える地形情報７４は、各地点の位置とその位置の地形を記憶する。制御装置１０は、ＧＰＳ７１１が検出した自車両Ｖの位置を含む周囲の領域の地形を、地形情報７４から抽出させ、現在位置における地形情報を取得する。地形情報は、地表の傾斜度、傾斜の向きなどの情報を含む。地形情報は、重力を基準とする座標系を用いて定義される。
　次に、制御装置１０の姿勢算出機能について説明する。制御装置１０は、移動体である自車両Ｖの姿勢を算出する。自車両Ｖの姿勢は、自車両Ｖに設定された一又は複数の基準点の位置として算出する。本実施形態の制御装置１０は、自車両Ｖの姿勢を、予め定義された基準立体座標系に対する、自車両Ｖの基準点の位置(座標)または基準面の位置（座標）として算出する。基準立体座標系は任意に定義できる。自車両Ｖの基準点は、自車両Ｖ（移動体）の重心などを位置に設定する。自車両Ｖの基準面は、自車両Ｖの静止状態において、その自車両Ｖの基準点を含む面に設定する。
　本実施形態では、図２（Ｂ）に示すように、本実施形態では、地表ＧＲ１の上に載置された静止状態の自車両Ｖについて、地表ＧＲ１と平行な面であって、基準点Ｑを含む面を基準面Ｇ１として定義する。自車両Ｖの重心を基準点Ｑとしてもよい。地表ＧＲ１は、重力方向に直交する水平面であってもよい。
　本実施形態の制御装置１０は、自車両Ｖの姿勢から、その変化量を算出する。変化量は、異なるタイミングにおける自車両Ｖの姿勢の変化量、つまり経時的な変化量であってもよいし、基準の姿勢（位置）に対する、現在の自車両Ｖの姿勢の位置（位置）の変化量であってもよい。自車両Ｖの姿勢の変化量は、自車両Ｖが存在する空間の高さ方向の成分の位置の変化量を含む。自車両Ｖが地上に存在する場合には、重力方向に沿う成分の位置の変化量を含む。
　制御装置１０は、自車両Ｖと地表との相対的な位置関係の変化を、自車両Ｖの姿勢の変化量として算出する。
　本実施形態では、自車両Ｖと地表との相対的な位置関係が変化するときに、表示する映像に含まれる地表の映像に歪みが発生するという発明者の知見に基づき、特に地表と自車両Ｖとの位置関係に着目する。
　制御装置１０は、自車両Ｖの位置に対する地表の位置の変化量を自車両Ｖの姿勢の変化量として算出する。カメラ４０は、移動体である自車両Ｖに搭載されているので、カメラ４０の撮像画像のデータから地表の位置を経時的に算出すれば、自車両Ｖの位置に対する地表の位置の変化量を求めることができる。同様に、測距装置４１は、移動体である自車両Ｖに搭載されているので、測距装置４１の測距データから地表の位置を経時的に算出すれば、自車両Ｖの位置に対する地表の位置の変化量を求めることができる。本実施形態では、自車両Ｖの位置に対する地表の位置の変化量を、自車両Ｖの姿勢の変化量として扱うことができる。
　また、制御装置１０は、地表の位置に対する自車両Ｖの位置の変化量を、自車両Ｖの姿勢の変化量として算出する。地表が静止物であるため、地表の位置に対する自車両Ｖの位置の変化、特に高さ方向（重力方向に沿う方向）の変化量を含む自車両Ｖの位置の変化は、自車両Ｖの姿勢の変化量として扱うことができる。地表の位置に対する自車両Ｖの位置の変化量を経時的に算出すれば、地表の位置に対する自車両Ｖの位置の変化量を求めることができる。本実施形態では、地表の位置に対する自車両Ｖの位置の変化量を、自車両Ｖの姿勢の変化量として扱う。
　制御装置１０は、自車両Ｖの位置情報と、自車両Ｖの周囲の地表の位置情報とを用いて、自車両Ｖと地表の位置の変化量を、自車両Ｖの姿勢の変化量として算出する。
　制御装置１０は、取得した姿勢情報を用いて自車両Ｖの姿勢の変化量として算出する。本実施形態の制御装置１０は、自車両Ｖの加減速などの挙動、自車両Ｖの構造などによって生じる姿勢の変化を考慮して、自車両Ｖの姿勢の変化量を算出できる。制御装置１０は、取得した姿勢情報を用いて、先述した撮像画像（又は測距データ）から求めた自車両Ｖの姿勢の変化量を補正してもよい。
　制御装置１０は、自車両Ｖの現在位置を含む周囲の地形情報を取得し、その地形情報を用いて、自車両Ｖの姿勢を算出する。制御装置１０は、移動体が自車両Ｖや海底探査機である場合には、自車両Ｖ（海底探査機）が移動する路面（海底面）の傾斜方向及び傾斜角度から、自車両Ｖ（海底探査機）の姿勢を算出する。
　次に、本実施形態の制御装置１０の座標系設定機能について説明する。
　制御装置１０は、撮像画像を投影するために予め定義された基準立体座標系を記憶する。後に詳述するが、基準立体座標系は、カメラ４０の撮像画像の投影する際に用いられる。
　基準立体座標系の態様は特に限定されない。図３Ａに示すように、基準立体座標系Ｓ１（Ｓ）を円筒形状としてもよいし、図３Ｂに示すように、基準立体座標系Ｓ２（Ｓ）を球形状としてもよい。基準立体座標系Ｓは、その内側に自車両Ｖ（移動体）が存在するときの周囲の映像を投影する座標である。このため、投影処理の基準となる仮想視点Ｅを、立体座標系Ｓの内側に設定する。仮想視点Ｅは、自車両Ｖ内からその周囲を見る場面を想定して設定されるので、自車両Ｖの位置に応じて定義される。つまり、仮想視点Ｅと自車両Ｖの基準面Ｇ１（図２（Ａ）を参照）は、基準立体座標系Ｓにおいて定義される。
　自車両Ｖの基準面Ｇ１の高さ方向の位置は、立体座標系Ｓの上端ＰＮ又は下端ＰＳに対応させずに、上端ＰＮと下端ＰＳとの間に設定される。図３Ａ及び図３Ｂに示す例では、自車両Ｖの基準面Ｇ１を、Ｇ０の位置に設定する。これにより、基準立体座標系Ｓの正負の座標値を用いて、自車両Ｖの高さ方向の変化を表現できる。
　本実施形態の制御装置１０は、移動体である自車両Ｖの姿勢の変化量に応じて、基準立体座標系Ｓを変形させた変形立体座標系Ｓ１´，Ｓ２´を設定する。基準立体座標系Ｓの変形は、自車両Ｖが存在する空間の高さ方向の成分の変形を含む。自車両Ｖが地上に存在する場合には、重力方向に沿う成分の変形を含む。
　まず、制御装置１０は、自車両Ｖの姿勢の変化量を算出する。自車両Ｖの姿勢が変化する場面の一例を図４Ａに示す。図４Ａに示すように、自車両Ｖが傾斜する地表(道路)ＧＲを矢印Ｆ１方向に向かって走行するとき、自車両Ｖの姿勢は地表ＧＲの傾きの変化量に応じて変化する。本例では、位置ｘ１において、地表ＧＲの傾きがゼロ度からα度に変化する。図４Ａに示す場面において、自車両Ｖが地表(道路)ＧＲを走行するときの基準面Ｇ２は、自車両Ｖが静止状態で水平面に載置されているときの基準面Ｇ１に対して角度αの傾斜角を有する。このように、自車両Ｖが傾斜した地表（道路）ＧＲを走行するとき、自車両Ｖの姿勢は変化する。姿勢の変化量は、予め設定された基準面Ｇ１が変化した角度で表現してもよいし、座標値の変化量で表現してもよい。なお、図４Ａは、後述する図４Ｂに示すＩＶＡ－ＩＶＡに沿う断面から見た図である。
　図４Ｂは、図４Ａに示すＩＶＢ－ＩＶＢ線から見た図である。本実施形態は、図４Ｂに示すように、自車両Ｖが山沿いの道を走行する場面においても適用できる。図４Ｂに示すように、自車両Ｖの進行方向右手は山側斜面であり、自車両Ｖの進行方向左手は谷側斜面である。この場面において、自車両の進行方向の右側の地表と左側の地表の傾きは異なる。このように、自車両Ｖが走行する地面を含む領域の地表の傾きが異なる場合にも、先述したように、映像に歪みが生じる。
　制御装置１０は、自車両Ｖが走行する地表ＧＲの傾きを算出し、自車両Ｖに対する地表ＧＲの傾きから自車両Ｖの姿勢の変化量を算出してもよい。例えば、制御装置１０は、図４Ｃに示すように、自車両Ｖに搭載された測距装置４１が計測した、地表ＧＲの地点Ｐ１，Ｐ２，Ｐ３までの各距離ｄ１，ｄ２，ｄ３を取得し、この地点Ｐ１，Ｐ２，Ｐ３を含む地表ＧＲの傾きを算出できる。地点Ｐ１，Ｐ２，Ｐ３までの各距離ｄ１，ｄ２，ｄ３は自車両Ｖの重心位置などの基準点Ｑからの距離である。また、制御装置１０は、カメラ４０の撮像画像から合成された一つの地表ＧＲの画像を用いて、地表ＧＲの地点Ｐ１，Ｐ２，Ｐ３までの各距離ｄ１，ｄ２，ｄ３を算出し、地点Ｐ１，Ｐ２，Ｐ３を含む地表ＧＲの傾きを算出してもよい。
　図４Ｂに示す場面のように、自車両Ｖが走行する領域を含む地表ＧＲの傾きが異なる、例えば右側と左側とで地表ＧＲの傾きが異なる場合には、各領域ごとにその傾きを算出してもよい。例えば、制御装置１０は、図４Ｃに示すように、自車両Ｖに搭載された測距装置４１が計測した、自車両Ｖの基準点Ｑから自車両の左側の地表ＧＲの地点Ｐ１Ｌ，Ｐ２Ｌ，Ｐ３Ｌまでの各距離ｄ１Ｌ，ｄ２Ｌ，ｄ３Ｌを取得し、この地点Ｐ１Ｌ，Ｐ２Ｌ，Ｐ３Ｌを含む地表ＧＲの傾きを算出できる。同様に、自車両Ｖの基準点Ｑから自車両の右側の地表ＧＲの地点Ｐ１Ｒ，Ｐ２Ｒ，Ｐ３Ｒまでの各距離ｄ１Ｒ，ｄ２Ｒ，ｄ３Ｒを取得し、この地点Ｐ１Ｒ，Ｐ２Ｒ，Ｐ３Ｒを含む地表ＧＲの傾きを算出できる。
　このように、自車両Ｖの周囲の傾斜値が複数得られた場合には、いずれかの領域の地表ＧＲの自車両Ｖに対する傾斜値から、自車両Ｖの姿勢の変化量を算出してもよい。図４Ａ,図４Ｂに示す状況においては、進行方向左側の谷側の斜面の映像が正確に表示されることが乗員にとって有益であるという観点から、進行方向左側の谷側の斜面の映像に歪みが生じないように、進行方向左側の谷側の斜面の傾きから自車両Ｖの姿勢の変化量を算出してもよい。自車両Ｖの周囲の傾斜値が複数得られた場合には、これらの領域の地表ＧＲの傾斜の値から平均値などの代表値を、自車両Ｖに対する地表ＧＲの傾きとして求め、この地表ＧＲの傾きから自車両Ｖの姿勢の変化量を算出してもよい。
　本実施形態では、表示装置１００を用いて自車両の周囲の映像を表示する態様を説明するが、表示装置１００は自動車以外の移動体の周囲の映像を表示することができる。
　ちなみに、図４Ａ、図４Ｂに示す場面においては、整備された平坦な道路を走行する場面とは異なり、自車両の周囲の地表の傾きが部分ごと(領域ごと)に異なることがある。また、図４Ａ、図４Ｂに示す場面においては、整備された道路を走行する場面よりも、自車両の姿勢の変化量は大きく、姿勢の変化による映像の歪みも大きい。
　車両とは異なり地表と接することなく移動可能な移動体においては、移動体の周囲の地表の傾きが部分ごと（領域ごと）に異なることがある。また、車両とは異なり地表と接することなく移動可能な移動体においては、図４Ａ，図４Ｂの場面における車両と同様に、姿勢の変化量は大きく、姿勢の変化による映像の歪みも大きい。本実施形態では車両に適用された表示装置１００について説明するが、車両以外の移動体についても適用が可能である。
　制御装置１０は、先述した手法を適宜に選択し、自車両Ｖの姿勢の変化量を算出する。制御装置１０は、自車両Ｖに対する地表ＧＲの変化量から自車両Ｖの姿勢の変化量を算出してもよいし、地表ＧＲに対する自車両Ｖの位置の変化量から自車両Ｖの姿勢の変化量を算出してもよい。自車両Ｖの姿勢情報や、地表ＧＲの傾きを含む地形情報７４を用いて自車両Ｖの姿勢の変化量を算出してもよい。
　次に、本実施形態の制御装置１０は、自車両Ｖの姿勢の変化量に応じて、撮像画像を投影するために予め定義された基準立体座標系Ｓ（Ｓ１，Ｓ２）を変形させて、変形立体座標系Ｓ´（Ｓ１´，Ｓ２´）を設定する。具体的に、制御装置１０は、予め設定した基準立体座標系Ｓ（Ｓ１，Ｓ２）に対する自車両Ｖの姿勢の変化量に応じて、基準立体座標系Ｓ（Ｓ１，Ｓ２）の座標軸を傾斜させた変形立体座標系をＳ´（Ｓ１´，Ｓ２´）を設定する。
　本実施形態の制御装置１０は、自車両Ｖの静止状態における自車両Ｖの基準点Ｑを含む基準面Ｇ１を定義し、移動体の作動状態、つまり自車両Ｖの走行中におけるその自車両Ｖの基準面Ｇ１の傾きに応じて、この基準面Ｇ１に対応する基準立体座標系Ｓ（Ｓ１，Ｓ２）のＸＹ面Ｇ０を傾斜させ、変形した変形立体座標系Ｓ´（Ｓ１´，Ｓ２´）を得る。そして、制御装置１０は、変形した変形立体座標系Ｓ´（Ｓ１´，Ｓ２´）を、撮像画像が投影される投影面として設定する。基準立体座標系Ｓ（Ｓ１，Ｓ２）の変形の手法は特に限定されず、自車両Ｖの高さ位置の基準となる基準立体座標系Ｓ（Ｓ１，Ｓ２）のＸＹ面Ｇ０だけを傾斜させて変形してもよいし、基準立体座標系Ｓ（Ｓ１，Ｓ２）全体を傾斜させて変形してもよい。
　図５Ａ，図５Ｂには、変形立体座標系Ｓ´の一例を示す。図５Ａ，図５Ｂに示す変形立体座標系Ｓ´は、自車両Ｖの基準面Ｇ１に基づいて算出された姿勢の変化量が角度α[°]であるとした場合に、基準立体座標系Ｓを変形角度α´[°]傾斜させた立体座標系である。変形角度α´[°]は、自車両Ｖの姿勢の変化量である角度α[°]に応じて決定される。具体的に、図５Ａに示す変形立体座標系Ｓ１´は、図３Ａに示す基準立体座標系Ｓ１の座標軸を、変形角度α´[°]傾斜させた座標系である。図５Ｂに示す変形立体座標系Ｓ２´は、図３Ｂに示す基準立体座標系Ｓ２の座標軸を変形角度α´[°]傾斜させた座標系である。図５Ｂに示すように、基準立体座標系Ｓ２におけるＺ方向に延びる座標軸ＥＸは、変形角度α´[°]傾斜し、座標軸ＥＸ´となる。
　基準立体座標系Ｓ１，Ｓ２の変形量は、自車両Ｖの姿勢の変化量に応じて決定される。上述したように、自車両Ｖの姿勢の変化量と同等の変化量で基準立体座標系Ｓ１，Ｓ２を変形してもよい。もちろん、自車両Ｖの姿勢の変化量に係数を乗除した（又は値を加減した）変化量で基準立体座標系Ｓ１，Ｓ２を変形してもよい。例えば、自車両Ｖの姿勢の変化の状態をユーザに分かりやすく表示するという観点から、自車両Ｖの姿勢の変化量に正の係数を乗じた（又は正の値を加算した）変化量で基準立体座標系Ｓ１，Ｓ２を変形してもよい。自車両Ｖの姿勢が変化したことを強調した映像／自車両Ｖの姿勢の変化量を誇張した映像をユーザに提供できる。
　このように、自車両Ｖの姿勢の変化量に応じて、撮像画像を投影する三次元の基準立体座標系Ｓを変形させることにより、生成された立体視の映像の歪みが発生することを抑制できる。ちなみに、自車両Ｖの姿勢が高さ方向（重力方向に沿う方向）に変化すると、自車両Ｖの基準面Ｇ１と地表ＧＲとの間に傾斜が生じやすい。撮像画像を投影する立体座標系と自車両Ｖとの高さ方向の位置が固定されている場合には、自車両Ｖの姿勢の変化により生じた地面の傾斜は、映像の歪みを発生させる。これに対し、本実施形態の制御装置１０は、自車両Ｖの姿勢の変化量に応じて基準立体座標系Ｓを傾斜させるので、自車両Ｖの姿勢の変化により生じた地面の傾斜の影響をキャンセルし、映像に歪みが発生することを抑制できる。
　続いて、制御装置１０の表示制御機能について説明する。制御装置１０は、カメラ４０の撮像画像のデータを変形立体座標系Ｓ´に投影し、仮想視点Ｅから自車両Ｖ及び自車両Ｖの周囲を見た映像を生成し、表示させる。
　制御装置１０は、カメラ４０から取得した撮像画像のデータを、基準立体座標系Ｓ又はこれを変形させた変形立体座標系Ｓ´に投影し、設定された仮想視点Ｅから自車両Ｖ及びこの自車両Ｖの周囲を見た映像を生成する。自車両Ｖの姿勢の変化量が所定量未満である場合には、自車両Ｖの姿勢が変化していないと判断する。そして、基準立体座標系Ｓに撮像画像を投影する。他方、自車両Ｖの姿勢の変化量が所定量以上である場合には、自車両Ｖの姿勢が変化したと判断する。そして、変形立体座標系Ｓ´を設定し、これに撮像画像を投影する。「所定量」は、自車両Ｖの姿勢に変化があったか否かを判断するための変化量の閾値として設定する。「所定量」は、自車両Ｖのカメラ４０の撮像特性、基準立体座標系Ｓの態様、自車両Ｖの構造などの影響を考慮して実験的に求めることが好ましい。
　制御装置１０は、複数のカメラ４０から取得した撮像画像のデータを、基準立体座標系Ｓ又はこれを変形させた変形立体座標系Ｓ´に投影する。投影手法は、特に限定されない。制御装置１０は、出願時に知られたプロジェクションマッピング技術を用いて、投影処理を実行してもよい。撮像画像のデータのアドレスと、基準立体座標系Ｓ又は変形立体座標系Ｓ´のアドレス(座標値)との対応情報を用いて、投影処理を実行してもよい。
　本実施形態の表示装置１００は、変形立体座標系Ｓ´に投影された画像を用いて、仮想視点から自車両Ｖ及びその自車両Ｖの周囲を見た映像を生成する。表示装置１００は、生成された映像を、ディスプレイ８０に表示する。
　本実施形態の表示装置１００が表示させる映像には、予め準備された自車両Ｖを示すアイコン画像Ｖ´（図３Ａ，図３Ｂを参照）を重畳させて表示してもよい。車両のアイコン画像Ｖ´は、自車両Ｖの意匠に基づいて予め作成し、記憶させてもよい。このように、自車両Ｖのアイコン画像Ｖ´を映像に重畳させることにより、自車両Ｖの位置及び向きと周囲の映像との関係を分かりやすく示すことができる。
　本実施形態の制御装置１０は、自車両Ｖ（移動体）の姿勢の変化量に応じて、生成された映像に重畳表示させる自車両のアイコン画像Ｖ´を変形させてもよい。例えば、自車両Ｖが傾いている場合には、その傾斜角に応じて、車両のアイコン画像Ｖ´を傾斜させてもよい。
　本実施形態の制御装置１０は、自車両Ｖの姿勢の変化量に応じて変形した変形立体座標系を設定し、この変形立体座標系に撮像画像のデータを投影することにより、自車両Ｖの姿勢の変化によって映像に歪みが生じることを防止する。
　図６Ａは、自車両Ｖの姿勢に変化がない場合に生成された映像の表示例を示す。映像はディスプレイ８０に表示される。自車両Ｖは、水平面に静止状態で載置され／又は水平面を水平移動している状態である。仮想視点から見た自車両Ｖ及び自車両Ｖの周囲の映像に歪みは生じていない。具体的に、自車両Ｖが走行する道路に平行に描かれたレーンマークＬ１、Ｌ２は、映像においても平行であり、地平線ＧＬとの位置関係も保たれる。
　他方、６Ｂは、自車両Ｖの姿勢に変化がある場合に生成された映像の表示例を示す。自車両Ｖは、地表に対して高さ方向の変化が発生している状態である。仮想視点から見た自車両Ｖの周囲の映像に歪みが生じている。具体的に、自車両Ｖが走行する道路のレーンマークＬ１、Ｌ２は平行に描かれたものである。しかし、映像におけるレーンマークＬ１、Ｌ２は平行に表現されていない。これは、映像に歪みが生じているためである。レーンマークＬ１，Ｌ２と地平線ＧＬとの位置関係にも歪みが生じている。
　本実施形態の制御装置１０は、自車両Ｖの姿勢に変化がある場合に、その自車両Ｖ（移動体）の変化量に応じて変形させた変形立体座標系Ｓ´に撮像画像を投影することにより、映像を補正する。
　図７Ａ～図７Ｄは、自車両Ｖの姿勢の変化によって生じた歪みを補正した映像をディスプレイ８０に表示したときの表示例を示す図である。ディスプレイ８０はｘｙ平面の二次元の映像を表示する。
　図７Ａは、自車両Ｖに対する地表の位置の変化量、又は地表に対する自車両Ｖの位置の変化量に応じて基準立体座標系を変形し、変形処理により得た変形立体座標系に撮像画像のデータを投影して得た映像である。自車両Ｖの姿勢の変化量に応じて投影座標系を変形させるので、自車両Ｖの姿勢の変化量によって生じる歪みをキャンセルすることができる。この結果、図６Ａに示すような、自車両Ｖが水平面に載置された状態又は自車両Ｖが水平面を定速移動している状態と同様の映像を表示できる。
　図７Ｂは、地表に対する自車両Ｖの傾き（姿勢）に応じて、円柱形状の基準立体座標系Ｓ１の底面側のｘｙ面を傾けて変形立体座標系Ｓ１を設定するとともに、自車両のアイコン画像Ｖ´を傾ける。基準立体座標系Ｓ１の底面側のｘｙ面とは、自車両Ｖの接地面側のｘｙ面である。図７Ｂに示す本実施形態の映像によれば、坂道を登る自車両Ｖの姿勢を分かりやすく表示できるとともに、自車両Ｖが走行している道路が坂道であることを分かりやすく表示できる。
　図７Ｃは、地表に対する自車両Ｖの姿勢の変化を自車両のアイコン画像Ｖ´を用いて示す表示例である。同図に示す例では、地表に対する自車両Ｖの姿勢の変化量に応じた、自車両のサスペンションの伸縮を、自車両のアイコン画像Ｖ´の傾きにより表現する。自車両のアイコン画像Ｖ´は、そのアイコン画像Ｖ´の傾き等により自車両Ｖのサスペンションの伸縮の有無、及びその伸縮の量を示す。図７Ａに示す自車両のアイコン画像Ｖ´は変形立体座標系Ｓ１のｘ軸に対して平行となるように表示されているが、図７Ｃに示す自車両のアイコン画像Ｖ´は、変形立体座標系Ｓ１のｘ軸に対して傾きを有するように表示される。アイコン画像Ｖ´の傾斜角は、自車両Ｖの姿勢の変化量に応じて決定される。このように、自車両のアイコン画像Ｖ´の表示位置を変化させることにより、地表に対する自車両Ｖの姿勢の変化を表現できる。
　図７Ｄは、地表に対する自車両Ｖの傾き（姿勢）に応じて、円柱形状の基準立体座標系Ｓ１の全部を傾けるとともに、自車両のアイコン画像Ｖ´を傾ける。図７Ｄに示す自車両のアイコン画像Ｖ´は、図７Ｃに示す自車両のアイコン画像Ｖ´と同様に、変形立体座標系Ｓ１のｘ軸に対して傾きを有するように表示される。図７Ｄに示す本実施形態の映像によれば、自車両Ｖの姿勢を表現する座標系自体を自車両Ｖの姿勢の変化量に応じて変形するので、坂道を登る自車両Ｖの姿勢を分かりやすく表示できるとともに、自車両Ｖが走行している道路が坂道であることを分かりやすく表示できる。
　図７Ａ～図７Ｄに示すように、本実施形態の映像では、自車両Ｖの姿勢の変化量によって生じる歪みが是正されるので、自車両Ｖの周囲の映像は歪みを含まない。具体的に、自車両Ｖが走行する道路に平行に描かれたレーンマークＬ１、Ｌ２を、映像においても平行に表示できる。
　ここで、投影処理において実行可能な処理について、併せて説明する。
　本実施形態の制御装置１０は、各カメラ４０の撮像画像から所定領域を切り出して、投影処理を実行する。図８Ａに示すように、各カメラ４０の撮像画像のうち重なり合う部分を除いた所定領域ＡＲ１，ＡＲ２，ＡＲ３，ＡＬ１，ＡＬ２，ＡＬ３を切り出す。図８Ａは、処理の概要を示すため、所定領域を単純な形状で示すが、制御装置１０は、基準立体座標系Ｓ又は変形立体座標系Ｓ´の形状、カメラ４０の撮像特性に応じて、切り出す所定領域ＡＲ１，ＡＲ２，ＡＲ３，ＡＬ１，ＡＬ２，ＡＬ３を設計する。
　本実施形態の制御装置１０は、自車両Ｖの加速度に応じて、投影処理を実行する際に撮像画像から切り出す所定領域を変更する。制御装置１０は、自車両Ｖの前後加速度センサ６４が検出した自車両Ｖ進行方向の加速度を取得する。自車両Ｖの姿勢に所定量以上の変化があった場合に、制御装置１０は、カメラ４０の撮像画像の所定領域のデータを変形立体座標系Ｓ´に投影する。このとき、自車両Ｖの進行方向成分（前方向成分：図中矢印Ｆで示す）の正の加速度を取得した場合には、カメラ４０のうち、自車両Ｖの左右側方に搭載されたカメラ４０Ｒ２，４０Ｌ２の撮像画像の所定領域ＡＲ２、ＡＬ２を、自車両Ｖの進行方向とは反対側（後方向：図中矢印Ｆ´で示すの方向）にそれぞれ拡張させる。自車両Ｖの進行方向成分の加速度は、自車両Ｖのコントローラ５０から取得した制動操作の実行情報から予測してもよい。
　図８Ｂは、図８Ａに示す自車両Ｖの左右側方に設定された所定領域ＡＲ２，ＡＬ２が、自車両Ｖの後方向（図中矢印Ｆ´で示す方向）に拡張された所定領域ＡＲ２´，ＡＬ２´を示す図である。図８Ｂに示す所定領域ＡＲ２´の後方向（図中矢印Ｆ´で示す方向）の長さＭＲ２´は、図８Ａに示す所定領域ＡＲ２の後方向（図中矢印Ｆ´で示す方向）の長さＭＲ２よりも長い。同様に、図８Ｂに示す所定領域ＡＬ２´の後方向（図中矢印Ｆ´で示す方向）の長さＭＬ２´は、図８Ａに示す所定領域ＡＬ２の後方向（図中矢印Ｆ´で示す方向）の長さＭＬ２よりも長い。
　自車両Ｖの進行方向に正の加速度が検出した場合には、自車両Ｖは前のめりの姿勢となる。自車両が前のめりの姿勢となった場合には、自車両Ｖの側方のカメラ４０Ｒ２，４０Ｌ２の撮像画像のうち、投影処理に利用できる画像範囲が車両後方の方向に広がる。本実施形態の表示装置１００の制御装置１０は、自車両Ｖの進行方向に正の加速度が検出した場合に、自車両Ｖの左右側方に設けられたカメラ４０Ｒ２，４０Ｌ２の撮像領域から切り出す画像の領域（所定領域）を車両後方に拡張する。このように、変形立体座標系Ｓ´に投影する撮像画像を切り出す処理において、切り出す画像の領域(所定領域)を、自車両Ｖの姿勢に応じて変更することにより、歪みの少ない立体映像を提供できる。特に、加速時において、自車両Ｖの姿勢が前のめりとなった場合に、左右側方のカメラ４０Ｒ２，４０Ｌ２の撮像画像を後方側に拡張して切り出すので、歪みの少ない映像を生成できる。さらに、後方に拡張された所定領域の撮像画像を、自車両Ｖの姿勢に応じて変形された変形立体座標系´に投影するので、歪みの少ない映像を生成できる。
　そして、制御装置１０は、生成した映像をディスプレイ８０に表示させる。ディスプレイ８０は、自車両Ｖに搭載し、移動体装置２００として構成してもよいし、表示装置１００側に設けてもよい。ディスプレイ８０は、二次元画像用のディスプレイでもよいし、三次元画像を映し出すディスプレイであってもよい。
　図９のフローチャートに基づいて、本実施形態の制御装置１０の動作を説明する。
　ステップＳ１０１において、制御装置１０は、カメラ４０により撮像された撮像画像を取得する。ステップＳ１０２において、制御装置１０は、自車両Ｖの姿勢を算出する。制御装置１０は、自車両Ｖの姿勢が変化したか否かを決定するため、自車両Ｖの姿勢の変化量が所定量以上であるか否かを判断する。自車両Ｖの姿勢の変化量は、タイミングＴ１における自車両Ｖの姿勢(位置情報)と、その後のタイミングＴ２（Ｔ１＋ｔｓ）における自車両Ｖの姿勢(位置情報)との差から求めてもよい。自車両Ｖの姿勢の変化量は、予め定めた自車両Ｖの基準姿勢（位置情報）と、姿勢算出時（現在）の自車両Ｖの姿勢（位置情報との差から求めてもよい。
　ステップＳ１０３において、制御装置１０は、自車両Ｖの姿勢の変化量が所定量以上であるか否かを判断する。自車両Ｖの姿勢の変化量が所定量未満である場合には、ステップＳ１０８に進み、予め定義された基準立体座標系Ｓを投影用の座標として設定する。他方、自車両Ｖの姿勢の変化量が所定量未満である場合には、ステップＳ１０４に進み、予め定義された基準立体座標系Ｓを変形する。続くステップＳ１０５において、制御装置１０は、ステップＳ１０４で得られた変形立体座標系Ｓ´を投影用の座標系として設定する。
　ステップＳ１０６において、制御装置１０は、設定された基準立体座標系Ｓ又は変形立体座標系Ｓ´に撮像画像を投影する処理を実行し、表示用の映像を生成する。
　最後に、ステップＳ１０７において、制御装置１０は、生成した映像をディスプレイ８０に表示する。
　本発明は以上のように構成され、以上のように作用するので、以下の効果を奏する。
　[１]本実施形態の表示装置１００は、自車両Ｖの姿勢の変化量に応じて変形させた変形立体座標系Ｓ´に撮像画像を投影させる。これにより、自車両Ｖと立体座標系の位置関係のずれ量を低減させるため、自車両Ｖの姿勢が変化した場合であっても、生成された映像に歪みが発生することを抑制できる。
　[２]本実施形態の表示装置１００は、自車両Ｖに対する地表の位置の変化量を、自車両Ｖの姿勢の変化量として算出するので、上記効果を奏する。
　[３]本実施形態の表示装置１００は、地表に対する自車両Ｖの位置の変化量を、自車両Ｖの姿勢の変化量として算出するので、上記効果を奏する。
　[４]本実施形態の表示装置１００は、自車両Ｖの位置情報と、自車両Ｖの周囲の地表の位置情報とから求められた、自車両Ｖと地表との位置関係の変化量を、自車両Ｖの姿勢の変化量として算出するので、上記効果を奏する。
　[５]本実施形態の表示装置１００は、自車両Ｖの姿勢情報を用いて、自車両Ｖの姿勢の変化量を算出するので、上記効果を奏する。また、本実施形態の表示装置１００は、自車両Ｖの加減速などの挙動、自車両Ｖの構造などによって生じる姿勢の変化を考慮して、自車両Ｖの姿勢の変化量を算出できる。
　[６]本実施形態の表示装置１００は、自車両Ｖの周囲の地形情報を用いて、自車両Ｖの姿勢を算出するので、上記効果を奏する。
　[７]本実施形態の表示装置１００は、自車両Ｖの姿勢の変化量に応じて、基準立体座標系Ｓの座標軸を傾斜させた変形立体座標系を設定するので、自車両Ｖの姿勢の変化により生じた、地表に対する自車両Ｖの傾斜に起因する映像に歪みの発生を抑制できる。
　[８]本実施形態の表示装置１００は、自車両Ｖの基準面の傾きに応じて、基準面に対応する基準立体座標系のＸＹ面を傾斜させた変形立体座標系を設定するので、自車両Ｖの姿勢の変化により生じた、地表に対する自車両Ｖの傾斜に起因する映像に歪みの発生を抑制できる。
　[９]本実施形態の表示装置１００は、自車両Ｖの進行方向成分の加速度を取得した場合には、複数のカメラ４０のうち、自車両Ｖの側方に搭載されたカメラ４０の撮像画像の所定領域を、自車両Ｖの後方側に拡張させる。加速時に自車両Ｖの姿勢が前のめりとなった場合において、左右側方のカメラ４０Ｒ２，４０Ｌ２の撮像画像を後方側に拡張して切り出し、切り出した撮像画像を、自車両Ｖの姿勢に応じて変形された変形立体座標系´に投影するので、歪みの少ない映像を生成できる。
　[１０]本実施形態の表示装置１００に本実施形態の表示方法を実行させることにより、上記効果を奏する。
　なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
　すなわち、本明細書では、本発明に係る表示装置の一態様としての表示装置１００を含む表示システム１を例にして説明するが、本発明はこれに限定されるものではない。
　また、本明細書では、本発明に係る表示装置の一態様として、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３を含む制御装置１０を備える表示装置１００を説明するが、これに限定されるものではない。
　また、本明細書では、本願発明に係る画像取得手段と、姿勢算出手段と、座標系設定手段と、表示制御手段とを有する表示装置の一態様として、画像取得機能と、姿勢算出機能と、座標系設定機能と、表示制御機能とを実行させる制御装置１０を備える表示装置１００を例にして説明するが、本発明はこれに限定されるものではない。
　また、本明細書では、本願発明に係る情報取得手段をさらに備える表示装置の一態様として、情報取得機能をさらに実行させる制御装置１０を備える表示装置１００を例にして説明するが、本発明はこれに限定されるものではない。
１…表示システム
１００…表示装置
　１０…制御装置
　　１１…ＣＰＵ
　　１２…ＲＯＭ
　　１３…ＲＡＭ
２００…移動体装置
　４０…カメラ
　　４１…測距装置
　５０…コントローラ
　６０…センサ
　　６１…速度センサ
　　６２…前後加速度センサ
　　６３…横加速度センサ
　　６４…操舵角センサ
　　６５…姿勢センサ
　７０…ナビゲーション装置
　　７１…位置検出装置
　　　７１１…ＧＰＳ
　　７２…地図情報
　　７３…道路情報
　　７４…地形情報
　８０…ディスプレイ

Claims (10)

  1. 　移動体に搭載されたカメラが撮像した撮像画像を取得する画像取得手段と、
    　前記移動体の姿勢の変化量を算出する姿勢算出手段と、
    　前記移動体の姿勢の変化量に応じて、前記撮像画像を投影するために予め定義された基準立体座標系を変形させた変形立体座標系を設定する座標系設定手段と、
    　前記撮像画像のデータを前記変形立体座標系に投影し、仮想視点から移動体及び当該移動体の周囲を見た映像を生成し、生成した映像を表示させる表示制御手段と、
    　前記表示制御手段により生成された前記映像を表示する表示手段と、
    を有する表示装置。
  2. 　前記移動体の周囲の地表の位置情報を取得する情報取得手段をさらに備え、
    　前記姿勢算出手段は、前記移動体に対する前記地表の位置の変化量を、前記移動体の姿勢の変化量として算出する請求項１に記載の表示装置。
  3. 　前記移動体の周囲の地表の位置情報を取得する情報取得手段をさらに備え、
    　前記姿勢算出手段は、前記地表に対する前記移動体の位置の変化量を、前記移動体の姿勢の変化量として算出する請求項１に記載の表示装置。
  4. 　前記移動体の周囲の地表の位置情報と、前記移動体の位置情報とを取得する情報取得手段をさらに備え、
    　前記姿勢算出手段は、前記移動体の位置情報と前記移動体の周囲の地表の位置情報とから算出された、前記移動体と前記地表との位置関係の変化量を、前記移動体の姿勢の変化量として算出する請求項１～３の何れか一項に記載の表示装置。
  5. 　前記移動体の姿勢に関する姿勢情報を前記移動体から取得する情報取得手段をさらに備え、
    　前記姿勢算出手段は、前記姿勢情報を用いて、前記移動体の姿勢の変化量を算出する請求項１～４の何れか一項に記載の表示装置。
  6. 　前記移動体の周囲の地形情報を取得する情報取得手段をさらに備え、
    　前記姿勢算出手段は、前記移動体の周囲の地形情報を用いて、前記移動体の姿勢を算出する請求項１～５の何れか一項に記載の表示装置。
  7. 　前記座標系設定手段は、前記基準立体座標系に対する前記移動体の姿勢の変化量に応じて、前記基準立体座標系の座標軸を傾斜させた前記変形立体座標系を設定する請求項１～６の何れか一項に記載の表示装置。
  8. 　前記座標系設定手段は、前記移動体の静止状態における当該移動体の基準点を含む基準面を定義し、前記移動体の作動状態における当該移動体の前記基準面の傾きに応じて、前記基準面に対応する前記基準立体座標系のＸＹ面を傾斜させた前記変形立体座標系を設定する請求項１～６の何れか一項に記載の表示装置。
  9. 　前記移動体の進行方向の加速度を取得する情報取得手段をさらに備え、
    　前記表示制御手段は、前記移動体に搭載されたカメラの撮像画像の所定領域のデータを、前記変形立体座標系に投影する際に、前記移動体の進行方向成分の加速度を取得した場合には、前記カメラのうち、前記移動体の側方に搭載されたカメラの撮像画像の前記所定領域を、前記移動体の進行方向とは反対側の方向に拡張させる請求項１～８の何れか一項に記載の表示装置。
  10. 　移動体に用いられる表示装置が実行する表示方法であって、
    　前記表示装置は、画像取得手段と、姿勢算出手段と、座標系設定手段と、表示制御手段と、表示手段と、を有し、
    　前記画像取得手段は、移動体に搭載されたカメラが撮像した前記移動体の周囲の撮像画像を取得するステップを実行し、
    　前記姿勢算出手段は、前記移動体の姿勢の変化量を算出するステップを実行し、
    　前記座標系設定手段は、前記算出された移動体と当該移動体の周囲の地表との位置関係の変化量に応じて、前記撮像画像を投影するために予め定義された基準立体座標系を変形させた変形立体座標系を設定するステップを実行し、
    　前記表示制御手段は、前記撮像画像のデータを前記変形立体座標系に投影し、仮想視点から移動体及び当該移動体の周囲を見た立体映像を生成するステップを実行し、
    　前記表示手段は、生成された立体映像を表示させるステップと、を実行する表示方法。
PCT/JP2014/080176 2014-11-14 2014-11-14 表示装置及び表示方法 WO2016075809A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016558523A JP6380550B2 (ja) 2014-11-14 2014-11-14 表示装置及び表示方法
PCT/JP2014/080176 WO2016075809A1 (ja) 2014-11-14 2014-11-14 表示装置及び表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/080176 WO2016075809A1 (ja) 2014-11-14 2014-11-14 表示装置及び表示方法

Publications (1)

Publication Number Publication Date
WO2016075809A1 true WO2016075809A1 (ja) 2016-05-19

Family

ID=55953922

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/080176 WO2016075809A1 (ja) 2014-11-14 2014-11-14 表示装置及び表示方法

Country Status (2)

Country Link
JP (1) JP6380550B2 (ja)
WO (1) WO2016075809A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018042148A (ja) * 2016-09-08 2018-03-15 アイシン精機株式会社 車両用画像処理装置
JP2018148314A (ja) * 2017-03-02 2018-09-20 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP2018152014A (ja) * 2017-03-15 2018-09-27 株式会社Ｓｕｂａｒｕ 車両用映像表示装置
JP2018160848A (ja) * 2017-03-23 2018-10-11 日産自動車株式会社 表示装置の制御方法および表示装置
JP2019509475A (ja) * 2016-02-02 2019-04-04 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 視覚慣性オドメトリおよび衛星測位システムの基準フレームのアラインメント
JP2020119492A (ja) * 2019-01-28 2020-08-06 パナソニックＩｐマネジメント株式会社 画像合成装置、及び、制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002359838A (ja) * 2001-03-28 2002-12-13 Matsushita Electric Ind Co Ltd 運転支援装置
JP2003274394A (ja) * 2002-03-12 2003-09-26 Denso Corp 車両周辺画像処理装置，プログラム及び記録媒体
JP2007249103A (ja) * 2006-03-20 2007-09-27 Zenrin Co Ltd 道路画像作成システム及び道路画像作成方法，及び道路画像合成装置
JP2008152424A (ja) * 2006-12-15 2008-07-03 Alpine Electronics Inc 画像表示装置
JP2010025632A (ja) * 2008-07-16 2010-02-04 Nippon Soken Inc 路面監視装置，サスペンション制御装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2004048895A1 (ja) * 2002-11-22 2006-03-23 財団法人くまもとテクノ産業財団 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
JP5898475B2 (ja) * 2011-11-28 2016-04-06 クラリオン株式会社 車載カメラシステム及びその較正方法、及びその較正プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002359838A (ja) * 2001-03-28 2002-12-13 Matsushita Electric Ind Co Ltd 運転支援装置
JP2003274394A (ja) * 2002-03-12 2003-09-26 Denso Corp 車両周辺画像処理装置，プログラム及び記録媒体
JP2007249103A (ja) * 2006-03-20 2007-09-27 Zenrin Co Ltd 道路画像作成システム及び道路画像作成方法，及び道路画像合成装置
JP2008152424A (ja) * 2006-12-15 2008-07-03 Alpine Electronics Inc 画像表示装置
JP2010025632A (ja) * 2008-07-16 2010-02-04 Nippon Soken Inc 路面監視装置，サスペンション制御装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019509475A (ja) * 2016-02-02 2019-04-04 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 視覚慣性オドメトリおよび衛星測位システムの基準フレームのアラインメント
JP2018042148A (ja) * 2016-09-08 2018-03-15 アイシン精機株式会社 車両用画像処理装置
JP2018148314A (ja) * 2017-03-02 2018-09-20 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP2018152014A (ja) * 2017-03-15 2018-09-27 株式会社Ｓｕｂａｒｕ 車両用映像表示装置
JP2018160848A (ja) * 2017-03-23 2018-10-11 日産自動車株式会社 表示装置の制御方法および表示装置
JP2020119492A (ja) * 2019-01-28 2020-08-06 パナソニックＩｐマネジメント株式会社 画像合成装置、及び、制御方法

Also Published As

Publication number Publication date
JP6380550B2 (ja) 2018-08-29
JPWO2016075809A1 (ja) 2017-08-17

Similar Documents

Publication Publication Date Title
JP6380550B2 (ja) 表示装置及び表示方法
US10179588B2 (en) Autonomous vehicle control system
US11151741B2 (en) System and method for obstacle avoidance
AU2015238768B2 (en) Motion estimation in real-time visual odometry system
US10508923B2 (en) Vehicle position estimation device, vehicle position estimation method
EP2348279B1 (en) Road measurement device and method for measuring road
WO2018131090A1 (ja) 車両制御装置、車両制御方法、および車両制御プログラム
AU2015234395A1 (en) Real-time range map generation
WO2017081921A1 (ja) 車輪の滑り角推定装置及びその方法
JP6020729B2 (ja) 車両位置姿勢角推定装置及び車両位置姿勢角推定方法
JPWO2014091877A1 (ja) 移動物体位置姿勢角推定装置及び移動物体位置姿勢角推定方法
WO2018061084A1 (ja) 自己位置推定方法及び自己位置推定装置
CN108367710B (zh) 俯瞰影像生成装置、俯瞰影像生成系统、以及存储介质
JP2019018743A (ja) 軌跡推定方法及び軌跡推定装置
JP6985089B2 (ja) 立体物接地判定装置
KR102464581B1 (ko) 스테레오 점군 처리장치 및 그 방법
JP2019102007A (ja) 勾配推定装置、勾配推定方法、プログラムおよび制御システム
JP7063856B2 (ja) 表示制御装置
JP6044084B2 (ja) 移動物体位置姿勢推定装置及び方法
JP6965152B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP7081098B2 (ja) 走行環境認識装置、走行環境認識方法、プログラム
Li et al. Pitch angle estimation using a Vehicle-Mounted monocular camera for range measurement
JP2015215299A (ja) 対象物位置推定装置
US11607999B2 (en) Method and apparatus for invisible vehicle underbody view
JP6959032B2 (ja) 位置推定装置、移動装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14905950

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016558523

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14905950

Country of ref document: EP

Kind code of ref document: A1