WO2022070618A1 - 画像処理装置および画像表示装置 - Google Patents

画像処理装置および画像表示装置 Download PDF

Info

Publication number
WO2022070618A1
WO2022070618A1 PCT/JP2021/029499 JP2021029499W WO2022070618A1 WO 2022070618 A1 WO2022070618 A1 WO 2022070618A1 JP 2021029499 W JP2021029499 W JP 2021029499W WO 2022070618 A1 WO2022070618 A1 WO 2022070618A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image
information
driver
composite
Prior art date
Application number
PCT/JP2021/029499
Other languages
English (en)
French (fr)
Inventor
虎喜 岩丸
崚 武智
Original Assignee
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 本田技研工業株式会社 filed Critical 本田技研工業株式会社
Priority to JP2022553516A priority Critical patent/JP7377372B2/ja
Publication of WO2022070618A1 publication Critical patent/WO2022070618A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/042Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles providing simulation in a real vehicle
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/052Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles characterised by provision for recording or measuring trainee's performance
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/058Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles for teaching control of cycles or motorcycles

Definitions

  • the present invention mainly relates to an image processing device.
  • Patent Document 1 describes an image processing technique in which a virtual viewpoint is provided on an image showing a state of the vehicle and its surroundings, and the image can be visually recognized while changing the virtual viewpoint.
  • Patent Document 1 shows anti-theft as an example of the use of such a technique.
  • An exemplary object of the present invention is to make it possible to diversify the uses of images obtained by the above image processing technology relatively easily.
  • One aspect of the present invention relates to an image processing device, and the image processing device is an information acquisition means for acquiring driver attitude information indicating the attitude of the driver of a vehicle and vehicle state information indicating the state of the vehicle.
  • a first composite image is generated by superimposing a first driver image based on the driver attitude information and a first vehicle image based on the vehicle state information on a certain vehicle and its driver.
  • a second driver image based on the driver attitude information and a second vehicle based on the vehicle state information about the image generation means of 1, the vehicle traveling independently of the certain vehicle, and the driver thereof.
  • a second image generation means for superimposing an image to generate a second composite image and an associating means for associating the first composite image with the second composite image based on predetermined information are provided. It is characterized by.
  • the schematic diagram which shows the configuration example of an image display system The schematic diagram which shows the structural example of a vehicle. A flowchart showing an example of an image processing method.
  • the schematic diagram which shows the driver image Schematic diagram showing a vehicle image.
  • Schematic diagram showing a composite image The figure which shows the example of the composite image in a certain virtual viewpoint.
  • the schematic diagram which shows the other configuration example of an image display system The schematic diagram which shows the other configuration example of an image display system.
  • FIG. 1 is a schematic diagram showing a configuration example of an image display system SY according to an embodiment.
  • the image display system SY includes a vehicle 1, an image processing device 2, and a terminal 3, and in the present embodiment, these are capable of intercommunication via the network N.
  • Vehicle 1 is a saddle-mounted vehicle in this embodiment.
  • the saddle-type vehicle refers to a type in which the driver rides across the vehicle body, and the concept includes a typical two-wheeled vehicle (including a scooter type vehicle) and a three-wheeled vehicle (one front wheel and rear). Two-wheeled or front-two-wheeled and rear-one-wheeled vehicles), all-terrain vehicles (ATVs) such as four-wheeled buggies, and the like are also included.
  • the vehicle 1 may be a passenger type vehicle.
  • the vehicle 1 includes an image pickup device 11A, an image pickup device 11B, a vehicle state detection device 12, a vehicle position identification device 13, and a communication device 14.
  • a plurality of image pickup devices 11A are provided in the peripheral portion of the vehicle body so as to be able to capture an image showing the state around the vehicle 1, and the plurality of image pickup devices 11A are the imaging regions thereof. Is provided so as to include the entire area around the vehicle 1. That is, the plurality of image pickup devices 11A are provided so that the image pickup regions of the two image pickup devices 11A adjacent to each other partially overlap each other.
  • the directivity direction of the image pickup apparatus 11A is schematically shown by a broken line, but the actual detection range of the image pickup apparatus 11A is wider than that shown in the figure.
  • the image pickup device 11B is provided in front of and behind the driver's seat so that the driver can be imaged from the front and the rear respectively.
  • the directivity direction of the image pickup device 11B is schematically shown by a broken line, but the actual detection range of the image pickup device 11B is wider than that shown in the figure. Details will be described later, but this makes it possible to image the posture (including behavior, etc.) and the appearance (including clothing, etc.) of the driver.
  • a known camera composed of a CCD / CMOS image sensor or the like may be used for the image pickup devices 11A and 11B.
  • a monocular camera is used in order to reduce the cost required for the image pickup devices 11A and 11B.
  • the vehicle state detection device 12 is provided at each part of the vehicle body so that the state of the vehicle 1 can be detected.
  • the state of the vehicle 1 includes the vehicle speed, the steering angle (or steering angle), the posture of the vehicle body, and the state of the lamp body (headlight, taillight, winker, etc.).
  • the vehicle state detection device 12 may be expressed as a state detection device or simply a detection device.
  • Vehicle speed is detected, for example, based on the number of wheel revolutions per unit time, which can be achieved by using a known speed sensor.
  • the steering angle is detected, for example, based on the orientation of the steering wheel with respect to the vehicle body (or the orientation of the handlebar with respect to the vehicle body), which can be achieved by using a known steering angle sensor.
  • the posture of the vehicle body is detected, for example, based on the orientation of the vehicle body with respect to the direction of gravity, which can be achieved by using a known acceleration sensor.
  • the state of the lamp body is detected based on, for example, the conduction state of the light source, which can be realized by using a known ammeter.
  • the vehicle position specifying device 13 specifies the position of the vehicle 1 on the traveling path.
  • the travel path indicates the road on which the vehicle 1 is actually traveling, and the vehicle position specifying device 13 indicates the position of the vehicle 1 on the map data.
  • a GPS (Global Positioning System) sensor can be typically used as the vehicle position specifying device 13.
  • the vehicle position specifying device 13 may be expressed as a position specifying device or simply a specifying device.
  • the communication device 14 transmits the image pickup result by the image pickup devices 11A and 11B, the detection result by the vehicle state detection device 12, and the identification result by the vehicle position identification device 13 to the image processing device 2 via the network N.
  • the communication device 14 may be expressed as a transmission / reception device or the like, or may be simply referred to as a transmission device in the present embodiment.
  • the image pickup result by the image pickup apparatus 11A shows information indicating the state around the vehicle 1 (hereinafter referred to as vehicle peripheral information 90A).
  • vehicle peripheral information 90A is image information or image data.
  • the image pickup result by the image pickup apparatus 11B shows information indicating the posture of the driver (hereinafter referred to as driver posture information 90B).
  • the driver posture information 90B is image information or image data.
  • the detection result by the vehicle state detection device 12 shows information indicating the state of the vehicle 1 (hereinafter referred to as vehicle state information 90C).
  • vehicle state information 90C is a signal group indicating the vehicle speed, the steering angle, the posture of the vehicle body, and the state of the lamp body.
  • the identification result by the vehicle position specifying device 13 indicates information indicating the position of the vehicle 1 on the traveling path (hereinafter referred to as vehicle position information 90D).
  • vehicle position information 90D can be acquired based on GPS, and is a signal group indicating coordinates on map data.
  • the above-mentioned information 90A to 90D are transmitted from the vehicle 1 to the image processing device 2 via the network N, as shown in FIG.
  • the image processing device 2 includes a communication unit 21 and a calculation unit 22.
  • the communication unit 21 enables the image processing device 2 to communicate with each of the vehicle 1 and the terminal 3 via the network N.
  • the calculation unit 22 performs predetermined calculation processing including image processing, although the details will be described later.
  • the arithmetic unit 22 is a processor including a CPU and a memory, and its function is realized by executing a predetermined program. That is, this program may be read out via a network or storage medium and executed on a computer.
  • the arithmetic unit 22 may be composed of a semiconductor device such as a PLD (programmable logic device) or an ASIC (semiconductor integrated circuit for a specific application). That is, the function of the arithmetic unit 22 can be realized by either hardware or software.
  • a semiconductor device such as a PLD (programmable logic device) or an ASIC (semiconductor integrated circuit for a specific application). That is, the function of the arithmetic unit 22 can be realized by either hardware or software.
  • the terminal 3 is a mobile terminal (for example, a smartphone) in the present embodiment, and includes a communication unit 31, an operation unit 32, and a display unit 33.
  • the user of the terminal 3 may be the driver of the vehicle 1 or a third party different from the driver.
  • the communication unit 31 enables the terminal 3 to communicate with the image processing device 2 via the network N.
  • the operation unit 32 can receive an operation input by a user, and a known operation panel such as a touch sensor type operation panel or a button / switch type operation panel can be used for the operation unit 32.
  • the display unit 33 can display an image, and a known display such as a liquid crystal display or an organic EL display can be used for the display unit 33.
  • the operation unit 32 and the display unit 33 are integrally provided (touch panel type display), but may be individually provided as another embodiment.
  • the vehicle 1 can communicate with the image processing device 2, and the image pickup result by the image pickup devices 11A and 11B, the detection result by the vehicle state detection device 12, and the detection result by the vehicle state detection device 12 and the like.
  • the identification result by the vehicle position specifying device 13 is transmitted to the image processing device 2.
  • the image processing device 2 performs predetermined image processing by the calculation unit 22 to generate a composite image (hereinafter referred to as a composite image 90X), and transmits the composite image 90X to the terminal 3.
  • the terminal 3 functions as an image display device, and the user can visually recognize the composite image 90X on the display unit 33 while inputting an operation to the operation unit 32 using the terminal 3.
  • FIG. 3 is a flowchart showing an example of an image processing method for generating a composite image 90X.
  • the content of this flowchart is mainly executed by the calculation unit 22, and the outline thereof is that the composite image 90X is generated based on the above-mentioned information 90A to 90D.
  • this flowchart is executed after the vehicle 1 is used (when the vehicle is not running), it may be executed when the vehicle 1 is used (when the vehicle is running).
  • step S1000 vehicle peripheral information 90A is acquired.
  • the vehicle peripheral information 90A is obtained by the plurality of image pickup devices 11A, and the plurality of image pickup devices 11A are provided in the vehicle body peripheral portion so that the image pickup region thereof includes the entire area around the vehicle 1.
  • the vehicle peripheral information 90A shows the state of the entire area around the vehicle 1 and can be obtained as image information or image data showing a so-called panoramic view (360-degree panoramic view).
  • panoramic view 360-degree panoramic view
  • an image showing the state around the vehicle 1 corresponding to the vehicle peripheral information 90A is generated as the vehicle peripheral image 90P. Therefore, the image processing using the vehicle peripheral information 90A can be performed relatively easily by using the spherical coordinate system.
  • the driver posture information 90B is acquired.
  • the driver posture information 90B is obtained by a pair of image pickup devices 11B provided in front of and behind the driver's seat, and the pair of image pickup devices 11B are provided so that the driver can be imaged from the front and the rear. .. Therefore, the driver posture information 90B is obtained as image information or image data showing the driver's driving mode such as the driver's posture (in the case of a still image) and behavior (in the case of a moving image), and is incidentally obtained as an appearance (for example, in the case of a moving image). , Skeleton, clothing (wear, helmet, etc.)) may be further indicated.
  • an image of the driver corresponding to the driver posture information 90B is generated as the driver image 90Q. Therefore, the image processing for the driver posture information 90B can be performed relatively easily by using a three-dimensional coordinate system based on a predetermined human body model.
  • the vehicle state information 90C is acquired.
  • the vehicle state information 90C is obtained by the vehicle state detection device 12 provided at each part of the vehicle body so that the state of the vehicle 1 can be detected, and the state of the vehicle 1 is the vehicle speed, the steering angle, and the posture of the vehicle body. , And the state of the lamp body.
  • an image of the vehicle 1 corresponding to the vehicle state information 90C is generated as the vehicle image 90R. Therefore, the image processing for the vehicle image 90R can be performed relatively easily by using the three-dimensional coordinate system based on the corresponding vehicle model.
  • images 90P to 90R are generated based on the above information 90A to 90C, respectively. That is, the vehicle peripheral image 90P is generated based on the vehicle peripheral information 90A, the driver image 90Q is generated based on the driver posture information 90B, and the vehicle image 90R is generated based on the vehicle state information 90C.
  • the images 90P, 90Q and 90R are superposed to generate a composite image 90X.
  • the vehicle peripheral image 90P is processed in the spherical coordinate system
  • the driver image 90Q and the vehicle image 90R are processed in the three-dimensional coordinate system.
  • the three-dimensional coordinate system is typically a distance x in the vehicle body front-rear direction from the coordinate center to the target, a distance y in the vehicle body left-right direction from the coordinate center to the target, and a vehicle body up / down from the coordinate center to the target. It can be expressed in coordinates (x, y, z) using the distance z in the direction.
  • the spherical coordinate system is typically a distance r from the coordinate center to the target, an angle ⁇ formed by a line passing between the coordinate center and the target and the vertical direction of the vehicle body, and a line passing between the coordinate center and the target. It can be indicated by coordinates (r, ⁇ , ⁇ ) using the angle ⁇ formed by the vehicle body front-rear direction.
  • FIG. 4A is a schematic diagram showing a vehicle peripheral image 90P.
  • the vehicle peripheral image 90P is processed by the spherical coordinate system and is drawn at a position r from the coordinate center.
  • the vehicle peripheral image 90P as a panoramic view is drawn on the inner wall of a sphere having a radius r.
  • the above r may be set so as to be located outside the vehicle 1.
  • FIG. 4B is a schematic diagram showing a driver image 90Q.
  • the driver image 90Q is processed in a three-dimensional coordinate system, for example, based on a predetermined human body model, head, shoulders, torso (chest and abdomen), waist, arms (upper arm and forearm), hands. Parts, legs (thighs and lower legs), feet, etc. can be depicted. Concomitantly, clothing may be further depicted.
  • FIG. 4C is a schematic diagram showing a vehicle image 90R.
  • the vehicle image 90R is processed in a three-dimensional coordinate system, and for example, an image of the vehicle 1 in a state based on the vehicle state information 90C (information indicating the vehicle speed, steering angle, posture of the vehicle body, and the state of the lamp body) is depicted. Can be done. For example, for the vehicle 1 in cornering, the vehicle image 90R can be depicted with the vehicle body tilted.
  • the image pickup results by the image pickup devices 11A and 11B may be corrected according to the degree of inclination of the vehicle body. For example, when the vehicle peripheral image 90P is acquired by the image pickup apparatus 11A while the vehicle body is tilted at the inclination angle ⁇ 1, the image 90P can be rotated by the angle ⁇ 1.
  • the correction processing for the image pickup results by the image pickup devices 11A and 11B may be performed in the image processing device 2, or may be performed in the vehicle 1.
  • FIG. 4D is a schematic diagram showing a composite image 90X.
  • the images 90P to 90R may be combined so that the coordinate centers, distances, and directions match.
  • the center of coordinates is a position directly above the seat in this embodiment, but as another embodiment, it may be at another position (for example, any position of the vehicle body).
  • the vehicle position information 90D is acquired, and the composite images 90X, the images 90P to 90R constituting them, and the information 90A to 90C for generating them are used.
  • the vehicle position information 90D indicating the position of the vehicle 1 on the traveling path is given.
  • the composite image 90X (or the information 90A to 90C and / or the images 90P to 90R used in the process of its generation) is used in another composite image 90X (or the process of its generation).
  • Information 90A to 90C and / or images 90P to 90R) can be associated with the information.
  • the composite image 90X is transmitted to the terminal 3.
  • the user of the terminal 3 can display the composite image 90X on the display unit 33 from a viewpoint from an arbitrary position (hereinafter referred to as a virtual viewpoint) by inputting an operation to the operation unit 32.
  • the user can also zoom in or out of the composite image 90X by inputting an operation to the operation unit 32.
  • the calculation unit 22 functions as an information acquisition unit for acquiring vehicle peripheral information 90A, driver posture information 90B, and vehicle state information 90C.
  • the calculation unit 22 functions as an image generation unit that generates a vehicle peripheral image 90P, a driver image 90Q, and a vehicle image 90R, and superimposes these images 90P to 90R to generate a composite image 90X.
  • the calculation unit 22 functions as an association unit that correlates a certain composite image 90X with any one of a plurality of composite images 90X generated in the past by using the vehicle position information 90D. .. Further, in S1060, the calculation unit 22 functions as a transmission unit for transmitting the composite image 90X.
  • the acquisition of the information 90A to 90D means that the CPU of the arithmetic unit 22 reads the information 90A to 90D from the memory, and the image processing device 2 refers to the information 90A before S1000.
  • ⁇ 90D can be received collectively from the vehicle 1.
  • FIG. 5A shows an example of a composite image 90X in the case of a touch panel display in which an operation unit 32 and a display unit 33 are integrally provided
  • FIG. 5B shows another example of the composite image 90X (a virtual viewpoint different from that of FIG. 5A).
  • Example of the composite image 90X in the above is shown.
  • the display unit 33 displays icons 8a and 8b for changing the virtual viewpoint, icons 8c for zooming in, and icons 8d for zooming out as a part of the operation unit 32.
  • the user can visually recognize the state of the vehicle 1 and its surroundings from a desired virtual viewpoint by performing predetermined operation inputs (for example, tap operation, swipe operation, flick operation, etc.) to these icons 8a and the like. It will be possible.
  • the size of the vehicle image 90R in the composite image 90X is changed, and the size of the driver image 90Q is also changed accordingly, so that the appearance of the composite image 90X due to the change is changed.
  • the discomfort of closing may be reduced.
  • the size of the vehicle peripheral image 90P in the composite image 90X may be maintained when the virtual viewpoint is changed.
  • the vehicle peripheral image 90P can be clearly displayed by using the image pickup apparatus 11A having a relatively large number of pixels.
  • the images 90P to 90R are required to show the state at substantially the same time. Therefore, the vehicle position information 90D is added to the images 90P to 90R and the information 90A to 90C for generating them in the present embodiment.
  • the images 90P to 90R and the information 90A to 90C are timed (at what timing the image was captured or at what timing the image was generated based on the acquired information).
  • the indicated attribute information may be associated.
  • the three-dimensional coordinate system can be typically represented by coordinates (x, y, z), and the spherical coordinate system can be typically represented by coordinates (r, ⁇ , ⁇ ). Therefore, as another embodiment, the driver image 90Q and the vehicle image 90R may be processed in the spherical coordinate system as in the vehicle peripheral image 90P by using a known coordinate transformation. Alternatively, the vehicle peripheral image 90P may be processed in the three-dimensional coordinate system as in the driver image 90Q and the vehicle image 90R.
  • a monocular camera is used as the image pickup apparatus 11A, but a compound eye camera can be used instead.
  • the image pickup target can be imaged together with the distance information, so that the vehicle peripheral image 90P can be processed in the three-dimensional coordinate system relatively easily.
  • the user for example, the driver
  • the composite image 90X can be used for various purposes, and as an example, it can also be used for practicing driving operations.
  • FIG. 7 is a schematic diagram showing a management mode of the composite image 90X obtained as described above.
  • the composite image 90X is managed for each identifier that can be distinguished by, for example, the vehicle 1, its driver, and the like, and is stored in the database DB for each identifier.
  • a moving image showing a traveling mode by a certain vehicle 1a and a certain driver Ua is stored in the database DBaa as a plurality of composite images 90X.
  • the moving image showing the traveling mode by a certain vehicle 1a and another driver Ub is stored in the database DBab as a plurality of composite images 90X.
  • the moving image showing the driving mode by the other vehicle 1b and a certain driver Ua is stored in the database DBba as a plurality of composite images 90X. Further, the moving image showing the driving mode by the other vehicle 1b and the other driver Ub is stored in the database DBbb as a plurality of composite images 90X.
  • the above database DBaa and the like can be managed for each identifier, but in the following, it is simply referred to as a database DB.
  • the number of composite images 90X stored in each database DB typically follows the quantity according to the time and frame rate of the moving image.
  • the arithmetic unit 22 can synthesize any two of the composite images 90X stored in the database DB, which correspond to different identifiers, for comparison.
  • the arithmetic unit 22 uses a composite image corresponding to a certain identifier (referred to as “composite image 91X” for distinction) and a composite image corresponding to another identifier (referred to as “composite image 92X” for distinction). ) And, can be superimposed to generate a composite image 93X for comparison.
  • the comparative composite image 93X may be displayed on the display unit 33 so that the portion is emphasized.
  • the emphasized portion may be displayed on at least one of the composite image 91X and the composite image 92X in the comparative composite image 93X.
  • known aspects such as coloring and highlighting of contours can be adopted. According to such a display mode, it is possible to make it easier for the user to visually recognize the difference between the composite images 91X and 92X.
  • the composite image 91X is a vehicle peripheral image (referred to as "vehicle peripheral image 91P” for distinction), a driver image (referred to as “driver image 91Q” for distinction), and a vehicle image (referred to as “driver image 91Q” for distinction).
  • Vehicle image 91R ”) and are superimposed. Further, for distinguishing the vehicle peripheral information, the driver attitude information, and the vehicle state information for generating the images 91P, 91Q, and 91R, respectively, “vehicle peripheral information 91A”, “driver attitude information 91B", and “driver attitude information 91B”, respectively. Vehicle status information 91C “. Further, “vehicle position information 91D” is used to distinguish the composite images 91X, the images 91P to 91R constituting them, and the vehicle position information given to the information 91A to 91C for generating them. And.
  • the composite image 92X is a vehicle peripheral image (referred to as “vehicle peripheral image 92P” for distinction), a driver image (referred to as “driver image 92Q” for distinction), and a vehicle image (referred to as “driver image 92Q” for distinction) and a vehicle image (referred to as “driver image 92Q” for distinction).
  • Vehicle image 92R ”) and are superimposed. Further, for the purpose of distinguishing the vehicle peripheral information, the driver attitude information and the vehicle state information for generating the images 92P, 92Q and 92R, respectively, “vehicle peripheral information 92A”, “driver attitude information 92B” and “driver attitude information 92B”, respectively. Vehicle status information 92C ”. Further, “vehicle position information 92D” is used to distinguish the composite images 92X, the images 92P to 92R constituting them, and the vehicle position information given to the information 92A to 92C for generating them. And.
  • the comparative composite image 93X is generated by synthesizing the composite images 91X and 92X when the vehicle position information 91D and 92D indicate the same position.
  • a certain vehicle 1a and its driver Ua, and the vehicle 1b and its driver Ub traveling independently of the vehicle 1a are arranged side by side (parallel running). It can be displayed on a single screen (when it is turned on).
  • the background image of the comparative composite image 93X is formed by the vehicle peripheral images 91P and 92P, but both the images 91P and 92P are unnecessary for forming the background image. .. Therefore, when generating the comparative composite image 93X, one of the images 91P and 92P is omitted as shown in FIG. 8 as “91P / 92P”, and for example, the image 91P can be adopted as the background image.
  • the vehicle peripheral image 90P may be omitted in S1040 (see FIG. 3) that generates the composite image 90X.
  • the vehicle peripheral image 91P is omitted when the composite image 91X is generated
  • the vehicle peripheral image 92P is omitted when the composite image 92X is generated
  • one of the images 91P and 92P is generated when the comparative composite image 93X is generated.
  • the calculation unit 22 can switch from one of the vehicle peripheral images 91P and 92P to the other when forming the background image of the comparative composite image 93X, and the background image can be arbitrarily selected.
  • both the vehicle peripheral images 91P and 92P may be omitted when the comparative composite image 93X is generated.
  • another image different from the images 91P and 92P for example, a monochromatic image, an image showing a landscape of another area, a virtual reality image, etc.
  • the background image used as the vehicle peripheral image does not have to be an image that actually shows the state around the vehicle 1.
  • the calculation unit 22 can generate two or more vehicle peripheral images including the vehicle peripheral images 91P and 92P, and when generating the comparative composite image 93X, the background image is used as the background image of the two or more vehicle peripherals. It is possible to switch from one of the images to the other. As a result, any one of the two or more vehicle peripheral images can be used as the background image.
  • FIG. 9 is a schematic diagram showing a composite image 93X for comparison.
  • a certain traveling mode e1 and a traveling mode e2 independent of the traveling mode e1 are displayed side by side / superimposed on a single screen on the display unit 33 of the terminal 3.
  • Aspect e1 shows, for example, a running mode based on the database DBaa (driving mode of the vehicle 1a and its driver Ua).
  • Aspect e2 shows, for example, a driving mode based on the database DBbb (driving mode of the vehicle 1b and its driver Ub that traveled independently of the vehicle 1a).
  • the driver Ua can compare his / her own driving operation with the driving operation of the driver Ub by referring to the comparative composite image 93X as the user of the terminal 3, and is utilized for practicing the driving operation. It will be possible.
  • the image processing device 2 (mainly the calculation unit 22) acquires the driver posture information 91B and 92B, the vehicle state information 91C and 92C, and the vehicle position information 91D and 92D.
  • the image processing device 2 superimposes the driver image 91Q based on the driver posture information 91B and the vehicle image 91R based on the vehicle state information 91C to generate a composite image 91X for a certain vehicle and its driver.
  • the image processing device 2 obtains a driver image 92Q based on the driver attitude information 92B and a vehicle image 92R based on the vehicle state information 92C for the vehicle traveling independently of the certain vehicle and its driver.
  • the composite image 92X is generated by superimposing the images.
  • the image processing device 2 bases the composite image 91X and the composite image 92X based on the vehicle position information 91D for the certain vehicle and the vehicle position information 92D for the vehicle traveling independently of the certain vehicle. To associate with.
  • the two driving modes can be compared on a single screen (typically in a moving image) based on the composite images 91X and 92X.
  • the composite images 91X and 92X are transmitted to the terminal 3, and the above two traveling modes are displayed on a single screen as the comparative composite image 93X in the terminal 3.
  • the user can refer to the comparative composite image 93X in which the composite image 91X showing its own running mode and the composite image 92X showing another running mode are superimposed and displayed.
  • Image 93X can be used for practicing driving operations.
  • the comparative composite image 93X has a traveling mode of a certain vehicle 1a and its driver Ua, and a traveling mode of the vehicle 1b and its driver Ub traveling independently of the vehicle 1a.
  • An example of displaying them side by side see FIG. 7).
  • the two traveling modes displayed side by side in the comparative composite image 93X may be vehicles 1 traveling independently of each other, and need not be vehicles and / or drivers different from each other. That is, the vehicles 1 to be compared may be different vehicles that have traveled substantially at the same time, or may be the same vehicle that has traveled in different periods.
  • the user can compare his / her own driving mode with the driving mode of another person, and can also compare his / her current driving mode with his / her past driving mode.
  • the user has his / her current or past driving mode when using a certain vehicle (for example, vehicle 1a) and his / her current or past driving mode when using another vehicle (for example, vehicle 1b). It is also possible to compare. Therefore, the management of the composite image 90X described with reference to FIG. 7 may be performed for the traveling performed independently of each other, and the identifier required for the management is the vehicle 1, its driver, and the traveling. It can be decided based on various attribute information such as the time zone and the place of travel.
  • the vehicle position information 91D and 92D when the vehicle position information 91D and 92D indicate the same position, they are combined assuming that the composite images 91X and 92X are traveling at substantially the same position. A composite image 93X for comparison is generated. Therefore, the vehicle position information 91D and 92D may indicate the same position at least in the vehicle body front-rear direction (traveling direction of the vehicle 1).
  • the two traveling modes e1 and e2 displayed side by side in the comparative composite image 93X may be displayed close to each other so as to be appropriately comparable to the user who refers to them. It may be preferable. Therefore, in the comparative composite image 93X, the distance between the traveling modes e1 and e2 (distance in the left-right direction of the vehicle body) may be fixed so as to be specified by the user. In this case, on the moving image, the traveling modes e1 and e2 are displayed so that the distance between them is constant.
  • the distance between the traveling modes e1 and e2 can be arbitrarily set by the user, for example, 0 to 1 [m (meter)].
  • the distance between the traveling modes e1 and e2 is 0 [m (meter)]
  • they are displayed overlapping.
  • the user who refers to the traveling modes e1 and e2 can compare the differences in detail.
  • the difference between the traveling modes e1 and e2 may be visually displayed on the display unit 33 of the terminal 3 by characters, symbols, icons and the like for notifying the user of the difference.
  • a guide eg, audio guide
  • indicating the above difference by sound may be attached.
  • the display of the comparative composite image 93X may be partially omitted based on the user's request, that is, of the composite images 91X and 92X forming the comparative composite image 93X, the driver images 91Q and 92Q, and , Vehicle images 91R and 92R, may be partially omitted.
  • the user can compare the inclination of the vehicle body at the time of cornering of the vehicle 1.
  • the driver images 91Q and 92Q are displayed and the vehicle images 91R and 92R are omitted, the user can compare the postures of the driver when the vehicle 1 is cornering.
  • the posture of the vehicle body and / or the driver may change depending on the vehicle speed of the vehicle 1 and the curvature of the cornering (turning radius). Therefore, the composite image 92X that can be associated with the composite image 91X may be limited based on predetermined conditions, for example, based on the vehicle speed, the place of travel, and the like.
  • the embodiment in which the user utilizes the comparative composite image 93X for practicing the driving operation is exemplified, but the use thereof is not limited to the embodiment exemplified here.
  • the content of the embodiment can be applied to generate a virtual motorcycle race moving image by generating CG (computer graphics) showing an embodiment in which a plurality of vehicles 1 are traveling substantially simultaneously.
  • the vehicle position information 91D and 92D may allow a predetermined amount of positional deviation in the front-rear direction of the vehicle body. This permissible range can be arbitrarily set by the user, for example, 0 to 5 [m (meters)].
  • the quantity of the composite image 90X required to generate the comparative composite image 93X may be 3 or more, and the comparative composite image 93X may be a composite image for viewing, a composite image for advertisement, or simply a composite. It may be paraphrased in various expressions such as images.
  • the driver images 91Q and 92Q may not reflect the posture of the driver, and the driver posture information 91B and 92B may be simply expressed as the driver information.
  • the function of the image processing device 2 is realized in a place different from the vehicle 1 (for example, a server), and the display of the composite image 90X and the change of the virtual viewpoint are performed by the terminal 3.
  • the vehicle 1 for example, a server
  • the display of the composite image 90X and the change of the virtual viewpoint are performed by the terminal 3.
  • it is not limited to this aspect.
  • FIG. 6A shows a configuration example of the image display system SYa.
  • the image processing device 2 is mounted on the vehicle 1.
  • the transmission of the composite image 90X from the vehicle 1 to the terminal 3 may be performed via the network N, or may be performed by a known communication means (for example, blue t Albany Moderator Th (registered trademark)).
  • FIG. 6B shows a configuration example of the image display system SYb.
  • the image processing device 2 is provided in the terminal 3. That is, the terminal 3 may receive the information 90A to 90D from the vehicle 1 via the network N or the like, generate a composite image 90X based on the information 90A to 90D, and display the information 90A to the display unit 33.
  • the terminal 3 may be an in-vehicle monitor (for example, a car navigation system). In this case, the driver can visually recognize the state of the surroundings from a desired virtual viewpoint while driving the vehicle 1.
  • a car navigation system for example, a car navigation system
  • each element is shown by a name related to its functional aspect, but each element is not limited to the one having the contents described in the embodiment as the main function. However, it may be provided as an auxiliary.
  • the first aspect relates to an image processing device (for example, 2), in which the image processing device includes driver information (for example, 90B, 91B, 92B) indicating the driver of the vehicle and vehicle state information (for example, 90B, 91B, 92B) indicating the state of the vehicle.
  • driver information for example, 90B, 91B, 92B
  • vehicle state information for example, 90B, 91B, 92B
  • an information acquisition means for example, S1010, S1020, S1050 for acquiring 90C, 91C, 92C
  • a first driver image for example, 91Q
  • a first image generation means (for example, S1040) that superimposes a first vehicle image (for example, 91R) based on the vehicle state information to generate a first composite image (for example, 91X), and the certain vehicle.
  • a second driver image for example, 92Q
  • a second vehicle image for example, 92R
  • a second image generation means (for example, S1040) that generates a second composite image (for example, 92X) and an association means (for example, for example) that associates the first composite image with the second composite image based on predetermined information. S1050) and.
  • the traveling mode of a certain first vehicle and the traveling mode of the second vehicle traveling independently of the first vehicle are unified. It can be made comparable on the screen (typically in a video).
  • the first and second vehicles may be the same vehicles that have traveled independently of each other, may be the same vehicle that has traveled in different periods, or may be different vehicles that have traveled substantially at the same time. good.
  • the vehicle state information includes information indicating the vehicle speed, the steering angle, the posture of the vehicle body, and / or the state of the lamp body.
  • the first and second vehicle images can show the vehicle speed, the steering angle, the posture of the vehicle body, and / or the state of the lamp body.
  • the information acquisition means further acquires vehicle position information (for example, 90D, 91D, 92D) indicating the position of the vehicle on the travel path, and the predetermined information is the vehicle for the certain vehicle. It is characterized in that it is the position information and the vehicle position information about a vehicle that has traveled independently of the certain vehicle. This makes it possible to appropriately associate the first and second composite images.
  • vehicle position information for example, 90D, 91D, 92D
  • the information acquisition means acquires the vehicle position information based on GPS (Global Positioning System). This makes it possible to display a vehicle and its driver, and a vehicle and its driver that traveled independently of the vehicle side by side (in parallel) on a single screen. Will be.
  • GPS Global Positioning System
  • the information acquisition means further acquires vehicle peripheral information (for example, 90A, 91A, 92A) indicating the state around the vehicle, and the image processing device is based on the vehicle peripheral information.
  • vehicle peripheral information for example, 90A, 91A, 92A
  • a third image generation means for example, S1000 for generating a vehicle peripheral image (for example, 90P, 91P, 92P) is further provided, and the predetermined information is the vehicle peripheral image. This makes it possible to display a certain vehicle and its driver, and a vehicle and its driver that travel independently of the certain vehicle, using the vehicle peripheral image as a background image.
  • the third image generation means has the vehicle peripheral image based on the vehicle peripheral information about the vehicle and the vehicle peripherals for the vehicle traveling independently of the vehicle. It is possible to generate two or more vehicle peripheral images including the information-based vehicle peripheral image, and the associating means may change the associated vehicle peripheral image from one of the two or more vehicle peripheral images to the other one. It is characterized by being able to switch to. As a result, any one of the two or more vehicle peripheral images can be used as the background image.
  • the third image generating means processes the vehicle peripheral image in a spherical coordinate system (see FIGS. 4A and 4D). It is characterized by that. This makes it possible to process the image around the vehicle relatively easily.
  • the first image generation means processes the first vehicle image in a three-dimensional coordinate system
  • the second image generation means processes the second vehicle image in a three-dimensional coordinate system.
  • the driver information is the driver posture information (for example, 90B, 91B, 92B) indicating the posture of the driver of the vehicle. This allows the user to compare the posture of the driver at the time of cornering, for example, based on the first and second composite images.
  • a tenth aspect relates to an image display device (for example, 3), wherein the image display device uses the above-mentioned image processing device (for example, 2), the first composite image, and the second composite image. It is provided with a display (for example, 33) for displaying a vehicle and its driver, and a vehicle and its driver traveling independently of the vehicle side by side or on top of each other on a single screen. It is a feature. This makes it possible to refer to the traveling mode of a certain first vehicle and the traveling mode of a second vehicle that has traveled independently of the first vehicle while comparing them.
  • the image processing apparatus displays on the display such that at least one of the first composite image and the second composite image emphasizes a portion where there is a difference of more than a reference between them. It is characterized by letting it. This makes it possible for the user to easily see the difference between the first composite image and the second composite image.
  • a twelfth aspect relates to an image display device (for example, 3), wherein the image display device is an image display device capable of communicating with the above-mentioned image processing device (for example, 2), and is the first composite image and the first composite image. It is characterized by comprising a display (for example, 33) for displaying two composite images side by side or on top of each other on a single screen. This makes it possible to refer to the traveling mode of a certain first vehicle and the traveling mode of a second vehicle that has traveled independently of the first vehicle while comparing them.
  • a thirteenth aspect is further provided with an operation unit (for example, 32) for receiving an operation input for changing the display content of the display to a viewpoint from an arbitrary position.
  • an operation unit for example, 32 for receiving an operation input for changing the display content of the display to a viewpoint from an arbitrary position.
  • the user can visually recognize the traveling modes of the first and second vehicles from any viewpoint.
  • the display and the operation unit are realized by a touch panel type display in which they are integrally configured, but as another embodiment, they may be configured separately.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

発明の一側面に係る画像処理装置は、車両の運転者の姿勢を示す運転者姿勢情報と、該車両の状態を示す車両状態情報とを取得する情報取得手段と、或る車両およびその運転者について、前記運転者姿勢情報に基づく第1の運転者画像と、前記車両状態情報に基づく第1の車両画像とを重ね合わせて第1の合成画像を生成する第1の画像生成手段と、前記或る車両とは独立して走行した車両およびその運転者について、前記運転者姿勢情報に基づく第2の運転者画像と、前記車両状態情報に基づく第2の車両画像とを重ね合わせて第2の合成画像を生成する第2の画像生成手段と、前記第1の合成画像と前記第2の合成画像とを所定情報に基づいて関連付ける関連付け手段と、を備える。

Description

画像処理装置および画像表示装置
 本発明は、主に画像処理装置に関する。
 特許文献1には、車両およびその周辺の様子を示す画像に仮想視点を設け、仮想視点を変更しながら該画像を視認可能とする画像処理技術が記載されている。特許文献1には、このような技術の用途の一例として盗難防止が示されている。
特開2015-76062号公報
 上記画像処理技術により得られる画像の用途の更なる多様化を図るのに際して、一層の技術改良が求められうる。
 本発明は、上記画像処理技術により得られる画像の用途の多様化を比較的簡便に実現可能とすることを例示的目的とする。
 本発明の一つの側面は画像処理装置に係り、前記画像処理装置は、車両の運転者の姿勢を示す運転者姿勢情報と、該車両の状態を示す車両状態情報とを取得する情報取得手段と、或る車両およびその運転者について、前記運転者姿勢情報に基づく第1の運転者画像と、前記車両状態情報に基づく第1の車両画像とを重ね合わせて第1の合成画像を生成する第1の画像生成手段と、前記或る車両とは独立して走行した車両およびその運転者について、前記運転者姿勢情報に基づく第2の運転者画像と、前記車両状態情報に基づく第2の車両画像とを重ね合わせて第2の合成画像を生成する第2の画像生成手段と、前記第1の合成画像と前記第2の合成画像とを所定情報に基づいて関連付ける関連付け手段と、を備えることを特徴とする。
 本発明によれば、上記画像処理技術により得られる画像の用途の多様化に有利となる。
 本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
 添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
画像表示システムの構成例を示す模式図。 車両の構成例を示す模式図。 画像処理方法の一例を示すフローチャート。 車両周辺画像を示す模式図。 運転者画像を示す模式図。 車両画像を示す模式図。 合成画像を示す模式図。 或る仮想視点における合成画像の例を示す図。 他の仮想視点における合成画像の例を示す図。 画像表示システムの他の構成例を示す模式図。 画像表示システムの他の構成例を示す模式図。 合成画像についての管理態様の一例を示す図。 比較用合成画像の生成方法の一例を示す図。 比較用合成画像の例を示す模式図。
 以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は請求の範囲に係る発明を限定するものでなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。
 (画像表示システムの一例)
 図1は、実施形態に係る画像表示システムSYの構成例を示す模式図である。画像表示システムSYは、車両1、画像処理装置2および端末3を備えており、本実施形態では、これらはネットワークNを介して相互通信可能とする。
 車両1は、本実施形態では鞍乗型車両とする。ここで、鞍乗型車両は、運転者が車体を跨いで乗車する型のものを指し、その概念には、典型的な二輪車(スクータ型車両を含む。)の他、三輪車(前一輪且つ後二輪、又は、前二輪且つ後一輪の車両)、四輪バギーのような全地形対応車(ATV)等も含まれる。尚、他の実施形態として、車両1は乗用型車両であってもよい。車両1は、撮像装置11A、撮像装置11B、車両状態検出装置12車両位置特定装置13および通信装置14を備える。
 図2に例示されるように、撮像装置11Aは、車両1周辺の様子を示す画像を撮像可能となるように、車体周辺部に複数設けられ、それら複数の撮像装置11Aは、それらの撮像領域が車両1周辺の全域を含むように設けられる。即ち、複数の撮像装置11Aは、互いに隣り合う2つの撮像装置11Aの撮像領域が部分的に互いに重なるように設けられる。図中には、撮像装置11Aの指向方向が破線により模式的に示されるが、撮像装置11Aの実際の検出範囲は図示されたものより広範なものとする。
 撮像装置11Bは、運転者を前方および後方のそれぞれから撮像可能となるように、運転者の座席の前後にそれぞれ設けられる。図中には、撮像装置11A同様、撮像装置11Bの指向方向が破線により模式的に示されるが、撮像装置11Bの実際の検出範囲は図示されたものより広範なものとする。詳細については後述とするが、これにより、運転者の姿勢(挙動等を含む。)および付随的に容姿(服装等を含む。)を撮像可能となる。
 撮像装置11A及び11Bには、CCD/CMOSイメージセンサ等で構成された公知のカメラが用いられればよい。尚、本実施形態では、一例として、撮像装置11A及び11Bに要するコストの低減のため、単眼カメラが用いられるものとする。
 再び図1を参照して、車両状態検出装置12は、車両1の状態を検出可能に車体の各部位に設けられる。車両1の状態は、本実施形態では、車速、転舵角(或いは操舵角)、車体の姿勢、及び、灯体(ヘッドライト、テールライト、ウィンカ等)の状態を含む。車両状態検出装置12は、状態検出装置あるいは単に検出装置と表現されてもよい。
 車速は、例えば、単位時間あたりの車輪の回転数に基づいて検出され、このことは、公知の速度センサを用いることにより実現可能である。転舵角は、例えば、車体に対する転舵輪の向き(或いは、車体に対するハンドルバーの向き)に基づいて検出され、このことは、公知の舵角センサを用いることにより実現可能である。車体の姿勢は、例えば、重力方向に対する車体の向きに基づいて検出され、このことは、公知の加速度センサを用いることにより実現可能である。また、灯体の状態は、例えば、光源の導通状態に基づいて検出され、このことは、公知の電流計を用いることにより実現可能である。
 車両位置特定装置13は、走行路における車両1の位置を特定する。走行路は、車両1が現に走行中の道路を示し、車両位置特定装置13は、地図データ上における車両1の位置を示す。車両位置特定装置13には、典型的にはGPS(Global Positioning System)センサが用いられうる。車両位置特定装置13は、位置特定装置あるいは単に特定装置と表現されてもよい。
 通信装置14は、撮像装置11A及び11Bによる撮像結果、車両状態検出装置12による検出結果、並びに、車両位置特定装置13による特定結果を、ネットワークNを介して画像処理装置2に送信する。通信装置14は、送受信装置等と表現されてもよいし、本実施形態においては単に送信装置と表現されてもよい。
 撮像装置11Aによる撮像結果は、車両1周辺の様子を示す情報(以下、車両周辺情報90Aとする。)を示す。本実施形態では、車両周辺情報90Aは画像情報ないし画像データとする。
 撮像装置11Bによる撮像結果は、運転者の姿勢を示す情報(以下、運転者姿勢情報90Bとする。)を示す。本実施形態では、運転者姿勢情報90Bは画像情報ないし画像データとする。
 車両状態検出装置12による検出結果は、車両1の状態を示す情報(以下、車両状態情報90Cとする。)を示す。本実施形態では、車両状態情報90Cは、車速、転舵角、車体の姿勢、及び、灯体の状態を示す信号群とする。
 車両位置特定装置13による特定結果は、車両1の走行路における位置を示す情報(以下、車両位置情報90Dとする。)を示す。本実施形態では、車両位置情報90Dは、GPSに基づいて取得可能であり、地図データ上における座標を示す信号群とする。
 上述の情報90A~90Dは、図1に示されるように、車両1からネットワークNを介して画像処理装置2に送信される。
 画像処理装置2は、通信部21および演算部22を備える。通信部21は、ネットワークNを介して画像処理装置2を車両1および端末3のそれぞれと通信可能とする。演算部22は、詳細については後述とするが、画像処理を含む所定の演算処理を行う。演算部22は、本実施形態では、CPU及びメモリを含むプロセッサとし、その機能は所定のプログラムを実行することにより実現されるものとする。即ち、このプログラムは、ネットワーク又は記憶媒体を介して読み出され、コンピュータ上で実行されればよい。
 尚、他の実施形態として、演算部22は、PLD(プログラマブルロジックデバイス)、ASIC(特定用途向け半導体集積回路)等の半導体装置で構成されてもよい。即ち、演算部22の機能はハードウェアおよびソフトウェアの何れによっても実現可能である。
 端末3は、本実施形態では携帯端末(例えばスマートフォン)とし、通信部31、操作部32および表示部33を備える。端末3のユーザは、車両1の運転者であってもよいし、運転者とは異なる第三者であってもよい。通信部31は、ネットワークNを介して端末3を画像処理装置2と通信可能とする。操作部32は、ユーザによる操作入力を受付け可能とし、操作部32には、例えばタッチセンサ式操作パネル、ボタン/スイッチ式操作パネル等、公知の操作パネルが用いられうる。また、表示部33は、画像を表示可能とし、表示部33には、例えば液晶ディスプレイ、有機ELディスプレイ等、公知のディスプレイが用いられうる。操作部32および表示部33は、本実施形態では、一体に設けられたもの(タッチパネル式ディスプレイ)とするが、他の実施形態として個別に設けられてもよい。
 詳細については後述とするが、このような画像表示システムSYにおいて、車両1は、画像処理装置2と通信可能であり、撮像装置11A及び11Bによる撮像結果、車両状態検出装置12による検出結果、並びに、車両位置特定装置13による特定結果を画像処理装置2に送信する。画像処理装置2は、これらに基づいて演算部22により所定の画像処理を行って合成画像(以下、合成画像90Xとする。)を生成し、合成画像90Xを端末3に送信する。端末3は画像表示装置として機能し、ユーザは、端末3を用いて、操作部32に操作入力しながら表示部33にて合成画像90Xを視認することができる。
 (画像処理方法の一例)
 図3は、合成画像90Xを生成するための画像処理方法の一例を示すフローチャートである。本フローチャートの内容は、主に演算部22により実行され、その概要は、上述の情報90A~90Dに基づいて合成画像90Xを生成する、というものである。尚、本フローチャートは、車両1の使用後(非走行時)に実行されるものとするが、車両1の使用時(走行中)に実行されてもよい。
 ステップS1000(以下、単に「S1000」という。後述の他のステップについても同様とする。)では、車両周辺情報90Aを取得する。前述のとおり、車両周辺情報90Aは複数の撮像装置11Aにより得られ、それら複数の撮像装置11Aは、それらの撮像領域が車両1周辺の全域を含むように車体周辺部に設けられる。これにより、車両周辺情報90Aは、車両1周辺の全域の様子を示し、いわゆるパノラマビュー(360度パノラマビュー)を示す画像情報ないし画像データとして得られることとなる。詳細については後述とするが、車両周辺情報90Aに対応する車両1周辺の様子を示す画像が、車両周辺画像90Pとして生成される。よって、車両周辺情報90Aを用いた画像処理は、球面座標系を用いることにより比較的簡便に行われうる。
 S1010では、運転者姿勢情報90Bを取得する。前述のとおり、運転者姿勢情報90Bは、運転者の座席の前後に設けられた一対の撮像装置11Bにより得られ、それら一対の撮像装置11Bは、運転者を前方および後方から撮像可能に設けられる。よって、運転者姿勢情報90Bは、運転者の姿勢(静止画の場合)、挙動(動画の場合)等、運転者の運転態様を示す画像情報ないし画像データとして得られ、付随的に容姿(例えば、骨格、服装(ウェア、ヘルメット等))を更に示してもよい。詳細については後述とするが、運転者姿勢情報90Bに対応する運転者の画像が、運転者画像90Qとして生成される。よって、運転者姿勢情報90Bについての画像処理は、所定の人体モデルに基づく三次元座標系を用いることにより比較的簡便に行われうる。
 S1020では、車両状態情報90Cを取得する。前述のとおり、車両状態情報90Cは、車両1の状態を検出可能に車体の各部位に設けられた車両状態検出装置12により得られ、車両1の状態は、車速、転舵角、車体の姿勢、及び、灯体の状態を含む。詳細については後述とするが、車両状態情報90Cに対応する車両1の画像が、車両画像90Rとして生成される。よって、車両画像90Rについての画像処理は、対応の車両モデルに基づく三次元座標系を用いることにより比較的簡便に行われうる。
 S1030では、上述の情報90A~90Cに基づいて画像90P~90Rをそれぞれ生成する。即ち、車両周辺情報90Aに基づいて車両周辺画像90Pを生成し、運転者姿勢情報90Bに基づいて運転者画像90Qを生成し、また、車両状態情報90Cに基づいて車両画像90Rを生成する。
 S1040では、画像90P、90Q及び90Rを重ね合わせて合成画像90Xを生成する。前述のとおり、本実施形態では、車両周辺画像90Pは球面座標系で処理され、運転者画像90Qおよび車両画像90Rは三次元座標系で処理される。
 ここで、三次元座標系は、典型的には、座標中心から対象までの車体前後方向の距離x、座標中心から対象までの車体左右方向の距離y、及び、座標中心から対象までの車体上下方向の距離zを用いて、座標(x、y、z)で示されうる。また、球面座標系は、典型的には、座標中心から対象までの距離r、座標中心‐対象間を通る線と車体上下方向とが成す角θ、及び、座標中心‐対象間を通る線と車体前後方向とが成す角φを用いて、座標(r、θ、φ)で示されうる。
 図4Aは、車両周辺画像90Pを示す模式図である。車両周辺画像90Pは、球面座標系で処理され、座標中心から距離rの位置に描写される。換言すると、パノラマビューとしての車両周辺画像90Pが、半径rの球体の内壁に描かれる形となる。上記rは、車両1より外側の位置となるように設定されればよい。
 図4Bは、運転者画像90Qを示す模式図である。運転者画像90Qは、三次元座標系で処理され、例えば所定の人体モデルに基づいて、頭部、肩部、胴体部(胸部および腹部)、腰部、腕部(上腕部および前腕部)、手部、脚部(大腿部および下腿部)、足部等が描写されうる。付随的に、服装が更に描写されてもよい。
 図4Cは、車両画像90Rを示す模式図である。車両画像90Rは、三次元座標系で処理され、例えば、車両状態情報90C(車速、転舵角、車体の姿勢、及び、灯体の状態を示す情報)に基づく状態の車両1の画像が描写されうる。例えば、コーナリング中の車両1については、車両画像90Rは、車体が傾いた姿勢で描写されうる。
 ここで、車両状態情報90Cは、車体の姿勢を示す情報を含むため、撮像装置11A及び11Bによる撮像結果は、車体の傾き度合いに応じて補正されるとよい。例えば、車体が傾斜角λ1で傾いた姿勢の間に撮像装置11Aにより車両周辺画像90Pが取得された場合には、この画像90Pは角度λ1相当だけ回転処理されうる。撮像装置11A及び11Bによる撮像結果に対する補正処理は、画像処理装置2において行われてもよいが、車両1において行われてもよい。
 図4Dは、合成画像90Xを示す模式図である。画像90P~90Rは、座標中心、距離および方向が一致するように合成されればよい。尚、座標中心は、本実施形態では座席の直上の位置とするが、他の実施形態として、他の位置(例えば、車体の何れかの位置)であってもよい。
 再び図3を参照して、S1050では、車両位置情報90Dを取得し、また、合成画像90X、其れを構成する画像90P~90R、及び、其れらを生成するための情報90A~90Cに対して、車両1の走行路における位置を示す車両位置情報90Dを付与する。詳細については後述とするが、これにより合成画像90X(或いは、その生成の過程で用いられる情報90A~90C及び/又は画像90P~90R)を他の合成画像90X(或いは、その生成の過程で用いられる情報90A~90C及び/又は画像90P~90R)に関連付けることが可能となる。
 S1060では、端末3に合成画像90Xを送信する。端末3のユーザは、操作部32への操作入力により、任意の位置からの視点(以下、仮想視点)で合成画像90Xを表示部33に表示することができる。また、ユーザは、操作部32への操作入力により、合成画像90Xのズームインまたはズームアウトを行うことも可能である。
 小括すると、S1000~S1020では、演算部22は、車両周辺情報90A、運転者姿勢情報90Bおよび車両状態情報90Cを取得する情報取得部として機能する。S1030~S1040では、演算部22は、車両周辺画像90P、運転者画像90Qおよび車両画像90Rを生成し、それら画像90P~90Rを重ね合わせて合成画像90Xを生成する画像生成部として機能する。S1050では、演算部22は、車両位置情報90Dを用いて、或る合成画像90Xと、過去に生成された複数の合成画像90Xのうちの任意の1つと、を相互に関連付ける関連付け部として機能する。また、S1060では、演算部22は、合成画像90Xを送信する送信部として機能する。
 尚、上記S1000~S1060の説明においては、情報90A~90Dの取得は、演算部22のCPUがメモリから情報90A~90Dを読み出すことを指すものとし、画像処理装置2は、S1000以前に情報90A~90Dを車両1から一括で受信しうる。
 (合成画像の一例)
 図5Aは、操作部32および表示部33が一体に設けられたタッチパネル式ディスプレイの場合における合成画像90Xの一例を示し、図5Bは、合成画像90Xの他の例(図5Aとは異なる仮想視点での合成画像90Xの例)を示す。表示部33には、操作部32の一部として、仮想視点を変更するためのアイコン8a及び8b、ズームインを行うためのアイコン8c、並びに、ズームアウトを行うためのアイコン8dが表示される。ユーザは、これらのアイコン8a等に対して所定の操作入力(例えば、タップ操作、スワイプ操作、フリック操作等)を行うことにより、所望の仮想視点から車両1およびその周辺の様子を視認することが可能となる。
 仮想視点が変更された場合、合成画像90Xにおける車両画像90Rのサイズが変更され、付随的に運転者画像90Qのサイズも変更されることにより、該変更に伴う合成画像90Xの見え方が変わってしまうことの違和感が低減される場合がある。一方、車両周辺画像90Pは球面座標系で処理されているため、仮想視点の変更の際、合成画像90Xにおける車両周辺画像90Pのサイズは維持されてもよい。
 尚、車両周辺画像90Pの画像処理に際して、球面座標系における距離rを比較的大きい値に設定することにより、仮想視点を変更した場合における車両周辺画像90Pの変化の違和感(例えば歪み)を低減可能となる。その場合、画素数が比較的大きい撮像装置11Aが用いられることにより、車両周辺画像90Pは鮮明に表示されうる。
 上記S1040(合成画像90Xの生成)に際して、画像90P~90Rは、互いに略同じ時間における様子を示すものであることが求められる。よって、画像90P~90Rおよび其れらを生成するための情報90A~90Cには、本実施形態では車両位置情報90Dが付与される。他の実施形態として、画像90P~90Rおよび情報90A~90Cには、時間(何れのタイミングで撮像された画像か、或いは、何れのタイミングで取得された情報に基づいて生成された画像か)を示す属性情報が関連付けられてもよい。
 また、前述のとおり、三次元座標系は、典型的には座標(x、y、z)で示され、球面座標系は、典型的には座標(r、θ、φ)で示されうる。よって、他の実施形態として、公知の座標変換を用いることにより、運転者画像90Qおよび車両画像90Rは、車両周辺画像90P同様、球面座標系で処理されてもよい。或いは、車両周辺画像90Pは、運転者画像90Qおよび車両画像90R同様、三次元座標系で処理されてもよい。
 また、本実施形態では、撮像装置11Aとして単眼カメラを用いることとしたが、代替的に複眼カメラを用いることも可能である。これにより、撮像対象を距離情報と共に撮像可能となるため、比較的簡便に車両周辺画像90Pを三次元座標系で処理することも可能となる。
 画像表示システムSYによれば、ユーザ(例えば運転者)は、この合成画像90Xを用いて、例えば、運転中の車両1およびその運転者の様子を所望の仮想視点から視認することも可能であるし、或いは、該様子を第三者に見せることも可能である。よって、本実施形態によれば、合成画像90Xは、多様な用途で活用可能であり、一例として、運転操作の練習に活用することも可能である。
 (合成画像の管理態様の一例)
 図7は、上述のようにして得られる合成画像90Xの管理態様を示す模式図である。合成画像90Xは、例えば車両1、その運転者等で区別されうる識別子ごとに管理され、識別子ごとにデータベースDBに格納される。例えば、或る車両1aおよび或る運転者Uaによる走行態様を示す動画は、複数の合成画像90Xとして、データベースDBaaに格納される。また、或る車両1aおよび他の運転者Ubによる走行態様を示す動画は、複数の合成画像90Xとして、データベースDBabに格納される。他の車両1bおよび或る運転者Uaによる走行態様を示す動画は、複数の合成画像90Xとして、データベースDBbaに格納される。また、他の車両1bおよび他の運転者Ubによる走行態様を示す動画は、複数の合成画像90Xとして、データベースDBbbに格納される。他のデータベースDBac、DBbc等についても同様とする。
 上記データベースDBaa等は、識別子ごとに管理されうるが、以下では、単にデータベースDBと示される。尚、個々のデータベースDBに格納される合成画像90Xの枚数は、典型的には、動画の時間およびフレームレートに応じた数量に従う。
 (合成画像の活用態様の一例)
 図8に例示されるように、演算部22は、データベースDBに格納されている合成画像90Xのうち、互いに異なる識別子に対応する任意の2つを比較用に合成することができる。例えば、演算部22は、或る識別子に対応する合成画像(区別のため「合成画像91X」とする。)と、他の識別子に対応する合成画像(区別のため「合成画像92X」とする。)と、を重ね合わせて、比較用合成画像93Xを生成することができる。
 比較用合成画像93Xは、合成画像91Xおよび合成画像92Xの間に基準以上の差異が存する場合には、その部分が強調されるように表示部33に表示されてもよい。該強調された部分は、比較用合成画像93Xにおいて合成画像91Xおよび合成画像92Xの少なくとも一方に表示されればよい。強調の方法としては、色付け、輪郭のハイライト等、公知の態様が採用可能である。このような表示態様によれば、合成画像91X及び92X間の差異をユーザに視認させ易くすることが可能となる。
 合成画像91Xは、車両周辺画像(区別のため「車両周辺画像91P」とする。)と、運転者画像(区別のため「運転者画像91Q」とする。)と、車両画像(区別のため「車両画像91R」とする。)と、が重ね合わされて成る。また、画像91P、91Qおよび91Rをそれぞれ生成するための車両周辺情報、運転者姿勢情報および車両状態情報を、区別のため、それぞれ、「車両周辺情報91A」、「運転者姿勢情報91B」および「車両状態情報91C」とする。また、合成画像91X、其れを構成する画像91P~91R、及び、其れらを生成するための情報91A~91Cに対して付与される車両位置情報を、区別のため「車両位置情報91D」とする。
 合成画像92Xは、車両周辺画像(区別のため「車両周辺画像92P」とする。)と、運転者画像(区別のため「運転者画像92Q」とする。)と、車両画像(区別のため「車両画像92R」とする。)と、が重ね合わされて成る。また、画像92P、92Qおよび92Rをそれぞれ生成するための車両周辺情報、運転者姿勢情報および車両状態情報を、区別のため、それぞれ、「車両周辺情報92A」、「運転者姿勢情報92B」および「車両状態情報92C」とする。また、合成画像92X、其れを構成する画像92P~92R、及び、其れらを生成するための情報92A~92Cに対して付与される車両位置情報を、区別のため「車両位置情報92D」とする。
 車両位置情報91D及び92Dが同一の位置を示す場合、画像91Q及び91R、並びに、画像92Q及び92Rは、実質的に同一の位置を走行している際のものを示すこととなる。そのため、比較用合成画像93Xは、車両位置情報91D及び92Dが同一の位置を示す場合に合成画像91X及び92Xを合成することにより、生成される。図7の例によれば、比較用合成画像93Xは、或る車両1aおよびその運転者Uaと、該車両1aとは独立して走行した車両1bおよびその運転者Ubと、を並べて(並走させた状態で)単一の画面に表示可能となる。
 ここで、上述の場合、比較用合成画像93Xの背景画像は、車両周辺画像91P及び92Pにより形成されることとなってしまうが、該背景画像の形成に画像91P及び92Pの双方は不要である。よって、比較用合成画像93Xの生成に際しては、図8において「91P/92P」と示されるように画像91P及び92Pの一方は省略され、例えば、画像91Pが背景画像として採用されうる。
 上記背景画像の形成のため、他の実施形態として、合成画像90Xを生成するS1040(図3参照)において、車両周辺画像90Pは省略されていてもよい。この場合、合成画像91Xの生成に際して車両周辺画像91Pは省略され、また、合成画像92Xの生成に際して車両周辺画像92Pは省略され、そして、比較用合成画像93Xの生成に際して、画像91P及び92Pの一方が背景画像として採用されうる。
 また、演算部22は、比較用合成画像93Xの背景画像の形成に際して、車両周辺画像91P及び92Pの一方から他方へ切り替えることも可能とし、背景画像を任意に選択可能とする。
 他の実施形態として、比較用合成画像93Xの生成に際して、車両周辺画像91P及び92Pの双方は省略されてもよい。この場合、背景画像には、画像91P及び92Pとは異なる他の画像(例えば、単色画像、他の地域の風景を示す画像、仮想現実の画像など)が用いられてもよい。即ち、車両周辺画像として用いられる背景画像は、現実に車両1周辺の様子を示す画像でなくてもよい。この観点で、演算部22は、車両周辺画像91P及び92Pを含む2以上の車両周辺画像を生成可能であり、比較用合成画像93Xの生成に際しては、その背景画像を、該2以上の車両周辺画像の1つから他の1つに切替え可能とする。これにより、該2以上の車両周辺画像のうちの任意の1つを背景画像とすることができる。
 図9は、比較用合成画像93Xを示す模式図である。本実施形態によれば、或る走行態様e1と、それとは独立した走行態様e2とは、端末3の表示部33において単一の画面に並んで/重ねられて表示されることとなる。態様e1は、例えば、データベースDBaaに基づく走行態様(車両1aおよびその運転者Uaの走行態様)を示す。態様e2は、例えば、データベースDBbbに基づく走行態様(車両1aとは独立して走行した車両1bおよびその運転者Ubの走行態様)を示す。例えば、運転者Uaは、端末3のユーザとして比較用合成画像93Xを参照することにより、自身の運転操作と、運転者Ubの運転操作とを比較することが可能となり、運転操作の練習に活用可能となる。
 小括すると、画像処理装置2(主に演算部22)は、運転者姿勢情報91B及び92Bと、車両状態情報91C及び92Cと、車両位置情報91D及び92Dとを取得する。画像処理装置2は、或る車両およびその運転者について、運転者姿勢情報91Bに基づく運転者画像91Qと、車両状態情報91Cに基づく車両画像91Rとを重ね合わせて合成画像91Xを生成する。また、画像処理装置2は、上記或る車両とは独立して走行した車両およびその運転者について、運転者姿勢情報92Bに基づく運転者画像92Qと、車両状態情報92Cに基づく車両画像92Rとを重ね合わせて合成画像92Xを生成する。その後、画像処理装置2は、上記或る車両についての車両位置情報91Dと、上記或る車両とは独立して走行した車両についての車両位置情報92Dとに基づいて、合成画像91Xと合成画像92Xとを関連付ける。
 このような画像処理によれば、2つの走行態様は、合成画像91X及び92Xに基づいて単一の画面上で(典型的には動画で)比較可能な状態となる。実施形態によれば、合成画像91X及び92Xは端末3に送信され、上記2つの走行態様は、端末3において比較用合成画像93Xとして単一の画面に表示される。これにより、ユーザは、例えば、自身の走行態様を示す合成画像91Xと、他の走行態様を示す合成画像92Xと、が重ねられて表示された比較用合成画像93Xを参照することができ、この画像93Xを運転操作の練習に活用可能となる。
 (第1の応用例)
 上述の実施形態では、比較用合成画像93Xは、或る車両1aおよびその運転者Uaの走行態様と、該車両1aとは独立して走行した車両1bおよびその運転者Ubの走行態様と、を並べて表示することを例示した(図7参照)。
 しかしながら、比較用合成画像93Xに並べて表示される2つの走行態様は、互いに独立して走行した車両1であればよく、互いに異なる車両及び/又は運転者である必要はない。即ち、比較対象となる車両1は、略同時に走行した互いに異なる車両であってもよいし、互いに異なる期間に走行した同一の車両であってもよい。
 よって、ユーザは、自身の走行態様と、他人の走行態様とを比較することも可能であるし、自身の現在の走行態様と、自身の過去の走行態様とを比較することも可能である。また、ユーザは、或る車両(例えば車両1a)を用いた場合の自身の現在または過去の走行態様と、他の車両(例えば車両1b)を用いた場合の自身の現在または過去の走行態様とを比較することも可能である。よって、図7を参照しながら述べた合成画像90Xの管理は、互いに独立して行われた走行について行われればよく、該管理に必要となる識別子は、車両1、その運転者の他、走行の時間帯、走行の場所等、多様な属性情報に基づいて決められうる。
 (第2の応用例)
 上述の実施形態によれば、車両位置情報91D及び92Dが同一の位置を示す場合、合成画像91X及び92Xが実質的に同一の位置を走行している態様を示すものとして、それらを合成して比較用合成画像93Xを生成する。よって、車両位置情報91D及び92Dは、少なくとも車体前後方向(車両1の進行方向)において同一の位置を示すとよい。
 一方、比較用合成画像93Xに並べて表示される2つの走行態様e1及びe2(図9参照)は、それらを参照するユーザにより適切に比較可能となるように、互いに近接して表示されることが好ましい場合がある。よって、比較用合成画像93Xにおいては、走行態様e1及びe2間の距離(車体左右方向での距離)は、ユーザにより指定されたものとなるように固定されてもよい。この場合、動画上では、走行態様e1及びe2は、それらの間の距離が一定となるように表示されることとなる。
 尚、走行態様e1及びe2間の距離は、例えば0~1[m(メートル)]等、ユーザにより任意に設定可能とする。走行態様e1及びe2間の距離を0[m(メートル)]とした場合、それらは重なって表示されることとなる。これにより、走行態様e1及びe2を参照するユーザは、それらの差異を詳細に比較することが可能となる。
 また、上記走行態様e1及びe2の差異は、端末3の表示部33において、該差異をユーザに通知するための文字、記号、アイコン等により視認可能に表示されてもよい。付随的/代替的に、上記差異を音で示すガイド(例えば音声ガイド)が付されてもよい。
 (第3の応用例)
 比較用合成画像93Xの表示は、ユーザの要求に基づいて部分的に省略されてもよく、即ち、比較用合成画像93Xを形成する合成画像91X及び92Xのうち、運転者画像91Q及び92Q、並びに、車両画像91R及び92R、の一部は省略されてもよい。
 例えば、運転者画像91Q及び92Qが省略され且つ車両画像91R及び92Rが表示された場合、ユーザは、車両1のコーナリング時の車体の傾きを比較可能となる。或いは、運転者画像91Q及び92Qが表示され且つ車両画像91R及び92Rが省略された場合、ユーザは、車両1のコーナリング時の運転者の姿勢を比較可能となる。
 車体及び/又は運転者の姿勢は、車両1の車速、コーナリングの曲率(旋回半径)により変わることが考えられる。よって、合成画像91Xと関連付けが可能な合成画像92Xは、所定条件に基づいて、例えば車速、走行の場所等に基づいて、制限されてもよい。
 (第4の応用例)
 上述の実施形態では、ユーザが比較用合成画像93Xを運転操作の練習に活用する態様を例示したが、その用途は、ここで例示された態様に限られるものではない。例えば、実施形態の内容は、複数の車両1が略同時に走行している態様を示すCG(コンピュータグラフィックス)を生成して仮想上のバイクレース動画を作成する際にも適用可能である。
 この場合、車両位置情報91D及び92Dには、車体前後方向における所定量の位置ズレが許容されてもよい。この許容範囲は、例えば0~5[m(メートル)]等、ユーザにより任意に設定可能とする。
 このような用途においては、比較用合成画像93Xの生成に要する合成画像90Xの数量は3以上であってもよく、比較用合成画像93Xは、視聴用合成画像、広告用合成画像、或いは単に合成画像等、多様な表現で換言されもよい。
 また、このような用途においては、運転者画像91Q及び92Qは運転者の姿勢を反映していなくてもよく、運転者姿勢情報91B及び92Bは単に運転者情報と表現されてもよい。
 以上に示された幾つかの例は、他の応用例の其々に組み合わされてもよく、それらの何れの組合せが実施形態の内容に組み込まれてもよい。
 (画像表示システムの変形例)
 前述の画像表示システムSYによれば(図1参照)、画像処理装置2の機能は、車両1とは異なる場所(例えばサーバー)において実現され、合成画像90Xの表示および仮想視点の変更は端末3において行われるものとしたが、この態様に限られるものではない。
 図6Aは、画像表示システムSYaの構成例を示す。本システムSYaにおいては、画像処理装置2は車両1に搭載される。この場合、車両1から端末3への合成画像90Xの送信は、ネットワークNを介して行われてもよいし、公知の通信手段(例えばblue tооth(登録商標))により行われてもよい。
 図6Bは、画像表示システムSYbの構成例を示す。本システムSYbにおいては、画像処理装置2は端末3に設けられる。即ち、端末3は、情報90A~90Dを、ネットワークN等を介して車両1から受け取り、それらに基づいて合成画像90Xを生成して表示部33に表示すればよい。
 更に他の例として、端末3は、車載用モニタ(例えば、カーナビゲーションシステム)であってもよい。この場合、運転者は、車両1を運転しながら、その周辺の様子を所望の仮想視点から視認することが可能となる。
 (その他)
 以上の説明においては、理解の容易化のため、各要素をその機能面に関連する名称で示したが、各要素は、実施形態で説明された内容を主機能として備えるものに限られるものではなく、それを補助的に備えるものであってもよい。
 (実施形態のまとめ)
 第1の態様は画像処理装置(例えば2)に係り、前記画像処理装置は、車両の運転者を示す運転者情報(例えば90B、91B、92B)と、該車両の状態を示す車両状態情報(例えば90C、91C、92C)とを取得する情報取得手段(例えばS1010、S1020、S1050)と、或る車両およびその運転者について、前記運転者情報に基づく第1の運転者画像(例えば91Q)と、前記車両状態情報に基づく第1の車両画像(例えば91R)とを重ね合わせて第1の合成画像(例えば91X)を生成する第1の画像生成手段(例えばS1040)と、前記或る車両とは独立して走行した車両およびその運転者について、前記運転者情報に基づく第2の運転者画像(例えば92Q)と、前記車両状態情報に基づく第2の車両画像(例えば92R)とを重ね合わせて第2の合成画像(例えば92X)を生成する第2の画像生成手段(例えばS1040)と、前記第1の合成画像と前記第2の合成画像とを所定情報に基づいて関連付ける関連付け手段(例えばS1050)と、を備える
 ことを特徴とする。これにより、第1~第2の合成画像に基づいて、或る第1の車両の走行態様と、該第1の車両とは独立して走行した第2の車両の走行態様と、を単一の画面上で(典型的には動画で)比較可能な状態にすることができる。尚、第1~第2の車両は、互いに独立して走行したものであればよく、互いに異なる期間に走行した同一の車両であってもよいし、略同時に走行した互いに異なる車両であってもよい。
 第2の態様では、前記車両状態情報は、車速、転舵角、車体の姿勢、及び/又は、灯体の状態を示す情報を含む
 ことを特徴とする。これにより、第1~第2の車両画像は、車速、転舵角、車体の姿勢、及び/又は、灯体の状態を示すことが可能となる。
 第3の態様では、前記情報取得手段は、前記車両の走行路における位置を示す車両位置情報(例えば90D、91D、92D)を更に取得し、前記所定情報は、前記或る車両についての前記車両位置情報および前記或る車両とは独立して走行した車両についての前記車両位置情報である
 ことを特徴とする。これにより、第1~第2の合成画像を適切に関連付け可能となる。
 第4の態様では、前記情報取得手段は、前記車両位置情報を、GPS(Global Positioning System)に基づいて取得する
 ことを特徴とする。これにより、或る車両およびその運転者と、該或る車両とは独立して走行した車両およびその運転者と、を並べて(並走させた状態で)単一の画面に表示させることが可能となる。
 第5の態様では、前記情報取得手段は、更に、前記車両の周辺の様子を示す車両周辺情報(例えば90A、91A、92A)を取得し、前記画像処理装置は、前記車両周辺情報に基づいて車両周辺画像(例えば90P、91P、92P)を生成する第3の画像生成手段(例えばS1000)を更に備え、前記所定情報は前記車両周辺画像である
 ことを特徴とする。これにより、車両周辺画像を背景画像として、或る車両およびその運転者と、該或る車両とは独立して走行した車両およびその運転者と、を表示させることが可能となる。
 第6の態様では、前記第3の画像生成手段は、前記或る車両についての前記車両周辺情報に基づく前記車両周辺画像と、前記或る車両とは独立して走行した車両についての前記車両周辺情報に基づく前記車両周辺画像とを含む2以上の車両周辺画像を生成可能であり、前記関連付け手段は、前記関連付けられる車両周辺画像を、前記2以上の車両周辺画像の1つから他の1つに切替え可能とする
 ことを特徴とする。これにより、2以上の車両周辺画像のうちの任意の1つを背景画像とすることができる。
 第7の態様では、前記第3の画像生成手段は、前記車両周辺画像を球面座標系で処理する(図4A及び図4D参照)
 ことを特徴とする。これにより、車両周辺画像の処理を比較的簡便に実現可能となる。
 第8の態様では、前記第1の画像生成手段は、前記第1の車両画像を三次元座標系で処理し、前記第2の画像生成手段は、前記第2の車両画像を三次元座標系で処理する(図4B、図4C及び図4D参照)
 ことを特徴とする。これにより、第1~第2の車両画像の処理を比較的簡便に実現可能となる。
 第9の態様では、前記運転者情報は、車両の運転者の姿勢を示す運転者姿勢情報(例えば90B、91B、92B)である
 ことを特徴とする。これにより、ユーザは、第1~第2の合成画像に基づいて、例えばコーナリング時の運転者の姿勢を比較可能となる。
 第10の態様は画像表示装置(例えば3)に係り、前記画像表示装置は、上述の画像処理装置(例えば2)と、前記第1の合成画像および前記第2の合成画像を用いて、前記或る車両およびその運転者と、前記或る車両とは独立して走行した車両およびその運転者と、を並べて又は重ねて単一の画面に表示するディスプレイ(例えば33)と、を備える
 ことを特徴とする。これにより、或る第1の車両の走行態様と、該第1の車両とは独立して走行した第2の車両の走行態様と、を比較しながら参照することが可能となる。
 第11の態様では、前記画像処理装置は、前記第1の合成画像および前記第2の合成画像の少なくとも一方について、それらの間に基準以上の差異が存する部分を強調するように前記ディスプレイに表示させる
 ことを特徴とする。これにより、第1の合成画像および第2の合成画像の間の差異をユーザに視認させ易くすることが可能となる。
 第12の態様は画像表示装置(例えば3)に係り、前記画像表示装置は、上述の画像処理装置(例えば2)に通信可能な画像表示装置であって、前記第1の合成画像および前記第2の合成画像を並べて又は重ねて単一の画面に表示するディスプレイ(例えば33)を備える
 ことを特徴とする。これにより、或る第1の車両の走行態様と、該第1の車両とは独立して走行した第2の車両の走行態様と、を比較しながら参照することが可能となる。
 第13の態様では、前記ディスプレイの表示内容を任意の位置からの視点に変更するための操作入力を受け付ける操作部(例えば32)を更に備える
 ことを特徴とする。これにより、ユーザは、上記第1~第2の車両の走行態様を任意の視点で視認可能となる。尚、実施形態では、ディスプレイと操作部とは、それらが一体に構成されたタッチパネル式ディスプレイにより実現されるものとしたが、他の実施形態として、これらは別体で構成されてもよい。
 本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。
 本願は、2020年9月30日提出の日本国特許出願特願2020-165999を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。

Claims (13)

  1.  車両の運転者を示す運転者情報と、該車両の状態を示す車両状態情報とを取得する情報取得手段と、
     或る車両およびその運転者について、前記運転者情報に基づく第1の運転者画像と、前記車両状態情報に基づく第1の車両画像とを重ね合わせて第1の合成画像を生成する第1の画像生成手段と、
     前記或る車両とは独立して走行した車両およびその運転者について、前記運転者情報に基づく第2の運転者画像と、前記車両状態情報に基づく第2の車両画像とを重ね合わせて第2の合成画像を生成する第2の画像生成手段と、
     前記第1の合成画像と前記第2の合成画像とを所定情報に基づいて関連付ける関連付け手段と、を備える
     ことを特徴とする画像処理装置。
  2.  前記車両状態情報は、車速、転舵角、車体の姿勢、及び/又は、灯体の状態を示す情報を含む
     ことを特徴とする請求項1記載の画像処理装置。
  3.  前記情報取得手段は、前記車両の走行路における位置を示す車両位置情報を更に取得し、前記所定情報は、前記或る車両についての前記車両位置情報および前記或る車両とは独立して走行した車両についての前記車両位置情報である
     ことを特徴とする請求項1または請求項2記載の画像処理装置。
  4.  前記情報取得手段は、前記車両位置情報を、GPS(Global Positioning System)に基づいて取得する
     ことを特徴とする請求項3記載の画像処理装置。
  5.  前記情報取得手段は、更に、前記車両の周辺の様子を示す車両周辺情報を取得し、
     前記画像処理装置は、前記車両周辺情報に基づいて車両周辺画像を生成する第3の画像生成手段を更に備え、
     前記所定情報は前記車両周辺画像である
     ことを特徴とする請求項1から請求項4の何れか1項記載の画像処理装置。
  6.  前記第3の画像生成手段は、前記或る車両についての前記車両周辺情報に基づく前記車両周辺画像と、前記或る車両とは独立して走行した車両についての前記車両周辺情報に基づく前記車両周辺画像とを含む2以上の車両周辺画像を生成可能であり、
     前記関連付け手段は、前記関連付けられる車両周辺画像を、前記2以上の車両周辺画像の1つから他の1つに切替え可能とする
     ことを特徴とする請求項5記載の画像処理装置。
  7.  前記第3の画像生成手段は、前記車両周辺画像を球面座標系で処理する
     ことを特徴とする請求項5または請求項6記載の画像処理装置。
  8.  前記第1の画像生成手段は、前記第1の車両画像を三次元座標系で処理し、
     前記第2の画像生成手段は、前記第2の車両画像を三次元座標系で処理する
     ことを特徴とする請求項7記載の画像処理装置。
  9.  前記運転者情報は、車両の運転者の姿勢を示す運転者姿勢情報である
     ことを特徴とする請求項1から請求項8の何れか1項記載の画像処理装置。
  10.  請求項1から請求項9の何れか1項記載の画像処理装置と、
     前記第1の合成画像および前記第2の合成画像を用いて、前記或る車両およびその運転者と、前記或る車両とは独立して走行した車両およびその運転者と、を並べて又は重ねて単一の画面に表示するディスプレイと、を備える
     ことを特徴とする画像表示装置。
  11.  前記画像処理装置は、前記第1の合成画像および前記第2の合成画像の少なくとも一方について、それらの間に基準以上の差異が存する部分を強調するように前記ディスプレイに表示させる
     ことを特徴とする請求項10記載の画像表示装置。
  12.  請求項1から請求項9の何れか1項記載の画像処理装置に通信可能な画像表示装置であって、
     前記第1の合成画像および前記第2の合成画像を並べて又は重ねて単一の画面に表示するディスプレイを備える
     ことを特徴とする画像表示装置。
  13.  前記ディスプレイの表示内容を任意の位置からの視点に変更するための操作入力を受け付ける操作部を更に備える
     ことを特徴とする請求項10から請求項12の何れか1項記載の画像表示装置。
PCT/JP2021/029499 2020-09-30 2021-08-10 画像処理装置および画像表示装置 WO2022070618A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022553516A JP7377372B2 (ja) 2020-09-30 2021-08-10 画像処理装置および画像表示装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-165999 2020-09-30
JP2020165999 2020-09-30

Publications (1)

Publication Number Publication Date
WO2022070618A1 true WO2022070618A1 (ja) 2022-04-07

Family

ID=80949896

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/029499 WO2022070618A1 (ja) 2020-09-30 2021-08-10 画像処理装置および画像表示装置

Country Status (3)

Country Link
JP (1) JP7377372B2 (ja)
TW (1) TWI789030B (ja)
WO (1) WO2022070618A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12097804B2 (en) * 2020-03-31 2024-09-24 Honda Motor Co., Ltd. Image processing device, vehicle, image processing method, and storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012143447A (ja) * 2011-01-13 2012-08-02 Sharp Corp ネットワークシステム、コントロール方法、コントローラ、およびコントロールプログラム
US20170103160A1 (en) * 2015-10-12 2017-04-13 Milsco Manufacturing Company, A Unit Of Jason Incorporated Customer Comfort Optimization Method, Apparatus, and System
WO2020100334A1 (ja) * 2018-11-15 2020-05-22 ヤマハ発動機株式会社 鞍乗型車両走行データ処理装置、鞍乗型車両走行データ処理方法および鞍乗型車両走行データ処理プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM518183U (zh) * 2015-09-18 2016-03-01 Hua Chuang Automobile Information Technical Ct Co Ltd 三維行車影像校正裝置
US20170300186A1 (en) * 2016-04-18 2017-10-19 Peter Kuhar Systems and methods for health management

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012143447A (ja) * 2011-01-13 2012-08-02 Sharp Corp ネットワークシステム、コントロール方法、コントローラ、およびコントロールプログラム
US20170103160A1 (en) * 2015-10-12 2017-04-13 Milsco Manufacturing Company, A Unit Of Jason Incorporated Customer Comfort Optimization Method, Apparatus, and System
WO2020100334A1 (ja) * 2018-11-15 2020-05-22 ヤマハ発動機株式会社 鞍乗型車両走行データ処理装置、鞍乗型車両走行データ処理方法および鞍乗型車両走行データ処理プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12097804B2 (en) * 2020-03-31 2024-09-24 Honda Motor Co., Ltd. Image processing device, vehicle, image processing method, and storage medium

Also Published As

Publication number Publication date
TWI789030B (zh) 2023-01-01
JP7377372B2 (ja) 2023-11-09
TW202215365A (zh) 2022-04-16
JPWO2022070618A1 (ja) 2022-04-07

Similar Documents

Publication Publication Date Title
US11127373B2 (en) Augmented reality wearable system for vehicle occupants
JP5267660B2 (ja) 画像処理装置、画像処理プログラム、画像処理方法
JP6177872B2 (ja) 入出力装置、入出力プログラム、および入出力方法
US11610342B2 (en) Integrated augmented reality system for sharing of augmented reality content between vehicle occupants
CN102291541A (zh) 一种车辆虚拟合成显示系统
EP3333808B1 (en) Information processing device
WO2020125006A1 (zh) 增强现实显示设备及应用增强现实显示设备的交互方法
US9994157B2 (en) Periphery monitoring apparatus and periphery monitoring system
CN106339980A (zh) 基于汽车的vr显示装置、方法及汽车
WO2022070618A1 (ja) 画像処理装置および画像表示装置
JPWO2014128752A1 (ja) 表示制御装置、表示制御プログラム、および表示制御方法
JP2009192448A (ja) 情報表示装置及び情報提供システム
WO2014128751A1 (ja) ヘッドマウントディスプレイ装置、ヘッドマウントディスプレイ用プログラム、およびヘッドマウントディスプレイ方法
US20130265331A1 (en) Virtual Reality Telescopic Observation System of Intelligent Electronic Device and Method Thereof
US20230065018A1 (en) Method for operating data glasses in a motor vehicle and system of a motor vehicle and data glasses
CN108351736B (zh) 可穿戴显示器、图像显示装置和图像显示系统
CN117916706A (zh) 在行驶期间在机动车中运行智能眼镜的方法、可相应运行的智能眼镜及机动车
KR20200032547A (ko) 자율주행차량용 ar게임 장치 및 그 방법
JP6250025B2 (ja) 入出力装置、入出力プログラム、および入出力方法
Rao et al. AR-IVI—implementation of in-vehicle augmented reality
JP6624758B2 (ja) 画像表示装置および画像表示方法
WO2021199318A1 (ja) 画像処理装置、車両、画像処理方法およびプログラム
CN208207372U (zh) 增强现实眼镜和系统
JP6007773B2 (ja) 画像データ変換装置並びにナビゲーションシステムおよびカメラ装置並びに車両
US12039898B2 (en) Image display system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21874921

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202317014889

Country of ref document: IN

ENP Entry into the national phase

Ref document number: 2022553516

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21874921

Country of ref document: EP

Kind code of ref document: A1