WO2023214566A1 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
WO2023214566A1
WO2023214566A1 PCT/JP2023/017072 JP2023017072W WO2023214566A1 WO 2023214566 A1 WO2023214566 A1 WO 2023214566A1 JP 2023017072 W JP2023017072 W JP 2023017072W WO 2023214566 A1 WO2023214566 A1 WO 2023214566A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image
information processing
processing device
partial image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/017072
Other languages
English (en)
French (fr)
Inventor
正峻 杉江
遼太朗 岡田
英樹 田島
洋介 中西
俊之 安田
勇志 新谷
敦志 山崎
信吾 藤原
匡司 横田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to US18/862,874 priority Critical patent/US20250353435A1/en
Publication of WO2023214566A1 publication Critical patent/WO2023214566A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/25—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the sides of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B60Q5/005—Arrangement or adaptation of acoustic signal devices automatically actuated
    • B60Q5/006—Arrangement or adaptation of acoustic signal devices automatically actuated indicating risk of collision between vehicles or with pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Definitions

  • the present invention relates to an information processing device.
  • the information processing device is An information processing device installed in a vehicle, an acquisition unit that acquires an image of the surroundings of the vehicle from at least one camera; A first partial image including a mark indicating the position of a maximum movement part that moves with a maximum radius of curvature behind a minimum movement part that moves with a minimum radius of curvature when turning left or right on the outer surface of the vehicle, A control unit that uses the surrounding image to generate a support image superimposed on a second partial image that includes an image of at least a portion of the vehicle.
  • FIG. 1 is a side view of a vehicle including an information processing device according to an embodiment.
  • FIG. 2 is a top view of the vehicle of FIG. 1; 2 is a block diagram showing a schematic configuration of the information processing device in FIG. 1.
  • FIG. FIG. 2 is a diagram of a moving trajectory of a vehicle when turning left, viewed from vertically above, in order to explain the maximum movement portion and the minimum movement portion of the vehicle. It is a figure which shows the example of a left original image and a right original image as a support image. It is a figure which shows the example of the processed side image as a support image.
  • FIG. 7 is a diagram showing an example of a processed top image as a support image.
  • FIG. 7 is a diagram showing another example of a processed side image as a support image.
  • FIG. 7 is a diagram showing another example of a processed top image as a support image. It is a figure which shows yet another example of a left original image and a right original image as a support image. It is a figure which shows yet another example of a processed side image as a support image. It is a figure which shows yet another example of a processed top image as a support image.
  • 4 is a flowchart for explaining support image generation processing executed by the control unit in FIG. 3.
  • FIG. 3 is a flowchart for explaining support image generation processing executed by the control unit in FIG. 3.
  • an information processing device 10 may be mounted on a vehicle 11.
  • Vehicle 11 may further include at least one camera 12, a communication device 13, and a display 14.
  • the vehicle 11 may be of any type.
  • the vehicle 11 is, for example, a truck, a tank lorry, a bus having a relatively long overall length, etc., which has a loading platform on the sides parallel to the front-rear direction.
  • the camera 12 is provided so as to be able to image a part of the vehicle 11 as well as the scene around the vehicle 11.
  • the camera 12 may provide the information processing device 10 with an image generated by imaging as information.
  • the vehicle 11 in this embodiment includes a first camera 15, a second camera 16, a third camera 17, and a fourth camera 18 as at least one camera 12.
  • the first camera 15 is provided, for example, so as to be able to image the scene in front of the vehicle 11.
  • the second camera 16 is provided, for example, so as to be able to image the scene behind the vehicle 11.
  • the third camera 17 is provided, for example, so as to be able to capture images of the left side and left rear side of the vehicle 11.
  • the fourth camera 18 is provided, for example, so as to be able to capture images of the right side and right rear side of the vehicle 11.
  • the optical axes of the first camera 15 to the fourth camera 18 may be perpendicular to the width direction of the vehicle 11.
  • the communication device 13 may be capable of wireless communication with an external camera located near the vehicle 11.
  • the external camera may be provided, for example, on a roadside machine, another vehicle, a building, or a flying object such as a drone.
  • the communication device 13 may acquire from the external camera an image generated by imaging, together with the position of the external camera, as information.
  • the display 14 is placed at a position that is visible from the driver's seat.
  • the display 14 may display a support image generated by the information processing device 10, which will be described later.
  • Display 14 may be a known type of display such as a liquid crystal display or a head-mounted display.
  • the information processing device 10 generates a support image using images of the surroundings of the vehicle 11 obtained from the camera 12 and an external camera.
  • the configuration of the information processing device 10 will be described below.
  • the information processing device 10 includes an input/output interface (acquisition unit) 19 and a control unit 20.
  • the information processing device 10 may further include a storage unit 21.
  • the input/output interface 19 acquires images of the surroundings of the vehicle 11 from at least one of the camera 12 and an external camera.
  • the input/output interface 19 may acquire operation information of the vehicle 11 from the vehicle 11.
  • the maneuvering information may include, for example, the speed, acceleration, steering angle, etc. of the vehicle 11.
  • the input/output interface 19 may provide the display 14 with a support image generated by the control unit 20, as described later.
  • the storage unit 21 includes any storage device such as a RAM (Random Access Memory) and a ROM (Read Only Memory).
  • the storage unit 21 may store various programs that cause the control unit 20 to function and various information that the control unit 20 uses.
  • the storage unit 21 may store, for example, a specific position in a three-dimensional coordinate system whose origin is a point determined for the vehicle 11.
  • the specific position is the position of the maximum movement part.
  • the maximum movement portion is a portion of the outer surface of the vehicle 11 that moves with the largest radius of curvature behind the minimum movement portion, which will be described later, in the longitudinal direction of the vehicle 11 when turning left or right. It's good.
  • the maximum movement portion may be a portion of the outer surface of the vehicle 11 that moves with the maximum radius of curvature behind the driver's seat of the vehicle 11 in the longitudinal direction of the vehicle 11 when turning right or left.
  • the maximum movement portion is a portion having the maximum width in the height direction at the rear end in the front-rear direction on the side surface of the loading platform.
  • the maximally moving portion is a portion located at the same position as the rear end of the loading platform and at an arbitrary position in the vertical direction.
  • the minimum moving part is a part of the outer surface of the vehicle 11 that moves with the smallest radius of curvature when turning left or right.
  • the minimum moving portion is a portion having the maximum width in the height direction at the same position as the rearmost wheel 22 in the longitudinal direction of the vehicle 11.
  • the minimum moving part is at the same position as the rearmost wheel 22 and at any position in the vertical direction. It is a part.
  • the storage unit 21 further stores a conversion formula or a conversion table for coordinate transformation for converting the surrounding image into a composite image.
  • the control unit 20 includes one or more processors and memory.
  • the processor may include a general-purpose processor that loads a specific program to execute a specific function, and a dedicated processor specialized for specific processing.
  • the dedicated processor may include an application specific integrated circuit (ASIC).
  • the processor may include a programmable logic device (PLD).
  • the PLD may include an FPGA (Field-Programmable Gate Array).
  • the control unit 20 may be either an SoC (System-on-a-Chip) or an SiP (System In-a-Package) in which one or more processors work together.
  • the control unit 20 generates a support image using the surrounding images acquired by the input/output interface 19.
  • the support image is an image in which the first partial image is superimposed on the second partial image.
  • the support image may further include an image in which a third partial image is superimposed on the second partial image.
  • the first partial image is an image that includes a mark indicating the position of the maximum movement part or a position further spread out from the position in the width direction of the vehicle 11 by a predetermined interval.
  • the predetermined interval is a length that can be considered as a margin to prevent the side surface of the vehicle 11 from coming into contact with an obstacle, and is, for example, but not limited to, 10 cm.
  • the predetermined interval may be arbitrarily determined by the user's designation.
  • the control unit 20 may determine the predetermined interval depending on the traveling speed of the vehicle 11.
  • the control unit 20 may obtain the traveling speed of the vehicle 11 and determine the predetermined interval so that the faster the traveling speed is, the larger the predetermined interval is than when the traveling speed is slow.
  • the control unit 20 may determine the predetermined interval according to the weight of the cargo loaded on the loading platform.
  • the control unit 20 may obtain the weight of the cargo from a weight sensor attached to the cargo platform, and determine the predetermined interval so that the heavier the cargo, the larger the predetermined interval is compared to the lighter the cargo.
  • the control unit 20 may determine the predetermined interval depending on the overall length of the vehicle 11, in other words, the length in the longitudinal direction.
  • the control unit 20 calculates the total length of the vehicle 11 from the image captured by the third camera 17 or the fourth camera 18, and sets a predetermined interval so that the longer the total length of the vehicle 11 is, the larger the length is compared to the shorter the total length of the vehicle 11. You may decide.
  • the second partial image is an image of the vehicle 11 on which the information processing device 10 is mounted, which is included in the surrounding image.
  • the second partial image may include an image of at least a portion of the vehicle 11.
  • the third partial image is an image including a mark indicating the position of the minimum movement part or a position further spread out from the position at a predetermined interval in the width direction of the vehicle 11.
  • the support image may be an image of the vehicle 11 viewed from a specific viewpoint with the vehicle 11 as a reference.
  • the support image may be a single image or may include multiple images.
  • the support image may include, for example, a side view image and a top view image.
  • the side display image is an image that includes the side surface of the vehicle 11 as a second partial image.
  • the top display image is, for example, an image that includes the top surface of the vehicle 11 as a partial image, such as an image of the vehicle 11 viewed from above.
  • an image viewed from a viewpoint above the rear side or above the front side of the vehicle 11 may include a side display image and a top display image.
  • the type of image, such as a side view image, to be included in the support image may be predetermined or may be selected later.
  • the support image may be generated by superimposing visual information on the surrounding image acquired by the input/output interface 19.
  • the side display image included in the support image includes a left original image lri generated by imaging by the third camera 17 and a right original image rri generated by imaging by the fourth camera 18. That's fine.
  • the second partial image pi2 which is an image of the vehicle 11
  • the first partial image pi1 which is an image of a landmark indicating the maximum movement part
  • the minimum A third partial image pi3, which is an image of a landmark indicating a moving part, is superimposed.
  • the mark indicating the part may be linear, but it may also be any one point included in the line, and it may be a plurality of discrete marks. It may be a point.
  • the support image may be generated by superimposing visual information on an image that is processed based on the surrounding image.
  • An image processed based on surrounding images may be generated by performing coordinate transformation on a single surrounding image, or may be generated by combining multiple surrounding images and performing coordinate transformation as necessary. It may be generated by
  • the support image generated by the control unit 20 may be viewed from a position away from the vehicle 11.
  • the control unit 20 may process the side display image by processing at least one of the surrounding image generated by the third camera 17 or the fourth camera 18 and the image captured by the external camera, or by combining both. May be generated.
  • the side display image generated by the control unit 20 may be a processed side view image psi, which is a converted image with the viewpoint vertically above the vehicle 11.
  • the processed side image psi includes a second partial image pi2 which is an image of the vehicle 11, a first partial image pi1 which is an image of a landmark indicating the maximum movement part, and a third partial image pi1 which is an image of a landmark indicating the minimum movement part.
  • the partial image pi3 of is superimposed.
  • the mark indicating the part may be linear, but it may also be any one point included in the line, and it may be a plurality of discrete marks. It may be a point.
  • the top display image generated by the control unit 20 may be a processed top image Pti that is a converted image with the viewpoint vertically above the vehicle 11. Also in the processed top image pti, the first partial image pi1 and the third partial image pi3 are superimposed on the second partial image pi2.
  • the support image may be a viewpoint image that includes a partial image spi of a curb located near the vehicle 11.
  • the control unit 20 may determine the position of the viewpoint so that the partial image spi of the curb is included in the support image.
  • the viewpoint and angle of view are set in the left original image lri, right original image rri, processed side image psi, and processed top image pti described above so that the partial image spi of the curb is included.
  • the first partial image pi1 may include a trajectory of future movement of the above-mentioned landmark as the vehicle 11 travels.
  • the first partial image pi1 showing the trajectory of the landmark is planar.
  • the first partial image pi1 showing the trajectory of the landmark is planar, as shown in FIG.
  • the first partial image pi1 showing the locus of the landmark is linear, as shown in FIG.
  • Partial image pi3 has a curved surface shape.
  • the first partial image pi1 and the third partial image pi3 showing the locus of the landmark are It is in a state of
  • the vehicle 11 turns right in a configuration in which the support image is the processed top image pti, as shown in FIG. 13, the first partial image pi1 and the third partial image pi3 showing the locus of the landmark It is.
  • the control unit 20 may prioritize the third partial image pi3 over the first partial image pi1 and superimpose it on the second partial image pi2 on the turning direction side of the vehicle 11 in the left-right direction. For example, the control unit 20 may superimpose only the third partial image pi3 on the turning direction side of the vehicle 11 in the left-right direction. Further, the control unit 20 may prioritize the first partial image pi1 over the third partial image pi3 and superimpose it on the second partial image pi2 on the side opposite to the turning direction in the left-right direction of the vehicle 11. For example, the control unit 20 may superimpose only the first partial image pi1 on the side opposite to the turning direction in the left-right direction of the vehicle 11.
  • the control unit 20 calculates the trajectory of the landmark based on the steering angle and speed of the vehicle 11, and creates a first partial image pi1 and a third partial image pi3. good. If there is a possibility that the vehicle body is tilted when the vehicle 11 turns right or left, the control unit 20 calculates the locus of the tilted mark and creates a first partial image pi1 and a third partial image pi3. You may do so.
  • the trajectory of the landmark may be the entire trajectory of the vehicle 11 from the start to the end of the right turn or left turn, or may be a partial trajectory. Depending on the progress of the right turn or left turn of the vehicle 11, the trajectory that has already been passed may be deleted or may remain displayed. When the steering angle or speed of the vehicle 11 changes, the control unit 20 may recalculate the trajectory of the landmark and create a new first partial image pi1 and third partial image pi3.
  • the control unit 20 may determine whether or not the obstacle intersects with the trajectory of the landmark.
  • the support image may be created as an image from a viewpoint that includes a partial image of the obstacle. Obstacles include, for example, pedestrians around the vehicle 11, other vehicles, signboards, curved mirrors, signs, and the like.
  • the intersection of the trajectory of the obstacle and the landmark causes the position corresponding to the landmark to overlap with the position of the obstacle in real space. In other words, the intersection between the obstacle and the trajectory of the landmark may cause the vehicle 11 to collide with the obstacle during a right or left turn in a configuration where the landmark is a part of the vehicle body of the vehicle 11.
  • the control unit 20 may include a warning display or the like in the support image when the obstacle intersects with the trajectory of the landmark.
  • the warning display may include a change in the display form of the partial image of the obstacle or the trajectory of the landmark.
  • the change in display format may include changing the displayed color, blinking, and the like.
  • the control unit 20 may emit a warning sound from the speaker instead of or simultaneously with the warning display or the like.
  • the control unit 20 may highlight all or part of the outer edge of the partial image of the obstacle included in the support image, or may display an image showing the position of the obstacle.
  • the control unit 20 determines whether or not an obstacle exists on the side in the traveling direction of the vehicle 11 from the surrounding image acquired by the input/output interface 19 when turning right or left, and only when an obstacle exists, changes the landmark.
  • the trajectory may be displayed on the display 14.
  • the control unit 20 may apply the support image generated as described above to the display 14 and display it.
  • the support image generation process starts periodically, for example, in accordance with the cycle of acquiring surrounding images from the camera 12 and an external camera.
  • step S100 the control unit 20 determines whether the support image includes a type of image that requires processing based on surrounding images. If so, the process proceeds to step S101. If not, the process proceeds to step S102.
  • step S101 the control unit 20 processes the surrounding image to generate an image on which the first partial image pi1 is superimposed. After generation, the process proceeds to step S102.
  • step S102 the control unit 20 recognizes the latest driving state based on the driving information recently acquired from the vehicle 11. After recognition, the process proceeds to step S103.
  • step S103 the control unit 20 determines the movement trajectory of the landmark in the image coordinate system for each type of image included in the support image, based on the specific position stored in the storage unit 21 and the maneuvering state recognized in step S102. Calculate. After the calculation, the process proceeds to step S104.
  • step S104 if there is an obstacle on the side in the traveling direction of the vehicle 11, the control unit 20 determines whether or not the obstacle intersects with the trajectory of the landmark calculated in step S103. . After the determination, the process proceeds to step S105.
  • step S105 the control unit 20 provides support by superimposing the first partial image pi1 and the third partial image pi3, which are the trajectories calculated in step S103, on the image for superimposing the first partial image pi1. Generate an image. Further, the control unit 20 adds an image effect such as blinking to the support image to clearly indicate the obstacle determined to intersect with the trajectory in step S104. Further, the control unit 20 applies the generated support image to the display 14 and causes it to be displayed. After the support image is generated, the support image generation process ends.
  • the information processing device 10 of the present embodiment configured as described above has a maximum radius of curvature that moves behind the minimum moving part of the outer surface of the vehicle 11 that moves with the smallest radius of curvature when turning left or right.
  • a support image in which a first partial image pi1 including a mark indicating the position of the moving part is superimposed on a second partial image pi2 of the vehicle 11 is generated using surrounding images.
  • the information processing device 10 of the present embodiment determines the position of the maximum movement portion that moves with the maximum radius of curvature behind the minimum movement portion that moves with the minimum radius of curvature when turning left or right on the outer surface of the vehicle 11.
  • a support image in which a first partial image pi1 including a mark indicating a position further spread out at a predetermined interval in the width direction of the vehicle is superimposed on a second partial image pi2 of the vehicle 11 is created using surrounding images. and generate it.
  • the information processing device 10 allows the driver to see the maximum movement part that moves with the maximum radius of curvature behind the minimum movement part when making a turn, thereby reducing the possibility of a collision.
  • the information processing device 10 of the present embodiment may be located behind the driver's seat, and on the outer surface of the vehicle 11, relative to the position of the maximally moving portion of the vehicle 11 that moves with the maximum radius of curvature when turning left or right.
  • the first partial image pi1 which includes a mark indicating a position further widened at a predetermined interval in the width direction, or a mark indicating a position further widened at a predetermined interval in the width direction of the vehicle, is transferred to a second partial image pi1 of the vehicle 11.
  • a support image superimposed on the partial image pi2 is generated using surrounding images.
  • the first partial image pi1 includes a locus of future movement of the landmark as the vehicle 11 travels.
  • the information processing device 10 can more easily make visible a passage route that is wider than the trajectory taken by the driver's seat behind the driver's seat, which is difficult to grasp when making a turn. Therefore, the information processing device 10 can further reduce the possibility of collision.
  • the information processing device 10 of the present embodiment determines whether the landmark intersects with the obstacle on the assumption that the vehicle 11 is turning left or right. With such a configuration, the information processing device 10 can make the driver clearly aware of the possibility of a collision between the vehicle 11 and an obstacle.
  • the support image has a side display image that includes the side surface of the vehicle 11 as a second partial image.
  • the side of the vehicle 11 may pass through a position that is more protruding than the front wheels, resulting in a collision with an object located on the side of the vehicle 11. there is a possibility.
  • the information processing device 10 having the above configuration allows the driver to visually check the side of the vehicle 11, thereby further reducing the possibility of a collision.
  • the support image includes a partial image spi of a curb located near the vehicle 11.
  • the information processing device 10 can reduce the possibility of running onto a curb or colliding with a curb when turning right or left.
  • the predetermined interval is determined based on the traveling speed of the vehicle 11 or the length of the vehicle 11 in the longitudinal direction. If the traveling speed of the vehicle 11 is high, there is a high possibility that the vehicle body will tilt significantly when turning right or left. For example, when the traveling speed is fast, the predetermined interval may be made larger than when the traveling speed is slow. Furthermore, if the body of the vehicle 11 is long in the longitudinal direction, it becomes more difficult for the vehicle 11 to turn right or left. For example, when the length of the vehicle body is long, the predetermined interval may be made larger than when the length of the vehicle body is short. With such a configuration, the information processing device 10 can avoid contact between the body of the vehicle 11 and an obstacle.
  • the predetermined interval is determined based on the weight of the luggage loaded on the platform. If the weight of the luggage loaded on the loading platform of the vehicle 11 is heavy, there is a high possibility that the vehicle body will tilt significantly when turning right or left. For example, if the load is heavy, the predetermined interval may be made larger than if it is light. With such a configuration, the information processing device 10 can avoid contact between the body of the vehicle 11 and an obstacle.
  • the information processing device an acquisition unit that acquires an image of the surroundings of the vehicle from at least one camera; A first partial image including a mark indicating the position of a maximum movement part that moves with a maximum radius of curvature behind a minimum movement part that moves with a minimum radius of curvature when turning left or right on the outer surface of the vehicle, A control unit that uses the surrounding image to generate a support image superimposed on a second partial image that includes an image of at least a portion of the vehicle.
  • the information processing device an acquisition unit that acquires an image of the surroundings of the vehicle from at least one camera; On the outer surface of the vehicle, at a predetermined interval in the width direction of the vehicle from the position of the maximum movement part that moves with the maximum radius of curvature behind the minimum movement part that moves with the minimum radius of curvature when turning left or right. a control unit that uses the surrounding images to generate a support image in which a first partial image including a mark indicating the expanded position is superimposed on a second partial image including an image of at least a portion of the vehicle; Equipped with.
  • the information processing device an acquisition unit that acquires an image of the surroundings of a vehicle having a driver's seat from at least one camera; The position of a maximally moving part that is rearward of the driver's seat and moves with the maximum radius of curvature when turning right or left on the outer surface of the vehicle, or further at a predetermined interval in the width direction of the vehicle from the position.
  • a control unit that uses the surrounding images to generate a support image in which a first partial image including a mark indicating the expanded position is superimposed on a second partial image including an image of at least a part of the vehicle; Equipped with.
  • the first partial image includes a trajectory of future movement of the landmark as the vehicle travels.
  • the control unit determines whether or not the landmark intersects with the obstacle during the course of the vehicle turning right or left, when the obstacle is located on the side in the traveling direction of the vehicle.
  • the vehicle is a truck with a loading platform
  • the minimum moving part is a part having the maximum width at the same position as the rearmost wheel of the vehicle
  • the maximum movement portion is a portion having the maximum width at the rear end in the front-rear direction on the side surface of the loading platform.
  • the support image includes a side display image that includes a side surface of the vehicle as the second partial image.
  • the side display image is an image viewed vertically above the vehicle.
  • the support image includes a partial image of a curb located near the vehicle.
  • the support image includes a top display image in which the vehicle is viewed from above.
  • the control unit determines the predetermined interval based on the traveling speed of the vehicle or the longitudinal length of the vehicle.
  • the vehicle is a truck with a loading platform
  • the control unit determines the predetermined interval based on the weight of the luggage loaded on the platform.
  • the embodiment of the information processing device 10 has been described above, but the embodiment of the present disclosure includes a method or a program for implementing the device, as well as a storage medium (for example, an optical disk, a magneto-optical disk, etc.) on which the program is recorded. It is also possible to take an embodiment as a disk, CD-ROM, CD-R, CD-RW, magnetic tape, hard disk, memory card, etc.).
  • the implementation form of a program is not limited to an application program such as an object code compiled by a compiler or a program code executed by an interpreter, but may also be in the form of a program module incorporated into an operating system. good.
  • the program may or may not be configured such that all processing is performed only in the CPU on the control board.
  • the program may be configured such that part or all of the program is executed by an expansion board attached to the board or another processing unit mounted in an expansion unit, as necessary.
  • the landmark included in the first partial image pi1 is a support image that indicates the position of the maximum movement portion of the vehicle 11, but is not limited to this.
  • an assistance image may be generated in which the mark included in the first partial image pi1 indicates an arbitrary position specified by the user on the outer edge of the vehicle 11.
  • embodiments according to the present disclosure are not limited to any of the specific configurations of the embodiments described above. Embodiments of the present disclosure extend to any novel features or combinations thereof described in this disclosure, or to any novel methods or process steps or combinations thereof described. be able to.
  • descriptions such as “first” and “second” are identifiers for distinguishing the configurations.
  • the numbers in the configurations can be exchanged.
  • a first camera can exchange identifiers "first” and “second” with a second camera. The exchange of identifiers takes place simultaneously.
  • the configurations are distinguished. Identifiers may be removed. Configurations with removed identifiers are distinguished by codes.
  • the description of identifiers such as “first” and “second” in this disclosure should not be used to interpret the order of the configuration or to determine the existence of lower-numbered identifiers.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

情報処理装置は取得部と制御部とを有する。取得部は車両の周囲の画像を少なくとも１つのカメラから取得する。制御部は第１の部分像を第２の部分像に重畳した支援画像を周囲の画像を用いて生成する。第１の部分像は目印を含む。目印は車両の外表面の中で極大移動部分の位置を示す。極大移動部分は右左折に際して最小移動部分よりも後方において最大の曲率半径で移動する部分である。最小移動部分は右左折に際して最小の曲率半径で移動する部分である。第２の部分像は車両の少なくとも一部の像を含む。

Description

情報処理装置 関連出願の相互参照
　本出願は、２０２２年５月６日に日本国に特許出願された特願２０２２－７６７３９の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
　本発明は、情報処理装置に関するものである。
　自車両の右左折に際して巻込みの可能性を注意喚起するために、後輪の予想軌跡線を自車両の合成画像に重畳して表示することが提案されている（特許文献１参照）。
特開２０１２－１６８７５２号公報
　第１の観点による情報処理装置は、
　車両に搭載される情報処理装置であって、
　前記車両の周囲の画像を、少なくとも１つのカメラから取得する取得部と、
　前記車両の外表面の中で、右左折に際して最小の曲率半径で移動する最小移動部分よりも後方において最大の曲率半径で移動する極大移動部分の位置を示す目印を含む第１の部分像を、前記車両の少なくとも一部の像を含む第２の部分像に重畳した支援画像を、前記周囲の画像を用いて生成する制御部と、を備える。
一実施形態に係る情報処理装置を備える車両の側面図である。 図１の車両の上面図である。 図１の情報処理装置の概略構成を示すブロック図である。 車両における極大移動部分及び最小移動部分を説明するために、車両の左折時の移動軌跡を鉛直上方からみた図である。 支援画像としての左原画像及び右原画像の例を示す図である。 支援画像としての加工側面画像の例を示す図である。 支援画像としての加工上面画像の例を示す図である。 支援画像としての左原画像及び右原画像の別の例を示す図である。 支援画像としての加工側面画像の別の例を示す図である。 支援画像としての加工上面画像の別の例を示す図である。 支援画像としての左原画像及び右原画像の更に別の例を示す図である。 支援画像としての加工側面画像の更に別の例を示す図である。 支援画像としての加工上面画像の更に別の例を示す図である。 図３の制御部が実行する支援画像生成処理を説明するためのフローチャートである。
　以下、本開示を適用した情報処理装置の実施形態について、図面を参照して説明する。
　図１に示すように、一実施形態に係る情報処理装置１０は車両１１に搭載されてよい。車両１１は、更に、少なくとも１つのカメラ１２、通信装置１３、及びディスプレイ１４を含んでよい。車両１１は、任意の車種でよい。車両１１は、例えば、前後方向に平行な側面の荷台を有するトラック、タンクローリー、全長の比較的長いバス等である。
　カメラ１２は、車両１１の一部とともに、車両１１の周辺の光景を撮像可能に設けられる。カメラ１２は、撮像により生成する画像を情報として情報処理装置１０に付与してよい。
　図２に示すように、本実施形態において車両１１は、少なくとも１台のカメラ１２として第１のカメラ１５、第２のカメラ１６、第３のカメラ１７、及び第４のカメラ１８を含む。第１のカメラ１５は、例えば、車両１１の前方の光景を撮像可能に設けられる。第２のカメラ１６は、例えば、車両１１の後方の光景を撮像可能に設けられる。第３のカメラ１７は、例えば、車両１１の左側方及び左後方の光景を撮像可能に設けられる。第４のカメラ１８は、例えば、車両１１の右側方及び右後方の光景を撮像可能に設けられる。第１のカメラ１５乃至第４のカメラ１８の光軸は、車両１１の幅方向に垂直であってよい。
　通信装置１３は、車両１１の近傍に位置する外部カメラと無線通信可能であってよい。外部カメラは、例えば、路側機、他車両、建造物、ドローン等の飛行物体に設けられてよい。通信装置１３は、外部カメラが撮像により生成した画像を、外部カメラの位置とともに情報として、当該外部カメラから取得してよい。
　ディスプレイ１４は、運転席から視認可能な位置に配置される。ディスプレイ１４は、後述する情報処理装置１０が生成する支援画像を表示してよい。ディスプレイ１４は、液晶ディスプレイ、ヘッドマウントディスプレイ等の公知の種類のディスプレイであってよい。
　情報処理装置１０は、カメラ１２及び外部カメラから取得する、車両１１の周囲の画像を用いて支援画像を生成する。以下に、情報処理装置１０の構成について説明する。図３に示すように、情報処理装置１０は、入出力インタフェース（取得部）１９及び制御部２０を含んで構成される。情報処理装置１０は、更に記憶部２１を含んで構成されてよい。
　入出力インタフェース１９は、車両１１の周囲の画像をカメラ１２及び外部カメラの少なくとも一方から取得する。入出力インタフェース１９は、車両１１の操縦情報を車両１１から取得してよい。操縦情報は、例えば、車両１１の速度、加速度、舵角等を含んでよい。入出力インタフェース１９は、後述するように、制御部２０が生成する支援画像をディスプレイ１４に付与してよい。
　記憶部２１は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）など、任意の記憶デバイスを含む。記憶部２１は、制御部２０を機能させる多様なプログラム及び制御部２０が用いる多様な情報を記憶してよい。
　記憶部２１は、例えば、車両１１に対して定められた点を原点とする３次元座標系における特定の位置を記憶してよい。特定の位置は、極大移動部分の位置である。
　図４に示すように、極大移動部分は、車両１１の外表面の中で、右左折に際して、車両１１の前後方向において、後述する最小移動部分よりも後方において最大の曲率半径で移動する部分であってよい。極大移動部分は、車両１１の外表面の中で、右左折に際して、車両１１の前後方向において、車両１１の運転席より後方において最大の曲率半径で移動する部分であってよい。例えば、極大移動部分は、車両１１がトラックである構成において、荷台の側面における前後方向の後端において高さ方向の中で最大幅を有する部分である。更に、例えば、極大移動部分は、荷台の側面が幅方向に垂直な平面状である構成において、荷台の後端と同じ位置であって、鉛直方向における任意の位置の部分である。
　最小移動部分は、車両１１の外表面の中で、右左折に際して最小の曲率半径で移動する部分である。具体的には、図１に示すように、最小移動部分は、車両１１の前後方向における最後尾の車輪２２と同じ位置において高さ方向の中で最大幅を有する部分である。例えば、最小移動部分は、車両１１がトラックであって且つ荷台の側面が幅方向に垂直な平面状である構成において、最後尾の車輪２２と同じ位置であって、鉛直方向における任意の位置の部分である。
　記憶部２１は、更に、後述する支援画像が、入出力インタフェース１９から取得する周囲の画像に基づく合成画像を含む構成において、当該周囲の画像を合成画像に変換する座標変換の変換式又は変換表を記憶する。
　制御部２０は、１以上のプロセッサおよびメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）を含んでよい。制御部２０は、１つ又は複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、およびＳｉＰ（Ｓｙｓｔｅｍ　Ｉｎ　ａ　Ｐａｃｋａｇｅ）のいずれかであってもよい。
　制御部２０は、入出力インタフェース１９が取得する周囲の画像を用いて、支援画像を生成する。支援画像は、第１の部分像を第２の部分像に重畳した画像である。支援画像は、更に第３の部分像を第２の部分像に重畳させた画像を含んでよい。第１の部分像は、極大移動部分の位置、又は当該位置よりも車両１１の幅方向に所定の間隔で更に広げた位置を示す目印を含む像である。所定の間隔は、車両１１の側面における障害物との接触を防ぐマージンとして考えられる余裕の長さであって、例えば限定されないが１０ｃｍである。所定の間隔は、ユーザの指定によって任意に決定してよい。又は、制御部２０は、車両１１の走行速度に応じて所定の間隔を決定してよい。制御部２０は、車両１１の走行速度を取得し、走行速度が速いほど、遅い場合に比べて大きくなるように所定の間隔を決定してよい。又は、制御部２０は、車両１１が荷台を有するトラックである構成において、荷台に積載された荷物の重量に応じて所定の間隔を決定してよい。制御部２０は、荷台に取り付けた重量センサから荷物の重量を取得し、重量が重いほど、軽い場合に比べて大きくなるように所定の間隔を決定してよい。又は、制御部２０は、車両１１の全長、言換えると前後方向の長さに応じて所定の間隔を決定してよい。制御部２０は、第３のカメラ１７又は第４のカメラ１８が撮像する画像から車両１１の全長を算出し、車両１１の全長が長いほど、短い場合に比べて大きくなるように所定の間隔を決定してよい。第２の部分像は、周囲の画像に含まれる、情報処理装置１０を搭載する車両１１の像である。第２の部分像は、少なくとも車両１１の一部の像を含んでよい。第３の部分像は、最小移動部分の位置、又は当該位置よりも車両１１の幅方向に所定の間隔で更に広げた位置を示す目印を含む像である。
　支援画像は、車両１１を、車両１１を基準とした特定の視点から見た画像であってよい。支援画像は、単一の画像であってよく、又は複数の画像を含んでよい。支援画像は、例えば、側面表示画像及び上面表示画像を含んでよい。側面表示画像は、車両１１の側面を第２の部分像として含む画像である。上面表示画像は、例えば、車両１１を上面視した画像等のように車両１１の上面を部分像として含む画像である。例えば、車両１１の後側方上空又は前側方上空の視点から見た画像は、側面表示画像及び上面表示画像を含みうる。支援画像に含める、側面表示画像等の画像の種類は、予め定められていてよく、後に選択されてよい。
　支援画像は、入出力インタフェース１９が取得する周囲の画像に、視覚情報を重畳することにより生成されてよい。例えば、図５に示すように、支援画像に含まれる側面表示画像は、第３のカメラ１７が撮像により生成する左原画像ｌｒｉ及び第４のカメラ１８が撮像により生成する右原画像ｒｒｉを含んでよい。上述のように、左原画像ｌｒｉ及び右原画像ｒｒｉそれぞれには、車両１１の像である第２の部分像ｐｉ２に、極大移動部分を示す目印の像である第１の部分像ｐｉ１及び最小移動部分を示す目印の像である第３の部分像ｐｉ３が重畳されている。極大移動部分及び最小移動部分が連続する線状である構成においては、当該部分を示す目印は線状であってよいが、当該線に含まれる任意の１点であってよく、離散的な複数の点であってよい。
　又は、支援画像は、当該周囲の画像に基づいて加工される画像に視覚情報が重畳されることにより生成されてよい。周囲の画像に基づいて加工される画像は、単一の周囲の画像に対して座標変換を行うことにより生成されてよく、複数の周囲の画像を合成し且つ必要に応じて座標変換を行うことにより生成されてよい。
　更に、制御部２０により生成される支援画像は、車両１１から離れた位置を視点としてよい。
　例えば、制御部２０は、側面表示画像を、第３のカメラ１７又は第４のカメラ１８が生成する周囲の画像と外部カメラが撮像する画像との少なくとも一方を加工、又は両方を合成することによって生成してよい。図６に示すように、制御部２０に生成される側面表示画像は、車両１１よりも鉛直上方を視点とした変換画像である加工側面画像ｐｓｉであってよい。加工側面画像ｐｓｉには、車両１１の像である第２の部分像ｐｉ２に、極大移動部分を示す目印の像である第１の部分像ｐｉ１及び最小移動部分を示す目印の像である第３の部分像ｐｉ３が重畳されている。極大移動部分及び最小移動部分が連続する線状である構成においては、当該部分を示す目印は線状であってよいが、当該線に含まれる任意の１点であってよく、離散的な複数の点であってよい。又、図７に示すように、制御部２０に生成される上面表示画像は、車両１１の鉛直上方を視点とした変換画像である加工上面画像ｐｔｉであってよい。加工上面画像ｐｔｉにおいても、第２の部分像ｐｉ２に第１の部分像ｐｉ１及び第３の部分像ｐｉ３が重畳されている。
　支援画像は、車両１１近傍に位置する縁石の部分画像ｓｐｉが含まれる視点の画像であってよい。制御部２０は、支援画像に縁石の部分画像ｓｐｉが含まれるように、視点の位置を決定してよい。例えば、上述した左原画像ｌｒｉ、右原画像ｒｒｉ、加工側面画像ｐｓｉ、及び加工上面画像ｐｔｉには、縁石の部分画像ｓｐｉが含まれるように、視点及び画角が設定されている。
　支援画像において、第１の部分像ｐｉ１は、車両１１の走行に伴う、上記の目印の将来の移動の軌跡を含んでよい。
　例えば、車両１１が直進する場合、支援画像が左原画像ｌｒｉ及び右原画像ｒｒｉである構成において、図８に示すように、目印の軌跡を示す第１の部分像ｐｉ１は、平面状である。又、車両１１が直進する場合、支援画像が加工側面画像ｐｓｉである構成において、図９に示すように、目印の軌跡を示す第１の部分像ｐｉ１は、平面状である。又、車両１１が直進する場合、支援画像が加工上面画像ｐｔｉである構成において、図１０に示すように、目印の軌跡を示す第１の部分像ｐｉ１は、直線状である。
　又、例えば、車両１１が右折する場合、支援画像が左原画像ｌｒｉ及び右原画像ｒｒｉである構成において、図１１に示すように、目印の軌跡を示す第１の部分像ｐｉ１及び第３の部分像ｐｉ３は、湾曲面状である。又、車両１１が右折する場合、支援画像が加工側面画像ｐｓｉである構成において、図１２に示すように、目印の軌跡を示す第１の部分像ｐｉ１及び第３の部分像ｐｉ３は、湾曲面状である。又、車両１１が右折する場合、支援画像が加工上面画像ｐｔｉである構成において、図１３に示すように、目印の軌跡を示す第１の部分像ｐｉ１及び第３の部分像ｐｉ３は、曲線状である。
　制御部２０は、車両１１の左右方向のうち曲がる方向側では、第１の部分像ｐｉ１よりも第３の部分像ｐｉ３を優先して第２の部分像ｐｉ２に重畳してよい。例えば、制御部２０は、車両１１の左右方向のうち曲がる方向側では第３の部分像ｐｉ３のみを重畳してよい。又、制御部２０は、車両１１の左右方向のうち曲がる方向の反対側では、第３の部分像ｐｉ３より第１の部分像ｐｉ１を優先して第２の部分像ｐｉ２に重畳してよい。例えば、制御部２０は、車両１１の左右方向のうち曲がる方向の反対側では、第１の部分像ｐｉ１のみを重畳してよい。
　制御部２０は、車両１１の右折又は左折時に、車両１１の舵角及び速度等に基づいて、目印の軌跡を算出して、第１の部分像ｐｉ１及び第３の部分像ｐｉ３を作成してよい。制御部２０は、車両１１の右折又は左折において車体が傾斜する可能性がある場合には、傾斜させた目印の軌跡を算出して、第１の部分像ｐｉ１及び第３の部分像ｐｉ３を作成してよい。目印の軌跡は、車両１１が右折又は左折の開始から終了までに想定される全軌跡であってよいし、一部の軌跡であってもよい。車両１１の右折又は左折の進捗に応じて、通過済みの軌跡は消去されてもよいし、表示されたままとしてもよい。制御部２０は、車両１１の舵角や速度が変化した場合には、目印の軌跡を再度算出して、新たに第１の部分像ｐｉ１及び第３の部分像ｐｉ３を作成してよい。
　制御部２０は、車両１１の進行方向の側方に障害物が位置する場合、当該障害物が目印の軌跡と交差するか否かを判別してよい。支援画像は、障害物の部分像が含まれるような視点からの画像として作成されてよい。障害物は、例えば、車両１１周辺の歩行者、他の車両、看板、カーブミラー、標識等を含む。障害物と目印の軌跡との交差は、実空間における、目印に対応する位置と障害物の位置との重複を生じさせる。言換えると、障害物と目印の軌跡との交差は、目印の位置が車両１１の車体の一部である構成において、右折又は左折の過程で車両１１が障害物に衝突する可能性がある。制御部２０は、当該障害物が目印の軌跡と交差する場合、支援画像に警告表示等を含めてよい。警告表示には、障害物の部分像や目印の軌跡の表示形態の変化を含んでよい。表示形態の変化には、表示する色の変更、点滅等を含んでよい。目印の軌跡において、障害物と交差する部分と他の部分の表示形態が異なってもよい。制御部２０は、警告表示等に代えて、又は警告表示等と同時に、スピーカから警告音を発してもよい。制御部２０は、支援画像に含まれる障害物の部分像の、外縁の全部又は一部を強調表示してよく、障害物の位置を示す画像を表示してもよい。制御部２０は、右左折に際して入出力インタフェース１９が取得する周囲の画像から車両１１の進行方向の側方に障害物が存在するか否かを判定し、障害物が存在する場合にのみ目印の軌跡をディスプレイ１４に表示させてよい。
　制御部２０は、上述のように生成した支援画像を、ディスプレイ１４に付与して、表示させてよい。
　次に、本実施形態において情報処理装置１０の制御部２０が実行する、支援画像生成処理について、図１４のフローチャートを用いて説明する。支援画像生成処理は、例えば、カメラ１２及び外部カメラから周囲の画像を取得する周期に合わせて、周期的に開始する。
　ステップＳ１００において、制御部２０は、周囲の画像に基づいて加工が必要な種類の画像を支援画像が含むか否かを判別する。含む場合、プロセスはステップＳ１０１に進む。含まない場合、プロセスはステップＳ１０２に進む。
　ステップＳ１０１では、制御部２０は、周囲の画像を加工して、第１の部分像ｐｉ１を重畳するための画像を生成する。生成後、プロセスはステップＳ１０２に進む。
　ステップＳ１０２では、制御部２０は、車両１１から最近取得した操縦情報に基づいて最新の操縦状態を認識する。認識後、プロセスはステップＳ１０３に進む。
　ステップＳ１０３では、制御部２０は、記憶部２１に記憶した特定の位置、及びステップＳ１０２において認識した操縦状態に基づいて、支援画像に含まれる画像の種類毎の画像座標系における目印の移動の軌跡を算出する。算出後、プロセスはステップＳ１０４に進む。
　ステップＳ１０４では、制御部２０は、車両１１の進行方向の側方に障害物がある場合、当該障害物と、ステップＳ１０３において算出した目印の移動の軌跡とが交差するか否かの判定を行う。判定後、プロセスはステップＳ１０５に進む。
　ステップＳ１０５では、制御部２０は、第１の部分像ｐｉ１を重畳するための画像に、ステップＳ１０３において算出した軌跡である第１の部分像ｐｉ１及び第３の部分像ｐｉ３を重畳することにより支援画像を生成する。更に、制御部２０は、ステップＳ１０４において軌跡と交差すると判定された障害物を明示するための点滅等の画像効果を、支援画像に付す。更に、制御部２０は、生成した支援画像をディスプレイ１４に付与して、表示させる。支援画像の生成後、支援画像生成処理は終了する。
　以上のような構成の本実施形態の情報処理装置１０は、車両１１の外表面の中で、右左折に際して最小の曲率半径で移動する最小移動部分よりも後方において最大の曲率半径で移動する極大移動部分の位置を示す目印を含む第１の部分像ｐｉ１を、車両１１の第２の部分像ｐｉ２に重畳した支援画像を、周囲の画像を用いて生成する。このような構成により、情報処理装置１０は、曲がる際に最小移動部分よりも後方において最大の曲率半径で移動する極大移動部分を運転者に視認させ得るので、衝突の可能性を低減し得る。
　又は、本実施形態の情報処理装置１０は、車両１１の外表面の中で、右左折に際して最小の曲率半径で移動する最小移動部分よりも後方において最大の曲率半径で移動する極大移動部分の位置よりも該車両の幅方向に所定の間隔で更に広げた位置を示す目印を含む第１の部分像ｐｉ１を、車両１１の第２の部分像ｐｉ２に重畳した支援画像を、周囲の画像を用いて生成する。このような構成により、情報処理装置１０は、曲がる際に最小移動部分よりも後方において最大の曲率半径で移動する極大移動部分を運転者に視認させ得るので、衝突の可能性を低減し得る。
　又は、本実施形態の情報処理装置１０は、運転席よりも後方であって、車両１１の外表面の中で、右左折に際して最大の曲率半径で移動する極大移動部分の位置よりも該車両の幅方向に所定の間隔で更に広げた位置、又は該位置よりも該車両の幅方向に所定の間隔で更に広げた位置を示す目印を含む第１の部分像ｐｉ１を、車両１１の第２の部分像ｐｉ２に重畳した支援画像を、周囲の画像を用いて生成する。このような構成により、情報処理装置１０は、曲がる際に運転席よりも後方において最大の曲率半径で移動する極大移動部分を運転者に視認させ得るので、衝突の可能性を低減し得る。
　又、本実施形態の情報処理装置１０では、第１の部分像ｐｉ１は車両１１の走行に伴う目印の将来の移動の軌跡を含む。このような構成により、情報処理装置１０は、曲がる際に把握の難しい、運転席より後方における運転席が通る軌跡よりも幅の広い部分の通過経路をより容易に視認させ得る。したがって、情報処理装置１０は、衝突の可能性を更に低減し得る。
　又、本実施形態の情報処理装置１０は、車両１１の進行方向の側方に障害物が位置する場合、車両１１の右左折の仮定で目印が障害物と交差するか否かを判別する。このような構成により、情報処理装置１０は、車両１１と障害物の衝突の可能性を運転者に明確に認識させ得る。
　又、本実施形態の情報処理装置１０では、支援画像は車両１１の側面を第２の部分像として含む側面表示画像を有する。全長が比較的長い車両１１においては、右左折時に車両１１の側面の部分が前輪の通過した部分よりも膨らんだ位置を通過することがあるため、車両１１の側方の位置する物体に衝突する可能性がある。このような事象に対して、上記の構成を有する情報処理装置１０は、運転者に車両１１の側面を視認させ得るので、衝突の可能性を更に低減し得る。
　又、本実施形態の情報処理装置１０では、支援画像には車両１１近傍に位置する縁石の部分画像ｓｐｉが含まれる。このような構成により、情報処理装置１０は、右左折時の縁石への乗上げ及び縁石への衝突の可能性を低減し得る。
　又、本実施形態の情報処理装置１０では、車両１１の走行速度又は車両１１の前後方向の長さに基づいて所定の間隔を決定する。車両１１の走行速度が速い場合、右左折に際して車体が大きく傾く可能性が高い。例えば、走行速度が速い場合には、遅い場合に比べて所定の間隔を大きくしてもよい。又、車両１１の車体の前後方向に長い場合、車両１１の右左折がより困難である。例えば、車体の長さが長い場合には、短い場合に比べて所定の間隔を大きくしてもよい。このような構成により、情報処理装置１０は、車両１１の車体と障害物との接触を回避しうる。
　又、本実施形態の情報処理装置１０では、荷台に搭載された荷物の重さに基づいて所定の間隔を決定する。車両１１の荷台に搭載された荷物の重さが重い場合、右左折に際して車体が大きく傾く可能性が高い。例えば、荷物の重さが重い場合には、軽い場合に比べて所定の間隔を大きくしてもよい。このような構成により、情報処理装置１０は、車両１１の車体と障害物との接触を回避しうる。
　一実施形態において、（１）情報処理装置は、
　車両の周囲の画像を、少なくとも１つのカメラから取得する取得部と、
　前記車両の外表面の中で、右左折に際して最小の曲率半径で移動する最小移動部分よりも後方において最大の曲率半径で移動する極大移動部分の位置を示す目印を含む第１の部分像を、前記車両の少なくとも一部の像を含む第２の部分像に重畳した支援画像を、前記周囲の画像を用いて生成する制御部と、を備える。
　別の一実施形態において、（２）情報処理装置は、
　車両の周囲の画像を、少なくとも１つのカメラから取得する取得部と、
　前記車両の外表面の中で、右左折に際して最小の曲率半径で移動する最小移動部分よりも後方において最大の曲率半径で移動する極大移動部分の位置よりも該車両の幅方向に所定の間隔で広げた位置を示す目印を含む第１の部分像を、前記車両の少なくとも一部の像を含む第２の部分像に重畳した支援画像を、前記周囲の画像を用いて生成する制御部と、を備える。
　別の一実施形態において、（３）情報処理装置は、
　運転席を有する車両の周囲の画像を、少なくとも１つのカメラから取得する取得部と、
　前記運転席よりも後方であって、前記車両の外表面の中で右左折に際して最大の曲率半径で移動する極大移動部分の位置、又は該位置よりも該車両の幅方向に所定の間隔で更に広げた位置を示す目印を含む第１の部分像を、前記車両の少なくとも一部の像を含む第２の部分像に重畳した支援画像を、前記周囲の画像を用いて生成する制御部と、を備える。
　（４）上記（１）乃至（３）のいずれかの情報処理装置では、
　前記第１の部分像は、前記車両の走行に伴う前記目印の将来の移動の軌跡を含む。
　（５）上記（１）乃至（４）のいずれかの情報処理装置では、
　前記制御部は、前記車両の進行方向の側方に障害物が位置する場合、前記車両の右左折の過程で前記目印が前記障害物と交差するか否かを判別する。
　（６）上記（１）乃至（５）のいずれかの情報処理装置では、
　前記車両は、荷台を有するトラックであり、
　前記最小移動部分は、前記車両の最後尾の車輪と同じ位置における最大幅を有する部分であり、
　前記極大移動部分は、前記荷台の側面における前後方向の後端で最大幅を有する部分である。
　（７）上記（１）乃至（６）のいずれかの情報処理装置では、
　前記支援画像は、前記車両の側面を前記第２の部分像として含む側面表示画像を有する。
　（８）上記（７）の情報処理装置では、
　前記側面表示画像は、前記車両よりも鉛直上方を視点とした画像である。
　（９）上記（１）乃至（８）のいずれかの情報処理装置では、
　前記支援画像には、前記車両近傍に位置する縁石の部分画像が含まれる。
　（１０）上記（１）乃至（９）のいずれかの情報処理装置では、
　前記支援画像は、前記車両を上面視した上面表示画像を有する。
　（１１）上記（２）の情報処理装置では、
　前記制御部は、前記車両の走行速度、又は前記車両の前後方向の長さに基づいて、前記所定の間隔を決定する。
　（１２）上記（２）の情報処理装置では、
　前記車両は、荷台を有するトラックであり、
　前記制御部は、前記荷台に積載された荷物の重さに基づいて前記所定の間隔を決定する。
　以上、情報処理装置１０の実施形態を説明してきたが、本開示の実施形態としては、装置を実施するための方法又はプログラムの他、プログラムが記録された記憶媒体（一例として、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、磁気テープ、ハードディスク、又はメモリカード等）としての実施態様をとることも可能である。
　また、プログラムの実装形態としては、コンパイラによってコンパイルされるオブジェクトコード、インタプリタにより実行されるプログラムコード等のアプリケーションプログラムに限定されることはなく、オペレーティングシステムに組み込まれるプログラムモジュール等の形態であってもよい。さらに、プログラムは、制御基板上のＣＰＵにおいてのみ全ての処理が実施されるように構成されてもされなくてもよい。プログラムは、必要に応じて基板に付加された拡張ボード又は拡張ユニットに実装された別の処理ユニットによってその一部又は全部が実施されるように構成されてもよい。
　本開示に係る実施形態について説明する図は模式的なものである。図面上の寸法比率等は、現実のものとは必ずしも一致していない。
　本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は改変を行うことが可能であることに注意されたい。従って、これらの変形又は改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を１つに組み合わせたり、或いは分割したりすることが可能である。
　本開示に係る実施形態では、第１の部分像ｐｉ１に含まれる目印は、車両１１の極大移動部分の位置を示す支援画像が生成されるが、これに限られない。例えば、第１の部分像ｐｉ１に含まれる目印は、車両１１の外縁のうち、ユーザが指定する任意の位置を示す支援画像が生成されてよい。
　本開示に記載された構成要件の全て、及び／又は、開示された全ての方法、又は、処理の全てのステップについては、これらの特徴が相互に排他的である組合せを除き、任意の組合せで組み合わせることができる。また、本開示に記載された特徴の各々は、明示的に否定されない限り、同一の目的、同等の目的、または類似する目的のために働く代替の特徴に置換することができる。したがって、明示的に否定されない限り、開示された特徴の各々は、包括的な一連の同一、又は、均等となる特徴の一例にすぎない。
　さらに、本開示に係る実施形態は、上述した実施形態のいずれの具体的構成にも制限されるものではない。本開示に係る実施形態は、本開示に記載された全ての新規な特徴、又は、それらの組合せ、あるいは記載された全ての新規な方法、又は、処理のステップ、又は、それらの組合せに拡張することができる。
　本開示において「第１」及び「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１のカメラは、第２のカメラと識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。
　１０　情報処理装置
　１１　車両
　１２　カメラ
　１３　通信装置
　１４　ディスプレイ
　１５　第１のカメラ
　１６　第２のカメラ
　１７　第３のカメラ
　１８　第４のカメラ
　１９　入出力インタフェース（取得部）
　２０　制御部
　２１　記憶部
　２２　最後尾の車輪
　ｌｒｉ　左原画像
　ｐｉ１　第１の部分像
　ｐｉ２　第２の部分像
　ｐｉ３　第３の部分像
　ｐｓｉ　加工側面画像
　ｐｔｉ　加工上面画像
　ｒｒｉ　右原画像
　ｓｐｉ　縁石の部分画像

Claims (12)

  1. 　車両の周囲の画像を、少なくとも１つのカメラから取得する取得部と、
    　前記車両の外表面の中で、右左折に際して最小の曲率半径で移動する最小移動部分よりも後方において最大の曲率半径で移動する極大移動部分の位置を示す目印を含む第１の部分像を、前記車両の少なくとも一部の像を含む第２の部分像に重畳した支援画像を、前記周囲の画像を用いて生成する制御部と、を備える
    　情報処理装置。
  2. 　車両の周囲の画像を、少なくとも１つのカメラから取得する取得部と、
    　前記車両の外表面の中で、右左折に際して最小の曲率半径で移動する最小移動部分よりも後方において最大の曲率半径で移動する極大移動部分の位置よりも該車両の幅方向に所定の間隔で広げた位置を示す目印を含む第１の部分像を、前記車両の少なくとも一部の像を含む第２の部分像に重畳した支援画像を、前記周囲の画像を用いて生成する制御部と、を備える
    　情報処理装置。
  3. 　運転席を有する車両の周囲の画像を、少なくとも１つのカメラから取得する取得部と、
    　前記運転席よりも後方であって、前記車両の外表面の中で右左折に際して最大の曲率半径で移動する極大移動部分の位置、又は該位置よりも該車両の幅方向に所定の間隔で更に広げた位置を示す目印を含む第１の部分像を、前記車両の少なくとも一部の像を含む第２の部分像に重畳した支援画像を、前記周囲の画像を用いて生成する制御部と、を備える
    　情報処理装置。
  4. 　請求項１から３のいずれか１項に記載の情報処理装置において、
    　前記第１の部分像は、前記車両の走行に伴う前記目印の将来の移動の軌跡を含む
    　情報処理装置。
  5. 　請求項１から４のいずれか１項に記載の情報処理装置において、
    　前記制御部は、前記車両の進行方向の側方に障害物が位置する場合、前記車両の右左折の過程で前記目印が前記障害物と交差するか否かを判別する
    　情報処理装置。
  6. 　請求項１又は２に記載の情報処理装置において、
    　前記車両は、荷台を有するトラックであり、
    　前記最小移動部分は、前記車両の最後尾の車輪と同じ位置における最大幅を有する部分であり、
    　前記極大移動部分は、前記荷台の側面における前後方向の後端で最大幅を有する部分である
    　情報処理装置。
  7. 　請求項１から６のいずれか１項に記載の情報処理装置において、
    　前記支援画像は、前記車両の側面を前記第２の部分像として含む側面表示画像を有する
    　情報処理装置。
  8. 　請求項７に記載の情報処理装置において、
    　前記側面表示画像は、前記車両よりも鉛直上方を視点とした画像である
    　情報処理装置。
  9. 　請求項１から８のいずれか１項に記載の情報処理装置において、
    　前記支援画像には、前記車両近傍に位置する縁石の部分画像が含まれる
    　情報処理装置。
  10. 　請求項１から９のいずれか１項に記載の情報処理装置において、
    　前記支援画像は、前記車両を上面視した上面表示画像を有する
    　情報処理装置。
  11. 　請求項２に記載の情報処理装置において、
    　前記制御部は、前記車両の走行速度、又は前記車両の前後方向の長さに基づいて、前記所定の間隔を決定する
    　情報処理装置。
  12. 　請求項２に記載の情報処理装置において、
    　前記車両は、荷台を有するトラックであり、
    　前記制御部は、前記荷台に積載された荷物の重さに基づいて前記所定の間隔を決定する
    　情報処理装置。
     
    　
PCT/JP2023/017072 2022-05-06 2023-05-01 情報処理装置 Ceased WO2023214566A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/862,874 US20250353435A1 (en) 2022-05-06 2023-05-01 Information processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-076739 2022-05-06
JP2022076739A JP7756047B2 (ja) 2022-05-06 2022-05-06 情報処理装置

Publications (1)

Publication Number Publication Date
WO2023214566A1 true WO2023214566A1 (ja) 2023-11-09

Family

ID=88646500

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/017072 Ceased WO2023214566A1 (ja) 2022-05-06 2023-05-01 情報処理装置

Country Status (3)

Country Link
US (1) US20250353435A1 (ja)
JP (1) JP7756047B2 (ja)
WO (1) WO2023214566A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002133597A (ja) * 2000-10-23 2002-05-10 Isuzu Motors Ltd バックミラー装置
WO2007000868A1 (ja) * 2005-06-27 2007-01-04 Aisin Seiki Kabushiki Kaisha 障害物検出装置
JP2012061989A (ja) * 2010-09-17 2012-03-29 Fujitsu Ten Ltd 画像処理装置、及び、画像処理方法
JP2016107985A (ja) * 2014-12-05 2016-06-20 メクラ・ラング・ゲーエムベーハー・ウント・コー・カーゲーＭＥＫＲＡ Ｌａｎｇ ＧｍｂＨ ＆ Ｃｏ． ＫＧ ビジュアルシステム
EP3321130A1 (de) * 2016-09-07 2018-05-16 Continental Automotive GmbH Verfahren zur nachführung eines bildausschnitts
JP2019046086A (ja) * 2017-08-31 2019-03-22 アイシン精機株式会社 周辺監視装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3372190B2 (ja) * 1997-07-17 2003-01-27 富士重工業株式会社 車両の衝突防止装置
JP2001167380A (ja) * 1999-12-07 2001-06-22 Toshiba Corp 道路監視装置
JP4792889B2 (ja) * 2005-09-21 2011-10-12 トヨタ自動車株式会社 車両用運転支援装置
JP2009157490A (ja) * 2007-12-25 2009-07-16 Honda Motor Co Ltd 車両の運転支援装置
JP2011118485A (ja) * 2009-11-30 2011-06-16 Fujitsu Ten Ltd 方向転換支援装置及び方法
JP5729641B2 (ja) * 2011-04-01 2015-06-03 いすゞ自動車株式会社 車両用警報装置
EP2830031A4 (en) * 2012-03-19 2016-08-10 Toyota Motor Co Ltd DEVICE FOR SUPPORTING COLLISION PREVENTION
JP2019137367A (ja) * 2018-02-15 2019-08-22 アイシン・エィ・ダブリュ株式会社 運転支援システムおよび運転支援プログラム
JP7279674B2 (ja) * 2020-03-26 2023-05-23 いすゞ自動車株式会社 車両位置描画システム
JP2021157501A (ja) * 2020-03-27 2021-10-07 いすゞ自動車株式会社 車両位置描画システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002133597A (ja) * 2000-10-23 2002-05-10 Isuzu Motors Ltd バックミラー装置
WO2007000868A1 (ja) * 2005-06-27 2007-01-04 Aisin Seiki Kabushiki Kaisha 障害物検出装置
JP2012061989A (ja) * 2010-09-17 2012-03-29 Fujitsu Ten Ltd 画像処理装置、及び、画像処理方法
JP2016107985A (ja) * 2014-12-05 2016-06-20 メクラ・ラング・ゲーエムベーハー・ウント・コー・カーゲーＭＥＫＲＡ Ｌａｎｇ ＧｍｂＨ ＆ Ｃｏ． ＫＧ ビジュアルシステム
EP3321130A1 (de) * 2016-09-07 2018-05-16 Continental Automotive GmbH Verfahren zur nachführung eines bildausschnitts
JP2019046086A (ja) * 2017-08-31 2019-03-22 アイシン精機株式会社 周辺監視装置

Also Published As

Publication number Publication date
JP2023165550A (ja) 2023-11-16
JP7756047B2 (ja) 2025-10-17
US20250353435A1 (en) 2025-11-20

Similar Documents

Publication Publication Date Title
EP3915857B1 (en) A parking assist apparatus and a method of controlling the parking assist apparatus
JP6531832B2 (ja) 駐車スペース検出方法および装置
EP3367364B1 (en) Parking support information display method and parking support device
KR102205144B1 (ko) 주차 지원 방법 및 주차 지원 장치
US20260042348A1 (en) Display control device
CN108140312A (zh) 停车辅助方法及停车辅助装置
CA3002639A1 (en) Parking space line detection method and device
US11601621B2 (en) Vehicular display system
JP7342926B2 (ja) 表示制御装置及び表示制御プログラム
JP5516988B2 (ja) 駐車支援装置
JP5067169B2 (ja) 車両用駐車支援装置および画像表示方法
JP2009248765A (ja) 駐車支援装置および駐車支援方法
JP6595647B2 (ja) 走行制御装置、車両および走行制御方法
JP7296899B2 (ja) 車両用制御装置
JP7399312B2 (ja) 車両制御装置
WO2021161378A1 (ja) 駐車支援方法及び駐車支援装置
JP7452479B2 (ja) 表示制御装置
CN115257726A (zh) 车辆控制的方法、装置、车辆和存储介质
WO2023214566A1 (ja) 情報処理装置
JP2022189118A (ja) 車両用表示装置、表示方法及びプログラム
JP7790279B2 (ja) 車載表示装置
JP7703100B2 (ja) 運転支援装置、運転支援方法、およびプログラム
US20220086368A1 (en) Vehicular display system
JP2013184491A (ja) 車両走行支援装置
US20260021824A1 (en) Risk presentation apparatus and, risk presentation method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23799495

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18862874

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23799495

Country of ref document: EP

Kind code of ref document: A1

WWP Wipo information: published in national office

Ref document number: 18862874

Country of ref document: US