WO2019139129A1 - 設置位置情報提供装置及び設置位置情報提供方法 - Google Patents

設置位置情報提供装置及び設置位置情報提供方法 Download PDF

Info

Publication number
WO2019139129A1
WO2019139129A1 PCT/JP2019/000712 JP2019000712W WO2019139129A1 WO 2019139129 A1 WO2019139129 A1 WO 2019139129A1 JP 2019000712 W JP2019000712 W JP 2019000712W WO 2019139129 A1 WO2019139129 A1 WO 2019139129A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
installation position
image
unit
information providing
Prior art date
Application number
PCT/JP2019/000712
Other languages
English (en)
French (fr)
Inventor
章 国津
広康 鈴木
将人 林
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to CN201980007670.7A priority Critical patent/CN111566707B/zh
Priority to DE112019000388.7T priority patent/DE112019000388T5/de
Publication of WO2019139129A1 publication Critical patent/WO2019139129A1/ja
Priority to US16/915,419 priority patent/US11482003B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026—Antenna boresight
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Definitions

  • the present disclosure relates to a technique for providing an installation position of a adjustment facility used for an on-board sensor adjustment operation.
  • Patent Document 1 discloses a technique for adjusting the optical axis or the angular axis of an on-vehicle sensor such as an on-vehicle camera or a radar device using an adjustment device installed outside the vehicle.
  • One aspect of the present disclosure is to provide a technique for easily providing the installation position of the on-vehicle sensor adjustment facility to the worker with a small number of steps.
  • An installation position information providing device includes: an imaging device configured to capture an image; a display device configured to display an image captured by the imaging device; a recognition unit; a calculation unit; Prepare.
  • the recognition unit From the video taken by the imaging device, the recognition unit has placed two specific parts in the vicinity of the vehicle or vehicle included in the video, and the vehicle included in the video. Recognize the floor.
  • the calculation unit calculates the installation position of the adjustment facility in the image based on the two parts recognized by the recognition unit and the floor surface.
  • the adjustment facility is used to adjust the on-vehicle sensor mounted on the vehicle.
  • the superimposition display unit superimposes and displays the installation position object on the installation position calculated by the calculation unit on the image displayed on the display device.
  • the installation position object is an image showing the installation position.
  • the installation position of the adjustment facility is calculated based on the two specific parts and the floor surface photographed by the photographing device, and the installation position object is calculated at the calculated installation position in the image. It is displayed superimposed.
  • the operator can easily grasp the installation position from the image displayed on the display device.
  • the operator installs the adjustment facility at an appropriate position by installing the adjustment facility so that the actual adjustment facility matches the position of the installation position object displayed in a superimposed manner while viewing the image. can do.
  • Embodiment 1 (1-1) Overall Configuration of In-Vehicle Sensor Adjustment Support System
  • the in-vehicle sensor adjustment support system of the present embodiment shown in FIG. 1 includes a server 201, a personal computer (hereinafter abbreviated as "PC") 202, and a relay device 203. And an installation position information providing device (hereinafter, abbreviated as “AR device”) 5.
  • AR device an installation position information providing device.
  • AR is an abbreviation of "Augmented Reality”.
  • the relay device 203 relays wireless data communication. That is, the relay device 203 can wirelessly communicate data with the PC 202, and can wirelessly communicate data with the server 201 via the communication network 200.
  • the PC 202 can perform data communication with the server 201 via the communication network 200 or via the relay device 203 and the communication network 200.
  • the AR device 5 has a wireless communication function, and can communicate data with the PC 202 and the server 201 via the relay device 203. That is, the AR device 5, the server 201, and the PC 202 can mutually communicate data.
  • the specific configuration of the communication system in which the AR unit 5, the server 201 and the PC 202 can mutually communicate data is not limited to the configuration shown in FIG.
  • the AR device 5 may directly communicate with the server 201 or the PC 202 without passing through the relay device 203.
  • the communication network 200 may be a wired network or a wireless network.
  • the server 201 stores vehicle type information for each of various vehicles including the vehicle 1.
  • the server 201 further stores object data indicating installation position objects for each of various adjustment facilities (details will be described later).
  • the installation position object is an image showing the installation position of the adjustment facility.
  • the server 201 further stores various work-related information (for example, work procedures and the like) regarding adjustment work described later for each of various adjustment facilities.
  • Installation position objects corresponding to the same type of adjustment facility may be prepared individually for each vehicle or for each vehicle type. Also, for example, the same one installation position object may be prepared for a plurality of specific vehicles or vehicle types. The same applies to work-related information.
  • the PC 202 can download and store vehicle type information, object data, and work related information from the server 201.
  • the PC 202 may be able to upload vehicle type information, an installation position object, and work related information to the server 201.
  • the AR device 5 can download and acquire vehicle type information, an installation position object, and work related information from the server 201 or the PC 202.
  • the AR unit 5 is a so-called goggle type image information providing device mounted on the head of the worker 3.
  • the AR device 5 displays an image 7 captured by a camera 32 (see FIG. 2) described later in real time.
  • the image 7 shows the front of the worker 3.
  • the worker 3 may perform adjustment work of various on-vehicle sensors provided in the vehicle 1 in the following procedure, for example. That is, the worker 3 first stores the vehicle 1 on the floor 2 in a predetermined work area. Next, the worker 3 installs an adjustment facility corresponding to the on-vehicle sensor to be adjusted at a predetermined position on the floor 2 outside the vehicle 1. Then, the worker 3 performs the adjustment work of the corresponding on-vehicle sensor using the adjustment equipment.
  • the on-vehicle sensor adjustment support system of the present embodiment is used when performing the above-described adjustment operation. Specifically, the on-vehicle sensor adjustment support system provides the operator 3 with the installation position of the adjustment facility via the AR device 5 so that the operator 3 can easily and efficiently install the adjustment facility.
  • the AR device 5 displays the image 7, and further, according to the operation of the operator 3, the installation position object indicating the installation position at the position where the adjustment facility should be installed in the image 7. indicate.
  • the AR unit 5 has a vision based augmented reality function.
  • the AR unit 5 superimposes the installation position object on the installation position where the adjustment facility is to be installed in the actual image 7 by the augmented reality function.
  • the vehicle 1 includes a front camera 16 (see FIG. 4), a millimeter wave radar sensor 17 (see FIG. 4), a right rear radar 18 (see FIG. 7), and a left rear radar 19 as on-vehicle sensors. (See FIG. 7).
  • the front camera 16 is provided in the front of the cabin of the vehicle 1 and captures the front of the vehicle 1.
  • the image taken by the front camera 16 is used, for example, in various driving support systems such as a collision prevention support system and a lane departure prevention support system mounted on the vehicle 1.
  • the millimeter wave radar sensor 17 is provided, for example, on the back side of the front bumper of the vehicle 1.
  • the millimeter wave radar sensor 17 emits a radio wave in the millimeter wave band, and receives a reflected wave in which the emitted radio wave is reflected on a target in front of the vehicle 1.
  • the millimeter wave radar sensor 17 detects the position and the distance of the target based on the radiation wave and the reflected wave.
  • the detection result by the millimeter wave radar sensor 17 is used, for example, in various driving support systems such as a collision prevention support system and an obstacle warning system mounted on the vehicle 1.
  • the right rear radar 18 and the left rear radar 19 are basically configured in the same manner as the millimeter wave radar sensor 17.
  • the right rear radar 18 detects the position and distance of a target present on the right rear of the vehicle 1
  • the left rear radar 19 detects the position and distance of a target present on the left rear of the vehicle 1.
  • the right rear radar 18 and the left rear radar 19 are used, for example, in various driving support systems such as a blind spot monitor system mounted on the vehicle 1.
  • the adjustment equipment used when adjusting the optical axis is, for example, three target plates (not shown).
  • the worker 3 When adjusting the optical axis of the front camera 16, the worker 3 installs the three target plates at predetermined positions in front of the vehicle 1. Then, these three target plates are photographed by the front camera 16, and the optical axis of the front camera 16 is properly adjusted based on the photographed images of the three target plates.
  • the AR unit 5 is configured to be able to provide the operator 3 with the installation positions of the three target plates. Specifically, installation position objects 106 to 108 (see FIG. 5) indicating the installation positions are displayed at positions where three target boards are to be installed in the image 7 displayed on the AR device 5.
  • the millimeter wave radar sensor 17 In order to be able to detect the target accurately by the millimeter wave radar sensor 17, it is necessary to properly adjust the angular axis of the millimeter wave radar sensor 17 (that is, the radiation angle of the radar wave).
  • the adjustment equipment used when adjusting the angle axis is a reflector (not shown).
  • the worker 3 When adjusting the angle axis of the millimeter wave radar sensor 17, the worker 3 installs a reflector at a predetermined position in front of the vehicle 1. Then, the millimeter wave radar sensor 17 radiates a radar wave, receives the reflected wave that is reflected by the radar wave by the reflector, and adjusts the angle axis properly based on the received reflected wave.
  • the AR unit 5 is configured to be able to provide the operator 3 with the installation position of the reflector. Specifically, an installation position object 112 (see FIG. 6) indicating the installation position is displayed at the position where the reflector is to be installed in the image 7 displayed on the AR device 5.
  • the adjustment equipment used when adjusting the angle axis is a reflector (not shown).
  • each of the right rear radar 18 and the left rear radar 19 radiates a radar wave and receives the reflected wave reflected by the radar wave, and the angle axis is properly set based on the received reflected wave. adjust.
  • the AR unit 5 is configured to be able to provide the operator 3 with the installation position of each reflector. Specifically, in the image 7 displayed on the AR device 5, the first installation position object 83 (see FIG. 7) and the second installation position object 93 (in FIG. 7) indicate the installation positions where the reflectors should be installed. See FIG. 7).
  • the AR device 5 includes a space recognition sensor 31, a camera 32, a self position recognition sensor 33, and a display unit 34.
  • the space recognition sensor 31 acquires information indicating various objects present in front of the AR device 5.
  • the specific configuration of the space recognition sensor 31 is not particularly limited.
  • the space recognition sensor 31 is, for example, a laser sensor.
  • a space in front of the AR device 5 is three-dimensionally detected by the space recognition sensor 31, and space information as a detection result is detected.
  • the camera 32 captures an image in front of the AR device 5 and outputs the captured data.
  • the camera 32 of the present embodiment shoots an image (that is, a moving image) at a specific frame rate.
  • the own position recognition sensor 33 detects the position in the three-dimensional space of the AR device 5 itself, more specifically, for example, the direction (angle), and outputs the own position information which is the detection result.
  • the specific configuration of the self-position recognition sensor 33 is not particularly limited.
  • the own position recognition sensor 33 is, for example, a gyro sensor.
  • the display unit 34 is configured to be able to display an image.
  • the display unit 34 displays an image indicated by the shooting data output from the camera 32, that is, an image 7.
  • the display unit 34 also displays various objects in addition to the video 7 based on the display information from the object control unit 38.
  • the display unit 34 is mounted on the AR device 5 so that the worker 3 who properly wears the AR device 5 on the head can visually recognize an image or an image such as the image 7.
  • the AR device 5 further includes a space recognition control unit 35, an image recognition control unit 36, a self position recognition control unit 37, and an object control unit 38.
  • the space recognition control unit 35 periodically acquires space information detected by the space recognition sensor 31 and analyzes the space information in real time, and based on the analysis result, the space in front of the AR device 5 is cubic Recognize in real time originally.
  • the space recognition control unit 35 outputs space recognition information indicating the recognition result to the object control unit 38.
  • the image recognition control unit 36 recognizes a specific image in the captured video (that is, the video 7) based on the imaging data output from the camera 32.
  • the image recognition control unit 36 can extract feature points in the image 7 and can recognize various images based on the extracted feature points.
  • the image that can be recognized by the image recognition control unit 36 includes, for example, emblems, license plates, specific markers, and the like provided at the front end and the rear end of various vehicles.
  • the vehicle 1 of this embodiment includes a front emblem 11 and a front number plate 13 provided at the front end of the vehicle 1, and a rear emblem 12 and a rear number plate 14 provided at the rear end of the vehicle 1.
  • the image recognition control unit 36 can individually recognize the respective emblems 11 and 12 and the number plates 13 and 14 in the vehicle 1 in addition to being capable of recognizing the vehicle 1 itself.
  • Information of various images that can be recognized by the image recognition control unit 36 may be stored in advance in a memory (not shown) in the AR device 5 or may be downloadable from the server 201 or the PC 202.
  • the image recognition control unit 36 outputs the image recognition information indicating the recognition result of the image to the object control unit 38 together with the shooting data.
  • the image recognition control unit 36 can continue to recognize an image once recognized by the tracking function, even if the image captured by the change in the position or the angle of the camera 32 changes.
  • the self position recognition control unit 37 recognizes the direction (angle) of the AR device 5 based on the self position information output from the self position recognition sensor 33. Then, the self position recognition control unit 37 outputs self position recognition information indicating the recognition result to the object control unit 38.
  • the object control unit 38 displays the video 7 on the display unit 34 based on the shooting data input from the image recognition control unit 36.
  • the object control unit 38 also performs space recognition information input from the space recognition control unit 35, image recognition information input from the image recognition control unit 36, self position recognition information input from the self position recognition control unit 37, and Various processes are performed to calculate the installation position of the adjustment facility based on the vehicle type information, the object data, the work related information, and the like acquired from the server 201 or the PC 202 by wireless communication. Then, the object control unit 38 causes the installation position object to be displayed at the position corresponding to the calculated installation position in the image 7. The object control unit 38 can also display work related information in accordance with a user operation.
  • the installation position of the adjustment facility is uniquely determined according to the type of vehicle and the type of on-vehicle sensor to be adjusted. That is, the relative positional relationship between the vehicle 1 and the installation position object is uniquely determined. Therefore, the object control unit 38 follows the change each time the various information to be input changes (that is, whenever the direction or position of the AR device 5 changes), the above-mentioned relative positional relationship is maintained. Thus, the display position, display angle, size, etc. of the installation position object are also changed.
  • the installation position object is not displayed in the image 7. Then, when the installation position of the adjustment facility is included in the image 7 because the worker 3 faces the front of the vehicle 1 again, the installation position object is displayed on the image 7 again.
  • the display of the installation position object in the image 7 following the position and direction after the movement The angle also changes. Also, for example, when the worker 3 moves away from the vehicle 1, the sizes of the vehicle 1 and the installation position object in the image 7 also decrease accordingly.
  • the AR device 5 is provided with a computer (not shown).
  • a computer (not shown) includes a CPU, a memory, and the like.
  • the memory includes various semiconductor memory devices such as a ROM, a RAM, and a flash memory.
  • the memory stores a program for on-vehicle sensor adjustment support processing of FIG. 3 described later.
  • the space recognition control unit 35, the image recognition control unit 36, the own position recognition control unit 37, and the object control unit 38 indicate functional blocks that are realized by the CPU executing a program of the on-vehicle sensor adjustment support process. That is, the functions of the space recognition control unit 35, the image recognition control unit 36, the self position recognition control unit 37 and the object control unit 38 are provided by software.
  • the AR device 5 (specifically, the CPU) starts the in-vehicle sensor adjustment support process.
  • the AR unit 5 performs a vehicle type selection process at S110. Specifically, based on various types of vehicle type information acquired from the server 201 or the PC 202, the display unit 34 displays a list of vehicle types. Then, the vehicle 1 to be adjusted is selected from the displayed vehicle type list.
  • the vehicle type information may be stored in advance in the memory of the AR unit 5 or may be downloaded from the server 201 or the PC 202 at a predetermined timing (for example, at start-up or at a predetermined cycle) and stored in the memory. It may download and acquire from server 201 or PC202 at the time of execution of processing of.
  • any method may be used to select the vehicle 1 to be adjusted from the vehicle type list.
  • the worker 3 may indicate a specific gesture for an item indicating the vehicle 1 in the vehicle type list displayed in the image 7 (for example, the worker 3 may enter the item indicating the vehicle 1 in the image 7).
  • the vehicle 1 may be selectable by indicating the gesture so that the gesture is superimposed.
  • vehicle reference point determination processing is performed. Specifically, first, the functions as the space recognition control unit 35 and the self position recognition control unit 37 described above are executed. That is, based on the space information detected by the space recognition sensor 31 and the self position information output from the self position recognition sensor 33, the space recognition information and the self position recognition information described above are generated, and Based on the three-dimensional recognition of the forward space. Then, the function as the object control unit 38 is executed. That is, the floor 2 is recognized from the recognized front space.
  • the recognition method of the floor surface 2 may be any method.
  • the worker 3 indicates a specific gesture with respect to the displayed floor surface 2 (for example, the image 7)
  • the position at which the gesture is indicated may be recognized as the floor 2 by showing the gesture so that the gesture of the worker 3 is superimposed on the floor 2 at.
  • a specific marker placed on the floor 2 may be recognized by the function of the image recognition control unit 36, and the floor 2 may be recognized based on the recognition result (that is, based on the recognized marker).
  • the CPU 2 When the CPU 2 recognizes the floor 2, it calculates the relative positional relationship between the recognized floor 2 and the position of the AR 5 in the three-dimensional coordinate space. As a result, the relative positional relationship between the recognized floor surface 2 and the AR device 5 is determined.
  • the CPU calculates the center line 25 of the vehicle 1 shown in FIG.
  • the center line 25 first, central points in the vehicle width direction at two front and rear locations of the vehicle 1 are recognized.
  • the front emblem 11 and the rear emblem 12 of the vehicle 1 are recognized as an image indicating the center in the vehicle width direction.
  • This recognition is a function as the image recognition control unit 36.
  • the worker 3 recognizes the front emblem 11 from the image 7 by moving to a position where the front emblem 11 is displayed in the image 7. This recognition may be performed automatically, for example, by collating it with the data of the front emblem 11 stored in advance in the memory. Further, for example, the worker 3 may indicate a specific gesture with respect to the front emblem 11 displayed in the image 7, and an image in which the gesture is indicated in the image 7 may be recognized as the front emblem 11.
  • the operator 3 moves to a position where the rear emblem 12 is displayed in the image 7, and from the image 7, as in the case of the front emblem 11, the image recognition control is performed.
  • the rear emblem 12 is recognized by the function of the part 36.
  • the CPU When recognizing each of the emblems 11 and 12, the CPU generates a vertical line from each of the recognized emblems 11 and 12 to the floor surface 2. That is, as shown in FIG. 4, the front perpendicular 21 from the front emblem 11 to the floor 2 and the rear perpendicular 22 from the rear emblem 12 to the floor 2 are generated. Then, the front reference point 23 and the rear reference point 24 are calculated.
  • the front reference point 23 is an intersection of the front perpendicular 21 and the floor 2.
  • the rear reference point 24 is an intersection point of the rear perpendicular 22 and the floor 2.
  • the center line 25 passing through the front reference point 23 and the rear reference point 24 is calculated.
  • the center line 25 is a line on the floor surface 2.
  • the center line 25 on the floor surface 2 is calculated.
  • FIG. 4 shows an example of the image 7 in which the front perpendicular 21, the rear perpendicular 22 and the center line 25 are superimposed and displayed.
  • This process is a process of determining the on-vehicle sensor to be adjusted. Specifically, based on the information of various on-vehicle sensors acquired from the server 201 or the PC 202, the display unit 34 displays a list of on-vehicle sensors.
  • a plurality of in-vehicle sensors corresponding to a plurality of different vehicle types may be displayed in a list, but in the present embodiment, it can be mounted on the vehicle type selected in S110, that is, the vehicle 1 targeted for adjustment work (or actually Focus on the onboard sensors (mounted) to display a list.
  • an on-vehicle sensor to be adjusted is selected from the displayed on-vehicle sensor list. Any method may be used to select the on-vehicle sensor.
  • the worker 3 may be able to select the on-vehicle sensor by showing a specific gesture to the on-vehicle sensor to be adjusted in the list of on-vehicle sensors displayed in the image 7 .
  • the information of the in-vehicle sensor may be stored in advance in the memory of the AR device 5, or may be downloaded from the server 201 or PC 202 at a predetermined timing (for example, at start-up or at a predetermined cycle) and stored in the memory , And may be downloaded and acquired from the server 201 or the PC 202 when the process of S140 is executed.
  • S150 it is determined which in-vehicle sensor is selected in S140. If the selected on-vehicle sensor is the millimeter wave radar sensor 17, the process proceeds to S160. In S160, as a function of the object control unit 38, an installation position object indicating the position where the adjustment facility (i.e., the reflector) used for the adjustment operation of the millimeter wave radar sensor 17 should be displayed on the image 7.
  • the object control unit 38 an installation position object indicating the position where the adjustment facility (i.e., the reflector) used for the adjustment operation of the millimeter wave radar sensor 17 should be displayed on the image 7.
  • the installation reference point 61a is displayed at a position on the center line 25 ahead of the front reference point 23 by a fixed distance. Further, the installation reference line 61 passing through the installation reference point 61 a and perpendicular to the center line 25 is displayed. The fixed distance is preset according to the type of vehicle and the on-vehicle sensor to be adjusted. Further, the vertical line 111 perpendicular to the installation reference point 61a is displayed. Then, the installation position object 112 is displayed at a position at a certain height from the floor surface 2 in the installation perpendicular line 111. The constant height is also preset according to the type of vehicle and the on-vehicle sensor to be adjusted.
  • the relative positional relationship between the vehicle 1 and the installation position object 112 is constant. Therefore, when the worker 3 changes the direction or moves, the display position or angle of the installation position object 112 in the image 7 based on the relative positional relationship with the vehicle 1 following the movement of the direction or position. , Size also changes.
  • the operator 3 can clearly grasp where to install the reflector necessary for adjusting the angle axis of the millimeter wave radar sensor 17.
  • the operator 3 can install the reflector at the correct position by installing the reflector so as to overlap the installation position object 112 displayed on the AR device 5.
  • S150 If it is determined in S150 that the selected on-vehicle sensor is the front camera 16, the process proceeds to S170.
  • S170 as a function of the object control unit 38, an installation position object indicating a position at which the adjustment facility (that is, three target boards) used for the adjustment operation of the front camera 16 is to be displayed is displayed on the image 7.
  • the first installation reference point 41 a is displayed at a position on the center line 25 ahead of the front reference point 23 by a predetermined distance. Furthermore, the installation reference line 41 which passes through the first installation reference point 41a and is perpendicular to the center line 25 is displayed.
  • the fixed distance is preset according to the type of vehicle and the on-vehicle sensor to be adjusted.
  • the second installation reference point 41b and the third installation reference point 41c are displayed at positions separated by a predetermined distance in both directions from the first installation reference point 41a.
  • vertical lines perpendicular to the floor surface 2 that is, the first installation perpendicular line 101, the second installation perpendicular line 102, and the third installation perpendicular line 103 are displayed from the installation reference points 41a, 41b, and 41c.
  • the installation position objects 106, 107, and 108 are displayed at positions of a certain height from the floor surface 2 in the installation vertical lines 101, 102, and 103, respectively.
  • the constant height is also preset according to the type of vehicle and the on-vehicle sensor to be adjusted.
  • the relative positional relationship between the vehicle 1 and each installation position object 106, 107, 108 is also constant. Therefore, when the worker 3 changes its direction or moves, it follows the movement of its direction or position, and based on the relative positional relationship with the vehicle 1, the installation position objects 106, 107, 108 in the image 7.
  • the display position, angle, size, etc. also change.
  • the operator 3 By displaying the installation position objects 106, 107, 108 in the image 7 in this manner, the operator 3 clearly determines where to install the three target plates necessary for the optical axis adjustment of the front camera 16. I can understand.
  • the operator 3 installs the three target boards in the correct position by installing the three target boards so as to overlap the three installation position objects 106, 107, and 108 displayed on the AR device 5. Can.
  • S150 If it is determined in S150 that the selected on-vehicle sensors are the rear sensors 18 and 19, the process proceeds to S180.
  • S180 as a function of the object control unit 38, an installation position object indicating a position at which an adjustment facility (that is, an individual reflector for each of the rear sensors 18 and 19) used for the adjustment operation of each rear sensor 18 and 19 is installed , 7 to display.
  • an adjustment facility that is, an individual reflector for each of the rear sensors 18 and 19
  • two installation reference lines 81 and 91 are displayed on the floor surface 2 from the rear reference point 24 at the center line 25 in a fixed angular direction with respect to the center line 25.
  • the two installation reference lines 81 and 91 are in line symmetry with respect to the center line 25.
  • installation perpendiculars 82 and 92 perpendicular to the floor surface 2 are displayed at positions away from the rear reference point 24 by a predetermined distance in the installation reference lines 81 and 91, respectively. Then, the installation position objects 83 and 93 are displayed at positions of a certain height from the floor surface 2 in the installation vertical lines 82 and 92, respectively.
  • the constant height is also preset according to the type of vehicle and the on-vehicle sensor to be adjusted.
  • the relative positional relationship between the vehicle 1 and the installation position objects 83 and 93 is also constant. Therefore, when the worker 3 changes the direction or moves, the display position of the installation position object 83, 93 in the image 7 based on the relative positional relationship with the vehicle 1 following the movement of the direction or position. The angle, the size, etc. also change.
  • the operator 3 can clearly grasp where to install the reflectors necessary for adjusting the angle axes of the rear sensors 18 and 19. .
  • the operator 3 can install each reflector at the correct position by installing the reflectors so as to overlap the two installation position objects 83 and 93 displayed on the AR device 5.
  • work related information may also be displayed on the image 7.
  • the work related information may be displayed or not displayed according to the operation of the worker 3.
  • S190 as a function of the image recognition control unit 36, it is determined whether or not the adjustment facility has been installed at the correct position (that is, the position where the installation position object is displayed in the image 7). Specifically, for example, if the positional relationship between the actual adjustment facility and the installation position object is correct in the image 7 using the image recognition function, it is determined that the image 7 is installed at the correct position. .
  • notification processing is performed.
  • This notification process is a process of notifying the worker 3 that the adjustment facility has been installed at the correct position.
  • the specific notification information may be determined as appropriate.
  • specific notification information may be displayed on the display unit 34.
  • a specific sound may be output by an audio output device (not shown). May be
  • the process may be shifted from S190 to S200 in the processes of S190 to S200.
  • it may be determined individually for each adjustment facility whether or not it has been correctly installed, and notification processing may be performed based on the determination result.
  • the in-vehicle sensor adjustment support process is ended.
  • the process may return to S140. In this way, after the adjustment work of a certain on-vehicle sensor is finished, it is possible to smoothly shift to the adjustment work of another on-vehicle sensor in the same vehicle.
  • the installation position of the adjustment facility is calculated based on the two places taken by the camera 32 and the floor surface 2, and the calculated position in the image displayed on the display unit 34 is calculated.
  • the installation position object is displayed superimposed on the installation position.
  • the operator can easily grasp the installation position from the image displayed on the display unit 34. Then, the operator installs the adjustment facility at an appropriate position by installing the adjustment facility so that the actual adjustment facility matches the position of the installation position object displayed in a superimposed manner while viewing the image. can do.
  • the two emblems 11 and 12 mounted on the vehicle are subjected to image recognition, and two reference points 23 and 24 are calculated based on the recognition result. Therefore, the two reference points 23 and 24 necessary for calculating the installation position can be easily and appropriately calculated.
  • the center line 25 is calculated from the two reference points 23 and 24, and the installation position is calculated based on the center line 25. Therefore, the installation position can be easily and appropriately calculated.
  • the vehicle type is selected by the operator prior to the calculation of the installation position. Then, the installation position is calculated according to the selected vehicle type. Therefore, the installation position can be accurately calculated according to the type of vehicle.
  • the on-board sensor option is narrowed down to the on-board sensor corresponding to the selected vehicle type. Therefore, the worker can easily select the on-vehicle sensor corresponding to the vehicle type.
  • the center position of the front number plate 13 is set as the center point on the front side of the vehicle by image recognition of the front number plate 13, and the center position of the rear number plate 14 is set as the vehicle rear It may be recognized as the center point of the side.
  • data of a license plate to be recognized may be stored in advance in a memory, and automatic recognition may be performed by collating the data. Further, for example, when a specific gesture by the operator 3 is shown on the license plate displayed in the image 7, an image in which the gesture is shown may be recognized as the license plate.
  • the present invention is not limited to recognition of a specific component in the vehicle 1.
  • a specific marker is installed at a specific position in the vehicle 1 or at a specific position in the vicinity of the vehicle 1, and the image is recognized Thus, the center point may be recognized.
  • FIG. 8 An example of recognition of a center point using a marker is shown in FIG.
  • a front marker 49 is provided at the upper center of the front license plate 13
  • a rear marker 50 is provided at the upper center of the rear license plate 14.
  • the image data of each of the markers 49 and 50 may be stored in advance in the memory of the AR device 5 or may be downloaded and acquired from the server 201 or the PC 202 to the AR device 5.
  • the markers 49 and 50 are individually recognized by the image recognition control unit 36 in the AR device 5.
  • the process after each marker 49, 50 is recognized is basically the same as the process after each emblem 11, 12 in the above embodiment is recognized. That is, in the description of the above embodiment, the emblems 11 and 12 may be replaced with the markers 49 and 50, respectively.
  • the distance from the front reference point 23 to the installation reference point 61a is the offset in FIG.
  • the distance from the front reference point 23 to the installation reference point 61a is different.
  • the position which installs a marker is not restricted to each number plate. Any marker may be placed anywhere as long as the marker can be used to recognize the center point in the vehicle width direction.
  • the vehicle width area may be recognized from the entire image of the vehicle 1 using the image recognition function, and the center point in the vehicle width direction may be recognized from the vehicle width area.
  • the method of recognizing the vehicle width area may be another method.
  • markers may be provided at both left and right ends of the vehicle, and the markers may be image-recognized to recognize the area of the vehicle width.
  • the position at which the gesture is indicated is recognized as the left and right ends of the vehicle, and the center point is based on the recognition result. May be recognized.
  • a part of the functions of the AR device 5 of the above embodiment may be implemented in a device different from the AR device 5.
  • the AR device 70 includes the camera 32 and the display unit 34, and the functions of the space recognition control unit 35, the image recognition control unit 36 and the self position recognition control unit 37 are AR machine 70. May be implemented in another device (e.g., the PC 202).
  • At least one marker is installed on at least one of the vehicle 1 and its surroundings, the at least one marker is photographed by the camera 32, and space recognition by the space recognition control unit 35 is performed based on the photographed image.
  • the generation of information and the generation of self-position recognition information by the self-position recognition control unit 37 may be performed.
  • the space recognition control unit 35 may be configured to spatially recognize an object (for example, a floor, a vehicle, etc.) to be an object from the installation position of a specific marker.
  • the self position recognition control unit 37 may be configured to recognize the self position based on, for example, the direction of the specific marker captured by the camera 32 and the result of the space recognition.
  • data of an image captured by the camera 32 is transmitted from the AR device 70 to the PC 202 by communication.
  • video data of the video 7 generated by the object control unit 38 in the PC 202 is transmitted from the PC 202 to the AR device 70 by communication.
  • vehicle type information and object data are stored in advance in the memory 215 of the PC 202.
  • the PC 202 may perform various processes based on the information and data stored in the memory 215. However, these pieces of information and data may be obtainable from another device such as the server 201.
  • the camera 32 may be a single-eye camera, or may be a camera provided with a plurality of lenses, such as a stereo camera.
  • the specific mode of the AR machine is not limited to the goggle type.
  • a tablet terminal provided with a camera and a display unit may have the function of an AR device.
  • a plurality of functions of one component in the above embodiment are realized by a plurality of components, or a single function of one component is realized by a plurality of components It is also good. Also, a plurality of functions possessed by a plurality of components may be realized by one component, or one function realized by a plurality of components may be realized by one component. In addition, part of the configuration of the above embodiment may be omitted. In addition, at least a part of the configuration of the above-described embodiment may be added to or replaced with the configuration of the other above-described embodiment.

Abstract

本開示の１つの局面における設置位置情報提供装置（５）は、撮影装置と、撮影装置により撮影された映像（７）を表示する表示装置と、認識部と、算出部と、重畳表示部とを備える。認識部は、撮影装置により撮影された映像から、車両（１）又は車両の近傍における、特定の２つの部位、及び床面（２）を認識する。算出部は、認識部により認識された特定の２つの部位及び床面に基づいて、映像内における、車載センサ（１７）の調整作業に用いられる調整用設備の設置位置を算出する。重畳表示部は、表示装置に表示される映像における、算出部により算出された設置位置に、設置位置を示す画像である設置位置オブジェクト（１１２）を重畳表示させる。

Description

設置位置情報提供装置及び設置位置情報提供方法 関連出願の相互参照
　本国際出願は、２０１８年１月１１日に日本国特許庁に出願された日本国特許出願第２０１８－００２７９４号に基づく優先権を主張するものであり、日本国特許出願第２０１８－００２７９４号の全内容を本国際出願に参照により援用する。
　本開示は、車載センサの調整作業に用いられる調整用設備の設置位置を提供する技術に関する。
　特許文献１には、車載カメラやレーダ装置などの車載センサの光軸或いは角度軸を、車外に設置した調整装置を利用して調整する技術が開示されている。
特開２０１０－１５６６０９号公報
　車載センサの調整作業を精度よく行うためには、調整作業に必要な調整装置を適正な位置に設置する必要がある。調整装置の設置作業は、一般に、複数の作業者が各種測量を行いながら実施されている。発明者の詳細な検討の結果、このような設置作業には、多くの工数を要するという課題が見出された。
　本開示の１つの局面は、車載センサの調整用設備の設置位置を、少ない工数で容易に作業者に提供する技術を提供することにある。
　本開示の１つの局面における設置位置情報提供装置は、映像を撮影する撮影装置と、前記撮影装置により撮影された映像を表示する表示装置と、認識部と、算出部と、重畳表示部とを備える。
　認識部は、撮影装置により撮影された映像から、その映像に含まれている車両又は車両の近傍における、特定の２つの部位、及び、その映像に含まれている、車両が載置されている床面、を認識する。
　算出部は、認識部により認識された２つの部位及び床面に基づいて、映像内における調整用設備の設置位置を算出する。調整用設備は、車両に搭載される車載センサの調整作業に用いられる。
　重畳表示部は、表示装置に表示される映像に対し、算出部により算出された設置位置に、設置位置オブジェクトを重畳表示させる。設置位置オブジェクトは、設置位置を示す画像である。
　このような構成によれば、撮影装置により撮影された特定の２つの部位及び床面に基づいて、調整用設備の設置位置が算出され、映像中におけるその算出された設置位置に設置位置オブジェクトが重畳表示される。これにより、作業者は、表示装置に表示されている映像から設置位置を容易に把握することができる。そして、作業者は、映像を見ながら、重畳表示されている設置位置オブジェクトの位置に実際の調整用設備が合致するように調整用設備を設置することで、調整用設備を適正な位置に設置することができる。
　よって、車載センサの調整用設備の設置位置を、少ない工数で容易に作業者に提供することが可能となる。
実施形態の車載センサ調整支援システムの全体構成を示す説明図である。 ＡＲ機の概略構成を示すブロック図である。 車載センサ調整支援処理のフローチャートである。 ＡＲ機に基準点及び基準線が重畳表示される例を示す説明図である。 ＡＲ機にフロントカメラに対応した設置位置オブジェクトが重畳表示される例を示す説明図である。 ＡＲ機にミリ波レーダセンサに対応した設置位置オブジェクトが重畳表示される例を示す説明図である。 ＡＲ機に２つの後方センサに対応した設置位置オブジェクトが重畳表示される例を示す説明図である。 マーカを用いて車両中心を認識させる例を示す説明図である。 ＡＲ機の他の構成例を示すブロック図である。
　以下、本開示の例示的な実施形態について、図面を参照しながら説明する。
　［１．実施形態］
　（１－１）車載センサ調整支援システムの全体構成
　図１に示す本実施形態の車載センサ調整支援システムは、サーバ２０１と、パーソナルコンピュータ（以下、「ＰＣ」と略称する）２０２と、中継装置２０３と、設置位置情報提供装置（以下、「ＡＲ機」と略称する）５とを備える。なお、「ＡＲ」は、「Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ」の略称である。
　中継装置２０３は、無線によるデータ通信を中継する。即ち、中継装置２０３は、無線によりＰＣ２０２とデータ通信可能であり、無線により通信ネットワーク２００を介してサーバ２０１とデータ通信可能である。ＰＣ２０２は、通信ネットワーク２００を介して、或いは中継装置２０３及び通信ネットワーク２００を介して、サーバ２０１とデータ通信可能である。ＡＲ機５は、無線通信機能を備え、中継装置２０３を介してＰＣ２０２及びサーバ２０１とデータ通信可能である。つまり、ＡＲ機５、サーバ２０１及びＰＣ２０２は、相互にデータ通信可能である。
　ＡＲ機５、サーバ２０１及びＰＣ２０２が相互にデータ通信可能な通信システムの具体的な構成は、図１に示した構成に限定されない。例えば、ＡＲ機５が、中継装置２０３を介さずにサーバ２０１或いはＰＣ２０２と直接通信可能であってもよい。また例えば、通信ネットワーク２００は有線のネットワークであってもよいし無線のネットワークであってもよい。
　サーバ２０１には、車両１を含む各種の車両毎の車種情報が記憶されている。サーバ２０１には、さらに、各種の調整用設備（詳細は後述）毎の設置位置オブジェクトを示すオブジェクトデータが記憶されている。設置位置オブジェクトは、調整用設備の設置位置を示す画像である。サーバ２０１には、さらに、各種の調整用設備毎の、後述する調整作業に関する各種の作業関連情報（例えば作業手順など）も記憶されている。
　同種の調整用設備に対応した設置位置オブジェクトが、車両毎あるいは車種毎に個別に用意されていてもよい。また例えば、特定の複数の車両あるいは車種に対して同じ一つの設置位置オブジェクトが用意されていてもよい。作業関連情報についても同様である。
　ＰＣ２０２は、サーバ２０１から、車種情報、オブジェクトデータ及び作業関連情報をダウンロードして保存することが可能である。ＰＣ２０２は、サーバ２０１へ車種情報、設置位置オブジェクト及び作業関連情報をアップロードすることが可能であってもよい。
　ＡＲ機５は、サーバ２０１又はＰＣ２０２から、車種情報、設置位置オブジェクト及び作業関連情報をダウンロードして取得することが可能である。
　ＡＲ機５は、作業者３の頭部に装着されるいわゆるゴーグル型の画像情報提供デバイスである。ＡＲ機５には、後述するカメラ３２（図２参照）で撮影された映像７がリアルタイムに表示される。ＡＲ機５が作業者３に適正に装着されている場合、映像７は、作業者３の前方を示す。
　作業者３は、例えば次のような手順で、車両１に設けられた各種の車載センサの調整作業を行ってもよい。即ち、作業者３は、まず、車両１を、所定の作業エリアにおける床面２上に入庫させる。作業者３は、次に、調整対象の車載センサに対応した調整用設備を、床面２上の車両１の外部における所定の位置に設置する。そして、作業者３は、その調整用設備を用いて、対応する車載センサの調整作業を行う。
　本実施形態の車載センサ調整支援システムは、上記の調整作業を行う際に利用される。具体的に、車載センサ調整支援システムは、作業者３が調整用設備を容易且つ効率的に設置できるように、調整用設備の設置位置を、ＡＲ機５を介して作業者３に提供する。
　即ち、ＡＲ機５は、映像７を表示し、さらに、作業者３の操作に応じて、その映像７の中における、調整用設備を設置すべき位置に、その設置位置を示す設置位置オブジェクトを表示する。
　ＡＲ機５は、ビジョンベース型の拡張現実機能を有する。ＡＲ機５は、その拡張現実機能によって、実際の映像７の中における、調整用設備を設置すべき設置位置に、設置位置オブジェクトを重畳表示する。
　本実施形態の車両１には、車載センサとして、フロントカメラ１６（図４参照）と、ミリ波レーダセンサ１７（図４参照）と、右後方レーダ１８（図７参照）と、左後方レーダ１９（図７参照）とが設けられている。
　フロントカメラ１６は、車両１の車室前方に設けられ、車両１の前方を撮影する。フロントカメラ１６により撮影された画像は、例えば、車両１に搭載された衝突防止支援システムや車線逸脱防止支援システムなどの各種の運転支援システムに利用される。
　ミリ波レーダセンサ１７は、例えば、車両１におけるフロントバンパーの裏側に設けられる。ミリ波レーダセンサ１７は、ミリ波帯の電波を放射し、その放射した電波が車両１前方の物標に反射した反射波を受信する。ミリ波レーダセンサ１７は、放射波と反射波とに基づいて、物標の位置や距離を検出する。ミリ波レーダセンサ１７による検出結果は、例えば、車両１に搭載された衝突防止支援システムや障害物警報システムなどの各種の運転支援システムに利用される。
　右後方レーダ１８及び左後方レーダ１９は、基本的には、ミリ波レーダセンサ１７と同様に構成されている。右後方レーダ１８は、車両１の右後方に存在する物標の位置や距離を検出し、左後方レーダ１９は、車両１の左後方に存在する物標の位置や距離を検出する。右後方レーダ１８及び左後方レーダ１９は、例えば、車両１に搭載されたブラインドスポットモニタシステムなどの各種の運転支援システムに利用される。
　フロントカメラ１６によって車両１の前方における適切な範囲が撮影されるようにするためには、フロントカメラ１６の光軸を適正に調整する必要がある。その光軸の調整を行う際に用いられる調整用設備は、例えば、不図示の３つのターゲット板である。
　作業者３は、フロントカメラ１６の光軸を調整する際、３つのターゲット板をそれぞれ車両１の前方における所定位置に設置する。そして、フロントカメラ１６においてそれら３つのターゲット板を撮影し、その撮影された３つのターゲット板の画像に基づいて、フロントカメラ１６の光軸を適正に調整する。
　フロントカメラ１６の光軸を適正に調整するためには、３つのターゲット板の各々を所定の位置に正しく設置する必要がある。ＡＲ機５は、その３つのターゲット板の設置位置を作業者３に提供可能に構成されている。具体的に、ＡＲ機５に表示される映像７の中における、３つのターゲット板を設置すべき位置に、それらの設置位置を示す設置位置オブジェクト１０６～１０８（図５参照）が表示される。
　ミリ波レーダセンサ１７によって物標を精度良く検出できるようにするためには、ミリ波レーダセンサ１７の角度軸（即ち、レーダ波の放射角度）を適正に調整する必要がある。その角度軸の調整を行う際に用いられる調整用設備は、不図示のリフレクタである。
　作業者３は、ミリ波レーダセンサ１７の角度軸を調整する際、車両１の前方における所定位置にリフレクタを設置する。そして、ミリ波レーダセンサ１７においてレーダ波を放射させると共にそのレーダ波がリフレクタで反射された反射波を受信し、その受信した反射波に基づいて、角度軸を適正に調整する。
　ミリ波レーダセンサ１７の角度軸を適正に調整するためには、リフレクタを所定の位置に正しく設置する必要がある。ＡＲ機５は、そのリフレクタの設置位置を作業者３に提供可能に構成されている。具体的に、ＡＲ機５に表示される映像７の中における、リフレクタを設置すべき位置に、その設置位置を示す設置位置オブジェクト１１２（図６参照）が表示される。
　右後方レーダ１８及び左後方レーダ１９によって物標を精度良く検出できるようにするためには、これら各々の角度軸を適正に調整する必要がある。その角度軸の調整を行う際に用いられる調整用設備は、不図示のリフレクタである。
　作業者３は、右後方レーダ１８及び左後方レーダ１９の角度軸を調整する際、車両１の右後方及び左後方のそれぞれにおける所定位置に、リフレクタを設置する。そして、右後方レーダ１８及び左後方レーダ１９の各々において、レーダ波を放射させると共にそのレーダ波がリフレクタで反射された反射波を受信し、その受信した反射波に基づいて、角度軸を適正に調整する。
　右後方レーダ１８及び左後方レーダ１９の角度軸を適正に調整するためには、各リフレクタを所定の位置に正しく設置する必要がある。ＡＲ機５は、各リフレクタの設置位置を作業者３に提供可能に構成されている。具体的に、ＡＲ機５に表示される映像７の中における、各リフレクタを設置すべき位置に、その設置位置を示す第１設置位置オブジェクト８３（図７参照）及び第２設置位置オブジェクト９３（図７参照）が表示される。
　（１－２）ＡＲ機の構成
　図２に示すように、ＡＲ機５は、空間認識用センサ３１と、カメラ３２と、自位置認識用センサ３３と、表示部３４とを備える。
　空間認識用センサ３１は、ＡＲ機５の前方に存在する各種物体を示す情報を取得する。空間認識用センサ３１の具体的な構成は特に限定されない。本実施形態では、空間認識用センサ３１は、例えばレーザセンサである。空間認識用センサ３１により、ＡＲ機５の前方の空間が三次元的に検出され、その検出結果である空間情報が検出される。
　カメラ３２は、ＡＲ機５の前方の映像を撮影し、その撮影データを出力する。本実施形態のカメラ３２は、特定のフレームレートで映像（即ち動画）を撮影する。
　自位置認識用センサ３３は、ＡＲ機５自身の、三次元空間内における位置、より具体的には例えば向き（角度）を検出し、その検出結果である自位置情報を出力する。自位置認識用センサ３３の具体的な構成は特に限定されない。本実施形態では、自位置認識用センサ３３は、例えばジャイロセンサである。
　表示部３４は、画像を表示可能に構成されている。表示部３４は、カメラ３２から出力された撮影データが示す映像、即ち映像７を表示する。また、表示部３４は、オブジェクト制御部３８からの表示情報に基づいて、映像７に加えて各種オブジェクトを表示する。表示部３４は、ＡＲ機５において、ＡＲ機５を頭部に適正に装着した作業者３が、映像７などの映像或いは画像を視認可能となるように搭載されている。
　ＡＲ機５は、さらに、空間認識制御部３５と、画像認識制御部３６と、自位置認識制御部３７と、オブジェクト制御部３８とを備える。
　空間認識制御部３５は、空間認識用センサ３１で検出される空間情報を周期的に取得して、その空間情報をリアルタイムに解析し、その解析結果に基づき、ＡＲ機５の前方の空間を三次元的にリアルタイムに認識する。空間認識制御部３５は、認識結果を示す空間認識情報をオブジェクト制御部３８に出力する。
　画像認識制御部３６は、カメラ３２から出力される撮影データに基づき、撮影された映像（即ち映像７）内における特定の画像を認識する。本実施形態では、画像認識制御部３６は、映像７中の特徴点を抽出し、その抽出した特徴点に基づいて、各種の画像を認識可能である。画像認識制御部３６により認識可能な画像には、例えば、各種車両の前端及び後端に設けられたエンブレムやナンバープレート、特定のマーカなどが含まれる。
　本実施形態の車両１は、図４に示すように、車両１の前端に設けられたフロントエンブレム１１及びフロントナンバープレート１３、車両１の後端に設けられたリヤエンブレム１２及びリヤナンバープレート１４を備えている。画像認識制御部３６は、車両１自体を認識可能であることに加え、車両１におけるこれら各エンブレム１１，１２、各ナンバープレート１３，１４を個別に認識可能である。
　画像認識制御部３６が認識可能な各種画像の情報は、ＡＲ機５における不図示のメモリに予め記憶されていてもよいし、サーバ２０１或いはＰＣ２０２からダウンロード可能であってもよい。
　画像認識制御部３６は、画像の認識結果を示す画像認識情報を、撮影データと共に、オブジェクト制御部３８に出力する。また、画像認識制御部３６は、トラッキング機能により、カメラ３２の位置や角度が変化して撮影される映像が変化しても、一度認識した画像を継続して認識することができる。
　自位置認識制御部３７は、自位置認識用センサ３３から出力される自位置情報に基づき、ＡＲ機５の向き（角度）を認識する。そして、自位置認識制御部３７は、その認識結果を示す自位置認識情報を、オブジェクト制御部３８に出力する。
　オブジェクト制御部３８は、画像認識制御部３６から入力される撮影データに基づいて、表示部３４に映像７を表示する。
　また、オブジェクト制御部３８は、空間認識制御部３５から入力される空間認識情報、画像認識制御部３６から入力される画像認識情報、自位置認識制御部３７から入力される自位置認識情報、及び無線通信にてサーバ２０１或いはＰＣ２０２から取得される車種情報、オブジェクトデータ及び作業関連情報等に基づいて、調整用設備の設置位置を算出するための各種処理を行う。そして、オブジェクト制御部３８は、映像７における、その算出した設置位置に対応した位置に、設置位置オブジェクトを表示させる。オブジェクト制御部３８は、ユーザ操作に応じて作業関連情報を表示させることも可能である。
　調整用設備の設置位置は、車種及び調整作業対象の車載センサの種類に応じて一意に定まる。つまり、車両１と設置位置オブジェクトとの相対的位置関係は一意に定まる。そのため、オブジェクト制御部３８は、入力される各種情報が変化する度に（即ち、ＡＲ機５の向きや位置が変化する度に）その変化に追随して、上記相対的位置関係が維持されるように、設置位置オブジェクトの表示位置、表示角度、大きさなども変化させる。
　つまり、作業者３が移動したりＡＲ機５の角度や向きを変えたりしても、映像７に表示される、車両１と設置位置オブジェクトとの相対関係は一定に維持される。
　そのため、例えば、作業者３が車両１の後方を向いたことにより、映像７内に調整用設備の設置位置が入らなくなった場合は、映像７には設置位置オブジェクトは表示されない。そして、作業者３が再び車両１の前方を向いたことにより、映像７内に調整用設備の設置位置が入った場合は、映像７には再び設置位置オブジェクトが表示される。
　また、例えば、作業者３が場所を移動して調整用設備の設置位置近傍を別の角度から見た場合は、その移動後の位置及び向きに追随して、映像７における設置位置オブジェクトの表示角度も変化する。また例えば、作業者３が車両１から遠ざかると、それに応じて映像７における車両１及び設置位置オブジェクトの大きさも小さくなる。
　なお、ＡＲ機５は、不図示のコンピュータを備えている。不図示のコンピュータは、ＣＰＵ、メモリなどを備える。メモリは、ＲＯＭ、ＲＡＭ、フラッシュメモリなどの各種の半導体記憶装置を備える。メモリには、後述する図３の車載センサ調整支援処理のプログラムが記憶されている。
　空間認識制御部３５、画像認識制御部３６、自位置認識制御部３７及びオブジェクト制御部３８は、ＣＰＵが車載センサ調整支援処理のプログラムを実行することによって実現される機能ブロックを示している。つまり、空間認識制御部３５、画像認識制御部３６、自位置認識制御部３７及びオブジェクト制御部３８が有する機能は、ソフトウェアによって提供される。
　ただし、これら各機能の少なくとも一部又は全てが、ソフトウェアによる処理ではなく一つあるいは複数のハードウェアを用いて実現されてもよい。
　（１－３）車載センサ調整支援処理
　次に、ＡＲ機５における前述のＣＰＵが実行する車載センサ調整支援処理、即ち、空間認識制御部３５、画像認識制御部３６、自位置認識制御部３７及びオブジェクト制御部３８としての機能を実現する車載センサ調整支援処理について、図３を用いて説明する。
　作業者３が、ＡＲ機５に対して、車載センサ調整支援処理を開始させるための特定の起動操作を行うと、ＡＲ機５は（詳しくはＣＰＵは）、車載センサ調整支援処理を開始する。
　ＡＲ機５は、車載センサ調整支援処理を開始すると、Ｓ１１０で、車種選択処理を行う。具体的に、サーバ２０１或いはＰＣ２０２から取得した各種車種情報に基づき、表示部３４に、車種の一覧リストを表示する。そして、表示した車種リストの中から、調整作業対象の車両１を選択させる。
　車種情報は、予めＡＲ機５のメモリに記憶されていてもよいし、所定のタイミング（例えば起動時、或いは一定周期）でサーバ２０１或いはＰＣ２０２からダウンロードしてメモリに記憶させてもよいし、Ｓ１１０の処理の実行時にサーバ２０１或いはＰＣ２０２からダウンロードして取得してもよい。
　また、車種リストの中から調整作業対象の車両１を選択させる方法は、どのような方法であってもよい。例えば、作業者３が、映像７に表示されている車種リスト中の、車両１を示す項目に対して、特定のジェスチャーを示すこと（例えば、映像７において車両１を示す項目に作業者３のジェスチャーが重畳するようにジェスチャーを示すこと）によって、車両１を選択可能であってもよい。
　なお、作業者３による選択操作を要することなく、例えば、画像認識機能を用いて、映像７に表示されている車両１を画像認識することにより車両１がどのような車種であるかを自動的に特定してもよい。
　Ｓ１２０では、車両基準点決め処理を行う。具体的に、まず、前述の空間認識制御部３５及び自位置認識制御部３７としての機能を実行する。即ち、空間認識用センサ３１で検出される空間情報、及び自位置認識用センサ３３から出力される自位置情報に基づいて、前述の空間認識情報及び自位置認識情報を生成し、これら各情報に基づいて前方空間を三次元的に認識する。そして、オブジェクト制御部３８としての機能を実行する。即ち、認識した前方空間の中から、床面２を認識する。
　床面２の認識方法はどのような方法であってもよい。例えば、表示部３４に表示されている映像７に床面２が表示されている場合に、その表示されている床面２に対して作業者３が特定のジェスチャーを示すこと（例えば、映像７において床面２に作業者３のジェスチャーが重畳するようにジェスチャーを示すこと）によって、そのジェスチャーが示された位置を床面２として認識してもよい。或いは、床面２に置かれた特定のマーカを画像認識制御部３６の機能により認識し、その認識結果に基づいて（つまり認識したマーカを基準に）床面２を認識してもよい。
　ＣＰＵは、床面２を認識すると、三次元座標空間内における、その認識した床面２とＡＲ機５の位置との相対的位置関係を算出する。これにより、認識した床面２とＡＲ機５との相対的位置関係が定まる。
　次に、ＣＰＵは、図４に示す車両１の中心線２５を算出する。中心線２５を算出するために、まず、車両１の前後２箇所における、車幅方向の中心点を認識する。
　本実施形態では、具体的には、車幅方向の中心を示す画像として、車両１のフロントエンブレム１１及びリヤエンブレム１２を認識する。この認識は、画像認識制御部３６としての機能である。例えば、作業者３が、映像７内にフロントエンブレム１１が表示される位置に移動することで、その映像７からフロントエンブレム１１を認識する。この認識は、例えば、予めメモリに記憶しておいたフロントエンブレム１１のデータと照合することにより自動的に行っても良い。また例えば、映像７に表示されているフロントエンブレム１１に対して作業者３が特定のジェスチャーを示すことで、映像７におけるそのジェスチャーが示された画像をフロントエンブレム１１として認識してもよい。
　そして、フロントエンブレム１１を認識した後、作業者３が、映像７内にリヤエンブレム１２が表示される位置に移動することで、その映像７から、フロントエンブレム１１の場合と同様に、画像認識制御部３６の機能にてリヤエンブレム１２を認識する。
　ＣＰＵは、各エンブレム１１，１２を認識すると、認識したエンブレム１１，１２の各々から床面２への垂線を生成する。即ち、図４に示すように、フロントエンブレム１１から床面２への前部垂線２１と、リヤエンブレム１２から床面２への後部垂線２２とを生成する。そして、前部基準点２３と後部基準点２４とを算出する。前部基準点２３は、前部垂線２１と床面２との交点である。後部基準点２４は、後部垂線２２と床面２との交点である。
　そして、前部基準点２３と後部基準点２４とを通る中心線２５を算出する。中心線２５は、床面２上の線である。このようにして、床面２上における中心線２５が算出される。
　Ｓ１３０では、車両基準点オブジェクト表示処理を行う。具体的に、Ｓ１２０で算出した、前部垂線２１、後部垂線２２及び中心線２５を、映像７内に重畳表示させる。図４は、前部垂線２１、後部垂線２２及び中心線２５が重畳表示された映像７の一例を示す。
　Ｓ１４０では、調整センサ選定処理を行う。この処理は、調整対象の車載センサを決定する処理である。具体的に、表示部３４に、サーバ２０１或いはＰＣ２０２から取得した各種の車載センサの情報に基づき、車載センサの一覧リストを表示させる。
　この場合、異なる複数の車種に対応した複数の車載センサを一覧表示させてもよいが、本実施形態では、Ｓ１１０で選択された車種、即ち調整作業対象の車両１に搭載可能な（或いは実際に搭載されている）車載センサに絞って一覧表示させる。
　そして、表示された車載センサのリストの中から、調整作業対象の車載センサを選択させる。車載センサを選択させる方法はどのような方法であってもよい。例えば、作業者３が、映像７に表示されている車載センサのリスト中における、調整作業対象の車載センサに対して、特定のジェスチャーを示すことで、その車載センサを選択可能であってもよい。
　車載センサの情報は、予めＡＲ機５のメモリに記憶されていてもよいし、所定のタイミング（例えば起動時、或いは一定周期）でサーバ２０１或いはＰＣ２０２からダウンロードしてメモリに記憶させてもよいし、Ｓ１４０の処理の実行時にサーバ２０１或いはＰＣ２０２からダウンロードして取得してもよい。
　Ｓ１５０では、Ｓ１４０で選定された車載センサがどれであるかを判断する。選定された車載センサがミリ波レーダセンサ１７である場合は，Ｓ１６０に進む。Ｓ１６０では、オブジェクト制御部３８の機能として、ミリ波レーダセンサ１７の調整作業に用いる調整用設備（即ち、リフレクタ）を設置すべき位置を示す設置位置オブジェクトを映像７に表示させる。
　具体的に、例えば図６に示すように、中心線２５における、前部基準点２３から一定距離前方の位置に、設置基準点６１ａを表示させる。さらに、その設置基準点６１ａを通り且つ中心線２５に垂直な設置基準線６１を表示させる。上記一定距離は、車種及び調整対象の車載センサに応じて予め設定されている。さらに、設置基準点６１ａに垂直な設置垂線１１１を表示させる。そして、その設置垂線１１１における、床面２から一定の高さの位置に、設置位置オブジェクト１１２を表示させる。上記一定の高さも、車種及び調整対象の車載センサに応じて予め設定されている。
　車両１と設置位置オブジェクト１１２との相対的位置関係は一定である。そのため、作業者３が向きを変えたり移動したりすると、その向きや位置の移動に追随して、車両１との相対的位置関係に基づき、映像７中の設置位置オブジェクト１１２の表示位置や角度、大きさなども変化する。
　このようにして映像７に設置位置オブジェクト１１２が表示されることにより、作業者３は、ミリ波レーダセンサ１７の角度軸調整に必要なリフレクタをどこに設置すればよいか明確に把握できる。作業者３は、リフレクタを、ＡＲ機５に表示されている設置位置オブジェクト１１２に重畳するように設置することで、リフレクタを正しい位置に設置することができる。
　Ｓ１５０で、選定された車載センサがフロントカメラ１６である場合は、Ｓ１７０に進む。Ｓ１７０では、オブジェクト制御部３８の機能として、フロントカメラ１６の調整作業に用いる調整用設備（即ち、３つのターゲット板）を設置すべき位置を示す設置位置オブジェクトを、映像７に表示させる。
　具体的に、例えば図５に示すように、中心線２５における、前部基準点２３から一定距離前方の位置に、第１設置基準点４１ａを表示させる。さらに、その第１設置基準点４１ａを通り且つ中心線２５に垂直な設置基準線４１を表示させる。上記一定距離は、車種及び調整対象の車載センサに応じて予め設定されている。
　また、設置基準線４１において、第１設置基準点４１ａから両方向にそれぞれ一定距離離れた位置に、第２設置基準点４１ｂ及び第３設置基準点４１ｃを表示させる。
　さらに、各設置基準点４１ａ，４１ｂ，４１ｃから、床面２に垂直な垂線、即ち、第１設置垂線１０１，第２設置垂線１０２，第３設置垂線１０３を表示させる。そして、それら各設置垂線１０１、１０２，１０３における、床面２から一定の高さの位置に、それぞれ、設置位置オブジェクト１０６，１０７，１０８を表示させる。上記一定の高さも、車種及び調整対象の車載センサに応じて予め設定されている。
　車両１と各設置位置オブジェクト１０６，１０７，１０８との相対的位置関係についても一定である。そのため、作業者３が向きを変えたり移動したりすると、その向きや位置の移動に追随して、車両１との相対的位置関係に基づき、映像７中の設置位置オブジェクト１０６，１０７，１０８の表示位置や角度、大きさなども変化する。
　このようにして映像７に設置位置オブジェクト１０６，１０７，１０８が表示されることにより、作業者３は、フロントカメラ１６の光軸調整に必要な３つのターゲット板をどこに設置すればよいか明確に把握できる。作業者３は、３つのターゲット板を、ＡＲ機５に表示されている３つの設置位置オブジェクト１０６，１０７，１０８に重畳するように設置することで、３つのターゲット板を正しい位置に設置することができる。
　Ｓ１５０で、選定された車載センサが各後方センサ１８，１９である場合は、Ｓ１８０に進む。Ｓ１８０では、オブジェクト制御部３８の機能として、各後方センサ１８，１９の調整作業に用いる調整用設備（即ち、後方センサ１８，１９毎の個別のリフレクタ）を設置すべき位置を示す設置位置オブジェクトを、映像７に表示させる。
　具体的に、例えば図７に示すように、床面２上において、中心線２５における後部基準点２４から、中心線２５に対して一定の角度方向へ、２つの設置基準線８１，９１を表示させる。２つの設置基準線８１，９１は、中心線２５に対して線対称の位置関係にある。
　また、各設置基準線８１，９１における、後部基準点２４から一定距離離れた位置に、床面２に垂直な設置垂線８２，９２を表示させる。そして、それら各設置垂線８２，９２における、床面２から一定の高さの位置に、それぞれ、設置位置オブジェクト８３，９３を表示させる。上記一定の高さも、車種及び調整対象の車載センサに応じて予め設定されている。
　車両１と各設置位置オブジェクト８３，９３との相対的位置関係についても一定である。そのため、作業者３が向きを変えたり移動したりすると、その向きや位置の移動に追随して、車両１との相対的位置関係に基づき、映像７中の設置位置オブジェクト８３，９３の表示位置や角度、大きさなども変化する。
　このようにして映像７に設置位置オブジェクト８３，９３が表示されることにより、作業者３は、各後方センサ１８，１９の角度軸調整に必要なリフレクタをどこに設置すればよいか明確に把握できる。作業者３は、各リフレクタを、ＡＲ機５に表示されている２つの設置位置オブジェクト８３，９３に重畳するように設置することで、各リフレクタを正しい位置に設置することができる。
　なお、Ｓ１６０，Ｓ１７０及びＳ１８０の処理において、映像７に作業関連情報も表示されてもよい。あるいは、作業者３の操作に応じて作業関連情報が表示又は非表示されてもよい。
　Ｓ１９０では、画像認識制御部３６の機能として、調整用設備が正しい位置（つまり映像７において設置位置オブジェクトが表示されている位置）に設置されたか否か判断する。具体的に、例えば、画像認識機能を利用して、映像７内において、実際の調整用設備と設置位置オブジェクトとの位置関係が正しい位置関係になっていれば、正しい位置に設置されたと判断する。
　正しい位置に設置されていない場合は、Ｓ１９０の判断を繰り返す。正しい位置に設置された場合は、Ｓ２００に移行する。
　Ｓ２００では、通知処理を行う。この通知処理は、作業者３に対して、調整用設備が正しい位置に設置されたことを知らせる処理である。具体的にどのような方法で知らせるかについては適宜決めてよく、例えば、表示部３４に特定の通知情報を表示させてもよいし、例えば、不図示の音声出力デバイスによって特定の音声を出力させてもよい。
　なお、設置すべき調整用設備が複数ある場合、Ｓ１９０～Ｓ２００の処理においては、例えば、複数全ての調整用設備が正しく設置された場合に、Ｓ１９０からＳ２００に移行してもよい。また例えば、調整用設備毎に個別に、正しく設置されたか否かを判断し、その判断結果に基づいて通知処理を行ってもよい。
　Ｓ２００で通知処理を行った後は、車載センサ調整支援処理を終了する。なお、Ｓ２００で通知処理を行った後、Ｓ１４０に戻るようにしてもよい。このようにすることで、ある車載センサの調整作業が終わった後、続いて同じ車両における別の車載センサの調整作業にスムーズに移行することができる。
　（１－４）実施形態の効果
　以上説明した実施形態によれば、以下の（１ａ）～（１ｄ）の効果を奏する。
　（１ａ）本実施形態によれば、カメラ３２により撮影された２箇所及び床面２に基づいて、調整用設備の設置位置が算出され、表示部３４に表示される映像中における、その算出された設置位置に、設置位置オブジェクトが重畳表示される。
　これにより、作業者は、表示部３４に表示されている映像から設置位置を容易に把握することができる。そして、作業者は、映像を見ながら、重畳表示されている設置位置オブジェクトの位置に実際の調整用設備が合致するように調整用設備を設置することで、調整用設備を適正な位置に設置することができる。
　よって、車載センサの調整用設備の設置位置を、少ない工数で容易に作業者に提供することが可能となる。
　（１ｂ）上記実施形態では、車両に搭載されている２つのエンブレム１１，１２を画像認識し、その認識結果に基づいて、２つの基準点２３，２４が算出される。そのため、設置位置の算出に必要な２つの基準点２３，２４を容易且つ適切に算出することができる。
　さらに、２つの基準点２３，２４から中心線２５が算出され、その中心線２５を基準に設置位置が算出される。そのため、設置位置を容易且つ適切に算出することができる。
　（１ｃ）上記実施形態では、設置位置の算出に先立って、作業者により車種が選択される。そして、選択された車種に応じて設置位置が算出される。そのため、車種に応じて精度よく設置位置を算出することができる。
　しかも、調整作業対象の車載センサを作業者に選択させるにあたり、車載センサの選択肢が、選択された車種に対応した車載センサに絞って表示される。そのため、作業者は、車種に対応した車載センサを容易に選択することができる。
　（１ｄ）上記実施形態では、算出された設置位置に実際の調整用設備が設置されると作業者へ通知される。そのため、作業者は、算出された設置位置に調整用設備を容易に設置することができる。
　［２．他の実施形態］
　以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
　（２－１）上記実施形態では、図３のＳ１２０の処理で、車両前後２箇所における車幅方向の中心点を、フロントエンブレム１１及びリヤエンブレム１２に基づいて認識したが、他の方法で中心点を認識してもよい。
　例えば、フロントナンバープレート１３を画像認識することによりそのフロントナンバープレート１３の中心位置を車両前方側の中心点とし、リヤナンバープレート１４を画像認識することによりそのリヤナンバープレート１４の中心位置を車両後方側の中心点として認識してもよい。
　この場合も、例えば、認識対象のナンバープレートのデータを予めメモリに記憶しておいて、そのデータと照合することにより自動的に認識するようにしてもよい。また例えば、映像７に表示されているナンバープレートに対して作業者３による特定のジェスチャーが示されることで、そのジェスチャーが示された画像をナンバープレートとして認識してもよい。
　また、車両１における特定の構成物を認識することに限らず、例えば、車両１における特定の位置、或いは車両１の近傍における特定の位置に、特定のマーカを設置し、そのマーカを画像認識させることで、中心点を認識させるようにしてもよい。
　マーカを用いた中心点の認識の一例を、図８に示す。図８においては、フロントナンバープレート１３における中央上部にフロントマーカ４９が設けられ、リヤナンバープレート１４における中央上部にリヤマーカ５０が設けられている。各マーカ４９，５０の画像データは、ＡＲ機５のメモリに予め記憶されていてもよいし、サーバ２０１又はＰＣ２０２等からＡＲ機５にダウンロードして取得してもよい。
　各マーカ４９，５０は、ＡＲ機５における画像認識制御部３６にて、個別に認識される。各マーカ４９，５０が認識された後の処理は、上記実施形態における各エンブレム１１，１２が認識された後の処理と基本的に同様である。つまり、上記実施形態の説明において、各エンブレム１１，１２を各マーカ４９，５０に置き換えればよい。
　ただし、フロントエンブレム１１の位置とフロントナンバープレート１３の位置とが車両前後方向においてずれている場合は、前部基準点２３から設置基準点６１ａまでの距離は、そのずれている分、図６における前部基準点２３から設置基準点６１ａまでの距離とは異なる。
　なお、マーカを設置する位置は、各ナンバープレートに限らない。マーカを用いて車幅方向の中心点を認識できる限り、どのようなマーカをどこに設置してもよい。
　また、画像認識機能を利用して車両１全体の画像から車幅の領域を認識し、その車幅の領域から、車幅方向の中心点を認識してもよい。なお、車幅の領域を認識させる方法は、他の方法であってもよい。例えば、車両における左右両端にマーカを設置し、それらマーカを画像認識させることで、車幅の領域を認識させてもよい。或いは、映像７に表示されている車両左端及び車両右端それぞれに対して特定のジェスチャーを示すことで、そのジェスチャーが示された位置を車両の左右両端として認識させ、その認識結果に基づいて中心点を認識させてもよい。
　（２－２）上記実施形態のＡＲ機５が備える機能の一部が、ＡＲ機５とは別の装置に実装されていてもよい。
　例えば、図９に示すように、ＡＲ機７０は、カメラ３２と表示部３４とを備え、空間認識制御部３５、画像認識制御部３６、及び自位置認識制御部３７の機能は、ＡＲ機７０とは別の装置（例えばＰＣ２０２）に実装されていてもよい。
　この場合、車両１及びその周囲の少なくとも一方に少なくとも１つのマーカを設置し、その少なくとも１つのマーカをカメラ３２で撮影して、その撮影された画像に基づいて、空間認識制御部３５による空間認識情報の生成及び自位置認識制御部３７による自位置認識情報の生成が行われてもよい。空間認識制御部３５は、例えば、特定のマーカの設置位置から、対象となる物体（例えば床、車両など）を空間認識するように構成されていてもよい。自位置認識制御部３７は、例えば、カメラ３２で撮影された特定のマーカの向きと上記空間認識の結果とに基づいて自位置を認識するように構成されていてもよい。
　なお、図９に示す構成においては、カメラ３２で撮影された画像のデータは、ＡＲ機７０からＰＣ２０２へ通信にて送信される。また、ＰＣ２０２におけるオブジェクト制御部３８にて生成された、映像７の映像データは、ＰＣ２０２からＡＲ機７０へ通信にて送信される。
　また、図９に示す構成では、ＰＣ２０２が備えるメモリ２１５に、車種情報及びオブジェクトデータが予め記憶されている。ＰＣ２０２は、メモリ２１５に記憶されているこれら情報及びデータに基づいて各種処理を行ってもよい。ただし、これら情報及びデータは、サーバ２０１などの他の装置から取得可能であってもよい。
　（２－３）カメラ３２は、単眼カメラであってもよいし、例えばステレオカメラのように、複数のレンズを備えたカメラであってもよい。
　（２－４）生成された設置位置オブジェクトの位置を補正するために、補正用マーカを設置して、設置位置オブジェクトの算出時にその算出した設置位置オブジェクトと補正用マーカとの相対的位置関係を保存しておき、その相対的位置関係に基づいて、設置位置オブジェクトの位置が補正されるようにしてもよい。
　（２－５）ＡＲ機の具体的態様は、ゴーグル型に限らない。例えば、カメラ及び表示部を備えたタブレット端末にＡＲ機の機能を持たせてもよい。
　（２－６）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。

Claims (8)

  1. 　映像（７）を撮影するように構成された撮影装置（３２）と、
    　前記撮影装置により撮影された映像を表示するように構成された表示装置（３４）と、
    　前記撮影装置により撮影された映像から、前記映像に含まれている車両（１）又は前記車両の近傍における、特定の２つの部位、及び、前記映像に含まれている、前記車両が載置されている床面（２）、を認識するように構成された認識部（３５，３６，Ｓ１２０）と、
    　前記認識部により認識された前記２つの部位及び前記床面に基づいて、前記映像内における、前記車両に搭載される車載センサ（１６，１７，１８，１９）の調整作業に用いられる調整用設備の設置位置を算出するように構成された算出部（３８，Ｓ１２０）と、
    　前記表示装置に表示される前記映像に対し、前記算出部により算出された前記設置位置に、前記設置位置を示す画像である設置位置オブジェクト（８３，９３，１０６，１０７，１０８，１１２）を重畳表示させるように構成された重畳表示部（３８，Ｓ１６０，Ｓ１７０，Ｓ１８０）と、
    　を備える設置位置情報提供装置。
  2. 　請求項１に記載の設置位置情報提供装置であって、
    　前記認識部は、前記車両に搭載された少なくとも１つのエンブレム（１１，１２）、前記車両に搭載された少なくとも１つのナンバープレート（１３，１４）、及び前記車両の車幅、のうちの少なくとも２つを認識し、その認識した少なくとも２つに基づいて前記２つの部位を認識するように構成されている、
    　設置位置情報提供装置。
  3. 　請求項１又は請求項２に記載の設置位置情報提供装置であって、
    　前記算出部は、
    　前記認識部により認識された前記２つの部位に基づいて、前記床面における、前記２つの部位の各々に対応した２つの基準点（２３，２４）を算出する基準点算出処理と、
    　前記基準点算出処理により算出された前記２つの基準点に基づいて、前記床面における、前記２つの基準点のうちの少なくとも一方を通る少なくとも１つの基準線（２５）を算出する基準線算出処理と、
    　前記基準点算出処理により算出された前記２つの基準点、及び前記基準線算出処理により算出された前記少なくとも１つの基準線に基づいて前記設置位置を算出する設置位置算出処理と、
    　を実行するように構成されている設置位置情報提供装置。
  4. 　請求項１～請求項３の何れか１項に記載の設置位置情報提供装置であって、
    　さらに、前記車両の車種を示す車種情報を取得するように構成された車種情報取得部（Ｓ１１０）を備え、
    　前記算出部は、前記車種情報取得部により取得された前記車種情報に応じて前記設置位置を算出するように構成されている、
    　設置位置情報提供装置。
  5. 　請求項４に記載の設置位置情報提供装置であって、
    　さらに、
    　前記車種情報取得部により取得された前記車種情報に基づき、前記車種情報が示す前記車両に搭載可能な前記車載センサに対応した前記調整用設備の選択肢を提示するように構成された選択肢提示部（Ｓ１４０）と、
    　前記選択肢提示部により提示された前記選択肢の中からいずれか１つの前記調整用設備の選択を受け付けるように構成された選択受付部（Ｓ１４０）と、
    　を備え、
    　前記算出部は、前記選択受付部により選択された前記調整用設備の前記設置位置を算出するように構成されている、
    　設置位置情報提供装置。
  6. 　請求項１～請求項５の何れか１項に記載の設置位置情報提供装置であって、
    　さらに、前記表示装置に表示されている映像中において、前記重畳表示部により重畳表示されている前記設置位置オブジェクトに対応した位置と、前記調整用設備の実際の位置とが合致した場合に特定の通知を行うように構成された通知部（Ｓ２００）を備える、
    　設置位置情報提供装置。
  7. 　請求項１～請求項６の何れか１項に記載の設置位置情報提供装置であって、
    　前記撮影装置、前記表示装置、前記認識部、前記算出部、及び前記重畳表示部は、同じ１つの筐体に収容されている、
    　設置位置情報提供装置。
  8. 　映像を撮影することと、
    　前記撮影された映像を表示することと、
    　前記撮影された映像から、前記映像に含まれている車両又は前記車両の近傍における、特定の２つの部位、及び、前記映像に含まれている、前記車両が載置されている床面、を認識することと、
    　前記認識された前記２つの部位及び前記床面に基づいて、前記映像内における、前記車両に搭載される車載センサの調整作業に用いられる調整用設備の設置位置を算出することと、
    　前記表示される前記映像に対し、前記算出された前記設置位置に、前記設置位置を示す画像である設置位置オブジェクトを重畳表示させることと、
    　を有する設置位置情報提供方法。
PCT/JP2019/000712 2018-01-11 2019-01-11 設置位置情報提供装置及び設置位置情報提供方法 WO2019139129A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980007670.7A CN111566707B (zh) 2018-01-11 2019-01-11 设置位置信息提供装置以及设置位置信息提供方法
DE112019000388.7T DE112019000388T5 (de) 2018-01-11 2019-01-11 Vorrichtung zur bereitstellung von informationen über eine installationsposition und verfahren zur bereitstellung von informationen über die installationsposition
US16/915,419 US11482003B2 (en) 2018-01-11 2020-06-29 Installation position information providing apparatus and installation position information providing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018002794A JP6729607B2 (ja) 2018-01-11 2018-01-11 設置位置情報提供装置及び設置位置情報提供方法
JP2018-002794 2018-01-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/915,419 Continuation US11482003B2 (en) 2018-01-11 2020-06-29 Installation position information providing apparatus and installation position information providing method

Publications (1)

Publication Number Publication Date
WO2019139129A1 true WO2019139129A1 (ja) 2019-07-18

Family

ID=67219730

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/000712 WO2019139129A1 (ja) 2018-01-11 2019-01-11 設置位置情報提供装置及び設置位置情報提供方法

Country Status (5)

Country Link
US (1) US11482003B2 (ja)
JP (1) JP6729607B2 (ja)
CN (1) CN111566707B (ja)
DE (1) DE112019000388T5 (ja)
WO (1) WO2019139129A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6838183B1 (ja) * 2020-03-26 2021-03-03 ボッシュ株式会社 校正作業補助装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021096682A (ja) * 2019-12-18 2021-06-24 株式会社バンザイ 車両用運転支援装置の校正用基準具を設置するための表示装置
US20230104858A1 (en) * 2020-03-19 2023-04-06 Nec Corporation Image generation apparatus, image generation method, and non-transitory computer-readable medium
JP2022150965A (ja) * 2021-03-26 2022-10-07 株式会社デンソー 精度補正装置及び拡張現実画像表示装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012043396A (ja) * 2010-08-13 2012-03-01 Hyundai Motor Co Ltd 拡張現実を用いた車両消耗品管理システム及びその方法
WO2017033561A1 (ja) * 2015-08-21 2017-03-02 新日鉄住金ソリューションズ株式会社 表示システム、表示装置、表示方法及びプログラム
WO2017150293A1 (ja) * 2016-03-04 2017-09-08 新日鉄住金ソリューションズ株式会社 情報処理システム、情報処理装置、情報処理方法及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3708507B2 (ja) * 2002-08-09 2005-10-19 本田技研工業株式会社 車載レーダの照準調整検査装置と照準調整検査方法
JP3708509B2 (ja) 2002-08-26 2005-10-19 本田技研工業株式会社 車載レーダおよび車載カメラの照準調整検査装置
JP5320904B2 (ja) 2008-08-21 2013-10-23 株式会社デンソー 検査システム
JP2010156609A (ja) 2008-12-26 2010-07-15 Toyota Motor Corp 軸調整装置、及び軸調整方法
JP4898951B2 (ja) * 2010-10-25 2012-03-21 富士通テン株式会社 車載機
EP2765388B1 (de) * 2013-02-08 2018-10-17 Hexagon Technology Center GmbH Mobiler Feld-Controller zur Messung und Fernsteuerung
GB201315504D0 (en) * 2013-08-30 2013-10-16 Ford Global Tech Llc A method to aid inductive battery charging of a motor vehicle
JP6471522B2 (ja) * 2015-02-10 2019-02-20 株式会社デンソー カメラパラメータ調整装置
JP6554169B2 (ja) * 2015-06-10 2019-07-31 株式会社日立製作所 物体認識装置及び物体認識システム
US10606149B2 (en) * 2016-05-25 2020-03-31 Sony Corporation Information processing device, information processing method, and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012043396A (ja) * 2010-08-13 2012-03-01 Hyundai Motor Co Ltd 拡張現実を用いた車両消耗品管理システム及びその方法
WO2017033561A1 (ja) * 2015-08-21 2017-03-02 新日鉄住金ソリューションズ株式会社 表示システム、表示装置、表示方法及びプログラム
WO2017150293A1 (ja) * 2016-03-04 2017-09-08 新日鉄住金ソリューションズ株式会社 情報処理システム、情報処理装置、情報処理方法及びプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6838183B1 (ja) * 2020-03-26 2021-03-03 ボッシュ株式会社 校正作業補助装置
WO2021192955A1 (ja) * 2020-03-26 2021-09-30 ボッシュ株式会社 校正作業補助装置
JP2021156667A (ja) * 2020-03-26 2021-10-07 ボッシュ株式会社 校正作業補助装置

Also Published As

Publication number Publication date
CN111566707A (zh) 2020-08-21
US20200327333A1 (en) 2020-10-15
CN111566707B (zh) 2023-06-16
JP2019121322A (ja) 2019-07-22
US11482003B2 (en) 2022-10-25
DE112019000388T5 (de) 2020-09-17
JP6729607B2 (ja) 2020-07-22

Similar Documents

Publication Publication Date Title
WO2019139129A1 (ja) 設置位置情報提供装置及び設置位置情報提供方法
EP3629053B1 (en) System for calibrating a vehicle camera
JP4461091B2 (ja) 位置検出装置及びその補正方法
JP4809019B2 (ja) 車両用障害物検出装置
US10227032B2 (en) Vehicle headlamp alignment system and method
US10739455B2 (en) Method and apparatus for acquiring depth information using cameras from different vehicles
US10099617B2 (en) Driving assistance device and driving assistance method
JP6151535B2 (ja) パラメータ取得装置、パラメータ取得方法及びプログラム
US20210271079A1 (en) Head-up display
CN111246160A (zh) 信息提供系统和方法、服务器、车载装置以及存储介质
CN110967170A (zh) 车辆前照灯测量系统仪器结构
EP3173278B1 (en) Vehicle display control device
EP3599134B1 (en) Accident report device and accident report method
US20110169954A1 (en) Maneuvering assisting apparatus
JP4032052B2 (ja) 位置検出装置及びその補正方法
JP2017215285A (ja) 衛星信号処理方法及び衛星信号処理装置
US20200357272A1 (en) Information processing device
WO2022202926A1 (ja) 精度補正装置及び拡張現実画像表示装置
WO2020111036A1 (ja) 表示装置
JP6855254B2 (ja) 画像処理装置、画像処理システム、及び、画像処理方法
JP4867035B2 (ja) 画像処理装置、画像処理用プログラム、画像処理方法
JP4032053B2 (ja) 車両周辺監視装置
JP4125280B2 (ja) 周辺監視装置
JP2021096682A (ja) 車両用運転支援装置の校正用基準具を設置するための表示装置
KR20190022136A (ko) 홀로그램을 이용한 교통사고 정보 제공 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19738266

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19738266

Country of ref document: EP

Kind code of ref document: A1