WO2018116978A1 - 端末、及び端末の制御方法 - Google Patents
端末、及び端末の制御方法 Download PDFInfo
- Publication number
- WO2018116978A1 WO2018116978A1 PCT/JP2017/045092 JP2017045092W WO2018116978A1 WO 2018116978 A1 WO2018116978 A1 WO 2018116978A1 JP 2017045092 W JP2017045092 W JP 2017045092W WO 2018116978 A1 WO2018116978 A1 WO 2018116978A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- vehicle
- image
- displayed
- touch
- control unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 113
- 230000010365 information processing Effects 0.000 claims abstract description 195
- 230000033001 locomotion Effects 0.000 claims abstract description 109
- 230000005540 biological transmission Effects 0.000 claims abstract description 27
- 238000001514 detection method Methods 0.000 claims description 36
- 230000004044 response Effects 0.000 claims description 36
- 230000008569 process Effects 0.000 description 85
- 238000012545 processing Methods 0.000 description 70
- 239000002131 composite material Substances 0.000 description 54
- 238000010586 diagram Methods 0.000 description 33
- 238000004891 communication Methods 0.000 description 30
- 240000004050 Pentaglottis sempervirens Species 0.000 description 23
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 23
- 238000003384 imaging method Methods 0.000 description 19
- 230000008859 change Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 230000007704 transition Effects 0.000 description 8
- 239000000284 extract Substances 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000010720 hydraulic oil Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 206010048669 Terminal state Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/027—Parking aids, e.g. instruction means
- B62D15/0285—Parking performed automatically
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/06—Automatic manoeuvring for parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/10—Interpretation of driver requests or demands
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
- G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0486—Drag-and-drop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/23—Pc programming
- G05B2219/23044—Transparent overlay with touch sensors, put over display panel, select function
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/26—Pc applications
- G05B2219/2637—Vehicle, car, auto, wheelchair
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/36—User authentication by graphic or iconic representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
Definitions
- the present invention relates to a terminal and a terminal control method.
- the user can operate the touch panel to construct a system that can control the propulsion of the vehicle. It is necessary to display an appropriate screen for the user so that the user can perform the operation accurately.
- the present invention has been made in view of the above-described circumstances, and an object of the present invention is to enable accurate operation when a user operates a touch panel of a terminal to control vehicle propulsion.
- the terminal of the present invention displays an image, displays a touch panel that accepts a touch operation, and a vehicle control screen on which operation buttons that can be touched are displayed on the touch panel.
- a touch panel that accepts a touch operation
- a vehicle control screen on which operation buttons that can be touched are displayed on the touch panel.
- the terminal control unit when the touch operation on the operation button displayed on the vehicle control screen is released, the terminal control unit continues to the position of the operation button when the touch operation is released.
- the operation buttons are displayed.
- the terminal control unit may display the operation button at a predetermined position on the vehicle control screen when the touch operation on the operation button displayed on the vehicle control screen is released.
- the terminal control unit is located at one end of the slide bar and the slide bar on the touch panel, and moves along the slide bar in response to the swipe operation, while in response to the release of the swipe operation.
- a lock screen displaying a slide button that moves to one end of the slide bar, and when the slide button is positioned at the other end of the slide bar for a predetermined period by a swipe operation, The screen to be displayed is switched from the lock screen to the vehicle control screen, and the slide button located at the other end of the slide bar is switched to the operation button to function as the operation button.
- the present invention is characterized in that the terminal control unit changes an image indicating the operation button when the operation button is operated and when the operation button is not operated.
- the present invention further includes a housing and a housing state detection unit that detects the state of the housing, and the terminal control unit is provided in the vehicle while the vehicle control screen is displayed. Capturing image data based on a captured result of the captured camera, displaying an image based on the captured image data on the touch panel, displaying the operation button superimposed on an image based on the captured data, and the housing According to the state of the casing detected by the state detection unit, the image displayed on the touch panel is switched, and the display of the operation button is maintained even when the image displayed on the touch panel is switched. .
- the terminal control unit overlooks the vehicle as an image based on the shooting data.
- a bird's-eye view image which is an image that has been displayed, is displayed on the touch panel, and when the casing state detection unit detects that the direction of the casing is in a second direction different from the first direction, An image outside the vehicle, which is an image outside the vehicle photographed by the camera, is displayed on the touch panel as an image based on the data.
- the present invention is a method for controlling a terminal including a touch panel that displays an image and receives a touch operation, and displays a vehicle control screen on which operation buttons capable of touch operation are displayed on the touch panel, and the vehicle
- a touch panel that displays an image and receives a touch operation
- the vehicle When the position of the touch operation is moved after the operation button displayed on the control screen is touched, the position of the operation button is moved following the movement of the position of the touch operation, and the operation button is touched.
- the propulsion instruction signal instructing the propulsion of the vehicle is transmitted to the information processing device provided in the vehicle while the operation button displayed on the vehicle control screen is being touch-operated while maintaining the state
- the transmission of the propulsion instruction signal is stopped in response to the release of the touch operation on the operation button.
- the operation when the user controls the propulsion of the vehicle by operating the touch panel of the terminal, the operation can be performed accurately.
- FIG. 1 is a diagram showing an overview of an information processing system 1 according to the present embodiment.
- FIG. 2 is a block diagram illustrating a functional configuration of the mobile terminal.
- FIG. 3A is a diagram used for explaining the portrait orientation.
- FIG. 3B is a diagram used for sideways explanation.
- FIG. 4A is a diagram used for explaining the right movement.
- FIG. 4B is a diagram used for explaining the left movement.
- FIG. 5 is a block diagram illustrating a functional configuration of the information processing apparatus.
- FIG. 6 is a diagram used for explaining the shooting direction of the camera for shooting outside the vehicle.
- FIG. 7 is a block diagram showing a functional configuration of the vehicle drive control device.
- FIG. 8 is a diagram used for explaining the automatic driving route information.
- FIG. 1 is a diagram showing an overview of an information processing system 1 according to the present embodiment.
- FIG. 2 is a block diagram illustrating a functional configuration of the mobile terminal.
- FIG. 3A is a diagram used for explaining
- FIG. 9 is a flowchart showing the operation of each device of the information processing system.
- FIG. 10 is a diagram illustrating an example of a parking lot.
- FIG. 11 is a diagram showing a lock screen.
- FIG. 12 is a diagram used for explaining a screen displayed on the touch panel.
- FIG. 13 is a flowchart showing the operation of the mobile terminal.
- FIG. 14A is a flowchart illustrating the operation of the information processing apparatus.
- FIG. 14B is a flowchart illustrating the operation of the information processing apparatus.
- FIG. 15 shows a composite image.
- FIG. 16 is a flowchart showing the operation of the mobile terminal.
- FIG. 17A is a flowchart illustrating the operation of the information processing apparatus.
- FIG. 17B is a flowchart illustrating the operation of the information processing apparatus.
- FIG. 17C is a flowchart illustrating the operation of the information processing apparatus.
- FIG. 18 is a flowchart showing the operation of each device of the information processing system.
- FIG. 19 is a diagram showing a selection screen.
- FIG. 20 is a diagram used for explaining a screen displayed on the touch panel.
- FIG. 21 is a diagram used for explaining a screen displayed on the touch panel.
- FIG. 22 is a diagram used for explaining a screen displayed on the touch panel.
- FIG. 1 is a diagram showing an overview of an information processing system 1 according to the present embodiment.
- the information processing system 1 includes a vehicle system 2 provided in a vehicle S and a mobile terminal 3 owned by a user.
- the vehicle system 2 includes an information processing device 4 and a vehicle drive control device 5.
- the information processing device 4 and the vehicle drive control device 5 can communicate with each other via a bus 6.
- the mobile terminal 3 is a tablet-type mobile phone (so-called smartphone) carried by the user.
- the information processing device 4 of the vehicle system 2 and the portable terminal 3 can communicate with each other by wireless communication.
- the mobile terminal 3 includes a housing 8.
- the housing 8 is a plate-like member having a rectangular front surface 8a, and a touch panel 9 (display panel) is provided in a wide area of the front surface 8a.
- the rectangular shape does not mean a complete rectangular shape, and includes, for example, a substantially rectangular shape in which four vertices are rounded.
- the embodiment will be described on the assumption that the mobile terminal 3 is a tablet mobile phone, but the mobile terminal 3 is not limited to a smartphone, and may be a tablet computer or the like.
- the user is a person who has authority to control the vehicle S, such as an owner of the vehicle S.
- the vehicle S is an automobile.
- the vehicle S according to the present embodiment has the following functions regarding on / off of the engine switch and locking / unlocking of the door.
- the vehicle S has a function of turning on / off the engine switch and locking / unlocking the door by operating a dedicated remote controller. Since the existing technology is used for the function, detailed description of the function is omitted. After getting off the vehicle S, the user can turn on / off the engine switch by operating a dedicated remote controller outside the vehicle, and can lock / unlock the door of the vehicle S.
- the information processing system 1 is a system that enables the following. That is, the information processing system 1 enables the user to operate the mobile terminal 3 without moving the vehicle S, and move the stopped vehicle S to another position to stop it. For example, when the information processing system 1 parks the vehicle S at a parking position in a parking lot, a garage, or the like, the user operates the mobile terminal 3 without driving the vehicle S to park in the vicinity of the parking position. The vehicle S stopped at the front position can be moved to the parking position and stopped. Further, for example, when the information processing system 1 issues the vehicle S parked at the parking position, the user operates the mobile terminal 3 without driving the vehicle S and stops at the parking position. It is possible to stop S by moving S to the stop position after leaving in the vicinity of the parking position.
- the user can park and leave the vehicle S without being in the vehicle S. For this reason, regarding parking, when another vehicle has already stopped at the parking position adjacent to the parking position where parking is desired, and the vehicle S stops at the parking position where parking is desired, the vehicle S and other adjacent When the vehicle is close and the door of the vehicle S is difficult to open and close, the user can park the vehicle S at the parking position in the following manner. That is, the user can get off the vehicle S before stopping the vehicle S at the parking position, and use the information processing system 1 to stop the vehicle S at the parking position. Thereby, after the vehicle S stops at a parking position, it is not necessary to open and close the door of the vehicle S, and the user can park the vehicle S smoothly.
- FIG. 2 is a block diagram showing a functional configuration of the mobile terminal 3.
- the mobile terminal 3 includes a terminal control unit 20, a terminal communication unit 21, a touch panel 9, a terminal storage unit 22, and a housing state detection unit 23.
- the terminal control unit 20 includes a CPU, ROM, RAM, ASIC, signal processing circuit, and the like, and controls each unit of the mobile terminal 3.
- the CPU reads the program stored in the ROM into the RAM and executes the process, executes the process by the function mounted in the ASIC, for example, and performs the signal process in the signal processing circuit, for example.
- the processing is executed in cooperation with hardware and software.
- the terminal communication unit 21 wirelessly communicates with external devices (including the information processing device 4) according to the Wi-Fi (registered trademark) standard according to the control of the terminal control unit 20.
- the communication protocol used for wireless communication performed between the mobile terminal 3 and the information processing apparatus 4 is Wi-Fi, but communication used for wireless communication performed between these apparatuses.
- the protocol is not limited to Wi-Fi and may be anything.
- the communication protocol may be Bluetooth (registered trademark).
- the touch panel 9 includes a display panel such as a liquid crystal panel or an organic EL panel, and displays an image on the display panel under the control of the terminal control unit 20.
- the touch panel 9 includes a touch sensor arranged on the display panel, detects an operation on the touch panel 9 by the user, and outputs a signal corresponding to the detected operation to the terminal control unit 20. Based on the input from the touch panel 9, the terminal control unit 20 executes a process corresponding to an operation on the touch panel 9 by the user.
- the terminal storage unit 22 includes a nonvolatile memory such as an EEPROM and stores various data in a rewritable manner.
- the terminal storage unit 22 stores a dedicated application AP.
- the dedicated application AP is an application used when the user causes the vehicle to move automatically using the information processing system 1.
- the dedicated application AP is, for example, an application provided by a company that manufactures and sells the information processing apparatus 4. The user downloads the dedicated application AP to the mobile terminal 3 in advance using a predetermined application download system.
- the housing state detection unit 23 includes an acceleration sensor, a gyro sensor, and a tilt sensor provided in the housing 8, and detects the state of the housing 8 based on detection values of these sensors.
- the case state detection unit 23 outputs information indicating the detected state of the case 8 to the terminal control unit 20.
- the sensor used when the casing state detection unit 23 detects the state of the casing 8 is not limited to the acceleration sensor, the gyro sensor, and the tilt sensor. In addition, any method may be used when the housing state detection unit 23 detects the state of the housing 8.
- the housing state detection unit 23 has at least (1) the orientation of the housing 8 as “vertical” and (2) the orientation of the housing 8 as “lateral” as the state of the housing 8. (3) When the orientation of the housing 8 is “landscape”, the housing 8 has “moved right”, and (4) When the orientation of the housing is “landscape”, the housing 8 is “ Detect that it has moved left.
- FIG. 3A is a diagram used for explaining “vertical”.
- the housing 8 is a plate-like member having a rectangular front surface 8a.
- the shape of the touch panel 9 is a rectangular shape having a long side along the long side T ⁇ b> 1 of the housing 8 and a short side along the short side T ⁇ b> 2 of the housing 8. Since the front surface 8a is rectangular, the outer edge of the front surface 8a is composed of a long side T1 and a short side T2. Based on this, hereinafter, a virtual line extending along the long side T1 of the housing 8 is expressed as a “virtual long side straight line”, and “KA” is attached as a reference.
- a virtual line extending in the vertical direction is expressed as a “virtual vertical straight line”, and “EN” is attached as a symbol.
- a virtual line orthogonal to the virtual vertical straight line EN is expressed as a “virtual orthogonal straight line” and denoted by “TN” as a code.
- the “vertical direction” is a state in which the angle in the three-dimensional space of the virtual long side straight line KA with respect to the virtual vertical straight line EN is within the range of the angle ⁇ 1.
- the value of the angle ⁇ 1 is appropriately determined based on a viewpoint of a margin when the user intentionally sets the orientation of the mobile terminal 3 to “vertical orientation”.
- FIG. 3B is a diagram used for explaining “landscape”.
- the “lateral orientation” is a state in which the angle in the three-dimensional space of the virtual long side straight line KA with respect to the virtual orthogonal straight line TN is within the range of the angle ⁇ 2.
- the angle ⁇ 2 is appropriately determined on the basis of a margin when the user intentionally sets the orientation of the mobile terminal 3 to “landscape”.
- the orientation of the mobile terminal 3 is “landscape”
- the direction of the long side T1 of the housing 8 is along the direction orthogonal to the vertical direction
- the direction of the long side of the touch panel 9 is orthogonal to the vertical direction. It will be in the state along the direction.
- “Landscape” corresponds to “second orientation”.
- FIG. 4A is a diagram used for explaining “right movement”.
- the “right movement” is a distance K1 (for example, the right direction when the housing 8 is viewed from the front when the housing 8 is in the “landscape” state). 3 cm.) Within a period GG1 (for example, 0.5 seconds). The right direction does not need to be completely along the direction orthogonal to the vertical direction, and a certain margin is considered.
- GG1 for example, 0.5 seconds
- the distance K ⁇ b> 1 and the period GG ⁇ b> 1 are appropriately determined based on the viewpoint that the user intentionally uses the threshold value for determining that the casing 8 has “rightly moved”. “Right movement” corresponds to “first movement in which the state of the housing 8 changes in the first mode”.
- FIG. 4B is a diagram used for explaining the “left motion”.
- the “left movement” is a distance K2 (for example, the left direction when the casing 8 is viewed from the front when the casing 8 is in the “lateral direction”). 3 cm.) Within a period GG2 (for example, 0.5 seconds). The left direction does not need to be completely along the direction orthogonal to the vertical direction, and a certain margin is considered.
- GG2 for example, 0.5 seconds
- the distance K2 and the period GG2 are appropriately determined based on the viewpoint that the user intentionally uses the threshold value for determining that the casing 8 has been “left-moved”. “Left movement” corresponds to “second movement in which the state of the housing 8 changes in the second mode”.
- FIG. 5 is a block diagram illustrating a functional configuration of the information processing apparatus 4.
- the information processing device 4 includes an information processing device control unit 30, an information processing device communication unit 31, a display device 32, an information processing device storage unit 33, an operation input unit 34, and a GPS unit. 35, a relative orientation detection unit 36, a bus interface 37, and a camera interface 38.
- the information processing device control unit 30 includes a CPU, ROM, RAM, ASIC, signal processing circuit, and the like, and controls each unit of the information processing device 4.
- the CPU reads a program stored in the ROM into the RAM and executes processing, and executes processing by a function installed in, for example, the ASIC, and also performs signal processing in a signal processing circuit, for example.
- the processing is executed in cooperation with hardware and software, for example, by executing the processing.
- the information processing device communication unit 31 wirelessly communicates with external devices (including the mobile terminal 3) according to the Wi-Fi standard according to the control of the information processing device control unit 30.
- the display device 32 includes a display panel such as a liquid crystal panel or an organic EL panel, and displays an image on the display panel under the control of the information processing device control unit 30.
- the information processing device storage unit 33 includes a nonvolatile memory such as an EEPROM or a hard disk, and stores various data in a rewritable manner.
- the information processing device storage unit 33 stores map data 33a.
- the map data 33a stores information used when displaying a map on the display device 32, and information used for route search (so-called link information, so-called node information, etc.). Further, the map data 33a stores a detailed map in the facility and information indicating the structure of the facility (hereinafter referred to as “parking map information”) regarding the facility where the vehicle S such as a parking lot can be parked.
- the operation input unit 34 includes an operation element such as a switch provided in the information processing apparatus 4, detects an operation on the operation element by the user, and outputs a signal corresponding to the detected operation to the information processing apparatus control unit 30. Based on the input from the operation input unit 34, the information processing device control unit 30 executes a process corresponding to an operation on the operator by the user.
- an operation element such as a switch provided in the information processing apparatus 4
- detects an operation on the operation element by the user and outputs a signal corresponding to the detected operation to the information processing apparatus control unit 30.
- the information processing device control unit 30 executes a process corresponding to an operation on the operator by the user.
- the GPS unit 35 receives GPS radio waves from GPS satellites via a GPS antenna (not shown), and calculates the current position of the vehicle S and the traveling direction of the vehicle S from the GPS signals superimposed on the GPS radio waves.
- the GPS unit 35 outputs information indicating the calculated current position of the vehicle S and information indicating the calculated traveling direction of the vehicle S to the information processing device control unit 30.
- the relative direction detection unit 36 includes a gyro sensor and an acceleration sensor.
- the gyro sensor is constituted by, for example, a vibrating gyroscope, and detects a relative direction of the vehicle S (for example, a turning amount in the yaw axis direction).
- the acceleration sensor detects acceleration acting on the vehicle S (for example, the inclination of the vehicle with respect to the traveling direction).
- the relative direction detection unit 36 outputs information indicating the relative direction of the detected vehicle S and information indicating the acceleration acting on the detected vehicle S to the information processing device control unit 30.
- the bus interface 37 includes a communication interface corresponding to the bus 6, and communicates with external devices (including the vehicle drive control device 5) connected to the bus 6 under the control of the information processing device control unit 30.
- the camera interface 38 communicates with a camera provided in the vehicle S under the control of the information processing device control unit 30.
- the vehicle S includes a front camera CA1, a front right camera CA2, a side right camera CA3, a rear right camera CA4, and a rear camera CA5 as cameras that capture the outside of the vehicle.
- a rear left camera CA6, a side left camera CA7, and a front left camera CA8 are provided.
- a camera that shoots outside the vehicle is not distinguished, it is expressed as “camera for shooting outside the vehicle”.
- FIG. 6 is a diagram used for explaining the direction in which the camera for photographing outside the vehicle photographs.
- FIG. 6 is also used to explain switching of the outside-vehicle image G2, which will be described later.
- the front photographing camera CA1 is a camera that photographs the front of the vehicle S (see FIG. 6).
- the front right shooting camera CA2 is a camera for shooting the front right side of the vehicle S (see FIG. 6).
- the lateral right imaging camera CA3 is a camera that captures the lateral right side (see FIG. 6) of the vehicle S.
- the rear right photographing camera CA4 is a camera that photographs the rear right side (see FIG. 6) of the vehicle S.
- the rear photographing camera CA5 is a camera that photographs the rear of the vehicle S (see FIG. 6).
- the rear left photographing camera CA6 is a camera for photographing the rear left side (see FIG. 6) of the vehicle S.
- the lateral left-side photographing camera CA7 is a camera that photographs the lateral left side (see FIG. 6) of the vehicle S.
- the front left photographing camera CA8 is a camera that photographs the front left side (see FIG. 6) of the vehicle S.
- Each of the cameras for shooting outside the vehicle executes shooting at a predetermined cycle, generates shot image data based on the shooting result, and sends the generated shot image data to the information processing device control unit 30 via the camera interface 38. Output.
- the aspect of the camera for vehicle exterior photography provided in the vehicle S is not restricted to the aspect which concerns on this embodiment.
- the vehicle S may be provided with a camera for photographing outside the vehicle in the following manner. That is, the vehicle S is provided with four cameras, a front-side camera CA1, a side-right side camera CA3, a rear-side camera CA5, and a side-left side camera CA7, as the outside-camera camera.
- the lateral right and front right sides of the vehicle S are photographed by the photographing camera CA3, the rear, rear right and rear left sides of the vehicle S are photographed by the rear photographing camera CA5, and the left side photographing camera vehicle S side.
- a configuration may be used in which the left side and the front left side are photographed.
- the front camera CA1, the side right camera CA3, the rear camera CA5, and the side left camera CA7 generate overhead image data (described later). Used as a camera to be used.
- the cameras used for generating the overhead image data are not distinguished, they are expressed as “overhead cameras”.
- Each of the overhead view cameras is a wide-angle camera, and is provided at an appropriate position of the vehicle S from the viewpoint of being used for generation of overhead view image data.
- FIG. 7 is a block diagram showing a functional configuration of the vehicle drive control device 5.
- the vehicle drive control device 5 includes a vehicle drive control device control unit 50, a road-to-vehicle communication unit 51, a vehicle-to-vehicle communication unit 52, a radar device 53, a vehicle speed sensor 54, and a yaw rate sensor 55. And a bus interface 56.
- the vehicle drive control device control unit 50 includes a CPU, a ROM, a RAM, an ASIC, a signal processing circuit, and the like, and controls each unit of the vehicle drive control device 5.
- the CPU reads the program stored in the ROM into the RAM and executes the process, and executes the process by the function mounted in the ASIC, for example.
- the process is executed by cooperation of hardware and software, such as executing the process.
- the road-to-vehicle communication unit 51 receives information transmitted by narrowband wireless communication such as an optical beacon, a radio wave beacon, and a DSRC (Dedicated Short Range Communications) from a roadside device installed on a road or the like.
- the information transmitted from the roadside machine to the road-to-vehicle communication unit 51 includes, for example, information on other vehicles, information on pedestrians, and the like.
- the road-to-vehicle communication unit 51 outputs information received from the roadside machine to the vehicle drive control device control unit 50.
- the inter-vehicle communication unit 52 transmits / receives information to / from other vehicles located around the vehicle S by wireless communication. Examples of information transmitted and received by the inter-vehicle communication unit 52 include identification information for identifying the vehicle S and other vehicles, information indicating the positions of the vehicles S and other vehicles, and information indicating the speeds of the vehicles S and other vehicles. , Information indicating the traveling direction of the vehicle S and other vehicles, information indicating the timing when the vehicle S and other vehicles stop, and the like are included. The inter-vehicle communication unit 52 outputs the received information to the vehicle drive control device control unit 50.
- the radar device 53 radiates, for example, radio waves such as millimeter wave radar and laser radar, and sound waves such as ultrasonic radar toward the outside of the vehicle.
- the radar device 53 detects an object existing around the vehicle S by receiving a reflected wave reflected by an object (for example, another vehicle or a person) existing around the vehicle S.
- the radar device 114 outputs information regarding the detected object to the vehicle drive control device control unit 50.
- the vehicle speed sensor 54 detects the speed of the vehicle S (hereinafter referred to as “vehicle speed”), and outputs information indicating the detected vehicle speed to the vehicle drive control device controller 50.
- vehicle speed the speed of the vehicle S
- yaw rate sensor 55 detects the yaw rate applied to the vehicle S, and outputs information indicating the detected yaw rate to the vehicle drive control device controller 50.
- the bus interface 56 includes a communication interface corresponding to the bus 6, and communicates with external devices (including the information processing device 4) connected to the bus 6 under the control of the vehicle drive control device control unit 50.
- an engine ECU 60, a transmission ECU 61, a brake ECU 62, and a steering ECU 63 are connected to the bus 6 as ECUs.
- the vehicle drive control device controller 50 of the vehicle drive control device 5 outputs a control signal to each ECU via the bus 6 to control each ECU.
- the engine ECU 60 adjusts the engine speed by controlling a throttle actuator that opens and closes an electronic throttle valve provided in the intake pipe of the engine based on a control signal input from the vehicle drive control device controller 50.
- the transmission ECU 61 controls the hydraulic control device that adjusts the hydraulic pressure of the hydraulic oil supplied to the transmission based on the control signal input from the vehicle drive control device control unit 50 to control the hydraulic oil supplied to the transmission.
- the hydraulic pressure is adjusted, the transmission gear ratio is changed, and the rotational speed and torque transmitted from the engine are changed.
- the transmission ECU 61 sets the gear state of the vehicle S to parking (P), reverse (R), drive (D), neutral (N) based on a control signal input from the vehicle drive control device controller 50. And switch between low (L).
- the brake ECU 62 controls the brake device provided on the wheel of the vehicle S based on the control signal input from the vehicle drive control device control unit 50 to brake the vehicle S.
- the steering ECU 63 controls the steering device provided in the vehicle S based on a control signal input from the vehicle drive control device control unit 50 to steer the vehicle S.
- the vehicle drive control device 5 moves the vehicle S from the stop position where the vehicle S stops and stops the vehicle S without being driven by the user.
- the vehicle can be automatically moved to a target position, which is a target position, and stopped.
- the information processing device 4 outputs automatic driving route information to the vehicle drive control device 5 during automatic vehicle movement.
- FIG. 8 is a diagram used for explaining the automatic driving route information.
- the automatic driving route information is from a stop position to a target position in a virtual coordinate system in which the vehicle S stopped at the stop position is the origin, the front-rear direction of the vehicle S is the y-axis, and the left-right direction of the vehicle S is the x-axis.
- the trajectory information indicating the trajectory of the vehicle S is included.
- the trajectory information includes information indicating the coordinates of each point representing the trajectory of the vehicle S in the virtual coordinate system, and information indicating the direction of the vehicle S at each point in the virtual coordinate system.
- the trajectory information includes point P0 (the point that is the origin and corresponding to the stop position), point P1, point P2, point P3, point P4, and point P5 (corresponding to the target position). Point)) and information indicating the direction of the vehicle S at each point in the virtual coordinate system KZ1.
- the vehicle drive control device control unit 50 of the vehicle drive control device 5 includes an engine ECU 60 based on the automatic driving route information and inputs from the inter-vehicle communication unit 52, the radar device 53, the vehicle speed sensor 54, and the yaw rate sensor 55. Control signals are output to the transmission ECU 61, the brake ECU 62, and the steering ECU 63, and the vehicle S stopped at the stop position is moved to the target position on the track corresponding to the track information included in the automatic driving route information, and stopped at the target position.
- the method in which the vehicle drive control device 5 automatically moves the vehicle S from the stop position to the target position based on the automatic driving route information has been described.
- the method by which the vehicle drive control device 5 moves the vehicle S from the stop position to the target position is not limited to the method described above, and any method may be used.
- the sensors, ECUs, devices, and the like used by the vehicle drive control device 5 are not limited to the sensors, ECUs, devices, and the like according to the present embodiment. I can't.
- the content of the automatic driving route information may be any content as long as the vehicle drive control device 5 is information used when the vehicle S automatically moves the vehicle S from the stop position to the target position.
- parking means that the vehicle S stopped at the pre-parking position near the parking position is moved to the parking position and stopped.
- leaving means moving the vehicle S stopped at the parking position to the stop position after leaving near the parking position and stopping.
- a flowchart FA of FIG. 9 is a flowchart showing an operation of the information processing apparatus 4, and a flowchart FB is a flowchart showing an operation of the mobile terminal 3.
- the operation of the information processing apparatus 4 and the mobile terminal 3 will be described by taking as an example a case where the vehicle S is parked at a parking position corresponding to one parking area of a parking lot provided with a plurality of parking areas.
- FIG. 10 is a diagram illustrating a parking lot ST1 that is an example of a parking lot, a pre-parking position PS1 that is an example of a pre-parking position in the parking lot ST1, and a parking position PS2 that is an example of a parking position in the parking lot ST1.
- the parking lot ST1 has three parking areas AR1, a parking area AR2, and a parking area AR3 as parking areas where vehicles can be parked.
- Another vehicle different from the vehicle S is already parked in the parking area AR1 and the parking area AR3.
- the user determines the parking position PS2 of the parking area AR2 as a position where the vehicle S is desired to be parked, and stops the vehicle S at the pre-parking position PS1 in the vicinity of the parking position PS2.
- Step S1 the information processing device control unit 30 of the information processing device 4 executes a parking position determination process (step SA1).
- the parking position determination process is a process of identifying a parking area where the vehicle S can be parked and determining the parking position.
- the information processing device control unit 30 determines the vehicle based on information input from the GPS unit 35, information input from the relative orientation detection unit 36, information included in the map data 33a, and the like.
- the current position (pre-parking position) of S is specified.
- the method for specifying the current position of the vehicle S may be any method, and information other than the information described above may be used.
- information based on a positioning satellite system signal such as GLONASS, Galileo, Beidou, QZSS (Michibiki) may be used.
- the information processing device control unit 30 parks the vehicle S in the vicinity of the current position based on captured image data input from each of the cameras provided in the vehicle S, information on the map data 33a, and the like. A parking area where the vehicle S can be parked is specified.
- the map data 33a has the parking map information related to the parking lot to which the current position of the vehicle S belongs
- the information processing device control unit 30 identifies the parking area using the parking map information. Any method may be used to identify a parking area that exists in the vicinity of the current position of the vehicle S.
- the information processing device control unit 30 determines a position corresponding to the specified parking area as a parking position.
- the automatic driving route information generation process is a process of generating automatic driving route information including track information indicating a track from the current position (pre-parking position) where the vehicle S stops to the parking position determined in step SA1. is there.
- the information processing device control unit 30 is based on the captured image data input from each of the cameras provided in the vehicle S, information on the map data 33a, and the like. The trajectory of the vehicle S from the current position to the parking position is calculated. As shown in FIG.
- the information processing device control unit 30 is, for example, as a trajectory of the vehicle S from the pre-parking position to the parking position.
- the trajectory KD is calculated.
- the track KD illustrated in FIG. 10 includes a track KD1 from the pre-parking position PS1 to the position MD on the track KD, and a track KD2 from the position MD to the parking position PS2.
- the trajectory KD1 is a trajectory in which the vehicle S “forwards” while turning left from the pre-parking position PS1 in the traveling direction, and temporarily stops at the position MD.
- the track KD2 is a track in which the vehicle S “reverses” while turning left from the position MD toward the traveling direction and stops at the parking position PS2.
- the information processing device control unit 30 defines a virtual coordinate system whose origin is the current position of the vehicle S, and develops a line segment corresponding to the trajectory of the vehicle S in the defined virtual coordinate system. Based on the line segment, trajectory information is generated, and automatic driving route information including the trajectory information is generated.
- the user gets off the vehicle S with the portable terminal 3 carried and goes out of the vehicle.
- the user does not necessarily have to get off the vehicle S, but in the present embodiment, it is assumed that the user gets off the vehicle S for convenience of explanation.
- the user operates the touch panel 9 of the mobile terminal 3 to activate the dedicated application AP (step S2).
- the orientation of the housing 8 of the mobile terminal 3 is “vertical”.
- the terminal control unit 20 of the portable terminal 3 executes the process of the flowchart FB by the function of the dedicated application AP activated by the user in step S2.
- the terminal control unit 20 displays the lock screen GM1 (see FIG. 11) on the touch panel 9 (step SB1).
- a process for displaying a screen on the touch panel 9 a process for changing the contents of the screen according to a user operation, other events, and a display on the touch panel 9.
- the main body that executes the process of switching the screen from one screen to another screen is the terminal control unit 20.
- the terminal control unit 20 monitors whether there is an input for instructing the shift screen GM1 to shift to the vehicle propulsion control mode (step SB2).
- the contents of the lock screen GM1 and the process of step SB2 will be described in detail.
- FIG. 11 is a diagram showing the lock screen GM1.
- the lock screen GM1 is a screen that receives an input of an instruction to shift the operation mode of the mobile terminal 3 to a vehicle propulsion control mode (described later).
- the terminal control unit 20 shifts the operation mode to the vehicle propulsion control mode and locks the screen displayed on the touch panel 9
- the screen is switched from the screen GM1 to a vehicle control screen GM2 (described later).
- the operation mode is the vehicle propulsion control mode
- the user can operate the touch panel 9 to control the propulsion of the vehicle S.
- the slide unit SU1 is displayed on the lock screen GM1.
- the slide unit SU1 has a slide bar BR1 and a slide button SB1.
- the slide bar BR1 is a band-like object extending in the left-right direction, clearly indicates the range in which the slide button SB1 can move, and restricts the movement of the slide button SB1.
- the slide button SB1 is a button that can be touch-operated by the user (hereinafter, a button that can be touch-operated is expressed as a “touch operation button”), and moves along the slide bar BR1 according to the user's swipe operation. . As shown in FIG.
- the slide button SB1 is maintained in a state where it is located at the left end BR1a (one end) of the slide bar BR1 when the touch operation is not performed by the user.
- the slide button SB1 is movable within a range from the left end BR1a of the slide bar BR1 to the right end BR1b (the other end).
- FIG. 12 is a diagram used for explaining a screen displayed on the touch panel 9.
- FIG. 12 shows a part of the user's finger operating the screen together with the screen displayed on the touch panel 9.
- a state J1 in FIG. 12 shows the lock screen GM1 in a state where the user is not performing a touch operation.
- the user touches the slide button SB1 positioned at the left end BR1a of the slide bar BR1 with a finger on the lock screen GM1 in the state J1.
- the user performs a swipe operation to move the slide button SB1 to the right along the slide bar BR1.
- the swipe operation means an operation of moving the position where the finger contacts while maintaining the state where the finger is in contact with the touch panel 9.
- a state J2 in FIG. 12 shows the lock screen GM1 in a state where the slide button SB1 is located at the center of the slide bar BR1 by a swipe operation.
- a vehicle control screen GM2 (specifically, an overhead image display screen GM2a described later) is displayed as a background.
- the terminal control unit 20 masks the overhead image display screen GM2a displayed as the background with a dark black mask image that covers the entire background.
- the terminal control part 20 makes the color of a mask image light, so that the separation distance of left end BR1a of slide bar BR1 and slide button SB1 is large.
- the more the slide button SB1 moves to the right according to the swipe operation by the user the clearer the overhead image display screen GM2a displayed as the background.
- the user can sensuously input the lock screen GM1 appropriately. Can be recognized.
- a state J3 in FIG. 12 shows the lock screen GM1 in a state where the slide button SB1 is positioned at the right end BR1b of the slide bar BR1.
- the background overhead image display screen GM2a becomes clearer as the slide button SB1 is positioned to the right. If the swipe operation is canceled before the input of the instruction to shift to the vehicle propulsion control mode is completed, the terminal control unit 20 moves the slide button SB1 to the slide bar BR1 according to the release of the swipe operation. Move to the left end BR1a.
- step SB2 the terminal control unit 20 monitors whether or not the slide button SB1 is located at the right end BR1b of the slide bar BR1 for a predetermined period based on the input from the touch panel 9. And the terminal control part 20 discriminate
- the input of the instruction to shift to the vehicle propulsion control mode is completed only when the slide button SB1 is positioned at the right end BR1b of the slide bar BR1 for a predetermined period. Due to this configuration, it is possible to prevent the user's finger from accidentally touching the touch panel 9 and completing the input of the instruction to shift to the vehicle propulsion control mode against the user's intention.
- step SB2 If it is determined in step SB2 that there is an input for instructing the shift to the vehicle propulsion control mode (step SB2: YES), the terminal control unit 20 shifts the operation mode to the vehicle propulsion control mode (step SB3). In response to the transition of the operation mode, the terminal control unit 20 switches the screen displayed on the touch panel 9 from the lock screen GM1 to the vehicle control screen GM2 (step SB4).
- a state J4 in FIG. 12 shows the vehicle control screen GM2 immediately after the screen displayed on the touch panel 9 is switched from the lock screen GM1 to the vehicle control screen GM2.
- the orientation of the casing 8 of the mobile terminal 3 is “vertical”.
- a bird's-eye view image display screen GM2a or a vehicle exterior image display screen GM2b is displayed as the vehicle control screen GM2 depending on the orientation of the housing 8.
- the orientation of the housing 8 is “vertical”, and the overhead image display screen GM2a is displayed on the touch panel 9 as the vehicle control screen GM2.
- the terminal control unit 20 changes the slide button SB1 on the lock screen GM1 to a propulsion control button QB (operation button) that is a touch operation button in response to screen switching accompanying the transition of the operation mode.
- the propulsion control button QB is displayed on the vehicle control screen GM2. That is, the terminal control unit 20 does not newly display the propulsion control button QB as a button different from the slide button SB1 according to the switching of the screen, but displays the slide button SB1 positioned at the right end BR1b of the slide bar BR1 on the screen.
- the propulsion control button QB functions without changing the position. Therefore, immediately after the screen is switched, the propulsion control button QB is located at the right end BR1b of the slide bar BR1 in the lock screen GM1, and the propulsion control button QB is in a state of being touch-operated by the user.
- the information processing device control unit 30 of the information processing device 4 and the terminal control of the portable terminal 3 are performed.
- Unit 20 cooperates to execute the vehicle propulsion control process (step SA3, step SB5).
- the vehicle propulsion control process will be described separately for the process related to the propulsion control of the vehicle S and the process related to display on the touch panel 9.
- the terminal control unit 20 establishes a communication path between the mobile terminal 3 and the information processing device 4 in accordance with the Wi-Fi standard, and the mobile terminal 3 and the information processing device 4 Establishes a communicable state with.
- Information necessary for establishing a communication path for example, a password necessary for the information processing apparatus 4 to authenticate the portable terminal 3) is registered in advance.
- the terminal control unit 20 of the mobile terminal 3 controls the terminal communication unit 21 while the propulsion control button QB displayed on the vehicle control screen GM2 is touch-operated, and transmits the propulsion instruction signal. Transmit to the processing device 4.
- the terminal control unit 20 stops the transmission of the propulsion instruction signal in response to the cancellation of the touch operation of the propulsion control button QB. That is, the terminal control unit 20 does not transmit a propulsion instruction signal to the information processing device 4 while the propulsion control button QB is not touch-operated.
- the screen displayed as the vehicle control screen GM2 is switched according to the orientation of the housing 8 of the mobile terminal 3, and the position of the propulsion control button QB on the vehicle control screen GM2 according to the user's operation. Move.
- the terminal control unit 20 performs the propulsion instruction while the propulsion control button QB is being touched regardless of the switching of the screen displayed on the vehicle control screen GM2 and regardless of the position of the propulsion control button QB.
- a signal is transmitted to the information processing apparatus 4, and the propulsion instruction signal is not transmitted to the information processing apparatus 4 while the touch operation is not performed.
- the information processing device control unit 30 of the information processing device 4 outputs the automatic driving route information generated in the automatic driving route information generation processing in step SA2 to the vehicle drive control device 5. Further, the information processing device control unit 30 outputs a drive instruction signal to the vehicle drive control device 5 while receiving the propulsion instruction signal from the portable terminal 3. On the other hand, the information processing device control unit 30 does not output a drive instruction signal to the vehicle drive control device 5 while the propulsion instruction signal is not received from the mobile terminal 3.
- the vehicle drive control device 5 executes the following processing based on the drive instruction signal input from the information processing device 4. That is, the vehicle drive control device control unit 50 of the vehicle drive control device 5 uses the track information indicated by the track information while the drive instruction signal is input from the information processing device 4 based on the track information included in the automatic driving route information. The vehicle S is moved along On the other hand, when the driving instruction signal is changed from the input state to the non-input state, the vehicle drive control device controller 50 brakes the vehicle S and stops the movement of the vehicle S. And when it changes from the state in which the drive instruction signal is not input to the input state, the vehicle drive control device controller 50 starts the vehicle S and moves the vehicle S along the track indicated by the track information. Move. Explaining with an example using FIG.
- the vehicle drive control device controller 50 starts the vehicle S located at the pre-parking position PS1 and then tracks the vehicle S while the drive instruction signal is being input. Move along KD. Then, when the vehicle S is positioned at the position PS3, when the drive instruction signal is not input, the vehicle drive control device controller 50 brakes the vehicle S and stops the movement of the vehicle S. In this state, when the drive instruction signal is input again, the vehicle drive control device control unit 50 starts the vehicle S located at the position PS3 and moves the vehicle S along the track KD.
- the vehicle S moves along the track while the user does not touch the propulsion control button QB. During this time, the movement of the vehicle S stops. For this reason, when the user desires to stop the movement of the vehicle S for some reason, the user can quickly stop the movement of the vehicle S by performing a simple operation of releasing the touch operation of the propulsion control button QB. Can do.
- processing related to display on the touch panel 9 in the vehicle propulsion control processing will be described.
- the user can switch the operation mode between the first mode and the second mode in a predetermined method.
- the operation of the information processing apparatus 4 and the mobile terminal 3 when the operation mode is the first mode will be described, and then the operation of the information processing apparatus 4 and the mobile terminal 3 when the operation mode is the second mode will be described. To do.
- a flowchart FC in FIG. 13 is a flowchart illustrating the operation of the mobile terminal 3 when the operation mode is the first mode.
- a flowchart FD in FIG. 14A and a flowchart FE in FIG. 14B are flowcharts illustrating the operation of the information processing apparatus 4 when the operation mode is the first mode, respectively.
- the terminal control unit 20 of the mobile terminal 3 controls the terminal communication unit 21 in accordance with the transition to the vehicle propulsion control mode, indicating that the terminal has shifted to the vehicle propulsion control mode.
- Vehicle propulsion control mode information is transmitted to the information processing device 4 (step SC1).
- the information processing device control unit 30 of the information processing device 4 receives the vehicle propulsion control mode information (step SD1).
- the information processing device control unit 30 displays the composite image G on the display device 32 based on the captured image data input from each of the cameras provided in the vehicle S in response to reception of the vehicle propulsion control mode information.
- Start step SD2.
- FIG. 15 is a view of the display device 32 on which the composite image G is displayed as viewed from the front.
- the display area AR capable of displaying an image on the display device 32 is a rectangular shape having short sides in the vertical direction and long sides in the horizontal direction.
- the up and down direction is a direction corresponding to the vertical direction
- the left and right direction is a direction corresponding to a direction orthogonal to the vertical direction.
- the composite image G includes an overhead image G1 and an outside-vehicle image G2.
- the bird's-eye view image G1 is an image obtained by bird's-eye view of the vehicle S.
- the bird's-eye view image G1 is a rectangular image having a long side in the vertical direction and a short side in the horizontal direction, and is displayed on the left part of the display area AR.
- a mark M1 that clearly indicates that the displayed image is the overhead image G1 is displayed in the lower right part of the overhead image G1.
- the outside-vehicle image G2 is an image based on a result of shooting outside the vehicle by one of the outside-shooting cameras.
- the vehicle exterior image G2 is a rectangular image having a short side in the vertical direction and a long side in the left-right direction.
- the outside image G2 is displayed on the right side of the display area AR in a state where the right side of the overhead image G1 and the left side of the outside image G2 overlap.
- a mark M2 is displayed on the lower right side of the outside-vehicle image G2.
- the mark M2 is a mark that clearly indicates a camera for shooting outside the vehicle, which is an output source of shot image data corresponding to the image G2 displayed outside the vehicle, among the cameras for shooting outside the vehicle.
- the outside shooting camera CA1 that outputs the shooting image data corresponding to the outside image G2 displayed on the display device 32 is the front shooting camera CA1
- the mark M2 corresponds to the symbol representing the vehicle S.
- It is a mark that is decorated to clearly indicate that the front of the vehicle S has been photographed.
- image data of an image overlooking the vehicle S (hereinafter referred to as “overhead image data”) is generated based on the captured image data input from each of the overhead view cameras.
- the bird's-eye view of the vehicle S is an image showing a state where the entire vehicle S and the periphery of the vehicle S are viewed from above.
- image data refers to dots having information relating to colors (for example, information representing the color components of each color of RGB with gradation values of a predetermined gradation) in a dot matrix with a predetermined resolution. It is the arranged bitmap data.
- the overhead image data is image data with a predetermined resolution having a size corresponding to the size of the overhead image G1 (the length in the vertical direction and the length in the horizontal direction).
- the process of generating the overhead image data based on the captured image data input from the overhead camera is appropriately performed by existing technology.
- Each of the overhead view cameras performs shooting synchronously, and outputs the captured image data based on the shooting result to the information processing device control unit 30 synchronously.
- Each of the overhead view cameras executes photographing and outputs photographed image data at a predetermined cycle (for example, 10 milliseconds).
- the information processing device control unit 30 acquires captured image data input from each of the overhead cameras at a cycle corresponding to the predetermined cycle, and generates overhead image data based on the acquired captured image data.
- the information processing device control unit 30 adds the image data corresponding to the mark M1 to an appropriate position to generate the overhead image data.
- each of the outside-shooting cameras executes shooting at a predetermined cycle, and outputs shot image data based on the shooting result to the information processing device control unit 30.
- the information processing device control unit 30 selects one of the outside-camera shooting cameras, acquires the shot image data input from the selected outside-shooting camera, and based on the shot image data, Image data of the image G2 (hereinafter referred to as “vehicle outside image data”) is generated.
- the information processing device control unit 30 generates image data outside the vehicle at a cycle corresponding to the predetermined cycle.
- the information processing device control unit 30 adds the image data corresponding to the mark M2 to an appropriate position to generate the outside-vehicle image data.
- the image data outside the vehicle is image data of a predetermined resolution having a size corresponding to the size of the image G2 outside the vehicle (the length in the vertical direction and the length in the horizontal direction).
- the information processing device control unit 30 executes the generation of the overhead image data based on the input from the overhead camera and the generation of the outside image data based on the input from the outside camera in synchronization with a predetermined cycle.
- the information processing device control unit 30 synthesizes the generated overhead image data and the generated vehicle exterior image data in accordance with the positional relationship between the overhead image G1 and the vehicle exterior image G2 in a predetermined cycle. Generate composite image data.
- the information processing device control unit 30 controls the display device 32 based on the generated composite image data, and causes the display device 32 to display the composite image G based on the composite image data. As a result, a composite image G in which the overhead image G1 and the outside-vehicle image G2 are combined is displayed on the display device 32.
- the contents of the bird's-eye view image G1 change from time to time based on the shooting result of the bird's-eye view camera, and the contents of the outside image G2 change from time to time based on the shooting result of the selected camera for shooting outside the vehicle.
- the information processing device control unit 30 generates composite image data at a predetermined cycle and causes the display device 32 to display the composite image G. In response to the display of the composite image G on the display device 32, the information processing device control unit 30 transmits the generated composite image data to the portable terminal 3 at the predetermined cycle (step SD3). In the first mode, the information processing device control unit 30 is different from the second mode described later in that the composite image data is transmitted to the mobile terminal 3.
- the terminal control unit 20 of the mobile terminal 3 starts receiving the composite image data transmitted by the information processing device 4 (step SC2), and overlooks the touch panel 9 based on the received composite image data.
- the image display screen GM2a is displayed (step SC3).
- the orientation of the casing of the mobile terminal 3 is “vertical”.
- the bird's-eye view image display screen GM2a is a screen on which the bird's-eye view image G1 is displayed and the propulsion control button QB is superimposed on the bird's-eye view image G1 as indicated by the state J3 in FIG.
- the terminal control unit 20 performs the following processing to display the overhead image display screen GM2a on the touch panel 9.
- the terminal control unit 20 extracts overhead image data from the composite image data for each of the composite image data received at a predetermined cycle.
- the region of the overhead image data in the composite image data is determined in advance, and the terminal control unit 20 extracts the overhead image data by cutting out the data belonging to the region of the overhead image data in the composite image data from the composite image data.
- the terminal control unit 20 performs necessary image processing (processing for adjusting the resolution, processing for adjusting the size, etc.) on the extracted overhead image data, and the overhead image data after performing the image processing.
- the overhead image display screen GM2a is displayed on the touch panel 9.
- the content of the overhead image G1 displayed on the overhead image display screen GM2a changes from time to time in synchronization with the overhead image G1 displayed on the display device 32 of the information processing device 4 based on the photographing result of the overhead camera. .
- the overhead image G1 has a long side in the vertical direction (direction corresponding to the vertical direction) and a short side in the horizontal direction (direction corresponding to the direction orthogonal to the vertical direction). It is the rectangular image which has.
- the touch panel 9 is in a state in which the direction of the long side is along the vertical direction and the direction of the short side is along the direction orthogonal to the vertical direction. . Therefore, when the orientation of the housing 8 is “vertical”, the overhead image G1 is displayed on the touch panel 9 so that the overhead image G1 has a long side in the vertical direction and a short side in the horizontal direction.
- the overhead image G1 can be displayed using the entire display area of the touch panel 9 without unnecessarily reducing the overhead image G1. For this reason, it is easy for the user to see the bird's-eye view image G1, and the convenience for the user is improved.
- the terminal control unit 20 After displaying the bird's-eye view image display screen GM2a, the terminal control unit 20 changes the orientation of the casing 8 of the portable terminal 3 from “vertical” to “horizontal” based on the input from the casing state detector 23. It is monitored whether it has changed (step SC4). When it is detected that the orientation of the casing 8 of the mobile terminal 3 has changed from “vertical” to “horizontal” (step SC4: YES), the terminal control unit 20 performs a predetermined process corresponding to the state of the vehicle S. According to the priorities, one out-of-vehicle shooting camera is selected from the out-of-vehicle shooting cameras (step SC5).
- the priority order is a priority order that is higher for an out-of-vehicle shooting camera capable of shooting the traveling direction of the vehicle S.
- the front photographing camera CA1 has the highest priority
- the front right camera CA2 has the highest priority
- the rear camera CA5 has the highest priority when the vehicle S is "reversing" backward.
- the priority order is a priority order that is higher for a camera capable of photographing an object close to the vehicle S.
- the object close to the vehicle S is, for example, a vehicle that is already parked in a parking area adjacent to a parking area that is scheduled to be parked by automatic vehicle movement, and is, for example, a person other than the user.
- an object is present at a position close to the vehicle S, it is assumed that there are many cases where the user desires to recognize the object and recognize the positional relationship between the object and the vehicle S.
- step SC5 the terminal control unit 20 acquires information necessary for selecting a camera for photographing outside the vehicle with a predetermined priority by appropriately communicating with the information processing device 4.
- the terminal control unit 20 After selecting one out-of-vehicle shooting camera in step SC5, the terminal control unit 20 processes selected camera information (for example, identification information for identifying the selected out-of-vehicle shooting camera) indicating the selected out-of-vehicle shooting camera. It transmits to the apparatus 4 (step SC6).
- selected camera information for example, identification information for identifying the selected out-of-vehicle shooting camera
- the information processing device control unit 30 of the information processing device 4 receives the selected camera information (step SE1).
- the information processing device control unit 30 changes the vehicle exterior image G2 to be displayed on the display device 32 to an image based on the imaging result of the vehicle imaging camera indicated by the selected camera information received in Step SE1 (Step SE2).
- Step SE ⁇ b> 2 the information processing device control unit 30 combines the overhead image data and the outside image data based on the imaging result of the outside camera indicated by the selected camera information to generate combined image data, and the generated combined image A composite image G is displayed based on the data.
- the information processing device control unit 30 continues to transmit the composite image data corresponding to the composite image G displayed on the display device 32.
- the composite image data transmitted from the information processing device 4 to the mobile terminal 3 includes the outside image data based on the photographing result of the outside photographing camera selected in step SC5. Become.
- the terminal control unit 20 of the mobile terminal 3 transmits the selected camera information in step SC ⁇ b> 6, and then displays the outside image on the touch panel 9 based on the composite image data received from the information processing device 4.
- the display screen GM2b is displayed (step SC7).
- the composite image data used to display the vehicle outside image display screen GM2b is composite image data including vehicle outside image data based on the shooting result of the vehicle shooting outside the vehicle selected in step SC5.
- a state J6 in FIG. 12 shows the outside-vehicle image display screen GM2b.
- the vehicle outside image display screen GM2b is a screen on which the vehicle outside image G2 is displayed and the propulsion control button QB is displayed superimposed on the vehicle outside image G2, as indicated by the state J6 in FIG.
- step SC7 the terminal control unit 20 extracts image data outside the vehicle from the composite image data for each of the composite image data received at a predetermined cycle.
- the area of the image data outside the vehicle in the composite image data is determined in advance, and the terminal control unit 20 extracts the image data outside the vehicle by cutting out data belonging to the area of the image data outside the vehicle in the composite image data from the composite image data.
- the terminal control unit 20 performs necessary image processing (processing for adjusting the resolution, processing for adjusting the size, etc.) on the extracted image data outside the vehicle, and the image data outside the vehicle after performing the image processing. Based on the above, the outside image display screen GM2b is displayed on the touch panel 9.
- the contents of the vehicle exterior image G2 displayed on the vehicle exterior image display screen GM2b are synchronized with the vehicle exterior image G2 displayed on the display device 32 of the information processing device 4 based on the imaging result of the vehicle exterior imaging camera selected in step SC5. And change from time to time.
- the touch panel 9 replaces the overhead image display screen GM2a with the outside image display screen.
- GM2b is displayed.
- the outside image display screen GM2b is obtained by performing a simple operation of changing the orientation of the housing 8 of the mobile terminal 3. Can be displayed and the vehicle outside image G2 can be confirmed.
- the operation of changing the orientation of the housing 8 of the mobile terminal 3 is an operation that can be easily and accurately performed even when the user is holding the mobile terminal 3 with one hand, and is convenient for the user. High nature.
- the vehicle exterior image display screen GM2b displayed in response to the change of the orientation of the housing 8 of the mobile terminal 3 from “vertical” to “lateral” is a predetermined value corresponding to the state of the vehicle S. It is a screen based on the imaging
- the vehicle exterior image G2 has a long side in the left-right direction (a direction corresponding to a direction orthogonal to the vertical direction) and a short side in the vertical direction (a direction corresponding to the vertical direction). It is a rectangular image.
- the touch panel 9 is in a state in which the direction of the long side is along the direction perpendicular to the vertical direction and the direction of the short side is along the vertical direction. Therefore, when the orientation of the housing 8 is “landscape”, the vehicle exterior image G2 is displayed on the touch panel 9, whereby the vehicle exterior image G2 has a long side in the left-right direction and a short side in the vertical direction.
- the vehicle exterior image G2 can be displayed using the entire display area of the touch panel 9 without suitably reducing the vehicle exterior image G2 unnecessarily. For this reason, the image G2 outside the vehicle is easy for the user to see and the convenience for the user is improved.
- the terminal control unit 20 monitors whether or not the casing 8 has performed either “right movement” or “left movement” (step SC8). Then, it is monitored whether or not the orientation of the housing 8 is “vertical” (step SC9).
- step SC8 When the casing 8 does not move “rightward” or “leftward” (step SC8: NO) and the orientation of the casing 8 is “vertical” (step SC9: YES), the terminal The control unit 20 moves the processing procedure to step SC3.
- step SC ⁇ b> 3 the terminal control unit 20 displays the overhead image display screen GM ⁇ b> 2 a on the touch panel 9 based on the composite image data received from the information processing device 4.
- the orientation of the housing 8 of the mobile terminal 3 changes from “horizontal” to “vertical”
- the overhead image display screen GM2a is displayed on the touch panel 9 instead of the outside image display screen GM2b. Is displayed.
- the overhead image display screen GM2a is obtained by performing a simple operation of changing the orientation of the housing 8 of the mobile terminal 3. Can be displayed and the overhead image G1 can be confirmed.
- the operation of changing the orientation of the housing 8 of the mobile terminal 3 is an operation that can be easily and accurately performed even when the user is holding the mobile terminal 3 with one hand, and is convenient for the user.
- High nature in particular, it is assumed that the bird's-eye view image G1 is an image that is most frequently checked by the user while automatic vehicle movement is being performed. And according to this embodiment, the user can confirm the bird's-eye view image G1 at an arbitrary timing by setting the orientation of the casing 8 of the mobile terminal 3 to “vertical orientation”. high.
- step SC9 NO
- step SC8 YES
- step SC10 the terminal control unit 20 determines whether the movement of the housing 8 is “right movement” or “left movement”.
- step SC10 the terminal control unit 20 uses the outside shooting according to the first order corresponding to the shooting direction of the outside shooting camera.
- One camera for photographing outside the vehicle is selected from the cameras (step SC11).
- the first order is “front” ⁇ “front right” ⁇ “side right” ⁇ “back right” ⁇ “back” ⁇ “back left” ⁇ “side left” ⁇ “front” "Left side” ⁇ "Front”. That is, the first order is an order in which the direction in which the camera for photographing outside the vehicle captures changes clockwise.
- step SC11 the terminal control unit 20 captures the direction in the order next to the direction captured by the camera for capturing outside the vehicle selected before executing the processing in step SC11 according to the first order. Select. For example, when the front photographing camera CA1 is selected before executing the process of step SC11, in step SC11, the terminal control unit 20 selects the front right photographing camera CA2 in the first order. Further, for example, when the rear photographing camera CA5 is selected before executing the process of step SC11, in step SC11, the terminal control unit 20 selects the rear left photographing camera CA6 in the first order. .
- the terminal control unit 20 After selecting the camera for photographing outside the vehicle in step SC11, the terminal control unit 20 transmits selected camera information indicating the selected camera for photographing outside the vehicle to the information processing apparatus 4 (step SC12). After the process of step SC12, terminal control unit 20 returns the process procedure to step SC8. In response to the transmission of the selected camera information in step SC12, the information processing apparatus 4 executes the process of the flowchart FE in FIG. 14B and displays the outside-vehicle image G2 to be displayed on the display device 32 of the outside-shooting camera indicated by the selected camera information. Change to an image based on the shooting result.
- the composite image data transmitted from the information processing device 4 to the mobile terminal 3 includes vehicle exterior image data based on the photographing result of the vehicle photographing camera indicated by the selected camera information.
- the vehicle exterior image G2 displayed on the vehicle exterior image display screen GM2b of the touch panel 9 of the portable terminal 3 becomes an image based on the imaging result of the vehicle exterior imaging camera selected in step SC11.
- the user can switch the vehicle exterior image G2 displayed on the vehicle exterior image display screen GM2b by performing a simple operation of causing the casing 8 to “right move”.
- the housing 8 performs “right movement”
- the shooting direction corresponding to the vehicle outside image G2 displayed on the vehicle outside image display screen GM2b changes clockwise according to the first order.
- the “right direction” in which the housing 8 moves in “right movement” is linked to “clockwise”, and the user takes the “right movement” to the housing 8 and then captures which direction. It is possible to grasp sensuously whether the vehicle exterior image G2 based on the photographing result of the camera for photographing outside the vehicle is displayed on the touch panel 9, and the convenience for the user is high.
- step SC10 determines that the movement of the housing 8 is “left movement” (step SC10: “left movement”)
- the terminal control unit 20 executes the following processing.
- the terminal control unit 20 uses the outside shooting for the outside shooting according to the second order according to the shooting direction.
- One camera for photographing outside the vehicle is selected from the cameras (step SC13).
- the second order is “front” ⁇ “front left” ⁇ “side left” ⁇ “back left” ⁇ “back” ⁇ “back right” ⁇ “side right” ⁇ “front” "Right side” ⁇ "Front”.
- the second order is an order in which the direction in which the camera for photographing outside the vehicle captures changes counterclockwise.
- the terminal control unit 20 shoots the direction-of-vehicle shooting camera that shoots the direction in the order next to the direction shot by the camera for shooting outside the vehicle selected before executing the process of step SC ⁇ b> 13 according to the second order.
- the terminal control unit 20 selects the front left photographing camera CA8 according to the second order.
- the terminal control unit 20 selects the rear right photographing camera CA4 in the second order.
- the terminal control unit 20 After selecting the camera for photographing outside the vehicle in step SC13, the terminal control unit 20 transmits selected camera information indicating the selected camera for photographing outside the vehicle to the information processing apparatus 4 (step SC14). After the processing of step SC14, terminal control unit 20 returns the processing procedure to step SC8. In response to the transmission of the selected camera information in step SC14, the information processing apparatus 4 executes the process of the flowchart FE of FIG. Change to an image based on the shooting result. Accordingly, the composite image data transmitted from the information processing device 4 to the mobile terminal 3 includes vehicle exterior image data based on the photographing result of the vehicle photographing camera indicated by the selected camera information. Thereby, the vehicle exterior image G2 displayed on the vehicle exterior image display screen GM2b of the touch panel 9 of the portable terminal 3 becomes an image based on the imaging result of the vehicle exterior imaging camera selected in step SC11.
- the user can switch the vehicle exterior image G2 displayed on the vehicle exterior image display screen GM2b by performing a simple operation of causing the casing 8 to “left move”.
- the shooting direction corresponding to the outside image G2 displayed on the outside image display screen GM2b changes counterclockwise according to the second order.
- the “left direction” in which the housing 8 moves in the “left motion” is linked to “counterclockwise”, and the user moves the housing 8 in the “left motion” direction after It is possible to grasp sensuously whether the vehicle exterior image G2 based on the photographing result of the camera for photographing outside the vehicle to be photographed is displayed on the touch panel 9, and the convenience for the user is high.
- the first mode has been described above. Compared to the second mode, which will be described later, the first mode does not require the information processing device 4 to execute processing for extracting the overhead image data and the vehicle exterior image data from the composite image data. Is small.
- a flowchart FF in FIG. 16 is a flowchart illustrating the operation of the mobile terminal 3 when the operation mode is the second mode.
- the flowchart FG in FIG. 17A, the flowchart FH in FIG. 17B, and the flowchart FI in FIG. 17C are flowcharts showing the operation of the information processing apparatus 4 when the operation mode is the second mode.
- the terminal control unit 20 of the mobile terminal 3 controls the terminal communication unit 21 in accordance with the shift to the vehicle propulsion control mode to indicate that the terminal has shifted to the vehicle propulsion control mode.
- Vehicle propulsion control mode information is transmitted to information processor 4 (Step SF1).
- the information processing device control unit 30 of the information processing device 4 receives the vehicle propulsion control mode information (step SG1). In response to receiving the vehicle propulsion control mode information, the information processing device control unit 30 generates a composite image to be displayed on the display device 32 based on photographed image data input from each of the outside camera and the overhead camera. Display of G is started (step SG2).
- the terminal control unit 20 of the mobile terminal 3 is in the “vertical” direction of the casing 8 of the mobile terminal 3 continuously with the transmission of the vehicle propulsion control mode information in step SF1. Longitudinal information indicating the presence is transmitted (step SF2). At the time when the process of step SC3 is executed, the orientation of the casing of the mobile terminal 3 is “vertical”.
- the information processing device control unit 30 of the information processing device 4 receives the vertical orientation information (step SH1).
- the information processing device control unit 30 starts transmitting overhead image data to the mobile terminal 3 in response to the reception of the portrait information (step SH2).
- the information processing device control unit 30 extracts overhead image data from the composite image data generated at a predetermined cycle.
- the information processing device control unit 30 performs image processing according to the resolution and size of the touch panel 9 of the mobile terminal 3 on the extracted overhead image data, and the overhead image data after the image processing is carried Transmit to terminal 3.
- the information processing device control unit 30 executes the overhead image data transmission at a cycle corresponding to the cycle for generating the composite image data.
- the terminal control unit 20 stops transmitting the image data outside the vehicle and starts transmitting the overhead image data.
- the terminal control unit 20 of the mobile terminal 3 starts receiving overhead image data (step SF3).
- the terminal control unit 20 causes the touch panel 9 to display an overhead image display screen GM2a on which the overhead image G1 is displayed based on the overhead image data that has been received in Step SF3 (Step SF4).
- the content of the overhead image G1 displayed on the overhead image display screen GM2a changes from time to time in synchronization with the overhead image G1 displayed on the display device 32 of the information processing device 4 based on the photographing result of the overhead camera. .
- the terminal control unit 20 After displaying the bird's-eye view image display screen GM2a, the terminal control unit 20 changes the orientation of the casing 8 of the portable terminal 3 from “vertical” to “horizontal” based on the input from the casing state detector 23. It is monitored whether it has changed (step SF5). When it is detected that the orientation of the casing 8 of the mobile terminal 3 has changed from “vertical” to “horizontal” (step SF5: YES), the terminal control unit 20 performs a predetermined process corresponding to the state of the vehicle S. According to the priorities, one out-of-vehicle shooting camera is selected from the out-of-vehicle shooting cameras (step SF6).
- the predetermined priority order is, for example, the priority order exemplified in the first mode.
- the terminal control unit 20 transmits, to the information processing apparatus 4, landscape information including information indicating that the orientation of the mobile terminal 3 is “landscape” and information indicating the camera for shooting outside the vehicle selected in step SF ⁇ b> 6 ( Step SF7).
- the information processing device control unit 30 of the information processing device 4 receives the landscape information (step SI1).
- the information processing device control unit 30 In response to the reception of the sideways information, the information processing device control unit 30 generates the outside image G2 to be displayed on the display device 32 based on the imaging result of the outside camera indicated by the selected camera information included in the sideways information received in step SI1. Change to an image (step SI2).
- the information processing device control unit 30 stops the overhead image data transmission to the mobile terminal 3 and starts the transmission of the outside image data (step SI3).
- the information processing device control unit 30 extracts image data outside the vehicle from the composite image data generated at a predetermined cycle.
- the information processing device control unit 30 performs image processing according to the resolution and size of the touch panel 9 of the mobile terminal 3 on the extracted image data outside the vehicle, and carries the image data outside the vehicle after the image processing is performed. Transmit to terminal 3.
- the information processing device control unit 30 executes the transmission of the image data outside the vehicle at a cycle corresponding to the cycle for generating the composite image data.
- the terminal control unit 20 of the mobile terminal 3 starts to receive image data outside the vehicle (step SF8).
- the terminal control unit 20 causes the touch panel 9 to display a vehicle exterior image display screen GM2b on which the vehicle exterior image G2 is displayed based on the vehicle exterior image data that has been received in step SF8 (step SF9).
- the content of the vehicle exterior image G2 displayed on the vehicle exterior image display screen GM2b changes from time to time in synchronization with the vehicle exterior image G2 displayed on the display device 32 of the information processing device 4 based on the photographing result of the overhead camera. .
- step SF9 the outside image display screen GM2b is displayed instead of the overhead image display screen GM2a in response to the change of the orientation of the casing 8 of the portable terminal 3 from “vertical” to “horizontal”. .
- the effect of this is as described in the description of the first mode.
- the terminal control unit 20 monitors whether the casing 8 has moved either “right movement” or “left movement” (step SF10). Then, it is monitored whether or not the orientation of the housing 8 is “vertical” (step SF11).
- step SF10 NO
- step SF11 YES
- the terminal The control unit 20 shifts the processing procedure to Step SF2.
- the orientation of the housing 8 of the mobile terminal 3 changes from “horizontal” to “vertical”
- the overhead image display screen GM2a is displayed on the touch panel 9 instead of the vehicle exterior image display screen GM2b. The effect of this is as described in the description of the first mode.
- step SF11 NO
- step SF10 YES
- step SF12 the terminal control unit 20 determines whether the movement of the casing 8 is “right movement” or “left movement”.
- the terminal control unit 20 uses the outside shooting for the outside shooting according to the first order corresponding to the shooting direction.
- One out-of-vehicle shooting camera is selected from the cameras (step SF13).
- the terminal control unit 20 transmits to the information processing device 4 landscape information including information indicating that the orientation of the mobile terminal 3 is “landscape” and information indicating the outside-camera shooting camera selected in step SF13 ( Step SF14).
- the terminal control unit 20 moves the process procedure to step SF10.
- the information processing apparatus 4 executes the process of the flowchart FI in FIG. 17C, and captures the outside image G2 displayed on the display device 32 by the selected camera information included in the landscape information. Change to an image based on the shooting results of the camera. Furthermore, the information processing device 4 starts transmission of the vehicle exterior image data to the portable terminal 3 based on the imaging result of the vehicle shooting camera indicated by the selected camera information. Thereby, the vehicle exterior image G2 displayed on the vehicle exterior image display screen GM2b of the touch panel 9 of the portable terminal 3 becomes an image based on the photographing result of the vehicle photographing outside the vehicle selected in Step SF13.
- step SF12 when the movement of the housing 8 is “left movement” in step SF12 (step SF12: “left movement”), the terminal control unit 20 performs the second operation according to the direction in which the camera for photographing outside the vehicle captures. According to the order, one out-of-vehicle shooting camera is selected from the out-of-vehicle shooting cameras (step SF15). Next, the terminal control unit 20 transmits to the information processing device 4 landscape information including information indicating that the orientation of the mobile terminal 3 is “landscape” and information indicating the outside-camera shooting camera selected in step SF15 ( Step SF16). After the process of step SF16, the terminal control unit 20 moves the process procedure to step SF10.
- the information processing device 4 executes the process of the flowchart FI in FIG. 17C, and captures the outside image G2 to be displayed on the display device 32 by the selected camera information included in the landscape information. Change to an image based on the shooting results of the camera. Furthermore, the information processing device 4 starts transmission of the vehicle exterior image data to the portable terminal 3 based on the imaging result of the vehicle shooting camera indicated by the selected camera information. Thereby, the vehicle exterior image G2 displayed on the vehicle exterior image display screen GM2b of the touch panel 9 of the portable terminal 3 becomes an image based on the photographing result of the vehicle photographing outside the vehicle selected in Step SF16.
- the second mode has been described above. Compared with the first mode described above, the second mode has a smaller amount of data transmitted from the information processing device 4 to the portable terminal 3, and has better communication efficiency.
- the vehicle control screen GM2 (the overhead image display screen GM2a or the outside image display screen GM2b) is displayed on the touch panel 9 of the portable terminal 3.
- a propulsion control button QB is displayed on the vehicle control screen GM2.
- the propulsion control button QB is a button that controls the propulsion of the vehicle S. While the button is touch-operated, the vehicle S is propelled along the track and the button is not touch-operated. Meanwhile, the propulsion of the vehicle S stops.
- the terminal control unit 20 moves the position of the touch operation when the position of the touch operation moves while the touch panel 9 is touched after the propulsion control button QB displayed on the vehicle control screen GM2 is touched. Following this, the position of the propulsion control button QB is moved. Thus, even when the position of the touch operation is moved while the touch panel 9 is touched after the propulsion control button QB is touched, the state where the propulsion control button QB is touch-operated is maintained.
- the state J4 in FIG. 12 shows the vehicle control screen GM2 immediately after the screen displayed on the touch panel 9 is switched from the lock screen GM1 to the vehicle control screen GM2.
- the vehicle control screen GM2 shows the vehicle control screen GM2 after the position of the touch operation has moved from the position of the touch operation in the state J4.
- the position of the propulsion control button QB moves following the touch position in accordance with the movement of the touch position, and the state where the propulsion control button QB is touched is maintained.
- the orientation of the mobile terminal 3 is changed from the state J5 to the landscape orientation, and the vehicle outside image display screen GM2b is displayed on the touch panel 9 instead of the overhead image display screen GM2a displayed in the state J5. It shows how it was done.
- the terminal control unit 20 displays the state in which the propulsion control button QB is displayed even when the screen displayed on the touch panel 9 is switched from the overhead image display screen GM2a to the outside image display screen GM2b. While maintaining, the position of the propulsion control button QB is moved following the movement to the position of the touch operation, and the state where the propulsion control button QB is touch-operated is maintained.
- the terminal control unit 20 performs the above-described process, and thus has the following effects. That is, after the user performs a touch operation on the propulsion control button QB, the state in which the propulsion control button QB is touch-operated is maintained even when the position of the finger to be touched is shifted. For this reason, when the user operates the propulsion control button QB, the user does not need to continue to touch a specific position with a pinpoint, and the convenience of the user is high.
- the user may change the orientation of the housing 8 of the mobile terminal 3 while the automatic vehicle movement is being performed.
- the terminal control unit 20 When the touch operation on the propulsion control button QB is released, the terminal control unit 20 continuously displays the propulsion control button QB at the position of the propulsion control button QB when the touch operation is released. According to this configuration, when the user touches the propulsion control button QB again, the user only has to touch the position when the touch operation is released, which is highly convenient for the user. Note that when the touch operation of the propulsion control button QB is released, the terminal control unit 20 may execute the following process instead of the above process. That is, when the touch operation of the propulsion control button QB is released, the propulsion control button QB may be displayed at a predetermined specific position.
- the predetermined specific position is, for example, a position corresponding to the right end BR1b of the slide bar BR1 on the lock screen GM1. According to this configuration, when the touch operation on the propulsion control button QB is released, the propulsion control button QB is displayed at the same position. Therefore, the user can easily find the position of the propulsion control button QB. Improved convenience.
- the terminal control unit 20 changes the image indicating the propulsion control button QB between when the propulsion control button QB is touch-operated and when the touch operation is not performed.
- the propulsion control button QB in the states J4 to J6 in FIG. 12 is a touch-operated state
- the propulsion control button QB in the state J7 in FIG. 12 is a state in which no touch operation is performed.
- an image showing the propulsion control button QB is composed of a circular image and an annular image surrounding the circular image. Composed.
- the annular image may be an image whose aspect changes with the passage of time by animation.
- the image indicating the propulsion control button QB is a circular image and does not include an annular image.
- the terminal control unit 20 superimposes the image of the vehicle S on the overhead image display screen GM2a and displays the gear state of the vehicle S.
- the mark to show is displayed.
- the terminal control unit 20 displays a mark representing the letter “P” superimposed on the image indicating the vehicle S, and reverse (R)
- the mark representing the letter “R” is displayed superimposed on the image showing the vehicle S
- the mark representing the letter “D” is displayed superimposed on the image showing the vehicle S.
- the terminal control unit 20 communicates with the information processing device 4 to recognize the gear state of the vehicle S. The user can accurately recognize the state of the gear of the vehicle S by referring to the mark displayed superimposed on the image indicating the vehicle S.
- the vehicle propulsion control process of the flowchart FA and the vehicle propulsion control process of the flowchart FB are completed.
- this is notified to the user by a predetermined method.
- a user outside the vehicle can leave the vicinity of the vehicle S by turning off the engine switch and locking the door using the dedicated remote controller described above.
- the composite image data, the overhead image data, and the vehicle exterior image data transmitted from the information processing device 4 to the mobile terminal 3 are respectively “according to the photographing result of the camera provided in the vehicle S”. Corresponding to “shooting data based”.
- a flowchart FJ in FIG. 18 is a flowchart showing an operation of the information processing apparatus 4, and a flowchart FK is a flowchart showing an operation of the mobile terminal 3.
- the operation of the information processing apparatus 4 and the mobile terminal 3 will be described by taking as an example a case where the vehicle S is issued from a parking position corresponding to one parking area of the parking lot.
- the user goes to the vicinity of the parking position when performing the delivery by the automatic vehicle movement.
- the user operates the dedicated remote controller described above to turn on the engine switch of the vehicle S.
- the engine switch of the vehicle S As the engine switch of the vehicle S is turned on, power is supplied from the accessory power supply to the information processing apparatus 4 and the information processing apparatus 4 is turned on.
- the user operates the touch panel 9 of the mobile terminal 3 to activate the dedicated application AP (step S3).
- the user activates the dedicated application AP the orientation of the housing 8 of the mobile terminal 3 is “vertical”.
- the terminal control unit 20 of the mobile terminal 3 executes the process of the flowchart FK by the function of the dedicated application AP activated by the user in step S3. Further, the user performs a predetermined operation on the touch panel 9 to instruct the touch panel 9 to display a shipping start instruction screen (step S4). As shown in the flowchart FK in FIG. 18, in response to the instruction in step S4, the terminal control unit 20 displays a shipping start instruction screen on the touch panel 9 (step SK1).
- the exit start instruction screen is a screen on which an instruction to perform exit by automatic vehicle movement can be input, and a touch operation button that is touch-operated when performing the instruction is displayed. The user operates the touch operation button displayed on the exit start instruction screen when performing exit by the vehicle automatic Ito (step S5).
- the terminal control unit 20 transmits the exit start instruction information to the information processing apparatus 4 (step SK2).
- the information processing device control unit 30 of the information processing device 4 receives the shipping start instruction information (step SJ1).
- the information processing device control unit 30 changes the operation mode of the information processing device 4 to the shipping mode in response to receiving the shipping start instruction information (step SJ2).
- the information processing device control unit 30 executes candidate position determination processing (step SJ3).
- the candidate position determination process is a process of determining one or a plurality of positions where the vehicle S can move and stop at the parking position.
- One or a plurality of positions determined in the candidate position determination process are candidates for positions where the vehicle S is stopped by leaving the vehicle.
- each of the positions determined by the candidate position determination process is expressed as a “candidate position”.
- the information processing device control unit 30 performs the same process as the parking position determination process described above, and determines one or a plurality of candidate positions. In the candidate position determination process, any method may be used for determining the candidate position.
- step SJ4 After determining one or more candidate positions in step SJ3, the information processing device control unit 30 executes candidate position route information generation processing (step SJ4).
- the candidate position route information generation process is a process of generating automatic driving route information including track information indicating a track from the parking position to the candidate position determined in step SJ3.
- the automatic driving route information including the track information indicating the track from the parking position to the candidate position is referred to as “candidate position route information”.
- step SJ4 when the information processing apparatus control unit 30 determines a plurality of candidate positions in the candidate position determination process in step SJ3, the information processing apparatus control unit 30 generates a plurality of candidate position path information corresponding to the plurality of candidate positions.
- the information processing device control unit 30 transmits each of the candidate position route information generated in step SJ4 to the mobile terminal 3 (step SJ5). Furthermore, the information processing device control unit 30 generates overhead image data based on the input from the overhead camera and starts transmission of the overhead image data to the mobile terminal 3 (step SJ6). The information processing device control unit 30 generates and transmits overhead image data at a cycle corresponding to a predetermined cycle based on captured image data input from the overhead camera at a predetermined cycle.
- the terminal control unit 20 of the mobile terminal 3 receives one or a plurality of candidate position route information transmitted by the information processing device 4 in step SJ5 (step SK3). Further, the terminal control unit 20 starts receiving overhead image data (step SK4).
- the terminal control unit 20 displays the selection screen GM3 on the touch panel 9 based on each of the candidate position route information received in step SK3 and the overhead image data started to be received in step SK4 (step SK5). After displaying the selection screen GM3, the terminal control unit 20 monitors whether or not there is an input for selecting a candidate position on the selection screen GM3 (step SK6).
- the content of the selection screen GM3 and the process of step SK6 will be described in detail.
- FIG. 19 is a diagram illustrating an example of the selection screen GM3.
- the selection screen GM3 is a screen on which the user performs input for selecting one candidate position among the candidate positions.
- the overhead image G1 is displayed on the selection screen GM3.
- the terminal control unit 20 displays the overhead image G1 based on the overhead image data received from the information processing device 4.
- a current position image X1 indicating the vehicle S is displayed at the center of the overhead image G1 displayed on the selection screen GM3.
- the current position image X1 is an image indicating the current position of the vehicle S.
- the candidate position image X2 is displayed on the selection screen GM3.
- the candidate position image X2 is an image indicating a candidate position (a candidate for a position where the vehicle S stops by leaving the vehicle).
- a plurality of candidate position images X2 are displayed when there are a plurality of candidate positions (when a plurality of candidate position route information is received).
- the candidate position image X2 is a rectangular frame image. Note that the shape of the candidate position image X2 is not limited to the shape shown in FIG.
- the candidate position image X2 is displayed on the selection screen GM3 at a position corresponding to the actual candidate position in the real space.
- the positional relationship between the current position image X1 and the candidate position image X2 on the selection screen GM3 is in a state corresponding to the positional relationship between the current position of the vehicle S in the real space and the candidate position.
- the terminal control unit 20 displays one or a plurality of candidate position images X2 on the overhead image G1 based on the candidate position route information. The user can accurately recognize the positional relationship between the vehicle S and the candidate position based on the candidate position image X2 displayed on the selection screen GM3.
- the slide unit SU2 is displayed below the current position image X1.
- the slide unit SU2 has one or a plurality of slide bars BR2 and one slide button SB2.
- the number of slide bars BR2 displayed on the selection screen GM3 is the same as the number of candidate position images X2.
- each of the slide bars BR2 is a band-like object extending from the common base end PP1 located below the current position image X1 toward the candidate position image X2.
- “three” slide bars BR2 are displayed on the selection screen GM3.
- the three slide bars BR2 are expressed as a first bar, a second bar, and a third bar, respectively, the first bar is a band-like object extending from the base end PP1 toward the first image, The second bar is a band-shaped object extending from the base end PP1 toward the second image, and the third bar is a band-shaped object extending from the base end PP1 toward the third image.
- the slide button SB2 is a touch operation button, and is movable along the slide bar BR2 (all slide bars BR2 when a plurality of slide bars BR2 are displayed) according to a user's swipe operation. . As shown in FIG. 19, the slide button SB2 is maintained in the state of being located at the base end PP1 when the touch operation is not performed by the user. The slide button SB2 is movable from the proximal end PP1 of the slide bar BR2 within the range of the distal end PP2.
- FIG. 20 is a diagram for explaining the transition of the screen displayed on the touch panel 9.
- a part of the user's finger operating the screen is shown together with the screen displayed on the touch panel 9 as appropriate.
- a state J10 in FIG. 20 shows the selection screen GM3 in a state where the user is not performing a touch operation.
- the selection screen GM3 is a screen on which the user performs input for selecting one candidate position among the candidate positions.
- the user touches the slide button SB2 positioned at the base end PP1 with a finger on the selection screen GM3 in the state J10.
- the user moves the slide button SB2 along the slide bar BR2 extending toward the candidate position image X2 of the candidate position of the slide bar BR2 where the vehicle S is desired to be stopped by leaving the vehicle by a swipe operation.
- the terminal control unit 20 moves the slide button SB2 along the slide bar BR2 following the position where the finger contacts.
- a state J11 in FIG. 20 shows the selection screen GM3 in a state where the slide button SB2 is moved along the slide bar BR2 by the swipe operation.
- the trajectory image X3 indicating the trajectory that the vehicle S passes is displayed.
- the trajectory image X3 is a band-like image that connects the current position image X1 and the candidate position image X2 along the trajectory when the vehicle S moves to the candidate position, and has a width corresponding to the width of the vehicle S.
- the terminal control unit 20 displays one or a plurality of trajectory images X3 on the overhead image G1 based on the candidate position route information. Based on the trajectory image X3 displayed on the selection screen GM3, the user can accurately recognize the trajectory (route) when the vehicle S moves to the candidate position by automatic vehicle movement.
- the user who performs the swipe operation moves the slide button SB2 to the tip PP2 of the slide bar BR2, and maintains the state where the slide button SB2 is positioned at the tip PP2 for a predetermined period (for example, 3 seconds). Thereby, the input for selecting the candidate position is completed. If the swipe operation is canceled before the input of the instruction for shifting the candidate position to the vehicle propulsion control mode is completed, the terminal control unit 20 uses the slide button SB2 in response to the release of the swipe operation. Move to end PP1.
- step SK6 based on the input from the touch panel 9, the terminal control unit 20 monitors whether or not the slide button SB2 is positioned at the tip PP2 of the slide bar BR2. And the terminal control part 20 discriminate
- step SK6 If it is determined in step SK6 that an input for selecting a candidate position has been received (step SK6: YES), the terminal control unit 20 determines that the slide button SB2 corresponds to the slide bar BR2 located at the tip PP2 for a predetermined period.
- the candidate position of the position image X2 is determined as a position to stop the vehicle S after leaving the vehicle (step SK7).
- the user can stop the vehicle S from the candidate position after the vehicle S leaves by performing a simple operation of moving the slide button SB2 along the desired slide bar BR2.
- the desired candidate position can be determined. For this reason, it is convenient for the user.
- the user senses which slide bar BR2 is associated with which candidate position image X2. I can grasp.
- the input is completed only when the slide button SB2 is positioned at the tip PP2 of the slide bar BR2 for a predetermined period. Due to this configuration, it is possible to prevent the user's finger from accidentally touching the touch panel 9 and selecting a candidate position against the user's intention.
- the terminal control unit 20 After determining the position where the vehicle S is stopped in step SK7, the terminal control unit 20 shifts the operation mode to the vehicle propulsion control mode (step SK8). In response to the transition of the operation mode, the terminal control unit 20 switches the screen displayed on the touch panel 9 from the selection screen GM3 to the vehicle control screen GM2 (step SK9).
- a state J12 in FIG. 20 shows the vehicle control screen GM2 immediately after the screen displayed on the touch panel 9 is switched from the selection screen GM3 to the vehicle control screen GM2. Note that immediately after the screen is switched to the vehicle control screen GM2, the orientation of the casing 8 of the mobile terminal 3 is “vertical”. The vehicle control screen GM2 displayed when leaving the vehicle is the same as the vehicle control screen GM2 displayed during parking. When switching the screen from the selection screen GM3 to the vehicle control screen GM2, the terminal control unit 20 switches the slide button SB2 on the selection screen GM3 to the propulsion control button QB (operation button).
- the terminal control unit 20 does not newly display the propulsion control button QB as a button different from the slide button SB2 in accordance with the switching of the screen, but displays the slide button SB2 positioned at the tip PP2 of the slide bar BR2 on the screen.
- the propulsion control button QB functions without changing the position. Therefore, immediately after the screen is switched, the propulsion control button QB is located at the tip PP2 of the slide bar BR2 on the selection screen GM3, and the propulsion control button QB is in a state of being touched by the user.
- a vehicle control screen GM2 shown in state J13 in FIG. 20 may be displayed.
- the trajectory image X3 from the parking position of the vehicle S toward the selected candidate position has an arrow shape that clearly indicates the traveling direction.
- the terminal control unit 20 transmits information indicating the candidate position determined in step SK7 to the information processing apparatus 4 (step SK10).
- the information processing device control unit 30 of the information processing device 4 receives information indicating the candidate position (step SJ7).
- the information processing device control unit 30 of the information processing device 4 and the terminal control of the mobile terminal 3 are performed.
- the unit 20 cooperates to execute the vehicle propulsion control process (step SJ8, step SK11).
- step SJ8 step SK11
- the information processing device control unit 30 outputs automatic driving route information corresponding to the candidate position indicated by the information received in step SJ7 to the vehicle drive control device 5.
- the vehicle S moves from the parking position to the selected candidate position (stop position after leaving the vehicle) and stops at the selected candidate position, whereby the vehicle propulsion control process of the flowchart FJ and the flowchart FK Vehicle propulsion control processing is completed.
- the vehicle S stops at the selected candidate position this is notified to the user by a predetermined method.
- a user outside the vehicle can board the vehicle S by unlocking the door using the dedicated remote controller described above.
- the delivery pattern includes a plurality of patterns according to the state of the vehicle S parked at the parking position.
- the terminal control unit 20 changes the display mode of the candidate position image X2 and the slide unit SU2 on the selection screen GM3 according to the leaving pattern.
- the terminal control unit 20 changes the display mode of the candidate position image X2 and the slide unit SU2 on the selection screen GM3 according to the leaving pattern by the following method. That is, in advance, the terminal storage unit 22 stores image data for displaying the candidate position image X2 and the slide unit SU2 in a manner corresponding to the delivery pattern for each delivery pattern.
- the terminal control unit 20 displays the selection screen GM3 on the touch panel 9
- the terminal control unit 20 specifies a shipping pattern, reads out image data corresponding to the specified shipping pattern from the terminal storage unit 22, and images as necessary.
- the data is processed, and the selection screen GM3 is displayed using the processed image data.
- the delivery pattern include the following first pattern to sixth pattern.
- the vehicle S is released when the vehicle S moves forward, and the candidate positions where the vehicle S can stop after leaving the vehicle are the position in front of the vehicle S, the position on the right side in front of the vehicle S, and the position in front of the vehicle S.
- the selection screen GM3 illustrated in FIGS. 19 and 20 is the selection screen GM3 corresponding to the first pattern.
- the vehicle S is released by “reversing”, and the candidate positions where the vehicle S can stop after leaving the vehicle are the rear position of the vehicle S, the right rear position of the vehicle S, and the rear position of the vehicle S.
- a state J20 in FIG. 21 shows a selection screen GM3 corresponding to the second pattern.
- the delivery pattern is the third pattern.
- a state J21 in FIG. 21 shows a selection screen GM3 corresponding to the third pattern.
- the fourth pattern there are two candidate positions where the vehicle S can be stopped when the vehicle S “reverses” and the vehicle S can stop after leaving, a position on the right rear side of the vehicle S and a position on the left rear side of the vehicle S.
- Pattern For example, when the vehicle S is parked in parallel and there is a space where the vehicle S can stop on the rear right side and the rear left side of the vehicle S, the leaving pattern is the fourth pattern.
- a state J22 in FIG. 21 shows the selection screen GM3 corresponding to the fourth pattern.
- the vehicle S can be discharged when the vehicle is “forward” or “reverse”, and the candidate positions where the vehicle S can stop after leaving are the positions on the right side of the vehicle S and the left side of the vehicle S.
- the leaving pattern is the fifth pattern.
- a state J23 in FIG. 21 shows the selection screen GM3 corresponding to the fifth pattern.
- the vehicle S can be delivered either “forward” or “reverse”, and the candidate positions where the vehicle S can stop after delivery are the positions in front of the vehicle S and the right side in front of the vehicle S.
- the leaving pattern is the sixth pattern.
- a state J24 in FIG. 21 shows the selection screen GM3 corresponding to the sixth pattern.
- the terminal control unit 20 executes the following processing when displaying the selection screen GM3. That is, the terminal control unit 20 displays an image indicating that movement to the candidate position is prohibited on the slide bar BR2 corresponding to the candidate position where movement is prohibited, and corresponds to the candidate position where movement is prohibited. The movement of the slide button SB2 along the slide bar BR2 is prohibited.
- the state J30 in FIG. 22 is displayed on the selection screen GM3 in FIG. 19 when the terminal control unit 20 displays the movement to the candidate position corresponding to the slide bar BR2 extending from the base end PP1 toward the upper left side.
- An example of the selection screen GM3 to be displayed is shown.
- an image indicating that movement to the candidate position is prohibited is displayed on the slide bar BR2 corresponding to the candidate position where movement is prohibited.
- an image indicating that movement is prohibited is also displayed in the candidate position image X2 corresponding to the candidate position where movement is prohibited.
- the terminal control unit 20 may perform the following process instead of the above process. That is, the terminal control unit 20 prohibits display of the slide bar BR2 corresponding to the candidate position where movement is prohibited.
- the state J31 in FIG. 22 is displayed on the selection screen GM3 in FIG. 19 when the terminal control unit 20 displays the movement to the candidate position corresponding to the slide bar BR2 extending from the base end PP1 toward the upper left side.
- An example of the selection screen GM3 to be displayed is shown.
- the slide bar BR2 corresponding to the candidate position where movement is prohibited is not displayed on the selection screen GM3. This can prevent the user from selecting candidate positions where movement is prohibited.
- one candidate position is selected from the candidate positions by the slide unit SU2 at the time of delivery.
- the candidate position image X2 may function as a touch operation button, and the candidate position may be selected by touching the candidate position image X2.
- the candidate position image X2 is configured to confirm the selection of the candidate position when the touch operation is continuously performed a plurality of times (for example, twice), the user mistakenly selects the candidate position image X2.
- the touch operation it is possible to prevent the candidate position corresponding to the candidate position image X2 erroneously operated from being selected.
- the terminal control unit 20 shifts the operation mode to the vehicle control mode, and displays the vehicle control screen GM2 instead of the selection screen GM3. May be. Further, when the candidate position image X2 is touch-operated and a candidate position is selected, the terminal control unit 20 does not immediately shift the operation mode to the vehicle control mode, but displays the lock screen GM1 instead of the selection screen GM3. When a predetermined input is given to the lock screen GM1, the operation mode may be shifted to the vehicle control mode, and the vehicle control screen GM2 may be displayed instead of the lock screen GM1.
- the processing at the time of parking has been described on the assumption that there is one parking position.
- the configuration may be such that one parking position is selected from a plurality of parking position candidates, and the selected parking position candidate is determined as a position where the vehicle S is parked.
- the terminal control unit 20 displays a screen similar to the selection screen GM3 on the touch panel 9, and determines the parking position based on the operation on the touch panel 9. .
- the mobile terminal 3 (terminal) according to the present embodiment includes the housing 8, the touch panel 9 (display panel) provided in the housing 8, and the housing state for detecting the state of the housing 8.
- a detection unit 23 and a terminal control unit 20 are provided.
- the terminal control unit 20 acquires shooting data based on the shooting result of the camera provided in the vehicle S, displays an image based on the acquired shooting data on the touch panel 9, and also detects the housing detected by the housing state detection unit 23.
- the image displayed on the touch panel 9 is switched according to the state of the body 8. According to this configuration, the user can switch the image based on the captured image data displayed on the touch panel 9 by performing a simple operation of changing the state of the casing 8 of the mobile terminal 3.
- the convenience of the user can be improved.
- the terminal control unit 20 detects that the casing state detection unit 23 detects that the direction of the casing 8 is the first direction, and the direction of the casing 8 is the first direction.
- the image displayed on the touch panel 9 is switched when it is detected that the second direction is different from the direction.
- the user can change the orientation of the housing of the mobile terminal 3 to the captured image data displayed on the touch panel 9 by performing a simple operation of switching the orientation to the first orientation or the second orientation.
- the images based on the images can be switched, and the convenience for the user can be improved when the portable terminal 3 displays an image based on the result of photographing by the camera provided in the vehicle S.
- the housing 8 is a plate-like member having a rectangular front surface 8a.
- the touch panel 9 is provided on the front surface 8 a of the housing 8.
- the first direction is a direction in which the direction of the long side of the front surface 8a of the housing 8 is in a state along the vertical direction
- the second direction is the direction of the long side of the front surface 8a of the housing 8 This is the direction along the direction perpendicular to the vertical direction.
- the user sets the orientation of the casing 8 of the mobile terminal 3 as “the orientation in which the direction of the long side of the front surface 8a of the casing 8 is along the vertical direction” or “the casing 8
- the image based on the photographed image data displayed on the touch panel 9 is switched by performing a simple operation of switching the direction of the long side of the front surface 8a to a direction that is in a state perpendicular to the vertical direction.
- the mobile terminal 3 displays an image based on the photographing result of the camera provided in the vehicle S, the convenience for the user can be improved.
- the terminal control unit 20 overlooks the vehicle S as an image based on the shooting data when the casing state detection unit 23 detects that the direction of the casing 8 is the first direction.
- the camera uses the camera as an image based on the shooting data.
- a vehicle exterior image G2 which is a photographed image outside the vehicle, is displayed on the touch panel 9.
- the vehicle S is provided with a plurality of outside-camera shooting cameras that photograph outside the vehicle.
- the terminal control unit 20 performs a plurality of out-of-vehicle shooting according to a predetermined priority order corresponding to the state of the vehicle S.
- One of the cameras for shooting outside the vehicle is selected, and the outside image G2 based on the shooting result of the selected camera for shooting outside the vehicle is displayed on the touch panel 9.
- the vehicle exterior image G2 that is likely to be required by the user can be displayed on the touch panel 9, which is highly convenient for the user.
- the predetermined priority order is a priority order that is higher for an out-of-vehicle shooting camera capable of shooting the traveling direction of the vehicle S.
- the vehicle exterior image G2 that is likely to be required by the user can be displayed on the touch panel 9, which is highly convenient for the user.
- the predetermined priority order is, for example, a priority order that is higher for an outside-camera shooting camera capable of photographing an object close to the vehicle S. According to this configuration, the vehicle exterior image G2 that is likely to be required by the user can be displayed on the touch panel 9, which is highly convenient for the user.
- the terminal control unit 20 displays one vehicle exterior image G ⁇ b> 2 based on the photographing result of one vehicle photographing camera on the touch panel 9, and then the housing state detection unit 23 causes the housing 8 to be predetermined. Is detected, the touch panel 9 displays another outside image G2 based on the imaging result of another outside shooting camera different from the one outside shooting camera instead of the one outside shooting image G2. To display. According to this configuration, the user can switch the outside-vehicle image G2 displayed on the touch panel 9 by performing a simple operation of causing the casing 8 to perform a predetermined movement, which is highly convenient for the user.
- the plurality of outside-camera shooting cameras shoot outside the vehicle in different directions.
- the predetermined movement is a first movement in which the state of the housing 8 changes in the first aspect, or a second movement in which the state of the housing 8 changes in a second aspect different from the first aspect.
- the terminal control unit 20 displays the vehicle outside image G2 in the first order according to the direction in which the vehicle photographing camera captures images. Switch.
- the terminal control unit 20 is in the order corresponding to the direction in which the camera for photographing outside the vehicle captures, and the first order The vehicle outside image G2 is switched in a second order different from the above. According to this configuration, the user can switch images in the order that the user desires, and the convenience for the user is high.
- the terminal control unit 20 causes the touch panel 9 to display an image based on the shooting data, and superimposes the image based on the shooting data to display a propulsion control button QB (operation button) that can be touch-operated. Even when the image to be displayed is switched, the display of the propulsion control button QB is maintained.
- the terminal control unit 20 transmits a propulsion instruction signal instructing propulsion of the vehicle S to the information processing device 4 provided in the vehicle S while the propulsion control button QB is being touched. According to this configuration, the user can switch the image displayed on the touch panel 9 while operating the propulsion control button QB to control the propulsion of the vehicle S.
- the mobile terminal 3 includes the touch panel 9 that accepts a touch operation and the terminal control unit 20 while displaying an image.
- the terminal control unit 20 causes the touch panel 9 to display a vehicle control screen GM2 on which a touch-controllable propulsion control button QB is displayed, and touches after the propulsion control button QB displayed on the vehicle control screen GM2 is touch-operated.
- the position of the operation is moved, the position of the propulsion control button QB is moved following the movement of the position of the touch operation, and the state where the propulsion control button QB is touch-operated is maintained.
- the terminal control unit 20 transmits a propulsion instruction signal instructing the propulsion of the vehicle S to the information processing device 4 provided in the vehicle S while the propulsion control button QB displayed on the vehicle control screen GM2 is touch-operated. Then, the transmission of the propulsion instruction signal is stopped in response to the release of the touch operation on the propulsion control button QB.
- the propulsion control button QB After the user performs a touch operation on the propulsion control button QB, the state in which the propulsion control button QB is touch-operated is maintained even when the position of the finger to be touched is shifted. For this reason, when the user operates the propulsion control button QB, it is not necessary to continue to touch the specific position with a pinpoint. Therefore, when the user operates the touch panel 9 of the mobile terminal 3 to control the propulsion of the vehicle S, the operation can be performed accurately.
- the terminal control unit 20 when the touch operation on the propulsion control button QB displayed on the vehicle control screen GM2 is released, the terminal control unit 20 is positioned at the position of the propulsion control button QB when the touch operation is released.
- the propulsion control button QB is displayed continuously. According to this configuration, when the user touches the propulsion control button QB again, the propulsion control button QB is in a position where the user can easily perform the touch operation, and thus the convenience of the user can be improved.
- the terminal control part 20 displays the propulsion control button QB in the predetermined position in the vehicle control screen GM2, when the touch operation with respect to the propulsion control button QB displayed on the vehicle control screen GM2 is cancelled
- the propulsion control button QB is in a position where the user can easily perform the touch operation, and thus the convenience of the user can be improved.
- the terminal control unit 20 is located on the touch panel 9 at the slide bar BR1 and one end of the slide bar BR1 and moves along the slide bar BR1 according to the swipe operation, while releasing the swipe operation. Accordingly, the lock screen GM1 on which the slide button SB1 that moves to one end of the slide bar BR1 is displayed is displayed.
- the terminal control unit 20 switches the screen to be displayed on the touch panel 9 from the lock screen GM1 to the vehicle control screen GM2 when the slide button SB1 is positioned at the other end of the slide bar BR1 for a predetermined period by a swipe operation.
- the slide button SB1 located at the other end of the slide bar BR1 is switched to the propulsion control button QB to function as the propulsion control button QB.
- the user can perform a simple operation of swiping the slide button SB1 by performing a simple operation to switch the screen from the lock screen GM1 to the vehicle control screen GM2. After switching to the control screen GM2, the propulsion control button QB can be easily touched.
- the terminal control unit 20 changes the image indicating the propulsion control button QB between when the propulsion control button QB is operated and when the propulsion control button QB is not operated. According to this configuration, the user can easily and accurately recognize that the propulsion control button QB is touch-operated and not touch-operated.
- the terminal control unit 20 acquires shooting data based on the shooting result of the camera provided on the vehicle S while displaying the vehicle control screen GM2, and displays an image based on the acquired shooting data.
- the propulsion control button QB is displayed on the touch panel 9 while being superimposed on an image based on the photographing data.
- the terminal control unit 20 switches the image to be displayed on the touch panel 9 according to the state of the case 8 detected by the case state detection unit 23.
- the terminal control unit QB Keep the display. According to this configuration, the user can switch the image displayed on the touch panel 9 while operating the propulsion control button QB to control the propulsion of the vehicle S.
- the terminal control unit 20 overlooks the vehicle S as an image based on the shooting data when the casing state detection unit 23 detects that the direction of the casing 8 is the first direction.
- the shooting data As an image based on the above, the outside image G2 which is an outside image taken by the outside shooting camera is displayed on the touch panel 9.
- the user performs a simple operation of changing the orientation of the housing 8 of the mobile terminal 3, so that the image displayed on the touch panel 9 is displayed between the overhead image G ⁇ b> 1 and the outside image G ⁇ b> 2. Can be switched.
- the terminal control unit 20 of the mobile terminal 3 has the current position image X1 indicating the current position of the vehicle S, the position where the vehicle S moves from the current position and stops.
- One or a plurality of candidate position images X2 indicating candidate positions that are candidates, a slide bar BR2 extending from the base end PP1 toward each of the candidate position images X2, and a base end PP1, and sliding according to a swipe operation
- the selection screen GM3 on which the slide button SB2 moving along the bar BR2 is displayed is displayed, and the position where the vehicle S stops is determined from the candidate positions based on the movement of the slide button SB. According to this configuration, the user can accurately perform an operation of determining a position where the vehicle S is stopped.
- the terminal control unit 20 determines the candidate position corresponding to the one slide bar BR2 as the vehicle S when the slide button SB2 is located at the tip of the one slide bar BR2 for a predetermined period. Is determined as the position where the car stops. According to this configuration, it is possible to prevent the position at which the vehicle S stops due to an erroneous operation by the user.
- the terminal control unit 20 displays the trajectory image X3 indicating the trajectory from the current position of the vehicle S to the candidate position on the selection screen GM3. According to this configuration, the user can accurately recognize the trajectory from the current position of the vehicle S to the candidate position by referring to the selection screen GM3.
- the terminal control unit 20 prohibits the slide bar BR2 corresponding to the candidate position where the movement is prohibited from moving to the candidate position.
- An image indicating that the movement is performed is displayed, and the movement of the slide button SB2 along the slide bar BR2 corresponding to the candidate position where the movement is prohibited is prohibited. According to this configuration, it is possible to prevent the user from selecting a candidate position where movement is prohibited.
- the terminal control unit 20 may prohibit the display of the slide bar BR2 corresponding to the candidate position where the movement is prohibited. According to this configuration, it is possible to prevent the user from selecting a candidate position where movement is prohibited.
- the terminal control unit 20 when determining the position where the vehicle S stops, switches the screen to be displayed on the touch panel 9 from the selection screen GM3 to the vehicle control screen GM2, and the slide button SB. Switch to an operation button that allows touch operation.
- the terminal control unit 20 transmits a propulsion instruction signal instructing the propulsion of the vehicle S to the information processing device 4 provided in the vehicle S while the propulsion control button QB displayed on the vehicle control screen GM2 is touch-operated. Then, the transmission of the propulsion instruction signal is stopped in response to the release of the touch operation on the propulsion control button QB. According to this configuration, the user can accurately control the propulsion of the vehicle S.
- the terminal control unit 20 changes the image indicating the propulsion control button QB between when the propulsion control button QB is operated and when the propulsion control button QB is not operated. According to this configuration, the user can easily and accurately recognize that the propulsion control button QB is touch-operated and not touch-operated.
- the current position of the vehicle S is a parking position where the vehicle S is currently parked
- the candidate position is a stop position after exiting where the vehicle S exits from the parking position and stops. is there. According to this configuration, the user can select a stop position after leaving the car by performing an appropriate operation when leaving the car.
- the current position of the vehicle S is a pre-parking position where the vehicle S before parking at the parking position is stopped
- the candidate position is a parking position where the vehicle S is parked. There may be.
- the user can select a parking position where the vehicle S is parked by performing an appropriate operation when parking.
- the terminal control unit 20 of the mobile terminal 3 is a current position image X1 indicating the current position of the vehicle S, and a candidate position where the vehicle S moves from the current position and stops.
- a selection screen GM3 on which one or a plurality of candidate position images X2 indicating a certain candidate position is displayed is displayed, and a position where the vehicle S stops is determined from the candidate positions based on an operation on the candidate position image X2. Also good. According to this configuration, the user can accurately perform an operation of determining a position where the vehicle S is stopped.
- the terminal control unit 20 of the mobile terminal 3 is provided in the bird's-eye view image G1 and the vehicle S from the information processing device 4 in the first mode.
- the composite image data of the composite image including the outside image G2 photographed by the camera is received and the casing state detection unit 23 detects that the orientation of the casing 8 is the first orientation
- the composite image When the bird's-eye view image G1 is displayed on the touch panel 9 based on the data, and the casing state detection unit 23 detects that the direction of the casing 8 is the second direction different from the first direction, the composite image A vehicle exterior image G2 is displayed on the touch panel 9 based on the data.
- the mobile terminal 3 when displaying the image based on the imaging result of the camera provided in the vehicle S, the mobile terminal 3 can display the image in an appropriate manner, and the convenience for the user can be improved.
- the terminal control unit 20 determines from the composite image data when the casing state detection unit 23 detects that the direction of the casing 8 is the first direction.
- the overhead image data corresponding to the overhead image G1 is extracted, and the overhead image G1 is displayed on the touch panel 9 based on the extracted overhead image data.
- the terminal control unit 20 extracts outside image data corresponding to the outside image G2 from the composite image data when the housing state detection unit 23 detects that the direction of the housing 8 is the second direction.
- the outside image G2 is displayed on the touch panel 9 based on the extracted outside image data.
- the terminal control unit 20 can appropriately display the bird's-eye view image G1 and the vehicle exterior image G2 based on the composite image data received from the information processing device 4.
- casing 8 is a plate-shaped member which has the rectangular-shaped front 8a
- the touchscreen 9 is provided in the front 8a of the housing
- the bird's-eye view image G1 is the front 8a view.
- the outside image G2 is a rectangular image in which the long side extends in the horizontal direction when viewed from the front 8a, and the first side is the first image.
- the direction is a direction in which the direction of the long side of the front surface 8a of the housing 8 is in a state along the vertical direction
- the second direction is the direction of the long side of the front surface 8a of the housing 8 is the vertical direction. Is a direction along a direction perpendicular to the direction.
- the terminal control unit 20 can display an appropriate image suitable for the orientation of the housing 8 according to the orientation of the housing 8 based on the shape of the housing 8.
- the information processing device control unit 30 of the information processing device 4 acquires information indicating the state of the housing 8 of the mobile terminal 3 in the second mode, and the mobile terminal 3 based on the acquired information. Is detected, the overhead image data corresponding to the overhead image G1 is extracted from the composite image data, and the extracted overhead image data is transmitted to the mobile terminal 3. When it is detected based on the acquired information that the orientation of the housing 8 of the mobile terminal 3 is the second orientation different from the first orientation, the exterior image data corresponding to the exterior image G2 is obtained from the composite image data. And the extracted image data outside the vehicle is transmitted to the portable terminal 3. According to this configuration, the information processing apparatus 4 can cause the mobile terminal 3 to display an image in an appropriate manner, and can improve user convenience.
- the process described as the process of the mobile terminal 3 may be configured such that the mobile terminal 3 executes in cooperation with an external device (including the information processing device 4) that can communicate with the mobile terminal 3.
- the processing described as the processing of the information processing device 4 may be configured such that the information processing device 4 executes in cooperation with an external device (including the mobile terminal 3) that can communicate with the information processing device 4.
- the functional blocks described with reference to the drawings are schematic diagrams showing the functional configuration of each device classified according to main processing contents in order to facilitate understanding of the present invention. The configuration of each device can be classified into more components depending on the processing content.
- the processing of each component may perform more processes.
- the processing of each component may be executed by one hardware or may be executed by a plurality of hardware.
- the processing of each component may be realized by one program or may be realized by a plurality of programs.
- the processing unit of the flowchart shown in the figure is divided according to the main processing contents in order to make the processing of each device easy to understand.
- the present invention is not limited by the way of dividing the processing unit or the name.
- the processing of each device can be divided into more processing units according to the processing content.
- the processing order of the above flowchart is not limited to the illustrated example.
- Information processing system Vehicle system 3 Mobile terminal (terminal) 4 Information processing device 5 Vehicle drive control device 9 Touch panel (display panel) 23 Housing state detection unit 30 Information processing device control unit CA1 Front camera (camera) CA2 Front right camera (camera) CA3 Side right camera (camera) CA4 Rear right camera (camera) CA5 Rear camera (camera) CA6 Rear left camera (camera) CA7 Side left camera (camera) CA8 Front left camera (camera) G1 bird's-eye view image G2 vehicle exterior image G composite image GM1 lock screen GM2 vehicle control screen GM3 selection screen
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- User Interface Of Digital Computer (AREA)
- Navigation (AREA)
Abstract
ユーザーが端末のタッチパネルを操作して車両の推進を制御する場合に、的確に操作を行えるようにする。 端末制御部20は、タッチ操作可能な操作ボタンが表示された車両制御画面をタッチパネル9に表示させると共に、車両制御画面に表示された操作ボタンがタッチ操作された後、タッチ操作の位置が移動した場合、タッチ操作の位置の移動に追従して操作ボタンの位置を移動させて操作ボタンがタッチ操作された状態を維持し、車両制御画面に表示された操作ボタンがタッチ操作されている間、車両に設けられた情報処理装置4に、車両の推進を指示する推進指示信号を送信し、操作ボタンに対するタッチ操作の解除に応じて、推進指示信号の送信を停止する。
Description
本発明は、端末、及び端末の制御方法に関する。
従来、車両に設けられた情報処理装置(車両側装置3)と、端末(携帯端末4)とが通信可能に接続されたシステムが知られている(例えば、特許文献1参照)。
また、近年、スマートフォンや、タブレット端末といったタッチパネルを備える端末が普及してきている。
また、近年、スマートフォンや、タブレット端末といったタッチパネルを備える端末が普及してきている。
ここで、車両に設けられた情報処理装置と、タッチパネルを備える端末とが通信可能に接続されたシステムにおいて、ユーザーがタッチパネルを操作して、車両の推進を制御可能なシステムを構築する場合、タッチパネルに適切な画面を表示し、ユーザーが的確に操作を行えるようにする必要がある。
本発明は、上述した事情に鑑みてなされたものであり、ユーザーが端末のタッチパネルを操作して車両の推進を制御する場合に、的確に操作を行えるようにすることを目的とする。
本発明は、上述した事情に鑑みてなされたものであり、ユーザーが端末のタッチパネルを操作して車両の推進を制御する場合に、的確に操作を行えるようにすることを目的とする。
上記目的を達成するために、本発明の端末は、画像を表示すると共に、タッチ操作を受け付けるタッチパネルと、タッチ操作可能な操作ボタンが表示された車両制御画面を前記タッチパネルに表示させると共に、前記車両制御画面に表示された前記操作ボタンがタッチ操作された後、タッチ操作の位置が移動した場合、タッチ操作の位置の移動に追従して前記操作ボタンの位置を移動させて前記操作ボタンがタッチ操作された状態を維持し、前記車両制御画面に表示された前記操作ボタンがタッチ操作されている間、車両に設けられた情報処理装置に、前記車両の推進を指示する推進指示信号を送信し、前記操作ボタンに対するタッチ操作の解除に応じて、前記推進指示信号の送信を停止する端末制御部と、を備えることを特徴とする。
また、本発明は、前記端末制御部は、前記車両制御画面に表示された前記操作ボタンに対するタッチ操作が解除された場合、タッチ操作が解除されたときの前記操作ボタンの位置に、継続して、前記操作ボタンを表示することを特徴とする。
また、本発明は、前記端末制御部は、前記車両制御画面に表示された前記操作ボタンに対するタッチ操作が解除された場合、前記車両制御画面における所定の位置に、前記操作ボタンを表示することを特徴とする。
また、本発明は、前記端末制御部は、前記タッチパネルに、スライドバーと、前記スライドバーの一端に位置し、スワイプ操作に応じて前記スライドバーに沿って移動する一方、スワイプ操作の解除に応じて、前記スライドバーの一端に移動するスライドボタンとが表示されたロック画面を表示させ、スワイプ操作により、前記スライドボタンが前記スライドバーの他端に、所定の期間、位置した場合、前記タッチパネルに表示させる画面を、前記ロック画面から前記車両制御画面へ切り替えると共に、前記スライドバーの他端に位置する前記スライドボタンを前記操作ボタンに切り替えて前記操作ボタンとして機能させることを特徴とする。
また、本発明は、前記端末制御部は、前記操作ボタンが操作されているときと、前記操作ボタンが操作されていないときとで、前記操作ボタンを示す画像を変化させることを特徴とする。
また、本発明は、筐体と、前記筐体の状態を検出する筐体状態検出部と、をさらに備え、前記端末制御部は、前記車両制御画面を表示している間、前記車両に設けられたカメラの撮影結果に基づく撮影データを取得し、取得した前記撮影データに基づく画像を前記タッチパネルに表示させると共に、前記撮影データに基づく画像と重畳して前記操作ボタンを表示させ、前記筐体状態検出部が検出した前記筐体の状態に応じて、前記タッチパネルに表示させる画像を切り替える一方、前記タッチパネルに表示させる画像を切り替えた場合も、前記操作ボタンの表示を維持することを特徴とする。
また、本発明は、前記端末制御部は、前記筐体状態検出部により前記筐体の向きが第1の向きとなったことが検出され場合、前記撮影データに基づく画像として、前記車両を俯瞰した画像である俯瞰画像を前記タッチパネルに表示させ、前記筐体状態検出部により前記筐体の向きが前記第1の向きとは異なる第2の向きとなったことが検出された場合、前記撮影データに基づく画像として、前記カメラにより撮影された車外の画像である車外画像を前記タッチパネルに表示させることを特徴とする。
また、本発明は、画像を表示すると共に、タッチ操作を受け付けるタッチパネルを備える端末の制御方法であって、タッチ操作可能な操作ボタンが表示された車両制御画面を前記タッチパネルに表示すると共に、前記車両制御画面に表示された前記操作ボタンがタッチ操作された後、タッチ操作の位置が移動した場合、タッチ操作の位置の移動に追従して前記操作ボタンの位置を移動させて前記操作ボタンがタッチ操作された状態を維持し、前記車両制御画面に表示された前記操作ボタンがタッチ操作されている間、車両に設けられた情報処理装置に、前記車両の推進を指示する推進指示信号を送信し、前記操作ボタンに対するタッチ操作の解除に応じて、前記推進指示信号の送信を停止することを特徴とする。
なお、この明細書には、2016年12月19日に出願された日本国特許出願・特願2016-245986号の全ての内容が含まれるものとする。
本発明によれば、ユーザーが端末のタッチパネルを操作して車両の推進を制御する場合に、的確に操作を行える。
以下、図面を参照して本発明の実施形態について説明する。
図1は、本実施形態に係る情報処理システム1の概要を示す図である。
図1に示すように、情報処理システム1は、車両Sに設けられた車両システム2と、ユーザーが所有する携帯端末3とを備える。
車両システム2は、情報処理装置4と、車両駆動制御装置5とを備える。情報処理装置4と、車両駆動制御装置5とは、バス6を介して通信可能である。
携帯端末3は、ユーザーが携帯するタブレット型の携帯電話(いわゆるスマートフォン)である。車両システム2の情報処理装置4と、携帯端末3とは、無線通信により通信可能である。携帯端末3は、筐体8を備える。筐体8は、長方形状の正面8aを有する板状の部材であり、正面8aの広い領域に、タッチパネル9(表示パネル)が設けられる。なお、長方形状とは、完全な長方形の形状を意味せず、例えば、4つの頂点が丸みを帯びた略長方形の形状も含む。以下では、携帯端末3がタブレット型の携帯電話であるものとして実施形態の説明を行うが、携帯端末3は、スマートフォンに限らず、タブレット型のコンピューター等であってもよい。
ユーザーは、車両Sの所有者等、車両Sを制御する権限を有する者である。
車両Sは、自動四輪車である。特に、本実施形態に係る車両Sは、エンジンスイッチのオン/オフと、ドアの施錠/開錠とに関し、以下の機能を有する。すなわち、車両Sは、専用のリモートコントローラーに対する操作により、エンジンスイッチをオン/オフし、また、ドアを施錠/開錠する機能を有する。当該機能は、既存の技術が用いられているため、当該機能の詳細な説明は省略する。ユーザーは、車両Sから降車した後、車外において専用のリモートコントローラーを操作して、エンジンスイッチをオン/オフすることができ、また、車両Sのドアを施錠/開錠できる。
図1は、本実施形態に係る情報処理システム1の概要を示す図である。
図1に示すように、情報処理システム1は、車両Sに設けられた車両システム2と、ユーザーが所有する携帯端末3とを備える。
車両システム2は、情報処理装置4と、車両駆動制御装置5とを備える。情報処理装置4と、車両駆動制御装置5とは、バス6を介して通信可能である。
携帯端末3は、ユーザーが携帯するタブレット型の携帯電話(いわゆるスマートフォン)である。車両システム2の情報処理装置4と、携帯端末3とは、無線通信により通信可能である。携帯端末3は、筐体8を備える。筐体8は、長方形状の正面8aを有する板状の部材であり、正面8aの広い領域に、タッチパネル9(表示パネル)が設けられる。なお、長方形状とは、完全な長方形の形状を意味せず、例えば、4つの頂点が丸みを帯びた略長方形の形状も含む。以下では、携帯端末3がタブレット型の携帯電話であるものとして実施形態の説明を行うが、携帯端末3は、スマートフォンに限らず、タブレット型のコンピューター等であってもよい。
ユーザーは、車両Sの所有者等、車両Sを制御する権限を有する者である。
車両Sは、自動四輪車である。特に、本実施形態に係る車両Sは、エンジンスイッチのオン/オフと、ドアの施錠/開錠とに関し、以下の機能を有する。すなわち、車両Sは、専用のリモートコントローラーに対する操作により、エンジンスイッチをオン/オフし、また、ドアを施錠/開錠する機能を有する。当該機能は、既存の技術が用いられているため、当該機能の詳細な説明は省略する。ユーザーは、車両Sから降車した後、車外において専用のリモートコントローラーを操作して、エンジンスイッチをオン/オフすることができ、また、車両Sのドアを施錠/開錠できる。
情報処理システム1は、以下のことを可能とするシステムである。すなわち、情報処理システム1は、ユーザーが車両Sを運転することなく、携帯端末3を操作して、停車している車両Sを、他の位置へ移動させて停車させることを可能とする。例えば、情報処理システム1は、駐車場や、車庫等における駐車位置に車両Sを駐車させる際に、ユーザーが車両Sを運転することなく、携帯端末3を操作して、駐車位置の近傍の駐車前位置に停車している車両Sを駐車位置に移動させて停車させることを可能とする。
また例えば、情報処理システム1は、駐車位置に停車している車両Sを出庫させる際に、ユーザーが車両Sを運転することなく、携帯端末3を操作して、駐車位置に停車している車両Sを、駐車位置の近傍の出庫後停車位置に移動させて停車させることを可能とする。従って、ユーザーは、情報処理システム1を利用することにより、車両Sに搭乗していない状態で、車両Sの駐車、及び、出庫を行うことができる。
このため、駐車に関し、駐車を希望する駐車位置に隣接する駐車位置に他の車両が既に停車しており、駐車を希望する駐車位置に車両Sが停車した場合、車両Sと、隣接する他の車両とが近接し、車両Sのドアの開閉が困難な状況のときに、ユーザーは、以下の態様で車両Sを駐車位置に駐車させることができる。すなわち、ユーザーは、駐車位置に車両Sを停車させる前に車両Sを降車し、情報処理システム1を利用して、車両Sを駐車位置に停車させることができる。これにより、駐車位置に車両Sが停車した後、車両Sのドアを開閉する必要がなく、ユーザーは、スムーズに車両Sの駐車させることができる。
同様に、出庫に関し、車両Sが停車している駐車位置に隣接する駐車位置に他の車両が既に停車しており、車両Sのドアを開閉して車両Sに搭乗することが困難な状況の場合に、ユーザーは、情報処理システム1を利用することにより、車両Sに搭乗することなくスムーズに車両Sを出庫させて、その後、車両Sに搭乗することができる。
以下の説明では、情報処理システム1により、ユーザーによる車両Sの運転を伴うことなく、停車している車両Sが他の位置に移動して他の位置で停車することを、「車両自動移動」と表現する。
また例えば、情報処理システム1は、駐車位置に停車している車両Sを出庫させる際に、ユーザーが車両Sを運転することなく、携帯端末3を操作して、駐車位置に停車している車両Sを、駐車位置の近傍の出庫後停車位置に移動させて停車させることを可能とする。従って、ユーザーは、情報処理システム1を利用することにより、車両Sに搭乗していない状態で、車両Sの駐車、及び、出庫を行うことができる。
このため、駐車に関し、駐車を希望する駐車位置に隣接する駐車位置に他の車両が既に停車しており、駐車を希望する駐車位置に車両Sが停車した場合、車両Sと、隣接する他の車両とが近接し、車両Sのドアの開閉が困難な状況のときに、ユーザーは、以下の態様で車両Sを駐車位置に駐車させることができる。すなわち、ユーザーは、駐車位置に車両Sを停車させる前に車両Sを降車し、情報処理システム1を利用して、車両Sを駐車位置に停車させることができる。これにより、駐車位置に車両Sが停車した後、車両Sのドアを開閉する必要がなく、ユーザーは、スムーズに車両Sの駐車させることができる。
同様に、出庫に関し、車両Sが停車している駐車位置に隣接する駐車位置に他の車両が既に停車しており、車両Sのドアを開閉して車両Sに搭乗することが困難な状況の場合に、ユーザーは、情報処理システム1を利用することにより、車両Sに搭乗することなくスムーズに車両Sを出庫させて、その後、車両Sに搭乗することができる。
以下の説明では、情報処理システム1により、ユーザーによる車両Sの運転を伴うことなく、停車している車両Sが他の位置に移動して他の位置で停車することを、「車両自動移動」と表現する。
図2は、携帯端末3の機能的構成を示すブロック図である。
図2に示すように、携帯端末3は、端末制御部20と、端末通信部21と、タッチパネル9と、端末記憶部22と、筐体状態検出部23とを備える。
図2に示すように、携帯端末3は、端末制御部20と、端末通信部21と、タッチパネル9と、端末記憶部22と、筐体状態検出部23とを備える。
端末制御部20は、CPUや、ROM、RAM、ASIC、信号処理回路等を備え、携帯端末3の各部を制御する。端末制御部20は、例えばCPUが、ROMに記憶されたプログラムをRAMに読み出して処理を実行し、また例えばASICに実装された機能により処理を実行し、また例えば信号処理回路で信号処理を行って処理を実行する等、ハードウェアとソフトウェアとの協働により処理を実行する。
端末通信部21は、端末制御部20の制御に従って、Wi-Fi(登録商標)の規格に従って、外部の装置(情報処理装置4を含む。)と無線通信する。
なお、本実施形態では、携帯端末3と、情報処理装置4との間で行われる無線通信に用いられる通信プロトコルは、Wi-Fiであるが、これら装置間で行われる無線通信に用いられる通信プロトコルは、Wi-Fiに限らず何でもよい。例えば、通信プロトコルは、Bluetooth(登録商標)であってもよい。
なお、本実施形態では、携帯端末3と、情報処理装置4との間で行われる無線通信に用いられる通信プロトコルは、Wi-Fiであるが、これら装置間で行われる無線通信に用いられる通信プロトコルは、Wi-Fiに限らず何でもよい。例えば、通信プロトコルは、Bluetooth(登録商標)であってもよい。
タッチパネル9は、液晶パネルや、有機ELパネル等の表示パネルを備え、端末制御部20の制御で、表示パネルに画像を表示する。また、タッチパネル9は、表示パネルに重ねて配置されたタッチセンサーを備え、ユーザーによるタッチパネル9に対する操作を検出し、検出した操作に対応する信号を端末制御部20に出力する。端末制御部20は、タッチパネル9からの入力に基づいて、ユーザーによるタッチパネル9に対する操作に対応する処理を実行する。
端末記憶部22は、EEPROM等の不揮発性メモリーを備え、各種データを書き換え可能に不揮発的に記憶する。
端末記憶部22は、専用アプリケーションAPを記憶する。専用アプリケーションAPは、後述するように、ユーザーが情報処理システム1を利用して車両自動移動を行わせる場合に使用されるアプリケーションである。専用アプリケーションAPは、例えば、情報処理装置4を製造販売する会社が提供するアプリケーションである。ユーザーは、所定のアプリケーションダウンロードシステムを使用して、事前に、専用アプリケーションAPを携帯端末3にダウンロードする。
端末記憶部22は、専用アプリケーションAPを記憶する。専用アプリケーションAPは、後述するように、ユーザーが情報処理システム1を利用して車両自動移動を行わせる場合に使用されるアプリケーションである。専用アプリケーションAPは、例えば、情報処理装置4を製造販売する会社が提供するアプリケーションである。ユーザーは、所定のアプリケーションダウンロードシステムを使用して、事前に、専用アプリケーションAPを携帯端末3にダウンロードする。
筐体状態検出部23は、筐体8に設けられた加速度センサー、ジャイロセンサー、及び傾きセンサーを備え、これらセンサーの検出値に基づいて、筐体8の状態を検出する。筐体状態検出部23は、検出した筐体8の状態を示す情報を端末制御部20に出力する。なお、筐体状態検出部23が筐体8の状態を検出するときに用いるセンサーは、加速度センサー、ジャイロセンサー、及び傾きセンサーに限られない。また、筐体状態検出部23が筐体8の状態を検出するときの方法は、どのような方法であってもよい。
筐体状態検出部23は、筐体8の状態として、少なくとも、(1)筐体8の向きが「縦向き」となったこと、(2)筐体8の向きが「横向き」となったこと、(3)筐体8の向きが「横向き」のときに、筐体8が「右動き」したこと、及び(4)筐体の向きが「横向き」のときに、筐体8が「左動き」したことを検出する。
筐体状態検出部23は、筐体8の状態として、少なくとも、(1)筐体8の向きが「縦向き」となったこと、(2)筐体8の向きが「横向き」となったこと、(3)筐体8の向きが「横向き」のときに、筐体8が「右動き」したこと、及び(4)筐体の向きが「横向き」のときに、筐体8が「左動き」したことを検出する。
図3Aは、「縦向き」の説明に用いる図である。
ここで、上述したように、筐体8は、長方形状の正面8aを有する板状の部材である。また、図3Aに示すように、タッチパネル9の形状は、筐体8の長辺T1に沿って長辺を有し、筐体8の短辺T2に沿って短辺を有する長方形状である。
正面8aが長方形状であるため、正面8aの外縁は、長辺T1と、短辺T2とにより構成される。これを踏まえ、以下、筐体8の長辺T1に沿って延びる仮想的な線を「仮想長辺直線」と表現し、符号として「KA」を付す。また、鉛直方向に延びる仮想的な線を「仮想鉛直直線」と表現し、符号として「EN」を付す。また、仮想鉛直直線ENに直交する仮想的な線を「仮想直交直線」と表現し、符号として「TN」を付す。
図3Aに示すように、「縦向き」は、仮想鉛直直線ENに対する仮想長辺直線KAの三次元空間における角度が、角度θ1の範囲内にある状態である。角度θ1の値は、ユーザーが意図的に携帯端末3の向きを「縦向き」とした場合のマージンという観点に基づいて、適切に定められる。携帯端末3の向きが「縦向き」の場合、筐体8の長辺T1の方向が、鉛直方向に沿った状態となると共に、タッチパネル9の長辺の方向が、鉛直方向に沿った状態となる。
「縦向き」は、「第1の向き」に相当する。
ここで、上述したように、筐体8は、長方形状の正面8aを有する板状の部材である。また、図3Aに示すように、タッチパネル9の形状は、筐体8の長辺T1に沿って長辺を有し、筐体8の短辺T2に沿って短辺を有する長方形状である。
正面8aが長方形状であるため、正面8aの外縁は、長辺T1と、短辺T2とにより構成される。これを踏まえ、以下、筐体8の長辺T1に沿って延びる仮想的な線を「仮想長辺直線」と表現し、符号として「KA」を付す。また、鉛直方向に延びる仮想的な線を「仮想鉛直直線」と表現し、符号として「EN」を付す。また、仮想鉛直直線ENに直交する仮想的な線を「仮想直交直線」と表現し、符号として「TN」を付す。
図3Aに示すように、「縦向き」は、仮想鉛直直線ENに対する仮想長辺直線KAの三次元空間における角度が、角度θ1の範囲内にある状態である。角度θ1の値は、ユーザーが意図的に携帯端末3の向きを「縦向き」とした場合のマージンという観点に基づいて、適切に定められる。携帯端末3の向きが「縦向き」の場合、筐体8の長辺T1の方向が、鉛直方向に沿った状態となると共に、タッチパネル9の長辺の方向が、鉛直方向に沿った状態となる。
「縦向き」は、「第1の向き」に相当する。
図3Bは、「横向き」の説明に用いる図である。
図3Bに示すように、「横向き」は、仮想直交直線TNに対する仮想長辺直線KAの三次元空間における角度が、角度θ2の範囲内にある状態である。角度θ2は、ユーザーが意図的に携帯端末3の向きを「横向き」とした場合のマージンという観点に基づいて、適切に定められる。携帯端末3の向きが「横向き」の場合、筐体8の長辺T1の方向が、鉛直方向に直交する方向に沿った状態となると共に、タッチパネル9の長辺の方向が、鉛直方向に直交する方向に沿った状態となる。
「横向き」は、「第2の向き」に相当する。
図3Bに示すように、「横向き」は、仮想直交直線TNに対する仮想長辺直線KAの三次元空間における角度が、角度θ2の範囲内にある状態である。角度θ2は、ユーザーが意図的に携帯端末3の向きを「横向き」とした場合のマージンという観点に基づいて、適切に定められる。携帯端末3の向きが「横向き」の場合、筐体8の長辺T1の方向が、鉛直方向に直交する方向に沿った状態となると共に、タッチパネル9の長辺の方向が、鉛直方向に直交する方向に沿った状態となる。
「横向き」は、「第2の向き」に相当する。
図4Aは、「右動き」の説明に用いる図である。
図4Aに示すように、「右動き」は、筐体8の向きが「横向き」の状態で、筐体8が、筐体8を正面視したときの右方向に向かって、距離K1(例えば、3センチ。)を超える距離を、期間GG1(例えば、0.5秒。)以内に移動する動きである。右方向は、鉛直方向と直交する方向に完全に沿う必要はなく、一定のマージンが考慮される。筐体8を把持してタッチパネル9を視認するユーザーが、ユーザーから見て右方向に向かって筐体8を軽く移動させた場合に、筐体8は、「右動き」をする。距離K1、及び、期間GG1は、ユーザーが、意図的に、筐体8に「右動き」をさせたことを判定するための閾値として使用するという観点に基づいて、適切に定められる。
「右動き」は、「筐体8の状態が第1の態様で変化する第1の動き」に相当する。
図4Aに示すように、「右動き」は、筐体8の向きが「横向き」の状態で、筐体8が、筐体8を正面視したときの右方向に向かって、距離K1(例えば、3センチ。)を超える距離を、期間GG1(例えば、0.5秒。)以内に移動する動きである。右方向は、鉛直方向と直交する方向に完全に沿う必要はなく、一定のマージンが考慮される。筐体8を把持してタッチパネル9を視認するユーザーが、ユーザーから見て右方向に向かって筐体8を軽く移動させた場合に、筐体8は、「右動き」をする。距離K1、及び、期間GG1は、ユーザーが、意図的に、筐体8に「右動き」をさせたことを判定するための閾値として使用するという観点に基づいて、適切に定められる。
「右動き」は、「筐体8の状態が第1の態様で変化する第1の動き」に相当する。
図4Bは、「左動き」の説明に用いる図である。
図4Bに示すように、「左動き」は、筐体8の向きが「横向き」の状態で、筐体8が、筐体8を正面視したときの左方向に向かって、距離K2(例えば、3センチ。)を超える距離を、期間GG2(例えば、0.5秒。)以内に移動する動きである。左方向は、鉛直方向と直交する方向に完全に沿う必要はなく、一定のマージンが考慮される。筐体8を把持してタッチパネル9を視認するユーザーが、ユーザーから見て左方向に向かって筐体8を軽く移動させた場合に、筐体8は、「左動き」をする。距離K2、及び、期間GG2は、ユーザーが、意図的に、筐体8に「左動き」をさせたことを判定するための閾値として使用するという観点に基づいて、適切に定められる。
「左動き」は、「筐体8の状態が第2の態様で変化する第2の動き」に相当する。
図4Bに示すように、「左動き」は、筐体8の向きが「横向き」の状態で、筐体8が、筐体8を正面視したときの左方向に向かって、距離K2(例えば、3センチ。)を超える距離を、期間GG2(例えば、0.5秒。)以内に移動する動きである。左方向は、鉛直方向と直交する方向に完全に沿う必要はなく、一定のマージンが考慮される。筐体8を把持してタッチパネル9を視認するユーザーが、ユーザーから見て左方向に向かって筐体8を軽く移動させた場合に、筐体8は、「左動き」をする。距離K2、及び、期間GG2は、ユーザーが、意図的に、筐体8に「左動き」をさせたことを判定するための閾値として使用するという観点に基づいて、適切に定められる。
「左動き」は、「筐体8の状態が第2の態様で変化する第2の動き」に相当する。
図5は、情報処理装置4の機能的構成を示すブロック図である。
図5に示すように、情報処理装置4は、情報処理装置制御部30と、情報処理装置通信部31と、表示装置32と、情報処理装置記憶部33と、操作入力部34と、GPSユニット35と、相対方位検出ユニット36と、バスインターフェース37と、カメラインターフェース38とを備える。
図5に示すように、情報処理装置4は、情報処理装置制御部30と、情報処理装置通信部31と、表示装置32と、情報処理装置記憶部33と、操作入力部34と、GPSユニット35と、相対方位検出ユニット36と、バスインターフェース37と、カメラインターフェース38とを備える。
情報処理装置制御部30は、CPUや、ROM、RAM、ASIC、信号処理回路等を備え、情報処理装置4の各部を制御する。情報処理装置制御部30は、例えばCPUが、ROMに記憶されたプログラムをRAMに読み出して処理を実行し、また例えばASICに実装された機能により処理を実行し、また例えば信号処理回路で信号処理を行って処理を実行する等、ハードウェアとソフトウェアとの協働により処理を実行する。
情報処理装置通信部31は、情報処理装置制御部30の制御に従って、Wi-Fiの規格に従って、外部の装置(携帯端末3を含む。)と無線通信する。
表示装置32は、液晶パネルや、有機ELパネル等の表示パネルを備え、情報処理装置制御部30の制御で、表示パネルに画像を表示する。
情報処理装置記憶部33は、EEPROMや、ハードディスク等の不揮発性メモリーを備え、各種データを書き換え可能に不揮発的に記憶する。情報処理装置記憶部33は、地図データ33aを記憶する。地図データ33aは、表示装置32に地図を表示するときに用いられる情報や、経路の検索に用いられる情報(いわゆるリンクに関する情報や、いわゆるノードに関する情報等。)を記憶する。また、地図データ33aは、駐車場等の車両Sが駐車可能な施設に関し、施設内の詳細な地図や、施設の構造を示す情報(以下、「駐車地図情報」という。)を記憶する。
表示装置32は、液晶パネルや、有機ELパネル等の表示パネルを備え、情報処理装置制御部30の制御で、表示パネルに画像を表示する。
情報処理装置記憶部33は、EEPROMや、ハードディスク等の不揮発性メモリーを備え、各種データを書き換え可能に不揮発的に記憶する。情報処理装置記憶部33は、地図データ33aを記憶する。地図データ33aは、表示装置32に地図を表示するときに用いられる情報や、経路の検索に用いられる情報(いわゆるリンクに関する情報や、いわゆるノードに関する情報等。)を記憶する。また、地図データ33aは、駐車場等の車両Sが駐車可能な施設に関し、施設内の詳細な地図や、施設の構造を示す情報(以下、「駐車地図情報」という。)を記憶する。
操作入力部34は、情報処理装置4に設けられたスイッチ等の操作子を備え、ユーザーによる操作子に対する操作を検出し、検出した操作に対応する信号を情報処理装置制御部30に出力する。情報処理装置制御部30は、操作入力部34からの入力に基づいて、ユーザーによる操作子に対する操作に対応する処理を実行する。
GPSユニット35は、図示しないGPSアンテナを介してGPS衛星からのGPS電波を受信し、GPS電波に重畳されたGPS信号から、車両Sの現在の位置と、車両Sの進行方向とを算出する。GPSユニット35は、算出した車両Sの現在の位置を示す情報、及び、算出した車両Sの進行方向を示す情報を情報処理装置制御部30に出力する。
相対方位検出ユニット36は、ジャイロセンサーと、加速度センサーとを備える。ジャイロセンサーは、例えば振動ジャイロにより構成され、車両Sの相対的な方位(例えば、ヨー軸方向の旋回量。)を検出する。加速度センサーは、車両Sに作用する加速度(例えば、進行方向に対する車両の傾き。)を検出する。相対方位検出ユニット36は、検出した車両Sの相対的な方位を示す情報、及び、検出した車両Sに作用する加速度を示す情報を情報処理装置制御部30に出力する。
相対方位検出ユニット36は、ジャイロセンサーと、加速度センサーとを備える。ジャイロセンサーは、例えば振動ジャイロにより構成され、車両Sの相対的な方位(例えば、ヨー軸方向の旋回量。)を検出する。加速度センサーは、車両Sに作用する加速度(例えば、進行方向に対する車両の傾き。)を検出する。相対方位検出ユニット36は、検出した車両Sの相対的な方位を示す情報、及び、検出した車両Sに作用する加速度を示す情報を情報処理装置制御部30に出力する。
バスインターフェース37は、バス6に対応する通信インターフェースを備え、情報処理装置制御部30の制御で、バス6に接続された外部の装置(車両駆動制御装置5を含む。)と通信する。
カメラインターフェース38は、情報処理装置制御部30の制御で、車両Sに設けられたカメラと通信する。
車両Sには、車外を撮影するカメラとして、前方撮影用カメラCA1と、前方右側撮影用カメラCA2と、側方右側撮影用カメラCA3と、後方右側撮影用カメラCA4と、後方撮影用カメラCA5と、後方左側撮影用カメラCA6と、側方左側撮影用カメラCA7と、前方左側撮影用カメラCA8とが設けられる。以下、車外を撮影するカメラを区別しない場合、「車外撮影用カメラ」と表現する。
カメラインターフェース38は、情報処理装置制御部30の制御で、車両Sに設けられたカメラと通信する。
車両Sには、車外を撮影するカメラとして、前方撮影用カメラCA1と、前方右側撮影用カメラCA2と、側方右側撮影用カメラCA3と、後方右側撮影用カメラCA4と、後方撮影用カメラCA5と、後方左側撮影用カメラCA6と、側方左側撮影用カメラCA7と、前方左側撮影用カメラCA8とが設けられる。以下、車外を撮影するカメラを区別しない場合、「車外撮影用カメラ」と表現する。
図6は、車外撮影用カメラが撮影する方向の説明に用いる図である。なお、図6は、後述する車外画像G2の切り替えの説明にも用いる。
前方撮影用カメラCA1は、車両Sの前方(図6参照。)を撮影するカメラである。
前方右側撮影用カメラCA2は、車両Sの前方右側(図6参照。)を撮影するカメラである。
側方右側撮影用カメラCA3は、車両Sの側方右側(図6参照。)を撮影するカメラである。
後方右側撮影用カメラCA4は、車両Sの後方右側(図6参照。)を撮影するカメラである。
後方撮影用カメラCA5は、車両Sの後方(図6参照。)を撮影するカメラである。
後方左側撮影用カメラCA6は、車両Sの後方左側(図6参照。)を撮影するカメラである。
側方左側撮影用カメラCA7は、車両Sの側方左側(図6参照。)を撮影するカメラである。
前方左側撮影用カメラCA8は、車両Sの前方左側(図6参照。)を撮影するカメラである。
車外撮影用カメラのそれぞれは、所定の周期で撮影を実行し、撮影結果に基づいて撮影画像データを生成し、生成した撮影画像データを、カメラインターフェース38を介して、情報処理装置制御部30に出力する。
なお、車両Sに設けられる車外撮影用カメラの態様は、本実施形態に係る態様に限らない。一例として、車両Sに以下の態様で車外撮影用カメラが設けられる構成でもよい。すなわち、車両Sに、車外撮影用カメラとして、前方撮影用カメラCA1、側方右側撮影用カメラCA3、後方撮影用カメラCA5、側方左側撮影用カメラCA7の4台のカメラを設け、側方右側撮影用カメラCA3によって車両Sの側方右側、及び前方右側を撮影し、後方撮影用カメラCA5によって車両Sの後方、後方右側、及び後方左側を撮影し、側方左側撮影用カメラ車両Sの側方左側、及び前方左側を撮影する構成でもよい。
前方撮影用カメラCA1は、車両Sの前方(図6参照。)を撮影するカメラである。
前方右側撮影用カメラCA2は、車両Sの前方右側(図6参照。)を撮影するカメラである。
側方右側撮影用カメラCA3は、車両Sの側方右側(図6参照。)を撮影するカメラである。
後方右側撮影用カメラCA4は、車両Sの後方右側(図6参照。)を撮影するカメラである。
後方撮影用カメラCA5は、車両Sの後方(図6参照。)を撮影するカメラである。
後方左側撮影用カメラCA6は、車両Sの後方左側(図6参照。)を撮影するカメラである。
側方左側撮影用カメラCA7は、車両Sの側方左側(図6参照。)を撮影するカメラである。
前方左側撮影用カメラCA8は、車両Sの前方左側(図6参照。)を撮影するカメラである。
車外撮影用カメラのそれぞれは、所定の周期で撮影を実行し、撮影結果に基づいて撮影画像データを生成し、生成した撮影画像データを、カメラインターフェース38を介して、情報処理装置制御部30に出力する。
なお、車両Sに設けられる車外撮影用カメラの態様は、本実施形態に係る態様に限らない。一例として、車両Sに以下の態様で車外撮影用カメラが設けられる構成でもよい。すなわち、車両Sに、車外撮影用カメラとして、前方撮影用カメラCA1、側方右側撮影用カメラCA3、後方撮影用カメラCA5、側方左側撮影用カメラCA7の4台のカメラを設け、側方右側撮影用カメラCA3によって車両Sの側方右側、及び前方右側を撮影し、後方撮影用カメラCA5によって車両Sの後方、後方右側、及び後方左側を撮影し、側方左側撮影用カメラ車両Sの側方左側、及び前方左側を撮影する構成でもよい。
また、上述した車外撮影用カメラのうち、前方撮影用カメラCA1、側方右側撮影用カメラCA3、後方撮影用カメラCA5、及び側方左側撮影用カメラCA7は、俯瞰画像データ(後述)の生成に用いるカメラとして用いられる。以下、俯瞰画像データの生成に用いるカメラを区別しない場合、「俯瞰用カメラ」と表現する。俯瞰用カメラのそれぞれは、広角カメラであり、俯瞰画像データの生成に用いられるという観点で、車両Sの適切な位置に設けられる。
図7は、車両駆動制御装置5の機能的構成を示すブロック図である。
図7に示すように、車両駆動制御装置5は、車両駆動制御装置制御部50と、路車間通信部51と、車車間通信部52と、レーダー装置53と、車速センサー54と、ヨーレートセンサー55と、バスインターフェース56とを備える。
車両駆動制御装置制御部50は、CPUや、ROM、RAM、ASIC、信号処理回路等を備え、車両駆動制御装置5の各部を制御する。車両駆動制御装置制御部50は、例えばCPUが、ROMに記憶されたプログラムをRAMに読み出して処理を実行し、また例えばASICに実装された機能により処理を実行し、また例えば信号処理回路で信号処理を行って処理を実行する等、ハードウェアとソフトウェアとの協働により処理を実行する。
図7に示すように、車両駆動制御装置5は、車両駆動制御装置制御部50と、路車間通信部51と、車車間通信部52と、レーダー装置53と、車速センサー54と、ヨーレートセンサー55と、バスインターフェース56とを備える。
車両駆動制御装置制御部50は、CPUや、ROM、RAM、ASIC、信号処理回路等を備え、車両駆動制御装置5の各部を制御する。車両駆動制御装置制御部50は、例えばCPUが、ROMに記憶されたプログラムをRAMに読み出して処理を実行し、また例えばASICに実装された機能により処理を実行し、また例えば信号処理回路で信号処理を行って処理を実行する等、ハードウェアとソフトウェアとの協働により処理を実行する。
路車間通信部51は、道路等に設置された路側機から、光ビーコンや、電波ビーコン、DSRC(Dedicated Short Range Communications)などの狭帯域無線通信によって送信される情報を受信する。路側機から路車間通信部51に送信される情報には、例えば、他の車両に関する情報や、歩行者に関する情報等が含まれる。路車間通信部51は、路側機から受信した情報を車両駆動制御装置制御部50に出力する。
車車間通信部52は、車両Sの周辺に位置する他の車両との間で情報を無線通信によって相互に送受信する。車車間通信部52により送受信する情報には、例えば、車両S及び他の車両を識別する識別情報や、車両S及び他の車両の位置を示す情報、車両S及び他の車両の速度を示す情報、車両S及び他の車両の進行方向を示す情報、車両S及び他の車両が停止するタイミングを示す情報等が含まれる。車車間通信部52は、受信した情報を車両駆動制御装置制御部50に出力する。
レーダー装置53は、例えば、ミリ波レーダーや、レーザーレーダー等の電波や、超音波レーダー等の音波等を車外に向けて照射する。レーダー装置53は、車両Sの周辺に存在する対象物(例えば、他の車両や、人物。)により反射された反射波を受信することで、車両Sの周辺に存在する対象物を検出する。レーダー装置114は、検出した対象物に関する情報を車両駆動制御装置制御部50に出力する。
車速センサー54は、車両Sの速度(以下、「車速」という。)を検出して、検出した車速を示す情報を車両駆動制御装置制御部50に出力する。
ヨーレートセンサー55は、車両Sにかかるヨーレートを検出し、検出したヨーレートを示す情報を車両駆動制御装置制御部50に出力する。
ヨーレートセンサー55は、車両Sにかかるヨーレートを検出し、検出したヨーレートを示す情報を車両駆動制御装置制御部50に出力する。
バスインターフェース56は、バス6に対応する通信インターフェースを備え、車両駆動制御装置制御部50の制御で、バス6に接続された外部の装置(情報処理装置4を含む。)と通信する。
図7に示すように、バス6には、ECUとして、エンジンECU60と、トランスミッションECU61と、ブレーキECU62と、ステアリングECU63とが接続される。車両駆動制御装置5の車両駆動制御装置制御部50は、バス6を介して、各ECUに制御信号を出力し、各ECUを制御する。
エンジンECU60は、車両駆動制御装置制御部50から入力される制御信号に基づいて、エンジンの吸気管に設けられた電子スロットルバルブを開閉するスロットルアクチュエーターを制御して、エンジンの回転数を調整する。
トランスミッションECU61は、車両駆動制御装置制御部50から入力される制御信号に基づいて、変速機に供給される作動油の油圧を調整する油圧制御装置を制御して変速機に供給される作動油の油圧を調整し、変速機の変速比を切り替え、エンジンから伝達される回転数やトルクを変化させる。特に、トランスミッションECU61は、車両駆動制御装置制御部50から入力される制御信号に基づいて、車両Sのギアの状態を、パーキング(P)、リバース(R)、ドライブ(D)、ニュートラル(N)、及びロー(L)の間で切り替える。
ブレーキECU62は、車両駆動制御装置制御部50から入力される制御信号に基づいて、車両Sの車輪に設けられたブレーキ装置を制御して、車両Sの制動を行う。
ステアリングECU63は、車両駆動制御装置制御部50から入力される制御信号に基づいて、車両Sに設けられたステアリング装置を制御して、車両Sの操舵を行う。
トランスミッションECU61は、車両駆動制御装置制御部50から入力される制御信号に基づいて、変速機に供給される作動油の油圧を調整する油圧制御装置を制御して変速機に供給される作動油の油圧を調整し、変速機の変速比を切り替え、エンジンから伝達される回転数やトルクを変化させる。特に、トランスミッションECU61は、車両駆動制御装置制御部50から入力される制御信号に基づいて、車両Sのギアの状態を、パーキング(P)、リバース(R)、ドライブ(D)、ニュートラル(N)、及びロー(L)の間で切り替える。
ブレーキECU62は、車両駆動制御装置制御部50から入力される制御信号に基づいて、車両Sの車輪に設けられたブレーキ装置を制御して、車両Sの制動を行う。
ステアリングECU63は、車両駆動制御装置制御部50から入力される制御信号に基づいて、車両Sに設けられたステアリング装置を制御して、車両Sの操舵を行う。
車両駆動制御装置5は、自動運転経路情報に基づいて、ユーザーによる車両Sの運転を伴うことなく、車両Sを、車両Sが停車する停車位置から、車両Sを停車位置から移動させて停車させる目標とする位置である目標位置へ、自動で移動させて停車させることができる。後述するように、情報処理装置4は、車両自動移動に際し、自動運転経路情報を車両駆動制御装置5に出力する。
図8は、自動運転経路情報の説明に用いる図である。
自動運転経路情報とは、停車位置に停車する車両Sを原点として、車両Sの前後方向をy軸、車両Sの左右方向をx軸とする仮想座標系において、停車位置から目標位置に至るまでの車両Sの軌跡を示す軌跡情報を含む。軌跡情報は、仮想座標系において車両Sの軌跡を表す点のそれぞれの座標を示す情報と、各点における車両Sの仮想座標系における方向を示す情報とを含む。
図8は、仮想座標系の一例である仮想座標系KZ1と、仮想座標系KZ1における車両Sの軌跡の一例を、説明に適した態様で単純化して示している。図8で例示する軌跡の場合、軌跡情報は、点P0(原点であり、停車位置に対応する点。)、点P1、点P2、点P3、点P4、及び点P5(目標位置に対応する点。)のそれぞれの座標を示す情報と、各点における車両Sの仮想座標系KZ1における方向を示す情報とを含む。
自動運転経路情報とは、停車位置に停車する車両Sを原点として、車両Sの前後方向をy軸、車両Sの左右方向をx軸とする仮想座標系において、停車位置から目標位置に至るまでの車両Sの軌跡を示す軌跡情報を含む。軌跡情報は、仮想座標系において車両Sの軌跡を表す点のそれぞれの座標を示す情報と、各点における車両Sの仮想座標系における方向を示す情報とを含む。
図8は、仮想座標系の一例である仮想座標系KZ1と、仮想座標系KZ1における車両Sの軌跡の一例を、説明に適した態様で単純化して示している。図8で例示する軌跡の場合、軌跡情報は、点P0(原点であり、停車位置に対応する点。)、点P1、点P2、点P3、点P4、及び点P5(目標位置に対応する点。)のそれぞれの座標を示す情報と、各点における車両Sの仮想座標系KZ1における方向を示す情報とを含む。
車両駆動制御装置5の車両駆動制御装置制御部50は、自動運転経路情報、及び、車車間通信部52、レーダー装置53、車速センサー54、及びヨーレートセンサー55からの入力に基づいて、エンジンECU60、トランスミッションECU61、ブレーキECU62、及びステアリングECU63に制御信号を出力し、停車位置に停車する車両Sを、自動運転経路情報が含む軌道情報に対応する軌道で目標位置まで移動させ、目標位置に停車させる。
以上、車両駆動制御装置5が、自動運転経路情報に基づいて、車両Sを停車位置から、目標位置へ自動で移動させる方法について説明した。ただし、車両駆動制御装置5が、車両Sを停車位置から、目標位置へ移動させる方法は、上述した方法に限られず、どのような方法であってもよい。また、車両Sを停車位置から、目標位置へ自動で移動させる際に、車両駆動制御装置5が使用するセンサーや、ECU、装置等も、本実施形態に係るセンサーや、ECU、装置等に限られない。また、自動運転経路情報の内容も、車両駆動制御装置5が、車両Sを停車位置から、目標位置へ自動で移動させる際に用いられる情報であれば、どのような内容であってもよい。
次に、車両自動移動が行われる場合の情報処理システム1の各装置の動作について、車両Sを駐車させる場合と、車両Sを出庫させる場合とを例にして説明する。上述したように、駐車とは、駐車位置の近傍の駐車前位置に停車している車両Sを駐車位置に移動させて停車させることを意味する。また、出庫とは、駐車位置に停車している車両Sを、駐車位置の近傍の出庫後停車位置に移動させて停車させることを意味する。
<車両Sを駐車させる場合>
まず、車両Sを駐車させる場合について、説明する。
図9のフローチャートFAは、情報処理装置4の動作を示すフローチャートであり、フローチャートFBは、携帯端末3の動作を示すフローチャートである。
以下、複数の駐車領域が設けられた駐車場の1つの駐車領域に対応する駐車位置に、車両Sを駐車させる場合を例にして、情報処理装置4、及び携帯端末3の動作について説明する。
まず、車両Sを駐車させる場合について、説明する。
図9のフローチャートFAは、情報処理装置4の動作を示すフローチャートであり、フローチャートFBは、携帯端末3の動作を示すフローチャートである。
以下、複数の駐車領域が設けられた駐車場の1つの駐車領域に対応する駐車位置に、車両Sを駐車させる場合を例にして、情報処理装置4、及び携帯端末3の動作について説明する。
ユーザーは、車両自動移動により駐車を行う場合、駐車位置の近辺の駐車前位置に車両Sを停車させる。
図10は、駐車場の一例である駐車場ST1と、駐車場ST1における駐車前位置の一例である駐車前位置PS1と、駐車場ST1における駐車位置の一例である駐車位置PS2とを示す図である。
駐車場ST1は、車両が駐車可能な駐車領域として、3つの駐車領域AR1、駐車領域AR2、及び駐車領域AR3を有する。駐車領域AR1、及び駐車領域AR3には、車両Sとは異なる他の車両が既に駐車している。このような場合において、例えば、ユーザーは、駐車領域AR2の駐車位置PS2を、車両Sの駐車を希望する位置として決定し、駐車位置PS2の近辺の駐車前位置PS1に車両Sを停車させる。
図10は、駐車場の一例である駐車場ST1と、駐車場ST1における駐車前位置の一例である駐車前位置PS1と、駐車場ST1における駐車位置の一例である駐車位置PS2とを示す図である。
駐車場ST1は、車両が駐車可能な駐車領域として、3つの駐車領域AR1、駐車領域AR2、及び駐車領域AR3を有する。駐車領域AR1、及び駐車領域AR3には、車両Sとは異なる他の車両が既に駐車している。このような場合において、例えば、ユーザーは、駐車領域AR2の駐車位置PS2を、車両Sの駐車を希望する位置として決定し、駐車位置PS2の近辺の駐車前位置PS1に車両Sを停車させる。
図9のフローチャートFAに示すように、駐車前位置に車両Sを停車させた後、ユーザーは、情報処理装置4の操作入力部34を操作して、情報処理装置4の動作モードを、駐車モードへ変更する(ステップS1)。
ユーザーによって、動作モードが、駐車モードへ変更されると、情報処理装置4の情報処理装置制御部30は、駐車位置決定処理を実行する(ステップSA1)。
駐車位置決定処理は、車両Sを駐車可能な駐車領域を特定し、駐車位置を決定する処理である。
ステップSA1の駐車位置決定処理において、情報処理装置制御部30は、GPSユニット35から入力される情報、相対方位検出ユニット36から入力される情報、及び地図データ33aが有する情報等に基づいて、車両Sの現在の位置(駐車前位置)を特定する。車両Sの現在の位置を特定する方法は、どのような方法であってもよく、また、上述した情報以外の情報を用いてもよい。例えば、車両Sの現在の位置を特定する際に、GLONASS、Galileo、Beidou、QZSS(みちびき)等の測位衛星システムの信号に基づく情報を利用してもよい。
ユーザーによって、動作モードが、駐車モードへ変更されると、情報処理装置4の情報処理装置制御部30は、駐車位置決定処理を実行する(ステップSA1)。
駐車位置決定処理は、車両Sを駐車可能な駐車領域を特定し、駐車位置を決定する処理である。
ステップSA1の駐車位置決定処理において、情報処理装置制御部30は、GPSユニット35から入力される情報、相対方位検出ユニット36から入力される情報、及び地図データ33aが有する情報等に基づいて、車両Sの現在の位置(駐車前位置)を特定する。車両Sの現在の位置を特定する方法は、どのような方法であってもよく、また、上述した情報以外の情報を用いてもよい。例えば、車両Sの現在の位置を特定する際に、GLONASS、Galileo、Beidou、QZSS(みちびき)等の測位衛星システムの信号に基づく情報を利用してもよい。
次いで、情報処理装置制御部30は、車両Sに設けられたカメラのそれぞれから入力される撮影画像データや、地図データ33aの情報等に基づいて、車両Sの現在の位置の近辺に存在する駐車領域であって、車両Sが駐車可能な駐車領域を特定する。情報処理装置制御部30は、地図データ33aが、車両Sの現在の位置が属する駐車場に係る駐車地図情報を有する場合は、当該駐車地図情報を用いて、駐車領域を特定する。車両Sの現在の位置の近辺に存在する駐車領域を特定する方法は、どのような方法であってもよい。
次いで、情報処理装置制御部30は、特定した駐車領域に対応する位置を駐車位置として決定する。
次いで、情報処理装置制御部30は、特定した駐車領域に対応する位置を駐車位置として決定する。
ステップSA1で駐車位置を決定した後、情報処理装置制御部30は、自動運転経路情報生成処理を実行する(ステップSA2)。
自動運転経路情報生成処理は、車両Sが停車する現在の位置(駐車前位置)から、ステップSA1で決定した駐車位置に至るまでの軌道を示す軌道情報を含む自動運転経路情報を生成する処理である。
ステップSA2の自動運転経路情報生成処理において、情報処理装置制御部30は、車両Sに設けられたカメラのそれぞれから入力される撮影画像データや、地図データ33aの情報等に基づいて、車両Sの現在の位置から、駐車位置に至る車両Sの軌道を算出する。
図10に示すように、駐車前位置PS1に停車する車両Sを駐車位置PS2に移動させる場合において、情報処理装置制御部30は、例えば、駐車前位置から駐車位置に至る車両Sの軌道として、軌道KDを算出する。図10で例示する軌道KDは、駐車前位置PS1から、軌道KD上の位置MDに至る軌道KD1と、位置MDから駐車位置PS2に至る軌道KD2とを有する。軌道KD1は、車両Sが、駐車前位置PS1から進行方向に向かって左に曲がりつつ「前進」し、位置MDで一時停止する軌道である。軌道KD2は、車両Sが、位置MDから進行方向に向かって左に曲がりつつ「後進」し、駐車位置PS2で停車する軌道である。
次いで、情報処理装置制御部30は、車両Sの現在の位置を原点とする仮想座標系を定義するともに、定義した仮想座標系に、車両Sの軌道に対応する線分を展開し、展開した線分に基づいて、軌道情報を生成し、軌道情報を含む自動運転経路情報を生成する。
自動運転経路情報生成処理は、車両Sが停車する現在の位置(駐車前位置)から、ステップSA1で決定した駐車位置に至るまでの軌道を示す軌道情報を含む自動運転経路情報を生成する処理である。
ステップSA2の自動運転経路情報生成処理において、情報処理装置制御部30は、車両Sに設けられたカメラのそれぞれから入力される撮影画像データや、地図データ33aの情報等に基づいて、車両Sの現在の位置から、駐車位置に至る車両Sの軌道を算出する。
図10に示すように、駐車前位置PS1に停車する車両Sを駐車位置PS2に移動させる場合において、情報処理装置制御部30は、例えば、駐車前位置から駐車位置に至る車両Sの軌道として、軌道KDを算出する。図10で例示する軌道KDは、駐車前位置PS1から、軌道KD上の位置MDに至る軌道KD1と、位置MDから駐車位置PS2に至る軌道KD2とを有する。軌道KD1は、車両Sが、駐車前位置PS1から進行方向に向かって左に曲がりつつ「前進」し、位置MDで一時停止する軌道である。軌道KD2は、車両Sが、位置MDから進行方向に向かって左に曲がりつつ「後進」し、駐車位置PS2で停車する軌道である。
次いで、情報処理装置制御部30は、車両Sの現在の位置を原点とする仮想座標系を定義するともに、定義した仮想座標系に、車両Sの軌道に対応する線分を展開し、展開した線分に基づいて、軌道情報を生成し、軌道情報を含む自動運転経路情報を生成する。
一方、ステップS1で情報処理装置4の動作モードを、駐車モードへ変更した後、ユーザーは、携帯端末3を携帯した状態で車両Sを降車し、車外に出る。なお、ユーザーは、必ずしも車両Sを降車する必要は無いが、本実施形態では、説明の便宜のため、ユーザーが車両Sを降車するものとして説明する。
車外に出た後、ユーザーは、携帯端末3のタッチパネル9を操作して、専用アプリケーションAPを起動する(ステップS2)。なお、ユーザーは、専用アプリケーションAPを起動する際、携帯端末3の筐体8の向きを、「縦向き」とする。
携帯端末3の端末制御部20は、ステップS2でユーザーにより起動された専用アプリケーションAPの機能により、フローチャートFBの処理を実行する。
車外に出た後、ユーザーは、携帯端末3のタッチパネル9を操作して、専用アプリケーションAPを起動する(ステップS2)。なお、ユーザーは、専用アプリケーションAPを起動する際、携帯端末3の筐体8の向きを、「縦向き」とする。
携帯端末3の端末制御部20は、ステップS2でユーザーにより起動された専用アプリケーションAPの機能により、フローチャートFBの処理を実行する。
専用アプリケーションAPの起動に応じて、端末制御部20は、タッチパネル9にロック画面GM1(図11参照。)を表示させる(ステップSB1)。
なお、以下の説明で、特に説明をしない場合であっても、タッチパネル9に画面を表示する処理、ユーザーによる操作、その他の事象に応じて画面の内容を変化させる処理、及びタッチパネル9に表示させる画面を一の画面から他の画面に切り替える処理を実行する主体は、端末制御部20である。
ロック画面GM1を表示した後、端末制御部20は、ロック画面GM1に対して、車両推進制御モードへの移行を指示する入力があったか否かを監視する(ステップSB2)。
以下、ロック画面GM1の内容、及び、ステップSB2の処理について詳述する。
なお、以下の説明で、特に説明をしない場合であっても、タッチパネル9に画面を表示する処理、ユーザーによる操作、その他の事象に応じて画面の内容を変化させる処理、及びタッチパネル9に表示させる画面を一の画面から他の画面に切り替える処理を実行する主体は、端末制御部20である。
ロック画面GM1を表示した後、端末制御部20は、ロック画面GM1に対して、車両推進制御モードへの移行を指示する入力があったか否かを監視する(ステップSB2)。
以下、ロック画面GM1の内容、及び、ステップSB2の処理について詳述する。
図11は、ロック画面GM1を示す図である。
ロック画面GM1は、携帯端末3の動作モードを車両推進制御モード(後述)に移行することの指示の入力を受け付ける画面である。ロック画面GM1に対して、後述する態様で動作モードの移行の指示の入力があった場合、端末制御部20は、動作モードを車両推進制御モードへ移行すると共に、タッチパネル9に表示する画面をロック画面GM1から車両制御画面GM2(後述)へ切り替える。後述するように、動作モードが車両推進制御モードの間、ユーザーは、タッチパネル9に対して操作を行って、車両Sの推進を制御することが可能である。
ロック画面GM1は、携帯端末3の動作モードを車両推進制御モード(後述)に移行することの指示の入力を受け付ける画面である。ロック画面GM1に対して、後述する態様で動作モードの移行の指示の入力があった場合、端末制御部20は、動作モードを車両推進制御モードへ移行すると共に、タッチパネル9に表示する画面をロック画面GM1から車両制御画面GM2(後述)へ切り替える。後述するように、動作モードが車両推進制御モードの間、ユーザーは、タッチパネル9に対して操作を行って、車両Sの推進を制御することが可能である。
図11に示すように、ロック画面GM1には、スライドユニットSU1が表示される。スライドユニットSU1は、スライドバーBR1と、スライドボタンSB1とを有する。
スライドバーBR1は、左右方向に延在する帯状のオブジェクトであり、スライドボタンSB1が移動可能な範囲を明示すると共に、スライドボタンSB1の移動を規制する。
スライドボタンSB1は、ユーザーがタッチ操作可能なボタン(以下、タッチ操作可能なボタンを「タッチ操作ボタン」と表現する。)であり、ユーザーのスワイプ操作に応じて、スライドバーBR1に沿って移動する。図11に示すように、スライドボタンSB1は、ユーザーによりタッチ操作が行われていない場合、スライドバーBR1の左端BR1a(一端)に位置した状態が維持される。スライドボタンSB1は、スライドバーBR1の左端BR1aから、右端BR1b(他端)の範囲内で移動可能である。
ロック画面GM1において、スライドユニットSU1の上方には、車両推進制御モードへの移行の指示を入力する場合にユーザーが行うべき操作を簡潔に表現する文言が表示される。
スライドバーBR1は、左右方向に延在する帯状のオブジェクトであり、スライドボタンSB1が移動可能な範囲を明示すると共に、スライドボタンSB1の移動を規制する。
スライドボタンSB1は、ユーザーがタッチ操作可能なボタン(以下、タッチ操作可能なボタンを「タッチ操作ボタン」と表現する。)であり、ユーザーのスワイプ操作に応じて、スライドバーBR1に沿って移動する。図11に示すように、スライドボタンSB1は、ユーザーによりタッチ操作が行われていない場合、スライドバーBR1の左端BR1a(一端)に位置した状態が維持される。スライドボタンSB1は、スライドバーBR1の左端BR1aから、右端BR1b(他端)の範囲内で移動可能である。
ロック画面GM1において、スライドユニットSU1の上方には、車両推進制御モードへの移行の指示を入力する場合にユーザーが行うべき操作を簡潔に表現する文言が表示される。
図12は、タッチパネル9に表示される画面の説明に用いる図である。図12では、タッチパネル9に表示された画面と併せて、画面を操作するユーザーの指の一部を示す。
図12の状態J1は、ユーザーがタッチ操作を行っていない状態のロック画面GM1を示している。車両推進制御モードへの移行の指示を入力する場合、ユーザーは、状態J1のロック画面GM1で、スライドバーBR1の左端BR1aに位置するスライドボタンSB1を指でタッチ操作する。次いで、ユーザーは、スワイプ操作を行って、スライドボタンSB1をスライドバーBR1に沿って右方に移動させる。スワイプ操作とは、指がタッチパネル9に接触した状態を維持しつつ、指が接触する位置を移動させる操作を意味する。スワイプ操作に応じて、端末制御部20は、指が接触する位置に追従して、スライドボタンSB1をスライドバーBR1に沿って移動させる。図12の状態J2は、スワイプ操作により、スライドバーBR1の中央部にスライドボタンSB1が位置した状態のロック画面GM1を示している。
図12の状態J1は、ユーザーがタッチ操作を行っていない状態のロック画面GM1を示している。車両推進制御モードへの移行の指示を入力する場合、ユーザーは、状態J1のロック画面GM1で、スライドバーBR1の左端BR1aに位置するスライドボタンSB1を指でタッチ操作する。次いで、ユーザーは、スワイプ操作を行って、スライドボタンSB1をスライドバーBR1に沿って右方に移動させる。スワイプ操作とは、指がタッチパネル9に接触した状態を維持しつつ、指が接触する位置を移動させる操作を意味する。スワイプ操作に応じて、端末制御部20は、指が接触する位置に追従して、スライドボタンSB1をスライドバーBR1に沿って移動させる。図12の状態J2は、スワイプ操作により、スライドバーBR1の中央部にスライドボタンSB1が位置した状態のロック画面GM1を示している。
ここで、ロック画面GM1には、車両制御画面GM2(具体的には、後述する俯瞰画像表示画面GM2a。)が背景として表示される。端末制御部20は、ロック画面GM1が状態J1のときは、背景の全体を覆う濃い黒色のマスク画像で、背景として表示される俯瞰画像表示画面GM2aをマスクする。そして、端末制御部20は、スライドバーBR1の左端BR1aとスライドボタンSB1との離間距離が大きいほど、マスク画像の色を薄くする。これにより、ユーザーによるスワイプ操作に応じて、スライドボタンSB1が右方へ移動すればするほど、背景として表示される俯瞰画像表示画面GM2aが鮮明になっていく。ユーザーは、スライドボタンSB1に対するスワイプ操作に応じて、背景として表示された俯瞰画像表示画面GM2aが鮮明になっていく様子を参照することにより、感覚的に、ロック画面GM1に対する入力が適切に行われていることを認識できる。
スワイプ操作を行うユーザーは、スライドボタンSB1をスライドバーBR1の右端BR1bにまで移動させ、所定の期間(例えば、3秒。)、スライドボタンSB1が右端BR1bに位置した状態を維持する。これにより、車両推進制御モードへの移行の指示の入力が完了し、動作モードが車両推進制御モードへ移行する。図12の状態J3は、スライドバーBR1の右端BR1bにスライドボタンSB1が位置した状態のロック画面GM1を示している。状態J3が、所定の期間、継続することにより、車両推進制御モードへの移行の指示の入力が完了する。図12の状態J1、状態J2、及び状態J3の比較で明らかなとおり、スライドボタンSB1が右方に位置するほど、背景の俯瞰画像表示画面GM2aが鮮明となる。
なお、車両推進制御モードへの移行の指示の入力が完了する前に、スワイプ操作が解除されると、端末制御部20は、スワイプ操作の解除に応じて、スライドボタンSB1を、スライドバーBR1の左端BR1aに移動させる。
なお、車両推進制御モードへの移行の指示の入力が完了する前に、スワイプ操作が解除されると、端末制御部20は、スワイプ操作の解除に応じて、スライドボタンSB1を、スライドバーBR1の左端BR1aに移動させる。
ステップSB2において、端末制御部20は、タッチパネル9からの入力に基づいて、スライドバーBR1の右端BR1bにスライドボタンSB1が、所定の期間、位置したか否かを監視する。そして、端末制御部20は、スライドバーBR1の右端BR1bにスライドボタンSB1が、所定の期間、位置した場合、車両推進制御モードへの移行を指示する入力があったと判別する。
以上のように、本実施形態では、スライドバーBR1の右端BR1bにスライドボタンSB1が、所定の期間、位置して初めて、車両推進制御モードへの移行の指示の入力が完了する。この構成のため、タッチパネル9にユーザーの指が偶発的に接触し、ユーザーの意図に反して車両推進制御モードへの移行の指示の入力が完了することが防止される。
ステップSB2において、車両推進制御モードへの移行を指示する入力があったと判別した場合(ステップSB2:YES)、端末制御部20は、動作モードを車両推進制御モードへ移行する(ステップSB3)。
動作モードの移行に応じて、端末制御部20は、タッチパネル9に表示する画面をロック画面GM1から、車両制御画面GM2へ切り替える(ステップSB4)。
動作モードの移行に応じて、端末制御部20は、タッチパネル9に表示する画面をロック画面GM1から、車両制御画面GM2へ切り替える(ステップSB4)。
図12の状態J4は、タッチパネル9に表示される画面がロック画面GM1から車両制御画面GM2へ切り替わった直後の車両制御画面GM2を示している。なお、画面が車両制御画面GM2へと切り替わった直後は、携帯端末3の筐体8の向きは、「縦向き」である。
後に詳述するように、タッチパネル9には、車両制御画面GM2として、筐体8の向きに応じて、俯瞰画像表示画面GM2aと、車外画像表示画面GM2bとのいずれかの画面が表示される。画面が車両制御画面GM2へと切り替わった直後は、筐体8の向きは「縦向き」であり、タッチパネル9には、車両制御画面GM2として俯瞰画像表示画面GM2aが表示される。
図12の状態J4に示すように、端末制御部20は、動作モードの移行に伴う画面の切り替えに応じて、ロック画面GM1におけるスライドボタンSB1を、タッチ操作ボタンである推進制御ボタンQB(操作ボタン)へと切り替え、推進制御ボタンQBを車両制御画面GM2に表示する。すなわち、端末制御部20は、画面の切り替えに応じて、スライドボタンSB1と異なるボタンとして推進制御ボタンQBを改めて表示するのではなく、スライドバーBR1の右端BR1bに位置するスライドボタンSB1を、画面の切り替わり応じて、位置を変更することなく、推進制御ボタンQBとして機能させる。従って、画面が切り替わった直後は、推進制御ボタンQBは、ロック画面GM1におけるスライドバーBR1の右端BR1bに位置し、また、推進制御ボタンQBは、ユーザーによりタッチ操作された状態である。
後に詳述するように、タッチパネル9には、車両制御画面GM2として、筐体8の向きに応じて、俯瞰画像表示画面GM2aと、車外画像表示画面GM2bとのいずれかの画面が表示される。画面が車両制御画面GM2へと切り替わった直後は、筐体8の向きは「縦向き」であり、タッチパネル9には、車両制御画面GM2として俯瞰画像表示画面GM2aが表示される。
図12の状態J4に示すように、端末制御部20は、動作モードの移行に伴う画面の切り替えに応じて、ロック画面GM1におけるスライドボタンSB1を、タッチ操作ボタンである推進制御ボタンQB(操作ボタン)へと切り替え、推進制御ボタンQBを車両制御画面GM2に表示する。すなわち、端末制御部20は、画面の切り替えに応じて、スライドボタンSB1と異なるボタンとして推進制御ボタンQBを改めて表示するのではなく、スライドバーBR1の右端BR1bに位置するスライドボタンSB1を、画面の切り替わり応じて、位置を変更することなく、推進制御ボタンQBとして機能させる。従って、画面が切り替わった直後は、推進制御ボタンQBは、ロック画面GM1におけるスライドバーBR1の右端BR1bに位置し、また、推進制御ボタンQBは、ユーザーによりタッチ操作された状態である。
図9のフローチャートFA、及び、フローチャートFBに示すように、携帯端末3の動作モードが車両推進制御モードへ移行した後、情報処理装置4の情報処理装置制御部30、及び携帯端末3の端末制御部20は、協働して車両推進制御処理を実行する(ステップSA3、ステップSB5)。以下、車両推進制御処理について、車両Sの推進の制御に関する処理と、タッチパネル9への表示に関する処理とを分けて説明する。
なお、専用アプリケーションAPが起動したときに、端末制御部20は、Wi-Fiの規格に従って、携帯端末3と情報処理装置4との間で通信経路を確立し、携帯端末3と情報処理装置4との間で通信可能な状態を確立する。通信経路を確立するために必要な情報(例えば、情報処理装置4が携帯端末3を認証するために必要なパスワード等。)は、事前に登録される。
なお、専用アプリケーションAPが起動したときに、端末制御部20は、Wi-Fiの規格に従って、携帯端末3と情報処理装置4との間で通信経路を確立し、携帯端末3と情報処理装置4との間で通信可能な状態を確立する。通信経路を確立するために必要な情報(例えば、情報処理装置4が携帯端末3を認証するために必要なパスワード等。)は、事前に登録される。
<車両Sの推進の制御に関する処理>
まず、車両推進制御処理における車両Sの推進の制御に関する処理について説明する。
車両推進制御処理において、携帯端末3の端末制御部20は、車両制御画面GM2に表示された推進制御ボタンQBがタッチ操作されている間、端末通信部21を制御して、推進指示信号を情報処理装置4に送信する。一方、端末制御部20は、推進制御ボタンQBのタッチ操作の解除に応じて、推進指示信号の送信を停止する。すなわち、端末制御部20は、推進制御ボタンQBがタッチ操作されていない間は、情報処理装置4に推進指示信号を送信しない。
まず、車両推進制御処理における車両Sの推進の制御に関する処理について説明する。
車両推進制御処理において、携帯端末3の端末制御部20は、車両制御画面GM2に表示された推進制御ボタンQBがタッチ操作されている間、端末通信部21を制御して、推進指示信号を情報処理装置4に送信する。一方、端末制御部20は、推進制御ボタンQBのタッチ操作の解除に応じて、推進指示信号の送信を停止する。すなわち、端末制御部20は、推進制御ボタンQBがタッチ操作されていない間は、情報処理装置4に推進指示信号を送信しない。
後述するように、携帯端末3の筐体8の向きに応じて、車両制御画面GM2として表示される画面が切り替わり、また、ユーザーの操作に応じて、車両制御画面GM2における推進制御ボタンQBの位置が移動する。しかしながら、端末制御部20は、車両制御画面GM2に表示される画面の切り替わりにかかわらず、また、推進制御ボタンQBの位置にかかわらず、推進制御ボタンQBがタッチ操作されている間は、推進指示信号を情報処理装置4に送信し、タッチ操作されていない間は、推進指示信号を情報処理装置4に送信しない。
車両推進制御処理において、情報処理装置4の情報処理装置制御部30は、ステップSA2の自動運転経路情報生成処理で生成した自動運転経路情報を、車両駆動制御装置5に出力する。さらに、情報処理装置制御部30は、携帯端末3から推進指示信号を受信している間は、車両駆動制御装置5に、駆動指示信号を出力する。一方、情報処理装置制御部30は、携帯端末3から推進指示信号を受信していない間は、車両駆動制御装置5に、駆動指示信号を出力しない。
車両駆動制御装置5は、情報処理装置4から入力される駆動指示信号に基づいて、以下の処理を実行する。すなわち、車両駆動制御装置5の車両駆動制御装置制御部50は、自動運転経路情報に含まれる軌道情報に基づいて、情報処理装置4から駆動指示信号が入力されている間、軌道情報が示す軌道に沿って、車両Sを移動させる。一方、駆動指示信号が入力されている状態から、入力されていない状態へとなった場合、車両駆動制御装置制御部50は、車両Sを制動し、車両Sの移動を停止する。
そして、駆動指示信号が入力されてない状態から、入力された状態へとなった場合、車両駆動制御装置制御部50は、車両Sを発進させ、軌道情報が示す軌道に沿って、車両Sを移動させる。図10を用いて例を挙げて説明すると、車両駆動制御装置制御部50は、駐車前位置PS1に位置する車両Sを発進させた後、駆動指示信号が入力されている間、車両Sを軌道KDに沿って移動させる。そして、車両Sが位置PS3に位置したときに、駆動指示信号が入力されない状態となった場合、車両駆動制御装置制御部50は、車両Sを制動して、車両Sの移動を停止する。この状態で、駆動指示信号が再び入力された場合、車両駆動制御装置制御部50は、位置PS3に位置する車両Sを発進させて、車両Sを軌道KDに沿って移動させる。
そして、駆動指示信号が入力されてない状態から、入力された状態へとなった場合、車両駆動制御装置制御部50は、車両Sを発進させ、軌道情報が示す軌道に沿って、車両Sを移動させる。図10を用いて例を挙げて説明すると、車両駆動制御装置制御部50は、駐車前位置PS1に位置する車両Sを発進させた後、駆動指示信号が入力されている間、車両Sを軌道KDに沿って移動させる。そして、車両Sが位置PS3に位置したときに、駆動指示信号が入力されない状態となった場合、車両駆動制御装置制御部50は、車両Sを制動して、車両Sの移動を停止する。この状態で、駆動指示信号が再び入力された場合、車両駆動制御装置制御部50は、位置PS3に位置する車両Sを発進させて、車両Sを軌道KDに沿って移動させる。
以上の処理が行われる結果、ユーザーが、車両制御画面GM2の推進制御ボタンQBをタッチ操作しいる間、車両Sが軌道に沿って移動する一方、ユーザーが推進制御ボタンQBをタッチ操作していない間は、車両Sの移動が停止する。このため、ユーザーは、何らかの理由で車両Sの移動を停止することを望む場合、推進制御ボタンQBのタッチ操作を解除するという簡易な作業を行うことにより、迅速に車両Sの移動を停止することができる。
<タッチパネル9への表示に関する処理>
次に、車両推進制御処理におけるタッチパネル9への表示に関する処理について説明する。
本実施形態では、タッチパネル9への表示に関する処理に関し、動作モードとして、第1モードと、第2モードとの2つの動作モードがある。ユーザーは、所定の方法で、第1モードと、第2モードとの間で動作モードを切り替えることができる。
以下、動作モードが第1モードの場合の情報処理装置4、及び携帯端末3の動作について説明し、次いで、動作モードが第2モードの場合の情報処理装置4、及び携帯端末3の動作について説明する。
次に、車両推進制御処理におけるタッチパネル9への表示に関する処理について説明する。
本実施形態では、タッチパネル9への表示に関する処理に関し、動作モードとして、第1モードと、第2モードとの2つの動作モードがある。ユーザーは、所定の方法で、第1モードと、第2モードとの間で動作モードを切り替えることができる。
以下、動作モードが第1モードの場合の情報処理装置4、及び携帯端末3の動作について説明し、次いで、動作モードが第2モードの場合の情報処理装置4、及び携帯端末3の動作について説明する。
<第1モード>
図13のフローチャートFCは、動作モードが第1モードの場合の携帯端末3の動作を示すフローチャートである。図14AのフローチャートFD、及び図14BのフローチャートFEは、それぞれ、動作モードが第1モードの場合の情報処理装置4の動作を示すフローチャートである。
図13のフローチャートFCは、動作モードが第1モードの場合の携帯端末3の動作を示すフローチャートである。図14AのフローチャートFD、及び図14BのフローチャートFEは、それぞれ、動作モードが第1モードの場合の情報処理装置4の動作を示すフローチャートである。
図13のフローチャートFCに示すように、携帯端末3の端末制御部20は、車両推進制御モードへの移行に応じて、端末通信部21を制御して、車両推進制御モードへ移行したことを示す車両推進制御モード情報を、情報処理装置4に送信する(ステップSC1)。
図14AのフローチャートFDに示すように、情報処理装置4の情報処理装置制御部30は、車両推進制御モード情報を受信する(ステップSD1)。
情報処理装置制御部30は、車両推進制御モード情報の受信に応じて、車両Sに設けられたカメラのそれぞれから入力される撮影画像データに基づいて、表示装置32への合成画像Gの表示を開始する(ステップSD2)。
情報処理装置制御部30は、車両推進制御モード情報の受信に応じて、車両Sに設けられたカメラのそれぞれから入力される撮影画像データに基づいて、表示装置32への合成画像Gの表示を開始する(ステップSD2)。
図15は、合成画像Gが表示された表示装置32を正面から見た図である。
図15に示すように、表示装置32において画像の表示が可能な表示領域ARの形状は、上下方向に短辺を有し左右方向に長辺を有する長方形状である。なお、上下方向とは、鉛直方向に対応する方向であり、左右方向とは、鉛直方向に直交する方向に対応する方向である。
図15に示すように、合成画像Gは、俯瞰画像G1と、車外画像G2とを有する。
図15に示すように、表示装置32において画像の表示が可能な表示領域ARの形状は、上下方向に短辺を有し左右方向に長辺を有する長方形状である。なお、上下方向とは、鉛直方向に対応する方向であり、左右方向とは、鉛直方向に直交する方向に対応する方向である。
図15に示すように、合成画像Gは、俯瞰画像G1と、車外画像G2とを有する。
俯瞰画像G1は、車両Sを俯瞰した画像である。図15に示すように、俯瞰画像G1は、上下方向に長辺を有し、左右方向に短辺を有する長方形状の画像であり、表示領域ARの左部に表示される。俯瞰画像G1の右下部には、表示された画像が俯瞰画像G1であることを明示するマークM1が表示される。
車外画像G2は、車外撮影用カメラのうち1つの車外撮影用カメラによる車外の撮影結果に基づく画像である。図15に示すように、車外画像G2は、上下方向に短辺を有し、左右方向に長辺を有する長方形状の画像である。車外画像G2は、俯瞰画像G1の右辺と、車外画像G2の左辺とが重なった状態で、表示領域ARの右部に表示される。車外画像G2の右下部には、マークM2が表示される。マークM2は、車外撮影用カメラのうち、表示装置32に表示されている車外画像G2に対応する撮影画像データの出力元の車外撮影用カメラを明示するマークである。例えば、表示装置32に表示されている車外画像G2に対応する撮影画像データの出力元の車外撮影用カメラが、前方撮影用カメラCA1の場合、マークM2は、車両Sを表すシンボルに対して、車両Sの前方が撮影されたことを明示する装飾が施されたマークである。ユーザーは、マークM2を参照することにより、表示装置32に表示された車外画像G2が、車外撮影用カメラのうち、どの車外撮影用カメラの撮影結果に基づく画像であるのかを的確に認識できる。
車外画像G2は、車外撮影用カメラのうち1つの車外撮影用カメラによる車外の撮影結果に基づく画像である。図15に示すように、車外画像G2は、上下方向に短辺を有し、左右方向に長辺を有する長方形状の画像である。車外画像G2は、俯瞰画像G1の右辺と、車外画像G2の左辺とが重なった状態で、表示領域ARの右部に表示される。車外画像G2の右下部には、マークM2が表示される。マークM2は、車外撮影用カメラのうち、表示装置32に表示されている車外画像G2に対応する撮影画像データの出力元の車外撮影用カメラを明示するマークである。例えば、表示装置32に表示されている車外画像G2に対応する撮影画像データの出力元の車外撮影用カメラが、前方撮影用カメラCA1の場合、マークM2は、車両Sを表すシンボルに対して、車両Sの前方が撮影されたことを明示する装飾が施されたマークである。ユーザーは、マークM2を参照することにより、表示装置32に表示された車外画像G2が、車外撮影用カメラのうち、どの車外撮影用カメラの撮影結果に基づく画像であるのかを的確に認識できる。
合成画像の表示に際し、情報処理装置制御部30は、俯瞰用カメラのそれぞれから入力される撮影画像データを取得する。次いで、俯瞰用カメラのそれぞれから入力される撮影画像データに基づいて、車両Sを俯瞰した画像の画像データ(以下、「俯瞰画像データ」という。)を生成する。車両Sを俯瞰した画像とは、車両Sの全体及び車両Sの周辺を上から見た様子を示す画像である。なお、本実施形態において、画像データとは、色に関する情報(例えば、RGBの各色の色成分を所定階調の階調値で表す情報。)を有するドットが、所定の解像度でドットマトリックス状に配置されたビットマップデータである。俯瞰画像データは、俯瞰画像G1のサイズ(上下方向の長さ、及び左右方向の長さ。)に対応したサイズの所定の解像度の画像データである。俯瞰用カメラから入力される撮影画像データに基づいて俯瞰画像データを生成する処理は、既存の技術により適切に行われる。
俯瞰用カメラのそれぞれは、同期して撮影を実行し、同期して撮影結果に基づく撮影画像データを情報処理装置制御部30に出力する。俯瞰用カメラのそれぞれは、撮影の実行、及び、撮影画像データの出力を、所定の周期(例えば、10ミリ秒。)で実行する。情報処理装置制御部30は、当該所定の周期に対応する周期で、俯瞰用カメラのそれぞれから入力される撮影画像データを取得し、取得した撮影画像データに基づいて俯瞰画像データを生成する。俯瞰画像データの生成に際し、情報処理装置制御部30は、マークM1に対応する画像データを適切な位置に付加して俯瞰画像データを生成する。
俯瞰用カメラのそれぞれは、同期して撮影を実行し、同期して撮影結果に基づく撮影画像データを情報処理装置制御部30に出力する。俯瞰用カメラのそれぞれは、撮影の実行、及び、撮影画像データの出力を、所定の周期(例えば、10ミリ秒。)で実行する。情報処理装置制御部30は、当該所定の周期に対応する周期で、俯瞰用カメラのそれぞれから入力される撮影画像データを取得し、取得した撮影画像データに基づいて俯瞰画像データを生成する。俯瞰画像データの生成に際し、情報処理装置制御部30は、マークM1に対応する画像データを適切な位置に付加して俯瞰画像データを生成する。
また、車外撮影用カメラのそれぞれは、所定の周期で撮影を実行し、撮影結果に基づく撮影画像データを情報処理装置制御部30に出力する。情報処理装置制御部30は、車外撮影用カメラのうちの1つの車外撮影用カメラを選択し、選択した車外撮影用カメラから入力される撮影画像データを取得し、撮影画像データに基づいて、車外画像G2の画像データ(以下、「車外画像データ」という。)を生成する。情報処理装置制御部30は、当該所定の周期に対応する周期で、車外画像データを生成する。車外画像データの生成に際し、情報処理装置制御部30は、マークM2に対応する画像データを適切な位置に付加して車外画像データを生成する。車外画像データは、車外画像G2のサイズ(上下方向の長さ、及び左右方向の長さ。)に対応したサイズの所定の解像度の画像データである。
情報処理装置制御部30は、俯瞰用カメラからの入力に基づく俯瞰画像データの生成、及び車外撮影用カメラからの入力に基づく車外画像データの生成を、所定の周期で同期して実行する。情報処理装置制御部30は、所定の周期で、生成した俯瞰画像データと、生成した車外画像データとを、俯瞰画像G1と車外画像G2との位置関係に対応させて合成し、合成画像Gの合成画像データを生成する。情報処理装置制御部30は、生成した合成画像データに基づいて表示装置32を制御し、表示装置32に合成画像データに基づく合成画像Gを表示させる。
この結果、表示装置32に、俯瞰画像G1と、車外画像G2とが合成された合成画像Gが表示される。俯瞰画像G1の内容は、俯瞰用カメラの撮影結果に基づいて、随時、変化し、車外画像G2の内容は、選択された車外撮影用カメラの撮影結果に基づいて、随時、変化する。
この結果、表示装置32に、俯瞰画像G1と、車外画像G2とが合成された合成画像Gが表示される。俯瞰画像G1の内容は、俯瞰用カメラの撮影結果に基づいて、随時、変化し、車外画像G2の内容は、選択された車外撮影用カメラの撮影結果に基づいて、随時、変化する。
上述したように、情報処理装置制御部30は、所定の周期で合成画像データを生成し、合成画像Gを表示装置32に表示させる。
表示装置32への合成画像Gの表示に応じて、情報処理装置制御部30は、当該所定の周期で、生成した合成画像データを携帯端末3に送信する(ステップSD3)。
なお、第1モードでは、情報処理装置制御部30が、携帯端末3に対して合成画像データを送信する点で、後述する第2モードと異なる。
表示装置32への合成画像Gの表示に応じて、情報処理装置制御部30は、当該所定の周期で、生成した合成画像データを携帯端末3に送信する(ステップSD3)。
なお、第1モードでは、情報処理装置制御部30が、携帯端末3に対して合成画像データを送信する点で、後述する第2モードと異なる。
フローチャートFCに示すように、携帯端末3の端末制御部20は、情報処理装置4が送信する合成画像データの受信を開始し(ステップSC2)、受信した合成画像データに基づいて、タッチパネル9に俯瞰画像表示画面GM2aを表示させる(ステップSC3)。なお、ステップSC3の処理が実行される時点では、携帯端末3の筐体の向きは、「縦向き」である。
俯瞰画像表示画面GM2aは、図12の状態J3が示すように、俯瞰画像G1が表示されると共に、俯瞰画像G1に重畳して推進制御ボタンQBが表示された画面である。
ステップSC3において、端末制御部20は、以下の処理を行って、タッチパネル9に俯瞰画像表示画面GM2aを表示させる。すなわち、端末制御部20は、所定の周期で受信する合成画像データのそれぞれについて、合成画像データから、俯瞰画像データを抽出する。合成画像データにおける俯瞰画像データの領域は、予め定められており、端末制御部20は、合成画像データから、合成画像データにおける俯瞰画像データの領域に属するデータを切り出すことにより、俯瞰画像データを抽出する。次いで、端末制御部20は、抽出した俯瞰画像データに対して、必要な画像処理(解像度を調整する処理や、サイズを調整する処理等。)を行い、画像処理を行った後の俯瞰画像データに基づいて、俯瞰画像表示画面GM2aをタッチパネル9に表示させる。
俯瞰画像表示画面GM2aに表示される俯瞰画像G1の内容は、俯瞰用カメラの撮影結果に基づいて、情報処理装置4の表示装置32に表示される俯瞰画像G1と同期して、随時、変化する。
俯瞰画像表示画面GM2aは、図12の状態J3が示すように、俯瞰画像G1が表示されると共に、俯瞰画像G1に重畳して推進制御ボタンQBが表示された画面である。
ステップSC3において、端末制御部20は、以下の処理を行って、タッチパネル9に俯瞰画像表示画面GM2aを表示させる。すなわち、端末制御部20は、所定の周期で受信する合成画像データのそれぞれについて、合成画像データから、俯瞰画像データを抽出する。合成画像データにおける俯瞰画像データの領域は、予め定められており、端末制御部20は、合成画像データから、合成画像データにおける俯瞰画像データの領域に属するデータを切り出すことにより、俯瞰画像データを抽出する。次いで、端末制御部20は、抽出した俯瞰画像データに対して、必要な画像処理(解像度を調整する処理や、サイズを調整する処理等。)を行い、画像処理を行った後の俯瞰画像データに基づいて、俯瞰画像表示画面GM2aをタッチパネル9に表示させる。
俯瞰画像表示画面GM2aに表示される俯瞰画像G1の内容は、俯瞰用カメラの撮影結果に基づいて、情報処理装置4の表示装置32に表示される俯瞰画像G1と同期して、随時、変化する。
ここで、上述したように、俯瞰画像G1は、上下方向(鉛直方向に対応する方向。)に長辺を有し、左右方向(鉛直方向に直交する方向に対応する方向。)に短辺を有する長方形状の画像である。また、携帯端末3の筐体8の向きが「縦向き」の場合、タッチパネル9は、長辺の方向が鉛直方向に沿い、短辺の方向が鉛直方向に直交する方向に沿った状態となる。従って、筐体8の向きが「縦向き」の場合に、俯瞰画像G1をタッチパネル9に表示することにより、俯瞰画像G1が上下方向に長辺を有し、左右方向に短辺を有するという特徴を好適に活用して、俯瞰画像G1を不必要に縮小することなく、タッチパネル9の表示領域の全体を用いて、俯瞰画像G1を表示することができる。このため、ユーザーにとって俯瞰画像G1が見やすく、ユーザーの利便性が向上する。
俯瞰画像表示画面GM2aを表示した後、端末制御部20は、筐体状態検出部23からの入力に基づいて、携帯端末3の筐体8の向きが、「縦向き」から、「横向き」へと変化したか否かを監視する(ステップSC4)。
携帯端末3の筐体8の向きが、「縦向き」から、「横向き」へと変化したことを検出した場合(ステップSC4:YES)、端末制御部20は、車両Sの状態に対応した所定の優先順位に従って、車外撮影用カメラのうち、1つの車外撮影用カメラを選択する(ステップSC5)。
携帯端末3の筐体8の向きが、「縦向き」から、「横向き」へと変化したことを検出した場合(ステップSC4:YES)、端末制御部20は、車両Sの状態に対応した所定の優先順位に従って、車外撮影用カメラのうち、1つの車外撮影用カメラを選択する(ステップSC5)。
例えば、優先順位は、車両Sの進行方向を撮影可能な車外撮影用カメラほど高い順位となる優先順位である。この場合、車両Sが前方に向かって「前進」している場合は、前方撮影用カメラCA1が最も高い優先順位となり、また、車両Sが前方右側に向かって「前進」している場合は、前方右側撮影用カメラCA2が最も高い優先順位となり、また、車両Sが後方に向かって「後進」している場合は、後方撮影用カメラCA5が最も高い優先順位となる。ここで、車両Sが車両自動移動を行っている場合、ユーザーは、車両Sの進行方向の状態を認識することを望むケースが多いものと想定される。
また例えば、優先順位は、車両Sに近接する物体を撮影可能なカメラほど高い順位となる優先順位である。車両Sに近接する物体は、例えば、車両自動移動により駐車させる予定の駐車領域に隣接する駐車領域に既に駐車している車両であり、また例えば、ユーザー以外の人物である。ユーザーは、車両Sに近接する位置に物体が存在する場合、その物体を認識し、その物体と車両Sとの位置関係を認識することを望むケースが多いものと想定される。
また例えば、優先順位は、車両Sに近接する物体を撮影可能なカメラほど高い順位となる優先順位である。車両Sに近接する物体は、例えば、車両自動移動により駐車させる予定の駐車領域に隣接する駐車領域に既に駐車している車両であり、また例えば、ユーザー以外の人物である。ユーザーは、車両Sに近接する位置に物体が存在する場合、その物体を認識し、その物体と車両Sとの位置関係を認識することを望むケースが多いものと想定される。
なお、端末制御部20は、ステップSC5において、所定の優先順位で車外撮影用カメラを選択するために必要な情報を、適宜、情報処理装置4と通信して、取得する。
ステップSC5で1つの車外撮影用カメラを選択した後、端末制御部20は、選択した車外撮影用カメラを示す選択カメラ情報(例えば、選択した車外撮影用カメラを識別する識別情報。)を情報処理装置4に送信する(ステップSC6)。
図14BのフローチャートFEに示すように、情報処理装置4の情報処理装置制御部30は、選択カメラ情報を受信する(ステップSE1)。
次いで、情報処理装置制御部30は、表示装置32に表示させる車外画像G2を、ステップSE1で受信した選択カメラ情報が示す車外撮影用カメラの撮影結果に基づく画像に変更する(ステップSE2)。
ステップSE2において、情報処理装置制御部30は、俯瞰画像データと、選択カメラ情報が示す車外撮影用カメラの撮影結果に基づく車外画像データとを合成して合成画像データを生成し、生成した合成画像データに基づいて合成画像Gを表示する。
ステップSE2の処理の前後で、情報処理装置制御部30は、継続して、表示装置32に表示する合成画像Gに対応する合成画像データの送信を実行する。この結果、ステップSE2の処理後に、情報処理装置4が携帯端末3に送信する合成画像データには、ステップSC5で選択された車外撮影用カメラの撮影結果に基づく車外画像データが含まれた状態となる。
次いで、情報処理装置制御部30は、表示装置32に表示させる車外画像G2を、ステップSE1で受信した選択カメラ情報が示す車外撮影用カメラの撮影結果に基づく画像に変更する(ステップSE2)。
ステップSE2において、情報処理装置制御部30は、俯瞰画像データと、選択カメラ情報が示す車外撮影用カメラの撮影結果に基づく車外画像データとを合成して合成画像データを生成し、生成した合成画像データに基づいて合成画像Gを表示する。
ステップSE2の処理の前後で、情報処理装置制御部30は、継続して、表示装置32に表示する合成画像Gに対応する合成画像データの送信を実行する。この結果、ステップSE2の処理後に、情報処理装置4が携帯端末3に送信する合成画像データには、ステップSC5で選択された車外撮影用カメラの撮影結果に基づく車外画像データが含まれた状態となる。
図13のフローチャートFCに示すように、携帯端末3の端末制御部20は、ステップSC6で選択カメラ情報を送信した後、情報処理装置4から受信する合成画像データに基づいて、タッチパネル9に車外画像表示画面GM2bを表示させる(ステップSC7)。
なお、ステップSC7において、車外画像表示画面GM2bの表示に用いられる合成画像データは、ステップSC5で選択された車外撮影用カメラの撮影結果に基づく車外画像データが含まれた合成画像データである。
図12の状態J6は、車外画像表示画面GM2bを示している。車外画像表示画面GM2bは、図12の状態J6が示すように、車外画像G2が表示されると共に、車外画像G2に重畳して推進制御ボタンQBが表示された画面である。
なお、ステップSC7において、車外画像表示画面GM2bの表示に用いられる合成画像データは、ステップSC5で選択された車外撮影用カメラの撮影結果に基づく車外画像データが含まれた合成画像データである。
図12の状態J6は、車外画像表示画面GM2bを示している。車外画像表示画面GM2bは、図12の状態J6が示すように、車外画像G2が表示されると共に、車外画像G2に重畳して推進制御ボタンQBが表示された画面である。
ステップSC7において、端末制御部20は、所定の周期で受信する合成画像データのそれぞれについて、合成画像データから、車外画像データを抽出する。合成画像データにおける車外画像データの領域は、予め定められており、端末制御部20は、合成画像データから、合成画像データにおける車外画像データの領域に属するデータを切り出すことにより、車外画像データを抽出する。次いで、端末制御部20は、抽出した車外画像データに対して、必要な画像処理(解像度を調整する処理や、サイズを調整する処理等。)を行い、画像処理を行った後の車外画像データに基づいて、車外画像表示画面GM2bをタッチパネル9に表示させる。
車外画像表示画面GM2bに表示される車外画像G2の内容は、ステップSC5で選択された車外撮影用カメラの撮影結果に基づいて、情報処理装置4の表示装置32に表示される車外画像G2と同期して、随時、変化する。
車外画像表示画面GM2bに表示される車外画像G2の内容は、ステップSC5で選択された車外撮影用カメラの撮影結果に基づいて、情報処理装置4の表示装置32に表示される車外画像G2と同期して、随時、変化する。
以上のように、本実施形態では、携帯端末3の筐体8の向きが「縦向き」から「横向き」に変化した場合、タッチパネル9に、俯瞰画像表示画面GM2aに代えて、車外画像表示画面GM2bが表示される。このため、ユーザーは、俯瞰画像G1に代えて車外画像G2を確認することを希望する場合、携帯端末3の筐体8の向きを変化させるという簡易な作業を行うことによって、車外画像表示画面GM2bを表示させ、車外画像G2を確認できる。特に、携帯端末3の筐体8の向きを変化させる操作は、ユーザーが携帯端末3を片手で把持している場合であっても、簡易、かつ、的確に実行できる操作であり、ユーザーの利便性が高い。
特に、本実施形態では、携帯端末3の筐体8の向きが「縦向き」から「横向き」に変化したことに応じて表示される車外画像表示画面GM2bは、車両Sの状態に対応した所定の優先順位に従って選択された車外撮影用カメラの撮影結果に基づく画面である。このため、車外画像表示画面GM2bに表示された車外画像G2は、ユーザーが望む車外撮影用カメラによる撮影結果に基づく画像である可能性が高く、ユーザーの利便性が高い。
また、上述したように、車外画像G2は、左右方向(鉛直方向に直交する方向に対応する方向。)に長辺を有し、上下方向(鉛直方向に対応する方向。)に短辺を有する長方形状の画像である。また、携帯端末3の筐体8の向きが「横向き」の場合、タッチパネル9は、長辺の方向が鉛直方向に直交する方向に沿い、短辺の方向が鉛直方向に沿った状態となる。従って、筐体8の向きが「横向き」の場合に、車外画像G2をタッチパネル9に表示することにより、車外画像G2が左右方向に長辺を有し、上下方向に短辺を有するという特徴を好適に活用して、車外画像G2を不必要に縮小することなく、タッチパネル9の表示領域の全体を用いて、車外画像G2を表示することができる。このため、ユーザーにとって車外画像G2が見やすく、ユーザーの利便性が向上する。
特に、本実施形態では、携帯端末3の筐体8の向きが「縦向き」から「横向き」に変化したことに応じて表示される車外画像表示画面GM2bは、車両Sの状態に対応した所定の優先順位に従って選択された車外撮影用カメラの撮影結果に基づく画面である。このため、車外画像表示画面GM2bに表示された車外画像G2は、ユーザーが望む車外撮影用カメラによる撮影結果に基づく画像である可能性が高く、ユーザーの利便性が高い。
また、上述したように、車外画像G2は、左右方向(鉛直方向に直交する方向に対応する方向。)に長辺を有し、上下方向(鉛直方向に対応する方向。)に短辺を有する長方形状の画像である。また、携帯端末3の筐体8の向きが「横向き」の場合、タッチパネル9は、長辺の方向が鉛直方向に直交する方向に沿い、短辺の方向が鉛直方向に沿った状態となる。従って、筐体8の向きが「横向き」の場合に、車外画像G2をタッチパネル9に表示することにより、車外画像G2が左右方向に長辺を有し、上下方向に短辺を有するという特徴を好適に活用して、車外画像G2を不必要に縮小することなく、タッチパネル9の表示領域の全体を用いて、車外画像G2を表示することができる。このため、ユーザーにとって車外画像G2が見やすく、ユーザーの利便性が向上する。
ステップSC7で車外画像表示画面GM2bを表示した後、端末制御部20は、筐体8が「右動き」又は「左動き」のいずれかの動きをしたか否かを監視しつつ(ステップSC8)、筐体8の向きが「縦向き」となったか否かを監視する(ステップSC9)。
筐体8が「右動き」又は「左動き」のいずれの動きをすることなく(ステップSC8:NO)、筐体8の向きが「縦向き」となった場合(ステップSC9:YES)、端末制御部20は、処理手順をステップSC3へ移行する。上述したように、ステップSC3において、端末制御部20は、情報処理装置4から受信する合成画像データに基づいて、タッチパネル9に俯瞰画像表示画面GM2aを表示させる。
このように、本実施形態では、携帯端末3の筐体8の向きが「横向き」から「縦向き」に変化した場合、タッチパネル9に、車外画像表示画面GM2bに代えて、俯瞰画像表示画面GM2aが表示される。このため、ユーザーは、車外画像G2に代えて俯瞰画像G1を確認することを希望する場合、携帯端末3の筐体8の向きを変化させるという簡易な作業を行うことによって、俯瞰画像表示画面GM2aを表示させ、俯瞰画像G1を確認できる。特に、携帯端末3の筐体8の向きを変化させる操作は、ユーザーが携帯端末3を片手で把持している場合であっても、簡易、かつ、的確に実行できる操作であり、ユーザーの利便性が高い。
特に、俯瞰画像G1は、車両自動移動が行われている間、ユーザーが確認する頻度が最も高い画像であると想定される。そして、本実施形態によれば、ユーザーは、携帯端末3の筐体8の向きを「縦向き」とすることにより、任意のタイミングで俯瞰画像G1を確認することができ、ユーザーの利便性が高い。
このように、本実施形態では、携帯端末3の筐体8の向きが「横向き」から「縦向き」に変化した場合、タッチパネル9に、車外画像表示画面GM2bに代えて、俯瞰画像表示画面GM2aが表示される。このため、ユーザーは、車外画像G2に代えて俯瞰画像G1を確認することを希望する場合、携帯端末3の筐体8の向きを変化させるという簡易な作業を行うことによって、俯瞰画像表示画面GM2aを表示させ、俯瞰画像G1を確認できる。特に、携帯端末3の筐体8の向きを変化させる操作は、ユーザーが携帯端末3を片手で把持している場合であっても、簡易、かつ、的確に実行できる操作であり、ユーザーの利便性が高い。
特に、俯瞰画像G1は、車両自動移動が行われている間、ユーザーが確認する頻度が最も高い画像であると想定される。そして、本実施形態によれば、ユーザーは、携帯端末3の筐体8の向きを「縦向き」とすることにより、任意のタイミングで俯瞰画像G1を確認することができ、ユーザーの利便性が高い。
一方、筐体8の向きが「縦向き」となることなく(ステップSC9:NO)、筐体8が「右動き」又は「左動き」のいずれかをした場合(ステップSC8:YES)、端末制御部20は、処理手順をステップSC10へ移行する。つまり、端末制御部20は、筐体8の向きが「横向き」のときに、筐体8が「右動き」又は「左動き」をした場合、処理手順をステップSC10へ移行する。
ステップSC10において、端末制御部20は、筐体8の動きが「右動き」であったか「左動き」であったかを判別する。
筐体8の動きが「右動き」であった場合(ステップSC10:「右動き」)、端末制御部20は、車外撮影用カメラが撮影する方向に応じた第1の順番に従って、車外撮影用カメラのうち、1つの車外撮影用カメラを選択する(ステップSC11)。
図6に示すように、第1の順番は、「前方」→「前方右側」→「側方右側」→「後方右側」→「後方」→「後方左側」→「側方左側」→「前方左側」→「前方」である。すなわち、第1の順番は、車外撮影用カメラが撮影する方向が、時計回りに変化する順番である。
ステップSC11において、端末制御部20は、第1の順番に従って、ステップSC11の処理を実行する前に選択されている車外撮影用カメラが撮影する方向の次の順番の方向を撮影する車外撮影用カメラを選択する。例えば、ステップSC11の処理を実行する前に、前方撮影用カメラCA1が選択されている場合、ステップSC11において、端末制御部20は、第1の順番に従って、前方右側撮影用カメラCA2を選択する。また例えば、ステップSC11の処理を実行する前に、後方撮影用カメラCA5が選択されている場合、ステップSC11において、端末制御部20は、第1の順番に従って、後方左側撮影用カメラCA6を選択する。
筐体8の動きが「右動き」であった場合(ステップSC10:「右動き」)、端末制御部20は、車外撮影用カメラが撮影する方向に応じた第1の順番に従って、車外撮影用カメラのうち、1つの車外撮影用カメラを選択する(ステップSC11)。
図6に示すように、第1の順番は、「前方」→「前方右側」→「側方右側」→「後方右側」→「後方」→「後方左側」→「側方左側」→「前方左側」→「前方」である。すなわち、第1の順番は、車外撮影用カメラが撮影する方向が、時計回りに変化する順番である。
ステップSC11において、端末制御部20は、第1の順番に従って、ステップSC11の処理を実行する前に選択されている車外撮影用カメラが撮影する方向の次の順番の方向を撮影する車外撮影用カメラを選択する。例えば、ステップSC11の処理を実行する前に、前方撮影用カメラCA1が選択されている場合、ステップSC11において、端末制御部20は、第1の順番に従って、前方右側撮影用カメラCA2を選択する。また例えば、ステップSC11の処理を実行する前に、後方撮影用カメラCA5が選択されている場合、ステップSC11において、端末制御部20は、第1の順番に従って、後方左側撮影用カメラCA6を選択する。
ステップSC11で車外撮影用カメラを選択した後、端末制御部20は、選択した車外撮影用カメラを示す選択カメラ情報を情報処理装置4に送信する(ステップSC12)。ステップSC12の処理後、端末制御部20は、処理手順をステップSC8へ戻す。
ステップSC12の選択カメラ情報の送信に応じて、情報処理装置4は、図14BのフローチャートFEの処理を実行し、表示装置32に表示させる車外画像G2を、選択カメラ情報が示す車外撮影用カメラの撮影結果に基づく画像に変更する。これに伴って、情報処理装置4から携帯端末3に送信される合成性画像データには、選択カメラ情報が示す車外撮影用カメラの撮影結果に基づく車外画像データが含まれることになる。これにより、携帯端末3のタッチパネル9の車外画像表示画面GM2bに表示される車外画像G2が、ステップSC11で選択された車外撮影用カメラの撮影結果に基づく画像となる。
ステップSC12の選択カメラ情報の送信に応じて、情報処理装置4は、図14BのフローチャートFEの処理を実行し、表示装置32に表示させる車外画像G2を、選択カメラ情報が示す車外撮影用カメラの撮影結果に基づく画像に変更する。これに伴って、情報処理装置4から携帯端末3に送信される合成性画像データには、選択カメラ情報が示す車外撮影用カメラの撮影結果に基づく車外画像データが含まれることになる。これにより、携帯端末3のタッチパネル9の車外画像表示画面GM2bに表示される車外画像G2が、ステップSC11で選択された車外撮影用カメラの撮影結果に基づく画像となる。
このように、本実施形態では、ユーザーは、筐体8に「右動き」をさせるという簡易な作業を行うことによって、車外画像表示画面GM2bに表示される車外画像G2を切り替えることができ、ユーザーの利便性が高い。特に、筐体8が「右動き」をした場合、第1の順番に従って、車外画像表示画面GM2bに表示される車外画像G2に対応する撮影の方向が、時計回りに変化する。そして、「右動き」において筐体8が移動する「右方向」と、「時計回り」とはリンクしており、ユーザーは、筐体8に「右動き」をさせた後に、どの方向を撮影する車外撮影用カメラの撮影結果に基づく車外画像G2がタッチパネル9に表示されるのかを感覚的に把握でき、ユーザーの利便性が高い。
一方、ステップSC10において、筐体8の動きが「左動き」であったと判別した場合(ステップSC10:「左動き」)、端末制御部20は、以下の処理を実行する。
筐体8の動きが「右動き」であった場合(ステップSC10:「右動き」)、端末制御部20は、車外撮影用カメラが撮影する方向に応じた第2の順番に従って、車外撮影用カメラのうち、1つの車外撮影用カメラを選択する(ステップSC13)。
図6に示すように、第2の順番は、「前方」→「前方左側」→「側方左側」→「後方左側」→「後方」→「後方右側」→「側方右側」→「前方右側」→「前方」である。すなわち、第2の順番は、車外撮影用カメラが撮影する方向が、反時計回りに変化する順番である。
ステップSC13において、端末制御部20は、第2の順番に従って、ステップSC13の処理を実行する前に選択されている車外撮影用カメラが撮影する方向の次の順番の方向を撮影する車外撮影用カメラを選択する。例えば、ステップSC13の処理を実行する前に、前方撮影用カメラCA1が選択されている場合、ステップSC13において、端末制御部20は、第2の順番に従って、前方左側撮影用カメラCA8を選択する。また例えば、ステップSC13の処理を実行する前に、後方撮影用カメラCA5が選択されている場合、ステップSC13において、端末制御部20は、第2の順番に従って、後方右側撮影用カメラCA4を選択する。
筐体8の動きが「右動き」であった場合(ステップSC10:「右動き」)、端末制御部20は、車外撮影用カメラが撮影する方向に応じた第2の順番に従って、車外撮影用カメラのうち、1つの車外撮影用カメラを選択する(ステップSC13)。
図6に示すように、第2の順番は、「前方」→「前方左側」→「側方左側」→「後方左側」→「後方」→「後方右側」→「側方右側」→「前方右側」→「前方」である。すなわち、第2の順番は、車外撮影用カメラが撮影する方向が、反時計回りに変化する順番である。
ステップSC13において、端末制御部20は、第2の順番に従って、ステップSC13の処理を実行する前に選択されている車外撮影用カメラが撮影する方向の次の順番の方向を撮影する車外撮影用カメラを選択する。例えば、ステップSC13の処理を実行する前に、前方撮影用カメラCA1が選択されている場合、ステップSC13において、端末制御部20は、第2の順番に従って、前方左側撮影用カメラCA8を選択する。また例えば、ステップSC13の処理を実行する前に、後方撮影用カメラCA5が選択されている場合、ステップSC13において、端末制御部20は、第2の順番に従って、後方右側撮影用カメラCA4を選択する。
ステップSC13で車外撮影用カメラを選択した後、端末制御部20は、選択した車外撮影用カメラを示す選択カメラ情報を情報処理装置4に送信する(ステップSC14)。ステップSC14の処理後、端末制御部20は、処理手順をステップSC8へ戻す。
ステップSC14の選択カメラ情報の送信に応じて、情報処理装置4は、図14BのフローチャートFEの処理を実行し、表示装置32に表示させる車外画像G2を、選択カメラ情報が示す車外撮影用カメラの撮影結果に基づく画像に変更する。これに伴って、情報処理装置4から携帯端末3に送信される合成性画像データには、選択カメラ情報が示す車外撮影用カメラの撮影結果に基づく車外画像データが含まれることになる。これにより、携帯端末3のタッチパネル9の車外画像表示画面GM2bに表示される車外画像G2が、ステップSC11で選択された車外撮影用カメラの撮影結果に基づく画像となる。
ステップSC14の選択カメラ情報の送信に応じて、情報処理装置4は、図14BのフローチャートFEの処理を実行し、表示装置32に表示させる車外画像G2を、選択カメラ情報が示す車外撮影用カメラの撮影結果に基づく画像に変更する。これに伴って、情報処理装置4から携帯端末3に送信される合成性画像データには、選択カメラ情報が示す車外撮影用カメラの撮影結果に基づく車外画像データが含まれることになる。これにより、携帯端末3のタッチパネル9の車外画像表示画面GM2bに表示される車外画像G2が、ステップSC11で選択された車外撮影用カメラの撮影結果に基づく画像となる。
このように、本実施形態では、ユーザーは、筐体8に「左動き」をさせるという簡易な作業を行うことによって、車外画像表示画面GM2bに表示される車外画像G2を切り替えることができ、ユーザーの利便性が高い。特に、筐体8が「左動き」をした場合、第2の順番に従って、車外画像表示画面GM2bに表示される車外画像G2に対応する撮影の方向が、反時計回りに変化する。そして、「左動き」において筐体8が移動する「左方向」と、「反時計回り」とはリンクしており、ユーザーは、筐体8に「左動き」をさせた後に、どの方向を撮影する車外撮影用カメラの撮影結果に基づく車外画像G2がタッチパネル9に表示されるのかを感覚的に把握でき、ユーザーの利便性が高い。
以上、第1モードを説明した。第1モードは、後述する第2モードと比較し、情報処理装置4が合成画像データから、俯瞰画像データ、及び車外画像データを抽出する処理を実行する必要がないため、情報処理装置4の負荷が小さい。
<第2モード>
図16のフローチャートFFは、動作モードが第2モードの場合の携帯端末3の動作を示すフローチャートである。図17AのフローチャートFG、図17BのフローチャートFH、及び図17CのフローチャートFIは、それぞれ、動作モードが第2モードの場合の情報処理装置4の動作を示すフローチャートである。
図16のフローチャートFFは、動作モードが第2モードの場合の携帯端末3の動作を示すフローチャートである。図17AのフローチャートFG、図17BのフローチャートFH、及び図17CのフローチャートFIは、それぞれ、動作モードが第2モードの場合の情報処理装置4の動作を示すフローチャートである。
図16のフローチャートFFに示すように、携帯端末3の端末制御部20は、車両推進制御モードへの移行に応じて、端末通信部21を制御して、車両推進制御モードへ移行したことを示す車両推進制御モード情報を、情報処理装置4に送信する(ステップSF1)。
図17AのフローチャートFGに示すように、情報処理装置4の情報処理装置制御部30は、車両推進制御モード情報を受信する(ステップSG1)。
情報処理装置制御部30は、車両推進制御モード情報の受信に応じて、車外撮影用カメラのそれぞれ、及び俯瞰用カメラのそれぞれから入力される撮影画像データに基づいて、表示装置32への合成画像Gの表示を開始する(ステップSG2)。
情報処理装置制御部30は、車両推進制御モード情報の受信に応じて、車外撮影用カメラのそれぞれ、及び俯瞰用カメラのそれぞれから入力される撮影画像データに基づいて、表示装置32への合成画像Gの表示を開始する(ステップSG2)。
図16のフローチャートFFに示すように、携帯端末3の端末制御部20は、ステップSF1の車両推進制御モード情報の送信と連続して、携帯端末3の筐体8の向きが「縦向き」であることを示す縦向き情報を送信する(ステップSF2)。なお、ステップSC3の処理が実行される時点では、携帯端末3の筐体の向きは、「縦向き」である。
図17BのフローチャートFHに示すように、情報処理装置4の情報処理装置制御部30は、縦向き情報を受信する(ステップSH1)。
情報処理装置制御部30は、縦向き情報の受信に応じて、携帯端末3への俯瞰画像データの送信を開始する(ステップSH2)。
ステップSH2において、情報処理装置制御部30は、所定の周期で生成する合成画像データから、俯瞰画像データを抽出する。次いで、情報処理装置制御部30は、抽出した俯瞰画像データに対して、携帯端末3のタッチパネル9の解像度、サイズに応じた画像処理を行い、画像処理を行った後の俯瞰画像データを、携帯端末3に送信する。情報処理装置制御部30は、俯瞰画像データの送信を、合成画像データを生成する周期に対応する周期で実行する。
なお、端末制御部20は、ステップSH2の処理の前に、車外画像データを送信している場合は、車外画像データの送信を停止した上で、俯瞰画像データの送信を開始する。
情報処理装置制御部30は、縦向き情報の受信に応じて、携帯端末3への俯瞰画像データの送信を開始する(ステップSH2)。
ステップSH2において、情報処理装置制御部30は、所定の周期で生成する合成画像データから、俯瞰画像データを抽出する。次いで、情報処理装置制御部30は、抽出した俯瞰画像データに対して、携帯端末3のタッチパネル9の解像度、サイズに応じた画像処理を行い、画像処理を行った後の俯瞰画像データを、携帯端末3に送信する。情報処理装置制御部30は、俯瞰画像データの送信を、合成画像データを生成する周期に対応する周期で実行する。
なお、端末制御部20は、ステップSH2の処理の前に、車外画像データを送信している場合は、車外画像データの送信を停止した上で、俯瞰画像データの送信を開始する。
図16のフローチャートFFに示すように、携帯端末3の端末制御部20は、俯瞰画像データの受信を開始する(ステップSF3)。
次いで、端末制御部20は、ステップSF3で受信を開始した俯瞰画像データに基づいて、俯瞰画像G1が表示された俯瞰画像表示画面GM2aをタッチパネル9に表示させる(ステップSF4)。
俯瞰画像表示画面GM2aに表示される俯瞰画像G1の内容は、俯瞰用カメラの撮影結果に基づいて、情報処理装置4の表示装置32に表示される俯瞰画像G1と同期して、随時、変化する。
次いで、端末制御部20は、ステップSF3で受信を開始した俯瞰画像データに基づいて、俯瞰画像G1が表示された俯瞰画像表示画面GM2aをタッチパネル9に表示させる(ステップSF4)。
俯瞰画像表示画面GM2aに表示される俯瞰画像G1の内容は、俯瞰用カメラの撮影結果に基づいて、情報処理装置4の表示装置32に表示される俯瞰画像G1と同期して、随時、変化する。
俯瞰画像表示画面GM2aを表示した後、端末制御部20は、筐体状態検出部23からの入力に基づいて、携帯端末3の筐体8の向きが、「縦向き」から、「横向き」へと変化したか否かを監視する(ステップSF5)。
携帯端末3の筐体8の向きが、「縦向き」から、「横向き」へと変化したことを検出した場合(ステップSF5:YES)、端末制御部20は、車両Sの状態に対応した所定の優先順位に従って、車外撮影用カメラのうち、1つの車外撮影用カメラを選択する(ステップSF6)。所定の優先順位は、例えば、第1モードで例示した優先順位である。
携帯端末3の筐体8の向きが、「縦向き」から、「横向き」へと変化したことを検出した場合(ステップSF5:YES)、端末制御部20は、車両Sの状態に対応した所定の優先順位に従って、車外撮影用カメラのうち、1つの車外撮影用カメラを選択する(ステップSF6)。所定の優先順位は、例えば、第1モードで例示した優先順位である。
次いで、端末制御部20は、携帯端末3の向きが「横向き」であることを示す情報、及びステップSF6で選択した車外撮影用カメラを示す情報を含む横向き情報を情報処理装置4に送信する(ステップSF7)。
図17CのフローチャートFIに示すように、情報処理装置4の情報処理装置制御部30は、横向き情報を受信する(ステップSI1)。
横向き情報の受信に応じて、情報処理装置制御部30は、表示装置32に表示させる車外画像G2を、ステップSI1で受信した横向き情報が含む選択カメラ情報が示す車外撮影用カメラの撮影結果に基づく画像に変更する(ステップSI2)。
次いで、情報処理装置制御部30は、携帯端末3への俯瞰画像データの送信を停止し、車外画像データの送信を開始する(ステップSI3)。
ステップSI3において、情報処理装置制御部30は、所定の周期で生成する合成画像データから、車外画像データを抽出する。次いで、情報処理装置制御部30は、抽出した車外画像データに対して、携帯端末3のタッチパネル9の解像度、サイズに応じた画像処理を行い、画像処理を行った後の車外画像データを、携帯端末3に送信する。情報処理装置制御部30は、車外画像データの送信を、合成画像データを生成する周期に対応する周期で実行する。
横向き情報の受信に応じて、情報処理装置制御部30は、表示装置32に表示させる車外画像G2を、ステップSI1で受信した横向き情報が含む選択カメラ情報が示す車外撮影用カメラの撮影結果に基づく画像に変更する(ステップSI2)。
次いで、情報処理装置制御部30は、携帯端末3への俯瞰画像データの送信を停止し、車外画像データの送信を開始する(ステップSI3)。
ステップSI3において、情報処理装置制御部30は、所定の周期で生成する合成画像データから、車外画像データを抽出する。次いで、情報処理装置制御部30は、抽出した車外画像データに対して、携帯端末3のタッチパネル9の解像度、サイズに応じた画像処理を行い、画像処理を行った後の車外画像データを、携帯端末3に送信する。情報処理装置制御部30は、車外画像データの送信を、合成画像データを生成する周期に対応する周期で実行する。
図16のフローチャートFFに示すように、携帯端末3の端末制御部20は、車外画像データの受信を開始する(ステップSF8)。次いで、端末制御部20は、ステップSF8で受信を開始した車外画像データに基づいて、車外画像G2が表示された車外画像表示画面GM2bをタッチパネル9に表示させる(ステップSF9)。
車外画像表示画面GM2bに表示される車外画像G2の内容は、俯瞰用カメラの撮影結果に基づいて、情報処理装置4の表示装置32に表示される車外画像G2と同期して、随時、変化する。
ステップSF9の処理の結果、携帯端末3の筐体8の向きが「縦向き」から「横向き」へ変化したことに応じて、俯瞰画像表示画面GM2aに代えて車外画像表示画面GM2bが表示される。このことの効果は、第1モードの説明で述べたとおりである。
車外画像表示画面GM2bに表示される車外画像G2の内容は、俯瞰用カメラの撮影結果に基づいて、情報処理装置4の表示装置32に表示される車外画像G2と同期して、随時、変化する。
ステップSF9の処理の結果、携帯端末3の筐体8の向きが「縦向き」から「横向き」へ変化したことに応じて、俯瞰画像表示画面GM2aに代えて車外画像表示画面GM2bが表示される。このことの効果は、第1モードの説明で述べたとおりである。
ステップSF9で車外画像表示画面GM2bを表示した後、端末制御部20は、筐体8が「右動き」又は「左動き」のいずれかの動きをしたか否かを監視しつつ(ステップSF10)、筐体8の向きが「縦向き」となったか否かを監視する(ステップSF11)。
筐体8が「右動き」又は「左動き」のいずれの動きをすることなく(ステップSF10:NO)、筐体8の向きが「縦向き」となった場合(ステップSF11:YES)、端末制御部20は、処理手順をステップSF2へ移行する。この結果、携帯端末3の筐体8の向きが「横向き」から「縦向き」に変化した場合、タッチパネル9に、車外画像表示画面GM2bに代えて、俯瞰画像表示画面GM2aが表示される。このことの効果は、第1モードの説明で述べたとおりである。
一方、筐体8の向きが「縦向き」となることなく(ステップSF11:NO)、筐体8が「右動き」又は「左動き」のいずれかをした場合(ステップSF10:YES)、端末制御部20は、処理手順をステップSC10へ移行する。つまり、端末制御部20は、筐体8の向きが「横向き」のときに、筐体8が「右動き」又は「左動き」をした場合、処理手順をステップSF12へ移行する。
ステップSF12において、端末制御部20は、筐体8の動きが「右動き」であったか「左動き」であったかを判別する。筐体8の動きが「右動き」であった場合(ステップSF12:「右動き」)、端末制御部20は、車外撮影用カメラが撮影する方向に応じた第1の順番に従って、車外撮影用カメラのうち、1つの車外撮影用カメラを選択する(ステップSF13)。
次いで、端末制御部20は、携帯端末3の向きが「横向き」であることを示す情報、及びステップSF13で選択した車外撮影用カメラを示す情報を含む横向き情報を情報処理装置4に送信する(ステップSF14)。ステップSF14の処理後、端末制御部20は、処理手順をステップSF10へ移行する。
ステップSF14の横向き情報の送信に応じて、情報処理装置4は、図17CのフローチャートFIの処理を実行し、表示装置32に表示させる車外画像G2を、横向き情報が含む選択カメラ情報が示す車外撮影用カメラの撮影結果に基づく画像に変更する。さらに、情報処理装置4は、選択カメラ情報が示す車外撮影用カメラの撮影結果に基づく車外画像データの携帯端末3への送信を開始する。これにより、携帯端末3のタッチパネル9の車外画像表示画面GM2bに表示される車外画像G2が、ステップSF13で選択された車外撮影用カメラの撮影結果に基づく画像となる。
次いで、端末制御部20は、携帯端末3の向きが「横向き」であることを示す情報、及びステップSF13で選択した車外撮影用カメラを示す情報を含む横向き情報を情報処理装置4に送信する(ステップSF14)。ステップSF14の処理後、端末制御部20は、処理手順をステップSF10へ移行する。
ステップSF14の横向き情報の送信に応じて、情報処理装置4は、図17CのフローチャートFIの処理を実行し、表示装置32に表示させる車外画像G2を、横向き情報が含む選択カメラ情報が示す車外撮影用カメラの撮影結果に基づく画像に変更する。さらに、情報処理装置4は、選択カメラ情報が示す車外撮影用カメラの撮影結果に基づく車外画像データの携帯端末3への送信を開始する。これにより、携帯端末3のタッチパネル9の車外画像表示画面GM2bに表示される車外画像G2が、ステップSF13で選択された車外撮影用カメラの撮影結果に基づく画像となる。
一方、ステップSF12において、筐体8の動きが「左動き」であった場合(ステップSF12:「左動き」)、端末制御部20は、車外撮影用カメラが撮影する方向に応じた第2の順番に従って、車外撮影用カメラのうち、1つの車外撮影用カメラを選択する(ステップSF15)。
次いで、端末制御部20は、携帯端末3の向きが「横向き」であることを示す情報、及びステップSF15で選択した車外撮影用カメラを示す情報を含む横向き情報を情報処理装置4に送信する(ステップSF16)。ステップSF16の処理後、端末制御部20は、処理手順をステップSF10へ移行する。
ステップSF16の横向き情報の送信に応じて、情報処理装置4は、図17CのフローチャートFIの処理を実行し、表示装置32に表示させる車外画像G2を、横向き情報が含む選択カメラ情報が示す車外撮影用カメラの撮影結果に基づく画像に変更する。さらに、情報処理装置4は、選択カメラ情報が示す車外撮影用カメラの撮影結果に基づく車外画像データの携帯端末3への送信を開始する。これにより、携帯端末3のタッチパネル9の車外画像表示画面GM2bに表示される車外画像G2が、ステップSF16で選択された車外撮影用カメラの撮影結果に基づく画像となる。
次いで、端末制御部20は、携帯端末3の向きが「横向き」であることを示す情報、及びステップSF15で選択した車外撮影用カメラを示す情報を含む横向き情報を情報処理装置4に送信する(ステップSF16)。ステップSF16の処理後、端末制御部20は、処理手順をステップSF10へ移行する。
ステップSF16の横向き情報の送信に応じて、情報処理装置4は、図17CのフローチャートFIの処理を実行し、表示装置32に表示させる車外画像G2を、横向き情報が含む選択カメラ情報が示す車外撮影用カメラの撮影結果に基づく画像に変更する。さらに、情報処理装置4は、選択カメラ情報が示す車外撮影用カメラの撮影結果に基づく車外画像データの携帯端末3への送信を開始する。これにより、携帯端末3のタッチパネル9の車外画像表示画面GM2bに表示される車外画像G2が、ステップSF16で選択された車外撮影用カメラの撮影結果に基づく画像となる。
以上、第2モードを説明した。第2モードは、上述した第1モードと比較し、情報処理装置4が携帯端末3に送信するデータのデータ量が小さく、通信効率が良い。
次に、車両推進制御処理におけるタッチパネル9への表示に関する処理について、携帯端末3が実行する別の処理について説明する。
上述したように、車両推進制御モードへ移行した後、携帯端末3のタッチパネル9には、車両制御画面GM2(俯瞰画像表示画面GM2a、又は車外画像表示画面GM2b。)が表示される。そして、車両制御画面GM2には、推進制御ボタンQBが表示される。上述したように、推進制御ボタンQBは、車両Sの推進を制御するボタンであり、当該ボタンがタッチ操作されている間、車両Sが軌道に沿って推進し、当該ボタンがタッチ操作されていない間、車両Sの推進が停止する。
上述したように、車両推進制御モードへ移行した後、携帯端末3のタッチパネル9には、車両制御画面GM2(俯瞰画像表示画面GM2a、又は車外画像表示画面GM2b。)が表示される。そして、車両制御画面GM2には、推進制御ボタンQBが表示される。上述したように、推進制御ボタンQBは、車両Sの推進を制御するボタンであり、当該ボタンがタッチ操作されている間、車両Sが軌道に沿って推進し、当該ボタンがタッチ操作されていない間、車両Sの推進が停止する。
そして、端末制御部20は、車両制御画面GM2に表示された推進制御ボタンQBがタッチ操作された後、タッチパネル9が接触された状態でタッチ操作の位置が移動した場合、タッチ操作の位置の移動に追従して推進制御ボタンQBの位置を移動させる。これにより、推進制御ボタンQBがタッチ操作された後、タッチパネル9が接触された状態でタッチ操作の位置が移動した場合であっても、推進制御ボタンQBがタッチ操作された状態が維持される。
上述したように、図12の状態J4は、タッチパネル9に表示される画面がロック画面GM1から車両制御画面GM2へ切り替わった直後の車両制御画面GM2を示している。図12の状態J5は、状態J4のタッチ操作の位置から、タッチ操作の位置が移動した後の車両制御画面GM2を示している。図12の状態J5に示すように、タッチ位置の移動に応じて、推進制御ボタンQBの位置が、タッチ位置に追従して移動し、推進制御ボタンQBがタッチ操作された状態が維持される。
図12の状態J6は、状態J5から、携帯端末3の向きが横向きとされて、状態J5のときに表示されていた俯瞰画像表示画面GM2aに代えて、車外画像表示画面GM2bがタッチパネル9に表示された様子を示している。状態J5から状態J6へ移行に際し、ユーザーは、状態J5のときに推進制御ボタンQBをタッチ操作していた指が、タッチパネル9を接触した状態を維持しているものとする。状態J5、状態J6に示すように、端末制御部20は、タッチパネル9に表示させる画面を俯瞰画像表示画面GM2aから車外画像表示画面GM2bに切り替えた際も、推進制御ボタンQBが表示された状態を維持すると共に、タッチ操作の位置に移動に追従して推進制御ボタンQBの位置を移動させ、推進制御ボタンQBがタッチ操作された状態を維持する。
上述したように、図12の状態J4は、タッチパネル9に表示される画面がロック画面GM1から車両制御画面GM2へ切り替わった直後の車両制御画面GM2を示している。図12の状態J5は、状態J4のタッチ操作の位置から、タッチ操作の位置が移動した後の車両制御画面GM2を示している。図12の状態J5に示すように、タッチ位置の移動に応じて、推進制御ボタンQBの位置が、タッチ位置に追従して移動し、推進制御ボタンQBがタッチ操作された状態が維持される。
図12の状態J6は、状態J5から、携帯端末3の向きが横向きとされて、状態J5のときに表示されていた俯瞰画像表示画面GM2aに代えて、車外画像表示画面GM2bがタッチパネル9に表示された様子を示している。状態J5から状態J6へ移行に際し、ユーザーは、状態J5のときに推進制御ボタンQBをタッチ操作していた指が、タッチパネル9を接触した状態を維持しているものとする。状態J5、状態J6に示すように、端末制御部20は、タッチパネル9に表示させる画面を俯瞰画像表示画面GM2aから車外画像表示画面GM2bに切り替えた際も、推進制御ボタンQBが表示された状態を維持すると共に、タッチ操作の位置に移動に追従して推進制御ボタンQBの位置を移動させ、推進制御ボタンQBがタッチ操作された状態を維持する。
車両制御画面GM2の表示に際し、端末制御部20により以上の処理が行われるため、以下の効果を奏する。
すなわち、ユーザーが推進制御ボタンQBをタッチ操作した後、タッチ操作する指の位置がずれた場合であっても、推進制御ボタンQBがタッチ操作された状態が維持される。このため、ユーザーは、推進制御ボタンQBを操作する際、特定の位置をピンポイントでタッチ操作し続ける必要がなく、ユーザーの利便性が高い。特に、上述したように、本実施形態では、車両自動移動が行われている間、ユーザーは、携帯端末3の筐体8の向きを変更する場合がある。そして、筐体8向きの変更に伴って、タッチ操作された位置がずれた場合であっても、推進制御ボタンQBがタッチ操作された状態が維持されるため、ユーザーの利便性が高い。なお、筐体8を片手で把持し、タッチパネル9を片手で操作する場合、タッチ操作する位置がずれやすいものと想定されるため、ユーザーが筐体8を片手で把持し、タッチパネル9を片手で操作する場合に、上述した処理は、より有効である。
すなわち、ユーザーが推進制御ボタンQBをタッチ操作した後、タッチ操作する指の位置がずれた場合であっても、推進制御ボタンQBがタッチ操作された状態が維持される。このため、ユーザーは、推進制御ボタンQBを操作する際、特定の位置をピンポイントでタッチ操作し続ける必要がなく、ユーザーの利便性が高い。特に、上述したように、本実施形態では、車両自動移動が行われている間、ユーザーは、携帯端末3の筐体8の向きを変更する場合がある。そして、筐体8向きの変更に伴って、タッチ操作された位置がずれた場合であっても、推進制御ボタンQBがタッチ操作された状態が維持されるため、ユーザーの利便性が高い。なお、筐体8を片手で把持し、タッチパネル9を片手で操作する場合、タッチ操作する位置がずれやすいものと想定されるため、ユーザーが筐体8を片手で把持し、タッチパネル9を片手で操作する場合に、上述した処理は、より有効である。
また、推進制御ボタンQBのタッチ操作が解除された場合、端末制御部20は、タッチ操作が解除されたときの推進制御ボタンQBの位置に、継続して、推進制御ボタンQBを表示する。この構成によれば、ユーザーは、再び、推進制御ボタンQBをタッチ操作する場合に、タッチ操作を解除したときの位置をタッチ操作すればよく、ユーザーの利便性が高い。
なお、推進制御ボタンQBのタッチ操作が解除された場合、上記の処理に代えて、端末制御部20は、以下の処理を実行してもよい。すなわち、推進制御ボタンQBのタッチ操作が解除された場合、予め定められた特定の位置に、推進制御ボタンQBを表示してもよい。予め定められた特定の位置は、一例として、ロック画面GM1におけるスライドバーBR1の右端BR1bに対応する位置である。この構成によれば、推進制御ボタンQBに対するタッチ操作が解除された場合、同じ位置に、推進制御ボタンQBが表示されることになるため、ユーザーは、推進制御ボタンQBの位置を探し易く、ユーザーの利便性が向上する。
なお、推進制御ボタンQBのタッチ操作が解除された場合、上記の処理に代えて、端末制御部20は、以下の処理を実行してもよい。すなわち、推進制御ボタンQBのタッチ操作が解除された場合、予め定められた特定の位置に、推進制御ボタンQBを表示してもよい。予め定められた特定の位置は、一例として、ロック画面GM1におけるスライドバーBR1の右端BR1bに対応する位置である。この構成によれば、推進制御ボタンQBに対するタッチ操作が解除された場合、同じ位置に、推進制御ボタンQBが表示されることになるため、ユーザーは、推進制御ボタンQBの位置を探し易く、ユーザーの利便性が向上する。
また、端末制御部20は、推進制御ボタンQBがタッチ操作されているされているときと、タッチ操作されていないときとで、推進制御ボタンQBを示す画像を変化させる。
図12の状態J4~J6における推進制御ボタンQBは、タッチ操作された状態であり、図12の状態J7における推進制御ボタンQBは、タッチ操作されていない状態である。
状態J4~J6に示すように、推進制御ボタンQBがタッチ操作されている場合、推進制御ボタンQBを示す画像は、円状の画像と、当該円状の画像の周りを囲む環状の画像とにより構成される。環状の画像は、アニメーションにより、時間の経過に応じて態様が変化する画像であってもよい。一方、状態J7に示すように、推進制御ボタンQBがタッチ操作されていない場合、推進制御ボタンQBを示す画像は、円状の画像であり、環状の画像を含まない。
ユーザーは、推進制御ボタンQBを示す画像を視認することにより、推進制御ボタンQBがタッチ操作されていること、及び、タッチ操作されていないことを、簡易かつ的確に認識することができる。
図12の状態J4~J6における推進制御ボタンQBは、タッチ操作された状態であり、図12の状態J7における推進制御ボタンQBは、タッチ操作されていない状態である。
状態J4~J6に示すように、推進制御ボタンQBがタッチ操作されている場合、推進制御ボタンQBを示す画像は、円状の画像と、当該円状の画像の周りを囲む環状の画像とにより構成される。環状の画像は、アニメーションにより、時間の経過に応じて態様が変化する画像であってもよい。一方、状態J7に示すように、推進制御ボタンQBがタッチ操作されていない場合、推進制御ボタンQBを示す画像は、円状の画像であり、環状の画像を含まない。
ユーザーは、推進制御ボタンQBを示す画像を視認することにより、推進制御ボタンQBがタッチ操作されていること、及び、タッチ操作されていないことを、簡易かつ的確に認識することができる。
また、端末制御部20は、図12の状態J4、状態J5に示すように、俯瞰画像表示画面GM2aを表示している場合、車両Sを示す画像に重畳して、車両Sのギアの状態を示すマークを表示する。本実施形態では、端末制御部20は、車両Sのギアの状態がパーキング(P)の場合は、文字「P」を表すマークを車両Sを示す画像に重畳して表示し、リバース(R)の場合は、文字「R」を表すマークを車両Sを示す画像に重畳して表示し、ドライブ(D)の場合は、文字「D」を表すマークを車両Sを示す画像に重畳して表示し、ニュートラル(N)の場合は、文字「N」を表すマークを車両Sを示す画像に重畳して表示し、ロー(L)の場合は、文字「L」を表すマークを車両Sを示す画像に重畳して表示する。端末制御部20は、情報処理装置4と通信して、車両Sのギアの状態を認識する。
ユーザーは、車両Sを示す画像に重畳して表示されるマークを参照することにより、車両Sのギアの状態を的確に認識できる。
ユーザーは、車両Sを示す画像に重畳して表示されるマークを参照することにより、車両Sのギアの状態を的確に認識できる。
図9に示すように、車両自動運転により、車両Sが駐車位置まで移動し、駐車位置で停車することによって、フローチャートFAの車両推進制御処理、及び、フローチャートFBの車両推進制御処理が完了する。車両Sが車両位置で停車した場合、そのことが所定の方法でユーザーに通知される。車外にいるユーザーは、上述した専用のリモートコントローラーを利用して、エンジンスイッチをオフし、ドアを施錠することにより、車両Sの近傍を離れることができる。
なお、第1モード、第2モードにおいて、情報処理装置4が携帯端末3に送信する合成画像データ、俯瞰画像データ、及び車外画像データは、それぞれ、「車両Sに設けられたカメラの撮影結果に基づく撮影データ」に相当する。
<車両Sを出庫させる場合>
次に、車両Sを出庫させる場合について、説明する。
図18のフローチャートFJは、情報処理装置4の動作を示すフローチャートであり、フローチャートFKは、携帯端末3の動作を示すフローチャートである。以下、駐車場の1つの駐車領域に対応する駐車位置から車両Sを出庫させる場合を例にして、情報処理装置4、及び携帯端末3の動作について説明する。
次に、車両Sを出庫させる場合について、説明する。
図18のフローチャートFJは、情報処理装置4の動作を示すフローチャートであり、フローチャートFKは、携帯端末3の動作を示すフローチャートである。以下、駐車場の1つの駐車領域に対応する駐車位置から車両Sを出庫させる場合を例にして、情報処理装置4、及び携帯端末3の動作について説明する。
ユーザーは、車両自動移動により出庫を行う場合、駐車位置の近辺に行く。なお、ユーザーは、車両Sに搭乗してもよいが、説明の便宜のため、以下では、ユーザーが車両Sを降車するものとして説明する。
次いで、ユーザーは、上述した専用のリモートコントローラーを操作して、車両Sのエンジンスイッチをオンする。車両Sのエンジンスイッチのオンに伴い、アクセサリー電源から、情報処理装置4に電力が供給されると共に、情報処理装置4の電源がオンされる。
次いで、ユーザーは、携帯端末3のタッチパネル9を操作して、専用アプリケーションAPを起動する(ステップS3)。なお、ユーザーは、専用アプリケーションAPを起動する際、携帯端末3の筐体8の向きを、「縦向き」とする。
携帯端末3の端末制御部20は、ステップS3でユーザーにより起動された専用アプリケーションAPの機能により、フローチャートFKの処理を実行する。
さらに、ユーザーは、タッチパネル9に対して所定の操作を行って、タッチパネル9に、出庫開始指示画面を表示させる指示を行う(ステップS4)。
図18のフローチャートFKに示すように、ステップS4の指示に応じて、端末制御部20は、出庫開始指示画面をタッチパネル9に表示させる(ステップSK1)。
出庫開始指示画面は、車両自動移動による出庫を行うことの指示を入力可能な画面であり、当該指示を行う場合にタッチ操作されるタッチ操作ボタンが表示される。ユーザーは、車両自動伊藤により出庫を行う場合、出庫開始指示画面に表示されたタッチ操作ボタンを操作する(ステップS5)。
次いで、ユーザーは、上述した専用のリモートコントローラーを操作して、車両Sのエンジンスイッチをオンする。車両Sのエンジンスイッチのオンに伴い、アクセサリー電源から、情報処理装置4に電力が供給されると共に、情報処理装置4の電源がオンされる。
次いで、ユーザーは、携帯端末3のタッチパネル9を操作して、専用アプリケーションAPを起動する(ステップS3)。なお、ユーザーは、専用アプリケーションAPを起動する際、携帯端末3の筐体8の向きを、「縦向き」とする。
携帯端末3の端末制御部20は、ステップS3でユーザーにより起動された専用アプリケーションAPの機能により、フローチャートFKの処理を実行する。
さらに、ユーザーは、タッチパネル9に対して所定の操作を行って、タッチパネル9に、出庫開始指示画面を表示させる指示を行う(ステップS4)。
図18のフローチャートFKに示すように、ステップS4の指示に応じて、端末制御部20は、出庫開始指示画面をタッチパネル9に表示させる(ステップSK1)。
出庫開始指示画面は、車両自動移動による出庫を行うことの指示を入力可能な画面であり、当該指示を行う場合にタッチ操作されるタッチ操作ボタンが表示される。ユーザーは、車両自動伊藤により出庫を行う場合、出庫開始指示画面に表示されたタッチ操作ボタンを操作する(ステップS5)。
ユーザーにより出庫開始指示画面のタッチ操作ボタンが操作されたことを検出すると、端末制御部20は、出庫開始指示情報を情報処理装置4に送信する(ステップSK2)。
図18のフローチャートFJに示すように、情報処理装置4の情報処理装置制御部30は、出庫開始指示情報を受信する(ステップSJ1)。
次いで、情報処理装置制御部30は、出庫開始指示情報の受信に応じて、情報処理装置4の動作モードを、出庫モードへ変更する(ステップSJ2)。
次いで、情報処理装置制御部30は、出庫開始指示情報の受信に応じて、情報処理装置4の動作モードを、出庫モードへ変更する(ステップSJ2)。
動作モードの出庫モードへの移行に応じて、情報処理装置制御部30は、候補位置決定処理を実行する(ステップSJ3)。
候補位置決定処理は、車両Sが駐車位置を移動して停車可能な1又は複数の位置を決定する処理である。候補位置決定処理で決定される1又は複数の位置は、車両Sを出庫により停車させる位置の候補である。以下、候補位置決定処理で決定される位置のそれぞれを、「候補位置」と表現する。
ステップSJ3の候補位置決定処理において、情報処理装置制御部30は、上述した駐車位置決定処理と同様の処理を行って、1又は複数の候補位置を決定する。候補位置決定処理において、候補位置を決定する処理の方法は、どのような方法であってもよい。
候補位置決定処理は、車両Sが駐車位置を移動して停車可能な1又は複数の位置を決定する処理である。候補位置決定処理で決定される1又は複数の位置は、車両Sを出庫により停車させる位置の候補である。以下、候補位置決定処理で決定される位置のそれぞれを、「候補位置」と表現する。
ステップSJ3の候補位置決定処理において、情報処理装置制御部30は、上述した駐車位置決定処理と同様の処理を行って、1又は複数の候補位置を決定する。候補位置決定処理において、候補位置を決定する処理の方法は、どのような方法であってもよい。
ステップSJ3で1又は複数の候補位置を決定した後、情報処理装置制御部30は、候補位置経路情報生成処理を実行する(ステップSJ4)。
候補位置経路情報生成処理は、駐車位置から、ステップSJ3で決定した候補位置に至るまでの軌道を示す軌道情報を含む自動運転経路情報を生成する処理である。以下、駐車位置から候補位置までの軌道を示す軌道情報を含む自動運転経路情報を、「候補位置経路情報」という。ステップSJ4において、情報処理装置制御部30は、ステップSJ3の候補位置決定処理で、複数の候補位置を決定した場合は、複数の候補位置に対応する複数の候補位置経路情報を生成する。
候補位置経路情報生成処理は、駐車位置から、ステップSJ3で決定した候補位置に至るまでの軌道を示す軌道情報を含む自動運転経路情報を生成する処理である。以下、駐車位置から候補位置までの軌道を示す軌道情報を含む自動運転経路情報を、「候補位置経路情報」という。ステップSJ4において、情報処理装置制御部30は、ステップSJ3の候補位置決定処理で、複数の候補位置を決定した場合は、複数の候補位置に対応する複数の候補位置経路情報を生成する。
次いで、情報処理装置制御部30は、ステップSJ4で生成した候補位置経路情報のそれぞれを、携帯端末3に送信する(ステップSJ5)。
さらに、情報処理装置制御部30は、俯瞰用カメラからの入力に基づく俯瞰画像データを生成、及び、俯瞰画像データの携帯端末3への送信を開始する(ステップSJ6)。情報処理装置制御部30は、俯瞰用カメラから所定の周期で入力される撮影画像データに基づいて、所定の周期に対応する周期で、俯瞰画像データの生成、及び、送信を実行する。
さらに、情報処理装置制御部30は、俯瞰用カメラからの入力に基づく俯瞰画像データを生成、及び、俯瞰画像データの携帯端末3への送信を開始する(ステップSJ6)。情報処理装置制御部30は、俯瞰用カメラから所定の周期で入力される撮影画像データに基づいて、所定の周期に対応する周期で、俯瞰画像データの生成、及び、送信を実行する。
図18のフローチャートFKに示すように、携帯端末3の端末制御部20は、ステップSJ5で情報処理装置4により送信された1又は複数の候補位置経路情報を受信する(ステップSK3)。また、端末制御部20は、俯瞰画像データの受信を開始する(ステップSK4)。
次いで、端末制御部20は、ステップSK3で受信した候補位置経路情報のそれぞれ、及び、ステップSK4で受信を開始した俯瞰画像データに基づいて、タッチパネル9に選択画面GM3を表示させる(ステップSK5)。
選択画面GM3を表示した後、端末制御部20は、選択画面GM3に対して候補位置を選択する入力があったか否かを監視する(ステップSK6)。以下、選択画面GM3の内容、及び、ステップSK6の処理について詳述する。
選択画面GM3を表示した後、端末制御部20は、選択画面GM3に対して候補位置を選択する入力があったか否かを監視する(ステップSK6)。以下、選択画面GM3の内容、及び、ステップSK6の処理について詳述する。
図19は、選択画面GM3の一例を示す図である。
選択画面GM3は、ユーザーが、候補位置のうち、1つの候補位置を選択する入力を行う画面である。図19に示すように、選択画面GM3には、俯瞰画像G1が表示される。端末制御部20は、情報処理装置4から受信する俯瞰画像データに基づいて、俯瞰画像G1を表示する。選択画面GM3に表示された俯瞰画像G1の中央部には、車両Sを示す現在位置画像X1が表示される。現在位置画像X1は、車両Sの現在の位置を示す画像である。
選択画面GM3は、ユーザーが、候補位置のうち、1つの候補位置を選択する入力を行う画面である。図19に示すように、選択画面GM3には、俯瞰画像G1が表示される。端末制御部20は、情報処理装置4から受信する俯瞰画像データに基づいて、俯瞰画像G1を表示する。選択画面GM3に表示された俯瞰画像G1の中央部には、車両Sを示す現在位置画像X1が表示される。現在位置画像X1は、車両Sの現在の位置を示す画像である。
図19に示すように、選択画面GM3には、候補位置画像X2が表示される。候補位置画像X2は、候補位置(車両Sが出庫により停車する位置の候補。)を示す画像である。候補位置画像X2は、候補位置が複数ある場合(複数の候補位置経路情報を受信した場合。)、複数、表示される。
図19で例示する選択画面GM3では、候補位置画像X2は、矩形の枠の画像である。なお、候補位置画像X2の形状は、図19で示す形状に限られない。
候補位置画像X2は、選択画面GM3において、現実の空間における実際の候補位置に対応する位置に表示される。従って、選択画面GM3における現在位置画像X1と、候補位置画像X2との位置関係は、現実の空間における車両Sの現在の位置と、候補位置との位置関係に対応した状態となる。
端末制御部20は、候補位置経路情報に基づいて、俯瞰画像G1に重畳して、1又は複数の候補位置画像X2を表示する。ユーザーは、選択画面GM3に表示された候補位置画像X2に基づいて、車両Sと候補位置との位置関係を的確に認識できる。
図19で例示する選択画面GM3では、候補位置画像X2は、矩形の枠の画像である。なお、候補位置画像X2の形状は、図19で示す形状に限られない。
候補位置画像X2は、選択画面GM3において、現実の空間における実際の候補位置に対応する位置に表示される。従って、選択画面GM3における現在位置画像X1と、候補位置画像X2との位置関係は、現実の空間における車両Sの現在の位置と、候補位置との位置関係に対応した状態となる。
端末制御部20は、候補位置経路情報に基づいて、俯瞰画像G1に重畳して、1又は複数の候補位置画像X2を表示する。ユーザーは、選択画面GM3に表示された候補位置画像X2に基づいて、車両Sと候補位置との位置関係を的確に認識できる。
図19に示すように、選択画面GM3において、現在位置画像X1の下方には、スライドユニットSU2が表示される。スライドユニットSU2は、1又は複数のスライドバーBR2と、1つのスライドボタンSB2とを有する。
選択画面GM3に表示されるスライドバーBR2の個数は、候補位置画像X2の個数と同一である。図19に示すように、スライドバーBR2のそれぞれは、現在位置画像X1の下方に位置する共通の基端PP1を起点として、候補位置画像X2のそれぞれに向かって延在する帯状のオブジェクトである。例えば、図19に例示するように、選択画面GM3に候補位置画像X2として第1画像、第2画像、及び第3画像の3個の候補位置画像X2が表示されているものとする。
この場合、選択画面GM3に、スライドバーBR2は「3個」表示される。3個のスライドバーBR2を、それぞれ、第1バー、第2バー、及び第3バーと表現すると、第1バーは、基端PP1から第1画像に向かって延在する帯状のオブジェクトであり、第2バーは、基端PP1から第2画像に向かって延在する帯状のオブジェクトであり、第3バーは、基端PP1から第3画像に向かって延在する帯状のオブジェクトである。
選択画面GM3に表示されるスライドバーBR2の個数は、候補位置画像X2の個数と同一である。図19に示すように、スライドバーBR2のそれぞれは、現在位置画像X1の下方に位置する共通の基端PP1を起点として、候補位置画像X2のそれぞれに向かって延在する帯状のオブジェクトである。例えば、図19に例示するように、選択画面GM3に候補位置画像X2として第1画像、第2画像、及び第3画像の3個の候補位置画像X2が表示されているものとする。
この場合、選択画面GM3に、スライドバーBR2は「3個」表示される。3個のスライドバーBR2を、それぞれ、第1バー、第2バー、及び第3バーと表現すると、第1バーは、基端PP1から第1画像に向かって延在する帯状のオブジェクトであり、第2バーは、基端PP1から第2画像に向かって延在する帯状のオブジェクトであり、第3バーは、基端PP1から第3画像に向かって延在する帯状のオブジェクトである。
スライドボタンSB2は、タッチ操作ボタンであり、ユーザーのスワイプ操作に応じて、スライドバーBR2(複数のスライドバーBR2が表示されている場合は、全てのスライドバーBR2。)に沿って移動可能である。図19に示すように、スライドボタンSB2は、ユーザーによりタッチ操作が行われていない場合、基端PP1に位置した状態が維持される。スライドボタンSB2は、スライドバーBR2の基端PP1から、先端PP2の範囲内で移動可能である。
図20は、タッチパネル9に表示される画面の遷移を説明する図である。図20では、適宜、タッチパネル9に表示される画面と併せて、画面を操作するユーザーの指の一部を示す。
図20の状態J10は、ユーザーがタッチ操作を行っていない状態の選択画面GM3を示している。上述したように、選択画面GM3は、ユーザーが、候補位置のうち、1つの候補位置を選択する入力を行う画面である。候補位置を選択する入力を行う場合、ユーザーは、状態J10の選択画面GM3で、基端PP1に位置するスライドボタンSB2を指でタッチ操作する。
次いで、ユーザーは、スワイプ操作により、スライドボタンSB2を、スライドバーBR2のうち、車両Sを出庫により停車させることを望む候補位置の候補位置画像X2に向かって延在するスライドバーBR2沿って移動させる。スワイプ操作に応じて、端末制御部20は、指が接触する位置に追従して、スライドボタンSB2をスライドバーBR2に沿って移動させる。図20の状態J11は、スワイプ操作により、スライドバーBR2に沿ってスライドボタンSB2が移動した状態の選択画面GM3を示している。
図20の状態J10は、ユーザーがタッチ操作を行っていない状態の選択画面GM3を示している。上述したように、選択画面GM3は、ユーザーが、候補位置のうち、1つの候補位置を選択する入力を行う画面である。候補位置を選択する入力を行う場合、ユーザーは、状態J10の選択画面GM3で、基端PP1に位置するスライドボタンSB2を指でタッチ操作する。
次いで、ユーザーは、スワイプ操作により、スライドボタンSB2を、スライドバーBR2のうち、車両Sを出庫により停車させることを望む候補位置の候補位置画像X2に向かって延在するスライドバーBR2沿って移動させる。スワイプ操作に応じて、端末制御部20は、指が接触する位置に追従して、スライドボタンSB2をスライドバーBR2に沿って移動させる。図20の状態J11は、スワイプ操作により、スライドバーBR2に沿ってスライドボタンSB2が移動した状態の選択画面GM3を示している。
図20の状態J11に示すように、スワイプ操作に応じて、選択画面GM3には、車両Sが駐車位置から候補位置に移動した場合に、車両Sが通る軌道を示す軌道画像X3が表示される。軌道画像X3は、現在位置画像X1と、候補位置画像X2とを、車両Sが候補位置へ移動するときの軌道に沿って結ぶ帯状の画像であり、車両Sの幅に対応する幅を有する。
端末制御部20は、候補位置経路情報に基づいて、俯瞰画像G1に重畳して、1又は複数の軌道画像X3を表示する。ユーザーは、選択画面GM3に表示された軌道画像X3に基づいて、車両Sが車両自動移動により、候補位置まで移動した場合の軌道(経路)を的確に認識できる。
端末制御部20は、候補位置経路情報に基づいて、俯瞰画像G1に重畳して、1又は複数の軌道画像X3を表示する。ユーザーは、選択画面GM3に表示された軌道画像X3に基づいて、車両Sが車両自動移動により、候補位置まで移動した場合の軌道(経路)を的確に認識できる。
スワイプ操作を行うユーザーは、スライドボタンSB2をスライドバーBR2の先端PP2にまで移動させ、所定の期間(例えば、3秒。)、スライドボタンSB2が先端PP2に位置した状態を維持する。これにより、候補位置を選択する入力が完了する。
なお、候補位置を車両推進制御モードへの移行の指示の入力が完了する前に、スワイプ操作が解除されると、端末制御部20は、スワイプ操作の解除に応じて、スライドボタンSB2を、基端PP1に移動させる。
なお、候補位置を車両推進制御モードへの移行の指示の入力が完了する前に、スワイプ操作が解除されると、端末制御部20は、スワイプ操作の解除に応じて、スライドボタンSB2を、基端PP1に移動させる。
ステップSK6において、端末制御部20は、タッチパネル9からの入力に基づいて、スライドバーBR2の先端PP2にスライドボタンSB2が、所定の期間、位置したか否かを監視する。そして、端末制御部20は、スライドバーBR2の先端PP2にスライドボタンSB2が、所定の期間、位置した場合、候補位置を選択する入力があったと判別する。
ステップSK6において、候補位置を選択する入力があったと判別した場合(ステップSK6:YES)、端末制御部20は、スライドボタンSB2が、所定の期間、先端PP2に位置したスライドバーBR2に対応する候補位置画像X2の候補位置を、出庫後に車両Sを停車させる位置として決定する(ステップSK7)。
以上のように、本実施形態では、ユーザーは、所望のスライドバーBR2に沿って、スライドボタンSB2を移動させるという簡易な操作により、候補位置の中から、車両Sが出庫した後に停車させることを望む候補位置を決定できる。このため、ユーザーの利便性が高い。特に、スライドバーBR2のそれぞれは、候補位置画像X2のそれぞれに向かって延在する構成のため、ユーザーは、どのスライドバーBR2が、どの候補位置画像X2と対応関係にあるのかを、感覚的に把握できる。
また、本実施形態では、スライドバーBR2の先端PP2にスライドボタンSB2が、所定の期間、位置して初めて、入力が完了する。この構成のため、タッチパネル9にユーザーの指が偶発的に接触し、ユーザーの意図に反して候補位置が選択されることが防止される。
また、本実施形態では、スライドバーBR2の先端PP2にスライドボタンSB2が、所定の期間、位置して初めて、入力が完了する。この構成のため、タッチパネル9にユーザーの指が偶発的に接触し、ユーザーの意図に反して候補位置が選択されることが防止される。
ステップSK7で、車両Sを停車させる位置を決定した後、端末制御部20は、動作モードを車両推進制御モードへ移行する(ステップSK8)。
動作モードの移行に応じて、端末制御部20は、タッチパネル9に表示する画面を選択画面GM3から、車両制御画面GM2へ切り替える(ステップSK9)。
動作モードの移行に応じて、端末制御部20は、タッチパネル9に表示する画面を選択画面GM3から、車両制御画面GM2へ切り替える(ステップSK9)。
図20の状態J12は、タッチパネル9に表示される画面が選択画面GM3から車両制御画面GM2へ切り替わった直後の車両制御画面GM2を示している。なお、画面が車両制御画面GM2へと切り替わった直後は、携帯端末3の筐体8の向きは、「縦向き」である。
出庫時に表示される車両制御画面GM2は、駐車時に表示される車両制御画面GM2と同じである。選択画面GM3から車両制御画面GM2へと画面を切り替える際、端末制御部20は、選択画面GM3におけるスライドボタンSB2を、推進制御ボタンQB(操作ボタン)へと切り替える。すなわち、端末制御部20は、画面の切り替えに応じて、スライドボタンSB2と異なるボタンとして推進制御ボタンQBを改めて表示するのではなく、スライドバーBR2の先端PP2に位置するスライドボタンSB2を、画面の切り替わり応じて、位置を変更することなく、推進制御ボタンQBとして機能させる。従って、画面が切り替わった直後は、推進制御ボタンQBは、選択画面GM3におけるスライドバーBR2の先端PP2に位置し、また、推進制御ボタンQBは、ユーザーによりタッチ操作された状態である。
なお、図20の状態J12に代えて、図20の状態J13に示す車両制御画面GM2を表示してもよい。状態J13で示す車両制御画面GM2では、車両Sの駐車位置から、選択された候補位置に向かう軌道画像X3が、進行方向を明示する矢印の形状となっている。状態J13に示す態様で、車両制御画面GM2を表示することにより、ユーザーは、駐車位置から出庫した後の車両Sの進行方向を的確に認識できる。
出庫時に表示される車両制御画面GM2は、駐車時に表示される車両制御画面GM2と同じである。選択画面GM3から車両制御画面GM2へと画面を切り替える際、端末制御部20は、選択画面GM3におけるスライドボタンSB2を、推進制御ボタンQB(操作ボタン)へと切り替える。すなわち、端末制御部20は、画面の切り替えに応じて、スライドボタンSB2と異なるボタンとして推進制御ボタンQBを改めて表示するのではなく、スライドバーBR2の先端PP2に位置するスライドボタンSB2を、画面の切り替わり応じて、位置を変更することなく、推進制御ボタンQBとして機能させる。従って、画面が切り替わった直後は、推進制御ボタンQBは、選択画面GM3におけるスライドバーBR2の先端PP2に位置し、また、推進制御ボタンQBは、ユーザーによりタッチ操作された状態である。
なお、図20の状態J12に代えて、図20の状態J13に示す車両制御画面GM2を表示してもよい。状態J13で示す車両制御画面GM2では、車両Sの駐車位置から、選択された候補位置に向かう軌道画像X3が、進行方向を明示する矢印の形状となっている。状態J13に示す態様で、車両制御画面GM2を表示することにより、ユーザーは、駐車位置から出庫した後の車両Sの進行方向を的確に認識できる。
車両推進制御モードへの移行に応じて、端末制御部20は、ステップSK7で決定した候補位置を示す情報を、情報処理装置4に送信する(ステップSK10)。図18のフローチャートFJに示すように、情報処理装置4の情報処理装置制御部30は、候補位置を示す情報を受信する(ステップSJ7)。
図18のフローチャートFJ、及び、フローチャートFKに示すように、携帯端末3の動作モードが車両推進制御モードへ移行した後、情報処理装置4の情報処理装置制御部30、及び携帯端末3の端末制御部20は、協働して車両推進制御処理を実行する(ステップSJ8、ステップSK11)。
出庫時の車両推進制御処理では、駐車時の車両推進制御処理と同様の処理が行われる。なお、情報処理装置制御部30は、ステップSJ7で受信した情報が示す候補位置に対応する自動運転経路情報を、車両駆動制御装置5に出力する。
出庫時の車両推進制御処理では、駐車時の車両推進制御処理と同様の処理が行われる。なお、情報処理装置制御部30は、ステップSJ7で受信した情報が示す候補位置に対応する自動運転経路情報を、車両駆動制御装置5に出力する。
車両自動運転により、車両Sが駐車位置から、選択された候補位置(出庫後停車位置)まで移動し、選択された候補位置で停車することによって、フローチャートFJの車両推進制御処理、及び、フローチャートFKの車両推進制御処理が完了する。車両Sが選択された候補位置で停車した場合、そのことが所定の方法でユーザーに通知される。車外にいるユーザーは、上述した専用のリモートコントローラーを利用して、ドアを開錠することにより、車両Sに搭乗することができる。
ところで、出庫のパターンには、駐車位置に駐車する車両Sの状態に応じて、複数のパターンがある。
端末制御部20は、出庫のパターンに応じて、選択画面GM3における候補位置画像X2、及びスライドユニットSU2の表示態様を変更する。例えば、端末制御部20は、以下の方法で、出庫のパターンに応じて、選択画面GM3における候補位置画像X2、及びスライドユニットSU2の表示態様を変更する。すなわち、事前に、端末記憶部22に、出庫のパターンごとに、出庫のパターンに対応した態様で候補位置画像X2と、スライドユニットSU2とを表示させる画像データを記憶する。
そして、端末制御部20は、選択画面GM3をタッチパネル9に表示させる際、出庫のパターンを特定し、端末記憶部22から、特定した出庫のパターンに対応する画像データを読み出し、必要に応じて画像データを加工し、加工後の画像データを用いて選択画面GM3を表示する。この構成によれば、予め用意された画像データを使用して選択画面GM3を表示することが可能となるため、処理効率を向上できる。出庫のパターンとしては、例えば、以下の第1パターン~第6パターンがある。
端末制御部20は、出庫のパターンに応じて、選択画面GM3における候補位置画像X2、及びスライドユニットSU2の表示態様を変更する。例えば、端末制御部20は、以下の方法で、出庫のパターンに応じて、選択画面GM3における候補位置画像X2、及びスライドユニットSU2の表示態様を変更する。すなわち、事前に、端末記憶部22に、出庫のパターンごとに、出庫のパターンに対応した態様で候補位置画像X2と、スライドユニットSU2とを表示させる画像データを記憶する。
そして、端末制御部20は、選択画面GM3をタッチパネル9に表示させる際、出庫のパターンを特定し、端末記憶部22から、特定した出庫のパターンに対応する画像データを読み出し、必要に応じて画像データを加工し、加工後の画像データを用いて選択画面GM3を表示する。この構成によれば、予め用意された画像データを使用して選択画面GM3を表示することが可能となるため、処理効率を向上できる。出庫のパターンとしては、例えば、以下の第1パターン~第6パターンがある。
第1パターンは、車両Sが「前進」することによって出庫し、出庫後に車両Sが停車可能な候補位置が、車両Sの前方の位置と、車両Sの前方右側の位置と、車両Sの前方左側の位置との3つ存在するパターンである。例えば、車両Sが、前方に広いスペースがある駐車位置に駐車した状態の場合、出庫のパターンが第1パターンとなる。
図19、及び図20で例示した選択画面GM3は、第1パターンに対応する選択画面GM3である。
図19、及び図20で例示した選択画面GM3は、第1パターンに対応する選択画面GM3である。
第2パターンは、車両Sが「後進」することによって出庫し、出庫後に車両Sが停車可能な候補位置が、車両Sの後方の位置と、車両Sの後方右側の位置と、車両Sの後方左側の位置との3つ存在するパターンである。例えば、車両Sが、後方に広いスペースがある駐車位置に駐車した状態の場合、出庫のパターンが第2パターンとなる。
図21の状態J20は、第2パターンに対応する選択画面GM3を示している。
図21の状態J20は、第2パターンに対応する選択画面GM3を示している。
第3パターンは、車両Sが「前進」することによって出庫し、出庫後に車両Sが停車可能な候補位置が、車両Sの前方右側の位置と、車両Sの前方左側の位置との2つ存在するパターンである。例えば、車両Sが縦列駐車し、車両Sの前方右側と、前方左側とに車両Sが停車可能なスペースがある場合に、出庫のパターンが第3パターンとなる。
図21の状態J21は、第3パターンに対応する選択画面GM3を示している。
図21の状態J21は、第3パターンに対応する選択画面GM3を示している。
第4パターンは、車両Sが「後進」することによって出庫し、出庫後に車両Sが停車可能な候補位置が、車両Sの後方右側の位置と、車両Sの後方左側の位置との2つ存在するパターンである。例えば、車両Sが縦列駐車し、車両Sの後方右側と、後方左側とに車両Sが停車可能なスペースがある場合に、出庫のパターンが第4パターンとなる。
図21の状態J22は、第4パターンに対応する選択画面GM3を示している。
図21の状態J22は、第4パターンに対応する選択画面GM3を示している。
第5パターンは、車両Sが「前進」でも「後進」でも出庫することが可能であり、出庫後に車両Sが停車可能な候補位置が、車両Sの前方右側の位置と、車両Sの前方左側の位置と、車両Sの後方右側の位置と、車両Sの後方左側の位置との4つ存在するパターンである。例えば、車両Sが縦列駐車し、車両Sの前方右側と、前方左側と、後方右側と、後方左側とに車両Sが停車可能なスペースがある場合に、出庫のパターンが第5パターンとなる。
図21の状態J23は、第5パターンに対応する選択画面GM3を示している。
図21の状態J23は、第5パターンに対応する選択画面GM3を示している。
第6パターンは、車両Sが「前進」でも「後進」でも出庫することが可能であり、出庫後に車両Sが停車可能な候補位置が、車両Sの前方の位置と、車両Sの前方右側の位置と、車両Sの前方左側の位置と、車両Sの後方の位置と、車両Sの後方右側の位置と、車両Sの後方左側の位置との6つ存在するパターンである。例えば、車両Sが前方、及び後方に広いスペースがある駐車位置に駐車した状態の場合、出庫のパターンが第6パターンとなる。
図21の状態J24は、第6パターンに対応する選択画面GM3を示している。
図21の状態J24は、第6パターンに対応する選択画面GM3を示している。
ところで、車両Sの候補位置が複数ある場合において、候補位置の中に、障害物の存在や、規制の関係で、実際には車両Sの移動が禁止される候補位置が存在する場合がある。
このような場合、端末制御部20は、選択画面GM3の表示に際し、以下の処理を実行する。すなわち、端末制御部20は、移動が禁止される候補位置に対応するスライドバーBR2に、候補位置への移動が禁止されることを示す画像を表示し、移動が禁止される候補位置に対応するスライドバーBR2に沿ったスライドボタンSB2の移動を禁止する。
このような場合、端末制御部20は、選択画面GM3の表示に際し、以下の処理を実行する。すなわち、端末制御部20は、移動が禁止される候補位置に対応するスライドバーBR2に、候補位置への移動が禁止されることを示す画像を表示し、移動が禁止される候補位置に対応するスライドバーBR2に沿ったスライドボタンSB2の移動を禁止する。
図22の状態J30は、図19の選択画面GM3において、基端PP1から上方左側に向かっての延びるスライドバーBR2に対応する候補位置への移動が禁止される場合に、端末制御部20が表示する選択画面GM3の一例を示している。
図22の状態J30に示すように、選択画面GM3において、移動が禁止される候補位置に対応するスライドバーBR2には、候補位置への移動が禁止されることを示す画像が表示される。さらに、移動が禁止される候補位置に対応する候補位置画像X2にも、移動が禁止されることを示す画像が表示される。
移動が禁止される候補位置が存在する場合に、上記の処理が行われることにより、ユーザーは、移動が禁止される候補位置を的確に認識できる。また、ユーザーが、移動が禁止される候補位置を選択することを防止できる。
図22の状態J30に示すように、選択画面GM3において、移動が禁止される候補位置に対応するスライドバーBR2には、候補位置への移動が禁止されることを示す画像が表示される。さらに、移動が禁止される候補位置に対応する候補位置画像X2にも、移動が禁止されることを示す画像が表示される。
移動が禁止される候補位置が存在する場合に、上記の処理が行われることにより、ユーザーは、移動が禁止される候補位置を的確に認識できる。また、ユーザーが、移動が禁止される候補位置を選択することを防止できる。
なお、移動が禁止される候補位置が存在する場合に、端末制御部20が上記の処理に代えて、以下の処理を実行する構成でもよい。すなわち、端末制御部20は、移動が禁止される候補位置に対応するスライドバーBR2の表示を禁止する。
図22の状態J31は、図19の選択画面GM3において、基端PP1から上方左側に向かっての延びるスライドバーBR2に対応する候補位置への移動が禁止される場合に、端末制御部20が表示する選択画面GM3の一例を示している。
図22の状態J31に示すように、選択画面GM3において、移動が禁止される候補位置に対応するスライドバーBR2は、表示されない。これにより、ユーザーが、移動が禁止される候補位置を選択することを防止できる。
図22の状態J31は、図19の選択画面GM3において、基端PP1から上方左側に向かっての延びるスライドバーBR2に対応する候補位置への移動が禁止される場合に、端末制御部20が表示する選択画面GM3の一例を示している。
図22の状態J31に示すように、選択画面GM3において、移動が禁止される候補位置に対応するスライドバーBR2は、表示されない。これにより、ユーザーが、移動が禁止される候補位置を選択することを防止できる。
<第1の変形例>
次に、第1の変形例について説明する。
上述した実施形態では、出庫時に、スライドユニットSU2により、候補位置のうち、1つの候補位置が選択される構成であった。
この構成について、候補位置画像X2をタッチ操作ボタンとして機能させ、候補位置画像X2をタッチ操作することによって、候補位置を選択できるようにしてもよい。
この場合において、候補位置画像X2が、複数回(例えば、2回。)、連続してタッチ操作された場合に、候補位置の選択が確定する構成とすれば、ユーザーが誤って候補位置画像X2をタッチ操作した場合に、誤って操作された候補位置画像X2に対応する候補位置が選択されることを防止可能である。
なお、候補位置画像X2がタッチ操作されて候補位置が選択された場合に、端末制御部20は、動作モードを車両制御モードに移行して、選択画面GM3に代えて車両制御画面GM2を表示してもよい。また、候補位置画像X2がタッチ操作されて候補位置が選択された場合に、端末制御部20は、動作モードを車両制御モードにすぐには移行せず、選択画面GM3に代えてロック画面GM1を表示し、ロック画面GM1に対して所定の入力があった場合に、動作モードを車両制御モードに移行して、ロック画面GM1に代えて、車両制御画面GM2を表示してもよい。
次に、第1の変形例について説明する。
上述した実施形態では、出庫時に、スライドユニットSU2により、候補位置のうち、1つの候補位置が選択される構成であった。
この構成について、候補位置画像X2をタッチ操作ボタンとして機能させ、候補位置画像X2をタッチ操作することによって、候補位置を選択できるようにしてもよい。
この場合において、候補位置画像X2が、複数回(例えば、2回。)、連続してタッチ操作された場合に、候補位置の選択が確定する構成とすれば、ユーザーが誤って候補位置画像X2をタッチ操作した場合に、誤って操作された候補位置画像X2に対応する候補位置が選択されることを防止可能である。
なお、候補位置画像X2がタッチ操作されて候補位置が選択された場合に、端末制御部20は、動作モードを車両制御モードに移行して、選択画面GM3に代えて車両制御画面GM2を表示してもよい。また、候補位置画像X2がタッチ操作されて候補位置が選択された場合に、端末制御部20は、動作モードを車両制御モードにすぐには移行せず、選択画面GM3に代えてロック画面GM1を表示し、ロック画面GM1に対して所定の入力があった場合に、動作モードを車両制御モードに移行して、ロック画面GM1に代えて、車両制御画面GM2を表示してもよい。
<第2の変形例>
次に、第2の変形例について説明する。
上述した実施形態では、駐車時の処理について、駐車位置が1つであることを前提として処理を説明した。しかしながら、複数の駐車位置の候補の中から1つの駐車位置を選択し、選択した駐車位置の候補を、車両Sを駐車させる位置として決定する構成でもよい。
この場合、端末制御部20は、ロック画面GM1をタッチパネル9に表示させる前に、選択画面GM3と同様の画面をタッチパネル9に表示し、タッチパネル9に対する操作に基づいて、駐車位置を決定すればよい。
次に、第2の変形例について説明する。
上述した実施形態では、駐車時の処理について、駐車位置が1つであることを前提として処理を説明した。しかしながら、複数の駐車位置の候補の中から1つの駐車位置を選択し、選択した駐車位置の候補を、車両Sを駐車させる位置として決定する構成でもよい。
この場合、端末制御部20は、ロック画面GM1をタッチパネル9に表示させる前に、選択画面GM3と同様の画面をタッチパネル9に表示し、タッチパネル9に対する操作に基づいて、駐車位置を決定すればよい。
以上説明したように、本実施形態に係る携帯端末3(端末)は、筐体8と、筐体8に設けられたタッチパネル9(表示パネル)と、筐体8の状態を検出する筐体状態検出部23と、端末制御部20とを備える。端末制御部20は、車両Sに設けられたカメラの撮影結果に基づく撮影データを取得し、取得した撮影データに基づく画像をタッチパネル9に表示させると共に、筐体状態検出部23により検出された筐体8の状態に応じて、タッチパネル9に表示させる画像を切り替える。
この構成によれば、ユーザーは、タッチパネル9に表示される撮影画像データに基づく画像を、携帯端末3の筐体8の状態を変化させるという簡易な操作を行うことにより、切り替えることができ、車両Sに設けられたカメラの撮影結果に基づく画像を携帯端末3により表示する際に、ユーザーの利便性を向上できる。
この構成によれば、ユーザーは、タッチパネル9に表示される撮影画像データに基づく画像を、携帯端末3の筐体8の状態を変化させるという簡易な操作を行うことにより、切り替えることができ、車両Sに設けられたカメラの撮影結果に基づく画像を携帯端末3により表示する際に、ユーザーの利便性を向上できる。
また、本実施形態では、端末制御部20は、筐体状態検出部23により筐体8の向きが第1の向きとなったことが検出された場合と、筐体8の向きが第1の向きとは異なる第2の向きとなったことが検出された場合とで、タッチパネル9に表示させる画像を切り替える。
この構成によれば、ユーザーは、携帯端末3の筐体の向きを、第1の向きか、第2の向きに切り替えるという簡易な操作を行うことにより、タッチパネル9に表示される撮影画像データに基づく画像を切り替えることができ、車両Sに設けられたカメラの撮影結果に基づく画像を携帯端末3により表示する際に、ユーザーの利便性を向上できる。
この構成によれば、ユーザーは、携帯端末3の筐体の向きを、第1の向きか、第2の向きに切り替えるという簡易な操作を行うことにより、タッチパネル9に表示される撮影画像データに基づく画像を切り替えることができ、車両Sに設けられたカメラの撮影結果に基づく画像を携帯端末3により表示する際に、ユーザーの利便性を向上できる。
また、本実施形態では、筐体8は、長方形状の正面8aを有する板状の部材である。タッチパネル9は、筐体8の正面8aに設けられる。第1の向きは、筐体8の正面8aの長辺の方向が、鉛直方向に沿った状態となる向きであり、第2の向きは、筐体8の正面8aの長辺の方向が、鉛直方向と直交する方向に沿った状態となる向きである。
この構成によれば、ユーザーは、携帯端末3の筐体8の向きを、「筐体8の正面8aの長辺の方向が、鉛直方向に沿った状態となる向き」か、「筐体8の正面8aの長辺の方向が、鉛直方向と直交する方向に沿った状態となる向き」に切り替えるという簡易な操作を行うことにより、タッチパネル9に表示される撮影画像データに基づく画像を切り替えることができ、車両Sに設けられたカメラの撮影結果に基づく画像を携帯端末3により表示する際に、ユーザーの利便性を向上できる。
この構成によれば、ユーザーは、携帯端末3の筐体8の向きを、「筐体8の正面8aの長辺の方向が、鉛直方向に沿った状態となる向き」か、「筐体8の正面8aの長辺の方向が、鉛直方向と直交する方向に沿った状態となる向き」に切り替えるという簡易な操作を行うことにより、タッチパネル9に表示される撮影画像データに基づく画像を切り替えることができ、車両Sに設けられたカメラの撮影結果に基づく画像を携帯端末3により表示する際に、ユーザーの利便性を向上できる。
また、本実施形態では、端末制御部20は、筐体状態検出部23により筐体8の向きが第1の向きとなったことが検出され場合、撮影データに基づく画像として、車両Sを俯瞰した画像である俯瞰画像G1をタッチパネル9に表示させ、筐体状態検出部23により筐体8の向きが第2の向きとなったことが検出された場合、撮影データに基づく画像として、カメラにより撮影された車外の画像である車外画像G2をタッチパネル9に表示させる。
この構成によれば、ユーザーは、携帯端末3の筐体8の向きを変更するという簡易な操作を行うことにより、タッチパネル9に表示される画像を、俯瞰画像G1と、車外画像G2との間で切り替えることができる。
この構成によれば、ユーザーは、携帯端末3の筐体8の向きを変更するという簡易な操作を行うことにより、タッチパネル9に表示される画像を、俯瞰画像G1と、車外画像G2との間で切り替えることができる。
また、本実施形態では、車両Sには、車外を撮影する複数の車外撮影用カメラが設けられる。端末制御部20は、筐体状態検出部23により筐体8の向きが第2の向きとなったことが検出された場合、車両Sの状態に対応した所定の優先順位に従って、複数の車外撮影用カメラのうち、1つの車外撮影用カメラを選択し、選択した車外撮影用カメラの撮影結果に基づく車外画像G2をタッチパネル9に表示させる。
この構成によれば、ユーザーが必要としている可能性が高い車外画像G2を、タッチパネル9に表示させることができ、ユーザーの利便性が高い。
この構成によれば、ユーザーが必要としている可能性が高い車外画像G2を、タッチパネル9に表示させることができ、ユーザーの利便性が高い。
ここで、所定の優先順位は、例えば、車両Sの進行方向を撮影可能な車外撮影用カメラほど高い順位となる優先順位である。
この構成によれば、ユーザーが必要としている可能性が高い車外画像G2を、タッチパネル9に表示させることができ、ユーザーの利便性が高い。
この構成によれば、ユーザーが必要としている可能性が高い車外画像G2を、タッチパネル9に表示させることができ、ユーザーの利便性が高い。
また、所定の優先順位は、例えば、車両Sに近接する物体を撮影可能な車外撮影用カメラほど高い順位となる優先順位である。
この構成によれば、ユーザーが必要としている可能性が高い車外画像G2を、タッチパネル9に表示させることができ、ユーザーの利便性が高い。
この構成によれば、ユーザーが必要としている可能性が高い車外画像G2を、タッチパネル9に表示させることができ、ユーザーの利便性が高い。
また、本実施形態では、端末制御部20は、1の車外撮影用カメラの撮影結果に基づく1の車外画像G2をタッチパネル9に表示させた後、筐体状態検出部23により筐体8が所定の動きをしたことが検出された場合、当該1の車外画像G2に代えて、当該1の車外撮影用カメラとは異なる他の車外撮影用カメラの撮影結果に基づく他の車外画像G2をタッチパネル9に表示させる。
この構成によれば、ユーザーは、筐体8に所定の動きをさせるという簡易な操作を行うことにより、タッチパネル9に表示される車外画像G2を切り替えることができ、ユーザーの利便性が高い。
この構成によれば、ユーザーは、筐体8に所定の動きをさせるという簡易な操作を行うことにより、タッチパネル9に表示される車外画像G2を切り替えることができ、ユーザーの利便性が高い。
また、本実施形態では、複数の車外撮影用カメラは、それぞれ、異なる方向に向かって車外を撮影する。そして、所定の動きは、筐体8の状態が第1の態様で変化する第1の動き、又は、筐体8の状態が第1の態様とは異なる第2の態様で変化する第2の動きのいずれかである。端末制御部20は、筐体状態検出部23により筐体8が第1の動きをしたことが検出された場合、車外撮影用カメラが撮影する方向に応じた第1の順番で車外画像G2を切り替える。端末制御部20は、筐体状態検出部23により筐体8が第2の動きをしたことが検出された場合、車外撮影用カメラが撮影する方向に応じた順番であって、第1の順番とは異なる第2の順番で車外画像G2を切り替える。
この構成によれば、ユーザーは、自身が望む順番で、画像を切り替えることができ、ユーザーの利便性が高い。
この構成によれば、ユーザーは、自身が望む順番で、画像を切り替えることができ、ユーザーの利便性が高い。
また、端末制御部20は、タッチパネル9に撮影データに基づく画像を表示させると共に、撮影データに基づく画像と重畳して、タッチ操作可能な推進制御ボタンQB(操作ボタン)を表示させ、タッチパネル9に表示させる画像を切り替えた場合も、推進制御ボタンQBの表示を維持する。端末制御部20は、推進制御ボタンQBがタッチ操作されている間、車両Sに設けられた情報処理装置4に、車両Sの推進を指示する推進指示信号を送信する。
この構成によれば、ユーザーは、推進制御ボタンQBを操作して車両Sの推進を制御しつつ、タッチパネル9に表示させる画像を切り替えることができる。
この構成によれば、ユーザーは、推進制御ボタンQBを操作して車両Sの推進を制御しつつ、タッチパネル9に表示させる画像を切り替えることができる。
また、以上説明したように、本実施形態に係る携帯端末3は、画像を表示すると共に、タッチ操作を受け付けるタッチパネル9と、端末制御部20とを有する。端末制御部20は、タッチ操作可能な推進制御ボタンQBが表示された車両制御画面GM2をタッチパネル9に表示させると共に、車両制御画面GM2に表示された推進制御ボタンQBがタッチ操作された後、タッチ操作の位置が移動した場合、タッチ操作の位置の移動に追従して推進制御ボタンQBの位置を移動させて推進制御ボタンQBがタッチ操作された状態を維持する。端末制御部20は、車両制御画面GM2に表示された推進制御ボタンQBがタッチ操作されている間、車両Sに設けられた情報処理装置4に、車両Sの推進を指示する推進指示信号を送信し、推進制御ボタンQBに対するタッチ操作の解除に応じて、推進指示信号の送信を停止する。
この構成によれば、ユーザーが推進制御ボタンQBをタッチ操作した後、タッチ操作する指の位置がずれた場合であっても、推進制御ボタンQBがタッチ操作された状態が維持される。このため、ユーザーは、推進制御ボタンQBを操作する際、特定の位置をピンポイントでタッチ操作し続ける必要がない。従って、ユーザーが携帯端末3のタッチパネル9を操作して車両Sの推進を制御する場合に、的確に操作を行えるようにすることができる。
この構成によれば、ユーザーが推進制御ボタンQBをタッチ操作した後、タッチ操作する指の位置がずれた場合であっても、推進制御ボタンQBがタッチ操作された状態が維持される。このため、ユーザーは、推進制御ボタンQBを操作する際、特定の位置をピンポイントでタッチ操作し続ける必要がない。従って、ユーザーが携帯端末3のタッチパネル9を操作して車両Sの推進を制御する場合に、的確に操作を行えるようにすることができる。
また、本実施形態では、端末制御部20は、車両制御画面GM2に表示された推進制御ボタンQBに対するタッチ操作が解除された場合、タッチ操作が解除されたときの推進制御ボタンQBの位置に、継続して、推進制御ボタンQBを表示する。
この構成によれば、ユーザーが再び、推進制御ボタンQBをタッチ操作する際に、推進制御ボタンQBが、ユーザーがタッチ操作しやすい位置にあるため、ユーザーの利便性を向上できる。
この構成によれば、ユーザーが再び、推進制御ボタンQBをタッチ操作する際に、推進制御ボタンQBが、ユーザーがタッチ操作しやすい位置にあるため、ユーザーの利便性を向上できる。
なお、上記構成について、端末制御部20は、車両制御画面GM2に表示された推進制御ボタンQBに対するタッチ操作が解除された場合、車両制御画面GM2における所定の位置に、推進制御ボタンQBを表示してもよい。
この構成によれば、ユーザーが再び、推進制御ボタンQBをタッチ操作する際に、推進制御ボタンQBが、ユーザーがタッチ操作しやすい位置にあるため、ユーザーの利便性を向上できる。
この構成によれば、ユーザーが再び、推進制御ボタンQBをタッチ操作する際に、推進制御ボタンQBが、ユーザーがタッチ操作しやすい位置にあるため、ユーザーの利便性を向上できる。
また、本実施形態では、端末制御部20は、タッチパネル9に、スライドバーBR1と、スライドバーBR1の一端に位置し、スワイプ操作に応じてスライドバーBR1に沿って移動する一方、スワイプ操作の解除に応じて、スライドバーBR1の一端に移動するスライドボタンSB1とが表示されたロック画面GM1を表示させる。端末制御部20は、スワイプ操作により、スライドボタンSB1がスライドバーBR1の他端に、所定の期間、位置した場合、タッチパネル9に表示させる画面を、ロック画面GM1から車両制御画面GM2へ切り替えると共に、スライドバーBR1の他端に位置するスライドボタンSB1を推進制御ボタンQBに切り替えて推進制御ボタンQBとして機能させる。
この構成によれば、ユーザーは、簡易な作業を行って、スライドボタンSB1をスワイプ操作するという簡易な作業を行って、ロック画面GM1から車両制御画面GM2へと画面を切り替えることができると共に、車両制御画面GM2へと切り替わった後、推進制御ボタンQBを簡易にタッチ操作できる。
この構成によれば、ユーザーは、簡易な作業を行って、スライドボタンSB1をスワイプ操作するという簡易な作業を行って、ロック画面GM1から車両制御画面GM2へと画面を切り替えることができると共に、車両制御画面GM2へと切り替わった後、推進制御ボタンQBを簡易にタッチ操作できる。
また、本実施形態では、端末制御部20は、推進制御ボタンQBが操作されているときと、推進制御ボタンQBが操作されていないときとで、推進制御ボタンQBを示す画像を変化させる。
この構成によれば、ユーザーは、推進制御ボタンQBがタッチ操作されていること、及び、タッチ操作されていないことを、簡易かつ的確に認識することができる。
この構成によれば、ユーザーは、推進制御ボタンQBがタッチ操作されていること、及び、タッチ操作されていないことを、簡易かつ的確に認識することができる。
また、本実施形態では、端末制御部20は、車両制御画面GM2を表示している間、車両Sに設けられたカメラの撮影結果に基づく撮影データを取得し、取得した撮影データに基づく画像をタッチパネル9に表示させると共に、撮影データに基づく画像と重畳して推進制御ボタンQBを表示させる。端末制御部20は、筐体状態検出部23が検出した筐体8の状態に応じて、タッチパネル9に表示させる画像を切り替える一方、タッチパネル9に表示させる画像を切り替えた場合も、推進制御ボタンQBの表示を維持する。
この構成によれば、ユーザーは、推進制御ボタンQBを操作して車両Sの推進を制御しつつ、タッチパネル9に表示させる画像を切り替えることができる。
この構成によれば、ユーザーは、推進制御ボタンQBを操作して車両Sの推進を制御しつつ、タッチパネル9に表示させる画像を切り替えることができる。
また、本実施形態では、端末制御部20は、筐体状態検出部23により筐体8の向きが第1の向きとなったことが検出され場合、撮影データに基づく画像として、車両Sを俯瞰した画像である俯瞰画像G1をタッチパネル9に表示させ、筐体状態検出部23により筐体8の向きが第1の向きとは異なる第2の向きとなったことが検出された場合、撮影データに基づく画像として、車外撮影用カメラにより撮影された車外の画像である車外画像G2をタッチパネル9に表示させる。
この構成によれば、ユーザーは、携帯端末3の筐体8の向きを変更するという簡易な操作を行うことにより、タッチパネル9に表示される画像を、俯瞰画像G1と、車外画像G2との間で切り替えることができる。
この構成によれば、ユーザーは、携帯端末3の筐体8の向きを変更するという簡易な操作を行うことにより、タッチパネル9に表示される画像を、俯瞰画像G1と、車外画像G2との間で切り替えることができる。
また、以上説明したように、本実施形態に係る携帯端末3の端末制御部20は、車両Sの現在の位置を示す現在位置画像X1、車両Sが現在の位置から移動して停車する位置の候補である候補位置を示す1又は複数の候補位置画像X2、基端PP1から候補位置画像X2のそれぞれに向かって延在するスライドバーBR2、及び基端PP1に位置し、スワイプ操作に応じてスライドバーBR2に沿って移動するスライドボタンSB2が表示された選択画面GM3を表示し、スライドボタンSBの移動に基づいて、候補位置の中から、車両Sが停車する位置を決定する。
この構成によれば、ユーザーは、車両Sを停車させる位置を決定する操作を的確に行うことができる。
この構成によれば、ユーザーは、車両Sを停車させる位置を決定する操作を的確に行うことができる。
また、本実施形態では、端末制御部20は、スライドボタンSB2が、1のスライドバーBR2の先端に、所定の期間、位置した場合、当該1のスライドバーBR2に対応する候補位置を、車両Sが停車する位置として決定する。
この構成によれば、ユーザーの誤った操作で車両Sが停車する位置が決定されることを防止しできる。
この構成によれば、ユーザーの誤った操作で車両Sが停車する位置が決定されることを防止しできる。
また、本実施形態では、端末制御部20は、車両Sの現在の位置から、候補位置に至るまでの軌道を示す軌道画像X3を選択画面GM3に表示する。
この構成によれば、ユーザーは、選択画面GM3を参照することにより、車両Sの現在の位置から、候補位置に至るまでの軌道を的確に認識できる。
この構成によれば、ユーザーは、選択画面GM3を参照することにより、車両Sの現在の位置から、候補位置に至るまでの軌道を的確に認識できる。
また、本実施形態では、端末制御部20は、候補位置への車両Sの移動が禁止される場合は、移動が禁止される候補位置に対応するスライドバーBR2に、候補位置への移動が禁止されることを示す画像を表示し、移動が禁止される候補位置に対応するスライドバーBR2に沿ったスライドボタンSB2の移動を禁止する。
この構成によれば、ユーザーが移動が禁止される候補位置を選択することを防止できる。
この構成によれば、ユーザーが移動が禁止される候補位置を選択することを防止できる。
上記構成について、端末制御部20は、候補位置への車両Sの移動が禁止される場合は、移動が禁止される候補位置に対応するスライドバーBR2の表示を禁止してもよい。
この構成によれば、ユーザーが移動が禁止される候補位置を選択することを防止できる。
この構成によれば、ユーザーが移動が禁止される候補位置を選択することを防止できる。
また、本実施形態では、端末制御部20は、車両Sが停車する位置を決定した場合、タッチパネル9に表示させる画面を、前記選択画面GM3から車両制御画面GM2へと切り替えると共に、スライドボタンSBを、タッチ操作可能な操作ボタンに切り替える。端末制御部20は、車両制御画面GM2に表示された推進制御ボタンQBがタッチ操作されている間、車両Sに設けられた情報処理装置4に、車両Sの推進を指示する推進指示信号を送信し、推進制御ボタンQBに対するタッチ操作の解除に応じて、推進指示信号の送信を停止する。
この構成によれば、ユーザーは、的確に車両Sの推進を制御できる。
この構成によれば、ユーザーは、的確に車両Sの推進を制御できる。
また、本実施形態では、端末制御部20は、推進制御ボタンQBが操作されているときと、推進制御ボタンQBが操作されていないときとで、推進制御ボタンQBを示す画像を変化させる。
この構成によれば、ユーザーは、推進制御ボタンQBがタッチ操作されていること、及び、タッチ操作されていないことを、簡易かつ的確に認識することができる。
この構成によれば、ユーザーは、推進制御ボタンQBがタッチ操作されていること、及び、タッチ操作されていないことを、簡易かつ的確に認識することができる。
また、本実施形態では、車両Sの現在の位置は、車両Sが、現在、駐車している駐車位置であり、候補位置は、車両Sが駐車位置から出庫して停車する出庫後停車位置である。
この構成によれば、ユーザーは、出庫に際し、的確な操作を行って、出庫後停車位置を選択できる。
この構成によれば、ユーザーは、出庫に際し、的確な操作を行って、出庫後停車位置を選択できる。
また、変形例で説明したように、車両Sの現在の位置は、駐車位置に駐車する前の車両Sが停車している駐車前位置であり、候補位置は、車両Sが駐車する駐車位置であってもよい。
この構成によれば、ユーザーは、駐車に際し、的確な操作を行って、車両Sを駐車させる駐車位置を選択できる。
この構成によれば、ユーザーは、駐車に際し、的確な操作を行って、車両Sを駐車させる駐車位置を選択できる。
また、変形例で説明したように、携帯端末3の端末制御部20は、車両Sの現在の位置を示す現在位置画像X1、及び車両Sが現在の位置から移動して停車する位置の候補である候補位置を示す1又は複数の候補位置画像X2が表示された選択画面GM3を表示し、候補位置画像X2に対する操作に基づいて、候補位置の中から、車両Sが停車する位置を決定してもよい。
この構成によれば、ユーザーは、車両Sを停車させる位置を決定する操作を的確に行うことができる。
この構成によれば、ユーザーは、車両Sを停車させる位置を決定する操作を的確に行うことができる。
また、以上説明したように、本実施形態に係る携帯端末3の端末制御部20は、第1モードの場合、情報処理装置4から、車両Sを俯瞰した俯瞰画像G1、及び車両Sに設けられたカメラにより撮影された車外画像G2を含む合成画像の合成画像データを受信し、筐体状態検出部23により筐体8の向きが第1の向きとなったことが検出された場合、合成画像データに基づいて俯瞰画像G1をタッチパネル9に表示させ、筐体状態検出部23により筐体8の向きが第1の向きとは異なる第2の向きとなったことが検出された場合、合成画像データに基づいて車外画像G2をタッチパネル9に表示させる。
この構成によれば、携帯端末3は、車両Sに設けられたカメラの撮影結果に基づく画像を表示する際に、適切な態様で画像を表示することができ、ユーザーの利便性を向上できる。
この構成によれば、携帯端末3は、車両Sに設けられたカメラの撮影結果に基づく画像を表示する際に、適切な態様で画像を表示することができ、ユーザーの利便性を向上できる。
また、本実施形態では、端末制御部20は、第1モードの場合、筐体状態検出部23により筐体8の向きが第1の向きとなったことが検出された場合、合成画像データから、俯瞰画像G1に対応する俯瞰画像データを抽出し、抽出した俯瞰画像データに基づいて俯瞰画像G1をタッチパネル9に表示させる。端末制御部20は、筐体状態検出部23により筐体8の向きが第2の向きとなったことが検出された場合、合成画像データから、車外画像G2に対応する車外画像データを抽出し、抽出した車外画像データに基づいて車外画像G2をタッチパネル9に表示させる。
この構成によれば、端末制御部20は、情報処理装置4から受信する合成画像データに基づいて、適切に、俯瞰画像G1、及び、車外画像G2を表示させることができる。
この構成によれば、端末制御部20は、情報処理装置4から受信する合成画像データに基づいて、適切に、俯瞰画像G1、及び、車外画像G2を表示させることができる。
また、本実施形態では、筐体8は、長方形状の正面8aを有する板状の部材であり、タッチパネル9は、筐体8の正面8aに設けられ、俯瞰画像G1は、正面8a視したときに、長辺が縦方向に延在する長方形状の画像であり、車外画像G2は、正面8a視したときに、長辺が横方向に延在する長方形状の画像であり、前記第1の向きは、筐体8の正面8aの長辺の方向が、鉛直方向に沿った状態となる向きであり、前記第2の向きは、筐体8の正面8aの長辺の方向が、鉛直方向と直交する方向に沿った状態となる向きである。
この構成によれば、端末制御部20は、筐体8の形状を踏まえ、筐体8の向きに応じて、筐体8の向きに適合した適切な画像を表示させることができる。
この構成によれば、端末制御部20は、筐体8の形状を踏まえ、筐体8の向きに応じて、筐体8の向きに適合した適切な画像を表示させることができる。
また、本実施形態では、情報処理装置4の情報処理装置制御部30は、第2モードにおいて、携帯端末3の筐体8の状態を示す情報を取得し、取得した情報に基づいて携帯端末3の筐体8の向きが第1の向きとなったことを検出した場合、合成画像データから俯瞰画像G1に対応する俯瞰画像データを抽出し、抽出した俯瞰画像データを携帯端末3に送信し、取得した情報に基づいて携帯端末3の筐体8の向きが第1の向きとは異なる第2の向きとなったことを検出した場合、合成画像データから、車外画像G2に対応する車外画像データを抽出し、抽出した車外画像データを携帯端末3に送信する。
この構成によれば、情報処理装置4は、携帯端末3に、適切な態様で画像を表示させることができ、ユーザーの利便性を向上できる。
この構成によれば、情報処理装置4は、携帯端末3に、適切な態様で画像を表示させることができ、ユーザーの利便性を向上できる。
なお、上述した実施の形態は、あくまでも本発明の一態様を示すものであり、本発明の範囲内で任意に変形および応用が可能である。
例えば、携帯端末3の処理として説明した処理について、携帯端末3が、携帯端末3と通信可能な外部の装置(情報処理装置4を含む。)と協働して実行する構成でもよい。同様に、情報処理装置4の処理として説明した処理について、情報処理装置4が、情報処理装置4と通信可能な外部の装置(携帯端末3を含む。)と協働して実行する構成でもよい。
例えば、図を用いて説明した機能ブロックは、本願発明を理解容易にするために、各装置の機能構成を主な処理内容に応じて分類して示した概略図である。各装置の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、1つの構成要素がさらに多くの処理を実行するように分類することもできる。また、各構成要素の処理は、1つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。また、各構成要素の処理は、1つのプログラムで実現されてもよいし、複数のプログラムで実現されてもよい。
また、図で示したフローチャートの処理単位は、各装置の処理を理解容易にするために、主な処理内容に応じて分割したものである。処理単位の分割の仕方や名称によって、本願発明が制限されることはない。各装置の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできる。また、1つの処理単位がさらに多くの処理を含むように分割することもできる。また、同様の処理が行えれば、上記のフローチャートの処理順序も、図示した例に限られるものではない。
例えば、携帯端末3の処理として説明した処理について、携帯端末3が、携帯端末3と通信可能な外部の装置(情報処理装置4を含む。)と協働して実行する構成でもよい。同様に、情報処理装置4の処理として説明した処理について、情報処理装置4が、情報処理装置4と通信可能な外部の装置(携帯端末3を含む。)と協働して実行する構成でもよい。
例えば、図を用いて説明した機能ブロックは、本願発明を理解容易にするために、各装置の機能構成を主な処理内容に応じて分類して示した概略図である。各装置の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、1つの構成要素がさらに多くの処理を実行するように分類することもできる。また、各構成要素の処理は、1つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。また、各構成要素の処理は、1つのプログラムで実現されてもよいし、複数のプログラムで実現されてもよい。
また、図で示したフローチャートの処理単位は、各装置の処理を理解容易にするために、主な処理内容に応じて分割したものである。処理単位の分割の仕方や名称によって、本願発明が制限されることはない。各装置の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできる。また、1つの処理単位がさらに多くの処理を含むように分割することもできる。また、同様の処理が行えれば、上記のフローチャートの処理順序も、図示した例に限られるものではない。
1 情報処理システム
2 車両システム
3 携帯端末(端末)
4 情報処理装置
5 車両駆動制御装置
9 タッチパネル(表示パネル)
23 筐体状態検出部
30 情報処理装置制御部
CA1 前方撮影用カメラ(カメラ)
CA2 前方右側撮影用カメラ(カメラ)
CA3 側方右側撮影用カメラ(カメラ)
CA4 後方右側撮影用カメラ(カメラ)
CA5 後方撮影用カメラ(カメラ)
CA6 後方左側撮影用カメラ(カメラ)
CA7 側方左側撮影用カメラ(カメラ)
CA8 前方左側撮影用カメラ(カメラ)
G1 俯瞰画像
G2 車外画像
G 合成画像
GM1 ロック画面
GM2 車両制御画面
GM3 選択画面
2 車両システム
3 携帯端末(端末)
4 情報処理装置
5 車両駆動制御装置
9 タッチパネル(表示パネル)
23 筐体状態検出部
30 情報処理装置制御部
CA1 前方撮影用カメラ(カメラ)
CA2 前方右側撮影用カメラ(カメラ)
CA3 側方右側撮影用カメラ(カメラ)
CA4 後方右側撮影用カメラ(カメラ)
CA5 後方撮影用カメラ(カメラ)
CA6 後方左側撮影用カメラ(カメラ)
CA7 側方左側撮影用カメラ(カメラ)
CA8 前方左側撮影用カメラ(カメラ)
G1 俯瞰画像
G2 車外画像
G 合成画像
GM1 ロック画面
GM2 車両制御画面
GM3 選択画面
Claims (8)
- 画像を表示すると共に、タッチ操作を受け付けるタッチパネルと、
タッチ操作可能な操作ボタンが表示された車両制御画面を前記タッチパネルに表示させると共に、前記車両制御画面に表示された前記操作ボタンがタッチ操作された後、タッチ操作の位置が移動した場合、タッチ操作の位置の移動に追従して前記操作ボタンの位置を移動させて前記操作ボタンがタッチ操作された状態を維持し、
前記車両制御画面に表示された前記操作ボタンがタッチ操作されている間、車両に設けられた情報処理装置に、前記車両の推進を指示する推進指示信号を送信し、前記操作ボタンに対するタッチ操作の解除に応じて、前記推進指示信号の送信を停止する端末制御部と、
を備えることを特徴とする端末。 - 前記端末制御部は、
前記車両制御画面に表示された前記操作ボタンに対するタッチ操作が解除された場合、タッチ操作が解除されたときの前記操作ボタンの位置に、継続して、前記操作ボタンを表示する
ことを特徴とする請求項1に記載の端末。 - 前記端末制御部は、
前記車両制御画面に表示された前記操作ボタンに対するタッチ操作が解除された場合、前記車両制御画面における所定の位置に、前記操作ボタンを表示する
ことを特徴とする請求項1に記載の端末。 - 前記端末制御部は、
前記タッチパネルに、スライドバーと、前記スライドバーの一端に位置し、スワイプ操作に応じて前記スライドバーに沿って移動する一方、スワイプ操作の解除に応じて、前記スライドバーの一端に移動するスライドボタンとが表示されたロック画面を表示させ、
スワイプ操作により、前記スライドボタンが前記スライドバーの他端に、所定の期間、位置した場合、前記タッチパネルに表示させる画面を、前記ロック画面から前記車両制御画面へ切り替えると共に、前記スライドバーの他端に位置する前記スライドボタンを前記操作ボタンに切り替えて前記操作ボタンとして機能させる
ことを特徴とする請求項1から3のいずれか1項に記載の端末。 - 前記端末制御部は、
前記操作ボタンが操作されているときと、前記操作ボタンが操作されていないときとで、前記操作ボタンを示す画像を変化させることを特徴とする請求項1から4のいずれか1項に記載の端末。 - 筐体と、前記筐体の状態を検出する筐体状態検出部と、をさらに備え、
前記端末制御部は、
前記車両制御画面を表示している間、前記車両に設けられたカメラの撮影結果に基づく撮影データを取得し、取得した前記撮影データに基づく画像を前記タッチパネルに表示させると共に、前記撮影データに基づく画像と重畳して前記操作ボタンを表示させ、
前記筐体状態検出部が検出した前記筐体の状態に応じて、前記タッチパネルに表示させる画像を切り替える一方、前記タッチパネルに表示させる画像を切り替えた場合も、前記操作ボタンの表示を維持する
ことを特徴とする請求項1から5のいずれか1項に記載の端末。 - 前記端末制御部は、
前記筐体状態検出部により前記筐体の向きが第1の向きとなったことが検出され場合、前記撮影データに基づく画像として、前記車両を俯瞰した画像である俯瞰画像を前記タッチパネルに表示させ、
前記筐体状態検出部により前記筐体の向きが前記第1の向きとは異なる第2の向きとなったことが検出された場合、前記撮影データに基づく画像として、前記カメラにより撮影された車外の画像である車外画像を前記タッチパネルに表示させる
ことを特徴とする請求項6に記載の端末。 - 画像を表示すると共に、タッチ操作を受け付けるタッチパネルを備える端末の制御方法であって、
タッチ操作可能な操作ボタンが表示された車両制御画面を前記タッチパネルに表示すると共に、前記車両制御画面に表示された前記操作ボタンがタッチ操作された後、タッチ操作の位置が移動した場合、タッチ操作の位置の移動に追従して前記操作ボタンの位置を移動させて前記操作ボタンがタッチ操作された状態を維持し、
前記車両制御画面に表示された前記操作ボタンがタッチ操作されている間、車両に設けられた情報処理装置に、前記車両の推進を指示する推進指示信号を送信し、前記操作ボタンに対するタッチ操作の解除に応じて、前記推進指示信号の送信を停止する
ことを特徴とする端末の制御方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/340,280 US11067978B2 (en) | 2016-12-19 | 2017-12-15 | Terminal and method for controlling terminal |
EP17882294.6A EP3556612B1 (en) | 2016-12-19 | 2017-12-15 | Terminal and method for controlling terminal |
CN201780071900.7A CN110023148B (zh) | 2016-12-19 | 2017-12-15 | 终端、以及终端的控制方法 |
JP2018557735A JP6986518B2 (ja) | 2016-12-19 | 2017-12-15 | 端末、及び端末の制御方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016-245986 | 2016-12-19 | ||
JP2016245986 | 2016-12-19 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018116978A1 true WO2018116978A1 (ja) | 2018-06-28 |
Family
ID=62626602
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/045092 WO2018116978A1 (ja) | 2016-12-19 | 2017-12-15 | 端末、及び端末の制御方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11067978B2 (ja) |
EP (1) | EP3556612B1 (ja) |
JP (1) | JP6986518B2 (ja) |
CN (1) | CN110023148B (ja) |
WO (1) | WO2018116978A1 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200022675A (ko) * | 2018-08-23 | 2020-03-04 | 현대자동차주식회사 | 원격제어장치, 이를 이용한 원격주차보조 시스템 및 그의 제어 방법 |
JP2020083301A (ja) * | 2018-11-19 | 2020-06-04 | アルパイン株式会社 | 移動体用投影装置、携帯端末、プログラム |
CN112141089A (zh) * | 2020-06-24 | 2020-12-29 | 上汽通用五菱汽车股份有限公司 | 可切换泊车模式的智能泊车系统及方法 |
JP2021043523A (ja) * | 2019-09-06 | 2021-03-18 | トヨタ自動車株式会社 | 車両遠隔指示システム |
JP6896178B1 (ja) * | 2019-12-26 | 2021-06-30 | 三菱電機株式会社 | 触覚提示装置、触覚提示つまみ |
WO2022163589A1 (ja) * | 2021-01-26 | 2022-08-04 | 富士フイルム株式会社 | 情報処理装置及び情報処理プログラム |
RU2795911C1 (ru) * | 2019-09-09 | 2023-05-15 | Ниссан Мотор Ко., Лтд. | Способ дистанционного управления транспортным средством и устройство дистанционного управления транспортным средством |
JP2023107662A (ja) * | 2022-01-24 | 2023-08-03 | 本田技研工業株式会社 | 情報端末、制御システム、及び制御方法 |
JP7483426B2 (ja) | 2020-03-16 | 2024-05-15 | フォルシアクラリオン・エレクトロニクス株式会社 | 遠隔操作システム及び操作端末 |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102017214650A1 (de) * | 2017-08-22 | 2019-02-28 | Volkswagen Aktiengesellschaft | Verfahren zum Betreiben eines Kraftfahrzeugs sowie Kraftfahrzeug |
KR102077573B1 (ko) * | 2018-01-31 | 2020-02-17 | 엘지전자 주식회사 | 자동 주차 시스템 및 차량 |
JP7159802B2 (ja) * | 2018-11-15 | 2022-10-25 | トヨタ自動車株式会社 | 車両用電子ミラーシステム |
JP7205236B2 (ja) * | 2019-01-08 | 2023-01-17 | トヨタ自動車株式会社 | リモート走行システム及びリモート走行アプリケーションソフト |
KR20200130883A (ko) | 2019-04-26 | 2020-11-23 | 현대모비스 주식회사 | 주차 지원 장치 및 방법 |
CN110733338B (zh) * | 2019-11-18 | 2021-05-07 | 中国热带农业科学院农业机械研究所 | 一种适用于农用车的手动遥控两用控制装置及其控制方法 |
JP7279622B2 (ja) * | 2019-11-22 | 2023-05-23 | トヨタ自動車株式会社 | 表示装置および表示プログラム |
FR3104792A1 (fr) * | 2019-12-11 | 2021-06-18 | Psa Automobiles Sa | Procédé de guidage d’un véhicule dans une zone de stationnement |
US20230001984A1 (en) * | 2019-12-16 | 2023-01-05 | Magna Electronics Inc. | Vehicular trailering guidance system |
CN111086509B (zh) * | 2019-12-30 | 2021-09-17 | 北汽福田汽车股份有限公司 | 车辆控制方法、装置、存储介质以及车辆 |
US10845943B1 (en) * | 2020-02-14 | 2020-11-24 | Carmax Business Services, Llc | Systems and methods for generating a 360-degree viewing experience |
US11816943B2 (en) * | 2020-07-14 | 2023-11-14 | Carrier Corporation | System and method for visually aided access control |
KR20220012068A (ko) * | 2020-07-22 | 2022-02-03 | 현대모비스 주식회사 | 휴대 단말기의 회전 정보를 이용한 차량 제어 장치 및 그 방법 |
US11618378B2 (en) | 2020-07-23 | 2023-04-04 | Denso International America, Inc. | Methods and systems for guiding an operator of a vehicle during a vehicle-sharing session |
JP7372599B2 (ja) * | 2020-09-15 | 2023-11-01 | トヨタ自動車株式会社 | 車両制御装置 |
CN114374930B (zh) * | 2020-10-16 | 2023-05-16 | 华为技术有限公司 | 消息提示方法、系统、车载终端以及计算机可读存储介质 |
JP2022114063A (ja) * | 2021-01-26 | 2022-08-05 | トヨタ自動車株式会社 | リモート走行システム |
JP7184948B2 (ja) * | 2021-03-19 | 2022-12-06 | 本田技研工業株式会社 | 遠隔操作システム |
CN113183976B (zh) * | 2021-04-30 | 2024-08-13 | 广东以诺通讯有限公司 | 一种汽车系统控制方法 |
CN115334191B (zh) * | 2021-05-10 | 2023-10-20 | 博泰车联网科技(上海)股份有限公司 | 控制方法、存储介质及电子设备 |
US20220382275A1 (en) * | 2021-05-28 | 2022-12-01 | Jaguar Land Rover Limited | Computer readable medium, apparatus, and method for controlling vehicle movement |
JP1736612S (ja) * | 2022-02-24 | 2023-02-13 | ||
CN114537417A (zh) * | 2022-02-27 | 2022-05-27 | 重庆长安汽车股份有限公司 | 一种基于hud和触摸设备的盲操作方法、系统和车辆 |
JP7444915B2 (ja) * | 2022-03-22 | 2024-03-06 | 本田技研工業株式会社 | 情報端末、制御方法、及び制御プログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014193662A (ja) * | 2013-03-28 | 2014-10-09 | Nissan Motor Co Ltd | 駐車支援装置 |
JP2014197267A (ja) * | 2013-03-29 | 2014-10-16 | ブラザー工業株式会社 | 画像表示装置、画像表示方法及び画像表示プログラム |
JP2015054530A (ja) | 2013-09-10 | 2015-03-23 | スズキ株式会社 | 駐車支援システム |
JP2016074285A (ja) * | 2014-10-03 | 2016-05-12 | 本田技研工業株式会社 | 車両遠隔操作システム |
JP2016164726A (ja) * | 2015-03-06 | 2016-09-08 | シャープ株式会社 | 電子機器 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0234624A (ja) | 1988-07-22 | 1990-02-05 | Hitachi Ltd | エポキシ樹脂組成物 |
US7657849B2 (en) * | 2005-12-23 | 2010-02-02 | Apple Inc. | Unlocking a device by performing gestures on an unlock image |
CN102346624A (zh) * | 2010-07-30 | 2012-02-08 | 比亚迪股份有限公司 | 一种移动终端及其控制方法 |
JP2012076483A (ja) | 2010-09-30 | 2012-04-19 | Aisin Seiki Co Ltd | 駐車支援装置 |
JP5472256B2 (ja) | 2011-05-06 | 2014-04-16 | 株式会社デンソー | 車両用表示装置および情報表示システム |
US9417754B2 (en) * | 2011-08-05 | 2016-08-16 | P4tents1, LLC | User interface system, method, and computer program product |
JP6124169B2 (ja) | 2012-06-08 | 2017-05-10 | クラリオン株式会社 | 表示装置 |
JP2014065392A (ja) | 2012-09-25 | 2014-04-17 | Aisin Seiki Co Ltd | 携帯端末、遠隔操作システム、遠隔操作方法、及びプログラム |
JP2014196009A (ja) | 2013-03-29 | 2014-10-16 | パナソニック株式会社 | 駐車支援装置、これに用いられる携帯端末、および、プログラム |
JP6260174B2 (ja) | 2013-09-27 | 2018-01-17 | 日産自動車株式会社 | 監視画像提示システム |
GB2534471A (en) | 2015-12-22 | 2016-07-27 | Daimler Ag | Method for operating a motor vehicle by remote control |
-
2017
- 2017-12-15 JP JP2018557735A patent/JP6986518B2/ja active Active
- 2017-12-15 EP EP17882294.6A patent/EP3556612B1/en active Active
- 2017-12-15 WO PCT/JP2017/045092 patent/WO2018116978A1/ja active Application Filing
- 2017-12-15 US US16/340,280 patent/US11067978B2/en active Active
- 2017-12-15 CN CN201780071900.7A patent/CN110023148B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014193662A (ja) * | 2013-03-28 | 2014-10-09 | Nissan Motor Co Ltd | 駐車支援装置 |
JP2014197267A (ja) * | 2013-03-29 | 2014-10-16 | ブラザー工業株式会社 | 画像表示装置、画像表示方法及び画像表示プログラム |
JP2015054530A (ja) | 2013-09-10 | 2015-03-23 | スズキ株式会社 | 駐車支援システム |
JP2016074285A (ja) * | 2014-10-03 | 2016-05-12 | 本田技研工業株式会社 | 車両遠隔操作システム |
JP2016164726A (ja) * | 2015-03-06 | 2016-09-08 | シャープ株式会社 | 電子機器 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3556612A4 |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102506876B1 (ko) | 2018-08-23 | 2023-03-08 | 현대자동차주식회사 | 원격제어장치, 이를 이용한 원격주차보조 시스템 및 그의 제어 방법 |
KR20200022675A (ko) * | 2018-08-23 | 2020-03-04 | 현대자동차주식회사 | 원격제어장치, 이를 이용한 원격주차보조 시스템 및 그의 제어 방법 |
JP7309497B2 (ja) | 2018-11-19 | 2023-07-18 | アルパイン株式会社 | 移動体用投影装置、携帯端末、プログラム |
JP2020083301A (ja) * | 2018-11-19 | 2020-06-04 | アルパイン株式会社 | 移動体用投影装置、携帯端末、プログラム |
US11703852B2 (en) | 2019-09-06 | 2023-07-18 | Toyota Jidosha Kabushiki Kaisha | Vehicle remote instruction system |
US12066842B2 (en) | 2019-09-06 | 2024-08-20 | Toyota Jidosha Kabushiki Kaisha | Vehicle remote instruction system |
JP2021043523A (ja) * | 2019-09-06 | 2021-03-18 | トヨタ自動車株式会社 | 車両遠隔指示システム |
JP7276023B2 (ja) | 2019-09-06 | 2023-05-18 | トヨタ自動車株式会社 | 車両遠隔指示システム、及び自動運転車両 |
RU2795911C1 (ru) * | 2019-09-09 | 2023-05-15 | Ниссан Мотор Ко., Лтд. | Способ дистанционного управления транспортным средством и устройство дистанционного управления транспортным средством |
JP6896178B1 (ja) * | 2019-12-26 | 2021-06-30 | 三菱電機株式会社 | 触覚提示装置、触覚提示つまみ |
WO2021130971A1 (ja) * | 2019-12-26 | 2021-07-01 | 三菱電機株式会社 | 触覚提示パネル、触覚提示つまみ |
JP7483426B2 (ja) | 2020-03-16 | 2024-05-15 | フォルシアクラリオン・エレクトロニクス株式会社 | 遠隔操作システム及び操作端末 |
CN112141089A (zh) * | 2020-06-24 | 2020-12-29 | 上汽通用五菱汽车股份有限公司 | 可切换泊车模式的智能泊车系统及方法 |
CN112141089B (zh) * | 2020-06-24 | 2022-10-28 | 上汽通用五菱汽车股份有限公司 | 可切换泊车模式的智能泊车系统及方法 |
WO2022163589A1 (ja) * | 2021-01-26 | 2022-08-04 | 富士フイルム株式会社 | 情報処理装置及び情報処理プログラム |
JP7551518B2 (ja) | 2021-01-26 | 2024-09-17 | 富士フイルム株式会社 | 情報処理装置及び情報処理プログラム |
JP2023107662A (ja) * | 2022-01-24 | 2023-08-03 | 本田技研工業株式会社 | 情報端末、制御システム、及び制御方法 |
JP7360483B2 (ja) | 2022-01-24 | 2023-10-12 | 本田技研工業株式会社 | 情報端末、制御システム、及び制御方法 |
JP7543514B2 (ja) | 2022-01-24 | 2024-09-02 | 本田技研工業株式会社 | 情報端末、制御システム、及び制御方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3556612A1 (en) | 2019-10-23 |
EP3556612A4 (en) | 2020-08-05 |
EP3556612B1 (en) | 2022-11-09 |
CN110023148B (zh) | 2022-01-21 |
CN110023148A (zh) | 2019-07-16 |
US11067978B2 (en) | 2021-07-20 |
JPWO2018116978A1 (ja) | 2019-10-24 |
JP6986518B2 (ja) | 2021-12-22 |
US20200041992A1 (en) | 2020-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018116978A1 (ja) | 端末、及び端末の制御方法 | |
JP6801787B2 (ja) | 駐車支援方法及び駐車支援装置 | |
US20180027179A1 (en) | Work vehicle and image displaying method for work vehicle | |
JP6769860B2 (ja) | 端末、及び端末の制御方法 | |
JP4988499B2 (ja) | 画像生成装置及び画像生成プログラム | |
JP2007156756A (ja) | 車車間通信システム | |
JP7218172B2 (ja) | 車載処理装置、及び車載処理装置の制御方法 | |
JP2009116586A (ja) | タッチ式操作入力装置 | |
CN112124092B (zh) | 驻车辅助系统 | |
JP4802686B2 (ja) | 車車間通信システム | |
JP2019144756A (ja) | 車両遠隔操作装置、車両遠隔操作システム及び車両遠隔操作方法 | |
CN115123281A (zh) | 图像显示系统 | |
JP2020192877A (ja) | 制御装置、制御方法、およびプログラム | |
JP7009436B2 (ja) | 車両用表示装置及び駐車支援システム | |
JP6831505B2 (ja) | 端末、端末の制御方法、情報処理装置、及び情報処理装置の制御方法 | |
JP2021079880A (ja) | 車両制御装置、車両、車両制御装置の動作方法およびプログラム | |
JP6831504B2 (ja) | 端末、及び端末の制御方法 | |
WO2022210172A1 (ja) | 車両用表示システム、車両用表示方法、及び車両用表示プログラム | |
JP4725310B2 (ja) | 車車間通信システム | |
CN115195767A (zh) | 图像显示系统 | |
KR101856255B1 (ko) | 내비게이션 디스플레이 장치 | |
CN112977417B (zh) | 驻车辅助系统 | |
US20240109415A1 (en) | Control device and moving body | |
JP2023097031A (ja) | 制御装置、及び移動体 | |
CN116890640A (zh) | 控制装置以及移动体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17882294 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2018557735 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2017882294 Country of ref document: EP |