WO2019058611A1 - 携帯端末及び遠隔操作方法 - Google Patents

携帯端末及び遠隔操作方法 Download PDF

Info

Publication number
WO2019058611A1
WO2019058611A1 PCT/JP2018/012626 JP2018012626W WO2019058611A1 WO 2019058611 A1 WO2019058611 A1 WO 2019058611A1 JP 2018012626 W JP2018012626 W JP 2018012626W WO 2019058611 A1 WO2019058611 A1 WO 2019058611A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
distance
unit
image
portable terminal
Prior art date
Application number
PCT/JP2018/012626
Other languages
English (en)
French (fr)
Inventor
山口　太一
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to DE112018005318.0T priority Critical patent/DE112018005318T5/de
Publication of WO2019058611A1 publication Critical patent/WO2019058611A1/ja
Priority to US16/806,025 priority patent/US11520328B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R99/00—Subject matter not provided for in other groups of this subclass
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Definitions

  • the present disclosure relates to a mobile terminal and a remote control method for remotely controlling a vehicle by a user of the vehicle.
  • a vehicle searches for electronic keys present in the vicinity, and if an electronic key is found, it is authenticated whether the electronic key is a legitimate electronic key. As a result, when the electronic key is legitimate, it is determined that the user of the vehicle is in the vicinity, and the vehicle receives remote control from the outside.
  • the present disclosure has been made in view of the above-mentioned point, and a portable terminal and a remote terminal capable of remotely moving the vehicle using the portable terminal even if the user of the vehicle does not carry the electronic key
  • the purpose is to provide an operation method.
  • a portable terminal is a portable terminal which can be moved by remote control by being carried by a user of the vehicle and transmitting an operation signal according to the operation of the user to the vehicle.
  • An image acquisition unit connected to an imaging unit for imaging the vehicle and acquiring a captured image from the imaging unit; a distance information acquisition unit for acquiring distance information on a distance to the vehicle based on the captured image; A determination unit that determines based on distance information whether or not the distance to the vehicle is within a predetermined allowable distance, and when it is determined that the distance to the vehicle is within the allowable distance, toward the vehicle, And an operation signal transmission unit that transmits an operation signal.
  • a remote control method is a remote control method for moving a vehicle by remote control using a portable terminal carried by a user of the vehicle, which includes an imaging unit mounted on the portable terminal. Acquires a photographed image obtained by photographing a vehicle, acquires distance information on the distance to the vehicle based on the photographed image, and determines based on the distance information whether the distance to the vehicle is within a predetermined allowable distance. And a remote control method including transmitting an operation signal according to the user's operation to the vehicle when it is determined that the distance to the vehicle is within an allowable distance.
  • the operation signal is not transmitted from the portable terminal to the vehicle, so that the vehicle receives the operation signal from the portable terminal. Is nothing but that the portable terminal exists within an allowable distance from the vehicle.
  • the allowable distance from the portable terminal to the vehicle is acquired based on the captured image, it is less susceptible to disturbances and the like than when acquired based on the radio wave intensity etc. Therefore, the portable terminal It can be judged with high reliability whether or not exists within the allowable distance from the vehicle. As a result, even if the user of the vehicle does not carry the electronic key, if the user carries the portable terminal for remotely operating the vehicle, the situation in which the vehicle is remotely operated from a distance further than the allowable distance is avoided. It becomes possible.
  • FIG. 1 is a view for explaining the situation where the vehicle is moved by remote control in the mobile terminal of the present embodiment
  • FIG. 2 is a diagram for explaining the general internal structure of the portable terminal
  • FIG. 3 is a view for explaining an example of the screen display of the portable terminal when remotely operating the vehicle
  • FIG. 4 is a view for explaining an example of a situation where remote control is prohibited
  • FIG. 5 is a flowchart in the step of determining whether to start the vehicle remote control process
  • FIG. 6 is a flowchart at the operation execution stage of the vehicle remote control process
  • FIG. 7 is a view for explaining the rough internal structure of a portable terminal of another embodiment
  • FIG. 8 is a flowchart of the start possibility determination step in the case of the internal structure of FIG. 7
  • FIG. 9 is a view for explaining a screen display example of still another embodiment.
  • FIG. 1 shows a state in which the vehicle 1 is moving toward one parking frame 3 of the plurality of partitioned parking frames in order to park the vehicle 1 from above.
  • the user 2 of the vehicle 1 goes out of the vehicle and is around the vehicle 1 and remotely controls the vehicle 1 with the portable terminal 100.
  • the vehicle 1 is moved to the position indicated by the virtual line 1 and parked in the parking frame 3 by being moved backward while turning left by remote control of the user 2.
  • the portable terminal 100 of the present embodiment when it is in the vicinity of the vehicle 1, it can be operated, but when it is far from the vehicle 1, it can not be operated.
  • FIG. 2 shows a rough internal structure of the portable terminal 100 of the present embodiment.
  • the portable terminal 100 includes an imaging unit 101, an image acquisition unit 102, an image display unit 103, a display device 104, a regular vehicle determination unit 105, a vehicle identification information storage unit 106, and distance information acquisition.
  • Unit 107, vehicle size information storage unit 108, determination unit 109, operation signal transmission unit 110, operation content detection unit 111, operation unit 112, reception unit 113, authentication signal transmission unit 114, antenna 115 And have.
  • each “unit” of the portable terminal 100 is merely a classification of the inside of the portable terminal 100 for the sake of convenience, paying attention to the functions required when remotely operating the vehicle 1, and the portable terminal 100 is physically It does not indicate that it is divided into two categories. Therefore, each “unit” can be realized as a computer program executed by a CPU, an electronic circuit including an LSI, or a combination of these.
  • the imaging unit 101 includes, for example, a CCD camera or a CMOS camera provided on the back of the portable terminal 100, and performs remote imaging continuously during remote control of the vehicle 1.
  • the image acquisition unit 102 is connected to the imaging unit 101, and acquires an image captured by the imaging unit 101 at a constant cycle. Then, the obtained photographed images are sequentially output to the image display unit 103, and are output to the regular vehicle determination unit 105 and the distance information acquisition unit 107 whenever necessary, for example, when there is a data request from these.
  • the image display unit 103 sequentially outputs the photographed image received from the image acquisition unit 102 to the display device 104 provided on the front surface of the mobile terminal 100, for example.
  • the display device 104 is provided with a thin panel such as an LCD and an organic EL, and is provided in a wide range over substantially the entire front surface.
  • the display device 104 is a touch panel based on an appropriate method such as a pressure-sensitive type or an electrostatic type, and can perform various inputs and instructions of operations by performing a touch operation on a displayed icon.
  • the user 2 of the vehicle 1 performs an operation while checking the vehicle 1 displayed on the display device 104 during the remote control, and adjusts the orientation of the portable terminal 100 as needed so that the imaging unit 101 can capture the vehicle 1 It will be done.
  • the regular vehicle determination unit 105 analyzes the captured image received from the image acquisition unit 102, extracts a vehicle image from the captured image, and further extracts vehicle identification information from the vehicle image to obtain a vehicle identification information storage unit By comparing with the identification information of the vehicle 1 stored in advance in 106, it is determined whether the vehicle photographed by the portable terminal 100 is the vehicle 1 to be remotely controlled by the portable terminal 100, that is, a regular vehicle.
  • the vehicle determination result is output to determination unit 109.
  • the vehicle identification information may be, for example, the description of the license plate of the vehicle 1, the shape of the vehicle, the color, and the like.
  • the vehicle identification information storage unit 106 for example, the user 2 of the vehicle 1 operates and inputs the portable terminal 100 prior to performing the remote control, or the user is directed from the other device to the portable terminal 100. Store the sent information.
  • the distance information acquisition unit 107 analyzes the photographed image received from the image acquisition unit 102 while referring to the dimension information on the full length, the lateral width, etc. of the vehicle 1 stored in advance in the vehicle dimension information storage unit 108. Get distance information on the distance up to 1.
  • the acquired distance information is output to the determination unit 109. Since the size of the vehicle in the image corresponds to the imaging distance, the distance to the vehicle 1 can be obtained by comparing the vehicle size in the image with the vehicle size stored in advance.
  • the distance information is not limited to the distance obtained in this manner, and may be information on the magnitude relationship with a predetermined reference value.
  • a reference value of the vehicle size is set, and the vehicle size acquired from the image is compared with this, and stored as large if it is equal to or larger than the reference value and small if it is smaller. That is, distance information can also be acquired based on the size of the vehicle 1 in the captured image.
  • the reference value of the vehicle size is set, for example, to the vehicle size in the image when the distance from the portable terminal 100 to the vehicle 1 is an allowable distance that can be determined as safe even when remote control is performed.
  • the user 2 of the vehicle 1 operates and inputs the portable terminal 100 prior to performing the remote control, or points from another device to the portable terminal 100
  • the dimension information on the transmitted vehicle 1 is stored.
  • the allowable distance is a distance that can be judged as safe even when remote control is performed, and is set to, for example, several meters to several tens of meters.
  • the reference value of a vehicle dimension can replace with the actual dimension of the vehicle 1 of operation object, for example, sets a general-purpose dimension of about 5 m, and can also abbreviate
  • general-purpose dimensions as a reference, when detecting the distance between the portable terminal 100 and the vehicle 1, an error corresponding to the difference between the actual vehicle dimensions may occur, so taking into account the error The allowable distance may be set.
  • the determination unit 109 transmits the remote control signal to the vehicle 1 based on the vehicle determination result as to whether the vehicle is the regular vehicle received from the regular vehicle determination unit 105 and the distance information received from the distance information acquisition unit 107 Decide whether or not. If the vehicle determination result is the determination of a regular vehicle, it is determined based on the distance information whether the distance from the portable terminal 100 to the vehicle 1 is within the allowable distance, and if within the allowable distance, the operation signal An instruction to allow transmission is output to the transmission unit 110.
  • This judgment is affirmed when the distance information is a distance derived from the vehicle size in the image, when this is equal to or less than the allowable distance, and when the distance information is a size relationship of the vehicle, "large", that is, a reference It is affirmed when it is above the value.
  • the vehicle determination result is not a regular vehicle, or if it is determined that the distance is not within the allowable distance, the remote control should not be permitted, so an instruction to allow transmission is not output, or , An instruction to prohibit transmission is output.
  • it is first determined whether or not it is within the allowable distance, and when it is determined that it is within the allowable distance, it is determined whether it is a regular vehicle or not. You may do so.
  • the operation content detection unit 111 detects the operation content operated by the operation unit 112 using an operation button or the like, generates an operation signal according to the operation content, and outputs the operation signal to the operation signal transmission unit 110.
  • the operation unit 112 includes a display device 104 or the like which is a touch panel in addition to the illustrated operation buttons, and the operation content includes an operation performed using the touch panel.
  • the operation signal transmission unit 110 outputs the operation signal received from the operation content detection unit 111 if the transmission permission instruction is received from the determination unit 109.
  • the output operation signal is transmitted from the antenna 115 toward the vehicle 1. If there is no transmission permission instruction, the operation signal is not transmitted.
  • the receiving unit 113 receives the signal transmitted from the vehicle 1 through the antenna 115.
  • an authentication request signal is received from the vehicle 1, it is output to the authentication signal transmission unit 114.
  • the authentication signal transmission unit 114 transmits the authentication signal stored in advance to the vehicle 1.
  • the vehicle 1 transmits an authentication request signal at a constant cycle, and searches for mobile terminals 100 present around it.
  • the portable terminal 100 receives an authentication request signal when entering into a range reached by radio waves from the vehicle 1, so-called The authentication process with the vehicle 1 is automatically performed in a passive manner.
  • FIG. 3 the implementation situation of the remote control of the vehicle 1 using the portable terminal 100 is shown together with the display example of the display device 104.
  • the portable terminal 100 is provided with a display device 104 and a plurality of, for example, four operation buttons 120a, 120b, 120c, and 120d as components of the operation unit 112.
  • the operation unit 112 is provided on the same plane as the display device 104, and can be operated while confirming the display of the display device 104.
  • FIG. 3 shows a state in which the remote control application is activated on the portable terminal 100 and is being operated, and the display device 104 displays an operation screen of the application.
  • buttons 120 On the operation screen, the characters “left”, “front”, “rear”, and “right” are displayed in order from the left at positions above the respective buttons 120. These represent functions of applications associated with the operation buttons 120a to 120d.
  • the operation button 120a steers the vehicle 1 to the left, the operation button 120b advances the vehicle 1, and the operation button 120c.
  • the vehicle 1 can be moved backward, and the vehicle 1 can be steered to the right by the operation button 120 d.
  • Each operation is performed, for example, while the operation button 120 is pressed.
  • a distance display unit 122 is disposed at the top of the above-described operation screen.
  • the distance display unit 122 moves from the position where the characters “near” and “far” displayed at the left end and the right end and the character “near” are displayed to the middle position toward the character “far”.
  • a dashed line displayed between the permissible distance bar and "far”, and "out of service” displayed below the dashed line.
  • a black triangle mark (hereinafter referred to as a black triangle mark) is displayed on the allowable distance bar.
  • the distance display unit 122 displays the current distance from the portable terminal 100 to the vehicle 1 and indicates whether the current distance is within the allowable range.
  • Solid triangles indicate the current distance
  • the allowable distance bar indicates the range of the distance where remote control is permitted and the range where the broken line exceeds the allowable distance.
  • an operation end button 124 is displayed in the lower right portion of the operation screen.
  • the user 2 of the vehicle 1 transmits a remote control end instruction to the vehicle 1 by tapping the operation end button 124 to end the remote control.
  • the vehicle 1 is displayed near the center of the operation screen. Remote control is possible when the vehicle 1 is displayed on the operation screen as described above.
  • the user 2 of the vehicle 1 presses the operation buttons 120a to 120d while photographing the vehicle 1 with the portable terminal 100 to operate the vehicle 1 for forward, backward, left steering, and right steering operation instructions. It transmits and moves the vehicle 1 to the target parking position.
  • the remote control is performed while visually recognizing both the operation screen and the actual vehicle 1 when the vehicle 1 is displayed in the operation screen and is within the allowable distance, the user 2 of the vehicle 1 can Remote control can be performed safely while confirming the surrounding situation of the vehicle 1.
  • the operation buttons 120 corresponding to the opposite operation directions “front” and “rear”, or “left” and “right” are mutually set to be mutually exclusive, and the vehicle 1 can be operated even if both are pressed. For both forward and backward operation signals and both left and right steering operation signals are not transmitted.
  • the two exclusive operation buttons 120 are both pressed, an operation signal corresponding to one pressed earlier is transmitted to the vehicle 1 and the operation pressed later is ignored or a signal It is possible to stop transmission and display a warning that the operation can not be performed simultaneously on the operation screen.
  • any one of “front” and “rear” and any one of “left” and “right” can be pressed together.
  • the vehicle 1 moves forward or backward while changing the direction of the wheels. That is, while “front” or “rear” and “left” or “right” are being pressed, the vehicle 1 moves forward and backward while changing the turning radius.
  • so-called “steer-off” is performed in which the direction of the wheels is changed while the vehicle 1 is stopped.
  • an automatic parking button 123 is provided at the lower left portion of the operation screen of the display device 104.
  • the automatic parking button 123 is displayed and selectable when the vehicle 1 is equipped with an automatic driving function.
  • the vehicle 1 captures an image of the surroundings using an on-vehicle camera (not shown) and recognizes the parking frame 3 by analyzing the obtained image. Then, by automatically performing a steering wheel operation, a brake operation, and an accelerator operation while recognizing an obstacle existing around the vehicle 1 using a sonar or a radar (not shown), the vehicle is automatically parked in the parking frame 3 Do.
  • the vehicle 1 Even when the vehicle 1 has the function of automatically parking, the user 2 of the vehicle 1 is responsible for paying attention so that the vehicle 1 can be parked safely. Therefore, even after the user 2 of the vehicle 1 taps the automatic parking button 123 to start the automatic parking, the vehicle 1 is automatically parked from the image of the vehicle 1 captured on the display device 104 of the portable terminal 100 or It is possible to confirm the situation around the vehicle 1. Of course, the distance to the vehicle 1 can be easily grasped from the display of the distance display unit 122. Then, when any trouble or danger is felt, by tapping the operation end button 124, the vehicle 1 can be stopped and the automatic parking can be canceled. By doing this, it becomes possible to safely park the vehicle 1 at least equal to the case where the user 2 of the vehicle 1 sits in the driver's seat of the vehicle 1 and drives.
  • the vehicle 1 moves toward the inside of the parking frame 3 using the function of automatically parking, but the owner 2 removes the finger from the automatic parking button 123 Alternatively, the automatic parking function of the vehicle 1 may be canceled and stopped on the spot. In this way, even when the vehicle 1 uses the function of automatically parking, safety can be ensured.
  • each operation button 120 is realized by the hardware of the mobile terminal 100. However, it may be realized by software by displaying a part or all of the operation buttons 120 on the display device 104 of the portable terminal 100. For example, when using a portable terminal with three or less mounted operation buttons 120 for remote control, software implementation is effective.
  • FIG. 4 shows an example of the display of the display device 104 in a situation where remote control is prohibited.
  • the entire vehicle 1 does not fit on the display surface of the display device 104, and a part of the vehicle 1 is on the left side.
  • the remote control target vehicle 1 is in the state of being photographed. It is judged whether or not it is within the allowable distance. Since the size of the vehicle in the photographed image can be accurately detected by thus determining whether the vehicle 1 is photographed, it is possible to determine whether the vehicle is a regular vehicle and whether it is within the allowable distance or not. Judgment becomes more certain.
  • the vehicle 1 is in the state of being photographed if the ratio of the entire vehicle 1 or more is within the display surface. Is also possible. If the license plate is captured so that it can be read clearly, even if the entire vehicle 1 is not necessarily captured, it is possible to determine whether the vehicle is an authorized vehicle based on the items described on the license plate.
  • a process of parking the vehicle 1 under engine operation by remote control using such a portable terminal 100 will be described.
  • an authentication process of the portable terminal 100 is performed prior to the following process.
  • the portable terminal 100 receives an authentication request signal repeatedly transmitted from the vehicle 1 to the surroundings at predetermined time intervals as described above by the receiving unit 113, and the vehicle It is performed by transmitting an authentication signal to 1.
  • FIG. 5 shows a flowchart of a remote control availability determination process in which the portable terminal 100 analyzes the image of the vehicle 1 to detect vehicle identification information and distance information, and determines the availability of remote control.
  • the remote control function of the vehicle 1 is activated (S100).
  • the remote control function of the vehicle 1 is always stopped to avoid unnecessary power consumption and unintended remote control. Therefore, when performing remote control, first, the portable terminal 100 transmits a start signal of the remote control function to the vehicle 1.
  • the user 2 of the vehicle 1 captures the image of the vehicle 1 on the operation screen.
  • An instruction to prompt is displayed (S102).
  • the determination as to whether or not the object is an operation target, the determination as to whether or not the distance is appropriate for remote control, and the like are performed based on the photographed vehicle image. Therefore, at the time of starting remote control, it is necessary to first photograph the vehicle 1 with the portable terminal 100, so the user 2 of the vehicle 1 points the camera of the photographing unit 101 to the vehicle 1 according to the instruction and starts photographing. Do. At the time of photographing, activation of the photographing unit 101 may be automatically performed when it is determined that the response signal is received (S101), but the user 2 of the vehicle 1 is provided with a photographing start button on the operation screen. It may be performed by operating.
  • a photographed image is acquired by the image acquisition unit 102 (S103). For example, this process is executed immediately after displaying a shooting instruction on the operation screen, or is executed by the user 2 of the vehicle 1 operating the shooting start button displayed on the screen.
  • the image acquiring unit 102 sequentially outputs the photographed image to the regular vehicle judging unit 105.
  • the regular vehicle determination unit 105 executes a process of extracting a vehicle from the received captured image (S104), and determines whether a vehicle is shown in the captured image (S105). As described above, since the remote control is permitted when the vehicle 1 is photographed by the portable terminal 100, it is first determined whether the vehicle is photographed. If the user 2 of the vehicle 1 has not yet started photographing the vehicle 1 and the vehicle is not shown in the photographed image, the extraction of the vehicle fails and this judgment is denied (S 105: no) , And returns to step S102, and an instruction to prompt photographing is displayed again on the operation screen. In this case, the user 2 of the vehicle 1 performs the shooting start operation again or directs the camera to the vehicle 1 to start shooting.
  • the regular vehicle determination unit 105 determines whether or not the regular vehicle is based on the items described on the license plate of the vehicle. Therefore, the determination (S105) as to whether or not the vehicle is photographed is affirmed when the vehicle is photographed in a state where the license plate can be clearly identified. Therefore, even if the vehicle is captured, if the license plate is not clearly captured, the determination is negative and the process returns to S102.
  • the above determination is affirmed (S105: yes)
  • the image of the vehicle in the captured image is analyzed, and the vehicle identification information is obtained from the image. Are extracted (S106).
  • the vehicle image is extracted from the captured image.
  • the extracted information is compared with the information stored in the vehicle identification information storage unit 106, whereby the vehicle in the photographed image is a regular vehicle. It is determined whether or not the photographed vehicle is the vehicle 1 for which remote control is to be performed (S107).
  • the information stored in advance does not match the description on the license plate acquired from the image or if the shape or color of the vehicle does not match, it is not a regular vehicle that is the target of remote control in the portable terminal 100 It is judged (S107: no), for example, the notification that it is not a regular vehicle such as "not a vehicle that can be operated by this terminal" is output and displayed on the operation screen (S111), and the remote control function of the vehicle is ended.
  • the remote control application of the portable terminal 100 is ended. That is, the series of processing ends without the remote control being executed.
  • the user 2 of the vehicle 1 can understand that the photographed vehicle is trying to operate a vehicle which is different from the one intended for the operation or which is erroneously not a self vehicle.
  • the remote control of the vehicle By determining the appropriateness of the start of the remote control in this manner, it is possible to prevent the remote control of the vehicle other than the vehicle registered in advance in the portable terminal 100 by mistake.
  • the distance information acquisition unit 107 analyzes the image of the vehicle to detect distance information (S108). For this analysis, the image of the vehicle previously used to determine whether the vehicle is a regular vehicle is used as it is.
  • the detection result is displayed, for example, by updating the position of a black triangle on the operation screen, or is displayed as characters such as "operable within range” or "out of operable range”.
  • the remote control to the vehicle 1 is performed.
  • the flow shown in FIG. 6 is followed and remote control is performed.
  • the operation screen for example, the user 2 of the vehicle 1 is notified that the remote operation is possible or the user is urged to start the operation, and the user 2 is displayed on the operation screen.
  • the remote control is started by operating an icon or button or operating the operation buttons 120a to 120d.
  • FIG. 6 shows the flow following FIG. 5, that is, the execution flow of the remote control after the remote control is permitted.
  • the remote control is allowed
  • the user 2 of the vehicle 1 looks at the traveling direction and the turning direction for moving the vehicle 1 from the current position toward the parking frame 3 according to the content to be operated
  • the operation unit 112 is operated. That is, the icon or button on the operation screen is operated, or the operation buttons 120a to 120d are operated.
  • the operation content is detected by the operation content detection unit 111 (S112).
  • the detected operation content is determined (S113). If the operation content is not the end of the remote operation (S113: no), since the operation intended to move the vehicle 1 is performed, the operation content detection unit 111 generates an operation signal according to the operation content.
  • the operation signal transmission unit 110 transmits an operation signal according to the operation content detected toward the vehicle 1 (S114). For example, when the operation button 120a is pressed, an operation signal for left steering is transmitted to the vehicle 1, and the wheels are turned left in the left direction. When the operation buttons 120a and 120b are both pressed, the left steering and forward operation signals are simultaneously transmitted to the vehicle 1, and the vehicle 1 is turned to the left while advancing. When the operation button 120 c is pressed, a reverse operation signal is transmitted to the vehicle 1 to cause the vehicle 1 to reverse.
  • the vehicle 1 is caused to retreat straight toward the parking frame 3.
  • the operation signal corresponding to the pressed operation button 120 or the like is transmitted for other operations than those illustrated, and the vehicle 1 is moved or the like.
  • This confirmation process is a procedure necessary for securing safety, and is performed, for example, by analyzing a photographed image and detecting distance information as in the case of starting remote control. That is, after the operation signal is transmitted, the image acquisition unit 102 acquires again the image captured by the imaging unit 101 at that time (S115), extracts the image of the vehicle from the captured image, and further, the image of the vehicle Are analyzed to detect distance information (S116). The detection result is displayed, for example, by updating the position of the black triangle on the operation screen, or is displayed as characters such as “in the operable area”.
  • the process determines whether the distance to the vehicle 1 is within the allowable distance (S117). If it is within the allowable distance (S117: yes), the process returns to S112, the operation content for the operation unit 112 is detected again, and the following steps are repeated. However, if it is determined that the current distance is not within the allowable distance as the vehicle 1 is moved away from the user 2 or the like (S117: no), the operation screen is brought closer to the vehicle. The instruction is displayed (S118), and then the process proceeds to acquisition of a photographed image (S115) again, and the following steps are repeated.
  • the remote control is performed while keeping the distance from the portable terminal 100 to the vehicle 1 equal to or less than the allowable distance based on the photographed images sequentially photographed and acquired. To be done. Therefore, remote control can be performed safely while confirming the situation around the vehicle 1.
  • the remote control is automatically ended, or the process returns to "instruction of photographing of the vehicle to the operator" (S102 in FIG. 5) to determine again whether the vehicle is a regular vehicle or not.
  • the remote control is automatically ended, the user 2 of the vehicle 1 executes the remote control start process again if necessary.
  • the operation signal transmission unit 110 instructs the vehicle 1 to end the remote operation function.
  • a signal is transmitted (S119).
  • the user 2 of the vehicle 1 performs an operation such as tapping the operation end button 124 provided on the operation screen, for example.
  • the end of the remote operation is detected by the operation content detection unit 111, and the above process is performed.
  • the vehicle 1 having received the termination instruction signal terminates the remote control function.
  • the mobile terminal 100 ends the remote control application.
  • the response signal of the end instruction may be sent back from the vehicle 1 to the portable terminal 100, and the portable terminal 100 may terminate the remote control application after confirming the response signal.
  • the portable terminal 100 obtains distance information on the distance to the vehicle 1 based on the captured image, and when the distance from the portable terminal 100 to the vehicle 1 is within the allowable distance, Since the operation is permitted and the operation signal is transmitted from the portable terminal 100 to the vehicle 1, therefore, if the user 2 of the vehicle 1 carries the portable terminal 100, it is determined whether or not the vehicle 1 is around the vehicle 1 Since it can be determined, even if the user does not carry the electronic key, if the user 2 is in the vicinity of the vehicle 1, the vehicle 1 can be moved by remote control using the portable terminal 100.
  • the mobile terminal 100 includes the display device 104 for displaying a photographed image, and the operation button 120 for configuring the operation unit 112 on the same surface below and on the same surface, and the operation content detection unit
  • the operation content is detected at 111, and the operation signal transmitting unit 110 transmits the operation signal to the vehicle 1. Therefore, since the remote control can be performed while visually confirming the vehicle 1 to be operated by the display device 104, the operation can be performed more safely.
  • the portable terminal 100 of the present embodiment stores in the vehicle identification information storage unit 106 the number plate entry and the like for identifying the vehicle 1 to be operated, and extracts the vehicle identification information from the vehicle image in the photographed image. Then, it is determined in the authorized vehicle determination unit 105 whether or not the authorized vehicle can be an operation target, and the distance from the portable terminal 100 to the vehicle 1 is within the allowable distance and is determined to be an authorized vehicle, A remote control signal is transmitted to the vehicle 1. Therefore, the vehicle which is not the operation target is erroneously photographed, and it is judged that it is within the allowable distance based on the photographed image, and the remote operation of the vehicle 1 is performed without judging the appropriateness of the distance to the target vehicle 1 Is suppressed.
  • the portable terminal 100 Since what can be operated by the portable terminal 100 is limited to the vehicle 1 authenticated with the vehicle, other vehicles are not remotely controlled. In addition, since the user 2 of the vehicle 1 can perform remote control while directly checking the target vehicle 1 with the display of the display device 104 and the eyes, when another vehicle is displayed on the display device 104 You can quickly notice that you can change the shooting target. Therefore, even if it is not determined whether the vehicle is a regular vehicle, the safety of the remote control is sufficiently ensured, but if the determination is made in advance, higher security can be obtained.
  • FIG. 7 is a diagram for explaining another example of the internal structure of the portable terminal 100, and is a diagram corresponding to FIG.
  • the same reference numerals as in FIG. 2 denote the same parts as in FIG.
  • an automatic focusing unit 126 is provided, and the photographing unit 101 is provided with a lens driving mechanism for changing the focal length.
  • the automatic focusing unit 126 is provided with a well-known passive automatic focusing function such as phase difference type, image plane phase difference type, or contrast type, and acquires an image from the photographing unit 101.
  • the photographed image is analyzed to calculate the focal length adjustment amount, and a focal position change signal is output to the photographing unit 101.
  • the photographing unit 101 operates the lens driving mechanism to extend or retract the lens according to the focal position change signal to change the focal position, thereby causing the vehicle 1 to focus.
  • the automatic focusing unit 126 detects the actual amount of lens extension in the imaging unit 101, and outputs the amount signal of extension to the distance information acquisition unit 107.
  • the focus position change signal output from the automatic focusing unit 126 to the photographing unit 101 when focusing is performed may be output to the distance information acquisition unit 107.
  • Distance information acquisition unit 107 calculates the focal length when focusing, ie, the distance from portable terminal 100 to vehicle 1, based on the received amount-of-advance signal or focus position change signal, and outputs the distance information signal to determination unit 109. Do. Similarly to the case shown in FIG.
  • the determination unit 109 determines whether the vehicle is within the allowable distance together with the determination as to whether or not the vehicle is a regular vehicle.
  • the method of acquiring distance information is different from the above-described embodiment, and it is not necessary to input vehicle dimension information in advance to the vehicle dimension information storage unit 108.
  • FIG. 8 is a diagram showing a processing flow corresponding to the internal structure. This processing flow corresponds to FIG. 5 and will be described focusing on the difference from FIG.
  • the photographing of the vehicle is instructed to the user 2 of the vehicle 1 (S102)
  • the photographing unit 101 of the portable terminal 100 is directed to the vehicle 1 and the photographing is started
  • the automatic focusing unit 126 The image data sequentially sent from the photographing unit 101 is processed, and the focal position is changed to focus on the vehicle 1 (S120).
  • the image acquisition unit 102 acquires a captured image (S103), and each step following extraction of a vehicle in the captured image (S104) is performed.
  • the lens sent from the automatic focusing unit 126 acquires distance information from the portable terminal 100 to the vehicle 1 based on the extension amount signal or the focal position change signal, that is, focal position information (S121).
  • the vehicle image is not used for detecting the distance information, and the distance information acquired based on the focus position information output by the automatic focusing unit 126 at the time of focusing is used.
  • the remote control process is executed according to the same flow as that shown in FIG.
  • the remote control process is executed according to the same flow as that shown in FIG.
  • the detection of distance information (S116) based on the information obtained from the automatic focusing unit 126 as in the case of "calculating the distance to the vehicle from the focal distance information" (S121) shown in FIG.
  • the distance from the portable terminal 100 to the vehicle 1 is acquired.
  • a display example of another embodiment of the portable terminal 100 is shown in FIG.
  • a distance display unit 128 is provided at the top of the operation screen, instead of the distance display unit 122.
  • a broken line is displayed between the wide allowable distance bar and the "close” on the left side thereof. Like the “far” side, the broken line represents out of the allowable range of the remote control, and in this example, the remote control is prohibited when the distance between the portable terminal 100 and the vehicle 1 becomes less than a predetermined distance. ing.
  • the determination unit 109 determines whether or not the allowable distance is within the allowable distance. If it is within the range of the upper and lower limits, it is determined that the distance is within the allowable distance (S109, S117).
  • each unit is expressed as S100, for example.
  • each part can be divided into a plurality of sub-parts, while a plurality of parts can be combined into one part.
  • each part configured in this way can be referred to as a circuit, a device, a module, or a means.
  • hardware unit e.g., computer
  • hardware e.g., an integrated circuit, As part of hardwired logic, it may be implemented with or without the functionality of the associated device.
  • the hardware part can also be configured inside the microcomputer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Geometry (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephonic Communication Services (AREA)
  • Traffic Control Systems (AREA)
  • Selective Calling Equipment (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

車両（１）の使用者によって携帯されて、使用者の操作に応じた操作信号を車両に送信することによって、車両を遠隔操作で移動させることが可能な携帯端末であって、車両を撮影する撮影部（１０１）に接続されて、該撮影部から撮影画像を取得する画像取得部（１０２）と、撮影画像に基づいて車両までの距離に関する距離情報を取得する距離情報取得部（１０７）と、車両までの距離が所定の許容距離以内であるか否かを、距離情報に基づいて判断する判断部（１０９）と、車両までの距離が許容距離以内であると判断された場合には、車両に向けて、操作信号を送信する操作信号送信部（１１０）と、を備える。

Description

携帯端末及び遠隔操作方法 関連出願の相互参照
　本出願は、２０１７年９月２０日に出願された日本特許出願番号２０１７－１７９７１６号に基づくもので、ここにその記載内容を援用する。
　本開示は、車両の使用者によって車両を遠隔操作する携帯端末及び遠隔操作方法に関する。
　車両の外部からリモコン装置を用いて車両を操縦することによって、車両を出庫させたり駐車させたりする技術が提案されている。また、今日ではスマートフォンなどの携帯端末が普及していることから、携帯端末のタッチパネル上に表示した前進／後退ボタンや、操舵ボタンを操作することによって、車両を外部から操縦可能とする技術も提案されている。
　もっとも、こうして車両を外部から遠隔操作する場合も、通常の運転操作の場合と同様に、車両の使用者は車両を安全に操作する義務を負うと考えられる。従って、車両の使用者は車両の状況や車両の周囲の状況を十分に把握する必要があり、そのためには（遠隔操作とは言っても）使用者が車両の周辺に居る状態で車両を操作することが望ましい。
　そこで、車両の使用者が携帯している電子キーを検出することによって、車両の周辺に使用者が存在することを確認する技術が提案されている（特許文献１）。この提案の技術では、車両が周辺に存在する電子キーを探索して、電子キーが見つかったらその電子キーが正規の電子キーであるか否かを認証する。その結果、正規の電子キーであった場合は、車両の使用者が周辺に存在するものと判断して、車両が外部からの遠隔操作を受け付けるようになっている。
特開２０１６－０９７９２７号公報
　しかし、提案されている技術では、電子キーで認証を行うことから、車両の使用者は、携帯端末を用いて車両を遠隔操作するにも拘わらず、携帯端末に加えて電子キーも携帯することが必要である。
　もちろん、電子キーの代わりに携帯端末を検出することによって、車両の使用者が周辺に存在することを確認できれば、こうした問題は生じないが、実際には、携帯端末の電波は人体の影響によって、車両に到達したときの電波強度が大きく変動するため、車両の周辺に携帯端末が存在するか否かを正しく判断することは困難である。
　その結果、車両を遠隔操作しようとすると、車両の使用者は、遠隔操作するための携帯端末に加えて、電子キーも携帯する必要がある。
　本開示は、上記点に鑑みてなされたものであり、車両の使用者が電子キーを携帯していなくても、携帯端末を用いて車両を遠隔操作で移動させることが可能な携帯端末及び遠隔操作方法の提供を目的とする。
　本開示の一態様による携帯端末は、車両の使用者によって携帯されて、使用者の操作に応じた操作信号を車両に送信することによって、車両を遠隔操作で移動させることが可能な携帯端末であって、車両を撮影する撮影部に接続されて、該撮影部から撮影画像を取得する画像取得部と、撮影画像に基づいて車両までの距離に関する距離情報を取得する距離情報取得部と、車両までの距離が所定の許容距離以内であるか否かを、距離情報に基づいて判断する判断部と、車両までの距離が許容距離以内であると判断された場合には、車両に向けて、操作信号を送信する操作信号送信部と、を備える。
　本開示の他の態様による遠隔操作方法は、車両の使用者によって携帯された携帯端末を用いて、車両を遠隔操作で移動させる遠隔操作方法であって、携帯端末に搭載された撮像部から、車両を撮影した撮影画像を取得し、撮影画像に基づいて車両までの距離に関する距離情報を取得し、車両までの距離が所定の許容距離以内であるか否かを、距離情報に基づいて判断し、車両までの距離が許容距離以内であると判断された場合には、使用者の操作に応じた操作信号を、車両に向けて送信することを含む遠隔操作方法。
　携帯端末から車両までの距離が許容距離よりも遠かった場合には、携帯端末から車両に向けて操作信号が送信されることはないから、車両が携帯端末からの操作信号を受信したと云うことは、携帯端末が車両から許容距離以内に存在することに他ならない。加えて、携帯端末から車両までの許容距離を、撮影画像に基づいて取得しているので、電波強度などに基づいて取得する場合に比べて、外乱などの影響を受け難く、このため、携帯端末が車両から許容距離以内に存在するか否かを、高い信頼性で判断することができる。その結果、車両の使用者が電子キーを携帯していなくても、車両を遠隔操作するための携帯端末を携帯していれば、許容距離よりも遠くから車両が遠隔操作される事態を回避することが可能となる。
　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図１は、本実施例の携帯端末で車両を遠隔操作で移動させる状況を説明する図であり、 図２は、携帯端末の大まかな内部構造を説明する図であり、 図３は、車両を遠隔操作する際の携帯端末の画面表示例を説明する図であり、 図４は、遠隔操作が禁止される状況の一例を説明する図であり、 図５は、車両遠隔操作処理の開始可否判断段階におけるフローチャートであり、 図６は、車両遠隔操作処理の操作実行段階におけるフローチャートであり、 図７は、他の実施例の携帯端末の大まかな内部構造を説明する図であり、 図８は、図７の内部構造の場合の開始可否判断段階におけるフローチャートであり、 図９は、更に他の実施例の画面表示例を説明する図である。
　以下では、本開示の内容を明確にするための実施例について説明する。
　図１には、車両１を駐車するために、区画された複数の駐車枠のうちの１つの駐車枠３に向かって移動中の様子を上方から見た状態で示している。車両１の使用者２は、車外に出て車両１の周辺にいて、携帯端末１００で車両１を遠隔操作している。車両１は、使用者２の遠隔操作によって、左旋回しつつ後退させられることにより、仮想線１で示す位置まで移動させられて駐車枠３内に駐車させられる。このように、携帯端末１００を用いて車両１を遠隔操作することが可能となっているが、車両１の使用者２が車両１から遠く離れて遠隔操作することは、車両１周辺の状況を十分に確認できない。そこで、本実施例の携帯端末１００では、車両１の周辺にあるときは、これを操作できるが、車両１から遠くにあるときには、操作できないようになっている。
　図２には、本実施例の携帯端末１００の大まかな内部構造を示している。図示のように、携帯端末１００は、撮影部１０１と、画像取得部１０２と、画像表示部１０３と、表示装置１０４と、正規車両判断部１０５と、車両識別情報記憶部１０６と、距離情報取得部１０７と、車両寸法情報記憶部１０８と、判断部１０９と、操作信号送信部１１０と、操作内容検出部１１１と、操作部１１２と、受信部１１３と、認証信号送信部１１４と、アンテナ１１５とを備えている。
　なお、携帯端末１００の各「部」は、車両１を遠隔操作するに際して必要とされる機能に着目して、便宜的に携帯端末１００の内部を分類したものに過ぎず、携帯端末１００が物理的に区分されていることを表すものではない。したがって、各「部」は、ＣＰＵで実行されるコンピュータープログラムとして実現することもできるし、ＬＳＩを含む電子回路として実現することもできるし、更にはこれらの組合せとして実現することもできる。
　撮影部１０１は、携帯端末１００の例えば背面に設けられたＣＣＤカメラやＣＭＯＳカメラなどを備えており、車両１を遠隔操作するに際して、その遠隔操作の期間内は連続的に撮影を実行する。画像取得部１０２は、撮影部１０１に接続されており、撮影部１０１で撮影された画像を一定周期で取得する。そして、取得した撮影画像を画像表示部１０３に逐次出力すると共に、正規車両判断部１０５および距離情報取得部１０７に対して必要の都度、例えばこれらからのデータ要求があったときに、出力する。
　画像表示部１０３は、画像取得部１０２から受け取った撮影画像を携帯端末１００の例えば前面に設けられた表示装置１０４に逐次出力する。これにより、表示装置１０４には、常に最新の撮影画像が表示される。表示装置１０４は、ＬＣＤ、有機ＥＬ等の薄型パネルを備えたもので、前面の略全体に亘る広い範囲に設けられている。表示装置１０４は、感圧式或いは静電式等の適宜の方式によるタッチパネルとなっており、表示されるアイコンをタッチ操作することによって種々の入力や操作の指示ができるようになっている。車両１の使用者２は、遠隔操作の間、この表示装置１０４に表示される車両１を確認しつつ操作を行い、撮影部１０１で車両１を捉えられるように携帯端末１００の向きを随時調節することになる。
　正規車両判断部１０５は、画像取得部１０２から受け取った撮影画像を解析して、その撮影画像から車両画像を抽出し、更に、その車両画像から車両識別情報を抽出して、車両識別情報記憶部１０６に予め記憶された車両１の識別情報と対比することにより、携帯端末１００で撮影されている車両がその携帯端末１００で遠隔操作の対象とする車両１すなわち正規車両か否かを判断する。車両判断結果は、判断部１０９に出力される。ここで、車両識別情報は、例えば、車両１のナンバープレート記載事項、車両の形状、色などが挙げられる。原則的にはナンバープレート記載事項が一致することを以て正規車両と判断するが、例えば、これに代えて車両の形状および色で判断するようにしてもよい。車両１の使用者２と車両１との位置関係次第で、撮影画像にナンバープレートが写らない場合や、写っていても記載事項を明瞭に読み取ることができない状況では、車両の形状と色に基づいて正規車両か否かを判断することが有効である。また、一層確実に正規車両か否かを判断することを目的として、ナンバープレート記載事項に加えて、車両の形状および色の一致も条件とすることもできる。なお、上記車両識別情報記憶部１０６は、例えば、遠隔操作をするに先立って、車両１の使用者２が携帯端末１００を操作して入力し、或いは、他の機器から携帯端末１００に向けて送信された情報を記憶する。
　距離情報取得部１０７は、車両寸法情報記憶部１０８に予め記憶された車両１の全長や横幅等に関する寸法情報を参照しつつ画像取得部１０２から受け取った撮影画像を解析し、携帯端末１００から車両１までの距離に関する距離情報を取得する。取得した距離情報は、判断部１０９に出力される。画像中の車両の大きさは撮影距離に応じたものとなるため、その画像中の車両寸法を、予め記憶された車両寸法と比較することにより、車両１までの距離を得ることができる。距離情報は、このようにして得られる距離に限られず、予め定められた基準値との大小関係に関する情報でもよい。例えば、車両寸法の基準値を設定しておき、画像中から取得した車両寸法をこれと比較して、基準値以上である場合は大、それよりも小さい場合は小として記憶する。すなわち、撮影画像中の車両１の大きさに基づいて距離情報を取得することもできる。上記車両寸法の基準値は、例えば、携帯端末１００から車両１までの距離が、遠隔操作を行っても安全と判断できる許容距離であるときの画像中の車両寸法に定められる。
　なお、上記車両寸法情報記憶部１０８は、例えば、遠隔操作をするに先立って、車両１の使用者２が携帯端末１００を操作して入力し、或いは、他の機器から携帯端末１００に向けて送信された車両１に関する寸法情報を記憶する。また、上記許容距離は、遠隔操作を行っても安全と判断できる距離であり、例えば、数ｍ～数十ｍ程度に設定される。
　また、車両寸法の基準値は、操作対象の車両１の実際の寸法に代えて、例えば５ｍ程度の汎用的な寸法を設定しておき、車両寸法の入力を省略することもできる。このような汎用寸法を基準とする場合には、携帯端末１００と車両１との距離を検出する際に、実際の車両寸法との相違に応じた誤差が生じ得るため、その誤差を考慮して許容距離を設定すればよい。
　判断部１０９は、正規車両判断部１０５から受け取った正規車両か否かの車両判断結果と、距離情報取得部１０７から受け取った距離情報とに基づき、遠隔操作信号を車両１に向けて送信するか否かを判断する。車両判断結果が正規車両の判断である場合には、距離情報に基づき、携帯端末１００から車両１までの距離が許容距離以内であるか否かが判断され、許容距離以内であれば、操作信号送信部１１０に対して送信を許容する指示が出力される。この判断は、距離情報が画像中の車両寸法から導き出した距離であるときは、これが許容距離以下であるときに肯定され、距離情報が車両寸法の大小関係であるときは、「大」すなわち基準値以上であるときに肯定される。しかしながら、車両判断結果が正規車両ではない場合、或いは、距離が許容距離以内ではないと判断された場合には、遠隔操作を許容すべきではないので、送信を許容する指示は出力されず、または、送信を禁止する指示が出力される。なお、判断部１０９による判断は、上記とは反対に、許容距離以内であるか否かの判断を先に実行し、許容距離以内と判断された場合に正規車両か否かの判断を実行するようにしてもよい。
　操作内容検出部１１１は、操作ボタン等による操作部１１２で操作された操作内容を検出し、その操作内容に従った操作信号を生成して操作信号送信部１１０に出力する。操作部１１２は、図示の操作ボタンの他、タッチパネルとなっている表示装置１０４等を備えており、上記操作内容にはタッチパネルを用いて行われた操作も含まれる。操作信号送信部１１０は、判断部１０９から送信許容指示を受け取っていれば、操作内容検出部１１１から受け取った操作信号を出力する。出力された操作信号は、アンテナ１１５から車両１に向けて送信される。送信許容指示がない場合は、操作信号は送信されない。
　受信部１１３は、車両１から送信された信号をアンテナ１１５を通して受信する。車両１から認証要求信号を受信すると、これを認証信号送信部１１４に出力する。認証信号送信部１１４は、認証要求信号を受け取ると、予め記憶されている認証信号を車両１に向けて送信する。車両１は、一定周期で認証要求信号を送信し、周囲に存在する携帯端末１００を探索している。車両１の使用者２が携帯端末１００を所持して車両１に近づくと、車両１からの電波が到達する範囲内に入ったときに、携帯端末１００が認証要求信号を受信することにより、いわゆるパッシブ方式で車両１との間の認証処理が自動的に行われることになる。
　図３には、携帯端末１００を用いた車両１の遠隔操作の実施状況をその表示装置１０４の表示例と併せて示している。携帯端末１００の前方に操作対象の車両１があり、奥の方に並ぶ他の２台の車両の間に駐車させる操作を行っている。携帯端末１００には、表示装置１０４と、操作部１１２の構成要素として、複数個、例えば４個の操作ボタン１２０ａ、１２０ｂ、１２０ｃ、１２０ｄとが備えられている。このように操作部１１２は、表示装置１０４と同一面上に備えられており、その表示装置１０４の表示を確認しながら操作可能となっている。図３には、携帯端末１００で遠隔操作アプリケーションを起動して操作中の状況を示しており、表示装置１０４には、アプリケーションの操作画面が表示されている。操作画面には、各ボタン１２０の上の位置に、左から順に「左」、「前」、「後」、「右」の文字が表示されている。これらは操作ボタン１２０ａ～１２０ｄのそれぞれに対応づけられたアプリケーションの機能を表したもので、操作ボタン１２０ａでは車両１を左方に操舵し、操作ボタン１２０ｂでは車両１を前進させ、操作ボタン１２０ｃでは車両１を後退させ、操作ボタン１２０ｄでは車両１を右方に操舵することができる。各操作は、例えば、操作ボタン１２０を押している間に実行される。
　上記の操作画面の上部には距離表示部１２２が配置されている。距離表示部１２２は、左端および右端にそれぞれ表示された「近」、「遠」の文字と、「近」の文字が表示された位置から、「遠」の文字に向かって、途中の位置までに表示された幅広の許容距離バーと、その許容距離バーと「遠」との間に表示された破線と、その破線の下に表示された「圏外」の文字とを備えている。また、許容距離バーには黒塗りの三角印（以下では、黒三角印と称する）が表示されている。この距離表示部１２２は、携帯端末１００から車両１までの現在距離を表示すると共に、現在距離が許容範囲であるか否かを示すためのものである。黒塗りの三角印が現在距離を表しており、許容距離バーが、遠隔操作が許容される距離の範囲を、破線が許容距離を越えている範囲を表している。黒三角印が「近」側に位置するほど車両１までの距離が近く、反対に「遠」側に位置するほど車両１までの距離が遠いことになる。車両１の使用者２は、黒三角印が許容距離バー上にあれば、車両１までの距離が許容距離以内であって、遠隔操作が可能であることを、破線上にあれば、許容距離を越えており、遠隔操作ができないことを視認することができる。
　また、操作画面の右下部には、操作終了ボタン１２４が表示されている。車両１の使用者２は、この操作終了ボタン１２４をタップすることにより、遠隔操作終了指示を車両１に送信し、遠隔操作を終了させる。
　また、操作画面の中央付近には、車両１が表示されている。遠隔操作は、このように車両１が操作画面に表示されているときに可能となっている。車両１の使用者２は、携帯端末１００で車両１を撮影しつつ、操作ボタン１２０ａ～１２０ｄを押し下げ操作することにより、車両１に対して前進、後退、左操舵、右操舵の各操作指示を送信し、目標とする駐車位置まで車両１を移動させる。このように、遠隔操作は車両１が操作画面内に表示され且つ許容距離以下にあるときに、操作画面および実際の車両１の双方を視認しながら行われることから、車両１の使用者２が車両１の周辺状況を確認しながら安全に遠隔操作をすることができる。なお、操作画面に表示された「前」、「後」、「左」、「右」は、例えば、車両１の通常の運行における操作方向と同一であるが、例えば、「左」、「右」は、画面上の左右に合わせて、通常とは反対に設定することもできる。
　なお、相反する操作方向である「前」、「後」、或いは、「左」、「右」に対応する操作ボタン１２０は相互に排他的に設定されており、共に押されても、車両１に対して前進、後退の両方の操作信号や、左操舵、右操舵の両方の操作信号が送信されることはない。排他的な２つの操作ボタン１２０が共に押されている場合には、先に押された一方に対応する操作信号を車両１に送信して、後から押された操作は無視し、或いは、信号送信を中止して操作画面に同時に操作できない旨の警告を表示すること等ができる。
　一方、「前」、「後」の何れか一方と、「左」、「右」の何れか一方とは、共に押されている状態が許容される。共に押されたときには、車両１は、車輪の向きを変化させつつ前進或いは後退することになる。すなわち、「前」或いは「後」と、「左」或いは「右」とが押されている間は、車両１は旋回半径が変化しつつ前後進することになる。これに対して、「左」、「右」の何れかが単独で押された場合は、車両１の停止状態で車輪の向きを変えるいわゆる「据え切り」が行われることになる。
　また、表示装置１０４の操作画面の左下部には、自動駐車ボタン１２３が設けられている。この自動駐車ボタン１２３は、車両１が自動運転機能を搭載している場合に表示されて選択可能となる。車両１の使用者２が、自動駐車ボタン１２３をタップすると、車両１は図示しない車載カメラを用いて周囲の画像を撮影し、得られた画像を解析することによって駐車枠３を認識する。そして、図示しないソナーやレーダーを用いて、車両１の周囲に存在する障害物を認識しながら、ハンドル操作や、ブレーキ操作、アクセル操作を自動で行うことによって、自動的に駐車枠３内に駐車する。
　車両１が自動で駐車する機能を有している場合でも、車両１の使用者２には、車両１が安全に駐車できるように注意を払う責任が課せられている。そこで、車両１の使用者２は、自動駐車ボタン１２３をタップして自動駐車を開始した後も、携帯端末１００の表示装置１０４に写った車両１の画像から、車両１が自動駐車する様子や、車両１の周囲の状況を確認することが可能となっている。もちろん、距離表示部１２２の表示から、車両１までの距離についても容易に把握することができる。そして、何らの支障や危険などを感じた場合には、操作終了ボタン１２４をタップすることによって、車両１を停止させ、自動駐車を解除することができる。こうすることによって、車両１の使用者２が、車両１の運転席に座って運転する場合と同等以上に、安全に車両１を駐車させることが可能となる。
　あるいは、所有者２が自動駐車ボタン１２３を押している間は、車両１が自動で駐車する機能を用いて駐車枠３内に向かって移動するが、所有者２が自動駐車ボタン１２３から指を離すと、車両１が自動で駐車する機能を中止して、その場で停止するようにしても良い。このようにすれば、車両１が自動で駐車する機能を用いている場合でも、安全を確保することが可能となる。
　尚、本実施例の携帯端末１００では、図３に例示したように、各操作ボタン１２０が携帯端末１００のハードウェアによって実現されている。しかし、これら操作ボタン１２０の一部または全部を携帯端末１００の表示装置１０４に表示することによって、ソフトウェアによって実現してもよい。例えば、実装されている操作ボタン１２０の個数が３個以下の携帯端末を遠隔操作に利用する場合には、ソフトウェア的に実装することが有効である。
　図４には、遠隔操作が禁止される状況における表示装置１０４の表示の一例を示している。この表示例では、車両１の全体が表示装置１０４の表示面に納まっておらず、一部が左側に出ている。本実施例では、例えば、表示装置１０４の表示面に車両１の全体が納まっているときに、遠隔操作対象の車両１が撮影されている状態であると判断し、その場合に正規車両か否かの判断や、許容距離以内であるか否かの判断を行う。車両１が写っているか否かをこのように判断することにより、撮影画像中の車両の大きさを正確に検出できるので、正規車両か否かの判断と、許容距離以内であるか否かの判断が一層確実になる。なお、上記のような判断に代えて、例えば、車両１の全体の一定以上の割合が表示面内に納まっていれば、車両１が撮影されている状態であると判断されるようにすることも可能である。ナンバープレートが明瞭に読み取れるように写っていれば、車両１の必ずしも全体が写っていない場合でも、ナンバープレートに記載された事項に基づいて、正規車両か否かを判断することが可能となる。
　このような携帯端末１００を用いて、エンジン動作中の車両１を遠隔操作で駐車させる処理について説明する。なお、以下の処理に先立ち、車両１では、携帯端末１００の認証処理が行われる。この認証処理は、例えば、前述したように車両１から周囲に向けて一定時間間隔で繰り返し送信されている認証要求信号を携帯端末１００が受信部１１３で受信して、認証信号送信部１１４から車両１に認証信号を送信することにより行われる。
　図５には、携帯端末１００が、車両１の画像を解析して車両識別情報や距離情報を検出し、遠隔操作の可否判断を行う遠隔操作可否判断処理のフローチャートが示されている。
　図示のように、車両遠隔操作処理では、まず始めに車両１側の遠隔操作機能を起動する（Ｓ１００）。車両１の遠隔操作機能は、無用な電力消費や意図しない遠隔操作が為されることを避けるために、常には停止されている。そこで、遠隔操作を行う場合は、まず、携帯端末１００から、車両１に対して遠隔操作機能の起動信号を送信する。
　次いで、車両１からの応答信号を受信したか否かを判断する（Ｓ１０１）。車両１は、遠隔操作機能の起動信号を受け取ると、遠隔操作機能を起動すると共に、携帯端末１００に対して応答信号を送信する。応答信号を受信していない場合は（Ｓ１０１：ｎｏ）、車両１に対して遠隔操作機能の起動信号が到達していないと考えられるので、Ｓ１００に戻り、再度、車両１に対して遠隔操作機能の起動信号を送信する。
　このような起動操作（Ｓ１００）、判断（Ｓ１０１）を繰り返すうち、車両１からの応答信号を受信すると（Ｓ１０１：ｙｅｓ）、操作画面に、車両１の使用者２に対して車両１の撮影を促す指示が表示される（Ｓ１０２）。前述したように、本実施例では、操作対象であるか否かの判断や、遠隔操作に適切な距離であるか否かの判断などを、撮影した車両画像に基づいて行う。そのため、遠隔操作開始に際しては、まず、車両１を携帯端末１００で撮影する必要があることから、車両１の使用者２は、指示に従って撮影部１０１のカメラを車両１に向けて、撮影を開始する。撮影に際して、撮影部１０１の起動は、応答信号の受信を判断したときに（Ｓ１０１）自動的に行われてもよいが、操作画面に撮影開始ボタンを設けて車両１の使用者２がこれを操作することで行われるようにしてもよい。
　次いで、画像取得部１０２で撮影画像が取得される（Ｓ１０３）。この処理は、例えば、操作画面に撮影の指示を表示した後に直ちに実行され、或いは、画面上に表示された撮影開始ボタンを車両１の使用者２が操作することにより実行される。画像取得部１０２は、撮影部１０１から撮影画像を取得すると、正規車両判断部１０５に逐次出力する。
　次いで、正規車両判断部１０５において、受け取った撮影画像中から車両の抽出処理を実行し（Ｓ１０４）、撮影画像中に車両が写っているか否かを判断する（Ｓ１０５）。前述したように、遠隔操作は車両１が携帯端末１００で撮影されているときに許容されることから、まず、車両が写っているか否かを判断することになる。車両１の使用者２が未だ車両１の撮影を開始しておらず、撮影画像中に車両が写っていない場合は、車両の抽出に失敗し、この判断が否定されるので（Ｓ１０５：ｎｏ）、Ｓ１０２に戻り、操作画面に撮影を促す指示が再度表示される。この場合、車両１の使用者２は、改めて撮影開始操作を行い、或いは、カメラを車両１に向けて撮影を開始することになる。なお、車両が写っているか否かの判断は、例えば、前述したように、全体が写っているか否かを基準とするが、車両の一部が写っていない状態も許容するものと定めることもできる。このとき、正規車両判断部１０５では、前述したように、車両のナンバープレート記載事項に基づいて正規車両であるか否かを判断する。そのため、上記の車両が写っているか否かの判断（Ｓ１０５）は、ナンバープレートが明瞭に確認できる状態で車両が写っている場合に肯定される。そのため、車両が写っていても、ナンバープレートが明瞭に写っていない場合には、判断が否定され、Ｓ１０２に戻ることになる。
　これらの処理が繰り返されるうち、撮影画像中からの車両の抽出に成功すると、上記判断が肯定されるので（Ｓ１０５：ｙｅｓ）、撮影画像中の車両の画像を解析して、画像から車両識別情報を抽出する（Ｓ１０６）。このとき、撮影画像中には、車両１の他にその周辺が写り込んでいることから、この画像解析に際しては、まず、撮影画像から車両画像を抽出する。そして、例えば、ナンバープレートの記載事項、車両の形状および色が抽出され、抽出された情報を車両識別情報記憶部１０６に記憶されていた情報と照合することにより、撮影画像中の車両が正規車両か否か、すなわち、撮影された車両が、遠隔操作を行おうとする車両１であるか否かが判断される（Ｓ１０７）。
　予め記憶されている情報と、画像から取得したナンバープレートの記載事項が一致せず、或いは、車両の形状や色が一致しない場合は、携帯端末１００で遠隔操作の対象とする正規車両ではないと判断され（Ｓ１０７：ｎｏ）、例えば、「この端末で操作できる車両ではありません」等の正規車両では無い旨の通知を出力して操作画面に表示し（Ｓ１１１）、車両の遠隔操作機能を終了させると共に、携帯端末１００の遠隔操作アプリケーションを終了する。すなわち、遠隔操作が実行されないまま一連の処理が終了する。車両１の使用者２は、表示を確認することにより、撮影した車両が操作を意図した車両とは異なるか、或いは、誤って自己のものではない車両を操作しようとしていたことを理解できる。このように遠隔操作の開始の適否を判断することにより、携帯端末１００に予め登録されている車両以外の車両が誤って遠隔操作されることが防止される。
　一方、予め記憶されている情報と、画像から取得したナンバープレートの記載事項が一致し、或いは、これに代えてまたはこれに加えて車両の形状や色が一致した場合には、携帯端末１００の操作対象となる車両、すなわち正規車両であると判断され（Ｓ１０７：ｙｅｓ）、距離情報取得部１０７において、車両の画像を解析して距離情報が検出される（Ｓ１０８）。この解析には、先に正規車両か否かの判断に用いられた車両の画像がそのまま用いられる。検出結果は、例えば操作画面で黒三角印の位置を更新する等により表示され、或いは、「操作可能圏内」、「操作可能圏外」といった文字で表示される。
　取得された距離情報から、携帯端末１００から車両１までの距離が許容距離を越えると判断されると（Ｓ１０９：ｎｏ）、操作画面には車両に近づくように指示が表示され（Ｓ１１０）、Ｓ１０２に戻る。そして、車両１の使用者２に対して車両の撮影指示が表示され（Ｓ１０２）、以降のステップ（Ｓ１０２～Ｓ１０９）が繰り返される。正規車両か否かと、許容距離以下か否かの判断とは、同一の車両画像で行われるため、車両に近づいて再撮影となる場合は、正規車両か否かの判断も改めて行われることになる。
　このようにして撮影、抽出、判断の各ステップ（Ｓ１０２～Ｓ１０９）が繰り返されるうち、車両１までの距離が許容距離以内であると判断されると（Ｓ１０９：ｙｅｓ）、車両１に対する遠隔操作を許容される条件が整うため、図６に示されるフローに進み、遠隔操作が実行される。この際、操作画面には、例えば、車両１の使用者２に対して遠隔操作が可能になった旨或いは、操作開始を促す旨が表示され、使用者２は、操作画面上に表示されたアイコンやボタンなどを操作し、或いは、操作ボタン１２０ａ～１２０ｄを操作して、遠隔操作を開始する。
　図６には、図５に続くフローすなわち遠隔操作が許容された後の、遠隔操作の実行フローが示されている。遠隔操作が許容される状態になると、車両１の使用者２は、車両１を現在の位置から駐車枠３に向けて移動させるための進行方向や旋回方向を見定め、操作しようとする内容に応じて操作部１１２を操作する。すなわち、操作画面上のアイコンやボタンなどを操作し、或いは、操作ボタン１２０ａ～１２０ｄを操作する。これにより、その操作内容が操作内容検出部１１１によって検出される（Ｓ１１２）。
　次いで、検出された操作内容が判断される（Ｓ１１３）。操作内容が遠隔操作の終了ではない場合は（Ｓ１１３：ｎｏ）、車両１を移動等させる意図の操作が行われているので、操作内容検出部１１１は、操作内容に従った操作信号を生成して操作信号送信部１１０に出力し、操作信号送信部１１０から、車両１に向けて検出した操作内容に応じた操作信号を送信する（Ｓ１１４）。例えば、操作ボタン１２０ａが押された場合は、左操舵の操作信号が車両１に送信されて車輪が左方向に据え切りされる。操作ボタン１２０ａおよび１２０ｂが共に押された場合は、左操舵および前進の操作信号が同時に車両１に送信されて、車両１が前進しつつ左に旋回させられる。操作ボタン１２０ｃが押された場合は、後退の操作信号が車両１に送信されて、車両１が後退させられる。また、自動駐車ボタン１２３がタップされた場合は、車両１が駐車枠３に向かってまっすぐ後退させられる。例示した以外の他の操作についても、これらと同様に、押された操作ボタン１２０等に対応する操作信号が送信され、車両１が移動等させられる。
　上述したように操作信号が送信されて車両１が移動すると、携帯端末１００との距離が変化するため、遠隔操作の許容距離に保たれていることの確認が行われる。この確認処理は、安全確保のために必要な手順であり、例えば、遠隔操作を開始する際と同様に、撮影画像を解析して距離情報を検出することで行われる。すなわち、操作信号が送信された後、画像取得部１０２はその時点で撮影部１０１で撮影された画像を改めて取得し（Ｓ１１５）、その撮影画像から車両の画像を抽出し、更に、車両の画像を解析して距離情報を検出する（Ｓ１１６）。検出結果は、例えば操作画面で黒三角印の位置を更新する等により表示され、或いは、「操作可能圏内です」といった文字で表示される。次いで、検出された距離情報から、車両１までの距離が許容距離以内であるか否かを判断する（Ｓ１１７）。許容距離以内であれば（Ｓ１１７：ｙｅｓ）、Ｓ１１２に戻って、改めて操作部１１２に対する操作内容が検出され、以下の各ステップが繰り返される。しかしながら、車両１が使用者２から遠ざかる方向に移動させられることなどにより、現在の距離が許容距離以内ではないと判断された場合には（Ｓ１１７：ｎｏ）、操作画面には車両に近づくように指示が表示され（Ｓ１１８）、次いで、再び撮影画像の取得（Ｓ１１５）に進んで、以下の各ステップが繰り返される。
　このように、上記Ｓ１１２からＳ１１８の各ステップが繰り返されることにより、順次撮影され且つ取得される撮影画像に基づき、その携帯端末１００から車両１までの距離を許容距離以下に保ったまま遠隔操作が行われる。そのため、車両１の周囲の状況を確認しつつ安全に遠隔操作を行うことができる。
　なお、１回の操作信号送信（Ｓ１１４）の後に車両の画像を解析した際に（Ｓ１１６）、画像中に車両が存在しなくなっていた場合は、その旨を表示装置１０４に表示して、例えば、遠隔操作を自動的に終了するか、或いは、「操作者に対して車両の撮影を指示」（図５のＳ１０２）に戻り、改めて正規車両か否かの判断を行う。遠隔操作が自動的に終了した場合は、車両１の使用者２は、必要であれば、改めて遠隔操作の開始処理を実行する。
　上記の各ステップが繰り返される過程で、操作内容が遠隔操作の終了指示であると判断されると（Ｓ１１３：ｙｅｓ）、操作信号送信部１１０から、車両１に対して、遠隔操作機能の終了指示信号が送信される（Ｓ１１９）。例えば、車両１を目的とした駐車位置まで移動できると、車両１の使用者２は、例えば操作画面上に設けられている操作終了ボタン１２４をタップする等の操作を行う。これにより、遠隔操作の終了が操作内容検出部１１１によって検出され、上記処理が実行される。終了指示信号を受けた車両１は、遠隔操作機能を終了させる。携帯端末１００は、車両１に向けて遠隔操作機能終了の指示を出した後、遠隔操作アプリケーションが終了する。なお、例えば、車両１から携帯端末１００に向けて終了指示の応答信号を返信するようにして、携帯端末１００は、その応答信号を確認した後に遠隔操作アプリケーションを終了させるようしてもよい。
　なお、以上の各ステップは、車両１を遠隔操作によって駐車する場合について説明したが、車両１を駐車位置から出す場合も、車両の移動方向等が異なる他は、駐車する場合と何ら変わりなく、同様な遠隔操作で行うことができる。
　このように、本実施例の携帯端末１００は、撮影画像に基づいて車両１までの距離に関する距離情報を取得して、携帯端末１００から車両１までの距離が許容距離以内である場合に、遠隔操作が許容されて、携帯端末１００から操作信号が車両１に送信されることから、そのため、車両１の使用者２が携帯端末１００を携帯していれば、車両１の周辺にいるか否かを判断できるので、電子キーを携帯していなくとも、使用者２が車両１の周辺にいれば、携帯端末１００を用いて車両１を遠隔操作で移動させることができる。
　また、本実施例の携帯端末１００は、撮影画像を表示する表示装置１０４を備えると共に、その下方であって同一面上に操作部１１２を構成する操作ボタン１２０を備えており、操作内容検出部１１１において操作内容を検出して、操作信号送信部１１０から車両１に操作信号を送信するようになっている。そのため、表示装置１０４で操作対象の車両１を視覚的に確認しつつ遠隔操作を行うことができるので、一層安全に操作を行うことができる。
　また、本実施例の携帯端末１００は、操作対象となる車両１を識別するためのナンバープレート記載事項等を車両識別情報記憶部１０６に記憶し、撮影画像中の車両画像から車両識別情報を抽出して、正規車両判断部１０５において操作対象とできる正規車両であるか否かを判断し、携帯端末１００から車両１までの距離が許容距離以内であり、且つ正規車両と判断された場合に、その車両１に向けて遠隔操作信号が送信される。そのため、操作対象ではない車両を誤って撮影してその撮影画像に基づいて許容距離以内であると判断して、目的とする車両１との距離の適否を判断しないまま、その車両１の遠隔操作が行われてしまうことが抑制される。携帯端末１００で操作できるのは、車両との間で認証される車両１に限られるので、他の車両が遠隔操作されることはない。また、車両１の使用者２は、対象とする車両１を表示装置１０４の表示および目で直接確認しながら遠隔操作を行うことができるので、表示装置１０４に他の車両が表示されている場合も速やかに気がつき、撮影対象を変更できる。したがって、正規車両であるか否かの判断が行われなくとも、遠隔操作の安全性は十分に確保されるが、その判断を予め行うようにすれば、一層高い安全性が得られる。
　図７は、携帯端末１００の他の内部構造例を説明する図であり、図２に対応する図である。図２と共通する部分には、同一の符号を付して説明を省略する。
　この実施例では、自動合焦部１２６が備えられており、撮影部１０１には、焦点距離を変更するためのレンズ駆動機構が備えられている。自動合焦部１２６は、位相差式、像面位相差式、或いはコントラスト式等のよく知られたパッシブ方式の自動合焦機能を備えたもので、撮影部１０１から画像を取得して、その撮影画像を解析して焦点距離調節量を算出し、撮影部１０１に対して焦点位置変更信号を出力する。撮影部１０１は、レンズ駆動機構を作動させることにより、その焦点位置変更信号に応じて、レンズを繰り出し或いは引き込んで焦点位置を変更し、車両１に合焦させる。
　このようにして車両１に合焦したとき、自動合焦部１２６は、撮影部１０１における実際のレンズ繰り出し量を検出し、その繰り出し量信号を距離情報取得部１０７に出力する。或いは、繰り出し量信号に代えて、合焦したときに自動合焦部１２６から撮影部１０１に出力されていた焦点位置変更信号を距離情報取得部１０７に出力してもよい。距離情報取得部１０７は、受け取った繰り出し量信号或いは焦点位置変更信号に基づき、合焦したときの焦点距離すなわち携帯端末１００から車両１までの距離を算出し、距離情報信号を判断部１０９に出力する。判断部１０９では、図２に示した場合と同様に、正規車両であるか否かの判断と併せて許容距離以内であるか否かの判断が行われる。本実施例では、このように、前述した実施例とは距離情報の取得方法が相違し、車両寸法情報記憶部１０８に予め車両寸法情報を入力する必要がない。
　図８は、上記内部構造に対応する処理フローを示した図である。この処理フローは、図５に対応するものであって、その図５との相違部分を中心に説明する。車両１の使用者２に対して車両の撮影が指示されることにより（Ｓ１０２）、携帯端末１００の撮影部１０１が車両１に向けられて撮影が開始されると、自動合焦部１２６は、撮影部１０１から逐次送られる画像データを処理し、その焦点位置を変更して車両１に合焦させる（Ｓ１２０）。次いで、画像取得部１０２が撮影画像を取得し（Ｓ１０３）、撮影画像中の車両の抽出（Ｓ１０４）以下の各ステップが実行される。
　そして、車両画像の解析結果から正規車両であることが判断されると（Ｓ１０７：ｙｅｓ）、その車両画像の元となる撮影画像を取得した際に、自動合焦部１２６から送られたレンズの繰り出し量信号或いは焦点位置変更信号、すなわち、焦点位置情報に基づき、距離情報取得部１０７において、携帯端末１００から車両１までの距離情報が取得される（Ｓ１２１）。このように、この処理フローでは、距離情報の検出には車両画像が用いられず、自動合焦部１２６が合焦時に出力した焦点位置情報に基づいて取得された距離情報が用いられる。
　なお、この実施例の場合にも、遠隔操作処理は、図６に示したものと同様なフローに従って実行される。その際、距離情報の検出（Ｓ１１６）に代えて、上記図８に示した「焦点距離情報から車両までの距離を算出」（Ｓ１２１）と同様に、自動合焦部１２６から得た情報に基づいて、携帯端末１００から車両１までの距離が取得される。
　図９には、携帯端末１００の他の実施例の表示例が示されている。この表示例では、操作画面の上部に、距離表示部１２２に代えて、距離表示部１２８が設けられている。距離表示部１２８は、幅広の許容距離バーとその左側の「近」との間に破線が表示されている。この破線は「遠」側と同様に遠隔操作の許容範囲外を表したもので、この例では、携帯端末１００と車両１と距離が一定距離以下になると、遠隔操作が禁止されるようになっている。
　例えば、使用者２が車両１に近づきすぎると、操作方向を誤った場合などに接触する可能性がある。そのため、この実施例では、許容距離の上限値に加えて下限値も定められており、判断部１０９における許容距離以内か否かの判断、すなわち、処理フローにおいて、「車両までの距離は許容距離以内か」（Ｓ１０９、Ｓ１１７）との判断は、その上下限の範囲内にある場合に許容距離以内と判断するものとなる。
　本開示に記載されるフローチャート、あるいは、フローチャートの処理は、複数の部（あるいはステップと言及される）から構成され、各部は、たとえば、Ｓ１００と表現される。さらに、各部は、複数のサブ部に分割されることができる、一方、複数の部が合わさって一つの部にすることも可能である。さらに、このように構成される各部は、サーキット、デバイス、モジュール、ミーンズとして言及されることができる。
　また、上記の複数の部の各々あるいは組合わさったものは、(i)　ハードウエアユニット（例えば、コンピュータ）と組み合わさったソフトウエアの部のみならず、(ii)　ハードウエア（例えば、集積回路、配線論理回路）の部として、関連する装置の機能を含みあるいは含まずに実現できる。さらに、ハードウエアの部は、マイクロコンピュータの内部に構成されることもできる。
　本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範畴や思想範囲に入るものである。

Claims (8)

  1. 　車両（１）の使用者によって携帯されて、前記使用者の操作に応じた操作信号を前記車両に送信することによって、前記車両を遠隔操作で移動させることが可能な携帯端末であって、
    　前記車両を撮影する撮影部（１０１）に接続されて、該撮影部から撮影画像を取得する画像取得部（１０２）と、
    　前記撮影画像に基づいて前記車両までの距離に関する距離情報を取得する距離情報取得部（１０７）と、
    　前記車両までの距離が所定の許容距離以内であるか否かを、前記距離情報に基づいて判断する判断部（１０９）と、
    　前記車両までの距離が前記許容距離以内であると判断された場合には、前記車両に向けて、前記操作信号を送信する操作信号送信部（１１０）と
    　を備える携帯端末。
  2. 　請求項１に記載の携帯端末であって、
    　前記撮影画像を表示する画像表示部（１０３）と、
    　前記使用者が前記撮影画像の表示を確認しながら操作可能に設けられた操作部（１１２）に接続されて、前記操作部に対する操作内容を検出する操作内容検出部（１１１）と
    　をさらに備える携帯端末。
  3. 　請求項１または請求項２に記載の携帯端末であって、
    　前記距離情報取得部は、前記撮影画像に写った前記車両の大きさに基づいて、前記距離情報を取得する
    　携帯端末。
  4. 　請求項１または請求項２に記載の携帯端末であって、
    　前記撮影画像を解析して前記撮影部の焦点位置を変更することにより、前記撮影部を前記車両に合焦させる自動合焦部（１２６）をさらに備え、
    　前記距離情報取得部は、前記自動合焦部が変更した前記撮影部の焦点位置の情報に基づいて、前記距離情報を取得する
    　携帯端末。
  5. 　請求項１ないし請求項４の何れか一項に記載の携帯端末であって、
    　前記使用者による前記遠隔操作の対象となる正規車両を識別するための車両識別情報を、記憶している車両識別情報記憶部（１０６）と、
    　前記撮影画像に写った前記車両の画像から前記車両識別情報を抽出することによって、前記車両が前記正規車両か否かを判断する正規車両判断部（１０５）と
    　をさらに備え、
    　前記操作信号送信部は、前記車両までの距離が前記許容距離以内であると判断され、尚且つ、前記車両が前記正規車両であると判断された場合に、前記操作信号を送信する
    　携帯端末。
  6. 　請求項３に記載の携帯端末であって、
    　前記使用者による前記遠隔操作の対象となる正規車両の車両寸法に関する車両寸法情報を、記憶している車両寸法情報記憶部（１０８）をさらに備え、
    　前記距離情報取得部は、前記撮影画像に写った前記車両の大きさと、前記車両寸法情報とに基づいて、前記距離情報を取得する
    　携帯端末。
  7. 　請求項１ないし請求項６の何れか一項に記載の携帯端末であって、
    　前記車両から送信された所定の認証要求信号を受信する受信部（１１３）と、
    　前記認証要求信号が受信されると、予め記憶されている所定の認証信号を送信する認証信号送信部（１１４）と
    　をさらに備える携帯端末。
  8. 　車両の使用者によって携帯された携帯端末を用いて、前記車両を遠隔操作で移動させる遠隔操作方法であって、
    　前記携帯端末に搭載された撮像部から、前記車両を撮影した撮影画像を取得し（Ｓ１０３）、
    　前記撮影画像に基づいて前記車両までの距離に関する距離情報を取得し（Ｓ１０８）、
    　前記車両までの距離が所定の許容距離以内であるか否かを、前記距離情報に基づいて判断し（Ｓ１０９）、
    　前記車両までの距離が前記許容距離以内であると判断された場合には、前記使用者の操作に応じた操作信号を、前記車両に向けて送信する（Ｓ１１４）
    　ことを含む遠隔操作方法。
PCT/JP2018/012626 2017-09-20 2018-03-28 携帯端末及び遠隔操作方法 WO2019058611A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112018005318.0T DE112018005318T5 (de) 2017-09-20 2018-03-28 Mobiles endgerät und fernsteuerverfahren
US16/806,025 US11520328B2 (en) 2017-09-20 2020-03-02 Mobile terminal and remote operation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-179716 2017-09-20
JP2017179716A JP6816684B2 (ja) 2017-09-20 2017-09-20 携帯端末、遠隔操作方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/806,025 Continuation US11520328B2 (en) 2017-09-20 2020-03-02 Mobile terminal and remote operation method

Publications (1)

Publication Number Publication Date
WO2019058611A1 true WO2019058611A1 (ja) 2019-03-28

Family

ID=65809695

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/012626 WO2019058611A1 (ja) 2017-09-20 2018-03-28 携帯端末及び遠隔操作方法

Country Status (4)

Country Link
US (1) US11520328B2 (ja)
JP (1) JP6816684B2 (ja)
DE (1) DE112018005318T5 (ja)
WO (1) WO2019058611A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634654A (zh) * 2019-09-24 2021-04-09 本田技研工业株式会社 远程泊车系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7167716B2 (ja) 2019-01-07 2022-11-09 トヨタ自動車株式会社 車外から車両を操作するためのプログラム
JP7094255B2 (ja) * 2019-09-24 2022-07-01 本田技研工業株式会社 車両制御システム
JP6843209B1 (ja) * 2019-10-24 2021-03-17 三菱電機株式会社 無線遠隔操作装置
CN114519935B (zh) * 2020-11-20 2023-06-06 华为技术有限公司 道路识别方法以及装置
KR20220152475A (ko) * 2021-05-07 2022-11-16 현대자동차주식회사 자율 주행 원격 제어 관리 장치, 그를 포함하는 시스템 및 그 방법
JP7360484B2 (ja) * 2022-01-24 2023-10-12 本田技研工業株式会社 制御装置、制御システム、制御方法、及び制御プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014065392A (ja) * 2012-09-25 2014-04-17 Aisin Seiki Co Ltd 携帯端末、遠隔操作システム、遠隔操作方法、及びプログラム
WO2014103158A1 (ja) * 2012-12-27 2014-07-03 パナソニック株式会社 映像表示方法
JP2015089733A (ja) * 2013-11-06 2015-05-11 トヨタ自動車株式会社 駐車支援システム
JP2016151913A (ja) * 2015-02-18 2016-08-22 三菱自動車工業株式会社 運転支援装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012016868A1 (de) 2012-08-25 2014-02-27 Audi Ag Verfahren und System zum Betreiben eines Fahrzeugs unter Überwachung der Fortbewegung des Fahrzeugs mit Hilfe einer Kameraeinrichtung einer mobilen Bedieneinrichtung
JP6354541B2 (ja) 2014-11-26 2018-07-11 株式会社デンソー 車両遠隔操作システム、携帯通信機
DE102015223471A1 (de) 2015-11-26 2017-06-01 Bayerische Motoren Werke Aktiengesellschaft System zum Einparken eines Fahrzeugs
JP6652422B2 (ja) 2016-03-28 2020-02-26 カネソウ株式会社 工具保管装置および回転作業用工具
RU2735340C1 (ru) * 2017-06-23 2020-10-30 Ниссан Мотор Ко., Лтд. Способ управления парковкой и устройство управления парковкой
CN111032443B (zh) * 2017-08-10 2023-03-07 日产自动车株式会社 泊车控制方法及泊车控制装置
US10479356B1 (en) * 2018-08-17 2019-11-19 Lyft, Inc. Road segment similarity determination
US10821972B2 (en) * 2018-09-13 2020-11-03 Ford Global Technologies, Llc Vehicle remote parking assist systems and methods
JP7097867B2 (ja) * 2019-09-24 2022-07-08 本田技研工業株式会社 遠隔駐車システム
JP7000401B2 (ja) * 2019-11-21 2022-01-19 本田技研工業株式会社 車両制御装置、車両、車両制御装置の動作方法およびプログラム
CA3177392A1 (en) * 2020-10-04 2022-04-07 Strong Force Iot Portfolio 2016, Llc Industrial digital twin systems and methods with echelons of executive, advisory and operations messaging and visualization

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014065392A (ja) * 2012-09-25 2014-04-17 Aisin Seiki Co Ltd 携帯端末、遠隔操作システム、遠隔操作方法、及びプログラム
WO2014103158A1 (ja) * 2012-12-27 2014-07-03 パナソニック株式会社 映像表示方法
JP2015089733A (ja) * 2013-11-06 2015-05-11 トヨタ自動車株式会社 駐車支援システム
JP2016151913A (ja) * 2015-02-18 2016-08-22 三菱自動車工業株式会社 運転支援装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634654A (zh) * 2019-09-24 2021-04-09 本田技研工业株式会社 远程泊车系统
US11535243B2 (en) 2019-09-24 2022-12-27 Honda Motor Co., Ltd. Remote parking system

Also Published As

Publication number Publication date
US20200201320A1 (en) 2020-06-25
JP2019057767A (ja) 2019-04-11
DE112018005318T5 (de) 2020-06-18
JP6816684B2 (ja) 2021-01-20
US11520328B2 (en) 2022-12-06

Similar Documents

Publication Publication Date Title
US11520328B2 (en) Mobile terminal and remote operation method
US10071730B2 (en) Vehicle parking control
US11179981B2 (en) Vehicle trailer connect system
US8907797B2 (en) Driver monitoring apparatus
US20160375831A1 (en) Hitching assist with pan/zoom and virtual top-view
JP4822116B2 (ja) 車両及び遠隔操作装置
JP2007295033A (ja) 遠隔操作制御装置およびその操作端末
JP5817333B2 (ja) 車両用遠隔操作装置
CN109716413B (zh) 借助移动控制器对机动车辆进行遥控的方法以及遥控系统
US20190286123A1 (en) Remote vehicle control device and remote vehicle control method
JP4458284B2 (ja) 遠隔操作装置
US11181909B2 (en) Remote vehicle control device, remote vehicle control system, and remote vehicle control method
CN112824172B (zh) 车辆控制装置、车辆、车辆控制装置的动作方法以及存储介质
US11256247B2 (en) Vehicle control system
JP7075909B2 (ja) 車両制御システム
CN112825530B (zh) 车辆控制装置、车辆、车辆控制装置的动作方法以及存储介质
US20190286118A1 (en) Remote vehicle control device and remote vehicle control method
JP5136315B2 (ja) 運転支援装置
US11327479B2 (en) Vehicle control system
JP6413647B2 (ja) 操作入力装置
CN114007928B (zh) 通过基于摄像机确定的相对于机动车的距离用于实施机动车的调动过程的方法和调动辅助系统
KR101663290B1 (ko) 영상과 거리 보정을 통한 주차 보조 시스템
JP6413645B2 (ja) 操作入力装置
JP6992707B2 (ja) 駐車支援装置
CN112997191A (zh) 驾驶员图像采集的方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18859096

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18859096

Country of ref document: EP

Kind code of ref document: A1