WO2018021025A1 - 歩行者位置検出装置 - Google Patents
歩行者位置検出装置 Download PDFInfo
- Publication number
- WO2018021025A1 WO2018021025A1 PCT/JP2017/025387 JP2017025387W WO2018021025A1 WO 2018021025 A1 WO2018021025 A1 WO 2018021025A1 JP 2017025387 W JP2017025387 W JP 2017025387W WO 2018021025 A1 WO2018021025 A1 WO 2018021025A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- vehicle
- pedestrian
- ultrasonic
- output
- position detection
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 88
- 230000004044 response Effects 0.000 claims abstract description 89
- 239000000284 extract Substances 0.000 claims abstract description 6
- 238000004891 communication Methods 0.000 claims description 86
- 238000000605 extraction Methods 0.000 claims description 18
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000001678 irradiating effect Effects 0.000 claims description 2
- 238000002604 ultrasonography Methods 0.000 abstract 3
- 238000012986 modification Methods 0.000 description 38
- 230000004048 modification Effects 0.000 description 38
- 238000000034 method Methods 0.000 description 28
- 230000005540 biological transmission Effects 0.000 description 27
- 230000008569 process Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Definitions
- the present disclosure relates to a technique for detecting the position of a pedestrian mounted on a vehicle and existing around the vehicle.
- a technique for detecting the position of the pedestrian existing around the vehicle a technique for detecting the position of the pedestrian by analyzing an image captured by the in-vehicle camera, or a position transmitted by the portable information terminal of the pedestrian A technique for detecting the position of a pedestrian based on information is known.
- the technology using the position information of the portable information terminal may not be suitable for the purpose of detecting a pedestrian position and preventing a traffic accident because an error larger than the width of the road may occur. Therefore, in order to be able to detect the position of the pedestrian with sufficient accuracy, in addition to the position information of the pedestrian, by acquiring information about the distance to the pedestrian based on the radio wave intensity from the portable information terminal A technique for improving detection accuracy has been proposed. However, in order to detect the position of the pedestrian based on the position information of the portable information terminal, the position information must be continuously transmitted from the portable information terminal. It's not a natural way.
- a technique for analyzing an image taken with an in-vehicle camera can detect the position of a pedestrian with sufficient accuracy.
- this technology has sufficient reliability because it has already been used in many devices.
- it is possible to detect a pedestrian with sufficient accuracy even from an image in which the whole body of the pedestrian is not captured for example, an image in which the pedestrian's half body is captured.
- a technique for detecting a pedestrian by analyzing an image taken by an in-vehicle camera cannot detect a pedestrian in a position that cannot be seen from the in-vehicle camera, such as the other side of a wall.
- a technique for detecting a pedestrian using an in-vehicle radar that emits electromagnetic waves such as millimeter waves has been widely used.
- This disclosure is intended to provide a technique capable of detecting the position of a pedestrian, including a position that cannot be seen from the on-vehicle camera or the on-vehicle radar, when detecting the pedestrian using the on-vehicle camera or the on-vehicle radar.
- the pedestrian position detection device analyzes the image signal of the in-vehicle camera or analyzes the reflection signal of the electromagnetic wave emitted from the in-vehicle radar or the in-vehicle laser, and walks around the vehicle. The location of the person is detected. Further, a target area that requires an inquiry about the presence of a pedestrian is extracted. Then, by driving an ultrasonic output device mounted on the vehicle, an ultrasonic wave is output toward the target region, and a response signal transmitted wirelessly from the target region in response to the ultrasonic wave is detected. Based on the detection result of the response signal obtained in this way and the pedestrian location detected earlier, the pedestrian location around the vehicle is determined.
- a pedestrian may think that he / she carries a portable information terminal having a call function such as a so-called mobile phone or smart phone, and if it is a portable information terminal having a call function, the function of detecting ultrasonic waves has already been established. I have.
- ultrasonic waves are a kind of sound, it can be considered that they are transmitted to the shadows of buildings and vehicles due to diffraction, reflection, and transmission. Therefore, if a pedestrian is present in a shadow target area such as a building or a vehicle, ultrasonic waves are output toward the target area, so that the pedestrian's portable information terminal detects the ultrasonic wave. A response signal to can be transmitted.
- FIG. It is explanatory drawing which shows the reason which can determine the presence or absence of a pedestrian by outputting an ultrasonic signal toward the target area
- FIG. It is a flowchart of the pedestrian position detection process which the pedestrian position detection apparatus 100 of this embodiment performs.
- 4 is an explanatory diagram illustrating a state in which an ultrasonic signal is output toward a target region R.
- FIG. It is explanatory drawing about the data structure of the ultrasonic signal which the ultrasonic output device 13 outputs. It is explanatory drawing about the data structure of the response signal transmitted from the portable information terminal. It is a block diagram which shows the internal structure of the pedestrian position detection apparatus 130 of a 1st modification.
- FIG. It is explanatory drawing which shows a mode that the vehicle 1 carrying the pedestrian position detection apparatus 170 of a 3rd modification outputs an ultrasonic signal toward the object area
- FIG. It is a block diagram which shows the internal structure of the pedestrian position detection apparatus 190 of a 4th modification. It is explanatory drawing about the 4th modification which outputs an ultrasonic signal to the object area
- FIG. 1 shows a rough configuration of a vehicle 1 on which a pedestrian position detection device 100 according to this embodiment is mounted.
- the vehicle 1 includes a driving support device 10, an in-vehicle camera 11, an electromagnetic wave irradiation device 12, an ultrasonic output device 13, a wireless communication device 14, and the like. I have.
- the in-vehicle camera 11 acquires a photographed image obtained by photographing the front of the vehicle 1 and outputs it to the pedestrian position detection device 100.
- the electromagnetic wave irradiation device 12 is a so-called in-vehicle radar, which detects an obstacle existing in front of the vehicle 1 by emitting a radio wave toward the front of the vehicle 1 and detects the detected result as a pedestrian position. Output to the device 100.
- the electromagnetic wave irradiation apparatus 12 can also use a vehicle-mounted laser rider instead of a vehicle-mounted radar.
- the vehicle-mounted laser rider can detect an obstacle existing in front of the vehicle 1 by emitting a laser beam that is a kind of electromagnetic wave toward the front of the vehicle 1 and detecting reflected light.
- the pedestrian position detection device 100 can detect the position of a pedestrian existing around the vehicle 1 by analyzing a captured image acquired from the in-vehicle camera 11. Further, the electromagnetic wave (including the laser beam) irradiated from the electromagnetic wave irradiation device 12 is reflected by the obstacle and the electromagnetic wave returned is detected so that the obstacle is a structure such as a building or a pedestrian. Can be determined. As a result, the position of a pedestrian existing around the vehicle 1 can also be detected by the electromagnetic wave irradiation device 12.
- an ultrasonic output device 13 is connected to the pedestrian position detection device 100. Under the control of the pedestrian position detection device 100, the ultrasonic output device 13 outputs an ultrasonic wave aiming at a desired place existing around the vehicle 1. Since the ultrasonic wave has a high vibration frequency and therefore a short wavelength, the ultrasonic wave can be output in a narrow range.
- the ultrasonic output device 13 is mounted on the vehicle 1 in a state in which the direction can be changed in the left-right direction and the up-down direction. Can output ultrasonic waves.
- the ultrasonic output device 13 may be formed using a speaker array in which a plurality of small speakers capable of outputting ultrasonic waves are arranged.
- a wireless communication device 14 is connected to the pedestrian position detection device 100, and the pedestrian position detection device 100 performs wireless communication with communication devices existing around the vehicle 1 via the wireless communication device 14. can do.
- the pedestrian position detection device 100 outputs ultrasonic waves toward the object and receives radio waves from surrounding communication devices. In this way, it is possible to accurately detect pedestrians present in the vicinity, including pedestrians at locations hidden from the vehicle 1 in the shade.
- FIG. 2 shows a rough internal configuration of the pedestrian position detection device 100 of the present embodiment.
- the pedestrian position detection device 100 of the present embodiment includes a signal acquisition unit 101, a signal analysis unit 102, a target region extraction unit 103, an ultrasonic output unit 104, and a response signal detection unit 105.
- the pedestrian position determination unit 106 is provided.
- these “parts” are abstract concepts that are conveniently classified from the viewpoint of functions for the inside of the traffic support device, and that the traffic support device is physically divided into these “parts”. It does not represent. Therefore, these “units” can be realized as a computer program executed by the CPU, can be realized as an electronic circuit including an LSI, or can be realized as a combination thereof.
- the signal acquisition unit 101 is connected to the in-vehicle camera 11 and the electromagnetic wave irradiation device 12.
- the in-vehicle camera 11 captures the front of the vehicle 1.
- the signal acquisition unit 101 acquires a captured image captured by the in-vehicle camera 11 and outputs the acquired image to the signal analysis unit 102.
- the electromagnetic wave irradiation device 12 is a so-called in-vehicle radar, which radiates a radio wave toward the front of the vehicle 1 and receives a radio wave that has been reflected and returned, thereby receiving a reflected signal indicating the presence of an obstacle.
- the data is output to the acquisition unit 101.
- the signal acquisition unit 101 outputs the reflection signal acquired from the electromagnetic wave irradiation device 12 to the signal analysis unit 102.
- the electromagnetic wave irradiation device 12 may use a so-called in-vehicle laser rider (LIDAR) instead of the in-vehicle radar.
- LIDAR in-vehicle laser rider
- the signal acquisition unit 101 receives a reflected signal indicating the presence of an obstacle by irradiating laser light instead of radio waves and detecting reflected light that has been reflected and returned.
- the signal acquisition unit 101 can output the acquired reflected signal to the signal analysis unit 102.
- the signal analysis unit 102 detects a pedestrian, a vehicle, a building, or the like shown in the captured image by analyzing the image signal acquired by the signal acquisition unit 101. And when a pedestrian is detected, the relative position with respect to the vehicle 1 is detected.
- the in-vehicle camera 11 Since the in-vehicle camera 11 is fixedly attached to the vehicle 1, if the position where the pedestrian is captured in the captured image is detected, the relative position with respect to the vehicle 1 is detected by rereading the position in the captured image. be able to. Further, when a vehicle or a building (hereinafter, the vehicle and the building are collectively referred to as “structure”) is detected, the relative position of the structure with respect to the vehicle 1 and the size of the structure are detected. . As described above, since the vehicle-mounted camera 11 is fixedly attached to the vehicle 1, if the position and size of the structure in the captured image are known, the size of the structure (ie, width and height). ) Can also be detected.
- the signal analysis part 102 can detect the position of a pedestrian also by analyzing the reflected signal from the electromagnetic wave irradiation apparatus 12, and can detect a position and a magnitude
- the electromagnetic wave irradiation device 12 outputs pulsed electromagnetic waves (including laser light), and the elapsed time until the output electromagnetic waves are reflected back by obstacles such as pedestrians and structures. Based on this, the distance to the obstacle can be detected.
- the direction which outputs electromagnetic waves is changed so that the front of the vehicle 1 may be scanned, it is based on the direction which electromagnetic waves were output when it reflected by an obstacle and electromagnetic waves returned. Can be detected.
- a pedestrian and a structure can be distinguished from the intensity of electromagnetic waves reflected and returned. That is, if the intensity of the electromagnetic wave is small, it can be determined that the obstacle is a pedestrian. Conversely, if the intensity of the electromagnetic wave is large, it can be determined that the obstacle is a structure such as a vehicle or a building. it can. As described above, even when the electromagnetic wave irradiation device 12 is used, the time until the reflected electromagnetic wave (that is, the reflected signal) returns and the intensity of the reflected electromagnetic wave are detected while changing the direction in which the electromagnetic wave is output. Thus, the position of the pedestrian and the position and size of the structure can be detected.
- the pedestrian position determination unit 106 acquires information on the position of the pedestrian detected by the signal analysis unit 102, thereby determining a pedestrian position existing around the vehicle 1.
- the method of analyzing the captured image of the in-vehicle camera 11 and the reflected signal of the electromagnetic wave irradiation device 12 cannot detect a pedestrian hidden behind a structure (such as a vehicle or a building). Therefore, when the target region extraction unit 103 acquires the detection result of the structure from the signal analysis unit 102, the target region extraction unit 103 extracts a structure in which the pedestrian may be hidden behind. That is, when the structure is small, it may be considered that the pedestrian is not hidden, but when the structure becomes a certain size, the pedestrian may be hidden behind.
- a structure having a size larger than a predetermined size is extracted as a structure in which a pedestrian may be hidden behind.
- region where the extracted structure exists based on the vehicle 1 is extracted as an object area
- the response signal detection unit 105 detects the response signal received by the wireless communication device 14 within a predetermined time after outputting the ultrasonic wave from the ultrasonic output unit 104.
- a response signal is detected, information about the position of the target area where the response signal was received is acquired from the target area extraction unit 103 and output to the pedestrian position determination unit 106.
- the pedestrian position determination unit 106 uses the information about the position of the pedestrian acquired from the signal analysis unit 102 to determine whether the pedestrian is not hidden behind a structure (ie, a vehicle or a building). Has already determined the pedestrian position.
- the position of the pedestrian hidden behind the structure can be determined based on the position of the target area acquired from the target area extraction unit 103. By doing so, it is possible to determine all pedestrian positions existing around the vehicle 1 including pedestrians hidden behind the structure.
- the vehicle 1 is displayed on the assumption that the vehicle-mounted camera 11 and the electromagnetic wave irradiation device 12 (that is, the vehicle-mounted radar or the vehicle-mounted laser rider) are mounted.
- both the in-vehicle camera 11 and the electromagnetic wave irradiation device 12 are used for detecting a pedestrian or a structure existing in front of the vehicle 1 and have overlapping functions. Therefore, in actuality, it is sufficient that either one is mounted. Therefore, in the following description, it is assumed that the vehicle 1 is exclusively equipped with the in-vehicle camera 11.
- the captured image is an image as shown in FIG. 3A
- buildings A to D can be detected from the captured image in addition to pedestrians a to c.
- information on the position of the pedestrian and information on the position and size of the building ie, height and width
- the buildings B and D are too far away even if pedestrians are hiding, so the possibility that pedestrians are hiding behind is not considered.
- the building where the pedestrian may be hidden is the building A. Therefore, a portion between the building A and the building B on the other side is extracted as a target area.
- the white arrow shown in FIG. 3B represents the target region R extracted in this way.
- FIG. 4A illustrates a state in which the ultrasonic output device 13 outputs an ultrasonic wave toward the target region R.
- ultrasonic waves are also a kind of sound, they can wrap around behind obstacles by diffraction and reflection, so if there are pedestrians behind the building A, the ultrasonic waves should reach the pedestrians. Also, since ultrasonic waves cannot be heard by humans, pedestrians do not feel uncomfortable even when ultrasonic waves arrive. As long as the pedestrian carries a portable information terminal (so-called smart phone or mobile phone), ultrasonic waves can be detected using the portable information terminal. This point will be described in detail later.
- a program that wirelessly transmits a response signal when an ultrasonic wave is detected is incorporated in the portable information terminal in advance.
- a response signal is transmitted from the portable information terminal 20 carried by the pedestrian as shown in FIG. 4B.
- the presence of the person d can be detected.
- the pedestrian d behind the building A can be detected. If no response signal is transmitted, there are no pedestrians behind the building A. Therefore, the pedestrians existing around are all the pedestrians a to c detected from the captured images. Judgment can be made.
- FIG. 5 shows a flowchart of the pedestrian position detection process executed by the pedestrian position detection device 100.
- the pedestrian position detection process when the pedestrian position detection process is started, first, a captured image is acquired from the in-vehicle camera 11 (S101), and then a pedestrian and a target area in the captured image are detected (S102). ).
- the target region R is a region in which a pedestrian on the back side of a structure such as a building or a vehicle may be hidden.
- the target area R existing on the back side of the building in the captured image can be detected as described above with reference to FIGS. 3A and 3B. Further, the target region R existing on the back side of the vehicle can be detected as follows.
- the height of the vehicle shown in the photographed image is detected, and it is determined whether or not the pedestrian can hide it. If it is determined that the pedestrian can hide, a region having a predetermined width (for example, 1.5 m) existing on the back side of the vehicle is extracted as the target region R.
- a predetermined width for example, 1.5 m
- the target region R is extracted in consideration of not only the height but also the width of the building.
- the target region R is extracted without considering the width.
- the target area is detected from the captured image (S103).
- the target area is not detected (S103: no)
- the position of the pedestrian detected using the captured image is output to the driving support device 10 (S104).
- the position of the pedestrian existing around the vehicle 1 is output without omission.
- FIG. 6 illustrates a state in which an ultrasonic signal is output toward the target region R.
- the ultrasonic signal is the following signal.
- the ultrasonic output device 13 of the present embodiment can output ultrasonic waves having two frequencies, frequency F1 and frequency F2, and can switch between two states (that is, by switching the frequency of the ultrasonic waves). 1-bit information) can be expressed. Accordingly, the ultrasonic frequency is designated as either F1 or F2 at a certain time interval, and the ultrasonic wave having the designated frequency is output. In this way, it is possible to output multiple bits of information on the ultrasonic wave.
- the ultrasonic frequency output from the ultrasonic output device 13 is described as being two types of F1 and F2. However, it is possible to output ultrasonic waves having three or more types of frequencies.
- the description is made assuming that information is expressed by changing the frequency of the ultrasonic wave output from the ultrasonic output device 13 (that is, frequency modulation), but the sound pressure (that is, amplitude) of the ultrasonic wave is changed ( That is, information may be expressed by amplitude modulation.
- the information may be expressed by changing the phase with respect to the reference ultrasonic wave (that is, phase modulation).
- the information may be expressed by changing the frequency, amplitude, and phase in combination, such as changing the frequency and amplitude, or changing the amplitude and phase.
- FIG. 7 illustrates a data structure of an ultrasonic signal output from the ultrasonic output device 13.
- the data structure of the ultrasonic signal output from the ultrasonic output device 13 is a structure in which a transmission ID is followed by a response request command.
- the transmission ID of this embodiment corresponds to the “identification number” in the present invention.
- the response request command is a command for requesting the portable information terminal 20 (see FIG. 4B) that has received the ultrasonic signal to wirelessly return a response signal indicating that the ultrasonic signal has been received.
- the transmission ID is an identification number assigned to the ultrasonic signal itself.
- the ultrasonic output device 13 when the ultrasonic output device 13 outputs ultrasonic signals to two target regions, a separate identification number is assigned as a transmission ID to each ultrasonic signal. Moreover, when outputting an ultrasonic signal several times with respect to the same object area
- the pedestrian usually carries a portable information terminal 20 having a call function, such as a so-called mobile phone or smartphone. And if it is the portable information terminal 20 which has a telephone call function, an ultrasonic signal can be detected from the following reasons.
- the portable information terminal 20 having a call function is always equipped with a microphone.
- the microphone has a function of converting vibration in the air due to sound into an electric signal, and vibration due to ultrasonic waves can also be converted into an electric signal.
- the microphone is connected to a signal processing circuit that processes an electrical signal. By using this signal processing circuit, it is possible to determine the frequency of the ultrasonic wave and detect the ultrasonic signal.
- the portable information terminal 20 having a call function is already equipped with a microphone for receiving an ultrasonic signal and a signal processing circuit. Therefore, when an ultrasonic signal as shown in FIG. 7 is received, a program for returning the following response signal is incorporated in the portable information terminal 20 in advance.
- FIG. 8 illustrates a data structure of a response signal transmitted by the portable information terminal 20.
- the response signal has a data structure in which the transmission ID is followed by the top response code.
- the response code is information indicating that the response is to the ultrasonic signal.
- the transmission ID is a transmission ID read from the ultrasonic signal. That is, since the response signal is a signal returned to the ultrasonic signal received by the portable information terminal 20, the transmission ID included in the received ultrasonic signal is also included in the response signal.
- the portable information terminal 20 receives the ultrasonic signal from the ultrasonic output device 13, the portable information terminal 20 wirelessly transmits the response signal as described above.
- the pedestrian position detection device 100 outputs an ultrasonic signal aiming at the target region R, but the portable information terminal 20 does not consider in which direction the ultrasonic signal has arrived, and covers a wide range of surroundings. What is necessary is just to transmit a response signal toward. Moreover, although the portable information terminal 20 consumes electric power in order to transmit a response signal, since it should just transmit a response signal when an ultrasonic signal is received, it is not necessary to transmit frequently. For this reason, there is no possibility that the battery in the portable information terminal 20 is greatly consumed.
- the pedestrian position detection device 100 outputs an ultrasonic signal toward the target region R in S106 of FIG. 5, it is determined whether or not a response signal transmitted from within the target region R has been received. (S107). Since the portable information terminal 20 transmits the response signal wirelessly, the response signal can be received using the wireless communication device 14. Further, as described above, since the transmission signal is included in the response signal, it can be determined whether the response signal is from the target region R based on the transmission ID.
- the wireless communication device 14 receives the response signal and the transmission ID included in the received response signal matches the transmission ID of the ultrasonic signal, the target region R that has output the ultrasonic signal It is determined that the response signal has been received (S107: yes). On the other hand, if the wireless communication device 14 has not received a response signal, or if the transmission ID does not match even if the response signal is received, it is determined that the response signal from the target region R has not been received. (S107: no).
- a predetermined time for example, 1 second
- the ultrasonic signal output from the ultrasonic output device 13 reaches the target region R, and the portable information terminal 20 in the target region R detects the ultrasonic signal and outputs the response signal. It is necessary to transmit the radio wave to the wireless communication device 14. Therefore, a certain amount of time is required for the wireless communication device 14 to receive the response signal after outputting the ultrasonic signal in S106. Therefore, even if it is determined in S107 that the response signal has not been received (S107: no), it is determined whether or not a predetermined time has elapsed since the output of the ultrasonic signal (S109).
- a predetermined time for example, 1 second
- the position of the pedestrian has already been detected for the pedestrian captured in the captured image.
- the presence or absence of pedestrians that are not shown in the captured image cannot be determined by analyzing the captured image.
- the walking detected from the captured image in S102 when it is determined in S103 that the target region R exists in the captured image (S103: yes) and there is a pedestrian in the target region R (S108), the walking detected from the captured image in S102.
- the position of the target region R determined to have a pedestrian in S108 is added to the position of the pedestrian, and those positions are output to the driving support apparatus 10 as the positions of the pedestrians existing around the vehicle 1 (S104).
- the target region R is detected from the captured image in S102.
- the position of the pedestrian is output to the driving support device 10 as the position of the pedestrian existing around the vehicle 1 (S104).
- the pedestrian position detection device 100 can accurately detect the position of a pedestrian in a captured image by analyzing the captured image captured by the in-vehicle camera 11. .
- the ultrasonic output device 13 is mounted on the vehicle 1, no other special device is required.
- the portable information terminal 20 of the pedestrian since the portable information terminal 20 of the pedestrian only needs to transmit a response signal when receiving the ultrasonic signal, the battery of the portable information terminal 20 is not greatly consumed. And since the pedestrian also has the advantage of notifying the surrounding vehicle 1 of his / her existence and reducing the possibility of encountering an accident, the pedestrian carries a program for transmitting a response signal when receiving an ultrasonic signal. It is intended to be actively incorporated into the information terminal 20 and started. As a result, the position of the pedestrian can be reliably detected using the pedestrian position detection device 100 of the present embodiment.
- the case where the number of target areas detected from the captured image captured by the in-vehicle camera 11 is one is described as an example. Whether there are pedestrians in each target region by outputting ultrasonic signals having different transmission ID information toward the target region even when the number of target regions detected from the captured image is two or more You can determine whether or not.
- the pedestrian position detection device 100 of the above-described embodiment has been described as outputting an ultrasonic signal having a simple data structure in which a transmission ID follows a response request command, as shown in FIG. However, more information may be included in the ultrasonic signal.
- FIG. 9 shows a rough internal configuration of the pedestrian position detection device 130 of the first modification.
- the illustrated pedestrian position detection device 130 of the first modified example includes a vehicle position acquisition unit 107 and a position information calculation unit 108 with respect to the pedestrian position detection device 100 of the present embodiment described above with reference to FIG. The point of preparation is very different.
- the extraction result of the target area R obtained by the target area extraction unit 103 is output to the position information calculation unit 108.
- the sound wave output unit 104 generates an ultrasonic signal
- the information from the position information calculation unit 108 is used in addition to the information from the target region extraction unit 103.
- the target region extraction unit 103 of the first modification extracts the target region R from the captured image
- the target region extraction unit 103 outputs the result to the ultrasonic output unit 104 and also to the position information calculation unit 108.
- the navigation device 15 is mounted on the vehicle 1 of the first modification.
- the navigation device 15 can detect the position and direction of the vehicle 1 with high accuracy using a positioning signal of a GNSS (Global Navigation Satellite System), a vehicle speed sensor or the like (not shown).
- the vehicle position acquisition unit 107 acquires information on the position and direction of the vehicle 1 from the navigation device 15 and outputs the information to the position information calculation unit 108.
- GNSS Global Navigation Satellite System
- the navigation device 15 has a function of storing map information and a function of searching a route to a destination in addition to a function of detecting the position and direction of the vehicle 1. Then, the function which detects the position and direction of the vehicle 1 is utilized. Therefore, the navigation device 15 is not necessarily used as long as it has this function.
- a device called a locator equipped with a function for detecting the position and direction of the vehicle 1 can be used instead of the navigation device 15.
- the position information calculation unit 108 calculates the relative position of the target region R with respect to the vehicle 1 based on the information received from the target region extraction unit 103. Further, since the position and direction information of the vehicle 1 is acquired from the vehicle position acquisition unit 107, the absolute position of the target region R is determined based on the relative position information and the position and direction information of the vehicle 1. (Hereinafter referred to as target region position information) is calculated. Then, the calculated target region position information is output to the ultrasonic output unit 104.
- the ultrasonic output unit 104 of the first modified example generates an ultrasonic signal using the target region position information received from the position information calculation unit 108.
- the ultrasonic output unit 104 of the first modified example uses the wireless communication device 14 to transmit information related to a communication protocol for the wireless communication device 14 to start wireless communication with the portable information terminal 20 (hereinafter referred to as wireless communication start information). 14 to generate an ultrasonic signal incorporating wireless communication start information.
- FIG. 10 shows a data structure of an ultrasonic signal generated by the ultrasonic output unit 104 of the first modification.
- the ultrasonic signal of the first modification has a data structure in which the transmission ID, the target area position information, and the wireless communication start information are arranged in this order following the response request command.
- the response request command is a command for requesting the portable information terminal 20 to return a response signal
- the transmission ID is an identification number assigned to the ultrasonic signal itself.
- the target area position information is information on the absolute position of the target area calculated by the position information calculation unit 108.
- the wireless communication start information is information regarding a communication protocol for the wireless communication device 14 to start wireless communication with the portable information terminal 20 as described above.
- the pedestrian position detection device 130 As described above, in the pedestrian position detection device 130 according to the first modification, information on the absolute position of the target region R (that is, target region position information) or wireless communication is included in the ultrasonic signal output toward the target region R. Start information is included. For this reason, if there is a pedestrian in the target region R, the portable information terminal 20 carried by the pedestrian can obtain information on the absolute position of the target region R by receiving the ultrasonic signal. it can. Usually, the portable information terminal 20 also has a function of detecting its own position using the positioning signal of the GNSS satellite. However, the position information detected by the portable information terminal 20 is the navigation device 15 mounted on the vehicle 1. Compared to position information detected by (or a locator), the accuracy is not high.
- the target area position information included in the ultrasonic signal is detected by the portable information terminal 20 because the position information of the vehicle 1 detected by the navigation device 15 is corrected based on the relative position of the target area R with respect to the vehicle 1. It is considered that the accuracy is higher than the position information. Therefore, the position information detected by the portable information terminal 20 is replaced with the target area position information acquired from the ultrasonic signal. If it carries out like this, the precision of the own positional information which the portable information terminal 20 grasps
- the ultrasonic signal of the first modified example includes wireless communication start information.
- the wireless communication start information is information related to a communication protocol for wireless communication by the wireless communication device 14 of the vehicle 1. Therefore, when the portable information terminal 20 that has received the ultrasonic signal transmits a response signal, if the transmission is performed using the communication protocol specified by the ultrasonic signal, the wireless communication device 14 of the vehicle 1 can be more reliably connected. A response signal can be transmitted.
- a wireless connection is established between the wireless communication device 14 of the vehicle 1 and the portable information terminal 20
- various data can be exchanged quickly. For example, the presence of the vehicle 1 and other vehicles that are not visible to the pedestrian can be transmitted to the pedestrian by wireless communication.
- the response signal transmitted from the portable information terminal 20 also includes information related to the communication protocol on the portable information terminal 20 side. May be included as wireless communication start information.
- FIG. 11 shows the data structure of the response signal of the first modified example including the wireless communication start information.
- the response signal of the illustrated first modification has a data structure in which wireless communication start information is added after the response signal of the present embodiment illustrated in FIG.
- the portable information terminal 20 receives the ultrasonic signal output from the vehicle 1 side and receives the response signal transmitted by the portable information terminal 20 on the vehicle 1 side, the wireless communication device 14 of the vehicle 1.
- the portable information terminal 20 recognize at least a part of information related to a communication protocol for wireless communication. For this reason, it becomes possible to establish the connection between the radio
- the ultrasonic output device 13 outputs an ultrasonic signal having a frequency exceeding the human audible range toward the target region R. For this reason, even if a pedestrian is present in the target region R, the pedestrian does not notice that an ultrasonic signal has been output and does not notice that the vehicle 1 is approaching. However, by doing the following, it is possible to make the pedestrian notice that an ultrasonic signal (or simply an ultrasonic wave) has been output from the ultrasonic output device 13.
- the pedestrian position detection device 150 of the second modified example will be described.
- FIG. 12 shows a rough internal configuration of the pedestrian position detection device 150 according to the second modification.
- the illustrated pedestrian position detection device 150 of the second modification is greatly different from the pedestrian position detection device 100 of the present embodiment described above with reference to FIG.
- the audio information storage unit 109 stores audio information of audible frequencies.
- the sound information may be sound information that can be perceptually sensed by humans.
- the sound information may be an effect sound (engine sound, motor sound, etc.) that informs the approach of the vehicle 1 or a pedestrian. It is also possible to use voice information that prompts a warning or attention.
- the ultrasonic output unit 104 of the second modification When outputting the ultrasonic signal, the ultrasonic output unit 104 of the second modification reads out the audio information from the audio information storage unit 109 and modulates the frequency of the ultrasonic wave output from the ultrasonic output device 13. Audio information is superimposed. As described above, since the ultrasonic output unit 104 can designate the frequency F1 or the frequency F2 as the frequency of the ultrasonic wave, when the frequency F1 is designated, the audio information is centered on the frequency F1. Modulate the frequency. When the frequency F2 is designated, the frequency of the audio information is modulated around the frequency F2. Then, ultrasonic waves having a modulated frequency are output from the ultrasonic output device 13.
- frequency modulation is performed as a modulation method of audio information, but amplitude modulation can also be performed.
- a plurality of types of audio information for prompting pedestrians and warnings are stored, and appropriate information is selected according to the situation around the vehicle 1 and the driving situation, and superimposed on the ultrasonic signal. You may let them. Furthermore, it is also possible to generate an audible sound message to be transmitted to the pedestrian according to the situation around the vehicle 1 or the driving condition, and to superimpose the generated sound message on the ultrasonic signal. By so doing, it is possible to convey appropriate warnings, alerts, voice messages, and the like to pedestrians according to the situation around the vehicle 1 and driving conditions.
- FIG. 13 illustrates a vehicle 1 on which a pedestrian position detection device 170 according to a third modification is mounted.
- a pedestrian position detection device 170 according to a third modification is mounted.
- two ultrasonic output devices 13L and 13R are mounted in front of the vehicle 1 with different positions in the left-right direction.
- the ultrasonic output device 13L mounted on the left side of the vehicle 1 and the ultrasonic output device 13R mounted on the right side are both connected to the pedestrian position detection device 170.
- the vehicle 1 of the third modified example is also equipped with an in-vehicle camera 11, an electromagnetic wave irradiation device 12, a wireless communication device 14, and the like, similar to the vehicle 1 of the present embodiment shown in FIG. In FIG. 13, these are not shown in order to avoid complicated illustration.
- FIG. 14 shows a rough internal configuration of the pedestrian position detection device 170 of the third modification.
- the pedestrian position detection device 170 of the third modified example has two ultrasonic output devices 13L and 13R in the ultrasonic output unit 104, compared to the pedestrian position detection device 100 of the present embodiment described above with reference to FIG. The point that is connected is greatly different.
- the ultrasonic output unit 104 of the third modification obtains the extraction result of the target region R from the target region extraction unit 103, it determines whether the target region R is on the left side in front of the vehicle 1 or on the right side. And when the object area
- the ultrasonic output device 13 ⁇ / b> L mounted on the left side of the vehicle 1 is driven to output an ultrasonic signal.
- 15A and 15B illustrate a state in which the vehicle 1 according to the third modified example outputs an ultrasonic signal toward the target region R extracted on the left side of the vehicle 1.
- the vehicle 1 of the third modified example uses an ultrasonic output device 13 ⁇ / b> R mounted on the right side of the vehicle 1 for the target region R extracted on the left side of the vehicle 1.
- 15B shows a case where an ultrasonic signal is transmitted from the ultrasonic output device 13L on the left side of the vehicle 1 as a reference.
- each vehicle 1 individually outputs an ultrasonic signal to the target region R even when there are a plurality of vehicles 1.
- an ultrasonic signal may be output while performing vehicle-to-vehicle communication using the wireless communication device 14 in a plurality of vehicles 1.
- FIG. 16 shows a rough internal configuration of the pedestrian position detection device 190 of the fourth modified example.
- the pedestrian position detection device 190 of the fourth modified example is greatly different from the pedestrian position detection device 100 of the present embodiment described above with reference to FIG. 2 in that the inter-vehicle communication unit 110 is mounted. .
- the vehicle-to-vehicle communication unit 110 is connected to the wireless communication device 14 and can perform vehicle-to-vehicle communication with other vehicles in the vicinity.
- the wireless communication device 14 according to the fourth modified example corresponds to a communication standard for inter-vehicle communication in addition to a communication standard with the portable information terminal 20 (for example, Bluetooth (registered trademark) or wireless LAN). Yes.
- the target region extraction unit 103 of the fourth modified example extracts the target region R
- the result is output to the inter-vehicle communication unit 110 and the ultrasonic output unit 104.
- the vehicle-to-vehicle communication unit 110 receives the target region R from the target region extraction unit 103
- the vehicle-to-vehicle communication unit 110 performs vehicle-to-vehicle communication via the wireless communication device 14, thereby indicating the presence or absence of a pedestrian in the target region R. Inquire about other vehicles.
- the fact that a pedestrian is present is output to the pedestrian position determination unit 106.
- the target region R for which the presence or absence of a pedestrian is not known is output to the ultrasonic output unit 104.
- the ultrasonic output unit 104 of the fourth modification outputs an ultrasonic signal by driving the ultrasonic output device 13 toward the target region R where the presence or absence of a pedestrian is not known.
- FIGS. 17A to 17C show a state in which the vehicle 1 according to the fourth modified example outputs an ultrasonic signal while performing vehicle-to-vehicle communication using the wireless communication device 14.
- the target area R for the vehicle 1a is also the target area R for the vehicle 1b.
- the target area R is not extracted by the vehicle 1a and the vehicle 1b at the same timing. Therefore, when the vehicle 1 (the vehicle 1b in the example shown in FIG. 17A) from which the target region R has been extracted first outputs an ultrasonic signal, the ultrasonic signal is output toward the target region R; Information related to the position of the target region R is transmitted to the surroundings via the wireless communication device 14.
- the vehicle 1 (vehicle 1a in the example of FIG. 17A) from which the target region R is extracted later tries to output an ultrasonic signal from the other vehicle 1 (here, the vehicle 1b) toward the target region R. If it is recognized by radio
- the target region R when the target region R is extracted, it is determined whether or not an ultrasonic signal is output toward the target region R. If the ultrasonic signal is not output, the target region R is determined. In the above description, an ultrasonic signal is output. However, even when an ultrasonic signal is not output to the target region R, whether or not to output the ultrasonic signal toward the target region R by performing inter-vehicle communication with other vehicles 1 present in the vicinity. It can also be judged. For example, in the example illustrated in FIG. 17A, the output of the ultrasonic signal from the vehicle 1a does not provide a sufficient angle with respect to the target region R, but the vehicle 1b may have a sufficient angle with respect to the target region R. it can.
- an ultrasonic signal is output to the target region R, it is considered preferable to output from the vehicle 1b rather than from the vehicle 1a. Therefore, by performing inter-vehicle communication between the vehicle 1a and the vehicle 1b and recognizing each other's position, a person at a more desirable position (here, the vehicle 1b) may output an ultrasonic signal. Good.
- the pedestrian d in the target area R is not visible from the vehicle 1b, but the pedestrian d is visible from the vehicle 1a. Therefore, since the target area R for the vehicle 1b is not the target area R for the vehicle 1a in the first place, no ultrasonic signal is output from the vehicle 1a to the target area R. Therefore, when the vehicle 1b extracts the target region R, the presence or absence of a pedestrian in the target region R may be inquired by performing inter-vehicle communication with the surrounding vehicle 1a using the wireless communication device 14. Then, when there is no response to the inquiry, an ultrasonic signal may be output toward the target region R.
- the frequency of outputting the ultrasonic signal can be reduced, so that the power consumption for outputting the ultrasonic wave can be reduced. Further, since the frequency of transmitting a response signal to the ultrasonic signal can be reduced for the portable information terminal 20 of the pedestrian d, the power consumption of the portable information terminal 20 can be reduced.
- the object which the ultrasonic output device 13 outputs an ultrasonic signal assumes that it is an area
- the target for outputting the ultrasonic signal need not be limited to the target region R, and the ultrasonic signal may be output toward a pedestrian detected by the in-vehicle camera 11 or the like.
- an ultrasonic signal including a warning command can be output.
- the warning command is a command that requests the portable information terminal 20 that has received the ultrasonic signal to warn the owner of the portable information terminal 20 using voice or vibration.
- a program that warns the owner of the portable information terminal 20 by a predetermined method when the warning command is received is incorporated in the portable information terminal 20.
- the ultrasonic signal containing a response request command is output.
- an ultrasonic including the warning command described above Output a signal. If it carries out like this, it will become possible to warn a pedestrian as needed.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
歩行者位置検出装置は、車載カメラの画像信号または車載レーダーなどの電磁波照射機器の反射信号を解析して、車両の周辺での歩行者の存在位置を検出する。歩行者位置検出装置は、更に、歩行者の存在についての問い合わせを要する対象領域を抽出する。そして、歩行者位置検出装置は、車両に搭載された超音波出力装置を駆動することによって、対象領域に向かって超音波を出力して、超音波に応答して対象領域から無線で送信された応答信号を検出する。歩行者位置検出装置は、こうして得られた応答信号の検出結果と、先に検出した歩行者の存在位置とに基づいて、車両の周囲での歩行者の存在位置を決定する。こうすれば、車両からは見通せない位置も含めて、周囲に存在する歩行者の位置を検出することが可能となる。
Description
本出願は、2016年7月29日に出願された特許出願番号2016-150778号に基づくものであって、その優先権の利益を主張するものであり、その特許出願のすべての内容が、参照により本明細書に組み入れられる。
本開示は、車両に搭載されて、車両の周囲に存在する歩行者の存在位置を検出する技術に関する。
車両と歩行者との交通事故を防止するためには、車両の周辺に存在する歩行者の位置を検出することが重要となる。ここで、車両の周辺に存在する歩行者の位置を検出する技術としては、車載カメラで撮影した画像を解析して歩行者の位置を検出する技術や、歩行者の携帯情報端末が送信する位置情報に基づいて歩行者の位置を検出する技術が知られている。
このうち、携帯情報端末の位置情報を利用する技術は、道路の幅よりも大きな誤差が生じることがあるため、歩行者の位置を検出して交通事故を防止するという目的には適さない。そこで、歩行者の位置を十分な精度で検出可能とするために、歩行者の位置情報に加えて、携帯情報端末からの電波強度に基づいて歩行者までの距離についての情報も取得することで、検出精度を高める技術が提案されている。
もっとも、携帯情報端末の位置情報に基づいて歩行者の位置を検出するためには、携帯情報端末から絶えず位置情報を送信しておかなければならず、携帯情報端末の電池の消耗を考えると現実的な方法ではない。
もっとも、携帯情報端末の位置情報に基づいて歩行者の位置を検出するためには、携帯情報端末から絶えず位置情報を送信しておかなければならず、携帯情報端末の電池の消耗を考えると現実的な方法ではない。
これに対して、車載カメラで撮影した画像を解析する技術は、十分な精度で歩行者の位置を検出することができる。加えて、この技術は、既に多くの機器で採用されている実績が存在するために十分な信頼性も有している。更に、近年の技術開発によって、歩行者の全身が写っていない画像(例えば、歩行者の半身が写っている画像)からでも、十分な精度で歩行者を検出することが可能となっている(例えば、特許文献1)。
車載カメラで撮影した画像を解析して歩行者を検出する技術には、壁の向こう側などのように、車載カメラから見通せない位置にいる歩行者は検出することができない。
また、近年では、ミリ波などの電磁波を照射する車載レーダーを用いて歩行者を検出する技術も広く使用されているが、この技術についても全く同様な問題が存在している。
また、近年では、ミリ波などの電磁波を照射する車載レーダーを用いて歩行者を検出する技術も広く使用されているが、この技術についても全く同様な問題が存在している。
本開示は、車載カメラあるいは車載レーダーを用いて歩行者を検出する際に、車載カメラや車載レーダーからは見通せない位置も含めて、歩行者の位置を検出可能な技術の提供を目的とする。
本開示の第1の態様では、歩行者位置検出装置は、車載カメラの画像信号を解析して、あるいは車載レーダーや車載レーザーから照射した電磁波の反射信号を解析して、車両の周辺での歩行者の存在位置を検出する。更に、歩行者の存在についての問い合わせを要する対象領域を抽出する。そして、車両に搭載された超音波出力装置を駆動することによって、対象領域に向かって超音波を出力して、超音波に応答して対象領域から無線で送信された応答信号を検出する。こうして得られた応答信号の検出結果と、先に検出した歩行者の存在位置とに基づいて、車両の周囲での歩行者の存在位置を決定する。
今日では、歩行者は、いわゆる携帯電話やスマートフォンなどの通話機能を有する携帯情報端末を携帯していると考えて良く、通話機能を有する携帯情報端末であれば、超音波を検出する機能を既に備えている。加えて、超音波も音の一種であるから、回折や反射や透過などの現象によって、建物や車両などの陰にも伝わると考えて良い。従って、建物や車両などの陰の対象領域に歩行者が存在していれば、その対象領域に向かって超音波を出力してやることで、歩行者の携帯情報端末によって超音波を検出し、超音波に対する応答信号を送信させることができる。このことから、超音波に対する応答信号に基づいて、対象領域に歩行者が存在するか否かを判断することができる。その結果、車載カメラの画像信号または車載レーダーの反射信号に基づいて得られた歩行者の検出結果と併せることで、車載カメラや車載レーダーからは見通せない位置も含めて、車両の周辺での歩行者の存在位置を検出することが可能となる。
以下では、上述した本発明の内容を明確にするために実施形態について説明する。
A.装置構成 :
図1には、本実施形態の歩行者位置検出装置100を搭載した車両1の大まかな構成が示されている。図示されるように、車両1は、歩行者位置検出装置100に加えて、運転支援装置10や、車載カメラ11や、電磁波照射機器12や、超音波出力装置13や、無線通信装置14などを備えている。
A.装置構成 :
図1には、本実施形態の歩行者位置検出装置100を搭載した車両1の大まかな構成が示されている。図示されるように、車両1は、歩行者位置検出装置100に加えて、運転支援装置10や、車載カメラ11や、電磁波照射機器12や、超音波出力装置13や、無線通信装置14などを備えている。
車載カメラ11は、車両1の前方を撮影した撮影画像を取得して、歩行者位置検出装置100に出力する。
また、電磁波照射機器12は、いわゆる車載レーダーであって、車両1の前方に向けて電波を発射することによって、車両1の前方に存在する障害物を検知し、検知した結果を歩行者位置検出装置100に出力する。尚、電磁波照射機器12は、車載レーダーの代わりに、車載レーザーライダーを用いることもできる。車載レーザーライダーは、車両1の前方に向けて電磁波の一種であるレーザー光を発射して、反射光を検出することによって、車両1の前方に存在する障害物を検知することができる。
本実施形態の歩行者位置検出装置100は、車載カメラ11から取得した撮影画像を解析することによって、車両1の周囲に存在する歩行者の位置を検出することができる。また、電磁波照射機器12から照射した電磁波(レーザー光を含む)が障害物で反射して戻ってきた電磁波を検出することによって、障害物が建物などの構造物であるか、あるいは歩行者であるかを判断することができる。その結果、電磁波照射機器12によっても、車両1の周囲に存在する歩行者の位置を検出することができる。
また、電磁波照射機器12は、いわゆる車載レーダーであって、車両1の前方に向けて電波を発射することによって、車両1の前方に存在する障害物を検知し、検知した結果を歩行者位置検出装置100に出力する。尚、電磁波照射機器12は、車載レーダーの代わりに、車載レーザーライダーを用いることもできる。車載レーザーライダーは、車両1の前方に向けて電磁波の一種であるレーザー光を発射して、反射光を検出することによって、車両1の前方に存在する障害物を検知することができる。
本実施形態の歩行者位置検出装置100は、車載カメラ11から取得した撮影画像を解析することによって、車両1の周囲に存在する歩行者の位置を検出することができる。また、電磁波照射機器12から照射した電磁波(レーザー光を含む)が障害物で反射して戻ってきた電磁波を検出することによって、障害物が建物などの構造物であるか、あるいは歩行者であるかを判断することができる。その結果、電磁波照射機器12によっても、車両1の周囲に存在する歩行者の位置を検出することができる。
更に、歩行者位置検出装置100には、超音波出力装置13が接続されている。超音波出力装置13は、歩行者位置検出装置100の制御の下で、車両1の周辺に存在する所望の場所を狙って超音波を出力する。超音波は振動の周波数が高く、従って波長が短いので、狭い範囲を狙って超音波を出力することができる。また、超音波出力装置13は、左右方向および上下方向に向きを変えることが可能な状態で車両1に搭載されており、左右方向および上下方向の角度を調整することによって、所望の場所に向けて超音波を出力することができる。
あるいは、超音波出力装置13の向きを変えるのではなく、超音波を出力可能な小型のスピーカーを複数配置したスピーカーアレイを用いて超音波出力装置13を形成してもよい。スピーカーアレイでは、それぞれのスピーカーから同じ周波数の超音波を出力しておき、各スピーカーが出力する超音波の位相を制御することによって、任意の方向に向けて超音波を出力することができる。
また、歩行者位置検出装置100には無線通信装置14が接続されており、歩行者位置検出装置100は無線通信装置14を介して、車両1の周囲に存在する通信機器との間で無線通信することができる。
あるいは、超音波出力装置13の向きを変えるのではなく、超音波を出力可能な小型のスピーカーを複数配置したスピーカーアレイを用いて超音波出力装置13を形成してもよい。スピーカーアレイでは、それぞれのスピーカーから同じ周波数の超音波を出力しておき、各スピーカーが出力する超音波の位相を制御することによって、任意の方向に向けて超音波を出力することができる。
また、歩行者位置検出装置100には無線通信装置14が接続されており、歩行者位置検出装置100は無線通信装置14を介して、車両1の周囲に存在する通信機器との間で無線通信することができる。
上述したように、車載カメラ11から取得した撮影画像を解析すれば、車両1の周囲に存在する歩行者の位置を検出することができる。あるいは、電磁波照射機器12で検出した反射波を解析することによっても、車両1の周囲に存在する歩行者の位置を検出することができる。しかし、これらの方法では、車両1からは見えない物陰にいる歩行者は検出することができない。そこで、本実施形態の歩行者位置検出装置100では、物陰に向けて超音波を出力すると共に、周囲の通信機器からの電波を受信する。こうすれば、車両1からは物陰に隠れた位置となる箇所の歩行者を含めて、周辺に存在する歩行者を精度良く検出することが可能となる。
図2には、本実施形態の歩行者位置検出装置100の大まかな内部構成が示されている。図示されるように、本実施形態の歩行者位置検出装置100は、信号取得部101と、信号解析部102と、対象領域抽出部103と、超音波出力部104と、応答信号検出部105と、歩行者位置決定部106とを備えている。
尚、これらの「部」は、通行支援装置の内部を機能の観点から便宜的に分類した抽象的な概念であり、通行支援装置がこれらの「部」に物理的に区分されていることを表すものではない。従って、これらの「部」は、CPUで実行されるコンピュータープログラムとして実現することもできるし、LSIを含む電子回路として実現することもできるし、更にはこれらの組合せとして実現することもできる。
尚、これらの「部」は、通行支援装置の内部を機能の観点から便宜的に分類した抽象的な概念であり、通行支援装置がこれらの「部」に物理的に区分されていることを表すものではない。従って、これらの「部」は、CPUで実行されるコンピュータープログラムとして実現することもできるし、LSIを含む電子回路として実現することもできるし、更にはこれらの組合せとして実現することもできる。
信号取得部101は、車載カメラ11や、電磁波照射機器12に接続されている。車載カメラ11は、車両1の前方を撮影する。信号取得部101は、車載カメラ11により撮影された撮影画像を取得して、信号解析部102に出力する。また、電磁波照射機器12は、いわゆる車載レーダーであり、車両1の前方に向けて電波を照射して、反射して戻ってきた電波を受信することによって、障害物の存在を示す反射信号を信号取得部101に出力する。信号取得部101は、電磁波照射機器12から取得した反射信号を信号解析部102に出力する。尚、電磁波照射機器12は、車載レーダーの代わりに、いわゆる車載レーザーライダー(LIDAR)と呼ばれる機器を用いてもよい。車載レーザーライダー(LIDAR)を用いた場合は、電波の代わりにレーザー光を照射して、反射して戻ってきた反射光を検出することによって、障害物の存在を示す反射信号を信号取得部101に出力し、信号取得部101は、取得した反射信号を信号解析部102に出力することができる。
信号解析部102は、信号取得部101が取得した画像信号を解析することによって、撮影画像中に写った歩行者や、車両、建物などを検出する。そして、歩行者が検出された場合には、車両1に対する相対位置を検出する。車載カメラ11は車両1に固定して取り付けられているので、撮影画像中で歩行者が写った位置を検出すれば、撮影画像中での位置を読み替えることによって、車両1に対する相対位置を検出することができる。
また、車両や建物など(以下、車両や建物などをまとめて、「構造物」と称する)が検出された場合には、構造物の車両1に対する相対位置と、構造物の大きさとを検出する。上述したように、車載カメラ11は車両1に固定して取り付けられているから、撮影画像中で構造物が写った位置と大きさとが分かれば、構造物の大きさ(すなわち、幅および高さ)についても検出することができる。
信号解析部102は、信号取得部101が取得した画像信号を解析することによって、撮影画像中に写った歩行者や、車両、建物などを検出する。そして、歩行者が検出された場合には、車両1に対する相対位置を検出する。車載カメラ11は車両1に固定して取り付けられているので、撮影画像中で歩行者が写った位置を検出すれば、撮影画像中での位置を読み替えることによって、車両1に対する相対位置を検出することができる。
また、車両や建物など(以下、車両や建物などをまとめて、「構造物」と称する)が検出された場合には、構造物の車両1に対する相対位置と、構造物の大きさとを検出する。上述したように、車載カメラ11は車両1に固定して取り付けられているから、撮影画像中で構造物が写った位置と大きさとが分かれば、構造物の大きさ(すなわち、幅および高さ)についても検出することができる。
また、信号解析部102は、電磁波照射機器12からの反射信号を解析することによっても、歩行者の位置を検出し、更に、構造物については位置および大きさを検出することができる。すなわち、電磁波照射機器12は、パルス状の電磁波(レーザー光を含む)を出力しており、出力した電磁波が、歩行者や構造物などの障害物に反射して戻ってくるまでの経過時間に基づいて、障害物までの距離を検出することができる。また、電磁波を出力する方向は、車両1の前方を走査するように変更しているため、障害物で反射して電磁波が戻って来た時に電磁波を出力していた方向に基づいて、障害物が存在する方向を検出することができる。更に、反射して戻ってきた電磁波の強度から、歩行者と構造物とを区別することができる。すなわち、電磁波の強度が小さければ、障害物は歩行者であると判断することができ、逆に、電磁波の強度が大きければ、障害物は車両や建物などの構造物であると判断することができる。
このように、電磁波照射機器12を用いた場合でも、電磁波を出力する方向を変更しながら、反射した電磁波(すなわち反射信号)が戻ってくるまでの時間と、反射した電磁波の強度とを検出することによって、歩行者の位置や、構造物の位置および大きさを検出することができる。
このように、電磁波照射機器12を用いた場合でも、電磁波を出力する方向を変更しながら、反射した電磁波(すなわち反射信号)が戻ってくるまでの時間と、反射した電磁波の強度とを検出することによって、歩行者の位置や、構造物の位置および大きさを検出することができる。
歩行者位置決定部106は、信号解析部102で検出された歩行者の位置についての情報を取得することによって、車両1の周辺に存在する歩行者位置を決定する。
もっとも、上述したように、車載カメラ11の撮影画像や電磁波照射機器12の反射信号を解析する方法では、構造物(車両や建物など)の陰に隠れていた歩行者は検出することができない。
そこで、対象領域抽出部103は、信号解析部102から構造物の検出結果を取得すると、歩行者が陰に隠れている可能性のある構造物を抽出する。すなわち、構造物が小さい場合には歩行者は隠れていないと考えて良いが、構造物がある程度の大きさになると、歩行者が陰に隠れている可能性がある。そこで、所定以上の大きさの構造物については、歩行者が陰に隠れている可能性のある構造物として抽出する。そして、車両1を基準として、抽出した構造物が存在する領域を、歩行者の有無を問い合わせる対象領域として抽出する。
超音波出力部104は、対象領域抽出部103で抽出された対象領域の情報を取得すると、超音波出力装置13を駆動することによって、対象領域に向けて超音波を出力する。超音波は通常の音波に比べて指向性が高いので、対象領域の付近に絞って超音波を出力することができる。
もっとも、上述したように、車載カメラ11の撮影画像や電磁波照射機器12の反射信号を解析する方法では、構造物(車両や建物など)の陰に隠れていた歩行者は検出することができない。
そこで、対象領域抽出部103は、信号解析部102から構造物の検出結果を取得すると、歩行者が陰に隠れている可能性のある構造物を抽出する。すなわち、構造物が小さい場合には歩行者は隠れていないと考えて良いが、構造物がある程度の大きさになると、歩行者が陰に隠れている可能性がある。そこで、所定以上の大きさの構造物については、歩行者が陰に隠れている可能性のある構造物として抽出する。そして、車両1を基準として、抽出した構造物が存在する領域を、歩行者の有無を問い合わせる対象領域として抽出する。
超音波出力部104は、対象領域抽出部103で抽出された対象領域の情報を取得すると、超音波出力装置13を駆動することによって、対象領域に向けて超音波を出力する。超音波は通常の音波に比べて指向性が高いので、対象領域の付近に絞って超音波を出力することができる。
また、今日では、いわゆる携帯電話やスマートフォンなどのように、通話機能を有する携帯情報端末を歩行者が携帯していることが通常である。そして、通話機能を有する機器であれば、後述する理由から、超音波が出力されたことを検知することができる。そこで、超音波が出力されたことを検知すると所定の応答信号を無線で送信する機能を、携帯情報端末に予め組み込んでおく。そして、この応答信号を、車両1の無線通信装置14で受信する。
仮に、超音波を出力した対象領域に歩行者が存在していれば、歩行者が携帯する携帯情報端末から応答信号が返ってくる筈である。従って、応答信号が返ってくれば対象領域に歩行者が存在しており、逆に、応答信号が返ってこなければ対象領域には歩行者が存在していないと判断することができる。
仮に、超音波を出力した対象領域に歩行者が存在していれば、歩行者が携帯する携帯情報端末から応答信号が返ってくる筈である。従って、応答信号が返ってくれば対象領域に歩行者が存在しており、逆に、応答信号が返ってこなければ対象領域には歩行者が存在していないと判断することができる。
そこで、応答信号検出部105は、超音波出力部104から超音波を出力してから所定時間以内に無線通信装置14で受信した応答信号を検出する。そして、応答信号を検出した場合には、応答信号があった対象領域の位置についての情報を対象領域抽出部103から取得して、歩行者位置決定部106に出力する。
前述したように、歩行者位置決定部106は、信号解析部102から取得した歩行者の位置についての情報に基づいて、構造物(すなわち、車両や建物など)の陰に隠れていない歩行者については、歩行者位置を既に決定している。更に、構造物の陰に隠れている歩行者位置については、対象領域抽出部103から取得した対象領域の位置に基づいて決定することができる。こうすることによって、構造物の陰に隠れている歩行者も含めて、車両1の周辺に存在する全ての歩行者位置を決定することが可能となる。
前述したように、歩行者位置決定部106は、信号解析部102から取得した歩行者の位置についての情報に基づいて、構造物(すなわち、車両や建物など)の陰に隠れていない歩行者については、歩行者位置を既に決定している。更に、構造物の陰に隠れている歩行者位置については、対象領域抽出部103から取得した対象領域の位置に基づいて決定することができる。こうすることによって、構造物の陰に隠れている歩行者も含めて、車両1の周辺に存在する全ての歩行者位置を決定することが可能となる。
尚、図1および図2では、車両1には、車載カメラ11と電磁波照射機器12(すなわち車載レーダーあるいは車載レーザーライダー)とが搭載されているものとして表示している。しかし、車載カメラ11および電磁波照射機器12は何れも、車両1の前方に存在する歩行者や構造物を検出するために用いられており、機能が重複している。従って、実際には、何れか一方が搭載されていればよい。そこで、以下では、車両1には、専ら車載カメラ11が搭載されているものとして説明する。
例えば、撮影画像が図3Aに示すような画像であったとすると、この撮影画像からは、歩行者a~cに加えて、建物A~Dを検出することができる。更に、撮影画像中の位置および大きさから、歩行者の位置の情報や、建物の位置および大きさ(すなわち、高さおよび幅)についての情報を検出することができる。建物A~Dの何れについても、歩行者が陰に隠れている可能性が存在するが、建物Cについては、陰から一部が出ている歩行者cが既に検出されている。また、建物B,Dについては、たとえ歩行者が隠れていたとしても遠方過ぎるので、歩行者が陰に隠れている可能性は考慮しないことにする。結局、歩行者が陰に隠れている可能性のある建物は、建物Aとなる。そこで、建物Aと、その向こう側の建物Bとの間の部分を、対象領域として抽出する。図3B中に示した白抜きの矢印は、このようにして抽出された対象領域Rを表している。
続いて、超音波出力装置13を用いて、対象領域Rに向かって超音波を出力する。図4Aには、超音波出力装置13が、対象領域Rに向かって超音波を出力する様子が例示されている。超音波も音の一種であるから、回折や反射によって障害物の裏側に回り込むことができるので、建物Aの陰に歩行者が存在すれば、超音波は歩行者に届く筈である。また、超音波は人間には聴こえないので、超音波が届いても歩行者が不快に感じることはない。そして、歩行者が携帯情報端末(いわゆるスマートフォンや携帯電話など)を携帯してさえいれば、その携帯情報端末を用いて超音波を検知することができる。この点については後ほど詳しく説明する。
そこで、超音波を検知したら応答信号を無線で送信するようなプログラムを、あらかじめ携帯情報端末に組み込んでおく。
こうすれば、仮に、建物Aの陰に歩行者が存在していれば、図4Bに示したように、歩行者が携帯している携帯情報端末20から応答信号が送信されてくるので、歩行者dの存在を検知することができる。その結果、撮影画像から検出された歩行者a~cに加えて、建物Aの陰に居る歩行者dも検出することが可能となる。また、応答信号が送信されてこなければ、建物Aの陰には歩行者が存在しておらず、従って、周囲に存在する歩行者は、撮影画像から検出された歩行者a~cで全てと判断することができる。
こうすれば、仮に、建物Aの陰に歩行者が存在していれば、図4Bに示したように、歩行者が携帯している携帯情報端末20から応答信号が送信されてくるので、歩行者dの存在を検知することができる。その結果、撮影画像から検出された歩行者a~cに加えて、建物Aの陰に居る歩行者dも検出することが可能となる。また、応答信号が送信されてこなければ、建物Aの陰には歩行者が存在しておらず、従って、周囲に存在する歩行者は、撮影画像から検出された歩行者a~cで全てと判断することができる。
B.歩行者位置検出処理 :
図5には歩行者位置検出装置100によって実行される歩行者位置検出処理のフローチャートが示されている。
図5に示される様に、歩行者位置検出処理を開始すると先ず始めに、車載カメラ11から撮影画像を取得し(S101)、続いて、撮影画像中の歩行者および対象領域を検出する(S102)。前述したように、対象領域Rとは、建物や車両などの構造物の裏側の歩行者が隠れている可能性がある領域である。撮影画像に写った建物の裏側に存在する対象領域Rは、図3A、3Bを用いて前述したようにして検出することができる。
また、車両の裏側に存在する対象領域Rについては、次のようにして検出することができる。先ず、撮影画像に写った車両の高さを検出して、歩行者が隠れることが可能な高さか否かを判断する。そして、歩行者が隠れることが可能な高さと判断した場合には、その車両の裏側に存在する所定幅(例えば1.5m)の領域を、対象領域Rとして抽出する。ここで、建物の場合には、図3A、3Bを用いて前述したように、建物の高さだけでなく幅も考慮して対象領域Rを抽出したが、車両の場合は、歩行者が隠れることが可能な幅を有していることが明らかなので、幅については考慮することなく、対象領域Rを抽出する。
図5には歩行者位置検出装置100によって実行される歩行者位置検出処理のフローチャートが示されている。
図5に示される様に、歩行者位置検出処理を開始すると先ず始めに、車載カメラ11から撮影画像を取得し(S101)、続いて、撮影画像中の歩行者および対象領域を検出する(S102)。前述したように、対象領域Rとは、建物や車両などの構造物の裏側の歩行者が隠れている可能性がある領域である。撮影画像に写った建物の裏側に存在する対象領域Rは、図3A、3Bを用いて前述したようにして検出することができる。
また、車両の裏側に存在する対象領域Rについては、次のようにして検出することができる。先ず、撮影画像に写った車両の高さを検出して、歩行者が隠れることが可能な高さか否かを判断する。そして、歩行者が隠れることが可能な高さと判断した場合には、その車両の裏側に存在する所定幅(例えば1.5m)の領域を、対象領域Rとして抽出する。ここで、建物の場合には、図3A、3Bを用いて前述したように、建物の高さだけでなく幅も考慮して対象領域Rを抽出したが、車両の場合は、歩行者が隠れることが可能な幅を有していることが明らかなので、幅については考慮することなく、対象領域Rを抽出する。
続いて、撮影画像中から対象領域が検出されたか否かを判断する(S103)。その結果、対象領域が検出されていない場合は(S103:no)、車両1の周辺に存在する全ての歩行者が撮影画像に写っていると考えて良い。そこで、撮影画像を用いて検出した歩行者の位置を運転支援装置10に出力する(S104)。こうすれば、車両1の周辺に存在する歩行者の存在位置を洩れなく出力したことになる。
その後、歩行者位置検出処理を終了するか否かを判断する(S105)。歩行者位置検出処理を終了しないと判断した場合は(S105:no)、S101に戻って、再び撮影画像を取得する。これに対して、歩行者位置検出処理を終了すると判断した場合は(S105:yes)、歩行者位置検出処理を終了する。
以上では、撮影画像中有に対象領域Rが検出されていない場合(S103:no)について説明したが、撮影画像中に対象領域Rが検出されていた場合は(S103:yes)、その対象領域Rに歩行者が隠れている可能性がある。そこで、対象領域Rが検出されていた場合には(S103:yes)、対象領域Rに向けて超音波信号を出力する(S106)。
その後、歩行者位置検出処理を終了するか否かを判断する(S105)。歩行者位置検出処理を終了しないと判断した場合は(S105:no)、S101に戻って、再び撮影画像を取得する。これに対して、歩行者位置検出処理を終了すると判断した場合は(S105:yes)、歩行者位置検出処理を終了する。
以上では、撮影画像中有に対象領域Rが検出されていない場合(S103:no)について説明したが、撮影画像中に対象領域Rが検出されていた場合は(S103:yes)、その対象領域Rに歩行者が隠れている可能性がある。そこで、対象領域Rが検出されていた場合には(S103:yes)、対象領域Rに向けて超音波信号を出力する(S106)。
図6には、対象領域Rに向けて超音波信号を出力する様子が例示されている。ここで、超音波信号とは、次のような信号である。先ず、本実施形態の超音波出力装置13は、周波数F1および周波数F2の2つの周波数の超音波を出力することが可能となっており、超音波の周波数を切り替えることによって、2つの状態(すなわち1ビットの情報)を表現することができる。従って、一定の時間間隔で、超音波の周波数をF1またはF2の何れかに指定して、指定した周波数の超音波を出力する。こうすれば、超音波に載せて複数ビットの情報を出力することが可能である。本実施形態では、このように超音波の周波数をF1またはF2の何れかに指定して出力する操作を、所定の弛緩間隔で繰り返すことによって、複数ビットの情報を超音波に重畳させて、超音波信号として出力する。
尚、本実施形態では、超音波出力装置13が出力する超音波の周波数は、F1およびF2の2種類であるものとして説明するが、3種類以上の周波数の超音波を出力可能としてもよい。また、本実施形態では、超音波出力装置13が出力する超音波の周波数を変更(すなわち周波数変調)することによって情報を表すものとして説明するが、超音波の音圧(すなわち振幅)を変更(すなわち振幅変調)することによって情報を表すこととしてもよい。あるいは、基準の超音波に対する位相を変更(すなわち位相変調)することによって情報を表すこととしてもよい。更には、周波数および振幅を変更したり、振幅および位相を変更するなど、周波数と振幅と位相とを組み合わせて変更することによって、情報を表すようにしてもよい。
尚、本実施形態では、超音波出力装置13が出力する超音波の周波数は、F1およびF2の2種類であるものとして説明するが、3種類以上の周波数の超音波を出力可能としてもよい。また、本実施形態では、超音波出力装置13が出力する超音波の周波数を変更(すなわち周波数変調)することによって情報を表すものとして説明するが、超音波の音圧(すなわち振幅)を変更(すなわち振幅変調)することによって情報を表すこととしてもよい。あるいは、基準の超音波に対する位相を変更(すなわち位相変調)することによって情報を表すこととしてもよい。更には、周波数および振幅を変更したり、振幅および位相を変更するなど、周波数と振幅と位相とを組み合わせて変更することによって、情報を表すようにしてもよい。
図7には、超音波出力装置13が出力する超音波信号のデータ構造が例示されている。図示されるように、超音波出力装置13が出力する超音波信号のデータ構造は、応答要求コマンドの後に、送信IDが続いた構造となっている。尚、本実施形態の送信IDは、本発明における「識別番号」に対応する。
ここで、応答要求コマンドとは、超音波信号を受信した携帯情報端末20(図4B参照)に対して、超音波信号を受信した旨の応答信号を無線で返信するように要求するコマンドである。また、送信IDとは、超音波信号自体に付与された識別番号である。
例えば、超音波出力装置13が2箇所の対象領域に対して超音波信号を出力する場合には、それぞれの超音波信号に対して固別の識別番号が送信IDとして付与される。また、同じ対象領域に対して複数回、超音波信号を出力する場合には、各回の超音波信号に対して個別の識別番号を送信IDとして付与してもよいが、同じ超音波出力装置13から同じ対象領域に出力される超音波信号に対しては、同じ送信IDを付与することもできる。更に、簡便には、同じ超音波出力装置13から出力される超音波信号に対しては、異なる対象領域に向かって、異なるタイミングで出力された場合でも、同じ送信IDを付与することも可能である。
図5のS106では、以上のような超音波信号を対象領域Rに向かって出力する。
ここで、応答要求コマンドとは、超音波信号を受信した携帯情報端末20(図4B参照)に対して、超音波信号を受信した旨の応答信号を無線で返信するように要求するコマンドである。また、送信IDとは、超音波信号自体に付与された識別番号である。
例えば、超音波出力装置13が2箇所の対象領域に対して超音波信号を出力する場合には、それぞれの超音波信号に対して固別の識別番号が送信IDとして付与される。また、同じ対象領域に対して複数回、超音波信号を出力する場合には、各回の超音波信号に対して個別の識別番号を送信IDとして付与してもよいが、同じ超音波出力装置13から同じ対象領域に出力される超音波信号に対しては、同じ送信IDを付与することもできる。更に、簡便には、同じ超音波出力装置13から出力される超音波信号に対しては、異なる対象領域に向かって、異なるタイミングで出力された場合でも、同じ送信IDを付与することも可能である。
図5のS106では、以上のような超音波信号を対象領域Rに向かって出力する。
仮に、対象領域Rに歩行者が存在していれば、歩行者は、いわゆる携帯電話やスマートフォンなどのように、通話機能を有する携帯情報端末20を携帯していることが通常である。そして、通話機能を有する携帯情報端末20であれば、以下のような理由から、超音波信号を検出することができる。先ず、通話機能を有する携帯情報端末20には、必ずマイクが搭載されている。マイクは音声による空気中の振動を電気信号に変換する機能を有しており、超音波による振動も電気信号に変換することができる。また、マイクは、電気信号を処理する信号処理回路に接続されており、この信号処理回路を用いれば、超音波の周波数を判別して、超音波信号を検出することもできる。このように、通話機能を有する携帯情報端末20には、超音波信号を受信するためのマイクも、信号処理回路も既に搭載されている。そこで、図7に示すような超音波信号を受信したら、次のような応答信号を返信するようなプログラムを、携帯情報端末20に予め組み込んでおく。
図8には、携帯情報端末20が送信する応答信号のデータ構造が例示されている。図示されるように、応答信号は、先頭の返答コードの後に送信IDが続くデータ構造となっている。ここで、返答コードとは、超音波信号に対する返信である旨を表す情報である。そして、送信IDは、超音波信号から読み取った送信IDである。すなわち、応答信号は、携帯情報端末20が受信した超音波信号に対して返信される信号なので、受信した超音波信号に含まれている送信IDを、応答信号にも含めておく。携帯情報端末20は、超音波出力装置13からの超音波信号を受信すると、以上のような応答信号を、無線によって送信する。
尚、歩行者位置検出装置100は対象領域Rを狙って超音波信号を出力するが、携帯情報端末20は、その超音波信号がどの方向から届いたかを考慮することなく、周囲の広い範囲に向かって応答信号を送信すればよい。
また、携帯情報端末20は、応答信号を送信するために電力を消費するが、超音波信号を受信した場合に応答信号を送信すればよいので、頻繁に送信する必要はない。このため、携帯情報端末20での電池が大きく消耗する虞も生じない。
尚、歩行者位置検出装置100は対象領域Rを狙って超音波信号を出力するが、携帯情報端末20は、その超音波信号がどの方向から届いたかを考慮することなく、周囲の広い範囲に向かって応答信号を送信すればよい。
また、携帯情報端末20は、応答信号を送信するために電力を消費するが、超音波信号を受信した場合に応答信号を送信すればよいので、頻繁に送信する必要はない。このため、携帯情報端末20での電池が大きく消耗する虞も生じない。
以上に説明したように、対象領域Rに歩行者が存在していれば、その歩行者の携帯情報端末20から応答信号が送信されると考えられる。そこで、本実施形態の歩行者位置検出装置100は、図5のS106で対象領域Rに向かって超音波信号を出力したら、対象領域R内から送信された応答信号を受信したか否かを判断する(S107)。携帯情報端末20は無線によって応答信号を送信するので、無線通信装置14を用いて応答信号を受信することができる。また、上述したように、応答信号には送信IDが含まれているので、送信IDに基づいて、対象領域Rからの応答信号か否かを判断することができる。すなわち、S106で対象領域Rに向かって出力した超音波信号に対して返信されてきた応答信号であれば、超音波信号の送信IDと同じ送信IDが含まれている筈である。そこで、S107では、単に無線通信装置14で応答信号を受信したか否かだけでなく、受信した応答信号に含まれる送信IDが、先に出力した超音波信号の送信IDと一致するか否かを含めて判断することとしている。
その結果、無線通信装置14で応答信号を受信し、且つ、受信した応答信号に含まれる送信IDが超音波信号の送信IDと一致している場合には、超音波信号を出力した対象領域Rからの応答信号を受信したものと判断する(S107:yes)。
これに対して、無線通信装置14で応答信号を受信していない場合や、応答信号を受信しても送信IDが一致しない場合は、対象領域Rからの応答信号を受信していないものと判断する(S107:no)。
これに対して、無線通信装置14で応答信号を受信していない場合や、応答信号を受信しても送信IDが一致しない場合は、対象領域Rからの応答信号を受信していないものと判断する(S107:no)。
そして、対象領域Rからの応答信号を受信していないと判断した場合は(S107:no)、超音波信号を出力してから所定時間(例えば1秒)が経過したか否かを判断する(S109)。すなわち、応答信号を受信するためには、超音波出力装置13から出力された超音波信号が対象領域Rに到達し、対象領域Rの携帯情報端末20が超音波信号を検出して応答信号を送信し、その電波が無線通信装置14に達する必要がある。従って、S106で超音波信号を出力してから、無線通信装置14で応答信号を受信するためには、ある程度の時間が必要となる。そこで、S107で応答信号を受信していないと判断した場合でも(S107:no)、超音波信号を出力してから所定時間が経過したか否かを判断する(S109)。
その結果、まだ所定時間が経過していない場合は(S109:no)、再び、対象領域Rからの応答信号を受信したか否かを判断する(S107)。そして、応答信号を受信していない場合は(S107:no)、所定時間が経過したか否かを判断する(S109)。こうして、送信IDが合致する応答信号が受信されるか(S107:yes)、あるいは所定時間が経過するまで(S109:yes)、上述したS107およびS109の判断を繰り返す。
その結果、対象領域Rからの応答信号を受信した場合は(S107:yes)、対象領域Rに歩行者が存在するものと判断する(S108)。これに対して、所定時間が経過した場合は(S109:yes)、対象領域Rには歩行者は存在しないものと判断する(S110)。
その結果、対象領域Rからの応答信号を受信した場合は(S107:yes)、対象領域Rに歩行者が存在するものと判断する(S108)。これに対して、所定時間が経過した場合は(S109:yes)、対象領域Rには歩行者は存在しないものと判断する(S110)。
このように、S103で、撮影画像中に対象領域Rが存在すると判断した場合には(S103:yes)、対象領域Rに向かって超音波信号を出力して(S106)、その対象領域Rから応答信号が返ってくるか否かに基づいて、対象領域Rに歩行者が存在するか否かを判断することができる(S108、S110)。
また、S102で前述したように、撮影画像中に写った歩行者については、歩行者位置が既に検出されている。もちろん、(建物や車両などの構造物の陰に隠れているために)撮影画像中に写っていない歩行者の有無については、撮影画像を解析しても分からないが、これらの歩行者の有無についても、超音波信号に対する応答信号の有無に基づいて判断することができる。
そこで、S103で、撮影画像中に対象領域Rが存在し(S103:yes)、なおかつ、対象領域Rに歩行者が存在すると判断した場合(S108)には、S102で撮影画像中から検出した歩行者の位置に、S108で歩行者が存在すると判断した対象領域Rの位置を加えて、それらの位置を、車両1の周辺に存在する歩行者の位置として運転支援装置10に出力する(S104)。
また、S103で、撮影画像中に対象領域Rが存在しても(S103:yes)、対象領域Rに歩行者が存在しないと判断した場合(S110)には、S102で撮影画像中から検出した歩行者の位置を、車両1の周辺に存在する歩行者の位置として運転支援装置10に出力する(S104)。
こうすれば、対象領域Rに隠れている歩行者も含めて、車両1の周辺に存在する全ての歩行者の位置を検出することができる。
また、S103で、撮影画像中に対象領域Rが存在しても(S103:yes)、対象領域Rに歩行者が存在しないと判断した場合(S110)には、S102で撮影画像中から検出した歩行者の位置を、車両1の周辺に存在する歩行者の位置として運転支援装置10に出力する(S104)。
こうすれば、対象領域Rに隠れている歩行者も含めて、車両1の周辺に存在する全ての歩行者の位置を検出することができる。
こうして、歩行者の位置を出力したら(S104)、続いて、歩行者位置検出処理を終了するか否かを判断する(S105)。歩行者位置検出処理を終了しないと判断した場合は(S105:no)、S101に戻って、再び撮影画像を取得する。これに対して、歩行者位置検出処理を終了すると判断した場合は(S105:yes)、歩行者位置検出処理を終了する。
以上の様に、本実施形態の歩行者位置検出装置100は、車載カメラ11が撮影した撮影画像を解析することによって、撮影画像に写った歩行者については存在位置を精度良く検出することができる。加えて、建物や車両などの物陰に隠れた位置に存在する歩行者に付いても、超音波信号を出力して応答信号を受信することによって、歩行者の有無を判断することができる。このため、物陰に隠れた歩行者を含めて、車両1の周辺に存在する歩行者の位置を洩れなく検出することができる。その結果、車両と歩行者との交通事故をより確実に防止することが可能となる。
加えて、超音波信号であれば、歩行者が携帯している携帯情報端末20で受信することができ、しかも、今日では、全ての歩行者が携帯情報端末20を携帯していると考えて良い。従って、車両1に超音波出力装置13を搭載しておけば、その他に特別な装置を要することが無い。
更に加えて、歩行者の携帯情報端末20は、超音波信号を受信した場合に応答信号を送信すればよいので、携帯情報端末20の電池が大きく消耗することはない。そして、歩行者にとっても自らの存在を周囲の車両1に知らせて、事故に遭う可能性を減らせる利点があるので、歩行者は、超音波信号を受信したら応答信号を送信するプログラムを、携帯情報端末20に積極的に組み込んで、起動させておこうとする。その結果、本実施形態の歩行者位置検出装置100を用いて、歩行者の位置を確実に検出することが可能となる。
尚、本実施形態では、車載カメラ11が撮影した撮影画像から検出される対象領域の数が1つの場合を例に用いて説明した。
撮影画像から検出される対象領域の数が2つ以上の場合についても、対象領域に向けてそれぞれ異なる送信IDの情報をもつ超音波信号を出力することによって対象領域毎に歩行者が存在するか否かを判断できる。
撮影画像から検出される対象領域の数が2つ以上の場合についても、対象領域に向けてそれぞれ異なる送信IDの情報をもつ超音波信号を出力することによって対象領域毎に歩行者が存在するか否かを判断できる。
C.変形例 :
上述した実施形態には、いくつかの変形例が存在する。以下では、これら変形例について、上述した本実施形態との相違点を中心として簡単に説明する。
上述した実施形態には、いくつかの変形例が存在する。以下では、これら変形例について、上述した本実施形態との相違点を中心として簡単に説明する。
C-1.第1変形例 :
上述した実施形態の歩行者位置検出装置100は、図7に示したように、応答要求コマンドの後に送信IDが続いた単純なデータ構造の超音波信号を出力するものとして説明した。しかし、超音波信号には、より多くの情報を含めることとしても良い。
上述した実施形態の歩行者位置検出装置100は、図7に示したように、応答要求コマンドの後に送信IDが続いた単純なデータ構造の超音波信号を出力するものとして説明した。しかし、超音波信号には、より多くの情報を含めることとしても良い。
図9には、第1変形例の歩行者位置検出装置130の大まかな内部構成が示されている。図示した第1変形例の歩行者位置検出装置130は、図2を用いて前述した本実施形態の歩行者位置検出装置100に対して、車両位置取得部107と、位置情報算出部108とを備える点が大きく異なっている。このことに対応して、第1変形例の歩行者位置検出装置130では、対象領域抽出部103で得られた対象領域Rの抽出結果を位置情報算出部108に出力している点や、超音波出力部104が超音波信号を生成する際に、対象領域抽出部103からの情報に加えて、位置情報算出部108からの情報も使用する点が異なっている。
第1変形例の対象領域抽出部103は、撮影画像中から対象領域Rを抽出すると、その結果を超音波出力部104に出力すると共に、位置情報算出部108にも出力する。
また、第1変形例の車両1にはナビゲーション装置15が搭載されている。ナビゲーション装置15は、GNSS(衛星全地球測位システム:Global Navigation Satellite System)の測位信号や車速センサー等(図示せず)を用いて、車両1の位置および方向を高い精度で検出することができる。そして、車両位置取得部107は、ナビゲーション装置15から車両1の位置および方向の情報を取得して、位置情報算出部108に出力する。
尚、一般的に、ナビゲーション装置15は、車両1の位置や方向を検出する機能に加えて、地図情報を記憶する機能や、目的地までの経路を検索する機能なども備えているが、ここでは、車両1の位置や方向を検出する機能を利用する。従って、この機能を有しているのであれば、必ずしもナビゲーション装置15を用いる必要はない。例えば、車両1の位置や方向を検出する機能を搭載したロケーターと呼ばれる機器を、ナビゲーション装置15の代わりに用いることもできる。
また、第1変形例の車両1にはナビゲーション装置15が搭載されている。ナビゲーション装置15は、GNSS(衛星全地球測位システム:Global Navigation Satellite System)の測位信号や車速センサー等(図示せず)を用いて、車両1の位置および方向を高い精度で検出することができる。そして、車両位置取得部107は、ナビゲーション装置15から車両1の位置および方向の情報を取得して、位置情報算出部108に出力する。
尚、一般的に、ナビゲーション装置15は、車両1の位置や方向を検出する機能に加えて、地図情報を記憶する機能や、目的地までの経路を検索する機能なども備えているが、ここでは、車両1の位置や方向を検出する機能を利用する。従って、この機能を有しているのであれば、必ずしもナビゲーション装置15を用いる必要はない。例えば、車両1の位置や方向を検出する機能を搭載したロケーターと呼ばれる機器を、ナビゲーション装置15の代わりに用いることもできる。
位置情報算出部108は、対象領域抽出部103から受け取った情報に基づいて、車両1に対する対象領域Rの相対位置を算出する。更に、車両位置取得部107からは、車両1の位置および方向の情報を取得しているから、相対位置の情報と、車両1の位置および方向の情報とに基づいて、対象領域Rの絶対位置(以下、対象領域位置情報と称する)を算出する。そして、算出した対象領域位置情報を、超音波出力部104に出力する。
第1変形例の超音波出力部104は、位置情報算出部108から受け取った対象領域位置情報を用いて、超音波信号を生成する。また、第1変形例の超音波出力部104は、無線通信装置14が携帯情報端末20と無線通信を開始するための通信プロトコルに関する情報(以下、無線通信開始情報と称する)を、無線通信装置14から取得して、無線通信開始情報も組み込んだ超音波信号を生成する。
図10には、第1変形例の超音波出力部104が生成する超音波信号のデータ構造が示されている。図示されるように、第1変形例の超音波信号は、応答要求コマンドに続いて、送信ID、対象領域位置情報、無線通信開始情報の4つの部分が、この順番で並んだデータ構造となっている。ここで、応答要求コマンドとは、前述したように、応答信号を返信するように、携帯情報端末20に対して要求するコマンドであり、送信IDとは、超音波信号自体に付与された識別番号である。また、対象領域位置情報とは、位置情報算出部108で算出した対象領域の絶対位置の情報である。更に、無線通信開始情報とは、前述したように、無線通信装置14が携帯情報端末20と無線通信を開始するための通信プロトコルに関する情報である。
このように、第1変形例の歩行者位置検出装置130では、対象領域Rに向かって出力する超音波信号に、対象領域Rの絶対位置の情報(すなわち、対象領域位置情報)や、無線通信開始情報が含まれている。
このため、対象領域Rに歩行者が存在していれば、その歩行者が携帯している携帯情報端末20は超音波信号を受信することによって、対象領域Rの絶対位置の情報を得ることができる。通常、携帯情報端末20も、GNSS衛星の測位信号を用いて自らの位置を検出する機能を有しているが、携帯情報端末20が検出する位置情報は、車両1に搭載されたナビゲーション装置15(あるいはロケーター)が検出する位置情報に比べると精度が高くはない。そして、超音波信号に含まれる対象領域位置情報は、ナビゲーション装置15が検出した車両1の位置情報を、車両1に対する対象領域Rの相対位置に基づいて補正したものなので、携帯情報端末20が検出した位置情報よりも精度が高いと考えられる。そこで、携帯情報端末20が検出した位置情報を、超音波信号から取得した対象領域位置情報で置き換えてやる。こうすれば、携帯情報端末20が把握している自らの位置情報の精度を向上させることができる。携帯情報端末20は、自らの位置情報を様々なプログラムで利用しているから、位置情報の精度を向上させることによって、各種のプログラムをより適切に動作させることが可能となる。
このため、対象領域Rに歩行者が存在していれば、その歩行者が携帯している携帯情報端末20は超音波信号を受信することによって、対象領域Rの絶対位置の情報を得ることができる。通常、携帯情報端末20も、GNSS衛星の測位信号を用いて自らの位置を検出する機能を有しているが、携帯情報端末20が検出する位置情報は、車両1に搭載されたナビゲーション装置15(あるいはロケーター)が検出する位置情報に比べると精度が高くはない。そして、超音波信号に含まれる対象領域位置情報は、ナビゲーション装置15が検出した車両1の位置情報を、車両1に対する対象領域Rの相対位置に基づいて補正したものなので、携帯情報端末20が検出した位置情報よりも精度が高いと考えられる。そこで、携帯情報端末20が検出した位置情報を、超音波信号から取得した対象領域位置情報で置き換えてやる。こうすれば、携帯情報端末20が把握している自らの位置情報の精度を向上させることができる。携帯情報端末20は、自らの位置情報を様々なプログラムで利用しているから、位置情報の精度を向上させることによって、各種のプログラムをより適切に動作させることが可能となる。
また、第1変形例の超音波信号には、無線通信開始情報も含まれている。そして、前述したように、無線通信開始情報は、車両1の無線通信装置14が無線通信するための通信プロトコルに関する情報である。従って、超音波信号を受信した携帯情報端末20が応答信号を送信する際に、超音波信号によって指定された通信プロトコルを用いて送信すれば、車両1の無線通信装置14に対して、より確実に応答信号を送信することができる。
加えて、車両1の無線通信装置14と携帯情報端末20との間で、無線による接続を確立すれば、様々なデータを迅速にやり取りすることができる。例えば、歩行者から見えない位置にいる車両1や他車両の存在を、無線通信によって歩行者に伝えることができる。
このように無線による接続を確立するためには、車両1の無線通信装置14と携帯情報端末20との間で、無線通信に用いる通信プロトコルに関する情報を共有しておく必要がある。そこで、車両1の無線通信装置14が無線通信に用いる通信プロトコルに関する情報を、無線通信開始情報として超音波信号に含めて伝えてやれば、車両1の無線通信装置14と携帯情報端末20との間で速やかに接続を確立することが可能となる。
このように無線による接続を確立するためには、車両1の無線通信装置14と携帯情報端末20との間で、無線通信に用いる通信プロトコルに関する情報を共有しておく必要がある。そこで、車両1の無線通信装置14が無線通信に用いる通信プロトコルに関する情報を、無線通信開始情報として超音波信号に含めて伝えてやれば、車両1の無線通信装置14と携帯情報端末20との間で速やかに接続を確立することが可能となる。
また、車両1の無線通信装置14と携帯情報端末20との間で速やかに接続を確立する観点からすると、携帯情報端末20から送信する応答信号にも、携帯情報端末20側の通信プロトコルに関する情報を、無線通信開始情報として含めることとしてもよい。
図11には、無線通信開始情報を含んだ第1変形例の応答信号のデータ構造が示されている。図示した第1変形例の応答信号は、図8に示した本実施形態の応答信号の後に、無線通信開始情報が追加されたデータ構造となっている。
こうすれば、車両1側から出力された超音波信号を携帯情報端末20が受信して、携帯情報端末20が送信した応答信号を車両1側で受信した段階で、車両1の無線通信装置14と携帯情報端末20との間でお互いに無線通信の通信プロトコルに関する情報の少なくとも一部が認識されている。このため、車両1の無線通信装置14と携帯情報端末20との間での接続を、より速やかに確立することが可能となる。
図11には、無線通信開始情報を含んだ第1変形例の応答信号のデータ構造が示されている。図示した第1変形例の応答信号は、図8に示した本実施形態の応答信号の後に、無線通信開始情報が追加されたデータ構造となっている。
こうすれば、車両1側から出力された超音波信号を携帯情報端末20が受信して、携帯情報端末20が送信した応答信号を車両1側で受信した段階で、車両1の無線通信装置14と携帯情報端末20との間でお互いに無線通信の通信プロトコルに関する情報の少なくとも一部が認識されている。このため、車両1の無線通信装置14と携帯情報端末20との間での接続を、より速やかに確立することが可能となる。
C-2.第2変形例 :
上述したように、超音波出力装置13は、対象領域Rに向けて、人間の可聴範囲を超えた周波数の超音波信号を出力する。このため、たとえ対象領域Rに歩行者が存在していても、その歩行者は超音波信号が出力されたことには気付かず、車両1が接近していることにも気付かない。
しかし、以下のようにすれば、超音波出力装置13から超音波信号(あるいは単なる超音波)が出力されたことを、歩行者に気付かせることが可能である。以下、このような第2変形例の歩行者位置検出装置150について説明する。
上述したように、超音波出力装置13は、対象領域Rに向けて、人間の可聴範囲を超えた周波数の超音波信号を出力する。このため、たとえ対象領域Rに歩行者が存在していても、その歩行者は超音波信号が出力されたことには気付かず、車両1が接近していることにも気付かない。
しかし、以下のようにすれば、超音波出力装置13から超音波信号(あるいは単なる超音波)が出力されたことを、歩行者に気付かせることが可能である。以下、このような第2変形例の歩行者位置検出装置150について説明する。
図12には、第2変形例の歩行者位置検出装置150の大まかな内部構成が示されている。図示した第2変形例の歩行者位置検出装置150は、図2を用いて前述した本実施形態の歩行者位置検出装置100に対して、音声情報記憶部109を備える点が大きく異なっている。
音声情報記憶部109には、可聴周波数の音声情報が記憶されている。音声情報としては、人間が聴覚的に感知することができる音の情報であれば良く、例えば、車両1の接近を知らせる効果音(エンジン音、モーター音など)とすることもできるし、歩行者に対して警告や注意喚起を促す音声の情報とすることもできる。
音声情報記憶部109には、可聴周波数の音声情報が記憶されている。音声情報としては、人間が聴覚的に感知することができる音の情報であれば良く、例えば、車両1の接近を知らせる効果音(エンジン音、モーター音など)とすることもできるし、歩行者に対して警告や注意喚起を促す音声の情報とすることもできる。
第2変形例の超音波出力部104は、超音波信号を出力するに際して、音声情報記憶部109から音声情報を読み出して、超音波出力装置13が出力する超音波の周波数を変調させることによって、音声情報を重畳させる。前述したように、超音波出力部104は、超音波の周波数として、周波数F1または周波数F2を指定可能となっているから、周波数F1を指定した場合には、周波数F1を中心に、音声情報の周波数を変調させる。また、周波数F2を指定した場合には、周波数F2を中心に音声情報の周波数を変調させる。そして、変調した周波数の超音波を超音波出力装置13から出力させる。
尚、ここでは音声情報の変調方式として、いわゆる周波数変調を行うものとして説明したが、振幅変調を行うことも可能である。
尚、ここでは音声情報の変調方式として、いわゆる周波数変調を行うものとして説明したが、振幅変調を行うことも可能である。
ここで、可聴周波数の音声成分が変調された超音波が空気中を伝わっていく場合、空気が有する僅かな非線形性によって、可聴周波数の音声成分が復調されるという現象(いわゆる非線形パラメトリック現象)が知られている。
従って、超音波出力装置13から出力する超音波信号の周波数を変調させることによって音声情報を重畳させておけば、その超音波信号が対象領域Rに伝わるまでの間に、重畳させた音声情報が復調されるので、歩行者が音声情報を認識することが可能となる。
音声情報としてエンジン音などの効果音の情報を記憶しておけば、対象領域Rにいる歩行者に対して車両1の存在あるいは接近を知らせることができる。
従って、超音波出力装置13から出力する超音波信号の周波数を変調させることによって音声情報を重畳させておけば、その超音波信号が対象領域Rに伝わるまでの間に、重畳させた音声情報が復調されるので、歩行者が音声情報を認識することが可能となる。
音声情報としてエンジン音などの効果音の情報を記憶しておけば、対象領域Rにいる歩行者に対して車両1の存在あるいは接近を知らせることができる。
また、歩行者に対する警告や注意喚起を促す複数種類の音声の情報を記憶しておき、車両1の周囲の状況や運転状況などに応じて、適切な情報を選択して、超音波信号に重畳させてもよい。更には、車両1の周囲の状況や運転状況などに応じて、歩行者に伝えるべき可聴音の音声メッセージを生成して、生成した音声メッセージを超音波信号に重畳させることも可能である。
こうすれば、車両1の周囲の状況や運転状況などに応じて、歩行者に対して適切な警告や、注意喚起や、音声メッセージなどを伝えることが可能となる。
こうすれば、車両1の周囲の状況や運転状況などに応じて、歩行者に対して適切な警告や、注意喚起や、音声メッセージなどを伝えることが可能となる。
C-3.第3変形例 :
上述した実施形態あるいは各種の変形例では、車両1の前方に1台の超音波出力装置13が搭載されているものとして説明した。しかし、車両1の前方の左右の位置に1台ずつの超音波出力装置13を搭載してもよい。以下では、このような第3変形例について説明する。
上述した実施形態あるいは各種の変形例では、車両1の前方に1台の超音波出力装置13が搭載されているものとして説明した。しかし、車両1の前方の左右の位置に1台ずつの超音波出力装置13を搭載してもよい。以下では、このような第3変形例について説明する。
図13には、第3変形例の歩行者位置検出装置170を搭載した車両1が例示されている。図示したように、第3変形例では、車両1の前方に、左右方向への位置を異ならせて2つの超音波出力装置13L,13Rが搭載されている。そして、車両1の左側に搭載された超音波出力装置13Lも、右側に搭載された超音波出力装置13Rも、何れも歩行者位置検出装置170に接続されている。
尚、第3変形例の車両1にも、図1に示した本実施形態の車両1と同様に、車載カメラ11や、電磁波照射機器12や、無線通信装置14などが搭載されているが、図13では図示が煩雑となることを避けるために、これらについては図示が省略されている。
尚、第3変形例の車両1にも、図1に示した本実施形態の車両1と同様に、車載カメラ11や、電磁波照射機器12や、無線通信装置14などが搭載されているが、図13では図示が煩雑となることを避けるために、これらについては図示が省略されている。
図14には、第3変形例の歩行者位置検出装置170の大まかな内部構成が示されている。第3変形例の歩行者位置検出装置170は、図2を用いて前述した本実施形態の歩行者位置検出装置100に対して、超音波出力部104に2台の超音波出力装置13L,13Rが接続されている点が大きく異なっている。
第3変形例の超音波出力部104は、対象領域抽出部103から対象領域Rの抽出結果を取得すると、対象領域Rが車両1の前方の左側にあるのか、右側にあるのかを判断する。そして、対象領域Rが車両1の前方の左側にある場合には、車両1の右側に搭載された超音波出力装置13Rを駆動して超音波信号を出力する。また、対象領域Rが車両1の前方の右側にある場合には、車両1の左側に搭載された超音波出力装置13Lを駆動して超音波信号を出力する。
第3変形例の超音波出力部104は、対象領域抽出部103から対象領域Rの抽出結果を取得すると、対象領域Rが車両1の前方の左側にあるのか、右側にあるのかを判断する。そして、対象領域Rが車両1の前方の左側にある場合には、車両1の右側に搭載された超音波出力装置13Rを駆動して超音波信号を出力する。また、対象領域Rが車両1の前方の右側にある場合には、車両1の左側に搭載された超音波出力装置13Lを駆動して超音波信号を出力する。
図15A、15Bには、第3変形例の車両1が、車両1の左側で抽出された対象領域Rに向かって超音波信号を出力する様子が例示されている。図15Aに示したように、第3変形例の車両1は、車両1の左側で抽出された対象領域Rに対しては、車両1の右側に搭載された超音波出力装置13Rを用いて超音波信号を送信する。また、図15Bには、参考として、車両1の左側の超音波出力装置13Lから超音波信号を送信した場合が示されている。
図15Aと図15Bとを比較すれば明らかなように、対象領域Rが車両1に対して左側に存在する場合には、車両1の左側の超音波出力装置13Lを用いるよりも、右側の超音波出力装置13Rを用いた方が、対象領域Rに対して角度を付けて超音波信号を出力することができる。このため、対象領域Rに存在する歩行者dの携帯情報端末20に対しても、より確実に超音波信号を伝えることができる。その結果、対象領域Rに隠れている歩行者dの存在をより一層確実に検出することが可能となる。
図15Aと図15Bとを比較すれば明らかなように、対象領域Rが車両1に対して左側に存在する場合には、車両1の左側の超音波出力装置13Lを用いるよりも、右側の超音波出力装置13Rを用いた方が、対象領域Rに対して角度を付けて超音波信号を出力することができる。このため、対象領域Rに存在する歩行者dの携帯情報端末20に対しても、より確実に超音波信号を伝えることができる。その結果、対象領域Rに隠れている歩行者dの存在をより一層確実に検出することが可能となる。
C-4.第4変形例 :
上述した本実施形態および各種の変形例では、複数の車両1が存在する場合でも、それぞれの車両1が個別に対象領域Rに対して超音波信号を出力するものとして説明した。
しかし、複数の車両1で無線通信装置14を用いて車車間通信を行いながら超音波信号を出力するようにしても良い。
上述した本実施形態および各種の変形例では、複数の車両1が存在する場合でも、それぞれの車両1が個別に対象領域Rに対して超音波信号を出力するものとして説明した。
しかし、複数の車両1で無線通信装置14を用いて車車間通信を行いながら超音波信号を出力するようにしても良い。
図16には、このような第4変形例の歩行者位置検出装置190の大まかな内部構成が示されている。第4変形例の歩行者位置検出装置190は、図2を用いて前述した本実施形態の歩行者位置検出装置100に対して、車車間通信部110を搭載している点が大きく異なっている。
車車間通信部110は、無線通信装置14に接続されており、周囲に存在する他車両との間で車車間通信を行うことができる。尚、第4変形例の無線通信装置14は、携帯情報端末20との通信規格(例えば、ブルーツース:Bluetooth(登録商標)や無線LAN)に加えて、車車間通信の通信規格にも対応している。
車車間通信部110は、無線通信装置14に接続されており、周囲に存在する他車両との間で車車間通信を行うことができる。尚、第4変形例の無線通信装置14は、携帯情報端末20との通信規格(例えば、ブルーツース:Bluetooth(登録商標)や無線LAN)に加えて、車車間通信の通信規格にも対応している。
第4変形例の対象領域抽出部103は、対象領域Rを抽出すると、その結果を、車車間通信部110と超音波出力部104とに出力する。
車車間通信部110は、対象領域抽出部103から対象領域Rを受け取ると、無線通信装置14を介して車車間通信を行うことにより、対象領域Rについての歩行者の有無を、周囲に存在する他車両に対して問い合わせる。その結果、歩行者が存在することが分かった対象領域Rについては、歩行者が存在する旨を歩行者位置決定部106に出力する。また、歩行者の有無が分からなかった対象領域Rについては、超音波出力部104に出力する。
第4変形例の超音波出力部104は、歩行者の有無が分からなかった対象領域Rに向かって、超音波出力装置13を駆動することによって超音波信号を出力する。
車車間通信部110は、対象領域抽出部103から対象領域Rを受け取ると、無線通信装置14を介して車車間通信を行うことにより、対象領域Rについての歩行者の有無を、周囲に存在する他車両に対して問い合わせる。その結果、歩行者が存在することが分かった対象領域Rについては、歩行者が存在する旨を歩行者位置決定部106に出力する。また、歩行者の有無が分からなかった対象領域Rについては、超音波出力部104に出力する。
第4変形例の超音波出力部104は、歩行者の有無が分からなかった対象領域Rに向かって、超音波出力装置13を駆動することによって超音波信号を出力する。
図17A~17Cには、このような第4変形例の車両1が、無線通信装置14を用いて車車間通信を行いながら超音波信号を出力する様子が示されている。図17Aに示した例では、車両1aにとっての対象領域Rは、車両1bにとっても対象領域Rとなっている。
もっとも、車両1aと車両1bとが同じタイミングで対象領域Rを抽出するわけではない。そこで、先に対象領域Rを抽出した方の車両1(図17Aに示した例では車両1b)が超音波信号を出力する際に、対象領域Rに向けて超音波信号を出力する旨と、対象領域Rの位置に関する情報とを、無線通信装置14を介して周囲に送信しておく。
もっとも、車両1aと車両1bとが同じタイミングで対象領域Rを抽出するわけではない。そこで、先に対象領域Rを抽出した方の車両1(図17Aに示した例では車両1b)が超音波信号を出力する際に、対象領域Rに向けて超音波信号を出力する旨と、対象領域Rの位置に関する情報とを、無線通信装置14を介して周囲に送信しておく。
そして、後から対象領域Rを抽出した方の車両1(図17Aの例では車両1a)は、その対象領域Rに向かって別の車両1(ここでは車両1b)が超音波信号を出力しようとしていることを、無線通信によって認識すると、その車両1との間で車車間通信を行うことによって、その対象領域Rについての歩行者dの有無の判断結果を取得する。
このようにすれば、超音波信号を出力しない車両1(ここでは車両1a)も、対象領域Rについての歩行者dの有無を判断することができる。
このようにすれば、超音波信号を出力しない車両1(ここでは車両1a)も、対象領域Rについての歩行者dの有無を判断することができる。
仮に、図17Bに例示したように、車両1aと車両1bとが同じ対象領域Rに向かって超音波信号を出力すると、2つの超音波信号の干渉が生じて、歩行者dの携帯情報端末20では超音波信号を認識できなくなる虞がある。第4変形例では、このような虞を排除することができるので、対象領域Rでの歩行者dの有無を確実に判断することが可能となる。
尚、以上の説明では、対象領域Rを抽出すると、その対象領域Rに向かって超音波信号が出力されたか否かを判断して、超音波信号が出力されていない場合は、その対象領域Rに向けて超音波信号を出力するものとして説明した。
しかし、対象領域Rに超音波信号が出力されていない場合でも、周囲に存在する他の車両1との間で車車間通信を行って、対象領域Rに向けて超音波信号を出力するか否かを判断することもできる。
例えば、図17Aに示した例では、車両1aから超音波信号を出力したのでは、対象領域Rに対する角度が十分には取れないが、車両1bからは対象領域Rに対する角度を十分に取ることができる。従って、対象領域Rに超音波信号を出力するのであれば、車両1aから出力するよりも車両1bから出力する方が望ましいと考えられる。
そこで、車両1aと車両1bとの間で車車間通信を行って、互いの位置を認識することにより、より望ましい位置にいる方(ここでは車両1b)が超音波信号を出力するようにしてもよい。
しかし、対象領域Rに超音波信号が出力されていない場合でも、周囲に存在する他の車両1との間で車車間通信を行って、対象領域Rに向けて超音波信号を出力するか否かを判断することもできる。
例えば、図17Aに示した例では、車両1aから超音波信号を出力したのでは、対象領域Rに対する角度が十分には取れないが、車両1bからは対象領域Rに対する角度を十分に取ることができる。従って、対象領域Rに超音波信号を出力するのであれば、車両1aから出力するよりも車両1bから出力する方が望ましいと考えられる。
そこで、車両1aと車両1bとの間で車車間通信を行って、互いの位置を認識することにより、より望ましい位置にいる方(ここでは車両1b)が超音波信号を出力するようにしてもよい。
また、図17Cに示した例では、車両1bからは、対象領域Rにいる歩行者dは見えないが、車両1aからは歩行者dが見えている。従って、車両1bにとっての対象領域Rは、そもそも車両1aにとっては対象領域Rですらないので、車両1aから対象領域Rに超音波信号が出力されることはない。
そこで、車両1bが対象領域Rを抽出したら、無線通信装置14を用いて周囲の車両1aと車車間通信を行うことによって、対象領域Rについての歩行者の有無を問い合わせるようにしても良い。そして、問い合わせに対する応答が無かった場合に、対象領域Rに向かって超音波信号を出力するようにしてもよい。
こうすれば、超音波信号を出力する頻度が減らせるので、超音波を出力するための電力消費量を低減させることができる。また、歩行者dの携帯情報端末20にとっても、超音波信号に対する応答信号を送信する頻度が減らせるので、携帯情報端末20の電力消費量も低減させることが可能となる。
そこで、車両1bが対象領域Rを抽出したら、無線通信装置14を用いて周囲の車両1aと車車間通信を行うことによって、対象領域Rについての歩行者の有無を問い合わせるようにしても良い。そして、問い合わせに対する応答が無かった場合に、対象領域Rに向かって超音波信号を出力するようにしてもよい。
こうすれば、超音波信号を出力する頻度が減らせるので、超音波を出力するための電力消費量を低減させることができる。また、歩行者dの携帯情報端末20にとっても、超音波信号に対する応答信号を送信する頻度が減らせるので、携帯情報端末20の電力消費量も低減させることが可能となる。
C-5.第5変形例 :
また、上述した本実施形態あるいは各種の変形例では、超音波出力装置13が超音波信号を出力する対象は、歩行者が隠れている可能性がある領域(すなわち対象領域R)であるものとして説明した。
しかし、超音波信号を出力する対象は対象領域Rに限る必要はなく、車載カメラ11などで検出した歩行者に向かって超音波信号を出力するようにしても良い。
また、上述した本実施形態あるいは各種の変形例では、超音波出力装置13が超音波信号を出力する対象は、歩行者が隠れている可能性がある領域(すなわち対象領域R)であるものとして説明した。
しかし、超音波信号を出力する対象は対象領域Rに限る必要はなく、車載カメラ11などで検出した歩行者に向かって超音波信号を出力するようにしても良い。
例えば、図7に例示した応答要求コマンドを含む超音波信号に加えて、警告コマンドを含んだ超音波信号も出力可能としておく。ここで、警告コマンドとは、超音波信号を受信した携帯情報端末20に対して、音声あるいは振動などを用いて携帯情報端末20の所有者に警告するように要求するコマンドである。また、携帯情報端末20には、警告コマンドを受け取ったら、携帯情報端末20の所有者に、予め定められた方法で警告するようなプログラムを組み込んでおく。
そして、車載カメラ11の撮影画像から抽出された対象領域Rに対しては、応答要求コマンドを含む超音波信号を出力する。また、撮影画像から抽出した歩行者の中で、例えば、車両1の存在に気付いていない虞があるなど、警告が必要と判断した歩行者に対しては、前述した警告コマンドを含んだ超音波信号を出力する。こうすれば、歩行者に対しても、必要に応じて警告することが可能となる。
そして、車載カメラ11の撮影画像から抽出された対象領域Rに対しては、応答要求コマンドを含む超音波信号を出力する。また、撮影画像から抽出した歩行者の中で、例えば、車両1の存在に気付いていない虞があるなど、警告が必要と判断した歩行者に対しては、前述した警告コマンドを含んだ超音波信号を出力する。こうすれば、歩行者に対しても、必要に応じて警告することが可能となる。
以上、本実施形態および各種の変形例について説明したが、本発明は上述した実施形態および変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。
Claims (10)
- 車両(1)に搭載されて該車両の周囲に存在する歩行者の存在位置を検出する歩行者位置検出装置(100、130、150、170、190)であって、
車載カメラ(11)からの画像信号、または電磁波照射機器(12)から電磁波を照射することによって得られた反射信号を取得する信号取得部(101)と、
前記画像信号または前記反射信号を解析することによって、前記歩行者の存在位置と、前記車両の周囲に存在する構造物の存在位置と、該構造物の大きさとを検出する信号解析部(102)と、
前記構造物の大きさおよび前記構造物の存在位置に基づいて、前記歩行者の存在についての問い合わせを要する対象領域を抽出する対象領域抽出部(103)と、
前記車両に搭載された超音波出力装置(13)を駆動することによって、前記対象領域に向かって超音波を出力させる超音波出力部(104)と、
前記出力された超音波に応答して前記対象領域から無線で送信された応答信号を検出する応答信号検出部(105)と、
前記信号解析部によって検出された前記歩行者の存在位置と、前記応答信号の検出結果とを考慮して、前記歩行者の存在位置を決定する歩行者位置決定部(106)と
を備える歩行者位置検出装置。 - 請求項1に記載の歩行者位置検出装置であって、
前記超音波出力部は、前記超音波出力装置が出力する超音波の振動数、振幅および位相のうちの少なくともいずれか一種を所定の時間間隔で指定して前記超音波を出力させる
歩行者位置検出装置。 - 請求項2に記載の歩行者位置検出装置であって、
前記超音波出力部は、前記超音波出力装置が出力する超音波の振動数、振幅および位相のうちの少なくともいずれか一種を所定の時間間隔で指定することによって、応答を要求するコマンドが重畳された前記超音波を出力させる
歩行者位置検出装置。 - 請求項2または請求項3に記載の歩行者位置検出装置であって、
前記超音波出力部は、前記超音波出力装置が出力する超音波の振動数、振幅および位相のうちの少なくともいずれか一種を所定の時間間隔で指定することによって、識別番号が重畳された前記超音波を出力させる
歩行者位置検出装置。 - 請求項2ないし請求項4の何れか一項に記載の歩行者位置検出装置(130)であって、
前記車両の現在位置の情報を取得する車両位置取得部(107)と、
前記対象領域の抽出結果と、前記車両の現在位置の情報とに基づいて、前記対象領域の位置情報を算出する位置情報算出部(108)と
を備え、
前記超音波出力部は、前記超音波出力装置が出力する超音波の振動数、振幅および位相のうちの少なくともいずれか一種を所定の時間間隔で指定することによって、前記対象領域の位置情報が重畳された前記超音波を出力させる
歩行者位置検出装置。 - 請求項2ないし請求項5の何れか一項に記載の歩行者位置検出装置(130)であって、
前記超音波出力部は、前記超音波出力装置が出力する超音波の振動数、振幅および位相のうちの少なくともいずれか一種を所定の時間間隔で指定することによって、外部の無線通信機器との間で無線による接続を確立するための情報が重畳された前記超音波を出力させる
歩行者位置検出装置。 - 請求項2ないし請求項6の何れか一項に記載の歩行者位置検出装置であって、
前記超音波出力部は、前記超音波出力装置が出力する超音波の振動数、振幅および位相のうちの少なくともいずれか一種を所定の時間間隔で指定することによって、警告実行を要求するコマンドが重畳された前記超音波を出力させる
歩行者位置検出装置。 - 請求項1ないし請求項7の何れか一項に記載の歩行者位置検出装置(150)であって、
可聴周波数による音声情報を記憶している音声情報記憶部(109)を備え、
前記超音波出力部は、前記超音波出力装置に前記超音波を出力させるに際して、前記音声情報記憶部から前記音声情報を読み出すことによって、該音声情報が変調された前記超音波を出力させる
歩行者位置検出装置。 - 請求項1ないし請求項8の何れか一項に記載の歩行者位置検出装置(170)であって、
前記車両の前方には、左右方向に位置を異ならせて2つの前記超音波出力装置が搭載されており、
前記超音波出力部は、
前記対象領域が前記車両の前方の左側で抽出されている場合には、前記車両の右側に搭載された前記超音波出力装置を駆動して前記超音波を出力させ、
前記対象領域が前記車両の前方の右側で抽出されている場合には、前記車両の左側に搭載された前記超音波出力装置を駆動して前記超音波を出力させる
歩行者位置検出装置。 - 請求項1ないし請求項9の何れか一項に記載の歩行者位置検出装置(190)であって、
前記車両の周囲に存在する他車両と車車間通信する車車間通信部(110)を備え、
前記車車間通信部は、前記対象領域が抽出されると、前記車車間通信を行うことによって、前記対象領域での前記歩行者の有無を問い合わせると共に、前記歩行者が存在する前記対象領域については、歩行者位置決定部に出力し、
前記超音波出力部は,前記車車間通信を行っても前記歩行者の有無が不明な前記対象領域について、前記超音波出力装置を駆動することによって前記超音波を出力させる
歩行者位置検出装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016150778A JP6614061B2 (ja) | 2016-07-29 | 2016-07-29 | 歩行者位置検出装置 |
JP2016-150778 | 2016-07-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018021025A1 true WO2018021025A1 (ja) | 2018-02-01 |
Family
ID=61016530
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/025387 WO2018021025A1 (ja) | 2016-07-29 | 2017-07-12 | 歩行者位置検出装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6614061B2 (ja) |
WO (1) | WO2018021025A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109501674A (zh) * | 2018-10-29 | 2019-03-22 | 山东科技大学 | 一种基于穿戴设备信号源的汽车盲区预警系统和方法 |
WO2022008837A1 (fr) * | 2020-07-09 | 2022-01-13 | CopSonic | Methode de signalisation de l'approche d'un vehicule a l'utilisateur d'un smartphone et application correspondante |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024112073A1 (ko) * | 2022-11-21 | 2024-05-30 | 엘지전자 주식회사 | 무선 통신 시스템에서 위치를 측정하는 방법 및 이를 위한 장치 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011194979A (ja) * | 2010-03-18 | 2011-10-06 | Toyota Motor Corp | 運転支援装置 |
JP2011242860A (ja) * | 2010-05-14 | 2011-12-01 | Toyota Motor Corp | 障害物認識装置 |
JP2015089733A (ja) * | 2013-11-06 | 2015-05-11 | トヨタ自動車株式会社 | 駐車支援システム |
JP2015156080A (ja) * | 2014-02-20 | 2015-08-27 | 株式会社小糸製作所 | 車両の空中像表示装置 |
-
2016
- 2016-07-29 JP JP2016150778A patent/JP6614061B2/ja active Active
-
2017
- 2017-07-12 WO PCT/JP2017/025387 patent/WO2018021025A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011194979A (ja) * | 2010-03-18 | 2011-10-06 | Toyota Motor Corp | 運転支援装置 |
JP2011242860A (ja) * | 2010-05-14 | 2011-12-01 | Toyota Motor Corp | 障害物認識装置 |
JP2015089733A (ja) * | 2013-11-06 | 2015-05-11 | トヨタ自動車株式会社 | 駐車支援システム |
JP2015156080A (ja) * | 2014-02-20 | 2015-08-27 | 株式会社小糸製作所 | 車両の空中像表示装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109501674A (zh) * | 2018-10-29 | 2019-03-22 | 山东科技大学 | 一种基于穿戴设备信号源的汽车盲区预警系统和方法 |
CN109501674B (zh) * | 2018-10-29 | 2022-07-08 | 山东科技大学 | 一种基于穿戴设备信号源的汽车盲区预警系统和方法 |
WO2022008837A1 (fr) * | 2020-07-09 | 2022-01-13 | CopSonic | Methode de signalisation de l'approche d'un vehicule a l'utilisateur d'un smartphone et application correspondante |
FR3112383A1 (fr) * | 2020-07-09 | 2022-01-14 | CopSonic | Méthode de signalisation de l’approche d’un véhicule à l’utilisateur d’un smartphone |
Also Published As
Publication number | Publication date |
---|---|
JP6614061B2 (ja) | 2019-12-04 |
JP2018018467A (ja) | 2018-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11814064B2 (en) | Method, apparatus, electronic device, computer program and computer readable recording medium for measuring inter-vehicle distance using driving image | |
KR102518534B1 (ko) | 차량 위치 인식 장치 및 방법 | |
CN108944454B (zh) | 电子装置、电子装置的控制方法及计算机可读记录介质 | |
US10262533B2 (en) | Moving object and driving support system for moving object | |
JP4556742B2 (ja) | 車両直下画像表示制御装置および車両直下画像表示制御プログラム | |
CN109017554B (zh) | 行驶提醒方法、装置及计算机可读存储介质 | |
CN110979318B (zh) | 车道信息获取方法、装置、自动驾驶车辆及存储介质 | |
KR20160107054A (ko) | 차량 제어 장치, 차량 운전 보조 장치, 이동 단말기 및 그 제어 방법 | |
US10930147B2 (en) | Electronic apparatus, roadside unit, and transport system | |
WO2017172034A1 (en) | V2x object-location verification system for automated vehicles | |
WO2018021025A1 (ja) | 歩行者位置検出装置 | |
WO2020100569A1 (ja) | 制御装置、制御方法及びセンサ制御システム | |
JP2017068640A (ja) | 車両間データ通信装置 | |
JP2008114649A (ja) | クラクション制御装置 | |
JP2007128235A (ja) | 接近報知装置 | |
KR20160065724A (ko) | 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 | |
US20130141221A1 (en) | Apparatus | |
WO2021049233A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2008114613A (ja) | クラクション制御装置 | |
KR20210056632A (ko) | 메시지 기반의 영상 처리 방법 및 이를 구현하는 전자 장치 | |
JP2022068242A (ja) | 路面情報取得方法 | |
KR20180086794A (ko) | 차량 주변의 객체를 나타내는 영상을 생성하는 방법 및 장치. | |
US11259159B2 (en) | Method and device for controlling vehicle sensor systems | |
US20200175959A1 (en) | Apparatus, system, method and computer program | |
CN114616609A (zh) | 驾驶辅助系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17834033 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17834033 Country of ref document: EP Kind code of ref document: A1 |