WO2022130723A1 - 車両用装置、及び車両用装置が実行する方法 - Google Patents

車両用装置、及び車両用装置が実行する方法 Download PDF

Info

Publication number
WO2022130723A1
WO2022130723A1 PCT/JP2021/034702 JP2021034702W WO2022130723A1 WO 2022130723 A1 WO2022130723 A1 WO 2022130723A1 JP 2021034702 W JP2021034702 W JP 2021034702W WO 2022130723 A1 WO2022130723 A1 WO 2022130723A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
mobile terminal
passenger
unit
short
Prior art date
Application number
PCT/JP2021/034702
Other languages
English (en)
French (fr)
Inventor
久 小磯
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Priority to CN202180019539.XA priority Critical patent/CN115244915B/zh
Publication of WO2022130723A1 publication Critical patent/WO2022130723A1/ja
Priority to US17/932,689 priority patent/US20230017282A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041—Portable telephones adapted for handsfree use
    • H04M1/6075—Portable telephones adapted for handsfree use adapted for handsfree use in a vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/724098—Interfacing with an on-board device of a vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/48—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for in-vehicle communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/02—Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/10—Small scale networks; Flat hierarchical networks

Definitions

  • the present invention relates to a vehicle device into which an image taken by a camera is input, and a method executed by the vehicle device.
  • a mobile terminal mainly a smartphone or feature phone
  • a method is used in which a mobile terminal and a hands-free compatible device on the vehicle side are connected by short-range wireless communication to make a hands-free call or operate.
  • the device on the vehicle side for hands-free is set to automatically connect to the mobile terminal that was connected last most recently. Therefore, when a driver different from the previous driver drives, the automatic connection is not made and it is necessary to select a new driver's mobile terminal. In addition, if a new driver is driving without noticing it, there is an inconvenience that the hands-free function cannot be used.
  • connection with the mobile terminal is automatically established by identifying the driver's face taken by the driver's seat camera by referring to the table that associates the user's face information with the identification information of the mobile terminal.
  • this driver's seat camera cannot capture the entire interior of the vehicle including passengers other than the driver.
  • the connection destination of the hands-free compatible device on the vehicle side is switched from the driver's mobile terminal to the passenger's mobile terminal sitting in the passenger seat.
  • This embodiment was made in view of such a situation, and the purpose is to provide a technique for improving the convenience of a passenger who has a mobile terminal in the vehicle.
  • the vehicle device of an embodiment of the present embodiment identifies and identifies the occupant who is in the vehicle from the image taken by the camera that captures the interior of the vehicle. It is determined whether or not the passenger detection unit that identifies the boarding position of the passenger and the mobile terminal associated with the passenger identified by the passenger detection unit are in a state where they can be connected by short-range wireless communication. When there are a plurality of judgment units that are determined to be connectable by the determination unit via the short-range wireless communication, the boarding positions of a plurality of passengers associated with the plurality of mobile terminals. Based on the above, a determination unit for determining a mobile terminal to be connected by the short-range wireless communication, and a communication control unit for connecting the mobile terminal determined by the determination unit and the device for the vehicle by the short-range wireless communication. Be prepared.
  • Another aspect of this embodiment is a method performed by a vehicle device.
  • This method is a step of identifying the occupant who is on the vehicle from the image taken by the camera that captures the interior of the vehicle, and at the same time, identifying the boarding position of the identified occupant, and the identified occupant.
  • the vehicle device executes the step of connecting the device by the short-range wireless communication.
  • FIG. 1 It is a figure which shows the installation example of the camera in a vehicle. It is a figure for demonstrating the configuration example of the hands-free control system for vehicles which concerns on embodiment. It is a figure which shows an example of the user list held in the user list holding part. It is a figure which shows the detection example of a occupant and a boarding position in a vehicle. It is a flowchart which shows the flow of the face recognition processing of the hands-free control device for a vehicle which concerns on Example 1.
  • the present embodiment relates to a hands-free control system for a vehicle for realizing a hands-free function of a mobile terminal possessed by a passenger of the vehicle.
  • a camera that captures not only the driver's seat but also the passenger's seat and the rear seat in a wide range is used.
  • FIG. 1 is a diagram showing an installation example of the camera 20 in the vehicle C1.
  • the camera 20 is attached to the rearview mirror.
  • the camera 20 the camera used in the drive recorder or the vehicle interior monitoring system (In-Cabin Monitoring System) may be diverted, or a camera dedicated to the hands-free control system may be prepared.
  • In-Cabin Monitoring System In-Cabin Monitoring System
  • FIG. 2 is a diagram for explaining a configuration example of the hands-free control system 1 for a vehicle according to the embodiment.
  • the vehicle hands-free control system 1 includes a vehicle hands-free control device 10, a camera 20, a microphone 30, a speaker 40, a monitor 50, and an operation unit 60.
  • the camera 20 photographs the interior of the vehicle and outputs the captured image to the hands-free control device 10 for the vehicle.
  • the camera 20 may be a visible light camera or an infrared camera. Further, the camera may be capable of capturing both the visible light region and the infrared region.
  • the camera 20 includes a lens, an image sensor, and a signal processing circuit.
  • a CMOS (Complementary Metal Oxide Semiconductor) image sensor or a CCD (Charge Coupled Device) image sensor can be used as the image pickup device.
  • the image sensor converts the light incident through the lens into an electrical video signal and outputs it to a signal processing circuit.
  • an image sensor having sensitivity in the infrared region is used.
  • the signal processing circuit performs signal processing such as A / D conversion and noise removal on the video signal input from the image pickup element, and outputs the signal to the vehicle hands-free control device 10.
  • the vehicle hands-free control device 10 includes a processing unit 11, a storage unit 12, a wireless communication unit 13, and an in-vehicle communication unit 14.
  • the hands-free control device 10 for a vehicle may be mounted in a dedicated housing, or may be incorporated as a function of a car navigation system, a display audio system, a drive recorder, or a vehicle interior monitoring system.
  • the processing unit 11 includes an image recognition unit 111, a registration unit 112, a passenger detection unit 113, a determination unit 114, a determination unit 115, a communication control unit 116, and a function control unit 117.
  • the function of the processing unit 11 can be realized by the cooperation of the hardware resource and the software resource, or only by the hardware resource.
  • hardware resources CPU, ROM, RAM, GPU (GraphicsProcessingUnit), DSP (DigitalSignalProcessor), ISP (ImageSignalProcessor), ASIC (ApplicationSpecific IntegratedCircuit), FPGA (Field-ProgrammableGateArray), etc.
  • LSI can be used.
  • Programs such as firmware can be used as software resources.
  • the storage unit 12 is configured to include a non-volatile recording medium such as an HDD (Hard Disk Drive) or SSD (Solid State Drive), and includes a user list holding unit 121.
  • the user list holding unit 121 is a list registered by associating the face authentication data of the passenger of the vehicle with the information about the mobile terminal 2 possessed by the passenger. Not only a person who has a driver's license but also a person who does not have a driver's license can be registered in the user list.
  • FIG. 3 is a diagram showing an example of a user list held in the user list holding unit 121.
  • face authentication data and information about the mobile terminal 2 are associated and registered for each registrant.
  • information about the mobile terminal 2 the name, connection status, and AV source of the mobile terminal 2 are registered.
  • connection status the use / non-use of hands-free call, the presence / absence of automatic music playback, the presence / absence of automatic video playback, and the use / non-use of data communication are registered.
  • the use / non-use of data communication defines whether or not the hands-free control device 10 for a vehicle performs data communication using a mobile phone network (4G / 5G) through the mobile terminal 2. For example, data communication can be used to stream music and video.
  • the AV source indicates the source of music data or video data when there is music playback or video playback.
  • a music file or a video file stored in the mobile terminal 2 can be used as the AV source.
  • radio broadcasts and television broadcasts received by tuners installed in car navigation systems and display audio can be used.
  • audio files and video files recorded on a CD / DVD inserted in a car navigation system or display audio can be used.
  • the in-vehicle environment other than the AV environment for each registrant.
  • the air conditioner state cooling, heating, switching of ventilation, set temperature, etc. can be registered.
  • the position of the side mirrors can be registered as the environment inside the vehicle.
  • the image recognition unit 111 searches for the face of a person using a classifier for detecting the face of the person in the frame image of the image input from the camera 20.
  • the face detection classifier uses dictionary data generated by learning a large number of images showing a person's face. For face recognition, for example, a Haar-like feature amount, a HOG (Histogram of Gradients) feature amount, an LBP (Local Binary Patterns) feature amount, or the like can be used.
  • the registration unit 112 registers the passenger's face authentication data and information about the mobile terminal 2 in the user list.
  • a passenger who wishes to be registered in the user list operates the operation unit 60 while sitting in the front seat to activate the registration mode.
  • the registration unit 112 causes the image recognition unit 111 to extract the feature amount of the passenger's face area detected in the frame image and generate face recognition data for identifying the passenger. Instruct.
  • the communication control unit 116 causes the communication control unit 116 to start the pairing process with the mobile terminal 2 possessed by the passenger.
  • the hands-free control device 10 for a vehicle and the mobile terminal 2 can be connected by short-range wireless communication.
  • short-range wireless communication Bluetooth (registered trademark) or Wi-Fi (registered trademark) can be used.
  • Bluetooth registered trademark
  • Wi-Fi registered trademark
  • the registration unit 112 provides guidance on the pairing procedure of the mobile terminal 2 from at least one of the speaker 40 and the monitor 50. First, the registration unit 112 gives guidance to turn on the Bluetooth function. The registration unit 112 instructs the communication control unit 116 to transmit a signal (for example, an advertisement packet) for notifying the surroundings of its existence from the wireless communication unit 13.
  • a signal for example, an advertisement packet
  • the hands-free control device 10 for a vehicle is displayed as a connectable device on the screen of the mobile terminal 2.
  • the pairing process is executed between the mobile terminal 2 and the vehicle hands-free control device 10. In the pairing process, the encryption key used for encrypting the communication data between the two is exchanged.
  • the registration unit 112 acquires the name and identification information of the mobile terminal 2 via the communication control unit 116.
  • the name of the mobile terminal 2 is preferably a name that is easy for the user to understand.
  • the user account name used by the passenger in various services in the mobile terminal 2 may be used. If the name acquired from the mobile terminal 2 is difficult to understand, the passenger can edit the name of the mobile terminal 2 from the operation unit 60.
  • the passenger inputs the above-mentioned connection status setting items from the operation unit 60.
  • the registration unit 112 associates the face authentication data with each item of the name of the mobile terminal and the connection state, and registers the face authentication data in the user list in the user list holding unit 121.
  • the passenger can also input the above-mentioned in-vehicle environment setting items. In that case, each item of the in-vehicle environment is also linked and registered.
  • the passenger detection unit 113 identifies the face of the passenger on the vehicle C1 from the image input from the camera 20. Specifically, the occupant detection unit 113 collates the feature data of the occupant's face detected in the frame image by the image recognition unit 111 with a plurality of face authentication data registered in the user list, and board the aircraft. Identify the face of a person.
  • the passenger detection unit 113 identifies the boarding position of at least one passenger on the vehicle C1. Specifically, the passenger detection unit 113 specifies whether the boarding position is the driver's seat, the passenger seat, the right rear seat, the left rear seat, or the rear center seat for each passenger.
  • FIG. 4 is a diagram showing an example of detecting a passenger and a boarding position in the vehicle C1.
  • the image recognition unit 111 detects the face of a person in the detection area A1 for the driver's seat passenger
  • the image recognition unit 111 recognizes that the passenger is present in the driver's seat.
  • the image recognition unit 111 detects the face of a person in the detection area A2 for boarding the passenger seat
  • the image recognition unit 111 recognizes that the passenger is present in the passenger seat.
  • the image recognition unit 111 detects the face of a person in the detection area A3 for boarding the right rear seat
  • the image recognition unit 111 recognizes that the passenger is present in the right rear seat.
  • the image recognition unit 111 detects the face of a person in the detection area A4 for boarding the left rear seat, the image recognition unit 111 recognizes that the passenger is present in the left rear seat.
  • a detection area for boarding the rear center seat is also set.
  • the determination unit 114 determines whether or not the mobile terminal 2 associated with the passenger's face identified by the passenger detection unit 113 is in a state where it can be connected by short-range wireless communication.
  • the communication control unit 116 recognizes the mobile terminal 2 as a connectable device, the determination unit 114 determines that the mobile terminal 2 is in a connectable state. If the identified passenger does not carry the mobile terminal 2, the power of the mobile terminal 2 is turned off, or the Bluetooth function is turned off, the determination unit 114 can be connected to the mobile terminal 2. Judge that it is not in a state.
  • the determination unit 115 When there are a plurality of mobile terminals 2 determined to be in a connectable state by the determination unit 114 (that is, when there are a plurality of passengers), the determination unit 115 is associated with the plurality of mobile terminals 2.
  • the mobile terminal 2 to be connected is determined based on the boarding positions of a plurality of passengers specified by the plurality of face recognition data. Specifically, the determination unit 115 connects the mobile terminal 2 associated with the face recognition data of the passenger sitting in the seat having the highest priority among the seats in which the passenger is seated. To decide.
  • the priority of seats is set to driver's seat: 1, passenger's seat: 2, right rear seat: 3, left rear seat: 4.
  • the mobile terminal 2 of the passenger sitting in the passenger seat is connected to the hands-free control device 10 for the vehicle.
  • the seat priority can be changed. For example, when a person with a high position sits in the right rear seat, the priority may be set to right rear seat: 1.
  • the wireless communication unit 13 includes an antenna and transmits / receives signals to / from the mobile terminal 2 by a short-range wireless communication method.
  • the in-vehicle communication unit 14 executes communication processing for connecting to the in-vehicle network 3.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • Ethernet registered trademark
  • Various ECUs (Electronic Control Units) 4 for controlling the engine and auxiliary equipment are connected to the in-vehicle network 3.
  • an ECU for controlling the position of the seat position is also connected.
  • the control unit of the air conditioner system in the vehicle C1 can also be connected to the in-vehicle network 3.
  • the receiver 5b of the wireless key system is connected to the in-vehicle network 3.
  • the receiver 5b is a receiver for receiving a wireless signal from a wireless key (also referred to as a smart key, an intelligence key, a remote control key, or the like) 5a possessed by the driver.
  • a wireless key also referred to as a smart key, an intelligence key, a remote control key, or the like
  • the communication control unit 116 controls the wireless communication unit 13 to perform pairing processing with the mobile terminal 2, connection / disconnection processing with the paired mobile terminal 2, management of paired devices, and the like. Further, the communication control unit 116 controls the in-vehicle communication unit 14 to transmit and receive control signals to and from various ECUs 4 and devices connected to the in-vehicle network 3.
  • the function control unit 117 controls various functions of the vehicle hands-free control system 1 (for example, hands-free call function, voice reproduction function, video reproduction function, etc.).
  • the function control unit 117 can also control the functions in the mobile terminal 2 connected by short-range wireless communication.
  • the microphone 30 collects the sound in the vehicle C1 and outputs it to the function control unit 117. In this embodiment, it can be used for hands-free calling.
  • a plurality of microphones 30 may be installed in the vehicle C1. For example, one may be installed in each of the front seat and the back seat, or one may be installed in each seat.
  • the at least one microphone 30 may be a microphone of a car navigation system, a display audio system, a drive recorder, or a vehicle interior monitoring system.
  • the speaker 40 reproduces and outputs the voice data supplied from the function control unit 117. In this embodiment, it can be used for hands-free calling.
  • a plurality of speakers 40 may be installed in the vehicle C1. For example, one may be installed in each of the front seat and the back seat, or one may be installed in each seat.
  • the speaker 40 may be a speaker of a car navigation system, a display audio system, a car audio system, a drive recorder, or a vehicle interior monitoring system.
  • the monitor 50 reproduces and displays the video data supplied from the function control unit 117.
  • a liquid crystal display, an organic EL display, a mini LED display, or the like can be used for the monitor 50.
  • a plurality of monitors 50 may be installed in the vehicle C1. For example, one may be installed in each of the front seat and the back seat, or one may be installed in each seat.
  • the at least one monitor 50 may be a monitor of a car navigation system, a display audio system, a drive recorder, or a vehicle interior monitoring system.
  • FIG. 5 is a flowchart showing the flow of face recognition processing of the hands-free control device 10 for a vehicle according to the first embodiment.
  • the first embodiment is an example in which only the driver is on board in the vehicle C1.
  • the processing unit 11 acquires an image of the vehicle interior taken by the camera 20 (S10).
  • the image recognition unit 111 detects the face of the passenger reflected in the position of the driver's seat from the frame image of the acquired image (S11).
  • the passenger detection unit 113 collates the detected face feature data of the passenger with a plurality of face recognition data registered in the user list (S12). If there is no matching face authentication data in the user list (S13: No), the face authentication process ends. When the matching face authentication data exists in the user list (S13: Yes), the determination unit 114 refers to the user list, identifies the mobile terminal 2 associated with the matched face authentication data, and identifies the mobile terminal 2. Requests the communication control unit 116 to connect to the terminal 2.
  • the communication control unit 116 Upon receiving the request, the communication control unit 116 confirms whether or not there is a mobile terminal 2 currently connected (S14). When there is a mobile terminal 2 currently connected (S14: Yes), the communication control unit 116 disconnects the communication with the mobile terminal 2 currently connected (S15). If there is no mobile terminal 2 currently connected (S14: No), the process of step S15 is skipped. The communication control unit 116 connects to the mobile terminal 2 requested by the determination unit 114 (S16).
  • the determination unit 114 refers to the user list and requests the function control unit 117 to switch the AV source as necessary.
  • the function control unit 117 receives the AV source switching request, the function control unit 117 switches the AV source in response to the request.
  • the function control unit 117 acquires audio data or video data from the AV source after switching, outputs audio from the speaker 40, or displays video on the monitor 50.
  • the registration information of 1 is mobile terminal name: AAA, hands-free call: use, music playback: yes, video playback: none, data communication: use, AV source: mobile terminal 2.
  • the registration information of 2 is mobile terminal name: BBB, hands-free call: use, music playback: none, video playback: yes, data communication: not used, AV source: television broadcasting.
  • the driver is the registrant No. Registrant No. from 1
  • the passenger detection unit 113 confirms that the feature data of the passenger's face reflected in the position of the driver's seat in the image matches the face authentication data: FR0002.
  • the determination unit 114 requests the communication control unit 116 to disconnect from the mobile terminal AAA and connect to the mobile terminal BBB.
  • the function control unit 117 switches the AV source from the mobile terminal 2 to the television broadcasting.
  • the function control unit 117 sets the seat position of the driver's seat to the registrant No. Switch to the position for 2.
  • the function control unit 117 sets the air conditioner to the registrant No. Switch to the setting for 2.
  • the function control unit 117 can control the function of the newly established mobile terminal 2 via the communication control unit 116. For example, the function control unit 117 can switch the sound mode of the mobile terminal 2 to the silent mode.
  • the process of FIG. 5 may be started at an arbitrary timing, but it is started when power is supplied to the vehicle hands-free control device 10 by, for example, starting the engine of the vehicle C1. Further, during the period when the power is supplied to the hands-free control device 10 for the vehicle, the processes of steps S10 to S12 are periodically executed, and it is detected that the passenger reflected in the position of the driver's seat has changed. ..
  • FIG. 6 is a flowchart showing the flow of face recognition processing of the hands-free control device 10 for a vehicle according to the second embodiment.
  • the vehicle C1 is stopped at a parking lot of a certain store and the driver enters the store, so that the driver leaves the vehicle C1.
  • the processing unit 11 acquires an image of the vehicle interior taken by the camera 20 (S20).
  • the image recognition unit 111 detects the absence of the driver from the frame image of the acquired video (S21: Yes)
  • the image recognition unit 111 determines whether or not there is a face of another passenger who has not been matched in the image. (S23). If there is no face of another passenger who has not been matched (S23: No), the face recognition process is terminated. That is, the state in which communication with the mobile terminal 2 during operation is possible is maintained.
  • the image recognition unit 111 identifies the face of the passenger reflected in the position of the seat having the next highest priority from the image (S23: Yes). S24).
  • the passenger detection unit 113 collates the specified face feature data of the passenger with a plurality of face recognition data registered in the user list (S25).
  • step S23 the image recognition unit 111 is the passenger's seat position that has the next highest priority from the image. Identify the face (S24). For example, if the seat priority is set to driver's seat: 1, passenger's seat: 2, right rear seat: 3, left rear seat: 4, and the driver is absent, passenger's seat ⁇ right rear seat ⁇ Match the passengers' faces in the order of the left rear seats.
  • step S26 when matching face authentication data exists in the user list (S26: Yes), the determination unit 114 refers to the user list and identifies the mobile terminal 2 associated with the matched face authentication data. Then, the communication control unit 116 is requested to connect to the mobile terminal 2. Upon receiving the request, the communication control unit 116 disconnects the communication with the currently connected driver's mobile terminal 2 (S27), and connects to the requested mobile terminal 2 (S28). The process of step S27 is skipped when the driver's mobile terminal 2 is out of the communication range by short-range wireless communication and the communication is disconnected.
  • the function control unit 117 refers to the user list and switches to the setting environment of the passenger whose face is authenticated. For example, a passenger sitting in the passenger seat or the back seat can respond hands-free to an incoming call from the driver's mobile terminal 2 outside the vehicle C1.
  • the function control unit 117 When a plurality of microphones 30 are installed in the vehicle C1, the function control unit 117 is located at the position closest to the seat where the passenger holding the newly connected mobile terminal 2 is seated during a hands-free call. The speaker voice in the vehicle C1 is acquired from the microphone 30 installed in the vehicle C1. Similarly, when a plurality of speakers 40 are installed in the vehicle C1, the function control unit 117 outputs the speaker voice of the other party from the speaker 40 installed at the position closest to the seat during a hands-free call. ..
  • the function control unit 117 can control the function of the newly established mobile terminal 2 via the communication control unit 116. For example, the function control unit 117 can switch the sound mode of the mobile terminal 2 to the silent mode.
  • FIG. 7 is a flowchart showing the flow of the face recognition process of the hands-free control device 10 for a vehicle according to the modified example of the second embodiment.
  • FIG. 6 an example of a situation in which the driver gets off the vehicle C1 and the driver is absent has been described. From this situation, the driver who got off may return to the driver's seat immediately. For example, there may be a case where the driver gets off once, unloads the luggage from the trunk, and returns immediately.
  • step S22 is added to the flowchart shown in FIG.
  • the determination unit 114 acquires the radio wave intensity of the radio wave received from the radio key 5a by the receiver 5b via the in-vehicle communication unit 14.
  • the determination unit 114 estimates the distance between the receiver 5b and the radio key 5a from the acquired radio wave strength.
  • the determination unit 114 compares the estimated distance to the wireless key 5a with the set value (S22). When the distance to the wireless key 5a exceeds the set value (S22: Yes), the process proceeds to step S23, and processing is performed in the same manner as in FIG. When the distance to the wireless key 5a exceeds the set value, the receiver 5b may not be able to receive the radio wave from the wireless key 5a. When the distance to the wireless key 5a is equal to or less than the set value (S22: No), the connection with the mobile terminal 2 of the driver is maintained without switching the mobile terminal 2 to be connected.
  • the distance to the wireless key 5a exceeds the set value as a condition for invoking the switching process of the mobile terminal 2 to be connected after the absence of the driver is detected.
  • a condition for invoking the switching process it may be used that the set time has elapsed since the absence of the driver was detected. Further, the AND condition of both may be used as the triggering condition of the switching process. Further, as a condition for invoking the switching process, it may be used that the distance from the hands-free control device 10 for a vehicle to the mobile terminal 2 possessed by the driver exceeds a set value. Further, as the triggering condition of the switching process, the AND condition that the distance to the mobile terminal 2 possessed by the driver exceeds the set value and that the set time has elapsed since the absence of the driver was detected is used. You may.
  • Communication between the mobile terminal 2 and the hands-free control device 10 for a vehicle may be interrupted even when the driver is sitting in the driver's seat due to the driver's mobile terminal 2 running out of battery, some trouble, an operation error, or the like. ..
  • the communication control unit 116 detects that the driver cannot communicate with the mobile terminal 2 without the condition that the driver is absent by the image recognition unit 111, the switching process of the connected mobile terminal 2 in step S23 or lower is performed. It may be activated.
  • the mobile terminal 2 of the driver it is possible to improve the convenience of the passenger who has the mobile terminal 2 in the vehicle C1. Specifically, regardless of the previous driver, the mobile terminal 2 of the driver this time can be automatically connected, and the troublesomeness is reduced. Even when the driver changes between family members or colleagues, the new driver's mobile terminal 2 can be automatically connected. Further, even when the driver leaves the vehicle C1, it can be automatically connected to the mobile terminal 2 of the passenger sitting in the seat having the next highest priority, and the hands-free function on the vehicle side can be effectively utilized. Further, when registering the face authentication data, the user account name used in the mobile terminal 2 can be automatically input.
  • the function control unit 117 switches the sound mode of the mobile terminal 2 to which a newly established connection is established to the silent mode via the communication control unit 116.
  • the function control unit 117 may change the function of the mobile terminal 2 to be controlled according to the boarding position of the occupant detected by the occupant detection unit 113. For example, the function control unit 117 switches the sound mode of the passenger's mobile terminal 2 sitting in the driver's seat to the silent mode, and maintains the setting of the sound mode of the passenger's mobile terminal 2 sitting in a place other than the driver's seat. You may.
  • the image recognition unit 111 detects the face of a person in the frame image of the image input from the camera 20.
  • biological information other than the face may be the authentication target.
  • the iris reflected in the image may be used as biological information.
  • the passenger may hold the palm of his hand over the camera 20 to use the fingerprints and veins reflected in the image as biometric information.
  • the mobile terminal 2 also includes a tablet having no call function, a portable music player, a portable game machine, and the like. Even if the hands-free function cannot be used, these mobile terminals 2 can be used as an AV source by connecting to these mobile terminals 2 by short-range wireless communication.
  • the present invention can be used for drive recorders and vehicle interior monitoring systems.
  • C1 vehicle 1 vehicle hands-free control system, 2 mobile terminal, 3 in-vehicle network, 4 ECU, 5a wireless key, 5b receiver, 10 vehicle hands-free control device, 11 processing unit, 111 image recognition unit, 112 registration unit , 113 Passenger detection unit, 114 Judgment unit, 115 Determination unit, 116 Communication control unit, 117 Function control unit, 12 Storage unit, 121 User list holding unit, 13 Wireless communication unit, 14 In-vehicle communication unit, 20 Camera, 30 Mike , 40 speakers, 50 monitors, 60 operation units.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Telephone Function (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

搭乗者検出部１１３は、車両の車室内を撮影するカメラ２０が撮影した映像から、車両に搭乗している搭乗者の生体情報を識別するとともに、当該搭乗者の搭乗位置を特定する。判断部１１４は、搭乗者検出部１１３が識別した生体情報に紐付けられている携帯端末２が、近距離無線通信で接続可能な状態にあるか否かを判断する。決定部１１５は、判断部１１４が近距離無線通信で接続可能な状態にあると判断した携帯端末２が複数存在する場合、当該複数の携帯端末２に紐付けられている複数の生体情報で特定される複数の搭乗者の搭乗位置に基づいて、近距離無線通信で接続する携帯端末２を決定する。通信制御部１１６は、決定部１１５が決定した携帯端末２と本車両用装置を、近距離無線通信で接続する。

Description

車両用装置、及び車両用装置が実行する方法
　本発明は、カメラで撮影された映像が入力される車両用装置、及び車両用装置が実行する方法に関する。
　自動車の運転中に、運転者が携帯端末（主に、スマートフォン、フィーチャーフォン）を手に持って通話等に使用することは法律や条例で禁止されている。この対策として、携帯端末と、車両側のハンズフリー対応機器を近距離無線通信で接続し、ハンズフリーで通話や操作を行う方法が利用されている。
　通常、ハンズフリー用の車両側の機器は、直近の最後に接続していた携帯端末に自動接続するように設定されている。したがって、前回の運転者と別の運転者が運転する場合は、自動接続されず、新たな運転者の携帯端末を選択する操作が必要であった。また、新たな運転者が気付かずに運転していると、ハンズフリー機能が使用できない不便さがあった。
　これに対して、ユーザの顔情報と携帯端末の識別情報を関連付けているテーブルを参照して、運転席カメラで撮影された運転者の顔を識別することにより、携帯端末との接続を自動確立する手法が提案されている（例えば、特許文献１参照）。なお、この運転席カメラでは、運転者以外の同乗者を含む車室内全体を撮影することはできない。
特開２００８－０４２５７７号公報
　例えば、運転者が一時的に降車した場合、車両側のハンズフリー対応機器の接続先が、運転者の携帯端末から、助手席に座っている同乗者の携帯端末に切り替わると便利である。
　本実施形態はこうした状況に鑑みてなされたものであり、その目的は、車両内における、携帯端末を所持している搭乗者の利便性を向上させる技術を提供することにある。
　上記課題を解決するために、本実施形態のある態様の車両用装置は、車両の車室内を撮影するカメラが撮影した映像から、前記車両に搭乗している搭乗者を識別するとともに、識別した搭乗者の搭乗位置を特定する搭乗者検出部と、前記搭乗者検出部が識別した搭乗者に紐付けられている携帯端末が、近距離無線通信で接続可能な状態にあるか否かを判断する判断部と、前記判断部が前記近距離無線通信で接続可能な状態にあると判断した携帯端末が複数存在する場合、当該複数の携帯端末に紐付けられている複数の搭乗者の搭乗位置に基づいて、前記近距離無線通信で接続する携帯端末を決定する決定部と、前記決定部が決定した携帯端末と本車両用装置を、前記近距離無線通信で接続する通信制御部と、を備える。
　本実施形態の別の態様は、車両用装置が実行する方法である。この方法は、車両の車室内を撮影するカメラが撮影した映像から、前記車両に搭乗している搭乗者を識別するとともに、識別した搭乗者の搭乗位置を特定するステップと、識別された搭乗者に紐付けられている携帯端末が、近距離無線通信で接続可能な状態にあるか否かを判断するステップと、前記近距離無線通信で接続可能な状態にあると判断された携帯端末が複数存在する場合、当該複数の携帯端末に紐付けられている複数の搭乗者の搭乗位置に基づいて、前記近距離無線通信で接続する携帯端末を決定するステップと、決定された携帯端末と本車両用装置を、前記近距離無線通信で接続するステップと、を車両用装置が実行する。
　なお、以上の構成要素の任意の組合せ、本実施形態の表現を装置、方法、システム、記録媒体、コンピュータプログラム等の間で変換したものもまた、本実施形態の態様として有効である。
　本実施形態によれば、車両内における、携帯端末を所持している搭乗者の利便性を向上させることができる。
車両内におけるカメラの設置例を示す図である。 実施の形態に係る車両用ハンズフリー制御システムの構成例を説明するための図である。 ユーザリスト保持部に保持されるユーザリストの一例を示す図である。 車両内の搭乗者と搭乗位置の検出例を示す図である。 実施例１に係る車両用ハンズフリー制御装置の顔認証処理の流れを示すフローチャートである。 実施例２に係る車両用ハンズフリー制御装置の顔認証処理の流れを示すフローチャートである。 実施例２の変形例に係る車両用ハンズフリー制御装置の顔認証処理の流れを示すフローチャートである。
　本実施の形態は、車両の搭乗者が所持する携帯端末のハンズフリー機能を実現するための車両用ハンズフリー制御システムに関する。実施の形態に係る車両用ハンズフリー制御システムでは、運転席だけでなく、助手席や後部座席を含む車室内を広範囲に撮影するカメラを使用する。
　図１は、車両Ｃ１内におけるカメラ２０の設置例を示す図である。図１に示す例ではカメラ２０がルームミラーに取り付けられている。カメラ２０は、ドライブレコーダや車室内モニタリングシステム（In-Cabin Monitoring System）で使用されるカメラを転用してもよいし、ハンズフリー制御システム専用のカメラを用意してもよい。
　図２は、実施の形態に係る車両用ハンズフリー制御システム１の構成例を説明するための図である。車両用ハンズフリー制御システム１は、車両用ハンズフリー制御装置１０、カメラ２０、マイク３０、スピーカ４０、モニタ５０及び操作部６０を備える。
　カメラ２０は車室内を撮影し、撮影した映像を車両用ハンズフリー制御装置１０に出力する。カメラ２０は可視光カメラであってもよいし、赤外線カメラであってもよい。また、可視光域と赤外域の両方を撮影可能なカメラであってもよい。
　カメラ２０は、レンズ、撮像素子、信号処理回路を備える。撮像素子には例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサまたはＣＣＤ（Charge Coupled Device）イメージセンサを使用することができる。撮像素子は、レンズを介して入射される光を、電気的な映像信号に変換し、信号処理回路に出力する。赤外線映像を撮影する場合、赤外域に感度を有する撮像素子が使用される。信号処理回路は、撮像素子から入力される映像信号に対して、Ａ／Ｄ変換、ノイズ除去等の信号処理を施し、車両用ハンズフリー制御装置１０に出力する。
　車両用ハンズフリー制御装置１０は、処理部１１、記憶部１２、無線通信部１３及び車内通信部１４を備える。車両用ハンズフリー制御装置１０は専用の筐体内に実装されてもよいし、カーナビゲーションシステム、ディスプレイオーディオ、ドライブレコーダ、又は車室内モニタリングシステムの一機能として組み込まれていてもよい。
　処理部１１は、画像認識部１１１、登録部１１２、搭乗者検出部１１３、判断部１１４、決定部１１５、通信制御部１１６及び機能制御部１１７を含む。処理部１１の機能は、ハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源として、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＩＳＰ(Image Signal Processor)、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、その他のＬＳＩを利用できる。ソフトウェア資源としてファームウェア等のプログラムを利用できる。
　記憶部１２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の不揮発性の記録媒体を含んで構成され、ユーザリスト保持部１２１を含む。ユーザリスト保持部１２１は、車両の搭乗者の顔認証データと、搭乗者が所持する携帯端末２に関する情報を紐付けて登録したリストである。ユーザリストには、運転免許証を所持している人物に限らず、運転免許証を所持しない人物も登録可能である。
　図３は、ユーザリスト保持部１２１に保持されるユーザリストの一例を示す図である。図３に示すユーザリストには登録者ごとに、顔認証データと携帯端末２に関する情報が紐付けられて登録されている。携帯端末２に関する情報として、携帯端末２の名前と接続状態とＡＶソースが登録されている。接続状態として、ハンズフリー通話の使用／不使用、音楽の自動再生の有無、映像の自動再生の有無、データ通信の使用／不使用が登録されている。データ通信の使用／不使用は、車両用ハンズフリー制御装置１０が、携帯端末２を通じて携帯電話網（４Ｇ／５Ｇ）を使用したデータ通信を行うか否かを規定している。例えば、データ通信を使用して、音楽や映像のストリーミング再生を行うことができる。
　ＡＶソースは、音楽再生が有り又は映像再生が有りの場合の、音楽データまたは映像データの供給源を示す。例えば、ＡＶソースとして、携帯端末２に記憶されている音楽ファイルや映像ファイルを使用することができる。また、カーナビゲーションシステムやディスプレイオーディオに搭載されたチューナで受信されたラジオ放送やテレビ放送を使用することができる。また、カーナビゲーションシステムやディスプレイオーディオに挿入されたＣＤ／ＤＶＤに記録された音声ファイルや映像ファイルを使用することができる。
　また登録者ごとに、ＡＶ環境以外の車内環境を登録することもできる。例えば、運転席又は助手席に座った場合のシートポジション、エアコン状態等を登録することができる。エアコン状態として、冷房、暖房、送風の切り替え、設定温度等を登録することができる。さらに車内環境として、サイドミラーの位置等を登録することもできる。
　図２に戻る。画像認識部１１１はカメラ２０から入力される映像のフレーム画像内において、人物の顔検出用の識別器を用いて人物の顔を探索する。顔検出用の識別器には、人物の顔が映った多数の画像を学習して生成された辞書データが使用される。顔の認識には例えば、Haar-like特徴量、ＨＯＧ(Histogram of Gradients)特徴量、ＬＢＰ(Local Binary Patterns)特徴量等を用いることができる。
　登録部１１２は、搭乗者の顔認証データと携帯端末２に関する情報をユーザリストに登録する。ユーザリストへの登録を希望する搭乗者は、前部座席に座った状態で、操作部６０を操作して登録モードを起動させる。登録モードが起動すると、登録部１１２は画像認識部１１１に、フレーム画像内で検出した搭乗者の顔領域の特徴量を抽出して、当該搭乗者を識別するための顔認証データを生成するよう指示する。
　登録部１１２は、画像認識部１１１から当該搭乗者の顔認証データを取得すると、通信制御部１１６に、当該搭乗者が所持する携帯端末２とのペアリング処理を開始させる。車両用ハンズフリー制御装置１０と携帯端末２は近距離無線通信で接続することができる。近距離無線通信として、Bluetooth（登録商標）やＷｉ－Ｆｉ（登録商標）を使用することができる。以下、本実施の形態ではBluetoothを使用する例を想定する。
　登録部１１２は、スピーカ４０及びモニタ５０の少なくとも一方から、携帯端末２のペアリング手続きをガイダンスする。まず登録部１１２は、Bluetooth機能をオンにするようにガイダンスする。登録部１１２は、通信制御部１１６に指示して無線通信部１３から、自己の存在を周囲に通知するための信号（例えば、アドバタイズパケット）を送信させる。携帯端末２が当該信号をスキャンすると、携帯端末２の画面に車両用ハンズフリー制御装置１０が接続可能デバイスとして表示される。当該画面内において当該搭乗者が車両用ハンズフリー制御装置１０を選択すると、携帯端末２と車両用ハンズフリー制御装置１０間でペアリング処理が実行される。ペアリング処理では、両者の間の通信データの暗号化に使用する暗号鍵の交換が行われる。
　携帯端末２とのペアリングが完了すると、登録部１１２は、通信制御部１１６を介して、携帯端末２の名前と識別情報を取得する。携帯端末２の名前は、ユーザにとって分かりやすい名前であることが好ましい。例えば、当該搭乗者が携帯端末２内の各種サービスで使用しているユーザアカウント名を使用してもよい。なお、携帯端末２から取得された名前が分かりにくい名前であった場合、当該搭乗者は操作部６０から携帯端末２の名前を編集することができる。
　当該搭乗者は操作部６０から、上述した接続状態の設定項目を入力する。登録部１１２は、顔認証データと携帯端末の名前と接続状態の各項目を紐付けて、ユーザリスト保持部１２１内のユーザリストに登録する。なお、当該搭乗者は上述した車内環境の設定項目を入力することもできる。その場合、車内環境の各項目も紐付けて登録される。
　搭乗者検出部１１３は、カメラ２０から入力される映像内から、車両Ｃ１に搭乗している搭乗者の顔を識別する。具体的には搭乗者検出部１１３は、画像認識部１１１によりフレーム画像内で検出された搭乗者の顔の特徴データと、ユーザリストに登録されている複数の顔認証データを照合して、搭乗者の顔を特定する。
　搭乗者検出部１１３は、車両Ｃ１に搭乗している少なくとも一人の搭乗者の搭乗位置を特定する。具体的には搭乗者検出部１１３は搭乗者ごとに、搭乗位置が運転席、助手席、右後部席、左後部席、後部中央席のいずれであるかを特定する。
　図４は、車両Ｃ１内の搭乗者と搭乗位置の検出例を示す図である。図４に示すフレーム画像Ｆ１内において、画像認識部１１１は、運転席搭乗者用の検出領域Ａ１内において人物の顔を検出すると運転席に搭乗者が存在すると認識する。同様に画像認識部１１１は、助手席搭乗用の検出領域Ａ２内において人物の顔を検出すると助手席に搭乗者が存在すると認識する。同様に画像認識部１１１は、右後部席搭乗用の検出領域Ａ３内において人物の顔を検出すると右後部席に搭乗者が存在すると認識する。同様に画像認識部１１１は、左後部席搭乗用の検出領域Ａ４内において人物の顔を検出すると左後部席に搭乗者が存在すると認識する。なお、図４に示す車室内には存在しないが、後部中央席が存在する車両の場合、後部中央席搭乗用の検出領域も設定される。
　図２に戻る。判断部１１４は、搭乗者検出部１１３が識別した搭乗者の顔に紐付けられている携帯端末２が、近距離無線通信で接続可能な状態にあるか否かを判断する。通信制御部１１６が当該携帯端末２を接続可能デバイスとして認識している場合、判断部１１４は当該携帯端末２を接続可能な状態にあると判断する。識別した搭乗者が携帯端末２を携帯していない場合、携帯端末２の電源がオフになっている場合、またはBluetooth機能がオフになっている場合、判断部１１４当該携帯端末２を接続可能な状態にないと判断する。
　判断部１１４が接続可能な状態にあると判断した携帯端末２が複数存在する場合（即ち、複数の搭乗者がいる場合）、決定部１１５は、当該複数の携帯端末２に紐付けられている複数の顔認証データで特定される複数の搭乗者の搭乗位置に基づいて、接続する携帯端末２を決定する。具体的には決定部１１５は、搭乗者が着座している座席において優先順位が最も高い座席に座っている搭乗者の顔認証データに紐付けられている携帯端末２を、接続する携帯端末２に決定する。
　例えば、座席の優先順位は運転席：１、助手席：２、右後部席：３、左後部席：４に設定される。この例では、運転者が降車した場合、助手席に座っている搭乗者の携帯端末２が車両用ハンズフリー制御装置１０に接続されることになる。なお、座席の優先順位は設定変更可能である。例えば、役職の高い人物が右後部席に座る場合、優先順位を右後部席：１に設定してもよい。
　無線通信部１３はアンテナを含み、近距離無線通信方式で携帯端末２と信号を送受信する。車内通信部１４は、車載ネットワーク３に接続するための通信処理を実行する。車載ネットワーク３として、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、Ｅｔｈｅｒｎｅｔ（登録商標）等を使用することができる。車載ネットワーク３には、エンジンや補機を制御するための各種のＥＣＵ(Electronic Control Unit)４が接続される。例えば、シートポジションの位置を制御するためのＥＣＵも接続される。また、車載ネットワーク３には、車両Ｃ１内のエアコンディショナシステムの制御部も接続可能である。
　図２に示す例では車載ネットワーク３に、無線キーシステムの受信機５ｂが接続されている。受信機５ｂは、運転者が所持する無線キー（スマートキー、インテリジェンスキー、リモートコントロールキー等とも呼称される）５ａから無線信号を受信するための受信機である。
　通信制御部１１６は無線通信部１３を制御して、携帯端末２とのペアリング処理、ペアリング済みの携帯端末２との接続／切断処理、ペアリング済みの機器の管理等を行う。また通信制御部１１６は車内通信部１４を制御して、車載ネットワーク３に接続された各種ＥＣＵ４や機器との間で制御信号を送受信する。
　機能制御部１１７は、車両用ハンズフリー制御システム１の各種機能（例えば、ハンズフリー通話機能、音声再生機能、映像再生機能等）を制御する。機能制御部１１７は、近距離無線通信で接続している携帯端末２内の機能も制御することができる。
　マイク３０は、車両Ｃ１内の音を収集して機能制御部１１７に出力する。本実施の形態では、ハンズフリー通話に使用することができる。マイク３０は、車両Ｃ１内に複数設置されてもよい。例えば、前部座席と後部座席にそれぞれ１つ設置されてもよいし、座席ごとに設置されてもよい。なお、少なくとも１つのマイク３０は、カーナビゲーションシステム、ディスプレイオーディオ、ドライブレコーダ、又は車室内モニタリングシステムのマイクを転用したものであってもよい。
　スピーカ４０は、機能制御部１１７から供給される音声データを再生して出力する。本実施の形態では、ハンズフリー通話に使用することができる。スピーカ４０は、車両Ｃ１内に複数設置されてもよい。例えば、前部座席と後部座席にそれぞれ１つ設置されてもよいし、座席ごとに設置されてもよい。なお、少なくとも１つのスピーカ４０は、カーナビゲーションシステム、ディスプレイオーディオ、カーオーディオシステム、ドライブレコーダ、または車室内モニタリングシステムのスピーカを転用したものであってもよい。
　モニタ５０は、機能制御部１１７から供給される映像データを再生して表示する。モニタ５０には、液晶ディスプレイ、有機ＥＬディスプレイ、ミニＬＥＤディスプレイ等を使用することができる。モニタ５０は、車両Ｃ１内に複数設置されてもよい。例えば、前部座席と後部座席にそれぞれ１つ設置されてもよいし、座席ごとに設置されてもよい。なお、少なくとも１つのモニタ５０は、カーナビゲーションシステム、ディスプレイオーディオ、ドライブレコーダ、または車室内モニタリングシステムのモニタを転用したものであってもよい。
（実施例１）
　図５は、実施例１に係る車両用ハンズフリー制御装置１０の顔認証処理の流れを示すフローチャートである。実施例１は、車両Ｃ１内に運転者のみが搭乗している場合の例である。処理部１１は、カメラ２０で撮影された車室内の映像を取得する（Ｓ１０）。画像認識部１１１は、取得された映像のフレーム画像内から運転席の位置に映っている搭乗者の顔を検出する（Ｓ１１）。
　搭乗者検出部１１３は、検出された搭乗者の顔の特徴データと、ユーザリストに登録されている複数の顔認証データを照合する（Ｓ１２）。ユーザリスト内に一致する顔認証データが存在しない場合（Ｓ１３：Ｎｏ）、顔認証処理を終了する。ユーザリスト内に一致する顔認証データが存在する場合（Ｓ１３：Ｙｅｓ）、判断部１１４はユーザリストを参照して、一致した顔認証データに紐付けられている携帯端末２を特定し、当該携帯端末２と接続するように通信制御部１１６に要求する。
　通信制御部１１６は当該要求を受けると、現在接続中の携帯端末２があるか否か確認する（Ｓ１４）。現在接続中の携帯端末２がある場合（Ｓ１４：Ｙｅｓ）、通信制御部１１６は現在接続中の携帯端末２との通信を切断する（Ｓ１５）。現在接続中の携帯端末２がない場合（Ｓ１４：Ｎｏ）、ステップＳ１５の処理はスキップされる。通信制御部１１６は、判断部１１４から要求された携帯端末２と接続する（Ｓ１６）。
　判断部１１４は、ユーザリストを参照し、必要に応じて機能制御部１１７に対してＡＶソースの切り換え要求を行う。機能制御部１１７は、ＡＶソースの切り換え要求を受けると、その要求に応じてＡＶソースを切り換える。機能制御部１１７は、切り換え後のＡＶソースから音声データ又は映像データを取得して、スピーカ４０から音声を出力させる、又はモニタ５０に映像を表示させる。
　上記図３に示す例では、登録者Ｎｏ．１の登録情報は、携帯端末名：ＡＡＡ、ハンズフリー通話：使用、音楽再生：有り、映像再生：無し、データ通信：使用、ＡＶソース：携帯端末２である。搭乗者Ｎｏ．２の登録情報は、携帯端末名：ＢＢＢ、ハンズフリー通話：使用、音楽再生：無し、映像再生：有り、データ通信：不使用、ＡＶソース：テレビ放送である。
　運転者が、登録者Ｎｏ．１から登録者Ｎｏ．２に入れ替わると、搭乗者検出部１１３は、画像内において運転席の位置に映っている搭乗者の顔の特徴データと、顔認証データ：ＦＲ０００２との一致を確認する。判断部１１４は、通信制御部１１６に携帯端末ＡＡＡと切断し、携帯端末ＢＢＢと接続するように要求する。携帯端末ＢＢＢと接続後、機能制御部１１７は、ＡＶソースを携帯端末２からテレビ放送に切り換える。機能制御部１１７は、運転席のシートポジションを登録者Ｎｏ．２用のポジションに切り換える。機能制御部１１７は、エアコンの設定を登録者Ｎｏ．２用の設定に切り換える。
　機能制御部１１７は通信制御部１１６を介して、新たに接続が確立した携帯端末２の機能を制御することができる。例えば機能制御部１１７は、当該携帯端末２のサウンドモードをサイレントモードに切り替えることができる。
　図５の処理の開始は任意のタイミングで開始されてもよいが、例えば、車両Ｃ１のエンジン始動などによって車両用ハンズフリー制御装置１０に電力が供給されたときに開始する。また、車両用ハンズフリー制御装置１０に電力が供給されている期間は、ステップＳ１０からステップＳ１２の処理を定期的に実行し、運転席の位置に映っている搭乗者が変更したことを検出する。
（実施例２）
　図６は、実施例２に係る車両用ハンズフリー制御装置１０の顔認証処理の流れを示すフローチャートである。以下の説明では、車両Ｃ１をある店の駐車場に停車させ、運転者がその店に入るため、運転者が車両Ｃ１から離れる場面を想定する。
　処理部１１は、カメラ２０で撮影された車室内の映像を取得する（Ｓ２０）。画像認識部１１１は、取得された映像のフレーム画像内から運転者の不在を検出すると（Ｓ２１：Ｙｅｓ）、画像内に、照合していない他の搭乗者の顔が存在するか否か判定する（Ｓ２３）。照合していない他の搭乗者の顔が存在しない場合（Ｓ２３：Ｎｏ）、顔認証処理を終了する。つまり、運転中の携帯端末２との通信可能な状態が維持される。
　照合していない他の搭乗者の顔が存在する場合（Ｓ２３：Ｙｅｓ）、画像認識部１１１は、画像内から次に優先度が高い座席の位置に映っている搭乗者の顔を特定する（Ｓ２４）。搭乗者検出部１１３は、特定された搭乗者の顔の特徴データと、ユーザリストに登録されている複数の顔認証データを照合する（Ｓ２５）。
　ユーザリスト内に一致する顔認証データが存在しない場合（Ｓ２６：Ｎｏ）、ステップＳ２３に遷移し、画像認識部１１１は、画像内から次に優先度が高い座席の位置に映っている搭乗者の顔を特定する（Ｓ２４）。例えば、座席の優先度が、運転席：１、助手席：２、右後部席：３、左後部席：４に設定されている場合、運転者が不在になると、助手席→右後部席→左後部席の順で搭乗者の顔を照合する。
　ステップＳ２６において、ユーザリスト内に一致する顔認証データが存在する場合（Ｓ２６：Ｙｅｓ）、判断部１１４はユーザリストを参照して、一致した顔認証データに紐付けられている携帯端末２を特定し、当該携帯端末２と接続するように通信制御部１１６に要求する。通信制御部１１６は当該要求を受けると、現在接続中の運転者の携帯端末２との通信を切断し（Ｓ２７）、要求された携帯端末２と接続する（Ｓ２８）。ステップＳ２７の処理は、運転者の携帯端末２が近距離無線通信による通信可能範囲外にあり通信が切断されている場合はスキップされる。機能制御部１１７は、ユーザリストを参照して、顔認証された搭乗者の設定環境に切り換える。例えば、助手席又は後部座席に座っている搭乗者が、車両Ｃ１の外にいる運転者の携帯端末２からの着信に対して、ハンズフリーで応答することができる。
　なお、マイク３０が車両Ｃ１内に複数設置されている場合、機能制御部１１７は、ハンズフリー通話の際、新たに接続された携帯端末２を所持する搭乗者が座っている座席に最も近い位置に設置されたマイク３０から車両Ｃ１内の話者音声を取得する。同様に、スピーカ４０が車両Ｃ１内に複数設置されている場合、機能制御部１１７は、ハンズフリー通話の際、当該座席に最も近い位置に設置されたスピーカ４０から相手方の話者音声を出力する。
　機能制御部１１７は通信制御部１１６を介して、新たに接続が確立した携帯端末２の機能を制御することができる。例えば機能制御部１１７は、当該携帯端末２のサウンドモードをサイレントモードに切り替えることができる。
（実施例２の変形例）
　図７は、実施例２の変形例に係る車両用ハンズフリー制御装置１０の顔認証処理の流れを示すフローチャートである。図６に示したフローチャートでは、運転者が車両Ｃ１から降り、運転者が不在になる状況の例を説明した。この状況から、降りた運転者がすぐに運転席に戻ってくる場合もある。例えば、運転者が一旦降りて、トランクから荷物を降ろし、すぐに戻ってくるケース等が考えられる。
　図７に示す変形例に係るフローチャートでは、図６に示したフローチャートに対して、ステップＳ２２が追加される。画像認識部１１１が運転者の不在を検出すると（Ｓ２１：Ｙｅｓ）、判断部１１４は車内通信部１４を介して、受信機５ｂが無線キー５ａから受信した電波の電波強度を取得する。判断部１１４は、取得した電波強度から受信機５ｂと無線キー５ａとの間の距離を推定する。
　判断部１１４は、推定した無線キー５ａまでの距離と設定値を比較する（Ｓ２２）。無線キー５ａまでの距離が設定値を超える場合（Ｓ２２：Ｙｅｓ）、ステップＳ２３に遷移し、図６と同様に処理する。無線キー５ａまでの距離が設定値を超える場合には、受信機５ｂが無線キー５ａからの電波を受信できない場合も含む。無線キー５ａまでの距離が設定値以下の場合（Ｓ２２：Ｎｏ）、接続する携帯端末２の切り替えを行わず、運転者の携帯端末２との接続を維持する。
　図７に示す例では、運転者の不在が検出された後、接続する携帯端末２の切り替え処理が発動される条件として、無線キー５ａまでの距離が設定値を超えることを使用した。この点、当該切り替え処理の発動条件として、運転者の不在が検出されてから設定時間が経過したことを使用してもよい。また、当該切り替え処理の発動条件として、両者のＡＮＤ条件を使用してもよい。また、当該切り替え処理の発動条件として、車両用ハンズフリー制御装置１０から運転者が所持する携帯端末２までの距離が設定値を超えることを使用してもよい。また、当該切り替え処理の発動条件として、運転者が所持する携帯端末２までの距離が設定値を超えることと、運転者の不在が検出されてから設定時間が経過したことのＡＮＤ条件を使用してもよい。
　運転者の携帯端末２のバッテリ切れ、何らかの不具合、操作ミス等により、運転者が運転席に座っている状態でも、当該携帯端末２と車両用ハンズフリー制御装置１０間の通信が途切れる場合がある。この場合、画像認識部１１１による運転者の不在を条件とせずに、通信制御部１１６が運転者の携帯端末２との通信不能を検出すると、ステップＳ２３以下の接続する携帯端末２の切り替え処理が発動されてもよい。
　以上説明したように本実施の形態によれば、車両Ｃ１内における、携帯端末２を所持している搭乗者の利便性を向上させることができる。具体的には、前回の運転者にかかわらず、今回の運転者の携帯端末２に自動接続でき、煩わしさが低減される。家族間や同僚間等で運転者が入れ替わる時にも、新たな運転者の携帯端末２に自動接続できる。また、運転者が車両Ｃ１から離れた場合でも、次に優先度の高い座席に座っている搭乗者の携帯端末２に自動接続でき、車両側のハンズフリー機能を有効活用できる。また、顔認証データの登録時に、携帯端末２内で使用されているユーザアカウント名を自動で入力できる。
　以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　上述した実施の形態では、機能制御部１１７が通信制御部１１６を介して、新たに接続が確立した携帯端末２のサウンドモードをサイレントモードに切り替える例を説明した。この点、機能制御部１１７は、制御する携帯端末２の機能を、搭乗者検出部１１３が検出した搭乗者の搭乗位置によって変更してもよい。例えば、機能制御部１１７は、運転席に座っている搭乗者の携帯端末２のサウンドモードはサイレントモードに切り替え、運転席以外に座っている搭乗者の携帯端末２のサウンドモードは設定を維持してもよい。
　また上述した実施の形態では、画像認識部１１１はカメラ２０から入力される映像のフレーム画像内において人物の顔を検出した。この点、画像内に映った個人を識別するために、顔以外の生体情報を認証対象としてもよい。例えば、生体情報として画像内に映った虹彩を使用してもよい。また、搭乗者が手のひらをカメラ２０にかざすことにより、画像内に映った指紋や静脈を生体情報として使用してもよい。
　また上述した実施の形態では、携帯端末２として通話機能を有するスマートフォン、フィーチャーフォンを想定した。この点、携帯端末２には、通話機能を有しないタブレット、携帯型音楽プレーヤ、携帯型ゲーム機等も含まれる。ハンズフリー機能が使用できない場合でも、これらの携帯端末２と近距離無線通信で接続することにより、これらの携帯端末２をＡＶソースとして使用することができる。
　本発明は、ドライブレコーダや車室内モニタリングシステムに利用可能である。
　Ｃ１　車両、　１　車両用ハンズフリー制御システム、　２　携帯端末、　３　車載ネットワーク、　４　ＥＣＵ、　５ａ　無線キー、　５ｂ　受信機、　１０　車両用ハンズフリー制御装置、　１１　処理部、　１１１　画像認識部、　１１２　登録部、　１１３　搭乗者検出部、　１１４　判断部、　１１５　決定部、　１１６　通信制御部、　１１７　機能制御部、　１２　記憶部、　１２１　ユーザリスト保持部、　１３　無線通信部、　１４　車内通信部、　２０　カメラ、　３０　マイク、　４０　スピーカ、　５０　モニタ、　６０　操作部。

Claims (5)

  1. 　車両の車室内を撮影するカメラが撮影した映像から、前記車両に搭乗している搭乗者を識別するとともに、識別した搭乗者の搭乗位置を特定する搭乗者検出部と、
    　前記搭乗者検出部が識別した搭乗者に紐付けられている携帯端末が、近距離無線通信で接続可能な状態にあるか否かを判断する判断部と、
    　前記判断部が前記近距離無線通信で接続可能な状態にあると判断した携帯端末が複数存在する場合、当該複数の携帯端末に紐付けられている複数の搭乗者の搭乗位置に基づいて、前記近距離無線通信で接続する携帯端末を決定する決定部と、
    　前記決定部が決定した携帯端末と本車両用装置を、前記近距離無線通信で接続する通信制御部と、
    　を備える、車両用装置。
  2. 　前記決定部は、前記車両内の搭乗者が着座している座席において優先度が最も高い座席に座っている搭乗者に紐付けられている携帯端末を、前記近距離無線通信で接続する携帯端末に決定する、
    　請求項１に記載の車両用装置。
  3. 　前記近距離無線通信で接続している携帯端末の機能を、前記車両用装置側から制御する機能制御部をさらに備え、
    　前記機能制御部は、制御する携帯端末の機能を、前記搭乗者検出部が検出した搭乗者の搭乗位置によって変更する、
    　請求項１または２に記載の車両用装置。
  4. 　前記車両の運転席に搭乗している搭乗者の携帯端末と前記近距離無線通信で接続している状態において、前記搭乗者検出部が、前記車両の運転者を識別できなくなった場合でも、前記運転者が所持する前記車両の無線キーまでの距離が設定値以下の場合は、前記通信制御部は、前記運転者の携帯端末との接続を継続する、
    　請求項１から３のいずれか１項に記載の車両用装置。
  5. 　車両の車室内を撮影するカメラが撮影した映像から、前記車両に搭乗している搭乗者を識別するとともに、識別した搭乗者の搭乗位置を特定するステップと、
    　識別された搭乗者に紐付けられている携帯端末が、近距離無線通信で接続可能な状態にあるか否かを判断するステップと、
    　前記近距離無線通信で接続可能な状態にあると判断された携帯端末が複数存在する場合、当該複数の携帯端末に紐付けられている複数の搭乗者の搭乗位置に基づいて、前記近距離無線通信で接続する携帯端末を決定するステップと、
    　決定された携帯端末と本車両用装置を、前記近距離無線通信で接続するステップと、
    　を車両用装置が実行する方法。
PCT/JP2021/034702 2020-12-14 2021-09-22 車両用装置、及び車両用装置が実行する方法 WO2022130723A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202180019539.XA CN115244915B (zh) 2020-12-14 2021-09-22 车用装置以及车用装置执行的方法
US17/932,689 US20230017282A1 (en) 2020-12-14 2022-09-16 Vehicle device and method executed by vehicle device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020206569A JP2022093856A (ja) 2020-12-14 2020-12-14 車両用装置、及び車両用装置が実行する方法
JP2020-206569 2020-12-14

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/932,689 Continuation US20230017282A1 (en) 2020-12-14 2022-09-16 Vehicle device and method executed by vehicle device

Publications (1)

Publication Number Publication Date
WO2022130723A1 true WO2022130723A1 (ja) 2022-06-23

Family

ID=82059002

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/034702 WO2022130723A1 (ja) 2020-12-14 2021-09-22 車両用装置、及び車両用装置が実行する方法

Country Status (4)

Country Link
US (1) US20230017282A1 (ja)
JP (1) JP2022093856A (ja)
CN (1) CN115244915B (ja)
WO (1) WO2022130723A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009284442A (ja) * 2008-05-26 2009-12-03 Fujitsu Ten Ltd 人物認証装置および人物認証方法
JP2011114741A (ja) * 2009-11-30 2011-06-09 Equos Research Co Ltd 通信端末接続管理システム
JP2014004860A (ja) * 2012-06-21 2014-01-16 Toyota Infotechnology Center Co Ltd 車載端末および通信方法
US20140172990A1 (en) * 2012-12-14 2014-06-19 Chieh-Yih Wan Systems and methods for user device interaction
US20180350366A1 (en) * 2017-05-30 2018-12-06 Hyundai Motor Company Situation-based conversation initiating apparatus, system, vehicle and method
CN111510886A (zh) * 2020-04-20 2020-08-07 肇庆小鹏汽车有限公司 一种车载蓝牙控制方法、控制系统、车辆及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008042577A (ja) * 2006-08-07 2008-02-21 Toyota Motor Corp 車載装置
EP2716502A4 (en) * 2011-05-25 2015-09-16 Toyota Motor Co Ltd VEHICLE COMMUNICATION DEVICE
JP5582578B2 (ja) * 2011-11-24 2014-09-03 オムロンオートモーティブエレクトロニクス株式会社 車両用携帯機および情報通信システム
JP5765290B2 (ja) * 2012-04-23 2015-08-19 株式会社デンソー 走行規制プログラム、携帯端末、車両用装置、車両用通信システム
JP2014197823A (ja) * 2013-03-04 2014-10-16 株式会社デンソー 通信補助装置、及び通信システム
CN107027089B (zh) * 2016-01-29 2020-02-21 宇龙计算机通信科技(深圳)有限公司 一种车载蓝牙连接方法和装置
WO2019049256A1 (ja) * 2017-09-07 2019-03-14 マクセル株式会社 携帯情報端末および車両設備制御システム
JP7119636B2 (ja) * 2018-06-22 2022-08-17 トヨタ自動車株式会社 車載端末、ユーザ端末、及び相乗り制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009284442A (ja) * 2008-05-26 2009-12-03 Fujitsu Ten Ltd 人物認証装置および人物認証方法
JP2011114741A (ja) * 2009-11-30 2011-06-09 Equos Research Co Ltd 通信端末接続管理システム
JP2014004860A (ja) * 2012-06-21 2014-01-16 Toyota Infotechnology Center Co Ltd 車載端末および通信方法
US20140172990A1 (en) * 2012-12-14 2014-06-19 Chieh-Yih Wan Systems and methods for user device interaction
US20180350366A1 (en) * 2017-05-30 2018-12-06 Hyundai Motor Company Situation-based conversation initiating apparatus, system, vehicle and method
CN111510886A (zh) * 2020-04-20 2020-08-07 肇庆小鹏汽车有限公司 一种车载蓝牙控制方法、控制系统、车辆及存储介质

Also Published As

Publication number Publication date
CN115244915B (zh) 2024-04-26
US20230017282A1 (en) 2023-01-19
JP2022093856A (ja) 2022-06-24
CN115244915A (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
US11778436B2 (en) Systems, methods, and devices for enforcing do not disturb functionality on mobile devices
US9177429B2 (en) Method and apparatus for assigning profile data to one or more vehicle sub-systems of a vehicle
US10271265B2 (en) Detecting mobile devices within a vehicle based on cellular data detected within the vehicle
US8755949B2 (en) Telematics system using human body communication, portable device having telematics function using human body communication, and method for providing telematics service using human body communication
US20100039224A1 (en) Biometrics information matching apparatus, biometrics information matching system, biometrics information matching method, person authentication apparatus, and person authentication method
JP2008273370A (ja) 車両用オーディオビジュアル装置、車両用オーディオビジュアルシステム、装置識別方法、プログラム、記憶媒体
JP2009284442A (ja) 人物認証装置および人物認証方法
US20070120948A1 (en) Device and method for telephone countermeasure in using telephone during driving
US20040151285A1 (en) Method and system for managing in-vehicle telephony
US20070086579A1 (en) Automatic call forwarding to in-vehicle telematics system
US10861457B2 (en) Vehicle digital assistant authentication
US8121635B1 (en) Communication device
CN107222230B (zh) 由物理信号屏障辅助的利用信号强度数据的乘客区域检测
CN111510886A (zh) 一种车载蓝牙控制方法、控制系统、车辆及存储介质
US11645731B2 (en) Simplified authentication of mobile device by vehicle for shared or autonomous vehicles
JP2011172195A (ja) 車載機、携帯機器、および制御プログラム
JP2008042577A (ja) 車載装置
WO2021254141A1 (zh) 一种车辆交互方法和一种车辆
CN114422980A (zh) 一种汽车上用于保护用户隐私的方法及系统
WO2022130723A1 (ja) 車両用装置、及び車両用装置が実行する方法
US20200180533A1 (en) Control system, server, in-vehicle control device, vehicle, and control method
CN105430567A (zh) 汽车鸣笛音量调节方法及装置
CN114124528B (zh) 无线mcu和车辆配置系统
JP2016203744A (ja) 移動体環境設定装置及び移動体環境設定システム
JP2012144066A (ja) 車載ａｖシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21906088

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21906088

Country of ref document: EP

Kind code of ref document: A1