WO2016042725A1 - 車両用機器制御装置、制御内容検索方法 - Google Patents
車両用機器制御装置、制御内容検索方法 Download PDFInfo
- Publication number
- WO2016042725A1 WO2016042725A1 PCT/JP2015/004498 JP2015004498W WO2016042725A1 WO 2016042725 A1 WO2016042725 A1 WO 2016042725A1 JP 2015004498 W JP2015004498 W JP 2015004498W WO 2016042725 A1 WO2016042725 A1 WO 2016042725A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- search
- unit
- search result
- screen
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/10—Interpretation of driver requests or demands
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/22—Display screens
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/80—Arrangements for controlling instruments
- B60K35/81—Arrangements for controlling instruments for controlling displays
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
- B60R16/0373—Voice control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/087—Interaction between the driver and the control system where the control system corrects or modifies a request from the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/12—Limiting control by the driver depending on vehicle state, e.g. interlocking means for the control input for preventing unsafe operation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
- G06F16/24575—Query processing with adaptation to user needs using context
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/11—Instrument graphical user interfaces or menu aspects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/11—Instrument graphical user interfaces or menu aspects
- B60K2360/113—Scrolling through menu items
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/11—Instrument graphical user interfaces or menu aspects
- B60K2360/115—Selection of menu items
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/143—Touch sensitive instrument input devices
- B60K2360/1438—Touch screens
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/143—Touch sensitive instrument input devices
- B60K2360/1438—Touch screens
- B60K2360/1442—Emulation of input devices
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Definitions
- the present disclosure relates to a vehicle device control apparatus that controls operations of a plurality of devices used in a vehicle based on a search term input by a user, and a control content that can be executed by the plurality of devices from a user.
- the present invention relates to a control content search method for searching for control content related to an input search word.
- a vehicle device control device that controls operations of a plurality of devices that each execute a predetermined function, such as an audio device, an air conditioning device, and a navigation device, based on voice input from a user (for example, Patent Document 1).
- a predetermined function such as an audio device, an air conditioning device, and a navigation device
- voice commands for executing control contents executable by each device are registered in advance.
- the control content associated with the voice command is specified, and a predetermined device is caused to execute the control content. That is, the voice command plays a role as a search term for specifying the control content to be executed.
- Patent Document 1 for each function provided by each device, the frequency of use of the function used by the user is accumulated, and a search term input by the user is associated with a plurality of functions. In some cases, the most frequently used function is searched from among a plurality of functions.
- the apparatus control apparatus for vehicles of patent documents 1 is a case where a plurality of functions matched with a voice command which a user inputted exist, a function which should be operated, and a control content performed by the function Can be specified.
- a configuration in which a control content related to a search word input by the user is searched and the search result is displayed in a list format, for example, is conceivable.
- the user can execute the control content by selecting desired control content from the list of search results.
- the search result related to the search term input by the user is displayed as it is, there is a possibility that it becomes a burden for the user to select a desired item from the list. For example, when there are many control contents associated with the search word input by the user, the control contents displayed as the search results also increase, and it is difficult to find a desired item from the search results. turn into.
- the driver since the user (that is, the driver) who is performing the driving operation needs to concentrate on the driving operation, the driver can execute the desired control content with fewer operations once the search word is input. It is preferable to have a configuration that can be used.
- the present disclosure relates to a vehicular device control device that can reduce the effort required for a user to execute desired control content on any of a plurality of devices used in the vehicle, and the vehicular device control device.
- An object is to provide a method for retrieving a control content to be applied.
- a vehicle device control device is a vehicle device control device that controls the operation of a plurality of devices used in a vehicle, and a user who starts input of a search term used as a search keyword
- An operation receiving unit that receives an operation, a function management database that stores a plurality of control contents that can be executed by the device in association with at least one word that represents the control contents, and that the operation receiving unit has received a user operation.
- a search using the search term acquired by the search term acquisition unit is performed, and a list of control contents associated with the search term
- a search processing unit that acquires a search result, and screen information that represents the state of the screen displayed on the display device when the operation receiving unit receives a user operation.
- Search results output that causes the control contents executed by the operation target device to be displayed or executed with priority on the screen showing the search results over the control contents executed by other devices.
- the operation target estimation unit estimates the operation target device that is the device that the user is trying to operate based on the state of the screen when the user operation for starting the input of the search term is performed. Before describing the operation of the entire vehicle equipment control device, the operation of the operation target estimation unit will be described first.
- the screen displayed on the display device is a screen corresponding to one of a plurality of devices.
- the screen when the user operation for starting the input of the search word is performed is a screen corresponding to the user operation received immediately before starting to input the search word. That is, the screen information is information representing the device that the user has operated immediately before.
- the operation target estimation unit can estimate the device that the user is trying to operate by using the screen information.
- the search result output unit preferentially displays or executes the control content performed by the operation target device among the search results acquired by the search processing unit.
- the control content that can be implemented by the operation target device estimated by the operation target estimation unit is included among the control content associated with the search word. , Will be displayed with priority.
- the operation target device estimated by the operation target estimation unit is a device that is likely to be operated by the user as described above. That is, there is a high possibility that the control content desired by the user is preferentially displayed on the screen showing the search results.
- the control desired by the user is performed.
- the content will be displayed with priority.
- the display screen is a screen corresponding to a device that executes the control content desired by the user
- the input of the search word is started, even when there are a plurality of search results, The user can easily find an item corresponding to the desired control content from the search results.
- the above-described vehicle device control apparatus is configured to reduce the effort required for the user to execute desired control content on any of a plurality of devices used in the vehicle.
- the search result output unit may cause the control content performed by the operation target device to be executed preferentially among the search results.
- the control content executed here is highly likely to be the control content desired by the user.
- the display screen when the user performs an operation for starting input of a search word is a screen corresponding to a device that executes the desired control content
- the control desired by the user is performed. The content is executed.
- the search result output unit preferentially executes the control content performed by the operation target device in the search result, the user is not required to select the control content desired by the search result. Can do.
- the control content search method includes acquiring a search word used as a search keyword, and a plurality of control details that can be executed by each of a plurality of devices used in a vehicle.
- a list of control contents corresponding to the search word is obtained by performing a search using the search word acquired by the search word acquisition unit with respect to the function management database stored in association with at least one word to be expressed.
- control content search method corresponds to a method in which the above-described vehicle device control device searches for control content corresponding to a search word input by a user. Therefore, according to this control content search method, the same effects as those of the above-described vehicle equipment control device can be obtained.
- FIG. 1 It is a block diagram which shows an example of a schematic structure of the apparatus control system for vehicles which concerns on this embodiment. It is a block diagram which shows an example of the schematic structure of the control apparatus which concerns on this embodiment. It is an example of the structure of the function management data which the function management database has memorize
- FIG. 10 is a block diagram illustrating an example of a schematic configuration of a search result output unit in Modification 2.
- FIG. 10 is a block diagram illustrating an example of a schematic configuration of a search result output unit in Modification 3.
- FIG. 1 is a diagram illustrating an example of a schematic configuration of a vehicle device control system 100 according to the present embodiment.
- the vehicle device control system 100 is a device for inputting various types of devices that can be used by a user in a vehicle, such as devices mounted on a vehicle and devices brought into a passenger compartment by voice input or handwritten character input. This is a system that assists the user in operating.
- the vehicle device control system 100 includes a control device 1, a display device 2, a speaker 3, a microphone 4, an operation unit 5, a vehicle communication unit 6, an air conditioner 7, an audio device 8, a navigation device 9, a wide area.
- a communication unit 10, a mobile terminal 11, and a narrow area communication unit 12 are provided.
- the air conditioner (hereinafter, air conditioner) 7, the audio device 8, and the navigation device 9 correspond to the devices mounted on the vehicle.
- the portable terminal 11 is a device that is temporarily linked to the in-vehicle device by being brought into the user.
- the navigation apparatus 9 may not be mounted on the vehicle but may be brought into the vehicle interior by the user.
- the control device 1 the display device 2, the speaker 3, the microphone 4, the operation unit 5, the vehicle communication unit 6, the air conditioner 7, the audio device 8, the navigation device 9, the wide area communication unit 10, and the narrow area communication unit 12 are respectively They are connected so that they can communicate with each other.
- the control device 1 also performs mutual communication with the mobile terminal 11 via the narrow area communication unit 12 as described later.
- the control device 1 plays a role of controlling various devices that can be used by the user in the vehicle. That is, the control device 1 corresponds to a vehicle equipment control device. Based on the input operation performed by the user on the operation unit 5, the control device 1 causes the device corresponding to the input operation to execute the control content corresponding to the input operation.
- the user can also use functions provided by various application programs (hereinafter referred to as applications) installed in the control device 1.
- applications include a web browsing function for searching and browsing information stored on the Internet. That is, the control device 1 itself can be a device that provides a predetermined function to the user.
- the air conditioner 7, the audio device 8, the navigation device 9, the portable terminal 11, and the control device 1 are also referred to as control objects.
- each element with which the apparatus control system 100 for vehicles is provided is described.
- the display device 2 displays text and images based on instructions from the control device 1.
- the display device 2 is capable of full color display, for example, and can be configured using a liquid crystal display, an organic EL display, or the like.
- the display device 2 is a center display arranged near the center in the vehicle width direction of the instrument panel.
- the display device 2 may be a meter display disposed on the driver seat side of the instrument panel, or may be a known head-up display. Further, it may be realized by combining a plurality of types of displays.
- the speaker 3 converts the electrical sound signal input from the control device 1 into sound (including simple sound) and outputs the sound.
- the microphone 4 is, for example, a small omnidirectional microphone, and collects ambient sounds such as voices and noises spoken by the user, converts them into electrical voice signals, and outputs them to the control device 1.
- the microphone 4 is provided at a position where the user's voice can be easily picked up, such as an upper surface portion of the steering column cover or a sun visor on the driver's seat side.
- the operation unit 5 instructs the control device 1 to cause the user to execute various functions provided by the air conditioner 7, the audio device 8, the navigation device 9, the mobile terminal 11, the control device 1 itself, and the like. It is a device group. For example, the user can instruct to start / stop the operation of the air conditioner 7 or instruct to change the set temperature by operating the operation unit 5.
- the operation unit 5 includes a haptic device 51, a touch pad (handwriting input device) 52, and a talk switch (hereinafter, the switch is abbreviated as SW) 53.
- the haptic device 51 is a pointing device that moves a cursor displayed on the screen of the display device 2 and selects a target indicated by the cursor. More specifically, the haptic device 51 includes a movable unit for instructing a direction in which the cursor is moved, and a determination switch for selecting (deciding input) an object pointed to by the cursor.
- the haptic device 51 includes an actuator inside, and controls the operation of the actuator to give a reaction force corresponding to a cursor movement operation or a selection operation to the user's hand. For example, in a situation where a button image (hereinafter referred to as a button) that can be selected by the user is displayed on the display device 2, when the cursor moves from the area other than the button onto the button, the haptic device 51 operates the actuator. Then, a tactile sensation as if the button in the display screen was touched is given to the driver's hand.
- a button image hereinafter referred to as a button
- the touch pad 52 includes a flat sensor unit, and specifies the position of the finger on the sensor unit based on a change in capacitance formed between the sensor unit and the user's finger. Further, trajectory data indicating the trajectory of the finger tracing the surface of the sensor unit is acquired from the time-series data of the finger position on the sensor unit. The user can move the cursor on the display screen in the same manner as the haptic device 51 by moving the finger on the sensor unit of the touch pad 52.
- control device 1 performs a well-known handwriting recognition process in cooperation with the touch pad 52.
- the user can input a desired character string by handwriting a character on the sensor unit of the touch pad 52.
- the touch pad 52 corresponds to a handwriting input device.
- Talk SW 53 is a switch for instructing the user (driver) to start voice input.
- the talk SW 53 is a click-type switch provided in the haptic device 51.
- the talk SW 53 outputs an ON signal to the control device 1 when it is set to ON by a user operation (ie, when clicked).
- the control device 1 can detect that the user has performed an operation to start voice input.
- the control device 1 When the ON signal is input from the talk SW 53, the control device 1 performs a process for acquiring audio data.
- the user can input the spoken voice to the control device 1 by starting to speak within a certain time (for example, within 1.5 seconds) after turning on the talk SW 53.
- the talk SW 53 is integrated with the haptic device 51, but the present invention is not limited to this.
- the talk SW 53 may be provided at a position where the user can easily operate, for example, near the side surface portion of the steering column cover or the vicinity of the shift lever.
- the talk SW 53 may be a button provided in the display screen, in other words, a software switch.
- the operation unit 5 may include a mechanical switch, a touch panel stacked on a display panel included in the display device 2, and the like. Note that it is not necessary to include all the devices exemplified here.
- the vehicle communication unit 6 acquires various information (referred to as vehicle information) from an ECU (Electronic Control Unit) mounted on the host vehicle, various sensors, and equipment (for example, an air conditioner 7) mounted on the vehicle.
- vehicle information For example, the vehicle communication part 6 should just acquire vehicle information by implementing mutual communication with ECU, a sensor, and an apparatus via a known in-vehicle network.
- the in-vehicle network is a network that connects ECUs and sensors mounted on the vehicle.
- the vehicle information acquired by the vehicle communication unit 6 is sequentially provided to the control device 1.
- the vehicle information includes, in addition to running state information representing information related to the running of the vehicle, as a more preferable form, external environment information representing an environment outside the vehicle (weather etc.), setting information representing setting values of each device, and the like. Shall be included.
- Elements included in the driving state information include, for example, position information, driving speed (hereinafter referred to as vehicle speed), traveling direction, acceleration, steering angle, shift position, parking brake on / off, etc.
- vehicle speed driving speed
- traveling direction acceleration, steering angle, shift position, parking brake on / off
- Various state quantities representing the state are applicable.
- a known technique may be used as a method of detecting, measuring, or estimating various state quantities.
- the external environment information includes weather information and traffic congestion information indicating the degree of road congestion. Whether or not it is raining may be detected by a raindrop sensor mounted on the vehicle. The external environment information may be acquired from the outside via the wide area communication unit 10.
- the setting information includes the set temperature of the air conditioner 7, the destination set in the navigation device 9, and the history information of the destination.
- the setting information is acquired from each device, for example, based on an instruction from a vehicle information acquisition unit F3 provided in the control device 1 described later.
- the vehicle information may include information (referred to as vehicle interior information) such as the temperature in the vehicle interior detected by the interior temperature sensor and the number of passengers specified based on the detection result of the seating sensor.
- the air conditioner 7 is a well-known in-vehicle air conditioner and operates based on an instruction from the control device 1 to adjust the temperature and humidity in the passenger compartment. For example, the air conditioner 7 adjusts the temperature of the air that is blown out so that the temperature in the passenger compartment becomes a value specified by the user.
- the air conditioner 7 can also control the air volume blown from the outlet independently of the target temperature.
- the functions provided in the air conditioner 7 are collectively referred to as an air conditioner function.
- the temperature adjustment function (temperature increase / decrease) provided in the air conditioner 7 and the function of adjusting the air volume are functions of smaller units (so-called sub-functions) provided in the air conditioner function.
- the air conditioner 7 may include a right air outlet provided on the right side of the instrument panel and a left air outlet provided on the left side so that the temperature and air volume of air blown out from each can be controlled independently. .
- the audio device 8 reproduces the music data stored in the music database 81 (hereinafter, the database is abbreviated as DB) based on an instruction from the control device 1 and outputs the audio from the speaker 3.
- the music DB 81 may be realized by using a known storage medium such as an HDD (Hard Disk Drive). Further, the storage device that stores the music data may be realized by combining a plurality of types of storage media.
- the music data includes, as metadata, information on the album in which the music data is recorded, artist information, song name, performance time, evaluation, and the like. It is assumed that a plurality of music data stored in the music DB 81 is hierarchically managed by album information, artist information, and the like.
- the audio device 8 not only reproduces the music as described above, but also searches for the music of the artist specified by the user, and searches for the album specified by the user and the music recorded in the album. .
- the functions provided in the audio device 8 are collectively referred to as an audio function.
- the navigation device 9 has the same function as a known navigation device.
- the map data stored in the map DB 91 is used to display a map image around the current location on the display device 2 or from the current location to the destination. Route guidance processing for guiding the travel of the vehicle.
- the destination is a point set based on a user operation.
- Functions provided in the navigation device 9 are collectively referred to as navigation functions.
- the map data used by the navigation device 9 includes road data indicating a road connection relationship, drawing data for drawing a map image, facility data indicating information about a facility, and the like.
- the information about the facility includes the name of the facility, the genre of the facility (restaurant, shop, sightseeing spot, etc.), address, and the like.
- the map DB 91 for storing the map data described above may be realized using a known storage medium.
- the map DB 91 does not need to be mounted on the vehicle, and the configuration is such that data in a range necessary for the display of the map image described above is acquired from a server provided outside the vehicle via the wide-area communication unit 10 described later. It is good.
- the wide area communication unit 10 includes a transmission / reception antenna, and communicates with facilities connected to the Internet provided outside the vehicle.
- the control device 1 can access the Internet via the wide area communication unit 10.
- the portable terminal 11 is a well-known portable information processing terminal brought into the passenger compartment by the user.
- a smartphone or a tablet terminal corresponds to the mobile terminal 11.
- a normal portable terminal operates as the portable terminal 11 in the present embodiment when communication with the control device 1 is established.
- the control device 1 and the mobile terminal 11 perform mutual communication via the narrow area communication unit 12.
- the control device 1 displays the screen of the mobile terminal 11 on the display device 2 or executes an application installed in the mobile terminal 11. Can do.
- the functions provided in the mobile terminal 11 are collectively referred to as a mobile terminal function.
- the narrow-area communication unit 12 plays a role as an interface for the mobile terminal 11 and the control device 1 to perform mutual communication.
- the mobile terminal 11 and the control device 1 may be wirelessly connected by a short-range wireless communication technology such as Bluetooth (registered trademark) or may be connected by wire.
- the control device 1 is configured as a normal computer, and includes a well-known CPU, a nonvolatile memory such as a ROM and a flash memory, a volatile memory such as a RAM, an I / O, and a bus line that connects these configurations (whichever Are also not shown).
- the nonvolatile memory included in the control device 1 stores programs and data for the CPU to execute various processes.
- the control device 1 includes a web browsing unit F1, a linked device control unit F2, a vehicle information acquisition unit F3, a display control unit F4, an operation reception unit F5, a search word acquisition unit F6, and a search.
- a processing unit F7, a screen information acquisition unit F8, an operation target estimation unit F9, a search result arrangement unit F10, and a search result output unit F11 are provided.
- the control device 1 includes a function management DBM1, a voice recognition DBM2, and a character recognition dictionary M3, which are well-known nonvolatile storage media.
- the web browsing unit F1 cooperates with the wide area communication unit 10 to access the Internet, acquire a web page corresponding to the user operation accepted by the operation accepting unit F5, and display the web page on the display device 2.
- the web browsing unit F1 is activated when the operation receiving unit F5 receives a user operation for browsing a Web page.
- the function provided by the web browsing unit F1 is hereinafter referred to as an Internet function.
- the linked device control unit F2 controls the operation of a device linked to the control device 1 (hereinafter, linked device).
- the cooperation device here is a device that is connected to the control device 1 so as to be able to communicate with each other and provides a predetermined function. That is, in this embodiment, the air conditioner 7, the audio device 8, the navigation device 9, and the portable terminal 11 correspond to the cooperation devices.
- This cooperation apparatus control part F2 performs the control content corresponding to user operation with respect to the control target corresponding to the user operation based on the user operation (including voice input) received by the operation reception part F5 described later. To instruct.
- the vehicle information acquisition unit F3 acquires vehicle information from the vehicle communication unit 6.
- the vehicle information acquisition unit F3 also acquires the setting information by requesting the vehicle communication unit 6 to acquire setting information such as a setting value set in the cooperation device.
- the vehicle information acquisition unit F3 determines whether or not the vehicle is traveling based on the acquired vehicle information (particularly travel state information). For example, when the vehicle speed is a predetermined threshold (for example, 3 km / h) or more, it is determined that the vehicle is traveling, and when the vehicle speed is less than the predetermined threshold, it is determined that the vehicle is not traveling. Alternatively, it may be determined that the host vehicle is not traveling when the shift position is the parking position or when the parking brake is on.
- a predetermined threshold for example, 3 km / h
- the function management DBM1 stores data (referred to as function management data) in which control contents that can be executed by each linked device or the control device 1 are associated with words related to the control contents.
- the control content that can be executed by each cooperation device or the control device 1 itself means control content that the user can instruct the control device 1 and the cooperation device.
- FIG. 3 shows an example of the configuration of the function management data stored in the function management DBM1.
- the control content that can be instructed to the control device 1 and the cooperation device by the user is managed separately for each device (or function) that executes the control content.
- the function management data includes a main function list Lmn, which is the highest layer, and a control content list Lsb subordinate to the main function list.
- the main function list Lmn is a list of functions (referred to as main functions) corresponding to various control objects. That is, the main function list Lmn includes items corresponding to an audio function, an air conditioner function, a navigation function, an Internet function, a mobile terminal function, and the like.
- the control content list Lsb is a list of control content that can be implemented by each main function. That is, the control content included in the control content list Lsb corresponds to a sub-function provided in each main function.
- control contents executed by the audio function include an artist search process in which the user searches for a song of an arbitrary artist from the music DB 81, and an album search process of searching for a song recorded in an arbitrary album.
- the control content list Lsb itself may have a hierarchical structure. Each control content is associated with a main function that implements the control content.
- Each control content is associated with at least one predetermined word representing the control content.
- the function management DBM 1 stores the control content “increased temperature” included in the air conditioner function in association with the words “raise”, “up”, “cold”, “warm”. Yes.
- the “artist search” provided in the audio function is associated with all the various artist names included in the music data. The artist name may be acquired by searching the area where the music data is stored as appropriate.
- control content “destination setting” provided in the navigation function is associated with each facility name included in the facility data of the map data. In addition, what is necessary is just to acquire a facility name by searching facility data suitably.
- the control content “search” of the Internet function is assumed to be associated with all words (or phrases).
- the in-vehicle device incorporates a function that prohibits execution of predetermined control contents when the vehicle is traveling (that is, a traveling forcing function).
- the control device 1 of the present embodiment also includes a travel forcing function that prohibits execution of some of the control contents included in the control content list Lsb when the vehicle is traveling.
- the function management DBM1 stores a list of control contents that are targets of the travel forcing function.
- search processing by the Internet is a target of the travel forcing function.
- the display control unit F4 controls the display screen of the display device 2.
- the various screens displayed by the display control unit F4 include a main menu screen for the user to select a control target (main function) to be operated, a screen corresponding to the audio function, and the like.
- the audio function screen is a screen for the user to select a desired sub function among the sub functions provided in the audio function.
- the various screens displayed by the display control unit F4 on the display device 2 are configured in a tree shape as shown in FIG. More specifically, the main menu screen described above is provided as the uppermost screen. As screens subordinate to the main menu screen, there are provided screens corresponding to control targets to which the user can input instructions, such as an audio function screen, an air conditioner function screen, and a navigation function screen.
- the air conditioner function screen is a screen for operating the air conditioner 7, for example, a screen for adjusting a set temperature, an air volume, and the like of the air conditioner 7.
- the navigation function screen is a screen corresponding to the navigation device 9, and is a screen for the user to select a desired function among the functions provided in the navigation device 9.
- an identification number (referred to as screen ID) is set for each screen.
- the display control unit F4 can specify the currently displayed screen or the next screen to be displayed based on the screen ID.
- FIG. 4 shows that, as an example, the screen ID of the main menu screen is G100, the screen ID of the audio function screen is G110, and the screen ID of the air conditioner function screen is G120.
- At least one button that can be selected by the user is arranged on each screen displayed by the display control unit F4.
- the button has a function as an option for specifying the control content desired by the user.
- the button has a unique button ID for each button, and the button ID is associated with the screen ID of the transition destination screen, the device to be controlled, and the control content.
- the display control unit F4 changes the display screen in cooperation with the operation receiving unit F5 described below.
- buttons B11 to B15 are buttons for the user to select a control target. More specifically, the button B11 is a button for the user to start a series of input operations for executing the sub-functions included in the audio device 8, and is displayed when the button is selected by the user.
- the control unit F4 displays the audio function screen on the display device 2.
- the button B12 is a button for operating the air conditioner 7, and the button B13 is a button for operating the navigation device 9.
- the button B14 is a button for starting the web browsing unit F1 and using the Internet.
- the button B15 is a button for starting use of a function provided in the mobile terminal 11.
- FIG. 5 shows a state where the cursor is present on the button B11.
- the button indicated by the cursor Cur is highlighted by being displayed in a display mode different from other buttons.
- the button indicated by the cursor Cur is referred to as a temporarily selected button.
- the user can select a button by pressing the determination button of the haptic device 51 while temporarily selecting an arbitrary button. That is, in the state shown in FIG. 5, the user changes the display screen to the audio function screen by pressing the determination button of the haptic device.
- the screen indicates that the instructed control content is being executed via a screen for instructing execution of the control content desired by the user.
- the display control unit F4 displays a search result screen to be described later based on an instruction from the search result output unit F11.
- the operation reception unit F5 receives an operation performed on the operation unit 5 by the user. For example, when the user performs an operation for moving the cursor in the display screen to the haptic device 51, the display control unit F4 is requested to move the position of the cursor in the display screen according to the operation amount. To do.
- the display control unit F4 is requested to transition to another screen according to the selection operation. More specifically, when a control signal indicating that the user has performed the determination operation is acquired from the operation unit 5, the button selected by the user from the current cursor position is specified. Then, the screen ID corresponding to the button ID is specified, and the display control unit F4 is requested to change to the screen.
- the button selected by the user instructs execution of a predetermined subfunction (that is, control content) to a predetermined control target
- a predetermined subfunction that is, control content
- the control content corresponding to the button selected by the user Is executed.
- the positions of the buttons included in the screen are preset for each screen, and the operation reception unit F5 identifies the button ID of the button selected by the user from the currently displayed screen ID and the cursor position. Can do.
- the operation accepting unit F5 accepts a user operation for starting character input using the touch pad 52 and a user operation for finishing character input using the touch pad 52. Further, based on a control signal input from the talk SW 53, a user operation for starting voice input is accepted. These user operations correspond to user operations for starting input of search terms.
- the search word acquisition unit F6 acquires a search word used for function search processing described later.
- the search word only needs to include at least one word, and may be a phrase including a plurality of words.
- the search word acquisition unit F6 includes a speech recognition unit F61 that acquires a search word based on a user's utterance, and a handwriting recognition unit F62 that acquires a search word via the touch pad 52.
- a speech recognition unit F61 that acquires a search word based on a user's utterance
- a handwriting recognition unit F62 that acquires a search word via the touch pad 52.
- the structure provided with both the speech recognition part F61 and the handwriting recognition part F62 is illustrated in this embodiment, the structure provided only with either one as another aspect may be sufficient.
- the voice recognition unit F61 detects that the user has been clicked based on the control signal input from the talk SW 53, the voice recognition unit F61 enters the voice input standby state and then the user speaks through the microphone 4. Acquired audio data. Then, the voice data is subjected to a known voice recognition process using various data stored in the voice recognition DBM 2 to obtain text data corresponding to the voice data. This text data corresponds to a search term.
- a speech recognition DBM2 as data necessary for speech recognition processing, for example, an acoustic model in which acoustic features of small units (phonemes) of human utterances are described, a recognition dictionary that associates acoustic features of phonemes with words, words A language model that expresses the connection relationship between them is stored.
- control apparatus 1 is equipped with voice recognition DBM2 and illustrates the aspect which implements voice recognition processing within an own apparatus, it is not restricted to this.
- the voice recognition process may be performed at a center provided outside the vehicle.
- the search word acquisition unit F6 transmits the voice data input by the user to the center via the wide area communication unit 10. Then, the center performs voice recognition processing on the received voice data, converts the voice data into text data, and returns it to the control device 1. According to such an aspect, the function of the control device 1 can be simplified, and even if the control device 1 does not include the voice recognition DBM2, the user can input a search word by voice input. .
- the handwriting recognition unit F62 When the handwriting recognition unit F62 receives a user operation to start character input using the touchpad 52, the handwriting recognition unit F62 performs a well-known character recognition process based on finger trajectory data acquired by the touchpad 52, and the user performs The character corresponding to the input locus data is specified. And the character string which arranged the character specified one by one until it receives the user operation which shows that the character input was completed is acquired as a search word.
- a well-known method may be used as a method for recognizing handwritten characters.
- a configuration may be adopted in which a recognition method is used that combines a character recognition method based on character shapes (so-called offline recognition) and a character recognition method based on handwriting (so-called online recognition).
- the character recognition dictionary M3 provided in the control device 1 contains data used for character recognition processing, such as data indicating a character shape pattern.
- the character recognition process performed by the handwriting recognition unit F62 may be performed at a center provided outside the vehicle, similarly to the voice recognition unit F61. That is, the search word acquisition unit F6 may transmit the finger trajectory data acquired by the touch pad 52 to the center, and the center may perform character recognition processing on the trajectory data to identify the character.
- the character specified by the center may be sequentially returned to the control device 1, or may be returned as a character string when a user operation indicating that character input has been completed is received.
- the search processing unit F7 searches the function management DBM1 using the search terms acquired by the search term acquisition unit F6. More specifically, the control content associated with the word that matches the search word is searched.
- the match here is not limited to a complete match, and may be a partial match.
- the search processing unit F7 may perform a search using another expression similar to the search word.
- the search processing unit F7 acquires, as a search result, a list of control contents associated with a word that matches the search word. Also, depending on the type of control content, there may be those that require a word that matches the search word as a control parameter. In such a case, a word that matches the search word is also acquired in association with the sub function.
- the search processing unit F7 searches for the control content such as searching for the artist's song. Get as one of the results.
- the search processing unit F7 sets the control contents such as setting the facility as the destination of the navigation function as one of the search results. Get as one.
- the screen information acquisition unit F8 acquires information (referred to as screen information) about the screen displayed on the display device 2 from the display control unit F4.
- the screen information corresponds to a screen ID, a button ID of a temporarily selected button, or the like.
- the screen ID corresponds to screen type information.
- the button ID corresponds to selection target information.
- the operation target estimation unit F9 estimates a function that the user intends to use (referred to as an operation target function) based on the screen information acquired by the screen information acquisition unit F8.
- the operation target function means a device that the user is trying to operate (that is, an operation target device).
- the operation target function is It can be embodied to the level of function (ie, control content).
- the operation target estimation unit F9 regards the main function provided by the control target corresponding to the screen ID included in the screen information as the control target function that the user is trying to operate. Further, when the screen information includes the button ID of the temporarily selected button, the operation target estimation unit F9 is the control content that the user is trying to execute the control content corresponding to the button ID. Estimated. The control content corresponding to the button ID of the temporarily selected button corresponds to a control content candidate.
- the search result organizing unit F10 sorts the search results by the search processing unit F7 based on the operation target function estimated by the operation target estimating unit F9. Sorting the search results here means sorting the search results based on a predetermined rule (so-called sort processing), or narrowing down the number of search results by excluding control contents that match a predetermined condition. Point to.
- the search result organizing unit F10 sorts the search results by the search processing unit F7 in descending order of relevance with the operation target function estimated by the operation target estimation unit F9.
- the degree of relevance may be determined as follows, for example. First, if there is a control content provided by the control target function that matches the control content corresponding to the button ID of the temporarily selected button in the search result, the control content Is determined to be most relevant to the operation target function. The control content that is determined to be the next most relevant is the control content that is executed by the control target function. Then, it is determined that the control content performed by the main function different from the control target function is the least relevant to the control target function.
- control content belonging to the audio function is set to be higher than the control content belonging to the other main function. Place at the top of the search results.
- control contents having the same level of relevance with the operation target function may be arranged in the order found at the time of search or in the order of names.
- the search result organizing unit F10 narrows down the search results based on the vehicle information acquired by the vehicle information acquiring unit F3. More specifically, when the vehicle information acquisition unit F3 determines that the vehicle is traveling based on the vehicle information, it corresponds to the control content that is prohibited from being executed from the search result. Exclude items to be When the vehicle information acquisition unit F3 determines that the vehicle is not running based on the vehicle information, nothing is performed on the search result.
- the search result output unit F11 includes a search result display instruction unit F111 as a finer functional block.
- the search result display instruction unit F111 instructs the display control unit F4 to display a search result screen representing a list of search results arranged by the search result arrangement unit F10.
- the display control part F4 should just produce
- the search result display instructing unit F111 provides the display control unit F4 with data representing the search results organized by the search result organizing unit F10, and the display control unit F4 searches based on the search result data.
- An image as a base of the result screen is generated and displayed on the display device 2.
- An example of the search result screen and the operation of the search result display instruction unit F111 will be described later.
- the function search process is a series of processes for searching for control contents related to a search word input by the user and displaying the search result on the display device 2.
- the flowchart illustrated in FIG. 6 may be started, for example, when the operation reception unit F5 receives a user operation for inputting a search term.
- the user operation for inputting a search term indicates a user operation for starting character input using the touch pad 52 and a user operation for starting voice input.
- the function search process shown in FIG. 6 is a process corresponding to the control content search method.
- the screen information acquisition unit F8 acquires screen information of the current display screen, and proceeds to S110.
- This S100 is equivalent to acquiring screen information.
- the operation target estimation unit F9 estimates the operation target function based on the screen information acquired by the screen information acquisition unit F8 in S100, and proceeds to S120.
- This S110 is equivalent to estimating the operation target function (device).
- the search word acquisition unit F6 acquires the search word and proceeds to S130. For example, when this flow is started with a user operation to start voice input as a trigger, the voice recognition unit F61 performs a voice recognition process to acquire a search word. Further, when the present flow is triggered by a user operation to start character input using the touch pad 52, the handwriting recognition unit F62 is based on the input operation performed by the user on the touch pad 52. Get search terms. This S120 is equivalent to acquiring a search term.
- the search processing unit F7 searches the function management DBM1 using the search word acquired by the search word acquisition unit F6, and searches a list of control contents associated with the word that matches the search word. Get as a result.
- the process in S130 proceeds to S140. This S130 corresponds to acquiring a list of control contents corresponding to the search word as a search result.
- the search result organizing unit F10 sorts the search results by the search processing unit F7 in descending order of relevance with the operation target function estimated by the operation target estimation unit F9, and proceeds to S150.
- This S140 corresponds to sorting, that is, arranging the search results in descending order of the degree related to the operation target function (device).
- the vehicle information acquisition unit F3 acquires vehicle information and proceeds to S159.
- the vehicle information acquisition unit F3 determines whether or not the vehicle is traveling based on the vehicle information. If the vehicle information acquisition unit F3 determines that the vehicle is traveling, S159 is YES and the process proceeds to S160. On the other hand, when the vehicle information acquisition unit F3 determines that the vehicle is traveling, S159 is NO and the process proceeds to S180.
- the search result organizing unit F10 moves to S170 excluding the control content included in the search result that is defined as the subject of forced driving.
- the search result organizing unit F10 moves to S180 by limiting the number of search results that can be displayed on one screen. Note that the number of search results that can be displayed in one screen may be determined in advance.
- the search result display instruction unit F111 requests the display control unit F4 to display a screen showing the search result obtained by the above processing. And the display control part F4 displays a search result screen, and complete
- the HDD of the audio device 8 contains a song by an artist named “ABC EFG Band”, and the map data includes a facility named “ABC HIJ Mart” and “ABC KLM”. Information about a facility named “Foods” is recorded. Furthermore, it is assumed that a plurality of control contents associated with the word “ABC” are stored in the function management DBM1.
- the screen state shown in FIG. 5 indicates a state in which the button B11 for operating the audio device 8 is temporarily selected on the main menu screen.
- the speech recognition unit F61 performs speech recognition processing on the speech data input from the microphone, thereby searching for the search term “ABC”. Is acquired (S120). Then, the search processing unit F7 acquires the control contents associated with the word that matches the search word “ABC” as a search result (S130).
- the navigation function is used to search for the song “ABC EFG Band” that has been hit as an artist name provided in the audio function, and “ABC HIJ Mart” and “ABC KLM Foods” that have been hit as the name of the facility.
- the control content such as setting as a destination of the user, the control content such as searching for “ABC” in the Internet function, and the like are acquired.
- the screen information acquisition unit F8 acquires, as screen information, that the button B11 is temporarily selected on the main menu screen (S100), and the operation target estimation unit F9 estimates that the operation target function is an audio function. (S110).
- the search result organizing unit F10 rearranges the search results acquired by the search processing unit F7 so that those related to the audio function are higher in the search result list (S140). Since the vehicle is stopped here, S159 is NO, and the search result display instruction unit F111 displays a search result screen showing the search results sorted in S140.
- FIG. 7 shows an example of a search result screen displayed as a result of the above processing.
- the search result screen displayed when the vehicle is stopped is a screen that displays items corresponding to all control contents obtained as a search result in a list format. Items that are not displayed on the screen that is initially displayed as the search result screen can be displayed by sliding the scroll box Sbx included in the scroll bar Sbr.
- the song “ABC EFG Band”, which is an item related to the operation target function “audio function” estimated by the operation target estimation unit F9 in the search results is displayed at the top of the search result screen as shown in FIG. That is, in the search results, items related to the operation target function “audio function” estimated by the operation target estimation unit F9 are preferentially displayed.
- the search result organizing unit F10 selects the target of the travel forcing function from the list of the search results rearranged so that the one related to the operation target function is higher. Exclude applicable items.
- the search function on the Internet is targeted for the travel forcing function. Therefore, items for searching for “ABC” on the Internet are excluded from the search results.
- the search result organizing unit F10 narrows down the number of items included in the search result to a number that can be displayed in one screen.
- search result screen displayed when the vehicle is running is shown in FIG. Even when the vehicle is traveling, items related to the operation target function are displayed preferentially.
- the search result screen displayed when the vehicle is running does not include the scroll bar Sbr and the scroll box Sbx. That is, the search results within a range that can be displayed on one screen are displayed.
- an item corresponding to the control content that is the target of the travel forcing function is not displayed.
- the amount of information included in the search result screen can be reduced, and the user can easily determine whether or not the desired control content is included in the search result screen. Further, when the search result includes desired control content, the control content can be easily found.
- the function search in the situation where the current display screen is an air conditioner function screen as shown in FIG. 9 and the button B21 for raising the temperature is temporarily selected. The operation of the processing will be described. The vehicle is assumed to be stopped.
- the search processing unit F7 acquires the control content corresponding to the search word “up” as a search result.
- the operation target estimation unit F9 estimates that the operation target function is the “air conditioner function”.
- the temporarily selected button is the button B21 for raising the set temperature, more specifically, it is estimated that the operation target function is a temperature raising function included in the air conditioner function.
- the search result organizing unit F10 determines that the control content for increasing the set temperature of the air conditioner 7 is most relevant to the operation target function in the search result list. Further, since the control content for increasing the air volume is also the control content corresponding to the sub-function provided in the same air conditioner function, it is determined that the relevance with the operation target function is the second highest after the control content for increasing the set temperature.
- control content that increases the volume at which the audio function can be performed is control content provided by a device different from the operation target function, and therefore, it is determined that the relevance to the operation target function is relatively low.
- the search result organizing unit F10 sorts the search results based on the above determination.
- the search result display instruction unit F111 displays a search result screen corresponding to the search results sorted by the search result organizing unit F10. That is, as shown in FIG. 10, the search result screen is displayed in which the item corresponding to the control content for raising the set temperature of the air conditioner is arranged at the top, and the item corresponding to the control content for raising the air volume is arranged next. To do.
- the user when the user wants to execute a desired control content for the audio function, the user temporarily selects a button for transitioning to the audio function screen on the main menu screen, When a screen subordinate to the audio function screen is displayed, a search term corresponding to the desired control content may be input.
- control contents belonging to the audio function are displayed with priority, so the user can select the desired control contents. Easy to find. Therefore, the control content desired by the user is more easily executed.
- the search result output unit F11 exemplifies a mode of displaying the search result excluding the control content that is the target of traveling compulsion, but the present invention is not limited thereto.
- the search result organizing unit F10 provides the search result output unit F11 with the search results rearranged in the descending order of the degree related to the operation target function.
- indication part F111 displays the control content which is the object of driving
- An example of the search result screen when the vehicle in the first modification is traveling is shown in FIG.
- FIG. 11 is a search result screen when the operation target function is “Internet function”.
- the item C21 corresponding to the control content for searching the information matching the search word “ABC” on the Internet is the control content corresponding to the operation target function as shown in FIG. It is displayed at the top of the search result screen.
- the vehicle since the vehicle is running, it is not displayed as a button and is displayed so that the user can recognize that the item is not selectable.
- the user can recognize that the desired control content is included in the search result, and can also recognize that it cannot be executed because the vehicle is running.
- ⁇ Modification 2> As an example of a method of using the search results organized by the search result organizing unit F10, an example in which the search result display instruction unit F111 displays a search result screen representing a list of search results in cooperation with the display control unit F4 is illustrated. However, it is not limited to this.
- the display of the search result screen may be omitted, and the highest result among the search results organized by the search result organizing unit F10 may be executed.
- the search result output unit F11 sets a search result execution instruction unit F112 to have a function included in the search result output unit that executes the highest-order search result sorted out by the search result sorting unit F10 (see FIG. 12).
- the search result here is the search result before excluding the control content that is the target of the travel forcing function even when the vehicle is traveling. Then, if the control content at the top of the search results sorted by the search result organizing unit F10 is the control content that is the target of the travel forcing function, the control content to be implemented to the user Is notified that the vehicle cannot be implemented because it is running.
- the search result output unit F11 displays the highest control content in a state in which the control content that is the target of the travel forcing function is further excluded from the sorted search results. It is good also as a mode to perform.
- the search result output unit F11 may include both the search result display instruction unit F111 and the search result execution instruction unit F112.
- the search result output unit F11 selects whether to display the search result screen or to automatically execute the search result by omitting the display of the search result screen (see FIG. 13). That is, the output mode selection unit F113 selects whether to operate the search result display instruction unit F111 or the search result execution instruction unit F112.
- the output mode selection unit F113 expresses that selecting whether to operate the search result display instruction unit F111 or to operate the search result execution instruction unit F112 is to select an output mode.
- the configuration of the control device 1 is configured such that the user can set in advance an operation mode such as whether the search result screen is displayed or whether the search result screen is automatically executed without displaying the search result screen.
- the output mode selection part F113 should just determine an output mode according to the operation mode set by the user.
- the output mode selection unit F113 may select the output mode based on the attribute of the word included in the search word input from the user. For example, when the search word includes both a function word for specifying the function of the device as disclosed in Patent Document 1 and an instruction word for instructing the execution contents of the function, the search result execution instruction The part F112 may be operated. On the other hand, when the search word includes only one of the function word and the instruction word, the search result display instruction unit F111 may be operated.
- the output mode selection unit F113 may select the output mode according to the number of control contents included in the search result acquired by the search processing unit F7. For example, when there is only one search result acquired by the search processing unit F7, the search result execution instruction unit F112 is operated. On the other hand, when there are two or more search results acquired by the search processing unit F7, the search result display instruction unit F111 is operated. According to such an aspect, when a search word including information sufficient to uniquely determine the control content to be executed is input by the user, the search result screen is omitted and executed.
- the search result organizing unit F10 sorts the search results by the search processing unit F7 in descending order of relevance with the operation target function estimated by the operation target estimation unit F9 (the primary sort), and further includes vehicle information. Sorting (secondary sorting) may be performed based on the vehicle information acquired by the acquisition unit F3.
- the function management DBM1 has a control content that is highly relevant to a predetermined situation (rainy weather, traffic jam, etc.) among the control content to be managed. It is stored in association with a high situation. Further, the search result organizing unit F10 has a function of determining whether or not the current state is a predetermined situation (rainy weather or traffic jam) registered in advance from the vehicle information acquired by the vehicle information acquisition unit F3. Shall.
- the function management DBM 1 stores the control content and a situation that it is raining in association with each other.
- the search result organizing unit F10 determines that the present is rainy.
- the search result organizing unit F10 controls the execution of the defroster in the search result after the primary sorting. Is placed higher.
- control contents that are advanced by the secondary sort are only those associated with the state indicated by the current vehicle information in the search results. That is, in the search results, the upper and lower relations of the control contents not associated with the state indicated by the current vehicle information are left as the primary sort.
- each section is expressed as S100, for example.
- each section can be divided into a plurality of subsections, while a plurality of sections can be combined into one section.
- each section configured in this manner can be referred to as a device, module, or means.
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Automation & Control Theory (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Navigation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
車両で用いられている複数の機器の動作を制御する制御装置は、検索処理部(F7)、操作対象推定部(F9)を備える。検索処理部(F7)は、ユーザによって入力された検索語を用いて、車両で用いられている複数の機器がそれぞれ実行可能な複数の制御内容のうち、検索語に対応付けられている制御内容の検索を行う。操作対象推定部(F9)は、現在表示装置に表示されている画面の状態に基づいて、ユーザが操作しようとしている操作対象機器を推定する。そして、制御装置は、検索処理部(F7)が取得した検索結果を、操作対象機器に関連する度合いが大きい順にソートして表示する。これによれば、ユーザが、車両で用いられている複数の機器の何れかに対して、所望の制御内容を実行させるために要する手間を低減することができる。
Description
本出願は、2014年9月15日に出願された日本出願番号2014-187164号に基づくもので、ここにその記載内容を援用する。
本開示は、ユーザから入力された検索語に基づいて車両で用いられている複数の機器の動作を制御する車両用機器制御装置、及び、複数の機器が実行可能な制御内容のうち、ユーザから入力された検索語に関連する制御内容を検索する制御内容検索方法に関する。
従来、オーディオ機器や、空調機器、ナビゲーション装置など、それぞれが所定の機能を実行する複数の機器の動作を、ユーザからの音声入力に基づいて制御する車両用機器制御装置が開示されている(例えば特許文献1)。この種の車両用機器制御装置は、各機器が実行可能な制御内容を実行させるための音声コマンドが予め登録されている。そして、ユーザから音声コマンドが入力された場合には、その音声コマンドに対応付けられている制御内容を特定し、所定の機器にその制御内容を実行させる。すなわち、音声コマンドは、実行させる制御内容を特定するための検索語としての役割を担う。
また、特許文献1では、各機器が提供する機能毎に、ユーザが利用したその機能の使用頻度を蓄積しておき、ユーザが入力した検索語が、複数の機能に対応付けられているものである場合には、複数の機能のうち最も使用頻度の高い機能を検索する。
このようにして特許文献1の車両用機器制御装置は、ユーザが入力した音声コマンドに対応付けられている機能が複数存在する場合であっても、動作させるべき機能及びその機能に実行させる制御内容を特定することができる。
特許文献1の装置では、それまでの使用頻度が相対的に低い機能の利用をユーザが意図している場合であっても、より使用頻度が高い機能が、ユーザが入力した音声コマンドと対応付けられている場合には、その使用頻度が高い方の機能が優先的に実行される。したがって、ユーザは、それまでの使用頻度を相対的に低い機能を利用したい場合には、意図している機能と他の機能との区別がつく表現で音声入力し直したり、音声入力に代わって、意図する機能を実行させるため入力操作を手で実施したりする必要がある。
このような課題に対し、例えば、ユーザが入力した検索語に関連する制御内容を検索し、その検索結果を、例えばリスト形式で表示する構成(想定構成とする)も考えられる。この想定構成においてユーザは、検索結果のリストから所望の制御内容を選択することで、当該制御内容を実行させることができる。
しかし、ユーザが入力した検索語に関連する検索結果をそのまま表示すると、ユーザにとっては、そのリストから所望の項目を選び出すことが負荷となる恐れがある。例えば、ユーザが入力した検索語と対応付けられている制御内容が多い場合には、検索結果として表示される制御内容も多くなってしまい、その検索結果の中から所望の項目を見つけ出すのが難しくなってしまう。また、運転操作をしているユーザ(すなわちドライバ)は運転操作に集中する必要があるため、ドライバにとっては、いったん検索語の入力した後は、より少ない操作で所望の制御内容を実行させることができる構成となっていることが好ましい。
本開示は、ユーザが車両で用いられている複数の機器の何れかに対して、所望の制御内容を実行させるために要する手間を低減できる車両用機器制御装置、及び、その車両機器制御装置に適用する制御内容検索方法を提供することを目的とする。
本開示の一態様にかかる車両用機器制御装置は、車両で用いられている複数の機器の動作を制御する車両用機器制御装置であって、検索のキーワードとして用いる検索語の入力を開始するユーザ操作を受け付ける操作受付部と、機器が実行可能な複数の制御内容を、その制御内容を表す少なくとも1つの単語と対応付けて記憶する機能管理データベースと、操作受付部がユーザ操作を受け付けたことに基づいて、検索語を取得する検索語取得部と、機能管理データベースに対して、検索語取得部で取得した検索語を用いた検索を行い、当該検索語に対応付けられている制御内容のリストを検索結果として取得する検索処理部と、操作受付部がユーザ操作を受け付けた時点において表示装置に表示されている画面の状態を表す画面情報を取得する画面情報取得部と、画面情報取得部が取得した画面情報に基づいて、複数の機器のうち、ユーザが操作しようとしている機器である操作対象機器を推定する操作対象推定部と、検索処理部が取得した検索結果のうち、操作対象機器が実施する制御内容を、他の機器が実施する制御内容よりも、検索結果を示す画面において優先して表示、又は、優先して実行させる検索結果出力部と、を備える。
以上の構成では、操作対象推定部が、検索語の入力を開始する旨のユーザ操作がなされた時の画面の状態に基づいて、ユーザが操作しようとしている機器である操作対象機器を推定する。車両用機器制御装置全体の作動を説明する前に、この操作対象推定部の作動について、先に説明する。
通常、表示装置に表示されている画面は、複数の機器の何れかに対応する画面である。また、検索語の入力を開始する旨のユーザ操作がなされた時の画面とは、検索語を入力し始める直前に受け付けたユーザ操作に応じた画面となっている。すなわち、画面情報とは、ユーザが直前に操作した機器を表す情報となっている。
また、車両で用いられている機器に対してユーザが所定の制御内容を実行させるためには、複数の一連の入力操作をしなければならない場合が多い。そのため、ユーザが直前に操作していた機器とは、引き続き現在も操作しようとしている機器である可能性が、他の機器に比べて高い。すなわち、操作対象推定部は、画面情報を用いることでユーザが操作しようとしている機器を推定することができる。
そして、検索結果出力部は、検索処理部が取得した検索結果のうち、操作対象機器が実施する制御内容を優先して表示、又は実行する。
ここで、検索結果出力部に検索結果を示す画面を表示させる場合には、検索語に対応付けられている制御内容のうち、操作対象推定部が推定した操作対象機器が実施可能な制御内容が、優先的に表示されることになる。この操作対象推定部が推定した操作対象機器とは、前述の通り、ユーザが操作しようとしている可能性が高い機器である。すなわち、ユーザが所望する制御内容が、検索結果を示す画面において優先的に表示されている可能性が高い。
また、少なくとも、検索語の入力を開始する旨のユーザ操作がなされた時の画面が、ユーザが所望の制御内容を実行する機器に対応する画面となっている場合には、ユーザが所望する制御内容が優先的に表示されることになる。このため、表示画面が、ユーザが所望する制御内容を実行する機器に対応する画面となっている時に、検索語の入力を開始した場合には、検索結果が複数存在する場合であっても、ユーザは、所望の制御内容に対応する項目を検索結果の中から見つけ出しやすい。すなわち、上述した車両用機器制御装置は、ユーザが車両で用いられている複数の機器の何れかに対して、所望の制御内容を実行させるために要する手間を低減できる構成となっている。
また、検索結果出力部には、検索結果のうち、操作対象機器が実施する制御内容を優先的に実行させてもよい。ここで実行される制御内容は、前述の通り、ユーザが所望する制御内容となっている可能性が高い。特に、ユーザが検索語の入力を開始するための操作を実施したときの表示画面が、ユーザが所望の制御内容を実行する機器に対応する画面となっている場合には、ユーザが所望する制御内容が実行される。
したがって、この場合も、車両で用いられている複数の機器の何れかに対して、ユーザが所望の制御内容を実行させるために要する手間を低減できる構成となっている。なお、検索結果出力部に、検索結果のうち、操作対象機器が実施する制御内容を優先的に実行させる場合には、検索結果の中からユーザが所望する制御内容を選択する手間を省略することができる。
本開示の一態様にかかる制御内容検索方法は、検索のキーワードとして用いる検索語を取得することと、車両で用いられている複数の機器がそれぞれ実行可能な複数の制御内容を、その制御内容を表す少なくとも1つの単語と対応付けて記憶している機能管理データベースに対して、検索語取得部で取得した検索語を用いた検索を行うことで、検索語に対応する制御内容のリストを検索結果として取得することと、検索語の入力を開始するためのユーザ操作を受け付けた時点において表示装置に表示されている画面の状態を表す画面情報を取得することと、画面情報を取得することで取得した画面情報に基づいて、複数の機器のうち、ユーザが操作しようとしている操作対象機器を推定することと、制御内容のリストを検索結果として取得することで取得した検索結果を、操作対象推定部が推定した操作対象機器に関連する度合いが強い順に並べることと、を備える。
この制御内容検索方法の開示は、上述した車両用機器制御装置がユーザから入力された検索語に対応する制御内容を検索する方法に対応するものである。したがって、この制御内容検索方法によれば、上述の車両用機器制御装置と同様の効果を奏する。
本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。
本実施形態に係る車両用機器制御システムの概略的な構成の一例を示すブロック図である。
本実施形態に係る制御装置の概略的な構成の一例を示すブロック図である。
機能管理データベースが記憶している機能管理データの構成の一例である。
表示制御部が表示させる種々の画面の構成の一例である。
メインメニュー画面の一例である。
制御装置が実施する機能検索処理の一例を示すフローチャートである。
車両が停車している場合の検索結果画面の一例である。
車両が走行している場合の検索結果画面の一例である。
エアコン機能画面の一例である。
検索結果画面の一例である。
変形例1における検索結果画面の一例である。
変形例2における検索結果出力部の概略的な構成の一例を示すブロック図である。
変形例3における検索結果出力部の概略的な構成の一例を示すブロック図である。
以下、本開示の実施形態について図を用いて説明する。図1は、本実施形態に係る車両用機器制御システム100の概略的な構成の一例を示す図である。この車両用機器制御システム100は、車両に搭載された機器や、ユーザによって車室内に持ち込まれた機器といった、車両内においてユーザが利用可能な多種多様な機器を、音声入力や手書き文字入力などによってユーザが操作することを支援するシステムである。
図1に示すように車両用機器制御システム100は、制御装置1、表示装置2、スピーカ3、マイク4、操作部5、車両通信部6、空調装置7、オーディオ機器8、ナビゲーション装置9、広域通信部10、携帯端末11、狭域通信部12を備える。
空調機器(以降、エアコン)7、オーディオ機器8、ナビゲーション装置9が、上述の車両に搭載された機器に該当する。また、携帯端末11は、ユーザに持ち込まれることによって一時的に車載機と連携している機器である。なお、ナビゲーション装置9は、車両に搭載されたものではなく、ユーザによって車室内に持ち込まれたものであっても良い。
制御装置1と、表示装置2、スピーカ3、マイク4、操作部5、車両通信部6、エアコン7、オーディオ機器8、ナビゲーション装置9、広域通信部10、及び狭域通信部12とは、それぞれ相互通信可能に接続されている。また、制御装置1は、後述するように狭域通信部12を介して携帯端末11とも相互通信を実施する。
この車両用機器制御システム100が備える要素のうち、制御装置1が、車両内においてユーザが利用可能な多種多様な機器を制御する役割を担う。すなわち、制御装置1が車両用機器制御装置に相当する。制御装置1は、操作部5に対してユーザが行った入力操作に基づいて、その入力操作に対応する機器に、その入力操作に対応する制御内容を実行させる。
また、ユーザは、上述した機器が提供する機能以外にも、制御装置1にインストールされている種々のアプリケーションプログラム(以降、アプリ)によって提供される機能も利用することができる。制御装置1にインストールされているアプリによって提供される機能とは、例えばインターネット上に保存されている情報を検索、閲覧などするウェブブラウジング機能などがある。すなわち、制御装置1自身もユーザに所定の機能を提供する装置となりうる。以降では、エアコン7や、オーディオ機器8、ナビゲーション装置9、携帯端末11、及び制御装置1を制御対象とも称する。以下、車両用機器制御システム100が備える各要素について述べる。
表示装置2は、制御装置1からの指示に基づいてテキストや画像を表示する。表示装置2は、例えばフルカラー表示が可能なものであり、液晶ディスプレイ、有機ELディスプレイ等を用いて構成することができる。本実施形態において表示装置2は、インストゥルメントパネルの車幅方向中央付近に配置されるセンターディスプレイとする。
他の態様として、表示装置2はインストゥルメントパネルの運転席側の上部に配置されたメータディスプレイであってもよいし、周知のヘッドアップディスプレイであってもよい。また、複数種類のディスプレイを組み合わせて実現されてもよい。
スピーカ3は、制御装置1から入力された電気的な音声信号を音声(単なる音を含む)に変換して出力する。マイク4は、例えば無指向性の小型マイクであり、ユーザが発話した音声や雑音などの周囲の音を集音し、電気的な音声信号に変換して、制御装置1に出力する。マイク4は、例えばステアリングコラムカバーの上面部や運転席側のサンバイザー等のユーザの音声を拾いやすい位置に設けられる。
操作部5は、ユーザが、エアコン7や、オーディオ機器8、ナビゲーション装置9、携帯端末11、及び制御装置1自身などが提供する各種機能の実行させるように制御装置1に対して指示を行うための装置群である。例えば、ユーザは、この操作部5を操作することによって、エアコン7の動作開始/停止を指示したり、設定温度の変更を指示したりすることができる。
本実施形態では一例として操作部5は、ハプティックデバイス51、タッチパッド(手書入力装置)52、トークスイッチ(以降、スイッチはSWと略す)53を備えているものとする。
ハプティックデバイス51は、表示装置2の画面上に表示されるカーソルの移動、及び当該カーソルが指し示す対象の選択などを行うポインティングデバイスである。より具体的に、ハプティックデバイス51は、カーソルの移動させる方向を指示するための可動部と、カーソルが指し示す対象を選択(決定入力)するための決定スイッチとを備えている。
また、このハプティックデバイス51は、内部にアクチュエータを備えてあって、当該アクチュエータの動作を制御することで、カーソルの移動操作や選択操作に応じた反力をユーザの手に対して付与する。例えば、ユーザが選択可能なボタン画像(以降、ボタン)が表示装置2に表示されている状況において、カーソルがボタン以外の領域からボタン上に移動した時には、ハプティックデバイス51はアクチュエータを動作させることによって、その表示画面内のボタンを触ったかのような触覚をドライバの手に付与する。
タッチパッド52は、平板状のセンサ部を備え、センサ部とユーザの指との間に形成される静電容量の変化に基づいて、センサ部上の指の位置を特定する。また、センサ部上の指の位置の時系列データから、センサ部の表面をなぞった指の軌跡を示す軌跡データを取得する。ユーザは、タッチパッド52のセンサ部上で指を動かすことで、ハプティックデバイス51と同様に、表示画面上のカーソルを移動させたりすることができる。
本実施形態では、制御装置1はタッチパッド52と協働して周知の手書き認識処理を実施する。ユーザは、このタッチパッド52のセンサ部上で文字を手書きすることによって、所望の文字列を入力することができる。このタッチパッド52は手書き入力装置に相当する。
トークSW53は、ユーザ(運転者)が音声入力を開始する旨を指示するためのスイッチである。ここではトークSW53は一例として、ハプティックデバイス51に設けられた、クリック方式のスイッチとする。トークSW53は、ユーザの操作によってオンに設定されると(すなわち、クリックされると)、オン信号を制御装置1に出力する。これによって、制御装置1はユーザが音声入力を開始する旨の操作を実施したことを検出することができる。
制御装置1は、トークSW53からオン信号が入力されると、音声データを取得するための処理を実施する。ユーザは、トークSW53をオン操作した後、一定時間内(例えば1.5秒以内)に発話し始めることで、その発話した音声を制御装置1に入力することができる。
なお、本実施形態ではトークSW53はハプティックデバイス51と一体化されている構成とするがこれに限らない。他の態様として、トークSW53は、例えば、ステアリングコラムカバーの側面部やシフトレバーの近傍などユーザが操作しやすい位置に設けられてあってもよい。また、トークSW53は、表示画面内に設けられたボタン、言い換えればソフトウェアスイッチであってもよい。
以上、操作部5が備える装置の一例を例示したが、これに限らない。操作部5は、上記の他、メカニカルスイッチや、表示装置2が備える表示パネルに積層されたタッチパネルなどを備えていても良い。なお、ここで例示した全ての装置を備えている必要はない。
車両通信部6は、自車両に搭載されたECU(Electronic Control Unit)や種々のセンサ、及び車両に搭載された機器(例えばエアコン7)から、様々な情報(車両情報とする)を取得する。例えば車両通信部6は、周知の車両内ネットワークを介してECUやセンサ、機器と相互通信を実施することで車両情報を取得すればよい。車両内ネットワークは、車両に搭載されたECUやセンサを接続するネットワークである。車両通信部6が取得した車両情報は制御装置1に逐次提供される。
車両情報には、車両の走行に関わる情報を表す走行状態情報の他、より好ましい形態として、車両外部の環境(天候等)を表す外部環境情報、各機器の設定値などを表す設定情報などが含まれるものとする。走行状態情報に含まれる要素としては、例えば、位置情報や、走行速度(以降、車速)、進行方向、加速度、ステアリングの切れ角、シフトポジション、パーキングブレーキのオン/オフ等といった、自車両の走行状態を表す種々の状態量が該当する。種々の状態量を検出、測定、又は推定する方法は周知の技術を援用すれば良い。
また、外部環境情報とは、天候状態や、道路の混雑度合いを表す渋滞情報などである。雨が降っているか否かは、自車両に搭載された雨滴センサによって検出されればよい。外部環境情報については、広域通信部10を介して外部から取得してもよい。
設定情報とは、エアコン7の設定温度や、ナビゲーション装置9に設定されている目的地、及び、目的地の履歴情報などである。設定情報については、例えば、後述する制御装置1が備える車両情報取得部F3からの指示に基づいて、各機器から取得する。その他、車両情報は、室内温度センサによって検出される車室内の温度や、着座センサの検出結果に基づいて特定される乗員数などの情報(車室内情報とする)を含んでいても良い。
エアコン7は、周知の車載空調装置であって、制御装置1からの指示に基づいて動作し、車室内の温度や湿度を調整する。例えばエアコン7は、車室内の温度がユーザによって指定された値となるように、吹き出す空気の温度を調整する。また、エアコン7は、吹き出し口から吹き出す空気の風量を、目標温度とは独立して制御することもできる。エアコン7が備える機能をまとめてエアコン機能と称する。エアコン7が備える温度調整機能(温度の上げ下げ)や風量を調整する機能などは、エアコン機能が備えるより細かい単位の機能(いわゆるサブ機能)である。
なお、エアコン7は、インストゥルメントパネルの右側に設けられた右側吹き出し口と、左側に設けられた左側吹き出し口を備え、それぞれから吹き出す空気の温度や風量を独立して制御できる構成としてもよい。
オーディオ機器8は、制御装置1からの指示に基づいて、楽曲データベース(以降、データベースはDBと略す)81に保存されている楽曲データを再生し、スピーカ3から音声出力させる。楽曲DB81は、例えば、HDD(Hard Disk Drive)などの周知の記憶媒体を用いて実現されれば良い。また、楽曲データを記憶する記憶装置は、複数種類の記憶媒体を組み合わせて実現されてもよい。
なお、楽曲データは、メタデータとして、その楽曲データが収録されているアルバムの情報や、アーティスト情報、曲名、演奏時間、評価などを含んでいる。楽曲DB81に格納されている複数の楽曲データは、アルバム情報や、アーティスト情報などによって階層的に管理されているものとする。
オーディオ機器8は、上述したように楽曲を再生するだけでなく、ユーザによって指定されたアーティストの楽曲を検索したり、ユーザによって指定されたアルバム及びそのアルバムに収録されている楽曲を検索したりする。オーディオ機器8が備える機能をまとめてオーディオ機能と称する。
ナビゲーション装置9は、周知のナビゲーション装置と同様の機能を備えており、地図DB91に格納されている地図データを用いて、現在地周辺の地図画像を表示装置2に表示させたり、現在地から目的地までの走行を案内する経路案内処理を実施したりする。目的地は、ユーザ操作に基づいて設定される地点である。ナビゲーション装置9が備える機能をまとめてナビゲーション機能と称する。
このナビゲーション装置9が用いる地図データは、道路の接続関係を示す道路データや、地図画像を描画するための描画用データ、施設についての情報を示す施設データなどを備えるものである。施設についての情報とは、施設の名称や、施設のジャンル(飲食店や、ショップ、観光地など)、住所などが該当する。なお、上述した地図データを格納する地図DB91は、周知の記憶媒体を用いて実現されればよい。また、地図DB91を車両に搭載されている必要はなく、後述する広域通信部10を介して車両外部に設けられたサーバから、上述した地図画像の表示などに必要な範囲のデータを取得する構成としてもよい。
広域通信部10は、送受信アンテナを備えてあって、車両外部に設けられた、インターネットに接続している設備と通信をする。制御装置1は、この広域通信部10を介して、インターネットにアクセスすることができる。
携帯端末11は、ユーザによって車室内に持ち込まれた周知の携帯型の情報処理端末である。例えばスマートフォンやタブレット端末などが、携帯端末11に該当する。通常の携帯端末は、制御装置1との通信を確立された場合に、本実施形態における携帯端末11として動作する。
なお、制御装置1と携帯端末11とは、狭域通信部12を介して相互通信を実施する。携帯端末11と制御装置1とが連携している場合に、制御装置1は、携帯端末11の画面を表示装置2に表示させたり、携帯端末11にインストールされているアプリケーションを実行させたりすることができる。携帯端末11が備える機能をまとめて携帯端末機能と称する。
狭域通信部12は、携帯端末11と制御装置1とが相互通信を実施するためのインターフェースとしての役割を担う。携帯端末11と制御装置1とは、例えば、Bluetooth(登録商標)などの近距離無線通信技術によって無線接続されてあってもよいし、有線接続されてあっても良い。
制御装置1は、通常のコンピュータとして構成されており、周知のCPU、ROMやフラッシュメモリなどの不揮発性メモリ、RAMなどの揮発性メモリ、I/O、及びこれらの構成を接続するバスライン(何れも図示略)などを備えている。制御装置1が備える不揮発性メモリには、CPUが種々の処理を実行するためのプログラムやデータが格納されている。
この制御装置1は、機能ブロックとして図2に示すように、ウェブブラウジング部F1、連携機器制御部F2、車両情報取得部F3、表示制御部F4、操作受付部F5、検索語取得部F6、検索処理部F7、画面情報取得部F8、操作対象推定部F9、検索結果整理部F10、及び検索結果出力部F11を備えている。また、制御装置1は、周知の不揮発性の記憶媒体からなる機能管理DBM1、音声認識DBM2、及び文字認識辞書M3を備えている。
ウェブブラウジング部F1は、広域通信部10と協働して、インターネットにアクセスし、操作受付部F5が受け付けたユーザ操作に応じたWebページを取得し、表示装置2に表示させる。なお、ウェブブラウジング部F1は、操作受付部F5がWebページを閲覧する旨のユーザ操作を受け付けた場合に起動する。このウェブブラウジング部F1が提供する機能を、以降ではインターネット機能と称する。
連携機器制御部F2は、制御装置1と連携している機器(以降、連携機器)の動作を制御する。ここでの連携機器とは、制御装置1と相互通信可能に接続されてあって、それぞれ所定の機能を提供する機器である。すなわち本実施形態では、エアコン7、オーディオ機器8、ナビゲーション装置9、及び携帯端末11が、連携機器に該当する。
この連携機器制御部F2は、後述する操作受付部F5が受け付けたユーザ操作(音声入力を含む)に基づいて、そのユーザ操作に対応する制御対象に対して、ユーザ操作に対応する制御内容を実行するように指示する。
車両情報取得部F3は、車両通信部6から車両情報を取得する。なお、車両情報取得部F3は、車両通信部6に対して連携機器に設定されている設定値などの設定情報を取得するように要求することで、設定情報も取得する。
さらに、車両情報取得部F3は、取得した車両情報(特に走行状態情報)に基づいて、車両が走行しているか否かを判定する。例えば、車速が所定の閾値(例えば3km/h)以上となっている場合には走行していると判定し、車速が所定の閾値未満となっている場合には走行していないと判定する。また、シフトポジションが駐車ポジションとなっている場合や、パーキングブレーキがオンとなっている場合に自車両は走行していないと判定してもよい。
機能管理DBM1は、各連携機器や制御装置1自身が実行可能な制御内容と、各制御内容に関連する単語とを対応付けたデータ(機能管理データとする)を記憶している。各連携機器や制御装置1自身が実行可能な制御内容とは、ユーザが制御装置1及び連携機器に指示可能な制御内容を意味する。
この機能管理DBM1が記憶している機能管理データの構成の一例を図3に示す。図3に示すように、機能管理データにおいて、ユーザが制御装置1及び連携機器に指示可能な制御内容は、その制御内容を実行する機器(又は機能)毎に区別して管理される。
より具体的に、機能管理データは、最も上位の階層であるメイン機能リストLmn、メイン機能リストに従属する制御内容リストLsbを備えている。メイン機能リストLmnは、種々の制御対象に対応する機能(メイン機能とする)のリストである。すなわち、メイン機能リストLmnは、オーディオ機能や、エアコン機能、ナビゲーション機能、インターネット機能、携帯端末機能などに対応する項目を備える。
また、制御内容リストLsbは、各メイン機能が実施可能な制御内容のリストである。すなわち、この制御内容リストLsbに含まれる制御内容とは、各メイン機能が備えるサブ機能に相当するものである。
例えば、オーディオ機能が実施する制御内容としては、楽曲DB81からユーザが任意のアーティストの曲を検索するアーティスト検索処理や、任意のアルバムに収録されている曲を検索するアルバム検索処理などがある。なお、この制御内容リストLsb自体も階層的な構造となっていても良い。各制御内容は、その制御内容を実施するメイン機能と対応付けられている。
また、各制御内容は、その制御内容を表す予め定められた少なくとも1つの単語と対応付けられている。例えば、図3に示すように機能管理DBM1は、エアコン機能が備える制御内容「温度を上げる」は、「上げる」、「アップ」、「寒い」、「暖かく」といった単語と対応付けて記憶している。また、オーディオ機能が備える「アーティスト検索」は、楽曲データに含まれる種々のアーティスト名の全てと対応付けられている。アーティスト名は、適宜、楽曲データが保存されている領域を検索することで取得すればよい。
ナビゲーション機能が備える制御内容「目的地設定」は、地図データの施設データに含まれる各施設名称と対応付けられている。なお、施設名称は、適宜、施設データを検索することで取得すればよい。インターネット機能の制御内容「検索」については、全ての単語(又はフレーズ)と対応付けられているものとする。
ところで、一般的に、車載装置には、車両が走行中である場合には所定の制御内容の実行を禁止する機能(すなわち走行強制機能)が組み込まれている。本実施形態の制御装置1もまた、車両が走行中である場合には、制御内容リストLsbに含まれる制御内容のうちの一部の実行を禁止する走行強制機能を備えているものとする。機能管理DBM1は、この走行強制機能の対象とする制御内容のリストを記憶している。本実施形態では一例として、インターネットによる検索処理を走行強制機能の対象とする。
表示制御部F4は、表示装置2の表示画面を制御する。表示制御部F4が表示させる種々の画面としては、ユーザが、操作する制御対象(メイン機能)を選択するためのメインメニュー画面や、オーディオ機能に対応する画面などがある。オーディオ機能画面は、オーディオ機能が備えるサブ機能のうち、ユーザが所望のサブ機能を選択するための画面である。
表示制御部F4が表示装置2に表示させる種々の画面は、図4に示すように、表示制御部F4が表示装置2に表示させる種々の画面はツリー状に構成されている。より具体的には、最も上位の画面として前述のメインメニュー画面を備えている。そのメインメニュー画面に従属する画面として、オーディオ機能画面や、エアコン機能画面、ナビゲーション機能画面等といった、ユーザが指示入力可能な制御対象のそれぞれに対応する画面を備える。
なお、エアコン機能画面は、エアコン7を操作するための画面であって、例えばエアコン7の設定温度や風量などを調整するための画面である。ナビゲーション機能画面は、ナビゲーション装置9に対応する画面であって、ナビゲーション装置9が備える機能のうち、ユーザが所望の機能を選択するための画面である。
また、表示制御部F4が表示させる画面には、画面毎に識別番号(画面IDとする)が設定されている。表示制御部F4は、この画面IDによって、現在表示させている画面を特定したり、次に表示させる画面を特定したりすることができる。例えば、図4は一例として、メインメニュー画面の画面IDがG100であり、オーディオ機能画面の画面IDがG110であり、エアコン機能画面の画面IDがG120であることを示している。
さらに、表示制御部F4が表示させる各画面には、ユーザによって選択可能な少なくとも1つのボタンが配置されている。ユーザは、画面に設けられたボタンを選択していることによって、画面を別の画面に遷移させたり、種々の制御内容を実行させたりすることができる。すなわち、ボタンはユーザが所望する制御内容を特定するための選択肢としての機能を備える。ボタンには、ボタン毎に固有のボタンIDが設定されてあって、ボタンIDは、遷移先の画面の画面IDや、制御対象とする機器や、その制御内容などと対応付けられている。表示制御部F4は、次に説明する操作受付部F5と協働して、表示画面を遷移させていく。
ここで、図5に示すメインメニュー画面の一例を用いて、画面に設けられているボタンの作動について説明する。図5に示すようにメインメニュー画面は、ユーザによって選択可能なボタンB11~15を備えている。ボタンB11~15は何れも、ユーザが制御対象を選択するためのボタンである。より具体的に、ボタンB11は、オーディオ機器8が備えるサブ機能を実行させるための一連の入力操作をユーザが開始するためのボタンであって、当該ボタンがユーザに選択された場合には、表示制御部F4は、オーディオ機能画面を表示装置2に表示させる。
また、ボタンB12は、エアコン7を操作するためのボタンであって、ボタンB13はナビゲーション装置9を操作するためのボタンである。ボタンB14は、ウェブブラウジング部F1を起動し、インターネットを利用するためのボタンである。ボタンB15は、携帯端末11が備える機能の利用を開始するためのボタンである。
ユーザは操作部5を操作することによって、表示画面内のカーソルCurを移動させることができる。図5はカーソルがボタンB11上に存在している状態を表している。カーソルCurが指し示しているボタンは、他のボタンとは異なる表示態様で表示することで強調表示される。以降では、カーソルCurが指し示しているボタンを、仮選択されているボタンと称する。
ユーザは、任意のボタンを仮選択している状態でハプティックデバイス51の決定ボタンを押下することで、そのボタンを選択することができる。すなわち、図5に示す状態において、ユーザはハプティックデバイスの決定ボタンを押下することで、表示画面をオーディオ機能画面に遷移させる。
メインメニュー画面から分岐した、ユーザが操作可能な制御対象が備える種々の画面は、より下位の画面となるに従って、より具体的な機能を選択するための画面となっていく。最終的には、ユーザが所望する制御内容を実行指示するための画面を介して、指示された制御内容を実行していることを示す画面となる。なお、表示制御部F4は、以上で述べた画面の他にも、検索結果出力部F11からの指示に基づいて後述する検索結果画面を表示する。
操作受付部F5は、ユーザが操作部5に対して行った操作を受け付ける。例えば、ユーザがハプティックデバイス51に対して、表示画面内のカーソルを移動させる操作を行った場合には、その操作量に応じて表示画面内のカーソルの位置を動かすように表示制御部F4に要求する。
また、ユーザが、表示画面に表示しているボタンを選択する操作を実施した場合には、その選択操作に応じた別の画面に遷移するように表示制御部F4に要求する。より具体的には、操作部5からユーザが決定操作を実施したことを示す制御信号を取得すると、現在のカーソル位置からユーザが選択したボタンを特定する。そして、そのボタンIDに対応する画面IDを特定し、その画面に遷移するように表示制御部F4に要求する。
さらに、ユーザによって選択されたボタンが、所定の制御対象に対して所定のサブ機能(すなわち制御内容)の実行を指示するものである場合には、そのユーザによって選択されたボタンに対応する制御内容を実行させる。なお、画面が備えるボタンの位置は、画面毎に予め設定されてあって、現在表示している画面IDとカーソル位置から、操作受付部F5は、ユーザが選択したボタンのボタンIDを特定することができる。
その他、操作受付部F5は、タッチパッド52を用いた文字入力を開始する旨のユーザ操作や、タッチパッド52を用いた文字入力を終了する旨のユーザ操作を受け付ける。また、トークSW53から入力される制御信号に基づいて、音声入力を開始する旨のユーザ操作を受け付ける。これらのユーザ操作は、検索語の入力を開始するユーザ操作に相当する。
検索語取得部F6は、後述する機能検索処理に用いる検索語を取得する。なお、検索語は少なくとも1つの単語を含んでいればよく、複数の単語を含んだフレーズであってもよい。
本実施形態において検索語取得部F6は、ユーザの発話に基づいて検索語を取得する音声認識部F61と、タッチパッド52を介して検索語を取得する手書き認識部F62を備えている。なお、本実施形態では音声認識部F61と手書き認識部F62の両方を備えている構成を例示しているが、他の態様として、何れか一方のみを備える構成であってもよい。
より具体的に、音声認識部F61は、トークSW53から入力される制御信号に基づいて、ユーザをクリックされたことを検出すると、音声入力待機状態となった後に、マイク4を介してユーザが発話した音声データを取得する。そして、その音声データに対して、音声認識DBM2に格納されている種々のデータを用いて周知の音声認識処理を実施し、音声データに対応するテキストデータを取得する。このテキストデータが検索語に相当する。
音声認識DBM2には、音声認識処理に必要なデータとして、例えば、人間の発声の小さな単位(音素)の音響特徴が記述されている音響モデル、音素の音響特徴と単語とを対応付ける認識辞書、単語間の連接関係を表現する言語モデルなどが格納されている。
なお、本実施形態では、制御装置1が音声認識DBM2を備え、自装置内で音声認識処理を実施する態様を例示するが、これに限らない。音声認識処理は、車両に外部に設けられたセンターで実施されても良い。
例えば、検索語取得部F6はユーザから入力された音声データを広域通信部10を介して当該センターに送信する。そしてセンターは、受信した音声データに対して音声認識処理を実施して音声データをテキストデータに変換し、制御装置1に返送する。このような態様によれば、制御装置1が備える機能を簡略化することができるとともに、制御装置1が音声認識DBM2を備えていなくても、ユーザは音声入力によって検索語を入力することができる。
手書き認識部F62は、タッチパッド52を用いた文字入力を開始する旨のユーザ操作を受け付けると、タッチパッド52が取得した指の軌跡データに基づいて周知の文字認識処理を実施して、ユーザが入力した軌跡データに対応する文字を特定する。そして、文字入力が完了したことを示すユーザ操作を受け付けるまでに順次特定した文字を並べた文字列を検索語として取得する。
手書き文字の認識方法は周知の方法を援用すればよい。例えば、字形による文字認識(いわゆるオフライン認識)方式と、筆跡による文字認識(いわゆるオンライン認識)方式を組み合わせた認識方式を採用する構成とすればよい。なお、制御装置1が備える文字認識辞書M3は、文字の形状パターンを示すデータなどの、文字認識処理に用いるデータを収録したものである。
この手書き認識部F62が実施する文字認識処理は、音声認識部F61と同様に、車両外部に設けられたセンターで実施されても良い。すなわち、検索語取得部F6は、タッチパッド52が取得した指の軌跡データをセンターに送信し、センターが当該軌跡データに対して文字認識処理を実施して文字を特定する構成としてもよい。センターが特定した文字は逐次制御装置1に返送されても良いし、文字入力が完了したことを示すユーザ操作を受け付けた場合に、文字列として返送されてもよい。
検索処理部F7は、機能管理DBM1に対して、検索語取得部F6が取得した検索語を用いて検索を実施する。より具体的には、検索語に一致する単語と対応付けられている制御内容を検索する。ここでの一致とは、完全な一致に限らず、部分一致であってもよい。また、検索処理部F7は、検索語に類似する別の表現を用いて検索を行ってもよい。
そして、検索処理部F7は、検索語に一致する単語と対応付けられている制御内容のリストを検索結果として取得する。また、制御内容の種類によっては、検索語に一致する単語を制御パラメータとして必要とするものも存在しうる。そのような場合には、検索語に一致する単語も、サブ機能と対応付けて取得する。
例えば、検索処理部F7は、HDDに格納されている楽曲データのアーティストの中に、検索語と部分一致する名称のアーティストが存在する場合には、そのアーティストの曲を検索するといった制御内容を検索結果の1つとして取得する。
また、検索処理部F7は、施設データの中に、検索語と部分一致する名称の施設が存在する場合には、その施設を、ナビゲーション機能の目的地として設定するといった制御内容を検索結果の1つとして取得する。
画面情報取得部F8は、表示制御部F4から、表示装置2に表示している画面についての情報(画面情報とする)を取得する。ここでの画面情報とは、画面IDや、仮選択中のボタンのボタンIDなどが該当する。画面IDは、画面種別情報に相当する。また、ボタンIDは、選択対象情報に相当する。
操作対象推定部F9は、画面情報取得部F8が取得した画面情報に基づいて、ユーザが利用しようとしている機能(操作対象機能とする)を推定する。操作対象機能とは、メイン機能に相当する概念においては、ユーザが操作しようとしている機器(すなわち操作対象機器)を意味する。また、現在の表示画面が、メイン機能が備えるサブ機能を選択する画面となっており、その画面が備えるボタンのうちの1つが仮選択中となっている場合には、操作対象機能は、サブ機能(すなわち制御内容)のレベルまで具体化することができる。
例えば操作対象推定部F9は、画面情報に含まれる画面IDに対応する制御対象が提供するメイン機能を、ユーザが操作しようとしている制御対象機能と見なす。また、操作対象推定部F9は、画面情報に仮選択中のボタンのボタンIDが含まれている場合には、そのボタンIDに対応する制御内容を、ユーザが実行させようとしている制御内容であると推定する。この仮選択中のボタンのボタンIDに対応する制御内容は、制御内容候補に相当する。
検索結果整理部F10は、検索処理部F7による検索結果を、操作対象推定部F9が推定した操作対象機能に基づいて整理する。ここでの検索結果の整理とは、検索結果を所定の規則に基づいて並び替えたり(いわゆるソート処理)、所定の条件に合致する制御内容を除外することで検索結果の数を絞り込んだりすることを指す。
本実施形態では一例として検索結果整理部F10は、検索処理部F7による検索結果を、操作対象推定部F9が推定した操作対象機能と関連性が高い順にソートする。関連性の高さは例えば次のように決定すればよい。まず、制御対象機能が提供する制御内容であって、かつ、仮選択中のボタンのボタンIDに対応する制御内容と一致する制御内容が、検索結果の中に存在する場合には、その制御内容が操作対象機能と最も関連性が高いと判断する。その次に関連性が高いと判断する制御内容は、制御対象機能が実施する制御内容である。そして、制御対象機能とは別のメイン機能が実施する制御内容は、最も制御対象機能との関連性が低いと判断する。
例えば、操作対象機能がオーディオ機能であって、検索結果にオーディオ機能に属する制御内容が含まれている場合には、そのオーディオ機能に属する制御内容を、他のメイン機能に属する制御内容よりも、検索結果の上位に配置する。なお、操作対象機能との関連性が同じレベルの制御内容については、検索時に発見された順や、名称順などで並べればよい。
また、検索結果整理部F10は、車両情報取得部F3が取得した車両情報に基づいて、検索結果を絞り込む。より具体的には、車両情報取得部F3が、車両情報に基づいて車両が走行中であると判定している場合には、検索結果から、走行中における実行を禁止されている制御内容に該当する項目を除外する。車両情報取得部F3が、車両情報に基づいて車両が走行中ではないと判定している場合には、検索結果に対しては何もしない。
検索結果出力部F11は、より細かい機能ブロックとして検索結果表示指示部F111を備える。検索結果表示指示部F111は、検索結果整理部F10が整理した検索結果のリストを表す検索結果画面を表示するように表示制御部F4に指示する。なお、検索結果画面の元となる画像自体は、例えば表示制御部F4が生成すれば良い。より具体的には、検索結果表示指示部F111が検索結果整理部F10によって整理された検索結果を表すデータを、表示制御部F4に提供し、表示制御部F4がその検索結果データに基づいて検索結果画面の元となる画像を生成し、表示装置2に表示させる。この検索結果画面の一例や、検索結果表示指示部F111の作動については、後述する。
次に、図6に示すフローチャートを用いて、制御装置1が実施する機能検索処理について説明する。機能検索処理とは、ユーザが入力した検索語に関連する制御内容を検索し、その検索結果を表示装置2に表示するための一連の処理である。図6に示すフローチャートは、例えば、操作受付部F5が、検索語を入力するためのユーザ操作を受け付けた場合に開始すればよい。ここでの検索語を入力するためのユーザ操作とは、タッチパッド52を用いた文字入力を開始する旨のユーザ操作や、音声入力を開始する旨のユーザ操作を指す。図6に示す機能検索処理は、制御内容検索方法に対応する処理である。
まず、S100では画面情報取得部F8が、現在の表示画面の画面情報を取得し、S110に移る。このS100は、画面情報を取得することに相当する。
S110では操作対象推定部F9が、S100で画面情報取得部F8が取得した画面情報に基づいて、操作対象機能を推定し、S120に移る。このS110は、操作対象機能(機器)を推定することに相当する。
S120では、検索語取得部F6が検索語を取得してS130に移る。例えば、本フローが音声入力を開始する旨のユーザ操作をトリガとして開始された場合には、音声認識部F61が音声認識処理を実施することで、検索語を取得する。また、本フローがタッチパッド52を用いた文字入力を開始する旨のユーザ操作をトリガとして開始された場合には、手書き認識部F62がタッチパッド52に対してユーザが実施した入力操作に基づいて検索語を取得する。このS120は、検索語を取得することに相当する。
S130では検索処理部F7が、機能管理DBM1に対して検索語取得部F6が取得した検索語を用いて検索を実施し、検索語に一致する単語と対応付けられている制御内容のリストを検索結果として取得する。S130での処理が完了すると、S140に移る。このS130は、検索語に対応する制御内容のリストを検索結果として取得することに相当する。
S140では検索結果整理部F10が、検索処理部F7による検索結果を、操作対象推定部F9が推定した操作対象機能と関連性が高い順にソートしてS150に移る。このS140は、ソートすること、つまり、検索結果を操作対象機能(機器)に関連する度合いが強い順に並べることに相当する。
S150では車両情報取得部F3が車両情報を取得してS159に移る。S159では車両情報取得部F3が、車両情報に基づいて車両が走行しているか否かの判定を行う。ここで、車両情報取得部F3が、車両が走行していると判定した場合には、S159がYESとなってS160に移る。一方、車両情報取得部F3が、車両が走行していると判定した場合には、S159がNOとなってS180に移る。
S160では検索結果整理部F10が、検索結果に含まれている制御内容のうち、走行強制の対象として定義されているものを除外してS170に移る。S170では検索結果整理部F10が、検索結果を1画面で表示できる数に絞ってS180に移る。なお、1画面内に表示できる検索結果の数は、予め定められていれば良い。
S180では検索結果表示指示部F111が、以上の処理で得られた検索結果を示す画面を表示するように表示制御部F4に要求する。そして、表示制御部F4が検索結果画面を表示させ、本フローを終了する。
次に、種々の状況における機能検索処理の作動の具体例について述べる。なお、以降においてオーディオ機器8が備えるHDDには、「ABC EFG Band」という名称のアーティストの楽曲が収録されており、また、地図データには「ABC HIJ Mart」という名称の施設、及び「ABC KLM Foods」という名称の施設についての情報が収録されているものとする。さらに、その他、「ABC」という単語と対応付けられている制御内容が機能管理DBM1に複数格納されているものとする。
まず、車両が停車中である場合であって、現在の表示画面が図5に示す状態であると想定して、機能検索処理の作動について述べる。図5に示す画面の状態とは、メインメニュー画面において、オーディオ機器8を操作するためのボタンB11が仮選択中となっている状態を指す。
このような状況においてユーザがトークSW53をクリックして「ABC」と発話すると、音声認識部F61がマイクから入力された音声データに対して音声認識処理を実施することで、「ABC」という検索語を取得する(S120)。そして、検索処理部F7は、検索語「ABC」と一致する単語と対応づく制御内容を検索結果として取得する(S130)。
より具体的には、オーディオ機能が備えるアーティスト名としてヒットした「ABC EFG Band」の曲を検索するといった制御内容、施設の名称としてヒットした「ABC HIJ Mart」や「ABC KLM Foods」を、ナビゲーション機能の目的地として設定するといった制御内容、インターネット機能において「ABC」を検索するといった制御内容などを取得する。
一方、画面情報取得部F8は、画面情報として、メインメニュー画面においてボタンB11が仮選択中であることを取得し(S100)、操作対象推定部F9は、操作対象機能はオーディオ機能であると推定している(S110)。
したがって、検索結果整理部F10は検索処理部F7が取得した検索結果を、オーディオ機能に関連するものが、検索結果のリストにおいてより上位となるように並べ替える(S140)。ここで車両は停車中であることから、S159はNOとなって、検索結果表示指示部F111は、S140でソートされた検索結果を表す検索結果画面を表示させる。
図7に、上述した処理の結果表示される検索結果画面の一例を示す。車両が停車中である場合に表示する検索結果画面は、検索結果として得られた全ての制御内容に対応する項目を、リスト形式で表示する画面である。検索結果画面として最初に表示される画面に表示されていない項目については、ユーザは、スクロールバーSbrが備えるスクロールボックスSbxをスライドさせることで表示させることができる。
本実施形態の構成によれば、図7に示すように、検索結果のうち、操作対象推定部F9が推定した操作対象機能「オーディオ機能」に関連する項目である、「ABC EFG Band」の曲を検索するといった制御内容に対応する項目が、図7に示すように検索結果画面において一番上に表示される。すなわち、検索結果のうち、操作対象推定部F9が推定した操作対象機能「オーディオ機能」に関連する項目が優先的に表示される。
以上では、車両が停車している場合の作動について説明した。次に、車両が走行中の場合の作動について説明する。なお、車両が走行中であること以外については、上述した状況と同じとする。
車両が走行中である場合、S159がYESとなって、検索結果整理部F10は、操作対象機能に関連するものが上位となるように並び替えた検索結果のリストから、走行強制機能の対象に該当する項目を除外する。本実施形態では、インターネットでの検索機能を走行強制機能の対象としている。したがって、検索結果から、インターネットで「ABC」を検索する項目を除外する。また、検索結果整理部F10は、検索結果に含まれる項目の数を1画面内に表示できる数に絞り込む。
ここで、車両が走行中である場合に表示される検索結果画面の一例を図8に示す。車両が走行中であっても、操作対象機能に関連する項目は、優先的に上位に表示される。ただし、車両が走行中である場合に表示する検索結果画面は、図7に示す検索結果画面とは異なり、スクロールバーSbr及びスクロールボックスSbxを備えない。すなわち、1画面で表示できる範囲の検索結果を表示する。また、走行強制機能の対象となっている制御内容に対応する項目も表示されない。
このような構成とすることで、検索結果画面に含まれる情報量を低減でき、ユーザが、検索結果画面に所望の制御内容が含まれているか否かの判断をしやすくすることができる。また、検索結果にユーザが所望の制御内容が含まれている場合には、その制御内容を見つけやすくすることができる。
なお、以上では、「オーディオ機能」を操作対象機能とした場合を例示したが、別の状況として、「ナビゲーション機能」が操作対象機能と推定されている場合には、「ABC HIJ Mart」や「ABC KLM Foods」を経路案内処理の目的地に設定する制御内容に対応する項目が、優先して表示される。
また、別の状況として、現在の表示画面が図9に示すようにエアコン機能画面となっており、かつ、温度を上昇させるためのボタンB21が仮選択中となっている状況での、機能検索処理の作動について説明する。車両は停車しているものとする。
このような状況においてユーザがトークSW53を押下して「アップ」と発話した場合には、検索処理部F7は、検索語「アップ」に対応付く制御内容を検索結果として取得する。なお、ここでは、現在の表示画面がエアコン機能画面となっていることから、操作対象推定部F9は、操作対象機能は「エアコン機能」であると推定する。また、仮選択中のボタンが設定温度を上昇させるためのボタンB21となっていることから、より具体的に、操作対象機能は、エアコン機能が備える温度上昇機能であると推定する。
この操作対象推定部F9の推定結果を受けて、検索結果整理部F10は、検索結果のリストにおいて、エアコン7の設定温度を上昇させる制御内容が最も操作対象機能との関連性が大きいと判断する。また、風量を上昇させる制御内容もまた、同じエアコン機能が備えるサブ機能に相当する制御内容であるため、操作対象機能との関連性は、設定温度を上昇させる制御内容に次いで高いと判断する。
一方、オーディオ機能が実施可能な音量を上昇させる制御内容は、操作対象機能とは別の機器が提供する制御内容であるため、操作対象機能との関連性は相対的に低いと判断する。検索結果整理部F10は、以上の判断に基づいて、検索結果をソートする。
検索結果表示指示部F111は、検索結果整理部F10がソートした検索結果に対応する検索結果画面を表示させる。すなわち、図10に示すように、エアコンの設定温度を上昇させる制御内容に対応する項目を最も上位に配置し、その次に風量を上昇させる制御内容に対応する項目を配置した検索結果画面を表示する。
以上の構成によれば、ユーザは、例えばオーディオ機能に対して所望の制御内容を実行させたい場合には、メインメニュー画面においてオーディオ機能画面に遷移するためのボタンを仮選択している場合や、オーディオ機能画面に従属する画面が表示されている場合に、所望の制御内容に対応する検索語を入力すれば良い。
そのような場合、検索語と一致する単語と対応付けられている制御内容が複数存在する場合であっても、オーディオ機能に属する制御内容が優先して表示されるため、ユーザは所望の制御内容を見つけやすい。したがって、ユーザが所望する制御内容をより実行させやすい構成となっている。
以上、本開示の実施形態を説明したが、本開示は上述の実施形態に限定されるものではなく、次の実施形態も本開示の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。
<変形例1>
以上では、車両が走行中である場合には、検索結果出力部F11は走行強制の対象となっている制御内容を除外した検索結果を表示する態様を例示したが、これに限らない。例えば、検索結果整理部F10は、操作対象機能に関連する度合いが強い順に並び替えた検索結果を検索結果出力部F11に提供する。
以上では、車両が走行中である場合には、検索結果出力部F11は走行強制の対象となっている制御内容を除外した検索結果を表示する態様を例示したが、これに限らない。例えば、検索結果整理部F10は、操作対象機能に関連する度合いが強い順に並び替えた検索結果を検索結果出力部F11に提供する。
そして、検索結果表示指示部F111は、ソート済みの検索結果のうち、走行強制機能の対象となっている制御内容を、走行強制機能の対象となっていない制御内容とは異なる表示態様で表示させる。また、検索結果画面において、走行強制機能の対象となっている制御内容に対応する項目については、ユーザが選択できないものとして処理する。この変形例1における車両が走行中の場合の検索結果画面の一例を、図11に示す。
図11は、操作対象機能が「インターネット機能」となっている場合の検索結果画面である。この変形例1の態様によれば、検索語「ABC」に一致する情報をインターネットで検索する制御内容に対応する項目C21は、この図11に示すように、操作対象機能に対応する制御内容であるため、検索結果画面の一番上に表示される。しかし、車両が走行中であるため、ボタンとして機能を備えず、また、選択不可能な項目であることがユーザに分かるように表示される。
このような構成によれば、ユーザは、所望の制御内容が検索結果に含まれていることを認識するとともに、走行中であるため実行させることが出来ないことも認識することができる。
<変形例2>
以上では、検索結果整理部F10が整理した検索結果を利用する方法として、検索結果表示指示部F111が表示制御部F4と協働し、検索結果のリストを表す検索結果画面を表示する態様を例示したが、これに限らない。検索結果画面の表示を省略し、検索結果整理部F10が整理した検索結果のうち、最も上位のものを実行させてもよい。検索結果出力部F11は、検索結果整理部F10が整理した検索結果のうち、最も上位のものを実行させる検索結果出力部が備える機能を、検索結果実行指示部F112とする(図12参照)。
以上では、検索結果整理部F10が整理した検索結果を利用する方法として、検索結果表示指示部F111が表示制御部F4と協働し、検索結果のリストを表す検索結果画面を表示する態様を例示したが、これに限らない。検索結果画面の表示を省略し、検索結果整理部F10が整理した検索結果のうち、最も上位のものを実行させてもよい。検索結果出力部F11は、検索結果整理部F10が整理した検索結果のうち、最も上位のものを実行させる検索結果出力部が備える機能を、検索結果実行指示部F112とする(図12参照)。
なお、ここでの検索結果とは、車両が走行中である場合であっても、走行強制機能の対象となっている制御内容を除外する前の検索結果とする。そして、仮に検索結果整理部F10によって並び替えられた検索結果において最も上位に制御内容が走行強制機能の対象となっている制御内容である場合には、ユーザに対して、実施しようとした制御内容が走行中であるため実施できない旨を通知するようにする。
もちろん、車両が走行中である場合の他の態様として、ソート済みの検索結果からさらに走行強制機能の対象となっている制御内容を除外した状態において最も上位の制御内容を検索結果出力部F11が実行する態様としても良い。
<変形例3>
また、検索結果画面を表示する場合と、検索結果画面の表示を省略して、自動的に実行する場合とは、併存していてもよい。すなわち、検索結果出力部F11は検索結果表示指示部F111と検索結果実行指示部F112の両方を備えていても良い。また、その場合、検索結果出力部F11は、検索結果画面を表示させるか、又は、検索結果画面の表示を省略して検索結果の自動的に実行させるかを選択する出力態様選択部F113(図13参照)を備える構成とすればよい。すなわち、出力態様選択部F113は、検索結果表示指示部F111を動作させるか、又は、検索結果実行指示部F112を動作させるかを選択する。以降では、出力態様選択部F113は、検索結果表示指示部F111を動作させるか、又は、検索結果実行指示部F112を動作させるかを選択することを、出力態様を選択する、と表現する。
また、検索結果画面を表示する場合と、検索結果画面の表示を省略して、自動的に実行する場合とは、併存していてもよい。すなわち、検索結果出力部F11は検索結果表示指示部F111と検索結果実行指示部F112の両方を備えていても良い。また、その場合、検索結果出力部F11は、検索結果画面を表示させるか、又は、検索結果画面の表示を省略して検索結果の自動的に実行させるかを選択する出力態様選択部F113(図13参照)を備える構成とすればよい。すなわち、出力態様選択部F113は、検索結果表示指示部F111を動作させるか、又は、検索結果実行指示部F112を動作させるかを選択する。以降では、出力態様選択部F113は、検索結果表示指示部F111を動作させるか、又は、検索結果実行指示部F112を動作させるかを選択することを、出力態様を選択する、と表現する。
例えば、制御装置1の構成を、ユーザが、検索結果画面を表示させるか、又は、検索結果画面の表示を省略して検索結果の自動的に実行させるかといった動作モードを予め設定できる構成とする。そして、出力態様選択部F113は、ユーザによって設定された動作モードに従って、出力態様を決定すればよい。
また、出力態様選択部F113は、ユーザから入力された検索語が含む単語の属性に基づいて、出力態様を選択してもよい。例えば、検索語が、特許文献1に開示されるような、機器の機能を指定する機能語と、その機能の実行内容を指示する指示語の両方を含んでいる場合には、検索結果実行指示部F112を動作させればよい。一方、検索語が、機能語及び指示語の何れか一方しか含んでいない場合には、検索結果表示指示部F111を動作させれば良い。
さらに、出力態様選択部F113は、検索処理部F7が取得した検索結果に含まれる制御内容の数に応じて、出力態様を選択してもよい。例えば、検索処理部F7が取得した検索結果が1つしか存在しない場合には、検索結果実行指示部F112を動作させる。一方、検索処理部F7が取得した検索結果が2つ以上存在する場合には、検索結果表示指示部F111を動作させる。このような態様によれば、ユーザによって、実行させるべき制御内容が一意に定められるほど十分な情報を含む検索語が入力された場合には、検索結果画面を省略して実行する。
<変形例4>
また、検索結果整理部F10は、検索処理部F7による検索結果を、操作対象推定部F9が推定した操作対象機能と関連性が高い順にソート(1次ソートとする)した後に、さらに、車両情報取得部F3が取得した車両情報に基づいてソート(2次ソートとする)してもよい。
また、検索結果整理部F10は、検索処理部F7による検索結果を、操作対象推定部F9が推定した操作対象機能と関連性が高い順にソート(1次ソートとする)した後に、さらに、車両情報取得部F3が取得した車両情報に基づいてソート(2次ソートとする)してもよい。
この変形例4を実施するための構成として、機能管理DBM1は、管理する制御内容のうち、所定の状況(雨天や渋滞など)と関連性が高い制御内容については、その制御内容と関連性が高い状況と対応付けて記憶している。また、検索結果整理部F10は、車両情報取得部F3が取得した車両情報から、現在が予め登録されている所定の状況(雨天や渋滞など)であるか否かを判定する機能を備えているものとする。
例えば、エアコン7が、デフロスタ(曇り抑止機能)の実行という制御内容を備えている場合には、機能管理DBM1は、この制御内容と、雨天であるという状況とを対応付けて記憶している。また、検索結果整理部F10は、車両情報として、雨が降っていることを示す情報が取得されている場合には、現在が雨天であると判定する。
そして、ユーザが「エアコン設定」という検索語を入力した場合に、かつ、雨が降っている場合には、検索結果整理部F10は、1次ソートした後の検索結果においてデフロスタの実行という制御内容を、より上位に配置する。
なお、2次ソートによって順番が繰り上がる制御内容は、検索結果のうち、現在の車両情報が示す状態と対応付けられているものだけとする。すなわち、検索結果のうち、現在の車両情報が示す状態と対応付けられていない制御内容の上下関係については、1次ソートのままとする。
ここで、この出願に記載されるフローチャート、あるいは、フローチャートの処理は、複数のセクション(あるいはステップと言及される)から構成され、各セクションは、例えば、S100と表現される。さらに、各セクションは、複数のサブセクションに分割されることができる、一方、複数のセクションが合わさって一つのセクションにすることも可能である。さらに、このように構成される各セクションは、デバイス、モジュール、ミーンズとして言及されることができる。
本開示は、実施形態に準拠して記述されたが、本開示は当該実施形態や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。
Claims (10)
- 車両で用いられている複数の機器の動作を制御する車両用機器制御装置であって、
検索のキーワードとして用いる検索語の入力を開始するユーザ操作を受け付ける操作受付部(F5)と、
前記機器が実行可能な複数の制御内容を、その制御内容を表す少なくとも1つの単語と対応付けて記憶する機能管理データベース(M1)と、
前記操作受付部が前記ユーザ操作を受け付けたことに基づいて、前記検索語を取得する検索語取得部(F6)と、
前記機能管理データベースに対して、前記検索語取得部で取得した前記検索語を用いた検索を行い、当該検索語に対応付けられている前記制御内容のリストを検索結果として取得する検索処理部(F7)と、
前記操作受付部が前記ユーザ操作を受け付けた時点において表示装置(2)に表示されている画面の状態を表す画面情報を取得する画面情報取得部(F8)と、
前記画面情報取得部が取得した前記画面情報に基づいて、複数の前記機器のうち、ユーザが操作しようとしている前記機器である操作対象機器を推定する操作対象推定部(F9)と、
前記検索処理部が取得した前記検索結果のうち、前記操作対象機器が実施する前記制御内容を、他の前記機器が実施する前記制御内容よりも、前記検索結果を示す画面において優先して表示させる、又は、優先して実行させる検索結果出力部(F11)と、を備える車両用機器制御装置。 - 請求項1において、
前記検索処理部が取得した前記検索結果を、前記操作対象推定部の推定結果に基づいて整理する検索結果整理部(F10)を備え、
前記検索結果出力部は、前記検索結果整理部によって整理された前記検索結果を示す検索結果画面を、前記表示装置に表示させる検索結果表示指示部(F111)を備える車両用機器制御装置。 - 請求項2において、
前記検索結果整理部は、前記検索処理部が取得した前記検索結果を、前記操作対象推定部によって特定された前記操作対象機器に関連する度合いが強い順に並べる車両用機器制御装置。 - 請求項3において、
前記表示装置に表示される画面には、ユーザによって選択される選択肢が含まれており、
前記画面情報は、現在表示されている画面の種別を表す画面種別情報と、その画面内においてユーザによって選択されている選択肢を表す選択対象情報と、を含み、
前記操作対象推定部は、前記画面種別情報に基づいて前記操作対象機器を特定するとともに、前記選択対象情報に基づいて前記操作対象機器が実行可能な前記制御内容のうち、ユーザが実行させようとしている前記制御内容である制御内容候補を推定し、
前記検索結果整理部は、前記検索処理部が取得した前記検索結果に、前記制御内容候補が含まれている場合には、前記検索結果においてその制御内容候補を前記検索結果において最も上位に配置する車両用機器制御装置。 - 請求項2から4の何れか1項において、
自車両が走行しているか否かを表す情報を含む車両情報を取得する車両情報取得部(F3)を備え、
複数の前記制御内容の中には、自車両が走行中である場合には、その実行が禁止されている前記制御内容が含まれており、
前記検索結果表示指示部は、自車両が走行中である場合には、前記検索結果のうち、走行中における実行が禁止されているものを除外した前記検索結果画面を表示させる車両用機器制御装置。 - 請求項2から4の何れか1項において、
自車両が走行しているか否かを表す情報を含む車両情報を取得する車両情報取得部(F3)を備え、
複数の前記制御内容の中には、自車両が走行中である場合には、その実行が禁止されている前記制御内容が含まれており、
前記検索結果表示指示部は、
自車両が走行中である場合には、前記検索結果のうち、走行中における実行が禁止されているものについては、その制御内容を実行させることが出来ないことをユーザが認識できるように、走行中において実行可能な制御内容とは異なる表示態様で表示させる車両用機器制御装置。 - 請求項5又は6において、
前記車両情報は、自車両の走行状態を表す走行状態情報と、自車両の外部の環境を表す外部環境情報と、を含み、
前記検索結果整理部は、前記車両情報取得部が取得した前記車両情報に基づいて、前記検索処理部が取得した前記検索結果を整理する車両用機器制御装置。 - 請求項2から7の何れか1項において
前記検索結果出力部は、
前記検索結果整理部によって整理された前記検索結果のうち、最も上位のものを実行させる検索結果実行指示部(F112)と、
前記検索語に含まれる単語の種類、及びユーザによる操作の少なくとも何れか一方に基づいて、前記検索結果画面を表示させるか否かを選択する出力態様選択部(F113)と、を備え、
前記検索結果実行指示部は、前記出力態様選択部が前記検索結果を表示させないことを選択した場合に、前記検索結果整理部によって整理された前記検索結果のうち最も上位のものを実行させ、
前記検索結果表示指示部は、前記出力態様選択部が前記検索結果を表示させることを選択した場合に、前記検索結果整理部によって整理された前記検索結果を表示させる車両用機器制御装置。 - 請求項1から8の何れか1項において、
前記検索語取得部は、ユーザが入力した音声に対して音声認識処理を実施することによって前記検索語を取得する音声認識部(F61)と、手書きによる文字入力を受け付ける手書き入力装置(52)に対してユーザが行った入力操作に基づいて前記検索語を取得する手書き認識部(F62)の少なくとも何れか一方を備える車両用機器制御装置。 - 検索のキーワードとして用いる検索語を取得すること(S120)と、
車両で用いられている複数の機器がそれぞれ実行可能な複数の制御内容を、その制御内容を表す少なくとも1つの単語と対応付けて記憶している機能管理データベース(M1)に対して、前記検索語を取得することで取得した前記検索語を用いた検索を行うことで、前記検索語に対応する前記制御内容のリストを検索結果として取得すること(S130)と、
前記検索語の入力を開始するためのユーザ操作を受け付けた時点における表示装置(2)の画面の状態を表す画面情報を取得すること(S100)と、
前記画面情報を取得することで取得した前記画面情報に基づいて、複数の前記機器のうち、ユーザが操作しようとしている操作対象機器を推定すること(S110)と、
前記制御内容のリストを取得することにより取得された前記検索結果を、前記操作対象機器を推定することにより推定した前記操作対象機器に関連する度合いが強い順に並べること(S140)と、を備える制御内容検索方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE112015004198.2T DE112015004198T5 (de) | 2014-09-15 | 2015-09-04 | Fahrzeugausrüstungssteuerungsvorrichtung und verfahren zum suchen nach steuerungsinhalt |
| US15/506,765 US10328950B2 (en) | 2014-09-15 | 2015-09-04 | Vehicle equipment control device and method of searching for control content |
| CN201580049160.8A CN106716407A (zh) | 2014-09-15 | 2015-09-04 | 车辆用设备控制装置、控制内容检索方法 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014-187164 | 2014-09-15 | ||
| JP2014187164A JP6432233B2 (ja) | 2014-09-15 | 2014-09-15 | 車両用機器制御装置、制御内容検索方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2016042725A1 true WO2016042725A1 (ja) | 2016-03-24 |
Family
ID=55532783
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2015/004498 Ceased WO2016042725A1 (ja) | 2014-09-15 | 2015-09-04 | 車両用機器制御装置、制御内容検索方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10328950B2 (ja) |
| JP (1) | JP6432233B2 (ja) |
| CN (1) | CN106716407A (ja) |
| DE (1) | DE112015004198T5 (ja) |
| WO (1) | WO2016042725A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106891724A (zh) * | 2017-01-22 | 2017-06-27 | 斑马信息科技有限公司 | 汽车主控屏系统及方法 |
| US11392268B2 (en) | 2016-09-20 | 2022-07-19 | Volkswagen Ag | User interface for accessing a set of functions, procedures, and computer readable storage medium for providing a user interface for access to a set of functions |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6432233B2 (ja) * | 2014-09-15 | 2018-12-05 | 株式会社デンソー | 車両用機器制御装置、制御内容検索方法 |
| JP6422927B2 (ja) * | 2016-11-02 | 2018-11-14 | 株式会社ぐるなび | 情報提供方法、情報提供プログラム、及び情報提供装置 |
| JP6906345B2 (ja) * | 2017-04-03 | 2021-07-21 | 三菱電機株式会社 | 操作装置および操作方法 |
| JP6987447B2 (ja) * | 2017-11-03 | 2022-01-05 | アルパイン株式会社 | 音声認識装置 |
| WO2019163011A1 (ja) * | 2018-02-21 | 2019-08-29 | 三菱電機株式会社 | 表示制御装置および表示制御方法 |
| CN112262584B (zh) * | 2018-06-15 | 2023-03-21 | 三菱电机株式会社 | 设备控制装置、设备控制系统、设备控制方法和设备控制程序 |
| JP6749984B2 (ja) * | 2018-10-17 | 2020-09-02 | 株式会社ぐるなび | 情報提供方法、情報提供プログラム、及び情報提供装置 |
| JP2020166840A (ja) * | 2019-03-26 | 2020-10-08 | 株式会社東海理化電機製作所 | 制御装置、システム、及びプログラム |
| CN113946233A (zh) * | 2020-07-17 | 2022-01-18 | 阿尔卑斯阿尔派株式会社 | 显示控制装置及显示控制方法 |
| JP7351276B2 (ja) * | 2020-09-15 | 2023-09-27 | トヨタ自動車株式会社 | 表示制御装置、表示制御方法及び表示制御システム |
| EP4036757A1 (en) * | 2021-01-27 | 2022-08-03 | Hyundai Mobis Co., Ltd. | Apparatus for searching using multiple displays |
| CN113183976B (zh) * | 2021-04-30 | 2024-08-13 | 广东以诺通讯有限公司 | 一种汽车系统控制方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006343829A (ja) * | 2005-06-07 | 2006-12-21 | Denso Corp | 車両周辺撮影装置および車両周辺撮影方法 |
| JP2010247799A (ja) * | 2009-04-20 | 2010-11-04 | Denso Corp | 車載装置の制御システム |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4155383B2 (ja) | 2001-03-05 | 2008-09-24 | アルパイン株式会社 | 音声認識機器操作装置 |
| JP4304952B2 (ja) * | 2002-10-07 | 2009-07-29 | 三菱電機株式会社 | 車載制御装置、並びにその操作説明方法をコンピュータに実行させるプログラム |
| JP4135142B2 (ja) * | 2003-02-20 | 2008-08-20 | 日産自動車株式会社 | 車両用表示制御装置 |
| US7362236B2 (en) * | 2004-12-06 | 2008-04-22 | Itron, Inc. | Mobile utility data collection system with voice technology, such as for data collection relating to an electric, gas, or water utility |
| JP2006178898A (ja) * | 2004-12-24 | 2006-07-06 | Mitsubishi Electric Corp | 地点検索装置 |
| US8280742B2 (en) * | 2005-12-16 | 2012-10-02 | Panasonic Corporation | Input device and input method for mobile body |
| JP2009180914A (ja) | 2008-01-30 | 2009-08-13 | Tokai Rika Co Ltd | 音声認識機器操作装置 |
| US9311917B2 (en) * | 2009-01-21 | 2016-04-12 | International Business Machines Corporation | Machine, system and method for user-guided teaching of deictic references and referent objects of deictic references to a conversational command and control system |
| JP5156672B2 (ja) | 2009-03-13 | 2013-03-06 | 株式会社デンソーアイティーラボラトリ | 携帯端末、コンテンツ提供方法およびプログラム |
| CN101673186B (zh) * | 2009-10-19 | 2011-08-31 | 广东国笔科技股份有限公司 | 一种基于关键词输入的智能操作系统及方法 |
| CN101655876A (zh) * | 2009-09-17 | 2010-02-24 | 广东国笔科技股份有限公司 | 一种基于语义分析的智能检索系统及方法 |
| CN101782833B (zh) * | 2009-04-30 | 2012-05-23 | 广东国笔科技股份有限公司 | 一种智能操作系统及方法 |
| JP5272919B2 (ja) * | 2009-06-18 | 2013-08-28 | 株式会社デンソー | 施設検索表示装置 |
| EP2669631A1 (en) * | 2011-01-26 | 2013-12-04 | Nissan Motor Co., Ltd | Apparatus for operating in-vehicle information apparatus |
| JP5408810B2 (ja) | 2011-06-24 | 2014-02-05 | アイシン・エィ・ダブリュ株式会社 | 音声認識制御システム、音声認識制御方法、及び音声認識制御プログラム |
| JP5866066B2 (ja) * | 2013-04-30 | 2016-02-17 | 三菱電機株式会社 | 情報提示装置、情報配信装置および情報提示方法 |
| JP6432233B2 (ja) * | 2014-09-15 | 2018-12-05 | 株式会社デンソー | 車両用機器制御装置、制御内容検索方法 |
| US9544412B2 (en) * | 2015-03-09 | 2017-01-10 | Ford Global Technologies, Llc | Voice profile-based in-vehicle infotainment identity identification |
-
2014
- 2014-09-15 JP JP2014187164A patent/JP6432233B2/ja not_active Expired - Fee Related
-
2015
- 2015-09-04 WO PCT/JP2015/004498 patent/WO2016042725A1/ja not_active Ceased
- 2015-09-04 DE DE112015004198.2T patent/DE112015004198T5/de not_active Withdrawn
- 2015-09-04 US US15/506,765 patent/US10328950B2/en not_active Expired - Fee Related
- 2015-09-04 CN CN201580049160.8A patent/CN106716407A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006343829A (ja) * | 2005-06-07 | 2006-12-21 | Denso Corp | 車両周辺撮影装置および車両周辺撮影方法 |
| JP2010247799A (ja) * | 2009-04-20 | 2010-11-04 | Denso Corp | 車載装置の制御システム |
Non-Patent Citations (1)
| Title |
|---|
| TAKATSUGU HIRAYAMA ET AL.: "Info-concierge: Multi-modal Interaction System using Mind Probing", IEICE TECHNICAL REPORT, vol. 111, no. 190, 19 August 2011 (2011-08-19), pages 55 - 60 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11392268B2 (en) | 2016-09-20 | 2022-07-19 | Volkswagen Ag | User interface for accessing a set of functions, procedures, and computer readable storage medium for providing a user interface for access to a set of functions |
| CN106891724A (zh) * | 2017-01-22 | 2017-06-27 | 斑马信息科技有限公司 | 汽车主控屏系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016062129A (ja) | 2016-04-25 |
| DE112015004198T5 (de) | 2017-06-01 |
| CN106716407A (zh) | 2017-05-24 |
| JP6432233B2 (ja) | 2018-12-05 |
| US20170274909A1 (en) | 2017-09-28 |
| US10328950B2 (en) | 2019-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6432233B2 (ja) | 車両用機器制御装置、制御内容検索方法 | |
| US8538756B2 (en) | In-vehicle device and method for modifying display mode of icon indicated on the same | |
| US9666189B2 (en) | Vehicle and method of controlling the same | |
| US20080059175A1 (en) | Voice recognition method and voice recognition apparatus | |
| US9487167B2 (en) | Vehicular speech recognition grammar selection based upon captured or proximity information | |
| JP5522273B2 (ja) | 車載情報機器の操作装置 | |
| CN105425939B (zh) | 用户接口设备、具有其的车辆及控制其的方法 | |
| JP6604151B2 (ja) | 音声認識制御システム | |
| US20220198151A1 (en) | Dialogue system, a vehicle having the same, and a method of controlling a dialogue system | |
| WO2016084360A1 (ja) | 車両用表示制御装置 | |
| JP2008014818A (ja) | 作動制御装置、プログラム | |
| KR20230001056A (ko) | 차량에 탑재된 전자 장치 및 그 동작 방법 | |
| US20230185523A1 (en) | Terminal and vehicle | |
| KR101755308B1 (ko) | 음성 인식 모듈, 그를 가지는 단말기 및 차량 | |
| CN116670624A (zh) | 界面的控制方法、装置和系统 | |
| JP3624698B2 (ja) | 音声認識装置、その装置を用いたナビゲーションシステム及び自動販売システム | |
| JP2017081258A (ja) | 車両用操作装置 | |
| KR101767088B1 (ko) | 멀티미디어 장치 및 이를 포함하는 차량, 멀티미디어 장치의 사용자 앱 표시 방법 | |
| KR101741665B1 (ko) | 사용자 인터페이스 장치 및 이를 포함하는 차량, 사용자 인터페이스 장치의 제어방법 | |
| JP2023116247A (ja) | 車内機器制御装置、車内機器制御方法 | |
| JP2021174237A (ja) | 検索制御装置、コンピュータプログラム、および検索システム | |
| JP2008233009A (ja) | カーナビゲーション装置及びカーナビゲーション装置用プログラム | |
| JP2021174236A (ja) | 制御装置、コンピュータプログラム、および制御システム | |
| KR101518911B1 (ko) | 차량의 스마트 기능 검색 시스템 및 그 방법 | |
| JP2006047192A (ja) | ナビゲーション装置、および周辺施設の検索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15842575 Country of ref document: EP Kind code of ref document: A1 |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 15506765 Country of ref document: US |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 112015004198 Country of ref document: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 15842575 Country of ref document: EP Kind code of ref document: A1 |