WO2023105843A1 - 操作支援装置、操作支援方法及び操作支援プログラム - Google Patents

操作支援装置、操作支援方法及び操作支援プログラム Download PDF

Info

Publication number
WO2023105843A1
WO2023105843A1 PCT/JP2022/028732 JP2022028732W WO2023105843A1 WO 2023105843 A1 WO2023105843 A1 WO 2023105843A1 JP 2022028732 W JP2022028732 W JP 2022028732W WO 2023105843 A1 WO2023105843 A1 WO 2023105843A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
display
unit
display unit
predetermined
Prior art date
Application number
PCT/JP2022/028732
Other languages
English (en)
French (fr)
Inventor
義之 早川
彬光 落合
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2021198271A external-priority patent/JP2023084225A/ja
Priority claimed from JP2021198543A external-priority patent/JP2023084386A/ja
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Publication of WO2023105843A1 publication Critical patent/WO2023105843A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Definitions

  • the present disclosure relates to an operation support device, an operation support method, and an operation support program.
  • Patent Document 1 Japanese Patent Document 1
  • the on-vehicle equipment described above may have a wide variety of functions, it may be difficult for the occupant to grasp all the functions and operation information related to the relevant functions. There is a demand for a configuration that can appropriately acquire information when the passenger notices a function that the passenger does not know about.
  • the present disclosure has been made in view of the above, and aims to provide an operation support device, an operation support method, and an operation support program that enable passengers to appropriately grasp information about on-vehicle devices.
  • the operation support device includes a determination unit that determines whether or not a predetermined action has been performed by an occupant of a vehicle in which the in-vehicle device is mounted, and if it is determined that the predetermined action has been performed, the An acquisition unit that acquires the state of the vehicle-mounted device, and a display control unit that causes a display unit to display operation information of the vehicle-mounted device corresponding to the acquired state.
  • An operation support method includes determining whether or not a predetermined action has been performed by an occupant of a vehicle equipped with an in-vehicle device; Acquiring the state of the device, and displaying operation information of the in-vehicle device corresponding to the acquired state on the display unit.
  • An operation support program includes a process of determining whether or not a predetermined action has been performed by an occupant of a vehicle equipped with an in-vehicle device, and when it is determined that the predetermined action has been performed, the in-vehicle
  • the computer is caused to execute a process of acquiring the state of the device and a process of displaying the operation information of the vehicle-mounted device corresponding to the acquired state on the display unit.
  • An operation support device includes a determination unit that determines whether or not a predetermined operation regarding the indicator has been performed when a predetermined indicator is displayed on an in-vehicle display unit provided in an in-vehicle device; an acquisition unit that acquires the display content of the in-vehicle display unit at the time of determination when it is determined that the operation has been performed; and a display control unit that causes the display unit to display operation information of the in-vehicle device corresponding to the acquired display content.
  • An operation support method includes determining whether or not a predetermined operation regarding the indicator has been performed when a predetermined indicator is displayed on an in-vehicle display unit provided in an in-vehicle device, and determining whether the predetermined operation has been performed. acquiring the display content of the in-vehicle display unit at the time of determination, and causing the display unit to display operation information of the in-vehicle device corresponding to the acquired display content.
  • An operation support program includes a process of determining whether or not a predetermined operation regarding the indicator has been performed when a predetermined indicator is displayed on an in-vehicle display unit provided in an in-vehicle device, and a process of determining whether the predetermined operation has been performed. If it is determined that the vehicle has been detected, the computer executes a process of acquiring the display content of the in-vehicle display unit at the time of determination, and a process of displaying the operation information of the in-vehicle device corresponding to the acquired display content on the display unit.
  • FIG. 1 is a diagram schematically showing an example of an operation support system including an operation support device according to this embodiment.
  • FIG. 2 is a functional block diagram showing an example of an operation support system.
  • FIG. 3 is a diagram showing an example of the operation of the operation support system.
  • FIG. 4 is a diagram showing an example of the operation of the operation support system.
  • FIG. 5 is a diagram showing an example of the operation of the operation support system.
  • FIG. 6 is a diagram showing an example of the operation of the operation support system.
  • FIG. 7 is a flow chart showing an example of an operation support method.
  • FIG. 8 is a diagram showing another example of the operation of the operation support system.
  • FIG. 9 is a diagram showing another example of the operation of the operation support system.
  • FIG. 10 is a diagram showing another example of the operation of the operation support system.
  • FIG. 11 is a flow chart showing another example of the operation support method.
  • FIG. 1 is a diagram schematically showing an example of an operation support system 100 including an operation support device according to this embodiment.
  • the operation support system 100 includes an in-vehicle device 10 , an in-vehicle detection device 20 , and an operation support device 30 .
  • the in-vehicle device 10 is mounted on a vehicle, for example, and provides guidance information to passengers when driving the vehicle. Examples of the in-vehicle device 10 include a navigation device and the like.
  • the in-vehicle detection device 20 detects the situation inside the vehicle and supplies the detection result to the in-vehicle device 10 and the operation support device 30 .
  • the in-vehicle detection device 20 has a camera 21 that captures a situation inside the vehicle, including, for example, the occupants, and a sound acquisition unit 22 that acquires sounds generated inside the vehicle.
  • the operation support device 30 supports the operation of the in-vehicle device 10 .
  • the operation support device 30 is, for example, a portable information terminal such as a smart phone or a tablet.
  • FIG. 2 is a functional block diagram showing an example of the operation support system 100.
  • the in-vehicle device 10 has an in-vehicle display section 11 , an operation section 12 , a communication section 13 , a control section 14 and a storage section 15 .
  • the in-vehicle display unit 11 displays various information such as guidance information to be provided to passengers.
  • the in-vehicle device 10 may have an audio output unit (not shown) that outputs audio of guidance information to be provided to the passenger.
  • the operation unit 12 receives operations by a user such as a passenger.
  • a touch panel or the like is used as the in-vehicle display unit 11 and the operation unit 12 .
  • the communication unit 13 transmits and receives information to and from the outside.
  • the control unit 14 has a processing device such as a CPU (Central Processing Unit) and a storage device such as RAM (Random Access Memory) or ROM (Read Only Memory).
  • the control unit 14 comprehensively controls the operation of the in-vehicle device 10 .
  • the control unit 14 can acquire the display contents of the in-vehicle display unit 11, such as screen shots.
  • the storage unit 15 stores various information.
  • the storage unit 15 has storage such as a hard disk drive and a solid state drive. Note that an external storage medium such as a removable disk may be used as the storage unit 15 .
  • the storage unit 15 stores programs, data, and the like for the in-vehicle device 10 to perform various operations.
  • the storage unit 15 can store, for example, information described in the manual of the in-vehicle device 10 .
  • the operation support device 30 has a display unit 31 , an operation unit 32 , a communication unit 33 , a control unit 34 and a storage unit 35 .
  • the operation support device 30 also has a camera 36 and an audio acquisition unit 37 .
  • the display unit 31 displays various information.
  • the operation unit 32 receives operations by a user such as a passenger.
  • a touch panel or the like is used as the display unit 31 and the operation unit 32 .
  • the communication unit 33 transmits and receives information to and from the outside.
  • the control unit 34 has a processing device such as a CPU and a storage device such as a RAM.
  • the control unit 34 controls display contents of the in-vehicle display unit 11 .
  • the control unit 14 can acquire the display contents of the in-vehicle display unit 11, such as screen shots.
  • the control unit 34 has a determination unit 41 , an acquisition unit 42 , a display control unit 43 and a signal generation unit 44 .
  • the determination unit 41 determines whether or not the occupant of the vehicle in which the in-vehicle device 10 is mounted has performed a predetermined action.
  • Vehicle occupants include at least one of a driver and a fellow passenger.
  • the predetermined action for example, the occupant looks at the in-vehicle display unit 11 of the in-vehicle device 10, the occupant moves the line of sight from the map information displayed on the in-vehicle display unit 11 to the operation panel displayed therearound, and the occupant is an operation of generating a voice asking for help regarding the operation of the in-vehicle device 10, and the like.
  • the determination unit 41 determines whether or not the occupant has performed a predetermined action based on the detection result of the in-vehicle detection device 20 .
  • the determination unit 41 can determine whether or not a predetermined operation has been performed, for example, by performing image processing or the like on photographed data photographed by the camera 21 . Further, the determination unit 41 analyzes whether or not a word corresponding to a predetermined action is included in the voice data acquired by the voice acquisition unit 22, thereby determining whether or not the predetermined action has been performed. can be done. Further, if the audio data is analyzed to be, for example, "menu display" with a predetermined word, the operation information of the in-vehicle device 10 is manipulated in a thumbnail format, an electronic bookmark format, or the like so that the vehicle occupant can select the operation information. You may make it display on the display part 31 of the support apparatus 30. FIG.
  • the acquisition unit 42 acquires the state of the in-vehicle device 10 at the time of determination.
  • the acquisition unit 42 may, for example, display contents displayed on the vehicle-mounted display unit 11 of the vehicle-mounted device 10 at the time of determination.
  • the acquisition unit 42 may also display information on the display unit 31 instructing the camera 36 of the operation support device 30 to capture the display content of the in-vehicle display unit 11 .
  • the acquisition unit 42 may display on the display unit 31 information for instructing the operation unit 32 to input the state of the in-vehicle device 10 at the time of determination.
  • information to the effect that the operation is stopped can be cited.
  • the display control unit 43 causes the display unit 31 to display the operation information of the in-vehicle device 10 corresponding to the acquired state. For example, when the display content displayed on the in-vehicle display unit 11 is acquired as the state, the display control unit 43 may cause the display unit 31 to display, as operation information, information describing the function of each unit included in the display content. can. Specific contents of the operation information include, for example, information described in the manual of the in-vehicle device. In the display of the operation information, a GUI (Graphical User Interface) or the like may be used to make the display easy for the vehicle occupants to understand.
  • GUI Graphic User Interface
  • the signal generation unit 44 when information indicating that an operation corresponding to the operation information is performed on the vehicle-mounted device 10 is input, for example, by the operation unit 32 or the like, causes the vehicle-mounted device 10 to generates an operation signal for operating the
  • the generated operation signal can be transmitted to the in-vehicle device 10 via the communication unit 33, for example.
  • the vehicle-mounted device 10 performs an operation corresponding to the operation signal.
  • the storage unit 35 stores various information.
  • the storage unit 35 has storage such as a hard disk drive and a solid state drive. Note that an external storage medium such as a removable disk may be used as the storage unit 35 .
  • the storage unit 35 stores programs, data, and the like for the operation support device 30 to perform various operations.
  • the storage unit 35 can store, for example, information described in the manual of the in-vehicle device 10 .
  • the storage unit 35 performs a process of determining whether or not a predetermined action has been performed by an occupant of the vehicle in which the on-vehicle device 10 is mounted, and, if it is determined that the predetermined action has been performed, the operation of the on-vehicle device 10 at the time of determination. It stores an operation support program that causes a computer to execute a process of acquiring a state and a process of displaying operation information of the in-vehicle device 10 corresponding to the acquired state on the display unit 31 .
  • FIG. 3 to 6 are diagrams showing an example of the operation of the operation support system 100.
  • the vehicle-mounted device 10 causes the vehicle-mounted display unit 11 to display, for example, map information as guidance information for guiding driving, as shown in FIG.
  • map information as guidance information for guiding driving
  • the in-vehicle device 10 may have various functions.
  • an operation panel for performing various operations may be displayed around the map information.
  • the operation support device 30 enables the passenger to appropriately acquire information when he/she notices that there is a function of the operation panel that the passenger does not know about.
  • the map information is displayed around it.
  • the camera 21 of the in-vehicle detection device 20 captures the scene.
  • the voice is acquired by the voice acquisition unit 22 .
  • the determination unit 41 determines whether or not the predetermined action has been performed, for example, by performing image processing or the like on the photographed data captured by the camera 21 . Further, the determination unit 41 determines whether or not a predetermined action has been performed by analyzing whether or not a word corresponding to a predetermined action is included in the voice data acquired by the voice acquisition unit 22 .
  • the acquisition unit 42 acquires the state of the in-vehicle device 10 at the time of determination. For example, the acquiring unit 42 requests the in-vehicle device 10 to transmit the display content of the in-vehicle display unit 11 at the time of determination. The in-vehicle device 10 transmits the display contents of the in-vehicle display unit 11 to the operation support device 30 in response to the request. The acquisition unit 42 acquires the transmitted display content.
  • the display control unit 43 causes the display unit 31 to display the operation information of the in-vehicle device 10 corresponding to the acquired state, as shown in FIG.
  • the display control unit 43 receives information such as information describing the function of each unit included in the display content. is displayed on the display unit 31 as operation information. By viewing the information displayed on the display unit 31 , the occupant can appropriately acquire the operation information of the in-vehicle device 10 .
  • the signal generation unit 44 can set the selection area in the area where the operation information is displayed in the display unit 31 .
  • the signal generator 44 causes the in-vehicle device 10 to perform an operation corresponding to the operation information displayed in the selected area when an input to select the selected area is performed, for example, the selected area is touched. to generate an operation signal for
  • the signal generation unit 44 can transmit the generated operation signal to the vehicle-mounted device 10 via the communication unit 33 .
  • the vehicle-mounted device 10 performs an operation corresponding to the operation signal.
  • FIG. 7 is a flowchart showing an example of an operation support method according to this embodiment.
  • the determination unit 41 determines whether or not the occupant of the vehicle in which the in-vehicle device 10 is mounted has performed a predetermined action (step S101). If it is determined that the predetermined action is not performed (No in step S101), the process of step S101 is repeated.
  • the acquisition unit 42 acquires the state of the vehicle-mounted device 10 at the time of determination (step S102).
  • the display control unit 43 causes the display unit 31 to display the operation information of the in-vehicle device 10 corresponding to the acquired state (step S103).
  • the signal generation unit 44 determines whether or not information indicating that an operation corresponding to the operation information is to be performed on the in-vehicle device 10 is input with respect to the operation information displayed on the display unit 31. is determined (step S104). If it is determined that no input has been made (No in step S104), the process of step S104 is repeated. It should be noted that the process may be terminated when a predetermined period of time has passed without input or when a trigger for termination of the process is generated. Further, when it is determined that an input has been made (Yes in step S104), the signal generation unit 44 generates an operation signal for operating the onboard device 10 (step S105), and sends it to the onboard device 10 via the communication unit 33, for example. An operation signal is transmitted (step S106), and the process ends.
  • the operation support device 30 includes the determination unit 41 that determines whether or not a predetermined action has been performed by the occupant of the vehicle in which the in-vehicle device 10 is mounted, and the determination unit 41 that determines that the predetermined action has been performed. and a display control unit 43 that causes the display unit 31 to display operation information of the vehicle-mounted device 10 corresponding to the acquired state.
  • the operation support method includes determining whether or not a predetermined action has been performed by the occupant of the vehicle in which the vehicle-mounted device 10 is mounted, and if it is determined that the predetermined action has been performed, the vehicle-mounted device at the time of determination is determined. It includes obtaining the state of the device 10 and causing the display unit 31 to display operation information of the vehicle-mounted device 10 corresponding to the obtained state.
  • the operation support program includes a process of determining whether or not a predetermined action has been performed by an occupant of the vehicle in which the on-vehicle device 10 is mounted, and a process of determining whether or not the predetermined action has been performed.
  • the computer is caused to execute a process of acquiring the state of the device 10 and a process of displaying the operation information of the in-vehicle device 10 corresponding to the acquired state on the display unit 31 .
  • the operation information of the on-vehicle device 10 at the time of determination is displayed on the display unit 31. information can be appropriately grasped by the occupant.
  • the determination unit 41 determines whether or not a predetermined action has been performed based on the passenger's line of sight or the passenger's vocalization. With this configuration, it is possible to appropriately detect and determine the predetermined motion of the occupant.
  • the display control unit 43 causes the display unit 31 to display an operation indicator for performing an operation corresponding to the operation information.
  • a signal generation unit 44 is further provided for generating an operation signal for performing an operation with the touch panel.
  • the in-vehicle device 10 displays the guidance information on the in-vehicle display unit 11, it also displays a predetermined index on the in-vehicle display unit 11.
  • This indicator may be, for example, an icon or a code such as a bar code or a two-dimensional code.
  • In-vehicle device 10 communicates information to that effect (hereinafter referred to as icon selection information) when an icon is selected, such as when an area where an icon is displayed in in-vehicle display unit 11 is touched. It is transmitted from the unit 13 to the operation support device 30 .
  • the determination unit 41 determines whether or not a predetermined operation regarding the indicator has been performed when a predetermined indicator is displayed on the in-vehicle display unit 11. For example, when receiving icon selection information transmitted from the vehicle-mounted device 10, the determination unit 41 can determine that a predetermined operation has been performed. Further, when a code is displayed on the in-vehicle display unit 11, the determination unit 41 can determine that a predetermined operation has been performed when information included in the code is acquired by capturing the code with the camera 36 or the like. .
  • the acquisition unit 42 acquires the display content of the in-vehicle device 10 at the time of determination.
  • the acquisition unit 42 may display information on the display unit 31 instructing the camera 36 of the operation support device 30 to capture the display content of the in-vehicle display unit 11 . Further, the acquisition unit 42 may display on the display unit 31 information for instructing the operation unit 32 to input the state of the in-vehicle device 10 at the time of determination.
  • the camera 21 of the in-vehicle detection device 20 may be requested to take an image.
  • the display control unit 43 causes the display unit 31 to display operation information of the in-vehicle device 10 corresponding to the acquired display content. For example, when map information and an operation panel are displayed on the in-vehicle display unit 11, the display control unit 43 causes the display unit 31 to display, as operation information, information describing the functions of each operation panel included in the display content. be able to. Specific contents of the operation information include, for example, information described in the manual of the in-vehicle device.
  • the display control unit 43 causes the display unit to display an image of content corresponding to the display content of the display unit at the time of determination, and a selection index for displaying operation information of an object such as an operation panel included in the image. can be done. When a selection index is selected, the display control unit 43 can display the operation information of the object corresponding to the selection index on the display unit.
  • the signal generation unit 44 receives, for example, the operation unit 32 or the like, information indicating that an operation corresponding to the operation information is to be performed on the in-vehicle device 10 for the operation information displayed on the display unit 31 . If so, an operation signal for operating the in-vehicle device 10 is generated.
  • the generated operation signal can be transmitted to the in-vehicle device 10 via the communication unit 33, for example.
  • the vehicle-mounted device 10 performs an operation corresponding to the operation signal.
  • the storage unit 35 When a predetermined indicator is displayed on the vehicle-mounted display unit 11 provided in the vehicle-mounted device 10, the storage unit 35 performs a process of determining whether or not a predetermined operation regarding the indicator has been performed, and a process of determining whether a predetermined operation has been performed.
  • the operation support program for causing the computer to execute a process of acquiring the display content of the in-vehicle display unit 11 at the time of determination and a process of displaying the operation information of the in-vehicle device 10 corresponding to the acquired display content on the display unit 31.
  • FIG. 8 and 9 are diagrams showing other examples of the operation of the operation support system 100.
  • icon 11 a is displayed on in-vehicle display unit 11 of in-vehicle device 10
  • icon selection information is transmitted from communication unit 13 to operation support device 30 when icon 11 a is touched by an occupant.
  • the determination unit 41 determines that a predetermined operation has been performed.
  • the determination unit 41 obtains information included in the code by photographing the code with the camera 36 or the like. determined to have been done.
  • the acquiring unit 42 acquires the display content of the in-vehicle display unit 11 of the in-vehicle device 10 at the time of determination.
  • the code may be a two-dimensional code, a QR code (registered trademark), or a three-dimensional code as typical examples.
  • the display control unit 43 causes the display unit 31 to display the operation information of the in-vehicle device 10 corresponding to the acquired state. For example, as shown in FIG. 10, the display control unit 43 selects an image corresponding to the display content of the display unit 31 at the time of determination and a selection index for displaying the operation information of the object included in the image. When the selection index is selected, the display unit 31 is caused to display the operation information of the object corresponding to the selection index. By viewing the information displayed on the display unit 31 , the occupant can appropriately acquire the operation information of the in-vehicle device 10 .
  • the signal generation unit 44 can set the selection area to the area where the operation information is displayed in the display unit 31 .
  • the signal generator 44 causes the in-vehicle device 10 to perform an operation corresponding to the operation information displayed in the selected area when an input to select the selected area is performed, for example, the selected area is touched. to generate an operation signal for
  • the signal generation unit 44 can transmit the generated operation signal to the vehicle-mounted device 10 via the communication unit 33 .
  • the vehicle-mounted device 10 performs an operation corresponding to the operation signal.
  • FIG. 11 is a flowchart showing an example of an operation support method according to this embodiment.
  • the determination unit 41 determines whether or not a predetermined indicator is displayed on the in-vehicle display unit 11 provided in the in-vehicle device 10 (step S201). If it is determined that the predetermined index is not displayed (No in step S201), the process ends. If it is determined that the predetermined index is displayed (Yes in step S201), it is determined whether or not a predetermined operation regarding the index has been performed (step S202). If it is determined that the predetermined operation has not been performed (No in step S202), the process of step S202 is repeated.
  • the acquisition unit 42 acquires the display content of the in-vehicle display unit 11 of the in-vehicle device 10 at the time of determination (step S203).
  • the display control unit 43 causes the display unit 31 to display the operation information of the in-vehicle device 10 corresponding to the acquired display content (step S204).
  • the signal generation unit 44 determines whether or not information indicating that an operation corresponding to the operation information is to be performed on the in-vehicle device 10 is input with respect to the operation information displayed on the display unit 31. is determined (step S205). If it is determined that no input has been made (No in step S205), the process of step S205 is repeated. It should be noted that the process may be terminated when a predetermined period of time has passed without input or when a trigger for termination of the process is generated. Further, when it is determined that an input has been made (Yes in step S205), the signal generation unit 44 generates an operation signal for operating the onboard device 10 (step S206), and sends it to the onboard device 10 via the communication unit 33, for example. An operation signal is transmitted (step S207), and the process ends.
  • the operation support device 30 determines whether or not a predetermined operation regarding the indicator has been performed when a predetermined indicator is displayed on the vehicle-mounted display unit 11 provided in the vehicle-mounted device 10.
  • a determination unit 41 an acquisition unit 42 that acquires display content of the in-vehicle display unit 11 at the time of determination when it is determined that a predetermined operation has been performed, and display operation information of the in-vehicle device 10 corresponding to the acquired display content.
  • a display control unit 43 that causes the unit 31 to display.
  • the operation support method includes, when a predetermined indicator is displayed on the vehicle-mounted display unit 11 provided in the vehicle-mounted device 10, determining whether or not a predetermined operation regarding the indicator has been performed, and determining whether the predetermined operation has been performed. If it is determined that it has been performed, acquiring the display content of the in-vehicle display unit 11 at the time of determination, and displaying the operation information of the in-vehicle device 10 corresponding to the acquired display content on the display unit 31.
  • the operation support program includes a process of determining whether or not a predetermined operation regarding the indicator has been performed when a predetermined indicator is displayed on the vehicle-mounted display unit 11 provided in the vehicle-mounted device 10, and a process of determining whether the predetermined operation has been performed. If it is determined that it has been performed, the computer performs a process of acquiring the display content of the in-vehicle display unit 11 at the time of determination, and a process of displaying the operation information of the in-vehicle device 10 corresponding to the acquired display content on the display unit 31. let it run.
  • the operation information of the in-vehicle device 10 is displayed on the display unit 31.
  • a crew member or a fellow passenger can be made to grasp information about apparatus 10 appropriately.
  • the determination unit 41 determines whether or not a predetermined action has been performed based on the passenger's line of sight and the passenger's vocalization. With this configuration, it is possible to appropriately detect and determine the predetermined motion of the occupant.
  • the display control unit 43 displays an image of content corresponding to the display content of the display unit 31 at the time of determination, and a selection index for displaying operation information of an object included in the image. is displayed on the display unit 31, and when the selection index is selected, the display unit 31 is caused to display the operation information of the object corresponding to the selection index.
  • the display control unit 43 causes the display unit 31 to display an operation indicator for performing an operation corresponding to the operation information.
  • a signal generation unit 44 is further provided for generating an operation signal for performing an operation with the touch panel.
  • the technical scope of the present disclosure is not limited to the above embodiments, and modifications can be made as appropriate without departing from the scope of the present disclosure.
  • the manual of the vehicle-mounted device 10 is stored in the storage unit 15 of the vehicle-mounted device 10 and the storage unit 35 of the operation support device 30 is described as an example, but the present invention is not limited to this.
  • the manual is stored in an external server, and may be downloaded by accessing the server as appropriate.
  • the operation support device 30 is not limited to the driver's terminal, and may be a passenger's terminal. Further, by associating the operation support device 30 with the in-vehicle device 10 by pairing or the like, it is possible to perform pairing or the like with the in-vehicle device 10 mounted not only in a private car but also in another vehicle such as a rental car. can be applied. Further, the operation support device 30 may be set not to operate when the driver's operation during driving is detected.
  • the operation support device, the operation support method, and the operation support program according to the present disclosure can be used, for example, in processing devices such as computers.
  • DESCRIPTION OF SYMBOLS 10 ... Vehicle-mounted apparatus, 11... Vehicle-mounted display part, 11a... Map information, 11b... Operation panel, 11c... Icon, 11d... Code, 12, 32... Operation part, 13, 33... Communication part, 14, 34... Control part, DESCRIPTION OF SYMBOLS 15, 35... Storage part 20... Inside detection apparatus 21, 36... Camera 22, 37... Voice acquisition part 30... Operation support apparatus 31... Display part 31a... Operation information 41... Judgment part 42... Acquisition unit 43 Display control unit 44 Signal generation unit 100 Operation support system

Abstract

操作支援装置は、車載機器が搭載される車両の乗員により所定動作が行われたか否かを判定する判定部と、所定動作が行われたと判定された場合、判定時点における車載機器の状態を取得する取得部と、取得された状態に対応する車載機器の操作情報を表示部に表示させる表示制御部とを備える。

Description

操作支援装置、操作支援方法及び操作支援プログラム
　本開示は、操作支援装置、操作支援方法及び操作支援プログラムに関する。
　車両を運転する際に、乗員に対して案内情報を表示する表示部を有する車載機器が知られている（例えば、特許文献１参照）。
特開２００１－１６５６８０号公報
　上記のような車載機器は、多種多様な機能を備える場合があるため、乗員が全ての機能及び当該機能に関する操作情報を把握することが困難な場合がある。乗員が知らない機能について気付いた場合に、適切に情報を取得できる構成が求められる。
　本開示は、上記に鑑みてなされたものであり、車載機器についての情報を乗員に適切に把握させることが可能な操作支援装置、操作支援方法及び操作支援プログラムを提供することを目的とする。
　本開示に係る操作支援装置は、車載機器が搭載される車両の乗員により所定動作が行われたか否かを判定する判定部と、前記所定動作が行われたと判定された場合、判定時点における前記車載機器の状態を取得する取得部と、取得された前記状態に対応する前記車載機器の操作情報を表示部に表示させる表示制御部とを備える。
　本開示に係る操作支援方法は、車載機器が搭載される車両の乗員により所定動作が行われたか否かを判定することと、前記所定動作が行われたと判定された場合、判定時点における前記車載機器の状態を取得することと、取得された前記状態に対応する前記車載機器の操作情報を表示部に表示させることとを含む。
　本開示に係る操作支援プログラムは、車載機器が搭載される車両の乗員により所定動作が行われたか否かを判定する処理と、前記所定動作が行われたと判定された場合、判定時点における前記車載機器の状態を取得する処理と、取得された前記状態に対応する前記車載機器の操作情報を表示部に表示させる処理とをコンピュータに実行させる。
　本開示に係る操作支援装置は、車載機器に設けられる車載表示部に所定の指標が表示される場合に、前記指標に関する所定操作が行われたか否かを判定する判定部と、前記所定操作が行われたと判定された場合、判定時点における前記車載表示部の表示内容を取得する取得部と、取得された前記表示内容に対応する前記車載機器の操作情報を表示部に表示させる表示制御部とを備える。
　本開示に係る操作支援方法は、車載機器に設けられる車載表示部に所定の指標が表示される場合に、前記指標に関する所定操作が行われたか否かを判定することと、前記所定操作が行われたと判定された場合、判定時点における前記車載表示部の表示内容を取得することと、取得された前記表示内容に対応する前記車載機器の操作情報を表示部に表示させることとを含む。
　本開示に係る操作支援プログラムは、車載機器に設けられる車載表示部に所定の指標が表示される場合に、前記指標に関する所定操作が行われたか否かを判定する処理と、前記所定操作が行われたと判定された場合、判定時点における前記車載表示部の表示内容を取得する処理と、取得された前記表示内容に対応する前記車載機器の操作情報を表示部に表示させる処理とをコンピュータに実行させる。
　本開示によれば、車載機器についての情報を乗員に適切に把握させることができる。
図１は、本実施形態に係る操作支援装置を含む操作支援システムの一例を模式的に示す図である。 図２は、操作支援システムの一例を示す機能ブロック図である。 図３は、操作支援システムの動作の一例を示す図である。 図４は、操作支援システムの動作の一例を示す図である。 図５は、操作支援システムの動作の一例を示す図である。 図６は、操作支援システムの動作の一例を示す図である。 図７は、操作支援方法の一例を示すフローチャートである。 図８は、操作支援システムの動作の他の例を示す図である。 図９は、操作支援システムの動作の他の例を示す図である。 図１０は、操作支援システムの動作の他の例を示す図である。 図１１は、操作支援方法の他の例を示すフローチャートである。
　以下、本開示に係る操作支援装置、操作支援方法及び操作支援プログラムの実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
　図１は、本実施形態に係る操作支援装置を含む操作支援システム１００の一例を模式的に示す図である。操作支援システム１００は、車載機器１０と、車内検出装置２０と、操作支援装置３０とを備える。
　車載機器１０は、例えば車両に搭載され、車両の運転時に乗員に対して案内情報を提供する。車載機器１０としては、例えばナビゲーション装置等が挙げられる。車内検出装置２０は、車内の状況を検出し、検出結果を車載機器１０及び操作支援装置３０に供給する。車内検出装置２０は、例えば乗員を含む車内の状況を撮影するカメラ２１と、車内で生じる音声を取得する音声取得部２２とを有する。操作支援装置３０は、車載機器１０の操作を支援する。本実施形態において、操作支援装置３０は、例えばスマートフォン、タブレット等の携帯型情報端末等が挙げられる。
　図２は、操作支援システム１００の一例を示す機能ブロック図である。図２に示すように、車載機器１０は、車載表示部１１と、操作部１２と、通信部１３と、制御部１４と、記憶部１５とを有する。車載表示部１１は、乗員に提供する案内情報等の各種情報を表示する。なお、車載機器１０は、乗員に提供する案内情報の音声を出力する不図示の音声出力部を有してもよい。操作部１２は、乗員等のユーザによる操作を受け付ける。車載表示部１１及び操作部１２として、例えばタッチパネル等が用いられる。通信部１３は、外部との間で情報の送受信を行う。
　制御部１４は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等の処理装置と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）又はＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の記憶装置を有する。制御部１４は、車載機器１０の動作を統括的に制御する。制御部１４は、例えばスクリーンショット等のように、車載表示部１１の表示内容を取得可能である。
　記憶部１５は、各種情報を記憶する。記憶部１５は、例えばハードディスクドライブ、ソリッドステートドライブ等のストレージを有している。なお、記憶部１５として、リムーバブルディスク等の外部記憶媒体が用いられてもよい。記憶部１５は、車載機器１０が各種動作を行うためのプログラム、データ等を記憶する。記憶部１５は、例えば車載機器１０のマニュアルに記載される情報を記憶することができる。
　操作支援装置３０は、表示部３１と、操作部３２と、通信部３３と、制御部３４と、記憶部３５とを有する。また、操作支援装置３０は、カメラ３６及び音声取得部３７を有する。
　表示部３１は、各種情報を表示する。操作部３２は、乗員等のユーザによる操作を受け付ける。表示部３１及び操作部３２として、例えばタッチパネル等が用いられる。通信部３３は、外部との間で情報の送受信を行う。
　制御部３４は、ＣＰＵ等の処理装置と、ＲＡＭ等の記憶装置を有する。制御部３４は、車載表示部１１の表示内容を制御する。制御部１４は、例えばスクリーンショット等のように、車載表示部１１の表示内容を取得可能である。制御部３４は、判定部４１と、取得部４２と、表示制御部４３と、信号生成部４４とを有する。
　判定部４１は、車載機器１０が搭載される車両の乗員により所定動作が行われたか否かを判定する。車両の乗員は、運転者及び同乗者の少なくとも一方を含む。所定動作としては、例えば乗員が車載機器１０の車載表示部１１に視線を送る動作、乗員が車載表示部１１に表示される地図情報からその周囲に表示される操作パネルに視線を移す動作、乗員が車載機器１０の操作についてヘルプを求める声を発生する動作等が挙げられる。判定部４１は、車内検出装置２０の検出結果に基づいて、乗員により所定動作が行われたか否かを判定する。判定部４１は、例えばカメラ２１により撮影された撮影データに対して画像処理等を行うことで、所定動作が行われたか否かを判定することができる。また、判定部４１は、音声取得部２２により取得された音声データに対して所定動作に対応するワードが含まれるか否かを解析することにより、所定動作が行われたか否かを判定することができる。さらに、所定のワードで例えば「メニュー表示」の音声データと解析された場合は車載機器１０の操作情報をサムネイル形式や電子栞の形式等で車両の乗員が操作情報を選択可能となるように操作支援装置３０の表示部３１に表示するようにしてもよい。
　取得部４２は、所定動作が行われたと判定された場合、判定時点における車載機器１０の状態を取得する。取得部４２は、車載機器１０の状態として、例えば判定時点において車載機器１０の車載表示部１１に表示されている表示内容等が挙げられる。また、取得部４２は、操作支援装置３０のカメラ３６で車載表示部１１の表示内容を撮影するように指示する情報を表示部３１に表示してもよい。また、取得部４２は、判定時点における車載機器１０の状態を操作部３２により入力するように指示する情報を表示部３１に表示してもよい。また、車載機器１０の動作が停止している場合、当該動作が停止している旨の情報等が挙げられる。
　表示制御部４３は、取得された状態に対応する車載機器１０の操作情報を表示部３１に表示させる。例えば状態として車載表示部１１に表示される表示内容が取得された場合、表示制御部４３は、表示内容に含まれる各部の機能を説明する情報等を操作情報として表示部３１に表示させることができる。操作情報の具体的内容としては、例えば車載機器のマニュアルに記載されている情報等が挙げられる。操作情報の表示においては、ＧＵＩ（Graphical　User　Interface）等を用いて車両の乗員がわかりやすい表示としてもよい。
　信号生成部４４は、表示部３１に表示される操作情報について、当該操作情報に該当する操作を車載機器１０に対して行う旨の情報が例えば操作部３２等により入力された場合、車載機器１０を操作するための操作信号を生成する。生成された操作信号は、例えば通信部３３を介して車載機器１０に送信することができる。車載機器１０に操作信号が送信された場合、車載機器１０は、操作信号に対応する動作を行う。
　記憶部３５は、各種情報を記憶する。記憶部３５は、例えばハードディスクドライブ、ソリッドステートドライブ等のストレージを有している。なお、記憶部３５として、リムーバブルディスク等の外部記憶媒体が用いられてもよい。記憶部３５は、操作支援装置３０が各種動作を行うためのプログラム、データ等を記憶する。記憶部３５は、例えば車載機器１０のマニュアルに記載された情報を記憶することができる。
　また、記憶部３５は、車載機器１０が搭載される車両の乗員により所定動作が行われたか否かを判定する処理と、所定動作が行われたと判定された場合、判定時点における車載機器１０の状態を取得する処理と、取得された状態に対応する車載機器１０の操作情報を表示部３１に表示させる処理とをコンピュータに実行させる操作支援プログラムを記憶する。
　次に、図３から図６を用いて、上記のように構成された操作支援システム１００の動作を説明する。図３から図６は、操作支援システム１００の動作の一例を示す図である。乗員が車両を運転する際、車載機器１０は、図３に示すように、運転を案内するための案内情報として、例えば地図情報を車載表示部１１に表示させる。乗員は、車載表示部１１を見ることにより、適切に地図情報を把握することができる。
　一方、車載機器１０は、多種多様な機能を備える場合がある。例えば、地図情報の周囲に各種の操作を行うための操作パネルが表示される場合がある。操作支援装置３０は、このような場合において、乗員が操作パネルの機能について知らない機能がある点に気付いたときに、適切に情報を取得できるようにするものである。
　例えば、図４に示すように、乗員が車載機器１０の車載表示部１１のうち操作パネルに視線を送る動作を行う場合、又は乗員が車載表示部１１に表示される地図情報からその周囲に表示される操作パネルに視線を移す動作を行う場合、車内検出装置２０のカメラ２１によりその様子が撮影される。また、図５に示すように乗員が車載機器１０の操作についてヘルプを求める声を発生する動作を行う場合、その音声が音声取得部２２により取得される。
　このように所定動作が行われた場合、判定部４１は、例えばカメラ２１により撮影された撮影データに対して画像処理等を行うことで、所定動作が行われたか否かを判定する。また、判定部４１は、音声取得部２２により取得された音声データに対して所定動作に対応するワードが含まれるか否かを解析することにより、所定動作が行われたか否かを判定する。
　取得部４２は、所定動作が行われたと判定された場合、判定時点における車載機器１０の状態を取得する。例えば、取得部４２は、車載機器１０に対して判定時点における車載表示部１１の表示内容を送信する旨の要求を行う。車載機器１０は、要求に応じて車載表示部１１の表示内容を操作支援装置３０に送信する。取得部４２は、送信された表示内容を取得する。
　表示制御部４３は、図５に示すように、取得された状態に対応する車載機器１０の操作情報を表示部３１に表示させる。図５に示す例において、車載機器１０の状態として、例えば車載表示部１１に表示される表示内容が取得された場合、表示制御部４３は、表示内容に含まれる各部の機能を説明する情報等を操作情報として表示部３１に表示させる。乗員は、表示部３１に表示される情報を見ることにより、車載機器１０の操作情報を適切に取得できる。
　また、表示部３１に表示される操作情報について、当該操作情報に該当する操作を車載機器１０に対して行う旨の情報が例えば操作部３２等により入力することができる。例えば、図６に示すように、信号生成部４４は、表示部３１のうち、操作情報が表示される領域に選択領域を設定することができる。信号生成部４４は、例えば選択領域がタッチされる等、当該選択領域を選択する旨の入力が行われた場合、選択領域に表示される操作情報に対応する操作を車載機器１０に行わせるための操作信号を生成する。信号生成部４４は、生成した操作信号を、通信部３３を介して車載機器１０に送信することができる。車載機器１０に操作信号が送信された場合、車載機器１０は、操作信号に対応する動作を行う。
　図７は、本実施形態に係る操作支援方法の一例を示すフローチャートである。図７に示すように、判定部４１は、車載機器１０が搭載される車両の乗員により所定動作が行われたか否かを判定する（ステップＳ１０１）。所定動作が行われないと判定された場合（ステップＳ１０１のＮｏ）、ステップＳ１０１の処理を繰り返し行う。
　所定動作が行われたと判定された場合（ステップＳ１０１のＹｅｓ）、取得部４２は、判定時点における車載機器１０の状態を取得する（ステップＳ１０２）。表示制御部４３は、取得された状態に対応する車載機器１０の操作情報を表示部３１に表示させる（ステップＳ１０３）。
　操作情報が表示された状態において、信号生成部４４は、表示部３１に表示される操作情報について、当該操作情報に該当する操作を車載機器１０に対して行う旨の情報が入力されたか否かを判定する（ステップＳ１０４）。入力されないと判定した場合（ステップＳ１０４のＮｏ）、ステップＳ１０４の処理を繰り返し行う。なお、入力されない期間が所定期間経過した場合又は処理終了のトリガーが発生した場合、処理を終了してもよい。また、入力されたと判定した場合（ステップＳ１０４のＹｅｓ）、信号生成部４４は、車載機器１０を操作するための操作信号を生成し（ステップＳ１０５）、例えば通信部３３を介して車載機器１０に操作信号を送信して（ステップＳ１０６）、処理を終了する。
　以上のように、本実施形態に係る操作支援装置３０は、車載機器１０が搭載される車両の乗員により所定動作が行われたか否かを判定する判定部４１と、所定動作が行われたと判定された場合、判定時点における車載機器１０の状態を取得する取得部４２と、取得された状態に対応する車載機器１０の操作情報を表示部３１に表示させる表示制御部４３とを備える。
　本実施形態に係る操作支援方法は、車載機器１０が搭載される車両の乗員により所定動作が行われたか否かを判定することと、所定動作が行われたと判定された場合、判定時点における車載機器１０の状態を取得することと、取得された状態に対応する車載機器１０の操作情報を表示部３１に表示させることとを含む。
　本実施形態に係る操作支援プログラムは、車載機器１０が搭載される車両の乗員により所定動作が行われたか否かを判定する処理と、所定動作が行われたと判定された場合、判定時点における車載機器１０の状態を取得する処理と、取得された状態に対応する車載機器１０の操作情報を表示部３１に表示させる処理とをコンピュータに実行させる。
　これらの構成によれば、車載機器１０が搭載される車両の乗員により所定動作が行われた場合に、判定時点における車載機器１０の操作情報が表示部３１に表示されるため、車載機器１０についての情報を乗員に適切に把握させることができる。
　本実施形態に係る操作支援装置３０において、判定部４１は、乗員の視線または乗員の発声に基づいて所定動作が行われたか否かを判定する。この構成により、乗員の所定動作を適切に検出して判定を行うことができる。
　本実施形態に係る操作支援装置３０において、表示制御部４３は、操作情報に対応する操作を行うための操作指標を表示部３１に表示させ、操作指標が選択された場合に車載機器１０に対して操作を行うための操作信号を生成する信号生成部４４を更に備える。この構成により、車載機器１０の操作を適切に行うことができる。
　次に、操作支援装置３０の他の例について説明する。以下の例において、操作支援装置３０の構成及び操作支援システム１００の構成については、上記実施形態と共通である。操作支援装置３０の制御部３４及び記憶部３５において行われる動作内容が上記とは異なるため、相違点を中心として説明する。
　車載機器１０は、案内情報を車載表示部１１に表示する際、車載表示部１１に対して所定の指標を併せて表示する。この指標は、例えばアイコンであってもよいし、バーコード、２次元コード等のコードであってもよい。車載機器１０は、車載表示部１１のうちアイコンが表示される領域にタッチされた場合等のように当該アイコンが選択された場合、その旨の情報（以下、アイコン選択情報と表記する）を通信部１３から操作支援装置３０に送信する。
　制御部３４において、判定部４１は、車載表示部１１に所定の指標が表示される場合に、指標に関する所定操作が行われたか否かを判定する。判定部４１は、例えば車載機器１０から送信されるアイコン選択情報を受信した場合、所定操作が行われたと判定することができる。また、車載表示部１１にコードが表示される場合、判定部４１は、カメラ３６によりコードが撮影される等によりコードに含まれる情報を取得した場合、所定操作が行われたと判定することができる。
　取得部４２は、所定操作が行われたと判定された場合、判定時点における車載機器１０の表示内容を取得する。取得部４２は、操作支援装置３０のカメラ３６で車載表示部１１の表示内容を撮影するように指示する情報を表示部３１に表示してもよい。また、取得部４２は、判定時点における車載機器１０の状態を操作部３２により入力するように指示する情報を表示部３１に表示してもよい。また、車内検出装置２０のカメラ２１により撮影するように要求してもよい。
　表示制御部４３は、取得された表示内容に対応する車載機器１０の操作情報を表示部３１に表示させる。例えば、車載表示部１１に地図情報と操作パネルとが表示される場合、表示制御部４３は、表示内容に含まれる各操作パネルの機能を説明する情報等を操作情報として表示部３１に表示させることができる。操作情報の具体的内容としては、例えば車載機器のマニュアルに記載されている情報等が挙げられる。
　表示制御部４３は、判定時点における表示部の表示内容に対応する内容の画像と、画像に含まれる操作パネル等の対象物の操作情報を表示させるための選択指標とを表示部に表示させることができる。表示制御部４３は、選択指標が選択された場合に当該選択指標に対応する対象物の操作情報を表示部に表示させることができる。
　信号生成部４４は、上記実施形態と同様に、表示部３１に表示される操作情報について、当該操作情報に該当する操作を車載機器１０に対して行う旨の情報が例えば操作部３２等により入力された場合、車載機器１０を操作するための操作信号を生成する。生成された操作信号は、例えば通信部３３を介して車載機器１０に送信することができる。車載機器１０に操作信号が送信された場合、車載機器１０は、操作信号に対応する動作を行う。
　記憶部３５は、車載機器１０に設けられる車載表示部１１に所定の指標が表示される場合に、指標に関する所定操作が行われたか否かを判定する処理と、所定操作が行われたと判定された場合、判定時点における車載表示部１１の表示内容を取得する処理と、取得された表示内容に対応する車載機器１０の操作情報を表示部３１に表示させる処理とをコンピュータに実行させる操作支援プログラムを記憶する。
　次に、図８及び図９を用いて、他の実施形態に係る操作支援システム１００の動作を説明する。図８から図９は、操作支援システム１００の動作の他の例を示す図である。図８に示すように、車載機器１０の車載表示部１１にアイコン１１ａが表示され、乗員によってアイコン１１ａがタッチされる場合、アイコン選択情報を通信部１３から操作支援装置３０に送信する。判定部４１は、例えば車載機器１０から送信されるアイコン選択情報を受信した場合、所定操作が行われたと判定する。
　また、図９に示すように、車載表示部１１にコードが表示される場合において、判定部４１は、カメラ３６によりコードが撮影される等によりコードに含まれる情報を取得した場合、所定操作が行われたと判定する。取得部４２は、所定動作が行われたと判定された場合、判定時点における車載機器１０の車載表示部１１の表示内容を取得する。なお、コードは代表的なものとして２次元コード、ＱＲコード（登録商標）、３次元コードであってもよい。
　表示制御部４３は、取得された状態に対応する車載機器１０の操作情報を表示部３１に表示させる。例えば、表示制御部４３は、図１０に示すように、判定時点における表示部３１の表示内容に対応する内容の画像と、画像に含まれる対象物の操作情報を表示させるための選択指標とを表示部３１に表示させ、選択指標が選択された場合に当該選択指標に対応する対象物の操作情報を表示部３１に表示させる。乗員は、表示部３１に表示される情報を見ることにより、車載機器１０の操作情報を適切に取得できる。
　また、上記同様、表示部３１に表示される操作情報について、当該操作情報に該当する操作を車載機器１０に対して行う旨の情報が例えば操作部３２等により入力することができる。例えば、信号生成部４４は、表示部３１のうち、操作情報が表示される領域に選択領域を設定することができる。信号生成部４４は、例えば選択領域がタッチされる等、当該選択領域を選択する旨の入力が行われた場合、選択領域に表示される操作情報に対応する操作を車載機器１０に行わせるための操作信号を生成する。信号生成部４４は、生成した操作信号を、通信部３３を介して車載機器１０に送信することができる。車載機器１０に操作信号が送信された場合、車載機器１０は、操作信号に対応する動作を行う。
　図１１は、本実施形態に係る操作支援方法の一例を示すフローチャートである。図１１に示すように、判定部４１は、車載機器１０に設けられる車載表示部１１に所定の指標が表示されるか否かを判定する（ステップＳ２０１）。所定の指標が表示されていないと判定される場合（ステップＳ２０１のＮｏ）、処理を終了する。所定の指標が表示されると判定される場合（ステップＳ２０１のＹｅｓ）、指標に関する所定操作が行われたか否かを判定する（ステップＳ２０２）。所定操作が行われないと判定された場合（ステップＳ２０２のＮｏ）、ステップＳ２０２の処理を繰り返し行う。
　所定操作が行われたと判定された場合（ステップＳ２０２のＹｅｓ）、取得部４２は、判定時点における車載機器１０の車載表示部１１の表示内容を取得する（ステップＳ２０３）。表示制御部４３は、取得された表示内容に対応する車載機器１０の操作情報を表示部３１に表示させる（ステップＳ２０４）。
　操作情報が表示された状態において、信号生成部４４は、表示部３１に表示される操作情報について、当該操作情報に該当する操作を車載機器１０に対して行う旨の情報が入力されたか否かを判定する（ステップＳ２０５）。入力されないと判定した場合（ステップＳ２０５のＮｏ）、ステップＳ２０５の処理を繰り返し行う。なお、入力されない期間が所定期間経過した場合又は処理終了のトリガーが発生した場合、処理を終了してもよい。また、入力されたと判定した場合（ステップＳ２０５のＹｅｓ）、信号生成部４４は、車載機器１０を操作するための操作信号を生成し（ステップＳ２０６）、例えば通信部３３を介して車載機器１０に操作信号を送信して（ステップＳ２０７）、処理を終了する。
　以上のように、本実施形態に係る操作支援装置３０は、車載機器１０に設けられる車載表示部１１に所定の指標が表示される場合に、指標に関する所定操作が行われたか否かを判定する判定部４１と、所定操作が行われたと判定された場合、判定時点における車載表示部１１の表示内容を取得する取得部４２と、取得された表示内容に対応する車載機器１０の操作情報を表示部３１に表示させる表示制御部４３とを備える。
　本実施形態に係る操作支援方法は、車載機器１０に設けられる車載表示部１１に所定の指標が表示される場合に、指標に関する所定操作が行われたか否かを判定することと、所定操作が行われたと判定された場合、判定時点における車載表示部１１の表示内容を取得することと、取得された表示内容に対応する車載機器１０の操作情報を表示部３１に表示させることとを含む。
　本実施形態に係る操作支援プログラムは、車載機器１０に設けられる車載表示部１１に所定の指標が表示される場合に、指標に関する所定操作が行われたか否かを判定する処理と、所定操作が行われたと判定された場合、判定時点における車載表示部１１の表示内容を取得する処理と、取得された表示内容に対応する車載機器１０の操作情報を表示部３１に表示させる処理とをコンピュータに実行させる。
　これらの構成によれば、車載表示部１１に所定の指標が表示される場合に、指標に関する所定操作が行われた場合に、車載機器１０の操作情報が表示部３１に表示されるため、車載機器１０についての情報を乗員又は同乗者に適切に把握させることができる。
　本実施形態に係る操作支援装置３０において、判定部４１は、乗員の視線及び乗員の発声に基づいて所定動作が行われたか否かを判定する。この構成により、乗員の所定動作を適切に検出して判定を行うことができる。
　本実施形態に係る操作支援装置３０において、表示制御部４３は、判定時点における表示部３１の表示内容に対応する内容の画像と、画像に含まれる対象物の操作情報を表示させるための選択指標とを表示部３１に表示させ、選択指標が選択された場合に当該選択指標に対応する対象物の操作情報を表示部３１に表示させる。この構成により、乗員に対して容易かつ適切に操作情報を把握させることができる。
　本実施形態に係る操作支援装置３０において、表示制御部４３は、操作情報に対応する操作を行うための操作指標を表示部３１に表示させ、操作指標が選択された場合に車載機器１０に対して操作を行うための操作信号を生成する信号生成部４４を更に備える。この構成により、車載機器１０の操作を適切に行うことができる。
　本開示の技術範囲は上記実施形態に限定されるものではなく、本開示の趣旨を逸脱しない範囲で適宜変更を加えることができる。例えば、上記実施形態では、車載機器１０のマニュアルが車載機器１０の記憶部１５及び操作支援装置３０の記憶部３５に記憶された場合を例に挙げて説明したが、これに限定されない。当該マニュアルは、外部サーバに保存された構成であり、適宜サーバにアクセスしてダウンロード可能な構成であってもよい。
　また、上記実施形態に係る操作支援装置３０は、運転者に限られず、同乗者の端末を用いてもよい。また、操作支援装置３０を車載機器１０とペアリング等により対応付けることで、自家用車のみならず、レンタカー等の他の車両に搭載されている車載機器１０とペアリング等を行うことで本開示の適用が可能となる。また、操作支援装置３０は、運転者により運転中の操作が検出された場合、動作しないように設定されてもよい。
　本開示に係る操作支援装置、操作支援方法及び操作支援プログラムは、例えばコンピュータ等の処理装置等に利用することができる。
　１０…車載機器、１１…車載表示部、１１ａ…地図情報、１１ｂ…操作パネル、１１ｃ…アイコン、１１ｄ…コード、１２，３２…操作部、１３，３３…通信部、１４，３４…制御部、１５，３５…記憶部、２０…車内検出装置、２１，３６…カメラ、２２，３７…音声取得部、３０…操作支援装置、３１…表示部、３１ａ…操作情報、４１…判定部、４２…取得部、４３…表示制御部、４４…信号生成部、１００…操作支援システム

Claims (10)

  1. 　車載機器が搭載される車両の乗員により所定動作が行われたか否かを判定する判定部と、
    　前記所定動作が行われたと判定された場合、判定時点における前記車載機器の状態を取得する取得部と、
    　取得された前記状態に対応する前記車載機器の操作情報を表示部に表示させる表示制御部と
    　を備える操作支援装置。
  2. 　前記判定部は、前記乗員の視線または前記乗員の発声に基づいて前記所定動作が行われたか否かを判定する
    　請求項１に記載の操作支援装置。
  3. 　前記表示制御部は、前記操作情報に対応する操作を行うための操作指標を前記表示部に表示させ、
    　前記操作指標が選択された場合に前記車載機器に対して前記操作を行うための操作信号を生成する信号生成部を更に備える
    　請求項１又は請求項２に記載の操作支援装置。
  4. 　車載機器が搭載される車両の乗員により所定動作が行われたか否かを判定することと、
    　前記所定動作が行われたと判定された場合、判定時点における前記車載機器の状態を取得することと、
    　取得された前記状態に対応する前記車載機器の操作情報を表示部に表示させることと
    　を含む操作支援方法。
  5. 　車載機器が搭載される車両の乗員により所定動作が行われたか否かを判定する処理と、
    　前記所定動作が行われたと判定された場合、判定時点における前記車載機器の状態を取得する処理と、
    　取得された前記状態に対応する前記車載機器の操作情報を表示部に表示させる処理と
    　をコンピュータに実行させる操作支援プログラム。
  6. 　車載機器に設けられる車載表示部に所定の指標が表示される場合に、前記指標に関する所定操作が行われたか否かを判定する判定部と、
    　前記所定操作が行われたと判定された場合、判定時点における前記車載表示部の表示内容を取得する取得部と、
    　取得された前記表示内容に対応する前記車載機器の操作情報を表示部に表示させる表示制御部と
    　を備える操作支援装置。
  7. 　前記表示制御部は、前記判定時点における前記表示部の表示内容に対応する内容の画像と、前記画像に含まれる対象物の前記操作情報を表示させるための選択指標とを前記表示部に表示させ、前記選択指標が選択された場合に当該選択指標に対応する前記対象物の前記操作情報を前記表示部に表示させる
    　請求項６に記載の操作支援装置。
  8. 　前記表示制御部は、前記操作情報に対応する操作を行うための操作指標を前記表示部に表示させ、
    　前記操作指標が選択された場合に前記車載機器に対して前記操作を行うための操作信号を生成する信号生成部を更に備える
    　請求項６又は請求項７に記載の操作支援装置。
  9. 　車載機器に設けられる車載表示部に所定の指標が表示される場合に、前記指標に関する所定操作が行われたか否かを判定することと、
    　前記所定操作が行われたと判定された場合、判定時点における前記車載表示部の表示内容を取得することと、
    　取得された前記表示内容に対応する前記車載機器の操作情報を表示部に表示させることと
    　を含む操作支援方法。
  10. 　車載機器に設けられる車載表示部に所定の指標が表示される場合に、前記指標に関する所定操作が行われたか否かを判定する処理と、
    　前記所定操作が行われたと判定された場合、判定時点における前記車載表示部の表示内容を取得する処理と、
    　取得された前記表示内容に対応する前記車載機器の操作情報を表示部に表示させる処理と
    　をコンピュータに実行させる操作支援プログラム。
PCT/JP2022/028732 2021-12-07 2022-07-26 操作支援装置、操作支援方法及び操作支援プログラム WO2023105843A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2021198271A JP2023084225A (ja) 2021-12-07 2021-12-07 操作支援装置、操作支援方法及び操作支援プログラム
JP2021-198271 2021-12-07
JP2021198543A JP2023084386A (ja) 2021-12-07 2021-12-07 操作支援装置、操作支援方法及び操作支援プログラム
JP2021-198543 2021-12-07

Publications (1)

Publication Number Publication Date
WO2023105843A1 true WO2023105843A1 (ja) 2023-06-15

Family

ID=86730046

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/028732 WO2023105843A1 (ja) 2021-12-07 2022-07-26 操作支援装置、操作支援方法及び操作支援プログラム

Country Status (1)

Country Link
WO (1) WO2023105843A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017090614A (ja) * 2015-11-09 2017-05-25 三菱自動車工業株式会社 音声認識制御システム
WO2019150529A1 (ja) * 2018-02-01 2019-08-08 マクセル株式会社 携帯端末装置及び情報表示方法
JP2021146868A (ja) * 2020-03-18 2021-09-27 トヨタ自動車株式会社 車両用表示装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017090614A (ja) * 2015-11-09 2017-05-25 三菱自動車工業株式会社 音声認識制御システム
WO2019150529A1 (ja) * 2018-02-01 2019-08-08 マクセル株式会社 携帯端末装置及び情報表示方法
JP2021146868A (ja) * 2020-03-18 2021-09-27 トヨタ自動車株式会社 車両用表示装置

Similar Documents

Publication Publication Date Title
US20190092345A1 (en) Driving method, vehicle-mounted driving control terminal, remote driving terminal, and storage medium
US20130170710A1 (en) Method for supporting a user of a motor vehicle in operating the vehicle and portable communication device
JP2012254618A5 (ja) 画像形成装置、画像形成システム、制御方法、およびプログラム。
US20150178990A1 (en) System and method for in-vehicle interaction
EP2650163A1 (en) In-car information system, information terminal, and application execution method
US20140218188A1 (en) Method and apparatus for analyzing concentration level of driver
US20170214781A1 (en) Non-transitory computer readable storage medium, remote operation supporting method, and information processing apparatus
US20140281964A1 (en) Method and system for presenting guidance of gesture input on a touch pad
CN108919959B (zh) 车辆人机交互方法及系统
CN108027903B (zh) 信息处理设备、控制方法和程序
WO2017002708A1 (ja) 画像表示制御装置
CN112905004B (zh) 一种用于车载显示屏的手势控制方法、装置和存储介质
US10297225B2 (en) Information processing system and information processing method causing a portable communications terminal to cooperate with an electronic device
JP2019175449A (ja) 情報処理装置、情報処理システム、移動体、情報処理方法、及びプログラム
JP2016097928A (ja) 車両用表示制御装置
JPWO2007135865A1 (ja) 撮影制御装置、撮影制御方法、撮影制御プログラム、および記録媒体
JP2018055614A (ja) ジェスチャ操作システム、ジェスチャ操作方法およびプログラム
US20160218999A1 (en) Information processing apparatus, information terminal, information communication relay apparatus, and information processing method
WO2023105843A1 (ja) 操作支援装置、操作支援方法及び操作支援プログラム
US9043721B2 (en) Vehicular manipulation apparatus
US20140181651A1 (en) User specific help
JP2023084225A (ja) 操作支援装置、操作支援方法及び操作支援プログラム
JP2023084386A (ja) 操作支援装置、操作支援方法及び操作支援プログラム
JP2019012365A5 (ja)
JP2015148831A (ja) 車載情報システム、情報端末、アプリケーション実行方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22903779

Country of ref document: EP

Kind code of ref document: A1