WO2023112113A1 - 通信システム、情報処理装置、情報処理方法、プログラム及び記録媒体 - Google Patents

通信システム、情報処理装置、情報処理方法、プログラム及び記録媒体 Download PDF

Info

Publication number
WO2023112113A1
WO2023112113A1 PCT/JP2021/045940 JP2021045940W WO2023112113A1 WO 2023112113 A1 WO2023112113 A1 WO 2023112113A1 JP 2021045940 W JP2021045940 W JP 2021045940W WO 2023112113 A1 WO2023112113 A1 WO 2023112113A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
communication
unit
voice
audio
Prior art date
Application number
PCT/JP2021/045940
Other languages
English (en)
French (fr)
Inventor
廣人 根岸
昂生 加峯
晶勅 床井
靖之 野田
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to PCT/JP2021/045940 priority Critical patent/WO2023112113A1/ja
Publication of WO2023112113A1 publication Critical patent/WO2023112113A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a communication system, an information processing device, an information processing method, a program, and a recording medium, and for example, a communication system, an information processing device, an information processing method, a program, and a recording medium for providing an image from a mobile body to the outside. Regarding.
  • Patent Document 1 There is a communication system that communicates between an in-vehicle device installed in a vehicle and an external terminal located outside the vehicle.
  • a voice call is performed between a driver of a vehicle and an operator of a terminal outside the vehicle.
  • a system for transmitting an image to a terminal outside the vehicle and displaying the image on the terminal outside the vehicle has been disclosed (for example, Patent Literature 1).
  • the present invention has been made in view of the above points, and one of the objects thereof is to provide a communication system capable of starting audio-visual communication at an arbitrary timing while a vehicle is running.
  • the invention according to claim 1 is a communication system for performing audio-visual communication for sequentially transmitting audio and video in the vehicle acquired by a first device that moves with the vehicle to a second device, wherein a transmitter for transmitting connection information used for connection with the first device to a destination specified based on the voice in response to voice from the second device; and a connection attempt from the second device using the connection information. and a communication connection unit that communicably connects the first device and the second device.
  • an information processing apparatus for performing audio-visual communication for sequentially transmitting an image captured in a vehicle and a voice from a passenger of the vehicle, wherein the voice from the passenger of the vehicle is A voice recognition unit that performs recognition, and a transmission unit that transmits connection information used in the audio/video communication to a destination specified based on the result of voice recognition by the voice recognition unit.
  • FIG. 1 is an overall configuration diagram of a communication system according to a first embodiment
  • FIG. FIG. 2 is a diagram showing the configuration of the front seat portion of the vehicle according to the first embodiment
  • 3A and 3B are diagrams illustrating the configuration of the terminal device 20 and the display mode of an image in the terminal device 20 according to the first embodiment
  • FIG. 1 is a block diagram of an in-vehicle device according to Embodiment 1
  • FIG. It is a figure which shows an example of the information stored in a registrant database. It is a figure which shows an example of the invitation message transmitted from an in-vehicle device.
  • 3 is a block diagram of a server according to Example 1
  • FIG. 1 is a block diagram of a terminal device according to Example 1
  • 4 is a flowchart showing a start processing routine executed by a control unit of an in-vehicle device; 4 is a flow chart showing a connection processing routine executed by a control unit of the server; 4 is a flowchart showing an audio/video transmission processing routine executed by an in-vehicle device; 4 is a flowchart showing an audio/video transmission processing routine executed by a server; It is a figure which shows the modification of the information stored in a registrant database.
  • FIG. 1 is an overall configuration diagram of a communication system 100 according to this embodiment. As shown in FIG. 1, the communication system 100 is configured by connecting an in-vehicle device 10, a terminal device 20, and a server 30 mounted on a vehicle M as a mobile object via a network NW.
  • the in-vehicle device 10 and the server 30 are connected via the network NW, and the terminal device 20 and the server 30 are connected via the network NW.
  • the in-vehicle device 10 and the terminal device 20 are configured to be able to transmit and receive information via the server 30 .
  • the network NW is, for example, LTE (Long Term Evolution), 4G (4th Generation) or 5G (5th Generation: 5th generation mobile communication system) via a mobile communication network that communicates via a connection to a base station It is a network that
  • FIG. 2 is a diagram showing the front seat portion of the vehicle M on which the in-vehicle device 10 according to the first embodiment is mounted.
  • the in-vehicle device 10 is connected to each of an exterior camera 11, an in-vehicle camera 12, a GPS receiver 13, a microphone 14, a touch panel display 15, and a speaker 16 installed in the vehicle M, and a control unit for controlling these. including.
  • the in-vehicle device 10 is arranged, for example, in the central portion of the dashboard DB in the front seats of the vehicle M. As shown in FIG.
  • the vehicle exterior photography camera 11 as a first photography unit is an imaging device that photographs the situation outside the vehicle M.
  • the exterior camera 11 is a wide-angle camera that captures a wide area in front of the vehicle M through the windshield FG.
  • the vehicle exterior photographing camera 11 is arranged on the dashboard DB.
  • the in-vehicle photographing camera 12 as a first photographing unit is an imaging device that photographs the situation inside the vehicle M.
  • the in-vehicle photographing camera 12 is a camera that photographs the driver of the vehicle M.
  • the in-vehicle camera 12 is provided on the upper end of the windshield FG or on the ceiling near the upper end.
  • exterior photographing camera 11 and interior photographing camera 12 may be multidirectional cameras capable of photographing an image of the exterior of the vehicle M and an image of the interior of the vehicle M with a single camera as a first photographing unit. .
  • the GPS receiver 13 is a receiver that receives signals (GPS signals) from GPS (Global Positioning System) satellites.
  • GPS Global Positioning System
  • the GPS receiver 13 is arranged on the dashboard DB.
  • a microphone 14 as a first sound collecting unit receives sounds in the vehicle, for example, sounds emitted by the driver and fellow passengers of the vehicle M (hereinafter collectively referred to as passengers), and converts them into electrical signals for voice input. It is a device. In this embodiment, the microphone 14 is arranged on the dashboard DB.
  • the touch panel display 15 as the first display unit is a display device in which a display that performs screen display based on the control of the in-vehicle device 10 and a touch panel that accepts input operations from passengers of the vehicle M are combined.
  • the touch panel display 15 is arranged in the center of the dashboard DB.
  • the touch panel display 15 displays, for example, a navigation image in which the current position of the vehicle M (hereinafter also referred to as the current position) and the planned travel route (hereinafter also referred to as the travel route) are superimposed on the map.
  • the speaker 16 as the first sound output unit is an audio output device that outputs audio based on electrical signals transmitted from the outside.
  • the speaker 16 is provided on each of the two A-pillars AP.
  • the passenger of the vehicle M can make voice calls with the operator of the terminal device 20 (hereinafter also referred to as the user) via the microphone 14 and speaker 16 connected to the in-vehicle device 10 .
  • the positions of the in-vehicle device 10, the camera outside the vehicle 11, the camera inside the vehicle 12, the GPS receiver 13, the microphone 14, the touch panel display 15, and the speaker 16 in the front seat portion of the vehicle M are merely examples, and these are not the same. position.
  • the exterior camera 11 may be installed anywhere as long as it can capture the situation in front of the vehicle M, and may be installed on the upper end of the windshield FG or on the ceiling near the upper end.
  • the in-vehicle device 10 is an image of the outside of the vehicle M captured by the camera 11 outside the vehicle or an image of the inside of the vehicle M captured by the camera 12 inside the vehicle. ” is sequentially transmitted to the terminal device 20 via the server 30 . It should be noted that it is possible to select in advance which of the in-vehicle image and the outside image is to be transmitted by operating the touch panel display 15 . In addition, the in-vehicle device 10 sequentially transmits information on the current position of the vehicle M and information on the moving route of the vehicle M to the server 30 .
  • FIG. 3 is a diagram showing the configuration of the terminal device 20 and the display mode of the image displayed on the terminal device 20.
  • the terminal device 20 is a communication device including a frame F and a microphone 21, a speaker 22, and a touch panel display 23 housed in the frame F. As shown in FIG. In this embodiment, the terminal device 20 is a smart phone capable of communicating with others through communication.
  • the microphone 21 as a second sound collecting unit is a voice input device that receives voice uttered by the user of the terminal device 20 and converts it into an electric signal.
  • the microphone 21 is provided on one end side of the terminal device 20 .
  • the speaker 22 as a sound output unit or a second sound output unit is an audio output device that outputs audio based on electrical signals transmitted from the outside.
  • the speaker 22 is provided on the other end side of the terminal device 20 .
  • the first sound information indicating the sound collected by the microphone 14 as the first sound collector of the in-vehicle device 10 is output from the speaker 22 as the sound output unit by the control unit of the terminal device 20 .
  • the control unit of the terminal device 20 is a sound output control unit that controls the speaker 22 and outputs the sound collected in the vehicle M as the moving body sound.
  • the second sound information indicating the sound collected by the microphone 21 as the second sound collector is output from the speaker 16 as the first sound output section by the control section of the in-vehicle device 10 described above.
  • the touch panel display 23 as a display unit or a second display unit is a display device in which a display that displays a screen based on the control of the terminal device 20 and a touch panel that accepts an input operation from the user of the terminal device 20 are combined. be.
  • a touch panel display 23 is provided in the center of the terminal device 20 .
  • the operator of the terminal device 20 is configured to be able to make voice calls with the driver of the vehicle M in which the in-vehicle device 10 is mounted via the microphone 21 and the speaker 22 described above.
  • the terminal device 20 sequentially receives video information transmitted from the in-vehicle device 10 via the server 30 . Specifically, the terminal device 20 sequentially receives video information of an in-vehicle video or an exterior video captured in the vehicle M from the in-vehicle device 10 via the server 30 .
  • the terminal device 20 sequentially receives image data representing map images that are sequentially transmitted from the server 30 . Specifically, the terminal device 20 sequentially receives image data indicating a map image generated by the server 30 based on the current position of the vehicle M and the movement route.
  • the communication system 100 is configured so that the driver of the vehicle M in which the in-vehicle device 10 is mounted and the operator of the terminal device 20 can communicate with each other.
  • the communication system 100 allows the image of the exterior of the vehicle M captured by the exterior camera 11 and the map image including the current position and moving route of the vehicle M to be displayed on the touch panel display 23 of the terminal device 20. real-time display is possible.
  • the communication system 100 is configured so that the in-vehicle device 10 can perform live streaming to the terminal device 20 .
  • the in-vehicle device 10 while establishing voice communication between the in-vehicle device 10 and the terminal device 20, transmits to the terminal device 20 an image such as an image of the outside of the vehicle M, the current position of the vehicle M, and the moving route. is referred to as audiovisual communication here.
  • the in-vehicle device 10 and the terminal device 20 perform audio-visual communication via the server 30 .
  • the user using the terminal device 20 can experience a virtual passenger (hereinafter referred to as "VP") riding in the vehicle M virtually.
  • VP virtual passenger
  • the video and map image received by the terminal device 20 are displayed on the touch panel display 23.
  • the first display area A1 displays the image of the outside (front) of the vehicle M
  • the second display area A2 displays the current position PL of the vehicle M and the image of the vehicle.
  • a map image on which the moving route R of M is shown is displayed.
  • the first display area A1 is larger than the second display area A2.
  • the image of the exterior of the vehicle M is displayed in a form larger than the map image.
  • FIG. 4 is a block diagram showing the configuration of the in-vehicle device 10.
  • the control unit 17 is a processing device including a CPU (Central Processing Unit) and a RAM (Random Access Memory).
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • the storage unit 18 is a storage device that stores and manages data necessary for the processing of the control unit 17.
  • the storage unit 18 is configured by a storage device such as a hard disk, flash memory, SSD (Solid State Drive), or the like.
  • the storage unit 18 stores map data.
  • the storage unit 18 also stores a registrant database 181 (hereinafter referred to as a registrant DB 181) that stores callers registered as partners of audiovisual communication (hereinafter referred to as registered callers) and their contact information. have.
  • FIG. 5 is a diagram showing an example of information registered in the registrant DB 181.
  • the registered person DB 181 stores the name of the registered caller and the contact information to which the invitation message is sent.
  • the phone number of a smartphone or the like is stored in the registrant DB 181 as contact information.
  • the communication unit 19 is a communication device that transmits and receives data to and from an external device according to instructions from the control unit 17.
  • the communication unit 19 includes, for example, a NIC (Network Interface Card) for connecting to the network NW.
  • the communication unit 19 functions, for example, as a transmission unit that transmits the voice acquired in the vehicle M, the in-vehicle image or the exterior image of the vehicle M, and the current position information of the vehicle M to the server 30 .
  • the voice recognition unit 171 is a functional block that performs voice recognition on voice input from the microphone 14 (hereinafter referred to as input voice).
  • the speech recognition unit 171 performs speech recognition by converting input speech into character strings. For example, when the driver of the vehicle M calls out "VP with Mr. A! Speech recognition as
  • the invitation message transmission unit 172 generates an invitation message including connection information used for communication connection for audiovisual communication.
  • This connection information is composed of, for example, a URL (Uniform Resource Locator) or the like, and is connection information used for a connection trial operation for establishing a communication connection for audio-visual communication with the in-vehicle device 10 from the outside of the vehicle M.
  • the invitation message sending unit 172 sends an invitation message to the destination specified by the result of speech recognition by the speech recognition unit 171 and the contact information stored in the registrant DB 181 .
  • the invitation message is sent using, for example, a short message service addressed to a telephone number.
  • FIG. 6 is a diagram showing an example of an invitation message transmitted from the in-vehicle device 10.
  • FIG. Here, the case where the invitation mail is received by the terminal device 20 and displayed on the touch panel display 23 is shown as an example.
  • the invitation message contains a URL as connection information.
  • An operator who operates the terminal device 20 accesses the URL described in the invitation mail and performs a connection trial operation.
  • the connection for the audio-visual communication is established when the driver confirms the connection trial operation.
  • FIG. 7 is a block diagram showing the configuration of the server 30.
  • the control unit 31 is a processing device including a CPU and a RAM.
  • the communication unit 32 is a communication device that transmits and receives data to and from an external device according to instructions from the control unit 31.
  • the communication unit 32 includes, for example, a NIC for connecting to the network NW.
  • the communication unit 32 functions as a receiving unit that receives, for example, images of the exterior and interior of the vehicle M, audio acquired inside the vehicle M, and information on the current position of the vehicle M from the in-vehicle device 10 .
  • the communication unit 32 functions as a transmission unit that transmits images of the exterior and interior of the vehicle M and audio acquired inside the vehicle M to the terminal device 20, for example.
  • the storage unit 33 is a storage device that stores and manages data necessary for the processing of the control unit 31.
  • the storage unit 33 is configured by a storage device such as a hard disk, flash memory, SSD, or the like.
  • Each functional block is formed by the control unit 31 reading and executing a program stored in the storage unit 33, for example.
  • the image information acquisition unit 34 is a functional block that acquires image information sequentially transmitted from the in-vehicle device 10 via the communication unit 32 . Specifically, the image information acquiring unit 34 acquires the in-vehicle image or the outside image of the vehicle M transmitted from the in-vehicle device 10 as the image information. The video information acquisition unit 34 transfers the received video information to the terminal device 20 via the communication unit 32 .
  • the vehicle information acquisition unit 35 is a functional block that sequentially acquires the current position information that is sequentially transmitted from the in-vehicle device 10, that is, the current position information of the vehicle M.
  • the voice communication control unit 36 is a functional block that controls voice communication between the in-vehicle device 10 and the terminal device 20. Specifically, the voice communication control unit 36 has a function of establishing a voice call between the in-vehicle device 10 and the terminal device 20 and transferring data of the voice call in the voice/video communication.
  • the connection control unit 37 is a functional block that controls the connection of audio-visual communication between the in-vehicle device 10 and the terminal device 20 .
  • the connection control unit 37 uses the connection information included in the invitation message transmitted from the in-vehicle device 10 to notify the driver of the vehicle M of audio-visual communication when the terminal device 20 performs a connection trial operation.
  • a confirmation message for confirming whether or not to establish a connection for the purpose is transmitted to the in-vehicle device 10 via the communication unit 32 .
  • FIG. 8 is a block diagram showing the configuration of the terminal device 20.
  • the control unit 24 is a processing device including a CPU and a RAM.
  • the communication unit 25 is a communication device that transmits and receives data to and from an external device according to instructions from the control unit 24.
  • the communication unit 25 includes, for example, a NIC for connecting to the network NW.
  • the communication unit 25 functions as a receiving unit that receives, for example, images of the exterior of the vehicle M and images of the interior of the vehicle M from the server 30 .
  • the communication unit 25 also functions as a transmission unit that transmits information corresponding to an operation input using the touch panel display 23 to the server 30 .
  • connection processing for establishing a connection for audio-visual communication between the in-vehicle device 10 and the terminal device 20 (hereinafter referred to as audio-visual communication connection) will be described.
  • the audio/video communication connection process is triggered when the driver of the vehicle M utters a voice to the microphone 14 requesting the start of audio/video communication. For example, when the driver of the vehicle M wants to start audiovisual communication with “Mr. , followed by a voice requesting the start of audiovisual communication with Mr. A, for example, a voice saying "Mr. A and VP!
  • the control unit 17 of the in-vehicle device 10 starts a start processing routine triggered by voice input via the microphone 14 .
  • FIG. 9 is a flowchart showing a start processing routine RST1 executed by the control unit 17 of the in-vehicle device 10 in connection processing for audio-visual communication connection between the in-vehicle device 10 and the terminal device 20.
  • FIG. 9 is a flowchart showing a start processing routine RST1 executed by the control unit 17 of the in-vehicle device 10 in connection processing for audio-visual communication connection between the in-vehicle device 10 and the terminal device 20.
  • the control unit 17 determines whether or not a voice emitted inside the vehicle M, that is, from a passenger of the vehicle M is input via the microphone 14 (STEP 101).
  • the start processing routine RST1 ends.
  • the voice recognition section 171 of the control section 17 performs voice recognition on the input voice (STEP 102).
  • control unit 17 determines whether or not the input speech is the speech requesting the start of audio-visual communication with the registered caller (STEP 103).
  • the start processing routine RST1 is terminated.
  • the control unit 17 determines that the voice is requesting the start of audiovisual communication (STEP 103: YES)
  • the control unit 17 reads out the contact information of the registered caller specified by the voice recognition of the voice recognition unit 171 from the registered person DB 181. (STEP 104). For example, when the voice recognition of the voice recognition unit 171 identifies that the registered caller requested as the other party of the audio-visual communication is Mr. A, the control unit 17 retrieves Mr. A's contact information from the registrant DB 181. Read out the information "090-11 ⁇ ".
  • invitation message transmitting section 172 of control section 17 generates an invitation message including connection information for audiovisual communication, and transmits the generated invitation message to the destination corresponding to the contact information read in STEP 104. (STEP 105).
  • the registered caller (for example, Mr. A) who receives the invitation message uses the connection information to attempt a connection. For example, when an invitation message is received by the terminal device 20, the registered caller operates the touch panel display 23 of the terminal device 20 and clicks the URL as the connection information included in the invitation message, thereby performing a connection attempt operation. .
  • the server 30 processes the audio-visual communication connection in response to this connection trial operation, whereby the audio-visual communication connection between the in-vehicle device 10 and the terminal device 20 is established.
  • FIG. 10 is a flowchart showing a processing routine RST2 for audio/video communication connection executed by the control unit 31 of the server 30.
  • FIG. 10 is a flowchart showing a processing routine RST2 for audio/video communication connection executed by the control unit 31 of the server 30.
  • the control unit 31 uses the connection information included in the invitation message to determine whether a connection attempt operation has been performed (STEP 201).
  • the processing routine RST2 is terminated.
  • the control unit 31 sends a confirmation message via the communication unit 32 to the driver of the vehicle M to confirm whether or not to perform the voice communication connection. It is transmitted to the in-vehicle device 10 (STEP 202).
  • the transmitted confirmation message is received by the communication unit 19 of the in-vehicle device 10 and notified to passengers of the vehicle M. For example, a confirmation message with the words "Do you want to start voice communication connection with Mr. A?"
  • the driver of the vehicle M responds by voice to the confirmation message displayed on the touch panel display 15.
  • the driver of the vehicle M makes a voice response of "Start".
  • the response to the effect that the voice communication connection is to be started is referred to as "acknowledgment”.
  • the confirmation response voice is input to the in-vehicle device 10 via the microphone 14 and voice recognition is performed by the voice recognition unit 171 .
  • the control unit 17 transmits information indicating a confirmation response to the server 30 based on the result of voice recognition by the voice recognition unit 171 .
  • the control unit 31 of the server 30 determines whether or not an acknowledgment from the in-vehicle device 10 has been received via the communication unit 32 (STEP 203). For example, if the control unit 31 receives a response from the in-vehicle device 10 not to establish a voice call connection, or if there is no confirmation response from the in-vehicle device 10 within a predetermined time after transmission of the confirmation message in STEP 202, the control unit 31 confirms Determine that no response has been received. When the control unit 31 determines that it has not received an acknowledgment (STEP 203: NO), it ends the processing routine RST2.
  • connection control section 37 of the control section 31 establishes an audio-visual communication connection between the in-vehicle device 10 and the terminal device 20 (STEP 204).
  • the control unit 17 of the in-vehicle device 10 starts an audio/video transmission processing routine REX1 for transmitting audio and video acquired in the vehicle M to the server 30 in response to the audio/video communication connection being established by the server 30 .
  • FIG. 11 is a flowchart showing an audio/video transmission processing routine REX1 executed by the control unit 17 of the in-vehicle device 10.
  • FIG. 11 is a flowchart showing an audio/video transmission processing routine REX1 executed by the control unit 17 of the in-vehicle device 10.
  • the control unit 17 determines whether or not the audio/video communication connection between the in-vehicle device 10 and the terminal device 20 has been established and the audio/video communication has started (STEP 301). When the control unit 17 determines that the audio/video communication has not started (STEP301: NO), it ends the audio/video transmission processing routine REX1.
  • control unit 17 detects the image of the exterior of the vehicle M captured by the exterior camera 11 and the image of the interior of the vehicle M captured by the interior camera 12. , and voice input via the microphone 14 are sequentially transmitted to the server 30 (STEP 302).
  • the control unit 17 determines whether or not the audio/video communication has ended (STEP 303). If it is determined that the audio/video communication has not ended (STEP 303: NO), the control unit 17 returns to STEP 102 and repeats transmission of video and audio. On the other hand, if it is determined that the audio/video communication has ended (STEP303: YES), the control section 17 stops transmitting the video and audio (STEP304), and ends the process.
  • the control unit 17 of the in-vehicle device 10 continues to transmit video and audio to the server 30 as long as the audio-visual communication between the in-vehicle device 10 and the terminal device 20 continues according to the above-described audio and video transmission processing routine REX1.
  • FIG. 12 is a flowchart showing an audio/video transmission processing routine REX2 executed by the control unit 31 of the server 30.
  • FIG. 12 is a flowchart showing an audio/video transmission processing routine REX2 executed by the control unit 31 of the server 30.
  • the control unit 31 determines whether or not the audio/video communication connection between the in-vehicle device 10 and the terminal device 20 has been established and the audio/video communication has started (STEP 401). When the control unit 31 determines that the audio/video communication has not started (STEP 401: NO), it ends the audio/video transmission processing routine REX2.
  • the video information acquisition unit 34 and the audio connection control unit 36 of the control unit 31 start sequentially receiving the video and audio transmitted from the in-vehicle device 10. (STEP 402).
  • the control unit 31 transfers the video and audio received in STEP 402 to the terminal device 20 (STEP 403).
  • the control unit 31 determines whether or not the audio/video communication has ended (STEP 404). If it is determined that the audio/video communication has not ended (STEP 404: NO), the control unit 31 returns to STEP 402 and continues receiving and transferring video and audio.
  • control unit 31 stops receiving and transferring video and audio (STEP405), and ends the process.
  • the driver of the vehicle M makes a voice call to start the audio-visual communication and to whom the other party is to be called.
  • the connection of the audio/video communication is established.
  • the driver does not need to operate the touch panel of the in-vehicle device 10 when starting the audio-visual communication, so the audio-visual communication can be started at any timing while the vehicle is running. becomes.
  • the voice recognition unit 171 converts the voice input via the microphone 14 into a character string
  • the invitation message transmission unit 172 reads out the destination corresponding to the converted character string from the registrant DB 181.
  • the case of sending an invitation message has been described as an example.
  • the speech recognition unit 171 may perform speech recognition by determining whether the speech input via the microphone 14 matches the speech pattern stored in the registrant DB 181, for example.
  • FIG. 13 is a diagram showing an example of registration information when the destination of a registered caller and the voice pattern corresponding to the destination are registered in the registrant database.
  • the speech recognition unit 171 determines whether or not the registrant database stores a speech pattern that matches the input speech input via the microphone 14 .
  • the control unit 17 reads the contact information of the registered caller corresponding to the voice pattern that matches the input voice.
  • invitation message sending unit 172 sends an invitation message to the destination specified by the read contact information.
  • the case where the in-vehicle device 10 transmits either one of the vehicle exterior image captured by the vehicle exterior camera 11 and the vehicle interior image captured by the vehicle interior camera 12 to the server 30 has been described as an example.
  • both the video outside the vehicle and the video inside the vehicle are transmitted. may be configured to transmit to
  • the server 30 may transmit both the video outside the vehicle and the video inside the vehicle to the terminal device 20 so that the terminal device 20 can select which video to display.
  • the touch panel display 23 of the terminal device 20 may be configured to simultaneously display the in-vehicle image and the out-of-vehicle image, one being the main screen and the other being the sub-screen, which are displayed in different sizes.
  • the present invention is not limited to this, and may be configured such that the e-mail address of the e-mail is stored in the registrant DB 181 as contact information, and the invitation message is sent by e-mail.
  • the invitation message is created after the invitation message sending unit 172 reads out the contact information. It may be created in advance before execution of the processing routine.
  • the in-vehicle device 10 may detect the presence or absence of a fellow passenger in the front passenger seat of the vehicle M, and transmit information regarding the presence or absence of the fellow passenger in addition to the invitation message.
  • the presence or absence of a fellow passenger can be detected based on, for example, an in-vehicle image acquired by the in-vehicle camera 12, seat belt detection information, or the like.
  • the registered caller who is the other party of the audio-visual communication, can know in advance whether or not there is a fellow passenger in the vehicle M.
  • a guidance route (planned travel route) is set in the in-vehicle device 10, and determines whether there is a guidance route, predicted driving time, destination information, and a map of the guidance route. may be sent as a message.
  • the registered caller who is the other party of the audio-visual communication can confirm information such as route and driving time before participating in the audio-visual communication.
  • the short message service has a character limit, so you may prioritize the information sent as a message. For example, the name has the highest priority, followed by the presence or absence of a fellow passenger, the last name, the presence or absence of route setting, the destination, and the URL indicating the route. If all the information cannot be included in the message due to the number of characters, the lower priority information is omitted from the transmission information.
  • the case of performing audio-visual communication between the in-vehicle device 10 and one terminal device has been described as an example.
  • a plurality of terminal devices may participate in the audiovisual communication.
  • voice communication is performed simultaneously with a plurality of terminal devices, information on participating users may be sent in addition to the invitation message.
  • a connection attempt operation is performed using the connection information included in the invitation message, and the audio-visual communication connection is performed when the driver confirms the connection attempt by voice.
  • the confirmation response by the driver is not limited to voice, and the confirmation response may be made by operating the touch panel display 15 .
  • the audio-visual connection may be performed in response to a connection attempt using the connection information without the confirmation response by the driver.
  • the series of processes in the control unit 17 of the in-vehicle device 10 and the control unit 31 of the server 30 described in the above embodiment may be performed by a computer executing a predetermined program.
  • the program may be recorded on a computer-readable recording medium.
  • the type of recording medium is not particularly limited, and may be, for example, an optical disk, hard disk, or semiconductor memory such as flash memory or SSD.
  • the program may be downloaded and installed in the in-vehicle device 10, the server 30, and the terminal device 20 via communication.
  • control routines shown in the above embodiments are merely examples, and can be appropriately selected and changed according to the application or usage conditions.
  • Communication system 10 In-vehicle device 11 Vehicle exterior camera 12 Vehicle interior camera 13 GPS receiver 14 Microphone 15 Touch panel display 16 Speaker 17 Control unit 171 Voice recognition unit 172 Invitation message transmission unit 18 Storage unit 181 Registrant DB 19 communication unit 20 terminal device 21 microphone 22 speaker 23 touch panel display 24 control unit 25 communication unit 30 server 31 control unit 32 communication unit 33 storage unit 34 video information acquisition unit 35 vehicle information acquisition unit 36 voice communication control unit 37 connection control unit

Abstract

【課題】車両の走行中に任意のタイミングで音声映像通信を開始することが可能な通信システムを提供する。 【解決手段】車両と共に移動する第１装置によって取得された前記車両における音声及び映像を第２装置に逐次送信する音声映像通信を行う通信システムであって、前記車両の搭乗者からの音声に応じて、前記音声に基づいて特定される宛先に前記第１装置との接続に用いる接続情報を送信する送信部と、前記接続情報を用いた前記第２装置からの接続試行に応じて、前記第１装置と前記第２装置とを通信可能に接続する通信接続部と、を有することを特徴とする。

Description

通信システム、情報処理装置、情報処理方法、プログラム及び記録媒体
　本発明は、通信システム、情報処理装置、情報処理方法、プログラム及び記録媒体に関し、例えば、移動体からの映像を外部に提供するための通信システム、情報処理装置、情報処理方法、プログラム及び記憶媒体に関する。
　車両に搭載される車載機と当該車両の外部に位置する車外端末との間で通信を行う通信ステムがある。例えば、特許文献１には、車両の運転者と車外端末の操作者との間で音声通話を行い、当該音声通話がなされているときに、車両の前方の映像を表す映像データを車載機から車外端末に送信し、当該映像を車外端末に表示させるシステムが開示されている（例えば、特許文献１）。
特開２０１６－２１３７９１号公報
　特許文献１のようなシステムでは、車両を運転するドライバーがダッシュボード等に配置された操作部を用いて音声通話の開始を要求する操作を行うことにより、音声通話のための通信が確立される。しかし、ドライバーが操作部を操作することができるのは車両が停車中のタイミングに限られ、運転中は操作することができないため、車両が走行を開始した後は音声通話をスムーズに開始することができないという問題があった。
　本発明は、上記した点に鑑みてなされたものであり、車両の走行中に任意のタイミングで音声映像通信を開始することが可能な通信システムを提供することを目的の一つとする。
　請求項１に記載の発明は、車両と共に移動する第１装置によって取得された前記車両における音声及び映像を第２装置に逐次送信する音声映像通信を行う通信システムであって、前記車両の運転者からの音声に応じて、前記音声に基づいて特定される宛先に前記第１装置との接続に用いる接続情報を送信する送信部と、前記接続情報を用いた前記第２装置からの接続試行に応じて、前記第１装置と前記第２装置とを通信可能に接続する通信接続部と、を有することを特徴とする。
　請求項５に記載の発明は、車両において撮像された映像及び前記車両の搭乗者からの音声を逐次送信する音声映像通信を行う情報処理装置であって、前記車両の搭乗者からの音声について音声認識を行う音声認識部と、前記音声認識部による音声認識の結果に基づいて特定される宛先に、前記音声映像通信に用いる接続情報を送信する送信部と、を有することを特徴とする。
実施例１に係る通信システムの全体構成図である。 実施例１に係る車両の前席部分の構成を示す図である。 実施例１に係る端末装置２０の構成及び端末装置２０における画像の表示態様を示す図である。 実施例１に係る車載装置のブロック図である。 登録者データベースに格納されている情報の一例を示す図である。 車載装置から送信される招待メッセージの一例を示す図である。 実施例１に係るサーバのブロック図である。 実施例１に係る端末装置のブロック図である。 車載装置の制御部が実行する開始処理ルーチンを示すフローチャートである。 サーバの制御部が実行する接続処理ルーチンを示すフローチャートである。 車載装置が実行する音声映像送信処理ルーチンを示すフローチャートである。 サーバが実行する音声映像送信処理ルーチンを示すフローチャートである。 登録者データベースに格納されている情報の変形例を示す図である。
　以下に本発明の好適な実施例を詳細に説明する。なお、以下の実施例における説明及び添付図面においては、実質的に同一または等価な部分には同一の参照符号を付している。
　図１は、本実施例に係る通信システム１００の全体構成図である。図１に示すように、通信システム１００は、移動体としての車両Ｍに搭載されている車載装置１０と端末装置２０とサーバ３０とが、ネットワークＮＷを介して接続されて構成されている。
　本実施例において、車載装置１０とサーバ３０とがネットワークＮＷを介して接続され、端末装置２０とサーバ３０とがネットワークＮＷを介して接続されている。言い換えれば、車載装置１０と端末装置２０とは、サーバ３０を介して情報の送受信が可能な構成となっている。
　ネットワークＮＷは、例えば、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）又は５Ｇ（5th Generation：第５世代移動通信システム）等の基地局への接続を介して通信を行う移動体通信網を経由するネットワークである。
　図２は、実施例１に係る車載装置１０が搭載されている車両Ｍの前席部分を示す図である。車載装置１０は、車両Ｍ内に設置された車外撮影カメラ１１、車内撮影カメラ１２、ＧＰＳ受信機１３、マイク１４、タッチパネルディスプレイ１５及びスピーカー１６の各々に接続されており、これらを制御する制御部を含む。車載装置１０は、例えば、車両Ｍの前席のダッシュボードＤＢ内の中央部に配置されている。
　第１撮影部としての車外撮影カメラ１１は、車両Ｍの外部の状況を撮影する撮像装置である。本実施例において、車外撮影カメラ１１は、フロントガラスＦＧを介して車両Ｍの前方の広い領域を撮影する広角カメラである。本実施例において、車外撮影カメラ１１は、ダッシュボードＤＢ上に配されている。
　第１撮影部としての車内撮影カメラ１２は、車両Ｍの内部の状況を撮影する撮像装置である。本実施例において、車内撮影カメラ１２は、車両Ｍの運転者を撮影するカメラである。本実施例において、車内撮影カメラ１２は、フロントガラスＦＧの上端または当該上端付近の天井部に設けられている。
　なお、上記した車外撮影カメラ１１及び車内撮影カメラ１２は、第１撮影部として１台のカメラで車両Ｍの外部の映像及び車両Ｍの内部の映像が撮影可能な多方向カメラであってもよい。
　ＧＰＳ受信機１３は、ＧＰＳ（Global Positioning System）衛星からの信号（ＧＰＳ信号）を受信する受信機である。本実施例において、ＧＰＳ受信機１３は、ダッシュボードＤＢ上に配されている。
　第１集音部としてのマイク１４は、車内の音、例えば車両Ｍの運転者や同乗者（以下、これらをまとめて搭乗者と称する）が発した音声を受けて電気信号に変換する音声入力装置である。本実施例において、マイク１４は、ダッシュボードＤＢ上に配されている。
　第１表示部としてのタッチパネルディスプレイ１５は、車載装置１０の制御に基づいて画面表示を行うディスプレイと、車両Ｍの搭乗者からの入力操作を受け付けるタッチパネルとが組み合わされている表示装置である。本実施例において、タッチパネルディスプレイ１５は、ダッシュボードＤＢの中央部に配されている。
　タッチパネルディスプレイ１５には、例えば、地図に車両Ｍの現在の位置（以後、現在位置とも称する）及び移動予定経路（以後、移動経路とも称する）が重畳されたナビゲーション画像が表示される。
　第１音出力部としてのスピーカー１６は、外部から送信された電気信号に基づいて音声を出力する音声出力装置である。本実施例において、スピーカー１６は、２つのＡピラーＡＰの各々にそれぞれ設けられている。
　本実施例において、車両Ｍの搭乗者は、車載装置１０に接続されているマイク１４及びスピーカー１６を介して端末装置２０の操作者（以下、ユーザとも称する）と音声通話可能である。
　上記した車両Ｍの前席部分における車載装置１０、車外撮影カメラ１１、車内撮影カメラ１２、ＧＰＳ受信機１３、マイク１４、タッチパネルディスプレイ１５及びスピーカー１６の各々の位置は例示に過ぎず、これらは他の位置に配されていてもよい。
　例えば、車外撮影カメラ１１は、車両Ｍの前方の状況を撮影可能であればどこに設けられていてもよく、フロントガラスＦＧの上端または当該上端付近の天井部に設けられていてもよい。
　本実施例において、車載装置１０は、車外撮影カメラ１１によって撮影された車両Ｍの外部の映像である「車外映像」又は車内撮影カメラ１２によって撮影された車両Ｍの内部の映像である「車内映像」のいずれか一方を示す映像情報を、サーバ３０を介して端末装置２０に逐次送信する。なお、車内映像及び車外映像のどちらを送信するかは、タッチパネルディスプレイ１５を用いた操作により事前に選択することが可能である。また、車載装置１０は、車両Ｍの現在位置の情報及び車両Ｍの移動経路の情報をサーバ３０に逐次送信する。
　図３は、端末装置２０の構成及び端末装置２０に表示される画像の表示態様を示す図である。端末装置２０は、フレームＦと、当該フレームＦに収められているマイク２１、スピーカー２２及びタッチパネルディスプレイ２３とを含む通信機器である。本実施例において、端末装置２０は、通信を介して他者との通話が可能なスマートフォンである。
　第２集音部としてのマイク２１は、端末装置２０のユーザが発した音声を受けて電気信号に変換する音声入力装置である。マイク２１は、端末装置２０の一端部側に設けられている。
　音出力部又は第２音出力部としてのスピーカー２２は、外部から送信された電気信号に基づいて音声を出力する音声出力装置である。スピーカー２２は、端末装置２０の他端部側に設けられている。
　上記した車載装置１０の第１集音部としてのマイク１４によって集音された音を示す第１音情報は、端末装置２０の制御部によって音出力部としてのスピーカー２２から音出力される。言い換えれば、端末装置２０の制御部は、スピーカー２２を制御して移動体音としての車両Ｍにおいて集音された音を出力する音出力制御部である。
　第２集音部としてのマイク２１によって集音された音を示す第２音情報は、上記した車載装置１０の制御部によって第１音出力部としてのスピーカー１６から音出力される。
　表示部又は第２表示部としてのタッチパネルディスプレイ２３は、端末装置２０の制御に基づいて画面表示を行うディスプレイと、端末装置２０のユーザからの入力操作を受け付けるタッチパネルとが組み合わされている表示装置である。タッチパネルディスプレイ２３は、端末装置２０の中央に設けられている。
　本実施例において、端末装置２０の操作者は、上記したマイク２１及びスピーカー２２を介して車載装置１０が搭載されている車両Ｍの運転者と音声通話可能に構成されている。
　本実施例において、端末装置２０は、車載装置１０から送信された映像情報を、サーバ３０を介して逐次受信する。具体的には、端末装置２０は、車両Ｍにおいて撮影された車内映像又は車外映像の映像情報を、車載装置１０からサーバ３０を介して逐次受信する。
　また、本実施例において、端末装置２０は、サーバ３０から逐次送信される地図画像を示す画像データを逐次受信する。具体的には、端末装置２０は、サーバ３０が車両Ｍの現在位置及び移動経路に基づいて生成した地図画像を示す画像データを逐次受信する。
　上記したように、本実施例において、通信システム１００は、車載装置１０を搭載した車両Ｍの運転者と端末装置２０の操作者とが互いに音声通話可能に構成されている。また、本実施例において、通信システム１００は、車外撮影カメラ１１によって撮影されている車両Ｍの外部の映像及び車両Ｍの現在位置と移動経路とを含む地図画像が、端末装置２０のタッチパネルディスプレイ２３にリアルタイム表示可能に構成されている。
　言い換えれば、通信システム１００は、車載装置１０が端末装置２０に対してライブストリーミングを実施可能に構成されている。
　本実施例において、車載装置１０と端末装置２０との間の音声通信を確立しつつ、車載装置１０から端末装置２０に、車両Ｍの外部の映像等の映像と車両Ｍの現在位置と移動経路とをリアルタイムで送信する通信形態を、ここでは音声映像通信と称する。本実施例において、車載装置１０と端末装置２０とは、サーバ３０を介して音声映像通信を行っている。この音声映像通信により、端末装置２０を使用するユーザは、車両Ｍに仮想的に同乗する仮想同乗（Virtual Passenger、以下“ＶＰ”と称する）の体験をすることができる。
　端末装置２０が受信した上記映像及び地図画像は、タッチパネルディスプレイ２３に表示される。例えば、図３に示すように、第１の表示領域Ａ１には、上記した車両Ｍの外部（前方）の映像が表示され、第２の表示領域Ａ２には、車両Ｍの現在位置ＰＬ及び車両Ｍの移動経路Ｒが記されている地図画像が表示される。第１の表示領域Ａ１は、第２の表示領域Ａ２よりも大きい。言い換えれば、車両Ｍの外部の映像は、地図画像よりも大きい態様で表示されている。
　次に、通信システム１００を構成する車載装置１０、サーバ３０及び端末装置２０の各々の構成について、図４～７を参照して説明する。
　図４は、車載装置１０の構成を示すブロック図である。制御部１７は、ＣＰＵ（Central Processing Unit）やＲＡＭ（Random Access Memory）を含む処理装置である。
　記憶部１８は、制御部１７の処理に必要なデータを記憶管理する記憶デバイスである。記憶部１８は、例えば、ハードディスク、フラッシュメモリ、ＳＳＤ（Solid State Drive）等の記憶デバイスによって構成されている。記憶部１８は、地図データを記憶している。また、記憶部１８は、音声映像通信の相手として登録されている通話者（以下、登録通話者と称する）及びその連絡先情報を格納する登録者データベース１８１（以下、登録者ＤＢ１８１と称する）を有する。
　図５は、登録者ＤＢ１８１に登録されている情報の一例を示す図である。登録者ＤＢ１８１には、登録通話者の氏名及び招待メッセージの宛先となる連絡先の情報が格納されている。本実施例では、例えばスマートフォン等の電話番号が連絡先の情報として登録者ＤＢ１８１に格納されている。
　再び図４を参照すると、通信部１９は、制御部１７の指示に従って外部機器とのデータの送受信を行う通信装置である。通信部１９は、例えば、ネットワークＮＷに接続するためのＮＩＣ（Network Interface Card）を含む。通信部１９は、例えば、車両Ｍにおいて取得された音声、車両Ｍの車内映像又は車外映像、及び車両Ｍの現在位置情報をサーバ３０に送信する送信部として機能する。
　ここで、制御部１７の機能ブロックである音声認識部１７１及び招待メッセージ送信部１７２について説明する。
　音声認識部１７１は、マイク１４から入力された音声（以下、入力音声と称する）について音声認識を行う機能ブロックである。音声認識部１７１は、入力音声を文字列に変換することにより、音声認識を行う。例えば、車両Ｍの運転者によって「ＡさんとＶＰ！」という音声による呼びかけがなされた場合、音声認識部１７１は、これを文字列に変換し、Ａさんとの音声映像通信の開始を求める音声として音声認識する。
　招待メッセージ送信部１７２は、音声映像通信のための通信接続に用いる接続情報を含む招待メッセージを生成する。この接続情報は、例えばＵＲＬ（Uniform Resource Locator）等から構成され、車両Ｍの外部から車載装置１０との音声映像通信の通信接続を確立するための接続試行の操作に用いる接続情報である。招待メッセージ送信部１７２は、音声認識部１７１による音声認識の結果及び登録者ＤＢ１８１に格納されている連絡先情報により特定される宛先に向けて、招待メッセージを送信する。招待メッセージの送信は、例えば電話番号を宛先とするショートメッセージサービスを用いて行われる。
　図６は、車載装置１０から送信される招待メッセージの一例を示す図である。ここでは、招待メールが端末装置２０によって受信され、タッチパネルディスプレイ２３に表示される場合を例として示している。
　招待メッセージには、接続情報としてのＵＲＬが記載されている。末装置２０を操作する操作者は、招待メールに記載されているＵＲＬにアクセスして接続試行の操作を行う。この接続試行の操作に対し、運転者の確認操作が行われることにより、音声映像通信のための接続が確立される。
　図７は、サーバ３０の構成を示すブロック図である。制御部３１は、ＣＰＵやＲＡＭを含む処理装置である。
　通信部３２は、制御部３１の指示に従って外部機器とのデータの送受信を行う通信装置である。通信部３２は、例えば、ネットワークＮＷに接続するためのＮＩＣを含む。
　通信部３２は、例えば、車両Ｍの外部及び内部の映像、車両Ｍの内部において取得された音声、及び車両Ｍの現在位置の情報を車載装置１０から受信する受信部として機能する。また、通信部３２は、例えば、車両Ｍの外部及び内部の映像、及び車両Ｍの内部において取得された音声を端末装置２０に送信する送信部として機能する。
　記憶部３３は、制御部３１の処理に必要なデータを記憶管理する記憶デバイスである。記憶部３３は、例えば、ハードディスク、フラッシュメモリ、ＳＳＤ等の記憶デバイスによって構成されている。
　ここで、制御部３１の機能ブロックについて説明する。各機能ブロックは、例えば記憶部３３に格納されているプログラムを制御部３１が読み出して実行することにより形成される。
　映像情報取得部３４は、車載装置１０から逐次送信される映像情報を、通信部３２を介して取得する機能ブロックである。具体的には、映像情報取得部３４は、車載装置１０から送信された車両Ｍの車内映像又は車外映像を映像情報として取得する。映像情報取得部３４は、受信した映像情報を、通信部３２を介して端末装置２０に転送する。
　車両情報取得部３５は、車載装置１０から逐次送信される現在位置情報、すなわち車両Ｍの現在位置情報を逐次取得する機能ブロックである。
　音声通信制御部３６は、車載装置１０と端末装置２０との音声通信を制御する機能ブロックである。具体的には、音声通信制御部３６は、音声映像通信において、車載装置１０と端末装置２０との間の音声通話を確立し、当該音声通話のデータを転送する機能を有する。
　接続制御部３７は、車載装置１０と端末装置２０との間の音声映像通信の接続制御を行う機能ブロックである。例えば、接続制御部３７は、車載装置１０から送信された招待メッセージに含まれる接続情報を用いて、端末装置２０において接続試行の操作が行われた場合、車両Ｍの運転者に音声映像通信のための接続を確立するか否かを確認する確認メッセージを、通信部３２を介して車載装置１０に送信する。
　図８は、端末装置２０の構成を示すブロック図である。制御部２４は、ＣＰＵやＲＡＭを含む処理装置である。
　通信部２５は、制御部２４の指示に従って外部機器とのデータの送受信を行う通信装置である。通信部２５は、例えば、ネットワークＮＷに接続するためのＮＩＣを含む。
　通信部２５は、例えば、車両Ｍの外部の映像や車両Ｍの内部の映像をサーバ３０から受信する受信部として機能する。また、通信部２５は、タッチパネルディスプレイ２３を用いた操作入力に応じた情報をサーバ３０に送信する送信部として機能する。
　次に、本実施例における車載装置１０、端末装置２０及びサーバ３０の各々の具体的な動作の一例を、フローチャートを用いて説明する。
　まず、車載装置１０と端末装置２０との間の音声映像通信のための接続（以後、音声映像通信接続と称する）を確立するための接続処理について説明する。
　音声映像通信接続の処理は、車両Ｍの運転者が、マイク１４に向かって音声映像通信の開始を要求する音声を発したことをトリガーとして開始される。例えば、車両Ｍの運転者は、「Ａさん」を相手方として音声映像通信を開始したい場合、マイク１４に向かって、車載装置１０の音声認識機能を起動するための起動音声（ウェイクワード）を発し、続けてＡさんとの音声映像通信の開始を要求する音声、例えば「ＡさんとＶＰ！」という音声を発する。車載装置１０の制御部１７は、マイク１４を介して音声が入力されたことをトリガーとして開始処理ルーチンを開始する。
　図９は、車載装置１０と端末装置２０との間の音声映像通信接続の接続処理において、車載装置１０の制御部１７が実行する開始処理ルーチンＲＳＴ１を示すフローチャートである。
　制御部１７は、車両Ｍの内部で発せられた音声、すなわち車両Ｍの搭乗者からのがマイク１４を介して入力されたか否かを判定する（ＳＴＥＰ１０１）。
　音声が入力されていないと判定すると（ＳＴＥＰ１０１：ＮＯ）、開始処理ルーチンＲＳＴ１を終了する。一方、音声が入力されたと判定すると（ＳＴＥＰ１０１：ＹＥＳ）、制御部１７の音声認識部１７１は、入力音声に対して音声認識を行う（ＳＴＥＰ１０２）。
　制御部１７は、音声認識部１７１による音声認識の結果に基づいて、入力音声が登録通話者との音声映像通信の開始を求める音声であるか否かを判定する（ＳＴＥＰ１０３）。
　音声映像通信の開始を求める音声ではないと判定すると（ＳＴＥＰ１０３：ＮＯ）、開始処理ルーチンＲＳＴ１を終了する。一方、音声映像通信の開始を求める音声であると判定すると（ＳＴＥＰ１０３：ＹＥＳ）、制御部１７は、音声認識部１７１の音声認識により特定された登録通話者の連絡先情報を登録者ＤＢ１８１から読み出す（ＳＴＥＰ１０４）。例えば、音声認識部１７１の音声認識により、音声映像通信の相手方として要求された登録通話者が「Ａさん」であると特定された場合、制御部１７は、登録者ＤＢ１８１からＡさんの連絡先情報「０９０－１１××－××××」を読み出す。
　制御部１７の招待メッセージ送信部１７２は、音声映像通信のための接続情報を含む招待メッセージを生成し、生成した招待メッセージをＳＴＥＰ１０４で読み出された連絡先情報に対応する宛先に向けて送信する（ＳＴＥＰ１０５）。
　招待メッセージを受信した登録通話者（例えば、Ａさん）は、接続情報を用いて接続試行の操作を行う。例えば、端末装置２０によって招待メッセージを受信した場合、登録通話者は端末装置２０のタッチパネルディスプレイ２３を操作して招待メッセージに含まれる接続情報としてのＵＲＬをクリックすることにより、接続試行の操作を行う。この接続試行の操作に応じてサーバ３０が音声映像通信接続の処理を行うことにより、車載装置１０と端末装置２０との間の音声映像通信の接続が確立される。
　図１０は、サーバ３０の制御部３１が実行する音声映像通信接続の処理ルーチンＲＳＴ２を示すフローチャートである。
　制御部３１は、招待メッセージに含まれる接続情報を用いて接続試行の操作が行われたか否かを判定する（ＳＴＥＰ２０１）。
　接続試行の操作が行われていないと判定すると（ＳＴＥＰ２０１：ＮＯ）、処理ルーチンＲＳＴ２を終了する。一方、接続試行の操作が行われたと判定すると（ＳＴＥＰ２０１：ＹＥＳ）、制御部３１は、音声通信接続を行うか否かを車両Ｍの運転者に確認する確認メッセージを、通信部３２を介して車載装置１０に送信する（ＳＴＥＰ２０２）。
　送信された確認メッセージは、車載装置１０の通信部１９によって受信され、車両Ｍの搭乗者に向けて報知される。例えば、「Ａさんとの音声通信接続を開始しますか？」という文言の確認メッセージが、車載装置１０のタッチパネルディスプレイ１５に表示される。
　車両Ｍの運転者は、タッチパネルディスプレイ１５に表示された確認メッセージに対し、音声で応答を行う。例えば、車両Ｍの運転者は、「開始します」という音声での応答を行う。なお、ここでは音声通信接続を開始する旨の応答を「確認応答」と称する。確認応答の音声はマイク１４を介して車載装置１０に入力され、音声認識部１７１による音声認識が行われる。制御部１７は、音声認識部１７１による音声認識の結果に基づいて、確認応答を示す情報をサーバ３０に送信する。
　サーバ３０の制御部３１は、車載装置１０からの確認応答を、通信部３２を介して受信したか否かを判定する（ＳＴＥＰ２０３）。例えば、制御部３１は、車載装置１０から音声通話接続を行わない旨の応答があった場合、及びＳＴＥＰ２０２の確認メッセージの送信から所定時間内に車載装置１０からの確認応答がなかった場合、確認応答を受信していないと判定する。制御部３１は、確認応答を受信していないと判定すると（ＳＴＥＰ２０３：ＮＯ）、処理ルーチンＲＳＴ２を終了する。
　一方、確認応答を受信したと判定すると（ＳＴＥＰ２０３：ＹＥＳ）、制御部３１の接続制御部３７は、車載装置１０と端末装置２０との間の音声映像通信接続を確立する（ＳＴＥＰ２０４）。
　車載装置１０の制御部１７は、サーバ３０による音声映像通信接続の確立に応じて、車両Ｍにおいて取得された音声及び映像をサーバ３０に送信する音声映像送信処理ルーチンＲＥＸ１を開始する。
　図１１は、車載装置１０の制御部１７が実行する音声映像送信処理ルーチンＲＥＸ１を示すフローチャートである。
　制御部１７は、車載装置１０と端末装置２０との間の音声映像通信接続が確立され、音声映像通信が開始されたか否かを判定する（ＳＴＥＰ３０１）。制御部１７は、音声映像通信が開始されていないと判定すると（ＳＴＥＰ３０１：ＮＯ）、音声映像送信処理ルーチンＲＥＸ１を終了する。
　一方、音声映像通信が開始されたと判定すると（ＳＴＥＰ３０１：ＹＥＳ）、制御部１７は、車外撮影カメラ１１によって撮影された車両Ｍの外部の映像、車内カメラ１２によって撮影された車両Ｍの内部の映像、及びマイク１４を介して入力された音声を、サーバ３０に逐次送信する（ＳＴＥＰ３０２）。
　制御部１７は、音声映像通信が終了したか否かを判定する（ＳＴＥＰ３０３）。音声映像通信が終了していないと判定すると（ＳＴＥＰ３０３：ＮＯ）、ＳＴＥＰ１０２に戻り、制御部１７は映像及び音声の送信を繰り返し実行する。一方、音声映像通信が終了したと判定すると（ＳＴＥＰ３０３：ＹＥＳ）、制御部１７は、映像及び音声の送信を停止し（ＳＴＥＰ３０４）、処理を終了する。
　車載装置１０の制御部１７は、上記した音声映像送信処理ルーチンＲＥＸ１によって、車載装置１０と端末装置２０との音声映像通信が継続する限り、映像及び音声をサーバ３０に送信し続ける。
　図１２は、サーバ３０の制御部３１が実行する音声映像送信処理ルーチンＲＥＸ２を示すフローチャートである。
　制御部３１は、車載装置１０と端末装置２０との間の音声映像通信接続が確立され、音声映像通信が開始されたか否かを判定する（ＳＴＥＰ４０１）。制御部３１は、音声映像通信が開始されていないと判定すると（ＳＴＥＰ４０１：ＮＯ）、音声映像送信処理ルーチンＲＥＸ２を終了する。
　一方、音声映像通信が開始されたと判定すると（ＳＴＥＰ４０１：ＹＥＳ）、制御部３１の映像情報取得部３４及び音声接続制御部３６は、車載装置１０から送信された映像及び音声の逐次受信を開始する（ＳＴＥＰ４０２）。
　制御部３１は、ＳＴＥＰ４０２で受信した映像及び音声を、端末装置２０に転送する（ＳＴＥＰ４０３）。
　制御部３１は、音声映像通信が終了したか否かを判定する（ＳＴＥＰ４０４）。音声映像通信が終了していないと判定すると（ＳＴＥＰ４０４：ＮＯ）、ＳＴＥＰ４０２に戻り、制御部３１は、映像及び音声の受信、転送を継続する。
　一方、音声映像通信が終了したと判定すると（ＳＴＥＰ４０４：ＹＥＳ）、制御部３１は、映像及び音声の受信、転送を停止し（ＳＴＥＰ４０５）、処理を終了する。
　以上のように、本実施例の通信システム１００では、車両Ｍの運転者が、音声映像通信を開始すること及びその相手方を誰とするかを内容とする音声による呼びかけを行い、この音声による呼びかけに応じて連絡先情報を読み出し、接続処理を行うことにより、音声映像通信の接続が確立される。
　かかる構成によれば、運転者は音声映像通信を開始する際に車載装置１０のタッチパネル等の操作を行う必要がないため、車両の走行中に任意のタイミングで音声映像通信を開始することが可能となる。
　なお、本発明は上記実施例で示したものに限られない。例えば、上記実施例では、音声認識部１７１がマイク１４を介して入力された音声を文字列に変換し、変換された文字列に対応する宛先を招待メッセージ送信部１７２が登録者ＤＢ１８１から読み出して招待メッセージを送信する場合を例として説明した。しかし、音声認識部１７１は、例えばマイク１４を介して入力された音声が登録者ＤＢ１８１に格納されている音声パターンと一致するか否かを判定することにより音声認識を行ってもよい。
　図１３は、登録通話者の宛先とその宛先に対応する音声パターンが登録者データベースに登録されている場合の登録情報の一例を示す図である。音声認識部１７１は、マイク１４を介して入力された入力音声と一致する音声パターンが登録者データベースに格納されているか否かを判定する。制御部１７は、入力音声と一致する音声パターンに対応する登録通話者の連絡先の情報を読み出す。招待メッセージ送信部１７２は、読み出された連絡先の情報により特定される宛先に招待メッセージを送信する。
　また、上記実施例では、車載装置１０が車外撮影カメラ１１で撮影された車外映像及び車内撮影カメラ１２で撮影された車内映像のいずれか一方をサーバ３０に送信する場合を例として説明した。しかし、車載装置１０がサーバ３０に送信する段階では車外映像及び車内映像の両方を送信しておき、サーバ３０が端末装置２０に転送する段階で車外映像及び車内映像のいずれか一方を端末装置２０に送信する構成としてもよい。また、サーバ３０が車外映像及び車内映像の両方を端末装置２０に送信し、端末装置２０においていずれの映像を表示させるかを選択可能に構成されていてもよい。また、端末装置２０のタッチパネルディスプレイ２３に車内映像及び車外映像を同時に表示し、一方をメイン画面、他方をサブ画面として異なる大きさで表示するように構成されていてもよい。
　また、上記実施例では、スマートフォン等の電話番号が連絡先の情報として登録者ＤＢ１８１に格納され、電話番号を宛先とするショートメッセージサービスを用いて招待メッセージを送信する場合を例として説明した。しかし、これに限られず、電子メールのメールアドレスを連絡先の情報として登録者ＤＢ１８１に格納し、電子メールによって招待メッセージを送信する構成であってもよい。また、上記実施例の図５に示した処理ルーチンでは、招待メッセージ送信部１７２が連絡先情報の読み出し後に招待メッセージを作成しているが、宛先以外の部分、すなわち招待メッセージの内容に関する部分は当該処理ルーチンの実行以前に予め作成しておいてもよい。
　また、ショートメッセージサービスを用いて招待メッセージを送信する場合、文字数の制限があるため、メッセージ本文が長くなる場合には、苗字又は名前のいずれかのみを選択して招待メッセージに載せてもよい。例えば、図６に示す招待メッセージの例では、「山田太郎さん」が「山田さん」又は「太郎さん」として表示される。
　また、車載装置１０において車両Ｍの助手席等への同乗者の有無を検出し、同乗者の有無に関する情報を招待メッセージに加えて送信してもよい。同乗者の有無は、例えば車内撮影カメラ１２によって取得された車内映像やシートベルトの検知情報等に基づいて検出することができる。これにより、音声映像通信の相手方である登録通話者は、車両Ｍの同乗者の有無を事前に覚知することが出来る。
　また、招待メッセージの送信に加えて、車載装置１０において案内経路（移動予定経路）が設定されているか否かを検出し、案内経路の有無、運転予測時間、目的地の情報、案内経路の地図のＵＲＬ等をメッセージとして送信してもよい。これにより、音声映像通信の相手方である登録通話者は、音声映像通信への参加前に経路や運転時間等の情報を確認することが出来る。
　また、上記の通り、ショートメッセージサービスには文字制限があるため、メッセージとして送信する情報に優先順位を付けてもよい。例えば、名前が最も優先順位が高く、続いて同乗者の有無、苗字、経路設定の有無、目的地、経路を示すＵＲＬ、の順に優先順位が設定される。文字数の関係で全ての情報をメッセージに載せることができない場合には、優先順位が下位のものは送信情報から省略される。
　また、上記実施例では、車載装置１０と一台の端末装置（一人の登録通話者）との間で音声映像通信を行う場合を例として説明した。しかし、音声映像通信に参加する端末装置は複数であってもよい。複数の端末装置と同時に音声通信を行う場合には、参加するユーザの情報を招待メッセージに加えて送信してもよい。
　また、上記実施例では、招待メッセージに含まれる接続情報を用いて接続試行の操作が行われ、その接続試行に対する運転者による音声での確認応答がなされた場合に音声映像通信接続を行う場合を例として説明した。しかし、運転者による確認応答は音声によるものに限られず、タッチパネルディスプレイ１５を操作して確認応答を行ってもよい。また、運転者による確認応答を経ることなく、接続情報を用いて接続試行が行われたことに応じて音声映像接続を行う構成であってもよい。
　また、上記実施例において説明した車載装置１０の制御部１７やサーバ３０の制御部３１における一連の処理は、コンピュータが所定のプログラムを実行することにより行うものであってもよい。当該プログラムは、コンピュータに読み取り可能な記録媒体に記録されていてもよい。記録媒体のタイプは、特に限定されず、例えば、光ディスク、ハードディスク、またはフラッシュメモリもしくはＳＳＤ等の半導体メモリであってもよい。また、上記プログラムは、通信を介して車載装置１０、サーバ３０及び端末装置２０にダウンロードされインストールされてもよい。
　また、上記実施例において示した制御ルーチンは例示に過ぎず、用途または使用条件等に応じて適宜選択及び変更可能である。
１００　通信システム
１０　車載装置
１１　車外撮影カメラ
１２　車内撮影カメラ
１３　ＧＰＳ受信機
１４　マイク
１５　タッチパネルディスプレイ
１６　スピーカー
１７　制御部
１７１　音声認識部
１７２　招待メッセージ送信部
１８　記憶部
１８１　登録者ＤＢ
１９　通信部
２０　端末装置
２１　マイク
２２　スピーカー
２３　タッチパネルディスプレイ
２４　制御部
２５　通信部
３０　サーバ
３１　制御部
３２　通信部
３３　記憶部
３４　映像情報取得部
３５　車両情報取得部
３６　音声通信制御部
３７　接続制御部

Claims (11)

  1. 　車両と共に移動する第１装置によって取得された前記車両における音声及び映像を第２装置に逐次送信する音声映像通信を行う通信システムであって、
    　前記車両の搭乗者からの音声に応じて、前記音声に基づいて特定される宛先に前記第１装置との接続に用いる接続情報を送信する送信部と、
    　前記接続情報を用いた前記第２装置からの接続試行に応じて、前記第１装置と前記第２装置とを通信可能に接続する通信接続部と、
    　を有することを特徴とする通信システム。
  2. 　前記車両の搭乗者からの音声について音声認識を行う音声認識部を有し、
    　前記送信部は、前記音声認識部による音声認識の結果に基づいて特定される宛先に前記接続情報を送信することを特徴とする請求項１に記載の通信システム。
  3. 　複数の宛先の情報を記憶する記憶部を有し、
    　前記音声認識部は、前記車両の搭乗者からの音声を文字列に変換し、
    　前記送信部は、前記音声認識部により変換された文字列に対応する宛先を前記記憶部から読み出し、当該読み出された宛先に前記接続情報を送信することを特徴とする請求項２に記載の通信システム。
  4. 　複数の宛先と当該複数の宛先の各々を示す音声パターンとを関連付けて記憶する記憶部を有し、
    　前記送信部は、前記音声認識部による音声認識の結果に基づいて、当該認識された音声に対応する音声パターンに関連づけられた宛先を前記記憶部から読み出して当該読み出された宛先に前記接続情報を送信することを特徴とする請求項２に記載の通信システム。
  5. 　前記通信接続部は、前記接続情報を用いた接続試行に応じて、音声映像通信を開始するか否かの応答を求める確認メッセージを前記第１装置にて報知させ、
    　前記確認メッセージに対する応答に応じて、前記第１装置と前記第２装置とを通信可能に接続することを特徴とする請求項１乃至４のいずれか１に記載の通信システム。
  6. 　車両において撮像された映像及び前記車両の搭乗者からの音声を逐次送信する音声映像通信を行う情報処理装置であって、
    　前記車両の搭乗者からの音声について音声認識を行う音声認識部と、
    　前記音声認識部による音声認識の結果に基づいて特定される宛先に、前記音声映像通信に用いる接続情報を送信する送信部と、
    　を有することを特徴とする情報処理装置。
  7. 　複数の宛先の情報を記憶する記憶部を有し、
    　前記音声認識部は、前記車両の搭乗者からの音声を文字列に変換し、
    　前記送信部は、前記音声認識部により変換された文字列に対応する宛先を前記記憶部から読み出し、当該読み出された宛先に前記接続情報を送信することを特徴とする請求項６に記載の情報処理装置。
  8. 　複数の宛先と当該複数の宛先の各々を示す音声パターンとを対応付けて記憶する記憶部を有し、
    　前記送信部は、前記音声認識部による音声認識の結果に基づいて、対応する宛先を前記記憶部から読み出すことを特徴とする請求項６に記載の情報処理装置。
  9. 　車両において撮像された映像及び前記車両の搭乗者からの音声を逐次送信する音声映像通信を行う情報処理装置において実行される情報処理方法であって、
    　前記車両の搭乗者からの音声について音声認識を行う音声認識ステップと、
    　前記音声認識の結果に基づいて特定される宛先に、前記音声映像通信に用いる接続情報を送信するステップと、
    　を有することを特徴とする情報処理方法。
  10. 　車両において撮像された映像及び前記車両の搭乗者からの音声を逐次送信する音声映像通信を行う情報処理装置に、
    　前記車両の搭乗者からの音声について音声認識を行う音声認識ステップと、
    　前記音声認識の結果に基づいて特定される宛先に、前記音声映像通信に用いる接続情報を送信するステップと、
    　を実行させることを特徴とするプログラム。
  11. 　車両において撮像された映像及び前記車両の搭乗者からの音声を逐次送信する音声映像通信を行う情報処理装置に、
    　前記車両の搭乗者からの音声について音声認識を行う音声認識ステップと、
    　前記音声認識の結果に基づいて特定される宛先に、前記音声映像通信に用いる接続情報を送信するステップと、
    　を実行させることを特徴とするプログラムを記憶する記憶媒体。
PCT/JP2021/045940 2021-12-14 2021-12-14 通信システム、情報処理装置、情報処理方法、プログラム及び記録媒体 WO2023112113A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/045940 WO2023112113A1 (ja) 2021-12-14 2021-12-14 通信システム、情報処理装置、情報処理方法、プログラム及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/045940 WO2023112113A1 (ja) 2021-12-14 2021-12-14 通信システム、情報処理装置、情報処理方法、プログラム及び記録媒体

Publications (1)

Publication Number Publication Date
WO2023112113A1 true WO2023112113A1 (ja) 2023-06-22

Family

ID=86774060

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/045940 WO2023112113A1 (ja) 2021-12-14 2021-12-14 通信システム、情報処理装置、情報処理方法、プログラム及び記録媒体

Country Status (1)

Country Link
WO (1) WO2023112113A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0712914A (ja) * 1993-06-25 1995-01-17 Casio Comput Co Ltd ナビゲーションシステム
JP2005301511A (ja) * 2004-04-08 2005-10-27 Nissan Motor Co Ltd 情報検索装置、および情報検索方法
JP2016213791A (ja) * 2015-05-13 2016-12-15 株式会社デンソー 覚醒維持システムおよび車載機

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0712914A (ja) * 1993-06-25 1995-01-17 Casio Comput Co Ltd ナビゲーションシステム
JP2005301511A (ja) * 2004-04-08 2005-10-27 Nissan Motor Co Ltd 情報検索装置、および情報検索方法
JP2016213791A (ja) * 2015-05-13 2016-12-15 株式会社デンソー 覚醒維持システムおよび車載機

Similar Documents

Publication Publication Date Title
US6600975B2 (en) In-vehicle communication device and communication control method
US20200273136A1 (en) Method and system for trip invitation
JPH10269158A (ja) 通信端末装置、通信システムおよび通信端末におけるデータ処理を制御するプログラムを記憶した記憶媒体
JP2013210979A (ja) 車両間における情報共有システムおよびその方法
JP2005173784A (ja) 映像情報配信システム及び方法と装置並びにプログラム
JP2019009498A (ja) 情報出力システム、情報出力方法、及びプログラム
CN112954648B (zh) 一种移动终端和车载终端的交互方法、终端以及系统
JP3888667B2 (ja) 多者間通信装置
CN112543295A (zh) 基于声源定位的车载视频通话方法、系统及设备
WO2023112113A1 (ja) 通信システム、情報処理装置、情報処理方法、プログラム及び記録媒体
JP2017194898A (ja) 観光案内システム
JP2003051896A (ja) 車載用通信装置及びその方法
WO2023112114A1 (ja) 通信システム、情報処理装置、情報処理方法、プログラム及び記録媒体
JP2007074081A (ja) 車載用通信装置
WO2023112115A1 (ja) 通信システム、情報処理装置、情報処理方法、プログラム及び記録媒体
WO2023112119A1 (ja) 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体
WO2023112120A1 (ja) 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体
JP2006031583A (ja) 車載システム及び遠隔地点観測システム
JP2014230197A (ja) 通信装置および通信方法
JP2023095039A (ja) 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体
WO2022208656A1 (ja) 情報処理装置、情報処理方法、プログラム及び記録媒体
JP2001328499A (ja) 緊急通報システム端末機器および緊急通報システム
JP2023094982A (ja) 通信システム、情報処理装置、情報処理方法、プログラム及び記録媒体
JP6408413B2 (ja) インターホンシステム
JP2022157323A (ja) 映像送信装置、映像出力装置、映像出力システム、映像送信方法、映像送信プログラム及び記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21968034

Country of ref document: EP

Kind code of ref document: A1