WO2023112119A1 - 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体 - Google Patents

通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体 Download PDF

Info

Publication number
WO2023112119A1
WO2023112119A1 PCT/JP2021/045959 JP2021045959W WO2023112119A1 WO 2023112119 A1 WO2023112119 A1 WO 2023112119A1 JP 2021045959 W JP2021045959 W JP 2021045959W WO 2023112119 A1 WO2023112119 A1 WO 2023112119A1
Authority
WO
WIPO (PCT)
Prior art keywords
communication
boarding
connection information
expiration date
vehicle
Prior art date
Application number
PCT/JP2021/045959
Other languages
English (en)
French (fr)
Inventor
廣人 根岸
昂生 加峯
晶勅 床井
靖之 野田
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to PCT/JP2021/045959 priority Critical patent/WO2023112119A1/ja
Publication of WO2023112119A1 publication Critical patent/WO2023112119A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a communication system, a communication device, a server device, a communication method, a communication program, and a storage medium. It relates to communication programs and storage media.
  • Patent Document 1 a voice call is performed between a driver of a vehicle and an operator of a terminal outside the vehicle.
  • a system is disclosed in which an image is transmitted to a terminal outside the vehicle and the image is displayed on the terminal outside the vehicle.
  • an in-vehicle device starts a process of transmitting data such as a call and an image based on receiving a call start notification, and transmits an audio signal of the utterance content of the driver of the vehicle to an external terminal. , and also to transmit vehicle information including forward image data to a terminal outside the vehicle.
  • the present invention has been made in view of the above points, and in communication between a first device inside a mobile body and a second device outside the mobile body, while taking into account the privacy of the operator of the mobile body, the second device
  • An object of the present invention is to provide a communication system, a communication device, a server device, a communication method, a communication program, and a storage medium that enable efficient and smooth communication by suppressing useless attempts to connect to a first device. is one of
  • the invention according to claim 1 is a communication system for performing audio-visual communication in which audio and video in the mobile object acquired by a first device moving with the mobile object are transmitted to a second device, wherein the audio-visual communication and a connection information providing unit that provides connection information having an expiration date and is used for connection of the mobile object, and whether or not an operator is on board the mobile object when receiving access to the connection information from the second device. and a display control unit that causes the second device to display the boarding status information indicating the boarding status information for a period corresponding to the expiration date.
  • the invention according to claim 7 is a communication method executed by a communication system that performs audio-visual communication for transmitting audio and video in the moving body acquired by a first device that moves with the moving body to a second device.
  • the invention according to claim 8 is implemented by a communication system that includes a computer and performs audio-visual communication that transmits audio and video in the moving body acquired by a first device that moves with the moving body to a second device.
  • a communication program comprising: a connection information providing step of providing connection information used for connection of said audiovisual communication and having an expiration date to said computer; and accepting access to said connection information from said second device. and a display control step of causing the second device to display boarding status information indicating whether or not an operator is boarding the mobile body for a period corresponding to the expiration date.
  • a communication system comprising a computer, for performing audio-visual communication for transmitting audio and video in the moving body acquired by a first device moving with the moving body to a second device.
  • a communication device that moves with a mobile object, acquires audio and video in the mobile object, and performs audio-visual communication for transmitting the audio and video to another device.
  • a connection information providing unit that provides connection information that is used and has an expiration date; and a display control unit that causes the other device to display the status information for a period corresponding to the expiration date.
  • the invention according to claim 11 is a server device that performs audio-visual communication for transmitting audio and video in the moving object acquired by a first device that moves with the moving object to a second device, wherein the audio-visual communication and a connection information providing unit that provides connection information having an expiration date and is used for connection of the mobile object, and whether or not an operator is on board the mobile object when receiving access to the connection information from the second device. and a display control unit that causes the second device to display the boarding status information indicating the boarding status information for a period corresponding to the expiration date.
  • FIG. 2 is a diagram showing the configuration of the front seat portion of the vehicle according to the first embodiment
  • 1 is a block diagram showing an example of a configuration of an in-vehicle device according to Embodiment 1
  • FIG. 2 is a block diagram showing an example of a configuration of a server device according to Embodiment 1
  • FIG. 1 is a front view of an external device according to Example 1
  • FIG. 2 is a block diagram showing an example of the configuration of an external device according to Embodiment 1
  • FIG. 4 is a sequence diagram showing an example of communication performed in the communication system according to the first embodiment
  • FIG. 4 is a sequence diagram showing an example of communication performed in the communication system according to the first embodiment;
  • FIG. 4 is a flow chart showing an example of a routine executed by the server device according to the first embodiment;
  • 4A and 4B are diagrams illustrating an example of a display screen displayed on an external device according to the first embodiment;
  • FIG. 4A and 4B are diagrams illustrating an example of a display screen displayed on an external device according to the first embodiment;
  • FIG. 4A and 4B are diagrams illustrating an example of a display screen displayed on an external device according to the first embodiment;
  • FIG. 5 is a block diagram showing an example of the configuration of an in-vehicle device according to a modification of the first embodiment;
  • FIG. 1 shows a communication system 100 that is Embodiment 1 of the present invention.
  • the communication system 100 includes an in-vehicle device 10 , a server 30 and an external device 40 .
  • FIG. 1 shows a case in which the in-vehicle device 10 is mounted in an automobile M as an example of a moving object.
  • FIG. 1 shows a smartphone as an example of the external device 40 .
  • the in-vehicle device 10, the server 30, and the external device 40 can mutually transmit and receive data via the network NW using a communication protocol such as TCP/IP or UDP/IP.
  • a communication protocol such as TCP/IP or UDP/IP.
  • the network NW can be constructed by Internet communication including, for example, a mobile communication network, wireless communication such as Wi-Fi (registered trademark), and wired communication.
  • audio-visual communication is possible in which audio and video in the vehicle M acquired by the in-vehicle device 10 as the first device that moves with the vehicle M are transmitted to the external device 40 as the second device.
  • the video captured in the car M is delivered from the in-vehicle device 10 to the external device 40.
  • video communication By performing such video communication, the user of the external device 40 viewing the video transmitted from the in-vehicle device 10 can ride in the vehicle M with the driver of the vehicle M as the operator of the mobile body. You can get the feeling that you are In other words, video communication enables the user of the external device 40 to virtually ride in the car M with the user.
  • a system such as the communication system 100 of this embodiment that can realize such video communication is also called a virtual co-riding system.
  • the in-vehicle device 10 is a car navigation device
  • the in-vehicle device 10 receives from the user a destination to which the user wishes to be guided, transmits the destination to the server 30, and the server 30 generates a route to the destination.
  • a case of a terminal device for a car navigation device of a model will be described as an example.
  • an invitation for video communication is first made from the in-vehicle device 10 to the external device 40, and at the time of the invitation, connection information for video communication is provided.
  • connection information for video communication is provided.
  • FIG. 2 is a perspective view showing the vicinity of the front seats of the automobile M equipped with the in-vehicle device 10 as a video transmission device or video generation device.
  • FIG. 1 as an installation example, the case where the in-vehicle device 10 is installed in the dashboard DB of the front seat of the automobile M is shown.
  • the GPS receiver 11 is a device that receives signals (GPS signals) from GPS (Global Positioning System) satellites.
  • GPS Global Positioning System
  • the GPS receiver 11 is arranged on the dashboard DB, for example.
  • the GPS receiver 11 may be placed anywhere as long as it can receive GPS signals.
  • the GPS receiver 11 can transmit the received GPS signal to the in-vehicle device 10 .
  • the vehicle exterior camera 13 is an imaging device that captures the front of the vehicle M.
  • the exterior camera 13 is arranged on the dashboard DB so that the forward direction is the photographing direction.
  • the vehicle exterior camera 13 is a wide-angle camera, and can photograph a wide area in front of the automobile M through the windshield.
  • the exterior camera 13 may be provided on the rearview mirror RM, or may be attached to the inside of the windshield FG.
  • the in-vehicle camera 15 is an imaging device that captures the situation inside the automobile M.
  • the in-vehicle camera 15 is provided on the upper end of the windshield FG or on the ceiling near the upper end, and is capable of photographing the driver of the automobile M.
  • images captured by the vehicle exterior camera 13 or the vehicle interior camera 15 are delivered to the external device 40 .
  • the touch panel 17 is, for example, a touch panel monitor in which a display such as a liquid crystal display capable of displaying images and a touch pad are combined.
  • the touch panel 17 is arranged, for example, on the center console CC of the dashboard DB.
  • the touch panel 17 may be arranged at a place that can be visually recognized by the driver and can be reached by the driver.
  • the touch panel 17 may be attached on the dashboard DB.
  • the touch panel 17 can perform screen display based on the control of the in-vehicle device 10. Further, the touch panel 17 can transmit to the in-vehicle device 10 a signal representing an input operation to the touch panel 17 received from the user. For example, the touch panel 17 may display guidance for car navigation. In addition, operations related to the car navigation function, such as setting a destination, may be possible via the touch panel 17 .
  • the touch panel 17 may display information related to video communication, and may display an operation reception screen for making a connection for video communication (hereinafter also referred to as video connection).
  • the occupant of the automobile M may perform a video communication connection operation by performing an input operation on the touch panel 17 .
  • the speaker 19 is provided, for example, on the interior side of the A-pillar AP.
  • the speaker 19 can emit sounds such as music and voice under the control of the in-vehicle device 10 .
  • the speaker 19 emits sound from the external device 40 in a voice call.
  • the microphone 21 is a microphone device that receives sound inside the vehicle, and is arranged on the dashboard DB, for example.
  • the microphone 21 may be provided anywhere, such as the rearview mirror RM or the steering wheel, as long as it can receive the sound inside the vehicle.
  • the sound picked up by the microphone 21 is transmitted to the external device 40 as the sound of the voice call. Further, an operation input for starting video communication may be performed by voice via the microphone 21 .
  • FIG. 3 is a block diagram showing the configuration of the in-vehicle device 10.
  • the in-vehicle device 10 is a device in which a storage unit 24, a control unit 25, and a communication unit 27 cooperate via a system bus.
  • the seating sensor 22 can actually detect whether or not the driver of the automobile M is riding (hereinafter also referred to as "boarding"). is a sensor that can output
  • the seat sensor 22 is provided, for example, on the seat surface or the back surface of the seat of the driver's seat of the automobile M, and is a sensor that detects a load.
  • the detection of the driver may be performed by recognizing the image captured by the in-vehicle camera 15, or may be performed by directly detecting the driver using a photoelectric sensor such as an infrared sensor.
  • the automobile M is equipped with an acceleration sensor 23 .
  • the acceleration sensor 23 may be, for example, a MEMS acceleration sensor capable of measuring the acceleration of the automobile M and outputting a signal indicating the measured acceleration.
  • the acceleration sensor 23 may be an inertial measurement unit (IMU).
  • the acceleration sensor 23 may be built in the in-vehicle device 10 .
  • the storage unit 24 is a storage device configured by, for example, a hard disk device, SSD (solid state drive), flash memory, or the like.
  • the storage unit 24 stores various programs executed by the in-vehicle device 10, such as an operating system and terminal software.
  • Various programs may be obtained via a network from another server device or the like, or may be recorded on a recording medium and read via various drive devices. That is, the various programs stored in the storage unit 24 can be transmitted via a network, or recorded on a computer-readable recording medium and transferred.
  • the storage unit 24 also stores map information including road maps.
  • the storage unit 24 also stores information indicating the contact address of the external device 40 as the other party of the video communication, such as information such as a telephone number or an e-mail address.
  • the control unit 25 is composed of a CPU (Central Processing Unit), ROM (Read Only Memory), RAM (Random Access Memory), etc., and functions as a computer.
  • the control unit 25 realizes various functions by reading and executing various programs stored in the ROM or the storage unit 24 by the CPU.
  • the control unit 25 performs a function of presenting information regarding the start and end of video communication to the driver, a moving image distribution function during video communication, a car navigation function, and the like.
  • the control unit 25 is communicably connected to the vehicle exterior camera 13, the vehicle interior camera 15, the touch panel 17, the speaker 19, the microphone 21, the seating sensor 22, and the acceleration sensor 23 provided in the in-vehicle device 10.
  • the control unit 25 sequentially acquires images captured by the vehicle exterior camera 13 and the vehicle interior camera 15 . In addition, the control unit 25 sequentially acquires information indicating whether or not the driver detected by the seating sensor 22 is in the vehicle. Also, the control unit 25 sequentially acquires the signal from the GPS receiver 11 and the signal indicating the acceleration measured by the acceleration sensor 23 .
  • the communication unit 27 is a communication device that transmits and receives data to and from an external device according to instructions from the control unit 25.
  • the communication unit 27 is, for example, a NIC (Network Interface Card) for connecting to the network NW.
  • NIC Network Interface Card
  • the communication unit 27 is connected to the network NW described above, and transmits and receives various data to and from the server 30.
  • the communication unit 27 also transmits and receives various data to and from the external device 40 via the server 30 .
  • the communication unit 27 transmits to the server 30 information such as images of the exterior or interior of the automobile M, the current position information, and the moving route. Further, the communication unit 27 receives, from the server 30, information to be displayed on the touch panel 17 regarding video communication, for example.
  • control unit 25 sequentially transmits images captured by the vehicle exterior camera 13 or the vehicle interior camera 15 to the server 30 via the communication unit 27 .
  • the control unit 25 receives display information regarding the start and end of video communication from the server 30 via the communication unit 27 and displays it on the touch panel 17 . Further, the control unit 25 may output information regarding the start and end of the video communication from the speaker 19 by voice.
  • control unit 25 of the in-vehicle device 10 supplies the server 30 via the communication unit 27 with position specifying information as position data capable of specifying the current position of the in-vehicle device 10, that is, the current position of the automobile M in this embodiment. Information can be sent. Further, for example, the control unit 25 can transmit information including the destination input by the user to the server 30 via the communication unit 27, and receive route information or navigation information to the destination from the server 30. is.
  • the control unit 25 can transmit audio data of audio picked up by the microphone 21 to the external device 40 via the communication unit 27 for voice communication in video communication. Also, the control unit 25 can receive audio data of audio input to the external device 40 for voice communication in video communication via the communication unit 27 .
  • FIG. 4 is a block diagram showing the configuration of the server 30.
  • the server 30 is a device in which a storage section 31, a communication section 33, and a control section 35 cooperate via a system bus.
  • the server 30 has a function like a SIP server that establishes a voice call between the in-vehicle device 10 and the external device 40 and transfers data of the voice call during video communication.
  • the server 30 receives from the in-vehicle device 10 the position specifying information of the vehicle M and the information of the destination set by the user who is the passenger of the vehicle M, and based on the position specifying information and the information of the destination. It has a function to generate a route to
  • the storage unit 31 is composed of, for example, a hard disk device and an SSD (solid state drive), and stores various programs such as an operating system and software for the server 30.
  • Various programs may be obtained via a network from another server device or the like, or may be recorded on a recording medium and read via various drive devices.
  • various programs stored in the storage unit 31 can be transmitted via a network, or can be recorded on a computer-readable recording medium and transferred.
  • the storage unit 31 stores, for example, a communication program for the server 30 to control video communication connection in the communication system 100 .
  • the storage unit 31 also stores a map information database (not shown) in which map information including road maps is stored.
  • the map information of the map information database is a database having information equivalent to map information used in, for example, a navigation device.
  • the communication unit 33 is connected to the network NW described above, and transmits and receives various data to and from the in-vehicle device 10 and the external device 40 .
  • the control unit 35 is composed of a CPU (Central Processing Unit), ROM (Read Only Memory), RAM (Random Access Memory), etc., and functions as a computer. Various functions are realized by the CPU reading and executing various programs stored in the ROM and the storage unit 31 .
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the control unit 35 implements control related to video communication connection in the communication system 100 by executing the communication program described above.
  • the control unit 35 includes a connection information providing unit 36, a boarding information acquisition unit 37, and a display control unit 38.
  • connection information providing unit 36 In response to a request from the in-vehicle device 10, the connection information providing unit 36 provides a URL (Uniform It is a functional unit that executes a connection information providing step of providing a resource locator) to the external device 40 .
  • URL Uniform It is a functional unit that executes a connection information providing step of providing a resource locator
  • connection information providing unit 36 upon receiving a URL transmission request for inviting the external device 40 to video communication from the in-vehicle device 10, the connection information providing unit 36 generates a URL having an expiration date, and transmits the URL having the expiration date to the external device. 40 to provide the URL to the external device 40 .
  • the connection information providing unit 36 generates, for example, a URL used for video communication connection, associates the URL with an expiration date of the URL, and stores the URL in a database. manage by denying access to The database is stored in the storage unit 31, for example.
  • connection information providing unit 36 may acquire a URL with an expiration date from an external device such as a server.
  • the time when a predetermined time has passed since the request from the in-vehicle device 10 is set for example, the validity period is several hours to 24 hours from the time of the request, and may be several days.
  • the expiration date of the URL may be set by the driver for each user of the external device 40 .
  • the driver of the automobile M can set a long expiration date for a user who frequently performs video communication, such as a user with whom the user is on good terms, and can save the trouble of inviting the user each time video communication is performed.
  • the boarding information acquisition unit 37 is a functional unit that acquires boarding status information indicating whether or not a driver is in the vehicle M.
  • the boarding status information is, for example, information based on the result of actually detecting whether or not the driver is in the car M.
  • the boarding information acquisition unit 37 acquires from the in-vehicle device 10 an image of an area including the driver's seat of the automobile M captured by the in-vehicle camera 15, and recognizes the image to confirm that the driver is in the driver's seat. It actually detects whether or not The boarding information acquisition unit 37 acquires boarding status information indicating whether or not the driver is boarding based on the detection result.
  • the boarding information acquisition unit 37 acquires the detection result of the seating sensor 22 provided in the automobile M, thereby actually detecting whether or not the driver is present in the driver's seat, and based on the detection result. Based on this, boarding status information indicating whether or not the driver is on board is acquired.
  • the boarding status information is, for example, information based on whether or not the in-vehicle device 10 is connected to the network NW, which is a communication network used for video communication.
  • the boarding information acquisition unit 37 acquires boarding status information by detecting whether or not the in-vehicle device 10 is connected to the network NW.
  • the boarding status information may be information based on whether or not the accessory power of the automobile M is turned on, for example.
  • a monitor device capable of detecting ON/OFF of accessory power is installed in the vehicle M, and the boarding information acquisition unit 37 acquires information indicating whether or not the accessory power is turned on from the monitor device.
  • the boarding status information is, for example, information that indicates the marginal state of the driver during driving.
  • the headroom state is, in other words, a state determined by the busyness of driving or the height of the workload.
  • the boarding information acquisition unit 37 acquires boarding situation information indicating the driver's margin for driving by using information from, for example, the in-vehicle camera 15, the outside camera 13, the acceleration sensor 23, and the like.
  • the spare state can be said to be a state in which the driver has spare time to perform video communication and have a conversation while driving.
  • the display control unit 38 When the display control unit 38 receives access to the URL provided by the connection information providing unit 36, the display control unit 38 displays the boarding status information indicating whether or not the driver is in the automobile M according to the expiration date of the URL. It is a functional unit that executes a display control step for displaying on the external device 40 during the period.
  • the display control unit 38 determines whether or not the URL that has been accessed is within the validity period, and if within the validity period, causes the external device 40 to display the boarding status information. For example, the display control unit 38 causes the external device 40 to display a message to the effect that the URL is invalid when the URL is out of the validity period.
  • the display control unit 38 refers to the boarding situation information acquired by the boarding information acquisition unit in the display control step, and determines that the driver is in the automobile M. determine whether or not As a result of the determination, if the driver is in the car M, the display control unit 38 causes the external device 40 to display, for example, a display indicating that the driver is in the car. As a result of the determination, if the driver is not in the automobile M, the display control unit 38 causes the external device 40 to display, for example, a display indicating that the driver is getting off the vehicle.
  • the user of the external device 40 makes a connection trial to determine whether or not the driver is in the vehicle, that is, whether video communication between the in-vehicle device 10 and the external device 40 is impossible. you can know before. Therefore, when the driver is getting off the vehicle, it is possible to avoid a situation in which connection is not established even if a connection attempt is made, and unnecessary troubles such as repeated connection attempts can be avoided.
  • control unit 35 acquires position information indicating the current position of the automobile M from the in-vehicle device 10 via the communication unit 33 .
  • control unit 35 acquires destination information input to the in-vehicle device 10 by the occupant of the vehicle M from the in-vehicle device 10 via the communication unit 33 .
  • the control unit 35 generates a route to the destination based on the position information and the destination information, and transmits information indicating the route to the in-vehicle device 10 .
  • control unit 35 transfers the video and audio received from the in-vehicle device 10 to the external device 40 via the communication unit 33 .
  • control unit 35 transfers the voice received from the external device 40 to the in-vehicle device 10 via the communication unit 33 .
  • FIG. 5 is a front view of the external device 40.
  • the external device 40 is a smart phone.
  • the touch panel 41 is, for example, a touch panel monitor in which a display such as a liquid crystal display capable of displaying images and a touch pad are combined.
  • the touch panel 41 can generate a signal representing an input operation to the touch panel 41 received from the user.
  • the touch panel 41 displays an image distributed from the in-vehicle device 10 .
  • the touch panel 41 displays information related to video communication, and displays an operation reception screen for starting connection of video communication.
  • a user of the external device 40 can perform an input operation for starting video communication by performing an input operation on the touch panel 41 .
  • the speaker 43 can emit sounds such as music and voice. During video communication, the speaker 43 emits sound from the in-vehicle device 10 in a voice call.
  • the microphone 45 is a microphone device that receives sound emitted toward the external device 40 . During video communication, the sound picked up by the microphone 45 is transmitted to the in-vehicle device 10 via the server 30 as the sound of the voice call.
  • FIG. 6 is a block diagram showing an example of the configuration of the external device 40.
  • the external device 40 is a device in which a storage section 47, a control section 49, and a communication section 51 cooperate via a system bus (not shown).
  • the storage unit 47 is composed of, for example, a hard disk device, SSD (solid state drive), flash memory, etc., and stores various programs such as an operating system and software for the external device 40 .
  • the various programs may be obtained, for example, from another server device or the like via a network, or may be recorded on a recording medium and read via various drive devices. That is, the various programs stored in the storage unit 47 can be transmitted via a network, or recorded on a computer-readable recording medium and transferred.
  • the control unit 49 is composed of a CPU (Central Processing Unit), ROM (Read Only Memory), RAM (Random Access Memory), etc., and functions as a computer. Various functions are realized by the CPU reading and executing various programs stored in the ROM and the storage unit 47 .
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the control unit 49 is communicably connected to the touch panel 41, the speaker 43 and the microphone 45.
  • the control unit 49 can receive a signal indicating an input operation to the touch panel 41 and an audio input signal from the microphone 45 .
  • the control unit 49 can receive a request to start video communication from the user via the touch panel 41 and the microphone 45 .
  • control unit 49 can transmit a video or image signal to the touch panel 41 for display, or transmit an audio signal to the speaker 43 to output sound.
  • control unit 49 displays a start screen for accepting a video communication connection trial request, a screen indicating whether or not the driver of the automobile M is in the vehicle, or a screen indicating that the URL is invalid. to display.
  • control unit 49 causes the touch panel 41 to display an image during the video communication, and causes the speaker 43 to output the sound collected in the automobile M during the video communication.
  • the communication unit 51 is connected to the network NW described above, and transmits and receives various data to and from the server 30. In addition, the communication unit 51 transmits and receives various data including video transmitted from the in-vehicle device 10 to and from the in-vehicle device 10 via the server 30 .
  • the control unit 49 of the external device 40 via the communication unit 51 , determines whether the start screen for accepting a video communication connection attempt request, the screen indicating whether or not the driver of the automobile M is in the vehicle, or the URL is invalid. It is possible to receive information for displaying a screen indicating that the
  • control unit 49 can transmit audio data of audio picked up by the microphone 45 to the in-vehicle device 10 via the communication unit 51 for voice communication in video communication.
  • control unit 49 can receive voice data transmitted from the in-vehicle device 10 via the communication unit 51 for voice communication in video communication.
  • control unit 49 of the external device 40 can receive position specifying information capable of specifying the current position of the vehicle M transmitted from the in-vehicle device 10 from the server 30 via the communication unit 51 . Also, for example, the control unit 49 can receive route information or navigation information of the automobile M from the server 30 via the communication unit 51 .
  • FIG. 7 is a sequence diagram showing an example of communication performed between the in-vehicle device 10 and the external device 40 via the server 30 when the URL is valid and the communication system 100 starts video communication. .
  • the driver who is the user of the in-vehicle device 10 plans to perform video communication with the virtual fellow passenger who is the user of the external device 40 when driving the automobile M will be described below.
  • the driver registers in advance the contact information of the virtual fellow passenger who is the partner of video communication with the external device 40 (step S11).
  • the registration information is sent to the server 30 and retained by the server 30 .
  • the registration information includes, for example, an identifier that can identify the in-vehicle device 10 .
  • the registration of the virtual fellow passenger is performed via the touch panel 41 of the in-vehicle device 10, but is not limited to this. It may be done by sending the information to the server 30 .
  • the timing at which the driver pre-registers the contact information of the virtual passenger may be, for example, the day before the scheduled video communication while driving the automobile M, or may be just before the video communication. good.
  • the driver when the driver starts driving the automobile M, for example, the driver performs an input operation on the in-vehicle device 10 to instruct transmission of an invitation mail to the external device 40 .
  • the input operation may be performed via the touch panel 17 of the in-vehicle device 10 or may be performed by voice via the microphone 21 . Further, the input operation for instructing transmission of the invitation mail may be performed before the automobile M starts driving.
  • an invitation mail transmission request is sent to the server 30 requesting transmission of the invitation mail to the external device 40 (step S12).
  • the invitation mail transmission request includes, for example, information indicating a destination such as an e-mail address used by a pre-registered virtual fellow passenger or a telephone number of the external device 40, and a nickname by which the virtual fellow passenger can be identified.
  • the server 30 Upon receiving the invitation mail transmission request, the server 30 transmits the invitation mail to the destination of the external device 40 included in the invitation mail transmission request (step S13).
  • the invitation email includes a URL for opening a start screen for video communication with the virtual passenger.
  • connection information providing unit 36 of the server 30 generates a URL with an expiration date, and generates an invitation email including a message inviting the user of the external device 40 to video communication and the URL with an expiration date. to send the invitation mail to the external device 40 .
  • the virtual passenger opens the invitation mail using the external device 40 and taps the URL (step S14A), and the server 30 confirms the expiration date of the URL.
  • step S15A If the URL is within the validity period and the URL is valid (step S15A), a browser will be launched on the touch panel 41 of the external device 40, and a boarding status screen showing the boarding status of the driver will be displayed (step S16A).
  • a start button which is a display area of , may be displayed.
  • step S17 When the virtual fellow passenger taps the start button, the user's operation of the start button is accepted (step S17), and a request to start video communication is sent to the server 30 (step S18).
  • the server 30 Upon receiving the request to start video communication, the server 30 notifies the in-vehicle device 10 that there is a request to start video communication from the external device 40 (step S19).
  • step S19 for example, when the in-vehicle device 10 receives a notification from the server 30, a selection button for whether or not to approve the start of video communication is displayed on the touch panel 17. For example, when the driver taps an accept button, information indicating that the driver has accepted the start of video communication is sent to the server 30 (step S20).
  • the server 30 When the server 30 receives the information indicating that the driver has consented to the start of the video communication, the server 30 establishes a voice call between the in-vehicle device 10 and the external device 40, and transmits the image taken in the vehicle M to the in-vehicle device. 10 starts video communication to be distributed to the external device 40 (step S21).
  • the in-vehicle device 10 and the external device 40 start video communication via the server 30 .
  • FIG. 8 is a diagram showing an example of the sequence when the URL accessed from the external device 40 has expired.
  • steps S11 to S13 proceed in the same manner as in the sequence of FIG. 7, and after the expiration date has passed, steps after step S14B proceed will be described.
  • the validity period of the URL is assumed to be 24 hours.
  • step S14B when the virtual passenger opens the invitation email received in step S13 using the external device 40 and taps the URL, the server 30 confirms the expiration date of the URL.
  • step S15B When it is determined that the URL is invalid after confirming the expiration date (step S15B), the server 30 causes the external device 40 to display a page indicating that the URL is invalid (step S16B). ). In step S16B, for example, an expiration screen indicating that the URL has expired is displayed on the touch panel 41 of the external device 40 . After that, the sequence of FIG. 8 ends.
  • the boarding information acquisition unit 37 acquires the boarding status information at any time after, for example, the server 30 receives an invitation mail transmission request ( FIG. 7 , step S12), and holds the latest boarding status information. described as a thing.
  • FIG. 9 is a flowchart showing a display control routine RT1 executed by the display control section 38 of the server 30.
  • FIG. 9 For example, when an invitation mail is sent from the server 30 to the external device 40, the display control unit 38 starts the display control routine RT1.
  • step S101 the display control unit 38 determines whether or not the URL included in the invitation email has been accessed.
  • step S101 for example, when the virtual fellow passenger opens the invitation mail using the external device 40 and taps the URL included in the invitation mail, the external device 40 accesses the URL.
  • step S101 when the display control unit 38 determines that there is no access to the URL (step S101: NO), it ends the display control routine RT1, starts the next display control routine RT1, and repeats step S101. Execute.
  • step S101 the display control unit 38 determines that the URL has been accessed (step S101: YES), and determines whether the URL is within the validity period (step S102).
  • step S102 the display control unit 38 refers to a database in which URLs and expiration dates are associated and stored, and determines whether or not the accessed URL is within the expiration date.
  • step S102 when the display control unit 38 determines that the URL is within the validity period (step S102: YES), the boarding information acquiring unit 37 sequentially acquires and holds the boarding status information (step S102: YES). S103). In step S103, for example, information indicating whether or not the driver is in the vehicle is referenced.
  • step S103 information indicating whether or not the in-vehicle device 10 is connected to the network NW may be referenced, and the ON/OFF state of the seat sensor provided on the driver's seat of the automobile M may be checked.
  • the information shown may be referred to.
  • step S103 the display control unit 38 determines whether or not the driver is in the vehicle based on the boarding status information referred to in step S102 (step S104).
  • step S104 when the display control unit 38 determines that the driver is in the vehicle (step S104: YES), it causes the external device 40 to display a screen including a message indicating that the driver is in the vehicle (step S105).
  • FIG. 10 is a diagram showing an example of a boarding screen displayed on the touch panel 41 of the external device 40 in step S105. As shown in FIG. 10, the on-board screen displays a message that the driver is on board.
  • a message prompting the start of a video communication call and a start button may be displayed.
  • the start button may be displayed on a screen different from the on-board screen.
  • the on-board screen may display a button such as "to start screen" for proceeding to a screen for starting video communication.
  • a start screen including a start button may be displayed.
  • a PIN entry field for personal identification may be displayed on the boarding screen or the start screen.
  • identity verification may be performed by entering the last four digits of the telephone number in the entry field.
  • step S104 when the display control unit 38 determines that the driver is not in the vehicle (step S104: NO), it causes the external device 40 to display a screen including a message indicating that the driver is getting out of the vehicle (step S106).
  • FIG. 11 is a diagram showing an example of the exiting screen displayed on the touch panel 41 of the external device 40 in step S106. As shown in FIG. 11, a message indicating that the driver is getting off is displayed on the getting off screen. Further, as shown in FIG. 11, a message to the effect that video communication cannot be started may be displayed on the alighting screen.
  • the display related to the start of video communication such as the start button is shaded, and the start button does not function. It should be noted that the display regarding the start of video communication, including the start button, does not have to be displayed at all on the alighting screen.
  • step S102 When the display control unit 38 determines in step S102 that the URL is not within the validity period (step S102: NO), it causes the external device 40 to display a screen including a message indicating that the URL has expired. (Step S107).
  • FIG. 12 is a diagram showing an example of the expiration screen displayed on the touch panel 41 of the external device 40 in step S107. As shown in FIG. 12, in step S107, since the screen related to video communication cannot be accessed, the expiration screen displays the message "URL has expired" as a message indicating that the URL is invalid. is displayed.
  • the expiration screen further displays a message indicating that video communication cannot be started, or a message indicating that a new invitation mail must be received in order to start video communication. good too.
  • the display control unit 38 displays, on the external device 40, the boarding status information indicating whether or not the operator is boarding the mobile object for a period corresponding to the validity period of the URL serving as the connection information. Execute the display control step to
  • step S105 After executing step S105, step S106, or step S107, the display control unit 38 ends the display control routine RT1 and starts the next display control routine RT1.
  • the screen during boarding as shown in FIG. 10 or the screen during exiting as shown in FIG. 11 is displayed. is in the automobile M or not. Therefore, the virtual passenger does not have to make useless connection attempts.
  • an expiration date is set for the URL, and the boarding status information is displayed on the external device 40 only within the expiration date, and is not displayed on the external device 40 outside the expiration date.
  • the control routine RT1 an expiration date is set for the URL, and the boarding status information is displayed on the external device 40 only within the expiration date, and is not displayed on the external device 40 outside the expiration date. can be controlled. Therefore, it is possible to protect the privacy of the driver without unlimited knowledge of boarding status information by the virtual fellow passengers. For example, it is possible to prevent the boarding status information from being repeatedly known even after the planned video communication has ended.
  • step S103 of the control routine RT1 described above in addition to or in place of the driver's riding condition, the driver's marginal state during driving is referred to. If not, a message may be displayed to the effect that video communication cannot be initiated.
  • the communication system 100 of the present embodiment establishes a voice call between the in-vehicle device 10 as the first device and the external device 40 as the second device via the server 30. It is possible to perform video communication to transmit images of the vehicle M in which the device 10 is mounted to the external device 40 .
  • the communication system 100 of the present embodiment includes a connection information providing unit that provides connection information that is used for connection of audiovisual communication including video communication and that has an expiration date. and a display control unit that causes the external device 40 to display boarding status information indicating whether or not the operator is boarding the mobile object for a period corresponding to the expiration date of the connection information.
  • the user of the external device 40 can know whether or not the pilot is on board before trying to establish an audiovisual communication connection. It is clear that the connection of the audiovisual communication is impossible when the operator is not on board, and the user of the external device 40 should not make a useless connection attempt when the operator is not on board. can be avoided.
  • the display control unit can display the boarding status information only within the validity period of the connection information. As a result, it is possible to prevent the operator's boarding status from being known to the user of the external device 40 without restriction, thereby protecting the operator's privacy.
  • wasteful transmission from the second device to the first device can be achieved while considering the privacy of the operator of the mobile body. It is possible to provide a communication system, a communication device, a server device, a communication method, a communication program, and a storage medium that enable efficient and smooth communication by suppressing unsolicited connection attempts.
  • FIG. 13 is a block diagram showing an example of the configuration of the in-vehicle device 60 in the modification of the communication system 100 of the first and second embodiments.
  • the in-vehicle device 60 has the functions of the connection information providing unit 36, the boarding information acquisition unit 37, and the display control unit 38 that the server 30 has in the above embodiment.
  • control unit 61 of the in-vehicle device 60 has a connection information providing unit 63, a boarding information acquisition unit 64, and a display control unit 65.
  • the storage unit 67 is executed by the control unit 61 to provide a URL that is used for video communication connection and has an expiration date.
  • a communication program is stored for performing control to display the boarding status information indicating whether or not the boarding status information is displayed in a period corresponding to the expiration date of the ULR.
  • connection information providing unit 63 of the in-vehicle device 60 receives an operation input by the driver instructing transmission of an invitation mail to the external device 40 , it generates a URL having an expiration date and transmits the URL via the communication unit 27 .
  • An invitation email containing the URL is sent to the external device 40 .
  • the boarding information acquisition unit 64 sequentially acquires boarding status information indicating whether or not the driver is boarding the car M, based on the results of detection by the in-vehicle camera 15 or the seating sensor 22, for example.
  • the display control unit 65 When the display control unit 65 receives access to the URL from the external device 40, the boarding status information indicating whether or not the driver is in the automobile M is displayed to the external device for a period corresponding to the expiration date of the URL. 40 is displayed.
  • this modification it is possible to display the boarding status information without going through the server 30 for video communication between the external device 40 and the in-vehicle device 60 .
  • the control and video communication regarding the display of the boarding status information in this modification may be performed directly by P2P (Peer to Peer) communication between the in-vehicle device 10 and the external device 40 without going through the server 30. .
  • the configurations, routines, and the like of the in-vehicle device 10, the in-vehicle device 60, the server 30, and the external device 40 in the above-described embodiment and modification are merely examples, and can be appropriately selected or changed according to the application.
  • the boarding status information includes information indicating whether or not the driver is in the vehicle, and information indicating whether or not video communication cannot be started even if the driver is in the vehicle. may contain.
  • the driver's boarding status may be treated as a situation in which video communication cannot be started even while boarding.
  • a message indicating that the video communication cannot be started may be displayed on the in-board screen indicating that the driver is in the vehicle.
  • the automobile M may be equipped with seating sensors on seats other than the driver's seat, and the presence or absence of fellow passengers used to determine the driver's boarding status may be detected by the seating sensors.
  • the magnitude of the driving load used to determine the driver's boarding status may be calculated by workload estimation using the video from the exterior camera 13 or the interior camera 15.
  • the external device 40 displays a screen indicating that the URL is invalid when the URL is not valid. may be made inaccessible by deleting the page that
  • the example of tapping the start button displayed on the touch panel 41 has been described as a form of accepting a start request from the external device 40, but the present invention is not limited to this.
  • the request to start may be received by, for example, a voice input operation.
  • the present invention performs audio-visual communication in which audio and video in the vehicle M acquired by the in-vehicle device 10 as the first device moving with the vehicle M are transmitted to the external device 40 as the second device.
  • the present invention can be applied to communications in which voice is not transmitted from the external device 40 .
  • the in-vehicle device 10 and the external device 40 do not necessarily have to be able to make a voice call.
  • the mode of communication between the in-vehicle device 10 and the external device 40 is simply communication from the in-vehicle device 10 to the external device 40 without a two-way voice call, such as YouTube (registered trademark) or Niconico Live Broadcasting (registered trademark).
  • a mode in which video and audio are distributed may be used.
  • video communication is performed between the in-vehicle device 10 and the external device 40 via the server 30, but the video communication may be performed directly between the in-vehicle device 10 and the external device 40 good.
  • a voice call is established between the in-vehicle device 10 and the external device 40 in parallel through a path different from the communication system 100. It's okay to be there.
  • the in-vehicle device 10 is an in-vehicle navigation device, but the in-vehicle device 10 only needs to be able to distribute video from the exterior camera 13 or the interior camera 15.
  • the in-vehicle device 10 may have a configuration in which a terminal device having the same configuration as the in-vehicle device 10, the exterior camera 13, and the touch panel 17 are integrated.
  • the in-vehicle device 10 may be a terminal device such as a camera-equipped smartphone, a tablet, or a PC in which an application that exhibits the same functions as the in-vehicle device 10 is installed.
  • the in-vehicle device 10 can be mounted on the dashboard DB with a cradle or the like, for example, so that the built-in camera can photograph the front of the automobile M through the windshield of the automobile M.
  • the in-vehicle device 10 may be configured not to display the screen presented to the driver of the automobile M.
  • the in-vehicle device 10 may have a configuration like a drive recorder, and may be a device integrated with the vehicle exterior camera 13, for example.
  • the in-vehicle device 10 may be, for example, a device in which hardware that performs the video communication function of the above-described in-vehicle device 10 is built in the housing of the exterior camera 13 . In this case, the in-vehicle device 10 may not perform various display outputs as described above.
  • the external device 40 is a terminal device that can be used by the virtual passenger for video communication, presents displays or messages related to video communication, accepts operation inputs necessary for video communication, transmits and receives audio data, and receives video. and display.
  • the external device 40 may be a terminal device such as a tablet, a PC, or a wearable terminal.
  • the in-vehicle device 10 and the in-vehicle device 60 are mounted in the automobile M
  • the in-vehicle device 10 may be mounted on other moving bodies such as bicycles, motorbikes, and ships. good too.
  • the in-vehicle device 10 may be a terminal device with a built-in camera, such as a smart phone, held by a person, and distributed by performing video communication while walking, for example. In that case, for example, information indicating whether or not the user of the terminal device is holding the terminal device is displayed on the external device 40 instead of whether or not the driver is on board the mobile object. good too.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Navigation (AREA)

Abstract

移動体と共に移動する第1装置によって取得された前記移動体における音声及び映像を第2装置に送信する音声映像通信を行う通信システムであって、前記音声映像通信の接続に用いられかつ有効期限を有する接続情報を提供する接続情報提供部と、前記第2装置からの前記接続情報へのアクセスを受け付けると、前記移動体に操縦者が搭乗しているか否かを示す搭乗状況情報を前記有効期限に応じた期間において前記第2装置に表示させる表示制御部と、を有する。

Description

通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体
 本発明は、通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体に関し、例えば、移動体からの映像及び音声をユーザに提供可能な通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体に関する。
 車両に搭載される車載機と当該車両の外部に位置する車外端末との間で通信を行う通信システムがある。
 例えば、特許文献1には、車両の運転者と車外端末の操作者との間で音声通話を行い、当該音声通話がなされているときに、車両の前方の映像を表す映像データを車載機から車外端末に送信し、当該映像を車外端末に表示させるシステムが開示されている。特許文献1において、車載機は、通話開始通知を受信したことに基づいて、通話及び画像等のデータ送信を行う処理を開始し、車両の運転者の発話内容の音声信号を車外端末に送信し、また、前方画像データを含む車両情報を車外端末に送信することが開示されている。
特開2016-213791号公報
 特許文献1のようなシステムにおいて、例えば、車外端末から車載機に向けて通話開始通知を送信した際に、車載機の搭載されている車両に運転者が乗車していない場合もあり、その場合は通話開始通知の送信による接続試行が無駄になり、余計な手間がかかることが課題の1つとして挙げられる。
 そこで、接続試行の前に、運転者の乗車状況を車外端末のユーザに知らせることが考えられるが、無制限に乗車状況が知られると、運転者のプライバシーの観点から問題があることも課題の1つとして挙げられる。
 本発明は上記した点に鑑みてなされたものであり、移動体内の第1装置と移動体外の第2装置との間の通信において、移動体の操縦者のプライバシーに配慮しつつ第2装置から第1装置への無駄な接続試行を抑制して効率の良い円滑な通信を実現することを可能にする通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体を提供することを目的の1つとしている。
 請求項1に記載の発明は、移動体と共に移動する第1装置によって取得された前記移動体における音声及び映像を第2装置に送信する音声映像通信を行う通信システムであって、前記音声映像通信の接続に用いられかつ有効期限を有する接続情報を提供する接続情報提供部と、前記第2装置からの前記接続情報へのアクセスを受け付けると、前記移動体に操縦者が搭乗しているか否かを示す搭乗状況情報を前記有効期限に応じた期間において前記第2装置に表示させる表示制御部と、を有することを特徴とする。
 請求項7に記載の発明は、移動体と共に移動する第1装置によって取得された前記移動体における音声及び映像を第2装置に送信する音声映像通信を行う通信システムによって実行される通信方法であって、前記音声映像通信の接続に用いられかつ有効期限を有する接続情報を提供する接続情報提供ステップと、前記第2装置からの前記接続情報へのアクセスを受け付けると、前記移動体に操縦者が搭乗しているか否かを示す搭乗状況情報を前記有効期限に応じた期間において前記第2装置に表示させる表示制御ステップと、を含むことを特徴とする。
 請求項8に記載の発明は、コンピュータを備え、移動体と共に移動する第1装置によって取得された前記移動体における音声及び映像を第2装置に送信する音声映像通信を行う通信システムによって実行される通信プログラムであって、前記コンピュータに、前記音声映像通信の接続に用いられかつ有効期限を有する接続情報を提供する接続情報提供ステップと、前記第2装置からの前記接続情報へのアクセスを受け付けると、前記移動体に操縦者が搭乗しているか否かを示す搭乗状況情報を前記有効期限に応じた期間において前記第2装置に表示させる表示制御ステップと、を実行させるための通信プログラムである。
 請求項9に記載の発明は、コンピュータを備え、移動体と共に移動する第1装置によって取得された前記移動体における音声及び映像を第2装置に送信する音声映像通信を行う通信システムに、前記音声映像通信の接続に用いられかつ有効期限を有する接続情報を提供する接続情報提供ステップと、前記第2装置からの前記接続情報へのアクセスを受け付けると、前記移動体に操縦者が搭乗しているか否かを示す搭乗状況情報を前記有効期限に応じた期間において前記第2装置に表示させる表示制御ステップと、を実行させるための通信プログラムを記憶するコンピュータ可読記憶媒体である。
 請求項10に記載の発明は、移動体と共に移動し、前記移動体における音声及び映像を取得して他の装置に送信する音声映像通信を行う通信装置であって、前記音声映像通信の接続に用いられかつ有効期限を有する接続情報を提供する接続情報提供部と、前記他の装置からの前記接続情報へのアクセスを受け付けると、前記移動体に操縦者が搭乗しているか否かを示す搭乗状況情報を前記有効期限に応じた期間において前記他の装置に表示させる表示制御部と、を有することを特徴とする。
 請求項11に記載の発明は、移動体と共に移動する第1装置によって取得された前記移動体における音声及び映像を第2装置に送信する音声映像通信を行うサーバ装置であって、前記音声映像通信の接続に用いられかつ有効期限を有する接続情報を提供する接続情報提供部と、前記第2装置からの前記接続情報へのアクセスを受け付けると、前記移動体に操縦者が搭乗しているか否かを示す搭乗状況情報を前記有効期限に応じた期間において前記第2装置に表示させる表示制御部と、を有することを特徴とする。
本発明の実施例1に係る通信システムの概略を示す模式図である。 実施例1に係る車両の前席部分の構成を示す図である。 実施例1に係る車載装置の構成の一例を示すブロック図である。 実施例1に係るサーバ装置の構成の一例を示すブロック図である。 実施例1に係る外部装置の正面図である。 実施例1に係る外部装置の構成の一例を示すブロック図である。 実施例1に係る通信システムにおいて行われる通信の一例を示すシーケンス図である。 実施例1に係る通信システムにおいて行われる通信の一例を示すシーケンス図である。 実施例1に係るサーバ装置によって実行されるルーチンの一例を示すフローチャートである。 実施例1に係る外部装置に表示される表示画面の一例を示す図である。 実施例1に係る外部装置に表示される表示画面の一例を示す図である。 実施例1に係る外部装置に表示される表示画面の一例を示す図である。 実施例1の変形例に係る車載装置の構成の一例を示すブロック図である。
 以下に本発明の実施例について詳細に説明する。なお、以下の説明及び添付図面においては、実質的に同一又は等価な部分には同一の参照符号を付している。
 [1.システムの構成]
 実施例1に係る車載装置10を含む通信システム100の構成について添付図面を参照しつつ説明する。
 図1は、本発明の実施例1である通信システム100を示している。図1に示すように、通信システム100は、車載装置10、サーバ30及び外部装置40を含んで構成されている。なお、図1においては、車載装置10が移動体の一例としての自動車Mに搭載されている場合を示している。また、図1においては、外部装置40の一例として、スマートフォンを示している。
 車載装置10、サーバ30及び外部装置40は、ネットワークNWを介して、例えば、TCP/IPや、UDP/IP等の通信プロトコルを用いて相互にデータの送受信が可能になっている。なお、ネットワークNWは、例えば、移動体通信網、Wi-Fi(登録商標)等の無線通信及び有線通信を含むインターネット通信により構築され得る。
 通信システム100において、自動車Mと共に移動する第1装置としての車載装置10によって取得された自動車Mにおける音声及び映像を第2装置としての外部装置40に送信する音声映像通信が可能である。
 本実施例の通信システム100においては、車載装置10と外部装置40との間で音声通話が確立された上で、車載装置10から自動車Mにおいて撮影された映像が外部装置40に配信される。
 以下の説明において、上記のように、車載装置10と外部装置40との間での音声通話を確立させつつ、自動車Mにおいて撮影された映像を車載装置10から外部装置40に配信する通信態様を音声映像通信の一態様としてのビデオ通信と称する。本実施例において、車載装置10と外部装置40とは、サーバ30を介してビデオ通信を行っている。
 このようなビデオ通信が行われることで、車載装置10から送信される映像を視聴している外部装置40のユーザは、あたかも移動体の操縦者としての自動車Mの運転者と自動車Mに同乗しているような感覚を得ることができる。言い換えれば、ビデオ通信によって、外部装置40のユーザの自動車Mへの仮想同乗を実現することができる。また、このようなビデオ通信を実現可能な本実施例の通信システム100のようなシステムを仮想同乗システムとも称する。
 以下、実施例1においては、車載装置10がカーナビゲーション装置である場合を例に説明する。また、実施例1においては、車載装置10が、ユーザが案内を希望する目的地をユーザから受け付け、当該目的地をサーバ30に送信し、サーバ30が目的地への経路を生成する、いわゆるクラウド型のカーナビゲーション装置の端末装置である場合を例に説明する。
 また、本実施例において、ビデオ通信の開始の態様の一例として、最初に車載装置10から外部装置40へのビデオ通信の招待がなされ、当該招待の際に、ビデオ通信のための接続情報が提供される場合について説明する。本実施例において、当該接続情報を用いた外部装置40からの接続試行がなされた場合に、ビデオ通信の開始の処理が進行する。
 図2は、映像送信装置または映像生成装置としての車載装置10を搭載している自動車Mの前席付近を示す斜視図である。図1では、取り付け例として、自動車Mの前席のダッシュボードDB内に車載装置10が取り付けられている場合を示す。
 GPS受信機11は、GPS(Global Positioning System)衛星からの信号(GPS信号)を受信する装置である。GPS受信機11は、例えば、ダッシュボードDB上に配されている。なお、GPS受信機11は、GPS信号が受信できればどこに配されていてもよい。GPS受信機11は、受信したGPS信号を車載装置10に送信することが可能である。
 車外カメラ13は、自動車Mの前方を撮影する撮像装置である。本実施例において、車外カメラ13は、前方が撮影方向となる様にダッシュボードDBに配されている。例えば、車外カメラ13は、広角カメラであり、フロントガラスを介して自動車Mの前方の広い領域を撮影可能である。なお、車外カメラ13は、ルームミラーRMに設けられても良く、フロントガラスFGの内側に取り付けられていてもよい。
 車内カメラ15は、自動車Mの内部の状況を撮影する撮像装置である。本実施例において、車内カメラ15は、フロントガラスFGの上端または当該上端付近の天井部に設けられており、自動車Mの運転者を撮影可能である。
 ビデオ通信時には、車外カメラ13または車内カメラ15によって撮像された映像が、外部装置40に配信される。
 タッチパネル17は、例えば、映像を表示可能な液晶ディスプレイ等のディスプレイとタッチパッドとが組み合わされたタッチパネルモニターである。タッチパネル17は、例えば、ダッシュボードDBのセンターコンソールCCに配されている。タッチパネル17は、運転者から視認できかつ運転者の手が届く場所に配されていればよい。例えば、タッチパネル17は、ダッシュボードDB上に取り付けられていてもよい。
 タッチパネル17は、車載装置10の制御に基づいて画面表示を行うことが可能である。また、タッチパネル17は、ユーザから受け付けたタッチパネル17への入力操作を表す信号を車載装置10に送信することが可能である。例えば、タッチパネル17には、カーナビゲーションの案内表示がなされても良い。また、タッチパネル17を介して、目的地を設定する等、カーナビゲーション機能に関する操作が可能であってもよい。
 また、タッチパネル17には、ビデオ通信に関する情報が表示されてもよく、ビデオ通信のための接続(以下、ビデオ接続とも称する)をするための操作の受付画面が表示されてもよい。自動車Mの乗員はタッチパネル17への入力操作によって、ビデオ通信の接続操作を行ってもよい。
 スピーカ19は、例えば、AピラーAPの室内側に設けられている。スピーカ19は、車載装置10の制御に基づいて音楽や音声等の音を発することが可能である。ビデオ通信時において、スピーカ19からは、音声通話における外部装置40からの音声が発せられる。
 マイク21は、車内の音を受音するマイク装置であり、例えば、ダッシュボードDB上に配されている。マイク21は、車内の音を受音可能であれば、ルームミラーRMまたはハンドル等、どこに設けられていてもよい。ビデオ通信時において、マイク21に収音された音声が音声通話の音声として外部装置40に送信される。また、ビデオ通信の開始に関する操作入力が、マイク21を介して音声によって行われてもよい。
 図3は、車載装置10の構成を示すブロック図である。例えば、車載装置10は、システムバスを介して、記憶部24と、制御部25と、通信部27と、が協働する装置である。
 着座センサ22は、自動車Mの運転者が乗車(以下、「搭乗」とも記載する)しているか否かを実際に検出可能であり、例えば、当該検出された運転者の存在の有無を示す信号を出力可能なセンサである。着座センサ22は、例えば、自動車Mの運転席のシートの座面又は背面に設けられており、荷重を検知するセンサである。なお、運転者の検出は、車内カメラ15の映像を画像認識することでなされても良いし、他の赤外線センサ等の光電センサによって運転者自体を直接検出することでなされてもよい。
 また、自動車Mには加速度センサ23が搭載されている。加速度センサ23は、自動車Mの加速度を測定可能であり、当該測定された加速度を示す信号を出力可能な例えばMEMS加速度センサであってもよい。なお、加速度センサ23は慣性計測ユニット(IMU:Inertial Measurement Unit)であってもよい。また、加速度センサ23は、車載装置10に内蔵されていてもよい。
 記憶部24は、例えば、ハードディスク装置、SSD(solid state drive)、フラッシュメモリ等により構成される記憶デバイスである。記憶部24は、オペレーティングシステムや、端末用のソフトウェア等の、車載装置10において実行される各種プログラムを記憶する。
 各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、記憶部24に記憶される各種プログラムは、ネットワークを介して伝送可能であるし、また、コンピュータが読み取り可能な記録媒体に記録して譲渡することが可能である。
 また、記憶部24は、また、道路地図を含む地図情報を記憶している。また、記憶部24は、ビデオ通信の相手としての外部装置40の連絡先を示す情報、例えば電話番号又はメールアドレス等の情報を記憶している。
 制御部25は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等により構成され、コンピュータとして機能する。制御部25は、CPUがROMや記憶部24に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。本実施例においては、制御部25によって、ビデオ通信の開始や終了に関する情報を運転者に提示する機能、ビデオ通信時の動画配信機能、カーナビゲーション機能等が発揮される。
 制御部25は、車載装置10内に設けられている車外カメラ13、車内カメラ15、タッチパネル17、スピーカ19、マイク21、着座センサ22、及び加速度センサ23と通信可能に接続されている。
 制御部25は、車外カメラ13及び車内カメラ15によって撮像された映像を逐次取得する。また、制御部25は、着座センサ22によって検出される運転者が乗車しているか否かを示す情報を逐次取得する。また、制御部25は、GPS受信機11からの信号及び加速度センサ23によって計測された加速度を示す信号を逐次取得する。
 通信部27は、制御部25の指示に従って外部機器とのデータの送受信を行う通信装置である。通信部27は、例えば、ネットワークNWに接続するためのNIC(Network Interface Card)である。
 通信部27は、上記したネットワークNWに接続されており、種々のデータをサーバ30との間で送受信する。また、通信部27は、サーバ30を介して種々のデータを外部装置40との間で送受信する。
 通信部27は、例えば、自動車Mの外部又は内部の映像、現在位置情報及び移動経路等の情報をサーバ30に送信する。また、通信部27は、例えば、ビデオ通信に関してタッチパネル17に表示させるための情報をサーバ30から受信する。
 制御部25は、ビデオ通信中、通信部27を介して、車外カメラ13又は車内カメラ15によって撮像された映像をサーバ30に逐次送信する。
 制御部25は、通信部27を介してサーバ30からビデオ通信の開始や終了に関する表示情報を受信してタッチパネル17に表示させる。また、制御部25は、ビデオ通信の開始や終了に関する情報をスピーカ19から音声によって出力してもよい。
 例えば、車載装置10の制御部25は、通信部27を介して、サーバ30に車載装置10の現在位置を特定可能な位置データとしての位置特定情報、すなわち本実施例では自動車Mの現在位置の情報を送信可能である。また、例えば、制御部25は、通信部27を介して、サーバ30にユーザから入力された目的地を含む情報を送信し、サーバ30から、当該目的地への経路情報またはナビゲーション情報を受信可能である。
 制御部25は、通信部27を介して、ビデオ通信における音声通話のために、マイク21によって収音された音声の音声データを外部装置40に送信可能である。また、制御部25は、通信部27を介して、ビデオ通信における音声通話のために、外部装置40に入力された音声の音声データを受信可能である。
 図4は、サーバ30の構成を示すブロック図である。例えば、サーバ30はシステムバスを介して、記憶部31と、通信部33と、制御部35と、が協働している装置である。
 サーバ30は、ビデオ通信中において、車載装置10と外部装置40との間の音声通話を確立し、当該音声通話のデータを転送するSIPサーバのような機能を有している。
 また、サーバ30は、車載装置10から自動車Mの位置特定情報及び自動車Mの乗員であるユーザが設定した目的地の情報を受信し、当該位置特定情報及び目的地の情報に基づいて当該目的地への経路を生成する機能を有する。
 記憶部31は、例えば、ハードディスク装置及びSSD(solid state drive)等により構成されており、オペレーティングシステムや、サーバ30用のソフトウェア等の各種プログラムを記憶する。
 各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、記憶部31に記憶される各種プログラムは、ネットワークを介して伝送可能であるし、また、コンピュータが読み取り可能な記録媒体に記録して譲渡することが可能である。
 記憶部31は、例えば、サーバ30が、通信システム100におけるビデオ通信の接続に関する制御を行うための通信プログラムを記憶している。
 また、記憶部31は、道路地図を含む地図情報が保存されている地図情報データベース(図示せず)を記憶している。地図情報データベースの地図情報は、例えばナビゲーション装置に用いられている地図情報と同等の情報を有しているデータベースである。
 通信部33は、上記したネットワークNWに接続されており、種々のデータを車載装置10及び外部装置40との間で送受信する。
 制御部35は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等により構成され、コンピュータとして機能する。そして、CPUが、ROMや記憶部31に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。
 制御部35は、上述の通信プログラムを実行することで、通信システム100におけるビデオ通信の接続に関する制御を実現する。
 制御部35は、接続情報提供部36、搭乗情報取得部37及び表示制御部38を含んでいる。
 接続情報提供部36は、車載装置10からの要求に応じて、外部装置40が車載装置10との間でビデオ通信を行う際の接続に用いられかつ有効期限を有する接続情報としてのURL(Uniform Resource Locator)を外部装置40に提供する接続情報提供ステップを実行する機能部である。
 例えば、接続情報提供部36は、車載装置10から、外部装置40をビデオ通信に招待するためのURLの送信要求を受け付けると、有効期限を有するURL生成し、当該有効期限を有するURLを外部装置40に送信することで、当該URLを外部装置40に提供する。
 接続情報提供部36は、例えば、ビデオ通信の接続に用いられるURLを生成し、当該URLと、当該URLの有効期限とを対応付けてデータベースに記憶させ、有効期限が到来すると、当該URLによるページへのアクセスを拒否するという管理を行う。当該データベースは、例えば、記憶部31に記憶される。
 なお、接続情報提供部36は、有効期限を有するURLを外部のサーバ等の装置から取得してもよい。
 上記のURLの有効期限は、例えば、車載装置10からの要求があった時点から所定時間経過した時刻が設定される。例えば、当該有効期限は、要求があった時点から数時間~24時間であり、数日間であってもよい。
 また、URLの有効期限は、外部装置40のユーザごとに運転者が設定できるようにしてもよい。これによって、例えば、自動車Mの運転者は、仲の良いユーザなど、頻繁にビデオ通信を行うユーザについて有効期限を長く設定することができ、ビデオ通信を行う度に招待を行う手間を省くことができる。また、あまり頻繁にビデオ通信を行わないユーザについては有効期限を短く設定し、当該ユーザからの運転者にとって不要なアクセスを防止することができる。
 搭乗情報取得部37は、自動車Mに運転者が乗車しているか否かを示す搭乗状況情報を取得する機能部である。
 搭乗状況情報は、例えば、運転者が自動車Mに搭乗しているか否かを実際に検出した結果に基づいた情報である。例えば、搭乗情報取得部37は、車内カメラ15によって自動車Mの運転席を含む領域が撮影された映像を車載装置10から取得し、当該映像を画像認識することで運転者が運転席に存在するか否かを実際に検出する。搭乗情報取得部37は、当該検出結果に基づいて、運転者が乗車しているか否かを示す搭乗状況情報を取得する。
 また、例えば、搭乗情報取得部37は、自動車Mに備えられた着座センサ22による検出結果を取得することで、運転席に運転者が存在するか否かを実際に検出し、当該検出結果に基づいて、運転者が乗車しているか否かを示す搭乗状況情報を取得する。
 また、搭乗状況情報は、例えば、車載装置10が、ビデオ通信に用いる通信網であるネットワークNWに接続されているか否かに基づいた情報である。搭乗情報取得部37は、車載装置10がネットワークNWに接続されているか否かを検出することで、搭乗状況情報を取得する。
 また、搭乗状況情報は、例えば、自動車Mのアクセサリー電源が投入されているか否かに基づいた情報であってもよい。
 例えば、アクセサリー電源のON/OFFを検出可能なモニタ用装置を自動車M内に設置し、搭乗情報取得部37が当該モニタ用装置からアクセサリー電源が投入されているか否かを示す情報を取得するようにしてもよい。
 また、搭乗状況情報は、例えば運転者の運転中における余裕状態を示す情報である。当該余裕状態は、言い換えれば、運転の忙しさ又はワークロードの高さによって決まる状態である。搭乗情報取得部37は、例えば、車内カメラ15や車外カメラ13、加速度センサ23等からの情報を利用して、運転者の運転に対する余裕状態を示す搭乗状況情報を取得する。さらに言い換えれば当該余裕状態とは、運転者が運転中にビデオ通信を行って会話ができる余裕があるかどうかの状態であるといえる。
 表示制御部38は、接続情報提供部36によって提供されたURLへのアクセスを受付けると、自動車Mに運転者が乗車しているか否かを示す搭乗状況情報を、当該URLの有効期限に応じた期間において外部装置40に表示させる表示制御ステップを実行する機能部である。
 例えば、表示制御部38は、当該表示制御ステップにおいて、アクセスを受付けたURLの有効期限内か否かを判定し、有効期限内である場合に、搭乗状況情報を外部装置40に表示させる。例えば、表示制御部38は、URLの有効期限外である場合に、URLが無効である旨のメッセージを外部装置40に表示させる。
 例えば、上記のURLの有効期限内である場合、表示制御部38は、当該表示制御ステップにおいて、搭乗情報取得部が取得した搭乗状況情報を参照し、自動車Mに運転者が乗車しているが否かを判定する。当該判定の結果、自動車Mに運転者が乗車している場合には、表示制御部38は、例えば、運転者が乗車中であることを示す表示を外部装置40に表示させる。当該判定の結果、自動車Mに運転者が乗車していない場合には、表示制御部38は、例えば、運転者が降車中であることを示す表示を外部装置40に表示させる。
 外部装置40のユーザは、運転者が乗車中であるか否か、すなわち、車載装置10と外部装置40との間のビデオ通信を行うことが不可能であるか否かを、接続試行をする前に知ることができる。従って、運転者が降車中である場合には、接続試行をしても接続がなされない状況や、何度も接続試行し直す等の余計な手間を回避することができる。
 また、制御部35は、通信部33を介して、車載装置10から自動車Mの現在位置を示す位置情報を取得する。また、制御部35は、通信部33を介して、車載装置10から自動車Mの乗員が車載装置10に入力した目的地の情報を取得する。制御部35は、当該位置情報及び目的地の情報に基づいて、当該目的地までの経路を生成し、当該経路を示す情報を車載装置10に送信する。
 また、制御部35は、通信部33を介して、車載装置10から受信した映像及び音声を外部装置40に転送する。制御部35は、通信部33を介して、外部装置40から受信した音声を車載装置10に転送する。
 図5は、外部装置40の正面図である。上述のように、本実施例において、外部装置40はスマートフォンである。
 タッチパネル41は、例えば、映像を表示可能な液晶ディスプレイ等のディスプレイとタッチパッドとが組み合わされたタッチパネルモニターである。タッチパネル41は、ユーザから受け付けたタッチパネル41への入力操作を表す信号を生成することが可能である。本実施例において、タッチパネル41には、車載装置10から配信された映像が表示される。
 また、タッチパネル41には、ビデオ通信に関する情報が表示され、ビデオ通信の接続を開始するための操作の受付画面が表示される。外部装置40のユーザは、タッチパネル41への入力操作によって、ビデオ通信の開始のための入力続操作を行うことが可能である。
 スピーカ43は、音楽や音声等の音を発することが可能である。ビデオ通信時において、スピーカ43からは、音声通話における車載装置10からの音声が発せられる。
 マイク45は、外部装置40に向けて発せられた音を受音するマイク装置である。ビデオ通信時において、マイク45によって収音された音声が音声通話の音声としてサーバ30を介して車載装置10に送信される。
 図6は、外部装置40の構成の一例を示すブロック図である。例えば、外部装置40は、システムバス(図示せず)を介して、記憶部47と、制御部49と、通信部51と、が協働する装置である。
 記憶部47は、例えば、ハードディスク装置、SSD(solid state drive)、フラッシュメモリ等により構成されており、オペレーティングシステムや、外部装置40用のソフトウェア等の各種プログラムを記憶する。
 なお、各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、記憶部47に記憶される各種プログラムは、ネットワークを介して伝送可能であるし、また、コンピュータが読み取り可能な記録媒体に記録して譲渡することが可能である。
 制御部49は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等により構成され、コンピュータとして機能する。そして、CPUがROMや記憶部47に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。
 制御部49は、タッチパネル41、スピーカ43及びマイク45に通信可能に接続されている。
 制御部49は、タッチパネル41への入力操作を示す信号及びマイク45からの音声入力信号を受信することが可能である。例えば、制御部49は、タッチパネル41及びマイク45によってユーザからなされたビデオ通信の開始の要求を受け付けることが可能である。
 また、制御部49は、タッチパネル41に映像または画像信号を送信して表示をさせたり、スピーカ43に音声信号を送信して、音を出力させたりすることが可能である。
 例えば、制御部49は、ビデオ通信の接続試行の要求を受け付けるための開始画面や自動車Mの運転者が乗車中であるか否かを示す画面又はURLが無効であることを示す画面をタッチパネル41に表示させる。
 また、例えば、制御部49は、ビデオ通信中における映像をタッチパネル41に表示させ、自動車Mにおいて収音されたビデオ通信中における音声をスピーカ43に出力させる。
 通信部51は、上記したネットワークNWに接続されており、種々のデータをサーバ30との間で送受信する。また、通信部51は、車載装置10から送信された映像を始めとする種々のデータを、サーバ30を介して車載装置10との間で送受信する。
 外部装置40の制御部49は、通信部51を介して、ビデオ通信の接続試行の要求を受け付けるための開始画面や自動車Mの運転者が乗車中であるか否かを示す画面又はURLが無効であることを示す画面を表示させるための情報を受信可能である。
 また、制御部49は、通信部51を介して、ビデオ通信における音声通話のために、マイク45によって収音された音声の音声データを車載装置10に送信可能である。また、制御部49は、通信部51を介して、ビデオ通信における音声通話のために、車載装置10から送信された音声データを受信可能である。
 例えば、外部装置40の制御部49は、通信部51を介して、サーバ30から車載装置10から送信された自動車Mの現在位置を特定可能な位置特定情報を受信可能である。また、例えば、制御部49は、通信部51を介して、サーバ30から、自動車Mの経路情報またはナビゲーション情報を受信可能である。
 [2.URLが有効である場合のシーケンス]
 図7は、URLが有効であり、通信システム100においてビデオ通信が開始される際に、車載装置10と外部装置40との間でサーバ30を介して行われる通信の一例を示すシーケンス図である。以下、車載装置10のユーザである運転者が、自動車Mを運転する際に外部装置40のユーザである仮想同乗者との間でビデオ通信を行うことを予定している場合について説明する。
 図7に示すように、運転者は、外部装置40との間で行うビデオ通信の相手である仮想同乗者の連絡先を事前に登録しておく(ステップS11)。
 仮想同乗者の登録において、例えば、ニックネーム等の仮想同乗者を識別可能な名前と、仮想同乗者に情報を送信するために必要なメールアドレス又は電話番号等の宛先を示す情報との組を含む登録情報がサーバ30に送信され、サーバ30によって保持される。当該登録情報には、例えば、車載装置10を識別可能な識別子が含まれる。
 当該仮想同乗者の登録は、車載装置10のタッチパネル41を介して行われるが、これに限られず、車載装置10以外の、自動車Mの運転者が利用しているスマートフォン等の端末装置への入力情報がサーバ30に送信されることによって行われてもよい。
 運転者が仮想同乗者の連絡先を事前に登録するタイミングは、例えば自動車Mの運転中のビデオ通信を予定している日の前日以前であってもよく、当該ビデオ通信の直前であってもよい。
 その後、運転者は、例えば自動車Mの運転を開始すると、外部装置40への招待メールの送信を指示する入力操作を車載装置10に対して行う。当該入力操作は、車載装置10のタッチパネル17を介して行われてもよく、マイク21を介して音声によって行われてもよい。また、当該招待メールの送信を指示する入力操作は、自動車Mの運転を開始する前に行われてもよい。
 運転者の入力操作によって、外部装置40に招待メールを送信することを求める招待メール送信要求がサーバ30に送信される(ステップS12)。招待メール送信要求には、例えば、事前に登録されていた仮想同乗者が使用するメールアドレス又は外部装置40の電話番号等の宛先を示す情報及び仮想同乗者を識別可能なニックネームが含まれる。
 サーバ30は、招待メール送信要求を受信すると、招待メール送信要求に含まれる外部装置40の宛先に招待メールを送信する(ステップS13)。招待メールには、仮想同乗者がビデオ通信を行うための開始画面を開くためのURLが含まれる。
 例えば、サーバ30の接続情報提供部36は、有効期限を有するURLを生成し、外部装置40のユーザに向けたビデオ通信に招待する旨のメッセージ及び有効期限を有するURLを含む招待メールを生成して当該招待メールを外部装置40に送信する。
 サーバ30からの招待メールの送信後、仮想同乗者が外部装置40を用いて招待メールを開き、URLをタップすると(ステップS14A)、サーバ30によってURLの期限の確認が行われる。
 URLの有効期限内であり、URLが有効である場合(ステップS15A)、外部装置40のタッチパネル41においてブラウザが立ち上がり、運転者の乗車状況を示す乗車状況画面が表示される(ステップS16A)。
 例えば運転者が乗車中である場合、乗車状況画面には、乗車中であることを示すメッセージと共に、仮想同乗者がビデオ通信の開始を希望する場合に操作するとビデオ通信の開始の要求を受け付けるための表示領域である開始ボタンが表示されてもよい。
 仮想同乗者が開始ボタンをタップすると、ユーザによる開始ボタンの操作が受け付けられ(ステップS17)、ビデオ通信の開始の要求がサーバ30に送信される(ステップS18)。
 サーバ30は、ビデオ通信の開始の要求を受信すると、外部装置40からのビデオ通信の開始の要求があったことを車載装置10に通知する(ステップS19)。
 ステップS19において、例えば、車載装置10がサーバ30からの通知を受信すると、ビデオ通信の開始について承諾するか否かの選択ボタンがタッチパネル17に表示される。例えば、運転者が承諾ボタンをタップすると、運転者がビデオ通信の開始を承諾したことを示す情報がサーバ30に送信される(ステップS20)。
 サーバ30は、運転者がビデオ通信の開始を承諾したことを示す情報を受信すると、車載装置10と外部装置40との間の音声通話を確立させつつ、自動車Mにおいて撮影された映像を車載装置10から外部装置40に配信させるビデオ通信を開始する(ステップS21)。
 このようにして、URLが有効な期間内であり、かつ、運転者が乗車している場合、車載装置10と外部装置40とは、サーバ30を介してビデオ通信を開始する。
 [3.URLが無効である場合のシーケンス]
 図8は、外部装置40からアクセスのあったURLの有効期限が過ぎている場合のシーケンスの一例を示す図である。図8において、ステップS11~ステップS13までは図7のシーケンスと同様に進行後、有効期限を過ぎた後に、ステップS14B以降のステップが進行する場合について説明する。図8において、例えば、URLの有効期限は24時間とする。
 ステップS14Bにおいて、仮想同乗者が、外部装置40を用いて、ステップS13において受信していた招待メールを開き、URLをタップすると、サーバ30によってURLの期限の確認が行われる。
 当該期限の確認において、URLの有効期限外であり、URLが無効であると判定すると(ステップS15B)、サーバ30は、URLが無効であることを示すページを外部装置40に表示させる(ステップS16B)。ステップS16Bにおいて、例えば、外部装置40のタッチパネル41に、URLの有効期限を過ぎていることを示す期限切れ画面が表示される。その後、図8のシーケンスは終了する。
 [4.サーバの動作]
 以下、実施例の通信システム100の動作を実現するためのサーバ30の制御ルーチンについて説明する。以下、搭乗情報取得部37は、例えば、サーバ30において招待メールの送信要求(図7、ステップS12)が受信された後、搭乗状況情報を随時取得し、最新の搭乗状況情報を保持しているものとして説明する。
 図9は、サーバ30の表示制御部38によって実行される表示制御ルーチンRT1を示すフローチャートである。表示制御部38は、例えば、サーバ30から外部装置40に招待メールが送信されると、表示制御ルーチンRT1を開始する。
 表示制御部38は、表示制御ルーチンRT1を開始すると、招待メールに含まれるURLへのアクセスがあったか否かを判定する(ステップS101)。ステップS101において、例えば、仮想同乗者が外部装置40を用いて招待メール開き、招待メールに含まれるURLをタップすると、外部装置40が当該URLにアクセスする。
 ステップS101において、表示制御部38は、URLへのアクセスが無いと判定する(ステップS101:NO)と、表示制御ルーチンRT1を終了し、次の表示制御ルーチンRT1を開始して、再びステップS101を実行する。
 ステップS101において、表示制御部38は、URLへのアクセスがあったと判定する(ステップS101:YES)と、URLの有効期限内か否かを判定する(ステップS102)。
 ステップS102において、例えば、表示制御部38は、URLと有効期限が対応付けられて記憶されているデータベースを参照し、アクセスのあったURLの有効期限内か否かを判定する。
 ステップS102において、表示制御部38は、URLの有効期限内であると判定する(ステップS102:YES)と、搭乗情報取得部37が逐次取得して保持している搭乗状況情報を参照する(ステップS103)。ステップS103において、例えば、運転者が乗車しているか否かを示す情報が参照される。
 また、例えば、ステップS103において、車載装置10がネットワークNWに接続されているか否かを示す情報が参照されてもよく、自動車Mの運転席のシートに備えられた着座センサのON/OFF状態を示す情報が参照されてもよい。
 ステップS103の実行後、表示制御部38は、ステップS102において参照した搭乗状況情報に基づいて、運転者が乗車中か否かを判定する(ステップS104)。
 ステップS104において、表示制御部38は、運転者が乗車中であると判定する(ステップS104:YES)と、運転者が乗車中であることを示すメッセージを含む画面を外部装置40に表示させる(ステップS105)。
 図10は、ステップS105において外部装置40のタッチパネル41に表示される乗車中画面の一例を示す図である。図10に示すように、乗車中画面には、運転者が乗車中である旨のメッセージが表示されている。
 また、図10に示す乗車中画面には、運転者が乗車中である旨のメッセージに加えて、ビデオ通信による通話の開始を促すメッセージ及び開始ボタンが表示されていてもよい。なお、開始ボタンは、乗車中画面とは異なる画面に表示されてもよく、例えば、乗車中画面にビデオ通信を開始するための画面へ進むための「開始画面へ」等のボタンが表示されてもよく、当該ボタンが押されると、開始ボタンを含む開始画面が表示されてもよい。
 なお、乗車中画面又は開始画面には、本人確認のための暗証番号入力欄が表示されていてもよい。例えば、本人確認は、当該入力欄への電話番号の下4桁の入力によって行われてもよい。
 また、乗車中画面又は開始画面からビデオ通信に関する利用規約及びプライバシーポリシーを確認できるようになっていてもよく、例えば、開始ボタンを押すと、当該利用規約及びプライバシーポリシーに同意したものとされる旨の表示がされていてもよい。
 ステップS104において、表示制御部38は、運転者が乗車中ではないと判定する(ステップS104:NO)と、運転者が降車中であることを示すメッセージを含む画面を外部装置40に表示させる(ステップS106)。
 図11は、ステップS106において外部装置40のタッチパネル41に表示される降車中画面の一例を示す図である。図11に示すように、降車中画面には、運転者降車中である旨のメッセージが表示されている。また、図11に示すように、降車中画面には、ビデオ通信を開始できない旨のメッセージが表示されていてもよい。
 図11に示す例においては、開始ボタン等のビデオ通信の開始に関する表示が網掛けになっており、開始ボタンは機能しないようになっている。なお、降車中画面において、開始ボタンを含むビデオ通信の開始に関する表示は全くされていなくともよい。
 表示制御部38は、ステップS102において、URLの有効期限内ではないと判定する(ステップS102:NO)と、URLの有効期限が切れていることを示すメッセージを含む画面を外部装置40に表示させる(ステップS107)。
 図12は、ステップS107において外部装置40のタッチパネル41に表示される期限切れ画面の一例を示す図である。図12に示すように、ステップS107において、ビデオ通信に関する画面にはアクセスできないため、期限切れ画面には、URLが無効であることを示すメッセージとして、「URLの有効期限が切れています」というメッセージが表示されている。
 例えば、期限切れ画面には、ビデオ通信の開始が出来ないことを示すメッセージ、又は、ビデオ通信を開始するためには、新たに招待メールを受信する必要があることを示すメッセージがさらに表示されていてもよい。
 表示制御部38は、ステップS104~ステップS107において、移動体に操縦者が搭乗しているか否かを示す搭乗状況情報を、接続情報としてのURLの有効期限に応じた期間において外部装置40に表示させる表示制御ステップを実行する。
 ステップS105、ステップS106又はステップS107の実行後、表示制御部38は、表示制御ルーチンRT1を終了し、次の表示制御ルーチンRT1を開始する。
 制御ルーチンRT1によれば、図10に示すような乗車中画面又は図11に示すような降車中画面が表示されることで、仮想同乗者は、ビデオ通信の接続試行を行う前に、運転者が自動車Mに乗車中であるか否かを知ることができる。従って、仮想同乗者は、無駄な接続試行を行わずに済む。
 また、制御ルーチンRT1によれば、URLに有効期限を設け、有効期限内においてのみ搭乗状況情報を外部装置40に表示させ、有効期限外においては、搭乗状況情報を外部装置40に表示させないように制御をすることができる。従って、無制限に搭乗状況情報が仮想同乗者に知られることがなく、運転者のプライバシーを保護することができる。例えば、予定していたビデオ通信の終了後においても繰り返し搭乗状況情報を知られることを防止できる。
 さらに、有効期限外においては、図12に示すようなURLが無効である旨のメッセージが表示されることで、仮想同乗者は、無駄な接続情報へのアクセスを行わずに済む。
 なお、上記の制御ルーチンRT1のステップS103において、運転者の乗車状況と合わせて、又はこれに代えて運転者の運転中における余裕状態が参照されて、運転者が乗車中であっても余裕が無い状況にある場合には、ビデオ通信の開始ができない旨のメッセージが表示されてもよい。
 以上説明したように、本実施例の通信システム100は、サーバ30を介して、第1装置としての車載装置10と第2装置としての外部装置40との間で音声通話を成立させつつ、車載装置10が搭載されている自動車Mにおける映像を外部装置40に送信するビデオ通信を行うことが可能である。
 本実施例の通信システム100は、ビデオ通信を含む音声映像通信の接続に用いられかつ有効期限を有する接続情報を提供する接続情報提供部と、外部装置40からの接続情報へのアクセスを受け付けると、移動体に操縦者が搭乗しているか否かを示す搭乗状況情報を当該接続情報の有効期限に応じた期間において外部装置40に表示させる表示制御部と、を有する。
 本実施例によれば、外部装置40のユーザは、音声映像通信の接続を試行する前に、操縦者が搭乗しているか否かを知ることができる。操縦者が搭乗していない場合には音声映像通信の接続が不可能であることが明らかであり、外部装置40のユーザは、操縦者が搭乗していない場合に無駄な接続試行を行うことを回避できる。
 本実施例によれば、例えば、表示制御部は、接続情報の有効期限内においてのみ搭乗状況情報を表示させることができる。これによって、無制限に操縦者の搭乗状況が外部装置40のユーザに知られることを防止することができ、操縦者のプライバシーを保護することができる。
 従って、本実施例によれば、移動体内の第1装置と移動体外の第2装置との間の通信において、移動体の操縦者のプライバシーに配慮しつつ第2装置から第1装置への無駄な接続試行を抑制して効率の良い円滑な通信を実現することを可能にする通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体を提供することができる。
 [変形例]
 図13は、実施例1及び実施例2の通信システム100の変形例における車載装置60の構成の一例を示すブロック図である。上記の実施例においてサーバ30が有する接続情報提供部36、搭乗情報取得部37及び表示制御部38の機能を、本変形例においては車載装置60が有している。
 具体的には、車載装置60の制御部61は、接続情報提供部63と、搭乗情報取得部64と、表示制御部65とを有している。
 記憶部67は、制御部61が実行し、ビデオ通信の接続に用いられかつ有効期限を有するURLを提供し、外部装置40からの当該URLへのアクセスを受け付けると、自動車Mに運転者が乗車しているか否かを示す搭乗状況情報を、ULRの有効期限に応じた期間において表示させる制御を行うための通信プログラムを記憶している。
 例えば、車載装置60の接続情報提供部63は、外部装置40への招待メールの送信を指示する運転者による操作入力を受け付けると、有効期限を有するURLを生成し、通信部27を介して当該URLを含む招待メールを外部装置40に送信する。
 搭乗情報取得部64は、例えば、車内カメラ15又は着座センサ22による検出結果に基づいて、運転者が自動車Mに搭乗しているか否かを示す搭乗状況情報を逐次取得する。
 表示制御部65は、外部装置40からの当該URLへのアクセスを受け付けると、自動車Mに運転者が乗車しているか否かを示す搭乗状況情報を、ULRの有効期限に応じた期間において外部装置40に表示させる制御を行う。
 本変形例によれば、外部装置40と車載装置60との間のビデオ通信に関して、サーバ30を介さずとも搭乗状況情報の表示に関するが可能である。例えば、本変形例における搭乗状況情報の表示に関する制御及びビデオ通信は、サーバ30を介さずに、車載装置10と外部装置40との間でP2P(Peer to Peer)通信などによって直接なされてもよい。
 上述した実施例及び変形例における車載装置10、車載装置60、サーバ30及び外部装置40の構成、ルーチン等は、例示に過ぎず、用途等に応じて、適宜選択または変更することができる。
 例えば、上記の実施例及び変形例において、搭乗状況情報は、運転者が乗車しているか否かを示す情報に加えて、乗車していてもビデオ通信を開始できない状況か否かを示す情報を含んでいてもよい。
 例えば、外部装置40ではない他の装置との間でビデオ通信中である場合、自動車M内に同乗者が居る場合、運転負荷が高い場合、又は同乗者若しくは通信相手と会話中である場合には、運転者は、ビデオ通信を開始しても対応ができない状況、車内若しくは車外の映像又は自動車M内の音声を外部装置40に送信したくない状況であると推測される。
 このような場合、運転者の搭乗状況は、乗車中であってもビデオ通信を開始できない状況であるものとして取り扱われてもよい。この場合、例えば、運転者が乗車中であることを示す乗車中画面において、ビデオ通信を開始できない旨の表示がなされてもよい。
 例えば、自動車Mには、運転席以外のシートにも着座センサが備えられていてもよく、運転者の搭乗状況の判定に用いる同乗者の有無は、当該着座センサによって検出されてもよい。
 例えば、運転者の搭乗状況の判定に用いる運転負荷の大きさは、車外カメラ13又は車内カメラ15の映像を用いたワークロード推定によって算出されてもよい。
 また、上記の実施例において、URLの有効期限外である場合に、URLが無効であることを示す画面を外部装置40に表示させることについて説明したが、これに限られず、当該URLによって特定されるページを削除することによってアクセス不能としてもよい。
 また、上記の実施例及び変形例において、外部装置40からの開始の要求を受け付ける態様として、タッチパネル41に表示された開始ボタンをタップする例について説明したが、これに限られない。当該開始の要求は、例えば、音声による入力操作によって受付けられてもよい。
 上記の実施例及び変形例においては、通信システム100においてビデオ通信を行う例について説明したが、これに限られない。本発明は、通信システム100において、自動車Mと共に移動する第1装置としての車載装置10によって取得された自動車Mにおける音声及び映像を第2装置としての外部装置40に送信する音声映像通信を行う場合に適用可能である。つまり、本発明は、外部装置40からは音声が送信されない態様での通信にも適用可能である。
 また、車載装置10と外部装置40は、必ずしも音声通話が出来なくともよい。例えば、車載装置10と外部装置40との間の通信態様は、YouTube(登録商標)やニコニコ生放送(登録商標)のように、双方向の音声通話を伴わず単に車載装置10から外部装置40に映像及び音声が配信される態様であっても良い。
 また、上記の実施例においては、車載装置10と外部装置40とがサーバ30を介してビデオ通信を行うこととしたが、ビデオ通信は車載装置10と外部装置40との間で直接なされてもよい。
 また、通信システム100で車載装置10から外部装置40に上記映像配信が行われつつ、通信システム100とは別の経路で並行して車載装置10と外部装置40との間の音声通話が確立されていても良い。
 上記実施例及び変形例において、車載装置10は、車載ナビゲーション装置であるとしたが、車載装置10は、単に車外カメラ13又は車内カメラ15からの動画を配信可能であればよい。
 例えば、車載装置10は、車載装置10と同様の構成を有する端末装置と車外カメラ13とタッチパネル17とが一体化された構成であってもよい。具体的には、例えば、車載装置10は、上記車載装置10と同様の機能を発揮するアプリを搭載したカメラ付きのスマートフォン、タブレットまたはPC等の端末装置であってもよい。この場合、車載装置10は、内蔵カメラが自動車Mのフロントガラスを通して自動車Mの前方を撮影可能なように、例えばクレードル等でダッシュボードDB上に取り付けられ得る。
 また、車載装置10は、自動車Mの運転者に提示する画面を表示しない構成であってもよい。例えば、車載装置10は、ドライブレコーダのような構成を有していてもよく、例えば、車外カメラ13と一体となった装置であってもよい。具体的には、車載装置10は、例えば、車外カメラ13の筐体内に上記した車載装置10のビデオ通信機能を果たすハードウェアを内蔵したような装置であってもよい。この場合、車載装置10は、上記において説明したような種々の表示出力を行わないこととしてもよい。
 上記の実施例及び変形例において、外部装置40はスマートフォンである場合について説明したが、これに限られない。外部装置40は、仮想同乗者がビデオ通信に利用できる端末装置であって、ビデオ通信に関する表示又はメッセージの提示、ビデオ通信を行うために必要な操作入力の受付、音声データの送受信並びに映像の受信及び表示が可能に構成されていればよい。例えば、外部装置40は、タブレット、PC、ウェアラブル端末等の端末装置であってもよい。
 上記の実施例及び変形例においては、車載装置10及び車載装置60が自動車Mに搭載される例を説明したが、車載装置10は、自転車、バイク、船舶等他の移動体に搭載されていてもよい。また、車載装置10がスマートフォンのようなカメラを内蔵した端末装置であり、これを人が保持しており、例えば歩きながらビデオ通信を行って映像を配信することとしてもよい。その場合、例えば、運転者が移動体に搭乗しているか否かに代えて、当該端末装置のユーザが当該端末装置を保持しているか否かを示す情報が外部装置40において表示されることとしてもよい。
10 車載装置
13 車外カメラ
15 車内カメラ
17 タッチパネル
19 スピーカ
21 マイク
23 記憶部
25 制御部
27 通信部
30 サーバ
31 記憶部
33 通信部
35 制御部
36、63 接続情報提供部
37、64 搭乗状況情報取得部
38、65 表示制御部
40 外部装置
41 タッチパネル
43 スピーカ
45 マイク
47 記憶部
49 制御部
51 通信部

Claims (11)

  1.  移動体と共に移動する第1装置によって取得された前記移動体における音声及び映像を第2装置に送信する音声映像通信を行う通信システムであって、
     前記音声映像通信の接続に用いられかつ有効期限を有する接続情報を提供する接続情報提供部と、
     前記第2装置からの前記接続情報へのアクセスを受け付けると、前記移動体に操縦者が搭乗しているか否かを示す搭乗状況情報を前記有効期限に応じた期間において前記第2装置に表示させる表示制御部と、
    を有することを特徴とする通信システム。
  2.  前記搭乗状況情報は、前記操縦者が前記移動体に搭乗しているか否かを実際に検出した結果に基づいた情報であることを特徴とする通信システム。
  3.  前記搭乗状況情報は、前記第1装置が前記音声映像通信に用いる通信網に接続されているか否かに基づいた情報であることを特徴とする請求項1又は2に記載の通信システム。
  4.  前記移動体は車両であり、
     前記搭乗状況情報は、前記車両のアクセサリー電源が投入されているか否かに基づいた情報である請求項1乃至3のいずれか1つに記載の通信システム。
  5.  前記表示制御部は、前記有効期限内においてのみ前記搭乗状況情報を表示させることを特徴とする請求項1乃至4のいずれか1つに記載の通信システム。
  6.  前記表示制御部は、前記有効期限外である場合には、前記接続情報が無効であることを示す表示を前記第2装置に表示させることを特徴とする請求項1乃至5のいずれか1つに記載の通信システム。
  7.  移動体と共に移動する第1装置によって取得された前記移動体における音声及び映像を第2装置に送信する音声映像通信を行う通信システムによって実行される通信方法であって、
     前記音声映像通信の接続に用いられかつ有効期限を有する接続情報を提供する接続情報提供ステップと、
     前記第2装置からの前記接続情報へのアクセスを受け付けると、前記移動体に操縦者が搭乗しているか否かを示す搭乗状況情報を前記有効期限に応じた期間において前記第2装置に表示させる表示制御ステップと、
    を含むことを特徴とする通信方法。
  8.  コンピュータを備え、移動体と共に移動する第1装置によって取得された前記移動体における音声及び映像を第2装置に送信する音声映像通信を行う通信システムによって実行される通信プログラムであって、前記コンピュータに、
     前記音声映像通信の接続に用いられかつ有効期限を有する接続情報を提供する接続情報提供ステップと、
     前記第2装置からの前記接続情報へのアクセスを受け付けると、前記移動体に操縦者が搭乗しているか否かを示す搭乗状況情報を前記有効期限に応じた期間において前記第2装置に表示させる表示制御ステップと、
     を実行させるための通信プログラム。
  9.  コンピュータを備え、移動体と共に移動する第1装置によって取得された前記移動体における音声及び映像を第2装置に送信する音声映像通信を行う通信システムに、
     前記音声映像通信の接続に用いられかつ有効期限を有する接続情報を提供する接続情報提供ステップと、
     前記第2装置からの前記接続情報へのアクセスを受け付けると、前記移動体に操縦者が搭乗しているか否かを示す搭乗状況情報を前記有効期限に応じた期間において前記第2装置に表示させる表示制御ステップと、
     を実行させるための通信プログラムを記憶するコンピュータ可読記憶媒体。
  10.  移動体と共に移動し、前記移動体における音声及び映像を取得して他の装置に送信する音声映像通信を行う通信装置であって、
     前記音声映像通信の接続に用いられかつ有効期限を有する接続情報を提供する接続情報提供部と、
     前記他の装置からの前記接続情報へのアクセスを受け付けると、前記移動体に操縦者が搭乗しているか否かを示す搭乗状況情報を前記有効期限に応じた期間において前記他の装置に表示させる表示制御部と、
    を有することを特徴とする通信装置。
  11.  移動体と共に移動する第1装置によって取得された前記移動体における音声及び映像を第2装置に送信する音声映像通信を行うサーバ装置であって、
     前記音声映像通信の接続に用いられかつ有効期限を有する接続情報を提供する接続情報提供部と、
     前記第2装置からの前記接続情報へのアクセスを受け付けると、前記移動体に操縦者が搭乗しているか否かを示す搭乗状況情報を前記有効期限に応じた期間において前記第2装置に表示させる表示制御部と、
    を有することを特徴とするサーバ装置。
     
PCT/JP2021/045959 2021-12-14 2021-12-14 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体 WO2023112119A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/045959 WO2023112119A1 (ja) 2021-12-14 2021-12-14 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/045959 WO2023112119A1 (ja) 2021-12-14 2021-12-14 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体

Publications (1)

Publication Number Publication Date
WO2023112119A1 true WO2023112119A1 (ja) 2023-06-22

Family

ID=86774073

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/045959 WO2023112119A1 (ja) 2021-12-14 2021-12-14 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体

Country Status (1)

Country Link
WO (1) WO2023112119A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002013028A1 (fr) * 2000-08-04 2002-02-14 Matsushita Electric Industrial Co., Ltd. Systeme de gestion de date d'expiration et appareil correspondant
JP2003121162A (ja) * 2001-10-15 2003-04-23 Alpine Electronics Inc 多者間通信装置
WO2007046340A1 (ja) * 2005-10-21 2007-04-26 Pioneer Corporation 通信端末、情報表示方法、情報表示プログラムおよび記録媒体
JP2011205373A (ja) * 2010-03-25 2011-10-13 Secom Co Ltd 車載画像監視装置
JP2014200063A (ja) * 2013-03-12 2014-10-23 株式会社リコー 管理装置、通信システム及びプログラム
JP2015046733A (ja) * 2013-08-28 2015-03-12 ダイコク電機株式会社 番組配信システム
WO2015141320A1 (ja) * 2014-03-19 2015-09-24 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002013028A1 (fr) * 2000-08-04 2002-02-14 Matsushita Electric Industrial Co., Ltd. Systeme de gestion de date d'expiration et appareil correspondant
JP2003121162A (ja) * 2001-10-15 2003-04-23 Alpine Electronics Inc 多者間通信装置
WO2007046340A1 (ja) * 2005-10-21 2007-04-26 Pioneer Corporation 通信端末、情報表示方法、情報表示プログラムおよび記録媒体
JP2011205373A (ja) * 2010-03-25 2011-10-13 Secom Co Ltd 車載画像監視装置
JP2014200063A (ja) * 2013-03-12 2014-10-23 株式会社リコー 管理装置、通信システム及びプログラム
JP2015046733A (ja) * 2013-08-28 2015-03-12 ダイコク電機株式会社 番組配信システム
WO2015141320A1 (ja) * 2014-03-19 2015-09-24 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法

Similar Documents

Publication Publication Date Title
US20130137476A1 (en) Terminal apparatus
CN112368999B (zh) 平视显示系统
US20200186730A1 (en) In-vehicle device, program, and vehicle
CN111717083B (zh) 一种车辆交互方法和一种车辆
CN107071696B (zh) 应用控制系统和应用控制方法
WO2023112119A1 (ja) 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体
US11922585B2 (en) Method for operating a head-mounted display apparatus in a motor vehicle, control device, and head-mounted display apparatus
JP6753157B2 (ja) 車両データ提供装置、車両データ提供システム及び車両データ提供方法
WO2023112120A1 (ja) 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体
JP2023095413A (ja) 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体
JP6620724B2 (ja) 車両用会話支援装置
JP2023095039A (ja) 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体
JP4076747B2 (ja) Tv電話システム及びtv電話接続方法
JP7268751B2 (ja) 情報処理装置および情報処理方法
CN111669542B (zh) 车辆管理系统
WO2023112113A1 (ja) 通信システム、情報処理装置、情報処理方法、プログラム及び記録媒体
CN111630574B (zh) 记录装置、记录方法以及存储介质
WO2023112115A1 (ja) 通信システム、情報処理装置、情報処理方法、プログラム及び記録媒体
WO2023127118A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び記憶媒体
WO2023112114A1 (ja) 通信システム、情報処理装置、情報処理方法、プログラム及び記録媒体
JP2023097576A (ja) 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体
WO2024135049A1 (ja) 情報処理装置、受信装置、情報処理方法及びプログラム
JP2014230197A (ja) 通信装置および通信方法
JP2022157413A (ja) 映像送信装置、映像生成装置、映像送信方法、映像送信プログラム及び記憶媒体
JP2024091137A (ja) 情報処理装置、情報処理方法、情報処理プログラム及び記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21968040

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023567309

Country of ref document: JP