WO2022053862A1 - 情報出力装置及び情報出力方法 - Google Patents

情報出力装置及び情報出力方法 Download PDF

Info

Publication number
WO2022053862A1
WO2022053862A1 PCT/IB2021/000531 IB2021000531W WO2022053862A1 WO 2022053862 A1 WO2022053862 A1 WO 2022053862A1 IB 2021000531 W IB2021000531 W IB 2021000531W WO 2022053862 A1 WO2022053862 A1 WO 2022053862A1
Authority
WO
WIPO (PCT)
Prior art keywords
event
vehicle
unit
person
data
Prior art date
Application number
PCT/IB2021/000531
Other languages
English (en)
French (fr)
Inventor
草柳佳紀
柳拓良
Original Assignee
日産自動車株式会社
ルノー エス. ア. エス.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日産自動車株式会社, ルノー エス. ア. エス. filed Critical 日産自動車株式会社
Priority to BR112023004500A priority Critical patent/BR112023004500A2/pt
Priority to CN202180054030.9A priority patent/CN116325715A/zh
Priority to US18/005,366 priority patent/US11841980B2/en
Priority to EP21866151.0A priority patent/EP4213481B1/en
Priority to JP2022548255A priority patent/JP7450045B2/ja
Publication of WO2022053862A1 publication Critical patent/WO2022053862A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/629Protecting access to data via a platform, e.g. using keys or access control rules to features or functions of an application
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • G07C5/0866Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1815Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue

Definitions

  • the present invention relates to an information output device and an information output method.
  • Patent Document 1 video data and audio data (AV data) in the vehicle are automatically acquired, and various information such as the date and time, destination, travel route, and passenger information when the AV data is acquired is acquired and recorded.
  • image / sound recording / reproducing device that reproduces recorded AV data in a vehicle (see Patent Document 1).
  • the invention described in Patent Document 1 records the acquired AV data in association with the above-mentioned various information, and when the user specifies a condition based on the various information, the AV data corresponding to the condition is stored. It can be easily extracted and regenerated.
  • the image / audio recording / playback device disclosed in Patent Document 1 does not consider who will view the recorded AV data when the recorded AV data is reproduced. Therefore, if the recorded AV data includes the privacy information of the user who does not want to be known to others other than the passenger at the time of recording the AV data, the privacy of the user is obtained by reproducing the AV data. Information may be leaked to the above-mentioned others.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide an information output device and an information output method for automatically outputting event data while protecting the user's privacy information included in the event data. It is to be.
  • the information output device includes an event detection unit, a member identification unit, an event storage unit, a data output unit, and further includes an output control unit.
  • the event detection unit detects an event that occurs inside or outside the vehicle
  • the member identification unit identifies a person who can perceive the event as the first member
  • the event storage unit stores event data related to the detected event. Store in association with the first member.
  • the member identification unit specifies a person who can view the event data as the second member.
  • the output control unit determines whether or not a person other than the first member is included in the second member, and if it is determined that the second member includes a person other than the first member, the event data is automatically set. It is prohibited to output to.
  • the event data can be automatically output while protecting the privacy information of the user included in the event data.
  • FIG. 1 is a block diagram showing a configuration of an information output device according to the first embodiment.
  • FIG. 2 is a flowchart showing an operation in which the information output device according to the first embodiment stores event data.
  • FIG. 3 is a flowchart showing an operation of the information output device according to the first embodiment to output event data.
  • FIG. 4A is a mock diagram showing a member configuration when the information output device according to the first embodiment determines whether or not event data can be output.
  • FIG. 4B is a mock diagram showing a member configuration when the information output device according to the first embodiment determines whether or not event data can be output.
  • FIG. 4C is a mock diagram showing a member configuration when the information output device according to the first embodiment determines whether or not to output event data.
  • FIG. 4A is a mock diagram showing a member configuration when the information output device according to the first embodiment determines whether or not event data can be output.
  • FIG. 4B is a mock diagram showing a member configuration when the information output device according to the first embodiment
  • FIG. 5 is a block diagram showing the configuration of the information output device according to the second embodiment.
  • FIG. 6 is a flowchart showing an operation in which the information output device according to the second embodiment stores event data.
  • FIG. 7 is a flowchart showing an operation of the information output device according to the second embodiment to output event data.
  • FIG. 8 is a block diagram showing the configuration of the information output device according to the third embodiment.
  • FIG. 9 is a flowchart showing an operation in which the information output device according to the third embodiment stores event data.
  • FIG. 10 is a flowchart showing an operation of the information output device according to the third embodiment to output event data.
  • the information output device is a person (first member) who can perceive an event when an event occurring inside or outside the vehicle is detected by the second member who is a person who can view the output event data. It is a device that automatically outputs event data while protecting the privacy of the user by prohibiting the automatic output of event data when a person other than) is included.
  • the information output device is mainly composed of the controller 1. Further, the information output device includes a camera 11 for photographing the outside of the vehicle, a microphone 12 provided inside the vehicle, a camera 13 for photographing the inside of the vehicle, a GPS receiver 14, an event storage unit 30, and a data output unit 50. There is.
  • the controller 1 is a general-purpose microcomputer including a CPU (central processing unit), a memory, and an input / output unit.
  • a computer program for functioning as an information output device is installed in the microcomputer.
  • the microcomputer By executing a computer program, the microcomputer functions as a plurality of information processing circuits included in the information output device.
  • an example of realizing a plurality of information processing circuits included in the information output device by software is shown, but of course, dedicated hardware for executing each information processing shown below is prepared for information. It is also possible to configure a processing circuit. Further, a plurality of information processing circuits may be configured by individual hardware.
  • the controller 1 includes an event detection unit 10, a member identification unit 20, and an output control unit 40 as a plurality of information processing circuits.
  • the event detection unit 10 acquires data output from the camera 11, the microphone 12, the camera 13, and the GPS receiver 14, and detects an event that has occurred inside or outside the vehicle.
  • the event detection unit 10 detects that an event that is a memory of a person (first member) who can perceive the event has occurred.
  • the first member includes the occupants of the vehicle.
  • a plurality of cameras 11 are arranged inside or outside the vehicle interior, and are provided in front of, sideways, and rear of the vehicle.
  • the camera 11 captures the situation around the vehicle and outputs it as video data outside the vehicle.
  • a stereo camera and a monocular camera used in an automatic driving device and a driving support device can also be used.
  • the microphone 12 is arranged inside the vehicle interior of the vehicle, collects the voice of a person in the vehicle, and outputs it as voice data in the vehicle.
  • the camera 13 is arranged in the vehicle interior, captures a person in the vehicle, particularly the face of the person, and outputs the image data in the vehicle.
  • the GPS receiver 14 is installed inside the vehicle and receives radio waves from artificial satellites to output vehicle position information (including latitude and longitude information) on the ground.
  • vehicle position information including latitude and longitude information
  • the GPS receiver 14 the one used for the navigation function can be used.
  • the GPS receiver 14 is installed inside the vehicle, but may be installed together with a radio antenna outside the vehicle and an antenna for communicating with other communication devices.
  • the event detection unit 10 is based on the voice data and video data inside the vehicle output from the microphone 12 and the camera 13, the video data outside the vehicle output from the camera 11, and the position information of the vehicle detected by the GPS receiver. , Detects events that occur inside or outside the vehicle.
  • an event recorder As a device having a function similar to that of an event detection unit, for example, there is an event recorder.
  • the event recorder is installed in the vehicle and determines whether or not a traffic accident (event) has occurred based on the operating status of the equipment provided in the vehicle.
  • a traffic accident event
  • the event detection unit 10 analyzes the voice data in the vehicle output from the microphone 12, and determines that the event has been detected when it is determined that the conversation of the members in the vehicle is lively. Specifically, the event detection unit 10 can identify the conversation of the boarding member by providing the voice recognition function. As a result, the event detection unit 10 can determine whether or not the conversation of the boarding member includes a topic for determining that the predetermined conversation is lively, and in the conversation, the event detection unit 10 can determine. The appearance rate of the topic can be calculated.
  • the event detection unit 10 includes a topic for determining that a predetermined conversation is lively in the conversation of the boarding member, and when it is determined that the appearance rate of the topic in the conversation is high, the inside of the vehicle It is judged that the conversation of the members of is lively, and it is judged that the event is detected.
  • topics for determining that a predetermined conversation is lively include weather, scenery, and sightseeing spots.
  • the event detection unit 10 analyzes the video data outside the vehicle output from the camera 11 and the video data inside the vehicle output from the camera 13, and determines that the member riding in the scenery seen from the vehicle is reacting. Occasionally, it is determined that an event has been detected. Specifically, first, the event detection unit 10 detects a landscape similar to a predetermined landscape, including the sea, mountains, rivers, sunrise, sunset, and fireworks, from the video data outside the vehicle output from the camera 11. Determine if it was done. Next, the event detection unit 10 analyzes the video data in the vehicle output from the camera 13 when a landscape similar to the predetermined landscape is detected, and the member in the vehicle is detected. Determine if it is reacting to the scenery.
  • a landscape similar to a predetermined landscape including the sea, mountains, rivers, sunrise, sunset, and fireworks
  • a face recognition function is used to identify a person from video data and specify the direction of the face of the identified person. Can be done.
  • the event detection unit 10 determines whether or not each of the passengers is facing the direction of the detected scenery, and if a certain percentage or more of the occupants are facing the direction of the scenery, the vehicle is notified. It can be determined that the boarding member is reacting to the detected scenery. As a result, the event detection unit 10 can determine whether or not the member in the vehicle is reacting to the detected scenery, and can determine that the event has been detected.
  • the event detection unit 10 acquires the position information of the vehicle detected by the GPS receiver 14, and determines that the event has been detected when it is determined that the current position of the vehicle is near a famous tourist spot. do.
  • the event detection unit 10 acquires the date and time information received by the GPS receiver 14 in addition to the vehicle position information detected by the GPS receiver 14, the position of the vehicle when it is determined that the event has been detected, and the position of the vehicle. Specify the date and time. As for the date and time when it is determined that the event has been detected, the exact date and time can be specified by using the date and time information received by the GPS receiver 14.
  • the member identification unit 20 acquires the audio data in the vehicle output from the microphone 12 and the video data in the vehicle output from the camera 13 when the event is detected by the event detection unit 10.
  • the member specifying unit 20 identifies the first member who is a person who can get on the vehicle and perceive the event by analyzing the acquired audio data in the vehicle and video data in the vehicle.
  • the member identification unit 20 extracts acoustic characteristics of voices that differ depending on the person from the voice data in the vehicle output from the microphone 12, and identifies the voice based on the extracted acoustic characteristics. By providing the function, it is possible to identify the person who is in the vehicle.
  • the member specifying unit 20 acquires the video data output from the camera 13.
  • the member identification unit 20 detects each person's face from video data, and has a face recognition function that identifies each person's face from the relative positions and sizes of the detected face parts and the characteristics of the shapes of eyes, nose, and chin. By providing, it is possible to identify the person who is in the vehicle. Further, the member specifying unit 20 may estimate the age from the facial features. Further, the face recognition function can detect the orientation of the face of each specified person and the opening degree of the eyes and mouth. As a result, the member specifying unit 20 can determine whether or not each of the specified persons is facing the direction of the detected event and whether or not they are sleeping, and can perceive the detected event. The first member who is a possible person can be identified.
  • the member specifying unit 20 may determine whether or not the specified first member has a user of the information output device.
  • the user of the information output device is a person who is registered as a user in the information output device in advance as the main user of the information output device.
  • the member specifying unit 20 is based on the face data of the user of the information output device captured by the camera 11 and the voice data of the user of the information output device picked up by the microphone 12 acquired in advance. It is possible to determine whether or not there is a user of the information output device among the first members.
  • the member specifying unit 20 is a second member who is a person who is in a vehicle and can view the output event data in the same manner as when the first member is specified.
  • the event data is data related to the detected event, and is data including audio and video inside and outside the vehicle acquired by the cameras 11, 13 and the microphone 12 when the event detection unit 10 detects the event. That is.
  • the member specifying unit 20 identifies as a second member a person who can view the output event data and can understand the output event data. Specifically, the member specifying unit 20 can estimate the age of each person who can view the output event data by providing the face recognition function. As a result, the member identification unit 20 determines whether or not the members who can view the output event data include children of an age who cannot understand the language and characters contained in the event data. Can be judged. The member identification unit 20 can understand the output event data by excluding a person who cannot understand the language and characters from the members who can view the output event data. Person can be identified as the second member.
  • the event storage unit 30 is composed of a hard disk drive and an information storage device including online storage.
  • the event storage unit 30 includes audio and video inside and outside the vehicle acquired by the cameras 11, 13 and the microphone 12 in addition to the position and date and time of the vehicle at the time of event detection specified by the event detection unit 10.
  • Store event data The event storage unit 30 stores the event data to be stored in association with the first member specified by the member identification unit 20. Specifically, the event storage unit 30 stores each of the specified first member persons, and stores the detected event data for each of the stored persons in association with each other. Alternatively, the event storage unit 30 may store each of the first member persons specified with respect to the event data in association with each other.
  • the output control unit 40 is composed of a similar event determination unit 41, a member comparison unit 42, and a playability determination unit 43, and determines whether or not the event data stored in the event storage unit 30 can be output.
  • the similar event determination unit 41 is an event similar to the event in which the detected other event is stored as event data in the event storage unit 30. Determine if it exists. Specifically, when the event detection unit 10 determines that an event has been detected, the content of the conversation of the members in the vehicle, the scenery seen from the vehicle, and at least one of the positions of the vehicle are included in the event data. Determine if it is similar to the content of the memorized member's conversation, the view seen by the vehicle, and the position of the vehicle.
  • the conversation of the members in the vehicle includes the conversation topic stored in the event data, the scenery seen from inside the vehicle, and the scenery stored in the event data (for example, the sea, mountains, etc.) Whether it is similar or not is judged by whether or not it contains a part of (river, sunrise, sunset, fireworks).
  • the member comparison unit 42 determines that the other detected event is similar to the event stored as event data in the event storage unit 30 by the similar event determination unit 41, the member comparison unit 42 and the second member Compare with one member. Specifically, the member comparison unit 42 extracts the first member stored in association with the event data stored in the event storage unit 30 and determined to be similar, and identifies the first member by the member identification unit 20. The second member extracted and the first member extracted are compared. Then, the member comparison unit 42 determines whether or not the second member includes a person other than the first member.
  • the process of comparing the second member with the first member and determining whether or not the second member includes a person other than the first member is similar to the event data stored in the event storage unit 30. It does not have to be when other events are detected.
  • the member comparison unit 42 identifies a second member who is a person who is in a vehicle and who can view the output event data
  • the member comparison unit 42 has a second member and a first member. It may be compared with a member and it may be determined whether or not a person other than the first member is included in the second member.
  • the member comparison unit 42 extracts the first member stored in association with each event data stored in the event storage unit 30, and with the second member specified by the member identification unit 20.
  • the first member associated with each event data is compared for each event data. Thereby, it is possible to determine for each event data whether or not the second member includes a person other than the first member associated with each event data.
  • the reproducibility determination unit 43 prohibits the automatic output of event data.
  • the reproducibility determination unit 43 permits the member comparison unit 42 to automatically output the event data when it is determined that the second member does not include a person other than the first member.
  • the member comparison unit 42 determines that the second member includes a person other than the first member and the second member includes at least one person of the first member. , Inquires the first member included in the second member whether or not the event data can be output when another similar event is detected.
  • the playability determination unit 43 determines whether or not the event data can be output by the user of the information output device. You may contact us.
  • the playability determination unit 43 outputs a message asking the speaker 51 whether or not the event data can be output as voice data in order to inquire of the first member included in the second member whether or not the event data can be output.
  • the playability determination unit 43 outputs a message inquiring whether or not the event data can be output to the display 52 as character data.
  • the message inquiring whether or not the first member included in the second member can be reproduced may be output from either the speaker 51 or the display 52, or may be output from both the speaker 51 and the display 52.
  • the playability determination unit 43 acquires the playability answer collected by the microphone 12. Alternatively, the playability determination unit 43 acquires the playability answer input to the display 52 provided in the vehicle. When the acquired answer is the answer of the first member included in the second member, the playability determination unit 43 determines whether or not the event data can be output based on the answer of the first member included in the second member. Whether or not the acquired answer is the answer of the first member included in the second member is determined by the member specifying unit 20.
  • the determination of whether or not the event data can be output by the output control unit 40 will be schematically described by showing the second member and the first member.
  • FIG. 4A shows the situation inside the vehicle when the event is detected, and the person P1, the person P2, the person P3, and the person P4 are on board.
  • the person P1, the person P2, the person P3, and the person P4 are the first members determined to be able to perceive the detected event.
  • the person P1 is a user of the information output device.
  • the event data when the event is detected is stored in association with the person P1, the person P2, the person P3, and the person P4.
  • FIG. 4B shows an example of the situation inside the vehicle at a time different from that in FIG. 4A, and the person P1, the person P2, the person P3, and the person P5 are on board.
  • the person P1, the person P2, the person P3, and the person P5 are the second members determined to be able to view the output event data.
  • the member comparison unit 42 extracts the first member associated with each event data stored in the event storage unit 30, and with the second member and the first member associated with each event data. Is compared for each event data.
  • the member comparison unit 42 extracts the event data stored in the situation shown in FIG. 4A, the second member includes a person P5 other than the first member. Therefore, the member comparison unit 42 determines that the second member includes a member other than the first member, and the reproducibility determination unit 43 automatically stores the event data stored in the situation shown in FIG. 4A. Prohibit output.
  • the playability determination unit 43 detects another similar event and determines that the detected other event is similar to the event stored as event data in the event storage unit 30. , It may be determined whether or not the event data can be output.
  • the second member shown in FIG. 4B includes a person P5 other than the first member shown in FIG. 4A, but includes a person P1, a person P2, and a person P3 who are the first members. .. Therefore, the reproduction possibility determination unit 43 inquires about the output possibility of the event data to the person P1, the person P2, and the person P3 of the first member included in the second member.
  • the person P1 is a person of the first member and is a user of the information output device.
  • the playability determination unit 43 may inquire of the user of the information output device whether or not the event data can be output. Then, the playability determination unit 43 determines whether or not the event data can be output based on the response of the person of the first member included in the acquired second member.
  • FIG. 4C shows another example of the situation in the car at a time different from that of FIG. 4A when another similar event is detected, and the person P1, the person P2, and the person P3 are on board.
  • the person P1, the person P2, and the person P3 are the second members determined to be able to view the output event data.
  • the member comparison unit 42 determines that the second member does not include any member other than the first member, and the reproducibility determination unit 43 permits the event data to be automatically output.
  • the output control unit 40 can determine whether or not a person other than the first member is included in the second member, and can determine whether or not the event data can be output.
  • the output control unit 40 may extract the event data in which the information about the second member is stored from the event data stored in the event storage unit 30 and present it as a list to the second member.
  • the member comparison unit 42 compares the first member and the second member stored in association with the event data. Then, when the member comparison unit 42 determines that the first member and the second member are the same person, the event data associated with the first member is extracted. Thereby, the event data in which the information about the second member is stored in the second member can be presented as a list.
  • the output control unit 40 presents the event data in which the information about the second member is stored in the second member as a list
  • the output control unit 40 presents the second member with respect to the first member stored in each event data presented as a list.
  • the ratio occupied by the members may be calculated, and each event data may be presented to the second member in descending order of ratio.
  • the data output unit 50 is composed of a speaker 51 and a display 52, and is installed at a position where members in the vehicle can view the data.
  • the data output unit 50 outputs the audio data stored in the event data from the speaker 51 and outputs the video data stored in the event data from the display 52. do.
  • step S10 the event detection unit 10 is generated inside or outside the vehicle based on the audio data and video data inside the vehicle, the video data outside the vehicle, and the position information of the vehicle detected by the GPS receiver. Determine if an event has been detected. If it is not determined that an event has been detected (NO in step S10), the event stays in step S10 and the event detection process is continuously executed.
  • step S10 the process proceeds to step S20.
  • step S20 the member specifying unit 20 identifies the first member who is a person who can get on the vehicle and perceive the event by analyzing the acquired audio data in the vehicle and video data in the vehicle. ..
  • the event detection unit 10 acquires the position information detected by the GPS receiver 14 and identifies the position of the vehicle when the event is detected. Proceeding to step S40, the event detection unit 10 acquires the date and time information received by the GPS receiver 14 and specifies the date and time when the event is detected.
  • the event storage unit 30 proceeds to step S50, and in addition to the position and date and time of the vehicle at the time of event detection specified by the event detection unit 10, the inside and outside of the vehicle acquired by the cameras 11, 13 and the microphone 12. Store event data including audio and video.
  • the event storage unit 30 stores the event data to be stored in association with the first member specified by the member identification unit 20.
  • step S60 if the shutdown determination unit (not shown in FIG. 1) provided in the information output device has not detected that the power of the vehicle has been turned off (IGN: OFF), step S60. Return to S10 and continue the process.
  • the shutdown determination unit detects that the power of the vehicle has been turned off (IGN: OFF) (YES in step S60), the process ends.
  • the information output device can store event data related to the event including audio and video inside or outside the vehicle when the event is detected in association with the first member.
  • step S70 when another event is detected by the event detection unit 10, the similar event determination unit 41 resembles an event in which the detected other event is stored as event data in the event storage unit 30. Determine if it is another event. If the detected event is not another similar event (NO in step S70), the process of staying in step S70 and determining whether the detected other event is a similar other event is continued. Execute.
  • step S70 If it is determined in step S70 that the other detected event is a similar event (YES in step S70), the process proceeds to step S80.
  • step S80 the member comparison unit 42 extracts the first member stored in association with the event data.
  • the member specifying unit 20 identifies a person who can view the output event data as the second member.
  • the member comparison unit 42 compares the second member with the first member. Proceeding to step S110, the member comparison unit 42 determines whether or not the second member includes a member other than the first member. When the member comparison unit 42 determines that the second member includes a member other than the first member (NO in step S110), the process proceeds to step S150. At the time of proceeding to step S150, the playability determination unit 43 prohibits the automatic output of event data.
  • step S110 determines in step S110 that the second member does not include any member other than the first member (YES in step S110)
  • the process proceeds to step S120, and the playability determination unit 43 determines the event data. Allow to output automatically.
  • step S150 the member comparison unit 42 indicates whether or not the second member includes at least one person of the first member, or the second member is the person of the first member and the user of the information output device. Determine if it is included.
  • the member comparison unit 42 determines that the second member does not include any person of the first member (NO in step S150)
  • the process proceeds to step S180, and the playability determination unit 43 outputs the event data. Ban.
  • step S150 the member comparison unit 42 includes a second member including at least one person of the first member, or a second member including a person of the first member and a user of the information output device. If it is determined that the case is true (YES in step S150), the process proceeds to step S160.
  • step S160 the playability determination unit 43 is a person of the first member included in the second member or the first member included in the second member on the speaker 51 or the display 52, and event data is sent to the user of the information output device. Outputs a message inquiring whether or not to output.
  • the playability determination unit 43 is a person of the first member included in the second member or the first member included in the second member acquired from the microphone 12 or the display 52 provided in the vehicle. Whether or not to output event data is determined based on the response of the user of the information output device.
  • the playability determination unit 43 determines that the answer obtained from the microphone 12 or the display 52 prohibits the output of the event data (NO in step S170)
  • the process proceeds to step S180, and the playability determination unit 43 outputs the event data. It is forbidden.
  • step S170 when the answer obtained from the microphone 12 or the display 52 determines that the output of the event data is permitted (YES in step S170), the reproduction possibility determination unit 43 proceeds to step S120, and the reproduction possibility determination unit 43 determines. Output of event data is allowed.
  • step S130 the playability determination unit 43 determines whether or not the output of the event data has been completed. If the playability determination unit 43 has not determined that the output of the event data has been completed (NO in step S130), the process of staying in step S130 and determining whether or not the output of the event data has been completed is continued. To carry out.
  • step S130 determines in step S130 that the output of the event data has been completed (YES in step S130). If the reproduction enablement determination unit 43 determines in step S130 that the output of the event data has been completed (YES in step S130), the process proceeds to step S140. In step S140, if the shutdown determination unit (not shown in FIG. 1) provided in the information output device has not detected that the vehicle power has been turned off (IGN: OFF) (NO in step S60), step S70. Return to and continue processing.
  • step S60 When the shutdown determination unit detects that the power of the vehicle has been turned off (IGN: OFF) (YES in step S60), the process ends.
  • the information output device determines that the second member capable of viewing the output event data includes a member person other than the first member when the event data is detected, the information output device outputs the event data. Is prohibited. As a result, it is possible to prevent the privacy information of the first member from being known to members other than the first member when the event data is detected, and to protect the privacy information of the first member.
  • the information output device determines that the second member capable of viewing the output event data does not include any member other than the first member when the event data is detected, the information output device outputs the event data. to approve. This prevents the privacy information of the first member from being known to members other than the first member when the event data is stored, and automatically executes the event data while protecting the privacy information of the first member. Can be output as a target.
  • the information output device determines that the second member includes a person other than the first member and the second member contains at least one member other than the first member, another similar event occurs. When it is detected, it inquires the first member included in the second member whether or not the event data can be output. As a result, the first member included in the second member can determine whether or not the event data can be output, and the first member included in the second member discloses the user's privacy information to the second member other than the first member. If you are willing to do so, you can output event data that includes the privacy information of the first member.
  • the information output device identifies the first member who was in the vehicle when the event was detected and the second member who is in the vehicle, so that the event data is obtained for the second member who is in the vehicle. It is possible to judge whether or not the output of is possible.
  • the information output device identifies a person who can understand the output event data as the second member, and excludes a person who cannot understand the output event data, and whether or not the event data can be output. Can be judged. As a result, event data can be output to the second member while protecting the privacy information of the first member.
  • the information output device extracts the event data in which the information about the second member is stored from the event data stored in the event storage unit 30, and presents it as a list to the second member. As a result, the second member can select and output the event data in which the information about the second member is stored from the list.
  • the information output device When the information output device presents event data in which information about the second member is stored in the second member as a list, the second member occupies the first member stored in each event data presented as a list. Calculate the percentage. Then, the information output device presents each event data to the second member in descending order of the ratio of the second member to the first member. As a result, the second member can select and output event data that is highly relevant to the second member.
  • the information output device detects that the event detection unit detects another event similar to the event stored as event data in the event storage unit 30, and the second member does not include a person other than the first member. If it is determined, the data output unit 50 is permitted to automatically output the event data. As a result, when another event similar to the event stored as the event data is detected, the event data can be automatically output to the second member.
  • the information output device further includes a communication unit 60, and is connected to the first member and the vehicle that were connected to the vehicle via the communication means when the event was detected. Further identify the second member.
  • the communication unit 60 includes a communication partner identification unit 61.
  • the communication unit 60 transmits audio data and video data inside the vehicle and video data outside the vehicle to a person connected to the vehicle via a communication means.
  • Specific examples of communication means include mobile phones, smartphones, PCs and tablets that can connect to the Internet. These communication devices can reproduce audio data or video data.
  • the communication partner identification unit 61 identifies a person who is connected to the vehicle via a communication means.
  • a person who can view the audio data and video data in the vehicle and the video data outside the vehicle via the communication means is a person who can perceive the event.
  • the communication partner identification unit 61 can specify the communication partner by specifying the telephone number and the communication ID of the communication device connected to the vehicle.
  • the information output device can identify the person who was connected to the vehicle via the communication means when the event was detected as the first member, and the person connected to the vehicle as the second member. be able to.
  • step S21 the communication partner specifying unit 61 determines whether or not there is a person connected to the vehicle via the communication means.
  • the process proceeds to step S30.
  • step S21 If the communication partner identification unit 61 determines in step S21 that there is a person connected to the vehicle via the communication means (YES in step S21), the process proceeds to step S22.
  • step S22 the communication partner specifying unit 61 identifies a person connected to the vehicle via the communication means, and proceeds to step S23.
  • step S23 the communication partner identification unit 61 transfers the specified person to the member identification unit 20.
  • the member specifying unit 20 identifies as the first member, in addition to the first member who was in the vehicle when the event was detected, the member who was connected to the vehicle via the communication device when the event was detected.
  • step S121 the communication partner specifying unit 61 determines whether or not there is a person connected to the vehicle via the communication means.
  • the process proceeds to step S130.
  • step S121 when the communication partner identification unit 61 determines that there is a person connected to the vehicle via the communication means (YES in step S121), the communication partner identification unit 61 proceeds to step S122.
  • step S122 the communication partner identification unit 61 identifies a person connected to the vehicle via the communication means and transfers the person to the member identification unit 20.
  • the member specifying unit 20 can specify a person who is connected to the vehicle via a communication device as the second member.
  • the member comparison unit 42 compares the second member connected to the vehicle via the communication device with the first member, and sets the second member connected to the vehicle via the communication device to the second member. It is determined whether or not a member other than one member is included.
  • the member comparison unit 42 determines that the second member connected to the vehicle via the communication device includes a member other than the first member (NO in step S123)
  • the process proceeds to step S190.
  • the playability determination unit 43 prohibits the automatic output of event data to the second member connected to the vehicle via the communication device.
  • the process from step S190 to S220 is the same as the process from step S150 to step S180 of the first embodiment.
  • step S123 when the member comparison unit 42 determines that the second member connected to the vehicle via the communication device does not include any member other than the first member (YES in step S123), step S124 is performed. move on.
  • step S124 the communication unit 60 transmits event data to the second member connected to the vehicle via the communication device.
  • the information output device is connected to the vehicle via a communication means when the event is detected, in addition to the first member who was in the vehicle when the event was detected and the second member who was in the vehicle. Identify the member and the second member connected to the vehicle. Thereby, it is possible to determine whether or not the event data can be output to the second member connected via the communication means.
  • the communication unit 60 includes a communication partner specifying unit 61, an inter-vehicle distance determination unit 62, and a video / audio receiving unit 63.
  • the communication unit 60 transmits audio data and video data inside the vehicle and video data outside the vehicle to another vehicle connected to the vehicle via a communication means.
  • Internet communication is a specific example of the communication means.
  • the member (person) who is in another vehicle can perceive the event and view the event data.
  • the communication partner identification unit 61 determines whether or not the other vehicle is connected to the vehicle via the communication means, and identifies the other vehicle connected from the vehicle identification number (VIN) of the other vehicle.
  • the inter-vehicle distance determination unit 62 determines whether or not the distance between the vehicle and another vehicle is within a predetermined distance range. Specifically, the inter-vehicle distance determination unit 62 acquires the distance between the vehicle and another vehicle measured by a stereo camera or a range-finding radar used in the automatic driving device and the driving support device, and obtains the distance between the vehicle and the other vehicle. Determine if the distance is within a predetermined range.
  • the video / audio receiving unit 63 receives the video and audio in the vehicle of another vehicle connected to the vehicle via the communication means.
  • the video / audio receiving unit 63 transfers the video and audio in the vehicle of another vehicle connected to the vehicle to the member specifying unit 20.
  • the member identification unit 20 identifies an occupant who is in another vehicle. Thereby, the information output device can specify the person who was in the other vehicle as the first member when the event is detected, and can specify the person who is in the other vehicle as the second member.
  • step S201 the communication partner specifying unit 61 determines whether or not there is another vehicle connected to the vehicle via the communication means.
  • the communication partner specifying unit 61 determines that there is no other vehicle connected to the vehicle via the communication means (NO in step S201)
  • the process proceeds to step S30.
  • step S201 If the communication partner identification unit 61 determines in step S201 that there is another vehicle connected to the vehicle via the communication means (YES in step S201), the process proceeds to step S202.
  • step S202 the inter-vehicle distance determination unit 62 measures the distance between the vehicle and another vehicle. Proceeding to step S203, the inter-vehicle distance determination unit 62 determines whether or not the measured distance between the vehicle and another vehicle is within a predetermined distance range. When the inter-vehicle distance determination unit 62 determines that the distance to another vehicle is not within the predetermined distance range (NO in step S203), the process proceeds to step S30.
  • step S203 when the inter-vehicle distance determination unit 62 determines that the distance to another vehicle is within a predetermined distance range (YES in step S203), the vehicle proceeds to step S204.
  • step S204 the video / audio receiving unit 63 receives the video and audio data in the vehicle of the other vehicle from the other vehicle connected to the vehicle via the Internet communication. Then, the video / audio receiving unit 63 transfers the received video / audio data in the vehicle of another vehicle to the member specifying unit 20.
  • the member specifying unit 20 can specify the first member who was in the vehicle when the event was detected, and the first member who was in the other vehicle when the event was detected.
  • step S1201 the communication partner specifying unit 61 determines whether or not there is another vehicle connected to the vehicle via the communication means.
  • the process proceeds to step S130.
  • step S1201 If the communication partner identification unit 61 determines in step S1201 that there is another vehicle connected to the vehicle via the communication means (YES in step S1201), the process proceeds to step S1202.
  • step S1202 the inter-vehicle distance determination unit 62 measures the distance between the vehicle and another vehicle.
  • the inter-vehicle distance determination unit 62 determines whether or not the distance between the vehicle and another vehicle is within a predetermined distance range. When the inter-vehicle distance determination unit 62 determines that the distance to another vehicle is not within the predetermined distance range (NO in step S1203), the process proceeds to step S130.
  • step S1203 when the inter-vehicle distance determination unit 62 determines that the distance between the vehicle and another vehicle is within a predetermined distance range (YES in step S1203), the vehicle proceeds to step S1204.
  • step S1204 the video / audio receiving unit 63 receives the video and audio in the vehicle of another vehicle connected to the vehicle via the communication means and transfers the video / audio to the member specifying unit.
  • the member specifying unit 20 can specify the second member who is in another vehicle in addition to the second member who is in the vehicle.
  • the member comparison unit 42 compares the second member and the first member who are on the other vehicle connected to the vehicle via the communication device, and the second member who is on the other vehicle. It is determined whether or not the member includes a member other than the first member.
  • the playability determination unit 43 prohibits the automatic output of event data to the second member who is in the other vehicle.
  • the process from step S190 to S220 is the same as the process from step S150 to step S180 of the first embodiment.
  • step S1205 when the member comparison unit 42 determines that the second member of the other vehicle connected to the vehicle via the communication device does not include a member other than the first member (YES in step S123). The process proceeds to step S124.
  • the information output device identifies the first member who was in the vehicle and the second member who was in the vehicle when the event was detected. Furthermore, if another vehicle different from the vehicle is connected to the vehicle via communication means and is traveling within a predetermined distance from the vehicle, the vehicle was on the other vehicle when the event was detected. Identify one member and the second member on another vehicle. As a result, it is possible to determine whether or not the event data can be output to the second member who is in the other vehicle. Furthermore, the first member who was in the other vehicle when the event was detected perceives the event, provided that the other vehicle is traveling within a predetermined distance from the vehicle. Can be determined to be in a possible state. Further, when the event data is output, it is possible for the second member who is in another vehicle to understand why the event data is output.
  • Event detection unit 10
  • Member identification unit 10
  • Event storage unit 10
  • Output control unit 50

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Abstract

情報出力装置は、車両の車内又は車外において発生したイベントを検出するイベン卜検出部(10)、イベントを知覚することが可能な人物を第1メンバとして特定するメンバ特定部(20)、検出したイベントに関するイベントデータを第1メンバに関連付けて記憶するイベント記憶部(30)を備える。情報出力装置は、イベント記憶部(30)に記憶されているイベントデータを自動的に出力するデータ出力部(50)を備え、メンバ特定部(20)は、データ出力部(50)から出力されるイベントデータを視聴することが可能な人物を第2メンバとして特定する。情報出力装置は、第2メンバに第1メンバ以外の人物が含まれているか否かを判断し、第2メンバに第1メンバ以外の人物が含まれていると判断した場合、データ出力部(50)がイべントデータを自動的に出力することを禁止する出力制御部(40)を更に備える。

Description

情報出力装置及び情報出力方法
 本発明は、情報出力装置及び情報出力方法に関する。
 従来から、車内の映像データ及び音声データ(AVデータ)を自動で取得するとともに、AVデータを取得した際の日時、目的地、走行経路、及び乗車者に関する情報である各種情報を取得して記録し、記録したAVデータを車内で再生する画像音声記録再生装置が知られている(特許文献1参照)。特許文献1に記載された発明は、取得したAVデータを前記した各種情報と関連付けて記録することで、ユーザにより各種情報に基づいた条件が指定された場合に、当該条件に対応するAVデータを容易に抽出し、再生することができる。
特許第5478462号公報
 しかしながら、特許文献1に開示された画像音声記録再生装置は、記録されたAVデータを再生する際に、当該AVデータが誰に視聴されるのかを考慮していない。そのため、記録されたAVデータに、当該AVデータを記録した時の乗車者以外の他者には知られたくないユーザのプライバシ情報が含まれている場合、当該AVデータの再生により、ユーザのプライバシ情報が前記した他者に漏洩してしまう可能性がある。
 本発明は、上記課題に鑑みてなされたものであり、その目的は、イベントデータに含まれるユーザのプライバシ情報を保護しつつ、イベントデータを自動的に出力する情報出力装置及び情報出力方法を提供することである。
 本発明の一態様に係わる情報出力装置は、イベント検出部、メンバ特定部、イベント記憶部、データ出力部を備え、更に出力制御部を備える。イベント検出部が車両の車内又は車外において発生したイベントを検出した時に、メンバ特定部はイベントを知覚することが可能な人物を第1メンバとして特定し、イベント記憶部は検出したイベントに関するイベントデータを第1メンバに関連付けて記憶する。メンバ特定部はイベントデータを視聴することが可能な人物を第2メンバとして特定する。出力制御部は第2メンバに第1メンバ以外の人物が含まれているか否かを判断し、第2メンバに第1メンバ以外の人物が含まれていると判断した場合、イベントデータを自動的に出力することを禁止する。
 本発明によれば、イベントデータに含まれるユーザのプライバシ情報を保護しつつ、イベントデータを自動的に出力することができる。
図1は、第1実施形態に係る情報出力装置の構成を示すブロック図である。 図2は、第1実施形態に係る情報出力装置がイベントデータを記憶する動作を示すフローチャートである。 図3は、第1実施形態に係る情報出力装置がイベントデータを出力する動作を示すフローチャートである。 図4Aは、第1実施形態に係る情報出力装置がイベントデータの出力可否を判断する時のメンバ構成を示す模試図である。 図4Bは、第1実施形態に係る情報出力装置がイベントデータの出力可否を判断する時のメンバ構成を示す模試図である。 図4Cは、第1実施形態に係る情報出力装置がイベントデータの出力可否を判断する時のメンバ構成を示す模試図である。 図5は、第2実施形態に係る情報出力装置の構成を示すブロック図である。 図6は、第2実施形態に係る情報出力装置がイベントデータを記憶する動作を示すフローチャートである。 図7は、第2実施形態に係る情報出力装置がイベントデータを出力する動作を示すフローチャートである。 図8は、第3実施形態に係る情報出力装置の構成を示すブロック図である。 図9は、第3実施形態に係る情報出力装置がイベントデータを記憶する動作を示すフローチャートである。 図10は、第3実施形態に係る情報出力装置がイベントデータを出力する動作を示すフローチャートである。
 図面を参照して、実施形態を説明する。図面の記載において同一部分には同一符号を付して説明を省略する。
(第1実施形態)
[情報出力装置の構成]
 図1を参照して、本実施形態に係る情報出力装置の全体構成を説明する。情報出力装置は、出力するイベントデータを視聴することが可能な人物である第2メンバに、車両の車内又は車外において発生したイベントを検出した時にイベントを知覚することが可能な人物(第1メンバ)以外の人物が含まれている場合に、イベントデータを自動的に出力することを禁止することにより、ユーザのプライバシを保護しつつ、イベントデータを自動出力する装置である。
 情報出力装置は、コントローラ1を主体に構成されている。また、情報出力装置は、車両の車外を撮影するカメラ11、車内に設けられたマイク12、車両の車内を撮影するカメラ13、GPS受信機14、イベント記憶部30、データ出力部50を備えている。
 コントローラ1は、CPU(中央処理装置)、メモリ、及び入出力部を備える汎用のマイクロコンピュータである。マイクロコンピュータには、情報出力装置として機能させるためのコンピュータプログラムがインストールされている。コンピュータプログラムを実行することにより、マイクロコンピュータは、情報出力装置が備える複数の情報処理回路として機能する。なお、本実施形態では、ソフトウェアによって情報出力装置が備える複数の情報処理回路を実現する例を示すが、もちろん、以下に示す各情報処理を実行するための専用のハードウェアを用意して、情報処理回路を構成することも可能である。また、複数の情報処理回路を個別のハードウェアにより構成してもよい。
 コントローラ1は、複数の情報処理回路として、イベント検出部10と、メンバ特定部20と、出力制御部40とを備えている。
 イベント検出部10は、カメラ11と、マイク12と、カメラ13と、GPS受信機14とから出力されたデータを取得し、車両の車内又は車外において発生したイベントを検出する。イベント検出部10は、イベントを知覚することが可能な人物(第1メンバ)の思い出となる事象が発生したことを検出する。第1メンバには、車両の乗員が含まれる。
 カメラ11は、車室内部又は外部に配置され、車両の前方、側方、後方に複数設けられている。カメラ11は、車両の周囲の状況を撮像し、車外の映像データとして出力する。カメラ11は、自動運転装置ならびに運転支援装置で用いられるステレオカメラ及び単眼カメラを利用することもできる。
 マイク12は、車両の車室内部に配置され、車両に乗車している人物の音声を収音し、車内の音声データとして出力する。
 カメラ13は、車室内に配置され、車両に乗車している人物、特に人物の顔を撮像し、車内の映像データとして出力する。
 GPS受信機14は、車両の車内に設置され、人工衛星からの電波を受信することにより、地上における車両の位置情報(緯度及び経度情報を含む)を出力する。GPS受信機14は、ナビゲーション機能に用いられているものを使用することができる。当該実施形態では、GPS受信機14は、車両の車内に設置されているが、車外のラジオアンテナ及び他の通信機器と通信するためのアンテナと一緒に設置されていてもよい。
 イベント検出部10は、マイク12及びカメラ13から出力された車内の音声データ及び映像データと、カメラ11から出力された車外の映像データと、GPS受信機によって検出された車両の位置情報に基づいて、車両の車内又は車外において発生したイベントを検出する。イベント検出部と類似する機能を有する装置として、例えば、イベントレコーダがある。イベントレコーダは、車両に設置され、車両に備わる装置の動作状況から交通事故(イベント)が発生したか否かを判断する。以下にて、イベント検出部10が発生したイベントを検出する方法について具体的に説明する。
 イベント検出部10は、マイク12から出力された車内の音声データを解析し、車両に乗車しているメンバの会話が盛り上がっていると判断した時に、イベントを検出したと判断する。具体的には、イベント検出部10は、音声認識機能を備えることにより、乗車しているメンバの会話を特定することができる。これにより、イベント検出部10は、乗車しているメンバの会話に、予め定められた会話が盛り上がっていると判断するための話題が含まれている否かを判断することができ、当該会話における当該話題の出現率を算出することができる。イベント検出部10は、乗車しているメンバの会話に、予め定められた会話が盛り上がっていると判断するための話題が含まれ、当該会話における当該話題の出現率が高いと判断した時に、車内のメンバの会話が盛り上がっていると判断し、イベントを検出したと判断する。予め定められた会話が盛り上がっていると判断するための話題としては、例えば、天候、景色、観光地があげられる。イベント検出部10は、車内の音声データから、車内のメンバの会話の音量が大きくなったことを検出した時に、車内のメンバの会話が盛り上がっていると判断し、イベントを検出したと判断してもよい。
 イベント検出部10は、カメラ11から出力された車外の映像データ、及びカメラ13から出力された車内の映像データを解析し、車両から見える景色に乗車しているメンバが反応していると判断した時に、イベントを検出したと判断する。具体的には、先ず、イベント検出部10は、カメラ11から出力された車外の映像データから、海、山、川、日の出、日の入り、花火を含む、予め定められた景色と類似する景色が検出されたか否かを判断する。次に、イベント検出部10は、予め定められた景色と類似する景色が検出された時に、カメラ13から出力された車内の映像データを解析し、車両に乗車しているメンバが、検出された景色に反応しているか否かを判断する。車両に乗車しているメンバが検出された景色に反応しているか否かを判断する手段として、映像データから人物を特定し、特定された人物の顔の向きを特定する顔認識機能を用いることができる。これにより、イベント検出部10は、乗車している人物各々が検出された景色の方向を向いているか否かを判断し、一定の割合以上の乗員が景色の方向を向いている場合、車両に乗車しているメンバが、検出された景色に反応していると判断することができる。これにより、イベント検出部10は、車両に乗車しているメンバが検出された景色に反応しているか否かを判断することができ、イベントを検出したと判断することができる。
 イベント検出部10は、GPS受信機14によって検出された車両の位置情報を取得し、現在の車両の位置が観光地として有名な場所の付近であることを判断した時に、イベントを検出したと判断する。
 さらに、イベント検出部10は、GPS受信機14よって検出された車両の位置情報に加え、GPS受信機14が受信した日時情報を取得し、イベントを検出したと判断した時の車両の位置、及び日時を特定する。イベントを検出したと判断した時の日時はGPS受信機14が受信する日時情報を利用することで、正確な日時を特定することができる。
 メンバ特定部20は、イベント検出部10によってイベントが検出された時に、マイク12から出力された車内の音声データ、及びカメラ13から出力された車内の映像データを取得する。メンバ特定部20は、取得した車内の音声データ及び車内の映像データを解析することにより、車両に乗車し、当該イベントを知覚することが可能な人物である第1メンバを特定する。具体的には、メンバ特定部20は、マイク12から出力された車内の音声データから、人物によって異なる声の音響的特徴を抽出し、抽出した音響的特徴に基づいて音声を識別する話者識別機能を備えることにより、車両に乗車している人物を特定することができる。
 また、メンバ特定部20は、カメラ13から出力された映像データを取得する。メンバ特定部20は、映像データから人物各々の顔を検出し、検出した顔のパーツの相対位置や大きさ、目や鼻やあごの形の特徴から人物各々の顔を識別する顔認識機能を備えることにより、車両に乗車している人物を特定することができる。また、メンバ特定部20は、顔の特徴から年齢を推定してもよい。さらに、顔認識機能は特定された人物各々の顔の向き、目や口の開度を検出することができる。これにより、メンバ特定部20は、特定された人物各々が検出されたイベントの方向を向いているか否か、及び寝ているか否かを判断することができ、検出されたイベントを知覚することが可能な人物である第1メンバを特定することができる。
 なお、メンバ特定部20は、特定された第1メンバに情報出力装置のユーザがいるか否かを判断してもよい。情報出力装置のユーザとは、情報出力装置のメインのユーザとして、情報出力装置に予めユーザとして登録された人物のことである。具体的には、メンバ特定部20は、予め取得した、カメラ11にて撮像した情報出力装置のユーザの顔データ、及びマイク12にて収音した情報出力装置のユーザの音声データに基づいて、第1メンバの中に情報出力装置のユーザがいるか否かを判断することができる。
 また、メンバ特定部20は、第1メンバを特定した時と同様の方法で、車両に乗車している人物であって、出力されるイベントデータを視聴することが可能な人物である第2メンバを特定する。イベントデータとは、検出されたイベントに関するデータであり、イベント検出部10がイベントを検出した時の、カメラ11、13、及びマイク12によって取得された車両の車内及び車外の音声及び映像を含むデータのことである。
 メンバ特定部20は、出力されるイベントデータを視聴することが可能な人物であって、出力されるイベントデータを理解することが可能な人物を第2メンバとして特定する。具体的には、メンバ特定部20は、顔認識機能を備えることにより、出力されるイベントデータを視聴することが可能な人物各々の年齢を推定することができる。これにより、メンバ特定部20は、出力されるイベントデータを視聴することが可能なメンバの中に、イベントデータに含まれる言語及び文字を理解することができない年齢の子供が含まれているか否かを判断することができる。メンバ特定部20は、出力されるイベントデータを視聴することが可能なメンバの中から、言語及び文字を理解することができない人物を除外することにより、出力されるイベントデータを理解することが可能な人物を第2メンバと特定することができる。
 イベント記憶部30は、ハードディスクドライブ、及びオンラインストレージ含む情報記憶装置で構成される。イベント記憶部30は、イベント検出部10によって特定されたイベント検出時の車両の位置、及び日時に加え、カメラ11、13、及びマイク12によって取得された車両の車内及び車外の音声及び映像を含むイベントデータを記憶する。イベント記憶部30は、記憶するイベントデータをメンバ特定部20によって特定された第1メンバに関連付けて記憶する。具体的には、イベント記憶部30は、特定された第1メンバの人物各々を記憶し、記憶された人物各々に対して検出されたイベントデータを紐づけて記憶する。または、イベント記憶部30は、イベントデータに対して特定された第1メンバの人物各々を紐づけて記憶してもよい。
 出力制御部40は、類似イベント判定部41と、メンバ比較部42と、再生可否判断部43とで構成され、イベント記憶部30に記憶されているイベントデータの出力可否を判断する。
 類似イベント判定部41は、イベント検出部10によって他のイベントが検出された場合に、検出された他のイベントが、イベント記憶部30にイベントデータとして記憶されているイベントと類似する他のイベントであるか否かを判断する。具体的には、イベント検出部10がイベントを検出したと判断した時の、車両に乗車しているメンバの会話の内容、車両から見える景色、及び車両の位置の少なくも1つが、イベントデータに記憶されたメンバの会話の内容、車両から見える景色、及び車両の位置と類似しているか否かを判断する。例えば、車両に乗車しているメンバの会話に、イベントデータに記憶された会話の話題が含まれているか否か、車内から見える景色に、イベントデータに記憶された景色(例えば、海、山、川、日の出、日の入り、花火)の一部が含まれているか否かで、類似しているか否かを判断する。
 メンバ比較部42は、検出された他のイベントが、類似イベント判定部41によってイベント記憶部30にイベントデータとして記憶されているイベントと類似していると判断された場合に、第2メンバと第1メンバとを比較する。具体的には、メンバ比較部42は、イベント記憶部30に記憶された類似していると判断されたイベントデータと紐づけられて記憶された第1メンバを抽出し、メンバ特定部20によって特定された第2メンバと抽出された第1メンバとを比較する。そして、メンバ比較部42は、第2メンバに第1メンバ以外の人物が含まれているか否かを判断する。
 なお、第2メンバと第1メンバとを比較し、第2メンバに第1メンバ以外の人物が含まれているか否かを判断する処理は、イベント記憶部30に記憶されているイベントデータと類似する他のイベントを検出した時でなくてもよい。例えば、メンバ比較部42は、車両に乗車している人物であって、出力されるイベントデータを視聴することが可能な人物である第2メンバが特定された場合に、第2メンバと第1メンバとを比較し、第2メンバに第1メンバ以外の人物が含まれているか否かを判断してもよい。具体的には、メンバ比較部42は、イベント記憶部30に記憶された各々のイベントデータと紐づけられて記憶された第1メンバを抽出し、メンバ特定部20によって特定された第2メンバと各々のイベントデータに紐づけられた第1メンバとをイベントデータごとに比較する。これにより、第2メンバに各々のイベントデータに紐づけられた第1メンバ以外の人物が含まれているか否かをイベントデータごとに判断することができる。
 再生可否判断部43は、メンバ比較部42によって第2メンバに第1メンバ以外の人物が含まれていると判断された場合、イベントデータを自動的に出力することを禁止する。
 再生可否判断部43は、メンバ比較部42によって第2メンバに第1メンバ以外の人物が含まれていないと判断された場合、イベントデータを自動的に出力することを許可する。
 再生可否判断部43は、メンバ比較部42によって第2メンバに第1メンバ以外の人物が含まれ、かつ第2メンバに第1メンバの人物が少なくとも1人以上含まれていると判断された場合、類似する他のイベントが検出された時にイベントデータの出力可否を第2メンバに含まれる第1メンバに問い合わせる。なお、再生可否判断部43は、メンバ特定部20によって第2メンバに含まれる第1メンバの中に情報出力装置のユーザがいると判断された場合、イベントデータの出力可否を情報出力装置のユーザに問い合わせてもよい。
 具体的には、再生可否判断部43は、イベントデータの出力可否を第2メンバに含まれる第1メンバに問い合わせるために、スピーカ51にイベントデータの出力可否を問い合わせるメッセージを音声データとして出力する。または、再生可否判断部43は、ディスプレイ52にイベントデータの出力可否を問い合わせるメッセージを文字データとして出力する。第2メンバに含まれる第1メンバに再生可否を問い合わせるメッセージは、スピーカ51、またはディスプレイ52のいずれか一方から出力してもよいし、スピーカ51とディスプレイ52の両方から共に出力してもよい。
 再生可否判断部43は、マイク12によって収音された再生可否の回答を取得する。または、再生可否判断部43は、車内に設けられたディスプレイ52に入力された再生可否の回答を取得する。再生可否判断部43は、取得した回答が第2メンバに含まれる第1メンバの回答である場合、第2メンバに含まれる第1メンバの回答に基づいてイベントデータの出力可否を決定する。取得した回答が第2メンバに含まれる第1メンバの回答であるか否かは、メンバ特定部20によって判断される。
 ここで、図4A、図4B、図4Cを参照して、出力制御部40によるイベントデータの出力可否の判断について、第2メンバと第1メンバとを示して模式的に説明する。
 図4Aは、イベントが検出された時の車内の状況を示しており、人物P1、人物P2、人物P3、人物P4が乗車している。人物P1、人物P2、人物P3、人物P4は、検出されたイベントを知覚することが可能と判断された第1メンバである。人物P1は情報出力装置のユーザである。当該イベントが検出された時のイベントデータは、人物P1、人物P2、人物P3、人物P4に関連付けて記憶される。
 図4Bは、図4Aとは異なる時刻における車内の状況の一例を示しており、人物P1、人物P2、人物P3、人物P5が乗車している。人物P1、人物P2、人物P3、人物P5は、出力されるイベントデータを視聴することが可能と判断された第2メンバである。メンバ比較部42は、イベント記憶部30に記憶された各々のイベントデータと紐づけられて記憶された第1メンバを抽出し、第2メンバと各々のイベントデータに紐づけられた第1メンバとをイベントデータごとに比較する。メンバ比較部42が、図4Aに示す状況にて記憶されたイベントデータを抽出した場合、当該第2メンバには、第1メンバ以外の人物P5が含まれている。そのため、メンバ比較部42は、第2メンバに第1メンバ以外のメンバが含まれていると判断し、再生可否判断部43は、図4Aに示す状況にて記憶されたイベントデータを自動的に出力することを禁止する。
 なお、再生可否判断部43は、類似する他のイベントが検出され、検出された他のイベントが、イベント記憶部30にイベントデータとして記憶されているイベントと類似していると判断された場合に、イベントデータの出力可否を判断してもよい。
 図4Bに示された第2メンバには、図4Aに示す第1メンバ以外の人物P5が含まれているが、第1メンバの人物である人物P1、人物P2、人物P3が含まれている。そのため、再生可否判断部43は、イベントデータの出力可否を第2メンバに含まれる第1メンバの人物P1、人物P2、人物P3に問い合わせる。なお、人物P1は、第1メンバの人物であって情報出力装置のユーザである。再生可否判断部43は、第2メンバに含まれる第1メンバの中に情報出力装置のユーザがいる場合、情報出力装置のユーザにイベントデータの出力可否を問い合わせてもよい。そして、再生可否判断部43は取得した第2メンバに含まれる第1メンバの人物の回答に基づいて、イベントデータの出力可否を決定する。
 図4Cは、類似する他のイベントが検出された時の図4Aとは異なる時刻における車内の状況の他の例を示しており、人物P1、人物P2、人物P3が乗車している。人物P1、人物P2、人物P3は、出力されるイベントデータを視聴することが可能と判断された第2メンバである。図4Aに示す状況にて記憶されたイベントデータと類似する他のイベントが検出された場合、メンバ比較部42によって第2メンバと第1メンバとが比較される。当該第2メンバには、第1メンバ以外の人物が含まれていない。そのため、メンバ比較部42は、第2メンバに第1メンバ以外のメンバが含まれていないと判断し、再生可否判断部43は、イベントデータを自動的に出力することを許可する。
 以上説明したように、出力制御部40は第2メンバに第1メンバ以外の人物が含まれているか否かを判断し、イベントデータの出力可否を判断することができる。
 また、出力制御部40は、イベント記憶部30に記憶されたイベントデータの中から第2メンバに関する情報が記憶されたイベントデータを抽出し、第2メンバにリストとして提示してもよい。
 具体的には、メンバ比較部42は、イベントデータと紐づけられて記憶された第1メンバと第2メンバとを比較する。そして、メンバ比較部42が、第1メンバと第2メンバが同一人物であると判断した場合に、第1メンバに紐づけられたイベントデータを抽出する。これにより、第2メンバに第2メンバに関する情報が記憶されたイベントデータをリストとして提示することができる。
 また、出力制御部40は、第2メンバに第2メンバに関する情報が記憶されたイベントデータをリストとして提示する場合、リストとして提示する各々のイベントデータに記憶された第1メンバに対して第2メンバが占める割合を算出し、各々のイベントデータを割合が高い順に第2メンバに提示してもよい。
 データ出力部50は、スピーカ51と、ディスプレイ52から構成され、車両に乗車しているメンバが視聴可能な位置に設置されている。データ出力部50は、再生可否判断部43によってイベントデータの出力が許可された場合、イベントデータに記憶された音声データをスピーカ51から出力し、イベントデータに記憶された映像データをディスプレイ52から出力する。
[情報記憶方法]
 次に、図2を参照して、図1に示した情報出力装置がイベントデータを記憶する方法について説明する。図2のフローチャートに示す情報出力装置の動作は、車両の電源がON(IGN:ON)になると同時に開始され、車両の電源がOFF(IGN:OFF)となったことを検出した時点で処理を終了する。
 ステップS10において、イベント検出部10は、車両の車内の音声データ及び映像データと、車外の映像データと、GPS受信機によって検出された車両の位置情報に基づいて、車両の車内又は車外において発生したイベントを検出したか否かを判断する。イベントが検出されたと判断されていない場合(ステップS10でNO)、ステップS10に滞留し、イベントの検出処理を継続して実行する。
 イベント検出部10によってイベントが検出されたと判断された場合(ステップS10でYES)、ステップS20に進む。ステップS20において、メンバ特定部20は、取得した車内の音声データ及び車内の映像データを解析することにより、車両に乗車し、当該イベントを知覚することが可能な人物である第1メンバを特定する。
 ステップS30に進み、イベント検出部10は、GPS受信機14によって検出された位置情報を取得し、イベントを検出した時の車両の位置を特定する。ステップS40に進み、イベント検出部10は、GPS受信機14が受信した日時情報を取得し、イベントを検出した時の日時を特定する。
 ステップS50に進み、イベント記憶部30は、イベント検出部10によって特定されたイベント検出時の車両の位置、及び日時に加え、カメラ11、13、及びマイク12によって取得された車両の車内及び車外の音声及び映像を含むイベントデータを記憶する。イベント記憶部30は、記憶するイベントデータをメンバ特定部20によって特定された第1メンバに関連付けて記憶する。
 ステップS60に進み、情報出力装置が備えるシャットダウン判定部(図1には不図示)が車両の電源がOFF(IGN:OFF)となったことを検出していない場合(ステップS60でNO)、ステップS10に戻り処理を継続する。シャットダウン判定部が車両の電源がOFF(IGN:OFF)となったことを検出した時点で(ステップS60でYES)、処理を終了する。
 以上説明した処理を実行することにより、情報出力装置は、イベントが検出された時の車内又は車外の音声及び映像を含むイベントに関するイベントデータを第1メンバに関連付けて記憶することができる。
[情報出力方法]
 次に図3を参照して、図1に示した情報出力装置がイベントデータを出力する方法について説明する。図3のフローチャートに示す情報出力装置の動作は、車両の電源がON(IGN:ON)になると同時に開始され、車両の電源がOFF(IGN:OFF)となったことを検出した時点で処理を終了する。
 ステップS70において、類似イベント判定部41は、イベント検出部10によって他のイベントが検出された場合に、検出された他のイベントが、イベント記憶部30にイベントデータとして記憶されているイベントと類似する他のイベントであるか否かを判断する。検出されたイベントが類似する他のイベントでない場合(ステップS70でNO)、ステップS70に滞留し、検出された他のイベントが類似する他のイベントであるか否かを判断する処理を継続して実行する。
 ステップS70において、検出された他のイベントが類似するイベントであると判断された場合(ステップS70でYES)、ステップS80に進む。ステップS80において、メンバ比較部42は、イベントデータと紐づけられて記憶された第1メンバを抽出する。
 ステップS90に進み、メンバ特定部20は、出力されるイベントデータを視聴することが可能な人物を第2メンバとして特定する。
 ステップS100に進み、メンバ比較部42は、第2メンバと第1メンバとを比較する。ステップS110に進み、メンバ比較部42は、第2メンバに第1メンバ以外のメンバが含まれているか否かを判断する。メンバ比較部42が、第2メンバに第1メンバ以外のメンバが含まれていると判断した場合(ステップS110でNO)、ステップS150に進む。ステップS150に進んだ時点で、再生可否判断部43はイベントデータを自動的に出力することを禁止する。
 ステップS110において、メンバ比較部42が、第2メンバに第1メンバ以外のメンバが含まれていないと判断した場合(ステップS110でYES)、ステップS120に進み、再生可否判断部43はイベントデータを自動的に出力することを許可する。
 ステップS150において、メンバ比較部42は、第2メンバに第1メンバの人物が少なくとも1人以上含まれているか否か、または第2メンバに第1メンバの人物であって情報出力装置のユーザが含まれているか否かを判断する。メンバ比較部42が、第2メンバに第1メンバの人物が1人も含まれていないと判断した場合(ステップS150でNO)、ステップS180に進み、再生可否判断部43はイベントデータの出力を禁止する。
 ステップS150において、メンバ比較部42が、第2メンバに第1メンバの人物が少なくとも1人以上含まれている、または第2メンバに第1メンバの人物であって情報出力装置のユーザが含まれていると判断した場合(ステップS150でYES)、ステップS160に進む。
 ステップS160において、再生可否判断部43は、スピーカ51またはディスプレイ52に、第2メンバに含まれる第1メンバまたは第2メンバに含まれる第1メンバの人物であって情報出力装置のユーザにイベントデータの出力可否を問い合わせるメッセージを出力する。
 ステップS170に進み、再生可否判断部43は、車内に設けられたマイク12またはディスプレイ52から取得した、第2メンバに含まれる第1メンバまたは第2メンバに含まれる第1メンバの人物であって情報出力装置のユーザの回答に基づいて、イベントデータの出力可否を決定する。再生可否判断部43は、マイク12またはディスプレイ52から取得した回答がイベントデータの出力を禁止と判断した場合(ステップS170でNO)、ステップS180に進み、再生可否判断部43によってイベントデータの出力が禁止される。
 ステップS170において、再生可否判断部43は、マイク12またはディスプレイ52から取得した回答がイベントデータの出力を許可と判断した場合(ステップS170でYES)、ステップS120に進み、再生可否判断部43によって、イベントデータの出力が許可される。
 ステップS130に進み、再生可否判断部43は、イベントデータの出力が終了したか否かを判断する。再生可否判断部43が、イベントデータの出力が終了したと判断していない場合(ステップS130でNO)、ステップS130に滞留し、イベントデータの出力が終了したか否かを判断する処理を継続して実施する。
 ステップS130において、再生可否判断部43が、イベントデータの出力が終了したと判断した場合(ステップS130でYES)、ステップS140に進む。ステップS140において、情報出力装置が備えるシャットダウン判定部(図1には不図示)が車両の電源がOFF(IGN:OFF)となったことを検出していない場合(ステップS60でNO)、ステップS70に戻り処理を継続する。
 シャットダウン判定部が車両の電源がOFF(IGN:OFF)となったことを検出した時点で(ステップS60でYES)、処理を終了する。
 以上説明したように第1実施形態によれば以下の作用効果が得られる。
 情報出力装置は、出力されるイベントデータを視聴することが可能な第2メンバに、イベントデータを検出した時の第1メンバ以外のメンバ人物が含まれていると判断した場合、イベントデータの出力を禁止する。これにより、イベントデータを検出した時の第1メンバ以外のメンバに、第1メンバのプライバシ情報が知られてしまうことを防止して、第1メンバのプライバシ情報を保護することができる。
 情報出力装置は、出力されるイベントデータを視聴することが可能な第2メンバに、イベントデータを検出した時の第1メンバ以外のメンバが含まれていないと判断した場合、イベントデータの出力を許可する。これにより、イベントデータを記憶した時の第1メンバ以外のメンバに、第1メンバのプライバシ情報が知られてしまうことを防止して、第1メンバのプライバシ情報を保護しつつ、イベントデータを自動的に出力することができる。
 情報出力装置は、第2メンバに第1メンバ以外の人物が含まれ、かつ第2メンバに第1メンバ以外のメンバが少なくとも1人以上含まれていると判断した場合、類似する他のイベントが検出された時にイベントデータの出力可否を第2メンバに含まれる第1メンバに問い合わせる。これにより、第2メンバに含まれる第1メンバがイベントデータの出力可否を決定することができ、第2メンバに含まれる第1メンバが第1メンバ以外の第2メンバにユーザのプライバシ情報を開示してもよいと考えている場合、第1メンバのプライバシ情報が含まれたイベントデータを出力することができる。
 情報出力装置は、イベントを検出した時に車両に乗車していた第1メンバ及び車両に乗車している第2メンバを特定することにより、車両に乗車している第2メンバに対して、イベントデータの出力の可否を判断することができる。
 情報出力装置は、出力されるイベントデータを理解することが可能な人物を第2メンバとして特定することにより、出力されるイベントデータを理解することができない人物を除外して、イベントデータの出力可否を判断することができる。これにより、第1メンバのプライバシ情報を保護しつつ、第2メンバにイベントデータを出力することができる。
 情報出力装置は、イベント記憶部30に記憶されたイベントデータの中から第2メンバに関する情報が記憶されたイベントデータを抽出し、第2メンバにリストとして提示する。これにより、第2メンバは、第2メンバに関する情報が記憶されたイベントデータをリストの中から選択し、出力することができる
 情報出力装置は、第2メンバに第2メンバに関する情報が記憶されたイベントデータをリストとして提示する場合、リストとして提示する各々のイベントデータに記憶された第1メンバに対して第2メンバが占める割合を算出する。そして、情報出力装置は、各々のイベントデータを第1メンバに対して第2メンバが占める割合が高い順に第2メンバに提示する。これにより、第2メンバは、第2メンバとの関連性が高いイベントデータを選択し、出力させることができる。
 情報出力装置は、イベント検出部がイベント記憶部30にイベントデータとして記憶されているイベントと類似する他のイベントを検出し、かつ、第2メンバに第1メンバ以外の人物が含まれていないと判断した場合、データ出力部50がイベントデータを自動的に出力することを許可する。これにより、イベントデータとして記憶されているイベントと類似する他のイベントが検出された場合に、第2メンバにイベントデータを自動的に出力することができる。
(第2実施形態)
[情報出力装置の構成]
 図5を参照して、第2実施形態に係る情報出力装置の構成について説明する。第1実施形態との相違点は通信部60のみである。よって、通信部60で実施される処理についてのみ説明し、その他の共通する構成については説明を省略する
 情報出力装置は、第1実施形態に示す構成に加え、通信部60をさらに備えており、イベントを検出した時に通信手段を介して車両と接続していた第1メンバ及び車両と接続している第2メンバをさらに特定する。通信部60は、通信相手特定部61を備える。
 通信部60は、通信手段を介して車両と接続している人物に車両の車内の音声データ及び映像データと、車外の映像データを送信する。通信手段の具体的な例として、携帯電話、スマートフォン、インターネットに接続が可能なPC,タブレットなどがある。これら通信機器は、音声データ、または映像データを再生することができる。
 通信相手特定部61は、通信手段を介して車両と接続している人物を特定する。通信手段を介して、車内の音声データ及び映像データと、車外の映像データを視聴することができる人物は、イベントを知覚することが可能な人物である。具体的には、通信相手特定部61は、車両と接続している通信機器の電話番号、及び通信IDを特定することにより通信相手を特定することができる。これにより、情報出力装置は、イベントを検出した時に通信手段を介して車両と接続していた人物を第1メンバとして特定することができ、車両に接続している人物を第2メンバとして特定することができる。
[情報記憶方法]
 次に、図6を参照して、図5に示した情報出力装置がイベントデータを記憶する方法について説明する。第1実施形態との相違点はステップS21、ステップS22、ステップS23の処理のみである。よって、当該相違点の処理ステップについてのみ説明し、その他の共通する処理については説明を省略する。
 ステップS21において、通信相手特定部61は、通信手段を介して車両と接続している人物がいるか否かを判断する。通信相手特定部61が、通信手段を介して車両と接続している人物がいないと判断した場合(ステップS21にてNO)、ステップS30に進む。
 ステップS21において、通信相手特定部61が、通信手段を介して車両と接続している人物がいると判断した場合(ステップS21にてYES)、ステップS22に進む。
 ステップS22において、通信相手特定部61は、通信手段を介して車両と接続している人物を特定し、ステップS23に進む。
 ステップS23において、通信相手特定部61は、特定した人物をメンバ特定部20に転送する。メンバ特定部20は、イベントを検出した時に車両に乗車していた第1メンバに加え、イベントを検出した時に通信機器を介して車両と接続していたメンバを第1メンバとして特定する。
[情報出力方法]
 次に、図7を参照して、図5に示した情報出力装置がイベントデータを出力する方法について説明する。第1実施形態との相違点はステップS121からステップS124までの処理のみである。よって、当該相違点の処理ステップについてのみ説明し、その他の共通する処理については説明を省略する。
 ステップS121において、通信相手特定部61は、通信手段を介して車両と接続している人物がいるか否かを判断する。通信相手特定部61が、通信手段を介して車両と接続している人物がいないと判断した場合(ステップS121にてNO)、ステップS130に進む。
 ステップS121において、通信相手特定部61は、通信手段を介して車両と接続している人物がいると判断した場合(ステップS121にてYES)、ステップS122に進む。
 ステップS122において、通信相手特定部61は、通信手段を介して車両と接続している人物を特定し、メンバ特定部20に転送する。メンバ特定部20は、車両に乗車している第2メンバに加え、通信機器を介して車両と接続している人物を第2メンバとして特定することができる。
 ステップS123に進み、メンバ比較部42は、通信機器を介して車両と接続している第2メンバと第1メンバとを比較し、通信機器を介して車両と接続している第2メンバに第1メンバ以外のメンバが含まれているか否かを判断する。メンバ比較部42が、通信機器を介して車両と接続している第2メンバに第1メンバ以外のメンバが含まれていると判断した場合(ステップS123でNO)、ステップS190に進む。ステップS190に進んだ時点で、再生可否判断部43は通信機器を介して車両と接続している第2メンバに対してイベントデータを自動的に出力することを禁止する。ステップS190からS220までの処理は、第1実施形態のステップS150からステップS180までの処理と同様である。
 ステップS123において、メンバ比較部42が、通信機器を介して車両と接続している第2メンバに第1メンバ以外のメンバが含まれていないと判断した場合(ステップS123でYES)、ステップS124に進む。
 ステップS124において、通信部60は、通信機器を介して車両と接続している第2メンバにイベントデータを送信する。
 以上説明したように第2実施形態によれば以下の作用効果が得られる。
 情報出力装置は、イベントを検出した時に車両に乗車していた第1メンバ及び車両に乗車している第2メンバに加え、イベントを検出した時に通信手段を介して車両に接続していた第1メンバ及び車両と接続している第2メンバを特定する。これにより、通信手段を介して接続している第2メンバに対して、イベントデータの出力可否を判断することができる。
(第3実施形態)
[情報出力装置の構成]
 図8を参照して、第3実施形態に係る情報出力装置の構成について説明する。第2実施形態との相違点は通信部60の構成のみである。よって、通信部60で実施される処理についてのみ説明し、その他の共通する構成については説明を省略する
 情報出力装置は、他車両が通信手段を介して車両と接続し、車両から予め定められた距離の範囲内で走行していると判断した場合、イベントを検出した時に他車両に乗車していた第1メンバ及び他車両に乗車している第2メンバをさらに特定する。通信部60は、通信相手特定部61と、車間距離判定部62と、映像・音声受信部63とを備える。
 通信部60は、通信手段を介して車両と接続している他車両に車両の車内の音声データ及び映像データと、車外の映像データとを送信する。通信手段の具体的な例としては、インターネット通信がある。これにより、他車両に乗車しているメンバ(人物)は、イベントを知覚し、イベントデータを視聴することができる。
 通信相手特定部61は、他車両が通信手段を介して車両と接続しているか否かを判断し、他車両の車両番号(VIN)等から接続している他車両を特定する。
 車間距離判定部62は、車両と他車両との距離が予め定められた距離の範囲内であるか否かを判断する。具体的には、車間距離判定部62は、自動運転装置、及び運転支援装置で用いられるステレオカメラや測距レーダによって測定された車両と他車両との距離を取得し、車両と他車両との距離が予め定められた距離の範囲内であるか否かを判断する。
 映像・音声受信部63は、車両と接続している他車両の車内の映像、及び音声を、通信手段を介して受信する。映像・音声受信部63は、車両と接続している他車両の車内の映像、及び音声をメンバ特定部20に転送する。メンバ特定部20は、他車両に乗車している乗員を特定する。これにより、情報出力装置は、イベントを検出した時に他車両に乗車していた人物を第1メンバとして特定し、他車両に乗車している人物を第2メンバとして特定することができる。
[情報記憶方法]
 次に、図9を参照して、図8に示した情報出力装置がイベントデータを記憶する方法について説明する。第2実施形態との相違点はステップS201からステップS204までの処理のみである。よって、当該相違点の処理ステップについてのみ説明し、その他の共通する処理については説明を省略する。
 ステップS201において、通信相手特定部61は、通信手段を介して車両と接続している他車両があるか否かを判断する。通信相手特定部61が、通信手段を介して車両と接続している他車両がいないと判断した場合(ステップS201にてNO)、ステップS30に進む。
 ステップS201において、通信相手特定部61が、通信手段を介して車両と接続している他車両がいると判断した場合(ステップS201にてYES)、ステップS202に進む。
 ステップS202において、車間距離判定部62は、車両と他車両との距離を測定する。ステップS203に進み、車間距離判定部62は、測定した車両と他車両との距離が予め定められた距離の範囲内であるか否かを判断する。車間距離判定部62が、他車両との距離が予め定められた距離の範囲内でないと判断した場合(ステップS203でNO)、ステップS30に進む。
 ステップS203において、車間距離判定部62は、他車両との距離が予め定められた距離の範囲内であると判断した場合(ステップS203でYES)、ステップS204に進む。
 ステップS204おいて、映像・音声受信部63は、車両と接続している他車両からインターネット通信を介して他車両の車内の映像、及び音声データを受信する。そして、映像・音声受信部63は、受信した他車両の車内の映像、及び音声データをメンバ特定部20に転送する。これにより、メンバ特定部20は、イベントを検出した時に車両に乗車していた第1メンバに加え、イベントを検出した時に他車両に乗車していた第1メンバを特定することができる。
[情報出力方法]
 次に、図10を参照して、図8に示した情報出力装置がイベントデータを出力する方法について説明する。第2実施形態との相違点はステップS1201からステップS1205までの処理のみである。よって、当該相違点の処理ステップについてのみ説明し、その他の共通する処理については説明を省略する。
 ステップS1201において、通信相手特定部61は、通信手段を介して車両と接続している他車両があるか否かを判断する。通信相手特定部61が、通信手段を介して車両と接続している他車両がいないと判断した場合(ステップS1201にてNO)、ステップS130に進む。
 ステップS1201において、通信相手特定部61が、通信手段を介して車両と接続している他車両がいると判断した場合(ステップS1201にてYES)、ステップS1202に進む。
 ステップS1202において、車間距離判定部62は、車両と他車両との距離を測定する。
 ステップS1203に進み、車間距離判定部62は、車両と他車両との距離が予め定められた距離の範囲内であるか否かを判断する。車間距離判定部62が、他車両との距離が予め定められた距離の範囲内でないと判断した場合(ステップS1203でNO)、ステップS130に進む。
 ステップS1203において、車間距離判定部62は、車両と他車両との距離が予め定められた距離の範囲内であると判断した場合(ステップS1203でYES)、ステップS1204に進む。
 ステップS1204において、映像・音声受信部63は、車両と接続している他車両の車内の映像、及び音声を、通信手段を介して受信し、メンバ特定部に転送する。これにより、メンバ特定部20は、車両に乗車している第2メンバに加え、他車両に乗車している第2メンバを特定することができる。
 ステップS1205に進み、メンバ比較部42は、通信機器を介して車両と接続している他車両に乗車している第2メンバと第1メンバとを比較し、他車両に乗車している第2メンバに第1メンバ以外のメンバが含まれているか否かを判断する。メンバ比較部42が、他車両に乗車している第2メンバに第1メンバ以外のメンバが含まれていると判断した場合(ステップS1205でNO)、ステップS190に進む。ステップS190に進んだ時点で、再生可否判断部43は、他車両に乗車している第2メンバに対してイベントデータを自動的に出力することを禁止する。ステップS190からS220までの処理は、第1実施形態のステップS150からステップS180までの処理と同様である。
 ステップS1205において、メンバ比較部42が、通信機器を介して車両と接続している他車両の第2メンバに第1メンバ以外のメンバが含まれていないと判断した場合(ステップS123でYES)、ステップS124に進む。
 以上説明したように第3実施形態によれば以下の作用効果が得られる。
 情報出力装置は、イベントを検出した時に車両に乗車していた第1メンバ及び車両に乗車している第2メンバを特定する。さらに、車両とは異なる他車両が、通信手段を介して車両と接続し、車両から予め定められた距離の範囲内で走行している場合、イベントを検出した時に他車両に乗車していた第1メンバ及び他車両に乗車している第2メンバを特定する。これにより、他車両に乗車している第2メンバに対してイベントデータの出力可否を判断することができる。さらに、他車両が、車両から予め定められた距離の範囲内で走行していることを条件とすることにより、イベントを検出した時に他車両に乗車していた第1メンバがイベントを知覚することが可能な状態にあると判断することができる。また、イベントデータが出力された場合に、他車両に乗車している第2メンバがなぜ当該イベントデータが出力されたのかを理解することができる。
 上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
 特願2020−152214号(出願日:2020年9月10日)の全内容はここに援用される。
 10 イベント検出部
 20 メンバ特定部
 30 イベント記憶部
 40 出力制御部
 50 データ出力部

Claims (11)

  1.  車両の車内又は車外において発生したイベントを検出するイベント検出部と、
     前記イベントを検出した時に前記イベントを知覚することが可能な人物を第1メンバとして特定するメンバ特定部と、
     検出した前記イベントに関するイベントデータを前記第1メンバに関連付けて記憶するイベント記憶部と、
     前記イベント記憶部に記憶されている前記イベントデータを自動的に出力するデータ出力部と、
    を備える情報出力装置であって、
     前記メンバ特定部は、前記データ出力部から出力される前記イベントデータを視聴することが可能な人物を第2メンバとして特定し、
     前記情報出力装置は、
     前記第2メンバに前記第1メンバ以外の人物が含まれているか否かを判断し、
     前記第2メンバに前記第1メンバ以外の人物が含まれていると判断した場合、前記データ出力部が前記イベントデータを自動的に出力することを禁止する出力制御部を更に備える
    ことを特徴とする情報出力装置。
  2.  前記出力制御部は、前記第2メンバに前記第1メンバ以外の人物が含まれていないと判断した場合、前記データ出力部が前記イベントデータを自動的に出力することを許可する
    ことを特徴とする請求項1に記載の情報出力装置。
  3.  前記出力制御部は、前記第2メンバに前記第1メンバ以外の人物が含まれ、かつ前記第2メンバに前記第1メンバの人物が少なくとも1人以上含まれていると判断した場合、前記イベント検出部によって前記イベント記憶部に前記イベントデータとして記憶されている前記イベントと類似する他のイベントが検出された時に前記イベントデータの出力可否を前記第2メンバに含まれる前記第1メンバに問い合わせる
    ことを特徴とする請求項1または2に記載の情報出力装置。
  4.  前記メンバ特定部は、前記イベントを検出した時に前記車両に乗車していた前記第1メンバ及び前記車両に乗車している前記第2メンバを特定する
    ことを特徴とする請求項1から3のいずれか一項に記載の情報出力装置。
  5.  前記メンバ特定部は、前記イベントを検出した時に前記車両に乗車していた前記第1メンバ及び前記車両に乗車している前記第2メンバに加え、前記イベントを検出した時に通信手段を介して前記車両と接続していた前記第1メンバ及び前記車両と接続している前記第2メンバを特定する
    ことを特徴とする請求項1から4のいずれか一項に記載の情報出力装置。
  6.  前記メンバ特定部は、前記イベントを検出した時に前記車両に乗車していた前記第1メンバ及び前記車両に乗車している前記第2メンバに加え、前記車両とは異なる他車両が、通信手段を介して前記車両と接続し、前記車両から予め定められた距離の範囲内で走行している場合、前記イベントを検出した時に前記他車両に乗車していた前記第1メンバ及び前記他車両に乗車している前記第2メンバを特定する
    ことを特徴とする請求項1から5のいずれか一項に記載の情報出力装置。
  7.  前記メンバ特定部は、前記データ出力部から出力される前記イベントデータを理解することが可能な人物を前記第2メンバとして特定する
    ことを特徴とする請求項1から6のいずれか一項に記載の情報出力装置。
  8.  前記出力制御部は、前記イベント記憶部に記憶された前記イベントデータの中から前記第2メンバに関する情報が記憶されたイベントデータを抽出し、前記第2メンバにリストとして提示する
    ことを特徴とする請求項1から7のいずれか一項に記載の情報出力装置。
  9.  前記出力制御部は、前記第2メンバに前記第2メンバに関する情報が記憶されたイベントデータをリストとして提示する場合、前記リストとして提示する各々のイベントデータに記憶された前記第1メンバに対して前記第2メンバが占める割合を算出し、前記各々のイベントデータを前記割合が高い順に提示する
    ことを特徴とする請求項8に記載の情報出力装置。
  10.  前記出力制御部は、前記イベント検出部が前記イベント記憶部に前記イベントデータとして記憶されている前記イベントと類似する他のイベントを検出し、かつ、前記第2メンバに前記第1メンバ以外の人物が含まれていないと判断した場合、前記データ出力部が前記イベントデータを自動的に出力することを許可する
    ことを特徴とする請求項1から7のいずれか一項に記載の情報出力装置。
  11.  車両の車内又は車外において発生したイベントを検出し、
     前記イベントを検出した時に前記イベントを知覚することが可能な人物を第1メンバとして特定し、
     検出した前記イベントに関するイベントデータを前記第1メンバに関連付けて記憶し、
     記憶されている前記イベントデータを自動的に出力する
    情報出力方法であって、
     出力される前記イベントデータを視聴することが可能な人物を第2メンバとして特定し、
     前記第2メンバに前記第1メンバ以外の人物が含まれているか否かを判断し、
     前記第2メンバに前記第1メンバ以外の人物が含まれていると判断した場合、前記イベントデータを自動的に出力することを禁止する
    ことを特徴とする情報出力方法。
PCT/IB2021/000531 2020-09-10 2021-08-11 情報出力装置及び情報出力方法 WO2022053862A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
BR112023004500A BR112023004500A2 (pt) 2020-09-10 2021-08-11 Dispositivo de saída de informação e método de saída de informação
CN202180054030.9A CN116325715A (zh) 2020-09-10 2021-08-11 信息输出装置和信息输出方法
US18/005,366 US11841980B2 (en) 2020-09-10 2021-08-11 Information output device and method of controlling information output based on vehicle occupancy
EP21866151.0A EP4213481B1 (en) 2020-09-10 2021-08-11 Information output device and information output method
JP2022548255A JP7450045B2 (ja) 2020-09-10 2021-08-11 情報出力装置及び情報出力方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020152214 2020-09-10
JP2020-152214 2020-09-10

Publications (1)

Publication Number Publication Date
WO2022053862A1 true WO2022053862A1 (ja) 2022-03-17

Family

ID=80632112

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/IB2021/000531 WO2022053862A1 (ja) 2020-09-10 2021-08-11 情報出力装置及び情報出力方法

Country Status (6)

Country Link
US (1) US11841980B2 (ja)
EP (1) EP4213481B1 (ja)
JP (1) JP7450045B2 (ja)
CN (1) CN116325715A (ja)
BR (1) BR112023004500A2 (ja)
WO (1) WO2022053862A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7468411B2 (ja) * 2021-03-05 2024-04-16 トヨタ自動車株式会社 自動運転車両、配車管理装置、及び端末機器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012105174A (ja) * 2010-11-12 2012-05-31 Software Factory:Kk 画像音声記録再生装置
JP2019009498A (ja) * 2017-06-20 2019-01-17 本田技研工業株式会社 情報出力システム、情報出力方法、及びプログラム
JP2019191828A (ja) * 2018-04-23 2019-10-31 トヨタ自動車株式会社 情報提供システムおよび情報提供方法
WO2020129182A1 (ja) * 2018-12-19 2020-06-25 株式会社ニコン 対話装置、対話システムおよび対話プログラム
JP2020152214A (ja) 2019-03-19 2020-09-24 株式会社Subaru 車載装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004147037A (ja) * 2002-10-24 2004-05-20 Auto Network Gijutsu Kenkyusho:Kk ハンズフリー式移動体電話システム、および通信可否判別方法
JP2005022590A (ja) * 2003-07-01 2005-01-27 Nissan Motor Co Ltd 車両用表示装置
US20130030645A1 (en) 2011-07-28 2013-01-31 Panasonic Corporation Auto-control of vehicle infotainment system based on extracted characteristics of car occupants
JP2013102373A (ja) * 2011-11-09 2013-05-23 Denso Corp ハンズフリー装置
JP6559437B2 (ja) * 2015-02-19 2019-08-14 クラリオン株式会社 情報処理システム、車載装置、及び、端末装置
US9918038B2 (en) 2016-02-29 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for multimedia capture
US11453365B2 (en) * 2016-08-26 2022-09-27 NetraDyne, Inc. Recording video of an operator and a surrounding visual field
WO2018092495A1 (ja) * 2016-11-18 2018-05-24 株式会社Jvcケンウッド 記録装置、記録方法、再生方法及びプログラム
JP6862629B2 (ja) 2017-03-30 2021-04-21 株式会社日本総合研究所 見守り送迎システムにおける車両管理サーバ、車載端末、見守り方法、及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012105174A (ja) * 2010-11-12 2012-05-31 Software Factory:Kk 画像音声記録再生装置
JP5478462B2 (ja) 2010-11-12 2014-04-23 株式会社ソフトウェア・ファクトリー 画像音声記録再生装置
JP2019009498A (ja) * 2017-06-20 2019-01-17 本田技研工業株式会社 情報出力システム、情報出力方法、及びプログラム
JP2019191828A (ja) * 2018-04-23 2019-10-31 トヨタ自動車株式会社 情報提供システムおよび情報提供方法
WO2020129182A1 (ja) * 2018-12-19 2020-06-25 株式会社ニコン 対話装置、対話システムおよび対話プログラム
JP2020152214A (ja) 2019-03-19 2020-09-24 株式会社Subaru 車載装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4213481A4

Also Published As

Publication number Publication date
EP4213481A4 (en) 2023-11-01
EP4213481B1 (en) 2024-10-30
BR112023004500A2 (pt) 2023-04-04
US11841980B2 (en) 2023-12-12
US20230267233A1 (en) 2023-08-24
JPWO2022053862A1 (ja) 2022-03-17
CN116325715A (zh) 2023-06-23
EP4213481A1 (en) 2023-07-19
JP7450045B2 (ja) 2024-03-14

Similar Documents

Publication Publication Date Title
US20240015489A1 (en) Systems, methods, and devices for enforcing do not disturb functionality on mobile devices
US11856505B2 (en) Managing iOS-based mobile communication devices by creative use of callkit API protocols
US10922157B2 (en) Managing functions on an iOS mobile device using ANCS notifications
US20180070291A1 (en) Detecting Mobile Devices Within a Vehicle Based on Cellular Data Detected Within the Vehicle
US6600975B2 (en) In-vehicle communication device and communication control method
JP5652913B2 (ja) 車載端末装置
WO2022053862A1 (ja) 情報出力装置及び情報出力方法
JP2008217218A (ja) 事故情報取得システム
KR101750871B1 (ko) 이어셋 장치 및 그 장치의 제어 방법
US11543521B2 (en) Information processing apparatus, information processing method, and recording medium
JP2021117126A (ja) 表示制御装置、表示制御方法及びプログラム
JP2004213175A (ja) 情報通信システム
JP2021033574A (ja) 通報処理装置、通報処理方法、及び事故対応システム
JP2020107066A (ja) 操作制御装置、撮像装置、操作制御方法
JP2019195121A (ja) 情報処理装置及び電話会議システム
JP2004314869A (ja) 情報提供装置
JP2004147302A (ja) 車載用ハンズフリー装置
JP5003399B2 (ja) 道路通信システム,通信端末,データ再生処理方法およびデータ再生用プログラム
JP2020152236A (ja) 通報装置、通報方法およびプログラム
JP2007193459A (ja) 挙動情報取得装置、表示端末及び挙動情報通知システム
US20240313992A1 (en) Electronic conference system, control method of electronic conference system, and storage medium
US20240311077A1 (en) Information processing device, information processing method, and storage medium
JP5125388B2 (ja) 道路通信システム,通信端末,データ再生処理方法およびデータ再生用プログラム
JP2021043488A (ja) 車載装置、運転支援装置、運転支援方法、及びプログラム
WO2018101341A1 (ja) 情報処理装置、外部音再生方法、プログラム及びデータ構造

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21866151

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022548255

Country of ref document: JP

Kind code of ref document: A

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112023004500

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112023004500

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20230310

WWE Wipo information: entry into national phase

Ref document number: 202347025533

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021866151

Country of ref document: EP

Effective date: 20230411