WO2015186304A1 - 車両用思い出共有システム、車載機及び思い出共有プログラム - Google Patents

車両用思い出共有システム、車載機及び思い出共有プログラム Download PDF

Info

Publication number
WO2015186304A1
WO2015186304A1 PCT/JP2015/002567 JP2015002567W WO2015186304A1 WO 2015186304 A1 WO2015186304 A1 WO 2015186304A1 JP 2015002567 W JP2015002567 W JP 2015002567W WO 2015186304 A1 WO2015186304 A1 WO 2015186304A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
memory information
server
memory
unit
Prior art date
Application number
PCT/JP2015/002567
Other languages
English (en)
French (fr)
Inventor
松井 一博
加藤 香平
鈴木 孝光
裕子 中村
健史 山元
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Publication of WO2015186304A1 publication Critical patent/WO2015186304A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/10Speech classification or search using distance or distortion measures between unknown speech and reference templates

Definitions

  • the present disclosure relates to a technique for storing images and videos taken in the process of moving by a vehicle.
  • Patent Document 1 a video for a certain time determined on the basis of a point in time when a predetermined condition is satisfied among videos shot while an in-vehicle camera installed so that an imaging surface faces the outside of the vehicle is running.
  • An apparatus for storage is disclosed.
  • the device described in Patent Document 1 stores images captured by a vehicle-mounted camera for a certain period of time before and after a shooting instruction operation performed by a driver.
  • Patent Document 1 describes an example in which the device is used as an operation record (that is, a drive recorder) for elucidating the cause of a traffic accident.
  • Patent Document 1 Although not disclosed in Patent Document 1, it is considered that the apparatus described in Patent Document 1 can also be used to store images taken of scenery outside the vehicle as memories when traveling by vehicle. . In other words, the user can save a scene image captured by the on-board cameras before and after that point by performing a shooting instruction operation at a desired timing.
  • a mobile terminal with a camera function As a means of leaving memories during travel, there is a method of using a mobile terminal with a camera function. Users of these mobile terminals can take pictures and videos such as scenery using the camera of the mobile terminal as memories during travel.
  • the present disclosure is made based on this situation, and the purpose thereof is a vehicle memory sharing system that can more easily share memory information among members who have traveled together, To provide an in-vehicle device and a memory sharing program.
  • a vehicle memory sharing system is a vehicle memory sharing system including at least one portable terminal carried by a user and an in-vehicle device mounted on the vehicle, wherein the in-vehicle device is a user Is provided with a linked terminal identification unit that identifies a portable terminal that is brought into the vehicle and cooperates with the in-vehicle device, and at least one of the in-vehicle device and the portable terminal acquires memory information that represents memories during travel in the vehicle.
  • the memory sharing system for a vehicle includes the memory information acquired by the memory information acquisition unit or the user of the mobile terminal browses the memory information on the mobile terminal specified by the cooperation terminal specifying unit.
  • a memory information distribution unit that distributes information for browsing.
  • the cooperation terminal specifying unit is brought into the vehicle by the user and specifies a portable terminal that cooperates with the in-vehicle device. Then, the memory information distribution unit distributes the memory information acquired by the memory acquisition unit or the browsing information for browsing the memory information to the portable terminal linked with the vehicle-mounted device in this trip.
  • the mobile terminal linked to the vehicle-mounted device 1 means a mobile terminal owned by a member who accompanied the vehicle traveling.
  • the memory information distribution unit distributes memory information or information for browsing the memory information to the mobile terminals of the members accompanying the trip.
  • the memory information distribution unit distributes the memory information or information for browsing the memory information to each mobile terminal linked to the vehicle-mounted device.
  • An in-vehicle device is an in-vehicle device that is used in a vehicle memory sharing system including at least one portable terminal that is carried by a user, and specifies a cooperation terminal that identifies a portable terminal that cooperates with the in-vehicle device.
  • memory information acquisition unit for acquiring memory information representing memories during travel in the vehicle, memory information acquired in the memory information acquisition unit, directly or via a server provided outside the vehicle,
  • a memory information distribution unit for transmitting to a portable terminal.
  • a memory sharing program includes a vehicle-mounted device cooperation processing unit that performs processing for linking a computer with a vehicle-mounted device mounted on a vehicle, and memory information that represents memories during a travel in the vehicle. Or, it is made to function as a memory information receiving unit that receives from a server provided outside the vehicle.
  • the memory sharing program may be provided by being stored in a non-transitory storage medium, or may be provided via a telecommunication line.
  • FIG. 1 is a block diagram illustrating an example of a schematic configuration of a vehicle memory sharing system according to the first embodiment.
  • FIG. 2 is a block diagram illustrating an example of a schematic configuration of the in-vehicle device.
  • FIG. 3 is a block diagram illustrating an example of a schematic configuration of the in-vehicle device side control unit.
  • FIG. 4 is a block diagram illustrating an example of a schematic configuration of the mobile terminal.
  • FIG. 5 is a block diagram illustrating an example of a schematic configuration of the portable control unit.
  • FIG. 6 is a block diagram illustrating an example of a schematic configuration of a server.
  • FIG. 1 is a block diagram illustrating an example of a schematic configuration of a vehicle memory sharing system according to the first embodiment.
  • FIG. 2 is a block diagram illustrating an example of a schematic configuration of the in-vehicle device.
  • FIG. 3 is a block diagram illustrating an example of a schematic configuration of the in-vehicle device side
  • FIG. 7 is a flowchart for explaining the in-vehicle device side processing performed by the in-vehicle device side control unit.
  • FIG. 8 is a flowchart for explaining departure-related processing.
  • FIG. 9 is a flowchart for explaining the cooperative terminal acquisition process.
  • FIG. 10 is a flowchart for explaining the in-vehicle device side memory information acquisition process.
  • FIG. 11 is a flowchart for explaining parking-related processing.
  • FIG. 12 is a diagram for explaining the operation of the vehicle memory sharing system according to the second embodiment.
  • FIG. 13 is a diagram for explaining the operation of the vehicle memory sharing system according to the second embodiment.
  • FIG. 14 is a diagram for explaining the operation of the vehicle memory sharing system according to the third embodiment.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of a vehicle memory sharing system 100 according to the present embodiment.
  • a vehicle memory sharing system 100 includes an in-vehicle device 1 mounted on a vehicle, at least one portable terminal 3 that is brought into the vehicle by a user and performs mutual communication with the in-vehicle device 1, and the vehicle.
  • a server 4 provided outside is provided.
  • the mobile terminal 3 can be a known smartphone equipped with a camera (referred to as a mobile camera) for taking pictures and videos, a tablet terminal, or the like.
  • An ordinary mobile terminal such as a smartphone is installed with an application program (hereinafter simply referred to as an application) for operating as the mobile terminal 3 included in the vehicle memory sharing system 100, and the application is executed. In the state, it operates as the portable terminal 3 in the present embodiment.
  • This application corresponds to an example of a memory sharing program.
  • the vehicle memory sharing system 100 is configured to share data (collected as memory information) such as photographs and videos taken as memories in the course of a vehicle trip (referred to as a trip) among the members of the group accompanying the trip. It is something to share.
  • data such as photographs and videos taken as memories in the course of a vehicle trip (referred to as a trip) among the members of the group accompanying the trip. It is something to share.
  • the trip here refers to the travel from the departure point to the arrival point.
  • the trip from the departure point to the destination point and returning to the departure point may be a trip.
  • a trip is an example of a trip.
  • the memory information may be generated by the mobile terminal 3 carried by each member, or may be generated by the in-vehicle device 1.
  • the memory information generated by the mobile terminal 3 corresponds to a photograph or a video taken by the mobile camera when the user operates the mobile terminal 3 during the trip.
  • the memory information generated by the in-vehicle device 1 corresponds to a photograph or a moving image taken by an in-vehicle camera (described later) provided in the vehicle during the trip.
  • the in-vehicle device 1 collects mobile-side memory information generated by the mobile terminal 3 in cooperation with the mobile terminal 3 by establishing a communication connection with the mobile terminal 3 brought into the vehicle interior. Then, the integrated memory information in which the acquired mobile memory information and the in-vehicle device memory information are collected is transmitted to the server 4. In addition, the in-vehicle device 1 transmits cooperation terminal information indicating the mobile terminal 3 that cooperates with the in-vehicle device 1 to the server 4.
  • the server 4 Based on the cooperation terminal information transmitted from the in-vehicle device 1, the server 4 specifies the in-vehicle device 1 used in the trip, the portable terminal 3 that cooperates with the in-vehicle device 1, and the user of the portable terminal 3. . And the server 4 will deliver integrated memory information with respect to the portable terminal 3 which cooperated with the vehicle equipment 1 in the trip, if integrated memory information is received from the vehicle equipment 1.
  • the vehicle memory sharing system 100 will be described.
  • the in-vehicle device 1 includes an in-vehicle device side control unit 11, an in-vehicle camera 12, an in-vehicle camera 13, a photographing switch 14, a microphone (hereinafter referred to as a microphone) 15, a voice recognition device 16, an in-vehicle device side storage unit 17, an external input interface (hereinafter, external input I / F) 18, a navigation device 19, an audio device 20, a wide area communication unit 21, and a vehicle interior communication unit 22.
  • a microphone hereinafter referred to as a microphone
  • voice recognition device 16 an in-vehicle device side storage unit 17
  • an external input interface hereinafter, external input I / F
  • navigation device 19 an audio device 20, a wide area communication unit 21, and a vehicle interior communication unit 22.
  • the wide area communication unit 21 and the vehicle interior communication unit 22 are connected to each other by a known in-vehicle network so as to be able to communicate with each other.
  • the vehicle in which this vehicle equipment 1 is mounted is called a self-vehicle.
  • the in-vehicle camera 12 is installed in the vehicle interior so that the shooting range covers each seat in the vehicle interior.
  • the in-vehicle camera 12 may be installed on the rearview mirror so as to be in the above-described shooting range.
  • the in-vehicle camera 12 outputs a video signal, but may output a still image (that is, a photograph) as another aspect.
  • the video signal of the in-vehicle camera 12 is output to the in-vehicle device side control unit 11.
  • the in-vehicle camera 12 is configured to always shoot while the ignition power is on, but is not limited thereto. As another aspect, it may be configured to perform photographing based on an instruction from the in-vehicle device side control unit 11 when a later-described video storage condition is satisfied.
  • a plurality of in-vehicle cameras 12 may be provided, such as a camera for photographing the front seat and a camera for photographing the rear seat.
  • an optical camera such as a CMOS camera or a CCD camera can be used.
  • the exterior camera 13 is a front camera that captures a predetermined range in front of the host vehicle, for example.
  • the front camera as the vehicle external camera 13 may be installed on the rear mirror or the upper part of the front window.
  • the external camera 13 is not limited to the front camera, and may be a left side camera that captures a predetermined range on the left side of the host vehicle, or a right side camera that captures a predetermined range on the right side of the host vehicle. It may be a rear camera that captures a predetermined range behind the vehicle. Moreover, you may provide combining these.
  • the vehicle exterior camera 13 as with the vehicle interior camera 12, always shoots while the ignition power is on and outputs the video signal to the vehicle-mounted device side control unit 11.
  • the vehicle-mounted camera 13 shoots based on an instruction from the in-vehicle device side control unit 11 when an image storage condition described later is satisfied, and the image signal is transmitted to the in-vehicle device side control unit. 11 may be sequentially output.
  • the vehicle exterior camera 13 may output a still image.
  • an optical camera such as a CMOS camera or a CCD camera can be used.
  • in-vehicle camera 12 and the in-vehicle camera 13 are simply referred to as in-vehicle cameras.
  • the photographing switch 14 is used by a user (for example, a driver) to instruct the in-vehicle device 1 so as to save an image captured by the in-vehicle camera 12 or the in-vehicle camera 13 in the in-vehicle device storage unit 17. Switch.
  • the photographing switch 14 is provided at a position where the user can easily operate, for example, near the side surface of the steering column cover or near the shift lever.
  • the photographing switch 14 includes a plurality of switches corresponding to the in-vehicle camera 12 and the out-of-vehicle camera 13, and the user can store the images photographed by the in-vehicle camera corresponding to the photographing switch 14 that is pressed. it can.
  • the imaging switch 14 When the shooting switch 14 is pressed by the user, the imaging switch 14 outputs a control signal corresponding to the switch pressed by the user to the in-vehicle device side control unit 11.
  • the photographing switch 14 is a so-called click type switch.
  • the microphone 15 is, for example, a small omnidirectional microphone, collects ambient sounds such as voices and noises uttered by the user, converts them into electrical voice signals, and outputs them to the in-vehicle device side control unit 11. .
  • the microphone 15 is provided at a position where the user's voice can be easily picked up, for example, near the center of the instrument panel in the vehicle width direction or near the center of the vehicle interior. A plurality of microphones 15 may be provided.
  • the voice signal acquired by the microphone 15 is supplied to the voice recognition device 16 as well as the in-vehicle device side control unit 11.
  • the voice recognition device 16 uses various data stored in a voice recognition database (not shown) storing data necessary for well-known voice recognition processing, to the voice signal acquired by the microphone 15. Perform voice recognition processing.
  • the speech recognition database includes, as data necessary for speech recognition processing, for example, an acoustic model in which acoustic features of small units (phonemes) of human utterances are described, a recognition dictionary that associates acoustic features of phonemes and words, and It stores a language model that expresses the connection between words.
  • the voice recognition device 16 analyzes the content of the user's utterance and detects, for example, laughter or cheer. Then, the excitement of the user's conversation is detected from the utterance content, the presence or absence of laughter and cheer, and the loudness of the voice. For example, when a laughing voice or a cheering voice whose loudness is equal to or greater than a certain threshold is detected, it is determined that the users are excited.
  • the in-vehicle device storage unit 17 includes a rewritable nonvolatile storage medium and a device that reads and writes data from and to the storage medium.
  • a known storage medium such as a magnetic disk, an optical disk, and a flash memory can be used.
  • a removable storage medium such as an SD card is used as an example of a storage medium included in the in-vehicle device storage unit 17.
  • a DVD, CD, HDD or the like may be employed as the storage medium.
  • a plurality of types of storage media may be provided in combination.
  • the in-vehicle device side storage unit 17 stores a plurality of music data that can be reproduced by the audio device 20 and data (such as map data) used in various processes performed by the navigation device 19. It is assumed that metadata such as music title, artist name, album / single title, genre name, performance time, release year, track number, etc. is added to the music data. In addition, the in-vehicle device side storage unit 17 stores various kinds of memory information acquired in the memory information acquisition related process described later.
  • the external input I / F 18 is used for the in-vehicle device side control unit 11 to acquire information (vehicle information) indicating the traveling state of the own vehicle and the control state of the body system from the ECU and the sensor mounted on the own vehicle. Interface.
  • vehicle information is input to the external input I / F 18 from an ECU or a sensor mounted on the host vehicle via a predetermined in-vehicle network.
  • vehicle information examples include a shift position sensor signal, a parking brake switch on / off signal, a door courtesy switch on / off signal, an ignition (hereinafter, IG) power switch (not shown) signal for switching on / off, etc. There is.
  • the navigation device 19 has the same function as a well-known navigation device, and for example, from the current position to the destination based on the map data stored in the in-vehicle device side storage unit 17 and the current position of the host vehicle.
  • a route guidance process for guiding the travel of the guidance route is performed.
  • the current position of the host vehicle is sequentially (for example, 100 milliseconds) based on the received signal of a GNSS receiver that receives radio waves from a satellite used in GNSS (Global Navigation Satellite System), and the sensor values of an acceleration sensor and a gyro sensor. Detected).
  • the position information indicating the current position may be expressed by, for example, latitude and longitude.
  • Position information indicating the current position of the host vehicle detected by the navigation device 19 is sequentially output to the in-vehicle device side control unit 11.
  • the user can register a stop point in addition to the destination.
  • the navigation device 19 passes the stop point to the destination.
  • a route is calculated and set as a guide route.
  • the navigation apparatus 19 outputs information, such as a departure place, a destination, and a stop point, to the vehicle equipment side control part 11.
  • the departure point may be a point at the time when the IG power source is turned on, or may be a point where an operation for setting a destination is performed.
  • the audio device 20 reproduces the music data stored in the in-vehicle device side storage unit 17 based on a user operation.
  • the audio device 20 outputs the information indicated in the metadata added to the music data being reproduced to the in-vehicle device side control unit 11.
  • the wide area communication unit 21 includes a transmission / reception antenna and communicates with the server 4 via a known communication network such as a telephone line or the Internet.
  • the wide-area communication unit 21 is assumed to be realized by an in-vehicle communication module such as DCM (Data Communication Module) used for telematics communication as an example.
  • the wide area communication unit 21 demodulates the received signal and outputs the demodulated signal to the in-vehicle device side control unit 11, and modulates and transmits data input from the in-vehicle device side control unit 11.
  • the vehicle interior communication unit 22 includes a transmission / reception antenna that uses the vehicle interior as a wireless communication area.
  • the vehicle interior communication unit 22 is equipped with a portable terminal 3 (more specifically, a narrow communication unit 39) that is brought into the vehicle, and a known short-range wireless communication. Implement data transmission / reception by communication. Communication between the vehicle interior communication unit 22 and the portable terminal 3 may be performed in accordance with a known communication standard.
  • a wireless LAN standard such as IEEE802.11 or a short-range wireless communication standard such as Bluetooth (registered trademark) can be employed.
  • a wireless LAN standard such as IEEE802.11 is adopted, and a plurality of portable terminals 3 can simultaneously access the in-vehicle device 1.
  • the vehicle equipment 1 and the portable terminal 3 are set as the structure which transmits / receives data by radio
  • the vehicle equipment 1 may implement communication with the portable terminal 3 by the wide area communication part 21 as another aspect.
  • the in-vehicle device side control unit 11 is configured as a normal computer, and includes a well-known CPU, a nonvolatile memory such as a ROM and a flash memory, a volatile memory such as a RAM, an I / O, and a bus for connecting these configurations. Lines (both not shown) are provided.
  • the nonvolatile memory stores programs and data for executing various processes, and a vehicle identifier (hereinafter, vehicle ID) that is a unique identifier set in the in-vehicle device 1.
  • the internal memory 111 provided in the in-vehicle device side control unit 11 is a rewritable storage medium, and is realized by, for example, a flash memory provided in the in-vehicle device side control unit 11. Also, a part of the internal memory 111 has a ring buffer structure, and video data obtained by converting (that is, encoding) video signals sequentially input from the in-vehicle camera 12 and the in-vehicle camera 13 into a predetermined format. Is temporarily held. That is, the images shot by the in-vehicle camera 12 and the in-vehicle camera 13 are held in the internal memory 111 for a certain period of time.
  • the vehicle ID is for distinguishing a plurality of in-vehicle devices 1 used in the vehicle memory sharing system 100 from each other. That is, the vehicle ID only needs to be set so that the vehicle-mounted device 1 can be distinguished from other vehicle-mounted devices. For example, the serial number of the vehicle-mounted device 1 or the MAC address of the wide area communication unit can be used. The vehicle ID may be set by the user.
  • Each vehicle ID of the plurality of in-vehicle devices 1 used in the vehicle memory sharing system 100 is stored in a user database (hereinafter referred to as a user DB) of the server 4 and managed together with user information to be described later.
  • a user database hereinafter referred to as a user DB
  • the in-vehicle device side control unit 11 includes a navigation information acquisition unit F1, an audio information acquisition unit F2, a traveling state determination unit F3, a vehicle interior communication processing unit F4, a cooperation terminal specifying unit F5, an in-vehicle unit.
  • a machine-side memory information acquisition unit F6, a memory information extraction unit F7, and a wide area communication processing unit F8 are provided.
  • the navigation information acquisition unit F1 acquires information on a destination, a stop point, and a departure place set in the navigation device 19, and sequentially acquires the current position of the host vehicle. Moreover, the navigation information acquisition part F1 produces
  • the travel locus information may be acquired from the navigation device 19. Further, the travel locus may be indicated by information on a traveled link or node.
  • a node here means a point where a plurality of roads intersect, merge and branch in a road map showing the connection relation of roads, and a link means a road connecting the nodes.
  • trip information the departure point, departure time, destination, arrival time at the destination, stop-off point, and travel locus information.
  • stop point in the present embodiment refers to not only a point registered as a stop point in the navigation device 19 but also a point parked other than the destination.
  • the trip information is stored in the in-vehicle device side storage unit 17 in association with memory information described later.
  • the audio information acquisition unit F2 acquires the metadata of the music data currently being played back by the audio device 20 from the audio device 20.
  • the traveling state determination unit F3 determines a traveling state such as whether or not the host vehicle is traveling based on the vehicle information. For example, the traveling state determination unit F3 determines that the vehicle is parked when detecting a user operation for changing the IG power source from the on state to the off state based on the signal of the power switch.
  • the shift lever when it is detected that the shift lever is set to the parking position based on the signal of the shift position sensor, it may be determined that the host vehicle is parked.
  • the IG power supply is turned on, or when the shift lever is set to a position that transmits the driving force such as the drive position to the drive wheels based on the signal of the shift position sensor, the vehicle has started running What is necessary is just to judge.
  • the vehicle interior communication processing unit F4 controls the operation of the vehicle interior communication unit 22 and performs a process for communicating with the mobile terminal 3 brought into the vehicle interior. More specifically, while controlling the data output to the vehicle interior communication part 22, the data which the vehicle interior communication part 22 received are acquired, and it passes to another functional block (for example, cooperation terminal specific
  • This vehicle interior communication processing unit F4 corresponds to an example of the in-vehicle device side portable terminal communication processing unit.
  • the data acquired by the vehicle interior communication processing unit F4 includes a registration request, memory information acquired by the mobile-side memory information acquisition unit F36 included in the mobile terminal 3 (that is, mobile-side memory information), and the like.
  • the registration request here is data that establishes a communication connection with the in-vehicle device 1 and requests registration as a portable terminal that cooperates with the in-vehicle device 1.
  • the registration request includes the mobile ID of the mobile terminal 3 that transmitted the registration request.
  • the mobile ID is an ID unique to the mobile terminal, and is used to distinguish a plurality of mobile terminals 3 used in the vehicle memory sharing system 100 from each other.
  • the mobile ID is also managed together with the user information in the user DB of the server 4.
  • the cooperation terminal specifying unit F5 specifies the mobile terminal 3 that has transmitted the registration request, that is, the mobile terminal 3 that cooperates with the in-vehicle device 1, from the mobile ID included in the registration request received by the vehicle interior communication processing unit F4.
  • the user of the portable terminal 3 that cooperates with the vehicle-mounted device 1 in the trip means that the user is a member of a group that has acted together in the trip. That is, the cooperation terminal specific
  • the portable terminal 3 that is linked to the in-vehicle device 1 is also referred to as a linked terminal 3.
  • the mobile ID of the cooperation terminal 3 is stored in the in-vehicle device side storage unit 17.
  • the in-vehicle device side memory information acquisition unit F6 acquires and collects in-vehicle device side memory information in the trip. As shown in FIG. 3, the in-vehicle device side memory information acquisition unit F6 includes an in-vehicle camera data storage processing unit F61 and an audio information storage processing unit F62 as finer functional blocks. The in-vehicle device side memory information acquisition unit F6 corresponds to an example of a memory information acquisition unit.
  • the in-vehicle camera data storage processing unit F61 determines whether or not a predetermined video storage processing condition is satisfied. When it is determined that the video storage processing condition is satisfied, the video captured by the in-vehicle camera determined according to the satisfied video storage processing condition is stored in the in-vehicle device storage unit 17 as one moving image file.
  • the video to be stored as a moving image file may be a video for a predetermined time before and after the time point when it is determined that the video storage processing condition is satisfied.
  • the in-vehicle camera data storage processing unit F61 stores the video input from the in-vehicle camera 12 or the in-vehicle camera 13 as a moving image file in the in-vehicle device side storage unit 17 for a predetermined time from the time when the user turns on the photographing switch 14.
  • the vehicle-mounted camera that is the acquisition source of the video to be stored is a vehicle-mounted camera that corresponds to the shooting switch 14 pressed by the user. That is, when the shooting switch 14 corresponding to the vehicle exterior camera 13 is pressed, the image captured by the vehicle exterior camera 13 is stored as a moving image file.
  • the in-vehicle camera data storage processing unit F61 captures images taken by the in-vehicle camera 12 at a predetermined time before and after the detection time point as a reference. Save to. For example, a video for a total of 5 minutes from 1 minute before to 4 minutes after the point when the climax is detected may be stored as one moving image file.
  • the in-vehicle camera data storage processing unit F61 generates a moving image file that includes audio captured by the microphone 15 in addition to video captured by the in-vehicle camera.
  • the moving image file is stored in the in-vehicle device side storage unit 17 with the location information of the point where the moving image file is generated and information such as time added.
  • the audio information storage processing unit F62 associates the metadata (music name, etc.) for each piece of music data acquired by the audio information acquisition unit F2 with the location information of the point where the music starts to be played and the time on the vehicle-mounted device side. Save in the storage unit 17.
  • the memory information extraction unit F7 inquires of the cooperation terminal 3 whether there is memory information to be transmitted to the in-vehicle device 1. And when the response to the effect that the memory information which should be transmitted from the cooperation terminal 3 to the vehicle equipment 1 exists, corresponding memory information is extracted from the said portable side memory
  • FIG. The extraction here means that the mobile-side memory information stored in the mobile-side storage unit 37 is acquired through communication performed by the vehicle interior communication unit 22.
  • the wide area communication processing unit F8 controls the operation of the wide area communication unit 21 and performs processing for communicating with the server 4. More specifically, the data output to the wide area communication unit 21 is controlled, and the data received by the wide area communication unit 21 is acquired.
  • Information that the in-vehicle device 1 transmits to the server 4 includes trip information, information on the mobile terminal 3 that cooperates with the in-vehicle device 1 in the trip (that is, linked terminal information), in-vehicle device side memory information, and mobile side memory information. There are integrated memory information.
  • the wide area communication processing unit F8 transmits and receives control data for establishing communication between the in-vehicle device 1 and the server 4.
  • the wide area communication processing unit F8 corresponds to an example of the in-vehicle device side server communication processing unit.
  • the wide area communication processing unit F8 adds the vehicle ID of the vehicle-mounted device 1 or information for specifying the vehicle ID to the header of data to be transmitted to the server 4 and transmits the data.
  • the server 4 can identify the in-vehicle device 1 that is the transmission source of the received data. That is, the in-vehicle device 1, the cooperation terminal 3 of the in-vehicle device 1, trip information, and integrated memory information can be managed in association with each other.
  • the portable terminal 3 includes a portable side control unit 31, a display 32, a touch panel 33, a microphone 34, a portable side camera 35, a GNSS receiver 36, a portable side storage unit 37, a wide area communication unit 38, and a narrow area.
  • a communication unit 39 is provided.
  • the description of those that are not necessary for the description of the present embodiment is omitted.
  • the portable side control unit 31, the display 32, the touch panel 33, the microphone 34, the portable side camera 35, the GNSS receiver 36, the portable side storage unit 37, the wide area communication unit 38, and the narrow area communication unit 39 can communicate with each other. It is connected to the.
  • the display 32 displays text and images based on the input from the mobile control unit 31.
  • the display 32 is capable of full color display, for example, and can be configured using a liquid crystal display, an organic EL display, or the like.
  • the touch panel 33 is a capacitive touch panel integrated with the display 32. The user gives instructions to execute various functions to the portable control unit 31 by touching the touch panel.
  • the mobile terminal 3 may be provided with a mechanical switch or the like instead of the touch panel 33 as an interface for accepting a user operation.
  • the microphone 34 is, for example, a small omnidirectional microphone, and collects ambient sounds such as voices and noises spoken by the user, converts them into electrical voice signals, and outputs them to the portable control unit 31.
  • the portable camera 35 is an optical camera such as a CMOS camera. The portable camera 35 takes a photo or a moving image based on a user operation and outputs the data to the portable control unit 31. Note that the moving image captured by the portable camera 35 includes sound acquired by the microphone 34.
  • the GNSS receiver 36 detects its current position based on radio waves from the GNSS satellite.
  • the GNSS receiver 36 detects the current position sequentially (for example, every 100 milliseconds), and sequentially outputs position information indicating the current position to the portable control unit 31.
  • the portable storage unit 37 includes a rewritable nonvolatile storage medium and a device that reads and writes data from and to the storage medium.
  • a known storage medium such as a flash memory can be used as the storage medium included in the portable storage unit 37.
  • the storage medium included in the portable storage unit 37 is an SD card as an example.
  • the wide area communication unit 38 includes a transmission / reception antenna and communicates with the server 4 via a known communication network.
  • the wide area communication unit 38 is assumed to be realized by a communication module used in a known third generation mobile communication system.
  • the wide area communication unit 38 demodulates the received signal and outputs the demodulated signal to the portable side control unit 31, and modulates and transmits the data input from the portable side control unit 31.
  • the narrow-area communication unit 39 includes a transmission / reception antenna, and performs data transmission / reception with the vehicle-mounted device 1 by known short-range wireless communication.
  • the narrow area communication unit 39 demodulates the received signal and outputs it to the portable side control unit 31, and modulates and transmits the data input from the portable side control unit 31.
  • the mobile-side control unit 31 is configured as a computer, similar to the vehicle-mounted device-side control unit 11, and includes a well-known CPU, a non-volatile memory such as a ROM and a flash memory, a volatile memory such as a RAM, an I / O, and these A bus line (not shown) or the like for connecting these configurations is provided.
  • a non-volatile memory such as a ROM and a flash memory
  • a volatile memory such as a RAM, an I / O, and these A bus line (not shown) or the like for connecting these configurations is provided.
  • a portable ID set in the portable terminal 3 is stored in addition to a program for executing various processes such as the above-described application.
  • the mobile side control unit 31 includes an operation reception unit F31, a display processing unit F32, a position information acquisition unit F33, a narrow area communication processing unit F34, an in-vehicle device cooperation processing unit F35, a mobile side memory.
  • An information acquisition unit F36 and a wide area communication processing unit F37 are provided.
  • the operation accepting unit F31 accepts a process (such as a photographing operation with the portable camera 35) corresponding to an operation performed by the user on the touch panel 33 based on a signal input from the touch panel 33.
  • the processes received by the operation receiving unit F31 are accumulated in a queue and are sequentially performed.
  • the display processing unit F32 generates an image to be displayed on the display 32, and outputs and displays the image on the display 32. That is, the display processing unit F32 controls the display screen of the display 32.
  • the position information acquisition unit F33 acquires position information indicating the current position from the GNSS receiver 36.
  • the narrow area communication processing unit F34 controls the operation of the narrow area communication unit 39, and performs processing for performing communication with the in-vehicle device 1. More specifically, the data output to the narrow area communication unit 39 is controlled, and the data received by the narrow area communication unit 39 is acquired. Data to be transmitted to the in-vehicle device 1 is acquired from the in-vehicle device cooperation processing unit F35 described below.
  • This narrow area communication processing unit F34 corresponds to an example of a portable side in-vehicle device communication processing unit.
  • the in-vehicle device cooperation processing unit F35 performs processing for the in-vehicle device 1 and the portable terminal 3 to cooperate through the narrow-area communication processing unit F34, and in the state where the in-vehicle device 1 is in cooperation, the in-vehicle device. 1 transmits and receives various data.
  • the vehicle-mounted device cooperation processing unit F35 generates a registration request and passes it to the narrow area communication processing unit F34.
  • the narrow-area communication processing unit F34 transmits the registration request to the in-vehicle device 1 through the narrow-area communication unit 39.
  • a response signal to the signal transmitted from the in-vehicle device 1 is generated and returned to the narrow area communication processing unit F34.
  • a signal received from the vehicle-mounted device 1 there is, for example, a signal for inquiring whether there is portable-side memory information to be transmitted. If there is mobile-side memory information to be transmitted, the mobile-side memory information is transmitted to the in-vehicle device 1.
  • the mobile-side memory information acquisition unit F36 acquires mobile-side memory information on the trip in the mobile terminal 3.
  • This portable-side memory information acquisition unit F36 corresponds to an example of a memory information acquisition unit.
  • the mobile-side memory information acquired by the mobile-side memory information acquisition unit F36 is data of a photograph or a moving image taken by the mobile-side camera 35.
  • the photo and video data taken by the mobile camera 35 are added with time information at the time when the data is generated and the location information acquired by the location information acquisition unit F33, and are carried as mobile memory information. It is stored in the side storage unit 37.
  • the mobile-side memory information acquisition unit F36 divides various data stored in the mobile-side storage unit 37 as mobile-side memory information into data that has already been transmitted to the vehicle-mounted device 1 and data that has not yet been transmitted. Manage separately. Data that has not yet been transmitted to the vehicle-mounted device 1 corresponds to the memory information to be transmitted to the vehicle-mounted device 1 described above.
  • the wide area communication processing unit F37 controls the operation of the wide area communication unit 38 and performs processing for performing communication with the server 4. More specifically, the data output to the wide area communication unit 38 is controlled, and the data received by the wide area communication unit 38 is acquired. For example, the wide area communication processing unit F37 acquires integrated memory information from the server 4 via the wide area communication unit 38.
  • the wide area communication processing unit F37 corresponds to an example of a portable server communication processing unit or a memory information receiving unit.
  • the wide area communication processing unit F37 stores the integrated memory information in the portable storage unit 37 when it receives the integrated memory information.
  • the wide area communication processing unit F37 receives the data body of the integrated memory information, but is not limited thereto.
  • the server 4 may access a place where the integrated memory information is stored, and acquire information for browsing the memory information (referred to as browsing information).
  • the browsing information corresponds to a URL (Uniform Resource Locator) indicating a location where the integrated memory information is stored on the network.
  • URL Uniform Resource Locator
  • the user can access the server 4 using the browsing information at a desired timing and browse the integrated memory information of the current trip.
  • the integrated memory information can be browsed, the user can not only browse but also download the electronic data.
  • the difference data obtained by subtracting the mobile-side memory information provided by the terminal from the integrated memory information is not the data corresponding to the entire integrated memory information. It is good also as a structure which receives. That is, it is good also as a structure which receives the memory information produced
  • FIG. According to such a configuration, the amount of communication can be reduced compared to a configuration in which data corresponding to the entire integrated memory information is received.
  • the integrated memory information stored in the portable storage unit 37 is displayed on the display 32 based on a user operation.
  • the server 4 is a computer provided outside the vehicle and connected to a communication network such as the Internet.
  • the server 4 receives the integrated memory information transmitted from the in-vehicle device 1 and distributes the integrated memory information to the cooperation terminal 3.
  • the server 4 may be a so-called cloud server realized by a plurality of computers on the network.
  • the server 4 includes a server side control unit 41, a wide area communication unit 42, and a user DB 43 as shown in FIG.
  • the server-side control unit 41, the wide area communication unit 42, and the user DB 43 are connected so as to be able to communicate with each other.
  • the wide area communication unit 42 performs wireless communication with each of the in-vehicle device 1 and the portable terminal 3 via the communication network. That is, the wide area communication unit 42 demodulates a signal received from the in-vehicle device 1 or the portable terminal 3 and outputs the demodulated signal to the server-side control unit 41 and modulates data input from the server-side control unit 41 to modulate the in-vehicle device 1. Or it transmits to the cooperation terminal 3.
  • the user DB 43 is a storage device implemented using a nonvolatile rewritable storage medium, and includes user information for each user who uses the vehicle memory sharing system 100 and integrated memories transmitted from the in-vehicle device 1. Store information.
  • This user DB 43 corresponds to an example of a server-side storage unit.
  • the user information for each user is at least one of the vehicle ID of the vehicle owned by the user and the mobile ID of the mobile terminal 3 in addition to identification information (user ID) for distinguishing the user from other users. Includes one or the other.
  • the user ID may be set manually or automatically when the user registers that the vehicle memory sharing system 100 is used.
  • the mobile ID of the mobile terminal 3 owned by the user is used. Or it shall be automatically set based on vehicle ID.
  • the user ID may be arbitrarily settable by the user.
  • the server-side control unit 41 is configured as a normal computer, and includes a well-known CPU, a nonvolatile memory such as a ROM and a flash memory, a volatile memory such as a RAM, an I / O, and a bus line that connects these configurations. (Not shown).
  • the server-side control unit 41 performs various processes based on a program stored in the nonvolatile memory.
  • the server-side control unit 41 includes a reception processing unit F41, a data management unit F42, and a transmission processing unit F43 as functional blocks.
  • the reception processing unit F41 acquires the signals transmitted from the in-vehicle device 1 and the portable terminal 3 via the wide area communication unit 42. That is, the reception processing unit F41 receives cooperation terminal information, integrated memory information, trip information, and the like from the in-vehicle device 1.
  • the information transmitted from the in-vehicle device 1 to the server 4 includes the vehicle ID of the in-vehicle device 1 or information for specifying the vehicle ID.
  • the reception processing unit F41 corresponds to an example of a server side reception processing unit.
  • the data management unit F42 stores the linked terminal information, integrated memory information, and trip information received from the in-vehicle device 1 in association with the vehicle ID set in the in-vehicle device 1. More specifically, based on the linked terminal information, the mobile terminal and the in-vehicle device 1 that are associated with the in-vehicle device 1 in this trip are managed as one group. Then, the integrated memory information and trip information received from the in-vehicle device 1 belonging to the group are stored in association with the group.
  • the data management unit F42 manages integrated memory information, trip information, and members accompanying the trip.
  • This data management unit F42 corresponds to an example of a server-side memory information management unit.
  • the transmission processing unit F43 distributes the integrated memory information to the cooperation terminal 3 via the wide area communication unit 42.
  • the transmission process part F43 may distribute the browsing information to the cooperation terminal 3 as another aspect.
  • the transmission processing unit F43 corresponds to an example of a memory information distribution unit and a server side transmission processing unit.
  • in-vehicle apparatus side processing the process (referred to as in-vehicle apparatus side processing) performed by the in-vehicle apparatus side control unit 11 during the trip will be described with reference to the flowchart shown in FIG.
  • the flowchart in FIG. 7 is started when the IG power source is turned on as an example.
  • step S10 departure related processing is performed and the process proceeds to step S20.
  • This departure related process will be described separately using the flowchart shown in FIG.
  • step S11 it is determined whether or not the current user operation to turn on the IG power supply is an operation in the case of returning from the stopped state.
  • the stop-by state means a state where the user stops at a point other than the destination (that is, a stop-off point).
  • the return from the stop state means that the user has finished the business at the stop point and has resumed the movement in the vehicle.
  • Whether or not it is a return from the stop state is determined based on a stop state flag set during a parking-related process described later.
  • the stop state flag is set to ON when parked at a point other than the destination, and set to OFF when parked at the destination. Note that the drop-in state flag is stored in the internal memory 111, and the set value is retained while the IG power supply is off.
  • step S11 becomes YES and step S12 is performed. Move.
  • step S11 becomes NO and the process proceeds to step S14. Move.
  • step S12 the memory information extraction unit F7 performs a memory information extraction process, and proceeds to step S13. More specifically, the memory information extraction unit F7 inquires of the cooperation terminal 3 whether there is mobile-side memory information to be transmitted to the in-vehicle device 1. And when the cooperation terminal 3 is provided with the portable memory information which should be transmitted to the vehicle equipment 1, the corresponding portable memory information is extracted from the portable memory 37. This memory information extraction process is sequentially performed on all the linked terminals 3. That is, by carrying out this memory information extraction process, mobile-side memory information such as photos and videos taken by the user while staying at this stop-off point is collected in the in-vehicle device 1.
  • step S13 the mobile-side memory information acquired from each cooperation terminal 3 is stored in the in-vehicle device-side storage unit 17 as a group of memory information at the stop-off point.
  • the mobile-side memory information acquired from each cooperation terminal 3 may be grouped by being tagged with the location name of the stop-off location, or may be stored together in a dedicated folder.
  • the memory information at the stop point is stored with information such as the location information and time of the stop point.
  • step S14 trip information such as the departure point, departure time, and destination is acquired from the navigation device 19, and the process proceeds to step S20 in FIG.
  • step S20 the process proceeds to step S20 in FIG.
  • trip information which cannot be acquired at the time of departure, such as a travel locus, a stop point, and arrival time, at any time during the subsequent travel.
  • step S20 linked terminal acquisition processing is performed, and the process proceeds to step S30.
  • This linked terminal acquisition process will be described separately using the flowchart shown in FIG.
  • step S21 it is determined whether a registration request has been received.
  • step S21 becomes YES and moves to step S22.
  • step S21 is NO and this flow is ended, and the process proceeds to step S30 in the flowchart shown in FIG.
  • step S22 the mobile terminal 3 that has transmitted the registration request, that is, the mobile terminal 3 that cooperates with the vehicle-mounted device 1 is specified from the mobile ID included in the registration request. And portable ID of cooperation terminal 3 is matched with trip information, and is stored in in-vehicle machine side storage part 17.
  • step S30 the in-vehicle device side memory information acquisition process is performed, and the process proceeds to step S40.
  • This in-vehicle device side memory information acquisition process will be described separately using the flowchart shown in FIG.
  • step S31 the in-vehicle camera data storage processing unit F61 determines whether or not the user's excitement is detected by the voice recognition device 16. If the user's excitement is detected by the voice recognition device 16, step S31 is YES and the process proceeds to step S32. On the other hand, when the user's excitement is not detected by the voice recognition device 16, step S31 is NO and the process proceeds to step S33.
  • step S32 the in-vehicle camera data storage processing unit F61 associates the video imaged by the in-vehicle camera 12 from one minute before to four minutes after the climax is detected as one moving image file with the position information. And save.
  • the length of the video recording time stored here may be set as appropriate.
  • the voice recognition device 16 detects the excitement of the users based on the result of the voice recognition process, but is not limited thereto.
  • the climax may be detected by performing a known image recognition process on the video signal captured by the in-vehicle camera 12. For example, it may be determined that the users are excited when the smiles of the users are detected by performing an image recognition process on the video captured by the in-vehicle camera 12. Further, the user's excitement may be detected by combining the voice recognition process and the image recognition process as described above.
  • the speech recognition process when the excitement is detected, and the user's utterance content includes a word resemble of a preset landscape such as the sea, river, mountain, landscape, beautiful
  • the video taken by the vehicle camera 13 may be stored.
  • step S33 the in-vehicle camera data storage processing unit F61 determines whether or not the photographing switch 14 has been pressed by the user. If the photographing switch 14 is pressed by the user, step S33 becomes YES and the process moves to step S34. On the other hand, when the photographing switch 14 is pressed by the user, step S33 is NO and the process proceeds to step S35.
  • step S ⁇ b> 34 the in-vehicle camera data storage processing unit F ⁇ b> 61 sends the video signal input from the in-vehicle camera 12 or the in-vehicle camera 13 to the in-vehicle device side storage unit 17 for a predetermined time from when the user turns on the photographing switch 14.
  • the vehicle-mounted camera that is the acquisition source of the video to be stored is a vehicle-mounted camera that corresponds to the shooting switch 14 pressed by the user.
  • the shooting switch 14 corresponding to the vehicle exterior camera 13 when the shooting switch 14 corresponding to the vehicle exterior camera 13 is pressed by the user, the image captured by the vehicle exterior camera 13 is stored as a moving image file.
  • the photographing switch 14 includes switches corresponding to the respective external cameras 13.
  • an image captured by the external camera 13 for example, the left side camera
  • the switch pressed by the user is stored as a moving image file.
  • the configuration for accepting a shooting instruction by the user is the mechanical shooting switch 14, but is not limited thereto.
  • a voice command for instructing to save a video shot by the in-vehicle camera may be registered in the voice recognition device 16, and the shooting instruction may be executed by speaking the voice command. That is, the voice recognition device 16 may be used in place of the shooting switch 14.
  • step S34 When the storage process in step S34 is started, the process proceeds to step S35. Note that the storage process started in step S34 automatically ends at a timing when a predetermined time has elapsed since the photographing switch 14 was pressed.
  • step S35 the audio information storage processing unit F62 stores the audio information acquired by the audio information acquisition unit F2 in association with the position information, and proceeds to step S40 of the flowchart shown in FIG.
  • step S40 the traveling state determination unit F3 determines whether or not the host vehicle is parked. If it is determined that the host vehicle is parked, step S40 becomes YES and the process moves to step S50. On the other hand, if it is not determined that the host vehicle is parked, step S40 is NO and the process proceeds to step S20. That is, step S20 to step S40 are repeated until it is determined that the host vehicle has departed and has been parked.
  • step S50 parking-related processing is performed and the process proceeds to step S60.
  • This parking-related process will be described separately using the flowchart shown in FIG.
  • step S51 it is determined whether or not the destination has been reached.
  • step S51 it is determined whether or not the destination has been reached.
  • step S51 becomes YES and moves to step S53.
  • step S51 becomes NO and moves to step S52.
  • having parked other than the destination means having stopped at a point other than the destination.
  • step S52 the fact that the vehicle is in a stopped state is held as an internal state, and this flow is terminated, and the process proceeds to step S60 in FIG.
  • the stop state flag to ON, the fact that it is a stop state is held as an internal state.
  • the drop-in state flag is stored in a non-volatile memory included in the internal memory 111 and is retained even when the IG power supply is turned off.
  • step S53 the wide area communication processing unit F8 transmits the cooperative terminal information to the server 4 and proceeds to step S54.
  • step S54 trip information is transmitted to the server 4 and the process proceeds to step S55.
  • the elements as trip information are complete.
  • the element as trip information corresponds to the departure place, departure time, drop-in point, destination, arrival time, travel locus information, and the like.
  • the trip information is provided as described above, but is not limited thereto. The trip information only needs to include at least the destination and the travel locus.
  • step S54 the integrated memory information is transmitted to the server 4.
  • this flow is finished and the process proceeds to step S60 in FIG.
  • step S60 the IG power supply is turned off and the power supply of the vehicle-mounted device 1 is shut off.
  • vehicle equipment The power supply to the side control unit 11 and the wide area communication unit 21 is maintained.
  • power may be supplied to the in-vehicle device side control unit 11 and the wide area communication unit 21 by maintaining the IG power supply in an on state until the transmission process of the integrated memory information is completed.
  • you may maintain the electric power supply to the vehicle equipment side control part 11 and the wide area communication part 21 with a battery power supply.
  • the in-vehicle device 1 transmits information on the mobile terminal 3 that cooperates with the in-vehicle device 1 in a certain trip (that is, cooperation terminal information) and trip information of the trip to the server 4.
  • the in-vehicle device 1 also converts the mobile-side memory information generated by the cooperation terminal 3 during the trip and the integrated memory information that summarizes the in-vehicle device-side memory information generated by the in-vehicle device 1 into the trip information and the cooperation terminal information. Is transmitted to the server 4 so as to correspond.
  • the server 4 identifies the mobile terminal 3 that cooperates with the in-vehicle device 1 in the trip based on the cooperation terminal information received from the in-vehicle device 1. And the server 4 will distribute integrated memory information with respect to each of the portable terminal 3 which cooperated with the vehicle equipment 1 in the trip, if the integrated memory information is received from the vehicle equipment 1.
  • the portable terminal 3 linked with the vehicle-mounted device 1 means the portable terminal 3 owned by the member who accompanied the trip. That is, the server 4 distributes the integrated memory information in a certain trip to the mobile terminals 3 of the members accompanying the trip.
  • a known mobile terminal functions as the mobile terminal 3 of the system 100 for sharing memories when the above-described application is activated.
  • the application is not always activated on the portable terminal carried by the user.
  • the application may be activated after the start of traveling such as waiting for a signal.
  • the linked terminal acquisition process is performed from the departure until the arrival.
  • the user of the mobile terminal can operate the mobile terminal owned by the user at any time (starting up an application or the like) to link with the in-vehicle device 1.
  • the in-vehicle device 1 is configured to transmit the integrated memory information collected during the trip to the server 4 at the timing of arrival at the destination, but is not limited thereto.
  • the in-vehicle device 1 may be configured to sequentially transmit to the server 4 each time the in-vehicle device side memory information acquisition unit F6 and the memory information extraction unit F7 acquire memory information.
  • the server 4 is good also as a structure which collects the memory information in the said trip by collectively managing the memory information transmitted from the vehicle equipment 1 for every vehicle ID.
  • step S55 in FIG. 11 the time required for transmitting the memory information to the server 4 after arrival at the destination. That is, it is possible to shorten the time from the arrival at the destination until the power is turned off in step S60.
  • the memory information extraction unit F7 extracts the mobile-side memory information from the cooperation terminal 3 when returning from the stop-by state.
  • the memory information extraction process (FIG. 8, step S12) may be performed sequentially while traveling. According to such a configuration, the vehicle-mounted device 1 can also collect photographs and videos taken by the user other than the driver with the cooperation terminal 3 during traveling.
  • in-vehicle cameras such as the in-vehicle camera 12 and the in-vehicle camera 13 output video signals
  • the in-vehicle camera data storage processing unit F61 uses the video signals output from the in-vehicle camera as moving image files. Although it was set as the structure preserve
  • the in-vehicle camera data storage processing unit F61 may generate and store a still image (that is, a photograph) based on a video signal taken by the in-vehicle camera.
  • the in-vehicle camera data storage processing unit F61 may store the image data output from the in-vehicle camera.
  • the in-vehicle camera may switch and output a video signal and a still image based on a user operation.
  • the server 4 can browse the integrated memory information of the trip that the user has accompanied. Also good. According to such a configuration, the integrated memory situation can be browsed even by a computer other than the portable terminal 3 (for example, a home computer).
  • both the vehicle-mounted device 1 and the mobile terminal 3 have a function of acquiring memory information, but the present invention is not limited to this.
  • the function for acquiring the memory information may be provided in at least one of the in-vehicle device 1 and the portable terminal 3.
  • the vehicle-mounted device 1 includes the wide-area communication unit 21 and transmits various data to the server 4 via the wide-area communication unit 21, the present invention is not limited thereto.
  • various data may be transmitted to the server 4 via the wide area communication unit 38 included in one of the cooperation terminals 3.
  • the wide area communication unit 21 of the in-vehicle device 1 can be omitted.
  • the mobile terminal 3 provides the mobile-side memory information to the in-vehicle device 1 that is linked, and the in-vehicle device 1 aggregates the in-vehicle device-side memory information and the mobile-side memory information (that is, integrated memory information). As) to be transmitted to the server 4.
  • the mobile-side memory information may be transmitted directly from the mobile terminal 3 to the server 4 without going through the in-vehicle device 1.
  • a vehicle memory sharing system 100A includes an in-vehicle device 1, a portable terminal 3, and a server 4 as in the first embodiment, for example, as shown in FIG.
  • an in-vehicle device 1, a portable terminal 3, and a server 4 as in the first embodiment, for example, as shown in FIG.
  • members having the same functions as those shown in the drawings used in the description of the first embodiment are given the same reference numerals, and descriptions thereof are omitted. Further, when only a part of the configuration is described, the first embodiment described above can be applied to the other parts of the configuration.
  • the functions of the in-vehicle device 1, the mobile terminal 3, and the server 4 are the same as those in the first embodiment.
  • the in-vehicle device side control unit 11 does not need to include the memory information extraction unit F7.
  • FIG. 12 is a conceptual diagram for explaining the operation of the in-vehicle device 1, the cooperation terminal 3, and the server 4 during a trip.
  • the in-vehicle device 1 transmits trip information to the server 4 and, when the cooperation terminal specifying unit F5 acquires the mobile ID of the cooperation terminal 3, transmits information indicating the mobile ID to the server 4.
  • the transmission of such information is not limited to the timing of arrival at the destination, but may be performed at any time (for example, sequentially). Therefore, the server 4 sequentially acquires the mobile ID (that is, the linked terminal information) and the trip information of the mobile terminal 3 that is linked to the vehicle-mounted device 1 in this trip.
  • the in-vehicle device 1 sequentially transmits the in-vehicle device-side memory information acquired by the in-vehicle device-side memory information acquisition unit F6 to the server 4 in association with the vehicle ID of the in-vehicle device 1.
  • the cooperation terminal 3 sequentially transmits the mobile-side memory information acquired by the mobile-side memory information acquisition unit F36 to the server 4 in association with the mobile phone ID of the cooperation terminal 3. It is assumed that position information at the time when the mobile-side memory information is acquired is added to the mobile-side memory information.
  • the server 4 When the server 4 receives the in-vehicle device-side memory information or the mobile-side memory information, the memory 4 as the memory information for each trip is based on the vehicle ID and the mobile ID added to the received memory information as in the first embodiment. Centralize and manage.
  • FIG. 13 is a conceptual diagram for explaining the operations of the in-vehicle device 1, the cooperation terminal 3, and the server 4 when the host vehicle arrives at the destination.
  • the vehicle-mounted device 1 transmits a trip end notification indicating that the current trip has ended to the server 4.
  • the determination of whether or not the host vehicle has arrived at the destination may be performed in the same manner as in step S51 of the parking-related process shown in FIG.
  • the server 4 that has received the trip end notification from the in-vehicle device 1 groups the memory information acquired from the in-vehicle device 1 and the cooperation terminal 3 by that time as integrated memory information in the current trip. And based on the cooperation terminal information and vehicle ID which were received from the vehicle equipment 1 during the trip, the member who accompanied the trip is specified and the user information of each member and integrated memory information are matched. When the association process is completed, the integrated memory information or the browsing information of the integrated memory information is distributed to the mobile terminal 3 of each user.
  • On-vehicle device-side memory information is transmitted from the on-vehicle device 1 to the server 4, while portable-side memory information is transmitted directly to the server 4 from the portable terminal 3 that acquired the portable-side memory information. That is, each data that becomes memory information in the current trip is transmitted to the server 4 through a plurality of communication paths. Therefore, even when the size of the data indicating the memory information is large, the time required for transmitting the memory information to the server 4 can be shortened as compared with the configuration of the first embodiment.
  • Embodiment 3 the configuration in which the vehicle memory sharing system 100 includes the server 4 is illustrated, but the present invention is not limited thereto. That is, the vehicle memory sharing system may not include the server 4.
  • Such a configuration is referred to as Embodiment 3, and the operation of the vehicle memory sharing system 100B according to Embodiment 3 will be described with reference to FIG.
  • Embodiment 3 includes an in-vehicle device 1 and at least one mobile terminal 3 as shown in FIG.
  • members having the same functions as those shown in the drawings used in the description of the first embodiment are given the same reference numerals, and descriptions thereof are omitted. Further, when only a part of the configuration is described, the first embodiment described above can be applied to the other parts of the configuration.
  • the functions of the in-vehicle device 1 and the mobile terminal 3 are the same as those in the first embodiment.
  • the in-vehicle device side control unit 11 does not need to include the wide area communication processing unit F8.
  • the vehicle equipment 1 in Embodiment 3 is provided with the memory information collection part F9 as a functional block which collects memory information.
  • the memory information collecting unit F9 includes both the functions of the in-vehicle device side memory information acquiring unit F6 and the memory information extracting unit F7 described in the first embodiment. That is, the memory information collecting unit F9 collects memory information on the trip by collecting the in-vehicle device side memory information and extracting the mobile side memory information from the cooperation terminal 3.
  • the memory information collection unit F9 corresponds to an example of a memory acquisition unit.
  • the vehicle interior communication processing unit F4 distributes the integrated memory information to each linked terminal 3 at the timing when the host vehicle arrives at the destination, for example. Therefore, in Embodiment 3, the vehicle interior communication processing unit F4 corresponds to an example of a memory information distribution unit. Further, the narrow area communication processing unit F34 of the mobile terminal 3 receives the integrated memory information distributed from the in-vehicle device 1. That is, the narrow area communication processing unit F34 corresponds to an example of a memory information receiving unit.
  • each linked terminal 3 may be configured to deliver difference data obtained by subtracting the mobile-side memory information generated by the linked terminal 3 from the integrated memory information.
  • the timing at which the vehicle interior communication processing unit F4 delivers various memory information to the linkage terminal 3 is not limited to the timing at which the vehicle arrives at the destination.
  • the vehicle interior communication processing unit F4 may distribute the in-vehicle device side memory information to the cooperation terminal 3 every time the in-vehicle device side memory information acquisition unit F6 acquires the in-vehicle device side memory information.
  • the memory information collecting unit F9 has the functions of both the in-vehicle device side memory information acquiring unit F6 and the memory information extracting unit F7 described in the first embodiment. Not exclusively. It is good also as a structure provided with either one of the vehicle equipment side memory information acquisition part F6 and the memory information extraction part F7.
  • ⁇ Modification 1> In the vehicle memory sharing system 100 according to the first embodiment, when the in-vehicle device 1 extracts the mobile-side memory information from the mobile terminal 3 and transmits it to the server 4, the mobile terminal 3 performs the mobile-side memory information as in the second embodiment. It is good also as a structure which can implement by switching suitably the case where it transmits to the server 4 directly.
  • the memory information extraction unit F7 inquires whether there is memory information to be transmitted to the cooperation terminal 3, and obtains a response from the cooperation terminal 3 that there is memory information to be transmitted. The size of the data is also acquired at the same time. If the data size is equal to or greater than a predetermined threshold value, an instruction is given to directly or partially transmit the data from the portable terminal 3 to the server 4.
  • the mobile terminal 3 transmits part or all of the data to be transmitted to the in-vehicle device 1 directly to the server 4 in association with the mobile ID based on the instruction from the in-vehicle device 1.
  • an upper limit is set for the amount of data corresponding to the mobile-side memory information extracted from the mobile terminal 3. For example, data exceeding the upper limit is directly transmitted from the mobile terminal 3 to the server 4. To send to.
  • the mobile-side memory information can be transmitted to the server 4 more smoothly. More specifically, it is as follows. That is, the size of the data to be extracted in the memory information extraction process depends on the data size of the memory information generated by each user on the mobile terminal 3 at the stop-off point. Therefore, when a large amount of memory information is generated at the stop point, the amount of data to be extracted in the memory information extraction process also increases.
  • the in-vehicle device 1 transmits the data extracted from the cooperation terminal 3 sequentially or collectively to the server 4. When the size of the data extracted from the cooperation terminal 3 is large, the data is transmitted to the server 4. The time required for this also increases.
  • the portable terminal 3 directly transmits the mobile-side memory information to the server 4 and the case where the in-vehicle device 1 extracts the mobile-side memory information and transmits it to the server 4 can be used together.
  • the memory information can be transmitted to the server 4 more smoothly.
  • embodiment and composition concerning this indication are not limited to each embodiment and each composition mentioned above.
  • Embodiments and configurations obtained by appropriately combining technical elements disclosed in different embodiments and configurations are also included in the scope of the embodiments and configurations according to the present disclosure.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

 車両用思い出共有システム、車載機、及び思い出共有プログラムを提供する。車載機(1)が備える連携端末特定部(F5)が、ユーザによって車両内に持ち込まれ、当該車載機と連携する携帯端末(3)を特定する。また、車載機(1)又は携帯端末(3)が備える思い出情報取得部(F6、F36、F9)が、旅行中の思い出を表す思い出情報を取得する。そして、思い出情報配信部(F43、F4)が、思い出取得部が取得した思い出情報、又は、その思い出情報を閲覧するための閲覧用情報を、今回の旅行において車載機と連携した携帯端末に対して配信する。

Description

車両用思い出共有システム、車載機及び思い出共有プログラム 関連出願の相互参照
 本出願は、2014年6月3日に出願された日本国特許出願2014-115267号に基づくものであり、この開示をここに参照により援用する。
 本開示は、車両によって移動する過程において撮影された画像や映像を保存する技術に関する。
 特許文献1には、車両の外部に撮像面が向くように設置された車載カメラが走行中において撮影している映像のうち、所定の条件を満たした時点を基準として定まる一定時間分の映像を保存する装置が開示されている。例えば、特許文献1に記載の装置は、ドライバによって撮影指示操作が為された場合に、その時点を基準とする前後一定時間において車載カメラが撮影した映像を保存する。なお、特許文献1には、当該装置を交通事故の原因を解明するための運転記録(すなわちドライブレコーダ)として用いる例が記載されている。
特開2009-246503号公報
 特許文献1には開示されていないが、この特許文献1に記載の装置は、車両で旅行している時の思い出として、車外の景色を撮影した映像を保存するためにも利用できると考えられる。すなわち、ユーザは、所望のタイミングで撮影指示操作を実施することによって、その時点の前後の車載カメラが捉えていた景色の映像を保存させることができる。
 また、旅行中の思い出を残す手段としては、カメラ機能付きの携帯端末を利用する方法もある。これらの携帯端末のユーザは、旅行中の思い出として、当該携帯端末のカメラを用いて景色などの写真や動画を撮ることができる。
 ところで、友人など複数のメンバーで旅行した場合、それぞれのメンバーが所有するカメラ機能付きの携帯端末で撮影した写真や動画などのデータ(思い出情報とする)を、その旅行に行ったメンバーで共有したいといった需要がある。
 近年は、インターネット上でファイル保管用の記憶領域を貸し出す、いわゆるオンラインストレージサービスが普及しており、例えば各メンバーは、所定のオンラインストレージサーバに、各自が撮影した写真や動画などを保存することによって、メンバー内で思い出情報を共有することができる。もちろん、上述したような車載カメラが捉えていた景色の映像もまた、オンラインストレージサービスを利用すれば、メンバー間で共有することができる。
 しかしながら、この場合、旅行に同行したメンバーのうちの誰かが思い出情報の保存先とするオンラインストレージサーバを選定し、そのURLや、ファイルを保存するためのパスワードなどを他のメンバーに連絡する必要がある。また、各メンバーは、共有したい思い出情報を手動で選定し、そのオンラインストレージに保存するための操作を実施する必要があり、手間であった。
 本開示は、この事情に基づいて成されたものであり、その目的とするところは、より簡単に、旅行に一緒に行ったメンバー間で思い出情報を共有することができる車両用思い出共有システム、車載機、及び思い出共有プログラムを提供することにある。
 本開示の一例に係る車両用思い出共有システムは、ユーザに携帯される少なくとも1つの携帯端末と、車両に搭載された車載機と、を備える車両用思い出共有システムであって、車載機は、ユーザによって車両内に持ち込まれ、当該車載機と連携する携帯端末を特定する連携端末特定部を備え、車載機と携帯端末の少なくとも何れか一方は、車両での旅行中の思い出を表す思い出情報を取得する思い出情報取得部を備え、車両用思い出共有システムは、連携端末特定部によって特定された携帯端末に、思い出情報取得部が取得した思い出情報、又はその携帯端末のユーザが当該思い出情報を閲覧するための閲覧用情報を配信する思い出情報配信部と、を備える。
 以上の構成では、連携端末特定部が、ユーザによって車両内に持ち込まれ、当該車載機と連携する携帯端末を特定する。そして、思い出情報配信部が、思い出取得部が取得した思い出情報、又は、その思い出情報を閲覧するための閲覧用情報を、今回の旅行において車載機と連携した携帯端末に対して配信する。
 ここで、車載機1と連携した携帯端末とは、当該車両での旅行に同行したメンバーが所有する携帯端末であることを意味する。すなわち、思い出情報配信部は、旅行に同行したメンバーの携帯端末に、思い出情報又はその思い出情報の閲覧用情報を配信するものである。また、車載機と連携した携帯端末が複数存在する場合、思い出情報配信部は、車載機と連携したそれぞれの携帯端末に対して、思い出情報又はその思い出情報の閲覧用情報を配信する。
 したがって、以上の構成によれば、従来のように旅行に同行したメンバーの誰かが思い出情報の保存先とするオンラインストレージサーバを選定する必要もなく、また、そのURLや、ファイルを保存するためのパスワードなどを他のメンバーに連絡する必要もない。さらに、各メンバーが思い出情報をオンラインストレージに保存するための操作を実施する必要も生じない。
 したがって、以上の構成によれば、より簡単に、旅行に一緒に行ったメンバー間で思い出情報を共有することができる。
 本開示の一例に係る車載機は、ユーザに携帯される少なくとも1つの携帯端末を備える車両用思い出共有システムで用いられる車載機であって、当該車載機と連携する携帯端末を特定する連携端末特定部と、車両での旅行中の思い出を表す思い出情報を取得する思い出情報取得部と、思い出情報取得部で取得された思い出情報を、直接、又は、車両外部に設けられたサーバを介して、携帯端末に送信する思い出情報配信部と、を備える。
 本開示の一例に係る思い出共有プログラムは、コンピュータを、車両に搭載された車載機と連携する処理を実施する車載機連携処理部と、車両での旅行中の思い出を表す思い出情報を、車載機、又は車両の外部に設けられたサーバから受信する思い出情報受信部として機能させる。思い出共有プログラムは、非一時的な記憶媒体に記憶されて提供されるものであってもよいし、電気通信回線を介して提供されるものであってもよい。
 本開示についての上記および他の目的、特徴や利点は、添付の図面を参照した下記の詳細な説明から、より明確になる。添付図面において
図1は、実施形態1における車両用思い出共有システムの概略的な構成の一例を示すブロック図である。 図2は、車載機の概略的な構成の一例を示すブロック図である。 図3は、車載機側制御部の概略的な構成の一例を示すブロック図である。 図4は、携帯端末の概略的な構成の一例を示すブロック図である。 図5は、携帯側制御部の概略的な構成の一例を示すブロック図である。 図6は、サーバの概略的な構成の一例を示すブロック図である。 図7は、車載機側制御部が実施する車載機側処理について説明するためのフローチャートである。 図8は、出発関連処理について説明するためのフローチャートである。 図9は、連携端末取得処理について説明するためのフローチャートである。 図10は、車載機側思い出情報取得処理について説明するためのフローチャートである。 図11は、駐車関連処理について説明するためのフローチャートである。 図12は、実施形態2における車両用思い出共有システムの作動を説明するための図である。 図13は、実施形態2における車両用思い出共有システムの作動を説明するための図である。 図14は、実施形態3における車両用思い出共有システムの作動を説明するための図である。
 <実施形態>
 以下、第1の実施形態(実施形態1とする)について図を用いて説明する。図1は、本実施形態に係る車両用思い出共有システム100の概略的な構成の一例を示す図である。図1に示すように車両用思い出共有システム100は、車両に搭載されている車載機1、ユーザによって車両内に持ち込まれ、車載機1と相互通信を実施する少なくとも1つの携帯端末3、及び車両外部に設けられているサーバ4を備える。
 携帯端末3は、写真や動画を撮影するためのカメラ(携帯側カメラとする)を備えた周知のスマートフォンや、タブレット端末などを用いることができる。これらスマートフォンなどの通常の携帯端末は、車両用思い出共有システム100が備える携帯端末3として動作させるためのアプリケーションプログラム(以降、単にアプリケーション)がインストールされてあって、かつ、当該アプリケーションが実行されている状態において、本実施形態における携帯端末3として動作する。このアプリケーションが思い出共有プログラムの一例に相当する。
 この車両用思い出共有システム100の具体的な構成について説明する前に、その概要について述べる。当該車両用思い出共有システム100は、車両による旅行(トリップとする)の過程において、思い出として撮影された写真や動画などのデータ(思い出情報とする)を、そのトリップに同行したグループのメンバー間で共有するものである。
 なお、ここでのトリップとは、出発地を出発してから目的地に到着するまでの走行とする。もちろん、出発地を出発してから目的地に到着し、その出発地に帰着するまでの走行をトリップとしてもよい。トリップが旅行の一例に相当する。
 思い出情報は、各メンバーが携帯する携帯端末3で生成されるものもあれば、車載機1で生成されるものもある。携帯端末3で生成される思い出情報(携帯側思い出情報とする)とは、そのトリップ中においてユーザが携帯端末3を操作することによって携帯側カメラで撮影した写真や動画などが該当する。また、車載機1で生成される思い出情報(車載機側思い出情報とする)とは、そのトリップ中において、車両に備えられた車載カメラ(後述)で撮影された写真や動画などが該当する。
 車載機1は、車室内に持ち込まれた携帯端末3と通信接続を確立することで、その携帯端末3と連携し、携帯端末3で生成された携帯側思い出情報を収集する。そして、その取得した携帯側思い出情報と、車載機側思い出情報とをまとめた統合思い出情報をサーバ4に送信する。また、車載機1は、車載機1に連携した携帯端末3を示す連携端末情報をサーバ4に送信する。
 サーバ4は、車載機1から送信された連携端末情報に基づいて、そのトリップにおいて用いられた車載機1、及びその車載機1と連携した携帯端末3、ひいてはその携帯端末3のユーザを特定する。そして、サーバ4は、車載機1から統合思い出情報を受信すると、そのトリップにおいて車載機1に連携した携帯端末3に対して、統合思い出情報を配信する。以下、この車両用思い出共有システム100の具体的な構成について説明する。
 (車載機1の構成)
 車載機1は図2に示すように、車載機側制御部11、車内用カメラ12、車外用カメラ13、撮影スイッチ14、マイクロフォン(以降、マイク)15、音声認識装置16、車載機側記憶部17、外部入力インターフェース(以降、外部入力I/F)18、ナビゲーション装置19、オーディオ装置20、広域通信部21、及び車室内通信部22を備える。車載機側制御部11と、車内用カメラ12、車外用カメラ13、撮影スイッチ14、マイク15、音声認識装置16、車載機側記憶部17、外部入力I/F18、ナビゲーション装置19、オーディオ装置20、広域通信部21、及び車室内通信部22とは、それぞれ周知の車両内ネットワークによって相互通信可能に接続されている。以下では、この車載機1が搭載されている車両を自車両と称する。
 車内用カメラ12は、その撮影範囲が車室内の各シートを網羅するように、車室内に設置される。例えば、車内用カメラ12は上述の撮影範囲となるようにバックミラーに設置されればよい。本実施形態において車内用カメラ12は、映像信号を出力するものとするが、他の態様として静止画像(すなわち写真)を出力するものであってもよい。車内用カメラ12の映像信号は、車載機側制御部11に出力される。
 また、車内用カメラ12は、一例として、イグニッション電源がオンとなっている間において常時撮影を実施する構成とするが、これに限らない。他の態様として、後述の映像保存条件を満たした場合に、車載機側制御部11からの指示に基づいて撮影を実施する構成としてもよい。
 なお、車内用カメラ12は、前部座席を撮影するためのカメラと、後部座席を撮影するためのカメラなど、複数備えられていてもよい。車内用カメラ12としては、例えばCMOSカメラやCCDカメラ等の光学式カメラを用いることができる。
 車外用カメラ13は、例えば自車両の前方の所定範囲を撮影する前方カメラである。車外用カメラ13としての前方カメラは、バックミラーやフロントウィンドウ上部に設置されればよい。車外用カメラ13は、前方カメラに限らず、自車両の左側方の所定範囲を撮影する左側方カメラや、自車両の右側方の所定範囲を撮影する右側方カメラであってもよいし、自車両後方の所定範囲を撮影する後方カメラであってもよい。また、これらを組み合わせて備えていても良い。
 本実施形態において車外用カメラ13は、車内用カメラ12と同様に、イグニッション電源がオンとなっている間において常時撮影を実施するとともに、その映像信号を車載機側制御部11に出力するものとする。もちろん、車外用カメラ13は、他の態様として、後述の映像保存条件を満たした場合に、車載機側制御部11からの指示に基づいて撮影を実施し、その映像信号を車載機側制御部11に逐次出力する構成としてもよい。
 また、車外用カメラ13は、静止画を出力するものであってもよい。車外用カメラ13としては、例えばCMOSカメラやCCDカメラ等の光学式カメラを用いることができる。以降において、車内用カメラ12と車外用カメラ13とを区別しない場合には、単に車載カメラと称する。
 撮影スイッチ14は、車内用カメラ12や車外用カメラ13が撮影している映像を車載機側記憶部17に保存するように、ユーザ(例えば運転者)が車載機1に対して指示するためのスイッチである。撮影スイッチ14は、例えばステアリングコラムカバーの側面部やシフトレバーの近傍などユーザが操作しやすい位置に設けられている。
 この撮影スイッチ14は、車内用カメラ12、及び車外用カメラ13のそれぞれに対応する複数のスイッチを備え、ユーザは、押下した撮影スイッチ14に対応する車載カメラで撮影された映像を保存させることができる。撮影スイッチ14は、ユーザによって押下されると、ユーザによって押下されたスイッチに応じた制御信号を車載機側制御部11に出力する。なお、撮影スイッチ14は、いわゆるクリック方式のスイッチとする。
 マイク15は、例えば無指向性の小型マイクであり、ユーザが発話した音声や雑音などの周囲の音を集音し、電気的な音声信号に変換して、車載機側制御部11に出力する。マイク15は、例えばインストゥルメントパネルの車幅方向中央付近や車室内中央付近など、ユーザの音声を拾いやすい位置に設けられる。マイク15は複数備えられてあっても良い。マイク15が取得した音声信号は、車載機側制御部11の他、音声認識装置16にも供給される。
 音声認識装置16は、周知の音声認識処理に必要なデータを格納している音声認識データベース(図示略)に保存されている種々のデータを用いて、マイク15が取得した音声信号に対して、音声認識処理を実施する。音声認識データベースは、音声認識処理に必要なデータとして、例えば、人間の発声の小さな単位(音素)の音響特徴が記述されている音響モデル、音素の音響特徴と単語とを対応付ける認識辞書、及び、単語間の連接関係を表現する言語モデルを格納している。
 音声認識装置16は、ユーザの発話内容を解析し、例えば笑い声や歓声を検出する。そして、発話内容や、笑い声及び歓声の有無、声の大きさから、ユーザ達の会話の盛り上がりを検出する。例えば、声の大きさが一定の閾値以上となっている笑い声又は歓声を検出した場合に、ユーザ達が盛り上がっていると判定する。
 車載機側記憶部17は、書き換え可能な不揮発性の記憶媒体と、その記憶媒体に対してデータの読み出し及び書き出しを行う装置と、を備えている。車載機側記憶部17が備える記憶媒体としては、磁気ディスクや光学ディスク、及びフラッシュメモリなど周知の記憶媒体を用いることができる。本実施形態においては車載機側記憶部17が備える記憶媒体として、一例としてSDカード等の取り外し可能な記憶媒体を用いる構成とする。もちろん、記憶媒体として、DVD、CD、HDDなどを採用してもよい。また、複数種類の記憶媒体を組み合わせて備えていても良い。
 この車載機側記憶部17は、オーディオ装置20によって再生可能な複数の楽曲データや、ナビゲーション装置19が実施する種々の処理で用いられるデータ(地図データなど)が格納されている。なお、楽曲データには、曲目、アーティスト名、アルバム・シングルのタイトル、ジャンル名、演奏時間、発売年、トラック番号等のメタデータが付与されているものとする。その他、車載機側記憶部17は、後述する思い出情報取得関連処理で取得する種々の思い出情報を格納する。
 外部入力I/F18は、自車に搭載されたECUやセンサから、自車両の走行状態やボディ系の制御状態を示す情報(車両情報とする)を車載機側制御部11が取得するためのインターフェースである。例えば、外部入力I/F18には、所定の車両内ネットワークを介して自車両に搭載されたECUやセンサから車両情報が入力されてくるものとする。
 車両情報の一例としては、シフトポジションセンサの信号、パーキングブレーキスイッチのオンオフの信号、ドアカーテシスイッチのオンオフの信号、イグニッション(以下、IG)電源のオン/オフを切り替える電源スイッチ(図示略)の信号等がある。
 ナビゲーション装置19は、周知のナビゲーション装置と同様の機能を備えており、車載機側記憶部17に格納されている地図データと自車両の現在位置に基づいて、例えば、現在位置から目的地までの案内経路の走行を案内する経路案内処理を実施する。自車両の現在位置は、GNSS(Global Navigation Satellite System)で用いられる衛星からの電波を受信するGNSS受信機の受信信号や、加速度センサ、ジャイロセンサのセンサ値に基づいて、逐次(例えば100ミリ秒毎に)検出される。現在位置を示す位置情報は、例えば緯度と経度で表されれば良い。ナビゲーション装置19が検出した自車両の現在位置を示す位置情報は、車載機側制御部11に逐次出力される。
 また、ナビゲーション装置19においてユーザは、目的地の他、立ち寄り地点を登録することができ、ユーザによって立ち寄り地点が登録された場合、ナビゲーション装置19は、当該立ち寄り地点を通過するように目的地までの経路を算出し、案内経路に設定する。そして、ナビゲーション装置19は、出発地や、目的地、立ち寄り地点といった情報を、車載機側制御部11に出力する。出発地は、IG電源がオンとなった時点における地点であってもよいし、目的地を設定する操作が為された地点であってもよい。
 オーディオ装置20は、ユーザ操作に基づいて車載機側記憶部17に保存されている楽曲データを再生する。オーディオ装置20は、楽曲データを再生している場合、その再生している楽曲データに付加されているメタデータに示されている情報を、車載機側制御部11に出力する。
 広域通信部21は、送受信アンテナを備え、電話回線やインターネットなどの周知の通信ネットワークを介して、サーバ4と通信する。広域通信部21は、ここでは一例としてテレマティクス通信に用いられるDCM(Data Communication Module)といった車載通信モジュールによって実現されるものとする。広域通信部21は、受信信号を復調して車載機側制御部11に出力するとともに、車載機側制御部11から入力されたデータを変調して送信する。
 車室内通信部22は、車室内を無線通信エリアとする送受信アンテナを備え、車両内に持ち込まれている携帯端末3(より具体的には、狭域通信部39)と、周知の近距離無線通信によるデータの送受信を実施する。車室内通信部22と携帯端末3との間の通信は、周知の通信規格に準拠して実施されればよい。
 例えば車室内通信部22と携帯端末3との通信に用いる規格としては、IEEE802.11等の無線LAN規格や、Bluetooth(登録商標)等の近距離無線通信規格を採用することができる。本実施形態では、一例として、IEEE802.11等の無線LAN規格を採用し、車載機1に対して、複数の携帯端末3が同時にアクセスできる構成とする。
 なお、本実施形態では、車載機1と携帯端末3は、無線通信によってデータを送受信する構成とするが、他の態様として、USB通信等の有線通信によってデータを送受信する構成としてもよい。また、他の態様として車載機1は、広域通信部21によって携帯端末3と通信を実施してもよい。
 車載機側制御部11は、通常のコンピュータとして構成されており、周知のCPU、ROMやフラッシュメモリなどの不揮発性メモリ、RAMなどの揮発性メモリ、I/O、及びこれらの構成を接続するバスライン(何れも図示略)などを備えている。不揮発性メモリには、種々の処理を実行するためのプログラムやデータ、当該車載機1に設定されている固有の識別子である車両識別子(以降、車両ID)が格納されている。
 車載機側制御部11が備える内部メモリ111は、書き換え可能な記憶媒体であって、例えば車載機側制御部11が備えるフラッシュメモリなどによって実現される。また、内部メモリ111の一部はリングバッファ構造になっており、車内用カメラ12、及び車外用カメラ13のそれぞれから逐次入力される映像信号を所定の形式に変換(すなわち符号化)した映像データを、一時的に保持する。すなわち、車内用カメラ12、及び車外用カメラ13のそれぞれで撮影された映像は、この内部メモリ111で一定時間保持される。
 車両IDは、車両用思い出共有システム100で用いられる複数の車載機1を互いに区別するためのものである。すなわち、車両IDは当該車載機1を他の車載機と区別できるように設定されていればよく、例えば、車載機1の製造番号や、広域通信部のMACアドレスなどを用いることができる。また、車両IDは、ユーザによって設定されてもよい。車両用思い出共有システム100で用いられる複数の車載機1のそれぞれの車両IDは、サーバ4のユーザデータベース(以降、ユーザDB)に保存され、後述するユーザ情報とともに管理されている。
 車載機側制御部11は、機能ブロックとして図3に示すように、ナビゲーション情報取得部F1、オーディオ情報取得部F2、走行状態判定部F3、車室内通信処理部F4、連携端末特定部F5、車載機側思い出情報取得部F6、思い出情報抽出部F7、及び広域通信処理部F8を備える。
 ナビゲーション情報取得部F1は、ナビゲーション装置19に設定されている目的地や、立ち寄り地点、出発地の情報を取得するとともに、自車両の現在位置を逐次取得する。また、ナビゲーション情報取得部F1は、ナビゲーション装置19より逐次取得する自車両の位置情報を時系列に並べることで、自車両の走行軌跡を示す情報(走行軌跡情報とする)を生成する。
 なお、走行軌跡情報は、ナビゲーション装置19から取得してもよい。また、走行軌跡は、走行したリンクやノードの情報によって示されていても良い。ここでのノードとは、道路の接続関係を示す道路地図において、複数の道路が交差、合流、分岐する地点を意味し、リンクとは、そのノード間を結ぶ道路を意味する。
 概要で述べた通り、出発地を出発してから目的地に到着するまでの走行がトリップに相当する。以降では、出発地や出発時刻、目的地、目的地への到着時刻、立ち寄り地点、走行軌跡情報をトリップ情報と称する。
 なお、本実施形態における立ち寄り地点とは、ナビゲーション装置19に立ち寄り地点として登録されている地点だけではなく、目的地以外で駐車された地点を指すこととする。トリップ情報は、後述する思い出情報と対応づけて車載機側記憶部17に保存される。
 オーディオ情報取得部F2は、オーディオ装置20から、現在オーディオ装置20が再生している楽曲データのメタデータを取得する。
 走行状態判定部F3は、車両情報に基づいて、自車両が走行しているか否かなどの走行状態を判定する。例えば、走行状態判定部F3は、電源スイッチの信号に基づいて、IG電源をオン状態からオフ状態に遷移するためのユーザ操作を検出した場合に、駐車されたと判定する。
 もちろん、その他、シフトポジションセンサの信号に基づいて、シフトレバーが駐車ポジションに設定されたことを検出した場合に、自車両が駐車されたと判定してもよい。一方、IG電源をオン状態となった場合や、シフトポジションセンサの信号に基づいて、シフトレバーがドライブポジションなどの駆動力を駆動輪に伝達するポジションに設定された場合に、走行を開始したと判定すればよい。
 車室内通信処理部F4は、車室内通信部22の動作を制御し、車室内に持ち込まれている携帯端末3と通信を実施するための処理を行う。より具体的には、車室内通信部22に出力するデータを制御するとともに、車室内通信部22が受信したデータを取得して、他の機能ブロック(例えば連携端末特定部F5)に渡す。この車室内通信処理部F4が車載機側携帯端末通信処理部の一例に相当する。
 車室内通信処理部F4が取得するデータとしては、登録リクエストや、携帯端末3が備える携帯側思い出情報取得部F36が取得した思い出情報(すなわち携帯側思い出情報)などがある。ここでの登録リクエストとは、当該車載機1との通信接続を確立し、車載機1に連携する携帯端末として登録するように要求するデータである。当該登録リクエストは、その登録リクエストを送信した携帯端末3の携帯IDを含んでいる。
 携帯IDは、携帯端末固有のIDであって、車両用思い出共有システム100で用いられる複数の携帯端末3を互いに区別するために用いられる。携帯IDもまた、サーバ4のユーザDBにおいて、ユーザ情報とともに管理されている。
 連携端末特定部F5は、車室内通信処理部F4が受信した登録リクエストに含まれる携帯IDから、当該登録リクエストを送信した携帯端末3、すなわち、車載機1に連携する携帯端末3を特定する。ここで、当該トリップにおいて車載機1と連携した携帯端末3のユーザとは、当該トリップにおいて行動を共にしたグループのメンバーであることを意味する。すなわち、連携端末特定部F5は、今回のトリップの思い出情報を共有させるユーザを特定する役割を担っている。以降では、車載機1と連携している携帯端末3を連携端末3とも称する。連携端末3の携帯IDは、車載機側記憶部17に格納される。
 車載機側思い出情報取得部F6は、当該トリップにおける車載機側思い出情報を取得及び収集する。車載機側思い出情報取得部F6は、より細かい機能ブロックとして図3に示すように、車載カメラデータ保存処理部F61、及びオーディオ情報保存処理部F62を備える。なお、この車載機側思い出情報取得部F6が思い出情報取得部の一例に相当する。
 車載カメラデータ保存処理部F61は、所定の映像保存処理条件を満たしたか否かを判定する。そして、映像保存処理条件が満たされたと判定した場合、その満たされた映像保存処理条件に応じて定まる車載カメラによって撮影された映像を、1つの動画ファイルとして車載機側記憶部17に保存する。動画ファイルとして保存する映像は、その映像保存処理条件が満たされたと判定した時点を基準とする前後所定時間分の映像とすればよい。
 また、車内用カメラ12が撮影した映像を保存するか、車外用カメラが撮影した映像を保存するか、又は両方の車載カメラが撮影した映像を保存するかは、前述の通り、満たされた映像保存処理条件に応じて一意に定まる構成とすれば良い。
 例えば、車載カメラデータ保存処理部F61は、ユーザが撮影スイッチ14をオン操作した時点から一定時間、車内用カメラ12又は車外用カメラ13から入力される映像を動画ファイルとして車載機側記憶部17に格納する。保存する映像の取得元となる車載カメラは、ユーザによって押下された撮影スイッチ14に対応する車載カメラとする。すなわち、車外用カメラ13に対応する撮影スイッチ14が押下された場合には、車外用カメラ13によって撮影された映像を動画ファイルとして保存する。
 また、車載カメラデータ保存処理部F61は、音声認識装置16がユーザの盛り上がりを検出した場合、その検出時点を基準とする前後所定時間において車内用カメラ12が撮影した映像を車載機側記憶部17に保存する。例えば、盛り上がりが検出された時点の1分前から4分後までの合計5分間の映像を1つの動画ファイルとして保存すればよい。
 なお、車載カメラデータ保存処理部F61は、車載カメラが撮影した映像のほか、マイク15が取得した音声も含む動画ファイルを生成するものとする。また、動画ファイルは、その動画ファイルが生成された地点の位置情報や、時刻などの情報が付加されて車載機側記憶部17に保存される。
 オーディオ情報保存処理部F62は、オーディオ情報取得部F2が取得した楽曲データ毎のメタデータ(楽曲名など)を、その楽曲が再生され始めた地点の位置情報や、時刻と対応付けて車載機側記憶部17に保存する。
 思い出情報抽出部F7は、連携端末3に対して、車載機1に送信するべき思い出情報が存在するかを問い合わせる。そして、連携端末3から車載機1に送信するべき思い出情報が存在する旨の応答を得た場合には、当該携帯側記憶部37から、該当する思い出情報を抽出する。ここでの抽出とは、携帯側記憶部37に保存されている携帯側思い出情報を、車室内通信部22が実施する通信を介して取得することを意味する。
 広域通信処理部F8は、広域通信部21の動作を制御し、サーバ4と通信を実施するための処理を行う。より具体的には、広域通信部21に出力するデータを制御するとともに、広域通信部21が受信したデータを取得する。
 車載機1がサーバ4に送信する情報としては、トリップ情報や、当該トリップにおいて車載機1と連携した携帯端末3の情報(すなわち連携端末情報)、車載機側思い出情報と携帯側思い出情報とをまとめた統合思い出情報などがある。また、広域通信処理部F8は、その他、車載機1とサーバ4との通信を確立するための制御データを送受信する。この広域通信処理部F8が車載機側サーバ通信処理部の一例に相当する。
 なお、広域通信処理部F8は、サーバ4に送信するデータのヘッダなどに当該車載機1の車両ID、又は車両IDを特定するための情報を付加して送信させる。この車両IDによってサーバ4は、受信データの送信元となる車載機1を特定できる。すなわち、車載機1、その車載機1の連携端末3、トリップ情報、及び統合思い出情報をそれぞれ対応付けて管理することができる。
 (携帯端末3の構成)
 次に、携帯端末3の概略的な構成について説明する。携帯端末3は、図4に示すように携帯側制御部31、ディスプレイ32、タッチパネル33、マイク34、携帯側カメラ35、GNSS受信機36、携帯側記憶部37、広域通信部38、及び狭域通信部39を備える。なお、ここでは、便宜上、一般的なスマートフォンなどの携帯端末が有している機能に関する構成のうち、本実施形態の説明に不要なものについては、その説明を省略している。携帯側制御部31と、ディスプレイ32、タッチパネル33、マイク34、携帯側カメラ35、GNSS受信機36、携帯側記憶部37、広域通信部38、及び狭域通信部39とは、それぞれ相互通信可能に接続されている。
 ディスプレイ32は、携帯側制御部31からの入力に基づいてテキストや画像を表示する。ディスプレイ32は、例えばフルカラー表示が可能なものであって、液晶ディスプレイ、有機ELディスプレイ等を用いて構成することができる。タッチパネル33は、ディスプレイ32と一体になった静電容量式のタッチパネルとする。ユーザは、このタッチパネルをタッチ操作することにより携帯側制御部31に各種機能の実行指示を行う。もちろん、携帯端末3は、ユーザの操作を受け付けるインターフェースとしてタッチパネル33に代わって、メカニカルなスイッチ等を備えていてもよい。
 マイク34は、例えば無指向性の小型マイクであり、ユーザが発話した音声や雑音などの周囲の音を集音し、電気的な音声信号に変換して、携帯側制御部31に出力する。携帯側カメラ35は、CMOSカメラなどの光学カメラである。携帯側カメラ35は、ユーザ操作に基づいて写真や動画を撮影し、そのデータを携帯側制御部31に出力する。なお、携帯側カメラ35が撮影する動画は、マイク34が取得した音声も含むこととする。
 GNSS受信機36は、GNSS衛星からの電波に基づいて自機の現在位置を検出する。GNSS受信機36は、逐次(例えば100ミリ秒毎に)現在位置を検出し、その現在位置を示す位置情報を携帯側制御部31に逐次出力する。
 携帯側記憶部37は、書き換え可能な不揮発性の記憶媒体と、その記憶媒体に対してデータの読み出し及び書き出しを行う装置と、を備えている。携帯側記憶部37が備える記憶媒体としては、フラッシュメモリなど周知の記憶媒体を用いることができる。本実施形態においては、携帯側記憶部37が備える記憶媒体は、一例としてSDカードとする。
 広域通信部38は、送受信アンテナを備え、周知の通信ネットワークを介して、サーバ4と通信する。広域通信部38は、ここでは一例として、公知の第3世代移動体通信システムで用いられる通信モジュールによって実現されるものとする。広域通信部38は、受信信号を復調して携帯側制御部31に出力するとともに、携帯側制御部31から入力されたデータを変調して送信する。
 狭域通信部39は、送受信アンテナを備え、車載機1と、周知の近距離無線通信によるデータの送受信を実施する。狭域通信部39は、受信信号を復調して携帯側制御部31に出力するとともに、携帯側制御部31から入力されたデータを変調して送信する。
 携帯側制御部31は、車載機側制御部11と同様、コンピュータとして構成されており、周知のCPU、ROMやフラッシュメモリなどの不揮発性メモリ、RAMなどの揮発性メモリ、I/O、及びこれらの構成を接続するバスライン(図示略)などを備えている。不揮発性メモリには、前述のアプリケーションなど、種々の処理を実行するためのプログラムの他、当該携帯端末3に設定されている携帯IDが記憶されている。
 携帯側制御部31は、機能ブロックとして図5に示すように、操作受付部F31、表示処理部F32、位置情報取得部F33、狭域通信処理部F34、車載機連携処理部F35、携帯側思い出情報取得部F36、及び広域通信処理部F37を備えている。
 操作受付部F31は、タッチパネル33から入力される信号に基づいて、ユーザがタッチパネル33に対して為した操作に対応する処理(携帯側カメラ35での撮影操作など)を受け付ける。操作受付部F31が受け付けた処理は、キューに蓄積され、逐次実施されていく。
 表示処理部F32は、ディスプレイ32に表示させる画像を生成し、当該画像をディスプレイ32に出力して表示させる。すなわち、表示処理部F32は、ディスプレイ32の表示画面を制御する。位置情報取得部F33は、GNSS受信機36から、現在位置を示す位置情報を取得する。狭域通信処理部F34は、狭域通信部39の動作を制御し、車載機1と通信を実施するための処理を行う。より具体的には、狭域通信部39に出力するデータを制御するとともに、狭域通信部39が受信したデータを取得する。車載機1に送信するデータは、次に述べる車載機連携処理部F35から取得する。この狭域通信処理部F34が携帯側車載機通信処理部の一例に相当する。
 車載機連携処理部F35は、狭域通信処理部F34を介して、車載機1と当該携帯端末3が連携するための処理を実施するとともに、車載機1と連携している状態においては車載機1と種々のデータを送受信する。例えば車載機連携処理部F35は、当該携帯端末3がまだ車載機1と連携していない状態である場合には、登録リクエストを生成して、狭域通信処理部F34に渡す。狭域通信処理部F34は、車載機連携処理部F35から登録リクエストが入力されると、狭域通信部39を介して車載機1に送信する。
 また、当該携帯端末3が車載機1と連携している状態においては、車載機1から送信されてきた信号に対する応答信号を生成して狭域通信処理部F34に返送させる。車載機1から受信する信号としては、例えば、送信すべき携帯側思い出情報が存在するか否かを問い合わせる信号などがある。送信すべき携帯側思い出情報が存在する場合には、その携帯側思い出情報を車載機1に送信する。
 携帯側思い出情報取得部F36は、携帯端末3において当該トリップにおける携帯側思い出情報を取得する。この携帯側思い出情報取得部F36が思い出情報取得部の一例に相当する。携帯側思い出情報取得部F36が取得する携帯側思い出情報とは、携帯側カメラ35で撮影された写真や動画のデータである。携帯側カメラ35で撮影された写真や動画のデータは、そのデータが生成された時点の時刻情報や、位置情報取得部F33が取得している位置情報が付加されて、携帯側思い出情報として携帯側記憶部37に格納される。
 なお、携帯側思い出情報取得部F36は、携帯側思い出情報として携帯側記憶部37に格納されている種々のデータを、既に車載機1に送信したデータと、未だ送信していないデータとで区別して管理する。未だ車載機1に送信していないデータが、前述の車載機1に送信すべき思い出情報に相当する。
 広域通信処理部F37は、広域通信部38の動作を制御し、サーバ4と通信を実施するための処理を行う。より具体的には、広域通信部38に出力するデータを制御するとともに、広域通信部38が受信したデータを取得する。例えば広域通信処理部F37は、広域通信部38を介してサーバ4から統合思い出情報を取得する。この広域通信処理部F37が携帯側サーバ通信処理部又は思い出情報受信部の一例に相当する。
 なお、広域通信処理部F37は、統合思い出情報を受信した場合、携帯側記憶部37に格納する。また、本実施形態では、広域通信処理部F37は、統合思い出情報のデータ本体を受信する構成とするが、これに限らない。他の態様として、サーバ4において統合思い出情報が保存されている場所にアクセスし、当該思い出情報を閲覧するための情報(閲覧用情報とする)を取得してもよい。ここでの閲覧用情報とは、ネットワーク上において当該統合思い出情報が保存されている場所を指し示すURL(Uniform Resource Locator)などが該当する。
 このような構成によれば、ユーザは、所望のタイミングで閲覧用情報を用いてサーバ4にアクセスし、今回のトリップの統合思い出情報を閲覧することができる。なお、統合思い出情報を閲覧できる場合には、ユーザは閲覧するだけでなく、その電子データをダウンロードできるものとする。
 また、サーバ4から思い出情報に相当するデータを受信する場合であっても、統合思い出情報全体に相当するデータではなく、統合思い出情報から自端末が提供した携帯側思い出情報を差し引いた差分データを受信する構成としてもよい。すなわち、車載機1と、車載機1に連携する他の携帯端末3で生成された思い出情報を、サーバ4から受信する構成としてもよい。このような構成によれば、統合思い出情報全体に対応するデータを受信する構成に比べて、通信量を抑制することができる。
 なお、携帯側記憶部37に格納されている統合思い出情報は、ユーザ操作に基づいてディスプレイ32に表示される。
 (サーバ4の構成)
 サーバ4は、車両外部に設けられてあって、インターネットなどの通信ネットワークに接続されているコンピュータである。サーバ4は、車載機1から送信された統合思い出情報を受信するとともに、その統合思い出情報を連携端末3に対して配信する。なお、サーバ4は、ネットワーク上の複数のコンピュータによって実現される、いわゆるクラウドサーバであってもよい。
 サーバ4は、図6に示すようにサーバ側制御部41、広域通信部42、及びユーザDB43を備える。サーバ側制御部41と、広域通信部42、及びユーザDB43とはそれぞれ相互通信可能に接続されている。広域通信部42は、通信ネットワークを介して、車載機1及び携帯端末3のそれぞれと無線通信を実施する。すなわち、広域通信部42は、車載機1又は携帯端末3から受信した信号を復調してサーバ側制御部41に出力するとともに、サーバ側制御部41から入力されたデータを変調して車載機1又は連携端末3に送信する。
 ユーザDB43は、不揮発性の書き換え可能な記憶媒体を用いて実現される記憶装置であって、車両用思い出共有システム100を利用するユーザ毎のユーザ情報や、車載機1から送信されてきた統合思い出情報を記憶する。このユーザDB43がサーバ側記憶部の一例に相当する。ユーザ毎のユーザ情報は、そのユーザを他のユーザと区別するための識別情報(ユーザIDとする)に加えて、当該ユーザが所有する車両の車両ID、及び携帯端末3の携帯IDの少なくとも何れか一方を含んでいる。
 なお、ユーザIDは、ユーザが当該車両用思い出共有システム100を利用する旨の登録をする際に手動又は自動で設定されればよく、本実施形態では、ユーザが所有する携帯端末3の携帯ID、又は、車両IDに基づいて自動的に設定されるものとする。もちろん、ユーザIDは、ユーザによって任意に設定可能なものであってもよい。
 サーバ側制御部41は、通常のコンピュータとして構成されており、周知のCPU、ROMやフラッシュメモリなどの不揮発性メモリ、RAMなどの揮発性メモリ、I/O、及びこれらの構成を接続するバスライン(図示略)などを備えている。サーバ側制御部41は、不揮発性メモリに格納されているプログラムに基づいて種々の処理を実施する。
 より具体的にはサーバ側制御部41は、機能ブロックとして、受信処理部F41、データ管理部F42、及び送信処理部F43を備えている。受信処理部F41は、車載機1及び携帯端末3から送信された信号を、広域通信部42を介して取得する。すなわち、受信処理部F41は、連携端末情報や、統合思い出情報、トリップ情報などを車載機1から受信する。前述の通り、車載機1がサーバ4に送信する情報には、何れも当該車載機1の車両ID又は車両IDを特定するための情報が含まれている。この受信処理部F41がサーバ側受信処理部の一例に相当する。
 データ管理部F42は、車載機1から受信した連携端末情報や、統合思い出情報、トリップ情報を、その車載機1に設定されている車両IDに対応付けて保存する。より具体的異は、連携端末情報に基づいて、今回のトリップにおいて車載機1と連携している携帯端末及び車載機1、ひいてはそれぞれに対応するユーザを1つのグループとして管理する。そして、当該グループに属する車載機1から受信した統合思い出情報及びトリップ情報を当該グループと対応付けて保存する。
 すなわち、データ管理部F42は、トリップ毎に、統合思い出情報、トリップ情報、及びそのトリップに同行したメンバーを管理する。このデータ管理部F42がサーバ側思い出情報管理部の一例に相当する。
 送信処理部F43は、広域通信部42を介して、連携端末3へ統合思い出情報を配信する。なお、送信処理部F43は他の態様として、閲覧用情報を連携端末3へ配信してもよい。この送信処理部F43が思い出情報配信部及びサーバ側送信処理部の一例に相当する。
 (車載機側処理)
 以降では、トリップ中において車載機側制御部11が実施する処理(車載機側処理とする)について、図7に示すフローチャートを用いて説明する。図7のフローチャートは、一例としてIG電源がオンとなった場合に開始されることとする。
 まず、ステップS10では、出発関連処理を実施してステップS20に移る。この出発関連処理については、別途、図8に示すフローチャートを用いて説明する。
 図8のフローチャートは、図7のステップS10に移った時に実行される。ステップS11では、今回のIG電源をオンとするユーザ操作が、立ち寄り状態から復帰した場合の操作であるか否かを判定する。ここでの立ち寄り状態とは、ユーザが目的地以外の地点(すなわち立ち寄り地点)に立ち寄っている状態を意味する。つまり、立ち寄り状態からの復帰とは、ユーザが立ち寄り地点での用事を済ませ、車両での移動を再開したことを意味する。立ち寄り状態からの復帰であるか否かは、後述する駐車関連処理時に設定される立ち寄り状態フラグに基づいて判定する。立ち寄り状態フラグは、目的地以外の地点で駐車された場合にオンに設定され、目的地で駐車された場合にはオフに設定されるものである。なお、立ち寄り状態フラグは、内部メモリ111に保存され、IG電源がオフとなっている間もその設定値は保持される。
 そして、今回のIG電源をオンとするユーザ操作が、立ち寄り状態から復帰した場合の操作である場合、すなわち立ち寄り状態フラグがオンとなっている場合には、ステップS11がYESとなってステップS12に移る。一方、今回のIG電源をオンとするユーザ操作が、立ち寄り状態から復帰した場合の操作ではない場合、すなわち立ち寄り状態フラグがオフとなっている場合には、ステップS11がNOとなってステップS14に移る。
 ステップS12では、思い出情報抽出部F7が思い出情報抽出処理を実施してステップS13に移る。より具体的には、思い出情報抽出部F7が連携端末3に対して、車載機1に送信するべき携帯側思い出情報が存在するかを問い合わせる。そして、連携端末3が車載機1に送信するべき携帯側思い出情報を備えている場合には、当該携帯側記憶部37から、該当する携帯側思い出情報を抽出する。なお、この思い出情報抽出処理は、全ての連携端末3に対して順に実施する。すなわち、この思い出情報抽出処理を実施することによって、この立ち寄り地点に滞在している間においてユーザが撮影した写真や動画などの携帯側思い出情報を、車載機1に集約させる。
 ステップS13では、各連携端末3から取得した携帯側思い出情報を、立ち寄り地点での思い出情報として、1つのグループにまとめて車載機側記憶部17に保存する。例えば、各連携端末3から取得した携帯側思い出情報は、立ち寄り地点の地点名称でタグ付けされることでグループ化されても良いし、専用のフォルダにまとめて保存されても良い。立ち寄り地点での思い出情報は、その立ち寄り地点の位置情報や時刻などの情報が付加されて保存される。このステップS13での処理が完了すると、出発関連処理を終了し、図7のステップS20に移る。
 ステップS14では、ナビゲーション装置19から、出発地や出発時刻、目的地などのトリップ情報を取得し、図7のステップS20に移る。なお、走行軌跡や立ち寄り地点、到着時刻など、出発時点において取得できていないトリップ情報については、以降の走行中において随時取得していけば良い。
 ステップS20では、連携端末取得処理を実施してステップS30に移る。この連携端末取得処理については、別途、図9に示すフローチャートを用いて説明する。
 図9のフローチャートは、図7のステップS20に移った時に実行される。ステップS21では、登録リクエストを受信しているか否かを判定する。ここで、登録リクエストを受信している場合には、ステップS21がYESとなってステップS22に移る。一方、登録リスエストを受信していない場合には、ステップS21がNOとなって本フローを終了し、図7に示すフローチャートのステップS30に移る。
 ステップS22では、登録リクエストに含まれる携帯IDから、当該登録リクエストを送信した携帯端末3、すなわち、車載機1に連携する携帯端末3を特定する。そして、連携端末3の携帯IDを、トリップ情報と対応付けて車載機側記憶部17に格納する。このステップS22での処理が完了すると、本フローを終了し、図7のステップS30に移る。
 ステップS30では、車載機側思い出情報取得処理を実施してステップS40に移る。この車載機側思い出情報取得処理については、別途、図10に示すフローチャートを用いて説明する。
 図10のフローチャートは、図7のステップS30に移った時に実行される。ステップS31では、車載カメラデータ保存処理部F61が、音声認識装置16によってユーザの盛り上がりが検出されているか否かを判定する。音声認識装置16によってユーザの盛り上がりが検出されている場合には、ステップS31がYESとなってステップS32に移る。一方、音声認識装置16によってユーザの盛り上がりが検出されていない場合にはステップS31がNOとなってステップS33に移る。
 ステップS32では、車載カメラデータ保存処理部F61が、盛り上がりが検出された時点の1分前から4分後までにおいて車内用カメラ12で撮影された映像を1つの動画ファイルとして、位置情報と対応付けて保存する。もちろん、ここで保存される動画の録画時間の長さは適宜設定されれば良い。このステップS32での保存処理が開始されると、ステップS33に移る。このステップS34で開始された保存処理は、盛り上がりが検出された時点から所定時間(ここでは、4分)経過したタイミングで自動的に終了することとする。
 なお、本実施形態では、音声認識装置16が音声認識処理の結果に基づいてユーザ達の盛り上がりを検出する構成とするが、これに限らない。他の態様として車内用カメラ12が撮影している映像信号に対して、周知の画像認識処理を実施することで盛り上がりを検出してもよい。例えば、車内用カメラ12が撮影している映像に対して画像認識処理を施すことによってユーザ達の笑顔を検出した時に、ユーザ達が盛り上がっていると判定してもよい。また、上述したような音声認識処理と画像認識処理を組み合わせて、ユーザ達の盛り上がりを検出してもよい。
 また、音声認識処理の結果、盛り上がりを検出するとともに、ユーザの発話内容の中に、海や川、山、景色、綺麗といった、予め設定された景色を連想させる単語が含まれている場合には、車外用カメラ13が撮影した映像を保存する構成としてもよい。
 ステップS33では、車載カメラデータ保存処理部F61が、ユーザによって撮影スイッチ14が押下されたか否かを判定する。ユーザによって撮影スイッチ14が押下されている場合には、ステップS33がYESとなってステップS34に移る。一方、ユーザによって撮影スイッチ14が押下されている場合には、ステップS33がNOとなってステップS35に移る。
 ステップS34では、車載カメラデータ保存処理部F61が、ユーザが撮影スイッチ14をオン操作した時点から一定時間、車内用カメラ12又は車外用カメラ13から入力される映像信号を車載機側記憶部17に格納する。保存する映像の取得元となる車載カメラは、前述の通り、ユーザによって押下された撮影スイッチ14に対応する車載カメラとする。
 例えばユーザによって車外用カメラ13に対応する撮影スイッチ14が押下された場合には、車外用カメラ13によって撮影された映像を動画ファイルとして保存する。なお、車外用カメラ13として前方カメラや、左側方カメラ、右側方カメラなど、複数備えられてあって、かつ、それぞれの車外用カメラ13に対応するスイッチを撮影スイッチ14が備えている場合には、車外用カメラの13の中でも、ユーザによって押下されたスイッチに対応する車外用カメラ13(例えば左側方カメラ)で撮影された映像を動画ファイルとして保存する。
 なお、本実施形態では、ユーザによる撮影指示を受け付けるための構成を、メカニカルな撮影スイッチ14としたがこれに限らない。音声認識装置16に、車載カメラが撮影する映像を保存するように指示する音声コマンドを登録しておき、当該音声コマンドを発話することによって撮影指示を実施してもよい。すなわち、撮影スイッチ14に代わって、音声認識装置16を用いてもよい。
 このステップS34での保存処理が開始されると、ステップS35に移る。なお、このステップS34で開始された保存処理は、撮影スイッチ14が押下された時点から一定時間経過したタイミングで自動的に終了することとする。
 ステップS35では、オーディオ情報保存処理部F62が、オーディオ情報取得部F2が取得しているオーディオ情報を位置情報と対応付けて保存し、図7に示すフローチャートのステップS40に移る。
 ステップS40では、走行状態判定部F3が、自車両が駐車されたか否かを判定する。自車両が駐車されたと判定した場合には、ステップS40がYESとなってステップS50に移る。一方、自車両が駐車されたと判定していない場合には、ステップS40がNOとなってステップS20に移る。すなわち、自車両が出発してから駐車されたと判定するまで、ステップS20からステップS40を繰り返す。
 ステップS50では、駐車関連処理を実施してステップS60に移る。この駐車関連処理については、別途、図11に示すフローチャートを用いて説明する。
 図11のフローチャートは、図7のステップS50に移った時に実行される。ステップS51では、目的地に到着したか否かを判定する。ここでは、現在位置と目的地とが完全に一致している場合に限らず、現在位置が目的地の所定範囲内(例えば500m以内)である場合にも、目的地に到着したと判定する。そして、目的地に到着している場合には、ステップS51がYESとなってステップS53に移る。一方、目的地に到着していない場合にはステップS51がNOとなってステップS52に移る。なお、目的地以外で駐車したということは、目的地以外に地点に立ち寄っていることを意味する。
 ステップS52では、立ち寄り状態である旨を内部状態として保持して本フローを終了し、図7のステップS60に移る。本実施形態では、立ち寄り状態フラグをオンに設定することで立ち寄り状態である旨を内部状態として保持する。立ち寄り状態フラグは、内部メモリ111が備える不揮発性メモリに記憶され、IG電源がオフとなっていても保持される。
 ステップS53では、広域通信処理部F8が連携端末情報をサーバ4に送信してステップS54に移る。ステップS54では、トリップ情報をサーバ4に送信してステップS55に移る。なお、この時点においてトリップ情報としての要素は揃っているものとする。トリップ情報としての要素とは、前述の通り、出発地や、出発時刻、立ち寄り地点、目的地、到着時刻、走行軌跡情報などが該当する。本実施形態ではトリップ情報として、上述のものを備えることとするが、これに限らない。トリップ情報は、少なくとも目的地や走行軌跡を含んでいればよい。
 ステップS54では、統合思い出情報をサーバ4に送信する。送信処理が完了すると本フローを終了して図7のステップS60に移る。
 ステップS60では、IG電源をオフにし、車載機1の電源を遮断する。なお、走行状態判定部F3がIG電源をオフにするユーザ操作が為された場合に自車両が駐車されたと判定する構成であっても、ステップS54での送信処理が完了するまでは、車載機側制御部11及び広域通信部21への電力供給は維持されることとする。例えば、統合思い出情報の送信処理が完了するまでIG電源をオン状態で維持することによって、車載機側制御部11及び広域通信部21に電力を供給すればよい。また、バッテリー電源によって車載機側制御部11及び広域通信部21への電力供給を維持してもよい。ステップS60で電源の遮断が完了すると、本フローを終了する。
 (実施形態1のまとめ)
 以上の構成では、車載機1は、あるトリップにおいて当該車載機1と連携した携帯端末3の情報(すなわち連携端末情報)や、そのトリップのトリップ情報をサーバ4に送信する。また、車載機1は、そのトリップ中において連携端末3で生成された携帯側思い出情報や、車載機1で生成された車載機側思い出情報をまとめた統合思い出情報を、トリップ情報や連携端末情報と対応づくように、サーバ4に送信する。
 サーバ4は、車載機1から受信した連携端末情報に基づいて、当該トリップにおいて車載機1と連携した携帯端末3を特定する。そして、サーバ4は、車載機1から統合思い出情報を受信すると、そのトリップにおいて車載機1に連携した携帯端末3のそれぞれに対して、統合思い出情報を配信する。
 ここで、車載機1と連携した携帯端末3とは、当該トリップに同行したメンバーが所有する携帯端末3であることを意味する。すなわち、サーバ4は、あるトリップにおける統合思い出情報を、そのトリップに同行したメンバーの携帯端末3に配信するものである。
 すなわち、以上の構成によれば、従来のようにトリップに同行したメンバーの誰かが思い出情報の保存先とするオンラインストレージサーバを選定する必要もなく、また、そのURLや、ファイルを保存するためのパスワード等を他のメンバーに連絡する必要もない。さらに、各メンバーが思い出情報をオンラインストレージに保存するための操作を実施する必要も生じない。
 したがって、以上の構成によれば、より簡単に、旅行に一緒に行ったメンバー間で思い出情報を共有することができる。
 なお、本実施形態では、走行中において連携端末取得処理を逐次実行する構成としたこれは、次のような状況を考慮したためである。すなわち、周知の携帯端末は、前述のアプリケーションが起動している場合において、当該思い出共有しシステム100の携帯端末3として機能する。しかしながら、ユーザが乗車した時に、そのユーザが携帯している携帯端末において当該アプリケーションがいつも起動されているとは限らない。そして、信号待ち中などの走行開始後に当該アプリケーションを起動することもあり得る。
 そこで、本実施形態では、出発してから到着するまでの間、連携端末取得処理を実施する構成としている。これによって、携帯端末のユーザは随時、自身が所有する携帯端末を操作(アプリケーションの起動など)して、車載機1と連携させることができる。
 以上、実施形態1を説明したが、実施形態は上述の実施形態に限定されるものではなく、次に述べる変形例のように変形してもよい。さらに、下記以外にも要旨を逸脱しない範囲内で種々変更してもよい。
 例えば、上述した実施形態1では、車載機1は、トリップ中に収集した統合思い出情報を、目的地に到着したタイミングでサーバ4に送信する構成としたが、これに限らない。車載機1は、車載機側思い出情報取得部F6及び思い出情報抽出部F7が思い出情報を取得する度に、逐次サーバ4に送信する構成としてもよい。そして、サーバ4は、車載機1から送信されてくる思い出情報を車両ID毎にまとめて管理することで、当該トリップにおける思い出情報を集約する構成としてもよい。
 このような構成では、自車両が目的地に到着するまでに、今回のトリップにおける思い出情報の一部又は全部をサーバ4に送信しておくことができる。これによって、目的地に到着後において思い出情報をサーバ4に送信するために要する時間(図11 ステップS55)を短縮又は省略することができる。すなわち、目的地に到着してから、ステップS60において電源を遮断するまでの時間を短縮することができる。
 また、上述した実施形態1では、立ち寄り状態から復帰した時に、思い出情報抽出部F7が連携端末3から携帯側思い出情報を抽出する構成としたが、これに限らない。思い出情報抽出処理(図8 ステップS12)は、走行中において逐次実施してもよい。このような構成によれば、走行中において、ドライバ以外のユーザが、連携端末3で撮影した写真や映像も車載機1が収集することができる。
 さらに、上述した実施形態1では、車内用カメラ12や車外用カメラ13といった車載カメラは映像信号を出力するものとし、車載カメラデータ保存処理部F61は、車載カメラが出力する映像信号を動画ファイルとして保存する構成としたが、これに限らない。
 車載カメラデータ保存処理部F61は、車載カメラが撮影している映像信号に基づいて静止画像(すなわち写真)を生成して保存する構成としてもよい。また、車載カメラが静止画像のデータを出力するものである場合には、車載カメラデータ保存処理部F61は、車載カメラが出力した画像データを保存すればよい。なお、車載カメラは、ユーザ操作に基づいて映像信号と静止画像とを切り替えて出力するものであってもよい。
 また、サーバ4は、当該サーバ4が提供するサービス(思い出共有サービスとする)を享受するためのwebサイトにユーザがログインした場合に、そのユーザが同行したトリップの統合思い出情報を閲覧できる構成としてもよい。このような構成によれば、携帯端末3以外のコンピュータ(例えば自宅用のコンピュータ)でも統合思い出状況を閲覧することができるようになる。
 また、以上では、車載機1及び携帯端末3の両方が、思い出情報を取得する機能を備える構成としたが、これに限らない。思い出情報を取得する機能は、車載機1及び携帯端末3の少なくとも何れか一方に備えられていれば良い。
 さらに、車載機1が広域通信部21を備え、この広域通信部21を介して種々のデータをサーバ4に送信する構成としたが、これに限らない。広域通信部21の代わりに、連携端末3の1つが備える広域通信部38を介してサーバ4に種々のデータを送信する構成としてもよい。そのような構成の場合、車載機1の広域通信部21は省略することができる。
 <実施形態2>
 上述した実施形態1では、携帯端末3は連携している車載機1に携帯側思い出情報を提供し、車載機1が車載機側思い出情報及び携帯側思い出情報を集約して(すなわち統合思い出情報として)サーバ4に送信する構成とした。しかしながら、携帯側思い出情報は、車載機1を経由せずに、携帯端末3からサーバ4へ直接送信されてもよい。そのような構成を実施形態2とし、当該実施形態2における車両用思い出共有システム100Aの作動について、図12、及び図13を用いて説明する。
 実施形態2における車両用思い出共有システム100Aは、例えば図12に示すように、実施形態1と同様に、車載機1、携帯端末3、及びサーバ4を備える。なお、便宜上、前述の実施形態1の説明に用いた図に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。また、構成の一部のみを説明している場合、構成の他の部分については先に説明した実施形態1を適用することができる。
 主として、車載機1、携帯端末3、及びサーバ4が備える機能は実施形態1と同様である。ただし、車載機側制御部11は、思い出情報抽出部F7は備えている必要はない。
 図12は、トリップ中における車載機1、連携端末3、及びサーバ4の作動を説明するための概念図である。車載機1は、トリップ情報をサーバ4に送信するとともに、連携端末特定部F5が連携端末3の携帯IDを取得すると、その携帯IDを示す情報をサーバ4に送信する。これらの情報の送信は、目的地に到着したタイミングに限らず、随時(例えば逐次)実施されればよい。したがって、サーバ4は、今回のトリップにおいて車載機1に連携している携帯端末3の携帯ID(すなわち連携端末情報)やトリップ情報を逐次取得する。また、車載機1は、車載機側思い出情報取得部F6が取得した車載機側思い出情報を当該車載機1の車両IDと対応付けて逐次サーバ4に送信する。
 連携端末3は、携帯側思い出情報取得部F36が取得した携帯側思い出情報を、その連携端末3の携帯IDと対応付けてサーバ4に逐次送信する。なお、携帯側思い出情報には、その携帯側思い出情報を取得した時点における位置情報が付加されているものとする。
 サーバ4は、車載機側思い出情報又は携帯側思い出情報を受信すると、その受信した思い出情報に付加されている車両IDや携帯IDに基づいて、実施形態1と同様に、トリップ毎の思い出情報として集約して管理する。
 図13は、自車両が目的地に到着したときの車載機1、連携端末3、及びサーバ4のそれぞれの作動を説明するための概念図である。車載機1は、自車両が目的地に到着したと判定すると、サーバ4に対して、今回のトリップが終了したことを示すトリップ終了通知を送信する。ここで、自車両が目的地に到着したか否かの判定は、図11に示す駐車関連処理のステップS51と同様に行えば良い。
 車載機1よりトリップ終了通知を受信したサーバ4は、その時点までに車載機1及び連携端末3から取得した思い出情報を今回のトリップにおける統合思い出情報としてグループ化する。そして、トリップ中において車載機1から受信した連携端末情報及び車両IDに基づいて、そのトリップに同行したメンバーを特定し、各メンバーのユーザ情報と統合思い出情報とを対応付ける。この対応付けの処理が完了すると、各ユーザの携帯端末3に、当該統合思い出情報、又は当該統合思い出情報の閲覧用情報を配信する。
 このような構成においても、実施形態1と同様の効果を奏することができる。また、車載機側思い出情報は車載機1からサーバ4に送信される一方、携帯側思い出情報は、その携帯側思い出情報を取得した携帯端末3から直接サーバ4に送信される。すなわち、今回のトリップにおける思い出情報となるそれぞれのデータは、複数の通信経路でサーバ4に送信されることとなる。したがって、思い出情報を示すデータのサイズが大きい場合であっても、実施形態1の構成に比べて思い出情報をサーバ4に送信するために要する時間を短縮することができる。
 <実施形態3>
 上述では、車両用思い出共有システム100が、サーバ4を備えている構成について例示したが、これに限らない。すなわち、車両用思い出共有システムはサーバ4を備えていなくても良い。そのような構成を実施形態3とし、当該実施形態3における車両用思い出共有システム100Bの作動について、図14を用いて説明する。
 実施形態3は、図12に示すように、車載機1、及び少なくとも1つの携帯端末3を備える。なお、便宜上、前述の実施形態1の説明に用いた図に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。また、構成の一部のみを説明している場合、構成の他の部分については先に説明した実施形態1を適用することができる。
 主として、車載機1、及び携帯端末3が備える機能は、実施形態1と同様である。ただし、車載機側制御部11は、広域通信処理部F8を備えている必要はない。また、実施形態3における車載機1は、思い出情報を収集する機能ブロックとして、思い出情報収集部F9を備える。思い出情報収集部F9は、実施形態1で述べた車載機側思い出情報取得部F6と思い出情報抽出部F7の両方の機能を備えるものとする。すなわち、思い出情報収集部F9は、車載機側思い出情報を収集するとともに、連携端末3から携帯側思い出情報を抽出することで、当該トリップにおける思い出情報を収集する。実施形態3においては、この思い出情報収集部F9が思い出取得部の一例に相当する。
 そして、車室内通信処理部F4は、例えば自車両が目的地に到着したタイミングで、統合思い出情報を各連携端末3に配信する。したがって、実施形態3においては、車室内通信処理部F4が思い出情報配信部の一例に相当する。また、携帯端末3の狭域通信処理部F34は、車載機1から配信される統合思い出情報を受信する。すなわち、狭域通信処理部F34が思い出情報受信部の一例に相当する。
 なお、実施形態1の変形例で述べたように、各連携端末3には、統合思い出情報からその連携端末3で生成された携帯側思い出情報を差し引いた差分データを配信する構成としてもよい。
 また、車室内通信処理部F4が、種々の思い出情報を連携端末3に配信するタイミングは、目的地に到着したタイミングに限らない。例えば車室内通信処理部F4は、車載機側思い出情報取得部F6が車載機側思い出情報を取得する度に、連携端末3にその車載機側思い出情報を配信してもよい。また、思い出情報抽出部F7が、複数の連携端末3の1つから携帯側思い出情報を抽出する度に、その携帯側思い出情報を他の連携端末3に配信する構成としてもよい。
 以上のような構成においても、実施形態1と同様の効果を奏することができる。なお、この実施形態3では、一例として思い出情報収集部F9が、実施形態1で述べた車載機側思い出情報取得部F6と思い出情報抽出部F7の両方の機能を備えるものとしたが、これに限らない。車載機側思い出情報取得部F6と思い出情報抽出部F7の何れか一方を備える構成としてもよい。
 <変形例1>
 実施形態1の車両用思い出共有システム100は、車載機1が携帯端末3から携帯側思い出情報を抽出してサーバ4に送信する場合と、実施形態2のように携帯端末3が携帯側思い出情報を直接サーバ4に送信する場合とを適宜切り替えて実施できる構成としてもよい。
 例えば、実施形態1において思い出情報抽出部F7は、連携端末3に対して送信すべき思い出情報が存在するかを問い合わせ、送信するべき思い出情報が存在する旨の応答を連携端末3から得た場合には、そのデータのサイズも同時に取得する。そして、そのデータサイズが所定の閾値以上である場合には、そのデータの一部又は全部を携帯端末3から直接サーバ4に送信するように指示する。
 一方、携帯端末3は、車載機1からの指示に基づいて、車載機1に送信しようとしていたデータの一部又は全部を、携帯IDを対応付けて直接サーバ4に送信する。
 すなわち、この変形例1の構成では、携帯端末3から抽出する携帯側思い出情報に相当するデータの量に上限を設けておき、例えば、その上限を越える分のデータは携帯端末3から直接サーバ4に送信させる。
 以上の構成によれば、実施形態1のように、車載機1が思い出情報抽出部F7を備える構成において、よりスムーズに携帯側思い出情報をサーバ4に送信することができる。より具体的には次の通りである。すなわち、思い出情報抽出処理において抽出するべきデータのサイズは、立ち寄り地点において各ユーザが携帯端末3で生成した思い出情報のデータサイズに依存する。したがって、立ち寄り地点において多量の思い出情報を生成していた場合には、思い出情報抽出処理において抽出しようとするデータ量もまた多くなる。
 この場合、思い出情報抽出処理に要する時間も増大してしまう。また、車載機1は、連携端末3から抽出したデータを順次又はまとめてサーバ4に送信するが、連携端末3から抽出したデータのサイズが大きい場合には、それらのデータのサーバ4への送信に要する時間も増大してしまう。
 そこで、携帯端末3が携帯側思い出情報を直接サーバ4に送信する場合と、車載機1が携帯側思い出情報を抽出してサーバ4に送信する場合とを併用できる構成としておくことで、携帯側思い出情報を、よりスムーズにサーバ4に送信させることができる。
 以上、本開示に係る実施形態および構成を例示したが、本開示に係る実施形態および構成は、上述した各実施形態および各構成に限定されるものではない。異なる実施形態および構成にそれぞれ開示された技術的要素を適宜組み合わせて得られる実施形態および構成についても本開示に係る実施形態および構成の範囲に含まれる。

 

Claims (12)

  1.  ユーザに携帯される少なくとも1つの携帯端末(3)と、車両に搭載された車載機(1)と、を備える車両用思い出共有システムであって、
     前記車載機は、ユーザによって車両内に持ち込まれ、当該車載機と連携する前記携帯端末を特定する連携端末特定部(F5)を備え、
     前記車載機と前記携帯端末の少なくとも何れか一方は、前記車両での旅行中の思い出を表す思い出情報を取得する思い出情報取得部(F6、F36、F9)を備え、
     前記車両用思い出共有システムは、
     前記連携端末特定部によって特定された前記携帯端末に、前記思い出情報取得部が取得した前記思い出情報、又はその携帯端末のユーザが当該思い出情報を閲覧するための閲覧用情報を配信する思い出情報配信部(F43、F4)を備える車両用思い出共有システム。
  2.  請求項1において、
     前記車両用思い出共有システムは、車両外部に設けられたサーバ(4)を備え、
     前記車載機は、
     前記サーバと通信を実施する車載機側サーバ通信処理部(F8)を備え、
     前記車載機側サーバ通信処理部は、前記連携端末特定部が特定した前記携帯端末の情報である連携端末情報を前記サーバに送信し、
     前記サーバは、
     前記車載機側サーバ通信処理部が送信した前記連携端末情報を受信するサーバ側受信処理部(F41)と、
     前記思い出情報取得部が取得した前記思い出情報を、当該連携端末情報に基づいて、前記車載機に連携している前記携帯端末の情報と対応付けてサーバ側記憶部(43)に保存するサーバ側思い出情報管理部(F42)と、
     前記携帯端末と通信を実施し、前記思い出情報配信部として作動するサーバ側送信処理部(F43)と、を備え、
     前記サーバ側送信処理部は、前記車載機と連携した前記携帯端末に対して、前記サーバ側記憶部に格納されている前記思い出情報、又は当該思い出情報の前記閲覧用情報を配信する車両用思い出共有システム。
  3.  請求項2において、
     前記車載機は、
     前記思い出情報取得部として作動する車載機側思い出情報取得部(F6)を備え、
     前記車載機側サーバ通信処理部は、前記車載機側思い出情報取得部が取得した前記思い出情報を前記サーバに送信し、
     前記サーバ側受信処理部は、前記車載機側サーバ通信処理部が送信した前記思い出情報を受信し、
     前記サーバ側思い出情報管理部は、前記連携端末情報に基づいて、今回の旅行において前記車載機と連携している前記携帯端末、及び当該車載機を1つのグループとして対応付けるとともに、前記サーバ側受信処理部が当該車載機から受信した前記思い出情報を、当該グループの思い出情報として保存する車両用思い出共有システム。
  4.  請求項3において、
     前記車載機は、車両外部の所定範囲を撮影範囲とする車外用カメラ(13)、及び車室内の所定範囲を撮影範囲とする車内用カメラ(12)の少なくとも何れか一方を車載カメラとして備え、
     前記車載機側思い出情報取得部は、前記車載カメラによって生成された写真又は動画を前記思い出情報として取得する車両用思い出共有システム。
  5.  請求項4において、
     前記車載機は、前記車両の乗員の音声を取得し、当該音声に対して音声認識処理を実施する音声認識装置(16)を備え、
     前記車載機側思い出情報取得部は、前記音声認識装置が実施した音声認識処理の結果に基づいて、車内の乗員の盛り上がりを検出した場合に、前記車載カメラによって生成された写真又は動画を前記思い出情報として取得する車両用思い出共有システム。
  6.  請求項3から5の何れか1項において、
     前記携帯端末は、
     ユーザ操作に基づいて写真又は動画を撮影する携帯側カメラ(35)が撮影した写真又は動画を前記思い出情報として取得し、前記思い出情報取得部として作動する携帯側思い出情報取得部(F36)と、
     前記車載機と通信する携帯側車載機通信処理部(F34)と、を備え、
     前記車載機は、
     前記携帯側車載機通信処理部を介して前記携帯端末と通信する車載機側携帯端末通信処理部(F4)と、
     前記車載機側携帯端末通信処理部を介して、前記携帯端末から、その携帯端末の前記携帯側思い出情報取得部が取得した前記思い出情報を抽出する思い出情報抽出部(F7)と、を備え、
     前記車載機側サーバ通信処理部は、前記思い出情報抽出部が抽出した前記思い出情報を前記サーバに送信する車両用思い出共有システム。
  7.  請求項6において、
     前記携帯端末は、前記携帯側思い出情報取得部が取得した前記思い出情報を前記サーバに送信する携帯側サーバ通信処理部(F37)を備え、
     前記サーバ側受信処理部は、前記携帯側サーバ通信処理部が送信した前記思い出情報を受信し、
     前記思い出情報抽出部は、前記携帯端末から抽出しようとしている前記思い出情報に相当するデータのサイズを取得し、前記データのサイズが所定の閾値以上である場合には、前記データの一部又は全部を、前記携帯端末から前記サーバに送信するように指示し、
     前記携帯側サーバ通信処理部は、前記車載機から前記指示を受信した場合に、前記携帯側思い出情報取得部が取得した前記思い出情報を前記サーバに送信し、
     前記サーバ側思い出情報管理部は、
     前記連携端末情報に基づいて今回の旅行において前記車載機と連携している前記携帯端末及び前記車載機を1つのグループとして対応付けるとともに、前記サーバ側受信処理部が、当該グループに属する前記車載機及び前記携帯端末から受信した前記思い出情報を当該グループの思い出情報として管理する車両用思い出共有システム。
  8.  請求項2から5の何れか1項において、
     前記携帯端末は、
     ユーザ操作に基づいて写真を撮影する携帯側カメラ(35)が生成した写真又は動画を前記思い出情報として取得し、前記思い出情報取得部として作動する携帯側思い出情報取得部(F36)と、
     前記サーバと通信する携帯側サーバ通信処理部(F37)と、を備え、
     前記携帯側サーバ通信処理部は、前記携帯側思い出情報取得部が取得した前記思い出情報を前記サーバに送信し、
     前記サーバ側受信処理部は、前記携帯側サーバ通信処理部が送信した前記思い出情報を受信し、
     前記サーバ側思い出情報管理部は、
     前記連携端末情報に基づいて今回の旅行において前記車載機と連携している前記携帯端末、及び前記車載機を1つのグループとして対応付けるとともに、前記サーバ側受信処理部が当該グループに属する前記携帯端末から受信した前記思い出情報を当該グループの思い出情報として保存する車両用思い出共有システム。
  9.  請求項1において、前記車載機が、前記思い出情報取得部(F9)と、前記思い出情報配信部(F4)と、を備える車両用思い出共有システム。
  10.  請求項1から9の何れか1項において、
     前記思い出情報は、その思い出情報が取得された地点の位置情報と対応付けられている車両用思い出共有システム。
  11.  ユーザに携帯される少なくとも1つの携帯端末(3)を備える車両用思い出共有システム(100、100A、100B)で用いられる車載機であって、
     当該車載機と連携する前記携帯端末を特定する連携端末特定部(F5)と、
     前記車両での旅行中の思い出を表す思い出情報を取得する思い出情報取得部(F6、F9)と、
     前記思い出情報取得部で取得された前記思い出情報を、直接、又は、車両外部に設けられたサーバ(4)を介して、前記携帯端末に送信する思い出情報配信部(F4、F8)と、を備える車載機。
  12.  コンピュータを、
     車両に搭載された車載機(1)と連携する処理を実施する車載機連携処理部(F35)と、
     前記車両での旅行中の思い出を表す思い出情報を、前記車載機、又は前記車両の外部に設けられたサーバ(4)から受信する思い出情報受信部(F34、F37)として機能させる思い出共有プログラム。

     
PCT/JP2015/002567 2014-06-03 2015-05-21 車両用思い出共有システム、車載機及び思い出共有プログラム WO2015186304A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-115267 2014-06-03
JP2014115267A JP2015230519A (ja) 2014-06-03 2014-06-03 車両用思い出共有システム、車載機及び思い出共有プログラム

Publications (1)

Publication Number Publication Date
WO2015186304A1 true WO2015186304A1 (ja) 2015-12-10

Family

ID=54766389

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/002567 WO2015186304A1 (ja) 2014-06-03 2015-05-21 車両用思い出共有システム、車載機及び思い出共有プログラム

Country Status (2)

Country Link
JP (1) JP2015230519A (ja)
WO (1) WO2015186304A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112053678A (zh) * 2019-06-06 2020-12-08 北京快松果科技有限公司 基于语音识别的开关锁方法及其系统、开关锁主体及共享车辆

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9918038B2 (en) * 2016-02-29 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for multimedia capture
JP2018087727A (ja) * 2016-11-28 2018-06-07 株式会社ナビタイムジャパン 情報処理システム、情報処理プログラム、情報処理装置、および情報処理方法
JP6582328B2 (ja) * 2017-06-20 2019-10-02 本田技研工業株式会社 情報出力システム、情報出力方法、及びプログラム
JP7028608B2 (ja) * 2017-11-06 2022-03-02 トヨタ自動車株式会社 情報処理装置、情報処理方法、及びプログラム
KR102443843B1 (ko) * 2017-12-14 2022-09-16 현대자동차주식회사 차량 및 그 제어 방법
JP6945939B2 (ja) * 2019-09-25 2021-10-06 三菱電機株式会社 フォトアルバム制作装置及びフォトアルバム制作プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004153498A (ja) * 2002-10-30 2004-05-27 Konica Minolta Holdings Inc 画像の撮影および出力システム、方法
JP2009069928A (ja) * 2007-09-11 2009-04-02 Hitachi Systems & Services Ltd 接続管理システムおよびその方法
JP2010130539A (ja) * 2008-11-28 2010-06-10 Furyu Kk 端末装置、電子機器、コンテンツデータ提供装置、コンテンツデータ提供システム、制御方法、制御プログラムおよび記録媒体
JP2013055440A (ja) * 2011-09-02 2013-03-21 Nikon Corp 撮像装置及び画像音声再生装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004153498A (ja) * 2002-10-30 2004-05-27 Konica Minolta Holdings Inc 画像の撮影および出力システム、方法
JP2009069928A (ja) * 2007-09-11 2009-04-02 Hitachi Systems & Services Ltd 接続管理システムおよびその方法
JP2010130539A (ja) * 2008-11-28 2010-06-10 Furyu Kk 端末装置、電子機器、コンテンツデータ提供装置、コンテンツデータ提供システム、制御方法、制御プログラムおよび記録媒体
JP2013055440A (ja) * 2011-09-02 2013-03-21 Nikon Corp 撮像装置及び画像音声再生装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112053678A (zh) * 2019-06-06 2020-12-08 北京快松果科技有限公司 基于语音识别的开关锁方法及其系统、开关锁主体及共享车辆
CN112053678B (zh) * 2019-06-06 2023-10-03 北京快松果科技有限公司 基于语音识别的开关锁方法及其系统、开关锁主体及共享车辆

Also Published As

Publication number Publication date
JP2015230519A (ja) 2015-12-21

Similar Documents

Publication Publication Date Title
WO2015186304A1 (ja) 車両用思い出共有システム、車載機及び思い出共有プログラム
JP6773579B2 (ja) マルチメディアキャプチャ用のシステム及び方法
JP6479927B2 (ja) 通信システムおよび端末装置
RU2725843C2 (ru) Транспортное средство с гиперлапс-видео и социальные сети
JP5676147B2 (ja) 車載用表示装置、表示方法および情報表示システム
US11057575B2 (en) In-vehicle device, program, and vehicle for creating composite images
CN104935875A (zh) 基于车辆的媒体内容捕捉和远程服务整合
CN112954648B (zh) 一种移动终端和车载终端的交互方法、终端以及系统
CN105335396A (zh) 分享旅途经验的方法和设备
JP6402306B2 (ja) 電子機器、情報システム、プログラム
CN115297461B (zh) 数据交互方法、装置、车辆、可读存储介质及芯片
CN111666430A (zh) 一种车载游记系统、行车游记的生成方法
JP7139584B2 (ja) 情報処理装置、情報処理方法、プログラム、および情報処理システム
JP6917426B2 (ja) 画像表示装置、画像表示方法、および、画像表示システム
KR20140128831A (ko) 차량용 영상 처리 장치 및 이를 이용한 데이터 공유 방법
JP2007218698A (ja) ナビゲーション装置、ナビゲーション方法及びナビゲーションプログラム
US11159709B2 (en) Camera, camera processing method, server, server processing method, and information processing apparatus
KR102227609B1 (ko) 장치 간 통신 처리 방법, 이를 수행하기 위한 시스템, 통신처리장치 및 차량
US11750771B2 (en) Recording control apparatus, recording control method, and recording control program
JP2023094982A (ja) 通信システム、情報処理装置、情報処理方法、プログラム及び記録媒体
JP2021164043A (ja) 撮影装置、システム及びプログラム
JP2021007001A (ja) ドライブレコーダおよびプログラム
KR20200015293A (ko) 카메라가 장착된 스마트폰을 이용한 다채널 차량용 블랙박스 시스템
CN115119047A (zh) 基于车辆的多媒体作品生成方法及系统、存储介质和电子设备
WO2019106995A1 (ja) 撮影装置、撮影方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15802458

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15802458

Country of ref document: EP

Kind code of ref document: A1