JP6582328B2 - 情報出力システム、情報出力方法、及びプログラム - Google Patents

情報出力システム、情報出力方法、及びプログラム Download PDF

Info

Publication number
JP6582328B2
JP6582328B2 JP2017120684A JP2017120684A JP6582328B2 JP 6582328 B2 JP6582328 B2 JP 6582328B2 JP 2017120684 A JP2017120684 A JP 2017120684A JP 2017120684 A JP2017120684 A JP 2017120684A JP 6582328 B2 JP6582328 B2 JP 6582328B2
Authority
JP
Japan
Prior art keywords
information
vehicle
identification information
record
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017120684A
Other languages
English (en)
Other versions
JP2019009498A (ja
Inventor
尊一 佐野
尊一 佐野
茂憲 蛭田
茂憲 蛭田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2017120684A priority Critical patent/JP6582328B2/ja
Priority to US15/982,041 priority patent/US11068529B2/en
Priority to CN201810521828.XA priority patent/CN109101205B/zh
Publication of JP2019009498A publication Critical patent/JP2019009498A/ja
Application granted granted Critical
Publication of JP6582328B2 publication Critical patent/JP6582328B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/487—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4524—Management of client data or end-user data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Traffic Control Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Navigation (AREA)

Description

本発明は、保存しておいた車両移動の過程で撮影された画像、映像、及び又は取得された音等で構成されるコンテンツを、適切な場面でユーザに出力する技術に関する。
複数人が車両に搭乗して移動する場合、移動の目的や目的地、あるいは現在位置にちなんだ話題についての会話を行うことで、搭乗者間での会話が盛り上がり、移動が快適なものとなることが多い。このため、上記のように複数人が車両に搭乗して移動する場合には、当該車両が通過等する場所についての情報が話題として提供されると便宜である。特に、例えばいずれかの搭乗者が当該場所に行ったときの思い出を、当該思い出を構成する画像等と共に搭乗者間で共有することができると、会話が盛り上がりやすくなり、移動の快適性も向上する。
また、このような話題の提供や思い出の共有は、搭乗者間に限らず、例えば、目的地施設（例えば宿泊先のホテル）における施設従業員と搭乗者との間や、帰着先である各搭乗者の家庭における家族と当該搭乗者との間でも、会話の話題提供として有効に機能し得る。
従来、複数の搭乗者間で画像情報等を共有する技術として、車を用いて一緒に旅行に行ったメンバ間で、各メンバが携帯端末等で撮影した当該旅行における画像や映像等の思い出情報を共有する、車両用思い出共有システムが知られている（特許文献１参照）。このシステムでは、旅行に用いた車の車載器が、当該車に同乗している各メンバの携帯端末を特定し、当該携帯端末から思い出情報を収集し、例えば目的地到着時に、当該特定した携帯端末の情報と共に当該収集した思い出情報（統合思い出情報）をサーバへ送信し、当該サーバにより、上記特定された携帯端末へ上記統合思い出情報が配信される。
しかしながら、特許文献１に記載されたシステムでは、車載器が各搭乗者の携帯端末から収集した画像等の情報をサーバへ送信し、サーバは、単に当該収集された情報を受信したときに、当該情報を各携帯端末へ配信するのみである。すなわち、上記従来システムでは、複数の搭乗者が一緒に行った旅行先の思い出を当該旅行に同行した搭乗者間において共有することはできるものの、搭乗者の一人の過去の思い出を、当該思い出に関与していない現在の車両の搭乗者間において、及び又は搭乗者に関連する人物（家族や目的地にいる人物等）との間において、且つ当該思い出が話題として有効に機能するような適切なタイミングで、共有することはできない。
特開２０１５−２３０５１９号公報
上記背景より、搭乗者の過去の情報（例えば、思い出を構成する情報）を、当該情報が話題となり得る適切なタイミングで、複数の搭乗者間において及び又はそれら搭乗者に関連する人物との間において共有することのできる、情報出力システムの実現が望まれている。
本発明の一の態様は、記憶装置と、当該記憶装置が記憶する情報を選択して出力する処理装置と、を備える情報出力システムである。前記記憶装置には、画像、映像、及び又は音の情報で構成されるコンテンツ情報が、当該コンテンツ情報に関連する人物及び関連する地理的位置を示す人物識別情報及び位置識別情報に関連付けて記憶されており、前記処理装置は、車両の搭乗者である人物を示す人物識別情報及び当該車両の現在の地理的位置を示す位置識別情報を生成する入力情報取得部と、前記入力情報取得部が生成した位置識別情報が示す地理的位置と所定の距離範囲内において一致する位置を示す位置識別情報及び前記入力情報取得部が生成した人物識別情報と一致する人物識別情報に関連付けられた前記コンテンツ情報を、前記記憶装置から抽出する情報抽出部と、前記抽出したコンテンツ情報を、前記車両に搭載された表示装置及び又はスピーカから出力する情報出力部と、前記情報出力部が前記抽出したコンテンツ情報を出力しているときの、前記車両の車室内の画像、映像、及び又は音で構成される配信状態情報を生成する状態情報取得部とを備える。
本発明の他の態様によると、前記処理装置は、前記情報出力部が出力したコンテンツ情報と、前記状態情報取得部が生成した配信状態情報と、を前記車両の外部に存在する所定の端末装置に配信する情報配信部を更に備える。
本発明の他の態様によると、前記入力情報取得部は、前記車両に搭載されたカメラにより撮像された当該車両の搭乗者の顔画像から前記人物識別情報を生成する。
本発明の他の態様によると、前記処理装置は、前記画像、映像、及び又は音の各情報を、前記車両に搭載された当該車両の外部環境及び又は車室内の画像及び又は映像を取得するカメラ、及び又は前記車両に搭載されたマイクロホンから取得して、前記コンテンツ情報として前記記憶装置に記憶させるコンテンツ情報取得部を、更に備える。
本発明の他の態様によると、前記記憶装置及び前記処理装置は、前記車両に搭載された車載装置に設けられている。
本発明の他の態様によると、前記車両に搭載された車載装置と、前記車載装置と通信可能に接続された、前記車両の外部に存在するサーバと、を備え、前記処理装置は、前記入力情報取得部及び前記情報出力部を含んだ第1の処理装置と、前記情報抽出部を含んだ第２の処理装置と、で構成されており、前記車載装置は、前記第１の処理装置の部分を備え、前記サーバは、前記記憶装置と、前記第２の処理装置と、を備える。
本発明の他の態様は、前記記憶装置と、前記第２の処理装置と、を備える、情報出力システムを構成するサーバである。
本発明の他の態様は、情報出力方法である。当該方法は、処理装置の入力情報取得部が、車両の搭乗者である人物を示す人物識別情報と、当該車両の現在の地理的位置を示す位置識別情報と、を生成するステップと、前記処理装置の情報抽出部が、画像、映像、及び又は音の情報で構成されるコンテンツ情報を当該コンテンツ情報に関連する人物及び関連する地理的位置を示す人物識別情報及び位置識別情報に関連付けて記憶する記憶装置から、前記生成された位置識別情報が示す地理的位置と所定の距離範囲内において一致する位置を示す位置識別情報及び前記生成された人物識別情報と一致する人物識別情報に関連付けられた前記コンテンツ情報を抽出するステップと、前記処理装置の情報出力部が、前記抽出されたコンテンツ情報を、前記車両に搭載された表示装置及び又はスピーカから出力するステップと、前記抽出したコンテンツ情報を出力しているときの、前記車両の車室内の画像、映像、及び又は音で構成される配信状態情報を生成するステップとを有する。
本発明の他の態様は、車両に搭載されたコンピュータである車載装置を、前記車両の搭乗者である人物を示す人物識別情報と、前記車両の現在の地理的位置を示す位置識別情報と、を生成する入力情報取得部と、画像、映像、及び又は音の情報で構成されるコンテンツ情報を当該コンテンツ情報に関連する人物及び関連する地理的位置を示す人物識別情報及び位置識別情報に関連付けて記憶する記憶装置から、前記入力情報取得部が生成した位置識別情報が示す地理的位置と所定の距離範囲内において一致する位置を示す位置識別情報及び前記入力情報取得部が生成した人物識別情報と一致する人物識別情報に関連付けられた前記コンテンツ情報を抽出する情報抽出部と、前記抽出されたコンテンツ情報を、前記車両に搭載された表示装置及び又はスピーカから出力する情報出力部と、前記情報出力部が前記抽出したコンテンツ情報を出力しているときの、前記車両の車室内の画像、映像、及び又は音で構成される配信状態情報を生成する状態情報取得部として機能させるプログラムである。
本発明の一実施形態に係る情報出力システムの構成を示す図である。 図１に示す情報出力システムを構成する車載装置の構成を示す図である。 図１に示す情報出力システムを構成するサーバの構成を示す図である。 図３に示すサーバの記憶装置に記憶される思い出情報レコードの構成の一例を示す図である。 図３に示すサーバの記憶装置に記憶される配信状態レコードの構成の一例を示す図である。 図３に示すサーバの記憶装置に記憶される配信レコードの構成の一例を示す図である。 図２に示す車載装置が実行する思い出情報収集処理の手順を示すフロー図である。 図２に示す車載装置が実行する思い出情報出力処理の手順を示すフロー図である。 図３に示すサーバが実行する思い出情報記録処理の手順を示すフロー図である。 図３に示すサーバが実行する思い出情報配信処理の手順を示すフロー図である。 図３に示すサーバが実行する配信状態通知処理の手順を示すフロー図である。
以下、図面を参照して、本発明の実施の形態を説明する。
図１は、本発明の一実施形態に係る情報出力システムの構成を示す図である。本情報出力システム１００は、ユーザに出力する情報の一例として車両搭乗者の少なくとも一人が過去において車に乗って経験した思い出に関わる情報（思い出情報）を、当該情報が話題となり得る適切なタイミングで、現在の複数の搭乗者間において及び又はそれら搭乗者に関連する人物との間において共有できるよう出力するものである。ただし、ユーザに出力する情報は、上記のような思い出に係る情報に限らず、人が車に乗って得られる情報一般（カメラやマイクロホンにより取得され得る情報一般であって、例えば、搭乗者の表情、車室内に流れる音楽、車両外の景色等々）とすることができる。
本システム１００は、車載装置１０２が搭載された少なくとも１台の車両１０４と、車両１０４の外部に配されたサーバ１０６と、を備える。各車載装置１０２とサーバ１０６とは、例えば無線通信を介して通信可能に接続されている。
また、サーバ１０６は、所定の端末装置１０８、１１０、１１２、１１４とも通信可能に接続されている。端末装置１０８、１１０は、例えば、図１に示す２つの車両１０４のうち図示上側の車両１０４における一の搭乗者の自宅である家１２０、及び当該車両１０４の目的地の施設１２２（例えば、宿泊施設）に、それぞれ設置されている。また、端末装置１１２、１１４は、例えば、図１に示す２つの車両１０４のうち図示下側の車両１０４における一の搭乗者の自宅である家１２４、及び当該車両１０４の目的地の施設１２６（例えば、デイサービス施設）に、それぞれ設置されている。
なお、ここでは４つの所定の端末装置１０８、１１０、１１２、１１４が示されているが、これに限らず、任意の数の端末装置が、サーバ１０６と通信可能に接続されるものとすることができる。同様に、ここでは２つの車両１０４が図示されているが、これに限らず、任意の数の車両１０４にそれぞれ搭載された車載装置１０２が、サーバ１０６と通信可能に接続されるものとすることができる。
また、サーバ１０６は、例えば、車載装置１０２及び端末装置１０８等とインターネット回線網や電話回線網を介して接続される、いわゆるクラウドサーバであるものとすることができる。
図２は、車両１０４に搭載された車載装置１０２の構成を示す図である。車載装置１０２は、処理装置２００と、通信器２０２と、を有する。処理装置２００は、自装置である車載装置１０２が搭載された車両１０４（以下、ホスト車両１０４）に搭載されたオーディオ・ビジュアル装置（ＡＶ装置）２２０、車外カメラ２２２、室内カメラ２２４、及び測位装置２２６との間でデータの送受信を行う。ＡＶ装置２２０には、ホスト車両１０４に搭載された操作表示装置２３０と、スピーカ２３２と、マイクロホン２３４と、が接続されている。
操作表示装置２３０は、例えば液晶表示装置等のディスプレイ２４０と、当該ディスプレイ２４０のスクリーン上に配されたタッチパネル２４２とで構成される。ディスプレイ２４０は、ＡＶ装置２２０から送信される信号に基づいて、当該ディスプレイ２４０のスクリーン上に画像や映像を表示する。また、ユーザは、タッチパネル２４２を用いて、データやコマンド等をＡＶ装置２２０に入力することができる。
ＡＶ装置２２０は、例えばタッチパネル２４２を介してユーザが入力するコマンドに基づいて、ＣＤ、ＤＶＤ、ＵＳＢメモリ等の記憶媒体に記憶された音楽や映像を再生して、スピーカ２３２及び又はディスプレイ２４０に出力する機能を有するほか、車載装置１０２から出力される画像、映像、及び又は音を中継して、当該画像及び又は映像をディスプレイ２４０に出力し、及び又は当該音をスピーカ２３２に出力する。また、ＡＶ装置２２０は、車載装置１０２からの要求に応じて、マイクロホン２３４によりホスト車両１０４の車室内の音を収集し、収集した音を車載装置１０２へ送る。
車外カメラ２２２は、例えばホスト車両１０４のバンパーやサイドミラーに設けられてホスト車両１０４の前方及び又は側方の環境を撮影する。また、室内カメラ２２４は、例えばホスト車両１０４のルームミラーに設けられて、当該ホスト車両１０４の車室内の全景（少なくとも搭乗者全員の顔が撮影できる画角の範囲）を撮影する。
また、測位装置２２６は、例えばＧＰＳ装置であり、ホスト車両１０４の現在の位置を示す測位データを出力する。
車載装置１０２が備える通信器２０２は、当該車載装置１０２とサーバ１０６とを通信可能に接続する、例えば無線通信器である。
車載装置１０２が備える処理装置２００は、ＣＰＵ（Central Processing Unit）等のプロセッサ、プログラムが書き込まれたＲＯＭ（Read Only Memory）、データの一時記憶のためのＲＡＭ（Random Access Memory）等を有するコンピュータであり、情報収集ユニット２１０と、入力情報取得ユニット２１２と、情報出力ユニット２１４と、状態取得ユニット２１６と、を有する。
処理装置２００が備える上記各ユニットは、コンピュータである処理装置２００がプログラムを実行することにより実現され、当該コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。これに代えて又はこれに加えて、上記各ユニットの全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。
情報収集ユニット２１０は、例えばタッチパネル２４２を介してユーザから情報収集動作の開始指示を受信したことに応じて動作を開始する。情報収集ユニット２１０は、動作を開始すると、室内カメラ２２４によりホスト車両１０４の室内の画像及び又は映像を取得すると共に、車外カメラ２２２によりホスト車両１０４の環境（当該ホスト車両１０４の前方や側方）の画像及び又は映像を取得し、及び又はＡＶ装置２２０を介してマイクロホン２３４から、ホスト車両１０４内に流れる音楽や車外から入る車両環境の音、あるいは搭乗者の会話等の音声を収集する。また、情報収集ユニット２１０は、測位装置２２６から、上記画像、映像、及び又は音を収集したときのホスト車両１０４の地理的位置を示す測位データを取得し、当該地理的位置を表す位置識別情報（例えば、緯度経度で構成される）を生成する。
さらに、情報収集ユニット２１０は、上記取得したホスト車両１０４の車室内の画像又は映像から当該ホスト車両１０４の搭乗者である各人物を認識し、当該認識した各人物を識別する人物識別情報を生成する。ここで、人物識別情報は、例えば人物毎に割り当てた識別コードで構成されるものとすることができる。また、人物識別情報の生成は、例えば、予め人物の画像（例えば、顔画像）と当該人物の識別コードとを対応付けて車載装置１０２に学習させておき（例えば、車載装置１０２が備える記憶装置（不図示）に記憶させておき）、情報収集ユニット２１０が当該学習した人物画像と搭乗者の画像との画像マッチングを行うことで実現することができる。このような人物画像の学習と画像マッチングによる人物識別の技術は公知であるので、ここでは説明を省略する。
そして、情報収集ユニット２１０は、上記収集した画像、映像、及び又は音のデータで構成されるコンテンツデータと、上記生成した位置識別情報及び各搭乗者の人物識別情報と、を含む思い出情報記録要求を、通信器２０２を介してサーバ１０６へ送信する。サーバ１０６は、後述するように、思い出情報記録要求を受信したことに応じて、当該思い出情報記録要求に含まれるコンテンツデータ、位置識別情報、及び人物識別情報を、一つの思い出情報レコードとして、記憶装置３００内の思い出情報ＤＢ３０６に追加して保存する。
なお、コンテンツデータを構成する画像、映像、及び又は音の１回の収集時間は、（例えば５分に）予め定められているものとすることができ、情報収集ユニット２１０は、例えば、予め定められた所定の収集時間に亘って収集された画像、映像、及び又は音で構成されるコンテンツデータを用いて、思い出情報記録要求を生成して送信する。
入力情報取得ユニット２１２は、例えばタッチパネル２４２を介してユーザから情報提供動作の開始指示を受信したことに応じて動作を開始する。入力情報取得ユニット２１２は、動作を開始すると、室内カメラ２２４によりホスト車両１０４の車室内の画像を取得し、当該取得した画像から当該ホスト車両１０４の搭乗者である各人物を認識し、当該認識した各人物を識別する人物識別情報を生成する。また、入力情報取得ユニット２１２は、測位装置２２６から、ホスト車両１０４の現在の地理的位置を示す測位データを取得し、当該地理的位置を表す位置識別情報を生成する。
そして、入力情報取得ユニット２１２は、上記生成した人物識別情報及び位置識別情報と、自装置である車載装置１０２を特定するための装置識別情報（例えば、ＩＤコード）と、を含む思い出情報提供要求を、通信器２０２を介してサーバ１０６へ送信する。サーバ１０６は、後述するように、当該送信された思い出情報提供要求を受信したことに応じて、記憶装置３００が記憶する思い出情報ＤＢ３０６から、上記思い出情報提供要求に含まれる人物識別情報と同じ人物識別情報を含む思い出情報レコードのうち、上記思い出情報提供要求に含まれた位置識別情報が示す地理的位置と同じか又は当該位置から所定の距離範囲内の地理的位置を示す位置識別情報を含む思い出情報レコードを抽出する。
そして、サーバ１０６は、当該抽出した思い出情報レコードを、上記思い出情報提供要求の送信元である車両１０４の車載装置１０２へ送信する。当該車載装置１０２への送信は、上記受信した思い出情報提供要求に含まれている装置識別情報を付して上記抽出した思い出情報レコードを送信することにより、当該思い出情報レコードの送信先が特定の車載装置１０２へ向けて送信されたものであることを示すことにより行うものすることができる。
なお、入力情報取得ユニット２１２は、自装置である車載装置１０２がサーバ１０６から思い出情報レコードを受信するまで、当該ホスト車両１０４の最新の現在位置を示す位置識別情報を含む思い出情報提供要求を繰り返し送信するものとする。これにより、思い出情報レコードが生成された位置にホスト車両１０４が到達したときに、当該位置において過去に生成された思い出情報レコードがサーバ１０６において抽出されて車載装置１０２に配信されることとなる。
情報出力ユニット２１４は、通信器２０２が、サーバ１０６から自装置である車載装置１０２に向けて送信された思い出情報レコードを受信したことに応じて動作を開始する。受信した思い出情報レコードが自装置である車載装置１０２に向けて送信されたものであることは、当該受信した思い出情報レコードに含まれる装置識別情報と、自装置である車載装置１０２の装置識別情報とが一致したことをもって判断することができる。
情報出力ユニット２１４は、動作を開始すると、通信器２０２が受信したサーバ１０６からの思い出情報レコードに含まれたコンテンツデータをＡＶ装置２２０により再生する。すなわち、当該コンテンツデータに含まれる画像及び又は映像をディスプレイ２４０に表示し、及び又は当該コンテンツデータに含まれる音をスピーカ２３２により出力して、ホスト車両１０４の搭乗者に提供する。情報出力ユニット２１４の動作は、通信器２０２が受信した思い出情報レコードに含まれるコンテンツデータの再生が終了したときに終了する。
状態取得ユニット２１６は、情報出力ユニット２１４が思い出情報レコードのコンテンツデータの再生を開始したときに動作を開始する。状態取得ユニット２１６は、動作を開始すると、思い出情報レコードが再生されている間、室内カメラ２２４によりホスト車両１０４の車室内を撮影すると共に、ＡＶ装置２２０を介してマイクロホン２３４により当該車室内の音を取得する。そして、状態取得ユニット２１６は、現在再生されている思い出情報レコードの思い出レコード識別情報、取得した車室内の映像と音とで構成される状態データ、及び当該状態データを配信すべき端末装置の端末識別情報を含んだ配信状態記録要求を、通信器２０２を介してサーバ１０６へ送信する。
ここで、上記“状態データを配信すべき端末装置”は、図１に示す所定の端末装置１０８等の少なくとも一つであるものとすることができる。すなわち、“状態データを配信すべき端末装置”は、例えば、車両１０４における一の搭乗者の自宅である家及び又は目的地の施設が備える端末装置であるものとすることができる。また、配信する思い出情報に対応する人物の居住する家にある端末装置であるものとすることもできる。
また、上記“状態データを配信すべき端末装置”は、例えば、ホスト車両１０４の搭乗者となり得る人物の人物識別情報毎、及び又はホスト車両１０４の目的地毎に、予め定められて記憶装置３００に記憶されているか、又はユーザが、タッチパネル２４２を介して上述した情報提供動作の開始指示を入力する際に指定する（例えば、端末識別情報を入力する）ものとすることができる。
図３は、サーバ１０６の構成を示す図である。サーバ１０６は、記憶装置３００と、通信器３０２と、処理装置３２０と、を備える。
記憶装置３００は、思い出情報データベース（ＤＢ）３１０と、配信状態情報３１２と、配信ログ３１４と、を記憶する。思い出情報ＤＢ３１０は、一つ又は複数の思い出情報レコードで構成されている。図４は、思い出情報レコードの構成の一例を示す図である。各思い出情報レコードは、思い出レコード識別情報と、少なくとも一人の特定の人物が車両に乗って特定の地理的位置に居たときの、当該位置における当該車両の環境の画像や映像、及び又は当該車両の室内の画像、映像、及び又は音で構成されるコンテンツデータと、当該位置を示す位置識別情報と、当該少なくとも一人の特定の人物を示す人物識別情報と、で構成されている。ここで、思い出レコード識別情報は、その思い出情報レコードを他の思い出情報レコードと識別するための固有の符号（例えば、固有のＩＤコード）で構成される。思い出情報レコードは、サーバ１０６が思い出情報記録要求を受信したことに応じて、後述する情報記録ユニット３２２により作成されて思い出情報ＤＢ３１０に追加され保存される。
配信状態情報３１２は、一つ又は複数の配信状態レコードで構成される。図５は、配信状態レコードの構成の一例を示す図である。各配信状態レコードは、状態レコード識別情報と、車載装置１０２から受信した配信状態記録要求に含まれていた状態データ、装置識別情報、思い出レコード識別情報、及び少なくとも一つの端末装置を示す端末識別情報と、で構成されている。ここで、状態レコード識別情報は、その配信状態レコードを他の配信状態レコードと識別するための固有の符号（例えば、固有のＩＤコード）で構成される。配信状態レコードは、サーバ１０６が配信状態記録要求を受信したことに応じて、後述する状態通知ユニット３１６により作成されて記憶装置３００に保存される。
配信ログ３１４は、一つ又は複数の配信レコードで構成される。図６は、配信レコードの構成の一例を示す図である。各配信レコードは、配信レコード識別情報と、後述する情報抽出ユニット３２４が思い出情報ＤＢ３１０から抽出して配信した思い出情報レコードの思い出レコード識別情報と、当該思い出情報レコードの配信先である車載装置１０２の装置識別情報と、当該思い出情報レコードを配信したときに配信先である車両１０４において取得された状態データを含む配信状態レコードの状態レコード識別情報と、で構成される。ここで、配信レコード識別情報は、その配信レコードを他の配信レコードと識別するための固有の符号（例えば、固有のＩＤコード）で構成される。
配信レコードは、後述する情報抽出ユニット３２４が、思い出情報レコードを配信したときに作成して記憶装置３００に保存する。また、後述する状態通知ユニット３１６は、上述した配信状態レコードを作成したときに、関連する思い出情報レコードの思い出レコード識別情報と、関連する車載装置１０２の装置識別情報と、を含む配信レコードに、上記生成した配信状態レコードの状態レコード識別情報を追加して記録する。
通信器３０２は、サーバ１０６と、車両１０４の車載装置１０２及び端末装置１０８、１１０、１１２、１１４と、を通信可能に接続する、例えば無線通信器である。
処理装置３２０は、ＣＰＵ等のプロセッサ、プログラムが書き込まれたＲＯＭ、データの一時記憶のためのＲＡＭ等を有するコンピュータであり、情報記録ユニット３２２と、情報抽出ユニット３２４と、状態通知ユニット３２６と、を有する。
処理装置３２０が備える上記各ユニットは、コンピュータである処理装置３２０がプログラムを実行することにより実現され、当該コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。これに代えて又はこれに加えて、上記各ユニットの全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。
情報記録ユニット３２２は、通信器３０２を介していずれかの車両１０４の車載装置１０２から思い出情報記録要求を受信したことに応じて、当該受信した思い出情報記録要求に含まれるコンテンツデータ、位置識別情報、及び人物識別情報を、一つの思い出情報レコードとして記憶装置３００内の思い出情報ＤＢ３１０に追加して保存する。
情報抽出ユニット３２４は、通信器３０２を介していずれかの車両１０４の車載装置１０２から思い出情報提供要求を受信したことに応じて、記憶装置３００が記憶する思い出情報ＤＢ３１０から、上記受信した思い出情報提供要求に含まれる人物識別情報のいずれかと同じ人物識別情報を含む思い出情報レコードのうち、上記思い出情報提供要求に含まれた位置識別情報が示す位置と同じか又は当該位置から所定の距離範囲内の位置を示す位置識別情報を含む思い出情報レコードを抽出する。
そして、情報抽出ユニット３２４は、通信器３０２を介して、当該抽出した思い出情報レコードを、上記思い出情報提供要求の送信元である車両１０４の車載装置１０２へ送信する（すなわち、上記思い出情報提供要求に含まれている装置識別情報を付して、上記抽出した思い出情報レコードを送信する）。なお、抽出した思い出情報レコードが複数あるときは、入力情報取得ユニット２１２は、抽出した複数の思い出情報レコードの全てを順に送信するものとする。
また、情報抽出ユニット３２４は、抽出した思い出情報レコードを車載装置１０２へ送信したときは、当該送信した思い出情報レコードの思い出レコード識別情報と、送信先である車載装置１０２の装置識別情報とで構成される配信レコードを生成し、生成した配信レコードを記憶装置３００内の配信ログ３１４に追加して保存する。
状態通知ユニット３２６は、通信器３０２を介していずれかの車両１０４の車載装置１０２から配信状態記録要求を受信したことに応じて、当該受信した配信状態記録要求に含まれた状態データ、装置識別情報、思い出レコード識別情報異、及び端末識別情報を、一つの配信状態レコードとして記憶装置３００内の配信状態情報３１２に追加して保存する。
また、状態通知ユニット３２６は、受信した配信状態記録要求に含まれた装置識別情報及び思い出レコード識別情報と一致する装置識別情報及び思い出レコード識別情報を有する配信レコードを配信ログ３１４から検索して抽出し、当該抽出した配信レコードに、上記配信状態情報３１２に追加して保存した配信状態レコードの状態レコード識別情報を追加して保存する。
また、その後、状態通知ユニット３２６は、上記生成した配信状態レコードに含まれた端末識別情報を有する各端末装置に向けて、当該配信状態レコードに含まれた状態データと、当該配信状態レコードに含まれた思い出レコード識別情報が示す思い出情報ＤＢ３１０内の思い出情報レコードと、を送信する。
当該状態データ及び思い出情報レコードの配信の後、状態通知ユニット３２６は、当該配信に用いた配信レコードを配信ログ３１４から消去すると共に、上記生成した配信状態レコードを記憶装置３００から消去する。なお、配信状態レコード及び配信レコードを作成して状態レコード等の送信が完了するまで保持することは、本実施形態では必須ではない。ただし、このような構成とれば、例えば、端末装置１０８等からの要求に応じてサーバ１０６が状態データ等の再配信を行えるようにできるので、便宜である。
上述の構成を有する情報出力システム１００は、車両１０４の車内外の画像、映像、及び又は音を、そのときの当該車両１０４の位置及び当該車両１０４の搭乗者である人物に関連付けて、思い出情報レコードとしてサーバ１０６に記憶させておく。そして、当該搭乗者であった人物の少なくとも一人が、任意の車両１０４に乗って上記位置付近を走行すると、サーバ１０６から、当該車両１０４の車載装置１０２に向けて、当該人物及び当該位置に関連付けられた思い出情報レコードが送信され、当該車両１０４内において当該思い出情報レコードに含まれた画像、映像、及び又は音が再生される。
また、車両１０４内において思い出情報レコードが再生されたときは、当該再生された思い出情報レコードと、当該再生の際の当該車両１０４内の状態を示す状態データ（すなわち、車室内の画像、映像、及び又は音）と、が当該車両１０４の搭乗者の自宅及び又は当該車両１０４の目的地である宿泊施設等の、所定の端末装置（１０８等）に配信される。
これにより、車両１０４の搭乗者であるいずれかの人物の、或る地理的位置における過去の思い出（すなわち、過去の画像、映像、及び又は音）が、その位置周辺を走行した適切なタイミングにおいて車両１０４内に提供され搭乗者間において共有されると共に、これら搭乗者に関連する家族や宿泊施設の人々にも共有されることとなる。
ここで、上述した思い出情報レコードに含まれるコンテンツデータは、コンテンツ情報に対応し、上述した配信状態レコードに含まれる状態データは、配信状態情報に対応する。また、情報収集ユニット２１０と情報記録ユニット３２２は、コンテンツ情報取得部に対応し、状態通知ユニット３２６は、情報配信部に対応する。また、処理装置２００は第１の処理装置に対応し、処理装置３２０は第２の処理装置に対応する。
次に、本情報出力システム１００を構成する車載装置１０２及びサーバ１０６の動作について説明する。
＜車載装置の動作＞
以下、車載装置１０２の動作について説明する。車載装置１０２は、思い出情報収集処理と、思い出情報出力処理を行う。
〔思い出情報収集処理〕
まず、車載装置１０２が行う思い出情報収集処理の手順について、図７に示すフロー図にしたがって説明する。思い出情報収集処理は、車外カメラ２２２、室内カメラ２２４、及び又はマイクロホン２３４により、画像、映像、及び又は音を収集して、これらの画像、映像、音をコンテンツデータとする思い出情報を生成する処理である。
本処理は、例えばタッチパネル２４２を介してユーザから情報収集動作の開始指示を受信したことに応じて開始する。ただし、本処理は、上記のようなユーザからの開始指示に限らず、特定のイベントの発生をトリガとして開始するものとすることもできる。例えば、室内カメラ２２４の画像から車両内の会話の盛り上がり状態を検出したこと（例えば、搭乗者の笑顔の頻度や持続時間が所定の閾値を超えて検出されたこと）により、及び又はマイクロホン２３４により車両内の特定の状況を検知したこと（例えば、搭乗者の発話の長さや頻度、声の大きさが所定の閾値を超えて検出されたこと）により、本処理を開始するものとすることができる。
処理を開始すると、車載装置１０２の情報収集ユニット２１０は、まず、思い出情報のコンテンツデータの取得を開始する（Ｓ１００）。コンテンツデータは、ホスト車両１０４の車外環境の画像、映像、ホスト車両１０４の車室内の画像、映像、及び又は当該車室内における音で構成される。情報収集ユニット２１０は、車外カメラ２２２、室内カメラ２２４、及び又はマイクロホン２３４により、これらの画像、映像、及び又は音を取得する。
次に、情報収集ユニット２１０は、室内カメラ２２４により取得される車室内の画像からホスト車両１０４の搭乗者を認識し、各搭乗者を示す人物識別情報を生成する（Ｓ１０２）。そして、ステップＳ１００のコンテンツデータの取得開始からの経過時間が、所定の収集時間を経過しているか否かを判断し（Ｓ１０４）、経過していないときは（Ｓ１０４、Ｎｏ）、ステップＳ１０４に戻って経過するまで待機する。
一方、所定の収集時間を経過したときは（Ｓ１０４、Ｙｅｓ）、コンテンツデータの取得を終了し（Ｓ１０６）、測位装置２２６が出力する測位データ（例えば、ＧＰＳデータ）によりホスト車両１０４の現在位置を示す位置識別情報を生成する（Ｓ１０８）。そして、情報収集ユニット２１０は、上記取得したコンテンツデータと、自装置である車載装置１０２の装置識別情報と、ステップＳ１０２で生成した搭乗者の人物識別情報と、ステップＳ１０８で生成した位置識別情報と、を含む思い出情報記録要求を生成し（Ｓ１１０）、当該生成した思い出情報記録要求を、通信器２０２によりサーバ１０６へ送信して（Ｓ１１２）、本思い出情報収集処理を終了する。
なお、本実施形態では、コンテンツデータの取得開始から所定の収集時間の経過後にコンテンツデータの収集を終了して思い出情報記録要求を送信するものとしたが、これ限らず、例えば、タッチパネル２４２を介してユーザから情報収集動作の終了指示を受信するまで、所定の時間間隔（例えば１５分間隔）で、繰り返し所定の収集時間だけコンテンツデータを収集して思い出情報記録要求を送信したり、上記終了指示を受信するまで連続的にコンテンツデータを収集して、上記終了指示を受信したことに応じて当該コンテンツデータの収集を終了して思い出情報記録要求を送信するものとしてもよい。
〔思い出情報出力処理〕
次に、車載装置１０２が行う思い出情報出力処理について、図８に示すフロー図にしたがって説明する。思い出情報出力処理は、搭乗者の人物識別情報とホスト車両１０４の現在位置の位置識別情報とを含む思い出情報提供要求をサーバ１０６へ送信し、サーバ１０６が当該思い出情報提供要求を受信したことに応じて送信する思い出情報レコードを受信して、当該受信した思い出情報レコードに含まれるコンテンツデータの画像、映像、及び又は音を、ディスプレイ２４０、及び又はスピーカ２３２により出力する処理である。本処理は、例えば、タッチパネル２４２を介してユーザから思い出情報出力動作の開始指示を受信したことに応じて開始する。
処理を開始すると、まず、車載装置１０２の入力情報取得ユニット２１２は、室内カメラ２２４によりホスト車両１０４の車室内の画像を取得し、当該取得した車室内画像からホスト車両１０４の各搭乗者の人物識別情報を生成する（Ｓ２００）。次に、入力情報取得ユニット２１２は、測位装置２２６が出力する測位データ（例えば、ＧＰＳデータ）からホスト車両１０４の現在位置を示す位置識別情報を生成し（Ｓ２０２）、上記生成した人物識別情報及び位置識別情報と、自装置である車載装置１０２の装置識別情報と、を含む思い出情報提供要求を生成して、サーバ１０６へ送信する（Ｓ２０４）。
次に、車載装置１０２は、サーバ１０６から送信される思い出情報レコードを通信器２０２により受信したか否かを判断し（Ｓ２０６）、受信していないときは（Ｓ２０６、Ｎｏ）、ステップＳ２０２に戻って処理を繰り返す。一方、サーバ１０６から思い出情報レコードを受信したときは（Ｓ２０６、Ｙｅｓ）、車載装置１０２の情報出力ユニット２１４は、受信した思い出情報レコードに含まれるコンテンツデータの画像、映像、及び又は音の再生を開始する（Ｓ２０８）。当該コンテンツデータの画像、映像、及び又は音の再生は、例えば、ＡＶ装置２２０を介してディスプレイ２４０及び又はスピーカ２３２に画像、映像、及び又は音を出力することにより行うものとすることができる。
ステップＳ２０８における思い出情報レコードの再生（すなわち、思い出情報レコードに含まれるコンテンツデータの画像、映像、及び又は音の再生）の開始後、車載装置１０２の状態取得ユニット２１６は、室内カメラ２２４及び又はマイクロホン２３４により、ホスト車両１０４の車室内の画像、映像、及び又は音で構成される状態データの取得を開始する（Ｓ２１０）。
次に、情報出力ユニット２１４は、ステップＳ２０８において開始した思い出情報レコードの再生が終了したか否か（すなわち、当該思い出情報レコードのコンテンツデータを最後まで再生したか否か）を判断し（Ｓ２１２）、終了していないときは（Ｓ２１２、Ｎｏ）、ステップＳ２１２に戻って終了するまで再生を継続する。
一方、再生が終了したときは（Ｓ２１２、Ｙｅｓ）、状態取得ユニット２１６は、状態データの取得を終了し（Ｓ２１４）、上記再生した思い出情報レコードに含まれている思い出レコード識別情報、上記取得した状態データ、自装置である車載装置１０２の装置識別情報、及び当該状態データを配信すべき端末装置の端末識別情報、を含む配信状態記録要求を生成する（Ｓ２１６）。そして、当該生成した配信状態記録要求を、通信器２０２により、サーバ１０６へ送信して（Ｓ２１８）、本思い出情報出力処理を終了する。
なお、車載装置１０２が複数の思い出情報レコードを連続して受信したときは、ステップＳ２１８において配信状態記録要求をサーバ１０６へ送信した後に、ステップＳ２０８に戻って次の思い出情報レコードの再生を開始するものとし、受信した全ての思い出情報レコードの再生が終了するまで、ステップＳ２０８からＳ２１８までの処理を繰り返すものとすることができる。
また、思い出情報レコードのコンテンツデータに含まれる車外環境の画像又は映像と、車室内の画像又は映像とは、例えば、ディスプレイ２４０上に表示される２つのウィンドウ内でそれぞれ同時に再生されるものとすることができる。
＜サーバの動作＞
次に、サーバ１０６の動作について説明する。サーバ１０６は、思い出情報記録処理と、思い出情報配信処理と、配信状態通知処理と、を行う。
〔思い出情報記録処理〕
まず、サーバ１０６が行う思い出情報記録処理の手順について、図９に示すフロー図にしたがって説明する。思い出情報記録処理は、サーバ１０６が、いずれかの車載装置１０２が送信した思い出情報記録要求を通信器３０２により受信したときに、開始する。
処理を開始すると、まず、サーバ１０６の処理装置３２０の情報記録ユニット３２２は、受信した思い出情報記録要求から思い出情報レコードを生成する（Ｓ３００）。すなわち、情報記録ユニット３２２は、受信した思い出情報記録要求に含まれたコンテンツデータ、位置識別情報、及び人物識別情報に、固有の思い出レコード識別情報を加えて、思い出情報レコードを生成する。
次に、情報記録ユニット３２２は、生成した思い出情報レコードを、記憶装置３００が記憶する思い出情報ＤＢ３１０に追加して保存して（Ｓ３０２）、本思い出情報記録処理を終了する。
〔思い出情報配信処理〕
次に、サーバ１０６が行う思い出情報配信処理の手順について、図１０に示すフロー図にしたがって説明する。思い出情報配信処理は、サーバ１０６が、いずれかの車載装置１０２が送信した思い出情報提供要求を通信器３０２により受信したときに、開始する。
処理を開始すると、まず、サーバ１０６の処理装置３２０の情報抽出ユニット３２４は、受信した思い出情報提供要求に基づいて、思い出情報ＤＢ３１０から思い出情報レコードを抽出する（Ｓ４００）。すなわち、情報抽出ユニット３２４は、受信した思い出情報提供要求に含まれるいずれかの人物識別情報と同じ人物識別情報を含む思い出情報レコードのうち、上記思い出情報提供要求に含まれた位置識別情報が示す位置と同じか又は当該位置から所定の距離範囲内の位置を示す位置識別情報を含む思い出情報レコードを、思い出情報ＤＢ３１０から抽出する。
次に、情報抽出ユニット３２４は、上記抽出した思い出情報レコードを、上記受信した思い出情報提供要求の送信元である車載装置１０２へ送信する（Ｓ４０２）。すなわち、情報抽出ユニット３２４は、上記受信した思い出情報提供要求に含まれた装置識別情報を付して、上記抽出した思い出情報レコードを、通信器３０２により送信する。送信された思い出情報レコードを受信した車載装置１０２は、当該受信した思い出情報レコードに付された装置識別情報が自装置の装置識別情報と一致すれば、当該受信した思い出情報レコードは自装置に向けて送信されたものと判断し、当該受信した思い出情報レコードについての処理を行う。
次に、情報抽出ユニット３２４は、上記抽出した思い出情報レコードを送信したことを示す配信レコードを生成する（Ｓ４０４）。すなわち、情報抽出ユニット３２４は、送信した思い出情報レコードの思い出レコード識別情報と、送信先である車載装置１０２の装置識別情報と、固有の配信レコード識別情報と、により配信レコードを構成する。
そして、情報抽出ユニット３２４は、生成した配信レコードを、記憶装置３００が記憶する配信ログ３１４に追加して保存し（Ｓ４０６）、本思い出情報配信処理を終了する。
〔配信状態通知処理〕
次に、サーバ１０６が行う配信状態通知処理の手順について、図１１に示すフロー図にしたがって説明する。配信状態通知処理は、サーバ１０６が、いずれかの車載装置１０２が送信した配信状態記録要求を通信器３０２により受信したときに、開始する。
処理を開始すると、まず、サーバ１０６の処理装置３２０の状態通知ユニット３２６は、受信した配信状態記録要求に基づき配信状態レコードを生成する（Ｓ５００）。すなわち、状態通知ユニット３２６は、受信した配信状態記録要求に含まれる状態データ、装置識別情報、思い出レコード識別情報、及び端末識別情報に、固有の状態レコード識別情報を加えて、配信状態レコードを生成する。
次に、状態通知ユニット３２６は、生成した配信状態レコードを、記憶装置３００が記憶する配信状態情報３１２に追加して保存した後（Ｓ５０２）、当該保存した配信状態レコードについての情報を、記憶装置３００が記憶する配信ログ３１４内の対応する配信レコードに追加して保存する（Ｓ５０４）。すなわち、状態通知ユニット３２６は、配信ログ３１４内の、上記生成した配信状態レコードに含まれた装置識別情報及び思い出レコード識別情報と一致する装置識別情報及び思い出レコード識別情報を含む配信レコードを特定し、当該特定した配信レコードに、上記生成した配信状態レコードに含まれた状態レコード識別情報を追加して保存する。
次に、状態通知ユニット３２６は、ステップＳ５００で生成した配信状態レコードに基づき、関連する各端末装置に向けて、関連する状態データと思い出情報レコードとを送信する（Ｓ５０６）。すなわち、状態通知ユニット３２６は、ステップＳ５００で生成した配信状態レコードに含まれた端末識別情報を有する各端末装置に向けて、当該配信状態レコードに含まれた状態データと、当該配信状態レコードに含まれた思い出レコード識別情報が示す思い出情報ＤＢ３１０内の思い出情報レコードと、を送信する。
次に、状態通知ユニット３２６は、ステップＳ５０２で保存した配信状態レコードを記憶装置３００から消去すると共に、ステップＳ５０４において保存した配信レコードを配信ログ３１４から消去して（Ｓ５０８）、配信状態通知処理を終了する。
なお、本実施形態では、配信レコードを生成して状態レコード等の送信が完了するまで当該配信レコードを保持するものとしたが、本実施形態においては配信レコードの生成は必須ではない。
また、本実施形態では、配信状態レコードの生成に続けて、所定の端末装置１０８等に状態データ等を送信するものとしたが、これに限らず、状態配信レコードを生成して記憶装置３００に保存した後、例えば端末装置１０８等から送信要求があったときに、当該保存した状態配信レコードの状態データ等を送信するものとしてもよい。この場合には、上記送信要求には注目する車両１０４の車載装置１０２の装置識別情報及び注目する人物の人物識別情報を含ませるものとし、サーバ１０６の状態通知ユニット３２６は、配信ログ３１４から、上記送信要求に含まれた装置識別情報及び人物識別情報と一致する装置識別情報及び人物識別情報を含む配信レコードを特定し、当該特定した配信レコードに含まれた状態レコード識別情報が示す配信状態レコードに基づいて、当該配信状態レコードに含まれた端末識別情報が示す端末装置１０８等に向けて状態データ等を送信するものとすることができる。また、この場合には、状態通知ユニット３２６は、端末装置１０８等からの送信要求に応じて状態データ等を送信した後、直ちに又は所定の期間が経過したときに、対応する配信レコード及び配信状態レコードを消去するものとすることができる。
以上、説明したように、本実施形態の情報出力システム１００は、或る人物の或る地理的位置における思い出（画像、映像、及び又は音）を思い出情報レコードとしてサーバ１０６に記憶しておき、当該人物が車両１０４に乗って当該位置周辺を走行したときに、当該車両１０４において当該思い出情報レコードの画像、映像、及び又は音を再生すると共に、所定の端末装置１０８等を介して当該車両１０４の搭乗者に関連する人々にも配信する。これにより、搭乗者の一人の思い出を搭乗者間において、及び又は搭乗者に関連する人々との間において、適切なタイミングで共有することができる。
なお、本実施形態では、サーバ１０６は車両１０４の外に設けられ、サーバ１０６において思い出情報が記憶され及び配信されるものとしたが、本発明はこの構成には限られない。例えば、図３に示すサーバ１０６が、各車載装置１０２内に設けられるか、又は各ホスト車両１０４内に設けられるものとしてもよい。この場合には、サーバ１０６の通信器３０２は、当該サーバ１０６を備える車載装置１０２の通信器２０２とのみ、例えば有線通信（例えばバス通信）により通信可能に接続される。サーバ１０６は、接続された車載装置１０２を介して、ホスト車両１０４内においてのみ収集された思い出情報等を記憶し、及び当該記憶した思い出情報を当該ホスト車両１０４内においてのみ提供するものとすることができる。
１００・・・情報出力システム、１０２・・・車載装置、１０４・・・車両、１０６・・・サーバ、１０８、１１０、１１２、１１４・・・端末装置、１２０、１２４・・・家、１２２、１２６・・・施設、２００、３２０・・・処理装置、２０２、３０２・・・通信器、２１０・・・情報収集ユニット、２１２・・・入力情報取得ユニット、２１４・・・情報出力ユニット、２１６・・・状態取得ユニット、２２０・・・ＡＶ装置、２２２・・・車外カメラ、２２４・・・室内カメラ、２２６・・・測位装置、２３０・・・操作表示装置、２３２・・・スピーカ、２３４・・・マイクロホン、２４０・・・ディスプレイ、２４２・・・タッチパネル、３００・・・記憶装置、３１０・・・思い出情報ＤＢ、３１２・・・配信状態情報、３１４・・・配信ログ、３２２・・・情報記録ユニット、３２４・・・情報抽出ユニット、３２６・・・状態通知ユニット。

Claims (8)

  1. 記憶装置と、当該記憶装置が記憶する情報を選択して出力する処理装置と、
    を備え、
    前記記憶装置には、画像、映像、及び又は音の情報で構成されるコンテンツ情報が、当該コンテンツ情報に関連する人物及び関連する地理的位置を示す人物識別情報及び位置識別情報に関連付けて記憶されており、
    前記処理装置は、
    車両の搭乗者である人物を示す人物識別情報及び当該車両の現在の地理的位置を示す位置識別情報を生成する入力情報取得部と、
    前記入力情報取得部が生成した位置識別情報が示す地理的位置と所定の距離範囲内において一致する位置を示す位置識別情報及び前記入力情報取得部が生成した人物識別情報と一致する人物識別情報に関連付けられた前記コンテンツ情報を、前記記憶装置から抽出する情報抽出部と、
    前記抽出したコンテンツ情報を、前記車両に搭載された表示装置及び又はスピーカから出力する情報出力部と、
    前記情報出力部が前記抽出したコンテンツ情報を出力しているときの、前記車両の車室内の画像、映像、及び又は音で構成される配信状態情報を生成する状態情報取得部とを備える、
    情報出力システム。
  2. 前記処理装置は、前記情報出力部が出力したコンテンツ情報と、前記状態情報取得部が生成した配信状態情報と、を前記車両の外部に存在する所定の端末装置に配信する情報配信部を更に備える、請求項１に記載の情報出力システム。
  3. 前記入力情報取得部は、
    前記車両に搭載されたカメラにより撮像された当該車両の搭乗者の顔画像から前記人物識別情報を生成する、
    請求項１又は２に記載の情報出力システム。
  4. 前記処理装置は、前記画像、映像、及び又は音の各情報を、前記車両に搭載された当該車両の外部環境及び又は車室内の画像及び又は映像を取得するカメラ、及び又は前記車両に搭載されたマイクロホンから取得して、前記コンテンツ情報として前記記憶装置に記憶させるコンテンツ情報取得部を、更に備える、
    請求項１から３のいずれか一項に記載の情報出力システム。
  5. 前記記憶装置及び前記処理装置は、前記車両に搭載された車載装置に設けられている、
    請求項１から４のいずれか一項に記載の情報出力システム。
  6. 前記車両に搭載された車載装置と、
    前記車載装置と通信可能に接続された、前記車両の外部に存在するサーバと、
    を備え、
    前記処理装置は、前記入力情報取得部及び前記情報出力部を含んだ第1の処理装置と、前記情報抽出部を含んだ第２の処理装置と、で構成されており、
    前記車載装置は、前記第１の処理装置の部分を備え、
    前記サーバは、前記記憶装置と、前記第２の処理装置と、を備える、
    請求項１から５のいずれか一項に記載の情報出力システム。
  7. 処理装置の入力情報取得部が、車両の搭乗者である人物を示す人物識別情報と、当該車両の現在の地理的位置を示す位置識別情報と、を生成するステップと、
    前記処理装置の情報抽出部が、画像、映像、及び又は音の情報で構成されるコンテンツ情報を当該コンテンツ情報に関連する人物及び関連する地理的位置を示す人物識別情報及び位置識別情報に関連付けて記憶する記憶装置から、前記生成された位置識別情報が示す地理的位置と所定の距離範囲内において一致する位置を示す位置識別情報及び前記生成された人物識別情報と一致する人物識別情報に関連付けられた前記コンテンツ情報を抽出するステップと、
    前記処理装置の情報出力部が、前記抽出されたコンテンツ情報を、前記車両に搭載された表示装置及び又はスピーカから出力するステップと、
    前記抽出したコンテンツ情報を出力しているときの、前記車両の車室内の画像、映像、及び又は音で構成される配信状態情報を生成するステップと、
    を有する、
    情報出力方法。
  8. 車両に搭載されたコンピュータである車載装置を、
    前記車両の搭乗者である人物を示す人物識別情報と、前記車両の現在の地理的位置を示す位置識別情報と、を生成する入力情報取得部と、
    画像、映像、及び又は音の情報で構成されるコンテンツ情報を当該コンテンツ情報に関連する人物及び関連する地理的位置を示す人物識別情報及び位置識別情報に関連付けて記憶する記憶装置から、前記入力情報取得部が生成した位置識別情報が示す地理的位置と所定の距離範囲内において一致する位置を示す位置識別情報及び前記入力情報取得部が生成した人物識別情報と一致する人物識別情報に関連付けられた前記コンテンツ情報を抽出する情報抽出部と、
    前記抽出されたコンテンツ情報を、前記車両に搭載された表示装置及び又はスピーカから出力する情報出力部と、
    前記情報出力部が前記抽出したコンテンツ情報を出力しているときの、前記車両の車室内の画像、映像、及び又は音で構成される配信状態情報を生成する状態情報取得部と、
    として機能させるプログラム。
JP2017120684A 2017-06-20 2017-06-20 情報出力システム、情報出力方法、及びプログラム Expired - Fee Related JP6582328B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017120684A JP6582328B2 (ja) 2017-06-20 2017-06-20 情報出力システム、情報出力方法、及びプログラム
US15/982,041 US11068529B2 (en) 2017-06-20 2018-05-17 Information output system, information output method, and program
CN201810521828.XA CN109101205B (zh) 2017-06-20 2018-05-28 信息输出系统、信息输出方法以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017120684A JP6582328B2 (ja) 2017-06-20 2017-06-20 情報出力システム、情報出力方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2019009498A JP2019009498A (ja) 2019-01-17
JP6582328B2 true JP6582328B2 (ja) 2019-10-02

Family

ID=64657407

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017120684A Expired - Fee Related JP6582328B2 (ja) 2017-06-20 2017-06-20 情報出力システム、情報出力方法、及びプログラム

Country Status (3)

Country Link
US (1) US11068529B2 (ja)
JP (1) JP6582328B2 (ja)
CN (1) CN109101205B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7091807B2 (ja) * 2018-04-23 2022-06-28 トヨタ自動車株式会社 情報提供システムおよび情報提供方法
US10992689B2 (en) * 2018-09-18 2021-04-27 The Boeing Company Systems and methods for relating network intrusions to passenger-owned devices
JP7169921B2 (ja) * 2019-03-27 2022-11-11 本田技研工業株式会社 エージェント装置、エージェントシステム、エージェント装置の制御方法、およびプログラム
JP6651189B1 (ja) * 2019-03-29 2020-02-19 株式会社 情報システムエンジニアリング 機械学習用のデータ構造、学習方法及び情報提供システム
JP7211250B2 (ja) * 2019-04-24 2023-01-24 トヨタ自動車株式会社 情報処理装置及び情報処理プログラム
CN116325715A (zh) * 2020-09-10 2023-06-23 日产自动车株式会社 信息输出装置和信息输出方法
CN113665489A (zh) * 2021-08-26 2021-11-19 武汉电动汽车技术开发有限公司 一种具有活动体肢体运动监测控制装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008039573A (ja) * 2006-08-04 2008-02-21 Denso Corp 思い出情報提示システム
US20100274410A1 (en) 2009-04-24 2010-10-28 Gm Global Technology Operations, Inc. Methods and systems for customizing content for an occupant of a vehicle
US20140309930A1 (en) 2013-04-15 2014-10-16 Flextronics Ap, Llc Automatic camera image retrieval based on route traffic and conditions
WO2013186894A1 (ja) * 2012-06-14 2013-12-19 パイオニア株式会社 経路探索装置、経路探索方法、経路探索プログラム及び記録媒体、並びに地点抽出装置
US20140188920A1 (en) * 2012-12-27 2014-07-03 Sangita Sharma Systems and methods for customized content
US10284651B2 (en) * 2014-02-27 2019-05-07 Harman International Industries, Incorporated Data aggregation and delivery
JP2015230519A (ja) * 2014-06-03 2015-12-21 株式会社デンソー 車両用思い出共有システム、車載機及び思い出共有プログラム
JP2016012338A (ja) * 2014-06-04 2016-01-21 株式会社Ｎｔｔドコモ データ提示システム及びデータ提示方法
US20160066013A1 (en) * 2014-08-26 2016-03-03 Samsung Electronics Co., Ltd. Portable and personalized passenger infotainment system in connected car
CN204870584U (zh) 2015-08-13 2015-12-16 重庆嗨驾科技有限公司 一种车辆信号处理分发器
WO2017075330A1 (en) * 2015-10-30 2017-05-04 Faraday&Future Inc. System for determining common interests of vehicle occupants
US9915547B2 (en) * 2016-03-21 2018-03-13 Honda Motor Co., Ltd. Enhanced navigation information to aid confused drivers
US20170352185A1 (en) * 2016-06-02 2017-12-07 Dennis Rommel BONILLA ACEVEDO System and method for facilitating a vehicle-related virtual reality and/or augmented reality presentation
US20170350718A1 (en) * 2016-06-03 2017-12-07 Toyota Motor Sales, U.S.A., Inc. Information-attainment system based on monitoring an occupant
CN206086599U (zh) 2016-08-31 2017-04-12 常熟米豆智能设备科技有限公司 一种基于车联网的车载终端

Also Published As

Publication number Publication date
JP2019009498A (ja) 2019-01-17
US20180365242A1 (en) 2018-12-20
CN109101205A (zh) 2018-12-28
CN109101205B (zh) 2022-02-18
US11068529B2 (en) 2021-07-20

Similar Documents

Publication Publication Date Title
JP6582328B2 (ja) 情報出力システム、情報出力方法、及びプログラム
US10853629B2 (en) Method for identifying a user entering an autonomous vehicle
JP6862629B2 (ja) 見守り送迎システムにおける車両管理サーバ、車載端末、見守り方法、及びプログラム
JP5676147B2 (ja) 車載用表示装置、表示方法および情報表示システム
CN106993168B (zh) 一种监控方法、装置、电子设备及系统
JP6745419B1 (ja) 検出されたイベントに関する情報を提供するための方法、システム、および媒体
JP2014126912A (ja) 情報処理装置、通信端末装置および記憶媒体
US11521165B2 (en) Information processing system and information processing method
JP6573929B2 (ja) 情報提供車載装置、情報提供システム、及び情報提供プログラム
WO2015186304A1 (ja) 車両用思い出共有システム、車載機及び思い出共有プログラム
US20200191583A1 (en) Matching method, matching server, matching system, and storage medium
CN104935875A (zh) 基于车辆的媒体内容捕捉和远程服务整合
CN111801667B (zh) 车辆用操作辅助装置和车辆用操作辅助方法
JP6387287B2 (ja) 不明事項解消処理システム
KR20180137724A (ko) 음성 인식에 기반한 영상 공유 장치 및 그를 이용한 영상 공유 시스템
JP6216560B2 (ja) 通信端末、プログラム
JP6980960B2 (ja) 車両に積載され、車両に乗車しているユーザとコミュニケーションが可能な車載コミュニケーション装置、コミュニケーション方法及びプログラム
CN109168075B (zh) 一种视频信息传输方法、系统、服务器
JP6884557B2 (ja) 移動体を利用するユーザの対話型教師データ管理システム
JP2019105966A (ja) 情報処理方法及び情報処理装置
JP6559096B2 (ja) 情報出力システム及び情報出力方法
CN113179202A (zh) 用于分享数据的方法、电子设备和计算机存储介质
JP7123581B2 (ja) 情報処理方法及び情報処理装置
JP2020127175A (ja) 画像取得システム、画像取得方法、およびプログラム
JP2023095046A (ja) 情報処理システム

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170721

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170728

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190814

R150 Certificate of patent or registration of utility model

Ref document number: 6582328

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees