JP7264837B2 - 情報処理装置、情報処理方法及び情報処理システム - Google Patents

情報処理装置、情報処理方法及び情報処理システム Download PDF

Info

Publication number
JP7264837B2
JP7264837B2 JP2020009805A JP2020009805A JP7264837B2 JP 7264837 B2 JP7264837 B2 JP 7264837B2 JP 2020009805 A JP2020009805 A JP 2020009805A JP 2020009805 A JP2020009805 A JP 2020009805A JP 7264837 B2 JP7264837 B2 JP 7264837B2
Authority
JP
Japan
Prior art keywords
image
information
facility
moving body
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020009805A
Other languages
English (en)
Other versions
JP2021117318A (ja
Inventor
健太郎 高橋
洋尚 砂田
英男 長谷川
直美 近藤
隆 汐見
和哉 三ヶ島
潤 宇佐見
泰彦 福住
さやか 石川
克仁 山内
祐功 久野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Boshoku Corp
Toyota Motor Corp
Original Assignee
Toyota Boshoku Corp
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Boshoku Corp, Toyota Motor Corp filed Critical Toyota Boshoku Corp
Priority to JP2020009805A priority Critical patent/JP7264837B2/ja
Priority to US17/154,465 priority patent/US20210235025A1/en
Priority to CN202110087220.2A priority patent/CN113176867B/zh
Publication of JP2021117318A publication Critical patent/JP2021117318A/ja
Application granted granted Critical
Publication of JP7264837B2 publication Critical patent/JP7264837B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0265—Vehicular advertisement
    • G06Q30/0266—Vehicular advertisement based on the position of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G06Q30/0271—Personalized advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Signal Processing (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Vehicle Waterproofing, Decoration, And Sanitation Devices (AREA)
  • Digital Computer Display Output (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、移動体外部の映像を移動体内部のディスプレイに表示するための情報処理装置、情報処理方法及び情報処理システムに関する。
従来、バスなどの窓に仮想画像を投影することが提案されている（例えば特許文献１参照）。
特開２００８－１０８２４６号公報
車内から見える車外の風景等は、実在の世界であり、場所及び時間によって定まる。一般に、車内の人々は、目的の場所に向かっているに過ぎず、その移動過程で車外の風景等から刺激を受けることは少ない。そこで、本発明の目的は、車両等の移動体の中の人々に、その移動体外部に応じた刺激を好適に与えることを可能にすることにある。
本発明の実施形態の一側面は、制御部を備える情報処理装置によって例示される。本制御部は、移動体の内壁面の窓形ディスプレイに表示するための前記移動体の外部の映像を取得することと、取得した前記映像に前記移動体の位置に応じた画像を重ねて、前記窓形ディスプレイに表示することとを実行する。本発明の実施形態の他の側面は、上記情報処理装置等の少なくとも１つのコンピュータが実行する情報処理方法によっても例示される。さらにまた、本発明の実施形態の更なる他の側面は、上記情報処理装置等と情報発信装置を含む情報処理システムによっても例示される。
本情報処理装置によれば、移動体の中の人々に、その移動体外部に応じた刺激を好適に与えることが可能になる。
本発明の第１の実施の形態に係る映像表示システムの概念図である。 図１のシステムにおける、その構成を概略的に示したブロック図であり、特に自律走行車両の構成を示した図である。 図１のシステムにおける、その構成を概略的に示したブロック図であり、特にサーバ装置の構成を示した図である。 図１のシステムにおける、その構成を概略的に示したブロック図であり、特にユーザ装置の構成を示した図である。 図１のシステムにおける、サーバ装置から自律走行車両への画像提供処理のフローチャートである。 図１のシステムにおける、自律走行車両での画像表示処理のフローチャートである。 本発明の第２の実施の形態に係る映像表示システムの概念図である。 図７のシステムにおける、自律走行車両での画像表示処理のフローチャートである。
以下、図面を参照して、本発明の実施の形態に係る情報処理装置、その情報処理装置での情報処理方法、およびプログラムについて説明する。
図１に、本発明の第１の実施の形態に係る映像表示システムＳ１（単にシステムＳ１とも称する）を概念的に示す。システムＳ１は、自律走行車両１００（１００Ａ、・・・）と、サーバ装置２００とを備える。システムＳ１は、更にユーザ装置３００（３００Ａ、・・・）を有する。
自律走行車両１００はシステムＳ１の映像表示サービスを実行可能に構成された移動体の一例である。サーバ装置２００は、情報処理装置であり、ネットワークＮ上のコンピュータである。サーバ装置２００は、ネットワークＮを介して、自律走行車両１００の各々と通信可能に構成されていて、自律走行車両１００の情報処理装置１０２とネットワークＮを介して連携する。なお、図１では、複数の自律走行車両１００（１００Ａ、・・・）のうち自律走行車両１００Ａのみを例示する。しかし、これは自律走行車両１００の数等を限定するものではなく、それは幾つであってもよい。
サーバ装置２００は、他のサーバ装置等ともネットワークＮを介して通信可能である。サーバ装置２００は、自律走行車両１００の各々と通信可能に構成されていることに加えて、ネットワークＮを介して、ユーザ装置３００の各々とも通信可能に構成されている。
ユーザ装置３００はネットワークＮを介してサーバ装置２００と通信可能に構成されている。また、ユーザ装置３００はネットワークＮを介して自律走行車両１００とも通信可能に構成されている。図１では、複数のユーザ装置３００（３００Ａ、・・・）のうちのユーザ装置３００Ａのみを例示している。しかし、これはユーザ装置の数等を限定するものではなく、それは幾つであってもよい。
自律走行車両１００は、Electric Vehicle（ＥＶ）パレットとも呼ばれる。自律走行車両１００は、自動運転及び無人運転可能な移動体であり、様々な寸法のものが存在する。例えば、１人の乗車のみが可能な小型のものから、数十人が乗車できる大型のものまで、様々なサイズの自律走行車両１００が利用可能である。
自律走行車両１００は、それ自体の制御のための制御機能及び通信機能を有している。自律走行車両１００は、ネットワークＮ上のサーバ装置と連携して、自律走行車両１００単独で実行可能な処理に加えて、ネットワークＮ上のサーバ装置によって付加される機能及びサービスをユーザに提供することができる。なお、自律走行車両１００は、必ずしも無人車両である必要はない。例えば、営業要員、接客要員又は保安要員などが乗車していてもよい。例えば、自律走行車両１００が提供するサービスが飲食サービスであるとき、料理人、ウエイターなどが乗車し得、自律走行車両１００が提供するサービスが保育サービスであるとき保育士などが乗車し得る。また、自律走行車両１００は、必ずしも完全なる自律走行が可能な車両でなくてもよい。例えば、状況に応じて人が運転ないし運転の補助を行う車両であってもよい。なお、本第１の実施の形態では、移動体として自律走行車両１００を採用するが、システムＳ１における移動体は、自律走行が不可能な車両、つまりドライバによる運転操作が必要不可欠な車両を含んでもよい。本第１の実施の形態では、自律走行車両１００Ａは、所定の安全装置が作動したとき、自律走行は禁止され、ドライバによる運転のみが可能になるように構成されている。
上述のように、自律走行車両１００は、ユーザ装置３００（３００Ａ、・・・）ともネットワークＮを介して通信可能に構成されている。ユーザ装置３００は、ユーザからの入
力及びそれに準じる操作を受け付け、サーバ装置２００に対してのみならず、ネットワークＮを介して自律走行車両１００とも通信することができる。
サーバ装置２００は、ここでは主に、自律走行車両１００に対して運行を指令する装置である。例えば、サーバ装置２００は、サービスを希望するユーザ等の乗車希望者をいつ、どこで乗車させ、いつ、どこで降ろすのかについての走行計画を含む運行指令を、自律走行車両１００に送信する。
図１のシステムＳ１における各構成要素について、以下、詳しく説明する。図２は、自律走行車両１００、サーバ装置２００、及び、ユーザ装置３００を含むシステムＳ１の構成を概略的に示したブロック図であり、特に自律走行車両１００Ａの構成を示した図である。図２では、自律走行車両１００の一例として自律走行車両１００Ａの構成を示す。他の自律走行車両１００（１００Ｂ、・・・）は、自律走行車両１００Ａと同様の構成を備える。
図２の自律走行車両１００Ａは、情報処理装置１０２を備え、その機能を実質的に担う制御部１０４を有する。自律走行車両１００Ａは、サーバ装置２００から取得した運行指令に従って走行などをすることができる。具体的には、自律走行車両１００Ａは、ネットワークＮを介して取得した運行指令に基づいて、車両の周辺をセンシングしながら適切な方法で走行する。そして、この走行に際し、自律走行車両１００Ａは、各種ユーザにサービスを提供することができる。
自律走行車両１００Ａは、さらに、センサ１０６、位置情報取得部１０８、駆動部１１０、通信部１１２、記憶部１１４を含んで構成される。自律走行車両１００Ａは、バッテリから供給される電力で動作する。
センサ１０６は、車両周辺のセンシングを行う手段である。センサ１０６は、典型的にはステレオカメラ、レーザスキャナ、Light Detection and Ranging、Laser Imaging Detection and Ranging（ＬＩＤＡＲ）、レーダなどを含む。センサ１０６が取得した情報は、制御部１０４に送信される。センサ１０６は、自車両が自律走行を行うためのセンサを含む。センサ１０６は、自律走行車両１００Ａの車体に設けられたカメラ１０７を含む。例えば、カメラ１０７は、Charged-Coupled Devices（ＣＣＤ）、Metal-Oxide-Semiconductor（ＭＯＳ）あるいはComplementary Metal-Oxide-Semiconductor（ＣＭＯＳ）等のイ
メージセンサを用いた撮影装置で有り得る。カメラ１０７の映像の代わりに、車載型の映像記録装置による映像が用いられてもよい。ここでは、車体の複数の箇所に複数のカメラ１０７が設けられている。具体的には、図１に示すように、車体の前方、後方、左右側方にそれぞれカメラ１０７が設置されている。なお、カメラ１０７は車体にたった１つのみ設けられてもよく、例えば３６０°撮影が可能なカメラであってもよい。
位置情報取得部１０８は、車両の現在位置を取得する手段であり、典型的にはGlobal Positioning System（ＧＰＳ）受信器などを含む。位置情報取得部１０８が取得した情報
は、制御部１０４に送信される。衛星信号受信器としてのＧＰＳ受信器は、複数のＧＰＳ衛星からの信号を受信する。各ＧＰＳ衛星は、地球の周囲を周回する人工衛星である。衛星測位システムつまりNavigation Satellite System（ＮＳＳ）はＧＰＳに限られない。
種々の衛星測位システムからの信号に基づいて、位置情報が検出されてもよい。ＮＳＳは、全地球航法衛星システムに限定されず、準天頂衛星システム（Quasi-Zenith Satellite
System）を含み得、例えば、欧州の“ガリレオ”又は、ＧＰＳと一体運用される日本国
の“みちびき”を含み得る。
制御部１０４は、センサ１０６、位置情報取得部１０８等から取得した情報に基づいて
、自律走行車両１００Ａの制御を行うコンピュータである。制御部１０４は、サーバ装置２００からの運行指令を受けて、移動体である自律走行車両１００Ａの走行、各種ユーザの乗降作業を制御する制御手段の一例である。
制御部１０４は、ＣＰＵと、主記憶部とを有し、プログラムにより情報処理を実行する。ＣＰＵはプロセッサともいう。制御部１０４の主記憶部は主記憶装置の一例である。制御部１０４におけるＣＰＵは、その主記憶部に実行可能に展開されたコンピュータプログラムを実行し、各種機能を提供する。制御部１０４における主記憶部は、ＣＰＵが実行するコンピュータプログラム及び／又はデータ等を記憶する。制御部１０４における主記憶部は、Dynamic Random Access Memory（ＤＲＡＭ）、Static Random Access Memory（Ｓ
ＲＡＭ）、Read Only Memory（ＲＯＭ）等である。
制御部１０４は、記憶部１１４と接続されている。記憶部１１４は、所謂外部記憶部であり、制御部１０４の主記憶部を補助する記憶領域として使用され、制御部１０４のＣＰＵが実行するコンピュータプログラム及び／又はデータ等を記憶する。記憶部１１４は、ハードディスクドライブ、Solid State drive（ＳＳＤ）等である。
制御部１０４は、機能モジュールとして、情報取得部１０４１、計画生成部１０４２、環境検出部１０４３、タスク制御部１０４４、画像処理部１０４５、映像受取部１０４６、重ね処理部１０４７を有している。各機能モジュールは、主記憶部及び／又は記憶部１１４に記憶されたプログラムを制御部１０４つまりそのうちのＣＰＵによって実行することで実現される。
情報取得部１０４１は、サーバ装置２００から運行指令等の情報を取得する。運行指令は、その自律走行車両１００Ａが提供するサービスの利用を希望するユーザ又は乗車希望者に関する乗車位置（乗車場所）、降車位置（降車場所）、乗車時刻及び降車時刻の情報を含み得る。更に、運行指令は、そのユーザのユーザ情報（例えばユーザＩＤ又は、ユーザに対応付けられているユーザ装置３００の端末情報）を含み得る。情報取得部１０４１は、定期的に又は不定期に、自車両の情報を取得し、例えば乗車状況を取得し、記憶部１１４の自車両情報データベース１１４１に記憶させる。情報取得部１０４１は、ユーザ装置３００からも情報を取得する。自律走行車両１００Ａに乗車しているユーザＵのユーザ装置３００がユーザ装置３００Ａのとき、そのユーザ装置３００Ａからユーザ装置３００Ａに固有のユーザＩＤなどを情報取得部１０４１は取得することができる。
計画生成部１０４２は、サーバ装置２００から取得した運行指令に基づいて、特にそこに含まれる走行計画の情報に基づいて、自車両の運行計画を生成する。なお、計画生成部１０４２が生成した運行計画は、後述するタスク制御部１０４４へ送信される。本実施の形態において、運行計画とは、自律走行車両１００Ａが走行するルートと、ルートの一部または全部において自律走行車両１００Ａが行うべき処理を規定したデータである。運行計画に含まれるデータの例として、例えば、以下のようなものが挙げられる。
（１）自車両が走行するルートを道路リンクの集合によって表したデータ
自車両が走行するルートは、例えば、記憶部１１４に記憶された地図データを参照し、運行指令に含まれる走行計画の情報をベースにしつつ、与えられた出発地と目的地に基づいて自動的に生成してもよい。また、ルートは、外部のサービスを利用して生成してもよい。
（２）ルート上の地点において自車両が行うべき処理を表したデータ
ルート上において自車両が行うべき処理には、例えば、「ユーザの乗車」、「ユーザの降車」、「提供するサービス」といったものがあるが、これらに限られない。
環境検出部１０４３は、センサ１０６が取得したデータに基づいて、車両周辺の環境を検出する。検出の対象は、例えば、車線の数及び位置、自車両の周辺に存在する車両の数及び位置、自車両の周辺に存在する障害物（例えば歩行者、自転車、構造物、建築物など）の数及び位置、道路の構造、道路標識などであるが、これらに限られない。自律的な走行を行うために必要なものであれば、検出の対象はどのようなものであってもよい。また、環境検出部１０４３は、検出した物体をトラッキングしてもよい。例えば、１ステップ前に検出した物体の座標と、現在の物体の座標との差分から、当該物体の相対速度を求めてもよい。環境検出部１０４３が検出した、環境に関するデータ（以下、環境データ）は、後述するタスク制御部１０４４へ送信される。
タスク制御部１０４４は、計画生成部１０４２が生成した運行計画と、環境検出部１０４３が生成した環境データ、ならびに、位置情報取得部１０８が取得した自車両の位置情報に基づいて、移動体である自車両の運行つまり走行を制御する。例えば、所定のルートに沿って走行し、かつ、自車両を中心とする所定の安全領域内に障害物が進入しないように自車両を走行させる。車両を自律走行させる方法については、公知の方法を採用することができる。また、タスク制御部１０４４は、計画生成部１０４２が生成した運行計画に基づいて、走行以外のタスクも実行する。タスクとしては、ユーザの乗降、受領証又は預り証の発行等を例示できる。
画像処理部１０４５は、情報取得部１０４１を介してサーバ装置２００等から取得した画像つまり画像データを処理する。画像処理部１０４５は、取得した画像データを記憶部１１４の画像データベース１１４２に記憶する。取得した画像データは、位置情報と関連付けられていて、位置情報で検索及び抽出可能に画像データベース１１４２に記憶される。なお、記憶部１１４は、予め複数の画像データを記憶していてもよい。この場合、画像処理部１０４５は、サーバ装置２００から取得した画像に関する情報（例えば、画像と位置の対応リスト）に基づいて記憶する画像データと位置情報とを関連付けるとよい。この画像に関する情報も画像データベース１１４２に記憶され得る。画像データベース１１４２は、サーバ装置２００から取得する画像データと、記憶部１１４に予め記憶する画像データとを含んでもよい。また、ここでは、画像データは、ユーザの特性に応じて検索及び抽出可能に画像データベース１１４２に記憶される。ユーザの特性としては、例えば、性別、年齢、趣味、嗜好等をあげることができる。例えばユーザの特性に「子供」というカテゴリが含まれるとき、「子供」というカテゴリの画像データを抽出可能に、画像データベース１１４２は構築される。
自律走行車両の位置に応じた画像又は画像に関する情報（以下、画像等）は、店などの施設又は、商店街、役所、自治体などの組織に関連するとよい。
画像処理部１０４５は、サーバ装置２００からの運行指令の走行計画に関係する画像等を一度に取得してもよいが、自律走行車両１００Ａの移動とともに、自律走行車両の位置に応じた画像等を取得することができる。自律走行車両１００Ａの移動とともに、後述するように、サーバ装置２００は、複数の自律走行車両１００から、自律走行車両１００に関する位置情報などの情報を取得し、その位置に応じた画像などを自律走行車両１００に提供することができる。自律走行車両１００の移動とともに行われる画像等の提供は、自動的に行われてもよく、自律走行車両１００からの要求指令に基づいて行われてもよい。このように、自律走行車両１００Ａが移動とともにその位置に応じた画像等を取得することで、例えば記憶部１１４の画像等の記憶容量を低減することができる。
映像受取部１０４６は、自律走行車両１００Ａの内壁面の窓形ディスプレイ（以下、ディスプレイ）Ｗに表示するための風景等の映像を取得する。カメラ１０７で撮影した自律
走行車両１００Ａの外部の風景等の映像はディスプレイＷにリアルタイムで表示されている。ディスプレイＷは、ここでは不透明なものであるが、窓として機能するように自律走行車両１００Ａの内壁面に設けられている。映像受取部１０４６は、あたかもそのディスプレイＷが窓であったとしたときに車内において見えるであろう風景等の映像をデータとして受け取る。なお、ディスプレイＷは、電子的な窓であり、例えば、映像を、又は映像及び画像の組み合わせをデジタル表示する。このディスプレイＷは車外に対して開閉可能に構成されてもよい。この場合、ディスプレイＷは、閉じたときに車室内を密閉性良くシールされるとよい。
重ね処理部１０４７は、移動体である自律走行車両１００Ａの位置に応じた画像を、映像受取部１０４６が受け取った映像に重ねる処理を実行し、それをディスプレイＷに表示することを実行する。例えば、多数のおもちゃ屋がある通りを自律走行車両１００Ａが走行しているとき、おもちゃの宣伝のための画像を、ディスプレイＷに表示されている映像に重ねて表示することを行うことができる。このように窓形のディスプレイＷのリアルな映像に、自律走行車両１００Ａの位置に応じた画像を重ねて表示することで、自律走行車両１００Ａの走行地域の紹介、その走行地域でアピールしたい物又はサービス等の宣伝が可能になる。この重ね合わされる画像は、画像データベース１１４２を位置情報に基づいて検索することで抽出可能である。ただし、重ね合わされる画像は、サーバ装置２００から直接的に取得されて、ディスプレイＷの風景等に重ね合わされるようにしてもよい。また、重ね処理部１０４７は、画像を映像に重ねる所定条件を満たさないとき、ディスプレイＷの映像にその位置に応じた画像を重ねることを禁止する。所定条件は、ここでは、所定の安全装置が作動していないとき、と定められている。しかし、所定条件はこれに限定されない。例えば、自律走行車両１００Ａが自律走行していないとき、画像を映像に重ねる所定条件を満たさないと判定されてもよい。
駆動部１１０は、タスク制御部１０４４が生成した指令に基づいて、自律走行車両１００Ａを走行させる手段である。駆動部１１０は、例えば、車輪を駆動するためのモータ、インバータ、ブレーキ、ステアリング機構及び二次電池等を含んで構成される。
通信部１１２は、自律走行車両１００ＡをネットワークＮに接続するための通信手段を有する。本実施の形態では、自律走行車両１００Ａは、ネットワークＮ経由で他の装置、例えばサーバ装置２００及びユーザ装置３００Ａと通信を行うことができる。なお、通信部１１２は、自車両である自律走行車両１００Ａが他の自律走行車両１００（１００Ｂ、・・・）と車々間通信を行うための通信手段をさらに有していてもよい。
次に、サーバ装置２００について説明する。サーバ装置２００は、複数の自律走行車両１００のそれぞれについてのサービスに関する情報など、種々の運行指令の情報を提供する装置である。
サーバ装置２００は、情報処理装置であり、図３に示すように、通信部２０２、制御部２０４、記憶部２０６を有して構成される。通信部２０２は、通信部１１２と同様であり、サーバ装置２００をネットワークＮに接続するための通信機能を有する。そして、サーバ装置２００の通信部２０２は、ネットワークＮ経由で自律走行車両１００及びユーザ装置３００と通信を行うための通信インタフェースである。制御部２０４は、制御部１０４と同様にＣＰＵと主記憶部とを有し、プログラムにより情報処理を実行する。もちろん、このＣＰＵもプロセッサであり、制御部２０４の主記憶部も主記憶装置の一例である。制御部２０４におけるＣＰＵは、その主記憶部に実行可能に展開されたコンピュータプログラムを実行し、各種機能を提供する。制御部２０４における主記憶部は、ＣＰＵが実行するコンピュータプログラム及び／又はデータ等を記憶する。制御部２０４における主記憶部は、ＤＲＡＭ、ＳＲＡＭ、ＲＯＭ等である。
制御部２０４は、記憶部２０６と接続されている。記憶部２０６は、外部記憶部であり、制御部２０４の主記憶部を補助する記憶領域として使用され、制御部２０４のＣＰＵが実行するコンピュータプログラム及び／又はデータ等を記憶する。記憶部２０６は、ハードディスクドライブ、ＳＳＤ等である。
制御部２０４は、サーバ装置２００の制御を司る手段である。制御部２０４は、図３に示すように、機能モジュールとして、情報取得部２０４１、車両管理部２０４２、画像管理部２０４３、情報提供部２０４４を有している。これらの各機能モジュールは、主記憶部及び／又は記憶部２０６に記憶されたプログラムを制御部２０４のＣＰＵによって実行することで実現される。
情報取得部２０４１は、自律走行車両１００及びユーザ装置３００から各種情報を取得する。そして、取得した情報を、車両管理部２０４２等に送信する。また、情報取得部２０４１は、自律走行車両１００から位置情報及び、自車両情報データベース１１４１の情報などを定期的に取得し、車両管理部２０４２に送信する。更に、情報取得部２０４１は、各種店舗等の施設又は組織等からそれらに関連する画像等、例えば画像データを取得し、それを画像管理部２０４３に送信する。
車両管理部２０４２は、管理下にある複数の自律走行車両１００の情報を管理する。具体的には、車両管理部２０４２は、所定の周期ごとに、複数の自律走行車両１００から、自律走行車両１００に関するデータ等の情報を情報取得部２０４１を介して受信し、記憶部２０６の車両情報データベース２０６１に記憶させる。自律走行車両１００に関する情報として、位置情報と車両情報を用いる。車両情報は、例えば、自律走行車両１００の識別子、用途・種別、待機地点（車庫又は営業所）に関する情報、扉タイプ、車体サイズ、荷室サイズ、積載量、満充電時における走行可能距離、現時点における走行可能距離、現在のステータスなどである。しかし、車両情報はこれ以外であってもよい。現在のステータスは、ユーザの乗車状況、サービスの提供状況などの情報を含む。
画像管理部２０４３は、情報取得部２０４１を介して取得した画像等、例えば画像データを、記憶部２０６の画像総合データベース２０６２に記憶する。取得した画像データは、位置情報で検索可能に記憶される。なお、画像総合データベース２０６２、上記画像データベース１１４２と同じであってもよいが、ここでは異なる。ここでは、画像総合データベース２０６２は、管轄する地域つまり領域全域の画像データを記憶するが、上記画像データベース１１４２は一部の地域の画像データを記憶するに過ぎない。
情報提供部２０４４は、所定のプログラムに従って、各自律走行車両１００に、種々の運行指令の情報を提供する。そして、情報取得部２０４１が取得した情報に基づいて、ユーザ装置３００に関連付けられているユーザの自律走行車両１００への乗車の予定を生成して、自律走行車両１００に対する運行指令を生成する。この運行指令の生成のために、情報提供部２０４４は、記憶部２０６の地図情報データベースを参照することができる。情報提供部２０４４は、更に、自律走行車両１００毎に、その自律走行車両１００に適した画像等を画像総合データベース２０６２から抽出して、自律走行車両１００に送信する。この提供する画像等は、運行指令に基づき、自律走行車両１００が走行する可能性がある地域に関するものである。画像等は、自律走行車両１００の運行指令の情報とともに又はそれとは別に、自律走行車両１００に提供される。
次に、ユーザ装置３００について説明する。ユーザ装置３００は、例えば、携帯端末、スマートフォン、パーソナルコンピュータ等である。一例としての図４のユーザ装置３００Ａは、通信部３０２と、制御部３０４と、記憶部３０６とを有する。ユーザ装置３００
Ａの通信部３０２及び記憶部３０６は、サーバ装置２００の通信部２０２及び記憶部２０６のそれぞれと同様である。さらに、ユーザ装置３００Ａは、表示部３０８と、操作部３１０とを有する。表示部３０８は、例えば、液晶ディスプレイ、エレクトロルミネッセンスパネル等である。操作部３１０は、例えば、キーボード、ポインティングデバイス等であってもよい。より具体的には、本実施の形態では、操作部３１０はタッチパネルを含み、実質的に表示部３０８と一体化されている。
制御部３０４は、サーバ装置２００の制御部２０４と同様に、ＣＰＵと主記憶部とを有する。制御部３０４のＣＰＵは、記憶部３０６に記憶されたアプリケーションプログラム（以下、アプリケーション）３０６１を実行する。アプリケーション３０６１は、ウェブブラウザあるいはサーバ装置２００から配信される情報にアクセスするためのアプリケーションプログラムである。アプリケーション３０６１は、ＧＵＩを有し、ユーザによる入力、例えば、アクセスを受け付け、ネットワークＮを介して自律走行車両１００又はサーバ装置２００に送信する。ユーザ装置３００を介して、ユーザは、自律走行車両１００の運行情報をチェックし、利用することを希望する自律走行車両１００のサービスを入力することができる。ここでは、この入力は、ユーザ装置３００Ａからサーバ装置２００に送信されるが、自律走行車両１００に送信されてもよい。
なお、図２、図３及び図４では、自律走行車両１００とサーバ装置２００とユーザ装置３００が同一のネットワークＮで接続されている。ただし、この接続は複数のネットワークで実現されてもよい。例えば、自律走行車両１００とサーバ装置２００とを接続するネットワークと、サーバ装置２００とユーザ装置３００とを接続するネットワークとは異なるネットワークであってもよい。
上記構成を有するシステムＳ１における処理について、以下説明する。まず、図５に基づいて、サーバ装置２００から自律走行車両１００Ａへの画像等、例えば画像データの提供処理について説明する。
サーバ装置２００の情報提供部２０４４は、各自律走行車両１００に対する運行指令を生成する（ステップＳ５０１）。そして、情報提供部２０４４は、各自律走行車両１００に対する運行指令の走行計画の情報に基づいて自律走行車両１００が走行する可能性のある地域を特定する（ステップＳ５０３）。
そして、サーバ装置２００の情報提供部２０４４は、その特定した地域つまりその位置情報に基づいて記憶部２０６に記憶する画像総合データベース２０６２を検索して、その地域に関連する画像データ等の画像等を抽出する（ステップＳ５０５）。この抽出した画像データ等は、情報提供部２０４４により、運行指令と共に、自律走行車両１００に送信されるつまり提供される（ステップＳ５０７）。
一方、サーバ装置２００は、この運行指令を自律走行車両１００に送信するとき、自律走行車両１００の走行予定ルート及び走行予定時間等を、アプリケーション３０６１を介して、ユーザ装置３００から閲覧又は検索可能にする。ユーザ装置３００からの希望を情報取得部２０４１で受け付けたとき、サーバ装置２００の情報提供部２０４４は、そのユーザ装置３００の希望を示す情報（以下、希望情報）を対応する自律走行車両１００に送信する。この送信される希望情報は、乗車位置、降車位置及び／又は乗車希望時間を含み得る。そして、この希望情報には、ユーザの特性情報を含むことができる。ユーザ装置３００のユーザＩＤなどのユーザ情報に基づいて、記憶部２０６のユーザ情報データベース２０６３を検索することで、そのユーザ装置３００に関連付けられているユーザの性別、年齢及び／又は嗜好等を抽出できる。この抽出したユーザの特性情報を自律走行車両１００に提供してもよく、又は、そのユーザ特性に適合した画像データ等の画像等を抽出して
自律走行車両１００に提供してもよい。
次に、自律走行車両１００における画像表示処理について図６に基づいて説明する。図６のフローチャートにおけるルーチンは所定時間間隔で繰り返される。なお、自律走行車両１００の各々では、そのディスプレイＷにカメラ１０７で撮影した映像がリアルタイムで表示処理されている。ここでは、代表して、自律走行車両１００Ａでの処理について説明する。
自律走行車両１００Ａの重ね処理部１０４７は、所定条件を満たすか否かを判定する（ステップＳ６０１）。この所定条件としては、ここでは、所定の安全装置が作動していないこと、が規定されている。なお、所定の安全装置は、ユーザ等により緊急ボタンが押されたり、走行予定ルートからの所定の逸脱が検知されたりしたとき、作動する。所定条件が満たされないとき（ステップＳ６０１で否定判定）、重ね処理部１０４７は、ディスプレイＷの映像に、自律走行車両１００Ａの位置に応じた画像を重ねて表示することを禁止する（ステップＳ６０３）。これにより、ディスプレイＷには、カメラ１０７で撮影した映像がリアルタイムで表示され続ける。なお、これにより当該ルーチンを終了する。
一方、所定条件が満たされたとき（ステップＳ６０１で肯定判定）、重ね処理部１０４７は、位置情報を取得する（ステップＳ６０５）。ここでは、この位置情報は、位置情報取得部１０８により取得される。この位置情報の取得は、自律走行車両１００の移動とともに行われる。そして、重ね処理部１０４７は、この位置情報に基づいて、記憶部１１４に記憶する画像データベース１１４２を検索する。これにより、その位置に応じた施設又は組織に関連する画像データを抽出できないときつまり取得できないとき（ステップＳ６０７で否定判定）、ディスプレイＷにはカメラ１０７で撮影した映像がリアルタイムで表示され続ける（ステップＳ６０３）。これにより当該ルーチンは終了する。なお、ステップＳ６０７で取得を判定されるのは、上述の画像に関する情報であってもよい。
また、所定条件が満たされたとき（ステップＳ６０１で肯定判定）、画像処理部１０４５が、位置情報を取得して（ステップＳ６０５）、サーバ装置２００に画像等の要求指令を送ってもよい。このとき、画像処理部１０４５は、サーバ装置２００から、そのときの自律走行車両１００Ａの位置に応じた画像等を取得し（ステップＳ６０７で肯定判定）、重ね処理部１０４７に提供してもよい。
重ね処理部１０４７は、自律走行車両１００Ａの位置に応じた画像データを取得したとき（ステップＳ６０７で肯定判定）、映像受取部１０４６を介して映像を取得する（ステップＳ６０９）。これは、取得した画像データの画像をディスプレイＷに表示される映像に重ねて表示するように処理するためである。そして、重ね処理部１０４７は、取得した車外のリアルな映像に、その位置に応じた画像を重ねる処理を実行して、それをディスプレイＷに表示する（ステップＳ６１１）。図１では、アクセサリーショップが多い地域であるので、ディスプレイＷに、車外の風景等の映像Ｌと共に、アクセサリーとして指輪の画像Ｒ１、Ｒ２が表示される。なお、図１では、ディスプレイＷは車内にあるので、ディスプレイＷ、その映像及び画像を破線で表している。
以上説明したように、本第１の実施の形態によれば、自律走行車両１００のディスプレイＷに、車外の映像に重ねて、自律走行車両１００の位置に応じた画像が表示される。したがって、自律走行車両１００Ａの情報処理装置１０２の制御部１０４による処理により、その中のユーザに、その自律走行車両１００Ａの外部に応じた刺激を好適に与えることができる。
次に、第２の実施の形態について、図７及び図８に基づいて説明する。なお、以下では
、上記第１の実施の形態との相違点について、第２の実施の形態を説明し、重複説明を省略する。
第２の実施の形態の映像表示システムＳ２では、第１の実施の形態の映像表示システムＳ１の上記構成を有することに加えて、所定エリアに情報発信装置Ｄが設けられている。情報発信装置Ｄは、１つに限らず、複数設けられてもよい。図７では一例としての情報発信装置Ｄを示す。自律走行車両１００の制御部１０４と、情報発信装置Ｄは、情報処理システムの一例として処理を実行する。ただし、この情報処理システムは、さらにサーバ装置２００を含んでもよい。また、自律走行車両１００の制御部１０４と、サーバ装置２００とが、情報処理システムの一例として処理を実行してもよい。
情報発信装置Ｄは、ここでは、所定エリアの特定の店又は特定の施設の宣伝等のプロモーションのための画像データ（以下、発信画像データ）を発信する。情報発信装置Ｄが発信するのは画像に限定されず、上述の画像に関する情報であってもよい。自律走行車両１００の情報取得部１０４１が情報発信装置Ｄからの発信画像データを取得することができるように、通信部１１２は構成されている。自律走行車両１００の画像処理部１０４５は、情報取得部１０４１を介して情報発信装置Ｄから取得した画像つまり画像データを処理する。つまり、画像処理部１０４５は、取得した発信画像データを記憶部１１４の画像データベース１１４２に記憶する。図７の例では、情報発信装置Ｄは第１ダイヤモンドショップＤＳに関連付けられていて、ここでは第１ダイヤモンドショップＤＳの店頭に設置されている。
情報発信装置Ｄは、例えば、無線 Local Area Network（ＬＡＮ）のアクセスポイント
である。第１の実施の形態のサーバ装置２００は、ＣＰＵが主記憶部に搭載されたウェブサーバプログラム等を実行し、無線ＬＡＮのアクセスポイントを通じて様々な情報を発信する。ただし、サーバ装置２００は、地域ごとに設けられたパーソナルコンピュータ等の情報処理装置であってもよい。
情報発信装置Ｄは、複数のアクセスポイントを有してもよい。サーバ装置２００は、各アクセスポイントの識別情報とともに各アクセスポイントの位置情報と、各アクセスポイントのカバーする範囲を示す情報を有している。位置情報は、例えば、緯度と経度である。カバーする範囲は、例えば、アクセスポイントの位置を中心とした半径である。したがって、各アクセスポイントから発信される情報は、各アクセスポイントの位置に応じた情報とすることができる。なお、情報発信装置Ｄは、携帯電話網の基地局であってもよい。情報発信装置Ｄは、Dedicated Short Range Communication（ＤＳＲＣ）等の通信装置を
用いてもよい。また、情報発信装置Ｄは、複数のＺｉｇＢｅｅ（登録商標）端末を含むネットワークを利用して、情報を発信する通信システムの端末であってもよい。
ここで、第２の実施の形態における自律走行車両１００のうち自律走行車両１００Ａにおける画像表示処理について図８に基づいて説明する。なお、図５に基づいて説明したサーバ装置２００での画像等の提供が既に実行されているとして、以下説明を続ける。
図８のフローチャートは、図６のフローチャートに対応し、ステップＳ８０１、ステップＳ８０３、ステップＳ８０７からステップＳ８１３は、それぞれ、図６のステップＳ６０１からステップＳ６１１に相当する。
図８のフローチャートでは、所定条件を満たすとき（ステップＳ８０１で肯定判定）、自律走行車両１００Ａの制御部１０４の重ね処理部１０４７は、画像処理部１０４５により発信画像データを取得できたか否かを判定する。画像処理部１０４５は、発信画像データを取得できたとき、上述の画像データと同様に、画像データベース１１４２に記憶する
。そして、画像処理部１０４５は、重ね処理部１０４７に、発信画像データを取得できたことを示す信号（以下、取得済み信号）を送信する。ここで、発信画像データは、広告情報を含み、成人男性への広告用の画像データと成人女性への広告用の画像データとを含み、その切り分けにユーザの年齢及び性別の制約情報が付されている。つまり、発信画像データの広告情報は、ユーザの特性に応じて変更される。ユーザ装置３００ＡからのユーザＩＤに基づいてサーバ装置２００と通信することで、例えば自律走行車両１００Ａはそこに乗車するユーザＵが大人（例えば１８歳以上）であり女性であることを特定可能である。重ね処理部１０４７は、取得済み信号を受信したとき、ユーザの特性に基づき、画像データベース１１４２を検索する。これにより、ユーザ特性に合致する又はユーザ特性によらない発信画像データを取得できたとき（ステップＳ８０５で肯定判定、Ｓ８１１）、重ね処理部１０４７は、ステップＳ８１３に処理を進める。そして、重ね処理部１０４７は、その取得した発信画像データを、取得した映像と共にディスプレイＷに表示する（ステップＳ８１３）。ここでは、自律走行車両１００Ａに乗車するユーザＵが成人女性であるので、その特性に合わせた成人女性の広告用の画像が映像とともにディスプレイＷに表示される。
ここでは、取得した発信画像データは、関連付けられている第１ダイヤモンドショップＤＳの広告情報を含む。具体的には、取得した発信画像データは、第１ダイヤモンドショップＤＳの通称Ｐである「第１ショップ」と、女性用の指輪の画像Ｒ１と、男性用のネクタイピンの画像とを含む。上述のように、乗車するユーザＵが成人女性であるので、成人女性の広告用の画像として、「第１ショップ」と、女性用の指輪の画像Ｒ１とがディスプレイＷに表示され（ステップＳ８１３）、これらは図７に例示される。
一方、例えば自律走行車両１００Ａに乗車しているユーザが小学生であるとき、重ね処理部１０４７は、小学生というユーザの特性に合致する発信画像データを取得できない（ステップＳ８０５で否定判定）。そこで、重ね処理部１０４７は位置情報取得を実行する（ステップＳ８０７）。こうして、位置情報に基づく画像データを取得できるとき（ステップＳ８０９で肯定判定）、その重ね合わせ表示が実行される（ステップＳ８１１、Ｓ８１３）。
以上説明したように、第２の実施の形態における映像表示システムＳ２では、自律走行車両１００Ａの位置に応じた画像として、位置情報に基づく画像のみではなく、特定の所定エリアに位置付けられた情報発信装置Ｄから発信される画像が用いられる。そして、その情報発信装置Ｄは店舗又は施設ごとに適した情報を発信することができる。したがって、ディスプレイＷの映像に重ねて表示する画像を柔軟に切り替えたり、柔軟に設定したりすることが可能になる。更に、情報発信装置Ｄから発信される画像は広告情報を含むので、その店舗又は施設の宣伝効果を高めることができる。そして、その広告情報はユーザの特性に応じて変更されるので、その広告効果を更に高めることが可能になる。
なお、広告情報は、位置情報に基づいて抽出される画像データにも含まれ得る。この広告情報は、第２の実施の形態に基づいて説明したように、ユーザの特性に合わせて変更されるとよい。
上記第１の及び第２の実施の形態では、映像の受け取り及び画像の重ね合わせ表示の処理は自律走行車両１００の情報処理装置１０２の制御部１０４により実行された。しかし、これらの処理はサーバ装置２００で行われてもよい。このとき、サーバ装置２００は、自律走行車両１００の映像受取部１０４６を介して取得した（つまり受け取った）映像に画像を重ね合わせる処理（図６又は図８の処理）を実行する。そして、サーバ装置２００は、重ね合わせた画像付き映像を自律走行車両１００の情報処理装置１０２に送信する。これにより、それを取得したその制御部１０４の重ね処理部１０４７は、ディスプレイＷ
に単にカメラ１０７の映像を表示することを停止し、サーバ装置２００から取得した画像付き映像を表示するとよい。なお、映像の受け取り及び画像の重ね合わせの表示の処理は、自律走行車両１００の情報処理装置とサーバ装置２００とで役割分担して実行されてもよい。
上記の実施の形態はあくまでも一例であって、本開示はその要旨を逸脱しない範囲内で適宜変更して実施しうる。本開示において説明した処理及び／又は手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
また、１つの装置が行うものとして説明した処理が、複数の装置によって分担して実行されてもよい。例えば、情報処理装置であるサーバ装置２００及び／又は自律走行車両１００の情報処理装置１０２は１つのコンピュータである必要はなく、複数のコンピュータを備えるシステムとして構成されてもよい。あるいは、異なる装置が行うものとして説明した処理が、１つの装置によって実行されても構わない。コンピュータシステムにおいて、各機能をどのようなハードウェア構成（例えばサーバ構成）によって実現するかは柔軟に変更可能である。
本開示は、上記の実施の形態で説明した機能を実装したコンピュータプログラムをコンピュータに供給し、当該コンピュータが有する１つ以上のプロセッサがプログラムを読み出して実行することによっても実現可能である。このようなコンピュータプログラムは、コンピュータのシステムバスに接続可能な非一時的なコンピュータ可読記憶媒体によってコンピュータに提供されてもよいし、ネットワークを介してコンピュータに提供されてもよい。非一時的なコンピュータ可読記憶媒体は、例えば、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクドライブ（ＨＤＤ）等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤディスク、ブルーレイディスク等）など任意のタイプのディスク、読み込み専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード、フラッシュメモリ、光学式カード、電子的命令を格納するために適した任意のタイプの媒体を含む。
Ｓ１、Ｓ２ 映像表示システム
１００、１００Ａ 自律走行車両
１０２ 情報処理装置
１０４ 制御部
１０６ センサ
１０７ カメラ
１０８ 位置情報取得部
１１０ 駆動部
１１２ 通信部
１１４ 記憶部
２００ サーバ装置
２０２ 通信部
２０４ 制御部
２０６ 記憶部
３００、３００Ａ ユーザ装置
３０２ 通信部
３０４ 制御部
３０６ 記憶部

Claims (8)

  1. 自律走行、及び、人による運転又は運転の補助のどちらかを行うことが可能な移動体が自律走行しているときに、前記移動体の撮影装置で撮影された、前記移動体の内壁面の窓形のディスプレイに表示するための前記移動体の外部の映像を取得することと、
    前記移動体が所定エリアに位置するときに、該所定エリアに設けられている情報発信装置から、広告情報を含む、該所定エリアの施設に関連する画像又は該画像に関する情報を取得することと、
    前記移動体に乗車しているユーザの特性情報を取得することと、
    前記移動体の安全装置が作動して、前記移動体の自律走行が禁止されたか否かを判定することと、
    前記移動体の前記安全装置が作動していなく、前記移動体の自律走行が禁止されていないとき、前記特性情報に基づいて、前記ユーザの特性に合致する前記所定エリアの施設に関連する画像又は該画像に関する情報を取得できたか否かを判定することと、
    前記ユーザの特性に合致する前記所定エリアの施設に関連する画像又は該画像に関する情報を取得できたとき、取得した前記映像に、前記所定エリアの施設に関連する画像又は該画像に関する情報を重ねて、前記窓形のディスプレイにリアルタイムで表示することと、
    前記移動体の前記安全装置が作動して、前記移動体の自律走行が禁止されたとき、前記映像に、前記所定エリアの施設に関連する画像又は該画像に関する情報を重ねることを禁止して、前記映像を前記窓形のディスプレイにリアルタイムで表示することと
    を実行する制御部を備える、情報処理装置。
  2. 施設又は組織に関連する画像又は該画像に関する情報を記憶する記憶部を更に備え、
    前記制御部は、
    前記ユーザの特性に合致する前記所定エリアの施設に関連する画像又は該画像に関する情報を取得できなかったとき、前記移動体の位置情報を取得することと、
    前記記憶部から、前記施設又は組織に関連する画像又は該画像に関する情報を取得することと、
    前記位置情報に基づいて、前記移動体の位置に応じた前記施設又は組織に関連する画像又は該画像に関する情報を取得できたか否かを判定することと、
    前記移動体の位置に応じた前記施設又は組織に関連する画像又は該画像に関する情報を取得できたとき、前記映像に、前記移動体の位置に応じた前記施設又は組織に関連する画像又は該画像に関する情報を重ねて、前記窓形のディスプレイにリアルタイムで表示することと、
    前記移動体の位置に応じた前記施設又は組織に関連する画像又は該画像に関する情報を取得できなかったとき、前記映像に、前記移動体の位置に応じた前記施設又は組織に関連する画像又は該画像に関する情報を重ねることを禁止して、前記映像を前記窓形のディスプレイにリアルタイムで表示すること
    を更に実行する、請求項１に記載の情報処理装置。
  3. 施設又は組織に関連する画像又は該画像に関する情報を記憶する記憶部と、
    自律走行、及び、人による運転又は運転の補助のどちらかを行うことが可能な移動体が自律走行しているときに、前記移動体の撮影装置で撮影された、前記移動体の内壁面の窓形のディスプレイに表示するための前記移動体の外部の映像を取得することと、
    前記移動体の安全装置が作動して、前記移動体の自律走行が禁止されたか否かを判定することと、
    前記移動体の前記安全装置が作動していなく、前記移動体の自律走行が禁止されていないとき、前記移動体の位置情報を取得することと、
    前記記憶部から、前記施設又は組織に関連する画像又は該画像に関する情報を取得することと、
    前記位置情報に基づいて、前記移動体の位置に応じた前記施設又は組織に関連する画像又は該画像に関する情報を取得できたか否かを判定することと、
    前記移動体の位置に応じた前記施設又は組織に関連する画像又は該画像に関する情報を取得できたとき、前記映像に、前記移動体の位置に応じた前記施設又は組織に関連する画像又は該画像に関する情報を重ねて、前記窓形のディスプレイにリアルタイムで表示することと、
    前記移動体の前記安全装置が作動して、前記移動体の自律走行が禁止されたとき、及び、前記移動体の位置に応じた前記施設又は組織に関連する画像又は該画像に関する情報を取得できなかったとき、前記映像に、前記移動体の位置に応じた前記施設又は組織に関連する画像又は該画像に関する情報を重ねることを禁止して、前記映像を前記窓形のディスプレイにリアルタイムで表示することと
    を実行する制御部と
    を備える、情報処理装置。
  4. 少なくとも１つのコンピュータが、
    自律走行、及び、人による運転又は運転の補助のどちらかを行うことが可能な移動体が自律走行しているときに、前記移動体の撮影装置で撮影された、前記移動体の内壁面の窓形のディスプレイに表示するための前記移動体の外部の映像を取得することと、
    前記移動体が所定エリアに位置するときに、該所定エリアに設けられている情報発信装置から、広告情報を含む、該所定エリアの施設に関連する画像又は該画像に関する情報を取得することと、
    前記移動体に乗車しているユーザの特性情報を取得することと、
    前記移動体の安全装置が作動して、前記移動体の自律走行が禁止されたか否かを判定することと、
    前記移動体の前記安全装置が作動していなく、前記移動体の自律走行が禁止されていないとき、前記特性情報に基づいて、前記ユーザの特性に合致する前記所定エリアの施設に関連する画像又は該画像に関する情報を取得できたか否かを判定することと、
    前記ユーザの特性に合致する前記所定エリアの施設に関連する画像又は該画像に関する
    情報を取得できたとき、取得した前記映像に、前記所定エリアの施設に関連する画像又は該画像に関する情報を重ねて、前記窓形のディスプレイにリアルタイムで表示することと、
    前記移動体の前記安全装置が作動して、前記移動体の自律走行が禁止されたとき、前記映像に、前記所定エリアの施設に関連する画像又は該画像に関する情報を重ねることを禁止して、前記映像を前記窓形のディスプレイにリアルタイムで表示することと
    を実行する、情報処理方法。
  5. 前記少なくとも１つのコンピュータが、
    前記ユーザの特性に合致する前記所定エリアの施設に関連する画像又は該画像に関する情報を取得できなかったとき、前記移動体の位置情報を取得することと、
    施設又は組織に関連する画像又は該画像に関する情報を記憶する前記少なくとも１つのコンピュータの記憶部から、前記施設又は組織に関連する画像又は該画像に関する情報を取得することと、
    前記位置情報に基づいて、前記移動体の位置に応じた前記施設又は組織に関連する画像又は該画像に関する情報を取得できたか否かを判定することと、
    前記移動体の位置に応じた前記施設又は組織に関連する画像又は該画像に関する情報を取得できたとき、前記映像に、前記移動体の位置に応じた前記施設又は組織に関連する画像又は該画像に関する情報を重ねて、前記窓形のディスプレイにリアルタイムで表示することと、
    前記移動体の位置に応じた前記施設又は組織に関連する画像又は該画像に関する情報を取得できなかったとき、前記映像に、前記移動体の位置に応じた前記施設又は組織に関連する画像又は該画像に関する情報を重ねることを禁止して、前記映像を前記窓形のディスプレイにリアルタイムで表示すること
    を更に実行する、請求項４に記載の情報処理方法。
  6. 少なくとも１つのコンピュータが、
    自律走行、及び、人による運転又は運転の補助のどちらかを行うことが可能な移動体が自律走行しているときに、前記移動体の撮影装置で撮影された、前記移動体の内壁面の窓形のディスプレイに表示するための前記移動体の外部の映像を取得することと、
    前記移動体の安全装置が作動して、前記移動体の自律走行が禁止されたか否かを判定することと、
    前記移動体の前記安全装置が作動していなく、前記移動体の自律走行が禁止されていないとき、前記移動体の位置情報を取得することと、
    施設又は組織に関連する画像又は該画像に関する情報を記憶する前記少なくとも１つのコンピュータの記憶部から、前記施設又は組織に関連する画像又は該画像に関する情報を取得することと、
    前記位置情報に基づいて、前記移動体の位置に応じた前記施設又は組織に関連する画像又は該画像に関する情報を取得できたか否かを判定することと、
    前記移動体の位置に応じた前記施設又は組織に関連する画像又は該画像に関する情報を取得できたとき、前記映像に、前記移動体の位置に応じた前記施設又は組織に関連する画像又は該画像に関する情報を重ねて、前記窓形のディスプレイにリアルタイムで表示することと、
    前記移動体の前記安全装置が作動して、前記移動体の自律走行が禁止されたとき、及び、前記移動体の位置に応じた前記施設又は組織に関連する画像又は該画像に関する情報を取得できなかったとき、前記映像に、前記移動体の位置に応じた前記施設又は組織に関連する画像又は該画像に関する情報を重ねることを禁止して、前記映像を前記窓形のディスプレイにリアルタイムで表示することと
    を実行する、情報処理方法。
  7. 情報処理装置と、異なるエリアに複数設けられた情報発信装置と、を有する情報処理システムであり、
    前記情報処理装置は、
    自律走行、及び、人による運転又は運転の補助のどちらかを行うことが可能な移動体が自律走行しているときに、前記移動体の撮影装置で撮影された、前記移動体の内壁面の窓形のディスプレイに表示するための前記移動体の外部の映像を取得することと、
    前記移動体が所定エリアに位置するときに、該所定エリアに設けられている前記情報発信装置から、広告情報を含む、該所定エリアの施設に関連する画像又は該画像に関する情報を取得することと、
    前記移動体に乗車しているユーザの特性情報を取得することと、
    前記移動体の安全装置が作動して、前記移動体の自律走行が禁止されたか否かを判定することと、
    前記移動体の前記安全装置が作動していなく、前記移動体の自律走行が禁止されていないとき、前記特性情報に基づいて、前記ユーザの特性に合致する前記所定エリアの施設に関連する画像又は該画像に関する情報を取得できたか否かを判定することと、
    前記ユーザの特性に合致する前記所定エリアの施設に関連する画像又は該画像に関する情報を取得できたとき、取得した前記映像に、前記所定エリアの施設に関連する画像又は該画像に関する情報を重ねて、前記窓形のディスプレイにリアルタイムで表示することと、
    前記移動体の前記安全装置が作動して、前記移動体の自律走行が禁止されたとき、前記映像に、前記所定エリアの施設に関連する画像又は該画像に関する情報を重ねることを禁止して、前記映像を前記窓形のディスプレイにリアルタイムで表示することと
    を実行する制御部を備える、情報処理システム。
  8. 前記情報処理装置は、施設又は組織に関連する画像又は該画像に関する情報を記憶する記憶部を更に備え、
    前記制御部は、
    前記ユーザの特性に合致する前記所定エリアの施設に関連する画像又は該画像に関する情報を取得できなかったとき、前記移動体の位置情報を取得することと、
    前記記憶部から、前記施設又は組織に関連する画像又は該画像に関する情報を取得することと、
    前記位置情報に基づいて、前記移動体の位置に応じた前記施設又は組織に関連する画像又は該画像に関する情報を取得できたか否かを判定することと、
    前記移動体の位置に応じた前記施設又は組織に関連する画像又は該画像に関する情報を取得できたとき、前記映像に、前記移動体の位置に応じた前記施設又は組織に関連する画像又は該画像に関する情報を重ねて、前記窓形のディスプレイにリアルタイムで表示することと、
    前記移動体の位置に応じた前記施設又は組織に関連する画像又は該画像に関する情報を取得できなかったとき、前記映像に、前記移動体の位置に応じた前記施設又は組織に関連する画像又は該画像に関する情報を重ねることを禁止して、前記映像を前記窓形のディスプレイにリアルタイムで表示すること
    を更に実行する、請求項７に記載の情報処理システム。
JP2020009805A 2020-01-24 2020-01-24 情報処理装置、情報処理方法及び情報処理システム Active JP7264837B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020009805A JP7264837B2 (ja) 2020-01-24 2020-01-24 情報処理装置、情報処理方法及び情報処理システム
US17/154,465 US20210235025A1 (en) 2020-01-24 2021-01-21 Information processing apparatus, information processing method and information processing system
CN202110087220.2A CN113176867B (zh) 2020-01-24 2021-01-22 信息处理设备、信息处理方法和信息处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020009805A JP7264837B2 (ja) 2020-01-24 2020-01-24 情報処理装置、情報処理方法及び情報処理システム

Publications (2)

Publication Number Publication Date
JP2021117318A JP2021117318A (ja) 2021-08-10
JP7264837B2 true JP7264837B2 (ja) 2023-04-25

Family

ID=76921777

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020009805A Active JP7264837B2 (ja) 2020-01-24 2020-01-24 情報処理装置、情報処理方法及び情報処理システム

Country Status (3)

Country Link
US (1) US20210235025A1 (ja)
JP (1) JP7264837B2 (ja)
CN (1) CN113176867B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11760370B2 (en) * 2019-12-31 2023-09-19 Gm Cruise Holdings Llc Augmented reality notification system

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009093076A (ja) 2007-10-11 2009-04-30 Mitsubishi Electric Corp 列車内画像表示システム
JP2010042788A (ja) 2008-08-18 2010-02-25 Kenwood Corp 車載表示装置及び表示方法
JP2011075848A (ja) 2009-09-30 2011-04-14 Tokyo Metropolitan Government 情報表示システム
JP2011227469A (ja) 2010-03-30 2011-11-10 Ns Solutions Corp オブジェクト表示システム及びオブジェクト表示方法
US20160311323A1 (en) 2015-04-27 2016-10-27 Lg Electronics Inc. Display Apparatus And Method For Controlling The Same
JP2018077644A (ja) 2016-11-08 2018-05-17 富士ゼロックス株式会社 情報処理システム及びプログラム
US20180216958A1 (en) 2015-07-20 2018-08-02 Lg Electronics Inc. Autonomous vehicle and autonomous vehicle system having same
US20180270542A1 (en) 2017-03-17 2018-09-20 Sony Corporation Display Control System and Method to Generate a Virtual Environment in a Vehicle

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2438326A (en) * 2004-12-29 2007-11-21 Bernard Trest Dynamic information system
CN105644444B (zh) * 2016-03-17 2018-02-06 京东方科技集团股份有限公司 一种车载显示系统
JP7112625B2 (ja) * 2016-12-05 2022-08-04 ソニーグループ株式会社 情報処理装置、および情報処理システム
JP6855968B2 (ja) * 2017-07-20 2021-04-07 トヨタ自動車株式会社 情報処理装置、情報処理方法及び情報処理システム
US10694262B1 (en) * 2019-03-12 2020-06-23 Ambarella International Lp Overlaying ads on camera feed in automotive viewing applications

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009093076A (ja) 2007-10-11 2009-04-30 Mitsubishi Electric Corp 列車内画像表示システム
JP2010042788A (ja) 2008-08-18 2010-02-25 Kenwood Corp 車載表示装置及び表示方法
JP2011075848A (ja) 2009-09-30 2011-04-14 Tokyo Metropolitan Government 情報表示システム
JP2011227469A (ja) 2010-03-30 2011-11-10 Ns Solutions Corp オブジェクト表示システム及びオブジェクト表示方法
US20160311323A1 (en) 2015-04-27 2016-10-27 Lg Electronics Inc. Display Apparatus And Method For Controlling The Same
US20180216958A1 (en) 2015-07-20 2018-08-02 Lg Electronics Inc. Autonomous vehicle and autonomous vehicle system having same
JP2018077644A (ja) 2016-11-08 2018-05-17 富士ゼロックス株式会社 情報処理システム及びプログラム
US20180270542A1 (en) 2017-03-17 2018-09-20 Sony Corporation Display Control System and Method to Generate a Virtual Environment in a Vehicle

Also Published As

Publication number Publication date
CN113176867B (zh) 2024-03-19
CN113176867A (zh) 2021-07-27
US20210235025A1 (en) 2021-07-29
JP2021117318A (ja) 2021-08-10

Similar Documents

Publication Publication Date Title
AU2018323983B2 (en) Identifying unassigned passengers for autonomous vehicles
US20200104881A1 (en) Vehicle control system, vehicle control method, program, and vehicle management system
JP7024396B2 (ja) 人物探索システム
CN110155078B (zh) 移动店铺车以及移动店铺系统
US20200200556A1 (en) Systems and methods for vehicle-based tours
WO2020090306A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP6792160B2 (ja) 移動支援システム、移動支援装置、移動支援端末、移動支援方法、地図作成システム、地図作成装置、及び情報取得端末
US11181386B2 (en) Navigation device, destination guiding system, and non-transitory recording medium
US20190242715A1 (en) Mobile shop system and control method of mobile shop system
CN114115204A (zh) 管理装置、管理系统、管理方法及存储介质
US11458998B2 (en) Information processing apparatus, information processing method and non-transitory storage medium
JP7264837B2 (ja) 情報処理装置、情報処理方法及び情報処理システム
CN115249198A (zh) 增强的约车系统和方法
US11487286B2 (en) Mobile object system that provides a commodity or service
JP7372144B2 (ja) 車載処理装置、及び車載処理システム
JP7384652B2 (ja) 移動体、情報処理方法、及び、プログラム
US11972391B2 (en) Autonomous traveling unit, information processing method and non-transitory storage medium
JP2021069031A (ja) 情報処理装置
US20210201390A1 (en) Information processing apparatus, information processing method and computer-readable non-transitory recording medium
US20240265807A1 (en) Information processing device, information processing method, and storage medium
JP2021103446A (ja) 情報処理装置
JP2022129423A (ja) 乗合車両及び自動運転車両の配車管理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220405

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230413

R151 Written notification of patent or utility model registration

Ref document number: 7264837

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151