WO2021111752A1 - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents

情報処理装置、および情報処理方法、並びにプログラム Download PDF

Info

Publication number
WO2021111752A1
WO2021111752A1 PCT/JP2020/039510 JP2020039510W WO2021111752A1 WO 2021111752 A1 WO2021111752 A1 WO 2021111752A1 JP 2020039510 W JP2020039510 W JP 2020039510W WO 2021111752 A1 WO2021111752 A1 WO 2021111752A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
feature information
data
display
unit
Prior art date
Application number
PCT/JP2020/039510
Other languages
English (en)
French (fr)
Inventor
高梨 伸
真朗 江里口
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US17/780,729 priority Critical patent/US20220412763A1/en
Publication of WO2021111752A1 publication Critical patent/WO2021111752A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3635Guidance using 3D or perspective road maps
    • G01C21/3638Guidance using 3D or perspective road maps including 3D objects and buildings
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/25Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the sides of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3679Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3697Output of additional, non-guidance related information, e.g. low fuel level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map

Abstract

車両走行時に取得する特徴情報に基づいて選択した表示データを車両内部の表示部に表示する構成を実現する。移動装置の内部に設けられた表示部に出力するデータの表示制御を実行するデータ処理部を有する。データ処理部は、移動装置の走行時に特徴情報を取得し、取得した特徴情報に基づいて表示部に出力する表示データを決定する。データ処理部は、特徴情報対応表示データ格納データベースから、取得した特徴情報に対応して記録された表示データを選択し、選択した表示データを移動装置に装着されたカメラの撮影画像である実オブジェクト画像に重畳したAR画像を生成して表示部に出力する。

Description

情報処理装置、および情報処理方法、並びにプログラム
 本開示は、情報処理装置、および情報処理方法、並びにプログラムに関する。さらに詳細には、移動装置の内面に設置した表示部の出力画像の表示制御や、表示画像を適用した処理を実行する情報処理装置、および情報処理方法、並びにプログラムに関する。
 昨今の乗用車等の車両には、走行路情報や交通情報を提示するカーナビシステム等の表示機器が搭載されており、表示機器を利用して運転者や乗員に様々な情報を提供することが可能となっている。
 表示機器を利用して、運転者や乗員にメッセージを提供する構成を開示した従来技術として、例えば、特許文献1(特開2017-037077号公報)がある。
 この特許文献は、道路上に設置された速度測定装置の設置場所情報を取得し、車両が速度測定装置の設置場所に近づいていることを検出した場合、速度測定装置が近づいていることを運転者に通知する警告表示、例えばキャラクタのアニメーション表示等を行う構成を開示している。
 しかし、従来の車両に搭載された表示装置の多くは、路線情報や交通情報、あるいは上記のような警告表示を行うものにすぎない。
特開2017-037077号公報
 本開示は、運転者や乗員に対して、車両の走行環境に応じて選択された情報、例えば、走行路の特徴や走行路上の店舗等に対応して選択されたコンテンツやメッセージ等の情報表示を行う情報処理装置、および情報処理方法、並びにプログラムを提供することを目的とする。
 本開示の第1の側面は、
 移動装置の内部に設けられた表示部に出力するデータの表示制御を実行するデータ処理部を有し、
 前記データ処理部は、
 前記移動装置の走行時に特徴情報を取得し、取得特徴情報に基づいて前記表示部に出力する表示データを決定する情報処理装置にある。
 さらに、本開示の第2の側面は、
 情報処理装置において実行する情報処理方法であり、
 前記情報処理装置は、移動装置の内部に設けられた表示部に出力するデータの表示制御を実行するデータ処理部を有し、
 前記データ処理部が、
 前記移動装置の走行時に特徴情報を取得し、取得特徴情報に基づいて前記表示部に出力する表示データを決定する情報処理方法にある。
 さらに、本開示の第3の側面は、
 情報処理装置において情報処理を実行させるプログラムであり、
 前記情報処理装置は、移動装置の内部に設けられた表示部に出力するデータの表示制御を実行するデータ処理部を有し、
 前記プログラムは、前記データ処理部に、
 前記移動装置の走行時に特徴情報を取得させ、取得特徴情報に基づいて前記表示部に出力する表示データを決定させるプログラムにある。
 なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
 本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 本開示の一実施例の構成によれば、車両走行時に取得する特徴情報に基づいて選択した表示データを車両内部の表示部に表示する構成が実現される。
 具体的には、例えば、移動装置の内部に設けられた表示部に出力するデータの表示制御を実行するデータ処理部を有する。データ処理部は、移動装置の走行時に特徴情報を取得し、取得した特徴情報に基づいて表示部に出力する表示データを決定する。データ処理部は、特徴情報対応表示データ格納データベースから、取得した特徴情報に対応して記録された表示データを選択し、選択した表示データを移動装置に装着されたカメラの撮影画像である実オブジェクト画像に重畳したAR画像を生成して表示部に出力する。
 本構成により、車両走行時に取得する特徴情報に基づいて選択した表示データを車両内部の表示部に表示する構成が実現される。
 なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
車両の構成例について説明する図である。 車両内部の構成例について説明する図である。 特徴情報設定マップについて説明する図である。 車両内部の表示部の表示データの一例について説明する図である。 車両内部の表示部の表示データの一例について説明する図である。 特徴情報対応表示データ格納データベースの格納データ例について説明する図である。 本開示の情報処理装置の実施例1の処理シーケンスについて説明するフローチャートを示す図である。 本開示の情報処理装置の実施例1の構成例を示す図である。 本開示の情報処理装置の実施例2の処理シーケンスについて説明するフローチャートを示す図である。 特徴シーン対応表示データ格納データベースの格納データ例について説明する図である。 本開示の情報処理装置の実施例2の構成例を示す図である。 本開示の情報処理装置の実施例2において実行する平均化3Dマップの生成構成例について説明する図である。 本開示の情報処理装置の実施例2の構成例であり、平均化3Dマップを利用した構成例を示す図である。 本開示の情報処理装置の実施例3において利用する特徴情報の例について説明する図である。 本開示の情報処理装置の実施例3の処理シーケンスについて説明するフローチャートを示す図である。 本開示の情報処理装置の実施例3の構成例を示す図である。 本開示の情報処理装置の実施例4の処理シーケンスについて説明するフローチャートを示す図である。 本開示の情報処理装置の実施例4の構成例を示す図である。 本開示の情報処理装置の実施例5の処理シーケンスについて説明するフローチャートを示す図である。 本開示の情報処理装置の実施例5の構成例を示す図である。 情報処理システムの構成例について説明する図である。 情報処理装置のハードウェア構成例について説明する図である。
 以下、図面を参照しながら本開示の情報処理装置、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
 1.本開示の情報処理装置による表示制御が行われる表示部を搭載した車両の構成例について
 2.本開示の情報処理装置の実行する表示情報制御処理例
 2-1.(実施例1)出発地から目的地までの走行ルートに対応する特徴情報設定マップを利用し、特徴情報設定マップに設定された特徴情報に対応する画像を出力する表示情報制御を行う実施例
 2-2.(実施例2)出発地から目的地までの走行ルートを走行中、車両外部を撮影するカメラの撮影画像から特徴シーンを抽出し、抽出した特徴シーン対応の画像を出力する表示情報制御を行う実施例
 2-3.(実施例3)出発地から目的地までの走行ルートを走行中、カメラ等の各種センサの検出情報や、その他の取得情報に基づいて表示データを決定して、決定した表示データを出力する表示情報制御を行う実施例
 2-4.(実施例4)出発地から目的地までの走行ルートに対応する特徴情報設定マップを利用し、特徴情報設定マップに設定された特徴情報に対応する画像を出力する表示情報制御を行うとともに、特徴情報設定マップに設定された特徴情報に応じて車両の走行制御を行う実施例
 2-5.(実施例5)出発地から目的地までの走行ルートに対応する特徴情報設定マップを利用し、特徴情報設定マップに設定された特徴情報や乗員属性に応じて選択した画像を出力する表示情報制御を行い、乗員の観察データに基づいて表示データの切り替え制御を行う実施例
 3.情報処理装置、および情報処理システムの構成例について
 4.情報処理装置のハードウェア構成例について
 5.本開示の構成のまとめ
  [1.本開示の情報処理装置による表示制御が行われる表示部を搭載した車両の構成例について]
 まず、本開示の情報処理装置による表示制御が行われる表示部を搭載した車両の構成例について説明する。
 昨今、自動運転車両の開発が進み、将来的には多数の自動運転車両が走行すると予測される。
 完全自動運転行う車両では、運転者が前方を見て運転する必要がない。このため自動運転車両にはフロントウィンドウ等の窓を設ける必要がなく、現在の車両の窓領域に表示部(ディスプレイ)を設置して、表示部に様々なコンテンツを表示することが可能となる。
 例えば、車両外部に装着したカメラの撮影画像を車両内部の表示部に表示することも可能であり、このような表示処理を行なえば、車両の乗員は、窓を介して観察すると同様、外部の景色を表示部を介して観察することが可能となる。
 図1は、本開示の移動装置である車両10の外観の例を示す図である。
 車両10は、例えば自動運転車両であり、窓を設ける必要がない。従って、従来の車両の窓に相当する領域に、車両内部、外部とも表示部を設けることができる。図1は、車両の外観を示しており、車両前面と側面に表示部11を設けた例を示している。
 車両10にはカメラ12が設けられ、このカメラの撮影画像を車両10の内部に設置した表示部に表示することができる。
 図2は、本開示の情報処理装置を搭載した車両10の内部構成の一例を示す図である。
 車両10の内部の前方部には前方表示部21、左側面には左側面表示部22、右側面には右側面表示部23が設けられている。
 なお、図には示していないが、車両10の後方部にも後方表示部が設置可能である。
 例えば、前方表示部21には、車両10の前方を撮影する外部カメラによって撮影された画像が表示される。
 左側面表示部22には、車両10の左側を撮影する外部カメラによって撮影された画像が表示される。
 また、右側面表示部23には、車両10の右側を撮影する外部カメラによって撮影された画像が表示される。
 このような画像表示を行なえば、車両10の乗員は、従来車両と同様、車両10の走行に従って変化する周囲の景色を、表示部21~23を介して観察することができる。
 これらの表示部21~23には、外部カメラによって撮影された外部の景色の画像のみならず、様々なコンテンツやメッセージ等、多様な情報を表示可能である。
 車両10に装着された表示部の表示制御を実行する情報処理装置は、車両10の内部に装着されるか、または車両10と通信可能な外部装置として構成される。
 情報処理装置は、例えば、車両10の走行環境に応じて選択された情報、例えば、走行路周囲の特徴や走行路周囲の店舗等、走行路周囲の特徴的なシーン等に応じて選択したコンテンツやメッセージ等の情報表示制御処理を実行する。
 以下、本開示の情報処理装置の実行する処理の具体例について説明する。
  [2.本開示の情報処理装置の実行する表示情報制御処理例]
 次に、本開示の情報処理装置、すなわち、図1、図2を参照して説明した車両10の表示部に対する表示情報の制御を実行する本開示の情報処理装置の処理例について説明する。
 なお、前述したように、図1、図2を参照して説明した車両10の表示部に対する表示情報の制御を実行する本開示の情報処理装置は、車両10に搭載した情報処理装置でもよいが、車両10と通信可能な外部の情報処理装置としてもよい。
 以下、本開示の情報処理装置が実行する具体的な表示情報の制御処理例として、以下の5種類の実施例について、順次、説明する。
 (実施例1)出発地から目的地までの走行ルートに対応する特徴情報設定マップを利用し、特徴情報設定マップに設定された特徴情報に対応する画像を出力する表示情報制御を行う実施例
 (実施例2)出発地から目的地までの走行ルートを走行中、車両外部を撮影するカメラの撮影画像から特徴シーンを抽出し、抽出した特徴シーン対応の画像を出力する表示情報制御を行う実施例
 (実施例3)出発地から目的地までの走行ルートを走行中、カメラ等の各種センサの検出情報や、その他の取得情報に基づいて表示データを決定して、決定した表示データを出力する表示情報制御を行う実施例
 (実施例4)出発地から目的地までの走行ルートに対応する特徴情報設定マップを利用し、特徴情報設定マップに設定された特徴情報に対応する画像を出力する表示情報制御を行うとともに、特徴情報設定マップに設定された特徴情報に応じて車両の走行制御を行う実施例
 (実施例5)出発地から目的地までの走行ルートに対応する特徴情報設定マップを利用し、特徴情報設定マップに設定された特徴情報や乗員属性に応じて選択した画像を出力する表示情報制御を行い、乗員の観察データに基づいて表示データの切り替え制御を行う実施例
 以下、これら各実施例について、順次、説明する。
  [2-1.(実施例1)出発地から目的地までの走行ルートに対応する特徴情報設定マップを利用し、特徴情報設定マップに設定された特徴情報に対応する画像を出力する表示情報制御を行う実施例]
 まず、(実施例1)出発地から目的地までの走行ルートに対応する特徴情報設定マップを利用し、特徴情報設定マップに設定された特徴情報に対応する画像を出力する表示情報制御を行う実施例について説明する。
 本開示の情報処理装置は、出発地から目的地までの走行ルートに対応する特徴情報設定マップを利用して表示情報制御を行う。
 図3は、本開示の情報処理装置が利用する特徴情報設定マップの一例を示す図である。
 図3に示すように、特徴情報設定マップは、車両10の(S)出発地点から、(E)目的地点までの走行ルート上の様々な特徴情報が記録されたマップである。
 (S)出発地点や、(E)目的地点は、車両10の利用者または管理者が設定し、この(S)出発地点と(E)目的地点の設定に基づいて、例えば、最短の走行ルートが選択される。あるいは、車両10の利用者または管理者が車両の走行ルートを決定してもよい。
 情報処理装置は、決定された車両の走行ルート上の各位置の特徴情報を取得し、取得した特徴情報をマップの位置に対応付けて記録する。この処理により、例えば図3に示すような特徴情報設定マップを生成する。
 なお、図3に示す特徴情報設定マップは、走行ルート上の3か所に以下の特徴情報を設定した特徴情報設定マップの一例である。
 (P1)ビル街
 (P2)空が開けた公園
 (P3)PQストア所在地
 (P4)渋滞中
 これら(P1)~(P4)の特徴情報中、
 (P1)ビル街
 (P2)空が開けた公園
 (P3)PQストア
 これらの特徴情報は、時間経過に伴って大きく変化することのない特徴情報であり、事前に予め取得することが可能な特徴情報である。
 一方、
 (P4)渋滞中
 この特徴情報は、時間経過に伴って変化する特徴情報であり、逐次、更新が必要な特徴情報である。
 このように特徴情報には、様々なタイプの異なる特徴情報が含まれる。
 情報処理装置は、これら様々な異なるタイプの特徴情報を、例えば情報処理装置内の記憶部、あるいは外部サーバ等、様々な情報ソースから取得する。例えば、以下のような情報取得処理を実行する。
 (1)事前に実行されたカメラ搭載車両の走行処理によって取得し、情報処理装置の記憶部、または外部サーバに格納された特徴情報の取得処理、
 (2)外部の交通情報提供サーバの提供するリアルタイム交通情報の取得処理
 (3)外部のイベント情報提供サーバの提供するリアルタイム特徴情報(イベント情報等)の取得処理、
 上記情報中、「(1)事前に実行されたカメラ搭載車両の走行処理によって取得し、情報処理装置の記憶部、または外部サーバに格納された特徴情報の取得処理」は、例えば、
 (a)図1、図2に示す構成を持つ自車両を利用して過去に取得し、情報処理装置の記憶部、または外部サーバに格納した情報、または、
 (b)自車両以外の他のカメラ搭載車両の走行処理によって取得され、外部サーバに蓄積した情報、
 例えば、これらいずれかの情報の取得処理として実行することができる。
 また、上記情報中「(2)外部の交通情報提供サーバの提供するリアルタイム交通情報の取得処理」は、一般的な交通情報の取得処理の他、例えば、ローカルダイナミックマップ(LDM)を利用した情報取得処理として実行することができる。
 ローカルダイナミックマップ(LDM)は、例えば自動運転車両に対して、LDM提供サーバから提供されるマップであり、階層化された複数の情報群で構成される。具体的には以下の4つの異なるタイプのデータによって構成されたマップである。
 タイプ1(静的データ)=例えば中長期的に更新される地図情報等のデータ。
 タイプ2(準静的データ)=例えばビル等の建築物、樹木、標識等、短期的に大きな変化はないが、長期的には変化が発生するデータ。
 タイプ3(準動的データ)=信号、渋滞、事故等、ある一定の時間単位で変化し得るデータ。
 タイプ4(動的データ)車の渋滞や、人の混み具合等の往来情報等、逐次変化するデータ。
 これらのデータから構成されるローカルダイナミックマップ(LDM)は、例えばLDM提供サーバから各車両に送信される。
 また、上記情報中「(3)外部のイベント情報提供サーバの提供するリアルタイム特徴情報(イベント情報等)の取得処理」は、例えば、様々なイベント、例えばお祭りやコンサート等の様々なイベント開催情報等の取得処理である。
 これらの情報は、例えばイベント情報提供サーバ等から取得することができる。
 このように、本開示の情報処理装置は、
 (1)事前に実行されたカメラ搭載車両の走行処理によって取得し、情報処理装置の記憶部、または外部サーバに格納された特徴情報の取得処理、
 (2)外部の交通情報提供サーバの提供するリアルタイム交通情報の取得処理
 (3)外部のイベント情報提供サーバの提供するリアルタイム特徴情報(イベント情報等)の取得処理、
 これらの情報取得処理を実行して、例えば図3に示すような車両走行ルートの各位置に対応する特徴情報を記録した特徴情報設定マップを生成する。
 本開示の情報処理装置は、様々な情報ソースから取得した情報を利用して、例えば図3に示す特徴情報設定マップを生成し、生成した特徴情報設定マップを参照して表示部に対する情報表示を実行する。
 情報処理装置は、車両10の走行中、車両10が特徴情報設定マップの特徴情報記録領域に近づいた場合、その領域の特徴情報に対応付けられた表示データをデータベースから選択し、選択した表示データを車両10内部の表示部に表示する。
 すなわち、先に図2を参照して説明した車両内部に設けられた前方表示部21、左側面表示部22、右側面表示部23等に、車両通過領域に対応する特徴情報に基づいて選択した表示データを表示する。
 図4に本開示の情報処理装置による表示制御によって、車両内部の表示部に表示するデータの一例を示す。
 図4に示す例は、公園の上を「クジラ」や「さかな」が飛んでいる表示データの例である。
 背景の公園は、車両10の外部のカメラ、すなわち図1を参照して説明したカメラ12によって撮影された車両10外部の実画像である。
 本開示の情報処理装置は、例えばこのようにカメラが撮影した実オブジェクト画像に「クジラ」や「さかな」等の仮想オブジェクトを重畳した拡張現実(AR:Augumented Reality)画像(=AR画像)を生成して出力する。
 図4に示す表示画像の例は、図3に示す特徴情報設定マップの
 (P2)空が開けた公園
 この特徴情報が設定された領域(空が開けた公園)に車両10が近づくタイミングや、通過タイミングで表示する表示データの一例である。
 情報処理装置による表示制御によって、車両内部の表示部に表示するデータのもう一つの例を図5に示す。
 図5に示す例は、図3に示す特徴情報設定マップの
 (P3)PQストア所在地
 この特徴情報が設定された領域に車両10が近づくタイミングや、通過タイミングで表示する表示データの一例である。
 図5に示す表示情報の背景画像は、車両10の外部のカメラ、すなわち図1を参照して説明したカメラ12によって撮影された車両10外部の実画像である。
 この実画像上に「PQストア」が現れると、情報処理装置は、「PQストア」のライバルストアである「XYZストア」の案内情報を表示する。
 図5に示すように、
 「この先、間もなくXYZストアがあります」
 「ショッピングはXYZストアがお得」
 このようなメッセージを表示する。
 これは、広告情報としてのメッセージ表示処理の一例であり、「XYZストア」からの広告料金を受領して、このような特定企業の広告表示を行う。
 図5に示すように、車両がライバル店のある場所に近づいているタイミングで、このような広告メッセージを出力することで、ライバル店に流れそうなユーザを自社の店舗に誘導する効果がある。
 このように本開示の情報処理装置は、例えば図3を参照して説明したような特徴情報設定マップを利用し、特徴情報設定マップの各領域に対応付けられた特徴情報に基づいて表示コンテンツや表示メッセージを選択し、車両がその特徴情報が設定された領域に近づくタイミングや通過するタイミングにおいて、選択した表示データを表示する。
 本開示の情報処理装置は、特徴情報設定マップに特徴情報が記録された領域に車両10が近づいた場合、その領域の特徴情報に対応付けられた表示データをデータベース(特徴情報対応表示データ格納データベース)から選択し、選択した表示データを車両10内部の表示部に表示する。
 情報処理装置が表示データを選択する際に利用するデータベース(特徴情報対応表示データ格納DB)の記録データの例を図6に示す。
 特徴情報対応表示データ格納DBには、各特徴情報に対応付けられた表示データが記録されている。
 具体的には、図6に示すように、以下のようなデータを対応付けて記録している。
 (A)特徴情報=(a1)ビル街
 (B)表示データ
 (b11)エビが飛び出てくる表示データ
 (b12)カニが飛び出てくる表示データ
 (b13)マンボウが飛び出てくる表示データ
 (A)特徴情報=(a2)空が開けている
 (B)表示データ
 (b21)クジラが現れる表示データ
 (b22)小魚の大群が現れる表示データ
 (b23)ジンベエザメが現れる表示データ
 (A)特徴情報=(a3)渋滞中
 (B)表示データ
 (b31)大量の魚が現れる表示データ
 (A)特徴情報=(a4)PQストア店舗
 (B)表示データ
 (b41)XYZストアの広告表示データ
 情報処理装置の記憶部は、例えば、この図6に示すような対応データを格納した特徴情報対応表示データ格納DBを有している。
 なお、特徴情報対応表示データ格納DBの(B)表示データとして格納されているデータは、画像データやアニメーションのデータ、例えばクジラの撮影映像データや、アニメーション画像データやメッセージ画像等の表示用画像データである。
 情報処理装置は、特徴情報と表示データを対応付けた特徴情報対応表示データ格納DBを記憶部に保持する。情報処理装置のデータ処理部(表示制御部)は、このデータベースを参照して、特徴情報に応じた表示データを選択して表示する。
 なお、情報処理装置の保持する特徴情報対応表示データ格納DBに実画像データやアニメーションデータを格納せず、実画像データやアニメーションデータを外部装置から取得するためのアクセス情報(URL等)を記録する構成としてもよい。
 この場合、情報処理装置がこのアクセス情報(URL等)を利用して、外部装置から実画像データやアニメーションデータを取得する処理を行なう。
 なお、特徴情報対応表示データ格納DB全体を例えば外部サーバ等の外部装置が保持し、車両の情報処理装置が外部サーバをアクセスして、特徴情報に対応付けられた表示データを取得する処理を行なってもよい。
 次に、図7を参照して本実施例1の処理シーケンスについて説明する。
 図7は、本開示の情報処理装置が実行する処理、すなわち、上述した(実施例1)に従った処理を実行する場合の処理シーケンスを説明するフローチャートである。
 なお、図7以下に示すフローチャートに従った処理は、情報処理装置のデータ処理部において実行される。データ処理部は、プログラム実行機能を持つCPUを備え、記憶部に格納されたプログラムに従ってフローに従った処理を実行することができる。
 図7に示すフローの各ステップの処理について説明する。
  (ステップS101)
 まず、情報処理装置のデータ処理部は、ステップS101において、車両の走行ルートを決定、または決定走行ルート情報を入力する。
 例えば、先に図3を参照して説明したような(S)出発地点と、(E)目的地点とを結ぶ走行ルートを決定する。
 前述したように、(S)出発地点や、(E)目的地点は、車両の利用者または管理者が設定し、この(S)出発地点と(E)目的地点の設定に基づいて、例えば、最短の走行ルートを決定する。あるいは、車両10の利用者または管理者が車両の走行ルートを決定し、決定した走行ルート情報を入力してもよい。
  (ステップS102)
 次に、情報処理装置のデータ処理部は、ステップS102において、ステップS101で決定した走行ルートの各位置に特徴情報を設定した特徴情報設定マップを生成、または入力する。
 特徴情報設定マップは、先に図3を参照して説明したマップであり、車両の(S)出発地点から、(E)目的地点までの走行ルート上の様々な特徴情報が記録されたマップである。
 情報処理装置のデータ処理部は、ステップS102において、図3に示すような特徴情報設定マップを生成する処理、または外部から取得する処理を実行する。
 特徴情報設定マップを生成する場合、先に説明したように、情報処理装置は、例えば、以下の情報を利用する。
 (1)事前に実行されたカメラ搭載車両の走行処理によって取得し、情報処理装置の記憶部、または外部サーバに格納された特徴情報、
 (2)外部の交通情報提供サーバの提供するリアルタイム交通情報
 (3)外部のイベント情報提供サーバの提供するリアルタイム特徴情報(イベント情報等)
 なお、例えば外部サーバ等の外部装置に最新の特徴情報設定マップが保存されている場合は、この特徴情報設定マップを取得してもよい。
  (ステップS103)
 次に、情報処理装置のデータ処理部は、ステップS103において、ステップS101で決定した走行ルートに従って走行を開始する。
  (ステップS104)
 次に、情報処理装置のデータ処理部は、ステップS104において、ステップS102で生成または取得した特徴情報設定マップに記録された特徴情報の設定領域に接近したか否かを判定する。例えば、特徴情報設定領域に予め規定した距離(10m等)以内の距離まで近づいたか否かを判定する。
 特徴情報設定マップに記録された特徴情報の設定領域に接近したと判定した場合はステップS105に進む。
 一方、特徴情報設定マップに記録された特徴情報の設定領域に接近していないと判定した場合はステップS103に戻り、走行ルートに従った走行処理を継続する。
  (ステップS105)
 ステップS104において、特徴情報設定マップに記録された特徴情報の設定領域に接近したと判定した場合はステップS105に進む。
 情報処理装置のデータ処理部は、ステップS105において、特徴情報対応表示データ格納DBから接近中の特徴情報に対応する表示データを選択する。
 先に図6を参照して説明したように、特徴情報対応表示データ格納DBには、様々な特徴情報に対応付けられた表示データが記録されている。
 情報処理装置のデータ処理部は、ステップS105において、特徴情報対応表示データ格納DBから接近中の特徴情報に対応する表示データを選択する。
  (ステップS106)
 次に、情報処理装置のデータ処理部は、ステップS106において、外部カメラの撮影画像、すなわち外部の景色を撮影した実オブジェクト画像に、ステップS105で特徴情報対応表示データ格納DBから取得した表示データを重畳したAR画像を生成して表示部に出力する。
 すなわち、図2を参照して説明した車両内部の表示部に出力する。
 車両内部の表示部には、車両外部のカメラで撮影された外の景色の実画像が表示されており、情報処理装置は、この実オブジェクトから構成される実画像上に特徴情報対応表示データ格納DBから選択した表示データ、例えばクジラの画像データ等の仮想オブジェクトを重畳したAR画像表示データを生成して表示する。
 なお、特徴情報対応表示データ格納DBから取得した表示データの表示処理は、特徴情報設定領域の通過後に終了する。この終了タイミングは予め規定したアルゴリズムに従って行う。例えば特徴情報設定領域の通過後10秒後に消去、あるいは特徴情報設定領域から10も走行後に消去といった、予め規定したアルゴリズムに従った消去処理を実行する。
  (ステップS107)
 最後に、情報処理装置は、ステップS107において、車両が目的地に到着したか否かを判定する。
 車両が目的地に到着していない場合は、ステップS103に戻り、走行ルートに沿った走行を継続し、ステップS104以下の処理を繰り返し、実行する。
 車両が目的地に到着した場合は、処理を終了する。
 次に、図8を参照して、本実施例1を実行する情報処理装置100の構成例について説明する。
 図8に示す情報処理装置100は、例えば図1、図2を参照して説明した車両10内部に装着される。あるいは車両10との通信部を介して通信可能な外部装置内に設ける構成としてもよい。
 図8に示すように、情報処理装置100は、入力部101、特徴情報設定マップ生成部102、記憶部103、カメラ104、位置情報取得部(GPSシステム等)105、表示データ決定部106、表示部107を有する。
 入力部101は、例えばユーザによる出発地点と目的地点の入力や走行ルートの入力処理等を行う入力部である。
 入力部101を介して入力された走行ルート情報121は、特徴情報設定マップ生成部102に入力される。
 特徴情報設定マップ生成部102は、入力された走行ルート情報121の走行ルートに沿った各位置に様々な特徴情報を設定した特徴情報設定マップを生成する。
 特徴情報設定マップは、先に図3を参照して説明したマップであり、車両の(S)出発地点から、(E)目的地点までの走行ルート上の様々な特徴情報が記録されたマップである。
 特徴情報設定マップ生成部102は、特徴情報設定マップを生成場合、例えば、以下の情報を利用した処理を行なう。
 (1)事前に実行されたカメラ搭載車両の走行処理によって取得し、情報処理装置の記憶部、または外部サーバに格納された特徴情報、
 (2)外部の交通情報提供サーバの提供するリアルタイム交通情報
 (3)外部のイベント情報提供サーバの提供するリアルタイム特徴情報(イベント情報等)
 特徴情報設定マップ生成部102が生成した特徴情報設定マップ122は記憶部103に格納される。なお、外部サーバに格納する構成としてもよい。
 カメラ104は、車両10の外部、すなわち景色を撮影するカメラである。カメラ104が撮影した外部撮影画像124は、表示部107に表示される。
 表示部107は、車両内部の表示部、すなわち、先に図2を参照して説明した車両内部に設けられた前方表示部21、左側面表示部22、右側面表示部23等の表示部である。
 位置情報取得部(GPSシステム等)105は、例えばGPS衛星等との通信を実行して車両の現在位置を解析する。
 解析された位置情報は表示データ決定部106に入力される。
 表示データ決定部106は、位置情報取得部(GPSシステム等)105から車両の現在位置情報を入力する。
 表示データ決定部106は、記憶部103から取得した特徴情報設定マップ122に記録された特徴情報の設定領域に車両が接近したか否かを、この位置情報を利用して判定する。例えば、特徴情報設定領域に予め規定した距離(10m等)以内の距離まで近づいたか否かを判定する。
 表示データ決定部106は、車両が特徴情報設定マップ122に記録された特徴情報の設定領域に接近した場合、記憶部103に格納された特徴情報対応表示データ格納DB123から、接近中の特徴情報に対応する表示データを選択する。
 なお、表示データ決定部106は、図8に示すように外部サーバの保持する特徴情報対応表示データ格納DB123bを利用する構成としてもよい。
 先に図6を参照して説明したように、特徴情報対応表示データ格納DBには、様々な特徴情報に対応付けられた表示データが記録されている。
 表示データ決定部106は、特徴情報対応表示データ格納DB123から接近中の特徴情報に対応する表示データを選択する。
 表示データ決定部106は、外部カメラの撮影画像、すなわち外部の景色を撮影した外部撮影画像を表示中の表示部107に、特徴情報対応表示データ格納DB123から取得した表示データを重畳して表示する。
 この結果として、車両内部の表示部107には、外部の景色を撮影した外部撮影画像(実オブジェクト画像)に、特徴情報対応表示データ格納DB123から取得した表示データ(仮想オブジェクト画像)を重畳したAR画像125が表示される。
  [2-2.(実施例2)出発地から目的地までの走行ルートを走行中、車両外部を撮影するカメラの撮影画像から特徴シーンを抽出し、抽出した特徴シーン対応の画像を出力する表示情報制御を行う実施例]
 次に、(実施例2)出発地から目的地までの走行ルートを走行中、車両外部を撮影するカメラの撮影画像から特徴シーンを抽出し、抽出した特徴シーン対応の画像を出力する表示情報制御を行う実施例について説明する。
 この実施例2は、車両走行中に車両外部を撮影するカメラの撮影画像を解析し、この解析結果に基づいて、表示部に出力する表示データ(コンテンツ)を決定する実施例である。
 本実施例2では、例えば車両走行中の外部撮影画像のリアルタイム解析結果に基づいて現在の状況に応じた最適な表示データ(コンテンツ)を、遂次、決定して表示する。いわゆるアドリブ的にその場に応じた最適コンテンツを表示する実施例である。
 図9を参照して本実施例2の処理シーケンスについて説明する。
 図9に示すフローの各ステップの処理について説明する。
  (ステップS201)
 まず、情報処理装置のデータ処理部は、ステップS201において、車両の走行ルートを決定、または決定走行ルート情報を入力する。
 例えば、先に図3を参照して説明したような(S)出発地点と、(E)目的地点とを結ぶ走行ルートを決定する。
 前述したように、(S)出発地点や、(E)目的地点は、車両の利用者または管理者が設定し、この(S)出発地点と(E)目的地点の設定に基づいて、例えば、最短の走行ルートを決定する。あるいは、車両10の利用者または管理者が車両の走行ルートを決定し、決定した走行ルート情報を入力してもよい。
  (ステップS202)
 次に、情報処理装置のデータ処理部は、ステップS202において、ステップS201で決定した走行ルートに従って走行を開始する。
  (ステップS203)
 次に、情報処理装置のデータ処理部は、ステップS203において、車両の外部を撮影する外部カメラの撮影画像を入力する。
 たとえば図1に示す車両10の外部に装着されたカメラ12の撮影画像を入力する。
  (ステップS204)
 次に、情報処理装置のデータ処理部は、ステップS204において、ステップS203で入力したカメラ撮影画像を解析して特徴シーンを抽出する。
 特徴シーンは、例えば、先の実施例1で説明した特徴情報に対応する画像シーンであり、カメラ撮影画像から解析可能な現在の景色等の特徴を示すシーンである。具体的には、
 (1)ビル街
 (2)空が開けた公園
 (3)渋滞中
 (4)PQストア所在地
 上記(1)~(4)のような画像から解析可能な景色の特徴を示すデータを、特徴シーンとして抽出する。
  (ステップS205)
 次に、情報処理装置のデータ処理部は、ステップS205において、ステップS204で抽出した特徴シーンに基づいて、表示データを決定する。
 具体的には、特徴シーンと、表示データを対応付けた特徴シーン対応表示データ格納データベースを利用して、ステップS204で抽出した特徴シーンに基づいて、表示データを決定する。
 特徴シーン対応表示データ格納データベースの具体例を図10に示す。
 図10に示すように、特徴シーン対応表示データ格納データベースは、各特徴シーンと、表示データとの対応データを記録したデータベースである。先に図6を参照して説明した特徴情報対応表示データ格納DBの[(A)特徴情報]を、[(A)特徴シーン]に置き換えたデータベースに相当する。
 具体的には、図10に示すように、以下のようなデータを対応付けて記録している。
 (A)特徴シーン=(a1)ビル街
 (B)表示データ
 (b11)エビが飛び出てくる表示データ
 (b12)カニが飛び出てくる表示データ
 (b13)マンボウが飛び出てくる表示データ
 (A)特徴シーン=(a2)空が開けている
 (B)表示データ
 (b21)クジラが現れる表示データ
 (b22)小魚の大群が現れる表示データ
 (b23)ジンベエザメが現れる表示データ
 (A)特徴シーン=(a3)渋滞中
 (B)表示データ
 (b31)大量の魚が現れる表示データ
 (A)特徴シーン=(a4)PQストア店舗
 (B)表示データ
 (b41)XYZストアの広告表示データ
 情報処理装置の記憶部は、例えば、この図10に示すような対応データを格納した特徴シーン対応表示データ格納DBを有している。
 なお、特徴シーン対応表示データ格納DBの(B)表示データとして格納されているデータは、画像データやアニメーションのデータ、例えばクジラの撮影映像データや、アニメーション画像データやメッセージ画像等の表示用画像データである。
 情報処理装置は、特徴シーンと表示データを対応付けた特徴シーン対応表示データ格納DBを記憶部に保持する。情報処理装置のデータ処理部(表示制御部)は、このデータベースを参照して、特徴シーンに応じた表示データを選択して表示する。
 なお、情報処理装置の保持する特徴シーン対応表示データ格納DBに実画像データやアニメーションデータを格納せず、実画像データやアニメーションデータを外部装置から取得するためのアクセス情報(URL等)を記録する構成としてもよい。
 この場合、情報処理装置がこのアクセス情報(URL等)を利用して、外部装置から実画像データやアニメーションデータを取得する処理を行なう。
 なお、特徴シーン対応表示データ格納DB全体を例えば外部サーバ等の外部装置が保持し、車両の情報処理装置が外部サーバをアクセスして、特徴シーンに対応付けられた表示データを取得する処理を行なってもよい。
  (ステップS206)
 次に、情報処理装置のデータ処理部は、ステップS206において、外部カメラの撮影画像、すなわち外部の景色を撮影した実オブジェクト画像に、ステップS205で特徴シーン対応表示データ格納DBから取得した表示データを重畳したAR画像を生成して表示部に出力する。
 すなわち、図2を参照して説明した車両内部の表示部に出力する。
 車両内部の表示部には、車両外部のカメラで撮影された外の景色の実画像が表示されており、情報処理装置は、この実オブジェクトから構成される実画像上に特徴シーン対応表示データ格納DBから選択した表示データ、例えばクジラの画像データ等の仮想オブジェクトを重畳したAR画像表示データを生成して表示する。
 なお、特徴シーン対応表示データ格納DBから取得した表示データの表示処理は、先きの実施例1と同様、特徴シーン撮影領域の通過後に終了する。この終了タイミングは予め規定したアルゴリズムに従って行う。例えば特徴シーン撮影領域の通過後10秒後に消去、あるいは特徴シーン撮影領域から10も走行後に消去といった、予め規定したアルゴリズムに従った消去処理を実行する。
  (ステップS207)
 最後に、情報処理装置は、ステップS207において、車両が目的地に到着したか否かを判定する。
 車両が目的地に到着していない場合は、ステップS202に戻り、走行ルートに沿った走行を継続し、ステップS203以下の処理を繰り返し、実行する。
 車両が目的地に到着した場合は、処理を終了する。
 次に、図11を参照して、本実施例2を実行する情報処理装置150の構成例について説明する。
 図11に示す情報処理装置150は、例えば図1、図2を参照して説明した車両10内部に装着される。あるいは車両10との通信部を介して通信可能な外部装置内に設ける構成としてもよい。
 図11に示すように、情報処理装置150は、カメラ151、特徴シーン抽出部152、記憶部153、表示データ決定部154、表示部155を有する。
 カメラ151は、車両10の外部、すなわち景色を撮影するカメラである。カメラ151が撮影した外部撮影画像161は、表示部155に表示される。
 表示部155は、車両内部の表示部、すなわち、先に図2を参照して説明した車両内部に設けられた前方表示部21、左側面表示部22、右側面表示部23等の表示部である。
 本実施例2では、カメラ151が撮影した外部撮影画像161は、さらに、特徴シーン抽出部152に入力される。
 特徴シーン抽出部152は、カメラ151が撮影した外部撮影画像161を解析して特徴シーンを抽出する。特徴シーンとは、カメラ撮影画像から解析可能な現在の景色の特徴を示すシーンである。具体的には、
 (1)ビル街
 (2)空が開けた公園
 (3)渋滞中
 (4)PQストア所在地
 上記(1)~(4)のような画像から解析可能な景色の特徴を示すデータを、特徴シーンとして抽出する。
 なお、特徴シーン抽出処理の一つの具体的処理例として、新たに入力した現在の景色を撮影したカメラ撮影画像と、過去に撮影した画像の平均データとの差分を解析する手法が適用可能である。この処理例については後述する。
 特徴シーン抽出部152がカメラ撮影画像から抽出した特徴シーン情報162、例えば、ビル街、空が開けた公園、渋滞中、PQストア所在地等の特徴シーン情報162は、表示データ決定部154に入力される。
 表示データ決定部154は、特徴シーン抽出部152から入力した特徴シーン情報162に基づいて、記憶部153に格納された特徴シーン対応表示データ格納DB163を検索して、特徴シーン情報162に対応付けてデータベースに記録された表示データを選択する。
 なお、表示データ決定部106は、図11に示すように外部サーバの保持する特徴シーン対応表示データ格納DB163bを利用する構成としてもよい。
 先に図10を参照して説明したように、特徴シーン対応表示データ格納DBには、様々な特徴シーン情報に対応付けられた表示データが記録されている。
 表示データ決定部154は、特徴シーン対応表示データ格納DB163からカメラ撮影された画像から解析された特徴シーンに対応する表示データを選択する。
 表示データ決定部154は、外部カメラの撮影画像、すなわち外部の景色を撮影した外部撮影画像を表示中の表示部155に、特徴シーン対応表示データ格納DB163から取得した表示データを重畳して表示する。
 この結果、車両内部の表示部155には、外部の景色を撮影した外部撮影画像(実オブジェクト画像)に、特徴シーン対応表示データ格納DB163から取得した表示データ(仮想オブジェクト画像)を重畳したAR画像164が表示される。
 先に説明したように、特徴シーン抽出部152では、カメラ151が撮影した外部撮影画像161を解析して特徴シーンを抽出する。特徴シーンとは、カメラ撮影画像から解析可能な現在の景色の特徴を示すシーンであり、(1)ビル街、(2)空が開けた公園、(3)渋滞中、(4)PQストア所在地等、画像から解析可能な景色の特徴を示すデータを、特徴シーンとして抽出する。
 特徴シーン抽出処理の一つの具体的処理例として、現在の景色を撮影したカメラ撮影画像と、過去に撮影した画像の平均データとの差分を解析する手法が適用可能である。この処理例について説明する。
 図12は、特徴シーン抽出処理に適用する過去に撮影した画像の平均データである「平均化3Dマップ166」の生成処理構成を示す図である。
 図11を参照して説明した情報処理装置150は、図12に示す構成を適用して、予め特徴シーン抽出処理に適用する平均化3Dマップ166を生成して記憶部153に格納しておく。
 図12に示す構成を適用した平均化3Dマップ166生成処理は、図11を参照して説明したAR画像表示処理の実行前に行われる事前処理である。図12を参照してこの事前処理について説明する。
 車両10の走行中、カメラ151の撮影した外部撮影画像161は、SLAM処理実行部156に入力される。
 SLAM処理実行部156は、SLAM処理、すなわち、カメラ位置同定(ローカリゼーション)と環境地図作成(mapping)を並行して実行するSLAM(simultaneous localization and mapping)処理を実行する。
 このSLAM処理によって生成された3Dマップ165は、平均値算出処理実行部157に入力される。
 3Dマップ165は車両のカメラによって撮影される車両周囲の3Dマップであり、様々な車両位置から観察される画像を解析することが可能な3Dマップである。
 平均値算出処理実行部157は、すでに生成済みの平均化3Dマップ166を記憶部153から取得し、取得した平均化3Dマップ166と、新たにSLAM処理実行部156が実行したSLAM処理によって生成された最新の3Dマップ165との平均化処理を実行して、平均化3Dマップ166を更新し、記憶部153に格納する。
 この処理は、車両が同じ走行路を走行する際に繰り返し実行される。このように繰り返し実行される3Dマップ平均化処理によって、記憶部153に格納された平均化3Dマップ166は、遂次、更新される。
 図11に示す情報処理装置150の特徴シーン抽出部152は、この記憶部153に格納された平均化3Dマップ166を参照して、新たにカメラ151が撮影した外部撮影画像161との差分を解析し、この差分を特徴シーンとして抽出することができる。
 記憶部153に格納された平均化3Dマップ166を利用した特徴シーン抽出処理を行なう情報処理装置150の構成例を図13に示す。
 図13に示す情報処理装置150は、先に図11を参照して説明した情報処理装置150と基本的に同じ構成である。
 図13に示す情報処理装置150では、特徴シーン抽出部152が記憶部153に格納された平均化3Dマップ166を利用して特徴シーン抽出を行う構成であることを示している。
 図13に示す情報処理装置150の特徴シーン抽出部152は、図12を参照して説明した処理によって記憶部153に格納された平均化3Dマップ166を参照して特徴シーン抽出処理を実行する。
 特徴シーン抽出部152は、新たにカメラ151が撮影した外部撮影画像161と、記憶部153に格納された平均化3Dマップ166とを比較して、これらの差分を解析し、この差分を特徴シーンとして抽出する。
 具体的には、例えば、4月に車両10を走行させてカメラ151の撮影した外部撮影画像161に公園の「お花見」が行われている画像が撮影されているとする。
 一方、記憶部153に格納された平均化3Dマップ166の公園の画像は、「お花見」が行われていない静かな雰囲気の公園の画像である。
 この場合、特徴シーン抽出部152は、この差分を特徴シーンとして抽出する。すなわち「お花見の行われている公園」を特徴シーン情報として抽出し、表示データ決定部154に出力する。
 表示データ決定部154は、特徴シーン抽出部152から入力した、
 特徴シーン情報=「お花見の行われている公園」
 この特徴シーン情報162に基づいて、記憶部153に格納された特徴シーン対応表示データ格納DB163を検索して、特徴シーン情報162に対応付けてデータベースに記録された表示データを選択することができる。
 この処理によって、リアルタイムに得られる景色等の特徴に基づく最適なコンテンツを選択して表示することが可能となる。
 すなわち、現在の状況に応じたコンテンツをアドリブ的に表示する処理が可能となる。
  [2-3.(実施例3)出発地から目的地までの走行ルートを走行中、カメラ等の各種センサの検出情報や、その他の取得情報に基づいて表示データを決定して、決定した表示データを出力する表示情報制御を行う実施例]
 次に、(実施例3)出発地から目的地までの走行ルートを走行中、カメラ等の各種センサの検出情報や、その他の取得情報に基づいて表示データを決定して、決定した表示データを出力する表示情報制御を行う実施例について説明する。
 先に説明した実施例2では、外部カメラの撮影画像を利用して特徴シーンを抽出していた。これに対して、以下に説明する実施例3は、外部カメラの撮影画像のみならず、各種センサの検出情報や、外部サーバ等から取得する情報に基づいて、特徴情報を検出し、検出した特徴情報に基づいて表示データを決定して、決定した表示データを出力する表示情報制御を行う実施例である。
 図14を参照して、本実施例3において、表示データの決定処理に利用する特徴情報の例について説明する。
 図14に示すように、本実施例3において、表示データの決定処理に利用する特徴情報には、例えば以下の異なるカテゴリの情報が含まれる。
 図14には、以下の3つのカテゴリの特徴情報を示している。
 (a)車両装着センサ取得特徴情報
 (b)外部取得特徴情報
 (c)乗員特徴情報
 (a)車両装着センサ取得特徴情報は、例えば、カメラや、マイク、速度センサ等、車両10に装着されたセンサによって取得される特徴情報であり、例えば以下の情報が含まれる。
 (a1)車両周囲の画像情報
 (a2)車両周囲のオブジェクト情報
 (a3)車両位置
 (a4)外部音声
 (a5)乗員画像
 (a6)乗員音声、
 (a7)車速、車両傾き、車両状態
 (b)外部取得特徴情報は、例えば外部の情報提供サーバ等から取得される特徴情報であり、例えば、以下の情報が含まれる。
 (b1)2次元マップ
 (b2)3次元マップ
 (b3)交通情報
 (b4)天気
 (b5)日時(季節)
 (c)乗員特徴情報は、車両10に乗車する乗員の特徴情報である。乗員のカメラ撮影画像の解析情報、あるいは乗員による入力情報等によって取得される特徴情報であり、例えば以下の情報が含まれる。
 (c1)乗員人数
 (c2)乗員属性(年齢、性別、職業、乗車履歴、趣味、感情等)
 実施例3は、例えばこれらの特徴情報を取得して取得した特徴情報に基づいて表示データを決定する。
 図15を参照して本実施例3の処理シーケンスについて説明する。
 図15に示すフローの各ステップの処理について説明する。
  (ステップS301)
 まず、情報処理装置のデータ処理部は、ステップS301において、車両の走行ルートを決定、または決定走行ルート情報を入力する。
 例えば、先に図3を参照して説明したような(S)出発地点と、(E)目的地点とを結ぶ走行ルートを決定する。
 前述したように、(S)出発地点や、(E)目的地点は、車両の利用者または管理者が設定し、この(S)出発地点と(E)目的地点の設定に基づいて、例えば、最短の走行ルートを決定する。あるいは、車両10の利用者または管理者が車両の走行ルートを決定し、決定した走行ルート情報を入力してもよい。
  (ステップS302)
 次に、情報処理装置のデータ処理部は、ステップS302において、ステップS301で決定した走行ルートに従って走行を開始する。
  (ステップS303)
 次に、情報処理装置のデータ処理部は、ステップS303において、車両走行中に様々な特徴情報を取得する。すなわち、先に図14を参照して説明した以下の様々な特徴情報を取得する。
 (a)車両装着センサ取得特徴情報
 (b)外部取得特徴情報
 (c)乗員特徴情報
 これら各情報は、車両に装着されたカメラ等のセンサ、外部サーバ、乗員入力情報等、様々な情報ソースから取得する。
  (ステップS304)
 次に、情報処理装置のデータ処理部は、ステップS304において、ステップS303で取得した特徴情報に基づいて、表示データを決定する。
 情報処理装置のデータ処理部は、様々な特徴情報と表示データを対応付けた特徴情報対応表示データ格納データベースを利用して、ステップS303で取得した特徴情報に基づいて、表示データを決定する。
 情報処理装置は、様々な特徴情報と表示データを対応付けた特徴情報対応表示データ格納DBを記憶部に保持している。情報処理装置のデータ処理部(表示制御部)は、このデータベースを参照して、検出した特徴情報に応じた表示データを選択して表示する。
 なお、様々な特徴情報と表示データを対応付けた特徴情報対応表示データ格納DBは、先に図6を参照して説明したデータベース構成データの他、例えば、以下のような特徴情報と表示データの対応データが記録されている。
 (1)特徴情報と表示データの対応データ例1
 (1a)特徴情報=乗員の笑い声(車内マイクの取得音声)
 (1b)表示データ=花畑の画像
 (2)特徴情報と表示データの対応データ例2
 (2a)特徴情報=雪(外部の天気情報提供サーバからの取得情報)
 (2b)表示データ=雪だるま
 情報処理装置のデータ処理部(表示制御部)は、例えば、これらの対応データが記録されたデータベースを参照して、検出した特徴情報に応じた表示データを選択して表示する。
 なお、情報処理装置の保持する特徴情報対応表示データ格納DBに実画像データやアニメーションデータを格納せず、実画像データやアニメーションデータを外部装置から取得するためのアクセス情報(URL等)を記録する構成としてもよい。
 この場合、情報処理装置がこのアクセス情報(URL等)を利用して、外部装置から実画像データやアニメーションデータを取得する処理を行なう。
 なお、特徴情報対応表示データ格納DB全体を例えば外部サーバ等の外部装置が保持し、車両の情報処理装置が外部サーバをアクセスして、特徴情報に対応付けられた表示データを取得する処理を行なってもよい。
  (ステップS305)
 次に、情報処理装置のデータ処理部は、ステップS305において、外部カメラの撮影画像、すなわち外部の景色を撮影した実オブジェクト画像に、ステップS304で特徴情報対応表示データ格納DBから取得した表示データを重畳したAR画像を生成して表示部に出力する。
 すなわち、図2を参照して説明した車両内部の表示部に出力する。
 車両内部の表示部には、車両外部のカメラで撮影された外の景色の実画像が表示されており、情報処理装置は、この実オブジェクトから構成される実画像上に特徴情報対応表示データ格納DBから選択した表示データ、例えば雪だるまの画像データ等の仮想オブジェクトを重畳したAR画像表示データを生成して表示する。
 なお、特徴情報対応表示データ格納DBから取得した表示データの表示処理は、特徴情報設定領域の通過後に終了する。この終了タイミングは予め規定したアルゴリズムに従って行う。例えば特徴情報設定領域の通過後10秒後に消去、あるいは特徴情報設定領域から10も走行後に消去といった、予め規定したアルゴリズムに従った消去処理を実行する。
  (ステップS306)
 最後に、情報処理装置は、ステップS306において、車両が目的地に到着したか否かを判定する。
 車両が目的地に到着していない場合は、ステップS302に戻り、走行ルートに沿った走行を継続し、ステップS303以下の処理を繰り返し、実行する。
 車両が目的地に到着した場合は、処理を終了する。
 次に、図16を参照して、本実施例3を実行する情報処理装置200の構成例について説明する。
 図16に示す情報処理装置200は、例えば図1、図2を参照して説明した車両10内部に装着される。あるいは車両10との通信部を介して通信可能な外部装置内に設ける構成としてもよい。
 図16に示すように、情報処理装置200は、カメラ201、センサ群202、特徴情報抽出部203、記憶部204、表示データ決定部205、表示部206を有する。
 カメラ201は、車両10の外部、すなわち景色を撮影するカメラである。カメラ201が撮影した外部撮影画像211は、表示部206に表示される。
 表示部206は、車両内部の表示部、すなわち、先に図2を参照して説明した車両内部に設けられた前方表示部21、左側面表示部22、右側面表示部23等の表示部である。
 本実施例3では、カメラ201が撮影した外部撮影画像211は、さらに、特徴情報抽出部203に入力される。
 特徴情報抽出部203は、さらに、センサ群202から様々なセンサ検出情報を入力し、さらに、外部サーバからも様々な情報を入力する。
 センサ群は、カメラ、マイク、温度センサ、傾きセンサ、速度センサ等、様々なセンサによって構成される。
 また、外部サーバは交通情報提供サーバ、イベント情報提供サーバ、天気情報提供サーバ等、様々な外部サーバによって構成される。
 カメラ、センサ、外部サーバ等から特徴情報抽出部203に入力される情報は、先に図14を参照して説明した特徴情報に相当する。すなわち、先に図14を参照して説明した以下の様々な特徴情報が特徴情報抽出部203に入力される。
 (a)車両装着センサ取得特徴情報
 (b)外部取得特徴情報
 (c)乗員特徴情報
 特徴情報抽出部203は、これらの入力情報に基づいて、特徴情報を解析し、通常時と異なっている特徴情報を抽出する。
 この特徴情報抽出処理の一つの具体的処理例として、新たに入力した現在の景色を撮影したカメラ撮影画像と、過去に撮影した画像の平均データとの差分を解析する手法が適用可能である。すなわち、先の実施例2において、図12を参照して説明した処理に従って生成される平均化3Dマップと、現在撮影中の外部撮影画像211との差分を抽出する処理が適用できる。
 さらに、本実施例3ではカメラ撮影画像のみならずマイクによる取得音声や車両センサによる車利用の傾き情報等に基づいて特徴情報を抽出する処理が実行される。
 この場合も、平均化3Dマップと同様、平均化センサ取得データと、現在のセンサ取得情報との比較処理を実行して差分を抽出する処理等を実行する。
 図16に示すように、記憶部204には、平均化3Dマップ221、平均化センサ取得データ222が格納されている。
 特徴情報値抽出部203は、これら記憶部に格納された平均化データと、現在のカメラ撮影画像やセンサ取得情報との比較処理を実行して差分を抽出し、抽出した差分を特徴情報として表示データ決定部205に出力する。
 表示データ決定部205は、特徴情報抽出部203から入力した特徴情報に基づいて、記憶部204に格納された特徴情報対応表示データ格納DB223を検索して、特徴情報に対応付けてデータベースに記録された表示データを選択する。
 なお、表示データ決定部205は、図16に示すように外部サーバの保持する特徴情報対応表示データ格納DB223bを利用する構成としてもよい。
  [2-4.(実施例4)出発地から目的地までの走行ルートに対応する特徴情報設定マップを利用し、特徴情報設定マップに設定された特徴情報に対応する画像を出力する表示情報制御を行うとともに、特徴情報設定マップに設定された特徴情報に応じて車両の走行制御を行う実施例]
 次に、(実施例4)出発地から目的地までの走行ルートに対応する特徴情報設定マップを利用し、特徴情報設定マップに設定された特徴情報に対応する画像を出力する表示情報制御を行うとともに、特徴情報設定マップに設定された特徴情報に応じて車両の走行制御を行う実施例について説明する。
 本実施例4は、先に説明した実施例1と同様、特徴情報設定マップに設定された特徴情報に対応する画像を出力する表示情報制御を行う。さらに、本実施例4では特徴情報設定マップに設定された特徴情報に応じて車両の走行制御を行う。
 図17を参照して本実施例4の処理シーケンスについて説明する。
 図17に示すフローの各ステップの処理について説明する。
  (ステップS401)
 まず、情報処理装置のデータ処理部は、ステップS401において、車両の走行ルートを決定、または決定走行ルート情報を入力する。
 例えば、先に図3を参照して説明したような(S)出発地点と、(E)目的地点とを結ぶ走行ルートを決定する。
 前述したように、(S)出発地点や、(E)目的地点は、車両の利用者または管理者が設定し、この(S)出発地点と(E)目的地点の設定に基づいて、例えば、最短の走行ルートを決定する。あるいは、車両10の利用者または管理者が車両の走行ルートを決定し、決定した走行ルート情報を入力してもよい。
  (ステップS402)
 次に、情報処理装置のデータ処理部は、ステップS402において、ステップS401で決定した走行ルートの各位置に特徴情報を設定した特徴情報設定マップを生成、または入力する。
 特徴情報設定マップは、先に図3を参照して説明したマップであり、車両の(S)出発地点から、(E)目的地点までの走行ルート上の様々な特徴情報が記録されたマップである。
 情報処理装置のデータ処理部は、ステップS402において、図3に示すような特徴情報設定マップを生成する処理、または外部から取得する処理を実行する。
 特徴情報設定マップを生成する場合、先に説明したように、情報処理装置は、例えば、以下の情報を利用する。
 (1)事前に実行されたカメラ搭載車両の走行処理によって取得し、情報処理装置の記憶部、または外部サーバに格納された特徴情報、
 (2)外部の交通情報提供サーバの提供するリアルタイム交通情報
 (3)外部のイベント情報提供サーバの提供するリアルタイム特徴情報(イベント情報等)
 なお、例えば外部サーバ等の外部装置に最新の特徴情報設定マップが保存されている場合は、この特徴情報設定マップを取得してもよい。
  (ステップS403)
 次に、情報処理装置のデータ処理部は、ステップS403において、ステップS402で生成、または入力した徴情報設定マップに基づいて車両の走行パターン情報を決定する。
 例えば、特徴情報が設定され、特徴情報対応の表示データを表示する区間では走行速度を低速にするといった走行パターン情報を生成する。
 生成した走行パターン所を右方は記憶部に格納する。
  (ステップS404)
 次に、情報処理装置のデータ処理部は、ステップS404において、ステップS401で決定した走行ルートと、ステップS403で決定した走行パターンに従って走行を開始する。
  (ステップS405)
 次に、情報処理装置のデータ処理部は、ステップS405において、ステップS402で生成または取得した特徴情報設定マップに記録された特徴情報の設定領域に接近したか否かを判定する。例えば、特徴情報設定領域に予め規定した距離(10m等)以内の距離まで近づいたか否かを判定する。
 特徴情報設定マップに記録された特徴情報の設定領域に接近したと判定した場合はステップS406に進む。
 一方、特徴情報設定マップに記録された特徴情報の設定領域に接近していないと判定した場合はステップS404に戻り、走行ルートに従った走行処理を継続する。
  (ステップS406)
 ステップS405において、特徴情報設定マップに記録された特徴情報の設定領域に接近したと判定した場合はステップS406に進む。
 情報処理装置のデータ処理部は、ステップS406において、特徴情報対応表示データ格納DBから接近中の特徴情報に対応する表示データを選択する。
 先に図6を参照して説明したように、特徴情報対応表示データ格納DBには、様々な特徴情報に対応付けられた表示データが記録されている。
 情報処理装置のデータ処理部は、ステップS406において、特徴情報対応表示データ格納DBから接近中の特徴情報に対応する表示データを選択する。
  (ステップS407)
 次に、情報処理装置のデータ処理部は、ステップS407において、外部カメラの撮影画像、すなわち外部の景色を撮影した実オブジェクト画像に、ステップS406で特徴情報対応表示データ格納DBから取得した表示データを重畳したAR画像を生成して表示部に出力する。
 すなわち、図2を参照して説明した車両内部の表示部に出力する。
 さらに、ステップS403で生成した走行パターン情報に基づいて表示データ表示に併せた走行制御を実行する。例えば低速走行、一時停止するといった走行制御を実行する。
 車両内部の表示部には、車両外部のカメラで撮影された外の景色の実画像が表示されており、情報処理装置は、この実オブジェクトから構成される実画像上に特徴情報対応表示データ格納DBから選択した表示データ、例えばクジラの画像データ等の仮想オブジェクトを重畳したAR画像表示データを生成して表示する。
 なお、特徴情報対応表示データ格納DBから取得した表示データの表示処理は、特徴情報設定領域の通過後に終了する。この終了タイミングは予め規定したアルゴリズムに従って行う。例えば特徴情報設定領域の通過後10秒後に消去、あるいは特徴情報設定領域から10も走行後に消去といった、予め規定したアルゴリズムに従った消去処理を実行する。
  (ステップS408)
 最後に、情報処理装置は、ステップS408において、車両が目的地に到着したか否かを判定する。
 車両が目的地に到着していない場合は、ステップS404に戻り、走行ルートに沿った走行を継続し、ステップS405以下の処理を繰り返し、実行する。
 車両が目的地に到着した場合は、処理を終了する。
 次に、図18を参照して、本実施例4を実行する情報処理装置B100Bの構成例について説明する。
 図18に示す情報処理装置B100Bは、例えば図1、図2を参照して説明した車両10内部に装着される。あるいは車両10との通信部を介して通信可能な外部装置内に設ける構成としてもよい。
 図18に示す情報処理装置B100Bは、先に図8を参照して説明した実施例1の情報処理装置100をベースとした構成である。
 図18に示すように、情報処理装置B100Bは、入力部101、特徴情報設定マップ生成部102、記憶部103、カメラ104、位置情報取得部(GPSシステム等)105、表示データ決定部106、表示部107を有する。これらの構成は先に図8を参照して説明した実施例1の情報処理装置100と同様の構成である。
 図18に示す情報処理装置B100Bは、これらの構成に加えて、走行パターン生成部171、車両走行制御部173を有する。
 入力部101は、例えばユーザによる出発地点と目的地点の入力や走行ルートの入力処理等を行う入力部である。
 入力部101を介して入力された走行ルート情報121は、特徴情報設定マップ生成部102に入力される。
 特徴情報設定マップ生成部102は、入力された走行ルート情報121の走行ルートに沿った各位置に様々な特徴情報を設定した特徴情報設定マップを生成する。
 特徴情報設定マップは、先に図3を参照して説明したマップであり、車両の(S)出発地点から、(E)目的地点までの走行ルート上の様々な特徴情報が記録されたマップである。
 特徴情報設定マップ生成部102が生成した特徴情報設定マップ122は記憶部103に格納される。なお、外部サーバに格納する構成としてもよい。
 カメラ104は、車両10の外部、すなわち景色を撮影するカメラである。カメラ104が撮影した外部撮影画像124は、表示部107に表示される。
 表示部107は、車両内部の表示部、すなわち、先に図2を参照して説明した車両内部に設けられた前方表示部21、左側面表示部22、右側面表示部23等の表示部である。
 位置情報取得部(GPSシステム等)105は、例えばGPS衛星等との通信を実行して車両の現在位置を解析する。
 解析された位置情報は表示データ決定部106に入力される。
 表示データ決定部106は、位置情報取得部(GPSシステム等)105から車両の現在位置情報を入力する。
 表示データ決定部106は、記憶部103から取得した特徴情報設定マップ122に記録された特徴情報の設定領域に車両が接近したか否かを、この位置情報を利用して判定する。例えば、特徴情報設定領域に予め規定した距離(10m等)以内の距離まで近づいたか否かを判定する。
 表示データ決定部106は、車両が特徴情報設定マップ122に記録された特徴情報の設定領域に接近した場合、記憶部103に格納された特徴情報対応表示データ格納DB123から、接近中の特徴情報に対応する表示データを選択する。
 なお、表示データ決定部106は、図18に示すように外部サーバの保持する特徴情報対応表示データ格納DB123bを利用する構成としてもよい。
 先に図6を参照して説明したように、特徴情報対応表示データ格納DBには、様々な特徴情報に対応付けられた表示データが記録されている。
 表示データ決定部106は、特徴情報対応表示データ格納DB123から接近中の特徴情報に対応する表示データを選択する。
 表示データ決定部106は、外部カメラの撮影画像、すなわち外部の景色を撮影した外部撮影画像を表示中の表示部107に、特徴情報対応表示データ格納DB123から取得した表示データを重畳して表示する。
 この結果として、車両内部の表示部107には、外部の景色を撮影した外部撮影画像(実オブジェクト画像)に、特徴情報対応表示データ格納DB123から取得した表示データ(仮想オブジェクト画像)を重畳したAR画像125が表示される。
 さらに、走行パターン生成部171は、車両の走行ルートに従った走行処理における走行パターンを決定する。例えば特徴情報対応の表示データを表示する区間では一時停止や低速走行するといった走行パターン情報を生成する。
 走行パターン生成部171は生成した走行パターン情報172を記憶部103に格納する。
 車両走行制御部173は、記憶部103に格納された走行パターン情報172を取得して走行パターン情報172に従って車両を走行させる走行制御を実行する。
 この走行制御処理により、例えば、特徴情報対応の表示データの表示区間において一時停止や低速走行が行われる。
  [2-5.(実施例5)出発地から目的地までの走行ルートに対応する特徴情報設定マップを利用し、特徴情報設定マップに設定された特徴情報や乗員属性に応じて選択した画像を出力する表示情報制御を行い、乗員の観察データに基づいて表示データの切り替え制御を行う実施例]
 次に、(実施例5)出発地から目的地までの走行ルートに対応する特徴情報設定マップを利用し、特徴情報設定マップに設定された特徴情報や乗員属性に応じて選択した画像を出力する表示情報制御を行い、乗員の観察データに基づいて表示データの切り替え制御を行う実施例について説明する。
 本実施例5は、先に説明した実施例1と同様の特徴情報設定マップに設定された特徴情報のみならず、乗員属性に応じて選択した画像を出力する表示情報制御を行う。さらに、本実施例5では乗員の観察データに基づいて表示データの切り替え制御を行う。
 図19を参照して本実施例5の処理シーケンスについて説明する。
 図19に示すフローの各ステップの処理について説明する。
  (ステップS501)
 まず、情報処理装置のデータ処理部は、ステップS501において、車両の走行ルートを決定、または決定走行ルート情報を入力する。
 例えば、先に図3を参照して説明したような(S)出発地点と、(E)目的地点とを結ぶ走行ルートを決定する。
 前述したように、(S)出発地点や、(E)目的地点は、車両の利用者または管理者が設定し、この(S)出発地点と(E)目的地点の設定に基づいて、例えば、最短の走行ルートを決定する。あるいは、車両10の利用者または管理者が車両の走行ルートを決定し、決定した走行ルート情報を入力してもよい。
  (ステップS502)
 次に、情報処理装置のデータ処理部は、ステップS502において、ステップS501で決定した走行ルートの各位置に特徴情報を設定した特徴情報設定マップを生成、または入力する。
 特徴情報設定マップは、先に図3を参照して説明したマップであり、車両の(S)出発地点から、(E)目的地点までの走行ルート上の様々な特徴情報が記録されたマップである。
 情報処理装置のデータ処理部は、ステップS502において、図3に示すような特徴情報設定マップを生成する処理、または外部から取得する処理を実行する。
 特徴情報設定マップを生成する場合、先に説明したように、情報処理装置は、例えば、以下の情報を利用する。
 (1)事前に実行されたカメラ搭載車両の走行処理によって取得し、情報処理装置の記憶部、または外部サーバに格納された特徴情報、
 (2)外部の交通情報提供サーバの提供するリアルタイム交通情報
 (3)外部のイベント情報提供サーバの提供するリアルタイム特徴情報(イベント情報等)
 なお、例えば外部サーバ等の外部装置に最新の特徴情報設定マップが保存されている場合は、この特徴情報設定マップを取得してもよい。
  (ステップS503)
 次に、情報処理装置のデータ処理部は、ステップS503において、車両に乗車した乗員の属性情報を取得する。
 例えば乗員の人数、性別、年齢構成、趣味、乗車履歴、乗員の状態、例えば表示部を注目して見ている、表示部を見ていない、乗員同士の会話に夢中になっている等の乗員の状態についても解析、取得する。
 これらの乗員属性情報は、例えば乗員の撮影画像の解析処理、あるいは乗員による入力データの解析処理によって取得する。
  (ステップS504)
 次に、情報処理装置のデータ処理部は、ステップS504において、ステップS501で決定した走行ルートに従って走行を開始する。
  (ステップS505)
 次に、情報処理装置のデータ処理部は、ステップS505において、ステップS502で生成または取得した特徴情報設定マップに記録された特徴情報の設定領域に接近したか否かを判定する。例えば、特徴情報設定領域に予め規定した距離(10m等)以内の距離まで近づいたか否かを判定する。
 特徴情報設定マップに記録された特徴情報の設定領域に接近したと判定した場合はステップS506に進む。
 一方、特徴情報設定マップに記録された特徴情報の設定領域に接近していないと判定した場合はステップS504に戻り、走行ルートに従った走行処理を継続する。
  (ステップS506)
 ステップS505において、特徴情報設定マップに記録された特徴情報の設定領域に接近したと判定した場合はステップS506に進む。
 情報処理装置のデータ処理部は、ステップS506において、特徴情報対応表示データ格納DBから接近中の特徴情報に対応する表示データを選択する。
 なお、本実施例で利用する特徴情報対応表示データ格納DBには、特徴情報と、乗員属性に対応付けた表示データが記録されている。
 例えば、以下のような対応データが記録されている。
 (1)DB記録対応データ例1
 (1a)特徴情報=空の開けた公園
 (1b)乗員属性=10歳以下の子供
 (1c)表示データ=クジラのアニメーション
 (2)DB記録対応データ例2
 (2a)特徴情報=空の開けた公園
 (2b)乗員属性=大人
 (2c)表示データ=クジラの実画像動画
 このように、本実施例5において利用する特徴情報対応表示データ格納DBには、特徴情報とのみならず乗員属性に応じた表示データが記録されており、乗員に応じた最適コンテンツが表示される。
  (ステップS507)
 次に、情報処理装置のデータ処理部は、ステップS507において、外部カメラの撮影画像、すなわち外部の景色を撮影した実オブジェクト画像に、ステップS506で特徴情報対応表示データ格納DBから取得した表示データを重畳したAR画像を生成して表示部に出力する。
 すなわち、図2を参照して説明した車両内部の表示部に出力する。
 車両内部の表示部には、車両外部のカメラで撮影された外の景色の実画像が表示されており、情報処理装置は、この実オブジェクトから構成される実画像上に特徴情報対応表示データ格納DBから選択した表示データ、例えばクジラの画像データ等の仮想オブジェクトを重畳したAR画像表示データを生成して表示する。
  (ステップS508)
 次に、情報処理装置のデータ処理部は、ステップS508において、乗員の状態、具体的には、乗員が車内の表示部の画像に注目しているか、あるいは注目せず飽きているかを判定する。
 この判定処理は、車内カメラの撮影画像の解析に基づいて実行する。
 乗員が飽きていると判定された場合は、ステップS509に進む。
 乗員が飽きていないと判定した場合は、現在の表示データをそのまま表示する。なお、特徴情報対応表示データ格納DBから取得した表示データの表示処理は、特徴情報設定領域の通過後に終了する。この終了タイミングは予め規定したアルゴリズムに従って行う。例えば特徴情報設定領域の通過後10秒後に消去、あるいは特徴情報設定領域から10も走行後に消去といった、予め規定したアルゴリズムに従った消去処理を実行する。
  (ステップS509)
 ステップS508において、乗員が飽きていると判定された場合は、ステップS509に進む。
 この場合、情報処理装置のデータ処理部は、ステップS509において、表示データの切り替えを実行する。
 なお、この切り替え処理に際しても乗員属性に応じた表示データをDBから選択して表示する。
  (ステップS510)
 最後に、情報処理装置は、ステップS510において、車両が目的地に到着したか否かを判定する。
 車両が目的地に到着していない場合は、ステップS504に戻り、走行ルートに沿った走行を継続し、ステップS505以下の処理を繰り返し、実行する。
 車両が目的地に到着した場合は、処理を終了する。
 次に、図20を参照して、本実施例5を実行する情報処理装置C100Cの構成例について説明する。
 図20に示す情報処理装置C100Cは、例えば図1、図2を参照して説明した車両10内部に装着される。あるいは車両10との通信部を介して通信可能な外部装置内に設ける構成としてもよい。
 図20に示す情報処理装置C100Cは、先に図8を参照して説明した実施例1の情報処理装置100をベースとした構成である。
 図20に示すように、情報処理装置C100Cは、入力部101、特徴情報設定マップ生成部102、記憶部103、カメラ104、位置情報取得部(GPSシステム等)105、表示データ決定部106、表示部107を有する。これらの構成は先に図8を参照して説明した実施例1の情報処理装置100と同様の構成である。
 図20に示す情報処理装置C100Cは、これらの構成に加えて、センサ群181、乗員状態解析部183を有する。
 入力部101は、例えばユーザによる出発地点と目的地点の入力や走行ルートの入力処理等を行う入力部である。
 入力部101を介して入力された走行ルート情報121は、特徴情報設定マップ生成部102に入力される。
 さらに、本実施例5では、入力部101は、乗員または管理者による乗員属性情報の入力処理にも利用される。
 乗員属性とは、例えば乗員の人数、性別、年齢構成、趣味、乗車履歴等である。
 これら乗員属性は、入力部101を介したに有力、さらにセンサ群181を構成する車内カメラの解析情報に基づいて生成され、記憶部103に乗員属性情報182として記録される。
 特徴情報設定マップ生成部102は、入力された走行ルート情報121の走行ルートに沿った各位置に様々な特徴情報を設定した特徴情報設定マップを生成する。
 特徴情報設定マップは、先に図3を参照して説明したマップであり、車両の(S)出発地点から、(E)目的地点までの走行ルート上の様々な特徴情報が記録されたマップである。
 特徴情報設定マップ生成部102が生成した特徴情報設定マップ122は記憶部103に格納される。なお、外部サーバに格納する構成としてもよい。
 カメラ104は、車両10の外部、すなわち景色を撮影するカメラである。カメラ104が撮影した外部撮影画像124は、表示部107に表示される。
 表示部107は、車両内部の表示部、すなわち、先に図2を参照して説明した車両内部に設けられた前方表示部21、左側面表示部22、右側面表示部23等の表示部である。
 位置情報取得部(GPSシステム等)105は、例えばGPS衛星等との通信を実行して車両の現在位置を解析する。
 解析された位置情報は表示データ決定部106に入力される。
 表示データ決定部106は、位置情報取得部(GPSシステム等)105から車両の現在位置情報を入力する。
 表示データ決定部106は、記憶部103から取得した特徴情報設定マップ122に記録された特徴情報の設定領域に車両が接近したか否かを、この位置情報を利用して判定する。例えば、特徴情報設定領域に予め規定した距離(10m等)以内の距離まで近づいたか否かを判定する。
 表示データ決定部106は、さらに、記憶部103から乗員属性情報182を取得し、乗員属性情報に従って表示データを決定する。
 車両が特徴情報設定マップ122に記録された特徴情報の設定領域に接近した場合、記憶部103に格納された特徴情報対応表示データ格納DB123から、接近中の特徴情報と、乗員属性情報に基づいて表示データを選択する。
 なお、表示データ決定部106は、図18に示すように外部サーバの保持する特徴情報対応表示データ格納DB123bを利用する構成としてもよい。
 前述したように、本実施例で利用する特徴情報対応表示データ格納DBには、特徴情報と、乗員属性に対応付けた表示データが記録されている。
 例えば、以下のような対応データが記録されている。
 (1)DB記録対応データ例1
 (1a)特徴情報=空の開けた公園
 (1b)乗員属性=10歳以下の子供
 (1c)表示データ=クジラのアニメーション
 (2)DB記録対応データ例2
 (2a)特徴情報=空の開けた公園
 (2b)乗員属性=大人
 (2c)表示データ=クジラの実画像動画
 このように、本実施例5において利用する特徴情報対応表示データ格納DBには、特徴情報とのみならず乗員属性に応じた表示データが記録されており、表示データ決定部106は、乗員属性に応じた最適コンテンツを選択して表示する。
 表示データ決定部106は、外部カメラの撮影画像、すなわち外部の景色を撮影した外部撮影画像を表示中の表示部107に、特徴情報対応表示データ格納DB123から取得した乗員属性対応の表示データを重畳して表示する。
 この結果として、車両内部の表示部107には、外部の景色を撮影した外部撮影画像(実オブジェクト画像)に、特徴情報対応表示データ格納DB123から取得した乗員属性対応の表示データ(仮想オブジェクト画像)を重畳したAR画像125が表示される。
 さらに、乗員状態解析部183は、乗員の状態、具体的には、乗員が車内の表示部の画像に注目しているか、あるいは注目せず飽きているかを判定する。
 この判定処理は、車内カメラの撮影画像の解析に基づいて実行する。
 乗員が飽きているか否かの判定情報は、表示データ決定部106に入力される。
 乗員が飽きているとの判定情報が表示データ決定部106に入力されると、表示データ決定部106は、現在の表示データを切り替える処理を行なう。
 この表示データ切り替え処理も、特徴情報対応表示データ格納DBから、乗員属性に対応した表示データを選択して実行する。
 このように、本実施例5は、乗員の属性に基づいて表示データを選択するとともに、データ表示中の乗員状態に応じて表示データの切り替えを行う構成であり、乗員を飽きさせないデータ表示を行うことが可能となる。
 ここまで、本開示の情報処理装置の5つの実施例。すなわち、以下の5つの実施例について説明してきた。
 (実施例1)出発地から目的地までの走行ルートに対応する特徴情報設定マップを利用し、特徴情報設定マップに設定された特徴情報に対応する画像を出力する表示情報制御を行う実施例
 (実施例2)出発地から目的地までの走行ルートを走行中、車両外部を撮影するカメラの撮影画像から特徴シーンを抽出し、抽出した特徴シーン対応の画像を出力する表示情報制御を行う実施例
 (実施例3)出発地から目的地までの走行ルートを走行中、カメラ等の各種センサの検出情報や、その他の取得情報に基づいて表示データを決定して、決定した表示データを出力する表示情報制御を行う実施例
 (実施例4)出発地から目的地までの走行ルートに対応する特徴情報設定マップを利用し、特徴情報設定マップに設定された特徴情報に対応する画像を出力する表示情報制御を行うとともに、特徴情報設定マップに設定された特徴情報に応じて車両の走行制御を行う実施例
 (実施例5)出発地から目的地までの走行ルートに対応する特徴情報設定マップを利用し、特徴情報設定マップに設定された特徴情報や乗員属性に応じて選択した画像を出力する表示情報制御を行い、乗員の観察データに基づいて表示データの切り替え制御を行う実施例
 これら各実施例は、個別に実行することも可能であるが、任意の複数の実施例の組み合わせとして実行することも可能である。
 例えば上記(実施例1)と(実施例2)を並列に実行する構成としてもよい。
 この場合、情報処理装置は、図8を参照して説明した実施例1の構成と、図11に示す実施例2の構成を併せた構成を有する装置として構成される。
 その他、実施例1~5の任意の複数の実施例を組み合わせた構成も可能である。
  [3.情報処理装置、および情報処理システムの構成例について]
 本開示の情報処理装置の実行する処理について説明したが、先に説明したように、情報処理装置は、車両等の移動装置内に構成してもよいし、車両の表示装置と通信可能な外部のサーバ等の装置に構成してもよい。
 また、上述した各実施例において実行する処理の一部を車両内の情報処理装置において実行し、一部を外部の装置で実行する構成としてもよい。
 図21に、上述した各実施例に従った処理を行なう場合の情報処理システムの構成例を示す。
 図21(1)情報処理システム構成例1は、上述した各実施例に従った処理を車両10内の情報処理装置で実行する構成例である。
 車両10内の情報処理装置250は、情報処理装置250において実行する処理に必要となるデータ、例えば走行ルート設定特徴情報設定マップの生成処理に必要となる道路情報、特徴情報、あるいは表示部に表示するデータ等を取得する場合には外部サーバ271から情報を取得する。
 取得情報を適用したデータ処理や、データ表示制御等は、車両内の情報処理装置250内で実行する。
 一方、図21(2)情報処理システム構成例2は、車両内の情報処理装置250と、情報処理装置250と通信可能なデータ処理サーバ272において実行する構成としたシステム例である。
 例えば、特徴情報設定マップの生成処理等、上述した実施例で説明した処理の一部をデータ処理サーバ272において実行する構成としてもよい。
 車両内の情報処理装置250や、データ処理サーバ272は、道路情報、特徴情報、あるいは表示部に表示するデータ等を取得する場合には外部サーバ271から情報を取得する。
 また、各実施例において情報処理装置の記憶部に格納するものとして説明したデータは、データ処理サーバ272等、外部サーバに記憶し、車両10内の情報処理装置250が必要に応じて取得する構成としてもよい。
 なお、車両10内の情報処理装置250側の機能と、サーバ側の機能の機能分割態様は、様々な異なる設定が可能であり、また、1つの機能を双方で実行する構成も可能である。
  [4.情報処理装置のハードウェア構成例について]
 次に、図22を参照して、情報処理装置のハードウェア構成例について説明する。
 図22を参照して説明するハードウェアは、各実施例1~5を実行する情報処理装置のハードウェアの構成例であり、また、図21に示す各サーバのハードウェア構成の一例でもある。
 CPU(Central Processing Unit)301は、ROM(Read Only Memory)302、または記憶部308に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明した処理を実行する。RAM(Random Access Memory)303には、CPU301が実行するプログラムやデータなどが記憶される。これらのCPU301、ROM302、およびRAM303は、バス304により相互に接続されている。
 CPU301はバス304を介して入出力インタフェース305に接続され、入出力インタフェース305には、各種スイッチ、キーボード、タッチパネル、マウス、マイクロフォン、さらに、センサ、カメラ、GPS等の状況データ取得部などよりなる入力部306、ディスプレイ、スピーカーなどよりなる出力部307が接続されている。
 なお、車両10に備えられた情報処理装置の場合、入力部306には、カメラ、マイク、各種センサが含まれる。
 また、出力部307には、車両10に備えられた情報処理装置の場合、表示部、音声出力部(スピーカ)が含まれる。
 CPU301は、入力部306から入力される指令や状況データ等を入力し、各種の処理を実行し、処理結果を例えば出力部307に出力する。
 入出力インタフェース305に接続されている記憶部308は、例えばハードディスク等からなり、CPU301が実行するプログラムや各種のデータを記憶する。通信部309は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
 入出力インタフェース305に接続されているドライブ310は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア311を駆動し、データの記録あるいは読み取りを実行する。
  [5.本開示の構成のまとめ]
 以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
 なお、本明細書において開示した技術は、以下のような構成をとることができる。
 (1) 移動装置の内部に設けられた表示部に出力するデータの表示制御を実行するデータ処理部を有し、
 前記データ処理部は、
 前記移動装置の走行時に特徴情報を取得し、取得特徴情報に基づいて前記表示部に出力する表示データを決定する情報処理装置。
 (2) 前記データ処理部は、
 様々な特徴情報と表示データとの対応データを記録した特徴情報対応表示データ格納データベースから、前記取得特徴情報に対応して記録された表示データを選択し、選択した表示データを前記表示部に出力する(1)に記載の情報処理装置。
 (3) 前記データ処理部は、
 前記特徴情報に基づいて決定した表示データを、
 前記移動装置に装着されたカメラの撮影画像に重畳して表示する(1)または(2)に記載の情報処理装置。
 (4) 前記データ処理部は、
 前記特徴情報に基づいて決定した表示データである仮想オブジェクト画像を、
 前記移動装置に装着されたカメラの撮影画像である実オブジェクト画像に重畳したAR(Augmented Reality)画像を生成して前記表示部に出力する(1)~(3)いずれかに記載の情報処理装置。
 (5) 前記データ処理部は、
 前記移動装置の走行ルート上の特徴情報を記録した特徴情報設定マップを参照し、
 前記移動装置が、前記特徴情報設定マップの特徴情報記録領域に近づいた場合に、その領域の特徴情報に基づいて前記表示部に出力する表示データを決定する(1)~(4)いずれかに記載の情報処理装置。
 (6) 前記データ処理部は、
 前記移動装置の走行ルート上でカメラが撮影する画像から特徴シーンを検出し、検出した特徴シーンに基づいて前記表示部に出力する表示データを決定する(1)~(5)いずれかに記載の情報処理装置。
 (7) 前記データ処理部は、
 前記移動装置の走行ルート上でカメラが撮影する画像と、
 予め生成済みの過去の撮影画像に基づく平均化画像データとの差分を抽出し、抽出した差分データに基づいて特徴シーンを検出する(6)に記載の情報処理装置。
 (8) 前記データ処理部は、
 前記平均化画像データとして、SLAM(simultaneous localization and mapping)処理によって生成した3Dマップの平均化データである平均化3Dマップを生成して記憶部に格納し、
 前記データ処理部は、
 前記移動装置の走行ルート上でカメラが撮影する画像と、
 記憶部に格納された前記平均化3Dマップとの差分を抽出し、抽出した差分データに基づいて特徴シーンを検出する(7)に記載の情報処理装置。
 (9) 前記データ処理部は、
 前記移動装置の走行ルート上でセンサが取得する情報から特徴情報を検出し、検出した特徴情報に基づいて前記表示部に出力する表示データを決定する(1)~(8)いずれかに記載の情報処理装置。
 (10) 前記データ処理部は、
 前記移動装置の走行ルート上で外部装置から取得する情報から特徴情報を検出し、検出した特徴情報に基づいて前記表示部に出力する表示データを決定する(1)~(9)いずれかに記載の情報処理装置。
 (11) 前記データ処理部は、
 前記移動装置の走行ルート上で取得する乗員情報から特徴情報を検出し、検出した特徴情報に基づいて前記表示部に出力する表示データを決定する(1)~(10)いずれかに記載の情報処理装置。
 (12) 前記データ処理部は、
 前記移動装置の走行時に特徴情報を取得し、取得特徴情報に基づいて前記表示部に出力する表示データを決定するとともに、
 取得特徴情報に基づいて前記移動装置の走行制御を実行する(1)~(11)いずれかに記載の情報処理装置。
 (13) 前記データ処理部は、
 前記移動装置の乗員の状態を解析し、解析結果に基づいて前記表示部に出力する表示データを決定する処理を実行する(1)~(12)いずれかに記載の情報処理装置。
 (14) 前記データ処理部は、
 前記移動装置の乗員の状態を解析し、解析結果に基づいて前記表示部に出力する表示データを変更する処理を実行する(1)~(13)いずれかに記載の情報処理装置。
 (15) 情報処理装置において実行する情報処理方法であり、
 前記情報処理装置は、移動装置の内部に設けられた表示部に出力するデータの表示制御を実行するデータ処理部を有し、
 前記データ処理部が、
 前記移動装置の走行時に特徴情報を取得し、取得特徴情報に基づいて前記表示部に出力する表示データを決定する情報処理方法。
 (16) 情報処理装置において情報処理を実行させるプログラムであり、
 前記情報処理装置は、移動装置の内部に設けられた表示部に出力するデータの表示制御を実行するデータ処理部を有し、
 前記プログラムは、前記データ処理部に、
 前記移動装置の走行時に特徴情報を取得させ、取得特徴情報に基づいて前記表示部に出力する表示データを決定させるプログラム。
 また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
 なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 以上、説明したように、本開示の一実施例の構成によれば、車両走行時に取得する特徴情報に基づいて選択した表示データを車両内部の表示部に表示する構成が実現される。
 具体的には、例えば、移動装置の内部に設けられた表示部に出力するデータの表示制御を実行するデータ処理部を有する。データ処理部は、移動装置の走行時に特徴情報を取得し、取得した特徴情報に基づいて表示部に出力する表示データを決定する。データ処理部は、特徴情報対応表示データ格納データベースから、取得した特徴情報に対応して記録された表示データを選択し、選択した表示データを移動装置に装着されたカメラの撮影画像である実オブジェクト画像に重畳したAR画像を生成して表示部に出力する。
 本構成により、車両走行時に取得する特徴情報に基づいて選択した表示データを車両内部の表示部に表示する構成が実現される。
  10 車両
  11 表示部
  12 カメラ
  21 前方表示部
  22 左側面表示部
  23 右側面表示部
 100 情報処理装置
 101 入力部
 102 特徴情報設定マップ生成部
 103 記憶部
 104 カメラ
 105 位置情報取得部(GPSシステム等)
 106 表示データ決定部
 107 表示部
 150 情報処理装置
 151 カメラ
 152 特徴シーン抽出部
 153 記憶部
 154 表示データ決定部
 155 表示部
 156 SLAM処理実行部
 157 平均値算出処理実行部
 171 走行パターン生成部
 173 車両走行制御部
 181 センサ群
 183 乗員状態解析部
 200 情報処理装置
 201 カメラ
 202 センサ群
 203 特徴情報抽出部
 204 記憶部
 205 表示データ決定部
 206 表示部
 250 情報処理装置
 271 情報処理サーバ
 272 データ処理サーバ
 301 CPU
 302 ROM
 303 RAM
 304 バス
 305 入出力インタフェース
 306 入力部
 307 出力部
 308 記憶部
 309 通信部
 310 ドライブ
 311 リムーバブルメディア

Claims (16)

  1.  移動装置の内部に設けられた表示部に出力するデータの表示制御を実行するデータ処理部を有し、
     前記データ処理部は、
     前記移動装置の走行時に特徴情報を取得し、取得特徴情報に基づいて前記表示部に出力する表示データを決定する情報処理装置。
  2.  前記データ処理部は、
     様々な特徴情報と表示データとの対応データを記録した特徴情報対応表示データ格納データベースから、前記取得特徴情報に対応して記録された表示データを選択し、選択した表示データを前記表示部に出力する請求項1に記載の情報処理装置。
  3.  前記データ処理部は、
     前記特徴情報に基づいて決定した表示データを、
     前記移動装置に装着されたカメラの撮影画像に重畳して表示する請求項1に記載の情報処理装置。
  4.  前記データ処理部は、
     前記特徴情報に基づいて決定した表示データである仮想オブジェクト画像を、
     前記移動装置に装着されたカメラの撮影画像である実オブジェクト画像に重畳したAR(Augmented Reality)画像を生成して前記表示部に出力する請求項1に記載の情報処理装置。
  5.  前記データ処理部は、
     前記移動装置の走行ルート上の特徴情報を記録した特徴情報設定マップを参照し、
     前記移動装置が、前記特徴情報設定マップの特徴情報記録領域に近づいた場合に、その領域の特徴情報に基づいて前記表示部に出力する表示データを決定する請求項1に記載の情報処理装置。
  6.  前記データ処理部は、
     前記移動装置の走行ルート上でカメラが撮影する画像から特徴シーンを検出し、検出した特徴シーンに基づいて前記表示部に出力する表示データを決定する請求項1に記載の情報処理装置。
  7.  前記データ処理部は、
     前記移動装置の走行ルート上でカメラが撮影する画像と、
     予め生成済みの過去の撮影画像に基づく平均化画像データとの差分を抽出し、抽出した差分データに基づいて特徴シーンを検出する請求項6に記載の情報処理装置。
  8.  前記データ処理部は、
     前記平均化画像データとして、SLAM(simultaneous localization and mapping)処理によって生成した3Dマップの平均化データである平均化3Dマップを生成して記憶部に格納し、
     前記データ処理部は、
     前記移動装置の走行ルート上でカメラが撮影する画像と、
     記憶部に格納された前記平均化3Dマップとの差分を抽出し、抽出した差分データに基づいて特徴シーンを検出する請求項7に記載の情報処理装置。
  9.  前記データ処理部は、
     前記移動装置の走行ルート上でセンサが取得する情報から特徴情報を検出し、検出した特徴情報に基づいて前記表示部に出力する表示データを決定する請求項1に記載の情報処理装置。
  10.  前記データ処理部は、
     前記移動装置の走行ルート上で外部装置から取得する情報から特徴情報を検出し、検出した特徴情報に基づいて前記表示部に出力する表示データを決定する請求項1に記載の情報処理装置。
  11.  前記データ処理部は、
     前記移動装置の走行ルート上で取得する乗員情報から特徴情報を検出し、検出した特徴情報に基づいて前記表示部に出力する表示データを決定する請求項1に記載の情報処理装置。
  12.  前記データ処理部は、
     前記移動装置の走行時に特徴情報を取得し、取得特徴情報に基づいて前記表示部に出力する表示データを決定するとともに、
     取得特徴情報に基づいて前記移動装置の走行制御を実行する請求項1に記載の情報処理装置。
  13.  前記データ処理部は、
     前記移動装置の乗員の状態を解析し、解析結果に基づいて前記表示部に出力する表示データを決定する処理を実行する請求項1に記載の情報処理装置。
  14.  前記データ処理部は、
     前記移動装置の乗員の状態を解析し、解析結果に基づいて前記表示部に出力する表示データを変更する処理を実行する請求項1に記載の情報処理装置。
  15.  情報処理装置において実行する情報処理方法であり、
     前記情報処理装置は、移動装置の内部に設けられた表示部に出力するデータの表示制御を実行するデータ処理部を有し、
     前記データ処理部が、
     前記移動装置の走行時に特徴情報を取得し、取得特徴情報に基づいて前記表示部に出力する表示データを決定する情報処理方法。
  16.  情報処理装置において情報処理を実行させるプログラムであり、
     前記情報処理装置は、移動装置の内部に設けられた表示部に出力するデータの表示制御を実行するデータ処理部を有し、
     前記プログラムは、前記データ処理部に、
     前記移動装置の走行時に特徴情報を取得させ、取得特徴情報に基づいて前記表示部に出力する表示データを決定させるプログラム。
PCT/JP2020/039510 2019-12-05 2020-10-21 情報処理装置、および情報処理方法、並びにプログラム WO2021111752A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/780,729 US20220412763A1 (en) 2019-12-05 2020-10-21 Information processing device, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019220198 2019-12-05
JP2019-220198 2019-12-05

Publications (1)

Publication Number Publication Date
WO2021111752A1 true WO2021111752A1 (ja) 2021-06-10

Family

ID=76221188

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/039510 WO2021111752A1 (ja) 2019-12-05 2020-10-21 情報処理装置、および情報処理方法、並びにプログラム

Country Status (2)

Country Link
US (1) US20220412763A1 (ja)
WO (1) WO2021111752A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018169244A (ja) * 2017-03-29 2018-11-01 株式会社ゼンリンデータコム 移動体情報提供サービスシステム、移動体情報提供サービスサーバー装置、移動体窓用装置及び移動体情報提供サービス方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9141871B2 (en) * 2011-10-05 2015-09-22 Carnegie Mellon University Systems, methods, and software implementing affine-invariant feature detection implementing iterative searching of an affine space
US9646384B2 (en) * 2013-09-11 2017-05-09 Google Technology Holdings LLC 3D feature descriptors with camera pose information
US20160140438A1 (en) * 2014-11-13 2016-05-19 Nec Laboratories America, Inc. Hyper-class Augmented and Regularized Deep Learning for Fine-grained Image Classification
US11210804B2 (en) * 2018-02-23 2021-12-28 Sony Group Corporation Methods, devices and computer program products for global bundle adjustment of 3D images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018169244A (ja) * 2017-03-29 2018-11-01 株式会社ゼンリンデータコム 移動体情報提供サービスシステム、移動体情報提供サービスサーバー装置、移動体窓用装置及び移動体情報提供サービス方法

Also Published As

Publication number Publication date
US20220412763A1 (en) 2022-12-29

Similar Documents

Publication Publication Date Title
US10901416B2 (en) Scene creation system for autonomous vehicles and methods thereof
US7688229B2 (en) System and method for stitching of video for routes
US11155268B2 (en) Utilizing passenger attention data captured in vehicles for localization and location-based services
JP7331696B2 (ja) 情報処理装置、情報処理方法、プログラム、および移動体
US11721213B1 (en) Displaying sensor data and supplemental data as a mask for autonomous vehicles
JP5459137B2 (ja) 交差点案内システム
US11972616B2 (en) Enhanced navigation instructions with landmarks under difficult driving conditions
EP3530521B1 (en) Driver assistance method and apparatus
JP7437630B2 (ja) 表示装置、表示方法、及び車両
US20230017486A1 (en) Display device, display method, and vehicle
US20240005642A1 (en) Data Augmentation for Vehicle Control
US11193784B2 (en) End of trip sequence
WO2021172492A1 (ja) 画像処理装置、表示システム、画像処理方法及び記録媒体
WO2021111752A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
EP4290185A1 (en) Mixed reality-based display device and route guide system
JP6917426B2 (ja) 画像表示装置、画像表示方法、および、画像表示システム
JP7486564B2 (ja) 困難な運転状態下でのランドマークによる強化されたナビゲーション指示
US11702011B1 (en) Data augmentation for driver monitoring
KR102633425B1 (ko) 교통사고 현장 재구성 리포트를 만드는 장치
JP2002152704A (ja) 画像サービスシステム及び画像記憶システム
JP2022137534A (ja) 地図生成装置および車両位置認識装置
JP2021149752A (ja) 表示装置、表示方法、及び車両
CN116420134A (zh) 利用多个密集深度图标记多个图像中的物体
CN116168184A (zh) 一种虚拟3d环境下的娱乐方法、装置及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20895898

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20895898

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP