JP7441190B2 - 運転支援装置、運転支援方法及び運転支援システム - Google Patents

運転支援装置、運転支援方法及び運転支援システム Download PDF

Info

Publication number
JP7441190B2
JP7441190B2 JP2021028497A JP2021028497A JP7441190B2 JP 7441190 B2 JP7441190 B2 JP 7441190B2 JP 2021028497 A JP2021028497 A JP 2021028497A JP 2021028497 A JP2021028497 A JP 2021028497A JP 7441190 B2 JP7441190 B2 JP 7441190B2
Authority
JP
Japan
Prior art keywords
height
moving
plan
driving support
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021028497A
Other languages
English (en)
Other versions
JP2022129713A (ja
Inventor
航 劉
章彦 兵頭
秀紀 坂庭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2021028497A priority Critical patent/JP7441190B2/ja
Priority to US17/678,310 priority patent/US20220270328A1/en
Priority to CN202210170264.6A priority patent/CN115047865A/zh
Publication of JP2022129713A publication Critical patent/JP2022129713A/ja
Application granted granted Critical
Publication of JP7441190B2 publication Critical patent/JP7441190B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • G05D1/0282—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal generated in a local control room
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008—Cut plane or projection plane definition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Description

本開示は、運転支援装置、運転支援方法及び運転支援システムに関する。
近年、自動運転の関連技術が徐々に登場している。そして、移動体の自動運転機能の高度化が一層望まれている。自動運転機能の中でも、移動体の安全性は最も重要な性能の一つとなっている。
電動車椅子や移動ロボット等の移動体が移動領域を効率的に移動するためには、移動体と障害物との干渉を精度良く判定する必要がある。移動体と障害物との干渉を精度良く判定できれば、移動体は障害物の近傍を通過することができ、その結果、移動体は移動領域を自由に移動することができる。
従来から、移動体と障害物との干渉を判定するための様々な提案がなされている。
移動体と障害物との干渉を判定する手段の１つとして、特開２０１４－５６５０６号公報（特許文献１）がある。特許文献１には、「障害物検出装置は、移動体の形状を記憶する移動体形状記憶部４８と、移動領域内にある障害物の位置と形状を記憶する障害物記憶部４６と、移動体の位置情報と、移動体形状記憶部に記憶された移動体の形状と、障害物記憶部に記憶された障害物の位置と形状に基づいて、移動体と障害物との干渉を判定する干渉判定部３８と、を有している。移動体形状記憶部は、移動体を高さ方向に複数の層に分割したときの各層について、その層における移動体の形状を記憶している。障害物記憶部は、複数の層のそれぞれについて、その層における障害物の位置と形状を記憶する二次元地図を記憶している。干渉判定部は、複数の層のそれぞれについて、その層における移動体の形状と、その層における障害物の二次元地図を用いて、移動体と障害物の干渉を判定する」技術が記載されている。
特開２０１４－５６５０６号公報
特許文献１では、移動領域内にある障害物までの距離を計測する３次元スキャン型の距離センサ等を備えた移動体が、距離センサによって取得された計測データに基づいて、移動領域内の障害物の位置と形状を示す２次元地図を作成した後、作成した２次元地図を用いて移動体と障害物との干渉を判定する。
しかし、特許文献１では、移動体は障害物の検出に用いられる各種センサを備える必要があるため、移動体のコストが高額となる上、移動体と障害物の干渉判定は、コンピューティング資源が限られるローカルデバイスによって行われるため、干渉判定の精度が限定されてしまう。
従って、センサを備えていない移動体にも利用可能であり、移動体側での処理の負荷を抑えつつ、移動体の運転を支援する運転支援手段が望まれている。
そこで、本開示は、センサを備えていない移動体にも利用可能であり、移動体側での処理の負荷を抑えつつ、移動体の運転を支援する運転支援手段を提供することを目的とする。
上記の課題を解決するために、代表的な本発明の運転支援装置の一つは、移動領域内に移動する移動体の運転を支援するための運転支援装置であって、前記移動領域を表す３次元モデルを少なくとも格納する記憶部と、前記移動領域に設置されているセンサ群から、前記移動体の高さである第１の高さを示す第１の高さ情報と、前記移動体に対して所定の距離基準を満たす物体の高さである第２の高さを示す第２の高さ情報とを受信可能な入力部と、前記第１の高さ情報に基づいて第１の平面図を前記３次元モデルから抽出し、前記第２の高さ情報に基づいて第２の平面図を前記３次元モデルから抽出する抽出部と、前記第１の平面図と、前記第２の平面図とを結合することで、前記移動領域を２次元で示し、前記移動体の運転を支援するための結合地図を生成する生成部と、生成した前記結合地図を、前記移動体に送信可能な出力部とを含む。
本開示によれば、センサを備えていない移動体にも利用可能であり、移動体側での処理の負荷を抑えつつ、移動体の運転を支援する運転支援手段を提供することができる。
上記以外の課題、構成及び効果は、以下の発明を実施するための形態における説明により明らかにされる。
図１は、本開示の実施例を実施するためのコンピュータシステムを示す図である。 図２は、本開示の実施形態に係る運転支援システムの構成の一例を示す図である。 図３は、本開示の実施形態に係る運転支援システムによる運転支援方法の流れの一例を示す図である。 図４は、本開示の実施形態に係る運転支援システムにおけるデータの流れの一例を示す図である。 図５は、本開示の実施形態に係る運転支援システムの使用例を示す図である。 図６は、本開示の実施形態に係る３次元モデルの一例を示す図である。 図７は、本開示の実施形態に係る３次元モデルから平面図を抽出する処理の具体例を示す図である。 図８は、本開示の実施形態に係る３次元モデルから抽出された平面図の具体例を示す図である。 図９は、本開示の実施形態に係る平面図を結合することで得られる結合地図の具体例を示す図である。 図１０は、本開示の実施形態に係るリスク要素を反映させた結合地図の一例を示す図である。 図１１は、本開示の実施形態に係るリスク要素を避けるためのリスク回避指示の一例を示す図である。
以下、図面を参照して、本発明の実施形態について説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
まず、図１を参照して、本開示の実施形態を実施するためのコンピュータシステム１００について説明する。本明細書で開示される様々な実施形態の機構及び装置は、任意の適切なコンピューティングシステムに適用されてもよい。コンピュータシステム１００の主要コンポーネントは、１つ以上のプロセッサ１０２、メモリ１０４、端末インターフェース１１２、ストレージインタフェース１１３、Ｉ／Ｏ（入出力）デバイスインタフェース１１４、及びネットワークインターフェース１１５を含む。これらのコンポーネントは、メモリバス１０６、Ｉ／Ｏバス１０８、バスインターフェースユニット１０９、及びＩ／Ｏバスインターフェースユニット１１０を介して、相互的に接続されてもよい。
コンピュータシステム１００は、プロセッサ１０２と総称される１つ又は複数の汎用プログラマブル中央処理装置（ＣＰＵ）１０２Ａ及び１０２Ｂを含んでもよい。ある実施形態では、コンピュータシステム１００は複数のプロセッサを備えてもよく、また別の実施形態では、コンピュータシステム１００は単一のＣＰＵシステムであってもよい。各プロセッサ１０２は、メモリ１０４に格納された命令を実行し、オンボードキャッシュを含んでもよい。
ある実施形態では、メモリ１０４は、データ及びプログラムを記憶するためのランダムアクセス半導体メモリ、記憶装置、又は記憶媒体（揮発性又は不揮発性のいずれか）を含んでもよい。メモリ１０４は、本明細書で説明する機能を実施するプログラム、モジュール、及びデータ構造のすべて又は一部を格納してもよい。例えば、メモリ１０４は、運転支援アプリケーション１５０を格納していてもよい。ある実施形態では、運転支援アプリケーション１５０は、後述する機能をプロセッサ１０２上で実行する命令又は記述を含んでもよい。
ある実施形態では、運転支援アプリケーション１５０は、プロセッサベースのシステムの代わりに、またはプロセッサベースのシステムに加えて、半導体デバイス、チップ、論理ゲート、回路、回路カード、および/または他の物理ハードウェアデバイスを介してハードウェアで実施されてもよい。ある実施形態では、運転支援アプリケーション１５０は、命令又は記述以外のデータを含んでもよい。ある実施形態では、カメラ、センサ、または他のデータ入力デバイス（図示せず）が、バスインターフェースユニット１０９、プロセッサ１０２、またはコンピュータシステム１００の他のハードウェアと直接通信するように提供されてもよい。
コンピュータシステム１００は、プロセッサ１０２、メモリ１０４、表示システム１２４、及びＩ／Ｏバスインターフェースユニット１１０間の通信を行うバスインターフェースユニット１０９を含んでもよい。Ｉ／Ｏバスインターフェースユニット１１０は、様々なＩ／Ｏユニットとの間でデータを転送するためのＩ／Ｏバス１０８と連結していてもよい。Ｉ／Ｏバスインターフェースユニット１１０は、Ｉ／Ｏバス１０８を介して、Ｉ／Ｏプロセッサ（ＩＯＰ）又はＩ／Ｏアダプタ（ＩＯＡ）としても知られる複数のＩ／Ｏインタフェースユニット１１２，１１３，１１４、及び１１５と通信してもよい。
表示システム１２４は、表示コントローラ、表示メモリ、又はその両方を含んでもよい。表示コントローラは、ビデオ、オーディオ、又はその両方のデータを表示装置１２６に提供することができる。また、コンピュータシステム１００は、データを収集し、プロセッサ１０２に当該データを提供するように構成された1つまたは複数のセンサ等のデバイスを含んでもよい。
例えば、コンピュータシステム１００は、心拍数データやストレスレベルデータ等を収集するバイオメトリックセンサ、湿度データ、温度データ、圧力データ等を収集する環境センサ、及び加速度データ、運動データ等を収集するモーションセンサ等を含んでもよい。これ以外のタイプのセンサも使用可能である。表示システム１２４は、単独のディスプレイ画面、テレビ、タブレット、又は携帯型デバイスなどの表示装置１２６に接続されてもよい。
Ｉ／Ｏインタフェースユニットは、様々なストレージ又はＩ／Ｏデバイスと通信する機能を備える。例えば、端末インタフェースユニット１１２は、ビデオ表示装置、スピーカテレビ等のユーザ出力デバイスや、キーボード、マウス、キーパッド、タッチパッド、トラックボール、ボタン、ライトペン、又は他のポインティングデバイス等のユーザ入力デバイスのようなユーザＩ／Ｏデバイス１１６の取り付けが可能である。ユーザは、ユーザインターフェースを使用して、ユーザ入力デバイスを操作することで、ユーザＩ／Ｏデバイス１１６及びコンピュータシステム１００に対して入力データや指示を入力し、コンピュータシステム１００からの出力データを受け取ってもよい。ユーザインターフェースは例えば、ユーザＩ／Ｏデバイス１１６を介して、表示装置に表示されたり、スピーカによって再生されたり、プリンタを介して印刷されたりしてもよい。
ストレージインタフェース１１３は、１つ又は複数のディスクドライブや直接アクセスストレージ装置１１７（通常は磁気ディスクドライブストレージ装置であるが、単一のディスクドライブとして見えるように構成されたディスクドライブのアレイ又は他のストレージ装置であってもよい）の取り付けが可能である。ある実施形態では、ストレージ装置１１７は、任意の二次記憶装置として実装されてもよい。メモリ１０４の内容は、ストレージ装置１１７に記憶され、必要に応じてストレージ装置１１７から読み出されてもよい。Ｉ／Ｏデバイスインタフェース１１４は、プリンタ、ファックスマシン等の他のＩ／Ｏデバイスに対するインターフェースを提供してもよい。ネットワークインターフェース１１５は、コンピュータシステム１００と他のデバイスが相互的に通信できるように、通信経路を提供してもよい。この通信経路は、例えば、ネットワーク１３０であってもよい。
ある実施形態では、コンピュータシステム１００は、マルチユーザメインフレームコンピュータシステム、シングルユーザシステム、又はサーバコンピュータ等の、直接的ユーザインターフェースを有しない、他のコンピュータシステム（クライアント）からの要求を受信するデバイスであってもよい。他の実施形態では、コンピュータシステム１００は、デスクトップコンピュータ、携帯型コンピュータ、ノートパソコン、タブレットコンピュータ、ポケットコンピュータ、電話、スマートフォン、又は任意の他の適切な電子機器であってもよい。
次に、図２を参照して、本開示の実施形態に係る運転支援システムの構成について説明する。
図２は、本開示の実施形態に係る運転支援システム２００の構成の一例を示す図である。図２に示すように、本開示の実施形態に係る運転支援システム２００は、センサ群２１０、移動体２２０、通信ネットワーク２３０、及び運転支援装置２４０を含む。また、センサ群２１０、移動体２２０、及び運転支援装置２４０は、通信ネットワーク２３０を介して相互的に接続される。
ここでの通信ネットワーク２３０は、例えばインターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＭＡＮ(Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ)、ＷＡＮ(Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ)等を含んでもよい。
センサ群２１０は、移動体２２０が移動する移動領域内に設置され、移動体２２０や移動領域に関するセンサデータを取得するように構成されているセンサ装置である。センサ群２１０は、例えば移動体や移動領域の映像を取得するカメラや、移動領域内に存在する物体の寸法（高さ、幅、奥行き）、形状、位置等の情報を取得する３次元スキャン型の距離センサを含んでもよい。
センサ群２１０の数、種類、及び配置は、移動領域の広さや間取りによって適宜に選択されてもよいが、移動領域の全体を撮影することが可能なように構成されることが望ましい。ここでの移動領域は、移動体２２０が移動する環境であり、例えば空港、駅、病院、オフィスビル等の公共施設であってもよく、センサ群２１０が設置可能であれば、任意の環境であってもよい。
センサ群２１０は、移動体２２０や移動領域について取得するセンサデータをそのまま運転支援装置２４０に転送してもよく、センサ群２１０に利用可能でローカルなコンピューティングデバイスを用いてセンサデータ集計、前処理、オブジェクト検出等を行った後、運転支援装置２４０に転送して。
ある実施形態では、センサ群２１０は、移動体の高さである第１の高さを示す第１の高さ情報と、移動体から所定の距離以内に存在する物体の高さである第２の高さを示す第２の高さ情報とをセンサデータとして取得し、運転支援装置２４０に送信してもよい。また、ある実施形態では、センサ群２１０は、移動領域又は移動体２２０を示す入力映像をセンサデータとして取得し、運転支援装置２４０に送信してもよい。
移動体２２０は、移動領域内を移動する乗り物である。移動体２２０は、例えば電動車椅子、スクーター、自動車等、任意の移動体であってもよく、乗客を乗せて移動領域内に移動することができれば、本開示では特に限定されない。移動体２２０は、乗客に地図等の情報を表示したり、乗客からの指示を受け付けたりするための端末（タブレットコンピューター等）を備えてもよい。また、移動体２２０は、通信ネットワーク２３０を介して運転支援装置２４０とデータ通信を行うための通信機能を備えてもよい。
ある実施形態では、移動体２２０は、自動運転機能を備え、移動領域内の目的地までの経路を自動で決定することができる。一例として、移動体２２０は、移動環境内に入場した際、サービス要求を運転支援装置２４０に送信した後、移動環境内で移動するための案内情報として、当該移動環境に存在する障害物等の物体やリスク等を示す２次元地図（結合地図）を運転支援装置２４０から受信する。その後、移動体２２０は、受信した結合地図に基づいて、移動領域内の目的地までの安全な経路を自動で決定してもよい。
運転支援装置２４０は、移動領域内に移動する移動体２２０の運転を支援するための装置である。運転支援装置２４０は、例えばセンサ群２１０から受信したセンサデータに基づいて、移動体２２０の運転を支援するための案内情報として、移動環境に存在する障害物等の物体やリスク等を示す結合地図を生成し、生成した結合地図を移動体２２０に送信することができる。ある実施形態では、運転支援装置２４０は、移動体２２０及び移動領域から地理的に離れている遠隔のサーバ装置であってもよい。
図２に示すように、運転支援装置２４０は、入力部２４２と、抽出部２４４と、生成部２４６と、解析部２４８と、出力部２５０と、記憶部２５２とを含んでもよい。
入力部２４２は、センサ群２１０からのセンサデータや、移動体２２０からの要求を受信するための機能部である。例えば、入力部２４２は、移動領域に設置されているセンサ群２１０から、移動体２２０の高さである第１の高さを示す第１の高さ情報と、移動体２２０から所定の距離以内に存在する物体の高さである第２の高さを示す第２の高さ情報とをセンサデータとして受信してもよい。また、ある実施形態では、入力部２４２は、移動領域又は移動体２２０を示す入力映像をセンサデータとして受信してもよい。
抽出部２４４は、センサ群２１０から受信したセンサデータに基づいて、後述する記憶部２５２に格納されている移動領域の３次元モデルから平面図を抽出するための機能部である。例えば、抽出部２４４は、第１の高さ情報に基づいて第１の平面図を３次元モデルから抽出し、第２の高さ情報に基づいて第２の平面図を３次元モデルから抽出してもよい。
生成部２４６は、抽出部２４４によって抽出された平面図に基づいて、移動体２２０の移動環境内での運転を支援する案内情報として、結合地図を生成するための機能部である。例えば、生成部２４６は、第１の平面図と、第２の平面図とを結合することで、移動領域を２次元で示し、移動体２２０の運転を支援するための結合地図を生成してもよい。
解析部２４８は、センサ群２１０から受信したセンサデータを解析するための機能部である。例えば、解析部２４８は、センサ群２１０から受信した、移動領域又は移動体２２０を示す入力映像や、生成部２４６によって生成された結合地図を解析することで、移動体２２０の移動を阻止する可能性があるリスク要素を判定してもよい。
出力部２５０は、運転支援装置からの各種情報を出力するための機能部である。例えば、出力部２５０は、生成部２４６によって生成された結合地図を移動体２２０に送信してもよい。
記憶部２５２は、移動領域を立体的に示す３次元モデルを少なくとも格納するストレージ部である。記憶部２５２は、例えば、運転支援装置２４０に搭載されるハードディスクドライブ、ソリッドステートドライブなどのローカルのストレージ装置であってもよく、運転支援装置２４０からアクセス可能なクラウド型のストレージ領域であってもよい。
ここでの３次元モデルは、例えばＣＧモデルであってもよく、移動領域の間取り図や映像等に基づいて事前に生成され、記憶部２５２に格納される。３次元モデルを生成する手段として、任意の既存の手段を用いてもよく、本開示では特に限定されない。
以上説明したように構成した運転支援システム２００によれば、センサを備えていない移動体にも利用可能であり、移動体側での処理の負荷を抑えつつ、移動体の運転を支援する運転支援手段を提供することが可能となる。
次に、図３を参照して、本開示の実施形態に係る運転支援システムによる運転支援方法の流れについて説明する。
図３は、本開示の実施形態に係る運転支援システムによる運転支援方法３００の流れの一例を示す図である。図３に示す運転支援方法３００は、移動体の移動環境内での運転を支援する案内情報として、結合地図を生成するための処理であり、例えば図２に示す運転支援装置２４０の各機能部によって実施される。
まず、ステップＳ３１０では、入力部（例えば、図２に示す入力部２４２）は、移動体（例えば、図２に示す移動体２２０）から、運転支援システムによる運転支援サービスを要求するサービス要求を受信する。このサービス要求は、移動体の乗客の指示に基づいて運転支援装置に送信されてもよく、移動体が移動領域に入場し、通信ネットワークに接続した際に自動的に支援装置に送信されてもよい。
ある実施形態では、サービス要求は、運転支援サービスを要求する指示に加えて、移動体に関する情報（例えば寸法、重量、最大速度）、移動体の目的地の情報や、乗客の意向に関する情報（混雑している経路を避けたい、外の景色が見える経路を通りたい）等の情報を含んでもよい。
サービス要求を受信した運転支援装置は、センサデータ取得指示を移動領域内に設置されているセンサ群に送信してもよい。その後、このセンサデータ取得指示を受信したセンサ群は、センサデータの取得を開始する。
次に、ステップＳ３２０では、入力部は、センサ群（例えば、図２に示すセンサ群２１０）からのセンサデータを受信する。例えば、入力部は、移動領域に設置されているセンサ群から、移動体の高さである第１の高さを示す第１の高さ情報と、移動体に対して所定の距離基準を満たす物体の高さである第２の高さを示す第２の高さ情報とをセンサデータとして受信してもよい。
ここでの第１の高さと第２の高さは、センサ群によって計測される。例えば、ある実施形態では、センサ群はＬＩＤＡＲ等の３次元スキャン手段によって第１の高さと第２の高さとを計測してもよい。また、ある実施形態では、センサ群は移動領域又は移動体を示す入力映像を取得し、この入力映像に対して所定の画像処理手段を施すことによって第１の高さと第２の高さとを取得してもよい。
なお、「移動体の高さ」との表現は、移動体そのものの高さであってもよく、移動体に着席している乗客も含めた全体の高さであってもよい。
ここでは、移動体の高さである第１の高さと移動体から所定の距離以内に存在する物体の高さである第２の高さとの２つの高さを取得する場合を一例として説明しているが、本開示はこれに限定されず、任意の数の物体の高さの値を取得してもよい。例えば、ある実施形態では、センサ群は第１の高さ及び第２の高さに加えて、乗客が持つ荷物の高さ（第３の高さ）や、他の物体の高さ（第４の高さ）を取得し、運転支援装置に送信してもよい。
また、ここでの移動体に対する所定の距離基準とは、予め設定される距離範囲であり、例えば３メートル、５メートル等、任意の距離として設定されてもよい。
距離基準をより小さな値として設定することにより、物体が検出される対象の範囲が狭くなるが、結合地図の生成に要するコンピューティング資源を抑えることができる。
一方、距離基準をより大きな値として設定することにより、物体が検出される対象の範囲が広くなるが、結合地図の生成に要するコンピューティング資源が多くなる。
従って、この距離基準は、移動領域の間取りや広さ、移動体の移動速度、運転支援装置システムの使用可能なコンピューティング資源の量等に応じて適切に設定されてもよい。
ある実施形態では、例えばコンピューティング資源が特に限られない場合には、ここでの距離基準は、移動領域の全体を含む値として設定されてもよい。これにより、移動領域に存在する全ての物体やリスクを網羅的に検出することができ、より広範囲の結合地図を生成することが可能となる。
次に、ステップＳ３３０では、抽出部（例えば、図２に示す抽出部２４４）は、第１の高さ情報に基づいて第１の平面図を３次元モデルから抽出し、第２の高さ情報に基づいて第２の平面図を３次元モデルから抽出する。
より具体的には、抽出部は、移動体の高さ方向（走路面に直交する方向）に直交し、第１の高さに対応する第１の平面を第１の平面図として３次元モデルから抽出すると共に、移動体の高さ方向に直交し、第２の高さに対応する第２の平面を第２の平面図として３次元モデルから抽出する。
言い換えれば、抽出部は、３次元モデルを、移動体の高さ方向に直交する複数の平面で切断し、第１の高さ及び第２の高さに対応する平面における物体の断面形状を示す平面図を抽出する。
これにより、移動領域内で第１の平面において存在する物体の断面形状を示す第１の平面図と、移動領域内で第２平面において存在する物体の断面形状を示す第２の平面図を得ることができる。
次に、ステップＳ３４０では、生成部（例えば、図２に示す生成部２４６）は、ステップＳ３３０で抽出した第１の平面図と、第２の平面図とを結合することで、移動領域を２次元で示し、移動体の運転を支援するための結合地図を生成する。
より具体的には、生成部は、第１の高さ及び第２の高さに基づいて、第１の平面図と、第２の平面図とを重畳することで、移動領域内で第１の平面において存在する物体の断面形状と、移動領域内で第２平面において存在する物体の断面形状とを示す２次元地図を結合地図として生成する。
このように、移動体の高さ方向に直交する複数の平面における物体の断面形状を示す地図を重ね合わせた２次元地図を結合地図として得ることができる。
次に、ステップＳ３５０では、出力部は、ステップＳ３４０で生成部によって生成された結合地図を、通信ネットワークを介して移動体に送信する。その後、結合地図を受信した移動体は、当該結合地図に基づいて、移動領域内の目的地までの安全な経路を決定してもよい。
なお、ここで、結合地図に基づいて、移動領域内の目的地までの安全な経路を判定する手段として、既存の自動運転手段を用いることができ、ここでは特に限定されない。
以上説明した運転支援方法３００によれば、センサを備えていない移動体にも利用可能であり、移動体側での処理の負荷を抑えつつ、移動体の運転を支援する運転支援手段を提供することが可能となる。
次に、図４を参照して、本開示の実施形態に係る運転支援システムにおけるデータの流れについて説明する。
図４は、本開示の実施形態に係る運転支援システムにおけるデータの流れの一例を示す図である。
まず、上述したように、センサ群２１０は、センサデータ４０５を取得し、運転支援装置２４０に転送する。図４に示すように、このセンサデータ４０５は、移動体２２０の高さである第１の高さＨi、移動体２２０に対して所定の距離基準を満たす物体の高さである第２の高さＨii、及び移動体２２０の乗客が持つ荷物の高さである第３の高さＨiiiを含んでもよい。
ある実施形態では、センサ群２１０は、異なる時刻ａ、ｂに計測した物体の高さＨaii、Ｈbiiや荷物の高さＨaiii、Ｈbiiiを取得し、異なる時刻で計測した高さの平均値を第２の高さＨii及び第３の高さＨiiiとしてもよい。これにより、例えば乗客や物体の動き（座っている人が立ち上がった）等による高さの変化を捉えることができる。
ある実施形態では、このセンサデータ４０５は、１次元の行列として構成されてもよい。
センサデータ４０５を受信した後、運転支援装置２４０（より具体的には、運転支援装置２４０に含まれる抽出部２４４）は、センサデータ４０５に含まれる第１の高さＨi、第２の高さＨii、及び第３の高さＨiiiのそれぞれについて、当該高さに対応し、移動体２２０の高さ方向に直交する平面を平面図４１５として、記憶部２５２に格納される３次元モデル４１０から抽出する。
例えば、図４に示すように、運転支援装置２４０は、３次元モデル４１０から、第１の高さＨiに対応する第１の平面図Ｍiと、第２の高さＨiiに対応する第２の平面図Ｍiiと、第３の高さＨiiiに対応する第３の平面図Ｍiiiを抽出してもよい。また、この平面図の抽出は、異なる時刻ａ、ｂ毎に行われてもよい。
それぞれの高さＨi、Ｈii、Ｈiiiに対応する平面図４１５が抽出された後、運転支援装置２４０は、第１の平面図Ｍiと、第２の平面図Ｍiiと、第３の平面図Ｍiiiとを結合することで、移動領域を２次元で示し、移動体の運転を支援するための結合地図４２０を生成し、生成した結合地図を、移動体２２０に送信する。
次に、図５を参照して、本開示の実施形態に係る運転支援システムの使用例について説明する。
図５は、本開示の実施形態に係る運転支援システムの使用例を示す図である。
図５に示す移動体２２０が所定の移動領域に入場するとする。この時、移動体２２０から、運転支援サービスを要求するサービス要求が移動領域の通信ネットワークを介して運転支援装置（図５には図示しない）に送信される。その後、サービス要求を受信した運転支援装置は、センサデータ取得指示を移動領域内に設置されているセンサ群２１０に送信する。そして、このセンサデータ取得指示を受信したセンサ群２１０は、センサデータの取得を開始する。
ここで、センサ群２１０は、移動体２２０の高さである第１の高さ５１４を示す第１の高さ情報と、移動体２２０に対して所定の距離基準を満たす物体５２０の高さである第２の高さ５１６を示す第２の高さ情報とをセンサデータとして取得し、取得したセンサデータを運転支援装置に送信する。
センサデータを受信した運転支援装置は、移動体２２０の高さ方向５１５に直交し、第１の高さ５１４に対応する第１の平面を第１の平面図５４０として３次元モデルから抽出すると共に、移動体２２０の高さ方向５１５に直交し、第２の高さ５１６に対応する第２の平面を第２の平面図５５０として３次元モデルから抽出する。
これにより、移動体２２０の高さ方向５１５に直交し、第１の高さ５１４に対応する第１の平面において存在する移動体２２０、荷物５３５、及び物体５３０の断面形状を示す第１の平面図５４０と、移動体２２０の高さ方向５１５に直交し、第２高さ５１６に対応する第２の平面において存在する物体５２０及び物体５３０の断面形状を示す第２の平面図５５０を得ることができる。
その後、運転支援装置は、第１の平面図５４０と第２の平面図５５０とを結合することで、移動領域を２次元で示し、移動体２２０の運転を支援するための結合地図（図５には図示しない）を生成し、生成した結合地図を、移動体２２０に送信する。
ここで生成された結合地図を解析することで、移動体２２０の移動を阻止する可能性があるリスク要素を判定することができる。ある実施形態では、上述した解析部（例えば、図２に示す２４８）を用いてここで生成した結合地図を解析することで、移動体２２０の乗客が持つ荷物５３５が物体５３０に衝突する可能性があることをリスク要素として判定してもよい。解析部によって判定されたリスク要素の情報は、結合地図に追加されてもよい。これにより、リスク要素の情報を含んだ結合地図を受信した移動体２２０は、これらのリスク要素を避ける安全な経路を決定することができる。
なお、運転支援装置の解析部を用いてリスク要素を判定する処理の詳細については後述する。
次に、図６を参照して、本開示の実施形態に係る３次元モデルについて説明する。
図６は、本開示の実施形態に係る３次元モデル４１０の一例を示す図である。上述したように、本開示の実施形態に係る３次元モデル４１０は、移動領域を正確な縮尺率で立体的に示す３次元モデルであり、例えばＣＧモデルであってもよい。３次元モデル４１０は、移動領域に存在する移動体、家具、家電、壁、人、動物等の全ての物体を示してもよい。例えば、図６に示すように、３次元モデル４１０は、移動体２２０、テーブル６１０Ａ、６２０Ｂ、椅子６３０Ａ、６３０Ｂ、６３０Ｃ、６３０Ｄ、及び冷蔵庫６４０を示してもよい。
本開示の実施形態に係る３次元モデル４１０は、移動領域の間取り図や、センサ群によって取得された映像等に基づいて事前に生成され、記憶部に格納される。３次元モデルを生成する手段として、任意の既存の手段を用いてもよく、本開示では特に限定されない。
図６に示すような３次元モデル４１０を事前に作成し、記憶部に格納しておくことで、移動体２２０の高さ方向に直交する平面を任意の高さで平面図として抽出することができる。
次に、図７～図９を参照して、本開示の実施形態に係る結合地図を生成する処理の具体例について説明する。
図７は、本開示の実施形態に係る３次元モデル４１０から平面図を抽出する処理の具体例を示す図である。
上述したように、抽出部は、３次元モデル４１０を、移動体の高さ方向７５０に直交する複数の平面で切断し、センサ群によって取得されたセンサデータに含まれるそれぞれの高さに対応する平面における物体の断面形状を示す平面図を抽出するように構成されている。
一例として、運転支援装置は、移動体２２０の高さである第１の高さ７１０と、椅子７０５の高さである第２の高さ７２０と、冷蔵庫７０７の高さである第３の高さ７３０とを含むセンサデータをセンサ群から受信するとする。
この場合、抽出部は、移動体２２０の高さ方向７５０に直交し、第１の高さ７１０に対応する第１の平面７１５を第１の平面図８１０（図８参照）として３次元モデル４１０から抽出する。また、抽出部は、移動体２２０の高さ方向７５０に直交し、第２の高さ７２０に対応する第２の平面７２５を第２の平面図８２０（図８参照）として３次元モデル４１０から抽出する。また、抽出部は、移動体２２０の高さ方向７５０に直交し、第３の高さ７３０に対応する第３の平面７３５を第３の平面図８３０（図８参照）として３次元モデル４１０から抽出する。
図８は、図７に示す３次元モデル４１０から抽出された平面図８１０、８２０、８３０の具体例を示す図である。
図８に示すように、第２の平面図８２０は、移動体２２０の高さ方向７５０に直交し、第２の高さ７２０に対応する第２の平面７２５において存在する４つの椅子７０５、２つのテーブルの脚部７１１、移動体２２０及び冷蔵庫７０７の断面形状を示す。
また、第１の平面図８１０は、移動体２２０の高さ方向７５０に直交し、第１の高さ７１０に対応する第１の平面７１５において存在するテーブルの天板７０９、移動体２２０の背もたれ部及び冷蔵庫７０７の断面形状を示す。
また、第３の平面図８３０は、移動体２２０の高さ方向７５０に直交し、第３の高さ７３０に対応する第３の平面７３５において存在する冷蔵庫７０７の断面形状を示す。
このように、移動領域内で移動体２２０の高さ方向７５０に直交し、任意の高さに対応する平面に存在する物体の断面形状を示す平面図を得ることができる。
図９は、図８に示す平面図を結合することで得られる結合地図の具体例を示す図である。 上述したように、本開示の実施形態に係る運転支援装置の生成部は、３次元モデルから抽出されたそれぞれの平面図を結合することで、移動領域を２次元で示し、移動体の運転を支援するための結合地図９１０を生成する。
より具体的には、生成部は、第１の平面図８１０と、第２の平面図８２０と、第３の平面図８３０とを重畳することで、移動領域内で第１の平面７１５、第２の平面７２５、及び第３の平面７３５において存在する物体の断面形状を示す２次元地図を結合地図として生成してもよい。
ここで、生成部は、第１の平面図８１０、第２の平面図８２０及び第３の平面図８３０を、第１の高さ７１０、第２の高さ７２０及び第３の高さ７３０に基づいて重畳する順番を決定してもよい。例えば、生成部は、より低い高さに対応する平面図を下方とし、より高い高さに対応する平面図を上方とする等、高さの順番で平面図を重畳してもよい。
ある実施形態では、図９に示すように、生成部は、第１の平面図８１０、第２の平面図８２０及び第３の平面図８３０に示される物体の断面形状を不透明で示す結合地図９１０を生成してもよい。これにより、複数の断面形状が重なった場合、移動領域を真上から見た場合のように、下方の断面形状（例えば、テーブルの脚部７１１）が隠され、高さが最も高い断面形状（例えば、テーブルの天板７０９）のみが見える結合地図９１０が得られる。
一方、ある実施形態では、生成部は、第１の平面図８１０、第２の平面図８２０及び第３の平面図８３０に示される物体の断面形状を半透明の異なる色で示す結合地図９１０を生成してもよい。一例として、生成部は、第１の平面図８１０に示す物体の断面形状を半透明の赤で示し、第２の平面図８２０を半透明の青で示し、第３の平面図８３０を半透明の緑で示してもよい。これにより、それぞれの平面に存在する物体の形状を１つの図で示す結合地図９１０が得られる。
このように、移動体の高さ方向に直交する複数の平面における物体の断面形状を示す平面図を重ね合わせた２次元地図を結合地図９１０として得ることができる。その後、移動体は、この結合地図９１０に基づいて、移動領域内の目的地までの安全な経路を自動で決定することができる。
また、ある実施形態では、生成部は、移動領域の異なる部分について生産した結合地図を合成することで、より広範囲の地図を生成してもよい。
次に、図１０～図１１を参照して、本開示の実施形態に係る運転支援システムによるリスク要素判定について説明する。
上述したように、本開示の実施形態に係る解析部（例えば、図２に示す解析部２４８）は、センサ群から受信した入力映像や、生成部によって生成された結合地図を解析することで、移動体の移動を阻止する可能性があるリスク要素を判定することができる。
ここでのリスク要素とは、移動体の移動を阻止する可能性があるものを意味し、例えば人の行動、障害物、危険な状況等を含んでもよい。
ある実施形態では、解析部は、移動領域又は移動体を示す入力映像をセンサ群から受信した場合、当該入力映像を既存の画像処理手段によって解析することで、移動体に衝突する可能性がある障害物や危険な状況を検出してもよい。
ここでは、解析部は、リスク要素を判定するための画像処理手段として、例えばＨａａｒ－Ｌｉｋｅ特徴に基づくＶｉｏｌａ－Ｊｏｎｅｓ物体検出フレームワーク、スケール不変特徴量変換(ＳＩＦＴ)、Ｈｏｇ特徴量等の機械学習アプローチや、領域提案（Ｒ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、ｃａｓｃａｄｅ Ｒ－ＣＮＮ）、Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ（ＳＳＤ）、Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ（ＹＯＬＯ）、Ｓｉｎｇｌｅ－Ｓｈｏｔ Ｒｅｆｉｎｅｍｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｆｏｒ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ (ＲｅｆｉｎｅＤｅｔ)、Ｒｅｔｉｎａ－Ｎｅｔ、Ｄｅｆｏｒｍａｂｌｅ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ等の深層学習によるアプローチ等、任意の手法を用いてもよい。
また、ある実施形態では、解析部は、生成部によって生成された結合地図を、過去のリスク要素のデータに基づいて訓練された機械学習手段によって解析することで、移動体に衝突する可能性がある障害物や危険な状況を検出してもよい。
ここで、解析部は、リスク要素を判定するための機械学習手段として、Ｌｉｎｅａｒ Ｒｅｇｒｅｓｓｉｏｎ， Ｌｏｇｉｓｔｉｃ Ｒｅｇｒｅｓｓｉｏｎ， Ｄｅｃｉｓｉｏｎ Ｔｒｅｅｓ， Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ， Ｎａｉｖｅ Ｂａｙｅｓ， Ｋ－Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ， Ｋ－ｍｅａｎｓ， Ｒａｎｄｏｍ Ｆｏｒｅｓｔ， Ｄｉｍｅｎｓｉｏｎａｌｉｔｙ Ｒｅｄｕｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍｓ， Ｇｒａｄｉｅｎｔ Ｂｏｏｓｔｉｎｇ Ａｌｇｏｒｉｔｈｍｓ等、任意の手法を用いてもよい。
図１０は、リスク要素１０２０、１０３０を反映させた結合地図１０１０の一例を示す図である。
ある実施形態では、解析部は、判定したリスク要素を結合地図に反映させてもよい。
一例として、解析部は、センサ群から受信した入力映像や、生成部によって生成された結合地図（例えば、図９に示す結合地図９１０）を解析した結果、冷蔵庫７０７の扉が開けられた場合、当該扉を移動体２２０の移動に干渉する可能性があるリスク要素１０２０として判定し、判定したリスク要素１０２０を結合地図１０１０において対応する領域に反映させる。
また、解析部は、センサ群から受信した入力映像や、生成部によって生成された結合地図を解析した結果、椅子７０５に着席している人が立ち上がった場合、当該人を移動体２２０の移動に干渉する可能性があるリスク要素１０３０として判定し、判定したリスク要素１０３０を結合地図１０１０において対応する領域に反映させる。
結合地図１０１０に反映させるリスク要素１０２０、１０３０は、図１０に示すように、「Ｘ」のような特定の符号やシンボルで視覚的に示されてもよく、リスク要素の内容及び発生座標を示すメタデータとして結合地図１０１０に付されてもよい。
このように、移動体の移動を阻止する可能性があるリスク要素を判定し、結合地図１０１０に反映させることで、リスク要素を反映させた結合地図を受信した移動体は、これらのリスク要素を避ける安全な経路を決定することができる。
図１１は、リスク要素を避けるためのリスク回避指示の一例を示す図である。
ある実施形態では、解析部は、判定したリスク要素を避けるためのリスク回避指示を結合地図と共に移動体に送信してもよい。ここでのリスク回避指示は、移動体２２０が決定する移動経路を制御する指示であってもよく、移動体２２０の乗客の行動に関する指示であってもよい。
一例として、解析部は、センサ群から受信した入力映像や、生成部によって生成された結合地図（例えば、図９に示す結合地図９１０）を解析した結果、移動体２２０の乗客が荷物１１２０を横に持つ状態では、移動経路中にある狭い空間１１３０を通ることができないことをリスク要素として判定したとする。この場合、解析部は、荷物１１２０を縦に持つことを要求するリスク回避指示を生成し、移動体２２０に送信してもよい。ここでのリスク回避指示は、例えば移動体２２０に搭載されている端末の画面に表示されてもよく、移動体２２０に搭載されているスピーカから音声や警告音等で発せられてもよい。
その後、リスク回避指示を受けた移動体の乗客は、リスク回避指示に従って荷物１１２０を縦に持つようにすることで、移動経路中にある狭い空間１１３０を通ることができるようになる。
このように、リスク要素を避けるためのリスク回避指示を移動体に送信することで、リスク要素を避けることができ、乗客の安全性を向上させることができる。
なお、以上では、自動運転機能を備えた移動体２２０は、運転支援装置から受信した結合地図に基づいて移動領域内の目的地までの安全な経路を自動で決定する場合を一例として説明したが、本開示はこれに限定されず、運転支援装置の解析部は、センサ群から受信した入力映像や、生成部によって生成された結合地図を解析することで、目的地までの安全な経路を移動体２２０のために決定し、決定した経路を反映させた結合地図を移動体２２０に送信してもよい。
また、ある実施形態では、運転支援装置の解析部は、移動体から受信したサービス要求に含まれる情報を考慮した経路を決定してもよい。例えば、解析部は、移動体に関する情報（例えば寸法、重さ、最大速度）、移動体の目的地の情報や、乗客の意向に関する情報（混雑している経路を避けたい、外の景色が見える経路を通りたい）等の情報に基づいて、リスク要素を避けつつ、乗客の意向に合った経路を判定してもよい。
以上、本発明の実施の形態について説明したが、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
２００ 運転支援システム
２１０ センサ群
２２０ 移動体
２３０ 通信ネットワーク
２４０ 運転支援装置
２４２ 入力部
２４４ 抽出部
２４６ 生成部
２４８ 解析部
２５０ 出力部
２５２ 記憶部

Claims (8)

  1. 移動領域内に移動する移動体の運転を支援するための運転支援装置であって、
    前記移動領域を表す３次元モデルを少なくとも格納する記憶部と、
    前記移動領域に設置されているセンサ群から、前記移動体の高さである第１の高さを示す第１の高さ情報と、前記移動体に対して所定の距離基準を満たす物体の高さである第２の高さを示す第２の高さ情報とを受信可能な入力部と、
    前記第１の高さ情報に基づいて第１の平面図を前記３次元モデルから抽出し、前記第２の高さ情報に基づいて第２の平面図を前記３次元モデルから抽出する抽出部と、
    前記第１の平面図と、前記第２の平面図とを結合することで、前記移動領域を２次元で示し、前記移動体の運転を支援するための結合地図を生成する生成部と、
    生成した前記結合地図を、前記移動体に送信可能な出力部と、
    を含むことを特徴とする運転支援装置。
  2. 前記抽出部は、
    前記移動体の高さ方向に直交し、前記第１の高さに対応する第１の平面を前記第１の平面図として前記３次元モデルから抽出し、
    前記移動体の高さ方向に直交し、前記第２の高さに対応する第２の平面を前記第２の平面図として前記３次元モデルから抽出し、
    前記第１の平面図は、
    前記移動領域内で前記第１の平面において存在する物体の断面形状を示し、
    前記第２の平面図は、
    前記移動領域内で前記第２の平面において存在する物体の断面形状を示す、
    ことを特徴とする、請求項１に記載の運転支援装置。
  3. 前記生成部は、
    前記第１の高さ及び前記第２の高さに基づいて前記第１の平面図と、前記第２の平面図とを重畳することで、前記移動領域内で前記第１の平面において存在する物体の断面形状と、前記移動領域内で前記第２の平面において存在する物体の断面形状とを示す２次元地図を前記結合地図として生成する、
    ことを特徴とする、請求項２に記載の運転支援装置。
  4. 前記運転支援装置は、
    解析部を更に含み、
    前記入力部は、
    前記移動領域又は前記移動体を示す入力映像を前記センサ群から受信し、
    前記解析部は、
    前記入力映像又は前記結合地図を解析することで、前記移動体の移動を阻止する可能性があるリスク要素を判定し、
    前記生成部は、
    前記リスク要素の情報を前記結合地図に反映させる、
    ことを特徴とする、請求項１に記載の運転支援装置。
  5. 前記解析部は、
    前記リスク要素を回避するためのリスク回避指示を生成し、
    前記出力部は、
    前記リスク要素の情報を反映させた結合地図と、前記リスク回避指示とを前記移動体に送信する、
    ことを特徴とする、請求項４に記載の運転支援装置。
  6. 前記移動体は、
    自動運転機能を備えた移動体である、
    ことを特徴とする、請求項１に記載の運転支援装置。
  7. 移動領域内に移動する移動体の運転を支援する運転支援装置においてコンピュータソフトウエアによって実施される運転支援方法であって、
    前記運転支援装置は、
    メモリと、プロセッサとを含み、
    前記メモリは、
    入力部と、出力部と、抽出部と、生成部とを含む運転支援アプリケーションを格納し、
    前記運転支援アプリケーションは、
    前記入力部によって、運転支援サービスを要求するサービス要求を移動体から受信する工程と、
    前記出力部によって、センサデータの取得を開始させるセンサデータ取得指示を、前記移動体が移動する移動領域に設置されているセンサ群に送信する工程と、
    前記センサ群から、前記移動体の高さである第１の高さを示す第１の高さ情報と、前記移動体に対して所定の距離基準を満たす物体の高さである第２の高さを示す第２の高さ情報とを前記入力部によって受信する工程と、
    前記抽出部によって、前記移動体の高さ方向に直交し、前記第１の高さに対応する第１の平面を第１の平面図として、前記移動領域を立体的に示す３次元モデルから抽出する工程と、
    前記抽出部によって、前記移動体の高さ方向に直交し、前記第２の高さに対応する第２の平面を第２の平面図として前記３次元モデルから抽出する工程と、
    前記生成部によって、前記第１の高さ及び前記第２の高さに基づいて前記第１の平面図と、前記第２の平面図とを重畳することで、前記移動領域内で前記第１の平面において存在する物体の断面形状と、前記移動領域内で前記第２の平面において存在する物体の断面形状とを示す２次元地図を結合地図として生成する工程と、
    前記出力部によって、生成した前記結合地図を、前記移動体に送信する工程と、
    を前記プロセッサに実行させることを特徴とする運転支援方法。
  8. 移動領域内に移動する移動体の運転を支援するための運転支援システムであって、
    移動領域内に移動する移動体と、
    前記移動領域内に設置されているセンサ群と、
    前記移動体の運転を支援するための運転支援装置とを含み、
    前記移動体と、前記センサ群と、前記運転支援装置とが通信ネットワークを介して接続されており、
    前記運転支援装置は、
    前記移動領域を立体的に示す３次元モデルを少なくとも格納する記憶部と、
    前記センサ群から、前記移動体の高さである第１の高さを示す第１の高さ情報と、前記移動体に対して所定の距離基準を満たす物体の高さである第２の高さを示す第２の高さ情報とを受信する入力部と、
    前記第１の高さ情報に基づいて第１の平面図を前記３次元モデルから抽出し、前記第２の高さ情報に基づいて第２の平面図を前記３次元モデルから抽出する抽出部と、
    前記第１の平面図と、前記第２の平面図とを結合することで、前記移動領域を２次元で示し、前記移動体の運転を支援するための結合地図を生成する生成部と、
    生成した前記結合地図を、前記移動体に送信する出力部と、
    を含むことを特徴とする運転支援システム。
JP2021028497A 2021-02-25 2021-02-25 運転支援装置、運転支援方法及び運転支援システム Active JP7441190B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021028497A JP7441190B2 (ja) 2021-02-25 2021-02-25 運転支援装置、運転支援方法及び運転支援システム
US17/678,310 US20220270328A1 (en) 2021-02-25 2022-02-23 Drive assist apparatus, drive assist method, and drive assist system
CN202210170264.6A CN115047865A (zh) 2021-02-25 2022-02-24 驾驶支援装置、驾驶支援方法以及驾驶支援系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021028497A JP7441190B2 (ja) 2021-02-25 2021-02-25 運転支援装置、運転支援方法及び運転支援システム

Publications (2)

Publication Number Publication Date
JP2022129713A JP2022129713A (ja) 2022-09-06
JP7441190B2 true JP7441190B2 (ja) 2024-02-29

Family

ID=82900722

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021028497A Active JP7441190B2 (ja) 2021-02-25 2021-02-25 運転支援装置、運転支援方法及び運転支援システム

Country Status (3)

Country Link
US (1) US20220270328A1 (ja)
JP (1) JP7441190B2 (ja)
CN (1) CN115047865A (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011134234A (ja) 2009-12-25 2011-07-07 Honda Motor Co Ltd 移動可能領域抽出装置、移動可能領域抽出システム、移動可能領域抽出方法、およびプログラム
JP2014056506A (ja) 2012-09-13 2014-03-27 Toyota Central R&D Labs Inc 障害物検出装置及びそれを備えた移動体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011134234A (ja) 2009-12-25 2011-07-07 Honda Motor Co Ltd 移動可能領域抽出装置、移動可能領域抽出システム、移動可能領域抽出方法、およびプログラム
JP2014056506A (ja) 2012-09-13 2014-03-27 Toyota Central R&D Labs Inc 障害物検出装置及びそれを備えた移動体

Also Published As

Publication number Publication date
CN115047865A (zh) 2022-09-13
US20220270328A1 (en) 2022-08-25
JP2022129713A (ja) 2022-09-06

Similar Documents

Publication Publication Date Title
US10922536B2 (en) Age classification of humans based on image depth and human pose
US8891855B2 (en) Information processing apparatus, information processing method, and program for generating an image including virtual information whose size has been adjusted
KR102491846B1 (ko) 다중 모드 대화 상호 작용에서 음성 언어 이해를 위한 눈 시선
US9796093B2 (en) Customer service robot and related systems and methods
US10380814B1 (en) System for determining entry of user to an automated facility
US11158128B2 (en) Spatial and semantic augmented reality autocompletion in an augmented reality environment
US8107688B2 (en) Gaze detection apparatus and the method of the same
US10440497B2 (en) Multi-modal dereverbaration in far-field audio systems
US10728616B2 (en) User interest-based enhancement of media quality
US10438588B2 (en) Simultaneous multi-user audio signal recognition and processing for far field audio
US10445593B1 (en) User interface for acquisition of group data
CN102222347A (zh) 使用波阵面编码来创建深度图像
US11436866B2 (en) System and method for eye-tracking
US20240104744A1 (en) Real-time multi-view detection of objects in multi-camera environments
Ghani et al. Detecting negative obstacle using Kinect sensor
JP7441190B2 (ja) 運転支援装置、運転支援方法及び運転支援システム
CN110557193A (zh) 最大化飞行时间光学深度传感器在计算环境中的效率
WO2020144848A1 (ja) オーサリング装置、オーサリング方法、及びオーサリングプログラム
Zahid et al. Mitigating inherent latency in off-device computer vision for spatial interfaces
Khan et al. Smartphone application for indoor scene localization
JP6213193B2 (ja) 動作判定方法及び動作判定装置
Malerczyk Dynamic Gestural Interaction with Immersive Environments
WO2018034054A1 (ja) 触覚提示装置、触覚提示システム及び触覚提示方法
Nakauchi et al. A service robot for peopled environments-Finding lined people by stereo vision and standing in line

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240216

R150 Certificate of patent or registration of utility model

Ref document number: 7441190

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150