WO2023007785A1 - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents

情報処理装置、および情報処理方法、並びにプログラム Download PDF

Info

Publication number
WO2023007785A1
WO2023007785A1 PCT/JP2022/006849 JP2022006849W WO2023007785A1 WO 2023007785 A1 WO2023007785 A1 WO 2023007785A1 JP 2022006849 W JP2022006849 W JP 2022006849W WO 2023007785 A1 WO2023007785 A1 WO 2023007785A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
parking
vehicle
camera
vacancy
Prior art date
Application number
PCT/JP2022/006849
Other languages
English (en)
French (fr)
Inventor
千秋 瀧野
一宏 山中
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to CN202280041999.7A priority Critical patent/CN117651981A/zh
Priority to JP2023538223A priority patent/JPWO2023007785A1/ja
Priority to DE112022003723.7T priority patent/DE112022003723T5/de
Publication of WO2023007785A1 publication Critical patent/WO2023007785A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R99/00Subject matter not provided for in other groups of this subclass
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas

Definitions

  • FIG. 4 is a diagram describing a specific example of display data generated by the information processing apparatus of the present disclosure
  • FIG. 4 is a diagram describing a specific example of display data generated by the information processing apparatus of the present disclosure
  • It is a figure explaining the example of a camera configuration of a vehicle.
  • FIG. 4 is a diagram illustrating a specific example of a bird's-eye view generated based on an image of a vehicle captured by a camera
  • FIG. 4 is a diagram describing a specific example of display data generated by the information processing apparatus of the present disclosure
  • FIG. 4 is a diagram describing a specific example of display data generated by the information processing apparatus of the present disclosure
  • FIG. 4 is a diagram illustrating a specific example of processing executed by the information processing apparatus of the present disclosure
  • FIG. 4 is a diagram illustrating a specific example of processing executed by the information processing apparatus of the present disclosure
  • FIG. 4 is a diagram illustrating a specific example of processing executed by the information processing apparatus of the present disclosure
  • FIG. 4 is a diagram illustrating a specific example of processing executed by the information processing apparatus of the present disclosure
  • FIG. 4 is a diagram illustrating a specific example of processing executed by the information processing apparatus of the present disclosure
  • It is a figure explaining the parking area in which parallel parking is possible, and the specific example of the vehicle which is going to park.
  • FIG. 4 is a diagram describing a specific example of display data generated by the information processing apparatus of the present disclosure
  • FIG. 4 is a diagram describing a specific example of display data generated by the information processing apparatus of the present disclosure
  • FIG. 4 is a diagram describing a specific example of display data generated by the information processing apparatus of the present disclosure
  • FIG. 8 is an example of display data in which parking availability identification graphic data (color frame) generated by the process of the present disclosure is superimposed on display data (bird's-eye view) generated by synthesizing a plurality of images.
  • the parking availability identification graphic data (color frame) are of the following three types. (1) Parking area identification display data (green frame) 101 (2) Display data for identification of no-parking area (red frame) 102 (3) Display data (yellow frame) 103 for identification of possible empty area Note that the colors green, red, and yellow are examples, and combinations of colors different from these may be used.
  • steps S106 to S111 is executed when it is determined in step S103 that no parked vehicle has been detected in the processing target area (Px).
  • FIG. 15 a specific example of the processing of steps S108 and S109 executed when the vacancy likelihood (possibility of vacancy) of the processing target area calculated in step S106 is the threshold value (Th) or more, ie, 50% or more, is shown in FIG. 15, with reference to FIG.
  • the parking area P5 shown in FIG. 15 is the same upper right parking area as the parking area P5 described above with reference to FIG.
  • the area that can be confirmed from the camera 11 of the vehicle 10 is increasing.
  • the parking area analysis unit 151 further executes a process of acquiring parameters used for displaying the parking permission/prohibition identification graphic data (color frame).
  • a parameter is a parameter containing the following data. (a) a parking segment area ID; (b) Parking availability identification result (parking allowed, parking not allowed, vacancy possible), (c) center position coordinates (x, y) of the parking section area; (d) the shape of the parking segment area (d, w); (e) the inclination angle ( ⁇ ) of the parking segment area;
  • FIG. 22 does not show "(3) possible empty area identification display data (yellow frame) 103".
  • the display conditions for the parking permission/inhibition identification graphic data (color frame) of (1) to (3) are as follows.
  • step S207 the data processing unit of the information processing device determines the length of the vacant area (interval between parked vehicles before and after the vacant area) from each of the vacant areas for which the vacant area identifier (vacant area ID) is set. A vacant area less than a threshold (vehicle parking available length) is selected, and the selected area is determined to be a non-parking area.
  • a threshold vehicle parking available length
  • the length of the vacant area is equal to or greater than the threshold value (length of vehicle parking). Determine the empty area as the "processing target area”.
  • the parking area analysis unit 151 further executes a process of acquiring parameters used for displaying the parking permission/prohibition identification graphic data (color frame).
  • a parameter is a parameter containing the following data. (a) free space ID, (b) Parking availability identification result (parking allowed, parking not allowed, vacancy possible), (c) center position coordinates (x, y) of empty area, (d) the shape of the free space (d, w); (e) Inclination angle ( ⁇ ) of empty area,
  • the parking permission/inhibition identification graphic data generation unit 152 generates parking permission/inhibition identification graphic data (color frame) using the parameters (a) to (e). Furthermore, the parking availability identification graphic data generation unit 152 superimposes the generated parking availability identification graphic data (color frame) on each area of the attention area (ROI) selected as the parking available area displayed on the display unit 153. displayed.
  • ROI attention area
  • the vehicle 10 is running, and the photographing range of the camera 11 mounted on the vehicle 10 is changed at any time. It is in a state of being updated sequentially.
  • Step S303 On the other hand, in step S301, when no parked vehicle is detected in the "display data (yellow frame) display area for identifying an area with the possibility of being vacant", the data processing unit of the information processing device executes the process of step S303.
  • Step S401 First, in step S401, the data processing unit (automatic driving control unit) of the information processing device mounted on the vehicle 10 identifies the parking possible area from the parking possibility identification graphic data (color frame) displayed on the display unit. Search the display area for the display data for use (green frame) or the display data for identifying a potentially empty area (yellow frame).
  • Step S404 On the other hand, the process of step S404 is performed when the display area of the display data for identifying the parking area (green frame) is not detected from the parking possibility identification graphic data (color frame) displayed on the display unit in step S402. run to
  • Step S405 In the process of step S405, it is determined that the display area of the display data for area identification (yellow frame) with the possibility of vacancy has been detected from the parking permission/prohibition identification graphic data (color frame) displayed on the display unit in step S404. Execute if
  • the area analysis unit 211 of the parking area analysis unit 203 executes analysis processing of the parking area. For example, in the case of a parking lot where parking divisions are clearly defined by white lines, such as the parallel parking lot described above with reference to FIG. do. again.
  • the parking area is set as a region of interest (ROI), and from the area of interest, Perform processing such as detecting empty space.
  • ROI region of interest
  • the area analysis unit 211 of the parking area analysis unit 203 further performs the processing of step S101 in the flowchart shown in FIG.
  • the process of step S201 of the flowchart is executed.
  • the vacancy likelihood (vacancy possibility) calculation unit 213 performs vacancy likelihood (vacancy possibility) calculation processing for an area in which no parked vehicle is detected.
  • the vacancy likelihood (possibility of vacancy) of each area is calculated according to (Formula 1) below.
  • Likelihood of vacancy (possibility of vacancy) (%) (1-(Occlusion area area)/(Parking area total area)) ⁇ 100 (%) (Formula 1)
  • the occlusion area is an area that cannot be confirmed in the captured image of the camera.
  • the user determines whether each area is a parking area based on the color of the parking availability identification graphic data (color frame) displayed superimposed on each area of the attention area (ROI). It is possible to immediately determine whether it is an area where parking is not possible or an area where there is a possibility of vacancy.
  • FIG. 37 is an example hardware configuration of the information processing device in the vehicle 10 .
  • the hardware configuration shown in FIG. 37 will be described.
  • a drive 310 connected to the input/output interface 305 drives a removable medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card to record or read data.
  • a removable medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card to record or read data.
  • the vehicle control system 511 includes a vehicle control ECU (Electronic Control Unit) 521, a communication unit 522, a map information accumulation unit 523, a GNSS (Global Navigation Satellite System) reception unit 524, an external recognition sensor 525, an in-vehicle sensor 526, a vehicle sensor 527, It has a recording unit 528 , a driving support/automatic driving control unit 529 , a DMS (Driver Monitoring System) 530 , an HMI (Human Machine Interface) 531 , and a vehicle control unit 532 .
  • a vehicle control ECU Electronic Control Unit
  • a communication unit 522 includes a communication unit 522, a map information accumulation unit 523, a GNSS (Global Navigation Satellite System) reception unit 524, an external recognition sensor 525, an in-vehicle sensor 526, a vehicle sensor 527, It has a recording unit 528 , a driving support/automatic driving control unit 529 , a DMS (Driver Monitoring System) 530
  • the self-position estimator 571 may estimate the self-position of the vehicle 500 based on the GNSS signal and sensor data from the vehicle sensor 527.
  • the recognition unit 573 executes a detection process for detecting the situation outside the vehicle 500 and a recognition process for recognizing the situation outside the vehicle 500 .
  • trajectory planning is the process of planning a rough route from the start to the goal. This route planning is referred to as trajectory planning, and in the route planned in the route planning, trajectory generation (Local path planning) processing is also included. Path planning may be distinguished from long-term path planning and activation generation from short-term path planning, or from local path planning. A safety priority path represents a concept similar to launch generation, short-term path planning, or local path planning.
  • FIG. 39 is a diagram showing an example of sensing areas by the camera 551, radar 552, LiDAR 553, ultrasonic sensor 554, etc. of the external recognition sensor 525 in FIG. 39 schematically shows the vehicle 500 viewed from above, the left end side being the front end (front) side of the vehicle 500, and the right end side being the rear end (rear) side of the vehicle 500.
  • the sensing results in the sensing area 595 are used, for example, for ACC (Adaptive Cruise Control), emergency braking, and collision avoidance.
  • ACC Adaptive Cruise Control
  • emergency braking emergency braking
  • collision avoidance collision avoidance
  • the sensing regions of the camera 551, the radar 552, the LiDAR 553, and the ultrasonic sensor 554 included in the external recognition sensor 525 may have various configurations other than those shown in FIG. Specifically, the ultrasonic sensor 554 may sense the sides of the vehicle 500 , and the LiDAR 553 may sense the rear of the vehicle 500 . Moreover, the installation position of each sensor is not limited to each example mentioned above. Also, the number of each sensor may be one or plural.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

駐車区分領域のオクルージョン領域の比率に応じて、駐車可能領域、または空き可能性あり領域のいずれであるかを判別して、判別結果に応じて異なる識別表示処理を行う。カメラ撮影画像を解析して、車両が駐車可能か否かを区分領域単位で解析する駐車領域解析部と、解析結果に基づいて区分領域単位の駐車可否識別グラフィックデータを生成し、カメラ撮影画像上に重畳表示する表示制御部を有する。駐車領域解析部は、カメラ撮影画像から駐車車両が検出されない区分領域について、オクルージョン領域の区分領域全面積に対する比率を算出し、算出比率の値に応じて区分領域が駐車可能領域、または空き可能性あり領域のいずれであるかを判定し、表示制御部は、各領域で異なるグラフィックデータを重畳して表示する。

Description

情報処理装置、および情報処理方法、並びにプログラム
 本開示は、情報処理装置、および情報処理方法、並びにプログラムに関する。具体的には、例えば駐車場において車両の駐車可能領域を車両運転者であるユーザに分かりやすく提示する表示データを生成する情報処理装置、および情報処理方法、並びにプログラムに関する。
 例えば、ショッピングセンターや遊園地、観光地、その他、街中等の駐車場の多くは、多数の車両を駐車可能としている場合が多い。
 車両の運転者であるユーザは、駐車場から駐車可能な空きスペースを探して駐車する。この場合、ユーザは、駐車場内で車両を走行させ、周囲を目視で確認して空きスペースを探すことになる。
 このような駐車可能スペースの確認処理は時間を要し、また、狭い駐車場内で走行を行うと他の車両や人との接触事故が起こりやすいという問題がある。
 駐車場において駐車可能領域の検出を行う構成を開示した従来技術として、例えば特許文献1(国際公開WO2017/068701号公報)がある。
 この特許文献1は、並列駐車型の駐車場において、車両に搭載されたカメラを用いて駐車可否の判別対象とする駐車区分領域の隣の駐車車両を撮影し、隣の駐車車両の側面部が撮影画像内にしきい値以上の長さで撮影されていれば、駐車可否判別対象領域が空きスペースであると判定する構成を開示している。
 しかし、この開示手法は、並列駐車型の駐車場であること、駐車可否判別区分領域の隣に駐車車両が存在していること、これらの条件が満たされていることが必須要件である。従って、例えば明確な駐車区分領域が規定されていない駐車場や、縦列駐車領域などには適用できず、利用可能な条件が極めて限定されてしまうという問題がある。
国際公開WO2017/068701号公報
 本開示は、例えば上記問題点に鑑みてなされたものであり、並列駐車、縦列駐車など様々な駐車場のタイプに適用可能であり、さらに駐車可否のみならず空き可能性情報も含めて車両運転者であるユーザに提示することを可能とした情報処理装置、および情報処理方法、並びにプログラムを提供することを目的とする。
 本開示の第1の側面は、
 車両に装着したカメラの撮影画像を解析して、車両が駐車可能か否かを区分領域単位で解析する駐車領域解析部と、
 前記駐車領域解析部の解析結果に基づいて、区分領域単位の駐車可否識別グラフィックデータを生成し、前記カメラの撮影画像、または撮影画像に基づいて生成した合成画像上に重畳して表示する表示制御部を有し、
 前記駐車領域解析部は、
 前記カメラの撮影画像から駐車車両が検出されない区分領域について、前記カメラの撮影画像から確認できないオクルージョン領域の区分領域全面積に対する比率を算出し、
 算出比率の値に応じて区分領域が、駐車可能領域、または空き可能性あり領域のいずれの領域であるかを判定する判定処理を実行し、
 前記表示制御部は、
 前記判定処理の結果に応じて、駐車可能領域と空き可能性あり領域とで異なるグラフィックデータを重畳して表示する情報処理装置にある。
 さらに、本開示の第2の側面は、
 情報処理装置において実行する情報処理方法であり、
 駐車領域解析部が、
 車両に装着したカメラの撮影画像を解析して、車両が駐車可能か否かを区分領域単位で解析する駐車領域解析ステップと、
 表示制御部が、
 前記駐車領域解析部の解析結果に基づいて、区分領域単位の駐車可否識別グラフィックデータを生成し、前記カメラの撮影画像、または該撮影画像に基づいて生成した合成画像上に重畳して表示する表示制御ステップを実行し、
 前記駐車領域解析部は、前記駐車領域解析ステップにおいて、
 前記カメラの撮影画像から駐車車両が検出されない区分領域について、前記カメラの撮影画像から確認できないオクルージョン領域の区分領域全面積に対する比率を算出し、
 算出比率の値に応じて区分領域が、駐車可能領域、または空き可能性あり領域のいずれの領域であるかを判定する判定処理を実行し、
 前記表示制御部は、前記表示制御ステップにおいて、
 前記判定処理の結果に応じて、駐車可能領域と空き可能性あり領域とで異なるグラフィックデータを重畳して表示する情報処理方法にある。
 さらに、本開示の第3の側面は、
 情報処理装置において情報処理を実行させるプログラムであり、
 駐車領域解析部に、
 車両に装着したカメラの撮影画像を解析して、車両が駐車可能か否かを区分領域単位で解析する駐車領域解析ステップを実行させ、
 表示制御部に、
 前記駐車領域解析部の解析結果に基づいて、区分領域単位の駐車可否識別グラフィックデータを生成し、前記カメラの撮影画像、または該撮影画像に基づいて生成した合成画像上に重畳して表示する表示制御ステップを実行させ、
 前記駐車領域解析部の前記駐車領域解析ステップにおいて、
 前記カメラの撮影画像から駐車車両が検出されない区分領域について、前記カメラの撮影画像から確認できないオクルージョン領域の区分領域全面積に対する比率を算出する処理と、
 算出比率の値に応じて区分領域が、駐車可能領域、または空き可能性あり領域のいずれの領域であるかを判定する判定処理を実行させ、
 前記表示制御部の前記表示制御ステップにおいて、
 前記判定処理の結果に応じて、駐車可能領域と空き可能性あり領域とで異なるグラフィックデータを重畳して表示する処理を実行させるプログラムにある。
 なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置、画像処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
 本開示のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 本開示の一実施例の構成によれば、駐車区分領域のオクルージョン領域の比率に応じて、駐車可能領域、または空き可能性あり領域のいずれであるかを判別して、判別結果に応じて異なる識別表示処理を行う構成が実現される。
 具体的には、例えば、カメラ撮影画像を解析して、車両が駐車可能か否かを区分領域単位で解析する駐車領域解析部と、解析結果に基づいて区分領域単位の駐車可否識別グラフィックデータを生成し、カメラ撮影画像上に重畳表示する表示制御部を有する。駐車領域解析部は、カメラ撮影画像から駐車車両が検出されない区分領域について、オクルージョン領域の区分領域全面積に対する比率を算出し、算出比率の値に応じて区分領域が駐車可能領域、または空き可能性あり領域のいずれであるかを判定し、表示制御部は、各領域で異なるグラフィックデータを重畳して表示する。
 本構成により、駐車区分領域のオクルージョン領域の比率に応じて、駐車可能領域、または空き可能性あり領域のいずれであるかを判別して、判別結果に応じて異なる識別表示処理を行う構成が実現される。
 なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
駐車場の構成と駐車する車両の例について説明する図である。 車両の構成例について説明する図である。 駐車場の例について説明する図である。 本開示の情報処理装置が生成する表示データの具体例について説明する図である。 本開示の情報処理装置が生成する表示データの具体例について説明する図である。 車両のカメラ構成の例について説明する図である。 車両のカメラ撮影画像に基づいて生成される鳥瞰図の具体例について説明する図である。 本開示の情報処理装置が生成する表示データの具体例について説明する図である。 本開示の情報処理装置が生成する表示データの具体例について説明する図である。 本開示の情報処理装置が実行する処理の処理シーケンスについて説明するフローチャートを示す図である。 本開示の情報処理装置が実行する処理の具体例について説明する図である。 本開示の情報処理装置が実行する処理の具体例について説明する図である。 本開示の情報処理装置が実行する処理の具体例について説明する図である。 本開示の情報処理装置が実行する処理の具体例について説明する図である。 本開示の情報処理装置が実行する処理の具体例について説明する図である。 本開示の情報処理装置が実行する処理の具体例について説明する図である。 本開示の情報処理装置が実行する処理の具体例について説明する図である。 本開示の情報処理装置が実行する処理の具体例について説明する図である。 本開示の情報処理装置が実行する処理の具体例について説明する図である。 本開示の情報処理装置が実行する処理の具体例について説明する図である。 縦列駐車可能な駐車領域と、駐車しようとする車両の具体例について説明する図である。 本開示の情報処理装置が生成する表示データの具体例について説明する図である。 本開示の情報処理装置が実行する処理の処理シーケンスについて説明するフローチャートを示す図である。 本開示の情報処理装置が実行する処理の処理シーケンスについて説明するフローチャートを示す図である。 本開示の情報処理装置が実行する処理の具体例について説明する図である。 本開示の情報処理装置が実行する処理の具体例について説明する図である。 本開示の情報処理装置が実行する処理の具体例について説明する図である。 本開示の情報処理装置が実行する処理の具体例について説明する図である。 本開示の情報処理装置が実行する処理の具体例について説明する図である。 本開示の情報処理装置が実行する処理の具体例について説明する図である。 本開示の情報処理装置が実行する処理の具体例について説明する図である。 本開示の情報処理装置が実行する処理の具体例について説明する図である。 本開示の情報処理装置が実行する表示データ更新処理の処理シーケンスについて説明するフローチャートを示す図である。 本開示の情報処理装置が実行する自動運転制御処理の処理シーケンスについて説明するフローチャートを示す図である。 本開示の情報処理装置が実行する自動運転制御処理の処理シーケンスについて説明するフローチャートを示す図である。 本開示の情報処理装置の構成例について説明する図である。 本開示の情報処理装置のハードウェア構成例について説明する図である。 本開示の情報処理装置を搭載した車両の構成例について説明する図である。 本開示の情報処理装置を搭載した車両のセンサの構成例について説明する図である。
 以下、図面を参照しながら本開示の情報処理装置、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
 1.駐車場における車両駐車処理の一般的な処理と、その問題点について
 2.駐車可能領域と駐車不可領域、さらに空き可能性あり領域の3種類の領域識別用データを生成してユーザに提示する本開示の処理について
 3.(実施例1)本開示の情報処理装置が実行する処理の詳細について
 4.(実施例2)駐車区分領域が規定されていない縦列駐車の場合の処理例について
 5.表示データの更新処理について
 6.車両が自動運転車両である場合の自動運転処理について
 7.本開示の情報処理装置の構成例について
 8.本開示の情報処理装置のハードウェア構成例について
 9.車両の構成例について
 10.本開示の構成のまとめ
  [1.駐車場における車両駐車処理の一般的な処理と、その問題点について]
 まず、駐車場における車両駐車処理の一般的な処理と、その問題点について説明する。
 図1以下を参照して、車両を駐車場に駐車させる場合の一般的な車両走行例について説明する。
 図1には、車両10と駐車場20を示している、車両10は、駐車場20の入り口から駐車場20に入り、空きスペースを探して駐車しようとしている。
 図1の状態で、車両10の運転者であるユーザは、車両前方を見ながら、駐車場20の入り口から駐車場内に侵入する。
 例えば、店舗の入り口が、駐車場の奥側(図の上方側)にあるため、車両10の運転者であるユーザは、できるだけ駐車場の奥側(図の上方側)に駐車したいと考えているとする。
 しかし、駐車場にすでに駐車している駐車車両や柱21などによって運転者の視界が遮られるため、侵入時点では、駐車区分領域のどこが空いているかを判断することは困難である。
 また、図に示す駐車区分の左上端から2番目の駐車領域は空いてはいるが、円錐コーン22がおかれているため利用できない領域となっている。
 しかし、侵入時点では車両10の運転者であるユーザは、この円錐コーン22を視覚で確認することができない。
 なお、図2に示すように、車両10がカメラ11を備えた車両である場合、カメラ11によって撮影された画像が車両10内の表示部12に表示される。運転者であるユーザは、この表示データを見て、駐車場の全体を観察することができる。
 表示部12に表示される撮影画像の例を図3に示す。
 表示部12には、例えば図3に示すようなカメラ撮影画像が表示される。しかし、この表示画像を見ても、例えば、駐車場の右奥の駐車領域23は、手前の駐車車両の陰になっており、運転者は駐車可能か否かを明確に判定することができない。
 また、駐車場左側の奥から2番目の駐車領域24も手前の駐車車両の陰になっており、運転者は駐車可能か否かを明確に判定することができない。この駐車領域24には、円錐コーン22がおかれているが、カメラ11の撮影画像には撮影されていないため運転者は円錐コーン22の存在も全く確認できない。
  [2.駐車可能領域と駐車不可領域、さらに空き可能性あり領域の3種類の領域識別用データを生成してユーザに提示する本開示の処理について]
 次に、駐車可能領域と駐車不可領域、さらに空き可能性あり領域の3種類の領域識別用データを生成してユーザに提示する本開示の処理について説明する。
 図4は、本開示の処理によって車両10の表示部12に表示される表示データの例を示す図である。
 図4に示す表示データは、先に図3を参照して説明したカメラ11の撮影画像内の駐車区分領域各々に3種類の駐車可否識別グラフィックデータ(カラー枠)のいずれかを重畳して表示した表示データである。
 重畳表示する駐車可否識別グラフィックデータ(カラー枠)は、以下の3種類である。
 (1)駐車可能領域識別用表示データ(緑色枠)101
 (2)駐車不可領域識別用表示データ(赤色枠)102
 (3)空き可能性あり領域識別用表示データ(黄色枠)103
 なお、緑、赤、黄の色は一例であり、これらと異なる色の組み合わせでもよい。
 「(1)駐車可能領域識別用表示データ(緑色枠)101」は、車両10に装着されたカメラ11による撮影画像の解析結果として駐車車両が検出されず、かつ、空き尤度(空き可能性)が規定しきい値以上の駐車区分領域に対して重畳表示される。
 「(2)駐車不可領域識別用表示データ(赤色枠)102」は、車両10に装着されたカメラ11による撮影画像の解析結果として駐車車両が検出された駐車区分領域に対して重畳表示される。
 「(3)空き可能性あり領域識別用表示データ(黄色枠)103」は、車両10に装着されたカメラ11による撮影画像の解析結果として駐車車両が検出されず、かつ、空き尤度(空き可能性)が規定しきい値未満の駐車区分領域に対して重畳表示される。
 空き尤度(空き可能性)とは、駐車区分領域が空いており、駐車可能である可能性を示す指標値である。この空き尤度(空き可能性)の算出処理の詳細については後段で説明する。
 なお、図4に示す図は、図面上では白黒画として示しているが、車両10の表示部12に表示される画像はカラー画像であり、領域識別用表示データ(緑色枠、赤色枠、黄色枠)は、高輝度のカラーデータとして表示されるため、ユーザ(運転者)は、即座に各駐車領域の3状態(駐車可能、駐車不可能、空き可能性あり)を判別することができる。
 図4に示す図は白黒画で分かりにくいため、背景の車両を省略したデータ例を図5に示す。
 図5に示すように、駐車区分領域の各々に対して、以下の3種類の駐車可否識別グラフィックデータ(カラー枠)が表示される。
 (1)駐車可能領域識別用表示データ(緑色枠)101
 (2)駐車不可領域識別用表示データ(赤色枠)102
 (3)空き可能性あり領域識別用表示データ(黄色枠)103
 ユーザ(運転者)は、駐車区分領域の各々に重畳されて表示される駐車可否識別グラフィックデータ(カラー枠)の色に基づいて、各駐車領域が駐車可能な領域であるか、駐車不可能な領域であるか、空き可能性ありの領域であるかを、即座に判別することができる。
 なお、図4、図5に示す例は、表示部12に表示する表示データとして、図2に示す車両10の前方を撮影するカメラ11によって撮影した画像を利用した例である。
 表示部12に表示する表示データは、このような前方撮影カメラによる撮影画像に限らず、様々なデータとすることが可能である。
 例えば、図6に示すように、車両10に前後左右を撮影する複数のカメラを搭載し、これらのカメラによって撮影された画像を合成して上方から観察された画像、すなわち鳥瞰図を生成して表示してもよい。
 図6に示す車両10は、以下の4つのカメラを搭載している。
 (a)車両10の前方を撮影する前方向カメラ11F、
 (b)車両10の後方を撮影する後方向カメラ11B、
 (c)車両10の左側を撮影する左方向カメラ11L、
 (d)車両10の右側を撮影する右方向カメラ11R、
 これら車両10の前後左右4方向の画像を撮影するカメラの撮影画像を合成することで、車両10の上方から観察される画像、すなわち鳥瞰図を生成することが可能となる。
 このような処理によって車両10の表示部12に表示される画像の例を図7に示す。
 図7に示す表示データは、図6を参照して説明した車両10の前後左右4方向の画像を撮影するカメラ11F,11L,11B,11Rの4つの撮影画像を合成して生成された鳥瞰図によって構成される表示データの例である。
 なお、柱21は歪んで見えているが、これは複数画像の合成処理よって発生する歪である。また、本来、存在するはずの円錐コーン22は表示されていない。この円錐コーン22は、例えば手前の駐車領域に駐車された車両の陰になり、4つのカメラのいずれにも撮影されていないからである。
 このように、複数画像の合成処理よって生成される表示データ(鳥瞰図)は、被写体の歪みなどが発生し、運転者(ユーザ)が、即座に各駐車領域の状態(駐車可能、駐車不可能、空き可能性あり)を判別することは困難である。
 図8は、複数画像の合成処理よって生成される表示データ(鳥瞰図)に対して本開示の処理によって生成される駐車可否識別グラフィックデータ(カラー枠)を重畳した表示データの例である。
 駐車可否識別グラフィックデータ(カラー枠)は、以下の3種類である。
 (1)駐車可能領域識別用表示データ(緑色枠)101
 (2)駐車不可領域識別用表示データ(赤色枠)102
 (3)空き可能性あり領域識別用表示データ(黄色枠)103
 なお、緑、赤、黄の色は一例であり、これらと異なる色の組み合わせでもよい。
 (1)~(3)の駐車可否識別グラフィックデータ(カラー枠)の意味は、先に図4、図5を参照して説明したと同様の意味である。
 すなわち、「(1)駐車可能領域識別用表示データ(緑色枠)101」は、車両10に装着されたカメラ11による撮影画像の解析結果として駐車車両が検出されず、かつ、空き尤度(空き可能性)が規定しきい値以上の駐車区分領域に対して重畳表示される。
 「(2)駐車不可領域識別用表示データ(赤色枠)102」は、車両10に装着されたカメラ11による撮影画像の解析結果として駐車車両が検出された駐車区分領域に対して重畳表示される。
 「(3)空き可能性あり領域識別用表示データ(黄色枠)103」は、車両10に装着されたカメラ11による撮影画像の解析結果として駐車車両が検出されず、かつ、空き尤度(空き可能性)が規定しきい値未満の駐車区分領域に対して重畳表示される。
 なお、図8に示す図は、図面上では白黒画として示しているが、車両10の表示部12に表示される画像はカラー画像であり、領域識別用表示データ(緑色枠、赤色枠、黄色枠)は、高輝度のカラーデータとして表示されるため、ユーザ(運転者)は、即座に各駐車領域の3状態(駐車可能、駐車不可能、空き可能性あり)を判別することができる。背景の車両を省略したデータ例を図9に示す。
 図9に示すように、駐車区分領域の各々に対して、以下の3種類の駐車可否識別グラフィックデータ(カラー枠)が表示される。
 (1)駐車可能領域識別用表示データ(緑色枠)101
 (2)駐車不可領域識別用表示データ(赤色枠)102
 (3)空き可能性あり領域識別用表示データ(黄色枠)103
 ユーザ(運転者)は、駐車区分領域の各々に重畳されて表示される駐車可否識別グラフィックデータ(カラー枠)の色に基づいて、各駐車領域が駐車可能な領域であるか、駐車不可能な領域であるか、空き可能性ありの領域であるかを、即座に判別することができる。
  [3.(実施例1)本開示の情報処理装置が実行する処理の詳細について]
 次に、本開示の実施例1の情報処理装置が実行する処理の詳細について説明する。
 なお、本開示の情報処理装置は車両10に搭載された情報処理装置である。
 情報処理装置は、車両に装着されたカメラの撮影画像を入力して、表示部への表示データを生成するとともに、撮影画像の解析処理を実行して、駐車区分領域各々の駐車可否等を判別し、駐車区分領域各々に対する駐車可否識別グラフィックデータ(カラー枠)を生成して表示部に表示された駐車場画像に重畳して表示する処理などを行う。
 本開示の情報処理装置が実行する処理のシーケンスについて図10に示すフローチャートを参照して説明する。
 なお、図10に示すフローチャートは、本開示の情報処理装置のデータ処理部の制御の下で実行される。本開示の情報処理装置は例えばCPU等のプログラム実行機能を持つデータ処理部を有し、データ処理部は情報処理装置内の記憶部に格納されたプログラムに従って図10に示すフローに従った処理を実行する。
 以下、図10に示すフローチャートの各ステップの処理について説明する。
  (ステップS101)
 まず、車両10に搭載された情報処理装置のデータ処理部は、ステップS101において、カメラの撮影画像等のセンサ検出情報、またはセンサ検出情報とAI予測データ、または、外部からの入力情報に基づいて、駐車区分領域を検出し、検出した駐車区分領域に駐車区分領域識別子(ID)を設定する。
 カメラの撮影画像とは、例えば図2を参照して説明した車両10の前方を撮影するカメラ11の撮影画像、あるいは図6を参照して説明した以下の4つのカメラ、
 (a)車両10の前方を撮影する前方向カメラ11F、
 (b)車両10の後方を撮影する後方向カメラ11B、
 (c)車両10の左側を撮影する左方向カメラ11L、
 (d)車両10の右側を撮影する右方向カメラ11R、
 これらの4つのカメラの全て、あるいは複数カメラの撮影画像、あるいはこれらの複数の撮影画像に基づいて生成される合成画像(鳥瞰図)である。
 ステップS101では、少なくとも1つ以上のカメラ撮影画像から駐車区分領域を検出し、検出した駐車区分領域に駐車区分領域識別子(ID)を設定する。
 あるいは、カメラ撮影画像のみならず、AI予測データを利用して駐車区分領域を推定してもよい。
 例えば、畳み込みニューラルネットワークであるCNN(Convolutional Neural Network)を用いた学習アルゴリズムによって生成されるAI予測器を利用して、カメラによって明確に撮影されない領域の駐車区分領域を判別して駐車区分領域の推定処理を行ってもよい。
 あるいは、外部からの入力情報、例えば駐車場情報提供サーバから提供される駐車場情報を用いて、駐車区分領域を検出する処理を行ってもよい。
 このように、ステップS101では、カメラの撮影画像等のセンサ検出情報、またはセンサ検出情報とAI予測データ、または、外部からの入力情報に基づいて、駐車区分領域を検出し、検出した駐車区分領域に駐車区分領域識別子(ID)を設定する。
 検出した駐車区分領域に対する駐車区分領域識別子(ID)の設定例を図11に示す。
 図11に示す例は、先に図1を参照して説明したと同様の並列駐車を行う駐車場から検出した8つの駐車区分領域に対する駐車区分領域識別子(ID)の設定例を示す図である。
 左上の駐車区分領域から右下の駐車区分領域まで、8つの駐車区分領域識別子(ID=P1~P8)を設定した例である。
  (ステップS102)
 次に、車両10に搭載された情報処理装置のデータ処理部は、ステップS102において、ステップS101で検出した駐車区分領域(P1~Pn)から、1つの処理対象領域(Px)を選択する。
 例えば、図11に示8つの駐車区分領域識別子(ID=P1~P8)を設定した例では、P1から順に処理対象領域として選択する。
  (ステップS103)
 次に、情報処理装置のデータ処理部は、ステップS103において、処理対象領域(Px)に駐車車両が検出されたか否かを判定する。
 この判定処理は、車両10に搭載したカメラの撮影画像に基づいて実行される。
 処理対象領域(Px)に駐車車両が検出された場合は、ステップS104に進む。
 一方、処理対象領域(Px)に駐車車両が検出されなかった場合は、ステップS106に進む。
  (ステップS104)
 ステップS104~S105の処理は、ステップS103において、処理対象領域(Px)に駐車車両が検出されたと判定した場合に実行する。
 この場合、情報処理装置のデータ処理部は、ステップS104において、処理対象領域(Px)を駐車不可領域と判定する。
  (ステップS105)
 次に、情報処理装置のデータ処理部は、ステップS105において、ステップS104で駐車不可領域と判定した、処理対象領域(Px)に駐車不可領域識別用表示データ(赤色枠)を表示する。
 この処理は、例えば図4や図8に示す駐車場画像中の駐車車両が存在する駐車区分領域、例えば、左上端の駐車区分領域や、左下端の駐車区分領域等に駐車不可領域識別用表示データ(赤色枠)を表示する処理に相当する。
 なお、例えば図4や図8に示す駐車場画像中の左上端の駐車区分領域は、車両10のカメラ11によって駐車車両が検出される領域である。
 図12は、車両10のカメラ11による駐車車両の検出状態を示す図である。
 図12に示すように、駐車区分領域P1に駐車された車両の一部は、手前側の駐車車両や柱21によって隠れている(図のグレー部分)が、一部はカメラ11によって撮影可能な状態である。
 このように、本開示の処理では、駐車区分領域内に駐車車両の一部でも確認されれば、その駐車区分領域は、駐車不可領域であると判定し、駐車不可領域識別用表示データ(赤色枠)を表示する。
  (ステップS106)
 ステップS106~S111の処理は、ステップS103において、処理対象領域(Px)に駐車車両が検出されなかったと判定した場合に実行する。
 この場合、情報処理装置のデータ処理部は、ステップS106において、処理対象領域(Px)の空き尤度(空き可能性)算出処理を実行する。
 前述したように、空き尤度(空き可能性)とは、駐車区分領域が空いている可能性を示す指標値である。
 図13以下を参照して、本開示の情報処理装置のデータ処理部が実行する空き尤度(空き可能性)算出処理の具体例について説明する。
 上述したように、ステップS106~S111の処理は、ステップS103において、処理対象領域(Px)に駐車車両が検出されなかったと判定した場合に実行する。
 駐車車両が検出されなかった処理対象領域(Px)の例として、図13に示す駐車区分領域P2と、駐車区分領域P5の場合の処理例について説明する。
 図13に示す駐車区分領域P2は、図13に示すように、車両10のカメラ11によって駐車車両が検出されない駐車区分領域である。
 同様に、駐車区分領域P5も車両10のカメラ11によって駐車車両が検出されない駐車区分領域である。
 従って、図13に示す駐車区分領域P2や、駐車区分領域P5が、ステップS102において処理対象領域(Px)として選択されている場合、情報処理装置のデータ処理部は、ステップS106において、これら処理対象領域(P2)、または処理対象領域(P5)の空き尤度(空き可能性)算出処理を実行する。
 図13に示す駐車区分領域P2と、駐車区分領域P5の空き尤度(空き可能性)算出処理の具体的な算出処理について図14を参照して説明する。
 図14には、左側に駐車区分領域P2の空き尤度(空き可能性)算出処理の具体例を示し、右側に駐車区分領域P5の空き尤度(空き可能性)算出処理の具体例を示している。
 まず、図14の左側に示す駐車区分領域P2の空き尤度(空き可能性)算出処理について説明する。
 図14(a)空き尤度(空き可能性)算出式に示すように、各駐車区分領域の空き尤度(空き可能性)は、以下の(式1)に従って算出する。
 空き尤度(空き可能性)(%)=(1-(オクルージョン領域面積)/(駐車区分領域全面積))×100(%)・・・・(式1)
 なお、オクルージョン領域は、カメラの撮影画像では確認できない領域である。例えば前方車両の陰部分や柱などの障害物の陰になり、カメラの撮影画像中に含まれない領域である。図14に示す駐車区分領域P2のグレー領域がオクルージョン領域であり、白い部分が、カメラによって撮影されている確認可能領域である。
 駐車区分領域全面積は、駐車区分の前後方向長さ(d)と横幅(w)の乗算値:d×wである。
 上記(式1)に従って、駐車区分領域P2の空き尤度(空き可能性)を算出すると、
 駐車区分領域P2の空き尤度(空き可能性)=15%
 となる。
 一方、図14の右側に示す駐車区分領域P5の空き尤度(空き可能性)は、上記(式1)に従って算出すると、
 駐車区分領域P5の空き尤度(空き可能性)=10%
 となる。
  (ステップS107)
 ステップS106において、処理対象領域の空き尤度(空き可能性)の算出処理が完了すると、次に、情報処理装置のデータ処理部は、ステップS107において、算出した空き尤度(空き可能性)と予め規定したしきい値(Th)とを比較し、算出空き尤度がしきい値(Th)以上か否かを判定する。
 ここでは、しきい値を50%とする。
 なお、しきい値=50%は一例であり、しきい値の値は、様々な設定が可能である。
 算出した空き尤度(空き可能性)がしきい値(Th)以上、すなわち50%以上であれば、ステップS108に進む。
 一方、算出した空き尤度(空き可能性)がしきい値(Th)未満、すなわち50%未満であれば、ステップS110に進む。
  (ステップS108~S109)
 ステップS108~S109の処理は、ステップS106で算出した処理対象領域の空き尤度(空き可能性)がしきい値(Th)以上、すなわち50%以上である場合に実行する。
 具体的には、駐車車両が確認できない駐車区分領域(処理対象領域)の全面積中、オクルージョン領域(カメラの撮影画像では確認できない領域)以外の領域、すなわちカメラの撮影画像から確認できる領域が50%以上である場合、ステップS108~S109の処理を実行する。
 この場合、情報処理装置のデータ処理部は、ステップS108において、処理対象領域を駐車可能領域と判定する。
 さらに、ステップS109において、この処理対象領域に駐車可能領域識別用表示データ(緑色枠)を表示する。
  (ステップS110~S111)
 一方、ステップS110~S111の処理は、ステップS106で算出した処理対象領域の空き尤度(空き可能性)がしきい値(Th)未満、すなわち50%未満である場合に実行する。
 具体的には、駐車車両が確認できない駐車区分領域(処理対象領域)の全面積中、オクルージョン領域(カメラの撮影画像では確認できない領域)以外の領域、すなわちカメラの撮影画像から確認できる領域が50%未満である場合、ステップS110~S111の処理を実行する。
 この場合、情報処理装置のデータ処理部は、ステップS110において、処理対象領域を空き可能性あり領域と判定する。
 さらに、ステップS111において、この処理対象領域に空き可能性あり領域識別用表示データ(黄色枠)を表示する。
  (ステップS112)
 ステップS112では、すべての駐車区分領域についての処理が終了したか否かを判定する。
 未処理の駐車区分領域がある場合は、ステップS102に戻り、未処理の駐車区分領域について、ステップS102以下の処理を実行する。
 ステップS112ですべての駐車区分領域についての処理が終了したと判定した場合は処理を終了する。
 次に、ステップS110~S111の処理の具体例について、図13、図14を参照して説明する。
 図13に示す駐車区分領域P2と、駐車区分領域P5の空き尤度(空き可能性)は、先に説明した(式1)、すなわち、
 空き尤度(空き可能性)(%)=(1-(オクルージョン領域面積)/(駐車区分領域全面積))×100(%)・・・・(式1)
 上記(式1)に従って算出すると、
 駐車区分領域P2の空き尤度(空き可能性)=15%
 駐車区分領域P5の空き尤度(空き可能性)=10%
 となる。
 すなわち、駐車区分領域P2は、駐車区分領域P2の全面積(d×w)中、オクルージョン領域(カメラの撮影画像では確認できない領域)以外の領域、すなわちカメラの撮影画像から確認できる領域が15%である。
 また、駐車区分領域P5は、駐車区分領域P5の全面積(d×w)中、オクルージョン領域(カメラの撮影画像では確認できない領域)以外の領域、すなわちカメラの撮影画像から確認できる領域が10%である。
 これら、駐車区分領域P2,P5の空き尤度(空き可能性)=15%,および10%は、いずれも、しきい値(Th)=50%未満であるので、ステップS107の判定がNoとなる。
 この判定処理を、図14のステップS107(No)として示している。
 この場合、図14の最下段のステップS110~S111に示すように、駐車区分領域P2,P5いずれの駐車区分領域についても、各領域を空き可能性あり領域と判定し、これらの駐車区分領域P2,P5に空き可能性あり領域識別用表示データ(黄色枠)を表示する。
 一方、ステップS106で算出した処理対象領域の空き尤度(空き可能性)がしきい値(Th)以上、すなわち50%以上である場合に実行するステップS108~S109の処理の具体例について、図15、図16を参照して説明する。
 図15に示す駐車区分領域P5は、先に図13を参照して説明した駐車区分領域P5と同じ右上端の駐車区分領域であるが、その手前の駐車区分領域P6に駐車車両が出て行った状態であり、車両10のカメラ11から確認できる領域が増加している。
 この状態で、図15に示す駐車区分領域P5の空き尤度(空き可能性)は、先に説明した(式1)、すなわち、
 空き尤度(空き可能性)(%)=(1-(オクルージョン領域面積)/(駐車区分領域全面積))×100(%)・・・・(式1)
 上記(式1)に従って算出すると、
 駐車区分領域P5の空き尤度(空き可能性)=90%
 となる。
 この空き尤度(空き可能性)算出処理を、図16のステップS106a~S106bとして示している。
 すなわち、駐車区分領域P5は、駐車区分領域P5の全面積(d×w)中、オクルージョン領域(カメラの撮影画像では確認できない領域)以外の領域、すなわちカメラの撮影画像から確認できる領域が90%である。
 この駐車区分領域P5の空き尤度(空き可能性)=90%は、しきい値(Th)=50%以上であるので、ステップS107の判定がYesとなる。
 この判定処理を、図16のステップS107(Yes)として示している。
 この場合、図16の最下段のステップS108~S109に示すように、駐車区分領域P5は駐車可能領域と判定され、この駐車区分領域P5に駐車可能領域識別用表示データ(緑色枠)を表示する。
 このように、本開示の情報処理装置は、図10に示すフローチャートに従った処理を実行し、駐車区分領域の各々に対して、以下の3種類の駐車可否識別グラフィックデータ(カラー枠)を表示する処理を行う。
 (1)駐車可能領域識別用表示データ(緑色枠)
 (2)駐車不可領域識別用表示データ(赤色枠)
 (3)空き可能性あり領域識別用表示データ(黄色枠)
 図17を参照して、上記3種類の駐車可否識別グラフィックデータ(カラー枠)の割り当て処理の具体例について説明する。
 図17には、左から、以下の3つの駐車区分領域に対する駐車可否識別グラフィックデータ(カラー枠)の割り当て処理の具体的シーケンスを示している。
 駐車区分領域Px
 駐車区分領域Py
 駐車区分領域Pz
 駐車区分領域Pxは、カメラ撮影画像から駐車車両が確認された駐車区分領域である。
 駐車区分領域Pyは、カメラ撮影画像から駐車車両が確認されず、空き尤度(空き可能性)がしきい値以上の駐車区分領域である。
 駐車区分領域Pzは、カメラ撮影画像から駐車車両が確認されず、空き尤度(空き可能性)がしきい値未満の駐車区分領域である。
 図17には、先に説明した図10のフローチャートの各ステップの代表的処理を示している。
 図17に示すように、駐車区分領域Pxは、カメラ撮影画像から駐車車両が確認され、ステップS103でYesの判定がなされる。
 この判定に従い、駐車区分領域Pxは、ステップS104~S105で、駐車不可領域と判定され、駐車不可能領域識別用表示データ(赤色枠)の表示処理が実行される。
 図17中央に示す駐車区分領域Pyは、カメラ撮影画像から駐車車両が確認されず、ステップS103でNoの判定がなされる。
 この判定に従い、駐車区分領域Pyについては、ステップS106で空き尤度(空き可能性)の算出処理が行われ、ステップS107で、算出値がしきい値以上であるか否かが判定される。
 駐車区分領域Pyの空き尤度(空き可能性)は、しきい値以上と判定され、ステップS107の判定結果がYesとなる。
 この判定結果に基づいて、ステップS108~S109において、駐車区分領域Pyは、駐車可能領域と判定され、駐車可能領域識別用表示データ(緑色枠)の表示処理が実行される。
 最後の図17右端に示す駐車区分領域Pzは、カメラ撮影画像から駐車車両が確認されず、ステップS103でNoの判定がなされる。
 この判定に従い、駐車区分領域Pzについては、ステップS106で空き尤度(空き可能性)の算出処理が行われ、ステップS107で、算出値がしきい値以上であるか否かが判定される。
 駐車区分領域Pzの空き尤度(空き可能性)は、しきい値未満と判定され、ステップS107の判定結果がNoとなる。
 この判定結果に基づいて、ステップS110~S111において、駐車区分領域Pzは、空き可能性あり領域と判定され、空き可能性あり領域識別用表示データ(緑色枠)の表示処理が実行される。
 上述したように、本開示の情報処理装置は、図10に示すフローチャートに従って、駐車区分領域の各々に対して、以下の3種類の駐車可否識別グラフィックデータ(カラー枠)を表示する処理を行う。
 (1)駐車可能領域識別用表示データ(緑色枠)
 (2)駐車不可領域識別用表示データ(赤色枠)
 (3)空き可能性あり領域識別用表示データ(黄色枠)
 これらのカラー枠は、各駐車区分領域の表示位置に合わせて表示することが必要である。
 図18以下を参照してこの駐車可否識別グラフィックデータ(カラー枠)表示処理のために必要となるパラメータの例について説明する。
 図18(1)には、駐車可否識別グラフィックデータ(カラー枠)表示処理のために必要となるパラメータの取得処理例を示している。
 図に示す例は、最上段の駐車区分領域Pnのパラメータの取得処理例である。
 図に示すように、駐車区分領域Pnの中心位置の座標(x,y)と、形状データとしての長さ(d)と幅(w)を、駐車可否識別グラフィックデータ(カラー枠)表示処理用パラメータとして取得する。
 なお、XY座標の原点は、車両10内の固定点、例えば車両10の左右後輪軸の中心位置であり、X軸は車両10の進行方向、Y軸はX軸に直行する車両10の左方向の軸である。この設定を持つXY座標を利用する。
 駐車区分領域Pnの中心位置の座標(x,y)は、このXY座標上の位置情報として取得する。
 形状データとしての長さ(d)と幅(w)は、駐車区分領域Pnを構成する辺(外形ライン)中、Y軸に平行な辺(外形ライン)とX軸に平行な辺(外形ライン)の長さである。
 まず、これらのパラメータを取得する。
 なお、XY座標の設定は一例であり、この他の座標を利用する構成としてもよい。
 図18(2)は、これらのパラメータを利用した駐車可否識別グラフィックデータ(カラー枠)の生成と表示処理例を示している。
 表示部12に表示された駐車場の画像に駐車可否識別グラフィックデータ(カラー枠)を重畳するため、駐車可否識別グラフィックデータ生成部は、図18(1)に示すパラメータ取得処理によって取得されたパラメータ、すなわち、駐車区分領域Pnの中心位置の座標(x,y)と、形状データとしての長さ(d)と幅(w)を利用して、駐車可否識別グラフィックデータ(カラー枠)を生成し、表示部12に表示された駐車場の画像内の駐車区分領域Pnの位置に駐車可否識別グラフィックデータ(カラー枠)を重畳して表示する。
 なお、図18に示す例は、駐車区分領域の形状データとしての長さ(d)と幅(w)が、Y軸に平行な辺(外形ライン)とX軸に平行な辺(外形ライン)によって構成された例であるが、駐車区分領域は、このような設定には限らない。
 例えば図19に示すように、駐車区分領域の長さ(d)と幅(w)が、XY軸から傾きを持つ構成である場合もある。
 この場合には、図19(1)に示すように、駐車区分領域Pnの中心位置の座標(x,y)と、形状データとしての長さ(d)と幅(w)と、傾き(θ)を、駐車可否識別グラフィックデータ(カラー枠)表示処理用パラメータとして取得する。
 傾き(θ)は、駐車区分領域Pnの長さ方向のY軸に対する傾きである。
 図19(2)は、これらのパラメータを利用した駐車可否識別グラフィックデータ(カラー枠)の生成と表示処理例を示している。
 表示部12に表示された駐車場の画像に駐車可否識別グラフィックデータ(カラー枠)を重畳するため、駐車可否識別グラフィックデータ生成部は、図19(1)に示すパラメータ取得処理によって取得されたパラメータ、すなわち、駐車区分領域Pnの中心位置の座標(x,y)と、形状データとしての長さ(d)と幅(w)と、傾き(θ)を利用して、駐車可否識別グラフィックデータ(カラー枠)を生成し、表示部12に表示された駐車場の画像内の駐車区分領域Pnの位置に駐車可否識別グラフィックデータ(カラー枠)を重畳して表示する。
 図20は、駐車可否識別グラフィックデータ(カラー枠)の表示に利用するパラメータの取得処理を実行する駐車領域解析部151の処理と、取得したパラメータを利用した駐車可否識別グラフィックデータ(カラー枠)の表示処理を実行する駐車可否識別グラフィックデータ生成部152の処理を説明する図である。
 図20に示すように、駐車領域解析部151が、駐車可否識別グラフィックデータ(カラー枠)の表示に利用するパラメータの取得処理を実行する。
 駐車領域解析部151は、先に図10を参照して説明したフローチャートに従った処理を実行して駐車区分領域が、
 (1)駐車可能領域
 (2)駐車不可領域
 (3)空き可能性あり領域
 このいずれの領域であるかを判定する。
 駐車領域解析部151は、さらに、駐車可否識別グラフィックデータ(カラー枠)の表示に利用するパラメータの取得処理を実行する。
 パラメータは、以下のデータを含むパラメータである。
 (a)駐車区分領域ID、
 (b)駐車可否識別結果(駐車可、駐車不可、空き可能性あり)、
 (c)駐車区分領域の中心位置座標(x,y)、
 (d)駐車区分領域の形状(d,w)、
 (e)駐車区分領域の傾き角度(θ)、
 これらのパラメータは、駐車領域解析部151から、駐車可否識別グラフィックデータ生成部152に出力される。
 駐車可否識別グラフィックデータ生成部152は、上記パラメータ(a)~(e)を利用して、駐車可否識別グラフィックデータ(カラー枠)を生成する。
 さらに、駐車可否識別グラフィックデータ生成部152は、表示部153に表示されている駐車場の画像内の1つの駐車区分領域の位置に生成した駐車可否識別グラフィックデータ(カラー枠)を重畳して表示する。
 このようにして、表示部には、各駐車区分領域に、以下の駐車可否識別グラフィックデータ(カラー枠)、すなわち、
 (1)駐車可能領域識別用表示データ(緑色枠)
 (2)駐車不可領域識別用表示データ(赤色枠)
 (3)空き可能性あり領域識別用表示データ(黄色枠)
 これらのいずれかが重畳された画像が表示されることになる。
 ユーザ(運転者)は、駐車区分領域の各々に重畳されて表示される駐車可否識別グラフィックデータ(カラー枠)の色に基づいて、各駐車領域が駐車可能な領域であるか、駐車不可能な領域であるか、空き可能性ありの領域であるかを、即座に判別することができる。
  [4.(実施例2)駐車区分領域が規定されていない縦列駐車の場合の処理例について]
 次に、実施例2として、駐車区分領域が規定されていない縦列駐車の場合の処理例について説明する。
 上述した実施例(実施例1)は、車両が横並びに駐車する並列駐車を行う駐車場で、かつ個々の駐車領域が白線などで明確に区分されている駐車場において、駐車処理を行う場合の処理例であった。
 すなわち、上記実施例1では、個々の駐車領域が白線などで明確に区分されている駐車場の各駐車区分領域が、
 (1)駐車可能領域
 (2)駐車不可領域
 (3)空き可能性あり領域
 このいずれの領域であるかを判定する処理を行っていた。
 しかし、例えば道路の側端部に一列に縦列駐車が可能な道路などでは、個々の駐車領域を規定する白線などがない場合も多く、道路を走行中の車両は、自車両が駐車できる車両一台分の空きスペースを見つけて駐車するといった処理が行われることが多い。
 以下に説明する実施例2は、このように、個々の駐車領域を規定する白線などがない駐車可能領域である場合、その駐車可能領域を、すでに駐車されている車両などに基づいて区分する処理を行う。さらに生成した区分領域の各々について、
 (1)駐車可能領域
 (2)駐車不可領域
 (3)空き可能性あり領域
 このいずれの領域であるかを判定する処理を行う実施例である。
 この実施例2の詳細について、図21以下を参照して説明する。
 図21は、道路を走行中の車両10が、道路の左側に設けられた縦列駐車帯のどこかに駐車しようとしいる状態を示す図である。
 本実施例2では、このような場合に車両10の車内の表示部12に図22に示すような表示データが表示される。
 図22に示す表示データは、車両10のカメラ11の撮影画像内に撮影される縦列駐車領域に3種類の駐車可否識別グラフィックデータ(カラー枠)のいずれかを重畳して表示した表示データである。
 重畳表示する駐車可否識別グラフィックデータ(カラー枠)は、以下の3種類である。
 (1)駐車可能領域識別用表示データ(緑色枠)101
 (2)駐車不可領域識別用表示データ(赤色枠)102
 (3)空き可能性あり領域識別用表示データ(黄色枠)103
 なお、緑、赤、黄の色は一例であり、これらと異なる色の組み合わせでもよい。
 なお、図22には、「(3)空き可能性あり領域識別用表示データ(黄色枠)103」は示されていない。
 上記(1)~(3)の駐車可否識別グラフィックデータ(カラー枠)の表示条件は以下の通りである。
 「(1)駐車可能領域識別用表示データ(緑色枠)101」は、車両10に装着されたカメラ11による撮影画像の解析結果として駐車車両が検出されず、かつ、空き尤度(空き可能性)が規定しきい値以上の領域に重畳表示される。
 「(2)駐車不可領域識別用表示データ(赤色枠)102」は、車両10に装着されたカメラ11による撮影画像の解析結果として駐車車両が検出された領域、または、空き領域の長さが車両を駐車するのに不十分な長さである領域に重畳表示される。
 図22に示す駐車不可領域識別用表示データ102aは、駐車車両が検出された領域であり、図22に示す駐車不可領域識別用表示データ102bが、空き領域の長さが車両を駐車するのに不十分な長さである領域である。
 「(3)空き可能性あり領域識別用表示データ(黄色枠)103」は、車両10に装着されたカメラ11による撮影画像の解析結果として駐車車両が検出されず、かつ、空き領域の長さが車両を駐車するのに十分な長さであり、かつ、空き尤度(空き可能性)が規定しきい値未満の駐車区分領域に対して重畳表示される。
 空き尤度(空き可能性)とは、駐車区分領域が空いており、駐車可能である可能性を示す指標値である。
 本実施例2では、上記の表示条件に従って、以下の駐車可否識別グラフィックデータ(カラー枠)が表示される。
 (1)駐車可能領域識別用表示データ(緑色枠)101
 (2)駐車不可領域識別用表示データ(赤色枠)102
 (3)空き可能性あり領域識別用表示データ(黄色枠)103
 本実施例2の処理シーケンスについて、図23、図24に示すフローチャートを参照して説明する。
 なお、図23、図24に示すフローチャートは、本開示の情報処理装置のデータ処理部の制御の下で実行される。本開示の情報処理装置は例えばCPU等のプログラム実行機能を持つデータ処理部を有し、データ処理部は情報処理装置内の記憶部に格納されたプログラムに従って図10に示すフローに従った処理を実行する。
 以下、図23、図24に示すフローチャートの各ステップの処理について説明する。
  (ステップS201)
 まず、車両10に搭載された情報処理装置のデータ処理部は、ステップS201において、カメラの撮影画像等のセンサ検出情報、またはセンサ検出情報とAI予測データ、または、外部からの入力情報に基づいて、駐車許容領域、例えば道路サイドの縦列駐車許容領域を検出する。
 カメラの撮影画像とは、例えば図21を参照して説明した車両10の前方を撮影するカメラ11の撮影画像、あるいは先に図6を参照して説明した以下の4つのカメラ、
 (a)車両10の前方を撮影する前方向カメラ11F、
 (b)車両10の後方を撮影する後方向カメラ11B、
 (c)車両10の左側を撮影する左方向カメラ11L、
 (d)車両10の右側を撮影する右方向カメラ11R、
 これらの4つのカメラの全て、あるいは複数カメラの撮影画像、あるいはこれらの複数の撮影画像に基づいて生成される合成画像(鳥瞰図)である。
 ステップS201では、少なくとも1つ以上のカメラ撮影画像から駐車許容領域を検出する。
 あるいは、カメラ撮影画像のみならず、AI予測データを利用して駐車許容領域を推定してもよい。
 例えば、畳み込みニューラルネットワークであるCNN(Convolutional Neural Network)を用いた学習アルゴリズムによって生成されるAI予測器を利用して、カメラによって明確に撮影されない領域の駐車許容領域を判別して駐車許容領域の推定処理を行ってもよい。
 あるいは、外部からの入力情報、例えば駐車場情報提供サーバから提供される駐車場情報を用いて、駐車許容領域を検出する処理を行ってもよい。
 このように、ステップS101では、カメラの撮影画像等のセンサ検出情報、またはセンサ検出情報とAI予測データ、または、外部からの入力情報に基づいて、駐車許容領域を検出する。
  (ステップS202)
 次に、車両10に搭載された情報処理装置のデータ処理部は、ステップS202において、ステップS201で検出した駐車許容領域、例えば縦列駐車許容領域を解析対象とする注目領域(ROI:Region of Interest)に設定する。
 具体例について、図25を参照して説明する。例えば図25のステップS202に示すように、縦列駐車許容領域を解析対象とする注目領域(ROI:Region of Interest)に設定する。
  (ステップS203)
 次に、情報処理装置のデータ処理部は、ステップS203において、注目領域(ROI)内の駐車車両を検出する。
 具体例について、図25を参照して説明する。例えば図25のステップS203に示すように、注目領域(ROI)である縦列駐車許容領域内の駐車車両を検出する。
  (ステップS204)
 次に、情報処理装置のデータ処理部は、ステップS204において、注目領域(ROI)内の駐車車両が検出された領域を駐車不可領域と判定する。
  (ステップS205)
 次に、情報処理装置のデータ処理部は、ステップS204で駐車不可領域と判定した駐車車両の存在領域に対して、駐車不可領域識別用表示データ(赤色枠)を表示する。
 具体例について、図26を参照して説明する。例えば図26のステップS205に示すように、注目領域(ROI)である縦列駐車許容領域内の駐車車両が検出された領域に、駐車不可領域識別用表示データ(赤色枠)を表示する。
  (ステップS206)
 次に、情報処理装置のデータ処理部は、ステップS206において、駐車車両の間の空き領域(区分領域)の各々に空き領域識別子(空き領域ID)を設定する。
 具体例について、図27を参照して説明する。例えば図27のステップS206に示すように、駐車車両の間の空き領域の各々に空き領域識別子(空き領域ID)として、空き領域ID=1,2,・・を設定する。
  (ステップS207)
 次に、情報処理装置のデータ処理部は、ステップS207において、空き領域識別子(空き領域ID)を設定した空き領域の各々から、空き領域の長さ(空き領域前後の駐車車両の間隔)が、しきい値(車両駐車可能長さ)未満の空き領域を選択し、選択領域を駐車不可領域と判定する。
 具体例について、図28を参照して説明する。例えば図28のステップS207に示すように、空き領域ID=1の空き領域を、空き領域の長さ(空き領域前後の駐車車両の間隔)が、しきい値(車両駐車可能長さ)未満の空き領域であると判断し、この空き領域を駐車不可領域と判定する。
  (ステップS208)
 次に、情報処理装置のデータ処理部は、ステップS208において、空き領域の長さ(前後の駐車車両の間隔)が、しきい値(車両駐車可能長さ)未満の空き領域に駐車不可能領域識別用表示データ(赤色枠)を表示する。
 具体例について、図28を参照して説明する。例えば図28のステップS208に示すように、空き領域の長さ(空き領域前後の駐車車両の間隔)が、しきい値(車両駐車可能長さ)未満の空き領域であると判断した空き領域ID=1の空き領域に駐車不可能領域識別用表示データ(赤色枠)を表示する。
  (ステップS209)
 次に、情報処理装置のデータ処理部は、ステップS209において、識別子(空き領域ID)を設定した空き領域の各々から、空き領域の長さ(前後の駐車車両の間隔)が、しきい値(車両駐車可能長さ)以上の空き領域を「処理対象領域」に決定する。
 具体例について、図29を参照して説明する。例えば図29のステップS209に示すように、空き領域の長さ(空き領域前後の駐車車両の間隔)が、しきい値(車両駐車可能長さ)以上の空き領域である空き領域ID=2の空き領域を「処理対象領域」に決定する。
  (ステップS210)
 次に、情報処理装置のデータ処理部は、ステップS210において、処理対象領域の空き尤度(空き可能性)算出処理を実行する。
 前述したように、空き尤度(空き可能性)とは、駐車領域が空いている可能性を示す指標値である。
 図29、図30を参照して本開示の情報処理装置のデータ処理部が実行する空き尤度(空き可能性)算出処理の具体例について説明する。
 ステップS210の空き尤度(空き可能性)算出処理は、処理対象領域に駐車車両が検出されず、さらに、空き領域の長さ(空き領域前後の駐車車両の間隔)が、しきい値(車両駐車可能長さ)以上の空き領域であると判定された空き領域について実行される処理である。
 具体的には、例えば図29に示す空き領域ID=2の空き領域について、空き尤度(空き可能性)算出処理が実行される。
 図29に示す空き領域ID=2の空き領域は、図29に示すように、車両10のカメラ11によって駐車車両が検出されない空き領域であり、空き領域の長さ(空き領域前後の駐車車両の間隔)が、しきい値(車両駐車可能長さ)以上の空き領域であると判定された空き領域である。
 この空き領域ID=2の空き領域の空き尤度(空き可能性)算出処理の具体的な算出処理について図30を参照して説明する。
 図30のステップS210aは、先に説明した(a)空き尤度(空き可能性)算出式である。
 各空き領域の空き尤度(空き可能性)は、先に説明した実施例1と同様、以下の(式1)に従って算出する。
 空き尤度(空き可能性)(%)=(1-(オクルージョン領域面積)/(駐車区分領域全面積))×100(%)・・・・(式1)
 なお、オクルージョン領域は、カメラの撮影画像では確認できない領域である。例えば前方車両の陰部分や柱などの障害物の陰になり、カメラの撮影画像中に含まれない領域である。図29に示す空き領域ID=2のグレー領域がオクルージョン領域であり、白い部分が、カメラによって撮影されている確認可能領域である。
 駐車区分領域全面積は、駐車区分の前後方向長さ(d)と横幅(w)の乗算値:d×wである。
 上記(式1)に従って、空き領域ID=2の空き尤度(空き可能性)を算出すると、
 図30のステップS210bに示すように、
 空き領域ID=2の空き尤度(空き可能性)=60%
 となる。
  (ステップS211)
 ステップS210において、処理対象領域の空き尤度(空き可能性)の算出処理が完了すると、次に、情報処理装置のデータ処理部は、ステップS211において、算出した空き尤度(空き可能性)と予め規定したしきい値(Th)とを比較し、算出空き尤度がしきい値(Th)以上か否かを判定する。
 ここでは、しきい値を50%とする。
 なお、しきい値=50%は一例であり、しきい値の値は、様々な設定が可能である。
 算出した空き尤度(空き可能性)がしきい値(Th)以上、すなわち50%以上であれば、ステップS212に進む。
 一方、算出した空き尤度(空き可能性)がしきい値(Th)未満、すなわち50%未満であれば、ステップS214に進む。
  (ステップS212~S213)
 ステップS212~S213の処理は、ステップS210で算出した処理対象領域の空き尤度(空き可能性)がしきい値(Th)以上、すなわち50%以上である場合に実行する。
 具体的には、駐車車両が確認できない空き領域(処理対象領域)の全面積中、オクルージョン領域(カメラの撮影画像では確認できない領域)以外の領域、すなわちカメラの撮影画像から確認できる領域が50%以上である場合、ステップS212~S213の処理を実行する。
 この場合、情報処理装置のデータ処理部は、ステップS212において、処理対象領域を駐車可能領域と判定する。
 さらに、ステップS213において、この処理対象領域に駐車可能領域識別用表示データ(緑色枠)を表示する。
 具体例について、図30を参照して説明する。
 図30には、図29に示す空き領域ID=2の空き領域に対する処理例を示している。
 図30のステップS211(Yes)に示すように、
 また、空き領域ID=2の空き領域の空き尤度(空き可能性)=60%は、しきい値(Th)=50%以上であるので、ステップS211の判定がYesとなる。
 すなわち、空き領域ID=2の空き領域は、空き領域の全面積(d×w)中、オクルージョン領域(カメラの撮影画像では確認できない領域)以外の領域、すなわちカメラの撮影画像から確認できる領域が60%である。
 この場合、図30の最下段のステップS212~S213に示すように、空き領域ID=2の空き領域は駐車可能領域と判定され、この空き領域ID=2の空き領域に駐車可能領域識別用表示データ(緑色枠)を表示する。
 図31は、空き領域ID=2の空き領域に駐車可能領域識別用表示データ(緑色枠)を表示した具体例を示している。
 図31に示すように、空き領域ID=2の空き領域には、駐車可能領域識別用表示データ(緑色枠)が表示される。
  (ステップS214~S215)
 ステップS214~S215の処理は、ステップS210で算出した処理対象領域の空き尤度(空き可能性)がしきい値(Th)以上、すなわち50%未満である場合に実行する。
 具体的には、駐車車両が確認できない駐車区分領域(処理対象領域)の全面積中、オクルージョン領域(カメラの撮影画像では確認できない領域)以外の領域、すなわちカメラの撮影画像から確認できる領域が50%未満である場合、ステップS214~S215の処理を実行する。
 この場合、情報処理装置のデータ処理部は、ステップS214において、処理対象領域を空き可能性あり領域と判定する。
 さらに、ステップS215において、この処理対象領域に空き可能性あり領域識別用表示データ(黄色枠)を表示する。
  (ステップS216)
 ステップS216では、すべての処理対象領域についての処理が終了したか否かを判定する。
 未処理の処理対象領域がある場合は、ステップS210に戻り、未処理の処理対象領域について、ステップS210以下の処理を実行する。
 ステップS216ですべての処理対象領域についての処理が終了したと判定した場合は処理を終了する。
 このように、本実施例2においても、本開示の情報処理装置は、図23、図24に示すフローチャートに従った処理を実行し、駐車可能領域として選択された注目領域(ROI)の各領域の各々に対して、以下の3種類の駐車可否識別グラフィックデータ(カラー枠)を表示する処理を行う。
 (1)駐車可能領域識別用表示データ(緑色枠)
 (2)駐車不可領域識別用表示データ(赤色枠)
 (3)空き可能性あり領域識別用表示データ(黄色枠)
 次に、図32を参照して、本実施例2において、駐車可否識別グラフィックデータ(カラー枠)表示処理のために必要となるパラメータの例について説明する。
 図32は、駐車可否識別グラフィックデータ(カラー枠)の表示に利用するパラメータの取得処理を実行する駐車領域解析部151の処理と、取得したパラメータを利用した駐車可否識別グラフィックデータ(カラー枠)の表示処理を実行する駐車可否識別グラフィックデータ生成部152の処理を説明する図である。
 図32に示すように、駐車領域解析部151が、駐車可否識別グラフィックデータ(カラー枠)の表示に利用するパラメータの取得処理を実行する。
 駐車領域解析部151は、先に図23、図24を参照して説明したフローチャートに従った処理を実行して、駐車可能領域として選択された注目領域(ROI)の各領域の各々が、
 (1)駐車可能領域
 (2)駐車不可領域
 (3)空き可能性あり領域
 このいずれの領域であるかを判定する。
 駐車領域解析部151は、さらに、駐車可否識別グラフィックデータ(カラー枠)の表示に利用するパラメータの取得処理を実行する。
 パラメータは、以下のデータを含むパラメータである。
 (a)空き領域ID、
 (b)駐車可否識別結果(駐車可、駐車不可、空き可能性あり)、
 (c)空き領域の中心位置座標(x,y)、
 (d)空き領域の形状(d,w)、
 (e)空き領域の傾き角度(θ)、
 これらのパラメータは、駐車領域解析部151から、駐車可否識別グラフィックデータ生成部152に出力される。
 駐車可否識別グラフィックデータ生成部152は、上記パラメータ(a)~(e)を利用して、駐車可否識別グラフィックデータ(カラー枠)を生成する。
 さらに、駐車可否識別グラフィックデータ生成部152は、表示部153に表示されている駐車可能領域として選択された注目領域(ROI)の各領域に生成した駐車可否識別グラフィックデータ(カラー枠)を重畳して表示する。
 このようにして、表示部には、各領域に以下の駐車可否識別グラフィックデータ(カラー枠)、すなわち、
 (1)駐車可能領域識別用表示データ(緑色枠)
 (2)駐車不可領域識別用表示データ(赤色枠)
 (3)空き可能性あり領域識別用表示データ(黄色枠)
 これらのいずれかが重畳された画像が表示されることになる。
 ユーザ(運転者)は、注目領域(ROI)の各領域の各々に重畳されて表示される駐車可否識別グラフィックデータ(カラー枠)の色に基づいて、各領域が駐車可能な領域であるか、駐車不可能な領域であるか、空き可能性ありの領域であるかを、即座に判別することができる。
  [5.表示データの更新処理について]
 次に、表示データの更新処理について説明する。
 上述したように、本開示の処理により、車両10の表示部12には、駐車領域の画像の各領域に以下の駐車可否識別グラフィックデータ(カラー枠)、すなわち、
 (1)駐車可能領域識別用表示データ(緑色枠)
 (2)駐車不可領域識別用表示データ(赤色枠)
 (3)空き可能性あり領域識別用表示データ(黄色枠)
 これらのいずれかが重畳して表示される。
 駐車可否識別グラフィックデータ(カラー枠)は、車両10の走行に伴って、順次、更新されることになる。
 車両10が走行すると車両10に装着されたカメラ11の撮影範囲が変化し、例えば、空き可能性あり領域識別用表示データ(黄色枠)の表示領域に駐車車両が検出される可能性がある。
 この場合、空き可能性あり領域識別用表示データ(黄色枠)の表示領域の駐車可否識別グラフィックデータ(カラー枠)は、駐車不可領域識別用表示データ(赤色枠)に切り替えられる。
 また、カメラ11の撮影範囲が変更されると、空き可能性あり領域識別用表示データ(黄色枠)の表示領域のオクルージョン領域も変わるため、空き尤度の値が変化する。
 空き尤度が変化し、空き尤度がしきい値(Th)以上になった場合は、空き可能性あり領域識別用表示データ(黄色枠)の表示領域の駐車可否識別グラフィックデータ(カラー枠)は、駐車可能領域識別用表示データ(緑色枠)に切り替えられる。
 図33に示すフローチャートを参照して、本開示の情報処理装置が実行する表示データ更新処理シーケンスについて説明する。
 図33に示すフローチャートの各ステップの処理について、順次、説明する。
 なお、図33に示すフローチャートに従った処理を開始する時点で、車両10の表示部12には、駐車領域の画像の各領域に以下の駐車可否識別グラフィックデータ(カラー枠)、すなわち、
 (1)駐車可能領域識別用表示データ(緑色枠)
 (2)駐車不可領域識別用表示データ(赤色枠)
 (3)空き可能性あり領域識別用表示データ(黄色枠)
 これらのいずれかが重畳して表示されている。
 また、車両10は走行中であり、車両10に装着されたカメラ11の撮影範囲は、随時、変更され、これに伴い、車両10に搭載された情報処理装置が入力するカメラ11の撮影画像も逐次、更新されている状態である。
  (ステップS301)
 まず、車両10に搭載された情報処理装置のデータ処理部は、ステップS301において、カメラ11の最新の撮影画像を解析して、「空き可能性あり領域識別用表示データ(黄色枠)表示領域」に駐車車両が検出されたか否かを判定する。
 「空き可能性あり領域識別用表示データ(黄色枠)表示領域」に駐車車両が検出されたと判定した場合は、ステップS302に進む。
 検出されていない場合は、ステップS303に進む。
  (ステップS302)
 ステップS301において、「空き可能性あり領域識別用表示データ(黄色枠)表示領域」に駐車車両が検出されたと判定した場合、情報処理装置のデータ処理部は、ステップS302の処理を実行する。
 この場合、情報処理装置のデータ処理部は、ステップS302において、「空き可能性あり領域識別用表示データ(黄色枠)表示領域」の駐車可否識別グラフィックデータ(カラー枠)を、駐車不可能領域識別用表示データ(赤色枠)に変更する。
  (ステップS303)
 一方、ステップS301において、「空き可能性あり領域識別用表示データ(黄色枠)表示領域」に駐車車両が検出されていない場合、情報処理装置のデータ処理部は、ステップS303の処理を実行する。
 この場合、情報処理装置のデータ処理部は、ステップS303において、「空き可能性あり領域識別用表示データ(黄色枠)表示領域」の空き尤度(空き可能性)算出処理を実行する。
 前述したように、空き尤度(空き可能性)とは、駐車区分領域が空いている可能性を示す指標値である。
 空き尤度(空き可能性)は、先に説明したように以下の(式1)に従って算出する。
 空き尤度(空き可能性)(%)=(1-(オクルージョン領域面積)/(駐車区分領域全面積))×100(%)・・・・(式1)
 なお、前述したように、オクルージョン領域は、カメラの撮影画像では確認できない領域である。このオクルージョン領域は、車両10の走行に伴うカメラ11の撮影範囲の変化に伴い、逐次、変更される。
 なお、情報処理装置のデータ処理部は、「空き可能性あり領域識別用表示データ(黄色枠)表示領域」について、空き尤度(空き可能性)算出処理を逐次、実行して、算出値のデータ更新を実行する。
  (ステップS304)
 次に、情報処理装置のデータ処理部は、ステップS304において、ステップS303で算出した「空き可能性あり領域識別用表示データ(黄色枠)表示領域」の最新の空き尤度(空き可能性)算出値が、しきい値(Th)以上になったか否かを判定する。
 ここでは、しきい値を50%とする。
 算出した最新の空き尤度(空き可能性)がしきい値(Th)以上、すなわち50%以上であれば、ステップS305に進む。
 一方、算出した最新の空き尤度(空き可能性)がしきい値(Th)未満、すなわち50%未満であれば、ステップS306に進む。
  (ステップS305)
 ステップS305の処理は、ステップS303で算出した「空き可能性あり領域識別用表示データ(黄色枠)表示領域」の最新の空き尤度(空き可能性)算出値が、しきい値(Th)以上になったと判定した場合に実行する。
 この場合、情報処理装置のデータ処理部は、ステップS305において、「空き可能性あり領域識別用表示データ(黄色枠)表示領域」の駐車可否識別グラフィックデータ(カラー枠)を、駐車可能領域識別用表示データ(緑色枠)に変更する。
  (ステップS306)
 ステップS306の処理は、ステップS303で算出した「空き可能性あり領域識別用表示データ(黄色枠)表示領域」の最新の空き尤度(空き可能性)算出値が、しきい値(Th)以上になっていないと判定した場合に実行する。
 この場合、情報処理装置のデータ処理部は、ステップS306において、「空き可能性あり領域識別用表示データ(黄色枠)表示領域」が、車両10に搭載したカメラ11の撮影範囲から外れたか否かを判定する。
 「空き可能性あり領域識別用表示データ(黄色枠)表示領域」が、車両10に搭載したカメラ11の撮影範囲から外れたと判定した場合は、この「空き可能性あり領域識別用表示データ(黄色枠)表示領域」に対する表示データ更新処理は終了する。
 一方、「空き可能性あり領域識別用表示データ(黄色枠)表示領域」が、車両10に搭載したカメラ11の撮影範囲から外れていない場合は、ステップS301に戻り、ステップS301以下の処理を繰り返す。
 このように、本開示の情報処理装置は、車両10の表示部12に表示された駐車可否識別グラフィックデータ(カラー枠)を、車両10の走行に伴って、順次、更新する処理を行う。
 すなわち、カメラ11による最新の撮影画像を解析して、駐車車両の検出や、空き尤度(空き可能性)の算出処理を、逐次、実行して、この処理結果に基づいて、表示部12に表示された駐車可否識別グラフィックデータ(カラー枠)の更新処理を実行する。
  [6.車両が自動運転車両である場合の自動運転処理について]
 次に、車両が自動運転車両である場合の自動運転処理について説明する。
 車両が自動運転車両である場合には、上述した駐車領域情報、すなわち、
 (1)駐車可能領域識別用表示データ(緑色枠)が表示された駐車可能領域
 (2)駐車不可領域識別用表示データ(赤色枠)が表示された駐車不可領域
 (3)空き可能性あり領域識別用表示データ(黄色枠)が表示された空き可能性あり領域
 これらの領域データを利用して、自動運転による自動駐車処理を行うことが可能である。
 図34~図35に示すフローチャートを参照して、本開示の情報処理装置が実行する自動運転制御処理シーケンスについて説明する。
 図34、図35に示すフローチャートの各ステップの処理について、順次、説明する。
 なお、図34~図35に示すフローチャートに従った処理を開始する時点で、車両10の表示部12には、駐車領域の画像の各領域に以下の駐車可否識別グラフィックデータ(カラー枠)、すなわち、
 (1)駐車可能領域識別用表示データ(緑色枠)
 (2)駐車不可領域識別用表示データ(赤色枠)
 (3)空き可能性あり領域識別用表示データ(黄色枠)
 これらのいずれかが重畳して表示されている。
 また、車両10は走行中であり、車両10に装着されたカメラ11の撮影範囲は、随時、変更され、これに伴い、車両10に搭載された情報処理装置が入力するカメラ11の撮影画像も逐次、更新されている状態である。
  (ステップS401)
 まず、車両10に搭載された情報処理装置のデータ処理部(自動運転制御部)は、ステップS401において、表示部に表示された駐車可否識別グラフィックデータ(カラー枠)の中から、駐車可能領域識別用表示データ(緑色枠)、または空き可能性あり領域識別用表示データ(黄色枠)の表示領域を検索する。
 なお、ここでは、説明を分かりやすくするため、表示部12の表示データを参照して処理を行う例として説明する。
 実際の処理としては、表示部の表示データを参照することなく、各領域単位の駐車可否データ、すなわち、各領域が駐車可能領域であるか、駐車不可能領域であるか、あるいは空き可能性あり領域であるか、これらの領域判別データを自動運転制御部に入力して処理を行うことが可能である。
  (ステップS402)
 次に、情報処理装置のデータ処理部(自動運転制御部)は、ステップS402において、表示部に表示された駐車可否識別グラフィックデータ(カラー枠)の中から、駐車可能領域識別用表示データ(緑色枠)の表示領域が検出されたか否かを判定する。
 表示部に表示された駐車可否識別グラフィックデータ(カラー枠)の中から、駐車可能領域識別用表示データ(緑色枠)の表示領域が検出されたと判定した場合は、ステップS403に進む。
 一方、表示部に表示された駐車可否識別グラフィックデータ(カラー枠)の中から、駐車可能領域識別用表示データ(緑色枠)の表示領域が検出されていない場合は、ステップS404に進む。
  (ステップS403)
 ステップS403の処理は、ステップS402において表示部に表示された駐車可否識別グラフィックデータ(カラー枠)の中から、駐車可能領域識別用表示データ(緑色枠)の表示領域が検出されたと判定した場合に実行する。
 この場合、情報処理装置のデータ処理部(自動運転制御部)は、ステップS403において、駐車可能領域識別用表示データ(緑色枠)の表示領域に向けて、自動走行を行い、この領域に対する自動駐車処理を実行する。
  (ステップS404)
 一方、ステップS404の処理は、ステップS402において表示部に表示された駐車可否識別グラフィックデータ(カラー枠)の中から、駐車可能領域識別用表示データ(緑色枠)の表示領域が検出されなかった場合に実行する。
 この場合、情報処理装置のデータ処理部(自動運転制御部)は、ステップS404において、表示部に表示された駐車可否識別グラフィックデータ(カラー枠)の中から、空き可能性あり領域識別用表示データ(黄色枠)の表示領域が検出されたか否かを判定する。
 表示部に表示された駐車可否識別グラフィックデータ(カラー枠)の中から、空き可能性あり領域識別用表示データ(黄色枠)の表示領域が検出されたと判定した場合は、ステップS405に進む。
 一方、表示部に表示された駐車可否識別グラフィックデータ(カラー枠)の中から、空き可能性あり領域識別用表示データ(黄色枠)の表示領域が検出されていない場合は、ステップS401に戻り、ステップS401以下の処理を繰り返す。
  (ステップS405)
 ステップS405の処理は、ステップS404において、表示部に表示された駐車可否識別グラフィックデータ(カラー枠)の中から、空き可能性あり領域識別用表示データ(黄色枠)の表示領域が検出されたと判定した場合に実行する。
 この場合、情報処理装置のデータ処理部(自動運転制御部)は、ステップS405において、表示部に表示された空き可能性あり領域識別用表示データ(黄色枠)の領域に向けて自動走行を行う。
  (ステップS411)
 次に、情報処理装置のデータ処理部(自動運転制御部)は、ステップS411おいて、走行目的地として設定している表示部に表示された空き可能性あり領域識別用表示データ(黄色枠)の領域が、駐車可能領域識別用表示データ(緑色枠)の表示に変更されたか否かを確認する。
 走行目的地として設定している表示部に表示された空き可能性あり領域識別用表示データ(黄色枠)の領域が、駐車可能領域識別用表示データ(緑色枠)の表示に変更されたことが確認された場合は、ステップS403に進む。
 この場合、情報処理装置のデータ処理部(自動運転制御部)は、ステップS403において、駐車可能領域識別用表示データ(緑色枠)の表示領域に向けて自動走行を行い、この領域に対する自動駐車処理を実行する。
 一方、走行目的地として設定している表示部に表示された空き可能性あり領域識別用表示データ(黄色枠)の領域が、駐車可能領域識別用表示データ(緑色枠)の表示に変更されていないことが確認された場合は、ステップS412に進む。
  (ステップS412)
 ステップS412の処理は、ステップS411において、走行目的地として設定している表示部に表示された空き可能性あり領域識別用表示データ(黄色枠)の領域が、駐車可能領域識別用表示データ(緑色枠)の表示に変更されていないことが確認された場合に実行する。
 この場合、情報処理装置のデータ処理部(自動運転制御部)は、ステップS412において、走行目的地として設定している表示部に表示された空き可能性あり領域識別用表示データ(黄色枠)の領域が、駐車不可能領域識別用表示データ(赤色枠)の表示に変更されたか否かを確認する。
 走行目的地として設定している表示部に表示された空き可能性あり領域識別用表示データ(黄色枠)の領域が、駐車不可能領域識別用表示データ(赤色枠)の表示に変更されたことが確認された場合は、ステップS401に進む。
 この場合、情報処理装置のデータ処理部(自動運転制御部)は、ステップS401に戻り、ステップS401以下の処理を繰り返す。
 すなわち、表示部に表示された駐車可否識別グラフィックデータ(カラー枠)の中から、駐車可能領域識別用表示データ(緑色枠)、または空き可能性あり領域識別用表示データ(黄色枠)の表示領域を検索する処理を再開し、ステップS401以下の処理を、再度実行する。
 一方、走行目的地として設定している表示部に表示された空き可能性あり領域識別用表示データ(黄色枠)の領域が、駐車不可能領域識別用表示データ(赤色枠)の表示に変更されていない場合は、ステップS405に戻り、ステップS405以下の処理を繰り返し実行する。
 すなわち、走行目的地として設定している表示部に表示された空き可能性あり領域識別用表示データ(黄色枠)の領域に向けた走行を継続しながら、ステップS405以下の処理を繰り返し、実行する。
 このように、車両10が自動運転車両である場合、駐車領域情報、すなわち、
 (1)駐車可能領域識別用表示データ(緑色枠)が表示された駐車可能領域
 (2)駐車不可領域識別用表示データ(赤色枠)が表示された駐車不可領域
 (3)空き可能性あり領域識別用表示データ(黄色枠)が表示された空き可能性あり領域
 これらの領域データを利用して、自動運転による自動駐車処理を行うことが可能となる。
  [7.本開示の情報処理装置の構成例について]
 次に本開示の情報処理装置の構成例について説明する。
 図36は、車両10に搭載される本開示の情報処理装置200の一例を示すブロック図である。
 図36に示すように情報処理装置200は、カメラ201、駐車領域解析部202、通信部203、表示制御部204、表示部205、入力部(UI)206、自動運転制御部207を有する。
 駐車領域解析部203は、領域解析部211、駐車車両検出部212、空き尤度(空き可能性)算出部213、パラメータ生成、出力部214を有する。
 表示制御部204は、駐車可否識別グラフィックデータ生成部221、駐車領域表示データ生成部222、出力表示データ生成部223を有する。
 なお、自動運転制御部207は必須構成ではなく、車両が自動運転可能な車両である場合に備えられる構成である。
 カメラ201は、例えば図2を参照して説明した車両前方方向の画像を撮影するカメラ11、あるいは図6を参照して説明した車両の前後左右を撮影するカメラ等によって構成される。
 なお、図36には示していないが、自動運転車両である場合は、カメラの他、様々なセンサが装着される。例えばカメラの他、LiDAR(Light Detection and Ranging)、ToF(Time of Flight)センサ等のセンサである。
 なお、LiDAR(Light Detection and Ranging)やToFセンサは、例えばレーザ光等の光を出力してオブジェクトによる反射光を解析して、周囲のオブジェクトの距離を計測するセンサである。
 図に示すように、カメラ201の撮影画像は、駐車領域解析部203の領域解析部211と、駐車車両検出部212、さらに自動運転制御部207に出力される。
 通信部202は、外部装置、例えば駐車場管理サーバや道路管理サーバ等の外部装置と通信を行い、これら外部装置から駐車区分領域情報を受信して、受信情報を駐車領域解析部203の領域解析部211に入力する構成としてもよい。
 駐車領域解析部203の領域解析部211は、駐車領域の解析処理を実行する。
 例えば上述した実施例1、すなわち先に図1以下を参照して説明した並列型駐車場等、白線などによって駐車区分が明確にされた駐車場の場合は、各駐車区分領域の配列などを解析する。
 また。実施例2で説明したような住設駐車可能区間等、各車両の駐車区分が明確でないような駐車可能領域では、駐車可能領域を注目領域(ROI)として設定し、その注目領域の中から、空きスペースを検出する処理などを行う。
 駐車領域解析部203の領域解析部211は、さらに、先に実施例1の処理シーケンスとして説明した図10に示すフローチャートのステップS101の処理や、実施例2の処理シーケンスとして説明した図23に示すフローチャートのステップS201の処理を実行する。
 すなわち、カメラ201の撮影画像等のセンサ検出情報、またはセンサ検出情報とAI予測データ、または、通信部202を介して外部から入力する情報に基づいて、駐車区分領域や空き領域を検出し、検出した駐車区分領域や空き領域に領域識別子(ID)を設定する処理を実行する。
 なお、AI予測データを利用した領域推定処理としては、前述したように、例えば、畳み込みニューラルネットワークであるCNN(Convolutional Neural Network)を用いた学習アルゴリズムによって生成されるAI予測器を利用するといった構成が可能である。
 領域解析部211によって領域単位の識別子(ID)が設定された領域情報は、駐車車両検出部212、パラメータ生成、出力部214に出力される。
 駐車車両検出部212は、各駐車区分領域等の各領域に駐車された駐車車両を検出する。
 領域単位の駐車車両検出情報は、空き尤度(空き可能性)算出部213と、パラメータ生成、出力部214に出力される。
 空き尤度(空き可能性)算出部213は、駐車車両の検出されていない領域について、空き尤度(空き可能性)の算出処理を行う。
 前述したように、各領域の空き尤度(空き可能性)は、以下の(式1)に従って算出される。
 空き尤度(空き可能性)(%)=(1-(オクルージョン領域面積)/(駐車区分領域全面積))×100(%)・・・・(式1)
 オクルージョン領域は、カメラの撮影画像では確認できない領域である。
 空き尤度(空き可能性)算出部213が 空き尤度(空き可能性)の値は、パラメータ生成、出力部214に出力される。
 パラメータ生成、出力部214は、駐車可否識別グラフィックデータ(カラー枠)表示処理のために必要となるパラメータを生成して、表示制御部204の駐車可否識別グラフィックデータ生成部221に出力する。
 パラメータ生成、出力部214が生成するパラメータは、先に図18~図20、図32等を参照して説明したパラメータである。すなわち、以下のデータを含むパラメータである。
 (a)駐車区分領域ID(または空き領域ID)、
 (b)駐車可否識別結果(駐車可、駐車不可、空き可能性あり)、
 (c)駐車区分領域(または空き領域)の中心位置座標(x,y)、
 (d)駐車区分領域(または空き領域)の形状(d,w)、
 (e)駐車区分領域(または空き領域)の傾き角度(θ)、
 表示制御部221の駐車可否識別グラフィックデータ生成部221は、上記パラメータ(a)~(e)を利用して、駐車可否識別グラフィックデータ(カラー枠)を生成する。
 すなわち、
 (1)駐車可能領域識別用表示データ(緑色枠)
 (2)駐車不可領域識別用表示データ(赤色枠)
 (3)空き可能性あり領域識別用表示データ(黄色枠)
 各領域単位でこれらのいずれかの駐車可否識別グラフィックデータ(カラー枠)を生成する。
 表示制御部221の駐車可否識別グラフィックデータ生成部221が生成した領域単位の駐車可否識別グラフィックデータ(カラー枠)は、出力表示データ生成部223に出力される。
 表示制御部221の駐車領域表示データ生成部222は、カメラ201の撮影画像を入力して、駐車場や、駐車可能領域などの表示データを生成する。
 例えば、図2に示す車両10の前方を撮影するカメラ11の撮影画像に基づく駐車場領域画像を生成する。
 あるいは、先に図6を参照して説明した以下の4つのカメラ、
 (a)車両10の前方を撮影する前方向カメラ11F、
 (b)車両10の後方を撮影する後方向カメラ11B、
 (c)車両10の左側を撮影する左方向カメラ11L、
 (d)車両10の右側を撮影する右方向カメラ11R、
 これらの4つのカメラの全て、あるいは複数カメラの撮影画像に基づく合成画像(鳥瞰図など)を生成する。
 表示制御部221の駐車領域表示データ生成部222が生成した駐車場や、駐車可能領域などの表示データは、出力表示データ生成部223に出力される。
 出力表示データ生成部223は、以下の各データを入力する。
 駐車可否識別グラフィックデータ生成部221が生成した領域単位の駐車可否識別グラフィックデータ(カラー枠)
 駐車領域表示データ生成部222が生成した駐車場や、駐車可能領域などの表示データ
 出力表示データ生成部223は、これらの2つのデータを入力し、これらのデータを重畳した表示データを生成して表示部205に出力する。。
 表示部205には、各駐車区分領域や駐車可能領域の各領域に以下の駐車可否識別グラフィックデータ(カラー枠)、すなわち、
 (1)駐車可能領域識別用表示データ(緑色枠)
 (2)駐車不可領域識別用表示データ(赤色枠)
 (3)空き可能性あり領域識別用表示データ(黄色枠)
 これらのいずれかが重畳された画像が表示される。
 ユーザ(運転者)は、注目領域(ROI)の各領域の各々に重畳されて表示される駐車可否識別グラフィックデータ(カラー枠)の色に基づいて、各領域が駐車可能な領域であるか、駐車不可能な領域であるか、空き可能性ありの領域であるかを、即座に判別することができる。
 入力部(UI)206は、例えばユーザである運転者による、駐車可能スペース探索処理の開始指示の入力処理や、目的駐車位置の選択情報の入力処理等に利用するUIである。入力部(UI)206は、表示部205上に構成されるタッチパネルを利用した構成としてもよい。
 入力部(UI)206の入力情報は、駐車領域解析部203、および自動運転制御部207に入力される。
 自動運転制御部207は、例えば入力部(UI)206から入力される駐車要求等に応じて自動運転処理や自動駐車処理を実行する。
 自動運転制御部207による自動運転、自動駐車処理は、先に図34、図35に示すフローチャートに従った処理として実行される。
  [8.本開示の情報処理装置のハードウェア構成例について]
 次に、図37を参照して、本開示の情報処理装置のハードウェア構成例について説明する。
 なお、情報処理装置は車両10内に装着される。図37に示すハードウェア構成は、車両10内の情報処理装置のハードウェア構成例である。
 図37に示すハードウェア構成について説明する。
 CPU(Central Processing Unit)301は、ROM(Read Only Memory)302、または記憶部308に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)303には、CPU301が実行するプログラムやデータなどが記憶される。これらのCPU301、ROM302、およびRAM303は、バス304により相互に接続されている。
 CPU301はバス304を介して入出力インタフェース305に接続され、入出力インタフェース305には、各種スイッチ、タッチパネル、マイクロホン、さらに、ユーザ入力部やカメラ、LiDAR等各種センサ321の状況データ取得部などよりなる入力部306、ディスプレイ、スピーカなどよりなる出力部307が接続されている。
 また、出力部307は、車両の駆動部322に対する駆動情報も出力する。
 CPU301は、入力部306から入力される指令や状況データ等を入力し、各種の処理を実行し、処理結果を例えば出力部307に出力する。
 入出力インタフェース305に接続されている記憶部308は、例えばハードディスク等からなり、CPU301が実行するプログラムや各種のデータを記憶する。通信部309は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
 また、CPUの他、カメラから入力される画像情報などの専用処理部としてGPU(Graphics Processing Unit)を備えてもよい。
 入出力インタフェース305に接続されているドライブ310は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア311を駆動し、データの記録あるいは読み取りを実行する。
  [9.車両の構成例について]
 次に、本開示の情報処理装置を搭載した車両の構成例について説明する。
 図38は、本開示の情報処理装置を搭載した車両500(=車両10)の車両制御システム511の構成例を示すブロック図である。
 車両制御システム511は、車両500に設けられ、車両500の走行支援および自動運転に関わる処理を行う。
 車両制御システム511は、車両制御ECU(Electronic Control Unit)521、通信部522、地図情報蓄積部523、GNSS(Gloval Navigation Satellite System)受信部524、外部認識センサ525、車内センサ526、車両センサ527、記録部528、走行支援・自動運転制御部529、DMS(Driver Monitoring System)530、HMI(Human Machine Interface)531、および、車両制御部532を備える。
 車両制御ECU(Electronic Control Unit)521、通信部522、地図情報蓄積部523、GNSS受信部524、外部認識センサ525、車内センサ526、車両センサ527、記録部528、走行支援・自動運転制御部529、ドライバモニタリングシステム(DMS)530、ヒューマンマシーンインタフェース(HMI)531、および、車両制御部532は、通信ネットワーク41を介して相互に通信可能に接続されている。通信ネットワーク241は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)、FlexRay(登録商標)、イーサネット(登録商標)といったディジタル双方向通信の規格に準拠した車載通信ネットワークやバス等により構成される。通信ネットワーク241は、通信されるデータの種類によって使い分けられても良く、例えば、車両制御に関するデータであればCANが適用され、大容量データであればイーサネットが適用される。なお、車両制御システム511の各部は、通信ネットワーク241を介さずに、例えば近距離無線通信(NFC(Near Field Communication))やBluetooth(登録商標)といった比較的近距離での通信を想定した無線通信を用いて直接的に接続される場合もある。
 なお、以下、車両制御システム511の各部が、通信ネットワーク241を介して通信を行う場合、通信ネットワーク241の記載を省略するものとする。例えば、車両制御ECU(Electronic Control Unit)521と通信部522が通信ネットワーク241を介して通信を行う場合、単にプロセッサと通信部522とが通信を行うと記載する。
 車両制御ECU(Electronic Control Unit)521は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)といった各種プロセッサにより構成される。車両制御ECU(Electronic Control Unit)521は、車両制御システム511全体もしくは一部の機能の制御を行う。
 通信部522は、車内および車外の様々な機器、他の車両、サーバ、基地局等と通信を行い、各種のデータの送受信を行う。このとき、通信部522は、複数の通信方式を用いて通信を行うことができる。
 通信部522が実行可能な車外との通信について、概略的に説明する。通信部522は、例えば、5G(第5世代移動通信システム)、LTE(Long Term Evolution)、DSRC(Dedicated Short Range Communications)等の無線通信方式により、基地局又はアクセスポイントを介して、外部ネットワーク上に存在するサーバ(以下、外部のサーバと呼ぶ)等と通信を行う。通信部522が通信を行う外部ネットワークは、例えば、インターネット、クラウドネットワーク、又は、事業者固有のネットワーク等である。通信部522による外部ネットワークに対して通信を行う通信方式は、所定以上の通信速度、且つ、所定以上の距離間でディジタル双方向通信が可能な無線通信方式であれば、特に限定されない。
 また例えば、通信部522は、P2P(Peer To Peer)技術を用いて、自車の近傍に存在する端末と通信を行うことができる。自車の近傍に存在する端末は、例えば、歩行者や自転車など比較的低速で移動する移動体が装着する端末、店舗などに位置が固定されて設置される端末、あるいは、MTC(Machine Type Communication)端末である。さらに、通信部522は、V2X通信を行うこともできる。V2X通信とは、例えば、他の車両との間の車車間(Vehicle to Vehicle)通信、路側器等との間の路車間(Vehicle to Infrastructure)通信、家との間(Vehicle to Home)の通信、および、歩行者が所持する端末等との間の歩車間(Vehicle to Pedestrian)通信等の、自車と他との通信をいう。
 通信部522は、例えば、車両制御システム511の動作を制御するソフトウェアを更新するためのプログラムを外部から受信することができる(Over The Air)。通信部522は、さらに、地図情報、交通情報、車両500の周囲の情報等を外部から受信することができる。また例えば、通信部522は、車両500に関する情報や、車両500の周囲の情報等を外部に送信することができる。通信部522が外部に送信する車両500に関する情報としては、例えば、車両500の状態を示すデータ、認識部573による認識結果等がある。さらに例えば、通信部522は、eコール等の車両緊急通報システムに対応した通信を行う。
 通信部522が実行可能な車内との通信について、概略的に説明する。通信部522は、例えば無線通信を用いて、車内の各機器と通信を行うことができる。通信部522は、例えば、無線LAN、Bluetooth、NFC、WUSB(Wireless USB)といった、無線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の機器と無線通信を行うことができる。これに限らず、通信部522は、有線通信を用いて車内の各機器と通信を行うこともできる。例えば、通信部522は、図示しない接続端子に接続されるケーブルを介した有線通信により、車内の各機器と通信を行うことができる。通信部522は、例えば、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、MHL(Mobile High-definition Link)といった、有線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の各機器と通信を行うことができる。
 ここで、車内の機器とは、例えば、車内において通信ネットワーク241に接続されていない機器を指す。車内の機器としては、例えば、運転者等の搭乗者が所持するモバイル機器やウェアラブル機器、車内に持ち込まれ一時的に設置される情報機器等が想定される。
 例えば、通信部522は、電波ビーコン、光ビーコン、FM多重放送等の道路交通情報通信システム(VICS(登録商標)(Vehicle Information and Communication System))により送信される電磁波を受信する。
 地図情報蓄積部523は、外部から取得した地図および車両500で作成した地図の一方または両方を蓄積する。例えば、地図情報蓄積部523は、3次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ等を蓄積する。
 高精度地図は、例えば、ダイナミックマップ、ポイントクラウドマップ、ベクターマップなどである。ダイナミックマップは、例えば、動的情報、準動的情報、準静的情報、静的情報の4層からなる地図であり、外部のサーバ等から車両500に提供される。ポイントクラウドマップは、ポイントクラウド(点群データ)により構成される地図である。ここで、ベクターマップは、車線や信号の位置といった交通情報などをポイントクラウドマップに対応付けた、ADAS(Advanced Driver Assistance System)に適合させた地図を指すものとする。
 ポイントクラウドマップおよびベクターマップは、例えば、外部のサーバ等から提供されてもよいし、レーダ552、LiDAR553等によるセンシング結果に基づいて、後述するローカルマップとのマッチングを行うための地図として車両500で作成され、地図情報蓄積部523に蓄積されてもよい。また、外部のサーバ等から高精度地図が提供される場合、通信容量を削減するため、車両500がこれから走行する計画経路に関する、例えば数百メートル四方の地図データが外部のサーバ等から取得される。
 GNSS受信部524は、GNSS衛星からGNSS信号を受信し、車両500の位置情報を取得する。受信したGNSS信号は、走行支援・自動運転制御部529に供給される。なお、GNSS受信部524は、GNSS信号を用いた方式に限定されず、例えば、ビーコンを用いて位置情報を取得してもよい。
 外部認識センサ525は、車両500の外部の状況の認識に用いられる各種のセンサを備え、各センサからのセンサデータを車両制御システム511の各部に供給する。外部認識センサ525が備えるセンサの種類や数は任意である。
 例えば、外部認識センサ525は、カメラ551、レーダ552、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)553、および、超音波センサ554を備える。これに限らず、外部認識センサ525は、カメラ551、レーダ552、LiDAR553、および、超音波センサ554のうち1種類以上のセンサを備える構成でもよい。カメラ551、レーダ552、LiDAR553、および、超音波センサ554の数は、現実的に車両500に設置可能な数であれば特に限定されない。また、外部認識センサ525が備えるセンサの種類は、この例に限定されず、外部認識センサ525は、他の種類のセンサを備えてもよい。外部認識センサ525が備える各センサのセンシング領域の例は、後述する。
 なお、カメラ551の撮影方式は、測距が可能な撮影方式であれば特に限定されない。例えば、カメラ551は、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった各種の撮影方式のカメラを、必要に応じて適用することができる。これに限らず、カメラ551は、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。
 また、例えば、外部認識センサ525は、車両500に対する環境を検出するための環境センサを備えることができる。環境センサは、天候、気象、明るさ等の環境を検出するためのセンサであって、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ、照度センサ等の各種センサを含むことができる。
 さらに、例えば、外部認識センサ525は、車両500の周囲の音や音源の位置の検出等に用いられるマイクロホンを備える。
 車内センサ526は、車内の情報を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム511の各部に供給する。車内センサ526が備える各種センサの種類や数は、現実的に車両500に設置可能な数であれば特に限定されない。
 例えば、車内センサ526は、カメラ、レーダ、着座センサ、ステアリングホイールセンサ、マイクロホン、生体センサのうち1種類以上のセンサを備えることができる。車内センサ526が備えるカメラとしては、例えば、ToFカメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった、測距可能な各種の撮影方式のカメラを用いることができる。これに限らず、車内センサ526が備えるカメラは、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。車内センサ526が備える生体センサは、例えば、シートやステリングホイール等に設けられ、運転者等の搭乗者の各種の生体情報を検出する。
 車両センサ527は、車両500の状態を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム511の各部に供給する。車両センサ527が備える各種センサの種類や数は、現実的に車両500に設置可能な数であれば特に限定されない。
 例えば、車両センサ527は、速度センサ、加速度センサ、角速度センサ(ジャイロセンサ)、および、それらを統合した慣性計測装置(IMU(Inertial Measurement Unit))を備える。例えば、車両センサ527は、ステアリングホイールの操舵角を検出する操舵角センサ、ヨーレートセンサ、アクセルペダルの操作量を検出するアクセルセンサ、および、ブレーキペダルの操作量を検出するブレーキセンサを備える。例えば、車両センサ527は、エンジンやモータの回転数を検出する回転センサ、タイヤの空気圧を検出する空気圧センサ、タイヤのスリップ率を検出するスリップ率センサ、および、車輪の回転速度を検出する車輪速センサを備える。例えば、車両センサ527は、バッテリの残量および温度を検出するバッテリセンサ、および、外部からの衝撃を検出する衝撃センサを備える。
 記録部528は、不揮発性の記憶媒体および揮発性の記憶媒体のうち少なくとも一方を含み、データやプログラムを記憶する。記録部528は、例えばEEPROM(Electrically Erasable Programmable Read Only Memory)およびRAM(Random Access Memory)として用いられ、記憶媒体としては、HDD(Hard Disc Drive)といった磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、および、光磁気記憶デバイスを適用することができる。記録部528は、車両制御システム511の各部が用いる各種プログラムやデータを記録する。例えば、記録部528は、EDR(Event Data Recorder)やDSSAD(Data Storage System for Automated Driving)を備え、事故等のイベントの前後の車両500の情報や車内センサ526によって取得された生体情報を記録する。
 走行支援・自動運転制御部529は、車両500の走行支援および自動運転の制御を行う。例えば、走行支援・自動運転制御部529は、分析部561、行動計画部562、および、動作制御部563を備える。
 分析部561は、車両500および周囲の状況の分析処理を行う。分析部561は、自己位置推定部571、センサフュージョン部572、および、認識部573を備える。
 自己位置推定部571は、外部認識センサ525からのセンサデータ、および、地図情報蓄積部523に蓄積されている高精度地図に基づいて、車両500の自己位置を推定する。例えば、自己位置推定部571は、外部認識センサ525からのセンサデータに基づいてローカルマップを生成し、ローカルマップと高精度地図とのマッチングを行うことにより、車両500の自己位置を推定する。車両500の位置は、例えば、後輪対車軸の中心が基準とされる。
 ローカルマップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いて作成される3次元の高精度地図、占有格子地図(Occupancy Grid Map)等である。3次元の高精度地図は、例えば、上述したポイントクラウドマップ等である。占有格子地図は、車両500の周囲の3次元又は2次元の空間を所定の大きさのグリッド(格子)に分割し、グリッド単位で物体の占有状態を示す地図である。物体の占有状態は、例えば、物体の有無や存在確率により示される。ローカルマップは、例えば、認識部573による車両500の外部の状況の検出処理および認識処理にも用いられる。
 なお、自己位置推定部571は、GNSS信号、および、車両センサ527からのセンサデータに基づいて、車両500の自己位置を推定してもよい。
 センサフュージョン部572は、複数の異なる種類のセンサデータ(例えば、カメラ551から供給される画像データ、および、レーダ552から供給されるセンサデータ)を組み合わせて、新たな情報を得るセンサフュージョン処理を行う。異なる種類のセンサデータを組合せる方法としては、統合、融合、連合等がある。
 認識部573は、車両500の外部の状況の検出を行う検出処理と、車両500の外部の状況の認識を行う認識処理と、を実行する。
 例えば、認識部573は、外部認識センサ525からの情報、自己位置推定部571からの情報、センサフュージョン部572からの情報等に基づいて、車両500の外部の状況の検出処理および認識処理を行う。
 具体的には、例えば、認識部573は、車両500の周囲の物体の検出処理および認識処理等を行う。物体の検出処理とは、例えば、物体の有無、大きさ、形、位置、動き等を検出する処理である。物体の認識処理とは、例えば、物体の種類等の属性を認識したり、特定の物体を識別したりする処理である。ただし、検出処理と認識処理とは、必ずしも明確に分かれるものではなく、重複する場合がある。
 例えば、認識部573は、LiDAR553又はレーダ552等によるセンサデータに基づくポイントクラウドを点群の塊毎に分類するクラスタリングを行うことにより、車両500の周囲の物体を検出する。これにより、車両500の周囲の物体の有無、大きさ、形状、位置が検出される。
 例えば、認識部573は、クラスタリングにより分類された点群の塊の動きを追従するトラッキングを行うことにより、車両500の周囲の物体の動きを検出する。これにより、車両500の周囲の物体の速度および進行方向(移動ベクトル)が検出される。
 例えば、認識部573は、カメラ551から供給される画像データに対して、車両、人、自転車、障害物、構造物、道路、信号機、交通標識、道路標示などを検出または認識する。また、セマンティックセグメンテーション等の認識処理を行うことにより、車両500の周囲の物体の種類を認識してもいい。
 例えば、認識部573は、地図情報蓄積部523に蓄積されている地図、自己位置推定部571による自己位置の推定結果、および、認識部573による車両500の周囲の物体の認識結果に基づいて、車両500の周囲の交通ルールの認識処理を行うことができる。認識部573は、この処理により、信号の位置および状態、交通標識および道路標示の内容、交通規制の内容、並びに、走行可能な車線などを認識することができる。
 例えば、認識部573は、車両500の周囲の環境の認識処理を行うことができる。認識部573が認識対象とする周囲の環境としては、天候、気温、湿度、明るさ、および、路面の状態等が想定される。
 行動計画部562は、車両500の行動計画を作成する。例えば、行動計画部562は、経路計画、経路追従の処理を行うことにより、行動計画を作成する。
 なお、経路計画(Global path planning)とは、スタートからゴールまでの大まかな経路を計画する処理である。この経路計画には、軌道計画と言われ、経路計画で計画された経路において、車両500の運動特性を考慮して、車両500の近傍で安全かつ滑らかに進行することが可能な軌道生成(Local path planning)の処理も含まれる。経路計画を長期経路計画、および起動生成を短期経路計画、または局所経路計画と区別してもよい。安全優先経路は、起動生成、短期経路計画、または局所経路計画と同様の概念を表す。
 経路追従とは、経路計画により計画した経路を計画された時間内で安全かつ正確に走行するための動作を計画する処理である。行動計画部562は、例えば、この経路追従の処理の結果に基づき、車両500の目標速度と目標角速度を計算することができる。
 動作制御部563は、行動計画部562により作成された行動計画を実現するために、車両500の動作を制御する。
 例えば、動作制御部563は、後述する車両制御部532に含まれる、ステアリング制御部581、ブレーキ制御部582、および、駆動制御部583を制御して、軌道計画により計算された軌道を車両500が進行するように、加減速制御および方向制御を行う。例えば、動作制御部563は、衝突回避あるいは衝撃緩和、追従走行、車速維持走行、自車の衝突警告、自車のレーン逸脱警告等のADASの機能実現を目的とした協調制御を行う。例えば、動作制御部563は、運転者の操作によらずに自律的に走行する自動運転等を目的とした協調制御を行う。
 DMS530は、車内センサ526からのセンサデータ、および、後述するHMI531に入力される入力データ等に基づいて、運転者の認証処理、および、運転者の状態の認識処理等を行う。この場合にDMS530の認識対象となる運転者の状態としては、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度、運転操作、姿勢等が想定される。
 なお、DMS530が、運転者以外の搭乗者の認証処理、および、当該搭乗者の状態の認識処理を行うようにしてもよい。また、例えば、DMS530が、車内センサ526からのセンサデータに基づいて、車内の状況の認識処理を行うようにしてもよい。認識対象となる車内の状況としては、例えば、気温、湿度、明るさ、臭い等が想定される。
 HMI531は、各種のデータや指示等の入力と、各種のデータの運転者などへの提示を行う。
 HMI531によるデータの入力について、概略的に説明する。HMI531は、人がデータを入力するための入力デバイスを備える。HMI531は、入力デバイスにより入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム511の各部に供給する。HMI531は、入力デバイスとして、例えばタッチパネル、ボタン、スイッチ、および、レバーといった操作子を備える。これに限らず、HMI531は、音声やジェスチャ等により手動操作以外の方法で情報を入力可能な入力デバイスをさらに備えてもよい。さらに、HMI531は、例えば、赤外線あるいは電波を利用したリモートコントロール装置や、車両制御システム511の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器を入力デバイスとして用いてもよい。
 HMI531によるデータの提示について、概略的に説明する。HMI531は、搭乗者又は車外に対する視覚情報、聴覚情報、および、触覚情報の生成を行う。また、HMI531は、生成されたこれら各情報の出力、出力内容、出力タイミングおよび出力方法等を制御する出力制御を行う。HMI531は、視覚情報として、例えば、操作画面、車両500の状態表示、警告表示、車両500の周囲の状況を示すモニタ画像等の画像や光により示される情報を生成および出力する。また、HMI531は、聴覚情報として、例えば、音声ガイダンス、警告音、警告メッセージ等の音により示される情報を生成および出力する。さらに、HMI531は、触覚情報として、例えば、力、振動、動き等により搭乗者の触覚に与えられる情報を生成および出力する。
 HMI531が視覚情報を出力する出力デバイスとしては、例えば、自身が画像を表示することで視覚情報を提示する表示装置や、画像を投影することで視覚情報を提示するプロジェクタ装置を適用することができる。なお、表示装置は、通常のディスプレイを有する表示装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、AR(Augmented Reality)機能を備えるウエアラブルデバイスといった、搭乗者の視界内に視覚情報を表示する装置であってもよい。また、HMI531は、車両500に設けられるナビゲーション装置、インストルメントパネル、CMS(Camera Monitoring System)、電子ミラー、ランプなどが有する表示デバイスを、視覚情報を出力する出力デバイスとして用いることも可能である。
 HMI531が聴覚情報を出力する出力デバイスとしては、例えば、オーディオスピーカ、ヘッドホン、イヤホンを適用することができる。
 HMI531が触覚情報を出力する出力デバイスとしては、例えば、ハプティクス技術を用いたハプティクス素子を適用することができる。ハプティクス素子は、例えば、ステアリングホイール、シートといった、車両500の搭乗者が接触する部分に設けられる。
 車両制御部532は、車両500の各部の制御を行う。車両制御部532は、ステアリング制御部581、ブレーキ制御部582、駆動制御部583、ボディ系制御部584、ライト制御部585、および、ホーン制御部586を備える。
 ステアリング制御部581は、車両500のステアリングシステムの状態の検出および制御等を行う。ステアリングシステムは、例えば、ステアリングホイール等を備えるステアリング機構、電動パワーステアリング等を備える。ステアリング制御部581は、例えば、ステアリングシステムの制御を行うECU等の制御ユニット、ステアリングシステムの駆動を行うアクチュエータ等を備える。
 ブレーキ制御部582は、車両500のブレーキシステムの状態の検出および制御等を行う。ブレーキシステムは、例えば、ブレーキペダル等を含むブレーキ機構、ABS(Antilock Brake System)、回生ブレーキ機構等を備える。ブレーキ制御部582は、例えば、ブレーキシステムの制御を行うECU等の制御ユニット等を備える。
 駆動制御部583は、車両500の駆動システムの状態の検出および制御等を行う。駆動システムは、例えば、アクセルペダル、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構等を備える。駆動制御部583は、例えば、駆動システムの制御を行うECU等の制御ユニット等を備える。
 ボディ系制御部584は、車両500のボディ系システムの状態の検出および制御等を行う。ボディ系システムは、例えば、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、空調装置、エアバッグ、シートベルト、シフトレバー等を備える。ボディ系制御部584は、例えば、ボディ系システムの制御を行うECU等の制御ユニット等を備える。
 ライト制御部585は、車両500の各種のライトの状態の検出および制御等を行う。制御対象となるライトとしては、例えば、ヘッドライト、バックライト、フォグライト、ターンシグナル、ブレーキライト、プロジェクション、バンパーの表示等が想定される。ライト制御部585は、ライトの制御を行うECU等の制御ユニット等を備える。
 ホーン制御部586は、車両500のカーホーンの状態の検出および制御等を行う。ホーン制御部586は、例えば、カーホーンの制御を行うECU等の制御ユニット等を備える。
 図39は、図38の外部認識センサ525のカメラ551、レーダ552、LiDAR553、および、超音波センサ554等によるセンシング領域の例を示す図である。なお、図39において、車両500を上面から見た様子が模式的に示され、左端側が車両500の前端(フロント)側であり、右端側が車両500の後端(リア)側となっている。
 センシング領域591Fおよびセンシング領域591Bは、超音波センサ554のセンシング領域の例を示している。センシング領域591Fは、複数の超音波センサ554によって車両500の前端周辺をカバーしている。センシング領域591Bは、複数の超音波センサ554によって車両500の後端周辺をカバーしている。
 センシング領域591Fおよびセンシング領域591Bにおけるセンシング結果は、例えば、車両500の駐車支援等に用いられる。
 センシング領域592F乃至センシング領域592Bは、短距離又は中距離用のレーダ552のセンシング領域の例を示している。センシング領域592Fは、車両500の前方において、センシング領域591Fより遠い位置までカバーしている。センシング領域592Bは、車両500の後方において、センシング領域591Bより遠い位置までカバーしている。センシング領域592Lは、車両500の左側面の後方の周辺をカバーしている。センシング領域592Rは、車両500の右側面の後方の周辺をカバーしている。
 センシング領域592Fにおけるセンシング結果は、例えば、車両500の前方に存在する車両や歩行者等の検出等に用いられる。センシング領域592Bにおけるセンシング結果は、例えば、車両500の後方の衝突防止機能等に用いられる。センシング領域592Lおよびセンシング領域592Rにおけるセンシング結果は、例えば、車両500の側方の死角における物体の検出等に用いられる。
 センシング領域593F乃至センシング領域593Bは、カメラ551によるセンシング領域の例を示している。センシング領域593Fは、車両500の前方において、センシング領域592Fより遠い位置までカバーしている。センシング領域593Bは、車両500の後方において、センシング領域592Bより遠い位置までカバーしている。センシング領域593Lは、車両500の左側面の周辺をカバーしている。センシング領域593Rは、車両500の右側面の周辺をカバーしている。
 センシング領域593Fにおけるセンシング結果は、例えば、信号機や交通標識の認識、車線逸脱防止支援システム、自動ヘッドライト制御システムに用いることができる。センシング領域593Bにおけるセンシング結果は、例えば、駐車支援、および、サラウンドビューシステムに用いることができる。センシング領域593Lおよびセンシング領域593Rにおけるセンシング結果は、例えば、サラウンドビューシステムに用いることができる。
 センシング領域594は、LiDAR553のセンシング領域の例を示している。センシング領域594は、車両500の前方において、センシング領域593Fより遠い位置までカバーしている。一方、センシング領域594は、センシング領域593Fより左右方向の範囲が狭くなっている。
 センシング領域594におけるセンシング結果は、例えば、周辺車両等の物体検出に用いられる。
 センシング領域595は、長距離用のレーダ552のセンシング領域の例を示している。
センシング領域595は、車両500の前方において、センシング領域594より遠い位置までカバーしている。一方、センシング領域595は、センシング領域594より左右方向の範囲が狭くなっている。
 センシング領域595におけるセンシング結果は、例えば、ACC(Adaptive Cruise Control)、緊急ブレーキ、衝突回避等に用いられる。
 なお、外部認識センサ525が含むカメラ551、レーダ552、LiDAR553、および、超音波センサ554の各センサのセンシング領域は、図39以外に各種の構成をとってもよい。具体的には、超音波センサ554が車両500の側方もセンシングするようにしてもよいし、LiDAR553が車両500の後方をセンシングするようにしてもよい。また、各センサの設置位置は、上述した各例に限定されない。また、各センサの数は、1つでもよいし、複数であってもよい。
  [10.本開示の構成のまとめ]
 以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
 なお、本明細書において開示した技術は、以下のような構成をとることができる。
 (1) 車両に装着したカメラの撮影画像を解析して、車両が駐車可能か否かを区分領域単位で解析する駐車領域解析部と、
 前記駐車領域解析部の解析結果に基づいて、区分領域単位の駐車可否識別グラフィックデータを生成し、前記カメラの撮影画像、または撮影画像に基づいて生成した合成画像上に重畳して表示する表示制御部を有し、
 前記駐車領域解析部は、
 前記カメラの撮影画像から駐車車両が検出されない区分領域について、前記カメラの撮影画像から確認できないオクルージョン領域の区分領域全面積に対する比率を算出し、
 算出比率の値に応じて区分領域が、駐車可能領域、または空き可能性あり領域のいずれの領域であるかを判定する判定処理を実行し、
 前記表示制御部は、
 前記判定処理の結果に応じて、駐車可能領域と空き可能性あり領域とで異なるグラフィックデータを重畳して表示する情報処理装置。
 (2) 前記表示制御部は、
 前記区分領域単位の駐車可否識別グラフィックデータとして、
 (a)駐車可能領域識別用表示データ、
 (b)駐車不可領域識別用表示データ、
 (c)空き可能性あり領域識別用表示データ、
 上記(a)~(c)の駐車可否識別グラフィックデータを生成し、駐車領域画像の各区分領域各々に上記(a)~(c)のいずれかの駐車可否識別グラフィックデータを重畳して表示する(1)に記載の情報処理装置。
 (3) 前記駐車領域解析部は、
 前記カメラの撮影画像から駐車車両が検出された区分領域を駐車不可領域と判定し、
 前記カメラの撮影画像から駐車車両が検出されない区分領域については、
 前記オクルージョン領域の区分領域全面積に対する比率に基づいて、区分領域の空き可能性を示す空き尤度を算出し、
 算出した空き尤度が、規定しきい値以上であれば、駐車可能領域と判定し、
 算出した空き尤度が、規定しきい値未満であれば、空き可能性あり領域と判定し、
 前記表示制御部は、
 前記駐車領域解析部による各区分領域単位の判定結果に従って、各区分領域各々に上記(a)~(c)のいずれかの駐車可否識別グラフィックデータを重畳して表示する(1)または(2)に記載の情報処理装置。
 (4) 前記駐車領域解析部は、
 前記カメラの撮影画像から駐車車両が検出されない区分領域の空き可能性を示す空き尤度を、
 空き尤度(空き可能性)(%)=(1-(オクルージョン領域面積)/(区分領域全面積))×100(%)・・・・(式1)
 ただし、オクルージョン領域は、前記カメラの撮影画像から確認できない領域、
 上記(式1)に従って算出する(3)に記載の情報処理装置。
 (5) 前記表示制御部は、
 前記区分領域単位の駐車可否識別グラフィックデータとして、
 (a)駐車可能領域識別用表示データ、
 (b)駐車不可領域識別用表示データ、
 (c)空き可能性あり領域識別用表示データ、
 上記(a)~(c)の駐車可否識別グラフィックデータを、各々異なる色のグラフィックデータとして生成する(1)~(4)いずれかに記載の情報処理装置。
 (6) 前記表示制御部は、
 前記区分領域単位の駐車可否識別グラフィックデータとして、
 区分領域の外形を示す枠型のグラフィックデータを生成する(1)~(5)いずれかに記載の情報処理装置。
 (7) 前記駐車領域解析部は、
 前記カメラの撮影画像から、駐車許容領域内に明示された駐車区分領域を検出し、
 検出した駐車区分領域単位で、車両が駐車可能か否かを解析する(1)~(6)いずれかに記載の情報処理装置。
 (8) 前記駐車領域解析部は、
 前記カメラの撮影画像から駐車許容領域を検出し、
 検出した駐車許容領域から駐車車両を検出し、
 検出した駐車車両の駐車領域と、空きスペースを区分して区分領域を設定し、
 設定した区分領域単位で、車両が駐車可能か否かを解析する(1)~(7)いずれかに記載の情報処理装置。
 (9) 前記駐車領域解析部は、
 道路サイドの縦列駐車領域を駐車許容領域として検出する(8)に記載の情報処理装置。
 (10) 前記駐車領域解析部は、
 車両が駐車可能か否かを解析する単位となる区分領域を、AI予測データを利用して推定する(1)~(9)いずれかに記載の情報処理装置。
 (11) 前記AI予測データは、CNN(Convolutional Neural Network)を用いた学習アルゴリズムによって生成されるAI予測器を利用して生成されるデータである(10)に記載の情報処理装置。
 (12) 前記駐車領域解析部は、
 車両が駐車可能か否かを解析する単位となる区分領域を、外部装置からの受信情報を利用して決定する(1)~(11)いずれかに記載の情報処理装置。
 (13) 前記表示制御部は、
 前記カメラの撮影画像に基づいて、駐車領域を上部から観察した鳥瞰図からなる駐車領域画像を生成し、生成した鳥瞰図からなる駐車領域画像の各区分領域各々に駐車可否識別グラフィックデータを重畳して表示する(1)~(12)いずれかに記載の情報処理装置。
 (14) 前記駐車領域解析部は、
 前記車両の走行に伴い変化する前記カメラの撮影画像を順次、入力し、最新の入力画像に基づいて、車両が駐車可能か否かを区分領域単位で解析する処理を繰り返し実行して、解析データを順次、更新し、
 前記表示制御部は、
 前記駐車領域解析部の最新の解析結果に基づいて、前記区分領域単位の駐車可否識別グラフィックデータを、順次、更新する処理を実行する(1)~(13)いずれかに記載の情報処理装置。
 (15) 前記駐車領域解析部は、
 空き可能性あり領域と判定した区分領域について、
 前記カメラの最新の撮影画像から駐車車両が検出された場合、
 前記区分領域を駐車不可領域に変更する(14)に記載の情報処理装置。
 (16) 前記駐車領域解析部は、
 空き可能性あり領域と判定した区分領域について、
 前記カメラの最新の撮影画像に基づいて算出した空き尤度が、規定しきい値以上となった場合、
 前記区分領域を駐車可能領域に変更する(14)または(15)に記載の情報処理装置。
 (17) 前記情報処理装置は、
 自動運転制御部を有し、
 前記自動運転制御部は、
 前記駐車領域解析部が駐車可能領域と判定した領域に駐車を行うように自動運転を実行する(1)~(16)いずれかに記載の情報処理装置。
 (18) 前記自動運転制御部は、
 前記駐車領域解析部が駐車可能領域と判定した領域がない場合、
 空き可能性あり領域に向けて走行し、空き可能性あり領域が、駐車可能領域に変更された場合、該駐車可能領域に駐車を行うように自動運転を実行する(17)に記載の情報処理装置。
 (19) 情報処理装置において実行する情報処理方法であり、
 駐車領域解析部が、
 車両に装着したカメラの撮影画像を解析して、車両が駐車可能か否かを区分領域単位で解析する駐車領域解析ステップと、
 表示制御部が、
 前記駐車領域解析部の解析結果に基づいて、区分領域単位の駐車可否識別グラフィックデータを生成し、前記カメラの撮影画像、または該撮影画像に基づいて生成した合成画像上に重畳して表示する表示制御ステップを実行し、
 前記駐車領域解析部は、前記駐車領域解析ステップにおいて、
 前記カメラの撮影画像から駐車車両が検出されない区分領域について、前記カメラの撮影画像から確認できないオクルージョン領域の区分領域全面積に対する比率を算出し、
 算出比率の値に応じて区分領域が、駐車可能領域、または空き可能性あり領域のいずれの領域であるかを判定する判定処理を実行し、
 前記表示制御部は、前記表示制御ステップにおいて、
 前記判定処理の結果に応じて、駐車可能領域と空き可能性あり領域とで異なるグラフィックデータを重畳して表示する情報処理方法。
 (20) 情報処理装置において情報処理を実行させるプログラムであり、
 駐車領域解析部に、
 車両に装着したカメラの撮影画像を解析して、車両が駐車可能か否かを区分領域単位で解析する駐車領域解析ステップを実行させ、
 表示制御部に、
 前記駐車領域解析部の解析結果に基づいて、区分領域単位の駐車可否識別グラフィックデータを生成し、前記カメラの撮影画像、または該撮影画像に基づいて生成した合成画像上に重畳して表示する表示制御ステップを実行させ、
 前記駐車領域解析部の前記駐車領域解析ステップにおいて、
 前記カメラの撮影画像から駐車車両が検出されない区分領域について、前記カメラの撮影画像から確認できないオクルージョン領域の区分領域全面積に対する比率を算出する処理と、
 算出比率の値に応じて区分領域が、駐車可能領域、または空き可能性あり領域のいずれの領域であるかを判定する判定処理を実行させ、
 前記表示制御部の前記表示制御ステップにおいて、
 前記判定処理の結果に応じて、駐車可能領域と空き可能性あり領域とで異なるグラフィックデータを重畳して表示する処理を実行させるプログラム。
 (21) 車両に装着されたカメラが撮影した撮影画像を解析し、
 前記撮影画像から駐車車両が検出されない区分領域を特定し、
 前記区分領域の面積に対する、前記撮影画像から確認できないオクルージョン領域の面積の比率を算出し、
 前記比率に応じて、前記区分領域が、駐車可能領域、または空き可能性あり領域のいずれの領域であるかを判定する駐車領域解析部を備える、
 情報処理装置。
 (22) 車両に装着されたカメラが撮影した撮影画像を解析し、
 前記撮影画像から駐車車両が検出されない区分領域を特定し、
前記区分領域の面積に対する、前記撮影画像から確認できないオクルージョン領域の面積の比率を算出し、
 前記比率に応じて、前記区分領域が、駐車可能領域、または空き可能性あり領域のいずれの領域であるかを判定する
 情報処理方法。
 また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
 なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にある場合もあるが、各構成の装置が同一筐体内にあるものには限らない。
 以上、説明したように、本開示の一実施例の構成によれば、駐車区分領域のオクルージョン領域の比率に応じて、駐車可能領域、または空き可能性あり領域のいずれであるかを判別して、判別結果に応じて異なる識別表示処理を行う構成が実現される。
 具体的には、例えば、カメラ撮影画像を解析して、車両が駐車可能か否かを区分領域単位で解析する駐車領域解析部と、解析結果に基づいて区分領域単位の駐車可否識別グラフィックデータを生成し、カメラ撮影画像上に重畳表示する表示制御部を有する。駐車領域解析部は、カメラ撮影画像から駐車車両が検出されない区分領域について、オクルージョン領域の区分領域全面積に対する比率を算出し、算出比率の値に応じて区分領域が駐車可能領域、または空き可能性あり領域のいずれであるかを判定し、表示制御部は、各領域で異なるグラフィックデータを重畳して表示する。
 本構成により、駐車区分領域のオクルージョン領域の比率に応じて、駐車可能領域、または空き可能性あり領域のいずれであるかを判別して、判別結果に応じて異なる識別表示処理を行う構成が実現される。
  10 車両
  11 カメラ
  12 表示部
  20 駐車場
  21 柱
  22 円錐コーン
  23,24 駐車領域
 101 駐車可能領域識別用表示データ
 102 駐車不可領域識別用表示データ
 103 空き可能性あり領域識別用表示データ
 151 駐車領域解析部
 152 駐車可否識別グラフィックデータ生成部
 153 表示部
 200 情報処理装置
 201 カメラ
 202 駐車領域解析部
 203 通信部
 204 表示制御部
 205 表示部
 206 入力部(UI)
 207 自動運転制御部
 211 領域解析部
 212 駐車車両検出部
 213 空き尤度(空き可能性)算出部
 214 パラメータ生成、出力部
 221 駐車可否識別グラフィックデータ生成部
 222 駐車領域表示データ生成部
 223 出力表示データ生成部
 301 CPU
 302 ROM
 303 RAM
 304 バス
 305 入出力インタフェース
 306 入力部
 307 出力部
 308 記憶部
 309 通信部
 310 ドライブ
 311 リムーバブルメディア
 321 センサ
 322 駆動部

Claims (20)

  1.  車両に装着したカメラの撮影画像を解析して、車両が駐車可能か否かを区分領域単位で解析する駐車領域解析部と、
     前記駐車領域解析部の解析結果に基づいて、区分領域単位の駐車可否識別グラフィックデータを生成し、前記カメラの撮影画像、または撮影画像に基づいて生成した合成画像上に重畳して表示する表示制御部を有し、
     前記駐車領域解析部は、
     前記カメラの撮影画像から駐車車両が検出されない区分領域について、前記カメラの撮影画像から確認できないオクルージョン領域の区分領域全面積に対する比率を算出し、
     算出比率の値に応じて区分領域が、駐車可能領域、または空き可能性あり領域のいずれの領域であるかを判定する判定処理を実行し、
     前記表示制御部は、
     前記判定処理の結果に応じて、駐車可能領域と空き可能性あり領域とで異なるグラフィックデータを重畳して表示する情報処理装置。
  2.  前記表示制御部は、
     前記区分領域単位の駐車可否識別グラフィックデータとして、
     (a)駐車可能領域識別用表示データ、
     (b)駐車不可領域識別用表示データ、
     (c)空き可能性あり領域識別用表示データ、
     上記(a)~(c)の駐車可否識別グラフィックデータを生成し、駐車領域画像の各区分領域各々に上記(a)~(c)のいずれかの駐車可否識別グラフィックデータを重畳して表示する請求項1に記載の情報処理装置。
  3.  前記駐車領域解析部は、
     前記カメラの撮影画像から駐車車両が検出された区分領域を駐車不可領域と判定し、
     前記カメラの撮影画像から駐車車両が検出されない区分領域については、
     前記オクルージョン領域の区分領域全面積に対する比率に基づいて、区分領域の空き可能性を示す空き尤度を算出し、
     算出した空き尤度が、規定しきい値以上であれば、駐車可能領域と判定し、
     算出した空き尤度が、規定しきい値未満であれば、空き可能性あり領域と判定し、
     前記表示制御部は、
     前記駐車領域解析部による各区分領域単位の判定結果に従って、各区分領域各々に上記(a)~(c)のいずれかの駐車可否識別グラフィックデータを重畳して表示する請求項1に記載の情報処理装置。
  4.  前記駐車領域解析部は、
     前記カメラの撮影画像から駐車車両が検出されない区分領域の空き可能性を示す空き尤度を、
     空き尤度(空き可能性)(%)=(1-(オクルージョン領域面積)/(区分領域全面積))×100(%)・・・・(式1)
     ただし、オクルージョン領域は、前記カメラの撮影画像から確認できない領域、
     上記(式1)に従って算出する請求項3に記載の情報処理装置。
  5.  前記表示制御部は、
     前記区分領域単位の駐車可否識別グラフィックデータとして、
     (a)駐車可能領域識別用表示データ、
     (b)駐車不可領域識別用表示データ、
     (c)空き可能性あり領域識別用表示データ、
     上記(a)~(c)の駐車可否識別グラフィックデータを、各々異なる色のグラフィックデータとして生成する請求項1に記載の情報処理装置。
  6.  前記表示制御部は、
     前記区分領域単位の駐車可否識別グラフィックデータとして、
     区分領域の外形を示す枠型のグラフィックデータを生成する請求項1に記載の情報処理装置。
  7.  前記駐車領域解析部は、
     前記カメラの撮影画像から、駐車許容領域内に明示された駐車区分領域を検出し、
     検出した駐車区分領域単位で、車両が駐車可能か否かを解析する請求項1に記載の情報処理装置。
  8.  前記駐車領域解析部は、
     前記カメラの撮影画像から駐車許容領域を検出し、
     検出した駐車許容領域から駐車車両を検出し、
     検出した駐車車両の駐車領域と、空きスペースを区分して区分領域を設定し、
     設定した区分領域単位で、車両が駐車可能か否かを解析する請求項1に記載の情報処理装置。
  9.  前記駐車領域解析部は、
     道路サイドの縦列駐車領域を駐車許容領域として検出する請求項8に記載の情報処理装置。
  10.  前記駐車領域解析部は、
     車両が駐車可能か否かを解析する単位となる区分領域を、AI予測データを利用して推定する請求項1に記載の情報処理装置。
  11.  前記AI予測データは、CNN(Convolutional Neural Network)を用いた学習アルゴリズムによって生成されるAI予測器を利用して生成されるデータである請求項10に記載の情報処理装置。
  12.  前記駐車領域解析部は、
     車両が駐車可能か否かを解析する単位となる区分領域を、外部装置からの受信情報を利用して決定する請求項1に記載の情報処理装置。
  13.  前記表示制御部は、
     前記カメラの撮影画像に基づいて、駐車領域を上部から観察した鳥瞰図からなる駐車領域画像を生成し、生成した鳥瞰図からなる駐車領域画像の各区分領域各々に駐車可否識別グラフィックデータを重畳して表示する請求項1に記載の情報処理装置。
  14.  前記駐車領域解析部は、
     前記車両の走行に伴い変化する前記カメラの撮影画像を順次、入力し、最新の入力画像に基づいて、車両が駐車可能か否かを区分領域単位で解析する処理を繰り返し実行して、解析データを順次、更新し、
     前記表示制御部は、
     前記駐車領域解析部の最新の解析結果に基づいて、前記区分領域単位の駐車可否識別グラフィックデータを、順次、更新する処理を実行する請求項1に記載の情報処理装置。
  15.  前記駐車領域解析部は、
     空き可能性あり領域と判定した区分領域について、
     前記カメラの最新の撮影画像から駐車車両が検出された場合、
     前記区分領域を駐車不可領域に変更する請求項14に記載の情報処理装置。
  16.  前記駐車領域解析部は、
     空き可能性あり領域と判定した区分領域について、
     前記カメラの最新の撮影画像に基づいて算出した空き尤度が、規定しきい値以上となった場合、
     前記区分領域を駐車可能領域に変更する請求項14に記載の情報処理装置。
  17.  前記情報処理装置は、
     自動運転制御部を有し、
     前記自動運転制御部は、
     前記駐車領域解析部が駐車可能領域と判定した領域に駐車を行うように自動運転を実行する請求項1に記載の情報処理装置。
  18.  前記自動運転制御部は、
     前記駐車領域解析部が駐車可能領域と判定した領域がない場合、
     空き可能性あり領域に向けて走行し、空き可能性あり領域が、駐車可能領域に変更された場合、該駐車可能領域に駐車を行うように自動運転を実行する請求項17に記載の情報処理装置。
  19.  情報処理装置において実行する情報処理方法であり、
     駐車領域解析部が、
     車両に装着したカメラの撮影画像を解析して、車両が駐車可能か否かを区分領域単位で解析する駐車領域解析ステップと、
     表示制御部が、
     前記駐車領域解析部の解析結果に基づいて、区分領域単位の駐車可否識別グラフィックデータを生成し、前記カメラの撮影画像、または該撮影画像に基づいて生成した合成画像上に重畳して表示する表示制御ステップを実行し、
     前記駐車領域解析部は、前記駐車領域解析ステップにおいて、
     前記カメラの撮影画像から駐車車両が検出されない区分領域について、前記カメラの撮影画像から確認できないオクルージョン領域の区分領域全面積に対する比率を算出し、
     算出比率の値に応じて区分領域が、駐車可能領域、または空き可能性あり領域のいずれの領域であるかを判定する判定処理を実行し、
     前記表示制御部は、前記表示制御ステップにおいて、
     前記判定処理の結果に応じて、駐車可能領域と空き可能性あり領域とで異なるグラフィックデータを重畳して表示する情報処理方法。
  20.  情報処理装置において情報処理を実行させるプログラムであり、
     駐車領域解析部に、
     車両に装着したカメラの撮影画像を解析して、車両が駐車可能か否かを区分領域単位で解析する駐車領域解析ステップを実行させ、
     表示制御部に、
     前記駐車領域解析部の解析結果に基づいて、区分領域単位の駐車可否識別グラフィックデータを生成し、前記カメラの撮影画像、または該撮影画像に基づいて生成した合成画像上に重畳して表示する表示制御ステップを実行させ、
     前記駐車領域解析部の前記駐車領域解析ステップにおいて、
     前記カメラの撮影画像から駐車車両が検出されない区分領域について、前記カメラの撮影画像から確認できないオクルージョン領域の区分領域全面積に対する比率を算出する処理と、
     算出比率の値に応じて区分領域が、駐車可能領域、または空き可能性あり領域のいずれの領域であるかを判定する判定処理を実行させ、
     前記表示制御部の前記表示制御ステップにおいて、
     前記判定処理の結果に応じて、駐車可能領域と空き可能性あり領域とで異なるグラフィックデータを重畳して表示する処理を実行させるプログラム。
PCT/JP2022/006849 2021-07-27 2022-02-21 情報処理装置、および情報処理方法、並びにプログラム WO2023007785A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280041999.7A CN117651981A (zh) 2021-07-27 2022-02-21 信息处理装置、信息处理方法以及程序
JP2023538223A JPWO2023007785A1 (ja) 2021-07-27 2022-02-21
DE112022003723.7T DE112022003723T5 (de) 2021-07-27 2022-02-21 Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021122734 2021-07-27
JP2021-122734 2021-07-27

Publications (1)

Publication Number Publication Date
WO2023007785A1 true WO2023007785A1 (ja) 2023-02-02

Family

ID=85086630

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/006849 WO2023007785A1 (ja) 2021-07-27 2022-02-21 情報処理装置、および情報処理方法、並びにプログラム

Country Status (4)

Country Link
JP (1) JPWO2023007785A1 (ja)
CN (1) CN117651981A (ja)
DE (1) DE112022003723T5 (ja)
WO (1) WO2023007785A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016197314A (ja) * 2015-04-03 2016-11-24 株式会社日立製作所 運転支援システム、運転支援装置及び運転支援方法
JP2017222309A (ja) * 2016-06-17 2017-12-21 日産自動車株式会社 駐車支援方法および装置
JP2020057081A (ja) * 2018-09-28 2020-04-09 パナソニックIpマネジメント株式会社 空き駐車スペース検知装置および空き駐車スペース検知方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY191078A (en) 2015-10-22 2022-05-30 Nissan Motor Parking space detection method and device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016197314A (ja) * 2015-04-03 2016-11-24 株式会社日立製作所 運転支援システム、運転支援装置及び運転支援方法
JP2017222309A (ja) * 2016-06-17 2017-12-21 日産自動車株式会社 駐車支援方法および装置
JP2020057081A (ja) * 2018-09-28 2020-04-09 パナソニックIpマネジメント株式会社 空き駐車スペース検知装置および空き駐車スペース検知方法

Also Published As

Publication number Publication date
JPWO2023007785A1 (ja) 2023-02-02
CN117651981A (zh) 2024-03-05
DE112022003723T5 (de) 2024-05-08

Similar Documents

Publication Publication Date Title
WO2021241189A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2022138123A1 (en) Available parking space identification device, available parking space identification method, and program
WO2021060018A1 (ja) 信号処理装置、信号処理方法、プログラム、及び、移動装置
WO2020241303A1 (ja) 自動走行制御装置、および自動走行制御システム、並びに自動走行制御方法
WO2022158185A1 (ja) 情報処理装置、情報処理方法、プログラムおよび移動装置
WO2023153083A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び移動装置
WO2022004423A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
US20230289980A1 (en) Learning model generation method, information processing device, and information processing system
WO2023007785A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2023090001A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2023058342A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2023162497A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2023149089A1 (ja) 学習装置、学習方法及び学習プログラム
WO2023047666A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2024024471A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2023063145A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2022019117A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2024062976A1 (ja) 情報処理装置及び情報処理方法
WO2022201892A1 (en) Information processing apparatus, information processing method, and program
WO2023054090A1 (ja) 認識処理装置、認識処理方法、および認識処理システム
US20230206596A1 (en) Information processing device, information processing method, and program
WO2023145460A1 (ja) 振動検出システムおよび振動検出方法
WO2023068116A1 (ja) 車載通信装置、端末装置、通信方法、情報処理方法及び通信システム
WO2023053498A1 (ja) 情報処理装置、情報処理方法、記録媒体、および車載システム
WO2022259621A1 (ja) 情報処理装置、情報処理方法、コンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22848869

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023538223

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202280041999.7

Country of ref document: CN