JP6910664B2 - 自動駐車システム内のセマンティックセグメンテーションを利用した駐車領域を検出するための方法及び装置 - Google Patents

自動駐車システム内のセマンティックセグメンテーションを利用した駐車領域を検出するための方法及び装置 Download PDF

Info

Publication number
JP6910664B2
JP6910664B2 JP2020009860A JP2020009860A JP6910664B2 JP 6910664 B2 JP6910664 B2 JP 6910664B2 JP 2020009860 A JP2020009860 A JP 2020009860A JP 2020009860 A JP2020009860 A JP 2020009860A JP 6910664 B2 JP6910664 B2 JP 6910664B2
Authority
JP
Japan
Prior art keywords
learning
test
parking
feature map
parking lot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020009860A
Other languages
English (en)
Other versions
JP2020126636A (ja
Inventor
− ヒョン キム、ケイ
− ヒョン キム、ケイ
キム、ヨンジュン
− キョン キム、ハク
− キョン キム、ハク
ナム、ウヒョン
ブー、ソッフン
ソン、ミュンチュル
シン、ドンス
ヨー、ドンフン
リュー、ウジュ
− チュン イ、ミョン
− チュン イ、ミョン
イ、ヒョンス
チャン、テウン
ジョン、キュンチョン
チェ、ホンモ
チョウ、ホジン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020126636A publication Critical patent/JP2020126636A/ja
Application granted granted Critical
Publication of JP6910664B2 publication Critical patent/JP6910664B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • G08G1/143—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces inside the vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B60Q5/005—Arrangement or adaptation of acoustic signal devices automatically actuated
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/002—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/10—Path keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Description

本発明は、自動駐車装置に関し、より詳細には、自動車を自動駐車するために利用される自動駐車システムによる空き駐車領域を検出する方法及び装置に関する。
自動車とは、一つの場所から他の場所へ、人や貨物、そしてそのようなものを運送する装置を指す。近年、駐車補助システムは自動車を運転するユーザの便宜を増加させる技術的発展として発達し、商業化されている。
自動車に設置された駐車補助システムは、駐車可能か否かを運転者に知らせるためのアラウンドビューモニタリング（ＡＶＭ）イメージを基盤にして自動車周辺の駐車スペースを識別し、必要な場合、音声信号あるいは視覚的信号を利用して運転者に危険状況警報を出力する。一部の場合、駐車補助システムは、駐車の際にステアリング及びスピードの出しすぎの制御を担当する。
駐車補助システムを施行するため、カメラあるいは超音波センサといった、駐車スペースを識別する少なくとも一つのセンサが車両内に搭載される必要がある。
ＡＶＭイメージを基盤にした駐車スペースを識別するため、駐車補助システムは、駐車スペース識別の予備プロセスとして、駐車スペースに含まれた多数の交差地点を検出しなければならない。
ＡＶＭイメージにおいて、一般に、カメラから遠く離れた位置に対応する領域内で大きなエラーが発生する。これらの問題を解決するために、ＡＶＭイメージ内のすべての領域のうちのカメラから予め設定された範囲に対応する領域のみに対して交差地点を検出する技法が提案された。だが、これをするために、自動車は、駐車スペースの与えられた距離内の領域に進入しなければならないが、これは駐車スペースを識別するのに要求された時間が増大されるという点で不便さを引き起こす。
従来技術によるＡＶＭイメージを基盤にした駐車空間識別装置は、駐車空間が識別されるまで、順次に生成されたイメージ内の検出された交差地点に対するすべての位置値を格納する。すなわち、駐車空間識別装置は、一つの交差地点に対する多数の位置値を格納し、このような位置値の平均値を計算することにより、交差地点の最終位置を検出する。このような場合、メモリが過多に使用され、交差地点を検出するために計算回数が増加する。
すなわち、従来の駐車補助装置は、センサを利用して駐車スペースに自動車が位置しているか否かだけを知らせるか、超高周波センサを利用して駐車スペースの距離を測定してくれるか、イメージ内のエッジ（ｅｄｇｅ）を利用して駐車線を検出することで自動車が駐車できるようにする。
しかし、従来の方法では、車両の有無についての情報だけでは自動駐車モードをサポートできず、超高周波センサのみを利用して駐車スペースを確保し難い。
また、イメージプロセッシングを利用する方法は、エラーが多いため利用することが困難である。
本発明は、前述した問題点を全て解決することを目的とする。
本発明は、駐車場内で一つ以上の空き駐車領域を確認できるようにすることを他の目的とする。
本発明は、駐車場内で空き駐車領域に対する正確な情報を提供することをまた他の目的とする。
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は下記の通りである。
本発明の一態様によれば、駐車場の駐車可能空間を検出するために利用される自動車の自動駐車装置を学習する方法において、（ａ）前記駐車場の上部から前記駐車場の床方向に前記自動車の周辺領域を撮影して生成された少なくとも一つの駐車場イメージが取得されると、学習装置が、（ｉ）前記駐車場イメージをセグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（ｉ−１）エンコーダ（ｅｎｃｏｄｅｒ）によって、前記駐車場イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つのコンボリューション特徴マップを出力するようにし、（ｉ−２）デコーダ（ｄｅｃｏｄｅｒ）によって、前記コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用してデコンボリューション特徴マップを出力するようにし、（ｉ−３）マスキングレイヤ（ｍａｓｋｉｎｇ ｌａｙｅｒ）によって、前記デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用して前記駐車場イメージ上で一つ以上の空き駐車領域のセグメンテーションを示すセグメンテーション情報を出力するようにするプロセスを遂行する段階、（ｂ）前記学習装置が、（ｉ）特定ＲＯＩに対応する前記デコンボリューション特徴マップをリグレッサ（ｒｅｇｒｅｓｓｏｒ）に入力することにより、前記リグレッサをもって、（ｉ−１）前記特定ＲＯＩの中心からの前記特定ＲＯＩの一つ以上の頂点に対する相対座標を生成するようにし、（ｉ−２）前記相対座標に少なくとも一つのリグレッション演算を適用して、少なくとも一つの特定駐車可能領域（前記空き駐車領域のうちの前記特定駐車可能領域は、前記特定ＲＯＩとして決定される）に対するリグレッション位置情報を生成するようにするプロセスを遂行する段階、及び（ｃ）前記学習装置が、第１ロスレイヤをもって、前記リグレッション位置情報とこれに対応する少なくとも一つのＲＯＩのＧＴ（ｇｒｏｕｎｄ ｔｒｕｔｈ）とを参照して一つ以上の第１ロスを算出するようにするプロセス、及び前記第１ロスを利用したバックプロパゲーションによって、前記第１ロスを最小化するように前記リグレッサを学習させるプロセスを遂行する段階、を含むことを特徴とする方法が提供される。
一実施例として、前記セグメンテーションネットワークは、以前学習装置により前記駐車場イメージ上で前記空き駐車領域をセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）して生成されたセグメンテーション情報を出力するよう事前学習された状態であり、少なくとも一つの学習用以前駐車場イメージが取得されると、前記以前学習装置が、（ｉ）前記学習用以前駐車場イメージを前記セグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（ｉ−１）前記エンコーダによって、前記学習用以前駐車場イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの学習用以前コンボリューション特徴マップを出力するようにし、（ｉ−２）前記デコーダによって、前記学習用以前コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用して少なくとも一つの学習用以前デコンボリューション特徴マップを出力するようにし、（ｉ−３）前記マスキングレイヤによって、前記学習用以前デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用して前記学習用以前駐車場イメージ上で前記空き駐車領域のセグメンテーションを示す学習用以前セグメンテーション情報を出力するようにするプロセス、及び（ｉｉ）第２ロスレイヤをもって、前記学習用以前セグメンテーション情報とこれに対応する少なくとも一つのセグメンテーションＧＴとを参照して、一つ以上の第２ロスを算出するようにし、前記第２ロスを利用したバックプロパゲーションによって、前記第２ロスが最小化されるように前記マスキングレイヤ、前記デコーダ、及び前記エンコーダのうちの少なくとも一つのパラメータがアップデートされるプロセス、を遂行する。
一実施例として、前記学習装置は、前記ＲＯＩのＧＴをジッタリング（ｊｉｔｔｅｒｉｎｇ）するプロセス、及び前記第１ロスレイヤをもって、ジッタリングされた前記ＲＯＩのＧＴと前記リグレッション位置情報とを参照して前記第１ロスを算出するようにするプロセス、を遂行する。
一実施例として、前記学習装置は、前記ＲＯＩのＧＴのスケールを参照して、前記ＲＯＩのＧＴの前記スケールの最大値と前記スケールの最小値とを設定するプロセス、及び前記ＲＯＩのＧＴの前記スケールの前記最大値と前記スケールの前記最小値との平均を用いて前記ＲＯＩのＧＴをジッタリングするプロセス、を遂行する。
一実施例として、前記学習装置は、前記スケールの前記最大値と前記スケールの前記最小値との間から無作為に選択される一つ以上のランダムスケールを取得するプロセス、及び前記第１ロスレイヤをもって、それぞれの前記ランダムスケールと前記リグレッション位置情報とを参照して一つ以上の第３ロスを算出するようにし、それぞれの前記第３ロスを利用したバックプロパゲーションによってそれぞれの前記第３ロスを最小化するように前記リグレッサを微細調整するようにするプロセス、を遂行する。
一実施例として、前記学習装置は、前記マスキングレイヤをもって、前記デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用するようにすることにより、前記駐車場イメージ上で、（ｉ）一つ以上の関心駐車可能領域、（ｉｉ）一つ以上の背景領域、（ｉｉ）一つ以上の関心外駐車可能領域、及び（ｉｖ）一つ以上の駐車された駐車領域のうちの少なくとも一つをセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）するプロセス、を遂行する。
一実施例として、前記学習装置は、前記マスキングレイヤをもって、前記空き駐車領域と前記自動車との間の一つ以上の距離を参照して、前記空き駐車領域を前記関心駐車可能領域及び前記関心外駐車可能領域にセグメンテーションするようにするプロセス、を遂行する。
本発明の他の態様によれば、駐車場の駐車可能空間を検出するため利用される自動車の自動駐車装置をテスティングする方法において、（ａ）少なくとも一つの学習用以前駐車場イメージが取得されると、学習装置が、（ｉ）前記学習用駐車場イメージをセグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（ｉ−１）エンコーダ（ｅｎｃｏｄｅｒ）によって、前記学習用駐車場イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの学習用コンボリューション特徴マップを出力するようにし、（ｉ−２）デコーダ（ｄｅｃｏｄｅｒ）によって、前記学習用コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用して学習用デコンボリューション特徴マップを出力するようにし、（ｉ−３）マスキングレイヤ（ｍａｓｋｉｎｇ ｌａｙｅｒ）によって、前記学習用デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用して前記学習用駐車場イメージ上で一つ以上の学習用空き駐車領域のセグメンテーションを示す学習用セグメンテーション情報を出力するようにするプロセス、（ｉｉ）学習用特定ＲＯＩに対応する前記学習用デコンボリューション特徴マップをリグレッサ（ｒｅｇｒｅｓｓｏｒ）に入力することにより、前記リグレッサをもって、（ｉｉ−１）前記学習用特定ＲＯＩの中心からの前記学習用特定ＲＯＩの一つ以上の頂点に対する学習用相対座標を生成するようにし、（ｉｉ−２）前記学習用相対座標に少なくとも一つのリグレッション演算を適用して、少なくとも一つの学習用特定駐車可能領域（前記学習用空き駐車領域のうちの前記学習用特定駐車可能領域は、前記学習用特定ＲＯＩとして決定される）に対する学習用リグレッション位置情報を生成するようにするプロセス、及び（ｉｉｉ）第１ロスレイヤをもって、前記学習用リグレッション位置情報と、これに対応する少なくとも一つのＲＯＩのＧＴ（ｇｒｏｕｎｄ ｔｒｕｔｈ）とを参照して一つ以上の第１ロスを算出するようにするプロセス、及び前記第１ロスを利用したバックプロパゲーションによって、前記第１ロスを最小化するように前記リグレッサを学習させるプロセスを遂行した状態で、テスティング装置が、テスト用駐車場の上部から前記テスト用駐車場の床方向にテスト用自動車の周辺領域を撮影して生成された少なくとも一つのテスト用駐車場イメージが取得されると、（ａ−１）前記テスト用駐車場イメージを前記セグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（ａ−１ーａ）前記エンコーダ（ｅｎｃｏｄｅｒ）によって、前記テスト用駐車場イメージに前記コンボリューション演算を適用して少なくとも一つのテスト用コンボリューション特徴マップを出力するようにし、（ａ−１−ｂ）前記デコーダ（ｄｅｃｏｄｅｒ）によって、前記テスト用コンボリューション特徴マップに前記デコンボリューション演算を適用してテスト用デコンボリューション特徴マップを出力するようにし、（ａ−１−ｃ）前記マスキングレイヤ（ｍａｓｋｉｎｇ ｌａｙｅｒ）によって、前記テスト用デコンボリューション特徴マップにマスキング演算を適用して前記テスト用駐車場イメージ上で一つ以上のテスト用空き駐車領域のセグメンテーションを示すテスト用セグメンテーション情報を出力するようにするプロセスを遂行する段階、及び（ｂ）前記テスティング装置が、テスト用特定ＲＯＩに対応する前記テスト用デコンボリューション特徴マップを前記リグレッサ（ｒｅｇｒｅｓｓｏｒ）に入力することにより、前記リグレッサをもって、（ｉ−１）前記テスト用特定ＲＯＩの中心からの前記テスト用特定ＲＯＩの一つ以上の頂点に対するテスト用相対座標を生成するようにし、（ｉ−２）前記テスト用相対座標に前記リグレッション演算を適用して、少なくとも一つのテスト用特定駐車可能領域（前記テスト用空き駐車領域のうちの前記テスト用特定駐車可能領域は、前記テスト用特定ＲＯＩとして決定される）に対するテスト用リグレッション位置情報を生成するようにするプロセスを遂行する段階、を含むことを特徴とするテスティング方法が提供される。
一実施例として、前記セグメンテーションネットワークは、以前学習装置により前記テスト用駐車場イメージ上で前記テスト用空き駐車領域をセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）して生成されたテスト用セグメンテーション情報を出力するよう事前学習された状態であり、少なくとも一つの学習用以前駐車場イメージが取得されると、前記以前学習装置が、（ｉ）前記学習用以前駐車場イメージを前記セグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（ｉ−１）前記エンコーダによって、前記学習用以前駐車場イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの学習用以前コンボリューション特徴マップを出力するようにし、（ｉ−２）前記デコーダによって、前記学習用以前コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用して少なくとも一つの学習用以前デコンボリューション特徴マップを出力するようにし、（ｉ−３）前記マスキングレイヤによって、前記学習用以前デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用して前記学習用以前駐車場イメージ上で前記空き駐車領域のセグメンテーションを示す学習用以前セグメンテーション情報を出力するようにするプロセス、及び（ｉｉ）第２ロスレイヤをもって、前記学習用以前セグメンテーション情報とこれに対応する少なくとも一つのセグメンテーションＧＴとを参照して、一つ以上の第２ロスを算出するようにし、前記第２ロスを利用したバックプロパゲーションによって、前記第２ロスが最小化されるように前記マスキングレイヤ、前記デコーダ、及び前記エンコーダのうちの少なくとも一つのパラメータがアップデートされるプロセス、を遂行する。
一実施例として、前記テスティング装置は、前記マスキングレイヤをもって、前記テスト用デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用するようにすることにより、前記テスト用駐車場イメージ上で、（ｉ）一つ以上のテスト用関心駐車可能領域、（ｉｉ）一つ以上のテスト用背景領域、（ｉｉｉ）一つ以上のテスト用関心外駐車可能領域、及び（ｉｖ）一つ以上のテスト用駐車された駐車領域のうちの少なくとも一つをセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）するプロセス、を遂行する。
一実施例として、前記テスティング装置は、前記マスキングレイヤをもって、前記テスト用空き駐車領域と前記テスト用自動車との間の一つ以上の距離を参照して、前記テスト用空き駐車領域を前記テスト用関心駐車可能領域及び前記テスト用関心外駐車可能領域にセグメンテーションするようにするプロセス、を遂行する。
一実施例として、（ｃ）前記テスト用特定駐車可能領域に対する前記テスト用リグレッション位置情報が取得されると、前記テスティング装置が、前記テスト用自動車の前記自動駐車装置をもって、前記テスト用リグレッション位置情報を参照して、前記テスト用特定駐車可能領域内に前記テスト用自動車を駐車させるようにするプロセスを遂行する段階、をさらに含む。
本発明のまた他の態様によれば、駐車場の駐車可能空間を検出するために利用される自動車の自動駐車装置を学習する学習装置において、インストラクションを格納する少なくとも一つのメモリ、及び（Ｉ）前記駐車場の上部から前記駐車場の床方向に前記自動車の周辺領域を撮影して生成された少なくとも一つの駐車場イメージが取得されると、（ｉ）前記駐車場イメージをセグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（ｉ−１）エンコーダ（ｅｎｃｏｄｅｒ）によって、前記駐車場イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つのコンボリューション特徴マップを出力するようにし、（ｉ−２）デコーダ（ｄｅｃｏｄｅｒ）によって、前記コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用してデコンボリューション特徴マップを出力するようにし、（ｉ−３）マスキングレイヤ（ｍａｓｋｉｎｇ ｌａｙｅｒ）によって、前記デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用して前記駐車場イメージ上で一つ以上の空き駐車領域のセグメンテーションを示すセグメンテーション情報を出力するようにするプロセス、（ＩＩ）特定ＲＯＩに対応する前記デコンボリューション特徴マップをリグレッサ（ｒｅｇｒｅｓｓｏｒ）に入力することにより、前記リグレッサをもって、（ｉ−１）前記特定ＲＯＩの中心からの前記特定ＲＯＩの一つ以上の頂点に対する相対座標を生成するようにし、（ｉ−２）前記相対座標に少なくとも一つのリグレッション演算を適用して、少なくとも一つの特定駐車可能領域（前記空き駐車領域のうちの前記特定駐車可能領域は、前記特定ＲＯＩとして決定される）に対するリグレッション位置情報を生成するようにするプロセス、及び（ＩＩＩ）第１ロスレイヤをもって、前記リグレッション位置情報とこれに対応する少なくとも一つのＲＯＩのＧＴ（ｇｒｏｕｎｄ ｔｒｕｔｈ）とを参照して一つ以上の第１ロスを算出するようにするプロセス、及び前記第１ロスを利用したバックプロパゲーションによって、前記第１ロスを最小化するように前記リグレッサを学習させるプロセスを遂行するか、他の装置をもって遂行するようにするために前記インストラクションを実行するように構成された少なくとも一つのプロセッサ、を含むことを特徴とする学習装置が提供される。
一実施例として、前記セグメンテーションネットワークは、以前学習装置により前記駐車場イメージ上で前記空き駐車領域をセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）して生成されたセグメンテーション情報を出力するよう事前学習された状態であり、少なくとも一つの学習用以前駐車場イメージが取得されると、前記以前学習装置が、（ｉ）前記学習用以前駐車場イメージを前記セグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（ｉ−１）前記エンコーダによって、前記学習用以前駐車場イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの学習用以前コンボリューション特徴マップを出力するようにし、（ｉ−２）前記デコーダによって、前記学習用以前コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用して少なくとも一つの学習用以前デコンボリューション特徴マップを出力するようにし、（ｉ−３）前記マスキングレイヤによって、前記学習用以前デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用して前記学習用以前駐車場イメージ上で前記空き駐車領域のセグメンテーションを示す学習用以前セグメンテーション情報を出力するようにするプロセス、及び（ｉｉ）第２ロスレイヤをもって、前記学習用以前セグメンテーション情報とこれに対応する少なくとも一つのセグメンテーションＧＴとを参照して、一つ以上の第２ロスを算出するようにし、前記第２ロスを利用したバックプロパゲーションによって、前記第２ロスが最小化されるように前記マスキングレイヤ、前記デコーダ、及び前記エンコーダのうちの少なくとも一つのパラメータがアップデートされるプロセス、を遂行する。
一実施例として、前記プロセッサは、前記ＲＯＩのＧＴをジッタリング（ｊｉｔｔｅｒｉｎｇ）するプロセス、及び前記第１ロスレイヤをもって、ジッタリングされた前記ＲＯＩのＧＴと前記リグレッション位置情報とを参照して前記第１ロスを算出するようにするプロセス、を遂行する。
一実施例として、前記プロセッサは、前記ＲＯＩのＧＴのスケールを参照して、前記ＲＯＩのＧＴの前記スケールの最大値と前記スケールの最小値とを設定するプロセス、及び前記ＲＯＩのＧＴの前記スケールの前記最大値と前記スケールの前記最小値との平均を用いて前記ＲＯＩのＧＴをジッタリングするプロセス、を遂行する。
一実施例として、前記プロセッサは、前記スケールの前記最大値と前記スケールの前記最小値との間から無作為に選択される一つ以上のランダムスケールを取得するプロセス、及び前記第１ロスレイヤをもって、それぞれの前記ランダムスケールと前記リグレッション位置情報とを参照して一つ以上の第３ロスを算出するようにし、それぞれの前記第３ロスを利用したバックプロパゲーションによってそれぞれの前記第３ロスを最小化するように前記リグレッサを微細調整するようにするプロセス、を遂行する。
一実施例として、前記プロセッサは、前記マスキングレイヤをもって、前記デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用するようにすることにより、前記駐車場イメージ上で、（ｉ）一つ以上の関心駐車可能領域、（ｉｉ）一つ以上の背景領域、（ｉｉ）一つ以上の関心外駐車可能領域、及び（ｉｖ）一つ以上の駐車された駐車領域のうちの少なくとも一つをセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）するプロセス、を遂行する。
一実施例として、前記プロセッサは、前記マスキングレイヤをもって、前記空き駐車領域と前記自動車との間の一つ以上の距離を参照して、前記空き駐車領域を前記関心駐車可能領域及び前記関心外駐車可能領域にセグメンテーションするようにするプロセス、を遂行する。
本発明のまた他の態様によれば、駐車場の駐車可能空間を検出するため利用される自動車の自動駐車装置をテスティングするテスティング装置において、インストラクションを格納する少なくとも一つのメモリ、及び（Ｉ）少なくとも一つの学習用駐車場イメージが取得されると、（ｉ）前記学習用駐車場イメージをセグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（ｉ−１）エンコーダ（ｅｎｃｏｄｅｒ）によって、前記学習用駐車場イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの学習用コンボリューション特徴マップを出力するようにし、（ｉ−２）デコーダ（ｄｅｃｏｄｅｒ）によって、前記学習用コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用して学習用デコンボリューション特徴マップを出力するようにし、（ｉ−３）マスキングレイヤ（ｍａｓｋｉｎｇ ｌａｙｅｒ）によって、前記学習用デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用して前記学習用駐車場イメージ上で一つ以上の学習用空き駐車領域のセグメンテーションを示す学習用セグメンテーション情報を出力するようにするプロセス、（ｉｉ）学習用特定ＲＯＩに対応する前記学習用デコンボリューション特徴マップをリグレッサ（ｒｅｇｒｅｓｓｏｒ）に入力することにより、前記リグレッサをもって、（ｉｉ−１）前記学習用特定ＲＯＩの中心からの前記学習用特定ＲＯＩの一つ以上の頂点に対する学習用相対座標を生成するようにし、（ｉｉ−２）前記学習用相対座標に少なくとも一つのリグレッション演算を適用して、少なくとも一つの学習用特定駐車可能領域（前記学習用空き駐車領域のうちの前記学習用特定駐車可能領域は、前記学習用特定ＲＯＩとして決定される）に対する学習用リグレッション位置情報を生成するようにするプロセス、及び（ｉｉｉ）第１ロスレイヤをもって、前記学習用リグレッション位置情報と、これに対応する少なくとも一つのＲＯＩのＧＴ（ｇｒｏｕｎｄ ｔｒｕｔｈ）とを参照して一つ以上の第１ロスを算出するようにするプロセス、及び前記第１ロスを利用したバックプロパゲーションによって、前記第１ロスを最小化するように前記リグレッサを学習させるプロセスを遂行した状態で、（Ｉー１）テスト用駐車場の上部から前記テスト用駐車場の床方向にテスト用自動車の周辺領域を撮影して生成された少なくとも一つのテスト用駐車場イメージが取得されると、前記テスト用駐車場イメージを前記セグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（Ｉ−１ーａ）前記エンコーダ（ｅｎｃｏｄｅｒ）によって、前記テスト用駐車場イメージに前記コンボリューション演算を適用して少なくとも一つのテスト用コンボリューション特徴マップを出力するようにし、（Ｉ−１−ｂ）前記デコーダ（ｄｅｃｏｄｅｒ）によって、前記テスト用コンボリューション特徴マップに前記デコンボリューション演算を適用してテスト用デコンボリューション特徴マップを出力するようにし、（Ｉ−１−ｃ）前記マスキングレイヤ（ｍａｓｋｉｎｇ ｌａｙｅｒ）によって、前記テスト用デコンボリューション特徴マップにマスキング演算を適用して前記テスト用駐車場イメージ上で一つ以上のテスト用空き駐車領域のセグメンテーションを示すテスト用セグメンテーション情報を出力するようにするプロセス、及び（ＩＩ）テスト用特定ＲＯＩに対応する前記テスト用デコンボリューション特徴マップを前記リグレッサ（ｒｅｇｒｅｓｓｏｒ）に入力することにより、前記リグレッサをもって、（ＩＩ−１）前記テスト用特定ＲＯＩの中心からの前記テスト用特定ＲＯＩの一つ以上の頂点に対するテスト用相対座標を生成するようにし、（ＩＩ−２）前記テスト用相対座標に前記リグレッション演算を適用して、少なくとも一つのテスト用特定駐車可能領域（前記テスト用空き駐車領域のうちの前記テスト用特定駐車可能領域は、前記テスト用特定ＲＯＩとして決定される）に対するテスト用リグレッション位置情報を生成するようにするプロセスを遂行するか、他の装置をもって遂行するようにするために前記インストラクションを実行するように構成された少なくとも一つのプロセッサ、を含むことを特徴とするテスティング装置が提供される。
一実施例として、前記セグメンテーションネットワークは、以前学習装置により前記テスト用駐車場イメージ上で前記テスト用空き駐車領域をセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）して生成されたテスト用セグメンテーション情報を出力するよう事前学習された状態であり、少なくとも一つの学習用以前駐車場イメージが取得されると、前記以前学習装置が、（ｉ）前記学習用以前駐車場イメージを前記セグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（ｉ−１）前記エンコーダによって、前記学習用以前駐車場イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの学習用以前コンボリューション特徴マップを出力するようにし、（ｉ−２）前記デコーダによって、前記学習用以前コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用して少なくとも一つの学習用以前デコンボリューション特徴マップを出力するようにし、（ｉ−３）前記マスキングレイヤによって、前記学習用以前デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用して前記学習用以前駐車場イメージ上で前記空き駐車領域のセグメンテーションを示す学習用以前セグメンテーション情報を出力するようにするプロセス、及び（ｉｉ）第２ロスレイヤをもって、前記学習用以前セグメンテーション情報とこれに対応する少なくとも一つのセグメンテーションＧＴとを参照して、一つ以上の第２ロスを算出するようにし、前記第２ロスを利用したバックプロパゲーションによって、前記第２ロスが最小化されるように前記マスキングレイヤ、前記デコーダ、及び前記エンコーダのうちの少なくとも一つのパラメータがアップデートされるプロセス、を遂行する。
一実施例として、前記プロセッサは、前記マスキングレイヤをもって、前記テスト用デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用するようにすることにより、前記テスト用駐車場イメージ上で、（ｉ）一つ以上のテスト用関心駐車可能領域、（ｉｉ）一つ以上のテスト用背景領域、（ｉｉｉ）一つ以上のテスト用関心外駐車可能領域、及び（ｉｖ）一つ以上のテスト用駐車された駐車領域のうちの少なくとも一つをセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）するプロセス、を遂行する。
一実施例として、前記プロセッサは、前記マスキングレイヤをもって、前記テスト用空き駐車領域と前記テスト用自動車との間の一つ以上の距離を参照して、前記テスト用空き駐車領域を前記テスト用関心駐車可能領域及び前記テスト用関心外駐車可能領域にセグメンテーションするようにするプロセス、を遂行する。
一実施例として、前記プロセッサが、（ＩＩＩ）前記テスト用特定駐車可能領域に対する前記テスト用リグレッション位置情報が取得されると、前記テスト用自動車の前記自動駐車装置をもって、前記テスト用リグレッション位置情報を参照して、前記テスト用特定駐車可能領域内に前記テスト用自動車を駐車させるようにするプロセスを遂行するプロセス、をさらに遂行する。
この他にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読取可能な記録媒体がさらに提供される。
本発明は、駐車場内で空き駐車領域が決定されることがあるため、自動車の自動駐車モードを支援できる効果がある。
また、本発明は、駐車場内で空き駐車領域が決定され得るので、ユーザの駐車場利用のための利便性を向上させることができる効果がある。
また、本発明は、駐車場内で空いている駐車領域に対する正確な情報を提供して、ユーザが速い時間で自動車を駐車できるようにするようにする効果がある。
また、本発明は、駐車場内で空き駐車領域に関する情報を提供して自動駐車システムの性能を向上させる効果がある。
また、本発明は、駐車領域を案内するための人員に対する要求を取り除き、駐車場を無人化できる効果がある。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。
図１は、本発明の一実施例に係る駐車場内の一つ以上の駐車領域を検出するために利用される自動車の自動駐車装置を学習させる学習装置を概略的に示した図面である。 図２は、本発明の一実施例に係る駐車場内の駐車領域を検出するために利用される自動車の自動駐車装置を学習させる学習装置を概略的に示した図面である。 図３は、本発明の一実施例に係る駐車場内の駐車領域を検出するために利用される自動車の自動駐車装置を学習させる学習方法内の駐車領域をセグメンテーションするために利用されるセグメンテーションネットワークを事前に学習させる方法を概略的に示した図面である。 図４は、本発明の一実施例に係る駐車場内の駐車領域を検出するために利用される自動車の自動駐車装置をテスティングするテスティング装置を概略的に示した図面である。 図５は、本発明の一実施例に係る駐車場内の駐車領域を検出するために利用される自動車の自動駐車装置をテスティングするテスティング方法を概略的に示した図面である。
後述する本発明に対する詳細な説明は、本発明の各目的、技術的解決方法及び長所を明確にするために、本発明が実施され得る特定実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように充分詳細に説明される。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
さらに、本発明は、本明細書に示された実施例のあらゆる可能な組み合わせを網羅する。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一例と関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で実装され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は、本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似した参照符号は、いくつかの側面にかけて同一であるか類似した機能を指称する。
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
本願に提供されている本発明の題名及び要約は、便宜のためのものであり、実施例の範囲を限定したり、実施例の意味を解析したりするものではない。
本明細書及び添付された請求項に使用されたように、単数形態は、内容と文脈が明らかに異なると指示していない限り、複数の指示対象を含む。
参考までに、以下の説明において混乱を避けるために、前記学習プロセスに関連する用語に「学習用」または「トレーニング」という単語が追加され、テスティングプロセスに関連する用語に「テスト用」または「テスティング」という単語が追加された。
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面を参照して詳細に説明する。
図１は、本発明の一実施例に係る駐車場内の一つ以上の駐車領域を検出するために利用される自動車の自動駐車装置を学習させる学習装置を概略的に示した図面である。図１参照すれば、学習装置１０００は、駐車場内の駐車領域を検出するために利用される自動車の自動駐車装置を学習させるためのインストラクションを格納するメモリ１１００と、メモリ１１００に格納されたインストラクションによって駐車場内の駐車領域を検出するために利用される自動車の自動駐車装置を学習させるプロセスを遂行するプロセッサ１２００とを含むことができる。
具体的に、前記学習装置１０００は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータのプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他の従来のコンピューティング装置の各構成要素、ルータ、スイッチなどのような電子通信装置、ネットワーク接続ストレージ（ＮＡＳ）及びストレージエリアネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と、少なくとも一つのコンピュータソフトウェア（つまり、前記コンピューティング装置をもって、特定の方式で機能させる各インストラクション）との組み合わせを利用して希望するシステム性能を達成するものであり得る。
前記コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ Ｂｕｓ）などのハードウェア構成を含むことができる。また、前記コンピューティング装置は、オペレーティングシステム（ＯＳ）及び特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むこともできる。
しかし、前記コンピューティング装置が本発明を行うためのミディアム、プロセッサ、メモリまたはほかのコンピューティング構成要素が統合された形である統合プロセッサを含む場合を排除するものではない。
このように構成された本発明の一実施例に係る学習装置１０００を利用して駐車場の駐車領域を検出するために利用される自動車の自動駐車装置を学習させる方法を図２を参照して説明すると次の通りである。
まず、前記駐車場の上部から前記駐車場の床方向に前記自動車の周辺領域を撮影して生成され、利用される少なくとも一つの学習用駐車場イメージが取得されると、前記学習装置１０００が、前記駐車場イメージをセグメンテーションネットワーク１００に入力することで、前記セグメンテーションネットワーク１００をもって、前記駐車場イメージ上で一つ以上の空き駐車領域のセグメンテーションを示すセグメンテーション情報を出力するようにするプロセスを遂行することができる。
たとえば、前記セグメンテーションネットワーク１００は、エンコーダ（ｅｎｃｏｄｅｒ）１１０によって、前記駐車場イメージに少なくとも一つのコンボリューション演算を適用して、少なくとも一つのコンボリューション特徴マップを出力するようにし、デコーダ（ｄｅｃｏｄｅｒ）１２０によって、前記コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用して、少なくとも一つのデコンボリューション特徴マップを出力するようにすることができる。
この際、前記エンコーダ１１０は、前記駐車場イメージをダウンサンプリング（ｄｏｗｎ−ｓａｍｐｌｉｎｇ）することができ、前記デコーダ１２０は、ダウンサンプリングされた特徴マップをアップサンプリング（ｕｐ−ｓａｍｐｌｉｎｇ）することができる。
そして、前記エンコーダ１１０は、前記駐車場イメージに一つ以上のコンボリューション演算を適用して、イメージまたは特徴マップのサイズを減少させる一つ以上のコンボリューションレイヤを含むことができ、前記デコーダ１２０は、前記コンボリューション演算によって減少した前記特徴マップに一つ以上のデコンボリューション演算を適用して特徴マップのサイズを増加させる一つ以上のデコンボリューションレイヤを含むことができる。この際、前記デコーダ１２０から出力される特徴マップを「最後の特徴マップ」と呼ぶことにする。
また、前記セグメンテーションネットワーク１００は、ＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｔｗｏｒｋ）、ディープラボ（ＤｅｅｐＬａｂ）ｖ１、ｖ２、ユーネット（Ｕ−Ｎｅｔ）、リセグ（ＲｅＳｅｇ）のうちの少なくとも一部分を含むことができる。
この後、前記セグメンテーションネットワーク１００は、マスキングレイヤ１３０をもって、前記最後の特徴マップ、つまり前記デコンボリューション特徴マップを前記セグメンテーションクラスそれぞれに分類した結果であるセマンティックセグメンテーション（ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ）を生成するようにすることができる。
この際、前記マスキングレイヤ１３０は、前記セグメンテーションクラスごとにバイナリ（ｂｉｎａｒｙ）値が異なるように設定され得る、少なくとも一つのバイナリマスキングレイヤを含むことができる。
そして、前記セグメンテーションクラスは、一つ以上の関心駐車可能領域、一つ以上の背景領域、一つ以上の関心外駐車可能領域及び一つ以上の駐車された駐車領域として設定され得るが、これに限らず、前記駐車場の状況に応じて前記駐車場内の前記駐車領域をグルーピング（ｇｒｏｕｐｉｎｇ）するために利用され得る多様なクラスに設定されることができる。
その後、前記学習装置１０００は、前記マスキングレイヤ１３０をもって、前記空き駐車領域と前記自動車との間の一つ以上の距離を参照して、前記空き駐車領域を前記関心駐車可能領域及び前記関心外駐車可能領域としてセグメンテーションするようにするプロセスを遂行することができる。
次に、前記学習装置１０００が、特定ＲＯＩに対応する前記デコンボリューション特徴マップをリグレッサ（ｒｅｇｒｅｓｓｏｒ）２００に入力することにより、前記リグレッサ２００をもって、前記特定ＲＯＩの中心からの前記特定ＲＯＩの一つ以上の頂点に対する相対座標を生成するようにし、前記相対座標に少なくとも一つのリグレッション演算を適用して、少なくとも一つの特定駐車可能領域（前記空き駐車領域のうちの前記特定駐車可能領域は、前記特定ＲＯＩとして決定される）に対するリグレッション位置情報を生成するようにするプロセスを遂行することができる。
次に、前記学習装置１０００が、第１ロスレイヤ３００をもって、前記リグレッション位置情報と、これに対応する少なくとも一つのＲＯＩのＧＴ（ｇｒｏｕｎｄ ｔｒｕｔｈ）とを参照して一つ以上の第１ロスを算出するようにするプロセス、及び前記第１ロスを利用したバックプロパゲーションによって、前記第１ロスを最小化するように前記リグレッサ２００を学習させるプロセスを遂行することができる。
この際、前記学習装置１０００は、前記特定駐車可能領域である前記特定ＲＯＩに対応する前記ＲＯＩのＧＴを利用して前記リグレッサ２００を学習させるプロセスを遂行するが、テスティングプロセスで推定された前記空き駐車領域は、前記ＧＴによる前記ＲＯＩほど正確ではないので、前記リグレッサ２００によって取得された相対座標は、エラーを有し得る。
したがって、前記任意でジッタリング（ｊｉｔｔｅｒｉｎｇ）されたＲＯＩのＧＴを利用して前記リグレッサ２００を学習させ、不安定なＲＯＩでも正確な相対座標を取得するロバスト（ｒｏｂｕｓｔ）性のあるリグレッサ２００を提供することができる。
つまり、前記学習装置は、前記ＲＯＩのＧＴをジッタリングするプロセス、及び前記第１ロスレイヤ３００をもって、ジッタリングされた前記ＲＯＩのＧＴと前記リグレッション位置情報とを参照して前記第１ロスを算出するようにするプロセスを遂行することができる。
この際、前記リグレッサ２００によって取得された前記相対座標の前記ＧＴは、ジッタリングされた部分によって変わり得る。
そして、前記学習装置１０００は、前記ＲＯＩのＧＴのスケールを参照して、前記ＲＯＩのＧＴの前記スケールの最大値と前記スケールの最小値とを設定するプロセス、及び前記ＲＯＩのＧＴの前記スケールの前記最大値と前記スケールの前記最小値との平均値を利用して前記ＲＯＩのＧＴをジッタリングするプロセスを遂行することができる。
一例として、前記ＲＯＩの前記スケールをＳとする場合、前記スケールの最大値をＳｍａｘに設定し、前記スケールの前記最小値をＳｍｉｎに設定し、前記ＲＯＩの前記スケールＳを前記スケールの前記最大値と前記スケールの前記最小値の平均値（Ｓ＝（Ｓｍａｘ＋Ｓｍｉｎ）／２）に設定した後、前記スケールＳを利用して前記リグレッサ２００を学習させることができる。
そして、前記学習装置１０００は、前記スケールの最大値と前記スケールの最小値との間から無作為に選択される一つ以上のランダムスケールを取得するプロセス、及び前記第１ロスレイヤ３００をもって、前記ランダムスケールそれぞれと前記リグレッション位置情報とを参照して一つ以上の第３ロスを算出するようにし、前記第３ロスそれぞれを利用したバックプロパゲーションによって前記第３ロスそれぞれを最小化されるように前記リグレッサ２００を微細調整するようにすることができる。
結果的に、前記テスティングプロセスにおいて、（ｉ）前記関心駐車可能領域それぞれの前記ＲＯＩは、セマンティックセグメンテーション情報から抽出され、（ｉｉ）前記ＲＯＩの一つ以上の特徴は、前記リグレッサ２００に入力され、（ｉｉｉ）前記相対座標は、前記リグレッサ２００から取得された後、（ｉｖ）前記関心駐車可能領域それぞれの前記それぞれの四つの頂点に対する前記正確な座標が前記抽出されたＲＯＩの中心を基準に取得される。
一方、前記セグメンテーションネットワーク１００は、以前学習装置により前記駐車場イメージ上で前記関心駐車領域をセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）して生成されたセグメンテーション情報を出力するよう事前学習された状態である。この際、前記以前学習装置は、前記セグメンテーションネットワーク１００を学習させるためのインストラクションを格納するメモリと、前記メモリに含まれた前記インストラクションとによって前記セグメンテーションネットワーク１００を学習させるプロセスを遂行するプロセッサを含むことができる。そして、前記以前学習装置は、図１で説明した前記学習装置と同じように、典型的に少なくとも一つのコンピューティング装置及び少なくとも一つのコンピュータソフトウェアの組み合わせを利用して求めるシステム性能を達成することで、詳しい説明は省略する。
一例として、図３を参照して、前記セグメンテーションネットワーク１００を事前学習させるプロセスを説明すると、次の通りである。
まず、少なくとも一つの学習用以前駐車場イメージが取得されると、前記以前学習装置１５００が、前記学習用以前駐車場イメージを前記セグメンテーションネットワーク１００に入力するプロセスを遂行することができる。
その後、前記セグメンテーションネットワーク１００は、前記エンコーダ（ｅｎｃｏｄｅｒ）１１０によって、前記学習用以前駐車場イメージに少なくとも一つのコンボリューション演算を適用して、少なくとも一つの学習用以前コンボリューション特徴マップを出力することができ、前記デコーダ（ｄｅｃｏｄｅｒ）１２０によって、前記学習用以前コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用して、少なくとも一つの学習用以前デコンボリューション特徴マップを出力するようにすることができる。
そして、前記セグメンテーションネットワーク１００は、前記マスキングレイヤ１３０をもって、前記学習用以前デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用することにより、前記学習用以前駐車場イメージ上で前記関心駐車可能領域をセグメンテーションして学習用以前セグメンテーション情報を出力することができる。
その後、前記以前学習装置１５００は、第２ロスレイヤ５００をもって、前記学習用以前セグメンテーション情報とこれに対応する少なくとも一つのセグメンテーションＧＴとを参照して、一つ以上の第２ロスを算出するようにし、前記第２ロスを利用したバックプロパゲーションによって、前記第２ロスが最小化されるように前記マスキングレイヤ、前記デコーダ、及び前記エンコーダのうちの少なくとも一つのパラメータがアップデートされるようにすることで、前記セグメンテーションネットワーク１００を事前学習させることができる。
図４は、本発明の一実施例に係る駐車場内の駐車領域を検出するために利用される自動車の自動駐車装置をテスティングするテスティング装置を概略的に示した図面である。図４参照すれば、前記テスティング装置２０００は、駐車場内の駐車領域を検出するために利用される自動車の自動駐車装置をテストするための各インストラクションを格納するメモリ２１００と、メモリ２１００に格納されたインストラクションによって駐車場内の駐車領域を検出するために利用される自動車の自動駐車装置をテストするためのプロセスを遂行するプロセッサ２２００とを含むことができる。
具体的に、前記テスティング装置２０００は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータのプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他の従来のコンピューティング装置の各構成要素、ルータ、スイッチなどのような電子通信装置、ネットワーク接続ストレージ（ＮＡＳ）及びストレージエリアネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と、少なくとも一つのコンピュータソフトウェア（つまり、前記コンピューティング装置をもって、特定の方式で機能させる各インストラクション）との組み合わせを利用して希望するシステム性能を達成するものであり得る。
前記コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ Ｂｕｓ）などのハードウェア構成を含むことができる。また、前記コンピューティング装置は、オペレーティングシステム（ＯＳ）及び特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むこともできる。
しかし、前記コンピューティング装置が本発明を行うためのミディアム、プロセッサ、メモリまたはほかのコンピューティング構成要素が統合された形である統合プロセッサを含む場合を排除するものではない。
このように構成された本発明の一実施例に係るテスティング装置２０００を利用して駐車場の駐車領域を検出するために利用される自動車の自動駐車装置をテスティングする方法を、図５を参照して説明すると次の通りである。
まず、図２と図３とを参照して説明した学習方法によってセグメンテーションネットワーク１００とリグレッサ２００が学習された状態であり得る。
つまり、少なくとも一つの学習用駐車場イメージが取得されると、前記学習装置が、（ｉ）前記学習用駐車場イメージを前記セグメンテーションネットワーク１００に入力することにより、前記セグメンテーションネットワーク１００をもって、前記エンコーダ（ｅｎｃｏｄｅｒ）１１０によって、前記学習用駐車場イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの学習用コンボリューション特徴マップを出力するようにし、前記デコーダ（ｄｅｃｏｄｅｒ）１２０によって、前記学習用コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用して少なくとも一つの学習用デコンボリューション特徴マップを出力するようにし、前記マスキングレイヤ（ｍａｓｋｉｎｇ ｌａｙｅｒ）１３０によって、前記学習用デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用して前記学習用駐車場イメージ上で一つ以上の学習用空き駐車領域のセグメンテーションを示す学習用セグメンテーション情報を出力するようにするプロセスを遂行する。そして、前記学習装置は、学習用特定ＲＯＩに対応する前記学習用デコンボリューション特徴マップをリグレッサ（ｒｅｇｒｅｓｓｏｒ）２００に入力することにより、前記リグレッサ２００をもって、前記学習用特定ＲＯＩの中心からの前記学習用特定ＲＯＩの一つ以上の頂点に対する学習用相対座標を生成するようにし、前記学習用相対座標に少なくとも一つのリグレッション演算を適用して、少なくとも一つの学習用特定駐車可能領域（前記学習用空き駐車領域のうちの前記学習用特定駐車可能領域は、前記学習用特定ＲＯＩとして決定される）に対する学習用リグレッション位置情報を生成するようにするプロセスを遂行することができる。そして、前記学習装置は、前記第１ロスレイヤをもって、前記学習用リグレッション位置情報と、これに対応する少なくとも一つのＲＯＩのＧＴ（ｇｒｏｕｎｄ ｔｒｕｔｈ）とを参照して一つ以上の第１ロスを算出するようにするプロセス、及び前記第１ロスを利用したバックプロパゲーションによって、前記第１ロスを最小化するように前記リグレッサ２００を学習させるプロセスを遂行することができる。
また、前記セグメンテーションネットワーク１００は、前記以前学習装置により前記テスト用駐車場イメージ上で前記テスト用関心駐車可能領域をセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）して生成されたテスト用セグメンテーション情報を出力するよう事前学習された状態である。
つまり、少なくとも一つの学習用以前駐車場イメージが取得されると、前記以前学習装置が、（ｉ）前記学習用以前駐車場イメージを前記セグメンテーションネットワーク１００に入力することにより、前記セグメンテーションネットワーク１００をもって、前記エンコーダ１１０によって、前記学習用駐車場イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの学習用以前コンボリューション特徴マップを出力するようにし、前記デコーダ１２０によって、前記学習用以前コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用して少なくとも一つの学習用以前デコンボリューション特徴マップを出力するようにし、前記マスキングレイヤ１３０によって、前記学習用以前デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用して前記学習用以前駐車場イメージ上で前記学習用空き駐車領域のセグメンテーションを示す学習用以前セグメンテーション情報を出力するようにするプロセスを遂行することができる。そして、前記以前学習装置は、前記第２ロスレイヤをもって、前記学習用以前セグメンテーション情報とこれに対応する少なくとも一つのセグメンテーションＧＴとを参照して、第２ロスを算出するようにし、前記第２ロスを利用したバックプロパゲーションによって、前記第２ロスが最小化されるように前記マスキングレイヤ１３０、前記デコーダ１２０、及び前記エンコーダ１１０のうちの少なくとも一つのパラメータがアップデートされるプロセスを遂行することができる。
このように、前記セグメンテーションネットワーク１０００及び前記リグレッサ２００が学習された状態で、前記テスティング装置２０００が、テスト用駐車場の上部から前記テスト用駐車場の床方向にテスト用自動車の周辺領域を撮影して生成された少なくとも一つのテスト用駐車場イメージが取得されると、前記テスト用駐車場イメージを前記セグメンテーションネットワーク１００に入力するプロセスを遂行することができる。
この際、前記テスト用駐車場イメージは、前記テスト用駐車場の前記上部、つまり天井もしくは壁面に設置された少なくとも一つのカメラを利用して前記テスト用駐車場の前記床面方向へ撮影されたイメージであり得る。
その後、前記セグメンテーションネットワーク１００は、前記エンコーダ（ｅｎｃｏｄｅｒ）１１０によって、前記テスト用駐車場イメージに前記コンボリューション演算を適用して少なくとも一つのテスト用コンボリューション特徴マップを出力するようにし、前記デコーダ（ｄｅｃｏｄｅｒ）１２０によって、前記テスト用コンボリューション特徴マップに前記デコンボリューション演算を適用して少なくとも一つのテスト用デコンボリューション特徴マップを出力するようにし、前記マスキングレイヤ（ｍａｓｋｉｎｇ ｌａｙｅｒ）１３０によって、前記テスト用デコンボリューション特徴マップにマスキング演算を適用して前記テスト用駐車場イメージ上で一つ以上のテスト用空き駐車領域のセグメンテーションを示すテスト用セグメンテーション情報を出力するようにすることができる。
この際、前記セグメンテーションネットワーク１００は、前記マスキングレイヤ１３０をもって、前記テスト用デコンボリューション特徴マップに前記マスキング演算を適用するようにすることにより、前記テスト用駐車場イメージ上で、（ｉ）一つ以上のテスト用関心駐車可能領域、（ｉｉ）一つ以上のテスト用背景領域、（ｉｉｉ）一つ以上のテスト用関心外駐車可能領域、及び（ｉｖ）一つ以上のテスト用駐車された駐車領域のうちの少なくとも一つをセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）するプロセスを遂行することができる。具体的に、前記セグメンテーションネットワーク１００は、前記マスキングレイヤ１３０をもって、前記テスト用空き駐車領域と前記テスト用自動車との間の一つ以上の距離を参照して、前記テスト用空き駐車領域を前記テスト用関心駐車可能領域及び前記テスト用関心外駐車可能領域としてセグメンテーションするようにすることができる。
そして、前記テスト用自動車の運転者は、前記ディスプレイされたセマンティックセグメンテーション（ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ）のうち、前記駐車可能領域の希望する領域を選択することができる。
また、他の例として、前記自動車の前記自動駐車装置が、特定条件を参照して前記関心駐車可能領域のうちの前記特定駐車可能領域を選択することができる。例えば、前記関心駐車可能領域のうちの前記自動車の現在位置と最も近い前記特定駐車可能領域が選択されるか、前記自動車の走行方向から最短走行距離に位置する前記特定駐車可能領域が選択され得る。
その後、前記テスティング装置２０００は、テスト用特定ＲＯＩに対応する前記テスト用デコンボリューション特徴マップをリグレッサ２００に入力することにより、前記リグレッサ２００をもって、前記テスト用特定ＲＯＩの中心からの前記テスト用特定ＲＯＩの一つ以上の頂点に対するテスト用相対座標を生成するようにし、前記テスト用相対座標に前記リグレッション演算を適用して、少なくとも一つのテスト用特定駐車可能領域（前記テスト用空き駐車領域のうちの前記テスト用特定駐車可能領域は、前記テスト用特定ＲＯＩとして決定される）に対するテスト用リグレッション位置情報を生成するようにするプロセスを遂行することができる。
そして、前記テスト用の特定駐車可能領域に対する前記テスト用リグレッション位置情報が取得されると、前記テスティング装置２０００が、前記テスト用自動車の前記自動駐車装置をもって、前記テスト用リグレッション位置情報を参照して、前記テスト用特定駐車可能領域内に前記テスト用自動車を駐車させるようにするプロセスを遂行することができる。
つまり、前記駐車場内で前記空き駐車領域を確認するだけでなく、前記空き駐車領域に対する正確な位置情報を提供することで、前記自動車の前記自動駐車装置をもって、前記空き駐車領域内に前記自動車を駐車させるようにすることができる。
一方、それぞれのカメラは、駐車場の同一に区切られた空間のイメージあるいは映像を撮影するように多数のカメラが設置され得、それぞれのカメラは駐車場内で位置が割り当てられ得る。
前記で説明したように、本発明は、駐車場の上部領域から床方向へ撮影した駐車場のイメージにセマンティックセグメンテーションを適用して、空き駐車領域を確認し、セマンティックセグメンテーション内で関心駐車可能領域に対応するＲＯＩをジッタリングして学習されたリグレッサによって、関心駐車可能領域の各頂点の相対座標を算出して関心駐車可能領域に対する正確な情報を提供する。
また、以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で具現されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ読取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知となって利用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims (24)

  1. 駐車場の駐車可能空間を検出するために利用される自動車の自動駐車装置を学習する方法において、
    （ａ）前記駐車場の上部から前記駐車場の床方向に前記自動車の周辺領域を撮影して生成された少なくとも一つの駐車場イメージが取得されると、学習装置が、（ｉ）前記駐車場イメージをセグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（ｉ−１）エンコーダ（ｅｎｃｏｄｅｒ）によって、前記駐車場イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つのコンボリューション特徴マップを出力するようにし、（ｉ−２）デコーダ（ｄｅｃｏｄｅｒ）によって、前記コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用してデコンボリューション特徴マップを出力するようにし、（ｉ−３）マスキングレイヤ（ｍａｓｋｉｎｇ ｌａｙｅｒ）によって、前記デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用して前記駐車場イメージ上で一つ以上の空き駐車領域のセグメンテーションを示すセグメンテーション情報を出力するようにするプロセスを遂行する段階、
    （ｂ）前記学習装置が、（ｉ）特定ＲＯＩに対応する前記デコンボリューション特徴マップをリグレッサ（ｒｅｇｒｅｓｓｏｒ）に入力することにより、前記リグレッサをもって、（ｉ−１）前記特定ＲＯＩの中心からの前記特定ＲＯＩの一つ以上の頂点に対する相対座標を生成するようにし、（ｉ−２）前記相対座標に少なくとも一つのリグレッション演算を適用して、少なくとも一つの特定駐車可能領域（前記空き駐車領域のうちの前記特定駐車可能領域は、前記特定ＲＯＩとして決定される）に対するリグレッション位置情報を生成するようにするプロセスを遂行する段階、及び
    （ｃ）前記学習装置が、第１ロスレイヤをもって、前記リグレッション位置情報とこれに対応する少なくとも一つのＲＯＩのＧＴ（ｇｒｏｕｎｄ ｔｒｕｔｈ）とを参照して一つ以上の第１ロスを算出するようにするプロセス、及び前記第１ロスを利用したバックプロパゲーションによって、前記第１ロスを最小化するように前記リグレッサを学習させるプロセスを遂行する段階、
    を含むことを特徴とする方法。
  2. 前記セグメンテーションネットワークは、以前学習装置により前記駐車場イメージ上で前記空き駐車領域をセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）して生成されたセグメンテーション情報を出力するよう事前学習された状態であり、
    少なくとも一つの学習用以前駐車場イメージが取得されると、前記以前学習装置が、（ｉ）前記学習用以前駐車場イメージを前記セグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（ｉ−１）前記エンコーダによって、前記学習用以前駐車場イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの学習用以前コンボリューション特徴マップを出力するようにし、（ｉ−２）前記デコーダによって、前記学習用以前コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用して少なくとも一つの学習用以前デコンボリューション特徴マップを出力するようにし、（ｉ−３）前記マスキングレイヤによって、前記学習用以前デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用して前記学習用以前駐車場イメージ上で前記空き駐車領域のセグメンテーションを示す学習用以前セグメンテーション情報を出力するようにするプロセス、及び（ｉｉ）第２ロスレイヤをもって、前記学習用以前セグメンテーション情報とこれに対応する少なくとも一つのセグメンテーションＧＴとを参照して、一つ以上の第２ロスを算出するようにし、前記第２ロスを利用したバックプロパゲーションによって、前記第２ロスが最小化されるように前記マスキングレイヤ、前記デコーダ、及び前記エンコーダのうちの少なくとも一つのパラメータがアップデートされるプロセス、
    を遂行することを特徴とする請求項１に記載の方法。
  3. 前記学習装置は、前記ＲＯＩのＧＴをジッタリング（ｊｉｔｔｅｒｉｎｇ）するプロセス、及び前記第１ロスレイヤをもって、ジッタリングされた前記ＲＯＩのＧＴと前記リグレッション位置情報とを参照して前記第１ロスを算出するようにするプロセス、
    を遂行することを特徴とする請求項１に記載の方法。
  4. 前記学習装置は、前記ＲＯＩのＧＴのスケールを参照して、前記ＲＯＩのＧＴの前記スケールの最大値と前記スケールの最小値とを設定するプロセス、及び前記ＲＯＩのＧＴの前記スケールの前記最大値と前記スケールの前記最小値との平均を用いて前記ＲＯＩのＧＴをジッタリングするプロセス、
    を遂行することを特徴とする請求項３に記載の方法。
  5. 前記学習装置は、前記スケールの前記最大値と前記スケールの前記最小値との間から無作為に選択される一つ以上のランダムスケールを取得するプロセス、及び前記第１ロスレイヤをもって、それぞれの前記ランダムスケールと前記リグレッション位置情報とを参照して一つ以上の第３ロスを算出するようにし、それぞれの前記第３ロスを利用したバックプロパゲーションによってそれぞれの前記第３ロスを最小化するように前記リグレッサを微細調整するようにするプロセス、
    を遂行することを特徴とする請求項４に記載の方法。
  6. 前記学習装置は、前記マスキングレイヤをもって、前記デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用するようにすることにより、前記駐車場イメージ上で、（ｉ）一つ以上の関心駐車可能領域、（ｉｉ）一つ以上の背景領域、（ｉｉ）一つ以上の関心外駐車可能領域、及び（ｉｖ）一つ以上の駐車された駐車領域のうちの少なくとも一つをセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）するプロセス、
    を遂行することを特徴とする請求項１に記載の方法。
  7. 前記学習装置は、前記マスキングレイヤをもって、前記空き駐車領域と前記自動車との間の一つ以上の距離を参照して、前記空き駐車領域を前記関心駐車可能領域及び前記関心外駐車可能領域にセグメンテーションするようにするプロセス、
    を遂行することを特徴とする請求項６に記載の方法。
  8. 駐車場の駐車可能空間を検出するため利用される自動車の自動駐車装置をテスティングする方法において、
    （ａ）少なくとも一つの学習用駐車場イメージが取得されると、学習装置が、（ｉ）前記学習用駐車場イメージをセグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（ｉ−１）エンコーダ（ｅｎｃｏｄｅｒ）によって、前記学習用駐車場イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの学習用コンボリューション特徴マップを出力するようにし、（ｉ−２）デコーダ（ｄｅｃｏｄｅｒ）によって、前記学習用コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用して学習用デコンボリューション特徴マップを出力するようにし、（ｉ−３）マスキングレイヤ（ｍａｓｋｉｎｇ ｌａｙｅｒ）によって、前記学習用デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用して前記学習用駐車場イメージ上で一つ以上の学習用空き駐車領域のセグメンテーションを示す学習用セグメンテーション情報を出力するようにするプロセス、（ｉｉ）学習用特定ＲＯＩに対応する前記学習用デコンボリューション特徴マップをリグレッサ（ｒｅｇｒｅｓｓｏｒ）に入力することにより、前記リグレッサをもって、（ｉｉ−１）前記学習用特定ＲＯＩの中心からの前記学習用特定ＲＯＩの一つ以上の頂点に対する学習用相対座標を生成するようにし、（ｉｉ−２）前記学習用相対座標に少なくとも一つのリグレッション演算を適用して、少なくとも一つの学習用特定駐車可能領域（前記学習用空き駐車領域のうちの前記学習用特定駐車可能領域は、前記学習用特定ＲＯＩとして決定される）に対する学習用リグレッション位置情報を生成するようにするプロセス、及び（ｉｉｉ）第１ロスレイヤをもって、前記学習用リグレッション位置情報と、これに対応する少なくとも一つのＲＯＩのＧＴ（ｇｒｏｕｎｄ ｔｒｕｔｈ）とを参照して一つ以上の第１ロスを算出するようにするプロセス、及び前記第１ロスを利用したバックプロパゲーションによって、前記第１ロスを最小化するように前記リグレッサを学習させるプロセスを遂行した状態で、テスティング装置が、テスト用駐車場の上部から前記テスト用駐車場の床方向にテスト用自動車の周辺領域を撮影して生成された少なくとも一つのテスト用駐車場イメージが取得されると、（ａ−１）前記テスト用駐車場イメージを前記セグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（ａ−１ーａ）前記エンコーダ（ｅｎｃｏｄｅｒ）によって、前記テスト用駐車場イメージに前記コンボリューション演算を適用して少なくとも一つのテスト用コンボリューション特徴マップを出力するようにし、（ａ−１−ｂ）前記デコーダ（ｄｅｃｏｄｅｒ）によって、前記テスト用コンボリューション特徴マップに前記デコンボリューション演算を適用してテスト用デコンボリューション特徴マップを出力するようにし、（ａ−１−ｃ）前記マスキングレイヤ（ｍａｓｋｉｎｇ ｌａｙｅｒ）によって、前記テスト用デコンボリューション特徴マップにマスキング演算を適用して前記テスト用駐車場イメージ上で一つ以上のテスト用空き駐車領域のセグメンテーションを示すテスト用セグメンテーション情報を出力するようにするプロセスを遂行する段階、及び
    （ｂ）前記テスティング装置が、テスト用特定ＲＯＩに対応する前記テスト用デコンボリューション特徴マップを前記リグレッサ（ｒｅｇｒｅｓｓｏｒ）に入力することにより、前記リグレッサをもって、（ｉ−１）前記テスト用特定ＲＯＩの中心からの前記テスト用特定ＲＯＩの一つ以上の頂点に対するテスト用相対座標を生成するようにし、（ｉ−２）前記テスト用相対座標に前記リグレッション演算を適用して、少なくとも一つのテスト用特定駐車可能領域（前記テスト用空き駐車領域のうちの前記テスト用特定駐車可能領域は、前記テスト用特定ＲＯＩとして決定される）に対するテスト用リグレッション位置情報を生成するようにするプロセスを遂行する段階、
    を含むことを特徴とするテスティング方法。
  9. 前記セグメンテーションネットワークは、以前学習装置により前記テスト用駐車場イメージ上で前記テスト用空き駐車領域をセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）して生成されたテスト用セグメンテーション情報を出力するよう事前学習された状態であり、
    少なくとも一つの学習用以前駐車場イメージが取得されると、前記以前学習装置が、（ｉ）前記学習用以前駐車場イメージを前記セグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（ｉ−１）前記エンコーダによって、前記学習用以前駐車場イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの学習用以前コンボリューション特徴マップを出力するようにし、（ｉ−２）前記デコーダによって、前記学習用以前コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用して少なくとも一つの学習用以前デコンボリューション特徴マップを出力するようにし、（ｉ−３）前記マスキングレイヤによって、前記学習用以前デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用して前記学習用以前駐車場イメージ上で前記空き駐車領域のセグメンテーションを示す学習用以前セグメンテーション情報を出力するようにするプロセス、及び（ｉｉ）第２ロスレイヤをもって、前記学習用以前セグメンテーション情報とこれに対応する少なくとも一つのセグメンテーションＧＴとを参照して、一つ以上の第２ロスを算出するようにし、前記第２ロスを利用したバックプロパゲーションによって、前記第２ロスが最小化されるように前記マスキングレイヤ、前記デコーダ、及び前記エンコーダのうちの少なくとも一つのパラメータがアップデートされるプロセス、
    を遂行することを特徴とする請求項８に記載のテスティング方法。
  10. 前記テスティング装置は、前記マスキングレイヤをもって、前記テスト用デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用するようにすることにより、前記テスト用駐車場イメージ上で、（ｉ）一つ以上のテスト用関心駐車可能領域、（ｉｉ）一つ以上のテスト用背景領域、（ｉｉｉ）一つ以上のテスト用関心外駐車可能領域、及び（ｉｖ）一つ以上のテスト用駐車された駐車領域のうちの少なくとも一つをセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）するプロセス、
    を遂行することを特徴とする請求項８に記載のテスティング方法。
  11. 前記テスティング装置は、前記マスキングレイヤをもって、前記テスト用空き駐車領域と前記テスト用自動車との間の一つ以上の距離を参照して、前記テスト用空き駐車領域を前記テスト用関心駐車可能領域及び前記テスト用関心外駐車可能領域にセグメンテーションするようにするプロセス、
    を遂行することを特徴とする請求項１０に記載のテスティング方法。
  12. （ｃ）前記テスト用特定駐車可能領域に対する前記テスト用リグレッション位置情報が取得されると、前記テスティング装置が、前記テスト用自動車の前記自動駐車装置をもって、前記テスト用リグレッション位置情報を参照して、前記テスト用特定駐車可能領域内に前記テスト用自動車を駐車させるようにするプロセスを遂行する段階、
    をさらに含むことを特徴とする請求項８に記載のテスティング方法。
  13. 駐車場の駐車可能空間を検出するために利用される自動車の自動駐車装置を学習する学習装置において、
    インストラクションを格納する少なくとも一つのメモリ、及び
    （Ｉ）前記駐車場の上部から前記駐車場の床方向に前記自動車の周辺領域を撮影して生成された少なくとも一つの駐車場イメージが取得されると、（ｉ）前記駐車場イメージをセグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（ｉ−１）エンコーダ（ｅｎｃｏｄｅｒ）によって、前記駐車場イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つのコンボリューション特徴マップを出力するようにし、（ｉ−２）デコーダ（ｄｅｃｏｄｅｒ）によって、前記コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用してデコンボリューション特徴マップを出力するようにし、（ｉ−３）マスキングレイヤ（ｍａｓｋｉｎｇ ｌａｙｅｒ）によって、前記デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用して前記駐車場イメージ上で一つ以上の空き駐車領域のセグメンテーションを示すセグメンテーション情報を出力するようにするプロセス、（ＩＩ）特定ＲＯＩに対応する前記デコンボリューション特徴マップをリグレッサ（ｒｅｇｒｅｓｓｏｒ）に入力することにより、前記リグレッサをもって、（ｉ−１）前記特定ＲＯＩの中心からの前記特定ＲＯＩの一つ以上の頂点に対する相対座標を生成するようにし、（ｉ−２）前記相対座標に少なくとも一つのリグレッション演算を適用して、少なくとも一つの特定駐車可能領域（前記空き駐車領域のうちの前記特定駐車可能領域は、前記特定ＲＯＩとして決定される）に対するリグレッション位置情報を生成するようにするプロセス、及び（ＩＩＩ）第１ロスレイヤをもって、前記リグレッション位置情報とこれに対応する少なくとも一つのＲＯＩのＧＴ（ｇｒｏｕｎｄ ｔｒｕｔｈ）とを参照して一つ以上の第１ロスを算出するようにするプロセス、及び前記第１ロスを利用したバックプロパゲーションによって、前記第１ロスを最小化するように前記リグレッサを学習させるプロセスを遂行するか、他の装置をもって遂行するようにするために前記インストラクションを実行するように構成された少なくとも一つのプロセッサ、
    を含むことを特徴とする学習装置。
  14. 前記セグメンテーションネットワークは、以前学習装置により前記駐車場イメージ上で前記空き駐車領域をセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）して生成されたセグメンテーション情報を出力するよう事前学習された状態であり、
    少なくとも一つの学習用以前駐車場イメージが取得されると、前記以前学習装置が、（ｉ）前記学習用以前駐車場イメージを前記セグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（ｉ−１）前記エンコーダによって、前記学習用以前駐車場イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの学習用以前コンボリューション特徴マップを出力するようにし、（ｉ−２）前記デコーダによって、前記学習用以前コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用して少なくとも一つの学習用以前デコンボリューション特徴マップを出力するようにし、（ｉ−３）前記マスキングレイヤによって、前記学習用以前デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用して前記学習用以前駐車場イメージ上で前記空き駐車領域のセグメンテーションを示す学習用以前セグメンテーション情報を出力するようにするプロセス、及び（ｉｉ）第２ロスレイヤをもって、前記学習用以前セグメンテーション情報とこれに対応する少なくとも一つのセグメンテーションＧＴとを参照して、一つ以上の第２ロスを算出するようにし、前記第２ロスを利用したバックプロパゲーションによって、前記第２ロスが最小化されるように前記マスキングレイヤ、前記デコーダ、及び前記エンコーダのうちの少なくとも一つのパラメータがアップデートされるプロセス、
    を遂行することを特徴とする請求項１３に記載の学習装置。
  15. 前記プロセッサは、前記ＲＯＩのＧＴをジッタリング（ｊｉｔｔｅｒｉｎｇ）するプロセス、及び前記第１ロスレイヤをもって、ジッタリングされた前記ＲＯＩのＧＴと前記リグレッション位置情報とを参照して前記第１ロスを算出するようにするプロセス、
    を遂行することを特徴とする請求項１３に記載の学習装置。
  16. 前記プロセッサは、前記ＲＯＩのＧＴのスケールを参照して、前記ＲＯＩのＧＴの前記スケールの最大値と前記スケールの最小値とを設定するプロセス、及び前記ＲＯＩのＧＴの前記スケールの前記最大値と前記スケールの前記最小値との平均を用いて前記ＲＯＩのＧＴをジッタリングするプロセス、
    を遂行することを特徴とする請求項１５に記載の学習装置。
  17. 前記プロセッサは、前記スケールの前記最大値と前記スケールの前記最小値との間から無作為に選択される一つ以上のランダムスケールを取得するプロセス、及び前記第１ロスレイヤをもって、それぞれの前記ランダムスケールと前記リグレッション位置情報とを参照して一つ以上の第３ロスを算出するようにし、それぞれの前記第３ロスを利用したバックプロパゲーションによってそれぞれの前記第３ロスを最小化するように前記リグレッサを微細調整するようにするプロセス、
    を遂行することを特徴とする請求項１６に記載の学習装置。
  18. 前記プロセッサは、前記マスキングレイヤをもって、前記デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用するようにすることにより、前記駐車場イメージ上で、（ｉ）一つ以上の関心駐車可能領域、（ｉｉ）一つ以上の背景領域、（ｉｉ）一つ以上の関心外駐車可能領域、及び（ｉｖ）一つ以上の駐車された駐車領域のうちの少なくとも一つをセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）するプロセス、
    を遂行することを特徴とする請求項１３に記載の学習装置。
  19. 前記プロセッサは、前記マスキングレイヤをもって、前記空き駐車領域と前記自動車との間の一つ以上の距離を参照して、前記空き駐車領域を前記関心駐車可能領域及び前記関心外駐車可能領域にセグメンテーションするようにするプロセス、
    を遂行することを特徴とする請求項１８に記載の学習装置。
  20. 駐車場の駐車可能空間を検出するため利用される自動車の自動駐車装置をテスティングするテスティング装置において、
    インストラクションを格納する少なくとも一つのメモリ、及び
    （Ｉ）少なくとも一つの学習用駐車場イメージが取得されると、（ｉ）前記学習用駐車場イメージをセグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（ｉ−１）エンコーダ（ｅｎｃｏｄｅｒ）によって、前記学習用駐車場イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの学習用コンボリューション特徴マップを出力するようにし、（ｉ−２）デコーダ（ｄｅｃｏｄｅｒ）によって、前記学習用コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用して学習用デコンボリューション特徴マップを出力するようにし、（ｉ−３）マスキングレイヤ（ｍａｓｋｉｎｇ ｌａｙｅｒ）によって、前記学習用デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用して前記学習用駐車場イメージ上で一つ以上の学習用空き駐車領域のセグメンテーションを示す学習用セグメンテーション情報を出力するようにするプロセス、（ｉｉ）学習用特定ＲＯＩに対応する前記学習用デコンボリューション特徴マップをリグレッサ（ｒｅｇｒｅｓｓｏｒ）に入力することにより、前記リグレッサをもって、（ｉｉ−１）前記学習用特定ＲＯＩの中心からの前記学習用特定ＲＯＩの一つ以上の頂点に対する学習用相対座標を生成するようにし、（ｉｉ−２）前記学習用相対座標に少なくとも一つのリグレッション演算を適用して、少なくとも一つの学習用特定駐車可能領域（前記学習用空き駐車領域のうちの前記学習用特定駐車可能領域は、前記学習用特定ＲＯＩとして決定される）に対する学習用リグレッション位置情報を生成するようにするプロセス、及び（ｉｉｉ）第１ロスレイヤをもって、前記学習用リグレッション位置情報と、これに対応する少なくとも一つのＲＯＩのＧＴ（ｇｒｏｕｎｄ ｔｒｕｔｈ）とを参照して一つ以上の第１ロスを算出するようにするプロセス、及び前記第１ロスを利用したバックプロパゲーションによって、前記第１ロスを最小化するように前記リグレッサを学習させるプロセスを遂行した状態で、（Ｉー１）テスト用駐車場の上部から前記テスト用駐車場の床方向にテスト用自動車の周辺領域を撮影して生成された少なくとも一つのテスト用駐車場イメージが取得されると、前記テスト用駐車場イメージを前記セグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（Ｉ−１ーａ）前記エンコーダ（ｅｎｃｏｄｅｒ）によって、前記テスト用駐車場イメージに前記コンボリューション演算を適用して少なくとも一つのテスト用コンボリューション特徴マップを出力するようにし、（Ｉ−１−ｂ）前記デコーダ（ｄｅｃｏｄｅｒ）によって、前記テスト用コンボリューション特徴マップに前記デコンボリューション演算を適用してテスト用デコンボリューション特徴マップを出力するようにし、（Ｉ−１−ｃ）前記マスキングレイヤ（ｍａｓｋｉｎｇ ｌａｙｅｒ）によって、前記テスト用デコンボリューション特徴マップにマスキング演算を適用して前記テスト用駐車場イメージ上で一つ以上のテスト用空き駐車領域のセグメンテーションを示すテスト用セグメンテーション情報を出力するようにするプロセス、及び（ＩＩ）テスト用特定ＲＯＩに対応する前記テスト用デコンボリューション特徴マップを前記リグレッサ（ｒｅｇｒｅｓｓｏｒ）に入力することにより、前記リグレッサをもって、（ＩＩ−１）前記テスト用特定ＲＯＩの中心からの前記テスト用特定ＲＯＩの一つ以上の頂点に対するテスト用相対座標を生成するようにし、（ＩＩ−２）前記テスト用相対座標に前記リグレッション演算を適用して、少なくとも一つのテスト用特定駐車可能領域（前記テスト用空き駐車領域のうちの前記テスト用特定駐車可能領域は、前記テスト用特定ＲＯＩとして決定される）に対するテスト用リグレッション位置情報を生成するようにするプロセスを遂行するか、他の装置をもって遂行するようにするために前記インストラクションを実行するように構成された少なくとも一つのプロセッサ、
    を含むことを特徴とするテスティング装置。
  21. 前記セグメンテーションネットワークは、以前学習装置により前記テスト用駐車場イメージ上で前記テスト用空き駐車領域をセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）して生成されたテスト用セグメンテーション情報を出力するよう事前学習された状態であり、
    少なくとも一つの学習用以前駐車場イメージが取得されると、前記以前学習装置が、（ｉ）前記学習用以前駐車場イメージを前記セグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（ｉ−１）前記エンコーダによって、前記学習用以前駐車場イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの学習用以前コンボリューション特徴マップを出力するようにし、（ｉ−２）前記デコーダによって、前記学習用以前コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用して少なくとも一つの学習用以前デコンボリューション特徴マップを出力するようにし、（ｉ−３）前記マスキングレイヤによって、前記学習用以前デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用して前記学習用以前駐車場イメージ上で前記空き駐車領域のセグメンテーションを示す学習用以前セグメンテーション情報を出力するようにするプロセス、及び（ｉｉ）第２ロスレイヤをもって、前記学習用以前セグメンテーション情報とこれに対応する少なくとも一つのセグメンテーションＧＴとを参照して、一つ以上の第２ロスを算出するようにし、前記第２ロスを利用したバックプロパゲーションによって、前記第２ロスが最小化されるように前記マスキングレイヤ、前記デコーダ、及び前記エンコーダのうちの少なくとも一つのパラメータがアップデートされるプロセス、
    を遂行することを特徴とする請求項２０に記載のテスティング装置。
  22. 前記プロセッサは、前記マスキングレイヤをもって、前記テスト用デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用するようにすることにより、前記テスト用駐車場イメージ上で、（ｉ）一つ以上のテスト用関心駐車可能領域、（ｉｉ）一つ以上のテスト用背景領域、（ｉｉｉ）一つ以上のテスト用関心外駐車可能領域、及び（ｉｖ）一つ以上のテスト用駐車された駐車領域のうちの少なくとも一つをセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）するプロセス、
    を遂行することを特徴とする請求項２０に記載のテスティング装置。
  23. 前記プロセッサは、前記マスキングレイヤをもって、前記テスト用空き駐車領域と前記テスト用自動車との間の一つ以上の距離を参照して、前記テスト用空き駐車領域を前記テスト用関心駐車可能領域及び前記テスト用関心外駐車可能領域にセグメンテーションするようにするプロセス、
    を遂行することを特徴とする請求項２２に記載のテスティング装置。
  24. 前記プロセッサが、（ＩＩＩ）前記テスト用特定駐車可能領域に対する前記テスト用リグレッション位置情報が取得されると、前記テスト用自動車の前記自動駐車装置をもって、前記テスト用リグレッション位置情報を参照して、前記テスト用特定駐車可能領域内に前記テスト用自動車を駐車させるようにするプロセスを遂行するプロセス、
    をさらに遂行することを特徴とする請求項２０に記載のテスティング装置。
JP2020009860A 2019-01-31 2020-01-24 自動駐車システム内のセマンティックセグメンテーションを利用した駐車領域を検出するための方法及び装置 Active JP6910664B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962799349P 2019-01-31 2019-01-31
US62/799,349 2019-01-31
US16/739,168 US10796434B1 (en) 2019-01-31 2020-01-10 Method and device for detecting parking area using semantic segmentation in automatic parking system
US16/739,168 2020-01-10

Publications (2)

Publication Number Publication Date
JP2020126636A JP2020126636A (ja) 2020-08-20
JP6910664B2 true JP6910664B2 (ja) 2021-07-28

Family

ID=69190641

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020009860A Active JP6910664B2 (ja) 2019-01-31 2020-01-24 自動駐車システム内のセマンティックセグメンテーションを利用した駐車領域を検出するための方法及び装置

Country Status (5)

Country Link
US (1) US10796434B1 (ja)
EP (1) EP3690728B1 (ja)
JP (1) JP6910664B2 (ja)
KR (1) KR102396277B1 (ja)
CN (1) CN111507158B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022045877A1 (en) * 2020-08-28 2022-03-03 Mimos Berhad A system and method for identifying occupancy of parking lots
KR102327860B1 (ko) * 2021-06-14 2021-11-17 주식회사 에이스뷰 차량용 다채널 어라운드뷰 모니터링 방법 및 시스템
CN113869614B (zh) * 2021-12-03 2022-04-19 北京航空航天大学杭州创新研究院 一种基于时空图卷积的行人流早期预测方法
CN115393595B (zh) * 2022-10-27 2023-02-03 福思(杭州)智能科技有限公司 分割网络模型训练方法、车道线检测方法、装置和介质
CN115797934B (zh) * 2022-12-01 2023-12-01 北京百度网讯科技有限公司 仪表示数方法、装置、电子设备以及存储介质

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9290146B2 (en) * 1992-05-05 2016-03-22 Intelligent Technologies International, Inc. Optical monitoring of vehicle interiors
US20060233461A1 (en) * 2005-04-19 2006-10-19 Honeywell International Inc. Systems and methods for transforming 2d image domain data into a 3d dense range map
JP4497133B2 (ja) * 2006-07-12 2010-07-07 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
JP5472538B2 (ja) * 2011-06-14 2014-04-16 日産自動車株式会社 距離計測装置及び環境地図生成装置
US9129524B2 (en) 2012-03-29 2015-09-08 Xerox Corporation Method of determining parking lot occupancy from digital camera images
US10325165B2 (en) 2014-09-30 2019-06-18 Conduent Business Services, Llc Vision-based on-street parked vehicle detection via normalized-view classifiers and temporal filtering
WO2017074470A1 (en) * 2015-10-30 2017-05-04 Hewlett-Packard Development Company, L.P. Skew sensor calibration
US9446730B1 (en) * 2015-11-08 2016-09-20 Thunder Power Hong Kong Ltd. Automatic passenger airbag switch
US9996905B2 (en) * 2016-03-16 2018-06-12 Planet Labs, Inc. Systems and methods for enhancing object visibility for overhead imaging
US20180074494A1 (en) * 2016-09-13 2018-03-15 Ford Global Technologies, Llc Passenger tracking systems and methods
KR20180050823A (ko) * 2016-11-07 2018-05-16 삼성전자주식회사 3차원의 도로 모델을 생성하는 방법 및 장치
US10176388B1 (en) * 2016-11-14 2019-01-08 Zoox, Inc. Spatial and temporal information for semantic segmentation
KR101955506B1 (ko) * 2016-12-12 2019-03-11 주식회사 피엘케이 테크놀로지 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치 및 방법
US10296794B2 (en) * 2016-12-20 2019-05-21 Jayant Rtti On-demand artificial intelligence and roadway stewardship system
EP3566201A4 (en) * 2016-12-22 2020-11-25 Xevo Inc. PROCESS AND SYSTEM FOR PROVIDING SERVICES OF ANALYSIS OF ARTIFICIAL INTELLIGENCE (AIA) FOR PERFORMANCE PREDICTION
JP6760114B2 (ja) * 2017-01-31 2020-09-23 富士通株式会社 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
US10509947B1 (en) * 2017-04-11 2019-12-17 Zoox, Inc. Converting multi-dimensional data for image analysis
CN107730903A (zh) 2017-06-13 2018-02-23 银江股份有限公司 基于深度卷积神经网络的违章停车和抛锚车视觉检测系统
CN107665603B (zh) 2017-09-06 2020-06-16 哈尔滨工程大学 一种判定车位占用的实时检测方法
CN107730514B (zh) * 2017-09-29 2021-02-12 北京奇宝科技有限公司 场景分割网络训练方法、装置、计算设备及存储介质
CN107719361A (zh) * 2017-10-10 2018-02-23 深圳市豪恩汽车电子装备股份有限公司 基于图像视觉的自动泊车辅助方法及系统
US10169679B1 (en) * 2017-10-13 2019-01-01 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using loss augmentation and testing method and testing device using the same
CN108133484B (zh) * 2017-12-22 2022-01-28 北京奇虎科技有限公司 基于场景分割的自动驾驶处理方法及装置、计算设备
US11501572B2 (en) * 2018-03-26 2022-11-15 Nvidia Corporation Object behavior anomaly detection using neural networks

Also Published As

Publication number Publication date
CN111507158B (zh) 2023-11-24
KR102396277B1 (ko) 2022-05-10
JP2020126636A (ja) 2020-08-20
EP3690728C0 (en) 2024-01-03
US10796434B1 (en) 2020-10-06
KR20200095385A (ko) 2020-08-10
CN111507158A (zh) 2020-08-07
EP3690728A1 (en) 2020-08-05
EP3690728B1 (en) 2024-01-03

Similar Documents

Publication Publication Date Title
JP6910664B2 (ja) 自動駐車システム内のセマンティックセグメンテーションを利用した駐車領域を検出するための方法及び装置
JP6982897B2 (ja) ライダ、レーダ及びカメラセンサのデータを使用する強化学習に基づく自律走行時の最適化されたリソース割当てのための方法及び装置
JP6923960B2 (ja) 自動駐車システムを提供するために決定地点間の関係及び決定地点に対するリグレッション結果を利用して駐車スペースを検出する学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置
JP6857371B2 (ja) 安全な自律走行を支援する学習方法、そしてこれを利用した学習装置、テスト方法、及びテスト装置
CN110163930B (zh) 车道线生成方法、装置、设备、系统及可读存储介质
JP6946298B2 (ja) 画像ベースの車両位置特定のためのシステム及び方法
US9846043B2 (en) Map creation apparatus, map creation method, and computer-readable recording medium
JP6872260B2 (ja) 自動車の車線変更に対する危険を警報する方法及びこれを利用した警報装置
JP6857370B2 (ja) ターゲット物体予測ネットワーク及びターゲット物体統合ネットワークを利用して、重要業績評価指標のようなユーザー要求事項に係る最適化のための再構成可能なネットワーク基盤の物体検出器を学習する方法及び学習装置、並びにこれを利用したテスティング方法及びテスティング装置
JP6935946B2 (ja) セグメンテーションスコアマップ及びクラスタリングマップを利用して自律走行車の走行経路を計画するための車線を検出するポストプロセッシング方法及び装置
CN111507130B (zh) 车道级定位方法及系统、计算机设备、车辆、存储介质
KR20200091319A (ko) 레인 마스크(Lane Mask)를 사용하여 후처리 없이 입력 이미지에 포함된 하나 이상의 차선을 검출하는 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102082254B1 (ko) 차량 인식 시스템
JP6910081B2 (ja) 協調走行を遂行する各車両から取得された各走行イメージを統合する方法及びこれを利用した走行イメージ統合装置
KR20190030474A (ko) 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치
JP7194130B2 (ja) 緊急車両をリアルタイムで検出し、緊急車両によって発生すると予想される状況に対処するための走行経路を計画する方法及び装置
CN112753038A (zh) 识别车辆变道趋势的方法和装置
CN114543819A (zh) 车辆定位方法、装置、电子设备及存储介质
JP7461399B2 (ja) 原動機付き車両の走行動作を補助する方法及びアシスト装置並びに原動機付き車両
JP6853543B2 (ja) 自律走行に対する論理的根拠を提示するために、管理者が物体検出器の検出プロセスを評価できるように支援する方法及び装置
KR20140106126A (ko) 전방위 영상 기반 자동 주차 시스템 및 방법
CN115346191A (zh) 用于校准的方法和设备
CN115249407A (zh) 指示灯状态识别方法、装置、电子设备、存储介质及产品
CN112215042A (zh) 一种车位限位器识别方法及其系统、计算机设备
WO2022226989A1 (en) System and method for obstacle-free driving

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210430

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210622

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210630

R150 Certificate of patent or registration of utility model

Ref document number: 6910664

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250