KR20230084293A - 주차 보조 시스템 동작 방법, 컴퓨터 프로그램 제품, 주차 보조 시스템, 차량 및 시스템 - Google Patents

주차 보조 시스템 동작 방법, 컴퓨터 프로그램 제품, 주차 보조 시스템, 차량 및 시스템 Download PDF

Info

Publication number
KR20230084293A
KR20230084293A KR1020237015847A KR20237015847A KR20230084293A KR 20230084293 A KR20230084293 A KR 20230084293A KR 1020237015847 A KR1020237015847 A KR 1020237015847A KR 20237015847 A KR20237015847 A KR 20237015847A KR 20230084293 A KR20230084293 A KR 20230084293A
Authority
KR
South Korea
Prior art keywords
parking
vehicle
interest
roi7
roi1
Prior art date
Application number
KR1020237015847A
Other languages
English (en)
Inventor
엠보요 클라우틸드 와이베트 나나
폴 모란
피오트르 스즈크지토브스키
Original Assignee
발레오 샬터 운트 센소렌 게엠베아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 발레오 샬터 운트 센소렌 게엠베아 filed Critical 발레오 샬터 운트 센소렌 게엠베아
Publication of KR20230084293A publication Critical patent/KR20230084293A/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06Automatic manoeuvring for parking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/0285Parking performed automatically
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

(주차 보조 시스템 동작 방법, 컴퓨터 프로그램 제품, 주차 보조 시스템, 차량 및 시스템)
차량(100)용 주차 보조 시스템(110)을 동작시키는 방법이 제안된다. 이 방법은,
a) 상기 차량(100)의 환경의 광학 이미지(IMG) 및 상기 차량(100)의 환경을 나타내는 디지털 환경 맵(MAP)을 수신하는 단계(S1) - 상기 디지털 환경 맵(MAP)은 적어도 하나의 지정된 주차 구역(P1 - P7)을 포함함 - 와,
b) 상기 적어도 하나의 지정된 주차 구역(P1 - P7) 각각에 대해 제각기의 상기 지정된 주차 구역(P1 - P7)에 대응하는 상기 수신된 광학 이미지(IMG) 내의 관심 영역(ROI1 - ROI7)을 선택하는 단계(S2)와,
c) 각각의 선택된 관심 영역(ROI1 - ROI7)에서, 지면에 제공된 라인(PAT) 및/또는 심볼(SYM1 - SYM3)을 검출하는 단계(S3),
d) 상기 검출된 라인(PAT) 및/또는 심볼(SYM1 - SYM3)에 기초하여, 복수의 주차 구획 클래스(CLS) 중 하나를 각각의 선택된 관심 영역(ROI1 - ROI7)에 할당하는 단계(S4)와,
e) 상기 적어도 하나의 지정된 주차 구역(P1 - P7) 각각에 대해, 상기 대응하는 관심 영역(ROI1 - ROI7)에 할당된 상기 주차 구획 클래스(CLS)에 기초하여 상기 선택된 관심 영역(ROI1 - ROI7)에 대응하는 제각기의 상기 지정된 주차 구역(P1 - P7)이 잠재적인 주차 구획인지 여부를 결정하는 단계(S5)를 포함한다.

Description

주차 보조 시스템 동작 방법, 컴퓨터 프로그램 제품, 주차 보조 시스템, 차량 및 시스템
본 발명은 차량의 주차 보조 시스템, 컴퓨터 프로그램 제품, 차량용 주차 보조 시스템, 주차 보조 시스템을 포함하는 차량과, 차량 및 외부 장치를 포함하는 시스템에 관한 것이다.
주차 보조 시스템은 카메라 이미지를 사용하여 차량 환경에서 주차 구획(parking slot)을 검출하는 것으로 알려져 있다. 예를 들어, 이러한 시스템은 지면에 그려진 라인을 감지하고 분석하여 주차 구획을 검출한다.
장애인 전용, 어린 자녀를 동반한 가족 전용, 여성 전용, 긴급 또는 응급 상황 전용, 전기 자동차 전용 주차 구획 등과 같이 특정 그룹의 사람이나 차량 전용의 다양한 특수 목적 주차 구획이 점점 더 많이 등장하고 있다. 이러한 주차 구획은 종종 심볼이나 문자 등으로 지정되어 있다. 주차 위반 딱지나 기타 심각한 문제를 피하려면 자동차 운전자가 다양한 심볼의 의미를 모두 이해해야 하는데, 특히 심볼의 사용법이 국가마다, 주마다, 심지어 지역마다 다를 수 있으므로 복잡할 수 있다.
DE 10 2017 007 823 A1은 차량 내 카메라를 통해 환경 이미지를 캡처하고 환경 이미지를 기반으로 특수 주차 공간을 검출하는 방법을 공개한다. 또한, 신체 장애가 있는 사람을 위한 특수 장비 및/또는 차량에 장착된 유아용 카시트가 검출되고, 이 정보로부터 적어도 한 명의 차량 탑승자의 특성이 도출된다. 도출된 특성에 대응하는 특수 주차 장소가 목적지로 제공된다.
본 발명의 한 목적은 차량의 주차 보조 시스템의 동작을 향상시키는 것이다.
제1 양태에 따르면, 차량의 주차 보조 시스템의 동작 방법이 제안된다. 제1 단계 a)에서, 차량의 환경의 광학 이미지 및 차량의 환경을 나타내는 디지털 환경 맵이 수신된다. 디지털 환경 맵은 적어도 하나의 지정된 주차 구역(parking area)을 포함한다. 제2 단계 b)에서, 환경 맵에 포함된 적어도 하나의 지정된 주차 구역 각각에 대해 제각기의 지정된 주차 구역에 대응하는 수신된 광학 이미지 내의 관심 영역이 선택된다. 제3 단계 c)에서, 각각의 선택된 관심 영역에서, 지면에 제공된 라인 및/또는 심볼이 검출된다. 제4 단계 d)에서, 검출된 라인 및/또는 심볼에 기초하여, 복수의 주차 구획 클래스 중 하나가 각각의 선택된 관심 영역에 할당된다. 제5 단계 e)에서, 적어도 하나의 지정된 주차 구역 각각에 대해, 해당 관심 영역에 할당된 주차 구획 클래스에 기초하여 선택된 관심 영역에 대응하는 제각기의 지정된 주차 구역이 잠재적인 주차 구획인지 여부가 결정된다.
이 방법은 지면에 제공된 라인 및/또는 심볼을 기반으로 주차 보조 시스템에서 주차 구획을 구분할 수 있다는 장점이 있다. 구체적으로, 특수 목적 주차 구획을 일반 주차 구획과 구분할 수 있고, 주차 금지 구역으로 표시된 잠재적 주차 구획을 검출할 수 있다. 따라서, 주차 보조 시스템의 동작이 개선된다.
차량 환경의 광학 이미지는 차량의 카메라에 의해 검출될 수 있다. 바람직하게는, 광학 이미지는 차량의 서라운드 뷰 이미지에 해당한다. 서라운드 뷰 이미지는 차량 상공으로부터의 조감도 관점에서 차량의 환경을 보여줄 수 있다. 서라운드 뷰 이미지는 각각 특정 시야를 커버하는 여러 이미지를 병합 및/또는 스티칭하여 얻을 수 있다.
디지털 환경 맵은 차량의 실제 환경에 대한 디지털 표현에 해당한다. 환경 맵은 초음파 및/또는 광학 센서 유닛과 같이 차량에 배치된 환경 센서에 의해 검출된 센서 신호에 기초하여 ECU(엔진 제어 유닛) 등과 같은 차량의 처리 유닛에 의해 결정될 수 있다.
디지털 환경 맵을 제공하는 처리 유닛은 바람직하게는 주차 구획 경계선을 검출하도록 구성된다. 이러한 검출은, 예를 들면, 카메라와 같은 광학 센서 유닛에 의해 검출된 광학 이미지에 기반한다. 검출된 주차 구획 경계선을 기반으로, 처리 유닛은 차량 주변에 배치된 잠재적 주차 구역을 지정하도록 추가로 구성된다. 잠재적 주차 구역은, 예를 들어 지면 상의 경계선에 의해 구분되고, 물체 또는 다른 차량 등에 의해 차단되지 않은, 즉 자유로운 영역이다. 예를 들어, 잠재적 주차 구역은 도로변 주차 스트립 또는 주차장 등에 배치될 수 있다. 처리 유닛은 주차 구역을 지정할 때 경계선이 아닌 해당 구역의 지면에 제공된 라인 및/또는 심볼을 고려하지 않는다.
지정된 각 주차 구역은 환경의 광학 이미지 내의 구역에 대응한다. 따라서, 각 지정된 주차 구역에 대해, 광학 이미지에서 대응하는 관심 영역이 선택된다.
그 다음에, 관심 영역이 그 내부에 존재하는 라인 및/또는 심볼에 대해 분석된다. 검출된 라인 및/또는 심볼에 기초하여, 복수의 주차 구획 클래스 중 하나가 선택된 각 관심 영역에 할당된다. 예를 들어, 라인 또는 심볼이 검출되지 않으면, 관심 영역은 "표준 주차 구획" 클래스에 할당될 수 있고, 휠체어 심볼이 검출되면, 관심 영역은 "장애인 주차 구획" 클래스에 할당될 수 있다. 각 관심 영역은 지정된 주차 구역에 대응하므로, 관심 영역에 할당된 주차 구획 클래스는 지정된 주차 구역에도 적용된다. 여기서 '라인'은 특히 지면에 제공된 경계선을 지칭할 수 있다. 예를 들어, 경계선은 라인 폭 및 색상이 모두 비슷한 외관을 가질 수 있다. 즉, 경계선으로 예상되는 것과 다른 외관을 가진 라인은 이러한 의미에서 심볼을 나타내는 것으로 간주될 수 있다.
할당된 주차 구획 클래스를 기반으로, 적어도 하나의 지정된 주차 구역 각각에 대해 선택된 관심 영역에 대응하는 각각의 지정된 주차 구역이 잠재적 주차 구획인지 판정된다. 잠재적 주차 구획은, 예를 들면, 차량에 적합하고 차량의 운전자가 사용할 수 있는 권한을 가진 주차 구획에 대응한다. 이 단계는 특정 필터링 기준 및/또는 우선순위 기준을 적용하는 것을 포함할 수 있다. 예를 들어, 이 단계에서는 장애인 주차 구획이 걸러지도록, 즉 이들은 잠재적 주차 구획으로 간주되지 않도록 설정될 수 있다. 이러한 설정은 구체적으로 사용자에 의해 정의될 수도 있고/있거나, 차량이 플러그인 전기 차량인 경우와 같이 차량의 구성을 기반으로 할 수도 있으며/있거나 유아용 시트와 같이 검출된 추가 장비에 기반하거나 할 수 있다.
따라서, 본 발명에 따른 방법은, 주차 보조 시스템에 의해 다양한 종류의 특수 목적 주차 구획 및/또는 주차 금지 구역이 검출될 수 있고, 주차 보조 시스템에 의해 필터링될 수 있다는 장점이 있다. 이에 따라, 예를 들어, 주차 보조 시스템을 포함하는 차량의 사용자가 차량의 주차를 위해 주차 보조 시스템이 제안한 주차 구획을 사용할 수 있는 권한이 있는지 여부를 다시 확인할 필요가 없기 때문에, 주차 보조 시스템이 보다 효율적으로 동작할 수 있다.
일 실시예에 따르면, 이 방법은 결정된 모든 잠재적 주차 구획을 비교하는 단계, 비교된 잠재적 주차 구획 중 하나를 선택하는 단계, 및 선택된 주차 구획에 주차하도록 차량을 제어하기 위해 선택된 주차 구획을 자율 주행 유닛에게 제공하는 단계를 더 포함한다.
이 실시예에서, 복수의 잠재적 주차 구획 중 하나의 선택이 수행된다. 이는 차량의 환경에 하나 이상의 잠재적 주차 구획이 있는 상황에서 특히 유용하다. 이 선택은 사용자 상호 작용에 기반하거나 또는 완전 자동으로 수행될 수 있다.
비교 단계는 몇 가지 정렬 기준에 따라 잠재적 주차 구획을 정렬하는 단계를 포함한다. 예를 들어, 정렬 순서는 잠재적 주차 구획까지의 차량의 거리, 잠재적 주차 구획의 길이 및/또는 폭, 잠재적 주차 구획에 대응하는 할당된 주차 구획 클래스 및/또는 다른, 가능하게는 사용자 정의 기준에 기초하여 수행될 수 있다.
잠재적 주차 구획 중 하나를 선택하는 단계는, 예를 들어, 디스플레이를 통해 차량의 사용자에게 잠재적 주차 구획을 포함하는 차량의 환경의 그래픽 표현을 출력하는 것을 포함할 수 있고, 사용자는 음성 명령, 제스처, 터치 명령 등에 의해 잠재적 주차 구획 중 하나를 선택할 수 있다.
자율 주행 유닛은 차량을 완전 자동 및/또는 반자동으로 제어하도록 구성될 수 있다. 완전 자동 제어는, 예를 들어 가속기, 브레이크, 스티어링, 기어박스 등의 자동 제어를 포함할 수 있다. 반자동은 예를 들어, 사용자가 액셀러레이터 및 브레이크를 수동으로 제어해야 하는 스티어링 및 기어박스의 제어를 포함할 수 있다.
추가 실시예에 따르면, 이 방법은 복수의 클래스 중 적어도 하나에 대한 결정 정보를 수신하는 단계를 더 포함하며, 여기서 단계 e)는 또한 결정 정보에 기초한다.
결정 정보는 지정된 주차 구획이 잠재적 주차 구획인지 여부를 판정하는 방법에 관한 정보를 포함한다. 특히, 결정 정보는 복수의 주차 구획 클래스와 관련된다. 예를 들어, 결정 정보는 "장애인 주차 구획" 또는 "전기 자동차 주차 구획"과 같은 복수의 주차 구획 클래스 중 하나의 클래스를 잠재적 주차 구획으로 간주해서는 안 된다는 정보를 포함할 수 있다. 결정 정보는 차량의 사용자에 의해 제공 및/또는 입력될 수 있다. 또는, 차량의 제조사는 고객이 제공한 정보에 기초하여 주차 보조 시스템을 구성할 수 있다.
이 실시예는, 차량의 사용자가 자신의 개인별 상황 및 필요에 따라 어떤 주차 구획 클래스가 자신에게 잠재적인 주차 구획인지, 따라서 주차 보조 시스템에 의해 잠재적인 주차 구획으로 결정되어야 하는지를 정확하게 정의할 수 있게 하며, 따라서 사용자는 주차 보조 시스템을 사용하여 차량을 주차하기 위해 이들 주차 구획을 사용할 수 있는 선택권을 갖는다.
이 방법의 다른 실시예에 따르면, 결정 정보는 복수의 클래스 중 적어도 하나에 대한 우선순위 정보를 포함하며, 여기서 단계 e)는 각각의 잠재적 주차 구획에 우선순위를 할당하는 단계 및 결정된 잠재적 주차 구획을 할당된 우선순위에 따라 정렬하는 단계를 더 포함한다.
예를 들어, 우선순위 정보는 폭이 가장 큰 "일반 주차 구획"이 가장 높은 우선순위를 가지며, 도로변 평행 주차 구획으로 배치된 "일반 주차 구획"이 낮은 우선순위를 갖는다는 정보를 포함할 수 있다. 우선순위 정보는 주차 구획의 특정 속성에 해당하는 숫자 값, 예를 들어 0에서 100 사이의 수치 값으로 제공되는 것이 바람직하다. 주차 구획의 특정 속성은 할당된 주차 구획 클래스, 주차 구획의 기하학적 특성, 평행 주차, 비스듬한 주차 또는 수직 주차와 같은 환경의 다른 특징에 대한 주차 구획의 상대적 배열, 주차 구획 옆의 여유 공간 등을 포함한다. 우선순위를 할당할 때, 주차 보조 시스템은 우선순위 정보 및 각 잠재적 주차 구획의 개별 특징에 기초하여 우선순위 점수를 자동으로 결정하도록 구성될 수 있다.
이 방법의 다른 실시예에 따르면, 단계 c)는 검출된 라인이 복수의 사전 정의된 패턴 중 하나와 유사하게 배열되어 있는지를 검출하는 단계를 더 포함하며, 여기서 각각의 사전 정의된 패턴은 적어도 하나의 주차 구획 클래스에 대응한다.
이 실시예에서, 검출된 라인은 사전 정의된 패턴과 비교될 수 있다. 이러한 사전 정의된 패턴은, 예를 들어, 지방 당국 또는 정부에 의해 제공되어 당국의 권한 영역 내에서 균일한 방식으로 주차 구획을 지정하는 데 사용되도록 의도된 패턴일 수 있다. 사전 정의된 패턴은 공식적으로 정의되지 않고 관습적으로 사용되는 패턴도 포함할 수 있다.
사전 정의된 패턴은 라인의 길이, 폭 및/또는 곡률과 같은 기하학적 설명, 두 라인 사이의 각도, 두 라인의 교차점, 교차점까지의 라인의 길이 등과 같은 복수의 라인의 상대적 배열을 사용하여 정의될 수 있다. 여기서 점도 "라인"으로 간주된다는 점에 유의한다.
"유사하게 배열된"이라는 용어는 검출된 라인이 각각의 사전 정의된 패턴을 나타내는 것으로 검출될 수 있는 것으로 이해되어야 한다. 검출된 라인은 각각의 사전 정의된 패턴을 나타내는 것으로 추론된다고 할 수 있다.
검출된 라인들이 복수의 미리 정의된 패턴 중 하나와 유사하게 배열되어 있는지 검출하는 것은, 검출된 라인들의 실제 배열과 미리 정의된 패턴에서의 라인들의 배열 사이의 비교에 기초하여 계산될 수 있는 유사성 점수에 기초할 수 있다.
이 실시예에서, 검출은 결정론적 또는 규칙 기반 알고리즘 등을 사용하여 수행될 수 있으며, 여기에는 휴리스틱 접근법이 포함될 수 있다.
이 방법의 다른 실시예에 따르면, 사전 정의된 패턴은 검출된 라인 및/또는 검출된 라인의 절대 길이 및/또는 절대 폭, 검출된 라인 및/또는 검출된 라인의 섹션 사이의 길이 비율, 검출된 라인 및/또는 검출된 라인의 섹션 사이의 폭 비율, 검출된 라인 및/또는 검출된 라인의 섹션 사이에 형성된 각도, 검출된 라인 및/또는 검출된 라인의 섹션의 곡률 및/또는 검출된 라인 및/또는 검출된 라인의 섹션 사이의 거리를 포함하는 검출된 라인 및/또는 검출된 라인의 섹션의 지리적 특징에 의해 정의된다.
예를 들어, "X" 패턴은 본질적으로 동일한 길이를 가진 두 개의 라인을 가지며 라인의 중간 지점에서 서로 교차하는 것으로 정의될 수 있다. 또 다른 예로서, "지그재그" 라인은 예를 들어, 끝에서 연결되는 적어도 3개의 선형 연장 라인을 가지며 그 사이에 60° 내지 120° 범위의 각도를 포함하는 것으로 정의될 수 있다.
이 방법의 또 다른 실시예에 따르면, 복수의 사전 정의된 패턴들 각각은 적어도 일부 기하학적 특징에 대응하는 값 또는 값 간격의 집합을 포함한다.
이 방법의 또 다른 실시예에 따르면, 단계 c)는 각 관심 영역의 검출된 심볼을 이미지로서 추출하는 단계와 이미지 분류를 위해 훈련된 인공지능을 사용하여 이미지를 분류하는 단계를 더 포함한다.
이 실시예에서, 지면에 제공된 심볼은 알려진 심볼 분류에 대해 훈련된 신경망과 같은 인공 지능에 의해 분류된다. 특히, 인공 지능은 주차 구획을 표시하는 데 사용되는 것으로 알려진 심볼에 대해 학습되었다. 인공지능은 심볼을 미리 정의된 여러 클래스로 분류할 수 있다. 바람직하게는, 각 클래스는 적어도 하나의 주차 구획 클래스에 대응한다.
먼저, 관심 영역에서 심볼이 이미지로 추출된다. 여기에는 인공지능이 분석할 수 있도록 심볼을 포함한 이미지를 준비하기 위해 크기 조정 및/또는 변형 단계를 적용하는 것이 포함될 수 있다.
인공 지능은 조형적 심볼, 숫자, 문자, 단어 등을 인식(분류)하도록 훈련될 수 있다. 인공 지능은 이미지의 구조물 색상도 고려할 수 있다.
제2 양태에 따르면, 컴퓨터 프로그램 제품이 제안된다. 컴퓨터 프로그램 제품은, 컴퓨터가 프로그램을 실행할 경우, 컴퓨터로 하여금 제1 양태에 따른 방법을 수행하도록 하는 명령어를 포함한다.
컴퓨터 프로그램 매체와 같은 컴퓨터 프로그램 제품은 메모리 카드, USB 스틱, CD-ROM, DVD 등과 같은 메모리 장치의 형태 및/또는 컴퓨터 네트워크 등의 서버로부터 다운로드할 수 있는 디지털 데이터 파일의 형태로 제공될 수 있다. 예를 들어, 이는 무선 네트워크를 통해 해당 파일을 전송함으로써 달성될 수 있다.
제3 측면에 따르면, 차량용 주차 보조 시스템이 제안된다. 주차 보조 시스템은 차량의 환경의 광학 이미지 및 차량의 환경을 나타내는 디지털 환경 맵을 수신하는 수신 유닛 - 상기 디지털 환경 맵은 적어도 하나의 지정된 주차 구역을 포함함 - 과, 적어도 하나의 지정된 주차 구역 각각에 대해, 수신된 광학 이미지에서 제각기의 지정된 주차 구역에 대응하는 관심 영역을 선택하는 선택 유닛과, 각각의 선택된 관심 영역에서, 지면에 제공된 라인 및/또는 심볼을 검출하는 검출 유닛과, 검출된 라인 및/또는 심볼에 기초하여, 복수의 주차 구역 클래스 중 하나를 각각의 선택된 관심 영역에 할당하는 할당 유닛과, 적어도 하나의 지정된 주차 구역 각각에 대해, 대응하는 관심 영역에 할당된 주차 구획 클래스에 기초하여 선택된 관심 영역에 대응하는 제각기의 지정된 주차 구역이 잠재적인 주차 구획인지 여부를 결정하는 결정 유닛을 포함한다.
이 주차 보조 시스템은 제1 양태에 따른 방법에 대해 설명한 것과 동일한 장점을 갖는다. 제1 양태에 따른 방법에 대해 제안된 실시예 및 특징들은 또한 대응하는 방식으로 주차 보조 시스템의 특징 및 실시예를 형성할 수 있다.
주차 보조 시스템의 각 유닛, 예컨대 수신 유닛, 선택 유닛, 검출 유닛, 할당 유닛 및 결정 유닛은 하드웨어 및/또는 소프트웨어로 구현될 수 있다. 하드웨어로 구현되는 경우, 각 유닛은 컴퓨터, CPU(central processing unit), ASIC(application specif-ic integrated circuit) 또는 PLC(programmable logic controller)로 구현될 수 있다. 소프트웨어로 구현되는 경우, 각 유닛은 컴퓨터 프로그램 제품, 함수, 알고리즘, 루틴, 프로그래밍 코드의 일부 또는 실행 가능한 객체로 구성될 수 있다. 또한, 각 유닛은 ECU(engine control unit) 등과 같은 차량의 제어 유닛의 일부로서 구현될 수 있다.
제4 양태에 따르면, 차량의 환경의 광학 이미지를 검출하기 위한 적어도 하나의 카메라, 적어도 부분적으로 검출된 광학 이미지에 기초하여 차량의 환경을 나타내는 디지털 환경 맵을 제공하기 위한 처리 유닛 및 제3 양태에 따른 주차 보조 시스템을 포함하는, 차량이 제안된다.
일 실시예에 따르면, 이 차량은 지정된 주차장에 대응하는 할당된 주차 구역 클래스를 외부 유닛으로 전송하도록 구성된 통신 유닛을 더 포함한다.
이 실시예에 따르면, 주차 보조 시스템에 의해 획득된 검출 결과가 인근에 있거나 동일한 위치로 이동을 계획하고 있는 다른 사용자 또는 차량 등에 제공될 수 있는 장점이 있다. 특히, 주차 구획 클래스를 검출하는 고급 기능이 없는 차량도 적절한 주차 구획을 찾을 때 이 정보를 활용할 수 있다. 바람직하게는, GPS 좌표와 같은 차량의 위치 정보가 할당된 주차 구획 클래스와 함께 전송된다.
통신 유닛은 특히 블루투스(R), 와이파이, 적외선, 3G/4G/5G 기술 등과 같은 변조된 전자기 신호를 통해 정보를 전송하도록 구성된다.
제5 양태에 따르면, 제4 양태의 실시예에 따른 적어도 하나의 차량과 차량 외부의 외부 유닛을 포함하는 시스템이 제안된다. 외부 유닛은 차량으로부터 전송된 할당된 주차 구획 클래스를 수신하고, 수신된 주차 구획 클래스를 추가 장치로 전송하고/하거나 수신된 할당된 주차 구획 클래스에 응답하여 차량을 제어하기 위해 제어 명령을 차량에 전송하도록 구성된다.
외부 유닛은 스마트폰과 같은 모바일 장치로 구현될 수도 있고, 데스크톱 컴퓨터 또는 서버와 같은 고정 장치로 구현될 수도 있으며, 또는 다른 차량의 통신 유닛 등으로 구현될 수도 있다.
바람직한 실시예에서, 통신 유닛은 또한 잠재적인 주차 구획의 목록을 외부 유닛으로 더 전송할 수 있다. 그러면, 사용자는 잠재적인 주차 구획 중 하나를 선택할 수 있고, 외부 유닛은 이 선택을 선택된 주차 구획에 자율적으로 주차하도록 차량을 제어하기 위한 제어 명령으로서 전송할 수 있다.
본 발명은 다양한 실시예의 관점에서 설명되었다. 임의의 한 실시예의 하나 이상의 특징은 다른 실시예의 하나 이상의 특징과 결합될 수 있는 것으로 이해해야 한다. 또한, 임의의 실시예에서 임의의 단일 특징 또는 특징들의 조합은 추가적인 실시예를 구성할 수 있다.
본 발명의 추가 실시예 또는 양태는 도면을 참조하여 이하에서 설명되는 종속 청구항 및 실시예에 따른다.
도 1은 차량의 개략도이다.
도 2는 환경 맵의 예를 도시한 것이다.
도 3은 환경의 이미지의 일 예를 도시한 것이다.
도 4는 분류의 일 예를 도시한 것이다.
도 5는 주차 보조 시스템 동작 방법의 일 실시예의 개략적인 블록도이다.
도 6은 주차 보조 시스템의 일 실시예의 개략적인 블록도이다.
도 7은 차량과 외부 유닛을 포함하는 시스템의 예를 도시한 것이다.
도면에서, 유사한 요소는 달리 표시되지 않는 한 동일한 참조 번호로 표시된다.
도 1은 차량(100)(예컨대, 자동차)의 개략도이다. 차량(100)은 처리 유닛(105) 및 주차 보조 시스템(110)을 포함한다. 처리 유닛(105)은 엔진 제어 유닛(ECU)으로 구현될 수 있다. 처리 유닛(105)과 주차 보조 시스템(110)은 도 1에서 별도의 유닛으로 도시되어 있지만, 이들은 단일 집적 회로에 함께 구현될 수 있고/또는 CPU, RAM 등과 같은 자원을 공유할 수 있다. 또한, 차량(100)은 복수의 센서(120, 130)를 더 포함한다. 예를 들어, 센서(120)는 광학 센서로 구현되며, 카메라, 레이더 및/또는 라이다 등을 포함할 수 있다. 광학 센서(120)는 차량(100)의 환경의 이미지(바람직하게는 깊이 데이터를 포함함)를 검출하고, 검출된 이미지를 광학 센서 신호로 출력하도록 구성된다. 센서(130)는, 예를 들어 초음파 센서로 구현될 수 있으며, 차량(100) 주변에 배치된 물체(200)(도 2 또는 도 3 참조)와의 거리를 검출하고, 검출된 거리를 초음파 센서 신호로 출력하도록 구성될 수 있다. 도 1에 도시된 센서(120, 130) 외에도, 차량(100)은 마이크, 가속도계, 전자기 데이터 신호 수신용 안테나 등과 같은 더 많은 및/또는 다른 센서를 더 포함할 수 있다.
처리 유닛(105)은 예를 들어 센서 융합 기술을 사용하여, 센서 신호에 기초하여 환경 지도 맵(MAP)(도 2 참조)을 결정하도록 구성된다. 환경 지도 맵(MAP)은 차량(100)의 실제 환경의 디지털 표현에 대응한다. 처리 유닛(105)은 또한 광학 센서 신호에서 주차 구획 경계선(210)(도 2 참조)을 검출하고, 검출된 경계선(210)에 기초하여 환경 지도 맵(MAP)에서 주차 구역(P1 - P7)을 지정하도록 구성될 수 있다. 이렇게 하면서, 처리 유닛(105)은 두 경계선(210) 사이의 공간이 비어 있는지 또는 다른 차량과 같은 물체(200)에 의해 막혀있는지를 판단한다. 공간이 막혀 있거나 장애물이 있는 경우, 각 구역은 주차 구역으로 지정되지 않는다.
주차 보조 시스템(110)은 도 6에 도시된 바와 같이 구현될 수 있으며, 도 2 내지 도 5에 대응하여 이하에서 설명하는 바와 같은 처리를 수행하도록 구성될 수 있다.
도 2는 차량(100)의 디지털 환경 맵(MAP)의 일례를 도시한 도면이다. 디지털 환경 맵(MAP)은 차량(100)의 환경 내에 배치되어 있는 물체들을 나타내는 기하학적 물체들을 포함한다. 특히, 디지털 환경 지도 맵(MAP)은 도로의 중앙선(CL) 및 도로의 사이드 라인을 나타내는 파선(CL, SL)을 포함하고, 차량(100)을 나타내는 기하학적 물체(100)를 포함하며, 환경에 배치된 차량 또는 다른 장애물을 나타내는 기하학적 물체(200)를 포함하고, 또한 주행 가능 영역을 구분하는 것으로 검출되는 추가 라인(도시되어 있지 않음)을 포함하고, 주차 구역을 구분하는 경계선으로 검출되는 주차선(PL)을 포함하며, 지정된 주차 구역(P1 - P7)을 포함한다. 지정된 주차 구역(P1 - P7)은 차량(100)의 잠재적인 주차 구획을 나타낸다. 지정된 주차 구역(P1 - P7)은 이들 각 구역이 비어 있는지 또는 차단되어 있는지만 검출하여 미리 선택된다는 점에 유의한다. 비어 있는 구역만 주차 구역(P1 - P7)으로 지정된다. 예를 들어, 주차 보조 시스템(110)(도 1, 6 또는 7 참조)은 처리 유닛(105)(도 1 참조)으로부터 디지털 환경 맵(MAP)을 수신한다.
도 3은 차량(100)의 환경의 광학 이미지(IMG)를 도시한 것이다. 광학 이미지(IMG)는 도 2의 디지털 환경 맵(MAP)에 대응한다. 예를 들어, 디지털 환경 맵(MAP)은 적어도 부분적으로는 도 3에 도시된 광학 이미지(IMG)에 기초하여 결정될 수 있다. 예를 들어, 주차 보조 시스템(110)(도 1, 6 또는 7 참조)은 처리 유닛(105)으로부터 광학 이미지(IMG)를 수신한다. 주차 보조 시스템(110)은 디지털 환경 맵(MAP)(도 2 참조)의 지정된 주차 구역(P1 - P7)에 대응하는 관심 영역(ROI1 - ROI7)을 광학 이미지 IMG에서 선택한다(도 2 참조). 도 3에서 볼 수 있는 바와 같이, 각각의 관심 영역(ROI1 - ROI7)은 기본적으로 차량(100)이 잠재적으로 주차될 수 있는 구역을 보여주는 광학 이미지(IMG)의 부분을 포함한다.
주차 보조 시스템(110)은 각 관심 영역(ROI1 - ROI7)에 대해, 지면에 제공된 라인(PAT) 및/또는 심볼(SMY1 - SYM3)을 검출한다. 이러한 검출은 예를 들어 이미지 인식 기술을 사용하여 수행된다. 도 3의 예에서, 제1 심볼(SYM1)은 관심 영역(ROI2)에서 검출되고, 제2 심볼(SYM2)은 관심 영역(ROI3)에서 검출되고, 제3 심볼(SYM3)은 관심 영역(ROI4)에서 검출되고, 라인(PAT)은 관심 영역(ROI7)에서 검출된다. 제1 심볼(SYM1)은 "주차 금지" 심볼을 나타내고, 제2 및 제3 심볼(SYM2, SYM3)은 "주차 불가" 심볼을 나타내며, 라인(PAT)은 "주차 금지" 공간을 나타내는 지그재그 패턴을 형성한다. 예를 들어, 관심 영역(ROI7)에 해당하는 영역을 가로지르는 입구가 있는데, 이 입구는 주차 차량이 없는 공간으로 유지되어야 한다.
주차 보조 시스템(110)은 검출된 라인(PAT) 및/또는 심볼(SYM1 - SYM3)에 기초하여 주차 구획 클래스(CLS)(도 4 참조)를 각각의 관심 영역(ROI1 - ROI7)에 할당한다. 서로 다른 주차 구획 클래스(CLS)의 수는 그 자체로 제한되지 않는다. 주차 구획 클래스(CLS)를 할당하는 단계(S4)는 사용 가능한 주차 구획 클래스(CLS)에 따라 지정된 주차 구획(P1 - P7)을 분류하는 단계에 해당한다.
도 4는 이러한 라인 패턴과 심볼을 특정 주차 구획 클래스(CLS)로 분류한 예로 표를 보여준다. 이 예에서, 각 클래스(CLS)는 숫자 값으로 식별된다. 이 예에서 표는 라인 패턴/심볼, 주차 구획 클래스(CLS), 각 주차 구획 클래스(CLS)에 제공될 수 있는 우선순위(PRIO)의 세 열을 포함한다.
도 4의 표의 제1 열은 주차 구획을 표시하는 데 사용되는 알려진 라인 패턴 및 심볼의 목록을 포함한다. 도 4의 목록은 완전한 목록이 아니며, 다른 라인 패턴 또는 심볼 및/또는 라인 패턴 또는 심볼의 변형을 더 많이 포함할 수 있다는 점에 유의한다. 표의 3 내지 7행에 예시된 "주차 금지" 구역을 나타내는 라인 패턴 및 심볼은 이 예에서 각각 동일한 클래스(CLS)가 할당되어 있다. 이는 다른 종류의 특정 주차 구획을 나타내는 다른 라인 패턴이나 심볼의 경우에도 마찬가지일 수 있는데, 예를 들면, "주차 불가" 구획을 나타내는 다양한 심볼(도시되어 있지 않음)에 모두 동일한 클래스(CLS)가 할당될 수 있다. 이는 필수적인 것은 아니며, 각기 다른 라인 패턴/심볼에 고유한 클래스(CLS)가 할당될 수 있다는 점에 유의한다.
도 4의 예에서, 각 주차 구획 클래스(CLS)에 대해 우선순위 정보(PRIO)가 추가로 할당된다. 우선순위 정보(PRIO)는, 예를 들어, 차량(100)의 사용자에 의해 제공될 수 있다(도 1 참조). 우선순위 정보(PRIO)는 주차 보조 시스템(110)(도 1 참조)에 의해 식별된 복수의 잠재적 주차 구획이 있는 상황에서 사용자에게 정렬된 목록을 제공하거나 우선순위 정보(PRIO)에 기초하여 선호 주차 구획을 제안하는데 도움이 된다. 이 예에서, 모든 "주차 금지" 구역은 자동으로 분류되며 차량(100)을 주차하기 위한 주차 구획으로서 선택될 수 없다. 예를 들어, 차량(100)이 플러그인 전기 자동차이고 차량(100)의 사용자는 아이를 가진 임산부이다. 전기차 및 임산부 전용 주차 구획에는 가장 높은 우선순위(PRIO)가 할당된다. 가족 전용 주차 구획의 우선순위(PRIO)는 더 낮지만, 일반 주차 구획(라인 패턴/심볼이 없는 주차 구획)의 우선순위(PRIO)보다는 여전히 높다. 장애인 전용 주차 구획은 우선순위(PRIO)가 가장 낮으며, 차량(100)의 사용자는 장애인이 아니기 때문에 그러한 주차 구획에 주차해서는 안 된다.
도 5는 주차 보조 시스템(110), 예를 들어 도 1의 차량(100)의 주차 보조 시스템(110)을 동작시키는 방법의 일례에 대한 개략적인 블록도이다. 제1 단계(S1)에서, 차량(100)의 환경의 광학 이미지(IMG)(도 3 참조) 및 차량(100)의 환경을 나타내는 디지털 환경 맵(MAP)(도 2 참조)이 수신된다. 디지털 환경 맵(MAP)은 적어도 하나의 지정된 주차 구획(P1 - P7)을 포함한다(도 2 참조). 제2 단계(S2)에서, 수신된 광학 이미지(IMG)에서 각각의 지정된 주차 구역(P1 - P7)에 대응하는 관심 영역(ROI1 - ROI7)(도 3 참조)이 환경 맵(MAP)에 포함된 적어도 하나의 지정된 주차 구획(P1 - P7) 각각에 대해 선택된다. 제3 단계(S3)에서, 지면에 제공된 라인(PAT)(도 3 참조) 및/또는 심볼(SYM1 - SYM3)(도 3 참조)이 각각의 선택된 관심 영역(ROI1 - ROI7)에서 검출된다.
이 예에서, 제3 단계(S3)는 두 단계(S31 및 S32)를 포함한다. 단계(S31)는 검출된 라인들(PAT)이 도 4의 표의 제1 열에 도시된 라인 패턴과 같은 복수의 사전 정의된 패턴들 중 하나와 유사하게 배열되어 있는지를 검출하는 것을 포함하며, 여기서 각각의 사전 정의된 패턴은 적어도 하나의 주차 구획 클래스(CLS)에 대응한다. 단계(S31)는 고전적인 결정론적 또는 규칙 기반 알고리즘 등에 의해 수행될 수 있으며, 여기에는 휴리스틱 접근법이 더 포함될 수 있다. 단계 S32는 각 관심 영역(ROI1 - ROI7)의 검출된 심볼(SYM1 - SYM3)을 이미지로 추출하는 것과, 이미지 분류를 위해 훈련된 인공 지능을 사용하여 이미지를 분류하는 것을 포함할 수 있다. 예를 들어, 단계(S32)는 주차 구획을 표시하는 데 사용되는 심볼(SYM1 - SYM3)을 분류하는 데 훈련된 인공 신경망에 의해 수행될 수 있다. 인공 신경망은 바람직하게는 지도 학습 방식으로 훈련된다. 인공 신경망 훈련에 사용되는 훈련 데이터는 전 세계의 지역이나 국가에 따라 다를 수 있다. 단계(S3)는 상술한 두 단계 S31, S32를 포함할 필요는 없으며, 단일 엔티티에 의해 수행되는 단일 단계로 구현될 수도 있음에 유의한다.
제4 단계(S4)에서, 복수의 주차 구획 클래스(CLS)(도 4 참조) 중 하나가 검출된 라인(PAT) 및/또는 심볼(SYM1 - SYM3)에 기초하여 각각의 선택된 관심 영역(ROI1 - ROI7)에 할당된다. 제5 단계(S5)에서, 적어도 하나의 지정된 주차 구역(P1 - P7) 각각에 대해, 대응하는 관심 영역(ROI1 - ROI7)에 할당된 주차 구획 클래스(CLS)에 기초하여 선택된 관심 영역(ROI1 - ROI7)에 대응하는 제각기의 지정된 주차 구역이 잠재적인 주차 구획인지 여부가 결정된다.
도 6은 주차 보조 시스템(110), 예를 들어 도 1의 차량(100)의 주차 보조 시스템(110)의 일례에 대한 개략적인 블록도이다. 주차 보조 시스템(110)은 도 5에 대응하여 설명된 방법에 따라 동작될 수 있다. 주차 보조 시스템(110)은 차량(100)의 환경의 광학 이미지(IMG)(도 3 참조)와 차량(100)의 환경을 나타내는 디지털 환경 맵(MAP)(도 2 참조)을 수신하기 위한 수신 유닛(111) - 디지털 환경 맵(MAP)은 적어도 하나의 지정된 주차 구역(P1 - P7)(도 2 참조)을 포함함 - 과, 적어도 하나의 지정된 주차 구역(P1 - P7) 각각에 대해, 각각의 지정된 주차 구역(P1 - P7)에 대응하는 수신된 광학 이미지(IMG)에서 관심 영역(ROI1 - ROI7)을 선택하기 위한 선택 유닛(112)과, 선택된 관심 영역(ROI1 - ROI7) 각각에서 지면에 제공된 라인(PAT)(도 3 참조) 및/또는 심볼(SYM1 - SYM3)(도 3 참조)을 검출하기 위한 검출 유닛(113)과, 검출된 라인(PAT) 및/또는 심볼(SYM1 - SYM3)에 기초하여 복수의 주차 구획 클래스(CLS)(도 4 참조) 중 하나를 각각의 선택된 관심 영역(ROI1 - ROI7)에 할당하기 위한 할당 유닛(114)과, 적어도 하나의 지정된 주차 구역(P1 - P7) 각각에 대해, 선택된 관심 영역(ROI1 - ROI7)에 대응하는 각각의 지정된 주차 구역(P1 - P7)이 해당 관심 영역(ROI1 - ROI7)에 할당된 주차 구획 클래스(CLS)에 기초하여 잠재적인 주차 구획인지 여부를 결정하는 결정 유닛(115)을 포함한다.
특히, 검출 유닛(113)은 검출된 라인(PAT)이 미리 정의된 복수의 패턴 중 하나와 유사하게 배열되는지를 검출하기 위한 결정론적 및/또는 휴리스틱적 결정 유닛을 포함할 수 있다. 또한, 검출 유닛(113)은 심볼을 복수의 클래스 중 하나로 분류하기 위해 훈련된 인공 신경망과 같은 인공 지능을 포함할 수 있으며, 각 클래스는 주차 구획 클래스(CLS)에 대응한다.
도 7은 차량(100)과 외부 유닛(310)을 포함하는 시스템(300)의 예를 도시한 것이다. 차량(100)은 도 1의 차량(100)의 특징을 가지며, 통신 유닛(107)을 더 포함한다. 통신 유닛(107)은 이동 무선 모뎀 또는 셀룰러 모뎀으로 구현될 수 있다. 외부 유닛(310)은 스마트폰과 같은 모바일 장치로 구현될 수도 있고, 또는 다른 차량(도시되어 있지 않음)의 통신 유닛 또는 고정된 장치(도시되어 있지 않음)로 구현될 수도 있다.
통신 유닛(107)은 할당된 주차 구획 클래스(CLS)를 외부 유닛(310)으로 전송하도록 구성된다. 예를 들어, 통신 유닛(107)은 외부 유닛에 접속하여 피어 투 피어 연결을 구축하거나, 미리 정의된 주파수 대역 및/또는 인코딩을 사용하여 할당된 주차 구획 클래스(CLS)를 브로드캐스트할 수 있고, 외부 유닛(310)은 미리 정의된 주파수 대역을 리스닝하여 할당된 주차 구획 클래스(CLS)를 수신할 수 있다.
외부 유닛은 제어 명령(도시되어 있지 않음)을 차량(100)의 통신 유닛(107)으로 전송하도록 구성될 수 있다. 제어 명령은 주차 보조 시스템에 의해 결정된 복수의 잠재적 주차 구획 중 하나를 선택하는 것을 포함할 수 있다. 또한, 제어 명령은 주차 보조 시스템(110)이 지정된 주차 구획(P1 - P7)(도 2 참조)이 잠재적인 주차 구획인지 판단할 때 사용할 수 있는 복수의 주차 구획 클래스(CLS) 중 적어도 하나에 대한 판단 정보를 포함할 수 있다.
본 기술은 몇 가지 실시예와 관련하여 설명되었지만, 본 기술은 개시된 실시예에 한정되는 것이 아니라, 오히려 본 기술의 사상 및 범위 내에 포함되는 다양한 수정 및 균등한 구성을 포함하고자 하는 것임을 이해해야 한다.
100 차량
105 처리 유닛
107 통신 유닛
110 주차 보조 시스템
111 수신 유닛
112 선택 유닛
113 검출 유닛
114 할당 유닛
115 결정 유닛
120 센서
130 센서
200 물체
210 경계선
300 시스템
310 외부 유닛
CL 중앙선
CLS 주차 구획 클래스
IMG 이미지
MAP 맵
P1 지정된 주차 구역
P2 지정된 주차 구역
P3 지정된 주차 구역
P4 지정된 주차 구역
P5 지정된 주차 구역
P6 지정된 주차 구역
P7 지정된 주차 구역
PAT 라인들
PL 주차 라인
PRIO 우선순위 정보
ROI1 관심 영역
ROI2 관심 영역
ROI3 관심 영역
ROI4 관심 영역
ROI5 관심 영역
ROI6 관심 영역
ROI7 관심 영역
S1 방법 단계
S2 방법 단계
S3 방법 단계
S4 방법 단계
S5 방법 단계
SL 사이드 라인
SYM1 심볼
SYM2 심볼
SYM3 심볼

Claims (13)

  1. 차량(100)용 주차 보조 시스템(110)의 동작 방법으로서,
    a) 상기 차량(100)의 환경의 광학 이미지(IMG) 및 상기 차량(100)의 환경을 나타내는 디지털 환경 맵(MAP)을 수신하는 단계(S1) - 상기 디지털 환경 맵(MAP)은 적어도 하나의 지정된 주차 구역(P1 - P7)을 포함함 - 와,
    b) 상기 적어도 하나의 지정된 주차 구역(P1 - P7) 각각에 대해, 상기 수신된 광학 이미지(IMG)에서 제각기의 상기 지정된 주차 구역(P1 - P7)에 대응하는 관심 영역(ROI1 - ROI7)을 선택하는 단계(S2)와,
    c) 각각의 선택된 관심 영역(ROI1 - ROI7)에서, 지면에 제공된 라인(PAT) 및/또는 심볼(SYM1 - SYM3)을 검출하는 단계(S3)와,
    d) 상기 검출된 라인(PAT) 및/또는 심볼(SYM1 - SYM3)에 기초하여, 복수의 주차 구획 클래스(CLS) 중 하나를 각각의 선택된 관심 영역(ROI1 - ROI7)에 할당하는 단계(S4)와,
    e) 상기 적어도 하나의 지정된 주차 구역(P1 - P7) 각각에 대해, 해당 관심 영역(ROI1 - ROI7)에 할당된 상기 주차 구획 클래스(CLS)에 기초하여 상기 선택된 관심 영역(ROI1 - ROI7)에 대응하는 제각기의 상기 지정된 주차 구역(P1 - P7)이 잠재적인 주차 구획인지 여부를 결정하는 단계(S5)를 포함하는,
    방법.
  2. 제1항에 있어서,
    결정된 모든 잠재적 주차 구획을 비교하는 단계와,
    상기 비교된 잠재적 주차 구획 중 하나를 선택하는 단계와,
    자율 주행 차량(100)이 상기 선택된 주차 구획에 주차하도록 제어하기 위해 상기 선택된 주차 구획을 상기 자율 주행 장치에 제공하는 단계를 포함하는,
    방법.
  3. 제1항 또는 제2항에 있어서,
    상기 복수의 주차 구획 클래스(CLS) 중 적어도 하나에 대한 결정 정보를 수신하는 단계 - 상기 단계 e)는 또한 상기 결정 정보에 기초함 - 를 더 포함하는,
    방법.
  4. 제3항에 있어서,
    상기 결정 정보는 상기 복수의 주차 구획 클래스(CLS) 중 적어도 하나에 대한 우선순위 정보(PRIO)를 포함하며, 상기 단계 e)는
    상기 잠재적 주차 구획 각각에 우선순위(PRIO)를 할당하는 단계와,
    상기 할당된 우선순위(PRIO)에 따라 상기 결정된 잠재적 주차 구획을 정렬하는 단계를 포함하는,
    방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    단계 c)는
    상기 검출된 라인(PAT)이 복수의 사전 정의된 패턴 중 하나와 유사하게 배치되는지 검출하는 단계 - 각각의 사전 정의된 패턴은 적어도 하나의 주차 구획 클래스(CLS)에 대응함 - 를 더 포함하는,
    방법.
  6. 제5항에 있어서,
    상기 사전 정의된 패턴은 상기 검출된 라인의 절대 길이 및/또는 절대 폭을 포함하는 상기 검출된 라인 및/또는 상기 검출된 라인의 섹션의 기하학적 특징, 상기 검출된 라인 및/또는 상기 검출된 라인의 섹션 사이의 길이 비율, 상기 검출된 라인 및/또는 상기 검출된 라인의 섹션 사이의 폭 비율, 상기 검출된 라인 및/또는 상기 검출된 라인의 섹션 사이에 형성된 각도, 상기 검출된 라인 및/또는 상기 검출된 라인의 섹션의 곡률 및/또는 상기 검출된 라인 및/또는 상기 검출된 라인의 섹션 사이의 거리에 의해 정의되는,
    방법.
  7. 제6항에 있어서,
    상기 복수의 사전 정의된 패턴 각각은 적어도 일부의 기하학적 특징에 대응하는 값 세트 또는 값-간격 세트를 포함하는,
    방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    단계 c)는
    각 관심 영역(ROI1 - ROI7)의 상기 검출된 심볼(SYM1 - SYM3)을 이미지로서 추출하는 단계와,
    이미지 분류를 위해 훈련된 인공 지능을 사용하여 이미지를 분류하는 단계를 더 포함하는,
    방법.
  9. 컴퓨터가 프로그램을 실행할 경우, 상기 컴퓨터로 하여금 제1항 내지 제8항 중 어느 하나에 따른 방법을 수행하도록 하는 명령어를 포함하는,
    컴퓨터 프로그램 제품.
  10. 차량(100)용 주차 보조 시스템(110)으로서,
    상기 차량(100)의 환경의 광학 이미지(IMG) 및 상기 차량(100)의 환경을 나타내는 디지털 환경 맵(MAP)을 수신하는 수신 유닛(111) - 상기 디지털 환경 맵(MAP)은 적어도 하나의 지정된 주차 구역(P1 - P7)을 포함함 - 과,
    상기 적어도 하나의 지정된 주차 구역(P1 - P7) 각각에 대해, 상기 수신된 광학 이미지(IMG)에서 제각기의 상기 지정된 주차 구역(P1 - P7)에 대응하는 관심 영역(ROI1 - ROI7)을 선택하는 선택 유닛(112)과,
    각각의 선택된 관심 영역(ROI1 - ROI7)에서, 지면에 제공된 라인(PAT) 및/또는 심볼(SYM1 - SYM3)을 검출하는 검출 유닛(113)과,
    상기 검출된 라인(PAT) 및/또는 심볼(SYM1 - SYM3)에 기초하여, 복수의 주차 구획 클래스(CLS) 중 하나를 각각의 선택된 관심 영역(ROI1 - ROI7)에 할당하는 할당 유닛(114)과,
    상기 적어도 하나의 지정된 주차 구역(P1 - P7) 각각에 대해, 해당 관심 영역(ROI1 - ROI7)에 할당된 상기 주차 구획 클래스(CLS)에 기초하여 상기 선택된 관심 영역(ROI1 - ROI7)에 대응하는 제각기의 상기 지정된 주차 구역(P1 - P7)이 잠재적인 주차 구획인지 결정하는 결정 유닛(115)을 포함하는,
    주차 보조 시스템.
  11. 차량(100)의 환경의 광학 이미지(IMG)를 검출하기 위한 적어도 하나의 카메라(120), 적어도 부분적으로 상기 검출된 광학 이미지(IMG)에 기초하여 차량(100)의 환경을 나타내는 디지털 환경 맵(MAP)을 제공하기 위한 처리 유닛(105) 및 제10항에 따른 주차 보조 시스템(110)을 포함하는,
    차량(100).
  12. 제11항에 있어서,
    상기 지정된 주차 구역(P1 - P7)에 대응하는 상기 할당된 주차 구획 클래스(CLS)를 외부 유닛(310)에 전송하도록 구성된 통신 유닛(107)을 더 포함하는,
    차량(100).
  13. 제12항에 따른 적어도 하나의 차량(100)과, 상기 차량(100) 외부의 외부 유닛(310)을 포함하는 시스템(300)으로서,
    상기 외부 유닛(310)은 상기 차량(100)으로부터 전송된 상기 할당된 주차 구획 클래스(CLS)를 수신하고, 상기 지정된 주차 구역(P1 - P7)에 대응하는 상기 수신된 주차 구획 클래스(CLS)를 추가 장치로 전송하는 것과 상기 수신된 할당된 주차 구획 클래스(CLS)에 응답하여 상기 차량(100)을 제어하기 위해 제어 명령을 상기 차량(100)에 전송하는 것 중 적어도 하나를 수행하도록 구성되는,
    시스템(300).
KR1020237015847A 2020-11-10 2021-10-19 주차 보조 시스템 동작 방법, 컴퓨터 프로그램 제품, 주차 보조 시스템, 차량 및 시스템 KR20230084293A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102020129520.0 2020-11-10
DE102020129520.0A DE102020129520A1 (de) 2020-11-10 2020-11-10 Verfahren zum betreiben eines parkassistenzsystems, computerprogramprodukt, parkassistenzsystem, fahrzeug und system
PCT/EP2021/078880 WO2022100967A1 (en) 2020-11-10 2021-10-19 Method for operating a parking assistance, computer program product, parking assistance system, vehicle and system

Publications (1)

Publication Number Publication Date
KR20230084293A true KR20230084293A (ko) 2023-06-12

Family

ID=78269648

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237015847A KR20230084293A (ko) 2020-11-10 2021-10-19 주차 보조 시스템 동작 방법, 컴퓨터 프로그램 제품, 주차 보조 시스템, 차량 및 시스템

Country Status (7)

Country Link
US (1) US20230415728A1 (ko)
EP (1) EP4244822A1 (ko)
JP (1) JP2023547723A (ko)
KR (1) KR20230084293A (ko)
CN (1) CN116438582A (ko)
DE (1) DE102020129520A1 (ko)
WO (1) WO2022100967A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022213684A1 (de) 2022-12-15 2024-06-20 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Unterstützung eines Nutzers eines Fahrzeuges beim Einparken des Fahrzeugs, Computerprogramm, Rechenvorrichtung und Fahrzeug

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102267562B1 (ko) * 2015-04-16 2021-06-22 한국전자통신연구원 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법
DE102017107700A1 (de) 2017-04-10 2018-10-11 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erfassen von Parklücken in einem Umgebungsbereich eines Kraftfahrzeugs, Auswerteeinrichtung, Parkassistenzsystem, Kraftfahrzeug sowie vernetztes System
DE102017007823A1 (de) 2017-08-18 2018-04-19 Daimler Ag Verfahren zum Betrieb einer Fahrerassistenzvorrichtung
DE102018005761A1 (de) 2018-07-20 2020-01-23 Daimler Ag Verfahren zum Parken eines Fahrzeugs
DE102018119897A1 (de) 2018-08-16 2020-02-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum Klassifizieren von Daten betreffend eine Parklücke für ein Kraftfahrzeug
KR20200044196A (ko) * 2018-10-10 2020-04-29 주식회사 만도 주차 제어 장치, 주차 제어 방법 및 주차 제어 시스템

Also Published As

Publication number Publication date
US20230415728A1 (en) 2023-12-28
CN116438582A (zh) 2023-07-14
JP2023547723A (ja) 2023-11-13
DE102020129520A1 (de) 2022-05-12
WO2022100967A1 (en) 2022-05-19
EP4244822A1 (en) 2023-09-20

Similar Documents

Publication Publication Date Title
US10992755B1 (en) Smart vehicle
CN114370883B (zh) 用于操纵车辆的方法和系统
US9881503B1 (en) Vehicle-to-pedestrian-communication systems and methods for using the same
US20210108926A1 (en) Smart vehicle
US20230004157A1 (en) Mixed-mode driving of a vehicle having autonomous driving capabilities
US20190064805A1 (en) Mixed-mode driving of a vehicle having autonomous driving capabilities
US20190064800A1 (en) Mixed-mode driving of a vehicle having autonomous driving capabilities
JP2021527903A (ja) 車両制御方法、装置、デバイス、プログラム及びコンピュータ記憶媒体
KR102267331B1 (ko) 자율 주행 차량과 이를 이용한 보행자 안내 시스템 및 방법
CN108241851B (zh) 信息处理装置、信息处理方法以及程序
CN108248602B (zh) 信息处理装置、信息处理方法以及记录介质
DE112018001106T5 (de) Fahrassistenzverfahren, Fahrassistenzvorrichtung und dieses Verfahren verwendendes Fahrassistenzsystem
CN108944919B (zh) 为机动车辆生成具有聚焦区的感知场景图的方法和系统
JP2001523871A (ja) 局所的交通障害を信号通知する方法および装置
US10614320B2 (en) System and method for advanced highway lane detection
US20180373992A1 (en) System and methods for object filtering and uniform representation for autonomous systems
CN108242182B (zh) 信息处理装置、信息处理方法以及记录介质
JP7140067B2 (ja) 車両制御装置、車両制御方法、及びプログラム
CN108974006B (zh) 预测装置
KR101832224B1 (ko) 주차 난이도를 기초로 운전자를 지원하는 장치 및 방법
DE112020002546T5 (de) Steuervorrichtung für autonomes fahren, steuersystem für autonomes fahren und steuerverfahren für autonomes fahren
US20190064802A1 (en) Mixed-mode driving of a vehicle having autonomous driving capabilities
JP6934840B2 (ja) 遠隔運転管理装置及びプログラム
KR20230084293A (ko) 주차 보조 시스템 동작 방법, 컴퓨터 프로그램 제품, 주차 보조 시스템, 차량 및 시스템
CN116438583A (zh) 可用泊车位识别装置、可用泊车位识别方法和程序