KR102200651B1 - 주차 차량 포즈 추정 방법 및 그 장치 - Google Patents

주차 차량 포즈 추정 방법 및 그 장치 Download PDF

Info

Publication number
KR102200651B1
KR102200651B1 KR1020190060017A KR20190060017A KR102200651B1 KR 102200651 B1 KR102200651 B1 KR 102200651B1 KR 1020190060017 A KR1020190060017 A KR 1020190060017A KR 20190060017 A KR20190060017 A KR 20190060017A KR 102200651 B1 KR102200651 B1 KR 102200651B1
Authority
KR
South Korea
Prior art keywords
vehicle
pose
parking space
coordinate system
parking
Prior art date
Application number
KR1020190060017A
Other languages
English (en)
Other versions
KR20200134498A (ko
Inventor
정정주
이승희
김대정
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020190060017A priority Critical patent/KR102200651B1/ko
Publication of KR20200134498A publication Critical patent/KR20200134498A/ko
Application granted granted Critical
Publication of KR102200651B1 publication Critical patent/KR102200651B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/06—Automatic manoeuvring for parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

주차 차량 포즈 추정 방법 및 그 장치가 개시된다. 주차 차량 포즈 추정 방법에 있어서, (a) 차량에 탑재된 영상 센서로부터 영상 신호를 획득하는 단계; (b) 상기 영상 신호를 이용하여 차량좌표계상의 주차공간 포즈를 검출하는 단계; 및 (c) 포즈변환 메트릭스를 기반으로 상기 차량좌표계상의 주차공간 포즈를 이용하여 주차공간좌표계상의 차량 포즈를 추정하는 단계를 포함한다.

Description

주차 차량 포즈 추정 방법 및 그 장치{A method and apparatus of estimating a parking vehicle pose}
본 발명은 주차 차량 포즈 추정 방법 및 그 장치에 관한 것이다.
종래의 주차보조 시스템(SPAS)에서는 주차차량의 감지거리와 방향이 제한적인 초음파 등 센서를 이용하여 장애물을 감지하여 주차가 가능한 빈 공간의 일부를 찾고 운전자가 해당 빈 공간으로 주차를 원하면 하면 빈 공간에 차량이 진입할 수 있도록 원호와 직선의 조합으로 구성하는 주차경로를 생성하고 원호와 직선의 주차경로로부터 조향을 직접 구하여 차량에 조향을 제어하는 방식이다.
이러한 종래 주차보조 시스템은 차량이 해당 주차공간에 완전히 진입할 수 없는 경우 운전자가 차량을 전진하여 위치를 이동하게 하고 이동한 위치에서 다시 해당 공간으로 차량이 진입할 수 있도록 원호와 직선의 조합으로 구성하는 주차경로를 생성하고 원호와 직선의 주차경로로부터 조향을 직접 구하여 차량에 조향을 제어한다.
즉, 빈 공간 입구에 정한 위치까지 원호와 직선의 조합으로 구성하는 경로를 생성하고 이를 반복하여 차량이 해당 주차공간에 진입하면 주차장애물을 계속 감지하면서 주변장애물과 간격을 확보하도록 조향각만을 제어하며 주차를 쉽게 할 수 있도록 운전자를 보조하는 역할을 수행한다. 즉, 운전자가 주차완료로 판단하고 주차보조를 멈추면 주자보조는 종료되는 방식이다.
이러한 종래의 영상을 이용하는 주차 보조 방법들은 영상 센서로 위치나 포즈가 미리 알려진 여러 개의 랜드마크들의 포즈 정보를 영상으로 구하여 모든 정보의 공통 기준인 영상 센서의 포즈를 삼각법등의 방법으로 추출하여 구하는 방식이다.
따라서, 종래의 방법은 랜드마크의 포즈를 미리 알고 있지 않은 경우 랜드마크를 촬영한 영상 센서의 포즈를 구할 수 없는 문제점이 있다.
(01) 일본등록특허공보 4052198호(2007.12.14.)
본 발명은 위치나 포즈가 미리 알려지지 않은 주차 공간에 대해 차량에 장착하는 캘리브레이션된 영상 센서를 이용하여 주차 공간 포즈를 검출한 후 포즈변환관계를 이용하여 주차공간좌표계상의 차량의 포즈를 추정할 수 있는 주차 차량 포즈 추정 방법 및 그 장치를 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, 주차 차량 포즈 추정 방법이 제공된다.
본 발명의 일 실시예에 따르면, 주차 차량 포즈 추정 방법에 있어서, (a) 차량에 탑재된 영상 센서로부터 영상 신호를 획득하는 단계; (b) 상기 영상 신호를 이용하여 차량좌표계상의 주차공간 포즈를 검출하는 단계; 및 (c) 포즈변환 메트릭스를 기반으로 상기 차량좌표계상의 주차공간 포즈를 이용하여 주차공간좌표계상의 차량 포즈를 추정하는 단계를 포함하는 주차 차량 포즈 추정 방법이 제공될 수 있다.
상기 주차공간 포즈는 주차 공간에 대해 차량이 주차 완료시 상기 차량의 후륜축 중심이 위치하는 주차완료점에 대한 포즈이며,
상기 주차공간좌표계는, 상기 주차공간 포즈를 원점으로 하는 좌표계이다.
상기 주차공간좌표계상의 차량 포즈는 하기 수학식을 이용하여 추정되되,
Figure 112019052490273-pat00001
여기서,
Figure 112019052490273-pat00002
는 차량좌표계상의 주차공간의 포즈를 나타내고,
Figure 112019052490273-pat00003
는 차량좌표계상의 주차공간의 헤딩각을 나타낸다.
상기 (b) 단계는, 상기 영상 신호를 탑뷰 영상으로 변환한 후 주차선을 인식하는 단계; 및 상기 인식된 주차선을 이용하여 차량좌표계상의 상기 주차공간의 포즈를 검출하는 단계를 포함할 수 있다.
본 발명의 다른 측면에 따르면, 차량 포즈 추정 장치가 개시된다.
본 발명의 일 실시예에 따르면, 차량과 연동된 포즈 추정 장치에 있어서, 차량에 탑재된 영상 센서로부터 영상 신호를 획득하는 획득부; 상기 영상 신호를 이용하여 차량좌표계상의 주차공간 포즈를 검출하는 주차공간 포즈 검출부; 및 포즈변환 메트릭스를 기반으로 상기 차량좌표계상의 주차공간 포즈를 이용하여 주차공간좌표계상의 차량 포즈를 추정하는 차량 포즈 추정부를 포함하는 포즈 추정 장치가 제공될 수 있다.
본 발명의 다른 실시예에 따르면, 차량에 있어서, 상기 차량에 탑재되며, 영상 신호를 생성하는 영상 센서; 및 상기 영상 센서로부터 영상 신호를 획득한 후 차량좌표계상의 주차공간 포즈를 검출하고, 포즈변환 메트릭스를 기반으로 상기 차량좌표계상의 주차공간 포즈를 이용하여 주차공간좌표계상의 차량 포즈를 추정하는 포즈 추정부를 포함하는 차량이 제공될 수 있다.
상기 추정된 차량 포즈 및 상기 주차공간 포즈를 이용하여 주차 경로를 생성한 후 상기 생성된 주차 경로를 추종하도록 상기 차량의 조향을 제어하는 주행 제어부를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 주차 차량 포즈 추정 방법 및 그 장치를 제공함으로써, 치나 포즈가 미리 알려지지 않은 주차 공간에 대해 캘리브레이션된 영상 센서를 이용하여 주차 공간 포즈를 검출한 후 좌표변환관계를 이용하여 주차공간좌표계상의 차량의 포즈를 추정할 수 있는 이점이 있다.
도 1은 본 발명의 일 실시예에 따른 주차 차량 포즈 추정 방법을 나타낸 순서도.
도 2는 본 발명의 일 실시예에 따른 각각의 좌표계를 설명하기 위해 도시한 도면.
도 3는 본 발명의 일 실시예에 따른 포즈 추정 장치의 내부 구성을 개략적으로 도시한 블록도.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 주차 차량 포즈 추정 방법을 나타낸 순서도이며, 도 2는 본 발명의 일 실시예에 따른 각각의 좌표계를 설명하기 위해 도시한 도면이다. 이하에서 설명되는 포즈 추정 장치(100)는 차량과 연동되며, 차량에 탑재된 다양한 센서(예를 들어, 영상 센서 등)의 센싱값을 획득할 수 있는 것을 가정하기로 한다.
단계 110에서 포즈 추정 장치(100)는 차량에 탑재된 영상 센서로부터 영상 신호를 획득한다. 여기서, 영상 센서는 차량 후면에 탑재된 카메라일 수 있다. 또한, 영상 센서는 비동기 비고정 주기로 영상 신호를 생성할 수 있다. 이하에서 설명하는 차량 및 포즈 추정 장치(100)는 동기식 고정 주기로 차량을 제어하거나 동작하는 것을 가정하기로 한다.
단계 115에서 포즈 추정 장치(100)는 차량의 영상 센서로부터 획득된 영상 신호를 기반으로 차량좌표계상의 주차공간 포즈를 검출한다.
이에 대해 보다 상세히 설명하기로 한다.
포즈 추정 장치(100)는 차량의 영상 센서로부터 획득된 영상 신호를 탑뷰 영상으로 변환한다. 이어, 포즈 추정 장치(100)는 변환된 탑뷰 영상에서 주차선을 인식하고, 인식된 주차선을 이용하여 차량좌표계상의 주차 공간 포즈를 검출한다.
여기서, 주차 공간 포즈는 주차 공간에 대해 주차 차량이 주차 완료한 경우 주차 차량의 후륜축 중심(CRA: Center of Rear Axle, 이하 CRA라 칭하기로 함)이 위치하는 주차 완료점에 대한 포즈를 나타낸다.
이해와 설명의 편의를 도모하기 위해 도 2를 참조하여 이에 대해 보다 상세히 설명하기로 한다.
목적물이 {xy} 평면상에 존재할 때, 목적물의 포즈는 목적물의 지정된 특정점의 좌표계상의 위치(x,y)와 이 목적물이 {z}축과 이루는 회전각(
Figure 112019052490273-pat00004
)으로 나타낼 수 있다.
임의의 좌표계상의 목적물의 포즈를
Figure 112019052490273-pat00005
로 표시하기로 한다. 여기서, 목적물은 차량일수도 있으며, 주차 공간일 수도 있다.
본 발명은 주차 차량 포즈 추정에 관한 것으로, 목적물은 차량 또는 주차 공간이 될 수 있다. 따라서, 좌표계는 차량 좌표계와 주차 공간 좌표계가 존재할 수 있다.
본 발명의 일 실시예에서는 이해와 설명의 편의를 도모하기 위해,
Figure 112019052490273-pat00006
평면에 주차공간이 존재하고,
Figure 112019052490273-pat00007
평면에 주차 차량이 존재하는 것을 가정하여 설명하기로 한다.
본 발명의 일 실시예에서는 주차공간 좌표계를
Figure 112019052490273-pat00008
로 표시하며, 차량좌표계는
Figure 112019052490273-pat00009
로 표시하기로 한다.
본 발명의 일 실시예에서, 주차공간 좌표계는 특정점인 주차완료점을 원점으로 하며, 주차 공간에 고정된 좌표계로 정의하기로 한다.
또한, 차량좌표계는 차량의 주차완료점(CRA)를 원점으로 하고, 주차차량에 고정된 좌표계로 정의하기로 한다.
주차 차량의 영상 센서를 이용하여 주차 공간이 특정되면, 주차 공간의 주차 완료점을 특정점으로 지정하고, 주차 완료점에 대한 포즈를 주차 공간 포즈로 지정할 수 있다. 주차 공간의 주차 완료점은
Figure 112019052490273-pat00010
로 나타내기로 한다.
주차 공간 포즈는 주차 공간에 설정한 주차완료점의 포즈
Figure 112019052490273-pat00011
로 표시한다.
도 2를 참조하면, 주차완료점은 주차공간 좌표계상
Figure 112019052490273-pat00012
에 해당하는 주차공간 좌표계의 원점이다.
주차차량의 포즈(이하, 주차 차량 포즈라 칭하기로 함)는 후륜축 중심(CRA)을 주차공간좌표계로
Figure 112019052490273-pat00013
로 나타내기로 한다.
또한, 차량좌표계상의 주차공간 포즈는
Figure 112019052490273-pat00014
로 나타내기로 하며, 차량좌표계상의 장애물의 포즈는
Figure 112019052490273-pat00015
로 나타내기로 한다.
주차 차량의 영상 센서를 이용하여 주차 공간이 특정되면, 주차공간에 대해 미리 지정한 주차완료점을 차량좌표계로
Figure 112019052490273-pat00016
로 나타낼 수 있다.
단계 120에서 포즈 추정 장치(100)는 포즈변환 메트릭스를 기반으로 차량좌표계상의 주차공간 포즈를 이용하여 주차공간좌표계상의 차량 포즈를 추정한다.
이해와 설명의 편의를 도모하기 위해 차량좌표계와 주차공간좌표계와의 변환포즈 관계에 대해 설명하기로 한다.
주차 차량 포즈와 주차공간 포즈간의 관계는 수학식 1과 같다.
Figure 112019052490273-pat00017
차량에 탑재된 영상 센서를 이용하여 감지된 차량 좌표계상의 주차 공간 포즈(
Figure 112019052490273-pat00018
)는 주차공간 좌표계상의 차량 포즈(
Figure 112019052490273-pat00019
)로 수학식 1과 같이 변환될 수 있다.
예를 들어, 포즈 추정 장치(100)는 차량 포즈 검출이 가능한 상태에서 일시적으로 차량 포즈 검출이 불가능한 경우 영상 센서를 기반으로 차량좌표계상의 주차 공간 포즈를 검출한 후 이를 이용하여 차량 포즈를 추정할 수 있다.
차량의 모션을 기반으로 차량 포즈를 추정하는 방법에 대해 설명하기로 한다.
주차차량의 속도-가속도 모델링은 상태변수를 이용하여 수학식 2와 같이 나타낼 수 있다. 여기서, 차량 속도를
Figure 112019052490273-pat00020
라 하고, 이에 대한 시간 미분을
Figure 112019052490273-pat00021
라 할때, 상태 변수는
Figure 112019052490273-pat00022
로 나타내기로 한다.
Figure 112019052490273-pat00023
여기서,
Figure 112019052490273-pat00024
는 시간 상수(time constant)이며,
Figure 112019052490273-pat00025
,
Figure 112019052490273-pat00026
,
Figure 112019052490273-pat00027
는 차량에 가해지는 가속도 명령이다.
수학식 2를 이산화 모델식으로 나타내면, 수학식 3과 같이 나타낼 수 있다.
Figure 112019052490273-pat00028
여기서 주기
Figure 112019052490273-pat00029
에 대하여
Figure 112019052490273-pat00030
와
Figure 112019052490273-pat00031
로 각각
Figure 112019052490273-pat00032
와
Figure 112019052490273-pat00033
의 이산화 모델을 나타낸다.
주차공간 좌표계상의 주차차량의 포즈를
Figure 112019052490273-pat00034
로 표시할 때, 종횡 모션 모델링은 수학식 4와 같이 나타낼 수 있다.
Figure 112019052490273-pat00035
여기서
Figure 112019052490273-pat00036
는 차량의 속도,
Figure 112019052490273-pat00037
는 휠베이스,
Figure 112019052490273-pat00038
이다.
주기
Figure 112019052490273-pat00039
에 대해 수학식 4를 오일러 방식(Forward-Euler)으로 이산화 모델식으로 나타내면, 수학식 5와 같이 나타낼 수 있다.
Figure 112019052490273-pat00040
여기서,
Figure 112019052490273-pat00041
이다.
본 발명의 일 실시예에 따르면, 주차공간좌표계상의 주차 차량 포즈 예측은 차량좌표계상의 주차공간 포즈를 검출한 후 포즈변환 메트릭스를 기반으로 변환될 수 있다.
차량 속도 측정치(
Figure 112019052490273-pat00042
)를 이용하는 경우, 차량 속도는 수학식 6과 같이 추정될 수 있다.
Figure 112019052490273-pat00043
여기서,
Figure 112019052490273-pat00044
는 수정 게인을 나타낸다.
이미 전술한 바와 같이 차량에 장착된 영상 센서에 의해 검출되는 차량좌표계상의 주차공간의 포즈를
Figure 112019052490273-pat00045
라 할 때, 주차공간좌표계상의 주차 차량 포즈는
Figure 112019052490273-pat00046
와 같이 도출될 수 있다.
이와 같이, 차량 포즈가 검출되면, 이후 차량 포즈의 추정은 하기 수학식 7을 이용하여 예측될 수 있다.
Figure 112019052490273-pat00047
여기서,
Figure 112019052490273-pat00048
는 수정 게인을 나타내고,
Figure 112019052490273-pat00049
는 예측 에러를 나타낸댜.
차량의 속도 제어값인 가속도 명령(
Figure 112019052490273-pat00050
)을 이용하는 경우, 차량 속도는 수학식 8과 같이 예측될 수 있다.
Figure 112019052490273-pat00051
수학식 8과 같이 주차 차량의 속도 예측치(
Figure 112019052490273-pat00052
)가 계산되면,
Figure 112019052490273-pat00053
와
Figure 112019052490273-pat00054
이 갱신될 수 있다.
차량 포즈 제어값인 조향입력(
Figure 112019052490273-pat00055
)을 이용하면, 차량 포즈 예측치는 수학식 9와 같이 예측될 수 있다.
Figure 112019052490273-pat00056
이와 같이 차량 포즈가 추정되면, 차량 포즈 및 주차공간 포즈를 이용하여 주차 경로를 생성한 후 주차 경로를 추종하도록 차량의 조향 제어가 가능하다. 따라서, 차량은 해당 주차 경로를 추종하도록 차량의 조향을 제어하여 자율 주행이 가능하도록 할 수 있다.
주차공간의 특정점에서 주차차량의 포즈(
Figure 112019052490273-pat00057
)까지의 주차경로를 생성한 후 경로를 주차차량이 추종하도록 제어하면서 주차차량이 주차경로를 따라 주차를 진행함에 있어 갱신되는 주차차량의 포즈에 따라 주차경로를 갱신함으로써 자율 주차 제어 할 수 있다.
도 3은 본 발명의 일 실시예에 따른 포즈 추정 장치의 내부 구성을 개략적으로 도시한 블록도이다. 포즈 추정 장치(100)는 차량의 전자 제어 장치(ECU)와 연동되거나 전자 제어 장치의 일 구성으로 구비될 수도 있다. 즉, 포즈 추정 장치(100)는 차량의 전자 제어 장치와 연동되거나 일 구성으로 구비됨으로써 차량에 탑재된 다양한 센서들의 센서값을 이용할 수 있다. 이하에서는 별도의 설명이 없더라도 포즈 추정 장치(100)가 차량의 량의 전자 제어 장치와 연동되거나 일 구성으로 구비됨으로써 차량에 탑재된 다양한 센서들의 센서값을 이용하거나 차량의 일 구성을 제어하도록 제어 신호를 전달하는 것으로 이해되어야 할 것이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 포즈 추정 장치(100)는 획득부(310), 주차공간 포즈 검출부(315), 차량 포즈 추정부(320), 메모리(325) 및 프로세서(330)를 포함하여 구성된다.
획득부(310)는 고정된 동작주기(Tc)마다 차량의 영상 센서로부터 영상 신호를 획득하기 위한 수단이다. 이미 전술한 바와 같이, 획득부(310)는 고정된 동작주기(Tc)마다 해당 동작주기(Tc)에 인접한 직전의 영상 센서의 동작주기(Ts)의 영상 신호를 획득할 수 있다.
주차공간 포즈 검출부(315)는 획득부(310)에 의해 획득된 영상 신호를 이용하여 차량좌표계상의 주차공간 포즈를 검출하기 위한 수단이다.
예를 들어, 주차공간 포즈 검출부(315)는 획득부(310)에 의해 획득된 영상 신호를 탑뷰 영상으로 변환할 수 있다. 이어, 주차공간 포즈 검출부(315)는 변환된 탑뷰 영상에서 주차선을 인식하고, 인식된 주차선을 이용하여 주차 공간을 특정할 수 있다. 주차공간 포즈 검출부(315)는 특정된 주차 공간에 대한 차량좌표계상의 주차공간 포즈를 검출할 수 있다.
차량 포즈 추정부(320)는 포즈변환 메트릭스를 기반으로 차량좌표계상의 주차공간 포즈를 이용하여 주차공간좌표계상의 차량 포즈를 추정하기 위한 수단이다.
예를 들어, 차량 포즈 추정부(320)는 상술한 수학식 1을 이용하여 차량좌표계상의 주차공간 포즈를 이용하여 주차공간좌표계상의 차량 포즈를 추정할 수 있다.
메모리(325)는 차량 포즈를 추정하는 방법을 수행하기 위해 필요한 다양한 명령어들(프로그램 코드들), 이과정에서 파생된 다양한 데이터 등을 저장하기 위한 수단이다.
프로세서(330)는 본 발명의 일 실시예에 따른 포즈 추정 장치(100)의 내부 구성 요소들(예를 들어, 획득부(310), 주차공간 포즈 검출부(315), 차량 포즈 추정부(320), 메모리(325) 등)을 제어하기 위한 수단이다.
본 발명의 일 실시예에 따르면, 차량은 예측된 차량 포즈 및 주차공간 포즈를 이용하여 자율 주차 제어가 가능한 주행 제어부(미도시)를 더 포함할 수 있다. 도 3에는 별도 기재되어 있지는 않으나, 주행 제어부는 포즈 추정 장치와 함께 차량의 일 구성과 연동되거나 차량의 일 구성으로 포함될 수 있다. 따라서, 주행 제어부는 예측된 차량 포즈 및 주차공간 포즈를 이용하여 경로를 생성하고, 해당 경로를 추종하도록 차량의 조향을 제어하도록 하여 자율 주차 제어가 가능하도록 할 수 있다.
본 발명의 실시 예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100: 포즈 추정 장치
310: 획득부
315: 주차공간 포즈 계산부
320: 차량 포즈 추정부
325: 메모리
330: 프로세서

Claims (10)

  1. 주차 차량 포즈 추정 방법에 있어서,
    (a) 차량에 탑재된 영상 센서로부터 영상 신호를 획득하는 단계;
    (b) 상기 영상 신호를 이용하여 차량좌표계상의 주차공간 포즈를 검출하는 단계; 및
    (c) 포즈변환 메트릭스를 기반으로 상기 차량좌표계상의 주차공간 포즈를 이용하여 주차공간좌표계상의 차량 포즈를 추정하는 단계를 포함하되,
    상기 주차공간좌표계상의 차량 포즈는 하기 수학식을 이용하여 추정되는 것을 특징으로 하는 주차 차량 포즈 추정 방법.
    Figure 112020059614416-pat00064

    여기서,
    Figure 112020059614416-pat00065
    는 차량좌표계상의 주차공간의 포즈를 나타내고,
    Figure 112020059614416-pat00066
    는 차량좌표계상의 주차공간 헤딩각을 나타냄.
  2. 제1 항에 있어서,
    상기 주차공간 포즈는 주차 공간에 대해 차량이 주차 완료시 상기 차량의 후륜축 중심이 위치하는 주차완료점에 대한 포즈인 것을 특징으로 하는 주차 차량 포즈 추정 방법.
  3. 제1 항에 있어서,
    상기 주차공간좌표계는,
    상기 주차공간 포즈를 원점으로 하는 좌표계인 것을 특징으로 하는 주차 차량 포즈 추정 방법.
  4. 삭제
  5. 제1 항에 있어서,
    상기 (b) 단계는,
    상기 영상 신호를 탑뷰 영상으로 변환한 후 주차선을 인식하는 단계; 및
    상기 인식된 주차선을 이용하여 차량좌표계상의 상기 주차공간의 포즈를 검출하는 단계를 포함하는 것을 특징으로 하는 주차 차량 포즈 추정 방법.
  6. 제1 항에 따른 방법을 수행하기 위한 프로그램 코드를 기록한 컴퓨터로 판독 가능한 기록매체 제품.
  7. 차량과 연동된 포즈 추정 장치에 있어서,
    차량에 탑재된 영상 센서로부터 영상 신호를 획득하는 획득부;
    상기 영상 신호를 이용하여 차량좌표계상의 주차공간 포즈를 검출하는 주차공간 포즈 검출부; 및
    포즈변환 메트릭스를 기반으로 상기 차량좌표계상의 주차공간 포즈를 이용하여 주차공간좌표계상의 차량 포즈를 추정하는 차량 포즈 추정부를 포함하되,
    상기 주차공간좌표계상의 차량 포즈는 하기 수학식을 이용하여 추정되는 것을 특징으로 하는 포즈 추정 장치.
    Figure 112020059614416-pat00067

    여기서,
    Figure 112020059614416-pat00068
    는 차량좌표계상의 주차공간의 포즈를 나타내고,
    Figure 112020059614416-pat00069
    는 차량좌표계상의 주차공간 헤딩각을 나타냄.
  8. 제7 항에 있어서,
    상기 주차공간 포즈는 주차 공간에 대해 차량이 주차 완료시 상기 차량의 후륜축 중심이 위치하는 주차완료점에 대한 포즈인 것을 특징으로 하는 포즈 추정 장치.
  9. 차량에 있어서,
    상기 차량에 탑재되며, 영상 신호를 생성하는 영상 센서; 및
    상기 영상 센서로부터 영상 신호를 획득한 후 차량좌표계상의 주차공간 포즈를 검출하고, 포즈변환 메트릭스를 기반으로 상기 차량좌표계상의 주차공간 포즈를 이용하여 주차공간좌표계상의 차량 포즈를 추정하는 포즈 추정부를 포함하되,
    상기 주차공간좌표계상의 차량 포즈는 하기 수학식을 이용하여 추정되는 것을 특징으로 하는 차량.
    Figure 112020059614416-pat00070

    여기서,
    Figure 112020059614416-pat00071
    는 차량좌표계상의 주차공간의 포즈를 나타내고,
    Figure 112020059614416-pat00072
    는 차량좌표계상의 주차공간 헤딩각을 나타냄.
  10. 제9 항에 있어서,
    상기 추정된 차량 포즈 및 상기 주차공간 포즈를 이용하여 주차 경로를 생성한 후 상기 생성된 주차 경로를 추종하도록 상기 차량의 조향을 제어하는 주행 제어부를 더 포함하는 차량.


KR1020190060017A 2019-05-22 2019-05-22 주차 차량 포즈 추정 방법 및 그 장치 KR102200651B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190060017A KR102200651B1 (ko) 2019-05-22 2019-05-22 주차 차량 포즈 추정 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190060017A KR102200651B1 (ko) 2019-05-22 2019-05-22 주차 차량 포즈 추정 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20200134498A KR20200134498A (ko) 2020-12-02
KR102200651B1 true KR102200651B1 (ko) 2021-01-08

Family

ID=73791962

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190060017A KR102200651B1 (ko) 2019-05-22 2019-05-22 주차 차량 포즈 추정 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102200651B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114684149A (zh) * 2022-04-27 2022-07-01 广州文远知行科技有限公司 泊车评估方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092598A (ja) 2000-09-14 2002-03-29 Nissan Motor Co Ltd 駐車時の自車位置検出装置
JP2016014549A (ja) 2014-07-01 2016-01-28 Ｉｈｉ運搬機械株式会社 車両位置算出装置
JP2018036878A (ja) 2016-08-31 2018-03-08 アイシン精機株式会社 駐車支援装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4052198B2 (ja) 2003-07-25 2008-02-27 株式会社デンソー 車両誘導装置、および経路判定プログラム
KR20110012317A (ko) * 2009-07-30 2011-02-09 주식회사 만도 빛 줄무늬 감지 방법, 목표 위치 검출 방법 및 그를 이용한 주차 보조 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092598A (ja) 2000-09-14 2002-03-29 Nissan Motor Co Ltd 駐車時の自車位置検出装置
JP2016014549A (ja) 2014-07-01 2016-01-28 Ｉｈｉ運搬機械株式会社 車両位置算出装置
JP2018036878A (ja) 2016-08-31 2018-03-08 アイシン精機株式会社 駐車支援装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Dong Hee Kang, et al. Vision-based Autonomous Indoor Valet Parking System. 2017 17th International Conference on Control, Automation and Systems. 2017.10.18., pp 41~46. 1부.*

Also Published As

Publication number Publication date
KR20200134498A (ko) 2020-12-02

Similar Documents

Publication Publication Date Title
JP5782708B2 (ja) 走行支援装置
EP3290281B1 (en) Automatic parking method and system of vehicle
CN106476728B (zh) 用于车载的车辆传感器的运动补偿
JP6747179B2 (ja) 駐車支援方法及び駐車支援装置
US9789816B2 (en) Method and system for determining an ego-motion of a vehicle
CN107792061B (zh) 停车辅助装置
JP5412985B2 (ja) 車両走行支援装置
JP4533936B2 (ja) 画像処理装置、及びこれを備えた車両検知装置
JP2007253745A (ja) 回避操作算出装置、回避制御装置、各装置を備える車両、回避操作算出方法および回避制御方法
US11772636B2 (en) Parking assist apparatus and a method of controlling the parking assist apparatus
JP5281867B2 (ja) 車両走行速度制御装置および方法
JP6997880B2 (ja) 駐車支援装置
JP2013203348A (ja) 駐車支援装置
WO2021033632A1 (ja) 車両制御方法及び車両制御装置
CN102436758B (zh) 用于支持车辆停车过程的方法和设备
KR102200651B1 (ko) 주차 차량 포즈 추정 방법 및 그 장치
KR102200649B1 (ko) 주차 공간 포즈 추정 방법 및 그 장치
US20230252804A1 (en) Learning method, learning device, mobile object control device, mobile object control method, and storage medium
KR102200648B1 (ko) 자율 주차 제어 방법 및 그 장치
JP2658056B2 (ja) 自律走行車両制御装置
JP7445515B2 (ja) 駐車支援装置、及び駐車支援装置の制御方法
CN113734152A (zh) 驻车支援装置、以及驻车支援装置的控制方法
JP2021135838A (ja) 駐車支援装置、及び駐車支援システム
JP2007331459A (ja) 車両用制動力制御装置および車両用制動力制御方法
KR102290026B1 (ko) 웨이포인트를 이용한 웨이포인트 포즈 검출 및 측위 방법 및 그 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant