KR102188721B1 - 탑-뷰 영상 생성 장치 및 그 방법 - Google Patents

탑-뷰 영상 생성 장치 및 그 방법 Download PDF

Info

Publication number
KR102188721B1
KR102188721B1 KR1020200050680A KR20200050680A KR102188721B1 KR 102188721 B1 KR102188721 B1 KR 102188721B1 KR 1020200050680 A KR1020200050680 A KR 1020200050680A KR 20200050680 A KR20200050680 A KR 20200050680A KR 102188721 B1 KR102188721 B1 KR 102188721B1
Authority
KR
South Korea
Prior art keywords
image
lane
camera
view image
estimating
Prior art date
Application number
KR1020200050680A
Other languages
English (en)
Other versions
KR20200047487A (ko
Inventor
이성수
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020200050680A priority Critical patent/KR102188721B1/ko
Publication of KR20200047487A publication Critical patent/KR20200047487A/ko
Application granted granted Critical
Publication of KR102188721B1 publication Critical patent/KR102188721B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

탑-뷰 영상 생성 장치 및 그 방법을 개시한다.
본 발명의 일 측면에 의하면, 차량에 설치된 전후좌우 카메라로부터 전후좌우 영상을 각각 획득하는 과정; 상기 전후좌우 영상으로부터 상기 차량의 좌측 차선과 우측 차선을 검출하는 과정; 상기 좌측 차선과 상기 우측 차선이 탑-뷰(Top view) 영상 좌표계에서 요구되는 기하학적 조건을 만족하도록 전후좌우 카메라 각각의 카메라 자세각을 추정하는 과정; 및 상기 카메라 자세각으로 구성된 회전행렬을 기반으로 상기 전후좌우 영상을 회전변환하여, 전후좌우 탑-뷰 영상을 생성하고, 생성된 전후좌우 탑-뷰 영상을 합성하여, 하나의 최종 탑-뷰 영상을 생성하는 과정을 포함하는 탑-뷰 영상 생성 방법을 제공한다.

Description

탑-뷰 영상 생성 장치 및 그 방법{APPARATUS FOR GENERATING TOP-VIEW IMAGE AND METHOD THEREOF}
본 발명은 탑-뷰 영상 생성 장치 및 그 방법, 더욱 상세하게는 차량에 탑재된 어라운드 뷰 모니터링 시스템의 어라운드 뷰 영상으로 정합되는 탑-뷰(Top-View) 영상을 생성하는 탑-뷰 영상 생성 장치 및 그 방법에 관한 것이다.
차량의 어라운드 뷰 모니터링(Around View Monitoring, AVM) 시스템은 차량의 전면, 양쪽 사이드 미러, 트렁크 등에 각각 설치된 4개의 카메라로부터 획득한 영상들을 합성하여, 차량 주변을 위에서 바라보는 조감도(Top view 또는 Bird's Eye View) 형태로 보여주는 어라운드 뷰 영상을 제공하는 시스템이다.
어라운드 뷰 모니터링 시스템에서 사용하는 카메라들의 조립 과정에서, 공차를 보상하는 작업은 필수적이다. 차량의 제조사는 어라운드 뷰 모니터링 시스템이 장착된 차량에 대하여 어라운드 뷰 영상의 정합성 기준에 맞도록 공차를 보상한 후 차량을 출고한다.
그러나 차량 출고 후 차량의 운행 도중 발생하는 차량의 진동, 사이드 미러의 반복적인 폴딩, 트렁크의 반복적인 여닫음 등으로 인하여 각 카메라에서는 새로운 공차가 발생하며, 각 카메라에서 발생하는 공차의 지속적인 누적은 어라운드 뷰 영상의 정합성을 저하시킨다. 이는 어라운드 뷰 영상의 표시품질 저하의 원인이 된다.
따라서, 본 발명의 목적은 어라운드 뷰 영상의 정합성을 향상시키기 위해 차량 운행 중에서도 카메라 공차 보상이 가능한 탑-뷰 영상 생성 장치 및 그 방법을 제공하는 데 있다.
본 실시예의 일 측면에 의하면, 차량에 설치된 전후좌우 카메라로부터 전후좌우 영상을 각각 획득하는 과정; 상기 전후좌우 영상으로부터 상기 차량의 좌측 차선과 우측 차선을 검출하는 과정; 상기 좌측 차선과 상기 우측 차선이 탑-뷰(Top view) 영상 좌표계에서 요구되는 기하학적 조건을 만족하도록 전후좌우 카메라 각각의 카메라 자세각을 추정하는 과정; 및 상기 카메라 자세각으로 구성된 회전행렬을 기반으로 상기 전후좌우 영상을 회전변환하여, 전후좌우 탑-뷰 영상을 생성하고, 생성된 전후좌우 탑-뷰 영상을 합성하여, 하나의 최종 탑-뷰 영상을 생성하는 과정을 포함하는 탑-뷰 영상 생성 방법을 제공한다.
본 실시예의 다른 측면에 의하면, 주행 중인 차량의 전후좌우를 촬영하여 전후좌우 영상을 생성하는 카메라부; 상기 전후좌우 영상으로부터 상기 차량의 좌측 차선과 우측 차선을 검출하는 차선 검출부; 상기 좌측 차선과 상기 우측 차선이 탑-뷰(Top view) 영상 좌표계에서 요구되는 기하학적 조건을 만족하도록 전후좌우 카메라 각각의 카메라 자세각을 추정하는 카메라 각도 추정부; 상기 카메라 자세각으로 구성된 회전행렬을 기반으로 상기 전후좌우 영상을 회전변환하여, 전후좌우 탑-뷰 영상을 생성하는 영상 회전부; 및 상기 생성된 전후좌우 탑-뷰 영상을 합성하여, 하나의 최종 탑-뷰 영상을 생성하는 영상 합성부를 포함하는 탑-뷰 영상 생성 장치를 제공한다.
본 발명에 따르면, 차량이 도로를 주행하는 상황에서 실시간으로 카메라 공차를 보상함으로써, 운전자가 차량과 함께 주기적으로 정비 업체를 방문하여 카메라 공차를 보상해야 하는 번거로움을 줄일 수 있다.
또한, 실시간으로 카메라 공차를 보상함으로써, 카메라 공차에 의한 탑뷰 영상의 표시 품질 저하를 방지할 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 탑-뷰 영상 생성 장치의 기능들을 블록 단위로 도시한 기능 블록도이다.
도 2는 도 1에 도시된 차선 검출부에서 수행되는 차선 패턴 검출 과정을 도식적으로 나타낸 도면이다.
도 3은 카메라 좌표계에서 정의된 피치(Pitch) 방향, 롤(Roll) 방향 및 요(Yaw) 방향의 회전 각도를 도식적으로 나타낸 것이다.
도 4는 본 발명의 일 실시 예에 따른 롤 방향의 회전 각도를 추정하는 방법을 도식적으로 설명하는 도면이다.
도 5는 본 발명의 일 실시 예에 따른 카메라 공차가 보정된 탑-뷰 영상을 생성하는 방법을 나타내는 순서도이다.
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
본 발명은 영상에서 검출 가능한 지면에 존재하는 차선을 이용하여 AVM 카메라 자세각을 추정하고 AVM의 영상 합성 LUT(Look-up Table)을 업데이트하는 장치 및 방법에 관한 것이다.
AVM 합성 영상에서 자차 기준의 좌/우측 차선이 평행할 조건, 상기 좌/우측 차선의 두께가 동일할 조건, 좌/우측 차선 각각이 동일선 상에 존재해야 하는 조건을 이용하면, 지면을 기준으로 하는 카메라 자세각을 정확하게 추정할 수 있고, 동시에 AVM 영상을 합성하기 위한 룩업 테이블(LUT)의 업데이트도 가능하다.
하지만, 실제 도로 환경에서는 좌/우측 차선의 두께가 동일할 조건을 만족하지 않는 경우가 존재한다. 예를 들면, 좌측 차선의 색상과 우측 차선의 색상이 서로 다른 경우, 좌/우측 차선의 두께는 서로 다를 수 있고, 좌측 차선의 형태가 실선이고, 우측 차선의 형태가 점선인 경우에도 좌/우측 차선의 두께는 서로 다를 수 있다.
이와 같이, 색상 또는/및 형태가 서로 다른 좌/우측 차선의 경우, 상기 좌/우측 차선의 두께가 동일할 조건을 만족하지 않을 가능성이 높기 때문에, 이 경우에는 지면을 기준으로 하는(탑-뷰 좌표계를 기준으로 하는) 카메라 자세각을 정확하게 추정할 수 없다.
이러한 문제를 해결하기 위해 본 발명에서는 검출된 좌/우측 차선의 색상 및 형태(실선 또는 점선)을 활용하여 AVM 자동 공차 보정 수행 여부를 결정한다. 즉, 좌/우측 차선의 색상 및 형태(실선 또는 점선)가 동일한 경우에만 각 카메라의 공차 보정을 위한 카메라 자세각을 추정함으로써, 보다 정확한 공차 보정이 가능하다.
또한, 실제 도로 주행 환경에서는 전/후/좌/우 카메라 영상에서 동시에 차선이 검출되기 어려운데, 본 발명에서는 차량이 직진 주행하는 상황에서 획득한 영상들로부터 검출된 차선들을 누적하여 사용함으로써 이러한 문제를 해결한다. 본 발명을 통해 AVM 자동 공차 보정 성능 향상을 기대할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대해 상세 설명한다.
도 1은 본 발명의 일 실시 예에 따른 탑-뷰 영상 생성 장치의 기능들을 블록 단위로 도시한 기능 블록도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 탑-뷰 영상 생성 장치(100)는, 탑-뷰 영상용 카메라의 공차를 보상하기 위해, 카메라부(110), 렌즈왜곡 보정부(120), 차선 검출부(130), 차선 색상/형태 판단부(140), 카메라 각도 추정부(150), 저장부(160), 영상 회전부(170), 영상 합성부(180) 및 표시부(190)를 포함한다. 추가로, 도 1에 도시하지는 않았으나, 상기 구성들(110~190)의 각 동작을 관리 및 제어하는 제어부를 더 포함할 수 있으며, 상기 제어부는 마이컴이나 중앙 연산 처리 장치(CPU)로 구현될 수 있다. 또한, 상기 구성들(110~190)은 상기 마이컴이나 중앙 연산 처리 장치(CPU) 내에 논리 블록으로 구현될 수도 있다.
카메라부(110)
상기 카메라부(110)는 차량 운행 중에서 자차(자기 차량)의 360도 주변을 촬영한 주변 영상을 생성하며, 상기 주변 영상은 전방 영상, 후방 영상, 좌측방 영상 및 우측방 영상(전/후/좌/우 영상)을 포함한다.
이를 위해, 상기 카메라부(110)는 전방 카메라(112), 후방 카메라(114), 좌측 카메라(116) 및 우측 카메라(118)를 포함한다.
상기 전방 카메라는 차량 전면(예를 들면, 앞쪽 범퍼)에 설치되어 차량의 전방을 촬영한 전방 영상을 생성할 수 있다. 상기 후방 카메라는 차량의 후면(예를 들면, 뒤쪽 범퍼)에 설치되어, 차량의 후방을 촬영한 후방 영상을 생성할 수 있다. 상기 좌측 카메라는 차량의 좌측면에 설치되어, 차량의 좌측방을 촬영한 좌측 영상을 생성할 수 있다. 상기 우측 카메라는 차량의 우측면에 설치되어, 차량의 우측방을 촬영한 우측 영상을 생성할 수 있다. 이러한 카메라들(112~118)은, 자차 주변의 360도를 촬영하도록 넓은 화각 특성을 갖는 광각 렌즈를 구비하는 것이 바람직하다.
렌즈왜곡 보정부(120)
상기 렌즈왜곡 보정부(120)는, 상기 광각 렌즈가 갖는 넓은 화각 특성으로 인해 발생하는 주변 영상(전/후/좌/우 영상)의 왜곡을 보정하기 위해, 렌즈 왜곡 모델(lens distortion model) 또는 렌즈 왜곡 보정 알고리즘을 기반으로 상기 주변 영상(전/후/좌/우 영상)을 보정한다. 렌즈 왜곡 모델 또는 렌즈 왜곡 보정 알고리즘은 공지의 기술이며, 본 발명은 렌즈 왜곡 모델 또는 렌즈 왜곡 보정 알고리즘을 한정하는 데 그 특징이 있는 것이 아니므로, 이에 대한 상세한 설명은 생략한다.
차선 검출부(130)
상기 차선 검출부(130)은 렌즈 왜곡이 보정된 각 영상(전/후/좌/우)으로부터 적어도 2개의 차선 패턴을 검출한다. 차선 패턴을 검출하기 위해, 다양한 차선 검출 알고리즘이 사용될 수 있다. 예를 들면, 탑-햇(Top-Hat) 필터, 허브 변환(Hough transformation) 알고리즘, RANSAC 기반의 라인 피팅(Line Fitting) 알고리즘, 칼만(Kalman) 필터 등이 이용될 수 있다.
특별히 한정하는 것은 아니지만, 도 2를 참조하여, 상기 차선 검출부(130)에서 수행되는 차선 패턴을 검출하는 일 예에 대해 설명하기로 한다.
먼저, 단계(1)에서, 렌즈 왜곡이 보정된 영상 내에서 관심 영역을 선정한다. 예를 들면, 상기 영상을 수평 방향으로 2개의 영역들(ⓐ, ⓑ)로 이등분하고, 이등분된 2개의 영역들 중 하부 영역(ⓑ)을 관심 영역으로 선정할 수 있다.
상부 영역(A)을 관심 영역에서 제외하는 것은 상부 영역(ⓐ)에는 차선이 존재하는 도로면 외에 차선이 존재하지 않는 하늘과 같은 배경이 존재하기 때문에, 차선이 존재하지 않는 배경에서 차선을 검출하기 위한 불필요한 탐색 과정을 배제함으로써, 연산 처리 시간을 단축하기 위함이다.
이어, 단계(2)에서, 상기 관심 영역(ⓑ)으로 설정된 영상에 대해 모폴로지 연산(morphological)을 수행하여, 상기 관심 영역으로 설정된 영상을 이진 영상으로 변환한다.
이어, 단계(3)에서, 상기 이진 영상에 대해 연결 요소 분석(connected component analysis)을 수행하여, 상기 이진 영상 내에 나타나는 객체들(차선 객체들)을 라벨링(labelling) 한다. 상기 연결 요소 분석은 상호 연결된 단일 화소들의 집합을 독립된 하나로 객체화하는 것으로, 이 방법을 이용하면 상기 이진 영상 내에 존재하는 객체들(차선 객체들)을 효율적으로 분리할 수 있다.
이어, 단계(4)에서, 차선 패턴은 수평 방향으로 존재할 수 없고, 직선의 형태를 띠기 때문에, 각도와 직선 정도를 고려하여, 라벨링된 객체들(차선 객체들) 중 차선 패턴으로 볼 수 없는 객체들을 제거하고, 제거되지 않고 남은 동일선 상의 객체들을 차선 후보군으로 검출한다.
이어, 단계(5)에서, 상기 검출된 차선 후보군에 포함된 객체들을 라인 피팅 알고리즘을 이용하여 하나의 라인으로 연결하고, 연결된 라인을 좌측 차선 패턴 및 우측 차선 패턴으로 검출한다. 한편, 도 2에서는 도면의 간략화를 위해, 하나의 차선 패턴에 대한 검출 과정을 예시한 것이다.
차선 색상/형태 판단부(140)
다시 도 1을 참조하면, 상기 차선 색상/형태 판단부(140)는 상기 검출된 좌측 차선 패턴과 우측 차선 패턴의 색상 및 형태(실선 또는 점선)가 동일한지를 판단한다.
본 발명의 실시 예에서는, 상기 좌측 차선 패턴과 상기 우측 차선 패턴 간의 색상 및 형태가 동일한 경우에만 아래에서 설명하는 카메라 자세각 추정부(150)에서 카메라 자세각에 대한 추정을 수행한다. 즉, 색상 및 형태가 다른 좌우측 차선 패턴이 검출된 영상을 제공하는 해당 카메라에 대해서는 카메라 각도를 추정하는 작업을 진행하지 않는다.
상기 좌측 차선 패턴의 색상과 상기 우측 차선 패턴의 색상이 동일한지를 판단하기 위해, 먼저, 상기 차선 색상/형태 판단부(140)는 상기 좌측 차선 패턴에 포함된 픽셀들의 좌측 평균 색상값을 계산하고, 상기 우측 차선 패턴에 포함된 픽섹들의 우측 평균 색상값을 계산한다. 여기서, 평균 색상값은 RGB 컬러 모델에 기반한 RGB 컬러값들에 대한 평균 색상값 또는 HSV(Hue/Saturation/Value) 모델에 기반한 Hue값들에 대한 평균 색상값일 수 있다.
상기 좌측 평균 색상값과 상기 우측 평균 색상값이 계산되면, 상기 차선 색상/형태 판단부(140)는 상기 좌측 평균 색상값과 상기 우측 평균 색상값 간의 차이값을 계산하고, 계산된 차이값이 임계값 이하이면, 상기 좌측 차선 패턴의 색상과 상기 우측 차선 패턴의 색상을 동일한 것으로 판단한다.
상기 좌측 차선 패턴의 형태와 상기 우측 차선 패턴의 형태가 동일한지를 판단하기 위해, 먼저, 상기 차선 색상/형태 판단부(140)는 상기 좌측 차선 패턴의 형태가 점선 형태인지 실선 형태인지를 판단하고, 상기 우측 차선 패턴의 형태가 점선 형태인지 실선 형태인지를 판단한다.
각 차선 패턴이 점선 형태인지 실선 형태인지를 판단하는 방법은, 전술한 차선 검출 과정에서 차선 후보군에 속한 라벨링된 객체들(동일선 상의 객체들)의 개수로부터 판단할 수 있다. 예를 들면, 상기 차선 후보군에 속한 라벨링된 객체들(동일선 상의 객체들)의 개수가 기 설정된 개수 이하이면, 해당 차선 패턴은 실선 형태로 판단하고, 기 설정된 개수를 초과하면, 점선 형태로 판단한다.
카메라 자세각 추정부(150)
상기 카메라 자세각 추정부(150)는, 색상과 형태가 동일한 좌측 차선 패턴과 우측 차선 패턴이 검출된 영상을 제공하는 카메라의 카메라 자세각을 추정한다. 여기서, 카메라 자세각은, 도 3에 도시된 바와 같이, 피치(Pitch) 방향의 회전 각도, 롤(Roll) 방향의 회전 각도 및 요(Yaw) 방향의 회전 각도를 포함한다.
카메라 자세각이 추정되면, 추정된 카메라 자세각이 포함된 회전 행렬을 생성하고, 생성된 회전 행렬을 룩업 테이블 형태로 저장부(160)에 저장하여, 기존에 저장된 룩업 테이블을 업데이트한다. 상기 저장부(160)는 비휘발성 메모리일 수 있다.
카메라 자세각은 탑-뷰 영상 좌표계에서 상기 좌/우측 차선 패턴이 갖는 기하학적 조건(기하학적 성질, 기하학적 특성)을 이용하여, 추정될 수 있다.
카메라 자세각 추정 방법1
카메라 자세각 추정 방법1은 피치 방향의 회전 각도와 요 방향의 회전 각도를 추정(또는 계산)하는 것이다.
카메라 좌표계에서는, 좌측 차선 패턴과 우측 차선 패턴이 평행하지 않고, 좌측 차선 패턴의 두께와 우측 차선 패턴의 두께가 서로 다르지만, 탑뷰 좌표계에서는, 좌측 차선 패턴과 우측 차선 패턴이 서로 평행하고, 좌측 차선 패턴의 두께와 우측 차선 패턴의 두께가 서로 동일해야 한다. 여기서 '두께'란 일반적으로 흰색 또는 노란색으로 도로상에 도포된 차선 자체의 폭을 의미한다.
따라서, 카메라 자세각 추정 방법1은, 좌측 차선 패턴과 우측 차선 패턴이 평행하게 되는 조건과 좌측 차선 패턴의 두께와 우측 차선 패턴의 두께가 동일하게 되는 조건을 포함하는 기하학적 조건을 모두 만족하는 피치 방향의 회전 각도와 요 방향의 회전 각도를 계산하는 것이다.
카메라 자세각 추정 방법2
카메라 자세각 추정 방법2는 피치 방향의 회전 각도를 추정할 수 있는 또 다른 방법으로, 좌측 차선 패턴과 우측 차선 패턴이 평행하게 되는 조건과 좌측 차선 패턴과 우측 차선 패턴이 도 3의 yz축 평면과 평행하게 되는 조건을 포함하는 기하학적 조건을 모두 만족하는 피치 방향의 회전 각도를 계산하는 것이다.
카메라 자세각 추정 방법3
카메라 자세각 추정 방법3은 롤 방향의 회전 각도를 추정하는 방법으로, 도 4를 참조하여 설명하면, 먼저, 전술한 카메라 자세각 추정 방법1 및 2에 따라 추정된 회전 각도를 이용하여 임의의 영상(이하, '전방 영상'으로 가정함)을 회전 변환하여, 전방 탑-뷰 영상을 생성한다.
이어, 이전 프레임의 전방 탑-뷰 영상에 포함된 특징점(P1n-1)을 기준으로, 현재 프레임의 전방 탑-뷰 영상에 포함된 특징점(P1n)의 이동벡터(71)를 계산하고, 차량의 움직임 정보에 따른 상기 특징점(P1n-1)의 예측이동벡터(73)를 계산한다. 이후, 상기 이동벡터(71)가 상기 예측 이동 벡터(73)와 일치되는 회전 각도(Θ)를 계산하는 방식으로, 롤 방향의 회전 각도를 추정할 수 있다.
한편, 상기 지면상의 특징점은 도로 표면에서 볼 수 있는 균열, 스크래치, 차선 외의 도포 표시선 등일 수 있고, 상기 차량의 움직임 정보는 GPS 정보, 자이로 센서에서 획득한 정보 등과 같은 차량의 진행 방향을 알 수 있는 모든 종류의 정보로부터 획득할 수 있다.
전술한 카메라 자세각 추정 방법 1-3에 의해 피치(Pitch) 방향의 회전 각도, 롤(Roll) 방향의 회전 각도 및 요(Yaw) 방향의 회전 각도가 추정되면, 상기 카메라 자세각 추정부(150)는, 추정된 피치(Pitch) 방향의 회전 각도, 롤(Roll) 방향의 회전 각도 및 요(Yaw) 방향의 회전 각도로 이루어진 회전 행렬을 생성하고, 이를 룩업 테이블 형태로 저장부(160)에 저장한다.
영상 회전부(170)
상기 영상 회전부(170)는 상기 저장부(160)에 저장된 회전 행렬(R)을 이용하여 상기 카메라부(110)에서 생성한 전/후/좌/우 영상을 각각 회전 변환하여 4개의 전/후/좌/우 탑뷰 영상으로 변환한다.
영상 합성부(180)
상기 영상 합성부(180)는 상기 영상 회전부(170)에 의해 회전 변환된 4개의 전/후/좌/우 탑뷰 영상을 합성하여, 하나의 최종 탑뷰 영상을 생성하고, 이를 표시부(190)를 통해 출력한다.
도 5는 본 발명의 일 실시 예에 따른 카메라 공차가 보정된 탑-뷰 영상을 생성하는 방법을 나타내는 순서도로서, 아래의 각 단계의 설명에서 도 1 내지 도 4를 참조한 설명과 중복되는 설명은 간략히 기재하기로 한다.
도 5를 참조하면, 먼저, 단계 S551에서, 차량이 주행을 시작한다.
이어, 단계 S513에서, 상기 차량의 직선 주행 여부를 판단한다. 여기서, 직선 주행 여부를 판단하는 이유는, 실제 도로 주행 환경에서 차량의 주변을 촬영한 전/후/좌/우 영상에서 차선이 동시에 검출되지 않을 수도 있다. 예를 들면, 커브 주행에서는 좌측 영상 또는 우측 영상에서 차선이 검출되지 않을 수도 있다. 이 경우, 좌 또는 우 영상에서 차선이 검출되지 않았기 때문에, 좌/우 카메라에 대한 카메라 자세각 추정 과정을 수행할 없다.
따라서, 본 발명의 일 실시 예에서는, 전/후/좌/우 영상에서 차선을 동시에 검출할 수 있는 직선 주행 환경에서만 카메라 자세각 추정 과정을 진행함으로써, 일부 카메라에 대한 카메라 자세각 추정 실패를 방지할 수 있다. 만일, 차량의 주행 환경이 직선 주행이 아닌 경우, 차량이 직선 주행할 때까지 카메라 자세각 추정 과정은 중지될 수 있다. 한편, 차량의 직선 주행 여부는 차량 내에 설치된 GPS 정보, 자이로 센서에서 획득한 정보 등과 같은 차량의 진행 방향을 알 수 있는 모든 종류의 정보로부터 알 수 있다.
이어, 차량이 직선 주행인 것으로 확인되면, 단계 S515에서, 전/후/좌/우 카메라로부터 전/후/좌/우 영상을 각각 획득한다.
이어, 단계 S517에서, 렌즈 왜곡 알고리즘을 이용하여, 상기 광각 렌즈가 갖는 넓은 화각 특성으로 인해 발생하는 상기 전/후/좌/우 영상의 렌즈 왜곡을 보정한다.
이어, 단계 S519에서, 차선 검출 알고리즘을 이용하여 렌즈 왜곡이 보정된 상기 전/후/좌/우 영상으로부터 차선(또는 차선 패턴)을 검출한다.
이어, 단계 S521에서, 상기 전/후/좌/우 영상 모두로부터 차선이 검출되었는지를 판단하는 과정이 수행된다. 모든 영상에서 차선이 검출되면, 단계 S523으로 진행하고, 모든 영상들 중에서 적어도 하나에서 차선이 검출되지 않으면, 단계 S513 이전으로 돌아가 상기 단계 S513~S519를 재 수행한다.
이어, 모든 영상에서 차선이 검출되면, 단계 S523에서, 각 영상에서 검출된 차선의 색상/형태를 판단한다.
이어, 단계 S525에서, 각 영상에서 검출된 차선의 색상/형태가 동일할 지를 판단한다. 구체적으로, 전방영상에서 좌측 차선과 우측 차선이 검출되면, 좌측 차선과 우측 차선의 색상/형태가 동일한지를 판단하고, 유사하게, 후방 영상에서 검출된 좌측 차선과 우측 차선의 색상/형태가 동일한지를 판단한다.
한편, 좌측 영상에서는 하나의 좌측 차선만이 검출되고, 우측 영상에서는 하나의 우측 차선만이 검출될 수 있다. 이 경우에는, 좌측 영상에서 검출된 좌측 차선과 전방 영상(또는 후방 영상)에서 검출된 좌측 차선의 색상/형태가 동일한지를 판단한다. 유사하게, 우측 영상에서 검출된 우측 차선과 전방 영상(또는 후방 영상)에서 검출된 우측 차선의 색상/형태가 동일한지를 판단한다.
이어, 좌우 차선의 색상/형태가 모두 동일하면, 단계 S527에서, 검출된 좌우 차선을 이용하여 카메라 공차보정을 위한 카메라 자세각(또는 피치 방향, 롤 방향 및 요 방향의 회전각도)을 추정한다. 즉, 전술한 카메라 자세각 추정 방법 1-3으로, 지면을 기준으로 하는(탑-뷰 좌표계를 기준으로 하는) 카메라 자세각(또는 피치 방향, 롤 방향 및 요 방향의 회전각도)을 추정(계산)한다.
한편, 좌측 영상에서 하나의 좌측 차선만이 검출되고, 우측 영상에서 하나의 우측 차선만이 검출된 경우에는, 상기 좌측 영상에서 검출된 좌측 차선과 상기 우측 영상에서 검출된 우측 차선이 전술한 회전각도 추정방법 1, 2, 3에서 설명한 조건들을 만족하는 카메라 자세각을 계산하고, 이를 통해 좌우측 카메라의 카메라 자세각을 추정할 수 있다.
다르게, 전방 영상(또는 후방 영상)에서 검출한 좌우 차선을 이용하여 추정된 전방 카메라(또는 후방 카메라)의 카메라 자세각을 이용하여 좌우측 카메라의 카메라 자세각을 추정할 수 있다. 예를 들면, 전방 영상(또는 후방 영상)에서 검출된 좌측 차선의 두께와 좌측 영상에서 검출된 좌측 차선의 두께가 동일할 조건 및 전방 영상(또는 후방 영상)에서 검출된 좌측 차선과 좌측 영상에서 검출된 좌측 차선이 평행할 조건을 만족하는 카메라 자세각을 추정하는 방식으로, 좌측 카메라의 카메라 자세각을 추정할 수 있다. 이와 유사한 방식으로, 전방 영상(또는 후방 영상)에서 검출된 우측 차선과 우측 영상에서 검출된 우측 차선을 비교하여, 좌측 카메라의 카메라 자세각을 추정할 수 있다.
전/후/좌/우 카메라에 대한 모든 카메라 자세각이 추정되면, 추정된 카메라 자세각을 포함하는 회전 행렬을 구성한다.
이어, 단계 S529에서, 상기 구성된 회전 행렬을 룩업 테이블 형태로 저장부에 저장하여, 기존에 저장된 룩업 테이블을 업데이트한다.
이후, 상기 저장부에 룩업 테이블 형태로 저장된 회전 행렬을 이용하여 현재 입력되는 4개의 전/후/좌/우 영상을 전/후/좌/우 탑-뷰 영상으로 회전 변환하고, 회전 변환된 전/후/좌/우 탑-뷰 영상을 합성함으로써, 카메라 공차가 보정된 최종 탑-뷰 영상을 운전자에게 제공할 수 있다.
한편, 탑-뷰 영상을 생성 장치를 나타내는 도 1의 블록도는 발명의 원리를 기능적 관점에서 구체화한 것으로 이해해야 한다. 이와 유사하게, 도 5의 흐름도는 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.
프로세서 또는 이와 유사한 개념으로 표시된 도 1의 블록들(120~190)은 전용 하드웨어뿐만 아니라 소프트웨어를 실행할 수 있는 하드웨어의 사용으로 제공될 수 있다.
도 1의 블록들(120~190)이 프로세서에 의해 구현될 때, 도 1에 도시된 블록들(120~190)의 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.
또한, 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 인용하여 해석되어서는 안되며, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 물론 주지관용의 다른 하드웨어도 포함될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (12)

  1. 차량에 설치된 전후좌우 카메라로부터 전후좌우 영상을 각각 획득하는 과정;
    상기 전후좌우 영상으로부터 상기 차량의 좌측 차선과 우측 차선을 검출하는 과정;
    상기 좌측 차선과 상기 우측 차선이 탑-뷰(Top view) 영상 좌표계에서 요구되는 기하학적 조건을 만족하도록 전후좌우 카메라 각각의 카메라 자세각을 추정하는 과정; 및
    상기 카메라 자세각으로 구성된 회전행렬을 기반으로 상기 전후좌우 영상을 회전변환하여, 전후좌우 탑-뷰 영상을 생성하고, 생성된 전후좌우 탑-뷰 영상을 합성하여, 하나의 최종 탑-뷰 영상을 생성하는 과정을 포함하되,
    상기 기하학적 조건은,
    상기 좌측 차선과 상기 우측 차선이 평행한 조건 및 상기 좌측 차선의 두께와 상기 우측 차선의 두께가 동일한 조건 중 적어도 하나를 포함하는 탑-뷰 영상 생성 방법.
  2. 제1항에 있어서,
    상기 전후좌우 영상을 획득하는 과정 이전에,
    상기 차량의 주행 상태가 직선 주행인지를 판단하는 과정을 추가로 포함하는 것을 특징으로 하는 탑-뷰 영상 생성 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 카메라 자세각을 추정하는 과정은,
    좌측 영상으로부터 검출된 좌측 차선과 우측 영상으로부터 검출된 우측 차선이 상기 기하학적 조건을 만족하도록 좌측 카메라 및 우측 카메라의 자세각을 추정하는 과정인 것을 특징으로 하는 탑-뷰 영상 생성 방법.
  5. 제1항에 있어서,
    상기 카메라 자세각을 추정하는 과정은,
    전방 영상 및 후방 영상 중 적어도 하나로부터 검출된 좌측 차선과 좌측 영상으로부터 검출된 좌측 차선이 상기 기하학적 조건을 만족하도록 전방 카메라 및 후방 카메라 중 적어도 하나와 좌측 카메라의 자세각을 추정하는 과정인 것을 특징으로 하는 탑-뷰 영상 생성 방법.
  6. 제1항에 있어서,
    상기 카메라 자세각을 추정하는 과정은,
    전방 영상 및 후방 영상 중 적어도 하나로부터 검출된 우측 차선과 우측 영상으로부터 검출된 우측 차선이 상기 기하학적 조건을 만족하도록 전방 카메라 및 후방 카메라 중 적어도 하나와 우측 카메라의 자세각을 추정하는 과정인 것을 특징으로 하는 탑-뷰 영상 생성 방법.
  7. 주행 중인 차량의 전후좌우를 촬영하여 전후좌우 영상을 생성하는 카메라부;
    상기 전후좌우 영상으로부터 상기 차량의 좌측 차선과 우측 차선을 검출하는 차선 검출부;
    상기 좌측 차선과 상기 우측 차선이 탑-뷰(Top view) 영상 좌표계에서 요구되는 기하학적 조건을 만족하도록 전후좌우 카메라 각각의 카메라 자세각을 추정하는 카메라 각도 추정부;
    상기 카메라 자세각으로 구성된 회전행렬을 기반으로 상기 전후좌우 영상을 회전변환하여, 전후좌우 탑-뷰 영상을 생성하는 영상 회전부; 및
    상기 생성된 전후좌우 탑-뷰 영상을 합성하여, 하나의 최종 탑-뷰 영상을 생성하는 영상 합성부를 포함하되,
    상기 기하학적 조건은,
    상기 좌측 차선과 상기 우측 차선이 평행한 조건 및 상기 좌측 차선의 두께와 상기 우측 차선의 두께가 동일한 조건 중 적어도 하나를 포함하는 탑-뷰 영상 생성 장치.
  8. 제7항에 있어서,
    상기 차량의 주행 상태가 직선 주행인지를 판단하는 주행 판단부를 더 포함하는 것을 특징으로 하는 탑-뷰 영상 생성 장치.
  9. 삭제
  10. 제7항에 있어서,
    상기 카메라 각도 추정부는,
    좌측 영상으로부터 검출된 좌측 차선과 우측 영상으로부터 검출된 우측 차선이 상기 기하학적 조건을 만족하도록 좌측 카메라 및 우측 카메라의 자세각을 추정하는 것을 특징으로 하는 탑-뷰 영상 생성 장치.
  11. 제7항에 있어서,
    상기 카메라 각도 추정부는,
    전방 영상 및 후방 영상 중 적어도 하나로부터 검출된 좌측 차선과 좌측 영상으로부터 검출된 좌측 차선이 상기 기하학적 조건을 만족하도록 전방 카메라 및 후방 카메라 중 적어도 하나와 좌측 카메라의 자세각을 추정하는 것을 특징으로 하는 탑-뷰 영상 생성 장치.
  12. 제7항에 있어서,
    상기 카메라 각도 추정부는,
    전방 영상 및 후방 영상 중 적어도 하나로부터 검출된 우측 차선과 우측 영상으로부터 검출된 우측 차선이 상기 기하학적 조건을 만족하도록 전방 카메라 및 후방 카메라 중 적어도 하나와 우측 카메라의 자세각을 추정하는 것을 특징으로 하는 탑-뷰 영상 생성 장치.
KR1020200050680A 2020-04-27 2020-04-27 탑-뷰 영상 생성 장치 및 그 방법 KR102188721B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200050680A KR102188721B1 (ko) 2020-04-27 2020-04-27 탑-뷰 영상 생성 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200050680A KR102188721B1 (ko) 2020-04-27 2020-04-27 탑-뷰 영상 생성 장치 및 그 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020160167002A Division KR102328031B1 (ko) 2016-12-08 2016-12-08 탑-뷰 영상 생성 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20200047487A KR20200047487A (ko) 2020-05-07
KR102188721B1 true KR102188721B1 (ko) 2020-12-08

Family

ID=70734343

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200050680A KR102188721B1 (ko) 2020-04-27 2020-04-27 탑-뷰 영상 생성 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102188721B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180019921A (ko) * 2016-08-17 2018-02-27 현대모비스 주식회사 탑뷰 영상 생성 장치 및 그 방법
KR20180063040A (ko) * 2015-09-30 2018-06-11 소니 주식회사 정보 처리 장치 및 정보 처리 방법
WO2022203340A1 (ko) 2021-03-22 2022-09-29 주식회사 타스글로벌 선박청소로봇의 복수의 카메라 영상들을 하나의 영상으로 처리하는 영상 처리 방법, 컴퓨터 판독가능 기록 매체, 컴퓨터 프로그램 및 이를 이용한 로봇 제어 방법
KR20220131847A (ko) 2021-03-22 2022-09-29 주식회사 타스글로벌 선박청소로봇의 복수의 카메라 영상들을 하나의 영상으로 처리하는 영상 처리 방법, 컴퓨터 판독가능 기록 매체, 컴퓨터 프로그램 및 이를 이용한 로봇 제어 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009288152A (ja) 2008-05-30 2009-12-10 Nippon Soken Inc 車載カメラのキャリブレーション方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101347450B1 (ko) * 2012-04-10 2014-01-09 한국기술교육대학교 산학협력단 듀얼 카메라를 이용한 화상 감지 방법 및 장치
KR101987634B1 (ko) * 2012-09-10 2019-06-11 현대모비스 주식회사 카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009288152A (ja) 2008-05-30 2009-12-10 Nippon Soken Inc 車載カメラのキャリブレーション方法
JP4555876B2 (ja) * 2008-05-30 2010-10-06 株式会社日本自動車部品総合研究所 車載カメラのキャリブレーション方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180063040A (ko) * 2015-09-30 2018-06-11 소니 주식회사 정보 처리 장치 및 정보 처리 방법
KR102512855B1 (ko) 2015-09-30 2023-03-23 소니그룹주식회사 정보 처리 장치 및 정보 처리 방법
KR20180019921A (ko) * 2016-08-17 2018-02-27 현대모비스 주식회사 탑뷰 영상 생성 장치 및 그 방법
KR102528002B1 (ko) 2016-08-17 2023-05-02 현대모비스 주식회사 탑뷰 영상 생성 장치 및 그 방법
WO2022203340A1 (ko) 2021-03-22 2022-09-29 주식회사 타스글로벌 선박청소로봇의 복수의 카메라 영상들을 하나의 영상으로 처리하는 영상 처리 방법, 컴퓨터 판독가능 기록 매체, 컴퓨터 프로그램 및 이를 이용한 로봇 제어 방법
KR20220131847A (ko) 2021-03-22 2022-09-29 주식회사 타스글로벌 선박청소로봇의 복수의 카메라 영상들을 하나의 영상으로 처리하는 영상 처리 방법, 컴퓨터 판독가능 기록 매체, 컴퓨터 프로그램 및 이를 이용한 로봇 제어 방법
KR102479795B1 (ko) * 2021-03-22 2022-12-22 주식회사 타스글로벌 선박청소로봇의 복수의 카메라 영상들을 하나의 영상으로 처리하는 영상 처리 방법, 컴퓨터 판독가능 기록 매체, 컴퓨터 프로그램 및 이를 이용한 로봇 제어 방법

Also Published As

Publication number Publication date
KR20200047487A (ko) 2020-05-07

Similar Documents

Publication Publication Date Title
KR102188721B1 (ko) 탑-뷰 영상 생성 장치 및 그 방법
KR102430352B1 (ko) 탑-뷰 영상 생성 장치 및 그 방법
CN108141570B (zh) 校准装置、校准方法以及校准程序存储介质
US9330472B2 (en) System and method for distorted camera image correction
US8259174B2 (en) Camera auto-calibration by horizon estimation
JP4919036B2 (ja) 移動物体認識装置
US5307136A (en) Distance detection system for vehicles
US11887336B2 (en) Method for estimating a relative position of an object in the surroundings of a vehicle and electronic control unit for a vehicle and vehicle
JP4275378B2 (ja) ステレオ画像処理装置およびステレオ画像処理方法
KR102528002B1 (ko) 탑뷰 영상 생성 장치 및 그 방법
WO2016129552A1 (ja) カメラパラメータ調整装置
CN111768332A (zh) 一种车载环视实时3d全景图像的拼接方法及图形采集装置
CN112419154A (zh) 可行驶区域检测方法、装置、设备和计算机可读存储介质
JP2020060550A (ja) 異常検出装置、異常検出方法、姿勢推定装置、および、移動体制御システム
US20180025508A1 (en) Apparatus and method for generating around view
JP2009139324A (ja) 車両用走行路面検出装置
KR102658268B1 (ko) Avm용 주행 자동 공차 보정 장치 및 방법
JP7019431B2 (ja) カメラキャリブレーション装置、カメラキャリブレーション方法、およびプログラム
KR101989370B1 (ko) 차선인식 기반의 svm 다이나믹 오토 캘리브레이션 방법
KR102457265B1 (ko) 탑-뷰 영상 생성 장치 및 그 방법
Li et al. ROI adaptive segmentation method based on vanishing point and vehicle height
KR101949349B1 (ko) 어라운드 뷰 모니터링 장치
KR102274026B1 (ko) 차량용 카메라 캘리브레이션 장치 및 그 방법
US20230191998A1 (en) Method for displaying a virtual view of the area surrounding a vehicle, computer program, control unit, and vehicle
CN117522998A (zh) 参数监测方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant