KR102371618B1 - 카메라 시스템 및 카메라 시스템의 영상 보정 방법 - Google Patents

카메라 시스템 및 카메라 시스템의 영상 보정 방법 Download PDF

Info

Publication number
KR102371618B1
KR102371618B1 KR1020170158429A KR20170158429A KR102371618B1 KR 102371618 B1 KR102371618 B1 KR 102371618B1 KR 1020170158429 A KR1020170158429 A KR 1020170158429A KR 20170158429 A KR20170158429 A KR 20170158429A KR 102371618 B1 KR102371618 B1 KR 102371618B1
Authority
KR
South Korea
Prior art keywords
camera
vehicle
image
correspond
rear image
Prior art date
Application number
KR1020170158429A
Other languages
English (en)
Other versions
KR20190060335A (ko
Inventor
한정석
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020170158429A priority Critical patent/KR102371618B1/ko
Priority to US15/947,938 priority patent/US11654829B2/en
Publication of KR20190060335A publication Critical patent/KR20190060335A/ko
Application granted granted Critical
Publication of KR102371618B1 publication Critical patent/KR102371618B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N5/217—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/03—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for supply of electrical power to vehicle subsystems or for
    • B60R16/033—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for supply of electrical power to vehicle subsystems or for characterised by the use of electrical cells or batteries
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • General Physics & Mathematics (AREA)

Abstract

본 발명의 일 실시예에 따른 카메라 시스템은 차량의 후방 영상을 촬영하는 영상 촬영부, 상기 차량의 속도 및 상기 영상 촬영부의 카메라의 방향, 높이 및 기울어진 각도를 측정하는 센서부, 상기 센서부의 측정된 정보를 이용하여 상기 후방 영상을 보정하는 영상 처리부, 상기 차량과 연결된 다양한 위치에 탈부착이 가능한 탈부착부 및 상기 보정된 후방 영상을 상기 차량의 AVN 시스템에 송신하는 통신부를 포함한다.

Description

카메라 시스템 및 카메라 시스템의 영상 보정 방법{Camera system and Method for correcting image of camera system}
본 발명은 카메라 시스템 및 카메라 시스템의 영상 보정 방법에 관한 것으로, 보다 상세하게는 다양한 위치에 탈부착이 가능한 카메라에서 제공하는 영상을 보정하는 기술에 관한 것이다.
소득증대에 따른 여가 생활의 중요성 인식 증가로 트레일러를 차량에 연결하여 여행하는 캠핑족이 늘어나고 있다.
그러나, 트레일러는 차량에 하나의 핀으로 연결되기 때문에, 운전자가 운행 중 트레일러의 궤적을 추측하기 어렵다. 또한, 차량에 트레일러를 장착하면, 후방 카메라의 시야를 가리게 되어 후방을 관찰할 수 없어 기 장착된 후방 카메라의 효용이 배제되고, 운전자의 차량 운행에 어려움이 발생한다.
최근에는 적외선 센서를 이용하여 차량과 트레일러 사이에서 발생하는 관절의 꺾임 정도를 감지한 후, 이를 운전자에게 디스플레이 함으로써, 트랙터 운전자의 후진 주행을 보조할 수 있는 차량의 후진 보조 장치가 나타나고 있다.
그러나, 이러한 차량의 후진 보조 장치의 경우 별도의 적외선 센서를 장착이 필요하여 비용이 증가하는 문제점이 있다.
또한, 최근에는 차량의 후방의 시야를 확보하기 위하여 차량에 연결된 트레일러에 카메라를 설치하는 경우가 있다.
이러한 카메라가 차량에 연결된 트레일러에 설치되면, 다른 트레일러 또는 보트 등에 설치하기 어려운 문제점이 있고, 설치된 카메라의 각도를 조정하기 어려운 문제점이 있다.
[특허문헌]한국공개특허 2016-0041445호.
본 발명의 목적은, 다양한 위치에 탈부착이 가능한 후방 카메라를 구비하고, 후방 카메라 내 영상 처리부에서 제공된 후방 영상을 보정하여 차량의 후방 영상을 통해 운전자의 시야 확보가 가능하며, 후방 카메라와 차량의 AVN 시스템이 서로 연동되어 차량의 후방 영상뿐만 아니라, 차량에 연결된 트레일러의 후방 영상까지도 제공할 수 있는 카메라 시스템 및 카메라 시스템의 영상 보정 방법을 제공하는 데 있다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 카메라 시스템은 차량의 후방 영상을 촬영하는 영상 촬영부, 상기 차량의 속도 및 상기 영상 촬영부의 카메라의 방향, 높이 및 기울어진 각도를 측정하는 센서부, 상기 센서부의 측정된 정보를 이용하여 상기 후방 영상을 보정하는 영상 처리부, 상기 차량과 연결된 다양한 위치에 탈부착이 가능한 탈부착부 및 상기 보정된 후방 영상을 상기 차량의 AVN 시스템에 송신하는 통신부를 포함한다.
일 실시예에서, 상기 영상 촬영부는, 상기 차량의 후방 영상을 촬영하는 후방 카메라일 수 있다.
일 실시예에서, 상기 후방 카메라는, CCD 카메라 또는 CMOS 카메라일 수 있다.
일 실시예에서, 상기 센서부는, 속도 센서, GPS 센서 및 자이로 센서를 포함할 수 있다.
일 실시예에서, 상기 영상 처리부는, 상기 센서부에서 제공된 GPS 정보, 차량의 GPS 정보 및 차량의 속도를 이용하여 후측 방향을 판단하고, 판단된 후측 방향에 대응하도록 후방 영상을 보정할 수 있다.
일 실시예에서, 상기 영상 처리부는, 상기 AVN 시스템 내 구비된 자이로 센서를 이용하여 측정된 차량의 기울어진 각도와 상기 센서부 내 구비된 자이로 센서를 이용하여 측정된 카메라의 기울어진 각도를 비교하여 카메라의 기울어진 최종 각도를 판단하고, 판단된 카메라의 기울어진 최종 각도에 대응하도록 후방 영상을 보정할 수 있다.
일 실시예에서, 상기 영상 처리부는, 상기 센서부에서 제공된 GPS 정보와 상기 AVN 시스템에서 제공된 GPS 정보를 이용하여 설치된 카메라의 높이를 판단하고, 판단된 카메라의 높이에 대응하도록 후방 영상을 보정할 수 있다.
일 실시예에서, 상기 탈부착부는, 자성체를 이용하여 상기 차량과 연결된 트레일러, 보트 또는 적재물을 포함하는 다양한 위치에 탈부착시킬 수 있다.
일 실시예에서, 상기 자성체는, 자석이나 전자석을 포함하고, 카메라의 표면에 구비되거나, 상기 카메라의 내부에 매립될 수 있다.
일 실시예에서, 상기 카메라에 전원을 공급하는 배터리부를 더 포함할 수 있다.
일 실시예에서, 상기 통신부는, 상기 보정된 후방 영상을 WIFI 통신을 이용하여 상기 차량의 AVN 시스템에 송신할 수 있다.
본 발명의 일 실시예에 따른 카메라 시스템의 영상 보정 방법은 차량에 구비된 카메라로부터 촬영된 영상이 입력되는 단계, 상기 카메라에서 촬영된 영상을 후측 방향의 영상으로 보정하는 단계, 상기 후측 방향에 대응하도록 보정된 영상에서, 상기 카메라의 기울어진 각도를 판단하고, 판단된 카메라의 기울어진 각도에 대응하도록 영상을 보정하는 단계, 상기 카메라의 기울어진 각도에 대응하도록 보정된 영상에서, 상기 카메라의 높이를 판단하고, 판단된 카메라의 높이에 대응하도록 영상을 보정하는 단계 및 상기 카메라의 높이에 대응하도록 보정된 영상을 출력하는 단계를 포함한다.
일 실시예에서, 상기 후측 방향의 영상으로 보정하는 단계는, 상기 센서부에서 제공된 GPS 정보, 차량의 GPS 정보 및 차량의 속도를 이용하여 후측 방향을 판단하는 단계 및 상기 판단된 후측 방향에 대응하도록 영상을 보정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 카메라의 기울어진 각도에 대응하도록 영상을 보정하는 단계는, 상기 AVN 시스템 내 구비된 자이로 센서를 이용하여 측정된 차량의 기울어진 각도와 상기 센서부 내 구비된 자이로 센서를 이용하여 측정된 카메라의 기울어진 각도를 비교하여 카메라의 기울어진 최종 각도를 판단하는 단계 및 상기 카메라의 기울어진 최종 각도에 대응하도록 영상을 보정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 카메라의 높이에 대응하도록 영상을 보정하는 단계는, 상기 센서부에서 제공된 GPS 정보와 상기 AVN 시스템에서 제공된 GPS 정보를 이용하여 설치된 카메라의 높이를 판단하는 단계 및 상기 판단된 카메라의 높이에 대응하도록 영상을 보정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 보정된 영상을 출력하는 단계 이후, 상기 보정된 영상을 WIFI 통신을 이용하여 상기 차량의 AVN 시스템에 송신하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 카메라 시스템 및 카메라 시스템의 영상 보정 방법에 따르면, 후방 카메라 내 영상 처리부에서 제공된 후방 영상을 보정하여 차량의 후방 영상을 통해 운전자의 시야 확보가 가능하며, 후방 카메라와 차량의 AVN 시스템이 서로 연동되어 차량의 후방 영상뿐만 아니라, 차량에 연결된 트레일러의 후방 영상까지도 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 차량 시스템을 개략적으로 설명하는 구성도이다.
도 2는 본 발명의 일 실시예에 따른 카메라 시스템을 설명하는 구성도이다.
도 3은 본 발명의 일 실시예에 따른 카메라 시스템 내 영상 처리부를 구체적으로 설명하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 카메라 시스템과 연동되는 차량의 AVN 시스템을 설명하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 카메라 시스템의 영상 보정 방법을 실행하는 컴퓨팅 시스템을 보여주는 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 차량 시스템을 개략적으로 설명하는 구성도이다.
도 1을 참조하면, 차량 시스템(10)은 카메라 시스템(100) 및 AVN 시스템(200)을 포함한다.
차량 시스템(10)은 차량의 후방의 트렁크에 탈부착되거나, 차량의 후방에 연결된 트레일러 등에 탈부착될 수 있는 카메라에 구비된 카메라 시스템(100) 및 차량에 구비된 AVN 시스템(200)을 포함하며, 이러한 차량 시스템(10)은 카메라 시스템(100)과 AVN 시스템을 서로 연동시킬 수 있다.
카메라 시스템(100)은 카메라 제어 시스템(camera control system) 또는 카메라 제어부(camera control unit)로 명명할 수 있고, 자체적으로 후방 영상을 촬영하고, 촬영된 후방 영상을 보정할 수 있다.
카메라 시스템(100)은 탈부착부(140)를 이용하여 차량의 후방에 구비된 트렁크에 탈부착시키거나, 차량의 후방에 연결된 트레일러 등에 자유롭게 탈부착시킬 수 있다. 이러한 카메라 시스템(100)의 구성은 도 2에서 자세하게 설명한다.
AVN 시스템(200)은 차량에 구비된 오디오/비디오/내비게이션 시스템으로써, 카메라 시스템(100)과 WIFI 통신을 이용하여 영상을 송수신한다. 예를 들어, AVN 시스템(200)은 차량에서 후진 입력(예를 들어, R단 입력)이 되면, AVN 시스템(200)과 탈부착 가능한 카메라 간에 WIFI 연결이 가능한지 여부를 판단할 수 있다.
AVN 시스템(200)은 탈부착 가능한 카메라(추가된 카메라 또는 별도의 카메라) 또는 차량의 후방 카메라를 선택하고, 탈부착 가능한 카메라를 이용하여 영상을 표시하거나, 차량의 후방 카메라를 이용하여 영상을 표시할 수 있다.
도 2는 본 발명의 일 실시예에 따른 카메라 시스템을 설명하는 구성도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 카메라 시스템(100)은 센서부(110), 통신부(120), 영상 처리부(130), 탈부착부(140), 배터리부(150) 및 영상 촬영부(160)를 포함한다.
센서부(110)는 속도 센서(또는 가속도 센서), GPS 센서(GPS sensor) 및 자이로 센서(gyro sensor) 등을 포함하며, 이는 본 발명의 이해를 돕기 위한 일 예에 불과한 것으로서, 이에 한정되지 않는다. 예를 들어, 속도 센서는 차량의 속도(또는 가속도)를 측정하고, GPS 센서는 카메라 내부에 구비되어 카메라의 고도(또는 높이)를 측정하며, 자이로 센서는 카메라 내부에 구비되어 카메라의 기울어진 각도를 측정할 수 있다. 여기서, 자이로 센서는 회전하는 물체의 역학운동을 이용한 것으로, 카메라의 위치 측정과 카메라의 방향 설정 시에 이용할 수 있다.
통신부(120)는 WIFI 통신을 이용하여 AVN 시스템(200)에 영상을 송신할 수 있으며, 이는 본 발명의 이해를 돕기 위한 일 예에 불과한 것으로서, 이에 한정되지 않는다.
영상 처리부(130)는 센서부(110)의 속도 센서(또는 가속도 센서), GPS 센서 및 자이로 센서 등을 이용하여 영상을 보정한다.
영상 처리부(130)는 영상 촬영부(160)로부터 촬영된 영상에서 차량의 후측 방향을 판단할 수 있다. 예를 들어, 영상 처리부(130)는 카메라 시스템(100)의 센서부(110)에서 제공된 GPS 정보, 차량의 GPS 정보 및 차량의 속도를 이용하여 후측 방향을 판단할 수 있다. 여기서, 차량의 GPS 정보는 AVN 시스템(200)에서 제공될 수 있고, 차량 내 구비된 단말을 이용하여 제공될 수 있으며, 이는 본 발명의 이해를 돕기 위한 일 예에 불과한 것으로서, 이에 한정되지 않는다.
영상 처리부(130)는 판단된 카메라의 후측 방향에 대응하도록 영상을 보정한다.
영상 처리부(130)는 후측 방향에 대응하도록 보정된 영상에서 카메라의 각도를 판단할 수 있다. 예를 들어, 영상 처리부(130)는 센서부(110)의 자이로 센서를 이용하여 카메라의 각도를 판단할 수 있다. 예를 들어, 영상 처리부(130)는 차량의 AVN 시스템(200) 내 구비된 자이로 센서를 이용하여 차량의 기울어진 각도를 수신하고, 수신된 차량의 기울어진 각도와 카메라 시스템(100) 내 센서부(110)의 자이로 센서를 이용한 카메라의 기울어진 각도를 비교하여 카메라의 기울어진 최종 각도를 판단할 수 있다.
영상 처리부(130)는 판단된 카메라의 기울어진 최종 각도에 대응하도록 영상을 보정한다.
영상 처리부(130)는 카메라의 기울어진 최종 각도에 대응하도록 보정된 영상에서 카메라의 설치된 높이를 판단할 수 있다. 예를 들어, 영상 처리부(130)는 카메라 시스템(100) 내 센서부(110)에서 제공된 GPS 정보와 AVN 시스템(200)에서 제공된 GPS 정보를 이용하여 설치된 카메라의 높이를 판단할 수 있다.
영상 처리부(130)는 설치된 카메라의 높이에 대응하도록 영상을 보정한다.
탈부착부(140)는 카메라를 차량과 연결된 트레일러, 보트 또는 적재물 등을 포함하는 다양한 위치에 탈부착할 수 있다.
탈부착부(140)는 자성체(magnetic substance)를 이용하여 차량과 연결된 트레일러, 보트 또는 적재물 등을 포함하는 다양한 위치에 탈부착할 수 있다. 예를 들어, 자성체는 자성을 지닌 물질을 의미하고, 자기장 안에서 자화하는 물질일 수 있다. 특히, 강자성체는 원자의 자기모멘트가 정렬되어 있어서 자성이 강한 자성체이고, 상자성체는 원자의 열진동으로 인하여 자화가 무질서하게 일어난 자성체이며, 반자성체는 외부자기장과 반대방향으로 자화가 일어나는 자성체일 수 있다.
탈부착부(140)는 자석이나 전자석을 포함하는 자성체일 수 있다. 예를 들어, 자성체는 카메라의 표면 또는 내부에 매립될 수 있고, 차량과 연결된 트레일러, 보트 또는 적재물 등을 포함하는 물체의 표면 또는 내부에 매립될 수도 있다.
배터리부(150)는 카메라에 구비된 카메라 시스템(100)에 전원을 공급한다. 예를 들어, 배터리(150)는 차량에서 후진 입력(예를 들어, R단 입력)이 되는 경우에 카메라 시스템(100)에 전원을 공급할 수 있으며, 이는 본 발명의 이해를 돕기 위한 일 예에 불과한 것으로서, 이에 한정되지 않는다.
영상 촬영부(160)는 차량의 전방, 측방, 후방 등을 포함하는 영상을 촬영하며, 본 발명의 일 실시예에 따른 영상 촬영부(160)는 차량의 후방에 연결되거나, 차량의 트렁크와 연결된 트레일러, 보트 또는 적재물 등을 포함하는 물체에 연결된 후방 카메라를 의미한다. 예를 들어, 후방 카메라는 차량의 후방의 정보, 도로 또는 장애물 등을 촬영하는 CCD 카메라 또는 CMOS 카메라가 사용될 수 있으며, 다양한 종류의 카메라가 사용될 수 있다.
도 3은 본 발명의 일 실시예에 따른 카메라 시스템 내 영상 처리부를 구체적으로 설명하는 도면이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 영상 처리부(130)에서 영상을 보정하는 방법은 상술한 S11 단계 내지 S15 단계가 도 2를 참조하여 구체적으로 설명된다.
S11 및 S12 단계에서, 영상 촬영부(160)의 카메라로부터 촬영된 영상이 입력되면, 영상 처리부(130)는 카메라에서 촬영된 영상을 후측 방향에 대응하도록 영상을 보정한다. 예를 들어, 영상 처리부(130)는 카메라 시스템(100)의 센서부(110)에서 제공된 GPS 정보, 차량의 GPS 정보(예를 들어, 맵 데이터) 및 차량의 속도를 이용하여 후측 방향을 판단할 수 있고, 카메라에서 촬영된 영상을 후측 방향에 대응하도록 영상을 보정할 수 있다.
S13 단계에서, 후측 방향에 대응하도록 보정된 영상에서, 영상 처리부(130)는 카메라의 각도를 판단하고, 판단된 카메라의 각도에 대응하도록 영상을 보정한다. 예를 들어, 영상 처리부(130)는 센서부(110)의 자이로 센서를 이용하여 카메라의 각도를 판단할 수 있다. 예를 들어, 영상 처리부(130)는 차량의 AVN 시스템(200) 내 구비된 자이로 센서를 이용하여 차량의 기울어진 각도를 수신하고, 수신된 차량의 기울어진 각도와 카메라 시스템(100) 내 센서부(110)의 자이로 센서를 이용한 카메라의 기울어진 각도를 비교하여 카메라의 기울어진 최종 각도를 판단할 수 있고, 카메라의 기울어진 최종 각도에 대응하도록 영상을 보정할 수 있다.
S14 단계에서, 카메라의 기울어진 최종 각도에 대응하도록 보정된 영상에서, 영상 처리부(130)는 카메라의 높이를 판단하고, 판단된 카메라의 높이에 대응하도록 영상을 보정한다. 예를 들어, 영상 처리부(130)는 카메라 시스템(100) 내 센서부(110)에서 제공된 GPS 정보와 AVN 시스템(200)에서 제공된 GPS 정보를 이용하여 설치된 카메라의 높이를 판단할 수 있고, 설치된 카메라의 높이에 대응하도록 영상을 보정할 수 있다.
S15 단계에서, 영상 처리부(130)는 보정된 영상을 출력한다. 보정된 영상을 출력하는 단계 이후, 영상 처리부(130)는 WIFI 통신을 이용하여 보정된 영상을 차량의 AVN 시스템(200)에 송신할 수 있다.
도 4는 본 발명의 일 실시예에 따른 카메라 시스템과 연동되는 차량의 AVN 시스템을 설명하는 도면이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 카메라 시스템(100) 및 카메라 시스템(200)의 영상 보정 방법에서, 카메라 시스템(100)과 연동되는 차량의 AVN 시스템(200)의 동작 과정은 상술한 S21 단계 내지 S24 단계가 도 1을 참조하여 구체적으로 설명된다.
S21 및 S22 단계에서, AVN 시스템(200)은 차량에서 후진 입력(예를 들어, R단 입력)이 되면, AVN 시스템(200)과 탈부착 가능한 카메라(탈부착 가능한 후방 카메라) 간에 WIFI 연결이 가능한지 여부를 판단한다. 예를 들어, 탈부착 가능한 카메라는 차량의 후방 카메라일 수도 있고, 차량과 연결된 트레일러, 보트 또는 적재물 등을 포함하는 다양한 위치에 탈부착 가능한 카메라(추가된 카메라 또는 별도의 카메라)일 수도 있다. 이러한 탈부착 가능한 카메라는 차량과 연결된 물체에 대응하여 복수 개로 구비될 수도 있으며, 이는 본 발명의 이해를 돕기 위한 일 예에 불과한 것으로서, 이에 한정되지 않는다.
S23 및 S24 단계에서, 탈부착 가능한 카메라와 WIFI 연결이 가능한 경우에, 운전자에 의해 탈부착 가능한 카메라 또는 차량의 후방 카메라를 선택될 수 있으며, AVN 시스템(200)은 탈부착 가능한 카메라를 이용하여 영상을 표시하거나, 차량의 후방 카메라를 이용하여 영상을 표시할 수 있다. 예를 들어, 영상을 표시하는 장치는, AVN 시스템(200)의 내비게이션(Navigation)일 수도 있고, 헤드 업 디스플레이(Head-Up Display, HUD)일 수도 있다.
도 5는 본 발명의 일 실시예에 따른 카메라 시스템의 영상 보정 방법을 실행하는 컴퓨팅 시스템을 보여주는 도면이다.
도 5를 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 차량 시스템
100: 카메라 시스템
110: 센서부
120: 통신부
130: 영상 처리부
140: 탈부착부
150: 배터리부
160: 영상 촬영부
200: AVN 시스템
1000: 컴퓨팅 시스템
1100: 프로세서
1200: 시스템 버스
1300: 메모리
1310: ROM
1320: RAM
1400: 사용자 인터페이스 입력장치
1500: 사용자 인터페이스 출력장치
1600: 스토리지
1700: 네트워크 인터페이스

Claims (16)

  1. 차량의 후방 영상을 촬영하는 영상 촬영부;
    상기 차량의 속도 및 상기 차량의 후측 방향, 상기 영상 촬영부의 카메라의높이 및 기울어진 최종 각도를 측정하는 센서부;
    상기 센서부의 측정된 정보를 이용하여 상기 후방 영상을 보정하되,
    상기 차량의 후측 방향에 대응하도록 상기 후방 영상을 보정하고,
    상기 후측 방향에 대응하도록 보정된 후방 영상에서 상기 카메라의 기울어진 최종 각도에 대응하도록 상기 후방 영상을 보정하고,
    상기 카메라의 기울어진 최종 각도에 대응하도록 보정된 후방 영상에서 상기 카메라의 높이에 대응하도록 상기 후방 영상을 보정하는, 영상 처리부;
    상기 차량과 연결된 다양한 위치에 탈부착이 가능한 탈부착부; 및
    상기 보정된 후방 영상을 상기 차량의 AVN 시스템에 송신하는 무선 통신부
    를 포함하고,
    상기 탈부착부는 자성체(magnetic substance)를 이용하는 것을 특징으로 하는 카메라 시스템.
  2. 청구항 1에 있어서,
    상기 영상 촬영부는,
    상기 차량의 후방 영상을 촬영하는 후방 카메라인 것을 특징으로 하는 카메라 시스템.
  3. 청구항 2에 있어서,
    상기 후방 카메라는,
    CCD 카메라 또는 CMOS 카메라인 것을 특징으로 하는 카메라 시스템.
  4. 청구항 1에 있어서,
    상기 센서부는,
    속도 센서, GPS 센서 및 자이로 센서를 포함하는 것을 특징으로 하는 카메라 시스템.
  5. 청구항 1에 있어서,
    상기 영상 처리부는,
    상기 센서부에서 제공된 GPS 정보, 차량의 GPS 정보 및 차량의 속도를 이용하여 상기 후측 방향을 판단하고, 판단된 상기 후측 방향에 대응하도록 후방 영상을 보정하는 것을 특징으로 하는 카메라 시스템.
  6. 청구항 1에 있어서,
    상기 영상 처리부는,
    상기 AVN 시스템 내 구비된 자이로 센서를 이용하여 측정된 차량의 기울어진 각도와 상기 센서부 내 구비된 자이로 센서를 이용하여 측정된 상기 카메라의 기울어진 각도를 비교하여 상기 카메라의 기울어진 최종 각도를 판단하고, 판단된 카메라의 기울어진 최종 각도에 대응하도록 후방 영상을 보정하는 것을 특징으로 하는 카메라 시스템.
  7. 청구항 1에 있어서,
    상기 영상 처리부는,
    상기 센서부에서 제공된 GPS 정보와 상기 AVN 시스템에서 제공된 GPS 정보를 이용하여 설치된 상기 카메라의 높이를 판단하고, 판단된 상기 카메라의 높이에 대응하도록 후방 영상을 보정하는 것을 특징으로 하는 카메라 시스템.
  8. 청구항 1에 있어서,
    상기 탈부착부는,
    상기 자성체를 이용하여 상기 차량과 연결된 트레일러, 보트 또는 적재물을 포함하는 다양한 위치에 탈부착시키는 것을 특징으로 하는 카메라 시스템.
  9. 청구항 8에 있어서,
    상기 자성체는,
    자석이나 전자석을 포함하고, 카메라의 표면에 구비되거나, 상기 카메라의 내부에 매립된 것을 특징으로 하는 카메라 시스템.
  10. 청구항 1에 있어서,
    상기 카메라에 전원을 공급하는 배터리부를 더 포함하는 것을 특징으로 하는 카메라 시스템.
  11. 청구항 1에 있어서,
    상기 통신부는,
    상기 보정된 후방 영상을 WIFI 통신을 이용하여 상기 차량의 AVN 시스템에 송신하는 것을 특징으로 하는 카메라 시스템.
  12. 차량에 구비된 카메라로부터 촬영된 상기 차량의 후방 영상이 입력되는 단계;
    상기 후방 영상을 상기 차량의 후측 방향에 대응하도록 보정하는 단계;
    상기 카메라의 기울어진 최종 각도를 판단하고, 상기 후측 방향에 대응하도록 보정된 후방 영상에서 상기 판단된 카메라의 기울어진 최종 각도에 대응하도록상기 후방 영상을 보정하는 단계; 및
    상기 카메라의 높이를 판단하고, 상기 카메라의 기울어진 최종 각도에 대응하도록 보정된 후방 영상에서 상기 판단된 카메라의 높이에 대응하도록 상기 후방 영상을 보정하는 단계;
    를 포함하는 것을 특징으로 하는 카메라 시스템의 영상 보정 방법.
  13. 청구항 12에 있어서,
    상기 후방 영상을 상기 차량의 후측 방향에 대응하도록 보정하는 단계는,
    GPS 정보, 차량의 GPS 정보 및 차량의 속도를 이용하여 상기 후측 방향을 판단하는 단계; 및
    상기 판단된 후측 방향에 대응하도록 상기 후방 영상을 보정하는 단계를 포함하는 것을 특징으로 하는 카메라 시스템의 영상 보정 방법.
  14. 청구항 12에 있어서,
    상기 후측 방향에 대응하도록 보정된 후방 영상에서 상기 카메라의 기울어진 최종 각도에 대응하도록 상기 후방 영상을 보정하는 단계는,
    AVN 시스템 내 구비된 자이로 센서를 이용하여 측정된 차량의 기울어진 각도와 센서부 내 구비된 자이로 센서를 이용하여 측정된 카메라의 기울어진 각도를 비교하여 상기 카메라의 기울어진 최종 각도를 판단하는 단계; 및
    상기 카메라의 기울어진 최종 각도에 대응하도록 상기 후방 영상을 보정하는 단계를 포함하는 것을 특징으로 하는 카메라 시스템의 영상 보정 방법.
  15. 청구항 12에 있어서,
    상기 카메라의 기울어진 최종 각도에 대응하도록 보정된 후방 영상에서 상기 판단된 카메라의 높이에 대응하도록 상기 후방 영상을 보정하는 단계는,
    GPS 정보와 AVN 시스템에서 제공된 GPS 정보를 이용하여 설치된 상기 카메라의 높이를 판단하는 단계; 및
    상기 판단된 카메라의 높이에 대응하도록 상기 후방 영상을 보정하는 단계를 포함하는 것을 특징으로 하는 카메라 시스템의 영상 보정 방법.
  16. 청구항 12에 있어서,
    상기 방법은,
    상기 보정된 후방 영상을 WIFI 통신을 이용하여 상기 차량의 AVN 시스템에 송신하는 단계를 포함하는 것을 특징으로 하는 카메라 시스템의 영상 보정 방법.
KR1020170158429A 2017-11-24 2017-11-24 카메라 시스템 및 카메라 시스템의 영상 보정 방법 KR102371618B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170158429A KR102371618B1 (ko) 2017-11-24 2017-11-24 카메라 시스템 및 카메라 시스템의 영상 보정 방법
US15/947,938 US11654829B2 (en) 2017-11-24 2018-04-09 Camera system and method for correcting image thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170158429A KR102371618B1 (ko) 2017-11-24 2017-11-24 카메라 시스템 및 카메라 시스템의 영상 보정 방법

Publications (2)

Publication Number Publication Date
KR20190060335A KR20190060335A (ko) 2019-06-03
KR102371618B1 true KR102371618B1 (ko) 2022-03-08

Family

ID=66634835

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170158429A KR102371618B1 (ko) 2017-11-24 2017-11-24 카메라 시스템 및 카메라 시스템의 영상 보정 방법

Country Status (2)

Country Link
US (1) US11654829B2 (ko)
KR (1) KR102371618B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240054062A (ko) 2022-10-18 2024-04-25 현대모비스 주식회사 차량의 영상 보정 시스템 및 그 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102602220B1 (ko) * 2020-12-30 2023-11-15 재단법인대구경북과학기술원 자율주행 차량들을 이용한 배송 서비스 시스템 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100266161A1 (en) * 2007-11-16 2010-10-21 Marcin Michal Kmiecik Method and apparatus for producing lane information
JP2013020308A (ja) * 2011-07-07 2013-01-31 Clarion Co Ltd 車両周囲画像撮像システム
US20170217383A1 (en) * 2002-11-14 2017-08-03 Magna Electronics Inc. Camera assembly for vehicle
US20170240125A1 (en) * 2016-02-19 2017-08-24 GM Global Technology Operations LLC System for communicating between vehicle and trailer and method of using the same

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2009113008A (ru) * 2009-04-08 2010-10-20 Михаил Юрьевич Воробьев (RU) Способ определения позиции и ориентации прицепа транспортного средства и устройство для его осуществления
US10406981B2 (en) * 2014-03-20 2019-09-10 Magna Electronics Inc. Vehicle vision system with curvature estimation
JP6219784B2 (ja) * 2014-06-17 2017-10-25 トヨタ自動車株式会社 車両用前照灯装置
KR20160041445A (ko) 2014-10-07 2016-04-18 현대모비스 주식회사 영상인식을 통한 트레일러 궤적 추정 시스템 및 방법
US9836060B2 (en) * 2015-10-28 2017-12-05 Ford Global Technologies, Llc Trailer backup assist system with target management
GB2554760A (en) * 2016-10-10 2018-04-11 Jaguar Land Rover Ltd Control of a vehicle driver assistance system
US20200238912A1 (en) * 2019-01-30 2020-07-30 AISIN Technical Center of America, Inc. Backup camera system for a vehicle having a trailer hitch

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170217383A1 (en) * 2002-11-14 2017-08-03 Magna Electronics Inc. Camera assembly for vehicle
US20100266161A1 (en) * 2007-11-16 2010-10-21 Marcin Michal Kmiecik Method and apparatus for producing lane information
JP2013020308A (ja) * 2011-07-07 2013-01-31 Clarion Co Ltd 車両周囲画像撮像システム
US20170240125A1 (en) * 2016-02-19 2017-08-24 GM Global Technology Operations LLC System for communicating between vehicle and trailer and method of using the same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240054062A (ko) 2022-10-18 2024-04-25 현대모비스 주식회사 차량의 영상 보정 시스템 및 그 방법

Also Published As

Publication number Publication date
KR20190060335A (ko) 2019-06-03
US20190161008A1 (en) 2019-05-30
US11654829B2 (en) 2023-05-23

Similar Documents

Publication Publication Date Title
US11405603B2 (en) Imaging device, image processing device and image processing method
US8090148B2 (en) Image processor, vehicle, and image processing method
JP4861034B2 (ja) 車載カメラのキャリブレーションシステム
KR20200125667A (ko) 차재 카메라 자기 교정 방법과 장치 및 차량 운전 방법과 장치
CN105139389B (zh) 全景摄像机系统(vpm)与车辆动态
US8130271B2 (en) Image display method and image display apparatus
US20180308217A1 (en) Image processing device and image processing method
US20120314073A1 (en) Apparatus and Method for Detecting Posture of Camera Mounted on Vehicle
US20080159594A1 (en) Bird view visual system with fisheye distortion calibration and method thereof
KR102371618B1 (ko) 카메라 시스템 및 카메라 시스템의 영상 보정 방법
RU2617895C2 (ru) Система для определения угла сцепки между транспортным средством и прицепом
JP2012078273A (ja) 情報処理装置及び方法、並びにプログラム
JP6488749B2 (ja) カメラ校正装置
JP2011166706A (ja) 車両搭載用撮影記録装置
JP2007181129A (ja) 車載用移動体検出装置
JP4650687B2 (ja) 周辺監視装置
US9019348B2 (en) Display device, image pickup device, and video display system
JP2013256167A (ja) ドライブレコーダシステム、および、車載カメラシステム
KR102438705B1 (ko) 영상 흔들림 보정 기능을 구비한 이륜차용 영상 저장 장치
JP6632371B2 (ja) 移動計測装置
US20130194380A1 (en) Image processing apparatus and method
KR20150009763A (ko) 카메라 시스템 및 카메라 시스템의 제어 방법
WO2016157666A1 (ja) カメラ姿勢推定装置、運転支援装置、及び、カメラ姿勢推定方法
JP5040831B2 (ja) 車両用撮影装置および撮影方法
KR20070066662A (ko) 차량 사고 정보 저장장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant