KR20140007212A - 후방 카메라의 영상 왜곡 보정 장치 및 방법 - Google Patents

후방 카메라의 영상 왜곡 보정 장치 및 방법 Download PDF

Info

Publication number
KR20140007212A
KR20140007212A KR1020120074668A KR20120074668A KR20140007212A KR 20140007212 A KR20140007212 A KR 20140007212A KR 1020120074668 A KR1020120074668 A KR 1020120074668A KR 20120074668 A KR20120074668 A KR 20120074668A KR 20140007212 A KR20140007212 A KR 20140007212A
Authority
KR
South Korea
Prior art keywords
camera
image
angle
tilting angle
area
Prior art date
Application number
KR1020120074668A
Other languages
English (en)
Other versions
KR101428169B1 (ko
Inventor
이중렬
성갑제
안준식
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020120074668A priority Critical patent/KR101428169B1/ko
Priority to US13/692,164 priority patent/US8837858B2/en
Priority to DE102012223373.3A priority patent/DE102012223373A1/de
Priority to JP2012278968A priority patent/JP6157107B2/ja
Priority to CN201210589818.2A priority patent/CN103546678B/zh
Publication of KR20140007212A publication Critical patent/KR20140007212A/ko
Application granted granted Critical
Publication of KR101428169B1 publication Critical patent/KR101428169B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 후방 카메라의 영상 왜곡 보정 장치 및 방법에 관한 것으로, 후방 카메라의 영상 왜곡 보정 장치는 차량 후면에 부착된 카메라의 특성을 분석하여 카메라의 특성값으로부터 카메라에 대응하는 가상 카메라의 촬영 영역별 틸팅(tilting) 각도를 설정하는 틸팅 각도 설정부, 가상 카메라의 촬영 영역별 틸팅 각도를 적용하여 보정 모델을 생성하는 보정 모델 생성부, 보정 모델에 근거하여 가상 카메라를 틸팅하며, 카메라를 통해 촬영된 촬영 영상을 가상 카메라의 촬영 영역별로 설정된 틸팅 각도에 따라 뷰 변환하여 보정 영상을 생성하는 영상 보정부, 및 영상 보정부에 의해 생성된 보정 영상을 출력하는 영상 출력부를 포함한다.

Description

후방 카메라의 영상 왜곡 보정 장치 및 방법{Apparatus and method for correcting image distortion of rear camera}
본 발명은 후방 카메라의 영상 왜곡 보정 장치 및 방법에 관한 것으로, 더욱 상세하게는 후방 카메라의 특성값에 따라 복수의 촬영 영역별로 설정한 가상 카메라의 틸팅(tilting) 각도를 적용하여 영상 보정을 위한 보정 모델을 생성하고, 보정 모델에 근거하여 후방 카메라의 촬영 영상에 대한 왜곡을 보정하는 장치 및 방법에 관한 것이다.
자동차의 후방 카메라는 운전자가 눈으로 확인하기 힘든 후방 영역에 대한 영상을 제공한다. 특히, 후방 카메라는 큰 화각을 갖는 광각렌즈나 어안렌즈(fish-eye lens)를 이용하여 보다 넓은 영역을 포함하는 정보를 운전자에게 사용자에게 제공한다. 여기서, 광각렌즈는 표준 렌즈보다 초점 거리가 짧고, 60°에서 120°정도의 화각을 가지며, 어안렌즈(fish-eye lens)는 초광각렌즈로서 180°또는 그 이상의 화각을 가진다. 특히, 어안렌즈는 의도적으로 통모양의 왜곡을 생기게 하여 180°이상의 화각 전면에 걸쳐 균일한 밝기와 선예도를 유지할 수 있게 만든 렌즈로서, 렌즈 중심점부의 피사체는 극단적으로 크게 찍히고 주변의 것은 아주 작게 찍히게 된다. 즉, 어안 렌즈는 광역의 영상을 획득할 수 있으며, 자동차의 경우 어안렌즈의 큰 화각은 운전자에게 보다 많은 차량 후방의 정보를 제공할 수 있다. 또한, 어안렌즈를 영상폰에 적용할 경우 짧은 거리에서 넓은 시야각을 확보할 수 있다.
그러나, 광각렌즈 또는 어안렌즈를 장착한 후방 카메라를 통해 촬영된 영상의 경우, 영상의 왜곡이 심하며, 특히 영상의 중심부에서 외곽으로 갈수록 왜곡 정도가 심해진다. 따라서, 후방 카메라를 통해 제공되는 왜곡된 영상은 운전자의 현실감을 저하시키고, 이로 인해 운전자는 차량 후방의 상황을 정확하게 인식하지 못하는 문제가 발생하게 된다.
이러한 렌즈 왜곡을 보정하기 위한 방법은 물리적 보정 방법으로 렌즈 왜곡을 보정하기 위한 보정렌즈를 추가로 설치하거나, 소프트웨어적으로 왜곡된 영상을 보정하는 방법이 있다. 여기서 물리적 보정 방법은 보정 렌즈를 추가하여야 한다는 점에서 카메라의 제조 비용을 상승시키는 단점이 있어 소프트웨어적인 보정이 주로 이용되고 있다.
종래 기술에 따르면, 그리드 형태의 테스트 패턴을 선택하고 이미지가 왜곡되지 않게 표시될 때까지 카메라의 왜곡 보정 계수를 수동으로 보정할 수 있었다. 즉, 이미지의 중심에서 테스트 이미지의 코너를 방사상으로 드래깅하여 이미지의 윤곽을 변형시키고 이미지의 내용을 보정하는 것을 왜곡이 없어지는 지점까지 반복하도록 하였다. 다른 종래 기술에 따르면, 임의의 영상을 입력 받아 영상의 렌즈 왜곡 변수(k)의 범위를 증감시키면서 가장 작은 대표값을 가지는 k를 렌즈 왜곡 변수로 설정하여, 왜곡된 원영상으로부터 왜곡 보정된 영상을 획득하도록 하였다.
그러나, 종래의 디지털 이미지의 기하학적 왜곡 보정에 따른 기술은, 테스트 패턴 또는 임의의 영상으로 이미지가 왜곡되지 않게 표시될 때까지 운전자가 화면상에서 조작하거나 선택해야하므로, 운전자가 왜곡 보정 상수를 수동으로 보정해야 하는 번거로움이 있으며, 운전자의 선택 기준에 따라 이미지의 기하학적 왜곡 보정의 수준이 변하는 문제점이 있었다.
본 발명의 목적은, 후방 카메라를 통해 촬영된 영상의 광학특성과 후방 카메라의 장착특성에 따른 카메라 특성값을 적용하여 영상 보정을 위한 보정 모델을 생성하고, 촬영 영상을 보정 모델에 적용하여 후방 카메라의 영상 왜곡을 보정하도록 하는 후방 카메라의 영상 왜곡 보정 장치 및 방법을 제공함에 있다.
본 발명의 다른 목적은, 후방 카메라에 대응하는 가상 카메라의 촬영 영역을 복수의 영역으로 분리하여 각 영역별로 틸팅 각도를 설정함으로써, 후방 카메라의 사각지대를 최소화하여 운전자의 가시영역을 확장시키는 후방 카메라의 영상 왜곡 보정 장치 및 방법을 제공함에 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 후방 카메라의 영상 왜곡 보정 장치는, 차량 후면에 부착된 카메라의 특성을 분석하여 상기 카메라의 특성값으로부터 상기 카메라에 대응하는 가상 카메라의 촬영 영역별 틸팅(tilting) 각도를 설정하는 틸팅 각도 설정부, 상기 가상 카메라의 촬영 영역별 틸팅 각도를 적용하여 보정 모델을 생성하는 보정 모델 생성부, 상기 보정 모델에 근거하여 상기 가상 카메라를 틸팅하며, 상기 카메라를 통해 촬영된 촬영 영상을 상기 가상 카메라의 촬영 영역별로 설정된 틸팅 각도에 따라 뷰 변환하여 보정 영상을 생성하는 영상 보정부, 및 상기 영상 보정부에 의해 생성된 보정 영상을 출력하는 영상 출력부를 포함하는 것을 특징으로 한다.
상기 틸팅 각도는, 지평선에 수평한 방향을 0도로 하고, 지평선에서 상측 방향(-) 또는 하측 방향(+)으로 기울어진 각도인 것을 특징으로 한다.
상기 틸팅 각도 설정부는, 기 설정된 기준 각도를 기준으로, 상측의 고정 영역에 대해 틸팅 각도를 상기 기준 각도로 고정하고, 하측의 가변 영역에 대해 틸팅 각도를 상기 기준 각도에서 기 설정된 최대 각도의 범위 내에서 가변적으로 설정하는 것을 특징으로 한다.
상기 틸팅 각도 설정부는, 상기 가변 영역의 틸팅 각도 설정 시, 상기 가변 영역을 수직방향으로 복수 개의 영역으로 분류하여 상부 영역에서 하부 영역 순서로 틸팅 각도를 증가시키는 것을 특징으로 한다.
상기 보정 모델은, 상기 가상 카메라의 촬영 영역별로 구분된 형태를 가지며, 각 영역별로 대응하는 촬영 영역의 픽셀값 및 틸팅 각도 중 적어도 하나의 설정값이 저장되는 것을 특징으로 한다.
상기 카메라의 특성값은, 상기 카메라가 배치된 위치 및 촬영 방향, 상기 카메라의 렌즈에 대한 초점거리, 화각 및 광학 중심점 중 적어도 하나를 포함하는 것을 특징으로 한다.
한편, 상기의 목적을 달성하기 위한 본 발명에 따른 후방 카메라의 영상 왜곡 보정 방법은, 차량 후면에 부착된 카메라의 특성을 분석하여 상기 카메라의 특성값으로부터 상기 카메라에 대응하는 가상 카메라의 촬영 영역별 틸팅(tilting) 각도를 설정하는 단계, 상기 가상 카메라의 촬영 영역별 틸팅 각도를 적용하여 보정 모델을 생성하는 단계, 상기 보정 모델에 근거하여 상기 가상 카메라를 틸팅하며, 상기 카메라를 통해 촬영된 촬영 영상을 상기 가상 카메라의 촬영 영역별로 설정된 틸팅 각도에 따라 뷰 변환하여 보정 영상을 생성하는 단계, 및 상기 보정 영상을 생성하는 단계에서 생성된 보정 영상을 출력하는 단계를 포함하는 것을 특징으로 한다.
상기 틸팅 각도는, 지평선에 수평한 방향을 0도로 하고, 지평선에서 상측(-) 방향 또는 하측(+) 방향으로 기울어진 각도인 것을 특징으로 한다.
상기 틸팅 각도를 설정하는 단계는, 기 설정된 기준 각도를 기준으로, 상측의 고정 영역에 대해 틸팅 각도를 상기 기준 각도로 고정하고, 하측의 가변 영역에 대해 틸팅 각도를 상기 기준 각도에서 기 설정된 최대 각도의 범위 내에서 가변적으로 설정하는 것을 특징으로 한다.
상기 틸팅 각도를 설정하는 단계는, 상기 가변 영역의 틸팅 각도 설정 시, 상기 가변 영역을 수직방향으로 복수 개의 영역으로 분류하여 상부 영역에서 하부 영역 순서로 틸팅 각도를 증가시키는 것을 특징으로 한다.
본 발명에 따르면, 후방 카메라를 통해 촬영된 영상의 광학특성과 후방 카메라의 장착특성에 따른 카메라 특성값을 적용하여 영상 보정을 위한 보정 모델을 생성함으로써, 촬영 영상을 보정 모델에 적용하는 것으로 촬영 영상의 왜곡을 용이하게 보정할 수 있는 이점이 있다.
또한, 본 발명은, 후방 카메라에 대응하는 가상 카메라의 촬영 영역을 복수의 영역으로 분류하여 각 영역별로 틸팅 각도를 설정하고, 설정된 틸팅 각도에 따라 각 영역별로 가상 카메라를 틸팅함으로써, 수평방향의 지평선 또는 수평선이나 수평방향의 선 성분에 대한 휘어짐을 보정함으로 인해 수직물의 왜곡을 최소화하고, 원본 영상의 외곽 부분의 시야가 넓어져 사각영역을 최소화할 수 있는 이점이 있다.
도 1은 본 발명에 따른 후방 카메라의 영상 왜곡 보정 기법을 도시한 도이다.
도 1은 본 발명에 따른 후방 카메라의 영상 왜곡 보정 장치의 구성을 설명하는데 참조되는 블록도이다.
도 2는 본 발명에 따른 후방 카메라의 특성값을 추출하는 동작 설명에 참조되는 예시도이다.
도 3은 본 발명에 따른 보정 모델에 대한 실시예를 도시한 예시도이다.
도 4는 본 발명에 따른 보정 모델을 적용하여 촬영 영상을 뷰 변환하는 실시예를 도시한 예시도이다.
도 5 및 도 6은 본 발명에 따른 보정 모델을 적용하여 촬영 영상의 왜곡을 보정하는 실시예를 도시한 예시도이다.
도 7은 본 발명에 따른 후방 카메라의 영상 왜곡 보정 방법에 대한 동작 흐름을 도시한 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하도록 한다.
도 1은 본 발명에 따른 후방 카메라의 영상 왜곡 보정 장치의 구성을 설명하는데 참조되는 블록도이다.
도 1을 참조하면, 본 발명에 따른 후방 카메라의 영상 왜곡 보정 장치(이하, '영상 왜곡 보정 장치'라 칭한다)(10)는, 제어부(11), 영상 입력부(12), 영상 출력부(13), 저장부(14), 카메라 특성 추출부(15), 틸팅 각도 설정부(16), 보정 모델 생성부(17), 및 영상 보정부(18)를 포함한다. 여기서, 제어부(11)는 영상 왜곡 보정 장치(10)의 각 부의 동작을 제어한다.
영상 입력부(12)는 차량의 후면에 배치된 카메라, 즉, 후방 카메라(1)와 연결되어, 후방 카메라(1)를 통해 촬영되는 영상을 실시간으로 입력 받는다. 이때, 영상 입력부(12)를 통해 입력되는 영상은 후방 카메라(1)를 통해 촬영된 원본 영상이다.
영상 출력부(13)는 차량에 구비된 모니터, 내비게이션 등의 디스플레이 수단(5)과 연결되어, 영상 보정부(18)에 의해 최종 생성된 보정 영상을 디스플레이 수단(5)으로 출력한다.
저장부(14)는 차량에 장착된 후방 카메라(1)의 특성 정보, 영상 왜곡을 보정하기 위한 보정 계수 및 설정값 등이 저장된다. 또한, 저장부(14)에는 보정 모델 생성부(17)에 의해 생성된 보정 모델이 저장된다.
카메라 특성 추출부(15)는 기 설정된 수학적 모델을 기반으로 차량 후면에 부착된 카메라의 특성을 분석하여, 해당 카메라에 대한 카메라의 특성값을 추출한다.
여기서, 카메라 특성 추출부(15)는 해당 카메라에 대한 특성값을 추출함에 있어서, 카메라의 장착 특성(예를 들어, 카메라 장착 위치 및 촬영 방향에 대한 방향좌표(x,y,z) 등) 및 광학 특성(예를 들어, 후방 카메라의 렌즈 화각, 초점 거리 및 광학 중심점 등)을 고려하여 카메라의 특성값을 추출한다. 이때 추출된 카메라의 특성값은 카메라에 대응하는 가상 카메라를 생성하는데 이용되며, 가상 카메라의 촬영 영역별 틸팅 각도를 설정하는데 이용된다.
틸팅 각도 설정부(16)는 카메라 특성 추출부(15)에서 추출된 카메라의 특성값을 적용하여 가상 카메라의 촬영 영역별로 틸팅 각도를 설정한다.
여기서, 가상 카메라의 촬영 영역은 기 설정된 기준 각도를 기준으로, 상측의 고정 영역과 하측의 가변 영역으로 구분할 수 있으며, 가변 영역은 다시 복수 개의 영역으로 구분할 수 있다. 한편, 틸팅 각도는 지평선에 수평한 방향을 0도로 하고, 지평선에서 상측 방향(-) 또는 하측 방향(+)으로 기울어진 각도이다.
이때, 틸팅 각도 설정부(16)는 고정 영역의 틸팅 각도를 기 설정된 기준 각도로 고정되도록 설정하고, 가변 영역의 틸팅 각도를 기준 각도 내지 기 설정된 최대 각도의 범위 내에서 가변적으로 설정한다. 여기서, 기준 각도는 -10도 내지 5도 사이에서 어느 하나의 각도로 설정되는 것이 바람직하나, 이에 한정되는 것은 아니다. 다만, 이하의 실시예에서는 기준 각도가 0도인 것을 예로 하여 설명한다.
이 경우, 가상 카메라의 촬영 영역 중 상측에 해당하는 고정 영역의 틸팅 각도는 기준 각도로 고정되기 때문에, 촬영 영상 상의 수직물의 왜곡을 최소화할 수 있으며 수평방향의 선 성분에 대한 휘어짐을 최소화하고, 외곽 부분의 시야가 넓어지게 된다.
틸팅 각도 설정부(16)는 가변 영역의 틸팅 각도를 설정함에 있어서, 복수 개의 영역으로 구분된 가변 영역에 대해 상부 영역에서 하부 영역 순서로 틸팅 각도를 증가시키도록 한다. 따라서, 가상 카메라의 촬영 영역 중 하측에 해당하는 가변 영역은 하부 영역으로 갈 수록 틸팅 각도가 커지기 때문에 짧은 거리에서 넓은 시야각을 확보할 수 있게 된다.
일 예로서, 기준 각도가 0도이고, 가변 영역이 세 개의 영역으로 구분된 상태에서 최상위 영역은 1영역, 그 아래 영역은 2영역, 그리고 최하위 영역은 3영역이라고 가정하면, 고정 영역의 틸팅 각도는 기준 각도인 0도로 고정되고, 가변 영역에서 1영역은 5도, 2영역은 11도, 그리고 3영역은 18도로 설정될 수 있다. 물론, 최대 각도는 18도 이상이며, 틸팅 각도는 차량의 후방에 구비된 카메라의 특성값에 따라 달라질 수 있다.`
보정 모델 생성부(17)는 틸팅 각도 설정부(16)에 의해 설정된 촬영 영역별 틸팅 각도에 대응하여 보정 모델을 생성한다. 여기서, 고정 영역의 틸팅 각도는 기준 각도인 0도로 고정되고, 가변 영역은 하측으로 갈 수록 틸팅 각도가 커지기 때문에, 보정 모델은 하측이 구부러진 실린더 형태를 갖는다. 만일, 기준 각도가 0도 미만인 경우, 보정 모델은 하측뿐만 아니라 상측도 함께 구부러진 실린더 형태가 될 수도 있다. 보정 모델에 대한 구체적인 실시예는 도 3을 참조하도록 한다.
영상 보정부(18)는 후방 카메라(1)를 통해 촬영된 촬영 영상을 보정 모델 생성부(17)에 의해 생성된 보정 모델에 적용하여 촬영 영상의 뷰를 변환하고, 뷰 변환된 보정 영상을 생성한다. 이때, 영상 보정부(18)는 보정 모델에 근거하여 후방 카메라(1)에 대응하여 생성된 가상 카메라를 제어하고, 영상 보정부(18)의 제어에 의해 가상 카메라는 각각의 촬영 영역별로 설정된 틸팅 각도에 따라 틸팅함으로써 촬영 영역별로 뷰 변환된 보정 영상을 획득한다.
일 예로서, 기준 각도가 0도이고, 최대 각도가 25도인 것으로 가정했을 때 후방 카메라(1)를 통해 촬영된 촬영 영상이 수직 방향으로 6개의 영역으로 구분된 상태에서, 가상 카메라는 1, 2 영역에 대해서는 틸팅 각도를 0도로 하여 뷰 변환하고, 3 영역에 대해서는 틸팅 각도를 5도로 하여 뷰 변환하고, 4 영역에 대해서는 틸팅 각도를 11도로 하여 뷰 변환하고, 5 영역에 대해서는 틸팅 각도를 17도로 하여 뷰 변환하고, 6 영역에 대해서는 틸팅 각도를 25도로 하여 뷰 변환한다. 따라서, 영상 보정부(18)는 1 내지 6 영역에 대해 각각 뷰 변환된 보정 영상을 획득하게 된다.
영상 보정부(18)에서 획득된 보정 영상은 영상 출력부(13)를 통해 자동차의 디스플레이 수단(5)으로 출력되게 되며, 운전자는 영상 출력부(13)를 통해 디스플레이 된 보정 영상을 확인함으로써 차량 후방의 상태를 정확하게 파악할 수 있게 된다.
도 2는 본 발명에 따른 후방 카메라의 특성값을 추출하는 동작 설명에 참조되는 예시도이다.
도 2를 참조하면, (a)는 자동차의 후면에 장착되는 후방 카메라를 나타낸 것이다. 이때, 영상 왜곡 보정 장치는 (a)의 후방 카메라를 (b)에 도시된 수학적 모델을 기반으로 하여 (c)와 같이 카메라의 장착 위치 및 자세 정보에 따른 특성을 분석한다. 또한, 영상 왜곡 보정 장치는 (d)와 같이 광각 카메라의 센서 및 렌즈에 대한 특성을 분석한다.
영상 왜곡 보정 장치는 (c)와 (d)의 분석 결과를 토대로 하여 (e)와 같이 해당 카메라의 특성값을 추출한다. 여기서, 카메라의 장착 위치 및 자세 정보에 따른 특성값은 좌표 정보 (x, y, z) 및 촬영 방향 정보 등을 포함할 수 있으며, 카메라의 센서 및 렌즈에 대한 특성은 렌즈 화각, 초점 거리 및 광학 중심점 정보 등을 포함할 수 있다.
도 3은 본 발명에 따른 보정 모델의 실시예를 도시한 예시도이다.
도 3을 참조하면, 보정 모델은 실린더형 모델로, 기준 각도가 0도로 설정되어 하측이 구부러진 형태를 갖는다. 다시 말해, 영상 왜곡 보정 장치는 가상 카메라의 촬영 영역별로 틸팅 각도를 설정하는데, 고정 영역은 틸팅 각도를 기준 각도인 0도로 설정하고, 가변 영역은 0도에서 기 설정된 최대 각도인 α 사이에서 가변적으로 설정한다.
이때, 가변 영역은 다시 복수 개의 영역으로 구분하여 각 영역별로 다른 틸팅 각도를 설정할 수 있는데, 상부에서 하부 방향으로 갈수록 틸팅 각도를 크게 설정한다. 일 예로서, 최대 각도인 α가 25도인 것으로 가정하였을 때, 가변 영역을 네 개의 촬영 영역으로 구분하여, 상부에서 하부 방향으로 1 영역의 틸팅 각도는 0도, 2 영역의 틸팅 각도는 5도, 3 영역의 틸팅 각도는 15도, 그리고 4 영역의 틸팅 각도는 25도로 설정할 수 있다. 따라서, 보정 모델은 하측으로 갈수록 점점 기울기가 커지기 때문에, 하측이 구부러진 실린더 형태를 갖게 된다. 물론, 앞서 설명한 바와 같이 기준 각도가 0도 미만인 경우, 보정 모델은 하측뿐만 아니라 상측도 함께 구부러진 실린더 형태가 될 수도 있다.
보정 모델은 가상 카메라의 촬영 영역별로 구분된 형태를 가지며, 각 영역별로 대응하는 촬영 영역의 픽셀값, 틸팅 각도 등의 설정값이 저장된다.
도 4는 도 3의 보정 모델을 적용하여 촬영 영역별 뷰 변환 동작에 대한 실시예를 나타낸 것이다.
도 4를 참조하면, 영상 왜곡 보정 장치는 후방 카메라를 통해 영상이 촬영되면, 도 3의 보정 모델(M)에 근거하여 가상 카메라를 틸팅하며 촬영 영상을 영역별로 뷰 변환한다.
일 예로서, 가변 영역 중 상부에서 하부 방향으로 1 영역의 틸팅 각도는 0도, 2 영역의 틸팅 각도는 5도, 3 영역의 틸팅 각도는 15도, 그리고 4 영역의 틸팅 각도는 25도로 설정된 것으로 가정하면, 가상 카메라는 보정 모델(M)에 근거하여 촬영 영상 중 고정 영역에 해당하는 영역의 영상을 기울기가 0도가 되도록 뷰 변환한다.
한편, 가상 카메라는 보정 모델(M)에 근거하여 촬영 영상에서 가변 영역의 1 영역에 해당하는 영상을 기울기가 0도가 되도록 뷰 변환한다. 또한, 가상 카메라는 보정 모델(M)에 근거하여 촬영 영상에서 가변 영역의 2 영역에 해당하는 영역의 영상을 기울기가 5도가 되도록 뷰 변환하고, 가변 영역의 3 영역에 해당하는 영역의 영상을 기울기가 15도가 되도록 뷰 변환한다. 또한, 가상 카메라는 보정 모델(M)에 근거하여 촬영 영상에서 가변 영역의 4 영역에 해당하는 영역의 영상을 기울기가 25도가 되도록 뷰 변환한다.
따라서, 영상 왜곡 보정 장치는 촬영 영상에 대하여 고정 영역, 가변 영역의 1 영역, 2 영역, 3 영역 및 4 영역에서 뷰 변환된 최종 영상을 보정 영상으로서 획득하게 된다.
도 5 및 도 6은 본 발명에 따른 보정 모델을 적용하여 촬영 영상의 왜곡을 보정하는 실시예를 도시한 예시도이다.
도 5 및 도 6을 참조하면, (a)는 후방 카메라를 통해 촬영된 원본 영상이고, (b)는 원본 영상에 대한 보정 영상이다. 여기서, 도 5는 보정 영상의 세부 보정 항목을 나타낸 것이다.
도 5 및 도 6의 (a)와 같이, 원본 영상 내의 수직 물체(예를 들어, 사람, 안전대, 삼각대 등)는 지표면 혹은 바닥면을 기준으로 수직하게 서있는 것이 정상이나, 광각렌즈의 특성상 원본 영상에서는 사람이 지평면 혹은 바닥면에 수직하게 서 있는 것이 아니라 기울어진 상태로 휘어져 표시된다. 마찬가지로, 지표면의 경계선, 즉, 지평선은 수평방향으로 직선을 이루고 있는 것이 정상이나, 중심부에서 좌우 측면으로 진행될수록 휘어진 상태로 표시된다.
이 경우, 중심부는 시야가 확보되지만, 좌측 및 우측 끝단은 시야가 좁아져 운전자가 정확한 상태를 확인할 수 없게 된다. 따라서, 영상 왜곡 보정 장치는 도 5 및 도 6의 (a)와 같은 원본 영상에서 발생하는 문제를 해결하고자, 원본 영상의 수직 물체, 지평선 등의 형상 및 위치를 보정하기 위한 보정 모델을 생성한다.
이를 위해, 영상 왜곡 보정 장치는 후방 카메라에 대응하는 가상 카메라의 촬영 영역을 복수 개의 영역으로 분류하고, 후방 카메라의 특성값, 즉, 위치 및 자세에 의한 특성값과 광학 특성값 등에 근거하여 각 촬영 영역별로 틸팅하기 위한 각도를 설정한다. 이때, 영상 왜곡 보정 장치는 가상 카메라의 촬영 영역별로 설정된 틸팅 각도에 근거하여 보정 모델을 생성하도록 한다.
결국, 영상 왜곡 보정 장치는 보정 모델에 따라 후방 카메라에 대응하는 가상 카메라를 틸팅하며 원본 영상을 각 촬영 영역별로 뷰 변환함으로써 도 5및 도 6의 (b)와 같이 왜곡이 보정된 영상을 획득하게 된다.
이때, 영상 왜곡 보정 장치는 보정 모델에서 가상 카메라의 촬영 영역별로 틸팅 각도를 다르게 설정, 구체적으로 고정 영역은 틸팅 각도를 기준 각도로 고정되도록 설정함으로써, 고정 영역에 대해서 원본 영상에 비해 수직물과 지평선 등의 기울어짐 및 휘어짐 등을 보완한 보정 영상을 획득하게 된다. 즉, 도 5의 (b)와 같이, 보정 영상에서는 ①과 같이 수직물, 즉, 사람이 수직하게 서 있는 형태로 보정되고, ②와 같이 지평선이 수평한 일직선 형태로 보정되었음을 확인할 수 있다.
또한, 영상 왜곡 보정 장치는 고정 영역의 틸팅 각도를 기준 각도로 고정되도록 설정하는 한편, 기준 각도를 기준으로 하측의 가변 영역에 대해서는 틸팅 각도를 기준 각도 내지 최대 각도 사이에서 가변적으로 설정하되, 아래 방향으로 갈 수록 틸팅 각도를 크게 함으로써 광학 카메라의 장점인 넓은 화각의 영상을 획득할 수 있도록 한다. 즉, 도 5의 (b)와 같이, 보정 영상에서는 ③과 같이 원본 영상에 비해 좌, 우측의 외곽 부분에 대한 시야가 넓어진 형태로 보정되었음을 확인할 수 있다. 이 경우, 운전자에게 보다 넓은 범위의 영상을 제공할 수 있어 사각지대를 최소화할 수 있게 된다.
따라서, 운전자는 도 5 및 도 6의 (b)에 도시된 보정 영상을 통해 후방 상황을 보다 정확하게 확인할 수 있다.
상기와 같이 구성되는 본 발명에 따른 후방 카메라의 영상 왜곡 보정 장치의 동작 흐름을 보다 상세히 설명하면 다음과 같다.
도 7은 본 발명에 따른 후방 카메라의 영상 왜곡 보정 방법에 대한 동작 흐름을 도시한 순서도이다.
도 7을 참조하면, 본 발명에 따른 후방 카메라의 영상 왜곡 보정 장치는, 기 설정된 수학적 모델을 기반으로 차량 후면에 부착된 카메라의 특성을 분석하여(S100), 후방 카메라에 대한 카메라의 특성값을 추출한다(S110). 이때, 'S100' 과정에서는 후방 카메라의 카메라 장착 위치 및 방향에 따른 장착 특성과, 광각 렌즈 및 센서 등의 장비에 대한 광학 특성을 분석한다. 따라서, 'S110' 과정에서 원본 영상에 대한 영역별 뷰 변환 각도 산출을 위한 카메라의 특성값을 추출한다.
이후, 영상 왜곡 보정 장치는 'S110' 과정에서 추출된 카메라 특성값들을 적용하여 후방 카메라에 대응하는 가상 카메라의 촬영 영역별 틸팅 각도를 설정한다(S120).
여기서, 가상 카메라의 촬영 영역별 틸팅 각도는 지평선에 수평한 방향을 0도로 하고, 지평선에서 상측(-) 방향 또는 하측(+) 방향으로 기울어진 각도를 말한다. 이때, 'S120' 과정은 가상 카메라의 촬영 영역을 기준 각도를 기준으로 고정 영역과 가변 영역으로 분류한 상태에서, 고정 영역의 틸팅 각도는 기준 각도, 가변 영역의 틸팅 각도는 기준 각도에서 기 설정된 최대 각도의 범위 내에서 가변적으로 설정한다. 더욱 상세하게, 가변 영역의 틸팅 각도 설정 시, 가변 영역을 수직방향으로 복수 개의 영역으로 분류하여 상부 영역에서 하부 영역 순서로 틸팅 각도를 증가시키도록 한다.
'S120' 과정에서 산출된 가상 카메라의 촬영 영역별 틸팅 각도를 적용하여 촬영 영상을 보정하기 위한 보정 모델을 생성한다(S130).
따라서, 영상 왜곡 보정 장치는 카메라의 촬영 영상을 'S130' 과정에서 생성된 보정 모델에 적용하여(S140), 촬영 영상의 왜곡을 보정한다(S140). 여기서, 'S150' 과정은 보정 모델에 근거하여 가상 카메라를 촬영 영역별로 틸팅하고, 가상 카메라의 틸팅에 의해 촬영 영상을 각 촬영 영역별로 뷰 변환하는 것으로서 촬영 영상을 보정하게 된다.
이후, 영상 왜곡 보정 장치는 'S150' 과정에서 획득된 보정 영상을 차량의 구비된 디스플레이 수단 등을 통해 출력한다(S160).
도 7에는 도시하지 않았으나, 영상 왜곡 보정 장치는 'S150' 과정에서 촬영 영상의 왜곡을 보정하는 경우에 발생하는 이질감을 보상하기 위한 보상 모델을 추가로 생성하고, 보정 영상을 보상 모델에 적용함으로써 최종 출력 영상을 생성할 수도 있다.
이상과 같이 본 발명에 의한 후방 카메라의 영상 왜곡 보정 장치 및 방법은 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다.
1: 후방 카메라 5: 디스플레이 수단
10: 영상 왜곡 보정 장치 11: 제어부
12: 영상 입력부 13: 영상 출력부
14: 저장부 15: 카메라 특성 추출부
16: 틸팅 각도 설정부 17: 보정 모델 생성부
18: 영상 보정부 M: 보정 모델

Claims (10)

  1. 차량 후면에 부착된 카메라의 특성을 분석하여 상기 카메라의 특성값으로부터 상기 카메라에 대응하는 가상 카메라의 촬영 영역별 틸팅(tilting) 각도를 설정하는 틸팅 각도 설정부;
    상기 가상 카메라의 촬영 영역별 틸팅 각도를 적용하여 보정 모델을 생성하는 보정 모델 생성부;
    상기 보정 모델에 근거하여 상기 가상 카메라를 틸팅하며, 상기 카메라를 통해 촬영된 촬영 영상을 상기 가상 카메라의 촬영 영역별로 설정된 틸팅 각도에 따라 뷰 변환하여 보정 영상을 생성하는 영상 보정부; 및
    상기 영상 보정부에 의해 생성된 보정 영상을 출력하는 영상 출력부를 포함하는 것을 특징으로 하는 후방 카메라의 영상 왜곡 보정 장치.
  2. 청구항 1에 있어서,
    상기 틸팅 각도는,
    지평선에 수평한 방향을 0도로 하고, 지평선에서 상측 방향(-) 또는 하측 방향(+)으로 기울어진 각도인 것을 특징으로 하는 것을 특징으로 하는 후방 카메라의 영상 왜곡 보정 장치.
  3. 청구항 1에 있어서,
    상기 틸팅 각도 설정부는,
    기 설정된 기준 각도를 기준으로, 상측의 고정 영역에 대해 틸팅 각도를 상기 기준 각도로 고정하고, 하측의 가변 영역에 대해 틸팅 각도를 상기 기준 각도에서 기 설정된 최대 각도의 범위 내에서 가변적으로 설정하는 것을 특징으로 하는 후방 카메라의 영상 왜곡 보정 장치.
  4. 청구항 3에 있어서,
    상기 틸팅 각도 설정부는,
    상기 가변 영역의 틸팅 각도 설정 시, 상기 가변 영역을 수직방향으로 복수 개의 영역으로 분류하여 상부 영역에서 하부 영역 순서로 틸팅 각도를 증가시키는 것을 특징으로 하는 후방 카메라의 영상 왜곡 보정 장치.
  5. 청구항 1에 있어서,
    상기 보정 모델은,
    상기 가상 카메라의 촬영 영역별로 구분된 형태를 가지며, 각 영역별로 대응하는 촬영 영역의 픽셀값 및 틸팅 각도 중 적어도 하나의 설정값이 저장되는 것을 특징으로 하는 후방 카메라의 영상 왜곡 보정 장치.
  6. 청구항 1에 있어서,
    상기 카메라의 특성값은,
    상기 카메라가 배치된 위치 및 촬영 방향, 상기 카메라의 렌즈에 대한 초점거리, 화각 및 광학 중심점 중 적어도 하나를 포함하는 것을 특징으로 하는 후방 카메라의 영상 왜곡 보정 장치.
  7. 차량 후면에 부착된 카메라의 특성을 분석하여 상기 카메라의 특성값으로부터 상기 카메라에 대응하는 가상 카메라의 촬영 영역별 틸팅(tilting) 각도를 설정하는 단계;
    상기 가상 카메라의 촬영 영역별 틸팅 각도를 적용하여 보정 모델을 생성하는 단계;
    상기 보정 모델에 근거하여 상기 가상 카메라를 틸팅하며, 상기 카메라를 통해 촬영된 촬영 영상을 상기 가상 카메라의 촬영 영역별로 설정된 틸팅 각도에 따라 뷰 변환하여 보정 영상을 생성하는 단계; 및
    상기 보정 영상을 생성하는 단계에서 생성된 보정 영상을 출력하는 단계를 포함하는 것을 특징으로 하는 후방 카메라의 영상 왜곡 보정 방법.
  8. 청구항 7에 있어서,
    상기 틸팅 각도는,
    지평선에 수평한 방향을 0도로 하고, 지평선에서 상측(-) 방향 또는 하측(+) 방향으로 기울어진 각도인 것을 특징으로 하는 것을 특징으로 하는 후방 카메라의 영상 왜곡 보정 방법.
  9. 청구항 7에 있어서,
    상기 틸팅 각도를 설정하는 단계는,
    기 설정된 기준 각도를 기준으로, 상측의 고정 영역에 대해 틸팅 각도를 상기 기준 각도로 고정하고, 하측의 가변 영역에 대해 틸팅 각도를 상기 기준 각도에서 기 설정된 최대 각도의 범위 내에서 가변적으로 설정하는 것을 특징으로 하는 후방 카메라의 영상 왜곡 보정 방법.
  10. 청구항 9에 있어서,
    상기 틸팅 각도를 설정하는 단계는,
    상기 가변 영역의 틸팅 각도 설정 시, 상기 가변 영역을 수직방향으로 복수 개의 영역으로 분류하여 상부 영역에서 하부 영역 순서로 틸팅 각도를 증가시키는 것을 특징으로 하는 후방 카메라의 영상 왜곡 보정 방법.
KR1020120074668A 2012-07-09 2012-07-09 후방 카메라의 영상 왜곡 보정 장치 및 방법 KR101428169B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020120074668A KR101428169B1 (ko) 2012-07-09 2012-07-09 후방 카메라의 영상 왜곡 보정 장치 및 방법
US13/692,164 US8837858B2 (en) 2012-07-09 2012-12-03 Apparatus and method for correcting image distortion of rear camera
DE102012223373.3A DE102012223373A1 (de) 2012-07-09 2012-12-17 Vorrichtung und Verfahren zum Korrigieren einer Bildverzerrung von einer Heckkamera
JP2012278968A JP6157107B2 (ja) 2012-07-09 2012-12-21 後方カメラの画像歪曲補正装置及び方法
CN201210589818.2A CN103546678B (zh) 2012-07-09 2012-12-28 用于校正后置摄像机的图像畸变的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120074668A KR101428169B1 (ko) 2012-07-09 2012-07-09 후방 카메라의 영상 왜곡 보정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140007212A true KR20140007212A (ko) 2014-01-17
KR101428169B1 KR101428169B1 (ko) 2014-08-07

Family

ID=49780755

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120074668A KR101428169B1 (ko) 2012-07-09 2012-07-09 후방 카메라의 영상 왜곡 보정 장치 및 방법

Country Status (5)

Country Link
US (1) US8837858B2 (ko)
JP (1) JP6157107B2 (ko)
KR (1) KR101428169B1 (ko)
CN (1) CN103546678B (ko)
DE (1) DE102012223373A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160116699A (ko) * 2015-03-31 2016-10-10 멀티펠스 주식회사 차량 카메라용 영상 처리 시스템 및 그 영상 처리 방법
US9813619B2 (en) 2014-07-24 2017-11-07 Hyundai Motor Company Apparatus and method for correcting image distortion of a camera for vehicle

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10438331B2 (en) * 2014-06-26 2019-10-08 Intel Corporation Distortion meshes against chromatic aberrations
US9621798B2 (en) * 2014-07-07 2017-04-11 GM Global Technology Operations LLC Grid-based image resolution enhancement for video processing module
JP6819514B2 (ja) * 2017-08-28 2021-01-27 トヨタ自動車株式会社 画像処理装置及び撮像装置
CN107645634A (zh) * 2017-10-09 2018-01-30 深圳市天视通电子科技有限公司 一种无畸变广角网络摄像机及安防监控系统
US10937124B2 (en) * 2017-12-25 2021-03-02 Canon Kabushiki Kaisha Information processing device, system, information processing method, and storage medium
CN109829857B (zh) * 2019-01-22 2021-07-06 武汉大学 一种基于生成对抗网络的倾斜图像的矫正方法及装置
CN115174896B (zh) * 2022-07-26 2023-05-23 华夏城视网络电视股份有限公司 一种双摄像头位置校正方法
EP4325425B1 (en) * 2022-08-15 2024-06-12 Axis AB A method and system for defining an outline of a region in an image having distorted lines

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5027104A (en) * 1990-02-21 1991-06-25 Reid Donald J Vehicle security device
KR100596976B1 (ko) * 2004-11-08 2006-07-05 (주)아이디스 왜곡 영상 보정 장치 및 방법 및 이를 이용하는 영상디스플레이 시스템
JP4104631B2 (ja) * 2006-03-27 2008-06-18 三洋電機株式会社 運転支援装置
JP2008102620A (ja) * 2006-10-17 2008-05-01 Toyota Motor Corp 画像処理装置
JP4743538B2 (ja) * 2006-11-17 2011-08-10 アイシン精機株式会社 カメラ校正装置
KR101014572B1 (ko) * 2007-08-27 2011-02-16 주식회사 코아로직 영상 왜곡 보정 방법 및 그 보정 방법을 채용한 영상처리장치
JP4268206B2 (ja) 2007-09-21 2009-05-27 富士通株式会社 魚眼レンズカメラ装置及びその画像歪み補正方法
JP5305750B2 (ja) 2008-06-18 2013-10-02 アルパイン株式会社 車両周辺表示装置およびその表示方法
JP5374217B2 (ja) * 2009-04-22 2013-12-25 キヤノン株式会社 画像処理装置およびその方法
US8886206B2 (en) * 2009-05-01 2014-11-11 Digimarc Corporation Methods and systems for content processing
KR101045143B1 (ko) * 2009-07-02 2011-06-30 고려대학교 산학협력단 탑 뷰 영상 보정 시스템 및 그 방법
KR101259550B1 (ko) * 2010-06-03 2013-04-30 한국전자통신연구원 원근왜곡 보정을 통한 영상대조 방법 및 장치
KR20120012272A (ko) 2010-07-30 2012-02-09 (주)엠아이웨어 왜곡 영상 보정 기능을 갖는 영상 처리 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9813619B2 (en) 2014-07-24 2017-11-07 Hyundai Motor Company Apparatus and method for correcting image distortion of a camera for vehicle
KR20160116699A (ko) * 2015-03-31 2016-10-10 멀티펠스 주식회사 차량 카메라용 영상 처리 시스템 및 그 영상 처리 방법

Also Published As

Publication number Publication date
US20140010474A1 (en) 2014-01-09
DE102012223373A1 (de) 2014-01-09
CN103546678B (zh) 2018-01-09
CN103546678A (zh) 2014-01-29
JP2014017802A (ja) 2014-01-30
KR101428169B1 (ko) 2014-08-07
JP6157107B2 (ja) 2017-07-05
US8837858B2 (en) 2014-09-16

Similar Documents

Publication Publication Date Title
KR101428169B1 (ko) 후방 카메라의 영상 왜곡 보정 장치 및 방법
US8279297B2 (en) Image processing apparatus, image processing method, and storage medium
US9621798B2 (en) Grid-based image resolution enhancement for video processing module
US7834907B2 (en) Image-taking apparatus and image processing method
KR101592740B1 (ko) 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법
US9135688B2 (en) Method for brightness equalization of various images
JP5523730B2 (ja) 車載周辺画像表示装置
KR102225617B1 (ko) 영상 정합 알고리즘을 설정하는 방법
US20190253623A1 (en) Image processing method and device supporting multiple modes, image conversion or stitching unit, and computer readable recording medium realizing the image processing method
US9560278B2 (en) Imaging device, imaging device drive method, and imaging device control program
TW201403553A (zh) 自動校正鳥瞰影像方法
JP5959311B2 (ja) データ導出装置、及び、データ導出方法
US9747664B2 (en) Image processing apparatus
US8810693B2 (en) Image processing apparatus and method thereof
JP2014146979A (ja) 監視カメラシステム、撮像装置及び撮像方法
KR101916419B1 (ko) 광각 카메라용 다중 뷰 영상 생성 장치 및 영상 생성 방법
CN112016568A (zh) 一种目标对象的图像特征点的跟踪方法及装置
JP2016110312A (ja) 画像処理方法、画像処理装置及びプログラム
JP4972036B2 (ja) 画像処理装置
JP2011013929A (ja) 画像処理装置
JP7196920B2 (ja) 運転支援装置および運転支援方法、プログラム
JP2007221367A (ja) 画像伝送装置および画像伝送システム
KR101726683B1 (ko) 영상 처리 방법
JP2008042664A (ja) 画像表示装置
US20130243353A1 (en) Image expansion apparatus and image expansion method

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20120709

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20130903

Patent event code: PE09021S01D

AMND Amendment
PG1501 Laying open of application
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20140327

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20130903

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20140327

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20131104

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20140611

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20140521

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20140327

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20131104

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20140801

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20140801

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20190729

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20190729

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20200729

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20210728

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20220727

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20230801

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20240725

Start annual number: 11

End annual number: 11