KR101525516B1 - 카메라 영상 처리 시스템 및 이의 오염 처리 방법 - Google Patents

카메라 영상 처리 시스템 및 이의 오염 처리 방법 Download PDF

Info

Publication number
KR101525516B1
KR101525516B1 KR1020140032672A KR20140032672A KR101525516B1 KR 101525516 B1 KR101525516 B1 KR 101525516B1 KR 1020140032672 A KR1020140032672 A KR 1020140032672A KR 20140032672 A KR20140032672 A KR 20140032672A KR 101525516 B1 KR101525516 B1 KR 101525516B1
Authority
KR
South Korea
Prior art keywords
camera
image
camera image
area
same area
Prior art date
Application number
KR1020140032672A
Other languages
English (en)
Inventor
송영기
Original Assignee
주식회사 이미지넥스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이미지넥스트 filed Critical 주식회사 이미지넥스트
Priority to KR1020140032672A priority Critical patent/KR101525516B1/ko
Application granted granted Critical
Publication of KR101525516B1 publication Critical patent/KR101525516B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 카메라 영상 처리 시스템 및 이의 오염 처리 방법에 관한 것으로, 본 발명에 따른 방법은 카메라가 제1 카메라 이미지를 촬영하여 획득하는 단계, 카메라가 제2 카메라 이미지를 촬영하여 획득하는 단계, 제1 카메라 이미지와 제2 카메라 이미지를 비교하여 동일한 영역을 구하는 단계, 그리고 카메라의 의해 촬영된 이미지의 전체 면적에 대한 동일한 영역이 차지하는 면적의 비율이 미리 정해진 기준 이상이면, 카메라의 렌즈 오염 정보를 출력하는 단계를 포함한다. 본 발명에 의하면, 카메라 렌즈의 오염 영역을 보다 정확하게 추출하고, 추출된 카메라 렌즈의 오염 영역을 보정하여 시인성을 확보할 수 있다.

Description

카메라 영상 처리 시스템 및 이의 오염 처리 방법{Camera Image Processing System and Method for Processing Pollution of Camera Lens}
본 발명은 카메라 영상 처리 시스템 및 이의 오염 처리 방법에 관한 것으로, 보다 자세하게는 카메라에서 촬영된 카메라 이미지를 이용하여 카메라 렌즈의 오염을 추출할 수 있는 카메라 영상 처리 시스템 및 이의 오염 처리 방법에 관한 것이다.
최근에는 자동차 산업의 발달로 인해 1 가구 1 자동차 시대라고 할 정도로 자동차의 보급이 상용화되었고, 자동차의 안전도를 향상시키고 운전자의 편의를 도모하기 위하여 다양한 첨단 전자 기술이 자동차에 적용되고 있다.
이러한 첨단 전자 기술 중에서 자동차의 주변 환경을 촬영하여 표시함으로써 운전자가 자동차의 주변 환경을 육안을 통해 편리하게 확인할 수 있는 카메라 영상 처리 시스템이 보편적으로 사용되고 있다. 카메라 영상 처리 시스템은 자동차의 전방, 후방, 좌측 및 우측에 각각 설치된 카메라를 통해 주변 환경을 촬영하고, 촬영된 주변 환경의 영상을 합성하여 표시함으로써 운전자가 자동차의 주변 상황을 정확하게 인식할 수 있도록 하고, 사이드 미러(side mirror)나 백 미러(back mirror)를 보지 않고도 편리하게 주차할 수 있도록 한다.
하지만, 종래의 카메라 영상 처리 시스템은 자동차의 주행 시 자동차 후방에서 발생하는 와류로 인해 카메라 렌즈에 먼지 오염이 발생되기 쉬운 문제점이 있었다.
또한, 카메라 렌즈에 빗물이나 노상의 물이 튀어서 묻을 수 있으며, 여름철이나 겨울철에 폭우나 폭설 등으로 인해 렌즈에 서리가 발생하면, 카메라의 촬영이 불가능하므로 정확한 화상을 얻기 어려운 문제점이 있었다. 특히, 자동차 후방에 설치된 카메라 렌즈에 이물질이 부착된 경우, 운전자가 자동차를 후진할 때에 모니터를 통한 후방 시인성을 확보하기 어려우므로 사고가 발생할 가능성이 더욱 높아지는 문제점이 있었다.
한국공개특허공보 제1997-0057846호
따라서 본 발명이 해결하고자 하는 과제는 카메라가 촬영한 복수 개의 카메라 이미지를 이용하여 카메라 렌즈의 오염 영역을 보다 정확하게 추출하고, 추출된 카메라 렌즈의 오염 영역을 보정하여 시인성을 확보할 수 있는 카메라 영상 처리 시스템 및 이의 오염 처리 방법을 제공하는 것이다.
상기한 과제를 해결하기 위한 본 발명의 실시예에 따른 카메라 영상 처리 시스템의 오염 처리 방법은 카메라가 제1 카메라 이미지를 촬영하여 획득하는 단계, 상기 카메라가 제2 카메라 이미지를 촬영하여 획득하는 단계, 상기 제1 카메라 이미지와 상기 제2 카메라 이미지를 비교하여 동일한 영역을 구하는 단계, 그리고 상기 카메라에 의해 촬영된 이미지의 전체 면적에 대한 상기 동일한 영역이 차지하는 면적의 비율이 미리 정해진 기준 이상이면, 상기 카메라의 렌즈 오염 정보를 출력하는 단계를 포함한다.
상기 카메라의 렌즈 오염 정보는 상기 비율에 따라 정해지는 오염 레벨을 포함할 수 있다.
상기 제1 카메라 이미지는 상기 카메라가 장착된 차량의 주행 시작 시점으로부터 미리 정해진 시간 이내에 획득되고, 상기 제2 카메라 이미지는 상기 제1 카메라 이미지를 획득한 시점으로부터 미리 정해진 시간 이내에 미리 정해진 간격으로 복수 개 획득될 수 있다.
상기 제1 카메라 이미지와 상기 제2 카메라 이미지를 비교하여 동일한 영역을 구하는 단계는 상기 획득된 복수 개의 제2 카메라 이미지 중에서 적어도 하나의 제2 카메라 이미지를 선정하는 단계, 그리고 상기 제1 카메라 이미지와 상기 선정된 제2 카메라 이미지를 비교하여 상기 동일한 영역을 구하는 단계를 포함할 수 있다.
상기 구해진 동일한 영역을 오염 영역으로 판단하는 단계를 더 포함할 수 있다.
상기 차량의 주행 중에 제3 카메라 이미지를 획득하는 단계, 그리고 상기 제3 카메라 이미지 중에서 상기 오염 영역을 상기 제3 카메라 이미지보다 이전에 획득된 카메라 이미지를 이용하여 보정하는 단계를 더 포함할 수 있다.
한편, 본 발명의 실시예에 따른 카메라 영상 처리 시스템은 카메라가 제1 카메라 이미지를 촬영하여 획득하고, 상기 카메라가 제2 카메라 이미지를 촬영하여 획득하는 이미지 획득부, 상기 제1 카메라 이미지와 상기 제2 카메라 이미지를 비교하여 동일한 영역을 구하는 이미지 처리부, 그리고 상기 카메라에 의해 촬영된 이미지의 전체 면적에 대한 상기 동일한 영역이 차지하는 면적의 비율이 미리 정해진 기준 이상이면, 상기 카메라의 렌즈 오염 정보를 출력하는 출력부를 포함한다.
상기 카메라의 렌즈 오염 정보는 상기 비율에 따라 정해지는 오염 레벨을 포함할 수 있다.
상기 제1 카메라 이미지는 상기 카메라가 장착된 차량의 주행 시작 시점으로부터 미리 정해진 시간 이내에 획득되고, 상기 제2 카메라 이미지는 상기 제1 카메라 이미지를 획득한 시점으로부터 미리 정해진 시간 이내에 미리 정해진 간격으로 복수 개 획득될 수 있다.
상기 이미지 처리부는 상기 획득된 복수 개의 제2 카메라 이미지 중에서 적어도 하나의 제2 카메라 이미지를 선정하고, 상기 제1 카메라 이미지와 상기 선정된 제2 카메라 이미지를 비교하여 상기 동일한 영역을 구할 수 있다.
상기 이미지 처리부는 상기 구해진 동일한 영역을 오염 영역으로 판단할 수 있다.
상기 이미지 처리부는 상기 차량의 주행 중에 제3 카메라 이미지를 획득하고, 상기 제3 카메라 이미지 중에서 상기 오염 영역을 상기 제3 카메라 이미지보다 이전에 획득된 카메라 이미지를 이용하여 보정할 수 있다.
이와 같이 본 발명의 실시예에 따른 카메라 영상 처리 시스템 및 이의 오염 처리 방법에 따르면, 카메라가 촬영한 복수 개의 카메라 이미지를 이용하여 카메라 렌즈의 오염 영역을 보다 정확하게 추출하고, 추출된 카메라 렌즈의 오염 영역을 보정하여 시인성을 확보할 수 있는 장점이 있다.
이와 같이, 차량의 주행 시작 시점에서 촬영한 카메라 이미지와 차량의 주행 중이거나 주행 완료 시점에서 촬영한 카메라 이미지를 비교하여 동일한 영역을 구하고, 구해진 동일한 영역을 카메라 렌즈의 오염 영역으로 판단하여 카메라 렌즈의 오염 추출 성능을 향상시킬 수 있는 장점이 있다.
또한, 카메라 렌즈의 오염 영역에 대한 면적이 미리 정해진 기준 이상이면, 카메라 렌즈의 오염을 알리는 동작을 수행하여 사용자가 카메라 렌즈를 교체할 수 있도록 하거나 세척하게 할 수 있다.
그리고, 카메라 렌즈에 인접하게 배치된 세척부를 구동하여 카메라 렌즈의 표면에 압축 공기를 분사하게 하거나 워셔액을 분사하게 하여 카메라 렌즈를 자동으로 세척하게 할 수 있다.
이에 따라, 선명한 화질을 확보하여 화상을 정확하게 판독할 수 있기 때문에 카메라 영상 처리 시스템의 신뢰성을 향상시킬 수 있다.
이와 더불어, 카메라 렌즈의 오염 영역에 대해서는 이전 카메라 이미지와 합성하거나 차량의 이동성 모델에 근거한 카메라 이미지로 대체하는 보정을 통해 카메라 렌즈의 오염으로 인해 일부 카메라 이미지가 안보이는 문제점을 해결할 수 있다.
도 1은 본 발명의 실시예에 따른 카메라 영상 처리 시스템의 구성도이다.
도 2는 본 발명의 실시예에 따른 제1 카메라 이미지, 제2 카메라 이미지와, 제1 및 제2 카메라 이미지의 동일한 영역을 보여주는 예시도이다.
도 3은 본 발명의 실시예에 따른 카메라 영상 처리 시스템에서 카메라 렌즈의 오염을 처리하는 과정을 보여주는 동작 흐름도이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 카메라 영상 처리 시스템의 구성도를 나타낸다.
도 1에 도시한 바와 같이, 카메라 영상 처리 시스템(100)은 카메라(110: 110a~110n), 이미지 획득부(120), 이미지 처리부(130), 저장부(140), 출력부(150) 및 세척부(160)를 포함하여 구성된다.
카메라(110: 110a~110n)는 적어도 하나로 구성되며, 카메라 렌즈(113: 113a~113n)를 통해 3차원의 피사체를 2차원의 이미지로 촬영하는 기능을 수행할 수 있다. 만약, 카메라가 2대일 경우, 차량의 전방 및 후방(또는 좌측 및 우측)에 각각 설치될 수 있으며, 카메라가 4대일 경우, 차량의 전방, 후방, 좌측 및 우측에 각각 설치될 수 있다.
카메라(110)가 차량에 설치되는 위치를 설명하면, 전방에 설치된 카메라는 차량의 본넷 중심에 설치되고, 좌측 및 우측에 설치된 카메라는 각각 차량의 양 사이드 미러의 가장 자리 또는 아래쪽에 위치하도록 설치될 수 있다. 또한, 후방에 설치된 카메라는 후방 범퍼 위쪽의 중앙에 설치될 수 있으며, 전방 및 후방에 설치된 카메라는 지면 방향의 수직선을 기준으로 170°이상이 촬영될 수 있도록 설치될 수 있다.
카메라(110)에는 광각 렌즈(wide angle lens)나 어안 렌즈(fish eye lens) 등과 같이 화각이 큰 렌즈가 구비될 수 있으며, CMOS(Complementary Metal-Oxide Semiconductor) 타입의 영상 센서나 CCD(Charge Coupled Device) 타입의 영상 센서 등으로 구성될 수 있다.
이미지 획득부(120)는 카메라(110)가 제1 카메라 이미지를 촬영하여 획득하고, 카메라가 제2 카메라 이미지를 촬영하여 획득할 수 있다. 보다 자세하게는, 이미지 획득부(120)는 차량의 주행 시작 시점으로부터 미리 정해진 시간 이내에 카메라(110)가 촬영한 제1 카메라 이미지를 획득하고, 제1 카메라 이미지를 획득한 시점으로부터 미리 정해진 시간 이내에 카메라(110)가 촬영한 제2 카메라 이미지를 획득할 수 있다. 예컨대, 이미지 획득부(120)는 차량이 주행을 시작할 즈음에 카메라(110)를 통해 제1 카메라 이미지를 획득하고, 차량이 주행 중이거나 주행을 종료할 즈음에 카메라(110)를 통해 제2 카메라 이미지를 획득할 수 있다.
또한, 이미지 획득부(120)는 차량의 주행 시작 시점으로부터 미리 정해진 시간 이내에 카메라(110)가 촬영한 제1 카메라 이미지를 획득하고, 제1 카메라 이미지를 획득한 시점으로부터 미리 정해진 시간 이내에 미리 정해진 간격으로 카메라(110)가 촬영한 복수 개의 제2 카메라 이미지를 획득할 수 있다.
한편, 본 발명의 실시예에서는 설명의 편의를 위해 카메라(110)와 이미지 획득부(120)를 구분하여 설명하고 있으나, 시스템의 구성에 따라 카메라(110)와 이미지 획득부(120)를 구분하지 않고, 하나의 구성 요소로 보는 것도 가능하다.
이미지 처리부(130)는 제1 카메라 이미지와 제2 카메라 이미지를 비교하여 동일한 영역을 구할 수 있다. 즉, 이미지 처리부(130)는 제1 카메라 이미지와 제2 카메라 이미지를 비교하여 동일한 위치에서 동일한 이미지(형상 또는 모양)를 가지는 적어도 하나의 동일한 영역을 구할 수 있다.
그리고, 이미지 처리부(130)는 이미지 획득부(120)에서 획득된 복수 개의 제2 카메라 이미지 중에서 적어도 하나의 제2 카메라 이미지를 선정하고, 제1 카메라 이미지와 선정된 적어도 하나의 제2 카메라 이미지를 비교하여 동일한 영역을 구할 수 있다. 즉, 이미지 처리부(130)는 차량의 이동 속도나 이동 방향 등을 고려하여 복수 개의 제2 카메라 이미지 중에서 적어도 하나의 제2 카메라 이미지를 선정할 수 있는데, 예컨대, 제2 카메라 이미지가 1초의 시간 간격으로 10개(제2-1 카메라 이미지 ~ 제2-10 카메라 이미지) 획득되는 경우, 차량의 이동 속도가 작은 경우에는 카메라 이미지 간의 화상 변화가 작을 것으로 예상되므로 제2-1 카메라 이미지 ~ 제2-10 카메라 이미지 중에서 제2-1, 제2-5 및 제2-9 카메라 이미지와 같이, 시간 간격이 큰 제2 카메라 이미지를 선정할 수 있으며, 차량의 이동 속도가 큰 경우에는 카메라 이미지 간의 화상 변화가 클 것으로 예상되므로 제2-1 카메라 이미지 ~ 제2-10 카메라 이미지 중에서 제2-1, 제2-2 및 제2-3 카메라 이미지와 같이, 시간 간격이 작거나 연속되는 제2 카메라 이미지를 선정할 수 있다. 그런 후, 이미지 처리부(130)는 제1 카메라 이미지와 선정된 적어도 하나의 제2 카메라 이미지를 비교하여 동일한 위치와 동일한 이미지를 가지는 적어도 하나의 동일한 영역을 구할 수 있다.
도 2는 본 발명의 실시예에 따른 제1 카메라 이미지, 제2 카메라 이미지와, 제1 및 제2 카메라 이미지의 동일한 영역을 보여주는 예시도이다.
도 2를 참조하면, 이미지 처리부(130)는 제1 및 제2 카메라 이미지를 복수 개의 영역으로 각각 분할하고, 분할된 각 영역별로 이미지의 색상, 질감, 형상이나 모양 등의 특징을 추출하여 두 카메라 이미지 중에서 동일한 영역을 구할 수 있다. 즉, 이미지 처리부(130)는 제1 시점에서 촬영한 제1 카메라 이미지(A1)와 제2 시점에서 촬영한 제2 카메라 이미지(A2)를 비교하여 카메라(110)의 촬영 시점이 변하여도 A3에서와 같이, 동일한 위치에서 동일한 이미지를 가지는 P, Q, R 영역을 구할 수 있다. 그리고, 이미지 처리부(130)는 구해진 동일한 영역(P, Q, R 영역)을 카메라 렌즈(113)의 오염 영역으로 판단할 수 있다. 부가하여 설명하면, 피사체로부터 입사된 빛은 카메라 렌즈(113)를 통해 광학 소자를 거쳐 촬상 소자에 피사체 상을 맺는데, 이때, 광학 소자 또는 촬상 소자 상에 먼지 등의 이물질이 묻어 있는 경우, 먼지의 상이 피사체로부터 입사된 빛을 막아 촬상 소자 상에 노이즈를 발생시킬 수 있다. 그러면, 먼지 등의 이물질은 카메라 이미지에 이물질에 의한 그림자 영역으로 나타날 수 있으며, 이물질을 제거하지 않는 이상, 카메라가 어떤 위치에서 무엇을 촬영하던 간에 A3에 있는 P, Q, R 영역과 같이, 동일한 위치에서 동일한 이미지의 그림자 영역으로 나타날 수 있다. 그리하여 카메라 이미지를 이용하여 카메라 렌즈(113)의 오염 영역을 추출할 수 있다.
이미지 처리부(130)는 카메라(110)에 의해 촬영된 이미지의 전체 면적에 대한 동일한 영역이 차지하는 면적의 비율이 미리 정해진 기준 이상이면, 카메라(110)의 렌즈 오염 정보가 출력되도록 제어할 수 있다. 즉, 이미지 처리부(130)는 카메라 이미지의 전체 면적 중에서 오염 영역이 차지하는 면적의 비율이 기준 이상이면, 카메라 렌즈(113)에 오염이 있는 것으로 판단하여 판단 결과가 출력부(150)를 통해 출력되게 할 수 있다. 이때, 카메라(110)의 렌즈 오염 정보는 비율에 따라 정해지는 오염 레벨을 포함할 수 있다. 예를 들어, 카메라 이미지의 전체 면적 중에서 오염 영역이 차지하는 면적의 비율이 11%~20%이면, 오염 레벨은 1이고, 오염 영역이 차지하는 면적의 비율이 21%~30%이면, 오염 레벨은 2이고, 오염 영역이 차지하는 면적의 비율이 31%~40%이면, 오염 레벨은 3이고, 오염 영역이 차지하는 면적의 비율이 41%~50%이면, 오염 레벨은 4일 수 있다.
이와 같이, 카메라 렌즈(113)의 오염도에 따라 일부 카메라 이미지가 안보이거나 화상의 식별이 불가능할 수 있으므로 오염 레벨 등을 포함한 카메라(110)의 렌즈 오염 정보를 출력부(150)로 전송하여 사용자에게 알릴 수 있도록 한다.
한편, 이미지 처리부(130)는 차량의 주행 중에 획득된 제3 카메라 이미미 중에서 오염 영역을 제3 카메라 이미지보다 이전에 획득된 카메라 이미지를 이용하여 보정할 수 있다. 보다 자세하게는, 이미지 처리부(130)는 현재 카메라 이미지와 이전 카메라 이미지를 합성하여 현재 카메라 이미지의 오염 영역이 이전 카메라 이미지로 대체되도록 제어할 수 있다.
특히, 이미지 처리부(130)는 자동차의 이동성 모델을 이용하여 현재 카메라 이미지의 오염 영역에 대응하는 이미지를 이전 카메라 이미지에 예측하여 오염 영역이 다른 이미지로 대체되어 출력되도록 보정할 수 있다. 다시 말하면, 이미지 처리부(130)는 이전 카메라 이미지가 현재 카메라 이미지에 대응하도록 즉, 이전 카메라 이미지를 현재 카메라 이미지의 공간 상으로 대응시키는 어파인 변환을 수행할 수 있다. 이에 따라, 이미지 처리부(130)는 한 벡터 공간에 있는 오염 영역을 다른 벡터 공간의 다른 영상으로 대체할 수 있다. 여기서, 자동차의 이동성 모델이란 자동차의 속도 및 조향각을 포함한 자동차의 이동량에 근거하여 자동차가 이동하는 양상을 예측하는 모델이며, 어파인 변환이란 한 벡터 공간을 다른 벡터 공간으로 대응시키는 변환으로, 선형 변환과 평행 이동 변환의 합성으로 이루어질 수 있다.
저장부(140)는 카메라 영상 처리 시스템(100)의 제어 동작 및 운용에 필요한 프로그램 및 데이터를 저장하는데, 특히, 본 발명의 실시예에 따른 저장부(140)는 카메라(110)가 촬영한 카메라 이미지를 저장할 수 있다. 보다 자세하게는, 저장부(140)는 카메라(110)가 미리 정해진 간격으로 촬영한 복수 개의 카메라 이미지를 저장할 수 있다. 예를 들어, 카메라(110)가 오전 11시 07분 00초에 촬영한 제1 카메라 이미지, 카메라(110)가 오전 11시 08분 00초에 촬영한 제2 카메라 이미지 및 카메라(110)가 오전 11시 09분 00초에 촬영한 제3 카메라 이미지 등이 순차적으로 저장부(140)에 저장될 수 있다.
출력부(150)는 디스플레이 수단(152) 및 사운드 수단(154)을 포함하고, 이미지 처리부(130)로부터 디스플레이 수단(152) 및 사운드 수단(154)에 전송된 제어 신호를 이용하여 사용자에게 시각적 또는 청각적으로 카메라의 렌즈(113)에 대한 오염을 알릴 수 있다.
디스플레이 수단(152)은 구해진 동일한 영역이 미리 정해진 기준 비율 이상이면, 카메라 렌즈(113)의 오염 정보를 시각적으로 출력할 수 있다. 또한, 디스플레이 수단(152)은 카메라(110)가 촬영한 카메라 이미지를 액정 표시 장치(Liquid Crystal Display, LCD), 유기 전기 발광 다이오드(Organic Light Emitting Diode, OLED) 등의 표시 모듈에 표시할 수 있다.
사운드 수단(154)은 사용자에게 카메라 렌즈(113)의 오염 정보를 청각적으로 출력하거나 경고음을 발생시킬 수 있는 스피커로 구성될 수 있다.
또한, 필요에 따라 디스플레이 수단(152) 및 사운드 수단(154) 둘 중에서 하나만을 설치하여 사용자에게 시각적으로 또는 청각적으로 카메라 렌즈(113)의 오염을 인지시킬 수 있게 구성되는 것도 가능하다.
상술한 바와 같이, 본 발명의 실시예에 의한 카메라 영상 처리 시스템(100)은 카메라(110)가 촬영한 복수 개의 카메라 이미지를 이용하여 카메라 렌즈(113)의 오염 여부를 감지하고, 감지된 오염 여부에 대한 결과를 사용자에게 시각적으로나 청각적으로 알릴 수 있기 때문에 카메라 렌즈(113)의 오염을 인지한 사용자가 카메라 렌즈(113)의 이물질을 제거하도록 할 수 있도록 한다.
세척부(160)는 카메라 렌즈(113)에 인접하게 배치되고, 카메라 렌즈(113)의 표면에 압축공기나 워셔액을 분사하여 카메라 렌즈(113)를 세척할 수 있도록 한다. 즉, 세척부(160)는 이미지 처리부(130)로부터 카메라 렌즈(113)의 세척하기 위한 제어 신호를 인가되면, 제어 신호에 따라 에어컴프레셔(미도시)로부터 카메라 렌즈(113)로 공기압이 분사되도록 하거나 워셔액저장부(미도시)로부터 카메라 렌즈(113)로 워셔액이 분사되도록 하여 눈, 먼지, 황사 등의 이물질을 제거할 수 있다.
따라서, 카메라 렌즈의 오염도에 따라 세척부(160)를 구동시켜 카메라 렌즈(113)의 표면에 달라붙은 눈, 먼지, 황사 등의 이물질을 자동으로 제거하도록 함으로써 카메라 렌즈(113)를 항상 청결한 상태로 유지하여 카메라(110)에 의해 피사체를 선명하게 촬영할 수 있도록 한다.
이하에서는 본 발명의 실시예에 따른 카메라 영상 처리 시스템에서 카메라 렌즈의 오염을 처리하는 과정에 대하여 설명하도록 한다.
도 3은 본 발명의 실시예에 따른 카메라 영상 처리 시스템에서 카메라 렌즈의 오염을 처리하는 과정을 보여주는 동작 흐름도를 나타낸다.
도 3에 도시한 바와 같이, 카메라(110)가 제1 카메라 이미지를 촬영하여 획득(S300)하고, 카메라(110)가 제2 카메라 이미지를 촬영하여 획득할 수 있다(S310). 보다 자세하게는, 차량의 주행 시작 시점으로부터 미리 정해진 시간 이내에 카메라(110)가 촬영한 제1 카메라 이미지를 획득하고, 제1 카메라 이미지를 획득한 시점으로부터 미리 정해진 시간 이내에 카메라(110)가 촬영한 제2 카메라 이미지를 획득할 수 있다. 예컨대, 차량이 주행을 시작할 즈음에 카메라(110)를 통해 제1 카메라 이미지를 획득하고, 차량이 주행 중이거나 주행을 종료할 즈음에 카메라(110)를 통해 제2 카메라 이미지를 획득할 수 있다.
또한, 차량의 주행 시작 시점으로부터 미리 정해진 시간 이내에 카메라(110)가 촬영한 제1 카메라 이미지를 획득하고, 제1 카메라 이미지를 획득한 시점으로부터 미리 정해진 시간 이내에 미리 정해진 간격으로 카메라(110)가 촬영한 복수 개의 제2 카메라 이미지를 획득할 수 있다.
다음으로, 제1 카메라 이미지와 제2 카메라 이미지를 비교하여 동일한 영역을 구할 수 있다(S320). 즉, 제1 카메라 이미지와 제2 카메라 이미지를 비교하여 동일한 위치에서 동일한 이미지(형상 또는 모양)를 가지는 적어도 하나의 동일한 영역을 구할 수 있다.
그리고, 이미지 획득부(120)에서 획득된 복수 개의 제2 카메라 이미지 중에서 적어도 하나의 제2 카메라 이미지를 선정하고, 제1 카메라 이미지와 선정된 적어도 하나의 제2 카메라 이미지를 비교하여 동일한 영역을 구할 수 있다.
그런 후, 카메라(110)에 의해 촬영된 이미지의 전체 면적에 대한 동일한 영역이 차지하는 면적의 비율이 미리 정해진 기준 이상인지 판단(S330)하여 기준 이상이면(S330-Y), 카메라의 렌즈 오염 정보를 출력할 수 있다(S340). 즉, 카메라 이미지의 전체 면적 중에서 오염 영역이 차지하는 면적의 비율이 기준 이상이면, 카메라 렌즈(113)에 오염이 있는 것으로 판단하여 판단 결과가 출력부(150)를 통해 출력되게 할 수 있다. 이때, 카메라(110)의 렌즈 오염 정보는 비율에 따라 정해지는 오염 레벨을 포함할 수 있다. 예를 들어, 카메라 이미지의 전체 면적 중에서 오염 영역이 차지하는 면적의 비율이 11%~20%이면, 오염 레벨은 1이고, 오염 영역이 차지하는 면적의 비율이 21%~30%이면, 오염 레벨은 2이고, 오염 영역이 차지하는 면적의 비율이 31%~40%이면, 오염 레벨은 3이고, 오염 영역이 차지하는 면적의 비율이 41%~50%이면, 오염 레벨은 4일 수 있다.
이와 같이, 카메라 렌즈(113)의 오염도에 따라 일부 카메라 이미지가 안보이거나 화상의 식별이 불가능할 수 있으므로 오염 레벨 등을 포함한 카메라(110)의 렌즈 오염 정보를 출력부(150)로 전송하여 사용자에게 시각적 또는 청각적으로 카메라 렌즈(113)에 대한 오염을 알릴 수 있도록 하며, 카메라 렌즈(113)의 오염을 인지한 사용자가 카메라 렌즈(113)의 이물질을 제거하도록 할 수 있도록 한다.
또한, 카메라 렌즈(113)에 인접하게 배치된 세척부(160)를 이용하여 카메라 렌즈(113)의 표면에 압축공기나 워셔액을 분사함으로써 카메라 렌즈(113)를 세척할 수 있도록 한다. 즉, 세척부(160)는 이미지 처리부(130)로부터 카메라 렌즈(113)의 세척하기 위한 제어 신호를 인가되면, 제어 신호에 따라 에어컴프레셔(미도시)로부터 카메라 렌즈(113)로 공기압이 분사되도록 하거나 워셔액저장부(미도시)로부터 카메라 렌즈(113)로 워셔액이 분사되도록 하여 눈, 먼지, 황사 등의 이물질을 제거할 수 있다.
따라서, 카메라 렌즈의 오염도에 따라 세척부(160)를 구동시켜 카메라 렌즈(113)의 표면에 달라붙은 눈, 먼지, 황사 등의 이물질을 자동으로 제거하도록 함으로써 카메라 렌즈(113)를 항상 청결한 상태로 유지하여 카메라(110)에 의해 피사체를 선명하게 촬영할 수 있도록 한다.
한편, 차량의 주행 중에 획득된 제3 카메라 이미미 중에서 오염 영역을 제3 카메라 이미지보다 이전에 획득된 카메라 이미지를 이용하여 보정할 수 있다. 보다 자세하게는, 현재 카메라 이미지와 이전 카메라 이미지를 합성하여 현재 카메라 이미지의 오염 영역이 이전 카메라 이미지로 대체되도록 제어할 수 있다.
특히, 자동차의 이동성 모델을 이용하여 현재 카메라 이미지의 오염 영역에 대응하는 이미지를 이전 카메라 이미지에 예측하여 오염 영역이 다른 이미지로 대체되어 출력되도록 보정할 수 있다. 다시 말하면, 이전 카메라 이미지가 현재 카메라 이미지에 대응하도록 즉, 이전 카메라 이미지를 현재 카메라 이미지의 공간 상으로 대응시키는 어파인 변환을 수행할 수 있다. 이에 따라, 한 벡터 공간에 있는 오염 영역을 다른 벡터 공간의 다른 영상으로 대체할 수 있다. 여기서, 자동차의 이동성 모델이란 자동차의 속도 및 조향각을 포함한 자동차의 이동량에 근거하여 자동차가 이동하는 양상을 예측하는 모델이며, 어파인 변환이란 한 벡터 공간을 다른 벡터 공간으로 대응시키는 변환으로, 선형 변환과 평행 이동 변환의 합성으로 이루어질 수 있다.
본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 앞서 설명한 카메라 영상 처리 시스템의 오염 처리 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 또는 이러한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100: 카메라 영상 처리 시스템
110: 카메라 120: 이미지 획득부
130: 이미지 처리부 140: 저장부
150: 출력부 160: 세척부

Claims (12)

  1. 삭제
  2. 카메라가 제1 카메라 이미지를 촬영하여 획득하는 단계,
    상기 카메라가 제2 카메라 이미지를 촬영하여 획득하는 단계,
    상기 제1 카메라 이미지와 상기 제2 카메라 이미지를 비교하여 동일한 영역을 구하는 단계, 그리고
    상기 카메라에 의해 촬영된 이미지의 전체 면적에 대한 상기 동일한 영역이 차지하는 면적의 비율이 미리 정해진 기준 이상이면, 상기 카메라의 렌즈 오염 정보를 출력하는 단계
    를 포함하고,
    상기 카메라의 렌즈 오염 정보는,
    상기 비율에 따라 정해지는 오염 레벨을 포함하는 카메라 영상 처리 시스템의 오염 처리 방법.
  3. 카메라가 제1 카메라 이미지를 촬영하여 획득하는 단계,
    상기 카메라가 제2 카메라 이미지를 촬영하여 획득하는 단계,
    상기 제1 카메라 이미지와 상기 제2 카메라 이미지를 비교하여 동일한 영역을 구하는 단계, 그리고
    상기 카메라에 의해 촬영된 이미지의 전체 면적에 대한 상기 동일한 영역이 차지하는 면적의 비율이 미리 정해진 기준 이상이면, 상기 카메라의 렌즈 오염 정보를 출력하는 단계
    를 포함하고,
    상기 제1 카메라 이미지는,
    상기 카메라가 장착된 차량의 주행 시작 시점으로부터 미리 정해진 시간 이내에 획득되고,
    상기 제2 카메라 이미지는,
    상기 제1 카메라 이미지를 획득한 시점으로부터 미리 정해진 시간 이내에 미리 정해진 간격으로 복수 개 획득되는 카메라 영상 처리 시스템의 오염 처리 방법.
  4. 제 3 항에서,
    상기 제1 카메라 이미지와 상기 제2 카메라 이미지를 비교하여 동일한 영역을 구하는 단계는,
    상기 획득된 복수 개의 제2 카메라 이미지 중에서 적어도 하나의 제2 카메라 이미지를 선정하는 단계, 그리고
    상기 제1 카메라 이미지와 상기 선정된 제2 카메라 이미지를 비교하여 상기 동일한 영역을 구하는 단계를 포함하는 카메라 영상 처리 시스템의 오염 처리 방법.
  5. 카메라가 제1 카메라 이미지를 촬영하여 획득하는 단계,
    상기 카메라가 제2 카메라 이미지를 촬영하여 획득하는 단계,
    상기 제1 카메라 이미지와 상기 제2 카메라 이미지를 비교하여 동일한 영역을 구하는 단계,
    상기 구해진 동일한 영역을 오염 영역으로 판단하는 단계, 그리고
    상기 카메라에 의해 촬영된 이미지의 전체 면적에 대한 상기 동일한 영역이 차지하는 면적의 비율이 미리 정해진 기준 이상이면, 상기 카메라의 렌즈 오염 정보를 출력하는 단계를 포함하는 카메라 영상 처리 시스템의 오염 처리 방법.
  6. 제 5 항에서,
    상기 카메라가 장착된 차량의 주행 중에 제3 카메라 이미지를 획득하는 단계, 그리고
    상기 제3 카메라 이미지 중에서 상기 오염 영역을 상기 제3 카메라 이미지보다 이전에 획득된 카메라 이미지를 이용하여 보정하는 단계를 더 포함하는 카메라 영상 처리 시스템의 오염 처리 방법.
  7. 삭제
  8. 카메라가 제1 카메라 이미지를 촬영하여 획득하고, 상기 카메라가 제2 카메라 이미지를 촬영하여 획득하는 이미지 획득부,
    상기 제1 카메라 이미지와 상기 제2 카메라 이미지를 비교하여 동일한 영역을 구하는 이미지 처리부, 그리고
    상기 카메라에 의해 촬영된 이미지의 전체 면적에 대한 상기 동일한 영역이 차지하는 면적의 비율이 미리 정해진 기준 이상이면, 상기 카메라의 렌즈 오염 정보를 출력하는 출력부
    를 포함하고,
    상기 카메라의 렌즈 오염 정보는,
    상기 비율에 따라 정해지는 오염 레벨을 포함하는 카메라 영상 처리 시스템.
  9. 카메라가 제1 카메라 이미지를 촬영하여 획득하고, 상기 카메라가 제2 카메라 이미지를 촬영하여 획득하는 이미지 획득부,
    상기 제1 카메라 이미지와 상기 제2 카메라 이미지를 비교하여 동일한 영역을 구하는 이미지 처리부, 그리고
    상기 카메라에 의해 촬영된 이미지의 전체 면적에 대한 상기 동일한 영역이 차지하는 면적의 비율이 미리 정해진 기준 이상이면, 상기 카메라의 렌즈 오염 정보를 출력하는 출력부
    를 포함하고,
    상기 제1 카메라 이미지는,
    상기 카메라가 장착된 차량의 주행 시작 시점으로부터 미리 정해진 시간 이내에 획득되고,
    상기 제2 카메라 이미지는,
    상기 제1 카메라 이미지를 획득한 시점으로부터 미리 정해진 시간 이내에 미리 정해진 간격으로 복수 개 획득되는 카메라 영상 처리 시스템.
  10. 제 9 항에서,
    상기 이미지 처리부는,
    상기 획득된 복수 개의 제2 카메라 이미지 중에서 적어도 하나의 제2 카메라 이미지를 선정하고,
    상기 제1 카메라 이미지와 상기 선정된 제2 카메라 이미지를 비교하여 상기 동일한 영역을 구하는 카메라 영상 처리 시스템.
  11. 카메라가 제1 카메라 이미지를 촬영하여 획득하고, 상기 카메라가 제2 카메라 이미지를 촬영하여 획득하는 이미지 획득부,
    상기 제1 카메라 이미지와 상기 제2 카메라 이미지를 비교하여 동일한 영역을 구하는 이미지 처리부, 그리고
    상기 카메라에 의해 촬영된 이미지의 전체 면적에 대한 상기 동일한 영역이 차지하는 면적의 비율이 미리 정해진 기준 이상이면, 상기 카메라의 렌즈 오염 정보를 출력하는 출력부
    를 포함하고,
    상기 이미지 처리부는,
    상기 구해진 동일한 영역을 오염 영역으로 판단하는 카메라 영상 처리 시스템.
  12. 제 11 항에서,
    상기 이미지 처리부는,
    상기 카메라가 장착된 차량의 주행 중에 제3 카메라 이미지를 획득하고,
    상기 제3 카메라 이미지 중에서 상기 오염 영역을 상기 제3 카메라 이미지보다 이전에 획득된 카메라 이미지를 이용하여 보정하는 카메라 영상 처리 시스템.
KR1020140032672A 2014-03-20 2014-03-20 카메라 영상 처리 시스템 및 이의 오염 처리 방법 KR101525516B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140032672A KR101525516B1 (ko) 2014-03-20 2014-03-20 카메라 영상 처리 시스템 및 이의 오염 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140032672A KR101525516B1 (ko) 2014-03-20 2014-03-20 카메라 영상 처리 시스템 및 이의 오염 처리 방법

Publications (1)

Publication Number Publication Date
KR101525516B1 true KR101525516B1 (ko) 2015-06-03

Family

ID=53505279

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140032672A KR101525516B1 (ko) 2014-03-20 2014-03-20 카메라 영상 처리 시스템 및 이의 오염 처리 방법

Country Status (1)

Country Link
KR (1) KR101525516B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017206444A1 (zh) * 2016-06-03 2017-12-07 中兴通讯股份有限公司 一种成像差异检测方法、装置及计算机存储介质
KR20190047244A (ko) 2017-10-27 2019-05-08 현대자동차주식회사 카메라 렌즈 오염 경고 장치 및 방법
KR20190047243A (ko) 2017-10-27 2019-05-08 현대자동차주식회사 카메라 렌즈 오염 경고 장치 및 방법
WO2022104080A1 (en) * 2020-11-12 2022-05-19 Argo AI, LLC Optical device validation
KR20230058921A (ko) * 2021-10-25 2023-05-03 송방원 정전방전 테스트 시스템
CN117859152A (zh) * 2021-08-31 2024-04-09 梅赛德斯-奔驰集团股份公司 用于探测车辆摄像头视觉遮挡的方法和用于操控车辆的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007189369A (ja) * 2006-01-12 2007-07-26 Alpine Electronics Inc カメラのレンズ汚れ検出装置及び画像表示システム
JP2007318355A (ja) * 2006-05-24 2007-12-06 Matsushita Electric Ind Co Ltd 撮像装置およびレンズ汚れ検出方法
KR20080024946A (ko) * 2006-09-14 2008-03-19 삼성테크윈 주식회사 촬상 장치 및 촬상 방법
KR20100066679A (ko) * 2008-12-10 2010-06-18 삼성전기주식회사 이물 검사 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007189369A (ja) * 2006-01-12 2007-07-26 Alpine Electronics Inc カメラのレンズ汚れ検出装置及び画像表示システム
JP2007318355A (ja) * 2006-05-24 2007-12-06 Matsushita Electric Ind Co Ltd 撮像装置およびレンズ汚れ検出方法
KR20080024946A (ko) * 2006-09-14 2008-03-19 삼성테크윈 주식회사 촬상 장치 및 촬상 방법
KR20100066679A (ko) * 2008-12-10 2010-06-18 삼성전기주식회사 이물 검사 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017206444A1 (zh) * 2016-06-03 2017-12-07 中兴通讯股份有限公司 一种成像差异检测方法、装置及计算机存储介质
KR20190047244A (ko) 2017-10-27 2019-05-08 현대자동차주식회사 카메라 렌즈 오염 경고 장치 및 방법
KR20190047243A (ko) 2017-10-27 2019-05-08 현대자동차주식회사 카메라 렌즈 오염 경고 장치 및 방법
WO2022104080A1 (en) * 2020-11-12 2022-05-19 Argo AI, LLC Optical device validation
CN117859152A (zh) * 2021-08-31 2024-04-09 梅赛德斯-奔驰集团股份公司 用于探测车辆摄像头视觉遮挡的方法和用于操控车辆的方法
KR20230058921A (ko) * 2021-10-25 2023-05-03 송방원 정전방전 테스트 시스템
KR102647968B1 (ko) 2021-10-25 2024-03-15 송방원 정전방전 테스트 시스템

Similar Documents

Publication Publication Date Title
KR101525516B1 (ko) 카메라 영상 처리 시스템 및 이의 오염 처리 방법
US11787338B2 (en) Vehicular vision system
CN106663193B (zh) 用于路缘检测和行人危险评估的系统和方法
JP6772113B2 (ja) 付着物検出装置、および、それを備えた車両システム
JP5421072B2 (ja) 接近物体検知システム
CN104657735B (zh) 车道线检测方法、系统、车道偏离预警方法及系统
US20200342243A1 (en) Method for estimating distance to an object via a vehicular vision system
EP2682896B1 (en) In-vehicle apparatus
EP2163428B1 (en) Intelligent driving assistant systems
US8660737B2 (en) Vehicle handling assistant apparatus
EP2899692B1 (en) Method, system, imaging device, movable device and program product for detecting static elements in video and image sources
JP6393189B2 (ja) 車載画像処理装置
US9965690B2 (en) On-vehicle control device
CN103714538B (zh) 道路边缘检测方法、装置及车辆
US20180173972A1 (en) Vehicle vision system with vehicle detection
JP5421999B2 (ja) 車両用周囲監視装置
JP5546321B2 (ja) 複数カメラ画像使用車外表示装置
KR20120113808A (ko) 디지털 이미지에서 방울들을 검출하기 위한 방법 및 장치, 상기 방법을 구현하기 위한 컴퓨터 프로그램
JP2020060550A (ja) 異常検出装置、異常検出方法、姿勢推定装置、および、移動体制御システム
EP3107063A1 (en) Method for processing camera images
JP2008042759A (ja) 画像処理装置
KR101316353B1 (ko) 차량 주변의 차선 생성 장치 및 방법
US10242460B2 (en) Imaging apparatus, car, and variation detection method
WO2021132227A1 (ja) 情報処理装置、センシング装置、移動体及び情報処理方法
KR101846326B1 (ko) 차량용 영상 촬영 장치 및 그 제어방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20140320

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20141224

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20150421

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20150528

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20150529

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20180510

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20180510

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20200512

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20210421

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20220329

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20230323

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20240327

Start annual number: 10

End annual number: 10