KR20150041334A - Avm 시스템의 이미지 처리 방법 - Google Patents

Avm 시스템의 이미지 처리 방법 Download PDF

Info

Publication number
KR20150041334A
KR20150041334A KR20130119732A KR20130119732A KR20150041334A KR 20150041334 A KR20150041334 A KR 20150041334A KR 20130119732 A KR20130119732 A KR 20130119732A KR 20130119732 A KR20130119732 A KR 20130119732A KR 20150041334 A KR20150041334 A KR 20150041334A
Authority
KR
South Korea
Prior art keywords
vehicle
difference value
value map
top view
image
Prior art date
Application number
KR20130119732A
Other languages
English (en)
Other versions
KR101573576B1 (ko
Inventor
류성숙
최재섭
장유진
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020130119732A priority Critical patent/KR101573576B1/ko
Priority to DE102013226476.3A priority patent/DE102013226476B4/de
Priority to US14/132,445 priority patent/US20150098622A1/en
Priority to CN201310727309.6A priority patent/CN104517096A/zh
Publication of KR20150041334A publication Critical patent/KR20150041334A/ko
Application granted granted Critical
Publication of KR101573576B1 publication Critical patent/KR101573576B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

AVM 시스템의 이미지 처리 방법이 개시된다. 본 AVM 시스템의 이미지 처리 방법은 차량 주변 환경을 촬상하여 탑 뷰(Top-View) 이미지를 생성하는 단계, 상이한 시간에 생성된 두 탑 뷰 이미지를 비교하여 차이값 맵을 생성하는 단계, 생성된 차이값 맵 중 일부 영역을 추출하는 단계 및 차이값 맵의 추출 영역을 시간의 흐름에 따라 연속적으로 연결하여 사물 인식 이미지를 생성하는 단계를 포함한다. 차량 주변에 위치한 사물들의 정확한 위치 및 형상을 인식할 수 있으며 운전자에게 보다 정확한 차량 주변 정보를 제공할 수 있게 된다.

Description

AVM 시스템의 이미지 처리 방법{IMAGE PROCESSING METHOD OF AROUND VIEW MONITORING SYSTEM}
본 발명은 AVM 시스템의 이미지 처리 방법에 관한 것으로 보다 상세하게는 차량 주변 사물을 위치 및 형태를 보다 정확하게 인식하여 운전자에게 제공할 수 있는 AVM 시스템의 이미지 처리 방법에 관한 것이다.
일반적으로, 차량 내부에 탑승하는 운전자의 시계는 주로 전방을 향하도록 이루어진다. 따라서, 운전자의 좌우 측과 후방 시계는 차체에 의하여 상당부분 가려지기 때문에 매우 한정된 시계를 가진다. 이러한 문제를 해결하기 위하여 통상적으로 운전자의 한정된 범위의 시계를 보완기 위한 거울을 포함하여 이루어지는 시계 보조수단(예를 들어, 사이드 미러 등)이 사용되고 있으며, 최근에는 차량의 외부의 영상을 촬영하여 운전자에게 제공하는 카메라수단을 포함하는 기술들이 차량에 적용되고 있는 추세이다.
그 중에서 현재 차량 주위에 복수의 카메라를 설치하여 차량 주변의 360°전방향의 영상을 보여주는 AVM(Around View Monitoring) 시스템이 있다. AVM 시스템은 차량 주변을 촬영하는 복수의 카메라를 통하여 촬상된 차량 주변의 영상을 조합하여 운전자가 하늘에서 차량을 바라보는 듯한 탑 뷰(Top View) 이미지를 제공함으로써, 차량 주변 장애물을 표시하고 사각지대 해소할 수 있게 해준다.
그러나, 이러한 AVM 시스템에서 제공하는 탑 뷰 이미지는 카메라의 촬영 방향에 따라 차량 주변의 사물, 특히, 입체물의 경우에는 형상이 왜곡되어 나타나게 된다. 카메라의 위치를 기준으로 촬상 방향및 거리가 가까운 사물은 실제 형상과 유사하게 촬상되지만, 카메라와의 상대거리 및 촬상 방향과의 각도가 커질수록 입체물의 형상이 왜곡되어 나타날 수 있다. 이에 따라, 운전자에게 차량 주변 장애물의 정확한 위치 및 형상을 제공할 수 없는 문제점이 발생할 수 있다.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은 AVM 시스템을 통해 운전자에게 제공되는 탑 뷰 이미지에서 차량 주변 사물의 입체물의 형상이 왜곡되어 나타나는 경우 입체물을 사실적으로 인식할 수 있도록 도와주는 AVM 시스템의 이미지 처리 방법을 제공함에 있다.
이상의 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 AVM 시스템의 이미지 처리 방법은, 차량 주변 환경을 촬상하여 탑 뷰(Top-View) 이미지를 생성하는 단계, 상이한 시간에 생성된 두 탑 뷰 이미지를 비교하여 차이값 맵을 생성하는 단계, 상기 생성된 차이값 맵 중 일부 영역을 추출하는 단계 및 상기 차이값 맵의 추출 영역을 시간의 흐름에 따라 연속적으로 연결하여 사물 인식 이미지를 생성하는 단계를 포함한다.
그리고, 상기 사물 인식 이미지를 이용하여 차량 주변의 사물을 인식하는 단계 및 상기 인식된 사물을 상기 탑 뷰 이미지에 포함시켜 디스플레이하는 단계를 더 포함할 수 있다.
여기서, 상기 차이값 맵을 생성하는 단계는, 차량의 이동에 따른 상기 두 탑 뷰 이미지에 포함된 주변 사물의 상대적 위치 변화를 보정하는 단계 및 상기 보정된 두 탑 뷰 이미지를 비교하여 픽셀별로 차이값을 산출하는 단계를 포함할 수 있다.
그리고, 상기 추출 영역은, 상기 차이값 맵 내에서의 차량의 진행 방향으로 차량의 이동 거리에 대응하는 수의 픽셀을 포함할 수 있다.
또는, 상기 추출 영역은, 상기 차이값 맵 내에서의 차량의 진행 방향으로 기 설정된 수의 픽셀을 포함할 수 있다.
그리고, 상기 사물 인식 이미지를 생성하는 단계는, 상기 차이값 맵의 추출 영역을 상기 차량의 이동 거리에 비례하도록 연결하고, 중복되는 픽셀 영역에 대해서는 각 픽셀에 부여된 가중치를 고려하여 최종값을 결정할 수 있다.
또한, 상기 각 픽셀에 부여된 가중치는, 상기 차이값 맵 내에서 카메라의 위치를 기준으로 카메라의 촬상 방향으로부터의 각도가 커질수록 작아질 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면 AVM 시스템은 차량 주변에 위치한 사물들의 정확한 위치 및 형상을 인식할 수 있으며 운전자에게 보다 정확한 차량 주변 정보를 제공할 수 있게 된다.
도 1은 본 발명의 일 실시 예에 따른 AVM 시스템의 구성을 나타내는 블럭도이다.
도 2는 본 발명의 일 실시 예에 따른 AVM 시스템의 이미지 처리 방법을 나타내는 흐름도이다.
도 3은 본 발명의 일 실시 예에 따른 탑 뷰 이미지의 생성과정을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 차이값 맵의 생성 과정을 설명하기 위한 도면이다.
도 5는 시간의 흐름에 따라 생성된 차이값 맵을 보여주는 도면이다.
도 6은 본 발명의 일 실시예에 따라 차이값 맵 중 일부 영역을 추출하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 사물 인식 이미지 생성 과정을 설명하기 위한 도면이다.
도 8은 차이값 맵의 각 픽셀에 부여된 가중치를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따라 차량 주변 사물을 인식하여 디스플레이하는 과정을 설명하기 위한 도면이다.
이하에서 첨부한 도면을 참조하여 본 발명에 대해 구체적으로 설명한다.
도 1은 본 발명의 일 실시 예에 따른 AVM 시스템의 구성을 나타내는 블럭도이다. 도 1에 따르면 AVM(Around View Monitor) 시스템은 촬상부(110), 통신부(120), 디스플레이부(130) 및 제어부(140)를 포함한다.
촬상부(110)는 차량 주변 환경을 촬상한다. 촬상부(110)는 차량 주변 환경을 360°전(全)반향으로 촬상하기 위해 복수의 카메라로 구현될 수 있다. 예를 들어, 차량의 전면, 후면, 좌측면, 우측면에 설치된 네 개의 카메라로 구현될 수 있다. 그리고, 촬상부(110)는 적은 개수의 카메라로 차량 주변환경을 촬상하기 위해 광각 카메라로 구현될 수 있다.
촬상부(110)를 통해 촬상된 차량 주변의 이미지는 영상 처리를 통해 차량의 위쪽에서 내려다보는 듯한 탑 뷰(Top View) 이미지로 변환될 수 있다. 촬상부(110)는 차량 주변 환경을 연속적으로 촬상함으로써 운전자에게 차량 주변 환경에 대한 정보를 지속적으로 제공할 수 있다.
통신부(120)는 차량의 각 부분을 제어하기 위한 ECU(Electronic Control Unit)들로부터 탑 뷰 이미지 처리에 필요한 각종 센서값들을 수신한다. 예를 들어, 통신부(120)는 차량의 이동 거리 및 이동 방향을 감지할 수 있는 조향각 센서값 및 휠 속도 센서값을 수신할 수 있다.
통신부(120)는 ECU들로부터 센서값을 수신하기 위해 CAN(Controller Area Network) 통신을 사용할 수 있다. CAN 통신은 차량 내에서 호스트 컴퓨터 없이 마이크로 콘트롤러나 장치들이 서로 통신하기 위해 설계된 표준 통신 규격으로서, 다수의 ECU들을 병렬로 연결하여 각각의 ECU들간에 서로 정보교환이 이루어질 수 있는 통신 방식이다.
디스플레이부(130)는 제어부(140)에 의해 생성된 탑 뷰 이미지를 디스플레이한다. 디스플레이부(110)는 CRT(Cathod Ray Tube), LCD(Liquid Criystal Display), PDP(Plasma Display Panel) 등과 같은 다양한 디스플레이 장치로 구현될 수 있다.
제어부(140)는 AVM 시스템의 전반적인 동작을 제어한다. 구체적으로 제어부(140)는 촬상부(110)에서 촬상된 차량 주변 이미지들을 조합하여 탑 뷰 이미지를 생성할 수 있다.
그리고, 제어부(140)는 상이한 시간에 생성된 두 탑 뷰 이미지를 비교하여 차이값 맵(Difference Count Map)을 생성할 수 있다. 차이값 맵이란 상이한 시간에 생성된 두 탑 뷰 이미지에 포함된 픽셀들 중 대응되는 픽셀사이의 차이값을 나타내는 이미지를 의미하며, 그 정도에 따라 각 픽셀별로 상이한 값을 가질 수 있다.
상술한 바와 같이 탑 뷰 이미지에 포함된 차량 주변의 사물, 특히, 입체물의 경우 왜곡된 형상으로 표시될 수 있다. 차이값 맵은 연속되는 두 장의 탑 뷰 이미지를 비교하고 차이값을 산출함으로써 왜곡되어 표시되는 입체물에 대한 정보를 포함할 수 있다.
또한, 제어부(140)는 생성된 차이값 맵 중 일부 영역을 추출하고 추출 영역을 시간의 흐름에 따라 연속적으로 연결하여 사물 인식 이미지를 생성할 수 있다. 그리고, 생성된 사물 인식 이미지를 이용하여 차량 주변의 사물을 인식할 수 있다. 구체적으로는 사물 인식 이미지를 이용하여 차량 주변 사물의 형상 및 차량으로부터 차량 주변 사물까지의 거리를 인식할 수 있다. 그리고, 인식된 사물의 형상을 기 저장된 패턴과 비교하여 일치하는 패턴이 있는 경우 그에 대응하는 가상의 이미지를 탑 뷰 이미지에 표시할 수 있다.
한편, 도 1에 도시하지는 않았으나 본 발명의 일 실시 예에 따른 AVM 시스템은 저장부(미도시) 및 디스플레이부(미도시)를 더 포함할 수 있다.
저장부(미도시)는 사물의 형상에 대한 패턴 및 가상의 이미지를 저장한다. 제어부(140)는 사물 인식 이미지에 나타나는 사물의 형상과 저장부(미도시)에 저장된 패턴을 비교하여 일치하는 패턴이 있으면 대응하는 가상의 이미지를 탑 뷰 이미지에 배치되도록 할 수 있다. 이에 따라 사용자는 차량 주변 사물의 위치 및 형상을 보다 사실적으로 제공받을 수 있게 된다.
디스플레이부(미도시)는 탑 뷰 이미지를 디스플레이한다. 사물 인식 결과에 따라 가상의 이미지가 배치된 탑 뷰 이미지를 디스플레이할 수 있다. 한편, 디스플레이부(140)는 액정 표시 장치(Liquid Crystal Display, LCD), 유기 전기 발광 다이오드(Organic Light Emitting Display, OLED) 또는 플라즈마 표시 패널(Plasma Display Panel, PDP) 등 다양한 디스플레이 패널로 구현될 수 있으며, 투명 디스플레이 패널 또는 플렉서블 디스플레이 패널 등으로 구현될 수도 있다.
도 2는 본 발명의 일 실시 예에 따른 AVM 시스템의 이미지 처리 방법을 나타내는 흐름도이다. 도 2를 참조하면 탑 뷰 이미지를 생성하고(S210), 생성된 탑 뷰 이미지를 비교하여 차이값 맵을 생성한다(S220). 그리고, 차이값 맵 중 일부 영역을 추출하고(S230), 추출 영역을 연결하여 사물 인식 이미지를 생성한다(S240). 이하에서는 도 3 내지 도 9를 참조하여 각 단계를 구체적으로 설명하기로 한다.
먼저, 탑 뷰(Top View) 이미지를 생성한다(S210). 구체적으로, 차량 주변 환경을 360°전(全) 반향으로 촬상하고, 촬상된 이미지들을 조합하여 탑 뷰 이미지를 생성할 수 있다. 이에 대해, 도 3을 참조하여 보다 구체적으로 설명한다.
도 3은 본 발명의 일 실시 예에 따른 탑 뷰 이미지의 생성과정을 설명하기 위한 도면이다. 도 3의 (a)는 복수의 카메라를 이용하여 차량 주변 환경을 촬상한 이미지를 나타낸다. 특히, 도 3은 차량의 전방, 좌측면, 우측면 및 후방에 각각 장착된 네 개의 카메라를 이용하여 촬상한 경우의 예를 나타낸다. 차량의 전(全)방향을 촬상하기 위해 일반적으로 도 3의 (a)와 같이 네 개의 카메라가 이용될 수 있으나 이는 일 실시 예에 불과하며 그 이하 또는 그 이상의 카메라를 이용하여 차량 주변 환경을 촬상할 수 있임은 물론이다.
도 3의 (b)는 복수의 카메라를 이용하여 촬상된 이미지들을 조합하여 생성한 탑 뷰 이미지를 나타낸다. 촬상된 차량 주변 환경 이미지들은 영상 처리를 통해 차량의 위쪽에서 내려다보는 듯한 탑 뷰(Top View) 이미지로 변환될 수 있다. 차량 주변을 촬상한 복수의 이미지를 영상 처리하여 탑 뷰 이미지로 변환하는 기술은 이미 공지된 기술로 구체적인 설명은 생략하기로 한다.
한편, 도 3의 (b)를 살펴보면 탑 뷰 이미지에 표시되는 다른 차량들이 형상이 심하게 왜곡되어 있음을 알 수 있다. 도 3의 (a)에서 볼 수 있듯이 탑 뷰 이미지에 표시되는 입체물의 형상은 카메라의 촬상 방향을 중심으로 방사형으로 변형된다. 즉, 카메라의 촬상 방향과의 각도가 커질수록 사물의 형상이 왜곡되어 나타나게 된다. 이에 따라, 현재의 AVM 시스템에 따른 탑 뷰 이미지를 운전자에게 제공하더라도 운전자는 차량 주변 사물의 정확한 위치 및 형상을 알 수 없는 문제점이 발생할 수 있음을 알 수 있다. 그러나, 후술하는 과정들에 의하면 차량 주변의 사물의 정확한 위치 및 형상을 파악할 수 있게 된다.
탑 뷰 이미지가 생성되면 상이한 시간에 생성된 두 탑 뷰 이미지를 비교하여 차이값 맵을 생성한다(S220). 상술한 바와 같이 차이값 맵이란 상이한 시간에 생성된 두 탑 뷰 이미지에 포함된 픽셀들 중 대응되는 픽셀 간에 차이값을 나타내는 이미지를 의미한다. 차이값 맵을 생성하는 단계는 차량의 이동에 따른 두 탑 뷰 이미지에 포함된 주변 환경의 상대적 위치 변화를 보정하는 단계 및 보정된 두 탑 뷰 이미지를 비교하여 픽셀별로 차이값을 산출하는 단계를 포함할 수 있다. 이에 대해 도 4를 참조하여 구체적으로 설명한다.
도 4는 본 발명의 일 실시 예에 따른 차이값 맵의 생성 과정을 설명하기 위한 도면이다.
도 4의 (a)를 참조하면 시간(t)에서의 탑 뷰 이미지(top view(t)) 및 위치 변화가 보정된 시간(t-1)에서의 탑 뷰 이미지(top view(t-1)가 도시되어 있다. 차량에 장착된 카메라는 차량이 이동함에 따라 주변 환경을 기설정된 시간 간격으로 연속적으로 촬상하며 일반적으로 초당 10 내지 30 프레임을 촬상할 수 있다. 그리고, 복수의 카메라에 의해 연속적으로 촬상되는 이미지들을 이용하여 시간의 흐름에 따른 탑 뷰 이미지를 연속적으로 생성할 수 있다. 이 때, 차량의 이동에 따라 각각의 탑 뷰 이미지들 간에는 이미지에 포함된 주변 사물의 위치에 변화가 생기게 된다. 차이값 맵을 생성할 때, 이러한 차량 이동에 따른 오차를 제거하기 위해 시간적으로 연속하는 두 탑 뷰 영상 중 어느 하나를 기준으로 다른 하나의 탑 뷰 이미지에 포함된 주변 사물의 상대적 위치 변화를 보정할 수 있다. 도 4의 (a)에서는 현재 생성된 탑 뷰 이미지(top view(t))를 기준으로 과거에 생성된 탑 뷰 이미지(top view(t-1))의 위치를 보정하였다.
여기서, 탑 뷰 이미지의 보정의 정도는 차량의 이동 거리 및 이동 방향에 따라 결정될 수 있다. 예를 들어, 실제 2cm의 거리가 탑 뷰 이미지에서 1 픽셀로 표시된다고 가정하면, 두 탑 뷰 이미지가 촬상되는 시간 동안 차량이 직진 방향으로 10cm이동한 경우 현재의 탑 뷰 이미지를 기준으로 하여 과거의 탑 뷰 이미지 전체를 차량의 진행 방향과 반대 방향으로 5 픽셀만큼 이동시킬 수 있다. 또는, 과거의 탑 뷰 이미지를 기준으로 하여 현재의 탑 뷰 이미지 전체를 차량의 진행 방향으로 5 픽셀만큼 이동시킬 수 있다. 과거의 탑 뷰 이미지 전체를 차량의 진행 방향과 반대 방향으로 4 픽셀만큼 이동시킬 수 있다. 여기서, 차량의 이동 거리는 차량의 각 부분을 제어하는 ECU로부터 이동 거리 및 이동 방향 계산에 필요한 센서값들(예를 들어, 조향각 센서값 및 휠 속도 센서값)을 수신하여 계산할 수 있다.
이후, 차량의 이동에 따른 위치 변화가 보정된 두 탑 뷰 이미지를 비교하여 차이값 맵을 생성한다. 도 4의 (b)는 도 4의 (a)에 도시된 두 탑 뷰 이미지를 이용하여 차이값 맵을 생성한 결과를 보여준다. 차이값 맵은 두 이미지 간의 차이를 수치화할 수 있는 다양한 알고리즘을 이용하여 생성될 수 있다. 예를 들어, Census Transform 알고리즘이 이용될 수 있다. Census Transform 알고리즘은 이미 공지된 기술로서 Census Transform 알고리즘에 따라 차이값 맵을 생성하는 과정에 대해서는 간략히 설명하기로 한다. 우선 두 영상 각각에 대해서 동일한 위치의 기준 픽셀을 선택하고, 각 기준 픽셀이 가지는 픽셀값과 인접한 픽셀이 가지는 픽셀값을 비교하여 차이값을 산출한다. 이 때, 인접한 픽셀의 개수 및 패턴은 여러가지 다양한 방법으로 선정될 수 있다. 도 4의 (b)에 도시된 차이값 맵은 인접 픽셀의 수를 16개로 설정한 경우를 나타낸다. 이후, 기준 픽셀과 인접한 픽셀간의 차이값이 기 설정된 구간 중 어떠한 구간에 포함되는지 판단한다. 설정 구간의 수와 범위는 정확도 수준에 따라 다양하게 설정될 수 있다. 기준 픽셀과 인접 픽셀들 간의 차이값이 포함되는 구간이 모두 정해지면 두 이미지의 결과를 비교하여 서로 다른 구간값을 가지는 개수를 카운트한다. 서로 다른 구간값을 가지는 개수를 기준 픽셀의 최종 차이값으로 산출할 수 있다. 최종 차이값은 인접 픽셀의 수가 16개로 설정된 경우 0 내지 16의 값을 가질 수 있다. 이러한 방식으로 대응하는 모든 픽셀들에 대해 최종 차이값을 산출하여 차이값 맵을 생성할 수 있다.
여기서, 탑 뷰 이미지에 포함된 차량 주변의 사물, 특히, 입체물의 경우 왜곡된 형상으로 표시되므로, 연속되는 두 장의 탑 뷰 이미지를 비교하고 차이값을 산출함으로써 차이값 맵은 왜곡되어 표시되는 입체물에 대한 정보를 포함할 수 있다.
한편, 새로운 탑 뷰 이미지가 생성될 때마다 이전의 탑 뷰 이미지와 비교하여 차이값 맵을 생성할 수 있다. 이에 대해서는 도 5를 참조하여 설명한다.
도 5는 시간의 흐름에 따라 생성된 차이값 맵을 보여주는 도면이다. 도 5는 과거 t-4 시점에서 현재 t 시점까지 생성된 차이값 맵이 도시되어 있다. 도 5를 참조하면 차량이 이동함에 따라 차이값 맵 내에 표시되는 차량 주변 입체물들의 위치가 이동함을 알 수 있다.
이후, 생성된 차이값 맵 중 일부 영역을 추출한다(S230). 상술한 바와 같이 차이값 맵에는 차량 주변 입체물의 위치 및 형상에 대한 정보가 포함될 수 있다. 이러한 차이값 맵 중 신뢰성이 높은 특정 영역을 추출함으로써 사물 인식의 정확도를 높일 수 있다. 이에 대해서는 도 6을 참조하여 설명한다.
도 6은 본 발명의 일 실시예에 따라 차이값 맵 중 일부 영역을 추출하는 과정을 설명하기 위한 도면이다. 도 6을 참조하면 차량의 우측면을 촬상하는 카메라의 위치(marker x)를 기준으로 카메라의 촬상 방향(차량의 진행방향을 기준으로 우측 방향)을 포함하는 직사각형 모양의 영역을 추출함을 알 수 있다. 상술한 바와 같이 카메라의 위치를 기준으로 촬상 방향과의 각도가 커질수록 촬상된 사물의 왜곡이 심해지게 된다. 이에 따라, 차이값 맵에서도 카메라의 촬상 방향과의 각도가 커지면 왜곡된 형상의 입체물에 대한 정보가 포함될 수 있다. 따라서, 카메라의 위치를 기준으로 카메라의 촬상 방향과 인접한 영역을 추출함으로써 왜곡된 입체물에 대한 정보를 제외하고 신뢰성 높은 정보를 획득할 수 있다.
한편, 추출 영역 중, 차이값 맵 내에서 차량의 진행 방향으로의 픽셀 수는 차량의 이동 속도에 따라 결정될 수 있다. 연속되어 생성되는 차이값 맵에서 각각 추출된 영역은 후술하는 바와 같이 시간의 흐름에 따라 서로 연결되게 되는데 이때 차량의 이동 거리보다 적은 수의 픽셀을 포함하는 영역을 추출하는 경우에는 불연속 영역이 나타나는 문제가 발생할 수 있다. 따라서, 추출 영역은 차량의 이동 거리를 고려하여 충분한 영역을 추출하는 것이 바람직하다.
일 실시예로서 추출 영역은 차이값 맵 내에서의 차량의 진행 방향으로 기 설정된 수의 픽셀을 포함할 수 있다. AVM 시스템은 주로 주차할 때 또는 장애물이 있는 좁은 도로를 지나갈 때 이용될 수 있다. 기 설정된 픽셀 수는 이러한 상황에서 발생할 수 있는 차량의 최대 이동 속도를 고려하여 결정될 수 있다. 구체적으로, 기 설정된 픽셀 수는 차량의 최대 이동 속도를 고려하여 이미지 내에서 차량이 최대 이동할 수 있는 픽셀수 이상으로 설정되는 것이 바람직하다. 차량의 최대 이동 속도에 따라 요구되는 픽셀 수를 수식으로 나타내면 다음과 같은 수학식 1로 표현할 수 있다.
Figure pat00001
여기서, X는 기 설정된 픽셀 수, V는 차량의 최대 이동 속도, F는 이미지 촬상 속도, D는 픽셀 당 실제 거리를 의미한다. 구체적으로, X는 하나의 차이값 맵에서 차량의 이동 방향으로 추출될 픽셀 수를 의미하며 단위는 px/f이다. 차량의 최대 속도(V)는 본 발명이 적용될 수 있는 상황에서의 차량의 최대 이동 속도로서 단위는 cm/s이다. 이미지 촬상 속도(F)는 카메라가 매 초당 촬상하는 이미지 프레임의 수를 나타내며 단위는 f/s이다. 픽셀 당 실제 거리(D)는 차이값 맵의 한 픽셀에 해당하는 실제 거리로서 단위는 cm/px이다. 이미지 촬상 속도(F) 및 픽셀 당 실제 거리(D)는 카메라의 성능 또는 설정 상태에 따라 변경될 수 있다.
예를 들어, 차량의 최대 이동 속도가 36 km/h, 이미지 촬상 속도는 20 f/s, 픽셀 당 실제 거리는 2 cm/px 인 경우 차량의 이동 속도 36 km/h는 1000 cm/s에 해당하므로 상기 수학식 1에 대입하면 기 설정된 픽셀 수(X)는 25 px/f이 된다. 즉, 차이값 맵 내에서 차량의 진행 방향으로 25 픽셀 이상의 영역을 추출할 필요가 있다.
다른 실시예로서 추출 영역은 차이값 맵 내에서의 차량의 진행 방향으로 차량의 이동 거리에 대응하는 수의 픽셀을 포함할 수 있다. 예를 들어, 실제 2cm의 거리가 탑 뷰 이미지에서 1 픽셀로 표시된다고 가정하면, 두 탑 뷰 이미지가 촬상되는 시간 동안 차량이 직진 방향으로 20cm이동한 경우 차량의 진행 방향으로 10 픽셀을 포함하는 영역을 추출할 수 있다. 또는, 차량이 직진방향으로 30cm 이동한 경우 차량의 진행 방향으로 15 픽셀을 포함하는 영역을 추출할 수 있다.
여기서, 도 4를 참조하여 설명한 것과 같이 차량의 이동 거리는 차량의 각 부분을 제어하는 ECU로부터 이동 거리 및 이동 방향 계산에 필요한 센서값들(예를 들어, 조향각 센서값 및 휠 속도 센서값)을 수신하여 계산할 수 있다.
한편, 도 6에서는 직사각형 모양의 영역을 추출하는 것으로 설명하였으나 이는 일 실시예에 불과하며, 사다리꼴 모양 등 추출 영역을 연결하였을 때 불연속 영역이 나타나지 않는 어떠한 모양의 영역도 가능하다. 또한, 도 6에서는 차량의 진행 방향으로 기준으로 우측면 영역을 추출하는 방법에 대해서만 설명하였으나, 좌측면에 대해서도 동일하게 적용될 수 있다.
이후, 차이값 맵의 추출 영역을 시간의 흐름에 따라 연속적으로 연결하여 사물 인식 이미지를 생성한다(S240). 차량의 진행 방향에 사물 인식 이미지를 생성하는 단계는 차이값 맵에서 일부 영역을 추출하는 방식에 따라 달라질 수 있으므로 실시예 별로 구분하여 설명하기로 한다.
일 실시예로, 추출 영역이 상기 차이값 맵 내에서 차량의 진행 방향으로 기 설정된 수의 픽셀을 포함할 수 있다. 이러한 경우 차량의 이동 거리에 관계없이 차이값 맵이 생성될 때마다 기 설정된 영역을 추출하게 되므로, 추출 영역을 단순히 연결하게 되면 차량의 실제 이동 거리와의 오차가 발생하게 된다. 따라서, 추출 영역이 기 설정된 수의 픽셀을 포함하는 경우에는 차량의 진행 방향으로 차량의 이동 거리에 대응하도록 연결할 수 있다. 이에 대해 도 7을 참조하여 구체적으로 설명한다.
도 7은 본 발명의 일 실시예에 따른 사물 인식 이미지 생성 과정을 설명하기 위한 도면이다. 도 7을 참조하면 최초 시점 t로부터 현재 시점 t+2까지 시간의 흐름에 따라 추출 영역이 연결되어 사물 인식 이미지가 생성됨을 알 수 있다. 여기서 각 시점에서의 추출 영역의 크기는 동일하나, 새로운 추출 영역을 연결할 때 차량의 진행 방향으로 차량의 이동 거리에 대응하도록 연결함으로써 중복되는 영역이 발생할 수 있음을 알 수 있다.
중복되는 영역에 대해서는 새로운 추출 영역에 우선권을 두는 방법, 각 추출 영역의 픽셀값의 중간값을 선택하는 방법, 픽셀별로 부여된 가중치에 따라 어느 하나의 픽셀값을 선택하는 방법, 픽셀별로 부여된 가중치에 따른 기여도를 설정하여 픽셀값을 결정하는 방법 등 다양한 방법으로 최종 픽셀값을 결정할 수 있다.
픽셀별로 부여된 가중치에 따른 기여도를 설정하는 경우 아래 수학식 2에 따라 최종 픽셀값이 결정될 수 있다. 수학식 2는 사물 인식 이미지에 표시될 하나의 픽셀에 대하여 n개의 추출 영역이 중복되는 경우 최종 픽셀값을 결정하기 위한 식이다.
Figure pat00002
여기서, pf는 최종 픽셀 값, p1은 제1 추출 영역의 픽셀값, p2는 제2 추출 영역의 픽셀값, pn은 제n 추출 영역의 픽셀값, w1은 제1 추출 영역 픽셀에 부여된 가중치, w2는 제2 추출 영역 픽셀에 부여된 가중치, wn은 제n 추출 영역 픽셀에 부여된 가중치를 의미한다.
한편, 각 픽셀에 부여된 가중치에 대해서는 도 8을 참조하여 설명한다. 도 8은 차이값 맵의 각 픽셀에 부여된 가중치를 설명하기 위한 도면이다. 도 8을 참조하면 차이값 맵의 각 픽셀별로 상이한 가중치가 부여됨을 알 수 있다. 가중치는 각 픽셀이 가지는 픽셀값의 신뢰도에 따라 결정될 수 있다. 상술한 바와 같이 카메라의 위치(marker x)를 기준으로 촬상 방향과의 각도가 커질수록 촬상된 사물의 왜곡이 심해지게 되므로 촬상 방향과의 각도가 커질수록 차이값 맵에 포함된 픽셀값의 신뢰도가 떨어질 수 있다. 따라서, 도 8에서와 같이 카메라의 위치를 기준으로 촬상 방향과의 각도가 작은 픽셀들에 대해서는 높은 가중치가 부여되고 촬상 방향과의 각도가 큰 픽셀들에 대해서는 낮은 가중치가 부여될 수 있다.
다른 실시예로, 추출 영역이 상기 차이값 맵 내에서의 차량의 진행 방향으로 차량의 이동 거리에 대응하는 수의 픽셀을 포함하는 경우에 대해 설명한다. 추출 영역이 차량의 이동 거리에 대응하는 경우에는 단순히 차이값 맵이 생성될 때마다 추출 영역을 중복되는 영역 없이 차량의 진행 방향으로 연결함으로써 사물 인식 이미지를 생성할 수 있다. 차이값 맵에서 일부 영역을 추출할 때 이미 차량의 이동 거리가 고려되었기 때문이다.
이상과 같은 실시예에 따르면 차량이 이동함에 따라 새로운 차이값 맵이 생성되고, 차이값 맵이 생성될 때마다 새로운 추출 영역이 업데이트 됨으로써 차량의 이동에 따라 변화하는 주변 사물에 대한 정보를 즉각적으로 반영할 수 있게 된다.
한편, 도 2에 도시하지는 않았으나 본 발명의 일 실시예에 따른 AVM 시스템의 이미지 처리 방법은 사물 인식 이미지를 이용하여 차량 주변의 사물을 인식하고 인식된 사물을 탑 뷰 이미지에 포함시켜 디스플레이할 수 있다. 이에 대해서는 도 9를 참조하여 설명한다.
도 9는 본 발명의 일 실시예에 따라 차량 주변 사물을 인식하여 디스플레이하는 과정을 설명하기 위한 도면이다. 도 9의 (a)는 일반적인 탑 뷰 영상에 해당한다. 도 9의 (a)에 따르면 차량 주변 입체물들의 형상이 왜곡되어 나타나게 되어 정확한 형상 및 위치를 알 수 없다. 그리고, 도 9의 (b)는 본 발명의 일 실시예에 따라 탑 뷰 이미지를 이미지 처리하여 생성된 사물 인식 이미지를 나타낸다. 도 9의 (b)를 참조하면 사물 인식 이미지에는 차량 주변 입체물에 대한 정보가 포함되어 있음을 알 수 있다. 이에 따라, 사물 인식 이미지를 이용하여 차량 주변 입체물의 정확한 위치, 거리 및 형상을 인식할 수 있다. 그리고, 사물 인식 이미지에 나타난 입체물의 형상을 기 저장된 패턴과 비교하여 일치하는 패턴이 있는 경우 그에 대응하는 가상의 이미지를 탑 뷰 이미지에 표시할 수 있다. 도 9의 (c)에서는 차량 주변 입체물을 차량으로 판단하여 대응하는 위치에 차량 형상의 가상 이미지를 배치 한 경우를 나타낸다. 도 9의 (c)를 도 9의 (a)와 비교하면 차량 주변 입체물의 위치, 거리 및 형상을 보다 정확하게 파악할 수 있음을 알 수 있다.
한편, 상술한 본 발명의 다양한 실시 예들에 따른 AVM 시스템의 이미지 처리 방법은 단말 장치에서 실행 가능한 프로그램으로 구현될 수 있다. 그리고, 이러한 프로그램은 다양한 유형의 기록 매체에 저장되어 사용될 수 있다.
구체적으로는, 상술한 방법들을 수행하기 위한 코드는, 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 다양한 유형의 비휘발성 기록 매체에 저장되어 있을 수 있다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 촬상부 120 : 통신부
130 : 디스플레이부 140 : 제어부

Claims (7)

  1. 차량 주변 환경을 촬상하여 탑 뷰(Top-View) 이미지를 생성하는 단계;
    상이한 시간에 생성된 두 탑 뷰 이미지를 비교하여 차이값 맵을 생성하는 단계;
    상기 생성된 차이값 맵 중 일부 영역을 추출하는 단계; 및
    상기 차이값 맵의 추출 영역을 시간의 흐름에 따라 연속적으로 연결하여 사물 인식 이미지를 생성하는 단계;를 포함하는 것을 특징으로 하는 AVM(Around View Monitor) 시스템의 이미지 처리 방법.
  2. 제1항에 있어서,
    상기 사물 인식 이미지를 이용하여 차량 주변의 사물을 인식하는 단계; 및
    상기 인식된 사물을 상기 탑 뷰 이미지에 포함시켜 디스플레이하는 단계;를 더 포함하는 것을 특징으로 하는 AVM 시스템의 이미지 처리 방법.
  3. 제1항에 있어서,
    상기 차이값 맵을 생성하는 단계는,
    차량의 이동에 따른 상기 두 탑 뷰 이미지에 포함된 주변 사물의 상대적 위치 변화를 보정하는 단계; 및
    상기 보정된 두 탑 뷰 이미지를 비교하여 픽셀별로 차이값을 산출하는 단계;를 포함하는 것을 특징으로 하는 AVM 시스템의 이미지 처리 방법.
  4. 제1항에 있어서,
    상기 추출 영역은,
    상기 차이값 맵 내에서의 차량의 진행 방향으로 차량의 이동 거리에 대응하는 수의 픽셀을 포함하는 것을 특징으로 하는 AVM 시스템의 이미지 처리 방법.
  5. 제1항에 있어서,
    상기 추출 영역은,
    상기 차이값 맵 내에서의 차량의 진행 방향으로 기 설정된 수의 픽셀을 포함하는 것을 특징으로 하는 AVM 시스템의 이미지 처리 방법.
  6. 제5항에 있어서,
    상기 사물 인식 이미지를 생성하는 단계는,
    상기 차이값 맵의 추출 영역을 상기 차량의 이동 거리에 비례하도록 연결하고, 중복되는 픽셀 영역에 대해서는 각 픽셀에 부여된 가중치를 고려하여 최종값을 결정하는 것을 특징으로 하는 AVM 시스템의 이미지 처리 방법.
  7. 제5에 있어서,
    상기 각 픽셀에 부여된 가중치는,
    상기 차이값 맵 내에서 카메라의 위치를 기준으로 카메라의 촬상 방향으로부터의 각도가 커질수록 작아지는 것을 특징으로 하는 AVM 시스템의 이미지 처리 방법.
KR1020130119732A 2013-10-08 2013-10-08 Avm 시스템의 이미지 처리 방법 KR101573576B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020130119732A KR101573576B1 (ko) 2013-10-08 2013-10-08 Avm 시스템의 이미지 처리 방법
DE102013226476.3A DE102013226476B4 (de) 2013-10-08 2013-12-18 Bildverarbeitungsverfahren und -system eines rundumsicht-überwachungssystems
US14/132,445 US20150098622A1 (en) 2013-10-08 2013-12-18 Image processing method and system of around view monitoring system
CN201310727309.6A CN104517096A (zh) 2013-10-08 2013-12-25 环景监视系统的图像处理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130119732A KR101573576B1 (ko) 2013-10-08 2013-10-08 Avm 시스템의 이미지 처리 방법

Publications (2)

Publication Number Publication Date
KR20150041334A true KR20150041334A (ko) 2015-04-16
KR101573576B1 KR101573576B1 (ko) 2015-12-01

Family

ID=52693322

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130119732A KR101573576B1 (ko) 2013-10-08 2013-10-08 Avm 시스템의 이미지 처리 방법

Country Status (4)

Country Link
US (1) US20150098622A1 (ko)
KR (1) KR101573576B1 (ko)
CN (1) CN104517096A (ko)
DE (1) DE102013226476B4 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101712399B1 (ko) * 2014-11-25 2017-03-06 현대모비스 주식회사 차량의 후방 장애물 표시 방법
US10587863B2 (en) * 2015-09-30 2020-03-10 Sony Corporation Image processing apparatus, image processing method, and program
US11528413B2 (en) * 2016-08-22 2022-12-13 Sony Corporation Image processing apparatus and image processing method to generate and display an image based on a vehicle movement
WO2018045577A1 (zh) 2016-09-09 2018-03-15 深圳市大疆创新科技有限公司 显示无人飞行器的障碍检测的方法和系统
CN108460815B (zh) * 2017-02-22 2022-06-17 腾讯科技（深圳）有限公司 地图道路要素编辑方法和装置
CN107745677A (zh) * 2017-09-30 2018-03-02 东南（福建）汽车工业有限公司 一种基于3d全景影像系统的4d车底透明系统的方法
CN112009490A (zh) * 2019-05-30 2020-12-01 博世汽车部件(苏州)有限公司 用于确定物体或车辆形状的方法和系统、以及辅助驾驶系统
KR20210112672A (ko) 2020-03-05 2021-09-15 삼성전자주식회사 객체를 검출하기 위한 프로세서 및 객체 검출 방법
CN118396957B (zh) * 2024-04-28 2024-11-22 广东九通智能装备有限公司 一种基于机器视觉的装配在线检测平台

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4934308B2 (ja) * 2005-10-17 2012-05-16 三洋電機株式会社 運転支援システム
JP2008227646A (ja) * 2007-03-09 2008-09-25 Clarion Co Ltd 障害物検知装置
JP5253017B2 (ja) 2008-07-03 2013-07-31 アルパイン株式会社 周辺監視装置、障害物検出方法及びコンピュータプログラム
WO2010137265A1 (ja) * 2009-05-25 2010-12-02 パナソニック株式会社 車両周囲監視装置
KR101243108B1 (ko) * 2010-12-30 2013-03-12 주식회사 와이즈오토모티브 차량의 후방 영상 표시 장치 및 방법
JP5664787B2 (ja) * 2011-08-02 2015-02-04 日産自動車株式会社 移動体検出装置及び移動体検出方法
US8903127B2 (en) * 2011-09-16 2014-12-02 Harman International (China) Holdings Co., Ltd. Egomotion estimation system and method
US8848978B2 (en) * 2011-09-16 2014-09-30 Harman International (China) Holdings Co., Ltd. Fast obstacle detection
US9013286B2 (en) * 2013-09-23 2015-04-21 Volkswagen Ag Driver assistance system for displaying surroundings of a vehicle

Also Published As

Publication number Publication date
DE102013226476A1 (de) 2015-04-09
DE102013226476B4 (de) 2021-11-25
KR101573576B1 (ko) 2015-12-01
CN104517096A (zh) 2015-04-15
US20150098622A1 (en) 2015-04-09

Similar Documents

Publication Publication Date Title
KR101573576B1 (ko) Avm 시스템의 이미지 처리 방법
US10984261B2 (en) Systems and methods for curb detection and pedestrian hazard assessment
US11669102B2 (en) Navigating a vehicle based on a detected barrier
KR102022388B1 (ko) 실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법
US11216673B2 (en) Direct vehicle detection as 3D bounding boxes using neural network image processing
WO2020097840A1 (en) Systems and methods for correcting a high-definition map based on detection of obstructing objects
US10318823B2 (en) Forward-facing multi-imaging system for navigating a vehicle
US9275458B2 (en) Apparatus and method for providing vehicle camera calibration
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
CN103366155B (zh) 通畅路径检测中的时间相干性
JP2019128153A (ja) 距離算出装置及び車両制御装置
JP2014106739A (ja) 車載画像処理装置
CN111316322B (zh) 路面区域检测装置
EP3951744A1 (en) Image processing device, vehicle control device, method, and program
CN112528719A (zh) 推定装置、推定方法以及存储介质
JP7613406B2 (ja) 地物検出装置、地物検出方法及び地物検出用コンピュータプログラム
NL2016718B1 (en) A method for improving position information associated with a collection of images.
EP3389015A1 (en) Roll angle calibration method and roll angle calibration device
EP3396620B1 (en) Display control device and display control method
EP4345750A1 (en) Position estimation system, position estimation method, and program
EP4435739A1 (en) Method and system for associating environment perception data with data indicative of a friction condition, computer program, computer-readable storage medium, data processing apparatus, vehicle, environment perception data and use thereof
JP2004251886A (ja) 周囲物体検出装置
CN117036403A (zh) 图像处理方法、装置、电子设备和存储介质
JP2009069264A (ja) 地物識別装置、地物識別方法及び地物識別プログラム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20131008

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20150313

Patent event code: PE09021S01D

PG1501 Laying open of application
AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20150909

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20150313

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20150909

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20150427

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20151028

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20150922

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20150909

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20150427

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20151125

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20151125

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20181030

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20181030

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20191029

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20191029

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20201028

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20211027

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20221026

Start annual number: 8

End annual number: 8