KR20180025130A - 가변초점 거리 조절용 허드 시스템 - Google Patents

가변초점 거리 조절용 허드 시스템 Download PDF

Info

Publication number
KR20180025130A
KR20180025130A KR1020170039562A KR20170039562A KR20180025130A KR 20180025130 A KR20180025130 A KR 20180025130A KR 1020170039562 A KR1020170039562 A KR 1020170039562A KR 20170039562 A KR20170039562 A KR 20170039562A KR 20180025130 A KR20180025130 A KR 20180025130A
Authority
KR
South Korea
Prior art keywords
image
optical element
display
vehicle
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020170039562A
Other languages
English (en)
Inventor
구정식
박경태
Original Assignee
재단법인 구미전자정보기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 구미전자정보기술원 filed Critical 재단법인 구미전자정보기술원
Publication of KR20180025130A publication Critical patent/KR20180025130A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/282—Autofocusing of zoom lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Instrument Panels (AREA)

Abstract

본 발명은 소프트웨어를 통한 영상의 결상 위치 변화를 제어하는 차동차용 헤드업 디스플레이(HUD) 장치에 관한 것으로, 기존 헤드업 디스플레이(HUD) 시스템의 광학 구조는 영상의 결상거리를 조절하기 위해 기계적 움직임이 필요하였지만, 소프트웨어를 이용한 영상의 결상거리 조절을 통해 차량 진동에 강건하게 개선시키는 것을 목적으로 한다.
이러한 목적을 달성하기 위하여 본 발명은, 임베디드 시스템 또는 차량용 전자제어장치(ECU)를 사용하여 요소 영상 표현용 디스플레이 소자에 차량 운행 정보를 표시하고 제1광학소자는 상기 디스플레이 표시된 영상을 소프트웨어를 이용하여 새로운 3차원 영상으로 만들고 영상의 결상거리를 가변하며, 제2광학 소자는 제1광학소자에 의하여 생성된 3차원 영상을 굴절시키거나 반사시켜 컴바이너를 통과하게 되어 차량의 전방에 운행정보 이미지를 표시하게 된다.

Description

가변초점 거리 조절용 허드 시스템{ Variable focal length adjustment Head-up display system }
본 발명은 차량용 가변초점 거리 조절용 허드 시스템에 관한 것으로, 보다 상세하게는 주행 정보를 영상으로 구현하고 이를 렌즈를 통해 소정 위치에 표시하되 자동차의 속도에 따라 영상의 위치를 소프트웨어로 제어하는 가변초점 거리 조절용 허드 시스템에 관한 것이다.
일반적으로 차량의 운전 중 운전자의 안전을 제공하기 위하여 차량 주행 정보와 주변상황 정보 등을 효과적으로 운전자에게 전달해주는 매체로 개발 중인 여러 시스템이 있는데, 그 중 헤드업 디스플레이(Head Up Display; HUD) 장치가 주요 관심사가 되고 있다.
헤드업 디스플레이(Head Up Display; HUD) 시스템은 차량이나 항공기 주행 중 운전자의 정면, 즉 운전자의 주시야 선을 벗어나지 않는 범위 내에서 차량의 주행 정보나 네비게이션 정보 등과 같은 차량의 운행 정보를 제공하는 장치이며, 운전도중 시야를 뺏기지 않으면서도 운전자로 하여금 차량의 운행 상태 정보를 용이하게 확인할 수 있도록 함으로써 사고 위험성을 크게 줄이고자 개발된 것이다.
도 1은 공지의 헤드업 디스플레이(Head Up Display; HUD) 시스템의 구조를 개략적으로 설명하는 도면이다. 생성된 영상을 반사경 및 평면거울을 통해 조사하여 홀로 그래픽 컴바이너를 통해 가상의 이미지로 표시하게 된다. 표시된 영상은 차량의 전방 유리창의 운전자의 주시야선에 표시되며, 운전자는 운전 도중 시야를 전방에 고정한 상태로 운행 상태 정보를 시각적으로 인지할 수 있다.
도 2는 공지의 헤드업 디스플레이(Head Up Display; HUD) 시스템의 구성도이다. 디스플레이 패널부는 운행 상태 정보를 시각적 데이터의 형태로 LCD에 표시한다. 과거 헤드업 디스플레이(Head Up Display; HUD) 시스템의 경우 디스플레이 소자로 CRT가 주로 사용되었으나 최근에는 디스플레이 소자기술의 발달에 힘입어 소형 LCD가 많이 사용되고 있으며 앞으로는 LCoS Microdisplay, DMD (Dynamic Mirror Display)도 사용될 것으로 보인다.
광학계는 영상을 렌즈와 거울을 통해 허상을 만들고 원드쉴드를 투과하여 운전자에게 영상을 제공하며, 최근 개발이 진행되고 있는 홀로그램을 이용한 허드 시스템은 광학구조를 간단하게 설계 할 수 있다는 장점이 있다.
공지의 헤드업 디스플레이(Head Up Display; HUD) 시스템은 자동차의 속도에 관계없이 운전자로부터 일정한 거리에 정보를 보여준다. 그러나 자동차의 속도에 따라 운전자의 시야각이 변화하기 때문에 속도가 빨라지게 되면 운전자가 헤드업 디스플레이(Head Up Display; HUD) 시스템을 통해 표시된 영상을 편안하게 확인하기가 어려워진다. 이러한 문제점을 해소하기 위하여, 차량의 속도에 따라 영상이 표시되는 영역의 위치를 동적으로 변경하기 위한 기술의 개발이 이루어지고 있다.
또한, 종래 특허문헌으로서, 차량용 헤드업 디스플레이(Head Up Display)를 사용하는 종래기술로서 등록특허공보 등록번호 제10-1610275호의 차량용 허드 장치에 있어서, 차량전원을 변환하여 정전압 및 정전류를 출력하는 전원 공급부; 복수의 버튼들을 포함하며 조작자의 조작에 따라 눌려진 특정 버튼에 대응되는 키신호를 출력하는 무선 원격조정부; 상기 키신호에 따라 차량의 전면 유리에 표출되는 주행 정보 이미지의 표출위치 및 표출유형을 조정하는 제어부; 및 외부의 광량을 감지하여 해당 광량에 대응되는 밝기 신호를 출력하는 광량 감지부;를 포함하여 이루어지는 차량용 허드 장치에 있어서, 상기 전원 공급부는, 폴리 스위치를 이용하여 차량전원의 전류 레벨이 일정 레벨 이상으로 상승하는 경우 전원의 유입을 차단하는 과전류 방지부와, 인덕터를 이용하여 교류 성분을 제거하고 직류 성분만을 통과시켜 노이즈를 제거하는 노이즈 제거부와, 제너다이오드를 이용하여 과전압일 경우 차량전원을 차단하는 과전압 방지부를 포함하여 이루어지는 전원 안정화부와; 상기 광량 감지부의 밝기 신호에 따라 펄스폭 변조 제어신호의 듀티비를 조절함으로써 발광부의 LED에 공급되는 전류량을 제어하여 LED의 밝기를 조절하는 전원 제어부와; 상기 전원 안정화부의 출력전원을 변환하여 냉각팬 용 정전압, 메인 보드 및 CAN 모듈용 정전압을 생성하여 출력하는 정전압부; 및 상기 전원 안정화부의 출력전원을 변환하여 일정 레벨의 정전류를 생성하고 이를 상기 제어신호에 따라 상기 정전류를 펄스폭 변조(PWM ; Pulse Width Modulation)하여 LED 드라이버에 출력하는 정전류부;를 포함하고, 상기 제어부는, 조작자의 키 조작에 따라 무선 원격조정부가 무선 키패드의 버튼 번호에 대응되는 키신호를 전송하면, 메모리에 저장된 매칭정보를 확인하여 주행 정보 이미지의 크기를 조정하거나, 전체 주행 정보들 중 특정 정보만이 선택적으로 표출되도록 제어하는 것을 특징으로 하는 차량용 허드 장치라고 기재되어 있다.
그러나 상기 공지의 헤드업 디스플레이(Head Up Display; HUD) 시스템에 적용이 가능한 알려진 해법으로는 자동차 속도에 따라 광학계 전체 또는 일부를 물리적으로 이동시키는 방법이 있으며, 액추에이터에 의하여 광학계를 물리적으로 이동하는 방식은 제조단가 상승요인이다. 또 비이동식 전기 감응 액체렌즈를 사용하여 광학계의 이동 없이 초검거리를 전기 신호로 조절할 수 있지만 자동차 진동에 취약하므로 시스템의 신뢰성이 떨어지는 단점이 있다.
따라서 본 발명은 상기와 같은 문제점을 해결하고자 안출된 것으로서, 본 발명은 주행 정보를 영상으로 구현하고 이를 렌즈를 통해 소정 위치에 표시하되 자동차의 속도에 따라 영상의 위치를 소프트웨어로 제어하여 3차원 정보데이터를 갖는 요소영상을 거리변화에 따라 현실감을 주며, 시스템의 신뢰성이 높은 가변초점 거리 조절용 허드 시스템을 제공하고자 하는 것이다.
본발명은 가변초점 거리 조절용 허드 시스템에 관한 것으로, 운전자의 전방에 거리변화에 따른 운행정보를 현실감을 주기 위한 실공간 매칭 허드 시스템으로, 운송수단의 운행정보를 표시하는 요소영상 표현용 디스플레 소자부(110)와; 상기 디스플레이부(110)에 표시된 요소영상을 3차원 영상으로 복원시키는 렌티큘러 시트인 제1광학소자(120)와; 상기 제1광학소자(120)에 의하여 생성된 요소영상을 재차 굴절시키거나 반사시키는 제2광학소자 평면거울 및 반사경(130)과; 상기 제2광학소자(130)를 거친 상을 차량의 전방에 표시하는 컴바이너(140);로 이루어지되, 상기 제1광학소자(120) 및 제2 광학소자(130)는 고정광학계로 구비되어지며,
또한, 상기 디스플레이부(110) 상단에 구비되어 초점 거리를 소프트웨어 제어하는 비이동식 초점 조절 수단 제어부를 구성하여, 3차원 정보데이터 및 결상거리 정보를 갖는 요소영상을 상기 디스플레이부(110)에 제공하는 임베디드 시스템 또는 차량용 전자제어장치(ECU) 이 설치되어, 소프트웨어를 통한 3차원 정보데이터를 갖는 요소영상을 거리변화에 따라 현실감을 주기 위한 실공간 매칭을 특징으로 한다.
본 발명은 가변초점 거리 조절용 허드 시스템에 의하여 주행 정보를 영상으로 구현하고 이를 렌즈를 통해 소정 위치에 표시하되 자동차의 속도에 따라 영상의 위치를 소프트웨어로 제어하여 3차원 정보데이터를 갖는 요소영상을 거리변화에 따라 현실감을 주며, 기존 시스템의 신뢰성 보다 현저하게 개선되었다.
도 1은 종래의 기술에 따른 일반적인 차량용 헤드업 디스플레이(Head Up Display; HUD) 시스템 구조도
도 2는 종래의 기술에 따른 일반적인 차량용 헤드업 디스플레이(Head Up Display; HUD) 시스템의 구성도
도 3은 본 발명의 실시 예에 의한 허드 시스템 구조를 도시하는 도면
도 4는 본 발명의 실시 예에 의한 헤드업 디스플레이(Head Up Display; HUD) 시스템의 구성도
도 5는 본 발명의 소프트웨어를 이용한 가변초점 요소영상 형성 원리도
본 발명은 가변초점 거리 조절용 헤드업 디스플레이(Head Up Display; HUD)시스템에 관한 것으로, 운전자의 전방에 거리변화에 따른 운행정보를 현실감을 주기 위한 실공간 매칭 허드 시스템으로, 운송수단의 운행정보를 표시하는 요소영상 표현용 디스플레이부(110)와; 상기 디스플레이부(110)에 표시된 요소영상을 3차원 영상으로 복원시키는 렌티큘러 시트인 제1광학소자(120)와; 상기 제1광학소자(120)에 의하여 생성된 요소영상을 재차 굴절시키거나 반사시키는 제2광학소자 평면거울 및 반사경(130)과; 상기 제2광학소자(130)를 거친 상을 차량의 전방에 표시하는 컴바이너(140);로 이루어지되, 상기 제1광학소자(120) 및 제2 광학소자(130)는 고정광학계로 구비되는 것을 특징으로 한다.
또한, 상기 디스플레이부(110) 상단에 구비되어 초점 거리를 소프트웨어 제어하는 비이동식 초점 조절 수단 제어부를 구성하여, 3차원 정보데이터 및 결상거리 정보를 갖는 요소영상을 상기 디스플레이부(110)에 제공하는 임베디드 시스템 또는 차량용 전자제어장치(ECU) 이 설치되어, 소프트웨어를 통한 3차원 정보데이터를 갖는 요소영상을 거리변화에 따라 현실감을 주기 위한 실공간 매칭을 특징으로 한다.
또한, 상기 제1광학소자로 사용되었던 렌티큘러 시트 대신 마이크로 렌즈어레이를 사용하여 요소영상을 3차원 영상으로 만들고 생성된 요소영상을 재차 굴절시키거나 반사시키는 제2광학소자 광학계 이용하여 컴바이너를 통해 영상을 차량의 전방에 표시하는 것을 특징으로 한다.
또한, 3D 혹은 홀로그래피 기술을 응용하여 S/W 제어를 통한 요소영상의 초점거리를 가변 시키는 기능을 갖는 것을 특징으로 한다.
본 발명을 첨부 도면에 의해 상세히 설명하면 다음과 같다. 도 1은 종래의 기술에 따른 일반적인 차량용 헤드업 디스플레이(Head Up Display; HUD) 구조도, 도 2는 종래의 기술에 따른 일반적인 차량용 헤드업 디스플레이(Head Up Display; HUD) 시스템의 구성도, 도 3은 본 발명의 실시 예에 의한 헤드업 디스플레이(Head Up Display; HUD) 시스템 구조를 도시하는 도면, 도 4는 본 발명의 실시 예에 의한 헤드업 디스플레이(Head Up Display; HUD) 시스템의 구성도, 도 5는 본 발명의 소프트웨어를 이용한 가변초점 요소영상 형성 원리도이다.
본 발명 가변초점 거리 조절용 허드 시스템은 운전자의 전방에 거리변화에 따른 운행정보를 현실감을 주기 위한 실공간 매칭 허드 시스템으로, 운송수단의 운행정보를 표시하는 광원(111)및 요소영상 표현용 디스플레이(112)로 이루어지는 디스플레이부(110)와; 상기 디스플레이부(110)에 표시된 요소영상을 3차원 영상으로 복원시키는 렌티큘러 시트인 제1광학소자(120)와; 상기 제1광학소자(120)에 의하여 생성된 요소영상을 재차 굴절시키거나 반사시키는 제2광학소자인 평면거울(132) 및 반사경(132)으로 이루어지는 제2광학소자(130, 광학계)와; 상기 제2광학소자(130)를 거친 상을 차량의 전방에 표시하는 컴바이너(140);로 이루어진다.
상기 제1광학소자(120) 및 제2 광학소자(130)는 물리적으로 이동 불가능하도록 구비된다.
그리고 본 발명은 상기 디스플레이부(110) 상단에 구비되어 초점 거리를 소프트웨어 제어하는 비이동식 초점 조절 수단 제어부를 구성하여, 3차원 정보데이터 및 결상거리 정보를 갖는 요소영상을 상기 디스플레이부(110)에 제공하는 임베디드 시스템 또는 차량용 전자제어장치(ECU) 이 설치된다.
상기 소프트웨어를 통한 3차원 정보데이터를 갖는 요소영상을 거리변화에 따라 현실감을 주기 위한 실공간 매칭이 가능하다.
한편, 상기 가변초점 거리 조절용 허드 시스템은 3D 혹은 홀로그래피 기술을 응용하여 S/W 제어를 통한 요소영상의 초점거리를 가변 시키되, 다음과 같은 수식에 의하여 영상의 결상 거리를 계산할 수 있다. 설명의 편의상 렌즈 어레이를 핀홀 어레이로 물체는 평면물체로 가정한다. 물체를 구성하는 점들은 핀홀을 통하여 각각의 요소영상으로 기록하되 요소영상의 한 픽셀 값은 평면물체의 대응 되는 점의 세기 샘플링 함으로써 영상의 결상거리를 계산하는 식은 다음과 같다.
Figure pat00001
Figure pat00002
(단, f은 초점거리, O는 물체의 세기분포 함수, En은 n번째 요소영상 세기 분포함수, zo는 물체의 z축 위치, xo는 물체의 x축 위치, p는 렌즈의 피치)
따라서 본 발명은 가변초점 거리 조절용 허드 시스템에 의하여 주행 정보를 영상으로 구현하고 이를 렌즈를 통해 소정 위치에 표시하되 자동차의 속도에 따라 영상의 위치를 소프트웨어로 제어하여 3차원 정보데이터를 갖는 요소영상을 거리변화에 따라 현실감을 주며, 시스템의 신뢰성이 높은 현저한 효과가 있다.
110 : 디스플레이부
111 : 광원 112 : 디스플레이
120 : 제1광학소자(렌티큘러 시트)
130 : 제2광학소자
131 : 반사경 132 : 평면거울
133 : 차광판
140 : 컴바이너
150 : 제어부

Claims (2)

  1. 운전자의 전방에 거리변화에 따른 운행정보를 현실감을 주기 위한 실공간 매칭 헤드업디스플레이(HUD) 시스템으로, 운송수단의 운행정보를 표시하는 요소영상 표현용 디스플레이부(110)와; 상기 디스플레이부(110)에 표시된 요소영상을 3차원 영상으로 복원시키는 렌티큘러 시트인 제1광학소자(120)와; 제1광학소자(120)에 의하여 생성된 요소영상을 재차 굴절시키거나 반사시키는 제2광학소자(130)인 평면거울(132) 및 반사경(131)과; 상기 제2광학소자(130)를 거친 상을 차량의 전방에 표시하는 컴바이너(140);로 이루어지되, 상기 제1광학소자(120) 및 제2 광학소자(130)는 고정광학계로 구비되어지는 것을 특징으로 하는 가변초점 거리 조절용 허드 시스템.
  2. 제1항에 있어서, 상기 제1광학소자로 사용되었던 렌티큘러 시트 대신 마이크로 렌즈어레이를 사용하여 요소영상을 3차원 영상으로 만들고 생성된 요소영상을 재차 굴절시키거나 반사시키는 제2광학소자 광학계 이용하여 컴바이너를 통해 영상을 차량의 전방에 표시하는 것을 특징으로 하는 가변초점 거리 조절용 허드 시스템.
KR1020170039562A 2016-08-31 2017-03-28 가변초점 거리 조절용 허드 시스템 Ceased KR20180025130A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20160112258 2016-08-31
KR1020160112258 2016-08-31

Publications (1)

Publication Number Publication Date
KR20180025130A true KR20180025130A (ko) 2018-03-08

Family

ID=61726608

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170039562A Ceased KR20180025130A (ko) 2016-08-31 2017-03-28 가변초점 거리 조절용 허드 시스템

Country Status (1)

Country Link
KR (1) KR20180025130A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113671699A (zh) * 2020-05-15 2021-11-19 华为技术有限公司 一种多焦图像生成装置、抬头显示装置、相关方法及设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113671699A (zh) * 2020-05-15 2021-11-19 华为技术有限公司 一种多焦图像生成装置、抬头显示装置、相关方法及设备

Similar Documents

Publication Publication Date Title
CN112105982B (zh) 无反射镜的平视显示器
JP6175589B2 (ja) 投写型表示装置及び投写表示方法
KR101131983B1 (ko) 차량속도에 따라 가상 영상정보 이미지의 투영위치를 변화시키는 차량용 헤드업 디스플레이 장치
US9784969B2 (en) Head-up display and method for operating it
US9291819B2 (en) Multi-focus heads-up display using single picture generator unit
JPWO2017094427A1 (ja) ヘッドアップディスプレイ
CN106896506A (zh) 一种平视显示装置、平视显示方法及车辆
EP2713197A1 (en) Head-up display system with dynamic image field and brightness control
WO2016196544A1 (en) Vehicle projection system
US11009781B2 (en) Display system, control device, control method, non-transitory computer-readable medium, and movable object
JP2010072455A (ja) 車載用表示装置及び表示方法
WO2018061444A1 (ja) 反射板、情報表示装置および移動体
KR102384718B1 (ko) 허상 표시 장치
Blankenbach Requirements and system aspects of AR-head-up displays
CN111886534A (zh) 控制装置、显示装置、显示系统、移动体、控制方法和记录介质
CN114326118B (zh) 一种多焦图像生成装置、抬头显示装置、相关方法及设备
JP2020016675A (ja) 虚像表示装置
US10642035B2 (en) Laser projection arrangement and process for the generation of virtual images
CN111064941B (zh) 多区投影设备及多区投影方法
CN109997072A (zh) 用于平视显示器的图像生成装置和用于控制该装置的方法
KR20180025130A (ko) 가변초점 거리 조절용 허드 시스템
KR101610275B1 (ko) 가변초점 허드 시스템
CN113093382A (zh) 抬头显示系统及抬头显示系统的显示方法
KR20170068116A (ko) 헤드업 디스플레이 장치
JP2023003234A (ja) ヘッドアップディスプレイ装置

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20170328

PA0201 Request for examination
A302 Request for accelerated examination
PA0302 Request for accelerated examination

Patent event date: 20170713

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20170328

Patent event code: PA03021R01I

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170912

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20180131

Patent event code: PE09021S02D

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180620

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20181006

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20180620

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

Patent event date: 20180131

Comment text: Final Notice of Reason for Refusal

Patent event code: PE06011S02I

Patent event date: 20170912

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I