KR100951584B1 - 신호 합성형 다중촬영 자동차용 영상기록장치 - Google Patents

신호 합성형 다중촬영 자동차용 영상기록장치 Download PDF

Info

Publication number
KR100951584B1
KR100951584B1 KR1020080078567A KR20080078567A KR100951584B1 KR 100951584 B1 KR100951584 B1 KR 100951584B1 KR 1020080078567 A KR1020080078567 A KR 1020080078567A KR 20080078567 A KR20080078567 A KR 20080078567A KR 100951584 B1 KR100951584 B1 KR 100951584B1
Authority
KR
South Korea
Prior art keywords
signal
unit
image
synthesis
dvc
Prior art date
Application number
KR1020080078567A
Other languages
English (en)
Other versions
KR20080080476A (ko
Inventor
김상덕
김정환
Original Assignee
장은경
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 장은경 filed Critical 장은경
Priority to KR1020080078567A priority Critical patent/KR100951584B1/ko
Publication of KR20080080476A publication Critical patent/KR20080080476A/ko
Application granted granted Critical
Publication of KR100951584B1 publication Critical patent/KR100951584B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 운행중 또는 주, 정차중 자동차 주변 상황을 녹화 및 녹음하는 영상기록장치에 관한 것으로, 다수의 촬상부에서 출력되는 신호를 취사(取捨) 합성하는 신호합성부를 구성하여 각 촬상부별 후처리장치를 별도로 구비하지 않고도 효과적인 다중촬영이 가능하도록 한 것이다.
본 발명을 통하여, 하나의 후처리장치를 통하여 다수의 촬상부 신호를 처리함으로써 다중촬영식 영상기록장치를 소형화 및 경량화할 수 있으며, 각 촬상부에서 출력되는 신호를 취사 합성함으로써 기억장치의 소요 용량을 절감하는 효과를 얻을 수 있다.
자동차, 영상기록, DVC(digital video camera), 합성

Description

신호 합성형 다중촬영 자동차용 영상기록장치{Synthesizing signal type video recording apparatus for a car}
본 발명은 운행중 또는 주, 정차중 자동차 주변 상황을 녹화 및 녹음하는 영상기록장치에 관한 것으로, 다수의 촬상부에서 출력되는 신호를 취사(取捨) 합성하는 신호합성부를 구성하여 각 촬상부별 후처리장치를 별도로 구비하지 않고도 효과적인 다중촬영이 가능하도록 한 것이다.
자동차 보급률 및 도로교통량이 증가함에 따라 교통사고 발생 또한 증가하고 있으며, 교통사고로 인한 분쟁 또한 빈발하고 있다.
교통사고관련 분쟁은 대부분 사고의 책임소재를 명확히 규명함에 따라 해결될 수 있으나, 자동차 교통사고의 특성상 현장을 보존하기 어렵고 목격자의 진술에 의존할 수 밖에 없는 문제점이 있었다.
이에, 자동차 운행중 또는 주, 정차중 전방의 녹화가 가능한 카메라 및 이와 연결된 저장수단을 설치하고, 차량에 가해지는 충격을 감지하는 센서를 연결하여 사고 전후의 영상을 기록함으로써 추후 분쟁시 증거로 활용할 수 있도록 하는 자동차용 영상기록장치가 개발되어 사용되고 있다.
또한 도 2에서와 같이 전방 뿐 아니라 후방 또는 차량 실내를 동시에 촬영할 수 있도록 다수의 카메라 및 부속 후처리장치가 설치된 영상기록장치를 통하여 더욱 효과적인 영상확보가 가능하게 되었다.
도 2에 도시된 종래의 다중촬영식 자동차용 영상기록장치는 다수의 촬상부(130a, 130b) 및 부속 후처리장치가 각각 MCU(110)에 연결되는 형식으로서 MCU(110)와 기억장치(120) 등을 공유할 뿐 별개의 영상기록장치라고 할 수 있으며, 따라서 하나의 촬상부(130)만이 구성되는 일반 영상기록장치에 비하여 소형화 및 경량화에서 불리할 뿐 아니라, 제작비용 또한 높은 문제점이 있었다.
즉, 종래의 다중촬영식 자동차용 영상기록장치는 다수의 촬상부(130a, 130b)가 구성됨은 물론 DVC(digital video camera)신호처리부(133a, 133b), 영상코덱(131a, 131b) 및 DVC제어부(132a, 132b) 등 후처리장치가 촬상부(130a, 130b)와 동수(同數)로 필요할 뿐 아니라 각각의 촬상부(130a, 130b)에서 출력된 신호가 개별적으로 기억장치(120)에 저장되므로 전체 영상기록장치의 간소화가 어려울 뿐 아니라 기억장치(120)의 소요 용량 또한 증가되는 심각한 문제점이 있었다.
본 발명은 전술한 문제점을 감안하여 창안한 것으로, 촬영된 영상을 전자적 신호로 변환하여 출력하는 다수의 촬상부(130), 충격을 감지하는 감지부(150), 영상정보가 저장되는 기억장치(120) 및 이들을 제어하는 MCU(110)로 이루어진 자동차용 영상기록 장치에 있어서, 상기 다수의 촬상부(130)는 신호합성부(200)와 연결되고, 이 신호합성부(200)는 DVC신호처리부(133) 및 영상코덱(131)을 통하여 MCU(110)에 연결되며, 이들 DVC신호처리부(133) 및 영상코덱(131)은 DVC제어부(132)에 의하여 제어되되, 신호합성부(200)는 각 촬상부(130)로부터 출력되는 소정 시간 변량분의 영상신호를 취사(取捨)하여 하나의 영상신호로 합성한 후 DVC신호처리부(133)로 입력함을 특징으로 하는 신호 합성형 다중촬영 자동차용 영상기록장치이다.
또한, 상기 신호합성부(200)는 MCU(110)와 연결되고, MCU(110)는 신호합성부(200)에 최소 시간 변량에 대한 촬상부(130)별 수록 시간 변량의 비(比)인 합성상수(C)를 입력하며, 신호합성부(200)는 각 촬상부(130)별 합성상수에 따라 영상신호를 독취하여 합성함을 특징으로 하는 신호 합성형 다중촬영 자동차용 영상기록장치이다.
본 발명을 통하여, 하나의 후처리장치를 통하여 다수의 촬상부 신호를 처리함으로써 다중촬영식 영상기록장치를 소형화 및 경량화할 수 있으며, 각 촬상부에서 출력되는 신호를 취사 합성함으로써 기억장치의 소요 용량을 절감하는 효과를 얻을 수 있다.
본 발명의 상세한 구성 및 작동원리를 첨부된 도면을 통하여 설명하면 다음과 같다.
우선 도 1은 본 발명의 외관을 예시한 사시도로서, 도시된 실시예에는 전방측을 촬영하는 촬상부(撮像部)(130a)와 후방측 및 차량 실내를 촬영하는 촬상부(130b)가 각각 전면 및 후면에 설치되고, 촬영된 영상데이터가 저장되는 기억장치(120), 영상기록장치의 작동상태를 표시하는 표시부(172) 및 사용자 조작을 위한 입력부(171) 등이 구성된다.
도 3은 본 발명의 각 구성요소 및 이들의 연결상태를 도시한 구성도로서, 동 도면을 통하여 알 수 있는 바와 같이 본 발명은 영상을 촬영하는 2개소의 촬상부(130a, 130b)와 이들 촬상부(130a, 130b)와 연결된 신호합성부(200), 신호합성부(200)에서 출력되는 영상신호를 가용의 디지털 신호로 변환하고 소정의 규격화된 데이터로 변환하는 DVC신호처리부(133) 및 영상코덱(131), 이들 DVC신호처리부(133) 및 영상코덱(131)을 제어하는 DVC제어부(132), 음성을 녹음하는 마이크(140) 및 마이크(140)에서 출력되는 음성신호를 가용의 디지털 신호로 변환하는 음성코덱(141), 외부의 충격을 감지하는 감지부(150), 사용자의 명령이 입력되는 입력부(171) 및 작동상태를 표시하는 표시부(172), 저장된 데이터를 외부 기기로 출력하는 출력부(173), 촬영된 영상정보 등이 저장되는 기억장치(120), GPS(Global Positioning System)신호를 수신하여 현재위치정보를 출력하는 GPS모듈(160), 그리고 이들 구성요소의 입출력 및 작동을 제어하는 MCU(micro-controller unit)(110)로 구성된다.
촬상부(130)는 외부의 광선을 수광하는 렌즈, 암실구조 및 필터(filter) 등의 광학적 구성요소와, 암실구조 내에 설치되어 촬영된 영상을 전기적 신호를 변환 하는 촬상소자(撮像素子) 등으로 구성된다.
현재 디지털 촬영 장치에서 사용되고 있는 촬상소자는 CCD(charge-coupled device)와 CMOS(complementary metal-oxide semiconductor)로 분류될 수 있는데, 본 발명은 외부의 전원이 해제된 상태에서도 초고용량콘덴서의 방전을 통하여 작동되어야 하므로 소비전력이 상대적으로 적은 CMOS를 적용함이 바람직하다.
감지부(150)는 관성센서(inertial sensor)나 중력센서와 같이, 외부의 충격을 감지하여 전기적인 신호를 출력하는 것으로서, 영상기록장치에 내장하거나, 에어백(air bag) 등의 작동을 위하여 차체에 기 설치된 센서를 이용할 수도 있다.
입력부(171)와 표시부(172)는 각각 사용자의 조작을 위한 구성요소로서, 입력부(171)는 ON/OFF 및 작동조건 설정 등의 입력에 사용되며, 표시부(172) 역시 ON/OFF 및 작동상태 등을 LCD 또는 점멸등을 통하여 표시한다.
GPS모듈(160)은 GPS위성으로부터 GPS신호를 수신하고 현재위치를 산출하여 출력하는 구성요소로서, MCU(110)와 실시간클럭(real time clock)을 공유하도록 구성될 수도 있다.
출력부(173)는 외부의 영상데이터 표시 내지 처리수단 즉, TV, 모니터, PMP(Portable Multimedia Player), DMB(Digital multimedia Broadcasting)수신기는 물론 디지털카메라, 차량용 네비게이션(navigation) 또는 컴퓨터로 기억장치(120)에 저장된 영상정보를 출력하는 구성요소로서, 연결에 필요한 단자와 신호규격을 변환하는 변환회로 등이 포함된다.
기억장치(120)는 휘발성 여부 및 담당 영역에 따라 ROM(read only memory), RAM(random access memory) 및 플래시메모리 등으로 구분될 수 있으나, 메모리 기술의 발전으로 인하여 플래시메모리의 예에서와 같이, 휘발성 여부의 경계가 모호한 경우가 많을 뿐 아니라, 기억용량의 효율적인 이용을 위하여 메모리의 이용방식이 다양하게 변형되는 실정이므로, 이러한 물리적인 구분은 의미가 없는 바, 이에 대한 청구범위의 구체적인 한정은 하지 않는다.
종래의 다중촬영식 자동차용 영상기록장치는 각 촬상부(130a, 130b)에서 출력되는 영상신호가 개별적으로 처리되어 MCU(110)에 입력된 후 기억장치(120)에 저장되는 방식으로서 DVC(digital video camera)신호처리부(133a, 133b), 영상코덱(131a, 131b) 및 DVC제어부(132a, 132b) 등 부속 후처리장치가 촬상부(130a, 103b)별로 개별적으로 구성된다.
즉, 도 2에서와 같은 종래의 영상기록장치에서 2개소의 촬상부(130a, 130b)가 각각 전방 및 후방을 촬영할 때, 전방을 촬영하는 촬상부(130a)에서 출력된 영상신호는 DVC신호처리부(133a), 영상코덱(131a)을 통하여 MCU(110)에 입력되며, 후방을 촬영하는 촬상부(130b)에서 출력된 영상신호는 별도의 DVC신호처리부(133b) 및 영상코덱(131b)을 통하여 MCU(110)에 입력되는 방식이다.
반면 본 발명은 도 3에서와 같이, 2개소의 촬상부(130a, 130b)가 일단 신호합성부(200)에 연결되고, 이 신호합성부(200)에서 출력되는 신호가 하나의 DVC신호처리부(133) 및 영상코덱(131)을 통하여 MCU(110)에 입력되는 방식으로서 간소한 구성이 가능하다.
신호합성부(200)는 각각의 촬상부(130)에서 출력되는 영상신호를 시분할(時 分割) 방식으로 선택하여 이를 하나의 영상신호로 변환하는 구성요소로서, 합성된 영상신호는 각 촬상부(130)의 신호가 일정한 시간 간격으로 교대로 나타나는 신호로서 추후 증거영상의 확보시 각 촬상부(130)별로 출력된 원 영상신호를 분리 추출할 수 있다.
물론 분리 추출된 영상신호는 원 영상신호에 비하여 낮은 화질을 가질 수 밖에 없으나 시분할 방식의 합성이 이루어져 해상도 측면에서는 원 영상신호와 거의 동일하므로 자동차 사고의 증거영상으로서는 충분히 활용이 가능하다.
도 4는 촬상부(130a, 130b)별 영상신호의 신호합성부(200)에 의한 합성과정을 도시한 것으로, 동 도면을 통하여 알 수 있는 바와 같이, 신호합성부(200)는 각 촬상부(130a, 130b)로부터 출력되는 소정 시간 변량(Δt)분의 영상신호를 취사(取捨)하여 하나의 영상신호로 합성한다.
도시된 실시예에서는 각 촬상부(130a, 130b)가 1초당 24프레임(frame)의 영상신호를 출력하고 신호합성부(200)가 각 촬상부(130a, 130b)의 영상신호를 1프레임씩 교대로 선택하고 있으며, 따라서 신호합성부(200)에 설정된 시간 변량은 1/24초가 된다.
신호합성부(200)에서 출력된 신호는 후처리과정을 거쳐 기억장치(120)에 저장되며, 추후 도 4의 하단 도면에서와 같이 각 촬상부(130a, 130b)별 영상으로 분리 추출되는데, 도시된 바와 같이 1초당 12프레임의 영상으로 추출되지만 해상도는 동일하다.
한편, 도 5 내지 도 7은 촬상부(130)별 중요도에 따라 저장되는 영상신호의 화질을 조정할 수 있도록 한 실시예에 관한 것으로, 최소 시간 변량에 대한 촬상부(130)별 수록 시간 변량의 비(比)인 합성상수(C)를 설정하여 중요 촬상부(130a)로부터의 영상신호를 타 촬상부(130b)에 비하여 고품질로 저장함으로써 기억장치(120) 용량의 효율적인 사용이 가능하도록 한 것이다.
즉, 도 5에서와 같이 신호합성부(200)와 MCU(110)를 직접연결하여 사용자가 신호합성부(200)에 합성상수(C)를 설정할 수 있도록 구성하고, 도 6에서와 같이 합성상수(C)에 따라 촬상부(130a, 130b)별 시간 변량을 조정하여 영상신호를 합성할 수 있도록 한 것이다.
도 6에 도시된 실시예에서 최소 시간 변량은 1프레임에 해당하는 1/24초이며, 각 촬상부(130a, 130b)에 설정된 합성상수는 2와 1로서, 합성된 영상신호는 중요 촬상부(130a) 2프레임 당 타 촬상부(130b) 1프레임이 교대로 수록된 형태를 가진다.
도 7은 촬상부(130)별 합성상수가 설정되는 실시예에서의 신호합성부(200) 작동과정을 도시한 것으로, 도시된 바와 같이 최소 시간 변량(Δt)에 따라 영상신호를 계수(計數)하는 방식으로 각각의 촬상부(130a, 130b)별 합성상수를 적용하여, 원 영상신호 데이터(DVC-FD(a,t), DVC-FD(b,t))를 합성 영상신호 데이터(DVC-FD(s,t))로 변환하게 된다.
이상에서와 같은 본 발명을 통하여 다중촬영식 자동차용 영상기록장치의 소형화 및 경량화가 가능할 뿐 아니라 제조비용을 절감할 수 있으며, 소요 기억장치(120) 용량 또한 절감할 수 있다.
도 1은 본 발명의 일 실시예 외관 사시도
도 2는 종래의 다중촬영식 자동차용 영상기록장치 구성도
도 3은 본 발명의 일 실시예 구성도
도 4는 본 발명의 신호합성부에 의한 영상신호 합성과정 설명도
도 5는 합성상수 설정이 가능한 본 발명의 일 실시예 구성도
도 6은 합성상수 설정에 따른 신호합성부의 영상신호 합성과정 설명도
도 7은 합성상수 설정에 따른 신호합성부의 작동과정 흐름도
<도면의 주요부분에 대한 부호설명>
110 : MCU
120 : 기억장치
130 : 촬상부
131 : 영상코덱
132 : DVC제어부
133 : DVC신호처리부
140 : 마이크
141 : 음성코덱
150 : 감지부
160 : GPS모듈
171 : 입력부
172 : 표시부
173 : 출력부
200 : 신호합성부

Claims (2)

  1. 삭제
  2. 촬영된 영상을 전자적 신호로 변환하여 출력하는 다수의 촬상부(130), 충격을 감지하는 감지부(150), 영상정보가 저장되는 기억장치(120) 및 이들을 제어하는 MCU(110)로 이루어진 자동차용 영상기록 장치로서, 상기 다수의 촬상부(130)는 신호합성부(200)와 연결되고, 이 신호합성부(200)는 DVC신호처리부(133) 및 영상코덱(131)을 통하여 MCU(110)에 연결되며, 이들 DVC신호처리부(133) 및 영상코덱(131)은 DVC제어부(132)에 의하여 제어되되, 신호합성부(200)는 각 촬상부(130)로부터 출력되는 소정 시간 변량분의 영상신호를 취사(取捨)하여 하나의 영상신호로 합성한 후 DVC신호처리부(133)로 입력함을 특징으로 하는 신호 합성형 다중촬영 자동차용 영상기록장치에 있어서,
    MCU(110)는 신호합성부(200)에 최소 시간 변량에 대한 촬상부(130)별 수록 시간 변량의 비(比)인 합성상수(C)를 입력하며;
    신호합성부(200)는 각 촬상부(130)별 합성상수에 따라 영상신호를 독취하여 합성함을 특징으로 하는 신호 합성형 다중촬영 자동차용 영상기록장치.
KR1020080078567A 2008-08-11 2008-08-11 신호 합성형 다중촬영 자동차용 영상기록장치 KR100951584B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080078567A KR100951584B1 (ko) 2008-08-11 2008-08-11 신호 합성형 다중촬영 자동차용 영상기록장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080078567A KR100951584B1 (ko) 2008-08-11 2008-08-11 신호 합성형 다중촬영 자동차용 영상기록장치

Publications (2)

Publication Number Publication Date
KR20080080476A KR20080080476A (ko) 2008-09-04
KR100951584B1 true KR100951584B1 (ko) 2010-04-09

Family

ID=40020803

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080078567A KR100951584B1 (ko) 2008-08-11 2008-08-11 신호 합성형 다중촬영 자동차용 영상기록장치

Country Status (1)

Country Link
KR (1) KR100951584B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101284169B1 (ko) * 2011-09-02 2013-07-09 에스엘 주식회사 사고 영상 기록 장치 및 방법
KR101373703B1 (ko) * 2012-05-23 2014-03-13 주식회사 코아로직 차량용 영상 처리 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH111144A (ja) 1997-06-11 1999-01-06 Matsushita Electric Ind Co Ltd 車載カメラ映像合成透視装置
JP2001086492A (ja) 2000-08-16 2001-03-30 Matsushita Electric Ind Co Ltd 車載カメラ映像合成透視装置
JP2001097119A (ja) 2000-08-16 2001-04-10 Matsushita Electric Ind Co Ltd 車載カメラ映像合成透視装置
JP2001206253A (ja) * 2000-01-21 2001-07-31 Yamagishi Kazue 車両の走行状況記録装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH111144A (ja) 1997-06-11 1999-01-06 Matsushita Electric Ind Co Ltd 車載カメラ映像合成透視装置
JP2001206253A (ja) * 2000-01-21 2001-07-31 Yamagishi Kazue 車両の走行状況記録装置
JP2001086492A (ja) 2000-08-16 2001-03-30 Matsushita Electric Ind Co Ltd 車載カメラ映像合成透視装置
JP2001097119A (ja) 2000-08-16 2001-04-10 Matsushita Electric Ind Co Ltd 車載カメラ映像合成透視装置

Also Published As

Publication number Publication date
KR20080080476A (ko) 2008-09-04

Similar Documents

Publication Publication Date Title
CN113271400B (zh) 成像装置和电子设备
US7916182B2 (en) Imaging device and method which performs face recognition during a timer delay
TWI516116B (zh) 用於數位成像中之自動影像俘獲控制之系統及方法
CN101931752B (zh) 摄像装置、以及对焦方法
US20150288886A1 (en) Imaging device, imaging system, and imaging method
US20080181460A1 (en) Imaging apparatus and imaging method
US9554028B2 (en) Imaging device, imaging system, imaging method, and computer-readable recording medium associating image data with responsibility acceptance or abandonment information
KR20090071471A (ko) 촬상 장치 및 그 셔터 구동 모드 선택 방법
US20090051515A1 (en) Imaging Apparatus and Drive Recorder System
JP4872425B2 (ja) 撮像装置およびドライブレコーダシステム
TWI459126B (zh) 可產生廣角影像之影像處理裝置、影像處理方法及記錄媒體
JP2008152736A (ja) 監視システム、監視装置及び監視方法
CN101207715A (zh) 数字照相机
US9019379B2 (en) License plate image-pickup device and image exposure adjustment method thereof
JPWO2020090511A1 (ja) 撮影装置、画像処理方法、及び、プログラム
KR100951584B1 (ko) 신호 합성형 다중촬영 자동차용 영상기록장치
JP4352332B2 (ja) 画像採点方法及び画像採点システム
JPH10241093A (ja) 速度違反車取り締まりシステム
JP2009055553A (ja) 複数の撮像素子を搭載した撮像装置
JP2011035752A (ja) 撮像装置
KR20170011555A (ko) 디지털 촬영 장치 및 그 방법
JP5359797B2 (ja) 撮像素子一体型交換レンズ式のカメラシステムとその動画生成方法
US20120105699A1 (en) Portable device
JP2011124830A (ja) 撮像装置および異物検出方法
JP2004186919A (ja) デジタルカメラ

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130423

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140306

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150216

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160218

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170221

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180124

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20200309

Year of fee payment: 11