KR101932631B1 - 트라이앵글형 3채널 레이저 탐지모듈·스마트 차량번호인식제어부를 통한 cctv 내에서의 지능형 차량번호인식장치 및 방법 - Google Patents

트라이앵글형 3채널 레이저 탐지모듈·스마트 차량번호인식제어부를 통한 cctv 내에서의 지능형 차량번호인식장치 및 방법 Download PDF

Info

Publication number
KR101932631B1
KR101932631B1 KR1020170108021A KR20170108021A KR101932631B1 KR 101932631 B1 KR101932631 B1 KR 101932631B1 KR 1020170108021 A KR1020170108021 A KR 1020170108021A KR 20170108021 A KR20170108021 A KR 20170108021A KR 101932631 B1 KR101932631 B1 KR 101932631B1
Authority
KR
South Korea
Prior art keywords
license plate
car number
unit
number recognition
vehicle
Prior art date
Application number
KR1020170108021A
Other languages
English (en)
Inventor
박구만
장지웅
전지혜
전소연
조성만
허창행
김지만
Original Assignee
서울과학기술대학교 산학협력단
주식회사하이트론씨스템즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단, 주식회사하이트론씨스템즈 filed Critical 서울과학기술대학교 산학협력단
Priority to KR1020170108021A priority Critical patent/KR101932631B1/ko
Application granted granted Critical
Publication of KR101932631B1 publication Critical patent/KR101932631B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names
    • G06K9/3258
    • G01S17/026
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G06K2209/15
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates

Abstract

본 발명에서는 종래의 CCTV에 설치된 차량번호인식스템이 식별력이 안정적이지 못하고 다양한 환경적 변이에 영향을 받아, 차량번호판 인식률이 떨어지는 문제점과, 검출하고자 하는 차량의 속도가 주차 시스템 등에 비하여 빠른 속도로 주행하며 영상 프레임에 존재하는 시간이 짧아, 정보량이 감소되어, 차량영상정보의 화질이 떨어져, 현장에서 바로 차량번호판 분석이 어렵고, 현장이 아닌, 원격지에서 차량영상정보를 보고, 차량번호판을 분석시켜야 하므로, 분석시간이 오래 걸려, 도난차량검거 및 범죄예방에 미흡한 문제점을 개선하고자, 트라이앵글형 3채널 레이저 탐지모듈(100), 지능형 CCTV모듈(200)로 구성됨으로서, 기존에 설치된 CCTV에 트라이앵글형 3채널 레이저 탐지모듈과, 스마트 차량번호인식제어부만을 부가하여 설치하면 되므로, 호환성이 우수하고, 설치가 쉬워 설치 장소 선택에서 이점이 있으며, 무엇보다 안정적이고 인식률이 높은 차량번호인식시스템을 저렴한 비용으로 구현할 수 있고, 지능형 CCTV모듈을 기준으로 30m~50m 상에 3개의 모서리포인트로 이루어진 트라이앵글형 탐지존을 형성시켜, 이동하는 차량객체를 탐지한 후, 차량객체탐지신호를 지능형 CCTV모듈로 보낼 수 있어, 저속차량뿐만 아니라, 150km/h 이상의 고속주행차량을 0.09s~0.5s 탐지하여, 연산의 부하를 기존에 비해 80% 이하로 감소시킬 수 있으며, 차량번호판 영역추출, 분류, 번호판 이미지 전처리, 번호판 이진화, 문자 인식을 거쳐 현장에서 차량번호판을 분석하여 차량번호판인식데이터를 생성시킬 수 있어, 기존에 비해 차량번호판 분석시간을 80% 단축시킬 수 있고, 실시간 도난차량검거시스템 및 범죄예방시스템에 활용할 수 있는 차량번호판인식데이터를 실시간 제공할 수 있는 트라이앵글형 3채널 레이저 탐지모듈·스마트 차량번호인식제어부를 통한 CCTV 내에서의 지능형 차량번호인식장치 및 방법을 제공하는데 그 목적이 있다.

Description

트라이앵글형 3채널 레이저 탐지모듈·스마트 차량번호인식제어부를 통한 CCTV 내에서의 지능형 차량번호인식장치 및 방법{THE APPRATUS AND METHOD FOR RECOGNIZING CAR NUMBER USING THREE CHNNEL RADAR AND K-NN ALGORITHM}
본 발명에서는 지능형 CCTV모듈을 기준으로 30m~50m 상에 3개의 모서리포인트로 이루어진 트라이앵글형 탐지존을 형성시켜, 이동하는 차량객체를 탐지한 후, 차량객체탐지신호를 지능형 CCTV모듈로 보내어, 차량번호판 영역추출, 분류, 번호판 이미지 전처리, 번호판 이진화, 문자 인식을 거쳐 현장에서 차량번호판을 분석하여 차량번호판인식데이터를 생성시킬 수 있는 트라이앵글형 3채널 레이저 탐지모듈·스마트 차량번호인식제어부를 통한 CCTV 내에서의 지능형 차량번호인식장치 및 방법에 관한 것이다.
최근 정보통신기술의 비약적인 발전에 힘입어 컴퓨터를 활용하여 자동차 번호판을 자동으로 인식할 수 있게 되었다.
특히, 오늘날 범죄가 기동화, 광역화되어 가면서 차량을 이용한 범죄를 실시간으로 검색함으로써 미제 사건의 해결과 범조의 예방에 큰 효과를 가져올 수 있을 것이다.
차량번호인식 기능을 보유하고 있는 고정식 또는 이동식 CCTV는 고가이기 때문에 기존에 설치된 CCTV에 차량번호인식시스템을 개발하여 운영하게 되면 동일한 효과를 저렴한 비용으로 대치가 가능하다.
하지만, 종래의 CCTV에 설치된 차량번호인식스템은 식별력이 안정적이지 못하고 다양한 환경적 변이에 영향을 받아, 차량번호판 인식률이 떨어지는 문제점이 있었다.
또한, 검출하고자 하는 차량의 속도가 주차 시스템 등에 비하여 빠른 속도로 주행하며 영상 프레임에 존재하는 시간이 짧아, 정보량이 감소되어, 차량영상정보의 화질이 떨어져, 현장에서 바로 차량번호판 분석이 어렵고, 현장이 아닌, 원격지에서 차량영상정보를 보고, 차량번호판을 분석시켜야 하므로, 분석시간이 오래 걸려, 도난차량검거 및 범죄예방에 미흡한 문제점이 있었다.
국내등록특허공보 제10-1737973호
상기의 문제점을 해결하기 위해 본 발명에서는 기존에 설치된 CCTV에 트라이앵글형 3채널 레이저 탐지모듈과, 스마트 차량번호인식제어부만을 부가하여 설치할 수 있고, 지능형 CCTV모듈을 기준으로 30m~50m 상에 3개의 모서리포인트로 이루어진 트라이앵글형 탐지존을 형성시켜, 이동하는 차량객체를 탐지한 후, 차량객체탐지신호를 지능형 CCTV모듈로 보낼 수 있으며, 차량번호판 영역추출, 분류, 번호판 이미지 전처리, 번호판 이진화, 문자 인식을 거쳐 현장에서 차량번호판을 분석하여 차량번호판인식데이터를 생성시킬 수 있고, 실시간 도난차량검거시스템 및 범죄예방시스템에 활용할 수 있는 트라이앵글형 3채널 레이저 탐지모듈·스마트 차량번호인식제어부를 통한 CCTV 내에서의 지능형 차량번호인식장치 및 방법을 제공하는데 그 목적이 있다.
상기의 목적을 달성하기 위해 본 발명에 따른 트라이앵글형 3채널 레이저 탐지모듈·스마트 차량번호인식제어부를 통한 CCTV 내에서의 지능형 차량번호인식장치는
지능형 CCTV모듈 일측에 위치되어, 지능형 CCTV모듈을 기준으로 30m~50m 상에 3개의 모서리포인트로 이루어진 트라이앵글형 탐지존을 형성시켜, 이동하는 차량객체를 탐지한 후, 차량객체탐지신호를 지능형 CCTV모듈로 보내는 트라이앵글형 3채널 레이저 탐지모듈(100)과,
주변에서 일어나는 상황이나 행동을 감시하면서, 트라이앵글형 3채널 레이저 감지모듈로부터 차량객체탐지신호가 입력되면, 이동하는 차량객체를 촬영시키고, 현장에서 차량번호판을 분석하여 차량번호판인식데이터를 생성시킨 후, 촬영한 차량영상정보와, 차량번호판인식데이터를 원격지의 중앙관리서버로 전송시키도록 제어하는 지능형 CCTV모듈(200)로 구성됨으로서 달성된다.
또한, 본 발명에 따른 트라이앵글형 3채널 레이저 탐지모듈·스마트 차량번호인식제어부를 통한 CCTV 내에서의 지능형 차량번호인식방법은
외부데이터수신부에서 원격지의 중앙관리서버로부터 송신된 제어명령신호를 수신받아, 스마트 차량번호인식제어부로 전달시키는 단계(S100)와,
스마트 차량번호인식제어부의 제어신호에 따라 트라이앵글형 3채널 레이저 탐지모듈이 구동되어, 지능형 CCTV모듈을 기준으로 30m~50m 상에 3개의 모서리포인트로 이루어진 트라이앵글형 탐지존을 형성시켜, 이동하는 차량객체를 탐지한 후, 차량객체탐지신호를 스마트 차량번호인식제어부로 보내는 단계(S200)와,
차량객체탐지신호가 전달되면, 스마트 차량번호인식제어부에서 촬영부를 구동시켜, 피사체를 촬영한 후, 촬영한 차량영상정보를 스마트 차량번호인식제어부로 전달시키는 단계(S300)와,
스마트 차량번호인식제어부에서 촬영부로부터 전달된 차량영상정보에서 차량객체를 탐지, 추출한 후, 분석하여, 차량번호판인식데이터를 생성시켜, 차량영상정보와 함께 차량번호판인식데이터를 전송부로 전달시키도록 제어시키는 단계(S400)와,
전송부에서 스마트 차량번호인식제어부의 제어신호에 따라 차량영상정보와 차량번호판인식데이터를 원격지의 중앙관리서버로 전송시키는 단계(S500)로 이루어짐으로서 달성된다.
이상에서 설명한 바와 같이, 본 발명에서는
첫째, 기존에 설치된 CCTV에 트라이앵글형 3채널 레이저 탐지모듈과, 스마트 차량번호인식제어부만을 부가하여 설치하면 되므로, 호환성이 우수하고, 설치가 쉬워 설치 장소 선택에서 이점이 있으며, 무엇보다 안정적이고 인식률이 높은 차량번호인식시스템을 저렴한 비용으로 구현할 수 있다.
둘째, 지능형 CCTV모듈을 기준으로 30m~50m 상에 3개의 모서리포인트로 이루어진 트라이앵글형 탐지존을 형성시켜, 이동하는 차량객체를 탐지한 후, 차량객체탐지신호를 지능형 CCTV모듈로 보낼 수 있어, 저속차량뿐만 아니라, 150km/h 이상의 고속주행차량을 0.09s~0.5s 탐지하여, 연산의 부하를 기존에 비해 80% 이하로 감소시킬 수 있다.
셋째, 차량번호판 영역추출, 분류, 번호판 이미지 전처리, 번호판 이진화, 문자 인식을 거쳐 현장에서 차량번호판을 분석하여 차량번호판인식데이터를 생성시킬 수 있어, 기존에 비해 차량번호판 분석시간을 80% 단축시킬 수 있다.
넷째, 실시간 도난차량검거시스템 및 범죄예방시스템에 활용할 수 있는 차량번호판인식데이터를 실시간 제공할 수 있다.
도 1은 본 발명에 따른 트라이앵글형 3채널 레이저 탐지모듈·스마트 차량번호인식제어부를 통한 CCTV 내에서의 지능형 차량번호인식장치(1)의 구성요소를 도시한 블럭도,
도 2는 본 발명에 따른 트라이앵글형 3채널 레이저 탐지모듈·스마트 차량번호인식제어부를 통한 CCTV 내에서의 지능형 차량번호인식장치(1)의 구성요소를 도시한 구성도,
도 3은 본 발명에 따른 트라이앵글형 3채널 레이저 탐지모듈의 구성요소를 도시한 블럭도,
도 4는 본 발명에 따른 지능형 CCTV모듈의 구성요소를 도시한 블럭도,
도 5는 본 발명에 따른 CCTV모듈본체의 내부구성요소를 도시한 내부사시도,
도 6은 본 발명에 따른 CCTV모듈본체의 내부구성요소를 도시한 블럭도,
도 7은 본 발명에 따른 스마트 차량번호인식제어부의 구성요소를 도시한 블럭도,
도 8은 본 발명에 따른 HOG 특징 검출자 생성을 위한 영상의 에지를 연산시키는 것을 도시한 일실시예도,
도 9는 본 발명에 따른 SVM(Support Vector Mahine ) 알고리즘엔진부를 통해 차량번호판특징(동그라미군)과 비차량번호판특징(세모군)의 가장 바깥쪽에 위치하고 있는 경계점(이를 support vector 라고 함)을 중심으로 이들 간의 거리를 최대화할 수 있는 경계선을 그어, 차량번호판특징(동그라미군)과 비차량번호판특징(세모군)을 구분시키는 것을 도시한 일실시예도,
도 10은 본 발명에 따른 번호판 이미지 전처리부를 통하여 획득하게 되는 결과 이미지를 도시한 일실시예도,
도 11은 본 발명에 따른 번호판 이진화생성부를 통해 수행한 국내 번호판 내부 문자의 타입별 분류를 도시한 일실시예도,
도 12는 본 발명에 따른 트라이앵글형 3채널 레이저 탐지모듈·스마트 차량번호인식제어부를 통한 CCTV 내에서의 지능형 차량번호인식장치를 통해, 차량객체탐지신호가 전달되면, 스마트 차량번호인식제어부에서 촬영부를 구동시켜, 피사체를 촬영한 후, 촬영한 차량영상정보를 스마트 차량번호인식제어부로 전달시키는 것을 도시한 일실시예도,
도 13은 본 발명에 따른 트라이앵글형 3채널 레이저 탐지모듈·스마트 차량번호인식제어부를 통한 CCTV 내에서의 지능형 차량번호인식방법을 도시한 순서도,
도 14는 본 발명에 따른 차량번호판 영역추출부를 통해 차량영상정보에서 HOG 특징 기술자를 통한 에지성분을 이용하여 차량번호판 영역을 추출시키는 구체적인 과정을 도시한 순서도.
이하, 본 발명에 따른 바람직한 실시예를 도면을 첨부하여 설명한다.
도 1은 본 발명에 따른 트라이앵글형 3채널 레이저 탐지모듈·스마트 차량번호인식제어부를 통한 CCTV 내에서의 지능형 차량번호인식장치(1)의 구성요소를 도시한 블럭도에 관한 것이고, 도 2는 본 발명에 따른 트라이앵글형 3채널 레이저 탐지모듈·스마트 차량번호인식제어부를 통한 CCTV 내에서의 지능형 차량번호인식장치(1)의 구성요소를 도시한 구성도에 관한 것으로, 이는 트라이앵글형 3채널 레이저 탐지모듈(100), 지능형 CCTV모듈(200)로 구성된다.
먼저, 본 발명에 따른 트라이앵글형 3채널 레이저 탐지모듈(100)에 관해 설명한다.
상기 트라이앵글형 3채널 레이저 탐지모듈(100)은 지능형 CCTV모듈 일측에 위치되어, 지능형 CCTV모듈을 기준으로 30m~50m 상에 3개의 모서리포인트로 이루어진 트라이앵글형 탐지존을 형성시켜, 이동하는 차량객체를 탐지한 후, 차량객체탐지신호를 지능형 CCTV모듈로 보내는 역할을 한다.
이는 도 3에 도시한 바와 같이, 3채널 레이저발신부(110), 1채널 레이저수신부(120), 센서제어부(130)로 구성된다.
상기 3채널 레이저발신부(110)는 전단방향을 바라보면서 차량객체쪽으로 3개(3채널)의 펄스레이저를 발사시키는 역할을 한다.
상기 1채널 레이저수신부(120)는 3채널 레이저발신부 일측에 위치되어, 차량객체에 반사되어 되돌아오는 3개의 펄스레이저 중 어느 하나 또는 둘 이상의 신호를 수신한 후, 수신한 펄스레이저를 탐지신호로 생성시켜 지능형 CCTV모듈로 전달시키는 역할을 한다.
상기 센서제어부(130)는 각 기기의 전반적인 동작을 제어하면서, 지능형 CCTV모듈의 전방으로 트라이앵글형상의 탐지존이 형성되도록 3채널 레이저발신부쪽으로 출력신호를 보내고, 1채널 레이저수신부에 생성된 탐지신호를 지능형 CCTV 모듈로 전송시키도록 제어시키는 역할을 한다.
다음으로, 본 발명에 따른 지능형 CCTV모듈(200)에 관해 설명한다.
상기 지능형 CCTV모듈(200)은 주변에서 일어나는 상황이나 행동을 감시하면서, 트라이앵글형 3채널 레이저 감지모듈로부터 차량객체탐지신호가 입력되면, 이동하는 차량객체를 촬영시키고, 현장에서 차량번호판을 분석하여 차량번호판인식데이터를 생성시킨 후, 촬영한 차량영상정보와, 차량번호판인식데이터를 원격지의 중앙관리서버로 전송시키도록 제어하는 역할을 한다.
이는 도 4에 도시한 바와 같이, CCTV모듈본체(210), 촬영부(220), 전송부(230), 외부데이터수신부(240), 스마트 차량번호인식제어부(250)로 구성된다.
첫째, 본 발명에 따른 CCTV모듈본체(210)에 관해 설명한다.
상기 CCTV모듈본체(210)는 도 5에 도시한 바와 같이, 각 기기를 외압으로부터 보호하고 지지하는 역할을 한다.
이는 돔형 또는 박스형상으로 형성된다.
그리고, 내부공간 일측에 촬영부가 형성되고, 촬영부 일측에 전송부가 형성되며, 전송부 일측에 외부데이터수신부가 형성되고, 외부데이터수신부 일측에 스마트 차량번호인식제어부가 형성된다.
상기 CCTV모듈본체는 도 6에 도시한 바와 같이, 하단 외부면 일측에 팬구동부(211), 틸트구동부(212)가 포함되어 구성된다.
상기 팬구동부(211)는 CCTV모듈본체 전체를 좌우로 1°~360°회전구동시키는 역할을 한다.
이는 팬구동모터가 구성된다.
여기서, 팬구동모터는 스텝(Step) 모터, AC모터, BLDC 모터 중 어느 하나가 선택되어 구성된다.
상기 틸트구동부(212)는 CCTV모듈본체 전체를 상하로 10°~80°각도로 기울어서 구동시키는 역할을 한다.
이는 틸트구동모터가 구성된다.
여기서, 틸트구동모터는 스텝(Step) 모터, AC모터, BLDC 모터 중 어느 하나가 선택되어 구성된다.
둘째, 본 발명에 따른 촬영부(220)에 관해 설명한다.
상기 촬영부(220)는 CCTV모듈본체의 내부공간 일측에 형성되어, 피사체를 촬영한 후, 촬영한 차량영상정보를 스마트 차량번호인식제어부로 전달시키는 역할을 한다.
이는 다수개의 렌즈와, 조리개, 셔터제어들, 줌렌즈, 촬상면으로 구성된다.
여기서, 줌렌즈는 렌즈 사이에 위치되어, 전진운동 또는 후진운동하면서 초점을 조절시키는 역할을 한다.
이때, 줌인/줌아웃의 초점조절은 스마트 차량번호인식제어부의 제어신호에 따라 구동된다.
상기 촬상면은 줌렌즈로부터 전달받은 음의 굴절력으로 광학상(光學像)으로 결상시키는 역할을 한다.
본 발명에 따른 촬영부는 일출, 일몰, 기상악화 등 주변의 열악한 환경에 따라 차량번호판 영상의 화질이 달라지므로, CCTV의 조리개, 셔터제어들을 통해 최적화된 차량영상정보를 획득하도록 구성된다.
셋째, 본 발명에 따른 전송부(230)에 관해 설명한다.
상기 전송부(230)는 스마트 차량번호인식제어부의 제어신호에 따라 차량영상정보와 차량번호판인식데이터를 원격지의 중앙관리서버로 전송시키는 역할을 한다.
이는 무선통신모듈로서 WiFi통신모듈이 구성되고, 유선통신모듈로서 BACNET TCP/IP, BACNET MS/TP, Modbus RTU 중 어느 하나가 선택되어 구성된다.
상기 WiFi통신모듈은 무선기술을 접목한 것으로, 고성능 무선통신을 가능하게 하는 무선랜 기술로 구성된다.
상기 무선랜은 네트워크 구축시 유선을 사용하지 않고 전파나 빛등을 이용하여 네트워크를 구축하는 방식으로서, 2.4GHz의 주파수 대역을 사용한다.
넷째, 본 발명에 따른 외부데이터수신부(240)에 관해 설명한다.
상기 외부데이터수신부(240)는 원격지의 중앙관리서버로부터 송신된 제어명령신호를 수신받아, 스마트 차량번호인식제어부로 전달시키는 역할을 한다.
여기서, 제어명령신호는 추적차량번호판정보, 트라이앵글형상의 탐지존 거리정보, 현재 촬영된 차량영상정보요청신호, 현재 분석된 차량번호판인식데이터요청신호가 모두 포함된다.
다섯째, 본 발명에 따른 스마트 차량번호인식제어부(250)에 관해 설명한다.
상기 스마트 차량번호인식제어부(250)는 각 기기의 전반적인 동작을 제어하면서, 촬영부로부터 전달된 차량영상정보에서 차량객체를 탐지, 추출한 후, 분석하여, 차량번호판인식데이터를 생성시켜, 차량영상정보와 함께 차량번호판인식데이터를 전송부로 전달시키도록 제어시키는 역할을 한다.
이는 도 7에 도시한 바와 같이, 차량번호판 영역추출부(251), SVM(Support Vector Mahine ) 알고리즘엔진부(252), 번호판 이미지 전처리부(253), 번호판 이진화생성부(254), k-NN(k-nearest neighbor) 알고리즘엔진부(255)로 구성된다.
[차량번호판 영역추출부(251)]
상기 차량번호판 영역추출부(251)는 차량영상정보에서 HOG 특징 기술자를 통한 에지성분을 이용하여 차량번호판 영역을 추출시키는 역할을 한다.
이는 입력된 차량영상정보는 여러 가지 원인에 의한 각종 노이즈가 발생되는데, 이들 노이즈를 제거하는 영상전처리 과정을 거치면 선명한 영상을 획득할 수 있으므로, 번호판 문자인식에 유리하다.
차량번호판의 구성요소인 숫자와 한글 문자는 배경과 대비되는 밝기값을 가지고 있으며, 배경과 문자 획은 뚜렷한 에지를 나타낸다.
문자의 에지를 문자의 일부로 간주한다.
번호판 영역을 포함한 입력 영상에서 에지성분들이 정확히 추출되었다면, 이중에서 찾고자 하는 번호판 문자들의 에지 성분이 반드시 포함되어 있다.
따라서 문자의 에지를 최대한 정확히 추출하도록 하여야 한다.
본 발명에서는 번호판 영역의 위치와 색상, 크기에 대한 가정이 없이, HOG 특징 기술자를 통한 에지 성분을 이용함으로써 안정적으로 차량번호판 영역의 추출하도록 구성된다.
상기 HOG 특징 기술자는 영상의 에지 성분을 이용해 특징을 생성하므로 조명의 영향에 강인한 장점이 있다.
이를 생성하기 위해서는 이미지를 일정 크기로 나눈 블록과 이를 다시 일정 크기로 나눈 셀을 통하여 영상의 지역적인 그래디언트를 획득하고, 이를 전역적인 특징으로 만드는 과정이 포함되어 구성된다.
여기서, 그래디언트의 연산은 영상의 에지 추출을 통해 이루어지며, 이는 주로 소벨(Sobel) 에지, 로버트(Roberts) 에지, 프리위트(Prewitt) 에지와 같은 에지 커널을 통해 수행된다.
HOG 특징 기술자의 경우는 간단한 1D 커널을 통하여 그래디언트의 연산을 수행한다.
추출된 에지들의 방향각을 연산한 후 양자화를 거쳐 일정한 개수의 빈(Bin)으로 나눈다.
본 발명에서는 9개의 Bin을 사용하도록 구성된다.
이를 히스토그램으로 누적시키고 각 블록의 히스토그램을 취합하여 하나의 벡터를 생성하여 HOG 특징 기술자를 만들어낸다.
도 8은 본 발명에 따른 HOG 특징 검출자 생성을 위한 영상의 에지를 연산시키는 것을 도시한 일실시예도에 관한 것이다.
[SVM(Support Vector Mahine ) 알고리즘엔진부(252)]
상기 SVM(Support Vector Mahine ) 알고리즘엔진부(252)는 주어진 데이터 집합을 바탕으로 학습을 진행하며, 이후 입력되는 새로운 데이터가 어느 카테고리에 속해야 할지 판단하는 분류 모델을 생성시키는 역할을 한다.
즉, 이질적인 서로 다른 집단간의 상대적인 거리를 최대화할 수 있는 기준면을 통해 분류시키도록 구성된다.
도 9에 도시한 바와 같이, 차량번호판특징(동그라미군)과 비차량번호판특징(세모군)을 정확하게 구분하기 위해서, 차량번호판특징(동그라미군)과 비차량번호판특징(세모군)의 가장 바깥쪽에 위치하고 있는 경계점(이를 support vector 라고 함)을 중심으로 이들 간의 거리를 최대화할 수 있는 경계선을 그어야 한다.
도 9에서 직관적으로도 A점선보다는 B 실선이 두 집단을 구분하는데 휠씬 더 이상적으로 생각할 수 있다.
그 이유는 A로 구분할 경우, 새로 판단해야 할 데이터(실제로는 동그라미군)가 A경계에 살짝 세모군쪽으로 벗어나면 세모군으로 잘봇 분류될 가능성이 높기 때문이다.
그래서, 서포트벡터 간의 수직 거리를 최대화하는 평면을 구하여 두 그룹으로 구분하는 방법이 SVM 알고리즘엔진부이다.
본 발명에 따른 SVM 알고리즘엔진부는 명백한 이론적 근거에 기반을 두므로, 결과 해석이 용이하고 적은 학습 데이터만으로도 효과가 있으며, 인공 신경망 수준의 퍼포먼스를 보인다는 강력한 장점이 있다.
[번호판 이미지 전처리부(253)]
상기 번호판 이미지 전처리부(253)는 SVM(Support Vector Mahine ) 알고리즘엔진부를 통해 분류되어 전달된 차량번호판특징 이미지를 전처리시켜, 문자와 배경영역을 분리시키는 역할을 한다.
이는 문자의 인식을 위해서는 검출된 번호판 내부에서 문자를 제외한 영역을 걸러내기 위하여 번호판 이미지의 효과적인 전처리 방법이 필요하다.
현재 국내 번호판의 배경 색상은 백색, 황색, 녹색으로 구분되며 문자 색상은 흑색, 백색이 사용된다.
그러나 실제 획득 영상에서 입력되는 번호판 이미지의 정보는 동일한 타입의 번호판이라고 할지라도 영상 촬영시의 날씨나 시간대, 조명 등에 의하여 다양하게 변화할 수 있다.
또한 촬영 상황에서 생기는 모션 블러와 노이즈에 의하여 입력 영상은 쉽게 왜곡될 수 있다. 이는 문자와 배경 영역을 분리하는데 있어서 큰 장애 요인으로 작용한다.
따라서 환경의 변화에 의해 영상에서 번호판 내부의 정보가 왜곡되더라도 문자를 인식하는데 필요한 정보를 획득하는 방법이 요구된다.
이에 본 발명에서는 번호판 내부에 존재하는 배경 영역과 문자 영역이 가지는 휘도의 차이를 이용하여 각 영역의 분리를 수행하도록 구성된다.
즉, 원본 번호판 이미지에 대하여 그레이 변환을 수행한 후, 테두리 및 노이즈의 영향을 줄이기 위해 가장자리를 제외한 영역의 픽셀값(Pxy)을 추출해 그 평균치(Pavg)을 구한다.
그리고, 테두리 및 노이즈의 영향을 줄이기 위하여 번호판 이미지의 가로세로 20% 영역을 가장자리로 설정한 후 이를 평균치를 구하기 위한 연산에서 제외한다.
다음의 수학식 1은 번호판 이미지 픽셀들의 휘도 값 평균치를 획득하기 위한 식을 나타낸 것이다.
Figure 112017082564119-pat00001
여기서, Nw와 Nh는 분석 픽셀들의 종횡 길이를 말한다.
이후 획득한 평균치를 다시 입력 영상의 픽셀 값과 비교하여 조건에 부합하는 픽셀에는 255를, 그렇지 않은 픽셀에는 0을 할당한다.
이어서, 조건에 들어가게 되는 임계 변수는 실험에서 얻은 결과들을 분석하여 α는 Lavg * 1.25를, β는 Lavg * 0.9로 결정하여 영상의 전처리를 수행한다.
수학식 2는 번호판 이미지의 전처리 과정을 표현한 식이다.
Figure 112017082564119-pat00002
Figure 112017082564119-pat00003
Figure 112017082564119-pat00004
Figure 112017082564119-pat00005
Figure 112017082564119-pat00006
Figure 112017082564119-pat00007
도 10은 본 발명에 따른 번호판 이미지 전처리부를 통하여 획득하게 되는 결과 이미지를 도시한 일실시예도에 관한 것이다.
[번호판 이진화생성부(254)]
상기 번호판 이진화생성부(254)는 번호판 이미지 전처리부를 통해 전처리된 문자와 번호판테두리, 일부 노이즈 영역은 흰색, 나머지 영역은 검은색으로 번호판을 이진화시키는 역할을 한다.
이는 번호판의 이진화가 완료된 이후 규격화되어있는 번호판 규정에 따라 문자 영역들의 배치를 추측하여 각 문자 이미지들을 종류별로 구분하도록 구성된다.
국내 번호판의 문자들은 번호판의 타입에 따라 숫자 및 한글이 위치하는 지역이 다르다.
한글의 경우 기호 문자와 지역 문자가 구분되어 존재하며 사용되는 문자에도 차이가 존재한다.
따라서 본 발명에서는 정확도를 향상시키기 위하여 번호판 타입 및 위치에 따라 한글 문자의 타입을 따로 분리한다.
도 11은 본 발명에 따른 번호판 이진화생성부를 통해 수행한 국내 번호판 내부 문자의 타입별 분류를 도시한 일실시예도에 관한 것이다.
앞의 과정들과 같은 전처리를 통하여 문자와 번호판 테두리, 일부 노이즈 영역은 흰색, 나머지 영역은 검은색으로 번호판은 이진화된다.
[k-NN(k-nearest neighbor) 알고리즘엔진부(255)]
상기 k-NN(k-nearest neighbor) 알고리즘엔진부(255)는 미리 학습한 데이터와 비교하여 가장 가까운 거리의 데이터의 분류값으로 받아들여 문자 인식시키는 역할을 한다.
이는 판단해야 할 데이터를 받아들이면, 이 데이터를 학습 데이터가 표시된 공간에서 거리상 가장 가까운 k개의 데이터를 찾아낸 후, 다수결 투표를 한 뒤 어디에 속할지 결정한다.
여기서, k값은 임의로 선정을 한다.
k값이 너무 낮으면 민감하지만, 노이즈에 걸리기 쉽고, k가 너무 크면 반대로 노이즈에는 강하지만, 민감도가 떨어진다는 단점이 있어, 적절한 수준의 k값을 이용한다.
즉, 사전에 획득한 문자들에 대하여 “0”, “1”, “2” ... “9”의 숫자 라벨, “가”, “나”, “다” ... “하”의 한글 기호 라벨, “서울”, “경기” ... “제주”의 한글 지역 라벨별로 구분을 수행하였으며 이후 각 라벨별로 분류를 수행한다.
이를 통하여 각 문자는 입력된 값에 맞는 결과를 출력하게 된다.
이하, 본 발명에 따른 트라이앵글형 3채널 레이저 탐지모듈·스마트 차량번호인식제어부를 통한 CCTV 내에서의 지능형 차량번호인식방법에 관해 구체적으로 설명한다.
먼저, 도 13에 도시한 바와 같이, 외부데이터수신부에서 원격지의 중앙관리서버로부터 송신된 제어명령신호를 수신받아, 스마트 차량번호인식제어부로 전달시킨다(S100).
다음으로, 스마트 차량번호인식제어부의 제어신호에 따라 트라이앵글형 3채널 레이저 탐지모듈이 구동되어, 지능형 CCTV모듈을 기준으로 30m~50m 상에 3개의 모서리포인트로 이루어진 트라이앵글형 탐지존을 형성시켜, 이동하는 차량객체를 탐지한 후, 차량객체탐지신호를 스마트 차량번호인식제어부로 보낸다(S200).
다음으로, 도 12에 도시한 바와 같이, 차량객체탐지신호가 전달되면, 스마트 차량번호인식제어부에서 촬영부를 구동시켜, 피사체를 촬영한 후, 촬영한 차량영상정보를 스마트 차량번호인식제어부로 전달시킨다(S300).
다음으로, 스마트 차량번호인식제어부에서 촬영부로부터 전달된 차량영상정보에서 차량객체를 탐지, 추출한 후, 분석하여, 차량번호판인식데이터를 생성시켜, 차량영상정보와 함께 차량번호판인식데이터를 전송부로 전달시키도록 제어시킨다(S400).
즉, 도 14에 도시한 바와 같이, 차량번호판 영역추출부를 통해 차량영상정보에서 HOG 특징 기술자를 통한 에지성분을 이용하여 차량번호판 영역을 추출시킨다(S410).
이어서, SVM(Support Vector Mahine ) 알고리즘엔진부에서, 주어진 데이터 집합을 바탕으로 학습을 진행하면서, 이후 입력되는 새로운 데이터가 어느 카테고리에 속해야 할지 판단하는 분류 모델을 생성시킨다(S420).
이어서, 번호판 이미지 전처리부에서 SVM(Support Vector Mahine ) 알고리즘엔진부를 통해 분류되어 전달된 차량번호판특징 이미지를 전처리시켜, 문자와 배경영역을 분리시킨다(S430).
이어서, 번호판 이진화생성부에서 번호판 이미지 전처리부를 통해 전처리된 문자와 번호판테두리, 일부 노이즈 영역은 흰색, 나머지 영역은 검은색으로 번호판을 이진화시킨다(S440).
이어서, k-NN(k-nearest neighbor) 알고리즘엔진부에서 미리 학습한 데이터와 비교하여 가장 가까운 거리의 데이터의 분류값으로 받아들여 문자 인식시킨다(S450).
끝으로, 전송부에서 스마트 차량번호인식제어부의 제어신호에 따라 차량영상정보와 차량번호판인식데이터를 원격지의 중앙관리서버로 전송시킨다(S500).
1 : 지능형 차량번호인식장치
100 : 트라이앵글형 3채널 레이저 탐지모듈
110 : 3채널 레이저발신부
120 : 1채널 레이저수신부
130 : 센서제어부
200 : 지능형 CCTV모듈

Claims (6)

  1. 지능형 CCTV모듈 일측에 위치되어, 지능형 CCTV모듈을 기준으로 30m~50m 상에 3개의 모서리포인트로 이루어진 트라이앵글형 탐지존을 형성시켜, 이동하는 차량객체를 탐지한 후, 차량객체탐지신호를 지능형 CCTV모듈로 보내는 트라이앵글형 3채널 레이저 탐지모듈(100)과,
    주변에서 일어나는 상황이나 행동을 감시하면서, 트라이앵글형 3채널 레이저 감지모듈로부터 차량객체탐지신호가 입력되면, 이동하는 차량객체를 촬영시키고, 현장에서 차량번호판을 분석하여 차량번호판인식데이터를 생성시킨 후, 촬영한 차량영상정보와, 차량번호판인식데이터를 원격지의 중앙관리서버로 전송시키도록 제어하는 지능형 CCTV모듈(200)로 구성되고;,
    상기 지능형 CCTV모듈(200)은
    각 기기를 외압으로부터 보호하고 지지하는 CCTV모듈본체(210)와,
    CCTV모듈본체의 내부공간 일측에 형성되어, 피사체를 촬영한 후, 촬영한 차량영상정보를 스마트 차량번호인식제어부로 전달시키는 촬영부(220)와,
    스마트 차량번호인식제어부의 제어신호에 따라 차량영상정보와 차량번호판인식데이터를 원격지의 중앙관리서버로 전송시키는 전송부(230)와,
    원격지의 중앙관리서버로부터 송신된 제어명령신호를 수신받아, 스마트 차량번호인식제어부로 전달시키는 외부데이터수신부(240)와,
    각 기기의 전반적인 동작을 제어하면서, 촬영부로부터 전달된 차량영상정보에서 차량객체를 탐지, 추출한 후, 분석하여, 차량번호판인식데이터를 생성시켜, 차량영상정보와 함께 차량번호판인식데이터를 전송부로 전달시키도록 제어시키는 스마트 차량번호인식제어부(250)로 구성되며,
    상기 스마트 차량번호인식제어부(250)는
    차량영상정보에서 HOG 특징 기술자를 통한 에지성분을 이용하여 차량번호판 영역을 추출시키는 차량번호판 영역추출부(251)와,
    주어진 데이터 집합을 바탕으로 학습을 진행하며, 이후 입력되는 새로운 데이터가 어느 카테고리에 속해야 할지 판단하는 분류 모델을 생성시키는 SVM(Support Vector Mahine ) 알고리즘엔진부(252)와,
    SVM(Support Vector Mahine ) 알고리즘엔진부를 통해 분류되어 전달된 차량번호판특징 이미지를 전처리시켜, 문자와 배경영역을 분리시키는 번호판 이미지 전처리부(253)와,
    번호판 이미지 전처리부를 통해 전처리된 문자와 번호판테두리, 일부 노이즈 영역은 흰색, 나머지 영역은 검은색으로 번호판을 이진화시키는 번호판 이진화생성부(254)가 포함되어 구성되는 트라이앵글형 3채널 레이저 탐지모듈·스마트 차량번호인식제어부를 통한 CCTV 내에서의 지능형 차량번호인식장치에 있어서,
    상기 스마트 차량번호인식제어부(250)는
    미리 학습한 데이터와 비교하여 가장 가까운 거리의 데이터의 분류값으로 받아들여 문자 인식시키는 k-NN(k-nearest neighbor) 알고리즘엔진부(255)가 더 포함되어 구성되는 것을 특징으로 하는 트라이앵글형 3채널 레이저 탐지모듈·스마트 차량번호인식제어부를 통한 CCTV 내에서의 지능형 차량번호인식장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 외부데이터수신부에서 원격지의 중앙관리서버로부터 송신된 제어명령신호를 수신받아, 스마트 차량번호인식제어부로 전달시키는 단계(S100)와,
    스마트 차량번호인식제어부의 제어신호에 따라 트라이앵글형 3채널 레이저 탐지모듈이 구동되어, 지능형 CCTV모듈을 기준으로 30m~50m 상에 3개의 모서리포인트로 이루어진 트라이앵글형 탐지존을 형성시켜, 이동하는 차량객체를 탐지한 후, 차량객체탐지신호를 스마트 차량번호인식제어부로 보내는 단계(S200)와,
    차량객체탐지신호가 전달되면, 스마트 차량번호인식제어부에서 촬영부를 구동시켜, 피사체를 촬영한 후, 촬영한 차량영상정보를 스마트 차량번호인식제어부로 전달시키는 단계(S300)와,
    스마트 차량번호인식제어부에서 촬영부로부터 전달된 차량영상정보에서 차량객체를 탐지, 추출한 후, 분석하여, 차량번호판인식데이터를 생성시켜, 차량영상정보와 함께 차량번호판인식데이터를 전송부로 전달시키도록 제어시키는 단계(S400)와,
    전송부에서 스마트 차량번호인식제어부의 제어신호에 따라 차량영상정보와 차량번호판인식데이터를 원격지의 중앙관리서버로 전송시키는 단계(S500)로 이루어지며,
    상기 스마트 차량번호인식제어부에서 촬영부로부터 전달된 차량영상정보에서 차량객체를 탐지, 추출한 후, 분석하여, 차량번호판인식데이터를 생성시키는 것은
    차량번호판 영역추출부를 통해 차량영상정보에서 HOG 특징 기술자를 통한 에지성분을 이용하여 차량번호판 영역을 추출시키는 단계(S410)와,
    SVM(Support Vector Mahine ) 알고리즘엔진부에서, 주어진 데이터 집합을 바탕으로 학습을 진행하면서, 이후 입력되는 새로운 데이터가 어느 카테고리에 속해야 할지 판단하는 분류 모델을 생성시키는 단계(S420)와,
    번호판 이미지 전처리부에서 SVM(Support Vector Mahine ) 알고리즘엔진부를 통해 분류되어 전달된 차량번호판특징 이미지를 전처리시켜, 문자와 배경영역을 분리시키는 단계(S430)와,
    번호판 이진화생성부에서 번호판 이미지 전처리부를 통해 전처리된 문자와 번호판테두리, 일부 노이즈 영역은 흰색, 나머지 영역은 검은색으로 번호판을 이진화시키는 단계(S440)가 포함되어 이루어진 트라이앵글형 3채널 레이저 탐지모듈·스마트 차량번호인식제어부를 통한 CCTV 내에서의 지능형 차량번호인식방법에 있어서,
    상기 스마트 차량번호인식제어부에서 촬영부로부터 전달된 차량영상정보에서 차량객체를 탐지, 추출한 후, 분석하여, 차량번호판인식데이터를 생성시키는 것은
    k-NN(k-nearest neighbor) 알고리즘엔진부에서 미리 학습한 데이터와 비교하여 가장 가까운 거리의 데이터의 분류값으로 받아들여 문자 인식시키는 단계(S450)가 더 포함되어 이루어지는 것을 특징으로 하는 트라이앵글형 3채널 레이저 탐지모듈·스마트 차량번호인식제어부를 통한 CCTV 내에서의 지능형 차량번호인식방법.
  6. 삭제
KR1020170108021A 2017-08-25 2017-08-25 트라이앵글형 3채널 레이저 탐지모듈·스마트 차량번호인식제어부를 통한 cctv 내에서의 지능형 차량번호인식장치 및 방법 KR101932631B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170108021A KR101932631B1 (ko) 2017-08-25 2017-08-25 트라이앵글형 3채널 레이저 탐지모듈·스마트 차량번호인식제어부를 통한 cctv 내에서의 지능형 차량번호인식장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170108021A KR101932631B1 (ko) 2017-08-25 2017-08-25 트라이앵글형 3채널 레이저 탐지모듈·스마트 차량번호인식제어부를 통한 cctv 내에서의 지능형 차량번호인식장치 및 방법

Publications (1)

Publication Number Publication Date
KR101932631B1 true KR101932631B1 (ko) 2018-12-27

Family

ID=64953007

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170108021A KR101932631B1 (ko) 2017-08-25 2017-08-25 트라이앵글형 3채널 레이저 탐지모듈·스마트 차량번호인식제어부를 통한 cctv 내에서의 지능형 차량번호인식장치 및 방법

Country Status (1)

Country Link
KR (1) KR101932631B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113326836A (zh) * 2020-02-28 2021-08-31 深圳市丰驰顺行信息技术有限公司 车牌识别方法、装置、服务器及存储介质
WO2022092743A1 (ko) * 2020-10-26 2022-05-05 에스케이텔레콤 주식회사 차량 번호판에서 문자를 추출하는 방법 및 상기 방법을 수행하는 번호판 문자 추출 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013182550A (ja) * 2012-03-05 2013-09-12 Sumitomo Electric Ind Ltd 車両検出装置、車両検出方法および車両検出プログラム
KR101498458B1 (ko) * 2014-10-31 2015-03-12 건아정보기술 주식회사 복수의 레이저빔을 이용하여 객체 및 속도 감지를 병행하는 차량용 방범 촬영시스템
KR101677972B1 (ko) * 2016-07-26 2016-11-21 주식회사 싸인텔레콤 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013182550A (ja) * 2012-03-05 2013-09-12 Sumitomo Electric Ind Ltd 車両検出装置、車両検出方法および車両検出プログラム
KR101498458B1 (ko) * 2014-10-31 2015-03-12 건아정보기술 주식회사 복수의 레이저빔을 이용하여 객체 및 속도 감지를 병행하는 차량용 방범 촬영시스템
KR101677972B1 (ko) * 2016-07-26 2016-11-21 주식회사 싸인텔레콤 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113326836A (zh) * 2020-02-28 2021-08-31 深圳市丰驰顺行信息技术有限公司 车牌识别方法、装置、服务器及存储介质
WO2022092743A1 (ko) * 2020-10-26 2022-05-05 에스케이텔레콤 주식회사 차량 번호판에서 문자를 추출하는 방법 및 상기 방법을 수행하는 번호판 문자 추출 장치

Similar Documents

Publication Publication Date Title
US10861302B2 (en) Robust motion filtering for real-time video surveillance
US20230014874A1 (en) Obstacle detection method and apparatus, computer device, and storage medium
US8634593B2 (en) Pixel-based texture-less clear path detection
Arth et al. Real-time license plate recognition on an embedded DSP-platform
EP1930863B1 (en) Detecting and recognizing traffic signs
EP2959454B1 (en) Method, system and software module for foreground extraction
US8452053B2 (en) Pixel-based texture-rich clear path detection
KR101038669B1 (ko) 영상기반의 비검지식 차량 인식 시스템 및 차량 인식방법
US8890951B2 (en) Clear path detection with patch smoothing approach
CN101950350B (zh) 使用分级方法的畅通路径检测
KR101848019B1 (ko) 차량 영역 검출을 통한 차량 번호판 검출 방법 및 장치
US11087153B2 (en) Traffic light recognition system and method
US11371851B2 (en) Method and system for determining landmarks in an environment of a vehicle
JP5257274B2 (ja) 移動体検出装置、移動体検出方法及びコンピュータプログラム
JP2018063680A (ja) 交通信号認識方法および交通信号認識装置
CN106096512B (zh) 利用深度摄像头对车辆或行人进行识别的检测装置及方法
US20170206427A1 (en) Efficient, High-Resolution System and Method to Detect Traffic Lights
Gulati et al. Image processing in intelligent traffic management
CN111507145A (zh) 嵌入式车载环视系统库位障碍物检测方法、系统及装置
Abidin et al. A systematic review of machine-vision-based smart parking systems
KR101932631B1 (ko) 트라이앵글형 3채널 레이저 탐지모듈·스마트 차량번호인식제어부를 통한 cctv 내에서의 지능형 차량번호인식장치 및 방법
CN108509900A (zh) 交通标志检测和识别方法、系统及存储介质
US9727780B2 (en) Pedestrian detecting system
Arthi et al. Object detection of autonomous vehicles under adverse weather conditions
KR102007162B1 (ko) 360° 전방위 cctv 카메라와 클라우딩 시스템을 활용한 통합 지능형 주차 관제 시스템 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant