KR101375567B1 - 부분 이미지 추출기 및 그 부분 이미지 추출 방법 - Google Patents

부분 이미지 추출기 및 그 부분 이미지 추출 방법 Download PDF

Info

Publication number
KR101375567B1
KR101375567B1 KR1020100043032A KR20100043032A KR101375567B1 KR 101375567 B1 KR101375567 B1 KR 101375567B1 KR 1020100043032 A KR1020100043032 A KR 1020100043032A KR 20100043032 A KR20100043032 A KR 20100043032A KR 101375567 B1 KR101375567 B1 KR 101375567B1
Authority
KR
South Korea
Prior art keywords
image
partial image
unit
candidate region
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020100043032A
Other languages
English (en)
Other versions
KR20110123512A (ko
Inventor
조강현
코우식 뎁
Original Assignee
울산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산대학교 산학협력단 filed Critical 울산대학교 산학협력단
Priority to KR1020100043032A priority Critical patent/KR101375567B1/ko
Publication of KR20110123512A publication Critical patent/KR20110123512A/ko
Application granted granted Critical
Publication of KR101375567B1 publication Critical patent/KR101375567B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Character Input (AREA)

Abstract

부분 이미지 추출기가 개시된다. 부분 이미지 추출기는 외부 환경에 대한 이미지를 촬상하는 촬상부, 촬상부로부터 이미지를 전송받아 HSI 색좌표 데이터로 변환하는 색좌표변환부, HSI 색좌표 데이터를 이진(binary)화하여 후보 영역을 생성하는 이진화부, 후보 영역에 반복 레이블링 알고리즘(recursive labeling algorithm)을 이용하여 레이블 데이터(labeled data)를 생성하는 레이블링(labeling)부 및 레이블 데이터를 필터링(filtering)하여 최종 후보 영역을 추출하는 필터부(filter)를 포함한다. 특히 본 발명은 추출하고자 하는 부분 이미지의 색깔(color)과 부분 이미지의 주변의 색깔이 유사한 경우에 반복 레이블링 알고리즘을 이용하여 효율적으로 부분 이미지를 추출할 수 있다.

Description

부분 이미지 추출기 및 그 부분 이미지 추출 방법{Partial image extractor and its partial image extracting method}
본 발명은 부분 이미지 추출기 및 부분 이미지 추출 방법에 관한 것으로서, 보다 상세하게는 이미지의 색상을 이용하여 전체 이미지로부터 부분 이미지를 추출하는 부분 이미지 추출기 및 부분 이미지 추출 방법에 관한 것이다.
차량번호 인식시스템은 주차장 또는 고속 도로 요금징수 게이트, 도로 등에 설치되어 게이트로 진입하는 차량의 차량번호를 인식하는 시스템이다. 또한 과속 방지 시스템에서 과속 차량의 차량번호를 인식하는 시스템이기도 하다. 차량번호 인식시스템은 차량의 번호판을 포함한 영상을 분석하여 차량번호에 해당하는 숫자 또는 문자 정보를 추출한다.
하지만, 종래의 차량의 번호판을 추출하는 시스템은 차량의 색상과 번호판의 색상이 유사한 경우에는 번호판 추출 성공률이 현저히 저하되는 문제점이 있었다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 차량의 번호판과 차량의 색상이 유사한 경우의 미세한 색상 차이 파악을 중점적으로 분석하여 번호판 및 차량 색상의 색상 파라미터를 결정하여, 차량의 번호판을 추출할 수 있는 부분 이미지 추출기 및 그 부분 이미지 추출 방법을 제공하는데 있다
이상과 같은 문제점을 해결하기 위한 본 발명의 일 실시 예에 따른 부분 이미지 추출기는, 외부 환경에 대한 이미지를 촬상하는 촬상부, 상기 촬상부로부터 상기 이미지를 전송받아 HSI 색좌표 데이터로 변환하는 색좌표변환부, 상기 HSI 색좌표 데이터를 이진(binary)화하여 후보 영역을 생성하는 이진화부, 상기 후보 영역에 반복 레이블링 알고리즘(recursive labeling algorithm)을 이용하여 레이블 데이터(labeled data)를 생성하는 레이블링(labeling)부 및 상기 레이블 데이터를 필터링(filtering)하여 최종 후보 영역을 추출하는 필터(filter)부를 포함한다.
여기에서 상기 이진화부는 통계적인 방법을 통한 결과값으로 기설정된 임계값을 이용하여 HSI 색좌표 데이터를 이진화한다.
또한 부분 이미지 추출기는 상기 최종 후보 영역을 통과하는 주회전축을 결정하여 주회전축을 따라서 상기 최종 후보 영역을 회전 조정하는 것을 특징으로 하는 조정부를 더 포함한다.
또한 본 발명의 일 실시 예에 따른 부분 이미지 추출기는 상기 회전 조정된 상기 최종 후보 영역을 분해하여 부분 이미지를 생성하는 이미지 분해부를 더 포함한다.
또한 부분 이미지 추출기는 상기 촬상부에서 촬상된 이미지 및 히스토그램 패턴을 저장하는 저장부 및 상기 저장된 이미지 상에서 상기 부분 이미지에 대응되는 이미지 영역을 히스토그램화, 정규화 및 필터링한 후, 결과 값을 상기 저장부에 저장된 히스토그램 패턴과 비교하여 상기 부분 이미지에 포함된 정보를 인식하여 출력하는 정보 독출부를 더 포함한다.
한편, 본 발명의 일 실시 예에 따른 부분 이미지 추출 방법은 외부 환경에 대한 이미지를 촬상하는 단계, 촬상된 상기 이미지를 전송받아 HSI 색좌표 데이터로 변환하는 단계, 상기 HSI 색좌표 데이터를 이진(binary)화하여 후보 영역을 생성하는 이진화 단계, 상기 후보 영역에 반복 레이블링 알고리즘(recursive labeling algorithm)을 이용하여 레이블 데이터(labeled data)를 생성하는 레이블링(labeling) 단계 및 상기 후보 영역을 필터링(filtering)하여 최종 후보 영역을 추출하는 필터링 단계를 포함한다.
여기에서 상기 이진화 단계는 통계적인 방법을 통한 결과값으로 기설정된 임계값을 이용하여 HSI 색좌표 데이터를 이진화한다.
또한 부분 이미지 추출 방법은 상기 최종 후보 영역을 통과하는 주회전축을 결정하여 주회전축을 따라서 상기 최종 후보 영역을 회전 조정하는 것을 특징으로 하는 조정 단계를 더 포함한다.
또한 부분 이미지 추출 방법은 상기 회전 조정된 상기 최종 후보 영역을 분해하여 부분 이미지를 생성하는 이미지 분해 단계를 더 포함한다.
아울러 부분 이미지 추출 방법은 상기 촬상된 이미지 및 히스토그램 패턴을 저장하여 상기 저장된 이미지 상에서 상기 부분 이미지에 대응되는 이미지 영역을 히스토그램화, 정규화 및 필터링한 후, 결과 값을 상기 저장된 히스토그램 패턴과 비교하여 상기 부분 이미지에 포함된 정보를 인식하여 출력하는 정보 독출 단계를 더 포함한다.
도 1 및 도 2는 본 발명의 일 실시 예에 따른 부분 이미지 추출기의 구성을 나타내는 블록도이다.
도 3a 내지 도 3c는 본 발명의 일 실시 예에 따른 회전 조정 작업을 설명하기 위한 도면들이다.
도 4a 내지 도 4g는 본 발명의 일 실시 예에 따른 후보 영역으로부터 정보를 독출하는 과정을 설명하기 위한 도면들이다.
도 5는 본 발명의 일 실시 예에 따른 변조된 반복 레이블링 알고리즘을 나타내는 도면이다.
도 6은 본 발명의 일 실시 예에 따른 부분 이미지 추출 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시 예에 따른 부분 이미지 추출기(100)의 구성을 나타내는 블록도이다. 부분 이미지 추출기(100)는 주위 환경에 대한 이미지를 수집하여, 수집된 전체 이미지 중 사용자의 관심이 있는 부분 영역을 추출하는 장치를 의미한다. 부분 이미지 추출기(100)는 자동차 번호판을 추출하는 장치, 침입자 감시 시스템에서의 침입자 형상을 추출하는 장치 등으로 구현될 수 있지만 본원에서는 자동차 번호판을 추출하는 장치에 관한 실시 예를 중점적으로 설명하도록 한다. 특히 설명의 편의를 위하여 자동차 번호판은 그린(green), 옐로우(yellow), 및 화이트(white)의 색깔(color)을 가지는 것을 상정하여 설명하도록 한다.
도 1을 참조하면 부분 이미지 추출기(100)는 촬상부(110), 색좌표 변환부(120), 이진화부(130) 및 필터부(140)를 포함할 수 있다.
촬상부(110)는 이미지 추출기(100)의 주위 환경에 관한 이미지를 수집하여 입력받는 기능을 한다. 즉 촬상부(110)는 외부 환경에 대한 이미지를 입력받는 장치로써 일반적인 카메라가 이용될 수 있다. 다만, 모든 자동차가 동일한 경로를 따라서 이동하지 않는 경우를 대비하여, 바람직하게는 PTZ(Pan-Tilt-Zoom) 카메라가 촬상부(110)로 이용될 수도 있다. PTZ 카메라가 이용됨으로써, 자동차가 원거리에서 이동 중이거나, 편향되어서 이동하는 경우에도 자동차 번호판을 포함하는 이미지를 수집하는 것이 용이할 것이다. 또한 촬상부(110)는 하나 이상의 카메라를 포함하는 형태로 구현되는 것도 가능하다.
색좌표 변환부(120)는 촬상부(110)에 의하여 수집된 외부 환경에 대한 이미지를 색좌표로 변환하는 작업을 수행할 수 있다. 구체적으로 색좌표 변환부(120)는 번호판 인식용 영상데이터의 색좌표를 HSI(Hue, Saturation, Intensity) 색좌표계(color space)로 변환할 수 있다. HSI 색좌표계는 색깔(color)을 색상(Hue), 채도(saturation), 명도(intensity)로 표시한 좌표계이다. 본 실시 예에서는 HSI 색좌표계를 사용하였으나, 본 발명은 이에 한정되지 않고 YIQ, YCBCR, CIELUV, HSV, HSL 등 다양한 색좌표계를 사용할 수 있음은 물론이다.
색좌표 변환부(120)에 입력되는 시점의 이미지는 RGB좌표계(RGB color space)로 표시되어 있다. 따라서, 색좌표 변환부(120)는 RGB 좌표계로 표시된 이미지를 HSI 색좌표계로 변환할 수 있다. 색좌표로 변환하는 과정은 다음의 수학식 1 내지 수학식 3을 따른다. 수학식 1은 색상값, 수학식 2는 채도값, 수학식 3은 명도값을 각각 나타낸다.
Figure 112010029493417-pat00001
Figure 112010029493417-pat00002
Figure 112010029493417-pat00003
수학식 1을 따라 산출된 색상값은 0에서부터 360의 값을 가질 수 있다. 색상값이 0인 경우에는 레드(red)를 나타낸다. 색상값이 60인 경우에는 옐로우를, 색상값이 120인 경우는 그린을, 240인 경우에는 블루를 나타낸다.
수학식 2를 따라 산출된 채도값은 0에서부터 1의 값을 가질 수 있다.
색좌표 변환부(120)는 수학식 1 내지 수학식 3을 따라서 산출된 HSI 모델에 의하여 표현된 데이터를 이진화부(130)로 전송할 수 있다.
이진화부(130)는 HSI 색좌표로 표현된 데이터를 이진화할 수 있다.
구체적으로 이진화부(130)는 색상(hue)값의 평균값 및 표준 편차를 이용하여 이진화 작업을 수행할 수 있다. 또한 이진화부(130)는 그린(green) 및 옐로우(yellow)를 검출하기 위해서는 HSI 좌표계의 색상 파라미터(hue parameter)를 이용할 수 있다. 또한 이진화부(130)는 화이트(white)를 검출하는 경우에는 색상 파라미터를 이용하지 않으며, 채도(saturation) 및 명도(intensity) 파라미터를 중점적으로 이용할 수 있다.
본 발명의 일 실시 예에 따르는 이진화 작업에서 이용되는 색상 파라미터, 채도 파라미터, 및 명도 파라미터는 자동차 번호판을 포함하는 각각 상이한 이미지로부터 통계적인 방법을 통하여 설정될 수 있다.
여기서, 통계적 방법이란, 자동차 번호판을 다양한 환경에서 촬상한 이후, 다양한 환경에서 촬상된 이미지 샘플로부터 색상, 채도, 명도를 각각 수집하여 수집된 각각의 색상, 채도, 명도 값의 평균을 구하여서 색상 파라미터로 설정한 이후, 각 샘플들에 의한 표준 편차를 고려하여 일정한 범위의 파라미터를 설정하는 방법을 의미할 수 있다. 다음의 수학식 4 및 5의 소정의 상수들은 통계적 방법을 통하여 결정될 수 있다.
다음의 수학식 4는 색상의 그린 및 옐로우를 검출하는 경우, 이진화 과정에서 이용되는 수학식이다.
Figure 112010029493417-pat00004
Figure 112010029493417-pat00005
Figure 112010029493417-pat00006
Figure 112010029493417-pat00007
여기에서, H(x,y), S(x,y), I(x,y)는 각각 색상, 채도 및 명도의 x번째, y번째 픽셀의 성분을 의미한다. μH 및 σH는 각각 색상값 평균 및 색상값 표준편차를 의미한다.
또한 다음의 수학식 5는 주위 환경, 즉 자동차 번호판을 포함한 자동차가 강한 빛에 노출된 경우 또는 약한 빛에 노출된 경우의 화이트에 관한 이진화 과정을 나타낸다. 각각 첨자의 n, l, h는 번호판이 노출된 환경이 각각 일반적인 빛의 양에 노출된 경우, 약한 빛에 노출된 경우, 강한 빛에 노출된 경우를 의미한다.
Figure 112010029493417-pat00008
Figure 112010029493417-pat00009
Figure 112010029493417-pat00010
Figure 112010029493417-pat00011
Figure 112010029493417-pat00012
Figure 112010029493417-pat00013
여기에서, S(x,y) 및 I(x,y)는 x, y 번째 픽셀의 각각의 채도값 및 명도값을 나타낸다. μS 및 σS는 각각 채도값의 평균 및 채도값의 표준편차 값을 나타낸다. μH 및 σH는 각각 명도값의 평균 및 명도값의 표준편차 값을 나타낸다.
수학식 4 및 수학식 5를 이용한 이진화 과정을 거쳐 후보 영역을 얻을 수 있다. 이때의 후보 영역은 바람직하게는 관심이 있는 부분영역, 즉 자동차 번호판은 1로 표현되며, 자동차 번호판 이외의 부분은 0으로 표현되어 자동차 번호판 부분을 이외의 부분으로부터 구별할 수 있도록 구성될 수 있다.
다만, 자동차 번호판과 자동차의 색깔이 유사한 경우에는 자동차 번호판 이외의 자동차 부분도 1로 표시될 수 있으며 이에 따라서 정확히 자동차 번호판을 추출할 수 없는 문제가 발생할 수 있다. 이러한 문제점을 해결하기 위하여 레이블링부(135)는 필터링 단계에서 반복 레이블링 알고리즘을 이용하며, 이에 대하여서는 더욱 상세하게 후술하도록 한다.
레이블링부(135)는 이진화 데이터를 이진화부(130)로부터 전송받아, 레이블링 작업을 수행하여 레이블 데이터를 생성한다. 또한 레이블링부(135)는 생성된 레이블 데이터를 필터부(140)로 전송한다.
필터부(140)는 레이블링부(135)로부터 자동차 번호판을 포함한 하나 이상의 후보 영역을 전송받아 최종적으로 자동차 번호판의 후보 영역을 필터링(filtering)하여 최종 후보 영역을 생성할 수 있다.
최종 후보 영역은 자동차 번호판을 포함할 수 있으며, 자동차 번호판과 유사한 색깔을 가지는 부분을 포함할 수도 있다. 또한 필터부(140)는 수 개의 후보 영역 중에서 자동차 번호판이 아닌 것으로 추정되는 후보 영역을 제외할 수 있다.
표 1은 본 발명의 일 실시 예에 따른 후보 영역을 제외하는 기준에 대한 도표이다.
필터링 파라미터 그린 옐로우 화이트
바운딩 박스 [0.6, 1.0] [0.7,1.0] [0.7, 1.0]
가로-세로 비율 [1.0, 3.0] [1.0,2.0] [1.0,6.0]
가능한 번호판 모양 직사각형
필터링 과정, 즉 자동차 번호판이 아닌 것으로 추정되는 후보 영역을 제외하는 과정은 자동차 번호판의 외형적 특징을 이용할 수 있다. 여기서 외형적 특징이란 바운딩 박스(bounding box) 및 가로-세로 비율 등이 될 수 있다.
필터부(140)는 표 1과 같은 기설정된 조건을 만족시키지 못하는 후보 영역을 자동차 번호판이 아니라고 판단하며, 이를 후보 영역에서 제외할 수 있다. 필터부(140)는 이와 같이 후보 영역을 제외하고 남은 부분을 최종적으로 자동차 번호판의 후보 영역으로 설정할 수 있으며 최종 후보 영역을 사용자에게 제공할 수 있다.
더욱 상세하게는, 바운딩 박스는 직사각형으로써 추출된 영역의 좌측 일단, 우측 일단, 상방 일단 및 하방 일단의 교차점을 연결한 영역을 의미할 수 있다. 여기에서 바운딩 박스의 넓이는 픽셀에 의하여 결정되며, 촬상 객체의 상대적 크기를 나타낼 수도 있다.
가로-세로 비율은 바운딩 박스의 가로 및 세로의 길이의 비율을 나타내는 값이다. 가로-세로 비율은 추출된 이미지에서 결정될 수 있으며, 다음의 수학식 6으로 표현될 수 있다.
Figure 112010029493417-pat00014
여기에서, c 및 r은 각각 바운딩 박스의 행(column)의 길이와 열(raw)의 길이를 나타낸다. 그린 색의 번호판의 경우에는 ρA가 1 내지 3의 값을 나타내며, 옐로우 색의 번호판의 경우에는 1 내지 2, 화이트 색의 번호판인 경우에는 1 내지 6의 값을 나타낸다.
필터부(140)는 기설정된 범위에 포함되지 않는 후보 영역을 제외함으로써, 자동차 번호판이 아니면서도 후보 영역에 포함된 영역들을 제외하여 최종적으로 자동차 번호판의 후보 영역을 추출할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 부분 이미지 추출기(100)의 구성을 나타낸 블록도이다.
도 2를 참조하면, 부분 이미지 추출기(100)는 조정부(150), 이미지 분해부(160), 정보 독출부(170) 및 저장부(180)를 더 포함할 수 있다.
필터부(140)로부터 필터링된 최종적인 후보 영역은 사용자에게 제공되기 이전에, 조정부(150)를 통하여 기설정된 조정 작업을 거친 이후 이미지 분해부(160)로 전송되어 색좌표 변환 이전의 원래의 이미지로 제공될 수 있다. 또한 정보 독출부(170)는 원본 부분 이미지로부터 부분 이미지가 가진 정보를 추출할 수 있다.
본 발명의 일 실시 예에 따르면, 조정부(150)는 필터부(140)로부터 최종적인 후보 영역을 전송받아, 이에 대하여 회전 조정 작업을 수행할 수 있다.
자동차가 부분 이미지 추출기(100)의 주위를 통과하는 경우, 항상 동일한 방향 및 동일한 거리로 이동하는 것은 아니기 때문에 촬상부(110)에서 수집되는 이미지는 상이할 수 있으며, 특히 상이한 촬상 각도에 의하여 촬상될 수 있다. 이러한 상이한 촬상 각도에서 촬상된 직사각형 형태의 자동차 번호판의 이미지는 완전한 직사각형의 형태가 아닐 수 있다.
따라서 조정부(150)는 사용자에게 후보 영역을 제공하기 이전에, 회전 조정 작업을 수행하여 후보 영역을 직사각형 형태로 조정할 수 있다. 도 3a 내지 3c는 본 발명의 일 실시 예에 따른 회전 조정 과정을 나타낸다. 이에 대하여서는 도 3a 내지 도 3c를 참조하며 더욱 상세하게 후술하도록 한다.
추출된 후보 영역은 색좌표 변환 및 이진화 작업을 거친 이후이기 때문에 0과 1의 값으로만 표현되어 있다. 사용자에게 의미있는 정보를 제공하기 위하여서는 이러한 0과 1로 표현된 데이터가 아닌 원래의 이미지를 제공하여야 한다.
저장부(170)는 촬상부(110)로부터 촬상된 외부 환경에 대한 이미지를 전송받아 저장할 수 있다. 이미지 분해부(160)는 조정부(150)로부터 조정된 후보 영역을 전송받으며, 저장부(170)로부터 원본 이미지를 전송받을 수 있다.
이미지 분해부(160)는 전송받은 두 개의 이미지를 비교하여 조정된 후보 영역에 해당하는 부분을 원본 이미지로부터 추출하여, 정보 독출부(180)로 전송할 수 있다.
정보 독출부(180)는 이미지 분해부(160)로부터 전송된 부분 이미지로부터 사용자가 관심있는 정보를 독출할 수 있다. 예를 들어 사용자가 관심있는 정보가 자동차 번호판의 정보라면, 정보 추출부(180)는 자동차 번호판에 해당하는 부분 이미지로부터 숫자와 문자의 정보를 독출할 수 있다. 자동차 번호판으로부터 문자와 숫자에 대한 정보를 추출하는 방법은 도 4a 내지 도 4g를 참조하여 더욱 상세하게 후술하도록 한다. 한편, 추출된 정보는 사용자에게 제공될 수도 있으며, 저장부(170)에 저장될 수도 있다. 추출된 정보가 사용자에게 제공되는 경우 디스플레이, 유선 또는 무선을 이용한 정보 전송, 음성출력 등 다양한 방식으로 제공될 수 있다.
도 3a 내지 도 3c는 본 발명의 일 실시 예에 따른 조정부(150)에서의 회전 조정 작업을 나타낸다.
조정부(150)는 우선 후보 영역의 중심을 결정하며, 최소 2차 모멘트(least second moment) 축을 결정할 수 있다.
여기서, 후보 영역의 중심은 후보 영역 내의 공간 분포에 기초한 행 및 열 축에 의하여 결정될 수 있다. 다음 수학식 7은 후보 영역의 중심을 결정하는 식을 나타낸다.
Figure 112010029493417-pat00015
여기에서, rcenter 및 ccenter는 각각 열 및 행 방향의 중심의 좌표를 나타내며, r 및 c는 열 및 행 좌표를 나타내며, 첨자 i는 i번째 픽셀을 의미하며, Ai는 영역의 넓이를 나타내며 픽셀에 의하여 산출될 수 있다.
최소 2차 모멘트로써 중심축 및 중심 모멘트를 결정할 수 있다. 중심 모멘트를 결정하는 식은 다음의 수학식 8에 표현되어 있다.
Figure 112010029493417-pat00016
또한 결정된 중심축 및 중심 모멘트를 기초로 최종적으로 회전할 각도 θ는 다음의 수학식 9에 의하여 결정된다.
Figure 112010029493417-pat00017
수학식 9에 의한 θ만큼의 회전을 함으로써 후보영역은 직사각형에 가까운 형태를 가질 수 있다.
도 3a는 필터부(140)에 의하여 필터링된 최종적인 후보 영역을 나타낸다.
도 3b는 회전 조정 작업을 위한 최소 2차 모멘트 축을 나타낸 것이다. 도 3c는 회전 조정 작업을 거친 후, 얻어진 직사각형 형태의 후보 영역을 나타낸다.
도 4a 내지 도 4g는 본 발명의 일 실시 예를 따르는 이미지 분해부(160)로부터 전송된 부분 이미지로부터 문자 및 숫자의 정보를 추출하는 과정을 나타낸다.
도 4a는 본 발명의 일 실시 예에 의하여 얻어진 부분 이미지를 나타낸다.
도 4b는 자동차 번호판을 세로 방향으로 스캔하여 얻어진 세로 방향 위치 히스토그램을 나타낸다. 도 4b의 0 및 250 근처 영역에서 100에 가까운 값을 가지는 것은 0 및 250에 자동차 번호판의 경계가 있음을 나타낸다.
도 4c는 자동차 번호판을 가로 방향으로 스캔하여 얻어진 가로 방향 위치 히스토그램을 나타낸다. 도 4c 역시 하부에 자동차 번호판 경계를 포함하고 있음을 알 수 있다. 다만, 자동차 번호판의 경계는 숫자 및 문자를 식별하는 데에 불필요한 영역이기 때문에 후보 영역의 정보를 검출하는 데에 있어 제외되는 것이 바람직하다.
도 4d는 자동차 번호판의 경계를 제외시킨, 즉 필터링 후의 가로 방향 위치 히스토그램을 나타낸다.
정보 독출부(180)는 번호판의 경계를 제외시킨 후보 영역을 기초로하여 후보 영역으로부터 후보 영역의 정보를 독출할 수 있다.
도 4e는 도 자동차 번호판의 경계를 제외시킨 히스토그램을 정규화시킨 이미지로, '10 러 7177'의 정보를 얻을 수 있음을 알 수 있다.
도 4f는 세로 방향 위치 히스토그램을 나타낸다. 도 4f에 나타난 바와 같이 일곱 개의 피크(peak)가 존재하며, 이는 각각의 숫자 및 문자에 대응된다. 정보 독출부(180)는 기저장된 히스토그램의 패턴과 독출된 히스토그램을 비교하여 자동차 번호판의 정보를 독출할 수 있다.
도 4g는 독출된 번호판의 정보를 나타내며, 정보 독출부(180)는 일곱 개의 숫자 및 문자의 정보를 독출할 수 있다.
도 5는 자동차의 색깔과 자동차 번호판의 색깔이 유사한 경우에, 자동차 번호판 영역을 후보 영역으로 추출할 수 있는 반복 레이블링 알고리즘을 나타낸다.
자동차의 색깔과 자동차 번호판의 색깔이 유사한 경우에도 자동차의 색깔과 자동차 번호판의 색깔에는 차이가 있으며, 반복 레이블링 알고리즘은 색깔 차이에 기초하여 자동차 번호판을 후보 영역으로 추출할 수 있다.
도 5를 참조하면, 두 개의 네 개와 연결된 픽셀은 수학식 10을 만족하는 경우에 그룹핑될 수 있다. 수학식 10의 Dist는 수학식 11에 의하여 결정된다.
Figure 112010029493417-pat00018
Figure 112010029493417-pat00019
여기에서 IR i ,j에서의 위첨자 R은 레드를 나타내며, G는 그린, B는 블루를 나타낸다. I는 명도를 나타내며, 아래첨자 i,j는 가로 방향으로 i번째, 세로 방향으로 j번째 픽셀을 의미한다.
도 5의 첫 번째 도면은 이진화된 영역을 나타낸다. 이진화된 영역에서 1을 나타내는 영역이 후보 영역으로써 추출되며, 이에 따라 도 5의 두 번째 도면에 나타난 바와 같이 각 영역에 레이블링 작업이 수행된다. 두 번째 도면은 하나의 픽셀을 중심으로 상, 하, 좌, 우 방향에 존재하는 픽셀과의 연관성을 판단하여 연관이 있는 경우에 연결하는 작업이 수행된 후의 후보 영역을 나타낸다. 본 발명의 일 실시 예를 따르는 작업의 결과, 첫 번째 도면에서 임의의 픽셀은 상, 하, 좌, 우 방향에 존재하는 픽셀과의 관계가 수학식 10을 만족하는 경우에 서로 연결될 수 있다.
서로 연결된 픽셀들은 도 5의 세 번째 도면에 나타난 바와 같이 그룹화될 수 있으며, 이에 따라서 자동차의 색깔과 자동차 번호판의 색깔이 유사한 경우에, 번호판을 최종 후보 영역으로 효율적으로 추출할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 부분 이미지 추출 방법을 나타낸 흐름도이다.
도 6을 참조하면, 부분 이미지 추출 방법은 이미지 촬상 단계(S610), 색좌표 변환 단계(S620), 이진화 단계(S630), 레이블링 단계(S640), 필터링 단계(S650), 조정 단계(S660), 이미지 분해 단계(S670) 및 정보 독출 단계(S680)을 포함할 수 있다.
촬상부(110)는 이미지 추출기(100)의 주위 환경에 관한 이미지를 수집하여 입력받을 수 있다(S610).
색좌표 변환부(120)는 촬상부(110)에 의하여 수집된 외부 환경에 대한 이미지를 색좌표로 변환하는 작업을 수행할 수 있다. 색좌표 변환부(120)는 번호판 인식용 영상데이터의 색좌표를 HSI(Hue, Saturation, Intensity) 색좌표계(color space)로 변환할 수 있다(S620). 본 실시 예에서는 HSI 색좌표계를 사용하였으나, 본 발명은 이에 한정되지 않고 YIQ, YCBCR, CIELUV, HSV, HSL 등 다양한 색좌표계를 사용할 수 있음은 물론이다.
색좌표 변환부(120)에 입력되는 시점의 이미지는 RGB좌표계(RGB color space)로 표시되어 있다. 따라서, 색좌표 변환부(120)는 RGB 좌표계로 표시된 이미지를 HSI 색좌표계로 변환할 수 있다.
이진화부(130)는 HSI 색좌표로 표현된 데이터를 이진화할 수 있다(S630).
본 발명의 일 실시 예에 따른 이진화부(130)는 색상(hue)값의 평균값 및 표준 편차를 이용하여 이진화 작업을 수행할 수 있다. 그린(green) 및 옐로우(yellow)를 검출하기 위해서는 HSI 좌표계의 색상 파라미터(hue parameter)를 이용할 수 있다. 화이트(white)를 검출하는 경우에는 색상 파라미터는 이용되지 않으며, 채도(saturation) 및 명도(intensity) 파라미터가 중점적으로 이용될 수 있다.
본 발명의 일 실시 예에 따르는 이진화 작업에서 이용되는 색상 파라미터, 채도 파라미터, 및 명도 파라미터는 자동차 번호판을 포함하는 각각 상이한 이미지로부터 통계적인 방법을 통하여 설정될 수 있다.
통계적 방법이란, 자동차 번호판을 다양한 환경에서 촬상한 이후, 다양한 환경에서 촬상된 이미지 샘플로부터 색상, 채도, 명도를 각각 수집하여 수집된 각각의 색상, 채도, 명도 값의 평균을 구하여서 색상 파라미터로 설정한 이후, 각 샘플들에 의한 표준 편차를 고려하여 일정한 범위의 파라미터를 설정하는 방법을 의미할 수 있다.
이진화 과정을 거쳐 후보 영역을 얻을 수 있다. 이때의 후보 영역은 바람직하게는 관심이 있는 부분영역, 즉 자동차 번호판은 1로 표현되며, 자동차 번호판 이외의 부분은 0으로 표현되어 자동차 번호판 부분을 이외의 부분으로부터 구별할 수 있도록 구성될 수 있다.
다만, 자동차 번호판과 자동차의 색깔이 유사한 경우에는 자동차 번호판 이외의 자동차 부분도 1로 표시될 수 있으며 이에 따라서 정확히 자동차 번호판을 추출할 수 없는 문제가 발생할 수 있다. 이러한 문제점을 해결하기 위하여 레이이블링부(135)는 필터링 단계에서 반복 레이블링 알고리즘을 이용할 수 있다.
레이블링부(135)는 이진화 데이터를 이진화부(130)로부터 전송받아, 레이블링 작업을 수행하여 레이블 데이터를 생성한다(S640). 또한 레이블링부(135)는 생성된 레이블 데이터를 필터부(140)로 전송한다.
필터부(140)는 레이블링부(135)로부터 자동차 번호판을 포함한 하나 이상의 후보 영역을 전송받아 최종적으로 자동차 번호판의 후보 영역을 필터링(filtering)할 수 있다(S650).
최종 후보 영역은 자동차 번호판을 포함할 수 있으며, 자동차 번호판과 유사한 색깔을 가지는 부분을 포함할 수도 있다. 또한 필터부(140)는 수 개의 후보 영역 중에서 자동차 번호판이 아닌 것으로 추정되는 후보 영역을 제외할 수 있다.
필터링 과정, 즉 자동차 번호판이 아닌 것으로 추정되는 후보 영역을 제외하는 과정은 자동차 번호판의 외형적 특징을 이용할 수 있다. 여기서 외형적 특징이란 바운딩 박스(bounding box) 및 가로-세로 비율 등이 될 수 있다. 이에 대한 설명은 표 1과 관련하여 상술한 바와 같다.
필터부(140)는 표 1과 같은 기설정된 조건을 만족시키지 못하는 후보 영역을 자동차 번호판이 아니라고 판단하며, 이를 후보 영역에서 제외할 수 있다. 필터부(140)는 이와 같이 후보 영역을 제외하고 남은 부분을 최종적으로 자동차 번호판의 후보 영역으로 설정할 수 있으며 최종적인 후보 영역을 사용자에게 제공할 수 있다.
필터부(140)로부터 필터링된 최종적인 후보 영역은 사용자에게 제공되기 이전에, 조정부(150)를 통하여 기설정된 조정 작업을 거친 이후 이미지 분해부(160)로 전송되어 색좌표 변환 이전의 원래의 이미지로 제공될 수 있다(S660).
본 발명의 일 실시 예에 따르면, 조정부(150)는 필터부(140)로부터 최종적인 후보 영역을 전송받아, 이에 대하여 회전 조정 작업을 수행할 수 있다.
자동차가 부분 이미지 추출기(100)의 주위를 통과하는 경우, 항상 동일한 방향 및 동일한 거리로 이동하는 것은 아니기 때문에 촬상부(110)에서 수집되는 이미지는 상이할 수 있으며, 특히 상이한 촬상 각도에 의하여 촬상될 수 있다. 이러한 상이한 촬상 각도에서 촬상된 직사각형 형태의 자동차 번호판의 이미지는 완전한 직사각형의 형태가 아닐 수 있다. 따라서 조정부(150)는 사용자에게 후보 영역을 제공하기 이전에, 회전 조정 작업을 수행하여 후보 영역을 직사각형 형태로 조정할 수 있다.
추출된 후보 영역은 색좌표 변환 및 이진화 작업을 거친 이후이기 때문에 0과 1의 값으로만 표현되어 있다. 사용자에게 의미있는 정보를 제공하기 위하여서는 이러한 0과 1로 표현된 데이터가 아닌 원래의 이미지를 제공하여야 한다.
저장부(170)는 촬상부(110)로부터 촬상된 외부 환경에 대한 이미지를 전송받아 저장할 수 있다. 이미지 분해부(160)는 조정부(150)로부터 조정된 후보 영역을 전송받으며, 저장부(170)로부터 원본 이미지를 전송받을 수 있다.
이미지 분해부(160)는 전송받은 두 개의 이미지를 비교하여 조정된 후보 영역에 해당하는 부분을 원본 이미지로부터 추출하여,(S670) 정보 독출부(180)로 전송할 수 있다.
정보 독출부(180)는 이미지 분해부(160)로부터 전송된 부분 이미지로부터 사용자가 관심있는 정보를 독출할 수 있다(680). 예를 들어 사용자가 관심있는 정보가 자동차 번호판의 정보라면, 정보 추출부(180)는 자동차 번호판에 해당하는 부분 이미지로부터 숫자와 문자의 정보를 독출할 수 있다. 이에 대한 설명은 부분 이미지 추출기가 문자의 정보를 독출하는 방법과 동일한다. 추출된 정보는 사용자에게 제공될 수도 있으며, 저장부(170)에 저장될 수도 있다. 사용자에게 제공되는 방법은 디스플레이, 유선 또는 무선을 이용한 정보 전송, 음성출력 등 다양한 방식으로 제공될 수 있다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 부분 이미지 추출기 110 : 촬상부
120 : 색좌표 변환부 130 : 이진화부
135 : 레이블링부 140 : 필터부
150 : 조정부 160 : 이미지 분해부
170 : 저장부 180 : 정보 독출부

Claims (10)

  1. 부분 이미지 추출기에 있어서,
    외부 환경에 대한 이미지를 촬상하는 촬상부;
    상기 촬상부로부터 상기 이미지를 전송받아 HSI 색좌표 데이터로 변환하는 색좌표 변환부;
    상기 HSI 색좌표 데이터를 이진(binary)화하여 후보 영역을 생성하는 이진화부;
    색상 차이에 기초한 반복 레이블링 알고리즘(recursive labeling algorithm)을 이용하여 상기 후보 영역으로부터 레이블 데이터(labeled data)를 생성하는 레이블링(labeling)부; 및
    상기 레이블 데이터를 필터링(filtering)하여 복수 개의 후보 영역 중에서 관심 영역을 제외한 후보 영역을 제외하고 남은 부분을 최종 후보 영역을 추출하는 필터(filter)부;를 포함하는 부분 이미지 추출기.
  2. 제1항에 있어서,
    상기 이진화부는, 다양한 환경에서 촬상된 서로 상이한 이미지 샘플로부터 수집된 색상, 채도, 명도 값의 평균을 색상 파라미터로 설정하고, 상기 이미지 샘플들에 의한 표준 편차에 따라 일정한 범위의 색상 파라미터, 채도 파라미터, 및 명도 파라미터를 이용하여 HSI 색좌표 데이터를 이진화하는 부분 이미지 추출기.
  3. 제 1 항에 있어서,
    상기 최종 후보 영역을 통과하는 주회전축을 결정하여 주회전축을 따라서 상기 최종 후보 영역을 회전 조정하는 조정부;를 더 포함하는 것을 특징으로 하는 부분 이미지 추출기.
  4. 제 3 항에 있어서,
    상기 회전 조정된 상기 최종 후보 영역을 분해하여 부분 이미지를 생성하는 이미지 분해부;를 더 포함하는 것을 특징으로 하는 부분 이미지 추출기.
  5. 제 4 항에 있어서,
    상기 촬상부에서 촬상된 이미지 및 히스토그램 패턴을 저장하는 저장부; 및
    상기 저장된 이미지 상에서 상기 부분 이미지에 대응되는 이미지 영역을 히스토그램화, 정규화 및 필터링한 후, 결과 값을 상기 저장부에 저장된 히스토그램 패턴과 비교하여 상기 부분 이미지에 포함된 정보를 인식하여 출력하는 정보 독출부;를 더 포함하는 것을 특징으로 하는 부분 이미지 추출기.
  6. 부분 이미지 추출 방법에 있어서,
    외부 환경에 대한 이미지를 촬상하는 단계;
    촬상된 상기 이미지를 전송받아 HSI 색좌표 데이터로 변환하는 단계;
    상기 HSI 색좌표 데이터를 이진(binary)화하여 후보 영역을 생성하는 이진화 단계;
    색상 차이에 기초한 반복 레이블링 알고리즘(recursive labeling algorithm)을 이용하여 상기 후보 영역으로부터 레이블 데이터(labeled data)를 생성하는 레이블링(labeling) 단계; 및
    상기 후보 영역을 필터링(filtering)하여 복수 개의 후보 영역 중에서 관심 영역을 제외한 후보 영역을 제외하고 남은 부분을 최종 후보 영역으로 추출하는 필터링 단계;를 포함하는 부분 이미지 추출 방법.
  7. 제6항에 있어서,
    상기 이진화 단계는, 다양한 환경에서 촬상된 서로 상이한 이미지 샘플로부터 수집된 색상, 채도, 명도 값의 평균을 색상 파라미터로 설정하고, 상기 이미지 샘플들에 의한 표준 편차에 따라 일정한 범위의 색상 파라미터, 채도 파라미터, 및 명도 파라미터를 이용하여 HSI 색좌표 데이터를 이진화하는 부분 이미지 추출 방법.
  8. 제 6 항에 있어서,
    상기 최종 후보 영역을 통과하는 주회전축을 결정하여 주회전축을 따라서 상기 최종 후보 영역을 회전 조정하는 것을 특징으로 하는 조정 단계;를 더 포함하는 것을 특징으로 하는 부분 이미지 추출 방법.
  9. 제 8 항에 있어서,
    상기 회전 조정된 상기 최종 후보 영역을 분해하여 부분 이미지를 생성하는 이미지 분해 단계;를 더 포함하는 것을 특징으로 하는 부분 이미지 추출 방법.
  10. 제 9 항에 있어서,
    상기 촬상된 이미지 및 히스토그램 패턴을 저장하며, 상기 저장된 이미지 상에서 상기 부분 이미지에 대응되는 이미지 영역을 히스토그램화, 정규화 및 필터링한 후, 결과 값을 상기 저장된 히스토그램 패턴과 비교하여 상기 부분 이미지에 포함된 정보를 인식하여 출력하는 정보 독출 단계;를 더 포함하는 것을 특징으로 하는 부분 이미지 추출 방법.
KR1020100043032A 2010-05-07 2010-05-07 부분 이미지 추출기 및 그 부분 이미지 추출 방법 Expired - Fee Related KR101375567B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100043032A KR101375567B1 (ko) 2010-05-07 2010-05-07 부분 이미지 추출기 및 그 부분 이미지 추출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100043032A KR101375567B1 (ko) 2010-05-07 2010-05-07 부분 이미지 추출기 및 그 부분 이미지 추출 방법

Publications (2)

Publication Number Publication Date
KR20110123512A KR20110123512A (ko) 2011-11-15
KR101375567B1 true KR101375567B1 (ko) 2014-03-17

Family

ID=45393663

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100043032A Expired - Fee Related KR101375567B1 (ko) 2010-05-07 2010-05-07 부분 이미지 추출기 및 그 부분 이미지 추출 방법

Country Status (1)

Country Link
KR (1) KR101375567B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101519966B1 (ko) * 2014-03-21 2015-05-14 (주)오비전 기준판 기반의 비전 인식 방법 및 시스템

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101337625B1 (ko) * 2012-03-16 2013-12-05 삼성중공업 주식회사 도장전처리 사전검사 시스템
KR101493900B1 (ko) * 2013-04-22 2015-02-17 대한민국 놀이용 카드의 비가시성 패턴의 존재 여부가 검출되는 영상 처리 방법 및 기록매체
KR101677070B1 (ko) 2014-11-05 2016-11-18 한밭대학교 산학협력단 형태학적 영상 처리와 레이블링을 이용한 얼룩 결함 자동 검출 시스템 및 방법
KR101701249B1 (ko) * 2015-08-21 2017-02-01 영남대학교 산학협력단 형광 현미경 이미지를 이용한 기도 표면액 깊이 측정 방법
KR20170092734A (ko) * 2016-02-03 2017-08-14 한국기술교육대학교 산학협력단 컬러 정보를 이용한 팔레트 검출 방법, 및 무인 운송 로봇의 팔레트 적재 상태 인식용 비전 모듈
KR102573975B1 (ko) * 2022-06-15 2023-09-04 주식회사 코이웨어 신분증 진위 여부 판단 장치 및 그 방법
CN116824906B (zh) * 2023-08-29 2023-11-17 成都市巨多广告有限公司 一种具有识别功能的停车场引导方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030038014A (ko) * 2001-11-08 2003-05-16 삼성전자주식회사 입력영상에서 대상물체의 특징패턴을 이용한 특정영역추출방법
KR100903816B1 (ko) * 2007-12-21 2009-06-24 한국건설기술연구원 정지영상에서의 얼굴추출시스템과 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030038014A (ko) * 2001-11-08 2003-05-16 삼성전자주식회사 입력영상에서 대상물체의 특징패턴을 이용한 특정영역추출방법
KR100903816B1 (ko) * 2007-12-21 2009-06-24 한국건설기술연구원 정지영상에서의 얼굴추출시스템과 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101519966B1 (ko) * 2014-03-21 2015-05-14 (주)오비전 기준판 기반의 비전 인식 방법 및 시스템

Also Published As

Publication number Publication date
KR20110123512A (ko) 2011-11-15

Similar Documents

Publication Publication Date Title
KR101375567B1 (ko) 부분 이미지 추출기 및 그 부분 이미지 추출 방법
CN108364010B (zh) 一种车牌识别方法、装置、设备及计算机可读存储介质
KR101403876B1 (ko) 차량 번호판 인식 방법과 그 장치
EP2031571B1 (en) Vehicle type determination device, program, and method
TWI409718B (zh) 移動中車輛之車牌定位方法
KR101719549B1 (ko) 차량 번호판 인식을 위한 영상처리방법 및 이를 이용한 차량 번호판 인식 장치
CN102364496B (zh) 一种基于图像分析的汽车车牌自动识别方法及系统
CN109176513B (zh) 一种智能巡检机器人的巡检方法及巡检系统
CN110659539A (zh) 一种信息处理方法及其装置
US20060153450A1 (en) Integrated image processor
KR101549495B1 (ko) 문자 추출 장치 및 그 방법
KR101778605B1 (ko) 차량 번호판 인식 방법 및 장치
CN109460722B (zh) 一种车牌智能识别方法
KR101809490B1 (ko) 고해상도 영상 기반의 차량 진출입관리추적장치
KR102540323B1 (ko) 영상분석 기반의 차종정보 자동추출장치 및 그 장치의 구동방법
JP5983729B2 (ja) 白線検出装置、白線検出フィルタ装置及び白線検出方法
CN105740836A (zh) 一种违法占用应急车道的检测方法
CN104268509B (zh) 泥头车车牌检测的方法及系统
CN115063375B (zh) 一种对排卵试纸检测结果进行自动分析的图像识别方法
CN113569859B (zh) 一种图像处理方法、装置、电子设备及存储介质
KR20160083465A (ko) 다차선 카메라 인식 시스템 및 그의 학습형 영상분석 방법
KR20150055652A (ko) 차량 번호판 인식 시스템 및 방법
JP2001222680A (ja) ナンバー読取り装置
CN117237617A (zh) 一种架空输电线图像识别方法、装置、设备及存储介质
KR101468566B1 (ko) 저조도 영상에서의 말레이시아 차량 번호판 인식 방법과 그 시스템

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R11-asn-PN2301

St.27 status event code: A-3-3-R10-R13-asn-PN2301

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

Fee payment year number: 1

St.27 status event code: A-2-2-U10-U11-oth-PR1002

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

FPAY Annual fee payment

Payment date: 20170420

Year of fee payment: 4

PR1001 Payment of annual fee

Fee payment year number: 4

St.27 status event code: A-4-4-U10-U11-oth-PR1001

FPAY Annual fee payment

Payment date: 20180417

Year of fee payment: 5

PR1001 Payment of annual fee

Fee payment year number: 5

St.27 status event code: A-4-4-U10-U11-oth-PR1001

FPAY Annual fee payment

Payment date: 20190411

Year of fee payment: 6

PR1001 Payment of annual fee

Fee payment year number: 6

St.27 status event code: A-4-4-U10-U11-oth-PR1001

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R14-asn-PN2301

FPAY Annual fee payment

Payment date: 20200311

Year of fee payment: 7

PR1001 Payment of annual fee

Fee payment year number: 7

St.27 status event code: A-4-4-U10-U11-oth-PR1001

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

P16-X000 Ip right document amended

St.27 status event code: A-5-5-P10-P16-nap-X000

Q16-X000 A copy of ip right certificate issued

St.27 status event code: A-4-4-Q10-Q16-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

Fee payment year number: 8

St.27 status event code: A-4-4-U10-U11-oth-PR1001

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

St.27 status event code: A-5-5-R10-R13-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

St.27 status event code: A-5-5-R10-R13-asn-PN2301

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

Fee payment year number: 9

St.27 status event code: A-4-4-U10-U11-oth-PR1001

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PC1903 Unpaid annual fee

Not in force date: 20230311

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

St.27 status event code: A-4-4-U10-U13-oth-PC1903

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PC1903 Unpaid annual fee

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20230311

St.27 status event code: N-4-6-H10-H13-oth-PC1903

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000