KR102395244B1 - 적대적 공격이 적용된 차량 번호판을 판별하기 위한 오인식 방지 장치 및 그 방법 - Google Patents

Abstract

본 발명은 적대적 공격이 적용된 차량 번호판을 판별하기 위한 오인식 방지 장치및 그 방법에 대한 것이다.
본 발명에 따르면, 적대적 공격이 적용된 차량 번호판을 판별하기 위한 오인식 방지 장치에 있어서, 판단 대상이 되는 차량 이미지를 입력받는 입력부, 상기 판단 대상이 되는 차량 이미지로부터 번호판에 대한 영역을 추출하고, 상기 추출된 번호판에 대한 영역에 포함되어 있는 숫자 및 문자에 대한 정보를 포함하는 번호판 데이터를 추출하는 차량번호 추출부, 상기 번호판 데이터를 기 학습된 기계 학습 알고리즘에 입력하여 상기 번호판에 대한 적대적 공격 여부를 판단하는 판단부, 그리고 적대적 공격이 발생된 것으로 판단되면, 상기 판단 대상이 되는 차량 이미지를 이용하여 상기 적대적 데이터셋을 업데이트하고, 상기 업데이트된 적대적 데이터셋을 이용하여 기계 학습 알고리즘을 재학습시키는 강화부를 포함한다.
이와 같이 본 발명에 따르면, 딥러닝 모델을 반복적으로 학습함으로써, 차량 번호판에 포함된 섭동으로 인해 번호 및 문자의 내용을 오인식하게 하는 적대적 공격에 대응하여 정확한 판단 결과를 제공하므로 공격자의 악의적인 공격을 무력화할 수 있는 이점이 있다.

Description

적대적 공격이 적용된 차량 번호판을 판별하기 위한 오인식 방지 장치 및 그 방법{Misidentification Prevention Apparatus for Identifying Vehicle Number Plate With Adversarial Attack And Method Thereof}

본 발명은 적대적 공격이 적용된 차량 번호판을 판별하기 위한 오인식 방지 장치 및 그 방법 에 관한 것으로서, 더욱 상세하게는 인식된 차량 번호판에 발생된 적대적 공격에 대한 방어 및 오인식을 최소화할 수 있는 오인식 방지 장치 및 그 방법에 관한 것이다.

차량 번호판 인식 시스템은 도로, 톨게이트, 건물의 출입구 및 무인 주차장 등에 설치된 카메라를 통해 촬영된 차량번호판을 자동으로 인식하여 판독한다.

차량 번호판은 차량의 전, 후면에 부착되는 직사각형 모양의 금속판으로서, 한글과 숫자의 조합으로 이루어진 일련번호를 포함한다.

따라서, 차량 번호판 인식 시스템은 카메라를 통해 촬영된 차량 전체의 이미지에서 번호판의 범위를 인식한 다음, 번호판이 있을 것으로 규정된 부분을 번호 인식을 위해 여러 조각으로 분할한다. 그리고, 차량 번호판 인식 시스템은 분할된 부분들의 이미지를 세밀하게 나누어 숫자를 포함한 번호판을 그레이 스케일로 변환 한 후 매트릭스로 변환 후 번호판 내 숫자를 판별한다.

그러나, 악의적 의도를 갖고 물리적으로 번호판을 변형하거나 기타 광원을 송출하여 카메라를 교란시키는 등의 방법이 적용된 경우에는 차량 번호판 인식 시스템에서 차량 번호판을 인식하지 못하는 사례가 빈번하게 발생되고 있다.

본 발명의 배경이 되는 기술은 대한민국 등록특허공보 제10-1979654호(2019.05.13. 공고)에 개시되어 있다.

이와 같이 본 발명에 따르면, 인식된 차량 번호판에 발생된 적대적 공격에 대한 방어 및 오인식을 최소화할 수 있는 차량 번호판에 대한 오인식 방지 장치 및 그 방법을 제공하기 위한 것이다.

이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따르면, 적대적 공격이 적용된 차량 번호판을 판별하기 위한 오인식 방지 장치에 있어서, 판단 대상이 되는 차량 이미지를 입력받는 입력부, 상기 판단 대상이 되는 차량 이미지로부터 번호판에 대한 영역을 추출하고, 상기 추출된 번호판에 대한 영역에 포함되어 있는 숫자 및 문자에 대한 정보를 포함하는 번호판 데이터를 추출하는 차량번호 추출부, 상기 번호판 데이터를 기 학습된 기계 학습 알고리즘에 입력하여 상기 번호판에 대한 적대적 공격 여부를 판단하는 판단부, 그리고 적대적 공격이 발생된 것으로 판단되면, 상기 판단 대상이 되는 차량 이미지를 이용하여 상기 적대적 데이터셋을 업데이트하고, 상기 업데이트된 적대적 데이터셋을 이용하여 기계 학습 알고리즘을 재학습시키는 강화부를 포함한다.

상기 번호판 데이터는, 번호판 영역에 대한 크기, 번호판 영역에 대한 조도값, 번호판 내에 포함된 문자 및 숫자의 크기 그리고 문자 및 숫자들 간의 간격 중에서 적어도 하나의 데이터를 포함할 수 있다.

정상으로 판단된 차량 이미지로부터 정상 데이터셋을 생성하고, 적대적 공격을 받은 것으로 판단된 차량 이미지로부터 적대적 데이터셋을 생성한 다음, 상기 생성된 정상 데이터셋 및 적대적 데이터셋을 이용하여 기 구축된 기계 학습 알고리즘을 학습시키는 학습부를 더 포함할 수 있다.

상기 적대적 데이터셋은, 상기 기계 학습 알고리즘이 견고하지 않기 때문에 발생 할 수 있는 섭동에 따라 오인식된 차량 이미지, 및 물리적 조작에 의해 오인식된 차량 이미지를 이용하여 생성되며,

상기 물리적 조작에 의해 오인식된 차량 이미지는, 차량 번호판의 선명도 변화, 조도 변화, 숫자 간격 조정, 이미지 스티커 부착 중에서 적어도 하나를 포함할 수 있다.

상기 기계 학습 알고리즘은, 역전파법을 이용하여 출력층 및 은닉층에 부여되는 가중치를 수정하여 차량 번호판에 대한 적대적 공격 발생 여부를 판단하도록 학습될 수 있다.

상기 판단부는, 상기 판단 대상이 되는 차량이미지에 적대적 공격이 포함되지 않은 것으로 판단되면, 상기 판단 대상이 되는 차량 이미지에 포함된 번호판의 번호를 동일하게 출력하고, 상기 판단 대상이 되는 차량 이미지에 대한 오인식 방지 과정을 종료할 수 있다.

또한, 본 발명의 실시예에 따르면 오인식 방지 장치를 이용하여 적대적 공격이 적용된 차량 번호판을 판별하기 위한 오인식 방지 방법에 있어서, 판단 대상이 되는 차량 이미지를 입력받는 단계, 상기 판단 대상이 되는 차량 이미지로부터 번호판에 대한 영역을 추출하고, 상기 추출된 번호판에 대한 영역에 포함되어 있는 숫자 및 문자에 대한 정보를 포함하는 번호판 데이터를 추출하는 단계, 상기 번호판 데이터를 기 학습된 기계 학습 알고리즘에 입력하여 상기 번호판에 대한 적대적 공격 여부를 판단하는 단계, 그리고 적대적 공격이 발생된 것으로 판단되면, 상기 판단 대상이 되는 차량 이미지를 이용하여 상기 적대적 데이터셋을 업데이트하고, 상기 업데이트된 적대적 데이터셋을 이용하여 기계 학습 알고리즘을 재학습시키는 단계를 포함한다.

이와 같이 본 발명에 따르면, 딥러닝 모델을 반복적으로 학습함으로써, 차량 번호판에 포함된 섭동으로 인해 번호 및 문자의 내용을 오인식하게 하는 적대적 공격에 대응하여 정확한 판단 결과를 제공하므로 공격자의 악의적인 공격을 무력화할 수 있다. 또한, 본 발명에 따르면, 범용적으로 사용되는 자동차 번호판 인식 시스템에 악의를 가지고 공격하는 것을 사전에 방어함으로써, 경제적 및 사회적 손실을 최소화할 수 있다.

도 1은 본 발명의 실시예에 따른 차량 번호판을 판별하기 위한 오인식 방지 장치를 설명하기 위한 구성도이다.
도 2는 본 발명의 실시예에 따른 오인식 방지 장치를 이용하여 기계 학습 알고리즘을 학습하는 방법을 설명하기 위한 순서도이다.
도 3은 섭동에 의해 오인식된 차량 이미지를 설명하기 위한 예시도이다.
도 4는 물리적 조작에 의해 오인식된 차량 이미지를 설명하기 위한 예시도이다.
도 5는 본 발명의 실시예에 따른 오인식 방지 장치를 이용하여 적대적 공격이 적용된 차량 번호판을 판별하는 방법을 설명하기 위한 순서도이다.

이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.

또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

이하에서는 도 1을 이용하여 본 발명의 실시예에 따른 차량 번호판을 판별하기 위한 오인식 방어 장치에 대하여 더욱 상세하게 설명한다.

도 1은 본 발명의 실시예에 따른 차량 번호판에 대한 오인식 방지 장치를 설명하기 위한 구성도이다.

도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 차량 번호판에 대한 오인식 방지 장치(100)는 입력부(110), 차량번호 추출부(120), 학습부(130), 판단부(140) 및 강화부(150)를 포함한다.

먼저, 입력부(110)는 도로, 톨게이트, 건물의 출입구 및 무인 주차장 등에 설치된 카메라를 통해 촬영된 차량 이미지를 입력받는다. 또한, 입력부(110)는 데이터베이스에 저장된 차량 이미지를 입력받을 수도 있다.

그리고, 차량번호 추출부(120)는 입력된 차량 이미지로부터 번호판에 대한 영역을 추출하고, 추출된 번호판 영역으로부터 하나 이상의 숫자 및 문자를 인식하여 생성된 번호판 데이터를 추출한다. 부연하자면, 차량번호 추출부(120)는 차량의 전면 또는 후면을 촬영하여 획득한 차량 이미지에 엣지 정보나 칼라 정보를 이용하여 번호판에 대한 영역을 인식한다. 그리고, 차량번호 추출부(120)는 인식된 번호판에 대한 영역을 추출하고, 추출한 번호판에 대한 영역 내에 포함된 숫자 및 문자에 대한 정보를 포함하는 번호판 데이터를 추출한다.

학습부(130)는 정상으로 판단된 번호판 이미지와 적대적 공격을 받은 것으로 판단된 번호판 이미지를 이용하여 각각의 데이터셋을 생성한다. 그리고 학습부(130)는 생성된 각각의 데이터셋을 기 구축된 기계 학습 알고리즘에 입력하여 적대적 공격 발생 여부를 판단하도록 학습시킨다.

그리고, 판단부(140)는 학습이 완료된 기계 학습 알고리즘에 판단 대상이 되는 차량 이미지를 입력하여 적대적 공격 여부를 판단한다. 그리고, 판단 대상이 되는 차량 이미지에 적대적 공격이 발생된 것으로 판단되면, 판단부(140)는 판단 대상이 되는 차량 이미지를 강화부(150)에 전달한다.

그러면, 강화부(150)는 전달받은 판단 대상이 되는 차량 이미지를 적대적 데이터셋에 업로드하여 구축된 기계 학습 알고리즘을 재학습시킨다.

이하에서는 도 2 내지 도 4를 이용하여 본 발명의 실시예에 따른 차량 번호판에 대한 오인식 방지 장치를 이용하여 기계 학습 알고리즘을 학습시키는 방법에 대해 더욱 상세하게 설명한다.

도 2는 본 발명의 실시예에 따른 오인식 방지 장치를 이용하여 기계 학습 알고리즘을 학습하는 방법을 설명하기 위한 순서도이다.

도 3은 섭동에 의해 오인식된 차량 이미지를 설명하기 위한 예시도이고, 도 4는 물리적 조작에 의해 오인식된 차량 이미지를 설명하기 위한 예시도이다.

도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 입력부(110)는 차량의 전면 또는 후면을 촬영하여 생성된 차량 이미지를 입력받는다(S210).

이때 입력되는 차량 이미지는 정상으로 판단된 차량 이미지와 적대적 공격을 받은 것으로 판단된 차량 이미지를 포함하며, 판단이 완료된 차량 이미지는 차량번호 추출부(120)에 전달된다.

그러면, 차량번호 추출부(120)는 전달받은 차량 이미지로부터 번호판 데이터를 획득한다(S220).

부연하자면, 차량번호 추출부(120)는 정상으로 판단된 차량 이미지와 적대적 공격을 받은 것으로 판단된 차량 이미지로부터 번호판에 대한 영역을 추출하고, 추출된 번호판에 대한 영역으로부터 번호판 데이터를 추출한다. 여기서, 번호판 데이터는 번호판 영역에 대한 크기, 번호판 영역에 대한 조도값, 번호판 내에 포함된 문자 또는 숫자에 해당하는 픽셀값, 문자 또는 숫자의 크기 및 문자 또는 숫자들간의 간격 중에서 적어도 하나의 데이터를 포함한다.

그 다음, 학습부(130)는 정상으로 판단된 차량 이미지 및 적대적 공격을 받은 것으로 판단된 차량 이미지를 이용하여 각각의 데이터셋을 생성하고, 생성된 데이터셋을 기계 학습 알고리즘에 입력하여 번호판의 적대적 공격 발생 여부를 판단하도록 학습시킨다(S230).

부연하자면, 학습부(130)는 정상으로 판단된 차량 이미지로부터 추출된 번호판 데이터를 이용하여 정상 데이터셋을 생성한다. 그리고, 학습부(130)는 적대적 공격으로 판단된 차량 이미지로부터 추출된 번호판 데이터를 이용하여 적대적 데이터셋을 생성한다.

여기서 적대적 데이터셋은 섭동에 의해 오인식된 차량 이미지와 물리적 조작에 의해 오인식된 차량 이미지를 이용하여 생성된다.

먼저, 섭동은 기계 학습 알고리즘의 불안정성을 이용하여 발생된 적대적 공격을 나타낸다. 예를 들면, 도 3에 도시된 바와 같이, 육안으로 확인된 번호판의 번호가 "12가 3456"이었다고 가정한다. 이때 섭동이 발생되면, 기계 학습 알고리즘은 "12가 3456"을 "12가 5596"으로 오인식할 수 있다.

그리고, 도 4에 도시된 바와 같이, 사용자가 악의를 가지고 차량의 번호판에 물리적 조작을 가하였을 경우, 기계 학습 알고리즘은 "12가 3456"을 "12다 8496"으로 오인식할 수 있다.

여기서 물리적 조작은 차량 번호판의 선명도 변화, 조도 변화, 숫자 간격 조정, 이미지 스티커 부착 중에서 적어도 하나를 포함한다.

그 다음, 학습부(130)는 생성된 정상 데이터셋과 적대적 데이터셋을 기계 학습 알고리즘에 입력하여 학습시킨다. 본 발명의 실시예에 따른 기계 학습 알고리즘은 역전파법을 이용하여 학습된다. 이를 다시 설명하면, 학습부(130)는 정상 데이터셋 또는 적대적 데이터셋을 입력하였을 때 기계 학습 알고리즘에서 실제적으로 출력된 결과값과 정상 데이터셋 또는 적대적 데이터셋을 입력하였을 때 요구되는 출력값을 상호 비교한다. 그리고, 학습부(130)는 비교한 결과에 따라 산출된 오류를 이용하여 출력층 및 은닉층에 부여되는 가중치를 수정함으로써 기계 학습 알고리즘을 학습시킨다.

기계 학습 알고리즘의 학습이 완료되면, 판단부(140)는 판단 대상이 되는 차량 이미지로부터 번호판 데이터를 추출하고, 추출된 번호판 데이터를 학습이 완료된 기계 학습 알고리즘에 입력하여 적대적 공격 여부를 판단한다.

이하에서는 도 5를 이용하여 본 발명의 실시예에 따른 오인식 방지 장치를 이용하여 적대적 공격이 적용된 차량 번호판을 판별하는 방법에 대해 더욱 상세하게 설명한다.

도 5는 본 발명의 실시예에 따른 오인식 방지 장치를 이용하여 적대적 공격이 적용된 차량 번호판을 판별하는 방법을 설명하기 위한 순서도이다.

도 5에 도시된 바와 같이, 본 발명의 실시예에 따른 입력부(110)는 판단 대상이 되는 차량 이미지를 입력받는다(S510).

이때, 입력되는 차량 이미지는 적대적 공격 여부가 발생되었는지 여부를 알 수 없는 차량에 대한 이미지로서, 도로, 톨게이트, 건물의 출입구 및 무인 주차장 등에 설치된 카메라를 통해 촬영된 차량 이미지를 입력받는다.

그 다음, 차량번호 추출부(120)는 입력된 판단 대상이 되는 차량 이미지로부터 번호판 데이터를 추출한다(S520).

먼저, 차량번호 추출부(120)는 판단 대상이 되는 차량 이미지로부터 번호판에 대한 영역을 추출한다. 부연하자면, 번호판은 사각형상으로 형성되며 표준 규격으로 생성된다. 그러므로 차량번호 추출부(120)는 엣지 추출 알고리즘을 기반으로 입력된 판단 대상이 되는 차량 이미지로부터 번호판에 해당하는 영역을 추정한다. 그 다음, 차량번호 추출부(120)는 픽셀값을 이용하여 번호판의 각 모서리에 해당하는 위치 좌표를 추출하고, 추출된 위치 좌표를 이용하여 번호판 영역을 정규화한다.

그 다음, 차량번호 추출부(120)는 문자 인식 알고리즘을 이용하여 번호판의 문자들을 추출한다. 그리고, 차량번호 추출부(120)는 번호판 영역에 대한 크기, 번호판 영역에 대한 조도값, 번호판 내에 포함된 문자 또는 숫자에 해당하는 픽셀값, 문자 또는 숫자의 크기 및 문자 또는 숫자들간의 간격 중에서 적어도 하나를 포함하는 번호판 데이터를 획득한다.

S520단계가 완료되면, 판단부(140)는 전달받은 번호판 데이터를 학습이 완료된 기계 학습 알고리즘에 입력하여 번호판에 적대적 공격 여부를 판단한 결과를 수신한다(S530).

즉, 판단부(140)는 추출된 번호판 데이터를 기계 학습 알고리즘에 입력한다. 그러면, 기계 학습 알고리즘은 입력된 번호판 데이터를 이용하여 판단 대상이 되는 차량 이미지에 대한 판단 결과를 출력한다.

따라서, 기계 학습 알고리즘은 입력된 번호판 데이터를 이용하여 적대적 공격 발생 여부를 판단하고, 판단된 결과를 판단부(140)에 전달한다.

S530에서 판단 대상이 되는 차량 이미지에 적대적 공격이 발생되지 않은 것으로 판단되면, 판단부(140)는 입력된 판단 대상이 되는 차량 이미지에 포함된 번호판의 번호와 동일한 번호로 출력시킨다. 그리고 판단부(140)는 판단 대상이 되는 차량 이미지에 대한 오인식 과정을 종료한다(S540).

반면에, S220에서 판단 대상이 되는 차량 이미지에 적대적 공격이 발생된 것으로 판단되면, 판단부(140)는 입력된 판단 대상이 되는 차량 이미지를 강화부(150)에 전달한다. 그러면, 강화부(150)는 전달받은 차량 이미지를 이용하여 적대적 데이터셋을 업데이트시킨다(S550).

그리고, 강화부(150)는 업데이트된 적대적 데이터셋을 학습부(130)에 전달하여 기계 학습 알고리즘을 재학습시킨다.

이와 같이 본 발명에 따르면, 딥러닝 모델을 반복적으로 학습함으로써, 차량 번호판에 포함된 섭동으로 인해 번호 및 문자의 내용을 오인식하게 하는 적대적 공격에 대응하여 정확한 판단 결과를 제공하므로 공격자의 악의적인 공격을 무력화할 수 있다. 또한, 본 발명에 따르면, 범용적으로 사용되는 자동차 번호판 인식 시스템에 악의를 가지고 공격하는 것을 사전에 방어함으로써, 경제적 및 사회적 손실을 최소화할 수 있다.

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

100 : 오인식 방지 장치
110 : 입력부
120 : 차량번호 추출부
130 : 학습부
140 : 판단부
150 : 강화부

Claims (12)

1. 적대적 공격이 적용된 차량 번호판을 판별하기 위한 오인식 방지 장치에 있어서,
   정상으로 판단된 차량 이미지로부터 정상 데이터셋을 생성하고, 적대적 공격을 받은 것으로 판단된 차량 이미지로부터 적대적 데이터셋을 생성한 다음, 상기 생성된 정상 데이터셋 및 적대적 데이터셋을 이용하여 기 구축된 기계 학습 알고리즘을 학습시키는 학습부,
   판단 대상이 되는 차량 이미지를 입력받는 입력부,
   상기 판단 대상이 되는 차량 이미지로부터 번호판에 대한 영역을 추출하고, 상기 추출된 번호판에 대한 영역에 포함되어 있는 숫자 및 문자에 대한 정보를 포함하는 번호판 데이터를 추출하는 차량번호 추출부,
   상기 번호판 데이터를 기 학습된 기계 학습 알고리즘에 입력하여 상기 번호판에 대한 적대적 공격 여부를 판단하는 판단부, 그리고
   적대적 공격이 발생된 것으로 판단되면, 상기 판단 대상이 되는 차량 이미지를 이용하여 상기 적대적 데이터셋을 업데이트하고, 상기 업데이트된 적대적 데이터셋을 이용하여 기계 학습 알고리즘을 재학습시키는 강화부를 포함하며,
   상기 기계 학습 알고리즘은,
   역전파법을 이용하여 출력층 및 은닉층에 부여되는 가중치를 수정하여 차량 번호판에 대한 적대적 공격 발생 여부를 판단하도록 학습되는 오인식 방지 장치.
2. 제1항에 있어서,
   상기 번호판 데이터는,
   번호판 영역에 대한 크기, 번호판 영역에 대한 조도값, 번호판 내에 포함된 문자 및 숫자의 크기 그리고 문자 및 숫자들 간의 간격 중에서 적어도 하나의 데이터를 포함하는 오인식 방지 장치.
3. 삭제
4. 제1항에 있어서,
   상기 적대적 데이터셋은,
   상기 기계 학습 알고리즘이 견고하지 않기 때문에 발생할 수 있는 섭동에 따라 오인식된 차량 이미지, 및 물리적 조작에 의해 오인식된 차량 이미지를 이용하여 생성되며,
   상기 물리적 조작에 의해 오인식된 차량 이미지는,
   차량 번호판의 선명도 변화, 조도 변화, 숫자 간격 조정, 이미지 스티커 부착 중에서 적어도 하나를 포함하는 오인식 방지 장치.
5. 삭제
6. 제1항에 있어서,
   상기 판단부는,
   상기 판단 대상이 되는 차량이미지에 적대적 공격이 포함되지 않은 것으로 판단되면, 상기 판단 대상이 되는 차량 이미지에 포함된 번호판의 번호를 동일하게 출력하고, 상기 판단 대상이 되는 차량 이미지에 대한 오인식 방지 과정을 종료하는 오인식 방지 장치.
7. 오인식 방지 장치를 이용하여 적대적 공격이 적용된 차량 번호판을 판별하기 위한 오인식 방지 방법에 있어서,
   정상으로 판단된 차량 이미지로부터 정상 데이터셋을 생성하고, 적대적 공격을 받은 것으로 판단된 차량 이미지로부터 적대적 데이터셋을 생성한 다음, 상기 생성된 정상 데이터셋 및 적대적 데이터셋을 이용하여 기 구축된 기계 학습 알고리즘을 학습시키는 단계,
   판단 대상이 되는 차량 이미지를 입력받는 단계,
   상기 판단 대상이 되는 차량 이미지로부터 번호판에 대한 영역을 추출하고, 상기 추출된 번호판에 대한 영역에 포함되어 있는 숫자 및 문자에 대한 정보를 포함하는 번호판 데이터를 추출하는 단계,
   상기 번호판 데이터를 기 학습된 기계 학습 알고리즘에 입력하여 상기 번호판에 대한 적대적 공격 여부를 판단하는 단계, 그리고
   적대적 공격이 발생된 것으로 판단되면, 상기 판단 대상이 되는 차량 이미지를 이용하여 상기 적대적 데이터셋을 업데이트하고, 상기 업데이트된 적대적 데이터셋을 이용하여 기계 학습 알고리즘을 재학습시키는 단계를 포함하며,
   상기 기계 학습 알고리즘은,
   역전파법을 이용하여 출력층 및 은닉층에 부여되는 가중치를 수정하여 차량 번호판에 대한 적대적 공격 발생 여부를 판단하도록 학습되는 오인식 방지 방법.
8. 제7항에 있어서,
   상기 번호판 데이터는,
   번호판 영역에 대한 크기, 번호판 영역에 대한 조도값, 번호판 내에 포함된 문자 및 숫자의 크기 그리고 문자 및 숫자들 간의 간격 중에서 적어도 하나의 데이터를 포함하는 오인식 방지 방법.
9. 삭제
10. 제7항에 있어서,
    상기 적대적 데이터셋은,
    상기 기계 학습 알고리즘이 견고하지 않기 때문에 발생 할 수 있는 섭동에 따라 오인식된 차량 이미지, 및 물리적 조작에 의해 오인식된 차량 이미지를 이용하여 생성되며,
    상기 물리적 조작에 의해 오인식된 차량 이미지는,
    차량 번호판의 선명도 변화, 조도 변화, 숫자 간격 조정, 이미지 스티커 부착 중에서 적어도 하나를 포함하는 오인식 방지 방법.
11. 삭제
12. 제7항에 있어서,
    상기 적대적 공격 여부를 판단하는 단계는,
    상기 판단 대상이 되는 차량이미지에 적대적 공격이 포함되지 않은 것으로 판단되면, 상기 판단 대상이 되는 차량 이미지에 포함된 번호판의 번호를 동일하게 출력하고, 상기 판단 대상이 되는 차량 이미지에 대한 오인식 방지 과정을 종료하는 오인식 방지 방법.

Images