KR102087889B1 - 화살표 이미지 기반 딥러닝 교육 시스템 - Google Patents

Abstract

신경망 모델을 이용하되, 상기 신경망 모델은 화살표 이미지를 입력받고 상기 화살표 이미지가 나타내는 방향을 출력하는, 화살표 이미지 기반 딥러닝 교육 시스템에 관한 것으로서, 화살표 이미지의 기준 이미지를 저장해두는 화살표 관리부; 상기 신경망 모델의 출력에 대한 방향 범주, 및, 각 방향 범주의 방향 범위를 설정하는 망모델 설정부; 학습 데이터의 모집단을 설정하되, 학습 데이터의 화살표 이미지를 생성하기 위한 형태 변수들을 선정하는 모집단 설정부; 학습 데이터의 크기를 설정하고, 설정된 크기의 학습 데이터를 상기 모집단에서 샘플링하여 상기 신경망 모델을 학습시키되, 선정된 형태 변수의 변수값을 랜덤하게 설정하여 화살표 이미지를 생성함으로써 학습 데이터를 샘플링하는 신경망 학습부; 및, 상기 모집단에서 테스트 데이터를 샘플링하여, 상기 테스트 데이터로 상기 신경망 모델을 평가하는 모델 평가부를 포함하는 구성을 마련한다.
상기와 같은 시스템에 의하여, 학습 데이터의 모집단, 학습 데이터의 크기 등을 직접 선정하여 그에 따른 딥러닝의 정확도를 실험함으로써, 딥러닝의 구조나 신경망의 학습 특징들을 학습자에게 이해시킬 수 있다.

Description

화살표 이미지 기반 딥러닝 교육 시스템 { A deep-learning eduacation system using arrow images }

본 발명은 화살표 이미지를 학습 데이터로 신경망을 학습시켜 방향 검출의 정확도를 측정할 수 있는 교육 도구를 제공하되, 모집단의 다양성 정도, 학습 데이터의 크기, 출력의 크기 등이 딥러닝의 정확도에 미치는 영향을 교육시키는, 화살표 이미지 기반 딥러닝 교육 시스템에 관한 것이다.

또한, 본 발명은 화살표 이미지에 대하여 x, y, z 축 방향의 회전, 크기, 또는, 종류를 달리하여 학습 데이터의 모집단을 생성하고, 모집단에서 샘플링하여 실험용 학습 데이터를 추출하고, 딥러닝을 통한 화살표 방향 인식을 실험하는, 화살표 이미지 기반 딥러닝 교육 시스템에 관한 것이다.

디지털 통신기술의 발달과 컴퓨팅 성능의 개선에 따라 복잡한 딥러닝에 기반한 인공지능 알고리즘의 성공적인 적용 사례도 늘어가고 있는 추세이다. 특히 기계학습의 경우 계산량이 너무 많아 과거에는 실생활에 적용하기 어려운 것으로 여겨졌으나, 최근에는 실생활에 딥러닝이 활용되는 경우가 많으며, 그 적용분야도 점점 확대되고 있는 추세이다.

이러한 인공지능의 근간은 컴퓨터 프로그래밍에 의해서 실현되는 것이기 때문에 소프트웨어에 대한 전문적인 지식을 갖춘 전문가를 양성하는 것이 필요하다. 따라서 컴퓨터의 활용력을 높이기 위한 각종 소프트웨어 교육의 필요성이 점차 증가하고 있으며, 웹 프로그램, 애플리케이션 프로그램, 빅데이터 분석, 데이터 마이닝, 통계분석 등과 관련한 소프트웨어를 직접 제작하는 것에 대한 사용자들의 관심도가 높아지고 있다.

이러한 시대적 요구에 따라, 인공지능과 코딩 교육을 함께 묶어 제공되는 교육 도구들이 제시되고 있다[특허문헌 1,2]. 그런데 이러한 선행기술들은 프로그래밍의 코딩 기능에 딥러닝 등 인공지능 기능을 포함시켜, 이미 구축된 딥러닝 기능을 단순히 이용할 수 있게 구성한다.

따라서 종래의 인공지능 교육 도구들은 딥러닝을 위한 구조나 특징 등을 이해하는데 직접적인 도움을 주지 않고 있다.

한국공개특허 제10-2018-0124310호(2018.11.21.공개) 한국공개특허 제10-2019-0061488호(2019.06.05.공개)

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 화살표 이미지를 학습 데이터로 신경망을 학습시켜 방향 검출의 정확도를 측정할 수 있는 교육 도구를 제공하되, 모집단의 다양성 정도, 학습 데이터의 크기, 출력의 크기 등이 딥러닝의 정확도에 미치는 영향을 교육시키는, 화살표 이미지 기반 딥러닝 교육 시스템을 제공하는 것이다.

즉, 본 발명의 목적은 화살표 이미지에 대하여 x, y, z 축 방향의 회전, 크기, 또는, 종류를 달리하여 학습 데이터의 모집단을 생성하고, 모집단에서 샘플링하여 실험용 학습 데이터를 추출하고, 딥러닝을 통한 화살표 방향 인식을 실험하는, 화살표 이미지 기반 딥러닝 교육 시스템을 제공하는 것이다.

상기 목적을 달성하기 위해 본 발명은 신경망 모델을 이용하되, 상기 신경망 모델은 화살표 이미지를 입력받고 상기 화살표 이미지가 나타내는 방향을 출력하는, 화살표 이미지 기반 딥러닝 교육 시스템에 관한 것으로서, 화살표 이미지의 기준 이미지를 저장해두는 화살표 관리부; 상기 신경망 모델의 출력에 대한 방향 범주, 및, 각 방향 범주의 방향 범위를 설정하는 망모델 설정부; 학습 데이터의 모집단을 설정하되, 학습 데이터의 화살표 이미지를 생성하기 위한 형태 변수들을 선정하는 모집단 설정부; 학습 데이터의 크기를 설정하고, 설정된 크기의 학습 데이터를 상기 모집단에서 샘플링하여 상기 신경망 모델을 학습시키되, 선정된 형태 변수의 변수값을 랜덤하게 설정하여 화살표 이미지를 생성함으로써 학습 데이터를 샘플링하는 신경망 학습부; 및, 상기 모집단에서 테스트 데이터를 샘플링하여, 상기 테스트 데이터로 상기 신경망 모델을 평가하는 모델 평가부를 포함하는 것을 특징으로 한다.

또, 본 발명은 화살표 이미지 기반 딥러닝 교육 시스템에 있어서, 상기 방향 범주는 적어도 2개 이상이고, 각 방향 범주의 방향 범위는 서로 겹치지 않도록 설정되는 것을 특징으로 한다.

또, 본 발명은 화살표 이미지 기반 딥러닝 교육 시스템에 있어서, 상기 형태 변수는 z축 회전 각도를 포함하고, 화살표 종류, x축 회전, y축 회전, 및, 이미지의 크기 중 어느 하나 이상을 더 포함하는 것을 특징으로 한다.

또, 본 발명은 화살표 이미지 기반 딥러닝 교육 시스템에 있어서, 상기 x축 회전, y축 회전, 및, z축 회전의 회전 범위는 각각 360도, 90도, 360도의 범위를 갖는 것을 특징으로 한다.

또, 본 발명은 화살표 이미지 기반 딥러닝 교육 시스템에 있어서, 상기 신경망 학습부는 각 형태 변수에 대해 랜덤으로 변수값을 획득하고, 획득된 변수값들의 조합에 의하여 학습 데이터의 화살표 이미지를 생성하되, 기준 이미지로부터 변수값을 반영하여 학습데이터의 화살표 이미지를 생성하는 것을 특징으로 한다.

또, 본 발명은 화살표 이미지 기반 딥러닝 교육 시스템에 있어서, 상기 신경망 학습부는 학습 데이터의 화살표 이미지에 대한 라벨을, 해당 이미지의 형태 변수 중에서 z축 회전의 변수 값에 의해 결정하는 것을 특징으로 한다.

상술한 바와 같이, 본 발명에 따른 화살표 이미지 기반 딥러닝 교육 시스템에 의하면, 학습 데이터의 모집단, 학습 데이터의 크기 등을 직접 선정하여 그에 따른 딥러닝의 정확도를 실험함으로써, 딥러닝의 구조나 신경망의 학습 특징들을 학습자에게 이해시킬 수 있는 효과가 얻어진다.

도 1은 본 발명을 실시하기 위한 전체 시스템에 대한 구성도.
도 2는 본 발명의 일실시예에 따른 다양한 화살표의 기준 이미지를 나타낸 예시도.
도 3은 본 발명의 일실시예에 따른 서로 다른 방향을 나타내는 동일한 형상의 화살표 이미지들에 대한 예시도.
도 4는 본 발명에서 사용되는 신경망 모델에 대한 예시도.
도 5는 본 발명의 일실시예에 따른 화살표 이미지의 4가지 방향과 그 인식범위를 예시한 표.
도 6은 본 발명의 일실시예에 따른 동일한 방향을 나타내는 다양한 화살표 이미지에 대한 예시도.
도 7은 본 발명의 일실시예에 따른 화살표 이미지의 2가지 방향과 그 인식범위를 예시한 표.
도 8은 본 발명의 일실시예에 따른 화살표 이미지 기반 딥러닝 교육 시스템의 구성에 대한 블록도.
도 9는 본 발명의 일실시예에 따른 형태 변수값에 의해 생성되는 화살표 이미지에 대한 예시도.
도 10은 본 발명의 일실시예에 따른 각 형태 변수의 경우 수와, 전체 모집단의 경우 수를 나타낸 예시 표.

이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.

또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.

먼저, 본 발명을 실시하기 위한 전체 시스템의 구성에 대하여 도 1을 참조하여 설명한다.

도 1에서 보는 바와 같이, 본 발명을 실시하기 위한 전체 시스템은 화살표 이미지가 표시된 화살표 표지판(10), 화살표 이미지를 촬영하여 획득하는 카메라(20), 화살표 이미지를 학습하여 방향을 인식하는 딥러닝 교육 장치(30), 및, 원격 조정이 가능한 스프라이트(60)로 구성된다. 또한, 딥러닝 교육 장치(30)는 신경망 모델(40)을 포함하여 구성된다. 또한, 추가적으로, 스프라이트(60) 또는 딥러닝 교육 장치(30)를 원격에서 제어하기 위한 마스터 제어장치(11)를 더 포함하여 구성될 수 있다.

먼저, 화살표 표지판(10)은 화살표 이미지(또는 화살표의 기준 이미지)가 표시된 표지판이다.

일 실시예로서, 사용자가 화살표 표지판(10)을 든 상태에서, 카메라(20)에 의해 촬영된다. 또는 다른 실시예로서, 화살표 표지판(10)이 x축, y축, z축 등 각 방향으로 회전하여 조절할 수 있는 회전조절 장치(미도시)에 부착될 수 있다. 이때, 회전조절 장치의 회전 조절에 의해 화살표 표지판(10)이 회전된 상태에서 카메라(20)에 의해 촬영될 수 있다.

도 2에서 보는 바와 같이, 화살표 이미지는 방향을 나타내는 다양한 이미지로 구성될 수 있다.

또한, 일 실시예로서, 화살표 표지판(10)은 동일한 형태의 화살표 이미지가 각 방향을 나타내는 다수 개의 표지판으로 구성될 수 있다. 예를 들어, 도 3과 같이, 우회전 방향, 후진 방향, 좌회전 방향, 직진 방향 등 4개의 방향을 각각 나타내는 4개의 표지판으로 구성될 수 있다. 즉, 표지판 (a), (b), (c), (d) 등 4개의 표지판을 별도로 각각 구성한다.

또 다른 실시예로서, 화살표 표지판(10)은 하나의 표지판으로 구성된다. 그리고 해당 하나의 표지판(10)을 회전시켜 각 방향을 나타낼 수 있다. 즉, 도 3의 예에서, 하나의 표지판 (a)를 90도 회전시켜 (b) 상태로, 다시 90도 회전시켜 (c) 상태를, 다시 90도를 회전시켜 (d) 상태를 나타내게 할 수 있다. 이 경우, 사용자는 하나의 화살표 표지판(10)을 회전시켜, 스프라이트(80)의 방향을 제어할 수 있다.

한편, 도 2와 같이, 사전에 정해진 방향, 예를 들어, 정북향을 향하는 화살표 이미지를 기준 이미지(또는 화살표의 기준 이미지)라 부르기로 한다. 즉, 기준 이미지로부터 다양한 방향의 화살표 이미지를 획득할 수 있다.

다음으로, 마스터 제어장치(11)는 딥러닝 교육 장치(30) 또는 스프라이트(80)를 제어하기 위한 원격 장치로서, 딥러닝 교육 장치(30)의 온/오프 또는, 스프라이트(80)의 온/오프 또는 정지를 제어한다.

바람직하게는, 마스터 제어장치(11)는 스프라이트(80)를 직접 제어하지 않고, 딥러닝 교육 장치(30)를 통해 제어한다. 특히, 마스터 제어장치(11)는 스프라이트(80)의 온/오프, 정지, 또는 속도 등 방향 외 다른 기능을 제어한다.

바람직하게는, 마스터 제어장치(11)는 화살표 표지판(10)에 부착될 수 있다. 이 경우, 사용자는 화살표 표지판(10)을 회전시키면서 스프라이트(80)의 방향을 제어하고, 마스터 제어장치(11)의 제어판을 통해 온/오프, 또는 정지 등을 제어할 수 있다.

다음으로, 카메라(20)는 통상의 카메라로서, 화살표 표지판(10)을 촬영하여 화살표 이미지를 획득하고, 획득된 이미지를 딥러닝 교육 장치(30)에 전송한다.

다음으로, 스프라이트 장치(80)는 이동수단 및 통신수단을 구비하여, 딥러닝 교육 장치(30)와 통신하고, 딥러닝 교육 장치(30)로부터 수신한 제어 명령에 따라 이동하거나 동작된다. 일례로서, 스프라이트 장치(80)는 바퀴와 모터 등으로 구성된 원격제어 모형 자동차 등으로 구현될 수 있다.

특히, 스프라이트 장치(80)는 딥러닝 교육 장치(30)로부터 제어신호를 수신하고, 제어신호에 따라 해당 방향으로 회전하여 움직인다.

다음으로, 딥러닝 교육 장치(30)는 화살표 이미지들의 학습 데이터를 이용하여 신경망을 학습시키고, 촬영된 화살표 이미지를 입력받아 신경망을 통해 방향 값을 출력받고, 출력된 방향 값으로 스프라이트 장치(80)를 제어한다.

즉, 딥러닝 교육 장치(30)는 신경망 모듈을 구비하고, 학습 데이터를 통해 신경망 모듈을 학습시키고, 카메라(10)를 통해 입력된 화살표 이미지를 신경망 모듈에 입력시켜 출력인 방향 값을 획득하고, 획득된 방향 값으로 제어신호를 출력한다.

또한, 딥러닝 교육 장치(30)는 사용자로부터 실험 모델의 설정 정보를 입력받는다. 실험 모델의 설정 정보는 신경망 모델의 출력을 정의하는 방향신호(출력) 설정 정보, 학습 데이터의 모집단을 정의하는 모집단 설정 정보, 라벨링을 위한 각 방향신호의 회전 범위를 정의하는 라벨링 설정 정보, 학습 데이터의 크기 정보 등으로 구성된다.

또한, 딥러닝 교육 장치(30)는 실험 모델의 설정 정보에 따라 신경망 모델을 정의한다. 즉, 제어신호 설정 정보에 따라 신경망 모델의 출력 또는 출력 노드를 정의한다. 신경망의 출력(output)은 데이터 수치를 예측하는 회귀(regression) 형태와, 데이터의 특정 범주를 예측하는 분류(classification) 형태로 구분되고, 회귀 형태 출력은 1개의 출력 노드를 가지고, 분류 형태의 출력은 적어도 2개의 출력 노드를 가진다. 분류 형태의 출력 데이터는 라벨 값(범주 값)의 확률 값이다.

또한, 딥러닝 교육 장치(30)는 모집단 설정 정보에 따라 학습 데이터의 모집단을 설정하고, 학습 데이터의 크기 정보에 따라 모집단에서 학습 데이터를 랜덤하게 추출한다. 또한, 딥러닝 교육 장치(30)는 추출된 학습 데이터로 신경망을 학습시킨다.

또한, 딥러닝 교육 장치(30)는 테스트 데이터로 신경망의 정확도를 측정한다.

또한, 딥러닝 교육 장치(30)는 카메라(10)를 통해 획득된 화살표 이미지를 신경망 모듈에 입력시켜 출력인 방향 값을 획득하고, 획득된 방향에 따라 스프라이트(80)에 제어신호를 전송한다. 스프라이트(80)는 방향에 대한 제어신호에 따라 해당 방향으로 이동하게 된다.

다음으로, 신경망 모델(40)은 기초 컴퓨팅 단위인 뉴런(또는 노드) 여러 개가 가중된 링크(weighted link)로 연결된 형태의 인공 신경망 모델로서, 바람직하게는, DNN(Deep Neural Network), 순환형 신경망(RNN), 합성곱 신경망(CNN) 등 잘 알려진 신경망 모델로 구성된다.

도 4에서 보는 바와 같이, 신경망 모델(40)은 화살표 이미지 등을 입력받는 입력(input)과, 방향을 출력하는 출력(output), 그 내부에 다수의 노드(또는 뉴런)으로 구성된 레이어들로 구성된다.

신경망의 출력(output)은 데이터 수치를 예측하는 회귀(regression) 형태와, 데이터의 특정 범주를 예측하는 분류(classification) 형태로 구분되고, 회귀 형태 출력은 1개의 출력 노드를 가지고, 분류 형태의 출력은 적어도 2개의 출력 노드를 가진다. 분류 형태의 출력 데이터는 라벨 값(범주 값)의 확률 값이다.

분류 형태인 경우, 바람직하게는, 신경망 모델(40)은 각 데이터(또는 분류를 나타내는 라벨 값)에 대한 예측 가능성을 표현할 수 있는 소프트맥스(softmax) 값으로 계산하여 출력한다. 소프트맥스 값을 구하기 위한 소프트맥스(softmax) 함수는 다음과 같다.

[수학식 1]

여기서, x는 최종 출력을 나타내고, x_i는 각 범주 i의 최종 출력 값이고, k+1은 범주 개수를 나타낸다. e는 오일러 상수 또는 자연상수이다.

즉, 소프트맥스(softmax) 함수의 결과값은 예측하고자 하는 범주(또는 라벨 값)의 개수와 동일한 크기의 1차원 벡터로, 각 값을 모두 더하면 1.0이 되는 일종 의 확률분포이다.

한편, 신경망 모델(40)은 이미 구축된 신경망 모듈을 사용할 수 있다.

다음으로, 본 발명의 일실시예에 따른 화살표 이미지와 방향에 대하여 도 5 내지 도 7을 참조하여 설명한다.

도 5에서 보는 바와 같이, 화살표 이미지를 통해 방향을 설정할 수 있다. 도 5의 예에서는 직진, 후진, 우회전, 좌회전의 4가지 방향을 설정할 수 있다. 회전의 각도는 북쪽을 0도로 설정하고, 우측 회전 각도를 양의 값으로, 좌측 회전 각도를 음의 값으로 설정한다. 즉, 우측 회전 각도는 0 ~ 180도이고, 좌측 회전 각도는 0 ~ -180도이다.

화살표 이미지는 정확하게 직진 방향인 0도인 경우만 한정되지 않는다. 즉, 도 6에서 보는 바와 같이, 화살표 이미지가 정확하게 0도를 나타내지 않더라도 위의 방향을 향하면 직진으로 인식해야 한다.

따라서 해당 방향으로 인식하는 범위를 인식 범위(또는 방향 범위)라 부르기로 한다. 도 5의 예와 같이, 4가지 방향으로 구분하는 경우, 직진 방향은 -45도 ~ +45도 범위로 설정할 수 있고, 우회전 방향은 45 ~ 135도의 범위로 설정할 수 있다.

또한, 도 7에서 보는 바와 같이, 방향의 개수를 2개로 설정할 수 있다. 이 경우에는, 직진과 후진의 화살표 이미지의 회전 범위가 -90 ~ +90도, +90 ~ -90(+90 ~ 180, -180 ~ -90)도로 각각 설정될 수 있다.

또는, 직진, 우회전, 좌회전 등 3개의 방향만 설정할 수도 있다. 이때, 우회전 또는 좌회전의 회전 범위를 각각 +45 ~ +180도, -45 ~ -180도로 설정할 수 있다.

즉, 사용자의 선택에 따라, 방향의 개수를 세분화 할 수 있다. 방향의 개수는 제어신호(또는 방향 제어신호, 방향 신호)의 개수와 같다. 즉, 해당 방향에 따라, 해당 방향에 대응되는 제어신호(또는 방향신호)를 스프라이트(80)로 전송한다. 제어신호에 따라 스프라이트(80)의 진행 방향이 결정된다.

한편, 바람직하게는, 각 방향의 회전 범위는 겹쳐지지 않도록 설정될 수 있다. 도 5의 예에서 직진 방향의 인식 범위를 -30 ~ 30도로 정의하고, 후진 방향을 +150 ~ -150도 등으로 정의할 수 있다. 또한, 우회전 방향 및, 좌회전 방향을 각각 +60 ~ +120도, -60 ~ -120도로 정의할 수 있다. 이 경우, +30 ~ +60, -30 ~ -60, +120 ~ +150, -120 ~ -150 사이의 회전 각도에 대해서는 방향이 정의되지 않을 수 있다.

다음으로, 본 발명의 일실시예에 따른 화살표 이미지 기반 딥러닝 교육 시스템의 구성에 대하여 도 8을 참조하여 구체적으로 설명한다.

본 발명에 따른 화살표 이미지 기반 딥러닝 교육 시스템은 앞서 딥러닝 교육 장치(30)로 구현될 수 있다. 이하에서 딥러닝 교육 장치와 딥러닝 교육 시스템의 도면 부호를 동일하게 "30"으로 사용한다.

도 8에서 보는 바와 같이, 본 발명의 일실시예에 따른 화살표 이미지 기반 딥러닝 교육 시스템(30)은 화살표 관리부(31), 망모델 설정부(32), 모집단 설정부(33), 신경망 학습부(34), 및, 모델 평가부(35)로 구성된다. 추가적으로, 화살표 이미지를 인식하여 방향을 제어하는 제어신호를 출력하는 인식부(36), 스프라이트(80)를 제어하는 스프라이트 제어부(37)를 더 포함하여 구성될 수 있다.

먼저, 화살표 관리부(31)는 다양한 화살표 이미지를 수집하여 데이터베이스에 저장해둔다. 앞서 도 2에서 본 바와 같이, 화살표 이미지는 다양한 형상으로 존재할 수 있다.

화살표 관리부(31)는 화살표의 방향이나 크기와는 무관하게 동일한 형상인 경우 하나의 화살표 이미지(또는 화살표 형상 이미지)만을 저장하여 관리한다. 즉, 화살표 이미지를 회전하여 화살표 방향을 설정할 수 있으므로, 동일한 형상을 갖는 여러 방향의 다양한 형태의 화살표 이미지를 중복하여 저장하지 않아도 된다. 이때, 동일한 형상에 따른 화살표를 화살표의 종류라 부르기로 한다. 따라서 동일한 형상의 여러 형태(방향 또는 크기 등이 다른 형태)의 화살표 이미지들은 모두 동일한 종류이다.

다음으로, 망모델 설정부(32)는 신경망 모델(40)의 출력(방향) 및 회전 범위(방향의 범위) 등을 설정한다. 바람직하게는, 방향의 출력 및, 방향의 범위는 사용자의 입력에 의해 설정된다.

즉, 망모델 설정부(32)는 신경망 모델(40)의 출력 또는 출력 노드를 정의한다. 신경망 모델(40)의 출력은 방향(또는 스프라이트의 방향)을 나타낸다. 방향은 한정된 개수로 정해진 범주 형태와, 회전 각도를 나타내는 수치 형태로 구분된다.

범주 형태는 직진 방향, 후진 방향, 좌회전 방향, 우회전 방향 등 방향의 종류를 N개(N은 2 이상의 자연수)로 정한다. 방향의 종류는 적어도 2개 이상의 범주로 구분된다. 바람직하게는, 사용자의 입력에 따라 방향 범주의 개수가 정해진다. 예를 들어, 직진 방향과 후진 방향의 2개의 범주로 설정될 수도 있고, 직진, 후진, 좌회전, 우회전 등 4개의 범주로 설정될 수도 있다. 또한, 북향, 북동향, 동향, 동남향, 남향, 남서향, 서향, 서북향 등 8개의 범주로 설정될 수도 있다.

각 범주(또는 방향신호)는 곧 신경망 모델(40)의 출력 또는 출력 노드로 대응되어 정해진다. 즉, 범주의 개수만큼 신경만 모델(40)의 출력 노드의 개수가 정해진다. 각 범주는 하나의 출력 노드에 대응된다. 또한, 각 범주는 하나의 방향 또는 방향신호를 나타낸다. 따라서 각 출력 노드, 각 범주, 각 방향신호는 각각 일대일 대응관계를 갖는다.

또한, 수치 형태의 방향 신호는 하나의 값을 가지며, 회전 각도를 나타낸다. 예를 들어, 출력 값이 30도이면, 현재 방향에서 30도로 회전하는 것을 나타낸다.

한편, 신경망의 출력(output)은 데이터 수치를 예측하는 회귀(regression) 형태와, 데이터의 특정 범주를 예측하는 분류(classification) 형태로 구분된다. 회귀 형태 출력은 1개의 출력 노드를 가진다. 분류 형태의 출력은 적어도 2개의 출력 노드를 가진다. 이때, 분류 형태의 출력 데이터는 라벨 값(범주 값)의 확률 값이다.

따라서 신경망의 출력을 범주 형태로 설정하면 범주를 예측하는 분류 형태로 설정되고, 신경망의 출력을 수치 형태로 설정하면 특정 범주의 값을 예측하는 분류 형태로 설정된다.

또한, 망모델 설정부(32)는 각 출력 또는 방향에 대한 회전 범위(방향의 범위, 인식 범위)를 설정한다. 방향의 회전 범위는 출력이 범주 형태로 설정되는 경우에 한한다. 즉, 출력을 수치 형태(또는 회귀 형태)로 설정하는 경우에는 회전 범위를 설정하지 않아도 된다.

앞서 도 5의 예와 같이, 직진, 후진, 좌회전, 우회전, 4가지 방향으로 구분하는 경우, 직진 방향은 -45도 ~ +45도 범위로 설정할 수 있고, 우회전 방향은 45 ~ 135도의 범위로 설정할 수 있다.

방향의 회전 범위는 학습 데이터의 라벨링을 할 때 사용된다. 즉, 하나의 화살표 이미지의 학습 데이터가 어느 방향인지를 라벨할 때, 해당 화살표의 회전 각도가 어느 방향의 범위에 속하는지에 따라, 해당 이미지(또는 학습 데이터)의 라벨이 자동으로 결정된다. 예를 들어, 도 5의 예에서, 학습 데이터의 화살표 이미지가 30도로 회전된 경우, 해당 학습 데이터의 라벨은 "직진 방향"으로 자동으로 부여된다.

한편, 앞서 설명한 바와 같이, 각 방향의 회전 범위는 겹쳐지지 않도록 설정될 수 있다. 이 경우, 방향의 범위 내에 포함되지 않는 회전 각도가 있을 수 있다.

다음으로, 모집단 설정부(33)는 학습 데이터의 모집단을 설정한다. 즉, 모집단 설정부(33)는 형태 변수의 선정과, 선정된 형태 변수의 범위 및 단위를 설정함으로써, 학습 데이터의 모집단을 설정한다.

학습 데이터의 모집단은 화살표 이미지가 입력될 수 있는 모든 형태의 경우 수를 나타낸다. 화살표 이미지의 형태는 화살표 종류, x축, y축, z축 방향으로의 회전 각도, 이미지의 크기 등에 의해, 그 경우의 수가 결정된다. 화살표의 형태에 영향을 주는 화살표 종류, 각 축 방향의 회전, 이미지의 크기 등을 형태 변수라 부르기로 한다.

즉, 사용자가 화살표 표지판(10)을 손에 들고 카메라(20)로 촬영할 때, 사용자는 화살표 표지판(10)을 기울어지게 들고 있을 수 있고, 거리가 가깝거나 멀어질 수 있다. 따라서 전체의 경우 수는 이러한 모든 경우를 고려한다.

도 9는 한 종류의 화살표에 대하여, x축, y축, z축 방향으로의 회전 각도, 이미지의 크기 등 형태 변수에 따른 몇 가지의 경우를 나타내고 있다. 화살표의 방향을 나타내는 것은 z축 회전이다. 즉, z축 회전이 180도이면 후진 방향을 나타낸다.

또한, y축 회전은 90도가 넘어가면, 그 방향이 바뀐다. 따라서 y축은 90도를 넘어서지 않는 범위에서 회전해야 한다. 또한, x축 회전은 화살표의 방향축을 기준으로 회전하는 것이므로, 화살표의 양날개의 변화를 준다. 따라서 x축 회전은 0 ~ 360도 모두 가능하다.

즉, 각 형태 변수의 범위는 각 변수의 특징에 따라 사전에 정해진다. 즉, 화살표 종류는 형상이 다른 화살표의 개수로 정해진다. x축, y축, z축 회전의 범위는 각각 360도, 90도, 360도의 범위(0도에서 각각 360도, 90도, 360도의 범위)를 갖는다. 또한, 이미지의 크기는 사전에 설정되거나, 사용자에 의해 설정될 수 있다. 바람직하게는, 이미지의 크기는 50% ~ 150%의 범위를 갖는다.

화살표 종류, x축, y축, z축 방향으로의 회전 각도, 이미지의 크기 등 형태 변수들에 의한 화살표 이미지의 경우 수를 도 10에 예시하였다.

도 10에서, 화살표 종류를 100가지로 가정한다. 그리고 회전 각도의 단위를 1도로 하고, 크기의 단위를 1%로 정한다. 이 경우, 화살표 종류, x축, y축, z축 방향으로의 회전 각도, 이미지의 크기의 각 경우 수는 100, 360, 90, 360, 100이고, 전체 조합의 경우 수는 116,640,000,000 이다.

전체 조합의 경우 수는 각 변수의 단위에 따라 달라진다. 예를 들어, 단위를 5도나, 5%로 넓게 설정하면, 전체 조합의 경우 수는 186,624,000 이다. 즉, 각 변수의 단위를 늘리면 그만큼 전체 조합의 경우 수는 줄어든다.

또한, 모집단 설정부(33)는 형태 변수의 선택 여부에 따라 전체 조합의 경우 수를 조절할 수 있다. 예를 들어, 화살표의 종류를 1개의 종류만 사용하여 실험을 수행한다면, 화살표의 종류는 1가지로 정해진다. 또한, x축, y축 회전은 허용하지 않을수도 있다. 또한, 크기는 동일한 것으로 가정할 수도 있다.

즉, 형태 변수 중에서 화살표의 방향을 나타내는 z축 회전은 반드시 포함되어야 하나, 나머지 형태 변수들은 실험에 따라 선택될 수 있다.

즉, 모집단 설정부(33)는 형태 변수의 선정과, 선정된 형태 변수의 단위를 설정함으로써, 모집단을 설정한다.

다음으로, 신경망 학습부(34)는 학습 데이터의 크기를 설정하고, 설정된 모집단에서 설정 크기의 학습 데이터를 샘플링하고, 샘플링된 학습 데이터로 신경망 모델(40)을 학습시킨다.

즉, 신경망 학습부(34)는 사용자의 선택 또는 입력에 따라, 학습 데이터의 크기를 설정한다. 사용자는 실험을 위해, 학습 데이터의 크기를 설정한다. 특히, 학습 데이터의 크기에 따른 정확도를 실험하기 위하여, 각 실험에서 학습 데이터의 크기를 달리 설정하고, 그 결과로 나타난 정확도를 비교할 수 있다. 예를 들어, 학습 데이터의 크기가 100일때, 학습 데이터의 크기가 1,000개일 때 또는, 10,000개일 때 등을 각각 실험하여, 그 결과(정확도)를 비교할 수 있다.

또한, 신경망 학습부(34)는 설정된 학습 데이터의 크기에 따라 모집단에서 각 형태 변수의 조합을 랜덤하게 추출하고, 추출된 형태 변수의 조합 값에 해당하는 학습 데이터 이미지를 생성한다.

예를 들어, 형태 변수가 x축, y축, z축 회전이라면, 이들 변수의 조합에 따라 조합의 각 변수값을 랜덤하게 추출한다. 이때, 통상의 랜덤 함수를 이용한다. 랜덤 함수에 의하여, x축, y축, z축 회전의 조합 값 < 32, 59, 153 >이 추출되었다면, 해당 조합 값의 화살표 이미지(또는 랜덤 화살표 이미지, 랜덤 이미지)를 생성한다.

이때, 신경망 학습부(34)는 화살표 이미지의 기준 이미지(전진 방향 또는 정북향 방향의 이미지)에 대해 변수 조합 값을 반영하여, 화살표 이미지(또는 랜덤 이미지)를 생성한다. 즉, 기준 이미지를 조합값에 맞게 x축, y축, z축 회전을 실제로 수행하여 랜덤 이미지를 생성한다. 크기 변수도 그 변수 값 만큼 기준 이미지를 축소 또는 확대하여 랜덤 이미지를 얻을 수 있다.

다른 실시예로서, 신경망 학습부(34)는 실제 화살표 표지판(10)을 고정하고 있는 회전조절 장치(미도시)를 제어하여, 회전조절 장치(미도시)를 변수의 조합값에 따라 회전 시키거나 거리를 조절시킨다. 그리고 조절된 상태에서 카메라(20)로 화살표 이미지(10)를 촬영하여 랜덤 이미지를 획득할 수도 있다.

또한, 신경망 학습부(34)는 해당 랜덤 이미지(또는 학습 데이터)에 대한 라벨을, 해당 랜덤 이미지의 형태 변수 중에서 z축 회전 변수 값에 의하여 결정한다. 즉, z축 회전 변수 값이 인식 범위(또는 방향 범위)에 속하는 방향으로, 라벨을 설정한다. 도 5의 예에서, 직진 방향이 -45 ~ +45도 범위인데, z축 회전 변수 값이 해당 범위 속하면, 직진 방향으로 라벨링한다. 참고로, 도 5의 회전 각도와 도 9의 회전 각도는 각각 기준이 서로 다르나, 이러한 각도 기준에 맞추어 회전 각도를 변환하여 범위에 속하는지 여부를 판단한다.

한편, 바람직하게는, 신경망 학습부(34)는 형태 변수 조합이 인식 범위(방향 범위)에 속하지 않는 경우, 해당 형태 변수 조합을 제외시킨다. 또는, 신경망 학습부(34)는 z축 회전 변수 값을 랜덤하게 샘플링할 때, 각 방향의 회전 범위 내에서만 랜덤하게 샘플링한다.

또한, 신경망 학습부(34)는 생성된 랜덤 이미지를 학습 데이터로 활용하여, 신경망 모델(40)을 학습시킨다. 즉, 생성된 랜덤 이미지와, 해당 이미지의 라벨을 신경망 모델(40)에 적용하여, 신경망 모델(40)을 학습시킨다.

또한, 모델 평가부(35)는 테스트 데이터로 신경망의 정확도를 측정한다.

즉, 모델 평가부(35)는 모집단에서 테스트 크기의 테스트용 데이터를 샘플링한다. 테스트 데이터의 샘플링 방법은 앞서 학습 데이터의 샘플링 방법과 동일하다. 테스트의 크기에 따라 모집단에서 각 형태 변수의 조합을 랜덤하게 추출하고(또는 샘플링하고), 추출된 형태 변수의 조합 값에 해당하는 테스트용 데이터 이미지(또는 테스트 이미지)를 생성한다. 이때, 테스트 이미지의 실제 방향 값은 테스트 이미지의 라벨과 같다. 즉, 테스트 이미지의 실제 방향 값은 z축 회전 변수 값에 의하여 결정되며, 특히, z축 회전 변수 값이 인식 범위(또는 방향 범위)에 속하는 방향으로, 실제 방향 값(라벨)이 설정된다.

한편, 바람직하게는, 모델 평가부(35)는 형태 변수 조합이 인식 범위(방향 범위)에 속하지 않는 경우, 해당 형태 변수 조합을 제외시킨다. 또는, 모델 평가부(35)는 z축 회전 변수 값을 랜덤하게 샘플링할 때, 각 방향의 회전 범위 내에서만 랜덤하게 샘플링한다.

또한, 모델 평가부(35)는 샘플링된 테스트 데이터로 신경망 모델(40)의 정확도를 평가한다. 즉, 샘플링된 테스트 데이터(또는 테스트용 화살표 이미지)를 신경망 모델(40)에 입력시켜 출력 결과(방향 결과)를 획득하고, 획득된 출력 결과(또는 방향 결과)와 실제 방향 값(라벨)을 비교하여 평가한다.

바람직하게는, 정확도는 전체 테스트 데이터의 개수 대비, 출력 결과와 실제 방향과 동일한 데이터의 개수를 백분율로 나타낸다.

[수학식 2]

한편, 모델 평가부(35)는 화살표 이미지의 기준 이미지에 대해 변수 조합 값을 반영하여, 화살표 이미지(또는 랜덤 이미지) 또는 테스트 이미지를 생성한다. 또는 다른 실시예로서, 모델 평가부(35)는 실제 화살표 표지판(10)을 고정하고 있는 회전조절 장치(미도시)를 제어하여, 회전조절 장치(미도시)를 변수의 조합값에 따라 회전 시키거나 거리를 조절시킨다. 그리고 조절된 상태에서 카메라(20)로 화살표 이미지(10)를 촬영하여 테스트 이미지를 획득할 수도 있다.

또한, 인식부(36)은 카메라(10)를 통해 입력된 화살표 이미지를 신경망 모델(40)에 입력시켜 출력인 방향 값을 획득한다.

즉, 인식부(36)는 촬영된 화살표 이미지를 카메라(10)로부터 입력받고, 입력된 화살표 이미지를 신경망 모델(40)에 입력시킨다. 그리고 신경망 모델(40)의 출력 값으로부터 방향 값을 획득한다.

다음으로, 스프라이트 제어부(37)은 획득된 방향 값에 따라, 스프라이트(80)의 방향 제어신호를 출력한다.

획득된 방향이 범주 형태인 경우, 스프라이트(80)가 해당 방향으로 회전할 수 있도록, 스프라이트(80)의 회전 신호를 출력한다. 예를 들어, 우회전인 경우, 바퀴의 진향 방향을 우측으로 회전시키면, 스프라이트(80)는 우측으로 회전한다. 이때, 회전 각도를 10도만 출력하여도 시간이 지날수록 스프라이트(80)는 우측 방향으로 계속 회전한다. 따라서 일정한 시간이 지나면, 결국, 스프라이트(80)는 우회전 방향으로 회전하게 된다. 이때, 다시 바퀴의 진행 방향을 직진 방향으로 되돌려야 한다. 이와 같이, 스프라이트 제어부(37)은 직진 방향에서 우회전 방향으로 회전할 때까지 스프라이트(80)의 회전을 제어한다. 상기와 같은 제어 방법은 통상의 제어 방법을 채용한다.

그러나 획득된 방향이 수치 형태(또는 회귀 형태)인 경우, 스프라이트 제어부(37)은 해당 방향 값을 계속 송출한다. 즉, 스프라이트(80)의 바퀴 회전 각도는 방향 신호의 방향값과 실시간으로 비례한다. 이때의 방향은 자동차의 운전대 방향과 같다. 사용자가 화살표 표지판(10)을 계속 10도 방향으로 틀면, 스프라이트(80)는 계속해서 10도 방향에 비례적으로 회전되어 진행한다.

다음으로, 본 발명의 효과를 실험의 예를 들어 보다 구체적으로 설명한다.

본 발명에 따른 딥러닝 교육 시스템은 화살표 이미지를 이용하여 신경망 모델을 학습시키고, 해당 신경망 모델의 정확도를 측정할 수 있다. 특히, 본 발명에 따른 딥러닝 교육 시스템은 학습 데이터의 모집단을 만들 수 있기 때문에, 학습 데이터의 크기에 따른 정확도의 변화를 실험할 수 있다.

즉, 본 발명은 화살표가 표시될 수 있는 다양한 형태를 형태 변수에 의해 특정하므로, 모든 형태의 화살표 이미지를 형태 변수로 표현할 수 있다. 즉, 형태 변수에 의해 생성된 화살표 이미지의 모집단은 표현 가능한 전체 화살표 이미지를 포함한다고 볼 수 있다.

따라서 모집단에서 랜덤하게 학습 데이터를 샘플링한다면, 확률적 관점에서 볼 때, 샘플의 크기 또는 학습 데이터의 크기는 정확도와의 상관 관계를 가지는 것이 명백하다. 따라서 학습 데이터의 크기에 따른 정확도를 실험하여, 유의미한 상관 관계를 도출할 수 있다.

그러나 종래 기술에 따른 딥러닝 학습 방법은 이러한 실험을 할 수 없다. 예를 들어, 고양이의 얼굴을 학습시켜 고양이를 판단하는 학습을 실험한다고 가정한다. 이때, 실험 A는 고양이의 얼굴 100개를 이용하고, 실험 B는 고양이의 얼굴 1,000개를 이용한다고 가정한다. 그런데, 실험 A는 다양한 페르시안의 고양이의 얼굴 사진 100개를 이용하고, 실험 B는 하나의 페르시안의 고양이의 다양한 얼굴 표정 1,000개를 이용한다.

이때, 실험 B의 결과에 의한 신경망의 정확도가 실험 A의 결과에 의한 신경망의 정확도 보다 더 높다라고 말할 수 없다. 이 실험에서, 학습 데이터의 크기와 신경망의 정확도 간에 상관 관계를 단언할 수 없다.

이것은 실험에서 고양이의 얼굴의 모집단을 정의하지 못하기 때문이다.

이에 반해, 본 발명은 화살표 이미지에서 화살표 방향을 인식하는 딥러닝 모델을 사용하는데, 형태 변수를 이용하여 화살표 이미지의 모집단을 형성할 수 있다. 그러므로 전체 모집단에서 샘플링하여 학습 데이터의 크기를 형성하기 때문에, 학습 데이터의 크기와 정확도 간에 상관 관계를 존재하고, 이를 실험할 수 있다.

이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

10 : 화살표 표지판 20 : 카메라
30 : 딥러닝 교육 시스템 31 : 화살표 관리부
32 : 망모델 설정부 33 : 모집단 설정부
34 : 신경망 학습부 35 : 모델 평가부
36 : 인식부 37 : 스프라이트 제어부
80 : 스프라이트

Claims (6)

1. 신경망 모델을 이용하되, 상기 신경망 모델은 화살표 이미지를 입력받고 상기 화살표 이미지가 나타내는 방향을 출력하는, 화살표 이미지 기반 딥러닝 교육 시스템에 있어서,
   화살표 이미지의 기준 이미지를 저장해두는 화살표 관리부;
   상기 신경망 모델의 출력에 대한 방향 범주, 및, 각 방향 범주의 방향 범위를 설정하는 망모델 설정부;
   학습 데이터의 모집단을 설정하되, 학습 데이터의 화살표 이미지를 생성하기 위한 형태 변수들을 선정하는 모집단 설정부;
   학습 데이터의 크기를 설정하고, 설정된 크기의 학습 데이터를 상기 모집단에서 샘플링하여 상기 신경망 모델을 학습시키되, 선정된 형태 변수의 변수값을 랜덤하게 설정하여 화살표 이미지를 생성함으로써 학습 데이터를 샘플링하는 신경망 학습부; 및,
   상기 모집단에서 테스트 데이터를 샘플링하여, 상기 테스트 데이터로 상기 신경망 모델을 평가하는 모델 평가부를 포함하는 것을 특징으로 하는 화살표 이미지 기반 딥러닝 교육 시스템.
   
2. 제1항에 있어서,
   상기 방향 범주는 적어도 2개 이상이고, 각 방향 범주의 방향 범위는 서로 겹치지 않도록 설정되는 것을 특징으로 하는 화살표 이미지 기반 딥러닝 교육 시스템.
   
3. 제1항에 있어서,
   상기 형태 변수는 z축 회전 각도를 포함하고, 화살표 종류, x축 회전, y축 회전, 및, 이미지의 크기 중 어느 하나 이상을 더 포함하는 것을 특징으로 하는 화살표 이미지 기반 딥러닝 교육 시스템.
   
4. 제3항에 있어서,
   상기 x축 회전, y축 회전, 및, z축 회전의 회전 범위는 각각 360도, 90도, 360도의 범위를 갖는 것을 특징으로 하는 화살표 이미지 기반 딥러닝 교육 시스템.
   
5. 제3항에 있어서,
   상기 신경망 학습부는 각 형태 변수에 대해 랜덤으로 변수값을 획득하고, 획득된 변수값들의 조합에 의하여 학습 데이터의 화살표 이미지를 생성하되, 기준 이미지로부터 변수값을 반영하여 학습데이터의 화살표 이미지를 생성하는 것을 특징으로 하는 화살표 이미지 기반 딥러닝 교육 시스템.
   
6. 제3항에 있어서,
   상기 신경망 학습부는 학습 데이터의 화살표 이미지에 대한 라벨을, 해당 이미지의 형태 변수 중에서 z축 회전의 변수 값에 의해 결정하는 것을 특징으로 하는 화살표 이미지 기반 딥러닝 교육 시스템.
   

Images