KR20200057850A - Visual-mimo 환경에서의 신경망 모델을 이용한 led 색상 예측 장치 및 그 방법 - Google Patents

Visual-mimo 환경에서의 신경망 모델을 이용한 led 색상 예측 장치 및 그 방법 Download PDF

Info

Publication number
KR20200057850A
KR20200057850A KR1020180141159A KR20180141159A KR20200057850A KR 20200057850 A KR20200057850 A KR 20200057850A KR 1020180141159 A KR1020180141159 A KR 1020180141159A KR 20180141159 A KR20180141159 A KR 20180141159A KR 20200057850 A KR20200057850 A KR 20200057850A
Authority
KR
South Korea
Prior art keywords
led
neural network
area
network model
image
Prior art date
Application number
KR1020180141159A
Other languages
English (en)
Other versions
KR102146665B9 (ko
KR102146665B1 (ko
Inventor
김기두
권태호
반익 파르타
Original Assignee
국민대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국민대학교산학협력단 filed Critical 국민대학교산학협력단
Priority to KR1020180141159A priority Critical patent/KR102146665B1/ko
Publication of KR20200057850A publication Critical patent/KR20200057850A/ko
Application granted granted Critical
Publication of KR102146665B1 publication Critical patent/KR102146665B1/ko
Publication of KR102146665B9 publication Critical patent/KR102146665B9/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50—Transmitters
    • H04B10/501—Structural aspects
    • H04B10/502—LED transmitters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Color Image Communication Systems (AREA)

Abstract

본 발명의 일 실시예로써, VISUAL-MIMO 환경에서의 신경망 모델을 이용한 LED 색상 예측 장치 및 그 방법이 제공될 수 있다. 본 발명의 일 실시예에 따른 VISUAL-MIMO 환경에서의 신경망 모델을 이용한 LED 색상 예측 장치에는 VISUAL-MIMO 환경에서 획득된 이미지로부터 LED 어레이(array) 영역을 식별하는 LED Array 식별부, 식별된 LED 어레이 영역에서 LED 영역을 검출하는 LED 영역 검출부, 검출된 LED 영역에 대한 이미지의 크기를 조정하는 이미지 크기 조정부, 조정된 크기의 이미지에 대하여 신경망 모델을 적용하여 학습시키는 신경망 학습부 및 학습의 결과에 기초하여 LED 영역에 대한 색상을 예측하는 색상 예측부가 포함될 수 있다.

Description

VISUAL-MIMO 환경에서의 신경망 모델을 이용한 LED 색상 예측 장치 및 그 방법{THE METHOD AND APPARATUS FOR PREDICTING LED COLOR USING NEURAL NETWORK MODEL IN VISUAL-MIMO ENVIRONMENT}
본 발명은 VISUAL-MIMO 환경에서의 신경망 모델을 이용한 LED 색상 예측 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 LED를 이용하는 광 통신 등에 있어서 신경망 모델(ex. BNN 등)을 이용하여 수신 성능을 향상시키고 LED 색상을 예측하고자 하는 장치 및 그 방법에 관한 것이다.
비주얼(Visual)-미모(MIMO) 통신 시스템이란, 사용자가 위화감을 느끼지 않도록 가시광을 이용하여 데이터 송신 및 수신을 제공할 수 있도록 하는 통신 시스템에서, 데이터의 품질 및 데이터의 전송 용량을 고려하여 다중 입력 및 다중 출력이 가능하도록 하는 MIMO(Multi Input Multi Output) 기술을 적용한 가시광 통신 시스템을 의미한다. 즉, MIMO 기술은 송신 장치의 다중 입력과 수신 장치의 다중 출력을 지원하도록 송신 장치에서는 주로 LED 어레이(array)를 사용하고, 수신 장치에서는 다중 입력이 가능한 이미지 센서를 사용하여, 데이터 전송 용량을 늘리거나 공간 다이버시티(spatial diversity) 효과를 얻을 수 있도록 하여, 비주얼(Visual)-미모(MIMO) 통신 시스템의 효율이 증대하도록 할 수 있다.
색상(color) 예측에 있어서, 종래에서부터 머신러닝 학습을 통하여 최적의 컬러 표현을 탐색한다는 기술이 일부 존재하여왔다. 그러나, 이러한 종래의 기술은 Visual MIMO 통신 등의 기술분야에서 수신단의 컬러 수신 성능 향상을 위하여 사용되는 것도 아니고, 단순히 컬러 프린터, 컬러 모니터 등에서 원고와 같은 색재현을 위하여 최적을 컬러를 탐색하거나 천연 염색물의 염색 공정에서 요구되는 컬러 표현을 위하여 사용되는 기술일 뿐이다.
광통신 기술의 개발로 자율 주행 등의 관련 기술의 개발이 점점 더 가속화되고 있는 추세에 비추어, 수신단에서 수신된 컬러를 정확하게 예측(판단)하기 위한 기술 개발의 필요성이 강하게 대두되고 있다.
1. 일본 공개특허공보 제2002-10095호
본 발명은 VISUAL-MIMO 환경에서의 신경망 모델을 이용한 LED 색상 예측 장치 및 그 방법에 관한 것으로, LED를 이용하는 광 통신 등에 있어서 신경망 모델(ex. BNN 등)을 이용하여 수신 성능을 향상시키고 LED 색상을 보다 정확하게 예측하고자 하는 장치 및 그 방법을 제공하고자 한다.
본 발명의 일 실시예로써, VISUAL-MIMO 환경에서의 신경망 모델을 이용한 LED 색상 예측 장치 및 그 방법이 제공될 수 있다.
본 발명의 일 실시예에 따른 VISUAL-MIMO 환경에서의 신경망 모델을 이용한 LED 색상 예측 장치에는 VISUAL-MIMO 환경에서 획득된 이미지로부터 LED 어레이(array) 영역을 식별하는 LED Array 식별부, 식별된 LED 어레이 영역에서 LED 영역을 검출하는 LED 영역 검출부, 검출된 LED 영역에 대한 이미지의 크기를 조정하는 이미지 크기 조정부, 조정된 크기의 이미지에 대하여 신경망 모델을 적용하여 학습시키는 신경망 학습부 및 학습의 결과에 기초하여 LED 영역에 대한 색상을 예측하는 색상 예측부가 포함될 수 있다.
LED 영역 검출부에서는 LED 어레이 영역에 포함된 각각의 LED에 대응하는 이미지의 내측 원 영역이 식별되고, 식별된 내측 원 영역으로부터 소정의 거리만큼 이격된 외측 원 영역이 식별되며, 식별된 외측 원 영역을 둘러싸도록 소정의 형태의 도형이 형성되어, 형성된 소정의 형태의 도형 내부의 이미지가 LED 영역으로써 검출될 수 있다.
이미지 크기 조정부에서는, 검출된 LED 영역에 대한 이미지의 크기가 N x N (N은 자연수)으로 조정될 수 있다.
신경망 학습부에서는, N x N (N은 자연수)으로 조정된 이미지의 모든 픽셀에 대하여 신경망 모델을 적용하여 학습시키고, 이러한 신경망 모델은 부스팅 신경망 모델(Boosting Neural Network Model)일 수 있다.
본 발명의 일 실시예에 따른 VISUAL-MIMO 환경에서의 신경망 모델을 이용한 LED 색상 예측 방법은 VISUAL-MIMO 환경에서 획득된 이미지로부터 LED 어레이(array) 영역을 식별하는 단계, 식별된 LED 어레이 영역에서 LED 영역을 검출하는 단계, 검출된 LED 영역에 대한 이미지의 크기를 조정하는 단계, 조정된 크기의 이미지에 대하여 신경망 모델을 적용하여 학습시키는 단계 및 학습의 결과에 기초하여 LED 영역에 대한 색상을 예측하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 식별된 LED 어레이 영역에서 LED 영역을 검출하는 단계에는, LED 어레이 영역에 포함된 각각의 LED에 대응하는 이미지의 내측 원 영역을 식별하는 단계, 식별된 내측 원 영역으로부터 소정의 거리만큼 이격된 외측 원 영역을 식별하는 단계 및 식별된 외측 원 영역을 둘러싸도록 소정의 형태의 도형을 형성하는 단계가 포함되고, 형성된 소정의 형태의 도형 내부의 이미지가 LED 영역으로써 검출될 수 있다.
또한, 검출된 LED 영역에 대한 이미지의 크기를 조정하는 단계에서는, 검출된 LED 영역에 대한 이미지의 크기를 N x N (N은 자연수)으로 조정하는 동작이 수행될 수 있다.
또한, 조정된 크기의 이미지에 대하여 신경망 모델을 적용하여 학습시키는 단계에는 N x N (N은 자연수)으로 조정된 이미지의 모든 픽셀에 대하여 신경망 모델을 적용하여 학습시키는 단계가 포함되고, 신경망 모델은 부스팅 신경망 모델(Boosting Neural Network Model)일 수 있다.
한편, 본 발명의 일 실시예로써, 전술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.
본 발명의 일 실시예에 따른 장치 및 방법을 이용하면, 다중 선형 회귀 (MLR: Multiple Linear Regression) 알고리즘보다 SER을 향상시킬 수 있다. 또한 SER 향상에 따라 성좌도(constellation)의 크기 변화에도 강인한 심벌 판정이 가능하다.
또한, 본 발명의 일 실시예에 따르면 한 개의 목표 색상에 대해 여러 개의 서로 다른 반경을 갖도록 성좌도를 배치할 수 있다. 이에 따라 기존보다 많은 수의 심벌을 배치할 수 있으므로 하나의 심벌이 가지는 데이터가 늘어나므로 결국 데이터의 전송 속도가 증가하게 될 수 있다.
도 1은 본 발명의 일 실시예에 따른 VISUAL-MIMO 환경에서의 신경망 모델을 이용한 LED 색상 예측 방법을 나타낸 순서도이다.
도 2는 본 발명의 일 실시예에 따라 식별된 LED 어레이 영역에서 LED 영역을 검출하는 과정을 나타낸 순서도이다.
도 3은 본 발명의 일 실시예에 따라 식별된 LED 어레이 영역에서 LED 영역을 검출하는 과정의 일 예이다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 부스팅 신경망 모델(Boosting Neural Network Model)을 이용한 학습 과정을 나타낸다.
도 6은 본 발명의 일 실시예에 따른 VISUAL-MIMO 환경에서의 신경망 모델을 이용한 LED 색상 예측 장치를 나타낸 블록도이다.
도 7은 다중 선형 회귀 (MLR: Multiple Linear Regression) 알고리즘 대비 향상된 SER 성능을 나타낸다.
도 8은 본 발명의 일 실시예에 따라 동일한 목표 색상(target color)에 대하여 서로 다른 반경을 갖는 성좌도를 나타낸다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서 전체에서 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, "그 중간에 다른 소자를 사이에 두고" 연결되어 있는 경우도 포함한다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 VISUAL-MIMO 환경에서의 신경망 모델을 이용한 LED 색상 예측 방법을 나타낸 순서도이고, 도 2는 본 발명의 일 실시예에 따라 식별된 LED 어레이 영역에서 LED 영역을 검출하는 과정을 나타낸 순서도이며, 도 3은 본 발명의 일 실시예에 따라 식별된 LED 어레이 영역에서 LED 영역을 검출하는 과정의 일 예를 나타낸다.
본 발명의 일 실시예에 따른 VISUAL-MIMO 환경에서의 신경망 모델을 이용한 LED 색상 예측 방법은 VISUAL-MIMO 환경에서 획득된 이미지로부터 LED 어레이(array) 영역을 식별하는 단계(S100), 식별된 LED 어레이 영역에서 LED 영역을 검출하는 단계(S200), 검출된 LED 영역에 대한 이미지의 크기를 조정하는 단계(S300), 조정된 크기의 이미지에 대하여 신경망 모델을 적용하여 학습시키는 단계(S400) 및 학습의 결과에 기초하여 LED 영역에 대한 색상을 예측하는 단계(S500)를 포함할 수 있다.
본 발명의 일 실시예에 따른 식별된 LED 어레이 영역에서 LED 영역을 검출하는 단계(S200)에는, LED 어레이 영역에 포함된 각각의 LED에 대응하는 이미지의 내측 원 영역을 식별하는 단계(S210), 식별된 내측 원 영역으로부터 소정의 거리만큼 이격된 외측 원 영역을 식별하는 단계(S220) 및 식별된 외측 원 영역을 둘러싸도록 소정의 형태의 도형을 형성하는 단계(S230)가 포함되고, 형성된 소정의 형태의 도형 내부의 이미지가 LED 영역으로써 검출될 수 있다.
도 3을 참조하면, 예를 들어, 도로 변에 마련된 LED 어레이가 포함된 표지판, 신호등 등으로부터 출력되는 광 이미지를 차량 등에서 카메라와 같은 이미지 수집 디바이스를 통하여 획득(수신)할 수 있다. 획득된 이미지로부터 LED 어레이(array) 영역이 식별될 수 있다. LED 어레이 영역은 일반적인 객체 탐지 및 추적 기술 등을 이용하여 식별될 수 있다. 또한, LED 어레이 영역은 관심 영역(ROI, Region Of Interest)으로써 자동 또는 수동으로(manually) 선택될 수 있다.
본 발명의 일 실시예에 따르면, 식별된 LED 어레이 영역(ex. 도 3의 점선 박스 부분)에서의 LED 영역 검출은 LED 어레이 영역에 포함된 각각의 LED에 대응하는 이미지의 내측 원 영역을 식별(ex. 도 3의 (a)의 녹색 원)하고, 식별된 내측 원 영역으로부터 소정의 거리만큼 이격된 외측 원 영역을 식별(ex. 도 3의 (b)의 하늘색 원)하며, 식별된 외측 원 영역을 둘러싸도록 소정의 형태의 도형을 형성(ex. 도 3의 (b)의 빨간색 박스)한 후, 형성된 소정의 형태의 도형 내부의 이미지(ex. 도 3의 (c) 이미지)가 LED 영역으로써 검출될 수 있다.
예컨대, 각각의 LED에 대하여 내측 원 영역의 지름을 추정한 후 제 1 컬러(ex. 녹색)로 표시하고, 이러한 내측 원으로부터 5 픽셀 만큼 떨어진 외측 원 영역을 식별하여 제 2 컬러(ex. 하늘색)로 표시하며, 식별된 외측 원 영역을 둘러싸도록 소정의 형태의 도형(ex. 사각형 등 다각형)을 형성함으로써, 형성된 도형 내부의 이미지가 LED 영역으로써 획득될 수 있다. LED의 강도, LED 어레이의 배치 형태에 따라서, 내측 원과 외측 원의 이격 거리 값은 전술한 예와는 상이하게 선택(설정)될 수도 있다.
또한, 본 발명의 일 실시예에 따르면 검출된 LED 영역에 대한 이미지의 크기를 조정하는 단계(S300)에서는, 검출된 LED 영역에 대한 이미지의 크기를 N x N (N은 자연수)으로 조정하는 동작이 수행될 수 있다.
부스팅 신경망 모델(Boosting Neural Network Model)의 경우, 고정된 입력 크기가 요구될 수 있다. 계산의 복잡도와 연산 속도를 고려하여 바람직하게는 LED 이미지의 크기를 10 x 10으로 조정할 수 있다. 이후 BNN 모델에서 100개의 RGB 픽셀을 입력으로 사용할 수 있다. 물론 전술한 수치는 설명을 위한 예시적인 것일 뿐 예측의 정확도, 속도 등을 고려하여 더 커지거나 더 작아질 수도 있다. 또한, 이미지의 크기는 M x N (M과 N은 각각 상이한 자연수)으로도 조정될 수 있다.
본 발명의 일 실시예에 따른 조정된 크기의 이미지에 대하여 신경망 모델을 적용하여 학습시키는 단계(S400)에는 N x N (N은 자연수)으로 조정된 이미지의 모든 픽셀에 대하여 신경망 모델을 적용하여 학습시키는 단계가 포함되고, 신경망 모델은 부스팅 신경망 모델(Boosting Neural Network Model)일 수 있다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 부스팅 신경망 모델(Boosting Neural Network Model)을 이용한 학습 과정을 나타낸다.
부스팅(Boosting)은 초기 샘플 데이터를 조작하여 다수의 분류기를 생성하는 기법 중 하나로써, 약 검출기(weak classifier)들을 여러 개 모아서 강 검출기(strong classifier)를 생성하는 방법을 지칭한다. 부스팅의 경우 전체 데이터에서 여러 샘플링 데이터를 추출하여 순차적으로 이전의 학습 분류기 결과에 기초하여 다음 학습 데이터의 샘플 가중치를 조정하면서 학습이 진행되는 과정을 따른다. 이러한 부스팅의 가장 큰 특징은 다음 단계의 weak classifier가 이전 단계의 weak classifier의 영향을 받는다는 것이다. 다시 말해서, 이전의 분류(classifier) 양상을 파악하여 더욱 잘 맞출 수 있는 방향으로 다음 단계를 진행하고 각각의 classifier의 가중치(weight)를 업데이트하는 과정을 수행하는 것이다. 결국 순차적으로 결합되어 서로 영향을 받아 만들어진 여러 개의 weak classifier와 상이한 weight를 통하여 strong classifier를 생성하게 된다.
VLC (Visible Light Communication)의 수신 성능 향상을 위해, 수신된 LED 이미지의 모든 입력 픽셀에 대해 신경망 (Neural Network) 모델을 이용하여 학습시킬 수 있다. 본 발명의 일 실시예에 따른 방법 및 장치에서는 앙상블 (ensemble) 방법을 사용하여 수신된 컬러를 보다 정확하게 예측하고자 한다. 앙상블 방법은 전술한 바와 같이 강력한 모델을 형성하기 위한 다수의 약한(weak) 모델의 조합을 의미한다. 각각의 입력 픽셀을 개별적으로 학습하여 약한 학습자에게 전달할 수 있고, 순차적으로(sequential) 결합된 학습방식에 따라서 보다 정확한 컬러 예측이 가능해질 수 있다. 초기 데이터(raw data)에 대하여 동일한 가중치가 부여되어 학습이 시작되지만, 학습 과정에서 모델링을 통한 예측 변수에 의하여 잘못 분류된 객체들에는 높은 가중치가 부여되고, 바르게 분류된 객체들에는 낮은 가중치가 부여되어 잘못 분류된 객체들이 더욱 잘 분류되도록 할 수 있다.
본 발명의 일 실시예에 따른 BNN (Boosting Neural Network) 모델의 전체 아키텍처는 아래와 같이 세 부분으로 나뉜다.
1) Leaky ReLU 활성화 함수의 계수 선택
2) 모든 입력 픽셀을 NN 모델에 적용하기 위해 약한 학습자로 전환 학습
3) 약한 학습자를 공급하여 완전히 연결된 NN 모델을 학습
도 4 및 도 5를 참조하여 구체적으로 살펴보면, 1) Leaky ReLU 활성화 함수의 계수는 훈련 및 유효성 검사 데이터 세트에 기반한 반복 절차에 의해 결정된다. 이 반복 과정에서 Leaky ReLU의 계수 값을 예를 들어, -0.1에서 0.1로 0.01씩 증가시킬 수 있다.
2) 각각의 LED 이미지의 출력 색상에 따라 각 입력 픽셀을 조정한다. 역 전파 알고리즘을 이용한 미니 배치 학습을 사용한다. 이 단계에서는 훈련 데이터 세트만 사용하며, 유효성 검사 데이터 세트에 대해 고려하지 않는다. 이 단계는 이후의 '3 단계'의 성능을 향상시키기 위한 작업이다. 이러한 단계는 부스팅(boosting) 단계라고 지칭될 수 있다.
3) 완전 연결된(Fully Connected) 신경망은 '2 단계'의 출력을 입력으로 하여 학습된다. 이 단계에서는 역 전파 알고리즘을 이용한 미니 배치 학습을 적용한다. 이후 훈련 세션을 종료하고 과도학습 문제를 방지하기 위해 유효성 확인 데이터 세트를 사용한다. 이 단계에서는 훈련된 모델이 히든(hidden) 데이터 세트에서 제대로 작동하지 않을 수 있는 낮은 값으로, 학습 RMSE (Root-Mean-Square-Error)가 최소화되기 때문에 고려할 필요가 있다. 이를 방지하기 위해 기존 히든 데이터 세트에서 훈련된 모델의 성능을 모니터링 하는 히든 데이터 세트를 검증 데이터 세트로 한다. 유효성 데이터 세트는 데이터 세트를 사용하여 가중치가 업데이트 되지 않으므로 히든 데이터 세트라고 한다.
BNN 학습 알고리즘의 수식은 다음과 같다:
Figure pat00001
Figure pat00002
여기서, 'i', 'm', 'n', 'h', 'o'는 각각 훈련 샘플 넘버, 입력 세기 넘버, 3단계 히든 레이어 뉴론 수, 히든 레이어, 출력 레이어를 나타낸다. 그리고 '2'와 '3'은 각각 2단계와 3단계를 나타낸다. 훈련 샘플 넘버는 훈련을 위해 비디오에서 수집한 LED 이미지 번호이고 입력 픽셀 번호는 1 ~ 100 이다. 'C'는 R, G, B 색상 채널을 나타낸다. 식 (1)과 (2)에서
Figure pat00003
와
Figure pat00004
는 i 번째 훈련 표본에 대한 각각의 뉴론(ex. 히든 레이어와 출력 레이어)의 Leaky ReLU 활성화 함수의 2 단계 출력이다.
Figure pat00005
는 입력 레이어로부터 히든 레이어 뉴론으로의 가중치이며,
Figure pat00006
는 히든 레이어로부터 출력 레이어 뉴론으로의 가중치를 나탄낸다. 식 (3)에서,
Figure pat00007
는 i 번째 훈련 표본에 대한 히든 레이어의 n 번째 뉴론의 입력이며,
Figure pat00008
는 입력 레이어로부터 히든 레이어 뉴론으로의 가중치를 나타낸다.
식 (4)에서,
Figure pat00009
는 3단계의 i 번째 훈련 샘플을 위한 n 번째 뉴론의 Leaky ReLU 활성화 함수의 출력이다. 식 (5)에서
Figure pat00010
는 i 번째 학습 표본에 대한 출력 레이어 뉴론의 입력이며, n 번째 히든 레이어 뉴론에서 출력 레이어 뉴론 3 단의 가중치이다. (6)에서,
Figure pat00011
는 3단계의 i 번째 훈련 샘플에 대한 출력 레이어 뉴론의 Leaky ReLU 활성화 함수의 출력이다. 이것은 BNN 모델의 최종 출력이다. 3 색(RGB) 채널의 밝기 강도를 추정할 필요가 있으므로, 3개의 BNN 모델을 사용한다.
따라서 식 (1)에서 (6)까지 표시된 모든 매개 변수가 각 색상 채널에 대해 고려되며 모든 식의 각 매개 변수에 'C'가 사용된다. 학습 가능한 매개 변수는
Figure pat00012
,
Figure pat00013
,
Figure pat00014
이다.
Figure pat00015
식 (7)은 역 전파 알고리즘에 따른 2 단계 훈련에 대한 비용 함수
Figure pat00016
를 나타내며,
Figure pat00017
는 i 번째 표적의 목표 값이다. 식 (8)에서
Figure pat00018
,
Figure pat00019
,
Figure pat00020
,
Figure pat00021
,
Figure pat00022
는 각각
Figure pat00023
의 갱신 된 가중치, 이전 가중치, 제 2 단계의 학습율, 총 훈련 샘플 수 및
Figure pat00024
에 관한
Figure pat00025
의 편미분을 나타낸다. 식 (9)의
Figure pat00026
,
Figure pat00027
,
Figure pat00028
는
Figure pat00029
의 갱신 된 가중치, 이전 가중치 및
Figure pat00030
에 대한
Figure pat00031
의 편미분을 각각 나타낸다. 2 단계 학습을 위해
Figure pat00032
의 값은
Figure pat00033
로 설정될 수 있다. 이 단계에서는 각 반복에서 가중치를 업데이트하기 위해 총 훈련 샘플 수를 사용하므로 해당 단계의 학습을 전체 일괄 학습이라고 한다.
Figure pat00034
식 (10)은 역 전파 알고리즘에 따른 3 단계 훈련에 대한 비용 함수
Figure pat00035
를 보여준다. 식 (11)에서
Figure pat00036
,
Figure pat00037
,
Figure pat00038
,
Figure pat00039
는 각각
Figure pat00040
의 갱신 된 가중치,
Figure pat00041
의 이전 가중치,
Figure pat00042
의 세 번째 단계의 학습 속도 및
Figure pat00043
의 편미분이다. 식 (12)에서,
Figure pat00044
,
Figure pat00045
,
Figure pat00046
는
Figure pat00047
의 업데이트 된 가중치,
Figure pat00048
의 이전 가중치 및
Figure pat00049
에 대한
Figure pat00050
의
Figure pat00051
에 대한 편미분이다. 3 단계 훈련의 경우,
Figure pat00052
의 값을
Figure pat00053
로 설정될 수 있다.
Figure pat00054
와
Figure pat00055
는 각각 (11)과 (12)에서 사용 된 훈련 샘플의 하한과 상한이다. 이 하한과 상한의 차이는 4이다. 이는 두 번째 단계 훈련과 같이 이 단계에서 가중치를 업데이트하기 위해 각 애포크(epoch)에서 전체 교육 샘플을 사용하지 않는다는 것을 의미한다. 트레이닝 RMSE(Root Mean Square Error) 가 크게 감소하지 않기 때문에 두 번째 단계에서는 미니 배치 훈련을 사용하지 않는다. 따라서, 훈련은 오랜 시간이 걸리지는 않는다.
도 6은 본 발명의 일 실시예에 따른 VISUAL-MIMO 환경에서의 신경망 모델을 이용한 LED 색상 예측 장치를 나타낸 블록도이다.
본 발명의 일 실시예에 따른 VISUAL-MIMO 환경에서의 신경망 모델을 이용한 LED 색상 예측 장치(1000)에는 VISUAL-MIMO 환경에서 획득된 이미지로부터 LED 어레이(array) 영역을 식별하는 LED Array 식별부(100), 식별된 LED 어레이 영역에서 LED 영역을 검출하는 LED 영역 검출부(200), 검출된 LED 영역에 대한 이미지의 크기를 조정하는 이미지 크기 조정부(300), 조정된 크기의 이미지에 대하여 신경망 모델을 적용하여 학습시키는 신경망 학습부(400) 및 학습의 결과에 기초하여 LED 영역에 대한 색상을 예측하는 색상 예측부(500)가 포함될 수 있다.
LED 영역 검출부(200)에서는 LED 어레이 영역에 포함된 각각의 LED에 대응하는 이미지의 내측 원 영역이 식별되고, 식별된 내측 원 영역으로부터 소정의 거리만큼 이격된 외측 원 영역이 식별되며, 식별된 외측 원 영역을 둘러싸도록 소정의 형태의 도형이 형성되어, 형성된 소정의 형태의 도형 내부의 이미지가 LED 영역으로써 검출될 수 있다.
이미지 크기 조정부(300)에서는, 검출된 LED 영역에 대한 이미지의 크기가 N x N (N은 자연수)으로 조정될 수 있다.
신경망 학습부(400)에서는, N x N (N은 자연수)으로 조정된 이미지의 모든 픽셀에 대하여 신경망 모델을 적용하여 학습시키고, 이러한 신경망 모델은 부스팅 신경망 모델(Boosting Neural Network Model)일 수 있다.
도 7은 다중 선형 회귀 (MLR: Multiple Linear Regression) 알고리즘 대비 향상된 SER 성능을 나타내고, 도 8은 본 발명의 일 실시예에 따라 동일한 목표 색상(target color)에 대하여 서로 다른 반경을 갖는 성좌도를 나타낸다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 방법 및 장치는 다중 선형 회귀 (MLR: Multiple Linear Regression) 알고리즘보다 SER을 향상시킬 수 있다. 또한, 도 8에서와 같이 SER 향상에 따라 성좌도의 크기 변화에도 강인한 심벌 판정이 가능하다.
도 8은 BNN 알고리즘을 사용하여 적용할 수 있는 동일 색상 성좌도(Constellation diagram)의 다른 크기를 나타내는데, 도 8에서와 같이 하나의 목표 색상에 대해 여러 개의 서로 다른 반경을 갖는 성좌도를 배치할 수 있게 되면, 기존보다 많은 수의 심벌을 배치할 수 있으므로 하나의 심벌이 가지는(표현할 수 있는) 데이터가 늘어나게 되므로 데이터의 전송 속도가 종래 대비 보다 증가할 수 있다.
본 발명의 일 실시예에 따른 장치와 관련하여서는 전술한 방법에 대한 내용이 적용될 수 있다. 따라서, 장치와 관련하여, 전술한 방법에 대한 내용과 동일한 내용에 대하여는 설명을 생략하였다.
한편, 전술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 프로그램이나 코드를 기록하는 기록 매체는, 반송파(carrier waves)나 신호들과 같이 일시적인 대상들은 포함하는 것으로 이해되지는 않아야 한다. 상기 컴퓨터 판독 가능 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, DVD 등)와 같은 저장 매체를 포함할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
1000: VISUAL-MIMO 환경에서의 신경망 모델을 이용한 LED 색상 예측 장치
100: LED Array 식별부
200: LED 영역 검출부
300: 이미지 크기 조정부
400: 신경망 학습부
500: 색상 예측부

Claims (4)

  1. VISUAL-MIMO 환경에서의 신경망 모델을 이용한 LED 색상 예측 장치로서,
    상기 VISUAL-MIMO 환경에서 획득된 이미지로부터 LED 어레이(array) 영역을 식별하는 LED Array 식별부;
    상기 식별된 LED 어레이 영역에서 LED 영역을 검출하는 LED 영역 검출부;
    상기 검출된 LED 영역에 대한 이미지의 크기를 조정하는 이미지 크기 조정부;
    상기 조정된 크기의 이미지에 대하여 신경망 모델을 적용하여 학습시키는 신경망 학습부; 및
    상기 학습의 결과에 기초하여 상기 LED 영역에 대한 색상을 예측하는 색상 예측부를 포함하는 것을 특징으로 하는 VISUAL-MIMO 환경에서의 신경망 모델을 이용한 LED 색상 예측 장치.
  2. 제 1 항에 있어서,
    상기 LED 영역 검출부에서는 상기 LED 어레이 영역에 포함된 각각의 LED에 대응하는 이미지의 내측 원 영역이 식별되고, 상기 식별된 내측 원 영역으로부터 소정의 거리만큼 이격된 외측 원 영역이 식별되며, 상기 식별된 외측 원 영역을 둘러싸도록 소정의 형태의 도형이 형성되어, 상기 형성된 소정의 형태의 도형 내부의 이미지가 LED 영역으로써 검출되는 것을 특징으로 하는 VISUAL-MIMO 환경에서의 신경망 모델을 이용한 LED 색상 예측 장치.
  3. 제 2 항에 있어서,
    상기 이미지 크기 조정부에서는, 상기 검출된 LED 영역에 대한 이미지의 크기를 N x N (N은 자연수)으로 조정하는 것을 특징으로 하는 VISUAL-MIMO 환경에서의 신경망 모델을 이용한 LED 색상 예측 장치.
  4. 제 3 항에 있어서,
    상기 신경망 학습부에서는, 상기 N x N (N은 자연수)으로 조정된 이미지의 모든 픽셀에 대하여 신경망 모델을 적용하여 학습시키고, 상기 신경망 모델은 부스팅 신경망 모델(Boosting Neural Network Model)인 것을 특징으로 하는 VISUAL-MIMO 환경에서의 신경망 모델을 이용한 LED 색상 예측 장치.

KR1020180141159A 2018-11-15 2018-11-15 Visual-mimo 환경에서의 신경망 모델을 이용한 led 색상 예측 장치 및 그 방법 KR102146665B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180141159A KR102146665B1 (ko) 2018-11-15 2018-11-15 Visual-mimo 환경에서의 신경망 모델을 이용한 led 색상 예측 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180141159A KR102146665B1 (ko) 2018-11-15 2018-11-15 Visual-mimo 환경에서의 신경망 모델을 이용한 led 색상 예측 장치 및 그 방법

Publications (3)

Publication Number Publication Date
KR20200057850A true KR20200057850A (ko) 2020-05-27
KR102146665B1 KR102146665B1 (ko) 2020-08-24
KR102146665B9 KR102146665B9 (ko) 2021-11-12

Family

ID=70910859

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180141159A KR102146665B1 (ko) 2018-11-15 2018-11-15 Visual-mimo 환경에서의 신경망 모델을 이용한 led 색상 예측 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102146665B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022108433A1 (en) 2020-11-23 2022-05-27 Entangle, Sia A light signal decoding device and a light signal decoding method
CN114726419A (zh) * 2022-04-07 2022-07-08 重庆邮电大学 基于深度学习的共轭梯度大规模mimo检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010095A (ja) 2000-06-23 2002-01-11 Matsushita Electric Ind Co Ltd カラー画像処理方法及びカラー画像処理装置
US9892332B1 (en) * 2014-08-21 2018-02-13 Waymo Llc Vision-based detection and classification of traffic lights
KR20190005740A (ko) * 2017-07-07 2019-01-16 인피니언 테크놀로지스 아게 레이더 센서를 사용하여 타겟을 식별하는 시스템 및 방법
KR101977324B1 (ko) * 2017-11-30 2019-05-10 서울과학기술대학교 산학협력단 가시광 통신 시스템에서 신호를 정규화하는 방법
KR101990734B1 (ko) * 2018-01-12 2019-06-19 숭실대학교산학협력단 복수의 카메라들로부터의 이미지들을 융합하여 차량의 위치를 추정하는 시스템
KR101996168B1 (ko) * 2018-01-12 2019-07-03 숭실대학교산학협력단 Cmos 센서의 롤링 셔터 보정을 고려한 가시광 통신 기반의 차량 위치 추정 방법 및 장치
KR101996169B1 (ko) * 2018-01-12 2019-07-03 숭실대학교산학협력단 카메라 변위를 고려한 가시광 통신 기반의 차량 위치 추정 방법 및 장치

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010095A (ja) 2000-06-23 2002-01-11 Matsushita Electric Ind Co Ltd カラー画像処理方法及びカラー画像処理装置
US9892332B1 (en) * 2014-08-21 2018-02-13 Waymo Llc Vision-based detection and classification of traffic lights
US10108868B1 (en) * 2014-08-21 2018-10-23 Waymo Llc Vision-based detection and classification of traffic lights
KR20190005740A (ko) * 2017-07-07 2019-01-16 인피니언 테크놀로지스 아게 레이더 센서를 사용하여 타겟을 식별하는 시스템 및 방법
KR101977324B1 (ko) * 2017-11-30 2019-05-10 서울과학기술대학교 산학협력단 가시광 통신 시스템에서 신호를 정규화하는 방법
KR101990734B1 (ko) * 2018-01-12 2019-06-19 숭실대학교산학협력단 복수의 카메라들로부터의 이미지들을 융합하여 차량의 위치를 추정하는 시스템
KR101996168B1 (ko) * 2018-01-12 2019-07-03 숭실대학교산학협력단 Cmos 센서의 롤링 셔터 보정을 고려한 가시광 통신 기반의 차량 위치 추정 방법 및 장치
KR101996169B1 (ko) * 2018-01-12 2019-07-03 숭실대학교산학협력단 카메라 변위를 고려한 가시광 통신 기반의 차량 위치 추정 방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022108433A1 (en) 2020-11-23 2022-05-27 Entangle, Sia A light signal decoding device and a light signal decoding method
LV15654A (lv) * 2020-11-23 2022-06-20 Entangle, Sia Ierīces un metodes gaismas signāla kodēšanai un dekodēšanai
CN114726419A (zh) * 2022-04-07 2022-07-08 重庆邮电大学 基于深度学习的共轭梯度大规模mimo检测方法

Also Published As

Publication number Publication date
KR102146665B9 (ko) 2021-11-12
KR102146665B1 (ko) 2020-08-24

Similar Documents

Publication Publication Date Title
CN110210551B (zh) 一种基于自适应主体敏感的视觉目标跟踪方法
CN109902806B (zh) 基于卷积神经网络的噪声图像目标边界框确定方法
WO2020155907A1 (zh) 用于生成漫画风格转换模型的方法和装置
JP2018097807A (ja) 学習装置
CN110349185B (zh) 一种rgbt目标跟踪模型的训练方法及装置
CN113076994B (zh) 一种开集域自适应图像分类方法及系统
CN112036447B (zh) 零样本目标检测系统及可学习语义和固定语义融合方法
US11449707B2 (en) Method for processing automobile image data, apparatus, and readable storage medium
CN113424554A (zh) 声音效果的文本注释
CN110111351B (zh) 融合rgbd多模态信息的行人轮廓跟踪方法
KR102146665B1 (ko) Visual-mimo 환경에서의 신경망 모델을 이용한 led 색상 예측 장치 및 그 방법
CN110348358B (zh) 一种肤色检测系统、方法、介质和计算设备
JP7207846B2 (ja) 情報処理装置、情報処理方法及びプログラム
JPWO2018203549A1 (ja) 信号変更装置、方法、及びプログラム
US11887219B2 (en) Systems and methods for training an image colorization model
CN101621614A (zh) 系数生成设备和方法、图像生成设备和方法及其程序
CN111275137B (zh) 基于专属孪生网络模型的茶叶验真方法
CN116630745B (zh) 用于图像的端到端半监督目标检测方法、装置和可读介质
CN112270404A (zh) 一种基于ResNet64网络的紧固件产品鼓包缺陷的检测结构及其方法
CN113591761B (zh) 一种视频镜头语言识别方法
CN115797904A (zh) 一种智能驾驶视觉感知中多场景多任务的主动学习方法
CN115631186A (zh) 一种基于双分支神经网络的工业元件表面缺陷检测方法
CN104408739A (zh) 一种运动目标的检测方法及其监控系统
CN113902044A (zh) 一种基于轻量级yolov3的图像目标提取方法
CN112785561A (zh) 一种基于改进Faster RCNN预测模型的二手商用车车况检测方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
G170 Publication of correction