KR102643646B1 - 영상정보 디스플레이 자동감시 시스템 및 영상정보 디스플레이 자동감시방법 - Google Patents

영상정보 디스플레이 자동감시 시스템 및 영상정보 디스플레이 자동감시방법 Download PDF

Info

Publication number
KR102643646B1
KR102643646B1 KR1020230091086A KR20230091086A KR102643646B1 KR 102643646 B1 KR102643646 B1 KR 102643646B1 KR 1020230091086 A KR1020230091086 A KR 1020230091086A KR 20230091086 A KR20230091086 A KR 20230091086A KR 102643646 B1 KR102643646 B1 KR 102643646B1
Authority
KR
South Korea
Prior art keywords
control unit
information display
video information
neural network
image information
Prior art date
Application number
KR1020230091086A
Other languages
English (en)
Inventor
정종균
Original Assignee
주식회사 시스메이트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 시스메이트 filed Critical 주식회사 시스메이트
Priority to KR1020230091086A priority Critical patent/KR102643646B1/ko
Application granted granted Critical
Publication of KR102643646B1 publication Critical patent/KR102643646B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • H04N5/65—Holding-devices for protective discs or for picture masks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명의 다른 실시예에 따른 영상정보 디스플레이 자동감시방법은 (A) 중앙 서버의 중앙 제어부가 유,무선 네트워크를 통해 영상정보 디스플레이 자동감시를 위한 영상정보를 요청하는 신호를 영상정보 디스플레이의 제어부로 송신하는 단계, (B) 상기 영상정보 디스플레이의 제어부가 카메라부를 통해 촬상된 디스플레이 패널의 영상정보를 획득하는 단계, (C) 상기 영상정보 디스플레이의 제어부는 상기 디스플레이 패널의 영상정보를 왜곡한 특징맵을 추출하여 상기 중앙 서버의 중앙 제어부로 송신하는 단계, (D) 상기 중앙 서버의 중앙 제어부는 수신한 특징맵을 합산하고, 합산한 특징맵에 대한 인공지능학습을 수행하는 단계 및 (E) 상기 중앙 서버의 중앙 제어부는 상기 디스플레이 패널의 영상정보에 대한 에러를 인식하여 판단하는 단계를 포함한다.

Description

영상정보 디스플레이 자동감시 시스템 및 영상정보 디스플레이 자동감시방법{SYSTEM FOR AUTO MONITORING DISPLAY DEVICE OF VISUAL INFORMATION AND METHOD OF AUTO MONITORING THE SAME}
본 발명은 영상정보 디스플레이 자동감시 시스템 및 영상정보 디스플레이 자동감시방법에 관한 것으로, 특히 카메라로 실시간 촬영한 영상정보 디스플레이의 화면 영상을 인공지능 학습하여 에러를 인식하고 감시하여 처리하는 영상정보 디스플레이 자동감시 시스템 및 영상정보 디스플레이 자동감시방법에 관한 것이다.
일반적으로 영상정보 디스플레이(예를 들면, 키오스크(KIOSK))는 정부 기관, 지방자치단체, 은행, 백화점, 전시장과 같은 다양한 공공 장소에 설치된 무인 정보단말기로 교통정보, 대중 교통 정보, 경로 안내, 전시품 설명, 요금 카드 배포, 예약 업무, 전화번호 및 주소 안내 정보, 행정 절차 설명 및 상품 정보 제공, 시설물의 이용 방법 등을 제공하는 IT 기기로서 정의된다.
일반적으로 영상정보 디스플레이에는 정보를 출력 및 데이터를 입력할 수 있는 터치 스크린 표시 패널, 음향 출력을 위한 스피커, 음성 입력을 위한 마이크, 인터넷을 수행하기 위한 통신 모듈 및 정보를 처리하기 위한 컴퓨터와 같은 정보처리장치가 장착된다.
종래의 영상정보 디스플레이는 사용과정에서 디스플레이 화면파손, 무화면(검은색화면), 재생컨텐츠 오류 등 문제가 종종 발생한다. 따라서 정상적인 사용을 위해서는 영상정보 디스플레이의 디스플레이 화면을 정기적으로 수동 검사해야할 필요가 있다.
그러나 이러한 수동검사는 많은 인력을 낭비할 뿐만 아니라 상황에 따라 점검을 소홀히 하면 놓치는 부분이 있어 제때에 에러를 발견하지 못하는 문제점이 발생할 수 있다.
특허문헌 : 등록특허공보 제 10-2314202호
본 발명은 상기 문제점을 해소하기 위하여 안출된 것으로, 본 발명의 목적은 카메라로 실시간 촬영한 영상정보 디스플레이의 화면 영상을 인공지능 학습하여 에러를 인식하고 감시하여 처리하는 영상정보 디스플레이 자동감시 시스템을 제공하는 데 있다.
본 발명의 다른 목적은 카메라로 실시간 촬영한 영상정보 디스플레이의 화면 영상을 인공지능 학습하여 에러를 인식하고 감시하여 처리하는 영상정보 디스플레이 자동감시방법을 제공하는 데 있다.
본 발명의 일실시예에 따른 영상정보 디스플레이 자동감시 시스템은 영상정보 디스플레이; 및 상기 영상정보 디스플레이에 유,무선으로 연결된 중앙 서버;를 포함한다.
본 발명의 일실시예에 따른 영상정보 디스플레이 자동감시 시스템에서 상기 영상정보 디스플레이는 베이스; 상기 베이스에 수직으로 고정장착된 지지 프레임; 상기 지지 프레임의 상부 내측에 장착된 디스플레이 패널; 상기 베이스의 상부 중앙에 구비된 송수신부; 상기 베이스의 테두리 일측에 구비되고, 상기 디스플레이 패널을 촬상하는 카메라부; 및 상기 베이스의 내부에 구비된 제어부;를 포함하는 것을 특징으로 한다.
본 발명의 일실시예에 따른 영상정보 디스플레이 자동감시 시스템에서 상기 제어부는 내부에 입력층(input layer)과 제 1 은닉층(hidden layer 1)을 포함한 제 1 분할 신경망(split Neural Network)을 포함하는 것을 특징으로 한다.
본 발명의 일실시예에 따른 영상정보 디스플레이 자동감시 시스템에서 상기 중앙 서버는 중앙 제어부를 포함하고, 상기 중앙 제어부는 다수의 은닉층과 출력층을 포함한 제 2 분할 신경망을 구비하는 것을 특징으로 한다.
본 발명의 일실시예에 따른 영상정보 디스플레이 자동감시 시스템에서 상기 디스플레이 패널은 상기 지지 프레임의 상부 내측에 장착된 양면 디스플레이 패널 또는 단면 디스플레이 패널인 것을 특징으로 한다.
또한, 본 발명의 다른 실시예에 따른 영상정보 디스플레이 자동감시방법은 (A) 중앙 서버의 중앙 제어부가 유,무선 네트워크를 통해 영상정보 디스플레이 자동감시를 위한 영상정보를 요청하는 신호를 영상정보 디스플레이의 제어부로 송신하는 단계; (B) 상기 영상정보 디스플레이의 제어부가 카메라부를 통해 촬상된 디스플레이 패널의 영상정보를 획득하는 단계; (C) 상기 영상정보 디스플레이의 제어부는 상기 디스플레이 패널의 영상정보를 왜곡한 특징맵을 추출하여 상기 중앙 서버의 중앙 제어부로 송신하는 단계; (D) 상기 중앙 서버의 중앙 제어부는 수신한 특징맵을 합산하고, 합산한 특징맵에 대한 인공지능학습을 수행하는 단계; 및 (E) 상기 중앙 서버의 중앙 제어부는 상기 디스플레이 패널의 영상정보에 대한 에러를 인식하여 판단하는 단계;를 포함한다.
본 발명의 다른 실시예에 따른 영상정보 디스플레이 자동감시방법에서 상기 영상정보 디스플레이의 제어부는 내부에 입력층(input layer)과 제 1 은닉층(hidden layer 1)을 포함한 제 1 분할 신경망(split Neural Network)을 포함하고, 상기 (C) 단계는 상기 입력층에 영상 이미지의 픽셀정보가 입력되고, 상기 제 1 은닉층을 거치면서 필터를 이용해 컨벌루션(convolution) 연산을 실행하는 과정을 포함하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 영상정보 디스플레이 자동감시방법에서 상기 중앙 서버의 중앙 제어부는 다수의 은닉층과 출력층을 포함한 제 2 분할 신경망을 구비하고, 상기 제 2 분할 신경망을 이용하여 상기 인공지능학습을 수행하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 영상정보 디스플레이 자동감시방법은 (F) 상기 중앙 서버의 중앙 제어부는 판단한 영상 에러에 대한 보정 처리정보를 상기 영상정보 디스플레이의 제어부로 전송하는 단계; 및 (G) 상기 중앙 서버의 중앙 제어부가 상기 영상정보 디스플레이의 관리자 단말기로 영상 에러에 관한 문자 메시지와 영상정보를 전송하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명의 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다.
이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이고, 사전적인 의미로 해석되어서는 아니 되며, 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합되는 의미와 개념으로 해석되어야만 한다.
본 발명의 일실시예에 따른 영상정보 디스플레이 자동감시 시스템은 분할 신경망을 이용한 저비용의 시스템으로 카메라부에서 획득된 영상정보 디스플레이의 영상 정보에서 개인정보를 포함하지 않고 유추할 수 없는 특징맵을 학습하여 영상정보 디스플레이의 디스플레이 에러를 인식하고 처리할 수 있는 효과가 있다.
또한, 본 발명의 다른 실시예에 따른 영상정보 디스플레이 자동감시방법은 분할 신경망을 이용하여 카메라부에서 획득된 영상정보 디스플레이의 영상을 학습하여 디스플레이 에러를 인식 판단하여 처리할 수 있는 효과가 있다.
도 1은 본 발명의 일실시예에 따른 영상정보 디스플레이 자동감시 시스템의 구성도.
도 2는 본 발명의 일실시예에 따른 영상정보 디스플레이의 측면도.
도 3은 본 발명의 일실시예에 따른 영상정보 디스플레이의 구성도.
도 4는 본 발명의 일실시예에 따른 영상정보 디스플레이 자동감시 시스템을 구성하는 신경망을 나타낸 예시도.
도 5는 본 발명의 다른 실시예에 따른 영상정보 디스플레이 자동감시방법을 설명하기 위한 흐름도.
본 발명의 목적, 특정한 장점들 및 신규한 특징들은 첨부된 도면들과 연관되는 이하의 상세한 설명과 바람직한 실시예로부터 더욱 명백해질 것이다. 본 명세서에서 각 도면의 구성요소들에 참조번호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다. 또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 도 1은 본 발명의 일실시예에 따른 영상정보 디스플레이 자동감시 시스템의 구성도이고, 도 2는 본 발명의 일실시예에 따른 영상정보 디스플레이의 측면도이며, 도 3은 본 발명의 일실시예에 따른 영상정보 디스플레이의 구성도이며, 도 4는 본 발명의 일실시예에 따른 영상정보 디스플레이 자동감시 시스템을 구성하는 신경망을 나타낸 예시도이다.
본 발명의 일실시예에 따른 영상정보 디스플레이 자동감시 시스템은 도 1에 도시된 바와 같이 영상정보 디스플레이(100) 및 영상정보 디스플레이(100)에 유,무선으로 연결된 중앙 서버(200)를 포함한다.
영상정보 디스플레이(100)는 도 1과 도 2에 도시된 바와 같이 베이스(160), 베이스(160)에 수직으로 고정장착된 지지 프레임(120), 지지 프레임(120)의 상부 내측에 장착된 디스플레이 패널(110), 베이스(160)의 상부 중앙에 구비된 송수신부(130), 베이스(160)의 테두리 일측에 구비되어 디스플레이 패널(110)을 촬상하는 카메라부(140), 베이스(160)의 내부에 구비되어 전반적인 동작을 제어하는 제어부(150)를 포함한다. 여기서, 영상정보 디스플레이(100)는 선택적으로 베이스(160)의 하부에 브레이크가 장착된 유니버셜 휠(170)을 다수 구비하여 이동을 원활하게 수행할 수도 있다.
디스플레이 패널(110)은 제어부(150)의 제어에 따라 정보의 출력, 데이터의 입력 및 광고영상의 출력 등을 수행한다. 이러한 디스플레이 패널(110)은 도 1에 도시된 바와 같이 지지 프레임(120)의 상부 내측에 장착된 양면 디스플레이 패널이거나 또는 단면 디스플레이 패널일 수 있다.
지지 프레임(120)은 베이스(160)의 양단측 중앙에서 수직으로 고정 장착된 금속 재질의 프레임으로 하부에 디스플레이 패널(110)을 지지하는 지지단을 구비한다.
송수신부(130)는 제어부(150)의 제어에 따라 유,무선 네트워크를 통해 영상정보 디스플레이 자동감시 정보를 중앙 서버(200)로 송신하고, 중앙 서버(200)로부터 영상정보 디스플레이(100)의 제어정보를 수신하여 제어부(150)로 전달한다. 여기서, 무선 네트워크는 예를 들어, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), wifi 네트워크, 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지 않는다.
카메라부(140)는 베이스(160)의 테두리 일측, 즉 테두리 중앙에 구비되어 디스플레이 패널(110)을 향해 시야각을 갖도록 구비되고, 제어부(150)의 제어에 따라 디스플레이 패널(110)을 촬상하는 기능을 수행한다. 이러한 카메라부(140)는 도 2에 도시된 바와 같이 양면 디스플레이 패널인 디스플레이 패널(110)의 각 면을 촬 상하기 위해 베이스(160)의 양측 테두리 중앙에 각각, 2개로 구비되지만, 디스플레이 패널(110)이 단면 디스플레이 패널인 경우에는 1개로 구비되어 촬상을 수행할 수 있다. 여기서, 카메라부(140)는 예컨대 CCD(Charge Coupled Device) 카메라를 포함할 수 있다.
제어부(150)는 도 4에 도시된 바와 같이 내부에 제 1 분할 신경망(split Neural Network)을 포함하여 영상정보 디스플레이(100)의 동작을 전반적으로 제어하는 구성으로, 카메라부(140)에서 획득된 영상 정보를 입력층(input layer: 301)과 제 1 은닉층(hidden layer 1: 302)을 포함한 제 1 분할 신경망을 거치면서 왜곡 처리한 특징맵(feature map)을 송수신부(130)를 통해 중앙 서버(200)로 송신한다. 이에 중앙 서버(200)의 중앙 제어부(250)는 내부에 구비된 제 2 은닉층(hidden layer 2: 303)으로부터 출력층(306)을 포함한 제 2 분할 신경망을 통해 수신한 특징맵을 학습처리하여 영상정보 디스플레이(100)의 디스플레이 에러를 판단하여 에러판단정보를 송수신부(130)를 거쳐 제어부(150)로 전달한다.
이러한 제어부(150)와 중앙 서버(200)의 중앙 제어부(250)에 각각 구비된 제 1 분할 신경망과 제 2 분할 신경망을 이용하여, 제어부(150)와 중앙 제어부(250)는 영상정보 디스플레이(100)의 디스플레이 에러를 분할 학습(Split Learning)하고 디스플레이 에러를 판단할 수 있다. 여기서, 제 1 분할 신경망과 제 2 분할 신경망은 도 4에 도시된 바와 같이 입력층(301)과 출력층(306) 사이에 다중의 은닉층(hidden layer:302~305)을 포함하는 심층 신경망(Deep Neural Network)을 분할한 신경망으로, 예컨대 영상정보 처리를 위한 합성곱 신경망(CNN: Convolutional Neural Network)을 분할하여 적용할 수 있다. 물론, 분할 신경망은 합성곱 신경망 이외에 다른 다양한 신경망을 분할하여 적용할 수도 있다.
이에 따라 본 발명의 일실시예에 따른 영상정보 디스플레이 자동감시 시스템은 분할 신경망을 이용한 저비용의 시스템으로 카메라부(140)에서 획득된 영상정보 디스플레이(100)의 영상 정보에서 개인정보를 포함하지 않고 유추할 수 없는 특징맵을 학습하여 중앙 제어부(250)에서 영상정보 디스플레이(100)의 디스플레이 에러를 인식하고 처리할 수 있다.
이하, 본 발명의 다른 실시예에 따른 영상정보 디스플레이 자동감시방법에 대해 도 5를 참조하여 설명한다. 도 5는 본 발명의 다른 실시예에 따른 영상정보 디스플레이 자동감시방법을 설명하기 위한 흐름도이다.
본 발명의 다른 실시예에 따른 영상정보 디스플레이 자동감시방법은 먼저 중앙 서버(200)의 중앙 제어부(250)가 유,무선 네트워크를 통해 영상정보 디스플레이 자동감시를 위한 영상정보를 요청하는 신호를 영상정보 디스플레이(100)의 제어부(150)로 송신한다(S510).
영상정보를 요청하는 신호를 수신함에 따라, 영상정보 디스플레이(100)의 제어부(150)는 카메라부(140)를 통해 촬상된 디스플레이 패널(110)의 영상정보를 획득한다(S520).
이때, 카메라부(140)를 통해 촬상된 영상정보는 예컨대 불특정 다수의 안면, 신체일부 등과 같은 개인정보를 포함할 수 있다.
이에 영상정보 디스플레이(100)의 제어부(150)는 영상 이미지에서 개인정보를 포함하지 않고 유추할 수 없도록 왜곡한 특징맵을 추출한다(S530).
구체적으로, 특징맵의 추출과정은 영상정보 디스플레이(100)의 제어부(150)가 제 1 분할 신경망의 입력층(301)에 영상 이미지의 픽셀정보가 입력되고, 제 1 은닉층(302)을 거치면서 필터를 이용해 컨벌루션(convolution) 연산을 실행하는 과정을 포함할 수 있다.
이때, 필터를 이용해 컨벌루션 연산은 아래의 [수학식 1]을 이용하여 실행할 수 있다.
여기에서, l은 층(layer)을 의미하고, sizel은 레이어의 사이즈를 의미하며, In은 입력층(301)에 입력되는 데이터(data)의 수를 의미하고, Ia는 라벨(label)의 수를 의미하며, O는 출력 컨볼루션층(Output Convolution Layer)을 의미하고, w는 가중치를 의미하며, b는 특징맵의 편향 바이어스(bias)를 의미한다.
이러한 컨벌루션 연산을 통해 왜곡 처리된 특징맵은 개인정보를 포함하지 않고 유추할 수 없도록 왜곡된 이미지 형태를 갖는다.
특징맵을 추출한 후, 제어부(150)는 송수신부(130)를 거쳐 유,무선 네트워크를 이용하여 특징맵을 중앙 서버(200)로 송신한다(S540).
이후, 중앙 서버(200)의 중앙 제어부(250)는 수신한 특징맵을 합산한다(S550).
합산한 특징맵에 대해, 중앙 서버(200)의 중앙 제어부(250)는 합산한 특징맵에 대한 인공지능학습을 수행한다(S560).
구체적으로, 중앙 제어부(250)는 특징맵에 대해 컨벌루션 연산을 수행하여 특징맵을 재생성할 수 있다.
이때, 특징맵을 재생성하는 과정은 중앙 제어부(250)가 아래의 [수학식 2]를 이용하여 합산한 특징맵을 컨캐터네이팅(Concatenating)하고, [수학식 3]을 이용한 컨벌루션 연산을 수행하여 실행될 수 있다.
여기서, In은 입력되는 데이터(data)의 수를 의미하고, Ia는 라벨(label)의 수를 의미하며, O는 출력 컨볼루션층(Output Convolution Layer)을 의미하며, w는 가중치를 의미한다.
이때, fc는 컨캐터네이팅한 특징맵을 이용하여 컨벌루션 연산을 수행한 결과값을 나타낸 것으로, 재생성된 특징맵을 의미할 수 있다.
특징맵을 재생성한 후, 중앙 제어부(250)는 재생성된 특징맵을 활성화 함수(Activation function)에 대입하여 연산할 수 있다.
여기서, 활성화 함수는 Sigmoid 함수 또는 ReLu 함수를 이용할 수 있다.
활성화 함수를 이용하여 출력된 출력값에 대해, 중앙 제어부(250)는 획득한 출력값을 이용하여 풀링(pooling) 연산을 실행한다.
구체적으로, 풀링 연산은 데이터의 차원의 크기를 축소하기 위한 것으로, 데이터에서 세로 및 가로 방향 공간의 크기를 줄이는 연산이다. 이러한 풀링 연산은 다양한 파라미터, 예를 들어 평균, 중간값, 최댓값, 최소값 등을 이용할 수 있고, 여기서는 최댓값을 이용한 최댓값 풀링 연산을 적용한다. 최댓값 풀링 연산(max polling)을 이용하여 이미지의 제한 영역에서 최댓값을 추출하고, 데이터의 잡음을 제거할 수 있으며, 데이터가 줄어드는 과정에서 오버 피팅(over fitting)을 방지할 수 있다.
이러한 최댓값 풀링 연산은 아래의 [수학식 4]를 이용하여 실행될 수 있다.
여기서, x는 풀링 연산을 위해 입력되는 행렬을 의미하고, l은 풀링 연산의 해당층을 의미하며, i는 입력되는 행렬의 행을 의미하며, j는 입력되는 행렬의 열을 의미하며, sizel은 풀링 연산의 해당층 사이즈를 의미하며, Im은 풀링 연산의 해당층에 입력되는 데이터(data)의 수를 의미하고, Ia는 라벨(label)의 수를 의미한다.
풀링 연산을 실행한 후, 중앙 제어부(250)는 풀링 연산값과 미리 설정한 목표 출력값을 이용하여 손실값을 연산한다.
구체적으로, 손실값 연산은 아래의 [수학식 5]의 MSLE, [수학식 6]의 RMSLE 또는 [수학식 7]의 sMAPE를 이용하여 연산할 수 있고, 미리 설정한 목표 출력값은 GT(Ground Truth)일 수 있다.
이때, GT는 예컨대 원본 이미지 데이터를 중앙 제어부(250)의 은닉층(Hidden Layer)에서 컨벌루션 연산을 수행한 컨벌루션 연산값을 기초로 최댓값 풀링 연산(Max Pooling)을 수행한 값일 수도 있다.
여기서, 는 풀링 연산 단계(S443)의 풀링 연산값을 의미하고, 는 미리 설정한 목표 출력값을 의미한다.
손실값을 연산한 후, 중앙 제어부(250)는 연산된 손실값을 이용해 매개변수에 대한 수정값을 획득한다.
이때, 매개변수는 w인 가중치를 의미할 수 있고, 중앙 제어부(250)는 획득한 매개 변수에 대한 수정값을 이용하여 매개 변수를 업데이트할 수 있다.
이렇게 업데이트된 매개 변수를 이용하여, 중앙 제어부(250)는 인공지능학습과정, 즉 상술한 특징맵을 재생성하는 단계부터 매개변수의 수정값을 획득하는 단계까지를 포함한 과정을 설정된 횟수로 반복하여 재수행할 수 있다.
이러한 재수행 과정이 1번 완료되면 epoch 1번 학습 완료한 것이고, 재수행 과정이 100번 반복적으로 수행되면 epoch 100으로 학습 완료한 것이다.
이러한 설정 횟수의 재수행 과정 후에, 중앙 제어부(250)는 디스플레이 패널(110)의 영상에 대한 에러를 인식하여 판단한다(S570).
즉, 중앙 제어부(250)는 디스플레이 패널(110)이 예컨대 블루 스크린 영상, 블랙 스크린 영상 및 화면 깨짐 영상 등의 여러 영상에러 패턴들 중에 어느 하나의 영상 에러를 나타내는지를 인식하여 판단할 수 있다.
이때, 중앙 제어부(250)는 재수행 과정의 수행 횟수를 더욱 증가시켜, 영상 에러의 판단 정확도를 더욱 향상시킬 수 있다.
이후, 중앙 제어부(250)는 판단한 영상 에러에 대한 보정 처리정보를 유,무선 네트워크를 통해 영상정보 디스플레이(100)의 제어부(150)로 전송한다(S580).
이때, 중앙 제어부(250)는 판단한 영상 에러에 대한 보정 처리정보를 유,무선 네트워크를 통해 영상정보 디스플레이(100)의 제어부(150)로 전송함과 동시에 영상정보 디스플레이(100)의 관리자 단말기로 영상 에러에 관한 문자 메시지와 영상정보를 전송하여, 영상정보 디스플레이(100)의 관리자가 영상 에러를 확인할 수 있게 한다.
이렇게 영상 에러에 대한 보정 처리정보를 수신한 영상정보 디스플레이(100)의 제어부(150)는 보정 처리정보에 따라 디스플레이 패널(110)의 디스플레이 보정을 수행할 수 있다.
이에 따라 본 발명의 다른 실시예에 따른 영상정보 디스플레이 자동감시방법은 분할 신경망을 이용하여 카메라부(140)에서 획득된 영상정보 디스플레이(100)의 영상을 학습하여 디스플레이 에러를 인식 판단하여 처리할 수 있다.
본 발명의 기술사상은 상기 바람직한 실시예에 따라 구체적으로 기술되었으나, 전술한 실시예들은 그 설명을 위한 것이며, 그 제한을 위한 것이 아님을 주의하여야 한다.
또한, 본 발명의 기술분야의 통상의 전문가라면 본 발명의 기술사상의 범위 내에서 다양한 실시가 가능함을 이해할 수 있을 것이다.
100: 영상정보 디스플레이 110: 디스플레이 패널
120: 지지 프레임 130: 송수신부
140: 카메라부 150: 제어부
160: 베이스 170: 유니버셜 휠
200: 중앙 서버 250: 중앙 제어부
301: 입력층 302: 제 1 은닉층
303: 제 2 은닉층 304: 제 3 은닉층
305: 제 4 은닉층 306: 출력층

Claims (9)

  1. 영상정보 디스플레이; 및
    상기 영상정보 디스플레이에 유, 무선으로 연결된 중앙 서버;
    를 포함하고,
    상기 영상정보 디스플레이는 제 1 분할 신경망(split Neural Network)을 포함하는 제어부;를 포함하고, 상기 중앙 서버는 제 2 분할 신경망을 구비하는 중앙 제어부;를 포함하며,
    상기 제어부는 상기 제 1 분할 신경망을 이용하여 상기 영상정보 디스플레이를 촬영한 영상정보에서 개인정보를 유추할 수 없도록 왜곡한 특징맵을 추출하여 상기 중앙 서버의 상기 중앙 제어부로 송신하고,
    상기 중앙 제어부는 수신한 상기 왜곡한 특징맵을 합산하고, 상기 제 2 분할 신경망을 이용하여 합산한 특징맵에 대한 인공지능학습을 수행하는 영상정보 디스플레이 자동감시 시스템.
  2. 제 1 항에 있어서,
    상기 영상정보 디스플레이는
    베이스;
    상기 베이스에 수직으로 고정장착된 지지 프레임;
    상기 지지 프레임의 상부 내측에 장착된 디스플레이 패널;
    상기 베이스의 상부 중앙에 구비된 송수신부; 및
    상기 베이스의 테두리 일측에 구비되고, 상기 디스플레이 패널을 촬상하는 카메라부;를 포함하고,
    상기 제어부는 상기 베이스의 내부에 구비된 것을 특징으로 하는 영상정보 디스플레이 자동감시 시스템.
  3. 제 1 항에 있어서,
    상기 제 1 분할 신경망은 입력층(input layer)과 제 1 은닉층(hidden layer 1)을 포함하는 것을 특징으로 하는 영상정보 디스플레이 자동감시 시스템.
  4. 제 1 항에 있어서,
    상기 제 2 분할 신경망은 다수의 은닉층과 출력층을 포함하는 것을 특징으로 하는 영상정보 디스플레이 자동감시 시스템.
  5. 제 2 항에 있어서,
    상기 디스플레이 패널은 상기 지지 프레임의 상부 내측에 장착된 양면 디스플레이 패널 또는 단면 디스플레이 패널인 것을 특징으로 하는 영상정보 디스플레이 자동감시 시스템.
  6. (A) 중앙 서버의 중앙 제어부가 유,무선 네트워크를 통해 영상정보 디스플레이 자동감시를 위한 영상정보를 요청하는 신호를 영상정보 디스플레이의 제어부로 송신하는 단계;
    (B) 상기 영상정보 디스플레이의 제어부가 카메라부를 통해 촬상된 디스플레이 패널의 영상정보를 획득하는 단계;
    (C) 상기 영상정보 디스플레이의 제어부는 상기 디스플레이 패널의 영상정보에서 개인정보를 유추할 수 없도록 왜곡한 특징맵을 추출하여 상기 중앙 서버의 중앙 제어부로 송신하는 단계;
    (D) 상기 중앙 서버의 중앙 제어부는 수신한 상기 왜곡한 특징맵을 합산하고, 합산한 특징맵에 대한 인공지능학습을 수행하는 단계; 및
    (E) 상기 중앙 서버의 중앙 제어부는 상기 디스플레이 패널의 영상정보에 대한 에러를 인식하여 판단하는 단계;
    를 포함하고,
    상기 영상정보 디스플레이의 제어부는 제 1 분할 신경망(split Neural Network)을 포함하고, 상기 제 1 분할 신경망을 이용하여 상기 왜곡한 특징맵을 추출하고,
    상기 중앙 서버의 중앙 제어부는 제 2 분할 신경망을 구비하고, 상기 제 2 분할 신경망을 이용하여 상기 인공지능학습을 수행하는 영상정보 디스플레이 자동감시방법.
  7. 제 6 항에 있어서,
    상기 제 1 분할 신경망은 입력층(input layer)과 제 1 은닉층(hidden layer 1)을 포함하고,
    상기 (C) 단계는 상기 입력층에 영상 이미지의 픽셀정보가 입력되고, 상기 제 1 은닉층을 거치면서 필터를 이용해 컨벌루션(convolution) 연산을 실행하는 과정을 포함하는 것을 특징으로 하는 영상정보 디스플레이 자동감시방법.
  8. 제 6 항에 있어서,
    상기 중앙 서버의 중앙 제어부는 다수의 은닉층과 출력층을 포함한 상기 제 2 분할 신경망을 구비하되, 상기 제 2 분할 신경망은 다수의 은닉층과 출력층을 포함하고,
    상기 제 2 분할 신경망을 이용하여 상기 인공지능학습을 수행하는 것을 특징으로 하는 영상정보 디스플레이 자동감시방법.
  9. 제 6 항에 있어서,
    (F) 상기 중앙 서버의 중앙 제어부는 판단한 영상 에러에 대한 보정 처리정보를 상기 영상정보 디스플레이의 제어부로 전송하는 단계; 및
    (G) 상기 중앙 서버의 중앙 제어부가 상기 영상정보 디스플레이의 관리자 단말기로 영상 에러에 관한 문자 메시지와 영상정보를 전송하는 단계;
    를 더 포함하는 것을 특징으로 하는 영상정보 디스플레이 자동감시방법.
KR1020230091086A 2023-07-13 2023-07-13 영상정보 디스플레이 자동감시 시스템 및 영상정보 디스플레이 자동감시방법 KR102643646B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230091086A KR102643646B1 (ko) 2023-07-13 2023-07-13 영상정보 디스플레이 자동감시 시스템 및 영상정보 디스플레이 자동감시방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230091086A KR102643646B1 (ko) 2023-07-13 2023-07-13 영상정보 디스플레이 자동감시 시스템 및 영상정보 디스플레이 자동감시방법

Publications (1)

Publication Number Publication Date
KR102643646B1 true KR102643646B1 (ko) 2024-03-05

Family

ID=90298233

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230091086A KR102643646B1 (ko) 2023-07-13 2023-07-13 영상정보 디스플레이 자동감시 시스템 및 영상정보 디스플레이 자동감시방법

Country Status (1)

Country Link
KR (1) KR102643646B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190053469A (ko) * 2017-11-10 2019-05-20 삼성전자주식회사 디스플레이 장치, 재생 판단 장치, 컨텐츠 재생 확인 방법
KR102286470B1 (ko) * 2020-05-26 2021-08-04 박영기 원본 영상 정보 및 표출 촬상 정보 유사도 분석을 통한 led 디지털 사이니지 불량 감지 시스템
KR102314202B1 (ko) 2020-09-22 2021-10-18 유광호 키오스크 쇼핑 제어 시스템 및 방법
KR20220105689A (ko) * 2021-01-20 2022-07-28 주식회사 솔루션에이 머신러닝 모델에 기반한 디스플레이 패널의 결함 판정 시스템
KR102458179B1 (ko) * 2022-06-20 2022-10-24 주식회사 한국공간데이터 얼굴 속성을 이용한 얼굴 인식 방법 및 얼굴 인식 장치
KR20220168111A (ko) * 2021-06-15 2022-12-22 이문상 태양광패널 청소 장치의 고장알림 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190053469A (ko) * 2017-11-10 2019-05-20 삼성전자주식회사 디스플레이 장치, 재생 판단 장치, 컨텐츠 재생 확인 방법
KR102286470B1 (ko) * 2020-05-26 2021-08-04 박영기 원본 영상 정보 및 표출 촬상 정보 유사도 분석을 통한 led 디지털 사이니지 불량 감지 시스템
KR102314202B1 (ko) 2020-09-22 2021-10-18 유광호 키오스크 쇼핑 제어 시스템 및 방법
KR20220105689A (ko) * 2021-01-20 2022-07-28 주식회사 솔루션에이 머신러닝 모델에 기반한 디스플레이 패널의 결함 판정 시스템
KR20220168111A (ko) * 2021-06-15 2022-12-22 이문상 태양광패널 청소 장치의 고장알림 방법
KR102458179B1 (ko) * 2022-06-20 2022-10-24 주식회사 한국공간데이터 얼굴 속성을 이용한 얼굴 인식 방법 및 얼굴 인식 장치

Similar Documents

Publication Publication Date Title
US20210312214A1 (en) Image recognition method, apparatus and non-transitory computer readable storage medium
CN102906810B (zh) 支持视觉受损的个体的扩增的现实全景
CN105183444B (zh) 计算机可读介质和提供车辆所有者指南信息的方法
JP6862629B2 (ja) 見守り送迎システムにおける車両管理サーバ、車載端末、見守り方法、及びプログラム
CN103283225A (zh) 多分辨率图像显示
US10949687B2 (en) Method and apparatus for outputting information
CN110569695A (zh) 基于定损图像判定模型的图像处理方法和装置
WO2022166625A1 (zh) 一种车辆行驶场景中信息推送的方法以及相关装置
JP2016218760A (ja) 物体検出システム、物体検出方法、ｐｏｉ情報作成システム、警告システム、及び誘導システム
JP2016085619A (ja) 画像処理装置、画像処理方法、ｐｏｉ情報作成システム、警告システム、及び誘導システム
JP7020434B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
KR102251783B1 (ko) 인공지능 디지털 사이니지 시스템
US11398054B2 (en) Apparatus and method for detecting fog on road
KR102090907B1 (ko) 영상개선 및 딥러닝 기술을 접목한 차량검출 및 번호인식 방법과 이를 이용한 주차시스템
KR102226321B1 (ko) 스마트 교통 정보 제공 시스템
KR102643646B1 (ko) 영상정보 디스플레이 자동감시 시스템 및 영상정보 디스플레이 자동감시방법
CN109800661A (zh) 一种道路识别模型训练方法、道路识别方法及装置
KR102326793B1 (ko) 사고 영상 분석 시스템 및 이를 이용한 분석 방법
CN111724437B (zh) 视觉定位方法及相关装置、设备、存储介质
CN112969053B (zh) 车内信息传输方法、装置、车载设备及存储介质
CN112598678A (zh) 一种图像处理方法、终端及计算机可读存储介质
US20190121303A1 (en) Control system and control method
CN116468625A (zh) 基于金字塔高效通道注意力机制的单幅图像去雾方法和系统
CN115690934A (zh) 基于批量人脸识别的师生考勤打卡方法及装置
CN113554872B (zh) 一种位于交通路口及弯道的检测预警方法及系统

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant