KR20190120958A - 영상기반 시스템조명 고장 신고 및 자동 분류 방법 및 시스템 - Google Patents
영상기반 시스템조명 고장 신고 및 자동 분류 방법 및 시스템 Download PDFInfo
- Publication number
- KR20190120958A KR20190120958A KR1020180044363A KR20180044363A KR20190120958A KR 20190120958 A KR20190120958 A KR 20190120958A KR 1020180044363 A KR1020180044363 A KR 1020180044363A KR 20180044363 A KR20180044363 A KR 20180044363A KR 20190120958 A KR20190120958 A KR 20190120958A
- Authority
- KR
- South Korea
- Prior art keywords
- failure
- image
- item
- lighting
- symptom
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 208000024891 symptom Diseases 0.000 claims abstract description 130
- 230000008439 repair process Effects 0.000 claims abstract description 32
- 238000012360 testing method Methods 0.000 claims abstract description 26
- 238000003745 diagnosis Methods 0.000 claims description 33
- 230000008859 change Effects 0.000 claims description 17
- 230000004044 response Effects 0.000 claims description 16
- 238000009825 accumulation Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000005286 illumination Methods 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000010219 correlation analysis Methods 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 238000002405 diagnostic procedure Methods 0.000 claims 2
- 238000012423 maintenance Methods 0.000 abstract description 4
- 238000010998 test method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 230000015556 catabolic process Effects 0.000 description 3
- 230000002950 deficient Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000007257 malfunction Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000013024 troubleshooting Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/20—Responsive to malfunctions or to light source life; for protection
-
- H05B37/03—
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
- G05B23/0275—Fault isolation and identification, e.g. classify fault; estimate cause or root of failure
- G05B23/0281—Quantitative, e.g. mathematical distance; Clustering; Neural networks; Statistical analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/75—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
- H05B45/50—Circuit arrangements for operating light-emitting diodes [LED] responsive to malfunctions or undesirable behaviour of LEDs; responsive to LED life; Protective circuits
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
- H05B45/50—Circuit arrangements for operating light-emitting diodes [LED] responsive to malfunctions or undesirable behaviour of LEDs; responsive to LED life; Protective circuits
- H05B45/59—Circuit arrangements for operating light-emitting diodes [LED] responsive to malfunctions or undesirable behaviour of LEDs; responsive to LED life; Protective circuits for reducing or suppressing flicker or glow effects
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/175—Controlling the light source by remote control
- H05B47/19—Controlling the light source by remote control via wireless transmission
-
- H05B47/1965—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Abstract
일 실시예에 따른 조명 고장 진단 방법은 고장 항목별 테스트 고장 증상 데이터에 기초하여 복수의 고장 항목들 중 어느 고장 항목에 해당하는지 여부를 결정하는 단계, 및 결정된 고장 항목에 맞는 수리 방법을 추천하는 단계를 포함한다.
Description
본 발명은 스마트조명, 스마트센서, 게이트웨이, 사용자 입력장치, 관제장치 등으로 구성된 시스템조명에서 고장이 발생 시, 사용자가 촬영한 고장 영상을 바탕으로 어떤 고장에 해당하는지 자동으로 진단하고 고장 데이터베이스로부터 유사한 고장 증상 및 조치 사례 정보를 받아, 사용자가 단순 교환인지 A/S 의뢰인지 등을 직접 결정하도록 하는 방법 및 장치에 관한 것이다.
종래의 시스템조명 고장 신고는 사용자가 조명 고장을 인지하고, A/S 콜센터에 연락 또는 직접 방문하여 고장 신고를 하게 되며, A/S 콜센터에서는 전문 수리기사를 통하여 고장을 수리하는 형태가 일반적이었다. 이 경우, 고장을 인지하여 고장 수리에까지 이르는 시간이 오래 걸리며, 불필요한 교통비, 출장비 등의 비용이 발생하게 되고, 사용자는 아주 간단한 조치가 필요한 경우에도 전문 수리기사를 기다려야 하는 문제점이 있다.
본 발명은 스마트조명, 스마트센서, 게이트웨이, 사용자 입력장치, 관제장치 등으로 구성된 시스템조명에서 조명의 고장을 스마트폰 앱으로 촬영하고, 그 영상을 시스템조명 클라우드 데이터베이스에 고장 신고하며, 고장 항목을 자동으로 진단해 주며, 고장 데이터베이스로부터 유사한 고장 증상 및 조치 사례 정보를 받아, 사용자가 단순 교환인지 A/S 의뢰인지 등을 직접 결정하도록 하여 유지보수 비용을 절감하는 방법 및 시스템에 관한 것이다.
일 실시예에 따른 조명 고장 진단 방법은 미리 정해진 하나 이상의 고장 항목별 테스트에 기초하여, 고장 항목들이 태그화된 상기 고장 항목별 테스트 고장 증상 데이터를 수신하는 단계; 상기 미리 정해진 하나 이상의 고장 항목 중 제1 고장 항목을 결정하는 단계; 고장 증상 영상 축적 데이터베이스에 미리 저장된 상기 제1 고장 항목에 대응되는 고장 비교 영상을 불러오는 단계; 상기 고장 비교 영상과 상기 제1 고장 항목으로 태그화된 고장 증상 데이터를 비교하여 상기 제1 고장 항목 해당 여부를 진단하는 단계; 및 제1 고장 항목에 해당하는 경우, 상기 데이터베이스에 기초하여, 수리 방법을 추천해주는 단계를 포함한다.
상기 미리 정해진 하나 이상의 고장 항목 중 제1 고장 항목을 결정하는 단계는, 미리 정해진 조건이 만족되는 동안 반복적으로 수행될 수 있다.
상기 미리 정해진 조건은, 상기 미리 정해진 하나 이상의 고장 항목들 모두에 대하여, 빈도 수가 높은 순서에 따라 반복적으로 수행되는 조건을 포함할 수 있다.
상기 수리 방법을 추천해주는 단계는, 상기 데이터베이스에 축적된 데이터를 딥러닝을 통해 학습시켜 생성된 신경망을 이용하여, 상기 수리 방법을 추천하는 단계를 포함할 수 있다.
상기 조명 고장 진단 방법은 제1 고장 항목에 해당하는 경우, 상기 고장 증상 데이터를 상기 고장 증상 영상 축척 데이터베이스에 레이블 표기하여 저장하는 단계를 더 포함할 수 있다.
상기 제1 고장 항목 해당 여부를 진단하는 단계는, 상기 제1 고장 항목에 대응되는 미리 정해진 판단 방법을 결정하는 단계; 및 상기 판단 방법에 따라 상기 고장 비교 영상과 상기 제1 고장 항목으로 태그화된 고장 증상 데이터를 비교하는 단계를 포함할 수 있다.
상기 미리 정해진 판단 방법은, 단위 시간당 밝기 변화 데이터 비교, 단위 시간당 밝기 최대 최소값의 변화량 비교, 영상의 색좌표 비교, 영상 속 오디오 출력 비교, 밝기 변화 시점 비교 중 적어도 하나를 포함할 수 있다.
상기 제1 고장 항목 해당 여부를 진단하는 단계는, 평균자승에러 및 상관관계분석을 포함하는 데이터 비교 알고리즘을 이용하여 고장 여부를 진단하는 단계를 포함할 수 있다.
상기 고장 증상 데이터는, 소리 정보, 및 영상정보를 포함할 수 있다.
상기 미리 정해진 하나 이상의 고장 항목은, 디밍, 플리커, 색온도, 소음, 응답 지연 중 적어도 하나를 포함할 수 있다.
일 측에 따른 조명 고장 진단 장치는 미리 정해진 하나 이상의 고장 항목별 테스트에 기초하여, 고장 항목들이 태그화된 상기 고장 항목별 테스트 고장 증상 데이터를 수신하는 수신부; 고장 증상 영상이 미리 저장된 고장 증상 영상 축적 데이터베이스; 상기 미리 정해진 하나 이상의 고장 항목 중 제1 고장 항목을 결정하고, 상기 데이터베이스에 미리 저장된 상기 제1 고장 항목에 대응되는 고장 비교 영상을 불러오며, 상기 고장 비교 영상과 상기 제1 고장 항목으로 태그화된 고장 증상 데이터를 비교하여 상기 제1 고장 항목 해당 여부를 진단하는 진단부; 및 제1 고장 항목에 해당하는 경우, 상기 데이터베이스에 기초하여, 수리 방법을 추천해주는 추천부를 포함한다.
일 측에 따른 고장 증상 데이터 생성방법은 고장 항목별 테스트 제어 명령을 실행하여 조명을 제어하는 단계; 상기 조명을 촬영하는 단계; 상기 고장 항목별로 태그화하여 상기 촬영된 영상을 저장하는 단계; 고장 증상에 관한 사용자 의견을 수신하는 단계; 상기 조명의 기기 정보, 상기 태그화된 영상, 및 상기 사용자 의견에 기초하여 고장 항목별 테스트 고장 증상 데이터를 생성하는 단계; 및 상기 고장 항목별 테스트 고장 증상 데이터를 서버로 전송하는 단계를 포함할 수 있다.
상기 고장 증상 데이터 생성방법은 상기 조명에 부착된 QR 코드를 인식하여, 상기 조명의 고유 정보를 자동으로 추출하는 단계를 더 포함할 수 있다.
상기 고장 증상 데이터 생성방법은 촬영되는 전체 영상 프레임에서 상기 조명에 해당되는 영역을 분할하는 영상 세그멘테이션을 실행하는 단계; 및 상기 영상을 정규화 편집하는 단계를 더 포함할 수 있다.
본 발명은 스마트조명, 스마트센서, 게이트웨이, 사용자 입력장치, 관제장치 등으로 구성된 시스템조명에서 조명의 고장을 스마트폰 앱으로 촬영하고, 그 영상을 시스템조명 클라우드 데이터베이스에 고장 신고하며, 자동으로 분류된 고장 데이터베이스로부터 유사한 고장 증상 및 조치 사례 정보를 받아, 전원 재시작, 모듈 재삽입, 제품교체 등 사용자가 자가수리 또는 A/S 신청 여부를 직접 결정하도록 하여 전체적으로 시스템조명 사용자의 유지보수 비용을 절감하는데 기여할 수 있다.
도 1은 일 실시예에 따른 시스템조명 자동 고장 진단 및 수리 방법 추천 시스템에 관한 도면.
도 2는 일 실시예에 따른 고장 신고 방법을 도시한 도면.
도 3은 일 실시예에 따른 고장 신고 순서도를 도시한 도면.
도 4는 일 실시예에 따른 고장 증상 데이터를 도시한 도면.
도 5는 일 실시예에 따른 ‘디밍불가’ 고장에 대한 고장 증상 자동 진단 순서도를 도시한 도면.
도 6은 일 실시예에 따른 ‘플리커’ 고장에 대한 고장 증상 자동 진단 순서도.
도 7은 일 실시예에 따른 ‘색온도’ 고장에 대한 고장 증상 자동 진단 순서도를 도시한 도면.
도 8은 일 실시예에 따른 ‘소음’ 고장에 대한 고장 증상 자동 진단 순서도를 도시한 도면.
도 9은 일 실시예에 따른 ‘응답’ 고장에 대한 고장 증상 자동 진단 순서도를 도시한 도면.
도 10은 일 실시예에 따른 수리 방법 추천 시스템을 도시한 도면.
도 11은 일 실시예에 따른 수리 방법을 추천해주는 화면을 도시한 도면.
도 2는 일 실시예에 따른 고장 신고 방법을 도시한 도면.
도 3은 일 실시예에 따른 고장 신고 순서도를 도시한 도면.
도 4는 일 실시예에 따른 고장 증상 데이터를 도시한 도면.
도 5는 일 실시예에 따른 ‘디밍불가’ 고장에 대한 고장 증상 자동 진단 순서도를 도시한 도면.
도 6은 일 실시예에 따른 ‘플리커’ 고장에 대한 고장 증상 자동 진단 순서도.
도 7은 일 실시예에 따른 ‘색온도’ 고장에 대한 고장 증상 자동 진단 순서도를 도시한 도면.
도 8은 일 실시예에 따른 ‘소음’ 고장에 대한 고장 증상 자동 진단 순서도를 도시한 도면.
도 9은 일 실시예에 따른 ‘응답’ 고장에 대한 고장 증상 자동 진단 순서도를 도시한 도면.
도 10은 일 실시예에 따른 수리 방법 추천 시스템을 도시한 도면.
도 11은 일 실시예에 따른 수리 방법을 추천해주는 화면을 도시한 도면.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 일 실시예에 따른 시스템조명(120) 자동 고장 진단 및 수리 방법 추천 시스템에 관한 도면이다.
도 1을 참조하면, 시스템조명(120)에서 고장이 발생한 경우, 고장을 인지한 사용자(130)는 스마트폰(140)을 이용하여 자동 고장 진단 및 수리 방법 추천을 받을 수 있다.
사용자(130)는 시스템조명(120) 고장 인지 시, 고장 증상을 스마트폰(200)으로 촬영할 수 있다. 촬영한 영상을 기초로 고장 증상 데이터가 생성될 수 있다. 생성된 고장 증상 데이터는 클라우드 데이터베이스 서버(150)에 등록될 수 있다. 동시에 고장 진단 장치(170)를 통해 고장 여부 및 고장 발생시 고장 항목을 자동으로 진단할 수 있다. 고장 진단 장치의 구체적인 동작 방법은 후술하겠다.
고장 여부 및 고장 항목이 특정되면, 고장 증상 영상 축적 데이터베이스에 기초한 유사 고장 증상 및 조치 사례 정보를 기반으로 고장 수리 방법을 추천 받을 수 있다. 고장 수리 방법을 추천 받음으로써, 사용자(130)는 전원 재시작, 모듈 재삽입, 제품교체 등 자가수리 또는 A/S 신청 여부를 결정할 수 있어 유지보수에 드는 시간 및 비용을 절감할 수 있다.
시스템조명(120)은 스마트조명, 스마트센서, 게이트웨이, 사용자 입력장치, 관제장치 등으로 구성될 수 있다. 일 실시예에 따르면, 사용자(130)는 스마트폰(140)에 탑재된 시스템조명 고장신고 앱을 이용하여 자동 고장 진단 및 수리 방법 추천 서비스를 제공받을 수 있다.
일 실시예에 따르면, 사용자(130)는 시스템조명(120)의 이상이 감지되면 스마트폰(140)을 이용하여 고장 증상을 보고할 수 있다. 스마트폰(140)은 시스템조명(120)의 고장 증상을 판단하기 위하여 필요한 데이터를 확보하기 위하여, 고장 증상 별로 미리 정해진 테스트에 맞는 제어 신호를 시스템조명(120)으로 전달할 수 있다. 복수의 테스트가 자동으로 진행되는 동안 사용자(130)는 스마트폰(140)을 이용하여 시스템조명(120)을 촬영할 수 있다.
고장 진단 장치(170)는 테스트 데이터를 수집하여 축적할 수 있다. 고장 진단 장치(170)는 수집된 데이터를 테스트 별 정상 샘플과 비정상 샘플과 비교함으로써 고장 증상을 자동으로 분류할 수 있다. 또는, 고장 진단 장치(170)는 딥러닝 학습 기법을 통하여 기 학습된 신경망를 이용하여 고장 증상을 자동으로 분류할 수 있고, 분류된 고장 증상에 맞는 고장 수리 방법을 자동으로 추천할 수 있다.
고장 진단 장치(170)는 신경망 학습을 위하여, 사용자(130)가 촬영한 테스트 영상들과 실제 해결 방안(고장 수리 방법)을 매칭하여 저장할 수 있다. 도 1의 시스템 하에서, 초기에는 애프터서비스(AS) 수리기사의 방문을 추천하는 경우가 많을 수 있다. 전문적인 식견을 가진 AS 수리기사에 의하여 판단된 실제 해결 방안(고장 수리 방법)은 데이터베이스에 저장되어, 테스트 영상이 해당하는 해결 방안을 추천하도록 신경망이 학습될 수 있다. 시간이 지남에 따라 신경망이 고도하게 학습되고, AS 수리기사의 방문 없이도 자가로 수리할 수 있는 방안들을 더 많이 추천할 수 있게 된다.
도 2는 일 실시예에 따른 고장 신고 방법을 도시한 도면이다.
도 2를 참조하면, 고장 신고 방법은 조명기기 정보를 추출하는 단계, 고장 증상을 촬영하는 단계, 고장 항목별 테스트 절차를 진행하는 단계를 포함할 수 있다.
일 실시예에 따르면 고장 신고 앱을 이용하여 고장 신고를 할 수 있다. 예를 들어, 스마트폰(200) 카메라를 이용하여 해당 조명기기 정보를 자동으로 추출할 수 있다. 일 실시예에 따르면 시스템조명에 부착된 QR 코드를 인식하면 스마트폰(200) 화면상에 QR코드(201)와 해당 조명기기 고유 제품 정보(202)를 추출할 수 있다. 고유 제품정보(202)를 바탕으로 시스템조명 고장 클라우드 데이터베이스 시스템으로부터 해당 조명의 설치 및 고장 이력정보(203)을 받아올 수 있다. QR 코드(201)가 없는 경우 수동으로 정보를 입력할 수 있다.
촬영버튼(204)를 눌러 시스템조명의 고장증상을 촬영하면 그 영상(205)이 저장될 수 있다. 미리 정의된 고장 항목별 테스트 절차(206)에 따라서 조명 고장 항목별 테스터 제어 명령이 실행될 수 있다. 구체적인 고장 항목별 테스트 절차는 후술하겠다. 영상을 저장하면서 실행된 명령어를 태그화 하여 같이 영상에 저장할 수 있다.
도 3은 일 실시예에 따른 고장 신고 순서도를 도시한 도면이다.
도 3을 참조하면, 고장이 발생 한 경우(310), 시스템조명에 QR 코드 존재 유무를 판단할 수 있다(320). QR코드가 부착되어 있지 않은 경우에는 사용자가 제품 구입 명세서 등을 바탕으로 수동으로 조명기기의 고유 제품정보를 입력할 수 있다(330). QR 코드가 있는 경우에는 자동으로 조명기기의 고유 제품정보를 인식할 수 있다(325). 고유 제품정보를 인식하면, 사용자가 스마트폰 카메라를 이용하여 조명 고장 증상을 촬영할 수 있다.
미리 정의된 고장 항목별 테스트 절차(335)에 따라서 조명 고장 항목별 테스트 제어 명령이 실행될 수 있다(340). 미리 정해진 하나 이상의 고장 항목은 디밍, 플리커, 색온도, 소음, 응답 지연 중 적어도 하나를 포함할 수 있다. 촬영되는 전체 영상프레임에서 조명에 해당되는 영역만 분할 촬영 되도록 영상 세그멘테이션을 실행할 수 있다(345). 전체 프레임에서 조명의 크기가 일정한 비율과 밝기 히스토그램을 갖도록 영상 정규화 편집을 수행할 수 있다(350). 고장 항목별로 태그화하여 편집된 영상이 저장되고, 미리 정의된 고장 항목별 테스트 절차가 완료될 때까지 고장 항목별 테스트가 반복될 수 있다(355).
미리 정의된 고장 항목별 테스트 절차가 모두 완료되면, 최종 편집된 영상을 재생하여 사용자에게 보여주며, 사용자가 생각하는 고장 증상과 분류를 선택하고 의견을 입력 받을 수 있다(360). 조명 기기 정보, 태그화된 영상, 사용자 의견에 기초하여 고장 항목별 테스트 고장 증상 데이터를 생성할 수 있다. 생성된 고장 영상 데이터를 시스템조명 고장 클라우드 데이터베이스 시스템에 업로드 할 수 있다(365).
도 4는 일 실시예에 따른 고장 증상 데이터를 도시한 도면이다.
도 4를 참조하면, 고장 증상 데이터(300)에는 미리 정의된 고장 항목별 테스트 절차에 따라 촬영된 고장 영상, 조명기기 고유 제품정보(430), 조명기기 이력 정보(435), 및 고장 증상에 대한 사용자 판단 고장 분류, 증상 및 의견(440)이 포함될 수 있다. 예를 들어, 조명기기 고유 제품정보는 “Product Code FEC00120013”일 수 있고, 이력 정보는 “2017.XX.XX에 설치 및 고장 1회”일 수 있다. 사용자 의견과 관련하여 증상은 “디밍 불가”, 의견은 “LED 디밍해도 밝기 변화 없음”일 수 있다.
일 실시예에 따르면, 미리 정의된 고장 항목별 테스트 절차에 따라 촬영된 고장 영상은 디밍 관련 영상(405), 플리커 관련 영상(410), 색온도 관련 영상(415), 소음 관련 영상(420), 및 응답 관련 영상(425)중 적어도 하나가 포함될 수 있다.
고장 증상 데이터가 생성되었다면, 이를 기초로 하여 고장 여부 및 고장 항목을 진단하고, 해당 고장 항목에 대응되는 수리 방법을 추천 받을 수 있다.
일 실시예에 따른 조명 고장 진단 방법은 미리 정해진 하나 이상의 고장 항목별 테스트에 기초하여, 고장 항목들이 태그화된 고장 항목별 테스트 고장 증상 데이터를 수신하는 단계, 미리 정해진 하나 이상의 고장 항목 중 제1 고장 항목을 결정하는 단계, 고장 증상 영상 축적 데이터베이스에 미리 저장된 제1 고장 항목에 대응되는 고장 비교 영상을 불러오는 단계, 고장 비교 영상과 제1 고장 항목으로 태그화된 고장 증상 데이터를 비교하여 제1 고장 항목 해당 여부를 진단하는 단계, 및 제1 고장 항목에 해당하는 경우, 데이터베이스에 기초하여, 수리 방법을 추천해주는 단계를 포함한다.
미리 정해진 하나 이상의 고장 항목 중 제1 고장 항목을 결정하는 단계는, 미리 정해진 조건이 만족되는 동안 반복적으로 수행될 수 있다. 미리 정해진 조건은 예를 들어 특정 고장 항목에 해당된다고 진단한 경우 더 이상 진단을 하지 않는 조건일 수 있다. 미리 정해진 조건은 예를 들어, 미리 정해진 하나 이상의 고장 항목들 모두에 대하여, 빈도 수가 높은 순서에 따라 반복적으로 수행되는 조건일 수 있다.
제1 고장 항목 해당 여부를 진단하는 단계는 제1 고장 항목에 대응되는 미리 정해진 판단 방법을 결정하는 단계, 판단 방법에 따라 고장 비교 영상, 제1 고장 항목으로 태그화된 고장 증상 데이터를 비교하는 단계를 더 포함할 수 있다. 상기 미리 정해진 판단 방법은 단위 시간당 밝기 변화 데이터 비교, 단위 시간당 밝기 최대 최소값의 변화량 비교, 영상의 색좌표 비교, 영상 속 오디오 출력 비교, 밝기 변화 시점 비교 중 적어도 하나를 포함할 수 있다. 구체적인 예는 후술하겠다.
제1 고장 항목에 해당하는 경우, 고장 증상 데이터를 상기 고장 증상 영상 축척 데이터베이스에 레이블 표기하여 저장할 수 있다. 저장된 고장 증상 데이터는 추후 학습데이터로 활용할 수 있다.
도 5는 일 실시예에 따른 ‘디밍불가’ 고장에 대한 고장 증상 자동 진단 순서도를 도시한 도면이다.
도 5를 참조하면, 고장 증상 자동 진단 시스템을 활용하여 사용자가 업로드한 고장 증상 데이터를 항목에 따리 진단할 수 있다. 조명 고장 항목이 ‘디밍’인 경우에 대한 예를 나타내고 있다. ‘디밍’관련 고장은 조명의 밝기 변화 명령어(0~100% 비율)에 대해서 밝기 변화가 전혀 없거나, 과도한 또는 과소한 비율로 밝기 변화가 발생하는 등, 사용자가 원하는 밝기를 조정하지 못하는 경우를 의미할 수 있다.
도 5를 참조하면, 사용자가 업로드한 고장 증상 영상 데이터를 분석할 수 있다. 미리 정의된 고장 항목별 테스트 절차에 따라 촬영된 영상에서 ‘디밍’으로 태그화된 고장 증상 데이터를 수신할 수 있다(535). 고장 증상 영상 축척 데이터베이스로부터 ‘디밍’ 관련 고장인 ‘디밍불가’로 분류된 고장 영상을 불러올 수 있다(510). 비교를 위하여 '디밍불가’로 분류된 고장 비교 영상뿐만 아니라 정상 영상도 불러올 수 있다.
고장 비교 영상과 정상 영상, 및 ‘디밍’으로 태그화된 고장 증상 데이터의 영상을 비교할 수 있다. 예를 들어 ‘디밍’고장 분류인 경우, 정상인 영상, 고장 비교 영상을 기반으로 단위 시간당 영상 프레임에서의 평균 밝기 변화를 0~1로 스케일링하여 그래프를 그릴 수 있다(515). 사용자 고장 증상 데이터의 영상도 동일한 방식으로 그래프를 그릴 수 있다. 정상 영상, 고장 비교 영상, 고장 증상 데이터의 영상 그래프를 비교할 수 있다. 정상 영상, 고장 비교 영상, 고장 증상 데이터의 영상이 함께 도시된 그래프(540)를 참조하면, 고장 증상 데이터의 그래프가 정상 영상 그래프보다 고장 비교 영상 그래프에 가깝기 때문에 '디밍'관련 증상에 해당한다고 진단할 수 있다. 더욱 정밀한 비교를 위해 평균자승에러 또는 상관관계분석 등의 다양한 데이터 비교 알고리즘을 이용하여 정상 인지, 고장 인지를 판단할 수 있다(520).
판단 결과 고장 그래프에 근접 또는 일치하는 경우 고장 영상으로 인식하고 ‘디밍’이라는 레이블(label)을 표기하여 추후 학습데이터로 활용할 수 있게 고장 증상 영상 축적 데이터베이스에 추가 업데이트 저장되고(530), ‘디밍’ 고장으로 확정할 수 있다(525).
도 6은 일 실시예에 따른 ‘플리커’ 고장에 대한 고장 증상 자동 진단 순서도를 도시한 도면이다.
도 6를 참조하면, 고장 증상 자동 진단 시스템을 활용하여 사용자가 업로드한 고장 증상 데이터를 항목에 따리 진단할 수 있다. 조명 고장 항목이 ‘플리커’인 경우에 대한 예를 나타내고 있다. ‘플리커’관련 고장은 사용자가 육안으로 확인할 수 있을 정도로 조명이 일정한 밝기를 나타내지 못하고 단위 시간당 빠르게 밝기 변화가 발생하는 경우를 의미할 수 있다.
도 6를 참조하면, 사용자가 업로드한 고장 증상 영상 데이터를 분석할 수 있다. 미리 정의된 고장 항목별 테스트 절차에 따라 촬영된 영상에서 ‘플리커’로 태그화된 고장 증상 데이터를 수신할 수 있다(635). 고장 증상 영상 축척 데이터베이스로부터 ‘플리커’ 관련 고장인 ‘플리커’로 분류된 고장 영상을 불러올 수 있다(610). 비교를 위하여 '플리커’로 분류된 고장 비교 영상뿐만 아니라 정상 영상도 불러올 수 있다.
고장 비교 영상과 정상 영상, 및 ‘플리커’로 태그화된 고장 증상 데이터의 영상을 비교할 수 있다. 예를 들어 ‘플리커’고장 분류인 경우, 정상인 영상, 고장 비교 영상을 기반으로 단위 시간당 영상 프레임에서의 평균 밝기 변화를 0~1로 스케일링하여 그래프를 그릴 수 있다. 고장 증상 데이터의 영상도 동일한 방식으로 그래프를 그릴 수 있다. 정상 영상, 고장 비교 영상, 고장 증상 데이터의 영상 그래프를 비교할 수 있다. '플리커'고장 분류인 경우, 단위 시간당 밝기 최대-최소(peak-to-peak)값의 변화량을 나타내는 그래프를 분석하여 정상인지, 고장인지를 판단할 수 있다(615). 정상 영상, 고장 비교 영상, 고장 증상 데이터의 영상이 함께 도시된 그래프(640)를 참조하면, 고장 증상 데이터의 영상 그래프가 육안으로 확인할 수 있을 정도로 조명이 일정한 밝기를 나타내지 못하고 단위 시간당 빠르게 밝기 변화가 발생하기 때문에 '플리커'관련 증상에 해당한다고 진단할 수 있다(620).
판단 결과 고장 그래프에 근접 또는 일치하는 경우 고장 영상으로 인식하고 ‘플리커’이라는 레이블(label)을 표기하여 추후 학습데이터로 활용할 수 있게 고장 증상 영상 축적 데이터베이스에 추가 업데이트 저장되고(630), ‘플리커’ 고장으로 확정할 수 있다(625).
도 7은 일 실시예에 따른 ‘색온도’ 고장에 대한 고장 증상 자동 진단 순서도를 도시한 도면이다.
도 7를 참조하면, 고장 증상 자동 진단 시스템을 활용하여 사용자가 업로드한 고장 증상 데이터를 항목에 따리 진단할 수 있다. 조명 고장 항목이 ‘색온도’인 경우에 대한 예를 나타내고 있다. ‘색온도’관련 고장은 사용자가 육안으로 확인할 수 있을 정도로 조명이 원하는 색온도(색상)를 나타내지 못하는 경우를 의미할 수 있다.
도 7를 참조하면, 사용자가 업로드한 고장 증상 영상 데이터를 분석할 수 있다. 미리 정의된 고장 항목별 테스트 절차에 따라 촬영된 영상에서 ‘색온도’로 태그화된 고장 증상 데이터를 수신할 수 있다(735). 고장 증상 영상 축척 데이터베이스로부터 ‘색온도’ 관련 고장인 ‘색온도’로 분류된 고장 영상을 불러올 수 있다(710). 비교를 위하여 '색온도’로 분류된 고장 비교 영상뿐만 아니라 정상 영상도 불러올 수 있다.
고장 비교 영상과 정상 영상, 및 ‘색온도’로 태그화된 고장 증상 데이터의 영상을 비교할 수 있다. 예를 들어 ‘색온도’고장 분류인 경우, 정상인 영상, 고장인 영상을 기반으로 조명 영역의 색상(RGB)를 색좌표(CIE 1931 x,y)로 변환하여 정상과 고장의 색좌표와 비교할 수 있다(715). 정상 영상, 고장 비교 영상, 고장 증상 데이터의 영상이 함께 도시된 그래프(740)를 참조하면, 사용자가 육안으로 확인할 수 있을 정도로 조명이 원하는 색온도(색상)를 나타내지 못하는 경우 '색온도'관련 증상에 해당한다고 진단할 수 있다(720).
판단 결과 고장 그래프에 근접 또는 일치하는 경우 고장 영상으로 인식하고 ‘색온도’이라는 레이블(label)을 표기하여 추후 학습데이터로 활용할 수 있게 고장 증상 영상 축적 데이터베이스에 추가 업데이트 저장되고(730), ‘색온도’ 고장으로 확정할 수 있다(725).
도 8은 일 실시예에 따른 ‘소음’ 고장에 대한 고장 증상 자동 진단 순서도를 도시한 도면이다.
도 8를 참조하면, 고장 증상 자동 진단 시스템을 활용하여 사용자가 업로드한 고장 증상 데이터를 항목에 따리 진단할 수 있다. 조명 고장 항목이 ‘소음’인 경우에 대한 예를 나타내고 있다. ‘소음’ 고장은 사용자가 가청 할 수 있는 소음이 발생하는 경우를 의미할 수 있다.
도 8를 참조하면, 사용자가 업로드한 고장 증상 영상 데이터를 분석할 수 있다. 고장 증상 데이터는 소리 정보, 및 영상정보를 포함할 수 있다. 미리 정의된 고장 항목별 테스트 절차에 따라 촬영된 영상에서 ‘소음’로 태그화된 고장 증상 데이터를 수신할 수 있다(835). 고장 증상 영상 축척 데이터베이스로부터 ‘소음’ 관련 고장인 ‘소음’로 분류된 고장 영상을 불러올 수 있다(810). 비교를 위하여 '소음’로 분류된 고장 비교 영상뿐만 아니라 정상 영상도 불러올 수 있다.
고장 비교 영상과 정상 영상, 및 ‘소음’로 태그화된 고장 증상 데이터의 영상을 비교할 수 있다. 예를 들어 ‘소음’고장 분류인 경우, 정상인 영상, 고장인 영상을 기반으로 오디오 출력(dB) 그래프를 그리게 되며(815), 일정한 주파수 범위를 벗어나거나 오디오 출력 진폭이 임계치 값을 넘는 경우를 ‘소음’관련 증상에 해당한다고 진단할 수 있다(820).
판단 결과 고장 그래프에 근접 또는 일치하는 경우 고장 영상으로 인식하고 ‘소음’이라는 레이블(label)을 표기하여 추후 학습데이터로 활용할 수 있게 고장 증상 영상 축적 데이터베이스에 추가 업데이트 저장되고(830), ‘소음’ 고장으로 확정할 수 있다(825).
도 9은 일 실시예에 따른 ‘응답’ 고장에 대한 고장 증상 자동 진단 순서도를 도시한 도면이다.
도 9를 참조하면, 고장 증상 자동 진단 시스템을 활용하여 사용자가 업로드한 고장 증상 데이터를 항목에 따리 진단할 수 있다. 조명 고장 항목이 ‘응답’인 경우에 대한 예를 나타내고 있다. ‘응답’ 고장은 사용자가 느낄 수 있도록 사용자 명령어 실행 후, 조명 제어가 늦게 실행되는 등, ‘응답’이 없거나 늦어지는 경우를 의미할 수 있다.
도 9를 참조하면, 사용자가 업로드한 고장 증상 영상 데이터를 분석할 수 있다. 미리 정의된 고장 항목별 테스트 절차에 따라 촬영된 영상에서 ‘응답’로 태그화된 고장 증상 데이터를 수신할 수 있다(935). 고장 증상 영상 축척 데이터베이스로부터 ‘응답’ 관련 고장인 ‘응답’로 분류된 고장 영상을 불러올 수 있다(910). 비교를 위하여 '응답’로 분류된 고장 비교 영상뿐만 아니라 정상 영상도 불러올 수 있다.
고장 비교 영상과 정상 영상, 및 ‘응답’로 태그화된 고장 증상 데이터의 영상을 비교할 수 있다. 예를 들어 ‘응답’고장 분류인 경우, 정상인 영상, 고장인 영상을 기반으로 조명제어 명령어가 실행된 시점부터 실제로 조명 제어가 일어나는 경우(예를 들어, 밝기 제어 명령어인 경우, 실제 밝기 변화가 일어나는 경우)에 해당되는 영상 밝기 그래프를 그릴 수 있다(915). 일정 시간이 넘어서 조명 제어가 일어나는 경우를 고장으로 진단할 수 있다(920).
판단 결과 고장 그래프에 근접 또는 일치하는 경우 고장 영상으로 인식하고 ‘응답’이라는 레이블(label)을 표기하여 추후 학습데이터로 활용할 수 있게 고장 증상 영상 축적 데이터베이스에 추가 업데이트 저장되고(930), ‘응답’ 고장으로 확정할 수 있다(925).
도 10은 일 실시예에 따른 수리 방법 추천 시스템을 도시한 도면이다.
도 10을 참조하면, 고장 증상 영상 축적 DB에서는 이미 고장 분류가 완료되어 고장 label을 가진 학습데이터가 쌓여 있을 수 있다. 데이터베이스에 축적된 데이터를 딥러닝을 통해 학습시킬 수 있다. 학습된 데이터를 이용하여, 수리 방법을 추천할 수 있다.
예를 들어, 콘볼루션 신경망(Convolution Neural Network)을 이용하여 각 고장 영상의 프레임 단위로 특징맵을 생성하고, 각 특징맵을 순환 신경망(Recurrent Neural Network)으로 연결하여 해당 고장을 특징 짓는 특징 벡터(증상(a), 증상(b), …)를 추출할 수 있다. 이 특징 벡터를 기반으로 증상에 따른 수리 방법을 추천할 수 있다.
고장의 유형은 다양하게 분류될 수 있다. 일 실시예에 따른 신경망은 복수의 증상들의 조합에 따라 고장의 유형을 서로 다르게 분류할 수 있고, 분류된 고장의 유형에 따라 수리 방법을 추천할 수 있다.
도 11은 일 실시예에 따른 수리 방법을 추천해주는 화면을 도시한 도면이다.
도 11을 참조하면, 사용자 스마트폰에서 시스템조명의 고장을 신고한 후, 시스템조명 고장 자동 분류 시스템에서 확정한 고장 분류에 따라서, 시스템조명 고장 클라우드 데이터베이스에서 해당 고장 분류의 수리 방법을 사용자 스마트폰 화면에 보여주게 되며, 사용자는 관련된 수리 방법을 읽어보며 단순 직접 수리 또는 A/S 수리 요청과 같은 판단을 내리게 하여 전체적으로 유지보수 비용을 절감하는 효과를 가질 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
Claims (14)
- 미리 정해진 하나 이상의 고장 항목별 테스트에 기초하여, 고장 항목들이 태그화된 상기 고장 항목별 테스트 고장 증상 데이터를 수신하는 단계;
상기 미리 정해진 하나 이상의 고장 항목 중 제1 고장 항목을 결정하는 단계;
고장 증상 영상 축적 데이터베이스에 미리 저장된 상기 제1 고장 항목에 대응되는 고장 비교 영상을 불러오는 단계;
상기 고장 비교 영상과 상기 제1 고장 항목으로 태그화된 고장 증상 데이터를 비교하여 상기 제1 고장 항목 해당 여부를 진단하는 단계; 및
제1 고장 항목에 해당하는 경우, 상기 데이터베이스에 기초하여, 수리 방법을 추천해주는 단계;
를 포함하는 조명 고장 진단 방법.
- 제 1항에 있어서,
상기 미리 정해진 하나 이상의 고장 항목 중 제1 고장 항목을 결정하는 단계는,
미리 정해진 조건이 만족되는 동안 반복적으로 수행되는,
조명 고장 진단 방법.
- 제 2항에 있어서,
상기 미리 정해진 조건은,
상기 미리 정해진 하나 이상의 고장 항목들 모두에 대하여, 빈도 수가 높은 순서에 따라 반복적으로 수행되는 조건을 포함하는,
조명 고장 진단 방법.
- 제 1항에 있어서,
상기 수리 방법을 추천해주는 단계는,
상기 데이터베이스에 축적된 데이터를 딥러닝을 통해 학습시켜 생성된 신경망을 이용하여, 상기 수리 방법을 추천하는 단계
를 포함하는,
조명 고장 진단 방법.
- 제 1항에 있어서,
제1 고장 항목에 해당하는 경우,
상기 고장 증상 데이터를 상기 고장 증상 영상 축척 데이터베이스에 레이블 표기하여 저장하는 단계
를 더 포함하는 조명 고장 진단 방법.
- 제 1항에 있어서,
상기 제1 고장 항목 해당 여부를 진단하는 단계는,
상기 제1 고장 항목에 대응되는 미리 정해진 판단 방법을 결정하는 단계;
상기 판단 방법에 따라 상기 고장 비교 영상과 상기 제1 고장 항목으로 태그화된 고장 증상 데이터를 비교하는 단계
를 포함하는 조명 고장 진단 방법.
- 제 6항에 있어서,
상기 미리 정해진 판단 방법은,
단위 시간당 밝기 변화 데이터 비교, 단위 시간당 밝기 최대 최소값의 변화량 비교, 영상의 색좌표 비교, 영상 속 오디오 출력 비교, 밝기 변화 시점 비교 중 적어도 하나를 포함하는,
조명 고장 진단 방법.
- 제 1항에 있어서,
상기 제1 고장 항목 해당 여부를 진단하는 단계는,
평균자승에러 및 상관관계분석을 포함하는 데이터 비교 알고리즘을 이용하여 고장 여부를 진단하는 조명 고장 진단 방법.
- 제 1항에 있어서,
상기 고장 증상 데이터는,
소리 정보, 및 영상정보를 포함하는 조명 고장 진단 방법
- 제 1항에 있어서,
상기 미리 정해진 하나 이상의 고장 항목은,
디밍, 플리커, 색온도, 소음, 응답 지연 중 적어도 하나를 포함하는 조명 고장 진단 방법.
- 미리 정해진 하나 이상의 고장 항목별 테스트에 기초하여, 고장 항목들이 태그화된 상기 고장 항목별 테스트 고장 증상 데이터를 수신하는 수신부;
고장 증상 영상이 미리 저장된 고장 증상 영상 축적 데이터베이스;
상기 미리 정해진 하나 이상의 고장 항목 중 제1 고장 항목을 결정하고, 상기 데이터베이스에 미리 저장된 상기 제1 고장 항목에 대응되는 고장 비교 영상을 불러오며, 상기 고장 비교 영상과 상기 제1 고장 항목으로 태그화된 고장 증상 데이터를 비교하여 상기 제1 고장 항목 해당 여부를 진단하는 진단부; 및
제1 고장 항목에 해당하는 경우, 상기 데이터베이스에 기초하여, 수리 방법을 추천해주는 추천부
를 포함하는 조명 고장 진단 장치.
- 고장 항목별 테스트 제어 명령을 실행하여 조명을 제어하는 단계;
상기 조명을 촬영하는 단계;
상기 고장 항목별로 태그화하여 상기 촬영된 영상을 저장하는 단계;
고장 증상에 관한 사용자 의견을 수신하는 단계;
상기 조명의 기기 정보, 상기 태그화된 영상, 및 상기 사용자 의견에 기초하여 고장 항목별 테스트 고장 증상 데이터를 생성하는 단계; 및
상기 고장 항목별 테스트 고장 증상 데이터를 서버로 전송하는 단계
를 포함하는 고장 증상 데이터 생성방법.
- 제 12항에 있어서,
상기 조명에 부착된 QR 코드를 인식하여, 상기 조명의 고유 정보를 자동으로 추출하는 단계
를 더 포함하는 고장 증상 데이터 생성방법.
- 제12항에 있어서,
촬영되는 전체 영상 프레임에서 상기 조명에 해당되는 영역을 분할하는 영상 세그멘테이션을 실행하는 단계; 및
상기 영상을 정규화 편집하는 단계
를 더 포함하는 고장 증상 데이터 생성방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180044363A KR102602689B1 (ko) | 2018-04-17 | 2018-04-17 | 영상기반 시스템조명 고장 신고 및 자동 분류 방법 및 시스템 |
| US16/158,673 US10813202B2 (en) | 2018-04-17 | 2018-10-12 | Method and system for vision-based automatic fault notification and classification of system lighting |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180044363A KR102602689B1 (ko) | 2018-04-17 | 2018-04-17 | 영상기반 시스템조명 고장 신고 및 자동 분류 방법 및 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190120958A true KR20190120958A (ko) | 2019-10-25 |
| KR102602689B1 KR102602689B1 (ko) | 2023-11-16 |
Family
ID=68162385
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180044363A KR102602689B1 (ko) | 2018-04-17 | 2018-04-17 | 영상기반 시스템조명 고장 신고 및 자동 분류 방법 및 시스템 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10813202B2 (ko) |
| KR (1) | KR102602689B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102381417B1 (ko) * | 2021-10-15 | 2022-04-01 | 로봇앤컴주식회사 | 원스톱 온라인 수리 서비스 제공 장치, 시스템, 방법 및 프로그램 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11275646B1 (en) * | 2019-03-11 | 2022-03-15 | Marvell Asia Pte, Ltd. | Solid-state drive error recovery based on machine learning |
| NL2025215B1 (en) * | 2020-03-26 | 2021-10-20 | Schreder Sa | Method for preparing a replacement kit for a luminaire |
| CN116897417A (zh) * | 2021-03-19 | 2023-10-17 | 应用材料公司 | 用于光学监控个别灯的方法、系统与设备 |
| KR102584457B1 (ko) | 2021-08-25 | 2023-10-05 | 한국전자통신연구원 | 연관 긴급출동 지령 정보 제공이 가능한 긴급출동 지령 정보 관리 시스템, 장치 및 방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020004925A (ko) * | 2001-12-05 | 2002-01-16 | 이현수 | 인터넷을 이용한 냉장 및 냉동 종합병원 서비스 시스템 |
| KR20110035152A (ko) * | 2009-09-30 | 2011-04-06 | (주)홈시큐넷 | 기계장비의 원격 보수를 위한 감시 시스템 |
| KR20170121536A (ko) * | 2016-04-25 | 2017-11-02 | 한국지역난방공사 | 사물인터넷 기반 지역난방 사용자 시설 모니터링 및 효율 개선 시스템 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4538845B2 (ja) | 2004-04-21 | 2010-09-08 | 富士ゼロックス株式会社 | 故障診断方法および故障診断装置、画像形成装置、並びにプログラムおよび記憶媒体 |
| JP4522873B2 (ja) | 2005-01-27 | 2010-08-11 | 三菱電機株式会社 | 照明制御システムの故障判定装置 |
| KR101173633B1 (ko) | 2011-11-02 | 2012-08-13 | 최호길 | 조명등의 고장 진단 시스템 |
| KR101400153B1 (ko) | 2012-05-22 | 2014-05-27 | 삼성중공업 주식회사 | 헬리데크 조명 고장 진단 장치 및 그 방법 |
| KR20140006320A (ko) | 2012-07-03 | 2014-01-16 | 한국전자통신연구원 | 조명 네트워크의 고장 제어장치 및 그 방법 |
| KR101830248B1 (ko) | 2013-04-16 | 2018-02-21 | 한국전자통신연구원 | 엘이디 조명 제어 장치 및 이를 이용한 엘이디 조명 제어 시스템 |
| KR20150093871A (ko) | 2014-02-07 | 2015-08-19 | 현대씨즈올 주식회사 | 스마트폰을 이용한 해상에서의 선박용 엔진의 고장 진단 및 그 서비스망의 구성 방법 |
| US9489832B2 (en) * | 2014-04-04 | 2016-11-08 | Rockwell Automation Technologies, Inc. | Industrial-enabled mobile device |
| US10425627B2 (en) * | 2017-05-09 | 2019-09-24 | Microsoft Technology Licensing, Llc | Automated presentation equipment testing |
| CN110832955B (zh) * | 2017-06-27 | 2022-07-05 | 昕诺飞控股有限公司 | 用于资产定位、性能评估和故障检测的方法和系统 |
| US10733473B2 (en) * | 2018-09-20 | 2020-08-04 | Uber Technologies Inc. | Object verification for a network-based service |
-
2018
- 2018-04-17 KR KR1020180044363A patent/KR102602689B1/ko active IP Right Grant
- 2018-10-12 US US16/158,673 patent/US10813202B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020004925A (ko) * | 2001-12-05 | 2002-01-16 | 이현수 | 인터넷을 이용한 냉장 및 냉동 종합병원 서비스 시스템 |
| KR20110035152A (ko) * | 2009-09-30 | 2011-04-06 | (주)홈시큐넷 | 기계장비의 원격 보수를 위한 감시 시스템 |
| KR20170121536A (ko) * | 2016-04-25 | 2017-11-02 | 한국지역난방공사 | 사물인터넷 기반 지역난방 사용자 시설 모니터링 및 효율 개선 시스템 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102381417B1 (ko) * | 2021-10-15 | 2022-04-01 | 로봇앤컴주식회사 | 원스톱 온라인 수리 서비스 제공 장치, 시스템, 방법 및 프로그램 |
| KR20230055339A (ko) * | 2021-10-15 | 2023-04-25 | 로봇앤컴주식회사 | 맞춤형 캐리어를 이용해 수리대상을 이송하는 원스톱 온라인 수리 서비스 제공 장치, 시스템, 방법 및 프로그램 |
| KR20230055338A (ko) * | 2021-10-15 | 2023-04-25 | 로봇앤컴주식회사 | 평점기반 수리기사 매칭을 제공하는 원스톱 온라인 수리 서비스 제공 장치, 시스템, 방법 및 프로그램 |
| KR20230055337A (ko) * | 2021-10-15 | 2023-04-25 | 로봇앤컴주식회사 | 검수자들의 검수결과를 이용해 고장원인을 특정하는 원스톱 온라인 수리 서비스 제공 장치, 시스템, 방법 및 프로그램 |
Also Published As
| Publication number | Publication date |
|---|---|
| US10813202B2 (en) | 2020-10-20 |
| US20190320519A1 (en) | 2019-10-17 |
| KR102602689B1 (ko) | 2023-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102602689B1 (ko) | 영상기반 시스템조명 고장 신고 및 자동 분류 방법 및 시스템 | |
| US11449980B2 (en) | System and method for combined automatic and manual inspection | |
| CN108228705B (zh) | 直播视频反馈中的自动对象和活动跟踪设备、方法及介质 | |
| US11029260B2 (en) | Solder paste printing quality inspection system and method | |
| US20210064518A1 (en) | Methods Circuits Devices Systems and Functionally Associated Machine Executable Code For Automatic Failure Cause Identification in Software Code Testing | |
| CN110309033B (zh) | 故障监控方法、装置和系统 | |
| US11153144B2 (en) | System and method of automated fault correction in a network environment | |
| US20160098636A1 (en) | Data processing apparatus, data processing method, and recording medium that stores computer program | |
| CN110852983A (zh) | 用于检测半导体装置中的缺陷的方法 | |
| KR102658689B1 (ko) | 증강 현실에 기반한 공기 조화기의 정비 방법 및 장치 | |
| CN113870260A (zh) | 一种基于高频时序数据的焊接缺陷实时检测方法及系统 | |
| KR101249902B1 (ko) | 가전기기 진단시스템 및 그 진단방법 | |
| CN112434178A (zh) | 图像分类方法、装置、电子设备和存储介质 | |
| CN111198815A (zh) | 用户界面的兼容性测试方法及装置 | |
| CN111209153B (zh) | 异常检测处理方法、装置及电子设备 | |
| JP2007329779A (ja) | 欠陥分類システム、画像形成装置および欠陥分類プログラム | |
| US11853052B2 (en) | Cluster based classification for time series data | |
| US11366178B2 (en) | Method and system for diagnostics and monitoring of electric machines | |
| KR20230070843A (ko) | 열화상 심층학습 객체 자동 추적 기반 원전 안전 진단 시스템 및 이의 동작 방법 | |
| CN113639418A (zh) | 空调调试方法、空调调试装置及相关设备 | |
| Rocha et al. | Evaluating Machine Learning Classifiers for Prediction in an IoT-based Smart Building System | |
| US20230196906A1 (en) | Customer experience diagnostics in premises monitoring systems | |
| KR102151912B1 (ko) | 비디오 감시 시스템 및 비디오 감시 시스템에서 수행되는 방법 | |
| US20220398828A1 (en) | Information processing apparatus, class determination method, storage medium | |
| US20240104911A1 (en) | Information processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right |