KR102036785B1 - 엘리베이터의 유지 및 보수의 공정을 제어하기 위한 방법 및 장치 - Google Patents

Abstract

엘리베이터의 유지 및 보수의 공정을 제어하기 위한 방법 및 장치가 개시된다. 일실시예에 따른 엘리베이터의 유지 및 보수의 공정을 제어하기 위한 장치는 점검하고자 하는 대상 엘리베이터 내 대상 전자 장비를 서로 다른 상수(constant)들에 각각 대응하는 카메라들을 이용하여 촬영하고, 카메라들에 의해 촬영된 제1 이미지들을 획득하고, 제 1 이미지들에 기초하여 복수의 이미지들로부터 엘리베이터 점검 규격의 파노라마 이미지를 생성하도록 미리 학습된 컨볼루션 신경망(convolutional neural network)의 인풋 레이어(input layer)에 대응하는 입력 벡터를 생성하고, 입력 벡터를 컨볼루션 신경망에 적용하여 출력 벡터를 획득하며, 출력 벡터에 기초하여, 상수들에 기초한 대형(formation)으로 카메라들의 촬영 위치들을 정렬하도록 하는 위치 조정 데이터를 생성하고, 위치 조정 데이터에 기초하여 대형으로 카메라들을 정렬하고, 정렬된 카메라들에 의해 촬영된 제2 이미지들을 획득하고, 제2 이미지들에 기초하여 대상 전자 장비의 대상 파노라마 이미지를 생성하고, 대상 파노라마 이미지에 기초하여 점검 공정 설비들을 제어할 수 있다.

Description

엘리베이터의 유지 및 보수의 공정을 제어하기 위한 방법 및 장치{METHOD AND APPARATUS FOR CONTROLLING ELEVATOR MAINTENANCE AND REPAIR PROCESS}

아래 실시예들은 엘리베이터의 유지 및 보수의 공정을 제어하는 기술에 관한 것이다.

엘리베이터를 점검하는 공정에는 다양한 종류의 설비들이 채용되고, 엘리베이터 내 전자 장비의 유형들도 복잡하므로 점검 공정을 제어하는 기술에 따라 공정의 효율, 속도 및 정확도가 달라진다. 제어 회로, 센싱 장비, 광원, 액츄에이터, 전류 측정기, 변압기와 같은 엘리베이터 내 전자 장비는 작은 오류로 인해 막대한 결함이 발생할 수 있고, 엘리베이터의 오작동 방지는 중요하므로 점검 공정의 정밀도는 매우 중요하다. 엘리베이터 내 전자 장비의 기계적 부품들, 보드나 집적회로와 같은 전자적 부품들의 집적도와 네트워크 성능과 관련된 장비의 사양들이 고도화되고 있으므로 전자 장비들의 점검 공정에 채용되는 설비들을 제어하는 기술의 연구가 요구된다.

KR19960003217 KR1020180124082 KR101569002 KR1020180124750

실시예들은 엘리베이터 내 점검하고자 하는 대상의 이미지를 인공 지능을 기반으로 생성하여, 점검의 정밀도를 높이고자 한다.

실시예뜰은 엘리베이터 내 전자 장비를 점검하는 공정과 관련된 제어 정보를 인공 지능을 기반으로 추론하여 공정 제어를 최적화하고자 한다.

실시예들은 공정에 필요한 설비간 피드백 명령을 통해 공정 단계를 효율화하고, 공정 중 오류가 자주 발생하는 위치 및 영역을 피드백 명령을 통해 히스토리로 관리하고, 공정의 품질을 높이고자 한다.

실시예들은 엘리베이터 내 전자 장비의 점검 공정에 필요한 정보를 유형화하여 공정 설비 제어의 정밀도를 높이고자 한다.

일실시예에 따른 엘리베이터의 유지 및 보수의 공정을 제어하기 위한 방법은 점검하고자 하는 대상 엘리베이터 내 대상 전자 장비를 서로 다른 상수(constant)들에 각각 대응하는 카메라들을 이용하여 촬영하는 단계; 상기 카메라들에 의해 촬영된 제1 이미지들을 획득하는 단계; 상기 제 1 이미지들에 기초하여 복수의 이미지들로부터 엘리베이터 점검 규격의 파노라마 이미지를 생성하도록 미리 학습된 컨볼루션 신경망(convolutional neural network)의 인풋 레이어(input layer)에 대응하는 입력 벡터를 생성하는 단계; 상기 입력 벡터를 상기 컨볼루션 신경망에 적용하여 출력 벡터를 획득하는 단계; 상기 출력 벡터에 기초하여, 상기 상수들에 기초한 대형(formation)으로 상기 카메라들의 촬영 위치들을 정렬하도록 하는 위치 조정 데이터를 생성하는 단계; 상기 위치 조정 데이터에 기초하여 상기 대형으로 상기 카메라들을 정렬하는 단계; 상기 정렬된 상기 카메라들에 의해 촬영된 제2 이미지들을 획득하는 단계; 상기 제2 이미지들에 기초하여 상기 대상 전자 장비의 대상 파노라마 이미지를 생성하는 단계; 상기 대상 파노라마 이미지에 기초하여 상기 대상 전자 장비에 대응하는 식별자를 획득하는 단계; 식별자들, 전자 장비들의 유형들 및 상기 전자 장비들의 점검 공정들을 매칭시킨 데이터베이스로부터, 상기 식별자에 대응하는 상기 대상 전자 장비의 유형 및 점검 공정을 획득하는 단계; 상기 식별자, 상기 대상 전자 장비의 상기 유형 및 상기 점검 공정에 기초하여 제1 입력 신호를 생성하는 단계; 전자 장비와 관련된 정보로부터 점검을 위한 제어 정보를 생성하도록 미리 학습된 제1 뉴럴 네트워크의 입력 레이어로 상기 제1 입력 신호를 인가하는 단계; 상기 제1 뉴럴 네트워크의 출력 레이어로부터 생성된 제1 출력 신호를 획득하는 단계; 상기 제1 출력 신호에 기초하여 제1 제어 명령들을 생성하는 단계; 및 상기 제1 제어 명령들에 기초하여, 점검 공정 설비들을 제어하는 단계를 포함할 수 있다.

일실시예에 따르면, 상기 출력 벡터는 상기 카메라들 중 어느 하나의 카메라가 촬영한 제1 이미지에서 나머지 카메라들이 촬영한 제1 이미지들과 중복되는 부분들의 위치 및 크기 데이터를 각각의 카메라들별로 그룹화한 제1 중복 부분 데이터를 포함하며, 상기 대형은 상기 상수들에 기초하여 정의된 순서에 따라 기준 위치의 방위각(azimuthal) 방향으로 상기 상수들에 각각 대응하는 상기 카메라들이 순차로 배치되는 대형이며, 상기 위치 조정 데이터는 상기 제 1 중복 부분 데이터에 기초하여, 상기 카메라들의 제 1 상대적 위치들을 획득하고, 상기 카메라들이 상기 대형으로 촬영 위치를 정렬했을 경우, 인접하게 되는 카메라들에 의해 촬영되는 제 2 이미지들에서 서로 중복되는 부분들이 상기 인접하게 되는 카메라들에 의해 촬영되는 제 2 이미지들에서 차지하는 위치 및 크기가 미리 정의된 제 2 중복 부분 데이터와 일치하도록 만드는 상기 카메라들의 제 2 상대적 위치들을 계산하여, 상기 카메라들이 상기 제 1 상대적 위치들로부터 상기 제 2 상대적 위치들로 각각 이동하도록 제어하는 데이터일 수 있다.

일실시예에 따르면, 상기 점검 공정 설비들을 제어하는 단계는 상기 제2 제어 명령들에 기초하여, 상기 대상 전자 장비를 점검하기 위한 구조 사양 정보-상기 구조 사양 정보는 상기 대상 전자 장비 내 공간 상에 부품들을 배치시키기 위한 구조적인 사양으로서, 위치 좌표, 연결 관계, 계층 구조 및 깊이를 포함함-, 기계 사양 정보-상기 기계 사양 정보는 상기 대상 전자 장비의 물리적인 동작에 따라 모델링된 상기 부품들의 사양으로서, 크기, 길이, 형상, 두께, 무게, 재질, 적정 압력, 적정 온도, 규격 및 강도를 포함함- 및 제어 사양 정보-상기 제어 사양 정보는 입출력에 대응하는 전류, 전압, 전력, 압력, 각도, 이동 반경, 액츄에이팅 정보, 진동수 및 밝기를 포함함-를 생성하는 단계; 상기 구조 점검 정보, 상기 기계 점검 정보 및 상기 제어 점검 정보에 기초하여, 상기 대상 전자 장비를 점검하기 위한 테스트 신호들 및 상기 테스트 신호들을 인가하기 위한 타임 스탬프들을 생성하는 단계; 및 상기 테스트 신호들 및 상기 타임 스탬프들의 시퀀스에 기초하여 상기 점검 공정 설비들을 제어하는 단계를 포함할 수 있다.

일실시예에 따르면, 상기 점검 공정 설비들을 제어하는 단계는 구조 사양 정보들, 기계 사양 정보들, 제어 사양 정보들 및 부품들을 매칭시킨 데이터베이스를 조회하여, 상기 구조 사양 정보, 상기 기계 사양 정보 및 상기 제어 사양 정보에 대응하는 부품들을 획득하는 제1 점검 공정 설비를 제어하는 단계; 상기 기계 사양 정보 내 크기, 무게 및 규격에 기초하여, 상기 대상 전자 장비에 대응하는 전체 적재 조건을 생성하는 단계; 상기 전체 적재 조건의 생성에 응답하여, 상기 대상 전자 장비를 조립하기 위한 부품들을 적재하는 제2 점검 공정 설비를 제어하는 단계; 상기 부품들의 적재 결과와 상기 전체 적재 조건을 비교하여, 상기 부품들의 적재 완료 여부를 판단하는 단계; 상기 적재 완료 여부에 대한 판단에 응답하여, 상기 구조 사양 정보에 대응하는 점검 공정 서열 조건-상기 부품들을 점검 공정의 서열에 맞는 위치에 배치시키기 위한 조건임-을 생성하는 단계; 상기 점검 공정 서열 조건에 기초하여, 상기 부품들을 배치하는 제3 점검 공정 설비를 제어하는 단계; 상기 제3 점검 공정 설비의 제어 결과와 상기 점검 공정 서열 조건을 비교하여, 상기 부품들의 배치를 조정하기 위한 피드백 명령을 생성하는 단계; 및 상기 생성된 피드백 명령에 기초하여 상기 제3 점검 공정 설비를 제어하는 단계를 포함할 수 있다.

일실시예에 따르면, 상기 점검 공정 서열 조건을 생성하는 단계는 상기 구조 사양 정보들에 따라 클러스터링된 부품들의 제1 히스토리에 기초하여, 상기 획득된 부품들 중 제1 부품, 제2 부품, 제3 부품 및 제4 부품을 상기 대상 전자 장비 내 공간 상에 시계열적으로 제1 위치, 제2 위치, 제3 위치 및 제4 위치에 각각 배치시키기 위한 위치 명령들 및 타임 스탬프들의 시퀀스를 생성하는 단계; 및 상기 생성된 시퀀스에 기초하여, 상기 점검 공정 서열 조건을 생성하는 단계를 포함할 수 있다.

일실시예에 따르면, 상기 제3 점검 공정 설비는 제1 점검 공정 기계, 제2 점검 공정 기계 및 제3 점검 공정 기계를 포함하고, 상기 점검 공정 서열 조건을 생성하는 단계는 상기 제1 점검 공정 기계 내의 하부 상판 위 제1 위치에 제1 부품을 위치시키기 위한 제1 위치 명령 및 제1 타임 스탬프를 생성하는 단계; 상기 제2 점검 공정 기계 내의 상부 집게의 제2 위치에 제2 부품을 위치시키기 위한 제2 위치 명령 및 제2 타임 스탬프를 생성하는 단계; 및 상기 제3 점검 공정 기계 내의 좌우 측 양팔 각각의 제3 위치 및 제4 위치에 각각 제3 부품 및 제4 부품을 위치시키기 위한 제3 위치 명령, 제3 타임 스탬프, 제4 위치 명령 및 제4 타임 스탬프를 생성하는 단계를 포함할 수 있다.

일실시예에 따르면, 상기 제3 점검 공정 설비는 제4 점검 공정 기계, 제5 점검 공정 기계 및 제6 점검 공정 기계를 포함하고, 상기 제3 점검 공정 설비를 제어하는 단계는 상기 제4 점검 공정 기계가 제1 부품을 상기 제5 점검 공정 기계의 제2 위치로 위치시키기 위한 제1 위치 명령 및 제1 타임 스탬프에 기초하여, 상기 제4 점검 공정 기계 및 상기 제5 점검 공정 기계를 제어하는 단계를 포함하고, 상기 피드백 명령을 생성하는 단계는 상기 제4 점검 공정 기계의 제1 위치 감별 센서 및 상기 제5 점검 공정 기계의 제2 위치 감별 센서를 이용하여, 상기 제5 점검 공정 기계의 공간 상 상기 제2 위치를 식별하는 단계; 상기 구조 사양 정보 내 상기 제1 부품에 대응하는 위치 좌표와 상기 제2 위치를 비교하는 단계; 상기 위치 좌표 및 상기 제2 위치 사이의 차이가 임계 범위 이내인 경우, 상기 제4 점검 공정 기계의 제1 적외선 센서 및 상기 제5 점검 공정 기계의 제2 적외선 센서를 이용하여, 상기 제4 점검 공정 기계의 상기 제2 위치의 제2 온도를 판단하는 단계; 상기 기계 사양 정보 내 상기 제1 부품에 대응하는 적정 온도와 상기 제2 온도를 비교하는 단계; 상기 적정 온도 및 상기 제2 온도 사이의 비교 결과에 기초하여, 상기 제2 위치에 대응하는 부위의 예열 또는 냉각이 필요한 경우, 상기 예열 또는 냉각의 소요 시간을 계산하는 단계; 상기 소요 시간에 의해 상기 제1 타임 스탬프에 따른 공정 시간이 지연되는 경우, 상기 구조 사양 정보 내 상기 제1 부품에 대응하는 연결 관계, 계층 구조 및 깊이에 기초하여, 후보 점검 공정 기계들 중 상기 연결 관계, 상기 계층 구조 및 상기 깊이를 유지하면서 상기 제2 위치와 가장 근접한 구역에 있는 상기 제6 점검 공정 기계를 선택하는 단계; 상기 구조 사양 정보 내 상기 제1 부품에 대응하는 상기 위치 좌표에 기초하여, 상기 제6 점검 공정 기계 내 제3 위치에 상기 제1 부품을 위치시키기 위한 제3 위치 명령 및 제3 타임 스탬프를 생성하는 단계; 및 상기 제3 위치 명령 및 상기 제3 타임 스탬프에 기초하여 피드백 명령을 생성하는 단계를 포함할 수 있다.

일실시예에 따르면, 상기 제3 점검 공정 설비는 제7 점검 공정 기계, 제8 점검 공정 기계 및 제9 점검 공정 기계를 포함하고, 상기 제3 점검 공정 설비를 제어하는 단계는 상기 제7 점검 공정 기계의 위치 감별 센서를 이용하여, 제1 부품의 제1 조립부를 식별하는 단계; 상기 제8 점검 공정 기계의 상부 집게를 제어하여, 제2 부품을 상기 제1 조립부에 위치시키는 단계; 상기 제8 점검 공정 기계의 스크류를 제어하여, 상기 제2 부품을 상기 제1 조립부 모서리의 나사 홈에 위치하는 나사와 접합시키는 단계; 상기 제9 점검 공정 기계의 위치 감별 센서를 이용하여, 상기 제1 부품의 제2 조립부 및 제3 조립부를 식별하는 단계; 상기 제9 점검 공정 기계의 좌우 측 양팔을 제어하여, 제3 부품 및 제4 부품을 상기 제2 조립부 및 제3 조립부에 각각 위치시키는 단계; 및 상기 제9 점검 공정 기계의 스크류를 제어하여, 상기 제3 부품 및 상기 제4 부품을 상기 제2 조립부 및 제3 조립부 모서리의 나사 홈에 위치하는 나사와 접합시키는 단계를 포함하고, 상기 피드백 명령을 생성하는 단계는 상기 제2 조립부와 상기 제3 조립부의 위치가 반대로 인식된 경우 피드백 명령을 생성하는 단계를 포함할 수 있다.

일실시예에 따른 장치는 하드웨어와 결합되어 상술한 방법들 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램에 의해 제어될 수 있다.

실시예들은 엘리베이터 내 점검하고자 하는 대상의 이미지를 인공 지능을 기반으로 생성하여, 점검의 정밀도를 높일 수 있다.

실시예들은 엘리베이터 내 전자 장비를 점검하는 공정과 관련된 제어 정보를 인공 지능을 기반으로 추론하여 공정 제어를 최적화할 수 있다.

실시예들은 공정에 필요한 설비간 피드백 명령을 통해 공정 단계를 효율화하고, 공정 중 오류가 자주 발생하는 위치 및 영역을 피드백 명령을 통해 히스토리로 관리하고, 공정의 품질을 높일 수 있다.

실시예들은 엘리베이터 내 전자 장비의 점검 공정에 필요한 정보를 유형화하여 공정 설비 제어의 정밀도를 높일 수 있다.

도 1은 일실시예에 따른 엘리베이터의 유지 및 보수의 공정을 제어하기 위한 방법을 설명하기 위한 순서도이다.
도 2는 일실시예에 따른 엘리베이터의 전자 장비의 점검을 위한 파노라마 이미지를 생성하는 방법을 설명하기 위한 도면이다.
도 3은 일실시예에 따른 엘리베이터의 전자 장비의 점검을 위한 파노라마 이미지를 생성하는 방법을 설명하기 위한 도면이다.
도 4는 일실시예에 따른 엘리베이터의 전자 장비의 점검을 위한 파노라마 이미지를 생성하는데 채용되는 컨볼루션 신경망의 학습 과정을 설명하기 위한 도면이다.
도 5는 일실시예에 따른 엘리베이터의 전자 장비의 점검 공정을 제어하기 위한 방법을 설명하기 위한 도면이다.
도 6은 일실시예에 따른 장치의 구성의 예시도이다.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다.

도 1은 일실시예에 따른 엘리베이터의 유지 및 보수의 공정을 제어하기 위한 방법을 설명하기 위한 순서도이다.

일실시예에 따르면, 엘리베이터의 유지 및 보수의 공정을 위한 제어 장치(이하, 제어 장치라 함)는 점검하고자 하는 대상 엘리베이터 내 대상 전자 장비를 서로 다른 상수(constant)들에 각각 대응하는 카메라들을 이용하여 촬영할 수 있다(101). 제어 장치는 전자 장비의 점검 공정을 제어하는 장치로서, 예를 들어 소프트웨어 모듈, 하드웨어 모듈 또는 이들의 조합으로 구현될 수 있다.

일실시예에 따른 제어 장치는 통신 기능이 포함된 전자 장치일 수 있다. 예를 들면, 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크톱 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 스마트카(smart car) 또는 스마트 와치(smartwatch)중 적어도 하나를 포함할 수 있다.

일실시예에 따르면, 전자 장치는 통신 기능을 갖춘 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들자면, 전자 장치는 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(game consoles), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.

일실시예에 따르면, 전자 장치는 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치 및 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛, 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller's machine) 또는 상점의 POS(point of sales) 중 적어도 하나를 포함할 수 있다.

일실시예에 따르면, 전자 장치는 통신 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 일실시예에에 따른 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 일실시예에 따른 전자 장치는 플렉서블 장치일 수 있다. 또한, 일실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다. 다양한 실시예에서 이용되는 유저라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.

일실시예에 따른 전자 장치는 프로세서, 메모리, 유저 인터페이스 및 통신 인터페이스를 포함하고, 다른 전자 장치와 네트워크를 통해 연결될 수 있다. 통신 인터페이스는 유, 무선 네트워크 또는 유선 직렬 통신 등을 통하여 소정 거리 이내의 다른 전자 장치와 데이터를 송수신할 수 있다. 네트워크는 일실시예에 따른 전자 장치와 다양한 개체들(entities) 간의 유, 무선 통신을 가능하게 한다. 전자 장치는 네트워크를 통해 다양한 개체들과 통신할 수 있고, 네트워크는 표준 통신 기술 및/또는 프로토콜들을 사용할 수 있다. 이때, 네트워크(network)는 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network) 등을 포함하나 이에 한정되지 않으며, 정보를 송, 수신할 수 있는 다른 종류의 네트워크가 될 수도 있음을 통신 기술 분야의 통상의 지식을 가진 자라면 알 수 있다.

일실시예에 따르면, 대상 전자 장비는 점검하고자 하는 대상 엘리베이터 내 점검 공정이 적용되는 전자 장비로서, 예를 들어 고압의 전기를 차단하는 차단기를 자동으로 시험할 수 있는 차단기 자동시험 장치, 전자기기 또는 전자기기 내에 탑재되는 PCB(printed circuit board)와 같은 회로기판의 구간 별 전자파방해(electromagnetic interference, EMI)에 대한 저항 검사와 각 부품이나 연결 구간에 대한 통전 검사 또는 절연 저항 검사를 수행하는 통전 검사기, 전류 또는 전압과 같은 측정 값을 측정하는 측정기, 시험기, PC의 컨트롤버스, 데이터버스 및 어드레스버스의 시험기, 모니터, PDA, 용도별 프린터 시험기, 바코드리더기, 디지털 회로기판의 기능 시험기 등을 포함할 수 있다.

일실시예에 따르면, 대상 전자 장비는 대상 엘리베이터를 구성하는 구성 장비로서, 기계실내 조명, 환기 장치, 수동 조작 핸들, 수전반, 제어반, 권상기 브레이크, 전동기(메인모터), 권상기 감속기어, 권상기 도르레, 권상기 베어링, 조속기 카, 고정 도르레, 기계실 기기의 내진 장치, 카의 문 및 문턱, 카도어 스위치, 문닫힘 안전장치, 카조작반 및 표시기, 인터폰, 정지스위치, 정전등 장치, 문의 계폐장치, 자물쇠장치, 카위안전스위치, 도어인터록 스위치, 카 비상멈춤장치 스위치, 카의 가이드 슈(롤러), 균형추측 비상멈춤장치 스위치, 상부화이날리미트 스위치, 도어 클로져, 조속기 로프, 주로프 및 부착부, 이동케이블 및 부착부, 카상부 도르레, 가이드레일, 브라켓, 균형추, 승강장버튼 및 표시기, 비상키장치, 저울장치, 완충기, 하부와이날리미트 스위치, 카비상 멈춤장치 스위치, 당김 도르레, 카하부 도르레, 카 호출장치, 소방운전장치, 비상용표지 및 표시등 및 예비전원을 포함할 수 있다.

일실시예에 따르면, 제어 장치는 대상 전자 장비를 촬영하는 카메라들을 제어할 수 있다. 카메라들은 서로 다른 상수(constant)를 통해 표현할 수 있으며, 가령, 상수 1, 2, 및 3을 통해 각각의 카메라를 카메라 1, 카메라 2, 카메라 3과 같은 식으로 표현할 수 있다. 상수들은 반드시 숫자일 필요는 없으며, 문자, 특수문자, 숫자, 또는 이들의 조합으로 이루어져 있을 수도 있다. 각각의 카메라의 위치는 원통형 좌표계(cylindrical coordinate, O)를 통해 표현될 수 있다. 원통형 좌표계(O)의 원점은 미리 정의될 수 있으며, 예를 들어 엘리베이터를 중앙을 기준으로 미리 정의된 거리만큼 떨어진 위치일 수 있다. 원통형 좌표계(O)를 중심으로, 카메라 1은 방위각(φ)의 값이 가장 큰 관심 영역의 세부 영역을 촬영하고, 카메라 2는 방위각(φ)의 값이 그 다음으로 큰 관심 영역의 세부 영역을 촬영하고, 카메라 3은 방위각(φ)의 값이 가장 작은 관심 영역의 세부 영역을 촬영할 수 있다. 관심 영역은 대상 엘리베이터 내 촬영하고자 하는 대상 전자 장비 중 적어도 하나의 조합일 수 있다.

일실시예에 따르면, 제어 장치는 카메라들에 의해 촬영된 이미지를 수집하여 디스플레이를 통해 표시할 수 있다. 제어 장치는 카메라들의 위치를 변경하거나 이미지 수집 주기를 조정하는 등 카메라 동작을 제어할 수 있다. 카메라들 및 제어 장치 간의 데이터 전달은 무선 네트워크를 통해 이루어질 수 있다. 카메라들 및 제어 장치는 무선 네트워크를 위한 통신 안테나, 하드웨어, 소프트웨어 및 이들의 조합을 포함할 수 있으며, 무선 네트워크는 표준 통신 기술 및/또는 프로토콜들을 사용할 수 있다.

일실시예에 따르면, 서로 다른 상수로 표현되는 각각의 카메라들은 관심 영역의 세부 영역의 제1 이미지들을 각각 촬영할 수 있다. 원통형 좌표계(O)를 중심으로, 카메라 1은 방위각(φ)의 값이 가장 큰 관심 영역의 세부 영역을 제1 이미지로서 촬영하고, 카메라 2는 방위각(φ)의 값이 그 다음으로 큰 관심 영역의 세부 영역을 제1 이미지로서 촬영하고, 카메라 3은 방위각(φ)의 값이 가장 작은 관심 영역의 세부 영역을 제1 이미지로서 촬영할 수 있다.

일실시예에 따르면, 제어 장치는 카메라들에 의해 촬영된 제1 이미지들을 획득할 수 있다(102). 제어 장치가 획득한 제1 이미지들은 디스플레이에 의해 표시될 수 있다.

일실시예에 따르면, 제어 장치는 제1 이미지들에 기초하여 복수의 이미지들로부터 엘리베이터 점검 규격의 파노라마 이미지를 생성하도록 미리 학습된 컨볼루션 신경망(convolutional neural network)의 인풋 레이어(input layer)에 대응하는 입력 벡터를 생성할 수 있다(103). 제어 장치는 입력 벡터를 컨볼루션 신경망에 적용하여 출력 벡터를 획득할 수 있다(104). 제어 장치는 출력 벡터에 기초하여, 상수들에 기초한 대형(formation)으로 카메라들의 촬영 위치들을 정렬하도록 하는 위치 조정 데이터를 생성할 수 있다(105). 위치 조정 데이터의 생성이 완료되면, 제어 장치는 카메라들에게 위치 조정 데이터를 전송할 수 있다.

일실시예에 따르면, 제어 장치는 위치 조정 데이터에 기초하여 대형으로 카메라들을 정렬할 수 있다(106). 각각의 카메라들은 위치 조정 데이터에서 각자 자신에게 할당된 데이터를 식별하여, 각자 자신에게 할당된 이동 명령을 수행함으로써, 각각의 카메라와 일대일 대응관계로 대응하는 상수들에 기초한 대형(formation)으로 촬영 위치를 정렬할 수 있다. 정렬이 이루어진 상태에서, 카메라들은 제2 이미지를 촬영할 수 있다. 촬영을 마친 카메라들은 제2 이미지들을 제어 장치에게 전송할 수 있다.

일실시예에 따르면, 제어 장치는 정렬된 카메라들에 의해 촬영된 제2 이미지들을 획득할 수 있다(107). 제어 장치는 제2 이미지들에 기초하여 대상 전자 장비의 대상 파노라마 이미지를 생성할 수 있다(108). 제어 장치는 제2 이미지들에 기초하여, 목표 이미지, 가령 관심 영역의 파노라마(panorama) 이미지를 생성할 수 있다.

일실시예에 따르면, 제어 장치는 대상 파노라마 이미지에 기초하여 대상 전자 장비에 대응하는 식별자를 획득할 수 있다(109). 대상 전자 장비에 대응하는 식별자는 대상 전자 장비를 식별하는 정보로서, 예를 들어 점검 공정의 대상이 되는 전자 장비와 관련된 코드일 수 있지만, 이에 한정되지 않고 공정이 유형 또는 설계 의도에 따라 다양한 방식으로 정의될 수 있다.

일실시예에 따르면, 제어 장치는 식별자들, 전자 장비들의 유형들 및 전자 장비들의 점검 공정들을 매칭시킨 데이터베이스로부터, 식별자에 대응하는 대상 전자 장비의 유형 및 점검 공정을 획득할 수 있다(110). 예를 들어, 데이터베이스는 식별자들과 전자 장비들의 유형들 및 점검 공정들을 서로 매칭시킨 테이블로 구현될 수 있고, 제어 장치는 데이터베이스를 조회할 수 있다.

일실시예에 따르면, 제어 장치는 식별자, 대상 전자 장비의 유형 및 점검 공정에 기초하여 제1 입력 신호를 생성할 수 있다(111). 제어 장치는 식별자, 대상 전자 장비의 유형 및 점검 공정에 각각 가중치를 적용하여 벡터를 생성할 수 있고, 각각의 가중치는 데이터베이스로부터 조회된 정보일 수 있다. 제어 장치는 생성된 벡터에 대응하는 제1 입력 신호를 생성할 수 있다.

일실시예에 따르면, 제어 장치는 전자 장비와 관련된 정보로부터 점검을 위한 제어 정보를 생성하도록 미리 학습된 제1 뉴럴 네트워크의 입력 레이어로 제1 입력 신호를 인가할 수 있다(112). 제어 장치는 딥러닝 기법을 이용하여 제어 명령을 생성할 수 있다.

일실시예에 따르면, 제어 장치는 전자 장비의 식별자, 전자 장비의 유형 및 전자 장비의 점검 공정에 따라 최적화된 제어 명령을 생성하도록 학습된 뉴럴 네트워크를 이용할 수 있다. 제어 장치는 식별자, 대상 전자 장비의 유형 및 점검 공정에 대응하는 변수들을 전처리하여 제1 입력 신호를 생성할 수 있다. 여기서, 입력 신호는 one-hot 벡터, 실수 벡터 등 설계 의도에 따라 다양한 형태로 정의될 수 있다. 입력 신호 생성 시 변수들에 각각 가중치들이 적용될 수 있다. 여기서, 가중치들은 뉴럴 네트워크의 학습 시 최적화될 수 있다.

일실시예에 따르면, 제어 장치는 점검 공정 설비들에 대한 제어 명령들을 기초로 기 학습된 제1 뉴럴 네트워크로 제1 입력 신호를 적용할 수 있다. 입력 신호는 뉴럴 네트워크의 입력 레이어에 대응할 수 있다.

일실시예에 따르면, 제어 장치는 제1 뉴럴 네트워크의 출력 레이어로부터 생성된 제1 출력 신호를 획득할 수 있다(113). 뉴럴 네트워크는 비선형적인 활성화 함수를 이용하여 중간 레이어를 거친 값들을 출력 레이어로 처리하여, 출력 신호를 생성할 수 있다.

일실시예에 따르면, 출력 신호는 점검 공정 설비들의 제어 명령들에 대응하는 노드들을 포함할 수 있다. 출력 레이어는 특정 제어 명령에 대응하는 값을 출력하는 제1 노드, 특정 제어 명령에 대응하는 값을 출력하는 제2 노드 등을 포함할 수 있다. 노드에 의해 출력되는 값은 위치를 이산화하여 표현하거나 확률과 같은 연속된 값으로 표현할 수 있다.

일실시예에 따르면, 제어 장치는 제1 출력 신호에 기초하여 제1 제어 명령들을 생성할 수 있다(114). 제1 제어 명령들은 점검 공정 설비들을 제어하기 위한 기계적, 물리적, 전자적 명령 프로파일들을 포함할 수 있다. 제1 출력 신호는 최적화된 제어 명령들에 각각 대응하는 확률과 연관된 정보로 표현될 수 있다.

일실시예에 따르면, 뉴럴 네트워크는 트레이닝 샘플들이 입력되는 입력 레이어와 트레이닝 출력들을 출력하는 출력 레이어를 포함하고, 트레이닝 출력들과 레이블들 사이의 차이에 기초하여 학습될 수 있다. 여기서, 레이블들은 공정 설비들을 제어하기 위한 제어 명령들에 대한 추정 결과들에 기초하여 정의될 수 있다. 뉴럴 네트워크는 복수의 노드들의 그룹으로 연결되어 있고, 연결된 노드들 사이의 가중치들과 노드들을 활성화시키는 활성화 함수에 의해 정의된다.

일실시예에 따르면, 학습 장치는 GD(Gradient Decent) 기법 또는 SGD(Stochastic Gradient Descent) 기법을 이용하여 뉴럴 네트워크를 학습시킬 수 있다. 학습 장치는 뉴럴 네트워크의 출력들 및 레이블들 의해 설계된 손실 함수를 이용할 수 있다.

일실시예에 따르면, 학습 장치는 미리 정의된 손실 함수(loss function)을 이용하여 트레이닝 에러를 계산할 수 있다. 손실 함수는 레이블, 출력 및 파라미터를 입력 변수로 미리 정의될 수 있고, 여기서 파라미터는 뉴럴 네트워크 내 가중치들에 의해 설정될 수 있다. 예를 들어, 손실 함수는 MSE(Mean Square Error) 형태, 엔트로피(entropy) 형태 등으로 설계될 수 있는데, 손실 함수가 설계되는 실시예에는 다양한 기법 또는 방식이 채용될 수 있다.

일실시예에 따르면, 학습 장치는 역전파(backpropagation) 기법을 이용하여 트레이닝 에러에 영향을 주는 가중치들을 찾아낼 수 있다. 여기서, 가중치들은 뉴럴 네트워크 내 노드들 사이의 관계들이다. 학습 장치는 역전파 기법을 통해 찾아낸 가중치들을 최적화시키기 위해 레이블들 및 출력들을 이용한 SGD 기법을 이용할 수 있다. 예를 들어, 학습 장치는 레이블들, 출력들 및 가중치들에 기초하여 정의된 손실 함수의 가중치들을 SGD 기법을 이용하여 갱신할 수 있다.

일실시예에 따르면, 제어 장치는 학습이 완료된 뉴럴 네트워크를 이용하여 출력 신호를 획득하고, 점검 공정 설비들을 제어하기 위한 제어 명령들과 관련된 정보를 추정할 수 있다.

일실시예에 따르면, 제어 장치는 제1 제어 명령들에 기초하여, 점검 공정 설비들을 제어할 수 있다(115). 제어 장치는 점검 공정 설비들을 제어하기 위한 정책들 또는 프로파일들을 포함하는 제1 제어 명령들에 기초하여 점검 공정 설비들을 제어할 수 있다. 제어 장치는 제1 제어 명령들에 따라 응답하는 점검 공정 설비들의 동작들과 모니터링 결과에 기초하여, 점검 공정별 작업을 모니터링해 점검 공정의 진행 속도 및 결과를 확인할 수 있다.

일실시예에 따르면, 제어 장치는 제1 제어 명령에 기초하여 점검 공정 설비의 물리적 동작, 논리적 동작 및 설정 정보의 변경 중 적어도 하나를 제어할 수 있다. 제어 장치는 제어 신호에 응답하는 점검 공정 설비로부터 획득된 신호에 기초하여 점검 공정 설비를 연쇄적으로 제어할 수 있다.

일실시예에 따르면, 제어 장치는 제1 제어 명령들에 기초하여, 대상 전자 장비를 점검하기 위한 구조 사양 정보, 기계 사양 정보 및 제어 사양 정보를 생성할 수 있다. 일실시예에 따르면, 제어 장치는 구조 사양 정보, 기계 사양 정보 및 제어 사양 정보에 기초하여, 대상 전자 장비를 점검하기 위한 테스트 신호들 및 테스트 신호들을 인가하기 위한 타임 스탬프들을 생성할 수 있다. 제어 장치는 구조 사양 정보, 기계 사양 정보 및 제어 사양 정보에 기초하여 입력 벡터를 생성하고, 구조 사양 정보, 기계 사양 정보 및 제어 사양 정보에 각각 대응하는 노드들을 포함하는 입력 레이어로 생성된 입력 벡터를 인가할 수 있다. 제어 장치는 뉴럴 네트워크의 출력 레이어로부터 출력 벡터를 획득할 수 있다. 출력 레이어의 노드들은 테스트 신호들 및 타임 스탬프들과 각각 대응할 수 있다. 제어 장치는 출력 벡터에 기초하여 테스트 신호들 및 타임 스탬프들을 생성할 수 있다. 테스트 신호와 타임 스탬프 생성과 관련된 추론 및 학습과 관련된 실시예에는 상술한 내용이 적용될 수 있다.

일실시예에 따르면, 제어 장치는 테스트 신호들 및 타임 스탬프들의 시퀀스에 기초하여 점검 공정 설비들을 제어할 수 있다. 제어 장치는 점검 공정 설비의 진행 속도와 결과의 피드백을 통해 점검 공정을 효율화하고 공정 속도를 높일 수 있다.

일실시예에 따르면, 제어 장치는 전자 장비를 점검하는 공정과 관련된 제어 정보를 인공 지능을 기반으로 추론하여 공정 제어를 최적화할 수 있다. 제어 장치는 공정에 필요한 설비간 피드백 명령을 통해 공정 단계를 효율화하고, 공정 중 오류가 자주 발생하는 위치 및 영역을 피드백 명령을 통해 히스토리로 관리하고, 공정의 품질을 높일 수 있다. 제어 장치는 전자 장비의 점검 공정에 필요한 정보를 유형화하여 공정 설비 제어의 정밀도를 높일 수 있다.

도 2는 일실시예에 따른 엘리베이터의 전자 장비의 점검을 위한 파노라마 이미지를 생성하는 방법을 설명하기 위한 도면이다.

일실시예에 따르면, 제어 장치는 획득한 제1 이미지들에 기초하여 컨볼루션 신경망(400)의 인풋 레이어(input layer)에 대응하는 입력 벡터(300)을 생성할 수 있다. 제1 이미지들로부터 입력 벡터(300)를 생성함에 있어, 각각의 제1 이미지의 가로 길이와 세로 길이가 서로 동일하도록 처리하는 과정이 있을 수 있다. 길이 단위는 cm, mm, inch 등 물리적인 길이 단위일 수 있으며, dpi, ppi 등의 화상 단위일 수도 있다.

각각의 제1 이미지의 사이즈를 통일시키는 것을 통해, 제어 장치는 컨볼루션 신경망(400)이 각각의 이미지를 용이하게 비교할 수 있는 입력을 생성할 수 있다. 또한, 제1 이미지들로부터 입력 벡터(300)를 생성함에 있어, 제1 이미지들을 흑백 이미지로 처리하거나, RGB 색상 중에서 특정 색상으로 처리하는 과정이 있을 수 있다. 이를 통해 입력 벡터(300)는 색상 정보가 통일된 단일 채널(channel)의 이미지 파일이 될 수 있다. 단일 채널의 이미지 파일이 컨볼루션 신경망(400)으로 입력될 경우, 컨볼루션 신경망은 높이(height)와 너비(width)만 가지며 깊이(depth)는 가지지 않는 특징맵(feature map)을 연산하면 되므로, 보다 적은 컴퓨팅 파워를 가지고도 보다 빠른 속도로 목표하는 출력을 얻을 수 있다. 이를 통해, 제어 장치가 전용서버나 슈퍼컴퓨터 등이 아닌 경우라도 컨볼루션 신경망(400)의 연산이 용이하게 수행되도록 할 수 있다.

일실시예에 따르면, 제어 장치는 생성한 입력 벡터(300)를 컨볼루션 신경망(400)에 적용하여 출력 벡터를 획득할 수 있다. 출력 벡터는 각각의 카메라들이 촬영한 제1 이미지에서 나머지 카메라들이 촬영한 제1 이미지들과 중복되는 부분들의 위치 및 크기 데이터를 각각의 카메라들별로 그룹화한 제1 중복 부분 데이터(311)일 수 있다.

컨볼루션 신경망(400)의 출력인 제1 중복 부분 데이터(311)를 살펴보면, 미리 설정된 픽셀 단위별 데이터(data per pixel unit)가 원으로 도시되며, 카메라 1에 의해 촬영된 이미지의 픽셀 단위별 데이터들은 좌측 직사각형에, 카메라 2에 의해 촬영된 이미지의 픽셀 단위별 데이터들은 가운데 직사각형에, 카메라 3에 의해 촬영된 이미지의 픽셀 단위별 데이터들은 우측 직사각형에 도시되어 있다.

한편, 각 픽셀 단위별 데이터는 0 또는 1의 값을 가질 수 있다. 픽셀 단위별 데이터가 0의 값을 가지면 색칠되지 않은 원으로, 픽셀 단위별 데이터가 1의 값을 가지면 색칠된 원으로 도시되어 있다. 한 개의 카메라가 촬영한 제 1 이미지에서 미리 설정된 픽셀 단위 하나에 해당하는 부분 이미지에 대하여, 컨볼루션 신경망(400)이 나머지 카메라들이 촬영한 제1 이미지들에 해당 픽셀 단위의 부분 이미지와 중복되는 부분 이미지를 가지는 픽셀 단위가 존재한다고 추론할 경우, 해당 픽셀 단위의 픽셀 단위별 데이터는 1의 값을 가지며, 색칠된 원으로 도시된다. 한편, 한 개의 카메라가 촬영한 제1 이미지에서 미리 설정된 픽셀 단위 하나에 해당하는 부분 이미지에 대하여, 컨볼루션 신경망(400)이 나머지 카메라들이 촬영한 제1 이미지들에 해당 픽셀 단위의 부분 이미지와 중복되는 부분 이미지를 가지는 픽셀 단위가 존재하지 않는다고 추론할 경우, 해당 픽셀의 픽셀 단위별 데이터는 0의 값을 가지며, 색칠되지 않은 원으로 도시된다.

일실시예에 따르면, 제1 중복 부분 데이터(311)의 경우, 카메라 1에 의해 촬영된 이미지에 대응하는 좌측 직사각형의 픽셀 단위별 데이터들 중에서, 미리 설정된 픽셀 단위를 기준으로 우측의 다섯 열(column)의 모든 행(row)의 픽셀 단위별 데이터가 1에 해당한다. 이는 카메라 1에 의해 촬영된 이미지에서 미리 설정된 픽셀 단위를 기준으로 우측의 다섯 열(column)의 모든 행(row)에 해당하는 픽셀들로 이루어진 부분 이미지가 카메라 2에 의해 촬영된 이미지의 일부와 중복된다는 것을 의미한다.

일실시예에 따르면, 카메라 2에 의해 촬영된 이미지에 대응하는 가운데 직사각형의 픽셀 단위별 데이터들 중에서, 미리 설정된 픽셀 단위를 기준으로 우측 및 좌측의 세 열(column)의 가운데 부분의 다섯 행(row)의 픽셀 단위별 데이터가 1에 해당한다. 이는 카메라 2에 의해 촬영된 이미지에서 미리 설정된 픽셀 단위를 기준으로 우측 및 좌측의 세 열(column)의 가운데 부분의 다섯 행(row)에 해당하는 픽셀들로 이루어진 부분 이미지들이 카메라 1 및 카메라 3에 의해 촬영된 이미지들의 일부와 중복된다는 것을 의미한다.

또한, 카메라 3에 의해 촬영된 이미지에 대응하는 우측 직사각형의 픽셀 단위별 데이터들 중에서, 미리 설정된 픽셀 단위를 기준으로 좌측의 다섯 열(column)의 모든 행(row)의 픽셀 단위별 데이터가 1에 해당한다. 이는 카메라 3에 의해 촬영된 이미지에서, 미리 설정된 픽셀 단위를 기준으로 좌측의 다섯 열(column)의 모든 행(row)에 해당하는 픽셀들로 이루어진 부분 이미지가 카메라 2에 의해 촬영된 이미지 일부와 중복된다는 것을 의미한다.

일실시예에 따르면, 제어 장치는 각각의 카메라들에 의해 촬영된 제1 이미지들을 기초로 입력 벡터(300)를 생성한 후, 입력 벡터(300)를 컨볼루션 신경망(400)에 적용하여 출력인 제1 중복 부분 데이터(311)를 획득할 수 있으며, 제1 중복 부분 데이터(311)는 각각의 카메라가 촬영한 제1 이미지에서 나머지 카메라들이 촬영한 제1 이미지들과 중복되는 부분들의 위치 및 크기 데이터를 각각의 카메라별로 그룹화한 데이터일 수 있다. 이때, 제1 중복 부분 데이터(311)는 한 가지 값으로 고정되지 않으며, 각각의 카메라의 상대적 위치에 따라 다르게 촬영되는 제1 이미지들이 서로 어떻게 중복 되느냐에 따라 다른 값을 가질 수 있다(312, 313). 입력 벡터(300)를 획득하여 출력 벡터를 생성하는 컨볼루션 신경망(400)의 구체적인 구성 및 동작은 후술된다.

일실시예에 따르면, 제어 장치는 획득한 출력 벡터에 기초하여, 서로 다른 상수와 일대일 대응관계를 가지는 카메라들에게 상수들에 기초한 대형(formation)으로 촬영 위치를 정렬하도록 하는 위치 조정 데이터(320)를 생성할 수 있다. 여기서 상수들에 기초한 대형은, 상수들에 각각 대응하는 멀티 카메라들이 상수들에 기초하여 정의된 순서에 따라 원통형 좌표계(O)의 방위각(azimuthal) 방향으로 순차로 배치되는 대형일 수 있다. 즉, 원통형 좌표계(O)를 기준으로, 멀티 카메라들이 동일한 거리(r)와 높이(z) 값을 가지면서, 상수 1에 대응하는 카메라 1은 가장 큰 방위각(φ) 값을 가지고, 상수 2에 대응하는 카메라 2는 그 다음으로 큰 방위각(φ) 값을 가지고, 상수 3에 대응하는 카메라 3(103)은 가장 작은 방위각(φ) 값을 가지는 대형일 수 있다. 이 때, 원통형 좌표계(O)의 원점은 대상 엘리베이터를 기초로 미리 정의될 수 있다.

일실시예에 따르면, 각각의 카메라들이 상수들에 기초한 대형으로 이동하도록 제어하는 위치 조정 데이터(320)는 다음과 같은 과정을 통해 생성할 수 있다. 제어 장치는 제1 중복 부분 데이터(311)에 기초하여, 카메라들의 제1 상대적 위치들을 계산할 수 있다. 제어 장치는 컨볼루션 신경망(400)의 출력 벡터가 제1 중복 부분 데이터(311)와 같을 경우, 각각의 카메라들이 촬영한 이미지들의 중복 관계로부터 각각의 카메라들이 서로에 대해 어떤 위치 관계를 가지는지 계산할 수 있으며, 이를 바탕으로 각각의 카메라들의 상대적인 위치들을 계산할 수 있다.

예를 들어, 컨볼루션 신경망(400)의 출력 벡터가 제1 중복 부분 데이터(311)와 같을 경우, 제어 장치는 각각의 카메라의 상대적인 촬영 위치가 원통형 좌표계(O)를 기준으로, 카메라 1, 카메라 2, 및 카메라 3의 높이(z)가 동일하다고 계산할 수 있다. 또한, 카메라 1은 가장 큰 방위각(φ) 값을 가지고, 카메라 2는 그 다음으로 큰 방위각(φ) 값을 가지고, 카메라 3은 가장 작은 방위각(φ) 값을 가지는 것을 계산할 수 있다. 또한, 카메라 1 및 카메라 3은 원통형 좌표계(O)의 원점으로부터 동일한 거리(r)만큼 떨어져 있고, 카메라 2는 이들보다 원점에 가까운 거리(r)에 위치한다는 것을 계산할 수 있다. 제어 장치는 이러한 계산 결과들을 바탕으로 멀티 카메라들의 제1 상대적 위치들을 계산할 수 있다

제어 장치는 각각의 카메라들이 상수들에 기초한 대형으로 촬영 위치를 정렬했을 경우, 인접하게 되는 카메라들에 의해 촬영되는 제2 이미지들에서 서로 중복되는 부분들이 인접하게 되는 카메라들에 의해 촬영되는 제2 이미지들에서 차지하는 위치 및 크기가 미리 정의된 제2 중복 부분 데이터와 일치하도록 만드는 카메라들의 제2 상대적 위치들을 계산할 수 있다.

제2 중복 부분 데이터는, 미리 설정된 픽셀 단위별 데이터(data per pixel unit)가 원으로 도시될 수 있으며, 각각의 카메라들이 상수들에 기초한 대형으로 촬영 위치를 정렬한다고 했을 때, 카메라 1에 의해 촬영될 이미지의 픽셀 단위별 데이터들은 좌측 직사각형에, 카메라 2에 의해 촬영될 이미지의 픽셀 단위별 데이터들은 가운데 직사각형에, 카메라 3에 의해 촬영될 이미지의 픽셀 단위별 데이터들은 우측 직사각형에 도시될 수 있다. 각 픽셀 단위별 데이터는 0 또는 1의 값을 가질 수 있다.

일실시예에 따르면, 제어 장치는 각각의 카메라들이 상수들에 기초한 대형으로 촬영 위치를 정렬했을 경우, 정렬된 상태의 각각의 카메라들이 촬영할 제2 이미지들 간에 서로 중복되는 부분이 미리 정의된 제2 중복 부분 데이터와 일치하도록 만드는 제2 상대적 위치들을 계산할 수 있다. 보다 구체적으로, 제어 장치는 원통형 좌표계(O)를 기준으로 각각의 카메라들이 동일한 거리(r)와 높이(z) 값을 가지면서; 카메라 1은 가장 큰 방위각(φ) 값을 가지고, 카메라 2는 그 다음으로 큰 방위각(φ) 값을 가지고, 카메라 3은 가장 작은 방위각(φ) 값을 가지며; 카메라 1과 카메라 2 사이의 방위각의 차이값과 카메라 2와 카메라 3 사이의 방위각의 차이값이 동일하고; 카메라 1과 카메라 2 사이의 방위각의 차이값은 카메라 1과 카메라 2에 의해 촬영될 이미지들의 중복되는 부분이 제2 중복 부분 데이터처럼 미리 설정된 픽셀 단위를 기준으로 각각의 이미지의 서로 인접하는 우측 또는 좌측의 한 열(column)의 모든 행(row)에 해당하는 픽셀들로 이루어진 부분이 되도록 만드는 값인; 각각의 카메라들의 제2 상대적 위치들을 계산하여 구할 수 있다.

일실시예에 따르면, 제어 장치는 제1 상대적 위치들 및 제2 상대적 위치들을 바탕으로, 각각의 카메라들이 제1 상대적 위치들로부터 제2 상대적 위치들로 각각 이동하도록 제어하는 위치 조정 데이터(320)를 생성할 수 있다.

일실시예에 따르면, 제어 장치는 카메라들에게 위치 조정 데이터(320)를 전송할 수 있으며, 각각의 카메라들은 위치 조정 데이터(320)에서 각자 자신에게 할당된 데이터를 식별하여, 각자 자신에게 할당된 이동 명령을 수행함으로써, 각각의 카메라들과 일대일 대응관계로 대응하는 상수들에 기초한 정확한 대형으로 촬영 위치를 정렬할 수 있다. 카메라들은 정렬이 이루어진 상태에서 제2 이미지들을 촬영할 수 있다. 촬영된 각각의 제2 이미지에서 나머지 제2 이미지들과 중복되는 부분들은 제2 중복 부분 데이터에서 픽셀 단위별 데이터가 1의 값을 가지는 부분들에 해당할 것이다. 촬영을 마친 카메라들은 제2 이미지들을 제어 장치에게 전송할 수 있다. 제2 이미지를 획득한 제어 장치는 제2 이미지에 기초하여 목표 이미지를 획득할 수 있다.

도 3은 일실시예에 따른 엘리베이터의 전자 장비의 점검을 위한 파노라마 이미지를 생성하는 방법을 설명하기 위한 도면이다.

일실시예에 따르면, 컨볼루션 신경망(400)은 각각의 카메라들이 촬영한 이미지들을 통해 생성된 입력 벡터(300)에 기초하여, 각각의 이미지에서 나머지 이미지들과 중복되는 부분들의 위치 및 크기의 데이터인 제1 중복 데이터(311)를 출력으로 생성할 수 있다. 컨볼루션 신경망(400)은 미리 구축된 데이터베이스로부터 커널(kernel) 또는 입력 벡터(300)을 로딩할 수 있고, 데이터베이스는 제어 장치에 포함된 메모리로 구현되거나 제어 장치와 유선, 무선, 또는 네트워크 등으로 연결 가능한 서버 등의 외부 장치로 구현될 수 있다.

기계 학습(machine learning)에 있어서, 신경망(neural network)의 일종인 컨볼루션 신경망(400)은 컨볼루션 연산을 수행하도록 설계된 컨볼루션 레이어(convolution layer, 410, 420)들을 포함한다. 컨볼루션 신경망(400)을 구성하는 컨볼루션 레이어(410, 420)는 적어도 하나의 커널을 이용하여 입력과 연관된 컨볼루션 연산을 수행할 수 있다. 컨볼루션 신경망(400)이 복수의 컨볼루션 레이어(410, 420)들을 포함하면, 제어 장치는 각 컨볼루션 레이어(410, 420)에 대응하는 각 컨볼루션 연산을 수행함으로써 복수의 컨볼루션 연산들이 수행되도록 할 수 있다. 각 컨볼루션 레이어(410, 420)의 입력, 커널 및 출력의 크기는 해당 컨볼루션 레이어가 설계된 양상에 따라 정의될 수 있다.

일실시예에 따르면, 제1 컨볼루션 레이어(410)는 입력 벡터(300)을 받아들이는 인풋 레이어(input layer)로서의 역할을 수행하며, 입력 벡터(300)은 커널과 컨볼루션 되어 제1 특징맵(feature map, 412)을 생성할 수 있다. 커널은 입력 벡터(300)의 명도 특징을 감지하거나 에지 특징을 감지하는 커널 등으로 구성될 수 있으며, 기 알려진 AlexNet 모델, ConvNet 모델, LeNet-5모델, GoogLeNet 모델 등에서의 커널들이 이용될 수 있다. 그러나 이에 제한되는 것은 아니며, 다양한 컨볼루션 신경망 모델들에서 이용되는 커널들이 이용될 수 있다.

일실시예에 따르면, 제어 장치는 제1 특징맵(412)에 활성화함수(activation function, 411)를 적용할 수 있다. 이를 통해, 기계학습이 비선형적인 딥 러닝으로 이루어지도록 할 수 있다. 활성화함수는 기 알려진 시그모이드 함수(sigmoid function), 하이퍼볼릭 탄젠트 함수(hyperbolic tangent function), ReLU(rectified linear unit) 등이 이용될 수 있다. 그러나 이에 제한되는 것은 아니며, 다양한 컨볼루션 신경망 모델들에서 이용되는 활성화함수들이 이용될 수 있다.

일실시예에 따르면, 제어 장치는 제1 특징맵들(412)을 풀링(pooling, 413)하여, 제1 풀링된 특징맵(pooled feature map, 414)을 생성할 수 있다. 풀링은 기 알려진 최대값 풀링(max pooling), 평균값 풀링(mean pooling) 등이 이용될 수 있다. 그러나 이에 제한되는 것은 아니며, 다양한 컨볼루션 신경망 모델들에서 이용되는 풀링들이 이용될 수 있다.

풀링(413)을 통해 유의미한 정보는 남겨둔 채 컨볼루션 신경망(400)의 전체 노드(node)의 개수 및 전체 연산량을 줄일 수 있으므로, 제어 장치는 보다 적은 컴퓨팅 파워를 가지고도 보다 빠른 속도로 목표하는 출력을 얻을 수 있다. 이를 통해, 제어 장치가 전용서버나 슈퍼컴퓨터 등이 아닌 경우라도 컨볼루션 신경망(400)의 연산이 용이하게 수행되도록 할 수 있다.

일실시예에 따르면, 컨볼루션 레이어를 통해 특징맵을 생성하고, 특징맵에 활성화함수를 적용한 후 풀링하는 과정은 복수 회 이루어질 수 있다. 구체적으로, 컨볼루션 신경망(400)의 제2 컨볼루션 레이어(420)는 제1 풀링된 특징맵(414)을 입력으로서 획득하여, 컨볼루션 연산을 통해 제2 특징맵(422)을 생성할 수 있다. 이어서, 제2 특징맵(422)에 활성화함수(421)가 적용될 수 있으며, 활성화함수가 적용된 제2 특징맵(422)을 풀링(423)하여 제2 풀링된 특징맵(424)을 생성할 수 있다.

또한, 도시되지 않았지만, 제n 컨볼루션 레이어가 있을 수 있다. 제n 컨볼루션 레이어는 제(n-1) 풀링된 특징맵을 입력으로서 획득하여, 컨볼루션 연산을 통해 제n 특징맵을 생성할 수 있다. 이어서, 제n 특징맵에 활성화함수가 적용될 수 있으며, 활성화함수가 적용된 제n 특징맵을 풀링하여 제n 풀링된 특징맵을 생성할 수 있다. 이처럼 풀링된 특징맵을 복수 회 생성하는 과정을 통해, 유의미한 정보는 남겨둔 채 컨볼루션 신경망의 전체 노드의 개수 및 전체 연산량을 줄일 수 있으므로, 보다 적은 컴퓨팅 파워를 가지고도 보다 빠른 속도로 목표하는 출력을 얻을 수 있다.

일실시예에 따르면, 제어 장치는 풀링된 특징맵(424)을 모두 풀리 커넥티드 레이어(fully connected layer, 490)에 연결하고, 풀리 커넥티드 레이어(490)로부터 출력인 제1 중복 부분 데이터(311)를 생성할 수 있다.

도 4는 일실시예에 따른 엘리베이터의 전자 장비의 점검을 위한 파노라마 이미지를 생성하는데 채용되는 컨볼루션 신경망의 학습 과정을 설명하기 위한 도면이다.

일실시예에 따르면, 컨볼루션 신경망의 학습은 학습 장치에 의해 수행될 수 있다. 학습 장치는 서로 중복되는 부분들을 포함할 수 있는 복수의 이미지들에서 서로 중복되는 부분들의 위치 및 크기를 추론하는 컨볼루션 신경망을 학습시키는 장치로서, 예를 들어 소프트웨어 모듈, 하드웨어 모듈 또는 이들의 조합으로 구현될 수 있다.

일실시예에 따르면, 학습 장치는 서로 중복되는 부분들을 포함할 수 있는 이미지들을 트레이닝 데이터(training data)로 획득하고, 획득한 트레이닝 데이터에 기초하여 컨볼루션 신경망의 인풋 레이어에 대응하는 트레이닝 데이터의 입력을 생성할 수 있다. 이후, 학습 장치는 트레이닝 데이터의 입력을 컨볼루션 신경망에 적용하여, 컨볼루션 신경망에 의해 생성된 트레이닝 데이터의 출력을 획득할 수 있고, 이어서, 트레이닝 데이터의 출력을 레이블(label)과 비교하여 컨볼루션 신경망을 최적화할 수 있다.

일실시예에 따르면, 학습 장치는 서로 중복되는 부분들을 포함할 수 있는 이미지들을 트레이닝 데이터(1100)로 삼을 수 있다. 학습 장치는 트레이닝 데이터(1100)에 기초하여 생성한 트레이닝 데이터의 입력(1110)을 컨볼루션 신경망(400)에 적용하여, 트레이닝 데이터의 출력(1120)을 획득할 수 있다. 구체적으로, 컨볼루션 신경망(400)은 컨볼루션 레이어를 통해 입력된 데이터와 커널을 컨볼루션 연산하여 특징맵을 생성하는 단계; 특징맵에 활성화함수를 적용하는 단계; 및 활성화함수가 적용된 특징맵을 풀링하여 풀링된 특징맵을 생성하는 단계를 복수 회 수행할 수 있다. 컨볼루션 신경망(400)은 풀리 커넥티드 레이어를 통해 마지막으로 풀링된 특징맵으로부터 트레이닝 데이터의 출력(1120)을 생성할 수 있다.

일실시예에 따르면, 학습 장치는 트레이닝 데이터의 출력(1120)과 레이블(1130)을 비교하여 컨볼루션 신경망(400)을 최적화할 수 있다(1140).

일실시예에 따르면, 레이블(1130)은 트레이닝 데이터(1100)의 각각의 이미지에서 나머지 이미지들과 중복되는 부분들의 위치 및 크기를 미리 기록한 데이터일 수 있다. 구체적으로, 레이블(1130)은 트레이닝 데이터(1100)의 각각의 이미지별로, 미리 설정된 픽셀 단위(pixel unit)마다 0 또는 1로 이루어진 픽셀 단위별 데이터(data per pixel unit)가 미리 부여된 데이터일 수 있다. 보다 구체적으로, 레이블(1130)은 트레이닝 데이터(1100)의 각각의 이미지별로, 미리 설정된 픽셀 단위에 대하여, 해당 이미지에서 나머지 이미지들과 중복되는 픽셀 단위들에 대해서는 픽셀 단위별 데이터로 1의 값이 부여되고, 해당 이미지에서 나머지 이미지들과 중복되지 않는 픽셀 단위들에 대해서는 픽셀 단위별 데이터로 0의 값이 미리 부여된 데이터일 수 있다.

일실시예에 따르면, 트레이닝 데이터의 출력(1120)은 트레이닝 데이터(1100)의 각각의 이미지에서 나머지 이미지들과 중복되는 부분들의 위치 및 크기의 값을 컨볼루션 신경망(400)이 추론한 데이터일 수 있다. 구체적으로, 트레이닝 데이터의 출력(1120)은, 컨볼루션 신경망(400)의 추론 결과에 따라, 트레이닝 데이터(1100)의 각각의 이미지별로, 미리 설정된 픽셀 단위(pixel unit)마다 0 또는 1의 픽셀 단위별 데이터(data per pixel unit)를 가질 수 있다. 보다 구체적으로, 컨볼루션 신경망(400)은 트레이닝 데이터(1100)의 각각의 이미지별로, 미리 설정된 픽셀 단위에 대하여, 해당 이미지에서 나머지 이미지들과 중복된다고 추론한 픽셀 단위들에 대해서는 트레이닝 데이터의 출력(1120)의 대응하는 픽셀 단위별 데이터에 1의 값을 기록하고, 해당 이미지에서 나머지 이미지들과 중복되지 않는다고 추론한 픽셀 단위들에 대해서는 트레이닝 데이터의 출력(1120)의 대응하는 픽셀 단위별 데이터에 0의 값을 기록하는 과정을 통해, 트레이닝 데이터의 출력(1120)을 생성할 수 있다.

일실시예에 따르면, 학습 장치는 위와 같은 추론 결과에 해당하는 트레이닝 데이터의 출력(1120)과 정답에 해당하는 레이블드 데이터(1130)를 비교하여 컨볼루션 신경망(400)을 최적화할 수 있다(1140). 트레이닝 데이터의 출력(1120)과 레이블드 데이터(1130)의 비교는 손실함수(loss function)를 통해 이루어질 수 있다. 손실함수는 기 알려진 평균 제곱 오차(mean squared error, MSE), 교차 엔트로피 오차(cross entropy error, CEE) 등이 이용될 수 있다. 그러나, 이에 제한되는 것은 아니며, 트레이닝 데이터의 출력(1120)과 레이블드 데이터(1130)의 편차 내지는 오차를 측정할 수 있다면, 다양한 컨볼루션 신경망 모델들에서 이용되는 손실함수들이 이용될 수 있다.

일실시예에 따르면, 학습 장치는 손실함수의 최소값을 추정하여, 손실함수가 최소값 추정치가 되도록 컨볼루션 신경망의 웨이트(weight)를 재설정하는 과정을 반복함으로써 컨볼루션 신경망(400)을 최적화할 수 있다. 컨볼루션 신경망(400)의 최적화를 위해 기 알려진 역전파(backpropagation) 알고리즘, 확률론적 경사하강법(stochastic gradient descent) 등이 이용될 수 있다. 그러나, 이에 제한되는 것은 아니며, 다양한 컨볼루션 신경망 모델들에서 이용되는 웨이트의 최적화 알고리즘이 이용될 수 있다.

도 5는 일실시예에 따른 엘리베이터의 전자 장비의 점검 공정을 제어하기 위한 방법을 설명하기 위한 도면이다.

일실시예에 따르면, 제어 시스템은 제어 장치(201), 제1 점검 공정 설비(202), 제2 점검 공정 설비(203), 제3 점검 공정 설비(204) 및 네트워크(205)를 포함할 수 있다. 제어 시스템 내 주체들은 네트워크(205)를 통해 서로 연결될 수 있으며, 실시예들은 제어 장치(201)의 점검 공정의 제어 동작을 중심으로 설명되지만 시스템 내 적어도 둘 이상의 주체들이 서로 연계하여 해당 제어 동작이 수행될 수도 있다. 제어 장치(201)는 엘리베이터의 대상 전자 장비(206)의 점검 공정을 위해 제1 점검 공정 설비(202), 제2 점검 공정 설비(203) 및 제3 점검 공정 설비(204)를 제어할 수 있다.

일실시예에 따르면, 제어 장치(201)는 엘리베이터의 대상 전자 장비(206)를 점검하기 위한 구조 사양 정보, 기계 사양 정보 및 제어 사양 정보를 획득할 수 있다. 예를 들어, 구조 사양 정보는 대상 전자 장비 내 공간 상에 부품들을 배치시키기 위한 구조적인 사양으로서, 위치 좌표, 연결 관계, 계층 구조 및 깊이를 포함할 수 있다. 기계 사양 정보는 엘리베이터의 대상 전자 장비(206)의 물리적인 동작에 따라 모델링된 부품들의 사양으로서, 크기, 길이, 형상, 두께, 무게, 재질, 적정 압력, 적정 온도, 규격 및 강도를 포함할 수 있다. 제어 사양 정보는 입출력에 대응하는 전류, 전압, 전력, 압력, 각도, 이동 반경, 액츄에이팅 정보, 진동수 및 밝기를 포함할 수 있다.

일실시예에 따르면, 제어 장치(201)는 구조 사양 정보들, 기계 사양 정보들, 제어 사양 정보들 및 부품들을 매칭시킨 데이터베이스를 조회하여, 구조 사양 정보, 기계 사양 정보 및 제어 사양 정보에 대응하는 부품들을 획득하는 제1 점검 공정 설비(202)를 제어할 수 있다. 예를 들어, 부품은 보드, 액츄에이터, 그래픽 카드, 펀치, 지그 등일 수 있다.

일실시예에 따르면, 제어 장치(201)는 기계 사양 내 크기, 무게 및 규격에 기초하여, 엘리베이터의 대상 전자 장비(206)에 대응하는 전체 적재 조건을 생성할 수 있다. 전체 적재 조건은 모든 부품의 크기, 무게 및 규격의 합 또는 그에 준하는 임계 범위 이내의 값으로 정의될 수 있다.

일실시예에 따르면, 제어 장치(201)는 전체 적재 조건의 생성에 응답하여, 엘리베이터의 대상 전자 장비(206)을 조립하기 위한 부품들을 적재하는 제2 점검 공정 설비(203)를 제어할 수 있다. 제2 점검 공정 설비(203)는 제어 장치(201)의 제어 명령에 의해 미리 정해진 공간으로 부품들을 적재할 수 있다.

일실시예에 따르면, 제어 장치(201)는 부품들의 적재 결과와 전체 적재 조건을 비교하여, 부품들의 적재 완료 여부를 판단할 수 있다. 적재가 완료되지 않은 경우, 제어 장치(201)는 제2 점검 공정 설비(203)와 제1 점검 공정 설비(202)를 제어해 적재되지 않은 부품의 존재 여부를 확인할 수 있다. 모두 적재된 것으로 확인되나, 전채 적재 조건과 비교해 적재 완료로 판단되지 않는 경우, 제어 장치(201)는 제2 점검 공정 설비(203)와 제1 점검 공정 설비(202)를 제어해 기존의 부품을 모두 수거하고, 새 부품으로 적재 과정을 수행할 수 있다.

일실시예에 따르면, 제어 장치(201)는 적재 완료 여부에 대한 판단에 응답하여, 구조 사양 정보에 대응하는 점검 공정 서열 조건을 생성할 수 있다. 점검 공정 서열 조건은 부품들을 제작 공정의 서열에 맞는 위치에 배치시키기 위한 조건이다.

일실시예에 따르면, 제어 장치(201)는 점검 공정 서열 조건에 기초하여, 부품들을 배치하는 제3 점검 공정 설비(204)를 제어할 수 있다.

일실시예에 따르면, 제어 장치(201)는 제3 점검 공정 설비(204)의 제어 결과와 점검 공정 서열 조건을 비교하여, 부품들의 배치를 조정하기 위한 피드백 명령을 생성할 수 있다. 일실시예에 따른 피드백 명령은 공정 내 오류를 바로잡기 위해 기존의 명령을 수정하도록 지시하는 명령으로, 피드백 명령에 해당하는 경우는 부품의 구조 사양 부적합, 부품의 기계 사양 부적합, 위치 명령의 오류, 타임 스탬프에 따른 공정 시간의 지연, 부품들의 오조립 중 적어도 하나를 포함하거나, 기존의 명령만으로 다음 공정을 진행할 수 없는 경우를 포함할 수 있다.

일실시예에 따르면, 제어 장치(201)는 생성된 피드백 명령에 기초하여 제3 점검 공정 설비(204)를 제어할 수 있다.

일실시예에 따르면, 제어 장치(201)는 데이터베이스를 조회하여 구조 사양 정보들에 따라 클러스터링된 부품들의 제1 히스토리를 획득할 수 있다. 제어 장치(201)는 제1 히스토리에 기초하여, 획득된 부품들 중 제1 부품, 제2 부품, 제3 부품 및 제4 부품을 엘리베이터의 대상 전자 장비(206) 내 공간 상에 시계열적으로 제1 위치, 제2 위치, 제3 위치 및 제4 위치에 각각 배치시키기 위한 위치 명령들 및 타임 스탬프들의 시퀀스를 생성할 수 있다. 생성된 위치 명령 및 타임 스탬프는 이후 과정에서 수정될 수 있다. 수정되는 위치 명령 및 타임 스탬프 정보는 히스토리로 기록될 수 있다.

일실시예에 따른 타임 스탬프는 공통적으로 참조하는 시각에 대해 시간의 기점을 표시하는 시간 변위 매개 변수이다. 일실시예에 따르면, 생성된 시퀀스에 기초하여, 제어 장치(201)는 점검 공정 서열 조건을 생성할 수 있다.

일실시예에 따르면, 제3 점검 공정 설비(204)는 제1 점검 공정 기계, 제2 점검 공정 기계 및 제3 점검 공정 기계를 포함할 수 있다. 제어 장치(201)는 제1 점검 공정 기계 내의 하부 상판 위 제1 위치에 제1 부품을 위치시키기 위한 제1 위치 명령 및 제1 타임 스탬프를 생성할 수 있다. 제어 장치(201)는 제2 점검 공정 기계 내의 상부 집게의 제2 위치에 제2 부품을 위치시키기 위한 제2 위치 명령 및 제2 타임 스탬프를 생성할 수 있다. 제어 장치(201)는 제3 점검 공정 기계 내의 좌우 측 양팔 각각의 제3 위치 및 제4 위치에 각각 제3 부품 및 제4 부품을 위치시키기 위한 제3 위치 명령, 제3 타임 스탬프, 제4 위치 명령 및 제4 타임 스탬프를 생성할 수 있다.

일실시예에 따르면, 제3 점검 공정 설비(204)는 제4 점검 공정 기계, 제5 점검 공정 기계 및 제6 점검 공정 기계를 포함할 수 있다. 제어 장치(201)는 제4 점검 공정 기계가 제1 부품을 제5 점검 공정 기계의 제2 위치로 위치시키기 위한 제1 위치 명령 및 제1 타임 스탬프에 기초하여, 제4 점검 공정 기계 및 제5 점검 공정 기계를 제어할 수 있다. 제어 장치(201)는 제4 점검 공정 기계의 제1 위치 감별 센서 및 제5 점검 공정 기계의 제2 위치 감별 센서를 이용하여, 제5 점검 공정 기계의 공간 상 제2 위치를 식별할 수 있다.

일실시예에 따른 위치 감별 센서는 어떤 일정위치에 있어서 온-오프를 하는 위치 센서의 일종으로, 원리적 분류에 따른 기계식, 전기식, 자기식, 광학식 센서, 또는 접촉 여부에 따른 접촉식, 비접촉식 센서 중 적어도 하나를 포함할 수 있다.

일실시예에 따르면, 제어 장치(201)는 구조 사양 정보 내 제1 부품에 대응하는 위치 좌표와 제2 위치를 비교할 수 있다.

일실시예에 따르면, 제어 장치(201)는 위치 좌표 및 제2 위치 사이의 차이가 임계 범위 이내인 경우, 제4 점검 공정 기계의 제1 적외선 센서 및 제5 점검 공정 기계의 제2 적외선 센서를 이용하여, 제4 점검 공정 기계의 제2 위치의 제2 온도를 판단할 수 있다.

일실시예에 따르면, 제어 장치(201)는 기계 사양 정보 내 제1 부품에 대응하는 적정 온도와 제2 온도를 비교할 수 있다.

일실시예에 따른 적정 온도는, 부품의 기계 사양 정보 중 적정 온도를 제외한 나머지 기계 사양을 임계 범위 내부 수준에서 변화시키는 온도를 의미하며, 이외에도 결정 인자로 부품의 탄성력, 파절 임계값, 접착력, 다른 부품의 변성 가능성 중 적어도 하나를 포함할 수 있다.

일실시예에 따르면, 제어 장치(201)는 적정 온도 및 제2 온도 사이의 비교 결과에 기초하여, 제2 위치에 대응하는 부위의 예열 또는 냉각이 필요한 경우, 예열 또는 냉각의 소요 시간을 계산할 수 있다.

일실시예에 따르면, 제어 장치(201)는 소요 시간에 의해 제1 타임 스탬프에 따른 공정 시간이 지연되는 경우, 구조 사양 정보 내 제1 부품에 대응하는 연결 관계, 계층 구조 및 깊이에 기초하여, 후보 점검 공정 기계들 중 연결 관계, 계층 구조 및 깊이를 유지하면서 제2 위치와 가장 근접한 구역에 있는 제6 점검 공정 기계를 선택할 수 있다. 제어 장치(201)는 제1 타임 스탬프에 따른 공정 시간이 지연되지 않은 경우, 다음 공정을 수행할 수 있다.

일실시예에 따르면, 제어 장치(201)는 구조 사양 정보 내 제1 부품에 대응하는 위치 좌표에 기초하여, 제6 점검 공정 기계 내 제3 위치에 제1 부품을 위치시키기 위한 제3 위치 명령 및 제3 타임 스탬프를 생성할 수 있다.

일실시예에 따르면, 제3 점검 공정 설비(204)는 제7 점검 공정 기계, 제8 점검 공정 기계 및 제9 점검 공정 기계를 포함할 수 있다.

일실시예에 따르면, 제어 장치(201)는 제3 위치 명령 및 제3 타임 스탬프에 기초하여 피드백 명령을 생성할 수 있다.

일실시예에 따르면, 제어 장치(201)는 제7 점검 공정 기계의 위치 감별 센서를 이용하여, 제1 부품의 제1 조립부를 식별할 수 있다.

일실시예에 따르면, 제어 장치(201)는 제8 점검 공정 기계의 상부 집게를 제어하여, 제2 부품을 제1 조립부에 위치시킬 수 있다.

일실시예에 따르면, 제어 장치(201)는 제8 점검 공정 기계의 스크류를 제어하여, 제2 부품을 제1 조립부 모서리의 나사 홈에 위치하는 나사와 접합시킬 수 있다.

일실시예에 따르면, 제어 장치(201)는 제9 점검 공정 기계의 위치 감별 센서를 이용하여, 제1 부품의 제2 조립부 및 제3 조립부를 식별할 수 있다.

일실시예에 따르면, 제어 장치(201)는 제9 점검 공정 기계의 좌우 측 양팔을 제어하여, 제3 부품 및 제4 부품을 제2 조립부 및 제3 조립부에 각각 위치시킬 수 있다.

일실시예에 따르면, 제어 장치(201)는 제9 점검 공정 기계의 스크류를 제어하여, 제3 부품 및 제4 부품을 제2 조립부 및 제3 조립부 모서리의 나사 홈에 위치하는 나사와 접합시킬 수 있다. 일실시예에 따르면, 제어 장치(201)는 제2 조립부와 제3 조립부의 위치가 반대로 인식된 경우 피드백 명령을 생성할 수 있다. 일실시예에 따르면 제어 장치(201)는 자동차용 범퍼 제작 공정 중 오류가 자주 발생하는 위치 및 영역을 피드백 명령을 통해 히스토리로 관리해 이후 공정의 품질을 높일 수 있다.

도 6은 일실시예에 따른 장치의 구성의 예시도이다.

일실시예에 따른 장치(1201)는 프로세서(1202) 및 메모리(1203)를 포함한다. 일실시예에 따른 장치(1201)는 상술한 서버 또는 단말일 수 있다. 프로세서는 도 1 내지 도 5을 통하여 전술한 적어도 하나의 장치들을 포함하거나, 도 1 내지 도 5를 통하여 전술한 적어도 하나의 방법을 수행할 수 있다. 메모리(1203)는 상술한 방법과 관련된 정보를 저장하거나 상술한 방법이 구현된 프로그램을 저장할 수 있다. 메모리(1203)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다.

일실시예에 따르면, 프로세서(1202)는 프로그램을 실행하고, 장치(1201)를 제어할 수 있다. 프로세서(1202)에 의하여 실행되는 프로그램의 코드는 메모리(1203)에 저장될 수 있다. 장치(1201)는 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (5)

1. 점검하고자 하는 대상 엘리베이터 내 대상 전자 장비를 서로 다른 상수(constant)들에 각각 대응하는 카메라들을 이용하여 촬영하는 단계;
   상기 카메라들에 의해 촬영된 제1 이미지들을 획득하는 단계;
   상기 제 1 이미지들에 기초하여 복수의 이미지들로부터 엘리베이터 점검 규격의 파노라마 이미지를 생성하도록 미리 학습된 컨볼루션 신경망(convolutional neural network)의 인풋 레이어(input layer)에 대응하는 입력 벡터를 생성하는 단계;
   상기 입력 벡터를 상기 컨볼루션 신경망에 적용하여 출력 벡터를 획득하는 단계;
   상기 출력 벡터에 기초하여, 상기 상수들에 기초한 대형(formation)으로 상기 카메라들의 촬영 위치들을 정렬하도록 하는 위치 조정 데이터를 생성하는 단계;
   상기 위치 조정 데이터에 기초하여 상기 대형으로 상기 카메라들을 정렬하는 단계;
   상기 정렬된 상기 카메라들에 의해 촬영된 제2 이미지들을 획득하는 단계;
   상기 제2 이미지들에 기초하여 상기 대상 전자 장비의 대상 파노라마 이미지를 생성하는 단계;
   상기 대상 파노라마 이미지에 기초하여 상기 대상 전자 장비에 대응하는 식별자를 획득하는 단계;
   식별자들, 전자 장비들의 유형들 및 상기 전자 장비들의 점검 공정들을 매칭시킨 데이터베이스로부터, 상기 식별자에 대응하는 상기 대상 전자 장비의 유형 및 점검 공정을 획득하는 단계;
   상기 식별자, 상기 대상 전자 장비의 상기 유형 및 상기 점검 공정에 기초하여 제1 입력 신호를 생성하는 단계;
   전자 장비와 관련된 정보로부터 점검을 위한 제어 정보를 생성하도록 미리 학습된 제1 뉴럴 네트워크의 입력 레이어로 상기 제1 입력 신호를 인가하는 단계;
   상기 제1 뉴럴 네트워크의 출력 레이어로부터 생성된 제1 출력 신호를 획득하는 단계;
   상기 제1 출력 신호에 기초하여 제1 제어 명령들을 생성하는 단계; 및
   상기 제1 제어 명령들에 기초하여, 점검 공정 설비들을 제어하는 단계
   를 포함하는
   엘리베이터의 유지 및 보수의 공정을 제어하기 위한 방법.
   
2. 제1항에 있어서,
   상기 출력 벡터는
   상기 카메라들 중 어느 하나의 카메라가 촬영한 제1 이미지에서 나머지 카메라들이 촬영한 제1 이미지들과 중복되는 부분들의 위치 및 크기 데이터를 각각의 카메라들별로 그룹화한 제1 중복 부분 데이터를 포함하며,
   상기 대형은
   상기 상수들에 기초하여 정의된 순서에 따라 기준 위치의 방위각(azimuthal) 방향으로 상기 상수들에 각각 대응하는 상기 카메라들이 순차로 배치되는 대형이며,
   상기 위치 조정 데이터는
   상기 제 1 중복 부분 데이터에 기초하여, 상기 카메라들의 제 1 상대적 위치들을 획득하고,
   상기 카메라들이 상기 대형으로 촬영 위치를 정렬했을 경우, 인접하게 되는 카메라들에 의해 촬영되는 제 2 이미지들에서 서로 중복되는 부분들이 상기 인접하게 되는 카메라들에 의해 촬영되는 제 2 이미지들에서 차지하는 위치 및 크기가 미리 정의된 제 2 중복 부분 데이터와 일치하도록 만드는 상기 카메라들의 제 2 상대적 위치들을 계산하여,
   상기 카메라들이 상기 제 1 상대적 위치들로부터 상기 제 2 상대적 위치들로 각각 이동하도록 제어하는 데이터인,
   엘리베이터의 유지 및 보수의 공정을 제어하기 위한 방법.
   
3. 제1항에 있어서,
   상기 점검 공정 설비들을 제어하는 단계는
   상기 제1 제어 명령들에 기초하여, 상기 대상 전자 장비를 점검하기 위한 구조 사양 정보-상기 구조 사양 정보는 상기 대상 전자 장비 내 공간 상에 부품들을 배치시키기 위한 구조적인 사양으로서, 위치 좌표, 연결 관계, 계층 구조 및 깊이를 포함함-, 기계 사양 정보-상기 기계 사양 정보는 상기 대상 전자 장비의 물리적인 동작에 따라 모델링된 상기 부품들의 사양으로서, 크기, 길이, 형상, 두께, 무게, 재질, 적정 압력, 적정 온도, 규격 및 강도를 포함함- 및 제어 사양 정보-상기 제어 사양 정보는 입출력에 대응하는 전류, 전압, 전력, 압력, 각도, 이동 반경, 액츄에이팅 정보, 진동수 및 밝기를 포함함-를 생성하는 단계;
   상기 구조 사양 정보, 상기 기계 사양 정보 및 상기 제어 사양 정보에 기초하여, 상기 대상 전자 장비를 점검하기 위한 테스트 신호들 및 상기 테스트 신호들을 인가하기 위한 타임 스탬프들을 생성하는 단계; 및
   상기 테스트 신호들 및 상기 타임 스탬프들의 시퀀스에 기초하여 상기 점검 공정 설비들을 제어하는 단계
   를 포함하는,
   엘리베이터의 유지 및 보수의 공정을 제어하기 위한 방법.
   
4. 제3항에 있어서,
   상기 점검 공정 설비들을 제어하는 단계는
   구조 사양 정보들, 기계 사양 정보들, 제어 사양 정보들 및 부품들을 매칭시킨 데이터베이스를 조회하여, 상기 구조 사양 정보, 상기 기계 사양 정보 및 상기 제어 사양 정보에 대응하는 부품들을 획득하는 제1 점검 공정 설비를 제어하는 단계;
   상기 기계 사양 정보 내 크기, 무게 및 규격에 기초하여, 상기 대상 전자 장비에 대응하는 전체 적재 조건을 생성하는 단계;
   상기 전체 적재 조건의 생성에 응답하여, 상기 대상 전자 장비를 조립하기 위한 부품들을 적재하는 제2 점검 공정 설비를 제어하는 단계;
   상기 부품들의 적재 결과와 상기 전체 적재 조건을 비교하여, 상기 부품들의 적재 완료 여부를 판단하는 단계;
   상기 적재 완료 여부에 대한 판단에 응답하여, 상기 구조 사양 정보에 대응하는 점검 공정 서열 조건-상기 부품들을 점검 공정의 서열에 맞는 위치에 배치시키기 위한 조건임-을 생성하는 단계;
   상기 점검 공정 서열 조건에 기초하여, 상기 부품들을 배치하는 제3 점검 공정 설비를 제어하는 단계;
   상기 제3 점검 공정 설비의 제어 결과와 상기 점검 공정 서열 조건을 비교하여, 상기 부품들의 배치를 조정하기 위한 피드백 명령을 생성하는 단계; 및
   상기 생성된 피드백 명령에 기초하여 상기 제3 점검 공정 설비를 제어하는 단계
   를 포함하는,
   엘리베이터의 유지 및 보수의 공정을 제어하기 위한 방법.
   
   
   
5. 삭제

Images