KR102244978B1 - 작업 현장의 위험성을 판단하는 인공지능 모델의 학습 방법, 장치 및 컴퓨터프로그램 - Google Patents

Abstract

작업 현장의 위험성을 판단하는 인공지능 모델의 학습 방법, 장치 및 컴퓨터프로그램이 제공된다. 본 발명의 다양한 실시예에 따른 작업 현장의 위험성을 판단하는 인공지능 모델의 학습 방법은, 컴퓨팅 장치에 의해 수행되는 방법에 있어서, 작업 현장 영상을 수집하는 단계, 상기 수집된 작업 현장 영상에 포함된 하나 이상의 객체에 대한 정보를 상기 수집된 작업 현장 영상에 레이블링하는 단계 및 상기 하나 이상의 객체에 대한 정보가 레이블링된 작업 현장 영상을 학습 데이터로 하여 인공지능 모델을 학습시키는 단계를 포함한다.

Description

작업 현장의 위험성을 판단하는 인공지능 모델의 학습 방법, 장치 및 컴퓨터프로그램{METHOD, APPARATUS AND COMPUTER PROGRAM FOR TRAINING ARTIFICIAL INTELLIGENCE MODEL THAT JUDGES DANGER IN WORK SITE}

본 발명의 다양한 실시예는 작업 현장의 위험성을 판단하는 인공지능 모델의 학습 방법, 장치 및 컴퓨터프로그램에 관한 것이다.

건설산업은 다른 산업부문과 달리 건설공사 추진시 사업수행단계 및 건설현장 특성상 안전사고 발생의 위험이 아주 높다. 특히, 본 구조물이 완성되기 전에 실시하는 가설물의 조립 및 해체, 중량물의 취급 및 운반, 최근 기계화 시공에 따른 대형 건설장비의 이용 등 고도의 숙련을 요하는 종합적인 작업이 동일 장소에서 다양하게 이루어지므로 재해 발생의 가능성이 높다.

건설현장의 동향으로는 사회문제로 대두되는 노령화에 맞물려 대부분 근로자의 연령 증가, 비숙련자의 증가, 여성 근로자의 참여 확대 및 외국인 노동자의 건설시장 유입으로 재해발생 위험 또한 증가되고 있는 실정이다.

이러한 사고는 작업자의 실수나 돌발적인 주변환경 변화 및 안전하지 않은 절차나 절차의 부재로 인한 안전하지 않은 행동으로 인한 것이 대부분이다. 이러한 인명피해를 최소화하기 위해, 구조물의 건축이나 건설작업시 작업자는 안전모나 헬멧 등과 같은 보호장비를 반드시 착용하는 등과 같이 안전기준을 준수하는 것이 필수적이다. 본 명세서에서, 안전기준이라 함은 산업안전보건기준에 관한 규칙과 같은 법, 시행령, 규칙, 제도, 조례 등의 공적인 규정, 혹은 회사의 사내 규정이나 기타 건설 등 작업현장에서 준수해야 할 안전에 관한 규정 혹은 기준들을 포괄하는 개념으로 이해될 수 있으며, 특정한 규정이나 제도에 제한되는 것은 아니다.

그러나, 실제 작업 현장에서는 작업의 편의성이나 빠른 작업 처리를 위해 작업자들이 안전기준을 준수하지 않고 작업을 수행하는 것이 비일비재하다. 또한, 작업자들이 안전기준을 정확하게 숙지하지 못하여 제대로된 조치를 취하지 않고 작업을 하는 경우도 있다. 이와 같이 안전기준을 준수하여 작업을 하지 않을 경우, 사고가 발생할 가능성이 높아지고, 사고에 따른 피해 규모가 커질 수 있다.

종래에는 작업 현장에서 사고가 발생하는 것을 방지하기 위하여, 작업 현장의 관리자가 작업 현장을 직접 돌아다니며 작업자들이 안전기준을 준수하며 작업하도록 지시하거나, 작업 현장에 설치된 카메라(예: CCTV 카메라)를 통해 촬영된 작업 현장 영상을 통해 작업자들이 안전기준을 준수하며 작업하는지 여부를 모니터링하였다.

그러나, 이러한 종래의 방법은 작업 관리자가 직접 안전기준을 준수하는지 여부를 확인하고, 이에 따른 지시를 내려야 하기 때문에 작업 관리자가 안전기준을 정확하게 숙지하고 정확한 지시를 내려야 한다는 문제가 있다.

또한, 규모가 큰 작업 현장의 경우 이러한 종래의 방법을 수행하기 위해 다수의 작업 관리자가 필요하며, 작업 현장에서 수많은 단위 작업들이 수행되기 때문에, 이러한 작업들을 일일이 확인하고 지시하기가 어렵다는 문제가 있다.

본 발명이 해결하고자 하는 과제는 작업 현장을 촬영한 영상(예: 동영상, 이미지)를 분석함으로써, 작업자들이 안전기준을 준수하는지 여부에 따라 사고 발생과 같은 위험성을 판단할 수 있는 인공지능 모델을 생성하기 위한 작업 현장의 위험성을 판단하는 인공지능 모델의 학습 방법, 장치 및 컴퓨터프로그램을 제공하는 것이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른, 작업 현장의 위험성을 판단하는 인공지능 모델의 학습 방법은, 컴퓨팅 장치에 의해 수행되는 방법에 있어서, 작업 현장 영상을 수집하는 단계, 상기 수집된 작업 현장 영상에 포함된 하나 이상의 객체에 대한 정보를 상기 수집된 작업 현장 영상에 레이블링하는 단계 및 상기 하나 이상의 객체에 대한 정보가 레이블링된 작업 현장 영상을 학습 데이터로 하여 인공지능 모델을 학습시키는 단계를 포함할 수 있다.

다양한 실시예에서, 상기 레이블링하는 단계는, 상기 수집된 작업 현장 영상을 출력하는 사용자 인터페이스(User Interface, UI)를 제공하는 단계, 상기 사용자 인터페이스를 통해 출력된 작업 현장 영상 상에 하나 이상의 객체 각각의 위치를 입력받는 단계, 상기 위치가 입력된 하나 이상의 객체 각각에 대한 정보를 입력받는 단계 및 상기 하나 이상의 객체 각각에 상기 입력된 하나 이상의 객체에 대한 정보를 레이블링하는 단계를 포함할 수 있다.

다양한 실시예에서, 상기 하나 이상의 객체 각각에 대한 정보를 입력받는 단계는, 상기 사용자 인터페이스를 통해 상기 위치가 입력된 하나 이상의 객체 각각에 대한 명칭을 입력받는 단계, 상기 사용자 인터페이스를 통해 상기 위치가 입력된 하나 이상의 객체 각각에 대한 속성 정보를 입력받는 단계 및 상기 사용자 인터페이스를 통해 상기 위치가 입력된 하나 이상의 객체 각각에 대한 안전도를 입력받되, 상기 안전도는 안전 및 위험을 포함하며, 상기 안전도는 안전기준의 위반 여부에 따라 결정되는 것인, 단계를 포함할 수 있다.

다양한 실시예에서, 상기 위치가 입력된 하나 이상의 객체 각각에 대한 안전도를 입력받는 단계는, 상기 위치가 입력된 하나 이상의 객체 중 제1 객체가 상기 안전기준을 준수한 것으로 판단될 경우 상기 제1 객체에 대한 안전도를 안전으로 결정하되, 외부로부터 수집된 복수의 사고 데이터를 분석하여 상기 제1 객체에 대응되는 작업과 관련된 사고의 발생 횟수가 기 설정된 값을 초과할 경우, 상기 제1 객체에 대한 안전도를 위험으로 결정하는 단계를 포함할 수 있다.

다양한 실시예에서, 상기 레이블링하는 단계는, 상기 수집된 작업 현장 영상을 분석하여 상기 하나 이상의 객체를 추출하는 단계, 상기 수집된 작업 현장 영상에 상기 추출된 하나 이상의 객체를 표시하여 출력하는 사용자 인터페이스(User Interface, UI)를 제공하는 단계, 상기 사용자 인터페이스를 통해 상기 추출된 하나 이상의 객체 각각에 대한 정보를 입력받는 단계 및 상기 추출된 하나 이상의 객체 각각에 상기 입력된 하나 이상의 객체 각각에 대한 정보를 레이블링하는 단계를 포함할 수 있다.

다양한 실시예에서, 상기 인공지능 모델은 상기 수집된 작업 현장 영상을 분석하여 상기 수집된 작업 현장 영상에 포함된 하나 이상의 객체를 추출하는 제1 인공지능 모델 및 상기 추출된 하나 이상의 객체에 대한 상태를 판단하는 제2 인공지능 모델을 포함하며, 상기 인공지능 모델을 학습시키는 단계는, 서로 상이한 학습 데이터를 이용하여 상기 제1 인공지능 모델과 상기 제2 인공지능 모델을 학습시키되, 객체에 대한 위치 정보 및 객체의 명칭이 레이블링된 작업 현장 영상을 학습 데이터로 하여 상기 제1 인공지능 모델을 학습시키고, 객체의 명칭, 객체의 속성 정보 및 안전도가 레이블링된 작업 현장 영상을 학습 데이터로 하여 상기 제2 인공지능 모델을 학습시키는 단계를 포함할 수 있다.

다양한 실시예에서, 상기 인공지능 모델을 학습시키는 단계는, 하기의 수학식 1에 따른 로스(Loss) 함수가 최소값을 가지도록 상기 제1 인공지능 모델을 학습시키는 단계를 더 포함할 수 있다.

<수학식 1>

여기서, 상기

는 객체의 명칭에 대한 정답 벡터, 상기

는 상기 객체의 명칭에 대한 예측 벡터, 상기

는 상기 객체의 위치를 가리키는 경계 박스(bounding box)의 정답 벡터 및 상기

는 상기 객체의 위치를 가리키는 경계 박스의 예측 벡터일 수 있다.

다양한 실시예에서, 상기 인공지능 모델을 이용하여 제1 작업 현장 영상을 분석함으로써 상기 제1 작업 현장 영상에 포함된 객체의 상태를 판단하고, 상기 판단된 객체의 상태가 위험 상태일 경우 상기 제1 작업 현장 영상에 포함된 객체에 대한 조치 방법을 포함하는 안내 정보를 제공하는 단계 및 상기 제공된 안내 정보에 대한 응답으로 피드백 정보를 입력받는 단계를 더 포함하며, 상기 인공지능 모델을 학습시키는 단계는, 상기 입력된 피드백 정보를 학습 데이터로 하여 상기 인공지능 모델을 학습시키는 단계를 포함할 수 있다.

다양한 실시예에서, 상기 레이블링하는 단계는, 상기 수집된 작업 현장 영상에 포함된 작업 현장에 대한 정보 및 작업에 대한 정보를 상기 수집된 작업 현장 영상에 레이블링하는 단계를 포함하며, 상기 인공지능 모델을 학습시키는 단계는, 상기 하나 이상의 객체에 대한 정보, 상기 작업 현장에 대한 정보 및 상기 작업에 대한 정보가 레이블링된 작업 현장 영상을 학습 데이터로 하여 상기 인공지능 모델을 학습시키는 단계를 포함할 수 있다.

상술한 과제를 해결하기 위한 본 발명의 다른 실시예에 따른, 작업 현장의 위험성을 판단하는 인공지능 모델의 학습 장치는, 프로세서, 네트워크 인터페이스, 메모리 및 상기 메모리에 로드(load)되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되, 상기 컴퓨터 프로그램은, 작업 현장 영상을 수집하는 인스트럭션(instruction), 상기 수집된 작업 현장 영상에 포함된 하나 이상의 객체에 대한 정보를 상기 수집된 작업 현장 영상에 레이블링하는 인스트럭션 및 상기 하나 이상의 객체에 대한 정보가 레이블링된 작업 현장 영상을 학습 데이터로 하여 인공지능 모델을 학습시키는 인스트럭션을 포함할 수 있다.

상술한 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른, 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터프로그램은, 컴퓨팅 장치와 결합되어, 작업 현장 영상을 수집하는 단계, 상기 수집된 작업 현장 영상에 포함된 하나 이상의 객체에 대한 정보를 상기 수집된 작업 현장 영상에 레이블링하는 단계 및 상기 하나 이상의 객체에 대한 정보가 레이블링된 작업 현장 영상을 학습 데이터로 하여 인공지능 모델을 학습시키는 단계를 실행시키기 위하여 컴퓨터로 판독가능한 기록매체에 저장할 수 있다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 다양한 실시예에 따르면, 작업 현장을 촬영한 영상(예: 동영상, 이미지)를 분석함으로써, 작업자들이 안전기준을 준수하는지 여부에 따라 사고 발생과 같은 위험성을 판단할 수 있는 인공지능 모델을 생성할 수 있고, 이를 통해, 작업자들이 안전기준을 준수하는지 여부를 보다 빠르고 정확하게 판단할 수 있다는 이점이 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 작업 현장의 위험성을 판단하는 인공지능 모델의 학습 시스템을 도시한 도면이다.
도 2는 본 발명의 다른 실시예에 따른 작업 현장의 위험성을 판단하는 인공지능 모델의 학습 장치의 하드웨어 구성도이다.
도 3은 본 발명의 또 다른 실시예에 따른 작업 현장의 위험성을 판단하는 인공지능 모델의 학습 방법의 순서도이다.
도 4는 다양한 실시예에서, 객체에 대한 레이블링을 수행하기 위하여 작업 현장의 위험성을 판단하는 인공지능 모델의 학습 장치가 제공하는 레이블링 사용자 인터페이스(User Interface, UI)를 도시한 도면이다.
도 5는 다양한 실시예서, 인공지능 모델의 학습 대상인 객체의 종류(객체의 명칭), 재해 유형 및 조치 대상에 대한 정보를 예시적으로 나타낸 표이다.
도 6은 다양한 실시예에서, 작업 현장의 위험성을 판단하는 인공지능 모델의 학습 장치가 제공하는, 객체의 종류별 조치 대상 데이터 관리를 위한 분류코드관리 사용자 인터페이스를 도시한 도면이다.
도 7은 다양한 실시예에서, 작업 현장의 위험성을 판단하는 인공지능 모델의 학습 장치가 작업 현장 영상에 객체에 대한 정보를 레이블링한 형태를 예시적으로 도시한 도면이다.
도 8은 다양한 실시예에서, 작업 현장의 위험성을 판단하는 인공지능 모델의 학습 장치가 제공하는, 학습 데이터 관리를 위한 학습데이터관리 사용자 인터페이스를 예시적으로 도시한 도면이다.
도 9는 다양한 실시예에서, 작업 현장의 위험성을 판단하는 인공지능 모델의 학습 장치가 제공하는, 기 저장된 학습 데이터에 대한 상세 정보 출력을 위한 상세정보 사용자 인터페이스를 예시적으로 도시한 도면이다.
도 10은 다양한 실시예에서, 작업 현장의 위험성을 판단하는 인공지능 모델의 학습 장치가 서로 다른 2개의 인공지능 모델을 이용하여 객체의 상태를 판단하는 구성을 도시한 도면이다.
도 11은 다양한 실시예에서, 객체의 상태에 따라 제공된 가이드 정보에 대한 응답으로 수집된 피드백 정보를 이용하여 인공지능 모델을 학습시키는 방법의 순서도이다.
도 12 내지 14는 다양한 실시예에서, 작업 현장의 위험성을 판단하는 인공지능 모델의 학습 장치가 기 학습된 인공지능 모델을 이용하여 작업 현장 영상에서 하나 이상의 객체를 추출한 결과를 도시한 도면이다.
도 15는 다양한 실시예에서, 하나의 작업 현장 영상에서 둘 이상의 객체가 추출될 경우, 각각의 객체에 대한 상태를 개별적으로 판단하는 구성을 도시한 도면이다.
도 16은 다양한 실시예에서, 작업 현장의 위험성을 판단하는 인공지능 모델의 학습 장치가 제공한 가이드 정보를 출력하는 사용자 인터페이스를 예시적으로 도시한 도면이다.
도 17 및 18은 다양한 실시예에서, 작업 현장의 위험성을 판단하는 인공지능 모델의 학습 장치가 제공한 가이드 정보에 대응하는 피드백 정보를 입력받기 위한 사용자 인터페이스를 예시적으로 도시한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.

본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.

또한, 본 명세서에서는 공사 현장과 같은 작업 현장을 촬영한 영상을 분석하여 작업 현장에서 발생 가능한 위험 상황을 인지하고, 이에 대한 조치 방법을 제공하기 위한 인공지능 모델을 생성하는 방법과 이를 이용한 가이드 정보 제공 방법에 대하여 설명하고 있으나, 이는 하나의 예시일 뿐 이에 한정되지 않고, 다양한 분야에 적용될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.

도 1은 본 발명의 일 실시예에 따른 작업 현장의 위험성을 판단하는 인공지능 모델의 학습 시스템을 도시한 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 작업 현장의 위험성을 판단하는 인공지능 모델의 학습 시스템은 인공지능 모델의 학습 장치(100), 작업자 단말(200) 및 외부 서버(300)를 포함할 수 있다.

여기서, 도 1에 도시된 작업 현장의 위험성을 판단하는 인공지능 모델의 학습 시스템은 일 실시예에 따른 것이고, 그 구성 요소가 도 1에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 부가, 변경 또는 삭제될 수 있다.

일 실시예에서, 인공지능 모델의 학습 장치(100)는 작업 현장의 위험성을 판단하는 인공지능 모델을 생성하기 위하여 학습 데이터를 생성하고, 생성된 학습 데이터를 이용하여 인공지능 모델을 학습시킬 수 있다.

여기서, 인공지능 모델(예: 신경망)은 하나 이상의 네트워크 함수로 구성되며, 하나 이상의 네트워크 함수는 일반적으로 ‘노드’라 지칭될 수 있는 상호 연결된 계산 단위들의 집합으로 구성될 수 있다. 이러한 ‘노드’들은 ‘뉴런(neuron)’들로 지칭될 수도 있다. 하나 이상의 네트워크 함수는 적어도 하나 이상의 노드들을 포함하여 구성된다. 하나 이상의 네트워크 함수를 구성하는 노드(또는 뉴런)들은 하나 이상의 ‘링크’에 의해 상호 연결될 수 있다.

인공지능 모델 내에서, 링크를 통해 연결된 하나 이상의 노드들은 상대적으로 입력 노드 및 출력 노드의 관계를 형성할 수 있다. 입력 노드 및 출력 노드의 개념은 상대적인 것으로서, 하나의 노드에 대하여 출력 노드 관계에 있는 임의의 노드는 다른 노드와의 관계에서 입력 노드 관계에 있을 수 있으며, 그 역도 성립할 수 있다. 전술한 바와 같이, 입력 노드 대 출력 노드 관계는 링크를 중심으로 생성될 수 있다. 하나의 입력 노드에 하나 이상의 출력 노드가 링크를 통해 연결될 수 있으며, 그 역도 성립할 수 있다.

하나의 링크를 통해 연결된 입력 노드 및 출력 노드 관계에서, 출력 노드는 입력 노드에 입력된 데이터에 기초하여 그 값이 결정될 수 있다. 여기서 입력 노드와 출력 노드를 상호 연결하는 노드는 가중치(weight)를 가질 수 있다. 가중치는 가변적일 수 있으며, 인공지능 모델이 원하는 기능을 수행하기 위해, 사용자 또는 알고리즘에 의해 가변될 수 있다. 예를 들어, 하나의 출력 노드에 하나 이상의 입력 노드가 각각의 링크에 의해 상호 연결된 경우, 출력 노드는 상기 출력 노드와 연결된 입력 노드들에 입력된 값들 및 각각의 입력 노드들에 대응하는 링크에 설정된 가중치에 기초하여 출력 노드 값을 결정할 수 있다.

전술한 바와 같이, 인공지능 모델은 하나 이상의 노드들이 하나 이상의 링크를 통해 상호연결 되어 인공지능 모델 내에서 입력 노드 및 출력 노드 관계를 형성한다. 인공지능 모델 내에서 노드들과 링크들의 개수 및 노드들과 링크들 사이의 연관관계, 링크들 각각에 부여된 가중치의 값에 따라, 인공지능 모델의 특성이 결정될 수 있다. 예를 들어, 동일한 개수의 노드 및 링크들이 존재하고, 링크들 사이의 가중치 값이 상이한 두 인공지능 모델이 존재하는 경우, 두 개의 인공지능 모델들은 서로 상이한 것으로 인식될 수 있다.

인공지능 모델을 구성하는 노드들 중 일부는, 최초 입력 노드로부터의 거리들에 기초하여, 하나의 레이어(layer)를 구성할 수 있다. 예를 들어, 최초 입력 노드로부터 거리가 n인 노드들의 집합은, n 레이어를 구성할 수 있다. 최초 입력 노드로부터 거리는, 최초 입력 노드로부터 해당 노드까지 도달하기 위해 거쳐야 하는 링크들의 최소 개수에 의해 정의될 수 있다. 그러나, 이러한 레이어의 정의는 설명을 위한 임의적인 것으로서, 인공지능 모델 내에서 레이어의 차수는 전술한 것과 상이한 방법으로 정의될 수 있다. 예를 들어, 노드들의 레이어는 최종 출력 노드로부터 거리에 의해 정의될 수도 있다.

최초 입력 노드는 인공지능 모델 내의 노드들 중 다른 노드들과의 관계에서 링크를 거치지 않고 데이터가 직접 입력되는 하나 이상의 노드들을 의미할 수 있다. 또는, 인공지능 모델 네트워크 내에서, 링크를 기준으로 한 노드 간의 관계에 있어서, 링크로 연결된 다른 입력 노드들 가지지 않는 노드들을 의미할 수 있다. 이와 유사하게, 최종 출력 노드는 인공지능 모델 내의 노드들 중 다른 노드들과의 관계에서, 출력 노드를 가지지 않는 하나 이상의 노드들을 의미할 수 있다. 또한, 히든 노드는 최초 입력 노드 및 최후 출력 노드가 아닌 인공지능 모델을 구성하는 노드들을 의미할 수 있다. 본 개시의 일 실시예에 따른 인공지능 모델은 입력 레이어의 노드가 출력 레이어에 가까운 히든 레이어의 노드보다 많을 수 있으며, 입력 레이어에서 히든 레이어로 진행됨에 따라 노드의 수가 감소하는 형태의 인공지능 모델일 수 있다.

인공지능 모델은 하나 이상의 히든 레이어를 포함할 수 있다. 히든 레이어의 히든 노드는 이전의 레이어의 출력과 주변 히든 노드의 출력을 입력으로 할 수 있다. 각 히든 레이어 별 히든 노드의 수는 동일할 수도 있고 상이할 수도 있다. 입력 레이어의 노드의 수는 입력 데이터의 데이터 필드의 수에 기초하여 결정될 수 있으며 히든 노드의 수와 동일할 수도 있고 상이할 수도 있다. 입력 레이어에 입력된 입력 데이터는 히든 레이어의 히든 노드에 의하여 연산될 수 있고 출력 레이어인 완전 연결 레이어(FCL: fully connected layer)에 의해 출력될 수 있다.

다양한 실시예에서, 인공지능 모델은 딥 뉴럴 네트워크(DNN: deep neural network, 심층신경망)일 수 있다. 딥 뉴럴 네트워크는 입력 레이어와 출력 레이어 외에 복수의 히든 레이어를 포함하는 인공지능 모델을 의미할 수 있다. 딥 뉴럴 네트워크를 이용하면 데이터의 잠재적인 구조(latent structures)를 파악할 수 있다. 즉, 사진, 글, 비디오, 음성, 음악의 잠재적인 구조(예를 들어, 어떤 물체가 사진에 있는지, 글의 내용과 감정이 무엇인지, 음성의 내용과 감정이 무엇인지 등)를 파악할 수 있다. 딥 뉴럴 네트워크는 컨벌루셔널 뉴럴 네트워크(CNN: convolutional neural network), 리커런트 뉴럴 네트워크(RNN: recurrent neural network), 오토 인코더(auto encoder), GAN(Generative Adversarial Networks), 제한 볼츠만 머신(RBM: restricted boltzmann machine), 심층 신뢰 네트워크(DBN: deep belief network), Q 네트워크, U 네트워크, 샴 네트워크 등을 포함할 수 있다. 전술한 딥 뉴럴 네트워크의 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않는다.

다양한 실시예에서, 네트워크 함수는 오토 인코더를 포함할 수도 있다. 오토 인코더는 입력 데이터와 유사한 출력 데이터를 출력하기 위한 인공 신경망의 일종일 수 있다. 오토 인코더는 적어도 하나의 히든 레이어를 포함할 수 있으며, 홀수 개의 히든 레이어가 입출력 레이어 사이에 배치될 수 있다. 각각의 레이어의 노드의 수는 입력 레이어의 노드의 수에서 병목 레이어(인코딩)라는 중간 레이어로 축소되었다가, 병목 레이어에서 출력 레이어(입력 레이어와 대칭)로 축소와 대칭되어 확장될 수도 있다. 차원 감소 레이어와 차원 복원 레이어의 노드는 대칭일 수도 있고 아닐 수도 있다.

오토 인코더는 비선형 차원 감소를 수행할 수 있다. 입력 레이어 및 출력 레이어의 수는 입력 데이터의 전처리 이후에 남은 센서들의 수와 대응될 수 있다. 오토 인코더 구조에서 인코더에 포함된 히든 레이어의 노드의 수는 입력 레이어에서 멀어질수록 감소하는 구조를 가질 수 있다. 병목 레이어(인코더와 디코더 사이에 위치하는 가장 적은 노드를 가진 레이어)의 노드의 수는 너무 작은 경우 충분한 양의 정보가 전달되지 않을 수 있으므로, 특정 수 이상(예를 들어, 입력 레이어의 절반 이상 등)으로 유지될 수도 있다.

다양한 실시예에서, 인공지능 모델의 학습 장치(100)는 작업 현장 영상에 포함된 하나 이상의 객체 각각에 객체에 대한 정보를 레이블링함으로써, 인공지능 모델을 지도학습(supervised learning)(교사 학습)시키기 위한 학습 데이터를 생성할 수 있다. 그러나, 이에 한정되지 않고, 인공지능 모델의 학습 장치(100)는 비교사 학습(unsupervised learning) 및 반교사학습(semi supervised learning)으로 인공지능 모델을 학습시킬 수 있다.

여기서, 지도학습은 통상적으로 특정 데이터와 특정 데이터에 연관된 정보를 레이블링하여 학습 데이터를 생성하고, 이를 이용하여 학습시키는 방법으로써, 인과 관계를 가진 두 데이터를 레이블링하여 학습 데이터를 생성하고, 생성된 학습 데이터를 통해 학습하는 방법을 의미한다.

보다 구체적으로, 인공지능 모델의 학습 장치(100)는 레이블링된 학습 데이터를 이용하여 인공지능 모델을 구성하는 하나 이상의 네트워크 함수에 대한 학습을 수행할 수 있다. 예를 들어, 인공지능 모델의 학습 장치(100)는 학습 입력 데이터 각각을 하나 이상의 네트워크 함수에 입력시키고, 하나 이상의 네트워크 함수로 연산된 출력 데이터 각각과 학습 입력 데이터 각각의 레이블에 해당하는 학습 출력 데이터 각각을 비교하여 오차를 도출할 수 있다. 즉, 인공지능 모델의 학습에서 학습 입력 데이터는 하나 이상의 네트워크 함수의 입력 레이어에 입력될 수 있으며, 학습 출력 데이터는 하나 이상의 네트워크 함수의 출력과 비교될 수 있다.

인공지능 모델의 학습 장치(100)는 학습 입력 데이터에 대한 하나 이상의 네트워크 함수의 연산 결과와 학습 출력 데이터(레이블)의 오차에 기초하여 인공지능 모델을 학습시킬 수 있다.

또한, 인공지능 모델의 학습 장치(100)는 오차에 기초하여 하나 이상의 네트워크 함수의 가중치를 역전파 방식으로 조정할 수 있다. 즉, 인공지능 모델의 학습 장치(100)는 학습 입력 데이터에 대한 하나 이상의 네트워크 함수의 연산 결과와 학습 출력 데이터의 오차에 기초하여 하나 이상의 네트워크 함수의 출력이 학습 출력 데이터에 가까워지도록 가중치를 조정할 수 있다.

인공지능 모델의 학습 장치(100)는 하나 이상의 네트워크 함수의 학습이 사전 결정된 에폭 이상 수행된 경우, 검증 데이터를 이용하여 학습의 중단 여부를 결정할 수 있다. 사전 결정된 에폭은 전체 학습 목표 에폭의 일부일 수 있다.

검증 데이터는 레이블링된 학습 데이터 중 적어도 일부로 구성될 수 있다. 즉, 인공지능 모델의 학습 장치(100)는 학습 데이터를 통해 인공지능 모델의 학습을 수행하며, 인공지능 모델의 학습이 사전결정된 에폭 이상 반복된 후, 검증 데이터를 이용하여 인공지능 모델의 학습 효과가 사전 결정된 수준 이상인지 여부를 판단할 수 있다. 예를 들어, 인공지능 모델의 학습 장치(100)는 100개의 학습 데이터를 이용하여 목표 반복 학습 횟수가 10회인 학습을 수행하는 경우, 사전결정된 에폭인 10회의 반복 학습을 수행한 후, 10개의 검증 데이터를 이용하여 3회의 반복 학습을 수행하여, 3회의 반복 학습 동안 인공지능 모델 출력의 변화가 사전결정된 수준 이하인 경우 더 이상의 학습이 무의미한 것으로 판단하고 학습을 종료할 수 있다.

즉, 검증 데이터는 인공지능 모델의 반복 학습에서 에폭별 학습의 효과가 일정 이상인지 이하인지 여부에 기초하여 학습의 완료를 결정하는 데 이용될 수 있다. 전술한 학습 데이터, 검증 데이터의 수 및 반복 횟수는 예시일 뿐이며 본 개시는 이에 제한되지 않는다.

인공지능 모델의 학습 장치(100)는 테스트 데이터를 이용하여 하나 이상의 네트워크 함수의 성능을 테스트하여 하나 이상의 네트워크 함수의 활성화 여부를 결정함으로써, 인공지능 모델을 생성할 수 있다. 테스트 데이터는 인공지능 모델의 성능을 검증하기 위하여 사용될 수 있으며, 학습 데이터 중 적어도 일부로 구성될 수 있다. 예를 들어, 학습 데이터 중 70%는 인공지능 모델의 학습(즉, 레이블과 비슷한 결과값을 출력하도록 가중치를 조정하기 위한 학습)을 위해 활용될 수 있으며, 30%는 인공지능 모델의 성능을 검증하기 위한 테스트 데이터로써 활용될 수 있다. 인공지능 모델의 학습 장치(100)는 학습이 완료된 인공지능 모델에 테스트 데이터를 입력하고 오차를 측정하여 사전 결정된 성능 이상인지 여부에 따라 인공지능 모델의 활성화 여부를 결정할 수 있다.

인공지능 모델의 학습 장치(100)는 학습이 완료된 인공지능 모델에 테스트 데이터를 이용하여 학습 완료된 인공지능 모델의 성능을 검증하고 학습 완료된 인공지능 모델의 성능이 사전에 결정된 기준 이상인 경우 해당 인공지능 모델을 다른 어플리케이션에서 사용하도록 활성화할 수 있다.

또한, 인공지능 모델의 학습 장치(100)는 학습 완료된 인공지능 모델의 성능이 사전에 결정된 기준 이하인 경우 해당 인공지능 모델을 비활성화하여 폐기할 수 있다. 예를 들어, 인공지능 모델의 학습 장치(100)는 정확도(accuracy), 정밀도(precision), 재현율(recall) 등의 요소를 기준으로 하여 생성된 인공지능 모델 모델의 성능을 판단할 수 있다. 전술한 성능 평가 기준은 예시일 뿐이며 본 개시는 이에 제한되지 않는다. 본 개시의 일 실시예에 따라 인공지능 모델의 학습 장치(100)는 각각의 인공지능 모델을 독립적으로 학습시켜 복수의 인공지능 모델 모델을 생성할 수 있으며, 성능을 평가하여 일정 성능 이상의 인공지능 모델만을 사용할 수 있다.

다양한 실시예에서, 인공지능 모델의 학습 장치(100)는 인공지능 모델을 학습시키기 위한 학습 데이터를 생성하는 애플리케이션을 제공할 수 있다.

다양한 실시예에서, 인공지능 모델의 학습 장치(100)는 인공지능 모델을 이용하여 작업 현장 영상을 분석함으로써, 작업 현장 영상에 포함된 객체의 상태를 판단하고, 판단된 객체의 상태에 따라 가이드 정보를 제공하는 안전기준에 따른 가이드 제공 서비스를 제공할 수 있다. 그러나, 이에 한정되지 않고, 안전기준에 따른 가이드 제공 서비스를 제공하는 서버와 연결될 수 있다.

다양한 실시예에서, 인공지능 모델의 학습 장치(100)는 작업 현장에 설치된 복수의 카메라 모듈을 통해 수집된 복수의 작업 현장 영상을 실시간으로 모니터링하는 모니터링 서버와 연결될 수 있고, 안전기준에 따른 가이드 제공 서비스에 따라 특정 작업 현장 영상에 포함된 객체의 상태가 위험 상태인 것으로 판단되는 경우, 해당 정보를 모니터링 서버로 제공하여 모니터링 서버가 출력하는 사용자 인터페이스(예: 복수의 작업 현장 영상을 출력하는 사용자 인터페이스) 상에 출력(예: 팝업)되도록 할 수 있다.

일 실시예에서, 작업자 단말(200)은 네트워크(400)를 통해 인공지능 모델의 학습 장치(100)와 연결될 수 있고, 인공지능 모델의 학습 장치(100)로부터 사용자 인터페이스(User Interface, UI)(예: 도 4, 6, 8, 9, 15, 16, 17, 18)를 제공받을 수 있으며, UI를 통해 인공지능 모델의 학습 프로세스와 관련된 동작(예: 학습 데이터 생성 및 관리, 피드백 정보 입력 등)을 수행할 수 있다.

여기서, 네트워크(400)는 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

다양한 실시예에서, 작업자 단말(200)은 작업자 단말(200)의 적어도 일부분에 디스플레이를 구비하며, 인공지능 모델의 학습 장치(100)가 제공하는 애플리케이션의 구동이 가능한 운영체제를 포함하는 스마트폰(Smart Phone)일 수 있으며, 인공지능 모델의 학습 장치(100)로부터 제공되는 애플리케이션을 다운로드, 설치 및 실행함에 따라 인공지능 모델의 학습 데이터를 생성하는 각종 기능을 수행할 수 있다. 그러나, 이에 한정되지 않고, 작업자 단말(200)은 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트 패드(Smartpad), 타블렛PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

일 실시예에서, 외부 서버(300)는 네트워크(400)를 통해 인공지능 모델의 학습 장치(100)와 연결될 수 있고, 인공지능 모델의 학습 장치(100)가 작업 현장의 위험성을 판단하는 인공지능 모델의 학습 프로세스를 수행하기 위해 필요한 각종 정보/데이터(예: 학습 데이터)를 저장 및 관리하거나 인공지능 모델의 학습 프로세스를 수행함에 따라 생성되는 각종 정보/데이터를 인공지능 모델의 학습 장치(100)로부터 제공받아 저장할 수 있다. 예를 들어, 외부 서버(300)는 인공지능 모델의 학습 장치(100) 외부에 별도로 구비되는 저장 서버일 수 있다.

여기서, 도 1에 도시된 작업 현장의 위험성을 판단하는 인공지능 모델의 학습 시스템에서는 각종 정보/데이터를 저장하는 저장 서버가 인공지능 모델의 학습 장치(100) 외부에 별도로 구비되는 것으로 도시되어 있으나, 이는 하나의 예시일 뿐 이에 한정되지 않고, 저장 서버는 인공지능 모델의 학습 장치(100) 내에 구비될 수 있다. 이하, 도 2를 참조하여 인공지능 모델의 학습 장치(100)의 하드웨어 구성에 대해 설명하도록 한다.

도 2는 본 발명의 다른 실시예에 따른 작업 현장의 위험성을 판단하는 인공지능 모델의 학습 장치의 하드웨어 구성도이다.

도 2를 참조하면, 본 발명의 다른 실시예에 따른 인공지능 모델의 학습 장치(100)(이하, “컴퓨팅 장치(100)”)는 하나 이상의 프로세서(110), 프로세서(110)에 의하여 수행되는 컴퓨터 프로그램(151)을 로드(Load)하는 메모리(120), 버스(130), 통신 인터페이스(140) 및 컴퓨터 프로그램(151)을 저장하는 스토리지(150)를 포함할 수 있다. 여기서, 도 2에는 본 발명의 실시예와 관련 있는 구성요소들만 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 2에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.

프로세서(110)는 컴퓨팅 장치(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(110)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다.

또한, 프로세서(110)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있으며, 컴퓨팅 장치(100)는 하나 이상의 프로세서를 구비할 수 있다.

다양한 실시예에서, 프로세서(110)는 프로세서(110) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(110)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.

메모리(120)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(120)는 본 발명의 다양한 실시예에 따른 방법/동작을 실행하기 위하여 스토리지(150)로부터 컴퓨터 프로그램(151)을 로드할 수 있다. 메모리(120)에 컴퓨터 프로그램(151)이 로드되면, 프로세서(110)는 컴퓨터 프로그램(151)을 구성하는 하나 이상의 인스트럭션들을 실행함으로써 상기 방법/동작을 수행할 수 있다. 메모리(120)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 개시의 기술적 범위가 이에 한정되는 것은 아니다.

버스(130)는 컴퓨팅 장치(100)의 구성 요소 간 통신 기능을 제공한다. 버스(130)는 주소 버스(address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.

통신 인터페이스(140)는 컴퓨팅 장치(100)의 유무선 인터넷 통신을 지원한다. 또한, 통신 인터페이스(140)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(140)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다. 몇몇 실시예에서, 통신 인터페이스(140)는 생략될 수도 있다.

스토리지(150)는 컴퓨터 프로그램(151)을 비 임시적으로 저장할 수 있다. 컴퓨팅 장치(100)를 통해 인공지능 모델의 학습 프로세스를 수행하는 경우, 스토리지(150)는 인공지능 모델의 학습 프로세스를 수행하기 위하여 필요한 각종 정보(예: 학습 데이터 등)를 저장할 수 있다.

스토리지(150)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.

컴퓨터 프로그램(151)은 메모리(120)에 로드될 때 프로세서(110)로 하여금 본 발명의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 하나 이상의 인스트럭션들을 포함할 수 있다. 즉, 프로세서(110)는 상기 하나 이상의 인스트럭션들을 실행함으로써, 본 발명의 다양한 실시예에 따른 상기 방법/동작을 수행할 수 있다.

일 실시예에서, 컴퓨터 프로그램(151)은 작업 현장 영상을 수집하는 단계, 수집된 작업 현장 영상에 포함된 하나 이상의 객체에 대한 정보를 수집된 작업 현장 영상에 레이블링하는 단계 및 하나 이상의 객체에 대한 정보가 레이블링된 작업 현장 영상을 학습 데이터로 하여 인공지능 모델을 학습시키는 단계를 포함하는 작업 현장의 위험성을 판단하는 인공지능 모델의 학습 방법을 수행하도록 하는 하나 이상의 인스트럭션을 포함할 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 이하, 도 3 내지 18을 참조하여, 컴퓨팅 장치(100)가 수행하는 작업 현장의 위험성을 판단하는 인공지능 모델의 학습 방법에 대해 설명하도록 한다.

도 3은 본 발명의 또 다른 실시예에 따른 작업 현장의 위험성을 판단하는 인공지능 모델의 학습 방법의 순서도이다.

도 3을 참조하면, S110 단계에서, 컴퓨팅 장치(100)는 인공지능 모델의 학습 데이터를 생성하기 위한 작업 현장 영상을 수집할 수 있다.

여기서, 수집되는 작업 현장 영상은 이미지일 수 있으나, 이에 한정되지 않고, 동영상 형태의 작업 현장 영상을 수집하여 기 설정된 단위 시간마다 작업 현장 영상을 캡쳐(Capture)함으로써 복수의 캡쳐 이미지를 생성할 수 있고, 경우에 따라 동영상 형태의 작업 현장 영상 자체를 학습 데이터로써 사용할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 작업자 단말(200)과 연결되어, 작업자 단말(200) 내에 구비된 카메라 모듈 또는 작업자 단말(200)과 연결된 외부의 카메라 모듈을 통해 작업 현장을 촬영함으로써 생성된 작업 현장 영상 또는 작업자 단말(200)에 기 저장된 작업 현장 영상을 수집할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 외부 서버(300)(예: 외부의 영상 저장 서버)와 연결될 수 있고, 외부 서버(300)로부터 작업과 관련된 복수의 영상 또는 작업 현장과 관련된 영상(예: 작업자 또는 작업 도구를 포함하거나, 작업자가 작업 도구를 사용하고 있는 모습을 포함하는 영상)을 수집할 수 있다. 그러나, 이에 한정되지 않고, 학습 데이터를 생성하기 위한 작업 현장 영상을 수집하는 어떤 방법이든 적용될 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 상기의 방법 중 어느 하나의 방법을 이용하여 수집된 작업 현장 영상을 가공하여 복수의 작업 현장 영상을 생성할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 작업자 단말(200)로부터 수집된 하나의 작업 현장 영상의 속성(예: 크기, 해상도, 화질 등)을 변경하여 복수의 작업 현장 영상을 생성하거나, 하나의 작업 현장 영상을 N개의 단위 영상으로 분할함으로써, 복수의 작업 현장 영상을 생성할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 이미지 증폭 기법(Augmentation)을 이용하여 작업 현장 영상의 인식률이 저조할 경우, 작업 현장 영상을 보충할 수 있다.

S120 단계에서, 컴퓨팅 장치(100)는 S110 단계를 거쳐 수집된 작업 현장 영상에 포함된 하나 이상의 객체에 대한 정보를 작업 현장 영상에 레이블링(Labeling)함으로써 학습 데이터를 생성할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 작업자 단말(200)로 UI를 제공할 수 있고, UI를 통해 객체에 대한 정보를 입력받아 레이블링을 수행할 수 있다. 이하, 도 4 내지 9를 참조하여 설명하도록 한다.

도 4는 다양한 실시예에서, 객체에 대한 레이블링을 수행하기 위하여 작업 현장의 위험성을 판단하는 인공지능 모델의 학습 장치가 제공하는 레이블링 사용자 인터페이스(User Interface, UI)를 도시한 도면이다.

도 4를 참조하면, 먼저, 컴퓨팅 장치(100)는 작업자 단말(200)로 학습 데이터 생성을 위한 레이블링 UI(10)를 제공할 수 있다.

여기서, 레이블링 UI(10)는 학습 데이터 생성을 위해 수집한 작업 현장 영상(예: 도 3의 S110 단계에서 수집한 작업 현장 영상)을 출력하는 작업 현장 영상 출력 영역(11)과 작업 현장 영상에 포함된 객체에 대한 정보를 입력하기 위한 정보 입력 영역(12)을 포함할 수 있다.

일 실시 예에서, 작업 현장 영상에 포함된 객체가 선택 및 인식되는 경우, 정보 입력 영역(12)에는 선택 및 인식된 객체와 연관된 위험상황 정보들이 제공되어, 사용자로 하여금 제공된 위험상황 정보들 중 적어도 하나를 선택하여 입력하도록 구성될 수 있다.

이후, 컴퓨팅 장치(100)는 레이블링 UI(10)를 통해 출력되는 작업 현장 영상으로부터 객체를 추출할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 레이블링 UI(10)를 통해 작업 현장 영상을 출력할 수 있고, 작업자로부터 작업 현장 영상에 포함된 객체에 위치를 가리키는 사용자 입력을 작업 현장 영상 상에 입력받을 수 있으며, 입력된 사용자 입력에 기초하여 작업 현장 영상에 포함된 하나 이상의 객체를 추출할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 작업자로부터 작업 현장 영상에 포함된 객체의 위치를 가리키는 경계 박스(Bounding box)를 입력받을 수 있고, 경계 박스에 대응되는 영역을 객체로서 추출할 수 있다. 그러나, 이에 한정되지 않고, 컴퓨팅 장치(100)는 작업자로부터 복수의 포인트를 입력받을 수 있고, 복수의 포인트를 연결(예: 입력받은 순서대로 연결 또는 상호 인접한 포인트들끼리 연결)함으로써 생성된 영역을 객체로서 추출할 수 있다.

개시된 실시 예에서, 작업현장에는 사람, 사다리, 공사장비 등과 같은 정형 데이터로 인식될 수 있는 객체 외에도, 난간이나 개구부 등 비정형 데이터에 해당하는 객체들도 다수 존재한다. 이러한 비정형 데이터들은 기존의 정형 데이터 인식을 기반으로 하는 인공지능 모델들의 객체탐지 기법으로는 인식이 어려울 수 있다. 특히, 기존에는 경계박스에 기반하여 정형 데이터에 해당하는 객체를 레이블링하고 이를 학습하여 인식하는 방식이 일반적이었으나, 이러한 형태로는 비정형 데이터를 레이블링하는 데 한계가 있다. 이에 경계 박스 대신 복수의 포인트를 입력하여, 다양한 비정형 데이터들을 레이블링하고 학습하도록 할 수 있다.

일 실시 예에서, 컴퓨팅 장치(100)는 작업자로부터 복수의 포인트를 입력받되, 복수의 포인트는 객체의 경계선을 따라 입력될 수 있다. 복수의 포인트는 반드시 객체의 경계선을 정확히 표현하여야 하는 것은 아니며, 직사각형으로 한정되는 경계 박스의 한계를 극복하되, 작업의 효율성을 담보할 수 있는 다양한 도형을 그려 객체의 경계선을 조금 더 정확히 표현할 수 있도록 선택될 수 있다.

단, 각각의 객체에 있어서 안전기준 위반여부, 즉 위험성 존재여부를 판단하는 데 필요한 부분의 경우 조금 더 세밀하게 표현되는 것이 바람직할 수 있다. 예를 들어, 사다리를 레이블링하는 경우 단순히 삼각형 혹은 사다리꼴 형태로 레이블링하는 것도 가능할 것이나, 사다리의 다리 부분을 조금 더 상세하게 레이블링하도록 하여(예: A모양으로) 안전기준 판단에 도움이 되도록 할 수 있다. 다른 예로, 작업자를 레이블링할 때에는 작업자의 헬맷 부분을 더 상세하게 레이블링하도록 할 수 있다.

이를 위하여, 컴퓨팅 장치(100)는 레이블링 화면에서 작업자를 위한 레이블링 가이드를 제공할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 화면에 인식된 객체가 사다리인 것으로 판단되는 경우, 다리 부분에 조금 더 구체적으로 포인트를 입력하도록 하는 안내문을 제공할 수 있다. 또한, 사다리와 관련하여 발생할 수 있는 위험상황에 대한 설명을 함께 제공하며, 위험상황에 해당하는 부분을 더 상세하게 입력하도록 하는 안내문을 제공할 수 있다.

일 실시 예에서, 컴퓨팅 장치(100)는 레이블링이 완료되는 경우 레이블링된 객체에 대한 객체인식 및 위험상황 인식을 시도할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 개시된 실시 예에 따라 학습된 모델을 이용하여 레이블링된 객체가 무엇인지, 그리고 해당 객체의 위험상황 여부 및 위험상황의 종류를 판단할 수 있다. 이 경우, 객체의 인식 혹은 위험상황 인식의 정확도가 기 설정된 기준값 이하인 경우, 작업자에게 다시 레이블링할 것을 요청할 수 있다.

일 실시 예에서, 컴퓨팅 장치(100)는 레이블링 결과에 대한 증강(augmentation)을 수행할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 레이블링을 통해 획득된 경계 박스 혹은 폴리곤의 좌표 정보를 조정함으로써 복수의 레이블링 결과를 획득할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 경계 박스의 위치나 크기를 조금씩 조정하여 복수의 경계 박스를 획득할 수 있고, 이를 통해 하나의 레이블링된 데이터를 복수의 레이블링된 데이터로 증강할 수 있게 된다. 이를 통해, 학습 데이터의 편향성을 극복할 수 있고, 이를 통해 학습된 모델의 인식률을 높일 수 있다.

또한, 레이블링된 객체를 크롭하여 학습 데이터로 사용하는 경우, 또는 영상으로부터 객체를 인식하여 추출하는 경우, 기 설정된 조건(예: 입력 데이터의 조건)에 따라 자동으로 강제 리사이징을 수행할 수 있다. 이 경우 객체의 상하좌우 비율(ratio)이 깨지는 현상이 발생할 수 있는데, 이를 방지하기 위해 크롭된 이미지의 비율을 유지하며 리사이징하되, 이후 부족한 영역은 zero padding을 이용하여 보완할 수 있으나, 이에 제한되는 것은 아니다.

다양한 실시예에서, 컴퓨팅 장치(100)는 기 학습된 이미지 분석 모델을 이용하여 작업 현장 영상을 분석함으로써, 작업 현장 영상에 포함된 하나 이상의 객체를 자동으로 추출할 수 있다. 여기서, 기 학습된 이미지 분석 모델은 작업 현장 영상으로부터 객체를 추출하기 위하여, 복수의 작업 현장 이미지 각각에 객체의 위치가 레이블링된 학습 데이터를 이용하여 학습된 모델일 수 있으나 이에 한정되지 않고, 컴퓨팅 장치(100)가 학습시키고자 하는 인공지능 모델일 수 있다.

이때, 컴퓨팅 장치(100)에 의해 하나 이상의 객체가 자동으로 추출될 경우, 추출된 하나 이상의 객체를 표시하여 레이블링 UI(10)를 통해 출력할 수 있다. 또한, 컴퓨팅 장치(100)는 작업자에게 추출된 하나 이상의 객체의 위치에 대한 수정 권한을 부여하여, 자동적으로 추출된 하나 이상의 객체의 위치를 작업자가 수정하도록 함으로써 보다 정확하게 객체를 추출할 수 있다. 그러나, 이에 한정되지 않는다.

이후, 컴퓨팅 장치(100)는 추출된 하나 이상의 객체에 대한 정보를 입력받을 수 있다. 예를 들어, 컴퓨팅 장치(100)는 레이블링 UI(10)의 정보 입력 영역(12)을 통해 추출된 하나 이상의 객체에 대한 명칭, 속성 정보 및 안전도를 입력받을 수 있다.

여기서, 도 5를 참조하면, 인공지능 모델의 학습 대상인 객체는 이동식틀비계(B/T), 비계, 사다리(A형, 일자형), 안전시설물, 계단, 개구부, 이동식크레인, 중장비, 고소작업대, 위험물, 용접기, 고속절단기, 보호구, 굴삭기, 콘(Cone), 소화기 및 불티방지막을 포함할 수 있으나, 이에 한정되지 않고, 객체는 작업 현장 내에서 작업을 수행하는 작업자일 수 있다.

또한, 인공지능 모델의 학습 대상인 속성 정보는, 객체를 사용함에 따라 발생될 수 있는 사고(재해 유형)(예: 추락, 전도, 협착, 화재, 낙하, 감전 등)를 방지하기 위한 조치 대상의 사용(적용) 유무, 사용(적용) 형태를 의미할 수 있다. 예를 들어, 객체가 A형 사다리일 경우, 조치 대상은 아웃트리거일 수 있으며, 객체에 대한 속성 정보는 아웃트리거의 사용 여부와 사용 형태(예: 펼쳐져 있는지 여부 등)일 수 있다. 또한, 객체가 A형 사다리일 경우, 조치 대상은 2인1조 작업일 수 있으며, 객체에 대한 속성 정보는 두명의 작업자가 하나의 팀으로서 함께 작업하고 있는지 여부일 수 있다. 그러나, 이에 한정되지 않는다.

또한, 인공지능 모델의 학습 대상인 안전도는 안전기준의 위반 여부에 따라 결정되는 것이며, 도 4에 도시된 바와 같이 안전(GOOD)과 위험(BAD)을 포함할 수 있다. 여기서, 안전도는 안전기준의 위반 여부에 따라 작업자가 직접 결정하는 것일 수 있으나, 이에 한정되지 않고, 컴퓨팅 장치(100)가 객체의 명칭과 속성 정보를 입력받고, 입력된 명칭과 속성 정보를 이용하여 안전기준을 준수하는지 또는 위반하였는지를 판단함으로써 자동적으로 안전도를 설정할 수 있다.

또한, 컴퓨팅 장치(100)는 외부로부터 수집된 각종 데이터를 분석하여 작업자가 직접 설정한 안전도를 조정할 수 있다. 예를 들어, 작업 현장 영상에 포함된 특정 객체가 안전기준을 준수한 것으로 판단되어 작업자로부터 "안전(GOOD)"을 입력 받았으나, 외부로부터 수집된 복수의 사고 데이터를 분석하여 해당 객체에 대응하는 작업과 관련된 사고 발생 횟수가 기 설정된 값을 초과할 경우, 해당 객체에 대한 안전도를 "위험(BAD)"로 조정할 수 있다.

실제로, 작업 현장에는 비교적 간단한 작업들도 있으나 중장비를 다루거나 다소 위험한 물질을 다루는 작업들도 많다. 이러한 작업들을 수행함에 있어서 사고가 발생되지 않도록 안전기준을 확실하게 준수해야 하나, 이러한 작업들은 안전기준을 준수했다 하더라도 사고가 발생될 가능성이 있고, 사고가 발생했을 경우에 그 피해가 상당히 크기 때문에 각별한 주의가 필요하다. 따라서, 컴퓨팅 장치(100)는 이와 같이 안전기준을 준수할 뿐만 아니라 각별한 주의가 필요한 작업들에 대해서는 안전을 더욱 신경쓸 수 있도록, 안전기준을 준수함에 따라 안전한 것으로 판단되더라도 해당 객체에 대한 안전도를 "위험(BAD)"로 조정하여 설정할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 하나의 작업 현장 영상 내에 둘 이상의 객체가 포함된 경우, 정보 입력 영역(12)을 통해 둘 이상의 객체 각각에 대한 정보를 개별적으로 입력받을 수 있다. 예를 들어, 컴퓨팅 장치(100)는 하나의 객체에 대하여 둘 이상의 속성 정보가 있을 경우, 둘 이상의 속성 정보를 개별적으로 입력받을 수 있고, 하나의 작업 현장 영상 내에 둘 이상의 객체가 포함될 경우, 둘 이상의 객체에 대해서도 개별적으로 정보를 입력받을 수 있다.

이후, 컴퓨팅 장치(100)는 작업 현장 영상에 포함된 하나 이상의 객체 각각에 작업자로부터 입력된 객체에 대한 정보(예: 명칭, 속성 정보 및 안전도)를 레이블링 할 수 있다.

여기서, 컴퓨팅 장치(100)는 작업자로부터 사전에 설정된 객체의 종류별 조치 대상 데이터에 기초하여, 작업 현장 영상에 포함된 하나 이상의 객체 각각에 작업자로부터 입력된 객체에 대한 정보(예: 명칭, 속성 정보 및 안전도)를 레이블링할 수 있다.

예를 들어, 컴퓨팅 장치(100)는 작업 현장 영상에 객체에 대한 정보를 레이블링 하기에 앞서, 객체의 종류별 조치 대상 데이터 관리를 위한 분류코드관리 UI(20)(예: 도 6)를 작업자 단말(200)로 제공할 수 있고, 분류코드관리 UI(20)를 통해 객체의 명칭과 해당 명칭에 대한 코드, 해당 객체에 대한 조치 대상, 및 조치 대상에 대한 코드를 입력받을 수 있으며, 입력받은 데이터에 따라 "객체의 명칭 - 명칭 코드 - 조치 대상 - 조치 대상 코드"를 맵핑하여 저장할 수 있다.

여기서, 컴퓨팅 장치(100)는 분류코드관리 UI(20)를 통해 각각의 객체에 대한 인공지능 모델 인식 대상 여부를 설정받을 수 있고, "대상"으로 설정된 객체에 대해서만 객체 추출 및 레이블링을 수행할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 도 7에 도시된 바와 같이 작업 현장 영상에 포함된 복수의 객체 각각에 대하여 개별적인 레이블링을 수행할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 제1 객체가 작업자이고, 제1 객체에 대한 속성 정보가 보호구를 착용하지 않음이며, 제1 객체에 대한 안전도가 위험인 경우, 제1 객체에 대하여 "보호구_안전모_안전도위험" 형태 즉, 분류코드관리 UI(20)를 통해 설정된 객체의 종류별 조치 대상 데이터에 따라 "PSN_SFH_X" 형태로 코드화하여 레이블링을 수행할 수 있다.

이때, 컴퓨팅 장치(100)는 하나의 객체에 대한 레이블링 정보(속성 정보 및 안정도)가 복수일 경우, 하나의 객체에 대하여 복수의 레이블 정보를 각각 개별적으로 레이블링하지 않고, 하나의 레이블로 통합하여 레이블링을 수행할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 레이블링 하고자하는 객체가 A형 사다리이고, 객체에 대한 속성 정보가 아웃트리거를 펼침과 2인1조 작업이며, 각각의 속성 정보에 따른 안전도가 모두 "안전(GOOD)"인 경우, 2개의 속성 정보를 개별적으로 레이블링하지 않고, 해당 객체에 대하여 "사다리(A형)_아웃트리거 펼침_O_2인1조작업_O(LD_OTG_O_PWK_O)"와 같이 하나의 레이블로 통합하여 레이블링을 수행할 수 있다. 그러나, 이에 한정되지 않는다.

다양한 실시예에서, 컴퓨팅 장치(100)는 상기의 방법을 이용하여 생성된 학습 데이터(예: 하나 이상의 객체 각각에 대하여 객체에 대한 정보가 레이블링된 작업 현장 영상)를 저장할 수 있고, 작업자에게 기 저장된 학습 데이터에 대한 정보를 제공하여 작업자가 기 저장된 학습 데이터를 확인 및 관리(예: 추가, 수정 및 삭제)하도록 할 수 있다.

예를 들어, 컴퓨팅 장치(100)는 학습 데이터 관리를 위한 학습데이터관리 UI(30)(예: 도 8)를 제공할 수 있고, 학습데이터관리 UI(30)를 통해 기 저장된 복수의 학습 데이터를 포함하는 학습 데이터 리스트를 제공할 수 있다.

이후, 컴퓨팅 장치(100)는 학습 데이터 리스트에 포함된 복수의 학습 데이터 중 어느 하나의 학습 데이터를 선택하는 사용자 입력(예: 특정 학습 데이터 클릭)을 얻는 경우, 사용자 입력에 대응되는 학습 데이터에 대한 보다 상세한 정보를 제공하는 상세정보 UI(31)(예: 도 9)를 제공할 수 있고, 상세정보 UI(31)를 통해 작업자로부터 선택된 학습 데이터에 대한 상세 정보(예: 작업 현장 영상, 작업 현장 영상의 고유번호, 등록타입, 객체의 명칭, 조치대상, 조치 대상의 상태, 파일 경로, 파일명, 작업 현장 영상의 속성(예: 가로, 세로 크기), 작업 현장 영상에 포함된 객체의 위치(예: 위치 좌표) 및 등록 일시 중 적어도 하나를 포함)를 출력할 수 있다.

이후, 컴퓨팅 장치(100)는 작업자에게 학습 데이터에 대한 수정 및 삭제 권한을 부여하여, 상세정보 UI(31)를 통해 작업자로부터 얻은 요청에 따라 기 저장된 학습 데이터에 대한 상세 정보를 수정(일부 내용 추가 또는 변경)하거나, 학습 데이터에 대한 상세 정보를 삭제(또는 학습 데이터 자체를 삭제)할 수 있다. 여기서, 컴퓨팅 장치(100)는 작업 현장을 관리하는 작업 관리자에게만 수정 및 삭제 권한을 부여할 수 있으나, 이에 한정되지 않는다.

다시, 도 3을 참조하면, 다양한 실시예에서, 컴퓨팅 장치(100)는 작업 현장 영상에 포함된 작업 현장에 대한 정보 및 작업에 대한 정보를 작업 현장 영상에 레이블링할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 작업 현장 영상에 작업의 종류에 대한 정보를 포함하는 작업에 대한 정보와 작업 현장에서 수행되는 작업의 종류, 작업 현장의 크기, 시간 등을 포함하는 작업 현장에 대한 정보를 작업자로부터 직접 입력받거나 작업 현장 영상으로부터 추출하여 작업 현장 영상에 레이블링할 수 있다.

추후, 이러한 정보를 레이블링한 작업 현장 영상을 학습한 인공지능 모델이 작업 현장 영상을 분석하여 모범사례 이미지를 제공함에 있어서, 작업 현장 영상과 가장 유사한 작업과 작업 환경을 가지는 모범사례 이미지를 선택하여 제공하도록 구현할 수 있다.

S130 단계에서, 컴퓨팅 장치(100)는 S120 단계에서 생성한 학습 데이터(예: 하나 이상의 객체에 대한 정보가 레이블링된 작업 현장 영상)를 이용하여 인공지능 모델을 학습시킬 수 있다. 예를 들어, 컴퓨팅 장치(100)는 하나 이상의 객체에 대한 정보가 레이블링된 작업 현장 영상을 이용하여 인공지능 모델을 지도학습 시킬 수 있다. 그러나, 이에 한정되지 않고, 다른 범용적인 학습 방법들을 이용하여 인공지능 모델을 학습시킬 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 인공지능 모델을 이용하여 작업 현장 영상을 분석함으로써 작업 현장 영상에 포함된 하나 이상의 객체를 추출하고, 추출한 하나 이상의 객체의 상태를 판단하여 하나 이상의 객체에 대한 상태(예: 안전 상태 또는 위험 상태)를 판단할 수 있는 안전기준에 따른 가이드 제공 서비스를 제공할 수 있다.

여기서, 컴퓨팅 장치(100)는 도 10에 도시된 바와 같이, 서로 다른 두개의 인공지능 모델(예: 작업 현장 영상을 분석하여 작업 현장 영상에 포함된 하나 이상의 객체를 추출하는 제1 인공지능 모델(예: Mask R-CNN)과 추출된 하나 이상의 객체에 대한 상태를 판단하는 제2 인공지능 모델(예: VGG-like 또는 Resnet-like))을 이용하여 안전기준에 따른 가이드 제공 서비스를 제공할 수 있다.

즉, 컴퓨팅 장치(100)는 안전기준에 따른 가이드 제공 서비스를 제공함에 있어서, 서로 다른 기능을 수행하는 2개의 인공지능 모델(제1 인공지능 모델, 제2 인공지능 모델)을 이용하는 바, 서로 상이한 학습 데이터를 이용하여 제1 인공지능 모델과 제2 인공지능 모델을 학습시킬 수 있다.

예를 들어, 컴퓨팅 장치(100)는 객체에 대한 위치 정보 및 객체의 명칭이 레이블링된 작업 현장 영상을 학습 데이터로 하여 제1 인공지능 모델을 학습시킴으로써, 제1 인공지능 모델이 작업 현장 영상을 분석하여 작업 현장 영상에 포함된 하나 이상의 객체를 식별하고, 식별된 객체의 명칭(또는 종류)이 무엇인지 판단할 수 있도록 구현할 수 있다.

예를 들어, 컴퓨팅 장치(100)는 특정 객체에 대한 정답 벡터 및 경계 박스 정답 벡터 정보를 학습 데이터로 하여, 해당 객체에 대한 예측 벡터 및 경계 박스 예측 벡터와의 차이에 기반하여 손실함수를 구성하고, 해당 손실함수가 최소화되도록 학습될 수 있으나, 이에 제한되는 것은 아니다.

또한, 컴퓨팅 장치(100)는 객체의 명칭, 객체의 속성 정보 및 안전도가 레이블링된 작업 현장 영상을 학습 데이터로 하여 제2 인공지능 모델을 학습시킴으로써, 제1 인공지능 모델로부터 추출된 결과 데이터(예: 객체가 추출된 작업 현장 영상)를 입력으로 하여 추출된 객체에 대한 상태를 판단할 수 있도록 구현할 수 있다. 그러나, 이에 한정되지 않고, 컴퓨팅 장치(100)는 서로 동일한 학습 데이터를 이용하여 제1 인공지능 모델과 제2 인공지능 모델을 학습시키되, 서로 다른 기능을 수행하도록 제어할 수 있다.

여기서, 컴퓨팅 장치(100)는 수학식 1에 따른 로스(Loss) 함수가 최소값을 가지도록 제1 인공지능 모델을 학습시킴으로써, 제1 인공지능 모델이 더 정교하게 객체를 추출할 수 있도록 할 수 있다.

여기서,

는 객체의 명칭에 대한 정답 벡터,

는 상기 객체의 명칭에 대한 예측 벡터,

는 객체의 위치를 가리키는 경계 박스(bounding box)의 정답 벡터 및

는 객체의 위치를 가리키는 경계 박스의 예측 벡터일 수 있다.

예를 들어, 컴퓨팅 장치(100)는 인공지능 모델의 인식 대상이 되는 객체들을 객체별 지정된 코드로 배열화할 수 있고(예: ["BT", "LD", "MC", ... , "HK"]), 작업 현장 영상에 포함된 각각의 객체를 객체의 명칭에 따라 벡터 형태로 표현할 수 있다(예: 객체가 BT일 경우 [1, 0, 0, 0, ... , 0], 객체가 LD일 경우 [0, 1, 0, 0, ... , 0] 형태로 표현).

이후, 컴퓨팅 장치(100)는 각 객체에 대한 경계 박스의 영상 픽셀 값을 이용하여 각각의 객체를 벡터로 표현할 수 있다(예: [X_min, Y_min, X_max, Y_max]).

이후, 컴퓨팅 장치(100)는 Nx1벡터(객체를 판별하는 벡터로, 여기서 N은 인공지능 모델의 인식 대상이 되는 객체의 개수)와 4x1 벡터(경계 박스에 대한 벡터)를 학습시키되, 상기의 수학식 1에 따른 로스 함수가 최소값을 가지도록 학습시킬 수 있다.

또한, 여기서, 인공지능 모델은 2개의 인공지능 모델로 구현되는 것으로 도시되어 있으나, 이는 하나의 예시일 뿐 이에 한정되지 않는다. 예를 들어, 컴퓨팅 장치(100)는 하나의 인공지능 모델을 이용하여 제1 인공지능 모델의 기능과 제2 인공지능 모델의 기능을 모두 수행할 수 있다. 또한, 컴퓨팅 장치(100)는 복수의 제1 인공지능 모델(앙상블)을 이용하여 작업 현장 영상 내에 객체를 식별하는 동작을 수행하고, 복수의 제2 인공지능 모델(앙상블)을 이용하여 식별된 객체에 대한 상태를 판단하는 동작을 수행할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 안전기준에 따른 가이드 제공 서비스를 통해 작업자에게 가이드 정보를 제공할 수 있고, 가이드 정보에 대한 응답으로 작업자로부터 피드백 정보를 입력받을 수 있으며, 작업자로부터 입력된 피드백 정보를 학습 데이터로 하여 인공지능 모델을 학습시킬 수 있다. 이하, 도 11 내지 17을 참조하여, 컴퓨팅 장치(100)가 수행하는 가이드 정보 제공 방법과, 이에 따라 입력된 피드백 정보를 이용하여 인공지능 모델을 학습시키는 방법에 대해 설명하도록 한다.

도 11은 다양한 실시예에서, 객체의 상태에 따라 제공된 가이드 정보에 대한 응답으로 수집된 피드백 정보를 이용하여 인공지능 모델을 학습시키는 방법의 순서도이다.

도 11을 참조하면, S210 단계에서, 컴퓨팅 장치(100)는 작업 현장 영상을 수집할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 작업자 단말(200)과 연결될 수 있으며, 작업자 단말(200)로 UI(50)(예: 도 16(A))를 제공할 수 있고, UI(50)를 통해 작업 현장 영상을 업로드받을 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 작업 현장 내에 설치되는 복수의 카메라 모듈(예: 작업 현장 관리용 CCTV, 드론 등과 같이 작업 현장을 감시하는 이동체에 구비되는 카메라 모듈)과 연결될 수 있으며, 복수의 카메라 모듈이 작업 현장의 곳곳을 촬영함으로써 생성되는 복수의 작업 현장 영상을 수집할 수 있다.

일 실시 예에서, 드론과 같이 이동 가능한 촬영장비를 이용하여 영상을 촬영하는 경우 촬영장비의 위치정보가 함께 수집될 수 있다. 예를 들어, 촬영된 영상의 위치정보가 함께 수집되는 경우, 이미지 인식뿐 아니라 위치정보를 함께 고려하여 촬영된 영상에 포함된 객체들이 무엇인지 판단할 수 있다. 또한, 촬영된 영상에서 발견된 문제점에 대한 정보를 해당 영상이 촬영된 위치의 작업자, 혹은 해당 위치를 관리하는 관리자의 단말로 제공할 수 있다. 일 실시 예에서, 위치정보는 GPS정보를 의미할 수 있으나 이에 제한되지 않으며, 비콘 정보, WiFi AP 정보 및 기타 실내측위 정보를 포함할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 복수의 카메라 모듈로부터 복수의 작업 현장 영상 스트림을 실시간으로 수집하고, 실시간으로 수집한 복수의 작업 현장 영상 스트림을 가공하여 모니터링하는 모니터링 서버(예: 미디어 서버)와 연결될 수 있고, 미디어 서버로부터 복수의 작업 현장 영상을 수집할 수 있다. 이때, 미디어 서버는 작업 현장 영상 스트림을 기 설정된 단위로 저장(예: 1~2frame/sec)할 수 있고, 컴퓨팅 장치(100)는 미디어 서버에 저장된 단위 프레임 형태의 작업 현장 영상을 가져올 수 있다. 그러나, 이에 한정되지 않고, 컴퓨팅 장치(100)가 인공지능 모델을 이용하여 분석하고자 하는 작업 현장 영상을 수집하는 어떠한 방법이든 적용이 가능하다.

S220 단계에서, 컴퓨팅 장치(100)는 S210 단계에서 수집한 작업 현장 영상을 분석하여 작업 현장 영상에 포함된 객체에 대한 상태를 판단할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 도 10에 도시된 바와 같이, 제1 인공지능 모델과 제2 인공지능 모델을 이용하여 작업 현장 영상으로부터 객체를 추출하고, 추출된 객체의 상태를 판단할 수 있다.

먼저, 컴퓨팅 장치(100)는 제1 인공지능 모델을 이용하여 작업 현장 영상을 분석함으로써, 작업 현장 영상에 포함된 객체를 추출할 수 있다. 이때, 컴퓨팅 장치(100)는 도 12 내지 14에 도시된 바와 같이, 하나의 작업 현장 영상에 포함된 모든 객체를 추출할 수 있다.

이후, 컴퓨팅 장치(100)는 제1 인공지능 모델을 통해 추출된 하나 이상의 객체를 제2 인공지능 모델의 입력으로 하여, 하나 이상의 객체에 대한 상태 정보를 추출하고, 추출된 상태 정보가 안전기준을 준수하는지 여부에 따라 추출된 하나 이상의 객체가 안전 상태 또는 위험 상태인 것으로 판단할 수 있다.

예를 들어, 컴퓨팅 장치(100)는 제1 인공지능 모델로부터 추출된 객체가 크레인인 경우, 크레인 주변에 설치된 콘의 개수, 콘의 배치 형태 및 신호수 존재 여부를 포함하는 상태 정보를 추출할 수 있고, 추출한 상태 정보에 기초하여 객체가 안전기준을 준수한 것인지 여부를 판단하여 객체의 상태를 안전 상태 또는 위험 상태인 것으로 판단할 수 있다.

또한, 컴퓨팅 장치(100)는 제1 인공지능 모델로부터 추출된 객체가 A형 사다리인 경우, A형 사다리를 이용하여 작업 중인 작업자들이 보호구를 착용했는지 여부와 작업 형태, 아웃트리거의 사용 여부와 사용 형태를 포함하는 상태 정보를 추출할 수 있고, 추출한 상태 정보에 기초하여 객체가 안전기준을 준수한 것인지 여부 즉, 아웃트리거를 펼쳐 사용할 경우, 작업자들이 보호구를 착용하였으며, 2인 1조로 작업하는지 여부를 판단하여 객체의 상태를 안전 상태 또는 위험 상태인 것으로 판단할 수 있다.

이때, 컴퓨팅 장치(100) 판단된 상태 정보가 안전기준을 모두 준수할 경우 해당 객체(A형 사다리)의 상태를 안전 상태인 것으로 판단할 수 있고, 이중 어느 하나라도 안전기준을 준수하지 않은 것으로 판단되는 경우 해당 객체(A형 사다리)의 상태를 위험 상태인 것으로 판단할 수 있다. 여기서, 컴퓨팅 장치(100)는 안전 상태인 것으로 판단된 객체를 포함하는 작업 현장 영상을 모범사례 영상으로써 저장할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 하나의 작업 현장 영상에 둘 이상의 객체가 포함될 경우, 둘 이상의 객체 각각에 대한 상태 정보를 추출하고, 각각의 객체에 대하여 추출된 상태 정보에 기초하여 각각의 객체가 안전기준을 준수하는지 여부를 판단함으로써, 둘 이상의 객체에 대한 상태를 개별적으로 판단할 수 있다. 예를 들어, 도 15에 도시된 바와 같이 작업 현장 영상에 제1 객체(작업자)와 제2 객체(A형 사다리)를 포함할 경우, 제1 객체에 대한 상태 정보(예: 보호구 착용 여부 등)와 제2 객체에 대한 상태 정보(예: 아웃트리거 펼침 여부 등)를 개별적으로 추출할 수 있고, 각각의 객체에 대하여 추출된 상태 정보에 따라 제1 객체 및 제2 객체 각각 개별적으로 상태를 판단할 수 있다.

또한, 서버(100)는 작업 현장 영상에서 복수의 객체가 인식되는 경우, 각 객체별 상관관계 및 위험상황을 빠르게 처리하기 위하여, 각각의 객체에 대해 병렬처리가 수행될 수 있다. 예를 들어, 작업자와 크레인, 사다리가 하나의 영상에서 인식되는 경우, 서버(100)는 작업자의 안전모 착용 여부, 크레인의 과상승방지 센서 장착 유무, 사다리 2인1조 및 아웃트리거 설치 여부 등을 동시에 판단하기 위하여 병렬처리를 수행할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 작업 현장 영상에 포함된 객체에 대한 상태를 판단한 결과를 출력하는 상태 판단결과 제공 UI(40)(예: 도 15)를 작업자 단말(200)로 제공함으로써, 작업 현장 영상에 포함된 각각의 객체에 대하여 상태를 판단한 결과에 대한 정보(예: 작업자가 업로드한 작업 현장 영상 또는 작업 현장을 촬영함으로써 얻어지는 작업 현장 영상에 포함된 객체가 안전 상태인지 또는 위험 상태인지에 대한 정보)를 제공할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 하나 이상의 객체가 안전기준을 준수하는 것으로 판단될 경우 하나 이상의 객체의 상태를 안전 상태인 것으로 판단하되, 외부로부터 수집된 복수의 사고 데이터를 분석하여 하나 이상의 객체에 대응되는 작업과 관련된 사고의 발생 횟수가 기 설정된 값을 초과하는 경우, 하나 이상의 객체가 상기 안전기준을 준수하는 것과 관계없이 하나 이상의 객체의 상태를 위험 상태인 것으로 판단할 수 있다. 그러나, 이에 한정되지 않는다.

예를 들어, 컴퓨팅 장치(100)는 중장비를 다루거나 다소 위험한 물질을 다루는 작업 등과 같이 안전기준을 준수하더라도 사고의 발생 가능성이 크고, 사고 발생시 큰 피해가 발생할 우려가 있는 작업들과 같이 안전기준을 준수하는 것 외에 각별한 주의가 필요한 작업에 대해서는, 안전기준을 준수하는 것과 관계없이 해당 객체에 대한 상태를 위험 상태인 것으로 판단할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 기 저장된 복수의 작업 현장 영상 분석 이력 데이터에 기초하여, 기존에 위험 상태로 판단된 이력이 많은 객체에 대해서는 안전기준을 준수하는 것과 관계없이 해당 객체에 대한 상태를 위험 상태인 것으로 판단할 수 있다.

S230 단계에서, 컴퓨팅 장치(100)는 작업 현장 영상에 포함된 하나 이상의 객체의 상태가 위험 상태인 것으로 판단될 경우, 하나 이상의 객체와 관련된 안전기준, 하나 이상의 객체의 상태에 따라 발생할 우려가 있는 재해의 유형 정보(예: 추락, 전도, 협착, 화재, 낙하, 감전 등), 하나 이상의 객체의 상태를 위험 상태에서 안전 상태로 변경하기 위한 조치 방법 및 조치 방법과 관련된 모범사례 영상을 포함하는 가이드 정보를 제공할 수 있다. 여기서, 컴퓨팅 장치(100)는 작업 현장 영상에 포함된 하나 이상의 객체의 상태가 안전 상태인 것으로 판단될 경우, S210 단계를 재수행할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 작업자 단말(200)로 가이드 정보를 출력하는 UI(50)(예: 도 16(B) 및 도 16(C))를 제공할 수 있고, 가이드 정보를 출력하는 UI(50)를 통해 하나 이상의 객체와 관련된 안전기준, 하나 이상의 객체의 상태를 위험 상태에서 안전 상태로 변경하기 위한 조치 방법 및 조치 방법과 관련된 모범사례 영상을 제공할 수 있다.

예를 들어, 컴퓨팅 장치(100)는 도 13에 도시된 바와 같이 개구부에 덮개가 설치되지 않은 것에 따라 개구부의 상태가 위험 상태인 것으로 판단될 경우, 가이드 정보를 출력하는 UI(50)를 통해 객체의 명칭(예: 개구부), 객체의 상태를 위험 상태에서 안전 상태로 변경하기 위한 조치 방법(예: 덮개 설치), 객체와 관련된 안전기준(예: 개구부 및 덮개 설치와 관련된 안전기준)과 모범사례 이미지(예: 개구부에 덮개가 설치된 작업 현장 영상)를 제공할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 하나의 작업 현장 영상 내에 둘 이상의 객체(예: 제1 객체 및 제2 객체)가 포함될 경우, 둘 이상의 객체의 상태를 개별적으로 판단할 수 있다. 이때, 컴퓨팅 장치(100)는 제1 객체 및 제2 객체의 상태가 모두 위험 상태인 것으로 판단되는 경우, 기 저장된 복수의 모범사례 영상 중 상기 제1 객체에 대한 조치 방법과 상기 제2 객체에 대한 조치 방법을 모두 포함하는 하나의 모범사례 영상을 선택하여 제공할 수 있다.

예를 들어, 컴퓨팅 장치(100)는 하나의 작업 현장 영상에 작업자와 A형 사다리가 포함되고, 작업자와 A형 사다리의 상태가 모두 위험 상태인 것으로 판단되는 경우(예: 작업자가 보호구를 착용하지 않은 것으로 판단되고, A형 사다리에서 아웃트리거가 펼쳐져 있지 않은 경우), 기 저장된 복수의 모범사례 영상 중 작업자가 보호구를 착용하고 있는 모습과 A형 사다리에서 아웃트리거를 펼쳐 작업하고 있는 모습을 동시에 포함하고 있는 모범사례 영상을 선택하여 작업자에게 제공할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 하나의 작업 현장 영상에 포함된 제1 객체 및 제2 객체의 상태가 모두 위험 상태인 것으로 판단되는 경우, 제1 객체에 대한 조치 방법과 관련된 모범사례 영상 및 상기 제2 객체에 대한 조치 방법과 관련된 모범사례 영상을 개별적으로 선택하여 제공할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 하나의 작업 현장 영상에 작업자와 A형 사다리가 포함되고, 작업자와 A형 사다리의 상태가 모두 위험 상태인 것으로 판단되는 경우(예: 작업자가 보호구를 착용하지 않은 것으로 판단되고, A형 사다리에서 아웃트리거가 펼쳐져 있지 않은 경우), 기 저장된 복수의 모범사례 영상 중 작업자가 보호구를 착용하고 있는 모습을 포함하는 제1 모범사례 영상과 A형 사다리에서 아웃트리거를 펼쳐 작업하고 있는 모습을 포함하는 제2 모범사례 영상을 선택하여 작업자에게 제공할 수 있다.

이때, 컴퓨팅 장치(100)는 하나의 작업 현장 영상 내에 다수의 객체가 포함될 때 다수의 객체마다 각각 모범사례 영상을 선택하여 제공할 경우, 작업자에게 제공할 가이드 정보의 양이 많아져 전송할 데이터의 크기가 커지게 될 수 있고, 가이드 정보를 제공받는 작업자 역시 확인해야할 가이드 정보의 양이 많아져 가이드 정보를 확인하는데 많은 시간이 소요될 수 있다.

따라서, 컴퓨팅 장치(100)는 하나의 작업 현장 영상 내에 다수의 객체가 포함되고, 다수의 객체의 상태가 위험 상태인 것으로 판단될 경우에 다수의 객체를 모두 포함하는 모범사례 영상을 선택하되, 다수의 객체를 모두 포함하는 모범사례 영상이 없을 경우, 다수의 객체 각각에 대하여 개별적으로 모범사례 영상을 선택 즉, 선택되는 모범사례 영상의 개수가 최소가 되도록 선택할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 3개의 객체의 상태가 위험 상태인 것으로 판단되는 경우 3개의 객체에 대한 조치 방법에 관한 모범사례 영상을 선택하되, 3개의 객체에 대한 조치 방법에 관한 모범사례 영상이 없을 경우, 2개의 객체에 대한 조치 방법들에 관한 모범사례 영상과 1개의 객체에 대한 조치 방법에 관한 모범사례 영상을 선택할 수 있고, 2개의 객체에 대한 조치 방법에 관한 모범사례 영상이 없을 경우, 3개의 객체에 대한 조치 방법 각각에 관한 모범사례 영상을 개별적으로 선택할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 제1 작업 현장 영상에 포함된 제1 객체의 상태가 위험 상태인 것으로 판단될 경우, 기 저장된 복수의 모범사례 영상 중 제1 객체에 대한 조치 방법과 관련된 모범사례 영상을 선택하여 제공하되, 제1 객체에 대한 조치 방법과 관련된 모범사례 영상이 둘 이상인 경우, 제1 작업 현장 영상에 포함된 작업 현장에 대한 정보와 작업에 대한 정보에 기초하여 둘 이상의 모범사례 영상 중 어느 하나의 모범사례 영상을 선택하여 작업자에게 제공할 수 있다.

예를 들어, 제1 객체가 개구부일 경우, 개구부에 덮개를 설치함으로써 안전 상태로 변경할 수 있으나, 경우에 따라 개구부의 설치가 어려울 경우 개구부 주변에 울타리(fence)를 설치하여 개구부의 상태를 안전 상태로 변경할 수도 있다. 따라서, 컴퓨팅 장치(100)는 제1 객체의 상태가 위험 상태인 것으로 판단될 경우, 개구부에 덮개가 설치된 모범사례 영상과 개구부 주변에 울타리를 설치한 모범사례 영상이 선택할 수 있다.

이때, 컴퓨팅 장치(100)는 개구부를 포함하는 작업 현장 영상을 분석(또는 작업자로부터 직접 입력)하여 작업에 대한 정보 및 작업 현장에 대한 정보를 얻을 수 있고, 이를 고려하여 개구부에 덮개를 설치하는 것과 개구부 주변에 울타리를 설치하는 것 중 해당 작업과 해당 작업 현장에 더욱 적합할 것으로 판단되는 조치 방법과 관련된 모범사례 영상을 선택하여 작업자에게 제공할 수 있다. 그러나, 이에 한정되지 않고, 컴퓨팅 장치(100)는 특정 객체에 대한 조치 방법이 복수 개인 것에 대응하여 복수의 모범사례 영상이 선택될 경우, 복수의 모범사례 영상을 작업자에게 제공하여 작업자가 그중 어느 하나를 택하여 처리할 수 있도록 할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 S210 단계에서 작업 현장 영상을 업로드받기 위해 작업자 단말(200)로 제공한 UI(50)(예: 도 16(A))를 통해, 작업 현장 영상과 함께 작업 현장 영상에 포함된 객체에 대한 정보와 조치자 정보를 입력받을 수 있다.

이후, 컴퓨팅 장치(100)는 UI(50)를 통해 제1 작업자(예: 작업 관리자)로부터 업로드된 작업 현장 영상을 분석하여 객체의 상태가 위험 상태인 것으로 판단될 경우, 위험 상태로 판단된 객체에 대한 정보, 조치 방법과 관련된 모범사례 영상을 포함하는 가이드 정보를 생성하여 제1 작업자 단말(예: 작업 관리자의 단말) 및 제1 작업자로부터 입력된 조치자 정보에 대응하는 제2 작업자 단말(예: 실제 작업 현장에서 작업하는 노동자의 단말)로 제공할 수 있다.

S240 단계에서, 컴퓨팅 장치(100)는 S230 단계를 거쳐 제공한 가이드 정보에 대한 응답으로 작업자로부터 피드백 정보를 수집할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 피드백 정보를 입력받기 위한 피드백정보 입력 UI(60)(예: 도 17 및 18)를 제공할 수 있고, 피드백정보 입력 UI(60)를 통해 피드백 정보를 수집할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 피드백정보 입력 UI(60)를 통해 작업자로부터 제1 피드백 정보를 입력받을 수 있다. 여기서, 제1 피드백 정보는 도 17에 도시된 바와 같이, 작업자에게 가이드 정보를 제공하고, 작업자가 컴퓨팅 장치(100)로부터 제공받은 가이드 정보에 따라 조치를 취한 결과(예: 조치 방법, 조치 방법에 따른 객체의 상태, 조치 방법에 따라 조치한 결과를 포함하는 작업 현장 영상 등)에 대한 정보를 의미할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 피드백정보 입력 UI(60)를 통해 작업자로부터 제2 피드백 정보를 입력받을 수 있다. 여기서, 제2 피드백 정보는 도 18에 도시된 바와 같이, 작업자에게 가이드 정보를 제공하였으나, 작업자가 컴퓨팅 장치(100)로부터 제공된 가이드 정보가 적절하지 않은 것으로 판단하여 자신의 판단에 따라 조치를 취한 결과(예: 조치 방법, 조치 방법에 따른 객체의 상태, 조치 방법에 따라 조치한 결과를 포함하는 작업 현장 영상, 가이드 정보에 포함된 조치 방법이 적절하지 않은 사유 등)에 대한 정보를 의미할 수 있다.

예를 들어, 컴퓨팅 장치(100)는 개구부에 덮개가 설치되지 않아 개구부의 덮개를 설치할 것을 안내하는 가이드 정보를 제공하였으나, 작업자에 의해 실제로 덮개를 설치할 수 없거나 설치하기 어려운 상황인 것으로 판단되거나 또는 덮개를 설치하는 것보다 개구부 주변에 울타리를 설치하는 것이 더욱 적절할 것으로 판단되는 경우, 작업자는 가이드 정보에 따르지 않고 자신의 판단에 따라 조치할 수 있다.

이후, 작업자는 UI(60)를 통해 자신의 판단에 따라 조치한 내용(예: 조치 방법, 조치 방법에 따른 객체의 상태, 조치 방법에 따라 조치한 결과를 포함하는 작업 현장 영상, 가이드 정보에 포함된 조치 방법이 적절하지 않은 사유 등)을 입력할 수 있고, 컴퓨팅 장치(100)는 작업자가 입력한 내용을 제2 피드백 정보로써 수집할 수 있다.

이때, 컴퓨팅 장치(100)는 작업자로부터 입력된 제1 피드백 정보와 제2 피드백 정보에 포함된 조치 방법에 따라 조치한 결과를 포함하는 작업 현장 영상을 모범사례 이미지로써 저장할 수 있다.

S250 단계에서, 컴퓨팅 장치(100)는 S240 단계에서 얻은 피드백 정보를 학습 데이터로 하여 인공지능 모델을 학습시킬 수 있다.

여기서, 인공지능 모델을 학습시키는 방법은 도 3의 S110 단계 내지 S130 단계에서 설명한 인공지능 모델의 학습 방법과 동일 또는 유사한 형태로 구현(예: 작업 현장 영상에 피드백 정보를 레이블링하여 지도학습)될 수 있으나, 이에 한정되지 않는다. 이를 통해, 컴퓨팅 장치(100)는 작업 현장 영상을 분석하여 더욱 정확한 결과 데이터를 추출할 수 있도록 인공지능 모델을 학습시킬 수 있다.

일 실시 예에서, 컴퓨팅 장치(100)는 재학습된 인공지능 모델을 이용하여 기존의 판단결과들에 대한 재평가를 수행할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 인공지능 모델의 재학습을 통해 모델을 구성하는 파라미터가 수정된 경우, 혹은 파라미터가 기 설정된 기준값 이상 변경된 것으로 판단되는 경우, 혹은 기 설정된 횟수 이상 파라미터가 수정된 경우, 혹은 기 설정된 주기마다 기 설정된 기간 이내의(예: 1달) 기존 판단결과들에 대한 재평가를 수행할 수 있다. 재평가를 통해 기존의 판단결과가 변경된 경우, 변경된 판단결과에 대한 알림을 제공할 수 있다. 예를 들어, 기존에 개구부에 대해 덮개를 설치하라는 정보 및 모범사례를 제공한 사례에 대해 덮개가 아닌 울타리를 설치하는 것이 더 바람직하다고 판단된 경우, 해당 케이스의 담당자 또는 작업자에게 울타리를 설치하라는 업데이트 알림을 제공하여, 작업자로 하여금 덮개 대신 울타리를 설치하도록 안내할 수 있다. 실시 예에 따라, 해당 작업현장의 상태가 변경되어 업데이트된 정보를 반영하기 어려울 수 있다. 이런 경우에도, 작업자에게 업데이트된 정보를 제공함으로써 작업자가 다음에 유사한 사례가 있을 경우 더 바람직한 선택을 하도록 학습시킬 수 있는 효과가 있다.

전술한 작업 현장의 위험성을 판단하는 인공지능 모델의 학습 방법은 도면에 도시된 순서도를 참조하여 설명하였다. 간단한 설명을 위해 작업 현장의 위험성을 판단하는 인공지능 모델의 학습 방법은 일련의 블록들로 도시하여 설명하였으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 본 명세서에 도시되고 시술된 것과 상이한 순서로 수행되거나 또는 동시에 수행될 수 있다. 또한, 본 명세서 및 도면에 기재되지 않은 새로운 블록이 추가되거나, 일부 블록이 삭제 또는 변경된 상태로 수행될 수 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

100 : 인공지능 모델의 학습 장치(또는 컴퓨팅 장치)
200 : 작업자 단말
300 : 외부 서버
400 : 네트워크

Claims (11)

1. 컴퓨팅 장치에 의해 수행되는 방법에 있어서,
   작업 현장 영상을 수집하는 단계;
   상기 수집된 작업 현장 영상에 포함된 하나 이상의 객체에 대한 정보를 상기 수집된 작업 현장 영상에 레이블링하는 단계; 및
   상기 하나 이상의 객체에 대한 정보가 레이블링된 작업 현장 영상을 학습 데이터로 하여 인공지능 모델을 학습시키는 단계를 포함하며,
   상기 인공지능 모델은 상기 수집된 작업 현장 영상을 분석하여 상기 수집된 작업 현장 영상에 포함된 하나 이상의 객체를 추출하는 제1 인공지능 모델 및 상기 추출된 하나 이상의 객체에 대한 상태를 판단하는 제2 인공지능 모델을 포함하고,
   상기 인공지능 모델을 학습시키는 단계는,
   서로 상이한 학습 데이터를 이용하여 상기 제1 인공지능 모델과 상기 제2 인공지능 모델을 학습시키되, 객체에 대한 위치 정보 및 객체의 명칭이 레이블링된 작업 현장 영상을 학습 데이터로 하여 상기 제1 인공지능 모델을 학습시키고, 객체의 명칭, 객체의 속성 정보 및 안전도가 레이블링된 작업 현장 영상을 학습 데이터로 하여 상기 제2 인공지능 모델을 학습시키는 단계를 포함하는,
   작업 현장의 위험성을 판단하는 인공지능 모델의 학습 방법.
2. 제1항에 있어서,
   상기 레이블링하는 단계는,
   상기 수집된 작업 현장 영상을 출력하는 사용자 인터페이스(User Interface, UI)를 제공하는 단계;
   상기 사용자 인터페이스를 통해 출력된 작업 현장 영상 상에 하나 이상의 객체 각각의 위치를 입력받는 단계;
   상기 위치가 입력된 하나 이상의 객체 각각에 대한 정보를 입력받는 단계; 및
   상기 하나 이상의 객체 각각에 상기 입력된 하나 이상의 객체에 대한 정보를 레이블링하는 단계를 포함하는,
   작업 현장의 위험성을 판단하는 인공지능 모델의 학습 방법.
3. 제2항에 있어서,
   상기 하나 이상의 객체 각각에 대한 정보를 입력받는 단계는,
   상기 사용자 인터페이스를 통해 상기 위치가 입력된 하나 이상의 객체 각각에 대한 명칭을 입력받는 단계;
   상기 사용자 인터페이스를 통해 상기 위치가 입력된 하나 이상의 객체 각각에 대한 속성 정보를 입력받는 단계; 및
   상기 사용자 인터페이스를 통해 상기 위치가 입력된 하나 이상의 객체 각각에 대한 안전도를 입력받되, 상기 안전도는 안전 및 위험을 포함하며, 상기 안전도는 안전기준의 위반 여부에 따라 결정되는 것인, 단계를 포함하는,
   작업 현장의 위험성을 판단하는 인공지능 모델의 학습 방법.
4. 제3항에 있어서,
   상기 위치가 입력된 하나 이상의 객체 각각에 대한 안전도를 입력받는 단계는,
   상기 위치가 입력된 하나 이상의 객체 중 제1 객체가 상기 안전기준을 준수한 것으로 판단될 경우 상기 제1 객체에 대한 안전도를 안전으로 결정하되, 외부로부터 수집된 복수의 사고 데이터를 분석하여 상기 제1 객체에 대응되는 작업과 관련된 사고의 발생 횟수가 기 설정된 값을 초과할 경우, 상기 제1 객체에 대한 안전도를 위험으로 결정하는 단계를 포함하는,
   작업 현장의 위험성을 판단하는 인공지능 모델의 학습 방법.
5. 제1항에 있어서,
   상기 레이블링하는 단계는,
   상기 수집된 작업 현장 영상을 분석하여 상기 하나 이상의 객체를 추출하는 단계;
   상기 수집된 작업 현장 영상에 상기 추출된 하나 이상의 객체를 표시하여 출력하는 사용자 인터페이스(User Interface, UI)를 제공하는 단계;
   상기 사용자 인터페이스를 통해 상기 추출된 하나 이상의 객체 각각에 대한 정보를 입력받는 단계; 및
   상기 추출된 하나 이상의 객체 각각에 상기 입력된 하나 이상의 객체 각각에 대한 정보를 레이블링하는 단계를 포함하는,
   작업 현장의 위험성을 판단하는 인공지능 모델의 학습 방법.
6. 삭제
7. 제1항에 있어서,
   상기 인공지능 모델을 학습시키는 단계는,
   하기의 수학식 1에 따른 로스(Loss) 함수가 최소값을 가지도록 상기 제1 인공지능 모델을 학습시키는 단계를 더 포함하는,
   작업 현장의 판단하는 인공지능 모델의 학습 방법.
   <수학식 1>
   

   

   
   여기서, 상기

   

   는 객체의 명칭에 대한 정답 벡터, 상기

   

   는 상기 객체의 명칭에 대한 예측 벡터, 상기

   

   는 상기 객체의 위치를 가리키는 경계 박스(bounding box)의 정답 벡터 및 상기

   

   는 상기 객체의 위치를 가리키는 경계 박스의 예측 벡터
8. 제1항에 있어서,
   상기 인공지능 모델을 이용하여 제1 작업 현장 영상을 분석함으로써 상기 제1 작업 현장 영상에 포함된 객체의 상태를 판단하고, 상기 판단된 객체의 상태가 위험 상태일 경우 상기 제1 작업 현장 영상에 포함된 객체에 대한 조치 방법을 포함하는 안내 정보를 제공하는 단계;
   상기 제공된 안내 정보에 대한 응답으로 피드백 정보를 입력받는 단계; 및
   상기 입력된 피드백 정보에 기반하여 상기 안내 정보를 업데이트하는 단계; 를 더 포함하는,
   작업 현장의 위험성을 판단하는 인공지능 모델의 학습 방법.
9. 제1항에 있어서,
   상기 레이블링하는 단계는,
   상기 수집된 작업 현장 영상에 포함된 작업 현장에 대한 정보 및 작업에 대한 정보를 상기 수집된 작업 현장 영상에 레이블링하는 단계를 포함하며,
   상기 인공지능 모델을 학습시키는 단계는,
   상기 하나 이상의 객체에 대한 정보, 상기 작업 현장에 대한 정보 및 상기 작업에 대한 정보가 레이블링된 작업 현장 영상을 학습 데이터로 하여 상기 인공지능 모델을 학습시키는 단계를 포함하는,
   작업 현장의 위험성을 판단하는 인공지능 모델의 학습 방법.
10. 프로세서;
    네트워크 인터페이스;
    메모리; 및
    상기 메모리에 로드(load)되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되,
    상기 컴퓨터 프로그램은,
    작업 현장 영상을 수집하는 인스트럭션(instruction);
    상기 수집된 작업 현장 영상에 포함된 하나 이상의 객체에 대한 정보를 상기 수집된 작업 현장 영상에 레이블링하는 인스트럭션; 및
    상기 하나 이상의 객체에 대한 정보가 레이블링된 작업 현장 영상을 학습 데이터로 하여 인공지능 모델을 학습시키는 인스트럭션을 포함하며,
    상기 인공지능 모델은 상기 수집된 작업 현장 영상을 분석하여 상기 수집된 작업 현장 영상에 포함된 하나 이상의 객체를 추출하는 제1 인공지능 모델 및 상기 추출된 하나 이상의 객체에 대한 상태를 판단하는 제2 인공지능 모델을 포함하고,
    상기 인공지능 모델을 학습시키는 인스트럭션은,
    서로 상이한 학습 데이터를 이용하여 상기 제1 인공지능 모델과 상기 제2 인공지능 모델을 학습시키되, 객체에 대한 위치 정보 및 객체의 명칭이 레이블링된 작업 현장 영상을 학습 데이터로 하여 상기 제1 인공지능 모델을 학습시키고, 객체의 명칭, 객체의 속성 정보 및 안전도가 레이블링된 작업 현장 영상을 학습 데이터로 하여 상기 제2 인공지능 모델을 학습시키는 인스트럭션을 포함하는,
    작업 현장의 위험성을 판단하는 인공지능 모델의 학습 장치.
11. 컴퓨팅 장치와 결합되어,
    작업 현장 영상을 수집하는 단계;
    상기 수집된 작업 현장 영상에 포함된 하나 이상의 객체에 대한 정보를 상기 수집된 작업 현장 영상에 레이블링하는 단계; 및
    상기 하나 이상의 객체에 대한 정보가 레이블링된 작업 현장 영상을 학습 데이터로 하여 인공지능 모델을 학습시키는 단계를 포함하며,
    상기 인공지능 모델은 상기 수집된 작업 현장 영상을 분석하여 상기 수집된 작업 현장 영상에 포함된 하나 이상의 객체를 추출하는 제1 인공지능 모델 및 상기 추출된 하나 이상의 객체에 대한 상태를 판단하는 제2 인공지능 모델을 포함하고,
    상기 인공지능 모델을 학습시키는 단계는,
    서로 상이한 학습 데이터를 이용하여 상기 제1 인공지능 모델과 상기 제2 인공지능 모델을 학습시키되, 객체에 대한 위치 정보 및 객체의 명칭이 레이블링된 작업 현장 영상을 학습 데이터로 하여 상기 제1 인공지능 모델을 학습시키고, 객체의 명칭, 객체의 속성 정보 및 안전도가 레이블링된 작업 현장 영상을 학습 데이터로 하여 상기 제2 인공지능 모델을 학습시키는 단계를 실행시키기 위하여 컴퓨터로 판독가능한 기록매체에 저장된,
    컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터프로그램.

Images