KR102449823B1 - 건설 현장의 이미지 태깅 방법 및 이를 수행하는 서버 및 시스템 - Google Patents

Abstract

본 발명은, 건설 현장의 이미지 태깅 서버에 관한 것으로서, 상기 서버는, 통신 인터페이스, 메모리 및 상기 통신 인터페이스 및 상기 메모리와 동작 가능하게 연결된 프로세서를 포함하되, 상기 프로세서는, 관리자 단말로부터 복수의 건설 현장 중 어느 하나의 건설 현장에 적용되는 객체 정보를 수신하고, 상기 객체 정보를 미리 정의된 태그 규정에 적용하여, 해당 건설 현장용 태그 규정을 결정하고, 상기 건설 현장에 위치한 영상 촬영 장치로부터 상기 건설 현장의 영상을 획득하고, 상기 건설 현장용 태그 규정을 기초로 상기 영상 속 객체에 적어도 하나 이상의 태그를 매칭하고, 상기 관리자 단말로 상기 태그의 매칭 결과를 제공하도록 구성된다.
본 발명에 따르면, 이미지 객체를 미리 설정된 특징점에 따라 자동으로 태깅하는 바, 건설 현장에서 수집되는 모든 이미지 파일을 일일이 열어보고 해당 이미지 속 객체를 분류하는 단순 반복 작업의 수행 시간을 단축시킬 수 있다.

Description

건설 현장의 이미지 태깅 방법 및 이를 수행하는 서버 및 시스템{METHOD FOR TAGGING IMAGES OF CONSTRUCTION SITE AND SERVER AND SYSTEM FOR PERFORMING THE SAME}

본 발명은 건설 현장의 이미지 태깅 방법 및 이를 수행하는 서버 및 시스템에 관한 것이다. 보다 자세하게는, 건설 현장을 촬영한 이미지에서 건설 현장에 존재하는 다양한 객체를 자동으로 태깅하기 위한 방법과 이를 수행하는 서버 및 시스템에 관한 것이다.

일반적으로, 건설 현장은 안전 사고를 예방하기 위해, 작업자들에게 안전모, 안전 장비 착용을 의무화하고 안전 교육을 실시하면서, 건설 현장에 설치되는 카메라를 통해 관리 감독자가 작업자들을 모니터링하고 있다. 그러나 관리 감독자가 작업자를 작업 시간 내내 모니터링할 수 없을 뿐만 아니라, 작업자와 그 외의 건설장비, 구조물 등과의 관계에서 나타나는 위험 요소를 정확하게 파악할 수 없어, 인력에 의한 안전 관리 감독에는 한계가 있다.

그에 따라, 건설 현장에서 발생하는 안전사고를 자동으로 관리하기 위한 많은 연구들이 진행되고 있으며, 대표적으로, 머신 러닝을 기반으로 건설 현장 속 사고 원인을 예측하고 예방하기 위한 건설 현장용 학습 모델이 개발되고 있다.

건설 현장용 학습 모델을 개발하기 위해서는 건설 현장에서 수집되는 CCTV 영상 중 대용량의 영상 데이터 중에서 주요 관리 대상을 선별하고, 이를 학습 및 분석 가능한 형태로 정제하는 과정이 선행되어야 하는데, 건설 현장의 규모에 따라 수집되는 영상 스트리밍에 따라 대용량의 데이터가 처리되거나, 영상의 해상도가 높은 경우 대용량 이미지에서 유의미한 데이터를 전처리하기 위해 소모되는 비용 및 시간이 기하급수적으로 늘어날 수 있다.

발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.

한국 공개특허 제10-2020-0036531호(2020.04.07.)

이에, 본 발명이 해결하고자 하는 과제는 정확도 높은 건설 현장용 알고리즘을 개발하기 위해 건설 현장에서 수집되는 대용량의 영상에서 객체들을 세분화된 유형 별로 구분하여 태깅할 수 있는 방법 및 이를 수행하는 서버 및 시스템을 제공하는 것이다.

본 발명이 해결하고자 하는 다른 과제는 건설 현장에서 수집되는 영상 속 하나의 이미지 객체에 대해서 미리 설정된 특징점에 따라 복수 개의 종류로 태깅함으로써, 이미지 속 객체의 식별력을 높일 수 있는 방법 및 이를 수행하는 서버 및 시스템을 제공하는 것이다.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시 예에 따른 건설 현장의 이미지 태깅 서버가 제공된다. 상기 서버는, 통신 인터페이스, 메모리 및 상기 통신 인터페이스 및 상기 메모리와 동작 가능하게 연결된 프로세서를 포함하되, 상기 프로세서는, 관리자 단말로부터 복수의 건설 현장 중 어느 하나의 건설 현장에 적용되는 객체 정보를 수신하고, 상기 객체 정보를 미리 정의된 태그 규정에 적용하여, 해당 건설 현장용 태그 규정을 결정하고, 상기 건설 현장에 위치한 영상 촬영 장치로부터 상기 건설 현장의 영상을 획득하고, 상기 건설 현장용 태그 규정을 기초로 상기 영상 속 객체에 적어도 하나 이상의 태그를 매칭하고, 상기 관리자 단말로 상기 태그의 매칭 결과를 제공하도록 구성된다.

본 발명의 특징에 따르면, 상기 영상 속 객체는, 상기 복수의 건설 현장 별 태그 규정에 따라 동일한 상위 카테고리 태그를 가지되, 서로 다른 하위 카테고리 태그가 매칭될 수 있다.

본 발명의 다른 특징에 따르면, 상기 객체 정보는, 상기 건설 현장에 배치되는 작업자 또는 건설 장비의 분류 정보 및 특징점 정보를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 상기 프로세서는, 상기 관리자 단말로 상기 건설 현장에 적용될 객체 정보를 입력하기 위한 객체 태그 인터페이스를 제공하도록 구성될 수 있다.

본 발명의 또 다른 특징에 따르면, 상기 객체 태그 인터페이스는, 상기 건설 현장에 배치되는 작업자와 관련된 색상 선택 영역, 색상 코드 입력 영역 및 이미지 삽입 영역 중 적어도 하나의 영역과 함께 상기 작업자의 분류 정보 입력 영역을 포함하도록 구성될 수 있다.

본 발명의 또 다른 특징에 따르면, 상기 프로세서는, 상기 건설 현장의 공종, 작업 진행률 및 작업 일정 중 적어도 하나의 작업 항목에 따라 상기 미리 정의된 태그 규정에서 변경이 필요한 객체 정보를 제공하도록 구성될 수 있다.

본 발명의 또 다른 특징에 따르면, 상기 영상 촬영 장치는, 상기 건설 현장에 설치된 현장 촬영 장치 또는 상기 건설 현장에 위치한 작업자 단말을 포함하며, 상기 프로세서는, 상기 현장 촬영 장치를 통해 획득한 영상에서 기 설정된 비율 이하의 객체가 존재하는 경우, 상기 현장 촬영 장치의 촬영 영역과 적어도 일부가 중첩되는 다른 현장 촬영 장치의 영상을 추가로 획득하거나, 상기 현장 촬영 장치의 위치 정보와 매칭되는 작업자 단말 정보를 획득하도록 구성될 수 있다.

본 발명의 또 다른 특징에 따르면, 상기 프로세서는, 상기 영상에서 태그 가능한 객체를 결정하고, 상기 건설 현장용 태그 규정을 기초로 상기 태그 가능한 객체에 태그를 매칭하도록 구성될 수 있다.

본 발명의 또 다른 특징에 따르면, 상기 프로세서는, 상기 영상을 보정하고, 보정된 영상 속 객체에 상기 건설 현장용 태그 규정을 기초로 하는 태그를 매칭하도록 구성될 수 있다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시 예에 따른 건설 현장의 이미지 태깅 방법이 제공된다. 상기 방법은, 관리자 단말로부터 복수의 건설 현장 중 어느 하나의 건설 현장에 적용되는 객체 정보를 수신하는 단계, 상기 객체 정보를 미리 정의된 태그 규정에 적용하여, 해당 건설 현장용 태그 규정을 결정하는 단계, 상기 건설 현장에 위치한 영상 촬영 장치로부터 상기 건설 현장의 영상을 획득하는 단계, 상기 건설 현장용 태그 규정을 기초로 상기 영상 속 객체에 적어도 하나 이상의 태그를 매칭하는 단계 및 상기 관리자 단말로 상기 태그의 매칭 결과를 제공하는 단계를 포함하도록 구성된다.

본 발명의 특징에 따르면, 상기 영상 속 객체는, 상기 복수의 건설 현장 별 태그 규정에 따라 동일한 상위 카테고리 태그를 가지되, 서로 다른 하위 카테고리 태그가 매칭될 수 있다.

본 발명의 다른 특징에 따르면, 상기 객체 정보는, 상기 건설 현장에 배치되는 작업자 또는 건설 장비의 분류 정보 및 특징점 정보를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 상기 객체 정보를 수신하는 단계는, 상기 관리자 단말로 상기 건설 현장에 적용될 객체 정보를 입력하기 위한 객체 태그 인터페이스를 제공하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 상기 객체 태그 인터페이스는, 상기 건설 현장에 배치되는 작업자와 관련된 색상 선택 영역, 색상 코드 입력 영역 및 이미지 삽입 영역 중 적어도 하나의 영역과 함께 상기 작업자의 분류 정보 입력 영역을 포함하도록 구성될 수 있다.

본 발명의 또 다른 특징에 따르면, 상기 건설 현장의 공종, 작업 진행률 및 작업 일정 중 적어도 하나의 작업 항목에 따라 상기 미리 정의된 태그 규정에서 변경이 필요한 객체 정보를 제공하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 상기 영상 촬영 장치는, 상기 건설 현장에 설치된 현장 촬영 장치 또는 상기 건설 현장에 위치한 작업자 단말을 포함하며, 상기 이미지를 획득하는 단계는, 상기 현장 촬영 장치를 통해 획득한 영상에서 기 설정된 비율 이하의 객체가 존재하는 경우, 상기 현장 촬영 장치의 촬영 영역과 적어도 일부가 중첩되는 다른 현장 촬영 장치의 영상을 추가로 획득하거나, 상기 현장 촬영 장치의 위치 정보와 매칭되는 작업자 단말 정보를 획득하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 상기 태그를 매칭하는 단계는, 상기 이미지에서 태그 가능한 객체를 결정하고, 상기 건설 현장용 태그 규정을 기초로 상기 태그 가능한 객체에 태그를 매칭하는 단계일 수 있다.

본 발명의 또 다른 특징에 따르면, 상기 태그를 매칭하는 단계는, 상기 영상을 보정하고, 보정된 영상 속 객체에 상기 건설 현장용 태그 규정을 기초로 하는 태그를 매칭하는 단계일 수 있다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 또 다른 실시 예에 따른 건설 현장의 이미지 태깅 시스템이 제공된다. 상기 시스템은, 건설 현장을 관리하는 관리자 단말, 상기 건설 현장을 촬영하는 적어도 하나의 영상 촬영 장치 및 상기 관리자 단말 및 상기 촬영 장치를 통해 상기 건설 현장의 객체 인식 알고리즘을 이용하기 위한 데이터를 생성하는 이미지 태깅 서버를 포함하며, 상기 이미지 태깅 서버는, 상기 관리자 단말로부터 복수의 건설 현장 중 어느 하나의 건설 현장에 적용되는 객체 정보를 수신하고, 상기 객체 정보를 미리 정의된 태그 규정에 적용하여, 해당 건설 현장용 태그 규정을 결정하고, 상기 건설 현장에 위치한 상기 영상 촬영 장치로부터 상기 건설 현장의 영상을 획득하고, 상기 건설 현장용 태그 규정을 기초로 상기 영상 속 객체에 적어도 하나 이상의 태그를 매칭하고, 상기 관리자 단말로 상기 태그의 매칭 결과를 제공하도록 구성된다.

기타 실시 예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명은 건설 현장에서 수집되는 대용량의 영상에서 객체들을 세분화된 유형 별로 구분하여 태깅함으로써, 건설 현장용 알고리즘의 정확도를 높일 수 있는 데이터를 확보할 수 있다.

또한, 본 발명은 건설 현장에서 수집되는 영상 속 하나의 이미지 객체에 대해서 미리 설정된 특징점에 따라 복수 개의 종류로 태깅함으로써, 데이터의 식별력을 높일 수 있다.

또한, 본 발명은 이미지 객체를 미리 설정된 특징점에 따라 자동으로 태깅하는 바, 건설 현장에서 수집되는 대용량의 영상에서 모든 이미지 파일을 일일이 열어보고 해당 이미지 속 객체를 분류하는 단순 반복 작업의 수행 시간을 단축시킬 수 있다.

또한, 본 발명은 건설 분야 외에 단일 객체에 복수의 태그가 필요한 타 산업 분야에 적용 가능할 수 있다.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 발명 내에 포함되어 있다.

도 1은 본 발명의 일 실시예에 따른 포함하는 건설 현장의 이미지 태깅 시스템을 설명하기 위한 개략도이다.
도 2는 본 발명의 일 실시예에 따른 건설 현장의 이미지 태깅 서버의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 객체 태그 인터페이스 화면을 예시적으로 설명하기 위한 개략도이다.
도 4는 본 발명의 일 실시예에 따른 객체 태그 방식을 설명하기 위한 개략도이다.
도 5는 본 발명의 일 실시예에 따른 건설 현장의 이미지 태깅 방법에 대한 순서도이다.
도 6은 도 5에 도시된 S130 단계를 구체화한 순서도이다.
도 7 내지 도 12는 본 발명의 일 실시예에 따른 이미지 태깅 결과를 설명하기 위한 개략도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용될 수 있다.

본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.

본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는(3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.

본 문서에서 사용된 "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.

어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.

본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~ 를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된)프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.

본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.

본 발명의 여러 실시 예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시 예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.

본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다.

본 발명에 기재된 "공종"이란 공사의 종류를 의미할 수 있다. 예를 들어, 공종으로는 토목 공사, 기계 공사, 전기 공사, 조경 공사 등을 포함할 수 있다. 본 발명의 일 실시예에서 이미지 태깅 서버(100)는 공종에 따라 객체에 부착될 태그의 규정이 달라짐을 확인하고, 달라진 규정에 맞게 적절한 태그를 매칭시키는 서비스를 제공해 줄 수 있다.

도 1은 본 발명의 일 실시예에 따른 포함하는 건설 현장의 이미지 태깅 시스템을 설명하기 위한 개략도이다.

도 1을 참조하면, 건설 현장의 이미지 태깅 시스템(10)(이하, 이미지 태깅 시스템(10))은 건설 현장에서 획득되는 이미지 속에서 객체를 세부 항목에 따라 인식하고, 인식 결과에 따른 태그를 부착하는 서비스를 제공할 수 있다.

이미지 태깅 시스템(10)은 건설 현장에 배치된 타워 크레인(A1)(A2), 덤프 트럭(B1)(B2), 굴착기(C1)(C2), 불도저(D1)(D2) 등 각종 중장비의 생산 연도, 브랜드 등에 따라 서로 다르게 인식하고, 사람(E1)(E2)(E3)(E4)들을 작업 카테고리에 따라 서로 다르게 인식할 수 있도록, 이미지 속 객체에 태그를 매칭시킬 수 있다. 여기서, 태그를 매칭한다는 것은 예를 들어, 이미지 파일에 객체의 카테고리에 해당하는 태그를 함께 저장한다는 것으로 이해될 수 있다.

이러한 서비스를 제공하기 위해 이미지 태깅 시스템(10)은 이미지 태깅 서버(100), 관리자 단말(200) 및 영상 촬영 장치(300)를 포함할 수 있다.

이미지 태깅 서버(100)는 어느 하나의 건설 현장에 대한 태그 결정하고, 결정된 태그 규정에 따라 이미지 속 객체에 적어도 하나 이상의 태그를 매칭할 수 있다. 태그 규정이란 이미지 속 객체에 어떠한 태그를 매칭시켜야 하는지에 대한 서버(100)의 내부 규정, 건설 현장의 이미지를 태깅하기 위한 온톨로지인 것으로 이해될 수 있다.

이미지 태깅 서버(100)는 다른 각도로 촬영된 하나의 객체에 대해서 동일한 태그를 매칭시킬 수 있으며, 동일한 각도로 촬영된 하나의 객체에 대해서 다른 태그를 매칭시킬 수 있다. 구체적으로, 이미지 태깅 서버(100)는 상위 카테고리는 동일하지만, 하위 카테고리가 다른 객체를 대상으로 다른 태그를 매칭시킬 수 있다. 예를 들어, 이미지 태깅 서버(100)는 건설 현장의 이미지에서 사람을 단순히 worker 카테고리(상위 카테고리)에서 분류하는 것에서 나아가 사람의 작업 카테고리(하위 카테고리)에 따라 분류하고, 이에 맞는 태그를 매칭시킬 수 있다.

이와 같이, 이미지 태깅 서버(100)는 건설 현장 별로 태그 규정을 결정함으로써, 건설 업체나, 건설 현장의 특성 별로 상이한 객체들에 대해서도 자동으로 태그 매칭을 수행할 수 있다.

실시예에 따라, 이미지 태깅 서버(100)는 이미지를 학습하여, 객체 분석용 모델을 생성할 수 있다. 구체적으로, 이미지 태깅 서버(100)는 건설 현장용 태그 규정에 따라 태그가 완료된 이미지를 이용하여 객체 분석용 모델을 생성할 수 있다. 이미지 태깅 서버(100)는 객체 분석용 모델을 통해 건설 현장용 태그 규정을 통해서 태그 수행이 불가능한 이미지 속 객체에 대해서도, 태그를 매칭시킬 수 있다.

관리자 단말(200)은 건설 현장을 관리하는 관리자가 소지한 단말로서, 건설 현장에 적용되는 객체 정보를 제공할 수 있다. 관리자 단말(200)은 건설 현장에 배치되는 작업자 또는 건설 장비의 분류 정보 및 특징점 정보를 이미지 태깅 서버(100)로 제공할 수 있다.

관리자 단말(200)은 이미지 태깅 서버(100)와 통신 가능한 스마트 폰, PC, 태블릿 PC 등을 포함할 수 있으며, 이미지 태깅 서버(100)로부터 객체 태그 인터페이스를 제공받아, 객체 정보를 입력할 수 있다.

영상 촬영 장치(300)는 건설 현장에 배치되어, 건설 현장을 촬영하는 카메라로서, 건설 현장에 설치되는 현장 촬영 장치(310) 및 센서(330)와 건설 현장에 위치하는 작업자 단말(320)을 포함할 수 있다.

실시예에 따라, 영상 촬영 장치(300)는 건설 현장에 대한 영상을 촬영하고, 이미지 태깅 서버(100)로 영상을 실시간으로 제공하거나, 건설 현장에 대한 이미지를 촬영하여 이미지 태깅 서버(100)로 제공할 수도 있다.

현장 촬영 장치(310)는 건설 현장의 모습, 중장비, 작업자의 얼굴과 움직임 등을 촬영할 수 있다. 현장 촬영 장치(310)는 건설 현장에 대한 영상을 촬영하여 이미지 태깅 서버(100)로 송신할 수 있으며, 이와 함께 현장 촬영 장치(310)에 대한 위치 정보, 촬영 각도, 화질, 카메라 화각, 영상 크기, 비율 등의 촬영 속성 정보를 이미지 태깅 서버(100)로 송신할 수 있다. 예를 들어, 현장 촬영 장치(310)는 건설 현장 내 각종 구조물에 설치되는 CCTV일 수 있다.

작업자 단말(320)는 건설 현장에 투입된 작업자가 소지한 단말로서, 카메라를 구비한 스마트 폰, PC, 태블릿 PC 등을 포함할 수 있다. 작업자 단말(320)은 건설 현장에서 작업자의 위치 정보를 제공할 수 있으며, 필요에 따라 건설 현장의 모습을 촬영하여 이미지 태깅 서버(100)로 송신할 수 있다. 작업자 단말(320)이 이미지 태깅 서버(100)로 이미지를 송신할 경우, 작업자 단말(320)은 화질, 카메라 화각, 영상 크기, 비율 등의 촬영 속성 정보를 함께 송신할 수 있다.

한편, 작업자 단말(320)은 정지된 이미지 외에도 건설 현장의 영상을 촬영할 수 있으며, 이를 이미지 태깅 서버(100)로 송신할 수도 있다.

실시예에 따라, 작업자 단말(320)은 설정된 시간 및 위치에서 건설 현장의 이미지를 촬영하여 이미지 태깅 서버(100)로 송신할 수 있으며, 비주기적으로는 이미지 태깅 서버(100)의 촬영 요청에 따라, 건설 현장의 이미지를 촬영하여 이미지 태깅 서버(100)로 송신할 수 있다.

센서(330)는 현장 촬영 장치(310) 또는 작업자 단말(320)이 촬영한 영상 또는 이미지에서 객체를 보다 쉽게 식별하여, 태그를 매칭할 수 있도록 하는 신호를 획득할 수 있다. 구체적으로, 센서(330)는 건설 현장에 설치되어 건설 현장의 환경을 감지하기 위한 신호를 획득할 수 있다. 예를 들어, 센서(330)는 건설 현장 내 각종 구조물에 설치 가능한 이미지 센서, 근접 센서를 포함할 수 있으며, 이미지 태깅 서버(100)는 건설 현장에 대한 영상과 이미지 센서, 근접 센서가 획득한 신호를 통해 영상 내 작업자 또는 중장비의 위치를 보다 정확하게 파악할 수 있다.

한편, 센서(330)는 건설 현장의 각종 구조물에 설치되거나 건설 현장에 투입된 중장비에 설치될 수 있다. 예를 들어, 중장비에 설치되는 센서(330)는 위치 센서, 근접 센서를 포함할 수 있다.

현장 촬영 장치(310) 및 센서(330)는 블루투스, 비콘, IoT(Internet of Things) 통신 등 근거리 무선 통신을 위한 통신 모듈을 포함할 수 있으며, 이를 통해 영상, 이미지 및 감지 신호 및 데이터를 실시간으로 이미지 태깅 서버(100)로 송신할 수 있다.

통합 안전 관리 서버(400)는 복수의 건설 현장에 대한 안전을 통합 관리하는 관리자가 운영하는 서버로서, 이미지 태깅 서버(100)로부터 건설 현장용 태그 규정을 제공받아 저장할 수 있다. 구체적으로, 통합 안전 관리 서버(400)는 건설 현장 별로 배치된 복수의 이미지 태깅 서버(100)로부터 서로 다른 태그 규정을 취합하여 저장할 수 있다.

실시예에 따라, 통합 안전 관리 서버(400)는 건설에 참여한 시행사, 시공사, 공종 별 참여 업체, 건축물의 유형(예. 공동 주택, 종교시설, 교육시설) 등을 기준으로 태그 규정을 분류하여 저장할 수 있으며, 그에 따른 태그 매칭 결과를 저장할 수도 있다.

통합 안전 관리 서버(400)는 태그 규정에 따른 매칭 결과를 저장함에 따라, 이미지 태깅 서버(100)로 객체 분석용 모델을 학습하기 위한 학습 데이터를 제공해 줄 수 있다.

지금까지 본 발명의 일 실시예에 따른 이미지 태깅 시스템(10)에 대하여 설명하였다. 이하에서는, 도 2 내지 도 6을 참조하여, 객체에 태그를 매칭시켜주는 이미지 태깅 서버(100)에 대하여 구체적으로 설명하도록 한다.

도 2는 본 발명의 일 실시예에 따른 건설 현장의 이미지 태깅 서버의 구성을 나타낸 블록도이다.

도 2를 참조하면, 이미지 태깅 서버(100)는 통신 인터페이스(110), 메모리(120), I/O 인터페이스(130) 및 프로세서(140)를 포함할 수 있으며, 각 구성은 하나 이상의 통신 버스 또는 신호 라인을 통해 서로 통신할 수 있다.

통신 인터페이스(110)는 유/무선 통신 네트워크를 통해 관리자 단말(200), 영상 촬영 장치(300) 및 통합 안전 관리 서버(400)와 연결되어 데이터를 주고받을 수 있다. 예를 들어, 통신 인터페이스(110)는 관리자 단말(200)로부터 태그 규정을 수신할 수 있으며, 관리자 단말(200)로 태그 규정에 따른 이미지 속 객체 태그 매칭 결과를 송신할 수 있다. 다른 예를 들어, 통신 인터페이스(110)는 영상 촬영 장치(300)로부터 건설 현장에 대한 영상 또는 이미지를 수신할 수 있으며, 영상 촬영 장치(300)로 영상 또는 이미지 추가 촬영 요청을 송신할 수 있다. 또 다른 예를 들어, 통신 인터페이스(110)는 통합 안전 관리 서버(400)로 건설 현장용 태그 규정과 태그 규정에 따른 태그 매칭 결과를 송신할 수 있으며, 통합 안전 관리 서버(400)로부터 객체 분석용 모델을 학습하기 위한 학습 데이터를 수신할 수 있다.

한편, 이러한 데이터의 송수신을 가능하게 하는 통신 인터페이스(110)는 유선 통신 포트(111) 및 무선 회로(112)를 포함하며, 여기 유선 통신 포트(111)는 하나 이상의 유선 인터페이스, 예를 들어, 이더넷, 범용 직렬 버스(USB), 파이어와이어 등을 포함할 수 있다. 또한, 무선 회로(112)는 RF 신호 또는 광학 신호를 통해 외부 디바이스와 데이터를 송수신할 수 있다. 아울러, 무선 통신은 복수의 통신 표준, 프로토콜 및 기술, 예컨대 GSM, EDGE, CDMA, TDMA, 블루투스, Wi-Fi, VoIP, Wi-MAX, 또는 임의의 기타 적합한 통신 프로토콜 중 적어도 하나를 사용할 수 있다.

메모리(120)는 이미지 태깅 서버(100)에서 사용되는 다양한 데이터를 저장할 수 있다. 예를 들어, 메모리(120)는 건설 현장에 미리 정의된 태그 규정, 건설 현장 별로 새롭게 정의되는 태그 규정, 건설 현장에 배치되는 영상 촬영 장치의 식별 정보, 작업자 정보, 작업자 특징점 정보, 작업자 분류 정보, 건설 장비의 특징점 정보, 건설 장비의 분류 정보, 건설 현장의 영상, 이미지, 태그 매칭 결과 등을 저장할 수 있다.

메모리(120)는 각종 데이터, 명령 및 정보를 저장할 수 있는 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 예를 들어, 메모리(120)는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 네트워크 저장 스토리지, 클라우드, 블록체인 데이터베이스 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

다양한 실시예에서, 메모리(120)는 운영 체제(121), 통신 모듈(122), 사용자 인터페이스 모듈(123) 및 하나 이상의 애플리케이션(124) 중 적어도 하나의 구성을 저장할 수 있다.

운영 체제(121)(예. LINUX, UNIX, MAC OS, WINDOWS, VxWorks 등의 내장형 운영 체제)는 일반적인 시스템 작업(예. 메모리 관리, 저장 디바이스 제어, 전력 관리 등)를 제어하고 관리하기 위한 다양한 소프트웨어 컴포넌트 및 드라이버를 포함할 수 있으며, 다양한 하드웨어, 펌웨어, 및 소프트웨어 컴포넌트 간의 통신을 지원할 수 있다.

통신 모듈(123)은 통신 인터페이스(110)를 통해 다른 디바이스와 통신을 지원할 수 있다. 통신 모듈(123)은 통신 인터페이스(110)의 유선 통신 포트(111) 또는 무선 회로(112)에 의해 수신되는 데이터를 처리하기 위한 다양한 소프트웨어 구성 요소들을 포함할 수 있다.

사용자 인터페이스 모듈(123)은 I/O 인터페이스(130)를 통해 키보드, 터치 스크린, 마이크 등으로부터 사용자의 요청 또는 입력을 수신하고, 디스플레이 상에 사용자 인터페이스를 제공할 수 있다.

애플리케이션(124)은 하나 이상의 프로세서(140)에 의해 실행되도록 구성되는 프로그램 또는 모듈을 포함할 수 있다. 여기서, 이미지 속 객체에 태그를 매칭하기 위한 애플리케이션은 서버 팜(server farm) 상에서 구현될 수 있다.

I/O 인터페이스(130)는 이미지 태깅 서버(100)의 입출력 디바이스(미도시), 예를 들어 디스플레이, 키보드, 터치 스크린 및 마이크 중 적어도 하나를 사용자 인터페이스 모듈(123)과 연결할 수 있다. I/O 인터페이스(130)는 사용자 인터페이스 모듈(123)과 함께 사용자 입력(예. 음성 입력, 키보드 입력, 터치 입력 등)을 수신하고, 수신된 입력에 따른 명령을 처리할 수 있다.

프로세서(140)는 통신 인터페이스(110), 메모리(120) 및 I/O 인터페이스(130)와 연결되어 이미지 태깅 서버(100)의 전반적인 동작을 제어할 수 있으며, 메모리(120)에 저장된 애플리케이션 또는 프로그램을 통해 건설 현장 별로 객체에 상이한 태그가 매칭되기 위한 다양한 명령들을 수행할 수 있다.

프로세서(140)는 CPU(Central Processing Unit)나 AP(Application Processor)와 같은 연산 장치에 해당할 수 있다. 또한, 프로세서(140)는 다양한 연산 장치가 통합된 SoC(System on Chip)와 같은 통합 칩(Integrated Chip (IC))의 형태로 구현될 수 있다. 또는 프로세서(140)는 NPU(Neural Processing Unit)과 같이 인공 신경망 모델을 계산하기 위한 모듈을 포함할 수 있다.

프로세서(140)는 건설 현장 내에 다양한 객체들을 활용 목적에 따라 사전 분류하고, 이미지 획득 시, 이미지 속 객체에 사전 분류된 카테고리에 맞게 태그를 매칭시킬 수 있다. 여기서, 이미지 속 객체는 건설 현장에 배치된 구조물, 중장비, 사람 등 다양한 물체를 포함할 수 있다.

실시예에 따라, 프로세서(140)는 건설 현장의 이미지 속에서 사람을 식별하고, 건설 현장에서의 수행 역할에 따라 상이한 태그를 부착할 수 있다. 구체적으로, 프로세서(140)는 관리자 단말(200)로부터 복수의 건설 현장 중 어느 하나의 건설 현장에 적용되는 객체 정보를 수신할 수 있다. 객체 정보란, 건설 현장에 배치되는 작업자 또는 건설 장비의 분류 정보 및 특징점 정보를 포함할 수 있다. 예를 들어, 작업자의 분류 정보는 전기 기사, 중장비 기사, 관리 감독자, 현장 방문자 등과 같이 건설 현장에서의 수행 업무와 방문 목적에 따라 분류될 수 있다. 아울러, 작업자의 특징점 정보는 작업자의 분류 정보와 대응되며, 작업자와 연관된 색상 정보를 포함할 수 있다. 예를 들어, 현장 감독/엔지니어의 작업자의 특징점 정보는 "흰색" 작업모, 중장비 기사/공사 현장 인부는 "노란색" 작업모, 도로 공사/리프트 운전기사는 "오렌지색" 작업모, 목수/전기 기사는 "파란색" 안전모, 용접 기사는 "갈색" 작업모, 소방국장/소방관은 "빨강색" 작업모, 안전 진단가는 "녹색" 작업모, 현장 방문자는 "회색" 안전모가 작업자의 특징점 정보가 될 수 있다. 다른 예를 들어, 작업자의 특징점 정보는 작업모 외에 작업 조끼, 작업용 벨트 등을 기준으로 설정될 수 있다.

아울러, 건설 장비의 분류 정보는 장비가 수행하는 기능에 따라 정의되는 것이 아니라, 건설 장비의 생산연도, 건설 장비의 생산업체 등과 같이 외형적인 특징이 달라질 수 있는 항목을 기준으로 정의될 수 있다.

프로세서(140)는 통신 인터페이스(110)를 통해 관리자 단말(200)로 건설 현장에 적용될 객체 정보를 입력하기 위한 객체 태그 인터페이스를 제공할 수 있다.

도 3은 본 발명의 일 실시예에 따른 객체 태그 인터페이스 화면을 예시적으로 설명하기 위한 개략도이다.

도 3을 참조하면, 관리자 단말(200)에는 이미지 태깅 서버(100)의 프로세서(140)가 제공한 객체 태그 인터페이스 화면이 표시될 수 있다. 객체 태그 인터페이스는 작업자의 분류 정보 및 작업자의 특징점 정보를 입력할 수 있는 영역을 포함할 수 있다. 구체적으로, 객체 태그 인터페이스는 건설 현장에 배치되는 작업자와 관련된 색상을 선택할 수 있는 색상 선택 영역(11), 색상 코드를 입력할 수 있는 색상 코드 입력 영역(12) 및 색상이 표시된 이미지를 삽입할 수 있는 이미지 삽입 영역(13) 중 적어도 하나의 영역과 함께 작업자의 수행 역할을 입력/선택할 수 있는 작업자 분류 정보 입력 영역(14)을 포함할 수 있다.

즉, 프로세서(140)는 색상을 기준으로 하는 작업자의 특징점 정보를 획득할 수 있다. 다만, 동일한 색, 동일한 촬영 영역이라 하더라도 날씨나 카메라의 촬영 속성에 따라, 영상 또는 이미지 속 객체의 색상이 다르게 표현될 수 있다. 이에, 프로세서(140)는 색상을 기준으로 하는 작업자의 특징점 정보의 경우, 명도 또는 채도를 기준으로 색상 범위를 설정함으로써, 색상 인식 오류에 따라 객체에 태그가 매칭되지 못하고, 객체 분석에 오류가 발생하는 상황을 예방할 수 있다.

프로세서(140)는 객체 태그 인터페이스를 제공함으로써, 어느 하나의 색상 정보, 하나의 색상 정보 외에 동일 카테고리, 동일 태그로 매칭될 수 있는 추가 색상의 범위를 획득할 수 있다.

이와 같이, 프로세서(140)는 색상을 기준으로 건설 현장의 이미지 속에서 특정한 객체(예. 용접 기사, 안전 진단가, 현장 방문자 등)를 식별하고, 식별된 객체에 적절한 태그를 매칭시키기 위해 관리자 단말(200)로부터 객체 정보를 획득할 수 있다.

아울러, 프로세서(140)는 객체의 식별력 및 태그 매칭 결과의 정확도를 높이기 위해, 이미지가 획득되는 시점에서의 건설 현장 상황 정보를 반영할 수 있다. 구체적으로, 프로세서(140)는 건설 현장의 공종, 작업 진행률 및 작업 일정 중 적어도 하나의 작업 항목에 따라 미리 정의된 태그 규정에서 변경이 필요한 객체 정보를 제공할 수 있다.

일 예로, 프로세서(140)는 건설 현장의 작업 일정에 따라 건물이 완공되기 직전의 일자의 경우, 이전의 이미지 속에는 없던 현장 방문자 객체가 존재할 수 있으므로, 관리자 단말(200)로부터 현장 방문자와 관련된 객체 정보를 획득할 수 있다.

이와 같이, 프로세서(140)가 건설 현장의 공종, 작업 진행률 및 작업 일정 중 적어도 하나의 작업 항목에 따라 변경이 필요한 객체 정보를 제공할 경우, 주 단위 외에 연 단위로 진행되는 건설 현장에서 누락될 수 있는 객체 정보를 획득할 수 있다.

프로세서(140)는 객체 정보를 미리 정의된 태그 규정에 적용하여, 관리자 단말(200)이 관리하고 있는 건설 현장용 태그 규정을 결정할 수 있다. 여기서, 태그 규정이란 이미지 속 객체에 어떠한 태그를 매칭시켜야 하는지에 대한 서버(100)의 내부 규정, 건설 현장의 이미지를 태깅하기 위한 온톨로지인 것으로 이해될 수 있다.

프로세서(140)는 통신 인터페이스(110)를 통해 건설 현장에 위치한 영상 촬영 장치(300)로부터 건설 현장의 영상을 획득할 수 있다. 구체적으로, 프로세서(140)는 건설 현장에 설치된 현장 촬영 장치(310) 또는 건설 현장에 위치한 작업자 단말(320)로부터 영상을 획득할 수 있다.

실시예에 따라, 건설 현장의 영상은 영상의 시간, 해상도에 따라 데이터의 크기가 방대할 수 있으며, 프로세서(140)는 건설 현장에 대한 대용량의 영상을 빠른 시간 내에 정제할 수 있도록 소정의 시간 간격에 따라 분할하거나, 영상을 소정 시간 간격에 따라 분할하여 정지된 이미지를 획득할 수 있다. 이 외에도, 프로세서(140)는 통신 인터페이스(110)를 통해 현장 촬영 장치(310) 또는 작업자 단말(320)로부터 영상이 아닌 이미지를 획득할 수도 있다.

프로세서(140)는 획득된 영상 속에서 태그를 매칭시키기 위한 객체를 결정할 수 있다. 실시예에 따라, 프로세서(140)는 영상 속에서 사람을 인식할 수 있으며, 건설 현장용 태그 규정을 기초로 태그 가능한 객체에 적어도 하나 이상의 태그를 매칭할 수 있다.

한편, 획득된 영상이 객체를 식별하기 힘든 원거리에서 촬영된 영상일 경우, 프로세서(140)는 해당 객체를 식별하기 위해 추가 데이터를 획득하고자 할 수 있다.

관련하여, 도 4는 본 발명의 일 실시예에 따른 객체 태그 방식을 설명하기 위한 개략도이다.

도 4를 참조하면, 통신 인터페이스(110)를 통해 다음과 같은 건설 현장의 이미지가 획득될 수 있다. 프로세서(140)는 현장 촬영 장치(310)를 통해 획득한 영상 또는 이미지에서 (a), (b)와 같이 기 설정된 비율 이하의 객체(15)가 존재하는 경우, 추가 데이터를 획득할 수 있다. 구체적으로, 프로세서(140)는 해당 현장 촬영 장치(310)의 촬영 영역과 적어도 일부가 중첩되는 다른 현장 촬영 장치(310)로부터 영상을 추가로 획득하거나, 현장 촬영 장치(310)의 위치 정보와 매칭되는 작업자 단말(320) 정보를 획득할 수 있다. 여기서, 현장 촬영 장치(310)의 위치 정보와 매칭되는 작업자 단말(320)은, 현장 촬영 장치(310)의 위치를 기준으로 기 설정된 범위 내에 존재하는 작업자 단말(320)인 것으로 이해될 수 있으며, 작업자 단말(320) 정보는, 작업자의 분류 정보를 획득하는 것으로 이해될 수 있다.

한편, 영상 속 객체의 크기 문제 외에도, 영상의 촬영 환경이나, 영상 촬영 장치(300)의 촬영 속성에 따라, 하나의 색이 태그 규정과는 다른 색상으로 표시될 수 있다. 그에 따라, 프로세서(140)는 영상 속 객체의 색상이 건설 현장용 태그 규정과 대응되는 색상이 아닌 경우, 영상을 보정할 수 있다. 예를 들어, 프로세서(140)는 영상의 밝기를 조절할 수 있으며, 조절된 영상 속 객체와 연관된 일부 색상이 건설 현장용 태그 규정과 대응되는 색상인지 결정할 수 있다.

실시예에 따라, 프로세서(140)는 건설 현장에 배치된 센서(330)를 통해 영상에 해당하는 영역의 환경 정보를 확인할 수 있으며, 그에 따라 태그를 매칭시키기 전, 영상을 보정할 수 있다. 예를 들어, 프로세서(140)는 조도 센서를 통해 해당 영역에 연기가 발생하였거나, 작업 진행 상황에 따라 그늘이 진 것으로 판단하고, 영상 속 밝기를 조절할 수 있다.

이 외에도, 프로세서(140)는 통신 인터페이스(110)를 통해 외부 서버로부터 건설 현장의 날씨를 확인하고, 날씨 정보를 토대로 영상을 보정할 수 있다.

상기와 같은 과정을 통해, 프로세서(140)는 복수의 건설 현장 별 태그 규정에 따라 영상 속 객체에 동일한 상위 카테고리 태그를 가지되, 서로 다른 하위 카테고리를 매칭시킬 수 있다. 예를 들어, 프로세서(140)는 영상 속 사람 객체에 "작업자"라는 동일한 상위 카테고리 태그에서, "전기기사" 또는 "현장 방문자"와 같이 서로 다른 하위 카테고리 태그를 매칭시킬 수 있다.

프로세서(140)는 통신 인터페이스(110)를 통해 관리자 단말(200)로 태그의 매칭 결과를 제공할 수 있다. 여기서, 태그의 매칭 결과는 이미지 파일과 함께 메모리(120)에 저장될 수 있다. 즉, 프로세서(140)는 메모리(120)에 1)원본 영상/이미지 2)태그를 표시한 결과 영상/이미지, 3)영상/이미지 파일에 대한 정보를 저장할 수 있다.

지금까지 본 발명의 일 실시예에 따른 이미지 태깅 서버(100)에 대하여 설명하였다. 본 발명에 따르면, 이미지 태깅 서버(100)는 건설 현장에서 수집되는 대용량의 영상에서 객체들을 세분화된 유형 별로 구분하여 태깅함으로써, 건설 현장용 알고리즘의 정확도를 높일 수 있는 학습 데이터, 즉 작업자에 대한 구체적인 구분을 통해 건설 현장의 사고 유형을 구체적으로 한정 가능한 데이터를 확보할 수 있다.

이하에서는, 이미지 태깅 서버(100)를 통해 건설 현장에서 획득된 이미지에 태그를 매칭시키는 방법에 대하여 설명하도록 한다.

도 5는 본 발명의 일 실시예에 따른 건설 현장의 이미지 태깅 방법에 대한 순서도이고, 도 6은 도 5에 도시된 S130 단계를 구체화한 순서도이다.

도 5를 참조하면, 이미지 태깅 서버(100)는 관리자 단말(200)로부터 복수의 건설 현장 중 어느 하나의 건설 현장에 적용되는 객체 정보를 수신할 수 있다. 객체 정보란, 건설 현장에 배치되는 작업자 또는 건설 장비의 분류 정보 및 특징점 정보를 포함할 수 있다.

실시예에 따라, 이미지 태깅 서버(100)는 관리자 단말(200)로부터 텍스트로 구현된 객체 정보를 수신하거나, 객체 태그 인터페이스를 통해서 객체 정보를 수신할 수도 있다. 구체적으로, 객체 태그 인터페이스는 건설 현장에 배치되는 작업자와 관련된 색상을 선택할 수 있는 색상 선택 영역, 색상 코드를 입력할 수 있는 색상 코드 입력 영역 및 색상이 표시된 이미지를 삽입할 수 있는 이미지 삽입 영역 중 적어도 하나의 영역과 함께 작업자의 수행 역할을 입력/선택할 수 있는 작업자 분류 정보 입력 영역을 포함할 수 있다.

즉, 이미지 태깅 서버(100)는 색상을 기준으로 하는 작업자의 특징점 정보를 획득할 수 있다. 다만, 동일한 색, 동일한 촬영 영역이라 하더라도 날씨나 카메라의 촬영 속성에 따라, 영상 또는 이미지 속 객체의 색상이 다르게 표현될 수 있다. 이에, 이미지 태깅 서버(100)는 색상을 기준으로 하는 작업자의 특징점 정보의 경우, 명도 또는 채도를 기준으로 색상 범위를 설정함으로써, 색상 인식 오류에 따라 객체에 태그가 매칭되지 못하고, 객체 분석에 오류가 발생하는 상황을 예방할 수 있다.

이와 같이, 이미지 태깅 서버(100)는 객체 태그 인터페이스를 제공함으로써, 어느 하나의 색상 정보, 하나의 색상 정보 외에 동일 카테고리, 동일 태그로 매칭될 수 있는 추가 색상의 범위를 획득할 수 있다.

아울러, 이미지 태깅 서버(100)는 객체의 식별력 및 태그 매칭 결과의 정확도를 높이기 위해, 이미지가 획득되는 시점에서의 건설 현장 상황 정보를 반영할 수 있다. 구체적으로, 이미지 태깅 서버(100)는 건설 현장의 공종, 작업 진행률 및 작업 일정 중 적어도 하나의 작업 항목에 따라 미리 정의된 태그 규정에서 변경이 필요한 객체 정보를 제공할 수 있다.

S110 단계 이후, 이미지 태깅 서버(100)는 객체 정보를 미리 정의된 태그 규정에 적용하여, 관리자 단말(200)이 관리하고 있는 건설 현장용 태그 규정을 결정할 수 있다(S120). 여기서, 태그 규정이란 이미지 속 객체에 어떠한 태그를 매칭시켜야 하는지에 대한 서버(100)의 내부 규정, 건설 현장의 이미지를 태깅하기 위한 온톨로지인 것으로 이해될 수 있다.

S120 단계 이후, 이미지 태깅 서버(100)는 건설 현장에 위치한 영상 촬영 장치(300)로부터 건설 현장의 영상을 획득할 수 있다(S130). 구체적으로, 이미지 태깅 서버(100)는 건설 현장에 설치된 현장 촬영 장치(310) 또는 건설 현장에 위치한 작업자 단말(320)로부터 영상을 획득할 수 있다.

한편, 현장 촬영 장치(310)의 경우, 대부분 대형 중장비와 구조물로부터 작업자들의 안전을 확보하기 위해, 광범위한 영역을 촬영하게 된다. 그에 따라, 영상 속에서 사람을 인식하기 힘든 상황이 발생할 수 있다.

관련하여 도 6을 참조하면, 이미지 태깅 서버(100)는 영상에서 기 설정된 비율 이하의 객체가 존재하는지 판단할 수 있다(S130-1). 만약, 기 설정된 비율 이하의 객체가 존재하는 경우, 이미지 태깅 서버(100)는 해당 현장 촬영 장치(310)의 촬영 영역을 확인할 수 있다(S130-3, 예).

S130-3 단계 이후, 이미지 태깅 서버(100)는 해당 현장 촬영 장치(310)의 촬영 영역과 적어도 일부가 중첩되는 다른 현장 촬영 장치(310)로부터 영상을 추가로 획득하거나(S130-5), 현장 촬영 장치(310)의 위치 정보와 매칭되는 작업자 단말(320) 정보를 획득할 수 있다(S130-7). 여기서, 현장 촬영 장치(310)의 위치 정보와 매칭되는 작업자 단말(320)은, 현장 촬영 장치(310)의 위치를 기준으로 기 설정된 범위 내에 존재하는 작업자 단말(320)인 것으로 이해될 수 있으며, 작업자 단말(320) 정보는, 작업자의 분류 정보를 획득하는 것으로 이해될 수 있다.

이와 반대로, 기 설정된 비율 이하의 객체가 존재하지 않을 경우, 이미지 태깅 서버(100)는 건설 현장용 태그 규정을 기초로 영상 속 객체에 적어도 하나 이상의 태그를 매칭할 수 있다(S140, 아니오).

한편, 영상 속 객체의 크기 문제 외에도, 영상의 촬영 환경이나, 영상 촬영 장치(300)의 촬영 속성에 따라, 하나의 색이 태그 규정과는 다른 색상으로 표시될 수 있다. 그에 따라, 이미지 태깅 서버(100)는 영상 속 객체의 색상이 건설 현장용 태그 규정과 대응되는 색상이 아닌 경우, 영상을 보정할 수 있다. 예를 들어, 이미지 태깅 서버(100)는 영상의 밝기를 조절할 수 있으며, 조절된 영상 속 객체와 연관된 일부 색상이 건설 현장용 태그 규정과 대응되는 색상인지 결정할 수 있다. 이 외에도, 이미지 태깅 서버(100)는 외부 서버로부터 건설 현장의 날씨를 확인하고, 날씨 정보를 토대로 영상을 보정할 수 있다.

S140 단계를 통해 이미지 태깅 서버(100)는 복수의 건설 현장 별 태그 규정에 따라 영상 속 객체에 동일한 상위 카테고리 태그를 가지되, 서로 다른 하위 카테고리를 매칭시킬 수 있다.

S140 단계 이후, 이미지 태깅 서버(100)는 관리자 단말(200)로 태그의 매칭 결과를 제공할 수 있다(S150). 이러한, 태그 매칭 결과는 추후 이미지 태깅 서버(100)가 건설 현장 내 안전 사고를 예방하기 위한 건설 현장용 학습 모델을 생성하는 데이터로 활용될 수 있다.

도 7 내지 도 12는 본 발명의 일 실시예에 따른 이미지 태깅 결과를 설명하기 위한 개략도이다.

도 7을 참조하면, 이미지 태깅 서버(100)는 영상 촬영 장치(300)를 통해 획득한 원본 영상/이미지(a)와 태그를 표시한 결과 영상/이미지(b), 영상/이미지 파일에 대한 정보(c)를 다음과 같이 저장할 수 있다.

이 외에도, 이미지 태깅 서버(100)는 도 8과 같이 획득된 이미지 속에 객체 별 태그 규정에 따라 태그를 표시하여, 관리자 단말(200)로 제공하거나 I/O 인터페이스(130)를 통해 표시할 수 있다. 또한, 도 9와 같이, 이미지 태깅 서버(100)는 이미지의 태깅 결과, 이미지 경로, 이미지 픽셀 정보 등을 확인할 수 있는 리스트를 I/O 인터페이스(130)를 통해 표시하거나, 관리자 단말(200)로 제공할 수 있다.

또한, 도 10을 참조하면, 관리자 단말(200)은 건설 현장에 배치된 복수의 현장 촬영 장치(310)로부터 촬영되는 영상(21)을 표시할 수 있으며, 영상 속에서 이미지 태깅 서버(100)가 매칭한 태그 결과를 표시할 수 있다.

실시예에 따라, 복수의 영상들이 인접 배치된 화면 내 일 영역(22)에서 태그 결과가 요약되어 관리자 단말(200)에 제공될 수 있다. 예를 들어, 태그 결과의 요약 정보는, 현장 촬영 장치(310)의 식별 정보, 촬영 시각, 태그에 따른 객체 정보(예. 5 workers)가 포함될 수 있다.

실시예에 따라, 관리자 단말(200) 화면 내 어느 하나의 현장 촬영 장치(310)의 식별 정보(23)를 선택할 경우, 도 11 및 도 12와 같은 확대된 건설 현장의 영상이 제공될 수 있다.

도 11을 참조하면, 관리자 단말(200)에 태그 결과가 표시된 화면이 다음과 같이 표시될 수 있다. 관리자 단말(200)은 태그 결과에 따라 안전 사고의 위험이 있는 객체(124)가 존재할 경우, 화면의 일 영역에 작업 경고 알림(25)을 제공할 수 있다. 예를 들어, 작업 경고 알림은, 현장 촬영 장치(310)의 식별 정보, 안전 사고 발생 유형 및 객체 발견 시각이 포함될 수 있다.

또한, 도 12를 참조하면, 관리자 단말(200)에는 동일한 객체에 대해서 서로 다른 태그 결과가 다음과 같이 표시될 수 있다. 예를 들어, 동일한 작업자라 하더라도, 건설 현장용 태그 규정에 따라 서로 다른 태그(26)(26')(26")가 매칭될 수 있으며, 태그들은 서로 다른 색상으로 표시될 수 있다.

지금까지 본 발명의 일 실시예에 따른 이미지 태깅 방법에 대하여 설명하였다. 본 발명에 따르면, 이미지 태깅 서버(100)는 건설 현장 마다 서로 다른 착장(헬멧, 안전 조끼, 안전띠 등)으로 인해 작업자를 구분하기 힘든 환경을 고려하여, 건설 현장 별로 태그 규정을 결정할 수 있으며, 이를 통해 건설 현장 별로 유의미한 다량의 이미지 학습 데이터를 단기간에 효율적으로 확보할 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 일 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

10: 건설 현장의 이미지 태깅 시스템
100: 이미지 태깅 서버
110: 통신 인터페이스
111: 유선 통신 포트 112: 무선 회로
120: 메모리
121: 운영 체제 122: 통신 모듈
123: 사용자 인터페이스 모듈 124: 애플리케이션
130: I/O 인터페이스
140: 프로세서
200: 관리자 단말
300: 영상 촬영 장치
310: 현장 촬영 장치 320: 작업자 단말
330: 센서
400: 통합 안전 관리 서버

Claims (19)

1. 통신 인터페이스;
   메모리; 및
   상기 통신 인터페이스 및 상기 메모리와 동작 가능하게 연결된 프로세서; 를
   포함하되,
   상기 프로세서는,
   관리자 단말로부터 복수의 건설 현장 중 어느 하나의 건설 현장에 적용되는 객체 정보-상기 객체 정보는 상기 건설 현장에 배치되는 작업자의 분류 정보 및 특징점 정보와 건설 장비의 분류 정보 및 특징점 정보를 포함함-를 수신하고, 상기 객체 정보를 미리 정의된 태그 규정에 적용하여, 해당 건설 현장용 태그 규정을 결정하고, 상기 건설 현장에 위치한 영상 촬영 장치로부터 상기 건설 현장의 영상을 획득하고, 상기 건설 현장용 태그 규정을 기초로 상기 영상 속 객체에 적어도 하나 이상의 태그를 매칭하고, 상기 관리자 단말로 상기 태그의 매칭 결과를 제공하도록 구성되고,
   상기 영상 촬영 장치는, 상기 건설 현장에 설치되는 센서를 포함하고,
   상기 센서는, 상기 건설 현장, 상기 건설 현장의 각종 구조물 및 중장비 중 적어도 하나에 설치되는 근접 센서, 위치 센서 및 조도 센서를 포함하고,
   상기 프로세서는,
   상기 근접 센서 또는 상기 위치 센서가 획득한 신호에 기초하여 상기 영상 내 작업자 또는 중장비의 위치를 파악하고, 상기 조도 센서가 획득한 신호에 기초하여 상기 영상 속 밝기를 조절하도록 더 구성되며,
   상기 프로세서는,
   상기 관리자 단말로 상기 건설 현장에 적용될 상기 객체 정보를 입력하기 위한 객체 태그 인터페이스-상기 객체 태그 인터페이스는, 상기 작업자의 특징점 정보에 포함되는 색상을 선택하는 영역, 색상의 코드를 입력하는 영역 및 색상이 표시된 이미지를 삽입하는 영역과 함께 상기 작업자의 분류 정보를 입력하는 영역을 포함함-를 제공하여, 상기 색상을 기준으로 하는 상기 작업자의 특징점 정보가 적용된 건설 현장용 태그 규정을 결정하고,
   상기 영상 속 객체에 적어도 하나 이상의 태그를 매칭하기 위해,
   상기 영상에서 태그 가능한 객체를 결정하고, 상기 작업자의 특징점 정보가 적용된 건설 현장용 태그 규정을 기초로 상기 태그 가능한 객체에 태그를 매칭하도록 구성하되,
   상기 작업자의 특징점 정보에 포함되는 작업모, 작업 조끼 및 작업용 벨트 중 어느 하나의 색상이 상기 객체 태그 인터페이스를 통해 획득된 색상에 의해 인식되지 않아, 적어도 하나 이상의 태그를 매칭할 수 없는 경우,
   상기 객체 태그 인터페이스를 통해 획득된 색상의 명도 및 채도를 기준으로 하는 색상 범위를 설정하여, 상기 색상 범위를 기준으로 상기 영상 속 객체의 태그를 매칭하도록 구성되며,
   상기 영상 속 객체는,
   상기 복수의 건설 현장 별 태그 규정에 따라 동일한 상위 카테고리 태그를 가지되, 서로 다른 하위 카테고리 태그가 매칭되는, 건설 현장의 이미지 태깅 서버.
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 제1항에 있어서,
   상기 프로세서는,
   상기 건설 현장의 공종, 작업 진행률 및 작업 일정 중 적어도 하나의 작업 항목에 따라 상기 미리 정의된 태그 규정에서 변경이 필요한 상기 객체 정보를 제공하도록 구성되는, 건설 현장의 이미지 태깅 서버.
7. 제1항에 있어서,
   상기 영상 촬영 장치는,
   상기 건설 현장에 설치된 현장 촬영 장치 또는 상기 건설 현장에 위치한 작업자 단말을 포함하며,
   상기 프로세서는,
   상기 영상에서 기 설정된 비율 이하의 객체가 존재하는 경우, 상기 현장 촬영 장치의 촬영 영역과 적어도 일부가 중첩되는 다른 현장 촬영 장치의 영상을 추가로 획득하거나, 상기 현장 촬영 장치의 위치 정보와 매칭되는 작업자 단말 정보를 획득하도록 구성되는, 건설 현장의 이미지 태깅 서버.
8. 삭제
9. 제1항에 있어서,
   상기 프로세서는,
   상기 영상을 보정하고, 보정된 영상 속 객체에 상기 건설 현장용 태그 규정을 기초로 하는 태그를 매칭하도록 구성되는, 건설 현장의 이미지 태깅 서버.
10. 관리자 단말로부터 복수의 건설 현장 중 어느 하나의 건설 현장에 적용되는 객체 정보-상기 객체 정보는 상기 건설 현장에 배치되는 작업자의 분류 정보 및 특징점 정보와 건설 장비의 분류 정보 및 특징점 정보를 포함함-를 수신하는 단계;
    상기 객체 정보를 미리 정의된 태그 규정에 적용하여, 해당 건설 현장용 태그 규정을 결정하는 단계;
    상기 건설 현장에 위치한 영상 촬영 장치로부터 상기 건설 현장의 영상을 획득하는 단계;
    상기 건설 현장용 태그 규정을 기초로 상기 영상 속 객체에 적어도 하나 이상의 태그를 매칭하는 단계; 및
    상기 관리자 단말로 상기 태그의 매칭 결과를 제공하는 단계; 를 포함하고,
    상기 영상 촬영 장치는, 상기 건설 현장에 설치되는 센서를 포함하고,
    상기 센서는, 상기 건설 현장, 상기 건설 현장의 각종 구조물 및 중장비 중 적어도 하나에 설치되는 근접 센서, 위치 센서 및 조도 센서를 포함하며,
    상기 영상 촬영 장치로부터 상기 건설 현장의 영상을 획득하는 단계는,
    상기 근접 센서 또는 상기 위치 센서가 획득한 신호에 기초하여 상기 영상 내 작업자 또는 중장비의 위치를 파악하는 단계; 및
    상기 조도 센서가 획득한 신호에 기초하여 상기 영상 속 밝기를 조절하는 단계; 를 더 포함하고,
    상기 해당 건설 현장용 태그 규정을 결정하는 단계는,
    상기 관리자 단말로 상기 건설 현장에 적용될 상기 객체 정보를 입력하기 위한 객체 태그 인터페이스-상기 객체 태그 인터페이스는, 상기 작업자의 특징점 정보에 대응되는 색상을 선택하는 영역, 색상 코드를 입력하는 영역 및 이미지를 삽입하는 영역과 함께 상기 작업자의 분류 정보를 입력하는 영역을 포함함-를 제공하여, 상기 색상을 기준으로 하는 상기 작업자의 특징점 정보가 적용된 건설 현장용 태그 규정을 결정하는 단계; 를 더 포함하고,
    상기 객체에 적어도 하나 이상의 태그를 매칭하는 단계는,
    상기 영상에서 태그 가능한 객체를 결정하고, 상기 작업자의 특징점 정보가 적용된 건설 현장용 태그 규정을 기초로 상기 태그 가능한 객체에 태그를 매칭하되,
    상기 작업자의 특징점 정보에 포함되는 작업모, 작업 조끼 및 작업용 벨트 중 어느 하나의 색상이 상기 객체 태그 인터페이스를 통해 획득된 색상에 의해 인식되지 않아, 적어도 하나 이상의 태그를 매칭할 수 없는 경우,
    상기 객체 태그 인터페이스를 통해 획득된 색상의 명도 및 채도를 기준으로 하는 색상 범위를 설정하여, 상기 색상 범위를 기준으로 상기 영상 속 객체의 태그를 매칭하는 단계이며,
    상기 영상 속 객체는,
    상기 복수의 건설 현장 별 태그 규정에 따라 동일한 상위 카테고리 태그를 가지되, 서로 다른 하위 카테고리 태그가 매칭되는, 건설 현장의 이미지 태깅 방법.
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 제10항에 있어서,
    상기 건설 현장의 공종, 작업 진행률 및 작업 일정 중 적어도 하나의 작업 항목에 따라 상기 미리 정의된 태그 규정에서 변경이 필요한 상기 객체 정보를 제공하는 단계, 를 더 포함하는 건설 현장의 이미지 태깅 방법.
16. 제10항에 있어서,
    상기 영상 촬영 장치는,
    상기 건설 현장에 설치된 현장 촬영 장치 또는 상기 건설 현장에 위치한 작업자 단말을 포함하며,
    상기 이미지를 획득하는 단계는,
    상기 영상에서 기 설정된 비율 이하의 객체가 존재하는 경우, 상기 현장 촬영 장치의 촬영 영역과 적어도 일부가 중첩되는 다른 현장 촬영 장치의 영상을 추가로 획득하거나, 상기 현장 촬영 장치의 위치 정보와 매칭되는 작업자 단말 정보를 획득하는 단계, 를 더 포함하는 건설 현장의 이미지 태깅 방법.
17. 삭제
18. 제10항에 있어서,
    상기 태그를 매칭하는 단계는,
    상기 영상을 보정하고, 보정된 영상 속 객체에 상기 건설 현장용 태그 규정을 기초로 하는 태그를 매칭하는 단계인, 건설 현장의 이미지 태깅 방법.
19. 건설 현장을 관리하는 관리자 단말;
    상기 건설 현장을 촬영하는 적어도 하나의 영상 촬영 장치; 및
    상기 관리자 단말 및 상기 촬영 장치를 통해 상기 건설 현장의 객체 인식 알고리즘을 이용하기 위한 데이터를 생성하는 이미지 태깅 서버; 를 포함하며,
    상기 이미지 태깅 서버는,
    상기 관리자 단말로부터 복수의 건설 현장 중 어느 하나의 건설 현장에 적용 되는 객체 정보-상기 객체 정보는 상기 건설 현장에 배치되는 작업자의 분류 정보 및 특징점 정보와 건설 장비의 분류 정보 및 특징점 정보를 포함함-를 수신하고, 상기 객체 정보를 미리 정의된 태그 규정에 적용하여, 해당 건설 현장용 태그 규정을 결정하고, 상기 건설 현장에 위치한 상기 영상 촬영 장치로부터 상기 건설 현장의 영상을 획득하고, 상기 건설 현장용 태그 규정을 기 초로 상기 영상 속 객체에 적어도 하나 이상의 태그를 매칭하고, 상기 관리자 단말 로 상기 태그의 매칭 결과를 제공하도록 구성되고,
    상기 영상 촬영 장치는, 상기 건설 현장에 설치되는 센서를 포함하고,
    상기 센서는 상기 건설 현장, 상기 건설 현장의 각종 구조물 및 중장비 중 적어도 하나에 설치되는 근접 센서, 위치 센서 및 조도 센서를 포함하고,
    상기 이미지 태깅 서버는, 상기 근접 센서 또는 상기 위치 센서가 획득한 신호에 기초하여 상기 영상 내 작업자 또는 중장비의 위치를 파악하고, 상기 조도 센서가 획득한 신호에 기초하여 상기 영상 속 밝기를 조절하도록 구성되며,
    상기 이미지 태깅 서버는,
    상기 관리자 단말로 상기 건설 현장에 적용될 상기 객체 정보를 입력하기 위한 객체 태그 인터페이스-상기 객체 태그 인터페이스는, 상기 작업자의 특징점 정보에 대응되는 색상을 선택하는 영역, 색상 코드를 입력하는 영역 및 이미지를 삽입하는 영역과 함께 상기 작업자의 분류 정보를 입력하는 영역을 포함함-를 제공하여, 상기 색상을 기준으로 하는 상기 작업자의 특징점 정보가 적용된 건설 현장용 태그 규정을 결정하고,
    상기 영상 속 객체에 적어도 하나 이상의 태그를 매칭하기 위해,
    상기 영상에서 태그 가능한 객체를 결정하고, 상기 작업자의 특징점 정보가 적용된 건설 현장용 태그 규정을 기초로 상기 태그 가능한 객체에 태그를 매칭하도록 구성하되,
    상기 작업자의 특징점 정보에 포함되는 작업모, 작업 조끼 및 작업용 벨트 중 어느 하나의 색상이 상기 객체 태그 인터페이스를 통해 획득된 색상에 의해 인식되지 않아, 적어도 하나 이상의 태그를 매칭할 수 없는 경우,
    상기 객체 태그 인터페이스를 통해 획득된 색상의 명도 및 채도를 기준으로 하는 색상 범위를 설정하여, 상기 색상 범위를 기준으로 상기 영상 속 객체의 태그를 매칭하도록 구성되며,
    상기 영상 속 객체는,
    상기 복수의 건설 현장 별 태그 규정에 따라 동일한 상위 카테고리 태그를 가지되, 서로 다른 하위 카테고리 태그가 매칭되는, 건설 현장의 이미지 태깅 시스템.

Images