KR20240007160A - 크레인 오퍼레이터를 지원하기 위한 시스템 및 방법 - Google Patents

Abstract

구조적 부재의 식별에 기초하여, 구조적 부재에 대한 예상 경로와 최종 부착 위치가 크레인 조작자에게 제시된다. 또한, 각각의 구조적 부재의 치수가 결정되고 건설 현장 데이터베이스에 대해 비교된다. 건설 현장 데이터베이스에서 나열된 치수와 일치하지 않는 구조적 부재는 식별되고 크레인 조작자에게 경보된다.

Description

크레인 조작자를 지원하기 위한 시스템 및 방법

관련 출원에 대한 상호 참조

본 출원은 그 내용이 전체에 있어서 참조에 의해 본 명세서에 포함되는 2021년 4월 12일자 출원된 미국 특허 가출원 제63/173,584호 및 2021년 11월 29일자 출원된 미국 특허 가출원 제63/283,801호에 대해 우선권을 주장한다.

발명의 기술분야

본 발명은 통상적으로 크레인에 관한 것으로서, 더욱 상세하게 인공 지능과 컴퓨터 비전 기술을 사용하여 건설 현장에서 거더(girder), 빔 및/또는 기둥 등을 포함하는 구조적 부재와 같은 건축 자재 물체(building material object)를 설치 전에 식별하기 위한 장치에 관한 것이다.

건물, 교량, 및 기타 대형 구조물의 건설은 통상적으로 먼저 시멘트 및/또는 콘크리트 기초의 건설을 수반하고, 후속적으로 그 위에 철골 구조물이 세워진다. 철골 구조물은 통상적으로 구조물의 하중을 기초에 전달하는 상호 연결된 빔, 거더 및 기둥(즉, 구조적 부재)으로 구성된다. 일반적인 구조적 부재는 I-빔, H-빔, W-빔, 유니버설 빔, 압연 강 장선(RSJ) 빔, 상자 빔, 이중-T 빔 등을 포함한다. 시멘트, 보강 바(철근), 내장 판, HVAC 장비, 전기 시스템 등과 같은 기타 건축 자재는 건물 및 교량의 건설에 자주 사용된다. 구조물의 건설에 사용되며 크레인에 의해 제1 위치에서 제2 위치까지 호이스팅되는(hoisted) 모든 건축 자재는 건축 자재 물체(들)로 지칭되며, 예를 들어 구조적 부재, 시멘트, HVAC 장비, 철근 및 유리판을 포함하는 어떠한 건축 자재도 포함한다. "구조물"이라는 용어는 예를 들어 건물과 교량을 포함한 인공 장치를 의미한다.

철골 시공 프로세스 동안, 건축 자재 물체는 먼저 통상적으로 한 대 이상의 트럭에 의해 건설 현장으로 운반된다. 예를 들어, HVAC 장비는 평상형 세미트레일러 트럭에 의해 건설 현장으로 운반될 수 있고, 시멘트는 시멘트 트럭에 의해 건설 현장으로 운반될 수 있다. 이어서, 건축 자재 물체는 시공 현장의 크레인 근처에서 트럭으로부터 리프팅된다. 구조적 부재는 업계에서 통상적으로 "셰이크아웃 필드(shakeout field)"로 지칭되는 영역의 지면에서 서로 이웃하여 길이 방향으로 위치되며, 여기에서, 후속적으로 철골 구조물의 각각의 부착 위치로 호이스팅된다. 콘크리트(통상적으로 호퍼에 수용됨), 철근 더미 및 다발, 골판지, 배관, 전기 및 HVAC 공급 장치 및 시스템, 내장 판 등과 같은 기타 건축 자재 물체가 또한 셰이크아웃 필드(또는 크레인 근처의 별도 현장 위치) 내에 위치되고, 후속적으로 크레인에 의해 각각의 목적지 위치로 호이스팅된다.

각각의 건축 자재 물체는 통상적으로 부재의 외부 표면에 배치되는 손으로 작성되거나 또는 페인트 분사된 표식(건축 자재 물체의 "식별 표식(identifying indicium)")에 의해 식별된다. 표식은 통상적으로 일련의 영숫자 문자 및/또는 기호의 세트로 이루어지며, 철강 제작사에 의해 건축 자재 물체의 가시적 위치에 배치된다. 다른 유형의 식별 표식은 무선 주파수 식별(RFID) 태그, 빠른 응답(QR) 코드, 바코드 또는 손으로 작성되거나 또는 페인트 분사된 표식에 추가하거나 그 대신에 건축 자재 물체를 식별하기 위해 사용되는 기타 유형의 기계 판독 가능한 라벨을 포함한다.

각각의 식별 표식은 건축 정보 모델링(BIM) 소프트웨어 패키지 또는 다른 유형의 데이터베이스 시스템에 의해 제공되는 건설 현장 데이터베이스에 링크될 수 있다. 조지아주 케노소에 소재하는 Trimble Solutions, Inc.에서 제공하는 "Tekla" 소프트웨어 패키지는 BIM 소프트웨어 패키지의 일례이다. Tekla와 같은 고급 구조 BIM 소프트웨어는 철강 판매업자, 제작업체, 구조 엔지니어 등이 다수의 자재(예를 들어, 구조적 부재 및/또는 보강 바)의 3D 모델 및 관련 건설 정보를 생성, 결합, 관리 및 공유하는 것을 가능하게 한다. 데이터베이스는 또한 건축 자재 물체에 대한 호이스팅 순서 및 최종 건설 현장 부착 위치 또는 배치 위치를 포함하여 식별 표식과 관련된 정보를 저장할 수 있다. 예를 들어, HVAC 장비의 일부에 대한 건설 현장 최종 배치 위치는 거의 완성된 구조물의 지붕 위치로서 정의될 수 있다. 최종 건설 현장 부착 또는 배치 위치의 GNSS 좌표가 또한 건축 자재 물체의 배치를 지원하기 위해 이용 가능할 수 있다.

이러한 데이터는 통상적으로 각각의 건축 자재 물체에 대한 호이스팅 순서, 식별 표식, 및 최종 부착 위치 또는 배치 위치를 포함하는 단순화된 순서 목록(통상적으로 "리프팅 목록"으로 지칭됨)으로 통합되어 크레인 조작자에게 제공된다. 따라서, 각각의 건축 자재 물체의 식별 표식은 통상적으로 건설 현장 데이터베이스에 포함된 각각의 식별된 건축 자재 물체에 대한 자세한 정보에 대한 액세스를 제공할 수 있다. 예를 들어, 구조적 부재의 식별 표식은, 구조물 상에서의 구조적 부재의 부착 위치; 구조적 부재의 폭, 길이, 높이(일반적으로 업계에서 깊이로 지칭되며 한 플랜지의 외부면으로부터 다른 플랜지의 외부면까지의 공칭 높이를 나타냄), 및 중량; 금속의 표면 처리; 구조적 부재가 제조된 장소 및 시기; 철강 제조업체의 신원; 식별된 부재에 연결될 다른 구조적 부재의 신원; 재료의 유형; 부착된 브래킷, 구멍 패턴, 연결 위치와 같은 구조적 부재에 따른 기타 구조적 특징; 및/또는 구조적 부재와 관련된 기타 관련 정보(데이터)를 포함할 수 있는 구조적 부재의 데이터에 대한 액세스를 가능하게 할 것이다. 또 다른 예로서, 다발화된 철근(bundled rebar)의 식별 표식은 다발에 대한 구조물의 목적지 위치, 다발 내에 포함된 조각들의 크기, 길이, 및 수, 철근의 제조에 사용된 강의 유형, 철근이 제조된 장소와 시기, 및 철근 다발과 관련될 수 있는 제조자 및 임의의 기타 데이터를 포함할 수 있는 철근의 데이터에 대한 액세스를 제공한다.

따라서, 식별 표식은 식별된 건축 자재 물체와 각각 관련된 데이터를 잠금 해제하는 키이다. 크레인 조작자에게 특히 중요한 것은 구조적 부재의 리프팅 순서와, 특정 구조적 부재에 대한 최종 건설 현장 부착 위치 데이터이다. 예를 들어, 구조적 부재가 트럭으로부터 하역되어 셰이크아웃 필드로 이동되면, 크레인 조작자는 부분적으로 완성된 구조물 상의 부착 위치로 화물(즉, 구조적 부재)을 호이스팅하기 전에 적절한 리프팅 순서로 첫 번째 및 후속의 구조적 부재를 선택하는 임무를 맡는다. 구조적 부재는 통상적으로 작업자가 식별 표식을 방해받지 않고 보는 것을 보장하도록 셰이크아웃 필드에서 배향된다. 유사하게, 다른 유형의 건축 자재 물체의 식별 표식과 관련된 데이터는 호이스팅 순서 및 최종 건설 현장 목적지 위치를 포함할 수 있다. 이러한 데이터는 통상적으로 서로 다른 유형의 건축 자재 물체에 대한 호이스팅 순서, 식별 표식 및 목적지 위치를 포함하는 단순화된 순서 목록(예를 들어, 건축 자재 물체 리프팅 목록)으로 크레인 조작자에게 제공된다.

리프팅 순서는 통상적으로 첫 번째 및 후속의 구조적 부재와 구조물 상에서의 그 부착 위치를 식별하는 리프팅 목록의 형태이다. 적은 수의 구조적 부재를 갖는 단순한 구조물에 대해, 리프팅 목록 데이터는 손으로 작성된 목록의 형태일 수 있다. 대규모 구조물에 대해, 리프팅 목록 데이터는 건설 현장 데이터베이스에 통합되고, 크레인의 운전실이나 다른 곳에 있는 컴퓨터 시스템을 통해 액세스될 수 있다. 구조적 부재뿐만 아니라 다른 유형의 건축 자재 물체를 포함하는 조합된 리프팅 목록이 또한 제공될 수 있다. 예를 들어, 리프팅 목록은 구조물 상의 상이한 위치로 호이스팅하기 위한 3개의 구조적 부재와 2개의 시멘트 버킷의 순서화된 목록을 포함할 수 있다.

크레인 조작자가 리프트를 위한 정확한 건축 자재 물체를 선택하는 것을 지원하기 위해, 한 명 이상의 셰이크아웃 필드 직원("셰이크아웃 직원")은 건축 자재 물체의 식별 표식을 읽고 식별 표식을 리프팅 목록 데이터와 비교하는 것에 의해 정확한 건축 자재 물체를 시각적으로 식별한다. 이어서, 레이아웃 직원은 크레인 후크를 정확하게 식별된 건축 자재 물체의 위치로 이동시키고 메인 후크 블록을 물체에 부착하도록 크레인 조작자에게 지시한다. 이어서, 크레인 조작자는 부착 위치 근처에 있는 한 명 이상의 철공소 직원(iron worker)의 도움을 받아 건축 자재 물체를 구조물 상의 목적지 위치로 호이스팅한다. 통신은 셰이크아웃 필드로부터 구조물 상의 목적지 위치까지 건축 자재 물체의 리프팅 이동 동안 철공소 직원과 크레인 조작자 사이에서 수신호 및/또는 무선 통신을 사용하여 유지된다. 그러나, 무선 통신 및/또는 수신호를 사용하더라도, 크레인 조작자와 철공소 직원 사이의 빈약한 통신 때문에 또는 화물의 호이스팅 동안 방해되는 현장을 크레인 조작자가 볼 수 없기 때문에 건축 자재 물체가 기존의 구조물과 충돌할 가능성이 여전히 존재한다.

철강 제작사는 전형적으로 영숫자 문자 및/또는 기타 기호를 사용하여 건축 자재 물체 상에 식별 표식을 마킹한다. 이러한 표식은 통상적으로 분필, 페인트, 지워지지 않는 잉크 또는 기타 유형의 재료를 사용하여 손으로 작성되는 데, 왜냐하면 이러한 기술이 통상적으로 작업자가 셰이크아웃 필드에서 특정 건축 자재 물체를 식별하는 데 빠르고 저렴하며 충분하기 때문이다. 그러나 손으로 작성된 식별 표식은 영숫자 및 기타 기호를 읽는 작업자의 해석에 따라 달라질 수 있다. 예를 들어, 대문자 'J'는 '1'로서 해석될 수 있고, 소문자 'b'는 '6'으로서 해석될 수 있다. 수기 표식은 독자의 관점에 따라 거꾸로 또는 옆으로 쓰여질 수도 있으며, 이로 인해 영숫자 문자 및/또는 기호의 정확한 인식이 더욱 복잡해진다. 따라서, 셰이크아웃 필드 직원이 건축 자재 물체를 오인할 가능성이 높다.

건축 자재 물체의 부적절한 식별은 크레인 조작자가 건축 자재 물체를 잘못된 목적지 위치에 위치시키게 할 수 있다. 이러한 경우에, 먼저 부적절하게 식별된 건축 자재 물체를 목적지 위치로 가져오고, 이어서, 부적절하게 식별된 건축 자재 물체를 셰이크아웃 필드로 다시 가져오고, 부적절하게 식별된 건축 자재 물체를 메인 후크 블록으로부터 분리하고, 정확한 건축 자재 물체를 재식별하고, 크레인을 정확한 건축 자재 물체로 이동시키고, 크레인 케이블을 정확한 건축 자재 물체에 다시 연결하고, 이어서, 정확한 건축 자재 물체를 구조물 상의 원하는 목적지 위치로 다시 호이스팅하는 것에 의해 귀중한 건설 시간이 손실된다.

현재의 건설 관행은 또한 식별 표식이 건설 현장 데이터베이스 또는 철골 구조물에 대한 다른 데이터베이스(들)에 포함된 건축 자재 물체 및 그 대응하는 정보를 정확하게 식별한다고 가정한다. 그러나, 때때로, 건축 자재 물체의 철강 제작사 또는 공급업체는 건축 자재 물체에 잘못된 식별 표식을 할당할 수 있다. 이러한 오류로 인해 조작자는 레이아웃 직원이 건축 자재 물체를 오인한 경우와 마찬가지로, 잘못된 건축 자재 물체를 부착 위치로 호이스팅하고, 이어서, 다시 셰이크아웃 필드로 이를 복귀시키게 한다.

철강 제작사가 건축 자재 물체를 적절하게 식별하지만 건설 현장 데이터베이스 사양에 따라서 건축 자재 물체를 제조하는 데 실패하였을 때 유사한 문제가 발생한다. 예를 들어, 구조적 부재는 원하는 길이, 폭 및/또는 높이로 제작되지 않았을 수 있다. 이 시점에서, 새로운 구조적 부재는 철강 제작사에 의해 수정되거나 다시 제조되어야만 하며, 이는 통상적으로 제조 오류의 심각도, 구조적 부재 크기, 강의 가용성, 및 기타 요인에 의존하여 몇 시간 또는 심지어 며칠이 소요된다. 추가적으로, 구조적 부재에는 구조물에 적절하게 부착하기 위해 필요한 구조적 특징이 누락될 수 있다. 예를 들어, 브래킷 및/또는 구멍 패턴이 누락되었거나, 부정확하게 크기화되었거나, 또는 구조적 부재 상에서 부정확한 위치를 가질 수 있다. 이러한 오류는 통상적으로 문제가 있는 구조적 부재가 부착 위치로 호이스팅되고 구조물에 적절하게 부착될 수 없을 때까지 드러나지 않는다. 이러한 오류는 수반된 가동 중지 시간때문에 일반 건설업자에게 매우 큰 비용을 초래할 수 있으며, (구조적 부재가 특정 순서에 따라 리프팅되어야만 하기 때문에) 다시 제조된 구조적 부재가 수정되거나 다시 제조되어 건설 현장으로 다시 배송될 때까지 전체 건설 현장 프로세스가 중단될 가능성이 있다.

유사한 문제가 다른 건축 자재 물체에도 존재한다. 적절하게 식별되었지만 건설 현장 데이터베이스 사양에 따라서 건축 자재 공급업체에 의해 제조되지 않은 건축 자재 물체는 호이스팅된 건축 자재 물체가 셰이크아웃 필드로 복귀되게 한다. 예를 들어, 건축 자재 물체는 길이가 10 피트이고 직경이 10/8 인치인 #10 철근 20개를 갖는 것으로서 식별될 수 있지만, 제조 오류 때문에, 철근은 8/8 인치의 공칭 직경을 갖는 크기 #8이 될 수 있다.

따라서, 건설 산업에서, 사람의 개입의 필요성 없이 셰이크아웃 필드 위치에서 각각의 건축 자재 물체를 용이하고 정확하며 자동으로 식별할 수 있는 장치가 필요하다. 추가적으로, 건설 산업에서, 실제 셰이크아웃 필드 건축 자재 물체 사양을 자동으로 결정하고 이러한 사양을 각각의 건설 현장 데이터베이스 또는 기타 설계 사양 데이터베이스와 비교하여 부정확하게 제조된 건축 자재 물체의 호이스팅을 제거하는 장치가 필요하다. 건설 산업에서, 목적지 위치로 호이스팅되는 건축 자재 물체와 그 목적지 위치에 이미 배치된 다른 건축 자재 물체 사이의 충돌을 방지하는 장치에 대한 또 다른 요구가 있다. 건설 산업에서의 또 다른 요구 사항은 크레인 조작자가 건축 자재 물체를 목적지 위치로 호이스팅하는 것을 지원하는 호이스팅 경로를 제공하는 것이다.

이전의 결함 및 다른 결함을 해결하기 위해, 본 발명의 일부 실시형태는 셰이크아웃 필드 내에 포함된 각각의 건축 자재 물체를 자동으로 영상화하고 영상을 처리하여 각각의 물체의 식별 표식을 결정하는 영상화 시스템을 포함한다. 예를 들어, 영상화 시스템은 영숫자 표식의 영상을 캡처하고 기계 학습 또는 인공 지능 알고리즘을 활용하여 식별 표식을 판독할 수 있다. 영상화 시스템은 또한 식별 표식을 판독하기 위해 QR 코드, 바코드 등을 스캔할 수 있다. 영상화 시스템은 크레인 붐(crane boom)의 메인 후크 블록 또는 그 근처에 부착된 것과 같이 임의의 적절한 위치에 위치될 수 있다. 영상화 시스템은 또한 하나 이상의 드론 차량 또는 더 많은 모바일 디바이스 내에 위치될 수 있다.

본 발명의 일부 실시형태에서, 영상화 시스템은 건축 자재 물체의 기하학적 특성(예를 들어, 구조적 부재의 폭(플랜지 폭), 길이 및 높이)을 측정하고, 측정된 기하학적 특성을 건설 현장 데이터베이스(예를 들어, BIM 데이터) 또는 기타 데이터베이스(들)에 저장된 기하학적 특성과 비교한다. 예를 들어, 영상화 시스템은 건축 자재 물체를 시멘트 버킷으로서 식별하고, 기하학적 특성(예를 들어, 둥근 형상의 버킷의 직경 및 높이)을 결정하고, 이어서, 채워진 시멘트 버킷의 부피를 계산할 수 있거나, 또는 버킷 내에 수용된 시멘트의 높이를 결정하는 것에 의해 부분적으로 채워진 시멘트 버킷의 부피를 결정할 수 있다. 또 다른 예로서, 컴퓨팅 시스템은 또한 호이스팅을 위해 길이 방향으로 함께 다발화되어 묶인 철근 조각의 수를 결정하고, 철근의 기하학적 특성(길이 및 직경)을 결정하고, 계산된 기하학적 특성을 건설 현장 데이터베이스에 저장된 기하학적 특성과 비교할 수 있다. 설계 사양의 기하학적 특성과 일치하지 않는 이들 건축 자재 물체는 리프팅 프로세스가 시작되기 전에 추후에 셰이크아웃 필드의 시각적 표현 내에서 시각적으로 식별되어, 정확한 건축 자재 물체가 건설 현장 목적지 위치로 호이스팅되는 것을 추가로 보장할 수 있다.

본 발명의 일부 실시형태에서, 영상화 시스템은 건축 자재 물체와 관련된 브래킷 또는 구멍 패턴과 같은 구조적 특징의 실제 치수, 위치 및 기타 기하학적 특성을 식별, 분류 및 결정하고, 이들 특징의 치수 및 위치를 건설 현장 데이터베이스(BIM 또는 기타 데이터베이스)에 저장된 치수 및 위치와 비교하여, 구조적 특징의 치수, 위치 및 기타 기하학적 사양을 충족시키지 않는 이들 부재를 시각적으로 식별할 수 있다. 측정된 기하학적 특성이 정확한 것을 보장하기 위해, 영상화 시스템은 영상 데이터를 LIDAR와 같은 거리 측정 디바이스의 출력과 조합할 수 있다.

본 발명의 일부 실시형태에서, 영상화 시스템은 식별 표식을 정확하게 인식하고 셰이크아웃 필드 내의 구조적 부재의 기하학적 특성을 측정하기 위해 영숫자 문자 및/또는 기호를 인식하도록 훈련된 영상 처리 및 컨볼루션 신경망 소프트웨어(image processing and convolutional neural network software)를 실행한다. 이러한 소프트웨어는 셰이크아웃 필드 내의 구조적 부재를 함께 식별하고, 각각의 구조적 부재에 대한 식별 표식을 식별 및 인식하며, 각각의 구조적 부재와 관련된 구조적 특징을 식별 및 인식하고, 구조적 부재와 그 구조적 특징 모두의 기하학적 측정치를 제공할 수 있다.

본 발명의 일부 실시형태에서, 영상화 시스템은 현장 내에서 호이스팅된 구조적 부재의 위치뿐만 아니라 영상화 시스템의 위치를 추적하는 관성 네비게이션 시스템(inertial navigation system, INS)이 장비된다. 영상화 시스템의 INS로부터의 데이터는 영상화 시스템 자체의 위치, 셰이크아웃 필드 내 구조적 부재의 위치, 및/또는 크레인 조작자가 구조적 부재를 초기 위치로부터 목적지 위치로 리프팅하는 동안 피해야 하는 장애물과 같은 현장의 기타 중요한 특징을 실시간으로 추적하기 위해 건설 현장 데이터베이스에 입력될 수 있다.

본 발명의 일부 실시형태에서, 영상화 시스템은 예를 들어 크레인의 운전실 내에 위치될 수 있는 조작자 시스템; 모바일 시스템("상기 모바일 시스템"); 및/또는 서버 시스템("상기 서버")을 포함하는 몇몇 다른 시스템과 상호 작용한다. 이들 시스템은 서로 양방향 통신할 수 있으며, 무선 주파수(RF) 모뎀 등을 통해 데이터를 전송 및 수신할 수 있다. 또한, 이들 시스템의 각각은 클라우드 서비스와 양방향 통신할 수 있고, 모두 인터넷이나 기타 적절한 네트워크를 통해 클라우드에 데이터를 전송하고 수신할 수 있다.

본 발명의 일부 실시형태에서, 조작자 시스템은 크레인의 운전실 내에 위치되며, 하나 이상의 컴퓨터, 디스플레이 디바이스(예를 들어, 액정 디스플레이(LCD)), 입력 디바이스(예를 들어, 키보드, 조이스틱, 터치 감지 디스플레이), 무선 통신 모뎀 및 전원 공급 시스템을 포함한다. 컴퓨터는 또한 크레인 조작자에게 오디오 지시와 기타 정보를 제공하기 위한 스피커를 포함한다. 영상화 시스템과 마찬가지로, 조작자 시스템에는 현장 내에서 조작자 시스템의 위치를 추적하는 하나 이상의 INS가 장비될 수 있다.

본 발명의 일부 실시형태에서, 영상화 시스템은 크레인의 메인 후크 블록에 부착되어 이와 함께 이동한다. 이러한 상황에서, 영상화 시스템과 조작자 시스템은 특정 크레인 전용이고, 크레인 특정 시스템으로 지칭된다(즉, 이들은 단일 특정 크레인에만 관련된다). 임의의 수의 모바일 시스템이 크레인 특정 시스템과 관련될 수 있다. 따라서, 하나 이상의 크레인이 있는 건설 현장의 경우, 각각의 크레인을 위한 제1 및 영상화 시스템과 각각의 크레인 특정 시스템과 관련된 하나 이상의 모바일을 포함하는 다수의 크레인 특정 시스템이 있을 것이다. 다른 실시형태에서, 영상화 시스템은 하나 이상의 드론 차량에 부착될 수 있다. 이들 실시형태에서, 영상화 시스템은 (크레인 특정 시스템을 유지하는) 단일 크레인과 통신적으로 연결되거나, 또는 단일 건설 현장의 다수의 크레인의 각각에 통신적으로 연결될 수 있으며, 이러한 경우에, 영상화 시스템에 의해 모아진 데이터는 수집되고 식별된 식별 표식에 기초하여 그리고/또는 건설 현장에서의 (예를 들어, 특정 셰이크아웃 필드에서) 건축 자재 물체의 위치에 의해 특정 크레인과 관련된다.

본 발명의 일부 실시형태에서, 추가 소프트웨어는 디스플레이를 통해 크레인 조작자에게 지시, 그래픽 및 기타 정보를 디스플레이하기 위해 제공된다. 예를 들어, 운전실 내의 디스플레이 디바이스는 조작자에게 작업 현장의 3D 표현을 보여줄 수 있다. 3D 표현은 셰이크아웃 필드 내에서 구조적 부재의 위치, 건설 중인 구조물의 세부사항, 및/또는 현장의 경계를 포함하여 영상화 시스템에 의해 캡처된 어떠한 정보도 나타낼 수 있다. 3D 표현은 또한 각각의 식별된 구조적 부재에 대해, 초기 위치로부터 목적지 위치까지의 경로와, 경로를 따라서 또는 경로 근처에 있는 어떠한 잠재적 장애물도 나타낼 수 있다.

본 발명의 일부 실시형태에서, 컴퓨팅 시스템(영상화 시스템, 조작자 시스템, 모바일 시스템, 서버 시스템 또는 클라우드 서비스일 수 있음)은 조작자 시스템의 디스플레이에서 크레인 조작자에게 제시되고/되거나 하나 이상의 모바일 시스템을 통해 다른 건설 현장 작업자에게 전송될 수 있는 컴퓨터 생성 식별 표식으로 주석이 달린 각각의 식별된 건축 자재 물체와 함께 셰이크아웃 필드의 시각적 표현을 생성한다. 호이스팅될 각각의 대기 중인 건축 자재 물체에 대해, 고유한 시각적 식별자는 크레인 조작자를 위한 셰이크아웃 필드의 시각적 표현 내에서 건축 자재 물체를 강조한다. 예를 들어, 호이스팅될 다음 구조적 부재(리프팅 목록에서 식별됨)는 (예를 들어, 건축 자재 물체를 녹색으로 채색하고/하거나 그 주변을 강조하는 것에 의해) 크레인 조작자에게 시각적으로 식별될 수 있다. 원하는 건축 자재 물체가 리프팅 목록에서 명시된 바와 같은 정확한 순서로 호이스팅되는 것을 보장하기 위해 다른 시각적 또는 청각적 식별자가 사용될 수 있다. 일부 실시형태에서, 리프팅 목록 내에 포함되지 않지만 셰이크아웃 필드 내에 위치되는 건축 자재 물체는 예를 들어 적색 "X"와 같은 대비 색상의 기호에 의해 시각적으로 식별될 수 있다.

본 발명의 일부 실시형태에서, 컴퓨팅 시스템은 건축 자재 물체의 무게중심을 결정하고, 식별된 건축 자재 물체의 상단에 시각적 무게중심 위치 지정 기호(visual center-of-gravity locating symbol)를 중첩 배치한다. 추가적으로, 크레인 조작자가 셰이크아웃 필드 위치로부터 (구조적 부재와 같은) 건축 자재 물체를 호이스팅하도록 준비함에 따라서, 십자선 패턴이 메인 후크 블록 셰이크아웃 필드 위치를 시각적으로 나타내기 위해 셰이크아웃 필드의 시각적 표현에 중첩될 수 있다. 후크와 블록이 한 위치에서 다른 위치로 이동됨에 따라서, 크레인 조작자에게 디스플레이되는 십자선 패턴은 메인 후크 블록 이동과 관련하여 이동할 수 있다. 이어서, 크레인 조작자는 호이스팅되기 위해 대기 중인 건축 자재 물체의 LCD 화면 위치를 메인 후크 블록 십자선 패턴과 시각적으로 비교하고, 호이스팅을 위한 준비 프로세스에서, 크레인 붐을 이동시켜 강조 표시된 건축 자재 물체 위에, 특히 선택된 건축 자재 물체의 무게중심 위치 기호 위에 십자선 패턴을 정렬할 수 있다.

본 발명의 일부 실시형태에서, 컴퓨팅 디바이스는 셰이크아웃 필드(시작 위치)로부터 지정된 부착물까지의 3차원 예상 경로를 생성할 수 있거나, 또는 철골 구조물 상의 목적지 위치는 선택된 구조적 부재 또는 건축 자재 물체를 부착 위치 또는 목적지 위치에 각각 적절하게 배치하기 위해 크레인 조작자를 더욱 지원하도록 제공된다. 건축 자재 물체의 초기 위치는 영상화 시스템으로부터 획득되고, 목적지 위치는 서버 시스템에 이전에 저장된 건설 현장 데이터(BIM 데이터)로부터 결정될 수 있다, 예상 경로는 초기 위치로부터 목적지까지 계산되고, 추가 건축 자재 물체가 철골 구조물에 추가됨에 따라서 건설 현장 데이터베이스에서 계속적으로 업데이트된다. 업데이트된 건설 현장 데이터베이스는 예상 경로 생성을 위한 회피 데이터를 제공한다. 예상 경로는 운전실 컴퓨터와 조작자 시스템의 디스플레이를 통해 및/또는 조작자 시스템의 스피커를 통해 크레인 조작자에게 전달되는 음성 호이스팅 지침을 통해 크레인 조작자에게 시각적으로 전달될 수 있다.

예상 경로 계산은 BIM 데이터베이스로부터 획득된 데이터와 식별 표식이 있는 모든 구조적 부재 또는 건축 자재 물체에 링크된 철골 구조물 상의 부착 또는 목적지 위치의 정확한 식별에 의존한다. 구조적 부재 또는 건축 자재 물체의 잘못된 식별은 부정확한 예상 경로 계산, 그러므로 부정확한 부착 또는 목적지 위치를 초래하게 된다.

잘못 식별된 구조적 부재 또는 건축 자재 물체로 인해 이미 호이스팅된 구조적 부재 또는 건축 자재 물체는 셰이크아웃 필드로 복귀되어야만 하고, 원하는 구조적 부재 또는 건축 자재 물체는 재식별되고, 이어서, 다시 원하는 부착 또는 목적지 위치로 호이스팅되는 결과를 초래한다.

본 발명의 일부 실시형태에서, 컴퓨팅 디바이스는 각각의 건축 자재 물체 주위의 가상 3D "회피 슈라우드(avoidance shroud)"를 계산한다. 회피 슈라우드는 건축 자재 물체에 대한 식별 표식 및 식별된 건축 자재 물체에 대한 건설 현장 데이터베이스에 포함된 치수에 기초하여 계산될 수 있다. 3D 회피 슈라우드는 건축 자재 물체를 둘러싸기 위한 확장된 치수로 이루어질 수 있다. 예를 들어, 10 피트의 길이, 1 피트의 폭, 2 피트의 높이를 갖는 I-빔 구조적 부재에 대한 직사각형 3D 회피 슈라우드(외피 볼륨(enveloping volume))는 이러한 치수가 길이에 대해 12 피트, 폭에 대해 2 피트, 높이에 대해 3 피트까지 증가할 수 있거나, 또는 실제 치수의 백분율 증가가 사용될 수 있다. 따라서, 각각의 배치되고 호이스팅된 건축 자재 물체는 실제 물체를 둘러싸는 관련된 충돌 회피 슈라우드를 갖는다. 건축 자재 물체("화물")가 호이스팅됨에 따라서, 조작자 시스템은 화물의 목적지 위치까지의 현재 호이스팅 경로의 예상이 기존 철골 구조물 또는 기타 건축 자재 물체와 충돌할 수 있음을 크레인 조작자에게 경고하는 조기 충돌 경고 충돌 경보(early collision warning collision alert)를 제공할 수 있다. 조기 경고 충돌 경보 시스템은 예상된 목적지 경로를 따라서 이미 배치된 건축 자재 물체의 충돌 회피 슈라우드를 호이스팅된 슈라우드가 교차할지의 여부를 결정하기 위해 이미 배치된 건축 자재 물체의 충돌 회피 슈라우드와 호이스팅된 건축 자재 물체의 충돌 회피 슈라우드를 사용할 수 있다. 이러한 접근 방식은 이전에 건설 현장에 배치된 이들 건축 자재 물체와 현재 그 각각의 목적지 위치로 호이스팅되고 있는 건축 자재 물체 사이의 충돌 위험을 최소화한다.

본 발명의 일부 실시형태에서, 컴퓨팅 디바이스는 셰이크아웃 필드 위치로부터 각각의 호이스팅된 건축 자재 물체에 대한 목적지 위치까지 최적의 3D 호이스팅 경로를 계산한다. 계산된 최적의 3D 경로는 현재 호이스팅된 건축 자재 물체와 그 각각의 충돌 회피 슈라우드의 위치와 함께 이미 배치된 건축 자재 물체와 그 각각의 충돌 회피 슈라우드를 고려할 수 있다. 일부 실시형태에서, 크레인 조작자에 의해 호이스팅될 제1 건축 자재 물체에 대한 3D 경로는 자동으로 기록되어 메모리에 저장된다. 제2 건축 자재 물체에 대한 후속 경로는 제1 기록된 경로, 셰이크아웃 필드 위치, 제2 건축 자재 물체의 목적지 위치, 이미 배치된 건축 자재 물체의 충돌 회피 슈라우드, 및 호이스팅된 물체에 기초하여 계산된다. 모든 건축 자재 물체에 대한 목적지 위치는 각각의 건축 자재 물체의 식별 표식을 사용하여 건설 현장 데이터베이스로부터 도출될 수 있다. 3D 경로는 충돌 회피 슈라우드와 함께 크레인 조작자에게 디스플레이되어, 크레인 조작자가 원하는 목적지 위치에 건축 자재 물체를 배치하는 것을 지원하고, 움직임(좌측, 우측, 위, 아래)은 조작자가 이미 배치된 건축 자재 물체 사이의 충돌을 피하는 것을 지원하도록 제안될 수 있다. 이러한 제안된 움직임은 크레인 조작자에게 시각적 또는 구두로 전달될 수 있다. 추가적으로, 일단 호이스팅된 건축 자재 물체가 정확한 목적지 위치로 호이스팅되었으면, 조작자 시스템은 건설 현장 데이터베이스에 따라서 정확한 건축 자재 물체가 정확한 목적지 위치에 있음을 조작자에게 경보할 수 있다.

본 발명의 일부 실시형태는 영상화 시스템, 조작자 시스템 및/또는 서버 시스템과 양방향 통신하는 하나 이상의 모바일 시스템을 포함한다. 모바일 시스템은 바람직하게 랩톱 컴퓨터, 태블릿, 휴대폰 등과 같은 휴대용 컴퓨터 시스템으로 구현되며, 따라서 하나 이상의 프로세서, 디스플레이 디바이스 및/또는 입력 디바이스를 포함할 수 있다. 모바일 시스템은 또한 다른 시스템 요소와의 통신을 위한 RF 모뎀을 포함하고, 인터넷에 액세스하기 위해 장비(하드웨어 및 소프트웨어)될 수 있다. 추가적으로, 모바일 시스템은 아주 가까이에 있는 건설 현장 구역 내부와 외부 모두에서 모바일 시스템의 위치를 결정하기 위한 RTK 지원 GNSS 수신기를 포함하는 INS를 통합한다. 모바일 시스템은 또한 전체 건설 현장 데이터베이스, 리프팅 목록, 3D 경로 데이터 등과 같은 현장에 대한 전체 또는 제한된 액세스 데이터를 가질 수 있다. 모바일 시스템은 이러한 데이터를 계약자, 감독, 크레인 조작자, 셰이크아웃 필드 직원 또는 기타 적절한 승무원에게 디스플레이할 수 있다. 모바일 시스템(들)은 철골 구조물에 있는 철공소 직원, 셰이크아웃 필드 직원 또는 기타 건설 현장 직원에 의해 운반될 수 있다. 모바일 시스템(들)은 기존의 태블릿 또는 휴대용 컴퓨터, 휴대폰 또는 기타 유형의 통신 디바이스를 포함할 수 있다. 모바일 시스템은 임의의 크레인에만 특별히 전용되지 않을 수 있으며, 인터넷과 서버를 통해 다른 크레인과 관련된 다른 크레인 관련 데이터에 액세스할 수 있다.

본 발명의 일부 실시형태는 영상화 시스템, 조작자 시스템 및/또는 서버 시스템과 양방향 통신하는 하나 이상의 서버 시스템을 포함한다. 서버 시스템은 설계상 통상적일 수 있으며, 공통 요청-응답 패러다임에 기초하여 동작할 수 있다. 예를 들어, 서버 시스템은 리프팅 목록 데이터 및 기타 건설 현장 관련 데이터를 포함하는 건설 현장 데이터베이스를 저장할 수 있으며, 요청 시에 또는 필요에 따라 해당 데이터를 조작자 시스템, 상상 시스템 및/또는 모바일 시스템에 제공할 수 있다. 서버 시스템은 Wi-Fi, 셀룰러 또는 임의의 기타 기존 수단을 통해 인터넷에 액세스하기 위해 추가로 장비된다. 서버는 또한 다른 시스템과 통신하기 위한 하나 이상의 무선 통신 모뎀도 포함되어 있다.

본 발명의 다른 목적 및 이점은 명세서 및 도면을 검토한 후에 더욱 명확해질 것이다. 전술한 일반적인 설명과 다음의 상세한 설명은 모두 본 발명의 예시이지만 제한하는 것은 아니라는 것이 이해되어야 한다.

본 발명의 상기 및 기타 양태와 장점은 첨부 도면과 함께 다음의 상세한 설명을 고려하면 더욱 명백해질 것이고, 본 명세서에서 유사한 도면 부호는 전체적으로 유사한 부분을 지칭한다:
도 1은 본 발명의 실시형태에 따른, 건축 자재 물체 및 부분적으로 완성된 구조물을 포함하는 셰이크아웃 필드와 함께 건설 현장에 위치된 전형적인 크롤러 크레인(crawler crane)의 사시도이고;
도 2는 본 발명의 실시형태에 따른, 크레인의 운전실에 장착된 조작자 시스템과 메인 후크 블록에 장착된 영상화 시스템을 포함하는 크롤러 크레인의 사시도이고;
도 3a 및 도 3b는 본 발명의 실시형태에 따른, 영상화 시스템, 조작자 시스템, 모바일 시스템, 서버 시스템, 및 클라우드 서비스 사이의 양방향 통신을 도시하는 개략도이고;
도 4는 본 발명의 실시형태에 따른, 예시적인 조작자 시스템의 블록도이고;
도 5는 본 발명의 실시형태에 따른, 예시적인 영상화 시스템의 블록도이고;
도 6은 본 발명의 실시형태에 따른, 예시적인 모바일 시스템의 블록도이고;
도 7은 본 발명의 실시형태에 따른, 예시적인 서버 시스템의 블록도이고;
도 8a는 본 발명의 실시형태에 따른, 가시적인 손으로 작성된 식별 표식으로 마킹된 구조적 부재의 부분 평면도이고;
도 8b는 본 발명의 실시형태에 따른, 도 8a의 구조적 부재의 측면도이고;
도 9a는 본 발명의 실시형태에 따른, 리프팅 후크 위에 장착된 영상화 시스템을 갖는 메인 후크 블록의 정면도이고;
도 9b는 본 발명의 실시형태에 따른, 도 9a의 메인 후크 블록의 측면도이고;
도 10은 본 발명의 실시형태에 따른, 예시적인 조작자 시스템의 컴퓨터의 블록도이고;
도 11은 본 발명의 실시형태에 따른, 영상 보정 및 노이즈 제거 프로그램의 블록도이고;
도 12a는 본 발명의 실시형태에 따른, 브래킷과 4쌍의 부착 구멍을 갖는 구조적 부재의 상단 표면의 왜곡된 영상이고;
도 12b는 본 발명의 실시형태에 따른, 브래킷과 4쌍의 부착 구멍을 갖는 구조적 부재의 상단 표면의 왜곡 보정 및 노이즈 필터링된 분할 영상이고;
도 13a는 본 발명의 실시형태에 따른, 단일 구조적 부재를 갖는 예시적인 셰이크아웃 필드의 6개의 중첩 영상을 도시하고;
도 13b는 본 발명의 실시형태에 따른, 도 13a의 셰이크아웃 필드의 스티칭된 영상을 도시하고;
도 14는 본 발명의 실시형태에 따른, 영상화된 물체 거리에 대한 렌즈의 기능으로서 물체 공간에 대한 영상 공간 변환 비율의 그래프이고;
도 15는 본 발명의 실시형태에 따른, 셰이크아웃 필드의 또 다른 스티칭된 영상이고;
도 16은 본 발명의 실시형태에 따른, 지면에 놓인 I-빔과 I-빔 위에 위치된 이동성 거리 센서의 측면도이고;
도 17 및 도 18은 본 발명의 실시형태에 따른, 예시적인 구조적 부재와 관련된 데이터를 나타내는 데이터 구조를 도시하고;
도 19는 본 발명의 실시형태에 따른, 예시적인 영상화 시스템의 컴퓨터의 블록도이고;
도 20은 본 발명의 실시형태에 따른, 영상화 시스템으로부터 조작자 시스템으로 전송되는 데이터 패킷의 블록도이고;
도 21a 내지 도 21c는 일부 실시형태에 따른, 본 발명을 실시하기 위한 예시적인 방법의 흐름도이고;
도 22는 호이스팅을 위해 대기 중인 구조적 부재의 상단 표면 영상에 디스플레이된 무게중심 위치 기호를 갖는 셰이크아웃 필드의 영상을 예시하고; 그리고
도 23은 BIM 건설 현장 데이터베이스, IFC 파일 및 GNSS 위치 계산기 사이의 관계를 도시한다.

다음의 설명에서, 본 명세서에서 개시된 본 발명 개념의 실시형태의 철저한 이해를 제공하기 위해 몇 가지 특정 세부사항이 제시된다. 그러나, 당업자는 본 명세서에서 개시된 본 발명의 개념의 실시형태가 하나 이상의 특정 세부사항 없이, 또는 다른 구성요소 등과 조합하여 실행될 수 있다는 것을 인식할 것이다. 다른 예에서, 널리 공지된 구현 또는 동작은 본 명세서에 개시된 발명 개념의 다양한 실시형태의 모호한 측면을 피하기 위해 상세하게 도시되거나 설명되지 않는다.

도 1을 참조하면, 크레인(105), 셰이크아웃 필드(110), 및 도시된 바와 같이 부분적으로 완성된 구조물(115)을 갖는 전형적인 건설 현장(100)이 도시되어 있다. 크레인(105)이 크롤러 크레인으로서 예시되어 있더라도, 타워 크레인, 항만(부유하는) 크레인, 텔레스코픽 크레인, 레벨-러핑 크레인(level-luffing crane), 험지형 크레인, 및 갠트리 및 지브형 크레인(gantry and jib type crane)과 같은 다른 유형의 크레인이 예를 들어 명시적으로 예상된다. 본 명세서에서 구체적으로 나열되지 않은 다른 유형의 크레인 및 유사한 건설 장비는 명백히 본 발명의 범위 내에 있는 것으로 의도된다. 크레인(105)은, 전형적으로 셰이크아웃 필드(110)와 구조물(115) 근처에 위치되어 셰이크아웃 필드로부터 부분적으로 완성된 구조물까지 건축 자재 물체의 효율적인 호이스팅을 가능하게 하는 크레인 호이스팅 위치(107)의 지면(109)에 위치된다. 구조물(115)은 기초(116)와 부분적으로 완성된 구조물(118)을 포함한다. 부분적으로 완성된 구조물(118)은 통상적으로 기초(116)에 부착되는 수직 기둥(117a, 117b, 117c, 117d)을 포함한다.

셰이크아웃 필드(110)는 철강 제작사로부터 도착하는 구조적 부재와 같은 건축 자재 물체가 통상적으로 평판 트럭으로부터 하역되는 건설 인력에 의해 지정된 영역이다. 하나 이상의 크레인을 갖는 대규모 건설 프로젝트를 위해, 다수의 셰이크아웃 필드가 있을 수 있으며, 각각의 필드는 각각의 크레인의 크레인 호이스팅 위치 근처에 있다. 따라서, 셰이크아웃 필드 위치는 때때로 건설 현장 내에 고정되지 않고, 관련 크레인 호이스팅 위치를 위해 편리한 위치에 배치된다. 유사하게, 크레인(105)은 어느 날 구조물(115)의 한쪽 측면에 있는 건축 자재 물체를 호이스팅하고, 다른 날에 다른 위치로 이동하여 구조물(115)의 다른쪽 측면에 있는 건축 자재 물체를 호이스팅할 수 있다. 이러한 경우에, 하나 이상의 크레인 중 2개의 상이한 크레인 호이스팅 위치에 대응하는 2개(또는 그 이상)의 셰이크아웃 필드(110)가 있을 것이다.

셰이크아웃 필드(110)는 셰이크아웃 필드로부터 부분적으로 완성된 구조물(118)의 부착 위치로 호이스팅되는 구조적 부재, 또는 철근 또는 시멘트 버킷과 같은 다른 유형의 건축 자재 물체와 같은 다양한 건축 자재 물체를 포함한다. 이러한 구조적 부재는 전형적으로 빔, 거더, 기둥 등을 포함하지만, 구조적 부재는 임의의 적합한 건물 구성요소일 수 있다. 도 1에 도시된 바와 같이, 셰이크아웃 필드(110)는 I-빔(120, 121)과 묶음 철근(121a)을 포함한다. 구조적 부재는 통상적으로 크기가 다르며, 구멍, 거싯, 브래킷, 및 구조물(115)의 건물 사양에 따라 결정되는 기타 구조적 특징을 가질 수 있다. 2개의 I-빔(120, 121)만이 명확성을 위해 도시되어 있더라도, 통상적으로 더 많은 구조적 부재가 셰이크아웃 필드에 포함된다. 마찬가지로, 한 다발의 철근(121a)만이 명확성을 위해 도시되어 있더라도, 시멘트 버킷, HVAC 장비, 유리판 등을 포함하지만 이에 제한되지 않는 다른 유형의 건축 자재 물체가 셰이크아웃 필드 영역 내에 배치될 수 있다. 셰이크아웃 필드(110)는 구조물(115)의 건설에 필요한 임의의 수의 상이한 건축 자재 물체를 포함할 수 있다.

크레인(105)이 셰이크아웃 필드(110)로부터 건축 자재 물체를 적소로 호이스팅함에 따라서, 이미 호이스팅된 건축 자재 물체를 보충하기 위해 셰이크아웃 필드에서 새로운 건축 자재 물체의 추가 배송이 도착하는 것은 드문 일이 아니다. 구조물(115)의 사양에 의존하여, 다양한 유형의 크레인이 건설 현장(100)에서 사용될 수 있다. 예를 들어, 크롤러 크레인 외에, 타워 크레인과 같은 현장에서 여러 가지 유형의 크레인이 있는 것은 드문 일이 아니다.

구조물(115)의 건설에 있어서 크레인(105)의 주요 기능은 구조적 부재(예를 들어, I-빔(121))를 셰이크아웃 필드(110)로부터 부분적으로 완성된 구조물(118) 상의 부착 위치까지 호이스팅하는 것이다. 예를 들어, 기둥(117d) 상의 부착 위치(122)는 I-빔(121)을 위한 목적지 위치일 수 있다. I-빔(121)이 적소로 호이스팅되면, 한 명 이상의 직원(도시되지 않음)이 I-빔을 기존의 수단(예를 들어, 볼트, 리벳 등)으로 기둥(117d)의 부착 위치(122)에 부착한다. 셰이크아웃 필드(110)로부터 부분적으로 시공된 구조물(118)로 구조적 부재를 호이스팅하는 것 외에, 철근(121a)의 다발과 같은 다른 건축 자재도 셰이크아웃 필드(110)로부터 부분적으로 시공된 구조물(118)로 유사하게 호이스팅될 수 있다.

이제 도 2를 참조하면, 상부 아암(125), 하부 아암(126), 마스터 스트랩(127), 마스터 와이어 로프(128), 러핑 풀리(129), 러핑 와이어 로프(130), 마스트 브래킷(131), 평형추(132), 크레인 운전실(133), 우측 전동 트레드(134a), 좌측 전동 트레드(134b), 메인 후크 블록 도르래(135a, 135b), 리프팅 후크(140)를 구비한 메인 후크 블록(136)를 갖는 크레인(105)이 도시되어 있다. 크레인(105)은 디젤 엔진(137), 유압 시스템(138)(도시되지 않음) 및/또는 메인 후크 블록(136)을 상승 및 하강시키기 위해 적어도 크레인에 전력을 제공하는 전원(139)에 의해 구동된다. 크레인(105)의 다른 부품 및 동작은 해당 분야에 널리 공지되어 있으므로 본 명세서에서는 검토하지 않을 것이다.

영상화 시스템(210)은 메인 후크 블록(136)에 부착된 것으로 도시되어 있으며, 선택적인 내후성 하우징(212) 내에 수용된다. 영상화 시스템(210)은 아래로 초점을 맞춘 영상기(imager)(430a 및 430b)를 포함한다. 2개의 영상기가 도 2에 도시되어 있더라도, 영상화 시스템(210)은 임의의 수의 영상기를 포함할 수 있다. 영상화 시스템(210)에 대한 대안적인 장착 위치(213)가 도 9b에 도시되어 있다.

영상화 시스템(210)은 또한 INS를 포함한다. INS는 실시간 운동학(RTK) 지원 글로벌 항법 위성 시스템(GNSS) 수신기, 및 관성 측정 유닛(IMU)을 포함할 수 있다. GNSS 수신기는 정확한 위도, 경도 및 고도 데이터를 결정하기 위해 미국 GPS, 러시아 연방 Glonass 시스템, 중국 BeiDou 시스템, 유럽 Galileo 시스템 및 기타 내비게이션 신호를 수신할 수 있다. IMU는 INS 좌표계를 참조하는 선형 가속도, 각속도(및/또는 각가속도) 및 배향 데이터를 제공하고, GNSS 신호가 이용할 수 없게 될 때 조작자 시스템 위치에 대한 추측 항법계산(dead reckoning calculation)을 가능하게 한다. GNSS 안테나(421)는 방수 하우징(212) 정상에 장착된다. 그러나, 안테나는 영상화 시스템(210)의 임의의 적절한 부분에 위치될 수 있다. 조작자 시스템(205) 및 영상화 시스템(210)은 도 3 내지 도 5를 참조하여 더 자세히 논의된다.

이제 도 3을 참조하면, 크레인 지원 시스템(200)은 조작자 시스템(205), 영상화 시스템(210), 모바일 시스템(215), 및 서버 시스템(220)을 포함한다. 이들 시스템의 각각은 또한 인터넷 또는 다른 적합한 네트워크를 통해 클라우드 서비스(225)와 통신할 수 있다. 조작자 시스템(205)은 (a) 통신 채널(230)을 통해 영상화 시스템(210), (b) 통신 채널(235)을 통해 모바일 시스템(215), (c) 통신 채널(240)을 통해 서버 시스템(220), 및 (d) 통신 채널(260)을 통해 클라우드(225)와 양방향 통신한다. 영상화 시스템(210)은 또한 (a) 통신 채널(245)을 통해 모바일 시스템(215), (b) 통신 채널(250)을 통해 서버 시스템(220), 및 (c) 통신 채널(265)을 통해 클라우드 서비스(225)와 양방향 통신한다. 모바일 시스템(215) 또한, (a) 통신 채널(255)을 통해 서버 시스템(220), (b) 통신 채널(270)을 통해 클라우드 서비스(225)와 양방향 통신한다. 마지막으로, 서버 시스템(220)은 또한 통신 채널(275)을 통해 클라우드 서비스(225)와 양방향 통신한다. 따라서, 시스템(200)의 모든 시스템 요소는 서로 및 클라우드와 양방향 통신한다.

도 3b를 참조하면, 크레인 지원 시스템(200)은 하나 이상의 크레인을 포함하도록 확장될 수 있다. 각각의 개별 크레인은 조작자 시스템(205(n))과 영상화 시스템(210(n))을 포함하는 크레인 특정 시스템(280(n))을 가질 수 있다. 하나 이상의 모바일 컴퓨터 기반 시스템(215(n))(n은 색인을 달고 크레인 번호를 나타냄)는 또한 크레인 특정 시스템(280(n))과 관련될 수 있다. 각각의 크레인 특정 시스템(280(n))은 조작자 시스템(205(n)), 제2 컴퓨터 기반 시스템(210(n)), 클라우드 서비스(225), 및 특정 크레인을 위한 모바일 시스템(215(n))들 중 하나 이상 사이에서 동일한 통신 채널을 유지한다. 각각의 크레인 특정 시스템(280(n))은 여전히 단일 마스터 서버 시스템(282)과 통신한다. 마스터 서버 시스템(282)은 통신 채널(275)을 통해 클라우드 서비스(225)와 통신한다. 따라서, 각각의 크레인 특정 시스템(280(n))은 임의의 다른 크레인 특정 시스템(280(m))(m은 크레인 번호를 나타냄)과 통신할 수 있다. 예를 들어, 크레인 특정 시스템(280(3))의 모바일 시스템(215(3))은 크레인 특정 시스템(280(4))의 모바일 시스템(215(4))과 통신할 수 있다. 모든 크레인 특정 시스템에 의해 수집되고 처리된 모든 데이터는 마스터 서버(282)를 통해 액세스될 수 있다. 따라서, 마스터 서버(282)는 관련 모바일 시스템을 포함하는 크레인 특정 시스템에 의해 수집된 모든 데이터를 위한 데이터 저장소이다. 전체 건설 현장 과정에 대한 데이터는 기록되고, 마스터 서버(282)로부터 클라우드 서비스(225)를 통해 다른 사람에게 제공되며, 분석되어 건설 현장 효율성 및 기타 건설 현장 측정 기준을 결정할 수 있다.

도 4를 참조하면, 조작자 시스템(205)의 블록도가 도시된다. 조작자 시스템은 조작자 무선 모뎀(들)(310), 조작자 INS(320), 조작자 디스플레이(330), 조작자 컴퓨터(340), 조작자 입력 디바이스(350), 조작자 스피커(370), 및 조작자 전원 공급 장치(380)를 포함한다. 조작자 시스템(205)은 또한 선택적으로 제2 조작자 디스플레이(360)를 포함한다.

조작자 무선 모뎀(들)(310)은 다른 시스템 요소(예를 들어, 영상화 시스템(210), 모바일 시스템(들)(215) 및 서버 시스템(220))의 무선 모뎀과 통신하기 위한 RF 무선 모뎀(311) 및 무선 모뎀(312), 및/또는 각각 Wi-Fi 또는 셀룰러 네트워크를 통해 클라우드 서비스(225)와 통신하기 위한 셀룰러 모뎀(313)(도시되지 않음)을 포함할 수 있다. 추가 모뎀은 필요에 따라 조작자 시스템의 무선 모뎀(310)에 추가로 통합될 수 있다. 다른 실시형태에서, 모든 시스템 요소는 클라우드 서비스(225)와 직접 통신하고, 클라우드 서비스(225)의 통신 채널을 통해 서로 통신한다. 이러한 경우에, 조작자 시스템(205)은 모뎀(312)만을 필요로 한다. 조작자 무선 모뎀(들)(310)은 유입 신호(314a)를 수신하고, (비록 도 4에는 단 하나의 안테나만 도시되어 있더라도) 각각의 안테나(315)를 통해 발신 신호(314b)를 전송한다. 조작자 무선 모뎀(들)(310)은 로컬 버스(316) 및/또는 마스터 버스(318)를 통해 INS 시스템(320) 및 컴퓨터(340)를 포함하는 조작자 시스템(205)의 다른 구성요소와 통신한다.

INS 시스템(320)은 GNSS 안테나(321) 및 GNSS 수신기(324)를 통해 위성 성좌(328)(명확성을 위해 성좌(328)는 단 하나의 위성으로만 도시됨)로부터 GNSS 신호(329)를 수신한다. 이는 또한 관성 측정 유닛(322)으로부터의 데이터와 함께, 조작자 시스템을 위한 LLA 및/또는 ECEF 위치 고정을 계산한다. 따라서, 크레인(105)의 GNSS 위치가 알려진다. LLA 및/또는 ECEF 위치 고정은 국제 횡축 메르카토르(Universal Transverse Mercator: UTM) 좌표계와 같은 다른 좌표계에서 크레인(105)의 위치를 결정하도록 사용될 수 있다. 다양한 종래의 좌표계 사이의 변환은 당업계에 널리 공지되어 있다. INS 시스템(320)(구체적으로 GNSS 수신기(324))은 또한 모뎀(310)을 통해 RTK 보정 데이터를 수신한다. IMU(322)는 INS의 좌표계에 대한 병진(X, Y 및 Z) 가속도, 각속도 및 배향 정보를 제공한다. INS(320)는 버스(326) 및/또는 마스터 버스(326)를 통해 조작자 시스템(205)의 다른 시스템 구성요소와 통신한다. INS(320)의 예는 오스트렐리아 시드니에 소재하는 Advanced Navigation에 의한 Certus 모델이다. INS 시스템의 제조업체는 많이 있으며, 미국 캘리포니아 서니베일에 소재하는 Trimble Navigation과 캘리포니아 샌타애나에 소재하는 SBG Systems S.A.S(미국 사무소)를 포함한다.

조작자 컴퓨터(340)는 본 발명의 위에 나열된 모든 목적을 수행하는 데 필요한 작업을 수행하기 위해 하드웨어와 소프트웨어 모두에서 구성적으로 구성된 종래의 컴퓨터이다. 컴퓨터(340)는 직렬 및 병렬 통신 포트를 포함할 수 있다. 예를 들어, 컴퓨터(340)는 범용 직렬 포트(USB), 센트로닉 병렬 통신 포트, 이더넷 포트, RS-232 포트, RS-485 포트 및 조작자 시스템(205)의 다른 구성요소와 통신하는 데 필요한 기타 통신 포트를 포함할 수 있다.

디스플레이(330)는 Dell 컴퓨터 모델 번호 E1920H와 같은 일반적인 컴퓨터 모니터이고, 데이터 버스(332)를 통해 컴퓨터(340)와 통신한다. 선택적인 제2 디스플레이(360)는 크레인 조작자가 제1 디스플레이 상의 다수의 창 사이를 전환함이 없이 추가 정보를 디스플레이하기 위해 제공될 수 있다. 예를 들어, 제1 디스플레이(330)는 리프팅 목록의 표현을 디스플레이할 수 있고, 제2 디스플레이(360)는 건설 현장의 3D 표현과 셰이크아웃 필드 내의 구조적 부재의 초기 위치로부터 목적지 위치(예를 들어 부착 위치(122)까지의 예상 호이스팅 경로) 및 목적지 위치로부터 셰이크아웃 필드(110)로의 복귀 경로를 디스플레이할 수 있다. 제2 디스플레이(360)는 데이터 버스(334)를 통해 컴퓨터(340)와 통신한다.

조작 시스템(205)은 또한 데이터 버스(351)를 통해 컴퓨터(340)에 연결된 하나 이상의 입력 디바이스(350)(예를 들어, 종래의 키보드 또는 터치 감지 디스플레이)를 포함하는데, 이는 크레인 조작자가 컴퓨터(340)와 상호 작용하는 것을 허용한다. 종래의 조이스틱(341)과 마우스(342)를 포함할 수 있는(종래의 조이스틱(341)과 마우스(342)는 모두 도시되지 않음) 다른 입력 디바이스가 제공될 수 있다. 스피커(370)는 케이블(371)을 통해 컴퓨터(340)에 연결된 일반적인 스피커일 수 있으며, 이는 잠재적인 충돌 경고와 같은 청각적 지시와 컴퓨터(340)로부터 크레인 조작자에게 다른 청각적 통신을 전송한다. 일부 실시형태에서, 케이블(371)은 Bluetooth® 연결과 같은 무선 연결로 대체될 수 있다. 전원 공급 장치(380)는 크레인(105)의 전원(139)에 연결되고(명확성을 위해 연결은 도시되지 않음), 전원 버스(381)를 통해 조작자 시스템(205)에 필요한 전력을 제공한다.

이제 도 5를 참조하면, 영상기 무선 모뎀(들)(410), 영상기 INS(420), 영상기 컴퓨터(440), 및 영상기 전원 공급 장치(480)를 포함하는 구성요소를 포함하는 영상화 시스템(210)의 블록도가 도시되어 있다. 이들 구성요소는 조작자 시스템(205)의 대응하는 구성요소와 유사하거나 동일하며 다시 자세히 설명되지 않을 것이다. 영상화 시스템(210)은 또한 영상기(들)(430) 및 거리 센서(들)(450)를 포함한다. 일부 실시형태에서, 영상화 시스템(210)은 내후성 하우징(212)에 둘러싸이고, 크레인의 메인 후크 블록(예를 들어, 도 2의 메인 후크 블록(136))에 부착된다. 메인 후크 블록(136)에 대한 영상화 시스템(210)의 장착 상세는 도 9a 및 도 9b를 참조하여 더 논의된다. 영상화 시스템(210)은 또한 자동으로 또는 원격 제어 하에 건설 현장을 가로지를 수 있는 하나 이상의 드론 차량에 장착될 수 있다.

영상화 시스템(210)이 크레인의 메인 후크 블록에 장착되는 실시형태에서, INS 시스템(420)은 메인 후크 블록(136)의 GNSS 위치 및 호이스팅된 건축 자재 물체의 GNSS 위치를 결정할 수 있다. 메인 후크 블록(136)의 GNSS 위치는 종래의 좌표계 변환을 사용하여 UTM과 같은 다른 좌표계로 변환될 수 있다. IMU(422) 데이터는 GNSS 위성(329) 신호가 구조물(115)에 의해 또는 다른 건설 현장 또는 다른 장애물에 의해 약화되거나 제거되는 시간 동안 추측 항법 동안의 메인 후크 및 블록(136)의 GNSS 위치를 제공하도록 사용될 수 있다. 영상화 시스템이 다른 곳(예를 들어, 하나 이상의 드론 차량)에 위치되는 실시형태에서, INS 시스템은 메인 후크 블록(136)에 장착되어, 메인 후크 블록 및 호이스팅된 물체에 대한 GNSS 위치 데이터가 다른 시스템 구성요소에 계속 이용 가능하게 있는 것을 여전히 보장할 수 있다.

영상화 컴퓨터(440)는 단일 영상기(430)(또는 도 2에 도시된 바와 같이 하나 이상의 영상기가 사용되면 영상기(430a 및 430b))에 대한 하드웨어 트리거 신호를 제공하는 것에 의해 영상이 획득되는 시기를 제어할 수 있다. 영상화 컴퓨터(440)는 또한 거리 센서(450)(또는 하나 이상의 거리 센서가 사용되면 거리 센서(450a 및 450b))에 대한 하드웨어 트리거 신호를 제공하는 것에 의해 목표 거리가 획득되는 시기를 제어할 수 있다. 영상화 컴퓨터(440)는 또한 종래의 아날로그-디지털(A/D) 및 디지털-아날로그(D/A) 시스템(도시되지 않음)을 포함할 수 있다. 예를 들어, A/D는 배터리(470)의 전압을 샘플링하도록 사용될 수 있다.

바람직하게, 영상기(430)는 지면(예를 들어, 지면(109)) 상으로 아래로 초점이 맞추어진다. 영상기(430)의 렌즈(431)는 영상기(430) 및 렌즈(431)의 시야 내에서 지면(109) 및/또는 임의의 다른 물체(예를 들어, 도 1의 구조적 부재(120 및 121))에 초점을 유지할 수 있다. 일부 실시형태에서, 다수의 영상기(예를 들어, 도 2 및 도 9a의 영상기(430a 및 430b))는 셰이크아웃 필드(110)의 시야를 증가시키도록 및/또는 셰이크아웃 필드 내의 임의의 구조적 부재의 입체 영상을 제공하도록 사용될 수 있다. 다음 사양이 명확성을 위해 단일 영상기(430) 및 단일 렌즈(431)를 참조하지만, 각각 자체 렌즈 및 기타 액세서리를 갖는 다수의 영상기가 명시적으로 고려된다는 점에 유의한다. 일부 실시형태에서, 영상기(430)는 또한 광학 필터(429)를 포함한다. 일부 실시형태에서, 영상화 시스템(210)은 셰이크아웃 필드(110) 영역 내의 건축 자재 물체의 측면을 보기 위한 추가적인 측면 뷰 영상기를 포함한다.

영상기(430)는 바람직하게 렌즈(431)에 의해 결정된 카메라의 시야 내에서 물체의 영상을 획득하기 위한 파장(색상) 응답형 종래의 프로그레시브 스캔 CMOS 영상기이다. 이러한 영상기는, 다른 센서가 다른 유형의 전자기 방사선(예를 들어, 적외선 또는 자외선)을 전기 신호로 변환하도록 사용될 수 있더라도, 빛을 전기 신호로 변환하도록 배열된 직사각형 형상의 픽셀 어레이를 갖는 CMOS 평면 센서(435)를 포함한다. 이러한 유형의 CMOS 영상기의 예는 독일 아렌스부르크에 소재하는 Basler AG에 의해 제조된 모델 번호 acA1440-73gc이다. 이 센서는 1440×1080 능동 픽셀의 평면 센서 어레이를 가지며, GigE 통신 사양을 준수한다. 영상기(430)는 로컬 버스(432) 및/또는 마스터 버스(418)를 통해 컴퓨터(440)와 통신한다. 모델 번호 Aca1440-73gc 카메라에 대해, 로컬 버스(432)는 고대역폭 이더넷 케이블일지라도, 영상기(430)의 사양에 의존하여 다른 통신 프로토콜이 사용될 수 있다.

영상기(430)는 상이한 영상기 대 물체 목표 거리(imager-to-object target distance)에서 물체 공간을 영상 공간 거리에 정확하게 매핑하도록 교정될 수 있다. 예를 들어, 특정 영상기와 물체 사이 목표 거리에서, 물체 공간 거리는 영상 공간 거리에 대응하고 그 반대도 마찬가지이다. 또한 영상기는 렌즈 및 원근 왜곡에 대해 교정되며, 각각의 영상 픽셀의 GPS 위치를 결정하기 위해 추가로 교정된다.

영상기(430)는 광학 대역통과 필터(429)를 포함하는 렌즈(431)와, 수동 또는 전자적으로 조정 가능한 조리개(도시되지 않음)를 포함한다. 영상기(430)는 또한 CMOS 센서(435)에 의해 수신된 광량을 제어 가능하게 결정하는 프로그래밍 가능한 전자 셔터(도시되지 않음)를 갖는다. 영상기(430)는 렌즈(431)와 함께 통상적으로 정의된 광학 축(436)을 갖는다. 영상기(430)는 또한 로컬 버스(432)와 마스터 버스(418)를 통해 전통적인 이더넷 버스 인터페이스를 사용하여 상태, 제어 및 영상 데이터를 컴퓨터(440)로 전달하는 전자 회로(도시되지 않음)를 포함한다.

영상기(430)는 트리거 신호를 수신할 때 영상을 획득하도록 트리거링될 수 있다. 트리거 신호는 하드웨어 트리거(예를 들어, 영상화 시스템(210) 내에 위치된 수동으로 동작되는 버튼), 시간 결정적 트리거 소스(즉, 트리거 신호의 발생 시간이 알려져 있음), 소프트웨어 명령 트리거링(예를 들어, 조작자 시스템(205) 또는 모바일 시스템(215)의 사용자로부터 명령을 수신할 때), 또는 자유 구동(즉, 비동기식으로 영상을 획득하는 경우, 영상은 컴퓨터(440)의 내부 클록, INS-제공 타이밍 신호 또는 외부 타이밍 소스를 사용하여 타임 스탬핑됨)를 통하는 것을 포함하여 다수의 방식으로 생성될 수 있다. 영상기(430)는 또한 현재 영상의 획득이 시작된 때를 나타내는 각각의 획득된 영상에 첨부된 내부 타임 스탬프를 포함할 수 있다. 이러한 정보는 영상의 순서를 순서화하는 데 유용할 수 있다. 목표 밝기 상태 및 프레임 ID와 같은 기타 정보가 영상 데이터에 첨부될 수 있다. 프레임 ID는 노출된 영상의 프레임 번호를 나타내며, 0에서 시작하여 카메라가 촬영을 중지하거나 전원이 꺼질 때까지 노출된 각각의 영상에 대해 1씩 증가한다. 추가 정보(예를 들어, 메타데이터)가 카메라 제조업체 및 모델 번호에 의존하여 영상 데이터에 첨부될 수 있다.

영상기(430)와 마찬가지로, 거리 센서(450)는 아래쪽으로 초점이 맞춰진다. 이는 레이저 빔(806)을 전송하고 목표 위치의 표면으로부터 레이저 빔 반사(808)를 수신하는 것에 의해 거리 센서(450)로부터 목표 위치까지의 수직 거리를 측정한다. 예를 들어, 목표 위치가 지면(예를 들어, 도 1의 지면(109))에 있으면, 거리 센서(450)는 센서의 위치로부터 지면까지의 수직 거리를 제공할 것이다. 마찬가지로, 목표 위치가 구조적 부재(예를 들어, 도 1의 구조적 부재(121))의 상단 표면이면, 거리 센서(450)는 센서로부터 구조적 부재의 상단 표면까지의 수직 거리를 제공할 것이다. 이들 2개의 수직 측정치 사이의 차이를 취하는 것은 도 16을 참조하여 추가로 설명되는 바와 같이 구조적 부재(121)의 높이를 산출한다. 2개 이상의 거리 센서(450)(거리 센서(450a 및 450b)로서 표시됨)는 도 9a에 도시된 바와 같이 영상화 시스템(210)에 통합될 수 있다.

거리 센서(450)로부터 목표까지의 거리는 또한 물체 공간 변환에 대한 정확한 영상을 선택하는 것을 지원하기 위해 사용될 수 있다. 예를 들어, 10 미터 거리에서 각각의 픽셀은 .25 인치를 나타낼 수 있고, 20 미터 거리에서 각각의 픽셀은 .5 인치를 나타낼 수 있다. 따라서, LIDAR 거리 측정치는 물체 공간 변환에 대한 정확한 영상을 결정하도록 사용될 수 있으며 그 반대의 경우도 마찬가지이다. 영상 및 거리 데이터는 GNSS 위치와 동기화될 수 있어서, 각각의 영상화된 구조적 부재는 관련 거리 데이터와 GNSS 위치를 갖는다. 거리 센서(450)로부터의 거리 데이터는 양방향 로컬 버스(451) 및/또는 마스터 버스(418)를 통해 컴퓨터(440)로 전송된다. 거리 센서(450)는 바람직하게 레이저 빔이 거리 센서(450)의 전방으로부터 외부로 투사되는 광 거리 및 거리 측정(LIDAR) 센서이다. LIDAR 거리 센서의 예는 미국 노스캐롤라이나 랄리에 소재하는 Micro-Epsilon에서 제조한 모델 번호 optoNCDT ILR2250이다. 초음파 거리 센서 및 RADAR 기반 거리 센서와 같은 다른 거리 센서 기술이 영상화 시스템(210)에 통합될 수 있다. 추가적으로, 거리 데이터의 포인트 클라우드를 생성하는 스캐닝 LIDAR 센서가 사용될 수 있다.

도 6을 참조하면, 모바일 시스템(215)의 블록도가 도시된다. 모바일 시스템(215)은 무선 모뎀(들)(510), INS(520), 디스플레이(530), 컴퓨터(540), 입력 디바이스(550) 및 전원 공급 장치(580)를 포함한다. 이들 구성요소는 조작자 시스템(205) 및 영상화 시스템(210)의 대응하는 구성요소와 유사하거나 동일할 수 있으며, 다시 자세히 논의되지 않을 것이다. 바람직하게, 모바일 시스템(215)의 구성요소는 랩톱 컴퓨터, 태블릿 또는 휴대폰과 같은 하나의 물리적 유닛으로 조합된다.

도 7을 참조하면, 서버 시스템(220)의 블록도가 도시된다. 서버 시스템(220)은 무선 모뎀(들)(610), INS(620), 디스플레이(630), 컴퓨터(640) 및 입력 디바이스(650)를 포함한다. 이들 구성요소는 조작자 시스템(205), 영상화 시스템(210) 및 모바일 시스템(215)의 대응 구성요소와 유사하거나 동일할 수 있으며, 다시 자세히 논의되지 않을 것이다. 서버를 위한 전원은 통상적으로 AC 주전원과 전원 공급 장치에 의해 제공된다. 휴대용 서버를 위해, 전원은 배터리 전원을 통해 공급된다. 서버 시스템(220)은 건설 현장(100)(예를 들어 현장 건설 사무소의 내부) 또는 현장 외부 위치에 위치될 수 있다. 종래의 RJ-45 유선 이더넷 연결(652)은 (모뎀(612) 인터넷 연결에 추가하여) 인터넷에 대한 연결을 제공한다.

다음의 개시내용은 I-빔과 같은 구조적 부재를 언급하지만, 이러한 개시내용은 초기 위치(셰이크아웃 필드)로부터 건설 현장의 목적지 위치(통상적으로 구조물(115) 상의 어딘가)까지 호이스팅될 필요가 있고 구조적 부재에만 국한되지 않고 모든 건축 자재 물체를 포함하는 다른 건축 자재 물체에도 적용 가능하다.

이제 도 8a 및 도 8b를 참조하면, 구조적 부재(121)(종래의 I-빔으로 도시됨)가 셰이크아웃 필드(110) 내에서 지면(109) 위에 놓이는 것으로 도시되어 있다. 구조적 부재(121)는 웨브 두께(703)를 갖는 웨브(701); 상부 플랜지(705); 상부 플랜지 상단 표면(714); 하부 플랜지(707); 하부 플랜지 저부 표면(706)을 포함한다. 또한 도 8a 및 도 8b에는 플랜지 폭(708), 플랜지 두께(709), 빔 길이(710), 및 빔 높이(711)가 마킹되어 있다. I-빔의 깊이는 상부 플랜지 상단 표면(714)으로부터 하부 플랜지 저부 표면(706)까지 공칭 높이(빔 높이(711)로서 마킹됨)로 정의된다.

추가적으로, 도 8a 및 도 8b에는 브래킷(712) 및 부착 구멍 쌍(720a, 720b, 720c, 720d)을 포함하는 다수의 구조적 특징이 도시되어 있다. 브래킷(712)은 전형적으로 종래의 강제 볼트 및 너트를 사용하여 상부 플랜지 상단 표면(714)에 부착될지라도, 임의의 적절한 하드웨어가 사용될 수 있다. 브래킷(712)은 구조적 부재(121)에 추가적인 구조적 부재를 홀딩하기 위해 제공될 수 있다. 부착 구멍 쌍이 구조적 부재(121)의 양쪽 단부에서 상부 플랜지(705)를 관통하여 형성된다. 구멍 쌍(720a, 720b, 720c, 720d)은 부분적으로 완성된 구조물(118)에 구조적 부재(121)를 부착하기 위해 사용된다.

또한 손으로 작성되거나 스텐실 처리된 식별 표식(740)이 상부 플랜지 상단 표면(714)에 위치된다. 식별 표식(740)은 구조적 부재(121)를 식별하고, 리프팅 목록 데이터와 함께, 부재를 구조물(115) 상으로 호이스팅하기 위한 순서를 결정하도록 사용된다. 식별 표식(740)은 전형적으로 표식과 상부 플랜지 상단 표면(714) 사이에 높은 시각적 대비를 제공하는 색상의 분필 또는 기타 재료(예를 들어, 스프레이 페인트)를 사용하여 손으로 작성된다. 통상적으로, 구조적 부재가 회색 페인트 또는 기타 어두운 색상의 녹 방지 재료와 같은 대비 색상 재료로 코팅되기 때문에, 백색 분필이나 백색 페인트가 사용된다. 식별 표식(740)의 색상은 철강 제작사에게 배송되는 구조적 부재(121) 사양에 통합되어, 표식 색상과 표식이 배치되는 표면 색상 사이의 높은 대비를 보장할 수 있다. 식별 표식(740)은 또한 상부 플랜지 상단 표면(714)에 스텐실 처리될 수 있으며, 영숫자 문자 및/또는 기호로 이루어질 수 있다.

일부 실시형태에서, 하나 이상의 선형 바코드 또는 QR 코드(2D)는 영숫자 표식을 보완할 수 있다. 예를 들어, 각각의 구조적 부재에는 종래의 QR 코드 및/또는 전술한 손으로 작성된 영숫자 식별 표식이 마킹될 수 있다. 이들 실시형태에서, QR 코드는 영숫자 식별 표식과 함께 영상화된다. QR 코드와 영숫자 표식은 건축 자재 물체에 칠해질 수 있거나 또는 적절한 재료(예를 들어, 판지 또는 종이)의 조각에 함께 또는 별도로 인쇄할 수 있고, 이어서, 종래의 부착 수단을 사용하여 건축 자재 물체의 표면에 배치할 수 있다.

식별 표식(740)(또는 그 전자 표현)은 건설 현장 데이터베이스 내에 포함된 구조적 부재(121)와 관련된 보다 구체적인 정보에 액세스하도록 사용될 수 있다. 이러한 정보는 예를 들어 구조적 부재의 길이, 높이, 폭, 중량, 제조 날짜, 구조적 부재(121)와 통합된 임의의 추가적인 구조적 특징(예를 들어, 브래킷(712) 및 부착 구멍 쌍(720a, 720b, 720c, 720d)), 및 구조적 부재(121)에 대한 구조적 특징의 위치 및 그 치수를 포함할 수 있다. 식별 표식(740)를 사용하여 건설 현장 데이터베이스로부터 액세스될 수 있는 다른 정보는 다른 주변 및/또는 정합 구조적 부재, 부착 위치 좌표, 철강 제작사의 신원, 및 임의의 기타 관련 정보를 포함할 수 있다.

미국에서, I-빔은 통상적으로 깊이(711)와 피트당 파운드 단위의 중량으로 지정된다. 예를 들어, W12 x 22 I-빔의 깊이는 약 12 인치이고, 중량은 피트당 약 22 파운드이다. 유형 W12 x 22 I-빔 구조적 부재의 길이를 아는 것은 구조적 부재의 중량이 결정되는 것을 가능하게 한다. 구조적 부재의 길이와 유형은 통상적으로 건설 현장 데이터베이스에 포함되며, 해당 특정 구조적 부재에 대한 식별 표식을 사용하여 액세스될 수 있다. 특정 구조적 부재에 대한 식별 표식은 해당 특정 구조적 부재에 대한 모든 관련 데이터를 함께 링크하도록 사용된다. 조작자가 각각의 구조적 부재의 호이스팅 하중을 결정하고 하중이 크레인(105)의 리프팅 용량을 초과하지 않는 것을 보장할 수 있도록 구조적 부재의 중량을 아는 것은 중요하다.

추가적으로, 부분적으로 완성된 철골 구조물로 구조적 부재를 호이스팅하기 위해 필요한 리깅(rigging)을 부착할 때 무게중심(CG)은 중요한 고려사항이다. 무게중심은 건설 현장 데이터베이스 내에 포함된 데이터를 사용하여 주어진 구조적 부재에 대해 결정될 수 있고, 특정 구조적 부재에 대한 식별 표식을 사용하여 액세스될 수 있다. 주어진 구조적 부재의 단면 프로파일 및 기타 기하학적 치수는 건설 현장 데이터베이스로부터 결정될 수 있다. 특정 구조적 부재의 무게중심은 해당 특정 구조적 부재의 치수 및 재료 밀도로부터 결정된다. 물체의 무게중심을 결정하는 것은 당업계에 널리 공지되어 있다.

도 9a 및 도 9b를 참조하면, 영상화 시스템(210)은 메인 후크 블록(136)에 부착되고 방수 하우징(212) 내에 봉입되어 있는 것으로 도시되어 있다. 방수 하우징(212) 내에 포함된 것은 지면을 향해 아래로 초점을 맞춘 영상기(430a 및 430b)이다. 각각의 영상기는 각각의 시야(802a/802b) 및 광학 축(436a/436b)을 갖는다. 영상기(430a, 430b)는 서로 수평으로 일렬로 배열되지만, 하우징(212)의 양쪽 측면에 위치된다. 또한 도 9a에는 모뎀 안테나(들)(415)와 INS 안테나(421)가 도시되어 있다.

영상화 시스템(210)이 예시 목적을 위해 메인 후크 블록(136)에 부착된 것으로 도시되어 있더라도, 영상화 시스템(210)은 또한 종래의 스프레더 빔 및 리프팅 빔에 부착되거나 또는 셰이크아웃 필드(110)의 방해하지 않는 시야를 제공하기 위해 임의의 다른 위치에 부착될 수 있다. 영상화 시스템(210)은 또한 건설 현장을 자동으로 또는 원격 제어 하에 가로지를 수 있는 하나 이상의 드론 차량에 장착될 수 있다. 영상기(430a 및 430b)의 시야(802a 및 802b)는 각각 구조적 부재(예를 들어 빔, 거더 및/또는 기둥) 및 그 안에 위치된 기타 건축 자재 물체의 부분적 또는 전체 영상을 포함하여 셰이크아웃 필드의 영상을 캡처할 수 있다. 또한 하우징(212) 내에 봉입된 거리 센서(450a 및 450b)(예를 들어 LIDAR 센서)는 둘 모두 지면 또는 구조적 부재의 상부 플랜지 상단 표면과 같이 다른 목표를 향해 아래쪽으로 향한다. 거리 센서(450a 및 450b)는 각각 레이저 광(806a 및 806b)을 전송하고 반사(808a 및 808b)를 각각 수신한다. LIDAR 거리 측정 센서(450a 및 450b)는 서로 수평으로 일렬로 있지만, 하우징(212)의 양쪽 측면에 위치된다. 일부 실시형태에서, 영상화 시스템(210)에는 스캐닝 LIDAR 기술이 장비될 수 있다. 스캐닝 LIDAR는 영상기(430) 및/또는 거리 센서(450) 대신에 또는 이에 추가하여 사용될 수 있다. 스캐닝 LIDAR를 사용하여, 영상화 시스템은 셰이크아웃 필드(그 안에 위치된 모든 구조적 부재 포함)의 완전한 3D 표현 및/또는 부분적으로 완성된 구조의 전체 3D 표현을 생성할 수 있다.

다른 장착 구성이 영상기(430a, 430b)뿐만 아니라 LIDAR 거리 측정 센서(450a, 450b) 모두에 대해 가능하고, 이들의 배치는 메인 후크 블록(136)의 구성에 의존할 수 있다. 예를 들어, 일부 적용에서, 하우징(212)이 도 9b에서 점선(213)으로 도시된 대안적인 장착 위치에서 메인 후크 블록(136)에 직각으로 장착되는 것이 유리할 수 있다. 대안적으로, 장착 구성의 조합이 구조적 부재(121)를 리프팅 후크(140)에 부착하도록 사용되는 리깅에 의존하여 사용될 수 있다. 그러나, 하우징(212)의 장착 구성 및 위치가 영상기(430a/430b) 및 거리 센서(450a/450ba)에 셰이크아웃 필드의 방해받지 않는 시야를 제공한다.

하우징(212)은 종래의 체결구(도시되지 않음)를 사용하여 메인 후크 블록(136)에 부착될 수 있거나, 또는 영구 자석을 갖는 하나 이상의 종래의 자기 전환 가능 홀딩 디바이스(도시되지 않음)를 사용하여 메인 후크 블록(136)에 자기적으로 부착될 수 있다. 자기 전환 가능 홀딩 디바이스는 영구 자석에 의해 생성된 외부 자속이 켜지거나 꺼지는 것을 허용한다. 이어서, 조작자는 보관, 수리, 정비, 배터리 충전 또는 교체 등을 위해, 또는 자기 전환 디바이스를 끄는 것에 의한 임의의 다른 이유 때문에 메인 후크 블록(136)으로부터 영상화 시스템(210)을 쉽게 제거할 수 있다.

메인 후크 블록(136)은 통상적으로 케이블(810, 812)에 의해 상승 또는 하강된다. 따라서, 메인 후크 블록(136)을 상승 또는 하강시키는 것은 영상기(430a, 430b) 및 거리 센서(450a, 450b)와 함께 영상화 시스템(210)을 또한 상승 또는 하강시킨다. 추가적으로, 단일 영상기(430) 및/또는 단일 LIDAR 거리 센서는 영상기의 시야가 셰이크아웃 필드의 영상을 획득하기에 충분하다면 사용될 수 있다. 다른 유형의 센서가 건축 자재 물체의 식별 표식을 결정하도록 획득하기 위해 사용될 수 있다. 예를 들어, 바코드 판독기 및 RFID 판독기가 또한 하우징(212) 내에 장착될 수 있다. 센서는 이전에 개시된 것으로 제한되지 않는다.

이제 도 10을 참조하면, 조작자 시스템(205)의 컴퓨터(340)의 메모리(900)의 블록도가 도시되어 있다. 메모리(900)는 컴퓨터(340)의 하드웨어, 소프트웨어, 및 기타 리소스를 관리하기 위한 종래의 컴퓨터 운영 체제(OS) 소프트웨어(910); 본 발명의 바람직한 실시형태에 따른 작업을 수행하기 위한 여러 소프트웨어 프로그램을 포함하는 프로그램 메모리(920); 및 데이터를 저장하기 위한 데이터 메모리(930)를 포함한다. 도 10과 관련하여 논의된 다양한 프로그램이 조작자 시스템(205) 내에서 실행되더라도, 이들 프로그램은 영상화 시스템(210), 모바일 시스템(215), 서버 시스템(220) 또는 클라우드 서비스(225)를 포함하는 임의의 다른 적합한 시스템에서 실행될 수 있다는 점에 유의한다.

컴퓨터 운영 체제 소프트웨어(910)는 실시간 운영 체제(RTOS), UNIX OS 소프트웨어, LINUX OS 소프트웨어(예를 들어, Linux 배포판 Ubuntu 및 Debian은 LINUX 기반 운영 체제의 예임), Windows OS 소프트웨어(Microsoft Corporation에서 제공) 또는 기타 호환 가능한 운영 체제 소프트웨어와 같은 기존의 운영 체제 소프트웨어를 포함할 수 있다. 운영 소프트웨어는 기존의 운영 체제 소프트웨어 기능을 수행하고, 컴퓨터(340)의 프로그램 메모리(920)에 저장된 다양한 프로그램을 실행할 수 있다.

프로그램 메모리(920)는 통신 프로그램(932), 언팩-앤-고(unpack-and-go) 프로그램(934), 영상 보정 및 노이즈 제거 프로그램(936), 2-차원(2-D) 영상 스티칭 프로그램(938), 영상 공간-물체 공간 변환 프로그램(940), 영상 분석 및 컨볼루션 신경망(CNN) 프로그램(942), 빔 높이 프로그램(944), 데이터 융합 프로그램(946), 사양 비교 프로그램(948), 무게중심 계산 프로그램(949), GNSS 위치 계산기(2003), 시스템 제어 프로그램(950)을 저장한다.

데이터 메모리(930)는 휘발성 메모리와 비휘발성 메모리로 구성될 수 있으며, 임의의 메모리 기술로 제한되지 않는다. 예를 들어, 기존의 랜덤 액세스 메모리(RAM), 솔리드 스테이트 드라이브 메모리, 전기적으로 프로그래밍 가능한 메모리, 플래시 메모리, 및 하드 디스크 메모리는 데이터 메모리(930) 구현을 포함할 수 있다. 예를 들어, 데이터 메모리(930)에 저장된 데이터는 영상 데이터, GNSS 위치 및 IMU 데이터를 포함하는 INS 데이터, 타임 스탬프 데이터, 거리 센서 데이터, 진단 데이터, 영상 보정 데이터, 영상 공간-물체 공간 변환 파라미터, 리프팅 목록 데이터, 및 위에 나열된 모든 데이터를 포함한다.

통신 프로그램(932)은 각각 통신 채널(230, 235, 240, 260)을 통해 조작자 시스템(205)으로부터 영상화 시스템(210), 모바일 시스템(215), 서버 시스템(220) 및 클라우드 서비스(225)로의 모든 양방향 통신을 제어한다(즉, 데이터의 수신 및 전송을 제어한다). 통신 프로그램(932)은 또한 모뎀(310)을 구성하고 관리한다. 예를 들어, 통신 프로그램(932)은 각각의 모뎀을 위한 통신 채널(230, 235, 240, 260)에 대한 보드 속도(baud rate) 및 패리티(parity)를 설정한다.

통신 프로그램(932)은 또한 (a) 인덱스 데이터(1052), 직렬화된 압축 영상 데이터(1054), 타임 스탬프 데이터(1056), 거리 데이터(1058), INS 데이터(GNSS 위치 데이터(1060), IMU 데이터(1062) 및 패리티 데이터(1064)를 포함함)를 포함하는, 시스템(210)에 의해 전송되는 데이터 패킷(1050)(도 20과 관련하여 아래에서 자세히 설명됨); (b) 건설 현장 데이터베이스 데이터 및 리프팅 목록 데이터를 포함하는 서버 시스템(220)에 의해 전송되는 데이터; (c) 클라우드(225)에 의해 전송되는 모든 데이터; (d) 모바일 시스템(215)에 의해 전송되는 모든 데이터; 및 (e) 본 발명의 목적을 달성하는 데 적합한 기타 데이터를 비롯하여, 모뎀(310)에 의해 수신되는 모든 데이터를 추가로 수신하고 메모리(930)에 저장한다.

언팩-앤-고 프로그램(934)은 메모리(930)에 저장된 데이터를 액세스하고 언팩(분석)한다. 이러한 데이터는 예를 들어 영상화 시스템(210)에 의해 전송된 데이터를 포함할 수 있다. 언팩-앤-고 프로그램(934)에 의해 분석되는 데이터는 상이한 메모리 위치에 있는 데이터 메모리(930)에 다시 (분석된 형태로) 기록된다. 이전에 메모리(930)에 저장된 다른 패킹된 데이터가 또한 언팩-앤-고 프로그램(934)에 의해 분석될 수 있다. 바람직하게, 원래의 분석되지 않은 데이터는 덮어쓰이지 않는다.

도 11을 참조하면, 도 10의 영상 보정 및 노이즈 제거 프로그램(936)의 동작을 도시하는 블록도가 도시된다. 영상 보정 및 노이즈 제거 프로그램(936)은 이전에 메모리(930)에 저장된 단일의 미가공 압축 영상 데이터(1066)를 입력으로서 취하고, 단일의 비압축 미가공 영상 데이터(1067)를 출력으로서 생성한다. 압축 영상 데이터는 영상화 시스템(210)에 상주하는 압축 알고리즘에 의해 생성되고, 후속적으로 통신 채널(230)을 통해 조작자 시스템(205)으로 전송되며, 아래에서 추가로 설명된다. 도 1의 구조적 부재(121)와 관련된 압축된 미가공 영상 데이터(1066)는 도 12a에 도시되어 있고, 비압축 왜곡 보정, 노이즈 필터링 및 분할된 영상 데이터(1067)는 도 12b에 도시되어 있다. 도 12a에 도시된 영상(951)은 영상 데이터(1066)의 하나의 특정 예이고, 도 12b에 도시된 영상 데이터(959)는 영상 데이터(1067)의 하나의 특정 예라는 점에 유의한다. 각각의 영상(1066)에 대해, 대응하는 영상(1067)이 있다는 점에 유의한다.

영상 보정 및 노이즈 제거 프로그램(936)은 언팩-앤-고 프로그램(934)에 의해 이전에 메모리(930)에 저장된 각각의 압축된 미가공 영상(1066)을 입력하고, 압축된 미가공 영상을 압축 해제하고, 렌즈 왜곡(핀 쿠션 및 배럴 왜곡을 포함함) 및 원근 왜곡에 대해 압축 해제된 미가공 영상 데이터를 정정하고, 영상을 노이즈 필터링하고, 이어서, 분할 방법을 사용하여 영상을 처리하고 압축 해제된 새로운 왜곡 보정, 노이즈 필터링 및 분할된 영상 데이터(1067)를 생성한다. 바람직하게, 원본 미가공 영상 데이터는 덮어쓰이지 않는다. 영상(1066 및 1067)은 영상화 시스템(210), 모바일 시스템(들)(215) 및 서버 시스템(220)을 포함하는 모든 시스템 요소에 이용 가능하다(따라서 클라우드 서비스(225)에 이용 가능하다). 광학적 왜곡을 보정하기 위해 영상 보정 및 노이즈 제거 프로그램(936)에 의해 요구되는 각각의 왜곡 파라미터는 매사추세츠주 나티크에 소재하는 MathWorks, Inc.에 의해 제공되고 카메라 교정 분야에서 공지된 것과 같은 종래의 광학적 왜곡 보정 프로그램에 의해 결정된다. 왜곡 파라미터는 메모리(930)의 비휘발성 부분에 저장된다.

렌즈 왜곡을 보정한 후, 영상 보정 및 노이즈 제거 프로그램(936)은 호모그래픽 변환을 사용하여 원근 왜곡을 보정한다(이러한 접근법은 구조적 부재(121)의 상단 표면(714)이 카메라(430)의 CMOS 센서 어레이(435)의 평면에 평행한 평면에 있다고 가정한다). 영상 보정 및 노이즈 제거 프로그램(936)은 적절한 소프트웨어와 함께 광학 및 원근 왜곡을 최소화하는 데 필요한 보정 파라미터를 결정하기 위해 차원적으로 정의된 2D 체커보드 패턴의 영상 데이터를 사용한다. 더욱이, 영상 공간 좌표는 실제 왜곡되지 않은 영상 경계를 넘어 확장될 수 있고, 다시 구조적 부재(121)의 상단 표면(714)이 카메라(430)의 CMOS 센서 어레이(435)와 평면이라고 가정한다.

영상 보정 및 노이즈 제거 프로그램(936)은 각각의 왜곡 보정된 영상으로부터 영상 노이즈(949)를 추가로 제거한다. 영상 노이즈(949)는 전형적으로 소금 및 후추 노이즈(salt and pepper noise)로 나타나며(도 12a에는 후추 노이즈만 도시됨), 영상화 시스템(210)의 영상기(430)에 의한 영상 획득 동안 및 영상화 시스템(210)으로부터 조작자 시스템(205)으로의 영상의 전자 전송 동안 주로 발생한다. 영상 노이즈는 또한 가우스 노이즈를 포함할 수 있다. 영상에서의 노이즈 제거는 머신 및 컴퓨터 비전 분야에서 널리 공지되어 있다. 예를 들어, 왜곡 보정된 영상은 영상 노이즈(949)를 제거하기 위해 Weiner 선형 필터에 의해 또는 공간 도메인 필터링 기술에 의해 처리될 수 있다.

영상 보정 및 노이즈 제거 프로그램(936)은 각각의 개별 영상 데이터(1066)에 분할 방법을 추가로 적용한다. 분할 방법은 고전적인 방법, 인공 지능 방법 또는 이 둘의 조합을 포함하고, 기계 및 컴퓨터 비전의 분야에서 널리 공지되어 있다. 분할 방법은 임계값 지정, 클러스터링, 히스토그램 기반 방법, 가장자리 검출 알고리즘(예를 들어, Sobel 및 Laplace 가장자리 검출기), 이중 클러스터링 방법, 영역 성장 방법, 및 컨볼루션 신경망(CNN) 방법을 포함하는 AI 기술을 포함할 수 있다. 각각의 개별 왜곡 보정 및 노이즈 필터링된 영상에 분할 방법을 적용하는 것은 중첩 영상을 정합(즉 정렬)하기 위해 영상 스티칭 프로그램(938)에서 사용되는 기존의 2차원(2D) 영상 정합 알고리즘(two-dimensional(2D) image registration algorithm)에 의해 사용될 수 있는 고유한 영상 특징(모서리와 같은)을 정의한다.

실제적인 예로서, 그리고 도 12a를 참조하면, 구조적 부재(121)의 미가공, 압축, 왜곡 및 노이즈 영상(951)이 도시되어 있다. 노이즈 영상(951)은 예를 들어 도 11에 도시된 영상(1066)에 대응할 수 있다. 렌즈 왜곡은 좌측 측면 가장자리 라인(952), 우측 측면 가장자리 라인(954), 길이 방향 바닥 가장자리 라인(956) 및 상단 길이 방향 가장자리 라인(958)이 직선이 아닌 곡선 세그먼트로서 도시되어 있어 명확하게 볼 수 있다. 구조적 부재(121)의 구조적 특징인 브래킷(712)과 구멍 쌍의 구조적 특징(720a, 720b, 720c, 720d)이 또한 왜곡된다. 결과적으로, 영상(951)으로부터 도출된 브래킷(712)의 임의의 위치 정보 및 치수와 구멍 쌍(720a, 720b, 720c, 720d)의 구멍 위치 및 치수는 상당한 오류를 갖게 될 것이다.

도 12b를 참조하면, 이어서, 영상 보정 및 노이즈 제거 프로그램(936)은 비압축, 왜곡 보정, 노이즈 필터링되고 분할된 영상(959)을 생성한다. 예를 들어, 도 12a에서의 곡선 세그먼트(956)는 이제 도 12b에서 직선(956')으로 정확하게 디스플레이된다. 메모리(930)에 저장된 왜곡 보정, 노이즈 필터링 및 분할된 영상의 시퀀스를 생성하기 위해 메모리(930)에 보존된 일련의 영상(1066)에 대해 동일한 과정이 수행될 수 있다. 예를 들어, 2차원 영상 스티칭 프로그램(938)은 (영상 보정 및 노이즈 제거 프로그램(936)에 의해) 이전에 메모리(930)에 저장된 개별 중첩 왜곡 보정 노이즈 필터링 및 분할된 다수의 영상(1067)을 스티칭하고, 전체 셰이크아웃 필드(110)의 새로운 합성 영상을 형성한다.

도 13a를 참조하면, 개별 영상 원점 및 좌표계(961(u1, v1), 963 (u2, v2), 965 (u3, v3), 967 (u4, v4), 969 (u5, v5) 및 971(u6, v6))를 각각 갖는 6개의 인덱싱되고 중첩되는 비압축 왜곡 보정 및 노이즈 필터링되고 분할된 개별 영상 데이터(960, 962, 964, 966, 968 및 970)의 시퀀스가 도시되어 있다. 영상 데이터(960, 962, 964, 966, 968 및 970)는 셰이크아웃 필드(110)의 레이아웃 표현 영상(111)(점선) 위에 중첩되어 추가로 도시되어 있다. 영상(1067)의 시퀀스(그러므로 영상(1066)의 시퀀스)는 영상기(430)의 시야가 전체 셰이크아웃 필드(110)를 포함하는 경우에 대해 단일 영상로만 이루어이질 수 있다는 점에 유의한다. 이러한 경우에, 다수의 영상을 단일 합성 영상로 합치는 스티칭 기능은 셰이크아웃 필드(110)의 단 하나의 영상만이 있기 때문에 필요하지 않다.

영상을 함께 합치는 프로세스는 해당 분야에 널리 공지되어 있으며, 이러한 작업을 수행하도록 이용할 수 있는 여러 소프트웨어 프로그램이 있다. 예를 들어 Microsoft Research는 영상을 함께 스티칭하기 위한 소프트웨어 도구(Image Composite Editor)를 갖는다. 2차원 스티칭을 위한 또 다른 소프트웨어 도구는 University of British Columbia의 Matthew Brown과 David G. Lowe에 의해 개발된 AutoStitch이다. 영상 스티칭에 대한 일반적인 사용 지침 프로그램(tutorial)은 Richard Szeliski에 의한 문헌["Image Alignment and Stitching: A Tutorial", Foundations and Trends in Computer Graphics and Vision, Vol. 2, No 1 (2006) 1-104]이다. 다중 영상 분석에 대한 참고 자료는 Richard Hartley 및 Andrew Zisserman의 "Multiple View Geometry In Computer Vision" (Cambridge University Press, 2003), Oliver Faugeras와 Quang-Tuan Luong의 "The Geometry of Multiple Images" (The MIT Press, 2001) 및 Yi Ma, Stefano Soatto 등의 "An Invitation to 3-D Vision From Images to Geometric Models" (Springer-Verlag, 2004)를 포함한다.

도 10의 2차원 스티칭 프로그램(938)은 영상 데이터(960, 962, 964, 966, 968 및 970)에 대한 특징 추출, 정합, 스티칭 및 블렌딩을 수행한다. 특징 추출은 각각의 보정된 영상을 차원적으로 감소된 형태로 변환하고, 영상에 포함된 관련 형상 정보를 기술한다. 영상 정합은 영상 데이터(960, 962, 964, 966, 968, 970) 사이의 기하학적 일치를 생성하고, 영상의 픽셀값, 주파수 영역 기반 정합 방법, 가장자리와 모서리를 사용하는 알고리즘, 물체 및 일치하는 특징 사이의 관계를 고려하는 알고리즘을 직접 사용할 수 있다. 영상은 셰이크아웃 필드(110)에 대한 영상기(430)(또는 영상기(430a 및 430b))의 회전에 의해 생성된 영상 대 영상 회전에 대해 추가로 보정된다.

도 13b를 참조하면, 전체 셰이크아웃 필드(110)의 단일의 포괄적 전체 보기 스티칭된 영상(972)이 도시되어 있다. 스티칭된 영상(972)은 6개의 수정 및 분할된 영상 데이터(960, 962, 964, 966, 968 및 970)로 형성되고, 단일 영상 원점 및 (u, v) 좌표계(974)(u, v)를 갖는 것으로 도시된다. 2차원 스티칭 프로그램(938)은 비압축 왜곡 보정된, 노이즈 필터링 및 분할된 개별 영상 사이의 기하학적 일치를 조합하고, 합성 영상(972)을 형성하고 스티칭 프로세스 동안 생성된 이음매를 제거하기 위해 블렌딩을 사용한다. 영상을 블렌딩하기 위한 2개의 대중적인 방법은 알파 블렌딩과 가우스 피라미드 블렌딩이다. 6개의 보정된 영상 데이터(960, 962, 964, 966, 968 및 970)의 각각의 픽셀 해상도는 스티칭된 영상(972)에서 실질적으로 보존된다(예를 들어, 영상 공간 치수를 갖는 픽셀 및 영상(960)에서 대응하는 물체 공간 치수를 갖는 픽셀은 합성 영상(972)에서 실질적으로 보존될 것이다)는 점에 유의한다. 따라서, 스티칭된 영상(972)(또는 이로부터 도출된 다른 영상)은 실질적으로 단일 영상의 해상도를 갖는 영상 공간의 기하학적 특징 특성, 치수 및 측정값을 결정하도록 사용될 수 있다.

또한 도 13a 및 도 13b에는 영상(960, 962, 964, 966, 968 및 970)에 대한 목표 반사 지점(976, 978, 980, 982, 984 및 986)이 도시되어 있다. 이들 목표 반사 지점은 (예를 들어, 도 4의 거리 센서(450)에 의해) 거리 측정이 취해지는 지점들이다. 2개의 거리 센서(예를 들어, 도 9a의 거리 센서(450a 및 450b))가 이용될 때, 각각의 센서는 그 자신의 목표 반사 지점의 세트와 관련될 것이다. 따라서, 스티칭된 영상(972) 데이터는 구조적 부재(121)의 비압축, 왜곡 보정, 노이즈 필터링 및 분할된 영상(셰이크아웃 필드(110) 내에서 영상화된 구조적 부재(120) 및 철근 다발(121a)과 같은 임의의 추가적인 건축 자재 물체와 함께)를 포함하고, 각각의 구조적 부재와 관련된 구조적 특징 물체의 영상(예를 들어, 구조적 부재(121)와 관련된 브래킷(712) 및 구멍 쌍(720a, 720b, 720c, 720d)의 영상)을 더 포함하고, 다른 건축 자재 물체 특징을 또한 포함할 수 있는 것으로 이해된다. 또한 스티칭된 영상(972)에서의 목표 반사 지점(예를 들어, 지면으로부터의 거리 및 u-v 좌표계 내의 위치)에 관한 데이터뿐만 아니라 식별 표식(740)의 영상이 포함된다.

도 10의 영상 공간-물체 공간 변환 프로그램(940)은 영상(972)의 각각의 픽셀을 등가의 물체 공간 거리로 변환한다. 예를 들어, 보정된 영상의 u-축 방향으로의 영상 공간에서의 하나의 픽셀은 x-축 방향으로의 물체 공간에서의 0.25 인치(또는 약 6.4 mm)에 대응할 수 있다. 대안적으로, 영상 공간-물체 공간 변환 프로그램(940)은 물체 공간 거리를 대응하는 비왜곡 영상 공간 좌표로 변환한다. 영상 공간-물체 공간 변환 프로그램(940)은 영상 공간에서 물체 공간으로의 변환이 렌즈로부터 영상화된 물체까지의 거리에 의존한다는 사실을 추가로 설명한다.

도 14를 참조하면, 인치당 픽셀 값(y-축)과 렌즈-영상화된 물체 사이 거리(x-축) 사이의 기능적 종속성(973)의 예가 도시되어 있다. 물체 공간에 대한 영상 공간 변환 비율은 렌즈와 영상화된 물체 사이의 거리의 함수이고, 종래의 렌즈에 대해 일정하지 않다는 것이 널리 공지되어 있다. 영상기/렌즈 조합은 이전에 교정되었으며, 렌즈로부터 영상화된 물체까지의 거리와 영상 공간-물체 공간 변환 값 사이의 기능적 관계를 제공한다.

렌즈와 영상화된 물체(예를 들어, 구조적 부재(121)) 사이의 거리는 거리 센서(450)에 의해 결정된다. 일부 실시형태에서, 거리는 영상기(430)와 거리 센서(450) 사이의 수직 오프셋을 고려하여 보정되어야 하고, 이는 예를 들어 위치적 장착 차이로 인해 발생한다. 영상 공간-물체 공간 변환 프로그램(940)은 영상 공간 치수로부터 물체 공간 치수를 결정하는 데 유용하고, 특히 구조적 부재(121)의 상단 표면(714)의 영상으로부터의 길이(710)와 같은 물체의 폭, 길이, 높이 및 영역을 결정하거나, 또는 특정 구조적 부재의 구조적 특징의 상대적 위치 및 치수(예를 들어, 구조적 부재(121)에 대한 영상화된 브래킷(712)의 위치 및 치수)를 결정하거나, 또는 보강 바(121a)의 길이와 같은 다른 건축 자재 물체에 대한 물체 공간 치수를 결정하는 데 유용하다.

도 15를 참조하면, 도 10의 영상 분석 및 컨볼루션 신경망 프로그램(942)은 셰이크아웃 필드(110)의 스티칭된 영상(972)을 분석하고, (a) 각각의 건축 자재 물체(예를 들어, 구조적 부재(121))를 검출하고, (b) 부착된 브래킷(712)과 같은 각각의 구조적 부재와 관련된 구조적 특징 물체 또는 기타 건축 자재 물체 특징을 검출하고, (c) 식별 표식(740)(또는 다른 건축 자재 물체의 식별 표식)과 같은 각각의 구조적 부재와 관련된 식별 표식 물체를 검출하고, (d) 목표 반사(976978)와 같은 목표 물체의 거리 센서 목표 반사를 검출하고, (e) 스티칭된 영상(972) 내의 다른 물체를 검출하고, 이어서, 영상(997)을 생성하기 위해 컨볼루션 신경망 기술을 비롯하여, 널리 공지된 컴퓨터 비전 영상 분할을 사용한다. 영상 분할 방법을 설명하는 참고 자료는 Rafael C. Gonzalez 및 Richard E. Woods(Addison-Wesley Publishing Company, 1992)의 "Digital Image Processing", Rafael C. Gonzalez 및 Richard E. Woods 및 Steven L. Eddins(Pearson Prentice Hall Publishing Company, 1992)의 "Digital Image Process Using MATLAB" 및 메사추세츠주 나티크에 소재하는 MathWorks에 의해 개발된 MATLAB 프로그래밍 언어 수치 컴퓨팅 환경을 포함한다. 영상 분할에 대한 MATLAB 및 일반 인터넷 검색은 영상 분할을 수행하기 위해 많은 논문과 프로그램 예제를 제공한다. 컨볼루션 신경망 기술은 또한 영상 분할을 위해 사용될 수 있다. 영상 분할을 위한 컨볼루션 신경망의 예는 U-Net이다.

영상 분석 프로그램(942)은 (스케일 불변 특징 변환과 같은) 컴퓨터 비전 방법 및/또는 컨볼루션 신경망(CNN) 방법을 사용하여 물체를 분류한다. 이어서, 영상 분석 프로그램(942)은 분할 방법에 의해 식별된 물체를 분석하고, (a) 구조적 부재(121)와 같은 구조적 부재 물체, (b) 각각의 구조적 부재와 관련된 브래킷(712)과 같은 구조적 특징 물체, (c) 구조적 부재(121)의 식별 표식(740)과 같은 각각의 구조적 부재에 대한 식별 표식 물체, (d) 반사 목표(978)과 같은 거리 센서 목표 물체, 및 (e) 기타 원하는 물체를 비롯하여, (좌표 원점(974)을 참조한) 검출된 물체의 주변 모서리 u-v 위치 좌표를 계산한다. 예를 들어, 영상 분석 프로그램(942)은 구조적 부재(121)와 관련된 영상 데이터를 분석하고, 이어서, u-v 원점(974)에 관하여 참조한 u-v 좌표를 각각 갖는, 구조적 부재(121)의 좌측 상단 모서리(988), 우측 상단 모서리(989), 좌측 하단 모서리(990) 및 우측 하단 모서리(991)의 u-v 좌표를 결정한다. 구조적 부재(121)의 주변(987)은 좌측 상단 모서리(988), 우측 상단 모서리(989), 좌측 하단 모서리(990) 및 우측 하단 모서리(991)의 u-v 좌표로부터 결정된다.

이어서, 영상 분석 프로그램(942)은 검출된 물체의 주변 선분의 u-v 좌표를 결정하도록 모서리 u-v 좌표를 사용한다. 주변 선분은 물체의 주변을 정의하고, 주변 u-v 좌표는 영상(997) 내의 물체의 위치를 정의한다. 예를 들어, 이어서, 영상 분석 프로그램(942)은 구조적 부재(121)의 주변 선분(987a, 987b, 987c, 987d)의 u-v 좌표를 결정하기 위해 모서리 u-v 좌표(예를 들어, 좌표 원점(974)을 참조하는 (u1, v1), (u2, v2), (u3, v3) 및 (u4, v4))를 사용한다. 영상 분석 프로그램(942)은 또한 영상 공간 주변 데이터로부터 영상 공간 면적을 계산한다. 모서리 u-v 좌표 및 선분(987a, 987b, 987c, 987d)은 영상 공간에서 구조적 부재(121)의 주변(987)를 정의하고, 따라서 구조적 부재(121)(구조적 부재(120) 또는 다른 유형의 건축 자재 물체와 같은 영상 내에 포함된 임의의 다른 구조적 부재)의 상단 표면(174)의 영상 공간에서의 위치를 나타낸다.

이어서, 영상 분석 프로그램(942)은 영상화된 구조적 부재(121) 물체와 관련된 다른 기하학적 치수를 결정한다. 예를 들어, 영상 분석 프로그램(942)은 선분(987b)의 영상 공간에서의 거리를 사용하여 영상 공간에서 구조적 부재(121)(및 셰이크아웃 필드(110) 내에 포함된 다른 모든 구조적 부재)의 폭(708)을 결정한다. 영상 분석 프로그램(942)은 유사하게 선분(987a)의 영상 공간에서의 거리를 사용하여 영상 공간에서 구조적 부재(121)(및 셰이크아웃 필드(110) 내에 포함된 다른 모든 구조적 부재)의 길이(710)를 결정한다.

이어서, 영상 분석 프로그램(942)은 각각의 구조적 부재와 관련된 구조적 특징 물체의 u-v 위치를 결정한다. 예를 들어, 프로그램은 브래킷 물체(712) 및 구멍 쌍 물체(720a, 720b, 720c, 720d)를 포함하여 구조적 부재(121)와 관련된 구조적 특징 물체에 대한 영상 공간에서의 위치를 결정할 수 있다. 영상 분석 프로그램(942)은 (u-v 원점(974)에 관하여 참조한) 브래킷 물체 모서리(992, 993, 994, 995)의 u-v 좌표를 추가로 결정하고, 구조적 부재(121)의 로컬 u-v 좌표계 원점(999)에 대한 구조적 특징의 u-v 좌표를 참조할 수 있다.

이러한 u-v 좌표 모서리 데이터로부터, 프로그램은 구조적 부재(121) 물체의 폭과 길이를 결정하는 데 사용되었던 유사한 절차를 사용하여 브래킷(712) 물체(영상화된 브래킷)의 영상 공간에서의 폭과 길이를 결정한다. 예를 들어, 영상 분석 프로그램(942)은 u-v 좌표계(974) 또는/또는 구조적 부재(121)에 그려진 원점에 대해 영상 공간에서 브래킷(712) 물체의 주변 및 위치를 결정하기 위해 u-v 좌표를 사용하는 종래의 분석 기하학 방법을 사용한다. (영상 공간에서) 브래킷(712)의 폭은 유사한 방식으로 결정될 수 있다. 구조적 부재(121) 및 좌표계(974)에 대한 영상 공간에서의 브래킷(712)의 위치는 또한 u-v 좌표(992, 993, 994 및 995)를 사용하여 표현될 수 있다. 유사하게, 구멍 쌍(720a, 720b, 720c 및 720d) 및 개별 구멍 직경(구멍 주변)에 포함된 각각의 개별 구멍 물체의 u-v 좌표는 영상 분석 프로그램(942)에 의해 영상 공간에서 결정되거나(u-v 원점(974)에 관하여 다시 참조되거나), 또는 구조적 부재(121)의 상단 표면(714)을 참조한 영상 좌표계를 참조할 수 있다.

영상 분석 프로그램(942)은 영상(972)의 상단 표면(714)의 영상을 추가로 분석하고, 컨볼루션 신경망 기술을 포함하는 종래의 컴퓨터 비전 기술을 사용하여, (a) 식별 표식 물체를 검출하고, 이어서, (b) 식별 표식 물체를 캡슐화하는 직사각형 경계 상자(996)를 구성하고, 경계 상자 모서리의 (u-v 원점(974)에 관하여 또는 구조적 부재(121)를 참조한) u-v 좌표를 결정한다. 따라서, 식별 표식(740)의 영상이 검출되고, 경계 상자가 생성된다.

영상 공간에서 식별 표식 물체가 검출되어 정의되는 것으로, 훈련된 컨볼루션 신경망(CNN)이 경계 상자 내에 포함된 영숫자 문자 및/또는 기호 영상 데이터에 적용되어, 식별 표식(740)의 영상을 디지털 데이터 표현으로 변환한다. 예를 들어, CNN은 문자를 'A'로서 인식하고, 디지털 데이터 ASCII 코드 065를 십진수로 할당할 수 있다(이진수 표현은 01000001이다). 도 15에 도시된 기계 생성 식별 표식 영상 표현(979)은 더 크고, 본래 수기 표식(740)의 영상와 다른 기계 생성 폰트를 가지며, 경계 상자(996)를 갖는 (수기 표식의 원래 영상이 제거된) 영상(997) 위에 중첩된다는 점에 유의한다.

영상 분석 프로그램(942)은 종래의 컴퓨터 비전 기술을 사용하여 각각의 목표 반사 지점(976, 978, 980, 982, 984, 986)에 대한 (u-v 원점(974)에 관하여 참조한) u-v 좌표를 추가로 결정한다. 예를 들어, 색 공간 임계화 기술은 개별 영상(960, 962, 964, 966, 968 및 970)뿐만 아니라 스티칭된 영상(972)에서 적색 목표 반사 지점(LIDAR 레이저가 적색 파장 방출이면)의 (u-v 원점(974)에 관하여 참조한) u-v 좌표를 결정하기 위해 스티칭된 영상(972)에 적용될 수 있다. (녹색 레이저와 같은) 다른 색상의 레이저가 사용될 수 있다. 이 경우에, 녹색 임계값이 사용된다. 영상 분석 프로그램(942)은 또한 거리 센서로부터 획득된 거리 데이터를 각각의 영상화된 목표 반사 지점의 u-v 좌표에 첨부한다. 예를 들어, 영상화된 목표 반사 지점(978)은 관련된 거리(975)를 갖고, 영상화된 목표 반사 지점(908)은 관련된 거리(977)를 갖는다.

영상 분석 프로그램(942)은 또한 영상기(430)의 광학 축(436)(영상의 중심점)으로부터 물체 거리 센서(430) 전송 빔(806)까지의 물체 거리를 사용할 수 있다. 이러한 물체 거리는 데이터 시트 및 장착 분리 거리 사양으로부터 측정되거나 획득될 수 있다. 이어서, 물체 거리는 영상 공간-물체 공간 변환 프로그램(940)을 사용하여 영상 공간 좌표로 변환된다. 따라서, 각각의 영상 중심의 u-v 좌표가 알려져 있기 때문에, 목표 반사 지점의 u-v 좌표가 또한 영상 중심점에 대해 알려진다. 예를 들어, 목표 반사 지점(978, 980)의 영상은 (u-v 원점(974)에 관하여 참조한) u-v 좌표(u10, v10) 및 (u11, v11)을 갖는다. 이들 영상 공간 u-v 좌표는 데이터 융합 프로그램(946)에 의해 사용될 수 있다.

영상 분석 프로그램(942)은 또한 제2 INS(420)로부터 획득된 GNSS 위치 데이터를 각각의 영상화된 목표 반사 지점의 u-v 좌표에 추가로 첨부한다. 영상기는 또한 영상에서의 각각의 픽셀에 GNSS 위치(영상기(430)와 INS(420) 사이의 거리를 설명하기 위해 보정된 오프셋)가 할당되도록 GNSS 교정될 수 있으며, 영상기로부터 영상화된 물체까지의 거리에 대해 추가로 교정된다. 따라서, 모든 영상화된 목표 반사 지점(976, 978, 980, 982, 984, 986)은 관련된 거리 데이터 및 GNSS 위치를 갖고, 영상에서의 모든 픽셀은 GNSS 위치를 갖는다.

이어서 영상 분석 프로그램(942)은 메모리(930)에 저장된 영상 분석 데이터를 조합하고, 스티칭된 영상(997)의 주변(998) 내에서, 그리고 원점(974)에 대해, (a) 구조적 부재(121)의 주변(987)(및 존재하면, 셰이크아웃 필드(110) 내에 포함된 다른 모든 건축 자재 물체), (b) 구조적 부재(121)와 관련된 구조적 특징의 주변(예를 들어, 브래킷(712)의 주변(985) 및 각각 구멍 쌍(720a, 720b, 720c, 720d)의 각각의 구멍({983a, 983b}, {983c, 983d}, {983e, 983f}, {983g, 983h})의 주변, 및 볼트(716a, 716b, 716c)의 주변(983i, 983j 및 983k)), (c) 구조적 부재(121)의 표면(714) 영상 및 LIDAR 반사(976, 978, 980, 982, 984 및 986)의 영상에 배치되는 기계 생성 식별 표식(979)(CNN을 사용하여 식별 표식(740)의 영상으로부터 분석됨)을 디스플레이하는 영상(997)을 생성한다.

구조적 부재 주변(987), 구조적 특징 브래킷 주변(985), 구조적 특징 구멍 주변(983a, 983b, 983c, 983d, 983e, 983f, 983g 및 983h), 식별 표식(979) 및 LIDAR 반사(976, 978, 980, 982, 984 및 986)의 u-v 좌표와 함께, 결과적인 영상(997)은 메모리(930)에 저장된다. 추가적으로, 모든 영상 공간 거리 및 위치 계산이 또한 메모리(930)에 저장된다. 구조적 특징의 위치는 주변 라인(987a 및 987b)의 교차점(주변(987)의 좌측 상부 모서리)에 위치된 구조적 부재 로컬 u-v 좌표계(999)에 참조될 수 있다. 다른 구조적 부재 u-v 좌표계 위치도 가능하다.

영상 공간-물체 공간 변환 프로그램(940)은 영상 공간에서의 각각의 치수를 등가의 물체 공간 치수로 변환한다. 예를 들어, 구조적 부재(121)의 픽셀 단위의 길이는 인치 단위의 등가 길이로 변환될 수 있다. 영상 공간으로부터 물체 공간 치수로의 변환은 데이터 융합 프로그램(946) 및 도 18을 참조하여 개시된다.

도 16을 참조하면, 도 10의 빔 높이 프로그램(944)은 위치(A)에서 거리 센서(450)로부터 구조적 부재(121)의 상단 표면(714) 상의 목표 위치(978)까지의 수직 거리(975)를 결정하고, 이어서, (거리 센서(450)가 크레인 조작자에 의해 이동된 후) 위치(B)에서의 거리 센서(450)로부터 목표 위치(980)를 갖는 지면(109)까지의 수직 거리(977)를 결정하는 것에 의해 구조적 부재(121)(및 셰이크아웃 필드(110) 내에 포함된 모든 건축 자재 물체)의 높이(711)를 계산한다. 이어서, 빔 높이 프로그램(944)은 거리(977 및 975) 사이의 차이를 계산하여 구조적 부재(121)의 높이(711)를 제공한다. 거리 센서(450)로부터 영상화된 물체까지의 거리 데이터(977 및 975)는 기록되어 메모리(930)에 저장된다.

예로서, 목표 반사 지점(978)은 I-빔(121)의 상부 플랜지 상단 표면(714)에 위치되고, 목표 반사 지점(980)은 지면(109)에 위치된다. 거리 센서(450)로부터 상부 플랜지 상단 표면(714)(지점(978)에 있는)까지의 수직 거리(975)와 거리 센서(450)로부터 지점(980)에서의 지면(109) 표면까지의 수직 거리(977)에서의 차이는 I-빔(121)의 높이(711)를 산출한다. 높이 데이터는 메모리(930)에 저장되고, 구조적 부재(121)와 관련된다. 셰이크아웃 필드(110)에서의 다른 구조적 부재 및 건축 자재 물체의 높이는 구조적 부재와 관련된 구조적 특징의 높이뿐만 아니라 유사한 방식으로 결정된다. 추가적으로, 센서(450)로부터 목표까지의 거리는 메모리(930)에 저장된다.

도 17을 참조하면, 데이터 융합 프로그램(946)은 영상 분석 프로그램(942)에 의해 메모리(930)에 저장된 데이터를 입력하고, 구조적 부재(121)를 위한 영상 공간 데이터 구조(1200)를 생성한다. 데이터 구조(1200)는 다음과 같은 비배타적 필드를 포함한다: 구분자 데이터 필드(1201); 식별 표식 데이터 필드(1205); 주변 u-v 좌표 데이터 필드(1210); 폭 데이터 필드(1215); 길이 데이터 필드(1220); 높이 데이터 필드(1225); GNSS 위치 데이터 필드(1230); 플래그 데이터 필드(1332); 브래킷 구조적 특징 데이터 필드(1235); 브래킷 주변 u-v 좌표 데이터 필드(1240); 브래킷 폭 데이터 필드(1245); 브래킷 길이 데이터 필드(1250); 브래킷 높이 데이터 필드(1255); 구멍 구조적 특징 데이터 필드(1260); 구멍 주변 데이터 필드(1265); 구멍 구조적 특징 중심 물체 공간 좌표 데이터 필드(1270); 및 구조적 특징 직경(1275). u-v 치수는 픽셀 단위인 것에 유의한다. 다른 구조적 특징은 적용 및 이용 가능한 데이터에 의존하여 추가되거나 삭제될 수 있다.

높이 데이터 필드(1225)는 높이 데이터를 포함하고, GNSS 위치 데이터 필드(1230)는 관련된 검출된 구조적 부재(예를 들어 구조적 부재(121))의 GNSS 위치를 포함한다. 데이터 필드(1210, 1215, 1220, 1240, 1245, 1250, 1265, 1270 및 1275)의 값은 영상 공간 좌표(예를 들어, 픽셀)에 있다. 구조적 부재(121)의 GNSS 위치 좌표는 LLA 좌표로 주어지지만, ECEF 좌표 또는 임의의 다른 적절한 좌표계일 수도 있다.

데이터 구조(1200)의 데이터 필드의 수는 셰이크아웃 필드에서의 구조적 부재(121) 및 다른 건축 자재 물체에 대한 원하는 레벨의 세부사항에 따라 확장되거나 축소될 수 있다는 것이 이해된다. 예를 들어, 일부 경우에, 구조적 부재(121)에 관한 데이터 필드만이 중요한 것으로 간주될 수 있고, 브래킷 및 구멍의 구조적 특징과 같은 구조적 부재(121)와 관련된 구조적 특징 중 어느 것도 중요하지 않은 것으로 간주될 수 있다. 이러한 경우에, 데이터 필드(1201, 1205, 1210, 1215, 1220, 1225, 1230, 및 1232)만이 데이터 구조(1200)에 포함될 것이다. 다른 실시형태에서, 구조적 부재(121)의 임의의 및 모든 구조적 특징에 대한 측정 데이터가 추가된다.

도 18을 참조하면, 도 10의 데이터 융합 프로그램(946)은 영상 공간-물체 공간 변환 프로그램(940)을 사용하여 각각의 검출된 구조적 부재에 대한 새로운 물체 공간 데이터 구조(1400)를 생성한다. 물체 공간 데이터 구조(1400)는 다음의 비배타적 필드를 포함한다: 구분자 데이터 필드(1301); 식별 표식 데이터 필드(1305); 물체 공간 주변 좌표 데이터 필드(1310); 폭 데이터 필드(1315); 길이 데이터 필드(1320); 높이 데이터 필드(1325); GNSS 위치 데이터 필드(1330); 플래그 데이터 필드(1332); 브래킷 구조적 특징 데이터 필드(1335); 브래킷 물체 공간 주변 좌표 데이터 필드(1340); 브래킷 폭 데이터 필드(1345); 브래킷 길이 데이터 필드(1350); 브래킷 높이 데이터 필드(1355); 구멍 구조적 특징 데이터 필드(1360); 구멍 구조적 특징 중심 u-v 좌표 데이터 필드(1370); 및 직경 구조적 특징 직경(1375). 데이터 융합 프로그램(946)은 데이터 구조(1200)의 구분자 데이터 필드(1201), 식별 데이터 필드(1205), 높이 데이터 필드(1225), GNSS 위치 데이터 필드(1230), 브래킷 구조적 특징(1235) 및 구멍 구조적 특징(1260)을 데이터 구조(1400)의 데이터 필드(1301, 1305, 1325, 1330, 1335 및 1360)에 각각 복사한다. 이 시점에서, 다른 데이터 필드(1310, 1315, 1320, 1340, 1345, 1350, 1355, 1365, 1370 및 1375)는 비어 있다.

이어서, 데이터 융합 프로그램(946)은 거리 센서로부터 각각의 구조적 부재 물체까지의 거리 데이터와, 각각의 구조적 특징 물체에 대한 거리 데이터를 영상 공간-물체 공간 변환 프로그램(940)으로 전달한다. 이어서, 영상 공간-물체 공간 변환 프로그램(940)은 도 14에 도시된 바와 같이 거리 센서로부터 영상화된 물체까지의 거리의 함수로서 정확한 변환 비율을 복귀시킨다. 이어서, 데이터 융합 프로그램(946)은 데이터 구조(1200)의 데이터 필드(1210, 1215, 1220, 1240, 1245, 1250, 1265, 1270 및 1275)에 포함된 영상 공간 치수를 각각 데이터 구조(1400)의 데이터 필드(1310, 1315, 1320, 1340, 1345, 1350, 1365, 1370, 1375)에 포함된 물체 공간 치수(예를 들어, 인치)로 변환한다. 따라서, 데이터 융합 프로그램(946)은, 영상(997)에서 식별된 물체의 물체 공간 좌표 및 치수(예를 들어, 인치 또는 cm)로 변환된 데이터 구조(1200)의 모든 영상 공간 u-v 좌표와 측정값으로 이루어지고 구조적 부재(121)(및 기타 영상화된 구조적 부재)에 대한 식별 표식과 GNSS 위치를 더 포함하는 최종 물체 공간 데이터 구조(1400)를 생성한다. 구조적 부재(121)의 다른 특성은 추가적인 데이터 필드를 추가하는 것에 의해 물체 공간 데이터 구조(1400)에 추가될 수 있다. 이러한 추가 데이터 필드에 대한 데이터는 데이터 융합 프로그램을 통해 계산되거나 건설 현장 데이터베이스로부터 직접 액세스될 수 있다.

이어서, 물체 공간 데이터 구조(1400)는 메모리(930)에 저장되고, 식별 표식 데이터 필드(1305)에 의해 메모리에 액세스된다. 최종 물체 공간 데이터 구조는 또한 서버(220), 영상화 시스템(210), 모바일 시스템(215) 및 클라우드(225)로 전송되어, 그 각각의 메모리에 저장된다. 영상 공간 데이터 구조(1200) 및 물체 공간 데이터 구조(1400)의 데이터 필드는 타임 스탬프 데이터(1056)를 포함하도록 확장될 수 있다(도 20에 관하여 참조).

도 10의 사양 비교 프로그램(948)은 데이터 융합 프로그램(946)으로부터 계산된 구조적 부재(121)(또는 다른 건축 자재 물체)의 물체 공간 데이터 구조(1400)를, 건설 현장 데이터 베이스로부터 획득된 구조적 부재(121)에 대한 유사한 형식의 데이터 구조와 비교한다. 건설 현장 데이터베이스는 조작자 시스템(205), 영상화 시스템(210), 모바일 시스템(215), 서버 시스템(220), 클라우드 서비스(225), 또는 이들의 임의의 조합에 상주할 수 있다. 데이터 구조(1400)와 건설 현장 데이터베이스로부터의 유사한 형식의 데이터 구조 사이의 어떠한 불일치도 기록되고, 크레인 조작자는 디스플레이(330)에 디스플레이된 메시지를 통해 또는 스피커(370)와 같은 일부 다른 수단에 의해 통지받는다. 통지 메시지는 또한 불일치를 기록하고/하거나 현장에서의 다른 작업자에게 통지하기 위해 모바일 시스템(215), 서버 시스템(220) 및/또는 클라우드 서비스(225)로 전송될 수 있다.

무게중심 프로그램(949)은 구조적 부재(또는 다른 건축 자재 물체)에 대한 무게중심을 계산하여, 크레인 조작자가 호이스팅되기 위해 대기열에 있는 원하는 부재 또는 다른 건축 자재 물체 위에 메인 후크 블록(136)을 위치시키는 것을 지원한다. 예를 들어, 무게중심에 대한 상대적인 구조적 부재 좌표(위치)를 아는 것은 호이스팅 리깅(hoisting rigging)의 부착 위치를 정의하기 위한 중요한 데이터이다. 이러한 위치는 건설 현장 데이터베이스에 의해 제공될 수 있거나, 또는 무게중심 계산에 필요한 폭, 길이, 높이, 단면 프로파일, 및 추가 구조적 부재 데이터를 사용하여 계산될 수 있다. 무게중심을 계산하는 데 사용될 수 있는 추가적인 구조적 부재 데이터는 건설 현장 데이터베이스로부터 획득된 재료 특성(재료 밀도와 같은)과 단면적을 포함할 수 있다. 물체에 대한 무게중심 계산은 당업계에 널리 공지되어 있다. 추가적으로, 건축 자재 물체의 중량은 건설 현장 데이터베이스로부터 획득되거나, 또는 호이스팅되는 건축 자재 물체의 밀도 및 기하학적 특성을 알고 계산될 수 있다. 중량 데이터는 크레인의 최대 리프트 용량이 초과되지 않는 것을 보장하도록 사용된다.

셰이크아웃 필드 내의 각각의 구조적 부재에 대한 무게중심의 위치는 각각의 구조적 부재의 표면 영상에 중첩된 별개의 기호(예컨대, "CG" 라벨이 있는 적십자와 같은 색상 목표 기호)를 중첩시키는 것에 의해 추가로 디스플레이될 수 있고, 도 22를 참조하여 더욱 자세히 설명된다.

GNSS 위치 계산기(2003)는 프로젝트 기본 좌표계에서의 부착 또는 목적지 위치 좌표가 각각 주어지면 구조적 부재 또는 건축 자재 물체의 부착 또는 목적지 위치의 GNSS 좌표를 결정하고, 이에 대해 도 23을 참조하여 설명된다.

시스템 제어 프로그램(950)은 메모리(920)의 다른 프로그램 사이의 상호 작용을 제어하고, 본 발명의 목적을 달성하기 위해 다른 프로그래밍 기능을 제공하고, 시스템(205)의 진단 자체 평가를 추가로 수행한다.

도 19를 참조하면, 영상화 시스템(210)의 컴퓨터(440)의 메모리(1000)의 블록도가 도시된다. 메모리(1000)는 컴퓨터(440)의 하드웨어 및 기타 리소스를 관리하기 위한 종래의 컴퓨터 운영 체제 소프트웨어(1010), 본 발명의 바람직한 실시형태에 따른 작업을 수행하기 위한 몇몇 소프트웨어 프로그램을 포함하는 프로그램 메모리(1020), 및 시스템 데이터와, 영상 데이터, GNSS 위치 데이터를 포함한 INS 데이터, IMU 데이터, 타임 스탬프 데이터, 거리 센서 데이터 및 기타 데이터를 포함하는 기타 데이터를 저장하기 위한 데이터 메모리(1030)를 포함한다.

컴퓨터 운영 체제(OS) 소프트웨어(1010)는 실시간 운영 체제(RTOS), UNIX OS 소프트웨어, LINUX OS 소프트웨어(예를 들어, Linux 배포판 Ubuntu 및 Debian), Windows OS 소프트웨어(Microsoft Corporation에 의해 제공됨) 또는 기타 호환 가능한 운영 체제 소프트웨어와 같은 기존의 운영 체제 소프트웨어를 포함할 수 있다. 운영 소프트웨어는 종래의 운영 체제 소프트웨어 기능을 수행하고, 컴퓨터(440)의 프로그램 메모리(1020)에 저장된 다양한 프로그램을 실행할 수 있다. 프로그램 메모리(1020)는 영상 획득 프로그램(1032), 거리 획득 프로그램(1034), 위치 획득 프로그램(1036), 팩-앤-고 프로그램(1038), 진단 프로그램(1040), 시스템 제어 프로그램(1042)를 포함한다.

영상 획득 프로그램(1032)은 영상기(430)로부터(또는 사용되는 경우 영상기(430a 및 430b 또는 그 이상의 영상기)로부터) 영상의 획득을 제어하고, 획득된 미가공 영상(및 임의의 다른 첨부된 카메라 메타데이터)을 데이터 메모리(1030)에 저장한다. 영상 획득 프로그램(1032)은 영상기(430) 제조자에 의해 제공되는 애플리케이션 프로그래밍 인터페이스(API) 및 관련 소프트웨어 라이브러리를 사용할 수 있다. 영상 획득 프로그램(1032)은 또한 미가공 영상 데이터를 압축하고, 압축 영상 데이터를 또한 데이터 메모리(1030)에 저장한다. 따라서, 미가공 영상 데이터와 압축 영상 데이터 모두가 데이터 메모리(1030)에 저장된다는 것이 이해된다.

영상 획득의 시작에서, 영상 획득 프로그램(1032)은 영상 획득을 시작하기 위해 영상기(430)에 영상 획득 시작 명령을 전송한다. 영상은 하드웨어 트리거, 소프트웨어 명령을 사용하여 동기식으로 획득되거나 또는 비동기식으로 획득할 수 있다(즉, 프리런 영상 획득(free run image acquisition)). 영상기(430)가 타임 스탬프 또는 프레임 ID를 자동으로 첨부하지 않으면, 영상 획득 프로그램(1032)은 이러한 정보를 미가공 영상와 압축 영상 데이터 모두에 첨부한다. 타임 스탬프 데이터는 영상기(430) 또는 시간 데이터의 다른 소스에 의해 제공되지 않는 경우 INS(420)를 통해 컴퓨터(440)로부터 수신될 수 있다. 영상기(430)(또는 2개의 영상기가 사용되는 경우 영상기(430a 및 430b)) 또는 컴퓨터(440)에 의해 (타임 스탬프 및/또는 프레임 ID와 같은) 영상 데이터에 첨부된 임의의 추가 데이터와 함께, 각각의 획득된 미가공 및 압축 영상은 이어서 데이터 메모리(1030)에 순차적으로 저장된다.

거리 획득 프로그램(1034)은 거리 센서(450)로부터(또는 하나 이상의 거리 센서가 사용되면 450a 및 450b와 같은 다수의 거리 센서로부터) 목표 거리 데이터의 획득을 제어한다. 거리 센서 데이터는 프로그램(1034)으로부터 전송된 트리거 신호에 응답하여 획득되며, 영상기(430)로부터 획득된 영상 데이터와 동기화될 수 있다. 예를 들어, 거리 센서(450)로 전송된 동일한 트리거 신호는 영상기(430)를 트리거하는 데에도 사용될 수 있다. 거리 센서(450)는 또한 거리 정보를 비동기적으로 획득할 수 있다. 이어서, 비동기 거리 데이터는 보간이나 다른 수단을 사용하여 영상 데이터와 동기화될 것이다. 따라서, 영상기(430)로부터 획득된 각각의 미가공 영상와 미가공 영상의 압축 영상은 거리 센서(450)로부터 관련된 목표 거리 측정치를 갖는다는 것이 이해된다.

GNSS 위치 획득 프로그램(1036)은 GNSS 수신기(424)로부터의 GNSS 위치 데이터 및 INS(420)의 IMU(422)로부터의 IMU 데이터의 획득을 제어한다. GNSS(424) 위치 데이터 및 IMU(422) 데이터는 로컬 버스(426) 및/또는 마스터 버스(418)를 통해 INS(420)로부터 컴퓨터(440)로 출력되고, 후속적으로 데이터 메모리(1030)에 저장되고 영상기(430)로부터의 미가공 영상 데이터, 압축된 미가공 영상 데이터, 및 거리 센서(450) 데이터에 태그 지정(즉, 이와 관련)된다.

도 20을 참조하면, 팩-앤-고 프로그램(1038)은 인덱스 번호 데이터(1052), 메모리(1030)에 저장된 압축 영상 데이터(1054), 타임 스탬프 데이터(1056), 거리 센서(450)로부터의 거리 데이터(1058), GNSS 위치 데이터(1060), 및 INS(420)로부터의 IMU 데이터(1062)를 결합한다. 이어서, 팩-앤-고 프로그램(1038)은 패리티 검사 비트(parity check bit)(1064)를 계산하고 첨부하여, 직렬화된 페이로드 데이터 패킷(1050)을 형성한다. 순환 중복 검사(CRC)와 같은 다른 보다 정교한 오류 검출 기술이 사용될 수 있다. 데이터 패킷에 대한 다른 형식이 또한 가능하다.

팩-앤-고 프로그램(1038)은 또한 메모리(1030)로부터 압축 영상 픽셀 데이터를 입력하고, 각각의 성공적인 영상 행 데이터를 이전 영상 행 데이터에 연결하는 것에 의해 압축 영상 데이터의 1-차원 어레이를 형성한다. 이어서, 팩-앤-고 프로그램(1038)은 조작자 시스템(205), 모바일 시스템(215), 서버 시스템(220) 및 클라우드 서비스(225)로 전송하기 위해 페이로드 데이터 패킷(1050)을 모뎀(410)으로 전송한다.

진단 프로그램(1040)은 영상화 시스템(210)의 모든 구성요소에 대해 자가 진단 평가를 수행하고, 영상화 시스템(210)의 동작 상태를 제공하고 메모리(1030)에 저장되는 진단 보고서를 생성한다.

시스템 제어 프로그램(1042)은 무선 모뎀(들)(410), INS(420), 영상기(430)(또는 2개의 영상기가 사용되면 영상기(430a 및 430b)), 거리 센서(450)(또는 2개의 거리가 사용되면 거리 센서(450a 및 450b)), 및 무선 전원 스위치(471)와 같은 영상화 시스템(210)의 다른 구성요소 사이의 상호 작용을 제어하고, 본 발명의 목적을 달성하는 데 필요한 다른 기능을 수행한다. 시스템 제어 프로그램(1042)은 또한 조작자로부터의 요청에 응답하여 진단 보고서를 조작자 시스템(205)으로 전송할 수 있다.

도 21a 내지 도 21c는 크레인 조작자를 지원하기 위한 예시적인 방법의 흐름도이다. 다음의 동작 설명은 서버(220) 및 모바일 시스템(215)이 이전에 전원이 켜져 있었고 서버 시스템(220)에 대한 통신 채널(255 및 275)과 모바일 시스템에 대한 통신 채널(255 및 270)이 동작 중이라고 가정한다. 추가적으로, 건설 현장 데이터베이스 및 리프팅 목록 데이터는 이전에 서버 시스템(220) 또는 클라우드 서비스(225)에 업로드되었고, 조작자 시스템(205), 영상화 시스템(210), 모바일 시스템(215), 서버 시스템(220), 및 클라우드 서비스(225)을 포함하는 시스템(200)의 모든 시스템이 건설 현장 데이터 및 리프팅 목록 데이터에 대한 운영 액세스 권한을 갖는 것으로 추가로 가정한다. 또한, 본 발명의 목적을 달성하는 데 필요한 임의의 교정 데이터가 조작자 시스템(205), 영상화 시스템(210), 모바일 시스템(215), 서버 시스템(220) 및 클라우드 서비스(225)에서 이용 가능한 것으로 가정한다.

도 21a의 방법(1500)은 영상화 시스템(예를 들어, 도 1의 영상화 시스템(210)) 및 조작자 시스템(예를 들어, 조작자 시스템(205))이 초기화되는 단계(1505)에서 시작한다. 영상화 시스템을 초기화하는 것은 예를 들어 영상화 시스템의 컴퓨터 전원을 켜고 부팅하는 것을 포함할 수 있다. 영상화 시스템이 크레인의 메인 후크 블록에 위치되는 실시형태에서, 조작자는 메인 후크 블록을 내려 영상화 시스템(210)에 액세스할 수 있다. 필요하면, 크레인 조작자는 방전된 배터리(470)를 완전히 충전된 배터리로 교체할 수 있다. 영상화 시스템(들)이 하나 이상의 드론 차량에 장착되는 실시형태에서, 작업자는 영상화 시스템(들)의 전원을 켜고 부팅할 수 있다. 현장에서의 작업자는 전원 공급 장치(예를 들어, 전원 공급 장치(480))를 켜는 것에 의해 영상화 시스템에 전원을 공급할 수 있으며, 이어서, 전원 공급 장치는 컴퓨터(440), 무선 모뎀(들)(410), INS(420), 영상기(430)(또는 2개의 영상기가 사용되는 경우 영상기(430a 및 430b)), 및 전원 버스(481)를 통한 거리 센서(450)에 전원을 공급한다. 무선 전원 스위치(471)는 또한 시스템(210)에 전원을 공급하도록 사용될 수 있다. 무선 전원 스위치(471)는 크레인 조작자가 메인 후크 블록(136)을 내려 수동으로 전원을 스위칭할 필요성 없이 영상화 시스템의 전원을 켜고 끄는 것을 가능하게 한다.

영상화 시스템(210)은 또한 시스템 제어 프로그램(1042)을 사용하여 컴퓨터(440), 무선 모뎀(들)(410), INS(420), 영상기(430), 거리 센서(450)(또는 거리 센서(450a 및 450b)), 및 배터리(470)를 포함하는 구성요소의 진단 자가 평가를 수행할 수 있다. 영상화 시스템(210)은 또한 각각 통신 채널(245, 250, 및 265)을 통해 모바일 시스템(215), 서버 시스템(220) 및 클라우드 서비스(225) 사이의 양방향 통신을 확립하려고 시도한다. 모든 통신 채널이 동작하면, 동작 흐름이 계속되지만, 통신 채널 중 하나라도 동작하지 않으면, 문제가 해결될 때까지 동작 흐름은 종료될 수 있다.

크레인 조작자는 전원 공급 장치(380)를 켜는 것에 의해 조작자 시스템(205)에 전원을 공급한다. 이어서, 전원은 전원 버스(381)를 통해 컴퓨터(340), 무선 모뎀(들)(310), INS(320) 및 하나 이상의 디스플레이를 포함하는 시스템(205)의 모든 구성요소에 인가된다. 컴퓨터(340)가 후속적으로 부팅되어 동작하게 된다. 이어서, 조작자 시스템(205)은 컴퓨터(340), 무선 모뎀(들)(310), INS(320), 및 이를 사용하는 하나 이상의 디스플레이를 포함하는 조작자 시스템(205)의 구성요소의 진단 자가 평가를 수행하는 시스템 제어 프로그램(950)을 실행한다. 이어서, 조작자 시스템(205)은 각각 통신 채널(230, 235, 240, 260)을 통해 영상화 시스템(210), 모바일 시스템(215), 서버 시스템(220) 및 클라우드 서비스(225) 사이의 양방향 통신을 설정하려고 시도한다. 모든 통신 채널이 동작 가능하면, 동작 흐름이 계속되지만, 통신 채널 중 하나라도 동작하지 않으면, 동작 흐름이 종료될 수 있다.

조작자 시스템(205)의 컴퓨터(340)는 "진단 보고서 전송" 메시지를 (통신 채널(230) 및 제1 모뎀을 통해) 영상화 시스템(210)에 전송할 수 있다. 이에 응답하여, 영상화 시스템은 진단 상태 보고서를 통신 채널(230)을 통해 조작자 시스템에 다시 전송한다. 조작자 시스템 또는 영상화 시스템이 각각의 진단 자가 평가에 실패하면 동작 흐름이 종료될 수 있으며, 조작자 시스템은 크레인 조작자에게 초기화 실패를 통지하는 메시지를 디스플레이할 수 있다.

단계(1510)에서, 조작자 시스템은 리프팅 목록 데이터를 수신한다. 일부 실시형태에서, 조작자 시스템은 리프팅 목록 데이터를 직접(예를 들어, 종이 리프팅 목록으로부터) 다운로드하는 반면, 다른 실시형태에서, 조작자 시스템은 서버 시스템(220), 모바일 시스템(215) 또는 클라우드 서비스(225) 중 하나 이상에 저장될 수 있는 리프팅 목록을 건설 현장 데이터베이스로부터 획득한다. 이어서, 수신된 리프팅 목록 데이터는 각각 통신 채널(240 또는 260)을 통해 컴퓨터(340)의 메모리(930)에 저장된다. 다른 실시형태에서, 리프팅 목록 데이터는 (예를 들어, 메모리 스틱 또는 다른 수단에 의해) 이전에 데이터 메모리(930)에 로드되었을 수 있다.

단계(1515)에서, 영상화 시스템은 셰이크아웃 필드의 영상 및 거리 측정치를 수집하기 시작한다. 예를 들어, 단계(1515)는 영상화 시스템이 통신 채널(230) 및/또는 무선 모뎀(들)(310)을 통해 데이터(예를 들어 데이터 패킷(1050)의 형태를 함)를 전송하기 시작할 것을 요청하는 메시지(예를 들어 "데이터 전송 시작")를 조작자 시스템이 영상화 시스템에 전송하는 것을 포함할 수 있다. 이에 응답하여, 영상화 시스템은 데이터 패킷을 조작자 시스템으로 연속적으로 전송하기 시작한다.

일부 실시형태에서, 조작자 시스템은 크레인 조작자에게 메인 후크 블록(136)을 (예를 들어 "Position Hook Block at The Beginning of The Shakeout Field Ground"를 디스플레이하는 것에 의해) 셰이크아웃 필드(110)의 시작 부분으로 이동시키도록 지시한다. 이어서, 조작자는 거리 센서(예를 들어, 거리 센서(450))가 지면(109) 위에 위치되고 영상화 시스템이 거리 센서로부터 지면까지의 거리를 결정할 수 있도록 메인 후크 블록을 이동시킨다. 메인 후크 블록(136)의 이동은 INS(420)에 의해 모니터링될 수 있다. 메인 후크 블록(136) 이동 동안 영상기(430)에 의해 획득된 영상은 디스플레이(330)에 디스플레이되어, 크레인 조작자가 셰이크아웃 필드(110)의 시작 부분에 메인 후크 블록(따라서 영상기(430) 또는 영상기(430a 및 430b)))을 배치하는 것을 지원할 수 있다. 영상화 시스템이 드론에 장착되는 실시형태에서, 영상기(430)에 의해 획득된 영상은 또한 (예를 들어 모바일 시스템의 디스플레이를 사용하여) 드론 조작자에게 보여질 수 있다.

일부 실시형태에서, 조작자 시스템은 메인 후크 블록(136)이 셰이크아웃 필드(110) 지면의 시작 부분에 위치될 때 입력 디바이스(350) 상의 "준비" 버튼을 누르도록 크레인 조작자에게 메시지를 보낸다. "준비" 버튼이 눌려진 것에 응답하여, 컴퓨터(440)는 거리 센서(450)로부터의 거리 데이터를 입력하고, 통신 채널(230)을 통해 컴퓨터(340)에 거리 데이터를 전송한다. 이어서, 컴퓨터(340)는 거리 센서(450)로부터의 거리 데이터가 영상기(430)에 대해 허용 가능한 범위 내에 있는지의 여부를 결정한다. 거리 데이터가 허용 가능한 범위 내에 있지 않으면, 허용 가능한 범위 내에서 영상화 시스템을 이동시키기 위해 블록 후크를 위쪽이나 아래쪽으로 이동시키라는 메시지가 크레인 조작자에게 보내진다. 이러한 계산은 시스템 제어 프로그램(950)에 의해 실행될 수 있다.

영상화 시스템이 허용 가능한 거리 범위 내에 있으면, 조작 시스템은 입력 디바이스 상의 "스캐닝 시작" 버튼을 누르도록 디스플레이를 통해 크레인 조작자에게 메시지를 보낼 수 있다. "스캔 시작" 버튼을 누르는 것에 응답하여, 컴퓨터(340)는 영상화 시스템으로부터 수신된 데이터 패킷을 메모리(930)에 즉시 저장하기 시작한다. 이어서, 크레인 조작자는 (예를 들어, 앞뒤 동작 사용하여) 셰이크아웃 필드를 가로질러 메인 후크 블록(136)을 이동시키는 것에 의해 전체 셰이크아웃 필드(110)를 스캔하라는 명령어를 받는다. 크레인 조작자는 셰이크아웃 필드(110)가 완전히 영상화될 때까지 영상기에 의해 캡처되고 디스플레이 상에서 동적으로 업데이트되는 영상을 가이드로서 사용할 수 있다. 스캐닝 작업이 완료될 때, 크레인 조작자에게는 입력 디바이스 상의 "스캔 중지 버튼"을 누르라는 메시지가 추가로 보내진다. "스캔 중지" 버튼을 누르는 것에 응답하여, 컴퓨터(340)는 데이터 패킷(1050)을 메모리(930)에 저장하는 것을 중지한다. 컴퓨터(340)는 "스캐닝 시작"과 "스캐닝 중지" 키보드 누름 사이의 시간 간격 동안 데이터 패킷(1050)을 메모리(930)에 저장한다.

영상화 시스템이 하나 이상의 드론 차량에 장착되는 실시형태에서, 위에서 상세히 설명된 스캐닝 절차는 크레인 조작자가 아닌 드론 조작자에 의해 수행될 수 있다. 예를 들어, 원격 제어 수단을 사용하는 드론 조작자는 드론 차량을 셰이크아웃 필드의 시작 부분에 위치시키고, 영상화 시스템이 필요한 영상와 거리 데이터를 모두 캡처할 때까지 셰이크아웃 필드 주위로 드론을 비행시킬 수 있다. 스캐닝이 완료되면, 드론 조작자는 드론에 메시지를 전송하여 영상화 시스템이 스캐닝을 중지하게 한다. 다른 실시형태에서, 드론 차량은 자율적으로 동작할 수 있다. 예를 들어, 드론 조작자는 셰이크아웃 필드의 경계를 정의하는 지오펜스(geofence)를 설정할 수 있다. 이어서, 드론은 발사되어, 적절한 시작 위치와 높이로 자동으로 배치되고, 전체 셰이크아웃 필드를 커버하기 위해 (영상기의 시야를 고려하여) 촬영될 필요가 있는 최소 수의 영상을 계산하고, 스캔이 완료될 때까지 셰이크아웃 필드를 자동으로 가로지를 수 있다. 이어서, 드론은 건설 현장에서의 지정된 위치(예를 들어, 드론 충전소)로 자동으로 복귀할 수 있다.

단계(1520)에서, 조작자 시스템(또는 서버 시스템, 모바일 시스템 또는 클라우드 서비스와 같은 적절하게 장비된 다른 시스템)은 수집된 영상에서의 노이즈 및 왜곡을 보정한다. 조작자 시스템의 컴퓨터는 이전에 메모리(930)에 저장된 모든 데이터 패킷을 처리하기 시작하고, 직렬화된 단일 어레이 형식의 영상 데이터(1054)를 2차원 원본 영상 데이터 어레이(1066)로 변환할 수 있는 언팩-앤-고 프로그램(934)을 실행한다. 각각의 패킷(1050)으로부터 도출된 원본 영상 데이터 어레이는 메모리(930)에 저장되고 (예를 들어, 인덱스 번호 데이터(1052)를 사용하여) 인덱싱된다. 2차원 영상 데이터 어레이는 인덱스 번호, 타임 스탬프 또는 프레임 ID(카메라가 장비된 경우 카메라(430)에 의해 제공됨)를 사용하여 인덱싱된다. 원본 데이터 패킷(1050)의 시퀀스는 바람직하게 파괴되지 않는다.

이어서, 컴퓨터(340)는, 셰이크아웃 필드(110)의 각각의 영상(1066)을 압축 해제하고, 압축 해제된 각각의 영상의 렌즈 및 원근 왜곡을 보정하고, 보정된 영상의 노이즈를 필터링하는 영상 보정 및 노이즈 제거 프로그램(예를 들어, 영상 보정 및 노이즈 제거 프로그램(936))을 실행할 수 있다. 예를 들어, 구조적 부재(121)(도 12a 참조)의 단일 비압축 왜곡 영상(951)은 도 12b의 영상(959)에서 도시된 바와 같이 영상 보정 및 노이즈 제거 프로그램(936)에 의해 렌즈 및 원근 왜곡 및 노이즈에 대해 보정될 수 있다. 이어서, 컴퓨터(340)는 하나 이상의 분할 프로세스를 적용하여 영상(1067)의 새로운 시퀀스를 생성할 수 있다. 분할 알고리즘은 또한 각각의 영상(1066)에 적용되어, 개별 영상(1066) 내에 포함된 구조적 부재(121)(및 임의의 다른 구조적 부재 또는 건축 자재 물체)의 주변와 모서리를 정의할 수 있다. 분할 알고리즘은 스티칭 프로그램(939)에 대한 영상(1067)의 정합 지점을 정의하여, 영상의 시퀀스 사이의 대응 관계를 자동으로 찾고 영상의 공통 특징과 일치시키는 것을 돕는다.

따라서, 각각의 영상(1066)에 대해, 대응하는 압축 해제, 왜곡 보정, 노이즈 필터링 및 분할된 영상(1067)이 있다. 개별 영상(1067)의 시퀀스(개별 영상(1066)의 시퀀스에 대응함)는 메모리(930)에 저장되고, 인덱스 데이터(1052) 또는 타임 스탬프 데이터(1056)에 의해 인덱싱된다. 이전에 언급한 바와 같이, 단일 영상만이 셰이크아웃 필드(110)의 크기와 영상기(430)의 시야에 의존하여 요구될 수 있다. 개별 영상(1066)의 시퀀스는 메모리(930)에서 보존된다. 이 시점에서, (구조적 부재(121) 및 임의의 추가적인 구조적 부재를 갖는) 셰이크아웃 필드(110)의 모든 영상은 이제 왜곡 보정, 노이즈 필터링 및 분할되었으며, 인덱스 번호 데이터(1052)(또는 타임 스탬프(1056) 또는 프레임 ID)에 의해 인덱스된 개별 영상(1067)의 시퀀스로서 메모리(930)에 저장된다.

단계(1525)에서, 조작 시스템은 노이즈 및 왜곡 보정된 영상을 함께 스티칭하여 스티칭된 영상을 형성한다. 예를 들어, 2차원 영상 스티칭 프로그램(예를 들어, 2차원 영상 스티칭 프로그램(938))은 일련의 영상(1067)에 액세스하고, 모든 영상을 함께 스티칭하여 스티칭된 영상(1069)(도 22에 도시됨)을 생성한다. 스티칭된 영상은 예를 들어 영상(972)와 유사할 수 있지만, 셰이크아웃 필드 내의 모든 구조적 부재를 포함한다. 예를 들어, 도 12a에 도시된 바와 같은 6개의 개별, 비압축 왜곡 보정 및 노이즈 필터링되고 분할된 영상(960, 962, 964, 966, 968 및 970)의 시퀀스는 도 12b에 도시된 바와 같이 전체 레이아웃 필드(110)의 스티칭된 영상(972)을 생성하는 2차원 영상 스티칭 프로그램에 의해 액세스된다.

단계(1530)에서, 조작자 시스템은 (예를 들어, 영상 분석 및 컨볼루션 신경망(CNN) 프로그램(942)을 통해) 스티칭된 영상(1069)을 수신하고 스티칭된 영상 내의 물체를 인식한다. 예를 들어, 영상 분석 및 컨볼루션 신경망(CNN)) 프로그램은 전체 스티칭된 영상에 대해 동작하여, (a) 각각의 영상화된 건축 자재 물체, (b) 각각의 건축 자재 물체에 귀속되는 영상화된 특징 물체(즉, 부착된 브래킷(712)과 같은), (c) 영상화된 식별 표식 물체(예를 들어 식별 표식(740)), (d) 영상화된 거리 센서 목표 반사 물체(예를 들어, 영상 반사(976)), 및 (e) 스티칭된 영상에서의 다른 영상화된 물체를 검출한다.

단계(1535)에서, 조작 시스템은 스티칭된 영상(1069)에서 인식된 물체를 분석하고, 영상 공간 좌표계(예를 들어, u-v 좌표계(974))에 대해, (a) 건축 자재 물체, (b) 각각의 건축 자재 물체에 귀속되는 특징 물체, 및 (c) 식별 표식 물체를 포함하는 각각의 검출된 물체의 u-v 좌표 위치 및 주변을 결정한다. 영상 분석 및 컨볼루션 신경망 프로그램은 또한 식별 표식 물체(740)의 영상을 포함하는 경계 상자를 계산한다. 식별 표식의 주변은 식별 표식(740)를 포함하는 영숫자 문자 및/또는 기호의 영상 위치를 정의하는 경계 상자 주변으로서 정의된다.

단계(1540)에서, 조작자 시스템은 검출된 식별 표식의 문자 및/또는 기호를 분석한다. 이들 문자 및 기호를 구문 분석하기 위해, 조작자 시스템은 문자 및/또는 기호를 분리하고, 특정 확률 내에서 실제 문자 및/또는 기호 표현을 결정하는 컨볼루션 신경망 애플리케이션을 통해 이들을 전달할 수 있다. 예를 들어 손으로 작성되었을 수 있는 원본 식별 표식(740)은, 예를 들어, 컨볼루션 신경망 표현(979)으로 스티칭된 영상(997) 내에서 대체될 수 있다. 예를 들어, 도 15에 도시된 바와 같이, 도 12b에 도시된 바와 같은 수기 표식(740)의 영상의 컨볼루션 신경망 표현 영상(979). 수기 표식(740)의 원본 영상은 컨볼루션 신경망 표현 영상(979)으로 대체되었다. CNN 처리된 식별 표식 영상(979)은 구조적 부재(121)의 영상(987)과 관련된다.

단계(1545)에서, (예를 들어 사양 및 비교 프로그램(948)을 통해) 조작자 시스템은 셰이크아웃 필드(110) 내에 포함된 영상화된 구조적 부재의 식별 표식의 목록에 대해 리프팅 목록 데이터에 나열된 식별 표식을 비교한다. 따라서, 이러한 단계는 리프팅 목록 데이터에 나열된 모든 구조적 부재가 부착 지점(122)으로 호이스팅되기 위해 셰이크아웃 필드(110)에서 이용 가능한 것을 보장한다. 셰이크아웃 필드에서 이용 가능한 구조적 부재와 목록표에서 식별된 구조적 부재 사이에 불일치가 있으면, (예를 들어, 조작자 시스템 및/또는 모바일 시스템의 디스플레이를 통해) 현장에서의 조작자 및/또는 다른 작업자에게 경보된다. 이러한 방식으로, 목록표에서 식별된 임의의 구조적 부재가 셰이크아웃 필드로부터 누락되면, 조작자는 문제를 해결하기 위한 조치를 취할 수 있도록 가능한 한 빨리 경보를 받는다. 일부 상황에서, 방법(1500)은 누락된 구조적 부재가 위치되거나 교체품이 건설 현장에 배송될 때까지 종료될 것이다. 일부 상황에서, 방법은 목록표에 설정된 순서에 따라서 누락된 구조적 부재를 호이스팅할 때까지 계속될 수 있다.

또 다른 상황에서, 현장의 한 명 이상의 작업자는 식별된 구조적 부재 중 하나 이상이 부정확한 식별 표식으로 마킹되었는지 여부를 결정할 수 있다. 이러한 경우에, 방법(1500)은 (예를 들어 구조적 부재를 다시 마킹하고 다시 스캔하는 것에 의해) 실수가 바로잡힐 때까지 일시 중지될 수 있다. 일부 실시형태에서, 구조적 부재의 재마킹은 방법(1600)이 실행되고 잘못 마킹된 구조적 부재가 리프팅 목록으로부터 불일치된 구조적 부재의 특성과 일치하는 것으로 결정된 후에만 발생하고, 이는 식별된 불일치가 더 심각한 문제라기보다는 잘못 마킹된 식별 표식에 기인한다는 것을 확인하는 것을 도울 수 있다. 리프팅 목록 데이터에 나열된 모든 구조적 부재가 호이스팅에 이용 가능한 것으로서 식별되면, 동작 제어는 도 21b에 도시된 방법(1600)의 단계(1605)로 계속된다.

도 21b의 방법(1600)은 조작자 시스템(또는 모바일 시스템, 서버 시스템 또는 클라우드 서비스와 같은 다른 적합한 시스템)이 결정된 영상 공간 좌표를 사용하여 셰이크아웃 필드 내의 각각의 검출된 물체에 대한 기하학적 특성을 계산하는 단계(1605)에서 시작한다. 예를 들어, 영상 분석 및 컨볼루션 신경망 프로그램은 길이와 폭(위에서 볼 때)을 포함하여 각각의 구조적 부재의 다양한 치수를 계산할 수 있다. 영상 분석 및 컨볼루션 신경망 프로그램은 메모리(930) 내에 모든 영상 공간 데이터를 저장한다. 프로그램은 또한 각각의 식별된 물체를 포함하는 셰이크아웃 필드(110)의 영상(997)을 생성한다.

단계(1610)에서, 조작자 시스템(예를 들어, 빔 높이 프로그램(944)을 사용하는)은 영상(997)에서 각각의 식별된 물체에 대한 높이를 결정한다. 예를 들어, 빔 높이 프로그램은 구조적 부재 주변 데이터를 사용하여, 어떤 목표 반사 지점이 구조적 부재의 주변 내에 놓이는 지를 결정할 수 있다. 이어서, 높이 데이터는 메모리(930)에서의 각각의 구조적 부재 물체와 관련된다. 거리 센서로부터 목표까지의 거리 데이터가 또한 결정되고, 대응하는 목표 반사 물체와 함께 저장된다. 높이 및 거리 데이터는 메모리(930)에 저장된다. 영상 공간 기하학적 특성 및 높이 데이터가 메모리에 저장되면, 컴퓨터(340)는 (예를 들어, 데이터 융합 프로그램(946)을 실행하는 것에 의해) 영상 공간 데이터 구조(1200)를 생성한다. 높이 데이터 및 GNSS 위치 데이터 필드는 이전에 메모리(930)에 저장된 값으로 채워진다. 일부 실시형태에서, 조작자 시스템은 먼저 메모리(930)에 데이터를 저장하는 대신 영상 공간 데이터 구조(1200)에 직접 데이터를 기록할 수 있다.

단계(1615)에서, 조작자 시스템은 영상 공간 데이터를 물체 공간 데이터로 변환한다. 예를 들어, 데이터 융합 프로그램(946)은 구조(1200)의 영상 공간 데이터 필드를 구조(1400)의 대응하는 물체 공간 데이터 필드로 변환할 수 있다(예를 들어, 영상 공간-물체 공간 변환 프로그램(94)). 구체적인 예로서, 영상 공간 데이터 구조(1200)의 픽셀 단위의 폭(1215) 및 픽셀 단위의 길이(1220)는 물체 공간 데이터 구조(1400)에서 십진수 인치 단위의 폭(1315) 및 십진수 인치 단위의 길이(1320)로 변환될 수 있다. 데이터 융합 프로그램은 또한 물체 공간 좌표에서 이미 측정된 데이터(예를 들어, 거리 센서에 의해 캡처된 높이 데이터)를 데이터 구조(1200)로부터 데이터 구조(1400)로 복사한다.

단계(1620)에서, 조작자 시스템은 각각의 검출된 물체에 대한 물체 공간 데이터를, 물체 공간 데이터 구조(1400)에서 나열된 데이터에 대해 비교될 수 있는 구조적 부재 및 구조적 특징 데이터를 포함할 수 있는, 리프팅 목록, 건설 현장 데이터베이스, 빌딩 정보 관리("BIM") 시스템 등에 저장된 대응하는 물체 공간 데이터와 비교한다. 이어서, 조작자 시스템은 (예를 들어 사양 비교 프로그램(948)을 통해), 호이스팅에 이용 가능한 각각의 구조적 부재에 대해, 물체 공간 데이터 구조(1400) 선택 데이터 필드를 건설 현장 데이터베이스에서 나열된 이들 대응하는 데이터 필드에 대해 비교한다. 예를 들어, 사양 비교 프로그램(948)은 식별 표식 데이터 필드(1305), 폭 데이터 필드(1315), 길이 데이터 필드(1320), 높이 데이터 필드(1325), 제1 특징(1335), 폭 데이터 필드(1345) 및 길이 데이터 필드(1350)를 포함하여 호이스팅에 이용 가능한 특정 구조적 부재의 물체 공간 데이터 구조(1400) 선택 데이터 필드를 건설 현장 데이터베이스 내의 대응하는 데이터 필드에 대해 비교할 수 있다.

다양한 실시형태에 따르면, 리프팅 목록 데이터는 건설 현장 데이터베이스 및/또는 BIM과 별개로 형성되거나 이와 통합될 수 있다. 리프팅 목록 데이터는 구조적 부재에 대한 식별 표식과, 통상적으로 각각의 부착 위치를 포함하는 순서화된 리프팅 목록을 포함한다. 다른 정보가 리프팅 목록 데이터에 포함될 수 있다. 예를 들어, 각각의 구조적 부재의 부착 위치는 바람직하게 GNSS 좌표로 주어진다.

단계(1625)에서, 조작자 시스템은 물체 공간 데이터 구조(1400) 내의 임의의 데이터가 건설 현장 데이터베이스에서 나열된 대응하는 데이터 필드와 일치하는 데 실패하였는지 여부를 결정한다. 임의의 데이터 필드 사이에 불일치가 있으면(예를 들어, 물체 공간 데이터가 사양 데이터 주변의 적절한 허용 범위를 벗어나면), 컴퓨터(340)는 메시지를 보내고 디스플레이 디바이스(330)를 통해 크레인 조작자에게 불일치를 알리고, 건설 현장 데이터베이스 사양과 일치하지 않는 이들 구조적 부재의 각각에 시각적 표시자를 배치한다. 컴퓨터는 또한 구조적 부재가 건설 현장 데이터베이스 사양을 충족시키지 않는다는 것을 나타내기 위해 영상 공간 데이터 구조(1200) 및 물체 공간 데이터 구조(1400)의 플래그(1232 및 1332)를 재설정('0'을 기록)할 수 있다. 이 시점에서, 방법(1600)은 문제가 해결될 때까지 중단될 수 있다. 물체 공간 데이터 구조(1400)의 데이터 필드와 건설 현장 데이터베이스에서 나열된 대응하는 데이터 필드 사이에 불일치가 없으면, 컴퓨터(340)는 건설 현장 데이터베이스 사양을 충족시키는 그 구조적 부재의 각각에 시각적 표시자를 배치하는 것에 의해 레이아웃 필드(110)의 영상(997)을 업데이트한다. 예를 들어, 건설 현장 데이터베이스 사양을 충족시키는 모든 구조적 부재의 주변은 "녹색"으로서 디스플레이되거나, 또는 녹색 "X" 또는 녹색 점과 같은 색상 기호가 구조적 부재 위에 배치될 수 있다. 다른 유형의 기호가 사용될 수 있다. 동작 흐름은 단계(1725)로 계속된다.

도 21c의 방법(1700)은 조작자 시스템이 (예를 들어, 컴퓨터(340) 및 디스플레이 디바이스(330)를 통해) 셰이크아웃 필드(그 안에 위치된 임의의 구조적 부재를 포함함)의 표현을 조작자에게 디스플레이하는 단계(1705)에서 시작한다. 예를 들어, 상기 표현은 건설 현장 데이터베이스 사양과 일치하는 모든 구조적 부재를 조작자에게 보여줄 수 있다. 스캔이 완료된 후 언제든지, 크레인 조작자는 조작자 시스템의 입력 디바이스(예를 들어, 마우스, 터치 스크린 디스플레이 또는 조이스틱)를 사용하여, 특정 구조적 부재를 선택하고 정보(건설 현장 데이터베이스로부터 획득된, 구조적 부재와 관련된 재료의 청구서, BIM 또는 기타 사양 데이터베이스)를 받을 수 있다.

단계(1710)에서, 컴퓨터(340)는 셰이크아웃 필드의 표현 내의 물체에 시각적 표시자를 배치할 수 있다. 예를 들어, 영상(997)에서 이들 구조적 부재의 영상 위에 중첩된 녹색 점은 건설 현장 데이터베이스 사양을 충족시키는 이들 구조적 부재를 식별하도록 사용될 수 있다. 마찬가지로, 영상(997)에서의 이들 구조적 부재의 영상 위에 중첩된 적색 점은 건설 현장 데이터베이스 사양을 충족시키지 못하는 이들 구조적 부재를 나타내도록 사용될 수 있다.

단계(1715)에서, 컴퓨터(340)는 부착 위치(122)로 호이스팅될 리프팅 목록 데이터로부터의 제1 또는 후속 구조적 부재를 영상(997)에서 크레인 조작자에게 시각적으로 표시한다. 예를 들어, 컴퓨터는 리프팅 목록 데이터 상의 제1 구조적 부재와 관련된 녹색 점이 깜박이게 할 수 있다. 이어서, 크레인 조작자는 메인 후크 블록을 깜박이는 녹색 점이 있는 구조적 부재로 이동시키라는 명령어를 받는다.

예를 들어, 도 22를 참조하면, 셰이크아웃 필드(110)의 스티칭된 영상(1069)은 2개의 구조적 부재(120, 121)를 갖는 것으로 도시되어 있다. 실제로 셰이크아웃 필드(110)가 더 많은 구조적 부재를 가질 수 있을 때, 명확성을 위해, 2개의 구조적 부재만이 도시되어 있다. 각각의 구조적 부재(120, 121)가 건설 현장 데이터베이스 사양과 일치하고 호이스팅에 이용 가능하다는 것을 나타내기 위해 이 예에 대해 녹색 점인 시각적 표시자(1001, 1002)가 구조적 부재(120, 121)와 관련된다. 부재(121)의 구조적 특징은 명확성을 위해 도시되지 않았다. 추가적으로, 컴퓨터(340)는 녹색 점(1002)을 깜박여, 구조적 부재(121)가 호이스팅될 다음 대기 중인 건축 자재 물체라는 것을 크레인 조작자에게 시각적으로 나타낸다. 크로스해칭 패턴은 녹색 점이 깜박이는 것을 나타낸다. 이어서, 컴퓨터(340)는 구조적 부재(120)의 무게중심을 나타내는 무게중심 기호(1003)(관련된 "CG" 표식(1003a)과 함께)를 구조적 부재(121)의 표면의 영상에 배치한다.

영상화 시스템이 메인 후크 블록에 위치되는 경우에, 컴퓨터(340)는 또한 영상화 시스템의 GNSS 위치(INS(422)에 의해 결정됨)를 사용하여, 메인 후크 블록의 현재 위치를 나타내도록 영상(997)에 십자선 목표 기호를 중첩할 수 있다. 이어서, 조작자는 깜박이는 점을 가진 구조적 부재 위에서 메인 후크 블록(136)을 이동시키기 위해 시각적 피드백으로서 십자선 목표 기호를 사용한다. 이어서, 셰이크아웃 필드 직원은 리깅 등을 통해 구조적 부재를 메인 후크 블록(136)에 부착한다. 일부 실시형태에서, 구조적 부재의 질량 중심의 시각적 표현은 크레인이 구조적 부재를 정확한 위치에서 리프팅하는 것을 보장하기 위해 조작자 및/또는 셰이크아웃 필드 직원에게 보여질 수 있다.

선택된 구조적 부재의 호이스팅은 LIDAR에 의해, 영상기 및/또는 INS(가속도 및 GNSS 위치 측정)에 의해 시각적으로, 또는 이러한 데이터의 조합을 사용하여 검출될 수 있다. 구조적 부재의 호이스팅을 검출하면, 이어서, 조작 시스템의 컴퓨터는 시각적 셰이크아웃 필드를 업데이트하고, 셰이크아웃 필드 영상으로부터 선택된 호이스팅된 구조적 부재를 제거한다.

단계(1720)에서, 컴퓨터(340)는 셰이크아웃 필드 내의 구조적 부재의 초기 위치로부터 부착 위치(122)까지 시각적인 3차원 호이스팅 경로를 생성한다. 시각적인 3차원 호이스팅 경로는 부착 위치(122)에서 구조적 부재를 배치하는 데 있어서 크레인 조작자를 지원하도록 하나 이상의 조작 시스템 디스플레이에 디스플레이될 수 있다. 컴퓨터(340)는 구조적 부재의 셰이크아웃 필드(110) GNSS 위치, 부착 위치의 GNSS 위치, 및 현재 철골 구조물을 사용하여 호이스팅 경로를 계산한다. 따라서, 크레인 조작자가 호이스팅된 구조적 부재를 부착 위치로 이동시킴에 따라서, 디스플레이는 건설 현장에 대해 호이스팅된 구조적 부재의 현재 위치 및 부분적으로 완성된 구조물의 부착 위치를 보이기 위해 지속적으로 및 동적으로 업데이트된다.

컴퓨터(340)는 또한 크레인 조작자에게 디스플레이되는 부착 위치(122)를 구체적으로 예시하는 부분적으로 완성된 구조물(118)의 동적 3차원 표현을 제공할 수 있다. 동적 3차원 표현은 구조적 부재가 구조물에 부착되거나 구조물로부터 제거됨에 따라 지속적으로 업데이트될 수 있다. 일부 실시형태에서, 3차원 표현은 건설 현장 데이터베이스에 저장된 데이터에 기초하여 생성될 수 있고, 새로운 구조적 부재가 부분적으로 완성된 구조물에 부착될 때마다 업데이트될 수 있다. 다른 실시형태에서, 영상화 시스템은 (예를 들어, 스캐닝 LIDAR 기술을 사용하여) 부분적으로 완성된 구조물을 물리적으로 스캔할 수 있다. 이들 후자의 실시형태에서, LIDAR 스캔은 어떠한 부착 오류도 발생되지 않는 것을 보장하기 위해 건설 현장 데이터베이스와 비교될 수 있다. 데이터베이스는 단독으로 상주할 수 있거나, 또는 제1 컴퓨터(340), 제2 컴퓨터(440), 모바일 컴퓨터(540), 서버 시스템(220) 및/또는 클라우드(225) 사이에서 분산될 수 있다.

일부 실시형태에서, 조작자 시스템은 크레인 조작자를 지원하는 증강 현실(AR) 소프트웨어를 포함한다. 이러한 AR 소프트웨어는 컴퓨터 생성 지각 정보에 의해 강화된 주변 건설 현장의 디지털 영상와 함께 호이스팅될 구조적 부재를 디스플레이할 수 있다. 따라서, 컴퓨터(340)는 건축 자재 물체의 기하학적 측정치 및 기타 특성과 함께 건축 자재 물체를 부착 위치에 배치하기 위해 계산된 경로를 디스플레이할 수 있다. 추가 실시형태에서, 조작자 시스템은 가상 현실(VR) 시스템이 장비될 수 있고, 이에 의해 크레인 조작자 및 다른 사람에게는 셰이크아웃 필드, 건축 자재 물체, 건물 자재 물체의 리프팅 경로, 부분적으로 완성된 구조물의 부착 위치를 포함하는 가상 건설 현장을 디스플레이하는 고글이 제공될 수 있다.

단계(1725)에서, 크레인 조작자는 구조적 부재를 목적지 위치로 호이스팅한다. 구조적 부재가 목적지 위치로 호이스팅되면, 부분적으로 완성된 구조물 상의 철공소 직원은 구조적 부재를 부착 위치(122)에 부착한다. 시각적인 3차원 호이스팅 안내 경로를 생성하도록 사용되는 데이터베이스는 새로 부착된 구조적 부재를 반영하도록 업데이트된다. 조작자 시스템의 INS는 (INS 데이터로부터의 건설 현장 데이터베이스로부터 부착 위치의 알려진 GNSS 위치의 비교로부터) 구조적 부재가 구조물에 부착된 시기를 결정할 수 있고, 건설 현장 데이터베이스(또는 다른 데이터베이스(들))를 업데이트하도록 사용될 수 있다. 일부 실시형태에서, 컴퓨터(340)는 새로 부착된 구조적 부재의 위치를 고려하여 부착 위치(122)로부터 셰이크아웃 필드(110)로 다시 시각적인 3차원 안내 복귀 경로를 생성한다. 크레인 조작자는 메인 후크 블록(136)을 셰이크아웃 필드(110)로 다시 복귀시킨다. 컴퓨터(340)는 메인 후크 블록의 GNSS 위치와 셰이크아웃 필드(110)의 GNSS 위치를 사용하여, 메인 후크 블록이 셰이크아웃 필드(110) 위에 있는 시기를 결정한다. 일부 실시형태에서, 인간 크레인 조작자가 완전히 제거될 수 있다. 예를 들어, 호이스팅 경로와 복귀 경로가 계산되면, 그 경로는 사람의 개입 없이 크레인을 제어하도록 사용될 수 있다. 따라서, 본 발명의 일부 실시형태는 완전 자율 크레인 시스템을 제공하고, 이에 의해 모든 크레인 작업이 사람의 개입 없이 완료된다.

단계(1730)에서, 컴퓨터(340)는 호이스팅될 필요가 있는 리프팅 목록 데이터에서 나열된 임의의 추가적인 구조적 부재가 있는지를 결정한다. 추가 구조적 부재가 없으면, 단계(1735)에서 동작 흐름이 종료된다. 리프팅 목록 데이터에서 나열된 추가 구조적 부재가 있으면, 동작 흐름은 단계(1715)로 복귀한다. 방법(1700)은 리프팅 목록 데이터에서 나열된 모든 구조적 부재가 구조물에 부착되었으면 전술한 바와 같이 계속된다.

도 23은 BIM 데이터베이스(2001), 산업용 기초 등급(Industry Foundation Classes: IFC) 파일(2002) 및 GNSS 위치 계산기(2003) 사이의 관계를 도시한다. 통상적으로, BIM은 건물 또는 기타 구조물의 건설을 위한 좌표계를 정의하고 통상적으로 데카르트 기반 좌표계인 프로젝트 기준점 및 프로젝트 좌표계를 정의한다.

통상적으로, (구조적 부재와 같은) 건축 자재 물체뿐만 아니라 구조물의 기하학적 구조는 데카르트 기반 프로젝트 좌표계를 참조할 수 있는 구조적 부재의 모든 부착 위치 및 치수를 포함하여 BIM 데이터에 잘 정의되어 있다. GNSS 위치 계산기(2003)는 IFC 파일(또는 BIM 데이터 또는 기타 데이터 소스)과 프로젝트 기준점으로부터 측지 측량 마커 데이터(geodetic survey marker data)를 입력하고, 부착된 모든 구조적 부재 및 기타 건축 자재 물체의 GNSS 위치를 계산한다. 이어서, 이러한 GNSS 위치 정보는 호이스팅 경로 계산에 의해 사용되는 GNSS 좌표에서 목적지 위치를 결정하도록 사용된다. 추가적으로, 본 발명은 건축 자재 물체의 호이스팅을 통해 건물의 건설의 완전한 기록을 제공한다.

앞서 본 발명의 하나 이상의 실시형태에 대한 상세한 설명이 있었고, 개시된 실시형태에 대한 다양한 변경이 본 발명의 사상 및 범위를 벗어남이 없이 본 명세서에서의 개시내용에 따라서 만들어질 수 있다는 것이 이해된다. 그러므로, 전술한 설명은 본 발명의 범위를 제한하는 것을 의미하지 않는다. 오히려, 본 발명의 범위는 첨부된 청구범위 및 그 등가물에 의해서만 결정되어야 한다.

Claims (18)

1. 크레인 조작자를 지원하기 위한 시스템으로서,
   셰이크아웃 필드(shakeout field) 내에서 건축 자재 물체를 식별하기 위한 영상화 시스템을 포함하되, 상기 영상화 시스템은 영상기(imager) 및 거리 센서를 포함하고, 상기 영상화 시스템은,
   상기 영상기를 사용하여, 상기 건축 자재 물체에 대한 식별 표식(identifying indicium)을 포함하는, 상기 건축 자재 물체의 적어도 하나의 영상을 캡처하도록;
   상기 식별 표식을 인식하고 인식된 식별 표식을 리프트 목록에서의 복수의 식별 표식과 비교하도록;
   적어도 상기 거리 센서를 사용하여, 상기 구조적 부재의 적어도 하나의 치수를 측정하도록;
   상기 건축 자재 물체에 대한 적어도 하나의 치수가 상기 리프트 목록에서의 상기 구조적 부재의 대응하는 치수와 일치한다는 것을 확인하도록; 그리고
   상기 셰이크아웃 필드 내의 상기 건축 자재 물체의 위치를 포함하는 메시지를 전송하도록
   구성되는, 시스템.
2. 제1항에 있어서, 데이터베이스를 저장하는 서버를 더 포함하되, 상기 데이터베이스는 상기 리프트 목록의 표현 및 상기 셰이크아웃 필드 내의 건축 자재 물체와 관련된 물리적 특성을 포함하고, 상기 영상화 시스템은 상기 건축 자재 물체의 임의의 측정된 특성이 상기 건축 자재 물체에 대한 대응하는 물리적 특성과 일치한다는 것을 확인하는, 시스템.
3. 제1항에 있어서, 초기 위치로부터 목적지 위치로 상기 건축 자재 물체를 이동시키기 위한 크롤러 크레인을 포함하는, 시스템.
4. 제3항에 있어서, 상기 영상화 시스템은 상기 크롤러 크레인의 메인 후크 블록에 물리적으로 결합되는, 시스템.
5. 제1항에 있어서, 상기 적어도 하나의 거리 센서는 LIDAR 센서를 포함하는, 시스템.
6. 제1항에 있어서, 상기 영상화 시스템은 상기 적어도 하나의 영상 내의 영숫자 문자를 인식하기 위한 컴퓨터 비전 모듈을 포함하고, 상기 식별 표식은 영숫자 문자를 포함하는, 시스템.
7. 크레인 조작자를 지원하기 위한 방법으로서,
   셰이크아웃 필드 내의 건축 자재 물체를 식별할 수 있는 영상화 시스템을 사용하여, 상기 영상화 시스템의 영상기로, 상기 건축 자재 물체의 식별 표식을 포함하는 상기 건축 자재 물체의 적어도 하나의 영상을 캡처하는 단계;
   상기 식별 표식을 인식하는 단계;
   상기 영상화 시스템을 사용하여, 인식된 식별 표식을 리프트 목록에서의 복수의 식별 표식과 비교하는 단계;
   상기 영상화 시스템의 적어도 하나의 거리 센서를 사용하여, 상기 건축 자재 물체의 적어도 하나의 치수를 측정하는 단계;
   상기 건축 자재 물체의 적어도 하나의 치수가 상기 리프트 목록에서의 상기 건축 자재 물체에 대한 대응하는 치수와 일치한다는 것을 확인하는 단계; 및
   상기 셰이크아웃 필드 내의 건축 자재 물체의 위치를 포함하는 메시지를 전송하는 단계
   를 포함하는, 방법.
8. 제7항에 있어서,
   상기 건축 자재 물체의 임의의 측정된 특성이 데이터베이스에서의 상기 건축 자재 물체에 대한 대응하는 물리적 특성과 일치한다는 것을 확인하는 단계를 더 포함하되, 상기 데이터베이스는 상기 리프트 목록의 표현 및 상기 셰이크아웃 필드 내의 건축 자재 물체와 관련된 물리적 특성을 포함하는, 방법.
9. 제7항에 있어서,
   크롤러 크레인을 사용하여 초기 목적지로부터 목적지 위치로 상기 건축 자재 물체를 이동시키는 단계를 더 포함하는, 방법.
10. 제9항에 있어서, 상기 영상화 시스템은 상기 크롤러 크레인의 메인 후크 블록에 물리적으로 결합되는, 방법.
11. 제7항에 있어서, 상기 적어도 하나의 거리 센서는 LIDAR 센서를 포함하는, 방법.
12. 제7항에 있어서,
    상기 영상화 시스템의 컴퓨터 비전 모듈을 사용하여, 상기 적어도 하나의 영상 내의 영숫자 물자를 인식하는 단계를 더 포함하되, 상기 식별 표식은 영숫자 문자를 포함하는, 방법.
13. 크레인 조작자를 지원하기 위한 비일시적 컴퓨터 판독 가능 매체로서,
    실행될 때, 셰이크아웃 필드 내의 건축 자재 물체를 식별할 수 있는 영상화 시스템으로 하여금,
    상기 영상화 시스템의 영상기로, 상기 건축 자재 물체의 식별 표식을 포함하는 상기 건축 자재 물체의 적어도 하나의 영상을 캡처하게 하고;
    상기 식별 표식을 인식하게 하고;
    상기 인식된 식별 표식을 리프트 목록에서의 복수의 식별 표식과 비교하게하고;
    적어도 하나의 거리 센서를 사용하여, 상기 건축 자재 물체의 적어도 하나의 치수를 측정하게 하고;
    상기 건축 자재 물체의 적어도 하나의 치수가 상기 리프트 목록에서의 상기 건축 자재 물체에 대한 대응하는 치수와 일치한다는 것을 확인하게 하고; 그리고
    상기 셰이크아웃 필드 내의 건축 자재 물체의 위치를 포함하는 메시지를 전송하게 하는
    명령어를 포함하는, 크레인 조작자를 지원하기 위한 비일시적 컴퓨터 판독 가능 매체.
14. 제13항에 있어서, 실행될 때, 상기 영상화 시스템으로 하여금,
    상기 건축 자재 물체의 임의의 측정된 특성이 데이터베이스에서의 상기 건축 자재 물체에 대한 대응하는 물리적 특성과 일치한다는 것을 확인하게 하는 명령어를 더 포함하되, 상기 데이터베이스는 상기 리프트 목록의 표현 및 상기 셰이크아웃 필드 내의 건축 자재 물체와 관련된 물리적 특성을 포함하는, 크레인 조작자를 지원하기 위한 비일시적 컴퓨터 판독 가능 매체.
15. 제13항에 있어서, 크롤러 크레인은 상기 크롤러 크레인을 사용하여 초기 목적지로부터 목적지 위치로 상기 건축 자재 물체를 이동시키도록 구성되는, 크레인 조작자를 지원하기 위한 비일시적 컴퓨터 판독 가능 매체.
16. 제13항에 있어서, 상기 비일시적 컴퓨터 판독 가능 매체는 상기 크롤러 크레인의 메인 후크 블록에 물리적으로 결합된 영상화 시스템에 위치되는, 크레인 조작자를 지원하기 위한 비일시적 컴퓨터 판독 가능 매체.
17. 제13항에 있어서, 적어도 하나의 거리 섹서는 LIDAR 센서를 포함하는, 크레인 조작자를 지원하기 위한 비일시적 컴퓨터 판독 가능 매체.
18. 제13항에 있어서, 실행될 때 상기 영상화 시스템으로 하여금,
    상기 영상화 시스템의 컴퓨터 비전 모듈을 사용하여, 상기 적어도 하나의 영상 내의 영숫자 문자를 인식하게 하는 명령어를 더 포함하되, 상기 식별 표시는 영숫자 문자를 포함하는, 크레인 조작자를 지원하기 위한 비일시적 컴퓨터 판독 가능 매체.