KR102458104B1 - 디지털트윈기반 건설현장의 안전관리서비스 시스템 및 그 방법 - Google Patents
디지털트윈기반 건설현장의 안전관리서비스 시스템 및 그 방법 Download PDFInfo
- Publication number
- KR102458104B1 KR102458104B1 KR1020220079430A KR20220079430A KR102458104B1 KR 102458104 B1 KR102458104 B1 KR 102458104B1 KR 1020220079430 A KR1020220079430 A KR 1020220079430A KR 20220079430 A KR20220079430 A KR 20220079430A KR 102458104 B1 KR102458104 B1 KR 102458104B1
- Authority
- KR
- South Korea
- Prior art keywords
- digital twin
- construction site
- data
- management service
- safety management
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000010276 construction Methods 0.000 claims abstract description 127
- 231100001261 hazardous Toxicity 0.000 claims abstract description 9
- 238000012800 visualization Methods 0.000 claims description 21
- 238000012423 maintenance Methods 0.000 claims description 16
- 231100000279 safety data Toxicity 0.000 claims description 12
- 230000007613 environmental effect Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 230000008520 organization Effects 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 3
- 230000007935 neutral effect Effects 0.000 description 15
- 230000014509 gene expression Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 238000009223 counseling Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000005693 optoelectronics Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009835 boiling Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Geometry (AREA)
- Primary Health Care (AREA)
- Entrepreneurship & Innovation (AREA)
- Emergency Management (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Computer Graphics (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 발명은 디지털트윈기반 건설현장의 안전관리서비스 시스템 및 그 방법에 관한 것으로서, 보다 상세하게는 건설현장의 위험작업현황을 디지털트윈화하여 실시간으로 현장내의 근로자 작업현황과 위험요인을 직관적으로 시각화함으로써 안전관라지들이 보다 쉽게 재해를 예방할 수 있도록 하는 디지털트윈기반 건설현장의 안전관리서비스 시스템 및 그 방법에 관한 것이다.
Description
본 발명은 디지털트윈기반 건설현장의 안전관리서비스 시스템 및 그 방법에 관한 것으로서, 보다 상세하게는 건설현장의 위험작업현황을 디지털트윈화하여 실시간으로 현장내의 근로자 작업현황과 위험요인을 직관적으로 시각화함으로써 안전관라지들이 보다 쉽게 재해를 예방할 수 있도록 하는 디지털트윈기반 건설현장의 안전관리서비스 시스템 및 그 방법에 관한 것이다.
디지털 트윈은 사업 실적의 최적화에 도움을 주는 물리적 물체나 프로세스의 과거와 현재 활동이 기록된 진화하는 디지털 프로필로 정의된다. 디지털 트윈은 여러 차원에 걸친 대규모의 누적된 실시간, 실세계 데이터 측정값에 기반한다. 기업은 이런 측정값을 바탕으로 물체 혹은 프로세스에 대한 진화하는 디지털 프로필을 만들어, 시스템 성능에 대한 인사이트를 얻거나 제품 설계 혹은 제조 공정의 변경과 같은 물리적 대응을 수행할 수 있다.
디지털 트윈의 진정한 위력과 중요성은 물리적 세계와 디지털 세계 간의 거의 실시간에 가까운 종합적인 연결을 제공하는 데 있다. 이를 통해 기존의 방법으로는 불가능한 근본적인 설계 및 공정 변화가 가능해진다.
본 발명은 전술한 문제점을 개선하기 위해 안출된 것으로, 본 발명은 위험작업현황 시각화부와 위험요인 시각화부를 통해 이미지와 위험 작업과 관련된 위험요인 정보를 텍스트로 받아 디지털 휴먼에게 애니메이션 등의 정보를 이용한 효과적인 고위험 작업 교육 메뉴얼을 근로자 단말기에 제공하는 데 목적이 있다.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따라 복수의 지점에서의 각종 센서 장치로부터 환경 정보가 실시간 반영되는 건설현장 트윈모델을 생성하여 디지털트윈 정보로 저장하고, 건설현장에서 생성되는 작업 데이터, 안전 데이터, 관리 데이터를 저장하는 디지털트윈기반 건설현장 서버; 상기 디지털트윈기반 건설현장 서버로 부터 건설현장의 작업 데이터 및 안전 데이터를 분석하여 위험작업현황을 파악하는 위험작업현황부; 상기 위험작업현황부로 부터 위험작업현황을 전달받아 상기 디지털트윈 정보와 융합하여 저장하는 디지털트윈부; 상기 디지털트윈부로 부터 디지털트윈화된 정보를 네트워크를 통해 전송받는 안전관리서비스 서버; 상기 안전관리서비스 서버로 부터 전송받은 위험작업현황을 시각화하는 위험작업현황 시각화부; 및 상기 안전관리서비스 서버로 부터 전송받은 위험요인을 시각화하는 위험요인 시각화부;를 포함하며, 상기 위험작업현황 시각화부와 위험요인 시각화부를 통해 실시간으로 현장내의 근로자를 안내 함으로써 안전관리자들이 보다 용이하게 재해를 예방할 수 있도록 한다.
본 발명은 디지털트윈기반 건설현장 서버가 복수의 지점에서의 각종 센서 장치로부터 환경 정보가 실시간 반영되는 건설현장 트윈모델을 생성하여 디지털트윈 정보로 저장하는 단계; 디지털트윈기반 건설현장 서버가 건설현장에서 생성되는 작업 데이터, 안전 데이터, 관리 데이터를 저장하는 단계; 위험작업현황부가 상기 디지털트윈기반 건설현장 서버로 부터 건설현장의 위험작업현황을 파악하는 단계; 디지털트윈부가 상기 위험작업현황부로 부터 위험작업현황을 전달받아 디지털트윈화하여 저장하는 단계;를 포함한다.
상기 안전관리서비스 서버가 상기 디지털트윈부로 부터 디지털트윈화된 정보를 네트워크를 통해 전송받아 건설현장 근로자 단말기에 전송하여 실시간으로 현장내의 근로자를 안내 함으로써 안전관리자 들이 보다 용이하게 재해를 예방할 수 있도록 하는 단계;를 더 포함한다.
상기 안전관리서비스 서버로 부터 전송받은 위험작업현황을 시각화하는 위험작업현황 시각화부; 및 상기 안전관리서비스 서버로 부터 전송받은 위험요인을 시각화하는 위험요인 시각화부;를 포함한다.
상기 디지털트윈부가 상기 위험작업현황부로 부터 위험작업현황을 전달받아 디지털트윈화하여 저장하는 단계는, 상기 안전관리서비스 서버가 작업 데이터 및 안전 데이터에 기반한 건설현장 트윈모델 내의 복수의 가상객체 또는 건설현장 장비 중 어느 하나의 안전 관리 메뉴얼에 따라 선택된 가상객체 또는 건설현장 장비를 구분하여 표시하는 단계; 선택된 가상객체 또는 건설현장 장비에 매칭된 기계류를 센서 장치로 트랙킹하면서 실시간 촬영하여 안전 관련 가상 객체로 만들기 위하여 상기 건설현장 내의 고해상도 이미지 센서 장치를 제어하는 단계; 안전 관련 가상 객체가 이동하는 복수의 가상 공간 정보 중 어느 하나의 공간에서의 위험작업 현황 파악에 응답하여 안전관리서비스 서버가 상기 가상객체를 안전하게 고해상도 이미지 센서 장치로 파악한 장소로 이동시키거나, 건설현장 장비의 위험 작업을 고해상도 이미지 센서 장치로 파악한 방법으로 안전하게 제어하는 단계;를 포함한다.
상기 디지털트윈부가 상기 위험작업현황부로 부터 위험작업현황을 전달받아 디지털트윈화하여 저장하는 단계는, 네트워크를 통해 건설 현장 장비로부터 전송되는 부품 데이터에 대한 정비 요청 데이터를 토대로 원격 지원용 디지털트윈 데이터를 구현하여 저장하는 단계; 상기 정비 요청에 따른 문제 발생 현장에 마련된 센서 장치를 통해 디지털트윈기반 건설현장 서버에서 정비 요청 데이터에 따른 지원 데이터가 수집되어 원격 지원용 디지털트윈 데이터에 반영하여 저장하는 단계; 원격 지원용 디지털트윈 데이터 화면이 디지털트윈기반 건설현장 서버의 화면 상에 배치되어 지원 데이터가 출력하는 단계; 네트워크를 통해 상기 건설 현장 장비로부터 위험작업현황에 따른 지원 데이터를 수신하여 상기 안전관리서비스 서버가 저장된 디지털트윈 데이터에 정비 요청에 따른 지원 결과를 반영하는 단계;를 포함한다.
상기 디지털트윈부가 상기 위험작업현황부로 부터 위험작업현황을 전달받아 디지털트윈화하여 저장하는 단계 후에는, 건설현장 장비에 매칭된 기계류 중에서 작업현장 내에서 위험물체로 분류된 장치 또는 이동체 중 적어도 어느 하나에 경고하는 단계; 디지털트윈기반 건설현장 서버에서 생성된 경고알림을 현장내의 근로자의 스마트 디바이스에 전송하는 단계; 촬영된 영상을 실시간으로 안전관리서비스 서버에 전송하는 단계; 산출된 충돌가능성이 기설정된 수치를 초과할 경우, 안전관리서비스 서버에서 생성된 경고알림을 상기 스마트 디바이스에 전송하는 단계;
상기 현장내의 근로자의 생체신호를 측정하여 응급상황 발생 시 안전관리서비스 서버가 즉시 안전관리자의 단말기 및 구조기관에 즉시 호출신호를 전송하는 단계;를 포함한다.
상기 디지털트윈부가 상기 위험작업현황부로 부터 위험작업현황을 전달받아 디지털트윈화하여 저장하는 단계 후에는, 디지털트윈기반 건설현장 서버가 건설현장의 물리적 공간 내의 실제 건설현장 장비에 매칭된 기계류들에 대응되는 가상객체들을 3차원 모델링하여 디지털트윈 데이터로 저장하는 단계; 디지털트윈기반 건설현장 서버가 안전관리자 입력에 따른 작업지시 및 작업 가이던스를 상기 디지털트윈 데이터 내의 실제 3차원 객체에 연관시켜 가상 컨텐츠로 생성하고, 근로자의 단말기로 가상 컨텐츠 및 디지털트윈이 융합된 형태로 안전관리서비스 서버로 송신하는 단계; 안전관리서비스 서버가 작업지시 및 작업 가이던스를 내리고자 하는 위치 주변의 근로자를 선택하여 작업지시 및 작업 가이던스를 제공하는 단계; 안전관리서비스 서버가 디지털 트윈으로 모니터링하는 안전관리자로부터 실시간 작업 지시나 작업 가이드를 입력 받아 디지털트윈 환경에 투영하여 제공하는 단계;를 포함한다.
본 발명은 건설 현장 안전 경고 알람을 위해 디지털 휴먼을 사용함으로써, 정확하고 신뢰감 있는 위험 요인 경고 시스템을 제공할 수 있다.
또한, 본 발명의 일 실시예는 사람과의 커뮤니케이션을 위해 텍스트 및 음성을 이미지화해서 디지털 휴먼이 말하는 것처럼 시각화하는 알고리즘을 제공하여 건설 현장에서 안전 경고 메시지를 용이하게 작업자 등에 전달할 수 있다.
도 1은 본 발명의 일 실시예에 따른 디지털트윈기반 건설현장의 안전관리서비스 시스템을 구현하는 구성요소 간의 관계를 개략적으로 나타내는 블럭도이다.
도 2는 본 발명의 일 실시예에 따른 디지털트윈기반 건설현장의 안전관리서비스 시스템을 나타내는 구성도이다.
도 3은 본 발명의 일 실시예에 따른 카메라 및 IoT 센서를 포함하는 디지털트윈기반 건설현장의 안전관리서비스 시스템을 나타내는 구성도이다.
도 4는 본 발명의 일 실시예에 따른 경고 발생부를 포함하는 디지털트윈기반 건설현장의 안전관리서비스 시스템을 나타내는 구성도이다.
도 5는 본 발명의 일 실시예에 따른 단말기 등과 네트워크로 연결되는 디지털트윈기반 건설현장의 안전관리서비스 시스템을 나타내는 구성도이다.
도 6은 본 발명의 일 실시예에 따른 디지털 휴먼을 나타내는 구성도이다.
도 7은 본 발명의 일 실시예에 따른 디지털트윈기반 건설현장의 안전관리서비스 방법을 나타내는 순서도이다.
도 8은 본 발명의 다른 실시예에 따른 디지털트윈기반 건설현장의 안전관리서비스 방법을 나타내는 순서도이다.
도 9는 본 발명의 또 다른 실시예에 따른 디지털트윈기반 건설현장의 안전관리서비스 방법을 나타내는 순서도이다.
도 10은 본 발명의 다른 실시예에 따른 디지털트윈기반 건설현장의 안전관리서비스 방법을 나타내는 순서도이다.
도 2는 본 발명의 일 실시예에 따른 디지털트윈기반 건설현장의 안전관리서비스 시스템을 나타내는 구성도이다.
도 3은 본 발명의 일 실시예에 따른 카메라 및 IoT 센서를 포함하는 디지털트윈기반 건설현장의 안전관리서비스 시스템을 나타내는 구성도이다.
도 4는 본 발명의 일 실시예에 따른 경고 발생부를 포함하는 디지털트윈기반 건설현장의 안전관리서비스 시스템을 나타내는 구성도이다.
도 5는 본 발명의 일 실시예에 따른 단말기 등과 네트워크로 연결되는 디지털트윈기반 건설현장의 안전관리서비스 시스템을 나타내는 구성도이다.
도 6은 본 발명의 일 실시예에 따른 디지털 휴먼을 나타내는 구성도이다.
도 7은 본 발명의 일 실시예에 따른 디지털트윈기반 건설현장의 안전관리서비스 방법을 나타내는 순서도이다.
도 8은 본 발명의 다른 실시예에 따른 디지털트윈기반 건설현장의 안전관리서비스 방법을 나타내는 순서도이다.
도 9는 본 발명의 또 다른 실시예에 따른 디지털트윈기반 건설현장의 안전관리서비스 방법을 나타내는 순서도이다.
도 10은 본 발명의 다른 실시예에 따른 디지털트윈기반 건설현장의 안전관리서비스 방법을 나타내는 순서도이다.
상기한 바와 같은 본 발명을 첨부된 도면들과 실시예들을 통해 상세히 설명하도록 한다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서, "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
그렇지만, 디지털 휴먼과 같은 애니메이션으로 각 단말기에 표시하는 기술은 보다 상세하게 설명하여 본 발명의 실시예를 추가하였다.
또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
본 발명에서 사용되는 각종 센서 장치(또는 센서)는 온도 센서, 습도 센서, 압력 센서, 유량 센서, 자기 센서, 광 센서, 음향 센서, 고해상도 이미지 센서, 전류 센서 및 가스 센서 중 적어도 하나 이상의 센서를 포함할 수 있다. 또한, 각종 센서 장치(210)는 광전자 센서, 초음파 센서, 게이트형 센서, 열감지 센서, 레이저 센서, 라이다 센서, Wi-Fi 센서, 비콘(Beacon) 센서, UWB(Ultra wide band) 센서, 블루투스 센서, 이미지 분석형 센서, RFID 센서, PDR, GPS 등의 기술에 기초하여 건설 현장 내의 장비의 위치정보를 감지할 수 있다
상기 위치정보를 감지하는 위치 정보 감지 센서는, 현장 작업자의 위치정보를 실시간으로 감지할 수 있다.
이러한 위치 정보 감지 센서는, 광전자 센서, 초음파 센서, 게이트형 센서, 열감지 센서, 레이저 센서, 라이다 센서, Wi-Fi 센서, 비콘(Beacon) 센서, UWB(Ultra wide band) 센서, 블루투스 센서, 이미지 분석형 센서, RFID 센서, PDR, GPS 등의 기술에 기초하여 현장 작업자의 위치정보를 감지할 수 있다.
실시예에서, 위치 정보 감지 센서는, 작업현장을 정밀하게 모니터링하거나, 위험구역에 위치한 현장 작업자의 세밀한 움직임을 감지하기 위해 정밀도가 높은 UWB 기반 실시간 위치 정보 감지 센서일 수 있다.
자세히, 위치 정보 감지 센서는, 현장 작업자가 가진 태그(UWB Tag)에서 발생되는 무선신호를 수신하는 물리적 공간에 다수 설치된 앵커(UWB Anchor)를 포함할 수 있다.
상기 현장 작업자의 태그는, 현장작업자가 별도 무선신호 송출장치 형태로 가질 수 있으나, 실시예에서는 현장 작업자의 단말기에 포함된 것으로 설명한다.
태그에서 발생되는 무선신호는, 현장작업자의 신원정보(ID, identification) 및 타임 스탬프(time stamp)를 나노초 또는 밀리초 단위로 송출되는 UWB 무선신호일 수 있다.
UWB에 기반한 측위 기법은 IEEE 802.15.3a와 IEEE 802.15.4a에서 상업적 이용을 위한 표준화가 시작되어 되었으므로, 상기 표준화 통신 기법을 사용할 수 있다.
자세히, IR-UWB(Impulse-Radio Ultra Wide Band)는 전송 방식에 따라 3.1~10.6 GKHZ 대역에서 100Mpbs 이상의 고속으로 데이터 전송 또한 가능하며 낮은 전력으로 수십 cm부터 이내의 정밀도 높은 위치추적이 가능한 장점이 있다.
각종 센서 장치 중 하나인 고해상도 이미지 센서 시스템은, 설치된 위치로부터 전방위를 촬영하는 360도 전방위 고해상도 이미지 센서 또는/ 및 원격 관리자의 제어에 따라서 촬영영역을 변경 가능한 적어도 하나 이상의 원격제어 고해상도 이미지 센서(예컨대, PTZ 고해상도 이미지 센서)를 포함할 수 있다.
고해상도 이미지 센서 시스템은, 현장 내에 소정의 간격을 두고 배치된 전방위 고해상도 이미지 센서를 포함할 수 있으며, 전방위 고해상도 이미지 센서는 배치 위치에서 360도를 촬영하여 전방위 현장영상을 획득할 수 있다.
또한, 고해상도 이미지 센서 시스템은, 현장 내에 배치된 촬영방향 및 확대/축소를 원격으로 제어할 수 있는 원격제어 고해상도 이미지 센서를 포함할 수 있다. 원격제어 고해상도 이미지 센서는, 자동 또는 원격 관리자의 제어에 따라 촬영방향 및 확대/축소된 촬영영역에 대한 현장영상을 획득할 수 있다
프로세서 어셈블리는, 중앙처리장치 및/또는 그래픽 프로세서 장치를 포함할 수 있다. 또한, 프로세서 어셈블리는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기, 마이크로 컨트롤러, 마이크로 프로세스, 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 포함하여 구현될 수 있다.
메모리는, 적어도 하나 이상의 비일시적 컴퓨터 판독 가능 저장매체와, 일시적 컴퓨터 판독 가능 저장매체를 포함할 수 있다. 예를 들어, 메모리는, ROM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷상에서 상기 메모리의 저장 기능을 수행하는 웹 스토리지(web storage)를 포함할 수 있다
현장 트윈모델은, 실제객체에 대응되는 가상객체 이미지가 표시될 수 있으며, 실제객체에서 측정된 센서 데이터를 기초로 생성된 가상 컨텐츠가 상기 가상객체 이미지 주변에 표시하여, 실제객체에 대한 실시간 모니터링을 수행할 수 있다.
또한, 현장 트윈모델은, 현장센서 시스템의 센서 데이터를 기초로 현장 작업자의 실시간 위치정보를 가상 컨텐츠로 표시할 수 있으며, 가상 컨텐츠에는 현장 작업자가 입력하거나 센서 데이터를 통해 확인된 작업 이력, 작업 정보 등이 더 포함될 수 있다
네트워크의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크,
UWB(Ultra Wide Band) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등의 다양한 유무선 네트워크를 포함할 수 있으나, 이에 한정되지는 않는다
또한 무선 통신은, 선택적으로, GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), HSDPA(high-speed downlink packet access), HSUPA(high-speed uplink packet access), EV-DO(Evolution, Data-Only), HSPA, HSPA+, DC-HSPDA(Dual-Cell HSPA), LTE(long term evolution), NFC(near field communication), W-CDMA(wideband code division multiple access), CDMA(code division multiple access), TDMA(time division multiple access), 블루투스, Wi-Fi(Wireless Fidelity)(예를 들어, IEEE 802.11a, IEEE 802.11b, IEEE 802.11g 및/또는 IEEE 802.11n), VoiP(voice over Internet Protocol), Wi-MAX, 이메일용 프로토콜(예를 들어, IMAP(Internet message access protocol) 및/또는 POP(post office protocol)), 인스턴트 메시징(예를 들어, XMPP(extensible messaging and presence protocol), SIMPLE(Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions), IMPS(Instant Messaging and Presence Service)), 및/또는 SMS(Short Message Service), 또는 본 문헌의 출원일 현재 아직 개발되지 않은 통신 프로토콜들을 포함하는 임의의 다른 적합한 통신 프로토콜을 포함하지만 이로 한정되지 않는 복수의 통신 표준들, 프로토콜들 및 기술들 중 임의의 것을 사용한다
도 1 내지 도 5에 도시된 바와 같이 본 발명의 일 실시예에 따라 복수의 지점에서의 각종 센서 장치로부터 환경 정보가 실시간 반영되는 건설현장 트윈모델을 생성하여 디지털트윈 정보로 저장하고, 건설현장에서 생성되는 작업 데이터, 안전 데이터, 관리 데이터를 저장하는 디지털트윈기반 건설현장 서버(100), 상기 디지털트윈기반 건설현장 서버로 부터 건설현장의 작업 데이터 및 안전 데이터를 분석하여 위험작업현황을 파악하는 위험작업현황부(101), 상기 위험작업현황부로 부터 위험작업현황을 전달받아 상기 디지털트윈 정보와 융합하여 저장하는 디지털트윈부(102) 상기 디지털트윈부로 부터 디지털트윈화된 정보를 네트워크를 통해 전송받는 안전관리서비스 서버(33), 상기 안전관리서비스 서버로 부터 전송받은 위험작업현황을 시각화하는 위험작업현황 시각화부(34) 및 상기 안전관리서비스 서버로 부터 전송받은 위험요인을 시각화하는 위험요인 시각화부(34)를 포함하며, 상기 위험작업현황 시각화부와 위험요인 시각화부를 통해 실시간으로 현장내의 근로자를 안내 함으로써 안전관리자들이 보다 용이하게 재해를 예방할 수 있도록 한다.
이 때 위험작업현황부(101)는 상기 고해상도 이미지 센서 시스템을 포함하는 카메라(111)와 IoT 센서(112)를 더 포함할 수 있다.
이하 본 발명의 실시를 위한 방법에 대하여 자세히 설명한다.
먼저 본 발명은 디지털트윈기반 건설현장 서버가 복수의 지점에서의 각종 센서 장치로부터 환경 정보가 실시간 반영되는 건설현장 트윈모델을 생성하여 디지털트윈 정보로 저장한다.
그리고 디지털트윈기반 건설현장 서버가 건설현장에서 생성되는 작업 데이터, 안전 데이터, 관리 데이터를 저장한다.
그리고 위험작업현황부가 상기 디지털트윈기반 건설현장 서버로 부터 건설현장의 위험작업현황을 파악한다.
마지막으로 디지털트윈부가 상기 위험작업현황부로 부터 위험작업현황을 전달받아 디지털트윈화하여 저장한다.
덧붙여 본 발명은 상기 안전관리서비스 서버가 상기 디지털트윈부로 부터 디지털트윈화된 정보를 네트워크를 통해 전송받아 건설현장 근로자 단말기에 전송하여 실시간으로 현장내의 근로자를 안내 함으로써 안전관리자 들이 보다 용이하게 재해를 예방할 수 있도록 하는 단계;를 더 포함한다.
이를 위해 본 발명은 상기 안전관리서비스 서버로 부터 전송받은 위험작업현황을 시각화하는 위험작업현황 시각화부; 및 상기 안전관리서비스 서버로 부터 전송받은 위험요인을 시각화하는 위험요인 시각화부;를 포함한다.
구체적으로 살펴보면, 상기 디지털트윈부가 상기 위험작업현황부로 부터 위험작업현황을 전달받아 디지털트윈화하여 저장하는 단계는,
상기 안전관리서비스 서버가 작업 데이터 및 안전 데이터에 기반한 건설현장 트윈모델 내의 복수의 가상객체 또는 건설현장 장비 중 어느 하나의 안전 관리 메뉴얼에 따라 선택된 가상객체 또는 건설현장 장비를 구분하여 표시하는 단계(S101);
선택된 가상객체 또는 건설현장 장비에 매칭된 기계류를 센서 장치로 트랙킹하면서 실시간 촬영하여 안전 관련 가상 객체로 만들기 위하여 상기 건설현장 내의 고해상도 이미지 센서 장치를 제어하는 단계(S102);
안전 관련 가상 객체가 이동하는 복수의 가상 공간 정보 중 어느 하나의 공간에서의 위험작업 현황 파악에 응답하여 안전관리서비스 서버(33)가 상기 가상객체를 안전하게 고해상도 이미지 센서 장치로 파악한 장소로 이동시키거나, 건설현장 장비의 위험 작업을 고해상도 이미지 센서 장치로 파악한 방법으로 안전하게 제어하는 단계(S103);를 포함한다.
상기 디지털트윈부가 상기 위험작업현황부로 부터 위험작업현황을 전달받아 디지털트윈화하여 저장하는 단계는,
네트워크를 통해 건설 현장 장비로부터 전송되는 부품 데이터에 대한 정비 요청 데이터를 토대로 원격 지원용 디지털트윈 데이터를 구현하여 저장하는 단계(S201);
상기 정비 요청에 따른 문제 발생 현장에 마련된 센서 장치를 통해 디지털트윈기반 건설현장 서버에서 정비 요청 데이터에 따른 지원 데이터가 수집되어 원격 지원용 디지털트윈 데이터에 반영하여 저장하는 단계(S202);
원격 지원용 디지털트윈 데이터 화면이 디지털트윈기반 건설현장 서버의 화면 상에 배치되어 지원 데이터가 출력하는 단계(S203);
네트워크를 통해 상기 건설 현장 장비로부터 위험작업현황에 따른 지원 데이터를 수신하여 상기 안전관리서비스 서버(33)가 저장된 디지털트윈 데이터에 정비 요청에 따른 지원 결과를 반영하는 단계(S204);를 포함한다.
상기 디지털트윈부가 상기 위험작업현황부로 부터 위험작업현황을 전달받아 디지털트윈화하여 저장하는 단계 후에는,
건설현장 장비에 매칭된 기계류 중에서 작업현장 내에서 위험물체로 분류된 장치 또는 이동체 중 적어도 어느 하나에 경고하는 단계(S301);
디지털트윈기반 건설현장 서버에서 생성된 경고알림을 현장내의 근로자의 스마트 디바이스에 전송하는 단계(S302);
촬영된 영상을 실시간으로 안전관리서비스 서버(33)에 전송하는 단계(S303);
산출된 충돌가능성이 기설정된 수치를 초과할 경우, 안전관리서비스 서버에서 생성된 경고알림을 상기 스마트 디바이스에 전송하는 단계(S304);
상기 현장내의 근로자의 생체신호를 측정하여 응급상황 발생 시 안전관리서비스 서버(33)가 즉시 안전관리자의 단말기 및 구조기관에 즉시 호출신호를 전송하는 단계(S305);를 포함한다.
상기 디지털트윈부가 상기 위험작업현황부로 부터 위험작업현황을 전달받아 디지털트윈화하여 저장하는 단계 후에는,
디지털트윈기반 건설현장 서버가 건설현장의 물리적 공간 내의 실제 건설현장 장비에 매칭된 기계류들에 대응되는 가상객체들을 3차원 모델링하여 디지털트윈 데이터로 저장하는 단계(S401);
디지털트윈기반 건설현장 서버가 안전관리자 입력에 따른 작업지시 및 작업 가이던스를 상기 디지털트윈 데이터 내의 실제 3차원 객체에 연관시켜 가상 컨텐츠로 생성하고, 근로자의 단말기로 가상 컨텐츠 및 디지털트윈이 융합된 형태로 안전관리서비스 서버(33)로 송신하는 단계(S402);
안전관리서비스 서버(33)가 작업지시 및 작업 가이던스를 내리고자 하는 위치 주변의 근로자를 선택하여 작업지시 및 작업 가이던스를 제공하는 단계(S403); 및
안전관리서비스 서버(33)가 디지털 트윈으로 모니터링하는 안전관리자로부터 실시간 작업 지시나 작업 가이드를 입력 받아 디지털트윈 환경에 투영하여 제공하는 단계(S404);를 포함한다.
한편 도 6에 도시된 바와 같이 본 발명은 디지털 휴먼과 같은 애니메이션으로 각 단말기에 표시할 수 있다.
즉 하나 이상의 입모양데이터를 발음 순서대로 적용하여 3D아바타의 표정 애니메이션을 생성하는 디지털 휴먼이 상기 입모양 애니메이션 표시부를 통한 입모양과 사용자의 음성을 통해 인식되는 감정에 부합하는 얼굴움직임을 결합하여 실제 사용자의 표정에 가장 근접한 디지털 휴먼의 실시간 표정을 구현할 수 있다.
상기 애니메이션으로 표시하는 단계에서 음성인식으로 말하고 인식된 음성을 기반으로 대답해주는 챗봇을 이용할 수 있다.
이를 위해 본 발명은 음성 및 텍스트 입력부, 입모양 애니메이션 저장부, 입모양 애니메이션 표시부 등으로 이루어진다.
음성 및 텍스트 입력부는 음성 파일 또는 텍스트 파일에 포함되는 글자가 입력되는 장치로서, 외부 마이크를 통해 직접 음성이 입력되던지 아니면 대본 형태로 되어 있는 텍스트 파일을 전체 입력 받는 방식을 통해 다양한 음성 및 텍스트를 수집할 수 있다.
이를 위해 음성 및 텍스트 입력부는 음성 입력부와 음성 인식부로 구성될 수 있는 데, 음성 입력부는 녹음한 음성 파일을 입력받는 구성요소로서, 입력되는 음성 파일은 초당 30 프레임으로 설정된 디지털 파일이다.
음성 인식부는 음성 입력부를 통해 입력된 음성 파일을 분석하여 각각의 어소를 구성하는 자음과 모음, 그리고 소리의 높낮이를 파악하여 입모양 애니메이션 저장부에 저장한다.
그리고 음성 인식부는 음성 인식 결과를 출력하며, 이때, 음성 인식 결과는 각 어소에 대응하는 코드(예를 들면, 완성형 한글 코드, 조합형 한글 코드 등)로 출력될 수 있다.
일실시예로서 상기 음성 및 텍스트 입력부는, 텍스트나 음성을 인식해서 해당 단어의 초성/중성/종성을 입력하는 알고리즘을 포함할 수 있다.
상기 입모양 애니메이션 저장부는 음성 파일 또는 텍스트 파일에 따라 한국어의 발음특성을 고려한 일정 개수의 입모양이 발음 분류에 대응되어 초성 애니메이션, 중성 애니메이션, 및 종성 애니메이션을 저장하는 장치이다.
상기 입모양 애니메이션 저장부는, 초성/중성/종성에 따른 입모양의 값에 대응되도록 입모양이 형성된 애니메이션으로 저장한다.
상기 입모양 애니메이션 표시부는 입모양 애니메이션 저장부에 저장된 초성 애니메이션, 중성 애니메이션, 및 종성 애니메이션을 해당 글자의 초성, 중성, 및 종성에 대응시키고, 이전 글자가 있다면 마지막으로 재생된 애니메이션을 유지하거나, 이전글자가 없을 경우 특정 애니메이션으로 처리하는 장치이다.
이하 본 발명은 초성과 중성과 종성이 각각 2개씩 나뉘어 지며, 이를 각각 초성1, 초성2 등으로 설명할 것이다.
구체적으로 살펴보면, 입모양 애니메이션 표시부는 초성 애니메이션 표시부, 중성 애니메이션 표시부, 및 종성 애니메이션 표시부로 나뉘고,
① 초성 애니메이션 표시부는,
1) 양순음 ㅁ, ㅂ, ㅃ, ㅍ가 초성일 경우 닫은 애니메이션(1번 에니메이션)으로 결정하여 표시하며,
2) 이외의 경우는 정해진 애니메이션 없이, 이전글자가 있다면 마지막으로 재생된 애니메이션을 유지하여 표시하고, 이전글자가 없을 경우 묵음 애니메이션을 표시하며, 3) 쌍자음인 경우 1), 2)와 같은 표시 처리를 진행하고,
② 중성 애니메이션 표시부는,
1) 단모음의 경우 해당 모음의 애니메이션으로 변경하여 표시하고,
2) 이중모음의 경우 중성1, 중성2로 두단계의 입모양 애니메이션으로 표시하는 데 있어, 총 3단계의 입모양으로 결정하는 경우, 초성이 양순음일경우 중성2를 따라 중성 애니메이션으로 표시하고, 초성이 양순음이 아닌 경우 초성 입모양이 묵음, 혹은 의미없는 이전 애니메이션 이므로 초성애니메이션을 중성1에 해당하는 애니메이션으로 변경하여 표시하며, 이중모음의 중성1, 중성2는 데이터 테이블의 First, End 구분을 따르면 된다.
③ 종성 애니메이션 표시부는, 1) 쌍자음이 종성으로 올 경우 종성2를 따라 표시하고, 2) 이외의 경우에는 일반적인 종성 애니메이션으로 표시한다.
이하 초성 애니메이션 표시부, 중성 애니메이션 표시부, 및 종성 애니메이션 표시부를 포함하는 입모양 애니메이션 표시부로 구성된 디지털트윈기반 건설현장의 안전관리서비스 시스템을 이용한 방법을 자세히 설명한다.
상기 초성 애니메이션 표시부가,
1) 양순음 ㅁ, ㅂ, ㅃ, ㅍ가 초성일 경우 닫은 애니메이션(1번 에니메이션)으로 결정하여 표시하는 단계;
2) 양순음 ㅁ, ㅂ, ㅃ, ㅍ가 초성이 아닌 경우는 정해진 애니메이션 없이, 이전글자가 있다면 마지막으로 재생된 애니메이션을 유지하여 표시하고, 이전글자가 없을 경우 묵음 애니메이션을 표시하며, 3) 쌍자음인 경우 1), 2)와 같은 표시 처리를 진행하는 단계;
② 중성 애니메이션 표시부가,
1) 단모음의 경우 해당 모음의 애니메이션으로 변경하여 표시하는 단계;
2) 이중모음의 경우 중성1, 중성2로 두단계의 입모양 애니메이션으로 표시하는 데 있어, 총 3단계의 입모양으로 결정하는 경우, 초성이 양순음일경우 중성2를 따라 중성 애니메이션으로 표시하고, 초성이 양순음이 아닌 경우 초성 입모양이 묵음, 혹은 의미없는 이전 애니메이션 이므로 초성애니메이션을 중성1에 해당하는 애니메이션으로 변경하여 표시하는 단계;
이중모음의 중성1, 중성2는 데이터 테이블의 First, End 구분을 따르는 단계;
③ 종성 애니메이션 표시부가, 1) 쌍자음이 종성으로 올 경우 종성2를 따라 표시하고, 2) 이외의 경우에는 일반적인 종성 애니메이션으로 표시하는 단계;를 포함한다.
이를 위해 하나 이상의 입모양데이터를 발음 순서대로 적용하여 3D아바타의 표정 애니메이션을 생성하는 디지털 휴먼을 이용할 수 있다.
일실시예로서 사용자의 실제 표정을 바탕으로 디지털 휴먼용 애니메이션 등에서 실제 표정을 구현해내는 경우, 사용자의 표정을 직접 센싱하 여 아바타에 적용하고, 음성과 동일 시점에 매칭할 수 있다.
그러나, 가상현실 상에서 아바타를 이용하는 서비 스에서는, 사용자의 실제 표정과 동일한 표정을 구현하기 위해 사용자의 실제 표정을 센싱하는 것은 어려움이 있다. 따라서, 사용자의 음성을 인식하여 복수의 기본 입모양을 조합하여 사용자의 발화에 상응하는 3D아바타의 입모양을 생성할 수 있다.
또는 사용자가 말하는 음성에 부합하는 입모양과 사용자의 음성 등을 통해 인식되는 감정에 부합하는 얼굴움직임을 결합하여 실제 사용자의 표정에 가장 근접한 디지털 휴먼의 실시간 표정을 구현할 수도 있다.
다른 실시예로서 음성인식으로 말하고 인식된 음성을 기반으로 대답해주는 챗봇에 이용할 수 있는 데, 챗봇(chatbot)이란 음성이나 문자를 통한 인간과의 대화를 통해서 특정한 작업을 수행하도록 제작된 컴퓨터 프로그램을 말한다. 이러한 챗봇은 메신저 앱 상에서 구현되는 것이 일반적이지만, 반드시 이에 한정되는 것은 아 니다. 메신저 앱이란, 여러 사용자 간에 메시지를 주고 받기 위한 프로그램으로, 단말기에 설치되는 형태로 제공 될 수 있다. 메신저 앱은 여러 대화 상대방 단말기 각각과 메시지를 주고 받기 위한 대화창을 제공할 수 있다. 이하에서 설명되는 본 발명은 메신저 앱 상에서 구현되어, 챗봇을 대화 상대방으로 하는 대화창을 통하여 챗봇 서비스가 제공되는 예시로 설명한다. 하지만, 이는 하나의 예시일 뿐, 본 발명이 메신저 앱 상에서 구현되는 형 태에 한정되지는 않을 것이다.
챗봇 서비스란, 챗봇 서버 또는 챗봇에 의해서 제공되는 서비스를 의미하며, 단말기로부터 수신한 질의 메시지에 대한 응답을 제공하거나, 단말기로부터 수신되는 다양한 요청(물품의 주문이나 예약 수행(booking) 등)을 수행하는 것을 의미할 수 있다.
사용자의 질의 사항이나 요청 사항을 메시지 형태로 입력하면, 챗봇 서버는 질의나 요청에 대한 답변을 응답 메시지 형태로 제공하는 형태로 챗봇 서비스가 제공될 수 있다. 이 를 통하여 챗봇 서비스를 제공 받는 사용자는, 마치 상담 직원과 대화를 하는 것처럼 원하는 정보를 확인하거나 필요한 기능을 제공 받을 수 있다.
챗봇 서버는 상담사(예 : 남자, 여자, 또는 유명인 등)에 대응하는 챗봇 서비스를 제공하기 위하여 챗봇을 설치 및 실행하고 있는 하드웨어 장치를 의미한다.
예를 들어 기업체 또는 단체는 고객 단말기에게 상담사 챗봇 서비스를 제공하기 위하여 챗봇 서버를 이용 할 수 있다. 서비스 제공자는 챗봇 서버에서 제공되는 챗봇 빌더에 관한 상담사가 상담하도록 이루어진 인터페이스를 통해 챗봇을 생성하고, 챗봇 서비스를 제공하도록 할 수 있다.
제어부는 메모리에 저장된 하나 이상의 상담 명령어(상담사가 주로 사용하는 용어)를 실행한다. 제어부는 명령어를 실행하는 것에 의해 이하에서 후술되는 하나 이상의 상담 채팅 또는 동작을 실행할 수 있다. 제어부는 명령어에 따라 단말기로부터 질의나 요청을 수신 받으면, 질의에 대응하는 답변을 단말기에 응답하거나, 요청에 대응하는 기능을 제공 하기 위하여 명령어를 실행할 수 있다.
챗봇에 의한 상담이 원활하게 진행되지 않는다고 판단하면, 상담사(예 : 남자, 여자, 또는 유명인 등) 배정 알고리즘을 이용하여 챗봇에 대응하는 상담사를 매칭하고, 상담 전환부로 매칭된 상담사로 상담 전환을 요청한다.
상담사가 상담 진행 중에, 챗봇을 이용하여 상담 진행이 가능하다고 판단하고 챗봇 서버로 상담 전환 요청을 하면, 상기 상담사에 매칭되는 챗봇으로 상담을 전환하는 단계;를 포함하며, 상기 챗봇 또는 상담사로 상담 진행을 요청하는 단계는, 고객의 상담 이력 및 고객 정보에 기초하여 고객 종류별로 분류된 그룹 정보이며; 설정된 사용자 그룹 ID 및 선택된 상담 카테고리 ID에 해당하는 챗봇이 존재하는지 검사하고, 해당하는 챗봇을 고객 단말로 배정하는 단계; 를 포함한다.
또한 챗봇에 의한 상담이 원활하게 진행되지 않는다고 챗봇 서버가 판단하면, 상담사 배정 알고리즘을 이용하고 챗봇에 대응하는 상담사를 매칭하여, 매칭된 상담사로 상담 전환 요청하는 단계; 및 상담사가 상담 진행 중에, 챗봇을 이용하여 상담 진행이 가능하다고 판단하고 챗봇 서버로 전환 요청을 하면, 상기 상담사에 매칭되는 챗봇으로 상담을 전환하는 단계;를 포함한다.
상기 챗봇 또는 상담사로 상담 진행을 요청하는 단계는, 챗봇 서버가 고객의 사용자 그룹 ID를 설정하고, 시작 안내 봇을 이용하여 고객 단말로 상담 카테고리 ID 선택 요청 메시지를 전송하는 단계, 상기 사용자 그룹 ID는 상기 고객의 상담 이력 및 고객 정보에 기초하여 고객 종류별로 분류된 그룹 정보이며; 설정된 사용자 그룹 ID 및 선택된 상담 카테고리 ID에 해당하는 챗봇(예 : 남자, 여자, 또는 유명인 등)이 존재하는지 검사하고, 해당하는 챗봇을 고객 단말로 배정하는 단계; 를 포함한다.
일 실시 예에서, 입모양 애니메이션 표시부를 통해 남자, 여자, 또는 유명인 등의 캐릭터에 기반한 챗봇 형태로 사용자와 대화 형태로 인터렉션이 수행되며, 사용자가 요청 메시지 형태로 디지털트윈기반 건설현장의 안전관리서비스 시스템에 스케쥴링을 요청하고, 챗봇 서버는 스케쥴링 후 그 결과를 메시지 형태로 사용자에게 제공할 수 있다.
남자, 여자, 또는 유명인 등의 캐릭터를 흉내내기 위해서는 상술한 디지털트윈기반 건설현장의 안전관리서비스 방법에 의한 운율 처리 단계 등을 이용할 수 있다.
예를 들어 상담사(예 : 남자, 여자, 또는 유명인 등)의 경우 발화 속도 제어 입력과 정서 음향 파라미터 입력과 언어학적 처리단계에서 분석 및 변환된 정보를 가지고 액센트, 억양, 경계, final lengthening과 음소의 강약, 지속시간, 휴지기간 등을 결정한다.
억양(intonation)은 문장 유형(종결형 어미)에 따라 변화를 보이며, 평서문에서는 하강조, 예/아니오 등의 의문문에서는 마지막 음절 직전까지 하강 후 마지막 음절에서 상승하고, 의문사 의문문에서는 하강조로 피치를 조절 한다.
또한 액센트(accent)는 발음에 나타나는 음절 내부의 강세를 표현한다.
지속 시간(Duration)은 음소의 발음이 지속되는 시간으로 천이구간과 정상구간으로 나눌 수 있다.
본 발명은 지속 시간 모듈을 마련하여 지속시간 결정에 영향을 미치는 특징요소로는 자음, 모음의 고유 또는 평균값, 음절 유형, 조음 방법과 음소의 위치, 어절 내 음절 수, 어절 내 음절 위치, 인접 음운, 문장 끝, 억양구, 및 경계에서 나타나는 final lengthening, 조사나 어미에 해당하는 품사에 따른 효과 등을 제공한다.
그리고 지속 시간 모듈에 의한 지속 시간의 구현은 각 음소의 최소 지속 시간을 보장하며, 주로 자음보다는 모음 위주로 지속시간과 종성자음의 지속시간, 천이구간과 안정 구간에 대해 비선형적으로 지속 시간을 조절한다.
경계는 끓어 읽기, 숨의 조절, 문맥의 이해도 제고를 위해 필요하며, 경계에서 나타나는 운율 현상으로 피치 (F0)의 급격한 하강, 경계 앞 음절에서 final lengthening, 경계에서 휴지구간 존재하며 발화 속도에 따라 경계의 길이가 변화한다.
텍스트 입력부를 통해 입력받은 문장에서 경계의 검출은 어휘 사전과 형태소(조사, 어미) 사전을 이용하여 형태소를 분석하는 것이 바람직하다.
상기 지속 시간 모듈과 연결되는 음성 합성기에 의해 상담사(예 : 남자, 여자, 또는 유명인 등)에 다른 합성된 음성의 특징을 입력으로 받아 얼굴영상의 입술에 해당하는 부분의 입모양을 생성한다. 여기서 입력으로 받는 음성의 특징은, 음성의 멜 필터 뱅크(mel filter bank) 특징, mfcc(mel-frequency cepstral coefficients), 보코더 파라미터 등이 될 수 있다.
그리고 출력에 해당하는 입모양은 입술의 중요 부분에 대한 위치를 나타내는 좌표 값이다. 입모양 애니메이션 표시부는, LSTM (Long short-term memory network)과 같은 RNN (Recurrent neural network)으로 구현할 수 있다.
33 : 안전관리서비스 서버
34 : 위험작업현황 시각화부
100 : 디지털트윈기반 건설현장 서버
101 : 위험작업현황부
102 : 디지털트윈부
111 : 카메라
112 : IoT 센서
34 : 위험작업현황 시각화부
100 : 디지털트윈기반 건설현장 서버
101 : 위험작업현황부
102 : 디지털트윈부
111 : 카메라
112 : IoT 센서
Claims (8)
- 복수의 지점에서의 각종 센서 장치로부터 환경 정보가 실시간 반영되는 건설현장 트윈모델을 생성하여 디지털트윈 정보로 저장하고, 건설현장에서 생성되는 작업 데이터, 안전 데이터, 관리 데이터를 저장하는 디지털트윈기반 건설현장 서버;
상기 디지털트윈기반 건설현장 서버로 부터 건설현장의 작업 데이터 및 안전 데이터를 분석하여 위험작업현황을 파악하는 위험작업현황부;
상기 위험작업현황부로 부터 위험작업현황을 전달받아 상기 디지털트윈 정보와 융합하여 저장하는 디지털트윈부;
상기 디지털트윈부로 부터 디지털트윈화된 정보를 네트워크를 통해 전송받는 안전관리서비스 서버;
상기 안전관리서비스 서버로 부터 전송받은 위험작업현황을 시각화하는 위험작업현황 시각화부; 및
상기 안전관리서비스 서버로 부터 전송받은 위험요인을 시각화하는 위험요인 시각화부;를 포함하며,
상기 위험작업현황 시각화부와 위험요인 시각화부를 통해 실시간으로 현장내의 근로자를 안내 함으로써 안전관리자들이 보다 용이하게 재해를 예방할 수 있도록,
네트워크를 통해 건설 현장 장비로부터 전송되는 부품 데이터에 대한 정비 요청 데이터를 토대로 원격 지원용 디지털트윈 데이터를 구현하여 저장하고,
상기 정비 요청에 따른 문제 발생 현장에 마련된 센서 장치를 통해 디지털트윈기반 건설현장 서버에서 정비 요청 데이터에 따른 지원 데이터가 수집되어 원격 지원용 디지털트윈 데이터에 반영하여 저장하며,
원격 지원용 디지털트윈 데이터 화면이 디지털트윈기반 건설현장 서버의 화면 상에 배치되어 지원 데이터가 출력하고,
네트워크를 통해 상기 건설 현장 장비로부터 위험작업현황에 따른 지원 데이터를 수신하여 상기 안전관리서비스 서버가 저장된 디지털트윈 데이터에 정비 요청에 따른 지원 결과를 반영하며,
상기 디지털트윈부가 상기 위험작업현황부로 부터 위험작업현황을 전달받아 디지털트윈화하여 저장한 후에는, 건설현장 장비에 매칭된 기계류 중에서 작업현장 내에서 위험물체로 분류된 장치 또는 이동체 중 적어도 어느 하나에 경고하고,
디지털트윈기반 건설현장 서버에서 생성된 경고알림을 현장내의 근로자의 스마트 디바이스에 전송하며,
촬영된 영상을 실시간으로 안전관리서비스 서버에 전송하고, 산출된 충돌가능성이 기설정된 수치를 초과할 경우, 안전관리서비스 서버에서 생성된 경고알림을 상기 스마트 디바이스에 전송하며,
상기 현장내의 근로자의 생체신호를 측정하여 응급상황 발생 시 안전관리서비스 서버가 즉시 안전관리자의 단말기 및 구조기관에 즉시 호출신호를 전송하고,
상기 디지털트윈부가 상기 위험작업현황부로 부터 위험작업현황을 전달받아 디지털트윈화하여 저장한 후에는, 디지털트윈기반 건설현장 서버가 건설현장의 물리적 공간 내의 실제 건설현장 장비에 매칭된 기계류들에 대응되는 가상객체들을 3차원 모델링하여 디지털트윈 데이터로 저장하고,
디지털트윈기반 건설현장 서버가 안전관리자 입력에 따른 작업지시 및 작업 가이던스를 상기 디지털트윈 데이터 내의 실제 3차원 객체에 연관시켜 가상 컨텐츠로 생성하고, 근로자의 단말기로 가상 컨텐츠 및 디지털트윈이 융합된 형태로 안전관리서비스 서버로 송신하며,
안전관리서비스 서버가 작업지시 및 작업 가이던스를 내리고자 하는 위치 주변의 근로자를 선택하여 작업지시 및 작업 가이던스를 제공하고,
안전관리서비스 서버가 디지털 트윈으로 모니터링하는 안전관리자로부터 실시간 작업 지시나 작업 가이드를 입력 받아 디지털트윈 환경에 투영하여 제공하는 디지털트윈기반 건설현장의 안전관리서비스 시스템.
- 디지털트윈기반 건설현장 서버가 복수의 지점에서의 각종 센서 장치로부터 환경 정보가 실시간 반영되는 건설현장 트윈모델을 생성하여 디지털트윈 정보로 저장하는 단계;
디지털트윈기반 건설현장 서버가 건설현장에서 생성되는 작업 데이터, 안전 데이터, 관리 데이터를 저장하는 단계;
위험작업현황부가 상기 디지털트윈기반 건설현장 서버로 부터 건설현장의 위험작업현황을 파악하는 단계;
디지털트윈부가 상기 위험작업현황부로 부터 위험작업현황을 전달받아 디지털트윈화하여 저장하고, 안전관리서비스 서버로 전송하는 단계;를 포함하고,
상기 디지털트윈부가 상기 위험작업현황부로 부터 위험작업현황을 전달받아 디지털트윈화하여 저장하는 단계는,
네트워크를 통해 건설 현장 장비로부터 전송되는 부품 데이터에 대한 정비 요청 데이터를 토대로 원격 지원용 디지털트윈 데이터를 구현하여 저장하는 단계;
상기 정비 요청에 따른 문제 발생 현장에 마련된 센서 장치를 통해 디지털트윈기반 건설현장 서버에서 정비 요청 데이터에 따른 지원 데이터가 수집되어 원격 지원용 디지털트윈 데이터에 반영하여 저장하는 단계;
원격 지원용 디지털트윈 데이터 화면이 디지털트윈기반 건설현장 서버의 화면 상에 배치되어 지원 데이터가 출력하는 단계;
네트워크를 통해 상기 건설 현장 장비로부터 위험작업현황에 따른 지원 데이터를 수신하여 상기 안전관리서비스 서버가 저장된 디지털트윈 데이터에 정비 요청에 따른 지원 결과를 반영하는 단계;를 포함하고,
상기 디지털트윈부가 상기 위험작업현황부로 부터 위험작업현황을 전달받아 디지털트윈화하여 저장하는 단계 후에는,
건설현장 장비에 매칭된 기계류 중에서 작업현장 내에서 위험물체로 분류된 장치 또는 이동체 중 적어도 어느 하나에 경고하는 단계;
디지털트윈기반 건설현장 서버에서 생성된 경고알림을 현장내의 근로자의 스마트 디바이스에 전송하는 단계;
촬영된 영상을 실시간으로 안전관리서비스 서버에 전송하는 단계;
산출된 충돌가능성이 기설정된 수치를 초과할 경우, 안전관리서비스 서버에서 생성된 경고알림을 상기 스마트 디바이스에 전송하는 단계;
상기 현장내의 근로자의 생체신호를 측정하여 응급상황 발생 시 안전관리서비스 서버가 즉시 안전관리자의 단말기 및 구조기관에 즉시 호출신호를 전송하는 단계;를 포함하며,
상기 디지털트윈부가 상기 위험작업현황부로 부터 위험작업현황을 전달받아 디지털트윈화하여 저장하는 단계 후에는,
디지털트윈기반 건설현장 서버가 건설현장의 물리적 공간 내의 실제 건설현장 장비에 매칭된 기계류들에 대응되는 가상객체들을 3차원 모델링하여 디지털트윈 데이터로 저장하는 단계;
디지털트윈기반 건설현장 서버가 안전관리자 입력에 따른 작업지시 및 작업 가이던스를 상기 디지털트윈 데이터 내의 실제 3차원 객체에 연관시켜 가상 컨텐츠로 생성하고, 근로자의 단말기로 가상 컨텐츠 및 디지털트윈이 융합된 형태로 안전관리서비스 서버로 송신하는 단계;
안전관리서비스 서버가 작업지시 및 작업 가이던스를 내리고자 하는 위치 주변의 근로자를 선택하여 작업지시 및 작업 가이던스를 제공하는 단계;
안전관리서비스 서버가 디지털 트윈으로 모니터링하는 안전관리자로부터 실시간 작업 지시나 작업 가이드를 입력 받아 디지털트윈 환경에 투영하여 제공하는 단계;를 포함하는 디지털트윈기반 건설현장의 안전관리서비스 방법.
- 청구항 2에 있어서,
상기 디지털트윈기반 건설현장 서버와 네트워크로 연결된 안전관리서비스 서버가 상기 디지털트윈부로 부터 디지털트윈화된 정보를 네트워크를 통해 전송받아 건설현장 근로자 단말기에 전송하여 실시간으로 현장내의 근로자를 안내 함으로써 안전관리자 들이 보다 용이하게 재해를 예방할 수 있도록 하는 단계;를 더 포함하는 디지털트윈기반 건설현장의 안전관리서비스 방법.
- 청구항 2에 있어서,
위험작업현황 시각화부가 상기 디지털트윈기반 건설현장 서버로 부터 전송받은 위험작업현황을 시각화하는 단계; 및
위험요인 시각화부가 상기 디지털트윈기반 건설현장 서버로 부터 전송받은 위험요인을 시각화하는 단계;를 포함하는 디지털트윈기반 건설현장의 안전관리서비스 방법.
- 청구항 2에 있어서,
상기 디지털트윈부가 상기 위험작업현황부로 부터 위험작업현황을 전달받아 디지털트윈화하여 저장하는 단계는,
상기 안전관리서비스 서버가 작업 데이터 및 안전 데이터에 기반한 건설현장 트윈모델 내의 복수의 가상객체 또는 건설현장 장비 중 어느 하나의 안전 관리 메뉴얼에 따라 선택된 가상객체 또는 건설현장 장비를 구분하여 표시하는 단계;
선택된 가상객체 또는 건설현장 장비에 매칭된 기계류를 센서 장치로 트랙킹하면서 실시간 촬영하여 안전 관련 가상 객체로 만들기 위하여 상기 건설현장 내의 고해상도 이미지 센서 장치를 제어하는 단계;
안전 관련 가상 객체가 이동하는 복수의 가상 공간 정보 중 어느 하나의 공간에서의 위험작업 현황 파악에 응답하여 안전관리서비스 서버가 상기 가상객체를 안전하게 고해상도 이미지 센서 장치로 파악한 장소로 이동시키거나, 건설현장 장비의 위험 작업을 고해상도 이미지 센서 장치로 파악한 방법으로 안전하게 제어하는 단계;를 포함하는 디지털트윈기반 건설현장의 안전관리서비스 방법.
- 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220079430A KR102458104B1 (ko) | 2022-06-29 | 2022-06-29 | 디지털트윈기반 건설현장의 안전관리서비스 시스템 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220079430A KR102458104B1 (ko) | 2022-06-29 | 2022-06-29 | 디지털트윈기반 건설현장의 안전관리서비스 시스템 및 그 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102458104B1 true KR102458104B1 (ko) | 2022-10-24 |
Family
ID=83806008
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220079430A KR102458104B1 (ko) | 2022-06-29 | 2022-06-29 | 디지털트윈기반 건설현장의 안전관리서비스 시스템 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102458104B1 (ko) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115775092A (zh) * | 2022-11-11 | 2023-03-10 | 中电建铁路建设投资集团有限公司 | 基于数字孪生技术的施工过程安全风险管控系统 |
| CN116433037A (zh) * | 2023-06-15 | 2023-07-14 | 安徽嘉拓信息科技有限公司 | 一种基于数字孪生的ai视频融合智慧管控系统 |
| CN116502931A (zh) * | 2023-02-06 | 2023-07-28 | 北京北投生态环境有限公司 | 一种化工厂污染场地生态环境风险防控用检测系统 |
| CN116563783A (zh) * | 2023-05-04 | 2023-08-08 | 上海东普信息科技有限公司 | 基于数字孪生的违规告警方法、装置、设备及存储介质 |
| KR102636781B1 (ko) * | 2023-02-10 | 2024-02-16 | 주식회사 드제이 | 통합 제조 운영 관리를 위한 스마트 팩토리 시스템 |
| WO2024117363A1 (ko) * | 2022-11-30 | 2024-06-06 | 울랄라랩 주식회사 | 작업 가이드 장치를 통한 작업 가이드 방법 및 시스템 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160126118A (ko) * | 2015-04-22 | 2016-11-02 | 최상호 | 안전 관제 시스템 |
| KR101715001B1 (ko) * | 2015-12-30 | 2017-03-23 | 연세대학교 산학협력단 | 웨어러블 기기를 이용한 건설현장의 안전평가 표시 시스템 및 그 방법 |
| KR20190040605A (ko) * | 2017-10-11 | 2019-04-19 | 전성남 | Lpwa 통신기반 작업자 위험 감지 시스템 |
| KR102212390B1 (ko) * | 2020-04-01 | 2021-02-04 | (주)포미트 | 디지털 트윈 시뮬레이터 및 기계학습을 이용하는 실제 플랜트의 최적 운영 규칙 도출 장치 및 방법 |
| KR102321897B1 (ko) * | 2021-05-18 | 2021-11-08 | 주식회사 플럭시티 | 건설 현장의 3차원 모델링 공간에서 위험도를 나타내는 방법 및 컴퓨터 프로그램 제품 |
| KR20220027119A (ko) * | 2019-12-31 | 2022-03-07 | 주식회사 버넥트 | 디지털 트윈을 이용한 증강현실 기반 현장 모니터링 시스템 및 방법 |
-
2022
- 2022-06-29 KR KR1020220079430A patent/KR102458104B1/ko active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160126118A (ko) * | 2015-04-22 | 2016-11-02 | 최상호 | 안전 관제 시스템 |
| KR101715001B1 (ko) * | 2015-12-30 | 2017-03-23 | 연세대학교 산학협력단 | 웨어러블 기기를 이용한 건설현장의 안전평가 표시 시스템 및 그 방법 |
| KR20190040605A (ko) * | 2017-10-11 | 2019-04-19 | 전성남 | Lpwa 통신기반 작업자 위험 감지 시스템 |
| KR20220027119A (ko) * | 2019-12-31 | 2022-03-07 | 주식회사 버넥트 | 디지털 트윈을 이용한 증강현실 기반 현장 모니터링 시스템 및 방법 |
| KR102212390B1 (ko) * | 2020-04-01 | 2021-02-04 | (주)포미트 | 디지털 트윈 시뮬레이터 및 기계학습을 이용하는 실제 플랜트의 최적 운영 규칙 도출 장치 및 방법 |
| KR102321897B1 (ko) * | 2021-05-18 | 2021-11-08 | 주식회사 플럭시티 | 건설 현장의 3차원 모델링 공간에서 위험도를 나타내는 방법 및 컴퓨터 프로그램 제품 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115775092A (zh) * | 2022-11-11 | 2023-03-10 | 中电建铁路建设投资集团有限公司 | 基于数字孪生技术的施工过程安全风险管控系统 |
| CN115775092B (zh) * | 2022-11-11 | 2023-12-22 | 中电建铁路建设投资集团有限公司 | 基于数字孪生技术的施工过程安全风险管控系统 |
| WO2024117363A1 (ko) * | 2022-11-30 | 2024-06-06 | 울랄라랩 주식회사 | 작업 가이드 장치를 통한 작업 가이드 방법 및 시스템 |
| CN116502931A (zh) * | 2023-02-06 | 2023-07-28 | 北京北投生态环境有限公司 | 一种化工厂污染场地生态环境风险防控用检测系统 |
| CN116502931B (zh) * | 2023-02-06 | 2024-02-09 | 北京北投生态环境有限公司 | 一种化工厂污染场地生态环境风险防控用检测系统 |
| KR102636781B1 (ko) * | 2023-02-10 | 2024-02-16 | 주식회사 드제이 | 통합 제조 운영 관리를 위한 스마트 팩토리 시스템 |
| CN116563783A (zh) * | 2023-05-04 | 2023-08-08 | 上海东普信息科技有限公司 | 基于数字孪生的违规告警方法、装置、设备及存储介质 |
| CN116563783B (zh) * | 2023-05-04 | 2024-06-11 | 上海东普信息科技有限公司 | 基于数字孪生的违规告警方法、装置、设备及存储介质 |
| CN116433037A (zh) * | 2023-06-15 | 2023-07-14 | 安徽嘉拓信息科技有限公司 | 一种基于数字孪生的ai视频融合智慧管控系统 |
| CN116433037B (zh) * | 2023-06-15 | 2023-09-22 | 安徽嘉拓信息科技有限公司 | 一种基于数字孪生的ai视频融合智慧管控系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102458104B1 (ko) | 디지털트윈기반 건설현장의 안전관리서비스 시스템 및 그 방법 | |
| CN106653052B (zh) | 虚拟人脸动画的生成方法及装置 | |
| US20200279553A1 (en) | Linguistic style matching agent | |
| US11289083B2 (en) | Electronic apparatus and method for controlling thereof | |
| US11514886B2 (en) | Emotion classification information-based text-to-speech (TTS) method and apparatus | |
| US9767789B2 (en) | Using emoticons for contextual text-to-speech expressivity | |
| US8200493B1 (en) | System and method of providing conversational visual prosody for talking heads | |
| US20180277093A1 (en) | Sensor based text-to-speech emotional conveyance | |
| CN109545197B (zh) | 语音指令的识别方法、装置和智能终端 | |
| KR102663669B1 (ko) | 소음 환경에서의 음성 합성 | |
| US20200273447A1 (en) | System and method for key phrase spotting | |
| US11605384B1 (en) | Duplex communications for conversational AI by dynamically responsive interrupting content | |
| JP6585733B2 (ja) | 情報処理装置 | |
| CN110493123B (zh) | 即时通讯方法、装置、设备及存储介质 | |
| JP5913394B2 (ja) | 音声同期処理装置、音声同期処理プログラム、音声同期処理方法及び音声同期システム | |
| CN108184032B (zh) | 一种客服系统的服务方法及装置 | |
| JP4587854B2 (ja) | 感情解析装置、感情解析プログラム、プログラム格納媒体 | |
| CN111384778B (zh) | 一种配电网设备智能运维系统 | |
| EP3534363A1 (en) | Information processing device and information processing method | |
| CN115148185A (zh) | 语音合成方法及装置、电子设备及存储介质 | |
| EP4006903A1 (en) | System with post-conversation representation, electronic device, and related methods | |
| US20230148275A1 (en) | Speech synthesis device and speech synthesis method | |
| CN110782916A (zh) | 一种多模态的投诉识别方法、装置和系统 | |
| KR20240002670A (ko) | 디지털트윈기반 건설현장에서 hmi를 위한 디지털휴먼과의 커뮤니케이션 시스템 및 그 방법 | |
| US20080228497A1 (en) | Method For Communication and Communication Device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |