KR102430723B1 - 투명모니터와 3d 깊이 카메라를 이용한 관리자 시선 맞춤형 정보제공 시스템 - Google Patents

투명모니터와 3d 깊이 카메라를 이용한 관리자 시선 맞춤형 정보제공 시스템 Download PDF

Info

Publication number
KR102430723B1
KR102430723B1 KR1020220012227A KR20220012227A KR102430723B1 KR 102430723 B1 KR102430723 B1 KR 102430723B1 KR 1020220012227 A KR1020220012227 A KR 1020220012227A KR 20220012227 A KR20220012227 A KR 20220012227A KR 102430723 B1 KR102430723 B1 KR 102430723B1
Authority
KR
South Korea
Prior art keywords
manager
management
unit
transparent display
monitor
Prior art date
Application number
KR1020220012227A
Other languages
English (en)
Other versions
KR102430723B9 (ko
Inventor
이종훈
Original Assignee
헬리오센 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 헬리오센 주식회사 filed Critical 헬리오센 주식회사
Priority to KR1020220012227A priority Critical patent/KR102430723B1/ko
Application granted granted Critical
Publication of KR102430723B1 publication Critical patent/KR102430723B1/ko
Publication of KR102430723B9 publication Critical patent/KR102430723B9/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/04Manufacturing
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F19/00Advertising or display means not otherwise provided for
    • G09F19/12Advertising or display means not otherwise provided for using special optical effects
    • G09F19/125Stereoscopic displays; 3D displays
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F19/00Advertising or display means not otherwise provided for
    • G09F19/12Advertising or display means not otherwise provided for using special optical effects
    • G09F19/14Advertising or display means not otherwise provided for using special optical effects displaying different signs depending upon the view-point of the observer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras

Abstract

본 발명은 공장이나 산업현장 등의 관리현장에서 관리자의 동선에 맞춰 관리용 투명 디스플레이패널의 화면을 통해 관리용 정보들이 표시됨에 따라, 실시간의 관리 작업이 매우 효율적으로 진행될 수 있고, 투명 디스플레이패널을 통한 관리용 화면이 관리자를 통해서만 확인되고 작업자 등 관리 대상들을 통해서는 확인되지 않는 방식이 사용되는 투명모니터와 3D 깊이 카메라를 이용한 관리자 시선 맞춤형 정보제공 시스템에 관한 것으로서, 본 발명에 따른 투명모니터와 3D 깊이 카메라를 이용한 관리자 시선 맞춤형 정보제공 시스템은 카메라 장치부, 센싱부, 관리서버 및 모니터부를 포함하여 구성되고, 상기 카메라 장치부는 공장 내지 산업시설 등 관리현장에 설치되며 3D 깊이 카메라 및 라이다를 포함하여 추적 대상의 위치, 이격 거리, 이동 방향, 이동 속도의 데이터를 획득하고, 상기 모니터부는 상기 관리서버로부터 출력되는 영상정보를 화면 표시하는 투명 디스플레이패널을 포함하여 구성된다.

Description

투명모니터와 3D 깊이 카메라를 이용한 관리자 시선 맞춤형 정보제공 시스템{Information providing system for manager using transparent display and 3D depth camera}
본 발명은 공장이나 산업현장 등의 관리현장에서 관리자의 동선에 맞춰 관리용 투명 디스플레이패널의 화면을 통해 관리용 정보들이 표시됨에 따라, 실시간의 관리 작업이 매우 효율적으로 진행될 수 있고, 투명 디스플레이패널을 통한 관리용 화면이 관리자를 통해서만 확인되고 작업자 등 관리 대상들을 통해서는 확인되지 않는 방식이 사용되는 투명모니터와 3D 깊이 카메라를 이용한 관리자 시선 맞춤형 정보제공 시스템에 관한 것이다.
공장이나 산업현장 등에서는 시설, 장비 인력 등의 모니터링을 위해 네트워크를 이용한 모니터링 시스템을 이용하고 있다. 이는 관리자가 현장에 상주해야하는 불편을 덜어주며, 중앙 제어실에서 전반적인 현장의 상황을 감시, 제어할 수 있으므로 시간적 및 공간적으로 효율을 높일 수 있다. 뿐만 아니라, 사람이 접근하기 힘든 환경이나 제한된 지역을 통합하여 관리할 수 있으므로 그 중요성이 매우 증가하는 추세이다.
부연 설명하면, 공장에서는 최소한의 비용으로 최대의 산출물을 창출하는 것을 주요 목적으로 하고 있다. 최대 산출물을 얻기 위해서는 불량품을 줄이는 조건을 설정하고, 공정 장비의 가동 시간을 효율적으로 운행해야 한다. 그리고 적절한 인력 배치 등을 통해 목표로 하는 최대 산출물을 달성할 수 있다.
따라서 본 출원인은 공장이나 산업현장 등에서 관리자를 통한 모니터링 작업이 보다 효율적으로 진행될 수 있는 기술로서 본 발명을 제안하게 되었다.
한국 등록특허 제10-2282800호(2021.07.28.공고), “라이다와 영상카메라를 이용한 멀티 표적 추적 방법” 한국 공개특허 제10-2021-0144187호(2021.11.30.공개), “유무인 상태에 따른 매대 디스플레이 모드 전환 방법 및 그 장치” 한국 등록특허 제10-2213712(2021.02.08.공고), “스마트공장 적용을 위한 실시간 용접 모니터링 시스템”
본 발명의 실시 예는 공장이나 산업현장 등의 관리현장에서 관리자의 동선에 맞춰 관리용 투명 디스플레이패널의 화면을 통해 관리용 정보들이 표시됨에 따라, 실시간의 관리 작업이 매우 효율적으로 진행될 수 있고, 이때 투명 디스플레이패널을 통한 관리용 화면이 관리자를 통해서만 확인되고 작업자 등 관리 대상들을 통해서는 확인되지 않는 방식이 사용됨에 따라, 관리자는 작업자들의 시선을 의식하지 않고 관리 작업을 수행할 수 있는 동시에 작업자들도 감시를 받는 기분을 크게 느끼지 않으면서 작업에 집중할 수 있어, 관리자의 관리 작업이 보다 세밀하게 진행될 수 있는 동시에 이로 인한 작업자의 작업 능률 저하가 초래되지 않을 수 있는 투명모니터와 3D 깊이 카메라를 이용한 관리자 시선 맞춤형 정보제공 시스템을 제공한다.
또한 본 발명의 실시 예는 공장이나 산업현장 등의 관리현장에 관리자용 투명 디스플레이패널을 설치하여 해당 관리현장 내부의 플랜트 전 과정을 실시간으로 파악하는 동시에 이를 기반으로 관리/감독할 수 있게 되고, 특히 관리현장 내 주요 점검구역에 대해서는 관리자가 XR 기반의 화면을 통해 주요 점검구역 내 특정 장비 및 시설물의 현재 상황을 보다 현실감 있게 확인하면서 관리작업을 수행할 수 있고, 이에 따라 해당 관리 작업의 정확성 내지 정밀성 및 효율성이 극대화될 수 있으며, 이 과정에서 관리자의 신장에 맞춰 해당 XR 기반의 화면이 제공될 수 있어 그 효율성이 보다 높아질 수 있도록 하는 투명모니터와 3D 깊이 카메라를 이용한 관리자 시선 맞춤형 정보제공 시스템을 제공한다.
본 발명의 실시 예에 따른 투명모니터와 3D 깊이 카메라를 이용한 관리자 시선 맞춤형 정보제공 시스템, 공장 내지 산업시설 등 관리현장에 설치되며, 3D 깊이 카메라 및 라이다를 포함하여 추적 대상의 위치, 이격 거리, 이동 방향, 이동 속도의 데이터를 획득하는 카메라 장치부와, 상기 관리현장 내의 장비 및 시설물에 부착되어 각종 모니터링용 데이터를 획득하는 센서들을 포함하는 센싱부와, 상기 카메라 장치부 및 센싱부로부터 데이터를 실시간 수신하고, 수신된 데이터를 기반으로 상기 관리현장에 대한 모니터링용 영상정보를 생성하여 출력하는 관리서버와, 상기 관리서버로부터 출력되는 영상정보를 화면 표시하는 투명 디스플레이패널이 포함된 모니터부를 포함하며, 상기 모니터부의 투명 디스플레이패널은 상기 관리현장에 대한 관리자의 화면 확인 위치에서만 디스플레이 화면을 시각적으로 확인할 수 있고, 관리자와 반대되는 방향에서는 디스플레이 화면에 대한 시각적 확인이 불가능하도록 이루어진 것일 수 있다.
또한 상기 카메라 장치부는 상기 관리현장 내의 관리자에 대한 위치 추적 기능을 포함하며, 상기 관리서버는 상기 카메라 장치부로부터 상기 관리현장 내 관리자에 대한 위치 추적 정보가 수신 시, 수신된 관리자의 현재 위치를 중심으로 주변의 관리현장에 대한 모니터링용 영상정보를 생성하여 상기 모니터부에 출력하는 기능을 포함하는 것일 수 있다.
또한 상기 모니터부는 전방 측면을 형성하는 제1 투명 디스플레이패널, 좌측 측면을 형성하는 제2 투명 디스플레이패널, 우측 측면을 형성하는 제3 투명 디스플레이패널 및 상기 제1 내지 제3 투명 디스플레이패널의 상면에 전방 일단 및 좌우 양단이 각각 거치되는 천장 패널을 포함하는 스튜디오형 구조로 이루어지는 것일 수 있다.
또한 본 발명의 실시 예에 따른 투명모니터와 3D 깊이 카메라를 이용한 관리자 시선 맞춤형 정보제공 시스템은, 상기 관리현장 중 사전에 정해진 주요 점검구역별 복수로 설치되어 상기 주요 점검구역 내에 설치된 특정 장비와 시설물, 작업자에 대한 현재 상태 정보를 영상데이터로서 주기적으로 획득하는 카메라모듈과, 상기 주요 점검구역에 대한 3차원 이미지가 상기 주요 점검구역별로 저장되는 메모리와, XR공간의 구현을 위한 언리얼 엔진을 포함하며, 상기 메모리의 3차원 이미지 및 상기 카메라모듈을 통해 실시간 전송되는 영상데이터를 기반으로 상기 제1 내지 제3 투명 디스플레이패널을 통해 디스플레이될 상기 주요 점검구역에 대한 XR 콘텐츠를 실시간으로 생성 및 출력하되, 상기 XR 콘텐츠를 상기 카메라모듈의 촬영 주기에 맞춰 매 주기마다 한시적으로 출력하는 미디어서버와, 상기 모니터부에 설치되어 상기 관리서버로부터 전송되는 상기 관리현장에 대한 모니터링용 영상정보 및 상기 미디어서버로부터 전송되는 XR 콘텐츠를 각각 수신하되, 상기 XR 콘텐츠를 우선순위로 상기 모니터부에 디스플레이되게 하며, 상기 XR 콘텐츠는 상기 모니터부의 제1 내지 제3 투명 디스플레이패널을 통해 디스플레이되게 하고, 상기 관리서버로부터 전송되는 상기 관리현장에 대한 모니터링용 영상정보는 상기 모니터부의 제1 투명 디스플레이패널을 통해 디스플레이되게 하는 디스플레이 전환 출력부와, 상기 모니터부에 설치되며, 상기 모니터부를 통해 디스플레이될 상기 XR 콘텐츠 및 상기 관리서버로부터 전송되는 상기 관리현장에 대한 모니터링용 영상정보 중 어느 하나를 관리자가 강제 선택할 수 있게 하는 디스플레이 선택 스위치와, 상기 천장 패널과 마주하는 바닥면에 높이 조절이 가능한 형태로 설치되며, 베이스 플레이트 및 상기 베이스 플레이트의 상면에 복수로 설치되는 유압실린더 그리고 상기 유압실린더들의 작동로드 선단이 각각 결합되는 승강 플레이트를 포함하고, 상기 승강 플레이트에 상기 관리현장에 대한 관리자가 위치하게 되는 관리자 정위치부와, 상기 천장 패널에 설치되어 상기 관리자 정위치부의 승강 플레이트에 위치한 관리자의 신장을 측정하는 광센서와, 상기 천장 패널에 설치되고, 상기 제1 내지 제3 투명 디스플레이패널을 통해 디스플레이되는 상기 XR 콘텐츠 확인용의 관리자 최적높이가 사전에 설정되며, 상기 광센서를 통해 전송되는 관리자의 신장 및 상기 관리자 최적높이를 비교하여 상기 관리자 정위치부의 상기 승강 플레이트 높이를 조절하는 제어 유닛을 더 포함할 수 있다.
본 발명의 실시 예에 따르면, 공장이나 산업현장 등의 관리현장에서 관리자의 동선에 맞춰 관리용 투명 디스플레이패널의 화면을 통해 관리용 정보들이 표시됨에 따라, 실시간의 관리 작업이 매우 효율적으로 진행될 수 있고, 이때 투명 디스플레이패널을 통한 관리용 화면이 관리자를 통해서만 확인되고 작업자 등 관리 대상들을 통해서는 확인되지 않는 방식이 사용됨에 따라, 관리자는 작업자들의 시선을 의식하지 않고 관리 작업을 수행할 수 있는 동시에 작업자들도 감시를 받는 기분을 크게 느끼지 않으면서 작업에 집중할 수 있어, 관리자의 관리 작업이 보다 세밀하게 진행될 수 있는 동시에 이로 인한 작업자의 작업 능률 저하가 초래되지 않을 수 있게 된다.
또한 공장이나 산업현장 등의 관리현장에 관리자용 투명 디스플레이패널을 설치하여 해당 관리현장 내부의 플랜트 전 과정을 실시간으로 파악하는 동시에 이를 기반으로 관리/감독할 수 있게 되고, 특히 관리현장 내 주요 점검구역에 대해서는 관리자가 XR 기반의 화면을 통해 주요 점검구역 내 특정 장비 및 시설물의 현재 상황을 보다 현실감 있게 확인하면서 관리작업을 수행할 수 있고, 이에 따라 해당 관리 작업의 정확성 내지 정밀성 및 효율성이 극대화될 수 있으며, 이 과정에서 관리자의 신장에 맞춰 해당 XR 기반의 화면이 제공될 수 있어 그 효율성이 보다 높아질 수 있게 된다.
도 1은 본 발명의 일 실시 예에 따른 투명모니터와 3D 깊이 카메라를 이용한 관리자 시선 맞춤형 정보제공 시스템을 예시한 블록 구성도
도 2는 본 발명의 일 실시 예에 따른 투명모니터와 3D 깊이 카메라를 이용한 관리자 시선 맞춤형 정보제공 시스템의 사용 예를 예시한 도면
도 3은 본 발명의 다른 실시 예에 따른 투명모니터와 3D 깊이 카메라를 이용한 관리자 시선 맞춤형 정보제공 시스템을 예시한 블록 구성도
도 4는 본 발명의 다른 실시 예에 따른 투명모니터와 3D 깊이 카메라를 이용한 관리자 시선 맞춤형 정보제공 시스템을 모니터부 및 관리자 정위치부 중심으로 예시한 도면
도 5는 본 발명의 다른 실시 예에 따른 투명모니터와 3D 깊이 카메라를 이용한 관리자 시선 맞춤형 정보제공 시스템에서 일부 전기적 구성을 예시한 블록 구성도
이하의 본 발명에 관한 상세한 설명들은 본 발명이 실시될 수 있는 실시 예이고 해당 실시 예의 예시로써 도시된 첨부 도면을 참조한다. 이들 실시 예는 당업자가 본 발명의 실시에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시 예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시 예에 관련하여 본 발명의 사상 및 범위를 벗어나지 않으면서 다른 실시 예로 구현될 수 있다. 또한, 각각의 기재된 실시 예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 사상 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다.
따라서 후술되는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는 적절하게 설명된다면 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
발명에서 전체에서 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 “…부”, "…모듈“ 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
도 1 내지 도 5를 참조하여 본 발명의 실시 예에 따른 투명모니터와 3D 깊이 카메라를 이용한 관리자 시선 맞춤형 정보제공 시스템에 대해 설명한다.
도 1은 본 발명의 일 실시 예에 따른 투명모니터와 3D 깊이 카메라를 이용한 관리자 시선 맞춤형 정보제공 시스템을 예시한 블록 구성도이고, 도 2는 본 발명의 일 실시 예에 따른 투명모니터와 3D 깊이 카메라를 이용한 관리자 시선 맞춤형 정보제공 시스템의 사용 예를 예시한 도면이다.
도시된 바와 같이, 본 발명의 일 실시 예에 따른 투명모니터와 3D 깊이 카메라를 이용한 관리자 시선 맞춤형 정보제공 시스템은 카메라 장치부(100), 센싱부(200), 관리서버(300) 및 모니터부(400)를 포함하여 구성된다.
카메라 장치부(100)는 공장 내지 산업시설 등 관리현장에 설치되며, 3D 깊이 카메라(110) 및 라이다(120)를 포함하여 추적 대상의 위치, 이격 거리, 이동 방향, 이동 속도의 데이터를 획득한다.
센싱부(200)는 상기 관리현장 내의 장비 및 시설물에 부착되어 각종 모니터링용 데이터를 획득하는 센서들을 포함한다. 그리고 본 실시 예에서는 센싱부(200)가 온도센서(210) 및 습도센서(220)를 포함하는 것을 예로 하였으나, 본 발명이 이에 한정되는 것은 아니다.
관리서버(300)는 카메라 장치부(100) 및 센싱부(200)로부터 데이터를 실시간 수신하고, 수신된 데이터를 기반으로 상기 관리현장에 대한 모니터링용 영상정보를 생성하여 출력한다.
모니터부(400)는 관리서버(300)로부터 출력되는 영상정보를 화면 표시하는 투명 디스플레이패널(410)을 포함하여 구성된다.
여기서, 모니터부(400)의 투명 디스플레이패널(410)은 상기 관리현장에 대한 관리자의 화면 확인 위치에서만 디스플레이 화면을 시각적으로 확인할 수 있고, 관리자와 반대되는 방향에서는 디스플레이 화면에 대한 시각적 확인이 불가능하도록 이루어진다. 도 2는 이를 개념적으로 예시한 것이다.
다음은 도 3 내지 도 5를 참조하여 본 발명의 다른 실시 예에 따른 투명모니터와 3D 깊이 카메라를 이용한 관리자 시선 맞춤형 정보제공 시스템에 대해 설명한다.
도 3은 본 발명의 다른 실시 예에 따른 투명모니터와 3D 깊이 카메라를 이용한 관리자 시선 맞춤형 정보제공 시스템을 예시한 블록 구성도이고, 도 4는 본 발명의 다른 실시 예에 따른 투명모니터와 3D 깊이 카메라를 이용한 관리자 시선 맞춤형 정보제공 시스템을 모니터부 및 관리자 정위치부 중심으로 예시한 도면이며, 도 5는 본 발명의 다른 실시 예에 따른 투명모니터와 3D 깊이 카메라를 이용한 관리자 시선 맞춤형 정보제공 시스템에서 일부 전기적 구성을 예시한 블록 구성도이다.
도시된 바와 같이, 본 발명의 다른 실시 예에 따른 투명모니터와 3D 깊이 카메라를 이용한 관리자 시선 맞춤형 정보제공 시스템은 카메라 장치부(100), 센싱부(200), 관리서버(300), 모니터부(400), 카메라모듈(500), 메모리(600), 미디어 서버(700), 디스플레이 전환 출력부(800), 디스플레이 선택 스위치(900), 관리자 정위치부(1000), 광센서(1100) 및 제어 유닛(1200)을 포함하여 구성된다.
여기서, 카메라 장치부(100), 센싱부(200), 관리서버(300), 모니터부(400)는 도 1 및 도 2를 참조하여 설명한 해당 구성들과 동일한 구성으로서, 다시 말해 본 실시 예의 투명모니터와 3D 깊이 카메라를 이용한 관리자 시선 맞춤형 정보제공 시스템은 도 1 및 도 2를 참조하여 설명한 투명모니터와 3D 깊이 카메라를 이용한 관리자 시선 맞춤형 정보제공 시스템에 카메라모듈(500), 메모리(600), 미디어 서버(700), 디스플레이 전환 출력부(800), 디스플레이 선택 스위치(900), 관리자 정위치부(1000), 광센서(1100) 및 제어 유닛(1200)이 추가적으로 결합되고, 또한 카메라 장치부(100), 관리서버(300) 및 모니터부(400)에 일부 구성 및 기능이 추가되는 형태이다.
따라서 이하의 설명에서 도 1 및 도 2를 참조하여 설명한 투명모니터와 3D 깊이 카메라를 이용한 관리자 시선 맞춤형 정보제공 시스템과 중복되는 구성에 대해서는 상세한 설명을 생략하는 동시에 해당 구성들에 대해 동일한 부호를 사용하였다.
먼저, 카메라 장치부(100)는 관리현장 내의 관리자에 대한 위치 추적 기능을 포함하며, 관리서버(300)는 카메라 장치부(100)로부터 상기 관리현장 내 관리자에 대한 위치 추적 정보가 수신 시, 수신된 관리자의 현재 위치를 중심으로 주변의 관리현장에 대한 모니터링용 영상정보를 생성하여 모니터부(400)에 출력하는 기능을 포함한다.
그리고 모니터부(400)는 전방 측면을 형성하는 제1 투명 디스플레이패널(411), 좌측 측면을 형성하는 제2 투명 디스플레이패널(412), 우측 측면을 형성하는 제3 투명 디스플레이패널(413) 및 이러한 제1 내지 제3 투명 디스플레이패널(411∼413)의 상면에 전방 일단 및 좌우 양단이 각각 거치되는 천장 패널(420)을 포함하는 스튜디오형 구조로 이루어진다.
카메라모듈(500)은 상기 관리현장 중 사전에 정해진 주요 점검구역별 복수로 설치되어 상기 주요 점검구역 내에 설치된 특정 장비와 시설물, 작업자에 대한 현재 상태 정보를 영상데이터로서 주기적으로 획득한다.
메모리(500)는 상기 주요 점검구역에 대한 3차원 이미지가 상기 주요 점검구역별로 저장된다.
미디어서버(700)는 XR공간의 구현을 위한 언리얼 엔진(710)을 포함하며, 이러한 미디어서버(700)는 메모리(600)의 3차원 이미지 및 카메라모듈(500)을 통해 실시간 전송되는 영상데이터를 기반으로 제1 내지 제3 투명 디스플레이패널(411∼413)을 통해 디스플레이될 상기 주요 점검구역에 대한 XR 콘텐츠를 실시간으로 생성 및 출력한다. 이때 미디어서버(700)는 상기 XR 콘텐츠를 카메라모듈(500)의 촬영 주기에 맞춰 매 주기마다 한시적으로 출력한다.
디스플레이 전환 출력부(800)는 모니터부(400)에 설치되며, 이러한 디스플레이 전환 출력부(800)는 관리서버(300)로부터 전송되는 상기 관리현장에 대한 모니터링용 영상정보 및 미디어서버(700)로부터 전송되는 XR 콘텐츠를 각각 수신하되, 상기 XR 콘텐츠를 우선순위로 모니터부(400)에 디스플레이되게 한다. 또한 디스플레이 전환 출력부(800)는 상기 XR 콘텐츠는 모니터부(400)의 제1 내지 제3 투명 디스플레이패널(411∼413)을 통해 디스플레이되게 하고, 관리서버(300)로부터 전송되는 상기 관리현장에 대한 모니터링용 영상정보는 모니터부(400)의 제1 투명 디스플레이패널(411)을 통해 디스플레이되게 한다.
디스플레이 선택 스위치(900)는 모니터부(400)에 설치되며, 이러한 디스플레이 선택 스위치(900)는 모니터부(400)를 통해 디스플레이될 상기 XR 콘텐츠 및 관리서버(300)로부터 전송되는 상기 관리현장에 대한 모니터링용 영상정보 중 어느 하나를 관리자가 강제 선택할 수 있게 하는 기능을 수행한다.
관리자 정위치부(1000)는 모니터부(400)의 천장 패널(420)과 마주하는 바닥면에 높이 조절이 가능한 형태로 설치되며, 이러한 관리자 정위치부(1000)는 베이스 플레이트(1001) 및 베이스 플레이트(1001)의 상면에 복수로 설치되는 유압실린더(1002) 그리고 유압실린더(1002)들의 작동로드(1002a) 선단이 각각 결합되는 승강 플레이트(1003)를 포함한다. 그리고 승강 플레이트(1003)에 상기 관리현장에 대한 관리자가 위치하게 된다.
광센서(1100)는 모니터부(400)의 천장 패널(420)에 설치되어 관리자 정위치부(1000)의 승강 플레이트(1003)에 위치한 관리자의 신장을 측정하는 기능을 수행한다.
제어 유닛(1200)은 모니터부(400)의 천장 패널(420)에 설치되고, 제1 내지 제3 투명 디스플레이패널(411∼413)을 통해 디스플레이되는 상기 XR 콘텐츠 확인용의 관리자 최적높이가 사전에 설정된다. 이에 따라 제어 유닛(1200)은 광센서(1100)를 통해 전송되는 관리자의 신장 및 상기 관리자 최적높이를 비교하여 관리자 정위치부(1000)의 승강 플레이트(1003) 높이를 조절한다.
상술한 구성에 의해서, 공장이나 산업현장 등의 관리현장에서 관리자의 동선에 맞춰 관리용 투명 디스플레이패널의 화면을 통해 관리용 정보들이 표시됨에 따라, 실시간의 관리 작업이 매우 효율적으로 진행될 수 있고, 이때 투명 디스플레이패널을 통한 관리용 화면이 관리자를 통해서만 확인되고 작업자 등 관리 대상들을 통해서는 확인되지 않는 방식이 사용됨에 따라, 관리자는 작업자들의 시선을 의식하지 않고 관리 작업을 수행할 수 있는 동시에 작업자들도 감시를 받는 기분을 크게 느끼지 않으면서 작업에 집중할 수 있어, 관리자의 관리 작업이 보다 세밀하게 진행될 수 있는 동시에 이로 인한 작업자의 작업 능률 저하가 초래되지 않을 수 있게 된다.
또한 공장이나 산업현장 등의 관리현장에 관리자용 투명 디스플레이패널을 설치하여 해당 관리현장 내부의 플랜트 전 과정을 실시간으로 파악하는 동시에 이를 기반으로 관리/감독할 수 있게 되고, 특히 관리현장 내 주요 점검구역에 대해서는 관리자가 XR 기반의 화면을 통해 주요 점검구역 내 특정 장비 및 시설물의 현재 상황을 보다 현실감 있게 확인하면서 관리작업을 수행할 수 있고, 이에 따라 해당 관리 작업의 정확성 내지 정밀성 및 효율성이 극대화될 수 있으며, 이 과정에서 관리자의 신장에 맞춰 해당 XR 기반의 화면이 제공될 수 있어 그 효율성이 보다 높아질 수 있게 된다.
또한 관리자가 투명 디스플레이패널을 통해 표시되는 화면을 상술한 주요 점검구역에 대한 XR 기반의 콘텐츠 및 관리현장에 대한 전반적인 모니터링용 영상정보 중에서 강제적으로 선택하여 확인할 수 있어, 필요성 내지 상황에 따른 관리작업의 수행이 가능하여 보다 효율적인 관리작업이 수행될 수 있게 된다.
이상과 같이 본 설명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시 예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서 본 발명의 사상은 설명된 실시 예에 국한되어 정하여 저서는 안되며, 후술되는 청구범위뿐만 아니라 이 청구범위와 균등하거나 등가적인 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
100 : 카메라 장치부 110 : 3D 깊이 카메라
120 : 라이다 200 : 센싱부
210 : 온도센서 220 : 습도센서
300 : 관리서버 400 : 모니터부
410 : 투명 디스플레이패널 411 : 제1 투명 디스플레이패널
412 : 제2 투명 디스플레이패널 413 : 제3 투명 디스플레이패널
420) : 천장 패널 500 : 카메라모듈
600 : 메모리 700 : 미디어서버
710 : 언리얼 엔진 800 : 디스플레이 전환 출력부
900 ; 디스플레이 선택 스위치 1000 : 관리자 정위치부
1001 : 베이스 플레이트 1002 : 유압실린더
1002a : 작동로드 1003 : 승강 플레이트
1100: 광센서 1200 : 제어 유닛

Claims (2)

  1. 공장 내지 산업시설(이하 “관리현장”이라 함)에 설치되며, 3D 깊이 카메라(110) 및 라이다(120)를 포함하여 추적 대상의 위치, 이격 거리, 이동 방향, 이동 속도의 데이터를 획득하는 카메라 장치부(100);
    상기 관리현장 내의 장비 및 시설물에 부착되어 각종 모니터링용 데이터를 획득하는 센서들을 포함하는 센싱부(200);
    상기 카메라 장치부(100) 및 센싱부(200)로부터 데이터를 실시간 수신하고, 수신된 데이터를 기반으로 상기 관리현장에 대한 모니터링용 영상정보를 생성하여 출력하는 관리서버(300); 및
    상기 관리서버(300)로부터 출력되는 영상정보를 화면 표시하는 투명 디스플레이패널(410)이 포함된 모니터부(400)를 포함하며,
    상기 모니터부(400)의 투명 디스플레이패널(410)은 상기 관리현장에 대한 관리자의 화면 확인 위치에서만 디스플레이 화면을 시각적으로 확인할 수 있고, 관리자와 반대되는 방향에서는 디스플레이 화면에 대한 시각적 확인이 불가능하도록 이루어지고,
    상기 카메라 장치부(100)는 상기 관리현장 내의 관리자에 대한 위치 추적 기능을 포함하며, 상기 관리서버(300)는 상기 카메라 장치부(100)로부터 상기 관리현장 내 관리자에 대한 위치 추적 정보가 수신 시, 수신된 관리자의 현재 위치를 중심으로 주변의 관리현장에 대한 모니터링용 영상정보를 생성하여 상기 모니터부(400)에 출력하는 기능을 포함하며,
    상기 모니터부(400)는 전방 측면을 형성하는 제1 투명 디스플레이패널(411), 좌측 측면을 형성하는 제2 투명 디스플레이패널(412), 우측 측면을 형성하는 제3 투명 디스플레이패널(413) 및 상기 제1 내지 제3 투명 디스플레이패널(411∼413)의 상면에 전방 일단 및 좌우 양단이 각각 거치되는 천장 패널(420)을 포함하는 스튜디오형 구조로 이루어지고,
    상기 관리현장 중 사전에 정해진 주요 점검구역별 복수로 설치되어 상기 주요 점검구역 내에 설치된 특정 장비와 시설물, 작업자에 대한 현재 상태 정보를 영상데이터로서 주기적으로 획득하는 카메라모듈(500);
    상기 주요 점검구역에 대한 3차원 이미지가 상기 주요 점검구역별로 저장되는 메모리(600);
    XR공간의 구현을 위한 언리얼 엔진(710)을 포함하며, 상기 메모리(600)의 3차원 이미지 및 상기 카메라모듈(500)을 통해 실시간 전송되는 영상데이터를 기반으로 상기 제1 내지 제3 투명 디스플레이패널(411∼413)을 통해 디스플레이될 상기 주요 점검구역에 대한 XR 콘텐츠를 실시간으로 생성 및 출력하되, 상기 XR 콘텐츠를 상기 카메라모듈(500)의 촬영 주기에 맞춰 매 주기마다 한시적으로 출력하는 미디어서버(700);
    상기 모니터부(400)에 설치되어 상기 관리서버(300)로부터 전송되는 상기 관리현장에 대한 모니터링용 영상정보 및 상기 미디어서버(700)로부터 전송되는 XR 콘텐츠를 각각 수신하되, 상기 XR 콘텐츠를 우선순위로 상기 모니터부(400)에 디스플레이되게 하며, 상기 XR 콘텐츠는 상기 모니터부(400)의 제1 내지 제3 투명 디스플레이패널(411∼413)을 통해 디스플레이되게 하고, 상기 관리서버(300)로부터 전송되는 상기 관리현장에 대한 모니터링용 영상정보는 상기 모니터부(400)의 제1 투명 디스플레이패널(411)을 통해 디스플레이되게 하는 디스플레이 전환 출력부(800);
    상기 모니터부(400)에 설치되며, 상기 모니터부(400)를 통해 디스플레이될 상기 XR 콘텐츠 및 상기 관리서버(300)로부터 전송되는 상기 관리현장에 대한 모니터링용 영상정보 중 어느 하나를 관리자가 강제 선택할 수 있게 하는 디스플레이 선택 스위치(900);
    상기 천장 패널(420)과 마주하는 바닥면에 높이 조절이 가능한 형태로 설치되며, 베이스 플레이트(1001) 및 상기 베이스 플레이트(1001)의 상면에 복수로 설치되는 유압실린더(1002) 그리고 상기 유압실린더(1002)들의 작동로드(1002a) 선단이 각각 결합되는 승강 플레이트(1003)를 포함하고, 상기 승강 플레이트(1003)에 상기 관리현장에 대한 관리자가 위치하게 되는 관리자 정위치부(1000);
    상기 천장 패널(420)에 설치되어 상기 관리자 정위치부(1000)의 승강 플레이트(1003)에 위치한 관리자의 신장을 측정하는 광센서(1100);
    상기 천장 패널(420)에 설치되고, 상기 제1 내지 제3 투명 디스플레이패널(411∼413)을 통해 디스플레이되는 상기 XR 콘텐츠 확인용의 관리자 최적높이가 사전에 설정되며, 상기 광센서(1100)를 통해 전송되는 관리자의 신장 및 상기 관리자 최적높이를 비교하여 상기 관리자 정위치부(1000)의 상기 승강 플레이트(1003) 높이를 조절하는 제어 유닛(1200)을 더 포함하는 것을 특징으로 하는 투명모니터와 3D 깊이 카메라를 이용한 관리자 시선 맞춤형 정보제공 시스템.
  2. 삭제
KR1020220012227A 2022-01-27 2022-01-27 투명모니터와 3d 깊이 카메라를 이용한 관리자 시선 맞춤형 정보제공 시스템 KR102430723B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220012227A KR102430723B1 (ko) 2022-01-27 2022-01-27 투명모니터와 3d 깊이 카메라를 이용한 관리자 시선 맞춤형 정보제공 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220012227A KR102430723B1 (ko) 2022-01-27 2022-01-27 투명모니터와 3d 깊이 카메라를 이용한 관리자 시선 맞춤형 정보제공 시스템

Publications (2)

Publication Number Publication Date
KR102430723B1 true KR102430723B1 (ko) 2022-08-10
KR102430723B9 KR102430723B9 (ko) 2023-07-05

Family

ID=82846880

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220012227A KR102430723B1 (ko) 2022-01-27 2022-01-27 투명모니터와 3d 깊이 카메라를 이용한 관리자 시선 맞춤형 정보제공 시스템

Country Status (1)

Country Link
KR (1) KR102430723B1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130130544A (ko) * 2012-05-22 2013-12-02 삼성테크윈 주식회사 감시 영상 표시 방법 및 시스템
KR20170058817A (ko) * 2015-11-19 2017-05-29 세창인스트루먼트(주) 내부가 보이도록 투명디스플레이가 설치된 가상현실시스템
KR102012657B1 (ko) * 2018-10-30 2019-08-21 주식회사 위츠 환경 감시 시스템, 서버 및 방법
KR20200071560A (ko) * 2018-12-11 2020-06-19 주식회사 엘엠티 체험농장 안전관리 시스템
KR102213712B1 (ko) 2019-11-19 2021-02-08 주식회사 비앤케이매크로 스마트공장 적용을 위한 실시간 용접 모니터링 시스템
KR102282800B1 (ko) 2021-03-30 2021-07-28 (주)케이에스아이 라이다와 영상카메라를 이용한 멀티 표적 추적 방법
KR20210144187A (ko) 2020-05-21 2021-11-30 주식회사 코리아세븐 유무인 상태에 따른 매대 디스플레이 모드 전환 방법 및 그 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130130544A (ko) * 2012-05-22 2013-12-02 삼성테크윈 주식회사 감시 영상 표시 방법 및 시스템
KR20170058817A (ko) * 2015-11-19 2017-05-29 세창인스트루먼트(주) 내부가 보이도록 투명디스플레이가 설치된 가상현실시스템
KR102012657B1 (ko) * 2018-10-30 2019-08-21 주식회사 위츠 환경 감시 시스템, 서버 및 방법
KR20200071560A (ko) * 2018-12-11 2020-06-19 주식회사 엘엠티 체험농장 안전관리 시스템
KR102213712B1 (ko) 2019-11-19 2021-02-08 주식회사 비앤케이매크로 스마트공장 적용을 위한 실시간 용접 모니터링 시스템
KR20210144187A (ko) 2020-05-21 2021-11-30 주식회사 코리아세븐 유무인 상태에 따른 매대 디스플레이 모드 전환 방법 및 그 장치
KR102282800B1 (ko) 2021-03-30 2021-07-28 (주)케이에스아이 라이다와 영상카메라를 이용한 멀티 표적 추적 방법

Also Published As

Publication number Publication date
KR102430723B9 (ko) 2023-07-05

Similar Documents

Publication Publication Date Title
US10297129B2 (en) Fire/security service system with augmented reality
AU2011200089B2 (en) Integration of manufacturing control functions using a multi-functional vision system
US9939528B2 (en) Safety scanner, optical safety system, and setting support device for safety scanner
US5872594A (en) Method for open loop camera control using a motion model to control camera movement
CA2825726C (en) Light guided assembly system and method
CN101201965B (zh) 监视装置和监视方法
US10890447B2 (en) Device, system and method for displaying measurement gaps
WO2018159144A1 (ja) 3次元侵入検知システムおよび3次元侵入検知方法
WO2018038149A1 (ja) ガス検出情報表示システム及びガス検出情報表示プログラム
KR102122974B1 (ko) 발전소 플랜트 제어방법 및 단말기
KR102430723B1 (ko) 투명모니터와 3d 깊이 카메라를 이용한 관리자 시선 맞춤형 정보제공 시스템
KR20200006230A (ko) 스마트 단말 및 스마트 단말에서의 작업 공정 이상 부분 판별 방법 및 머신러닝 알고리즘을 이용한 작업 공정 자동 기록 서버 및 머신러닝 알고리즘을 이용한 작업 공정 자동 기록 방법, 그리고, 스마트 단말 및 작업 공정 자동 기록 서버간 통신 시스템
KR20140140763A (ko) 블록 이미지를 이용한 실시간 공정 모니터링 시스템 및 방법
KR102117008B1 (ko) Vr 파노라마 콘텐츠를 이용한 발전 설비 점검 시스템 및 방법
US10983500B2 (en) Distributed production method
US9967525B2 (en) Monitoring camera apparatus with depth information determination
JPWO2017199785A1 (ja) 監視システムの設定方法及び監視システム
DE102018002659B4 (de) Bildvorrichtung zum Erfassen von Anomalien von Entfernungsbildern
US8831878B2 (en) Ground location of work truck
US9429754B2 (en) Wearable assembly aid
RU124256U1 (ru) Система автоматического командного наведения крана на координаты центрального зала атомной станции
KR101998364B1 (ko) 고정점과 vr을 활용한 지하시설물 정보 실시간 현장 확인 시스템
JPWO2017199786A1 (ja) 監視システム
CN114237190A (zh) 3d数字化工厂设备管理方法及系统
JPH03163700A (ja) 火災発生位置検出装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]