KR20180064153A - 고로 공정 가상 현실 교육 시스템 - Google Patents

고로 공정 가상 현실 교육 시스템 Download PDF

Info

Publication number
KR20180064153A
KR20180064153A KR1020160164430A KR20160164430A KR20180064153A KR 20180064153 A KR20180064153 A KR 20180064153A KR 1020160164430 A KR1020160164430 A KR 1020160164430A KR 20160164430 A KR20160164430 A KR 20160164430A KR 20180064153 A KR20180064153 A KR 20180064153A
Authority
KR
South Korea
Prior art keywords
trainee
blast furnace
posture
image
virtual reality
Prior art date
Application number
KR1020160164430A
Other languages
English (en)
Other versions
KR101917434B1 (ko
Inventor
김석
이진휘
Original Assignee
주식회사 포스코
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 포스코 filed Critical 주식회사 포스코
Priority to KR1020160164430A priority Critical patent/KR101917434B1/ko
Publication of KR20180064153A publication Critical patent/KR20180064153A/ko
Application granted granted Critical
Publication of KR101917434B1 publication Critical patent/KR101917434B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B25/00—Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes
    • G09B25/02—Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes of industrial processes; of machinery
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • C—CHEMISTRY; METALLURGY
    • C21—METALLURGY OF IRON
    • C21B—MANUFACTURE OF IRON OR STEEL
    • C21B2300/00—Process aspects
    • C21B2300/02—Particular sequence of the process steps
    • C—CHEMISTRY; METALLURGY
    • C21—METALLURGY OF IRON
    • C21B—MANUFACTURE OF IRON OR STEEL
    • C21B2300/00—Process aspects
    • C21B2300/04—Modeling of the process, e.g. for control purposes; CII

Abstract

본 발명은, 머리부착형 영상장치인 HMD (Head Mounted Display) 장치와 모션인식 장치를 이용하여 고로 출선 현장과 동일하게 실제 휴대용 주상설비 제어장치를 훈련자가 조작함으로써 가상공간에서 개공기와 머드건으로 고로 출선구의 개폐를 훈련할 수 있는 고로 공정 가상 현실 교육 시스템에 관한 것으로, 훈련자의 자세를 인식하여 상기 훈련자의 관절부의 움직임 데이터를 추출하고, 상기 훈련자의 움직임을 촬영하는 훈련자 자세 인식 장치와, 상기 훈련자 자세 인식 장치에 의해 인식된 훈련자의 자세를 모사하고, 상기 훈련자의 휴대용 고로 주상 설비 제어 장치의 조작을 입력받는 자세 가상화 및 입력 연산 장치와, 상기 훈련자의 휴대용 고로 주상 설비 제어 장치의 조작에 따라 고로 주상 설비의 동작을 시뮬레이션 처리하는 고로 주상 시뮬레이션 장치와, 상기 고로 주상 시뮬레이션 장치의 처리 결과, 상기 훈련자의 시야 정보를 영상 처리하여 출력하는 영상 처리 장치와, 상기 영상 처리 장치에 상기 훈련자의 시야 정보를 제공하고, 상기 영상 처리 장치로부터 영상 처리된 이미지를 상기 훈련자에 디스플레이하는 영상 입출력 장치를 포함할 수 있다.

Description

고로 공정 가상 현실 교육 시스템 {FURNACE PROCESS VIRTUAL REALITY TRAINING SYSTEM}
본 발명은 고로 공정 가상 현실 교육 시스템에 관한 것이다.
제조업에서는 근래 자동화 추세에 따라 관련 조업절차가 자동화되고 있으나 여전히 조업자의 조업 숙련도가 생산성에 큰 영향을 끼치고 있다. 특히 고로 주상에서 진행되는 출선구 출선과 폐쇄 조업 즉 용선의 출선과 정지 조업은 별도의 계측기가 없어, 조업자가 조업 진행시 발생하는 변화를 눈으로 파악하여 조업을 진행함으로 조업자의 조업 숙련도가 생산성에 절대적인 영향력을 끼친다. 해당 조업은 조작레버와 버튼으로 구성된 휴대용 주상설비 제어장치를 조업자가 조업 상황 및 절차에 맞게 조작함으로써 제어된다.
따라서 조업자의 해당 휴대용 주상설비 제어장치 관련 조작 숙련도가 매우 중요하다. 게다가 조업자의 잘못된 제어장치 조작은 적게는 몇 천만원에서 많게는 수십억의 피해를 회사에 미치게 되므로, 이를 미연에 방지하고 휴대용 주상설비 제어장치에 대한 조업자 숙련도를 높이는 훈련이 필수적이다.
기존 설비 조작 훈련은 실제 휴대용 주상설비 제어장치를 가지고 현장에서 진행되었다. 즉, 숙련자와 훈련자가 짝을 이뤄 진행하며 숙련자의 시범 및 지도 하에 훈련자가 해당 조작장치를 조작하여 설비를 제어하는 방식으로 진행된다.
다만 24시간 쉼없이 가동되는 제철소 프로세스의 특성상 실제 설비를 사용해야 하는 현재 훈련방식은 시간 제약이 많을 뿐만 아니라, 훈련 시 조작 미숙에 의한 설비 및 안전 사고 위험성 역시 존재한다. 그렇다고 별도로 교육공간을 마련할 경우에는 해당 조작장치와 설비를 별도로 구매해야 한다는 단점이 있다.
이러한 문제로 인해 새로운 훈련 방식으로써 가상현실을 이용한 훈련 교육이 등장하였다. 가상현실을 이용한 설비 훈련은 실제 설비가 아닌 가상공간에 있는 설비를 조작하기 때문에 설비 구매나 설치 장소, 그리고 안전 사고에 대한 위험성이 없다.
그러나 모니터 등 단순 화면으로만 보여주는 가상현실 훈련은 현실과 괴리가 큰 문제점이 있다.
대한민국 등록특허공보 제10-1482469호
본 발명의 일 실시예에 따르면, 머리부착형 영상장치인 HMD (Head Mounted Display) 장치와 모션인식 장치를 이용하여 고로 출선 현장과 동일하게 실제 휴대용 주상설비 제어장치를 훈련자가 조작함으로써 가상공간에서 개공기와 머드건으로 고로 출선구의 개폐를 훈련할 수 있는 고로 공정 가상 현실 교육 시스템이 제공된다.
상술한 본 발명의 과제를 해결하기 위해, 본 발명의 일 실시예에 따른 고로 공정 가상 현실 교육 시스템은, 훈련자의 자세를 인식하여 상기 훈련자의 관절부의 움직임 데이터를 추출하고, 상기 훈련자의 움직임을 촬영하는 훈련자 자세 인식 장치와, 상기 훈련자 자세 인식 장치에 의해 인식된 훈련자의 자세를 모사하고, 상기 훈련자의 휴대용 고로 주상 설비 제어 장치의 조작을 입력받는 자세 가상화 및 입력 연산 장치와, 상기 훈련자의 휴대용 고로 주상 설비 제어 장치의 조작에 따라 고로 주상 설비의 동작을 시뮬레이션 처리하는 고로 주상 시뮬레이션 장치와, 상기 고로 주상 시뮬레이션 장치의 처리 결과, 상기 훈련자의 시야 정보를 영상 처리하여 출력하는 영상 처리 장치와, 상기 영상 처리 장치에 상기 훈련자의 시야 정보를 제공하고, 상기 영상 처리 장치로부터 영상 처리된 이미지를 상기 훈련자에 디스플레이하는 영상 입출력 장치를 포함할 수 있다.
본 발명의 일 실시예에 따르면, HMD 장치를 사용하여 몰입감을 높이고 실제 휴대용 주상설비 제어장치를 사용할 수 있어, 훈련결과를 그대로 현장에 적용할 수 있으며, 가상공간에서 진행되는 훈련이므로 설비 및 안전 사고의 위험성이 없고, 반복 훈련이 가능하고, 설치 및 이전이 용이하여 훈련장치의 보급이 간편한 효과가 있다.
도 1a는 본 발명의 일 실시예에 따른 고로 공정 가상 현실 교육 시스템의 개략적인 구성도이고 도 1b는 본 발명의 일 실시예에 따른 고로 공정 가상 현실 교육 시스템에 의해 훈련자에 디스플레이되는 화면이다.
도 2는 본 발명의 일 실시예에 따른 고로 공정 가상 현실 교육 시스템의 개략적인 블럭도이다.
도 3은 본 발명의 일 실시예에 따른 고로 공정 가상 현실 교육 시스템의 보다 상세한 블럭도이다.
도 4는 본 명세서에 개진된 하나 이상의 실시예가 구현될 수 있는 예시적인 컴퓨팅 환경을 도시하는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다.
도 1a는 본 발명의 일 실시예에 따른 고로 공정 가상 현실 교육 시스템의 개략적인 구성도이고 도 1b는 본 발명의 일 실시예에 따른 고로 공정 가상 현실 교육 시스템에 의해 훈련자에 디스플레이되는 화면이다.
도 1a를 참조하면, 본 발명의 일 실시예에 따른 고로 공정 가상 현실 교육 시스템(100)은 훈련자 자세 인식 장치(110), 신호 처리 장치(120,130,140) 및 영상 입출력 장치(150)를 포함할 수 있다.
고로 공정을 가상 현실을 통해 훈련받는 훈련자(A)는 머리에 영상 입출력 장치(150)를 착용하고, 몸에 휴대용 고로 주상 설비 제어 장치(B)를 착용하여 손으로 휴대용 고로 주상 설비 제어 장치(B)의 레버 또는 버튼 등을 조작할 수 있고, 훈련자(A)의 조작에 반응하는 가상 현실 영상은 입출력 장치(150)를 통해 훈련자(A)에 도 1b와 같이 디스플레이될 수 있다.
신호 처리 장치(120,130,140)는 영상 및 훈련자 자세, 가상 현실 등의 신호 처리를 수행할 수 있으며, 신호 처리 장치(120,130,140)는 각각 자세 가상화 및 입력 연산 장치(120), 고로 주상 시뮬레이션 장치(130), 영상 처리 장치(140)로 구성될 수 있다.
도 2는 본 발명의 일 실시예에 따른 고로 공정 가상 현실 교육 시스템의 개략적인 블럭도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 고로 공정 가상 현실 교육 시스템(100)은 훈련자 자세 인식 장치(110), 자세 가상화 및 입력 연산 장치(120), 고로 주상 시뮬레이션 장치(130), 영상 처리 장치(140) 및 영상 입출력 장치(150)를 포함할 수 있다.
훈련자 자세 인식 장치(110)는 훈련자의 얼굴, 목, 팔꿈치, 손목 등의 관절부 추출 데이터 및 이와 함께 촬영한 실제 화면영상을 제공하는 모션인식 장치를 포함할 수 있다.
자세 가상화 및 입력 연산 장치(120)는 훈련자 자세 인식 장치(110)에서 전달된 훈련자의 관절 데이터를 이용하여 가상공간에서 훈련자의 위치 및 자세를 모사하고, 촬영 영상 이미지에 뎁스 맵 필터링(depth map filtering)과 프리셋 모핑(preset morphing) 기법을 적용하여 손과 휴대용 주상설비 제어장치를 가상공간에 모사하고 이들 사이의 인터랙션(interaction)을 분석하여 훈련자의 주상설비 조작을 분석할 수 있다.
고로 주상 시뮬레이션 장치(130)는 훈련자의 설비조작에 따라 개공기와 머드건 같은 고로 주상설비를 동작시키고 이러한 설비들의 동작에 의해 발생하는 비산 및 수증기 발생, 용선의 거동을 연산할 수 있다.
영상 처리 장치(140)는 고로 주상 시뮬레이션 장치(130)에 의해 연산된 결과를 화면에 표시하기 위하여, 영상 입출력 장치(150)로부터 훈련자의 시야각 등의 시야정보를 받아 해당 영상을 생성할 수 있다.
영상 입출력 장치(150)는 영상 처리 장치(140)에 훈련자의 시야정보를 제공하고 여기에서 만들어진 영상을 훈련자에게 보여주는 헤드 마운티드 디스플레이 (Head Mounted Display;HMD) 장치를 포함할 수 있다.
도 3은 본 발명의 일 실시예에 따른 고로 공정 가상 현실 교육 시스템의 보다 상세한 블럭도이다.
도 3을 참조하면, 먼저, 훈련자 자세 인식 장치(110)는 모션인식 장치(111)를 통해 휴대용 주상설비 제어장치를 몸에 부착한 훈련자가 취하는 행동을 촬영한 영상 데이터와 해당 영상 데이터로부터 뽑은 저해상도의 관절 데이터를 자세 가상화 및 입력 연산 장치(120)에 전달한다.
자세 가상화 및 입력 연산 장치(120)의 제1 가상화 처리부(121)는 모션인식 장치(111)에서 전달한 저해상도의 관절 데이터를 보정하여 가상공간에서 훈련자의 해당 자세 및 위치를 모사한다. 즉, 훈련자가 복부에 커다란 휴대용 주상설비 제어장치를 부착하였기 때문에 모션인식 장치에서 추출한 관절 데이터는 해당 휴대용 주상설비 제어장치를 기준으로 상하가 분리되어 있기 때문에 이를 제1 가상화 처리부(121)에서 보정 및 보간하여 완전한 관절 데이터를 얻게 된다. 그리고 해당 관절 데이터가 최초 위치보다 이동한 거리 정보를 연산하여 훈련자의 자세와 위치를 가상공간에 모사하게 된다.
한편, 모션인식 장치(111)에서 단순 촬영영상과 저해상도의 관절 데이터만 보내주기 때문에 주상설비를 조작하기 위해 사용하는 훈련자의 양손과 휴대용 주상설비 제어장치를 시스템에서 인식하는 방법이 필요하다. 즉, 제2 가상화 처리부(122)는 모션인식 장치(111)에서 전달한 촬영 영상에 뎁스 맵 필터링(depth map filtering)과 프리셋 모핑(preset morphing) 기법을 적용하여, 별도의 추가장치 없이 촬영영상으로부터 양손과 휴대용 주상설비 제어장치를 인식하여 가상공간에 모사할 수 있다.
해석부(123)는 제2 가상화 처리부(122)에서 도출된 양손과 휴대용 주상설비 제어장치가 서로 맞닿았는지 즉 훈련자가 손으로 제어장치의 버튼을 눌렀는지에 대한 인터랙션(interaction)을 처리하게 된다. 해석부(123)에서는 데이터 베이스(124)에서 휴대용 주상설비 제어장치에 있는 각 버튼의 토글(toggle) 여부 및 레버의 조작 여부 등에 상태정보를 로드(load)하여 가상공간의 제어장치에 모사하고, 훈련자의 손과 제어장치의 레버 및 버튼이 인터랙션(interaction)할 경우 해당 레버 및 버튼의 상태변화와 이에 따른 설비조작 변화에 대한 정보를 추출하게 된다. 이렇게 추출된 정보는 고로 주상 시뮬레이션 장치(130)에 전달된다.
고로 주상 시뮬레이션 장치(130)는 훈련자의 입력을 받아 주상의 출선 및 폐쇄를 담당하는 개공기와 머드건을 실제 설비 사양에 맞춰 동작시키고, 이러한 개공기의 출선과 머드건 폐쇄로 인해 발생하는 비산, 수증기, 용선 배출 등을 물리연산을 통해 현장과 유사하게 표현하는 시뮬레이션을 담당한다.
영상 처리 장치(140)는 훈련자가 머리에 장착한 HMD 장치(151)로부터 현재 훈련자가 보고 있는 시야각 등의 시각정보를 받아 해당 시야에 들어갈 가상공간의 화면영역을 도출하여 영상을 생성한 뒤, 이를 다시 HMD 장치(151)로 보여준다.
즉, 훈련자 시야 영역 연산부(141)에 부착된 헤드 트랙킹(Head Tracking) 센서를 통해 현재 훈련자가 바라보고 있는 가상공간의 영역을 연산한다. 이후, 시야 영역 영상 생성부(142)는 해당 시야영역에 포함되는 손 모델, 휴대용 주상설비 제어장치 모델, 주상설비, 비산, 수증기, 용선, 개공기 및 머드건을 비롯한 고로 설비 등의 모든 가상모델들을 화면으로 생성한다. 이때, 안티앨리어싱 및 광원 효과 등의 영상 효과가 추가될 수 있다.
영상 입출력 장치(150)의 HMD 장치(151)는 훈련자의 시야정보를 영상 처리 장치(140)에 전달하고 그 결과 영상을 받아 훈련자의 양 눈에 보여주는 역할을 수행한다.
상술한 바와 같이, 본 발명에 따르면, HMD 장치를 사용하여 몰입감을 높이고 실제 휴대용 주상설비 제어장치를 사용할 수 있어, 훈련결과를 그대로 현장에 적용할 수 있으며, 가상공간에서 진행되는 훈련이므로 설비 및 안전 사고의 위험성이 없고, 반복 훈련이 가능하고, 설치 및 이전이 용이하여 훈련장치의 보급이 간편할 수 있다.
한편, 본 실시예에서 사용되는 구성요소, '~장치' 또는 '~부'는 메모리 상의 소정 영역에서 수행되는 태스크, 클래스, 서브 루틴, 프로세스, 오브젝트, 실행 쓰레드, 프로그램과 같은 소프트웨어(software)나, FPGA(fieldprogrammable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어 (hardware)로 구현될 수 있으며, 또한 상기 소프트웨어 및 하드웨어의 조합으로 이루어질 수도 있다. 상기 구성요소, '~장치' 또는 '~부'는 컴퓨터로 판독 가능한 저장 매체에 포함되어 있을 수도 있고, 복수의 컴퓨터에 그 일부가 분산되어 분포될 수도 있다.
즉, 도 4를 참조하면, 본 명세서에 개진된 하나 이상의 실시예가 구현될 수 있는 예시적인 컴퓨팅 환경을 도시하는 도면으로, 상술한 하나 이상의 실시예를 구현하도록 구성된 컴퓨팅 디바이스(1100)를 포함하는 시스템(1000)의 예시를 도시한다. 예를 들어, 컴퓨팅 디바이스(1100)는 개인 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩탑 디바이스, 모바일 디바이스(모바일폰, PDA, 미디어 플레이어 등), 멀티프로세서 시스템, 소비자 전자기기, 미니 컴퓨터, 메인프레임 컴퓨터, 임의의 전술된 시스템 또는 디바이스를 포함하는 분산 컴퓨팅 환경 등을 포함하지만, 이것으로 한정되는 것은 아니다.
컴퓨팅 디바이스(1100)는 적어도 하나의 프로세싱 유닛(1110) 및 메모리(1120)를 포함할 수 있다. 여기서, 프로세싱 유닛(1110)은 예를 들어 중앙처리장치(CPU), 그래픽처리장치(GPU), 마이크로프로세서, 주문형 반도체(Application Specific Integrated Circuit, ASIC), Field Programmable Gate Arrays(FPGA) 등을 포함할 수 있으며, 복수의 코어를 가질 수 있다. 메모리(1120)는 휘발성 메모리(예를 들어, RAM 등), 비휘발성 메모리(예를 들어, ROM, 플래시 메모리 등) 또는 이들의 조합일 수 있다.
또한, 컴퓨팅 디바이스(1100)는 추가적인 스토리지(1130)를 포함할 수 있다. 스토리지(1130)는 자기 스토리지, 광학 스토리지 등을 포함하지만 이것으로 한정되지 않는다. 스토리지(1130)에는 본 명세서에 개진된 하나 이상의 실시예를 구현하기 위한 컴퓨터 판독 가능한 명령이 저장될 수 있고, 운영 시스템, 애플리케이션 프로그램 등을 구현하기 위한 다른 컴퓨터 판독 가능한 명령도 저장될 수 있다. 스토리지(1130)에 저장된 컴퓨터 판독 가능한 명령은 프로세싱 유닛(1110)에 의해 실행되기 위해 메모리(1120)에 로딩될 수 있다.
또한, 컴퓨팅 디바이스(1100)는 입력 디바이스(들)(1140) 및 출력 디바이스(들)(1150)을 포함할 수 있다. 여기서, 입력 디바이스(들)(1140)은 예를 들어 키보드, 마우스, 펜, 음성 입력 디바이스, 터치 입력 디바이스, 적외선 카메라, 비디오 입력 디바이스 또는 임의의 다른 입력 디바이스 등을 포함할 수 있다. 또한, 출력 디바이스(들)(1150)은 예를 들어 하나 이상의 디스플레이, 스피커, 프린터 또는 임의의 다른 출력 디바이스 등을 포함할 수 있다. 또한, 컴퓨팅 디바이스(1100)는 다른 컴퓨팅 디바이스에 구비된 입력 디바이스 또는 출력 디바이스를 입력 디바이스(들)(1140) 또는 출력 디바이스(들)(1150)로서 사용할 수도 있다.
또한, 컴퓨팅 디바이스(1100)는 네트워크(1200)을 통하여 다른 디바이스(예를 들어, 컴퓨팅 디바이스(1300))와 통신할 수 있게 하는 통신접속(들)(1160)을 포함할 수 있다. 여기서, 통신 접속(들)(1160)은 모뎀, 네트워크 인터페이스 카드(NIC), 통합 네트워크 인터페이스, 무선 주파수 송신기/수신기, 적외선 포트, USB 접속 또는 컴퓨팅 디바이스(1100)를 다른 컴퓨팅 디바이스에 접속시키기 위한 다른 인터페이스를 포함할 수 있다. 또한, 통신 접속(들)(1160)은 유선 접속 또는 무선 접속을 포함할 수 있다.
상술한 컴퓨팅 디바이스(1100)의 각 구성요소는 버스 등의 다양한 상호접속(예를 들어, 주변 구성요소 상호접속(PCI), USB, 펌웨어(IEEE 1394), 광학적 버스 구조 등)에 의해 접속될 수도 있고, 네트워크에 의해 상호접속될 수도 있다.
본 명세서에서 사용되는 "구성요소", "모듈", "시스템", "인터페이스" 등과 같은 용어들은 일반적으로 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어, 또는 실행중인 소프트웨어인 컴퓨터 관련 엔티티를 지칭하는 것이다. 예를 들어, 구성요소는 프로세서 상에서 실행중인 프로세스, 프로세서, 객체, 실행 가능물(executable), 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만, 이것으로 한정되는 것은 아니다. 예를 들어, 컨트롤러 상에서 구동중인 애플리케이션 및 컨트롤러 모두가 구성요소일 수 있다. 하나 이상의 구성요소는 프로세스 및/또는 실행의 스레드 내에 존재할 수 있으며, 구성요소는 하나의 컴퓨터 상에서 로컬화될 수 있고, 둘 이상의 컴퓨터 사이에서 분산될 수도 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고 후술하는 특허청구범위에 의해 한정되며, 본 발명의 구성은 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 그 구성을 다양하게 변경 및 개조할 수 있다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 쉽게 알 수 있다.
100: 고로 공정 가상 현실 교육 시스템
110: 훈련자 자세 인식 장치
111: 모션인식 장치
120: 자세 가상화 및 입력 연산 장치
121: 제1 가상화 처리부
122: 제2 가상화 처리부
123: 해석부
124: 데이터 베이스
130: 고로 주상 시뮬레이션 장치
140: 영상 처리 장치
141: 훈련자 시야 영역 연산부
142: 시야 영역 영상 생성부
150: 영상 입출력 장치
151: HMD 장치

Claims (7)

  1. 훈련자의 자세를 인식하여 상기 훈련자의 관절부의 움직임 데이터를 추출하고, 상기 훈련자의 움직임을 촬영하는 훈련자 자세 인식 장치;
    상기 훈련자 자세 인식 장치에 의해 인식된 훈련자의 자세를 모사하고, 상기 훈련자의 휴대용 고로 주상 설비 제어 장치의 조작을 입력받는 자세 가상화 및 입력 연산 장치;
    상기 훈련자의 휴대용 고로 주상 설비 제어 장치의 조작에 따라 고로 주상 설비의 동작을 시뮬레이션 처리하는 고로 주상 시뮬레이션 장치;
    상기 고로 주상 시뮬레이션 장치의 처리 결과, 상기 훈련자의 시야 정보를 영상 처리하여 출력하는 영상 처리 장치; 및
    상기 영상 처리 장치에 상기 훈련자의 시야 정보를 제공하고, 상기 영상 처리 장치로부터 영상 처리된 이미지를 상기 훈련자에 디스플레이하는 영상 입출력 장치
    를 포함하는 고로 공정 가상 현실 교육 시스템.
  2. 제1항에 있어서,
    상기 훈련자 자세 인식 장치는 상기 훈련자의 관절부의 움직임 데이터를 추출하고, 촬영된 상기 훈련자의 움직임 영상을 제공하는 모션 인식 장치를 포함하는 고로 공정 가상 현실 교육 시스템.
  3. 제1항에 있어서,
    상기 훈련자 자세 인식 장치는 상기 훈련자의 관절부의 움직임 데이터를 더 제공하고,
    상기 자세 가상화 및 입력 연산 장치는 상기 훈련자 자세 인식 장치로부터 전달받은 상기 훈련자의 관절부의 움직임 데이터에 기초하여 상기 훈련자 자세 인식 장치로부터 전달받은 촬영 영상에 상기 훈련자의 손과 상기 휴대용 고로 주상 설비 제어 장치를 가상 공간에 모사하고, 상기 훈련자의 자상 설비 조작을 분석하는 고로 공정 가상 현실 교육 시스템.
  4. 제3항에 있어서,
    상기 자세 가상화 및 입력 연산 장치는 뎁스 맵 필터링(depth map filtering) 및 프리셋 모핑(preset morphing) 기법에 따라 상기 훈련자의 손과 상기 휴대용 고로 주상 설비 제어 장치를 가상 공간에 모사하는 고로 공정 가상 현실 교육 시스템.
  5. 제3항에 있어서,
    상기 자세 가상화 및 입력 연산 장치는
    상기 훈련자의 자세를 가상 공간에 모사하는 제1 가상화 처리부;
    상기 훈련자의 손과 상기 휴대용 고로 주상 설비 제어 장치를 가상 공간에 모사하는 제2 가상화 처리부;
    상기 훈련자의 손과 상기 휴대용 고로 주상 설비 제어 장치 간의 인터렉션(interaction)을 해석하는 해석부; 및
    상기 훈련자의 손과 상기 휴대용 고로 주상 설비 제어 장치 간의 인터렉션(interaction)에 따라 저장된 휴대용 고로 주상 설비 제어 장치의 상태 정보를 상기 해석부에 전달하는 데이터 베이스
    를 포함하는 고로 공정 가상 현실 교육 시스템.
  6. 제1항에 있어서,
    상기 영상 처리 장치는
    상기 영상 입출력 장치로부터 상기 훈련자의 시각 정보를 전달받아 상기 훈련자의 시야에 들어갈 가상 공간의 영역을 연산하는 훈련자 시야 영역 연산부; 및
    상기 훈련자의 시야 영역에 해당하는 가상 모델들을 영상으로 생성하는 시야 영역 영상 생성부
    를 포함하는 고로 공정 가상 현실 교육 시스템.
  7. 제1항에 있어서,
    상기 영상 입출력부는
    상기 훈련자의 머리에 장착되어 상기 영상 처리 장치에 상기 훈련자가 보고 있는 시각 정보를 전달하고, 상기 영상 처리 장치로부터 가상 모델의 영상을 전달받아 상기 훈련자에게 디스플레이하는 헤드 마운티드 디스플레이 (Head Mounted Display;HMD) 장치를 포함하는 고로 공정 가상 현실 교육 시스템.
KR1020160164430A 2016-12-05 2016-12-05 고로 공정 가상 현실 교육 시스템 KR101917434B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160164430A KR101917434B1 (ko) 2016-12-05 2016-12-05 고로 공정 가상 현실 교육 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160164430A KR101917434B1 (ko) 2016-12-05 2016-12-05 고로 공정 가상 현실 교육 시스템

Publications (2)

Publication Number Publication Date
KR20180064153A true KR20180064153A (ko) 2018-06-14
KR101917434B1 KR101917434B1 (ko) 2018-11-09

Family

ID=62629113

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160164430A KR101917434B1 (ko) 2016-12-05 2016-12-05 고로 공정 가상 현실 교육 시스템

Country Status (1)

Country Link
KR (1) KR101917434B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109243233A (zh) * 2018-08-31 2019-01-18 苏州竹原信息科技有限公司 一种基于虚拟现实的防卫作战演练系统及方法
CN109637260A (zh) * 2018-12-30 2019-04-16 郑州畅想高科股份有限公司 机车教学实训系统
CN111593155A (zh) * 2020-05-28 2020-08-28 江苏省沙钢钢铁研究院有限公司 高炉诊断系统及方法
CN111607673A (zh) * 2020-05-28 2020-09-01 江苏省沙钢钢铁研究院有限公司 铁前诊断系统及方法
KR20210000078U (ko) 2019-07-03 2021-01-13 (주)단디메카 휴대용 생산자동화 교육 실습 장비

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120044461A (ko) * 2010-10-28 2012-05-08 (주)브이엔에스텍 융합 현실을 이용한 가상 훈련 장치 및 방법
KR101482469B1 (ko) 2013-12-24 2015-01-13 주식회사 포스코 고로 공정 가상 현실 교육 시스템
KR20160095614A (ko) * 2015-02-03 2016-08-11 (주)이노시뮬레이션 Hmd를 이용한 시뮬레이션 시스템 및 그 제어방법
KR101671320B1 (ko) * 2014-05-15 2016-11-02 리치앤타임(주) 다중 접속을 통하여 다수의 훈련자의 개별적인 가상훈련공간의 인식과 공유된 가상작업공간에서 집단적이며 조직적인 협력훈련이 가능한 몰입식 네트워크 가상훈련 시스템의 클라이언트 시스템을 구성하는 네트워크 가상훈련 처리장치 및 이를 이용한 몰입식 네트워크 가상훈련 방법.

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120044461A (ko) * 2010-10-28 2012-05-08 (주)브이엔에스텍 융합 현실을 이용한 가상 훈련 장치 및 방법
KR101482469B1 (ko) 2013-12-24 2015-01-13 주식회사 포스코 고로 공정 가상 현실 교육 시스템
KR101671320B1 (ko) * 2014-05-15 2016-11-02 리치앤타임(주) 다중 접속을 통하여 다수의 훈련자의 개별적인 가상훈련공간의 인식과 공유된 가상작업공간에서 집단적이며 조직적인 협력훈련이 가능한 몰입식 네트워크 가상훈련 시스템의 클라이언트 시스템을 구성하는 네트워크 가상훈련 처리장치 및 이를 이용한 몰입식 네트워크 가상훈련 방법.
KR20160095614A (ko) * 2015-02-03 2016-08-11 (주)이노시뮬레이션 Hmd를 이용한 시뮬레이션 시스템 및 그 제어방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109243233A (zh) * 2018-08-31 2019-01-18 苏州竹原信息科技有限公司 一种基于虚拟现实的防卫作战演练系统及方法
CN109637260A (zh) * 2018-12-30 2019-04-16 郑州畅想高科股份有限公司 机车教学实训系统
KR20210000078U (ko) 2019-07-03 2021-01-13 (주)단디메카 휴대용 생산자동화 교육 실습 장비
CN111593155A (zh) * 2020-05-28 2020-08-28 江苏省沙钢钢铁研究院有限公司 高炉诊断系统及方法
CN111607673A (zh) * 2020-05-28 2020-09-01 江苏省沙钢钢铁研究院有限公司 铁前诊断系统及方法
CN111593155B (zh) * 2020-05-28 2022-09-20 江苏省沙钢钢铁研究院有限公司 高炉诊断系统及方法

Also Published As

Publication number Publication date
KR101917434B1 (ko) 2018-11-09

Similar Documents

Publication Publication Date Title
KR101917434B1 (ko) 고로 공정 가상 현실 교육 시스템
US10751877B2 (en) Industrial robot training using mixed reality
KR102284821B1 (ko) 가상 현실 환경에서의 내비게이션을 위한 방법, 시스템 및 장치
CN105374251A (zh) 一种基于沉浸式输入、输出设备的矿用虚拟现实培训系统
KR101390383B1 (ko) 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치
KR101241120B1 (ko) 증강 현실을 이용한 배선 교육 시스템 및 그 교육 방법
WO2018005219A1 (en) Virtual-reality apparatus and methods thereof
Triatmaja et al. Study on skill improvement of digital electronics using virtual laboratory with mobile virtual reality
KR101646720B1 (ko) 원자력 발전소 운전에 영향을 미치는 인적요소에 대한 분석 및 평가 시스템
CN109545003A (zh) 一种显示方法、装置、终端设备及存储介质
CN106777602B (zh) 一种煤粉爆炸的仿真实验方法
Zestas et al. The Computer Vision Box & Block Test in Rehabilitation Assessment
US20170206798A1 (en) Virtual Reality Training Method and System
TWI687904B (zh) 互動式訓練及檢測裝置
US11450033B2 (en) Apparatus and method for experiencing augmented reality-based screen sports match
KR102259762B1 (ko) 안전 사고 예방을 위한 가상 현실을 활용한 크레인 협동 작업 훈련 시스템
US20230162458A1 (en) Information processing apparatus, information processing method, and program
KR20160005841A (ko) 모션인식과 증강현실을 기반으로 하는 실시간 반응형 인체학습시스템
CN114282837A (zh) 一种物理化学实验教学系统
KR20150044243A (ko) 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치 및 방법
Hassan et al. Effectiveness of a novel untethered augmented virtuality system for immersive industrial training
CN109508089B (zh) 一种基于层级随机森林的视线控制系统与方法
Oppenheim HeadBanger: controlling switchable software with head gesture
WO2017014671A1 (ru) Водительский тренажер виртуальной реальности с дополнением реальными объектами
Mitsuhashi et al. The curved surface visualization of the expert behavior for skill transfer using Microsoft Kinect

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant