KR20220092300A - 디지털 트윈 기반의 중첩 연동 실행에 의한 도시철도 기관사 교육훈련 시스템 및 그 운용방법 - Google Patents

Abstract

본 발명은 디지털 트윈 기반의 중첩 연동 실행에 의한 도시철도 기관사 교육훈련 시스템 및 그 운용방법 에 관한 것으로서, 본 발명의 실시예에 따른 도시철도 기관사 교육훈련 시스템은 도시철도 운전연습을 수행하는 교육생의 요청이 있을 때 교육생이 조작하는 실제 운전제어대에 상응하는 가상 운전제어대의 제1 영상을 화면의 하측에 표시하는 실감형 디바이스, 및 실제 운전제어대에서 실시간으로 수신되는 교육생의 운전 제어신호에 근거하여 가상 운전제어대의 화면 표시 상태가 실시간으로 변경되도록 실감형 디바이스를 제어하는 입출력 제어장치를 포함할 수 있다.

Description

디지털 트윈 기반의 중첩 연동 실행에 의한 도시철도 기관사 교육훈련 시스템 및 그 운용방법{Education and training system for urban railway engineers and its operation method by nested interlocking execution based on digital twins}

본 발명은 디지털 트윈 기반의 중첩 연동 실행에 의한 도시철도 기관사 교육훈련 시스템 및 그 운용방법에 관한 것으로서, 더 상세하게는 가령 도시철도에 특화된 실감형 콘텐츠 기술을 적용해 기관사 모의운전연습을 진행할 때 교육생이 실제 조작하는 실제 운전제어대에 상응하는 가상 운전제어대의 객체를 VR 장치 등에 중첩하여 연동시키는 디지털 트윈 기반의 중첩 연동 실행에 의한 도시철도 기관사 교육훈련 시스템 및 그 운용방법 에 관한 것이다.

기관사가 실제로 열차를 운행하기에 앞서서, 기관사의 운전 실력과, 열차의 운행 중 다양한 상황 발생시 기관사의 대처 능력을 키우기 위해 열차 시뮬레이션 시스템이 사용되고 있다. 이와 관련해 종래 모의운전연습기를 살펴보면, 운전 이론교육을 위하여 일반 교육영상을 통한 시청각 교육을 수행하고, 운전실습은 기본기능 모의운전연습기와 전기능 모의운전연습기에서 실습이 이루어지며, 교육평가는 전기능 모의운전연습기에서 통상적으로 이루어지고 있다.

그런데, 이러한 종래의 모의운전연습기는 고비용 저효율의 거대 하드웨어 기반으로 운전연습 설비가 구축되고, 또 설비 연동형으로 실행되고 실물 운전제어대 조작을 통해 운전 연습이 이루어지며, 그 결과 잦은 고장으로 인해 정비 수요가 증대하고 내부 부품 교체 주기 감소로 인해 유지보수 경비가 증가하는 문제가 있다.

이와 더불어, 지자체 경비로 운영되는 운전교육훈련기관의 고비용 저효율의 기존 모의운전연습기에 대한 개선 요구도 증대되고 있으며, 철도종사자의 주기적인 직무교육 의무화에 대응하기 위한 교육훈련 인프라 부족 및 모의운전연습 수요가 증가함으로써 이에 적절히 대응해야 할 필요성도 제기되고 있다.

한국등록특허공보 제10-0898417호(2009.06.19. 공고) 열차 운행 시뮬레이션 시스템 한국등록특허공보 제10-1053787호(2011.08.03. 공고) 종합 교육용 열차 시뮬레이션 시스템 한국등록특허공보 제10-0897423호(2009.05.14. 공고) 열차 및 전동차 교육훈련시 평가 및 운전면허시험용모의운전연습기 기능시험 정보표시기 및 그 운영방법

본 발명의 실시예는 가령 도시철도에 특화된 실감형 콘텐츠 기술을 적용해 기관사 모의운전연습을 진행할 때 교육생이 실제 조작하는 실제 운전제어대에 상응하는 가상 운전제어대의 객체를 VR 장치 등에 중첩하여 연동시키는 디지털 트윈 기반의 중첩 연동 실행에 의한 도시철도 기관사 교육훈련 시스템 및 그 운용방법 을 제공함에 그 목적이 있다.

본 발명의 실시예에 따른 디지털 트윈 기반의 중첩 연동 실행에 의한 도시철도 기관사 교육훈련 시스템은 도시철도 운전연습을 수행하는 교육생의 요청이 있을 때 상기 교육생이 조작하는 실제 운전제어대에 상응하는 가상 운전제어대의 제1 영상을 화면의 하측에 표시하는 실감형 디바이스, 및 상기 실제 운전제어대에서 실시간으로 수신되는 상기 교육생의 운전 제어신호에 근거하여 상기 가상 운전제어대의 화면 표시 상태가 실시간으로 변경되도록 상기 실감형 디바이스를 제어하는 입출력 제어장치를 포함한다.

상기 실감형 디바이스는 상기 실제 운전제어대와 동일한 모양의 상기 가상 운전제어대의 제1 영상을 화면에 표시할 수 있다.

상기 실감형 디바이스는 상기 제1 영상의 상측에 실사 기반의 도시철도 VR 영상을 표시하며, 상기 운전 제어신호를 근거로 상기 VR 영상의 장면을 실시간으로 변경하여 표시할 수 있다.

상기 도시철도 기관사 교육훈련 시스템은, 상기 입출력 제어장치의 제어에 따라 상기 실감형 디바이스로 상기 제1 영상 및 상기 VR 영상을 변경하여 제공하는 영상변환장치를 더 포함하며, 상기 영상변환장치는 상기 입력출력 제어장치의 제어에 따라 상기 실사 기반의 도시철도 VR 영상의 프레임율을 조정하여 장면을 실시간으로 변경할 수 있다.

상기 영상변환장치는 상기 교육생의 운전 제어신호에 근거하여 기관차의 속도에 따라 상기 VR 영상의 프레임율을 조정할 수 있다.

또한, 본 발명의 실시예에 따른 디지털 트윈 기반의 중첩 연동 실행에 의한 도시철도 기관사 교육훈련 시스템의 운용방법은, 실감형 디바이스가, 도시철도 운전연습을 수행하는 교육생의 요청이 있을 때 상기 교육생이 조작하는 실제 운전제어대에 상응하는 가상 운전제어대의 제1 영상을 화면의 하측에 표시하는 단계, 및 입출력 제어장치가, 상기 실제 운전제어대에서 실시간으로 수신되는 상기 교육생의 운전 제어신호에 근거하여 상기 가상 운전제어대의 화면 표시 상태가 실시간으로 변경되도록 상기 실감형 디바이스를 제어하는 단계를 포함한다.

상기 표시하는 단계는, 상기 실제 운전제어대와 동일한 모양의 상기 가상 운전제어대의 제1 영상을 화면에 표시할 수 있다.

상기 표시하는 단계는, 상기 제1 영상의 상측에 실사 기반의 도시철도 VR 영상을 표시하는 단계, 및 상기 운전 제어신호를 근거로 상기 VR 영상의 장면을 실시간으로 변경하여 표시하는 단계를 포함할 수 있다.

상기 운용방법은, 영상변환장치가, 상기 입출력 제어장치의 제어에 따라 상기 실감형 디바이스로 상기 제1 영상 및 상기 VR 영상을 변경하여 제공하는 단계, 및 상기 입력출력 제어장치의 제어에 따라 상기 실사 기반의 도시철도 VR 영상의 프레임율을 조정하여 장면을 실시간으로 변경하는 단계를 더 포함할 수 있다.

상기 변경하는 단계는, 상기 교육생의 운전 제어신호에 근거하여 기관차의 속도에 따라 상기 VR 영상의 프레임율을 조정할 수 있다.

본 발명의 실시예에 따르면, 종래에 빈번하게 고장이 발생하던 모의운전연습기를 대체할 수 있게 됨으로써 유지 보수 경비를 상당히 줄일 수 있을 것이다. 이에 따라 저비용 고효율의 체계적인 운전교육훈련이 가능하게 될 것이다.

또한, 지자체의 운영경비 절감효과가 있을 것이다. 모의운전연습기 구매 비용을 절감하고 유지보수 소요를 최소화하여 지자체가 운영하는 운전교육훈련기관의 운영경비 절감 효과를 제고할 수 있을 것이다.

나아가, 철도안전법령 개정에 따른 철도종사자 직무교육 의무화에 대처하고, 교육훈련 인프라 확충 및 운전교육훈련 수요 증가에 대비할 수 있을 것이다.

결과적으로, 본 발명의 실시예는 종래 모의운전연습기의 문제점으로 제시한 바 있는 고가의 구매가격, 설비의 비대함, 제한적인 고정형 설비, 하드웨어 노후화, 그리고 잦은 고장 및 다양한 전동차 시스템 대응 한계를 극복하여 기존 대비 50% 이상의 가격 절감 효과, 최소 설비로 공간적 효율성 제고, 디바이스 기반으로 편의성 극대화, 하드웨어의 단순화 및 유지보수 최소화, 그리고 소프트웨어 업데이터 및 교체로 다양한 전동차 시스템의 대응 한계를 해결할 수 있을 것이다.

도 1은 본 발명의 제1 실시예에 따른 디지털 트윈 기반의 중첩 연동 실행에 의한 도시철도 기관사 교육훈련 시스템을 나타내는 도면,
도 2는 본 발명의 제2 실시예에 따른 디지털 트윈 기반의 중첩 연동 실행에 의한 도시철도 기관사 교육훈련 시스템을 나타내는 도면,
도 3은 도 2의 디지털 트윈 기반의 MR 가상화 영역이 도 1의 교육생용 실감형 디바이스의 화면에 구현된 예를 나타내는 도면,
도 4는 본 발명의 실시예에 따른 제어장치의 세부구조를 예시한 블록다이어그램,
도 5 및 도 6은 본 발명의 실시예에 따른 디지털 트윈 기반의 중첩 연동 실행에 의한 도시철도 기관사 교육훈련 시스템의 동작 과정을 설명하기 위한 도면,
도 7은 도 1의 입출력제어장치의 구동 과정을 나타내는 흐름도,
도 8은 도 2의 실제 운전제어대에 상응하는 가상 운전제어대의 객체 중첩 연동 과정을 설명하기 위한 도면, 그리고
도 9는 본 발명의 다른 실시예에 따른 디지털 트윈 기반의 중첩 연동 실행에 의한 도시철도 기관사 교육훈련 시스템의 운용과정을 나타내는 흐름도이다.

이하, 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.

도 1은 본 발명의 제1 실시예에 따른 디지털 트윈 기반의 중첩 연동 실행에 의한 도시철도 기관사 교육훈련 시스템을 나타내는 도면이고, 도 2는 본 발명의 제2 실시예에 따른 디지털 트윈 기반의 중첩 연동 실행에 의한 도시철도 기관사 교육훈련 시스템을 나타내는 도면이며, 도 3은 도 2의 디지털 트윈 기반의 MR 가상화 영역이 도 1의 교육생용 실감형 디바이스의 화면에 구현된 예를 나타내는 도면이다.

도 1 내지 도 3에 도시된 바와 같이, 본 발명의 실시예에 따른 디지털 트윈 기반의 중첩 연동 실행에 의한 도시철도 기관사 교육훈련 시스템(이하, '디지털 트윈 기반 운전연습시스템'이라 함)(90)은 디지털 트윈 기반 가상운전제어시스템(100), 영상처리제어시스템(혹은 운전연습제어시스템)(110), 교관제어시스템(120) 및 실감형 디바이스(131, 133)의 일부 또는 전부를 포함한다.

여기서, "일부 또는 전부를 포함한다"는 것은 가령 교관제어시스템(120)과 같은 일부 구성요소가 생략되어 디지털 트윈 기반 운전연습시스템(90)이 구성되거나, 교관제어시스템(120)과 같은 구성요소의 일부 또는 전부가 디지털 트윈 기반 가상운전제어시스템(100) 등의 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.

디지털 트윈 기반 가상운전제어시스템(100)은 교육생에 의해 실질적으로 운전이 이루어지는 운전 공간으로서 실제 운전제어대(101)를 포함한다. 여기서, 실제는 현실세계를 의미하며, 가상공간과 대비되는 개념이라 볼 수 있다. 실제 운전제어대(101)는 기존의 모의운전연습기와 통합하여 구축될 수도 있다. 도 2에서와 같은 실제 운전제어대(101)를 통해 모의운전연습을 수행하는 기관사 즉 교육생의 운전 제어명령이 수신된다. 실제 운전제어대(101)에는 가상공간상에 있는 기관차의 운전제어를 위한 조작 레버가 구비될 수 있으며, 이를 통해 제어명령이 수신될 수 있다. 디지털 트윈 기반 가상운전제어시스템(100)은 기존의 모의운전연습기를 더 포함할 수 있으며, 예를 들어 기본기능 운전연습(PTS)을 위한 제1 운전연습기, 시청각 교육을 위한 모니터, 그리고 전기능 운전연습(FTS)를 위한 제2 운전연습기를 포함할 수 있다. 운전 이론교육의 일환으로서 일반 교육영상을 통한 시청각 교육은 모니터를 통해서 이루어지고, 기본기능 및 전기능 모의운전연습 및 평가는 제1 및 제2 운전연습기를 통해 각각 이루어질 수 있다. 평가는 전기능 운전연습일 때 이루어지는 것이 바람직하다. 본 발명의 실시예에서는 기존의 모의운전연습기를 병행하기보다는 실제 운전제어대(101)만으로 구성하여 운영 혹은 운용하는 것이 바람직할 수 있다.

본 발명의 실시예에 따른 디지털 트윈 기반 가상운전제어시스템(100), 더 정확하게는 디지털 트윈 기반 운전연습시스템(90)은 교육생용 실감형 디바이스(이하, 제1 실감형 디바이스)(131)상에서 구현될 가상 운전제어대(200)를 생성하고, 운전 이론교육과 동시에 실제 운전실습이 가능할 수 있게 하며, 또 디지털 트윈 기반 전기능 실시간 교육평가도 가능하게 한다. 이를 통해 저비용 고효율의 소프트웨어 기반 운전연습 시스템을 운용하고, 개별 독립형 실행과 가상 운전제어대(200)에 연동한 조작이 가능할 수 있다. 예를 들어, 교육생은 제1 실감형 디바이스(131)를 착용하여 운전 이론교육을 수행할 수 있다. 이는 개별 독립형 실행에 해당할 수 있다. 반면, 실습(예: 기본기능 운전연습, 전기능 운전연습)이 필요한 경우에는 제1 실감형 디바이스(131)를 착용한 상태에서 실제 운전제어대(101)에서 운전 레버를 조작하거나, 도 1의 전기능 운전연습 시스템(미표기)에서 연습을 수행할 수 있다. 이는 가상 운전제어대(200)와 연동한 조작이라 볼 수 있다.

디지털 트윈 기반 가상운전제어시스템(100)을 구성하는 실제 운전제어대(101)를 통해서는 가령 실습 교육 중에서 기본기능을 위한 연습이 이루어질 수 있다. 교육생은 제1 실감형 디바이스(131)를 착용한 상태에서 실제 운전제어대(101)를 조작할 때 도 2의 디지털 트윈 기반의 MR 가상화 영역에 나타낸 바 있는 가상 영상을 제1 실감형 디바이스(131)의 화면에서 볼 수 있게 된다. 여기서, 가상화 영역에 나타나는 가상 영상은 증강현실(AR) 기반의 가상 운전제어대(200)와 가상현실(VR) 기반의 실사(예: 실제 사진이나 실제 촬영영상 이미지 등) 기반의 도시철도 영상(혹은 도시철도의 실사 기반의 360도 VR 영상)을 포함한다. 전자는 제1 영상이 될 수 있고, 후자는 제2 영상이 될 수 있다. 물론 동일 화면에서 보여지는 것이 바람직하다. 제1 실감형 디바이스(131)의 화면에는, 제2 실감형 디바이스(133)도 동일한 화면을 표시할 수 있지만, AR과 VR이 혼합된 혼합현실(MR)이 구현된다.

좀더 첨언하면, 제1 실감형 디바이스(131)에서 영상으로 구현되는 가상 운전제어대(200)는 AR로 동작한다. AR은 디지털 객체를 현실공간이나 사물에 직접 중첩시켜 보여주는 것으로, 사용자에게 보다 다양한 체험 서비스를 제공하기 때문이다. 반면, MR 가상화 영역 즉 제1 실감형 디바이스(131)의 화면에 구현되는 실사 기반의 도시철도 관련 360도 VR 영상은 VR로 동작한다. VR은 사용자의 오감을 디지털 기반 가상공간으로 확장 및 공유가 가능하고 환경적 제약에 의해 경험하지 못하는 상황을 간접 체험하게 한다. 이러한 의미에서 도시철도를 나타내는 실사 기반의 360도 VR 영상은 교육생에게는 VR 영상이 되는 것이다. 따라서, 본 발명의 실시예에 따른 디지털 트윈 기반 가상운전제어시스템(100)은 AR과 VR이 혼합되어 있는 MR을 구현하며, 현실세계에서 VR 및 AR 콘텐츠 제작 기술을 적용하고, 가상의 객체와 상호작용이 가능하게 된다.

도 2의 디지털 트윈 기반의 MR 가상화 영역에 나타내고 있는 가상 운전제어대(200)와 실사 기반의 도시철도 VR 영상(210)은 실질적으로는 도 2의 제1 실감형 디바이스(131)의 화면에서 구현되며, 더 정확하게는 도 3에서와 같은 형태로 화면에서 구현될 수 있다. 교육생이 제1 실감형 디바이스(131)를 착용한 상태에서 실(제)환경에서 기관차를 운전할 때와 동일한 느낌을 가질 수 있도록 형성된다고 볼 수 있다. 도 3에서 볼 때 가상 운전제어대(200)의 제1 영상과 실사 기반의 도시철도 VR 영상(210)은 교육생이 실제 운전제어대(101)에서 수행하는 조작에 따라 조작 상태나 VR 영상(210)의 장면이 실시간으로 변경되며, 교육생은 제1 실감형 디바이스(131)를 착용한 상태이므로, 운전연습시 현실감과 몰입도는 증가될 것이다.

영상처리제어시스템(110)은 디지털 트윈 기반의 MR 모의운전연습이 이루어지도록 하는 구동제어시스템으로서, 더 정확하게는 운전연습제어시스템이라 명명될 수도 있다. 영상처리제어시스템(110)은 메인장치(111), 입출력제어장치(113), 저장장치(115), 워크스테이션 컨트롤랙(Workstation Control Rack) 등의 영상변환장치(117), DVR(118) 및 전원공급장치(119)의 일부 또는 전부를 포함하며, 여기서 "일부 또는 전부를 포함"한다는 것은 앞서서의 의미와 동일하다. 위의 장치들은 워크스테이션(workstaion)이라 명명될 수도 있으며, 워크스테이션은 고성능 컴퓨터를 의미하는 것으로서, 서버를 지칭할 수도 있다. 따라서, 본 발명의 실시예에서는 그러한 용어의 의미를 특별히 구분하지 않고 장치라 통칭하기로 한다.

무엇보다 영상처리제어시스템(110)은 도 1에서 볼 수 있는 바와 같이 다양한 장치들로 구성될 수 있지만, 큰 틀에서 볼 때 본 발명의 실시예에 따른 디지털 트윈 기반 운전연습시스템을 전반적으로 제어하기 위한 제어장치로서 메인장치(111), 입출력제어장치(113)나 영상변환장치(117), 그리고 실사 기반의 VR 영상을 저장하는 DB 등의 저장장치(115), 교육생에 의해 이루어지는 모의운전연습 관련 데이터를 녹화 또는 기록하는 DVR(118), 나아가 제1 실감형 디바이스(131)로 제공되는 실사 기반의 VR 영상을 렌더링하는 영상변환장치(117)로 구분될 수 있다. 물론, 각 장치들로 전원을 공급하기 위한 전원공급장치(119)를 더 포함할 수 있다. 전원공급장치(119)는 220V의 상용전원 이외에도 각 장치에서 필요로 하는 DC 전압을 제공할 수 있다.

영상처리제어시스템(110)의 핵심 동작은 도 2에서 간략하게 보여지고 있다. 가령 입출력제어장치(113)는 제1 실감형 디바이스(131)의 화면에 도 3에서와 같이 가상 운전제어대(200)와 실사 기반의 도시철도 VR 영상(210)을 표시하고, 실제 운전제어대(101)에서 입력되는 교육생의 조작 신호 즉 제어 신호를 근거로 제1 실감형 디바이스(131)의 화면을 실시간으로 변경한다. 이의 과정에서, 영상변환장치(117)는 입출력제어장치(113)의 제어에 따라 실사 영상 즉 실사 기반의 도시철도 VR 영상(210)을 렌더링하여 전송할 수 있게 되는 것이다.

본 발명의 실시예에 따른 영상처리제어시스템(110)은 운전 이론 교육과 실습 교육을 디지털 트윈 기반으로 수행하기 위하여 동작하며, 실습 교육은 다시 기본기능 교육과 전기능 교육을 수행하기 위하여 동작할 수 있다. 예를 들어, 교육생이 제1 실감형 디바이스(131)를 착용한 후 이론 교육을 요청한 경우라면, 이론 교육 영상을 2D 또는 3D 형태의 영상으로 제공한다. 이러한 이론 교육 영상은 저장장치(115)로부터 검색되어 메인장치(111) 또는 입출력제어장치(113)에서 근거리 무선통신을 통해 제1 실감형 디바이스(131)로 전송할 수도 있다. 물론 제1 실감형 디바이스(131)가 유선으로 연결된 경우라면 유선으로 영상 데이터의 전송이 이루어질 수 있다.

반면, 교육생이 제1 실감형 디바이스(131)를 착용한 상태에서 도 1의 실제 운전제어대(101)에 위치하여 기본기능의 실습 교육을 요청한 경우, 동작의 시작과 함께 입출력제어장치(113)는 저장장치(115)로부터 도시철도 관련 VR 영상(210)을 표출하여 해당 VR 영상(210)이 영상변환장치(117)를 통해 렌더링된 후 제1 실감형 디바이스(131)로 전송되도록 동작한다. 예를 들어 부산도시철도 2호선 운전연습을 요청한 경우, 그에 특화된 실감형 콘텐츠가 제1 실감형 디바이스(131)로 제공되는 것이다. 제1 실감형 디바이스(131)의 화면에는 실제 운전제어대(101)에서의 운전조작에 따라 VR 영상(210)의 장면이 실시간으로 변경되면서 화면에 구현된다.

이러한 상황은 교관이 착용하는 교관용 실감형 디바이스(이하, 제2 실감형 디바이스)(133)와 연동이 되면서, 교육생의 모의훈련 데이터는 DVR(118)에 기록될 수도 있다. 더 정확히 말해, 실습 훈련은 전기능 운전연습인 경우에 한하여 DVR(118)에 기록될 수 있으므로, 위의 기본기능의 실습시에는 교관에 의해 모니터링만 이루어질 수도 있다. 물론 교관제어시스템(120)에 위치하여 제2 실감형 디바이스(133)를 착용한 교관에 의해 모니터링이 이루어진다.

나아가, 교육생이 제1 실감형 디바이스(131)를 착용한 상태에서 실제 열차 모형에서 디지털 트윈 기반의 전기능 운전연습을 요청하였다면, 운전연습을 통해 취득되는 데이터는 DVR(118)에 기록될 수 있고, 기록된 데이터를 분석하여 교육생의 교육평가가 이루어질 수 있다. 예를 들어, 교육평가는 인터랙티브 연동이 이루어진다. 다시 말해, 교관제어시스템(120)을 구성하는 교관제어대에서 가령 교관으로부터 지시 명령이 있는 경우 이에 따라 교육생이 어떻게 대응하는지에 대한 데이터를 분석하여 교육훈련에 대한 평가가 이루어질 수 있다. 그리고, 그러한 평가 결과는 다시 저장장치(115)에 저장될 수 있다. 교육평가는 인공지능(AI) 프로그램의 딥러닝 동작을 통해 좀더 정확한 결과를 도출해 낼 수도 있다. 예를 들어, 교육생뿐 아니라, 현업에 종사하는 기관사의 경우에도 주기적으로 교육평가를 수행하여 기관사의 현 심리상태 등을 예측하고, 그러한 예측 결과가 기관차의 운행에 어떠한 영향을 미칠 수 있는지 등을 종합적으로 분석하여 결과를 도출하는 것이다. 딥러닝 동작의 최대 장점은 예측에 있다고 볼 수 있다.

지금까지 영상처리제어시스템(110)에서 이론 교육, 실습 교육 중 기본기능과 전기능 운전연습이 이루어질 때의 복수 장치들의 동작을 간략하게 살펴보았다. 더 정확하게는 해당 동작을 수행할 때에 데이터가 어떻게 처리되는지에 대하여 살펴보았다. 그러나, 이는 어디까지나 시스템 설계자가 어떠한 방식으로 설계하느냐에 따라 그 동작은 변경될 수 있는 것이므로, 본 발명의 실시예에서는 위의 내용에 특별히 한정하지는 않을 것이다. 예를 들어, 교육생이 이론 교육을 요청하고 기본기능이나 전기능의 운전연습을 요청할 때, 이의 동작은 별도의 요청을 통해, 가령 제1 실감형 디바이스(131)나 실제 운전제어대(101)에 설치되어 있는 버튼을 선택하여 요청할 수 있지만, 장치들의 근거리 무선통신을 통해 현재 위치나 행동을 판단하여 이를 근거로 자동으로 동작이 이루어지도록 할 수도 있다. 예를 들어, 통신신호 세기를 측정하여 그 측정한 신호세기를 통해 거리를 계산하고 계산한 거리를 통해 위치를 파악할 수 있다. 또한, 제1 실감형 디바이스(131)가 실제 운전제어대(101)와 근접하면 실제 운전제어대(101)나 제1 실감형 디바이스(131)에서 기본기능 운전연습을 수행할 것인지 음성을 출력하여 묻고, 교육생이 이에 응답할 때 동작을 수행할 수도 있는 것이다. 이와 같이, 디지털 트윈 기반 운전연습시스템(90)은 이외에도 다양한 동작이 가능할 수 있으며, 제1 실감형 디바이스(131)에 구비되는 복수의 버튼 중 특정 버튼을 선택하는 것에 의해 자신의 교육 유형에 대한 정보를 송출할 수도 있다. 따라서, 이의 신호를 근거로 영상처리제어시스템(110)이 동작할 수도 있다.

교관제어시스템(120)은 교관제어대와 모니터 등을 포함할 수 있다. 교관은 교관제어시스템(120)을 통해 모의운전연습을 수행하는 교육생에 대한 상태를 실시간으로 모니터링할 수 있다. 예를 들어, 교육생이 착용하는 제1 실감형 디바이스(131)와 교관이 착용하는 제2 실감형 디바이스(133)는 서로 연동하여 동기화가 이루어지므로, 교육생과 교관은 동일한 화면을 볼 수 있게 된다. 따라서, 교관으로부터 지시 명령이 있는 경우, 교육생은 해당 지시 명령을 수신하여 적절히 처신할 수 있게 된다. 교관제어대는 교육생의 평가를 위하여 별도의 평가모듈 또는 평가 프로그램을 구비할 수 있지만, 이러한 평가는 영상변환장치(117)나 입출력제어장치(113)에서 이루어질 수도 있으므로, 본 발명의 실시예에서는 위의 내용에 특별히 한정하지는 않을 것이다.

제1 실감형 디바이스(131)와 제2 실감형 디바이스(133)는 홀로렌즈(Hololens)(예: MS 홀로렌즈)가 사용될 수 있다. 홀로렌즈는 머리에 쓰는 디스플레이 장치(HMD)다. 홀로렌즈를 위해 본 발명의 실시예는 센서 스캔된 3차원 공간 매쉬로 실시간 구성하여 3차원 공간을 자동으로 인식할 수 있고, 가상 객체의 공간상 절대 좌표 변환은 안정적인 헤드 트랙킹으로 이루어질 수 있으며, 실내에서 선명도를 증가하여 현실감 및 몰입도를 높일 수 있다. 또한, 윈도우(Win) 10 기반의 높은 앱 호환성을 위해 모든 UWP(Universal Windows Platform) 앱을 설치하여 실행시킬 수 있다. 렌더링 최적화를 위해 빠른 3차원 객체 렌더링 속도를 구현하고, 아울러 음원 위치를 연산 및 출력함으로써 객체 중심적 사운드를 구현할 수 있다. 프로그램 개발 환경은 비주얼 스튜디어 기반 개발 환경 및 유니티를 연동시킨다.

제1 실감형 디바이스(131)는 헤드 트랙킹을 위하여 내부에 센서(예: 가속도 센서, 방향센서 등)를 포함할 수 있다. 센서를 통해 취득되는 센싱 신호를 통해 교육생의 머리의 움직임을 감지하고 이를 근거로 VR 영상(210)이 구현될 수 있다. 본 발명의 실시예에서는 절대 좌표값을 이용하여 영상을 구현하는 것을 예시하였지만, 상대 좌표값, 다시 말해 영상의 중앙부위를 좌표값 (0, 0)으로 설정하여 이를 기준으로 교육생의 머리의 움직임을 반영해 영상을 구현하는 것도 얼마든지 가능할 수 있다. 따라서, 본 발명의 실시예에서는 어느 하나에 특별히 한정하지는 않을 것이다.

이외에도 제1 및 제2 실감형 디바이스(131, 133)는 주변 장치와 유무선으로 통신을 수행하기 위한 통신모듈을 포함할 수 있다. 예를 들어, 실사 기반의 360도 VR 선로영상은 유선이나 무선으로 수신될 수 있지만, 제1 실감형 디바이스(131)와 제2 실감형 디바이스(133)와의 연동이나 동기화는 무선 통신을 통해 이루어지는 것도 얼마든지 가능하므로, 본 발명의 실시예에서는 어느 하나의 방식에 특별히 한정하지는 않을 것이다.

본 발명의 실시예에 따른 디지털 트윈 기반 운전연습시스템(90)은 가령 부산도시철도 2호선 운전연습에 특화된 실감형 콘텐츠 기술 기반 운전연습시스템일 수 있다. 이를 위해 운행구간을 각 섹터별로 구분하여 운전교육훈련에 최적화된 가상 운행환경을 구축하고 시스템을 운용한다. 또한 실감형 디바이스(131, 133)를 이용한 실제적인 운전연습과 동시에 자동으로 교육평가가 가능한 멀티 시스템을 구현한다. 각 섹터별로 교육훈련 시나리오에 따라 다양한 상황 부여를 통해 비상조치 훈련 후 평가 결과도 즉시 도출할 수 있게 된다.

또한, 디지털 트윈 기반 운전연습시스템(90)은 VR 영상신호 동기화 전송 기술을 이용한 선로영상 실시간 동기화가 이루어진다. 기존에 가령 CG 영상으로 구현된 운행구간을 실사 고해상도 고프레임(예: 60fps 이상) VR 영상(210)으로 구현하여 교육생들의 현실감 제고 및 교육훈련 효과를 증대시킬 수 있게 된다. 영상신호 동기화 전송 기술 및 프레임 보간 기법을 이용하여 운전교육훈련 간 전동차의 속도에 맞게 프레임 단위로 동기화하여 VR 선로영상을 표출할 수 있다. 예를 들어, 속도가 빠르면 1초에 100장의 단위 프레임을 구현하고, 속도가 느리면 1초에 60장의 단위 프레임을 구현하는 방식과 같이 속도에 따라 단위 프레임의 구동율을 가변하는 것이다.

나아가, 디지털 트윈 기반 운전연습시스템(90)은 기존의 하드웨어 기반 설비에서 소프트웨어 기반 시스템으로 전환이 이루어진다. 이에 따라 가상 운전제어대(200)를 구현하여 기능 작동시 발생 신호를 (제1) 실감형 디바이스(131)에 실시간으로 전송한다. 또한 가상 운전제어대(200)를 구현하여 공간적 제약을 받지 않고 실감형 디바이스(131)만으로도 운전교육훈련이 가능하게 된다. 실제 운전제어대(101)와 연동하여 운전연습을 실행하는 경우 가령 PLC를 이용하여 하드웨어 시스템 발생신호들을 소프트웨어적으로 변환하여 구동할 수 있다. 여기서, PLC는 제어에 특화된 컴퓨터 정도로 이해될 수 있다. PLC는 디지털(이산), 아날로그, 위치, 통신 등의 입출력에 특화되어 있어 PC보다는 이러한 부분에 강점이 있을 수 있다.

도 4는 본 발명의 실시예에 따른 제어장치의 세부구조를 예시한 블록다이어그램이고, 도 5 및 도 6은 본 발명의 실시예에 따른 디지털 트윈 기반의 중첩 연동 실행에 의한 도시철도 기관사 교육훈련 시스템의 동작 과정을 설명하기 위한 도면이다.

도 4에 도시된 바와 같이, 본 발명의 실시예에 따른 제어장치(390)는 도 1의 메인장치(111), 입출력제어장치(113) 및 영상변환장치(117) 중 적어도 하나의 장치를 의미한다. 본 발명의 실시예에서는 도 2에 근거하여 입출력제어장치(113)가 바람직할 수 있다.

설명의 편의상 도 4를 도 1 및 도 2와 함께 참조하면, 본 발명의 실시예에 따른 제어장치(390)는 통신 인터페이스부(400), 제어부(410), 디지털 트윈 기반 운전연습처리부(420) 및 저장부(430)의 일부 또는 전부를 포함한다.

여기서, "일부 또는 전부를 포함한다"는 것은 저장부(430)와 같은 일부 구성요소가 생략되어 구성되거나, 디지털 트윈 기반 운전연습처리부(420)와 같은 구성요소가 제어부(410)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.

통신 인터페이스부(400)는 주변 장치, 가령 제1 실감형 디바이스(131)와의 통신에 의해 교육생이 현재 수행하려는 교육의 유형을 판단하기 위한 제어신호 또는 데이터를 수신한다. 여기서, 교육유형은 이론교육과 실습교육으로 구분되며, 실습교육은 다시 기본기능과 전기능 실습으로 구분될 수 있다. 이러한 동작 구분은 본 발명의 실시예에 따라 제1 모드 내지 제3 모드라 지칭될 수도 있다. 모드(mode)는 기설정된 방식으로 일련의 동작이 이루어지는 것을 의미한다. 예를 들어, 이론교육을 위한 제1 모드로 시스템이 동작하면, 제어장치(390)는 통신 인터페이스부(400)를 제어하여 이론교육을 위한 영상이 제1 실감형 디바이스(131)로 제공되도록 한다.

만약, 제2 모드 및 제3 모드와 같이 실습교육이 이루어지게 되면, 통신 인터페이스부(400)는 교육생의 조작신호 즉 제어명령을 수신하게 된다. 이를 통해 제어장치(390)는 수신한 조작신호를 근거로 얼마의 속도로 기관차를 운행했고 또 얼마 정도로 제동이 있었는지 등을 파악할 수 있다. 이러한 속도에 따라, 제1 실감형 디바이스(131)에 구현되는 실사 기반의 도시철도 VR 영상(210)은 속도에 상응하는 영상이 화면에 구현된다.

이의 과정에서 통신 인터페이스부(400)는 교육생이 주시하는 방향 즉 시선을 감지할 수도 있다. 이는 제1 실감형 디바이스(131)에 구비되는 센서에서 제공하는 감지신호(혹은 시선정보)를 근거로 교육생의 헤드(Head)의 움직임을 감지하고, 이를 근거로 실사 기반의 도시철도 VR 영상(210)이 제공될 수 있다.

또한, 제어부(410)는 제어장치(390)를 구성하는 통신 인터페이스부(400), 디지털 트윈 기반 운전연습처리부(420) 및 저장부(430)의 전반적인 제어동작을 담당한다. 예를 들어, 디지털 트윈 기반 운전연습처리부(420)와 연동하여 그 지시명령에 따라 동작할 수 있다. 예를 들어, 제어부(410)는 실제 운전제어대(101)나 제1 실감형 디바이스(131)와 통신을 수행하기 위하여 통신 인터페이스부(400)를 제어할 수 있다. 그리고, 수신된 감지신호의 센싱 데이터나 조작신호의 제어 데이터는 디지털 트윈 기반 운전연습처리부(420)로 제공할 수 있다.

디지털 트윈 기반 운전연습처리부(420)는 도 1의 디지털 트윈 기반 운전연습시스템(90)의 실질적인 동작을 구현한다고 볼 수 있다. 예를 들어, 교육유형을 판단하는 것이다. 만약 제1 실감형 디바이스(131)에 이를 알리는 버튼이 구비되어 있다면 이를 이용하는 것이 가능하지만, 제1 실감형 디바이스(131)의 위치를 판별하여 이를 기반으로 교육유형에 따른 콘텐츠를 제공할 수 있다. 가령, 이론교육으로 판단되면, 그에 부합한 영상이 화면에 표시될 수 있을 것이다.

또한, 실습교육이 이루어지는 경우, 디지털 트윈 기반 운전연습처리부(420)는 실제 운전제어대(101)에서 수신되는 교육생의 조작신호, 또 제1 실감형 디바이스(131)에서 수신되는 교육생의 머리 움직임에 대한 센싱신호를 분석하여, 가상 화면에 구현하기 위한 영상을 선택하여 실시간으로 도시철도 VR 영상(210)을 화면에 구현한다.

예를 들어, 전기능 실습이 이루어진다고 가정하면, 디지털 트윈 기반 운전연습처리부(420)는 교육생의 훈련 데이터를 분석하여 교육평가의 결과를 도출한다. 가령, 특정 상황에서 교관으로부터 지시명령이 있는 경우, 이를 잘 수행했는지 등을 판단하여 결과를 도출하게 된다. 교관의 지시사항은 화면에 AR 형태로 구현될 수 있지만, 이어폰이나 제1 실감형 디바이스(131)에 구비되는 스피커 등을 통해 송출될 수 있으며, 앞서 언급한 대로 AI 프로그램을 통해 다양한 분석이 이루어질 수 있다.

예를 들어, 본 발명의 실시예에 따른 디지털 트윈 기반 운전연습처리부(420)는 대표적으로 도 5 및 도 6에서와 같은 주요 동작을 수행할 수 있다. 디지털 트윈 기반 운전연습처리부(420)는 도 5에서와 같이 교육생이 제1 실감형 디바이스(131)를 착용한 상태에서 가상 공간에서 주요 동작을 선택할 수 있도록 하는 것이다. 이는 교육생의 모션 감지를 통해 교육생이 가상 공간상에 표시되는 버튼들 중 어떤 버튼을 선택했는지를 알 수 있다. 예를 들어, 가상 공간상에 표시되는 시작버튼 등은 좌표값의 형태로 위치정보가 설정되어 있다. 따라서, 교육생의 손가락 움직임 즉 모션을 감지하여 손가락의 위치에 대한 좌표값을 도출해 내고, 이를 통해 교육생이 가상 공간상의 어떠한 버튼을 선택했는지를 알 수 있게 된다. 모션 감지를 위하여 제1 실감형 디바이스(131)에 설치되는 카메라를 이용할 수 있지만, 교육장 내에 구비되는 CCTV 카메라 등을 활용하는 것도 얼마든지 가능할 수 있다. 카메라 촬영영상은 버튼을 선택할 당시의 단위 프레임을 활용할 수도 있다. 해당 단위 프레임 영상은 무수히 많은 픽셀(pixel)의 결합이므로, 픽셀은 좌표값을 계산하기 위해 활용될 수 있다. 따라서, 픽셀을 이용해 도출한 좌표값과 즉 교육생이 선택한 버튼의 선택값과 기설정된 버튼의 좌표값을 비교하여 일치할 때, 해당 버튼이 선택되었다고 판단하고 그에 따라 동작을 수행하게 되는 것이다. 이러한 모든 동작들은 디지털 트윈 기반 운전연습처리부(420)에서 수행한다고 볼 수 있다.

만약, 도 5와 같은 상황에서 전기능 실습훈련이 선택된 경우라면, 디지털 트윈 기반 운전연습처리부(420)는 교육생의 교육훈련을 통해 생성되는 데이터를 수신하여 분석함으로써 시험평가 결과를 도출할 수 있다. 물론 이의 과정에서 교관으로부터 지시명령이 있는 경우에는 이를 잘 수행했는지 등을 반영하여 데이터를 분석해 최종적으로 시험평가 결과를 도출해 낼 수 있게 된다. 도 6은 교관의 감시하에 이루어지는 교육훈련과 그에 따른 시험평가 과정을 보여주고 있다.

다시 정리하면, 본 발명의 실시예에 따른 디지털 트윈 기반 운전연습처리부(420)는 운전제어대 디스플레이 시스템 연동, 가상 객체 동기화 동작, 운전교육훈련 간 실시간 모니터링 평가 분석 동작, 각 구간별 운전교육훈련 시나리오 알고리즘 분석, 시나리오별 인터랙티브 연동 인터페이스 동작 등을 수행한다. 운전제어대 디스플레이 시스템 연동을 위하여 가령 작동 애니메이션을 구현해 가상 운전제어대 3D 모델링을 수행할 수 있고, PLC 및 센서 연동 및 제어를 통해 실제 운전제어대 제작을 수행할 수 있다. 또한 가상 운전제어대 위치 기반 맵핑 및 심도 센서 제어를 통해 시스템 연동을 수행할 수 있다. 운전교육훈련 간 실시간 모니터링 및 평가 분석과 관련해 보면, MR 디바이스를 통한 동기화, 화상 통신 시스템 구현, CCTV를 활용한 DVR 운용 등을 통해 실시간 모니터링을 수행할 수 있으며, 실시간 시험 평가 및 자기평가, 문제요인 분석 및 도출을 통해 평가 분석이 이루어질 수 있다.

나아가, 디지털 트윈 기반 운전연습처리부(420)는 각 구간별 운전교육훈련 시나리오 알고리즘 분석을 위하여 운행구간 섹터별 시나리오 설정, 운전수행절차와 이에 따른 시험평가, 일반주행훈련과 이에 따른 시험평가를 위한 교육훈련 시나리오를 구현한다. 비상조치절차와 이에 따른 시험평가는 비상훈련 시나리오로 구현한다. 시나리오 알고리즘의 정적 및 동적 분석이 이루어지게 된다. 또한, 시나리오별 인터랙티브 연동 인터페이스와 관련해 보면 운전제어대 버튼 클릭시 작동하고, 무선신호 발생 및 인터랙티브 연동, MR 디바이스 기능 구현 등을 통해 시나리오별 인터랙티브 연동을 수행하게 된다. 또한 가상 버튼 인터페이스를 구현하고 MR 디바이스상 버튼 구동을 통해 인터랙티브 연동 인터페이스를 수행할 수 있게 된다.

저장부(430)는 제어부(410)의 제어하에 처리되는 다양한 정보나 데이터를 저장한다. 여기서, 저장은 임시 저장을 포함한다. 예를 들어, 제어부(410)는 통신 인터페이스부(400)를 통해 수신되는 다양한 데이터를 저장부(430)에 저장시킨 후, 디지털 트윈 기반 운전연습처리부(420)에서 요청이 있을 때, 저장한 데이터를 제공할 수 있다.

상기한 내용 이외에도 제어장치(390)는 다양한 동작을 수행하지만, 도 4의 통신 인터페이스부(400), 제어부(410), 디지털 트윈 기반 운전연습처리부(420) 및 저장부(430)와 관련한 내용은 앞서 도 1의 영상처리제어시스템(110)을 통해 충분히 설명한 바 있으므로, 자세한 내용은 그 내용들로 대신하고자 한다.

한편, 본 발명의 다른 실시예로서, 도 4의 제어부(410)는 CPU와 메모리를 포함할 수 있다. CPU는 제어회로, 연산부(ALU), 명령어해석부 및 레지스트리 등을 포함할 수 있고, 메모리는 램(RAM)을 포함할 수 있다. 제어회로는 제어동작을, 연산부는 2진 비트의 연산동작을, 그리고 명령어해석부는 고급언어를 기계어로, 또 기계어를 고급언어로 변환하는 등의 동작을 수행할 수 있으며, 레지스트리는 소프트웨어적인 데이터 저장에 관여할 수 있다. 상기의 구성에 따라 CPU는 제어장치(400)의 동작 초기에 도 4의 디지털 트윈 기반 운전연습처리부(420)에 저장되어 있는 프로그램을 복사하여 메모리에 저장한 후 이를 실행시킴으로써 데이터의 연산 처리 속도를 빠르게 증가시킬 수 있게 된다.

도 7은 도 1의 입출력제어장치의 구동과정을 나타내는 흐름도이다.

설명의 편의상 도 7을 도 1 및 도 2와 함께 참조하면, 본 발명의 실시예에 따른 입출력제어장치(113)는 도시철도 운전연습을 수행하는 교육생의 제어 명령을 실제 운전제어대로부터 수신한다(S700).

이어 입출력제어장치(113)는 실제 운전제어대(101)를 가상의 공간에 구현한 가상 운전제어대(200) 및 실사 기반의 도시철도 VR 영상(210)을 동일 화면에 생성하여 교육생이 착용한 교육생용 실감형 디바이스(131)로 전송하고, 수신한 제어 명령을 근거로 가상 운전제어대(200)의 조작 상태 및 도시철도 VR 영상(210)의 장면을 각각 실시간으로 변경한다(S710).

상기한 내용 이외에도 도 7의 입출력제어장치(113)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.

도 8은 도 2의 실제 운전제어대에 상응하는 가상 운전제어대의 객체 중첩 연동 과정을 설명하기 위한 도면이다.

설명의 편의상 도 8을 도 2 및 도 3과 함께 참조하면, 본 발명의 실시예에 따른 가령 제1 실감형 디바이스(131)를 착용한 교육생은 실제 운전제어대(101)를 통해 실습교육을 요청할 수 있다(S800). 이의 과정에서 가령 실제 운전제어대(101)의 전원을 켜는 동작을 수행할 수 있다. 예를 들어, 실습교육을 수행하는 제1 실감형 디바이스(131)가 이미 페어링 동작 등에 의해 입출력제어장치(113)나 영상변환장치(117)에 등록되어 있는 경우라면 통신을 수행하기 위하여 서로의 식별정보를 등록하기 위한 동작은 생략될 수 있다. 따라서, 본 발명의 실시예에서는 제1 실감형 디바이스(131)의 식별정보가 이미 등록되어 있다는 가정하에 이하 설명한다.

교육생의 실습교육을 위한 요청신호는 입출력제어장치(113)로 전송되고, 입출력제어장치(113)는 해당 요청신호를 영상변환장치(117)로 제공할 수 있다(S810).

이에 따라 영상변환장치(117)는 도 1의 DVR(118) 등에 저장되어 있는 영상을 불러내어 제1 실감형 디바이스(131)로 실제 운전제어대에 상응하는 가상 운전제어대(101)의 제1 영상(200)과 실사기반의 도시철도 관련 360도 VR 영상을 제공한다(S820). 물론 초기에는 운전을 시작하기 전 단계에 해당하므로 메인 화면을 제공할 수 있다.

기관차 운전 실습교육을 수행하는 교육생의 제1 실감형 디바이스(131)에는 도 3에서와 같이 하측에 실제 운전제어대(101)와 동일한 모양의 가상 운전제어대의 제1 영상이 표시되고, 그 상측에는 도시철도의 실사 360도 VR 영상 즉 제2 영상이 표시될 수 있다. 2개의 서로 다른 영상을 서로 중첩하여 보여줄 때, 물론 이는 영상변환장치(117)에서 그래픽 처리되어 제공되는 것이지만, 해당 중첩 영상 즉 가상 운전제어대의 제1 영상과 실사 기반의 VR 영상은 기관사가 실제환경의 기관차 안에서 운전할 때와 동일한 느낌을 가질 수 있도록 생성 및 구현된다고 볼 수 있다. 물론 교육생은 손으로 실제 운전제어대(101)를 조작하고 있으므로 이를 통해서도 실감있는 실습교육을 수행할 수 있다.

예를 들어, 영상변환장치(117)에서 2개의 영상을 합성할 때 서로 다른 레이어(layer)에서, 가령 제2 영상의 위에 제1 영상을 오버레이 즉 중첩하는 형태로 영상을 구현할 수 있지만, 동일 레이어상에서 2개의 영상을 서로 합성하여 하나의 단일 프레임의 영상을 생성하고, 이를 제1 실감형 디바이스(131)로 제공하는 것도 얼마든지 가능하므로 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.

또한, 위의 S810 단계에서와 같이 교육생이 실습교육을 위해 요청이 있는 상태에서는 기관차가 정지된 상태의 도시철도 실사 영상과, 가상 운전제어대(101)가 제1 실감형 다바이스(131)의 화면에 구현될 수 있다.

이어 교육생이 기관차를 가동시켜 실제 운전제어대(101)를 조작하게 되면, 해당 조작신호는 입출력 제어장치(113)로 실시간으로 제공되며, 여기서 실시간은 데이터가 끊김없이 제공되는 것을 의미할 수 있으며, 입출력 제어장치(113)에서 조작신호를 가령 영상변환장치(117)로 제공하면 영상변환장치(117)는 교육생의 조작신호에 따라 변경되는 도시철도 실사 VR 영상을 실시간으로 변경하여 화면에 구현될 수 있도록 하며, 이와 동시에 가상 운전제어대의 화면 표시 상태도 변경되도록 처리할 수 있다(S830, S840, S850). 여기서, 화면 표시 상태는 속도가 증가되면 속도 계기판의 바늘을 움직여 속도가 증가되는 모습을 보여주고, 또 속도를 줄이면 속도가 감소됨과 동시에 정지등이 화면상에 표시되도록 하는 등 실제 기관차를 운전하는 것과 같은 느낌을 갖도록 할 수 있다.

예를 들어, 교육생이 실제 운전제어대(101)를 통해 기관차의 속도를 증가시킨다고 가정하면, 이의 속도 정보가 입출력제어장치(113) 및 영상변환장치(117)로 제공된다. 이의 경우, 영상변환장치(117)는 제1 실감형 디바이스(131)의 가상 운전제어대의 계기판 등의 상태가 변경되는 제1 영상을 제공하면서, 동시에 도시철도 실사 VR 영상을 빠르게 변화시킨다. 이를 위하여, 가령, 화면에 구현되는 비디오프레임의 프레임율을 조정할 수 있다. 다시 말해, 속도가 느린 경우에는 초당 30장의 실사 영상을 구현하였다면 속도가 빠른 경우에는 초당 120장의 실사 영상을 화면에 구현함으로써 비디오 프레임이 화면에 구현되는 수량을 조절함으로써 속도를 실감나게 느끼도록 할 수 있는 것이다. 더 정확하게는 속도에 따라 비디오프레임의 프레임율을 조정한다고 볼 수 있다. 여기서 조정한다는 것은 점차적으로 증가하고 점차적으로 감소시키는 것을 의미할 수 있다.

또한, 실습교육 중에 교육생이 시선을 좌우 등으로 잠시 돌리는 경우, 예를 들어 승객의 하차를 위해 특정 역에서 정차하여 미러를 살피는 등의 경우, 이의 경우에는 제1 실감형 다바이스(131)에 탑재되는 가령 센서를 통해 교육생의 시선 정보를 얻을 수 있으며, 이와 같이 시선이 변경되는 경우에는 해당 시선 정보가 영상변환장치(117)로 제공될 수 있다(S860). 물론 입출력 제어장치(113)를 통해 제공되는 것도 얼마든지 가능하므로 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.

이와 같이, 교육생의 시선정보가 제공되는 경우에는 영상변환장치(117)는 그에 대한 360도 VR 영상을 추출하여 제1 실감형 디바이스(131)의 화면에서 구현되도록 한다(S870). 더 정확하게는 기존에 제공된 VR 영상의 각도를 조절함으로써 360도 VR 영상을 구현하게 된다.

상기한 내용 이외에도 도 8의 실제 운전제어대(101), 제1 실감형 디바이스(131), 입출력 제어장치(113) 및 영상변환장치(117)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로, 그 내용들로 대신하고자 한다.

또한, 가령 도 2에서 입출력제어장치(113)와 영상변환장치(117)가 통합 운영되는 경우에는 도 8에서의 세부 동작이 다소 변경될 수 있지만, 통합장치에서 제어신호와 영상처리를 동시에 수행한다는 것 이외에도 크게 다르지는 않으므로, 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.

도 9는 본 발명의 다른 실시예에 따른 디지털 트윈 기반의 중첩 연동 실행에 의한 도시철도 기관사 교육훈련 시스템의 운용과정을 나타내는 흐름도이다.

설명의 편의상 도 9를 도 1 또는 도 8과 함께 참조하면, 본 발명의 실시에에 따른 실감형 디바이스(131)는 도시철도 운전연습을 수행하는 교육생의 요청이 있을 때 교육생이 조작하는 실제 운전제어대(101)는 가상 운전제어대의 제1 영상을 화면의 하측에 표시한다(S900).

또한 입출력 제어장치(113)는 실제 운전제어대(101)에서 실시간으로 수신되는 교육생의 운전 제어신호에 근거하여 가상 운전제어대의 화면 표시 상태가 실시간으로 변경되도록 실감형 디바이스(101)를 제어한다(S910).

상기한 내용 이외에도 본 발명의 실시예에 따른 도시철도 기관사 교육훈련 시스템은 다양한 동작이 이루어질 수 있으며 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.

한편, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.

여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

100: 디지털 트윈 기반 가상운전제어시스템 110: 영상처리제어시스템
111: 메인장치 113: 입출력제어장치
115: 저장장치 117: 영상변환장치
118: DVR 119: 전원공급장치
120: 교관제어시스템 131: 제1 실감형 디바이스
133: 제2 실감형 디바이스 400: 통신 인터페이스부
410: 제어부 420: 디지털 트윈 기반 운전연습처리부
430: 저장부

Claims (10)

1. 도시철도 운전연습을 수행하는 교육생의 요청이 있을 때 상기 교육생이 조작하는 실제 운전제어대에 상응하는 가상 운전제어대의 제1 영상을 화면의 하측에 표시하는 실감형 디바이스; 및
   상기 실제 운전제어대에서 실시간으로 수신되는 상기 교육생의 운전 제어신호에 근거하여 상기 가상 운전제어대의 화면 표시 상태가 실시간으로 변경되도록 상기 실감형 디바이스를 제어하는 입출력 제어장치;를
   포함하는 디지털 트윈 기반의 중첩 연동 실행에 의한 도시철도 기관사 교육훈련 시스템.
2. 제1항에 있어서,
   상기 실감형 디바이스는 상기 실제 운전제어대와 동일한 모양의 상기 가상 운전제어대의 제1 영상을 화면에 표시하는 디지털 트윈 기반의 중첩 연동 실행에 의한 도시철도 기관사 교육훈련 시스템.
3. 제2항에 있어서,
   상기 실감형 디바이스는 상기 제1 영상의 상측에 실사 기반의 도시철도 VR 영상을 표시하며, 상기 운전 제어신호를 근거로 상기 VR 영상의 장면을 실시간으로 변경하여 표시하는 디지털 트윈 기반의 중첩 연동 실행에 의한 도시철도 기관사 교육훈련 시스템.
4. 제3항에 있어서,
   상기 입출력 제어장치의 제어에 따라 상기 실감형 디바이스로 상기 제1 영상 및 상기 VR 영상을 변경하여 제공하는 영상변환장치;를 더 포함하며,
   상기 영상변환장치는 상기 입력출력 제어장치의 제어에 따라 상기 실사 기반의 도시철도 VR 영상의 프레임율을 조정하여 장면을 실시간으로 변경하는 디지털 트윈 기반의 중첩 연동 실행에 의한 도시철도 기관사 교육훈련 시스템.
5. 제4항에 있어서,
   상기 영상변환장치는 상기 교육생의 운전 제어신호에 근거하여 기관차의 속도에 따라 상기 VR 영상의 프레임율을 조정하는 디지털 트윈 기반의 중첩 연동 실행에 의한 도시철도 기관사 교육훈련 시스템.
6. 실감형 디바이스가, 도시철도 운전연습을 수행하는 교육생의 요청이 있을 때 상기 교육생이 조작하는 실제 운전제어대에 상응하는 가상 운전제어대의 제1 영상을 화면의 하측에 표시하는 단계; 및
   입출력 제어장치가, 상기 실제 운전제어대에서 실시간으로 수신되는 상기 교육생의 운전 제어신호에 근거하여 상기 가상 운전제어대의 화면 표시 상태가 실시간으로 변경되도록 상기 실감형 디바이스를 제어하는 단계;를
   포함하는 디지털 트윈 기반의 중첩 연동 실행에 의한 도시철도 기관사 교육훈련 시스템의 운용방법.
7. 제6항에 있어서,
   상기 표시하는 단계는,
   상기 실제 운전제어대와 동일한 모양의 상기 가상 운전제어대의 제1 영상을 화면에 표시하는 디지털 트윈 기반의 중첩 연동 실행에 의한 도시철도 기관사 교육훈련 시스템의 운용방법.
8. 제7항에 있어서,
   상기 표시하는 단계는,
   상기 제1 영상의 상측에 실사 기반의 도시철도 VR 영상을 표시하는 단계; 및
   상기 운전 제어신호를 근거로 상기 VR 영상의 장면을 실시간으로 변경하여 표시하는 단계;를
   포함하는 디지털 트윈 기반의 중첩 연동 실행에 의한 도시철도 기관사 교육훈련 시스템의 운용방법.
9. 제8항에 있어서,
   영상변환장치가, 상기 입출력 제어장치의 제어에 따라 상기 실감형 디바이스로 상기 제1 영상 및 상기 VR 영상을 변경하여 제공하는 단계; 및
   상기 입력출력 제어장치의 제어에 따라 상기 실사 기반의 도시철도 VR 영상의 프레임율을 조정하여 장면을 실시간으로 변경하는 단계;를
   더 포함하는 디지털 트윈 기반의 중첩 연동 실행에 의한 도시철도 기관사 교육훈련 시스템의 운용방법.
10. 제9항에 있어서,
    상기 변경하는 단계는,
    상기 교육생의 운전 제어신호에 근거하여 기관차의 속도에 따라 상기 VR 영상의 프레임율을 조정하는 디지털 트윈 기반의 중첩 연동 실행에 의한 도시철도 기관사 교육훈련 시스템의 운용방법.

Images