KR102201196B1 - 멀티 프로젝션 기술 기반 가상현실열차를 위한 미디어 플랫폼 - Google Patents

Abstract

멀티 프로젝션 기술 기반 가상현실열차를 위한 미디어 플랫폼이 개시된다. 실시예들에 따르면, 도시철도 차량 디스플레이 시스템 부착을 통한 터널 벽면 미디어 재생, 웹 서버를 통한 원격 콘텐츠 관리, 콘텐츠 재생 이력 실시간 수집 및 관리, 터널 벽면 이격거리 및 굴곡에 의한 화면왜곡 보정, 원격 투사체 관리 시스템, 다중 디스플레이 콘텐츠 재생 자동 동기화, 열차 실시간 운행-콘텐츠 재생 스케줄 간 동기화, 템플릿 따른 이미지/영상 합성 렌더링, 비상시 안전콘텐츠 자동 재생 기술들이 제공될 수 있다.

Description

멀티 프로젝션 기술 기반 가상현실열차를 위한 미디어 플랫폼{MEDIA PLATFORM FOR MULTI-PROJECTION BASED VIRTUAL REALITY TRAIN}

아래 실시예들은 멀티 프로젝션 기술 기반 가상현실열차를 위한 미디어 플랫폼에 관한 것으로, 특히 지하철 터널 환경 정보를 이용한 실시간 열차 위치 검측 및 영상 보정 시스템의 방법에 관한 것이다.

기존 단조로운 열차 내부 미디어의 변화와 그 한계점

- 도시철도를 필두로 하는 교통광고는 옥외광고 시장에서 가장 큰 비중을 차지하고 있고, 가장 많은 대중에게 노출이 되는 매체임

- 현재 단조로운 열차 내 패널 형태의 미디어는 스마트폰 등 모바일 기기에 집중되어 있는 승객들의 시선을 돌리지 못해 안전 등 중요정보 및 광고 전달 효과가 낮아짐

- 승객들의 눈길을 끌기 위해 캐나다의 Digital Underground Media, 중국의 Jinri Technology 등의 기업들은 도시철도 터널에 LED 패널을 설치하는 형태의 새로운 미디어인 TAS(Tunnel Advertisement System)를 개발함

- 국내에서는 기존 TAS의 사양 및 화질을 개선한 eTAS(ethernet Tunnel Advertisement System)를 개발하여 신분당선에 설치·운영 중

- 도 1을 참조하면, TAS 방식은 공간 및 콘텐츠 길이 등의 한계점들이 있으며, 구간 당 수백 미터, 전체 수십 킬로미터 길이의 터널에 LED 패널을 설치하기 때문에 높은 설치 및 관리 비용이 요구됨 (열차가 60km/h로 달린다고 가정했을 때 30초 영상을 위해 500미터에 디스플레이를 설치)

광고 시스템

- 도시철도는 차량 내부, 스크린도어, 역사 벽면, 디스플레이 등 다양한 공간을 활용하여 수많은 사용자(승객)에게 광고 효과를 전달할 수 있는 장점을 가지고 있기 때문에 거대 광고 시장으로 여겨지고, 다양한 형태의 광고가 제공되고 있음

- 현재 도시철도 차량 내부의 광고는 포스터형, 조명형 및 동영상 형태로 제공되고 있으나, 승객들이 집중하여 볼 수 있을 정도의 몰입감을 주지 못하여 광고 매체로서의 효용성을 잃어 스마트폰에 집중되어 있는 승객의 시선을 사로잡는데 실패

- 도시철도 안전정보 제공을 위하여 현재 실시하고 있는 시각적인 방법으로는 스크린도어 시스템을 비롯하여, 범죄예방포스터 및 위급상황 대피요령 포스터 등이 있지만, 승객들의 이목을 끌지 못하여 안전 정보 제공에 큰 어려움이 존재. 청각적인 방법으로는 열차내 비상 방송안내 시스템이 존재하지만, 비상구 안내 및 비상전화 위치 등 음성으로 표현하기 어려운 정보를 전달하는 것은 사실상 불가능

전술한 것과 같이 종래에 다수의 LCD 패널 혹은 LED 바를 터널 외벽에 설치해 잔상효과로 영상을 표현하는 방식의 시스템이 존재.

예를 들어, 캐나다 Adtrackmedia의 경우, 터널 벽에 일정한 길이의 led 막대를 수백여 개 설치하고, 영상의 개별 프레임을 각각의 led바가 고속으로 표출하며, 이런 빛의 잔상으로 착시효과를 일으켜 스크린을 보는 것처럼 동영상을 볼 수 있음. 부산 및 서울을 비롯한 중국에도 설치 및 시범운영 혹은 상용화되어있음.

다만, LED 패널을 이용한 시스템의 경우 단점이 존재함. 보다 구체적으로, Led 막대를 설치한 TAS( Tunnel Advertisement System )는 터널에서도 구조물이 적은 깨끗한 벽면에 설치를 해야하며 열차의 속도가 영상을 보는데 중요한 역할을 함. led바가 설치된 구역에서만 영상 재생이 가능하므로 콘텐츠 길이의 제약이 크며 유지보수시 기차가 지나가지 않는 시간대에 터널에서 유지보수가 진행되어야 함.

본 시스템은 도시철도 차량 내에 창문을 통해 안전 및 광고 콘텐츠 투사를 통한 실감 체험이 가능하게 하는 HW 및 SW 시스템으로, 운행 구간에 따른 특정 콘텐츠 재생 및 도시철도 터널 벽면의 위치나 굴곡에 강건하게 왜곡 없는 영상을 제공한다. 이를 위해 차량의 현재 운행 위치에서 프로젝션 되는 터널 벽면의 상태를 파악하여 왜곡을 보정한 영상을 투사하는 캘리브레이션 시스템(vCali)과 차량의 현재 운행 상태 및 운행중인 구간과 구간 내에서 차량의 정확한 위치를 알 수 있는 탐색 및 분석 (vProbe) 시스템이 필요하다. 또한, 이 두가지 시스템에서 나온 데이터를 통합하는 통합 시스템이 필요하다.

핵심 기술 개발 및 시스템을 구축하고, 관리, 운영 기술 개발 및 사업화를 통한 혁신적인 지하철 매체를 개발하여 광고 수익 증대, 효과적인 정보 전달을 이룰 수 있다.

아래에서 설명하는 실시예들을 통하여 다음과 같은 과제들이 해결될 수 있다.

- 터널 벽면에 설치할 필요없이 기차 하부 또는 상부에 설치.

- 열차의 속도는 영상 관람가 무관함.

- 벽면이 있는 곳이면 어느곳이든 영상 재생이 가능하며, 콘텐츠 길이의 제약도 최대 터널을 지나는 시간으로 비교적 제약이 적음.

- 영상을 투사 및 제어하는 장치가 기차의 하부 또는 상부에 설치되므로 운행 종료후 혹은 미배차시에는 언제든지 차량 기지에서 유지보수를 진행할 수 있음.

또한, 도 2 및 도 3을 참조하면, 일 실시예에 따른 실감체혐형 VR 열차 미디어 플랫폼의 주요 기능을 통하여, 하기 과제들을 해결할 수 있다.

VRT 주요기능

- 화면 제어 기술: 투사면인 터널 내부의 투사거리 및 굴곡 정도에 따라 발생하는 화면 왜곡을 자동적으로 보정하는 기술

- 콘텐츠 재생 제어 기술: 콘텐츠 재생 스케줄에 따라 도시철도 노선 구간별 / 디스플레이별로 콘텐츠를 투사하기 위한 재생 시스템

- 디스플레이 시스템: VRT 전용 디스플레이 시스템을 열차 외부 부착 투사체를 설치하고, 이와 관련된 각종 배선 및 사운드 시스템 설계

- 시범 영상 콘텐츠: 도시철도 차량 및 VRT 플랫폼에 특화된 시범 영상 콘텐츠 / VRT 마케팅 환경으로 활용

실감체험 시뮬레이션

- 가상현실 기술과 도시철도와의 융합을 통해 도시철도 차량 내부 유리창을 통한 생활 속에서의 가상현실 재현

- 대중교통의 이용객에게 가상현실기기(HMD)를 착용하지 않고도 마치 실제와 같은 몰입형 콘텐츠 체험 제공

- 안전 정보 등 다양한 정보를 높은 집중도로 전달 가능

도시철도 차량 내에 창문을 통해 안전 및 광고 콘텐츠 투사를 통한 실감체험 열차

- VR 기술 및 도시철도의 특성을 활용, 도시철도 차량 창문 밖 터널 벽면에 실감 영상을 투사함으로써 탑승객에게 마치 지하철이 새로운 세계를 여행하는 것과 같은 실감체험 경험 제공 (예: 우주, 바닷속, 지상 등)

- 매체의 집중도를 활용하여 안전 정보, 주변 정보, 광고 등을 효과적으로 전달

- 4차 산업혁명 특별시인 대전의 주요 교통수단인 도시철도에 최신 VR기술을 적용함으로써 과학도시 이미지 재고

- 본 플랫폼의 특수한 미디어 구성에 적합한 안전 교육 및 비상 상황 콘텐츠의 개발·도입을 통해 도시철도 이용객들의 안전성 함양

ICBM-Life 서비스 (도 4 참조)

- 미디어 플랫폼 클라우드 네트워크 기술과 도시철도의 융합을 통해 TV 또는 프로젝터 등의 디스플레이, 콘텐츠 및 도시철도 운행 정보가 Wifi 인터넷 망으로 연결되어 클라우드 원격 제어

- 광고, 안전 정보 등의 콘텐츠를 실시간 도시철도 운행 구간에 맞춰 스케쥴되어 인터넷 망을 통해 동기화된 서로 다른 디스플레이에 자동 배포/관리

- 추후 도시철도 각 구간 정보 및 승객 정보 대한 BigData를 이용, 지능형 융합 콘텐츠로서 구간별/이용객별 특화된 정보 제공 가능

광고 시스템

- 승객들의 시선을 사로잡아 광고 및 정보 전달 효과를 극대화하도록 도시철도 차량의 창문을 통해 보이는 어두운 터널의 외벽을 새로운 미디어 공간으로 탈바꿈

- 차창 밖 풍경을 감상할 수 있는 기차에 비해 지루하고 단조로운 외벽만을 보여주던 도시철도에서 다양한 볼거리를 제공하여 재미를 주는 지하철로의 변화 가능

- 비용적, 공간적 제약이 심한 TAS(Tunnel Advertisement System)에 비해 저렴한 예산으로 설치가 가능하며, 승객에게 노출되는 시간이 늘어남에 따라 광고효과는 더욱 증대될 것으로 기대됨

- 도시철도 광고 시스템은 현재 다양한 형태로 활발하게 사용되고 있으며, 기존의 기업광고 뿐만 아니라 기관 또는 단체광고, 팬덤, 전시 홍보등의 다양한 문화콘텐츠로 진화를 거듭하고 있음

- 도시철도 차량 내부의 액자광고, 포스터 광고의 기존 형식을 벗어나 통로 전체의 광고화, LED패널을 이용한 멀티비전 광고 등의 디지털 사이니지 시장으로 변화하는 추세

- 기존의 도시철도 광고에 비교하여 훨씬 몰입도 높은 시청각 콘텐츠를 승객들에게 제공할 수 있으며, 안전대피 경로 안내, 실제 위급상황 안내, 위급상황 발생시 행동요령 등을 영상으로 승객들에게 제공하여 이해를 도울 수 있음

- 홍보성 콘텐츠 뿐만 아니라 해양, 우주, 자연경관 체험 등의 몰입도 높은 다양한 콘텐츠의 적용이 가능

- 도시철도 차량 외부에 설계되어 운영되면, 탑승중인 승객들에게 현재 외부의 대기 상황을 제공하고, 이에 대비할 수 있도록 안내하는 시스템과의 결합이 가능

- 주요 역사와 관련된 콘텐츠를 열차 운행 스케줄과 연동하여 제공하면, 정보가 필요한 탑승객에게 큰 도움을 줄 수 있고, 관광명소와 지자체의 훌륭한 홍보의 수단으로 활용이 가능

일 측에 따른 프로젝션을 위한 터널 검측 방법은 열차의 진행방향과 직교하는 방향으로 배치되는 적어도 하나의 센서를 이용하여, 제1 시점에서 열차로부터 터널 내부의 벽면까지의 제1 거리 정보를 수집하는 단계; 상기 열차가 상기 진행방향으로 이동한 뒤 제2 시점에서, 상기 적어도 하나의 센서를 이용하여 상기 열차로부터 상기 터널 내부의 벽면까지의 제2 거리 정보를 수집하는 단계; 상기 제1 시점, 상기 제2 시점, 상기 제1 거리 정보, 상기 제2 거리 정보, 및 상기 적어도 하나의 센서들에 의한 측정 포인트들의 위치 정보에 기초하여, 상기 열차에 부착된 프로젝터에 의하여 투사되는 투사면의 형태를 예측하는 단계; 및 상기 예측된 형태를 원하는 형태로 변환하는 와핑 함수를 결정하는 단계를 포함한다.

일 측에 따른 인터랙티브 컨텐츠 제공 방법은 터널 내부로 운행하기 전 역사에 정차 중에, 열차에 탑승 중인 승객들로부터 선호 컨텐츠에 대한 정보를 수집하는 단계; 상기 수집된 정보 및 미리 정해진 방식에 따라, 상기 터널 내부에서 재생할 컨텐츠를 결정하는 단계; 상기 열차가 상기 터널 내부를 운행 중, 상기 컨텐츠를 상기 터널 내부의 벽면에 투사하는 단계; 및 상기 컨텐츠의 재생으로 발생하는 수익금 중 일부를 상기 컨텐츠의 결정에 기여한 승객에게 분배하는 단계를 포함한다.

일 측에 따른 렌더링 방법은 열차의 유형, 프로젝터의 유형, 및 운행구간의 유형의 조합에 따라 기 결정된 열차 운행 환경에서, 캘리브레이션을 통해 렌더링 파라미터를 결정하는 단계; 상기 열차의 유형, 상기 프로젝터의 유형, 및 상기 운행구간의 유형 중 적어도 하나를 변경함으로써, 새로운 열차 운행 환경을 설정하는 단계; 및 상기 새로운 열차 운행 환경에 대응하여, 상기 렌더링 파라미터를 갱신하는 단계를 포함한다.

도 1은 일 실시예에 따른 기존 지하철 열차 미디어의 문제점을 설명하는 도면.
도 2 및 도 3은 일 실시예에 따른 실감체혐형 VR 열차 미디어 플랫폼의 기술적 효과를 설명하는 도면들.
도 4는 일 실시예에 따른 VR 열차 플랫폼과 웹 클라우드 서버의 유기적 연동을 설명하는 도면.
도 5는 일 실시예에 따른 화면 왜곡 자동 제어 및 투사체간 동기화 기능을 설명하는 도면.
도 6은 일 실시예에 따른 원격 콘텐츠 통합 관리 시스템을 설명하는 도면.
도 7 및 도 8은 일 실시예에 따른 터널 내부에 콘텐츠를 투사한 예시를 도시한 도면들.
도 9는 일 실시예에 따른 실감체험형 VR열차 미디어 플랫폼을 통하여 도시철도 이용객, 도시철도 운영사, 및 광고매체 운영사에게 제공되는 기술적 효과들을 설명하는 도면.
도 10은 일 실시예에 따른 터널 종류별 열차 벽면 이격거리를 설명하는 도면.
도 11은 일 실시예에 따른 3D 모델링 툴을 이용한 터널 구조 모델링을 설명하는 도면.
도 12는 일 실시예에 따른 테스트용 LiDAR 센서를 도시한 도면.
도 13은 일 실시예에 따른 모니터링 서버의 운용 방법을 도시한 도면.
도 14는 일 실시예에 따른 서버-클라이언트 구성을 설명하는 도면.
도 15는 일 실시예에 따른 하우징을 도시한 도면.
도 16은 일 실시예에 따른 디스플레이 및 제어기를 도시한 도면.
도 17은 일 실시예에 따른 템플릿 영상들을 도시한 도면.
도 18은 일 실시예에 따른 원격 콘텐츠 통합 관리 시스템을 도시한 도면.
도 19는 일 실시예에 따른 웹 클라우드 기반 원격 콘텐츠 스케쥴링 UI을 도시한 도면.
도 20은 일 실시예에 따른 비상 대피로 안내 컨텐츠를 도시한 도면.
도 21은 일 실시예에 따른 VRT 미디어 플랫폼의 기술적 효과를 설명하는 도면.
도 22는 일 실시예에 따른 기존 TAS와의 차별점을 설명하는 도면.
도 23 내지 도 29는 일 실시예에 따른 터널 검측 방법을 설명하는 도면들.
도 30은 일 실시예에 따른 캘리브레이션 시스템 구성도 중 통신 케이블 라인을 설명하는 도면.
도 31은 일 실시예에 따른 캘리브레이션 시스템 구성도 중 출력 케이블 라인을 설명하는 도면.
도 32는 일 실시예에 따른 프로젝터 하우징을 도시한 도면.
도 33은 일 실시예에 따른 기타 장치 하우징을 도시한 도면.
도 34는 일 실시예에 따른 하우징 내 설치된 장치들을 도시한 도면.
도 35는 일 실시예에 따른 투사되는 패턴 및 시간을 설명하는 도면.
도 36은 일 실시예에 따른 프로젝터 위치 및 투사도, 열차 내부 카메라 위치를 설명하는 도면.
도 37은 일 실시예에 따른 통합 시스템 구성도를 도시한 도면.
도 38은 일 실시예에 따른 거리센서를 도시한 도면.
도 39는 일 실시예에 따른 위치 측정 시스템 구성도를 도시한 도면.
도 40은 일 실시예에 따른 침목 검출 센서의 부착을 도시한 도면.
도 41 및 도 42는 일 실시예에 따른 침목을 도시한 도면.
도 43은 일 실시예에 따른 침목 검출 센서의 부착 위치를 설명하는 도면.

본 명세서에서 개시되어 있는 특정한 구조적 또는 기능적 설명들은 단지 기술적 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 실시예들은 다양한 다른 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.

제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이해되어야 한다. 예를 들어 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~간의에"와 "바로~간의에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

도 5는 일 실시예에 따른 화면 왜곡 자동 제어 및 투사체간 동기화 기능을 설명하는 도면이다. 아래에서 상세하게 설명하겠으나, 터널 내부의 화면 왜곡을 고려하여 콘텐츠를 투사하며, 투사체간 동기화 기능이 제공될 수 있다.

도 6은 일 실시예에 따른 원격 콘텐츠 통합 관리 시스템을 설명하는 도면이다. 아래에서 상세하게 설명하겠으나, 웹 클라우드 서버를 통하여 콘텐츠 재생 제어 기술 및 화면 제어 기술이 통합 관리 시스템의 관제 하에 유기적으로 연동될 수 있다.

도 7 및 도 8은 일 실시예에 따른 터널 내부에 콘텐츠를 투사한 예시를 도시한 도면들이다. 열차에 탑승한 승객들은 열차의 창문을 통하여 터널에 투사되는 컨텐츠를 시청할 수 있으며, 실시예들을 통하여 열차에서 제공되는 컨텐츠에 대한 승객들의 몰입도가 기존 기술대비 크게 향상될 수 있다. 도 9는 일 실시예에 따른 실감체험형 VR열차 미디어 플랫폼을 통하여 도시철도 이용객, 도시철도 운영사, 및 광고매체 운영사에게 제공되는 기술적 효과들을 설명하는 도면이다.

표 1은 실시예들에서 제공되는 기술적 요소들을 설명한다.

화면 제어 기술

가) 터널 유형별 이미지 왜곡 보정 기술

- 터널 종류에 구애받지 않는 일정한 영상 재생 모듈

- 일반적으로 도시철도 터널은 종류별 일정한 규격이 존재하고, 이에 따라 벽면과의 이격거리 및 벽면의 굴곡 정도가 정해짐(도 10 참조)

- 프로젝터 등 투사체는 투사거리 및 굴곡 정도에 따라 화면의 왜곡이 발생하는데 이에 대응하여 자동적으로 화면 왜곡을 보정하는 기술

- 실측 데이터를 통한 터널 종류별 구조를 모델링(도 11 참조)

- 구간별 모델링 데이터로 투사되는 콘텐츠의 기하 오차를 계산하여 이미지 워핑 기법을 통한 화면 왜곡 보정

- 평면이 아닌 투사면에 대해서도 콘텐츠의 왜곡이 최소화되도록 보정

- 선형·비선형 이미지 워핑을 활용

- 구간별 모델링 데이터로부터 얻어진 투사면 교정 영상을 실시간으로 생성하는 기술

1) 실시간 터널 벽면 맵핑 기술

(1-1) 실측 데이터를 통한 터널 종류별 구조 모델링

(1-2) Mesh 기반 기하 왜곡 및 이격 거리 교정 알고리즘

(1-3) openGL ES 기반 실시간 이미지 와핑

(1-4) Vertex/Fragment shader를 활용한 교정영상 실시간 생성 기술

(1-5) 평면/곡면 출력모드 변경 모듈

- 거리 센서 (LiDAR)를 이용한 터널 센싱 테스트

자동 화면 왜곡 보정을 위해 터널 내부 세부 곡면 정보, 터널 까지의 이격 거리 모델링이 필요

이를 통해 터널 구조와 무관하게 열차 내부 승객이 보기에 일정한 화면을 표출하는 것이 필요

이러한 정보를 얻는 방법으로, 1. Depth 카메라 2. 패턴 인식 3. 거리센서 등의 방법이 존재

(예시) 센서 요구 사항은 다음과 같음

측정 거리 : 0.2m - 8m

반복 정도 : 60 - 100Hz (열차 평균속도 70km/h 가정)

통신 방식 : Serial / LAN / Wifi

분해능 : +-5cm 이하

테스트용 LiDAR - Leddar Vu8 (도 12 참조)

나) 원격 투사체 관리 시스템

- 안전을 위해 원격 상시 운용이 필요하고 이에 따라 웹 API 연동을 통한 원격 투사체 관리 시스템

- 웹을 통해 프로젝터와 안드로이드 디바이스를 제어하는 기술

- 원격 제어로 무인 운영이 가능

- 서비스 장애 알림 기능으로 즉각적인 대응 가능

1) 원격 운영 가능한 투사체 관리 시스템

(1-1) Amazon Web Service를 이용한 모니터링 서버 운영 (도 13 참조)

(1-2) Rest API를 이용한 디바이스 원격 제어 시스템

디바이스 등록 및 상태 체크, 화면 관리

(1-3) PJLink 프로토콜을 통한 프로젝터 원격 제어 시스템

프로젝터 상태 체크, 전원on/off

(1-4) 모니터링 시스템을 통한 서비스 장애 알림 기능

콘텐츠 재생 제어 기술

가) 콘텐츠 재생 스케줄에 따라 도시철도 노선 구간별 / 디스플레이별 서로 다른 콘텐츠를 투사하기 위한 클라우드 기반 콘텐츠 재생 시스템

- 스케쥴 기반 클라우드 콘텐츠 재생 시스템

- 스케줄 기반 재생으로 간편한 재생 관리

- 열차 스케줄 자동 연동 가능

1) CMS(Contents Management System)

(1-1) Amazon Web Service를 이용한 콘텐츠 관리 서버

(1-2) 콘텐츠 CRUD가 가능한 모바일앱/웹페이지

(1-3) 플레이리스트 기능

(1-4) 콘텐츠 caching기능

2) 스케줄 기반 재생시스템

(2-1) 캘린더를 이용한 스케줄 편집 UI(모바일/웹)

(2-2) 열차 스케줄 자동 적용 기능

나) 서로 다른 디스플레이에서 동기화된 콘텐츠를 재생하기 위한 자동 서버-클라이언트 구성 및 디바이스간 Time Sync 모듈

- 불안정한 무선 네트워크 환경에서도 높은 시간 동기화 성능을 보장

- 높은 시간 동기화 성능을 이용한 안정적인 영상 재생

1) 디바이스간 Time Sync 모듈

(1-1) 디바이스 간의 서버-클라이언트 구성 (도 14 참조)

(1-2) SNTP를 이용한 무선 상의 time packet 교환 모듈

(1-3) 열차 환경에 따른 무선 네트워크의 불안정성을 해결하기 위한 outlier 제거 알고리즘

(1-4) 딜레이 보정 알고리즘

다) 역 도착 / 출발 등 열차 실시간 운행 정보와 콘텐츠 재생 스케줄과의 동기화를 위한 열차내 디바이스-원격서버 Time Sync 모듈

- 열차가 지연되거나 스케줄이 바뀌어도 항상 일정한 타이밍에 벽면 매핑

- 레일포털과 연동하여 정확도 제고

1) Time Sync 모듈

(1-1) 운행정보 업데이트 모듈

(1-2) 역에 머무는 짧은 시간 내에 필요한 정보를 업데이트 할 수 있는 효율적인 데이터 포맷

(1-3) 업데이트된 운행정보를 기반으로 재생 타이밍 조절 기능

(1-4) Time sync 상황에 대한 모니터링 시스템

(1-5) 레일포털의 값과 연동하여 비정상적인 상황에 대한 알림 기능

- 원격으로 영상 / 이미지 콘텐츠 및 콘텐츠 스케줄 업데이트를 위한 SW 모듈

디스플레이 시스템

가) 열차 외부 부착 투사체를 위한 VRT 전용 디스플레이 시스템

1) 디스플레이 하우징 설계

(1-1) 디스플레이 스펙 및 방식 검증을 통한 모델

(1-2) 선정된 모델에 최적화된 하우징

(1-3) 먼지, 진동, 공조 등 설치 환경을 고려한 하우징 (도 15 참조)

2) 열차에 시스템 설치를 위한 전기 배선

(2-1) 기존 열차의 전기 배선 시스템을 개조·확장하여 차량 적용품에 연결

3) 몰입감 있는 콘텐츠 재생을 위한 열차 내 사운드 시스템

나) 디스플레이 설치 위치 선정 및 전동차 인터페이스

1) VRT 전용 디스플레이 전동차 설치 위치 선정

(1-1) 디스플레이 표출 효과 및 유지보수성을 고려한 최적 위치 선정

(1-2) 차량 및 건축한계를 고려한 안정성 위치 확보

2) 전동차-장치간 인터페이스

(2-1) 차량 신호 및 전기배선 등 표출 제어를 위한 인터페이스

(2-2) 디스플레이/제어기 설치 및 기초 성능 시험

3) 현차 통합 검증 확인 및 튜닝

다) 디스플레이/제어기 설계 (도 16 참조)

1) 디스플레이 표출방식, 화면 제어 기술 등에 대한 설계

(1-1) 최적화된 표출 지점 및 방식을 위한 기술

(1-2) 디스플레이 표출을 위한 터널 현장 검측

(1-3) 차량 탑재용 디스플레이

2) 영상 표출 제어기 설계

(2-1) 차량 운행 방향, 표출 시점, 표출 영상 등 표출 제어장치 기술

(2-2) 디스플레이 제어기

콘텐츠 재생 제어 기술

- 공간 기반 콘텐츠 저작 템플릿에 따라 서로 다른 영상 / 이미지를 한 화면에 투사하기 위한 합성 렌더링 모듈 (도 17 참조)

- 투사 환경 및 시나리오에 적합한 콘텐츠 레이아웃

- 간단한 자막 및 각종 이미지 삽입 템플릿

- 비상 상황 등 예외상황에서 안전 콘텐츠의 신속한 재생을 위한 인터럽트 프로세싱 모듈

- 비상 상황에서 안전 콘텐츠 상영을 위한 위치 기반 스마트 대피 안내 시스템

원격 콘텐츠 통합 관리 시스템 개발 (도 18 및 도 19참조)

- 광고 및 콘텐츠를 운영하는 사용자들이 언제 어디서나 원격으로 미디어를 관리할 수 있도록 클라우드 기반 웹 서버를 구축하고, 콘텐츠 제작과 관련된 각종 저작도구를 제공하여 편의성 향상

- 사용자 친화적인 UX/UI를 개발, PC와 모바일에서 호환되는 웹 사이트를 구축하고, 이를 통해 재생 이력, 모니터링, 오류 리포팅, 통계정보 조회 등 콘텐츠 운영과 관련된 전반적인 데이터를 로그 형태로 제공

- 이미지, 로고, 동영상 등 여러 형태로 제공되는 각종 광고에 대해 VRT의 운영 시나리오에 적합하도록 레이아웃, 종횡비 등을 고려한 콘텐츠 템플릿 기반 저작도구 제공

- 인터넷이 연결되는 일부 구간에서의 실시간으로 열차의 위치, 속도 정보 등을 업데이트하고 각종 로그데이터 및 재생 신호를 클라우드 서버와 연동하여 오프라인 구간에서의 재생 구간 추정

재난 및 안전 정보 콘텐츠

- 비상 재난 시 대피로, 행동요령 등의 정보를 제공하는 영상 콘텐츠 1종과 평상시 제공할 지하철 자동문 수동 개폐 요령, 역사에 배치된 소화기 사용 방법 등 안전 교육과 관련된 영상 콘텐츠 (도 20 참조)

- 특수한 환경에서의 실감체험형 콘텐츠 제작과 관련된 각종 가이드라인

- 효과적인 정보 전달을 위한 최적 노출 시간 및 운영 시나리오

혁신적인 실감영상 시스템

- 도시철도 차량 내 공간을 가상현실 및 컴퓨터 그래픽스 기술을 이용하여 몰입형 공간으로 변화시킴으로써, 지하철 이용객들에게 기존에 경험해보지 못한 새로운 시각적 경험을 제공할 수 있을 뿐만 아니라 지하철 안전 교육에 혁신을 이룰 수 있는 미디어 시스템임

도시철도 시스템에 최적화된 열차 기반 시스템

- 기존 기술과 다르게 주변 환경이 아닌 열차 자체를 기반으로 하기 때문에 디스플레이 시스템 구축을 위한 설치 원가가 대폭 절감되며, 운행이 끝난 후 동일 지점ㅡ로 모여 점검을 하는 기존 열차 관리 시스템에 쉽게 적용될 수 있음

확장성 높은 웹 클라우드 기반 플랫폼

- 웹 클라우드를 기반으로 콘텐츠 제어 및 열차 관련 정보와 연동이 되기 때문에 향후 다양한 어플리케이션으로 확장 가능한 미디어 플랫폼 형태의 장점을 지님 (도 21 참조)

Tunnel Advertisement System(TAS)과의 차별성 (도 22 참조)

1) TAS

- TV나 영화처럼 독립된 영상 프레임의 연속 표출을 통하여 동영상이 구현되는 원리를 이용, 지하철의 운행 속도와 연동시켜 도시철도 차량 내부 유리창에 동영상 광고를 노출하는 미디어

- 기존의 인쇄필름 이용방식과 다르게, 다수의 LCD패널 혹은 LED바를 터널 외벽에 설치하여 영상을 구현하고, 나아가 광고 운영 및 관리를 편리하게 전자 제어하는 기술 방식

- 캐나다, 중국, 싱가폴 등 세계 곳곳에서 구현·운영되고 있으며, 국내에선 기존 TAS보다 개선된 제품인 eTAS(ethernet tunnel advertisement system)가 신분당선의 양재시민의숲역과 청계산입구역 사이의 구간에 설치되어 운영 중

- eTAS의 경우, 각각의 독립적인 LED프레임을 약 486m의 터널 구간에 설치하여 지하철이 시속 90km로 달리게 되었을 때 초당 30프레임의 광고가 약 20초간 노출됨

2) VRT

- 터널이 아닌 열차 자체에 설치된 영상 투사 장치(프로젝터)를 통해 터널 벽을 스크린으로 영상을 투사하여 도시철도 차량 내부 유리창에 동영상을 노출하는 미디어

- 도시철도 구간의 한 장소에 설치하여 지나가는 차량들에게 영상을 노출하는 기존의 TAS 방식과는 반대로, 미디어가 설치된 차량은 모든 구간에서 영상을 창문 밖 터널에 표시할 수 있음

- 즉, 창문이 6개가 있는 도시철도 차량에는 각각의 창문마다 프로젝터가 설치되어, 총 6대의 프로젝터가 필요함

3) 차별성

- 속도가 일정하고 진동이 적은 터널의 직선구간 등 한정적인 장소에만 설치할 수 있는 TAS에 비해 VRT는 열차를 기반으로 설치되어 프로젝션을 통해 영상을 투사하기 때문에 장소와 구간에 제약 없는 콘텐츠 재생이 가능함

- TAS의 경우, 열차 진동이 심하거나 속도에 운행속도에 차이가 발생하면 콘텐츠 시프팅 현상 (콘텐츠가 뒤로 밀리는 현상)이 발생하는 반면, VRT는 열차와 프로젝터가 함께 이동하기 때문에 이러한 문제가 없어 속도에 제한이 없음

- TAS는 디스플레이 길이에 따라 영상 송출 시간이 결정(영상시간 20초 / 디스플레이 500m 설치)되기 때문에 영상시간이 길어질수록 도입 비용이 상승하지만, VRT는 영상 콘텐츠 길이에 제약이 없으며 TAS에 비해 노출 시간당 도입 비용이 약 4배 저렴함 (자체추산, 대전 도시철도 1호선 열차 15대, 정차역 20개 기준)

- 열차 운행 시간(약 05:00 ~ 24:00까지)동안 터널로의 접근이 어려워 유지·관리 및 보수에 비효율이 발생하는 TAS와는 달리, VRT는 열차가 모여 장비점검이 수행되는 차량기지를 거점으로 유지·관리 및 보수가 이루어지기 때문에 효율적인 운영이 가능

기존 사이니지 솔루션과의 차별성

1) 기존 사이니지 솔루션

- 클라우드 기반의 디지털 사이니지 솔루션으로 디지털 메뉴보드, 태블릿 사이니지, 프로모션 보드, 기업/기관 교육 및 방송 등의 영역으로 사이니지 운영 기능을 제공함

- 플랫폼 기반 디지털 사이니지 통합 솔루션을 제공하여 고객사가 보다 쉽고 편리하게 콘텐츠를 제작하고 배포하고 원격지에 있는 자원(Player)을 한곳에서 효율적으로 관리(모니터링하고 제어)할 수 있도록 지원함

2) VRT

- 모든 구간에서 인터넷이 지원되기 위해서는 높은 비용이 발생하며, 경제적인 설치를 위해서는 차량기지 및 일부 정차역에 인터넷 망을 구축하여 플랫폼과 정보를 주고받는 것이 효율적임. VRT의 사이니지 시스템은 이러한 환경에서 클라우드를 기반으로 운영이 가능

- 정차 시간이 긴 차량기지에서 재생될 콘텐츠를 다운로드하고, 인터넷 망이 설치된 역에서 운행 및 시스템 운영 관련된 정보를 업데이트하여 오프라인 구간에서도 스케쥴된 콘텐츠가 정상운영될 수 있도록 함

3) 차별성

- 기존 클라우드 기반 사이니지 시스템들은 항상 웹과 연결되어 있는 시나리오인 반면, VRT는 일부 구간에서 인터넷이 지원되지 않는 특수한 환경에서도 웹 클라우드를 기반으로 운영 가능

- 기존의 사이니지 시스템들은 옥외광고를 쉽게 볼 수 있는 공간에서만의 사례가 있어 도시철도와 같은 특수환경에서의 동작 검증은 안 되어 있는 상태이며, 도시철도 안전과 관련된 기능은 지원하지 않음

터널 검측 방법

일 실시예에 따른 VRT는 터널을 검측할 수 있다. 예를 들어, 열차의 일측에 부착된 미리 정해진 수(i.e., 5개)의 거리 센서들(도 23의 빨간 원 참조)을 이용하여, 열차로부터 터널 내부의 투사면까지의 거리 정보를 수집할 수 있다.

실시예에 따라, VRT는 열차의 양측에 부착된 거리 센서들을 이용하여 터널의 내부의 양쪽 투사면들까지의 거리 정보를 수집하거나, 구간 별로 어느 한 측의 투사면까지의 거리 정보를 선택적으로 수집할 수도 있다.

도면에 도시하지 않았으나, 단일 지점까지의 거리 정보를 수집하는 복수의 거리 센서들을 이용하는 대신, 복수의 지점들까지의 거리 정보를 수집할 수 있는 센서(예를 들어, ToF 깊이 카메라 등)가 활용될 수 있다.

VRT에는 프로젝터(도 23의 파란 삼각형 참조)가 부착될 수 있다. 일 실시예에 따르면, 프로젝터는 열차의 하측면에 부착될 수 있다. 예를 들어, 프로젝터는 열차의 하측면에 비치된 툴 박스에 탑재될 수 있다. 도면에 도시하지 않았으나, 프로젝터는 열차의 하측면 이외에도 터널 내부의 투사면에 영상을 투사하기에 적합한 위치에 부착될 수 있다.

프로젝터는 열차에 부착된 위치에서, 터널 내부의 투사면에 영상을 투사하기에 적합한 자세를 가질 수 있다. 프로젝터의 시야각(field of view)은 터널 내부의 투사면을 커버할 만큼 충분히 넓을 수 있다. (도 24 참조)

일 실시예에 따르면, 거리 센서들을 이용하여 수집한 거리 정보에 기초하여, 열차로부터의 거리 대비 영상의 너비가 넓어지는 비율(TR; throw ratio)이 계산될 수 있다. (도 25 참조)

이 경우, 프로젝터에 의하여 투사되는 영상(예를 들어, 터널 내부의 투사면에 투사되는 영상)의 형태가 예측될 수 있고, 예측된 형태(도 25의 위 모양)로부터 투사하고자 하는 형태(도 25의 아래 모양)로 변환하는 와핑 함수(warping function)가 결정될 수 있다.

수집되는 거리 정보는 열차의 진동 등을 고려하여 필터링 될 수 있다. 필터링으로 인하여, 와핑 함수를 결정하기 필요한 정보가 일부 누락되는 경우가 발생할 수 있다. 이 경우, 다른 정보(예를 들어, 인접한 포인트들에 대한 정보)를 활용하여 보간(interpolation)을 수행함으로써, 누락된 정보를 보완할 수 있다.

아래에서 설명하겠으나, 투사하고자 하는 형태는 열차에 포함된 창의 크기나 위치 등을 고려하여 결정될 수 있다. 열차 내부의 승객은 터널의 벽면에 투사된 영상을 열차의 창을 통하여 시청한다. 따라서, 열차의 창의 특성에 따라 투사하고자 하는 형태가 변형될 수 있다.

또한, 열차 내부의 승객의 위치에 따라 열차의 창을 통하여 시청 가능한 시야각이 변할 수 있다. 열차에는 일반적으로 복수의 승객들이 탑승할 것이므로, 가능한 많은 승객들에게 영상을 제공할 수 있도록 '투사하고자 하는 형태'가 결정될 수 있다. 또는, 자원 효율성을 고려하여, 미리 정해진 위치(예를 들어, 열차 내부의 안전 손잡이가 설치된 라인)에서 최적이 영상이 제공되도록 '투사하고자 하는 형태'가 결정될 수도 있다.

거리 센서들은 제1 방향(예를 들어, 지면에 수직인 방향)으로 부착되며, 열차가 제2 방향(예를 들어, 지면과 수평인 방향)으로 이동하는 도중 제3 방향의 거리 정보를 수집함으로써, 터널 내부의 투사면에 대한 정보가 생성될 수 있다. 투사면에 대한 정보는 투사면에 포함된 복수의 포인트들의 3차원 좌표 정보를 포함하거나, 투사면을 표현하는 수식 등을 포함할 수 있다. 제1 방향, 제2 방향, 및 제3 방향은 서로 직교하는 방향일 수 있다.

투사면에 대한 정보를 생성하기 위하여, 터널 내 열차의 위치(혹은 정차역으로부터 이동 거리)와 수집된 거리 정보(혹은 거리 정보가 수집된 시간)를 동기화해야 한다.

일 실시예에 따르면, VRT는 미리 정해진 간격으로 배치된 침목을 이용하여 터널 내 열차의 위치를 추정할 수 있다. 예를 들어, VRT는 정차역으로부터 이동하면서 통과하는 침목의 수를 카운트할 수 있다. 침목은 미리 정해진 간격(예를 들어, 65cm)으로 배치되므로, 침목의 수로부터 이동 거리를 추정할 수 있다. (도 26 참조)

또한, VRT는 정차역에 설치된 근거리 통신(예를 들어, RFID 등) 장비를 이용하여, VRT가 해당 정차역에 위치한다는 사실을 인지할 수 있다.

도면에 도시하지 않았으나, 실시예에 따라 VRT는 관제 서버로부터 위치 정보를 수신할 수도 있다.

일 실시예에 따르면, 터널 벽면의 하부에 요철 등 구조물이 존재할 수 있다. 이 경우, 구조물로 인하여 영상에 그림자가 생길 수 있다. 구조물을 감지하기 위하여, VRT는 키넥트(Kinect) 센서, ToF 깊이 카메라 등 별도의 센서를 더 포함할 수 있다(도 27의 노란 타원 참조).

영상이 렌더링 될 때, 혹은 영상이 재생될 때, 구조물에 대한 정보에 기초하여 추가적인 영상 처리가 수행될 수 있다. 예를 들어, VRT는 인접 프로젝터와 연동하는 멀티 프로젝션 기능을 이용하여 그림자가 생길 것으로 예상되는 영역의 영상을 보완할 수 있다.

또는, 그림자에 의하여 덜 훼손되는 형태로 영상이 렌더링 될 수도 있다. 예를 들어, 구조물로 인한 노이즈가 존재하는 구간에서는 실질적인 투사면의 면적이 감소하면서, 실질적인 투사면의 위치가 해당 노이즈를 피하도록 하는 형태로 영상이 렌더링 될 수 있다.

또는, 해당 구간에서 영상을 투사할 수 있는지 없는지 여부를 결정할 수 있다.

일 실시예에 따르면, 열차의 창마다 하나의 프로젝터가 할당될 수 있다. 이 경우, 각 프로젝터는 자신에게 할당된 창을 통한 시야각의 영상을 담당할 수 있다. 실시예에 따라, 각 프로젝터는 인접 프로젝터와 연동하여 멀티 프로젝션 기능을 수행할 수도 있다. (도 28 참조)

다른 실시예에 따르면, 열차의 창보다 적은 수의 프로젝터만 설치될 수 있다. 이 경우, 프로젝터들을 서로 연동하여 멀티 프로젝션 기능을 수행함으로써, 복수의 창들을 통한 시야각의 영상들을 커버할 수 있다. (도 29 참조)

일 실시예에 따른 프로젝션을 위한 터널 검측 방법은 열차의 진행방향과 직교하는 방향으로 배치되는 적어도 하나의 센서를 이용하여, 제1 시점에서 열차로부터 터널 내부의 벽면까지의 제1 거리 정보를 수집하는 단계; 상기 열차가 상기 진행방향으로 이동한 뒤 제2 시점에서, 상기 적어도 하나의 센서를 이용하여 상기 열차로부터 상기 터널 내부의 벽면까지의 제2 거리 정보를 수집하는 단계; 상기 제1 시점, 상기 제2 시점, 상기 제1 거리 정보, 상기 제2 거리 정보, 및 상기 적어도 하나의 센서들에 의한 측정 포인트들의 위치 정보에 기초하여, 상기 열차에 부착된 프로젝터에 의하여 투사되는 투사면의 형태를 예측하는 단계; 및 상기 예측된 형태를 원하는 형태로 변환하는 와핑 함수를 결정하는 단계를 포함한다.

제1 시점 및 제2 시점은 시간에 대한 정보(예를 들어, 정차역을 떠난 뒤 경과된 시간 등)일 수 있고, 또는 해당 시점에 운행 중인 열차의 위치에 대한 정보(예를 들어, 정차역으로부터 운행한 거리 등)일 수도 있다.

결정된 와핑 함수는 제1 시점 및 제2 시점에 대응하는 대표 시점에 대응하여 저장될 수 있다. 예를 들어, 와핑 함수는 제1 시점에 대응하여 저장되거나, 제2 시점에 저장되거나, 제1 시점과 제2 시점 사이의 시점에 대응하여 저장될 수 있다. 또는, 와핑 함수는 제1 시점의 위치 정보에 대응하여 저장되거나, 제2 시점의 위치 정보에 대응하여 저장되거나, 제1 시점의 위치와 제2 시점의 위치 사이의 위치 정보에 대응하여 저장될 수 있다.

VRT가 운행 중에, 현재 시점에 대한 정보를 수신하면, 해당하는 시점에 대응하여 저장된 와핑 함수를 획득할 수 있다. VRT는 와핑 함수를 이용하여 재생하고자 하는 컨텐츠를 렌더링한 뒤, 렌더링된 영상을 프로젝터를 통하여 투사할 수 있다. 이로 인하여, 터널 내부의 벽면이 투사에 이상적이지 않은 곡률을 가지더라도, 투사되는 영상이 왜곡되지 않고 원하는 형태를 가지도록 할 수 있다.

VRT는 운행 중, 정차역에서 출발한 이후 통과한 침목의 수를 카운트함으로써 현재 시점 내지 현재 위치를 추정할 수 있다. 경우에 따라, VRT는 시점 정보를 서버에서 수신할 수도 있다.

실시예에 따라, 미리 정해진 시점 간격마다 새로운 와핑 함수를 결정할 수도 있고, 터널 내부의 벽면의 곡률 변화가 미리 정해진 임계치를 초과하는 시점을 감지하여 새로운 와핑 함수를 결정할 수도 있다.

예를 들어, 터널 내부의 벽면의 곡률을 미리 정해진 복수의 카테고리들로 구분한 뒤, 동일한 카테고리를 유지하는 동안에는 미리 정해진 시점 간격마다 새로운 와핑 함수를 결정하고, 다른 카테고리로 변경되는 것을 감지함에 반응하여 새로운 와핑 함수를 결정할 수도 있다.

또한, 서로 중첩된 시점 영역에 해당하는 와핑 함수도 결정해 놓음으로써, 재생 시점의 상황에서 가장 적절한 와핑 함수를 선택하도록 구현될 수도 있다. 예를 들어, 제1 시점, 제2 시점, 제3 시점, 제4 시점의 순으로 열차가 진행하는 경우, 제1 시점 ~ 제3 시점의 와핑 함수 및 제2 시점 ~ 제4 시점의 와핑 함수가 결정될 수 있다.

와핑 함수는 열차에 저장될 수도 있고, 서버에 저장될 수도 있다. 와핑 함수가 서버에 저장되는 경우, 열차는 서버와 통신을 수행함으로써 열차의 운행에 필요한 구간의 와핑 함수를 선택적으로 수신할 수 있다. 만약 터널 내부에서는 통신이 원활하지 않고 정차역에서 통신이 원활한 경우, 열차가 정차역에 정차하는 동안 필요한 정보(예를 들어, 와핑 함수, 컨텐츠의 스케쥴 등)를 서버로부터 수신할 수 있다.

이하, VRT에 기반한 다양한 실시예들을 설명한다.

클라우드 기반 콘텐츠 재생 시스템

사용자(탑승자)와의 실시간 인터랙션을 통한 콘텐츠 재생

일 실시예에 따른 인터랙티브 컨텐츠 제공 방법은 터널 내부로 운행하기 전 역사에 정차 중에, 열차에 탑승 중인 승객들로부터 선호 컨텐츠에 대한 정보를 수집하는 단계; 상기 수집된 정보 및 미리 정해진 방식에 따라, 상기 터널 내부에서 재생할 컨텐츠를 결정하는 단계; 상기 열차가 상기 터널 내부를 운행 중, 상기 컨텐츠를 상기 터널 내부의 벽면에 투사하는 단계; 및 상기 컨텐츠의 재생으로 발생하는 수익금 중 일부를 상기 컨텐츠의 결정에 기여한 승객에게 분배하는 단계를 포함한다.

>복수의 승객들로부터 서로 다른 선호 정보가 수집되는 경우, 컨텐츠 결정 방식

-다수결

-랜덤

-퀴즈나 게임 등의 이벤트 결과 (서로 다른 선호 정보를 선택한 사람들끼리 편을 먹는 것도 가능)

-역사마다 미리 정해진 카테고리에 대한 가중치 결정하여 적용

디스플레이(프로젝터) 설치 위치 선정

열차의 상세정보(예를 들어, 량 수; 창의 크기, 위치, 개수; 열차 하측면의 툴 박스의 위치, 수량, 내부 여유 공간 등)를 획득하는 단계;

프로젝터의 상세정보(예를 들어, FoV 등)를 획득하는 단계;

운행구간의 상세정보(예를 들어, 열차와 터널간 이격거리, 터널 벽면의 굴곡, 진동 계수 등)를 획득하는 단계; 및

상기 열차의 상세정보, 상기 프로젝터의 상세정보, 및 상기 운행구간의 상세정보에 기초하여, 미리 정해진 메트릭(예를 들어, 비용, 안정성, 확장성 등)을 최적화하도록 상기 열차에 상기 프로젝터를 설치하는 위치(수직 위치, 수평 위치, 바퀴와 인접한 위치 혹은 바퀴와 이격된 위치 등)를 결정하는 단계

를 포함하는, VRT 설계 방법.

투사면 교정 영상 실시간 생성을 통한 자동 화면 왜곡 보정 기술

열차의 유형, 프로젝터의 유형, 및 운행구간의 유형의 조합에 따라 기 결정된 열차 운행 환경에서, 캘리브레이션을 통해 렌더링 파라미터를 결정하는 단계;

상기 열차의 유형, 상기 프로젝터의 유형, 및 상기 운행구간의 유형 중 적어도 하나를 변경함으로써, 새로운 열차 운행 환경을 설정하는 단계; 및

상기 새로운 열차 운행 환경에 대응하여, 상기 렌더링 파라미터를 갱신하는 단계

를 포함하는, 렌더링 방법.

> 최종 결과 영상을 기준으로 와핑 함수를 후 보정함으로써, 렌더링 파라미터를 갱신 가능

소셜 네트워킹을 통한 피드백에 기초한 캘리브레이션

열차가 터널 내부를 운행 중에, 상기 터널 내부의 벽면에 컨텐츠를 투사하는 단계;

열차에 탑승 중인 승객으로부터 상기 컨텐츠를 포함하는 영상을 피드백 받는 단계; 및

상기 피드백 받은 영상에 기초하여, 상기 컨텐츠를 투사하기 위한 렌더링 파라미터를 보정하는 단계

를 포함하는, 렌더링 방법.

> 상기 영상을 피드백한 승객에서 리워드를 제공하는 단계

> 상기 컨텐츠에 이벤트 요소(예를 들어, QR 코드 등)를 삽입함으로써 촬영을 유도하는 단계

> 이벤트 성으로 랜덤하게 특정 요소 노출 (예를 들어, 위젯 방식으로) -> 노출된 요소를 검출하여 촬영 시 리워드 제공 -> 광고 노출 효과

안전 콘텐츠

열차의 상세정보(예를 들어, 비상구의 위치, 비상구의 개폐방법 등)을 획득하는 단계;

운행구간의 상세정보(예를 들어, 현재 위치에서 가까운 역사나 대피소의 방향 등)을 획득하는 단계;

상기 열차의 상세정보 및 상기 운행구간의 상세정보에 기초하여, 안전 콘텐츠를 생성하는 단계; 및

상기 생성된 안전 콘텐츠를 터널 내부의 벽면에 투사하는 단계

를 포함하는, 안전 콘텐츠 제공 방법.

> 화재로 인하여 연기가 나는 환경에서 스피커 시스템과의 연동으로 프로젝터를 활용 가능. 예를 들어, 가까운 정차역 방향이 열차 후방 쪽인 경우, 열차 후방의 프로젝터로 녹색 영상을 재생하고, 스피커를 통하여 녹색 영상이 보이는 쪽으로 이동하라고 안내하는 등.

3D 디스플레이

무안경식 3D 디스플레이

>열차의 창에 필름을 부착하는 방식으로 양안 시차를 구현

캘리브레이션 시스템 ( vCali )

캘리브레이션 시스템은 벽면의 왜곡 정도를 파악할 수 있게 프로젝터로부터 정해진 패턴을 투사하고 이를 카메라로 입력 받아 벽면의 왜곡 정도를 파악하여 보정한다.

A. 시스템 구성 ( 열차 차량 1량 기준 )

i. 프로젝터, 컴퓨터, lte 모듈 ( 통신모듈 : 공유기에 연결 ), 공유기 ( 프로젝터와 pc들 연결 ), 모니터 확장 외장 장치 ( 프로젝터 3대와 1대의 재생장치(pc)연결 ) (도 30 및 도 31 참조)

ii. 프로젝터는 특별 제작된 하우징에 고정되어 열차 하부에 장착되며, 재생 장치, 공유기, lte 모듈, 모니터 확장 외장 장치를 포함한 하우징 또한 열차 하부에 장착된다. (도 32 내지 도 34 참조) 도 34를 참조하면, 위부터 LTE 모듈, 모니터 확장 외장 장치, 재생 장치(미니PC), 공유기, 모니터 확장 외장 장치, 재생장치(미니PC)가 설치될 수 있다.

iii. 재생 장치(mini pc)는 lte모듈을 통한 원격 제어로 조작이 가능하다.

B. 시스템 동작 파트

시스템 동작 파트는 패턴 생성부, 패턴 분석부, 실시간 투사부 3가지로 나뉘어진다.

i. 패턴 생성부

1. 패턴 생성부는 프로젝터와 카메라의 관계를 한장으로 파악할 수 있는 패턴을 제작한다 (예를 들어, Apriltag (https ://april. eecs . umich . edu /software/ apriltag .html) 참조). 이때 투사되는 패턴의 개수를 조정할 수 있으며 컴퓨터의 현재 시간을 함께 투사해 투사되는 순간의 시간도 화면에 같이 저장한다. (도 35 참조)

ii. 패턴 분석부

1. 패턴 생성부에서 생성한 패턴을 기차가 움직이는 동안 바깥(터널) 벽면에 투사하고 투사된 패턴을 기차 내부의 카메라로 녹화해 획득한다. (도 36 참조)

2. 1에서 획득한 카메라 정보 위에 열차 창문 기준으로 사용자가 사각형으로 투사되었으면 하는 스크린 영역을 입력하여 창문 밖으로 보정되었으면 하는 타겟 스크린 영역을 지정한다.

3. 1에서 획득한 카메라 정보 위에 패턴 정보를 이용하여 벽면의 프로젝션 화면의 왜곡 정보를 파악함과 동시에 화면에 같이 투사되었던 시간 정보를 통해 매 시간마다의 왜곡 정보를 파악한다.

4. 2에서 지정한 타겟 스크린 영역을 보정하기 위해 매시간 벽면 왜곡 정보를 보정해주는 값을 구한다.

5. vProbe에서 획득한 시간과 거리에 따른 정보를 이용하여 4에서 구한 보정 값을 거리에 따른 보정 정보로 변환한다. ( 거리-보정 정보 함수 획득 )

iii. 실시간 투사부 ( 통합 시스템 )

1. 패턴분석부 5의 '거리-보정 정보 함수'를 통해 변환한 정보를 이용하여, vProbe에서 전달 받은 위치 정보에 맞춰 타겟 스크린 영역에 영상을 투사한다. (도 37 참조)

위치 측정 시스템 ( vProbe )

위치 측정 시스템은 차량 하부에 설치하는 거리센서 데이터에 기반하여 침목을 검출한다. 철도의 침목은 동일 간격으로 나열되어지므로 이를 활용하여 거리, 운행 상태(운행 및 정지)를 분류하고 데이터 베이스에 기반하여 현재 구간을 파악한다.

C. 시스템 구성 (도 38 내지 도 43 참조)

i. 거리 센서(LIDAR-Lite 센서 + Teensy 보드 기반), PC

ii. 기 제작된 거리 센서를 차량 하부 침목 위(침목을 검출 하기 위해서)에 부착하고, PC에 USB로 연결한다.

iii. 거리센서는 미리 지정된 입력 주기(250Hz ~ 400Hz)마다 센서로부터 지면까지의 거리를 측정한다.

D. 시스템 동작 파트

시스템 동작 파트는 침목 검출 부, 운행 상태 (운행, 정지), 검출 부, 구간 및 위치 검출 부, 실시간 업데이트 부로 나뉘어 진다. 위치 검출은 침목과 운행 상태를 지속적으로 검출 및 수집하여 구축된 데이터 베이스를 기반으로 이루어지며, 업데이트 부에서 해당 정보들을 PC에 주기적으로 업데이트를 진행한다.

i. 침목 검출 부

1. Moving Window*의 평균보다 특정 OFFSET(ex. 1cm)이 낮을(가까울) 경우, 침목 위에 위치한다고 판단하고, 평균보다 특정 OFFSET이 높을(먼) 경우, 다시 지면 위에 위치한다고 판단한다. 지면→침목으로 변화할 때 누적 침목 개수를 1개 늘린다.

2. noise에 강건하게 대응하기 위해, 위와 같은 상태가 특정 count(ex. 2번) 이상 기록될 때만 지면→침목, 침목→지면으로 측정한다.

3. *Moving Window : 기준 지면 높이(ground, 침목이 아닌곳)의 변화에 강건하게 대응하기 위해, 지속적으로 입력 받는 거리 센서로부터 지면까지의 거리를 특정 개수(200~1000개)만큼 queue에 저장하고, 이를 Moving Window^*로 정의한다.

ii. 운행 상태 (운행, 정지) 검출 부

1. 거리 센서 데이터의 noise에 강건하게 대응하기 위해, Moving Window의 표준편차가 특정 Threshold (ex. 3) 이하일 때는 침목을 검출하지 않고, 이 상태가 특정 시간만큼 지속시에는 운행 상태를 정지로 판단한다.

iii. 구간 및 위치 검출 부

1. 구간 파악

A. 운행→정지로 운행 상태가 바뀌었을 때, 누적된 침목 개수가 데이터베이스에서 측정된 현재 구간 목표 침목 개수에서 특정 오차율(ex. 5%) 이내에 들어온다면 목표 역까지 도달한 것으로 판단, 현재 역 및 구간 정보를 업데이트 한다.

B. 운행→정지로 운행 상태가 바뀌면, 검출한 침목 개수를 초기화 시킨다.

C. 현재 방향의 종점에 도달하면, 목표 방향을 반대로 바꾸고 이에 맞는 데이터베이스를 세팅한다.

2. 구간 내 위치 파악

A. 데이터베이스 내에 구간의 전체 침목 개수 대비 동일 구간에서 현재 누적된 침목의 비율로 매개변수화(parameterization, 0~1 range의 실수)하여 현재 구간내 차량의 위치를 구할 수 있다.

iv. 실시간 업데이트 부

1. 실제 운행 시 특정 시간주기(ex. 0.1s, 1s) 마다 시간, 구간, 침목개수를 업데이트하며, 이 주기마다 소켓통신을 활용하여 캘리브레이션 시스템의 실시간 투사부(통합 시스템) 제어 PC에 정보를 업데이트한다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (4)

1. 열차의 진행방향과 직교하는 방향으로 배치되는 적어도 하나의 센서를 이용하여, 제1 시점에서 열차로부터 터널 내부의 벽면까지의 제1 거리 정보를 수집하는 단계;
   상기 열차가 상기 진행방향으로 이동한 뒤 제2 시점에서, 상기 적어도 하나의 센서를 이용하여 상기 열차로부터 상기 터널 내부의 벽면까지의 제2 거리 정보를 수집하는 단계;
   상기 제1 시점, 상기 제2 시점, 상기 제1 거리 정보, 상기 제2 거리 정보, 및 상기 적어도 하나의 센서들에 의한 측정 포인트들의 위치 정보에 기초하여, 상기 열차에 부착된 프로젝터에 의하여 투사되는 투사면의 형태를 예측하는 단계; 및
   상기 예측된 형태를 원하는 형태로 변환하는 와핑 함수를 결정하는 단계
   를 포함하는, 프로젝션을 위한 터널 검측 방법.
   
2. 삭제
3. 열차의 유형, 프로젝터의 유형, 및 운행구간의 유형의 조합에 따라 기 결정된 열차 운행 환경에서, 캘리브레이션을 통해 렌더링 파라미터를 결정하는 단계;
   상기 열차의 유형, 상기 프로젝터의 유형, 및 상기 운행구간의 유형 중 적어도 하나를 변경함으로써, 새로운 열차 운행 환경을 설정하는 단계; 및
   상기 새로운 열차 운행 환경에 대응하여, 상기 렌더링 파라미터를 갱신하는 단계
   를 포함하는, 렌더링 방법.
   
4. 하드웨어와 결합되어 제1항 및 제3항 중 어느 하나의 항의 방법을 실행시키기 위하여 기록 매체에 저장된 컴퓨터 프로그램.
   

Images