KR102231023B1 - 컨텐츠를 투사하는 방법 및 장치 - Google Patents

컨텐츠를 투사하는 방법 및 장치 Download PDF

Info

Publication number
KR102231023B1
KR102231023B1 KR1020190129805A KR20190129805A KR102231023B1 KR 102231023 B1 KR102231023 B1 KR 102231023B1 KR 1020190129805 A KR1020190129805 A KR 1020190129805A KR 20190129805 A KR20190129805 A KR 20190129805A KR 102231023 B1 KR102231023 B1 KR 102231023B1
Authority
KR
South Korea
Prior art keywords
train
content
tunnel
vehicle
slots
Prior art date
Application number
KR1020190129805A
Other languages
English (en)
Inventor
권재환
김지환
김재동
김영휘
Original Assignee
주식회사 카이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 카이 filed Critical 주식회사 카이
Priority to PCT/KR2019/013738 priority Critical patent/WO2021075611A1/ko
Priority to KR1020190129805A priority patent/KR102231023B1/ko
Application granted granted Critical
Publication of KR102231023B1 publication Critical patent/KR102231023B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H04N21/2223—Secondary servers, e.g. proxy server, cable television Head-end being a public access point, e.g. for downloading to or uploading from clients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

일 실시예에 따른 컨텐츠를 투사하는 방법 및 장치는 열차의 제1 위치를 추적하고, 열차의 운행 스케줄에 대응하는 적어도 하나의 터널 내 슬롯들을 위한 컨텐츠를 다운로드하고, 열차의 운행에 따라 추적한 제2 위치에 기초하여 열차가 슬롯들 중 어느 하나의 슬롯에 진입하였는지 여부를 판단한 결과에 따라 어느 하나의 슬롯에 대응하는 보정 정보에 기초하여 어느 하나의 슬롯에 할당된 컨텐츠를 투사한다. 이때, 운행 스케줄은 제1 위치 및 제1 위치를 추적한 시간을 복수의 열차들의 운행 스케줄들 중 어느 하나에 매칭함으로써 결정된 것이다.

Description

컨텐츠를 투사하는 방법 및 장치{METHOD AND APPARATUS OF PROJECTING CONTENT}
아래 실시예들은 컨텐츠를 투사하는 방법 및 장치에 관한 것이다.
현재 도시 철도 및/또는 지하철 열차의 미디어 시스템은 대부분 LCD (Liquid crystal display) 화면 또는 LED(Light-Emitting Diode) 패널 형태로 구성되어 있다. 이러한 형태의 미디어 시스템은 스마트 폰 등 모바일 기기에 집중되어 있는 승객들의 시선을 돌리지 못하므로 안전 등을 위한 주요 내용 공지 및/또는 광고 전달 효과가 매우 낮다.
일 실시예에 따르면, 변화하는 터널의 형태에 따라 실시간으로 컨텐츠를 보정하여 컨텐츠를 재생할 수 있다.
일 실시예에 따르면, 터널을 계측하여 투사 가능 영역을 판단함으로써 제약이 많은 터널 내 장소 및 구간에 효과적으로 컨텐츠를 재생할 수 있다.
일 실시예에 따르면, 웹 클라우드를 통해 보다 편리하게 컨텐츠의 편성 및 관리를 수행할 수 있다.
일 실시예에 따르면, 컨텐츠를 투사하는 방법은 열차의 제1 위치를 추적하는 단계; 상기 열차의 운행 스케줄- 상기 운행 스케줄은 상기 제1 위치 및 상기 제1 위치를 추적한 시간을 복수의 열차들의 운행 스케줄들 중 어느 하나에 매칭함으로써 결정됨 -에 대응하는 적어도 하나의 터널 내 슬롯들을 위한 컨텐츠를 다운로드하는 단계; 상기 열차의 운행에 따른 제2 위치를 추적하는 단계; 상기 제2 위치에 기초하여, 상기 열차가 상기 슬롯들 중 어느 하나의 슬롯에 진입하였는지 여부를 판단하는 단계; 및 상기 판단 결과에 따라, 상기 어느 하나의 슬롯에 대응하는 보정 정보에 기초하여 상기 어느 하나의 슬롯에 할당된 컨텐츠를 투사하는 단계를 포함한다.
상기 제2 위치를 추적하는 단계는 상기 제2 위치가 상기 적어도 하나의 터널 구간에 해당하는지 여부를 판단하는 단계를 포함할 수 있다.
상기 열차는 상기 열차의 외부에 설치된 프로젝터, 상기 열차가 주행하는 선로 상에 설치된 침목의 제1 개수를 카운트하는 침목 센서, 상기 선로 상에 설치된 조명의 제2 개수를 카운트하는 조명 센서, 상기 열차의 움직임을 감지하는 자이로 센서, 상기 열차의 가속도를 감지하는 가속도 센서, 상기 프로젝터가 투사한 영상을 촬영하는 RGB 카메라, 및 상기 영상의 투사면과의 깊이를 측정하는 깊이 카메라 중 적어도 하나를 포함할 수 있다.
상기 제2 위치가 상기 적어도 하나의 터널 구간에 해당하는지 여부를 판단하는 단계는 상기 열차가 주행하는 선로 상에 설치된 침목의 제1 개수 및 상기 선로 상에 설치된 조명의 제2 개수 중 적어도 하나에 기초하여, 상기 제2 위치가 상기 적어도 하나의 터널 구간에 해당하는지 여부를 판단하는 단계를 포함할 수 있다.
상기 열차의 운행에 따른 제2 위치를 추적하는 단계는 상기 열차의 운행 여부를 판단하는 단계; 및 상기 운행 여부의 판단에 따라 상기 열차의 운행에 따른 제2 위치를 추적하는 단계를 포함할 수 있다.
상기 슬롯들 중 어느 하나의 슬롯에 진입하였는지 여부를 판단하는 단계는 상기 제2 위치에서의 깊이 값, 상기 제2 위치까지 카운트 된 침목의 제1 개수, 및 상기 제2 위치까지 카운트 된 조명의 제2 개수 중 적어도 하나에 기초하여 상기 어느 하나의 슬롯에 진입하였는지 여부를 판단하는 단계를 포함할 수 있다.
상기 컨텐츠를 투사하는 방법은 깊이 센서에 의해 수집된 상기 적어도 하나의 터널의 깊이 값, 침목 센서에 의해 카운트 된 침목의 제1 개수에 의해 추정된 상기 적어도 하나의 터널의 위치, 조명 센서에 의해 카운트 된 조명의 제2 개수에 의해 추정된 상기 적어도 하나의 터널의 위치, 및 가속도 센서에 의해 감지된 상기 열차의 가속도 중 적어도 하나에 기초하여 상기 슬롯들의 위치를 획득하는 단계를 더 포함할 수 있다.
상기 보정 정보는 상기 어느 하나의 슬롯 내에서 고정될 수 있다.
상기 컨텐츠를 투사하는 방법은 상기 적어도 하나의 터널 내에서 서로 다른 깊이, 서로 다른 위치 또는 서로 다른 자세로 투영된 패턴들을 촬영한 영상들을 이용하여 상기 보정 정보를 산출하는 단계를 더 포함할 수 있다.
상기 보정 정보를 산출하는 단계는 상기 열차의 외부에 설치된 프로젝터에 의해 상기 적어도 하나의 터널 내의 서로 다른 깊이, 서로 다른 위치 또는 서로 다른 자세로 투영된 패턴들을 상기 열차 내부의 카메라가 상기 열차의 창문을 통해 촬영한 제1 영상들, 상기 패턴들의 원본 영상, 상기 패턴들을 상기 열차의 외부에 설치된 RGB 카메라가 촬영한 제2 영상들에 기초하여 상기 창문의 위치를 기준으로 하는 상기 열차 내부의 카메라 및 상기 프로젝터 사이의 위치 관계를 나타내는 3차원 모델을 생성하는 단계; 및 상기 3차원 모델에 기초하여 상기 보정 정보를 산출하는 단계를 포함할 수 있다.
상기 어느 하나의 슬롯에 할당된 컨텐츠를 투사하는 단계는 상기 어느 하나의 슬롯에 대응하는 보정 정보에 기초하여 상기 적어도 하나의 터널 내에서 상기 컨텐츠를 투사할 투사면과의 거리 및 상기 투사면의 굴곡 정도 중 적어도 하나를 변형하여 상기 컨텐츠를 투사하는 단계를 포함할 수 있다.
상기 슬롯들마다에 대한 광고 노출 위치 및 광고 노출 시간 중 적어도 하나는 서로 상이하게 결정될 수 있다.
일 실시예에 따르면, 컨텐츠를 투사하는 방법은 열차에 포함된 제1 차량의 제1 모듈을 이용하여, 상기 열차의 운행 스케줄에 대응하는 적어도 하나의 터널을 위한 컨텐츠를 다운로드하는 단계; 상기 제1 차량에 선행하는 제2 차량의 제2 모듈을 이용하여, 상기 열차의 운행에 따른 제2 차량의 터널 내 위치를 추적하는 단계; 상기 제2 모듈을 이용하여, 상기 제2 차량의 터널 내 위치에서 상기 터널 내부의 투사면 정보를 수집하는 단계; 상기 제1 차량의 제1 모듈을 이용하여, 상기 투사면 정보에 기초하여 생성되는 보정 정보를 획득하는 단계; 상기 제1 모듈을 이용하여, 상기 열차의 운행에 따른 상기 제1 차량의 터널 내 위치를 추적하는 단계; 및 상기 제1 모듈을 이용하여, 상기 보정 정보에 기초하여 상기 터널에 할당된 컨텐츠를 투사하는 단계를 포함한다.
상기 열차의 운행 스케줄은 상기 제1 차량의 위치 및 상기 제1 차량의 위치를 추적한 시간을 복수의 열차들의 운행 스케줄 중 어느 하나에 매칭함으로써 결정될 수 있다.
상기 제2 차량의 제2 모듈은 상기 제2 차량의 외부에 설치된 프로젝터, 상기 제2 차량이 주행하는 선로 상에 설치된 침목의 제1 개수를 카운트하는 침목 센서, 상기 선로 상에 설치된 조명의 제2 개수를 카운트하는 조명 센서, 상기 제2 차량의 움직임을 감지하는 자이로 센서, 상기 제2 차량의 가속도를 감지하는 가속도 센서, 상기 프로젝터가 투사한 영상을 촬영하는 RGB 카메라, 및 상기 영상의 투사면과의 깊이를 측정하는 깊이 카메라 중 적어도 하나를 포함할 수 있다.
상기 제2 차량의 터널 내 위치를 추적하는 단계는 상기 제2 차량이 주행하는 선로 상에 설치된 침목의 제1 개수 및 상기 선로 상에 설치된 조명의 제2 개수 중 적어도 하나에 기초하여, 상기 제2 차량의 위치가 상기 적어도 하나의 터널 구간에 해당하는지 여부를 판단하는 단계를 포함할 수 있다.
상기 터널 내부의 투사면 정보를 수집하는 단계는 상기 적어도 하나의 터널 내에서 서로 다른 깊이, 서로 다른 위치 또는 서로 다른 자세로 투영된 패턴들을 촬영한 영상들을 이용하여 상기 터널 내부의 투사면 정보를 수집하는 단계를 포함할 수 있다.
상기 투사면 정보에 기초하여 생성되는 보정 정보를 획득하는 단계는 상기 투사면 정보를 기초로, 상기 제1 차량의 제1 모듈에 포함된 RGB 카메라와 상기 제1 차량 내부의 카메라 간의 위치 관계를 나타내는 3차원 모델을 생성하는 단계; 및 상기 3차원 모델에 기초하여 상기 보정 정보를 획득하는 단계를 포함할 수 있다.
일 실시예에 따르면, 컨텐츠를 투사하는 장치는 열차의 제1 위치를 추적하고, 상기 열차의 운행 스케줄- 상기 운행 스케줄은 상기 제1 위치 및 상기 제1 위치를 추적한 시간을 복수의 열차들의 운행 스케줄들 중 어느 하나에 매칭함으로써 결정됨 -에 대응하는 적어도 하나의 터널 내 슬롯들을 위한 컨텐츠를 다운로드하고, 상기 열차의 운행에 따른 제2 위치를 추적하고, 상기 제2 위치에 기초하여, 상기 열차가 상기 슬롯들 중 어느 하나의 슬롯에 진입하였는지 여부를 판단하는 프로세서; 및 상기 판단 결과에 따라, 상기 어느 하나의 슬롯에 대응하는 보정 정보에 기초하여 상기 어느 하나의 슬롯에 할당된 컨텐츠를 투사하는 프로젝터를 포함한다.
일 측에 따르면, 변화하는 터널의 형태에 따라 실시간으로 컨텐츠를 보정하여 컨텐츠를 재생할 수 있다.
일 측에 따르면, 터널을 계측하여 투사 가능 영역을 판단함으로써 제약이 많은 터널 내 장소 및 구간에 효과적으로 컨텐츠를 재생할 수 있다.
일 측에 따르면, 웹 클라우드를 통해 보다 편리하게 컨텐츠의 편성 및 관리를 수행할 수 있다.
도 1은 일 실시예에 따른 컨텐츠를 투사하는 시스템의 구성을 도시한 도면.
도 2는 일 실시예에 따른 열차의 구성을 도시한 도면.
도 3은 일 실시예에 따른 컨텐츠를 투사하는 방법을 나타낸 흐름도.
도 4는 일 실시예에 따른 보정 정보를 산출하는 방법을 설명하기 위한 도면.
도 5는 일 실시예에 따른 컨텐츠를 투사하는 방법을 나타낸 흐름도.
도 6은 일 실시예에 따른 컨텐츠를 투사하는 장치의 블록도.
본 명세서에서 개시되어 있는 특정한 구조적 또는 기능적 설명들은 단지 기술적 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 실시예들은 다양한 다른 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이해되어야 한다. 예를 들어 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~간의"와 "바로~간에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 일 실시예에 따른 컨텐츠를 투사하는 시스템의 구성을 도시한 도면이다. 도 1을 참조하면, 일 실시예에 따른 시스템(100)은 서버(110), 열차(130) 및 컨텐츠 관리 서버(150)를 포함할 수 있다.
서버(110)는 열차(130)와의 동기화에 의해 열차(130)와 실시간으로 열차 정보를 주고받을 수 있다. 서버(110)는 컨텐츠 관리 서버(150)로부터 수신한, 스케줄링된 컨텐츠를 열차(130)에게 전달할 수 있다. 서버(110)는 열차 운행 및 컨텐츠 제공 등을 제어할 수 있다. 서버(110)는 예를 들어, 몇 호선 어느 열차의 어느 차량에서 어떠한 컨텐츠를 투사 및 재생해야 하는지를 제어할 수 있다. 서버(110)는 열차에 설치된 투사체(예를 들어, 웹캠(Webcam) 또는 카메라)를 원격으로 관리할 수 있다.
또한, 서버(110)는 열차가 운행을 시작하면 해당 열차로부터 위치를 수신하고, 복수의 열차의 운행 스케줄들 중 열차의 위치 및 해당 위치를 추적한 시간에 매칭되는 어느 하나의 운행 스케줄을 선택한 뒤, 선택된 운행 스케쥴에 기초하여 해당 열차를 특정할 수 있다.
서버(110)는 클라우드를 기반으로 열차(130)에서의 구간 별/시간 별 컨텐츠 재생을 실시간으로 제어할 수도 있다. 서버(110)는 예를 들어, 단일의 서버 컴퓨터 또는 이와 유사한 시스템이거나, 또는 하나 이상의 서버 뱅크들(server banks) 또는 그 외 다른 배열들로 배열되는 복수의 서버들일 수 있다. 서버(110)는 단일 시설에 놓일 수도 있고, 혹은 많은 서로 다른 지리적 위치들 간에 분산된 서버 "클라우드(cloud)"일 수도 있다. 서버(110)는 예를 들어, 웹 클라우드 서버일 수 있다.
열차(130)는 서버(110)로부터 컨텐츠를 수신하고, 수신한 컨텐츠를 터널(140) 내의 투사면(145)에 투사하여 재생할 수 있다. 컨텐츠가 재생되는 투사면(145)은 예를 들어, 슬롯(들)에 해당할 수 있다. '슬롯(들)'은 터널 내에 컨텐츠를 투사하기 위하여 미리 정해진 영역(들) 또는 구간(들) 또는 컨텐츠의 투사 적합 구간(들)에 해당할 수 있다. 하나의 슬롯 내에 하나의 컨텐츠 또는 다수 개의 컨텐츠가 재생될 수도 있고, 여러 개의 슬롯에 하나의 컨텐츠가 재생될 수도 있다. 슬롯 별 광고 노출 위치 및 슬롯 별 광고 노출 시간 등은 서로 상이할 수 있다. 이때, 슬롯 별 광고비는 해당 선로의 주요 탑승객의 특성을 고려하여 각 열차 및/또는 각 열차의 차량 별로 다르게 책정될 수 있다.
서버(110)는 예를 들어, 터널(140) 내에서 열차(130)의 창문 영역의 깊이 정보가 (예를 들어, 10초 이상) 일정하게 나오는 구간을 슬롯화할 수 있다.
열차(130)는 예를 들어, 터널(140)의 투사면(145)에 컨텐츠를 투사하는 프로젝터, 프로젝터가 투사한 영상을 촬영하는 RGB 카메라, 및 영상이 투사되는 투사면(145)까지의 깊이를 측정하는 깊이 카메라 등을 포함할 수 있다 또한, 열차(130)는 열차(130)의 위치를 추정하기 위한 센서를 더 포함할 수 있다. 예를 들어, 열차(130)는 열차(130)가 주행하는 선로 상에 설치된 침목의 제1 개수를 카운트하는 침목 센서 및/또는 선로 상에 설치된 조명의 제2 개수를 카운트하는 조명 센서를 포함할 수 있다. 또한, 열차(130)는 열차(130)의 움직임을 추정하기 위한 센서를 더 포함할 수 있다. 예를 들어, 열차(130)는 열차(130)의 움직임을 감지하는 자이로 센서 및/또는 열차(130)의 가속도를 감지하는 가속도 센서를 포함할 수 있다. 경우에 따라, 열차(130)는 투사면(145)에 투사된 컨텐츠를 열차(130)의 창문을 통해 촬영하는 카메라(또는 웹캠)를 더 포함할 수 있다.
자이로 센서, 가속도 센서, RGB 카메라 및 깊이 카메라는 예를 들어, 리얼 센스 카메라와 같이 하나의 제품으로 구성될 수 있다. 침목 센서는 선로 상에 일정 간격으로 설치된 침목을 인식하는 거리 센서에 해당할 수 있다. 일 예로, 침목 센서는 침목을 인식하기 위하여 미리 정해진 스펙의 거리 센서(예를 들어, 레이저 센서 등)를 포함할 수 있다. 일 실시예에 따르면, 침목 센서의 샘플링 속도와 관련된 스펙은 열차의 속도를 고려하여 결정될 수 있다. 또한, 조명 센서는 선로 상에 설치된 조명을 인식하는 영상 센서에 해당할 수 있다. 일 예로, 조명 센서는 조명을 인식하기 위하여 미리 정해진 스펙의 영상 센서(예를 들어, RGB 카메라 등)를 포함할 수 있다.
서버(110)는 열차(130)의 외부에 설치된 깊이 카메라 또는 깊이 센서에 의해 열차(130)의 해당 위치에서의 깊이 정보를 수집하고, 침목 센서에 의해 수집된 침목의 카운트 개수에 의해 해당 열차의 위치를 추정할 수 있다. 이에 따라 서버(110)는 열차의 위치에 따른 깊이 정보를 미리 획득할 수 있다.
열차(130)는 열차(130) 외부에 설치된 프로젝터를 포함하는 모듈을 관리하고, 서버(110)로부터 스케줄 및 컨텐츠를 다운로드할 수 있다. 또한, 열차(130)는 적어도 하나의 터널(140) 내 슬롯들에 대한 슬롯 정보 및 터널 내 투사 구간에 대한 정보를 함께 다운로드할 수 있다.
이하에서 '컨텐츠'는 영상 컨텐츠 및/또는 영상, 및 음향 등을 포함하는 멀티미디어 컨텐츠일 수 있다. 컨텐츠는 예를 들어, 광고 컨텐츠, 공익 컨텐츠 또는 비상 공지 컨텐츠 등일 수 있다. 열차(130)는 컨텐츠에 대응하는 컨텐츠 레이어 이외에 다른 레이어를 통해 날씨, 현재 위치 등과 같은 다양한 정보를 컨텐츠와 함께 제공할 수도 있다. 열차(130)는 컨텐츠를 투사하는 시점에, 다른 레이어를 컨텐츠 레이어와 실시간으로 합성하여 렌더링함으로써 컨텐츠와 함께 다양한 정보를 제공할 수도 있다.
실시예에 따라서, 열차(130)의 기관실에는 비상 공지 컨텐츠의 투사를 위한 특수 버튼이 마련될 수 있다. 예를 들어, 열차(130)의 사고 또는 화재 등의 경우, 기관사가 특수 버튼을 누름으로써 현재 위치에 기반하여 탈출 방향을 지시하는 비상 공지 컨텐츠가 투사면(145) 또는 그 밖의 터널 내벽에 투사될 수 있다.
열차(130)는 예를 들어, 도시 철도, 지하철, 일반 철도, 경전철 및/또는 광역 철도일 수 있으며, 적어도 하나의 차량을 포함할 수 있다. 열차(130)의 각 시스템은 모듈화될 수 있다. 열차(130)는 예를 들어, UPS(Uninterrupted Power Supply)를 포함하고, UPS를 통해 파워를 컨트롤하거나, 및/또는 비상 전원 오프 시에 모듈을 구동할 수 있다.
컨텐츠 관리 서버(150)는 서버(110)에게 열차(130)에서 재생할 컨텐츠를 업로드(upload)할 수 있다. 또한, 컨텐츠 관리 서버(50)는 서버(110)에게 열차(130)에서 재생할 컨텐츠에 대응하는 컨텐츠 스케줄을 업데이트(update)할 수 있다.
서버(110) 및/또는 컨텐츠 관리 서버(150)는 슬롯 별로 컨텐츠 및 스케줄을 관리할 수 있다. 또한, 서버(110) 및/또는 컨텐츠 관리 서버(150)는 로그 데이터(log data)를 관리할 수 있다.
서버(110)와 컨텐츠 관리 서버(150)는 도 1에 도시된 것과 같이 서로 별도의 개체로 구별될 수도 있고, 실시예에 따라서, 하나의 서버로 통합될 수도 있다.
이하에서 설명하는 투사 장치는 열차(130) 자체에 해당할 수도 있고, 열차(130)의 차량 별로 별도로 구비된 모더레이터(moderator)일 수도 있다. 모더레이터는 예를 들어, 차량의 창문 개수 별로 별도로 구비될 수 있다. 열차(130)의 구성은 아래의 도 2를 참조하여 구체적으로 설명한다.
도 2는 일 실시예에 따른 열차의 구성을 도시한 도면이다. 도 2를 참조하면, 제1 차량(210) 및 제2 차량(230)을 포함하는 열차가 도시된다.
열차의 각 차량(210, 230) 외부에는 리얼 센스 카메라 및 프로젝터가 설치될 수 있다. 리얼 센서 카메라 및 프로젝터는 하나의 모듈로 구성될 수 있다. 모듈은 각 차량의 좌, 우측 창문의 하부에 설치될 수 있다. 예를 들어, 제1 차량(210)의 왼쪽 창문 하부에는 제1-1 모듈(221), 제1-2 모듈(223)이 설치될 수 있다. 이러한 모듈은 제1 차량(210)의 왼쪽 창문 하부 이외에 오른쪽 창문 하부에도 설치될 수 있다. 마찬가지로, 제2 차량(230)의 왼쪽 창문 하부에는 제2-1 모듈(231), 제2-2 모듈(233)이 설치될 수 있다.
열차의 각 차량(210, 230)에는 해당 차량이 주행하는 선로 상에 설치된 침목을 인식하고, 인식된 침목의 제1 개수를 카운트하는 침목 센서, 및 선로 상에 설치된 조명을 인식하고, 인식된 조명의 제2 개수를 카운트하는 조명 센서가 포함될 수 있다. 침목 센서 및 조명 센서는 각 차량(210, 230)의 외부에 설치될 수 있다. 이 밖에도, 각 차량(210, 230)의 외부에는 프로젝터가 투사한 영상을 촬영하는 RGB 카메라, 및 영상의 투사면과의 깊이를 측정하는 깊이 카메라 등이 설치될 수 있다.
일 실시예에 따르면, 열차에 포함된 각 차량(210, 230)은 카운트한 침목의 제1 개수 및/또는 조명의 제2 개수에 의해 임의의 열차에 포함된 차량들이 서로 동일한 열차에 포함되었는지 또는 해당 차량이 동일 열차 내 어느 차량에 연결되는지 여부 또한 파악할 수 있다. 각 차량(210, 230)은 예를 들어, 시간 대비 카운트한 침목의 제1 개수 또는 조명의 제2 개수의 증가량이 일정하다면, 각 차량들이 동일한 열차에 포함된 것임을 파악할 수 있다. 또한, 각 차량(210, 230)은 카운트한 제1 개수 및/또는 조명의 제2 개수의 총량에 의해 해당 열차에서 해당 차량의 선후 위치 관계를 파악할 수 있다.
일 실시예에 따른 침목 센서 기반 알고리즘(vProbe)은 표 1과 같이 구현될 수 있다.
Input
침목센서에서 들어오는 raw 거리인풋 데이터 (정수, cm단위, 초당 250~400번정도 들어옴)
정차상태에서 구동해야 함.
Output
현재 구간, 운행상태(정지/운행), 현재 구간 내 침목 개수
침목 판정 알고리즘
1. 모든 판정은 한 프레임의 침목 데이터가 아닌 Moving Window(현재 200프레임)의 평균과 표준편차를 기준으로 한다.
2. 매 프레임 새로운 Input 데이터에 대해 Moving Window 정보를 업데이트 한다.
3. 새로운 Input 데이터가 Moving Window의 평균보다 특정 OFFSET (현재 1cm, 침목 높이와 연계될 수 있음) 이상 높거나 낮은 수치가 특정회수(현재 2회, noise 방지를 위함) 이상 연속적으로 나오면 상태를 변경한다. (높으면 ground, 낮으면 sleeper)
4. 기존의 상태(ground/sleeper)와 비교하여 상태가 바뀌면 업데이트 한다. (ground→sleeper로 갈 시 침목 개수를 1개 늘린다.)
운행상태 판정 알고리즘
1. 만약 Moving Window의 평균이 특정 OFFSET(예를 들어, 판암 차량기지)보다 작거나, Moving Window의 표준편차가 특정값(현재 2.5) 이하일 때(Noise만 있는 것으로 판단) stop count를 높인다.
2. stop count 가 특정값 이상이 되면(현재 1200, 약 4~5초) 정차로 판단, 구간 판정 알고리즘으로 넘어간다. stop count가 특정 값 이상이 되기 전 움직임(1이 아닌 것)이 감지되면 stop count를 초기화한다.
구간 판정 알고리즘
1. 구간 판정은 미리 입력된 데이터 기준으로 한다. (차후 새로운 호선이거나 알고리즘이 변경될 시 수동으로 데이터 업데이트 필요)
2. 처음 프로그램 돌릴 시 vProbe_v2/data/log/final_station_log.txt 파일을 읽어와 현재 목표 구간을 업데이트한다. (파일이 없을 시 판암-신흥으로 시작함)
3. 운행상태 판정 알고리즘으로 운행 후 정차 시 침목 수와 목표 구간의 침목 수를 비교하여, 특정 오차범위 (현재 +-10%) 내라면 맞게 온 것으로 판단, 다음 구간으로 목표 구간을 업데이트한다.
a. 정차 후 특정시간이상 (현재 15~20분; 약 2~3분으로 훨씬 줄여도 될듯) 운행을 하지 않는다면, 시작 구간으로 변경한다. (시작 구간 리스트: 판암-신흥, 반석-지족, 정부청사-갈마, 정부청사-시청)
b. 침목수가 너무 적거나 오차범위 밖이면 구간 업데이트를 하지 않는다.
만약 침목수가 1000개 이하이면 정상 구간내가 아니라고 판단, 다시 시작구간으로 목표구간을 변경한다. (예: 신흥-대동 후 200개 가량의 침목을 세고 정차한 경우; 판암 차량기지에서 판암 역까지 간 것을 판암-신흥이라고 판단한 것이므로 다시 목표 구간을 판암-신흥으로 갱신한다.)
c. 만약 시작 역(판암, 반석)이 아니고, 한번 목표구간과 달라 실패한 경우 노이즈로 인한 에러의 경우일 수 있으므로 목표구간 다음 구간과도 비교하여 업데이트한다.
4. 특정 시점 특정 구간
a. 현재 시간이 05:30 이전이고 침목 개수가 5000개(3개구간 이상) 이상이 검출된다면, 시작 구간이 서대전네거리 / 구암 출발이므로 이에 맞게 업데이트한다.
데이터 로그
로그는 각 날짜별로 폴더를 생성하고, 시간 + 로그이름.txt로 기록된다
a. all_log: 침목, 구간 업데이트와 관련된 모든 정보를 기록한다. (옵션)
b. sensor_log: 거리 센서 raw input data를 기록한다. 내부적인 simulation에서 사용한다.
c. sleeper_log: 구간별로 침목 카운트 별 시간을 기록한다. 투사구간 결정 시스템과 연동될 때도 활용한다.
d. station_log: 구간 업데이트 내역만 기록한다.
e. final_station_log: 가장 마지막에 업데이트된 구간만 기록한다. vProbe가 켜질 때 이 로그를 불러와 활용한다.
f. 추가적으로, sensor 연결이 아예 안되서 꺼지는 경우를 위해 sensor_error_log를 기록한다.
g. wifi_log를 기록한다. (옵션)
도 3은 일 실시예에 따른 컨텐츠를 투사하는 방법을 나타낸 흐름도이다. 도 3을 참조하면, 일 실시예에 따른 투사 장치는 열차의 제1 위치를 추적한다(310). 제1 위치는 열차의 초기 위치에 해당할 수 있다. 제1 위치는 열차가 멈춰선 상태의 위치일 수도 있고, 열차가 운행 중인 상태의 위치일 수도 있다. 투사 장치는 예를 들어, 열차의 운행 스케줄에 따라 출발지 또는 열차의 기지창으로부터 이동하면서 침목 센서를 통해 인식 및/또는 카운트 된 침목의 총 개수에 의해 기지창으로부터의 거리를 산출하고, 산출된 거리에 의해 열차의 운행 스케줄에 따른 제1 위치를 파악할 수 있다. 투사 장치는 예를 들어, 한 프레임의 침목 데이터가 아닌 무빙 윈도우(moving window)의 평균과 표준 편차를 기준으로 침목을 인식 또는 판정하여 침목의 총 개수를 카운트할 수 있다.
투사 장치는 열차의 운행 스케줄에 대응하는 적어도 하나의 터널 내 슬롯들을 위한 컨텐츠를 다운로드한다(320). 이때, 운행 스케줄은 제1 위치 및 제1 위치를 추적한 시간을 복수의 열차들의 운행 스케줄들 중 어느 하나에 매칭함으로써 결정된다. 투사 장치는 예를 들어, 서버로부터 터널 내 슬롯들을 위한 컨텐츠 및/또는 운행 스케줄을 다운로드할 수 있다.
투사 장치는 열차의 운행에 따른 제2 위치를 추적한다(330). 제2 위치는 열차의 운행에 따라 제1 위치로부터 변화된 열차의 위치에 해당할 수 있다. 단계(330)에서, 투사 장치는 제2 위치가 적어도 하나의 터널 구간에 해당하는지 여부를 판단할 수 있다. 투사 장치는 예를 들어, 열차가 주행하는 선로 상에 설치된 침목의 제1 개수 및 선로 상에 설치된 조명의 제2 개수 중 적어도 하나에 기초하여, 제2 위치가 적어도 하나의 터널 구간에 해당하는지 여부를 판단할 수 있다. 이때, 열차의 운행 스케줄에 따른 각 역과 각 터널까지의 거리에 대응하는 누적 카운트된 침목의 개수 및/또는 누적 카운트된 조명의 개수는 미리 알려질 수 있다. 예를 들어, 투사 장치는 2호선의 첫번째 터널까지의 미리 알려된 침목의 개수와 현재 누적 카운트된 침목의 개수를 비교하는 방식으로 제2 위치가 적어도 하나의 터널 구간에 해당하는지 여부를 판단할 수 있다.
아울러, 단계(330)에서 투사 장치는 열차의 운행 여부를 판단하고, 열차가 운행 중이라고 판단되면 열차의 운행에 따른 제2 위치를 추적할 수 있다. 투사 장치는 예를 들어, 가속도 센서, 조명 센서, 침목 센서 중 적어도 하나를 이용하여 열차의 운행 여부 및/또는 열차의 정지 여부를 판단할 수 있다. 투사 장치는 예를 들어, 가속도 센서에서 감지된 가속도에 변화가 있는지 여부, 조명 센서 또는 침목 센서에서의 카운트 값에 변화가 있는지 여부 등에 의해 열차의 운행 여부를 판단할 수 있다. 투사 장치는 가속도에 변화가 있거나, 각 센서의 카운트 값에 변화가 있는 경우, 열차가 운행 중인 것으로 판단할 수 있다.
또는, 투사 장치는 와이파이 수신기를 활용하여 제2 위치를 추적할 수 있다. 예를 들어, 투사 장치는 와이파이 수신기를 이용하여 각 역에 설치된 액세스 포인트(access point; AP)의 신호를 수신하고, 수신된 신호로부터 AP의 고유 아이디를 수집하여 데이터베이스를 생성할 수 있다. 데이터베이스에는 AP의 고유 아이디와 해당 AP가 설치된 역을 지시하는 정보가 매칭되어 저장될 수 있다. 이후, 열차가 특정 역에 진입하면, 해당 역에 설치된 AP의 신호를 수신하여 고유 아이디를 획득하고, 데이터베이스로부터 고유 아이디에 매칭되어 저장된 역의 정보를 획득할 수 있다. 전술한 방식을 통하여 투사 장치는 현재 위치가 어느 역에 해당하는지 여부를 확인할 수 있다.
투사 장치는 제2 위치에 기초하여, 열차가 슬롯들 중 어느 하나의 슬롯에 진입하였는지 여부를 판단한다(340). 투사 장치는 예를 들어, 제2 위치에서의 깊이 값, 제2 위치까지 카운트 된 침목의 제1 개수, 및 제2 위치까지 카운트 된 조명의 제2 개수 중 적어도 하나에 기초하여 열차가 어느 하나의 슬롯에 진입하였는지 여부를 판단할 수 있다.
투사 장치는 판단 결과에 따라, 어느 하나의 슬롯에 대응하는 보정 정보 에 기초하여 어느 하나의 슬롯에 할당된 컨텐츠를 투사한다(350). 투사 장치는 예를 들어, 어느 하나의 슬롯에 대응하는 보정 정보에 기초하여 적어도 하나의 터널 내에서 컨텐츠를 투사할 투사면과의 거리 및 투사면의 굴곡 정도 중 적어도 하나를 변형하여 컨텐츠를 투사할 수 있다. 보정 정보는 깊이와 프로젝터의 위치에 기초한 보정 관계식에 의해 미리 산출될 수 있다. 투사 장치는 예를 들어, 슬롯 내 구간 별로 다른 보정 정보를 설정해 두거나, 또는 단일 슬롯 내에서 보정 정보를 동적으로 선택할 수도 있다.
예를 들어, 컨텐츠가 투사되는 터널 내 투사면은 하나의 터널이라고 하더라도 그 위치에 따라 투사면 자체의 편평도, 투사면의 굴곡 정도 등이 상이할 수 있다. 따라서, 일 실시예에서는 다양한 원인에 의해 투사면에서 발생하는 화면 왜곡을 보정하기 위한 보정 정보를 미리 산출하고, 보정 정보에 기초하여 컨텐츠를 투사함으로써 열차의 승객이 보다 선명하게 투사된 컨텐츠를 시청하도록 할 수 있다. 이때, 보정 정보는 예를 들어, 열차 속도, 선로 노면에 따른 진동, 터널 내부의 투사 거리 및 터널면의 굴곡 정도에 따라 발생하는 화면 왜곡을 보정하기 위한 보정치일 수 있다.
보정 정보는 하나의 터널에 포함된 슬롯들에 대하여 동일하게 결정될 수도 있고, 또는 하나의 터널 내에 포함된 슬롯들 각각마다 달리 결정될 수도 있다. 보정 정보는 어느 하나의 슬롯마다 고정될 수 있다.
일 실시예에 따르면, 투사 장치는 열차의 운행 중 투사면에 투사되는 컨텐츠를 촬영하여 서버로 컨텐츠의 품질을 피드백할 수 있다. 서버로 피드백한 컨텐츠의 품질은 서버 및/또는 컨텐츠 관리 서버가 단일 슬롯을 분기하는 데에 활용될 수 있다. 실시예에 따라, 각 차량의 창문 안쪽, 다시 말해 차량의 내부에는 창문을 통해 터널 내 투사면에 투사면 또는 슬롯(들)에 투사된 컨텐츠를 촬영할 수 있는 카메라 또는 웹캠이 설치될 수 있다.
도 4는 일 실시예에 따른 보정 정보를 산출하는 방법을 설명하기 위한 도면이다. 일 실시예에 따르면, 보정 정보는 터널 내 슬롯에 대응하여 결정된다.
이 때, 보정 정보를 결정하기에 앞서 열차의 창문을 기준으로 열차에 설치된 프로젝터 및 센서(예를 들어, 3차원 리얼 센서)의 위치 관계를 3차원 모델링(예를 들어, 사전 캘리브레이션)하고, 열차가 운행되는 터널 내 투사하기에 적합한 구간을 판단함으로써 슬롯을 생성하는 동작들이 선행될 수 있다.
열차 하단에 설치된 프로젝터를 통하여 터널의 내부에 투사되는 영상은 창문을 통하여 탑승객들에게 시청되는 것을 목적으로 한다. 따라서, 프로젝터에 의하여 터널의 내부에 투사되는 영상이 열차 내부의 시점(viewpoint)에서 어떻게 보여지는지가 중요하다. 일 실시예에서 사전 캘리브레이션을 통하여, 열차의 창문을 기준으로 프로젝터 및/또는 센서(예를 들어, 3차원 리얼 센서)의 3차원 위치가 모델링 될 수 있다.
사전 캘리브레이션 과정은 열차가 정지된 상태에서 다음과 같이 진행될 수 있다. 예를 들어, 열차의 차량 기지에서 서로 다른 거리(깊이), 서로 다른 위치 또는 서로 다른 자세를 가진 복수 개의 가벽이 이용될 수 있다. 이때, 각 가벽과 열차의 프로젝터 간의 거리는 미리 알고 있으며, 프로젝터를 통해 가벽에 투사되는 원본 패턴의 크기 또한 미리 알고 있다고 가정할 수 있다. 열차 하단에 설치된 프로젝터를 통해 서로 다른 가벽에 투사된 패턴들이 열차 하단에 설치된 RGB 카메라 및 열차 내부의 웹캠에 의해 각각 촬영될 수 있다. 열차 내부의 웹캠은 열차의 창문을 통해 패턴들을 촬영할 수 있다.
서버 혹은 투사 장치는 서로 다른 가벽에 투사된 패턴들을 촬영한 영상들, 보다 구체적으로는 열차 내부의 웹캠이 열차의 창문을 통해 촬영한 제1 영상들, 패턴들을 열차의 외부에 설치된 RGB 카메라가 촬영한 제2 영상들, 및 패턴들의 원본 영상 간의 관계를 이용하여 창문을 기준으로 웹캠, RGB 카메라 및/또는 프로젝터의 위치 관계를 3차원 모델링할 수 있다. 이때, 웹캠은 열차의 내부에서 창문을 포함하는 영상을 촬영할 수 있고, 웹캠의 위치는 창문을 기준으로 하는 위치를 결정하는 데에 이용될 수 있다.
실시예에 따라서, 창문 대비 상대적인 위치를 정확히 알고 있는 구조물을 활용하는 경우, 열차 실내의 웹캠을 통해 촬영된 영상이 없이도 사전 캘리브레이션이 수행될 수 있다. 다만, 이러한 경우에도 여전히 서로 다른 깊이, 서로 다른 위치 또는 서로 다른 자세의 복수의 가벽들이 이용될 수 있다. 서버 혹은 투사 장치는 예를 들어, RGB 카메라를 통해 가벽들에 표시된 패턴들을 창문 대비 직각으로 촬영한 영상, 및 회전 또는 거리를 달리하여 촬영한 영상을 이용하여 창문을 기준으로 RGB 카메라 및/또는 프로젝터의 위치 관계를 3차원 모델링할 수 있다.
설명의 편의를 위하여, 복수의 가벽들이 이용되는 실시예들을 설명하였으나, 단일 가벽을 서로 다른 깊이, 위치, 또는 자세로 배치하면서 복수 회 촬영함으로써 사전 캘리브레이션이 수행될 수 있다. 복수의 가벽들의 촬영 혹은 단일 가벽의 복수 촬영을 통하여, 패턴의 스케일(scale)이 산출될 수 있으며, 산출된 스케일은 창문을 기준으로 하는 3차원 모델링에 활용될 수 있다.
일 실시예에 따르면, 사전 캘리브레이션 단계에서 프로젝터의 3차원 위치를 구하기 위해서 먼저 지하철 안에서 창문을 바라보는 카메라를 설치한 뒤, 창문 위치 기준에서 해당 카메라의 좌표를 획득하여야 한다. 창문의 네 점의 3D 위치를 X w n 이라고 하고 카메라 영상에서 캡쳐된 창문의 네 점의 위치를 x cam n 라고 정의했을 때, 수학식 1을 만족시키는 회전 행렬(R cam )과 이동 행렬(T cam )을 구할 수 있다. 여기서, K cam 은 카메라의 내부 파라미터이다.
Figure 112019106460629-pat00001
예를 들어, 창문의 위치를 기준으로 할 것이므로, X w n 은 창문 기준 3D 좌표계의 원점에 대응하여 결정될 수 있다. 창문의 크기를 아는 경우, 창문 기준 3D 좌표계에서 네 점의 위치를 특정할 수 있다. 카메라를 이용하여 창문의 네 점이 모두 보이도록 촬영한 뒤, 카메라 영상에서 네 점의 위치를 x cam n 으로 특정할 수 있다. 이 경우, x cam n , K cam 및 X w n 을 알고 있으므로, 수학식 1을 이용하여 창문 기준 3D 좌표계에서 카메라의 회전 행렬(R cam )과 이동 행렬(T cam )을 산출할 수 있다.
이후, 창문 밖에 일정한 거리(d)에 가벽을 세워 두고 프로젝터를 이용하여 패턴을 투사하고, 카메라로 해당 패턴을 캡쳐하며, 깊이 정보 카메라로 3D 위치 값을 획득한다. 가벽에 투사된 패턴에 포함된 점들의 3D 위치를 X d n 라고 하고, 카메라 영상에서 캡쳐된 패턴에 포함된 점들의 위치를x pattern n 라고 하였을 때 수학식 2를 만족하는X d n 를 산출할 수 있다.
Figure 112019106460629-pat00002
예를 들어, x pattern n , K cam 및 [R cam T cam ]을 알고 있으므로, 가벽에 투사된 패턴에 포함된 점들의 3D 위치 X d n 를 산출할 수 있다.
전술한 과정을 통하여 획득한 3D 상의 패턴 위치 정보 X d n 의 값에 맞춰서, 서버 혹은 투사 장치는 프로젝터의 회전 정보와 위치 정보를 획득할 수 있다.
Figure 112019106460629-pat00003
여기서, x proj n 은 프로젝터에 의하여 투사되는 영상 내 패턴의 위치이고, K proj 는 프로젝터의 내부 파라미터이며, R proj 는 프로젝터의 회전 행렬이고, T proj 는 프로젝터의 이동 행렬이다.
예를 들어, x proj n , K proj 및 X d n 을 알고 있으므로, 수학식 3을 이용하여 창문 기준 3D 좌표계에서 프로젝터의 회전 행렬(R proj )과 이동 행렬(T proj )을 산출할 수 있다.
또한, 서버 혹은 투사 장치는 수학식 4를 이용하여 깊이 정보 카메라의 회전 정보와 위치 정보를 획득할 수 있다.
Figure 112019106460629-pat00004
여기서, x depth n 은 깊이 정보 카메라에 의하여 캡쳐되는 영상 내 패턴의 위치이고, K depth 는 깊이 정보 카페라의 내부 파라미터이며, R depth 는 깊이 정보 카페라의 회전 행렬이고, T depth 는 깊이 정보 카페라의 이동 행렬이다.
예를 들어, x depth n , K depth 및 X d n 을 알고 있으므로, 수학식 4를 이용하여 창문 기준 3D 좌표계에서 깊이 정보 카메라의 회전 행렬(R depth )과 이동 행렬(T depth )을 산출할 수 있다.
사전 캘리브레이션 정보는 창문 기준 3D 좌표계에서 프로젝터 및/또는 깊이 정보 카메라의 회전 행렬과 이동 행렬을 포함할 수 있다.
또한, 터널 내 슬롯들은 예를 들어, 열차의 운행 중에 다음과 같은 방법에 의해 미리 결정될 수 있다.
투사 장치는 예를 들어, 열차의 운행 중에 깊이 센서에 의해 수집된 적어도 하나의 터널의 깊이 값, 침목 센서에 의해 카운트 된 침목의 제1 개수에 의해 추정된 적어도 하나의 터널의 위치, 조명 센서에 의해 카운트 된 조명의 제2 개수에 의해 추정된 적어도 하나의 터널의 위치, 및 가속도 센서에 의해 감지된 열차의 가속도 중 적어도 하나를 수집 수 있다. 서버 혹은 투사 장치는 투사 장치로부터 수집된 정보에 기초하여 터널 내 투사하기에 적합한 구간을 판단하여 슬롯을 생성할 수 있다.
예를 들어, 서버 혹은 투사 장치는 열차의 창문 영역에 대응하여 터널까지의 깊이를 가시화함으로써, 관리자로 하여금 투사 적합 구간을 선택할 수 있도록 하는 인터페이스를 제공하고, 관리자의 선택에 따라 슬롯을 생성할 수 있다.
또는, 서버 혹은 투사 장치는 수집된 정보를 입력으로 하는 딥 러닝 기법을 활용하여, 터널 내 투사하기에 적합한 구간을 자동으로 판단할 수 있다. 이 경우, 기 생성된 슬롯에 대한 정보 및 해당 슬롯에 대응하여 수집된 정보에 기초하여 딥 러닝 모델이 기 학습될 수 있다.
또는, 서버 혹은 투사 장치는 수집된 정보를 입력으로 하는 클러스터링 기법(예를 들어, K-means clustering)을 활용하여, 터널 내 투사하기에 적합한 구간을 자동으로 판단할 수 있다.
생성된 슬롯은 터널 내 투사하기에 적합한 구간에 대응하는 위치 정보(예를 들어, 침목 센서 정보, 글로벌 시간 정보 등) 및 깊이 정보(예를 들어, 창문에서 가시화된 영역의 깊이 정보 등)를 포함할 수 있다.
서버 혹은 투사 장치는 사전 캘리브레이션 정보 및 슬롯 정보에 기초하여, 슬롯 별 보정 정보를 생성할 수 있다. 예를 들어, 서버 혹은 투사 장치는 슬롯 정보에 포함된 깊이 정보와 사전 캘리브레이션 정보에 포함된 프로젝터 및/또는 깊이 정보 카메라의 3차원 위치(예를 들어, 이동 행렬과 회전 행렬)에 기초하여, 보정 관계식을 통하여 슬롯 별 보정 정보를 계산할 수 있다.
일 실시예에 따르면, 서버 혹은 투사 장치는 사전 캘리브레이션 정보를 이용해서, 슬롯마다 깊이 정보 카메라로부터 받은 깊이 정보를 창문기준의 좌표계로 변경함으로써 창문 기준 터널의 깊이 정보를 획득할 수 있다. 예를 들어, 사전 캘리브레이션 정보는 깊이 정보 카메라의 이동 행렬과 회전 행렬을 포함하므로, 깊이 정보 카메라 기준 3D 좌표계에서 측정된 깊이 정보를 창문 기준 3D 좌표계로 변환할 수 있다. 이 경우, 창문 기준의 터널의 깊이 정보는 창문 기준 3D 좌표계에서 터널 내면의 3D정보 X t n 을 포함할 수 있다.
서버 혹은 투사 장치는 창문 기준의 터널의 깊이 정보에 기초하여, 실제로 컨텐츠를 투사할 투사 대상 영역을 결정할 수 있다. 예를 들어, 서버 혹은 투사 장치는 터널 내면에서 편평도가 일정 이상인 직사각형 영역을 선택할 수 있다. 이 경우, 투사 대상 영역 정보는 창문 기준 3D 좌표계에서 직사각형 영역의 네 모서리의 3D 정보 X s n 을 포함할 수 있다.
서버 혹은 투사 장치는 사전 캘리브레이션 정보를 활용하여, 프로젝터의 프로젝션 영상 내에서 투사 대상 영역에 대응하는 영역을 산출할 수 있다. 예를 들어, 수학식 5를 참조하면, 서버 혹은 투사 장치는 사전 캘리브레이션 정보에 포함된 프로젝터의 이동 행렬 및 회전 행렬에 기초하여, 투사 대상 영역의 3D 정보 X s n 으로부터 프로젝션 영상 내 투사 대상 영역에 대응하는 네 점의 위치 x screen n 을 산출할 수 있다.
Figure 112019106460629-pat00005
예를 들어, K proj , R proj , T proj 및 X s n 을 알고 있으므로, 수학식 5를 이용하여 프로젝션 영상 내 투사 대상 영역에 대응하는 네 점의 위치 x screen n 을 산출할 수 있다.
서버 혹은 투사 장치는 실제 투사되는 콘텐츠의 네 모서리의 위치를 x screen n 으로 변환하는 호모그래피 (Homography) 정보를 슬롯 별 보정 정보로 생성할 수 있다.
아래에서 설명하겠으나, 열차가 특정 슬롯에 진입하는 경우, 서버 혹은 투사 장치는 해당 슬롯의 보정 정보를 이용하여 콘텐츠를 변환(예를 들어, 와핑)함으로써, 창문에서 바라보았을 때 왜곡 없는 콘텐츠를 투사할 수 있다.
도 4를 참조하면, 열차(410)가 이동함에 따라 열차(410)의 외부에 설치된 프로젝터(412)에 의해 터널(401) 내 서로 상이한 위치 또는 상이한 거리에 투사된 컨텐츠(403, 405)가 도시된다. 투사 장치는 슬롯 정보에 포함된 보정 정보에 기초하여 컨텐츠를 변환, 와핑, 혹은 보정하여 투사함으로써, 창문 내 탑승객들의 시점에서 원하는 형태의 영상(예를 들어, 평면 영상 등)이 제공될 수 있다.
도 3을 통하여 전술한 것과 같이, 슬롯 별 보정 정보는 미리 생성되어 서버 등에 저장될 수 있다. 이 경우, 투사 장치는 특정 슬롯에 진입함에 따라 해당 슬롯의 보정 정보를 서버로부터 획득할 수 있다. 물론 실시예에 따라, 투사 장치는 보정 정보를 실시간으로 생성하거나, 혹은 동일 열차 내 선행 차량의 투사 장치에서 생성된 보정 정보를 획득할 수도 있다.
실시예에 따르면, 열차 속도와 선로 노면에 따른 진동, 먼지 등 특수한 환경에서 상시 운영 가능한 시스템을 구축하기 위해 투사면이 터널 내부의 투사 거리 및 터널면의 굴곡 정도에 따라 발생하는 화면 왜곡을 현장의 터널 데이터를 기반으로 자동으로 보정할 수 있다.
열차(410)의 외부 프로젝터(412)에 인접한 위치에는 컨텐츠(403, 405)를 촬영하는 RGB 카메라(414)가 설치될 수 있다. 또한, 열차(410) 내에는 투사면에 투사된 컨텐츠(403, 405)를 열차의 창문을 통해 촬영할 수 있는 웹캠(416)이 더 설치될 수 있다. 일 실시예에 따르면, RGB 카메라(414) 및/또는 웹캠(416)을 통하여 영상 품질이 검사될 수 있다. 영상 품질의 검사 결과에 따라, 특정 슬롯의 보정 정보가 재 산출되거나, 특정 슬롯이 복수의 슬롯들로 분할된 뒤 분할된 각 슬롯 별로 보정 정보가 산출되는 등 다양한 품질 관리 프로토콜이 수행될 수 있다.
도 5는 일 실시예에 따른 컨텐츠를 투사하는 방법을 나타낸 흐름도이다. 도 5를 참조하면, 일 실시예에 따른 투사 장치는 열차에 포함된 제1 차량의 제1 모듈을 이용하여, 열차의 운행 스케줄에 대응하는 적어도 하나의 터널을 위한 컨텐츠를 다운로드한다(510). 열차의 운행 스케줄은 예를 들어, 제1 차량의 위치 및 제1 차량의 위치를 추적한 시간을 복수의 열차들의 운행 스케줄 중 어느 하나에 매칭함으로써 결정될 수 있다.
투사 장치는 예를 들어, 서버 또는 컨텐츠 관리 서버로부터 컨텐츠를 다운로드할 수 있다. 제1 차량의 제1 모듈은 예를 들어, 제1 차량의 외부에 설치된 프로젝터, 제1 차량이 주행하는 선로 상에 설치된 침목의 제1 개수를 카운트하는 침목 센서, 선로 상에 설치된 조명의 제2 개수를 카운트하는 조명 센서, 제1 차량의 움직임을 감지하는 자이로 센서, 제1 차량의 가속도를 감지하는 가속도 센서, 프로젝터가 투사한 영상을 촬영하는 RGB 카메라, 및 영상의 투사면과의 깊이를 측정하는 깊이 카메라 등을 포함할 수 있다.
투사 장치는 제1 차량에 선행하는 제2 차량의 제2 모듈을 이용하여, 열차의 운행에 따른 제2 차량의 터널 내 위치를 추적한다(520). 제2 차량의 제2 모듈은 예를 들어, 제2 차량의 외부에 설치된 프로젝터, 제2 차량이 주행하는 선로 상에 설치된 침목의 제1 개수를 카운트하는 침목 센서, 선로 상에 설치된 조명의 제2 개수를 카운트하는 조명 센서, 제2 차량의 움직임을 감지하는 자이로 센서, 제2 차량의 가속도를 감지하는 가속도 센서, 프로젝터가 투사한 영상을 촬영하는 RGB 카메라, 및 영상의 투사면과의 깊이를 측정하는 깊이 카메라 등을 포함할 수 있다. 투사 장치는 예를 들어, 제2 차량이 주행하는 선로 상에 설치된 침목의 제1 개수 및 선로 상에 설치된 조명의 제2 개수 중 적어도 하나에 기초하여, 제2 차량의 위치가 적어도 하나의 터널 구간에 해당하는지 여부를 판단할 수 있다.
일 실시예에서 제1 차량과 제2 차량은 서로 동일한 열차에 포함된 차량일 수도 있고, 서로 상이한 열차에 포함된 차량일 수도 있다. 제1 차량과 제2 차량이 서로 상이한 열차에 포함된 차량인 경우, 제2 차량은 동일한 선로를 주행하는 선행 열차에 포함된 차량이고, 제1 차량은 선행 열차에 후행하는 후행 열차에 포함된 차량일 수 있다. 단계(520)에서 투사 장치는 예를 들어, 제2 모듈에 포함된 침목 센서, 조명 센서 등에 의해 감지된 침목의 카운트 개수 및/또는 조명의 카운트 개수 등에 기초하여 제2 차량의 터널 내 위치를 추적할 수 있다. 제2 차량의 터널 내 위치는 투사 장치의 통신 인터페이스를 통해 제1 차량에게 전달될 수 있다.
투사 장치는 제2 모듈을 이용하여, 제2 차량의 터널 내 위치에서 터널 내부의 투사면 정보를 수집한다(530). 투사면 정보에 기초하여 보정 정보가 생성될 수 있다.
투사 장치는 제1 차량의 제1 모듈을 이용하여, 투사면 정보에 기초하여 생성되는 보정 정보를 획득한다(540). 투사 장치는 제1 모듈을 이용하여, 열차의 운행에 따른 제1 차량의 터널 내 위치를 추적한다(550). 투사 장치는 단계(520)에서와 마찬가지 방식으로 제1 차량의 터널 내 위치를 추적할 수 있다. 투사 장치는 제1 모듈을 이용하여, 보정 정보에 기초하여 터널에 할당된 컨텐츠를 투사한다(560).
일 실시예에서 제1 모듈 및 제2 모듈 각각은 열차의 차량 단위로 설치되거나, 각 차량의 창문들에 대응하여 설치되는 등 다양한 형태로 설치될 수 있다.
도 6은 일 실시예에 따른 컨텐츠를 투사하는 장치의 블록도이다. 도 6을 참조하면, 일 실시예에 따른 컨텐츠를 투사하는 장치(이하, '투사 장치')(600)는 프로세서(610), 및 프로젝터(620)를 포함한다. 투사 장치(600)는 통신 인터페이스(630) 및 메모리(640)를 더 포함할 수 있다. 프로세서(610), 프로젝터(620), 통신 인터페이스(630) 및 메모리(640)는 통신 버스(605)를 통해 서로 통신할 수 있다.
프로세서(610)는 열차의 제1 위치를 추적한다. 프로세서(610)는 열차의 운행 스케줄에 대응하는 적어도 하나의 터널 내 슬롯들을 위한 컨텐츠를 다운로드한다. 운행 스케줄은 열차의 제1 위치 및 제1 위치를 추적한 시간을 복수의 열차들의 운행 스케줄들 중 어느 하나에 매칭함으로써 결정된다. 열차의 운행 스케줄은 예를 들어, 서버에 의해 결정된 것일 수 있다. 프로세서(610)는 통신 인터페이스(630)를 통해 서버로부터 해당 열차의 운행 스케줄을 수신할 수 있다.
프로세서(610)는 열차의 운행에 따른 제2 위치를 추적한다. 프로세서(610)는 제2 위치에 기초하여, 열차가 슬롯들 중 어느 하나의 슬롯에 진입하였는지 여부를 판단한다.
프로젝터(620)는 열차가 슬롯들 중 어느 하나의 슬롯에 진입하였다는 프로세서(610)의 판단 결과에 따라, 어느 하나의 슬롯에 대응하는 보정 정보에 기초하여 어느 하나의 슬롯에 할당된 컨텐츠를 투사한다. 보정 정보는 서버 등에 의해 미리 산출된 것일 수도 있고, 프로세서(610)에 의해 실시간으로 산출될 수도 있다.
프로젝터(620)는 터널 내 슬롯들에 할당된 서로 다른 컨텐츠를 투사할 수 있다. 컨텐츠는 영상 컨텐츠 또는 영상, 음성 등을 포함하는 멀티미디어 컨텐츠일 수 있다.
통신 인터페이스(630)는 서버로부터 다운로드된 컨텐츠를 수신할 수 있다. 이 밖에도, 통신 인터페이스(630)는 해당 열차의 다른 차량과 정보를 주고 받을 수 있다. 또한, 통신 인터페이스(630)는 서버와 운행 스케줄 이외에도 해당 터널 내 슬롯들에 대응하는 다양한 정보를 주고 받을 수 있다.
메모리(640)는 어느 하나의 슬롯에 할당된 컨텐츠를 저장할 수 있다. 메모리(640)는 프로젝터(620)에 의해 투사되는 컨텐츠를 저장할 수 있다. 메모리(640)는 예를 들어, DRAM(Dynamic Random Access Memory), SRAM(Static Random Access Memory), DDR RAM(Double data rate synchronous dynamic random access memory) 또는 다른 고속 액세스 고체 상태 메모리 장치 등과 같은 고속 랜덤 액세스 메모리(high-speed random access memory)를 포함할 수 있다. 메모리(640)는 휘발성 메모리 및 비휘발성 메모리를 포함할 수 있다. 메모리(640)는 프로세서(610)로부터 원격에 위치하는 적어도 하나의 저장 장치를 선택적으로 포함할 수 있다.
이 밖에도, 프로세서(610)는 도 1 내지 도 5를 통해 전술한 적어도 하나의 방법 또는 적어도 하나의 방법에 대응되는 알고리즘을 수행할 수 있다. 프로세서(610)는 프로그램을 실행하고, 투사 장치(600)를 제어할 수 있다. 프로세서(610)에 의하여 실행되는 프로그램 코드는 메모리(640)에 저장될 수 있다. 투사 장치(600)는 예를 들어, 열차의 각 차량에 포함된 모듈이거나, 또는 열차일 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, 중앙 처리 장치(Central Processing Unit; CPU), 그래픽 프로세싱 유닛(Graphics Processing Unit; GPU), ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 주문형 집적 회로(Application Specific Integrated Circuits; ASICS), 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 비록 한정된 도면에 의해 실시예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 열차의 제1 위치를 추적하는 단계;
    상기 열차의 운행 스케줄-상기 운행 스케줄은 상기 제1 위치 및 상기 제1 위치를 추적한 시간을 복수의 열차들의 운행 스케줄들 중 어느 하나에 매칭함으로써 결정됨-에 대응하는 적어도 하나의 터널 내 슬롯들을 위한 컨텐츠를 다운로드하는 단계;
    상기 열차의 운행에 따른 제2 위치를 추적하는 단계;
    상기 제2 위치에 기초하여, 상기 열차가 상기 슬롯들 중 어느 하나의 슬롯에 진입하였는지 여부를 판단하는 단계;
    상기 판단 결과에 따라, 복수의 터널들의 슬롯들 별로 미리 구비된 보정 정보 중 상기 어느 하나의 슬롯에 대응하는 보정 정보를 획득하는 단계;
    상기 어느 하나의 슬롯에 대응하는 보정 정보에 기초하여 상기 어느 하나의 슬롯에 할당된 컨텐츠를 와핑하는 단계; 및
    상기 열차가 상기 어느 하나의 슬롯을 지나는 동안, 상기 와핑된 컨텐츠를 투사하는 단계
    를 포함하고,
    상기 보정 정보는
    상기 복수의 터널들의 상기 슬롯들 별로 대응하는 터널 내벽의 굴곡 정도에 따라 발생하는 화면 왜곡을 보정하기 위하여 상기 슬롯들 별로 미리 산출된 와핑 정보를 포함하는, 컨텐츠를 투사하는 방법.
  2. 제1항에 있어서,
    상기 제2 위치를 추적하는 단계는
    상기 제2 위치가 상기 적어도 하나의 터널 구간에 해당하는지 여부를 판단하는 단계
    를 포함하는, 컨텐츠를 투사하는 방법.
  3. 제2항에 있어서,
    상기 열차는
    상기 열차의 외부에 설치된 프로젝터, 상기 열차가 주행하는 선로 상에 설치된 침목의 제1 개수를 카운트하는 침목 센서, 상기 선로 상에 설치된 조명의 제2 개수를 카운트하는 조명 센서, 상기 열차의 움직임을 감지하는 자이로 센서, 상기 열차의 가속도를 감지하는 가속도 센서, 상기 프로젝터가 투사한 영상을 촬영하는 RGB 카메라, 및 상기 영상의 투사면과의 깊이를 측정하는 깊이 카메라 중 적어도 하나를 포함하는, 컨텐츠를 투사하는 방법.
  4. 제2항에 있어서,
    상기 제2 위치가 상기 적어도 하나의 터널 구간에 해당하는지 여부를 판단하는 단계는
    상기 열차가 주행하는 선로 상에 설치된 침목의 제1 개수 및 상기 선로 상에 설치된 조명의 제2 개수 중 적어도 하나에 기초하여, 상기 제2 위치가 상기 적어도 하나의 터널 구간에 해당하는지 여부를 판단하는 단계
    를 포함하는, 컨텐츠를 투사하는 방법.
  5. 제1항에 있어서,
    상기 열차의 운행에 따른 제2 위치를 추적하는 단계는
    상기 열차의 운행 여부를 판단하는 단계; 및
    상기 운행 여부의 판단에 따라 상기 열차의 운행에 따른 제2 위치를 추적하는 단계
    를 포함하는, 컨텐츠를 투사하는 방법.
  6. 제1항에 있어서,
    상기 슬롯들 중 어느 하나의 슬롯에 진입하였는지 여부를 판단하는 단계는
    상기 제2 위치에서의 깊이 값, 상기 제2 위치까지 카운트 된 침목의 제1 개수, 및 상기 제2 위치까지 카운트 된 조명의 제2 개수 중 적어도 하나에 기초하여 상기 어느 하나의 슬롯에 진입하였는지 여부를 판단하는 단계
    를 포함하는, 컨텐츠를 투사하는 방법.
  7. 제1항에 있어서,
    깊이 센서에 의해 수집된 상기 적어도 하나의 터널의 깊이 값, 침목 센서에 의해 카운트 된 침목의 제1 개수에 의해 추정된 상기 적어도 하나의 터널의 위치, 조명 센서에 의해 카운트 된 조명의 제2 개수에 의해 추정된 상기 적어도 하나의 터널의 위치, 및 가속도 센서에 의해 감지된 상기 열차의 가속도 중 적어도 하나에 기초하여 상기 슬롯들의 위치를 획득하는 단계
    를 더 포함하는, 컨텐츠를 투사하는 방법.
  8. 제1항에 있어서,
    상기 보정 정보는
    상기 어느 하나의 슬롯 내에서 고정되는, 컨텐츠를 투사하는 방법.
  9. 제1항에 있어서,
    상기 적어도 하나의 터널 내에서 서로 다른 깊이, 서로 다른 위치 또는 서로 다른 자세로 투영된 패턴들을 촬영한 영상들을 이용하여 상기 보정 정보를 산출하는 단계
    를 더 포함하는, 컨텐츠를 투사하는 방법.
  10. 제9항에 있어서,
    상기 보정 정보를 산출하는 단계는
    상기 열차의 외부에 설치된 프로젝터에 의해 상기 적어도 하나의 터널 내의 서로 다른 깊이, 서로 다른 위치 또는 서로 다른 자세로 투영된 패턴들을 상기 열차 내부의 카메라가 상기 열차의 창문을 통해 촬영한 제1 영상들, 상기 패턴들의 원본 영상, 상기 패턴들을 상기 열차의 외부에 설치된 RGB 카메라가 촬영한 제2 영상들에 기초하여 상기 창문의 위치를 기준으로 하는 상기 열차 내부의 카메라 및 상기 프로젝터 사이의 위치 관계를 나타내는 3차원 모델을 생성하는 단계; 및
    상기 3차원 모델에 기초하여 상기 보정 정보를 산출하는 단계
    를 포함하는, 컨텐츠를 투사하는 방법.
  11. 제1항에 있어서,
    상기 어느 하나의 슬롯에 할당된 컨텐츠를 투사하는 단계는
    상기 어느 하나의 슬롯에 대응하는 보정 정보에 기초하여 상기 적어도 하나의 터널 내에서 상기 컨텐츠를 투사할 투사면과의 거리 및 상기 투사면의 굴곡 정도 중 적어도 하나를 변형하여 상기 컨텐츠를 투사하는 단계
    를 포함하는, 컨텐츠를 투사하는 방법.
  12. 제1항에 있어서,
    상기 슬롯들마다에 대한 광고 노출 위치 및 광고 노출 시간 중 적어도 하나는 서로 상이하게 결정되는, 컨텐츠를 투사하는 방법.
  13. 열차에 포함된 제1 차량의 제1 모듈을 이용하여, 상기 열차의 운행 스케줄에 대응하는 적어도 하나의 터널을 위한 컨텐츠를 다운로드하는 단계;
    상기 제1 차량에 선행하는 제2 차량의 제2 모듈을 이용하여, 상기 열차의 운행에 따른 제2 차량의 터널 내 위치를 추적하는 단계;
    상기 제2 모듈을 이용하여, 상기 제2 차량의 터널 내 위치에서 상기 터널 내부의 투사면 정보를 수집하는 단계;
    상기 제1 차량의 제1 모듈을 이용하여, 상기 투사면 정보에 기초하여 생성되는 보정 정보를 획득하는 단계;
    상기 제1 모듈을 이용하여, 상기 열차의 운행에 따른 상기 제1 차량의 터널 내 위치를 추적하는 단계;
    상기 제1 모듈을 이용하여, 상기 보정 정보에 기초하여 상기 터널에 할당된 컨텐츠를 와핑하는 단계; 및
    상기 와핑된 컨텐츠를 투사하는 단계
    를 포함하고,
    상기 보정 정보는
    복수의 터널들의 슬롯들 별로 대응하는 터널 내벽의 굴곡 정도에 따라 발생하는 화면 왜곡을 보정하기 위하여 상기 슬롯들 별로 미리 산출된 와핑 정보를 포함하는, 컨텐츠를 투사하는 방법.
  14. 제13항에 있어서,
    상기 열차의 운행 스케줄은
    상기 제1 차량의 위치 및 상기 제1 차량의 위치를 추적한 시간을 복수의 열차들의 운행 스케줄 중 어느 하나에 매칭함으로써 결정되는, 컨텐츠를 투사하는 방법.
  15. 제13항에 있어서,
    상기 제2 차량의 제2 모듈은
    상기 제2 차량의 외부에 설치된 프로젝터, 상기 제2 차량이 주행하는 선로 상에 설치된 침목의 제1 개수를 카운트하는 침목 센서, 상기 선로 상에 설치된 조명의 제2 개수를 카운트하는 조명 센서, 상기 제2 차량의 움직임을 감지하는 자이로 센서, 상기 제2 차량의 가속도를 감지하는 가속도 센서, 상기 프로젝터가 투사한 영상을 촬영하는 RGB 카메라, 및 상기 영상의 투사면과의 깊이를 측정하는 깊이 카메라 중 적어도 하나를 포함하는, 컨텐츠를 투사하는 방법
  16. 제13항에 있어서,
    상기 제2 차량의 터널 내 위치를 추적하는 단계는
    상기 제2 차량이 주행하는 선로 상에 설치된 침목의 제1 개수 및 상기 선로 상에 설치된 조명의 제2 개수 중 적어도 하나에 기초하여, 상기 제2 차량의 위치가 상기 적어도 하나의 터널 구간에 해당하는지 여부를 판단하는 단계
    를 포함하는, 컨텐츠를 투사하는 방법.
  17. 제13항에 있어서,
    상기 터널 내부의 투사면 정보를 수집하는 단계는
    상기 적어도 하나의 터널 내에서 서로 다른 깊이, 서로 다른 위치 또는 서로 다른 자세로 투영된 패턴들을 촬영한 영상들을 이용하여 상기 터널 내부의 투사면 정보를 수집하는 단계
    를 포함하는, 컨텐츠를 투사하는 방법.
  18. 제13항에 있어서,
    상기 투사면 정보에 기초하여 생성되는 보정 정보를 획득하는 단계는
    상기 투사면 정보를 기초로, 상기 제1 차량의 제1 모듈에 포함된 RGB 카메라와 상기 제1 차량 내부의 카메라 간의 위치 관계를 나타내는 3차원 모델을 생성하는 단계; 및
    상기 3차원 모델에 기초하여 상기 보정 정보를 획득하는 단계
    를 포함하는, 컨텐츠를 투사하는 방법.
  19. 하드웨어와 결합되어 제9항 내지 제14항 중 어느 하나의 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램.
  20. 열차의 제1 위치를 추적하고, 상기 열차의 운행 스케줄- 상기 운행 스케줄은 상기 제1 위치 및 상기 제1 위치를 추적한 시간을 복수의 열차들의 운행 스케줄들 중 어느 하나에 매칭함으로써 결정됨 -에 대응하는 적어도 하나의 터널 내 슬롯들을 위한 컨텐츠를 다운로드하고, 상기 열차의 운행에 따른 제2 위치를 추적하고, 상기 제2 위치에 기초하여, 상기 열차가 상기 슬롯들 중 어느 하나의 슬롯에 진입하였는지 여부를 판단하고, 상기 판단 결과에 따라, 복수의 터널들의 슬롯들 별로 미리 구비된 보정 정보 중 상기 어느 하나의 슬롯에 대응하는 보정 정보를 획득하고, 상기 어느 하나의 슬롯에 대응하는 보정 정보에 기초하여 상기 어느 하나의 슬롯에 할당된 컨텐츠를 와핑하는 프로세서; 및
    상기 열차가 상기 어느 하나의 슬롯을 지나는 동안, 상기 와핑된 컨텐츠를 투사하는 프로젝터
    를 포함하고,
    상기 보정 정보는
    상기 복수의 터널들의 상기 슬롯들 별로 대응하는 터널 내벽의 굴곡 정도에 따라 발생하는 화면 왜곡을 보정하기 위하여 상기 슬롯들 별로 미리 산출된 와핑 정보를 포함하는, 컨텐츠를 투사하는 장치.
KR1020190129805A 2019-10-18 2019-10-18 컨텐츠를 투사하는 방법 및 장치 KR102231023B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2019/013738 WO2021075611A1 (ko) 2019-10-18 2019-10-18 컨텐츠를 투사하는 방법 및 장치
KR1020190129805A KR102231023B1 (ko) 2019-10-18 2019-10-18 컨텐츠를 투사하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190129805A KR102231023B1 (ko) 2019-10-18 2019-10-18 컨텐츠를 투사하는 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102231023B1 true KR102231023B1 (ko) 2021-03-23

Family

ID=75223698

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190129805A KR102231023B1 (ko) 2019-10-18 2019-10-18 컨텐츠를 투사하는 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102231023B1 (ko)
WO (1) WO2021075611A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004306854A (ja) * 2003-04-09 2004-11-04 Hokuetsu Kyuko Kk 鉄道車両用映像装置及び鉄道車両
KR20100137190A (ko) * 2009-06-22 2010-12-30 주식회사 피디엘텍 운송수단에 장착되는 영상장치
US20160261837A1 (en) * 2015-03-03 2016-09-08 Misapplied Sciences, Inc. System and method for displaying location dependent content
KR20170089569A (ko) * 2016-01-27 2017-08-04 (주)스마텍 터널의 위치 정보 설정과 파악이 가능한 궤도차량을 이용한 철도시설물 감시시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101801654B1 (ko) * 2016-07-05 2017-11-27 주식회사 글로벌샘 지하철 차량용 영상 광고 장치
KR102306790B1 (ko) * 2017-11-08 2021-09-30 삼성전자주식회사 컨텐츠 시각화 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004306854A (ja) * 2003-04-09 2004-11-04 Hokuetsu Kyuko Kk 鉄道車両用映像装置及び鉄道車両
KR20100137190A (ko) * 2009-06-22 2010-12-30 주식회사 피디엘텍 운송수단에 장착되는 영상장치
US20160261837A1 (en) * 2015-03-03 2016-09-08 Misapplied Sciences, Inc. System and method for displaying location dependent content
KR20170089569A (ko) * 2016-01-27 2017-08-04 (주)스마텍 터널의 위치 정보 설정과 파악이 가능한 궤도차량을 이용한 철도시설물 감시시스템

Also Published As

Publication number Publication date
WO2021075611A1 (ko) 2021-04-22

Similar Documents

Publication Publication Date Title
US11428537B2 (en) Localization and mapping methods using vast imagery and sensory data collected from land and air vehicles
CN107850672A (zh) 用于精确车辆定位的系统和方法
CN107850453A (zh) 匹配道路数据对象以生成和更新精确道路数据库的系统和方法
CN107851125A (zh) 通过车辆和服务器数据库进行两步对象数据处理以生成、更新和传送精确道路特性数据库的系统和方法
JP6494103B2 (ja) 画像処理を利用した列車位置検出システムならびに画像処理を利用した列車位置および環境変化検出システム
KR101235815B1 (ko) 촬영 위치 해석 장치, 촬영 위치 해석 방법, 기록 매체 및 화상 데이터 취득 장치
CN104303211A (zh) 用于在车辆显示器上整合虚拟对象的方法
US9646213B2 (en) Survey apparatus, computer-readable storage medium and survey method
US10275663B2 (en) Indoor navigation method and system
GB2559196A (en) Determining a position of a vehicle on a track
JP2022514891A (ja) 教師あり機械学習のための画像の自動ラベリングのためのシステムおよび方法
CN111275787A (zh) 一种利用行车记录仪绘制地图的方法及系统
KR102231023B1 (ko) 컨텐츠를 투사하는 방법 및 장치
KR102201196B1 (ko) 멀티 프로젝션 기술 기반 가상현실열차를 위한 미디어 플랫폼
CN107317952B (zh) 一种视频图像处理方法及基于电子地图的拼图方法
CN101606203B (zh) 用于子帧精确同步的方法和系统
KR102475329B1 (ko) 인공지능에 의한 현장영상을 이용한 토사반출 관리 시스템 및 방법
KR20200018194A (ko) 멀티 프로젝션 기술 기반 가상현실열차를 위한 미디어 플랫폼
AU2019203180B2 (en) Vehicle recognition apparatus and vehicle recognition method
CN111292382B (zh) 车载图像采集设备标定的方法和装置、电子设备、介质
JP7210157B2 (ja) 定位置停止制御装置
JP2020005464A (ja) 走行制御装置
JP7478995B2 (ja) 携帯端末、ナビゲーション方法、及び、コンピュータプログラム
JP7117645B2 (ja) 監視装置、監視システム、監視方法、及び、コンピュータプログラム
KR102484280B1 (ko) 드론을 이용한 연도변 조사 서비스 제공 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant