KR101891967B1 - 모바일 현장 모니터링 시스템 - Google Patents

모바일 현장 모니터링 시스템 Download PDF

Info

Publication number
KR101891967B1
KR101891967B1 KR1020170003451A KR20170003451A KR101891967B1 KR 101891967 B1 KR101891967 B1 KR 101891967B1 KR 1020170003451 A KR1020170003451 A KR 1020170003451A KR 20170003451 A KR20170003451 A KR 20170003451A KR 101891967 B1 KR101891967 B1 KR 101891967B1
Authority
KR
South Korea
Prior art keywords
data
mobile terminal
image data
signal converter
sensing
Prior art date
Application number
KR1020170003451A
Other languages
English (en)
Other versions
KR20180082139A (ko
Inventor
신성일
Original Assignee
주식회사 무스마
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 무스마 filed Critical 주식회사 무스마
Priority to KR1020170003451A priority Critical patent/KR101891967B1/ko
Publication of KR20180082139A publication Critical patent/KR20180082139A/ko
Application granted granted Critical
Publication of KR101891967B1 publication Critical patent/KR101891967B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Telephonic Communication Services (AREA)

Abstract

현장 모니터링 시스템은, 센서들; 상기 센서들 중 적어도 하나와 전기적으로 연결되고, 상기 센서들 중 적어도 하나로부터 제공되는 센싱 신호를 센싱 데이터로 변환하는 신호 변환기; 카메라를 통해 제1 영상 데이터를 생성하고, 상기 신호 변환기로부터 제공되는 상기 센싱 데이터를 시각화하여 제2 영상 데이터를 생성하며, 상기 제1 영상 데이터 및 제2 영상 데이터를 병합하여 현장 영상 데이터를 생성하는 모바일 단말; 상기 모바일 단말과 네트워크를 통해 연결되고, 상기 현장 영상 데이터를 실시간으로 저장하는 스트리밍 서버; 및 상기 모바일 단말 및 스트리밍 서버 중 적어도 하나와 네트워크를 통해 연결되고, 상기 현장 영상 데이터에 기초하여 영상을 표시하는 원격지 단말을 포함할 수 있다.

Description

모바일 현장 모니터링 시스템{SITE MONITORING SYSTEM USING MOBILE DEVICE}
본 발명은 모니터링 시스템에 관한 것으로, 보다 상세하게는 모바일 단말을 이용하여 작업 현장을 실시간으로 모니터링 할 수 모바일 현장 모니터링 시스템에 관한 것이다.
이동 단말기(예를 들어, 스마트폰)은 카메라 및 다양한 센서들을 포함하고, 카메라를 이용하여 동영상을 촬영하며, 센서들(예를 들어, 자이로 센서, 가속도 센서, GPS 센서 등)을 이용하여 센서 데이터를 생성할 수 있다.
이동 단말기는 센서 데이터(예를 들어, 이동 단말기의 이동 속도)를 레이어(Layer) 형태로 생성하여 동영상과 함께 표시할 수 있다. 즉, 이동 단말기는 시각화된 센서 데이터를 동영상에 오버레이 할 수 있다.
한편, 이동 단말기는 다른 이동 단말기에 상기 동영상에 대한 동영상 데이터 및 센서 데이터를 전송할 수 있고, 다른 이동 단말기는 이동 단말기에서 표시되는 영상과 실질적으로 동일한 영상을 표시할 수 있다. 다만, 이동 단말기 및 다른 이동 단말기는 센서 데이터를 시각화하기 위한 별도의 어플리케이션가 요구된다.
본 발명의 일 목적은 모바일 단말을 이용하여 작업 현장을 모니터링 할 수 있는 모바일 현장 모니터링 시스템을 제공하는 것이다.
본 발명의 일 목적을 달성하기 위하여, 본 발명의 실시예들에 따른 모바일 현장 모니터링 시스템은, 센서들; 상기 센서들 중 적어도 하나와 전기적으로 연결되고, 상기 센서들 중 적어도 하나로부터 제공되는 센싱 신호를 센싱 데이터로 변환하는 신호 변환기; 카메라를 통해 제1 영상 데이터를 생성하고, 상기 신호 변환기로부터 제공되는 상기 센싱 데이터를 시각화하여 제2 영상 데이터를 생성하며, 상기 제1 영상 데이터 및 제2 영상 데이터를 병합하여 현장 영상 데이터를 생성하는 모바일 단말; 상기 모바일 단말과 네트워크를 통해 연결되고, 상기 현장 영상 데이터를 실시간으로 저장하는 스트리밍 서버; 및 상기 모바일 단말 및 스트리밍 서버 중 적어도 하나와 네트워크를 통해 연결되고, 상기 현장 영상 데이터에 기초하여 영상을 표시하는 원격지 단말을 포함 할 수 있다.
일 실시예에 의하면, 상기 센서들 및 상기 신호 변환기는 마커들을 포함하고, 상기 모바일 단말은 상기 마커들 중 상기 카메라를 통해 인식된 마커에 대응하는 신호 변환기 또는 센서와 연결 상태를 유지 할 수 있다.
일 실시예에 의하면, 상기 모바일 단말이 복수의 신호 변환기들과 연결되는 경우, 상기 모바일 단말은 복수의 신호 변환기들 각각에 연결 순위를 부여하되, 유선을 통해 연결된 제1 신호 변환기를 무선을 통해 연결된 제2 신호 변환기보다 빠른 우선 순위를 부여 할 수 있다.
일 실시예에 의하면, 상기 모바일 단말은 무선을 통해 연결된 제3 신호 변환기 및 제4 신호 변환기와 연결되고, 상기 모바일 단말을 기준으로 상기 제3 변환기의 이격거리가 상기 제4 신호 변환기의 이격거리보다 짧은 경우, 또는 상기 모바일 단말에서 감지되는 상기 제3 변환기의 무선 연결 강도가 상기 제4 신호 변환기의 무선 연결 강도보다 높은 경우, 상기 모바일 단말은 상기 제3 신호 변환기의 우선순위를 상기 제4 신호 변환기의 우선 순위보다 빠르게 설정 할 수 있다.
일 실시예에 의하면, 상기 모바일 단말은, 상기 제1 영상 데이터를 생성하는 카메라 모듈; 상기 신호 변환기와 전기적으로 연결되고, 상기 센싱 데이터를 수신하는 센싱 모듈; 상기 센싱 데이터를 시각화하여 상기 제2 영상 데이터를 생성하고, 상기 제1 영상 데이터 및 상기 제2 영상 데이터를 병합하여 현장 영상 데이터를 생성하는 영상 처리 모듈; 상기 현장 영상 데이터에 기초하여 영상을 표시하는 표시 모듈; 상기 현장 영상 데이터를 인코딩하여 부호화 데이터를 생성하는 코덱 모듈; 및 상기 부호화 데이터를 상기 스트리밍 서버 및 상기 원격지 단말 중 적어도 하나에 전송하는 전송 모듈을 포함 할 수 있다.
본 발명의 실시예들에 따른 모바일 현장 모니터링 시스템은, 센싱 데이터를 시각화하여 센싱 영상 데이터를 생성하고, 배경 영상 데이터 및 센싱 영상 데이터를 병합/코딩하여 부호화 데이터를 생성함으로써, 부호화 데이터를 수신하는 원격지 단말이 별도의 어플리케이션을 구비하지 않더라도 센싱 데이터를 확인할 수 있도록 할 수 있다.
다만, 본 발명의 효과는 상기 효과들로 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
도 1은 본 발명의 실시예들에 따른 모바일 현장 모니터링 시스템을 나타내는 블록도이다.
도 2a 내지 도 2c는 도 1의 모바일 현장 모니터링 시스템에 포함된 신호 변환기의 일 예를 나타내는 도면이다.
도 3은 도 1의 모바일 현장 모니터링 시스템에 포함된 모바일 단말의 일 예를 나타내는 블록도이다.
도 4a는 도 3의 모바일 단말에서 표시되는 센서 데이터의 일 예를 나타내는 도면이다.
도 4b는 도 3의 모바일 단말에서 센서 데이터를 선택하는 일 예를 설명하는 도면이다.
도 5는 도 3의 모바일 단말에 포함된 영상 처리 모듈의 일 예를 나타내는 블록도이다.
개시된 기술에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
개시된 기술은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 장치에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한, 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 장치에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 실시예들에 따른 모바일 현장 모니터링 시스템을 나타내는 블록도이다.
도 1을 참조하면, 모바일 현장 모니터링 시스템(100)은 센서(110), 신호 변환기(120), 모바일 단말(130), 스트리밍 서버(140) 및 원격지 단말(150)을 포함할 수 있다. 모바일 단말(130), 스트리밍 서버(140) 및 원격지 단말(150)은 네트워크를 통해 연결될 수 있다. 센서(110)는 신호 변환기(120)를 통해 모바일 단말(130)에 직접적으로 연결되거나, 네트워크를 통해 간접적으로 연결될 수 있다. 예를 들어, 센서(110) 및/또는 신호 변환기(120)는 유선 케이블, 블루투스와 같은 근거리 무선 기술을 이용하여 실시간 인코딩 장치(100)에 연결될 수 있다.
센서(110)는 온도 센서, 습도 센서, 전압 센서(또는, 전압계), 전류 센서(또는, 전류계), 레벨 센서(또는, 높이 측정기), 농도 측정 센서(또는, 농도 측정기) 중 적어도 하나를 포함할 수 있다. 즉, 센서(110)는 특정 시스템을 모니터링 하기 위해 사용되는 일반적인 계측 장치들을 포함할 수 있다.
신호 변환기(120)는 아날로그 형태의 센싱 신호(예를 들어, mA, mV)를 디지털 형태의 센싱 데이터로 변환하여 모바일 단말(130)에 제공할 수 있다. 예를 들어, 신호 변환기(120)는 4-20mA to BLE, RS232-c to BLE 등과 같은 아날로그-디지털 변환기(ADC)로 구현되고, 블루투스 기술을 이용할 수 있다. 신호 변환기(120)의 구체적인 구성에 대해서는 도 2a 내지 도 2c를 참조하여 후술하기로 한다.
모바일 단말(130)는 주변의 객체들을 촬영하여 배경 영상을 표시하되, 센서(110)로부터 제공되는 센싱 데이터(또는, 센서 데이터)를 시각화하여 표시할 수 있다. 예를 들어, 모바일 단말(130)는 용접 장치에 대한 배경 영상을 표시하되, 용접 장치의 특성(예를 들어, 전류, 전압, 압력)을 감지하는 센서(110)로부터 제공되는 센싱 데이터들을 배경 영상 상에 표시할 수 있다. 여기서, 센싱 데이터들은 텍스트 형태, 그래프 형태 등으로 표시될 수 있다.
또한, 모바일 단말(130)는 배경 영상에 대한 배경 영상 데이터 및 센싱 데이터를 시각화한 센싱 영상 데이터를 하나의 영상 데이터로로 병합하고, 영상 데이터를 코딩하여 부호화 데이터를 생성하며, 부호화된 데이터를 원격지 단말(150)에 제공할 수 있다. 예를 들어, 모바일 단말(130)는 배경 영상 데이터 및 센싱 데이터를 병합하여 도 1에 도시된 표시 영상에 대한 영상 데이터를 생성하고, 범용 코덱(예를 들어, MPEG-4/AAC)를 이용하여 영상 데이터 및 음성 데이터(및 자막 데이터)를 인코딩하여 부호화 데이터를 생성할 수 있다. 여기서, 음성 데이터는 모바일 단말(130)를 사용하는 사용자의 음성, 배경 영상과 연관된 소리 등을 포함하고, 자막 데이터는 텍스트 형태로 표현된 센싱 값들을 포함 할 수 있다. 이 경우, 원격지 단말(150)은 별도의 어플리케이션(즉, 센싱 데이터를 시각화하기 위한 별도의 전용 어플리케이션)을 구비하지 않더라도, 부호화 데이터를 디코딩하여 영상 데이터를 획득함으로써, 센서 데이터를 시각적으로 확인할 수 있다.
즉, 본 발명의 실시예들에 따른 모바일 단말(130)는 센싱 데이터를 시각화하여 센싱 영상 데이터를 생성하고, 배경 영상 데이터 및 센싱 영상 데이터를 병합/코딩하여 부호화 데이터를 생성함으로써, 부호화 데이터를 수신하는 원격지 단말(150)은 별도의 어플리케이션을 구비하지 않더라도 센싱 데이터를 확인할 수 있다.
특히, 모바일 단말(130)는 배경 영상 데이터에 시각화된 센싱 데이터(또는, 센싱 영상 데이터, 자막 데이터)를 실시간으로 병합하고, 범용 코덱을 이용하여 병합된 데이터를 인코딩함으로써 실시간 스트리밍을 가능하도록 할 수 있다. 이 경우, 임의의 원격지 단말(150)은 일반적인 어플리케이션(예를 들어, 일반적인 미디어 플레이어, 영상 통화 어플리케이션 등)만을 이용하여, 배경 영상 및 센싱 값들을 실시간으로 확인할 수 있다.
한편, 센싱 데이터를 시각화하는 기능, 배경 영상 및 시각화된 센싱 데이터를 병합 및 인코딩하는 기능은 실시간 인코딩 프로그램으로 구현되어, 모바일 단말(130)에 포함될 수 있다.
스트리밍 서버(140)는 모바일 단말(130)로부터 제공되는 현장 영상 데이터를 실시간으로 저장하고, 실시간 스트리밍 기술을 이용하여 현장 영상 데이터를 원격지 단말(150)에 제공할 수 있다.
원격지 단말(150)은 모바일 단말(130)와 실질적으로 동일하고, 예를 들어, 스마트폰, 태블핏 컴퓨터, 퍼스널 컴퓨터 등일 수 있다. 다만, 원격지 단말(150)은 실시간 인코딩 기능 또는 실시간 인코딩 프로그램을 포함하지 않을 수 있다.
원격지 단말(150)은 모바일 단말(130)로부터 제공되는 부호화 데이터를 범용 코덱을 이용하여 복호화하여 영상 데이터 및 음성 데이터(및 자막 데이터)를 획득할 수 있다. 또한, 원격지 단말(150)은 일반적인 어플리케이션(예를 들어, 일반적인 미디어 플레이어, 영상 통화 어플리케이션)을 통해 영상 데이터 및 음성 데이터(및 자막 데이터)를 출력할 수 있다. 따라서, 원격지 단말(150)을 이용하는 사용자는 별도의 전용 어플리케이션을 구비하지 않더라도 센싱값들을 확인할 수 있다.
도 2a 내지 도 2c는 도 1의 모바일 현장 모니터링 시스템에 포함된 신호 변환기의 일 예를 나타내는 도면이다.
도 3은 도 1의 모바일 현장 모니터링 시스템에 포함된 모바일 단말의 일 예를 나타내는 블록도이다.
도 3을 참조하면, 센싱 모듈(310), 카메라 모듈(320), 영상 처리 모듈(330), 표시 모듈(340), 코덱 모듈(350), 통신 모듈(360) 및 마이크 모듈(370)을 포함할 수 있다.
센싱 모듈(310)은 센서(110) 로부터 센싱 데이터를 수신할 수 있다. 센싱 모듈(310)은 복수의 센서들로부터 제공되는 센싱 데이터들에 식별부호(예를 들어, ID)를 부여하여 센싱 데이터들을 구분할 수 있다. 도 1에 도시되지 않았으나, 센싱 데이터는 저장 모듈(예를 들어, 메모리 장치)에 저장될 수 있다.
카메라 모듈(320)은 모바일 단말(130) 주변의 영상(즉, 배경 영상)을 획득할 수 있다. 배경 영상은 특정 장치(예를 들어, 용접 장치, 모터 등)에 대한 영상을 포함하거나, 모바일 단말(130)를 사용하는 사용자의 영상을 포함할 수 있다. 카메라 모듈(320)은 일반적인 디지털 카메라로 구현되고, 배경 영상에 대한 제1 영상 데이터(또는, 배경 영상 데이터)를 생성할 수 있다.
영상 처리 모듈(330)은 센싱 데이터를 시각화 하여 제2 영상 데이터(또는, 센싱 영상 데이터)를 생성하고, 제1 영상 데이터 및 제2 센싱 영상 데이터를 병합하여 영상 데이터(또는, 출력 영상 데이터)를 생성할 수 있다.
표시 모듈(340)은 영상 처리 모듈(330)에서 생성된 영상 데이터에 기초하여 영상을 표시할 수 있다. 또한, 표시 모듈(340)은 입력 요소(예를 들어, 터치 스크린)을 포함하고, 사용자로부터 터치 입력을 수신할 수 있다.
도 4a는 도 3의 모바일 단말에서 표시되는 센서 데이터의 일 예를 나타내는 도면이고, 도 4b는 도 3의 모바일 단말에서 센서 데이터를 선택하는 일 예를 설명하는 도면이다.
도 4a를 참조하면, 영상 처리 모듈(330)은 복수의 레이어들을 생성하고, 복수의 레이어들에 제1 영상 데이터 및 제2 영상 데이터를 배치하며, 표시 모듈(340)은 복수의 레이어들에 대응하는 표시 영역들(R1 내지 R4)에 영상 데이터(즉, 제1 영상 데이터 및 제2 영상 데이터가 병합된 영상 데이터)를 표시할 수 있다.
도 4b를 참조하면, 표시 모듈(340)은 메뉴 아이콘을 통해 사용자의 센싱 영상 타입 선택 요청(예를 들어, 터입 입력 신호)을 수신하고, 이에 대응하여 복수의 센싱 영상 타입들(즉, 시각적으로 표시하고자 하는 센싱 값들의 종류 및 표시 형태(예를 들어, 타코미터, 디지털 미터 등))을 표시할 수 있다. 이후, 표시 모듈(340)은 사용자의 선택 신호(예를 들어, 드래그 앤 드롭 형태의 터치 입력 신호)를 수신할 수 있고, 영상 처리 모듈(330)은 선택 신호에 기초하여 센싱 영상을 표시할 표시 영역의 위치, 크기, 형상 중 적어도 하나를 결정할 수 있다. 즉, 영상 처리 모듈(330)은 레이어의 개수, 위치, 크기, 형상 등을 결정할 수 있다.
다시 도 3a를 참조하면, 영상 처리 모듈(330)(또는, 모바일 단말(130))는 제1 레이어에 제1 영상 데이터(또는, 제1 영상 데이터에 대응하는 배경 영상(IMAGE))을 배치하고, 제2 내지 제4 레이어들(즉, 제1 레이어 상에 오버레이 되는 레이어들)에 전력 데이터(즉, 전압 값 및 전류 값에 기초하여 산출된 전력 값으로, 시간 경과에 따른 변화를 나타내는 그래프(IMAGE2)), 전압/전류 데이터(또는, 전류/전압 영상(IMAGE3)) 및 압력 데이터(또는, 압력 영상(IMAGE4))을 배치할 수 있다. 이 경우, 표시 모듈(340)의 제1 영역(R1)(또는, 표시 모듈(340)의 모든 표시 영역)에는 배경 영상(IMAGE1)이 표시되며. 표시 모듈(340)의 제2 영역(R2)에는 그래프 형태의 전력 영상(IMAGE2)이 표시되고, 표시 모듈(340)의 제3 영역(R3)에는 전류/전압 영상(IMAGE3)이 표시되며, 제4 영역(R4)에는 압력 영상이 표시될 수 있다.
한편, 도 3a에서, 3개의 센싱 영상들(IMAGE2 내지 IMAGE4)이 도시되어 있으나, 이는 예시적인 것으로, 본 발명이 이에 국한되는 것은 아니다. 예를 들어, 모바일 단말(130)는 1개, 2개 또는 4개 이상의 센싱 영상들을 표시할 수 있다.
다시 도 3을 참조하면, 코덱 모듈(350)은 영상 처리 모듈(330)에서 생성된 영상 데이터를 인코딩하여 부호화 데이터를 생성할 수 있다. 앞서 설명한 바와 같이, 코덱 모듈(350)은 범용 코덱(MPEG-4/AAC, H.264 등)을 이용하여 영상 데이터를 인코딩 할 수 있다. 또한, 코덱 모듈(350)은 마이크 모듈(370)에서 제공되는 음성 데이터를 인코딩 할 수 있다. 즉, 코덱 모듈(350)은 영상 데이터 및 음성 데이터를 인코딩하여 비디오 데이터를 생성할 수 있다.
통신 모듈(360)은 부호화 데이터(또는, 비디오 데이터)를 원격지 단말(150)에 전송할 수 있다. 또한, 통신 모듈(360)은 원격지 단말(150)(또는, 외부 장치)로부터 데이터(예를 들어, 비디오 데이터 등)을 수신할 수 있다.
일 실시예에서, 통신 모듈(360)(또는, 코덱 모듈(350))은 FFMPEG(fast forward MPEG)와 같은 프로그램을 이용하여 부호화 데이터를 디지털 음성 스트림과 영상 스트림으로 변환할 수 있다. 이 경우, 통신 모듈(360)은 실시간 스트리밍 기술을 이용하여 원격지 단말(150)에 부호화 데이터를 제공할 수 있다.
도 5는 도 3의 모바일 단말에 포함된 영상 처리 모듈의 일 예를 나타내는 블록도이다.
도 5를 참조하면, 영상 처리 모듈(330)은 센싱 데이터 선택부(510), 시각화부(520), 영상 합성부(530) 및 텍스트화부(540)를 포함할 수 있다.
센싱 데이터 선택부(510)는 센싱 데이터로부터 시각화 및 텍스트화(textualization) 할 서브 센싱 데이터를 선택할 수 있다. 예를 들어, 센싱 데이터가 압력, 전압/전류, 전력 등에 대한 서브 센싱 데이터들을 포함하는 경우, 센싱 데이터 선택부(510)는 최초 설정값, 선택 신호(예를 들어, 사용자로부터 제공된 터치 입력 신호) 등에 기초하여 시각화할 서브 센싱 데이터와 텍스트화할 서브 센싱 데이터를 각각 선택할 수 있다.
도 3a를 참조하여 예를 들면, 센싱 데이터 선택부(510)는 전력 데이터 및 압력 데이터를 시각화 대상으로 결정하고, 전력 데이터 및 압력 데이터를 시각화부(520)에 제공하며, 센싱 데이터 선택부(510)는 전압/전류 데이터를 텍스트화 대상으로 결정하고, 전압/전류 데이터를 텍스트화부(540)에 제공할 수 있다.
시각화부(520)는 서브 센싱 데이터(즉, 센싱 데이터 선택부(510)에서 시각화 대상으로 선택된 센싱 데이터)에 기초하여 제2 영상 데이터를 생성할 수 있다.
도 5를 참조하면, 시각화부(520)는 서브 센싱 데이터를 시간 경과에 따른 센싱값의 크기 변화를 나타내는 그래프로 나타낼 수 있다. 예를 들어, 시각화부(520)는 버퍼 또는 메모리 장치를 이용하여 특정 시간 동안의 센싱 값들을 저장하고, 센싱값들 각각의 제공 시점 및 센싱값들 각각의 크기에 기초하여 그래프를 생성할 수 있다. 예를 들어, 시각화부(520)는 5초 동안의 센싱값들을 저장할 수 있는 버퍼를 포함하고, FIFO(first input first output) 방식을 이용하여 센싱값들을 저장하며, 저장된 센싱값들을 그래프 변환 알고리즘에 적용하여 그래프를 도출할 수 있다.
이와 달리, 시각화부(520)는 서브 센싱 데이터를 타코미터와 같은 영상 데이터로 나타낼 수 있다. 도 3a를 참조하여 예를 들어, 시각화부(520)는 센싱값에 기초하여 지침(또는, 바늘, 인디케이터) 영상을 생성하고, 지침 영상을 압력 영상(IMAGE4)와 같은 타코미터의 형상을 가지는 외형 영상에 오버레이할 수 있다.
즉, 시각화부(520)는 센싱 데이터를 시각화하는 일반적인 기술(또는 알고리즘)을 이용하여 센싱 데이터를 다양한 형태로 시각화 할 수 있다.
한편, 시각화부(520)는 제1 영상 데이터(즉, 배경 영상 데이터)의 주기와 같은 주기를 가지고 제2 영상 데이터를 생성할 수 있다. 예를 들어, 카메라 모듈(120)에서 60 프레임(또는, 60 Hz)의 제1 영상 데이터를 생성하는 경우, 시각화부(520)는 60 프레임의 제2 영상 데이터를 생성할 수 있다.
영상 합성부(530)는 제1 영상 데이터(즉, 배경 영상에 대한 데이터) 및 제2 영상 데이터(즉, 시각화된 센싱 데이터)를 병합하여 영상 데이터를 생성할 수 있다. 예를 들어, 영상 합성부(530)는 OpneGL ES framework(즉, 임베디드 환경에서 3차원 그래픽을 처리하기 위한 프레임워크)를 이용하여 시각화 계층(즉, 시각화된 센싱 데이터를 포함하는 복수의 레이어들) 및 제1 영상 데이터를 합성할 수 있다.
한편, 영상 합성부(530)에서 생성된 영상 데이터는 코덱 모듈(350)에 제공될 수 있다.
텍스트화부(540)는 서브 센싱 데이터(즉, 센싱 데이터 선택부(510)에서 텍스트화 대상으로 선택된 센싱 데이터)에 기초하여 텍스트 데이터(또는, 문자 데이터)를 생성할 수 있다.
도 3a를 참조하여 예를 들어, 텍스트화부(540)는 센싱값의 종류 또는 센싱 데이터의 식별 부호에 기초하여 기초 문자 부분(예를 들어, 센싱값의 종류를 나타내는 Voltage, Current 및 이들의 단위를 나타내는 V, A)를 결정하고, 센싱 값(즉, 디지털 형태의 센싱 값)에 대응하는 변화 문자 부분(예를 들어, 센싱 값인 30.99, 3.000)을 결정할 수 있다. 텍스트화부(540)는 특정 주기(예를 들어, 영상 데이터의 주기인 60 프레임과 같거나 작은 주기)를 가지고 자막을 반복적으로 생성할 수 있다.
일 실시예에서, 텍스트화부(540)는 센싱값의 변화가 임계값(또는, 기준값)을 초과하는 경우, 자막을 생성할 수 있다. 예를 들어, 텍스트화부(540)는 전압의 단위를 소수점 이상으로 결정하고, 전압이 소수점 이상(즉, 1V 이상)으로 변화하는 경우에 한하여, 전압에 대한 자막을 생성할 수 있다. 예를 들어, 텍스트화부(540)는 전류가 0.1A 이상으로 변화하는 경우, 전류에 대한 자막을 생성할 수 있다.
참고로, 모바일 단말(130)는 부호화 데이터(즉, 배경 영상 및 센싱 데이터를 포함하는 데이터)를 하나의 미디어 파일로서 원격지 단말(150)에 제공할 수 있다. 이 경우, 모바일 단말(130)는 자막 데이터를 미디어 파일과 동일한 파일명을 가지는 자막 파일로 생성하여 원격지 단말(150)에 제공할 수 있다.
이와 달리, 모바일 단말(130)는 부호화 데이터를 실시간 스트리밍 기술을 이용하여 원격지 단말(150)에 제공할 수 있다. 이 경우, 모바일 단말(130)는 자막 데이터를 주기적으로 갱신하고, 갱신된 자막 데이터를 원격지 단말(150)에 주기적으로 제공할 수 있다. 원격지 단말(150)은 실시간으로 영상을 표시하되, 갱신된 자막 데이터에 포함된 자막(즉, 센싱값)을 호출하여 영상에 표시할 수 있다.
이와 달리, 모바일 단말(130)는 영상 통화 기술을 이용하여 부호화 데이터를 원격지 단말(150)에 제공할 수 있다. 이 경우, 모바일 단말(130)는 자막 데이터를 이용하여 문자 메시지를 생성할 수 있고, 원격지 단말(150)과의 영상 통화 중, 푸쉬 알림 기능을 이용하여 원격지 단말(150)로 하여금 문자 메시지(즉, 센싱값)을 표시하도록 할 수 있다. 따라서, 원격지 단말(150)을 이용하는 사용자는 배경 영상 뿐만 아니라 센싱 데이터를 실시간으로 인지할 수 있다.
참고로, 모바일 단말(130)에서 센싱 데이터를 모두 시각화하는 경우, 상대적으로 작은 크기의 센싱 데이터가 상대적으로 큰 (즉, 용량이 큰) 영상 데이터로 변환되므로, 모바일 단말(130)에서 원격지 단말(150)에 제공되는 데이터의 크기가 증가하며, 모바일 단말(130), 네트워크(120), 원격지 단말(150) 모두의 부하가 증가될 수 있다.
한편, 모바일 단말(130)에서 센싱 데이터의 적어도 일부를 자막 데이터(또는, 문자 메시지)를 이용하여 문자 형태로 시각화 하는 경우, 센싱 데이터는 영상 데이터에 비해 상대적으로 작은 크기(또는, 센싱 데이터와 유사한 크기)를 가지는 자막 데이터(또는, 문자 데이터)로 변환되므로, 모바일 단말(130)에서 원격지 단말(150)에 제공되는 데이터의 크기가 증가를 최소화시킬 수 있다.
도 6은 도 2의 실시간 인코딩 장치를 알고리즘으로 구현한 일 예를 나타내는 블록도이다.
도 2 및 도 7을 참조하면, 모바일 단말(130)는 센서 데이터 통합부(sensor DAQ)(610), 게이지 드로워(gaugedrawer)(620), 게이지뷰어(gauge viewer)(630), 서피스텍스처(surfacetexture)(640), 오픈지엘(openGL ES)(650), 서피스뷰어(surfaceview)(660), 미디어코덱(mediacodec)(670) 및 에프에프엠피이지(FFMPEG)(680)을 포함할 수 있다.
센서 데이터 통합부(sensor DAQ)(610)는 센서(110)로부터 센서값(또는, 센서 데이터)를 획득하고, 복수의 센서들을 구별하기 위해 센서들에 식별번호(또는, ID)를 부여할 수 있다. 앞서 도 2를 참조하여 설명한 센서 모듈(210)과 실질적으로 동일할 수 있다.
게이지 드로워(gaugedrawer)(620)는 센서 값을 다양한 형태로 시각화 할 수 있다. 도 4를 참조하여 설명한 시각화부(520)와 실질적으로 동일할 수 있다.
게이지뷰어(gauge viewer)(630)는 센서 시각화 계층을 제어할 수 있다. 여기서, 센서 시각화 계층은 시각화된 센서값들을 표시하는 레이어에 해당할 수 있다. 앞서 도 3b를 참조하여 설명한 바와 같이, 게이지뷰어(gauge viewer)(630)는 사용자로부터 제공되는 선택 신호 등에 기초하여 센서 시각화 계층을 생성, 이동 및 삭제할 수 있다.
서피스텍스처(surfacetexture)(640)는 카메라 모듈(320)로부터 제1 영상 데이터(또는, 영상 프레임 데이터)를 획득할 수 있다.
오픈지엘(openGL ES)(650)은 임베디드 환경에서 3차원 그래픽을 처리하기 위한 프레임워크이고, 화면 렌더링 및 코덱 변환을 위해 제1 영상 데이터 및 제2 영상 데이터를 FFMPEG(680)에 전송하는 이지엘서피스(EGLSurface)를 포함할 수 있다.
서피스뷰어(surfaceview)(660)는 OpenGL ES framework를 통해 시각화 계층(즉, 시각화된 센싱 데이터)과 카메라 영상 프레임(즉, 제1 영상 데이터)를 혼합하여 표시 모듈(340) 상에 출력할 수 있다.
미디어코덱(mediacodec)(670)은 모바일 환경에서 재생할 수 있는 코덱을 이용하여 영상 데이터(즉, 제1 및 제2 영상 데이터들을 포함하는 데이터)를 인코딩할 수 있다. 미디어코덱(670)은 도 2를 참조하여 설명한 코덱 모듈(350)과 실질적으로 동일할 수 있다.
FFMPEG(680)은 크로스 플랫폼을 지원하는 미디어 프레임워크로, 다양한 코덱, 영상 재생, 편집 기능 등을 제공할 수 있다. FFMPEG(680)은 미디어코덱(670)에서 인코딩된 비디오 데이터(즉, 영상 데이터 및 음성 데이터를 포함하는 데이터)를 비디오 스트림으로 저장하고, 파일 출력(예를 들어, mp4-latm) 또는 스트리밍 출력(예를 들어, rtsp) 방식을 이용할 수 있다.
본 발명의 실시예들에 따른 모바일 현장 모니터링 시스템은 실시간 모니터링 시스템에 적용될 수 있다.
100: 모바일 현장 모니터링 시스템
110: 센서 120: 신호 변환기
130: 모바일 단말 140: 스트리밍 서버
150: 원격지 단말 210: 커넥터
220: ADC 또는 DI 230: MCU
240: USB 250: 무선통신모듈
260: IMS 270: PMS
280: 배터리 310: 센서 모듈
320: 카메라 모듈 330: 영상 처리 모듈
340: 표시 모듈 350: 코덱 모듈
360: 통신 모듈 370: 마이크 모듈
510: 센싱 데이터 선택부 520: 시각화부
530: 영상 합성부 540: 텍스트화부

Claims (5)

  1. 센서들;
    상기 센서들 중 적어도 하나와 전기적으로 연결되고, 상기 센서들 중 적어도 하나로부터 제공되는 센싱 신호를 센싱 데이터로 변환하는 신호 변환기;
    카메라를 통해 제1 영상 데이터를 생성하고, 상기 신호 변환기로부터 제공되는 상기 센싱 데이터를 시각화하여 제2 영상 데이터를 생성하며, 상기 제1 영상 데이터 및 제2 영상 데이터를 병합하여 현장 영상 데이터를 생성하는 모바일 단말;
    상기 모바일 단말과 네트워크를 통해 연결되고, 상기 현장 영상 데이터를 실시간으로 저장하는 스트리밍 서버; 및
    상기 모바일 단말 및 스트리밍 서버 중 적어도 하나와 네트워크를 통해 연결되고, 상기 현장 영상 데이터에 기초하여 영상을 표시하는 원격지 단말을 포함하고,
    상기 모바일 단말은,
    상기 제1 영상 데이터를 생성하는 카메라 모듈;
    상기 신호 변환기와 전기적으로 연결되고, 상기 센싱 데이터를 수신하는 센싱 모듈;
    상기 센싱 데이터를 시각화하여 상기 제2 영상 데이터를 생성하고, 상기 제1 영상 데이터 및 상기 제2 영상 데이터를 병합하여 현장 영상 데이터를 생성하는 영상 처리 모듈;
    상기 현장 영상 데이터에 기초하여 영상을 표시하는 표시 모듈;
    상기 현장 영상 데이터를 인코딩하여 부호화 데이터를 생성하는 코덱 모듈; 및
    상기 부호화 데이터를 상기 스트리밍 서버 및 상기 원격지 단말 중 적어도 하나에 전송하는 전송 모듈을 포함하는 모바일 현장 모니터링 시스템.
  2. 제 1 항에 있어서, 상기 센서들 및 상기 신호 변환기는 마커들을 포함하고,
    상기 모바일 단말은 상기 마커들 중 상기 카메라를 통해 인식된 마커에 대응하는 신호 변환기 또는 센서와 연결 상태를 유지하는 것을 특징으로 하는 모바일 현장 모니터링 시스템.
  3. 제 1 항에 있어서, 상기 모바일 단말이 복수의 신호 변환기들과 연결되는 경우, 상기 모바일 단말은 복수의 신호 변환기들 각각에 연결 순위를 부여하되, 유선을 통해 연결된 제1 신호 변환기를 무선을 통해 연결된 제2 신호 변환기보다 빠른 우선 순위를 부여하는 것을 특징으로 하는 모바일 현장 모니터링 시스템.
  4. 제 3 항에 있어서, 상기 모바일 단말은 무선을 통해 연결된 제3 신호 변환기 및 제4 신호 변환기와 연결되고, 상기 모바일 단말을 기준으로 상기 제3 신호 변환기의 이격거리가 상기 제4 신호 변환기의 이격거리보다 짧은 경우, 또는 상기 모바일 단말에서 감지되는 상기 제3 신호 변환기의 무선 연결 강도가 상기 제4 신호 변환기의 무선 연결 강도보다 높은 경우, 상기 모바일 단말은 상기 제3 신호 변환기의 우선순위를 상기 제4 신호 변환기의 우선 순위보다 빠르게 설정하는 것을 특징으로 하는 모바일 현장 모니터링 시스템.
  5. 삭제
KR1020170003451A 2017-01-10 2017-01-10 모바일 현장 모니터링 시스템 KR101891967B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170003451A KR101891967B1 (ko) 2017-01-10 2017-01-10 모바일 현장 모니터링 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170003451A KR101891967B1 (ko) 2017-01-10 2017-01-10 모바일 현장 모니터링 시스템

Publications (2)

Publication Number Publication Date
KR20180082139A KR20180082139A (ko) 2018-07-18
KR101891967B1 true KR101891967B1 (ko) 2018-09-28

Family

ID=63049289

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170003451A KR101891967B1 (ko) 2017-01-10 2017-01-10 모바일 현장 모니터링 시스템

Country Status (1)

Country Link
KR (1) KR101891967B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114338061A (zh) * 2020-09-29 2022-04-12 苏传军 实时监控工作场域的系统与方法
WO2022092328A1 (ko) * 2020-10-26 2022-05-05 (주)글루시스 미디어 데이터와 센싱 데이터의 관리 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101525936B1 (ko) * 2013-12-30 2015-06-16 배재대학교 산학협력단 소셜 네트워크 환경에서 증강현실 서비스를 제공하는 장치 및 방법
KR101628975B1 (ko) * 2015-08-28 2016-06-09 셀로코주식회사 실시간 영상 공유를 기반으로 한 사물 인터넷 시스템 및 이를 이용한 서비스 제공 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101525936B1 (ko) * 2013-12-30 2015-06-16 배재대학교 산학협력단 소셜 네트워크 환경에서 증강현실 서비스를 제공하는 장치 및 방법
KR101628975B1 (ko) * 2015-08-28 2016-06-09 셀로코주식회사 실시간 영상 공유를 기반으로 한 사물 인터넷 시스템 및 이를 이용한 서비스 제공 방법

Also Published As

Publication number Publication date
KR20180082139A (ko) 2018-07-18

Similar Documents

Publication Publication Date Title
JP4640515B2 (ja) サムネイル生成装置、サムネイル生成方法、及びサムネイル生成プログラム
US10347298B2 (en) Method and apparatus for smart video rendering
JP6787394B2 (ja) 情報処理装置、情報処理方法、プログラム
JP2007281680A (ja) 画像処理装置および画像表示方法
KR20130112162A (ko) 다수의 동영상 썸네일을 동시에 표시하기 위한 영상 재생 장치 및 방법
KR101891967B1 (ko) 모바일 현장 모니터링 시스템
US10732706B2 (en) Provision of virtual reality content
JP5966834B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN105678827A (zh) 用于生成自动化动画的方法和装置
JP4504452B1 (ja) 映像視聴装置及び映像再生制御方法及び記録再生用プログラム
US20190139574A1 (en) Reproducing apparatus, reproducing method, information generation apparatus, and information generation method
WO2013129188A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
KR101951874B1 (ko) 실시간 인코딩 장치 및 실시간 인코딩 방법
KR101762349B1 (ko) 실외환경에서의 증강현실 제공방법, 이를 수행하는 증강현실 제공서버, 및 이를 저장하는 기록매체
WO2017022296A1 (ja) 情報管理装置及び情報管理方法、並びに映像再生装置及び映像再生方法
WO2020234939A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP5920152B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
KR102429901B1 (ko) 부분 영상을 생성하기 위한 전자 장치 및 그의 동작 방법
JP2006222901A (ja) 動画再生支援方法、動画再生支援プログラム、サーバ装置及びコンピュータシステム
JP2017112455A (ja) 情報処理装置
KR20140131069A (ko) 반복 애니메이션을 제작하기 위한 장치 및 방법
JP2008225353A (ja) 画像表示システム、画像表示方法、およびプログラム
JP2017084161A (ja) 画像処理装置、表示装置及びその制御方法
WO2013129187A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2013211822A (ja) 画像処理装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant