KR101283324B1 - 스마트모듈을 이용한 실시간 양방향 영상 모니터링 시스템 및 방법 - Google Patents

스마트모듈을 이용한 실시간 양방향 영상 모니터링 시스템 및 방법 Download PDF

Info

Publication number
KR101283324B1
KR101283324B1 KR1020110084927A KR20110084927A KR101283324B1 KR 101283324 B1 KR101283324 B1 KR 101283324B1 KR 1020110084927 A KR1020110084927 A KR 1020110084927A KR 20110084927 A KR20110084927 A KR 20110084927A KR 101283324 B1 KR101283324 B1 KR 101283324B1
Authority
KR
South Korea
Prior art keywords
module
unit
video
data
smart
Prior art date
Application number
KR1020110084927A
Other languages
English (en)
Other versions
KR20130022142A (ko
Inventor
이재흥
Original Assignee
한밭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한밭대학교 산학협력단 filed Critical 한밭대학교 산학협력단
Priority to KR1020110084927A priority Critical patent/KR101283324B1/ko
Publication of KR20130022142A publication Critical patent/KR20130022142A/ko
Application granted granted Critical
Publication of KR101283324B1 publication Critical patent/KR101283324B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208—Display device provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635—HDMI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 비디오부, 비디오제어부, 오디오부, 네트워크부, 전력부, CPU부, 메모리부, 코덱부, 입출력부, 인터페이스부를 포함하는 스마트모듈; 스트리밍 모듈, 멀티미디어 변환 모듈, 렌더링 모듈을 포함하는 클라이언트모듈; 상기 클라이언트 모듈이 설치되고 비디오부 및 오디오부를 포함하는 원격 단말;로 구성하되,상기 스마트모듈의 비디오부에서 촬영된 멀티미디어 데이터는 네트워크부를 통해 원격 단말에 전송되고, 원격 단말에 설치된 클라이언트 모듈의 멀티미디어 변환 모듈에서 변환되어 원격 단말에서 멀티미디어 데이터를 디스플레이 하며, 상기 원격 단말의 비디오부 및 오디오부를 통해 입력된 멀티미디어 데이터는 클라이언트 모듈의 멀티미디어 변환 모듈 및 스트리밍 모듈을 통해 스마트모듈로 전송되는 것을 특징으로 하는 스마트 모듈을 이용한 실시간 양방향 영상 모니터링 시스템에 관한 것이다.

Description

스마트모듈을 이용한 실시간 양방향 영상 모니터링 시스템 및 방법{THE REALTIME DUPLEX IMAGE MONITORING SYSTEM USING SMART MODULE AND THE METHOD THEREOF}
본 발명은 스마트모듈을 이용한 실시간 양방향 영상 모니터링 시스템 에 관한 것으로, 더욱 상세하게는 카메라를 구비하는 스마트모듈이 인터넷을 통하여 멀티미디어 정보의 실시간 양방향 송수신이 가능한 시스템에 관한 것이다.
화상통화가 가능한 종래의 화상통화 단말기에 있어서, 종래의 화상통화 단말기는 같은 기종의 화상통화 단말기 사이에서만 화상통화 서비스가 제공되고, 단말기에 사용되는 LCD 가격이 비싸다는 단점 때문에 종래의 화상통화 단말기 제작에 단가가 많이 들어간다는 한계점이 있었다.
또한, CCTV, 영상통화, 인터넷 등을 사용자 단말에 디스플레이하는 모니터링 시스템에 있어서, 디스플레이부를 따로 마련해야 했으므로 기존의 TV를 활용하여 모니터링 할 수 없다는 단점이 있었다.
본 발명은 상기 기술한 단점을 보완하기 위하여 스마트모듈을 이용하여 별도의 디스플레이부를 필요하지 않고 기존의 TV에 영상을 디스플레이 하는 영상 모니터링 시스템을 제공하는 것을 목적으로 한다.
또한, CCTV에서 실시간 촬영하는 영상을 원격의 단말에서 모니터링 할 수 있는 영상 모니터링 시스템을 제공하는 것을 목적으로 한다.
그리고, 실시간으로 양방향 영상 및 음성 전송을 통하여 영상전화 서비스를 제공하는 것을 목적으로 한다.
상기한 종래 문제점을 해결하고 상기 목적을 달성하기 위한 본 발명의 스마트모듈을 이용한 실시간 양방향 영상 모니터링 시스템은,
비디오부, 비디오제어부, 오디오부, 네트워크부, 전력부, CPU부, 메모리부, 코덱부, 입출력부, 인터페이스부를 포함하는 스마트모듈; 스트리밍 모듈, 멀티미디어 변환 모듈, 렌더링 모듈을 포함하는 클라이언트모듈;상기 클라이언트 모듈이 설치되고 비디오부 및 오디오부를 포함하는 원격 단말;로 구성하되,상기 스마트모듈의 비디오부에서 촬영된 멀티미디어 데이터는 네트워크부를 통해 원격 단말에 전송되고, 원격 단말에 설치된 클라이언트 모듈의 멀티미디어 변환 모듈에서 변환되어 원격 단말에서 멀티미디어 데이터를 디스플레이 하며,상기 원격 단말의 비디오부 및 오디오부를 통해 입력된 멀티미디어 데이터는 클라이언트 모듈의 멀티미디어 변환 모듈 및 스트리밍 모듈을 통해 스마트모듈로 전송되는 것을 특징으로 한다.
본 발명의 스마트모듈을 이용한 실시간 양방향 영상 모니터링 시스템에 있어서, 상기 스마트모듈의 비디오부는 카메라를 포함하여 실시간으로 영상을 촬영하여 디지털 비디오 신호를 발생하고, 비디오제어부는 상기 비디오부의 카메라를 PTZ제어하고, 오디오부는 실시간으로 오디오 입출력 신호를 압축 및 제어하고, 네트워크부는 상기 비디오부의 비디오 신호, 오디오부의 오디오 신호 또는 제어신호를 이더넷을 통해 실시간으로 송수신 하고, 전력부는 입력전원을 생성 및 관리하고, CPU부는 핵심적인 처리를 할 수 있는 SoC 칩으로 구성되고, 메모리부는 SD카드에 연결되는 외부 메모리부 및 상기 CPU부와 연결되는 내부 메모리부로 구성되고, 코덱부는 상기 비디오부로부터 입력 받은 영상을 포맷변환 하고, 입출력부는 센서신호 및 비디오신호를 입출력 관리하고, 인터페이스부는 TV와 HDMI로 연결되어 멀티미디어를 TV에 전송하는 것을 특징으로 한다.
또한, 본 발명의 스마트모듈을 이용한 실시간 양방향 영상 모니터링 시스템에 있어서, 상기 클라이언트모듈의 스트리밍 모듈은 비디오 스트리밍 모듈, 오디오 스트리밍 모듈, 파일 스트리밍 모듈 및 스트리밍 컨트롤 모듈을 포함하고, 멀티미디어 변환 모듈은 비디오 변환 모듈 및 오디오 변환 모듈을 포함하며, 렌더링 모듈은 비디오 렌더링 모듈, 오디오 렌더링 모듈, 비디오 캡쳐 모듈 및 오디오 캡쳐 모듈을 포함하는 것을 특징으로 한다.
그리고, 원격 단말은 스마트폰, PDA 또는 노트북의 휴대용 단말로, 원격의 거리에서도 스마트모듈 또는 원격 단말로부터 입력받은 영상정보 및 음성정보를 실시간 모니터링 할 수 있는 것을 특징으로 한다.
여기서, 스마트모듈은 관리부를 더 포함하고, 관리부는 스마트모듈에서 처리되는 프로세스의 동작을 감시하여 오류 발생 시 복구 및 초기화를 시키는 것을 특징으로 한다.
본 발명의 스마트모듈을 이용한 실시간 양방향 영상 모니터링 시스템을 통한 영상 모니터링 방법은, 스마트 모듈의 비디오부 및 오디오부로부터 영상신호 또는 음성신호를 입력받는 제 1 신호입력단계;상기 제 1 신호입력단계에서 입력받은 신호를 스마트 모듈의 코덱부에서인코딩 하는 제 1 인코딩 단계;상기 제 1 인코딩 단계에서 처리된 데이터를 클라이언트 모듈의 데이터 전송부로 전송하며 데이터 타입에 따라 비디오 스트리밍 모듈, 오디오 스트리밍 모듈, 파일 스트리밍 모듈로 각각 나누고, 데이터 처리부에서 처리하는 데이터 처리 단계;상기 데이터 처리 단계에서 출력된 데이터를 원격 단말에서 수신하는 데이터 수신 단계;상기 데이터 수신 단계에서 수신한 데이터를 원격 단말에서 디코딩하는 제 1 디코딩 단계;디코딩 된 데이터를 원격 단말의 디스플레이부에 표시하는 제 1 디스플레이 단계;원격 단말의 비디오부 및 오디오부로부터 영상신호 또는 음성신호를 입력받아렌더링모듈에서렌더링하는 제 2 신호입력 단계;상기 제 2 신호입력 단계에서 입력받은 신호를 클라이언트 모듈의 멀티미디어 변환 모듈에서 인코딩 하는 제 2 인코딩 단계;상기 제 2 인코딩단계에서 처리된 데이터를 스마트 모듈의 네트워크부로 전송하는 데이터 전송 단계;상기 제 데이터 전송 단계로부터 수신한 데이터를 스마트 모듈에서 디코딩 하는 제 2 디코딩 단계; 및,상기 제 2 디코딩 단계로부터 수신한 데이터를 스마트 모듈의 인터페이스부를 통해 TV에 디스플레이하는 제 2 디스플레이단계;로 구성되는 것을 특징으로 한다.
여기서, 상기 제 1 신호입력단계, 제 1 인코딩 단계, 데이터 처리 단계, 데이터 수신 단계, 제 1 디코딩 단계 및 제 1 디스플레이 단계는 스마트모듈에서 원격 단말로 데이터를 전송하고, 상기 제 2 신호입력 단계, 제 2 인코딩 단계, 데이터 전송 단계, 제 2 디코딩 단계 및 제 2 디스플레이 단계는 원격 단말에서 스마트모듈로 데이터를 전송하며, 스마트모듈에서 원격 단말로, 원격 단말에서 스마트모듈로의 양방향 데이터 전송이 실시간으로 이루어지는 것을 특징으로 한다.
이러한 본 발명의 특징에 따르면, 본 발명의 스마트모듈을 이용한 실시간 양방향 영상 모니터링 시스템은 스마트모듈의 카메라에서 촬영된 영상을 원격의 스마트폰, 휴대용 단말기 또는 PC에서 실시간 모니터링 가능하므로 CCTV의 기능을 할 수 있다는 효과가 있다.
또한, 스마트모듈을 TV에 HDMI로 인터페이스 하여 별도의 디스플레이부를 구비하지 않고, TV에 멀티미디어 영상 또는 데이터를 표시할 수 있어 기존의 TV를 활용할 수 있다는 효과가 있다.
또한, 스마트모듈과 스마트모듈 사이, 스마트모듈과 스마트폰 또는 PC 사이에 실시간 양방향 영상 및 음성전송이 가능하므로 영상전화로 활용할 수 있다는 효과가 있다.
도 1은 본 발명에 따른 스마트모듈을 이용한 실시간 양방향 영상 모니터링 시스템의 구조를 나타낸 도면,
도 2는 클라이언트 모듈의 내부 구조를 나타낸 도면,
도 3 은 스트리밍 서비스 구현 방식 및 패킷 구성을 나타낸 도면
도 4는 스마트모듈을 이용한 실시간 양방향 영상 모니터링 방법을 나타낸 흐름도.
이하, 본 발명의 바람직한 실시 예를 첨부한 도면을 참고로 하여 상세하게 설명한다.
도 1은 본 발명에 따른 스마트모듈을 이용한 실시간 양방향 영상 모니터링 시스템의 구조를 나타낸 도면이다. 도시한 바와 같이 본 발명의 스마트모듈을 이용한 실시간 양방향 영상 모니터링 시스템은 스마트모듈(100)과 원격 단말(300)의 상호작용으로 이루어진다.
스마트모듈(100)은 비디오부(170), 비디오제어부(171), 오디오부(173), 네트워크부(130), 전력부(140), CPU부(110), 메모리부(120), 코덱부(160), 입출력부(180), 인터페이스부(190)를 포함하여 구성된다. 여기서, 비디오부(170)에는 영상을 촬영할 수 있도록 카메라 또는 캠코더(CAM;172)가 연결되어 있어 실시간으로 영상을 촬영하여 디지털 비디오 신호를 발생한다. 비디오부(170)에 연결된 카메라 또는 캠코더(CAM;172)는 PTZ기능이 있으며, 비디오제어부(171)는RS485로 구성되어 상기 비디오부(170)의 카메라(172)를 PTZ 제어한다.
오디오부(173)는 실시간으로 오디오 입출력 신호를 압축 및 제어한다. 네트워크부(130)는 상기 비디오부(170)의 비디오 신호, 오디오부(173)의 오디오 신호 또는 제어신호를 이더넷을 통해 실시간으로 송수신하는데, 이더넷은IEEE802.3 표준화 된 LAN 전송으로, 10Mbps, 100Mbps일 수 있다. 이더넷 네트워크를 통해 스마트 모듈(100)에 연결된 PC에서 네트워크 망을 이룬다. 또한, 네트워크부(130)는 3G 또는 WiFi망을 이용하여 원격 단말(300)에 비디오 신호, 오디오 신호 또는 제어 신호를 무선 네트워크로 보낼 수 있다. 이러한 이더넷 네트워크 및 무선 네트워크 서비스를 위하여 별도의 관리서버(310)가 필요하다.
전력부(140)는 입력 전원을 생성 및 관리하고 직류전압 3.3V를 사용할 수 있으며 이를 한정하지는 아니한다.
CPU부(110)는 스마트모듈(100)의 전체적인 기능 및 핵심적인 처리를 할 수 있는 Cortex A8의 SoC칩으로 구성되되, 저전력(전력부의 DC 3.3V)에서도 구동될 수 있는 CPU이며, H.264영상코덱과 주변장치 제어모듈을 포함한다. Cortex A8에 대해 자세하게 설명하자면, ARMv7 아키텍처를 기반으로 하는 프로세서로300mW이하의 저전력에서 동작이 필요한 모바일 장비에 적합하며, 600MHz~1GHz 이상의 속도를 낸다.
메모리부(120)는 외부 메모리부(121)와 내부 메모리부(122)로 구성된다. 외부 메모리부(121)는SD카드 또는 MMC를 연결하여 외부 메모리와 통신한다. 또한, 내부 메모리부(122)는 상기 CPU부(110)에 펌웨어를 저장하기 위한 DDR램을 연결한다.
코덱부(160)는 상기 비디오부(170)로부터 입력받은 영상을 포맷 변환한다. 이 때 다양한 포맷을 코덱 변환할 수 있으며, 1080p 30fps의 고화질 영상 및 H.264, MPEG-4코덱의 변환까지 지원가능하나 이를 한정하지는 아니한다.
입출력부(180)는 GPIO로 구성되어 센서신호 및 비디오신호를 입출력 관리한다.
인터페이스부(190)는 스마트모듈(100)에 구성된 HDMI포트를 통해 TV(191)와 HDMI로 연결되어 멀티미디어를 TV(191)에 전송하여 TV(191)에서 영상을 디스플레이 할 수 있도록 한다.
또한, 관리부(150)는 스마트모듈(100)에서 처리되는 프로세스의 동작을 감시하여 오류 발생 시 복구 및 초기화를 시키는 기능을 수행한다.
다음으로, 도1에 도시된 바와 같이 원격 단말(300)은 클라이언트 모듈(200)을 포함하는데, 클라이언트 모듈(200)은 스트리밍 모듈(210), 멀티미디어 변환 모듈(220), 렌더링 모듈(230)을 포함한다. 또한, 원격 단말(300)은 스마트폰, PDA 또는 노트북일 수 있고, 상기 스마트 모듈의 비디오부(170)에서 촬영된 영상 또는 음성정보를 클라이언트모듈(200)을 통해 수신하여 디스플레이한다.
원격 단말(300)은 비디오부 또는 오디오부(미도시)를 포함하여 구성함으로써 영상 및 음성정보를 입력받고, 클라이언트 모듈(200)을 통해 스마트모듈(100)로 송신하여 스마트모듈(100)의 인터페이스부(190)에 연결된 TV(191)에서 디스플레이한다.
이는 원격 단말(300) 및 스마트모듈(100)로부터 입력받은 영상 또는 음성정보를 각각 다른 모듈에서 실시간으로 모니터링 할 수 있는 기능을 말한다. 이 때, 원격 단말(300)과 원격단말(300), 원격단말(300)과 스마트모듈(100), 스마트모듈(100)과 스마트모듈(100) 사이에서 데이터를 양방향 송수신 및 실시간 모니터링 할 수 있다.
클라이언트 모듈(200)의 스트리밍 모듈(210)은 비디오 스트리밍 모듈(211), 오디오 스트리밍 모듈(212), 파일 스트리밍 모듈(213) 및 스트리밍 컨트롤 모듈(214)을 포함하고, 멀티미디어 변환 모듈(220)은 비디오 스트리밍 모듈(221), 오디오 스트리밍 모듈(222)을 포함하며, 렌더링 모듈(230)은 비디오 렌더링 모듈(231), 오디오 렌더링 모듈(232), 비디오 캡처 모듈(233) 및 오디오 캡처 모듈(234)을 포함한다. 클라이언트 모듈(200)의 자세한 설명은 도 2를 참조하여 더 상세하게 설명하도록 한다.
도 2는 클라이언트 모듈(200)의 내부 구조를 나타낸 도면이다. 도시한 바와 같이, 클라이언트 모듈(200)은 모듈 메인부(320), 데이터 전송부(500), 데이터 처리부(600), 데이터 출력부(700), 공유 메모리(800), 공유 메모리 버퍼(810) 및 외부 인터페이스부(900)를 포함하여 구성된다. 여기서, 도 1을 참조하여 설명한 것과 같이 클라이언트 모듈(200)의 스트리밍 모듈(210), 멀티미디어 변환 모듈(220) 및 렌더링 모듈(230)은 각각 데이터 전송부(500), 데이터 처리부(600), 데이터 출력부(700)에 포함되어 구성된다.
데이터 전송부(500)는 스트리밍 모듈(210), 네트워크 연결 모듈(510), 서버 정보(520), 스트리밍 제어 모듈(530) 및 연결 상태 체크 모듈(540)을 포함하며, 상기 스트리밍 모듈(210)은 비디오 스트리밍 모듈(211), 오디오 스트리밍 모듈(212), 파일 스트리밍 모듈(213) 및 스트리밍 컨트롤 모듈(214)을 포함하여 구성된다. 이 때, 데이터 전송부(500)는 네트워크를 이용하여 스마트 모듈(100)에 접속하고, 스마트모듈(100)로부터 멀티미디어 스트리밍 데이터를 송수신한다. 기본적으로 영상 스트리밍 데이터와 음성 스트리밍 데이터 및 파일 형식으로 이루어진 여러 멀티미디어 데이터를 주고 받는 기능을 수행한다. 스트리밍 데이터는 크게 동기화 데이터(SYNC), 헤더(Header) 및 실제 데이터(Data)를 묶어 하나의 스트림 패킷으로 처리하는데 이를 도 3을 참조하여 설명한다. 도 3은 스트리밍 서비스 구현 방식 및 패킷 구성을 나타낸 도면이다. 도시한 바와 같이, 스마트 모듈(100)과 클라이언트 모듈(200) 사이에서 멀티미디어 스트리밍 데이터를 송수신한다. 도시한 스트림패킷은 동기화 데이터, 헤더, 실제 데이터를 포함하여 구성되고, 클라이언트 모듈에서는 동기화 데이터, 헤더, 데이터 순으로 수신하며, 이 때 동기화 데이터와 헤더를 통해 멀티미디어 데이터의 형식, 크기, 유효성 등을 확인가능 하다.
데이터 처리부(600)는 멀티미디어 변환 모듈(220), H.264코덱 모듈(610) 및 G.7XX 코덱 모듈(620)을 포함하며, 상기 멀티미디어 변환 모듈(220)은 비디오 스트리밍 모듈(221) 및 오디오 스트리밍 모듈(222)을 포함하여 구성된다.이 때, 데이터 처리부(600)는 스마트 모듈(100)로부터 수신한 여러 멀티미디어 데이터와 렌더링 모듈(230)로부터 수신한 영상정보 및 음성정보를 변환하는 기능을 수행한다. H.264 압축 방식을 기반으로 하여 스트리밍 서비스로 수신 받은 영상 데이터를 각각의 영상 프레임에 대해 부호화 또는 복호화 한다. 부호화된 압축 데이터는 데이터 전송부(500)를 통해 스마트 모듈(100)로 전송하고, 복호화된 원 영상 데이터는 데이터 출력부(700)를 통해 출력 장치로 보내진다. 이와 마찬가지로, 음성 데이터도 G.7XX 압축 방식을 기반으로 하여 스트리밍 서비스를 수행하고, 부호화 및 복호화 작업을 통해 다른 하위모듈들로 보내져 처리한다. 기타 파일 데이터는 사용자에게 동일하게 전달하기 때문에 데이터 처리부(600)에서는 별도의 처리 과정을 수행하지 않는다.
데이터 출력부(700)는 렌더링 모듈(230), OpenGL/ES모듈(710) 및 WaveOut모듈(720)을 포함하며, 상기 렌더링 모듈(230)은 비디오 렌더링 모듈(231), 오디오 렌더링 모듈(232), 비디오 캡처 모듈(233) 및 오디오 캡처 모듈(234)을 포함하여 구성된다. 이 때, 데이터 처리부(600)에서 각각의 복호화 과정을 거쳐 생성된 여러 멀티미디어 출력 데이터 및 데이터 전송부(500)에서 처리된 파일 데이터를 사용자에게 출력하는 과정을 처리한다. 영상 프레임 데이터는 OpenGL/ES 오픈 라이브러리를 이용하여 프레임을 출력하고, 음성 데이터는 단말기의 스피커 모듈로 출력하기 위해 별도로 구현한 WaveOut 모듈(720)을 이용하여 스피커로 음성을 출력한다. 그리고 기타 멀티미디어 파일 데이터는 클라이언트 모듈(200)에 부착된 저장 장치에 별도 저장하여, 이후 사용자가 파일을 확인할 수 있도록 한다. 그리고, 이와 반대로 원격 단말(300)에 설치된 카메라 또는 마이크로부터 입력받은 영상정보 및 음성정보를 각각 비디오 캡처 모듈(231)과 오디오 캡처 모듈(232)을 통해 내부에서 실시간 캡처 하고 이를 스마트 모듈(100)로 전송하기 위해 데이터 처리부(600)로 보내는 기능도 수행한다.
클라이언트 모듈(200)은 각각의 내부 컴포넌트들이 다른 컴포넌트들과 독립적으로 실행되기 위해 컴포넌트마다 독립된 스레드를 생성하고, 모듈이 실행되는 프로세스 내에서 여러 스레드들이 실행된다. 그리고 내부 컴포넌트들 사이에 연결된 인터페이스를 이용하여 서로 간에 동작 및 제어 신호들을 송수신하고, 공유 메모리(800)를 이용하여 컴포넌트들 간에 데이터 공유 및 전달을 수행한다. 또한, 이 클라이언트 모듈(200)을 PC나 스마트폰에 연결하여 기능을 수행할 수 있도록 외부 인터페이스 모듈(900)을 포함한다.
도 4는 스마트모듈을 이용한 실시간 양방향 영상 모니터링 시스템을 통한 영상 모니터링 방법을 나타낸 흐름도이다. 도시된 바와 같이, 스마트 모듈을 이용하는 실시간 양방향 영상 모니터링 시스템을 통한 영상 모니터링 방법은, 스마트 모듈(100)의 비디오부(170) 및 오디오부(173)로부터 비디오신호 또는 오디오신호를 입력받는 제 1 신호입력단계(S11); 상기 제 1 신호입력단계(S11)에서 입력받은 신호를 스마트 모듈(100)의 코덱부(160)에서 인코딩 하는 제 1 인코딩 단계(S12); 상기 제 1 인코딩 단계(S12)에서 처리된 데이터를 클라이언트 모듈(200)의 데이터 전송부(400)로 전송하며 데이터 타입에 따라 비디오 스트리밍 모듈(211), 오디오 스트리밍 모듈(212), 파일 스트리밍 모듈(213)로 각각 나누고, 데이터 처리부(600)에서 처리하는 데이터 처리 단계(S13); 상기 데이터 처리 단계(S13)에서 출력된 데이터를 원격 단말(300)에서 수신하는 데이터 수신 단계(S14); 상기 데이터 수신 단계(S14)에서 수신한 데이터를 원격 단말(300)에서 디코딩 하는 제 1 디코딩 단계(S15); 상기 제 1 디코딩 단계(S15)로부터 수신한 디코딩 된 데이터를 원격 단말(300)의 디스플레이부에 표시하는 제 1 디스플레이 단계(S16); 원격 단말(300)의 비디오부 및 오디오부로부터 영상신호 또는 음성신호를 입력받아 렌더링 모듈(230)에서 렌더링하는 제 2 신호입력 단계(S21); 상기 제 2 신호입력 단계(S21)에서 입력받은 신호를 클라이언트 모듈(200)의 멀티미디어 변환 모듈(220)에서 인코딩 하는 제 2 인코딩 단계(S22); 상기 제 2 인코딩 단계(S22)에서 처리된 데이터를 스마트 모듈(100)의 네트워크부(130)로 전송하는 데이터 전송 단계(S23); 상기 데이터 전송 단계(S23)로부터 수신한 데이터를 스마트 모듈(100)에서 디코딩 하는 제 2 디코딩 단계(S24); 및, 상기 제 2 디코딩 단계(S24)로부터 수신한 데이터를 스마트 모듈(100)의 인터페이스부(190)를 통해 TV(191)에 디스플레이하는 제 2 디스플레이단계(S25); 로 구성된다.
여기서, 상기 제 1 신호입력단계(S11), 제 1 인코딩 단계(S12), 데이터 처리 단계(S13), 데이터 수신 단계(S14), 제 1 디코딩 단계(S15) 및 제 1 디스플레이 단계(S16)는 스마트모듈(100)에서 원격 단말(300)로 데이터를 전송하여 원격 단말(300)에서 디스플레이하는 과정이고, 상기 제 2 신호입력 단계(S21), 제 2 인코딩 단계(S22), 데이터 전송 단계(S23), 제 2 디코딩 단계(S24) 및 제 2 디스플레이 단계(S25)는 원격 단말(300)에서 스마트모듈(100)로 데이터를 전송하여 스마트모듈(100)에 HDMI로 연결된 TV(191)에서 디스플레이하는 과정이며, 스마트모듈(100)에서 원격 단말(300)로, 원격 단말(300)에서 스마트모듈(100)로의 양방향 데이터 전송이 실시간으로 이루어지는 것을 특징으로 한다.
전술한 바와 같은 특징을 갖는 본 발명의 스마트모듈을 이용한 실시간 양방향 영상 모니터링 시스템의 바람직한 일 실시 예를 설명한다. 카메라 또는 캠코더(CAM;172)가 있는 스마트모듈(100)을 사무실에 설치하고 HDMI 케이블을 사용하여 스마트모듈(100)과 기존의 TV(191)를 연결한다. 이 때, 스마트모듈(100)에서 촬영되는 영상을 스마트모듈(100)의 네트워크부(130)를 통해 원격 단말(300)에 설치된 클라이언트 모듈(200)에서 수신한다. 원격 단말(300)이 스마트폰일 경우, 스마트모듈(100)이 설치된 곳으로부터 멀리 떨어진 장소에서도 사용자가 스마트폰을 이용하여 사무실에서 촬영된 CCTV영상을 실시간으로 확인할 수 있다. 또한, 팬/틸트 줌 제어하여 사무실 촬영 영상을 상하, 좌우, 줌 기능으로 모니터링 할 수 있다. 그리고, 스마트폰에서 사무실을 모니터링함과 동시에 제어신호를 발생하여 음성신호 즉 오디오 신호를 입력 및 스마트모듈(100)에 전송할 수 있다. 이는 실시간으로 사무실에 설치된 스마트모듈(100)에서 오디오신호로 출력된다. 이러한 CCTV의 기능 외에도 인터넷을 이용한 화상전화, 인터넷 TV 등으로도 사용될 수 있으며, 실시 예를 한정하지는 아니한다.
이상에서 설명한 바와 같이, 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예에 관하여 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 범주에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 따라서 본 발명의 권리 범위는 설명된 실시 예에 국한되어 정해져서는 안되며, 후술하는 청구범위뿐만 아니라, 이와 균등한 것들에 의해 정해져야 한다.
100 : 스마트 모듈 200 : 클라이언트 모듈
210 : 스트리밍 모듈 220 : 멀티미디어 변환 모듈
230 : 렌더링 모듈 300 : 원격 단말
500 : 데이터 전송부 600 : 데이터 처리부
700 : 데이터 출력부 800 : 공유메모리
900 : 외부 인터페이스부

Claims (7)

  1. 비디오부, 비디오제어부, 오디오부, 네트워크부, 전력부, CPU부, 메모리부, 코덱부, 입출력부, 인터페이스부를 포함하는 스마트모듈;
    스트리밍 모듈, 멀티미디어 변환 모듈, 렌더링 모듈을 포함하는 클라이언트모듈;
    상기 클라이언트 모듈이 설치되고 비디오부 및 오디오부를 포함하는 원격 단말;로 구성하되,
    상기 스마트모듈의 비디오부에서 촬영된 멀티미디어 데이터는 네트워크부를 통해 원격 단말에 전송되고, 원격 단말에 설치된 클라이언트 모듈의 멀티미디어 변환 모듈에서 변환되어 원격 단말에서 멀티미디어 데이터를 디스플레이 하며,
    상기 원격 단말의 비디오부 및 오디오부를 통해 입력된 멀티미디어 데이터는 클라이언트 모듈의 멀티미디어 변환 모듈 및 스트리밍 모듈을 통해 스마트모듈로 전송되는 것을 특징으로 하는 스마트모듈을 이용한 실시간 양방향 영상 모니터링 시스템.
  2. 제 1항에 있어서,
    상기 스마트모듈의 비디오부는 카메라를 포함하여 실시간으로 영상을 촬영하여 디지털 비디오 신호를 발생하고,
    비디오제어부는 상기 비디오부의 카메라를 PTZ제어하고,
    오디오부는 실시간으로 오디오 입출력 신호를 압축 및 제어하고,
    네트워크부는상기 비디오부의 비디오 신호, 오디오부의 오디오 신호 또는 제어신호를 이더넷을 통해 실시간으로 송수신 하고,
    전력부는 입력전원을 생성 및 관리하고,
    CPU부는 핵심적인 처리를 할 수 있는 SoC 칩으로 구성되고,
    메모리부는SD카드에 연결되는 외부 메모리부 및 상기 CPU부와 연결되는 내부 메모리부로 구성되고,
    코덱부는상기 비디오부로부터 입력받은 영상을 포맷변환하고,
    입출력부는 센서신호 및 비디오신호를 입출력 관리하고,
    인터페이스부는TV와 HDMI로 연결되어 멀티미디어를 TV에 전송하는 것을 특징으로 하는 스마트모듈을 이용한 실시간 양방향 영상 모니터링 시스템.
  3. 제 1항에 있어서,
    상기 클라이언트모듈의 스트리밍 모듈은 비디오 스트리밍 모듈, 오디오 스트리밍 모듈, 파일 스트리밍 모듈 및 스트리밍 컨트롤 모듈을 포함하고,
    멀티미디어 변환 모듈은 비디오 변환 모듈 및 오디오 변환 모듈을 포함하며,
    렌더링 모듈은 비디오 렌더링 모듈, 오디오 렌더링 모듈, 비디오 캡쳐 모듈 및 오디오 캡쳐 모듈을 포함하는 것을 특징으로 하는 스마트모듈을 이용한 실시간 양방향 영상 모니터링 시스템.
  4. 제 1항에 있어서,
    원격 단말은 스마트폰, PDA 또는 노트북의 휴대용 단말로, 원격의 거리에서도 스마트모듈 또는 원격 단말로부터 입력받은 영상정보 및 음성정보를 실시간 모니터링 할 수 있는 것을 특징으로 하는 스마트모듈을 이용한 실시간 양방향 영상 모니터링 시스템.
  5. 제 1항에 있어서,
    스마트모듈은 관리부를 더 포함하고, 관리부는 스마트모듈에서 처리되는 프로세스의 동작을 감시하여 오류 발생 시 복구 및 초기화를 시키는 것을 특징으로 하는 스마트모듈을 이용한 실시간 양방향 영상 모니터링 시스템.
  6. 스마트 모듈을 이용한 실시간 양방향영상 모니터링 시스템을 통한 영상 모니터링 방법은,
    스마트 모듈의 비디오부 및 오디오부로부터 영상신호 또는 음성신호를 입력받는 제 1 신호입력단계;
    상기 제 1 신호입력단계에서 입력받은 신호를 스마트 모듈의 코덱부에서 인코딩 하는 제 1 인코딩 단계;
    상기 제 1 인코딩 단계에서 처리된 데이터를 클라이언트 모듈의 데이터 전송부로 전송하며 데이터 타입에 따라 비디오 스트리밍 모듈, 오디오 스트리밍 모듈, 파일 스트리밍 모듈로 각각 나누고, 데이터 처리부에서 처리하는 데이터 처리 단계;
    상기 데이터 처리 단계에서 출력된 데이터를 원격 단말에서 수신하는 데이터 수신 단계;
    상기 데이터 수신 단계에서 수신한 데이터를 원격 단말에서 디코딩하는 제 1디코딩 단계;
    디코딩 된 데이터를 원격 단말의 디스플레이부에 표시하는 제 1 디스플레이 단계;
    원격 단말의 비디오부 및 오디오부로부터 영상신호 또는 음성신호를 입력받아 렌더링모듈에서 렌더링하는 제 2 신호입력 단계;
    상기 제 2 신호입력 단계에서 입력받은 신호를 클라이언트 모듈의 멀티미디어 변환 모듈에서 인코딩 하는 제 2 인코딩 단계;
    상기 제 2 인코딩단계에서 처리된 데이터를 스마트 모듈의 네트워크부로 전송하는 데이터 전송 단계;
    상기 데이터 전송 단계로부터 수신한 데이터를 스마트 모듈에서 디코딩 하는 제 2 디코딩 단계; 및,
    상기 제 2 디코딩 단계로부터 수신한 데이터를 스마트 모듈의 인터페이스부를 통해 TV에 디스플레이하는 제 2 디스플레이단계;로 구성되는 것을 특징으로 하는 스마트 모듈을 이용한 실시간 양방향 영상 모니터링 방법.
  7. 제 6항에 있어서,
    상기 제 1 신호입력단계, 제 1 인코딩 단계, 데이터 처리 단계, 데이터 수신 단계, 제 1 디코딩 단계 및 제 1 디스플레이 단계는 스마트모듈에서 원격 단말로 데이터를 전송하고,
    상기 제 2 신호입력 단계, 제 2 인코딩 단계, 데이터 전송 단계, 제 2 디코딩 단계 및 제 2 디스플레이 단계는 원격 단말에서 스마트모듈로 데이터를 전송하며,
    스마트모듈에서 원격 단말로, 원격 단말에서 스마트모듈로의 양방향 데이터 전송이 실시간으로 이루어지는 것을 특징으로 하는 스마트 모듈을 이용한 실시간 양방향 영상 모니터링 방법.
KR1020110084927A 2011-08-25 2011-08-25 스마트모듈을 이용한 실시간 양방향 영상 모니터링 시스템 및 방법 KR101283324B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110084927A KR101283324B1 (ko) 2011-08-25 2011-08-25 스마트모듈을 이용한 실시간 양방향 영상 모니터링 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110084927A KR101283324B1 (ko) 2011-08-25 2011-08-25 스마트모듈을 이용한 실시간 양방향 영상 모니터링 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20130022142A KR20130022142A (ko) 2013-03-06
KR101283324B1 true KR101283324B1 (ko) 2013-07-09

Family

ID=48174870

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110084927A KR101283324B1 (ko) 2011-08-25 2011-08-25 스마트모듈을 이용한 실시간 양방향 영상 모니터링 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101283324B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108667844A (zh) * 2018-05-17 2018-10-16 西安科技大学 Wifi热点与本地缓存结合的数据安全上传装置及方法
US11302282B2 (en) 2019-06-26 2022-04-12 Samsung Electronics Co., Ltd. Display apparatus and the control method thereof
US11544083B2 (en) 2019-06-26 2023-01-03 Samsung Electronics Co., Ltd. Display apparatus and control method thereof

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3528490B1 (en) * 2016-10-31 2021-07-07 Huawei Technologies Co., Ltd. Image data frame synchronization method and terminal
CN112165481A (zh) * 2020-09-23 2021-01-01 南京乐美达电子科技有限公司 基于5g网络的视频信号无线同屏系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030074025A (ko) * 2002-03-15 2003-09-19 안현기 인터넷을 통신망으로 이용하는 화상 전화 시스템 및 이를위한 셋탑박스
KR101001919B1 (ko) 2003-12-10 2010-12-17 주식회사 대우일렉트로닉스 화상 전화 기능을 구비한 텔레비전

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030074025A (ko) * 2002-03-15 2003-09-19 안현기 인터넷을 통신망으로 이용하는 화상 전화 시스템 및 이를위한 셋탑박스
KR101001919B1 (ko) 2003-12-10 2010-12-17 주식회사 대우일렉트로닉스 화상 전화 기능을 구비한 텔레비전

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108667844A (zh) * 2018-05-17 2018-10-16 西安科技大学 Wifi热点与本地缓存结合的数据安全上传装置及方法
CN108667844B (zh) * 2018-05-17 2020-09-08 西安科技大学 Wifi热点与本地缓存结合的数据安全上传装置及方法
US11302282B2 (en) 2019-06-26 2022-04-12 Samsung Electronics Co., Ltd. Display apparatus and the control method thereof
US11544083B2 (en) 2019-06-26 2023-01-03 Samsung Electronics Co., Ltd. Display apparatus and control method thereof

Also Published As

Publication number Publication date
KR20130022142A (ko) 2013-03-06

Similar Documents

Publication Publication Date Title
US9532099B2 (en) Distributed media stream synchronization control
US7929021B2 (en) Methods and systems for A/V input device to display networking
US10070098B2 (en) Method and system of adjusting video quality based on viewer distance to a display
US8416852B2 (en) Video signal coding system and method of coding video signal for network transmission, video output apparatus, and signal conversion apparatus
CN1976429B (zh) 基于pc和高清视频信号采集卡的视频传输系统及方法
KR101283324B1 (ko) 스마트모듈을 이용한 실시간 양방향 영상 모니터링 시스템 및 방법
KR101999180B1 (ko) 디스플레이 장치, 그의 제어 방법, 안경 장치 및 그의 제어 방법
WO2021168649A1 (zh) 多功能接收设备和会议系统
CN102209232A (zh) 一种远程音视频监控系统及其方法
CN104683863A (zh) 一种多媒体数据传输方法及设备
US9344678B2 (en) Information processing apparatus, information processing method and computer-readable storage medium
US20130336381A1 (en) Video transmission system and transmitting device and receiving device thereof
CN110798688A (zh) 一种基于实时传输的高清视频压缩编码系统
US9237304B2 (en) Multi-channel sharing apparatus and multi-channel sharing method
US9118803B2 (en) Video conferencing system
CN201528404U (zh) 视频编解码系统及其视频编码器、视频解码器
CN106412684A (zh) 一种高清视频无线传输方法及系统
WO2021042341A1 (zh) 视频显示方法、接收端、系统及存储介质
CN205092920U (zh) 高分辨率视频传输系统
CN103561028A (zh) 基于裸眼3d技术的ims可视话机
CN220511156U (zh) 一种视频采集及显示装置
CN212850826U (zh) 一种支持超高清8k解码的多功能视频监控测试仪
CN220173319U (zh) 可复用音视频电子装置
CN215499319U (zh) 开放式ip网络界面协议通讯装置
CN211047098U (zh) 一种无线信号传输系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160628

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170627

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180614

Year of fee payment: 6

R401 Registration of restoration