KR20200134820A

KR20200134820A - 무선 영상전송 중계 장치

Info

Publication number: KR20200134820A
Application number: KR1020190060884A
Authority: KR
Inventors: 이태경; 이래득
Original assignee: 주식회사 브릿지
Priority date: 2019-05-23
Filing date: 2019-05-23
Publication date: 2020-12-02

Abstract

본 발명에 따른 무선 영상전송 솔루션 구성은 IDLE과 ACTIVE상태를 이용한 무선 영상전송 중계 장치에 있어서, codec엔진에서의 영상frame 변화 값과 사용자가 설정해 놓은 frame값을 비교하여 피사체의 motion이 idle frame상태인지 또는 active frame상태인지를 구분하는 Motion Detection Decision부; Motion이 발생하면 즉시 Active상태로 전환되어 무선 영상 전송하는 Active state streaming module; Motion이 없으면 무선 영상 전송을 중단하는 Idle state streaming module;을 포함하여 구성되며,
상기 Idle frame은 설정된 초당 frame의 갯수만큼 네트웍으로 전송되며, 전송된 frame의 갯수가 다 채워지면 전송을 중단하고 idle state period만큼 sleep으로 들어가며, 이때 Idle state streaming module은 더 이상 idle frame을 전송하지 않는 것을 특징으로 한다.
또한, 상기 Idle state streaming module은 sleep time period가 지나면 다시 frame을 공급받아 네트웍으로 전송하는 작업을 시작하며, 이때 sleep에서 깨어난 후 최초의 frame은 key frame인 I-frame을 전송하는 것을 특징으로 한다.
본 발명은, 종래 기술에 비하여 무선 서비스 제공자에게는 네트웍 Traffic 부하를 줄일 수가 있고, 사용자는 무선 영상 전송 솔루션을 탑재한 다양한 카메라를 사용함과 동시에 데이터 사용에 대한 비용 부담을 현저하게 줄일 수 있으며, 종래기술 대비 DSP와 무선전송하는 MODEM에서의 전력 소모량을 최소화할 수 있어 Wearable Device로의 확장성을 보장하는 무선 영상 전송장치를 제공할 수 있다.

Description

무선 영상전송 중계 장치{A WIRELESS VIDEO TRANSFER SOLUTION APPARATUS}

본 발명은 모든 유선기반 IP 카메라의 영상 스트림 전송시에, 관심영역(ROI)내에 피사체가 출연시 codec engine에서 전달되는 motion detection에 따른 아이들(idle)상태와 액티브(active)상태를 무선전송 솔루션 장치의 RJ45의 입력단에서 처리하여 중복되지 않은 영상만을 유선기반 IP 카메라에 RS485의 제어신호를 통해 무선 전송하고 반복되는 영상의 무선 전송을 차단함으로써, 무선통신 사업자의 트래픽 과부하를 해소함과 동시에 사용자에게는 저렴한 비용으로 사용가능한 무선 전송 솔루션 장치에 관한 것이다.

기존의 시스템에서는 유선IP카메라에 무선라우터를 이용하여 무선 트래픽의 제한된 환경을 고려하지 않고 충분한 대역폭이 확보된 상황에서 동작하도록 설계되었다. 따라서, 기존 시스템의 무선 Traffic은 코덱엔진(codec engine)에 정해 놓은 값대로 motion detection과 상관없이 codec engine에서 전체 stream data를 모두 전송하는 방식을 사용하고 있다. 참고로, 도 1은 종래 기술에 대한 streaming architecture 참고도이다.

상기 종래 시스템의 경우, 무선 데이터 사용량이 많아, 무선 서비스 제공자는 네트웍 사용에 대한 Traffic 부하의 문제가 발생할 수 있으며, 사용자는 데이터 사용에 대한 비용 부담이 크게 발생하는 문제점이 있다. 또한, 무선 영상 데이터를 full로 전송하는 경우 영상을 처리하는 DSP와 무선전송하는 MODEM에서의 전력 소모량이 증가하여 Wearable Device로는 적합하지 않는 문제점이 있다.

본 발명은 상기의 종래 기술 문제점을 해결하고자 고안된 것으로, 종래기술의 문제점인 서비스 제공자의 네트웍 Traffic 부하와 사용자의 데이터 사용에 대한 비용 부담을 크게 줄일 수 있는 IDLE과 액티브(active)상태를 이용한 무선 영상 전송장치를 제공하는 데 있다.

또한, 종래기술 대비 DSP와 무선전송하는 MODEM에서의 전력 소모량을 최소화할 수 있어 Wearable Device로의 확장성을 보장하는 무선 영상 전송장치를 제공하는데 그 목적으로 한다.

본 발명은 모든 유선기반의 IP카메라의 IDLE과 액티브(active)상태를 이용한 무선 영상 전송장치에 관한 것으로, 유선 IP 카메라의 codec엔진 frame 변화값과 사용자의 설정값을 비교하여 해당 frame이 idle 혹은 액티브(active)상태를 판별하는 idle/active differentiation module; Motion 발생 즉시 액티브(active)상태로 전환되어 무선 영상 전송하는 Active state streaming module; Motion이 없으면 무선 영상 전송을 중단하는 Idle state streaming module로 구성된다.

무선 영상전송 중계 장치는 Idle state streaming module의 정해놓은 interval sleep time을 초과하면 영상 스트리밍을 공급받아 무선 네트웍을 통해 전송을 하며, Motion의 상태에 따라 RS485의 통신 제어를 통해 최소의 데이터만을 전송한다.

상기의 Motion detection 모듈에서 기존의 frame과 새로운 frame의 변위 값을 사용자가 정해놓은 motion detection에 대한 변위 값과 비교하여 임계치 값을 넘지 않는 경우를 아이들(idle)상태라 설정하고, 임계치 값을 넘는 경우를 액티브(active)상태라 설정한다. 상기 아이들(idle)상태의 동작은 최소 3kbps에서 최대 30kbps의 가변 정지 상태에서 중복으로 만들어지는 영상 중 사용자가 정해 놓은 임계치 값에 따라, 최소의 구역에서 frame을 전송하고 잔여 구역에서 sleep을 유지한다.

액티브(active)상태의 동작은 Codec Engine에서의 전체 영상 frame을 설정해 놓은 값에 따라 연속적으로 전송하며, 상기 아이들(idle)상태의 동작은 Codec Engine에서 올라온 전체 영상 frame중 사용자가 설정한 특정 방법에 따라 최소 영상frame을 전송하는 것을 특징으로 한다.

무선 영상전송 중계 장치의 역할은 무선으로 영상 스트림 전송시에, 카메라 모듈에서 촬영되는 객체의 움직임 및 codec engine에서 전달되는 motion detection을 파악하고, 아이들(idle)상태와 액티브(active)상태에 따른 RS484통신 제어를 통해 중복된 영상과 중복되지 않는 영상을 구분하고 중복되는 영상의 전달을 차단함으로써, 서비스 제공자의 네트웍 Traffic 부하와 사용자의 데이터 사용에 대한 비용 부담을 크게 줄일 수 있다.

본 발명은, 종래 기술에 비하여 무선 서비스 제공자에게는 네트웍 Traffic 부하를 줄일 수가 있고, 사용자는 무선 영상 전송 솔루션을 탑재한 다양한 카메라를 사용함과 동시에 데이터 사용에 대한 비용 부담을 현저하게 줄일 수 있다.

또한, 종래기술 대비 DSP와 무선전송하는 MODEM에서의 전력 소모량을 최소화할 수 있어 Wearable Device로의 확장성을 보장하는 무선 영상 전송장치를 제공할 수 있다.

도 1은 종래 기술에 따른 streaming 구성에 대한 참고도
도 2는 본 발명의 일실시예에 따른 무선 영상전송 솔루션 구성에 대한 참고도
도 3은 본 발명의 일실시예에 따른 Idle state의 전송주기 설정 및 Sleep동작에 대한 참고도
도 4는 본 발명의 일실시예에 따른 Codec engine, Idle/Active state, frame send, frame send control에 대한 참고도

이하, 첨부된 도면을 참조하여 본 발명에 의한 IDLE과 ACTIVE상태를 이용한 무선 영상전송 중계 장치의 구현을 상세하게 설명한다.

도 2는 본 발명의 일실시예에 따른 무선 영상전송 솔루션 구성에 대한 참고도이다. 도 2에 도시한 바와 같이, 본 발명의 일실시예에 따른 무선 영상전송 솔루션 구성은 IDLE과 ACTIVE상태를 이용한 무선 영상전송 중계 장치에 있어서, codec엔진에서의 영상frame 변화 값과 사용자가 설정해 놓은 frame값을 비교하여 피사체의 motion이 idle frame상태(idle motion에 대응)인지 또는 active frame상태(active motion에 대응)인지를 구분하는 Motion Detection Decision부(100); Motion이 발생하면 즉시 Active상태로 전환되어 무선 영상 전송하는 Active state streaming module(200); Motion이 없으면 무선 영상 전송을 중단하는 Idle state streaming module(300);을 포함하여 구성되며,

상기 Idle frame은 설정된 초당 frame의 갯수만큼 네트웍으로 전송되며, 전송된 frame의 갯수가 다 채워지면 전송을 중단하고 idle state period만큼 sleep으로 들어가며, 이때 Idle state streaming module은 더 이상 idle frame을 전송하지 않는 것을 특징으로 한다.

또한, 상기 Idle state streaming module은 sleep time period가 지나면 다시 frame을 공급받아 네트웍으로 전송하는 작업을 시작하며, 이때 sleep에서 깨어난 후 최초의 frame은 key frame인 I-frame을 전송하는 것을 특징으로 한다.

도 3은 본 발명의 일실시예에 따른 Idle state의 전송주기 설정 및 Sleep동작에 대한 참고도이다. 도 3에 도시한 바와 같이, 발명에 대한 일실시예에 따른 Idle state에서의 전송주기 설정은 frame state가 active상태에서 idle상태로 되면, Active state streaming은 swiching해서 Idle state streaming module로 들어가게 된다.

이후, 상태는 idle mode로 최초의 key frame이 들어오면 Active state streaming module은 sleep mode로 전이하여 streaming을 중단하고, 최초의 key frame은 idle state steaming module로 들어간다.

idle state steaming module은 들어오는 frame이 최초의 key frame인지를 판별하여 최초의 key frame인 경우 count의 시작점에서 frame의 갯수를 count한다.

이후 frame의 갯수가 사용자가 설정해 놓은 갯수의 조건을 만족할 경우, 사용자가 이미 정해 놓은 idle sleep period 만큼 sleep mode로 들어간다.

sleep period time이 종료된 경우에는 다음 idle frame을 처리하고, Motion detection이 감지된 경우에는 Active state streaming module은 active state가 되며, idle state steaming module을 sleep상태로 들어간다.

만약, codec engine에서 날아오는 frame이 key frame이 아닐 경우는 무선 영상전송 중계 장치의 RS485 통신 데이터 제어를 통해, 기존의 frame type에 상관없이, 강제로 key frame부터 재전송을 하도록 codec engine에 요청을 하고, 사용자가 설정해 놓은 갯수 만큼 key frame부터 다시 count를 시작한다. 그리고, idle 상태에서 active 상태로 전환시, 최초의 key frame이 네트웍에서 유실될 경우, 무선 영상전송 중계 장치의 TCP/IP(RJ45)로 입력받은 영상 화질이 저하될 수 있어 RS485 통신 데이터 제어를 통해 codec engine에 최소 한번이상 key frame 전송을 요청하여 네트웍에서 key frame의 손실을 방지하여 최상의 영상 화질을 보존한다.

도 4는 본 발명의 일실시예에 따른 Codec engine, Idle/Active state, frame send, frame send control에 대한 참고도로서, 본 발명의 일실시예에 따른 Idle/Active state, frame streaming, frame data control에 대한 logic flow chart에 관한 것이다. 도 4에 도시한 바와 같이, 본 발명의 일실시예에 따른 Idle/Active state, frame streaming 그리고 frame data control은 크게 ACTIVE state와 IDLE state로 정의할 수 있다..

ACTIVE state상태에서 Streaming이 전송되면 mode가 active로 전환되어 full frame을 전송하며, 전송의 기준은 사용자가 설정해 놓은 임계치인 초당 frame rate, 반복되는 Key frame rate 값에 따라 전송한다. 만약 최초의 frame이 key frame이 아닌 경우, RS485 통신 데이터 제어를 통해 codec engine에 최소 한번이상 key frame 전송을 요청하여 전송을 시작한다.

Active duration은 사용자가 설정해 놓은 active duration의 임계치까지 frame를 전송하고 피사체의 움직임이 감지되지 않으면, IDLE state로 된다.

IDLE state는 최초의 frame이 key frame이 아닌 경우, 무선 영상전송 중계 장치의 RS485 통신 데이터 제어를 통해 codec engine에 최소 한번 이상 key frame 전송을 요청하여 사용자가 설정한 임계치인 idle state의 frame rate을 전송한다.

Frame count는 Idle state에서 전송할 전체 frame 갯수는 사용자가 설정한 임계치의 값에 준하며, motion detection이 없으면 frame 전송을 중단하고 사용자가 정해놓은 임계치 sleep time만큼 sleep mode로 전환된다.

Sleep module block의 wake up은 Sleep에 대한 time out과 Motion detection에 조건에 준한다. Sleep time out 조건은 sleep time이 지나면 streaming block이 wake up 되며 바로 key frame 전송을 시작으로 frame count 만큼 재전송을 반복한다.

Motion detection 조건은 피사체의 움직임이 감지되면 streaming block이 wake up되고 active state에서 streaming을 처리한다.

본 발명의 일실시예에 의한 IDLE과 ACTIVE상태를 이용한 무선 영상전송 중계 장치는 Motion detection 모듈에서 기존 frame과 신규 frame의 변위 값을 사용자가 설정해 놓은 motion detection의 변위 값과 비교하여 임계치 값을 초과하면 ACTIVE 상태, 임계치 값을 초과하지 않는 경우를 IDLE상태로 설정한다. ACTIVE상태는 전송할 압축된 stream을 active streaming block에서 full streaming으로 전송한다.

IDLE 상태는 전송할 압축된 stream을 idle streaming block에서 사용자가 설정해 놓은 임계치의 값을 참고하여 idle streaming frame중 일부만 전송하고 sleep period 만큼 sleep 단계로 들어간다.

IDLE상태의 동작 설정은 피사체의 motion이 없는 상태이므로, 정지 상태에서 반복되어진 영상을 사용자가 선택해 놓은 임계치 값에 따라 frame을 일정 간격으로 최소 frame을 전송한 후 sleep으로 들어가도록 한다.

ACTIVE 상태의 동작 설정은 Motion detection 모듈에서 기존의 frame과 새로운 frame의 변위 값을 비교한 후 active상태인 경우, codec engine에서 올라온 전체 frame을 설정해 놓은 값에 따라 전송을 하도록 한다. 이때, 무선 영상전송 중계 장치의 RS485통신 제어를 통해 네트웍 트래픽 및 사용자의 서비스 요금을 최소화하기 위해 Active 상태의 frame rate을 여러 단계로 순시 제어하여 전송한다.

본 발명에 의한 무선 영상전송 중계 장치는 네트웍 Traffic 부하를 줄일 수가 있고, 다양한 카메라를 사용함과 동시에 데이터 사용에 대한 비용 부담을 현저하게 줄일 수 있고, 전력 소모량을 최소화할 수 있어, Wearable Device 뿐만 아니라, 실시간 해양환경 관측, 산간 지역 산불 방재 등의 영역에 적용하면 효과적일 것이다.

상기한 바와 같은 구성 및 작용은 하나의 실시예로서 본 발명의 청구범위를 제한하는 것은 아니며, 본 발명의 기술적 사상을 변경하지 아니하는 범위 내에서 다양한 변경과 수정이 가능함은 본 발명이 속하는 분야에 종사하는 자에게는 자명한 것이다.

100 : Motion Detection Decision부
200: ACTIVE state streaming module
300: IDLE state streaming module

Claims

IDLE과 ACTIVE상태를 이용한 무선 영상전송 중계 장치에 있어서,
codec엔진에서의 영상frame 변화 값과 사용자가 설정해 놓은 frame값을 비교하여 피사체의 motion이 idle frame상태인지 또는 active frame상태인지를 구분하는 Motion Detection Decision부; Motion이 발생하면 즉시 Active상태로 전환되어 무선 영상 전송하는 Active state streaming module; Motion이 없으면 무선 영상 전송을 중단하는 Idle state streaming module;을 포함하여 구성되며,
상기 Idle frame은 설정된 초당 frame의 갯수만큼 네트웍으로 전송되며, 전송된 frame의 갯수가 다 채워지면 전송을 중단하고 idle state period만큼 sleep으로 들어가며, 이때 Idle state streaming module은 더 이상 idle frame을 전송하지 않는 것을 특징으로 하는 무선 영상전송 중계 장치
제 1항에 있어서,
상기 Idle state streaming module은 sleep time period가 지나면 다시 frame을 공급받아 네트웍으로 전송하는 작업을 시작하며, 이때 sleep에서 깨어난 후 최초의 frame은 key frame인 I-frame을 전송하는 것을 특징으로 하는 무선 영상전송 중계 장치
제 1항에 있어서,
상기 Idle state에서의 전송주기 설정은 frame state가 active상태에서 idle상태로 되면, Active state streaming은 swiching해서 Idle state streaming module로 들어가게 되고,
이후, 상태는 idle mode로 최초의 key frame이 들어오면 Active state streaming module은 sleep mode로 전이하여 streaming을 중단하고, 최초의 key frame은 idle state steaming module로 들어가고,
idle state steaming module은 들어오는 frame이 최초의 key frame인지를 판별하여 최초의 key frame인 경우 count의 시작점에서 frame의 갯수를 count하는 것을 특징으로 하는 무선 영상전송 중계 장치
제 2항에 있어서,
상기 sleep period time이 종료된 경우에는 다음 idle frame을 처리하고, Motion detection이 감지된 경우에는 Active state streaming module은 active state가 되며, idle state steaming module을 sleep상태로 들어가는 것을 특징으로 하는 무선 영상전송 중계 장치
제 1항에 있어서,
상기 codec engine에서 날아오는 frame이 key frame이 아닐 경우는 무선 영상전송 중계 장치의 RS485 통신 데이터 제어를 통해, 기존의 frame type에 상관없이, 강제로 key frame부터 재전송을 하도록 codec engine에 요청을 하고, 사용자가 설정해 놓은 갯수 만큼 key frame부터 다시 count를 시작하고, idle 상태에서 active 상태로 전환시, 최초의 key frame이 네트웍에서 유실될 경우, RS485 통신 데이터 제어를 통해 codec engine에 최소 한번이상 key frame 전송을 요청하여 네트웍에서 key frame의 손실을 방지하는 것을 특징으로 하는 무선 영상전송 중계 장치