KR20180039475A - 영상처리장치 - Google Patents

영상처리장치 Download PDF

Info

Publication number
KR20180039475A
KR20180039475A KR1020160130824A KR20160130824A KR20180039475A KR 20180039475 A KR20180039475 A KR 20180039475A KR 1020160130824 A KR1020160130824 A KR 1020160130824A KR 20160130824 A KR20160130824 A KR 20160130824A KR 20180039475 A KR20180039475 A KR 20180039475A
Authority
KR
South Korea
Prior art keywords
image
frame rate
unit
image processing
processing apparatus
Prior art date
Application number
KR1020160130824A
Other languages
English (en)
Inventor
이준성
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020160130824A priority Critical patent/KR20180039475A/ko
Publication of KR20180039475A publication Critical patent/KR20180039475A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00095—Systems or arrangements for the transmission of the picture signal
    • H04N1/001—Systems or arrangements for the transmission of the picture signal specially adapted for transmission via digital wireline networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00209—Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server

Abstract

본 실시예들은 영상처리장치 및 영상처리방법을 개시한다.
본 발명의 일 실시예에 따른 영상처리장치는, 이벤트 발생시 활성화되어, 영상을 획득하고, 획득한 영상을 인코딩하여 제1 프레임률로 출력하는 영상획득부; 상기 이벤트 발생시 중계장치와 통신 연결을 수행하고, 상기 영상획득부가 출력하는 영상을 상기 중계장치로 전송하는 통신부; 및 상기 영상획득부의 활성화에 소요된 제1소요시간 및 상기 통신부가 상기 중계장치와의 통신 연결 완료에 소요된 제2소요시간을 기초로, 상기 통신부의 영상 전송률을 제어하는 제어부;를 포함한다.

Description

영상처리장치{Apparatus for processing images}
본 실시예들은 영상처리장치에 관한 것으로, 보다 상세히 저전력으로 구동하는 영상처리장치에 관한 것이다.
영상처리장치는 이벤트가 감지되는 경우 중계장치와 통신 연결되어 네트워크를 통해 클라이언트로 이벤트와 관련된 정보를 전송할 수 있다. 이때 네트워크 상황에 따라 영상처리장치와 중계장치 간의 통신 연결에 소요되는 시간이 길어지는 경우가 발생하여, 이벤트 관련 정보의 신속한 전달이 어려워지는 문제점이 있다.
한국공개특허 제2016-0042391호
본 발명이 해결하고자 하는 기술적인 과제는 이벤트가 감지된 경우 신속한 영상 전송이 가능하고, 저전력으로 구동할 수 있는 영상처리장치 및 방법을 제공하는데 있다.
본 발명의 일 실시예에 따른 영상처리장치는, 이벤트 발생시 활성화되어, 영상을 획득하고, 획득한 영상을 인코딩하여 제1 프레임률로 출력하는 영상획득부; 상기 이벤트 발생시 중계장치와 통신 연결을 수행하고, 상기 영상획득부가 출력하는 영상을 상기 중계장치로 전송하는 통신부; 및 상기 영상획득부의 활성화에 소요된 제1소요시간 및 상기 통신부가 상기 중계장치와의 통신 연결 완료에 소요된 제2소요시간을 기초로, 상기 통신부의 영상 전송률을 제어하는 제어부;를 포함한다.
상기 제어부는, 상기 제1소요시간의 종료 시점에 상기 제2소요시간이 종료되면, 상기 영상 전송률을 상기 제1 프레임률로 설정할 수 있다.
상기 제어부는, 상기 제2소요시간이 상기 제1소요시간을 초과하면, 상기 영상획득부가 출력하는 영상을 임시 저장하고, 상기 제2소요시간이 종료되면, 상기 통신부의 영상 전송률을 상기 제1 프레임률보다 높은 제2 프레임률로 설정할 수 있다.
상기 제어부는, 상기 임시 저장된 영상의 전송이 완료된 후부터 상기 통신부의 영상 전송률을 상기 제2 프레임률로부터 상기 제1 프레임률로 변경할 수 있다.
상기 제어부는, 상기 제2소요시간이 종료된 후, 네트워크 트래픽 혼잡이 지속되는 동안 상기 영상획득부가 출력하는 영상을 임시 저장하고, 상기 통신부의 영상 전송률을 상기 제1 프레임률보다 낮은 제3 프레임률로 설정하고, 상기 네트워크 트래픽이 정상화되면 상기 통신부의 영상 전송률을 상기 제3 프레임률로부터 상기 제1 프레임률보다 높은 제2 프레임률로 변경할 수 있다.
본 발명의 실시예들에 따른 영상처리장치는 신속한 이벤트 알람 및 저전력 구동이 가능하다.
도 1은 본 발명의 일 실시예에 따른 영상처리장치의 내부 구성을 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상처리 시스템을 도시한다.
도 3은 본 발명의 일 실시예에 따른 영상처리장치와 중계장치 간의 영상 송수신을 설명하는 도면이다.
도 4 내지 도 6은 본 발명의 일 실시예에 따른 영상처리장치와 중계장치 간의 데이터 송수신 절차를 도시한다.
도 7 내지 도 9는 본 발명의 일 실시예에 따른 영상처리장치와 중계장치 간의 영상 전송률 제어를 설명하는 도면이다.
도 10은 본 발명의 일 실시예에 따른 영상처리장치와 중계장치 간의 영상 송수신 방법을 설명하는 흐름도이다.
하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다.
또한, 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
이하 첨부된 도면들을 참조하여 본 발명의 실시예가 상세히 설명된다.
도 1은 본 발명의 일 실시예에 따른 영상처리장치의 내부 구성을 개략적으로 도시한 블록도이다.
도 1을 참조하면, 영상처리장치(100)는 영상획득부(102), 제어부(103), 저장부(104), 통신부(105), 전원부(106), 및 센서(107)를 포함할 수 있다.
영상획득부(102)는 광학계, 광전 변환부 및 인코더를 포함하여 영상을 획득할 수 있다. 광학계는 광학 신호를 집광하는 렌즈, 상기 광학 신호의 양(광량)을 조절하는 조리개, 광학 신호의 입력을 제어하는 셔터 등을 포함할 수 있다. 광전 변환부는 광학계로부터 입력된 광학 신호를 수광하여 전기적 영상 데이터로 변환시킨다. 광전 변환부는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide-Semiconductor) 등의 촬상소자를 포함하는 영상 센서일 수 있다. 인코더는 촬상소자의 특성에 따라 광전 변환부로부터 아날로그 영상 데이터 또는 디지털 영상 데이터를 수신할 수 있다. 인코더는 아날로그 영상 데이터를 디지털 영상 데이터로 변환할 수 있다. 인코더는 디지털 영상 데이터에 대해 노이즈 제거 등 영상 신호 처리를 수행할 수 있다. 인코더는 디지털 영상 데이터를 인코딩하고, 인코딩 결과의 영상 데이터를 소정의 프레임률로 제어부(103)로 출력할 수 있다.
영상획득부(102)는 대기 모드(sleeep mode) 또는 활성 모드(active mode)로 동작할 수 있다. 영상 획득부(102)는 활성 모드에서 영상을 촬영하고 인코딩할 수 있다.
저장부(104)는 제어부(103)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입력되거나 출력되는 데이터들(예를 들어, 영상 등)을 임시 저장하는 버퍼로서 기능할 수도 있다. 저장부(104)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 저장부(104)는 인터넷 상에서 저장 기능을 수행하는 웹 스토리지(web storage)일 수 있다.
통신부(105)는 영상처리장치(100)와 외부의 데이터 처리 시스템 또는 장치와의 데이터를 송수신하는 기능을 수행할 수 있다. 통신부(105)는 영상획득부(102) 또는 저장부(104)로부터의 영상을 소정의 전송률로 전송할 수 있다. 영상 전송률은 네트워크 상황에 따라 제어부(103)에 의해 가변될 수 있다. 통신부(105)는 유선 통신 및/또는 무선 통신 링크를 이용한 통신을 제공할 수 있다. 통신부(105)는 Wi-Fi, 3G, LTE, 및/또는 라디오 통신(radio communication), 및/또는 블루투스(Bluetooth), 또는 임의 적절한 통신 기술을 수행할 수 있는 통신 모듈을 포함할 수 있다.
전원부(106)는 제어부(103)의 제어에 의해 외부의 전원 및/또는 내부의 전원을 인가받아 각 구성 요소들의 동작에 필요한 전원을 공급할 수 있다. 전원부(106)는 충전 가능한 배터리를 포함할 수 있다.
센서(107)는 상이한 감지 정보를 획득하는 다수의 이기종 센서들을 포함할 수 있다. 예를 들어, 센서(107)는 오디오 센서, 모션 검출센서, 충격 감지 센서, 지자기 센서, 자이로 센서, 후각 센서, 온도 센서 및 습도 센서 등을 포함할 수 있다. 센서(107)는 감지 정보를 제어부(103)로 전달할 수 있다.
제어부(103)는 영상처리장치(100)의 전반적인 동작을 제어하며, 각 구성 요소의 작동을 제어하기 위해 이들 구성 요소와 제어 신호를 주고받거나, 데이터를 처리하는 등의 기능을 수행한다. 제어부(103)는 마이크로 칩이나, 마이크로 칩을 구비하는 회로 보드로 구현될 수 있으며, 제어부(103)에 포함되는 각 구성 요소들은 제어부(103)에 내장되는 소프트웨어나 회로들에 의해 구현될 수 있다. 예를 들어, 제어부(103)는 애플리케이션 프로세서(AP), 마이크로 컨트롤러 칩(MCU) 등을 포함할 수 있다.
제어부(103)는 전원부(106)를 통해 영상처리장치(100)의 각 구성요소의 구동에 필요한 전원을 개별적(독립적)으로 제어함으로써 구성요소의 활성화 상태를 개별적으로 제어할 수 있다. 제어부(103)는 센서(107)로부터의 감지 정보를 기초로 이벤트 발생 여부를 판단할 수 있다. 일 실시예에서, 제어부(103)는 영상획득부(102)를 대기 모드(sleeep mode)로 유지시키고, 이벤트 발생이 감지된 경우에만 활성 모드(active mode)로 전환시킬 수 있다. 예를 들어, 전원부(106)는 센서(107)로 전력을 공급하는 동안에 영상획득부(102)로의 전원 공급을 차단함으로써 전력 소모를 줄일 수 있다.
제어부(103)는 네트워크 상태 등 다양한 변수를 고려하여 통신부(105)의 영상 전송률을 가변 제어할 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상처리 시스템을 도시한다. 도 3은 본 발명의 일 실시예에 따른 영상처리장치와 중계장치 간의 영상 송수신을 설명하는 도면이다. 도 4 내지 도 6은 본 발명의 일 실시예에 따른 영상처리장치와 중계장치 간의 데이터 송수신 절차를 도시한다.
도 2를 참조하면, 영상처리 시스템에서, 중계장치(200)는 영상처리장치(100)가 획득한 영상을 네트워크를 통해 모니터링 장치(300)로 전송할 수 있다.
영상처리장치(100)는 감시 또는 보안의 목적으로 소정 영역을 실시간으로 촬영할 수 있다. 영상처리장치(100)는 카메라, 감시 카메라, 레코딩 카메라, 배터리 타입의 저전력 카메라, 모니터링 장치 내지 핸드 헬드 장치 등의 전자 장치일 수 있다. 카메라는 PTZ 카메라일 수 있다. 영상처리장치(100)는 하나 이상 구비될 수 있다.
중계장치(200)는 영상처리장치(100)와 네트워크 사이에 존재하여 네트워크를 통해 영상처리장치(100)와 외부 장치, 예를 들어, 사용자 단말(300) 및 서버(400) 등을 연결할 수 있다. 중계장치(200)는 와이파이(Wi-Fi) 통신 방식을 지원하는 무선 접속 장치(Access Point; AP), 게이트웨이, 릴레이 등을 포함할 수 있다.
모니터링 장치(300)는 마이크로 프로세서나 범용 컴퓨터 시스템과 같은 다른 하드웨어 장치에 포함된 형태로 구동될 수 있다. 모니터링 장치(300)는 개인용 컴퓨터, 스마트폰, 테블릿, 핸드헬드 장치 등의 단말 또는 레코딩 서버, 업그레이드 서버, 알람 서버 등의 서버일 수 있다.
도 3을 참조하면, 대기 모드인 영상처리장치(100)는 제1시점(t_event)에서 이벤트가 감지되면, 웨이크업(wake-up)되어 내부 구성요소들, 특히 영상획득부(102)의 구동을 개시(initiation)할 수 있다(120). 이에 따라, 영상획득부(102)는 제2시점(t_CamRdy)에서 활성화 모드로 전환되어 영상 전송 준비를 완료할 수 있다. 영상획득부(102)는 제2시점(t_CamRdy) 이후부터 영상 촬영 및 인코딩을 수행할 수 있다(140). 영상처리장치(100)는 소정의 전송률로 인코딩된 영상을 중계장치(200)로 전송할 수 있다.
영상처리장치(100)는 웨이크업(wake-up)되면 구동 개시와 동시에 통신부(105)를 통해 중계장치(200)와 통신 연결(association)을 시도할 수 있다(220).
영상획득부(102)가 활성화되어 영상을 전송할 준비가 완료되는데 소요된 시간을 제1소요시간(T1)이라 하고, 통신부(105)가 중계장치(200)와 통신 연결되어 영상을 수신할 준비가 완료되는데 소요된 시간을 제2소요시간(T2)이라 한다. 영상획득부(102)의 활성화 모드 유지시간은 기 설정될 수 있으며, 설정된 시간이 경과하면 영상획득부(102)는 다시 대기 모드로 전환될 수 있다. 제2소요시간(T2)은 네트워크 상태, 중계장치의 상태 등 다양한 변수에 의해 활성화 모드 유지시간 내일 수도 있고, 지연될 수도 있다.
영상처리장치(100)와 통신 연결된 중계장치(200)는 통신 연결이 완료되는 제3시점(t_NwRdy)에서 영상 수신 준비(Gateway rdy)를 완료할 수 있다.
도 4는 영상처리장치(100)와 중계장치(200) 간의 통신 연결(association) 과정을 설명한다. 도 4를 참조하면, 영상처리장치(100)는 중계장치(200)가 주기적으로 전송하는 비콘을 수신하거나(S1), 중계장치(200)로 프로브 요청 메시지를 전송하고(S2), 중계장치(200)로부터 프로브 응답 메시지를 수신(S3)함으로써 중계장치(200)를 탐색할 수 있다. 중계장치(200)는 비콘 또는 프로브 응답 메시지에 식별자, 대역폭, 보안수준, 암호화 등의 속성 정보를 제공할 수 있다. 영상처리장치(100)는 탐색 과정에 의해 선택된 중계장치(200)로 인증 요청(S4) 및 중계장치(200)로부터의 인증 응답(S5)을 통해 인증 과정을 수행할 수 있다. 영상처리장치(100)는 인증 과정 후, 중계장치(200)로 통신 연결을 요청하고(S6), 중계장치(200)로부터 응답을 수신(S7)함으로써 중계장치(200)와 통신 연결될 수 있다.
도 5는 영상처리장치(100)와 중계장치(200) 간의 동기화 과정을 설명한다. 도 5의 동기화 과정은 도 4에 도시된 영상처리장치(100)와 중계장치(200) 간의 통신 연결(association) 과정에 포함될 수 있다. 도 5를 참조하면, 영상처리장치(100)는 중계장치(200)로 동기화 요청 메시지(SYN)를 전송하고(S21), 정해진 시간 내에 응답(ACK)이 수신되지 않으면(S22), 동기화 요청 메시지를 재전송하고(S23), 정해진 시간 내에 응답을 수신(S24)하여 중계장치(200)와 동기화할 수 있다. 일 실시예에서, 영상처리장치(100)는 중계장치(200)로부터 통신 연결 응답(S17)을 수신(도 4 참조)한 후 동기화를 수행할 수 있다. 영상처리장치(100)는 동기화 수행까지 마친 후 중계장치(200)와의 통신 연결을 완료할 수 있다.
영상처리장치(100)는 중계장치(200)와 통신 연결된 후, 제3시점(t_NwRdy) 이후부터 중계장치(200)로 영상을 전송할 수 있다.
도 6은 영상처리장치(100)와 중계장치(200) 간의 영상 송수신 과정을 설명한다. 도 6을 참조하면, 영상처리장치(100)는 중계장치(200)로 영상을 전송하고(S31), 정해진 시간 내에 응답(ACK)이 수신되지 않으면(S32), 영상 손실(loss)로 판단할 수 있다. 영상처리장치(100)는 영상을 재전송하고(S33), 정해진 시간 내에 응답(ACK)을 수신(S34)하면, 중계장치(200)가 영상을 수신하였음을 확인할 수 있다.
도 7 내지 도 9는 본 발명의 일 실시예에 따른 영상처리장치와 중계장치 간의 영상 전송률 제어를 설명하는 도면이다. 도 7 내지 도 9에서는 영상처리장치(100)가 카메라(CAM)이고, 중계장치(200)가 게이트웨이(GW)인 경우를 예로 설명하고 있으며, 이는 다른 영상처리장치 및 중계장치에 동일하게 적용될 수 있음은 물론이다.
도 7을 참조하면, 대기 모드인 영상처리장치(100)는 제1시점(t_event)에서 이벤트가 감지되면, 웨이크업(wake-up)되어 영상획득부(102)의 구동을 개시(initiation)할 수 있다(120a). 이에 따라, 영상획득부(102)는 제2시점(t_CamRdy)에서 활성화 모드로 전환되고, 영상 촬영(capture) 및 인코딩(encode)을 수행할 수 있는 영상 전송 준비 상태일 수 있다. 영상획득부(102)는 제2시점(t_CamRdy) 이후부터 영상 촬영 및 인코딩을 수행할 수 있다(140a). 영상처리장치(100)는 제3시점(t_NwRdy) 이후부터 소정의 전송률로 영상을 중계장치(200)로 전송할 수 있다.
영상처리장치(100)는 웨이크업(wake-up)되면 통신부(105)를 통해 중계장치(200)와 통신 연결(association)을 수행할 수 있다(220a). 중계장치(200)는 영상처리장치(100)와 통신 연결이 완료된 제3시점(t_NwRdy)에서 영상 수신 준비를 완료할 수 있다.
도 7에 도시된 바와 같이, 영상처리장치(100)가 영상 전송 준비 상태를 완료한 제2시점(t_CamRdy)과 영상처리장치(100)와 중계장치(200) 간의 통신 연결이 완료된 제3시점(t_NwRdy)이 일치하는 경우를 가정한다. 즉, 영상획득부(102)가 활성화에 소요된 제1소요시간(T1=2s)이 통신부(105)가 중계장치(200)와 통신 연결을 완료하는데 소요된 제2소요시간(T2=2s)과 동일하다(즉, T1=T2). 또한, 네트워크 트래픽은 양호한 상태이다.
이 경우, 영상획득부(102)는 제1소요시간(T1)이 종료된 이후, 즉 제2시점(t_CamRdy) 이후부터 영상 촬영 및 인코딩을 수행하여 제어부(103)로 전송하고, 제어부(103)는 통신부(105)를 통해 인코딩된 영상을 중계장치(200)로 전송할 수 있다. 이때 통신부(105)는 영상획득부(102)가 출력하는 프레임률(예를 들어, 30fps)과 동일한 프레임률(즉, 30fps)로 영상을 전송할 수 있다.
중계장치(200)는 제2소요시간(T2)이 종료된 이후, 즉 제3시점(t_NwRdy) 이후부터 30fps의 프레임률로 입력되는 영상을 수신할 수 있다.
영상획득부(102)는 활성화 모드에 설정된 시간이 종료되면, 다시 대기 모드로 전환되어, 영상 촬영 및 전송을 중지할 수 있다.
도 8을 참조하면, 대기 모드인 영상처리장치(100)는 제1시점(t_event)에서 이벤트가 감지되면, 웨이크업(wake-up)되어 영상획득부(102)의 구동을 개시(initiation)할 수 있다(120b). 이에 따라, 영상획득부(102)는 제2시점(t_CamRdy)에서 활성화 모드로 전환되고, 영상 촬영(capture) 및 인코딩(encode)을 수행할 수 있는 영상 전송 준비 상태일 수 있다. 영상획득부(102)는 제2시점(t_CamRdy) 이후부터 영상 촬영 및 인코딩을 수행할 수 있다(140b). 영상처리장치(100)는 제3시점(t_NwRdy) 이후부터 소정의 전송률로 영상을 중계장치(200)로 전송할 수 있다.
영상처리장치(100)는 웨이크업(wake-up)되면 통신부(105)를 통해 중계장치(200)와 통신 연결(association)을 수행할 수 있다(220b). 중계장치(200)는 영상처리장치(100)와 통신 연결이 완료된 제3시점(t_NwRdy)에서 영상 수신 준비를 완료할 수 있다.
도 8에 도시된 바와 같이, 영상처리장치(100)와 중계장치(200) 간의 통신 연결이 완료된 제3시점(t_NwRdy)이 영상처리장치(100)가 영상 전송 준비 상태를 완료한 제2시점(t_CamRdy)을 경과하는 경우를 가정한다. 즉, 영상획득부(102)가 활성화에 소요된 제1소요시간(T1=2s)이 통신부(105)가 중계장치(200)와 통신 연결을 완료하는데 소요된 제2소요시간(T2=3s)보다 작다(즉, T1<T2). 네트워크 트래픽 혼잡 등과 같은 네트워크 상황 및/또는 중계장치(200)의 하드웨어적 상황에 따라 영상처리장치(100)와 중계장치(200) 간의 통신 연결이 지연될 수 있다. 도 8의 실시예는 통신 연결된 후 네트워크 트래픽은 양호한 상태이다.
이 경우, 영상획득부(102)는 제1소요시간(T1)이 종료된 이후, 즉 제2시점(t_CamRdy) 이후부터 영상 촬영 및 인코딩을 수행하고, 인코딩된 영상을 30fps의 프레임률로 저장부(104)에 임시 저장(buffering)할 수 있다.
영상처리장치(100)는 중계장치(200)가 영상 수신 준비를 완료하면, 즉, 제3시점(t_NwRdy)부터 통신부(105)를 통해 영상을 중계장치(200)로 전송할 수 있다. 이때 통신부(105)는 영상획득부(102)가 출력하는 프레임률(예를 들어, 30fps)보다 높은 프레임률(즉, 30fps + α)로 영상을 전송할 수 있다. 제어부(103)는 영상획득부(102)가 출력하는 영상을 30fps로 입력받으면서, 입력받은 영상과 저장부(104)에 저장된 영상을 동시에 통신부(105)를 통해 중계장치(200)로 전송할 수 있다. 여기서 α는 영상획득부(102)가 저장부(104)에 저장된 영상을 전송하기 위해 사용되는 대역폭(bandwidth)이다.
제어부(103)는 저장부(104)에 저장된 영상이 모두 전송되면, 영상 전송률을 변경하여, 다시 영상획득부(102)가 출력하는 프레임률(예를 들어, 30fps)과 동일한 프레임률(즉, 30fps)로 설정할 수 있다.
중계장치(200)는 제2소요시간(T2)이 종료된 이후, 즉, 제3시점(t_NwRdy) 이후부터 일정한 제1기간 동안 30fps를 초과하는 프레임률로 영상을 수신하고, 제1기간 이후 제2기간 동안 다시 30fps의 프레임률로 영상을 수신할 수 있다.
영상획득부(102)는 활성화 모드에 설정된 시간이 종료되면, 다시 대기 모드로 전환되어, 영상 촬영 및 전송을 중지할 수 있다.
도 9를 참조하면, 대기 모드인 영상처리장치(100)는 제1시점(t_event)에서 이벤트가 감지되면, 웨이크업(wake-up)되어 영상획득부(102)의 구동을 개시(initiation)할 수 있다(120c). 이에 따라, 영상획득부(102)는 제2시점(t_CamRdy)에서 활성화 모드로 전환되고, 영상 촬영(capture) 및 인코딩(encode)을 수행할 수 있는 영상 전송 준비 상태일 수 있다. 영상획득부(102)는 제2시점(t_CamRdy) 이후부터 영상 촬영 및 인코딩을 수행할 수 있다(140c). 영상처리장치(100)는 제3시점(t_NwRdy) 이후부터 소정의 전송률로 영상을 중계장치(200)로 전송할 수 있다.
영상처리장치(100)는 웨이크업(wake-up)되면 통신부(105)를 통해 중계장치(200)와 통신 연결(association)을 수행할 수 있다(220c). 중계장치(200)는 영상처리장치(100)와 통신 연결이 완료된 제3시점(t_NwRdy) 시점에서 영상 수신 준비를 완료할 수 있다.
도 9에 도시된 바와 같이, 영상처리장치(100)와 중계장치(200) 간의 통신 연결이 완료된 제3시점(t_NwRdy)이 영상처리장치(100)가 영상 전송 준비 상태를 완료한 제2시점(t_CamRdy)을 경과하는 경우를 가정한다. 즉, 영상획득부(102)가 활성화에 소요된 제1소요시간(T1=2s)이 통신부(105)가 중계장치(200)와 통신 연결을 완료하는데 소요된 제2소요시간(T2=4s)보다 작다(즉, T1<T2). 네트워크 트래픽 혼잡 등과 같은 네트워크 상황 및/또는 중계장치(200)의 하드웨어적 상황에 따라 영상처리장치(100)와 중계장치(200) 간의 통신 연결이 지연될 수 있다. 도 9의 실시예는 통신 연결된 후에도 네트워크 트래픽 혼잡이 지속된 상태이다. 예를 들어, 중계장치가 동시에 복수의 영상처리장치들과 통신을 하거나, 주변에 무선 장치들이 복수 존재하는 경우 트래픽 혼잡이 발생할 수 있다.
이 경우, 영상획득부(102)는 제1소요시간(T1)이 종료된 이후, 즉, 제2시점(t_CamRdy) 이후부터 영상 촬영 및 인코딩을 수행하고, 인코딩된 영상을 30fps의 프레임률로 저장부(104)에 임시 저장(buffering)할 수 있다.
영상처리장치(100)는 중계장치(200)가 영상 수신 준비를 완료하면, 즉, 제3시점(t_NwRdy)부터 통신부(105)를 통해 영상을 중계장치(200)로 전송할 수 있다. 이때 통신부(105)는 영상획득부(102)가 출력하는 프레임률(예를 들어, 30fps)보다 낮은 프레임률(즉, 30fps - α)로 영상을 전송할 수 있다. 제어부(103)는 영상획득부(102)가 출력하는 영상을 30fps로 입력받아 저장부(104)에 저장하면서, 동시에 저장부(104)에 저장된 영상을 먼저 저장된 순서대로 영상획득부(102)가 출력하는 프레임률(예를 들어, 30fps)보다 낮은 프레임률로 통신부(105)를 통해 중계장치(200)로 전송할 수 있다.
제어부(103)는 네트워크 상태가 호전되어 네트워크 트래픽 혼잡이 해소되면, 즉, 시간(T4) 경과 후, 영상 전송률을 변경할 수 있다. 제어부(103)는 저장부(104)에 저장된 영상이 모두 전송될 때까지, 인코더가 출력하는 프레임률(예를 들어, 30fps)보다 높은 프레임률(즉, 30fps + α)을 설정할 수 있다. 제어부(103)는 영상획득부(102)가 출력하는 영상을 30fps로 입력받으면서, 입력받은 영상과 저장부(104)에 저장된 영상을 통신부(105)를 통해 중계장치(200)로 전송할 수 있다. 여기서, α는 영상획득부(102)가 저장부(104)에 저장된 영상을 전송하기 위해 사용되는 대역폭(bandwidth)이다.
도시되지 않았으나, 저장부(104)에 저장된 영상이 모두 전송된 이후에도 영상획득부(102)가 활성 모드인 경우, 영상획득부(102)는 영상을 저장부(104)에 저장하지 않고, 중계장치(200)로 영상을 전송할 수 있다. 이때 제어부(103)는 인코더가 출력하는 프레임률(예를 들어, 30fps)과 동일한 프레임률(즉, 30fps)로 영상 전송률을 변경할 수 있다.
중계장치(200)는 제2소요시간(T2)이 종료된 이후, 즉, 제3시점(t_NwRdy) 이후부터 일정한 제1기간 동안 30fps 미만의 프레임률로 영상을 수신하고, 제1기간 이후 제2기간 동안 다시 30fps 초과의 프레임률로 영상을 수신할 수 있다.
영상처리장치(100)는 활성화 모드에 설정된 시간이 종료되면, 다시 대기 모드로 전환되어, 영상 촬영 및 전송을 중지할 수 있다.
본 발명의 실시예에 따른 영상처리장치는 하나의 중계장치와 복수의 영상처리장치들 간의 연결 상태, 중계장치의 상태, 네트워크 트래픽 상태를 고려하여 적응적으로 high rate, normal rate, low rate와 같이 영상 전송률을 제어하고, 저장부(프레임버퍼)의 read/write를 동시에 수행할 수 있다.
도 10은 본 발명의 일 실시예에 따른 영상처리장치와 중계장치 간의 영상 송수신 방법을 설명하는 흐름도이다.
도 10을 참조하면, 영상처리장치(100)는 대기 모드(S51)에서 이벤트를 감지하면(S52), 활성화 모드로 전환하고 중계장치와 통신 연결을 수행할 수 있다(S53).
영상처리장치(100)는 대기모드에서 웨이크-업되면, 영상획득부(102)의 구동을 개시함과 동시에 중계장치(200)와의 통신 연결을 시도할 수 있다. 영상획득부(102)가 활성화에 소요된 시간을 제1소요시간(T1)이라 하고, 통신부(105)가 중계장치(200)와의 통신 연결을 완료하는데 소요된 시간을 제2소요시간(T2)이라 한다.
영상획득부(102)는 활성화 모드에서 영상을 촬영하고, 촬영된 영상을 인코딩할 수 있다(S54).
제어부(103)는 제1소요시간(T1)과 제2소요시간(T2)의 관계에 따라 통신부(105)의 영상 전송률을 제어할 수 있다. 제2소요시간(T2)은 하나의 중계장치와 복수의 영상처리장치들 간의 연결 상태, 중계장치의 상태, 네트워크 트래픽 상태 등에 따라 달라질 수 있다. 제어부(103)는 영상획득부(102)가 출력하는 프레임률과 동일하게, 또는 높게, 또는 낮게 영상 전송률을 제어할 수 있다.
영상획득부(102)는 제1소요시간(T1)이 종료된 후부터 영상을 획득하여 인코딩할 수 있다. 인코딩된 영상은 통신부(105)를 통해 중계장치(200)로 전송되거나, 저장부(104)에 임시 저장된 후 통신부(105)를 통해 중계장치(200)로 전송될 수 있다.
영상처리장치(100)는 제2소요시간(T2)이 제1소요시간(T1)과 같은 경우, 제2소요시간(T2)이 종료된 후부터 인코딩된 영상을 통신부(105)를 통해 중계장치(200)로 전송할 수 있다(S55). 이때 통신부(105)의 영상 전송률은 영상획득부(102)로부터 출력되는 영상의 프레임률(제1프레임률)과 동일할 수 있다.
영상처리장치(100)는 제2소요시간(T2)이 제1소요시간(T1)을 초과하는 경우, 제1소요시간(T1)이 종료된 후부터 인코딩된 영상을 저장부(104)에 임시 저장할 수 있다(S56).
영상처리장치(100)는 네트워크 트래픽 혼잡이 없으면(S17), 제2소요시간(T2)이 종료된 후부터 영상획득부(102)로부터 출력되는 영상과 임시 저장된 영상을 동시에 통신부(105)를 통해 중계장치(200)로 전송할 수 있다(S58). 이때 통신부(105)의 영상 전송률은 영상획득부(102)로부터 출력되는 프레임률보다 높은 제2프레임률일 수 있다.
영상처리장치(100)는 저장부(104)에 저장된 영상이 모두 전송되면, 이후 영상획득부(102)로부터 출력되는 영상을 통신부(105)를 통해 중계장치(200)로 전송할 수 있다(S59). 이때 통신부(105)의 영상 전송률은 제1프레임률로 변경될 수 있다.
영상처리장치(100)는 제2소요시간이 종료된 후에도 네트워크 트래픽 혼잡이 지속되고 있는 경우(S17), 제2소요시간(T2)이 종료된 이후, 영상획득부(102)로부터 출력되는 영상을 저장부(104)에 저장하면서, 저장부(104)에 오래 저장된 영상부터 제1프레임률보다 낮은 제3프레임률로 중계장치(200)로 전송할 수 있다(S60).
영상처리장치(100)는 네트워크 트래픽이 정상화되면, 통신부(105)의 영상 전송률을 제2프레임률로 변경할 수 있다(S61). 영상처리장치(100)는 영상획득부(102)로부터 출력되는 영상과 저장부(104)에 저장된 영상을 동시에 통신부(105)를 통해 중계장치(200)로 전송할 수 있다.
영상획득부(102)는 설정된 시간이 경과하면 활성화 모드에서 다시 대기 모드로 전환하고, 영상 촬영은 중지될 수 있다.
본 발명은 배터리 타입의 웨어러블 카메라, 액션캠, 애완 동물 관리, 중소형 매장 관리, 어린이나 노약자를 모니터링하는 영상처리장치 등에 이용이 가능하다.
종래의 영상처리장치는 중계장치와의 통신 연결 수행에 긴 시간(예를 들어, 40초 이상)이 소요됨에 따라 신속한 이벤트 알람이 어렵다. 반면, 본 발명의 실시예들에 따른 영상처리장치는 네트워크 상황에 따라 중계장치와의 통신 연결이 지연되는 경우 데이터 전송률을 네트워크 상황에 적응적으로 변경함으로써 신속한 이벤트 알람이 가능하다.
또한, 본 발명의 실시예들에 따른 영상처리장치는 평상시에 대기 모드를 유지하고, 이벤트가 감지된 경우에만 중계장치와 통신연결을 수행한 후 영상을 전송한 후 다시 대기 모드로 진입함으로써 저전력으로 구동할 수 있다.
본 발명의 실시예에 따른 영상 처리 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명의 일 측면들은 첨부된 도면에 도시된 실시예들을 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.

Claims (5)

  1. 이벤트 발생시 활성화되어, 영상을 획득하고, 획득한 영상을 인코딩하여 제1 프레임률로 출력하는 영상획득부;
    상기 이벤트 발생시 중계장치와 통신 연결을 수행하고, 상기 영상획득부가 출력하는 영상을 상기 중계장치로 전송하는 통신부; 및
    상기 영상획득부의 활성화에 소요된 제1소요시간 및 상기 통신부가 상기 중계장치와의 통신 연결 완료에 소요된 제2소요시간을 기초로, 상기 통신부의 영상 전송률을 제어하는 제어부;를 포함하는 영상처리장치.
  2. 제1항에 있어서, 상기 제어부는,
    상기 제1소요시간의 종료 시점에 상기 제2소요시간이 종료되면, 상기 영상 전송률을 상기 제1 프레임률로 설정하는, 영상처리장치.
  3. 제1항에 있어서, 상기 제어부는,
    상기 제2소요시간이 상기 제1소요시간을 초과하면, 상기 영상획득부가 출력하는 영상을 임시 저장하고,
    상기 제2소요시간이 종료되면, 상기 통신부의 영상 전송률을 상기 제1 프레임률보다 높은 제2 프레임률로 설정하는, 영상처리장치.
  4. 제3항에 있어서, 상기 제어부는,
    상기 임시 저장된 영상의 전송이 완료된 후부터 통신부의 영상 전송률을 상기 제2 프레임률로부터 상기 제1 프레임률로 변경하는, 영상처리장치.
  5. 제3항에 있어서, 상기 제어부는,
    상기 제2소요시간이 종료된 후, 네트워크 트래픽 혼잡이 지속되는 동안 상기 영상획득부가 출력하는 영상을 임시 저장하고, 상기 통신부의 영상 전송률을 상기 제1 프레임률보다 낮은 제3 프레임률로 설정하고,
    상기 네트워크 트래픽이 정상화되면 통신부의 영상 전송률을 상기 제3 프레임률로부터 상기 제1 프레임률보다 높은 제2 프레임률로 변경하는, 영상처리장치.
KR1020160130824A 2016-10-10 2016-10-10 영상처리장치 KR20180039475A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160130824A KR20180039475A (ko) 2016-10-10 2016-10-10 영상처리장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160130824A KR20180039475A (ko) 2016-10-10 2016-10-10 영상처리장치

Publications (1)

Publication Number Publication Date
KR20180039475A true KR20180039475A (ko) 2018-04-18

Family

ID=62082846

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160130824A KR20180039475A (ko) 2016-10-10 2016-10-10 영상처리장치

Country Status (1)

Country Link
KR (1) KR20180039475A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898791A (zh) * 2018-06-22 2018-11-27 张小勇 一种数据处理方法和系统
KR102584718B1 (ko) * 2023-02-15 2023-10-05 주식회사 엔티에스솔루션 스마트글라스를 활용한 실시간 영상/음성 기반 선박 및 해외설비 원격유지보수 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898791A (zh) * 2018-06-22 2018-11-27 张小勇 一种数据处理方法和系统
KR102584718B1 (ko) * 2023-02-15 2023-10-05 주식회사 엔티에스솔루션 스마트글라스를 활용한 실시간 영상/음성 기반 선박 및 해외설비 원격유지보수 시스템

Similar Documents

Publication Publication Date Title
KR101215549B1 (ko) 부착형 무선 카메라 모듈과 휴대 단말기를 이용한 사용자 중심 원격 모니터링 안전 시스템
US10033915B2 (en) Camera peripheral device for supplemental audio capture and remote control of camera
US7420149B2 (en) Network sensor system and protocol
KR101495204B1 (ko) 다목적 경보 장치 기반의 스마트폰을 이용한 창문 감시 방법 및 창문 감시 시스템
US20140098248A1 (en) Communication apparatus
US10140826B2 (en) Surveillance system and method of controlling the same
US11538316B2 (en) Surveillance system and control method thereof
US9176566B2 (en) Controlling supply of power to a communication unit of a communication device based on user&#39;s activity of image capturing and transferring on the communication device
JP2006309694A (ja) モニタ機能を備える携帯電話、モニタシステム及びそのモニタ方法
US10904423B2 (en) Image providing apparatus and method
KR102015953B1 (ko) 저전력 영상처리장치 및 저전력으로 영상처리장치를 구동하는 방법
KR20180039475A (ko) 영상처리장치
CN107682620B (zh) 摄像装置、拍摄模式控制方法以及记录介质
CN113596942B (zh) 通信管理方法、用户设备、系统及存储介质
US20190132505A1 (en) Imaging apparatus
KR20180096622A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
US20210250485A1 (en) Monitoring device and image capturing method
CN107749943B (zh) 一种摄像装置、减小摄像装置功耗的方法
KR102369796B1 (ko) 네트워크 카메라 시스템 및 그 동작 방법
JP6958664B2 (ja) 無線通信装置、通信システム、無線通信方法及び無線通信プログラム
KR102170688B1 (ko) 네트워크 카메라 및 게이트웨이
CN107734608B (zh) 一种摄像装置以及减少摄像装置功耗的方法
JP2017046232A (ja) 通信装置およびその制御方法ならびにプログラム
JP2003134502A (ja) 監視装置、監視方法、および監視システム
JP6776741B2 (ja) 処理装置、処理方法及びプログラム

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination