KR102586963B1 - 카메라 및 카메라의 프로파일 운영 방법 - Google Patents

카메라 및 카메라의 프로파일 운영 방법 Download PDF

Info

Publication number
KR102586963B1
KR102586963B1 KR1020170012046A KR20170012046A KR102586963B1 KR 102586963 B1 KR102586963 B1 KR 102586963B1 KR 1020170012046 A KR1020170012046 A KR 1020170012046A KR 20170012046 A KR20170012046 A KR 20170012046A KR 102586963 B1 KR102586963 B1 KR 102586963B1
Authority
KR
South Korea
Prior art keywords
camera
profile
performance
video
video stream
Prior art date
Application number
KR1020170012046A
Other languages
English (en)
Other versions
KR20180087697A (ko
Inventor
조성봉
Original Assignee
한화비전 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화비전 주식회사 filed Critical 한화비전 주식회사
Priority to KR1020170012046A priority Critical patent/KR102586963B1/ko
Publication of KR20180087697A publication Critical patent/KR20180087697A/ko
Application granted granted Critical
Publication of KR102586963B1 publication Critical patent/KR102586963B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명의 실시예들은 카메라 및 카메라의 프로파일 운영 방법을 개시한다.
본 발명의 일 실시예에 따른 복수의 사용자 단말들 각각에 적어도 하나의 영상스트림을 제공하는 카메라의 프로파일 운영 방법은, 상기 사용자 단말들로 제공되는 영상스트림들 각각의 프로파일에 대응하는 성능계수를 산출하는 단계; 상기 성능계수를 기초로 상기 영상스트림들에 우선순위를 설정하는 단계; 및 상기 영상스트림들의 성능계수들의 합이 상기 카메라의 최대 인코딩 성능을 나타내는 값을 초과하는 경우, 상기 우선순위에 따라 상기 영상스트림들 중 적어도 하나의 영상스트림의 프로파일을 변경하는 단계;를 포함한다.

Description

카메라 및 카메라의 프로파일 운영 방법{Camera and profile managing method thereof}
본 발명의 실시예들은 카메라 및 카메라의 프로파일 운영 방법에 관한 것이다.
보안 카메라에서 멀티 프로파일 네트워크 전송 기능이 보편화되고 있다. 보안 카메라는 고해상도 영상은 저장용으로 사용하거나 확대된 모니터링 화면으로 사용하고, 저해상도 영상은 모바일 기기나 다분할 모드의 모니터링으로 사용할 수 있도록 용도에 맞게 전송하는 기능을 제공할 수 있다. 네트워크 보안 카메라의 경우 네트워크로 연결되기 때문에 여러 사용자가 동시에 필요한 프로파일을 요청하여 원하는 스트림을 얻을 수 있다.
한국등록특허 제1494537호
본 발명의 실시예들은 카메라의 목적에 부합하는 영상스트림을 전송할 수 있는 프로파일 운영 방법을 제공한다.
본 발명의 일 실시예에 따른 복수의 사용자 단말들 각각에 적어도 하나의 영상스트림을 제공하는 카메라의 프로파일 운영 방법은, 상기 사용자 단말들로 제공되는 영상스트림들 각각의 프로파일에 대응하는 성능계수를 산출하는 단계; 상기 성능계수를 기초로 상기 영상스트림들에 우선순위를 설정하는 단계; 및 상기 영상스트림들의 성능계수들의 합이 상기 카메라의 최대 인코딩 성능을 나타내는 값을 초과하는 경우, 상기 우선순위에 따라 상기 영상스트림들 중 적어도 하나의 영상스트림의 프로파일을 변경하는 단계;를 포함한다.
상기 방법은, 상기 사용자 단말들 각각의 영상스트림 수신 상태에 따라 상기 사용자 단말들 중 적어도 하나의 사용자 단말에 대한 전송 모드를 변경하는 단계;를 더 포함할 수 있다.
상기 방법은, 상기 성능계수의 크기 순서로 상기 우선순위를 설정할 수 있다.
상기 방법은, 프로파일 선택 신호를 수신하고, 상기 선택 신호에 대응하는 프로파일을 갖는 적어도 하나의 영상스트림에 높은 우선순위를 설정할 수 있다.
상기 인코딩 성능은 코덱의 종류, 해상도 및 프레임레이트를 기초로 산출될 수 있다.
본 발명의 일 실시예에 따른 복수의 사용자 단말들 각각에 적어도 하나의 영상스트림을 제공하는 카메라는, 상기 사용자 단말들로 제공되는 영상스트림들 각각의 프로파일에 대응하는 성능계수를 산출하고, 상기 성능계수를 기초로 상기 영상스트림들에 우선순위를 설정하는 제1 설정부; 및 상기 영상스트림들의 성능계수들의 합이 상기 카메라의 최대 인코딩 성능을 나타내는 값을 초과하는 경우, 상기 우선순위에 따라 상기 영상스트림들 중 적어도 하나의 영상스트림의 프로파일을 변경하는 제2설정부;를 포함한다.
본 발명의 실시예들은 카메라가 영상을 인코딩할 수 있는 코덱의 성능을 초과하거나 네트워크로의 전송에 필요한 CPU 성능을 초과하는 요청 상태가 되었을 때, 효과적으로 성능을 분배하여 프로파일을 운영할 수 있어 카메라의 목적에 부합한 동작이 가능하다.
도 1은 본 발명의 일 실시예에 따른 영상 송수신 시스템을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 카메라(100A)의 구성을 개략적으로 나타낸 도면이다.
도 3은 코덱의 종류별 압축률 및 전송 비트레이트의 예이다.
도 4는 본 발명의 일 실시예에 따른 카메라의 프로파일 운영 및 영상 전송 방법을 개략적으로 설명하는 흐름도이다.
도 5는 본 발명의 다른 실시예에 따른 카메라(100B)의 구성을 개략적으로 나타낸 도면이다.
도 6 및 도 7은 카메라(100B)의 프로파일 운영을 설명하기 위한 도면이다.
도 8은 도 5의 실시예에 따른 카메라의 프로파일 운영 및 영상 전송 방법을 개략적으로 설명하는 흐름도이다.
이하 본 발명의 바람직한 실시예가 첨부된 도면들을 참조하여 설명될 것이다. 도면상의 동일한 부호는 동일한 요소를 지칭한다. 하기에서 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
도 1은 본 발명의 일 실시예에 따른 영상 송수신 시스템을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 영상 송수신 시스템은 카메라(100) 및 적어도 하나의 사용자 단말(200)을 포함할 수 있다. 도 1에서는 하나의 카메라(100)만을 도시하였으나, 둘 이상의 카메라(100)를 포함할 수 있음은 물론이다.
카메라(100)는 특정 장소의 고정된 위치에 배치되고, 촬영 범위가 고정된 단일 고정식 카메라 또는 팬(Pan)/틸트(Tilt)/줌(Zoom) 기능을 갖는 PTZ 카메라일 수 있다. 카메라(100)는 비쥬얼 카메라, 열상 카메라, 특수 목적 카메라 등을 포함하는 감시용 카메라, 휴대용 카메라, 캠코더 등일 수 있다. 카메라(100)는 사무실, 주택, 병원은 물론 은행이나 보안이 요구되는 공공건물 등의 내외 또는 공원 등의 야외에 설치되며, 그 설치 장소 및 사용목적에 따라 일자형, 돔형 등 다양한 형태를 가질 수 있다.
카메라(100)는 영상을 획득하고, 획득한 영상을 설정된 코덱, 해상도 및 프레임레이트의 프로파일로 인코딩하여 하나 이상의 영상스트림을 생성할 수 있다.
카메라(100)는 사용자 단말(200)과 세션 연결, 영상 인코딩 및 프레임 생성, 프레임 패킷화 및 연결된 사용자 단말로 패킷 전송의 방식으로 유니캐스트 채널로 복수의 사용자 단말들 각각에게 영상스트림을 전송할 수 있다. 예를 들어, 카메라(100)는 제1 사용자 단말(200a)로 제1 프로파일(프로파일 #1)을 갖는 제1 영상스트림을 제공하고, 제2 사용자 단말(200b)로 제2 프로파일(프로파일 #2)을 갖는 제2 영상스트림을 제공하고, 제3 사용자 단말(200c)로 제3 프로파일(프로파일 #3)을 갖는 제3 영상스트림을 각각 제공할 수 있다. 카메라(100)는 모드에 따라(예를 들어, 메가 픽셀 모드, 센서 모드 등) 또는 사용자 단말의 종류에 따라 최대 설정 가능한 해상도 및 프레임레이트가 달라질 수 있다.
카메라(100)는 예를 들어, 저장용 영상스트림은 H.264/8M (3264x2488)/30fps, 모니터링 화면 출력용 영상스트림은 H.264/800x600/15fps 또는 30fps, 모바일 기기용 영상스트림은 MJPEG/320x240/3fps, 웹뷰어용 영상스트림은 H.264/1280x720/15fps의 프로파일로 생성하고 전송할 수 있다.
카메라(100)는 하나의 사용자 단말(200)로 둘 이상의 영상스트림을 제공할 수 있다. 예를 들어, 카메라(100)는 제2 사용자 단말(200b)로 제2 프로파일(프로파일 #2)을 갖는 제2 영상스트림 및 제3 프로파일(프로파일 #3)을 갖는 제3 영상스트림을 제공할 수 있다.
이와 같이, 카메라(100)는 멀티 프로파일로 영상스트림을 생성하여 전송할 수 있고, 한 개의 프로파일의 영상스트림에도 복수의 사용자 단말(200)들이 동시에 접속하여 스트림을 요청하고 수신할 수 있다. 카메라(100)는 유니캐스트 방식 또는 멀티캐스트 방식으로 멀티 프로파일 영상스트림을 전송할 수 있다. 카메라(100)가 유니캐스트 방식으로 영상을 전송할 때는 RTP/RTSP/UDP, RTP/RTSP/TCP, RTP/RTSP/HTTP/TCP 등의 전송 방식을 채택할 수 있다. 보안 카메라의 경우, 특성상 수신 측에서 데이터 손실 없이 수신을 원하는 경우가 많기 때문에 유니캐스트 방식으로 전송하는 것을 선호한다.
유니캐스트 방식으로 영상데이터를 전송하는 경우, 같은 프로파일의 영상스트림을 수신하는 다양한 네트워크 환경의 사용자 단말로 영상을 패킷화(Packetizing)하여 전송하기 때문에, 수신 측의 수가 늘어나는 만큼 CPU load도 선형적으로 증가하게 된다. 멀티 프로파일 전송을 제공하는 카메라에서는 프로파일마다 요청하는 수신 측의 수가 증가하게 되어 카메라 시스템이 전송할 수 있는 CPU load를 초과하거나 다양한 프로파일을 생성하기 위해 인코딩할 수 있는 코덱 성능을 초과하는 경우가 발생할 수 있다. CPU load 초과에 의한 네트워크 전송 성능과 코덱 인코딩 성능을 초과하는 경우 모든 프로파일의 영상스트림과 모든 네트워크 전송에 대하여 공통적으로 CPU 자원과 Codec 자원을 분배하는 경우, 모든 프로파일의 성능이 저하되는 문제가 있다.
본 발명의 실시예들은 카메라(100)가 영상을 인코딩할 수 있는 코덱의 성능을 초과하거나 네트워크로의 전송에 필요한 CPU 성능을 초과하는 요청 상태가 되었을 때, 효과적으로 성능을 분배하여 카메라의 목적에 부합하도록 동작할 수 있도록 한다.
즉, 코덱 성능을 낮추기 위해 고해상도, 높은 프레임레이트와 높은 비트레이트의 프로파일의 해상도, 프레임레이트, 비트레이트를 낮추어 인코딩할 수 있으나, 고해상도, 높은 프레임레이트와 높은 비트레이트의 프로파일은 저장용이나 주요 모니터링 용으로 사용되는 것이기 때문에 이런 프로파일의 성능을 낮추기보다는 중요도가 낮은 프로파일의 전송을 위해 사용되는 코덱 성능을 점진적으로 줄여서 중요한 프로파일의 성능을 확보할 수 있다.
또한, 네트워크로 전송되는 프로파일에서도 프로파일의 속성 및 데이터 수신 상태(수신율)에 따라서 프로파일의 해상도, 프레임레이트와 비트레이트가 낮은 프로파일의 영상스트림 전송을 우선으로 제외하고, 해상도, 프레임레이트와 비트레이트가 높은 프로파일의 영상스트림을 전송하는 경우에도 전송이 오래 걸리는 낮은 대역폭의 사용자 단말을 분리함으로써, 중요도가 높은 프로파일의 성능을 확보할 수 있다.
본 발명의 실시예들은 이러한 멀티 프로파일 전송 기능을 제공하는 카메라에서 성능을 초과하는 경우에 성능 확보를 통해 보안 목적을 달성하기 위한 프로파일 운영 방법에 대한 것이다.
카메라(100)는 네트워크를 통해 사용자 단말(200)로 영상스트림을 제공할 수 있다. 네트워크는 유선 네트워크 및 3G, 4G(LTE), 와이파이(WiFi), 와이브로(Wibro), 와이맥스(Wimax) 등과 같은 무선 네트워크를 포함할 수 있다.
사용자 단말(200)은 디지털 비디오 레코더(DVR: digital video recorder) 또는 네트워크 비디오 레코더(NVR: network video recorder) 등의 저장 장치, 웹 뷰어(개인 컴퓨터), 모바일 뷰어(모바일 장치), 모니터링 장치 및 영상을 표현할 수 있는 다양한 장치일 수 있다.
도 2는 본 발명의 일 실시예에 따른 카메라(100A)의 구성을 개략적으로 나타낸 도면이다.
도 2를 참조하면, 카메라(100A)는 영상센서(101) 및 프로세서(105A)를 포함할 수 있다. 카메라(100A)는 도 1에 도시된 영상 송수신 시스템의 카메라(100)의 일 예이다.
영상센서(101)는 CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor) 등의 광전변환소자일 수 있다. 영상센서(101)는 전방의 장면을 촬영하여 영상 정보를 획득한다. 영상센서(101) 전단에는 광신호를 수신하는 렌즈(미도시)가 구비될 수 있다.
프로세서(105A)는 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 프로세서(105A)는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 프로세서(105A)의 기능은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, 프로그래밍 또는 스크립팅 언어로 구현될 수 있다.
프로세서(105A)는 제1 설정부(111), 제2 설정부(113), 인코더(115), 및 저장부(117)를 포함할 수 있다.
제1 설정부(111)는 사용자 단말(200)로부터 전송 요청받은 영상스트림들 각각의 인코딩 성능을 산출할 수 있다. 인코딩 성능은 코덱의 종류(Codec Type), 해상도(Resolution) 및 프레임레이트(Framerate)를 팩터(factor)로 수치화된 값인 성능계수(EPC, Encoding Performance Coefficient Value)로 나타낼 수 있다.
EPC = Codec Type * Resolution (Width x Height) * Framerate
도 3에 도시된 바와 같이 코덱의 종류별 압축률 및 전송 비트레이트를 참조하면, 코덱은 H.265 > H.264 > MPEG-4 > H.263 > MJPEG (≒ H.261) 순으로 코덱의 종류에 따라 성능 차이가 있다. 예를 들어, H.265의 인코딩 성능을 1이라 할 때, H.264는 0.7, MPEG-4는 0.4, MJPEG은 0.1로 수치화할 수 있다. 해상도는 Width(W) x Height(H)의 픽셀 수이다.
제1 설정부(111)는 각 영상스트림에 우선순위를 설정할 수 있다. 우선순위는 전송 요청받은 영상스트림들 중 프로파일의 속성 변경 없이 인코딩이 보장되는 영상스트림을 결정하기 위해 설정될 수 있다. 인코딩이 보장되는 프로파일 속성 및 개수는 사용자에 의해 결정될 수 있다.
제1 설정부(111)는 중요도가 높은 프로파일에 높은 우선순위를 설정할 수 있다. 성능계수(EPC)가 클수록 영상 품질이 높고, 중요도가 높은 영상스트림으로 볼 수 있다. 제1 설정부(111)는 EPC가 큰 영상스트림일수록 우선순위를 높게 설정할 수 있다. 다른 예로서, 제1 설정부(111)는 EPC가 작은 영상스트림일수록 우선순위를 높게 설정할 수 있다. 다른 예로서, 제1 설정부(111)는 EPC가 중간인 영상스트림에 높은 우선순위를 설정할 수 있다. 다른 예로서, 제1 설정부(111)는 사용자 지정에 의해 특정 프로파일의 영상스트림에 특정 우선순위를 설정할 수 있다.
제2 설정부(113)는 우선순위에 따라 복수의 영상스트림들 중 적어도 하나의 영상스트림의 프로파일을 변경할 수 있다. 제2 설정부(113)는 복수의 영상스트림들의 성능계수의 합과 카메라(100)의 최대 인코딩 성능을 나타내는 값(이하, '최대 인코딩 성능 값'이라 함)을 비교할 수 있다. 제2 설정부(113)는 성능계수의 합이 최대 인코딩 성능 값을 초과하는 경우, 우선순위에 따라 적어도 하나의 영상스트림의 프로파일을 변경함으로써 성능계수의 합을 최대 인코딩 성능 값 이하로 조정할 수 있다. 제2 설정부(113)는 영상스트림의 코덱 종류, 해상도 및 프레임레이트 중 적어도 하나를 변경함으로써 성능계수를 줄일수 있다.
최대 인코딩 성능 값은 저장부(117)에 미리 저장될 수 있다. 최대 인코딩 성능 값은 각 코덱의 설정 가능한 최대 해상도(Max_Resolution) 및 최대 프레임레이트(Max_Framerate)를 팩터(factor)로 수치화된 값인 최대 성능계수(Max_EPC, Maximum Encoding Performance Coefficient Value)의 합으로 정의할 수 있다.
Max_EPC = Codec Type * Max_Resolution (Width x Height) * Max_Framerate
인코더(115)는 영상센서(101)로부터 입력되는 영상을 적어도 하나의 코덱을 이용하여 인코딩함으로써 적어도 하나의 영상스트림을 생성할 수 있다. 각 코덱은 설정 가능한 최대 해상도 및 최대 프레임레이트를 가질 수 있다.
저장부(117)는 최대 인코딩 성능 값, 영상센서(101)로부터의 영상, 인코더(115)가 출력하는 적어도 하나의 영상스트림에 대한 정보, 예를 들어, 움직임 검출 위치, 영상 촬영 시간 등의 메타데이터를 저장할 수 있다.
이하에서는, 이해의 편의를 위해, 상이한 프로파일을 갖는 6개의 영상스트림들의 생성이 가능한 카메라(100)가, 제1 사용자 단말(200a), 제2 사용자 단말(200b) 및 제3 사용자 단말(200c)로부터 각각 영상스트림 요청을 수신한 경우를 상정하자. 제1 사용자 단말(200a), 제2 사용자 단말(200b) 및 제3 사용자 단말(200c)은 서로 다른 종류의 사용자 단말일 수 있다.
제1 사용자 단말(200a)은 MJPEG/1280x720/15fps의 제1 프로파일을 갖는 제1 영상스트림을 요청하고, 제2 사용자 단말(200b)은 H.264/1280x720/15fps의 제2 프로파일을 갖는 제2 영상스트림을 요청하고, 제3 사용자 단말(200c)로 H.264/800x600/5fps의 제3 프로파일을 갖는 제3 영상스트림을 요청할 수 있다. 저장부(117)에는 카메라(100)의 최대 인코딩 성능 값(M = Max_EPC1 + Max_EPC2 + Max_EPC3 + ...+ Max_EPC6)이 저장되어 있다.
제1 설정부(111)는 제1 사용자 단말(200a)로부터 요청된 제1 영상스트림의 제1 성능계수(EPC1), 제2 사용자 단말(200b)로부터 요청된 제2 영상스트림의 제2 성능계수(EPC2), 제3 사용자 단말(200c)로부터 요청된 제3 영상스트림의 제3 성능계수(EPC3)를 각각 산출할 수 있다. 제1 설정부(111)는 제1 내지 제3 성능계수(EPC1 내지 EPC3)의 합(K = EPC1 + EPC2+ EPC3)을 산출할 수 있다.
제1 설정부(111)는 EPC 크기 순으로(EPC2 > EPC1 > EPC3) 제1 내지 제3 영상스트림에 우선순위를 설정할 수 있다.
제2 설정부(113)는 저장부(117)에 저장된 카메라(100)의 최대 인코딩 성능 값(M)을 성능계수의 합(K)과 비교할 수 있다. 제2 설정부(113)는 성능계수의 합(K)이 최대 인코딩 성능 값(M)을 초과하는 경우(M < K), 성능계수의 합(K)이 최대 인코딩 성능 값(M) 이하가 될 때까지(M ≥ K), 제1 내지 제3 영상스트림들 중 적어도 하나의 영상스트림의 프로파일을 변경할 수 있다.
제2 설정부(113)는 우선순위가 가장 높은 제2 영상스트림의 제2 프로파일은 유지하고, 성능계수의 합(K)이 최대 인코딩 성능 값(M) 이하가 되도록 제1 영상스트림 및 제3 영상스트림의 프로파일을 변경할 수 있다. 제2 설정부(113)는 우선순위가 가장 낮은 제3 영상스트림의 제3 프로파일을 변경하여 제3 성능계수를 감소시킴으로써 성능계수의 합(K)을 낮출 수 있다. 또는 제2 설정부(113)는 제3 영상스트림과 제1 영상스트림의 프로파일을 변경하여 제3 성능계수와 제1 성능계수를 동일한 감소율로 낮춤으로써 성능계수의 합(K)을 낮출 수 있다. 또는 제2 설정부(113)는 제3 영상스트림의 제3 성능계수 감소율을 제1 영상스트림의 제1 성능계수 감소율보다 크게 하여 성능계수의 합(K)을 낮출 수 있다.
본 발명의 실시예는 카메라(100A)의 영상 인코딩 성능을 초과하는 영상스트림 요청이 있는 경우, 전송할 영상스트림들 중 중요도가 높은 영상스트림의 인코딩 프로파일은 변경없이 보장하면서, 중요도가 낮은 적어도 하나의 영상스트림의 인코딩 프로파일을 변경한다. 이로써 카메라(100A)가 전송할 모든 영상스트림들의 프로파일 성능을 저하시키지 않으면서 효과적으로 인코딩 성능을 분배할 수 있다. 중요도는 영상스트림의 프로파일 속성을 기초로 결정될 수 있으며, 프로파일 속성은 사용자 단말(200)의 유형에 따라 결정될 수 있다. 즉, 중요도는 사용자 단말(200)의 유형을 기초로 결정될 수 있다.
도 4는 본 발명의 일 실시예에 따른 카메라의 프로파일 운영 및 영상 전송 방법을 개략적으로 설명하는 흐름도이다.
도 4를 참조하면, 카메라(100A)는 카메라(100A)가 전송할 복수의 영상스트림들 각각의 성능계수를 산출할 수 있다(S401). 성능계수는 프로파일의 속성(코덱 종류, 해상도, 프레임레이트)을 기초로 산출될 수 있다.
카메라(100A)는 각 영상스트림의 성능계수를 기초로 각 영상스트림에 우선순위를 설정할 수 있다(S403).
카메라(100A)는 카메라(100A)의 최대 인코딩 성능 값을 복수의 영상스트림들 각각의 성능계수를 합한 성능계수의 합과 비교할 수 있다(S405).
카메라(100A)는 성능계수의 합이 최대 인코딩 성능 값을 초과하지 않으면, 해당 사용자 단말이 요청한 영상스트림을 생성하여 해당 사용자 단말로 전송할 수 있다(S406).
카메라(100A)는 성능계수의 합이 최대 인코딩 성능 값을 초과하면, 우선순위에 따라 복수의 영상스트림들 중 적어도 하나의 영상스트림의 프로파일 속성을 변경할 수 있다(S407). 카메라(100A)는 코덱, 해상도, 프레임레이트 중 적어도 하나를 변경할 수 있다. 프레임레이트를 낮추는 방법은 I 프레임만 생성하여 전송하는 방법을 포함할 수 있다. 카메라(100A)는 일부 영상스트림의 프로파일 변경에도 불구하고 우선순위가 높은 영상스트림의 프로파일 보장이 어려운 경우, 우선순위가 낮은 영상스트림의 생성 및 전송을 정지할 수 있다.
카메라(100A)는 프로파일이 변경되지 않은 영상스트림 및 프로파일이 변경된 영상스트림을 각각 생성하여 해당 사용자 단말로 전송할 수 있다(S409).
도 5는 본 발명의 다른 실시예에 따른 카메라(100B)의 구성을 개략적으로 나타낸 도면이다. 도 6 및 도 7은 카메라(100B)의 프로파일 운영을 설명하기 위한 도면이다.
도 5를 참조하면, 카메라(100B)는 영상센서(101) 및 프로세서(105B)를 포함할 수 있다. 카메라(100B)는 도 1에 도시된 영상 송수신 시스템의 카메라(100)의 일 예이다. 이하에서는 도 2의 실시예와 중복하는 구성의 설명은 생략하고, 도 2의 실시예와 상이한 구성을 중심으로 설명한다.
프로세서(105B)는 제1 설정부(111), 제2 설정부(113), 인코더(115), 저장부(117), 및 전송모드 제어부(119)를 포함할 수 있다.
도 2에 도시된 실시예와 유사하게, 프로세서(105B)는 카메라(100B)의 영상 인코딩 성능을 초과하는 영상스트림 요청이 있는 경우, 전송할 영상스트림들 중 중요도가 높은 영상스트림의 인코딩 프로파일은 변경없이 보장하면서, 중요도가 낮은 적어도 하나의 영상스트림의 인코딩 프로파일을 변경한다.
그러나, 복수의 사용자 단말들 모두가 중요도가 높은 영상스트림을 요청하는 경우, 즉 영상 전송 과부하에 의한 프로세서(100B)의 성능을 초과한 경우, 전송모드 제어부(119)는 각 사용자 단말의 영상스트림 수신상태에 따라 복수의 사용자 단말들 중 적어도 하나의 사용자 단말에 대한 전송 모드를 제어할 수 있다. 전송 모드는 풀 프레임(Full Frame) 전송 모드, I 프레임(I-Frame) 전송 모드, I 프레임 스킵(Skipping I-Frame) 전송 모드를 포함할 수 있다.
카메라(100B)는 예를 들어, 사용자 단말과 RTP/RTSP 프로토콜로 영상스트림을 실시간 전송할 수 있다. 카메라(100B)의 SR(Sender Report) 패킷과 사용자 단말의 RR(Receiver Report) 패킷(도 6 참조)의 송수신에 의해 카메라(100B)와 사용자 단말은 패킷 손실(packet loss), 딜레이(delay) 및 지터 타임(jitter time) 등의 정보를 교환할 수 있다.
도 7을 참조하면, 전송모드 제어부(119)는 카메라(100B)가 SR 패킷을 사용자 단말로 전송한 제1시간(T1)부터 사용자 단말이 카메라(100B)로부터 SR 패킷을 수신한 제2시간(T2), 사용자 단말이 RR 패킷을 카메라(100B)로 전송한 제3시간(T3) 및 카메라(100B)가 사용자 단말로부터 RR 패킷을 수신한 제4시간(T4)까지의 왕복 시간(Round Trip Time, RTT)을 이용하여, 지터 타임을 계산할 수 있다.
전송모드 제어부(119)는 SR 패킷 및 RR 패킷으로부터 획득한 패킷 손실 및 지터 타임을 기초로 전송 지연이 발생하지 않고 패킷 손실이 없는 사용자 단말은 카메라(100B)와 근거리 네트워크로 연결되어 있고, 네트워크 전송이 보장된 중요 사용자 단말로 판단할 수 있다. 전송모드 제어부(119)는 중요 사용자 단말에 대한 전송 모드를 풀 프레임(Full Frame) 전송 모드로 설정하고, 카메라(100B)가 계속적으로 프레임 손실없이 요청 프로파일의 영상스트림을 전송할 수 있도록 제어할 수 있다.
전송모드 제어부(119)는 SR 패킷 및 RR 패킷으로부터 획득한 패킷 손실 및 지터 타임을 기초로 전송 지연 및/또는 패킷 손실이 발생한 경우, 해당 사용자 단말은 대한 전송 모드를 I 프레임(I-Frame) 전송 모드로 설정하고, I 프레임, P 프레임, B 프레임을 포함하는 GOP 단위의 영상에서 I-Frame만을 전송할 수 있도록 카메라(100B)를 제어할 수 있다.
전송모드 제어부(119)는 I 프레임(I-Frame) 전송 모드로 특정 사용자 단말의 전송 모드가 변경된 상태에서도 계속적으로 전송 과부하가 발생하는 경우 전송 모드를 I 프레임(I-Frame) 전송 모드에서 I 프레임 스킵(Skipping I-Frame) 전송 모드로 변경하고, 소정 간격으로 I-Frame을 전송하도록 카메라(100B)를 제어할 수 있다.
본 발명의 실시예는 카메라(100B)의 영상 전송을 위한 프로세서(105B)의 성능을 초과하는 영상스트림 요청이 있는 경우, 사용자 단말의 영상데이터 수신율을 파악하고, 수신율이 낮은 사용자 단말에 대한 전송 모드를 풀 프레임(Full Frame) 전송 모드로부터 I 프레임(I-Frame) 전송 모드, I 프레임 스킵(Skipping I-Frame) 전송 모드로 단계적으로 변경할 수 있다.
도 8은 도 5의 실시예에 따른 카메라의 프로파일 운영 및 영상 전송 방법을 개략적으로 설명하는 흐름도이다.
도 8을 참조하면, 카메라(100B)는 영상 전송 부하가 카메라(100B)의 전송 성능을 초과한 경우, 예를 들어, 복수의 사용자 단말들이 모두 우선순위가 높은 중요 프로파일의 영상스트림을 요청하는 경우, 사용자 단말들의 영상데이터 수신 상태 정보를 획득할 수 있다(S801).
카메라(100B)는 사용자 단말들의 영상데이터 수신 상태에 따라 각 사용자 단말의 전송 모드를 제어할 수 있다(S803). 카메라(100B)는 사용자 단말들의 영상데이터 수신 상태에 따라 각 사용자 단말로 전송되는 영상스트림의 프레임레이트를 제어할 수 있다
카메라(100B)는 전송 지연 및 패킷 손실이 없는, 즉 영상데이터 수신 상태가 좋은 사용자 단말에 대한 전송 모드를 풀 프레임(Full Frame) 전송 모드로 설정하고, 모든 프레임을 사용자 단말로 전송할 수 있다(S805).
카메라(100B)는 전송 지연 및 패킷 손실이 있는, 즉 영상데이터 수신 상태가 좋지 않은 사용자 단말에 대한 전송 모드를 I 프레임(I-Frame) 전송 모드로 설정하고, I 프레임을 사용자 단말로 전송할 수 있다(S807).
카메라(100B)는 특정 사용자 단말이 I 프레임(I-Frame) 전송 모드인 상태에서도 카메라(100B)의 전송 성능이 부족한 경우, 특정 사용자 단말의 전송 모드를 I프레임(I-Frame) 전송 모드로부터 I 프레임 스킵(Skipping I-Frame) 전송 모드로 변경하고, I 프레임을 소정 간격으로 사용자 단말로 전송할 수 있다(S809).
다른 예로서, 카메라(100B)는 영상데이터 수신 상태가 좋지 않은 사용자 단말에 대한 전송 모드를 즉시 I 프레임 스킵(Skipping I-Frame) 전송 모드로 변경하고, I 프레임을 소정 간격으로 사용자 단말로 전송할 수도 있다.
본 발명의 실시예들은 카메라가 생성해야 할 영상스트림의 프로파일 총 성능이 카메라(100)의 성능을 초과하는 경우, 일률적으로 모든 프로파일의 속성을 저하시키지 않고, 사용자의 설정에 의해 또는 수신 측의 단말 유형 및/또는 수신 상태에 따라 중요도가 상대적으로 높은 프로파일의 속성은 유지하고, 중요도가 낮은 프로파일의 속성을 변경할 수 있다. 이에 따라 카메라(100)는 자신의 성능 범위 내에서 영상스트림을 생성 및 전송할 수 있다.
본 발명에 따른 프로파일 운영 및 영상 전송 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.

Claims (6)

  1. 복수의 사용자 단말들 각각에 적어도 하나의 영상스트림을 제공하는 카메라의 프로파일 운영 방법에 있어서,
    상기 복수의 사용자 단말들로 제공되는 영상스트림들 각각의 프로파일에 대응하는 성능계수를 산출하는 단계;
    상기 영상스트림들 각각에 대한 성능계수를 기초로 상기 영상스트림들에 우선순위를 설정하는 단계; 및
    상기 복수의 사용자 단말들로 제공되는 영상스트림들의 성능계수들의 합이 상기 카메라의 최대 인코딩 성능을 나타내는 값을 초과하는 경우, 상기 영상스트림들에 설정된 우선순위에 따라 상기 복수의 사용자 단말들로 제공되는 영상스트림들 중 적어도 하나의 영상스트림의 프로파일을 변경하는 단계;를 포함하는 카메라의 프로파일 운영 방법.
  2. 제1항에 있어서,
    상기 사용자 단말들 각각의 영상스트림 수신 상태에 따라 상기 사용자 단말들 중 적어도 하나의 사용자 단말에 대한 전송 모드를 변경하는 단계;를 더 포함하는 카메라의 프로파일 운영 방법.
  3. 제1항에 있어서,
    상기 성능계수의 크기 순서로 상기 우선순위를 설정하는, 카메라의 프로파일 운영 방법.
  4. 삭제
  5. 삭제
  6. 삭제
KR1020170012046A 2017-01-25 2017-01-25 카메라 및 카메라의 프로파일 운영 방법 KR102586963B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170012046A KR102586963B1 (ko) 2017-01-25 2017-01-25 카메라 및 카메라의 프로파일 운영 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170012046A KR102586963B1 (ko) 2017-01-25 2017-01-25 카메라 및 카메라의 프로파일 운영 방법

Publications (2)

Publication Number Publication Date
KR20180087697A KR20180087697A (ko) 2018-08-02
KR102586963B1 true KR102586963B1 (ko) 2023-10-10

Family

ID=63251527

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170012046A KR102586963B1 (ko) 2017-01-25 2017-01-25 카메라 및 카메라의 프로파일 운영 방법

Country Status (1)

Country Link
KR (1) KR102586963B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230029122A (ko) * 2021-08-23 2023-03-03 삼성전자주식회사 영상 통화를 수행하는 동안 복수의 이미지 스트림을 전송하는 전자 장치 및 전자 장치의 동작 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015111289A1 (ja) * 2014-01-23 2015-07-30 ソニー株式会社 復号装置、復号方法、符号化装置及び符号化方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100973131B1 (ko) * 2003-12-29 2010-07-29 주식회사 케이티 영상 코덱 프로파일 교환에 의한 영상 전송 방법
KR20130031994A (ko) * 2011-09-22 2013-04-01 주식회사 케이티 촬영 장치로부터 획득된 영상의 영상 데이터를 제공하는 서버 및 방법, 그리고 영상 데이터를 재생하는 단말
KR20140115819A (ko) * 2013-03-22 2014-10-01 삼성테크윈 주식회사 선택적 영상 전송 시스템
KR101494537B1 (ko) 2013-07-22 2015-02-17 주식회사 에스원 영상 감시 시스템에서 모니터링 채널 결정 방법 및 장치
KR102050417B1 (ko) * 2013-09-25 2019-12-17 한화테크윈 주식회사 네트워크 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015111289A1 (ja) * 2014-01-23 2015-07-30 ソニー株式会社 復号装置、復号方法、符号化装置及び符号化方法

Also Published As

Publication number Publication date
KR20180087697A (ko) 2018-08-02

Similar Documents

Publication Publication Date Title
US11503307B2 (en) System and method for automatic encoder adjustment based on transport data
US8780199B2 (en) Networked security camera with local storage and continuous recording loop
US10567465B2 (en) Streaming video over a network
JP6169172B2 (ja) 仮想イントラフレームを使用してビデオコンテンツを符号化するためのシステムおよび方法
US8160129B2 (en) Image pickup apparatus and image distributing method
WO2011013349A1 (ja) 映像データ処理装置及び映像データ処理システム
US8254441B2 (en) Video streaming based upon wireless quality
JP4804378B2 (ja) 映像表示装置及び映像表示方法
US10659514B2 (en) System for video monitoring with adaptive bitrate to sustain image quality
US9930388B2 (en) Differential and distributive queuing of video frames
WO2012168842A1 (en) Provisioning network resources responsive to video requirements of user equipment nodes
US20150109436A1 (en) Smart Dual-View High-Definition Video Surveillance System
JP2007325109A (ja) 配信サーバ、ネットワークカメラ、配信方法及びプログラム
KR102050417B1 (ko) 네트워크 시스템 및 방법
JP7425012B2 (ja) パンチルトズームカメラを制御すること
US20140111611A1 (en) Method and system for encoding multi-view video content
Adeyemi-Ejeye et al. Impact of packet loss on 4K UHD video for portable devices
US9948903B2 (en) Method for configuration of video stream output from a digital video camera
KR102586963B1 (ko) 카메라 및 카메라의 프로파일 운영 방법
JP6466638B2 (ja) 動き変化量に応じて撮影動画像のフレームを間引く端末、システム、プログラム及び方法
JP4799191B2 (ja) 通信端末、通信システムおよび通信方法
CA2955979A1 (en) System and method for automatic encoder adjustment based on transport data
TWI381724B (zh) Image capture and transmission device and image receiving and reassembly device
KR20140072668A (ko) 네트워크 카메라 서버 및 그의 비디오 스트림 처리 방법
KR101291559B1 (ko) 실시간 다중 영상압축 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant