KR102680610B1 - 비디오 스트림을 전송하기 위한 방법 및 시스템 - Google Patents

비디오 스트림을 전송하기 위한 방법 및 시스템 Download PDF

Info

Publication number
KR102680610B1
KR102680610B1 KR1020220109671A KR20220109671A KR102680610B1 KR 102680610 B1 KR102680610 B1 KR 102680610B1 KR 1020220109671 A KR1020220109671 A KR 1020220109671A KR 20220109671 A KR20220109671 A KR 20220109671A KR 102680610 B1 KR102680610 B1 KR 102680610B1
Authority
KR
South Korea
Prior art keywords
view
video stream
sensor data
sensors
dominant
Prior art date
Application number
KR1020220109671A
Other languages
English (en)
Other versions
KR20230057946A (ko
Inventor
머스탬 미카엘
위안 송
Original Assignee
엑시스 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엑시스 에이비 filed Critical 엑시스 에이비
Publication of KR20230057946A publication Critical patent/KR20230057946A/ko
Application granted granted Critical
Publication of KR102680610B1 publication Critical patent/KR102680610B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 메인부 및 복수의 센서들을 포함하는 시스템으로부터 비디오 스트림을 제공하는 방법에 관한 것으로서, 상기 메인부는 상기 복수의 센서들로부터 데이터를 수신하도록 구성되며, 상기 방법은, 상기 메인부에서 클라이언트로 멀티-뷰 비디오 스트림을 전송-상기 멀티-뷰 비디오 스트림은 상기 시스템 내에서 상기 복수의 센서들로부터 센서 데이터 뷰들로 구성된 멀티-뷰를 나타냄-하는 과정; 상기 메인부에서 줌-인 동작을 나타내는 명령을 상기 클라이언트로부터 수신하는 과정; 상기 수신된 명령에 따라 업데이트된 멀티-뷰를 계산하는 과정; 상기 업데이트된 멀티-뷰가 미리 결정된 임계값 보다 큰 상기 업데이트된 멀티-뷰에서 우세한 센서 데이터 뷰 외부의 영역을 포함하는지 평가하는 과정; 상기 우세 센서 데이터 뷰 외부의 영역이 상기 미리 결정된 임계값 보다 크면, 상기 업데이트된 멀티-뷰를 나타내는 멀티-뷰 비디오 스트림을 전송하는 과정; 상기 우세 센서 데이터 뷰 외부의 영역이 상기 미리 결정된 임계값 보다 이하이면, 상기 우세 센서 데이터 뷰를 나타내는 단일-뷰 비디오 스트림을 전송하는 과정을 포함한다. 본 발명은 또한 센서 데이터 뷰들을 포함하는 비디오 스트림을 제공하기 위한 시스템에 관한 것이다.

Description

비디오 스트림을 전송하기 위한 방법 및 시스템{METHOD AND SYSTEM FOR TRANSMITTING A VIDEO STREAM}
본 개시는 센서 데이터 뷰들을 포함하는 비디오 스트림을 제공하기 위한 컴퓨터 구현 방법 및 시스템에 관한 것이다. 더 구체적으로, 본 개시는 센서 데이터 뷰들의 다중-뷰 및 단일-뷰에 기초한 비디오 스트림의 처리에 관한 것이다. 동일한 목적을 위한 컴퓨터 프로그램도 개시되어 있다.
실시간 비디오 감시 시스템은 다양한 응용 분야들에서 점차 인기를 얻고 있다. 다-방향 및 다-채널 카메라에서 카메라는 각 개별 센서/채널에서 스트림을 생성한다. 카메라는 모든 센서들/채널들을 하나의 비디오 스트림으로 결합하는 소위 다중-뷰 스트림을 출력하도록 설정될 수도 있다. 센서들은 단일 카메라 장치 또는 서로 연결된 여러 카메라 장치에 위치할 수 있다.
감시 시스템은 이미지, 비디오 또는 기타 콘텐트를 획득하는 에지 측과 '뷰들(views)' 형태의 시각적 콘텐트를 사용자에게 제공하는 클라이언트 측을 포함한다고 말할 수 있다. '뷰(view)'는 시각 정보를 제시하기 위한 출력 장치 상의 시각 콘텐트의 구성이라고 볼 수 있다. 이 용어는 비디오 콘텐트에 자주 사용된다. 예를 들어 쿼드 뷰(quad view)는 4개의 비디오 소스들로 구성된 뷰이다.
비디오 시스템의 클라이언트 측의 다중-뷰는 두 가지 방법으로 달성할 수 있다. 클라이언트 측에서 다중-뷰를 제공하는 첫 번째 방법은 에지 측에서 다중-뷰 스트림을 구성하여 하나 즉, 단일 스트림을 클라이언트로 전송하는 것이다. 클라이언트 측에서 다중-뷰를 제공하는 두 번째 방법은 에지 측에서 별도의, 즉 다중 스트림들을 전송하고 클라이언트 측에서 다중-뷰를 구성하는 것이다. 본 개시는 클라이언트 측, 즉 하나의 스트림을 전송하는 다중-뷰를 제공하는 첫 번째 방법에 관한 것이다.
다양한 유형의 다중 뷰 레이아웃들이 존재한다. 하나는 예를 들어 정사각형을 형성하는 4개의 뷰가 있는 쿼드 뷰로서 뷰들을 나란히 정렬하는 것이다. 또 다른 유형은 뷰가 서로 겹치도록 배열되는 소위 픽처-인-픽처(Picture-In-Picture, PIP)이다. 예를 들어, 한 뷰의 이미지 부분이 동일한 장면 부분을 보여주는 다른 카메라의 비디오로 대체될 수 있다. 다른 변형들에서, 오버레이 비디오는 장면의 개요를 보여줄 수 있는 반면, 보조 뷰는 장면의 확대된 뷰를 보여줄 수 있다. 다중-뷰의 또 다른 형식은 센서 데이터 표현을 비디오 내부 또는 비디오 측면에 추가하는 것이다. 센서 데이터는 입구를 통과하는 사람을 카운팅하는 센서와 같이 이미지 센서가 아닌 다른 유형의 센서에 의해 캡처될 수 있다.
PTZ(Pan Tilt Zoom) 카메라는 방향 및 줌 제어가 가능한 카메라이다. PTZ 카메라는 광학 줌과 모터들을 사용하여 카메라의 조준과 줌을 물리적으로 조정한다. 디지털 PTZ 카메라에서 틸트(tilt), 팬(pan) 및 줌(zoom) 동작들은 기계 부품의 움직임이 포함되지 않는다. 대신 틸팅(tilting), 패닝(panning) 및 확대(zooming)는 카메라의 뷰잉 영역 내에서 전자적으로 탐색하고 크기를 조정하여 수행된다.
다중-뷰 구성을 지원하는 기존 시스템은 다중-뷰에서 PTZ 동작을 제공하지 않는다. 제공되는 범위 내에서, 예를 들어 다중-뷰 영상의 하위 구간을 디지털 스케일링하여 여러 뷰들로 구성된 다중-뷰를 처리하는 것이 문제이다. 따라서 다중-뷰 스트림의 뷰들과 그 해상도를 보다 효율적으로 처리할 수 있는 시스템이 필요하다.
본 개시의 일 목적은 다중-뷰 비디오 스트리밍 및 줌의 맥락에서 향상된 비디오 품질 및 원활한 사용자 경험을 제공하는 비디오 스트림을 제공하는 방법 및 시스템을 제공하는 것이다.
본 개시의 제1 양태는 메인 유닛 및 복수의 센서들을 포함하는 시스템으로부터 비디오 스트림을 제공하는 방법에 관한 것으로, 상기 메인 유닛은 상기 복수의 센서들로부터 데이터를 수신하도록 구성되며, 이 방법은:
상기 메인 유닛에서 클라이언트로 다중-뷰 비디오 스트림을 전송하는 단계- 상기 다중-뷰 비디오 스트림은 상기 시스템 내의 상기 복수의 센서들로부터 센서 데이터 뷰들로 구성된 다중-뷰를 나타냄-;
상기 메인 유닛이, 상기 클라이언트로부터 줌인 동작을 나타내는 명령을 수신하는 단계;
상기 수신된 명령에 따라 업데이트된 다중-뷰를 계산하는 단계;
상기 업데이트된 다중-뷰가 미리 결정된 임계값보다 큰 업데이트된 다중-뷰에서 우위 센서 데이터 뷰(dominating sensor data view)의 외부 영역을 포함하는지를 평가하는 단계;
상기 우위 센서 데이터 뷰의 외부 영역이 상기 미리 결정된 임계값보다 크면, 상기 업데이트된 다중-뷰를 나타내는 다중-뷰 비디오 스트림을 전송하는 단계;
상기 우위 센서 데이터 뷰의 외부 영역이 상기 미리 결정된 임계값보다 작거나 같으면, 상기 우위 센서 데이터 뷰를 나타내는 단일-뷰 비디오 스트림을 전송하는 단계를 포함한다.
따라서 클라이언트는 항상 단일-뷰 비디오 스트림 또는 다중-뷰 비디오 스트림인 하나의 스트림을 수신한다. 예를 들어, 웹 브라우저, 비디오 관리 시스템(video management system, VMS), 휴대폰의 애플리케이션 또는 임의의 다른 적절한 사용자 인터페이스일 수 있는 클라이언트는 비디오 스트림을 수신한다. 클라이언트는 예를 들어, VAPIX와 같은 http 기반 API와 같은 API(Application Programming Interface)를 통해 메인 유닛에 명령들을 전송하여 메인 유닛의 팬, 틸트 및 줌 기능 등을 제어할 수 있다. 결과적으로 메인 유닛은 줌인 동작과 관련된 동작을 제어하기 위해 클라이언트로부터 API(Application Programming Interface) 명령들을 수신하도록 구성될 수 있다. 메인 유닛은 예를 들어 이미지 센서들 형태의 다수의 센서들을 갖는 카메라를 포함할 수 있다. 그러한 시스템의 실시예의 예가 도 1에 도시되어 있다. 클라이언트 관점에서 볼 때 메인 유닛에서 클라이언트로의 연속 스트림이 있다. 클라이언트는 단일-뷰 비디오 스트림 또는 다중-뷰 비디오 스트림인 하나의 스트림을 수신한다. 다중-뷰 비디오 스트림 전송에서 단일 뷰 비디오 스트림 전송으로의 전환은 클라이언트에게 원활한 경험이다.
메인 유닛은 마스터 유닛일 수 있다. 그러면 복수의 센서들은 슬레이브 유닛들 또는 슬레이브 유닛들의 일부로 간주될 수 있다. 메인 유닛 및 복수의 슬레이브 유닛들을 갖는 시스템으로부터 비디오 스트림을 제공하는 현재 개시된 방법의 하나의 이점은 우위 센서 데이터 뷰를 나타내는 단일-뷰 비디오 스트림 전송으로 전환하기 위한 조건이 있을 때, 메인 유닛에 대한 클라이언트는 우위 센서 데이터 뷰가 발생한 슬레이브 유닛으로 전달될 수 있다. 이는 명령들이 슬레이브 장치를 직접 제어함을 의미한다.
본 개시는 클라이언트로부터 줌 동작들의 핸들링에 관한 것이다. 시작점은 메인 유닛이 다중-뷰 비디오 스트림을 메인 유닛에서 클라이언트로 전송하는 것이다. 다중-뷰 비디오 스트림은 시스템 내 복수의 센서들로부터의 센서 데이터 뷰로 구성된 다중-뷰, 예를 들어 쿼드 뷰 또는 PiP(Picture-in-Picture) 뷰를 나타낸다. 메인 유닛이 클라이언트로부터 줌 인 명령을 나타내는 명령을 수신하면, 프로세서는 명령을 기반으로 업데이트된 다중-뷰를 연산한다. 센서 데이터 뷰들 중 하나는 이제 업데이트된 다중-뷰에서 원래 센서 데이터 뷰의 가장 큰 영역을 차지한다는 점에서 '우위(dominating)' 센서 데이터 뷰가 될 수 있다. 다음 단계는 우위 센서 데이터 뷰의 외부에 영역이 있는지 여부를 평가하고, 있는 경우 해당 영역이 미리 결정된 임계값보다 큰지 여부를 평가하는 것이다. 우위 센서 데이터 뷰 외부 영역이 미리 결정된 임계값보다 작거나 같으면, 메인 유닛은 클라이언트에게 우위 센서 데이터 뷰를 나타내는 단일 뷰 비디오 스트림을 전송하도록 전환한다. 단일-뷰 비디오 스트림은 단일 센서의 비디오 또는 데이터 표현을 보여준다. 사용자와 클라이언트의 관점에서, 다중-뷰 비디오 스트림 전송에서 단일 뷰 비디오 스트림 전송으로의 전환은 원활하다. 단일-뷰 비디오 스트림은 일반적으로 다중-뷰 비디오 스트림보다 더 높은 해상도를 가질 수 있다.
바람직하게는, 다중-뷰 비디오 스트림은 시스템의 다중 센서들로부터의 데이터 뷰들을 포함하는 단일 비디오 스트림이다. 즉, 다중-뷰는 압축된 데이터 스트림들의 집계된 뷰일 수 있는 반면, 단일 뷰 비디오 스트림은 단일 센서의 비디오 또는 데이터 표현을 보여주는 단일 센서 스트림이다. 센서로부터의 비디오 스트림과 클라이언트로의 스트림은 프로세서에서 제어될 수 있다.
본 개시는 또한 다음을 포함하는 시스템에 관한 것이며, 상기 시스템은:
클라이언트와 연결되는 메인 유닛;
복수의 센서들;
프로세서를 포함하며,
상기 프로세서는,
상기 메인 유닛에서 클라이언트로 다중-뷰 비디오 스트림을 전송하고-상기 다중-뷰 비디오 스트림은 상기 시스템 내의 상기 복수의 센서들로부터의 센서 데이터 뷰들로 구성된 다중-뷰를 나타냄-,
줌-인 동작을 나타내는 상기 클라이언트로부터 수신된 명령에 기초하여, 상기 수신된 명령에 따라 업데이트된 다중-뷰를 계산하고;
상기 업데이트된 다중-뷰가 미리 결정된 임계값보다 큰 업데이트된 다중-뷰에서 우위 센서 데이터 뷰의 외부 영역을 포함하는지 평가하고;
상기 우위 센서 데이터 뷰의 외부 영역이 상기 미리 결정된 임계값보다 큰 경우, 상기 업데이트된 다중-뷰를 나타내는 다중-뷰 비디오 스트림을 전송하고;
상기 우위 센서 데이터 뷰의 외부 영역이 상기 미리 결정된 임계값보다 작으면 상기 우위 센서 데이터 뷰를 나타내는 단일-뷰 비디오 스트림을 전송한다.
본 개시는 또한 컴퓨팅 장치 또는 컴퓨팅 시스템에 의해 실행될 때 컴퓨팅 장치 또는 컴퓨팅 시스템이 비디오 스트림을 제공하는 현재 개시된 방법의 임의의 실시 예를 수행하게 하는 명령어들을 갖는 컴퓨터 프로그램에 관한 것이다. 본 개시에서 컴퓨터 프로그램은 광범위하게 해석되어야 하며 예를 들어 PC에서 실행되는 컴퓨터 프로그램 또는 감시 시스템 또는 센서를 포함하는 시스템의 일부로 실행되도록 조정된 컴퓨터를 포함한다.
본 개시의 이러한 측면 및 다른 측면은 본 발명의 하기 상세한 설명에서 설명된다.
본 발명은 센서 데이터 뷰들을 포함하는 비디오 스트림을 제공하기 위한 현재 개시된 방법 및 시스템을 예시하고 제한하지 않는 첨부 도면을 참조하여 다음에서 설명될 것이다.
도 1은 센서 데이터 뷰들을 포함하는 비디오 스트림을 제공하기 위한 현재 개시된 시스템의 실시예의 개략도를 도시한다.
도 2a-d는 다중/단일-뷰 및 줌 동작들의 다수의 예시적인 뷰를 도시한다.
도 3a-c는 센서 데이터 뷰들을 포함하는 비디오 스트림을 제공하기 위해 현재 개시된 방법에 대한 다수의 사용 사례를 도시한다.
도 4는 센서 데이터 뷰들을 포함하는 비디오 스트림을 제공하기 위해 현재 개시된 방법의 일 실시예의 흐름도를 도시한다.
도 5는 센서 데이터 뷰들을 포함하는 비디오 스트림을 제공하기 위한 방법의 실시예의 흐름도를 도시하며, 이 방법은 줌-아웃 동작의 처리를 포함한다.
본 개시는 메인 유닛 및 복수의 센서들을 포함하는 시스템으로부터 비디오 스트림을 제공하는 방법에 관한 것이다. 이 방법은 메인 유닛에서 클라이언트로 다중-뷰 비디오 스트림을 전송하는 제1 단계를 포함하며, 여기서 다중-뷰 비디오 스트림은 상기 시스템의 복수의 센서들로부터의 센서 데이터 뷰로 구성된 다중-뷰를 나타낸다. 비디오 스트림은 일련의 이미지 프레임으로 볼 수 있다. 그러나 다중-뷰 비디오 스트림의 모든 뷰들이 반드시 움직이는 시각 매체나 비디오일 필요는 없다. 하나 또는 여러 개의 뷰들은 사람 계수기 데이터와 같은 다른 센서 데이터, 또는 다중-뷰 비디오 스트림과 관련된 다른 정보를 포함할 수 있다.
이 방법은 클라이언트로부터 줌-인 동작을 나타내는 명령을 메인 유닛에서 수신하는 단계를 더 포함한다. 상기 명령은, 예를 들어 조이스틱과 같은 입력 장치의 움직임에 응답하여 전송될 수 있다. 그런 다음 이 방법은 수신된 명령에 따라 업데이트된 다중-뷰를 추출하거나 계산한다. 줌-인 동작은 팬 및/또는 틸트 동작을 포함할 수 있는 줌-인 시나리오를 포함하도록 광범위하게 해석되어야 한다. 예를 들어, 사용자/클라이언트가 뷰의 주변 영역을 확대하고자 하는 경우, 줌-인 동작은 해당 카메라에서 실행되는 팬 및/또는 틸트 동작과 조합되어 업데이트된 다중-뷰를 획득할 수 있다. 뷰의 '주변' 영역은 상기 뷰의 외부 섹션을 의미할 수 있으며 부분적으로 뷰의 외부에 있을 수도 있다.
줌-인 동작은 클라이언트로부터 VAPIX 명령과 같은 명령에 기반한다. 몇 가지 유형의 줌 명령이 있다. 줌 명령의 첫 번째 유형에 따르면 줌은 뷰의 중심점을 유지하고 줌 레벨을 적용한다. 이는 VAPIX에서 '줌'이라는 명령에 해당할 수 있다. VAPIX에서 '영역 줌(area zoom)'이라고 하는 두 번째 줌 유형에서는 줌이 수행되지만, 중심점(x,y)은 변경된다. 또한 VAPIX에는 더 점진적으로 줌인/줌아웃 할 수 있도록 더 연속적인 줌인/줌아웃을 명시적으로 요청하는 추가 줌인/줌아웃 명령 '연속적인 줌 움직임(continuous zoom move)'도 있다. 줌인/줌아웃 레벨은 상대 값 또는 절대 값으로 표현할 수 있다.
업데이트된 다중-뷰가 계산되면, 업데이트된 다중-뷰가 미리 결정된 임계값보다 큰 업데이트된 다중-뷰에서 우위 센서 데이터 뷰의 외부 영역을 포함하는지 여부가 평가된다. 당업자는 그러한 평가를 구현하는 데 필요한 기술과 도구를 가지고 있을 것이다. 그는 업데이트된 다중-뷰에서 다양한 뷰들에 대한 정보를 가지고 있으며 잘 알려진 이미지 처리 기술로 뷰의 크기를 계산할 수 있다. 그러면 업데이트된 다중-뷰에서 센서 데이터 뷰들의 영역 크기들을 서로 비교할 수 있다. 업데이트된 다중-뷰에서 가장 큰 영역을 차지하는 센서 데이터 뷰가 우위 센서 데이터 뷰라고 할 수 있다.
이 방법은 우위 센서 데이터 뷰의 외부 영역이 미리 결정된 임계값보다 작거나 같으면, 다중-뷰 비디오 스트림을 우위 센서 데이터 뷰의 단일-뷰 비디오 스트림으로 변경하는 단계를 더 포함한다. 미리 결정된 임계값은 우위 센서 데이터 뷰가 실질적으로 전체 업데이트된 다중-뷰 또는 적어도 전체 업데이트된 다중-뷰의 주요 부분을 차지할 때, 시스템이 단일-뷰 비디오 스트림을 다중-뷰 비디오 스트림 대신 클라이언트로 전송하도록 스위칭하도록 선택된다. 상기 임계값은 0으로 설정될 수 있으며, 이는 우위 센서 데이터 뷰가 전체 업데이트된 다중-뷰를 차지하는 경우에만 상기 시스템이 다중-뷰 비디오 스트림에서 단일-뷰 비디오 스트림으로 전환함을 의미한다. 바람직하게는, 메인 유닛에서 클라이언트로 전송되는 비디오 스트림은 두 뷰들에 대해 동일한 포맷으로 코딩된다. 따라서, 이 실시 예에 따르면, 비디오 포맷은 클라이언트로 전송되는 모든 비디오 스트림들에 대해 동일하며, 따라서 클라이언트는 현재 개시된 방법 및 시스템에 따르기 위해 적응되거나 업데이트될 필요가 없다. 클라이언트는 항상 하나의 비디오 스트림을 수신한다. 상기 방법은 실질적으로 실시간으로 수행될 수 있다.
도 4는 센서 데이터 뷰들을 포함하는 비디오 스트림을 제공하기 위해 현재 개시된 방법의 일 실시예의 흐름도를 도시한다. 이 방법은 메인 유닛에서 클라이언트로 다중-뷰 비디오 스트림을 전송하는 단계(301); 클라이언트로부터 줌-인 동작을 나타내는 명령을 수신하는 단계(302); 업데이트된 다중-뷰를 계산하는 단계(303); 업데이트된 다중-뷰가 미리 결정된 임계값보다 큰 업데이트된 다중-뷰에서 우위 센서 데이터 뷰의 외부 영역을 포함하는지를 평가하는 단계(304); 우위 센서 데이터 뷰의 외부 영역이 미리 결정된 임계값보다 큰지 여부를 검사하는 단계(305); 임계값보다 크다면, 업데이트된 다중-뷰를 나타내는 다중-뷰 비디오 스트림을 전송하는 단계(306); 임계값보다 크지않다면, 우위 센서 데이터 뷰를 나타내는 단일-뷰 비디오 스트림을 전송하는 단계(307)를 포함한다.
도 2A-D는 줌 동작 과정 동안 다중/단일-뷰의 여러 예시적인 뷰를 보여준다. 도 2A-2B-2C-2D에 따른 전환 및 줌 동작은 줌 동작의 예를 도시한다. 도 2a에서 클라이언트는 시스템의 복수의 센서들로부터의 센서 데이터 뷰들(202)를 포함하는 다중-뷰 비디오 스트림(201)을 제공받는다. 따라서 다중-뷰 비디오 스트림(201)은 다중 뷰들의 구성을 포함하는 단일 비디오 스트림이다. 메인 유닛이 클라이언트로부터 줌-인 명령을 수신하면, 프로세서는 클라이언트로부터 수신된 명령을 기반으로 업데이트된 다중-뷰를 계산한다. 이와 같이 업데이트된 다중-뷰(205)는 도 2B에 도시되어 있다. 업데이트된 다중-뷰에서 우위 센서 데이터 뷰(도 2B의 우측 상단 뷰(202´))는 업데이트된 다중-뷰(205)의 많은 부분을 차지하지 못하므로 - 우위 센서 데이터 뷰(202')의 외부 영역(203)은 미리 결정된 임계값보다 큼 -, 메인 유닛은 업데이트된 다중-뷰(205)를 나타내는 다중-뷰 비디오 스트림(201)을 전송한다. 이 업데이트된 다중 뷰(205)는 우위 센서 데이터 뷰(202')와 다른 센서 데이터 뷰들(202'')의 일부를 포함한다. 도 2B의 구성에서 VMS 또는 유사할 수 있는 클라이언트는 계속해서 메인 유닛으로 명령을 전송함으로써 도 2C의 구성으로 확대된다. 메인 유닛은 다중-뷰 비디오 스트림(201)을 센서 데이터 뷰(202)를 포함하는 또 다른 업데이트된 다중-뷰(205)로 업데이트하는데, 이는 여전히 우위(즉, 지배적인) 뷰이지만, 단일-뷰 비디오 스트림으로 전환하기 위해 전체 업데이트된 다중-뷰)205)의 충분히 큰 부분을 차지하지는 않는다. 메인 유닛에서 클라이언트로 연속적인 스트림이 있다는 점에 유의해야 한다. 도 2C에서 추가 줌-인 명령이 수신되면, 시스템은 도 2D의 센서 데이터 뷰(202)로 줌 인한다. 이제 센서 데이터 뷰(202)가 업데이트된 다중-뷰(205) 전체를 차지하기 때문에, 메인 유닛은 다중-뷰 비디오 스트림 대신 단일-뷰 비디오 스트림(204)을 전송하도록 구성된다. 단일-뷰 비디오 스트림(204)은 우위 센서 데이터 뷰(202)를 나타내며, 이는 도 2D의 업데이트된 다중-뷰(205)의 유일한 뷰이다. 따라서 사용자와 클라이언트 관점에서 전환이 원활한다. 단일-뷰 비디오 스트림이 움직이는 비주얼 미디어 또는 비디오를 포함하는 경우, 단일-뷰 비디오 스트림은 센서 데이터 뷰(202) 또는 그 확대 버전 중 하나에 대한 다중-뷰 비디오 스트림보다 더 높은 해상도를 제공할 수 있다. 도 2D의 구성에서, 시스템은 예를 들어 센서 데이터 뷰(202)가 단일-뷰 비디오 스트림(204)에서 전체 크기로 표시될 때, 메인 유닛이 줌-아웃 명령을 수신하는 경우, 다중-뷰 비디오 스트림으로 돌아갈 수 있다. 전환되는 다중-뷰 스트림은 미리 정의된 형식(예: 쿼드 뷰)일 수 있다.
본 개시에서 다중-뷰 비디오 스트림은 시각적 미디어의 형태에서 복수의 센서들로부터의 센서 데이터 뷰들을 포함하는 단일 비디오 스트림으로 정의될 수 있다. 가장 일반적인 시각 매체는 비디오라고도 하는 일련의 이미지 또는 이미지 센서들로부터의 정지 이미지들이다. 센서 데이터 뷰들 중 적어도 하나는 이미지 캡처링 유닛으로부터의 비디오 뷰일 수 있다. 예를 들어 감시를 위한 비디오 관리 시스템에서는, 여러 뷰를 나란히 예를 들면, 쿼드 뷰 구성 또는 기타 적절한 구성(3x3, 4x4, MxN 등)으로 표시하는 것이 매우 일반적이다. 쿼드 뷰 구성의 예가 도 3A에 나와 있다. 4개의 센서 데이터 뷰들(202)(비디오 1, 비디오 2, 비디오 3 및 비디오 4)이 다중-뷰 비디오 스트림(201)에 나란히 표시된다. 단일-뷰 비디오 스트림으로 전환하기 위한 기준을 충족하는 비디오 2에 대한 줌-인 동작이 발생하면, 이는 시스템이 우위 센서 데이터 뷰(202), 이 경우 비디오 2를 나타내는 단일-뷰 비디오 스트림(204)을 전송하게 한다. 다중-뷰의 또 다른 예는 하나 또는 여러 개의 센서 데이터 뷰(들)가/이 다른 센서 데이터 뷰와 겹치는 삽입 윈도우에 표시되는 PIP(picture-in-picture) 기능이다. 이러한 윈도우들은 다른 센서 데이터 뷰들의 안/위 어디에나 배치될 수 있다. 그러한 구성의 일례는 중첩 뷰 또는 윈도우가 비디오 형태의 센서 데이터 뷰를 포함하는 뷰이다. 보다 구체적으로, 하나의 예에 따르면, 건물 외부를 보여주는 하나 또는 여러 개의 뷰가 있을 수 있다. 그러면 삽입된 윈도우는 건물 내부에 위치한 카메라 장치에 의해 캡처된 건물 내부의 뷰를 표시할 수 있다. 클라이언트가 건물 내부를 보여주는 뷰에 줌-인 명령을 보내면, 건물 내부의 단일-뷰 비디오 스트림이 전송된다. 도 3B 및 3C는 PIP(Picture-In-Picture) 구성의 예를 보여준다. 도 3B에서, 제2 센서 데이터 뷰(202''')(비디오 2)는 다중-뷰 비디오 스트림(201)에서 제1 센서 데이터 뷰(202)(비디오 1)의 상단에 배치된다. 제2 센서 데이터 뷰(202''')(비디오 2)는 제2 센서 데이터 뷰(202''') 뒤에 있는 제1 센서 데이터 뷰(202)의 일부(비디오 1)의 뷰를 부분적으로 차단하도록 구성될 수 있다. 대안적으로, 제2 센서 데이터 뷰(202''')는 적어도 부분적으로 투명할 수 있다. 도 3C에서, 제2 센서 데이터 뷰(202''')(센서 데이터)는 다중-뷰 비디오 스트림(201)에서 제1 센서 데이터 뷰(202)(비디오)의 상단에 배치된다. 현재 개시된 비디오 스트림 제공 방법은 도 3B 및 도 3C의 구성에 적용될 수 있다. 도 3B에서, 단일-뷰 비디오 스트림으로 전환하기 위한 기준을 충족하는 비디오 2에 대한 줌-인 동작은, 시스템으로 하여금 우위 센서 데이터 뷰(202'), 이 경우 비디오 2를 나타내는 단일-뷰 비디오 스트림(204)을 전송하게 한다. 도 3C에서 단일-뷰 비디오 스트림으로 전환하기 위한 기준을 충족하는 센서 데이터(202''')에 대한 줌-인 동작은, 시스템으로 하여금 우위 센서 데이터, 이 경우 상세 센서 데이터(202''')인 뷰(202')를 나타내는 단일-뷰 비디오 스트림(204)을 전송하게 한다.
다른 가능한 구성은 다중-뷰가 시스템 내의 여러 센서로부터의 센서 데이터 뷰들로 구성된 스티치 뷰(stitched view)인 구성이다. 이미지 스티칭 또는 사진 스티칭은 분할된 파노라마 또는 고해상도 이미지를 생성하기 위해 겹치거나 인접한 시야를 갖는 여러 이미지를 결합하는 과정이다.
유닛들 및 센서들의 여러 가능한 구성은 센서 데이터 뷰들을 포함하는 비디오 스트림을 제공하기 위한 현재 개시된 방법 및 시스템 내에서 가능하다. 센서 데이터 뷰들은 이미지, 비디오 스트림, 레이더 이미지 스트림, 또는 사람 계수기(people counter) 데이터의 표시 가능한 표현, 또는 이들의 조합을 포함할 수 있다. 카메라는 시각적 이미지를 캡처하는 광학 기기이다. 스틸 이미지들 또는 일련의 이미지들을 캡처할 수 있다. 카메라는 하나 또는 여러 개의 센서들을 포함할 수 있는 장치이다. PTZ 카메라는 원격 방향 및 줌 제어가 가능한 카메라이다. PTZ 카메라에는 일반적으로 하나의 이미지 센서만 포함된다. 다른 유형의 카메라로는 ePTZ 또는 VPTZ(가상 팬-틸트-줌)가 있다. 여기서 고해상도 카메라는 물리적인 카메라 움직임 없이 이미지의 일부를 디지털 방식으로 줌인/줌아웃 및 이동한다. 현재 개시된 방법 및 시스템은 특정 유형의 카메라들 또는 센서들에 제한되지 않는다. 복수의 센서들은 서로 다른 카메라의 센서일 수도 있지만 하나의 카메라에 있는 센서일 수도 있다. 다른 유형의 센서들의 조합도 가능하다. 예를 들어, 메인 유닛은 PTZ 카메라와 결합된 서로 다른 방향을 가리키는 여러 개의 고정 이미지 센서들이 있을 수 있다. 따라서, 일 실시 예에서, 다중-뷰는 하나 이상의 고정 카메라 뷰들 및 팬-틸트-줌(PTZ) 카메라로부터의 센서 데이터 뷰들을 포함한다. 복수의 센서들은 메인 유닛의 일부를 형성하거나, 외부 센서, 또는 이들의 조합일 수 있다.
현재 개시된 방법의 일 실시 예에서, 다중-뷰는 제1 센서로부터의 배경 비디오 스트림 및 제2 센서로부터의 적어도 하나의 중첩된 비디오를 포함한다. 제1 센서로부터의 배경 비디오 스트림은 제1 카메라로부터 유래될 수 있는 반면, 제2 센서로부터의 적어도 하나의 중첩된 비디오 스트림은 제2 카메라로부터 유래된다. 스트림들 중 하나는 레이더 또는 레이더 시스템의 레이더 뷰일 수 있다.
다중-뷰 비디오 스트림은 시스템 내의 여러 센서들에서 데이터 뷰들로 구성된 단일 비디오 스트림이다. 즉, 다중-뷰는 압축된 데이터 스트림들의 집계된 스트림일 수 있는 반면, 단일-뷰 비디오 스트림은 단일 센서의 비디오 또는 데이터 표현을 보여주는 단일 센서 스트림이다. 메인 유닛은 H.265의 비디오 압축 표준을 사용하여 다중-뷰 비디오 스트림을 전송하도록 구성될 수 있다. H.265는 AVC(Advanced Video Coding)(H.264)의 후속 제품인 MPEG-H 프로젝트의 일부로 설계된 비디오 압축 표준인 HEVC(High Efficiency Video Coding)로도 알려져 있다. H.265의 비디오 압축 표준을 사용하는 경우, 메인 유닛은 복수의 센서들로부터 인코딩된 스트림을 수신하고 이를 통합하도록 구성될 수 있다. 또는 메인 유닛은 H.264의 비디오 압축 표준을 사용하여 다중-뷰 비디오 스트림을 전송하도록 구성될 수 있다.
전술한 바와 같이, 복수의 센서들 중 적어도 하나는 모니터링 센서와 같은 비-이미지 센서, 또는 현존(presence), 사람 또는 객체의 수, 온도, 습도, 오염, 화재에 관련된 데이터와 같은 환경 데이터를 제공하도록 구성된 센서 시스템, 또는 환경 데이터를 제공하도록 구성된 생화학 센서 또는 센서 시스템일 수 있다. 당업자에 의해 인식되는 바와 같이, 카메라들은 인원 계수기로 사용될 수 있다. 예를 들어, 카메라 기반 애플리케이션은 사이트를 통과하는 사람의 수와 이동 방향에 대한 정보를 제공할 수 있다. 또한 추세, 피크 및 기타 유용한 정보를 제공할 수 있다. 본 개시의 방법의 일 실시 예에서, 우위 뷰가 비-이미지 센서의 뷰이고, 우위 센서 데이터 뷰의 외부 영역이 미리 결정된 임계값 보다 작거나 또는 같은 경우, 줌-인 동작이 수신될 때, 비-이미지 센서의 환경 데이터의 보다 상세한 뷰를 포함하는 단일-뷰 비디오 스트림이 전송된다. 즉, 복수의 센서들 중 하나가 사람 계수기와 같은 비-이미지 센서인 경우, 확대되기 전의 다중-뷰 비디오 스트림은 사람 계수기와 관련된 고급 정보를 포함할 수 있다. 줌-인이 발생하고 시스템이 단일-뷰 비디오 스트림으로 전환되면, 사람 계수기의 더 자세한 정보가 포함된 더 자세한 뷰가 전송된다.
또한, 본 개시의 방법에 따라 시스템이 단일-뷰 비디오 스트림으로 전환되었을 때, 단일-뷰 비디오 스트림이 비-이미지 센서로부터의 뷰를 포함하는 경우, 상기 시스템은 클라이언트가 팬/틸트/줌 명령들을 포함하는 VAPIX와 같은 동일한 명령을 계속 사용할 수 있도록 바람직하게 구성된다. 비-이미지 센서로부터의 데이터의 단일-뷰 비디오 스트림에서, 이것은 예를 들어, 추가 줌-인이 훨씬 더 자세한 데이터를 제공한다는 것 및/또는 팬 또는 틸트가 데이터에 대한 시간 윈도우 또는 다른 매개변수를 업데이트한다는 것을 암시할 수 있다.
비디오 스트림을 제공하는 본 개시의 방법은 다중-뷰 비디오 스트림 또는 단일-뷰 비디오 스트림을 디스플레이에 표시하는 단계를 더 포함할 수 있다.
본 개시는 또한 다음을 포함하는 시스템에 관한 것이며, 상기 시스템은:
클라이언트와 연결되는 메인 유닛;
복수의 센서들;
프로세서를 포함하며,
상기 프로세서는:
상기 메인 유닛에서 클라이언트로 다중-뷰 비디오 스트림을 전송하고-상기 다중-뷰 비디오 스트림은 상기 시스템 내의 상기 복수의 센서들로부터의 센서 데이터 뷰들로 구성된 다중-뷰를 나타냄-,
줌-인 동작을 나타내는 상기 클라이언트로부터 수신된 명령에 기초하여, 상기 수신된 명령에 따라 업데이트된 다중-뷰를 계산하고;
상기 업데이트된 다중-뷰가 미리 결정된 임계값보다 큰 업데이트된 다중-뷰에서 우위 센서 데이터 뷰의 외부 영역을 포함하는지 평가하고;
상기 우위 센서 데이터 뷰의 외부 영역이 상기 미리 결정된 임계값보다 큰 경우, 상기 업데이트된 다중-뷰를 나타내는 다중-뷰 비디오 스트림을 전송하고;
상기 우위 센서 데이터 뷰의 외부 영역이 상기 미리 결정된 임계값보다 작으면 상기 우위 센서 데이터 뷰를 나타내는 단일-뷰 비디오 스트림을 전송한다.
도 1은 본 개시에 따른 시스템(101)의 실시 예의 개략도를 도시한다. 메인 유닛(101)은 비디오 스트림(105)을 클라이언트(103)로 전송할 수 있다. 시스템은 메인 유닛(101)의 일부이거나 메인 유닛(101)에 연결된 복수의 센서들(102)를 포함한다. 프로세서(104)는 클라이언트(103)로부터 수신된 명령을 처리하도록 구성되고 다중-뷰 비디오 스트림 또는 단일-뷰 비디오 스트림이 클라이언트(103)로 전송되어야 하는지 여부를 결정한다.
당업자는 본 개시에 따른 시스템이 메인 유닛 및 복수의 센서들를 포함하는 시스템으로부터 비디오 스트림을 제공하는 본 개시에 따른 방법의 임의의 실시 예를 수행하도록 구성될 수 있음을 인식할 것이다. 복수의 센서들은 메인 유닛의 일부를 형성할 수 있다. 대안적으로, 복수의 센서들은 외부 센서들이다. 이러한 대안의 조합도 가능하다.
시스템은 클라이언트와 같은 유용한 구성 요소들을 더 포함할 수 있으며, 여기서 클라이언트는 비디오 관리 시스템 및/또는 디스플레이 및/또는 소프트웨어 애플리케이션, 비디오 스트림을 전송하고 명령들 등을 수신하기 위한 클라이언트에 대한 유선 또는 무선 인터페이스들을 포함할 수 있다.
본 개시는 또한 메인 유닛 및 복수의 센서들을 포함하는 시스템으로부터 비디오 스트림을 제공하는 방법에 관한 것으로, 메인 유닛은 복수의 센서들로부터 데이터를 수신하도록 구성되며, 상기 방법은:
상기 메인 유닛에서 클라이언트로 단일-뷰 비디오 스트림을 전송하는 단계-상기 단일-뷰 비디오 스트림은 상기 복수의 센서 중 하나로부터의 단일-뷰를 나타냄-; 및
상기 클라이언트로부터 줌-아웃 동작을 나타내는 명령이 수신되면, 상기 메인 유닛에서 상기 클라이언트로 다중-뷰 비디오 스트림을 전송하는 단계를 포함하며, 상기 다중-뷰 비디오 스트림은 상기 시스템 내의 상기 복수의 센서들로부터 센서 데이터 뷰들을 구성하는 다중-뷰를 나타낸다.
줌-아웃을 위한 비디오 스트림을 제공하는 방식은 사용자가 줌 아웃할 때 단일-뷰 비디오 스트림에서 다중-뷰 비디오 스트림으로 다시 전환하는 데 유용한다. 단일-뷰 비디오 스트림에서 복수의 센서들 중 하나로부터의 단일-뷰가 전송된다.
일 실시 예에 따르면, 상기 방법은 단일-뷰 내에서 줌-인이 있는 구성으로부터 줌-아웃이 발생할 때, 즉, 단일-뷰의 모든 컨텐트가 표시되지 않는 경우 단일-뷰 비디오 스트림을 전송하는 것으로 전환한다. 계산된(줌-아웃 명령에 기반) 업데이트된 단일-뷰가 모두 뷰에 맞는 수준으로 사용자가 축소하는 것은 다중-뷰 비디오 스트림 전송으로 전환하는 트리거로서 사용될 수 있다. 바람직하게는 다중-뷰 비디오 스트림은 소정의 다중-뷰 비디오 스트림이다.
일 실시 예에서, 시스템은 단일-뷰가 전체 크기인 동안 메인 유닛이 2개의 줌-아웃 명령들을 수신할 때까지, 단일-뷰 비디오 스트림을 계속 전송하고, 이에 따라 메인 유닛은 다중-뷰 비디오 스트림 전송으로 전환한다. 이는 단일-뷰 비디오 스트림에서 다중-뷰 비디오 스트림으로의 의도하지 않은 전환을 방지할 수 있다. 대안적으로, 시스템은 경과된 미리 정의된 기간에 기초하여 다중-뷰 비디오 스트림을 전송하도록 전환하도록 구성될 수 있다. 이러한 미리 정의된 시간은 클라이언트에서 메인 유닛으로 보내는 명령의 빈도에 따라 계산 및 설정할 수 있다. 명령들이 얼마나 자주 전송되는지 알고 있는 경우, 사전 정의된 특정 시간은 전송된 명령 수(이 경우 줌-아웃 명령)에 해당한다. 다중-뷰 비디오 스트림 전송으로 전환하기 위한 조건을 제공하기 위한 추가 옵션은 줌-아웃 레벨이 미리 정의된 제한 즉, 전환하지 않는 작은 줌-아웃들, 및 특정 최소 크기, 스위치의 줌-아웃들 보다 클 때 전환하는 것이다.
비디오 스트림을 제공하는 방법은 다중-뷰 비디오 스트림 구성에서 계속되는 단계를 더 포함하며, 상기 단계는:
메인 유닛이, 상기 클라이언트로부터 줌-인 동작을 나타내는 명령을 수신하는 단계;
상기 수신된 명령에 따라 업데이트된 다중-뷰를 계산하는 단계;
상기 업데이트된 다중-뷰가 미리 결정된 임계값보다 큰 업데이트된 다중-뷰에서 우위 센서 데이터 뷰의 외부 영역을 포함하는지를 평가하는 단계;
상기 우위 센서 데이터 뷰의 외부 영역이 상기 미리 결정된 임계값보다 크면, 상기 업데이트된 다중-뷰를 나타내는 다중-뷰 비디오 스트림을 전송하는 단계;
상기 우위 센서 데이터 뷰의 외부 영역이 상기 미리 결정된 임계값보다 작거나 같으면, 상기 우위 센서 데이터 뷰를 나타내는 단일-뷰 비디오 스트림을 전송하는 단계를 포함한다.
도 5는 센서 데이터 뷰들(400)을 포함하는 비디오 스트림을 제공하기 위한 방법의 실시 예의 흐름도를 도시한다. 상기 방법은 메인 유닛에서 클라이언트로 단일-뷰 비디오 스트림을 전송하는 단계 - 상기 단일-뷰 비디오 스트림은 복수의 센서들 중 하나로부터의 단일-뷰를 나타냄(401)-; 및 상기 클라이언트로부터 줌-아웃 동작을 나타내는 명령을 수신하면(402), 상기 메인 유닛에서 상기 클라이언트로 다중-뷰 비디오 스트림을 전송하는 단계를 포함하며, 상기 다중-뷰 비디오 스트림은 시스템(403)내의 상기 복수의 센서들로부터 센서 데이터 뷰들의 다중-뷰 구성으로 표현된다.
위에서 언급한 바와 같이 다양한 유형의 센서 조합도 가능하다. 본 개시에서 공개된 기술은 어안(fisheye) 렌즈에도 적용된다. 어안 렌즈는 넓은 파노라마 또는 반구형 이미지를 만들기 위해 강한 시각적 왜곡을 생성하는 초광각 렌즈이다. 어안 렌즈의 특별한 점은 어안 이미지에 대한 DPTZ 동작이 단순히 이미지의 자르기가 아니라 디워프되어(dewarped) 이미지 자르기의 직선 변환에 가깝다는 것이다. 다른 원리는 동일하다. 어안은 다중-뷰에서 하나의 센서 데이터 뷰가 될 수 있다. 어안 뷰인 센서 데이터 뷰가 하나만 있는 경우, 클라이언트는 어안 뷰를 확대하라는 명령을 보낼 수 있다. 원칙적으로 하위-뷰의 외부 영역이 미리 결정된 임계값보다 작은 경우 어안 뷰에 표시된 하위-뷰의 디워핑된(dewarped) 단일-뷰 비디오 스트림을 전송하는 것으로 전환하기 위해 이 확대를 사용할 수 있다.

Claims (15)

  1. 메인 유닛 및 복수의 센서들을 포함하는 시스템으로부터 비디오 스트림을 제공하는 방법으로서, 상기 메인 유닛은 상기 복수의 센서들로부터 데이터를 수신하도록 구성되고, 상기 방법은,
    상기 메인 유닛에서 클라이언트로 다중-뷰 비디오 스트림을 전송하는 단계-상기 다중-뷰 비디오 스트림은 상기 시스템 내의 상기 복수의 센서들로부터 센서 데이터 뷰들로 구성된 다중-뷰를 나타냄-;
    상기 메인 유닛이, 상기 클라이언트로부터 줌인 동작을 나타내는 명령을 수신하는 단계;
    상기 수신된 명령에 따라 업데이트된 다중-뷰를 계산하는 단계;
    상기 업데이트된 다중-뷰가 미리 결정된 임계값보다 큰 업데이트된 다중-뷰에서 우위 센서 데이터 뷰(dominating sensor data view)의 외부 영역을 포함하는지를 평가 - 상기 우위 센서 데이터 뷰는 상기 업데이트된 다중-뷰의 가장 큰 영역을 차지하는 센서 데이터 뷰임 - 하는 단계;
    상기 우위 센서 데이터 뷰의 외부 영역이 상기 미리 결정된 임계값보다 크면, 상기 업데이트된 다중-뷰를 나타내는 다중-뷰 비디오 스트림을 전송하는 단계;
    상기 우위 센서 데이터 뷰의 외부 영역이 상기 미리 결정된 임계값보다 작거나 같으면, 상기 우위 센서 데이터 뷰를 나타내는 단일-뷰 비디오 스트림을 전송하는 단계를 포함하는 방법.
  2. 제1항에 있어서,
    상기 우위 센서 데이터 뷰는 상기 업데이트된 다중-뷰에서 상기 줌인 동작에 기반하여 면적이 커지는 상기 센서 데이터 뷰인 방법.
  3. 제1항에 있어서,
    상기 미리 결정된 임계값은 0인 방법.
  4. 제1항에 있어서,
    상기 복수의 센서들은 상기 메인 유닛의 일부를 구성하거나, 또는 상기 복수의 센서들은 외부 센서들이거나, 또는 이들의 조합인 방법.
  5. 제1항에 있어서,
    상기 메인 유닛은 마스터 유닛이고, 상기 복수의 센서들은 슬레이브 유닛들 또는 슬레이브 유닛들의 일부이며, 상기 단일-뷰 비디오 스트림을 전송할 때 상기 클라이언트로부터의 추가 명령들을 상기 우위 센서 데이터 뷰에 해당하는 슬레이브 유닛으로 전달하는 단계를 더 포함하는 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 단일-뷰 비디오 스트림(204)은 상기 업데이트된 다중-뷰(205)를 나타내는 상기 다중-뷰 비디오 스트림(201)의 상기 우위 센서 데이터 뷰(202)보다 더 높은 해상도를 갖는 방법.
  7. 제1항에 있어서,
    상기 복수의 센서들 중 적어도 하나는 모니터링 센서와 같은 비-이미지(non-image) 센서, 또는 현존, 사람 또는 객체의 수, 온도, 습도, 오염, 화재에 관련된 데이터와 같은 환경 데이터를 제공하도록 구성된 센서 시스템, 또는 환경 데이터를 제공하도록 구성된 생화학 센서 또는 센서 시스템이며,
    줌-인 동작을 나타내는 명령을 수신할 때, 상기 우위 센서 데이터 뷰가 비-이미지 센서의 뷰이고 상기 우위 센서 데이터 뷰의 외부 영역이 상기 미리 결정된 임계값보다 작거나 같으면, 상기 비-이미지 센서의 상기 환경 데이터에 대한 보다 상세한 뷰를 포함하는 상기 단일-뷰 비디오 스트림이 전송되는 방법.
  8. 제1항에 있어서,
    상기 다중-뷰 비디오 스트림은 상기 시스템 내의 복수의 센서들로부터의 데이터 뷰들을 포함하는 단일 비디오 스트림인 방법.
  9. 제1항에 있어서,
    상기 다중-뷰는 압축된 데이터 스트림들의 집계된 뷰인 방법.
  10. 제1항에 있어서,
    상기 다중-뷰는 픽처-인-픽처(picture-in-picture) 뷰인 방법.
  11. 제1항에 있어서,
    상기 다중-뷰는 제1 센서로부터의 배경 비디오 스트림 및 제2 센서로부터의 적어도 하나의 중첩 비디오를 포함하는 방법.
  12. 처리 능력을 갖는 컴퓨팅 장치 또는 컴퓨팅 시스템에서 실행될 때, 제1항에 따른 상기 방법을 구현하기 위한 명령어들이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체.
  13. 시스템에 있어서,
    클라이언트와 연결되는 메인 유닛;
    복수의 센서들;
    프로세서를 포함하며,
    상기 프로세서는,
    상기 메인 유닛에서 클라이언트로 다중-뷰 비디오 스트림을 전송하고-상기 다중-뷰 비디오 스트림은 상기 시스템 내의 상기 복수의 센서들로부터의 센서 데이터 뷰들로 구성된 다중-뷰를 나타냄-,
    줌-인 동작을 나타내는 상기 클라이언트로부터 수신된 명령에 기초하여, 상기 수신된 명령에 따라 업데이트된 다중-뷰를 계산하고;
    상기 업데이트된 다중-뷰가 미리 결정된 임계값보다 큰 업데이트된 다중-뷰에서 우위 센서 데이터 뷰의 외부 영역을 포함하는지 평가 - 상기 우위 센서 데이터 뷰는 상기 업데이트된 다중-뷰의 가장 큰 영역을 차지하는 센서 데이터 뷰임 - 하고;
    상기 우위 센서 데이터 뷰의 외부 영역이 상기 미리 결정된 임계값보다 큰 경우, 상기 업데이트된 다중-뷰를 나타내는 다중-뷰 비디오 스트림을 전송하고;
    상기 우위 센서 데이터 뷰의 외부 영역이 상기 미리 결정된 임계값보다 작으면 상기 우위 센서 데이터 뷰를 나타내는 단일-뷰 비디오 스트림을 전송하는 시스템.
  14. 제13항에 있어서,
    상기 프로세서는 제1항에 따른 상기 방법을 수행하도록 구성된 시스템.
  15. 삭제
KR1020220109671A 2021-10-22 2022-08-31 비디오 스트림을 전송하기 위한 방법 및 시스템 KR102680610B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP21204318.6A EP4171022B1 (en) 2021-10-22 2021-10-22 Method and system for transmitting a video stream
EP21204318.6 2021-10-22

Publications (2)

Publication Number Publication Date
KR20230057946A KR20230057946A (ko) 2023-05-02
KR102680610B1 true KR102680610B1 (ko) 2024-07-01

Family

ID=78592460

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220109671A KR102680610B1 (ko) 2021-10-22 2022-08-31 비디오 스트림을 전송하기 위한 방법 및 시스템

Country Status (6)

Country Link
US (1) US11936920B2 (ko)
EP (1) EP4171022B1 (ko)
JP (1) JP7386307B2 (ko)
KR (1) KR102680610B1 (ko)
CN (1) CN116016950B (ko)
TW (1) TW202322632A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4171022B1 (en) * 2021-10-22 2023-11-29 Axis AB Method and system for transmitting a video stream

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130083201A1 (en) 2011-10-03 2013-04-04 Raytheon Company Methods and apparatus for determining misalignment of first and second sensors
US20150284009A1 (en) 2012-11-30 2015-10-08 Google Inc. Engaging and disengaging for autonomous driving
US20160159281A1 (en) 2014-12-04 2016-06-09 Hyundai Mobis Co., Ltd. Vehicle and control method thereof
US20160379066A1 (en) 2015-06-23 2016-12-29 Robert Bosch Gmbh Method and Camera System for Distance Determination of Objects from a Vehicle
US20180188059A1 (en) 2016-12-30 2018-07-05 DeepMap Inc. Lane Line Creation for High Definition Maps for Autonomous Vehicles

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08102927A (ja) * 1994-09-30 1996-04-16 Toshiba Corp プレビューチャンネル視聴方法、プレビューチャンネル視聴装置、端末装置、及びセンター装置
JP3684525B2 (ja) * 1998-02-19 2005-08-17 富士通株式会社 多画面合成方法及び多画面合成装置
JP2003115050A (ja) * 2001-10-04 2003-04-18 Sony Corp 映像データ処理装置及び映像データ処理方法、データ配信装置及びデータ配信方法、データ受信装置及びデータ受信方法、記憶媒体、並びにコンピュータ・プログラム
JP2004193766A (ja) * 2002-12-09 2004-07-08 Fujitsu Ltd 映像配信表示システム、映像配信システム、映像表示システム、および映像配信方法
WO2005094351A2 (en) * 2004-03-26 2005-10-13 Peoples Broadband, Inc. Next generation consumer telecommunications network
EP1769636A2 (en) * 2004-06-01 2007-04-04 L-3 Communications Corporation Method and apparatus for performing video surveillance system
WO2006040687A2 (en) 2004-07-19 2006-04-20 Grandeye, Ltd. Automatically expanding the zoom capability of a wide-angle video camera
TW200704183A (en) * 2005-01-27 2007-01-16 Matrix Tv Dynamic mosaic extended electronic programming guide for television program selection and display
CN101341457B (zh) * 2005-02-14 2014-01-29 希尔克瑞斯特实验室公司 利用3d定位增强电视应用的方法和系统
US7796154B2 (en) * 2005-03-07 2010-09-14 International Business Machines Corporation Automatic multiscale image acquisition from a steerable camera
US20060230427A1 (en) * 2005-03-30 2006-10-12 Gerard Kunkel Method and system of providing user interface
EP2557775A3 (en) * 2005-03-30 2013-09-25 United Video Properties, Inc. Systems and methods for video-rich navigation
CN104135641B (zh) * 2014-07-15 2018-10-02 北京小鱼在家科技有限公司 一种移动终端的工具及智能整合音视频的服务器
JP5906556B1 (ja) * 2014-10-17 2016-04-20 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
CN104822070B (zh) * 2015-04-13 2018-07-20 腾讯科技（北京）有限公司 多路视频流播放方法及装置
KR102396036B1 (ko) * 2015-05-18 2022-05-10 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
WO2017029402A1 (en) * 2015-08-20 2017-02-23 Koninklijke Kpn N.V. Forming a tiled video on the basis of media streams
US10313417B2 (en) * 2016-04-18 2019-06-04 Qualcomm Incorporated Methods and systems for auto-zoom based adaptive video streaming
CN106792092B (zh) * 2016-12-19 2020-01-03 广州虎牙信息科技有限公司 直播视频流分镜显示控制方法及其相应的装置
EP3451650B1 (en) * 2017-08-29 2020-01-08 Axis AB A method of calibrating a direction of a pan, tilt, zoom, camera with respect to a fixed camera, and a system in which such a calibration is carried out
KR101967819B1 (ko) * 2017-11-02 2019-04-10 주식회사 코난테크놀로지 타일 영상 기반 다중 재생을 위한 영상 처리장치 및 그 타일 영상 구성방법
JPWO2019187442A1 (ja) * 2018-03-29 2021-04-08 ソニー株式会社 情報処理装置、方法、及びプログラム
CN110072085A (zh) * 2019-04-25 2019-07-30 深圳市商汤科技有限公司 视频监控方法及装置
US11463738B2 (en) * 2019-11-22 2022-10-04 Charter Communications Operating, Llc Delivering on-demand video viewing angles of an arena
EP3849202B1 (en) * 2020-01-10 2023-02-08 Nokia Technologies Oy Audio and video processing
US11086491B1 (en) * 2020-01-21 2021-08-10 Honeywell International Inc. Systems and methods for displaying video streams on a display
US10904446B1 (en) * 2020-03-30 2021-01-26 Logitech Europe S.A. Advanced video conferencing systems and methods
EP3902244B1 (en) * 2020-04-23 2022-03-23 Axis AB Controlling a pan-tilt-zoom camera
CN112017576A (zh) * 2020-08-26 2020-12-01 北京字节跳动网络技术有限公司 显示控制方法、装置、终端和存储介质
CN111935436B (zh) * 2020-09-15 2021-02-19 杭州盖视科技有限公司 多视频流在播放端的无缝切换方法与系统
US20230109787A1 (en) * 2021-09-24 2023-04-13 Apple Inc. Wide angle video conference
EP4171022B1 (en) * 2021-10-22 2023-11-29 Axis AB Method and system for transmitting a video stream

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130083201A1 (en) 2011-10-03 2013-04-04 Raytheon Company Methods and apparatus for determining misalignment of first and second sensors
US20150284009A1 (en) 2012-11-30 2015-10-08 Google Inc. Engaging and disengaging for autonomous driving
US20160159281A1 (en) 2014-12-04 2016-06-09 Hyundai Mobis Co., Ltd. Vehicle and control method thereof
US20160379066A1 (en) 2015-06-23 2016-12-29 Robert Bosch Gmbh Method and Camera System for Distance Determination of Objects from a Vehicle
US20180188059A1 (en) 2016-12-30 2018-07-05 DeepMap Inc. Lane Line Creation for High Definition Maps for Autonomous Vehicles

Also Published As

Publication number Publication date
JP7386307B2 (ja) 2023-11-24
TW202322632A (zh) 2023-06-01
CN116016950A (zh) 2023-04-25
EP4171022C0 (en) 2023-11-29
US20230129908A1 (en) 2023-04-27
KR20230057946A (ko) 2023-05-02
CN116016950B (zh) 2024-09-13
US11936920B2 (en) 2024-03-19
EP4171022A1 (en) 2023-04-26
JP2023063251A (ja) 2023-05-09
EP4171022B1 (en) 2023-11-29

Similar Documents

Publication Publication Date Title
JP4345829B2 (ja) 画像表示システム、画像表示装置、画像表示方法およびプログラム
KR101662074B1 (ko) 제어 장치, 카메라 시스템 및 기록 매체
KR101299613B1 (ko) 제어 장치, 제어 방법, 카메라 시스템 및 기록 매체
JP4804378B2 (ja) 映像表示装置及び映像表示方法
JP2007189503A (ja) 端末装置及びプログラム
JP2012520650A (ja) 知能型監視カメラ装置及びこれを採用した映像監視システム
JP2007300556A (ja) 動画像処理装置および方法
KR20120012397A (ko) 카메라 장치, 카메라 시스템, 제어 장치 및 프로그램
KR102680610B1 (ko) 비디오 스트림을 전송하기 위한 방법 및 시스템
JP2008252331A (ja) デジタル監視システム
KR101757661B1 (ko) 영상 감시 장치
CN113556462B (zh) 用于控制平移倾斜变焦相机的方法和系统以及存储介质
JP2007020092A (ja) 画像表示装置、画像表示方法および画像表示システム
JP2008301191A (ja) 映像監視システム、映像監視制御装置、映像監視制御方法、及び映像監視制御用プログラム
KR102009988B1 (ko) 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법 및 그가 적용된 tvi 장치
JP6157220B2 (ja) 出力装置およびその方法
JP6836306B2 (ja) 撮像制御装置、その制御方法、プログラム及び記録媒体
JP5917175B2 (ja) 撮像装置、撮像装置の配信方法、撮像システムおよびプログラム
KR102707798B1 (ko) 팬틸트줌 동작이 가능한 카메라 장치와 이를 이용한 영상 감시 시스템 및 방법
JPH08237590A (ja) 映像処理装置
JP2004289778A (ja) 移動可能な移動体撮像装置
JP2006165664A (ja) 画像送受信システム
JP2005176085A (ja) デジタルカメラおよびそれを用いた監視システム
JPH07274150A (ja) 遠隔カメラ操作機能を有するテレビ会議装置
JP2006222617A (ja) 遠隔撮影システム、遠隔表示制御装置及び遠隔撮影装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal