KR20190032670A - video service providing system using multi-view camera - Google Patents

video service providing system using multi-view camera Download PDF

Info

Publication number
KR20190032670A
KR20190032670A KR1020170119340A KR20170119340A KR20190032670A KR 20190032670 A KR20190032670 A KR 20190032670A KR 1020170119340 A KR1020170119340 A KR 1020170119340A KR 20170119340 A KR20170119340 A KR 20170119340A KR 20190032670 A KR20190032670 A KR 20190032670A
Authority
KR
South Korea
Prior art keywords
image
image processing
camera
view
transmission signal
Prior art date
Application number
KR1020170119340A
Other languages
Korean (ko)
Inventor
이주화
Original Assignee
쿠도커뮤니케이션 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 쿠도커뮤니케이션 주식회사 filed Critical 쿠도커뮤니케이션 주식회사
Priority to KR1020170119340A priority Critical patent/KR20190032670A/en
Publication of KR20190032670A publication Critical patent/KR20190032670A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

The present invention relates to a realistic image providing system using a multi-view camera, which comprises: a plurality of cameras disposed in a position different from one another to photograph and transmit a raw image for a moving object; a plurality of image processing devices installed in each camera to perform a photographing control function of the camera, receiving the raw image from each camera in real time, and extracting and transmitting a screen frame of a time point corresponding to a view image transmission signal; an image control device transmitting a photographing control signal for starting/finishing photographing to the plurality of image processing devices, generating the view image transmission signal in accordance with a realistic image of a time point fixed by a user, and transmitting the view image transmission signal to the image processing device; and an image encoding device collecting a plurality of screen frames from the plurality of image processing devices to encode the screen frames by GOP unit so as to provide a realistic image service. Accordingly, only the image of the time point fixed by the user is stored and directly transferred to the image encoding device by using the image processing device installed in each camera such that it is not required to arrange the images collected by time in a matrix so as to reduce time required for an image processing process and thus a quick realistic image service is able to be provided to a viewer.

Description

다시점 카메라를 이용한 실감 영상 서비스 제공 시스템{video service providing system using multi-view camera} Technical Field [0001] The present invention relates to a video service providing system using a multi-view camera,

본 발명은 다시점 카메라를 이용한 실감 영상 서비스 제공 시스템에 관한 것으로, 보다 상세하게는 카메라별로 설치된 영상 처리장치를 이용하여 사용자가 지정한 시점의 영상만을 선별하여 다시점 영상으로 제작할 수 있어 빠른 실감 영상 서비스를 제공할 수 있는 다시점 카메라를 이용한 실감 영상 서비스 제공 시스템에 관한 것이다.The present invention relates to a system for providing a real image service using a multi-view camera, and more particularly, to a system for providing real image service using a multi-view camera, To a real image service providing system using a multi-view camera.

기존 양안식 영상보다 많은 시점에서 입체감과 몰입감을 제공하는 다시점 영상에 대한 관심이 커지고 있다. 다시점 영상은 자유롭게 시점을 변경하며 영상을 시청할 수 있는 자유 시점 텔레비전(free viewpoint television)이나 게임, 시뮬레이션 등 다양한 분야에 적용될 수 있어 활용도가 무한하다고 할 수 있다. There is a growing interest in multi-view images that provide stereoscopic and immersive experiences at more points than conventional binocular images. The multi-view video can be applied to various viewpoints such as free viewpoint television, game, simulation, etc., which can freely change the viewpoint and view the video image.

이러한 다시점 영상은 한 장면에 대해 서로 다른 위치에서 촬영된 여러 장의 영상으로 구성된다. 연구 초기에는 한 대의 카메라를 이용하여 한 장면을 여러 번 촬영하는 시스템이 사용되었으나, 이 시스템은 여러 대의 카메라를 제어하기 위한 기술적 문제나 비용 문제를 해결할 수 있지만 움직이는 객체를 촬영할 수 없다는 문제점이 있다.These multi-view images are composed of multiple images taken at different positions with respect to one scene. In the beginning of the research, a system that shoots a scene several times using one camera is used. However, this system can solve the technical problem and cost problem for controlling several cameras, but there is a problem that the moving object can not be photographed.

이를 해결하기 위해서, 여러 대의 카메라를 이용하여 한 장면을 동시에 촬영하는 다시점 카메라 시스템이 제안되었지만, 카메라 수가 증가함에 따라서 단일 카메라에서는 문제가 되지 않았던 카메라 특성 차이로 인한 색상 오차나 기하학 오차 문제가 발생한다. In order to solve this problem, a multi-view camera system has been proposed in which a plurality of cameras are used to simultaneously photograph one scene. However, as the number of cameras increases, color and geometric error problems arise due to differences in camera characteristics do.

특히, 타임슬라이스 기법은 여러 대의 카메라를 다각도에서 촬영하여 각 카메라에서 촬영된 이미지를 영상으로 제작하여 피사체를 동일한 시간에 다시점에서 촬영한 것과 같은 영상으로 제작하는 것이다. Particularly, the time slice technique is to shoot images of multiple cameras in various angles, to produce images taken from each camera, and to produce images such that the subject is photographed at multiple points at the same time.

한국등록특허 제10-1649752호의 영상 매트릭스 인터페이스를 이용한 다시점 영상 생성 방법 및 다시점 영상 생성 시스템은 복수 개의 카메라로부터 연속된 이미지 또는 동영상을 수신하고, 동일 시간대의 각 카메라로부터 수신된 이미지를 이차원 배열로 후처리하여 동영상을 제작한다. Korean Patent No. 10-1649752 discloses a multi-view image generation method and multi-view image generation system using an image matrix interface, in which a continuous image or a moving image is received from a plurality of cameras, To produce a moving picture.

따라서, 종래 기술의 영상 매트릭스 인터페이스를 이용한 다시점 영상 생성 방법 및 다시점 영상 생성 시스템은 컴퓨터 장치가 동영상을 프레임 단위로 카메라의 위치 및 촬영 시간에 따라 분류한 후 디스플레이 장치에 분류된 동영상의 프레임에 대응되는 이미지 객체를 제1 축 및 제2 축을 갖는 2차원 매트릭스 형태로 출력하여야 하므로, 카메라의 개수가 증가되고, 연속된 이미지의 시간 간격이 좁아지면 영상 처리해야 할 이미지 개수가 많아지며, 그에 따라 영상 처리를 위한 컴퓨테이션 파워가 많이 필요하고, 시간대별 카메라의 동영상 제작에 소요되는 시간이 증가한다는 문제점이 있다. Accordingly, in the multi-view image generation method and the multi-view image generation system using the image matrix interface of the related art, the computer device classifies the moving images into frames according to the position of the cameras and the shooting time, The corresponding image object must be output in the form of a two-dimensional matrix having a first axis and a second axis. Therefore, if the number of cameras is increased and the time interval of successive images is narrowed, the number of images to be processed is increased. There is a problem that computation power for image processing is much needed and time required for producing a moving image of a camera by time is increased.

한국등록특허 제10-1649752호 " 영상 매트릭스 인터페이스를 이용한 다시점 영상 생성 방법 및 다시점 영상 생성 시스템 "Korean Patent No. 10-1649752 "Multi-view image generation method and multi-view image generation system using image matrix interface"

본 발명은 카메라별로 설치된 영상 처리장치를 이용하여 카메라에서 획득된 영상을 영상 인코딩 장치에 바로 전달하여 영상화 처리 작업에 소요되는 시간을 단축시키고, 인코딩 자원을 효율적으로 사용할 수 있는 다시점 카메라를 이용한 실감 영상 서비스 제공 시스템을 제공한다. The present invention relates to an image processing apparatus and an image processing method, and more particularly, to an image processing apparatus and an image processing method, which are capable of efficiently using encoding resources, And provides a video service providing system.

실시예들 중에서, 다시점 카메라를 이용한 실감 영상 서비스 제공 시스템은, 서로 다른 위치에 배치되어 움직이는 객체에 대한 원시(Raw) 영상을 촬영하여 전송하는 복수 개의 카메라; 상기 카메라별로 설치되어 카메라의 촬영 제어 기능을 수행하며, 각 카메라로부터 상기 원시 영상을 실시간 수신하고, 뷰 이미지 전송 신호에 해당하는 시점의 화면 프레임을 추출하여 전송하는 복수 개의 영상 처리 장치; 상기 복수 개의 영상 처리 장치에 촬영 개시/종료에 대한 촬영 제어 신호를 전송하고, 사용자가 지정한 시점의 실감 영상에 따라 뷰 이미지 전송 신호를 생성하여 상기 영상 처리 장치에 전송하는 영상 제어 장치; 및 상기 복수 개의 영상 처리 장치로부터 복수의 화면 프레임을 수집하여 하나의 GOP 단위로 인코딩하여 실감 영상 서비스를 제공하는 영상 인코딩 장치를 포함하는 것을 특징으로 한다. Among the embodiments, a real-feeling image service providing system using a multi-view camera includes a plurality of cameras arranged at different positions and photographing and transmitting a raw image of a moving object; A plurality of image processing apparatuses installed for each of the cameras and performing an image capturing control function of the camera, receiving the original image from each camera in real time, extracting a screen frame corresponding to a view image transmission signal, and transmitting the screen frame; An image control device for transmitting a photographing control signal for photographing start / end to the plurality of image processing devices, generating a view image transmission signal according to a real image at a time point designated by the user, and transmitting the generated view image transmission signal to the image processing device; And a video encoding apparatus for collecting a plurality of screen frames from the plurality of image processing apparatuses and encoding the plurality of screen frames in units of one GOP to provide a real image service.

상기 실감 영상 서비스는 싱크뷰 영상, 타임 슬라이스 영상, 옴니뷰 영상, 가상현실 영상을 포함하는 것을 특징으로 한다. The real image service includes a sink view image, a time slice image, an omni view image, and a virtual reality image.

상기 영상 처리 장치는 N(N>0)개이고, 상기 영상 인코딩 장치는 인코딩 가능한 채널 수에 따라 M(M<N)개가 구비되며, 상기 영상 제어 장치는 상기 영상 인코딩 장치의 채널 수에 맞게 상기 영상 처리 장치들을 분배하는 것을 특징으로 한다. Wherein the image encoding apparatus is provided with M (M &lt; N) number of image processing apparatuses according to the number of channels that can be encoded, the image encoding apparatus includes N (N> 0) And distributing the processing apparatuses.

상기 영상 제어 장치는 각 영상 인코딩 장치에 식별번호를 부여한 후 상기 뷰 이미지 전송 신호에 사용자가 지정한 시간대의 화면 프레임 및 각 영상 처리 장치에 할당된 영상 인코딩 장치의 식별 번호를 포함하는 것을 특징으로 한다. The image control device may include a screen frame in a time zone designated by the user in the view image transmission signal after giving an identification number to each video encoding device and an identification number of a video encoding device allocated to each image processing device.

상기 영상 처리 장치는 자신과 연결된 카메라로부터 원시 영상을 수신한 후 상기 뷰 이미지 전송 신호에 따른 화면 프레임을 비압축 영상 데이터로 변경하고, 상기 변경된 비압축 영상 데이터를 상기 영상 인코딩 장치에 전송하는 것을 특징으로 한다. Wherein the image processing apparatus receives a raw image from a camera connected to the image processing apparatus, changes the screen frame according to the view image transmission signal to uncompressed image data, and transmits the changed uncompressed image data to the image encoding apparatus .

상기 영상 인코딩 장치는 적어도 하나 이상의 영상 처리 장치로 전송된 동일 시점의 비압축 영상 데이터들을 하나의 GOP 단위로 인코딩하여 영상화 처리 작업을 수행하는 것을 특징으로 한다. The image encoding apparatus encodes uncompressed image data at the same time point transmitted to at least one image processing apparatus into a single GOP unit to perform an image processing operation.

상기 영상 처리 장치는, 상기 카메라로부터 실시간 통신 프로토콜을 통해 원시 영상을 수신하는 리시버; 상기 리시버에서 수신된 원시 영상에 타임스탬프 정보를 포함시키는 타임스탬프 동기화기; 상기 뷰 이미지 전송 신호에 따라 상기 원시 영상에서 사용자가 지정한 시점의 화면 프레임을 추출하여 비압축 영상 데이터로 변환하는 디코더; 및 상기 디코더에서 변환된 비압축 영상 데이터를 스트림으로 완성하여 전송하는 센더를 포함하는 것을 특징으로 한다. The image processing apparatus comprising: a receiver for receiving a raw image from the camera through a real-time communication protocol; A timestamp synchronizer for including timestamp information in a raw image received at the receiver; A decoder for extracting a screen frame at a time point designated by the user in the source image according to the view image transmission signal and converting the screen frame into uncompressed image data; And a sender for completing the converted non-compressed image data in the decoder and transmitting the stream.

본 발명의 다시점 카메라를 이용한 실감 영상 서비스 제공 시스템은, 카메라별로 설치된 영상 처리장치를 이용하여 사용자가 지정한 시점의 영상만을 저장하여 영상 인코딩 장치에 바로 전달함으로써 시간대별로 수집된 영상들을 매트릭스 화하여 배열할 필요가 없어짐에 따라 영상화 처리 작업에 소요되는 시간을 단축시키고, 그로 인해 시청자에게 빠른 실감 영상 서비스를 제공할 수 있는 효과가 있다. The realistic image service providing system using the multi-view camera according to the present invention stores only images at a time point designated by the user using the image processing device installed for each camera and directly delivers the images to the image encoding device, It is possible to shorten the time required for the image processing operation, thereby providing a quick realistic image service to the viewer.

또한, 본 발명은 사용자가 지정한 시점의 영상만을 선별하여 비압축 영상 데이터로 변경한 후 영상 인코딩 장치에 전송하고, 영상 인코딩 장치에서 모든 카메라로부터 수집된 동일 시점의 비압축 영상 데이터를 하나의 정크 영상으로 저장하기 때문에 인코딩 자원을 효율적으로 사용할 수 있는 효과가 있다.According to another aspect of the present invention, there is provided a video encoding apparatus, comprising: a video encoding apparatus for converting an uncompressed video data selected at a user's point of view into uncompressed video data and transmitting the uncompressed video data to a video encoding apparatus; So that the encoding resources can be efficiently used.

도 1은 본 발명의 일 실시예에 따른 다시점 카메라를 이용한 실감 영상 서비스 제공 시스템을 설명하는 도면이다.
도 2는 도 1의 일부 구성요소인 영상 처리 장치와 영상 인코딩 장치 간의 데이터 흐름을 설명하는 도면이다.
도 3은 도 1의 일부 구성요소인 영상 처리 장치의 구성을 설명하는 도면이다.
도 4는 도 1의 일부 구성요소인 영상 인코딩 장치를 설명하는 도면이다.1 is a view for explaining a real image service providing system using a multi-view camera according to an embodiment of the present invention.
FIG. 2 is a view for explaining a data flow between an image processing apparatus and a video encoding apparatus, which are components of FIG. 1;
Fig. 3 is a view for explaining a configuration of an image processing apparatus which is a part of Fig. 1; Fig.
FIG. 4 is a view for explaining an image encoding apparatus which is a part of FIG. 1. FIG.

본 발명에 기재된 실시예 및 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 표현하는 것은 아니므로, 본 발명의 권리범위는 본문에 설명된 실시예 및 도면에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The scope of the present invention is not limited to the embodiments and drawings described in the present specification, and the scope of the present invention is not limited to these embodiments. Should not be construed as limited by That is, the embodiments are to be construed as being variously embodied and having various forms, so that the scope of the present invention should be understood to include equivalents capable of realizing technical ideas. Also, the purpose or effect of the present invention should not be construed as limiting the scope of the present invention, since it does not mean that a specific embodiment should include all or only such effect.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined. Commonly used predefined terms should be interpreted to be consistent with the meanings in the context of the relevant art and can not be construed as having ideal or overly formal meanings which are not expressly defined in the present invention.

도 1은 본 발명의 일 실시예에 따른 다시점 카메라를 이용한 실감 영상 서비스 제공 시스템을 설명하는 도면이다.1 is a view for explaining a real image service providing system using a multi-view camera according to an embodiment of the present invention.

도 1을 참고하면, 다시점 카메라를 이용한 실감 영상 서비스 제공 시스템은, 복수 개의 카메라(100), 복수 개의 영상 처리 장치(200), 영상 제어 장치(300) 및 영상 인코딩 장치(400)를 포함한다.1, a real image service providing system using a multi-view camera includes a plurality of cameras 100, a plurality of image processing apparatuses 200, an image control apparatus 300, and a video encoding apparatus 400 .

복수 개의 카메라(100)는 서로 다른 위치에 배치되어 움직이는 객체에 대한 원시(Raw) 영상을 촬영하여 전송하기 때문에 여러 방향의 다양한 시점을 사용자에게 제공할 수 있다. Since the plurality of cameras 100 are disposed at different positions and photographs and transmits a raw image of a moving object, various views in various directions can be provided to the user.

복수 개의 영상 처리 장치(200)는 카메라와 일대일 대응되도록 설치되고, 각 카메라의 촬영 제어 기능을 수행하며, 각 카메라(100)로부터 원시 영상을 실시간 수신하고, 뷰 이미지 전송 신호에 해당하는 시점의 화면 프레임을 추출하여 영상 인코딩 장치(400)에 전송한다. 영상 처리 장치(200)는 자신과 연결된 카메라(100)의 촬영을 원격 제어하며, 셔터 릴리즈 및 셔터 스피드 등을 제어하면서 카메라(100)에서 촬영된 영상을 실시간 가져온다. The plurality of image processing apparatuses 200 are installed in a one-to-one correspondence with the cameras. The plurality of image processing apparatuses 200 perform imaging control functions of the respective cameras, receive raw images from the respective cameras 100 in real time, And transmits the extracted frame to the video encoding apparatus 400. [ The image processing apparatus 200 remotely controls the photographing of the camera 100 connected to the image processing apparatus 200 and fetches the image photographed by the camera 100 in real time while controlling the shutter release and the shutter speed.

영상 제어 장치(300)는 복수 개의 영상 처리 장치에 촬영 개시/종료에 대한 촬영 제어 신호를 전송하고, 사용자가 지정한 시점의 실감 영상에 따라 뷰 이미지 전송 신호를 생성하여 영상 처리 장치(200)에 전송한다. The image control apparatus 300 transmits a photographing control signal for photographing start / end to a plurality of image processing apparatuses, generates a view image transmission signal according to a sensed image at a time point designated by the user, and transmits the view image transmission signal to the image processing apparatus 200 do.

영상 인코딩 장치(400)는 영상 처리 장치(200)로부터 복수의 화면 프레임을 수집하여 하나의 GOP 단위로 인코딩하여 실감 영상 서비스를 제공한다. 이때, 사용자 단말과 영상 인코딩 장치(400) 사이에는 중계 서버(도시되지 않음)가 배치되고, 중계 서버는 영상 인코딩 장치(400) 또는 영상 처리 장치(200)를 통해 처리된 영상을 이용하여 사용자 단말에 실시간 스트리밍, 자유 시점 영상, 프로그래시브 다운로드와 같은 스트리밍 서비스를 제공한다. The video encoding apparatus 400 collects a plurality of screen frames from the video processing apparatus 200 and encodes the same in units of one GOP to provide a real image service. A relay server (not shown) is disposed between the user terminal and the video encoding device 400 and the relay server transmits the video using the video processed through the video encoding device 400 or the video processing device 200, Streaming services such as live streaming, free-view video, and progressive downloading.

도 2는 도 1의 일부 구성요소인 영상 처리 장치와 영상 인코딩 장치 간의 데이터 흐름을 설명하는 도면이다. FIG. 2 is a view for explaining a data flow between an image processing apparatus and a video encoding apparatus, which are components of FIG. 1;

도 2를 참고하면, 영상 처리 장치(200)는 카메라(100)의 개수만큼 구비되는데, 카메라(100)가 20대이면 영상 처리 장치(200)도 N=20개가 구비된다. 영상 처리 장치(200)는 카메라(100)로부터 수신한 원시 영상이 JPEG 또는 H.264 형식으로 압축된 데이터이므로, 뷰 이미지 전송 신호에 따라 사용자 지정한 시점에 해당하는 화면 프레임만을 추출하여 RGB, YUV 형식의 비압축 영상 데이터 변환한 후, 영상 이미지 해상도를 사용자가 지정한 실감 영상 서비스에 맞게 리사이즈(Resize) 처리를 수행한다. 2, the number of image processing apparatuses 200 is equal to the number of cameras 100. When the number of cameras 100 is 20, N = 20 image processing apparatuses 200 are provided. Since the original image received from the camera 100 is compressed data in JPEG or H.264 format, the image processing apparatus 200 extracts only a screen frame corresponding to a user-specified point in time according to the view image transmission signal, And resizes the video image resolution according to the real image service designated by the user.

영상 인코딩 장치(400)는 인코딩 가능한 채널 수에 따라 M(M<N)개가 구비되는데, 동시에 4채널 인코딩이 가능한 영상 인코딩 장치(400)이면 영상 처리 장치(200)가 20채널을 형성하고 있기 때문에 영상 인코딩 장치는 5개가 구비된다.In the video encoding apparatus 400, M (M < N) channels are provided according to the number of channels that can be encoded. If the video encoding apparatus 400 capable of 4-channel encoding simultaneously forms 20 channels Five video encoding devices are provided.

영상 제어 장치(300)는 연속되는 데이터가 서로 다른 영상 인코딩 장치(400)에서 처리되도록 영상 인코딩 장치(400)의 채널 수에 맞게 1개의 영상 인코딩 장치(400)당 5개의 영상 처리 장치(200)를 분배한다. The image control apparatus 300 transmits the image data to the five image processing apparatuses 200 per one image encoding apparatus 400 in accordance with the number of channels of the image encoding apparatus 400 so that continuous data is processed in different image encoding apparatuses 400. [ / RTI &gt;

이때, 영상 제어 장치(300)는 각 영상 인코딩 장치(400)에 식별번호(#1, #2, #3, #4, #5)를 부여하고, 각 영상 처리 장치(200)에 전송되는 뷰 이미지 전송 신호에는 사용자가 지정한 시간대의 시점 영상 및 영상 인코딩 장치(400)의 식별 번호를 포함한다. At this time, the image control device 300 assigns identification numbers (# 1, # 2, # 3, # 4, and # 5) to each video encoding device 400, The image transmission signal includes a viewpoint image of a time zone designated by the user and an identification number of the image encoding apparatus 400.

도 3은 도 1의 일부 구성요소인 영상 처리 장치의 구성을 설명하는 도면이다. Fig. 3 is a view for explaining a configuration of an image processing apparatus which is a part of Fig. 1; Fig.

도 3을 참고하면, 영상 처리 장치(200)는 리시버(210), 타임스탬프 동기화기(220), 디코더(230) 및 먹서(240)를 포함한다.Referring to FIG. 3, the image processing apparatus 200 includes a receiver 210, a time stamp synchronizer 220, a decoder 230, and a drinker 240.

리시버(210)는 카메라(100)로부터 RTSP(Real-Time Streaming Protocol)/RTP(Real-time Transport Protocol)를 통해 원시 영상을 실시간 수신한다. The receiver 210 real-time receives a raw image from the camera 100 through a Real-Time Streaming Protocol (RTSP) / a Real-time Transport Protocol (RTP).

타임스탬프 동기화기(220)는 리시버(210)에서 수신된 원시 영상에 타임스탬프 정보를 포함시켜 카메라별로 입력되는 영상 데이터가 동기화될 수 있도록 한다. The time stamp synchronizer 220 includes the time stamp information in the original image received by the receiver 210 so that the image data input by the camera can be synchronized.

디코더(230)는 뷰 이미지 전송 신호에 따라 실시간 카메라로부터 수신된 원시 영상에서 사용자가 지정한 시점의 화면 프레임을 추출하여 비압축 영상 데이터로 변환한다. The decoder 230 extracts a screen frame at a time point designated by the user from the original image received from the real-time camera according to the view image transmission signal, and converts the screen frame into the uncompressed image data.

센더(240)는 디코더(230)에서 변환된 비압축 영상 데이터를 고정된 길이의 스트림으로 완성하여 자신에게 할당된 영상 인코딩 장치(400)에 전송한다. The sender 240 completes the uncompressed video data converted by the decoder 230 into a fixed length stream and transmits the uncompressed video data to the video encoding apparatus 400 allocated to the video encoding apparatus.

이와 같은 영상 처리 장치(200)는 카메라(100)로부터 수신되는 원시 영상을 매순간 저장하는 것이 아니라, 사용자가 지정한 시점의 프레임만을 저장하여 비압축 형식으로 영상 인코딩 장치(400)에 전송하기 때문에 시간별로 수집되는 모든 영상을 배열하기 위한 매트릭스 구조가 필요하지 않고, 그로 인해 영상 처리 장치(200)는 처리해야할 이미지 개수가 줄어든 만큼 컴퓨테이션 파워가 많이 필요하지 않아 다시점 영상 제작에 소요되는 시간이 단축될 수 있다. The image processing apparatus 200 does not store the raw images received from the camera 100 at every moment but stores only frames at a time point designated by the user and transmits them to the image encoding apparatus 400 in an uncompressed format. There is no need for a matrix structure for arranging all images to be collected. Therefore, the image processing apparatus 200 does not need much computation power as much as the number of images to be processed is reduced, .

도 4는 도 1의 일부 구성요소인 영상 인코딩 장치를 설명하는 도면이다.FIG. 4 is a view for explaining an image encoding apparatus which is a part of FIG. 1. FIG.

도 4를 참고하면, 영상 인코딩 장치(400)는 자신에게 할당된 복수의 영상 처리 장치(200)에서 전송되는 동일 시점의 비압축 영상 데이터들을 하나의 GOP 단위로 인코딩하여 영상화 처리 작업을 수행한다. Referring to FIG. 4, the image encoding apparatus 400 encodes the uncompressed image data of the same time point transmitted from the plurality of image processing apparatuses 200 assigned thereto, in units of one GOP, and performs image processing.

실감 영상 서비스는 싱크뷰 영상, 타임 슬라이스 영상, 옴니뷰 영상, 가상현실 영상을 포함하는 것으로서, 본 발명의 다시점 카메라를 이용한 실감 영상 서비스 제공 시스템이 야구 경기장에 적용된 경우에 싱크뷰 영상은 시청자가 선수의 관점에서 경기를 볼 수 있는 서비스이고, 타임슬라이스 영상은 경기를 다양한 각도로 볼 수 있는 서비스이며, 옴니뷰 영상은 시청자가 원하는 선수의 영상을 골라볼 수 있는 서비스이다.The reality image service includes a sink view image, a time slice image, an omni view image, and a virtual reality image. When the real image service provision system using the multi-view camera of the present invention is applied to a baseball field, The time slice video is a service to view the game from various angles, and the omni view video is a service that allows viewers to select a video of a desired player.

특히, 타임 슬라이스 영상은 시청자가 원하는 시점(또는 각도)에 맞춰 실감나게 경기를 관람할 수 있다. 영상 인코딩 장치(400)에 전송되는 프레임들은 동일 시간대에 서로 다른 위치에서 촬영된 프레임들이 카메라별로 정렬된 것이다. 즉, 도 3에 도시된 바와 같이, 빨간색으로 표기된 프레임들과 파란색으로 표기된 프레임들은 화면이 정지된 상태에서 회전하면서 디코딩된 프레임을 카메라별로 수집하여 정렬한 것이고, 노란색으로 표기된 프레임들은 플레이 진행시 회전하면서 보는 디코딩된 프레임을 카메라별로 수집하여 정렬한 것이다. 따라서, 영상 인코딩 장치(400)는 모든 카메라에서 수집된 동일 시간대의 화면을 하나의 정크 영상으로 저장한다. Particularly, the time slice video can watch the game realistically in accordance with the viewpoint (or angle) desired by the viewer. The frames transmitted to the video encoding apparatus 400 are frames in which frames photographed at different positions in the same time zone are arranged by cameras. In other words, as shown in FIG. 3, red and blue frames are collected while the decoded frames are collected and arranged for each camera while the screen is stopped, and yellow frames are rotated And decoded frames are collected and sorted for each camera. Accordingly, the video encoding apparatus 400 stores the same time zone images collected from all the cameras as one junk image.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the present invention as defined by the following claims It can be understood that

100 : 복수 개의 카메라 200 : 영상 처리 장치
300 : 영상 제어 장치 400 : 영상 인코딩 장치100: plurality of cameras 200: image processing device
300: image control device 400: video encoding device

Claims (7)

서로 다른 위치에 배치되어 움직이는 객체에 대한 원시(Raw) 영상을 촬영하여 전송하는 복수 개의 카메라;
상기 카메라별로 설치되어 카메라의 촬영 제어 기능을 수행하며, 각 카메라로부터 상기 원시 영상을 실시간 수신하고, 뷰 이미지 전송 신호에 해당하는 시점의 화면 프레임을 추출하여 전송하는 복수 개의 영상 처리 장치;
상기 복수 개의 영상 처리 장치에 촬영 개시 또는 종료에 대한 촬영 제어 신호를 전송하고, 사용자가 지정한 시점의 실감 영상에 따라 뷰 이미지 전송 신호를 생성하여 상기 영상 처리 장치에 전송하는 영상 제어 장치; 및
상기 영상 처리 장치 별로 수집된 화면 프레임들을 하나의 GOP 단위로 인코딩하여 실감 영상 서비스를 제공하는 영상 인코딩 장치를 포함하는 것을 특징으로 하는 다시점 카메라를 이용한 실감 영상 서비스 제공 시스템.
A plurality of cameras disposed at different positions for capturing and transmitting a raw image of a moving object;
A plurality of image processing apparatuses installed for each of the cameras and performing an image capturing control function of the camera, receiving the original image from each camera in real time, extracting a screen frame corresponding to a view image transmission signal, and transmitting the screen frame;
An image control apparatus for transmitting a photographing control signal for starting or ending photographing to the plurality of image processing apparatuses, generating a view image transmission signal according to a sensed image at a time point designated by the user, and transmitting the generated view image transmission signal to the image processing apparatus; And
And a video encoding device that encodes the screen frames collected by the video processing device in units of one GOP to provide a real image service.
제1항에 있어서,
상기 실감 영상 서비스는 싱크뷰 영상, 타임 슬라이스 영상, 옴니뷰 영상, 가상현실 영상을 포함하는 것을 특징으로 하는 다시점 카메라를 이용한 실감 영상 서비스 제공 시스템.
The method according to claim 1,
Wherein the real image service includes a sink view image, a time slice image, an omni view image, and a virtual reality image.
제1항에 있어서,
상기 영상 처리 장치는 N(N>0)개이고,
상기 영상 인코딩 장치는 인코딩 가능한 채널 수에 따라 M(M<N)개가 구비되며,
상기 영상 제어 장치는 상기 영상 인코딩 장치의 채널 수에 맞게 상기 영상 처리 장치들을 분배하는 것을 특징으로 하는 다시점 카메라를 이용한 실감 영상 서비스 제공 시스템.
The method according to claim 1,
Wherein the image processing apparatus includes N (N > 0)
The image encoding apparatus includes M (M < N) channels according to the number of channels that can be encoded,
Wherein the image control apparatus distributes the image processing apparatuses according to the number of channels of the image encoding apparatus.
제3항에 있어서,
상기 영상 제어 장치는 각 영상 인코딩 장치에 식별번호를 부여한 후 상기 뷰 이미지 전송 신호에 사용자가 지정한 시간대의 화면 프레임 및 각 영상 처리 장치에 할당된 영상 인코딩 장치의 식별 번호를 포함하는 것을 특징으로 하는 다시점 카메라를 이용한 실감 영상 서비스 제공 시스템.
The method of claim 3,
Wherein the image control device includes a screen frame in a time zone designated by the user in the view image transmission signal after giving an identification number to each video encoding device and an identification number of a video encoding device allocated to each image processing device, Realistic video service providing system using point camera.
제1항에 있어서,
상기 영상 처리 장치는 자신과 연결된 카메라로부터 원시 영상을 수신한 후 상기 뷰 이미지 전송 신호에 따른 화면 프레임을 비압축 영상 데이터로 변경하고, 상기 변경된 비압축 영상 데이터를 상기 영상 인코딩 장치에 전송하는 것을 특징으로 하는 다시점 카메라를 이용한 실감 영상 서비스 제공 시스템.
The method according to claim 1,
Wherein the image processing apparatus receives a raw image from a camera connected to the image processing apparatus, changes the screen frame according to the view image transmission signal to uncompressed image data, and transmits the changed uncompressed image data to the image encoding apparatus A real image service providing system using a multi-view camera.
제5항에 있어서,
상기 영상 인코딩 장치는 적어도 하나 이상의 영상 처리 장치로 전송된 동일 시점의 비압축 영상 데이터들을 하나의 GOP 단위로 인코딩하여 영상화 처리 작업을 수행하는 것을 특징으로 하는 다시점 카메라를 이용한 실감 영상 서비스 제공 시스템.
6. The method of claim 5,
Wherein the image encoding apparatus encodes the uncompressed image data of the same point of time transmitted to at least one image processing apparatus in a unit of GOP to perform an image processing operation.
제1항에 있어서,
상기 영상 처리 장치는,
상기 카메라로부터 실시간 통신 프로토콜을 통해 원시 영상을 수신하는 리시버;
상기 리시버에서 수신된 원시 영상에 타임스탬프 정보를 포함시키는 타임스탬프 동기화기;
상기 뷰 이미지 전송 신호에 따라 상기 원시 영상에서 사용자가 지정한 시점의 화면 프레임을 추출하여 비압축 영상 데이터로 변환하는 디코더; 및
상기 디코더에서 변환된 비압축 영상 데이터를 스트림으로 완성하여 전송하는 센더(Sender)를 포함하는 것을 특징으로 하는 다시점 카메라를 이용한 실감 영상 서비스 제공 시스템.The method according to claim 1,
The image processing apparatus comprising:
A receiver for receiving a raw image from the camera over a real-time communication protocol;
A timestamp synchronizer for including timestamp information in a raw image received at the receiver;
A decoder for extracting a screen frame at a time point designated by the user in the source image according to the view image transmission signal and converting the screen frame into uncompressed image data; And
And a sender for transmitting the converted uncompressed image data from the decoder to the stream, and transmitting the stream to the real image service providing system using the multi-view camera.
KR1020170119340A 2017-09-18 2017-09-18 video service providing system using multi-view camera KR20190032670A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170119340A KR20190032670A (en) 2017-09-18 2017-09-18 video service providing system using multi-view camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170119340A KR20190032670A (en) 2017-09-18 2017-09-18 video service providing system using multi-view camera

Publications (1)

Publication Number Publication Date
KR20190032670A true KR20190032670A (en) 2019-03-28

Family

ID=65908184

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170119340A KR20190032670A (en) 2017-09-18 2017-09-18 video service providing system using multi-view camera

Country Status (1)

Country Link
KR (1) KR20190032670A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210034858A (en) * 2019-09-23 2021-03-31 김성현 Personalized live broadcasting system
KR102273439B1 (en) * 2019-12-31 2021-07-06 씨제이포디플렉스 주식회사 Multi-screen playing system and method of providing real-time relay service
CN113900572A (en) * 2021-09-02 2022-01-07 北京大学深圳研究生院 Video data processing method, decoding apparatus, encoding apparatus, and storage medium

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101649752B1 (en) 2014-05-16 2016-08-19 주식회사 이에스엠연구소 Generating method for multiview image using interface with image matrix and generating system for multiview image

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101649752B1 (en) 2014-05-16 2016-08-19 주식회사 이에스엠연구소 Generating method for multiview image using interface with image matrix and generating system for multiview image

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210034858A (en) * 2019-09-23 2021-03-31 김성현 Personalized live broadcasting system
KR102273439B1 (en) * 2019-12-31 2021-07-06 씨제이포디플렉스 주식회사 Multi-screen playing system and method of providing real-time relay service
CN113900572A (en) * 2021-09-02 2022-01-07 北京大学深圳研究生院 Video data processing method, decoding apparatus, encoding apparatus, and storage medium

Similar Documents

Publication Publication Date Title
US10003741B2 (en) System for processing data from an omnidirectional camera with multiple processors and/or multiple sensors connected to each processor
CN107615338B (en) Methods and apparatus for generating and using reduced resolution images and/or transmitting such images to playback or content distribution devices
JP7045856B2 (en) Video transmission based on independent coded background update
US9843725B2 (en) Omnidirectional camera with multiple processors and/or multiple sensors connected to each processor
US20200236323A1 (en) Method and system for combining multiple area-of-interest video codestreams into a combined video codestream
CN107592548B (en) Image acquisition device and image transmission method for real-time panoramic live broadcast shooting
KR101528863B1 (en) Method of synchronizing tiled image in a streaming service providing system of panoramic image
CN107211081B (en) Video transmission based on independently coded background updates
KR20150083012A (en) Method and Apparatus for Generating Single Bit Stream from Multiple Video Stream
KR102025157B1 (en) System and method for transmitting a plurality of video image
KR20190032670A (en) video service providing system using multi-view camera
CN106412617A (en) Remote debugging control method and device
CN110741648A (en) Transmission system for multi-channel portrait and control method thereof, multi-channel portrait playing method and device thereof
JP2004040351A (en) Image distribution system and image distribution reproducing system
EP3687180B1 (en) A method, device and computer program
US11699462B2 (en) Method, apparatus and computer program
KR101673184B1 (en) An ip switching/routing apparatus by separated processing of sdi format image signals and the method thereof
WO2020054605A1 (en) Image display device and image processing device
KR20150079524A (en) An Transmitting Device For CCTV Video Signal
KR20150035845A (en) An IP Transmitting Device For CCTV Video Signal
CN115243076A (en) Video playing method, device and system and computer readable storage medium
Solh et al. The Mosaic Camera: Streaming, Coding and Compositing Experiments
JP2017118207A (en) Radio communication device and program
KR20150126335A (en) Camera apparatus and method for providing recorded image
KR20150051044A (en) Method and apparatus for providing multi angle video broadcasting service by sectional sceens

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application