KR101070581B1 - Video-Conference Image Making System and Control Method thereof - Google Patents

Video-Conference Image Making System and Control Method thereof Download PDF

Info

Publication number
KR101070581B1
KR101070581B1 KR1020080001906A KR20080001906A KR101070581B1 KR 101070581 B1 KR101070581 B1 KR 101070581B1 KR 1020080001906 A KR1020080001906 A KR 1020080001906A KR 20080001906 A KR20080001906 A KR 20080001906A KR 101070581 B1 KR101070581 B1 KR 101070581B1
Authority
KR
South Korea
Prior art keywords
video
videoconferencing
received
image
syntax
Prior art date
Application number
KR1020080001906A
Other languages
Korean (ko)
Other versions
KR20090076146A (en
Inventor
배태면
김경민
박현화
이중윤
황병석
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020080001906A priority Critical patent/KR101070581B1/en
Publication of KR20090076146A publication Critical patent/KR20090076146A/en
Application granted granted Critical
Publication of KR101070581B1 publication Critical patent/KR101070581B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/155—Conference systems involving storage of or access to video conference sessions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H04M11/06—Simultaneous speech and data transmission, e.g. telegraphic transmission over the same conductors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N2007/246—Bitstream transport arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 화상회의 수신영상 생성 시스템 및 그 제어방법에 관한 것으로, 화상회의 참여자의 수 및 상기 참여자의 아이디(ID)를 포함하는 화상회의 참여자 정보, 및 소정의 화상회의 관련 정보를 제공하는 화상회의 서버; 상기 화상회의 참여자의 영상을 촬영하여 영상 비트스트림을 생성하는 화상회의 단말기; 및 상기 단말기로부터 수신한 상기 영상 비트스트림으로 화상회의 수신영상에 적합한 신택스(syntax)를 생성하고, 상기 영상 비트스트림의 슬라이스 헤더 정보를 상기 화상회의 수신영상에 맞게 수정함으로써 상기 화상회의 수신영상을 생성하는 화상회의 수신영상 생성 장치를 포함하는 것을 특징으로 한다.The present invention relates to a videoconferencing receiving image generation system and a method of controlling the same. server; A video conferencing terminal for capturing an image of the video conferencing participant to generate a video bitstream; And generating a syntax suitable for a videoconferencing received image from the video bitstream received from the terminal, and modifying slice header information of the video bitstream according to the videoconferencing received image to generate the videoconferencing received image. It characterized in that it comprises a video conference receiving image generating device.

이에 의해, 화상회의 관련 연산량과 복잡도를 낮추므로써, 화상회의용 단말기 및 서버 개발 및 보급이 용이해지고, 이로써 이동이 많은 현대인의 회의 등을 통한 협력활동에 큰 편의를 제공할 수 있을 것으로 기대된다.Accordingly, by reducing the amount and complexity of videoconferencing, it is expected to facilitate development and dissemination of videoconferencing terminals and servers, thereby providing a great convenience for cooperative activities such as meetings of mobile people.

H.264, FMO, 신택스(syntax), 슬라이스(slice) H.264, FMO, syntax, slice

Description

화상회의 수신영상 생성 시스템 및 그 제어방법{Video-Conference Image Making System and Control Method thereof}Video conferencing image generation system and control method {Video-Conference Image Making System and Control Method

본 발명은 화상회의 수신영상 생성 시스템 및 그 제어방법에 관한 것으로, 바람직하게는, 화상회의 수신영상을 생성하기 위해 단말기로부터 수신한 영상 비트스트림의 복호화 및 복호화된 영상의 압축을 위한 재부호화하는 과정을 거치지 않고 생략할 수 있는 화상회의 수신영상 생성 시스템 및 그 제어방법에 관한 것이다.The present invention relates to a system for generating a videoconferencing received image and a method of controlling the same, and preferably, a process of decoding an image bitstream received from a terminal to generate a videoconferencing received image and recoding the decoded image. The present invention relates to a videoconferencing receiving image generating system which can be omitted without going through the same, and a control method thereof.

현재 모바일 환경에서 다자간 화상회의를 위한 시스템은 각 모바일 단말기와 화상회의 서버로 구성되어 있다. 두 명 이상이 화상회의에 참석하는 경우, 참석자 가운데 발언자가 선택되고 모든 화상회의 참석자에게 발언자의 영상이 전송되는 방식이 초기단계에 개발되었다. 이 방식은 화상회의 서버가 발언자 선택 및 선택된 발언자의 영상을 다른 사용자에게 중계하는 기능을 요구하므로 낮은 연산량과 복잡도의 문제가 있었다.Currently, a system for multi-party video conferencing in a mobile environment consists of a mobile terminal and a video conferencing server. When two or more participants attended a videoconference, an early stage was developed in which a speaker was selected from the participants and the video of the speaker was transmitted to all videoconference participants. This method has a problem of low computational complexity and complexity because the video conferencing server requires a function of selecting a speaker and relaying the selected speaker's image to other users.

그러나, 참석자가 5명 이하의 소규모 화상회의의 경우, 참석자 모두의 영상 을 단말기에서 보기를 원하는 요구사항을 만족할 수 있는 방법이 필요하게 되었으며, 현재 가장 널리 알려진 방법은, 각 단말에 단말 사용자를 제외한 나머지 참여자들의 영상을 생성하기 위해, 각 단말에서 부호화한 비디오 영상을 서버에서 받아 복호화한 후 복호화된 영상을 조합하여 새로운 영상을 구성하고 이를 재부호화하여 각 사용자에게 전송하는 방식이다. 이 방법은 각 단말에 단말 사용자를 제외한 나머지 참여자의 영상을 생성하기 위해, 화상회의 영상시스템 서버에서는 여러 단말에서 받은 비디오 영상을 복호화하고, 각 수신자에게 맞는 새로운 영상을 부호화하는 비디오 부호화 서버를 필요로 하고 결과적으로 서버에서의 높은 연산량과 복호화/부호화에 따른 전송시간의 지연이 발생한다. However, in the case of small video conference with less than 5 participants, there is a need for a method that satisfies the requirement of viewing the video of all participants on the terminal. In order to generate the images of the remaining participants, a video image encoded by each terminal is received and decoded by a server, and then a new image is formed by combining the decoded images, recoded, and transmitted to each user. This method requires a video encoding server that decodes video images received from multiple terminals and encodes a new image suitable for each receiver in order to generate images of the other participants except the terminal user in each terminal. As a result, there is a delay in transmission time due to high computational amount and decoding / coding in the server.

이러한 문제점을 해결하기 위해 H.261, H.263(영상 데이터 표준의 종류) 표준의 경우, 비트스트림의 신택스를 분석하여 재부호화없이 새로운 비트스트림을 생성하는 방법이 제안되었으나, 최근 높은 부호화율로 많은 관심을 가지고 있는 H.264 표준을 이용한 화상회의 시스템에 대해서는 아직까지 기술적인 해결책이 제안되지 못하고 있는 실정이다.In order to solve this problem, the H.261 and H.263 (types of video data standards) have been proposed to generate a new bitstream without recoding by analyzing the syntax of the bitstream. For the video conferencing system using the H.264 standard, which has a lot of interest, no technical solution has been proposed.

따라서, 본 발명의 목적은, 수신한 영상의 복호화 및 복호화된 영상을 조합하여 새로운 영상을 구성하기 위한 재부호화 과정을 생략할 수 있는 화상회의 수신영상 생성 시스템 및 그 제어방법을 제공하는 데 있다.Accordingly, it is an object of the present invention to provide a videoconferencing received image generation system and a control method thereof, which can omit a re-encoding process for composing a decoded image and combining a decoded image to form a new image.

즉, 본 발명의 목적은, 화상회의 수신영상 생성 시스템에 있어서, 화상회의 참여자의 수 및 상기 참여자의 아이디(ID)를 포함하는 화상회의 참여자 정보, 및 소정의 화상회의 관련 정보를 제공하는 화상회의 서버; 상기 화상회의 참여자의 영상을 촬영하여 영상 비트스트림을 생성하는 화상회의 단말기; 및 상기 단말기로부터 수신한 상기 영상 비트스트림으로 화상회의 수신영상에 적합한 신택스(syntax)를 생성하고, 상기 영상 비트스트림의 슬라이스 헤더 정보를 상기 화상회의 수신영상에 맞게 수정함으로써 상기 화상회의 수신영상을 생성하는 화상회의 수신영상 생성 장치를 포함하는 것을 특징으로 하는 화상회의 수신영상 생성 시스템 및 그 제어방법을 제공한다.That is, an object of the present invention is a videoconferencing system for providing videoconferencing participant information including the number of videoconferencing participants and ID of the participant, and predetermined videoconferencing related information in a videoconferencing receiving image generating system. server; A video conferencing terminal for capturing an image of the video conferencing participant to generate a video bitstream; And generating a syntax suitable for a videoconferencing received image from the video bitstream received from the terminal, and modifying slice header information of the video bitstream according to the videoconferencing received image to generate the videoconferencing received image. Provided is a videoconferencing receiving image generating system, and a control method thereof, comprising a videoconferencing receiving image generating apparatus.

또한, 본 발명의 목적은, 상기 단말기로부터 수신한 상기 영상 비트스트림을 기초로 상기 화상회의 수신영상에 적합한 상기 신택스를 생성하는 신택스 생성부;상기 단말기로부터 수신한 상기 영상 비트스트림의 상기 슬라이스 헤더 정보를 상기 화상회의 수신영상에 맞게 수정하는 신택스 변환부; 및 상기 단말기에 의해 생성된 상기 영상 비트스트림, 상기 신택스 생성부에 의해 생성된 상기 화상회의 수신영상에 적합한 상기 신택스, 상기 신택스 변환부에 의해 수정된 상기 슬라이스 헤더 정보, 및 수정된 상기 슬라이스 헤더 정보에 맞도록 생성한 헤더 정보를 먹싱(muxing)하여 상기 화상회의 수신영상을 나타내는 비트스트림을 생성하는 영상 데이터 먹스를 포함하는 것을 특징으로 하는 상기 화상회의 수신영상 생성 장치를 제공하는 데 있다.In addition, an object of the present invention, a syntax generation unit for generating the syntax suitable for the video conference received image based on the video bitstream received from the terminal; the slice header information of the video bitstream received from the terminal A syntax converting unit configured to modify a video record according to the received video conferencing image; And the video bitstream generated by the terminal, the syntax suitable for the videoconferencing received image generated by the syntax generator, the slice header information modified by the syntax converter, and the modified slice header information. And a video data mux for muxing the header information generated so as to generate a bitstream indicating the video conference received image.

상기 목적을 성취하기 위하여, 본 발명의 제1 측면에 따른 화상회의 수신영상 생성 시스템은, 화상회의 참여자의 수 및 상기 참여자의 아이디(ID)를 포함하는 화상회의 참여자 정보, 및 소정의 화상회의 관련 정보를 제공하는 화상회의 서버;상기 화상회의 참여자의 영상을 촬영하여 영상 비트스트림을 생성하는 화상회의 단말기; 및 상기 단말기로부터 수신한 상기 영상 비트스트림으로 화상회의 수신영상에 적합한 신택스(syntax)를 생성하고, 상기 영상 비트스트림의 슬라이스 헤더 정보를 상기 화상회의 수신영상에 맞게 수정함으로써 상기 화상회의 수신영상을 생성하는 화상회의 수신영상 생성 장치를 포함한다.In order to achieve the above object, the videoconferencing receiving image generating system according to the first aspect of the present invention comprises videoconferencing participant information including the number of videoconferencing participants and the ID of the participant, and a predetermined videoconferencing association. Video conferencing server for providing information; Video conferencing terminal for taking a video of the video conferencing participants to generate a video bitstream; And generating a syntax suitable for a videoconferencing received image from the video bitstream received from the terminal, and modifying slice header information of the video bitstream according to the videoconferencing received image to generate the videoconferencing received image. And a video conference reception image generating device.

바람직하게, 또한, 상기 화상회의 수신영상 생성 장치는, 상기 단말기로부터 수신한 상기 영상 비트스트림을 기초로 상기 화상회의 수신영상에 적합한 상기 신택스를 생성하는 신택스 생성부; 상기 단말기로부터 수신한 상기 영상 비트스트림의 상기 슬라이스 헤더 정보를 상기 화상회의 수신영상에 맞게 수정하는 신택스 변환부; 및 상기 단말기에 의해 생성된 상기 영상 비트스트림, 상기 신택스 생성부에 의해 생성된 상기 화상회의 수신영상에 적합한 상기 신택스, 상기 신택스 변환부에 의해 수정된 상기 슬라이스 헤더 정보, 및 수정된 상기 슬라이스 헤더 정보에 맞도록 생성한 헤더 정보를 먹싱(muxing)하여 상기 화상회의 수신영상을 나타내는 비트스트림을 생성하는 영상 데이터 먹스를 포함하는 것을 특징으로 할 수 있다.Preferably, the apparatus for generating a videoconferencing received image further comprises: a syntax generator for generating the syntax suitable for the videoconferencing received image based on the video bitstream received from the terminal; A syntax converter configured to modify the slice header information of the video bitstream received from the terminal according to the received video conferencing video; And the video bitstream generated by the terminal, the syntax suitable for the videoconferencing received image generated by the syntax generator, the slice header information modified by the syntax converter, and the modified slice header information. And muxing the header information generated so as to generate a bitstream representing the video conference received image.

바람직하게, 게다가, 상기 신택스 생성부는, 상기 화상회의 서버로부터 제공받은 상기 화상회의 참여자의 수에 따라 상기 화상회의 수신영상을 구성할 슬라이스 개수 및 상기 슬라이스의 크기를 결정하는 것을 특징으로 할 수 있다.Preferably, the syntax generator may determine the number of slices and the size of the slices that will constitute the videoconferencing received image according to the number of participants in the videoconferencing provided from the videoconferencing server.

바람직하게, 더욱이, 신택스 변환부는, 상기 단말기로부터 수신한 상기 영상 비트스트림으로부터 헤더 정보를 제거하고, 상기 슬라이스 헤더 정보 중 매크로 블럭의 주소를 수정함으로써 생성될 상기 화상회의 수신영상의 위치를 결정하는 것을 특징으로 할 수 있다.Preferably, the syntax converter is further configured to determine the position of the video conference received image to be generated by removing header information from the video bitstream received from the terminal and modifying an address of a macro block of the slice header information. It can be characterized.

바람직하게, 한편, 상기 영상 데이터 먹스는, 상기 화상회의 참여자의 수가 상기 슬라이스 개수보다 적은 경우, 상기 화상회의 서버로부터 제공받은 상기 화상회의 관련 정보를 이용하여 부족한 참여자에 대한 영상 비트스트림을 채우는 것을 특징으로 할 수 있다.Preferably, when the number of participants in the video conference is less than the number of slices, the video data mux fills the video bitstream for the insufficient participants using the video conference related information provided from the video conference server. You can do

바람직하게, 여기서, 상기 부족한 참여자에 대한 영상 비트스트림을 채우는데 이용되는 상기 화상회의 관련 정보는, 기설정된 영상 및 기설정된 회의관련 메시지를 나타내는 데이터 중 어느 하나인 것을 특징으로 할 수 있다.Preferably, the videoconferencing related information used to fill the video bitstream for the insufficient participant may be any one of a preset video and data representing a preset conference related message.

상기 목적을 성취하기 위하여, 본 발명의 제2 측면에 따른 휴대용 단말기의 컨텐츠 관리 장치는, 화상회의 참여자의 수 및 상기 참여자의 아이디(ID)를 포함하는 화상회의 참여자 정보, 및 소정의 화상회의 관련 정보를 제공하는 사용자 정보부; 화상회의 단말기로부터 수신한 상기 참여자의 영상 비트스트림을 기초로 화상회의 수신영상에 적합한 신택스(syntax)를 생성하는 신택스 생성부; 상기 참여자의 영상 비트스트림의 슬라이스 헤더 정보를 상기 화상회의 수신영상에 맞게 수정하는 신택스 변환부; 및 상기 참여자의 영상 비트스트림, 상기 신택스 생성부에 의해 생성된 상기 화상회의 수신영상에 적합한 상기 신택스, 상기 신택스 변환부에 의해 수정된 상기 슬라이스 헤더 정보, 및 수정된 상기 슬라이스 헤더 정보에 맞도록 생성된 헤더 정보를 먹싱(muxing)하여 상기 화상회의 수신영상을 나타내는 비트스트림을 생성하는 영상 데이터 먹스를 포함한다.In order to achieve the above object, the content management apparatus of the portable terminal according to the second aspect of the present invention, the video conferencing participant information including the number of video conferencing participants and the ID (ID) of the participant, and the predetermined video conferencing A user information unit for providing information; A syntax generator configured to generate a syntax suitable for a video conference reception image based on the video bitstream of the participant received from the video conference terminal; A syntax converter configured to modify slice header information of the participant's video bitstream according to the video conference reception image; And a video bitstream of the participant, the syntax suitable for the video conference reception image generated by the syntax generator, the slice header information modified by the syntax converter, and the modified slice header information. And muxing the header information to generate a bitstream representing the videoconferencing received image.

바람직하게, 또한, 상기 신택스 생성부는, 상기 사용자 정보부로부터 제공받은 상기 화상회의 참여자의 수에 따라 상기 화상회의 수신영상의 크기 및 상기 수신영상을 구성할 슬라이스 개수를 결정하는 것을 특징으로 할 수 있다.Preferably, the syntax generation unit may determine the size of the video conference reception image and the number of slices constituting the reception image according to the number of participants in the video conference provided from the user information unit.

바람직하게, 게다가, 상기 신택스 변환부는, 상기 참여자의 영상 비트스트림으로부터 헤더 정보를 제거하고, 상기 슬라이스 헤더 정보 중 매크로 블럭의 주소를 수정함으로써 생성될 상기 화상회의 수신영상의 위치를 결정하는 것을 특징으로 할 수 있다.Preferably, the syntax converter may determine the location of the video conference received image to be generated by removing header information from the video bitstream of the participant and modifying an address of a macro block of the slice header information. can do.

바람직하게, 더욱이, 상시 영상 데이터 먹스는, 상기 화상회의 참여자가 상기 슬라이스 개수보다 적은 경우, 상기 사용자 정보부로부터 제공받은 상기 화상회의 관련 정보를 이용하여 부족한 참여자에 대한 영상 비트스트림을 채우는 것을 특징으로 할 수 있다.Preferably, the continuous video data mux, if the video conferencing participant is less than the number of slices, it is characterized in that to fill the video bitstream for the insufficient participants using the video conferencing related information provided from the user information unit Can be.

바람직하게, 여기서, 상기 부족한 참여자에 대한 영상 비트스트림을 채우는 데 이용되는 상기 화상회의 관련 정보는, 기설정된 영상 데이터 및 기설정된 회의관련 메시지 중 어느 하나인 것을 특징으로 할 수 있다.Preferably, the videoconferencing related information used to fill the video bitstream for the insufficient participant may be any one of preset video data and a preset conference related message.

상기 목적을 성취하기 위하여, 본 발명의 제3 측면에 따른 화상회의 수신영상 생성 시스템의 제어방법은, 화상회의 참여자에 대한 영상 비트스트림을 생성하는 단계; 상기 영상 비트스트림을 기초로 화상회의 수신영상에 적합한 신택스(syntax)를 생성하는 단계; 상기 영상 비트스트림의 헤더 정보를 제거하는 단계; 상기 영상 비트스트림의 슬라이스 헤더 정보를 상기 화상회의 수신영상에 맞게 수정하는 단계; 수정된 상기 슬라이스 헤더 정보에 맞도록 상기 화상회의 수신영상용 헤더 정보를 생성하는 단계; 및 상기 영상 비트스트림, 상기 신택스, 수정된 상기 슬라이스 헤더 정보, 및 상기 화상회의 수신영상용 헤더 정보를 먹싱(muxing)하는 단계를 포함한다.In order to achieve the above object, a control method of a videoconferencing received image generation system according to a third aspect of the present invention comprises the steps of: generating a video bitstream for a videoconferencing participant; Generating a syntax suitable for a received video conferencing video based on the video bitstream; Removing header information of the video bitstream; Modifying slice header information of the video bitstream according to the received video conference video; Generating header information for the videoconferencing received image to conform to the modified slice header information; And muxing the video bitstream, the syntax, the modified slice header information, and the header information for the videoconferencing received image.

바람직하게, 또한, 상기 신택스를 생성하는 단계는, 상기 화상회의 참여자의 수에 따라 상기 화상회의 수신영상의 크기 및 상기 수신영상을 구성할 슬라이스 개수를 결정하는 것을 특징으로 할 수 있다.Preferably, the generating of the syntax may include determining the size of the video conference received image and the number of slices constituting the received image according to the number of participants in the video conference.

바람직하게, 게다가, 상기 슬라이스 헤더 정보를 상기 화상회의 수신영상에 맞게 수정하는 단계는, 상기 슬라이스 헤더 정보 중 매크로 블럭의 주소를 수정함으로써, 생성될 상기 화상회의 수신영상의 위치를 결정하는 것을 특징으로 할 수 있다.Preferably, the step of modifying the slice header information according to the videoconferencing image received, characterized in that for determining the position of the videoconferencing received image to be generated by modifying the address of the macro block of the slice header information. can do.

바람직하게, 게다가, 상기 먹싱하는 단계는, 상기 화상회의 참여자가 상기 슬라이스 개수보다 적은 경우, 소정의 서버로부터 제공받은 화상회의 관련 정보를 이용하여 부족한 참여자에 대한 영상 비트스트림을 채우는 것을 특징으로 할 수 있다.Preferably, the muxing may include, when the video conferencing participant is smaller than the number of slices, fill the video bitstream for the insufficient participant using video conferencing related information provided from a predetermined server. have.

바람직하게, 여기서, 상기 부족한 참여자에 대한 영상 비트스트림을 채우는데 이용되는 상기 화상회의 관련 정보는, 기설정된 영상 데이터 및 기설정된 회의관련 메시지 중 어느 하나인 것을 특징으로 할 수 있다.Preferably, the videoconferencing related information used to fill the video bitstream for the insufficient participant may be any one of preset video data and a preset conference related message.

상기 수단에 의한 본 발명에 따르면, 화상회의 단말기로부터 수신한 영상의 복호화 및 복호화된 영상을 조합하여 새로운 영상을 구성하기 위한 재부호화 과정없이 화상회의 수신영상을 나타내는 비트스트림을 생성할 수 있다.According to the present invention by the above means, it is possible to generate a bitstream representing the received video conference video without re-encoding process for composing a new video by combining the decoded video and the decoded video received from the video conference terminal.

이에 의해, 화상회의 관련 연산량과 복잡도를 낮춤으로써, 화상회의용 단말기 및 서버 개발 및 보급이 용이해지고, 이로써 이동이 많은 현대인의 회의 등을 통한 협력활동에 큰 편의를 제공할 수 있을 것으로 기대된다.As a result, by reducing the amount and complexity of video conferencing, it is expected to facilitate development and dissemination of video conferencing terminals and servers, thereby providing great convenience for cooperative activities such as meetings of modern people with high mobility.

본 발명에 대한 구체적인 설명에 앞서, 영상 데이터에 관한 H.264 표준에 대하여 간략히 설명하기로 한다.Prior to the detailed description of the present invention, the H.264 standard for image data will be briefly described.

H.264에서는 영상을 16x16 크기의 픽셀로 구성된 매크로블록을 정의하고, 각 영상의 프레임은 레스터 스캔(Raster Scan)방향으로 각 매크로블록단위로 부호화가 수행된다. 이 때 높은 부호화율을 얻기 위해, 먼저 부호화된 매크로블록의 정 보(움직임정보, 픽셀정보)를 이용하여 매크로블록을 부호화한다. 그러므로 이전에 부호화된 매크로블록정보가 손실되면 다음 매크로블록을 복호화 할 수 없는 문제가 생긴다. 이를 해결하기 위해 H.264에서는 영상 내에서 독립적으로 복호화 할 수 있는 하나 이상의 매크로블록의 그룹(슬라이스 그룹(slice group)이라 함)을 정의할 수 있는 FMO(Flexible Macroblock Ordering)을 제공한다. 한편, FMO에서는 슬라이스 그룹을 정의하는 방법에 따라 6가지의 type이 정의되어 있다. 이 가운데 슬라이스 그룹 타입 2(slice group type 2)는 영상내의 사각형의 영역을 슬라이스 그룹으로 정의할 수 있다. 또한, 본 발명의 대표적인 실시예의 경우에도 H.264의 FMO를 이용하여 화상회의 참석자의 영상을 각 단말기에 전송할 새로운 영상 비트스트림의 생성할 수 있다. In H.264, an image is defined as a macroblock composed of 16 × 16 pixels, and the frame of each image is encoded in units of macroblocks in a raster scan direction. At this time, in order to obtain a high coding rate, the macroblock is first encoded using information (motion information and pixel information) of the encoded macroblock. Therefore, if the previously encoded macroblock information is lost, the next macroblock cannot be decoded. To solve this problem, H.264 provides FMO (Flexible Macroblock Ordering) that can define a group of one or more macroblocks (called slice groups) that can be independently decoded in an image. In FMO, six types are defined according to a method of defining a slice group. Among these, slice group type 2 may define a rectangular area of an image as a slice group. In addition, even in an exemplary embodiment of the present invention, a new video bitstream may be generated to transmit a video conference participant's video to each terminal using the FMO of H.264.

이하, 첨부도면을 참조하여 본 발명에 대해 구체적으로 설명하기로 한다.Hereinafter, with reference to the accompanying drawings will be described in detail with respect to the present invention.

도1은 본 발명의 제1 실시예에 따른 화상회의 수신영상 생성 시스템의 블럭도이다.1 is a block diagram of a videoconferencing received image generating system according to a first embodiment of the present invention.

본 발명의 제1 실싱예에 따른 화상회의 수신영상 생성 시스템은 화상회의 서버(100), 화상회의 단말기(300), 및 화상회의 수신영상 생성 장치(500)를 포함한다. 이하, 상세한 설명에서 기재 또는 설명하는 영상 및 영상 비트스트림에 관련된 내용은 H.264표준에 따르는 것으로 하되, 바람직하게는, 화상회의 수신영상에 적합한 다른 적절한 영상 표준에 의할 수도 있음을 미리 밝혀 둔다.The videoconferencing receiving image generating system according to the first exemplary embodiment of the present invention includes a videoconferencing server 100, a videoconferencing terminal 300, and a videoconferencing receiving image generating apparatus 500. Hereinafter, the contents related to the image and the image bitstream described or described in the detailed description shall be in accordance with the H.264 standard, but it should be known in advance that it may be preferably according to another suitable image standard suitable for the received image of the video conference. .

화상회의 서버(100)는 화상회의 참여자와 관련된 정보를 제공하는 것으로, 화상회의 단말기(300, 이하 기재의 편의상 '단말기'로 기재하기로 함)로부터 수신 한 화상회의 참여자의 수 및 상기 참여자의 아이디(ID)를 포함하는 화상회의 참여자 정보를 화상회의 수신영상 생성 장치(500)에 제공할 수 있다. The videoconferencing server 100 provides information related to a videoconferencing participant, the number of videoconferencing participants received from a videoconferencing terminal 300 (hereinafter referred to as 'terminal' for convenience of description) and the ID of the participant. The videoconferencing participant information including the ID may be provided to the videoconferencing receiving image generating device 500.

또한, 화상회의 서버(100)는 소정의 화상회의 관련 정보를 제공할 수 있는데, 여기서, 소정의 화상회의 관련 정보는 화상회의 참여자의 수가 화상회의 수신영상의 슬라이스 개수보다 적은 경우 부족한 참여자에 대한 영상 비트스트림을 채우는 것과 관련된 것으로 이에 대한 상세한 설명은 후술하기로 한다.In addition, the videoconferencing server 100 may provide predetermined videoconferencing related information, wherein the predetermined videoconferencing related information is a video for a participant who is insufficient when the number of videoconferencing participants is smaller than the number of slices of the videoconferencing received image. This is related to filling the bitstream, which will be described later.

화상회의 단말기(300)는 화상회의 참여자의 영상을 촬영하여 영상 비트스트림(bit-stream)을 생성할 수 있는 휴대용 단말기 또는 컴퓨터 등이 될 수 있다.The video conferencing terminal 300 may be a portable terminal or a computer that can generate a video bit-stream by capturing an image of a video conferencing participant.

화상회의 수신영상 생성장치(500)는 화상회의 단말기(300)로부터 수신한 영상 비트스트림으로 화상회의 수신영상을 생성하는 것이다.The videoconferencing receiving image generating apparatus 500 generates the videoconferencing receiving image from the video bitstream received from the videoconferencing terminal 300.

화상회의 수신영상 생성장치(500)에 대해 더 상세하게 설명하면, 화상회의 수신영상 생성장치(500)는 신택스 생성부(510), 신택스 변환부(530), 및 영상 데이터 믹스(550)를 포함한다.In more detail with respect to the videoconferencing receiving image generating apparatus 500, the videoconferencing receiving image generating apparatus 500 includes a syntax generating unit 510, a syntax converting unit 530, and an image data mix 550. do.

신택스 생성부(510)는 단말기(300)로부터 수신한 영상 비트스트림을 기초로 화상회의 수신영상에 적합한 신택스(syntax)를 생성할 수 있다. 즉, 신택스 생성부(510)는 단말기(300)로부터 수신한 영상 비트스트림으로, 화상회의 서버(100)로부터 제공받은 화상회의 참여자의 수에 따라 화상회의 수신영상을 구성할 슬라이스(한 참여자의 구분 수신영상) 개수 및 슬라이스의 크기를 결정하여 수신영상의 크기 및 개수에 적합한 신택스(syntax)를 생성할 수 있는 것이다. The syntax generator 510 may generate a syntax suitable for the received video conferencing video based on the video bitstream received from the terminal 300. That is, the syntax generation unit 510 is a video bitstream received from the terminal 300, and a slice for constituting the received video conference video according to the number of video conference participants provided from the video conference server 100 (dividing one participant). A syntax suitable for the size and number of received images may be generated by determining the number of received images) and the size of the slice.

'슬라이스 크기를 결정하는 식'에 대해 상세히 설명하면, 화상회의 참여자 수가 x+1이고, 생성될 화상회의 수신영상의 전체 크기가 (2m) X (2n)인 경우, In detail, the expression for determining the slice size is x + 1 and the total size of the received videoconference image to be generated is (2 m ) X (2 n ).

"슬라이스 크기 결정 식 = 2(m-y) X 2(n-y) - 식(1)""Slice Sizing Formula = 2 (my) X 2 (ny)-Expression (1)"

로 나타낼 수 있다(m, n은 0보다 작은 정수, y는 y2<= x <(y+1)2, y는 정수). 예컨대, 참여자 수 5명(x=4, x는 슬라이스 개수)이고, 생성될 화상회의 수신영상의 전체 크기가 352 X 288(가로 X 세로)인 경우, 하나의 슬라이스 크기는 176 X 144(x=4이므로, y=2)로 나타낼 수 있을 것이다.(M, n is an integer less than 0, y is y 2 <= x <(y + 1) 2, y is an integer). For example, if the number of participants is 5 (x = 4, x is the number of slices) and the total size of the received video conference to be generated is 352 X 288 (horizontal X vertical), one slice size is 176 X 144 (x = 4, so y = 2).

여기서, 신택스(syntax)는 데이터 구조 또는 데이터 체계라는 뜻으로, 이하에서는 화상회의 수신영상을 구성하는 헤더 정보, 영상 비트 스트림의 슬라이스 헤더 정보, 및 슬라이스 데이터(단말기(300)로부터 수신한 화상회의 참여자에 대한 영상 비트스트림으로 생성한 참여자 한 명에 대한 구분 수신영상을 나타내는 데이터)를 제외한 것을 의미하는 것으로 한다.Here, syntax means a data structure or a data system, hereinafter, header information constituting a videoconferencing received image, slice header information of a video bit stream, and slice data (videoconferencing participant received from the terminal 300). It means that the data representing the divided reception image for one participant generated as a video bitstream for the ().

화상회의 단말기용 표준으로 주로 사용되는 H.264 신택스(syntax)에 대해 설명하면, H.264 신택스(syntax) 중 필수적인 것은 시퀀스 파라미터 셋(Sequence parameter set, SPS), 픽처 파라미터 셋(Picture parameter set, PPS)으로, 이 파라미터 셋들은 생성될 화상회의 수신영상의 비트스트림에 맞추어 둔다. 시퀀스 파라미터 셋은, 단말기(300)로부터 수신한 영상 비트스트림의 시퀀스 파라미터 셋의 영상 크기 정보를 수정함으로써 생성할 수 있다.When describing the H.264 syntax that is mainly used as a standard for video conferencing terminals, the essential elements of the H.264 syntax are sequence parameter set (SPS), picture parameter set (Picture parameter set). PPS), these parameter sets are set in accordance with the bitstream of the received video conferencing video to be generated. The sequence parameter set may be generated by modifying image size information of the sequence parameter set of the image bitstream received from the terminal 300.

픽처 파라미터 셋에서 H.264의 FMO와 관련하여 설정해야 하는 값이 있는데, 이는 표1을 참조하여 설명하기로 한다.There is a value to be set in relation to the FMO of H.264 in the picture parameter set, which will be described with reference to Table 1.

Figure 112008001266164-pat00001
Figure 112008001266164-pat00001

표1은 픽처 파라미터 셋(Picture parameter set, PPS)의 신택스(syntax)를 나타낸다. 그 중 slice_group_map_type은 각각 슬라이스 그룹 타입(slice group type)을 가리키고, 화상회의의 참가자 수에 따라 결정되는 num _slice_groups_ minus1은 슬라이스의 개수를 설정하는 값을 나타낸다. 여기서, 슬라이스 그룹 타입(slice group type)을 나타내는 slice_group_map_type 은 화상회의 참가자수가 3명 이상이면 2(type 2), 아니면 0 (type 0)으로 설정하고, 슬라이스 그룹 개수를 나타내는 num_slice_groups_minus1은 '슬라이스(한 참여자의 구분 수신영상) 크기를 구하는 식(1)'로부터 계산될 수 있으며, 슬라이스 개수보다 1이 작은 값(전술한 식(1)에서는, (y+1)2 - 1)이 기록될 수 있다(본인 제외 하므로).Table 1 shows syntax of a picture parameter set (PPS). Among slice_group_map_type denotes a slice group type (group slice type), respectively, num minus1 _slice_groups_ determined according to the number of participants of the video conference represents a value used to set the number of slices. Here, slice_group_map_type , which represents a slice group type, is set to 2 (type 2) or 0 (type 0) when the number of video conference participants is 3 or more, and num_slice_groups_minus1, which represents the number of slice groups, is' slice (one participant). Can be calculated from Equation (1) 'to obtain the size of the divided received image, and a value 1 smaller than the number of slices (in Equation (1) described above, (y + 1) 2-1 ) can be recorded ( Exclude yourself).

또한, 각 단말기(300)에서 받은 영상이 생성될 화상회의 수신영상 중에서 표시될 위치정보가 top_left[iGroup], bottom_right[iGroup]에 저장되는데, top_left와 bottom_right는 단말기에서 받은 영상의 첫 번째와 마지막 매크로 블럭이 생성될 화상회의 수신영상에서의 매핑되는 위치에서의 시작 매크로블럭 주소와 마지막 매크로 블록주소를 나타내며, iGroup은 하나 이상의 단말기 영상을 구분해주는 인덱스로 각 슬라이스를 구분해주는 기능을 할 수 있다.In addition, the position information to be displayed among the video conferencing received images from which the image received from each terminal 300 is to be generated is stored in top_left [iGroup] and bottom_right [iGroup]. A start macroblock address and a last macroblock address at a mapped position in a video conference reception image to be generated are represented, and an iGroup may serve to distinguish each slice by an index for distinguishing one or more terminal images.

신택스 변환부(530)는 단말기(300)로부터 수신한 영상 비트스트림의 슬라이스 헤더 정보를 생성될 화상회의 수신영상에 맞게 수정하는 것이다. 영상 비트스트림의 슬라이스 헤더 정보 수정에 대해서는 표1을 참조하여 설명하기로 한다.The syntax converter 530 modifies the slice header information of the video bitstream received from the terminal 300 according to the received video conference video. Modification of the slice header information of the video bitstream will be described with reference to Table 1.

Figure 112008001266164-pat00002
Figure 112008001266164-pat00002

표1은 H.264 표준에 의한 슬라이스 헤더(slice header)의 신택스를 나타낸다. Table 1 shows the syntax of the slice header according to the H.264 standard.

first_mb_in_slice는 슬라이스 데이터에서 첫 번째로 부호화된 매크로 블럭의 주소를 가리킨다. first_mb_in_slice는 영상을 래스터 스캔(Raster Scan)할 때 매크로 블럭의 순서를 나타내는 값으로, 예컨대, 각 단말기에서 FMO를 사용하지 않고 부호화한다고 가정하는 경우에는 단말기(300)로부터 수신한 영상 비트스트림의 슬라이스 헤더의 시작 매크로 블럭 주소값은 '0' 이다. first_mb_in_slice indicates the address of the first encoded macroblock in the slice data. first_mb_in_slice is a value representing the order of macroblocks when raster scans an image. For example, when a terminal is encoded without using an FMO, a slice header of an image bitstream received from the terminal 300 is obtained. The starting macroblock address of is '0'.

그러나, 단말기(300)로부터 수신한 영상 비트스트림은 생성될 화상회의 수신영상에 대한 비트스트림 중 일부 슬라이스로 포함되므로, 시작 매크로 블럭의 주소값도 생성될 화상회의 수신영상 내에서의 위치에 따라 수정되어야 한다. 일례로, 참여자 5명에 대하여 화상회의 수신영상을 만드는 경우(본인 제외하고 십자 형태로 4 분할)에 대해 설명하기로 한다. 우측 상단면에 두 번째 단말기의 참여자의 영상을 보여주고자 하는 경우 생성될 화상회의 수신영상의 크기가 (2m) X (2n)라면, 우측 상단면에 두 번째 단말기의 참여자의 영상의 시작 매크로 블럭의 주소값은 (2m-5)-1 이 될 수 있다. 따라서, 단말기(300)로부터 수신한 영상 비트스트림의 슬라이스 헤더의 시작 매크로 블럭 주소값 '0'을, 두 번째 단말기의 참여자에 대한 영상의 시작 매크로 블럭의 주소값은 (2m-5)-1 으로 수정해야 하는데, 신택스 변환부(530)가 이러한 시작 매크로 블럭의 주소값을 수정하는 기능을 할 수 있다.However, since the video bitstream received from the terminal 300 is included as some slices of the bitstream for the videoconferencing received video to be generated, the address value of the start macroblock is also corrected according to the position in the videoconferencing received video to be generated. Should be. As an example, a case in which a video conferencing received image is made for five participants (four divisions in the form of a cross except for the person) will be described. If you want to show the video of the participant of the second terminal on the upper right side If the size of the video conference reception video to be generated is (2 m ) X (2 n) , the start of the video of the participant of the second terminal on the upper right side The address of a macroblock can be (2 m-5 ) -1. Therefore, the start macroblock address value '0' of the slice header of the video bitstream received from the terminal 300 and the start macroblock address value of the video for the participant of the second terminal are (2 m-5 ) -1. The syntax converter 530 may function to modify the address value of the start macroblock.

영상 데이터 먹스(550)는 화상회의 수신영상을 나타내는 비트스트림을 생성하는 것으로, 신택스 변환부(530)에 의해 수정된 슬라이스 헤더 정보에 맞도록 헤더 정보를 생성하여, 단말기(300)에 의해 생성된 영상 비트스트림, 신택스 생성부(510)에 의해 생성된 화상회의 수신영상에 적합한 신택스, 및 신택스 변환부(530)에 의해 수정된 슬라이스 헤더 정보와 함께 먹싱(muxing)할 수 있다.The video data mux 550 generates a bitstream representing a video conference reception image. The video data mux 550 generates header information corresponding to the slice header information modified by the syntax converter 530 and is generated by the terminal 300. The video bitstream, the syntax suitable for the received video conference video generated by the syntax generator 510, and the slice header information modified by the syntax converter 530 may be muxed.

또한, 영상 데이터 먹스(550)는, 화상회의 참여자의 수가 화상회의 수신영상을 구성할 슬라이스 개수보다 적은 경우, 부족한 참여자에 대한 영상 비트스트림을 채울 수도 있다. 이 경우, 화상회의 서버(100)로부터 소정의 화상회의 관련 정보를 제공받아 부족한 참여자에 대한 영상 비트스트림을 대신하였다. 여기서, 화상회의 관련 정보는 기설정된 영상 또는 기설정된 회의관련 메시지를 나타내는 데이터를 의미하는 것으로, 부족한 참여자에 대한 영상 비트스트림 대신 기설정된 영상 또는 기설정된 회의관련 메시지를 나타내는 데이터를 영상 데이터 먹스(550)가 이용하는 것이다. 기설정된 영상 또는 기설정된 회의관련 메시지는, 부족 참여자에 대한 부재 메시지 또는 회의 관련 주요 내용(목차, 간단 내용 등)이 될 수 있을 것이다.In addition, the video data mux 550 may fill a video bitstream for insufficient participants when the number of participants in the video conference is smaller than the number of slices that will constitute the video conference received image. In this case, the video bitstream for the lacking participant was provided by receiving the videoconferencing related information from the videoconferencing server 100. Here, the video conferencing related information refers to data representing a predetermined video or a predetermined meeting related message. The video data mux 550 represents data representing a predetermined video or a predetermined meeting related message instead of a video bitstream for insufficient participants. ) Is to use. The preset video or the preset meeting-related message may be an absence message for the tribal participant or the main contents of the conference (content, brief content, etc.).

도2는 본 발명의 제2 실시예에 따른 화상회의 수신영상 생성 장치의 블럭도이다. 2 is a block diagram of an apparatus for generating a video conference received video according to a second embodiment of the present invention.

본 발명의 제2 실시예에 따른 화상회의 수신영상 생성 장치(600)는 사용자 정보부(620), 신택스 생성부(640), 신택스 변환부(660), 및 영상 데이터 먹스(680)를 포함한다.The videoconferencing receiving image generating device 600 according to the second embodiment of the present invention includes a user information unit 620, a syntax generating unit 640, a syntax converting unit 660, and an image data mux 680.

제2 실시예는, 도1을 참조하여 설명한 제1 실시예에서는 화상회의 수신영상 생성 장치와는 별도로 구현한 화상회의 서버(100)를 화상회의 수신영상 생성 장치내의 사용자 정보부(620)로 구현한 것에만 차이가 나고, 신택스 생성부(510, 640), 신택스 변환부(530, 660), 및 영상 데이터 먹스(550, 680)는 모두 제1 실시예에서와 동일하므로, 이에 대한 상세한 설명은 도1을 참조하여 전술한 내용으로 대신하기로 한다.According to the second embodiment, in the first embodiment described with reference to FIG. 1, the videoconferencing server 100 implemented separately from the videoconferencing receiving image generating device is implemented by the user information unit 620 in the videoconferencing receiving image generating device. Only, and the syntax generators 510 and 640, the syntax converters 530 and 660, and the image data muxes 550 and 680 are all the same as in the first embodiment. With reference to 1 will be replaced by the above description.

도3은 본 발명의 실시예들에 따른 화상회의 수신영상 생성 시스템(장치)의 제어방법에 관한 순서도이다.3 is a flowchart of a control method of a videoconferencing received image generating system (device) according to embodiments of the present invention.

이하, 도3을 참조하여, 본 발명의 실시예들에 따른 화상회의 수신영상 생성 시스템(장치)의 제어방법의 동작순서에 대해 설명하기로 한다(부호는 도1의 화상회의 수신영상 생성 시스템에 따름).Hereinafter, an operation procedure of a control method of a videoconferencing received image generating system (device) according to embodiments of the present invention will be described with reference to FIG. Follow).

화상회의 참여자의 영상을 촬영하여 영상 비트스트림을 생성한다(S101).An image bitstream is generated by capturing an image of a video conference participant (S101).

생성된 영상 비트스트림을 기초로 화상회의 수신영상에 적합한 신택스(syntax)를 생성한다(S102). 여기서, 신택스(syntax)는, 화상회의 참여자의 수(화상회의 서버(100))에 따라 결정되는 상기 화상회의 수신영상의 크기 및 상기 수신영상을 구성할 슬라이스 개수에 맞도록 생성될 수 있다. Based on the generated video bitstream, a syntax suitable for the received video conference video is generated (S102). The syntax may be generated to match the size of the videoconferencing received image determined according to the number of videoconferencing participants (video conferencing server 100) and the number of slices to construct the received video.

생성된 영상 비트스트림의 헤더 정보를 제거한다(S103).The header information of the generated video bitstream is removed (S103).

생성된 영상 비트스트림의 헤더 정보를, 화상회의 수신연상에 맞게 수정한다(S104). 여기서, 영상 비트스트림의 헤더 정보는, 슬라이스 헤더 정보 중 매크로 블럭의 주소를 수정함으로써, 화상회의 수신영상의 위치를 결정함으로써 수정할 수 있다.The header information of the generated video bitstream is modified to match the reception of videoconferencing (S104). Here, the header information of the video bitstream can be corrected by determining the position of the received video conference video by modifying the address of the macro block in the slice header information.

수정된 슬라이스 헤더 정보에 맞추어, 화상회의 수신영상용 헤더 정보를 생성한다(S105).According to the modified slice header information, header information for a videoconferencing received image is generated (S105).

영상 비트스트림, 신택스, 수정된 슬라이스 헤더 정보, 및 화상회의 수신영상용 헤더 정보를 먹싱(muxing)하여 화상회의 수신영상을 나타내는 비트스트림을 합성한다(S106). 여기서, 먹싱(muxing)은, 화상회의 참여자가 슬라이스 개수보다 적은 경우, 소정의 서버(화상회의 서버(100))로부터 제공받은 화상회의 관련 정보를 이용하여 부족한 참여자에 대한 영상 비트스트림을 채울 수 있다.The video bitstream, the syntax, the modified slice header information, and the header information for the videoconferencing received image are muxed to synthesize a bitstream representing the videoconferencing received image (S106). Here, muxing may fill a video bitstream for insufficient participants using video conferencing related information provided from a predetermined server (video conferencing server 100) when the number of video conferencing participants is smaller than the number of slices. .

도4는 본 발명의 실시예들에 따른 화상회의 수신영상 생성 시스템(장치)에 의해 생성되는 비트스트림에 대한 설명도이다.4 is an explanatory diagram of a bitstream generated by a videoconferencing received image generating system (device) according to embodiments of the present invention.

도시된 SPS 및 PPS는 시퀀스 파라미터 셋(Sequence parameter set) 및 픽처 파라미터 셋(Picture parameter set)을 나타내고, 슬라이스(n)은 n 번째 화상회의 참가자의 특정 프레임에서의 슬라이스 데이터를 나타내는 것이다. 즉, 도4에서는 한 프레임에 4명의 화상회의 참여자에 대한 슬라이스가 인터리빙(interliving)되어 있다.The illustrated SPS and PPS represent a sequence parameter set and a picture parameter set, and the slice n represents slice data in a specific frame of an n th video conference participant. That is, in FIG. 4, slices of four video conference participants are interleaved in one frame.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the present invention as defined by the following claims It can be understood that

본 발명은 화상회의 수신영상 생성 시스템 및 그 제어방법에 관한 것으로, 바람직하게는, 화상회의 수신영상을 생성하기 위해 단말기로부터 수신한 영상 비트스트림의 복호화 및 복호화된 영상의 압축을 위한 재부호화하는 과정을 거치지 않고 생략할 수 있는 화상회의 수신영상 생성 시스템 및 그 제어방법에 관한 것이다.The present invention relates to a system for generating a videoconferencing received image and a method of controlling the same, and preferably, a process of decoding an image bitstream received from a terminal to generate a videoconferencing received image and recoding the decoded image. The present invention relates to a videoconferencing receiving image generating system which can be omitted without going through the same, and a control method thereof.

본 발명에 따르면, 화상회의 단말기로부터 수신한 영상의 복호화 및 복호화된 영상을 조합하여 새로운 영상을 구성하기 위한 재부호화 과정없이 화상회의 수신영상을 나타내는 비트스트림을 생성할 수 있고 이에 의해, 화상회의 관련 연산량 과 복잡도를 낮춤으로써, 화상회의용 단말기 및 서버 개발 및 보급이 용이해지고, 이동이 많은 현대인의 회의 등을 통한 협력활동에 큰 편의를 제공할 수 있을 것으로 기대된다.According to the present invention, it is possible to generate a bitstream representing a video conference received video without decoding the video received from the video conference terminal and combining the decoded video to re-encode a new video. By reducing the amount of computation and complexity, it is expected to facilitate the development and distribution of videoconferencing terminals and servers, and to provide great convenience for collaborative activities such as meetings of modern people on the move.

도1은 본 발명의 제1 실시예에 따른 화상회의 수신영상 생성 시스템의 블럭도이다.1 is a block diagram of a videoconferencing received image generating system according to a first embodiment of the present invention.

도2는 본 발명의 제2 실시예에 따른 화상회의 수신영상 생성 장치의 블럭도이다.2 is a block diagram of an apparatus for generating a video conference received video according to a second embodiment of the present invention.

도3은 본 발명의 실시예들에 따른 화상회의 수신영상 생성 시스템(장치)의 제어방법에 관한 순서도이다.3 is a flowchart of a control method of a videoconferencing received image generating system (device) according to embodiments of the present invention.

도4는 본 발명의 실시예들에 따른 화상회의 수신영상 생성 시스템(장치)에 의해 생성되는 비트스트림에 대한 설명도이다.4 is an explanatory diagram of a bitstream generated by a videoconferencing received image generating system (device) according to embodiments of the present invention.

<도면의 주요부분에 대한 간단한 부호 설명><Description of Signs of Major Parts of Drawings>

100: 화상회의 서버 300: 화상회의 단말기100: video conference server 300: video conference terminal

500, 600: 화상회의 수신영상 생성 장치500, 600: video conference reception image generating device

620: 사용자 정보부 510, 640: 신택스 생성부620: user information unit 510, 640: syntax generation unit

530, 660: 신택스 변환부 550, 680: 영상 데이터 먹스530 and 660: syntax converter 550 and 680: video data mux

Claims (16)

화상회의 수신영상 생성 시스템에 있어서,In the video conference reception image generation system, 화상회의 참여자의 수 및 상기 참여자의 아이디(ID)를 포함하는 화상회의 참여자 정보, 및 소정의 화상회의 관련 정보를 제공하는 화상회의 서버;A videoconferencing server for providing videoconferencing participant information including a number of videoconferencing participants and said participant ID, and predetermined videoconferencing related information; 상기 화상회의 참여자의 영상을 촬영하여 영상 비트스트림을 생성하는 화상회의 단말기; 및A video conferencing terminal for capturing an image of the video conferencing participant to generate a video bitstream; And 상기 단말기로부터 수신한 상기 영상 비트스트림으로 화상회의 수신영상에 적합한 신택스(syntax)를 생성하고, 상기 영상 비트스트림의 슬라이스 헤더 정보를 상기 화상회의 수신영상에 맞게 수정함으로써 상기 화상회의 수신영상을 생성하는 화상회의 수신영상 생성 장치를 포함하고,Generating a video conference reception image by generating a syntax suitable for a video conference reception image from the video bit stream received from the terminal, and modifying slice header information of the video bit stream according to the video conference reception image; Includes a video conference receiving image generating device, 상기 화상회의 수신영상 생성 장치는,The video conference reception image generating device, 상기 단말기로부터 수신한 상기 영상 비트스트림을 기초로 상기 화상회의 수신영상에 적합한 상기 신택스를 생성하는 신택스 생성부;A syntax generator configured to generate the syntax suitable for the videoconferencing received image based on the video bitstream received from the terminal; 상기 단말기로부터 수신한 상기 영상 비트스트림의 상기 슬라이스 헤더 정보를 상기 화상회의 수신영상에 맞게 수정하는 신택스 변환부; 및A syntax converter configured to modify the slice header information of the video bitstream received from the terminal according to the received video conferencing video; And 상기 단말기에 의해 생성된 상기 영상 비트스트림, 상기 신택스 생성부에 의해 생성된 상기 화상회의 수신영상에 적합한 상기 신택스, 상기 신택스 변환부에 의해 수정된 상기 슬라이스 헤더 정보, 및 수정된 상기 슬라이스 헤더 정보에 맞도록 생성한 헤더 정보를 먹싱(muxing)하여 상기 화상회의 수신영상을 나타내는 비트스트림을 생성하는 영상 데이터 먹스를 포함하는 것을 특징으로 하는 화상회의 수신영상 생성 시스템.The video bitstream generated by the terminal, the syntax suitable for the videoconferencing received image generated by the syntax generator, the slice header information modified by the syntax converter, and the modified slice header information. And a video data mux for muxing the header information generated to fit and generating a bitstream representing the video conference received video. 삭제delete 제1항에 있어서,The method of claim 1, 상기 신택스 생성부는, 상기 화상회의 서버로부터 제공받은 상기 화상회의 참여자의 수에 따라 상기 화상회의 수신영상을 구성할 슬라이스 개수 및 상기 슬라이스의 크기를 결정하는 것을 특징으로 하는 화상회의 수신영상 생성 시스템.And the syntax generating unit determines the number of slices and the size of the slices constituting the videoconferencing received image according to the number of videoconferencing participants provided from the videoconferencing server. 제1항에 있어서,The method of claim 1, 상기 신택스 변환부는, 상기 단말기로부터 수신한 상기 영상 비트스트림으로부터 헤더 정보를 제거하고, 상기 슬라이스 헤더 정보 중 매크로 블럭의 주소를 수정함으로써 생성될 상기 화상회의 수신영상의 위치를 결정하는 것을 특징으로 하는 화상회의 수신영상 생성 시스템.The syntax converter is configured to remove header information from the video bitstream received from the terminal and determine a location of the video conference received video to be generated by modifying an address of a macroblock of the slice header information. Conference reception video generation system. 제3항에 있어서,The method of claim 3, 상기 영상 데이터 먹스는, 상기 화상회의 참여자의 수가 상기 슬라이스 개수보다 적은 경우, 상기 화상회의 서버로부터 제공받은 상기 화상회의 관련 정보를 이용하여 부족한 참여자에 대한 영상 비트스트림을 채우는 것을 특징으로 하는 화상회의 수신영상 생성 시스템.The video data mux, when the number of participants in the videoconference is less than the number of slices, videoconferencing reception, characterized in that to fill the video bitstream for the insufficient participants using the videoconferencing related information provided from the videoconferencing server. Image generation system. 제5항에 있어서,The method of claim 5, 상기 부족한 참여자에 대한 영상 비트스트림을 채우는데 이용되는 상기 화상회의 관련 정보는, 기설정된 영상 및 기설정된 회의관련 메시지를 나타내는 데이터 중 어느 하나인 것을 특징으로 하는 화상회의 수신영상 생성 시스템.And the videoconferencing related information used to fill a video bitstream for the insufficient participant is one of a preset video and data representing a preset meeting related message. 화상회의 수신영상 생성 장치에 있어서,In the video conference reception image generating device, 화상회의 참여자의 수 및 상기 참여자의 아이디(ID)를 포함하는 화상회의 참여자 정보, 및 소정의 화상회의 관련 정보를 제공하는 사용자 정보부;A user information unit for providing video conference participant information including the number of video conference participants and an ID of the participant, and predetermined video conference related information; 화상회의 단말기로부터 수신한 상기 참여자의 영상 비트스트림을 기초로 화상회의 수신영상에 적합한 신택스(syntax)를 생성하는 신택스 생성부;A syntax generator configured to generate a syntax suitable for a video conference reception image based on the video bitstream of the participant received from the video conference terminal; 상기 참여자의 영상 비트스트림의 슬라이스 헤더 정보를 상기 화상회의 수신영상에 맞게 수정하는 신택스 변환부; 및A syntax converter configured to modify slice header information of the participant's video bitstream according to the video conference reception image; And 상기 참여자의 영상 비트스트림, 상기 신택스 생성부에 의해 생성된 상기 화상회의 수신영상에 적합한 상기 신택스, 상기 신택스 변환부에 의해 수정된 상기 슬라이스 헤더 정보, 및 수정된 상기 슬라이스 헤더 정보에 맞도록 생성된 헤더 정보를 먹싱(muxing)하여 상기 화상회의 수신영상을 나타내는 비트스트림을 생성하는 영상 데이터 먹스를 포함하고,A video bitstream of the participant, the syntax suitable for the video conferencing received image generated by the syntax generator, the slice header information modified by the syntax converter, and the modified slice header information A video data mux for muxing header information to generate a bitstream representing the video conference received image, 상기 신택스 생성부는, 상기 사용자 정보부로부터 제공받은 상기 화상회의 참여자의 수에 따라 상기 화상회의 수신영상의 크기 및 상기 수신영상을 구성할 슬라이스 개수를 결정하는 것을 특징으로 하는 화상회의 수신영상 생성 장치.And the syntax generator determines the size of the videoconferencing received image and the number of slices constituting the received video according to the number of participants in the videoconferencing provided from the user information unit. 삭제delete 제7항에 있어서,The method of claim 7, wherein 상기 신택스 변환부는, 상기 참여자의 영상 비트스트림으로부터 헤더 정보를 제거하고, 상기 슬라이스 헤더 정보 중 매크로 블럭의 주소를 수정함으로써 생성될 상기 화상회의 수신영상의 위치를 결정하는 것을 특징으로 하는 화상회의 수신영상 생성 장치.The syntax converter is configured to remove header information from the video bitstream of the participant and determine a location of the video conference received image to be generated by modifying an address of a macro block of the slice header information. Generating device. 제7항에 있어서,The method of claim 7, wherein 상시 영상 데이터 먹스는, 상기 화상회의 참여자가 상기 슬라이스 개수보다 적은 경우, 상기 사용자 정보부로부터 제공받은 상기 화상회의 관련 정보를 이용하여 부족한 참여자에 대한 영상 비트스트림을 채우는 것을 특징으로 하는 화상회의 수신영상 생성 장치.When the video conference participant has less than the number of slices, the video conference mux fills the video bitstream for the insufficient participant using the video conference related information provided from the user information unit. Device. 제10항에 있어서,The method of claim 10, 상기 부족한 참여자에 대한 영상 비트스트림을 채우는데 이용되는 상기 화상 회의 관련 정보는, 기설정된 영상 데이터 및 기설정된 회의관련 메시지 중 어느 하나인 것을 특징으로 하는 화상회의 수신영상 생성 장치.And the video conferencing related information used to fill the video bitstream for the insufficient participant is one of predetermined video data and a predetermined meeting related message. 화상회의 수신영상 생성 시스템의 제어방법에 있어서,In the control method of the video conference reception image generation system, 화상회의 참여자에 대한 영상 비트스트림을 생성하는 단계;Generating a video bitstream for the videoconference participant; 상기 영상 비트스트림을 기초로 화상회의 수신영상에 적합한 신택스(syntax)를 생성하는 단계;Generating a syntax suitable for a received video conferencing video based on the video bitstream; 상기 영상 비트스트림의 헤더 정보를 제거하는 단계;Removing header information of the video bitstream; 상기 영상 비트스트림의 슬라이스 헤더 정보를 상기 화상회의 수신영상에 맞게 수정하는 단계;Modifying slice header information of the video bitstream according to the received video conference video; 수정된 상기 슬라이스 헤더 정보에 맞도록 상기 화상회의 수신영상용 헤더 정보를 생성하는 단계; 및Generating header information for the videoconferencing received image to conform to the modified slice header information; And 상기 영상 비트스트림, 상기 신택스, 수정된 상기 슬라이스 헤더 정보, 및 상기 화상회의 수신영상용 헤더 정보를 먹싱(muxing)하는 단계를 포함하고,Muxing the video bitstream, the syntax, the modified slice header information, and the header information for the videoconferencing received image, 상기 신택스를 생성하는 단계는, 상기 화상회의 참여자의 수에 따라 상기 화상회의 수신영상의 크기 및 상기 수신영상을 구성할 슬라이스 개수를 결정하는 것을 특징으로 하는 화상회의 수신영상 생성 시스템의 제어방법.The generating of the syntax may include determining a size of the received video conference image and the number of slices constituting the received video according to the number of participants in the video conference. 삭제delete 제12항에 있어서,The method of claim 12, 상기 슬라이스 헤더 정보를 상기 화상회의 수신영상에 맞게 수정하는 단계는, 상기 슬라이스 헤더 정보 중 매크로 블럭의 주소를 수정함으로써, 생성될 상기 화상회의 수신영상의 위치를 결정하는 것을 특징으로 하는 화상회의 수신영상 생성 시스템의 제어방법.The step of modifying the slice header information according to the video conference received image, the video conference received image, characterized in that for determining the location of the video conference received image to be generated by modifying the address of the macro block of the slice header information Control method of production system. 제12항에 있어서,The method of claim 12, 상기 먹싱하는 단계는, 상기 화상회의 참여자가 상기 슬라이스 개수보다 적은 경우, 소정의 서버로부터 제공받은 화상회의 관련 정보를 이용하여 부족한 참여자에 대한 영상 비트스트림을 채우는 것을 특징으로 하는 화상회의 수신영상 생성 시스템의 제어방법.In the muxing, if the video conferencing participant is smaller than the number of slices, the video conferencing video generation system is configured to fill a video bitstream for the insufficient participant by using video conferencing related information provided from a predetermined server. Control method. 제15항에 있어서,The method of claim 15, 상기 부족한 참여자에 대한 영상 비트스트림을 채우는데 이용되는 상기 화상회의 관련 정보는, 기설정된 영상 데이터 및 기설정된 회의관련 메시지 중 어느 하나인 것을 특징으로 하는 화상회의 수신영상 생성 시스템의 제어방법.And the videoconferencing related information used to fill the video bitstream for the insufficient participant is any one of preset video data and a preset conference related message.
KR1020080001906A 2008-01-07 2008-01-07 Video-Conference Image Making System and Control Method thereof KR101070581B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080001906A KR101070581B1 (en) 2008-01-07 2008-01-07 Video-Conference Image Making System and Control Method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080001906A KR101070581B1 (en) 2008-01-07 2008-01-07 Video-Conference Image Making System and Control Method thereof

Publications (2)

Publication Number Publication Date
KR20090076146A KR20090076146A (en) 2009-07-13
KR101070581B1 true KR101070581B1 (en) 2011-10-05

Family

ID=41333291

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080001906A KR101070581B1 (en) 2008-01-07 2008-01-07 Video-Conference Image Making System and Control Method thereof

Country Status (1)

Country Link
KR (1) KR101070581B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100275930B1 (en) 1998-02-25 2000-12-15 강상훈 Video sever which combines up to 4video streams into a single video stream to enable desktop video conferencing
KR100741287B1 (en) 2006-02-22 2007-07-23 (주) 엘지텔레콤 Mobile phone including a coordinate media viewer and coordinate media viewing service system and service support method using the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100275930B1 (en) 1998-02-25 2000-12-15 강상훈 Video sever which combines up to 4video streams into a single video stream to enable desktop video conferencing
KR100741287B1 (en) 2006-02-22 2007-07-23 (주) 엘지텔레콤 Mobile phone including a coordinate media viewer and coordinate media viewing service system and service support method using the same

Also Published As

Publication number Publication date
KR20090076146A (en) 2009-07-13

Similar Documents

Publication Publication Date Title
JP6363088B2 (en) Image decoding apparatus, image decoding method, image encoding apparatus, and image encoding method
US8872881B2 (en) Minimal decoding method for spatially multiplexing digital video pictures
US5453780A (en) Continous presence video signal combiner
US10419801B2 (en) Information processing apparatus and method
JP6437096B2 (en) Video composition
US5611038A (en) Audio/video transceiver provided with a device for reconfiguration of incompatibly received or transmitted video and audio information
US8811482B2 (en) Method and device for establishing a coded output video stream from at least two coded input video streams and use of the device and coded input video stream
US6535240B2 (en) Method and apparatus for continuously receiving frames from a plurality of video channels and for alternately continuously transmitting to each of a plurality of participants in a video conference individual frames containing information concerning each of said video channels
JPH10150647A (en) Videoconference system
KR20090126176A (en) Information processing apparatus and method, and program
CN105723719A (en) Single bit stream generating method and generating device for multiple images
CN109547724B (en) Video stream data processing method, electronic equipment and storage device
JP2022514513A (en) Split tiles and sub-images
EP0805600A2 (en) Compressed video text overlay
KR101641184B1 (en) Method for processing and mixing multiple feed videos for video conference, video conference terminal apparatus, video conference server and video conference system using the same
CN103957391A (en) Method and system for displaying videos of all parties at same time during multi-party call in video intercom
JP3976854B2 (en) Binary shape signal encoding method
KR101070581B1 (en) Video-Conference Image Making System and Control Method thereof
BR112021000616A2 (en) ENCODER, DECODER, ENCODING METHOD AND DECODING METHOD
JP3110037B2 (en) Image transmission system
JP2015073213A (en) Image decoder, image encoder, encoded data converter, and interest area display system
WO2022210101A1 (en) Decoding method, encoding method, decoding device, and encoding device
Joskowicz Video Conferencing Technologies: Past, Present and Future
WO2007122907A1 (en) Image codec device
BR122023027380A2 (en) ENCODER AND DECODER

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140820

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150821

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160830

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170823

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee