KR20020079463A - 멀티캐스트 회의 장치 및 멀티캐스트 회의 프로그램 - Google Patents

멀티캐스트 회의 장치 및 멀티캐스트 회의 프로그램 Download PDF

Info

Publication number
KR20020079463A
KR20020079463A KR1020020018418A KR20020018418A KR20020079463A KR 20020079463 A KR20020079463 A KR 20020079463A KR 1020020018418 A KR1020020018418 A KR 1020020018418A KR 20020018418 A KR20020018418 A KR 20020018418A KR 20020079463 A KR20020079463 A KR 20020079463A
Authority
KR
South Korea
Prior art keywords
video
encoding
multicast
terminal
information
Prior art date
Application number
KR1020020018418A
Other languages
English (en)
Inventor
다카키도시마사
이노우에아키노
사토마사키
오카도시오
센가사토시
Original Assignee
마쯔시다덴기산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마쯔시다덴기산교 가부시키가이샤 filed Critical 마쯔시다덴기산교 가부시키가이샤
Publication of KR20020079463A publication Critical patent/KR20020079463A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/64—Addressing
    • H04N21/6405—Multicasting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42684—Client identification by a unique number or address, e.g. serial number, MAC address, socket ID
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/632—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing using a connection between clients on a wide area network, e.g. setting up a peer-to-peer communication via Internet for retrieving video segments from the hard-disk of other client devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Power Engineering (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Telephonic Communication Services (AREA)

Abstract

텔레비전 회의 등에 있어서, 도중참가한 단말에서도 영상이 부드럽게 표시할 수 있는 장치를 제공한다. 이를 위하여, 멀티캐스트 회의 장치에, 입력영상의 부호화 처리를 행하는 영상부호화 수단과, 그것을 멀티 캐스트 송신하는 영상송신수단과, 그것을 수신하는 영상수신수단과, 그것을 복호하는 영상복호수단과, 그것을 표시하는 영상표시수단과, 회의에 도중참가하는 통지를 행하는 도중참가 통지수단과, 도중참가 통지를 검출하고 영상부호화 수단에 송출하는 도중참가 단말검출수단을 구비하고, 영상부호화 수단은, 도중참가 단말검출수단으로부터의 송출을 받아, 부호화 형식을 프레임내 부호화의 형식으로 변경하도록 한다.

Description

멀티캐스트 회의 장치 및 멀티캐스트 회의 프로그램{Multicast Meeting Device and Multicast Meeting Program}
본 발명은 텔레비전 회의 장치, 텔레비전 회의 시스템 및 텔레비전 회의 시스템의 제어방법에 관련되고, 특히 회의에 있어서 도중참가자에게 회의참가자의 영상이 표시되기까지의 시간을 단축하는 텔레비전 회의 장치, 텔레비전 회의 시스템 및 텔레비전 회의 시스템의 제어방법에 관한 것이다.
종래, 다지점 사이에서 텔레비전 회의를 하기 위해서는, MCU(Multipoint Control Unit)라 불리우는, 다지점의 영상, 음성을 다중화하는 장치가 필요하였다.
그러나 근래 인터넷이 보급됨에 따라, 멀티캐스트라 불리우는 그룹 동보(同報)기능의 이용이 가능하게 되고, 이 멀티캐스트를 사용함으로써 MCU 등 특별한 장치를 준비하는 일 없이 다지점에서의 전자회의가 가능하게 되었다.
영상 및 음성을 사용한 멀티캐스트 텔레비전 회의 시스템의 대표적인 구성으로서는, 도 1, 도 2에 도시하는 것이 있다. 도 1은 네트워크에에의 접속도를 도시하고, 도 2는 단말장치의 개략구성을 도시하는 기능블록도이다. 각 단말장치(12-1 내지 12-x)로부터의 음성 및 영상은, 다른 모든 단말장치(12-1 내지 12-x)에 네트워크를 통하여 동보송신되고, 각 단말장치(12-1 내지 12-x)는, 수신한 음성 및 영상을 개별 혹은 합성하여 표시함으로써, 텔레비전 회의를 실현가능하게 하고 있다. 텔레비전 회의 시스템은 통신용량의 제한이 있기 때문에, 통상, 음성 및 영상은 압축부호화되어 전송되고 있다. 대표적인 영상압축부호화 방식으로서, H.261 방식이나 MPEG1 방식 등이 있다. 이들의 방식은 화소값을 그대로 부호화하는, 프레임내 부호화 화상과, 참조 프레임과의 차분을 부호화하는, 프레임간 예측부호화 화상을선택적으로 전환하여 사용하고 있다. 움직임이나 변화가 적은 영상은 현 프레임과 전 프레임이 매우 유사하기 때문에, 전 프레임과의 차분을 부호화하는 프레임간 예측부호화 화상을 사용함으로써, 그 시간적 용장도(冗長度)를 삭감할 수 있다. 움직임이 현저히 큰 화상이나 장면 전환의 경우 등은, 프레임 사이의 상관이 작기 때문에 화소값을 그대로 부호화하는 프레임내 부호화 화상을 사용하는 것이 효과적이다. 일반적인 텔레비전 회의에서는 움직임이 그다지 크지 않기 때문에, 최초로 프레임내 부호화 화상을 전송하고, 그 이후는 프레임간 예측부호화 화상을 전송하고 있다.
제 1로, 종래의 멀티캐스트 회의 장치에 있어서, 도중참가 단말이 있는 경우, 지금까지의 회의의 데이터인 프레임간 예측부호화 화상을 수신해 버린다. 이 때문에 최초로 프레임간 예측부호화 화상을 수신한 도중참가 단말은, 참조화상(프레임내 부호화 화상)이 없기 때문에, 정상인 화상을 표시할 수 없다. 그렇지 않으면, 다음에 프레임내 부호화 화상을 수신하기까지의 사이, 화상을 표시할 수 없다고 하는 과제가 있다.
제 2로, 참가단말의 처리능력이 다른 경우에는, 어느 참가단말 일지라도 처리가능한 범위 내의 설정값으로 행하여야 하고, 또한 도중참가에 의하여 그 설정값의 변경을 행하여야 한다라는 과제가 있다.
발명의 요약
이들의 과제를 해결하기 위하여 본 발명은, 회의에서 도중참가하는 단말(도중참가 단말)이 있는 경우, 그 도중참가 정보를 통지하고, 다른 단말(기참가 단말)에서는 그 정보를 수신, 검출하고, 그 경우에 기참가 단말이 데이터를 송신하는 경우에는, 프레임간 예측부호화 화상이 아니라 프레임내 부호화 화상(I 프레임)을 송신하는 기능을 구비한 것이다. 이로써, 멀티캐스트 회의 장치로, 도중참가한 단말에 대해서도 부드럽게 화상표시(회의의 영상을 단시간에 표시)시키는 것이 가능하게 되고, 원활한 다지점 텔레비전 회의를 개최할 수가 있다.
또한, 본 발명은 회의에 참가하고 있는 및 이제부터 참가하는 단말의 처리능력 정보를 간직하고, 그들을 조회하고, 어느 단말에서도 처리가능한 부호화 파라미터로 변경하는 기능을 구비한 것이다. 이로서, 도중참가에 의하여 부호화 파라미터의 변경이 필요한 경우일지라도, 어느 단말에서도 처리가능한 변경을 행할 수가 있다.
더욱이, 본 발명은 회의에 참가하고 있는 및 이제부터 참가하는 단말에 대하여 중요도 부가기능을 설치하고, 중요한 데이터에 관해서는 부호화 파라미터의 변경을 행하는 것을 특징으로 하고 있다. 이로서, 개개의 단말에 대하여 중요도에 따른 변경을 부호화를 행할 수가 있고, 회의에 있어서 중요항목이 명확한 의논이 행해질 수 있다는 이점이 있다.
본 발명은 또한 도중참가나 단말성능 격차의 조정 등에 의하여 I 프레임 일제 송신에 의한 대역 오버 등을 회피하기 위하여, 단말의 우선도를 관리하고, 우선도가 높은 단말의 영상을 빨리 표시하고, 다른 회의 참가자는 그 후에 표시하는 등, 네트워크의 대역을 압박하는일 없이, 우선도가 높은 영상을 빨리 표시할 수가 있다.
따라서, 본 발명은, 제 1로, 멀티캐스트 회의 장치에 있어서, 도중참가 단말에 수신화상이 표시되기까지의 시간을 단축하는 것을 목적으로 한다.
제 2로, 회의에서 도중참가에 의하여 지금까지 사용하고 있던 부호화 파라미터에서는 일부의 단말로 처리할 수 없는 경우에도 대응을 가능하게 하는 것을 목적으로 한다.
본 발명의 상기 목적 및 이점은 도면을 참조하여 설명되는 이하의 실시형태에 의하여 보다 한층 더 명백하게 될 것이다.
도 1은 종래의 멀티캐스트 다지점회의 시스템의 네트워크에의 접속도를 도시하는 기능블록도.
도 2는 종래의 멀티캐스트 다지점회의 시스템의 단말장치의 개략구성을 도시하는 기능블록도.
도 3은 본 발명의 제 1의 실시형태에 관한 멀티캐스트 회의 장치의 개략구성을 도시하는 기능블록도.
도 4는 상기 제 1의 실시형태에 있어서 송신원 정보의 데이터구조를 나타내는 도면.
도 5는 상기 실시형태에 있어서 수신통지 검출수단을 가한 멀티캐스트 회의 장치의 개략구성을 도시하는 기능블록도.
도 6은 상기 실시형태에 있어서 네트워크 에러율 측정수단을 가한 멀티캐스트 회의 장치의 개략구성을 도시하는 기능블록도.
도 7은 상기 실시형태에 있어서 멀티캐스트를 사용한 도중참가 통지의 방법을 도시하는 도면.
도 8은 상기 실시형태에 있어서 유니캐스트를 사용한 도중참가 통지의 방법을 도시하는 도면.
도 9는 본 발명에 있어서 전송되는 영상부호화 형식을 나타내는 도면이고, 도 9(a)는 도중참가가 없는 상태로 멀티캐스트 회의가 수행되고 있는 경우에 있어서 영상부호화 형식을 나타내고, 도 9(b)는 회의 진행중에 도중참가 통지를 검출한 경우에 있어서, P 픽쳐에서의 부호화로부터, I 픽쳐에서의 부호화로 부호화형식을 변경하는 상태를 나타내는 도면.
도 10은 본 발명의 제 2 실시형태에 관한 멀티캐스트 회의 장치의 개략구성을 나타내는 기능블록도.
도 11은 상기 제 2의 실시형태에 있어서 중요도 정보의 데이터 구조를 나타내는 도면.
도 12는 상기 제 2 실시형태에 있어서 영상부호화 정보를 간직하는 표의 구성과, 단말이 도중참가, 도중퇴실된 상태와, 그 때에 회의에서 사용하는 영상부호화 형식의 일예를 도시하는 도면.
도 13은 본 발명의 제 3 실시형태에 관한 멀티캐스트 회의 장치의 개략구성을 나타내는 기능블록도.
도 14는 본 발명의 제 4 실시형태에 관한 멀티캐스트 회의 장치(휴대전화기)의 개략구성을 나타내는 기능블록도.
이하, 본 발명의 실시형태에 대하여 도 3 내지 도 14를 사용하여 설명한다. 더욱이, 본 발명은 이들 실시형태에 한정되는 것이 아니며, 그 요지를 벗어나지 않는 범위에서 여러가지 양태로 실시할 수 있다.
(실시형태1)
우선, 회의에 도중참가한 단말에도 영상을 부드럽게 표시시키기 위한 구조에 대하여 설명한다. 도 3은, 본 발명의 멀티캐스트 텔레비전 회의 단말장치(이하, 단순히 '단말장치'로 기술하는 경우도 있다)의 제 1의 실시형태의 개략구성을 도시하는 기능블록도이다. 도 3에 있어서, 100은 단말장치이고, 이 단말장치는 도 1에 도시하는 시스템과 동일 네트워크에 접속되어 사용되는 것이다. 이 단말장치(100)는, 영상입력수단(101)으로부터 얻은 영상데이터를, 영상부호화 수단(102)으로 보내고, 영상부호화 수단(102)에서는, 수신한 영상데이터를 압축부호화하여 영상송신수단(103)으로 보내고, 영상송신수단(103)에서는 압축부호화된 영상데이터를 네트워크로 송신한다. 이 경우, 영상부호화 수단(102)은, 도중참가 검출수단(113)으로부터의 도중참가 정보를 얻어, 부호화 방법을 변경한다.
마찬가지로, 단말장치(100)는, 음성입력수단(104)에서 얻은 음성데이터를, 음성부호화 수단(105)으로 보내고, 음성부호화 수단(105)에서는, 수신한 음성데이터를 압축부호화하여 음성송신수단(106)으로 보내고, 음성송신수단(106)에서는 압축부호화된 음성데이터를 네트워크로 송신한다. 또 영상송신수단(107)은 네트워크를 통하여 다른 단말장치로부터 압축부호화된 영상데이터를 수신하여 영상복호수단(108)으로 보낸다. 영상복호수단(108)은 다른 단말장치의 수만큼 준비되고 수신된 압축부호화된 영상데이터를 각 단말장치마다 복호하고 영상표시수단(109)으로 보낸다. 영상표시수단(109)도 마찬가지로 다른 단말장치의 수만큼 준비되고, 각기 각 단말의 영상을 표시한다.
마찬가지로, 음성수신수단(110)은, 네크워크를 통하여 다른 단말장치로부터 압축부호화된 음성데이터를 수신하고, 음성복호수단(111)으로 보낸다. 음성복호수단(111)은 다른 단말장치의 수만큼 준비되고, 수신된 압축부호화된 음성데이터를, 각 단말마다 복호하고 음성출력수단(112)으로 보낸다. 음성출력수단(112)도, 역시 마찬가지로 다른 단말장치의 수만큼 준비되어, 각기 각 단말의 음성을 출력한다. 도중참가 통지수단(114)은, 단말장치가 도중참가하는 경우에 도중참가정보를 네트워크에 출력한다. 도 4는, 송신하는 영상데이터 패킷에 있어서, 송신원정보(送信元情報)가 부가된 영상데이터 패킷의 일예를 도시하고 있다. 여기서 도중참가 통지를 행하는 경우, 도중참가 통지의 데이터의 일예로서, 통지 상대의 어드레스 정보와 도중참가 단말의 송신원정보를 나열한 것 등이 있다.
도 5는 수신통지 검출수단을 더한 개략구성을 도시하는 기능블록도이다. 도 5에 있어서, 116은 도중참가 단말이 다른 회의 단말로부터 프레임내 부호화 화상을 수신한 경우에, 수신통지를 송신하는 수신통지 송신수단이고, 115는 도중참가 단말이 수신통지를 송신수단(116)으로부터 송신한 수신통지를 수신하는 (다른) 회의 단말의 수신통지 수신수단이다(상세한 것은 후술함).
도 6은 네트워크 에러율 측정수단을 더한 개략구성을 도시하는 기능블록도이다. 도 6에 있어서, 117은 영상수신수단(107)으로부터 영상데이터를 얻어 네트워크의 에러율을 측정하는, 네트워크 에러율 측정수단이다(상세한 것은 후술함).
도 7은 멀티캐스트를 사용한 도중참가통지의 방법을 도시하고, 도 8은 유니캐스트를 사용한 도중참가통지의 방법을 도시한다. 또한 도 9(a), 도 9(b)는 영상부호화 수단(102)에 의하여 전송되는 영상신호를 부호화하는 부호화형식을 도시한다. 이 중, 도 9(a)는 종래부터 사용되고 또한 본 발명에 있어서도 도중참가가 없는 상태에서 멀티캐스트 회의가 수행되고 있는 경우에 있어서 사용되는, 전송되는 영상신호의 부호화 형식을 나타내는 도면이다. 또한 도 9(a)는 본 발명에 있어서 채용되고 회의의 진행중에 도중참가통지를 검출한 경우에 있어서, P 픽처로 부호화하고 있던 것을 I 픽처로 부호화하는 방식으로 부호화 형식을 변경하는 상태를 나타내는 도면이다. 도 9(a), 도 9(b)에 있어서 I는 I 픽처(프레임내 부호화 화상), P는 P 픽처(프레임간 순방향 예측부호화 화상)이다.
이상과 같이 구성된 단말장치에 대하여, 이하 그 동작을 설명한다. 카메라등의 영상입력수단(101)으로부터 입력된 영상데이터는, 영상부호화 수단(102)으로 보내진다. 영상부호화 수단(102)에서는, 도중참가 검출수단(113)으로부터의 정보에 의하여, 후술하는 바와 같이 부호화 형식을 변경하고, 영상데이터를 압축부호화 한다. 압축부호화된 영상데이터는 영상송신수단(103)으로부터 멀티캐스트를 사용하여 네트워크로 송신된다.
마이크 등의 음성입력수단(104)으로부터 입력된 음성데이터는, 음성부호화 수단(105)으로 보내진다. 음성부호화 수단(105)에서는, 음성데이터를 압축부호화 한다. 압축 부호화된 음성데이터는, 음성송신수단(106)에서, 멀티캐스트를 사용하여 네트워크로 송신된다. 다른 단말장치로부터 송신된 영상데이터는, 네트워크를 통하여 영상수신수단(107)으로 수신된다. 더욱이 영상수신수단(107)에서는, 영상데이터의 송신원정보를 참고로하여, 각각 다른 단말장치에 따른 영상복호수단(108-1 내지 n)에 수신한 영상데이터를 송출한다. 여기서 송신원정보란, 도 4에 도시되는 바와 같이, 송신하는 데이터에 포함되어 있는 것을 일예로서 들 수가 있다. 영상복호수단(108-1 내지 n)은, 다른 단말장치의 수만큼 준비되고, 각각이 영상데이터를 복호하고 영상표시수단(109-1 내지 n)으로 보낸다. 영상표시수단(109-1 내지 n)도 마찬가지로 다른 단말장치의 수만큼 준비되고, 복호된 영상데이터를 디스플레이 등으로 표시한다. 다른 단말장치로부터 송신된 음성데이터는, 네트워크를 통하여 음성수신수단(110)으로 수신된다. 더욱이 음성수신수단(110)에서는 영상데이터와 마찬가지로 음성데이터의 송신원정보를 참고로하여 각각 다른 단말장치에 따른 음성복호수단(111-1 내지 n)에 수신한 음성데이터를 보낸다. 음성복호수단(111-1내지 n)은, 다른 단말장치의 수만큼 준비되고 각각이 음성데이터를 복호하고 음성출력수단(112-1 내지 n)으로 보낸다. 음성출력수단(112-1 내지 n)도 마찬가지로 다른 단말장치의 수만큼 준비되고 복호된 음성데이터를 스피커 등으로 출력한다. 이 음성출력수단은 하나의 단말에 복수 준비하는 것이 아니고, 믹서로 불리우는 음성합성수단을, 음성복합수단과 음성출력수단과의 사이에 넣음으로써, 하나의 단말에 하나의 음성출력수단을 실장하는 구성도 고려된다.
이 단말장치가 회의에 도중참가하는 경우에는, 도중참가 통지수단(114)으로부터 멀티캐스트, 그렇지 않으면 유니캐스트로 다른 단말에 도중참가를 통지한다.
멀티캐스트로 도중참가를 통지하는 경우, 도 7에 도시하는 바와 같이, 단번에 다른 회의 단말에 도중참가를 통지한다. 유니캐스트로 도중참가를 통지하는 경우, 도 8에 도시하는 바와 같이, 2가지 방법이 고려된다. 하나는, 미리 현재 회의를 행하고 있는 회의 단말의 어드레스를 얻어 도 8의 (a)와 같이, 하나하나에 보내는 방법, 또 하나는, 도 8의 (b)와 같이 현재 회의를 행하고 있는 어느 하나의 회의 단말에 도중참가를 통지하고, 통지된 회의 단말이 다른 회의 단말로 전파해 가는 방법이다.
부호화를 변경하는 방법
영상부호화수단(102)이 부호화형식을 변경하는 방법으로서, 도 9(a), (b)에 도시하는 바와같은 것을 일예로서 들수가 있다. 도 9(a)에 도시하는 바와 같은 종래의 전송되는 영상부호화 형식에서 도중참가 단말이 도중참가하였을 경우, 지금 까지 회의하고 있던 단말은 P 픽처를 송신하고 있기 때문에, 도중참가 단말은 P 픽처를 수신하고 만다. P 픽처를 수신한 도중참가 단말은 참조 화상인 I 픽처를 간직하고 있지 않기 때문에, 정상인 화상을 복호할 수가 없다.
그러나, 본 발명에서는 도중참가 단말이 도중참가한 경우, 도중참가 통지를 수신하고, 부호화 방법을 변경하는 것이 가능하다. 따라서, 도중참가 단말이 도중참가하였을 경우, 지금까지 회의하고 있던 단말은 도중참가 통지를 도중참가 검출수단(113)으로 수신하고, 그 정보를 영상부호화수단(102)으로 보낸다. 그리하면, 영상부호화수단(102)은 도 9(b)에 도시하는 바와 같이, 지금까지 P 픽처로 부호화하고 있던 것을 그 단체로 복호할 수 있는 I 픽처로 부호화 형식을 변경한다.
I 픽처를 송출하는 기간의 설정방법
이와같이, I 픽처로 송출하는 기간으로서 다음 3가지 방법이 고려된다. 제 1의 방법은 일정시간 송출한다는 것이다. 부호화 방법을 변경한 영상 데이터를 1프레임, 그렇지 않으면 일정수의 프레임을 송출하고, 그후 원래의 부호화 방법으로 복귀시킨다는 것이다. 제 2의 방법은 도중참가 단말이 다른 회의 단말로부터 프레임내 부호화 화상을 수신하면, 다른 회의 단말로 수신통지를 발행하고, 그 수신통지를 수신한 다른 회의 단말은 원래의 부호화 방법으로 복귀시킨다라는 것이다. 이들 도 5를 사용하여 설명한다.
도중참가 단말의 영상수신수단(107)이, 다른 회의단말로부터 I 픽처를 수취하면, 그 수취했다는 정보를 수신통지송신수단(116)으로 보낸다. 그리고, 수신통지송신수단(116)은 도 7에 도시하는 바와 같이, 멀티캐스트를 사용하든가, 도 8(a)에 도시하는 바와 같이, 유니캐스트를 사용하여, 수신통지를 다른 회의 단말로 송신한다. 유니캐스트를 사용하는 경우는 수취한 I 픽처로부터 도 4에 도시하는 송신원 정보를 이용하여, 송신상대를 결정한다.
다른 회의단말에서는 수신통지수신수단(115)으로 수신통지를 수취하고, 그의 수취하였다라는 정보를 영상부호화수단(102)으로 보냄으로서, 영상부호화수단(102)은 영상부호화 방식을 원래로 복귀시킨다.
이로서, 도중참가 단말이 참조화상(I 픽처)을 수취한 것을 알수 있기 때문에, 다른 회의단말은 도중참가 단말이 참조화상을 수취할 때 까지, 참조화상을 송신할 수가 있다.
제 3의 방법은 네트워크의 에러율을 측정하고, 그 에러율에 따른 시간 만큼, 다른 회의 단말은 부호화 형식을 변경하고, 참조화상을 송신한다라는 것이다.
이를 도 6을 사용하여 설명한다.
네트워크 에러율 측정수단(117)은 영상수신수단(107)에 있어서 수신한 영상데이터로부터 에러율을, 예를들면, 영상데이터에 매입되어 있는 시퀀스 번호 등으로 부터 측정하고, 그 에러율을 영상부호화수단(102)으로 보낸다. 영상부호화수단(102)에서는 네트워크 에러율 측정수단(117)으로 부터 보내어 온 에러율에 따라 도 9의 참조프레임 송출기간을 결정한다. 구체적으로는 에러율이 2배로 되면, 참조 프레임 송출기간은 2배로 하는 것등이 고려된다. 일예로서 100패킷 중 1패킷의 에러가 있는 상태에서, 도중참가시에는 2프레임의 참조화상을 송신하고 있었다고 하면, 에러율이 2배(100패깃 중 2패깃의 에러가 있는 상태)로 변화하면 도중참가시에는 2배의 4프레임의 참조화상을 송신하는 것 등을 들 수 있다.
영상수신수단(107)에서는 복수의 회의 단말로부터 영상데이터를 수신함으로, 가장 에러율이 높은 것에 맞추도록 실장방법이 고려된다. 이 방법은 도중참가단말, 다른회의 단말 함께 사용할 수 있는 것은 명백하다. 이로서, 네트워크의 에러율이 높은 경우, 참조화상인 I 픽처를 복수 송출할 수가 있고, 네트워크에 부여하는 부하를 최소한으로 억제하여, 도중참가단말이 참조화상을 수신할 수 있는 확률을 높게 할 수가 있다. 이와같은 구성을 사용함으로서, 멀티캐스트 텔레비전 회의 장치에 있어서, 도중참가하는 단말이 있는 경우에도, 회의의 영상을 단시간으로 표시시키는 것에 가능하게 되고, 원활한 다지점 텔레비전 회의를 개최할 수가 있다.
(실시형태 2)
다음에 회의에 참가하는 단말 전부가 영상 등을 표시할 수 있도록, 각 단말의 처리능력 정보를 교환하는 구조, 더욱더 그 회의에 있어서 중요한 데이터인 경우, 그 데이터에 중요도를 가미한 처리를 하는 구조에 대하여 설명한다. 도 10은 본 발명의 멀티 캐스트 텔레비전 회의 단말장치의 제 2실시형태의 개략 구성을 도시하는 기능블록도이다. 도 10에 있어서, 800은 단말장치이고, 이 단말장치는 도 1에 도시하는 시스템과 동일한 네트워크에 접속되어 사용되는 것이다.
단말장치(800)은 801의 영상입력수단에서 얻은 영상데이터를 802의 영상부호화수단으로 보내고, 영상부호화수단(802)에서는 보내어온 영상데이터를 압축부호화하고, 803의 영상송신수단으로 보내고, 영상송신수단(803)에서는, 압축부호화된 영상데이터를 네트워크로 송신한다. 이 경우, 영상부호화수단(802)은 807의 영상수신수단으로 부터의 도중참가정보를 얻어 부호화 방법을 변경한다. 그리고, 도중참가한 단말명과, 도중참가단말이 송신하여온 영상데이터(부호화형식, 파라미터 등)을 813의 부호화상태 간직수단에 보존한다.
동일하게, 804의 음성입력수단에서 얻은 음성 데이터를 805의 음성부호화 수단으로 보내고, 음성부호화수단(805)에서는 보내어온 음성데이터를 압축부호화하고, 806의 음성송신수단으로 보내고, 음성송신수단(806)에서는 압축부호화된 음성 데이터를 네트워크로 송신한다. 이 경우, 음성입력수단(804)으로 부터, 음성 레벨 등의 정보가 814의 중요도정보 부가수단으로 보내진다. 더욱더, 음성부호화수단(805)은 810의 음성수신수단으로 부터의 음성부호화형식 또는 음성부호화 파라미터를 얻어 부호화 방법을 변경한다. 또, 807의 영상수신수단은 네트워크를 통하여 다른 단말장치로부터 압축부호화된 영상 데이터를 수신하고, 808의 영상복호수단으로 보낸다. 이 경우, 수신한 영상정보는 영상부호화수단(802)로 보낸다. 영상복호수단(808)은 다른 단말장치의 수만큼 준비되어, 보내어온 압축부호화된 영상데이터를 각 단말 마다 복호하고, 809의 영상표시수단으로 보낸다. 영상표시수단(809)도 마찬가지로 다른 단말장치의 수만큼 준비되고, 각각 각 단말의 영상을 표시한다.
동일하게, 810의 음성수신수단은 네트워크를 통하여, 다른 단말장치로부터 압축부호화된 음성데이터를 수신하고, 811의 음성복호수단으로 보낸다. 음성 복호수단(811)은 다른 단말장치의 수만큼 준비되고 보내여온 압축부호화된 음성데이터를 각 단말 마다 복호하고, 812의 음성출력수단으로 보낸다. 음성출력수단(812)도 마찬가지로 다른 단말장치의 수만큼 준비되고, 각각 각 단말의 음성을 출력한다.
중요도 정보부가
도 11은 송신하는 영상 데이터 패킷에 있어서, 중요도 정보가 부가된 영상 데이터 패킷의 일예를 도시하고 있다. 도 12는 도 10의 부호화 상태 간직수단(813)에 있어서, 영상부호화 정보를 간직하는 표의 구성과 단말이 도중참가, 도중 퇴실한 상태와 그때에 회의에서 사용하는 영상부호화 형식의 일예를 도시하고 있다.
이상과 같이 구성된 단말장치에 대하여 이하 그 동작을 설명한다.
카메라 등의 영상입력수단(801)으로 부터 입력된 영상데이터는 영상부호화수단(802)으로 보내여지고, 영상데이터는 압축부호화된다.
영상부호화수단(802)에 있어서, 영상데이터를 압축부호화하는 경우, 실시형태 1의 구성과 같이, 도중참가 통지수단(114) 등을 사용하지 않고, 영상수신수단(807)에 있어서 도중참가를 검출하는 방법으로서, 이하의 방법이 고려된다.
영상수신수단(807)은 수신한 영상데이터의 도 4와 같이 송신원정보를 참조한다. 그 송신원정보가 현재 회의를 행하고 있는 단말 이외의 것이면, 도중참가 단말로 판단하고, 도중참가 단말이라는 정보를 영상부호화수단(802)으로 보낸다.
여기서 「현재회의를 행하고 있는 단말과 도중참가 단말과의 판별 방법」의 일예로서는 현재 회의를 행하고 있는 단말과 도중참가 단말을 판별하는 방법으로서, 현재 회의를 행하고 있는 단말의 송신원 정보를 각 단말이 메모리 위에 기억해 두는 것이 고려된다. 그리고, 메모리 위에 기억되어 있지 않는 송신원정보를 갖는데이터가 보내여 왔을 경우는 도중참가 단말이 있다고 판단할 수가 있다.
이와같이 하여, 도중참가를 검출하고, 영상부호화수단(802)에서는 도 9와 같이, 프레임내 부호화화상(참조화상)으로 부호화형식을 변경한다. 이로서, 도중참가단말은 다른 회의 단말의 영상을 단시간에 표시하는 것에 가능하게 된다. 압축부호화된 영상데이터는 영상송신수단(803)으로부터, 멀티캐스트를 사용하여, 네트워크로 송신된다. 영상송신수단(803)에 있어서, 네트워크에 송신하는 경우, 도 11과 같이, 중요도를 부가할 수도 있다. 이 중요도란, 예를들면 발언자와 같이, 회의에 있어서 동적인 중요도를 나타내는 것이다. 발언자의 중요도를 올리다라는 경우는 음성입력수단(804)으로부터의 음성입력 레벨을 중요정보 부가수단(814)으로 보내고, 그 음성레벨에 대응한 중요도를 부가하는 것 등이 고려된다. 그리고 중요도가 높은 영상데이터는 영상부호화수단(802)에 있어서 화질을 올리는 프레임 데이트를 올리는 화상의 사이즈를 변경하는것 등을 할수 있다.
예를들면, NW 대역의 절약이나 데이터 처리의 즉시성을 증시하여, 각 단말의 처리능력 정보교환(<참가 단말의 처리능력에 알맞는 파라미터 설정>으로서 후술)으로 부터 최저의 성능을 갖는 단말의 성능값(파라미터): A보다도 더욱더 낮은 성능값(파라미터): B로 처리를 행하여지고, 중요도의 부가된 데이터가 발생한 경우 그 데이터에 관해서는 성능값 A를 초과하지 않는 범위로서, 성능값을 B 보다도 올린다라는 케이스가 있다. 이와같이 하여, 회의에 있어서 발언자 등 중요하다고 생각되는 단말로부터의 영상의 질을 동적으로 변경할 수가 있고, 결과로서, 참가자의 주목 영상의 질을 올릴 수가 있다. 마이크 등의 음성입력수단(804)으로 부터 입력된음성데이터는 음성부호화수단(805)으로 보내여진다. 음성부호화수단(805)에서는 음성데이터를 압축부호화한다. 압축부호화된 음성데이터는 음성송신수단(806)으로부터 멀티캐스트을 사용하여 네트워크로 송신된다.
다른 단말장치로 부터 송신된 영상데이터는 네트워크을 통하여 영상수신수단(807)으로 수신된다. 더욱이 영상수신수단(807)에서는 영상데이터의 송신원정보를 참고로하여, 각각 다른 단말장치에 따른 영상복호수단(808-1 내지 n)으로 수신한 영상데이터를 보낸다. 영상복호수단(808-1 내지 n)은 다른 단말장치의 수만큼 준비되고, 각각이 영상데이터를 복호하고, 영상표시수단(809-1 내지 n)으로 보낸다. 영상표시수단(809-1 내지 n)도 마찬가지로 다른 단말장치의 수만큼 준비되고, 복호된 영상데이터를 디스플레이 등으로 표시한다. 다른 단말장치로부터 송신된 음성 데이터는 네트워크를 통하여 음성수신수단(810)으로 수신된다. 더욱이 음성수신수단(810)에서는 음성데이터의 송신원정보를 참고로하여, 각각 다른 단말장치에 따른 음성복호수단(811-1 내지 n)으로 수신한 음성데이터를 보낸다. 음성복호수단(811-1 내지 n)은 다른 단말장치의 수만큼 준비되고, 각각이 음성데이터를 복호하고, 음성출력수단(812-1 내지 n)으로 보낸다. 음성출력수단(812-1 내지 n)도 마찬가지로 다른 단말장치의 수만큼 준비되고, 복호된 음성데이터를 스피커 등에서 출력한다. 이 음성출력수단은 하나의 단말에 복수 준비하는 것이 아니고, 믹서라 불리우는 음성합성수단을 음성복호수단과 음성출력수단과의 사이에 넣음으로써, 하나의 단말에 하나의 음성출력수단을 실장하는 구성도 고려된다.
더욱이, 중요도의 케이스로서는 음성의 입력레벨에 의하여 중요도를 부가하는 방법 이외에 이용자가 의장의 경우는 중요도를 올리는 등 이용자에 의하여 중요도를 부가하는 방법이나 영상의 움직임이 큰 단말에 높은 중요도를 부가하는 방법 등을 둘수가 있다. 더욱더, 여기서 영상부호화수단(802)에 있어서, 영상부호화형식을 변경하는 방법에 대하여 설명한다. 영상부호화수단(802)이 부호화형식을 변경하는 방법으로서, 실시형태 1과 마찬가지로 도 9에 도시하는 바와같은 것을 일예로서 들수가 있다.
참가단말의 처리능력에 알맞는 파라미터 설정
여기서, 상술의 중요도 부가의 전제로서, 처리능력 정보교환에 대하여 설명한다. 도중참가하는 단말이, 처리능력에 알맞는 (CPU 능력 등) 부화화형식, 파라미터를 사용하여 부호화, 송출하고, 그것을 수취한 다른 회의 단말이, 그의 수신한 영상정보의 영상사이즈, 프레임수, 데이터양 등을 얻어 그들에 맞추어진 부호화에의 변경을 행함으로써, 도중참가단말의 처리능력에 맞는 데이터를 송출할 수가 있다.
이때의 부호화의 변경방법을 도 12를 사용하여 구체적으로 설명한다. 우선, 도 12(a)의 회의의 초기상태에서는 단말 A, B, C가 회의를 행하고 있다고 하자. 이 상태에서는 단말 A의 송출하고 있는 영상부호화 파라미터가 가장 낮으므로, 회의에서 사용되는 영상부호화 형식은 단말 A의 영상부호화 형식인 CIF, 10fps, 64kbps이다. 여기서 화상사이즈 CIF란 352(화소)×288(화소)이고, QCIF란 176(화소)×144(화소)인 것이다.
다음에 단말 D (QCIF, 5fps, 32kbps)가 도중참가한 상태가 (b)이다. 여기서는 단말 D의 처리능력이 가장 낮으므로, 조금 전과 동일하게, 가장 처리능력이 낮은 단말 D의 영상부호화 형식을 회의에 사용한다. 이번에는 단말 A과 단말 D가 도중퇴실한 상태가 (c)이다. 도중퇴실한 단말 A과 단말 D의 데이터를 표에서 삭제하고, 남아 있는 단말 중에서 마찬가지로 가장 처리능력이 낮은 단말 C의 영상부호화정보를 회의에 사용함으로서 남은 회의 단말로, 회의를 속행할 수가 있다. 더욱이 여기서는 단말 단위로 처리능력의 고저가 정해져 있지만, 그는 각 부호화정보의 값이 모두 다른 단말 이하이기 때문이고, 단말 T1에서는 화상사이즈가 최저값 t1, 단말 T2에서는 프레임레이트가 최저값 t2, 단말 T3에서는 비트레이트가 최저값 t3인 경우는 (t1, t2, t3)를 파라미터로서 결정되는 것으로 된다.
이와같이 각 단말이 사용하는 파라미터를 결정하는 종래의 방법으로서, H.323의 능력교환이 있다. 이 방법은 각 단말이 세션을 편 후, 인코드, 디코드할 수 있는 파라미터를 서로 교환하고, 서로가 이용할 수 있는 파라미터로 회의를 행한다는 것이다. 이 방법은 1대 1의 사용을 전제로 한 것이고, 3단말 이상에서 이 방법을 사용하는 경우는 MCU를 사용하여야 한다. 이경우, 우선, 각 단말이 MCU에 인코드, 디코드 할수 있는 파라미터를 송신한다. 다음에 MCU는 그의 보내여온 파라미터로부터 모든 단말이 이용할 수 있는 파라미터를 검출하고, 각 단말에 송신한다. 그리고 각 단말은 그의 MCU가 검출한 파라미터를 사용하여 회의를 행한다.
그러나 본 실시의 형태에서는 MCU를 사용하지 않는 구성이기 때문에, 이 방법은 적용할 수 없다. 본 실시의 형태에서는 멀티캐스트 어드레스를 DHCP 서버 등으로부터 취득하고, 즉석에서 영상이나 음성을 송신한다. 그리고 그 영상이나 음성을 수신한 단말측에서, 서로 이용할 수 있는 파라미터로 변경한다. 이와같이, 보내어온 영상, 음성으로 부터 각 단말이 파라미터를 결정하기 때문에, MCU를 사용하지 않는 구성에 있어서 적용할 수 있다. 더욱더, 종래의 방법에서는 단말이 도중참가하는 경우, 모든 단말이 MCU에 파라미터를 송신하고, MCU가 모든 단말이 이용할 수 있는 파라미터를 재검색하고, 각 단말에 분배하여야 한다. 그러나 본 실시형태의 방법에서는 이들의 수순을 생략하고, 도중참가 단말은 즉석에서 영상, 음성을 송신할 수 있기 때문에, 도중참가 단말이 회의에 참가하기 까지의 시간을 단축할 수가 있다.
음성 데이터에 대해서도 동일한 것이 고려되고, 도중참가하는 단말이, 처리능력에 알맞는 음성데이터의 부호화형식, 파라미터를 사용하여 부호화, 송출하고, 그것을 수취한 다른 회의단말이 그의 수신한 음성정보의 부호화형식, 부호화 파라미터를 얻어 그들에 맞춘 부호화에의 변경을 행함으로써 도중참가 단말의 처리능력에 알맞는 데이터를 송출할 수가 있다.
이상과 같이, 본 실시형태에서는 수신한 부호화형식에 맞추어서 부호화 방법을 변경(부호화 파라미터를 변경)함으로써, 처리능력이 낮은 회의단말이 도중참가 하여온 경우일지라도 회의를 계속(처리능력이 낮은 단말에서도 회의 데이터를 표시한다)하는 것이 가능하게 된다. 더욱더 중요도 정보를 사용함으로써, 발언자 등 중요도가 높은 영상은 보다 질이 높은 영상을 표시시킬 수가 있다.
더욱이, 실시형태 1의 도중참가 검출수단(113)등과 실시형태 2의 부호화상태 간직수단(813) 등을 편성하여 사용하고, 도중참가 검출수단(113)에서 도중참가 통지를 수신하면 현재의 부호화 정보를 부호화상태 간직수단(813)에 간직하고 부호화형식을 변경하는 등의 실시예도 고려된다.
(실시형태 3)
다음에, 도중참가가 생긴 경우, 그것을 받아 이미 참가하고 있는 단말 모두가 일제히 I 프레임을 송신하면, 대역이 가득차게 되는 등의 지장이 초래되는 것을 피하는 구조에 대하여 설명한다.
도 13은 본 발명의 멀티캐스트 텔레비전회의 단말장치의 제 3실시형태의 개략 구성을 도시하는 기능 블록도이다.
도 13에 있어서, 1100은 단말장치이고, 이 단말장치는 도 1에 도시하는 시스템과 동일한 네트워크에 접속되어 사용되는 것이다. 단말장치(1100)는 1101의 영상입력수단으로 부터 얻은 영상데이터를 1102의 영상부호화수단으로 보내고, 영상부호화수단(1102)에서는 보내어온 영상데이터를 압축부호화하고, 1103의 영상송신수단으로 보내고, 영상송신수단(1103)에서는 압축부호화된 영상데이터를 네트워크에 송신한다. 이경우, 영상부호화수단(1102)은 1114의 우선도 결정수단으로부터 보내어지는 우선도에 따라 부호화 방법을 변경한다. 그리고, 변경전의 부호화 정보를 실시형태(2)와 동일한 표형식을 사용하여 1113의 부호화상태 간직수단으로 보존한다.
동일하게, 1104의 음성입력수단에서 얻은 음성데이터를 1105의 음성부호화수단으로 보내고, 음성부호화수단(1105)에서는 보내여온 음성데이터를 압축 부호화하고, 1106의 음성송신수단으로 보내고, 음성송신수단(1106)에서는 압축부호화된 음성데이터를 네트워크로 송신한다. 또, 1107의 영상수신수단은 네트워크를 통하여 다른 단말장치로 부터 압축부호화된 영상데이터를 수신하고, 1108의 영상복호수단으로 보낸다. 이경우, 수신한 영상정보는 우선도 결정수단(1114)에도 보내어진다. 영상복호수단(1108)은 다른 단말장치의 수만큼 준비되고, 보내여온 압축부호화된 영상데이터를 각 단말마다 복호하고, 1109의 영상표시수단으로 보낸다. 영상표시수단(1109)도 동일하게 다른 단말장치의 수만큼 준비되고, 각각 각 단말의 영상을 표시한다. 동일하게, 1110의 음성수신수단은 네트워크를 통하여, 다른 단말장치로부터 압축부호화된 음성데이터를 수신하고, 1111의 음성복호수단으로 보낸다. 음성복호수단(1111)은 다른 단말장치의 수만큼 준비되고, 보내어온 압축부호화 된 음성데이터를 각 단말마다 복호하고 1112의 음성출력수단으로 보낸다. 음성출력수단(1112)도 동일하게 다른 단말장치의 수만큼 준비되어 각각 각 단말의 음성을 출력한다.
이상과 같이 구성된 단말장치에 대하여, 이하 그 동작을 설명한다. 카메라 등의 영상입력수단(1101)으로부터 입력된 영상데이터는 영상부호화수단(1102)으로 보내여진다. 영상부호화수단(1102)에서는 우선도 결정수단(1114)으로 부터의 우선도 정보에 의하여 부호화형식을 변경하고 영상데이터를 압축부호화한다.
이 우선도 정보란, 영상수신수단(1107)으로 부터 영상데이터 정보를 얻은 우선도 결정수단(1114)이 작성하는 것이다. 예를들면, 의장이 사용하는 단말의 우선도는 높고 다른 회의 참가자가 사용하는 단말의 우선도는 낮은 등, 회의를 개최하는 시점에서 각 단말에 우선도를 회의의 주최자가 미리 할당하는 것 등을 들 수 있다. 그리고, 도중참가 단말을 검출한 경우, 그 우선도에 따라, 영상부호화수단(1102)에서는 영상부호화 형식을 변경한다. 일예로서는 도 9와 같이, 도중참가 단말을 검출하였을 경우, 다른 단말은 프레임간 예측부호화 화상으로 부터 프레임에 부호화화상으로 부호화형식을 변경한다. 그 경우, 모든 단말이 부호화형식을 변경하면 네트워크내를 전송되는 영상데이터 양이 단숨에 늘어, 대역을 압박해버린다. 이 때문에, 우선도 정보를 참조하고, 우선도가 높은 단말로부터 순번으로, 프레임 내부화화상에 부호화하고, 전송하는것 등이 고려된다. 이로써, 도중참가 단말은 우선도에 따른 순번으로 영상을 표시하는 것이 가능하게 된다.
압축부호화 된 영상데이터는 영상송신수단(1103)으로부터 멀티캐스트을 사용하여 네트워크로 송신된다. 마이크 등의 음성출력수단(1104)으로부터 입력된 음성데이터는 음성부호화수단(1105)으로 보내여진다. 음성부호화수단(1105)에서는 음성데이터를 압축부호화 한다. 압축부호화된 음성데이터는 음성송신수단(1106)으로 부터 멀티캐스트를 사용하여 네트워크로 송신된다.
다른 단말장치로부터 송신된 영상데이터는 네트워크를 통하여 영상수신장치(1117)로 수신된다. 더욱이 영상수신장치(1107)에서는 영상데이터의 송신원 정보를 참고로하여, 각각 다른 단말장치에 따른 영상복호수단(1108-1 내지 n)으로 수신한 영상데이터를 보낸다. 영상복호수단(1108-1 내지 n)은 다른 단말장치의 수만큼 준비되고, 각각이 영상데이터를 복호하고, 영상표시수단(1109-1 내지 n)으로 보낸다. 영상표시수단(1109-1 내지 n)도 동일하게 다른 단말장치의 수만큼 준비되고, 복호된 영상데이터를 디스플레이 등에 표시한다.
다른 단말장치로부터 송신된 음성데이터는 네트워크를 통하여 음성수신장치(1110)로 수신된다. 더욱이 음성수신장치(1110)에서는 음성데이터의 송신원정보를 참고로하여, 각각 다른 단말장치에 따른 음성복호수단(111-1 내지 n)으로 수신한 음성데이터를 보낸다. 음성복호수단(1111-1 내지 n)은 다른 단말장치의 수만큼 준비되어, 각각 음성데이터를 복호하고, 음성출력수단(1112-1 내지 n)으로 보낸다. 음성출력수단(1112-1 내지 n)도 동일하게 다른 단말장치의 수만큼 준비되고, 복호된 음성데이터를 스피커 등에서 출력한다. 이 음성출력수단은 하나의 단말에 복수 준비하는 것이 아니고, 믹서라 불리우는 음성합성수단을 음성복호수단과 음성출력수단와의 사이에 넣음으로써 하나의 단말에 하나의 음성출력수단을 실장하는 구성도 고려된다. 영상부호화수단(1102)이 부호화 형식을 변경하는 방법으로써, 실시형태 1과 동일하게 도 9에 도시하는 바와 같은 것을 일예로서 들 수가 있다. 더욱이, 본 실시예에서는 우선도에 관한 정보(의 일부)가 영상수신수단(1107)으로부터 우선도 결정수단(1114)으로 전송되고 있지만, 반드시 그렇케 할 필요는 없다. 예를들면, (1) 우선도에 관한 정보는 미리 우선도 결정수단(1114)에 간직하여 두면, 이 (1107)로부터 (1114)로의 데이터 전송은 불필요하게 된다[도 13에 있어서 점선은 이를 의미한다]. 또 이외에도 (2) 영상수신수단(1107)으로부터 영상부호화수단(1102)으로는 I 프레임을 수신하였는가 여부(도중참가가 발생되었는가 여부)의 정보만을 보내고, 우선도 결정수단(1114)으로부터의 정보에 의하여, 즉석에서 부호화 방법을 변경하든가, 뒤로 비켜놓는가 등의 제어를 행하는 등, 여러가지 형태가 고려된다.
이상과 같이, 본 실시의 형태에서는 이와같은 구성을 사용함으로서, 실시예 1에서의 단시간에 회의의 영상을 표시하는 것이 가능하게 되는 것에 더하여 우선도 정보를 사용함으로써, 예를들면 의장 등, 우선도가 높은 영상을 빨리 표시하고, 다른 회의 참가자는 그후에 표시하는 등 네트워크의 대역을 압박하는 일 없이 우선도가 높은 단말의 영상을 빨리 표시할 수가 있다.
(실시형태 4)
본 실시의 형태에서는 회의에 참가(도중참가도 포함함) 할 수 있는 단말장치로서, 퍼스널 컴퓨터 등 탁상형 혹은 휴대 가능한 컴퓨터 등의 장치 이외의 장치를 고려한 것이다. 도 14는 본 발명의 단말장치의 제 4실시형태의 개략 구성을 도시하는 기능 블록도이다. 본 실시형태에서는 단말장치로서 휴대전화기가 사용된다. 도 14에 있어서, 400은 단말장치로서의 휴대전화기이고, 이 휴대전화기(400)는 도 1에 도시하는 단말장치(100)와 동일한 네트워크에 접속되어 사용되는 것이다. 이 휴대전화기(400)는 제 1의 실시형태의 단말장치(100)와 동일, 영상신호가 입력되는 영상입력수단(101)과 영상입력수단(101)으로부터 영상신호를 수취하여 압축부호화하는 영상부호화수단(102)와 압축부호화된 송신용의 영상데이터를 출력하는 영상송신수단(103)과 영상송신수단(103)으로부터 출력된 압축부호화 영상데이터를 네트워크에 송신하는 통신수단(250)을 구비하고 있다. 또, 휴대전화기(400)는 음성신호가 입력되는 음성입력수단(104)과, 음성입력수단(104)으로부터 음성신호를 수취하여 압축부호화하는 음성부호화수단(105)과 압축부호화된 음성데이터를 통신수단(250)으로 출력하는 음성송신수단(106)을 구비하고 있다.
더욱더, 휴대전화기(400)는 네트워크를 통하여, 다른 휴대전화기 혹은 단말장치로부터 보내여온 압축부호화된 영상데이터를 수신하는 영상수신수단(107)과 수신한 영상데이터를 복호하는 영상복호수단(108)과, 복호된 영상을 표시하는 영상표시수단(109)과를 구비하고 있다. 상기 영상 복호수단(108)은 다른 휴대전화기의 수만큼 준비되고, 보내여온 영상데이터를 회의에 참가하고 있는 각 휴대전화기 혹은 단말장치 마다 복호하고, 영상표시수단(109)으로 보낸다. 영상표시수단(109)도 동일하게 다른 휴대전화기의 수만큼 준비되고, 각각 각단말의 영상을 표시한다.
더욱더 휴대전화기(400)는 다른 휴대전화기 혹은 단말장치로부터 송신되여온 음성을 수신재생하기 위하여, 음성수신수단(110)과 음성복호수단(111)과 음성출력수단(112)을 구비하고 있다. 음성수신수단(110)은 네트워크를 통하여 다른 휴대전화기 혹은 단말장치로부터 압축부호화된 음성데이터를 수신하고, 음성복호수단(111)으로 보낸다. 음성복호수단(111)은 다른 휴대전화기의 수만큼 준비되고, 보내어온 압축부호화된 음성데이터를 각 단말마다 복호하고 음성출력수단(112)으로 보낸다. 음성출력수단(112)도 또한 동일하게 다른 휴대전화기 혹은 단말장치의 수만큼 준비되고, 각각 각 단말의 음성을 출력한다.
더욱더 휴대전화기(400)는 제 1의 실시형태에 관한 단말장치와 동일하게, 자기기(自己機)가 회의에 도중참가할 때에 동작하는 도중참가 통지수단(114)과 타기(他機)가 회의에 도중참가할 때에 송신하여온 도중참가 통지신호를 검출하는 도중참가 검출수단(113)을 구비하고 있다.
더욱이, 통신수단(250)은 기지국과의 사이에서 휴대전화기(400)의 통신 제어를 행하는데 더하여, 압축부호화 영상데이터 및 압축부호화 음성데이터를 네트워크에 송신하거나 또, 압축부호화 영상데이터 및 압축부호화 음성데이터를 네트워크로부터 수신하거나 하는 쌍방향 기능을 갖는다. 또한, 상기 통신수단(250)은 도중참가 통지신호를 네트워크에 송신하거나, 또 도중참가 통지신호를 네트워크로부터 수신하거나 하는 동작을 행한다. 이상의 기능부를 휴대전화기(400)가 구비함으로써, 이 실시형태에 관한 휴대전화기(400)는 멀티캐스트 회의 장소에 참가하는 것이 가능하게 된다. 그리고, 도중참가 통지수단(114)은 휴대전화기(400)가 도중참가하는 경우에 도중참가 정보를 통신수단(250)을 통하여 네트워크에 출력한다. 또, 도중참가 검출수단(113)은 다른 휴대전화기가 송신하여온 도중참가 통지신호를 네트워크로부터 통신수단(250)을 통하여 수취하고 검출한다.
더욱이, 멀티캐스트 회의에의 도중참가의 통지, 혹은 검출에 대한 동작에 관해서는 상기 제 1의 실시형태에 있어서 동작과 같다. 또, 휴대전화기와 같은 모바일 기기로서, 휴대 단말장치 등에 대해서도 동일하게 본 발명을 적용하는 것은 가능하다.
더욱이, 각 실시형태에 있어서, 도중참가를 검출하는 정보로서, 프레임내 부호화 "화상"을 검출의 단위로서 하고 있었지만, 그 이외의 단위로서, 화상중의 프레임내 부호화 "마크로블록"을 단위로 하고, 그 비율을 검출함으로써 도중참가를 검출하는 경우 등도 있다. 즉, 프레임내 부호화 마크로블록을 사용하는 MPEG-4와 같은 부호화방식을 사용하는 경우, 프레임내 부호화 화상을 검출하는 것이 아니고, 화상 중의 프레임내 부호화 마크로블록의 비율을 검출함으로써 도중참가를 검출한다. 프레임내 부호화 마크로 블록의 검출방법의 일예로서 다음과 같은 것을 들 수 있다.
우선, 화상중의 마크로 블록의 부호화형식을 집계한다. 각 마크로 블록에는 부호화형식 정보가 격납되어 있고, 그것을 참조함으로서, 용이하게 집계를 할수 있다. 다음에 그 화상중에서의 프레임내 부호화 마크로 블록의 비율을 계산하고, 그 비율이 예를들면 반수 이상이면 도중참가로 판단한다.
또, 각 실시형태에 있어서, 영상복호·표시수단, 음성복호·출력수단이 다른 단말의 수만큼(그 기능을 갖는 하드웨어 또는 소프트웨어가) 준비되어 있는 케이스에 대하여 설명하고 있지만, 그외에도 그 기능을 갖는 하드웨어 또는 소프트웨어가 하나로서, 시 분할처리로 그들 처리를 행하는 케이스 동도 있고, 그들 수단의 수는 하등 한정하는 것은 아니다. 또, 각 실시형태에 있어서, ① 부호화방식 ② 부호화형식 ③ 부호화정보(부호화 파라미터)로 표현하고 있는 것은, 각각 ①은 H.261, H.263, MPEG 각종 등의 코덱(CODEC: COmpression/DECompression)의 종류를, ②는 프레임내 부호화(I 프레임)와 프레임간 예측 부호화(P 프레임)의 차이를, ③은 영상의 사이즈, 프레임레이트, 비트레이트 등을 나타내고 있다. 또 ③에 있어서 부호화 정보와 부호화 파라미터는 일반으로 같은 뜻이지만, 부호화 정보를 그들 속성의 항목, 부호화 파라미터를 그들 항목의 속성값이라는 의미(속성과 그 속성값이라는 의미의 차이)로 분간해서 쓰고 있는 경우가 있다.
이상과 같은 구성에 의해, 본 발명은, 회의에서 도중참가하는 단말(도중참가단말)이 있는 경우, 그 도중참가 정보를 통지하고, 다른 단말(기참가 단말)에서는 그 정보를 수신, 검출하고, 그 경우에 기참가 단말이 데이터를 송신하는 경우에는, 프레임간 예측부호화 화상이 아니라 프레임내 부호화 화상(I 프레임)을 송신하는 기능을 구비한 것이다. 이로써, 멀티캐스트 회의 장치로, 도중참가한 단말에 대해서도 부드럽게 화상표시(회의의 영상을 단시간에 표시)시키는 것이 가능하게 되고, 원활한 다지점 텔레비전 회의를 개최할 수가 있다.
또한, 본 발명은 회의에 참가하고 있는 및 이제부터 참가하는 단말의 처리능력 정보를 간직하고, 그들을 조회하고, 어느 단말에서도 처리가능한 부호화 파라미터로 변경하는 기능을 구비한 것이다. 이로서, 도중참가에 의하여 부호화 파라미터의 변경이 필요한 경우일지라도, 어느 단말에서도 처리가능한 변경을 행할 수가 있다.
더욱이, 본 발명은 회의에 참가하고 있는 및 이제부터 참가하는 단말에 대하여 중요도 부가기능을 설치하고, 중요한 데이터에 관해서는 부호화 파라미터의 변경을 행하는 것을 특징으로 하고 있다. 이로서, 개개의 단말에 대하여 중요도에 따른 변경을 부호화를 행할 수가 있고, 회의에 있어서 중요항목이 명확한 의논이 행해질 수 있다는 이점이 있다.
본 발명은 또한 도중참가나 단말성능 격차의 조정 등에 의하여 I 프레임 일제 송신에 의한 대역 오버 등을 회피하기 위하여, 단말의 우선도를 관리하고, 우선도가 높은 단말의 영상을 빨리 표시하고, 다른 회의 참가자는 그 후에 표시하는 등, 네트워크의 대역을 압박하는일 없이, 우선도가 높은 영상을 빨리 표시할 수가있다.
본 발명은 도면에 도시하는 바람직한 실시형태에 의거하여 설명되고 있지만, 당업자이면, 본 발명의 사상을 일탈하는 일없이 용이하게 각종의 변경, 개변할 수 있는 것은 명백하다. 본 발명은 그와 같은 변경예도 포함하는 것이다.

Claims (24)

  1. 카메라 등의 영상스트림을 입력하는 영상입력수단과,
    입력되는 영상스트림의 부호화처리를 행하고, 송신하여야 할 부호화 영상정보를 작성하는 영상부호화수단과,
    부호화된 영상정보를 멀티캐스트를 사용하여 네트워크에 송신하는 영상송신수단과,
    멀티캐스트를 사용하여 송신된 영상정보를 수신하는 영상수신수단과,
    수신한 데이터를 복호하는 영상복호수단과,
    복호된 영상스트림을 표시하는 영상표시수단과,
    회의에 도중참가하는 뜻의 통지를 행하는 도중참가 통지수단과,
    회의에 도중참가하는 단말을 검출하고, 그 정보를 영상부호화수단에 송출하는 도중참가단말 검출수단을 구비하고,
    영상부호화수단은 도중참가단말 검출수단으로부터 검출신호를 받아, 부호화형식을 프레임내 부호화의 형식으로 변경하는 것을 특징으로 하는 멀티캐스트 회의 장치.
  2. 카메라 등의 영상스트림을 입력하는 영상입력수단과,
    입력되는 영상스트림의 부호화처리를 행하고, 송신하여야 할 부호화 영상정보를 작성하는 영상부호화수단과,
    부호화된 영상정보를 멀티캐스트를 사용하여 네트워크에 송신하는 영상송신수단과,
    멀티캐스트를 사용하여 송신된 영상정보를 수신하는 영상수신수단과,
    수신한 데이터를 복호하는 영상복호수단과,
    복호된 영상스트림을 표시하는 영상표시수단과,
    회의에 참가하고 있는 단말의 송신원 정보를 기억하는 참가단말 기억수단을 구비하고,
    영상수신수단은 프레임내 부호화 화상을 수신하면, 그 뜻을 영상부호화수단에 통지하고, 영상부호화수단은 영상수신수단으로 부터의 통지를 받아, 부호화형식을 프레임내 부호화의 형식으로 변경하는 것을 특징으로 하는 멀티캐스트 회의 장치.
  3. 제 2 항에 있어서, 영상수신수단은 참가단말 정보기억수단을 참조하고, 참가단말정보 기억수단에 기억되어 있는 이외의 단말로부터의 프레임내 부호화 화상을 수신하면, 그 뜻을 영상부호화수단에 통지하는 것을 특징으로 하는 멀티캐스트 회의 장치.
  4. 제 2 항에 있어서, 영상부호화수단은 참가단말정보 기억수단을 참조하고, 영상수신수단으로부터의 통지가 참가단말정보 기억수단에 기억되어 있는 이외의 단말로부터의 프레임내 부호화 화상인 경우, 부호화형식을 변경하는 것을 특징으로 하는 멀티캐스트 회의 장치.
  5. 카메라 등의 영상스트림을 입력하는 영상입력수단과,
    입력되는 영상스트림의 부호화처리를 행하고, 송신하여야 할 부호화 영상정보를 작성하는 영상부호화수단과,
    부호화된 영상정보를 멀티캐스트를 사용하여 네트워크에 송신하는 영상송신수단과,
    멀티캐스트를 사용하여 송신된 영상정보를 수신하는 영상수신수단과,
    수신한 데이터를 복호하는 영상복호수단과,
    복호된 영상스트림을 표시하는 영상표시수단과,
    회의에 참가하고 있는 단말, 및 새로이 도중참가하는 단말이 있는 경우는 그 단말의 부호화 파라미터를 기억하는 부호화정보 기억수단을 구비하고,
    영상부호화수단은 부호화정보 기억수단을 참조하여 회의에 참가하는 모든 단말에서 표시가능한 부호화 파라미터로 변경하여 부호화하는 것을 특징으로 하는 멀티캐스트 회의 장치.
  6. 제 1 항에 있어서, 회의단말의 우선도에 관한 정보를 결정·간직하고, 그 정보를 영상부호화수단으로 송출하는 우선도 결정수단을 구비하고, 영상부호화수단은 우선도 결정수단으로부터의 송출을 받아, 부호화형식을 변경하는 것을 특징으로 하는 멀티캐스트 회의 장치.
  7. 제 5 항에 있어서, 송신하여야 할 정보의 회의에 있어서, 중요도에 관한 정보를 결정·간직하고, 그 정보를 영상부호화수단으로 송출하는 중요도정보 부가수단을 구비하고,
    영상부호화수단은 중요도정보 부가수단으로부터의 송출을 받아, 부호화 파라미터를 변경하는 것을 특징으로 하는 멀티캐스트 회의 장치.
  8. 제 1 항에 있어서, 도중참가 통지수단은, 회의에 도중참가하는 경우에, 멀티캐스트를 사용하여 현재 회의를 행하고 있는 모든 단말에 도중참가의 정보를 송신하는 것을 특징으로 하는 멀티캐스트 회의 장치.
  9. 제 1 항에 있어서, 도중참가 통지수단은, 회의에 도중참가하는 경우에, 유니 캐스트을 사용하여 현재 회의를 행하고 있는 일부 또는 전부의 단말에 도중참가의 정보를 송신하는 것을 특징으로 하는 멀티캐스트 회의 장치.
  10. 제 1 항에 있어서, 도중참가단말 검출수단은 도중참가 단말로부터 송신되는 프레임내 부호화화상을 검출하는 것을 특징으로 하는 멀티캐스트 회의 장치.
  11. 제 1 항에 있어서, 도중참가단말 검출수단은 도중참가 단말로부터 송출되는 프레임내 부호화 마크로블록의 비율을 검출하는 것을 특징으로 하는 멀티캐스트 회의 장치.
  12. 제 1 항에 있어서, 네트워크의 에러율을 측정하고, 그에 관한 정보를 영상부호화수단으로 송출하는 네트워크 에러율 측정수단을 구비하고, 상기 영상부호화수단은 네트워크의 에러율에 따른 시간 만큼 부호화 형식을 변경하는 것을 특징으로 하는 멀티캐스트 회의 장치.
  13. 제 2 항에 있어서, 영상수신수단으로 부터의 프레임내 부호화 화상수신의 통지를 받아 프레임내 부호화화상의 수신통지를 송신하는 수신통지 송신수단과,
    상기 수신통지 송신수단으로부터의 수신통지를 수신하고, 그 수신통지 정보를 영상부호화로 송출하는 수신통지 수신수단을 구비하고,
    영상부호화수단은 상기 수신통지 정보를 수취하기까지, 부호화형식을 변경하는 것을 특징으로 하는 멀티캐스트 회의 장치.
  14. 제 1 항에 있어서, 영상부호화수단은, 일정시간 경과후, 변경한 부호화형식을 원래로 복귀하는 것을 특징으로 하는 멀티캐스트 회의 장치.
  15. 제 1 항에 있어서, 영상부호화수단은 수신한 영상의 부호화방식에 따라서 부호화방식을 변경하여 부호화하는 것을 특징으로 하는 멀티캐스트 회의 장치.
  16. 제 1 항에 있어서, 영상부호화수단은 수신한 영상의 사이즈와 같은 사이즈로 변경하여 부호화하는 것을 특징으로 하는 멀티캐스트 회의 장치.
  17. 제 1 항에 있어서, 영상부호화수단은 수신한 영상의 프레임수에 따라 프레임수를 변경하여 부호화하는 것을 특징으로 하는 멀티캐스트 회의 장치.
  18. 제 1 항에 있어서, 영상부호화수단은 수신한 영상의 데이터량에 따라 데이터량을 변경하여 부호화하는 것을 특징으로 하는 멀티캐스트 회의 장치.
  19. 제 1 항에 있어서, 음성 데이터의 부호화처리를 행하고, 송신하여야 할 부호화 음성정보을 작성하는 음성부호화수단과,
    부호화된 음성정보를 송수신하는 음성송수신수단과,
    수신한 음성정보를 복호하는 음성복호수단과,
    복호된 음성데이터를 출력하는 음성출력수단을 구비하고,
    음성부호화수단은 수신한 음성의 부호화 방식에 따라 부호화 방식을 변경하여 부호화하는 것을 특징으로 하는 멀티캐스트 회의 장치.
  20. 제 1 항에 있어서, 음성 데이터의 부호화처리를 행하고, 송신하여야 할 부호화 음성정보를 작성하는 음성부호화수단과,
    부호화된 음성정보를 송수신하는 음성송수신수단과,
    수신한 음성정보를 복호하는 음성복호수단과,
    복호된 음성데이터를 출력하는 음성출력수단을 구비하고,
    음성부호화수단은 수신한 음성의 부호화 파라미터에 따라 부호화 파라미터을 변경하여 부호화하는 것을 특징으로 하는 멀티캐스트 회의 장치.
  21. 멀티캐스트 회의를 하기 위한 컴퓨터를,
    멀티캐스트 회의 장치의 카메라 등의 영상입력수단에, 영상스트림을 입력시키고,
    멀티캐스트 회의 장치의 영상부호화수단에, 입력되는 영상스트림의 부호화 처리를 행하게하여 송신하여야 할 부호화 영상정보를 작성시키고,
    멀티캐스트 회의 장치의 영상송신수단에 부호화된 영상정보를 멀티캐스트를 사용하여 네트워크에 송신시키고,
    멀티캐스트 회의 장치의 영상복호수단에 멀티캐스트를 사용하여 송신된 영상정보를 수신시키고,
    멀티캐스트 회의 장치의 영상복호수단에, 수신한 데이터를 복호시키고,
    멀티캐스트 회의 장치의 영상표시수단에, 복호된 영상스트림을 표시하게 하고,
    회의에 도중참가하는 경우는 멀티캐스트 회의 장치의 도중참가 통지수단에, 회의에 도중참가하는 뜻의 통지를 행하게 하고,
    회의에 도중참가하는 뜻의 통지를 받은 경우는 멀티캐스트 회의 장치의 도중참가단말 검출수단에 회의에 도중참가하는 단말을 검출시킴과 동시에, 상기 영상부호화수단에 상기 도중참가단말 검출수단으로부터의 송출을 받아, 부호화 형식을 프레임내 부호화의 형식으로 변경시키도록 기능시키는 것을 특징으로 하는 멀티캐스트 회의 프로그램.
  22. 멀티캐스트 회의를 하기 위한 컴퓨터를,
    멀티캐스트 회의장치의 카메라 등의 영상입력수단에, 영상스트림을 입력시키고,
    멀티캐스트 회의 장치의 영상부호화수단에, 입력되는 영상스트림의 부호화 처리를 행하게하여 송신하여야 할 부호화영상정보를 작성시키고,
    멀티캐스트 회의장치의 영상송신수단에, 부호화된 영상정보를 멀티캐스트를 사용하여 네트워크에 송신시키고,
    멀티캐스트 회의 장치의 영상복호수단에, 멀티캐스트를 사용하여 송신된 영상정보를 수신시키고,
    멀티캐스트 회의 장치의 영상복호수단에, 수신한 데이터를 복호시키고,
    멀티캐스트 회의장치의 영상표시수단에, 복호된 영상스트림을 표시하게 하고,
    멀티캐스트 회의 장치의 참가단말 기억수단에, 회의에 참가하고 있는 단말의 송신원정보를 기억시키고, 또한,
    프레임내 부호화 화상을 수신한 경우, 그 뜻을 영상수신수단에서 영상부호화수단으로 통지시키고, 또한, 상기 영상부호화수단에 상기 영상수신수단으로부터의 통지를 받아 부호화 형식을 프레임내 부호화의 형식으로 변경시키도록 기능시키는 것을 특징으로 하는 멀티캐스트 회의 프로그램.
  23. 멀티캐스트 회의를 하기 위한 컴퓨터를,
    멀티캐스트 회의장치의 카메라 등의 영상입력수단에, 영상스트림을 입력시키고,
    멀티캐스트 회의장치의 영상부호화수단에, 입력되는 영상스트림의 부호화 처리를 행하게하여 송신하여야 할 부호화 영상정보를 작성시키고,
    멀티캐스트 회의장치의 영상송신수단에, 부호화 된 영상정보를 멀티캐스트를 사용하여 네트워크에 송신시키고,
    멀티캐스트 회의 장치의 영상복호수단에, 멀티캐스트를 사용하여 송신된 영상정보를 수신시키고,
    멀티캐스트 회의 장치의 영상복호수단에 수신한 데이터를 복호시키고,
    멀티캐스트 회의 장치의 영상표시수단에 복호된 영상스트림을 표시하게 하고,
    멀티캐스트 회의 장치의 부호화정보 기억수단에, 회의에 참가하고 있는 단말 및 새로이 도중참가하는 단말이 있는 경우는 그 단말의 부호화 파라미터를 기억시키고,
    영상부호화수단에, 상기 부호화정보 기억수단을 참조하여, 회의에 참가하는모든 단말에서 표시가능한 부호화 파라미터로 변경하여 부호화시키도록 기능시키는 것을 특징으로 하는 멀티캐스트 회의 프로그램.
  24. 카메라 등의 영상스트림을 입력하는 영상입력수단과,
    입력되는 영상스트림의 부호화처리를 행하고, 송신하여야 할 부호화 영상정보를 작성하는 영상부호화수단과,
    부호화된 영상정보를 멀티캐스트를 사용하여 네트워크에 송신하는 영상송신수단과,
    멀티캐스트를 사용하여 송신된 영상정보를 수신하는 영상수신수단과,
    수신한 데이터를 복호하는 영상복호수단과,
    복호된 영상스트림을 표시하는 영상표시수단과,
    회의에 도중참가하는 뜻의 통지를 행하는 도중참가 통지수단과,
    회의에 도중참가하는 단말을 검출하고, 그 정보를 영상부호화수단에 송출하는 도중참가단말 검출수단과,
    기지국과의 사이에서 통신제어를 행하는 통신수단을 구비하고,
    영상부호화수단은 도중참가단말 검출수단으로 부터의 검출신호를 받아, 부호화형식을 프레임내 부호화의 형식으로 변경하는 한편,
    통신수단은 기지국과의 사이에서 통신제어를 행하는데 더하여, 압축부호화 영상데이터 및 압축부호화 음성데이터를 네트워크에 송신하고, 또한 압축부호화 영상데이터 및 압축부호화 음성데이터를 네트워크로 부터 수신하고, 더욱더 상기 도중참가 통지신호를 네트워크에 송신하고, 또 도중참가 통지신호를 네트워크로 부터 수신하는 것을 특징으로 하는 휴대전화기.
KR1020020018418A 2001-04-06 2002-04-04 멀티캐스트 회의 장치 및 멀티캐스트 회의 프로그램 KR20020079463A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2001-00109339 2001-04-06
JP2001109339A JP2002305733A (ja) 2001-04-06 2001-04-06 マルチキャスト会議装置、及びマルチキャスト会議プログラム

Publications (1)

Publication Number Publication Date
KR20020079463A true KR20020079463A (ko) 2002-10-19

Family

ID=18961297

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020020018418A KR20020079463A (ko) 2001-04-06 2002-04-04 멀티캐스트 회의 장치 및 멀티캐스트 회의 프로그램

Country Status (5)

Country Link
US (2) US6812955B2 (ko)
EP (1) EP1248460A3 (ko)
JP (1) JP2002305733A (ko)
KR (1) KR20020079463A (ko)
CN (1) CN1380795A (ko)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7339605B2 (en) 2004-04-16 2008-03-04 Polycom, Inc. Conference link between a speakerphone and a video conference unit
US7864938B2 (en) 2000-12-26 2011-01-04 Polycom, Inc. Speakerphone transmitting URL information to a remote device
US8964604B2 (en) 2000-12-26 2015-02-24 Polycom, Inc. Conference endpoint instructing conference bridge to dial phone number
US9001702B2 (en) 2000-12-26 2015-04-07 Polycom, Inc. Speakerphone using a secure audio connection to initiate a second secure connection
US8948059B2 (en) 2000-12-26 2015-02-03 Polycom, Inc. Conference endpoint controlling audio volume of a remote device
US7221663B2 (en) * 2001-12-31 2007-05-22 Polycom, Inc. Method and apparatus for wideband conferencing
US8977683B2 (en) 2000-12-26 2015-03-10 Polycom, Inc. Speakerphone transmitting password information to a remote device
JP2002305733A (ja) * 2001-04-06 2002-10-18 Matsushita Electric Ind Co Ltd マルチキャスト会議装置、及びマルチキャスト会議プログラム
US8934382B2 (en) 2001-05-10 2015-01-13 Polycom, Inc. Conference endpoint controlling functions of a remote device
US8976712B2 (en) 2001-05-10 2015-03-10 Polycom, Inc. Speakerphone and conference bridge which request and perform polling operations
EP1388080A4 (en) 2001-05-10 2006-10-25 Polycom Israel Ltd CONTROL UNIT FOR MULTIPOINT AUDIO / MULTIMEDIA SYSTEM
US20020194606A1 (en) * 2001-06-14 2002-12-19 Michael Tucker System and method of communication between videoconferencing systems and computer systems
US7978838B2 (en) * 2001-12-31 2011-07-12 Polycom, Inc. Conference endpoint instructing conference bridge to mute participants
US8934381B2 (en) 2001-12-31 2015-01-13 Polycom, Inc. Conference endpoint instructing a remote device to establish a new connection
US8705719B2 (en) 2001-12-31 2014-04-22 Polycom, Inc. Speakerphone and conference bridge which receive and provide participant monitoring information
US7787605B2 (en) 2001-12-31 2010-08-31 Polycom, Inc. Conference bridge which decodes and responds to control information embedded in audio information
US8102984B2 (en) 2001-12-31 2012-01-24 Polycom Inc. Speakerphone and conference bridge which receive and provide participant monitoring information
US7742588B2 (en) 2001-12-31 2010-06-22 Polycom, Inc. Speakerphone establishing and using a second connection of graphics information
US8023458B2 (en) 2001-12-31 2011-09-20 Polycom, Inc. Method and apparatus for wideband conferencing
US8223942B2 (en) 2001-12-31 2012-07-17 Polycom, Inc. Conference endpoint requesting and receiving billing information from a conference bridge
US8144854B2 (en) 2001-12-31 2012-03-27 Polycom Inc. Conference bridge which detects control information embedded in audio information to prioritize operations
US8885523B2 (en) 2001-12-31 2014-11-11 Polycom, Inc. Speakerphone transmitting control information embedded in audio information through a conference bridge
US8947487B2 (en) * 2001-12-31 2015-02-03 Polycom, Inc. Method and apparatus for combining speakerphone and video conference unit operations
US20050041646A1 (en) * 2003-06-27 2005-02-24 Marconi Communications, Inc. Audio mixer and method
US20050027800A1 (en) * 2003-07-28 2005-02-03 International Business Machines Corporation Agenda-driven meetings
JP2005086365A (ja) * 2003-09-05 2005-03-31 Sony Corp 通話装置、会議装置および撮像条件調整方法
JP2006054627A (ja) * 2004-08-11 2006-02-23 Nec Corp 同報送信システム、サーバ装置、端末装置及びそれらに用いる送信データ加工方法
US20060073843A1 (en) * 2004-10-01 2006-04-06 Naveen Aerrabotu Content formatting and device configuration in group communication sessions
CN100346647C (zh) * 2004-12-31 2007-10-31 北京航空航天大学 一种在互联网上多点视频会议多屏幕显示的方法
JP2006279715A (ja) * 2005-03-30 2006-10-12 Nec Corp 同報通信システム、サーバ、同報通信方法、及びそのプログラム
US8199791B2 (en) 2005-06-08 2012-06-12 Polycom, Inc. Mixed voice and spread spectrum data signaling with enhanced concealment of data
US7796565B2 (en) 2005-06-08 2010-09-14 Polycom, Inc. Mixed voice and spread spectrum data signaling with multiplexing multiple users with CDMA
US8126029B2 (en) 2005-06-08 2012-02-28 Polycom, Inc. Voice interference correction for mixed voice and spread spectrum data signaling
JP5031230B2 (ja) 2005-11-28 2012-09-19 キヤノン株式会社 データ送信装置及び方法
US8811481B2 (en) 2007-05-29 2014-08-19 Nec Corporation Moving picture transcoding apparatus, moving picture transcoding method, and moving picture transcoding program
US7843611B2 (en) * 2007-07-18 2010-11-30 Kuwait University High speed flatbed scanner comprising digital image-capture module with two-dimensional optical image photo-sensor or digital camera
CN101110941B (zh) * 2007-08-17 2010-10-13 中兴通讯股份有限公司 交互式网络电视与会议电视融合的系统及方法
CN101843008B (zh) * 2007-11-02 2014-06-04 富士通株式会社 网络编码方法和网络编码装置
WO2009145294A1 (ja) * 2008-05-30 2009-12-03 日本電気株式会社 サーバ装置と通信方法ならびにプログラム
US8693536B2 (en) 2008-05-30 2014-04-08 Nec Corporation Server apparatus, communication method and program
US8134759B2 (en) * 2008-11-19 2012-03-13 Kuwait University Method and apparatus for capturing the image of bound documents such as books using digital camera
KR101479011B1 (ko) * 2008-12-17 2015-01-13 삼성전자주식회사 다중 대역 스케쥴링 방법 및 이를 이용한 방송 서비스 시스템
US8760492B2 (en) 2009-01-30 2014-06-24 Polycom, Inc. Method and system for switching between video streams in a continuous presence conference
JP5136530B2 (ja) * 2009-09-28 2013-02-06 ブラザー工業株式会社 通信端末装置、端末制御方法、及び端末制御プログラム
CN102387338B (zh) * 2010-09-03 2017-04-12 中兴通讯股份有限公司 分布式视频处理方法及视频会议系统
TWI491218B (zh) * 2011-08-11 2015-07-01 Polycom Inc 媒體中繼視訊通信
JP2013042492A (ja) * 2011-08-11 2013-02-28 Polycom Inc 常駐表示式ビデオ会議においてビデオストリームを切替える方法およびシステム
CN102547214B (zh) 2012-02-22 2013-05-29 腾讯科技（深圳）有限公司 一种多人视频通信中的视频编码方法以及终端
JP2014127919A (ja) * 2012-12-27 2014-07-07 Fujitsu Mobile Communications Ltd 出力方法、出力システムおよびプログラム
JP2017028375A (ja) 2015-07-16 2017-02-02 株式会社リコー 映像処理装置、及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3853713T2 (de) * 1987-12-17 1996-01-18 Mitsubishi Electric Corp Verfahren zur Übertragung und Anzeige eines Standbildes in einem Standbild-Videotelefon.
JPH05252511A (ja) 1992-03-06 1993-09-28 Nippon Telegr & Teleph Corp <Ntt> 画像分配装置
JPH07123389A (ja) * 1993-08-30 1995-05-12 Canon Inc 通信会議端末装置及び通信会議装置
US5508942A (en) * 1993-11-24 1996-04-16 Intel Corporation Intra/inter decision rules for encoding and decoding video signals
JPH07298231A (ja) 1994-04-27 1995-11-10 Canon Inc 多地点動画像通信システム、その制御装置及び動画像通信端末
US5909543A (en) * 1994-11-30 1999-06-01 Canon Kabushiki Kaisha Communication conference system and communication conference apparatus
JP2001128133A (ja) * 1999-11-01 2001-05-11 Nippon Telegr & Teleph Corp <Ntt> 多地点通信会議システム
JP2002305733A (ja) * 2001-04-06 2002-10-18 Matsushita Electric Ind Co Ltd マルチキャスト会議装置、及びマルチキャスト会議プログラム

Also Published As

Publication number Publication date
EP1248460A2 (en) 2002-10-09
JP2002305733A (ja) 2002-10-18
EP1248460A3 (en) 2005-02-02
US6812955B2 (en) 2004-11-02
US20050037743A1 (en) 2005-02-17
US6943819B2 (en) 2005-09-13
US20020154211A1 (en) 2002-10-24
CN1380795A (zh) 2002-11-20

Similar Documents

Publication Publication Date Title
KR20020079463A (ko) 멀티캐스트 회의 장치 및 멀티캐스트 회의 프로그램
US8988486B2 (en) Adaptive video communication channel
EP1683356B1 (en) Distributed real-time media composer
KR100763269B1 (ko) 화상 부호화 데이터의 전환 방법 및 장치, 시스템 및 프로그램을 기록한 기록 매체
US8553068B2 (en) Switched multipoint conference using layered codecs
US20120236111A1 (en) Method and System for Switching Between Video Streams in a Continuous Presence Conference
TW201808001A (zh) 用於在多媒體通訊中使用壓縮並行轉碼器的方法和裝置
CN102387338B (zh) 分布式视频处理方法及视频会议系统
CN104980683A (zh) 一种视频电话会议的实现方法及装置
CN111601068A (zh) 一种多mcu级联无中心视频会议的实现方法
TWI451746B (zh) 視訊會議系統及視訊會議方法
CN103957391A (zh) 在可视对讲中多方通话时同时显示各方视频的方法及系统
GB2511822A (en) A telecommunication network
JP2006019771A (ja) 動画受信装置、動画送信装置およびプログラム
JP2012151555A (ja) テレビ会議システム、テレビ会議中継装置、テレビ会議中継方法および中継プログラム
JP2013042492A (ja) 常駐表示式ビデオ会議においてビデオストリームを切替える方法およびシステム
US8515042B2 (en) Method for indicating call progress state, conference control device, and conference system
JP2008311855A (ja) 通信端末装置
CN106998328B (zh) 一种视频传输方法及装置
JPH07298231A (ja) 多地点動画像通信システム、その制御装置及び動画像通信端末
WO2012043290A1 (ja) ビデオ通話システム、主側端末、従側端末
CN112272281B (zh) 一种区域分布式视频会议系统
KR100747895B1 (ko) 다자간 화상 통화 방법
Cricri et al. Mobile and Interactive Social Television—A Virtual TV Room
JPH05300506A (ja) 画像音声通信端末装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid