KR101561371B1 - 다지점 접속 장치 및 통신 시스템 - Google Patents

다지점 접속 장치 및 통신 시스템 Download PDF

Info

Publication number
KR101561371B1
KR101561371B1 KR1020137033755A KR20137033755A KR101561371B1 KR 101561371 B1 KR101561371 B1 KR 101561371B1 KR 1020137033755 A KR1020137033755 A KR 1020137033755A KR 20137033755 A KR20137033755 A KR 20137033755A KR 101561371 B1 KR101561371 B1 KR 101561371B1
Authority
KR
South Korea
Prior art keywords
video
audio
composite
information
volume
Prior art date
Application number
KR1020137033755A
Other languages
English (en)
Other versions
KR20140012755A (ko
Inventor
아키히토 아이바
Original Assignee
가부시키가이샤 리코
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 리코 filed Critical 가부시키가이샤 리코
Publication of KR20140012755A publication Critical patent/KR20140012755A/ko
Application granted granted Critical
Publication of KR101561371B1 publication Critical patent/KR101561371B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827—Network arrangements for conference optimisation or adaptation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/567—Multimedia conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/38—Displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/50—Telephonic communication in combination with video communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • H04M3/569—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants using the instant speaker's algorithm

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

다지점 접속 장치(200)는 영상/음성 단말(100)로부터 영상/음성 신호를 수신하는 영상/음성 신호 수신 유닛(201)과, 영상/음성 신호로부터 음량 레벨을 계산하는 음량 레벨 계산 유닛(205)과, 음량 레벨로부터 음량을 나타내는 음량 표시 화상을 생성하는 음량 표시 화상 생성 유닛(207)과, 영상/음성 단말(100)에 표시될 영상의 배치에 관한 정보를 나타내는 레이아웃 설정 정보를 수신하는 레이아웃 설정 정보 수신 유닛(209)과, 레이아웃 설정 정보에 기초하여, 영상/음성 신호와 음량 표시 화상을 합성하여 합성 영상/음성 신호를 생성하는 합성 영상/음성 신호 생성 유닛(211)과, 영상/음성 신호를 영상/음성 단말(100)에 송신하는 송신 유닛(215)을 포함한다.

Description

다지점 접속 장치 및 통신 시스템{MULTIPOINT CONNECTION APPARATUS AND COMMUNICATION SYSTEM}
본 발명은 다지점(multipoint) 접속 장치 및 통신 시스템에 관한 것이다.
최근, 네트워크의 발달 등에 따라, 원격지에 있는 상대와 영상, 음성 등을 교환하는 비디오 회의 시스템이 보급되고 있다.
비디오 회의 시스템에 있어서, 화자는 자신의 소리가 상대측에 적절한 음량으로 전달되는지의 여부를 판별하기 어렵기 때문에, 담화 시에 불안감을 갖게 된다는 과제가 있다. 이 과제의 해결법으로서, 화면 상에 화자의 성량을 나타내는 레벨 미터 등을 표시하는 방법이 있다.
예컨대, 일본 특허 출원 공개 2004-186870호(특허문헌 1)에는, 원격지에 설치된 원거리 단말(remote terminal)로부터 송신된 원거리 단말의 스피커 음량(출력 음성의 음량 레벨)에 관한 정보를, 근거리에 있는 단말인 근거리 단말(local terminal)에서 수신하여 그 정보를 화면 상에 표시하고, 또한 근거리 단말의 마이크 음량(입력 음성의 음량 레벨)과 스피커 음량도 화면에 표시하는 구성이 개시되어 있다.
일본 특허 출원 공개 H7-226800호에는, 원거리 단말에 관한 스피커 음량 설정 정보가 근거리 단말에 송신되는 구성이 개시되어 있다.
일본 특허 출원 공개 2004-186870호 일본 특허 출원 공개 H7-226800호
그러나, 특허문헌 1과 특허문헌 2에 개시된 구성에 있어서, 원거리 단말이 근거리 단말과 구성이 상이한 경우, 원거리 단말에 관한 스피커 음량 정보를 원거리측에서 취득할 수 없다는 문제가 있다. 즉, 원거리 단말과 근거리 단말이 구성면에서 같은 경우에만 적용할 수 있다는 문제가 있다.
따라서, 각각의 영상/음성 단말이 지점의 마이크 음량을 따로따로 표시할 수 있는 다지점 접속 장치 및 통신 시스템에 대한 요구가 있다.
본 발명의 목적은 종래기술의 과제를 적어도 부분적으로 해결하는 것이다.
일 실시형태에 따라, 복수의 영상/음성 단말에 접속되는 다지점 접속 장치를 제공한다. 다지점 접속 장치는 상기 영상/음성 단말로부터 출력된 영상/음성 신호를 각각 수신하도록 구성된 영상/음성 신호 수신 유닛과, 각각의 영상/음성 신호로부터 음량 레벨을 계산하도록 구성된 음량 레벨 계산 유닛과, 상기 음량 레벨 계산 유닛에 의해 계산된 각각의 음량 레벨에 기초하여, 음량을 나타내는 음량 표시 화상을 생성하도록 구성된 음량 표시 화상 생성 유닛과, 대응하는 영상/음성 단말에 표시될 영상의 배치에 관한 정보를 나타내는 각각의 레이아웃 설정 정보를 수신하도록 구성된 레이아웃 설정 정보 수신 유닛과, 상기 대응하는 영상/음성 단말에 관한 레이아웃 설정 정보에 기초해서, 상기 영상/음성 신호와 상기 음량 표시 화상을 합성하여 각각의 영상/음성 단말에 관한 합성 영상/음성 신호를 생성하도록 구성된 합성 영상/음성 신호 생성 유닛과, 상기 합성 영상/음성 신호를 상기 대응하는 영상/음성 단말에 송신하도록 구성된 송신 유닛을 포함한다.
다른 실시형태에 따라, 복수의 영상/음성 단말에 접속되는 다지점 접속 장치를 제공한다. 다지점 접속 장치는 상기 영상/음성 단말로부터 출력된 영상/음성 신호를 각각 수신하도록 구성된 영상/음성 신호 수신 유닛과, 각각의 영상/음성 신호로부터 음량 레벨을 계산하도록 구성된 음량 레벨 계산 유닛과, 대응하는 영상/음성 단말에 표시될 영상의 배치에 관한 정보를 나타내는 각각의 레이아웃 설정 정보를 수신하도록 구성된 레이아웃 설정 정보 수신 유닛과, 상기 영상/음성 신호, 상기 음량 레벨, 및 상기 대응하는 영상/음성 단말에 관한 레이아웃 설정 정보로부터 각각의 영상/음성 단말에 관한 합성 정보 신호를 생성하도록 구성된 합성 정보 신호 생성 유닛과, 상기 합성 정보 신호를 상기 대응하는 영상/음성 단말에 송신하도록 구성된 송신 유닛을 포함한다.
또 다른 실시형태에 따라, 다지점 접속 장치와 복수의 영상/음성 단말을 포함하는 통신 시스템을 제공하며, 상기 다지점 접속 장치와 상기 영상/음성 단말은 통신 네트워크를 통해 서로 접속된다. 상기 다지점 접속 장치는, 상기 영상/음성 단말로부터 출력된 영상/음성 신호를 각각 수신하도록 구성된 영상/음성 신호 수신 유닛과, 각각의 영상/음성 신호로부터 음량 레벨을 계산하도록 구성된 음량 레벨 계산 유닛과, 대응하는 영상/음성 단말에 표시될 영상의 배치에 관한 정보를 나타내는 각각의 레이아웃 설정 정보를 수신하도록 구성된 레이아웃 설정 정보 수신 유닛과, 상기 영상/음성 신호, 상기 음량 레벨, 및 상기 대응하는 영상/음성 단말에 관한 레이아웃 설정 정보로부터 상기 영상/음성 단말 중 적어도 하나에 관한 합성 정보 신호를 생성하도록 구성된 합성 정보 신호 생성 유닛과, 상기 합성 정보 신호를 상기 대응하는 영상/음성 단말에 송신하도록 구성된 송신 유닛을 포함한다. 상기 영상/음성 단말 중 적어도 하나는 상기 합성 정보 신호를 수신하도록 구성된 합성 정보 신호 수신 유닛과, 상기 합성 정보 신호에 포함되는 음량 레벨과 레이아웃 설정 정보로부터 음량을 나타내는 음량 표시 화상을 생성하도록 구성된 음량 표시 화상 생성 유닛과, 상기 합성 정보 신호에 포함되는 영상/음성 신호를 상기 음량 표시 화상과 합성하도록 구성된 영상/음성 합성 유닛을 포함한다.
본 발명의 전술한 목표 및 다른 목표, 특징, 이점 그리고 기술 및 산업적 중요성은 첨부하는 도면을 참조하여, 이하 본 발명의 현시점에서 바람직한 실시형태에 대한 구체적인 설명을 읽음으로써 더 잘 이해될 것이다.
도 1은 본 발명이 적용되는 통신 시스템의 전체 구성도이다.
도 2는 제1 실시형태에 따른 통신 시스템의 구성을 도시하는 블록도이다.
도 3은 제1 실시형태에 따른 디코딩 유닛의 내부 구성을 도시하는 블록도이다.
도 4는 제1 실시형태에 따른 영상/음성 신호로부터 음량 레벨을 계산하는 방법을 나타내는 도면이다.
도 5a와 도 5b는 제1 실시형태에 따른 음량 표시 화상 생성 유닛에 의해 생성되는 음량 표시 화상의 도면이다.
도 6a와 도 6b는 제1 실시형태에 따른 영상 레이아웃의 도면이다.
도 7a와 도 7b는 제1 실시형태에 따른 합성 영상/음성 신호 생성 유닛에 의해 합성되는 영상의 도면이다.
도 8a와 도 8b는 제1 실시형태에 따른 통신 시스템의 동작을 나타내는 시퀀스 차트도이다.
도 9는 제2 실시형태에 따른 통신 시스템의 구성을 도시하는 블록도이다.
도 10a와 도 10b는 제2 실시형태에 따른 부가 정보의 데이터 구조의 도면이다.
도 11a와 도 11b는 제2 실시형태에 따른 음량 표시 화상 생성 유닛에 의해 합성되는 화상의 도면이다.
도 12는 제2 실시형태에 따른 통신 시스템의 동작을 나타내는 시퀀스 차트도이다.
도 13은 제3 실시형태에 따른 통신 시스템의 구성을 도시하는 블록도이다.
도 14는 제3 실시형태에 따른 통신 시스템의 동작을 나타내는 시퀀스 차트도이다.
제1 실시형태
도 1과 도 2를 참조하여, 본 발명에 따른 제1 실시형태에 관해서 설명한다. 도 1은 본 발명이 적용되는 통신 시스템의 전체 구성도이다. 도 2는 제1 실시형태에 따른 통신 시스템의 구성을 도시하는 블록도이다. 본 실시형태는 다지점 접속 장치가 합성 영상/음성 신호 생성 유닛의 앞쪽에 음량 레벨 계산 유닛을 포함하는 것을 특징으로 한다.
통신 시스템(1)은 복수의 영상/음성 단말(1001∼100n)과, 영상/음성 단말(1001∼100n)에 의해 송신 및 수신되는 영상/음성 신호와 각종 정보를 중계하는 다지점 접속 장치(200)를 포함한다. 영상/음성 단말(1001∼100n)과 다지점 접속 장치(200)는 통신 네트워크를 통해 서로 접속된다. 이하, 영상/음성 단말(1001∼100n)의 임의의 하나를 간단히 "영상/음성 단말(100)"이라고 칭한다. 또한, 다지점 접속 장치(200)에는, 레이아웃 설정 정보 송신 유닛(300)이 통신 네트워크를 통해 접속된다. 레이아웃 설정 정보 송신 유닛(300)은 영상/음성 단말(100)의 디스플레이 유닛에 표시될 정보 및 영상 레이아웃에 관한 정보인 레이아웃 설정 정보를 다지점 접속 장치(200)에 송신하는 유닛이다.
도시하는 다지점 접속 장치(200)에는, n개(n은 2 이상의 임의의 수)의 영상/음성 단말(1001∼100n)이 접속되어 있다. 도 1에 도시하는 바와 같이, 각 영상/음성 단말(100)은 각 지점의 영상을 촬영하는 카메라(촬영 유닛), 회의 중에 음성의 입력을 접수하고 음성을 전기 신호로 변환하는 마이크(음성 입력 유닛), 및 각 지점으로부터의 영상 등을 표시하는 디스플레이나 프로젝터 등(디스플레이 유닛)을 포함한다. 도 2는 영상/음성 단말(1001∼100n-1)이 영상 및 음성을 송신하는 송신 단말로서 기능하고 영상/음성 단말(100n)이 영상/음성 단말(1001∼100n-1)로부터 송신된 영상 및 음성을 수신하는 수신 단말로서 기능하는 경우를 도시하고 있다.
다지점 접속 장치(200)는 영상/음성 신호 수신 유닛(201), 디코딩 유닛(203), 음량 레벨 계산 유닛(205), 음량 표시 화상 생성 유닛(207), 레이아웃 설정 정보 수신 유닛(209), 합성 영상/음성 신호 생성 유닛(211), 인코딩 유닛(213), 및 송신 유닛(215)을 포함한다.
영상/음성 신호 수신 유닛(201)은, 영상/음성 단말(1001∼100n)로부터 송신된 영상/음성 신호를 수신한다. 여기서, 영상/음성 단말(100)로부터 송신되는 영상/음성 신호는 대개 압축된 상태이다.
디코딩 유닛(203)은 영상/음성 신호 수신 유닛(201)에 의해 수신된 각각의 압축 영상/음성 신호를 디코딩한다. 이하, 디코딩 유닛(203)의 일례에 관해서 설명한다. 도 3은 제1 실시형태에 따른 디코딩 유닛의 내부 구성을 도시하는 블록도이다. 디코딩 유닛(203)은 복수의 인코딩 포맷을 지원하는 것이 가능하도록 도 3에 도시하는 구성을 가질 수 있다.
디코딩 유닛(203)은 판정 유닛(221)과, 디코더 선택 유닛(223)과, 복수의 단일 포맷 디코더(225a, 225b, 225c, …)를 포함하는 단일 포맷 디코더 그룹(227)을 포함한다. 판정 유닛(221)은 압축 영상/음성 신호의 인코딩 포맷을 판정하여, 판정 결과를 디코더 선택 유닛(223)에 출력한다. 디코더 선택 유닛(223)은 판정 유닛(221)으로부터 출력되는 판정 결과에 기초하여, 단일 포맷 디코더(225a, 225b, 225c, …)로부터 선택된 하나의 단일 포맷 디코더에 압축 영상/음성 신호를 출력한다. 선택된 단일 포맷 디코더는 입력받은 압축 영상/음성 신호를 디코딩하여 영상/음성 신호를 출력한다.
음량 레벨 계산 유닛(205)(도 2)은 디코딩 유닛(203)에 의해 디코딩된 각각의 영상/음성 신호로부터 음량 레벨을 각각 계산하고 그 음량 레벨을 음량 레벨 정보로서 출력한다. 음량 레벨의 계산 방법은 다양하다. 그 방법의 예로는, 단위 시간당 음성 신호의 최대 진폭 또는 실효값(RMS)을 이용하여 계산하는 것을 포함한다. "최대 진폭치"는 소정의 구간에 있어서 신호치의 절대 최대치를 의미한다. 또한 "RMS(Root Mean Square)"는 소정의 구간에 있어서 신호치의 제곱 평균 평방근을 의미한다. 도 4는 제1 실시형태에 따른 영상/음성 신호로부터 음량 레벨을 계산하는 방법을 나타내는 도면이다.
이하, 예컨대 도 4에 도시하는 바와 같이 음성 시간이 시간에 따라 변하는 경우에 대해 설명하며, 여기서 s(t)는 음성 신호를 나타내고, Δt는 단위 시간을 나타낸다. 최대 진폭을 이용하는 경우의 음량 레벨 volmax는 이하의 식을 사용해 계산될 수 있다.
Figure 112013116296935-pct00001
또한, RMS를 이용하는 경우의 음량 레벨 volrms는 이하의 식을 사용해 계산될 수 있다.
Figure 112013116296935-pct00002
또한, 음량 레벨은 반드시 실제 최대 진폭일 필요는 없다. 예컨대, 0을 무음 상태에 대응시키고 10을 0 dB 상태에 대응시키는 방식으로 데시벨 값 0 내지 10의 미리 정해진 범위 내의 정수로 정규화되고 양자화된 음량 레벨을 출력하는 방법도 있다. "정규화"란, 일정한 규칙에 따라서 데이터를 변형하여 이용하기 쉽게 하는 것을 의미한다.
음량 표시 화상 생성 유닛(207)(도 2)은 음량 레벨 계산 유닛(205)으로부터 출력된 음량 레벨 정보에 기초하여, 음량 표시 화상을 생성한다. 도 5a와 도 5b는 제1 실시형태에 따른 음량 표시 화상 생성 유닛에 의해 생성되는 음량 표시 화상의 도면이다.
예컨대, 도 5a에 있어서, 음량 표시 화상(231)은 가로로 긴 직사각형의 음량 표시 영역(231a)과 그 음량 표시 영역(231a) 내에 표시되는 바(bar)(231b)로 구성된다. 음량 표시 영역(231a)은 미리 정해진 기초색으로 표시된다. 또한, 바(231b)는 음량 표시 영역(231a)과 적어도 3변에서 접하고 음량 표시 영역(231a)의 기초색과 상이한 색상으로 표시된다. 음량은 음량 표시 영역(231a) 내의 바(231b)의 면적으로서 표현된다. 더 구체적으로, 음량 표시 영역(231a) 중 음량 레벨에 종속되는 면적의 부분에만 상이한 색을 배정함으로써, 음량을 표현한다. 예컨대, (a-2)에 도시하는 바와 같이, 음량 최소 시에는 바(231b)의 면적이 제로이고, 음량 표시 영역(231a)만이 표시된다. 또한, (a-3)에 도시하는 바와 같이, 음량 최대 시에는 바(231b)의 면적이 최대이고, 음량 표시 영역(231a) 전체가 바(231b)가 된다.
도 5b에 있어서. 음량 표시 화상(233)은, 하나의 세로선으로 정렬된 복수의 세그먼트 바(235a)로 구성되는 음량 표시 영역(235)(세그먼트 바 그래프)과, 음량을 나타내는 착색 세그먼트 바(237)로 구성된다. 각각의 세그먼트 바(235a)는 미리 정해진 기초색으로 표시된다. 또한, 세그먼트 바(237)는 음량 표시 영역(235) 내의 세그먼트 바(235a)의 일부를 기초색과 상이한 색상으로 채운 것이다. 도 5b에 있어서, 음량은 세그먼트 바(237)의 개수로 표현된다. 더 구체적으로, 음량 표시 영역(235) 중 음량 레벨에 종속되는 수만큼의 세그먼트 바(235a)에만 상이한 색상을 배정함으로써 음량을 표현한다. 예컨대, (b-2)에 도시하는 바와 같이, 음량 최소 시에 세그먼트 바(237)의 수는 제로이다. 또한, (b-3)에 도시하는 바와 같이, 음량 최대 시에는, 음량 표시 영역(235)의 모든 세그먼트 바(235a)가 세그먼트 바(237)가 된다.
한편, 음량의 시각적 인식이 가능한 화상이라면, 도 5a와 도 5b에 도시하는 예 이외의 것을 채용할 수도 있다. 예컨대, 직사각형 이외에, 타원형, 원형, 또는 삼각형 등의 다른 형상을 채용할 수도 있다.
레이아웃 설정 정보 수신 유닛(209)(도 2)은 레이아웃 설정 정보 송신 유닛(300)으로부터 송신된 레이아웃 설정 정보를 수신한다. 여기서, 레이아웃 설정 정보는 영상의 배치에 관한 정보를 나타내는 정보이다. 더 구체적으로, 레이아웃 설정 정보는 영상/음성 단말(1001∼100n)의 영상을 어떠한 레이아웃, 즉 배치로 표시하는지를 나타내는 정보이다. 또, 일반적으로 레이아웃 설정 정보 송신 유닛(300)은 영상/음성 단말(100n)에 내장되어 있고, 레이아웃 설정을 영상/음성 단말(100n)의 사용자가 영상/음성 단말(100n)의 조작 버튼 등을 이용해 원하는 대로 선택하여 지정할 수 있게 구성되어 있다.
도 6a와 도 6b는 제1 실시형태에 따른 영상 레이아웃의 도면이다. 2 지점의 영상을 하나의 화면에 표시하는 예를 도시하고 있다. 더 구체적으로, 2개 지점 간의 회의 시에 근거리 지점의 영상과 원거리 지점의 영상을 표시하는 경우와 3개 지점 간의 회의 시에 2 원거리 지점의 영상을 표시하는 경우의 예이다.
도 6a에 도시하는 표시 화면(241)은 화면 전체를 차지하는 영역(241A)과, 그 영역(241A) 상에 중첩되며 그 영역(241A)보다 작은 영역(241B)을 포함하는 레이아웃의 예이다. 영역(241A)에는 소정 지점의 영상이 표시되고, 영역(241B)에는 다른 지점의 영상이 표시된다. 도 6a에 있어서, 영역(241B)은 영역(241A)의 오른쪽 하부에 중첩되는 것으로 표시되지만, 영역(241B)의 표시 위치는 이것에 한정되지 않는다. 같은 레이아웃으로서, 예컨대 영역(241B)이 왼쪽 하부, 왼쪽 상부, 또는 오른쪽 상부에 배치되는 것을 채용할 수도 있다.
도 6b에 도시하는 표시 화면(243)은, 화면을 세로로 2개 부분으로 분할하여 좌측 영역(243C)과 우측 영역(243D)을 포함하는 레이아웃의 예이다. 영역(243C)에는 소정 지점의 영상이 표시되고, 영역(243D)에는 다른 지점의 영상이 표시된다. 같은 레이아웃으로서, 표시하는 영상의 종횡비를 유지하기 위해서, 각각의 영역(243C, 243D)의 상부 및 하부를 잘라낸 것을 채용할 수도 있다.
물론, 도 6a와 도 6b에 도시한 예 이외의 영상 레이아웃을 채용할 수도 있다.
합성 영상/음성 신호 생성 유닛(211)(도 2)은 레이아웃 설정 정보 수신 유닛(209)에 의해 수신된 레이아웃 설정 정보에 기초하여, 디코딩 유닛(203)에 의해 디코딩된 영상/음성 신호를, 음량 표시 화상 생성 유닛(207)에 의해 생성된 음량 표시 화상과 합성한다. 합성 영상/음성 신호는 적어도 복수의 영상/음성 단말로부터의 영상/음성 신호가 합성된 신호이다. 본 실시형태에 따른 합성 영상/음성 신호는 영상/음성 신호뿐만 아니라 영상 표시 화상도 합성하여 얻어진 것이다. 도 7a와 도 7b는 제1 실시형태에 따른 합성 영상/음성 신호 생성 유닛에 의해 합성되는 영상의 도면이다.
예컨대 도 7a에 도시하는 합성 영상은, 도 6b에 도시한 레이아웃에 대응하는 레이아웃 설정 정보를 수신하고, 도 5a에 도시한 바와 같은 음량 표시 화상을 이용하는 경우의 예이다. 표시 화면(243) 상의 각각의 영역(243C, 243D)의 하부에는 음량 표시 화상(231)이 표시된다.
마찬가지로, 예컨대 도 7b에 도시하는 합성 영상은, 도 6a에 도시한 레이아웃에 대응하는 레이아웃 설정 정보를 수신하고, 도 5b에 도시한 바와 같은 음량 표시 화상을 이용하는 경우의 예이다. 표시 화면(241) 상의 영역(241A)의 왼쪽 단부와 영역(241B)의 오른쪽 단부에, 음량 표시 화상(233)이 표시된다.
인코딩 유닛(213)(도 2)은 합성 영상/음성 신호 생성 유닛(211)으로부터 출력된 합성 영상/음성 신호를 인코딩하여, 데이터 사이즈를 압축한다.
송신 유닛(215)은 인코딩 유닛(213)에 의해 압축된 합성 영상/음성 신호를 영상/음성 단말(100n)에 송신한다.
영상/음성 단말(100n)은 도 7a 또는 도 7b에 도시하는 바와 같이 수신된 합성 영상/음성 신호에 기초하여, 합성된 영상을 디스플레이나 프로젝터 등의 디스플레이 유닛에 출력한다. 실제로, 각각의 영상/음성 단말(1001∼100n)도 영상/음성 단말(100)로부터 영상/음성 신호를 수신한다. 따라서, 레이아웃 설정 정보 수신 유닛(209), 합성 영상/음성 신호 생성 유닛(211), 인코딩 유닛(213), 및 송신 유닛(215)에 대해 n개의 신호가 입력/출력된다.
시퀀스 차트를 참조하여, 통신 시스템(1)의 동작에 관하여 설명한다. 도 8a와 도 8b는 제1 실시형태에 따른 통신 시스템의 동작을 나타내는 시퀀스 차트도이다.
먼저, 도 8a를 참조하여 레이아웃 설정 정보 처리에 관한 동작에 대해 설명한다. 레이아웃 설정 정보 송신 유닛(300)은 다지점 접속 장치(200)에 레이아웃 설정 정보를 송신한다(단계 S1). 다지점 접속 장치(200)의 레이아웃 설정 정보 수신 유닛(209)은 레이아웃 설정 정보를 수신하고(단계 S2), 그것을 기억 유닛(도시 생략)에 기억한다(단계 S3).
다음으로, 도 8b를 참조하여 영상/음성 처리에 관한 동작에 대해 설명한다.
영상/음성 단말(1001∼100n)은 다지점 접속 장치(200)에 압축 영상/음성 신호를 송신한다(단계 S11 및 S12).
다지점 접속 장치(200)의 영상/음성 신호 수신 유닛(201)은 영상/음성 단말(1001∼100n)로부터 n개의 압축 영상/음성 신호를 수신한다(단계 S13). 디코딩 유닛(203)은 압축 영상/음성 신호를 n개의 압축 영상/음성 신호로 디코딩한다(단계 S14). 음량 레벨 계산 유닛(205)은 디코딩 유닛(203)에 의해 디코딩된 n개의 영상/음성 신호로부터 n개의 음량 레벨을 계산한다(단계 S15). 음량 표시 화상 생성 유닛(207)은 음량 레벨 계산 유닛(205)으로부터 출력된 n개의 음량 레벨 정보로부터 n개의 음량 표시 화상을 생성한다(단계 S16). 합성 영상/음성 신호 생성 유닛(211)은 도 8a의 단계 S3에서 기억된 레이아웃 설정 정보를 추출하여, n개의 영상/음성 신호를 n개의 음량 표시 화상과 합성한다(단계 S17). 인코딩 유닛(213)은 합성 영상/음성 신호 생성 유닛(211)에 의해 합성하여 얻어진 합성 영상/음성 신호를 인코딩한다(단계 S18). 송신 유닛(215)은 인코딩 유닛(213)에 의해 생성된 압축 합성 영상/음성 신호를 영상/음성 단말(100n)에 송신한다(단계 S19).
영상/음성 단말(100n)은 압축 합성 영상/음성 신호를 수신하고(단계 S20), 그것을 디코딩하며(단계 S21), 얻어진 압축 영상/음성 신호를 디스플레이 유닛에 표시한다(단계 S22).
원거리 단말의 스피커 음량과 근거리 단말의 마이크 음량은 근거리 위치로부터 원격지에 송신된 음성에 관한 정보이다. 전술한 바와 같은 그러한 정보뿐만 아니라, 근거리 단말의 스피커 음량 및 원거리 단말의 마이크 음량 등의, 원격지로부터 근거리 위치에 송신된 음성에 관한 정보도 동시에 표시되는 것이 바람직하다. 이로써, 근거리측에서 스피커에 의해 제공되는 음성이 어떻게 들리는지와 원거리측의 음성에 관한 음량 표시 사이의 관계에 기초하여, 근거리측의 음성에 관한 음량 표시를 보면서, 행해지는 담화의 음량 레벨을 조절할 수 있으므로, 조절을 용이하게 행할 수 있다. 아울러, 문제 발생 시에, 그 정보를 문제의 원인을 결정하기 위한 참조 정보로서 이용할 수 있다는 점에서 유리하다.
전술한 바와 같이, 본 실시형태에 따르면, 다지점 접속 장치는 음량 레벨 계산 유닛과 음량 표시 화상 생성 유닛을 포함하고, 합성 영상/음성 신호 생성 유닛에 의해 음량 표시 화상이 합성된 합성 영상/음성 신호를 영상/음성 단말에 송신한다. 영상/음성 단말은 이미 음량 표시 화상이 포함된 합성 영상/음성 신호를 수신할 수 있다. 따라서, 영상/음성 단말의 구성과 독립된 다른 영상/음성 단말의 마이크 음량을 수신측의 영상/음성 단말에서 개별적으로 표시할 수 있다.
또한, 음량 레벨을 계산할 때에 최대 진폭을 이용함으로써, 적절한 값을 음량 레벨로서 채용할 수 있다. 또한, 음량 레벨 계산 시에 RMS를 이용함으로써, 취급하기 쉬운 값을 음량 레벨로서 채용할 수 있다. 또한, 정규화되고 양자화된 음량 레벨을 이용함으로써, 음량을 직관적이고 알기 쉽게 표시할 수 있다.
한편, 본 실시형태에서는, 설명의 편의상, 영상/음성 단말(100n)의 수신 동작에 대해서만 기술하였다. 그러나, 실제로는 영상/음성 단말(1001∼100n-1)도 영상/음성 신호를 수신하며, 전술한 바와 같은 처리가 행해진다.
제2 실시형태
도 9를 참조하여 본 발명에 따른 제2 실시형태에 관하여 설명한다. 도 9는 제2 실시형태에 따른 통신 시스템의 구성을 도시하는 블록도이다. 본 실시형태는 영상/음성 단말이 음량 표시 화상의 생성 및 생성된 음량 표시 화상과 영상 음성의 합성을 수행하는 것을 특징으로 한다.
통신 시스템(2)의 다지점 접속 장치(250)에는, n개(n은 2 이상의 임의의 수)의 영상/음성 단말(1101∼110n)이 접속되어 있다. 도 9는 영상/음성 단말(110n)이 영상/음성 단말(1101∼110n-1)로부터 영상/음성 신호를 수신하는 경우에 대해서 도시하고 있다. 영상/음성 단말(1101∼110n-1)에 대해서는 제1 실시형태와 동일 구성의 단말을 이용할 수 있다.
다지점 접속 장치(250)는 영상/음성 신호 수신 유닛(201), 디코딩 유닛(203), 음량 레벨 계산 유닛(205), 합성 정보 신호 생성 유닛(251), 인코딩 유닛(253), 레이아웃 설정 정보 수신 유닛(209), 및 송신 유닛(255)을 포함한다. 영상/음성 신호 수신 유닛(201), 디코딩 유닛(203), 음량 레벨 계산 유닛(205), 레이아웃 설정 정보 수신 유닛(209)은 제1 실시형태의 다지점 접속 장치(200)의 대응 유닛과 같으므로, 제1 실시형태와 동일한 부호를 붙여 그 설명을 생략한다.
합성 정보 신호 생성 유닛(251)은 레이아웃 설정 정보 수신 유닛(209)에 의해 수신된 레이아웃 설정 정보에 기초하여, 디코딩 유닛(203)에 의해 디코딩된 영상/음성 신호를 합성한다. 또한, 합성 정보 신호 생성 유닛(251)은 얻어진 합성 신호에, 음량 레벨 계산 유닛(205)에 의해 계산된 음량 레벨에 관한 정보(부가 정보인 음량 레벨 정보)와 레이아웃 설정 정보(부가 정보)를 매립하여 합성 정보 신호를 생성한다. 이 부가 정보의 매립은, 합성 정보 신호를 디코딩하여 얻어진 영상/음성 신호와 원래의 영상/음성 신호 간의 차가 적어지도록 행해진다. 예컨대, 부가 정보는 영상/음성 신호의 고주파 성분에 매립된다. 이렇게 매립함으로써, 특별한 구성이 없는 영상/음성 단말, 또는 구체적으로, 후술하는 음량 표시 화상 생성 유닛(115)과 영상/음성 합성 유닛(117)을 포함하지 않는 영상/음성 단말[예컨대, 영상/음성 단말(110)]에서도 영상/음성 신호를 취득하여 이용할 수 있으며, 또한 데이터 사이즈의 증가도 막을 수 있다.
도 10a와 도 10b는 제2 실시형태에 따른 부가 정보의 데이터 구조의 도면이다. 예컨대 도 10a에 도시하는 바와 같이, 음량 레벨 정보와 레이아웃 설정 정보는 영상/음성 단말에 관한 음량 레벨 정보를 대응하는 레이아웃 정보에 연관시킨 데이터 구조를 갖는다. 각각의 영상/음성 단말에 관한 레이아웃 위치 정보는 예컨대 영상 표시 위치의 XY 좌표값으로 표현될 수 있다. 도 10b는 실제 값이 지정된 일례를 도시하고 있다. 이 예에는 도 7a에 대응하는 값이 지정되어 있다. 단말 번호 1, 2에 관해, 음량 표시 화상(231)의 왼쪽 상부 점의 좌표 (160, 560), (800, 560)과, 오른쪽 하부 점의 좌표 (320, 620), (960, 620)이 각각 레이아웃 설정 정보로서 지정되어 있다. 단말 번호 3에 관한 레이아웃 설정의 마이너스 값은 이 번호가 지정된 영상/음성 단말의 영상을 표시하지 않는 것을 나타낸다.
인코딩 유닛(253)(도 9)은 합성 정보 신호 생성 유닛(251)으로부터 출력된 합성 정보 신호를 인코딩하여, 데이터 사이즈를 압축한다.
송신 유닛(255)은 인코딩 유닛(253)에 의해 압축된 합성 정보 신호를 영상/음성 단말(110n)에 송신한다.
영상/음성 단말(110n)은 합성 정보 신호 수신 유닛(111), 디코딩 유닛(113), 음량 표시 화상 생성 유닛(115), 및 영상/음성 합성 유닛(117)을 포함한다.
합성 정보 신호 수신 유닛(111)은 다지점 접속 장치(250)로부터 송신된 압축 합성 정보 신호를 수신한다.
디코딩 유닛(113)은 압축 합성 정보 신호를 디코딩한다.
음량 표시 화상 생성 유닛(115)은 합성 정보 신호에 매립된 음량 레벨 정보와 레이아웃 설정 정보에 기초하여, 음량을 나타내는 음량 표시 화상을 포함하는 표시 화면을 생성한다. 도 11a와 도 11b는 제2 실시형태에 따른 음량 표시 화상 생성 유닛에 의해 합성되는 화상의 도면이다.
예컨대, 도 11a에 도시하는 합성 화상은 도 5a에 도시한 바와 같은 음량 표시 방법 및 도 6b에 대응하는 레이아웃 설정 정보로부터 생성되는 화상의 예이다. 표시 화면(121)의 하부에는, 단말 번호 1, 2가 지정된 영상/음성 단말의 음량을 나타내는 음량 표시 화상(231)이 개별적으로 표시된다.
마찬가지로, 예컨대 도 11b에 도시하는 합성 화상은 도 5b에 도시한 바와 같은 음량 표시 방법 및 도 6a에 대응하는 레이아웃 설정 정보로부터 생성되는 화상의 예이다. 표시 화면(123)의 왼쪽 단부의 하부와 오른쪽 단부의 하부에는, 단말 번호 1, 2가 지정된 영상/음성 단말의 음량을 나타내는 음량 표시 화상(233)이 각각 표시된다.
물론, 음량 레벨과 표시 화상, 레이아웃 설정 정보와 표시 위치가 서로 대응하는 경우라면, 도 11a와 도 11b에 도시하는 예 이외의 영상을 합성에 의해 얻을 수도 있다.
영상/음성 합성 유닛(117)(도 9)은 디코딩 유닛(113)에 의해 디코딩된 합성 정보 신호를, 음량 표시 화상 생성 유닛(115)에 의해 생성된 음량 표시 화상과 합성한다. 더 구체적으로, 영상/음성 합성 유닛(117)은 음량 레벨 정보를 포함하는 합성 정보 신호를 영상/음성 신호로 간주하여, 합성 정보 신호로부터 영상/음성 신호만을 분리하는 처리를 수행하지 않고 그 합성 정보 신호를 그대로 이용한다. 예컨대, 영상/음성 신호로 간주된 합성 정보 신호를 도 11a에 도시하는 바와 같은 음량 표시 화상과 합성하면, 도 7a에 도시하는 바와 같은 영상/음성 신호를 얻을 수 있다.
영상/음성 단말(110n)은 합성 영상/음성 신호에 기초하여 도 7a와 도 7b에 도시하는 바와 같은 영상을 디스플레이나 프로젝터 등의 디스플레이 유닛에 출력한다.
시퀀스 차트를 참조하여, 이상 설명한 통신 시스템(2)의 동작에 관하여 설명한다. 도 12는 제2 실시형태에 따른 통신 시스템의 동작을 나타내는 시퀀스 차트도이다. 이 도면은 영상/음성 처리에 관한 동작만을 도시하고 있다. 레이아웃 설정 정보 처리에 관한 동작은 제1 실시형태(도 8a 참조)의 대응 동작과 같으므로 그 설명을 생략한다. 또한, 제1 실시형태와 같은 처리에는 동일한 단계 번호를 붙여 그 설명을 생략한다.
영상/음성 단말(1101∼110n)은 다지점 접속 장치(250)에 압축 영상/음성 신호를 송신한다(단계 S11 및 S12).
다지점 접속 장치(250)는 단계 S13 내지 단계 S15의 처리를 수행한다.
다지점 접속 장치(250)의 합성 정보 신호 생성 유닛(251)은 도 8a의 단계 S3에서 기억된 레이아웃 설정 정보를 추출하고, 레이아웃 설정 정보에 기초하여 n개의 영상/음성 신호를 합성한다(단계 S31). 또한, 합성 정보 신호 생성 유닛(251)은 레이아웃 설정 정보와 음량 레벨 정보를 포함하는 부가 정보를, 합성하여 얻어진 영상/음성 신호에 매립하여 합성 정보 신호를 생성한다(단계 S32).
얻어진 합성 정보 신호를 인코딩 및 송신한다(단계 S18' 및 S19').
영상/음성 단말(110n)의 합성 정보 신호 수신 유닛(111)은 압축 합성 정보 신호를 수신한다(단계 S20'). 디코딩 유닛(113)은 압축 합성 정보 신호를 디코딩한다(단계 S21'). 음량 표시 화상 생성 유닛(115)은 디코딩된 합성 정보 신호에 매립된 음량 레벨 정보와 레이아웃 설정 정보에 기초하여, 음량 표시 화상을 생성한다(단계 S33). 영상/음성 합성 유닛(117)은 합성 정보 신호를 음량 표시 화상과 합성한다(단계 S34). 얻어진 영상/음성을 디스플레이 유닛에 표시한다(단계 S22').
전술한 바와 같이, 본 실시형태에 따르면, 복수 지점의 마이크 음량을 개별적으로 표시하는 것이 가능하다. 또한, 송신 단말로서 기능하는 다른 지점의 영상/음성 단말의 구성과 상관없이, 전술한 표시를 실현하는 것이 가능하다.
또한, 다지점 접속 장치의 합성 정보 신호 생성 유닛은 레이아웃 설정 정보 및 음량 레벨을 포함하는 부가 정보를 영상/음성 신호에 매립하여 합성 정보 신호를 생성하고, 합성 정보 신호를 영상/음성 단말에 송신한다. 이에, 원래의 영상/음성 신호의 데이터 사이즈를 증가시키는 일 없이, 음량 레벨 및 레이아웃 설정 정보를 송신 및 수신하는 것이 가능하다.
제1 실시형태에서는, 영상/음성 단말의 구성에 상관없이, 각각의 영상/음성 단말이 같은 영상을 얻지만, 영상/음성 단말이 독자적인 음량 표시 유닛을 포함하는 경우 등에 있어서, 음량 표시가 바람직하지 못하게 중복될 수 있다. 그러나, 제2 실시형태에서는 영상/음성 단말이 음량 표시 화상 생성 유닛과 영상/음성 합성 유닛을 포함하기 때문에, 그와 같은 사태는 발생하지 않는다.
제3 실시형태
제2 실시형태의 변형인 제3 실시형태에 관해서 설명한다. 제2 실시형태에 따른 통신 시스템(2)(도 9)에서는, 음량 레벨 정보와 레이아웃 설정 정보를 영상/음성 단말에 송신하기 위해서, 음량 레벨 정보와 레이아웃 설정 정보로 이루어진 부가 정보가 합성 정보 신호에 매립된다. 이와 반대로, 매립은 수행되지 않고, 영상/음성 단말에, 합성 영상/음성 신호는 제1 채널을 통해 송신되고, 부가 정보는 제2 채널을 통해 송신되는 구성을 채용할 수도 있다. 도 13은 제3 실시형태에 따른 통신 시스템의 구성을 도시하는 블록도이다. 제1 및 제2 실시형태와 동일한 구성요소에는 동일한 부호를 붙여 그 설명을 생략한다.
통신 시스템(3)의 다지점 접속 장치(260)에 있어서, 합성 정보 신호 생성 유닛(251)은 부가 정보 생성 유닛(261)과 합성 영상/음성 신호 생성 유닛(263)의 2개의 유닛을 포함한다. 부가 정보 생성 유닛(261)은 음량 레벨과 레이아웃 설정 정보로부터 도 10a와 도 10b에 도시하는 바와 같은 데이터 구조를 갖는 부가 정보를 생성한다. 합성 영상/음성 신호 생성 유닛(263)은 레이아웃 설정 정보에 기초하여, 영상/음성 단말(130)의 영상/음성 신호가 합성된 합성 영상/음성 신호를 출력한다. 한편, 본 실시형태에 따른 합성 정보 신호 생성 유닛(251)으로부터 출력되는 부가 정보와 합성 영상/음성 신호를 총칭하여 합성 정보 신호라고 한다.
인코딩 유닛(253)은 부가 정보 인코딩 유닛(265)과 합성 영상/음성 신호 인코딩 유닛(267)을 포함한다. 부가 정보 인코딩 유닛(265)은 부가 정보를 인코딩하고, 합성 영상/음성 신호 인코딩 유닛(267)은 합성 영상/음성 신호를 인코딩하여 데이터 사이즈를 압축한다.
송신 유닛(255)은 부가 정보 송신 유닛(269)과 합성 영상/음성 신호 송신 유닛(271)을 포함한다. 부가 정보 송신 유닛(269)은 압축 부가 정보를 송신한다. 합성 영상/음성 신호 송신 유닛(271)은 압축 합성 영상/음성 신호를 송신한다.
영상/음성 단말(130n)의 합성 정보 신호 수신 유닛(111)은 부가 정보 수신 유닛(131)과 합성 영상/음성 신호 수신 유닛(133)을 포함한다. 부가 정보 수신 유닛(131)은 압축 부가 정보를 수신한다. 합성 영상/음성 신호 수신 유닛(133)은 압축 합성 영상/음성 신호를 수신한다.
디코딩 유닛(113)은 부가 정보 디코딩 유닛(135)과 합성 영상/음성 신호 디코딩 유닛(137)을 포함한다. 부가 정보 디코딩 유닛(135)은 압축 부가 정보를 디코딩한다. 합성 영상/음성 신호 디코딩 유닛(137)은 압축 합성 영상/음성 신호를 디코딩한다.
시퀀스 차트를 참조하여, 이상 설명한 통신 시스템(3)의 동작을 설명한다. 도 14는 제3 실시형태에 따른 통신 시스템의 동작을 나타내는 시퀀스 차트도이다. 이 도면은 영상/음성 처리에 관한 동작만 도시하고 있다. 레이아웃 설정 정보 처리에 관한 동작은 제1 실시형태(도 8a 참조)의 대응 동작과 같으므로, 그 설명을 생략한다. 제1 및 제2 실시형태와 같은 처리에는 동일한 단계 번호를 붙이고 그 설명을 생략한다.
영상/음성 단말(1301∼130n)은 다지점 접속 장치(260)에 압축 영상/음성 신호를 송신한다(단계 S11 및 S12).
다지점 접속 장치(260)는 단계 S13 내지 단계 S15의 처리를 수행한다.
다지점 접속 장치(260)의 제1 채널을 통해 영상/음성 신호가 처리된다. 합성 영상/음성 신호 생성 유닛(263)은 도 8a의 단계 S3에서 기억된 레이아웃 설정 정보를 추출하고, 레이아웃 설정 정보에 기초하여 n개의 영상/음성 신호를 합성한다(단계 S41). 합성 영상/음성 신호 인코딩 유닛(267)은 합성 영상/음성 신호 생성 유닛(263)에 의해 합성된 합성 영상/음성 신호를 인코딩한다(단계 S42). 합성 영상/음성 신호 송신 유닛(271)은 합성 영상/음성 신호 인코딩 유닛(267)에 의해 인코딩된 압축 합성 영상/음성 신호를 영상/음성 단말(130n)에 송신한다(단계 S43).
한편, 다지점 접속 장치(260)의 제2 채널을 통해 부가 정보가 처리된다. 부가 정보 생성 유닛(261)은 도 8a의 단계 S3에서 기억된 레이아웃 설정 정보를 추출하고, 레이아웃 설정 정보와 음량 레벨 정보를 포함하는 부가 정보를 생성한다(단계 S44). 부가 정보 인코딩 유닛(265)은 부가 정보 생성 유닛(261)에 의해 생성된 부가 정보를 인코딩한다(단계 S45). 부가 정보 송신 유닛(269)은 부가 정보 인코딩 유닛(265)에 의해 인코딩된 압축 부가 정보를 영상/음성 단말(130n)에 송신한다(단계 S46).
영상/음성 단말(130n)의 제1 채널을 통해 영상/음성 신호가 처리된다. 합성 영상/음성 신호 수신 유닛(133)은 압축 합성 영상/음성 신호를 수신한다(단계 S47). 합성 영상/음성 신호 디코딩 유닛(137)은 압축 합성 영상/음성 신호를 디코딩한다(단계 S48).
한편, 영상/음성 단말(130n)의 제2 채널을 통해 부가 정보가 처리된다. 부가 정보 수신 유닛(131)은 압축 부가 정보를 수신한다(단계 S49). 부가 정보 디코딩 유닛(135)은 압축 부가 정보를 디코딩한다(단계 S50). 음량 표시 화상 생성 유닛(115)은 디코딩된 부가 정보에 포함되는 음량 레벨 정보와 레이아웃 설정 정보에 기초하여, 음량 표시 화상을 생성한다(단계 S33').
영상/음성 합성 유닛(117)은 합성 영상/음성 신호 디코딩 유닛(137)에 의해 디코딩된 합성 영상/음성 신호를, 음량 표시 화상 생성 유닛(115)에 의해 생성된 음량 표시 화상과 합성한다(단계 S34'). 그렇게 얻어진 영상/음성 신호는 디스플레이 유닛에 표시된다(단계 S22").
이상과 같이, 본 실시형태에 따르면, 부가 정보와 영상/음성 신호는 상이한 채널을 통해 송신된다. 그렇기 때문에, 원래의 영상/음성 신호를 변경하지 않고서 음량 레벨 정보를 송신 및 수신하는 것이 가능하다.
제1 실시형태에서는, 영상/음성 단말의 구성에 상관없이 같은 영상을 얻을 수 있지만, 영상/음성 단말이 독자적인 음량 표시 유닛을 포함하는 경우 등에는, 음량 표시가 바람직하지 못하게 중복될 수 있다. 한편, 제3 실시형태에서는, 영상/음성 단말이 음량 표시 화상 생성 유닛과 영상/음성 합성 유닛을 포함하기 때문에, 그와 같은 사태는 발생하지 않는다.
실시형태에 따르면, 음량 레벨이 영상/음성 단말로부터 각각 송신된 영상/음성 신호로부터 계산되고, 그 음량 레벨로부터 음량 표시 화상이 생성되며, 음량 표시 화상을 각각의 영상/음성 단말로부터 송신된 영상/음성 신호와 합성한 신호가 생성된다. 그렇기 때문에, 3개소 이상의 원격지를 접속하여 다지점 회의가 이루어지는 경우에도 각각의 영상/음성 단말이 그 지점들의 마이크 음량을 따로따로 표시할 수 있다.
완전하고 분명한 개시를 위해 특정 실시형태에 관하여 본 발명을 설명하였지만, 이하의 특허청구범위는 그렇게 한정되는 것이 아니라, 본 명세서에 개시한 기본 지침 내에 유효하게 포함되며, 당업자가 발상할 수 있는 변경 및 대체를 모두 내포하는 것으로서 이해되어야 한다.

Claims (13)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 복수의 영상/음성 단말들에 접속되는 다지점 접속 장치에 있어서,
    상기 영상/음성 단말들로부터 출력된 영상/음성 신호들을 각각 수신하도록 구성된 영상/음성 신호 수신 유닛과,
    상기 영상/음성 신호들 각각으로부터 음량 레벨들을 계산하도록 구성된 음량 레벨 계산 유닛과,
    복수의 레이아웃 설정 정보 - 각 레이아웃 설정 정보는 상기 영상/음성 단말들 각각에 표시될 영상들의 배치에 관한 정보를 나타냄 - 를 각각 수신하도록 구성된 레이아웃 설정 정보 수신 유닛과,
    상기 영상/음성 신호들, 상기 음량 레벨들, 및 상기 영상/음성 단말들 각각에 대한 레이아웃 설정 정보로부터 상기 영상/음성 단말들 각각에 대한 합성 정보 신호를 생성하도록 구성된 합성 정보 신호 생성 유닛과,
    상기 합성 정보 신호를 상기 영상/음성 단말들 각각에 송신하도록 구성된 송신 유닛
    을 포함하고,
    상기 합성 정보 신호는, 상기 레이아웃 설정 정보에 기초하여 대응하는 영상/음성 신호들이 합성된 합성 영상/음성 신호와, 상기 레이아웃 설정 정보와 상기 음량 레벨들로 이루어진 부가 정보를 포함하며,
    상기 합성 정보 신호 생성 유닛은, 제1 채널을 통해 상기 합성 영상/음성 신호를 출력하고, 제2 채널을 통해 상기 부가 정보를 출력하며,
    상기 송신 유닛은, 상기 영상/음성 단말들 각각에, 제1 채널을 통해 상기 합성 영상/음성 신호를 송신하고, 제2 채널을 통해 상기 부가 정보를 송신하는 것인, 다지점 접속 장치.
  5. 제4항에 있어서, 상기 음량 레벨들 각각은 음성 신호의 단위 시간당 최대 진폭인 것인, 다지점 접속 장치.
  6. 제4항에 있어서, 상기 음량 레벨들 각각은 음성 신호의 단위 시간당 실효값(RMS: Root Mean Square)인 것인, 다지점 접속 장치.
  7. 제4항에 있어서, 상기 합성 정보 신호는, 상기 레이아웃 설정 정보와 상기 음량 레벨들을 상기 영상/음성 신호들에 매립하여(embedding) 얻어진 신호인 것인, 다지점 접속 장치.
  8. 삭제
  9. 통신 시스템에 있어서,
    다지점 접속 장치와,
    복수의 영상/음성 단말들
    을 포함하고,
    상기 다지점 접속 장치와 상기 영상/음성 단말들은 통신 네트워크를 통해 서로 접속되며,
    상기 다지점 접속 장치는,
    상기 영상/음성 단말들로부터 출력된 영상/음성 신호들을 각각 수신하도록 구성된 영상/음성 신호 수신 유닛과,
    상기 영상/음성 신호들 각각로부터 음량 레벨들을 계산하도록 구성된 음량 레벨 계산 유닛과,
    복수의 레이아웃 설정 정보 - 각 레이아웃 설정 정보는 상기 영상/음성 단말들 각각에 표시될 영상들의 배치에 관한 정보를 나타냄 - 를 각각 수신하도록 구성된 레이아웃 설정 정보 수신 유닛과,
    상기 영상/음성 신호들, 상기 음량 레벨들, 및 상기 영상/음성 단말들 각각에 대한 레이아웃 설정 정보로부터 상기 영상/음성 단말들 중 적어도 하나의 영상/음성 단말에 대한 합성 정보 신호를 생성하도록 구성된 합성 정보 신호 생성 유닛과,
    상기 합성 정보 신호를 상기 영상/음성 단말들 각각에 송신하도록 구성된 송신 유닛
    을 포함하고,
    상기 적어도 하나의 영상/음성 단말은,
    상기 합성 정보 신호를 수신하도록 구성된 합성 정보 신호 수신 유닛과,
    상기 합성 정보 신호에 포함되는 상기 음량 레벨들과 상기 레이아웃 설정 정보로부터 음량을 나타내는 음량 표시 화상들을 생성하도록 구성된 음량 표시 화상 생성 유닛과,
    상기 합성 정보 신호에 포함되는 상기 영상/음성 신호들을 상기 음량 표시 화상들과 합성하도록 구성된 영상/음성 합성 유닛
    을 포함하고,
    상기 합성 정보 신호는, 상기 레이아웃 설정 정보에 기초하여 대응하는 영상/음성 신호가 합성된 합성 영상/음성 신호와, 상기 레이아웃 설정 정보와 상기 음량 레벨들로 이루어진 부가 정보를 포함하며,
    상기 합성 정보 신호 생성 유닛은, 제1 채널을 통해 상기 합성 영상/음성 신호를 출력하고, 제2 채널을 통해 상기 부가 정보를 출력하며,
    상기 송신 유닛은, 상기 영상/음성 단말들 각각에, 제1 채널을 통해 상기 합성 영상/음성 신호를 송신하고, 제2 채널을 통해 상기 부가 정보를 송신하며,
    상기 합성 정보 신호 수신 유닛은, 상기 제1 채널을 통해 상기 합성 영상/음성 신호를 수신하고, 상기 제2 채널을 통해 상기 부가 정보를 수신하며,
    상기 음량 표시 화상 생성 유닛은 상기 부가 정보로부터 음량을 나타내는 음량 표시 화상들을 생성하고,
    상기 영상/음성 합성 유닛은 상기 음량 표시 화상들을 상기 합성 영상/음성 신호와 합성하는 것인, 통신 시스템.
  10. 제9항에 있어서, 상기 음량 레벨들 각각은 음성 신호의 단위 시간당 최대 진폭인 것인, 통신 시스템.
  11. 제9항에 있어서, 상기 음량 레벨들 각각은 음성 신호의 단위 시간당 실효값(RMS: Root Mean Square)인 것인, 통신 시스템.
  12. 제9항에 있어서, 상기 합성 정보 신호는, 상기 레이아웃 설정 정보와 상기 음량 레벨들을 상기 영상/음성 신호들에 매립하여 얻어진 신호인 것인, 통신 시스템.
  13. 삭제
KR1020137033755A 2011-07-14 2012-07-10 다지점 접속 장치 및 통신 시스템 KR101561371B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2011-155690 2011-07-14
JP2011155690A JP5817276B2 (ja) 2011-07-14 2011-07-14 多地点接続装置、映像音声端末、通信システム、及び信号処理方法
PCT/JP2012/068039 WO2013008941A1 (en) 2011-07-14 2012-07-10 Multipoint connection apparatus and communication system

Publications (2)

Publication Number Publication Date
KR20140012755A KR20140012755A (ko) 2014-02-03
KR101561371B1 true KR101561371B1 (ko) 2015-10-26

Family

ID=47506216

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137033755A KR101561371B1 (ko) 2011-07-14 2012-07-10 다지점 접속 장치 및 통신 시스템

Country Status (8)

Country Link
US (1) US9392224B2 (ko)
EP (1) EP2732622B8 (ko)
JP (1) JP5817276B2 (ko)
KR (1) KR101561371B1 (ko)
CN (1) CN103703766A (ko)
AU (1) AU2012281463B2 (ko)
CA (1) CA2841096C (ko)
WO (1) WO2013008941A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014195229A (ja) * 2013-03-29 2014-10-09 Brother Ind Ltd サーバ装置プログラム、サーバ装置及び通信装置プログラム
CN105592286B (zh) * 2014-10-22 2019-03-01 阿里巴巴集团控股有限公司 即时通信界面信息处理方法及装置
US9794685B2 (en) 2015-01-23 2017-10-17 Ricoh Company, Ltd. Video audio recording system, video audio recording device, and video audio recording method
CN108182047B (zh) * 2016-12-08 2020-10-16 武汉斗鱼网络科技有限公司 一种音量信息的显示方法及装置
CN108182097B (zh) * 2016-12-08 2021-07-30 武汉斗鱼网络科技有限公司 一种音量条的实现方法及装置
US10516852B2 (en) 2018-05-16 2019-12-24 Cisco Technology, Inc. Multiple simultaneous framing alternatives using speaker tracking
CN110636329A (zh) * 2018-06-22 2019-12-31 视联动力信息技术股份有限公司 一种音频数据的处理方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100847147B1 (ko) 2007-04-18 2008-07-18 한국전자통신연구원 화상회의 제어 방법 및 그 장치
US20090309897A1 (en) * 2005-11-29 2009-12-17 Kyocera Corporation Communication Terminal and Communication System and Display Method of Communication Terminal

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3085317B2 (ja) 1991-05-07 2000-09-04 株式会社リコー 電話装置
GB2284968A (en) * 1993-12-18 1995-06-21 Ibm Audio conferencing system
JP3449772B2 (ja) 1994-02-15 2003-09-22 沖電気工業株式会社 多地点間会議装置
JPH099229A (ja) * 1995-06-15 1997-01-10 Oki Electric Ind Co Ltd 多地点間会議装置
JP2004186870A (ja) 2002-12-02 2004-07-02 Nippon Telegr & Teleph Corp <Ntt> テレビ会議方法、利用者端末装置の処理方法、利用者端末装置、プログラム及び記録媒体
JP4308555B2 (ja) * 2003-03-10 2009-08-05 パナソニック株式会社 受信装置および情報閲覧方法
US7499969B1 (en) * 2004-06-25 2009-03-03 Apple Inc. User interface for multiway audio conferencing
US7864209B2 (en) * 2005-04-28 2011-01-04 Apple Inc. Audio processing in a multi-participant conference
US7949117B2 (en) * 2005-04-28 2011-05-24 Apple Inc. Heterogeneous video conferencing
US7899170B2 (en) * 2005-04-28 2011-03-01 Apple Inc. Multi-participant conference setup
US20060248210A1 (en) * 2005-05-02 2006-11-02 Lifesize Communications, Inc. Controlling video display mode in a video conferencing system
JP4522332B2 (ja) * 2005-07-01 2010-08-11 日本電信電話株式会社 映像音声配信システムおよび方法およびプログラム
JP4567543B2 (ja) * 2005-07-22 2010-10-20 パイオニア株式会社 電子会議システムおよびその会議端末
US7768543B2 (en) 2006-03-09 2010-08-03 Citrix Online, Llc System and method for dynamically altering videoconference bit rates and layout based on participant activity
JP2008085677A (ja) * 2006-09-27 2008-04-10 Toshiba Corp 情報制御装置、情報合成装置及びプログラム
JP2008096746A (ja) * 2006-10-12 2008-04-24 Canon Inc 表示制御装置、表示装置、及びマルチディスプレイシステム
KR101414603B1 (ko) 2007-05-07 2014-07-03 엘지전자 주식회사 다자간 통화방법 및 이를 구현할 수 있는 통신단말기
JP2009065336A (ja) * 2007-09-05 2009-03-26 Hitachi Communication Technologies Ltd テレビ会議システム
CA2727569C (en) * 2008-06-09 2017-09-26 Vidyo, Inc. Improved view layout management in scalable video and audio communication systems
JP2010103853A (ja) 2008-10-24 2010-05-06 Panasonic Corp 音量監視装置及び音量監視方法
JP5857674B2 (ja) 2010-12-22 2016-02-10 株式会社リコー 画像処理装置、及び画像処理システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090309897A1 (en) * 2005-11-29 2009-12-17 Kyocera Corporation Communication Terminal and Communication System and Display Method of Communication Terminal
KR100847147B1 (ko) 2007-04-18 2008-07-18 한국전자통신연구원 화상회의 제어 방법 및 그 장치

Also Published As

Publication number Publication date
US9392224B2 (en) 2016-07-12
EP2732622A1 (en) 2014-05-21
AU2012281463B2 (en) 2015-11-05
EP2732622A4 (en) 2014-12-24
KR20140012755A (ko) 2014-02-03
EP2732622B1 (en) 2021-01-06
CA2841096C (en) 2017-01-17
CA2841096A1 (en) 2013-01-17
US20140139611A1 (en) 2014-05-22
CN103703766A (zh) 2014-04-02
WO2013008941A1 (en) 2013-01-17
JP5817276B2 (ja) 2015-11-18
JP2013021633A (ja) 2013-01-31
AU2012281463A1 (en) 2014-01-30
EP2732622B8 (en) 2021-03-24

Similar Documents

Publication Publication Date Title
KR101561371B1 (ko) 다지점 접속 장치 및 통신 시스템
EP3319344A1 (en) Method and apparatus for generating and playing audio signals, and system for processing audio signals
KR100827802B1 (ko) 휴대 단말기의 화상 통화 장치 및 화상 통화 송수신방법
KR20020077785A (ko) 미디어 배신 시스템 및 멀티미디어 변환 서버
JP4352381B2 (ja) テレビ電話装置
JP4331049B2 (ja) データ伝送装置およびデータ伝送方法
KR20060058013A (ko) 다지점 회의에서의 통신 단말기의 용이한 음량 조절
JP2008288974A (ja) ビデオ会議システム及びビデオ会議装置
JP2010157906A (ja) 映像表示装置
JP3818054B2 (ja) 多地点ビデオ会議制御装置、音声切替え方法、およびそのプログラムを記録した記録媒体
JP2003023612A (ja) 画像通信端末装置
KR20060031551A (ko) 스테레오 단말기 및 스테레오 단말기를 이용한 음성 통화방법
KR101006625B1 (ko) 이동 통신 단말기의 화면 영역 선택 방법
JP2013046319A (ja) 画像処理装置及び、画像処理方法
JP2010109609A (ja) 通信装置、効果音出力制御プログラム及び効果音出力制御方法
JPH08307841A (ja) 擬似動画ｔｖ電話装置
KR20080047683A (ko) 휴대용 단말기에서 스트리밍 서비스 전송 방법 및 장치
JPH05328337A (ja) 画像通信端末装置
KR20090036226A (ko) 다자간 화상 통화시 화자 구분 기능을 구비한 휴대용단말기 및 다자간 화상 통화시 화자 구분 방법
JP4175232B2 (ja) テレビ電話システム及びテレビ電話装置
JP2000203193A (ja) 電子黒板表示装置及びそれを用いた会議端末、テレビ会議システム
JPH09149395A (ja) 通信装置
JP2006217187A (ja) 電話システムおよびその通話方法、電話端末、電話システム制御プログラム、および該プログラムを記録した記録媒体
KR20000041521A (ko) 휴대용 디지털 모니터링 시스템
KR20030008721A (ko) 동영상 전송시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee