JP5216303B2 - 合成映像配信装置ならびにその方法およびプログラム - Google Patents
合成映像配信装置ならびにその方法およびプログラム Download PDFInfo
- Publication number
- JP5216303B2 JP5216303B2 JP2007285170A JP2007285170A JP5216303B2 JP 5216303 B2 JP5216303 B2 JP 5216303B2 JP 2007285170 A JP2007285170 A JP 2007285170A JP 2007285170 A JP2007285170 A JP 2007285170A JP 5216303 B2 JP5216303 B2 JP 5216303B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- nth
- video data
- encoding
- frame rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/152—Multipoint control units therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Telephonic Communication Services (AREA)
Description
第1〜第N(Nは2以上の整数)の端末から、第1〜第Nの映像を符号化した第1〜第Nの符号化映像データを受信する映像受信部と、
前記第1〜第Nの符号化映像データを復号して第1〜第Nの復号化映像データを得る復号手段と、
前記第1〜第Nの復号化映像データを合成して、前記第1〜第Nの端末のうちいずれか1つである端末Aに対して送信するべき合成映像を表す合成映像データを得る映像合成手段と、
前記第1〜第Nの端末により前記第1〜第Nの映像を符号化する際に用いられる第1〜第Nの符号化パラメータを記憶した符号化パラメータ記憶手段と、
前記端末Aと異なる他の端末のうちのいずれか1つにより用いられる前記符号化パラメータを選択する符号化パラメータ選択手段と、
前記端末Aに対して選択された符号化パラメータによって前記合成映像データを符号化することにより符号化合成映像データを得る符号化手段と、
前記符号化合成映像データを、前記端末Aに送信する映像送信手段と、
を備える。
第1〜第N(Nは2以上の整数)の端末から、第1〜第Nの映像を符号化した第1〜第Nの符号化映像データを受信し、
前記第1〜第Nの符号化映像データを復号して第1〜第Nの復号化映像データを生成し、
前記第1〜第Nの復号化映像データを合成して、前記第1〜第Nの端末のうちいずれか1つである端末Aに対して送信するべき合成映像を表す合成映像データを生成し、
前記第1〜第Nの端末により前記第1〜第Nの映像を符号化する際に用いられる第1〜第Nの符号化パラメータを記憶した記憶手段から、前記端末Aと異なる他の端末のうちいずれか1つにより用いられる前記符号化パラメータを選択し、
選択された符号化パラメータによって前記合成映像データを符号化することにより符号化合成映像データを生成し、
前記符号化合成映像データを、前記端末Aに送信する、
ことを特徴とする。
第1〜第N(Nは2以上の整数)の端末から、第1〜第Nの映像を符号化した第1〜第Nの符号化映像データを受信するステップと、
前記第1〜第Nの符号化映像データを復号して第1〜第Nの復号化映像データを生成するステップと、
前記第1〜第Nの復号化映像データを合成して、前記第1〜第Nの端末のうちいずれか1つである端末Aに対して送信するべき合成映像を表す合成映像データを生成するステップと、
前記第1〜第Nの端末により前記第1〜第Nの映像を符号化する際に用いられる第1〜第Nの符号化パラメータを記憶した記憶手段から、前記端末Aと異なる他の端末のうちいずれか1つにより用いられる前記符号化パラメータを選択するステップと、
選択された符号化パラメータによって前記合成映像データを符号化することにより符号化合成映像データを生成するステップと、
前記符号化合成映像データを、前記端末Aに送信するステップと、
をコンピュータに実行させる。
まず本実施形態の概要について説明する。
以下、図面を参照して本発明の第2実施形態を説明する。
以下、図面を参照して本発明の第3実施形態を説明する。
第1実施形態等では、会議端末Aへの合成映像のレイアウトが、図8から図10に変更になった場合、符号化パラメータ決定部70は、支配的な入力映像の番号を4番とするとした。これは符号化パラメータ決定部70の解析処理として、(1)合成映像において面積的に支配的な入力映像を検出し、(2)検出した支配的な入力映像のフレームレートを検出する、としたからである。
A、B、C,D ‥‥ 会議端末
2 ‥‥ ネットワーク
10 ‥‥ パケット送受信部(映像受信手段、映像送信手段)
20 ‥‥ 映像合成部
30 ‥‥ 制御部
41〜44 ‥‥ 映像伸長部(復号手段)
51〜54 ‥‥ 映像圧縮部(符号化手段)
61 ‥‥ 符号化パラメータ記憶部
62 ‥‥ レイアウト情報記憶部
70 ‥‥ 符号化パラメータ決定部(符号化パラメータ選択手段)
81 ‥‥ フレームレート計測部
82 ‥‥ 計測フレームレート記憶部
100 ‥‥ CPU
200 ‥‥ SDRAM
300 ‥‥ NIC
401〜404 ‥‥ 映像圧縮伸長回路
500 ‥‥ 映像合成回路
Claims (11)
- 第1〜第N(Nは2以上の整数)の端末から、第1〜第Nの映像を符号化した第1〜第Nの符号化映像データを受信する映像受信部と、
前記第1〜第Nの符号化映像データを復号して第1〜第Nの復号化映像データを得る復号手段と、
各前記映像のレイアウトを示すレイアウト情報に基づいて前記第1〜第Nの復号化映像データを合成して、前記第1〜第Nの端末のうちいずれか1つである端末Aに対して送信するべき合成映像を表す合成映像データを得る映像合成手段と、
前記第1〜第Nの端末により前記第1〜第Nの映像を符号化する際に用いられる第1〜第Nの符号化パラメータを記憶した符号化パラメータ記憶手段と、
前記レイアウト情報に基づき前記合成映像において支配的な映像を特定し、特定した支配的な映像の前記符号化パラメータを選択する符号化パラメータ選択手段と、
前記選択された符号化パラメータによって前記合成映像データを符号化することにより符号化合成映像データを得る符号化手段と、
前記符号化合成映像データを、前記端末Aに送信する映像送信手段と、
を備えた合成映像配信装置。 - 前記端末Aから前記レイアウト情報の変更を指示するレイアウト変更命令を受信するレイアウト変更命令受信手段と、
前記レイアウト変更命令にしたがって前記レイアウト情報を更新するレイアウト情報更新手段と、をさらに備え、
前記符号化パラメータ選択手段は、前記レイアウト情報が更新されたとき前記符号化パラメータの選択を行う、
ことを特徴とする請求項1に記載の合成映像配信装置。 - 前記支配的な映像は、前記第1〜第Nの端末が送信する映像のうち最も面積の大きい映像であることを特徴とする請求項1または2に記載の合成映像配信装置。
- 前記支配的な映像は、前記第1〜第Nの端末が送信する映像のうち最も前面に配置されている映像であることを特徴とする請求項1または2に記載の合成映像配信装置。
- 前記第1〜第Nの符号化パラメータは、前記第1〜第Nの映像のフレームレートの情報であることを特徴とする請求項1〜4のいずれか一項に記載の合成映像配信装置。
- 前記符号化パラメータ記憶手段は、前記端末Aとの間であらかじめ決定した、前記合成映像のデフォルトフレームレートの情報をさらに記憶し、
前記符号化パラメータ選択手段は、前記特定した支配的な映像のフレームレートが、前記デフォルトフレームレートより低いときは、前記特定した支配的な映像のフレームレートを前記合成映像のフレームレートとして選択し、前記デフォルトフレームレート以上のときは前記デフォルトフレームレートを前記合成映像のフレームレートとして選択する
ことを特徴とする請求項5に記載の合成映像配信装置。 - 前記第1〜第Nの符号化パラメータは、前記第1〜第Nの映像のビットレートの情報であることを特徴とする請求項1〜4のいずれか一項に記載の合成映像配信装置。
- 前記符号化パラメータ記憶手段は、前記端末Aとの間であらかじめ決定した、前記合成映像のデフォルトビットレートの情報をさらに記憶し、
前記符号化パラメータ選択手段は、前記特定した支配的な映像のビットレートが、前記デフォルトビットレートより低いときは、前記特定した支配的な映像のビットレートを前記合成映像のビットレートとして選択し、前記デフォルトビットレート以上のときは前記デフォルトビットレートを前記合成映像のビットレートとして選択する
ことを特徴とする請求項7に記載の合成映像配信装置。 - 前記符号化パラメータ選択手段は、前記端末Aから、前記第1〜第Nの端末が送信する映像のうちの1つの選択を受け付け、前記端末Aにより選択された映像の符号化パラメータを選択することを特徴とする請求項1に記載の合成映像配信装置。
- 第1〜第N(Nは2以上の整数)の端末から、第1〜第Nの映像を符号化した第1〜第Nの符号化映像データを受信し、
前記第1〜第Nの符号化映像データを復号して第1〜第Nの復号化映像データを生成し、
各前記映像のレイアウトを示すレイアウト情報に基づいて前記第1〜第Nの復号化映像データを合成して、前記第1〜第Nの端末のうちいずれか1つである端末Aに対して送信するべき合成映像を表す合成映像データを生成し、
前記レイアウト情報に基づき前記合成映像において支配的な映像を特定し、前記第1〜第Nの端末により前記第1〜第Nの映像を符号化する際に用いられる第1〜第Nの符号化パラメータを記憶した記憶手段から、特定した支配的な映像の前記符号化パラメータを選択し、
選択された符号化パラメータによって前記合成映像データを符号化することにより符号化合成映像データを生成し、
前記符号化合成映像データを、前記端末Aに送信する、
を備えた合成映像配信方法。 - 第1〜第N(Nは2以上の整数)の端末から、第1〜第Nの映像を符号化した第1〜第Nの符号化映像データを受信するステップと、
前記第1〜第Nの符号化映像データを復号して第1〜第Nの復号化映像データを生成するステップと、
各前記映像のレイアウトを示すレイアウト情報に基づいて前記第1〜第Nの復号化映像データを合成して、前記第1〜第Nの端末のうちいずれか1つである端末Aに対して送信するべき合成映像を表す合成映像データを生成するステップと、
前記レイアウト情報に基づき前記合成映像において支配的な映像を特定し、前記第1〜第Nの端末により前記第1〜第Nの映像を符号化する際に用いられる第1〜第Nの符号化パラメータを記憶した記憶手段から、特定した支配的な映像の前記符号化パラメータを選択するステップと、
選択された符号化パラメータによって前記合成映像データを符号化することにより符号化合成映像データを生成するステップと、
前記符号化合成映像データを、前記端末Aに送信するステップと、
をコンピュータに実行させるための合成映像配信プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007285170A JP5216303B2 (ja) | 2007-11-01 | 2007-11-01 | 合成映像配信装置ならびにその方法およびプログラム |
US12/233,932 US8320466B2 (en) | 2007-11-01 | 2008-09-19 | Mixed video delivering apparatus and method, and computer storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007285170A JP5216303B2 (ja) | 2007-11-01 | 2007-11-01 | 合成映像配信装置ならびにその方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009117896A JP2009117896A (ja) | 2009-05-28 |
JP5216303B2 true JP5216303B2 (ja) | 2013-06-19 |
Family
ID=40588061
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007285170A Active JP5216303B2 (ja) | 2007-11-01 | 2007-11-01 | 合成映像配信装置ならびにその方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8320466B2 (ja) |
JP (1) | JP5216303B2 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101888517B (zh) * | 2009-05-12 | 2015-03-11 | 虹软(杭州)多媒体信息技术有限公司 | 影像处理系统及其处理方法 |
KR101090356B1 (ko) * | 2009-12-28 | 2011-12-13 | 주식회사 더블유코퍼레이션 | 오디오 신호 및 비디오 신호의 동기화 오차 보정 방법 및 장치 |
JP5821469B2 (ja) * | 2010-10-01 | 2015-11-24 | 株式会社リコー | 通信端末、及び通信プログラム |
US9691339B2 (en) * | 2011-03-29 | 2017-06-27 | Renesas Electronics Corporation | Display apparatus and display apparatus control circuit |
JP6069881B2 (ja) * | 2012-04-25 | 2017-02-01 | 株式会社リコー | 中継装置、表示データ共有システム、データ制御方法およびプログラム |
CN104902216B (zh) * | 2014-03-05 | 2019-11-22 | 南京中兴软件有限责任公司 | 一种视频会议中多画面管控方法及相关设备 |
JP2016001446A (ja) * | 2014-06-12 | 2016-01-07 | モイ株式会社 | 変換画像提供装置、変換画像提供方法及びプログラム |
CN104135640B (zh) * | 2014-08-08 | 2017-12-29 | 华为技术有限公司 | 会议迁移的方法、装置及系统 |
JP2016082455A (ja) | 2014-10-17 | 2016-05-16 | 株式会社リコー | 伝送システム、伝送端末、伝送方法及び伝送プログラム |
CN104270649B (zh) * | 2014-10-28 | 2019-01-22 | 中磊电子(苏州)有限公司 | 影像编码装置及影像编码方法 |
JP2016167656A (ja) * | 2015-03-09 | 2016-09-15 | 株式会社リコー | 伝送管理システム、伝送システム、伝送管理方法、及びプログラム |
JP2016167657A (ja) | 2015-03-09 | 2016-09-15 | 株式会社リコー | 伝送管理システム、伝送システム、伝送管理方法、及びプログラム |
JP6534968B2 (ja) * | 2016-06-21 | 2019-06-26 | 日本電信電話株式会社 | 多地点接続装置、映像配信システム、多地点接続方法、及びプログラム |
US10904535B2 (en) | 2017-04-01 | 2021-01-26 | Intel Corporation | Video motion processing including static scene determination, occlusion detection, frame rate conversion, and adjusting compression ratio |
US20190261000A1 (en) * | 2017-04-01 | 2019-08-22 | Intel Corporation | Video motion processing including static determination, occlusion detection, frame rate conversion, and adjusting compression ratio |
CN107396032A (zh) * | 2017-07-26 | 2017-11-24 | 安徽四创电子股份有限公司 | 一种基于x86架构的多点控制单元及其工作方法 |
DE102017118724A1 (de) * | 2017-08-16 | 2019-02-21 | Unify Patente Gmbh & Co. Kg | Telekommunikationsendgerät und Verfahren zum Steuern von Medienströmen |
US10819953B1 (en) * | 2018-10-26 | 2020-10-27 | Facebook Technologies, Llc | Systems and methods for processing mixed media streams |
JP7377352B2 (ja) * | 2020-01-16 | 2023-11-09 | テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド | 複数メンバーでのインスタントメッセージング方法、システム、装置及び電子機器、並びにコンピュータプログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000060872A1 (fr) * | 1999-03-31 | 2000-10-12 | Matsushita Electric Industrial Co., Ltd. | Procede et dispositif de decodage continu de flux video comprenant des sequences de donnees ayant des frequences de trame differentes |
GB9920929D0 (en) * | 1999-09-03 | 1999-11-10 | Sony Uk Ltd | Video signal processor |
JP2002351438A (ja) | 2001-05-25 | 2002-12-06 | Mitsubishi Electric Corp | 映像監視システム |
JP2003111050A (ja) | 2001-09-27 | 2003-04-11 | Olympus Optical Co Ltd | 映像配信サーバ及び映像受信クライアントシステム |
US7034860B2 (en) * | 2003-06-20 | 2006-04-25 | Tandberg Telecom As | Method and apparatus for video conferencing having dynamic picture layout |
KR100586883B1 (ko) * | 2004-03-04 | 2006-06-08 | 삼성전자주식회사 | 비디오 스트리밍 서비스를 위한 비디오 코딩방법, 프리디코딩방법, 비디오 디코딩방법, 및 이를 위한 장치와, 이미지 필터링방법 |
KR100679022B1 (ko) * | 2004-10-18 | 2007-02-05 | 삼성전자주식회사 | 계층간 필터링을 이용한 비디오 코딩 및 디코딩방법과,비디오 인코더 및 디코더 |
EP1829027A1 (en) * | 2004-12-15 | 2007-09-05 | Telefonaktiebolaget LM Ericsson (publ) | Method and device for encoding mode changing of encoded data streams |
JP4559976B2 (ja) | 2005-01-17 | 2010-10-13 | 株式会社東芝 | 映像合成装置、映像合成方法及び映像合成プログラム |
JP4434973B2 (ja) | 2005-01-24 | 2010-03-17 | 株式会社東芝 | 映像表示装置、映像合成配信装置、プログラム、システム及び方法 |
JP4564432B2 (ja) * | 2005-09-14 | 2010-10-20 | 株式会社東芝 | 映像合成装置、映像合成方法およびプログラム |
-
2007
- 2007-11-01 JP JP2007285170A patent/JP5216303B2/ja active Active
-
2008
- 2008-09-19 US US12/233,932 patent/US8320466B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20090116563A1 (en) | 2009-05-07 |
JP2009117896A (ja) | 2009-05-28 |
US8320466B2 (en) | 2012-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5216303B2 (ja) | 合成映像配信装置ならびにその方法およびプログラム | |
JP6183003B2 (ja) | 伝送システム | |
US9143730B2 (en) | Information processing apparatus, transmission system and program | |
KR102157634B1 (ko) | 영상 획득 방법 및 로컬 엔드포인트 호스트 장치 | |
US8379075B2 (en) | Method, device, and computer-readable medium for processing images during video conferencing | |
JP6172610B2 (ja) | テレビ会議用システム | |
JP6179179B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2009021901A (ja) | 画像送信装置、画像送信方法、受信装置および画像送信システム | |
KR20150040125A (ko) | 마스터 기기, 클라이언트 기기, 및 그에 따른 화면 미러링 방법 | |
JP2014068339A (ja) | 様々な参加装置からなるビデオ会議を管理するための方法及びシステム | |
JP6432595B2 (ja) | 通信装置、通信システム、通信制御方法およびプログラム | |
CN111124337A (zh) | 图像显示方法及系统 | |
JP2008288974A (ja) | ビデオ会議システム及びビデオ会議装置 | |
CN113141352B (zh) | 多媒体数据的传输方法、装置、计算机设备和存储介质 | |
JP2016192610A (ja) | 遠隔会議プログラム、制御装置及び遠隔会議方法 | |
WO2021093882A1 (zh) | 一种视频会议方法、会议终端、服务器及存储介质 | |
WO2016147538A1 (ja) | テレビ会議用通信装置 | |
WO2021057686A1 (zh) | 视频解码方法和装置、视频编码方法和装置、存储介质及电子装置 | |
JP2014183488A (ja) | ストリーミング受信装置 | |
JP2009038604A (ja) | 映像信号処理装置 | |
JP2013009098A (ja) | 多拠点テレビ会議システム | |
JP6481937B2 (ja) | テレビ会議用通信装置 | |
WO2024120009A1 (zh) | 一种多媒体处理系统、多媒体处理方法及相关设备 | |
JP2020005107A (ja) | 通信端末、データ送信方法、プログラム | |
JP6431301B2 (ja) | 動画処理装置、方法、コンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101019 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120821 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121022 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130304 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5216303 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160308 Year of fee payment: 3 |