JP6494439B2 - 通信装置およびその制御方法 - Google Patents
通信装置およびその制御方法 Download PDFInfo
- Publication number
- JP6494439B2 JP6494439B2 JP2015115035A JP2015115035A JP6494439B2 JP 6494439 B2 JP6494439 B2 JP 6494439B2 JP 2015115035 A JP2015115035 A JP 2015115035A JP 2015115035 A JP2015115035 A JP 2015115035A JP 6494439 B2 JP6494439 B2 JP 6494439B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- compressed
- captured image
- time
- communication device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B7/00—Radio transmission systems, i.e. using radiation field
- H04B7/24—Radio transmission systems, i.e. using radiation field for communication between two or more posts
- H04B7/26—Radio transmission systems, i.e. using radiation field for communication between two or more posts at least one of which is mobile
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/164—Feedback from the receiver or from the transmission channel
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Controls And Circuits For Display Device (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
Description
本発明に係る通信システムの第1実施形態として、HMDとPCを含むMRシステムを例に挙げて以下に説明する。
図1は、第1実施形態に係るMRシステムの構成図である。MRシステムは、利用者の頭部に装着する形態の撮像機能付表示装置であるビデオシースルー型のヘッドマウントディスプレイ(HMD)100と、撮像画像に重畳表示されるCG画像を生成する画像処理装置であるPC109とを含む。
図2は、第1実施形態におけるHMD100の動作を説明する図である。また、図3は、第1実施形態におけるPC109の動作を説明する図である。なお、以下の処理は、例えば、ユーザーにより開始指示を受け付けることにより開始される。
・圧縮撮像画像
・特徴点
・現フレームの圧縮撮像画像の送信時刻(TH1)
・現フレームの1つ前のフレーム(以下、前フレームと呼ぶ)の撮像画像に対する圧縮CG画像の受信時刻(TH2)
なお、受信時刻(TH2)は、前フレームを処理した先行するループのS207で取得された情報である。
第2実施形態では、さらに、システム遅延時間(前フレームでの圧縮撮像画像の伝送遅延・CG画像の描画遅延・圧縮CG画像の伝送遅延の合計)に基づいて、遅延時間の低減を行う構成について説明する。
図4は、第2実施形態に係るMRシステム構成図である。第1実施形態におけるHMD100に対して、HMD400は、システム遅延時間取得部409を更に備える。システム遅延時間取得部409は、HMD400が圧縮撮像画像を送信してから、HMD400が圧縮CG画像を受信するまでに要した時間であるシステム遅延時間を計測する。なお、撮像部401による撮像から圧縮CG画像を受信するまでに要した時間を計測するよう構成してもよい。また、PC410の構成は第1実施形態と同様であるため、説明は省略する。
図5は、第2実施形態におけるHMD400の動作を説明する図である。また、図6は、第2実施形態におけるPC410の動作を説明する図である。なお、図6は、S616において、無線I/F部616が、圧縮CG画像に加え、圧縮撮像画像伝送時間(D1)を伝送する点以外は、第1実施形態(図3)と同様であるため説明は省略する。
・圧縮撮像画像
・特徴点
・現フレームの圧縮撮像画像の送信時刻(TH1)
・現フレームの1つ前のフレーム(以下、前フレームと呼ぶ)の撮像画像に対する圧縮CG画像の受信時刻(TH2)
なお、受信時刻(TH2)は、前フレームを処理した先行するループのS511で取得された情報である。
第3実施形態では、さらに、システム遅延時間に基づいて、HMDが各種遅延を低減する他の構成について説明する。HMD400およびPC410の構成は第2実施形態と同様のため説明は省略する。
図7は、第3実施形態におけるHMD400の動作を説明する図である。また、図8は、第3実施形態におけるPC410の動作を説明する図である。
ここで、システム許容遅延時間とは、例えば、HMDが撮像画像を取得してからMR画像を表示するまでの時間である。システム許容遅延時間を短く設定することで少ない遅延時間になるように制御することが出来る。一方、システム許容遅延時間を長く設定することで画像品質を高品質に保ったまま動作するよう制御することが出来る。また、前フレームにおけるCG描画処理時間(D2)および圧縮CG画像伝送時間(D3)が大きければ大きいほど、圧縮撮像画像伝送時間(D1)を低減するよう制御することになる。
次に、システム遅延時間取得部409が、圧縮CG画像の伝送許容時間におさまるように、CG画像圧縮率テーブルを参照して撮像画像の圧縮率を決定する。圧縮撮像画像の場合と同様に、圧縮率を最大値に設定しても、圧縮CG画像の伝送許容時間以内におさまらない場合は、CG画像の圧縮率を設定可能な最大値に設定する。
そして、システム遅延時間取得部409が、CG描画処理の許容時間におさまるように、CG描画処理解像度テーブルを参照して、CG画像の描画解像度を決定する。
・圧縮CG画像
・受信時刻(TP1)
・処理終了時刻(TP2)
・送信時刻(TP3)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (9)
- 他の通信装置と無線通信が可能な通信装置であって、
前記他の通信装置から、撮像画像を圧縮した圧縮撮像画像を無線通信によって受信する受信手段と、
前記圧縮撮像画像を伸長し伸長撮像画像を取得する伸長手段と、
前記伸長撮像画像に基づいて、前記撮像画像に重畳表示されるCG画像を生成するCG画像生成手段と、
前記CG画像を圧縮し圧縮CG画像を生成する圧縮手段と、
前記圧縮CG画像を前記他の通信装置に無線通信によって送信する送信手段と、
前記他の通信装置における前記圧縮撮像画像の送信時刻と前記CG画像生成手段における前記CG画像の生成完了時刻とに基づく遅延時間を導出する導出手段と、
前記導出手段によって導出された遅延時間が所定の閾値より長いか否かに基づいて、前記圧縮手段における前記CG画像の圧縮率を変更する変更手段と、
を有することを特徴とする通信装置。 - 前記変更手段は、前記遅延時間が前記所定の閾値より長い場合、該遅延時間が該所定の閾値以下の場合の圧縮率よりも高い圧縮率に、前記CG画像の圧縮率を変更する
ことを特徴とする請求項1に記載の通信装置。 - 前記導出手段は、
前記圧縮撮像画像の送信時刻と前記受信手段における前記圧縮撮像画像の受信時刻とに基づいて、前記圧縮撮像画像の前記他の通信装置から前記通信装置への無線通信に要する第1の遅延時間を導出する第1の導出手段と、
前記受信手段における前記圧縮撮像画像の受信時刻と前記CG画像生成手段における前記CG画像の生成完了時刻とに基づいて、前記CG画像の生成に要する第2の遅延時間を導出する第2の導出手段と、
を含む
ことを特徴とする請求項1又は2に記載の通信装置。 - 前記変更手段は、
前記第1の遅延時間が第1の閾値より長いか否かに基づいて、前記CG画像生成手段における前記CG画像の解像度を変更する第1の変更手段と、
前記第1の遅延時間と前記第2の遅延時間との和が第2の閾値より長いか否かに基づいて、前記圧縮手段における前記CG画像の圧縮率を変更する第2の変更手段と、
を含む
ことを特徴とする請求項3に記載の通信装置。 - 前記通信装置は、
前記圧縮CG画像を生成した際の解像度と前記第2の遅延時間との関係を示すCG描画解像度テーブルを生成する第1のテーブル生成手段と、
を更に有し、
前記第1の変更手段は、前記CG描画解像度テーブルに基づいて、前記CG画像生成手段における前記CG画像の解像度を変更する
ことを特徴とする請求項4に記載の通信装置。 - 前記通信装置は、
前記送信手段における前記圧縮CG画像の送信時刻と前記他の通信装置における前記圧縮CG画像の受信時刻とに基づいて、前記圧縮CG画像の前記通信装置から前記他の通信装置への無線通信に要する第3の遅延時間を導出する第3の導出手段と、
前記圧縮CG画像を圧縮した際の圧縮率と前記第3の遅延時間との関係を示すCG画像圧縮率テーブルを生成する第2のテーブル生成手段と、
を更に備え、
前記変更手段は、前記CG画像圧縮率テーブルに基づいて、前記圧縮手段における前記CG画像の圧縮率を変更する
ことを特徴とする請求項3乃至5の何れか1項に記載の通信装置。 - 前記他の通信装置は、ビデオシースルー型のヘッドマウントディスプレイ(HMD)として構成され、前記受信手段は、前記他の通信装置が備える撮像手段によって取得された撮像画像を受信する
ことを特徴とする請求項1乃至6の何れか1項に記載の通信装置。 - 他の通信装置と無線通信が可能な通信装置における制御方法であって、
前記他の通信装置から、撮像画像を圧縮した圧縮撮像画像を無線通信によって受信する受信工程と、
前記圧縮撮像画像を伸長し伸長撮像画像を取得する伸長工程と、
前記伸長撮像画像に基づいて、前記撮像画像に重畳表示されるCG画像を生成するCG画像生成工程と、
前記CG画像を圧縮し圧縮CG画像を生成する圧縮工程と、
前記圧縮CG画像を前記他の通信装置に無線通信によって送信する送信工程と、
前記他の通信装置における前記圧縮撮像画像の送信時刻と前記CG画像生成工程における前記CG画像の生成完了時刻とに基づく遅延時間を導出する導出工程と、
前記導出工程によって導出された遅延時間が所定の閾値より長いか否かに基づいて、前記圧縮工程における前記CG画像の圧縮率を変更する変更工程と、
を有することを特徴とする制御方法。 - 請求項1乃至7の何れか1項に記載の通信装置の各手段としてコンピュータを機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015115035A JP6494439B2 (ja) | 2015-06-05 | 2015-06-05 | 通信装置およびその制御方法 |
US15/172,684 US10236971B2 (en) | 2015-06-05 | 2016-06-03 | Communication apparatus for controlling image compression and control method therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015115035A JP6494439B2 (ja) | 2015-06-05 | 2015-06-05 | 通信装置およびその制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017005372A JP2017005372A (ja) | 2017-01-05 |
JP6494439B2 true JP6494439B2 (ja) | 2019-04-03 |
Family
ID=57452258
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015115035A Active JP6494439B2 (ja) | 2015-06-05 | 2015-06-05 | 通信装置およびその制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10236971B2 (ja) |
JP (1) | JP6494439B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9378560B2 (en) | 2011-06-17 | 2016-06-28 | Advanced Micro Devices, Inc. | Real time on-chip texture decompression using shader processors |
US10062181B1 (en) * | 2015-07-30 | 2018-08-28 | Teradici Corporation | Method and apparatus for rasterizing and encoding vector graphics |
JP2017092522A (ja) | 2015-11-02 | 2017-05-25 | キヤノン株式会社 | 通信装置及び通信方法、コンピュータプログラム |
WO2018135364A1 (ja) * | 2017-01-18 | 2018-07-26 | 株式会社ソニー・インタラクティブエンタテインメント | 通信装置、生成データサイズ制御方法及びプログラム |
RU2720067C1 (ru) * | 2017-04-21 | 2020-04-23 | Зенимакс Медиа Инк. | Системы и способы для рендеринга и выдачи подсказок кодеру на основании оценки предварительно кодированной нагрузки |
CN107613331B (zh) * | 2017-11-03 | 2019-07-19 | 中广热点云科技有限公司 | 视频传输过程的码率控制方法 |
JP6938769B2 (ja) * | 2018-04-04 | 2021-09-22 | 株式会社ソニー・インタラクティブエンタテインメント | 通信装置、生成データサイズ制御方法、通信方法及びプログラム |
WO2019193668A1 (ja) * | 2018-04-04 | 2019-10-10 | 株式会社ソニー・インタラクティブエンタテインメント | 通信装置、生成データサイズ制御方法及びプログラム |
US11405913B2 (en) | 2019-03-08 | 2022-08-02 | Facebook Technologies, Llc | Latency reduction for artificial reality |
JP7406390B2 (ja) | 2020-02-12 | 2023-12-27 | キヤノン株式会社 | 較正装置およびその制御方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004355131A (ja) * | 2003-05-27 | 2004-12-16 | Canon Inc | 複合現実感映像生成方法及び複合現実感画像生成装置 |
JP4847192B2 (ja) * | 2006-04-14 | 2011-12-28 | キヤノン株式会社 | 画像処理システム、画像処理装置、撮像装置、及びそれらの制御方法 |
JP4760902B2 (ja) * | 2008-12-17 | 2011-08-31 | ソニー株式会社 | 情報処理装置および方法 |
JP4573001B2 (ja) * | 2009-01-09 | 2010-11-04 | コニカミノルタホールディングス株式会社 | 画像圧縮方法、画像処理装置、画像表示装置及び画像表示システム |
JP2010258850A (ja) | 2009-04-27 | 2010-11-11 | Panasonic Corp | 映像伝送システム及び映像伝送方法 |
JP2011082837A (ja) * | 2009-10-07 | 2011-04-21 | Sony Corp | 送信装置および送信方法 |
JP5874257B2 (ja) * | 2011-09-12 | 2016-03-02 | 富士通株式会社 | 情報処理装置、画像送信方法及び画像送信プログラム |
JP5507515B2 (ja) * | 2011-09-14 | 2014-05-28 | 富士フイルム株式会社 | 非可逆圧縮装置およびその動作制御方法ならびにその動作制御プログラム |
JP5769755B2 (ja) * | 2013-04-24 | 2015-08-26 | キヤノン株式会社 | 画像処理システム、画像処理装置及び画像処理方法 |
JP6249734B2 (ja) * | 2013-11-20 | 2017-12-20 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP6248671B2 (ja) * | 2014-02-10 | 2017-12-20 | 富士通株式会社 | 情報処理装置、方法、プログラム、および情報処理システム |
JP2016004493A (ja) | 2014-06-18 | 2016-01-12 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
-
2015
- 2015-06-05 JP JP2015115035A patent/JP6494439B2/ja active Active
-
2016
- 2016-06-03 US US15/172,684 patent/US10236971B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20160358381A1 (en) | 2016-12-08 |
US10236971B2 (en) | 2019-03-19 |
JP2017005372A (ja) | 2017-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6494439B2 (ja) | 通信装置およびその制御方法 | |
JP5213627B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5196893B2 (ja) | 通信システム、通信装置及び通信システムの通信方法 | |
JP5920006B2 (ja) | 画面更新制御プログラム、画面更新制御方法、および情報処理装置 | |
US20130163812A1 (en) | Information processor, information processing method, and recording medium | |
US9805691B2 (en) | Display, control method, and storage medium | |
KR102343325B1 (ko) | 영상 압축 방법 및 영상 복원 방법 | |
US20230069407A1 (en) | Remote operation apparatus and computer-readable medium | |
WO2016016607A1 (en) | Managing display data for display | |
WO2016024546A1 (ja) | 画像伝送装置、画像伝送方法および画像伝送プログラム | |
JP2016206989A (ja) | 送信装置、複合現実システム、送信制御方法、及びプログラム | |
JP2005033762A (ja) | 送信装置、画像処理システム、画像処理方法、プログラム、及び記録媒体 | |
JP2010062792A (ja) | 画像圧縮装置、画像伸張装置、画像圧縮プログラムおよび画像伸張プログラム | |
JP2016086245A (ja) | 画像処理装置、画像処理システム、画像処理装置の制御方法およびプログラム | |
JP4100359B2 (ja) | 信号伝送システム、データ送信装置、及びデータ受信装置 | |
US9538168B2 (en) | Determination device and determination method | |
JP2021057869A5 (ja) | ||
US11329795B2 (en) | Communication device, method for controlling size of generated data, and program | |
JP2006243324A (ja) | 画像伝送システムおよび画像伝送方法 | |
JP2010109637A (ja) | 通信装置、画像送信方法、画像送信プログラム、表示装置、通信方法、および通信プログラム | |
US9225653B2 (en) | Remote monitoring system with improved bandwidth | |
JP2020145651A (ja) | 情報処理装置、システム、情報処理方法及びプログラム | |
US10976985B2 (en) | Recording medium recording data display program, data display method, and electronic apparatus for displaying received data by delaying an adjustment time | |
JP5631832B2 (ja) | 画像中継装置、画像中継方法及び画像中継プログラム | |
JP5278048B2 (ja) | 画像供給装置、画像供給システム、画像供給方法、及び画像供給用プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180604 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190305 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6494439 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |