JP7256491B2 - 映像伝送システム、映像伝送装置、および、映像伝送プログラム - Google Patents

映像伝送システム、映像伝送装置、および、映像伝送プログラム Download PDF

Info

Publication number
JP7256491B2
JP7256491B2 JP2018171410A JP2018171410A JP7256491B2 JP 7256491 B2 JP7256491 B2 JP 7256491B2 JP 2018171410 A JP2018171410 A JP 2018171410A JP 2018171410 A JP2018171410 A JP 2018171410A JP 7256491 B2 JP7256491 B2 JP 7256491B2
Authority
JP
Japan
Prior art keywords
video
unit
quality
area
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018171410A
Other languages
English (en)
Other versions
JP2020043533A (ja
Inventor
一郎 名塚
孝士 荻野
純一 暦本
崇 味八木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Tokyo NUC
Toppan Inc
Original Assignee
University of Tokyo NUC
Toppan Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Tokyo NUC, Toppan Inc filed Critical University of Tokyo NUC
Priority to JP2018171410A priority Critical patent/JP7256491B2/ja
Priority to CN201910857476.XA priority patent/CN110896446B/zh
Priority to US16/569,304 priority patent/US10587841B1/en
Publication of JP2020043533A publication Critical patent/JP2020043533A/ja
Priority to JP2023045660A priority patent/JP7498459B2/ja
Application granted granted Critical
Publication of JP7256491B2 publication Critical patent/JP7256491B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0092Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、遠隔地へ映像を伝送する映像伝送システム、映像伝送装置、および、映像伝送プログラムに関する。
遠隔会議等に用いられるシステムとして、第1空間内の状況を示す映像を、第1空間から離れた第2空間に配置されている表示装置に表示させるシステムが知られている。映像のデータは、インターネット等のネットワークを通じて伝送される。第2空間に位置する視聴者は、表示装置に映し出される映像を見ることで、第1空間の状況を知ることが可能であり、例えば、第1空間に位置する人物とコミュニケーションをとることができる(例えば、特許文献1参照)。
特開2010-74456号公報
第2空間の表示装置に、第1空間内の広い範囲の状況を映像で表示する構成は、第1空間に身を置いているかのような感覚を視聴者に与えて臨場感を高めることを可能とする。しかしながら、広い範囲の状況を示すための映像は、データの大容量化とともに通信負荷の増大を招き、結果として、映像品質の低下を引き起こしてしまう。
本発明は、映像データの伝送に際しての通信負荷の増大を抑えつつ視聴者の臨場感を高めることのできる映像伝送システム、映像伝送装置、および、映像伝送プログラムを提供することを目的とする。
上記課題を解決する映像伝送システムは、第1空間内の状況を撮影する撮影部を備える映像伝送装置と、前記映像伝送装置にネットワークを介して接続され、第2空間に配置される表示部を備える映像出力装置とを含み、前記表示部に前記第1空間の映像が表示される映像伝送システムであって、前記映像伝送装置は、前記第2空間に位置する視聴者が前記第1空間内の状況に対して注目すると推定される位置である注目位置を設定する注目位置設定部と、前記撮影部が撮影した映像に含まれる範囲を、前記注目位置を含む優先領域を含めた複数の領域に区分けし、前記優先領域の映像品質よりも他の領域の映像品質を低く設定する映像品質設定部と、前記撮影部の撮影データから、前記映像品質設定部が設定した映像品質に従って映像データを生成する映像データ生成部と、前記映像データを前記映像出力装置に送信する送信部と、を備え、前記映像出力装置は、前記映像データを前記映像伝送装置から受信する受信部と、前記映像データを用いて、前記第1空間内の状況を示す映像を前記表示部に表示させる出力処理部と、を備える。
上記課題を解決する映像伝送装置は、第1空間の映像が表示される表示部を第2空間に備える映像出力装置とネットワークを介して接続される映像伝送装置であって、前記第1空間内の状況を撮影する撮影部と、前記第2空間に位置する視聴者が前記第1空間内の状況に対して注目すると推定される位置である注目位置を設定する注目位置設定部と、前記撮影部が撮影した映像に含まれる範囲を、前記注目位置を含む優先領域を含めた複数の領域に区分けし、前記優先領域の映像品質よりも他の領域の映像品質を低く設定する映像品質設定部と、前記撮影部の撮影データから、前記映像品質設定部が設定した映像品質に従って映像データを生成する映像データ生成部と、前記映像データを前記映像出力装置に送信する送信部と、を備える。
上記課題を解決する映像伝送プログラムは、第1空間の映像が表示される表示部を第2空間に備える映像出力装置とネットワークを介して接続され、前記第1空間内の状況を撮影する撮影部を備える映像伝送装置を、前記第2空間に位置する視聴者が前記第1空間内の状況に対して注目すると推定される位置である注目位置を設定する注目位置設定部と、前記撮影部が撮影した映像に含まれる範囲を、前記注目位置を含む優先領域を含めた複数の領域に区分けし、前記優先領域の映像品質よりも他の領域の映像品質を低く設定する映像品質設定部と、前記撮影部の撮影データから、前記映像品質設定部が設定した映像品質に従って映像データを生成し、当該映像データを前記映像出力装置に送信させる映像データ生成部と、として機能させる。
上記構成によれば、撮影部が撮影した映像に含まれる範囲の全体に、優先領域の映像品質と同じ映像品質を適用する場合と比較して、映像データの容量を削減することができる。したがって、広範囲の状況を表示するための映像データを伝送する場合にも、通信負荷の増大が抑えられる。そして、優先領域が注目位置を含むため、視聴者が注目すると推定される領域の映像品質が相対的に高く、それ以外の領域の映像品質が相対的に低い映像が表示部に表示される。すなわち、視聴者の視点に応じた映像が表示部に表示されるため、視聴者の臨場感が高められる。したがって、映像データの伝送に際しての通信負荷の増大を抑えつつ視聴者の臨場感を高めることができる。
上記構成において、前記映像伝送装置は、前記第1空間に位置する対象物の位置を検出するための情報を収集する位置情報収集部をさらに備え、前記注目位置設定部は、前記位置情報収集部が収集した情報に基づいて、前記注目位置を設定してもよい。
上記構成によれば、第1空間における対象物の位置に応じて、映像品質が高くされる優先領域が設定される。したがって、視聴者が注目すると推定される対象を優先領域に的確に含めることができる。
上記構成において、前記注目位置設定部は、前記映像伝送装置の向きに基づいて、前記注目位置を設定してもよい。
上記構成によれば、映像伝送装置の向きの制御によって、優先領域となる領域を制御することができる。したがって、映像伝送システムの利用者の利便性が高められるとともに、利用者が優先領域となる領域を客観的に把握しやすくなる。
上記構成において、前記映像伝送装置は、前記視聴者による遠隔操作によって、前記映像伝送装置の向きを変更可能に構成されていてもよい。
上記構成によれば、優先領域の設定に視聴者の意思が反映されるため、視聴者の希望に的確に沿った映像を表示部に表示することができる。
上記構成において、前記映像出力装置は、前記第2空間における前記視聴者の視線方向を検出するための情報を収集する視聴者情報収集部と、前記視聴者情報収集部が収集した情報に基づく視線情報を前記映像伝送装置に送信する送信部と、をさらに備え、前記映像伝送装置は、前記視線情報を前記映像出力装置から受信する受信部をさらに備え、前記注目位置設定部は、前記視線情報に基づいて、前記注目位置を設定してもよい。
上記構成によれば、第2空間における視聴者の視線の方向に応じて、映像品質が高くされる優先領域が設定される。したがって、優先領域の設定に視聴者の意思が反映されやすいため、視聴者の希望に的確に沿った映像を表示部に表示することができる。また、表示部に表示される映像が、視聴者の視点に的確に沿った映像となるため、視聴者の臨場感がより高められる。
上記構成において、前記映像品質設定部は、前記ネットワークを利用した前記映像伝送装置と前記映像出力装置との間の通信状況を示すネットワーク情報に基づいて、前記優先領域および前記他の領域の映像品質を設定してもよい。
上記構成によれば、映像品質の設定に通信状況が加味される。すなわち、各領域の映像品質を、通信状況の良否に応じた品質に設定することができるため、映像データの伝送に際しての通信負荷の増大が的確に抑えられる。
上記構成において、前記映像品質設定部は、前記撮影部が撮影した映像に含まれる範囲を、前記注目位置を含む優先領域と、前記注目位置を含まない非優先領域と、前記優先領域と前記非優先領域との間に挟まれた境界領域とに区分けし、前記優先領域の映像品質よりも前記境界領域の映像品質を低く設定するとともに、前記境界領域の映像品質よりも前記非優先領域の映像品質を低く設定してもよい。
上記構成によれば、優先領域、境界領域、非優先領域の順に映像品質が低くなるため、優先領域から非優先領域へ急激に映像品質が変化する場合と比較して、映像品質の差に起因した違和感を視聴者に与えることが抑えられる。
上記構成において、前記映像品質には、映像が含む像の鮮明さ、および、動画としての滑らかさの少なくとも一方が含まれてもよい。
上記構成によれば、優先領域以外の映像品質を低くすることで、映像データの容量の的確な削減が可能である。
上記構成において、前記映像品質設定部が、前記優先領域の映像品質よりも前記他の領域の映像品質を低く設定することには、前記優先領域における単位区画あたりのビットレートよりも前記他の領域における単位区画あたりのビットレートを低く設定することが含まれてもよい。
上記構成によれば、映像品質の設定が容易であり、また、映像データの容量の的確な削減が可能である。
本発明によれば、映像データの伝送に際しての通信負荷の増大を抑えつつ、視聴者の臨場感を高めることができる。
映像伝送システムの第1実施形態について、映像伝送システムが利用される環境を模式的に示す図。 第1実施形態の映像伝送システムを構成する装置の構成を示す図。 第1実施形態の映像伝送システムの処理手順の概略を示すシーケンス図。 第1実施形態の映像伝送システムにおける対象物の位置の検出の態様を示す図。 第1実施形態の映像伝送システムにおける映像範囲の分割態様を示す図。 第1実施形態の映像伝送システムにおける注目位置の設定および映像品質の設定の処理手順の一例を示すフローチャート。 映像伝送システムの第2実施形態について、第2実施形態の映像伝送システムを構成する装置の構成を示す図。 第2実施形態の映像伝送システムの処理手順の概略を示すシーケンス図。 第2実施形態の映像伝送システムにおける視聴者情報収集部の配置を示す図。 第2実施形態の映像伝送システムにおける視聴者の視線方向の検出の態様を示す図。
(第1実施形態)
図1~図6を参照して、映像伝送システム、映像伝送装置、および、映像伝送プログラムの第1実施形態を説明する。以下では、例として、映像伝送システムが、遠隔でのコミュニケーション、例えば、遠隔会議に利用される形態を説明する。
[映像伝送システムの利用環境]
本実施形態の映像伝送システムは、ネットワークを通じて、遠隔地へ映像データを伝送する。まず、映像伝送システムが利用される環境について説明する。
図1が示すように、本実施形態の映像伝送システムは、第1空間R1の映像を、第2空間R2に配置された映像出力装置200の表示部21に表示させる。第1空間R1と第2空間R2とは、互いに離れた空間である。例えば、第1空間R1と第2空間R2とは、別々の拠点の会議室である。
第1空間R1には、映像の撮影機能および送信機能を有する映像伝送装置100が配備されている。映像伝送装置100が備える撮影部11の撮影範囲には、会議への参加者Prや、室内装飾品等の物品Gsが含まれる。第2空間R2には、表示部21に表示される映像を視聴する1人の視聴者Pdが位置する。
[映像伝送システムの構成]
映像伝送システムの機能的な構成について説明する。図2が示すように、映像伝送システムは、第1空間R1に配備される上述の映像伝送装置100と、第2空間R2に配備される上述の映像出力装置200とを備える。映像伝送装置100と映像出力装置200とは、ネットワークNWを通じて、相互にデータの送信および受信を行う。ネットワークNWは、インターネット、Wi-Fi(登録商標)等の無線LANあるいは有線LANによるネットワーク、モバイルデータ通信用のネットワーク等を含む汎用の通信網であってもよいし、イントラネット等の閉域網であってもよい。
映像伝送装置100は、撮影部11、通信部12、制御部13、位置情報収集部14、および、記憶部15を備える。映像伝送装置100が備えるこれらの構成部は、一体に組み付けられていてもよいし、複数の構成部の少なくとも一部が他の部と分離して配置されていてもよい。制御部13と制御部13以外の構成部とは、有線または無線で接続されていてもよい。映像伝送装置100は、例えば、テレプレゼンスロボットに具体化される。テレプレゼンスロボットは、自身の位置および向きを変更可能に構成されている。なお、映像伝送装置100は、自身の向きを変更可能であって、撮影機能および通信機能を有する装置であれば、テレプレゼンスロボットに限定されない。ただし、映像伝送装置100は、利用者に装着されて用いられる装置ではない。
撮影部11は、動画の撮影機能を有し、第1空間R1内の状況を撮影する。撮影部11は、1以上のカメラから構成される。撮影部11を構成するカメラには、例えば、標準的な画角を有するカメラ、広角レンズを有するカメラ、カメラを中心に360°の範囲を撮影可能なカメラ等が含まれる。
視聴者Pdの臨場感を高めるためには、左右方向における撮影部11の撮影範囲は、人間の水平視野よりも広い範囲であることが好ましい。具体的には、撮影部11は、撮影部11を中心として、撮影部11の正面から左右の各々に、中心角が60°以上となる範囲を撮影可能であることが好ましい。また、視聴者Pdの臨場感を高めるためには、上下方向における撮影部11の撮影範囲は、人間の垂直視野よりも広い範囲であることが好ましい。具体的には、撮影部11は、撮影部11を中心として、撮影部11の正面から上下の各々に、中心角が60°以上となる範囲を撮影可能であることが好ましい。なお、撮影部11の撮影範囲は、すなわち、撮影部11の撮影した映像に含まれる範囲である。
通信部12は、ネットワークNWを通じて、映像伝送装置100と映像出力装置200との接続処理を実行し、これらの装置間でデータの送信および受信を行う。すなわち、通信部12は、送信部および受信部として機能する。
制御部13は、CPU、および、RAM等の揮発性メモリを含む構成を有する。制御部13は、記憶部15に記憶されたプログラムやデータに基づいて、撮影部11や通信部12や位置情報収集部14による処理の制御、記憶部15における情報の読み出しや書き込み、各種の演算処理等、映像伝送装置100が備える各部の制御を行う。こうした制御部13は、映像伝送システムを構成する機能部として、ネットワーク情報取得部13aと、注目位置設定部13bと、映像品質設定部13cと、映像データ生成部13dとを含んでいる。
ネットワーク情報取得部13aは、通信部12を通じて、ネットワーク情報Inを取得する。ネットワーク情報Inは、ネットワークNWを利用した映像伝送装置100と映像出力装置200との間の通信状況を示す情報であり、言い換えれば、どの程度のデータ量であればネットワークNWを通じて円滑に伝送できるかを判断するための情報である。ネットワーク情報Inには、例えば、通信速度、データ帯域、バンド幅、レイテンシーが含まれる。第1実施形態では、ネットワーク情報Inは、映像伝送装置100から見て、映像伝送装置100から映像出力装置200への上り方向の通信経路に含まれる少なくとも1つの回線についての情報である。
注目位置設定部13bは、位置情報収集部14が収集した情報に基づき、第1空間R1内に注目位置Tpを設定する。注目位置Tpは、撮影部11の撮影範囲に含まれる位置であって、視聴者Pdが、第1空間R1内の状況に対して注目すると推定される位置である。言い換えれば、注目位置Tpは、映像出力装置200に表示される映像において視聴者Pdが注目すると推定される位置である。
映像品質設定部13cは、ネットワーク情報Inおよび注目位置Tpを含む情報に基づいて、撮影部11の撮影した映像に含まれる範囲である映像範囲Soを複数の領域に区分けするとともに、各領域の映像品質を決定する。そして、映像品質設定部13cは、各領域の映像品質を示す映像品質情報Ivを出力する。具体的には、映像品質設定部13cは、注目位置Tpを含む領域よりも他の領域の映像品質が低くなるように、各領域の映像品質を設定する。
映像データ生成部13dは、撮影部11の撮影データDrから、映像品質設定部13cが設定した映像品質に従って、すなわち映像品質情報Ivに従って、映像データDvを生成する。そして、映像データ生成部13dは、映像データDvを、通信部12を介して、映像出力装置200に送信する。
位置情報収集部14は、注目位置Tpの設定に用いられる情報である位置設定用情報Ipを収集する。位置設定用情報Ipは、例えば、第1空間R1に位置する対象物Obの、映像伝送装置100に対する相対的な位置の特定に寄与する情報である。位置設定用情報Ipが、上記相対的な位置の特定に寄与する情報であるとき、位置情報収集部14には、例えば、赤外線レーザー装置とその受光装置、ミリ波レーダー装置、カメラ等の画像撮影装置、音声の受信装置等が含まれる。位置情報収集部14は、これらの装置からの出力を、位置設定用情報Ipとして制御部13に出力する。
記憶部15は、不揮発性メモリを含む構成を有し、制御部13が実行する処理に必要なプログラムやデータを記憶している。なお、制御部13におけるネットワーク情報取得部13a、注目位置設定部13b、映像品質設定部13c、および、映像データ生成部13dの機能は、複数のCPUや、RAM等からなるメモリ等の各種のハードウェアと、これらを機能させるソフトウェアとによって各別に具体化されてもよく、あるいは、共通する1つのハードウェアに複数の機能を与えるソフトウェアによって具体化されてもよい。こうしたソフトウェアは、映像伝送プログラムとして、記憶部15に記憶されている。
映像出力装置200は、表示部21、通信部22、制御部23、および、記憶部24を備える。映像出力装置200が備えるこれらの構成部は、一体に組み付けられていてもよいし、複数の構成部の少なくとも一部が他の部と分離して配置されていてもよい。制御部23と制御部23以外の構成部とは、有線または無線で接続されていてもよい。
表示部21は映像の表示機能を有する。表示部21は、例えば、液晶や有機ELやLED等を利用したディスプレイ、あるいは、スクリーンおよび投影機から構成されて投影により映像を表示する装置等である。表示部21における表示領域の形状、すなわち、ディスプレイやスクリーンの形状は特に限定されず、例えば、矩形形状等の平面型、視聴者Pdを囲むように配置される円筒型や多角形筒型、視聴者Pdの上下左右前後を囲むキューブ型等の形状が採用される。視聴者Pdの臨場感を高めるためには、表示部21の表示領域は、視聴者Pdの周囲を囲む形状を有していることが好ましい。
撮影部11の撮影範囲と同様に、視聴者Pdの臨場感を高めるためには、表示領域は、視聴者Pdの視聴予定位置を中心として、当該位置の正面から左右の各々に、中心角が60°以上の大きさを有することが好ましい。また、視聴者Pdの臨場感を高めるためには、表示領域は、視聴者Pdの視聴予定位置を中心として、当該位置の正面から上下の各々に、中心角が60°以上の大きさを有することが好ましい。視聴予定位置は、標準的な身長の視聴者Pdが表示部21を見るときに、視聴者Pdの頭部が配置される位置として予め設定される位置である。
通信部22は、ネットワークNWを通じて、映像出力装置200と映像伝送装置100との接続処理を実行し、これらの装置間でデータの送信および受信を行う。すなわち、通信部22は、送信部および受信部として機能する。
制御部23は、CPU、および、RAM等の揮発性メモリを含む構成を有する。制御部23は、記憶部24に記憶されたプログラムやデータに基づいて、表示部21や通信部22による処理の制御、記憶部24における情報の読み出しや書き込み、各種の演算処理等、映像出力装置200が備える各部の制御を行う。こうした制御部23は、映像伝送システムを構成する機能部として、出力処理部23aを含んでいる。
出力処理部23aは、映像伝送装置100から通信部22が受信した映像データDvに対し、表示領域の形状等に応じて必要な変換を加え、映像データDvに基づく映像を表示部21に表示させる。
記憶部24は、不揮発性メモリを含む構成を有し、制御部23が実行する処理に必要なプログラムやデータを記憶している。制御部23における出力処理部23aの機能は、複数のCPUや、RAM等からなるメモリ等の各種のハードウェアと、これらを機能させるソフトウェアとによって各別に具体化されてもよく、あるいは、共通する1つのハードウェアに複数の機能を与えるソフトウェアによって具体化されてもよい。こうしたソフトウェアは、記憶部24に記憶されている。
[映像伝送システムの動作]
図3を参照して、映像伝送システムの処理手順の概略を説明する。映像伝送装置100の撮影部11が第1空間R1の撮影を開始すると、当該撮影によって生成された撮影データDrは逐次、制御部13に入力される。図3が示す処理は、撮影部11が撮影を継続している期間に行われる処理である。
まず、映像伝送装置100の制御部13が、位置情報収集部14の収集した位置設定用情報Ip、および、ネットワーク情報Inを取得する(ステップS10)。
続いて、制御部13は、注目位置Tpを設定し、映像範囲Soを複数の領域に区分けして、各領域の映像品質を設定する(ステップS11)。
続いて、制御部13は、ステップS11で設定された映像品質を示す映像品質情報Ivに従って撮影データDrを変換して、映像データDvを生成する(ステップS12)。
映像データDvが生成されると、制御部13は、映像データDvを、通信部12を介して、映像出力装置200に送信する(ステップS13)。
映像データDvを受信すると、映像出力装置200の制御部23は、映像データDvを用いて、表示部21に映像を表示させる(ステップS14)。
図3に示す処理において、ステップS10およびステップS11の処理は、撮影部11が撮影を継続している間、所定の間隔で行われてもよい。あるいは、ステップS10の処理が所定の間隔で行われ、ネットワーク情報Inおよび位置設定用情報Ipのいずれかが前回の取得時から変化した場合にのみ、ステップS11の処理が行われてもよい。ステップS12の処理では最新の映像品質情報Ivが用いられ、制御部13に入力される撮影データDrに対してステップS12~ステップS14の処理が順々に行われることにより、第1空間R1内の状況を示す映像が第2空間R2の映像出力装置200に表示される。
[注目位置の設定処理]
図4を参照して、映像伝送装置100における制御部13の注目位置設定部13bが行う注目位置Tpの設定処理について、詳細に説明する。
注目位置設定部13bは、位置情報収集部14が収集した位置設定用情報Ipに基づき、第1空間R1に位置する対象物Obの、映像伝送装置100に対する相対的な位置を特定し、当該位置を注目位置Tpとする。図4に矢印A1として示すように、上記相対的な位置は、映像伝送装置100に対して対象物Obが位置する方向と、映像伝送装置100から対象物Obまでの距離とによって規定される。対象物Obは、視聴者Pdが注目すると推定される対象であり、映像伝送システムが遠隔会議に利用されるとき、対象物Obは、例えば、会議の参加者である。さらには、対象物Obは、複数の参加者のうちの発言中の参加者であってもよいし、参加者の顔部分のように人物の一部であってもよい。対象物Obが移動もしくは変更されると、注目位置Tpが移動される。
位置情報収集部14は、対象物Obの特性に応じ、対象物Obの位置の特定に寄与する情報を位置設定用情報Ipとして収集可能なように構成されていればよい。例えば、位置設定用情報Ipに基づき、人物の動きや発声の検出や、画像解析による顔部分の検出が行われ、これに基づき、対象物Obの特定とその位置の算出とが行われる。
対象物Obの特定には、映像伝送装置100の向きが加味されることが好ましい。例えば、映像伝送装置100がテレプレゼンスロボットである場合のように、映像伝送装置100の向きが変更可能に構成されているとき、映像伝送装置100の正面およびその近傍の範囲のなかで、対象物Obの特定が、上述のような人物の動きや発声や顔部分の検出に基づき行われる。
そして、映像伝送装置100の向きは、第2空間R2の視聴者Pdによる遠隔操作が可能であってもよい。例えば、第2空間R2に配備された操作部を視聴者Pdが操作し、その操作情報が、映像出力装置200から映像伝送装置100に送られる。映像伝送装置100は、映像伝送装置100の向きを変更するためのモーター等を含む駆動部を備え、制御部13は、操作情報に基づいて、駆動部に、映像伝送装置100の向きを変更させる。こうした構成によれば、注目位置Tpの設定される範囲を視聴者Pdが制御できる。すなわち、注目位置Tpの決定に視聴者Pdの意思が反映されるため、視聴者Pdの希望に沿った映像の出力が可能である。
映像伝送装置100の向きは、駆動部におけるモーターの回転量等に基づいて、注目位置設定部13bによって算出されてもよい。あるいは、位置情報収集部14が、映像伝送装置100の向きを検出するためのセンサ等を含むとともに、こうしたセンサの出力を位置設定用情報Ipが含み、位置設定用情報Ipに基づいて、注目位置設定部13bが映像伝送装置100の向きを算出してもよい。上記センサとしては、例えば、ジャイロセンサ、加速度センサ、地磁気センサ等が挙げられる。
なお、注目位置設定部13bによって特定される対象物Obの位置は、第1空間R1内における基準点に対する相対的な位置であればよい。基準点を、映像伝送装置100を構成するいずれかの部材の位置に設定するとき、対象物Obの位置は、映像伝送装置100に対する位置である。さらには、特定される対象物Obの位置は、第1空間R1に設定された三次元直交座標系を基準とする絶対的な位置であってもよい。要は、特定される対象物Obの位置、すなわち、注目位置Tpは、映像のなかでの位置、すなわち、映像範囲So内での位置と対応付けて管理される位置であればよい。また、注目位置Tpは、点であってもよいし、二次元的または三次元的な広さを有する範囲であってもよい。
なお、上述のような人物の動きや発声や顔部分の検出に基づく対象物Obの特定に拠らず、映像伝送装置100の向きのみに基づいて、注目位置Tpが設定されてもよい。例えば、映像伝送装置100の正面に位置し、映像伝送装置100から所定の距離だけ離れた位置が、注目位置Tpとされてもよい。映像伝送装置100の向きは、映像伝送装置100における撮影部11等の所定の部位の向きであって、基準となる部位は予め設定されている。
また、対象物Obが所定の人物に固定される場合等には、対象物Obに、対象物Obの位置の検出のためのセンサ等の機器を付してもよい。こうした機器も、位置情報収集部14を構成する。
[映像品質の設定処理]
映像伝送装置100における制御部13の映像品質設定部13cが行う映像品質の設定処理について、詳細に説明する。
映像品質設定部13cは、注目位置Tpの位置情報に基づいて、映像範囲So内での注目位置Tp、すなわち、撮影された注目位置Tpを特定し、映像範囲Soを、優先領域Spを含む複数の領域に区分けする。
以下では、図5が示すように、映像範囲Soが、優先領域Spと非優先領域Snと境界領域Sbとの3種類の領域に区分けされる形態について説明する。優先領域Spは、注目位置Tpを含む領域である。優先領域Spは、例えば、注目位置Tpを中心とする所定の大きさの領域であってもよいし、注目位置Tpが広さを有する範囲である場合には、注目位置Tpと一致する領域であってもよい。境界領域Sbは、優先領域Spと非優先領域Snとに挟まれる領域であって、優先領域Spおよび非優先領域Snの各々よりも狭い。非優先領域Snは、優先領域Sp以外の領域から、さらに境界領域Sbを除いた領域である。注目位置Tpが移動すると、優先領域Spも移動され、それに付随して、優先領域Sp以外の領域も移動される。
例えば、注目位置Tpに基づいて、優先領域Spとなる予定の優先予定領域が設定され、優先予定領域以外の領域が、非優先領域Snとなる予定の非優先予定領域に設定される。そして、優先予定領域と非優先予定領域との境界を含む部分に、所定の大きさの境界領域Sbが設定される。優先予定領域から境界領域Sbを除いた部分が優先領域Spとして確定され、非優先予定領域から境界領域Sbを除いた部分が非優先領域Snとして確定される。
映像出力装置200の表示部21における表示領域が、上下方向よりも左右方向に長い形状を有するとき、映像範囲Soは、少なくとも左右方向において、優先領域Spと非優先領域Snと境界領域Sbとに分割されることが好ましい。映像範囲Soが、左右方向のみに各領域Sp,Sn,Sbに分割される場合、映像範囲Soにおける左右方向の各位置において、上下方向の全体は、優先領域Spと非優先領域Snと境界領域Sbとのいずれか1種類の領域に含まれる。映像範囲Soは、さらに、上下方向においても、優先領域Spと非優先領域Snと境界領域Sbとに分割されていてもよい。
なお、図5においては、優先領域Spと非優先領域Snと境界領域Sbとの各々が矩形形状である形態を例示したが、各領域の形状は任意である。例えば、優先領域Spは円形状や楕円形状であってもよい。
続いて、映像品質設定部13cは、優先領域Spと非優先領域Snと境界領域Sbとの映像品質を設定する。優先領域Spの映像品質が最も高く、非優先領域Snの映像品質が最も低い。すなわち、優先領域Sp、境界領域Sb、非優先領域Snの順に映像品質が低くなるように、映像品質設定部13cは、各領域Sp,Sn,Sbの映像品質を決定する。
映像品質が高いとは、映像が含む像の鮮明さ、および、動画としての滑らかさの少なくとも一方が高いことを示す。さらに、映像品質は、映像品質が低いほど、映像データDvの容量の削減に寄与する特性である。
例えば、映像品質を規定する要素には、ビットレート、解像度、コーデック、フレームレートが含まれ、映像品質設定部13cは、これらのうちの少なくとも1つを各領域Sp,Sn,Sb間で異ならせることによって、各領域Sp,Sn,Sbの映像品質に差をつける。上記要素のうち、ビットレートは、表示部21や撮影部11の仕様に関わらず設定可能である。したがって、映像品質設定部13cは、ビットレートを異ならせることによって、各領域Sp,Sn,Sbの映像品質に差をつけることが好ましい。すなわち、映像品質設定部13cは、各領域Sp,Sn,Sbに所定のフレームレートが適用されている場合において、1ピクセルあたりのビットレートを、優先領域Spが最も大きく、次いで、境界領域Sb、非優先領域Snの順に小さくなるように設定する。
また、映像品質設定部13cは、画像処理のための各種のフィルタを適用することによって、各領域Sp,Sn,Sbの映像品質に差をつけてもよい。こうした画像フィルタとしては、例えば、輝度の平滑化等の処理によって像をぼかすフィルタのように、像の鮮明さを低減させるフィルタが挙げられる。具体的には、移動平均フィルタやガウシアンフィルタである。例えば、映像品質設定部13cは、非優先領域Snと境界領域Sbとに、非優先領域Snの方が平滑化の単位区画が大きくなるように、上記フィルタを適用する。
あるいは、映像品質設定部13cは、上述したビットレート等の映像品質を規定する要素の設定と画像フィルタの適用との組み合わせによって、各領域Sp,Sn,Sbの映像品質に差をつけてもよい。例えば、優先領域Spよりも非優先領域Snのビットレートが小さくされ、さらに、境界領域Sbに像をぼかすフィルタが適用されると、各領域Sp,Sn,Sbの境界が視聴者Pdに認識されにくくなるため、映像品質の差に起因した違和感を視聴者Pdが覚えることが抑えられる。
また、映像品質設定部13cは、非優先領域Snを任意のフレームで固定して静止画とすることによって、非優先領域Snの映像品質を、他の領域よりも低くしてもよい。非優先領域Snに含まれる像が、室内装飾品のように動きのない物品である場合、非優先領域Snが静止画であっても、視聴者Pdに与える違和感は小さい。
要は、優先領域Sp、境界領域Sb、非優先領域Snの順に映像品質が低くなり、すべての領域が優先領域Spと同じ映像品質を有している場合と比較して、映像データDvの容量が小さくなればよい。
なお、映像範囲Soは、優先領域Spと非優先領域Snとを含む少なくとも2つの領域に区分けされればよく、映像品質が異なる領域は、3種類に限らず、2種類であってもよいし、4種類以上であってもよい。映像範囲Soが優先領域Spと非優先領域Snとの2種類の領域に区分けされる場合、例えば、対象物Obである人物の顔部分が優先領域Spとされ、優先領域Sp以外が非優先領域Snとされてもよい。この場合において、非優先領域Snを静止画とすると、人物の顔部分のみが動く映像が表示部21に表示されることとなる。
また、映像範囲Soが3種類の領域に区分けされる場合、優先領域Spと非優先領域Snとの間に境界領域Sbが設定されず、他の基準によって、映像範囲Soが3種類の領域に区分けされてもよい。例えば、対象物Obである人物の顔部分が優先領域Spとされ、当該人物の胴体部分が準優先領域とされ、これらの領域以外が非優先領域Snとされる。あるいは、対象物Obである人物の部分が優先領域Spとされ、当該人物を囲む部分が準優先領域とされ、これらの領域以外が非優先領域Snとされる。そして、優先領域Sp、準優先領域、非優先領域Snの順に映像品質が低くされる。
[映像品質の設定処理の具体例]
図6を参照して、映像品質の設定処理の具体例を説明する。図6は、先の図3で説明したステップS11の処理、すなわち、注目位置Tpの設定処理と映像品質の設定処理とを含む一連の処理のフローを示す。当該フローでは、映像範囲Soを、優先領域Spと非優先領域Snと境界領域Sbとの3つの領域に区分けし、ビットレートの差によって、各領域Sp,Sn,Sbの映像品質に差をつける。当該フローにおいては、映像品質の設定のために、画質/フレームレート優先フラグFgと、映像特徴情報Icと、映像品質学習モデルMlとを利用する。まず、これらについて説明する。
画質/フレームレート優先フラグFgは、画質とフレームレートとのいずれを優先するかを規定するフラグである。画質を優先することは、各フレームにおける像の鮮明さを高めることを重視することを意味し、フレームレートを優先することは、動画としての滑らかさを高めることを重視することを意味する。画質/フレームレート優先フラグFgは、例えば、会議の参加者等である映像伝送システムの利用者の意思に基づき設定されて、記憶部15に記録されている。
映像特徴情報Icは、撮影データDrにおける映像範囲So内での階調の分布の特徴を示す情報である。例えば、映像特徴情報Icは、単位区画あたりにおけるベクトル量での輝度変化量である。輝度変化量が大きいことは、撮影データDrの示す映像が、エッジのある映像、すなわち、明るさの局所的な変化が大きい映像であることを示す。
映像品質学習モデルMlは、映像特徴情報Icと、各領域Sp,Sn,Sbへの分配ビット数との相関を示すモデルである。分配ビット数は、ビットレートとして規定される1秒間のデータ量のうち、1フレームあたりにおいて領域Sp,Sn,Sbの各々に割り当てられるビット数を示す。分配ビット数は、1ピクセルあたりのビット数が、優先領域Spにて最も大きく、境界領域Sb、非優先領域Snの順に小さくなるように設定される。これにより、優先領域Sp、境界領域Sb、非優先領域Snの1ピクセルあたりのビットレートはこの順に小さくなる。映像品質学習モデルMlは、記憶部15に記憶されている。
上述のように、優先領域Spと非優先領域Snと境界領域Sbとの映像品質には差がつけられるが、その差が大きすぎると、各領域Sp,Sn,Sb間での映像の繋がりが不自然となり、視聴者Pdが違和感を覚える可能性がある。各領域Sp,Sn,Sbの映像品質の差がどの程度であることが適切かは、映像における階調の分布の特徴によって変わる。例えば、上記輝度変化量が大きい映像と、上記輝度変化量が小さい映像とを比較すると、輝度変化量が小さい映像の方が、各領域Sp,Sn,Sbの映像品質の差を大きくした場合でも視聴者Pdが違和感を覚えにくい。映像品質学習モデルMlは、こうした事象を加味して構築されたモデルであって、映像特徴情報Icに適した分配ビット数を演算するモデルである。具体的には、映像特徴情報Icとしての輝度変化量が大きいほど、優先領域Spと他の領域との映像品質の差、すなわち、1ピクセルあたりのビットレートの差が小さくなるように、分配ビット数が算出される。
映像品質学習モデルMlの説明変数には、映像特徴情報Icに加えて、音声と映像とのうちの映像に割り当てられるビットレートである映像ビットレートや、フレームレートが含まれてもよい。実際の値が入力されない説明変数には仮定値が設定されればよい。あるいは、映像品質学習モデルMlの目的変数に、分配ビット数に加えて、映像ビットレートやフレームレートが含まれてもよい。映像品質学習モデルMlが、映像特徴情報Icとともに、最終的に適用されるビットレート、フレームレート、分配ビット数を含むデータセットを学習することで、当該モデルが修正されていく。
続いて、図6が示すフローを説明する。まず、ステップS20の処理として、制御部13は、画質/フレームレート優先フラグFgが、画質とフレームレートとのいずれに設定されているかを判断する。画質/フレームレート優先フラグFgが、画質の優先を示すとき、ステップS21の処理に進み、画質/フレームレート優先フラグFgが、フレームレートの優先を示すとき、ステップS30の処理に進む。
ステップS21以降の処理、すなわち、画質/フレームレート優先フラグFgが、画質の優先を示す場合の処理について説明する。制御部13は、ステップS21の処理として、ネットワーク情報Inに基づき、円滑にデータの伝送が可能なビットレートを算出し、さらに、映像に割り当てることのできるビットレートである最適映像ビットレートBRbを算出する。続いて、制御部13は、ステップS22の処理として、位置設定用情報Ipを用いて注目位置Tpを設定し、注目位置Tpに基づいて、映像範囲Soに、優先領域Spと非優先領域Snと境界領域Sbとを設定する。
続いて、制御部13は、ステップS23の処理として、撮影データDrから例えば所定の基準で抽出したフレームを対象として、映像特徴情報Icを抽出する。なお、ステップS21~ステップS23の処理の順序は上述と異なってもよい。
続いて、制御部13は、ステップS24の処理として、映像特徴情報Icを映像品質学習モデルMlに入力して、各領域Sp,Sn,Sbへの分配ビット数Bsを得る。続いて、制御部13は、ステップS25の処理として、算出された分配ビット数Bsと最大フレームレートFRmとを適用した場合に必要となる映像ビットレートである仮定映像ビットレートBReを算出する。最大フレームレートFRmは、撮影データDrにおけるフレームレートであって、適用可能な最大のフレームレートである。
制御部13は、ステップS26の処理として、仮定映像ビットレートBReが、最適映像ビットレートBRb以下であるか否かを判定する。仮定映像ビットレートBReが、最適映像ビットレートBRbを超えているとき(ステップS26で否定判定)、ステップS27の処理に進み、制御部13は、最大フレームレートFRmから所定値を減算した値を新たなフレームレートとして、この新たなフレームレートと上記分配ビット数Bsとから、仮定映像ビットレートBReを再度算出する。ステップS26およびステップS27の処理は、仮定映像ビットレートBReが最適映像ビットレートBRb以下となるまで繰り返される。
仮定映像ビットレートBReが、最適映像ビットレートBRb以下であるとき(ステップS26で肯定判定)、ステップS28の処理に進む。ステップS28の処理において、制御部13は、当該仮定映像ビットレートBReの算出時に適用したフレームレートを、映像データDvに適用するフレームレートとして確定し、当該仮定映像ビットレートBReを、映像データDvに適用する映像ビットレートとして確定する。そして、制御部13は、確定した映像ビットレートおよびフレームレート、分配ビット数Bs、映像特徴情報Icを含むデータセットを映像品質学習モデルMlに学習させる。
続いて、制御部13は、ステップS29の処理として、ステップS22で設定した優先領域Spと非優先領域Snと境界領域Sbとの範囲、ステップS28で確定した映像ビットレートおよびフレームレート、ステップS24で得た分配ビット数Bsを含む映像品質情報Ivを生成して処理を終了する。
次に、ステップS30以降の処理、すなわち、画質/フレームレート優先フラグFgが、フレームレートの優先を示す場合の処理について説明する。制御部13は、ステップS30の処理として、ネットワーク情報Inに基づき、円滑にデータの伝送が可能なビットレートを算出し、さらに、最適映像ビットレートBRbを算出する。
続いて、制御部13は、ステップS31の処理として、最適映像ビットレートBRbに最大フレームレートFRmを適用した場合における、1フレームあたりのビット数を算出する。続いて、制御部13は、ステップS32の処理として、位置設定用情報Ipを用いて注目位置Tpを設定し、注目位置Tpに基づいて、映像範囲Soに、優先領域Spと非優先領域Snと境界領域Sbとを設定する。
続いて、制御部13は、ステップS33の処理として、撮影データDrから例えば所定の基準で抽出したフレームを対象として、映像特徴情報Icを抽出する。なお、ステップS30,S31と、ステップS32と、ステップS33との処理の順序は上述と異なってもよい。
続いて、制御部13は、ステップS34の処理として、ステップS31で算出した1フレームあたりのビット数と映像特徴情報Icとを映像品質学習モデルMlに入力して、各領域Sp,Sn,Sbへの分配ビット数Bsを得る。この分配ビット数Bsは、上記1フレームあたりのビット数を分割した値として算出される。
続いて、制御部13は、ステップS28の処理として、最適映像ビットレートBRbを、映像データDvに適用する映像ビットレートとして確定し、最大フレームレートFRmを、映像データDvに適用するフレームレートとして確定する。そして、制御部13は、確定した映像ビットレートおよびフレームレート、分配ビット数Bs、映像特徴情報Icを含むデータセットを映像品質学習モデルMlに学習させる。
続いて、制御部13は、ステップS29の処理として、ステップS32で設定した優先領域Spと非優先領域Snと境界領域Sbとの範囲、ステップS28で確定した映像ビットレートおよびフレームレート、ステップS34で得た分配ビット数Bsを含む映像品質情報Ivを生成して処理を終了する。
上述のフローにおいては、映像特徴情報Icを映像品質学習モデルMlに入力して、分配ビット数Bsを出力させた。映像品質学習モデルMlの入力パラメータには、少なくとも映像特徴情報Icが含まれていればよく、映像特徴情報Icに加えて、最適映像ビットレートBRbや最大フレームレートFRmが含まれてもよい。また、映像品質学習モデルMlの出力パラメータには、少なくとも分配ビット数Bsが含まれていればよく、分配ビット数Bsに加えて、映像データDvに適用される映像ビットレートやフレームレートが含まれてもよい。
また、画像フィルタの適用によって映像品質に差をつける場合には、入力パラメータあるいは出力パラメータに、画像フィルタを規定する定数等のパラメータが含まれてもよい。
なお、上述では、画質/フレームレート優先フラグFgが映像伝送システムの利用者の意思に基づいて設定される例を説明したが、ネットワーク情報Inや映像特徴情報Ic等に基づいて、制御部13が、画質/フレームレート優先フラグFgを設定してもよい。
[映像データの生成処理]
映像伝送装置100における制御部13の映像データ生成部13dが行う映像データDvの生成処理について、詳細に説明する。
映像データ生成部13dは、映像品質情報Ivを用いて、撮影データDrから映像データDvを生成する。映像品質情報Ivには、映像品質設定部13cが設定した映像品質を有する映像データDvを生成するための各種のパラメータ等の情報が含まれる。
また、映像データDvの生成処理には、撮影部11が撮影した映像を、映像出力装置200の表示部21の表示領域の形状に適合させて表示部21に表示するための加工が含まれる。こうした加工には、例えば、複数の領域の撮像映像を繋ぎ合わせて全周映像を生成するスティッチング処理や、正距円筒図法に従った映像への加工が含まれる。なお、正距円筒図法に従った映像を生成する場合、描画時と伝送時の幾何学的整合性を保ちつつ映像データDvの容量を的確に削減するためには、優先領域Spの中心が、正距円筒図法における中心となるように変換が行われることが好ましい。
[作用]
第1実施形態の映像伝送システムの作用を説明する。映像伝送システムにおいては、優先領域Sp以外の領域の映像品質が、優先領域Spの映像品質よりも低くされる。したがって、映像範囲Soの全範囲が、優先領域Spと同じ映像品質を有する場合と比較して、映像データDvの容量の削減が可能である。それゆえ、映像伝送装置100から映像出力装置200へ広範囲の状況を表示するための映像データDvを伝送する場合であっても、通信負荷の増大が抑えられる。
そして、優先領域Spが注目位置Tpを含むため、視聴者Pdが注目すると推定される領域の映像品質が相対的に高く、それ以外の領域の映像品質が相対的に低い映像が表示部21に表示される。すなわち、視聴者Pdの視野の中央部で映像品質が高く、視聴者Pdの視野の周縁部で映像品質が低くなる。したがって、視聴者Pdには、視聴者Pdが第1空間R1内にいる場合の見え方に近しい見え方で、第1空間R1内の状況が視認される。さらに、対象物Obの移動に応じて注目位置Tpが移動し、それに伴って優先領域Spが移動する。これらによれば、視聴者Pdの視点に応じた映像が表示部21に表示されるため、視聴者Pdの臨場感が高められる。
したがって、映像データDvの伝送に際しての通信負荷の増大を抑えつつ、視聴者Pdの臨場感を高めることができる。
また、優先領域Spと他の領域との映像品質の差が、ネットワーク情報Inに基づいて決定される。すなわち、映像品質の設定に映像伝送装置100と映像出力装置200との間の通信状況が加味される。したがって、優先領域Spおよび他の領域の映像品質を、通信状況の良否に応じた品質に設定することができるため、映像データDvの伝送に際しての通信負荷の増大が的確に抑えられる。
また、第1空間R1における対象物Obの位置が検出されることに基づいて注目位置Tpが設定され、それに基づき優先領域Spが設定される形態であれば、視聴者Pdが注目すると推定される対象を優先領域Spに的確に含めることができる。また、映像伝送装置100が自身で収集した情報のみに基づいて注目位置Tpおよび優先領域Spを設定するため、映像伝送装置100による処理が円滑に進む。
また、映像伝送装置100の向きに基づいて注目位置Tpが設定され、それに基づき優先領域Spが設定される形態であれば、映像伝送装置100の向きの制御によって優先領域Spとなる領域を制御することができる。特に、映像伝送装置100の向きが、視聴者Pdによる遠隔操作によって変更可能とされる形態であれば、優先領域Spの設定に視聴者Pdの意思が反映されるため、視聴者Pdの希望に的確に沿った映像の出力が可能である。
また、映像範囲Soが、優先領域Spと境界領域Sbと非優先領域Snとの3種類の領域に区分けされ、優先領域Sp、境界領域Sb、非優先領域Snの順に映像品質が段階的に低くなる形態であれば、優先領域Spから非優先領域Snへ急激に映像品質が変化する場合と比較して、映像品質の差に起因した違和感を視聴者Pdが覚えることが抑えられる。
以上説明したように、第1実施形態によれば、以下に列挙する効果を得ることができる。
(1)映像伝送装置100は、撮影部11が撮影した映像に含まれる映像範囲Soを、注目位置Tpを含む優先領域Spを含めた複数の領域に区分けし、優先領域Spの映像品質よりも他の領域の映像品質を低く設定する。こうした構成によれば、映像範囲Soの全体に、優先領域Spの映像品質と同じ映像品質を適用する場合と比較して、映像データDvの容量を削減することができる。そして、優先領域Spが注目位置を含むため、視聴者Pdが注目すると推定される領域の映像品質が相対的に高く、それ以外の領域の映像品質が相対的に低い映像が表示部21に表示される。すなわち、視聴者Pdの視点に応じた映像が表示部21に表示されるため、視聴者Pdの臨場感が高められる。
(2)対象物Obの位置を検出するための位置設定用情報Ipに基づいて、注目位置Tpが設定される構成であれば、第1空間R1における対象物Obの位置に応じて、映像品質が高くされる優先領域Spが設定される。したがって、視聴者Pdが注目すると推定される対象を優先領域Spに的確に含めることができる。
(3)映像伝送装置100の向きに基づいて、注目位置Tpが設定される構成であれば、映像伝送装置100の向きの制御によって、優先領域Spとなる領域を制御することができる。したがって、映像伝送システムの利用者の利便性が高められるとともに、利用者が優先領域Spとなる領域を客観的に把握しやすくなる。特に、映像伝送装置100が、視聴者Pdによる遠隔操作によって、映像伝送装置100の向きを変更可能に構成されている形態であれば、優先領域Spの設定に視聴者Pdの意思が反映されるため、視聴者Pdの希望に的確に沿った映像の出力が可能である。
(4)ネットワーク情報Inに基づいて、優先領域Spおよび他の領域の映像品質が設定されるため、映像品質の設定に通信状況が加味される。すなわち、各領域の映像品質を、通信状況の良否に応じた品質に設定することができるため、映像データDvの伝送に際しての通信負荷の増大が的確に抑えられる。
(5)映像範囲Soが、優先領域Spと非優先領域Snと境界領域Sbとに区分けされ、優先領域Spの映像品質よりも境界領域Sbの映像品質が低く設定されるとともに、境界領域Sbの映像品質よりも非優先領域Snの映像品質が低く設定される。こうした構成によれば、優先領域Spから非優先領域Snへ急激に映像品質が変化する場合と比較して、映像品質の差に起因した違和感を視聴者Pdに与えることが抑えられる。
(6)映像品質に、映像が含む像の鮮明さ、および、動画としての滑らかさの少なくとも一方が含まれる。これによれば、優先領域Sp以外の映像品質を低くすることで、映像データDvの容量の的確な削減が可能である。
(7)優先領域Spのビットレートよりも他の領域のビットレートを低く設定することで、優先領域Spよりも他の領域の映像品質を低くする構成であれば、映像品質の設定が容易であり、また、映像データDvの容量の的確な削減が可能である。
(8)映像品質の設定に映像特徴情報Icとして輝度変化量を用い、輝度変化量が大きいほど、優先領域Spと他の領域との映像品質の差を小さくする構成では、映像を構成する画像内での明るさの変化が大きいほど、映像品質の差が小さくなる。したがって、映像品質の差が認識されやすい特性を映像が有するほど、各領域間での映像品質の差が小さくされるため、映像品質の差に起因した違和感を視聴者Pdに与えることが抑えられる。
(9)画質が高いことを優先する場合と、フレームレートが高いことを優先する場合とで、映像品質、すなわち、優先領域Spと他の領域とのビットレート、および、フレームレートを異ならせる構成であれば、状況に応じた映像品質の設定が可能である。したがって、映像伝送システムの利用者の利便性が高められる。
(第2実施形態)
図7~図10を参照して、映像伝送システム、映像伝送装置、および、映像伝送プログラムの第2実施形態を説明する。第2実施形態においては、注目位置Tpの設定のための情報の収集と、ネットワーク情報Inの取得とが、第2空間R2の映像出力装置にて行われる点が、第1実施形態と異なっている。以下では、第2実施形態と第1実施形態との相違点を中心に説明し、第1実施形態と同様の構成については同じ符号を付してその説明を省略する。
[映像伝送システムの構成]
第2実施形態の映像伝送システムの機能的な構成について説明する。第2実施形態においても、映像伝送システムは、第1空間R1に配備される映像伝送装置110と、第2空間R2に配備される映像出力装置210とを備える。映像伝送装置110と映像出力装置210とは、ネットワークNWを通じて、相互にデータの送信および受信を行う。
映像伝送装置110は、撮影部11、通信部12、制御部13、および、記憶部15を備える。第2実施形態の映像伝送装置110は、位置情報収集部14を備えていない。映像伝送装置110が備えるこれらの構成部は、一体に組み付けられていてもよいし、複数の構成部の少なくとも一部が他の部と分離して配置されていてもよい。制御部13と制御部13以外の構成部とは、有線または無線で接続されていてもよい。映像伝送装置110は、例えば、テレプレゼンスロボットに具体化される。
撮影部11、通信部12、および、記憶部15の各々は、第1実施形態と同様の構成を有する。制御部13は、映像伝送システムを構成する機能部として、注目位置設定部13bと、映像品質設定部13cと、映像データ生成部13dとを含んでいる。制御部13は、ネットワーク情報取得部13aを含んでいない。
注目位置設定部13bは、映像出力装置210から通信部12を介して受信した視線情報Iwに基づき、第1空間R1内に注目位置Tpを設定する。
映像品質設定部13cは、映像出力装置210から通信部12を介して受信したネットワーク情報In、および、注目位置Tpを含む情報に基づいて、映像範囲Soを複数の領域に区分けするとともに、各領域の映像品質を設定する。すなわち、映像品質設定部13cは、注目位置Tpを含む優先領域Spよりも他の領域の映像品質が低くなるように、各領域の映像品質を設定する。そして、映像品質設定部13cは、各領域の映像品質を示す映像品質情報Ivを出力する。
映像データ生成部13dは、撮影部11の撮影データDrから、映像品質情報Ivに従って、映像データDvを生成する。そして、映像データ生成部13dは、映像データDvを、通信部12を介して、映像出力装置210に送信する。
映像出力装置210は、表示部21、通信部22、制御部23、記憶部24に加えて、視聴者情報収集部25を備える。映像出力装置210が備えるこれらの構成部は、一体に組み付けられていてもよいし、複数の構成部の少なくとも一部が他の部と分離して配置されていてもよい。制御部23と制御部13以外の構成部とは、有線または無線で接続されていてもよい。
表示部21、通信部22、および、記憶部24の各々は、第1実施形態と同様の構成を有する。視聴者情報収集部25は、視聴者Pdの視線方向を検出するための情報を収集する。視聴者情報収集部25には、例えば、赤外線レーザー装置とその受光装置、ミリ波レーダー装置、カメラ等の画像撮影装置等が含まれる。
制御部23は、映像伝送システムを構成する機能部として、出力処理部23aに加えて、ネットワーク情報取得部23bと、視聴者情報管理部23cとを含んでいる。
ネットワーク情報取得部23bは、通信部22を通じて、ネットワーク情報Inを取得する。ネットワーク情報Inは、ネットワークNWを利用した映像伝送装置110と映像出力装置210との間の通信状況を示す情報であり、第2実施形態では、映像出力装置210からみて、映像伝送装置110から映像出力装置210への下り方向の通信経路に含まれる少なくとも1つの回線についての情報である。
視聴者情報管理部23cは、視聴者情報収集部25が収集した情報に基づく視線情報Iwを生成する。ネットワーク情報Inおよび視線情報Iwは、通信部22を介して、映像伝送装置110に送信される。視線情報Iwは、視聴者Pdの視線方向を示す情報、もしくは、視聴者Pdの視線方向を算出可能な情報である。視線情報Iwは、視聴者情報収集部25から出力された情報を用いた演算の結果として導出される情報であってもよいし、視聴者情報収集部25から出力された情報そのものであってもよい。
出力処理部23aは、映像伝送装置110から通信部22が受信した映像データDvに対し、表示領域の形状等に応じて必要な変換を加え、映像データDvに基づく映像を表示部21に表示させる。
[映像伝送システムの動作]
図8を参照して、第2実施形態の映像伝送システムの処理手順の概略を説明する。図8が示す処理は、撮影部11が撮影を継続している期間に行われる処理である。
まず、映像出力装置210の制御部23が、視聴者情報収集部25による情報の収集に基づいて視線情報Iwを取得するとともに、ネットワーク情報Inを取得する(ステップS40)。
続いて、制御部23は、視線情報Iwとネットワーク情報Inとを、通信部22を介して映像伝送装置110に送信する(ステップS41)。
視線情報Iwおよびネットワーク情報Inを受信すると、映像伝送装置110の制御部13は、受信した情報を用いて、注目位置Tpを設定し、映像範囲Soを複数の領域に区分けして、各領域の映像品質を設定する(ステップS42)。
続いて、制御部13は、ステップS42で設定された映像品質を示す映像品質情報Ivに従って撮影データDrを変換して、映像データDvを生成する(ステップS43)。
映像データDvが生成されると、制御部13は、映像データDvを、通信部12を介して、映像出力装置210に送信する(ステップS44)。
映像データDvを受信すると、映像出力装置210の制御部23は、映像データDvを用いて、表示部21に映像を表示させる(ステップS45)。
図8に示す処理において、ステップS40~ステップS42の処理は、撮影部11が撮影を継続している間、所定の間隔で行われてもよい。あるいは、ステップS40の処理が所定の間隔で行われ、視線情報Iwおよびネットワーク情報Inのいずれかが前回の取得時から変化した場合にのみ、ステップS41およびステップS42の処理が行われてもよい。あるいは、ステップS40およびステップS41の処理が所定の間隔で行われ、視線情報Iwおよびネットワーク情報Inのいずれかが前回の取得時から変化した場合にのみ、ステップS42の処理が行われてもよい。
ステップS43の処理では最新の映像品質情報Ivが用いられ、制御部13に入力される撮影データDrに対してステップS43~ステップS45の処理が順々に行われることにより、第1空間R1内の状況を示す映像が第2空間R2の映像出力装置210に表示される。
[視線情報の生成処理および注目位置の設定処理]
映像出力装置210における制御部23の視聴者情報管理部23cが行う視線情報Iwの生成処理、および、映像伝送装置110における制御部13の注目位置設定部13bが行う注目位置Tpの設定処理について、詳細に説明する。
図9が示すように、映像出力装置210の視聴者情報収集部25を構成する装置は、例えば、第2空間R2の上部に設置され、視聴者Pdの視線方向を検出するための情報を収集する。視聴者情報収集部25が出力する情報に基づき、例えば、人物の位置や動きの検出や、画像解析による頭部の位置の検出が行われ、これに基づき、視聴者Pdの視線方向が算出される。
視聴者Pdの視線方向の算出は、映像出力装置210が行ってもよいし、映像伝送装置110が行ってもよい。すなわち、視聴者情報管理部23cは、視聴者情報収集部25が出力する情報に基づき算出した視線方向を示す情報を、視線情報Iwとして映像伝送装置110に送信してもよい。あるいは、視聴者情報管理部23cは、視聴者情報収集部25の出力に基づく情報であって、映像伝送装置110にて視聴者Pdの視線方向を算出可能な情報を、視線情報Iwとして映像伝送装置110に送信してもよい。
視聴者Pdの視線方向は、視聴者Pdが見ている方向であって、例えば、図10に矢印A2として示すように、水平面内における視聴者Pdの頭部の向き、すなわち、視聴者Pdの真上から見た場合の視聴者Pdの頭部の向きによって規定される。視聴者Pdの顔部分から前方に直進する方向が、視聴者Pdの視線方向である。
あるいは、視聴者Pdの視線方向は、三次元直交座標系における視聴者Pdの向き、もしくは向きおよび位置によって規定されてもよい。視聴者情報収集部25は、視線方向の算出方法に応じた情報を収集可能なように構成されていればよい。また、視聴者Pdに、視線方向の算出のためのセンサ等の機器が装着されてもよい。上記センサとしては、例えば、ジャイロセンサ、加速度センサ、地磁気センサ等が挙げられる。こうした機器も、視聴者情報収集部25を構成する。あるいは、視聴者Pdに装着される上記センサ等の機器のみから視聴者情報収集部25が構成されてもよい。
映像伝送装置110の注目位置設定部13bは、視線情報Iwに基づく視線方向に応じて、第1空間R1内に、注目位置Tpを設定する。例えば、注目位置Tpの初期位置が、第1空間R1内の所定の位置に設定され、視線方向の変化に合わせて、例えば映像伝送装置110の位置である基準点から注目位置Tpに向かう方向が変化するように、注目位置Tpが移動される。あるいは、第1空間R1と第2空間R2との各々に三次元直交座標系が設定されるとともに上下左右前後の方向が一致するように軸方向が共有され、第2空間R2の座標系によって規定される視線方向に応じて、第1空間R1の座標系によって規定される注目位置Tpが設定される。
要は、注目位置Tpは、視線方向の変化に同期して移動するように設定されればよい。すなわち、視線方向の変化に合わせて注目位置Tpが移動され、注目位置Tpの移動に伴って、優先領域Spが移動される。第2実施形態においても、映像品質の設定処理および映像データDvの生成処理は、第1実施形態と同様に行われる。
なお、第2実施形態においても、映像伝送装置110の向きは、第2空間R2の視聴者Pdによる遠隔操作が可能であってもよい。ただし、第2実施形態の構成によれば、映像伝送装置110の向きを変更せずとも、視聴者Pdの視線方向の変更、すなわち、視聴者Pd自身の向きの変更によって、優先領域Spの移動が可能である。なお、視聴者Pdの遠隔操作に依らず、注目位置Tpが設定されることに基づき、映像伝送装置110が注目位置Tpの方を向くように、映像伝送装置110の向きが変更されてもよい。
[作用]
第2実施形態の映像伝送システムの作用を説明する。第2実施形態においても、優先領域Sp以外の映像品質が、優先領域Spの映像品質よりも低くされる。したがって、映像データDvの容量の削減が可能であるため、通信負荷の増大が抑えられる。そして、優先領域Spが注目位置Tpを含むことにより、視聴者Pdの視点に応じた映像が表示部21に表示されるため、視聴者Pdの臨場感が高められる。
第2実施形態においては、視聴者Pdの視線方向に基づいて注目位置Tpが設定され、それに基づき優先領域Spが設定される。したがって、優先領域Spの設定に視聴者Pdの意思が反映されやすいため、視聴者Pdの希望により沿った映像が表示部21に表示される。したがって、視聴者Pdの満足感が高められる。また、視聴者Pdの視線方向の変化に応じて優先領域Spが移動するため、視聴者Pdの臨場感がより高められる。
以上説明したように、第2実施形態によれば、第1実施形態の(1),(4)~(9)の効果に加えて、以下の効果を得ることができる。
(10)視聴者Pdの視線方向に応じて、映像品質が高くされる優先領域Spが設定されるため、優先領域Spの設定に視聴者の意思が反映されやすい。したがって、視聴者Pdの希望に的確に沿った映像が表示部21に表示される。また、当該映像が、視聴者Pdの視点に的確に沿った映像となるため、視聴者Pdの臨場感がより高められる。
[適用例]
上記各実施形態においては、映像伝送システムが、遠隔での人と人とのコミュニケーションに利用される形態を例示したが、映像伝送システムの用途はこれに限られない。以下、他の用途への映像伝送システムの適用例を説明する。以下の適用例には、第1実施形態の映像伝送システムの構成と、第2実施形態の映像伝送システムの構成とのいずれが適用されてもよい。
<適用例1:遠隔就労>
適用例1の映像伝送システムは、遠隔就労に利用される。適用例1において、視聴者Pdは就労者である。第1空間R1は、就労先であって、例えば、会社やシェアオフィス等のオフィスである。第2空間R2は、特に限定されず、例えば、視聴者Pdの自宅、会社の別拠点やシェアオフィス等のオフィスである。視聴者Pdは、表示部21に表示される第1空間R1の状況を見ながら、作業を進める。作業は、第2空間R2でのみ行われてもよいし、第1空間R1に位置する装置を視聴者Pdが遠隔操作すること等によって、第1空間R1で行われてもよい。第1空間R1には、人物が位置しなくてもよく、第1実施形態の映像伝送システムが適用される場合、対象物Obは人物に限らず、資料や作業対象等の物品であってもよい。
適用例1によれば、視聴者Pdは、就労先とは離れた空間に位置しながら、就労先にいるかのような臨場感の高い就労を行うことが可能であり、作業性の向上も可能である。
<適用例2:遠隔観光>
適用例2の映像伝送システムは、遠隔観光に利用される。適用例2において、視聴者Pdは観光者である。第1空間R1は、観光先であって、例えば、観光施設や商業施設である。観光施設には、博物館、水族館、美術館、文化財等の観光名所が含まれる。第2空間R2は、特に限定されず、例えば、視聴者Pdの自宅、学校、会議施設、商業施設、介護施設、病院等である。視聴者Pdは、表示部21に表示される第1空間R1の状況を見ることで、観光を行う。第1空間R1には、人物が位置しなくてもよく、第1実施形態の映像伝送システムが適用される場合、対象物Obは、例えば、動物、植物、建物等の施設、展示品等である。
適用例2によれば、視聴者Pdは、観光先とは離れた空間に位置しながら、臨場感の高い観光を行うことが可能であり、視聴者Pdの興趣も高められる。
<適用例3:遠隔診療>
適用例3の映像伝送システムは、遠隔診療に利用される。適用例3において、視聴者Pdは、医師や看護師等の医療従事者である。第1空間R1は、患者がいる施設であって、例えば、地方の診療所や離島の診療所等である。第2空間R2は、特に限定されず、例えば、都市部の病院や、医大の教室等である。視聴者Pdは、表示部21に表示される第1空間R1の状況を見ることで、診療を行う。第1空間R1には、患者が位置し、第1実施形態の映像伝送システムが適用される場合、対象物Obは、患者、あるいは、患者の患部である。
適用例3によれば、視聴者Pdは、患者とは離れた空間に位置しながら、患者と同じ空間にいるかのような臨場感の高い診療を行うことが可能であり、遠隔地においても患者の症状に適した診療を行いやすい。
<適用例4:遠隔農業>
適用例4の映像伝送システムは、遠隔農業に利用される。適用例4において、視聴者Pdは、農業従事者である。第1空間R1は、農業施設であって、例えば、水田、畑、ビニールハウス、森林等である。第2空間R2は、特に限定されず、例えば、視聴者Pdの自宅や、会社等のオフィス等である。視聴者Pdは、表示部21に表示される第1空間R1の状況を見ることで、農作物の観察や農作業を行う。農作業は、第1空間R1に位置する装置を視聴者Pdが遠隔操作すること等によって、第1空間R1で行われる。第1空間R1には、人物が位置しなくてもよく、第1実施形態の映像伝送システムが適用される場合、対象物Obは、例えば、農作物である。
適用例4によれば、視聴者Pdは、農業施設とは離れた空間に位置しながら、臨場感の高い農作物の観察や農作業が可能である。
[変形例]
上記各実施形態および適用例は、以下のように変更して実施することが可能である。
・第1実施形態において、ネットワーク情報Inは、第2実施形態と同様に映像出力装置200にて取得されて、映像伝送装置100に送信されてもよい。また、第2実施形態において、ネットワーク情報Inは、第1実施形態と同様に映像伝送装置110にて取得されてもよい。また、第1実施形態および第2実施形態の各々において、映像伝送装置にて取得されたネットワーク情報Inと映像出力装置にて取得されたネットワーク情報Inとの双方が、映像品質の設定に用いられてもよい。
・上記各実施形態においては、ネットワーク情報Inは、例えば映像ビットレートの設定のように、映像品質の設定のために用いられた。ネットワーク情報Inは、映像範囲Soに対する優先領域Spを含む領域の設定に利用されてもよい。例えば、ネットワーク情報Inに応じて、優先領域Spを含む領域の大きさが定められてもよい。具体的には、通信状況が良好であるほど、優先領域Spが大きくされる。
・注目位置Tpは、対象物Obの位置および映像伝送装置の向きの少なくとも一方と、視聴者Pdの視線方向とに基づいて設定されてもよい。
・映像出力装置の制御部23の出力処理部23aは、映像データDvが示す映像に対して、優先領域Spと他の領域との映像品質の差を視聴者Pdに認識されにくくするための処理を行った後、当該処理後の映像を表示部21に表示させてもよい。こうした処理には、例えば、移動平均フィルタやガウシアンフィルタのような像をぼかす画像フィルタの適用が含まれる。例えば、映像範囲Soが、優先領域Spと非優先領域Snと境界領域Sbとの3種類の領域に区分けされるとき、境界領域Sbに上記画像フィルタが適用されると、各領域Sp,Sn,Sbの境界が視聴者Pdに認識されにくくなるため、映像品質の差に起因した違和感を視聴者Pdが覚えることが抑えられる。
・表示部21は、第2空間R2内に位置していればよく、視聴者Pdに携帯されていてもよい。例えば、表示部21は、視聴者Pdの頭部に装着されるディスプレイであってもよい。
・撮影部11の撮影範囲は固定されていてもよいし、移動可能であってもよい。例えば、撮影部11の撮影範囲は、注目位置Tpに応じて、注目位置Tpが撮影範囲の中央部に位置するように移動されてもよい。この場合、注目位置Tpの設定後に撮影部11の撮影範囲が決定され、その撮影範囲に応じた映像範囲Soに対して優先領域Spを含む領域の設定が行われる。
・上記各実施形態では、映像伝送装置が、テレプレゼンスロボットのように、その位置および向きを変更可能に構成され、映像伝送装置の位置および向きが、視聴者Pdによる遠隔操作によって変更される形態を例示した。これに限らず、映像伝送装置の位置および向きは、第1空間R1内の人物によって変更されてもよいし、映像伝送装置の位置および向きは変更可能でなくてもよい。また、映像伝送装置は、ドローンであってもよい。
・第1空間R1の映像が第2空間R2に位置する表示部21に表示されることに加えて、第2空間R2の映像が、第1空間R1に位置する表示部に表示されてもよい。
・注目位置Tpの設定や映像品質の設定に、人工知能(AI:Artificial Intelligence)が利用されてもよい。
Ob…対象物、Pd…視聴者、R1…第1空間、R2…第2空間、Sp…優先領域、Sn…非優先領域、Sb…境界領域、Tp…注目位置、11…撮影部、12…通信部、13…制御部、13a…ネットワーク情報取得部、13b…注目位置設定部、13c…映像品質設定部、13d…映像データ生成部、14…位置情報収集部、15…記憶部、21…表示部、22…通信部、23…制御部、23a…出力処理部、23b…ネットワーク情報処理部、23c…視聴者情報管理部、25…視聴者情報収集部、100,110…映像伝送装置、200,210…映像出力装置。

Claims (11)

  1. 第1空間内の状況を撮影する撮影部を備える映像伝送装置と、前記映像伝送装置にネットワークを介して接続され、第2空間に配置される表示部を備える映像出力装置とを含み、前記表示部に前記第1空間の映像が表示される映像伝送システムであって、
    前記映像伝送装置は、
    前記第2空間に位置する視聴者が前記第1空間内の状況に対して注目すると推定される位置である注目位置を設定する注目位置設定部と、
    前記撮影部が撮影した映像に含まれる範囲を、前記注目位置を含む優先領域を含めた複数の領域に区分けし、前記優先領域の映像品質よりも他の領域の映像品質を低く設定する映像品質設定部と、
    前記撮影部の撮影データから、前記映像品質設定部が設定した前記優先領域の映像品質と前記他の領域の映像品質とに従って映像データを生成する映像データ生成部と、
    前記映像データを前記映像出力装置に送信する送信部と、を備え、
    前記映像品質設定部は、前記撮影部が撮影した映像について、前記範囲内での階調の分布を示す映像特徴情報としての輝度変化量を取得し、前記輝度変化量が大きいほど、前記優先領域と前記他の領域との映像品質の差を小さくし、
    前記映像出力装置は、
    前記映像データを前記映像伝送装置から受信する受信部と、
    前記映像データを用いて、前記第1空間内の状況を示す映像を前記表示部に表示させる出力処理部と、を備える
    映像伝送システム。
  2. 前記映像伝送装置は、
    前記第1空間に位置する対象物の位置を検出するための情報を収集する位置情報収集部をさらに備え、
    前記注目位置設定部は、前記位置情報収集部が収集した情報に基づいて、前記注目位置を設定する
    請求項1に記載の映像伝送システム。
  3. 前記注目位置設定部は、前記映像伝送装置の向きに基づいて、前記注目位置を設定する
    請求項1に記載の映像伝送システム。
  4. 前記映像伝送装置は、前記視聴者による遠隔操作によって、前記映像伝送装置の向きを変更可能に構成されている
    請求項3に記載の映像伝送システム。
  5. 前記映像出力装置は、
    前記第2空間における前記視聴者の視線方向を検出するための情報を収集する視聴者情報収集部と、
    前記視聴者情報収集部が収集した情報に基づく視線情報を前記映像伝送装置に送信する送信部と、をさらに備え、
    前記映像伝送装置は、
    前記視線情報を前記映像出力装置から受信する受信部をさらに備え、
    前記注目位置設定部は、前記視線情報に基づいて、前記注目位置を設定する
    請求項1に記載の映像伝送システム。
  6. 前記映像品質設定部は、
    前記ネットワークを利用した前記映像伝送装置と前記映像出力装置との間の通信状況を示すネットワーク情報に基づいて、前記優先領域および前記他の領域の映像品質を設定する
    請求項1~5のいずれか一項に記載の映像伝送システム。
  7. 前記映像品質設定部は、
    前記撮影部が撮影した映像に含まれる範囲を、前記注目位置を含む優先領域と、前記注目位置を含まない非優先領域と、前記優先領域と前記非優先領域との間に挟まれた境界領域とに区分けし、前記優先領域の映像品質よりも前記境界領域の映像品質を低く設定するとともに、前記境界領域の映像品質よりも前記非優先領域の映像品質を低く設定する
    請求項1~6のいずれか一項に記載の映像伝送システム。
  8. 前記映像品質には、映像が含む像の鮮明さ、および、動画としての滑らかさの少なくとも一方が含まれる
    請求項1~7のいずれか一項に記載の映像伝送システム。
  9. 前記映像品質設定部が、前記優先領域の映像品質よりも前記他の領域の映像品質を低く設定することには、前記優先領域における単位区画あたりのビットレートよりも前記他の領域における単位区画あたりのビットレートを低く設定することが含まれる
    請求項1~8のいずれか一項に記載の映像伝送システム。
  10. 第1空間の映像が表示される表示部を第2空間に備える映像出力装置とネットワークを介して接続される映像伝送装置であって、
    前記第1空間内の状況を撮影する撮影部と、
    前記第2空間に位置する視聴者が前記第1空間内の状況に対して注目すると推定される位置である注目位置を設定する注目位置設定部と、
    前記撮影部が撮影した映像に含まれる範囲を、前記注目位置を含む優先領域を含めた複数の領域に区分けし、前記優先領域の映像品質よりも他の領域の映像品質を低く設定する映像品質設定部と、
    前記撮影部の撮影データから、前記映像品質設定部が設定した前記優先領域の映像品質と前記他の領域の映像品質とに従って映像データを生成する映像データ生成部と、
    前記映像データを前記映像出力装置に送信する送信部と、を備え、
    前記映像品質設定部は、前記撮影部が撮影した映像について、前記範囲内での階調の分布を示す映像特徴情報としての輝度変化量を取得し、前記輝度変化量が大きいほど、前記優先領域と前記他の領域との映像品質の差を小さくする
    映像伝送装置。
  11. 第1空間の映像が表示される表示部を第2空間に備える映像出力装置とネットワークを介して接続され、前記第1空間内の状況を撮影する撮影部を備える映像伝送装置を、
    前記第2空間に位置する視聴者が前記第1空間内の状況に対して注目すると推定される位置である注目位置を設定する注目位置設定部と、
    前記撮影部が撮影した映像に含まれる範囲を、前記注目位置を含む優先領域を含めた複数の領域に区分けし、前記優先領域の映像品質よりも他の領域の映像品質を低く設定する映像品質設定部であって、前記撮影部が撮影した映像について、前記範囲内での階調の分布を示す映像特徴情報としての輝度変化量を取得し、前記輝度変化量が大きいほど、前記優先領域と前記他の領域との映像品質の差を小さくする前記映像品質設定部と、
    前記撮影部の撮影データから、前記映像品質設定部が設定した前記優先領域の映像品質と前記他の領域の映像品質とに従って映像データを生成し、当該映像データを前記映像出力装置に送信させる映像データ生成部と、として機能させる映像伝送プログラム。
JP2018171410A 2018-09-13 2018-09-13 映像伝送システム、映像伝送装置、および、映像伝送プログラム Active JP7256491B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018171410A JP7256491B2 (ja) 2018-09-13 2018-09-13 映像伝送システム、映像伝送装置、および、映像伝送プログラム
CN201910857476.XA CN110896446B (zh) 2018-09-13 2019-09-11 影像传送系统
US16/569,304 US10587841B1 (en) 2018-09-13 2019-09-12 Video transmission system
JP2023045660A JP7498459B2 (ja) 2018-09-13 2023-03-22 映像伝送システム、映像伝送装置、および、映像伝送プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018171410A JP7256491B2 (ja) 2018-09-13 2018-09-13 映像伝送システム、映像伝送装置、および、映像伝送プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023045660A Division JP7498459B2 (ja) 2018-09-13 2023-03-22 映像伝送システム、映像伝送装置、および、映像伝送プログラム

Publications (2)

Publication Number Publication Date
JP2020043533A JP2020043533A (ja) 2020-03-19
JP7256491B2 true JP7256491B2 (ja) 2023-04-12

Family

ID=69723558

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018171410A Active JP7256491B2 (ja) 2018-09-13 2018-09-13 映像伝送システム、映像伝送装置、および、映像伝送プログラム
JP2023045660A Active JP7498459B2 (ja) 2018-09-13 2023-03-22 映像伝送システム、映像伝送装置、および、映像伝送プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023045660A Active JP7498459B2 (ja) 2018-09-13 2023-03-22 映像伝送システム、映像伝送装置、および、映像伝送プログラム

Country Status (3)

Country Link
US (1) US10587841B1 (ja)
JP (2) JP7256491B2 (ja)
CN (1) CN110896446B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114268707A (zh) * 2021-12-28 2022-04-01 维沃移动通信有限公司 图像处理方法、装置和电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005130251A (ja) 2003-10-24 2005-05-19 Sony Corp 映像配信システム
JP2006211105A (ja) 2005-01-26 2006-08-10 Konica Minolta Holdings Inc 画像生成装置およびシステム
JP2009188792A (ja) 2008-02-07 2009-08-20 Sony Corp 画像送信装置、画像受信装置、画像送受信システム、画像送信プログラムおよび画像受信プログラム
JP2010074456A (ja) 2008-09-18 2010-04-02 Brother Ind Ltd 撮像方向制御装置、遠隔会議装置、撮像方向制御方法及び撮像方向制御プログラム
JP2015122768A (ja) 2005-03-09 2015-07-02 クゥアルコム・インコーポレイテッドQualcomm Incorporated ビデオテレフォニーに関する関心領域抽出
JP2015213277A (ja) 2014-05-07 2015-11-26 日本電信電話株式会社 エンコード方法およびエンコードプログラム
JP2016072964A (ja) 2014-09-30 2016-05-09 キヤノン株式会社 被写体再識別のためのシステム及び方法
WO2018037890A1 (ja) 2016-08-23 2018-03-01 日本電気株式会社 映像処理装置、映像処理方法及びプログラムを記憶する記憶媒体

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09186991A (ja) * 1995-12-28 1997-07-15 Canon Inc 画像伝送方法及びシステム並びに画像端末装置
JP4768250B2 (ja) 2004-10-28 2011-09-07 シャープ株式会社 送信装置、受信装置、送受信装置、送信方法及び伝送システム
JP4967228B2 (ja) 2004-11-29 2012-07-04 ソニー株式会社 コンテンツ通信システム、通信装置および方法、並びにプログラム
JP4863937B2 (ja) 2007-06-25 2012-01-25 株式会社ソニー・コンピュータエンタテインメント 符号化処理装置および符号化処理方法
WO2011071478A1 (en) * 2009-12-07 2011-06-16 Hewlett-Packard Development Company, L.P. 3d video conference
KR101017866B1 (ko) * 2010-09-08 2011-03-04 주식회사 텔레칩스 네비게이션을 이용한 휴대단말기 제어 방법
JP5891654B2 (ja) 2011-08-29 2016-03-23 株式会社リコー Tv会議システム、映像配信装置、及びデータ処理方法
US9538133B2 (en) * 2011-09-23 2017-01-03 Jie Diao Conveying gaze information in virtual conference
US9423994B2 (en) * 2012-02-22 2016-08-23 Citrix Systems, Inc. Hierarchical display
EP2642752A1 (en) * 2012-03-23 2013-09-25 Alcatel Lucent Method, server, and terminal for conducting a video conference
CN104782121A (zh) * 2012-12-18 2015-07-15 英特尔公司 多区域视频会议编码
CN105657329B (zh) * 2016-02-26 2018-11-20 苏州科达科技股份有限公司 视频会议系统、处理装置及视频会议方法
CN106161985B (zh) * 2016-07-05 2019-08-27 宁波菊风系统软件有限公司 一种浸入式视频会议的实现方法
US10373592B2 (en) * 2016-08-01 2019-08-06 Facebook Technologies, Llc Adaptive parameters in image regions based on eye tracking information
US11178361B2 (en) * 2018-02-01 2021-11-16 Ford Global Technologies, Llc Virtual window for teleconferencing
CN110324554B (zh) * 2018-03-28 2021-08-13 北京富纳特创新科技有限公司 视频通信装置及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005130251A (ja) 2003-10-24 2005-05-19 Sony Corp 映像配信システム
JP2006211105A (ja) 2005-01-26 2006-08-10 Konica Minolta Holdings Inc 画像生成装置およびシステム
JP2015122768A (ja) 2005-03-09 2015-07-02 クゥアルコム・インコーポレイテッドQualcomm Incorporated ビデオテレフォニーに関する関心領域抽出
JP2009188792A (ja) 2008-02-07 2009-08-20 Sony Corp 画像送信装置、画像受信装置、画像送受信システム、画像送信プログラムおよび画像受信プログラム
JP2010074456A (ja) 2008-09-18 2010-04-02 Brother Ind Ltd 撮像方向制御装置、遠隔会議装置、撮像方向制御方法及び撮像方向制御プログラム
JP2015213277A (ja) 2014-05-07 2015-11-26 日本電信電話株式会社 エンコード方法およびエンコードプログラム
JP2016072964A (ja) 2014-09-30 2016-05-09 キヤノン株式会社 被写体再識別のためのシステム及び方法
WO2018037890A1 (ja) 2016-08-23 2018-03-01 日本電気株式会社 映像処理装置、映像処理方法及びプログラムを記憶する記憶媒体

Also Published As

Publication number Publication date
CN110896446B (zh) 2021-05-25
JP7498459B2 (ja) 2024-06-12
CN110896446A (zh) 2020-03-20
JP2023068121A (ja) 2023-05-16
US20200092517A1 (en) 2020-03-19
JP2020043533A (ja) 2020-03-19
US10587841B1 (en) 2020-03-10

Similar Documents

Publication Publication Date Title
EP3379525B1 (en) Image processing device and image generation method
US20200142480A1 (en) Immersive displays
AU2003234910B2 (en) Medical cockpit system
US20210281802A1 (en) IMPROVED METHOD AND SYSTEM FOR VIDEO CONFERENCES WITH HMDs
AU2017370476B2 (en) Virtual reality-based viewing method, device, and system
KR20160091316A (ko) 물리적 위치들 간 비디오 대화
WO2017213070A1 (ja) 情報処理装置および方法、並びに記録媒体
KR101580559B1 (ko) 의료 영상 및 정보 실시간 상호전송 및 원격 지원 장치
JP2023068121A (ja) 映像伝送システム、映像伝送装置、および、映像伝送プログラム
JP2018163461A (ja) 情報処理装置、および情報処理方法、並びにプログラム
US20230239457A1 (en) System and method for corrected video-see-through for head mounted displays
KR20170044451A (ko) 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템 및 방법
WO2017064926A1 (ja) 情報処理装置及び情報処理方法
CN114371779B (zh) 一种视线深度引导的视觉增强方法
JP6965398B1 (ja) 遠隔制御システム、遠隔作業装置、映像処理装置およびプログラム
JP7012983B2 (ja) 顔画像処理装置
CN111860213A (zh) 增强现实系统及其控制方法
US20200238529A1 (en) Service providing system, service providing method and management apparatus for service providing system
JP2020202499A (ja) 画像観察システム
JP2020160226A (ja) 画像処理システム、及び画像処理方法
KR20170088664A (ko) 개인형 가상현실 체험장치 및 그 방법
US20210243427A1 (en) Compensation for observer movement in robotic surgical systems having stereoscopic displays
CN117083556A (zh) 改进的沉浸式观看体验
JP2024521292A (ja) ビデオ会議エンドポイント
CN116996656A (zh) 一种vr设备控制方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181024

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210830

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220902

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230323

R150 Certificate of patent or registration of utility model

Ref document number: 7256491

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350