以下、本技術を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.第1の実施の形態(ユーザ情報や管理情報に基づいて無線通信に関する制御を行う例)
2.第2の実施の形態(スケーラビリティ伝送レート制御を行う例)
3.第3の実施の形態(マルチ受信ダイバーシティの設定および変更、コンテンツプロテクションの設定を行う例)
4.応用例
<1.第1の実施の形態>
[通信システムの構成例]
図1は、本技術の第1の実施の形態における通信システム100のシステム構成例を示すブロック図である。
通信システム100は、情報処理装置200と、情報処理装置300と、情報処理装置400とを備える。また、通信システム100は、情報処理装置200および情報処理装置400のうちの少なくとも1つから送信されるデータ(例えば、画像データや音声データ)を情報処理装置300が受信する通信システムである。
また、情報処理装置200、300、400は、無線通信機能を備える送受信機器である。例えば、情報処理装置200、300、400は、無線通信機能を備える表示装置(例えば、パーソナルコンピュータ)や携帯型の情報処理装置(例えば、スマートフォン、タブレット端末)である。また、例えば、情報処理装置200、300、400は、IEEE(Institute of Electrical and Electronics Engineers)802.11や802.15、802.16、3GPP仕様(W−CDMA(Wideband Code Division Multiple Access)、GSM(登録商標)(Global System for Mobile Communications)、WiMAX(Worldwide Interoperability for Microwave Access)、WiMAX2、LTE(Long Term Evolution)、LTE−A(Advanced)等)に準拠した無線通信装置である。そして、情報処理装置200、300、400は、無線通信機能を利用して各種情報のやり取りを行うことができる。
ここで、一例として、情報処理装置200および情報処理装置300間、または、情報処理装置400および情報処理装置300間で無線LAN(Local Area Network)を用いた無線通信を行う場合の例を説明する。
この無線LANとして、例えば、Wi−Fi(Wireless Fidelity) Direct、TDLS(Tunneled Direct Link Setup)、アドホックネットワーク、メッシュネットワークを用いることができる。また、通信システム100に用いられる近距離無線AV(Audio Visual)伝送通信として、例えば、Wi−Fi CERTIFIED Miracastを用いることができる。なお、Wi−Fi CERTIFIED Miracastは、Wi−Fi DirectやTDLSの技術を利用して、一方の端末で再生される音声や表示画像を他の端末に送信し、他の端末でも同様にその音声、画像データを出力させるミラーリング技術である。
また、Wi−Fi CERTIFIED Miracastでは、TCP/IP(Transmission Control Protocol/Internet Protocol)上でUIBC(User Input Back Channel)を実現している。UIBCは、一方の端末から他方の端末へマウスやキーボード等の入力機器の操作情報を送信する技術である。なお、Wi−Fi CERTIFIED Miracastの代わりに、他のリモートデスクトップソフトウェア(例えば、VNC(Virtual Network Computing))を適用するようにしてもよい。
ここで、Wi−Fi CERTIFIED Miracastでは、画像(映像)を、例えば、H.264を用いて圧縮・展開することが定められている。また、例えば、Wi−Fi CERTIFIED Miracastでは、H.264を送信側で調整することができる。なお、H.264に限らず、H.265(例えば、HEVC(high efficiency video coding)、SHVC(scalable video coding extensions of high efficiency video coding))やMPEG(Moving Picture Experts Group)4、JPEG(JointPhotographic Experts Group)2000、ラインベースコーデック等の様々のコーデックにも対応することができる。なお、ラインベースコーデックは、例えば、1ライン以上を束ねて圧縮したり、2ライン以上を2×2以上のマクロブロックに分割して圧縮・展開を行うものである。ラインベースコーデックとして、例えば、ウェーブレット(Wavelet)変換、DCT(discrete cosine transform)を用いることができる。なお、非圧縮で画像(映像)を送信または受信をするようにしてもよい。
また、本技術の第1の実施の形態では、情報処理装置200は、撮像動作により生成された画像データおよび音声データを送信対象とする例を示す。また、本技術の第1の実施の形態では、情報処理装置400は、記憶部(例えば、ハードディスク)に保存されているコンテンツ(例えば、画像データおよび音声データからなるコンテンツ)を送信対象とする例を示す。なお、情報処理装置200として、カメラを搭載した電子機器(例えば、パソコン、ゲーム機、スマートフォン、タブレット端末)を用いるようにしてもよい。また、情報処理装置300として、表示部を備える他の電子機器(例えば、撮像装置、ゲーム機、スマートフォン、タブレット端末)を用いるようにしてもよい。また、情報処理装置400にテザリング機能を設け、情報処理装置400が、無線または有線ネットワークを介してISP(Internet Services Provider)に保存されているコンテンツを取得して送信対象とするようにしてもよい。
例えば、情報処理装置200の撮像動作により生成された画像データが情報処理装置300に送信され、その画像データに基づく画像11が情報処理装置300の表示部351に表示される。また、情報処理装置400の記憶部(例えば、ハードディスク)に保存されているコンテンツが情報処理装置300に送信され、そのコンテンツに基づく画像12が情報処理装置300の表示部351に表示される。
このように、本技術の第1の実施の形態では、ソース側の情報処理装置(ソース機器)を情報処理装置200、400とし、シンク側の情報処理装置(シンク機器)を情報処理装置300とする例を示す。
また、図1では、無線通信を利用して情報処理装置300が直接通信することができる範囲(情報処理装置300を基準とした場合における情報伝達範囲(サービス範囲))を情報伝達範囲101として示す。
[情報処理装置(ソース機器)の構成例]
図2は、本技術の第1の実施の形態における情報処理装置200の機能構成例を示すブロック図である。なお、情報処理装置400の無線通信に関する機能構成は、情報処理装置200と略同一の構成である。このため、本技術の第1の実施の形態では、情報処理装置200についてのみ説明し、情報処理装置400の説明を省略する。
情報処理装置200は、アンテナ210と、無線通信部220と、制御信号受信部230と、制御部240と、画像・音声信号生成部250と、画像・音声圧縮部260と、ストリーム送信部270とを備える。
無線通信部220は、制御部240の制御に基づいて、無線通信を利用して、他の情報処理装置(例えば、情報処理装置300)との間で各情報(例えば、画像データおよび音声データ)の送受信をアンテナ210を介して行うものである。例えば、画像データの送信処理が行われる場合には、画像・音声信号生成部250により生成された画像データが画像・音声圧縮部260により圧縮され、この圧縮された画像データ(画像ストリーム)が無線通信部220を経由してアンテナ210から送信される。
また、無線通信部220は、複数の周波数チャネルを利用して、他の情報処理装置(例えば、情報処理装置300)との間で各情報の送受信を行うことが可能であるものとする。本技術の第1の実施の形態では、無線通信部220が、2.4GHz、5GHz、60GHzの3種類の周波数チャネルを送受信可能な機能を備える例を示す。このように、ソース機器が、複数の周波数チャネルを送受信可能な機能を備える場合には、シンク機器(例えば、情報処理装置300)は、各ソース機器にどの周波数チャネルを使用させるかを制御することができる。
制御信号受信部230は、無線通信部220により受信された各情報のうちから、他の情報処理装置(例えば、情報処理装置300)から送信された制御信号(例えば、情報処理装置300とのやりとりの情報)を取得するものであり、取得された制御信号を制御部240に出力する。
制御部240は、情報処理装置200から送信される各情報に関する制御を行うものである。例えば、制御部240は、制御信号受信部230により受信された制御信号に基づいて、画像・音声信号生成部250および画像・音声圧縮部260に対する制御を行う。例えば、制御部240は、送信対象となる画像データの解像度や音声のチャネル数を変更させるための制御や、送信対象となる画像データの画像領域を変更させるための制御を行う。すなわち、制御部240は、制御信号受信部230により受信された制御信号に基づいて、送信対象となるストリームの伝送制御を行う。この伝送制御は、例えば、データ伝送速度制御、スケーラビリティ伝送レート制御、マルチ受信ダイバーシティの設定制御、コンテンツプロテクションの設定制御である。なお、スケーラビリティ伝送レート制御については、本技術の第2の実施の形態で説明す。また、マルチ受信ダイバーシティの設定制御、コンテンツプロテクションの設定制御については、本技術の第3の実施の形態で説明する。
また、制御部240は、無線通信を利用してシンク機器との間でデータの送受信が行われている際における電波伝搬状況(リンク電波伝搬状況)を測定する機能を備え、その測定結果(電波伝搬測定情報)をシンク機器に送信するようにしてもよい。
ここで、電波伝搬測定情報は、例えば、シンク機器との回線品質が、画像データおよび音声データの送受信を行うことができる品質であるか否かを判断する際に用いられる情報である。また、電波伝搬測定情報は、例えば、ストリームの伝送制御(例えば、データ伝送速度制御、スケーラビリティ伝送レート制御、マルチ受信ダイバーシティの設定制御、コンテンツプロテクションの設定制御)を行う際に用いられる。なお、電波伝搬測定情報については、図4を参照して詳細に説明する。なお、電波伝搬測定情報の代わりに、制御部240に同一パケットの再送回数をカウントさせ、このカウント数に基づいて、ストリームの伝送制御を行うようにしてもよい。
ここで、データ伝送速度は、主に、通信路を占有する率を意味し、通信速度や通信容量の意味を含むものとする。また、解像度は、例えば、画像データの画枠(縦・横のピクセル数)、画像データのビットレート(圧縮率)等の要素から構成される画質の指標と定義する。また、画質の指標としては、ストリームのスループットを用いることができる。また、音声のチャネル数は、モノラル(1.0ch)、ステレオ(2.0ch)等の音声の記録再生方法の意味を含むものとする。また、音声のチャネル数は、音声データのビットレート(圧縮率)やチャネル数等の要素から構成される音質の指標と定義する。また、音質の指標としては、ストリームのスループットを用いることができる。
また、制御部240は、データレート制御では安定化することができない状態を改善させるための制御を行う。例えば、制御部240は、シンク機器(例えば、情報処理装置300)との情報のやりとりにより、シンク機器のシステム性能情報を把握する。ここで、システム性能情報は、例えば、シンク機器のシステムに関する性能情報である。例えば、システム性能情報は、使用可能な周波数チャネル、解像度、TCP(Transmission Control Protocol)、UDP(User Datagram Protocol)である。また、システム性能情報は、例えば、暗号化方法の対応、SD(Standard Definition)/HD(High Definition)対応、低消費電力モードの対応のそれぞれを示す情報である。例えば、制御部240は、シンク機器が低消費電力モードに対応しているか否かに応じて、通信システム100のシステム全体の安定度をさらに向上させるストリームの伝送制御(例えば、データ伝送速度制御、スケーラビリティ伝送レート制御)方法を選ぶことができる。
例えば、制御部240は、情報処理装置300との情報のやりとりの中に、情報処理装置200がモバイル機器であるかどうかの情報を入れるものとする。例えば、情報処理装置200に関するcapability情報に、情報処理装置200がモバイル機器であるかどうかの情報を含めることができる。また、情報処理装置300は、情報処理装置200がモバイル機器であることを把握すると、他に接続した情報処理装置との関連に基づいて、情報処理装置200を動作させる必要がないと判断することができる。このように、情報処理装置200を動作させる必要がないと判断された場合には、情報処理装置200は、情報処理装置300から送信停止コマンドを受信する。そして、制御部240は、その送信停止コマンドを把握すると、画像・音声信号生成部250と、画像・音声圧縮部260と、ストリーム送信部270とのそれぞれの機能の電源を一定時間ダウンさせることができる。また、制御部240は、無線通信部220についても間欠受信(情報処理装置300からコマンドを受信できる程度に定期的に起き上がり、他は電源をダウンさせるモード)に移行することができる。
画像・音声信号生成部250は、制御部240の制御に基づいて、出力対象となるデータ(画像データ、音声データ)を生成するものであり、生成されたデータを画像・音声圧縮部260に出力する。例えば、画像・音声信号生成部250は、撮像部(図示せず)および音声取得部(図示せず)を備える。この撮像部(例えば、レンズ、撮像素子、信号処理回路)は、被写体を撮像して画像(画像データ)を生成するものである。また、音声取得部(例えば、マイク)は、その画像データの生成時における周囲の音声を取得するものである。このように生成されたデータは、他の情報処理装置(例えば、情報処理装置300)への送信対象となる。
画像・音声圧縮部260は、制御部240の制御に基づいて、画像・音声信号生成部250により生成されたデータ(画像データおよび音声データ)を圧縮(エンコード)するものである。そして、画像・音声圧縮部260は、その圧縮されたデータ(画像データおよび音声データ)をストリーム送信部270に出力する。この場合に、制御部240は、ソース機器またはシンク機器がモバイル機器であるか否かに基づいて、画像・音声圧縮部260にデータの圧縮および非圧縮を行わせるか否かを判断するようにしてもよい。すなわち、制御部240は、ソース機器またはシンク機器がモバイル機器であるか否かに基づいて、Transcodeせずに圧縮データのまま送信するか否かを判断するようにしてもよい。例えば、画像・音声圧縮部260は、ソース機器がモバイル機器でない場合には、画像・音声信号生成部250により生成されたデータを圧縮せずに出力することができる。なお、画像・音声圧縮部260は、ソフトウェアによるエンコードの実行により実現するようにしてもよく、ハードウエアによるエンコードの実行により実現するようにしてもよい。また、画像・音声圧縮部260は、上述したように、コーデックとして機能することを想定しているが、非圧縮の画像または音声を扱えるものとする。さらに、画像・音声圧縮部260は、スケーラブル・コーデックとしても機能することができる。ここで、スケーラブル・コーデックは、例えば、受信側の情報処理装置(シンク機器)の解像度やネットワーク環境等に応じて、自在に適応することができるコーデックを意味する。なお、スケーラブル・コーデックについては、本技術の第2の実施の形態で詳細に説明する。
ストリーム送信部270は、制御部240の制御に基づいて、画像・音声圧縮部260により圧縮されたデータ(画像データおよび音声データ)をストリームとして無線通信部220を経由してアンテナ210から送信する送信処理を行うものである。
なお、情報処理装置200は、上述した各部以外にも、表示部、音声出力部、操作受付部等を備えることができるが、これらについては、図2での図示を省略する。また、情報処理装置200が、送信対象となる画像データおよび音声データを生成する例を示すが、情報処理装置200は、送信対象となる画像データおよび音声データを外部装置から取得するようにしてもよい。例えば、情報処理装置200は、マイクロフォン付きのWebカメラから、送信対象となる画像データおよび音声データを取得するようにしてもよい。また、情報処理装置200は、情報処理装置200の内部、外部にかかわらず、記憶装置(例えば、ハードディスク)に保存されているコンテンツ(例えば、画像データおよび音声データからなるコンテンツ)を送信対象とするようにしてもよい。この場合に、その記憶装置に保存されているコンテンツが圧縮済のコンテンツである場合も想定される。この場合に、その圧縮済のコンテンツが、通信システム100で採用されている規格で定義されたエンコード方式で圧縮されている場合には、その圧縮済のコンテンツを復号(デコード)せずにそのまま送信するようにしてもよい。
情報処理装置200の表示部(図示せず)は、例えば、画像・音声信号生成部250により生成された画像を表示する表示部である。なお、表示部として、例えば、有機EL(Electro Luminescence)、クリスタルLED(Light Emitting Diode)ディスプレイ(Crystal LED Display)、LCD(Liquid Crystal Display)等の表示パネルを用いることができる。
情報処理装置200の音声出力部(図示せず)は、例えば、画像・音声信号生成部250により生成された音声を出力する音声出力部(例えば、スピーカ)である。なお、画像については、送信機器および受信機器の双方から出力することもできるが、音声については何れか一方のみから出力することが好ましい。
情報処理装置200の操作受付部(図示せず)は、ユーザにより行われた操作入力を受け付ける操作受付部であり、例えば、キーボード、マウス、ゲームパッド、タッチパネル、カメラ、マイクである。なお、操作受付部および表示部については、使用者がその指を表示面に接触または近接することにより操作入力を行うことが可能なタッチパネルを用いて一体で構成することができる。
[情報処理装置(受信側)の構成例]
図3は、本技術の第1の実施の形態における情報処理装置300の機能構成例を示すブロック図である。
情報処理装置300は、アンテナ310と、無線通信部320と、ストリーム受信部330と、画像・音声展開部340と、画像・音声出力部350と、ユーザ情報取得部360と、制御部370と、制御信号送信部380と、管理情報保持部390とを備える。
無線通信部320は、制御部370の制御に基づいて、無線通信を利用して、他の情報処理装置(例えば、情報処理装置200)との間で各情報(例えば、画像データおよび音声データ)の送受信をアンテナ310を介して行うものである。例えば、画像データの受信処理が行われる場合には、アンテナ310により受信された画像データが、無線通信部320、ストリーム受信部330を経由して画像・音声展開部340により展開(復号)される。そして、その展開された画像データが画像・音声出力部350に供給され、その展開された画像データに応じた画像が画像・音声出力部350から出力される。すなわち、その展開された画像データに応じた画像が表示部351に表示される。
また、無線通信部320は、複数の周波数チャネルを利用して、他の情報処理装置(例えば、情報処理装置200)との間で各情報の送受信を行うことが可能であるものとする。本技術の第1の実施の形態では、無線通信部320が、2.4GHz、5GHz、60GHzの3種類の周波数チャネルを送受信可能な機能を備える例を示す。すなわち、無線通信部320は、第1の周波数帯を用いる通信と、第1の周波数帯よりも高速なデータ伝送速度の第2の周波数帯を用いる通信とを行うことが可能である。また、制御部370は、各ソース機器との無線通信に、複数の周波数チャネルのうちのどの周波数チャネルを使用させるかを制御する。
なお、情報処理装置200および情報処理装置300間のリンクと、情報処理装置400および情報処理装置300間のリンクとは同一の周波数チャネルとするようにしてもよく、異なる周波数チャネルとするようにしてもよい。
また、本技術の第1の実施の形態では、無線通信部320が、2.4GHz、5GHz、60GHzの3種類の周波数チャネルを送受信可能な機能を備える例を示すが、これに限定されない。例えば、無線通信部320が、他の周波数チャネルや、2または4以上の周波数チャネルを送受信可能な機能を備えるようにしてもよい。
ストリーム受信部330は、制御部370の制御に基づいて、無線通信部320により受信された各情報のうちから、各ソース機器とのやりとりの情報およびストリーム(例えば、画像ストリーム、音声ストリーム)を受信するものである。そして、ストリーム受信部330は、受信したコマンド情報を制御部370に出力し、受信したストリームを画像・音声展開部340および制御部370に出力する。
ここで、各ソース機器とのやりとりの情報は、ソース機器(例えば、情報処理装置200)から送信される情報であり、例えば、情報処理装置300のシステム性能情報の取得要求を含む。このシステム性能情報は、例えば、使用可能な周波数チャネル、解像度、TCP、UDPや、暗号化方法の対応、SD/HD対応、低消費電力モードの対応のそれぞれを示す情報である。
また、ストリーム受信部330は、無線通信を利用してシンク機器との間でデータの送受信が行われている際における電波伝搬状況(リンク電波伝搬状況)を測定する機能を備える。そして、ストリーム受信部330は、その測定結果(電波伝搬測定情報)を制御部370に出力する。なお、電波伝搬測定情報については、図4を参照して詳細に説明する。
画像・音声展開部340は、制御部370の制御に基づいて、他の情報処理装置(例えば、情報処理装置200)から送信されたストリーム(画像データおよび音声データ)を展開(デコード)するものである。そして、画像・音声展開部340は、その展開されたデータ(画像データおよび音声データ)を画像・音声出力部350に出力する。なお、画像・音声展開部340は、ソフトウェアによるデコードの実行により実現するようにしてもよく、ハードウエアによるデコードの実行により実現するようにしてもよい。また、画像・音声展開部340は、上述したように、コーデックとして機能することを想定しているが、非圧縮の画像または音声を扱えるものとする。さらに、画像・音声展開部340は、スケーラブル・コーデックとしても機能することができる。
画像・音声出力部350は、表示部351および音声出力部352を備える。
表示部351は、画像・音声展開部340により展開された画像データに基づく各画像(例えば、図1に示す画像11、12)を表示する表示部である。なお、表示部351として、例えば、有機ELパネル、クリスタルLEDディスプレイ、LCDパネル等の表示パネルを用いることができる。なお、表示部351として、使用者がその指を表示面に接触または近接することにより操作入力を行うことが可能なタッチパネルを用いるようにしてもよい。
音声出力部352は、画像・音声展開部340により展開された音声データに基づく各種音声(表示部351に表示された画像に関する音声等)を出力する音声出力部(例えば、スピーカ)である。ここで、音声の出力方法としては、例えば、メイン画像に割り当てられたソース機器の音声のみをスピーカから再生してサブ画像に割り当てられたソース機器の音声を再生しない方法を用いることができる。また、他の音声の出力方法として、例えば、メイン画像に割り当てられたソース機器の音声の音量をメインにして、サブ画像に割り当てられたソース機器の音声の音量を下げて再生する方法を用いることができる。なお、これら以外の音声の出力方法を用いるようにしてもよい。
ユーザ情報取得部360は、ユーザに関する情報(ユーザ情報)を取得するものであり、その取得されたユーザ情報を制御部370に出力する。例えば、ユーザ情報取得部360は、ユーザが表示方法を直接設定することができる操作受付部(キーボード、マウス、リモコン、ゲームパッド、タッチパネル)からの入力を受け付けることによりユーザ情報を取得することができる。なお、操作受付部は、例えば、表示部351に表示される画像における任意の領域を指定するための操作部材である。また、例えば、ユーザ情報取得部360は、カメラ、マイク、各種センサ(例えば、ジャイロセンサ、人体を感知するセンサ)等のようにユーザの意図を把握することができるデバイスからの入力を受け付けることによりユーザ情報を取得することができる。
例えば、ユーザ情報取得部360は、無線通信を利用して他の情報処理装置(例えば、情報処理装置200)から受信したストリームに基づく情報が画像・音声出力部350から出力されている際におけるユーザ動作により生じるユーザ情報を取得する。このユーザ情報は、例えば、表示部351に表示されている画像に関するユーザ動作により生じるユーザ情報である。例えば、ユーザ情報は、表示部351に表示されている画像に関するユーザ操作に基づいて生成される情報である。
制御部370は、ストリーム受信部330により取得された各情報を管理情報保持部390に保持させ、管理情報保持部390に保持されている管理情報に基づいて各ソース機器を管理するものである。また、制御部370は、複数のソース機器から送信されるストリームをシステム全体で安定度が向上するようにストリームの伝送制御(例えば、データ伝送速度制御、スケーラビリティ伝送レート制御、マルチ受信ダイバーシティの設定制御)を行う。
例えば、制御部370は、ユーザ情報取得部360により取得されたユーザ情報と、管理情報保持部390に保持されている管理情報とに基づいてストリームの伝送制御(例えば、データ伝送速度制御、スケーラビリティ伝送レート制御、マルチ受信ダイバーシティの設定制御、コンテンツプロテクションの設定制御)を行う。具体的には、制御部370は、管理情報保持部390に保持されている管理情報に基づいて、ストリームの伝送制御(例えば、データ伝送速度制御、スケーラビリティ伝送レート制御、マルチ受信ダイバーシティの設定制御、コンテンツプロテクションの設定制御)を行うための制御信号をソース機器毎に生成し、この生成された制御信号を制御信号送信部380に出力する。例えば、制御部370は、ユーザ情報および管理情報に基づいて、表示部351に表示される画像の解像度を変更し、この解像度と同等の送信レートを各ソース機器に要求するための制御信号を生成する。また、例えば、制御部370は、ユーザ情報および管理情報に基づいて、表示部351における画像の表示領域を変更するための制御信号を生成する。また、例えば、制御部370は、ユーザ情報および管理情報に基づいて、表示部351における画像のサイズを変更するための制御信号を生成する。
また、制御部370は、ユーザ情報および管理情報に基づいて、使用する周波数チャネルと解像度を設定するための制御を行う。例えば、制御部370は、無線通信部320が備える複数の周波数チャネルについて、使用する周波数チャネルをソース機器毎に設定する。また、制御部370は、周波数チャネル毎に、消費電力モードが異なる場合には、それぞれのモードを把握し、モバイル機器の消費電力をケアした周波数チャネルを設定することができるようにする。すなわち、制御部370は、第1の周波数帯に関する第1の消費電力モードと、第1の周波数帯よりも高速なデータ伝送速度の第2の周波数帯に関する第2の消費電力モードを別々に設定することができる。
制御信号送信部380は、制御部370から出力された制御信号を無線通信部320、アンテナ310を介して、他の無線通信装置に送信する送信処理を行うものである。
管理情報保持部390は、無線通信を利用して情報処理装置300に接続される各ソース機器を管理するための情報(管理情報)を保持するテーブルである。なお、管理情報保持部390の保持内容については、図4を参照して詳細に説明する。
[管理情報保持部の保持内容例]
図4は、本技術の第1の実施の形態における管理情報保持部390の保持内容の一例を模式的に示す図である。
管理情報保持部390は、無線通信を利用して情報処理装置300に接続される各ソース機器を管理するための情報(管理情報)を保持するテーブルである。例えば、管理情報保持部390には、端末識別情報391と、周波数チャネル392と、電波伝搬測定情報393と、機器情報394と、帯域使用レベル395と、出力形態396と、スタンバイ/ウェークアップ397と、マルチ受信ダイバーシティ対応398とが関連付けて保持される。
端末識別情報391には、無線通信を利用して情報処理装置300に接続されるソース機器を識別するための識別情報が格納される。
周波数チャネル392には、無線通信を利用して情報処理装置300に接続されるソース機器が実際に使用している周波数チャネルが格納される。
電波伝搬測定情報393には、無線通信を利用して情報処理装置300に接続されるソース機器に関する電波伝搬測定情報が格納される。この電波伝搬測定情報は、無線通信を利用して情報処理装置300に接続されるソース機器毎にストリーム受信部330により測定される。
電波伝搬測定情報393として、例えば、PER(Packet Error Rate)、BER(BitError Rate)、パケットの再送回数、スループットが格納される。また、電波伝搬測定情報393として、例えば、フレーム落ち、SIR(Signal to Interference Ratio)、RSSI(Received Signal Strength Indicator)が格納される。ここで、SIRの代わりにSINR(Signal to Interference plus Noise Ratio)を用いてもよい。なお、図4に示す電波伝搬測定情報393は、一例であり、これらのうちの少なくとも1つを格納するようにしてもよく、他の電波伝搬測定情報をストリーム受信部330が測定して格納するようにしてもよい。また、ソース機器により測定された電波伝搬測定情報を取得して格納するようにしてもよい。さらに、受信側が受け取るパケット遅延を判断し、このパケット遅延に関する情報を電波伝搬測定情報として用いるようにしてもよい。このパケット遅延は、例えば、エラー発生時に、レイヤ2での再送処理によって受信側への伝送に遅延が発生されるため、電波伝搬に関する1つの指標となる。さらに、パケット遅延は、例えば、複数の装置で無線帯域を共有している無線システムでは、どこかのリンク特性が劣化しているかを示す指標となる。
機器情報394には、無線通信を利用して情報処理装置300に接続されるソース機器の種別(ソース機器の属性)が格納される。例えば、ソース機器の種別として、モバイル機器、または、据え置き機器の何れかが格納される。なお、ソース機器の種別として、電源を挿しながら使用する機器、または、それ以外の機器の何れかを格納するようにしてもよい。また、ソース機器の種別として、バッテリ駆動の機器、または、それ以外の機器の何れかを格納するようにしてもよい。
帯域使用レベル395には、無線通信を利用して情報処理装置300に接続されるソース機器による帯域の使用レベルが格納される。帯域使用レベルとしては、例えば、解像度やスループットを用いることができる。また、例えば、帯域使用レベルには、使用中のスループットを格納するようにしてもよく、予め決められたテーブルを用意し、そのテーブルのどの範囲に相当するかを示す番号を格納して管理するようにしてもよい。
出力形態396には、無線通信を利用して情報処理装置300に接続されるソース機器から送信されるストリームに基づくデータの出力形態が格納される。例えば、ソース機器から送信されるストリームに基づく画像データの表示部351における表示形態(メイン画像、サブ画像)が格納される。また、例えば、ソース機器から送信されるストリームに基づく音声データの音声出力部352からの出力形態(メイン音声、サブ音声)が格納される。なお、表示形態によって、サブ画像を表示しないという形式であってもよい。
スタンバイ/ウェークアップ397には、無線通信を利用して情報処理装置300に接続されるソース機器のモード(スタンバイモード、ウェークアップモード)が格納される。なお、スタンバイモードおよびウェークアップモードについては、図6乃至図8を参照して詳細に説明する。
マルチ受信ダイバーシティ対応398には、無線通信を利用して情報処理装置300に接続されるソース機器がマルチ受信ダイバーシティに対応しているか否かを示す情報が格納される。なお、マルチ受信ダイバーシティについては、本技術の第3の実施の形態で詳細に説明する。
このように、管理情報保持部390に保持される管理情報は、他の情報処理装置を識別するための識別情報(端末識別情報391)と、他の情報処理装置に関するcapability情報とを紐付けて管理する情報である。また、管理情報保持部390に保持される管理情報は、他の情報処理装置に関するcapabilitiy情報として、他の情報処理装置との通信に関する電波伝播測定に関する情報(電波伝搬測定情報393)と、消費電力に関する情報(スタンバイ/ウェークアップ397)とを少なくとも含む。また、管理情報保持部390に保持される管理情報は、他の情報処理装置に関するcapabilitiy情報として、画像情報を表示するための出力形態に関する情報(出力形態396)を少なくとも含む。この出力形態に関する情報は、例えば、画像情報をメイン表示またはサブ表示することを示す情報である。
[画像の遷移例]
図5は、本技術の第1の実施の形態における情報処理装置300の表示部351に表示される画像の遷移例を示す図である。
図5のaには、画像11をメイン画像とし、画像12をサブ画像として、情報処理装置300の表示部351に画像11および画像12を表示する表示形態の一例を示す。
図5のbには、画像11をサブ画像とし、画像12をメイン画像として、情報処理装置300の表示部351に画像11および画像12を表示する表示形態の一例を示す。
例えば、情報処理装置200および情報処理装置400のそれぞれが、標準的な解像度のストリーム(画像データおよび音声データ)を情報処理装置300に送信する場合を想定する。この場合には、図1に示すように、情報処理装置200からの画像データに基づく画像11と、情報処理装置400からの画像データに基づく画像12とのそれぞれのサイズが同一となるように、情報処理装置300の表示部351に表示することができる。なお、この例では、与えられた解像度と表示領域とを同一と定義しているが、表示部351にスケーラ機能を追加し、画像11、画像12をリスケールして表示部351に表示するようにしてもよい。ただし、本技術の実施の形態では、説明を簡略化させるため、この機能を使用しない前提で説明を行う。
また、画像11および画像12のそれぞれの表示形態については、例えば、前回の通信時に設定された表示形態を保持しておき、この表示形態に応じて画像11および12を情報処理装置300の表示部351に表示するようにしてもよい。
また、情報処理装置300に接続された順序に基づいて、画像11および画像12のそれぞれの表示形態を決定するようにしてもよい。例えば、情報処理装置200が情報処理装置300に最初に接続され、この接続後に情報処理装置400が情報処理装置300に接続された場合を想定する。この場合には、画像11をメイン画像とし、画像12をサブ画像として、情報処理装置300の表示部351に画像11および画像12を表示する。すなわち、情報処理装置300への接続順序に基づいて、メイン画像、サブ画像の順に表示するようにしてもよい。
また、図5のaに示すように、画像11をメイン画像とし、画像12をサブ画像として、表示部351に画像11および画像12が表示されている場合に、画像12をメイン画像とするユーザ情報がユーザ情報取得部360により取得された場合を想定する。例えば、視聴者がリモコンやジェスチャー等のポインターを用いて画像12をメイン画像とするための操作を行うことにより、画像12をメイン画像とするユーザ情報がユーザ情報取得部360により取得される。この場合には、図5のbに示すように、画像12をメイン画像とし、画像11をサブ画像として、表示部351に画像11および画像12が表示される。また、表示部351の表示面における画像11および画像12の表示位置についても、ユーザ情報取得部360により取得されるユーザ情報(例えば、手動操作、視線)に基づいて決定される。
[通信例]
図6乃至図8は、本技術の第1の実施の形態における通信システム100を構成する各装置間における通信処理例を示すシーケンスチャートである。なお、図6乃至図8では、情報処理装置200および情報処理装置300間における通信処理例を示す。
また、図6乃至図8では、情報処理装置200を構成する各部のうち、画像・音声信号生成部250、画像・音声圧縮部260およびストリーム送信部270をデータ送信系201として示す。また、アンテナ210、無線通信部220、制御信号受信部230および制御部240を回線制御系202として示す。
また、図6乃至図8では、情報処理装置300を構成する各部のうち、アンテナ310、無線通信部320、ストリーム受信部330、制御部370および制御信号送信部380を回線制御系301として示す。また、画像・音声展開部340、画像・音声出力部350およびユーザ情報取得部360を入出力系302として示す。
また、図6乃至図8では、最初に、情報処理装置200からの画像データに基づく画像を、サブ画像として情報処理装置300の表示部351に表示させ、情報処理装置200において低消費電力モードを設定する例を示す。続いて、情報処理装置200からの画像データに基づく画像を、メイン画像として表示部351に表示させ、情報処理装置200において通常の消費電力モードを設定する例を示す。すなわち、図6乃至図8では、情報処理装置200および情報処理装置300の接続セットアップ例と、情報処理装置200における消費電力モードの遷移例とを示す。
最初に、情報処理装置300の電源がオンされたときには、情報処理装置300の出力形態(画像表示形態、音声出力形態)として前回の出力形態(情報処理装置300の電源のオフ時の出力形態)が設定される(501)。また、情報処理装置300の制御部370は、無線通信を利用して情報処理装置300に接続されている各ソース機器の管理情報を管理情報保持部390(図4に示す)に保持させる。また、情報処理装置300の制御部370は、図5に示すように、前回の出力形態に基づいて、情報処理装置200および情報処理装置400のそれぞれから送信された2つのストリームに対応する画像11、12を表示部351に表示させる。
続いて、ユーザによる出力形態の設定操作(変更操作)が行われた場合を想定する(502)。この場合には、その設定操作に係る制御信号がユーザ情報としてユーザ情報取得部360に取得され、そのユーザ情報が制御部370に出力される。そして、制御部370は、そのユーザ情報に基づいて、管理情報保持部390(図4に示す)における保持内容を変更する(503、504)。例えば、図5のbに示すように、情報処理装置200からの画像データに基づく画像11をサブ画像とするための設定操作(変更操作)が行われた場合を想定する。この場合には、制御部370は、管理情報保持部390における情報処理装置200の出力形態396(図4に示す)を「サブ」に変更する(503、504)。
また、情報処理装置200は、定期的または不定期(開始時のみも含む)に、モードテーブル要求(解像度/音質、低消費電力モード等の問い合わせ要求)を情報処理装置300に送信する(505、506)。このモードテーブル要求は、情報処理装置300において管理されている各情報(情報処理装置300に関する管理情報で、情報処理装置200との通信を行う上で使用する情報(例えば、情報処理装置200が表示可能な解像度情報等))の送信を要求するものである。
モードテーブル要求を受信すると(506)、情報処理装置300は、そのモードテーブル要求に応じたコマンド情報を送信する(507、508)。このコマンド情報は、情報処理装置300が、例えば、電波伝搬環境と表示形態を加味して情報処理装置200に設定要望するための、情報処理装置200に関する情報である。例えば、コマンド情報は、解像度/音質の出力形態情報(例えば、メイン画像、サブ画像)、低消費電力モードへの対応可否、メーカ名、マルチ受信ダイバーシティ機能の有無を含む情報である。また、例えば、コマンド情報は、解像度/音質、画像・音声コーデックの種類、3D機能の有無、コンテンツプロテクションの有無、ディスプレイ機器の表示サイズ、トポロジ情報、使用可能なプロトコル、これらのプロトコルの設定情報(ポート情報等)、接続インターフェース情報(コネクタタイプ等)、水平同期・垂直同期の位置、ソース機器の性能プライオリティ要求情報、低消費電力モードへの対応可否等のモード制御テーブル返答、無線での送信最大スループットまたは受信可能な最大スループット、CPU(Central Processing Unit)パワー、電池残量、電源供給情報を含む情報である。また、これらの各情報はcapability情報の一部に含まれる。ここで、情報処理装置200に関する解像度/音質の出力形態情報は、例えば、情報処理装置200からのデータの出力形態が、メインであるかサブであるかを示す情報である。また、情報処理装置300は、情報処理装置300の視点で、解像度/音質や低消費電力モードの設定に関する要望をパラメータとしてコマンド情報に含めて送信する。なお、情報処理装置300は、情報処理装置200に関する各情報以外に、全てのソース機器に関する各情報を、コマンド情報として送信するようにしてもよい。この場合、情報処理装置200が自装置向けの情報のみを選択して使用する。なお、Wi−Fi CERTIFIED Miracast準拠の装置の場合、RTSP Messageとして定義されるwfd−audio−codecs、wfd−video−formats、wfd−content−protection、wfd−displayedid、wfd−coupledsink、wfd−client−rtpports、wfd−I2C、wfd−uibccapability、wfd−connectortype、wfd−standby−resume−capability等に対応するが、本コマンドにおいて、送信するメッセージ内容には限定はないものとする。
コマンド情報を受信した場合には(508)、情報処理装置200の制御部240は、コマンド情報に基づいて、情報処理装置200からのデータの出力形態がメインであるかサブであるかを特定する。また、情報処理装置200の制御部240は、コマンド情報に基づいて、消費電力動作モードに対応する機能を情報処理装置300が備えるか否かを判断する。続いて、情報処理装置200の制御部240は、その特定された出力形態に設定する旨を示すモード設定情報を情報処理装置300に送信する(509、510)。ここでは、情報処理装置200からのデータの出力形態がサブであることが特定されたものとする。また、低消費電力モードに対応する機能を情報処理装置300が備えるものとする。そこで、情報処理装置200の制御部240は、その特定された出力形態(サブ)に設定する旨と、低消費電力モードを設定する旨とを通知するためのモード設定情報を情報処理装置300に送信する(509、510)。
なお、この例では、コマンド情報に基づいて、メイン画像であるかサブ画像であるかを特定して低消費電力モードを設定する例を示すが、メイン画像であるかサブ画像であるかを判断基準として使用せずに低消費電力モードを設定するようにしてもよい。例えば、低消費電力モードに移行可能な許可フラグのやりとりをソース機器およびシンク機器間で行うことにより、低消費電力モードを設定するようにしてもよい。
続いて、情報処理装置200の制御部240は、送信モードとしてサブモードを設定する(511)。これにより、データ送信系201では、サブ画像を表示するための解像度と、サブ音声を出力するための音質とが設定される(512)。また、回線制御系202では、低消費電力モードが設定される(513)。
ここで、このように、低消費電力モードを設定する場合には、シンク機器およびソース機器の双方がその機能を備える必要があるものとする。また、例えば、モバイル機器(例えば、携帯電話、スマートフォン、タブレット端末)は、バッテリ駆動により動作を行うことが多い。このため、自装置からのデータの出力形態がメインでない場合(サブである場合)には、自装置のバッテリ消費を極力低減させることが好ましい。そこで、シンク機器における出力形態がサブに設定されているソース機器については、低消費電力モードを設定することが好ましい。さらに、設定処理(512)において、メイン画像に割り当てられたソース機器の音声のみをスピーカから再生してサブ画像に割り当てられたソース機器の音声を再生しない設定をするようにしてもよい。また、メイン画像に割り当てられたソース機器の音声の音量をメインとし、サブ画像に割り当てられたソース機器の音声の音量を下げて再生する設定をするようにしてもよい。
このように、情報処理装置300の制御部370は、出力形態がサブ画像(サブ表示)として設定されていた場合に、情報処理装置200に低消費電力モードを設定するための制御を行う。すなわち、情報処理装置300の制御部370は、ストリームに基づいて画像情報を出力する表示部351の出力形態に基づいて情報処理装置200における消費電力モードを設定する制御を行う。
このように、低消費電力モードが設定された場合には(513)、情報処理装置200の制御部240は、間欠送信を開始する(514乃至522)。
具体的には、情報処理装置200は、一定時間だけ送信処理を停止させ、各部をスリープさせる(514)。続いて、一定時間経過すると(514)、情報処理装置200は、
送信処理を行うため、情報処理装置200の各部をウェークアップ(WakeUp)させ、情報処理装置300へ送信処理を行う(515乃至520)。
例えば、情報処理装置200の制御部240は、情報処理装置300において何らかの変更(例えば、出力形態の変更)があるか否かを確認するための問合せメッセージを情報処理装置300に送信する(515、516)。
問合せメッセージを受信すると(516)、情報処理装置300の制御部370は、何らかの変更(例えば、出力形態の変更)があるか否かを通知するための応答メッセージを情報処理装置200に送信する(517、518)。ここでは、情報処理装置300において変更(例えば、出力形態の変更)がないものとする。このため、情報処理装置300の制御部370は、変更(例えば、出力形態の変更)がない旨を通知するための応答メッセージを情報処理装置200に送信する(517、518)。
このように、変更(例えば、出力形態の変更)がない旨の応答メッセージを受信した場合には(518)、情報処理装置200において設定の変更を行う必要がない。このため、情報処理装置200の制御部240は、サブ画像およびサブ音声を出力するためのストリームを情報処理装置300に送信する(519、520)。このように、ストリームを受信すると(520)、情報処理装置300は、受信したストリームに基づく画像および音声を出力させる(521)。例えば、図5のbに示すように、情報処理装置200からのストリームに基づく画像11がサブ画像として表示部351に表示される。
また、送信処理が終了すると(519)、情報処理装置200は、一定時間だけ送信処理を停止させ、各部をスリープさせる(522)。また、情報処理装置300からの変更要求があるまでの間、間欠送信が継続して行われる。
ここで、間欠送信では、情報処理装置200からストリームが送信されない期間が発生する。このため、情報処理装置300は、最後に情報処理装置200から受信したストリームに対応する画像を補間して表示するような表示処理を行うことが好ましい。しかしながら、情報処理装置300が補間処理機能を備えていないことも想定される。この場合には、スリープ期間中に、情報処理装置200からの画像を表示部351に表示させておくことができない。このため、情報処理装置300が補間処理機能を備えていない場合には、情報処理装置200からの画像データの送信を継続して行うようにしてもよい。例えば、情報処理装置200からの送信対象となるストリームのうち、送信停止時における最後の画像データを送信バッファに保持させる。そして、スリープ期間中には、情報処理装置200の画像処理を停止させるが、無線リンクについては送信処理を継続して行い、その送信バッファに保持されている画像データの送信を継続して行うようにする。
また、スリープ期間中には、情報処理装置400から送信されたストリームに対応する画像のみを表示部351に表示するようにしてもよい。例えば、情報処理装置400から送信されたストリームに対応する画像を表示部351の全面に表示することができる。
次に、ユーザによる出力形態の設定操作(変更操作)が行われた場合の例を示す。
ユーザによる出力形態の設定操作(変更操作)が行われた場合には(531)、上述したように、制御部370は、その設定操作に係るユーザ情報に基づいて、管理情報保持部390(図4に示す)における保持内容を変更する(532、533)。例えば、図5のaに示すように、情報処理装置200からの画像データに基づく画像11をメイン画像とするための設定操作(変更操作)が行われた場合を想定する。この場合には、制御部370は、管理情報保持部390における情報処理装置200の出力形態396(図4に示す)を「メイン」に変更する(532、533)。
ここで、上述したように、情報処理装置200において低消費電力モードが設定されている場合には、情報処理装置200がスリープとなっていることが想定される。このように、情報処理装置200がスリープとなっている場合には、ユーザによる出力形態の設定操作(変更操作)が行われた旨を情報処理装置200に通知することができない。
そこで、ユーザによる出力形態の設定操作(変更操作)が行われ(531)、管理情報保持部390(図4に示す)における保持内容が変更された場合には(532、533)、情報処理装置300の制御部370は、変更トリガを設定する(534)。この変更トリガは、情報処理装置200から問合せメッセージを受信した場合に、ユーザによる出力形態の設定操作(変更操作)が行われた旨を情報処理装置200に通知するためのトリガである。この変更トリガにより、情報処理装置200がStandbyモードになっている状態を解除させ、ユーザによる出力形態の設定操作(変更操作)が行われた旨を情報処理装置200に通知する。
ここで、情報処理装置200の各部がウェークアップされ、情報処理装置300へ送信処理が開始された場合を想定する。この場合には、情報処理装置300の制御部370は、Standby解除メッセージを情報処理装置200に送信する(535、536)。
Standby解除メッセージを受信すると(536)、情報処理装置200の制御部240は、応答メッセージを情報処理装置300に送信する(537、538)。
このように、シンク機器からのStandbyモード解除要求により(535乃至538)、情報処理装置200において設定の状況を問い合わせる必要がある。このため、情報処理装置200の制御部240は、モードテーブル要求を情報処理装置300に送信する(539、540)。このモードテーブル要求は、上述したように、情報処理装置300において管理されている各情報(情報処理装置200に関する管理情報)の送信を要求するものである。なお、上述した各処理(535乃至538)において、変更(例えば、出力形態の変更)がある旨のやりとり(例えば、各処理(515乃至518)における問合せメッセージに対する応答メッセージ)をするようにしてもよい。
モードテーブル要求を受信すると(540)、情報処理装置300は、そのモードテーブル要求に応じたコマンド情報を送信する(541、542)。ここで、情報処理装置300から情報処理装置200にコマンド情報が既に送信されている場合には、情報処理装置200は、そのコマンド情報に含まれる情報については既に取得していることになる。このため、ここでは、情報処理装置300は、そのモードテーブル要求に応じたコマンド情報として、差分情報のみを送信するようにしてもよい(541、542)。この差分情報は、変更に係る情報であり、例えば、情報処理装置200に関する解像度/音質の出力形態情報である。
コマンド情報を受信した場合には(542)、情報処理装置200の制御部240は、コマンド情報に基づいて、情報処理装置200からのデータの出力形態がメインであるかサブであるかを特定する。続いて、情報処理装置200の制御部240は、その特定された出力形態に設定する旨を示すモード設定情報を情報処理装置300に送信する(543、544)。ここでは、情報処理装置200からのデータの出力形態がメインであることが特定されたものとする。そこで、情報処理装置200の制御部240は、その特定された出力形態(メイン)に設定する旨と、通常の消費電力モードを設定する旨とを通知するためのモード設定情報を情報処理装置300に送信する(543、544)。なお、各処理(539乃至544)は、Wi−Fi CERTIFIED Miracast準拠の装置の場合、Capability Re−negotiationで行うようにしてもよい。Capability Re−negotiationの場合、処理(534)で出力形態に変化がない設定値に関しては再度ネゴシエーションする必要はない。例えば、wfd−displayedid、wfd−client−rtpports、wfd−I2C、wfd−connectortype等が挙げられる。
続いて、情報処理装置200の制御部240は、送信モードとしてメインモードを設定する(545)。これにより、データ送信系201では、メイン画像を表示するための解像度と、メイン音声を出力するための音質とが設定される(546)。また、回線制御系202では、通常の消費電力モードが設定される(547)。
このように、通常の消費電力モードが設定された場合には(547)、情報処理装置200の制御部240は、通常の送信処理を開始する(548、549)。すなわち、情報処理装置200は、メイン画像およびメイン音声を出力するためのストリームを情報処理装置300に送信する(548、549)。このように、ストリームを受信すると(549)、情報処理装置300は、受信したストリームに基づく画像および音声を出力させる(550)。例えば、図5のaに示すように、情報処理装置200からのストリームに基づく画像11がメイン画像として表示部351に表示される。
なお、この例では、情報処理装置300の電源がオンされた場合において、表示部351の表示形態として、前回の出力形態(情報処理装置300の電源のオフ時の出力形態)を設定する例を示した。ただし、情報処理装置300の電源がオンされた場合には、他の出力形態を設定するようにしてもよい。例えば、情報処理装置300の電源がオンされた場合には、デフォルトの出力形態を常に設定するようにしてもよい。または、情報処理装置300に接続された順序に基づいて、表示形態を決定するようにしてもよい。
なお、図6乃至図8では、情報処理装置200が、情報処理装置300の設定情報を問い合わせて、受信したパラメータ情報を元に、送信パラメータを設定する例を示した。ただし、情報処理装置200が設定したいパラメータを情報処理装置300へ設定依頼し、情報処理装置300が問題ない旨の応答を受信した時点で設定するようにしてもよい。この例を、図9および図10に示す。
[通信例]
図9乃至図11は、本技術の第1の実施の形態における通信システム100を構成する各装置間における通信処理例を示すシーケンスチャートである。なお、図9および図10は、図6乃至図8に示す通信処理例の一部を変形したものである。このため、図9および図10では、図6乃至図8に示す通信処理例と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。また、図11は、図9に示す通信処理例の一部を変形したものである。このため、図11では、図9に示す通信処理例と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。
図9に示す各処理(561乃至564)は、図6に示す各処理(501乃至504)に対応する。
続いて、情報処理装置300の制御部370は、ユーザにより設定された出力形態を通知するためのモードステータス通知を情報処理装置200に送信する(565、566)。このモードステータス通知は、ユーザにより設定された出力形態(例えば、メインであるかサブであるか)とともに、情報処理装置200が設定可能な解像度/音質、画像・音声コーデックの種類、3D機能の有無、コンテンツプロテクションの有無、ディスプレイ機器の表示サイズ、トポロジ情報、使用可能なプロトコル、これらのプロトコルの設定情報(ポート情報等)、接続インターフェース情報(コネクタタイプ等)、水平同期・垂直同期の位置、ソース機器の性能プライオリティ要求情報、低消費電力モードへの対応可否等のモード制御テーブル返答、無線での送信最大スループットまたは受信可能な最大スループット、CPUパワー、電池残量、電源供給情報等を通知するための情報である。
このように、情報処理装置300においてユーザによる出力形態の設定操作が行われた直後に、その設定操作に係る出力形態を通知するためのモードステータス通知を情報処理装置200に送信することができる。このため、無線通信を利用して接続されている情報処理装置200および情報処理装置300間における設定時間(変更時間)を短縮させることができる。
モードステータス通知を受信すると(566)、情報処理装置200の制御部240は、受信したモードステータス通知により特定されるステータスパラメータと、自装置のステータスパラメータとを比較する。続いて、情報処理装置200の制御部240は、その比較結果に基づいて、設定内容(例えば、解像度/音声、消費電力モード)を決定する。続いて、情報処理装置200の制御部240は、その決定された設定内容(例えば、解像度/音声、消費電力モード)を通知するためのモード設定要求を情報処理装置300に送信する(567、568)。
モード設定要求を受信すると(568)、情報処理装置300の制御部370は、受信したモード設定要求により特定される設定内容(例えば、解像度/音声、消費電力モード)を許可するか否かを判断する。そして、情報処理装置300の制御部370は、その判断結果を通知するためのモード設定可否コマンドを情報処理装置200に送信する(569、570)。
モード設定可否コマンドを受信すると(570)、情報処理装置200の制御部240は、モード設定可否コマンドの内容を確認する。例えば、情報処理装置200が送信したモード設定要求に係る設定内容を許可する旨のモード設定可否コマンドを受信した場合には、情報処理装置200の制御部240は、送信モードとしてサブモードを設定する(571)。なお、図9に示す各処理(571乃至574)は、図6に示す各処理(511乃至514)に対応する。また、図10に示す各処理(575乃至578)は、図7に示す各処理(519乃至522)に対応する。
なお、情報処理装置200が送信したモード設定要求に係る設定内容を許可しない旨のモード設定可否コマンドを受信した場合には、情報処理装置200の制御部240は、新たに設定内容(例えば、解像度/音声、消費電力モード)を決定する。そして、情報処理装置200の制御部240は、その新たに決定された設定内容(例えば、解像度/音声、消費電力モード)を通知するためのモード設定要求を情報処理装置300に送信する。
図10に示す各処理(581乃至583)は、図7に示す各処理(531乃至533)に対応する。
続いて、情報処理装置300の制御部370は、ユーザにより変更された出力形態を通知するためのモードステータス変更通知を情報処理装置200に送信する(584、585)。このモードステータス変更通知は、ユーザにより変更された出力形態(例えば、メインであるかサブであるか)とともに、情報処理装置200が設定可能な解像度/音質、低消費電力モードへの対応可否等を通知するための情報である。
モードステータス変更通知を受信すると(585)、情報処理装置200の制御部240は、設定内容(例えば、解像度/音声、消費電力モード)を決定する。この設定内容の決定処理については、上述した決定処理と同様である。続いて、情報処理装置200の制御部240は、その決定された設定内容(例えば、解像度/音声、消費電力モード)を通知するためのモード変更要求を情報処理装置300に送信する(586、587)。
モード変更要求を受信すると(587)、情報処理装置300の制御部370は、受信したモード変更要求により特定される設定内容(例えば、解像度/音声、消費電力モード)を許可するか否かを判断する。そして、情報処理装置300の制御部370は、その判断結果を通知するためのモード設定可否コマンドを情報処理装置200に送信する(588、589)。
モード設定可否コマンドを受信すると(589)、情報処理装置200の制御部240は、モード設定可否コマンドの内容を確認し、送信モードを設定する(590)。なお、この確認処理については、上述した確認処理と同様である。また、図10に示す各処理(590乃至595)は、図8に示す各処理(545乃至550)に対応する。
ここで、ソース機器は、サブ画像およびメイン画像の切り替えを行った場合に、その切り替わりのタイミングを示す情報(例えば、GOP(Group of Picture)の先頭を把握する情報やPicture先頭を把握する情報)をストリームに含めて送信するようにしてもよい。言い換えると、ソース機器は、メイン表示およびサブ表示の切換を行う場合に、その切り替わりのタイミングを示す情報をシンク機器に送信するようにしてもよい。この場合には、そのストリームを受信したシンク機器は、そのタイミングを示す情報に基づいて、サブ画像およびメイン画像の切り替えを適切なタイミングで切り替えることができる。すなわち、ソース機器の制御部は、物理リンクの切替情報を受信した場合には、AVC/HEVCをIフレームから開始させるための制御を行うことができる。このように、Iフレームから開始させる環境は、例えば、FSTによる無線リンクが変更されたタイミング、または、Switching Diversityが切替られたタイミングである。これにより、無線リンク切替時にパケットロスが発生するため、次からIフレームを伝送することにより、パケットロスを見えなくすることができる。ただし、切替情報を受信してIフレームを出力可能なコーデックが必要となる。
ここで、図6乃至図10では、シンク機器に接続されているソース機器のスタンバイ・ウエークアップを制御する例を示している。ただし、シンク機器に接続されているソース機器のスタンバイ・ウェークアップに基づいて、シンク機器のスタンバイ・ウェークアップを制御するようにしてもよい。例えば、シンク機器に接続されている全てのソース機器がスタンバイとなった場合にシンク機器をスタンバイとするように制御することができる。また、シンク機器に接続されているソース機器のうちの少なくとも1つがウェークアップである場合には、シンク機器をウェークアップとするように制御することができる。
また、図9に示す各処理(565乃至570)において、処理(564)で保持された保持内容が変更されたことをシンク機器からソース機器へ通知し、ソース機器からモードテーブル要求を送信する場合の変形例を図11に示す。
図11に示すように、情報処理装置300は、出力形態が変更したこと(564)を情報処理装置200に通知するとともに、情報処理装置200からモード設定要求の送信を促すため、モードステータス通知を送信する(565、566)。このモードステータス通知を受信した情報処理装置200は、対応が可能な場合には、モードステータス通知を承認する旨を示すモードステータス通知承認を情報処理装置300に送信する(851、852)。
このように、モードステータス通知承認が送信された後に(851)、各処理が行われる(853乃至858)。なお、この各処理(853乃至858)は、図6に示す各処理(505乃至510)に対応する。このように、モードステータス通知承認が送信された後に(851)、各処理(853乃至858)を行うことにより、状態変化(出力形態の変更(564))に対して、ストリームの伝送制御(例えば、データ伝送速度制御、スケーラビリティ伝送レート制御、マルチ受信ダイバーシティの設定制御、コンテンツプロテクションの設定制御)を適切に行うことができる。
ここで、例えば、Wi−Fi CERTIFIED Miracastで用意されているコマンドにおいて、wfd−triggered−methodを含むRTSPM5 Messageは、現状、情報処理装置200が情報処理装置300へ送信するコマンドとして定義されている。ただし、wfd−triggered−methodを含むRTSPM5 Messageが、情報処理装置300が情報処理装置200へ送信するコマンドとして拡張できた場合、wfd−triggered−methodを含むRTSPM5 Messageを情報処理装置200が受信し、情報処理装置200は情報処理装置300との間で、Capability Re−negotiationを開始することができる。すなわち、wfd−triggered−methodを含むRTSPM5 Messageを用いて管理情報の交換を行うことができる。例えば、情報処理装置300の制御部370は、Wi−Fi CERTIFIED Miracast仕様に定められるwfd−triggered−methodを含むRTSPM5 Messageを、管理情報が変更された場合にその変更を情報処理装置200に通知するためのコマンドとして情報処理装置200に送信する制御を行うことができる。また、これらのコマンド以外に新規にコマンドを定義し、同等のことができるようにしてもよい。例えば、情報処理装置300の制御部370は、情報処理装置300から情報処理装置200に送信されるコマンドに、伝送レートの変更要求、および、伝送品質の変更要求のうちの少なくとも1つを含めて情報処理装置200に送信することができる。このコマンドとして、例えば、HDCP(本技術の第3の実施の形態で示す)セッションが維持されている状態のコマンド(例えば、M5のWFD−triggered−methodまたはその他M4以上のコマンド)を用いることができる。
[情報処理装置(ソース機器)の動作例]
図12は、本技術の第1の実施の形態における情報処理装置200によるデータ送信処理の処理手順の一例を示すフローチャートである。図12では、最初に、情報処理装置200が、標準的な解像度のストリーム(画像データおよび音声データ)を情報処理装置300に送信している場合の例を示す。この場合には、情報処理装置300には、そのストリームに基づく出力が行われているものとする。
最初に、制御部240は、モードテーブル要求を情報処理装置300に送信する(ステップS901)。続いて、制御部240は、コマンド情報を情報処理装置300から受信したか否かを判断し(ステップS902)、コマンド情報を受信していない場合には、監視を継続して行う。なお、ある一定時間待機しても、コマンド情報を受信できない場合にはタイムアウトし、処理を終了してもよい。例えば、Wi−Fi CERTIFIED Miracastでは、状況に応じて5秒から9秒のタイムアウト時間を設定している。
コマンド情報を情報処理装置300から受信した場合には(ステップS902)、制御部240は、受信したコマンド情報に基づいてモードを設定する旨を示すモード設定情報を情報処理装置300に送信する(ステップS903)。
続いて、制御部240は、受信したコマンド情報に基づいてモードを設定する(ステップS904)。また、制御部240は、解像度を向上するための変更要求がコマンド情報に含まれている場合には、その変更要求に応じて、画像および音声の解像度を設定する。また、制御部240は、解像度を低下するための変更要求がコマンド情報に含まれている場合には、その変更要求に応じて、画像の解像度および音声の音質を設定する。
続いて、制御部240は、その設定に応じてストリームを情報処理装置300に送信する送信処理を行う(ステップS905)。
続いて、制御部240は、低消費電力モードが設定されているか否かを判断し(ステップS906)、低消費電力モードが設定されていない場合(すなわち、通常の消費電力モードが設定されている場合)には、ステップS911に進む。一方、低消費電力モードが設定されている場合には(ステップS906)、制御部240は、一定時間スリープとする(ステップS907)。
続いて、制御部240は、問合せメッセージを情報処理装置300に送信する(ステップS908)。続いて、制御部240は、応答メッセージを情報処理装置300から受信したか否かを判断し(ステップS909)、応答メッセージを受信していない場合には、監視を継続して行う。ある一定時間待機しても、応答メッセージを受信できない場合にはタイムアウトし、処理を終了してもよい。例えば、Wi−Fi CERTIFIED Miracastでは、状況に応じて5秒から9秒のタイムアウト時間を設定している。
応答メッセージを情報処理装置300から受信した場合には(ステップS909)、制御部240は、その応答メッセージに変更要求が含まれているか否かを判断する(ステップS910)。そして、その応答メッセージに変更要求が含まれている場合には(ステップS910)、ステップS901に戻る。
その応答メッセージに変更要求が含まれていない場合には(ステップS910)、制御部240は、変更要求を受信したか否かを判断する(ステップS911)。そして、変更要求を受信した場合には(ステップS911)、ステップS901に戻る。一方、変更要求を受信していない場合には(ステップS911)、制御部240は、送信停止操作が行われたか否かを判断する(ステップS912)。そして、送信停止操作が行われた場合には(ステップS912)、データ送信処理の動作を終了する。一方、送信停止操作が行われていない場合には(ステップS912)、ステップS905に戻る。
[情報処理装置(シンク機器)の動作例]
図13は、本技術の第1の実施の形態における情報処理装置300によるデータ伝送速度制御処理の処理手順の一例を示すフローチャートである。図13では、情報処理装置300が、ストリーム(画像データおよび音声データ)を受信している場合に、ソース機器に関する設定内容(例えば、解像度、消費電力モード)を決定する例を示す。
例えば、情報処理装置300の制御部370は、メイン画像とするためのユーザ情報や、情報処理装置300および各ソース機器間のリンク電波伝搬環境に応じて、使用する解像度や使用する周波数チャネルを決定することができる。
例えば、図5のaに示す状態で画像12を選択するためのユーザ操作が行われた場合を想定する。この場合には、画像12に関する解像度をアップさせ、画像11の解像度をダウンさせることが好ましい。また、時間の経過に応じて、各ソース機器のリンク電波伝搬環境に基づいて、画像11および画像12にとっての最適な解像度が選択することが好ましい。
例えば、情報処理装置300は、複数の周波数チャネルに、該当するスループットに相当するデータを流してみて、電波伝搬特性を把握することができる。また、例えば、情報処理装置300は、複数の周波数チャネル毎に理想的なスループットを把握するテーブルを保持しておく。そして、情報処理装置300は、同時に使用しているソース機器の数とPERとに基づいて、使用する周波数チャネルの利用可能データ伝送速度を把握し、周波数チャネル毎に最適な周波数チャネルを選択するようにしてもよい。
例えば、制御部370は、管理情報保持部390から管理情報を取得し、ユーザ情報取得部360からユーザ情報を取得する(ステップS921)。続いて、制御部370は、取得された管理情報およびユーザ情報に基づいて、出力形態を決定する(ステップS922)。この決定された出力形態に基づいて、複数のソース機器のそれぞれから送信された2つのストリームに対応する画像が表示部351に表示される。
続いて、制御部370は、管理情報に含まれるPERが閾値以下となるソース機器が存在するか否かを判断する(ステップS923)。管理情報に含まれるPERが閾値以下となるソース機器が存在する場合には(ステップS923)、制御部370は、そのソース機器の解像度を向上するための変更要求を決定する(ステップS924)。なお、ユーザ情報に基づく出力形態によって、メイン画像に多くのデータ伝送速度を割り振る制御を制御部370が行う。この変更要求は、例えば、コマンド情報(例えば、図6に示すコマンド情報)に含めてそのソース機器に送信される。なお、そのソース機器の解像度を向上させた後のスループットが閾値以内であるか否かを判断し、この判断結果に基づいて、ストリームのレートを制御するようにしてもよい。
管理情報に含まれるPERが閾値以下となるソース機器が存在しない場合には(ステップS923)、制御部370は、管理情報に基づいて、各ソース機器のスループットが閾値以下であるか否かを判断する(ステップS925)。すなわち、各リンクのスループットが現在の周波数チャネルでも問題ないか否かが判断される(ステップS925)。
各ソース機器のスループットが閾値以下でない場合には(ステップS925)、ステップS921に戻る。一方、各ソース機器のスループットが閾値以下である場合には(ステップS925)、制御部370は、管理情報に基づいて、低消費電力モードに対応するソース機器が存在するか否かを判断する(ステップS926)。
低消費電力モードに対応するソース機器が存在する場合には(ステップS926)、制御部370は、その低消費電力モードに対応するソース機器について低消費電力モードを設定するための変更要求を決定する(ステップS928)。この変更要求は、例えば、コマンド情報(例えば、図6に示すコマンド情報)に含めてそのソース機器に送信される。
低消費電力モードに対応するソース機器が存在しない場合には(ステップS926)、制御部370は、そのソース機器(PERが閾値以下となるソース機器)の解像度を低下するための変更要求を決定する(ステップS927)。この変更要求は、例えば、コマンド情報(例えば、図6に示すコマンド情報)に含めてそのソース機器に送信される。
また、受信停止操作が行われたか否かが判断され(ステップS929)、受信停止操作が行われた場合には、データ伝送速度制御処理の動作を終了し、受信停止操作が行われていない場合には、ステップS921に戻る。なお、低消費電力モードの設定によりスリープ状態となっているソース機器が存在する場合には、情報処理装置300に接続するソース機器の数が減る。この場合には、ステップS925におけるスループット閾値を変更するようにしてもよい。また、このようにスループット閾値を変更した後に、ステップS925に相当するステップをさらに実行するようにしてもよい。
このように、シンク機器が回線環境を一定時間トレーニングし、安定的な映像通信が行える解像度をソース機器に通知する制御プロトコルを実現することができる。なお、ソース機器が回線環境を一定時間トレーニングし、安定的な映像通信が行える解像度を要求し、シンク機器が応答する制御プロトコルとするようにしてもよい。
このように、情報処理装置300の制御部370は、管理情報保持部390の管理情報とユーザ情報取得部360により取得されたユーザ情報とに基づいて、各ソース機器のそれぞれから送信された2つのストリームの伝送制御(例えば、データ伝送速度制御)を行うことができる。
なお、情報処理装置200および情報処理装置400のそれぞれから送信された2つのストリームの合計データ伝送速度を最小にするように制御を行うようにしてもよい。例えば、その合計データ伝送速度の最大許容値を受信側の情報処理装置300の制御部370に設定する。そして、制御部370は、ビットレートを低下するための変更要求を情報処理装置200に送信した後に、情報処理装置200および400のそれぞれから送信された2つのストリームのビットレートをストリーム受信部330から取得する。続いて、制御部370は、取得された2つのストリームの合計データ伝送速度を計算する。続いて、制御部370は、設定された最大許容値を超えない範囲で、情報処理装置400から送信されるストリームのビットレートを決定し、このビットレートに向上させるための変更要求を情報処理装置400に送信する。なお、最低ビットレートに設定してもPERが大きく同一周波数チャネルに収容できない場合には、別の周波数チャネルを用いてもよい。また、画像(メイン画像、サブ画像)が一定時間以上、止まっている場合には、ユーザからの操作(例えば、ポインティング)が発生しない限り、画像データを停止させておくようにしてもよい。
このように、本技術の第1の実施の形態によれば、複数のソース機器から送信された複数のストリームを1つのシンク機器で受信する場合でも、ユーザの操作・状況・意図に応じた適切なストリームの伝送制御(例えば、データ伝送速度制御)を行うことができる。例えば、ユーザの操作・状況・意図に応じて、複数の画像・音声ストリームのうち一部のデータ伝送速度を減らし、残りのストリームのデータ伝送速度を増加させることができる。
また、例えば、シンク機器が複数のストリームを受信して表示しているような場合には、その時々に応じてユーザが設定したとおりに、重要な画像・音声を高品質で楽しむことができる。また、そうでない画像・音声については、そのデータ伝送速度を自動的に最適な周波数チャネル、消費電力、伝送レートに調節することができる。
ここで、管理情報保持部390に保持される管理情報について、例えば、管理情報の交換は、Wi−Fi CERTIFIED Miracastで用意されているコマンドを用いることもできる。この場合、Wi−Fi Display仕様で定められるcapability negotiationまたはcapability re−negotiationで行うことができる。ここで、capability negotiationまたはcapability re−negotiationとして、例えば、RFC5939やWi−Fi CERTIFIED Miracast仕様が挙げられる。ただし、capability negotiationまたはcapability re−negotiationは、これらに限定されるものではなく、装置性能情報のやりとりと定義する。このWi−Fi CERTIFIED Miracast仕様コマンドを用いたやりとりの通信例を図14乃至図16に示す。
[Wi−Fi CERTIFIED Miracast仕様コマンドを用いたやりとりの通信例]
図14乃至図16は、本技術の第1の実施の形態におけるソース機器およびシンク機器間における通信処理例を示すシーケンスチャートである。図14乃至図16では、RTSPプロトコルを用いたやりとりの通信例を示す。なお、ソース機器820は、情報処理装置200、400に対応し、シンク機器830は、情報処理装置300に対応する。
最初に、図14を参照して説明する。例えば、図14の点線の矩形840内に示すように、ソース機器からシンク機器に送信される「RTSP M3 Request」(RTSP GET_PARAMETER Request)メッセージと、これに応答してシンク機器からソース機器に送信される「RTSP M3 Response」(RTSP GET_PARAMETER Response)メッセージとを用いることができる。この交換処理は、例えば、図6に示す処理(505乃至508)、図8に示す処理(539乃至542)に対応する。一方、ソース機器からシンク機器に適宜送信するようにしてもよい。例えば、「RTSP M3 Request」(RTSP GET_PARAMETER Request)メッセージと、「RTSP M3 Response」(RTSP GET_PARAMETER Response)メッセージとのやりとりを省略し、ソース機器からシンク機器に送信されるメッセージに管理情報を含めて、ソース機器からシンク機器に管理情報を送信し、シンク機器が情報を選択して管理情報保持部390に保持するようにしてもよい。例えば、コンテンツプロテクション設定を行う場合、M3 Response後にリンクプロテクションセットアップを行う。このため、M4以上のメッセージのみを行うことにより、一度設定されたリンクの秘話性を確保したまま、通信を行えることが望まれることもある。
また、消費電力モードに関する情報のやりとりについては、RTSPプロトコルを用いた所定のメッセージで行うことができる。例えば、以下の(1)乃至(3)の3種類の管理情報の交換を行うことができる。
(1)"Standbyモードへの設定"
(2)"ソース機器がStanbyモードを解除する場合またはソース機器がシンク機器のStandbyモードを解除する場合"
(3)"シンク機器がStandbyモードを解除する場合またはシンク機器がソース機器のStandbyモードを解除する場合"
最初に、図15を参照して説明する。例えば、Wi−Fi CERTIFIED Miracastで用意されているコマンドを用いる場合、上述した(1)"Standbyモードへの設定"のやりとりでは、ソース機器820からシンク機器830に送信される「RTSP M12 Request」(RTSP SET_PARAMETER(with WFD−standby))メッセージと、これに応答してシンク機器830からソース機器820に送信される「RTSP M12 Response」(RTSP OK)メッセージとを用いることができる。一方、シンク機器830からソース機器820へのStanbyモードへの設定も同様である。
次に、図16を参照して説明する。例えば、上述した(2)"ソース機器がStanbyモードを解除する場合またはソース機器がシンク機器のStandbyモードを解除する場合"、ソース機器820は、シンク機器830に送信される「RTSP M5 Request」(RTSP SET_PARAMETER(Request(wfd−trigger−method:PLAY))メッセージと、これに応答してシンク機器830からソース機器820に送信される「RTSP M5 Response」(RTSP OK)メッセージとをやりとりする。シンク機器830は、ソース機器820に送信される「RTSP M7 Request」(RTSP PLAY Request)メッセージと、これに応答してソース機器820からシンク機器830に送信される「RTSP M7 Response」(RTSP OK)メッセージとを用いることができる。
また、例えば、上述した(3)"シンク機器がStandbyモードを解除する場合またはシンク機器がソース機器のStandbyモードを解除する場合"のやり取りの場合、シンク機器830は、ソース機器820に送信される「RTSP M7 Request」(RTSP PLAY Request)メッセージと、これに応答してソース機器820からシンク機器830に送信される「RTSP M7 Response」(RTSP OK)メッセージとを用いることができる。これらのやり取りは、例えば、図7に示す処理(515乃至518)、図7に示す処理(535乃至538)に対応する。
また、例えば、図9に示す処理(565乃至570)のやりとりは、シンク機器830からソース機器820に送信される「RTSP M12 Request」(RTSP SET_PARAMETER(with WFD−standby))メッセージと、これに応答してソース機器820からシンク機器830に送信される「RTSP M12 Response」(RTSP OK)メッセージとを用いることができる。
さらに、例えば、図10に示す処理(584乃至589)のやりとりは、シンク機器830からソース機器820に送信される「RTSP M7 Request」(RTSP PLAY Request)メッセージと、これに応答してソース機器820からシンク機器830に送信される「RTSP M7 Response」(RTSP OK)メッセージとを用いてもよい。
このように、無線通信部320は、capability情報の交換を、Wi−Fi Display仕様に定められるcapability negotiationまたはcapability re−negotiationで行うことができる。また、capability情報は、例えば、capability negotiationまたはcapability re−negotiationにおけるRTSP M3 Messageにおいて交換される。
このように、例えば、情報処理装置300の無線通信部320は、情報処理装置300に関するcapability情報と、情報処理装置200に関するcapability情報とを交換するための通信をソース機器との間で行う。また、情報処理装置200の無線通信部220は、情報処理装置200に関するcapability情報と、情報処理装置300に関するcapability情報とを交換するための通信を情報処理装置300との間で行う。これらの場合に、無線通信部220、320は、capability情報の交換をcapability negotiationまたはcapability re−negotiationで行うことができる。
また、情報処理装置300の制御部370は、情報処理装置200に関するcapability情報と、情報処理装置200との通信に関する電波伝搬測定情報と、情報処理装置300の使われ方とに基づいて情報処理装置200とのストリームの伝送制御(例えば、データ伝送速度制御、スケーラビリティ伝送レート制御、マルチ受信ダイバーシティの設定制御、コンテンツプロテクションの設定制御)を行う。また、本技術の実施の形態とストリーム伝送の方法は異なるが、情報処理装置200の制御部240は、情報処理装置200に関するcapability情報と、情報処理装置300とのストリームの通信に関する電波伝搬測定情報とに基づく情報処理装置300からの制御に基づいて情報処理装置300とのストリームの伝送制御(例えば、データ伝送速度制御、スケーラビリティ伝送レート制御、マルチ受信ダイバーシティの設定制御、コンテンツプロテクションの設定制御)を行うこともできる。
また、情報処理装置300の制御部370は、情報処理装置200に関するcapability情報(例えば、モバイル機器であるか否かを示す情報)に基づいて情報処理装置200における消費電力モードを設定する制御を行う。この場合に、制御部370は、情報処理装置200に関するcapability情報と、情報処理装置200を管理するための管理情報とに基づいて情報処理装置200に低消費電力モードを設定する制御を行うことができる。また、情報処理装置200の制御部240は、情報処理装置200に関するcapability情報に基づく情報処理装置300からの制御に基づいて消費電力モードを設定する。なお、本技術の実施の形態ではソース機器を2台にしたトポロジでの一例を説明したが、本技術は本技術の実施の形態に限定されない。例えば、2台以上であれば、台数分のデータ伝送速度制御を行う必要があり、状態遷移が多いため、制御が難しくなるが、有益である。2台以上のソース機器が接続するトポロジでも対応することができる。
<2.第2の実施の形態>
本技術の第2の実施の形態では、主に、スケーラブル・コーデックを用いてスケーラビリティ伝送レート制御を行う例について説明する。
ただし、ソース機器およびシンク機器間に障害物が入る場合、ソース機器およびシンク機器間の伝送レート制御のターゲットレート精度の粗さ、伝送レート制御方法についても説明する。
[ソース機器およびシンク機器間に障害物が入る場合について]
例えば、ソース機器とシンク機器の接続環境を不安定にさせる障害物(例えば、人物)が入る場合について考える。例えば、ソース機器およびシンク機器間を人物が遮るような場合には、一時的ではあるが、接続環境が瞬断される。この瞬断時間は、状況によって異なるが、例えば、アプリケーションの転送に影響を与えるおそれがある。例えば、ソース機器からシンク機器へのエンド・ツー・エンドの遅延時間が数十ミリ秒程度の場合には、その瞬断時間がアプリケーションの転送に影響を与えるおそれがある。
[伝送レート制御のターゲットレート精度の粗さについて]
近年では、TV会議を中心に、MCU(多地点接続)から複数の場所に同じ画像・音声を送信する目的で、スケーラブル・コーデックが使われ始めている。スケーラブル・コーデックは通常のコーデックと比較すると、Encoder/Decoderともにハードウェア規模は大きくなるものの、マルチキャスト用途では、送信側が、受信側の表示能力やデコード能力を気にせずに送信できるという利点がある。また、受信側も、受信の能力次第で、表示する解像度や時間的スケーラビリティを自由に選択でき、全ての受信装置が同じ設定を合わせる必要がない。
さらに、スケーラブル・コーデックは、技術的には伝送レートの高ダイナミックレンジの環境で効果的と思われる。例えば、無線経由で受信できたパケットで生成可能な映像までを表示しつつ、受信特性をEncoder側へ通知することによりデータ伝送レートを絞ることができる。しかし、実用途では、受信側の表示装置がSD、HD、4Kの解像度であるため、空間スケーラビリティ/時間スケーラビリティは、数Mbps程度の粒度で効果的に伝送レートを設定することは困難である。このため、1/2、1/4、1/16等の粒度でデータ伝送レート削減を設定することが一般的である。なお、無線ネットワークにおけるユニキャストの環境では、SNR(Signal to Noise ratio)スケーラビリティと空間スケーラビリティ/時間スケーラビリティとを、受信側のロスが目立たない範囲で調整する必要性が求められている。
[伝送レート制御方法について]
ここで、IEEE802.11adに代表される60GHzの無線ネットワークシステム上でスケーラブル・コーデックを用いた場合について考える。
例えば、IEEE802.11a/B/g/nを用いた無線映像伝送では、データ伝送レートが、ダイナミックレンジが大きくなく(例えば、映像伝送でパケットロスなく許容可能なスループットが1Mbpsから20Mbpsまでという範囲)、かつ、リンク間の電波干渉もある。このため、ネットワークを形成する時には、Encode Rateを絞ることにより無線帯域を極力使わないような制御がメインとなっている。
しかし、60GHzでの無線ネットワークを使うと、データ伝送レートは、最大2Gbps以上となり、2.4GHz帯/5GHz帯と比較すると、Beam Forming環境においては空間分割ができるため、リンク間の干渉も軽減される。すなわち、同一チャネルに存在する、他のネットワークが原因による干渉が軽減される。例えば、1対2のネットワークを1Gbpsの伝送レートで用いた場合、2台は、お互いに500Mbps相当の伝送レートを、干渉を受けずに使用することができる。このため、映像・音声データ伝送レートを無駄に下げる必要性もなくなり、500Mbps相当で映像・音声データを送信させ、受信側の画像データについては、受信できたレイヤまでの解像度を表示させればよい。
また、500Mbps相当のエラー率を測定することも可能となる。例えば、干渉波が入り、突然、伝送レートが1/10程度に低下するような場合を想定する。このような場合に、エラーが発生しないように、瞬時にレートを下げる制御を行うときは、通常、受信側からリンク品質をフィードバック情報としてもらい、リンク品質を判断する。しかしながら、干渉波のような突然の伝送レート削減では、フィードバック情報を把握できず、送信側も送信バッファ量や送信パケットの再送回数等でしか対応することができない。このため、より高速に電波伝搬環境を把握する必要がある。また、干渉波がなくなり、リンク品質が良くなると、今まで絞っていた映像・音声データ伝送レートを上げて高品位な画質へ戻すことが好ましい。しかしながら、元々、伝送レートを絞っていたため、どの程度まで伝送レートを上げればよいかを把握することができない。なお、60GHzでの無線ネットワークを使うと、伝送レートが1Gbpsと高速であるため、500Mbpsの画像伝送を行っても、残りの500Mbpsをエラー測定に回すことができる。すなわち、500Mbps相当のエラー率の想定を、画像伝送を行いながらできるようになる。このため、伝送レートの差が大きいリンク環境において、映像・音声データの伝送レート制御を適切に行うことが重要となる。そこで、本技術の第2の実施の形態では、伝送レート制御を適切に行う例を示す。
[通信システムの構成例]
図17は、本技術の第2の実施の形態における通信システム700のシステム構成例を示すブロック図である。
通信システム700の構成は、図1に示す通信システム100の構成と同様である。このため、図1に示す通信システム100と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。
ただし、図17では、情報処理装置300の電波到達範囲(サービス範囲)として、2種類の異なる周波数チャネルの電波到達範囲を点線の楕円701、702で示す点が図1とは異なる。例えば、第1の周波数チャネルを60GHz帯とし、第1の周波数チャネルの電波到達範囲を楕円701で示す。また、第2の周波数チャネルを2.4GHz帯とし、第2の周波数チャネルの電波到達範囲を楕円702で示す。
ここで、電波到達範囲701は、例えば、情報処理装置200、400が第1の周波数チャネルを用いてストリームの伝送を情報処理装置300に行うことが可能であると想定される範囲(サービス範囲)を意味する。また、電波到達範囲702は、例えば、情報処理装置200、400が第2の周波数チャネルを用いてストリームの伝送を情報処理装置300に行うことが可能であると想定される範囲(サービス範囲)を意味する。
また、図17では、情報処理装置200がモバイル機器であり、情報処理装置200と情報処理装置300との間に障害物(例えば、人物)703が入る場合の例を示す。また、ここでは、情報処理装置300および情報処理装置400がストリームの伝送を行っている場合に、情報処理装置200および情報処理装置300が接続処理を行う例について説明する。
上述したように、情報処理装置200は電波到達範囲701内に存在するため、障害物703が存在しなければ、情報処理装置300と通常の接続を行うことができる。しかしながら、図17に示すように、情報処理装置200および情報処理装置300間に障害物703が存在する場合には、障害物703によって情報処理装置200および情報処理装置300間でやりとりされる電波が吸収または反射されてしまう。このため、電波到達範囲701内に存在するにもかかわらず、情報処理装置200および情報処理装置300間が瞬断されること、または、情報処理装置200および情報処理装置300間のデータ伝送レートが著しく低下することが想定される。
ここで、情報処理装置200および情報処理装置300間の瞬断が一時的な場合には、60GHzによる回線復帰手段等により、その接続を復帰することができるケース(以下、ケース1と称する。)が想定される。なお、接続回復手段として、例えば、ビーム・フォーミングやビームトラッキング等の電波の指向性を制御する方法が挙げられる。一方、障害物703が情報処理装置200の電波を全方向に遮断し、継続的に60GHzの回線が切断してしまうケース(以下、ケース2と称する。)も想定される。このケース2は、電波到達範囲701から電波到達範囲702へ移動するようなケースと同様の動作となる。また、ケース1およびケース2の何れについても、ストリーム伝送の映像が乱れる。
そこで、図17に示すような接続環境に対応するため、ケース2においては、2つの周波数チャネルのうち、サービスエリアが広い周波数帯域を用いることが好ましい。例えば、本技術の第2の実施の形態では、2つの周波数チャネルのうち、サービスエリアが広い第2の周波数チャネル(2.4GHz帯)を用いる例を示す。
すなわち、制御部370は、電波伝播測定情報により特定される通信品質が劣化してストリームの伝送制御(例えば、データ伝送速度制御、スケーラビリティ伝送レート制御)を制限する必要が生じた際に、電波伝播測定情報と情報処理装置300の使われ方とに基づいて、利用する周波数チャネルをより高速なデータ伝送速度のものに変更する制御を行うことができる。なお、情報処理装置300の使われ方は、例えば、表示部351の表示形態、情報処理装置300の移動状態である。また、情報処理装置300の使われ方には、情報処理装置200および情報処理装置300間が瞬断されたような場合を含むものとする。また、制御部370は、電波伝播測定情報により特定される通信品質が劣化してストリームの伝送制御(例えば、データ伝送速度制御、スケーラビリティ伝送レート制御)を制限する必要が生じた際に、電波伝播測定情報と情報処理装置300の使われ方とに基づいて、利用する周波数チャネルをより低速なデータ伝送速度のものに変更する制御を行うことができる。例えば、電波伝播測定情報により特定される通信品質が劣化してストリームの伝送制御(例えば、データ伝送速度制御、スケーラビリティ伝送レート制御)を制限する必要が生じた際に、電波伝播測定情報と情報処理装置300の使われ方とに基づいて、より高速なデータ伝送速度にするには、第2の周波数チャネルを使用している場合には、第1の周波数チャネルへ周波数チャネルを変更することで対応することができる。一方、低速なデータ伝送速度のものに変更するには、第1の周波数チャネルを使用している場合には、第2の周波数チャネルへ周波数チャネルを変更することで対応することができる。なお、本技術の実施の形態では、周波数チャネルの切替だけに限らず、その他の方法でもよいものとする。例えば、帯域幅を変更することで、ストリームの伝送制御(例えば、データ伝送速度制御、スケーラビリティ伝送レート制御)を行うことができる。一例を挙げると、802.11では複数の帯域幅をサポートし、20MHz幅、40MHz幅、80MHz幅、160MHz幅等が存在する。帯域幅が大きくなると、データ伝送速度は高速になるため、制御部370において、電波伝播測定情報により特定される通信品質が劣化してストリームの伝送制御(例えば、データ伝送速度制御、スケーラビリティ伝送レート制御)を制限する必要が生じた際に、帯域幅を広げる、または、狭める制御を行ってもよい。このように、情報処理装置300の使われ方と、電波伝搬環境とに基づいて、総合的に、情報処理装置200のCapability設定を行うことにより、システム全体の安定性を高くすることができる。
また、ケース1において、情報処理装置200の瞬断時間によっては、情報処理装置200の周波数チャネルをそのままにして接続を継続するようにしてもよく、情報処理装置200の周波数チャネルを変更ようにしてもよい。情報処理装置200の接続を継続するか否かの判断基準として、例えば、電波の指向性を制御する制御の試行回数等がある。
また、ケース2において、情報処理装置200が電波到達範囲701から電波到達範囲702へ移動する場合には、情報処理装置200を切断して他リンクの画質・音質を上げるか、情報処理装置200を切断せずに情報処理装置200の周波数チャネルを変更するかをユーザに指示させるようにしてもよい。例えば、情報処理装置200を切断して他リンクの画質・音質を上げることを許可するか否かを指示するためのポップアップを情報処理装置300に表示させ、そのポップアップによりユーザに指示をさせることができる。また、例えば、そのポップアップを情報処理装置200に表示させるか否かを情報処理装置300に表示して、そのポップアップを情報処理装置200に表示させる指示がされた場合に、そのポップアップを情報処理装置200に表示させるようにしてもよい。この場合には、情報処理装置200のユーザが指示を行うことができる。また、より安定したリンクを確保するため、接続処理の開始時は、伝送速度が速い通信方式よりも伝送速度が遅い通信方式を選択して通信を開始することが好ましい。
例えば、そのポップアップにおいて、切断することが許可された場合には、情報処理装置300は、リンク電波伝播状況が改善するまでの間、ストリームの送信を停止するための処理を情報処理装置200との間で行う。この場合には、管理情報保持部390に保持されている情報処理装置200の管理情報が消去される。
また、例えば、そのポップアップにおいて、切断することが許可されなかった場合には、情報処理装置300は、情報処理装置200の周波数チャネルを変更するための処理を行う。
このように、制御部370は、利用している周波数チャネルの切断可否に関する表示情報(例えば、ポップアップ)を表示部351に表示させる制御を行うことができる。また、制御部370は、利用している周波数チャネルの切断が不可である旨を示すユーザ操作が受け付けられた場合には、周波数チャネルを切り換える制御を行うようにする。
例えば、情報処理装置400および情報処理装置300のリンクでストリーム伝送が行われている状況では、他リンクのストリーム伝送に影響を与えないように処理を行う必要がある。このため、情報処理装置200の移動タイミングでユーザに指示させるよりも、事前設定とすることが好ましい。この場合、自動的にリンクが切り替わりことで、解像度の変化による画質劣化が発生するため、ユーザにリンク変更の状態を通知する方法として、「2.4GHz」、「60GHz」等の表示を行うようにしてもよい。
ここで、情報処理装置200が電波到達範囲701、702を頻繁に移動するような動作環境も想定される。そこで、図22では、第1の周波数チャネルおよび第2の周波数チャネルを高速で切替する例を示す。
[画像圧縮例]
次に、Encode Rateのダイナックレンジが大きい環境でも、ユーザにパケットロスが見えにくくする画像圧縮方法の一例を示す。本技術の第2の実施の形態では、スケーラブル・コーデックを用いた伝送レート制御を一例として示す。最初に、スケーラブル・コーデックについて説明する。
[空間スケーラビリティおよびSNRスケーラビリティの例]
図18は、本技術の第2の実施の形態における通信システム700に用いられる空間スケーラビリティおよびSNRスケーラビリティの一例について説明するための図である。
図18のaには、空間スケーラビリティの一例について説明するための図を示す。具体的には、スケーラブル符号化される3つのレイヤL1、L2およびL3を示す。
レイヤL1はベースレイヤであり、レイヤL2およびL3はエンハンスメントレイヤである。また、レイヤL2のレイヤL1に対する空間解像度の比は、2:1である。また、レイヤL3のレイヤL1に対する空間解像度の比は、4:1である。このように互いに解像度が異なっている場合でも、レイヤL1内の予測単位B1に現れる動きは、レイヤL2内の対応する予測単位B2およびレイヤL3内の対応する予測単位B3において同じように現れる可能性が高い。これが、空間スケーラビリティにおけるレイヤ間の動きの相関である。
図18のbには、SNRスケーラビリティの一例について説明するための図を示す。具体的には、スケーラブル符号化される3つのレイヤL1、L2およびL3を示す。
レイヤL1はベースレイヤであり、レイヤL2およびL3はエンハンスメントレイヤである。また、レイヤL1、L2およびL3の空間解像度は互いに等しい。
しかしながら、例えば、レイヤL1の最小の量子化スケールは25であり、直交変換係数の量子化によって符号化ストリームのビットレートは2Mbps程度に抑えられる。一方、例えば、レイヤL2の最小の量子化スケールは12であり、符号化ストリームのビットレートは5Mbps程度となる。また、例えば、レイヤL3の最小の量子化スケールは0であり、符号化ストリームのビットレートは10Mbps程度となる。このように互いにビットレートが異なっている場合でも、レイヤL1内の予測単位B1に現れる動きは、レイヤL2内の対応する予測単位B2およびレイヤL3内の対応する予測単位B3において同じように現れる可能性が高い。これが、SNRスケーラビリティにおけるレイヤ間の動きの相関である。
[SHVC(scalable video coding extensions of high efficiency video coding)を用いたストリーム転送量の例]
図19は、本技術の第2の実施の形態における通信システム700に用いられるSHVCを用いたストリーム転送量の一例を模式的に示す図である。
図19に示すように、HD相当の高品位映像をHEVC(high efficiency video coding)で画像圧縮して100Mbps相当になる画質を想定する。この画質について、例えば、空間スケーラビリティを用いると、SHVCでは、Base Layerの25Mbps相当と、Enhanced Layerの100Mbps相当とにスケーラビリティでエンコードされる。
例えば、Base Layerの25Mbps相当のみをシンク機器で受信できれば映像表示として成り立ち、さらに、Enhanced Layerの100Mbps相当を受信するとより高品位になる。
また、データ伝送レート制御の視点で、データ伝送レートをさらに絞りたい場合には、時間スケーラビリティを用いることにより、さらに1/2や1/4にすることができる。
例えば、元画像が60fpsであり、30fpsまで許容ができるアプリケーションの場合を想定する。この場合には、図19に示すように、HD100Mbpsの画像について、空間スケーラビリティと時間スケーラビリティとを用いることにより13Mbps(100Mbps×(1/2)×(1/4))までデータ伝送レートを絞ることが可能となる。
[SNRスケーラビリティを用いてデータ伝送レートを絞る例]
図20は、本技術の第2の実施の形態における通信システム700に用いられるSNRスケーラビリティを用いてデータ伝送レートを絞る例を模式的に示す図である。具体的には、SNRスケーラビリティを用いて1000Mbpsから125Mbpsまでデータ伝送レートを絞る例を示す。
ここで、図2および図3に示す無線通信部220、320として60GHzを用いる場合を想定する。この場合には、HD100Mbpsの10倍の1000Mbpsは、1/2時間スケーラビリティと、1/4時間スケーラビリティとを用いることにより、500Mbps、250Mbpsまでデータ伝送レートを絞ることができる。例えば、シンク機器が受信したデータ伝送レートが250Mbps以上であれば映像が停止することがない。このため、例えば、受信側で1000Mbpsは受信できなかったが500Mbpsまで受信できた場合には、シンク機器の表示画質は500Mbpsの高品位な映像を出力することが可能となる。
また、500Mbpsまで受信できたことをシンク機器からソース機器へ通知し、ソース機器がSNRスケーラビリティを500Mbpsまでデータ伝送レートを削減する場合を想定する。この場合には、1000Mbpsをターゲットにエンコードした映像と比較し、SNRが落ちるものの、fpsに劣化のない映像を受信側でシームレスに切替え再生することができる。
なお、図19および図20では、説明の容易のため、簡易的な数値を示して説明したが、これらの各数値は一例であり、他の数値の場合についても同様に適用することができる。また、図20では、データ伝送レートの絞る幅を2段階にする例を示したが、3段階以上の場合についても適用することができる。例えば、3段階以上のように、段数が増えれば増えるほど最低データ伝送レートを絞ることができ、データ伝送レートのダイナミックレンジを広げることができる。さらに、低い伝送レートから高い伝送レートへ戻す場合にも、500Mbpsのデータ伝送レートから1000Mbpsのデータ伝送レートでの通信を行い、受信した情報処理装置からの受信伝送レートを把握する。これにより、パケットロスを見え難くすることができ、最適なSNRを設定することができる。
[管理情報の取得例]
図21は、本技術の第2の実施の形態における通信システム700を構成する各装置間における通信処理例を示すシーケンスチャートである。図21では、情報処理装置300が、情報処理装置200および情報処理装置400のそれぞれに関する管理情報を取得する例を示す。
図21に示す各処理(801乃至806)、各処理(807乃至812)は、図6に示す各処理(505乃至510)に対応する。
なお、図21では、本技術の第1の実施の形態と同一の管理情報の取得例を示したが、他の方法で各情報処理装置に関する管理情報を取得するようにしてもよい。
[情報処理装置(ソース機器)の動作例]
図22は、本技術の第2の実施の形態における情報処理装置300による周波数チャネル設定処理の処理手順の一例を示すフローチャートである。
図22では、情報処理装置300が、情報処理装置200との間でリンク(第1のリンク)の接続を行い、情報処理装置400との間でリンク(第2のリンク)の接続を行っている場合の例を示す。また、図22では、処理手順を開始した時点では、第1のリンクは、第1の周波数チャネルを用いてコンテンツ伝送を行い、第2のリンクは、第2の周波数チャネルを用いてコンテンツ伝送を行っている例を示す。また、図22では、2つの周波数チャネルの双方のデータ伝送速度が問題ないかを判断し、他のリンクのデータ伝送速度状態を意識しながら、2つの周波数チャネルを高速で切り替える接続設定の一例を示す。なお、図22では、便宜上、第1のリンクを60GHzとし、第2のリンクを2.4GHzとして動作を開始させる例を示す。また、この2つの周波数チャネルのデータ伝送速度は10倍以上と想定されるため、図22に示す例では、2.4GHzでのデータ伝送レートを100Mbps、60GHzのデータ伝送レートを1Gbpsと仮定して説明を行う。
最初に、制御部370は、第1ソース機器(情報処理装置200)の管理情報を取得する(ステップS951)。続いて、制御部370は、第2ソース機器(情報処理装置400)の管理情報を取得する(ステップS952)。これらの各管理情報は、管理情報保持部390に保持される。また、管理情報の取得方法については、図21に示す。
続いて、制御部370は、表示設定(表示面における画像の表示位置、サイズ等)を考慮して各リンク(第1のリンクおよび第2のリンク)のデータ伝送レートを決定する(ステップS953)。
また、図4に示す各パラメータを用いて、各リンク(第1のリンクおよび第2のリンク)のデータ伝送レートを決定するようにしてもよい。例えば、メイン画像およびサブ画像の面積を考慮した設定値として、各リンク(第1のリンクおよび第2のリンク)のデータ伝送レートを決定することができる。
ここで、メイン画像・サブ画像とデータ伝送レートとの関係を示す。例えば、メイン画像をサブ画像のN倍の面積とする場合を想定する。この場合に、60GHzを利用する場合のメイン画像のデータ伝送レートを、1Gbps×(N/(N+1))とすることができる。また、2.4GHzを利用する場合のメイン画像のデータ伝送レートを、100Mbps×(N/(N+1))とすることができる。
また、60GHzを利用する場合のサブ画像のデータ伝送レートを、1Gbps×(1/(N+1))とすることができる。また、2.4GHzを利用する場合のサブ画像のデータ伝送レートを、100Mbps×(1/(N+1))とすることができる。
続いて、制御部370は、情報処理装置300に接続されている各ソース機器が不安定であるか否かを判断する(ステップ954)。ここで、ソース機器が不安定である場合は、例えば、表示部351に表示される画像が乱れるような場合を意味する。そして、全てのソース機器が不安定でない場合には(ステップS954)、ステップS951に戻る。
また、何れかのソース機器が不安定である場合には(ステップS954)、不安定であるソース機器(対象ソース機器)のリンクの安定度に基づく判断を行う(ステップS955)。例えば、制御部370は、そのソース機器のPERが閾値以上であるか否かを判断する(ステップS955)。そして、そのソース機器のPERが閾値未満である場合には(ステップS955)、そのソース機器のリンクが安定していると判断することができるため、周波数チャネル設定処理の動作を終了する。
なお、この例では、リンクの安定度を判断する際にPERを指標として用いる例を示すが、他の指標を用いるようにしてもよい。例えば、BER、RSSI、PER、パケットの再送回数、スループット、フレーム落ち、SIR等を指標として用いて、リンクの安定度を判断するようにしてもよい。さらに、受信側が受け取るパケット遅延を判断し、このパケット遅延に関する情報を電波伝搬測定情報として用いるようにしてもよい。このパケット遅延は、例えば、エラー発生時に、レイヤ2での再送処理によって受信側への伝送に遅延が発生されるため、電波伝搬に関する1つの指標となる。さらに、パケット遅延は、例えば、複数の装置で無線帯域を共有している無線システムでは、どこかのリンク特性が劣化しているかを示す指標となる。
そのソース機器のPERが閾値以上である場合には(ステップS955)、制御部370は、不安定なリンクを確認する(ステップS956)。すなわち、制御部370は、そのソース機器が第1ソース機器であるか否かを判断する(ステップS956)。そして、そのソース機器が現在使用している周波数チャネルとは別の周波数チャネルの空き状況を把握する(ステップS957、S958)。
例えば、そのソース機器が第2ソース機器である場合には(ステップS956)、第2ソース機器が現在使用している周波数チャネルとは別の周波数チャネルの空き状況を把握する(ステップS957)。また、そのソース機器が第1ソース機器である場合には(ステップS956)、第1ソース機器が現在使用している周波数チャネルとは別の周波数チャネルの空き状況を把握する(ステップS958)。
ここで、図22では、メイン画像とサブ画像が同じ面積である場合(N=1)の例を示す。また、第1のソースは、周波数チャネルが60GHz、データ伝送レートが1Gbpsであり、第2のソースは、周波数チャネルが2.4GHz、ソースのデータ伝送レートが100Mbpsである場合の例を示す。
例えば、第2のソースを変更する場合には(ステップS956)、第1のリンクは、周波数チャネルは60GHzのままにし、データ伝送レートを1Gbpsから500Mbpsに落とす(ステップS957)。また、第2のリンクの周波数チャネルを2.4GHzから60GHzに変更し、データ伝送レートを100Mbpsから500Mbpsへ変更する(ステップS957)。このように、第2のリンクの周波数チャネルを2.4GHzから60GHzに変更した場合には、60GHzが2リンク分(第1のリンクおよび第2のリンク)必要となる。ここで、例えば、60GHzのデータ伝送レートが最大1Gbpsであり、メイン画像とサブ画像の面積が同じ場合を想定する。この場合には、メイン画像とサブ画像に同一の伝送速度が必要となる。また、この場合には、2つのリンク(第1のリンクおよび第2のリンク)で伝送を行うためには、データ伝送レートとして500Mbps(1Gbps/2)を設定する必要がある。このため、第2のリンクの周波数チャネルを2.4GHzから60GHzに変更した場合には、データ伝送レートを100Mbpsから500Mbpsへ変更するようにする(ステップS957)。
また、例えば、第1のソースを変更する場合(ステップS956)、第1のリンクは、周波数チャネルを60GHzから2.4GHzに変更し、データ転送速度を1Gbpsから50Mbpsまで下げる(ステップS958)。また、第2のリンクは、周波数チャネルは2.4GHzのままにし、データ伝送レートを100Mbpsから50Mbpsに下げる(ステップS958)。なお、第2のリンクの周波数チャネルを2.4GHzのままにした場合に、データ伝送レートを100Mbpsから500Mbpsに下げる理由は、第2のリンクの周波数チャネルを2.4GHzから60GHzに変更した場合(ステップS957)と同様である。
このように、データ伝送速度の空き状況を把握した後に(ステップS957、S958)、制御部370は、安定していないリンクに関して、周波数チャネルとEncode Rateの変更情報を対象ソース機器に通知する(ステップS959)。
続いて、制御部370は、その変更情報を送信した対象ソース機器から設定要求を受信したか否かを判断し(ステップS960)、設定要求を受信していない場合には、監視を継続して行う。一方、その設定要求を受信した場合には(ステップS960)、制御部370は、その設定要求に対応する応答をその対象ソース機器に送信する(ステップS961)。その設定要求に対応する応答を送信した後に、ソース機器はEncode Rateを設定する。すなわち、対象ソース機器は、使用する周波数チャネル毎に、ネットワーク接続台数を考慮して、画像や音声等のストリーム生成を制御するため、Encode Rateを設定する。
ただし、本技術の実施の形態は、これに限定されない。例えば、60GHzと2.4GHzで別々のスループットのストリームを生成し、同期させながら切り替えるようにしてもよい。例えば、このような処理は、低遅延コーデックを使用することにより可能となる。
続いて、制御部370は、通信状況に応じて60GHzの方が特性がよいか、2.4GHzの方が特性がよいかを各情報を参照して、使用する周波数チャネルやEncode Rateを決定する(ステップS962)。ここで、参照される各情報は、例えば、PER、データ伝送レート、安定度等の情報や、図4に示す管理情報である。
続いて、制御部370は、60GHzおよび2.4GHzのうちから、安定した周波数チャネルを選択する(ステップS963)。そして、制御部370は、その選択された周波数チャネルを使用してストリームの伝送を行うための要求を対象ソース機器(例えば、情報処理装置200)に送信する(ステップS963)。これにより、安定したリンクが選択され、安定したストリームの通信を行うことができる。
なお、ソース機器がモバイル機器であるか否かに応じて各閾値を変更するようにしてもよい。これにより、ソース機器がモバイル機器である場合には、切替が発生しやすくすることで安定して伝送を実現することができる。
ここで、周波数チャネルを変更する対象となるソース機器(対象ソース機器)がモバイル機器である場合には、2つの周波数チャネルを同時に使用すると、バッテリを消耗しやすくなる。そこで、情報処理装置200が、情報処理装置300から受信した情報に基づいて判断するようにしてもよい。この判断を行うためには、情報処理装置300からの情報(例えば、図6に示すコマンド情報)に、情報処理装置300に接続している全てのソース機器に関するリンクの情報を含めておき、これらの各情報を情報処理装置200が取得する必要がある。そして、情報処理装置200は、そのように取得された全てのソース機器に関する情報に基づいて、安定した周波数を選択することができる。また、情報処理装置200は、他のリンクに影響を与えないかの判断を行うことができる。また、情報処理装置200がモバイル機器であることを示す管理情報を、事前に情報処理装置300に通知しておき、ストリームの伝送が安定している周波数チャネルを、システム全体のストリームの伝送制御(例えば、データ伝送速度制御、スケーラビリティ伝送レート制御)情報に基づいて、情報処理装置300が判断するようにしてもよい。
このように、情報処理装置200および情報処理装置300は、複数の周波数チャネルを使用して無線通信を行うことが可能な情報処理装置である。また、情報処理装置300の制御部370は、情報処理装置200に関するcapability情報と、電波伝搬測定情報と、情報処理装置300の使われ方とに基づいて、複数の周波数チャネルのうちから1つの周波数チャネルを情報処理装置200について設定するための制御を行う。また、情報処理装置300の制御部370は、情報処理装置200に関するcapability情報と、バッファの待機時間を自動的に一定(Time To Live機能)にさせその一定時間後に不安定なリンク用送信バッファからストリームデータを削除させる機能と、リンクが不安定になっていることを再送回数等により判断する機能と、情報処理装置の使われ方とに基づいて、複数の周波数チャネルのうちからより安定的に1つの周波数チャネルを設定するための制御を行うことができる。これらの場合に、情報処理装置300の制御部370は、情報処理装置200からのストリームを複数の周波数チャネルを切り替えながら測定された電波伝搬測定情報に基づいて1つの周波数チャネルを設定する制御を行うことができる。
このように、本技術の第2の実施の形態では、複数のソース機器から送信される画像を1つに纏めて表示するシンク機器(例えば、マルチビューモニタ)において、それぞれのソース機器から送信される画像を適切に表示させることができる。例えば、ダイナミックレンジが大きいデータ伝送レートについて、シンク機器の表示形態や接続形態に応じてスケーラブル・コーデックのターゲットレートを設け、伝送レートの粒度が細かいデータ伝送レート制御を行うことができる。例えば、SNRスケーラビリティ、空間スケーラビリティ、時間スケーラビリティを用いて、データ伝送レート制御を行うことができる。
なお、本技術の第2の実施の形態では、第1の周波数チャネルを60GHz帯とし、第2の周波数チャネルを2.4GHz帯として使用する例を示したが、これに限定されない。例えば、第1の周波数チャネルを5GHz帯とし、第2の周波数チャネルを2.4GHz帯として使用するようにしてもよい。
また、本技術の第2の実施の形態では、2種類の周波数チャネルを使用する例を示したが、これに限定されない。例えば、他の2種類の周波数チャネルを使用する場合(例えば、LTE−Aと2.4GHz、または、LTE−Aと60GHz)についても適用することができる。また、例えば、3種類以上の周波数チャネルを使用する場合についても適用することができる。例えば、2.4GHz、5GHzおよび60GHzの3種類の周波数チャネルを使用する情報処理装置についても適用することができる。また、本技術の第2の実施の形態では、第1のリンクと第2のリンクが同一周波数を使う例を示した。ただし、2.4GHz、5GHzおよび60GHzにおいて、情報処理装置300にAP(Access Point)・PCPまたはGO(Group Owner)の機能を備え、これらの何れかの機能に基づく動作を情報処理装置300に実行させるようにしてもよい。また、情報処理装置200と情報処理装置400をGOとして動作させ、情報処理装置300をClientとして動作させるようにしてもよい。
[ソース機器およびシンク機器間におけるパケットのやりとり例]
次に、ソース機器(送信側の情報処理装置)およびシンク機器(受信側の情報処理装置)間においてパケットをやりとりする例について図面を参照して詳細に説明する。
[情報処理装置(ソース機器)の構成例]
図23は、本技術の第2の実施の形態における情報処理装置710の機能構成例を示すブロック図である。なお、情報処理装置710は、ソース機器の一例であり、図17に示す情報処理装置200、400に対応する。また、図23では、情報処理装置710の構成のうち、データ送信に関する構成のみを示し、他の構成の図示および説明を省略する。
図24は、本技術の第2の実施の形態における情報処理装置710による送信処理において生成されるパケットを模式的に示す図である。これらの各パケットについては、図23を参照して詳細に説明する。
情報処理装置710は、画像データ生成部711と、SEI(Supplemental Enhancement Information)生成部712と、NAL(Network Abstraction Layer)生成部713と、PES(Packetized Elementary Stream)生成部714と、TS(Transport Stream)生成部715と、RTP(Real-time Transport Protocol)生成部716と、アンテナ718とを備える。これらの各部は、制御部(図2に示す制御部240に対応する)により制御される。
また、情報処理装置710は、撮像部719により生成された画像データを取得して、この画像データを無線通信を利用して送信する情報送信装置(ソース機器)の一例である。なお、撮像部719は、例えば、被写体を撮像して画像データを生成する撮像装置であり、例えば、デジタルスチルカメラやデジタルビデオカメラ(例えば、カメラ一体型レコーダ)である。なお、図23では、情報処理装置710の外部に撮像部719を設ける例を示すが、情報処理装置710の内部に撮像部719を設けるようにしてもよい。
画像データ生成部711は、撮像部719から供給される画像データ(高フレームレートの画像データ)について各種画像処理を行い、送信対象となる画像データを生成するものである。例えば、画像データ生成部711は、撮像部719から供給される画像データ(高フレームレートの画像データ)をAVC(Advanced Video Coding)方式で符号化する。そして、画像データ生成部711は、その符号化された画像データ(符号化データ)をNAL生成部713に供給する。また、画像データ生成部711は、現在の符号化対象の制御情報をSEI生成部712に供給する。
SEI生成部712は、SEIを生成するものであり、生成されたSEIを各部に供給する。例えば、SEI生成部712は、画像データ生成部711から供給される制御情報と、符号化単位と、画像データの送信先(シンク機器)に対する制御情報とを生成する。例えば、SEI生成部712は、AVC方式用のSEIを生成し、この生成されたAVC方式用のSEIをNAL生成部713に供給する。また、SEI生成部712は、制御情報フラグを生成し、この生成された制御情報フラグをTS生成部715およびRTP生成部716に供給する。
NAL生成部713は、画像データ生成部711から供給される画像データ(符号化データ)や、SEI生成部712から供給されるSEI等にNALヘッダを付加するものである。すなわち、NAL生成部713は、圧縮された画像データ、SEI等のNALユニットを生成する。このように、NAL生成部713は、送信データ生成部として機能し、生成されたNALユニットからAU(アクセスユニット)を送信データとして生成してPES生成部714に供給する。なお、NAL生成部713により生成されるNALユニットの一例を図24の最上段に示す。
PES生成部714は、NAL生成部713から供給されるAUをPESパケット化し、このPESパケット化により得られるPESパケットをTS生成部715に供給するものである。なお、PES生成部714により生成されるPESパケットの一例を図24の上から2段目に示す。
TS生成部715は、PES生成部714から供給されるPESパケット、SEI生成部712から供給される表示制御情報フラグを含むデータ等をTSパケット化し、TSパケットを生成するものである。そして、TS生成部715は、そのTSパケットを多重化してTSを生成し、この生成されたTSをRTP生成部716に供給する。なお、TS生成部715により生成されるTSパケットの一例を図24の上から3段目に示す。
RTP生成部716は、TS生成部715から供給されたTSをRTPパケットとして生成するものであり、生成されたRTPパケットをパケット生成部717に供給する。なお、RTP生成部716により生成されるRTPパケットの一例を図24の最下段に示す。
パケット生成部717は、UDPヘッダまたはTCPヘッダ、IP(Internet Protocol)ヘッダを付加するとともに、無線伝送を行うための無線パケット(IEEE802.11パケット)を生成するものである。そして、パケット生成部717は、その生成された無線パケットをアンテナ718に供給する。
また、パケット生成部717は、無線送信されるパケットの優先度を設定する。これにより、情報処理装置710は、無線伝播環境の変化が発生した場合でも、重要度の高いパケットを他の情報処理装置(シンク機器)に送信することができる。この優先度の設定方法については、図25を参照して詳細に説明する。
アンテナ718は、伝送部として機能するアンテナであり、パケット生成部717から供給される無線パケットを、電波を用いて他の情報処理装置(シンク機器)に送信する。
[優先順競合アクセス制御例]
図25は、本技術の第2の実施の形態における情報処理装置710による優先順競合アクセス制御方法の一例を示す図である。なお、図25に示す優先順競合アクセス制御方式は、IEEE802.11eに準拠した無線通信システムにおける優先順競合アクセス制御方式である。また、この優先順競合アクセス制御方式は、EDCA(Enhanced Distributed Channel Access)と称される。
EDCAでは、送信すべきデータのアクセスカテゴリー(以下、AC)に記載された優先順位(アクセスカテゴリー0乃至7)に応じて、送信バックオフのタイミングに差を設ける。また、送信を開始するAIFS(Arbitration Inter Frame Space)の設定値に差を設ける。そして、AIFSにわたり他の通信が開始されなければ、データを送信することができる。すなわち、優先順位の高いアクセスカテゴリーのデータは、短いAIFSの設定で送信され、優先順位の低いアクセスカテゴリーのデータは、長いAIFSの設定で送信される。
このように送信を行う場合には、優先順位の低いデータを送信しようとしている情報処理装置は、そのAIFS設定時間内に、他の優先順位の高いデータの通信により、送信が待たされることになる。すなわち、送信の優先順位の高いデータを格納している情報処理装置が優先的に無線媒体にデータを送信することを許容したアクセス制御方法である。
図25では、アクセスカテゴリー0が最も優先順位が高く、アクセスカテゴリー7まで優先順位が設定されている例を示す。最も優先順位の高いアクセスカテゴリー0のデータはAIFS[0]の経過後に送信ができる。次に優先順位が高いアクセスカテゴリー1のデータはAIFS[1]=AIFS[0]+バックオフ1単位(バックオフスロット1つ分)の経過後に送信ができる。
以下についても同様に、アクセスカテゴリー2のデータはAIFS[2]=AIFS[0]+バックオフ2単位の経過後に送信ができ、アクセスカテゴリー3のデータはAIFS[3]=AIFS[0]+バックオフ3単位の経過後に送信ができる。また、アクセスカテゴリー4のデータはAIFS[4]=AIFS[0]+バックオフ4単位の経過後に送信ができ、アクセスカテゴリー5のデータはAIFS[5]=AIFS[0]+バックオフ5単位の経過後に送信ができる。また、アクセスカテゴリー6のデータはAIFS[6]=AIFS[0]+バックオフ6単位の経過後に送信ができ、アクセスカテゴリー7のデータはAIFS[7]=AIFS[0]+バックオフ7単位の経過後に送信ができる。
[EDCAの優先度設定例]
次に、画像データ生成部711やNAL生成部713により生成されるNALについて複数のPESを使用してパケット種別を行い、その種別毎にEDCAの優先度設定を行う方法について説明する。
図26は、本技術の第2の実施の形態における情報処理装置710による送信処理の際におけるメディアデータの流れを模式的に示す図である。
図27は、本技術の第2の実施の形態における情報処理装置710により送信対象となる無線パケットの生成例を模式的に示す図である。具体的には、図27の最下段には、SVC(Scalable Video Coding)から生成されるBase Layerの無線パケットの生成例を示す。また、図27の中段には、SVCから生成されるEnhanced Layerの無線パケットの生成例を示す。また、図27の最上段には、音声コーデックによりエンコードされる音声データの無線パケットの生成例を示す。
図27に示すように、SVCから生成されるBase LayerとEnhanced Layerと、音声コーデックでエンコードされる音声データが別々なPESにマッピングされる。また、PES生成部714は、それぞれのPESについて、複数のパケットをマルチプレックスし、TS生成部715は、TSパケットに分割する。なお、図27に示すH.222は、TSパケットを生成する上での規格であるが、他の生成方法を用いるようにしてもよい。
RTP生成部716は、TS生成部715により生成されたTSパケットをRTPパケットしてマルチプレックスする処理を行う。そして、パケット生成部717は、そのRTPパケットをIPパケットとする。また、パケット生成部717は、そのIPパケットにおけるIPヘッダのTOS(Type of Service)フィールドに優先度情報を書き込む書き込み処理を行う。この書き込み処理により、無線パケットを生成する処理において、IPパケットにおけるIPヘッダのTOSフィールドから、優先度情報をパケット生成部717のEDCA機能へ通知することができる。これにより、無線伝送において、高優先度のパケットを確率高く送信することができる。
[無線パケットの処理例]
次に、情報処理装置710により生成された無線パケットのやりとりを行う場合における処理方法について説明する。
[PES毎のシーケンスナンバーによる並び替え処理例]
図28は、本技術の第2の実施の形態における情報処理装置710により生成された無線パケットのやりとりの一例を模式的に示す図である。図28の左側には、送信側の情報処理装置(情報処理装置710)の処理内容を模式的に示し、図28の右側には、受信側の情報処理装置の処理内容を模式的に示す。
図29は、本技術の第2の実施の形態における情報処理装置710により生成されるPESのフレームフォーマットの一例を示す図である。
図28には、電波伝搬環境によって、無線物理層処理の再送処理によるパケットの受信順序が、情報処理装置710のRTP生成部716から出力した時点と異なる例を示す。
受信側の情報処理装置のMACレイヤでは、通常、同一PES内でのパケット順序が正常になるように動作する。一方で、同一ストリームでもPES間のパケット順序に関しては保証されない。このため、受信側の情報処理装置では、PES間のパケット順序が元通りになるような並び替え処理(シーケンスナンバーによる並び替え処理(ReOrder処理))を行う。また、PESを割り当てる上で送信の優先順序をNAL生成部713へ戻すための並び替え処理(シーケンスナンバーによる並び替え処理)も行う必要がある。
これらの並び替え処理(シーケンスナンバーによる並び替え処理)は、RTPパケットのシーケンスナンバー・フィールドにある番号や、PESパケットのDTS情報(例えば、図29に示す符号770内の情報)を用いて、順序を判断することができる。
[QoS伝送における送受信のやりとり例(PES毎にBufferingする例)]
図30は、本技術の第2の実施の形態における情報処理装置710により生成された無線パケットのやりとりの一例を模式的に示す図である。図30の左側には、送信側の情報処理装置(情報処理装置710)の処理内容を模式的に示し、図30の右側には、受信側の情報処理装置の処理内容を模式的に示す。
図28では、並び替え処理(シーケンスナンバーによる並び替え処理)を一度に行う例を示したが、図30では、並び替え処理(シーケンスナンバーによる並び替え処理)を一度に行うのではなく、段階的に行う処理方法を示す。
ここで、図30に示す処理を行うため、受信側の情報処理装置にはPES管理用の保存領域をPES毎に備える。このように、PES管理用の保存領域をPES毎に備えることにより、保存領域への書き込みの時点で、各パケットが、対応する各保存領域へ書き込まれるため、PES間のパケット順序を戻すことができる。このため、例えば、PES間でのパケット順序が入れ替わったような場合でも、自然にPES間のパケット順序を戻すことができる。また、各保存領域からの読み出し処理を行い、Decoderへ転送する場合には、PESパケットのDTSヘッダ(例えば、図29に示す符号770内の情報)から読み出し順序や時刻を判断することが好ましい。
[送受信間で制御パケットをやりとりする例]
図31は、本技術の第2の実施の形態における情報処理装置710により生成された無線パケットのやりとりの一例を模式的に示す図である。図31の左側には、送信側の情報処理装置(情報処理装置710)の処理内容を模式的に示し、図31の右側には、受信側の情報処理装置の処理内容を模式的に示す。
図31では、送信側の情報処理装置と受信側の情報処理装置との間で、次のPESに移動する前に、受信側の情報処理装置から送信側の情報処理装置に受信確認(Acknoledge)パケットを送信する処理を追加する例を示す。
受信側の情報処理装置がPESパケットの復号処理を行う場合において、同一PES内ではパケット順序が戻されてからパケットが受信される。このため、同一PESパケットを全て受信したタイミングで、受信側の情報処理装置は、送信側の情報処理装置に受信確認(Acknoledge)パケットを送信する。
受信確認(Acknoledge)パケットを受信した送信側の情報処理装置は、1つ優先度が低いPESの送信を開始する。なお、送信側の情報処理装置は、一番高い優先度のPESを送信するための一定時間を予め保持している。このため、送信側の情報処理装置は、その一定時間の経過後に最下位優先度のパケットを送信していない状態であっても、それ以降のパケットを送信バッファから全て削除し、一番高い優先度のPESから送信処理を開始する。
例えば、SVC方式の無線映像伝送の場合には、一定時間を画像データのBase Layer送信間隔と定義することができる。そして、Base Layerを送信可能な時刻となったタイミングで、Enhanced Layerや音声データの送信を停止し、Base Layerの送信を優先する処理を行うことができる。
また、例えば、AVC方式の無線映像伝送の場合には、一定時間を画像データのIピクチャ送信間隔と定義することができる。そして、Iピクチャを送信可能な時刻となったタイミングで、PピクチャやBピクチャの送信を停止し、Iピクチャの送信を優先する処理を行うことができる。
<3.第3の実施の形態>
本技術の第3の実施の形態では、主に、マルチ受信ダイバーシティの設定方法およびその変更方法、コンテンツプロテクション設定方法について説明する。
[トポロジ・マルチバンドオペレーション環境下のマルチ受信ダイバーシティの設定方法およびその変更方法について]
例えば、ミリ波帯での通信(例えば、60GHz)は、広い帯域幅を確保することが可能である。このため、データ伝送レートをかなり高速に伝送することができる。また、波長が短いため、搭載機器(アンテナを含む)のサイズを小さくすることができる。
ただし、ミリ波帯での通信は、降雨や大気での減衰が大きい。そこで、Beam Forming等のように、アンテナに指向性をもたせ、距離を稼ぐ技術が存在する。ただし、人による遮断等のように、リンクを確保できないような環境では、ミリ波帯の特徴となる高速なデータ伝送レートを確保することができない。そこで、受信側の情報処理装置に複数の無線通信部(受信部)を備えることにより、遮断回避を行う方法がある。このような技術をマルチ受信ダイバーシティと称する。
例えば、複数の画像(例えば、メイン画像、サブ画像)を大型の1つのモニタに表示させるような使用形態を想定する。このような使用形態では、モニタが大画面になるため、上述した技術(マルチ受信ダイバーシティ)を用いることにより、複数の無線通信部を設置する場所の間隔(設置間隔)を長くすることができるため、さらに効果を高めることができる。
ただし、このような使用形態とする場合でも、複数のソース機器のうちのどのリンクをマルチ受信ダイバーシティに設定するか等のように、全体のトポロジを踏まえて設定を行う必要がある。このため、例えば、複数のソース機器を1つの纏まったモニタに表示するシステムにおいて、どのようにマルチ受信ダイバーシティを設定し、どのように切り替えるのかが重要となる。
[トポロジ・マルチバンドオペレーション環境下のコンテンツプロテクション設定方法について]
次に、コンテンツプロテクション設定方法について考える。例えば、IEEE802.11adに代表される60GHzの無線ネットワークシステムも加わり、マルチバンドオペレーション環境下でリンク制御が必要となった場合を想定する。この場合には、シンク機器に表示される複数の画像について、どの表示場所をどの帯域でオペレーションするかを制御する制御方法が重要となる。また、マルチ受信ダイバーシティのような回避リンクを予め用意するトポロジにおいて、コンテンツポロテクションを設定するための制御方法(その切替方法も含む)が重要となる。
そこで、本技術の第3の実施の形態では、ソース機器およびシンク機器間における通信について適切な制御を行う例を示す。
[通信システムの構成例]
図32は、本技術の第3の実施の形態における通信システム1000のシステム構成例を示すブロック図である。
通信システム1000は、情報処理装置1010と、情報処理装置1020と、情報処理装置1030とを備える。なお、通信システム1000は、図1に示す通信システム100に対応するものである。例えば、情報処理装置1010は、シンク機器である情報処理装置300に対応し、情報処理装置1020は、ソース機器である情報処理装置200に対応し、情報処理装置1030は、ソース機器である情報処理装置400に対応する。このため、以下では、通信システム100と共通する部分についての説明の一部を省略する。
本技術の第3の実施の形態では、図5に示すように、メイン画像の表示面積がサブ画像よりも大きい場合を例にして説明する。この場合には、メイン画像はサブ画像よりも解像度が大きいため、メイン画像については高品位映像伝送を行い、サブ画像については標準画質映像伝送を行うことが望ましい。
また、本技術の第3の実施の形態では、2.4GHz、5GHz、60GHzの3種類の周波数チャネルのうちの複数の周波数チャネルを同時に利用することが可能なコンカレント・オペレーションが可能な情報処理装置を用いる例を示す。
例えば、メイン画像を高品位映像伝送するためには、高速なデータ伝送レートを行うことが可能な通信方式の選択が必要である。そこで、本技術の第3の実施の形態では、60GHzに代表される、IEEE802.11ad規格準拠の無線通信部(例えば、図32に示す無線通信部1011、1012)を用いる例を示す。一方、サブ画像を標準画質映像伝送する場合には、2.4GHzまたは5GHzの無線通信部(例えば、図32に示す無線通信部1013)を用いる。
ここで、メイン画像に用いるIEEE802.11adは、最大で数Gbpsの高速伝送を行えるため、解像度としてHDに限らず4K伝送も行うことができ、高品位映像伝送に適している。しかしながら、上述したように、IEEE802.11adは、アンテナに指向性をもたせて距離を稼ぐ技術を採用しているため、人による遮断等のように、リンクを確保することができないような環境も想定される。そこで、本技術の第3の実施の形態では、そのような環境において、マルチ受信ダイバーシティを適切に設定する例(トポロジ変化に適切に対応する例)を示す。
具体的には、情報処理装置1010は、3つの無線通信部1011乃至1013を備えるものとする。上述したように、無線通信部1011、1012は、60GHzに代表される、IEEE802.11ad規格準拠の無線通信部であるものとする。また、無線通信部1013は、2.4GHzまたは5GHzの無線通信部であるものとする。
このように、本技術の第3の実施の形態では、シンク機器(情報処理装置1010)の無線インターフェース(60GHzの無線通信部1011、1012)を2つ備えるようにする。すなわち、シンク機器(情報処理装置1010)は、マルチ受信ダイバーシティを利用した受信を行うための複数の受信部(60GHzの無線通信部1011、1012)を備える。そして、マルチ受信ダイバーシティを利用する場合には、その複数の受信部(60GHzの無線通信部1011、1012)を用いる。これにより、例えば、情報処理装置1010および無線通信部1011間(点線1015で示す)に障害物が入り、リンク切断が生じたような場合でも、情報処理装置1010および無線通信部1012間(点線1016で示す)にリンクを回避することができる。すなわち、情報処理装置1010および情報処理装置1020間の映像伝送を途切れないようにすることができる。
このように、情報処理装置1020から情報処理装置1010にマルチ受信ダイバーシティを利用した送信を行う場合、情報処理装置1020は、無線通信部1011に送信する画像データと同じ画像データをコピーして無線通信部1012にパケット送信する。
また、情報処理装置1010は、無線通信部1011により受信した画像データについてロスしたパケットを、無線通信部1012により受信した画像データから補間することができる。このように補間を行うことにより、情報処理装置1020が送信した画像データに極力近付けることができる。また、情報処理装置1010は、その補間処理が施された画像データに基づいてメイン画像を生成して表示部に表示する。
また、情報処理装置1030は、無線通信部1013と接続し、画像データを無線通信部1013に送信することができる。この場合には、情報処理装置1010は、無線通信部1013により受信された画像データに基づいてサブ画像を生成して表示部に表示する。
このように、例えば、情報処理装置1020が情報処理装置1010にメイン画像を高品位映像伝送する場合には、情報処理装置1010および情報処理装置1020間の接続を1対2(点線1015、1016で示す)とすることができる。また、例えば、情報処理装置1030が情報処理装置1010にサブ画像を標準画質映像伝送する場合には、情報処理装置1010および情報処理装置1030間の接続を1対1(点線1018で示す)とすることができる。
[情報処理装置(ソース機器)のレイヤ間のやりとり例]
図33乃至36は、本技術の第3の実施の形態における情報処理装置1020のレイヤ間のデータのやりとり例を模式的に示す図である。図33乃至36では、情報処理装置1020に備えられているメモリ1101乃至1104間のデータのやりとり例を示す。
アプリケーションメモリ1101は、情報処理装置1020に備えられているアプリケーションメモリであるものとする。また、メモリ1102、1103は、60GHzの無線通信部220(図2に示す)の2つのポートに備えられているメモリであり、メモリ1104は、2.4GHzまたは5GHzの無線通信部220のポートに備えられているメモリであるものとする。
[ソース機器がGO(Group Owner)、シンク機器がClientの例]
図33および図34には、ソース機器(情報処理装置1020)がGOであり、シンク機器(情報処理装置1010)がClientである場合の例を示す。また、図33および図34では、メイン画像およびサブ画像の変更によりトポロジを変更する例を示す。なお、以下で示す各例は、GOをAPと置き換え、ClientをStationと置き換えても成り立つものとする。また、図33および図34では、メイン画像およびサブ画像の変更によりトポロジを変更する例を示しており、図33はマルチ受信ダイバーシティを切り替えながらどちらか一方へ送信する切替制御手法とし、図34は上述した通りの送信パケットをコピーする制御手法とする。最初に、切替制御手法について説明する。
[60GHzの2つの無線通信部に接続した状態でリンクの切替制御を行う例]
最初に、図33を参照して、ソース機器(情報処理装置1020)が、シンク機器(情報処理装置1010)の60GHzの2つの無線通信部に接続した状態でリンクの切替制御を行う例を示す。
最初に、ソース機器(情報処理装置1020)は、2.4GHzまたは5GHzの無線通信部220によりデータを送信しているものとする(1111)。すなわち、ソース機器(情報処理装置1020)の無線通信部220(2.4GHzまたは5GHz)から、シンク機器(情報処理装置1010)の無線通信部1013(2.4GHzまたは5GHz)へのデータ送信が行われているものとする。例えば、図32の点線1017に示すようにデータ送信が行われる。この場合に、シンク機器(情報処理装置1010)の表示部351に表示されているサブ画像がメイン画像に変更された場合には、シンク機器(情報処理装置1010)からトポロジ切替通知がソース機器(情報処理装置1020)に送信される。
このように、サブ画像からメイン画像に変更され、シンク機器(情報処理装置1010)からトポロジ切替通知が送信された場合には、ソース機器(情報処理装置1020)は、60GHzの無線通信部220によるデータ送信を開始する。すなわち、ソース機器(情報処理装置1020)の無線通信部220(60GHz)から、シンク機器(情報処理装置1010)の無線通信部1011、1012(60GHz)へのデータ送信が開始される。この場合に、ソース機器(情報処理装置1020)は、シンク機器(情報処理装置1010)の2つの無線通信部1011、1012(60GHz)に接続した状態で、リンクを順次切り替えながらデータ送信を行う(1112、1113)。例えば、図32の点線1015、1016が切り替えられながらデータ送信が行われる。
このように、ソース機器(情報処理装置1020)は、シンク機器(情報処理装置1010)の2つの無線通信部1011、1012(60GHz)に接続した状態での切替制御が可能であるため、リンクの切替を迅速に行うことができる。
なお、シンク機器(情報処理装置1010)の2つの無線通信部1011、1012(60GHz)の何れにもデータ送信ができない場合(両方が途切れた場合)も想定される。このような場合には、無線通信部1013(2.4GHzまたは5GHz)へのIP伝送によりfallbackすることが可能である。
また、シンク機器(情報処理装置1010)の表示部351に表示されているメイン画像がサブ画像に変更された場合には、シンク機器(情報処理装置1010)からトポロジ切替通知がソース機器(情報処理装置1020)に送信される。
このように、メイン画像からサブ画像に変更され、シンク機器(情報処理装置1010)からトポロジ切替通知が送信された場合には、ソース機器(情報処理装置1020)は、2.4GHzまたは5GHzの無線通信部220によるデータ送信を開始する。すなわち、ソース機器(情報処理装置1020)の無線通信部220(2.4GHzまたは5GHz)から、シンク機器(情報処理装置1010)の無線通信部1013(2.4GHzまたは5GHz)へのデータ送信が開始される(1114)。例えば、図32の点線1017に示すようにデータ送信が行われる。
[60GHzの2つの無線通信部に同時送信を行う例]
次に、図34を参照して、ソース機器(情報処理装置1020)が、シンク機器(情報処理装置1010)の60GHzの2つの無線通信部に同時送信を行う例を示す。
なお、シンク機器(情報処理装置1010)からトポロジ切替通知がソース機器(情報処理装置1020)に送信されるまでの処理(1115、トポロジ切替通知)については、図33に示す例と同様であるため、ここでの説明を省略する。
このように、サブ画像からメイン画像に変更され、シンク機器(情報処理装置1010)からトポロジ切替通知が送信された場合には、ソース機器(情報処理装置1020)は、60GHzの無線通信部220によるデータ送信を開始する。すなわち、ソース機器(情報処理装置1020)の無線通信部220(60GHz)から、シンク機器(情報処理装置1010)の無線通信部1011、1012(60GHz)へのデータ送信が開始される。この場合に、ソース機器(情報処理装置1020)は、シンク機器(情報処理装置1010)の2つの無線通信部1011、1012(60GHz)にデータの同時送信を行う(1116、1117)。例えば、図32の点線1015、1016のようにデータ送信が同時に行われる。
このように、ソース機器(情報処理装置1020)は、シンク機器(情報処理装置1010)の2つの無線通信部1011、1012(60GHz)にデータの同時送信を行うため、伝送特性を考慮せずに送信処理を行うことができる。
なお、シンク機器(情報処理装置1010)の2つの無線通信部1011、1012(60GHz)の何れにもデータ送信ができない場合については、図33に示す例と同様に、無線通信部1013へのIP伝送によりfallbackすることが可能である。
また、シンク機器(情報処理装置1010)の表示部351に表示されているメイン画像がサブ画像に変更された場合については、図33に示す例と同様であるため、ここでの説明を省略する。なお、どちらか片方または両方のリンクが切断したことを判断するため、送信バッファの蓄積残量を確認する機能を備えるようにしてもよい。また、より自動的に送信バッファの待機時間を制御し、一定時間以上経過したものを削除させ、この削除数に基づいて、切断または不安定なリンクを判断するようにしてもよい。
[シンク機器がGO、ソース機器がClientの例]
図35および図36には、シンク機器(情報処理装置1010)がGOであり、ソース機器(情報処理装置1020)がClientである場合の例を示す。ここで、シンク機器がGOである場合には、Clientのソース機器は、シンク機器の2つの無線通信部に接続することができない。そこで、図35および図36では、60GHzの無線通信部1011、1012にデータ送信を行う場合に、リンクの切替制御を行う例を示す。
最初に、図35を参照して、ソース機器(情報処理装置1020)が、シンク機器(情報処理装置1010)の60GHzの2つの無線通信部にデータ送信を行う例を示す。
最初に、ソース機器(情報処理装置1020)は、2.4GHzまたは5GHzの無線通信部220によりデータを送信しているものとする(1121)。すなわち、ソース機器(情報処理装置1020)の無線通信部220(2.4GHzまたは5GHz)から、シンク機器(情報処理装置1010)の無線通信部1013(2.4GHzまたは5GHz)へのデータ送信が行われているものとする。例えば、図32の点線1017に示すようにデータ送信が行われる。この場合に、シンク機器(情報処理装置1010)の表示部351に表示されているサブ画像がメイン画像に変更されたものとする。
このように、サブ画像からメイン画像に変更された場合には、ソース機器(情報処理装置1020)は、60GHzの無線通信部220によるデータ送信を開始する(1122、1123)。すなわち、ソース機器(情報処理装置1020)の無線通信部220(60GHz)から、シンク機器(情報処理装置1010)の無線通信部1011、1012(60GHz)へのデータ送信が開始される(1122、1123)。この場合に、ソース機器(情報処理装置1020)は、シンク機器(情報処理装置1010)の2つの無線通信部1011、1012との間で、60GHzのSSID(Service Set Identifier)による切替をしながらデータ送信を行う(1122、1123)。例えば、図32の点線1015、1016が切り替えられながらデータ送信が行われる。
このように、図35に示す例では、2.4GHz/5GHzまたは60GHzともにシンク機器がGOであるため、サブ画像からメイン画像への変更時に状態遷移を少なくすることができる。また、メイン画像への切り替え後に、使用周波数を変更させず、かつ、スキャンを行わないことにより、GOの切替時間を短縮することができる。
また、シンク機器(情報処理装置1010)の表示部351に表示されているメイン画像がサブ画像に変更された場合を想定する。このように、メイン画像からサブ画像に変更された場合には、ソース機器(情報処理装置1020)は、2.4GHzまたは5GHzの無線通信部220によるデータ送信を開始する(1124)。すなわち、ソース機器(情報処理装置1020)の無線通信部220(2.4GHzまたは5GHz)から、シンク機器(情報処理装置1010)の無線通信部1013(2.4GHzまたは5GHz)へのデータ送信が開始される(1124)。例えば、図32の点線1017に示すようにデータ送信が行われる。
次に、図36を参照して、ソース機器(情報処理装置1020)が、シンク機器(情報処理装置1010)の60GHzの2つの無線通信部にデータ送信を行う例を示す。
なお、サブ画像からメイン画像に変更されるまでの処理(1125)については、図35に示す例と同様であるため、ここでの説明を省略する。
このように、サブ画像からメイン画像に変更された場合には、ソース機器(情報処理装置1020)は、60GHzの無線通信部220によるデータ送信を開始する(1126、1128)。すなわち、ソース機器(情報処理装置1020)の無線通信部220(60GHz)から、シンク機器(情報処理装置1010)の無線通信部1011、1012(60GHz)へのデータ送信が開始される(1126、1128)。ここで、図36に示す例では、2.4GHzまたは5GHzと、60GHzとがTransparentで接続することができるものとする。この場合には、60GHzのリンクの切替中に、2.4GHzまたは5GHzへのFallbackを行うようにする(1127)。このように、60GHzのリンクの切替中に、2.4GHzまたは5GHzへのFallbackを行うことにより、GOの切替時間が長くなったような場合でも、シンク機器(情報処理装置1010)の表示部351に画像を停止させずに表示させることができる。
また、図36に示す例では、図35に示す例と同様に、2.4GHz/5GHzまたは60GHzともにシンク機器がGOであるため、サブ画像からメイン画像への変更時に状態遷移を少なくすることができる。
また、シンク機器(情報処理装置1010)の表示部351に表示されているメイン画像がサブ画像に変更された場合については、図35に示す例と同様であるため、ここでの説明を省略する。
このように、図33乃至図36に示す例では、ソース機器、シンク機器が、GO、Clientである場合を例にして説明した。ただし、ソース機器、シンク機器が、PCP、STA(Station)である場合についても、図33乃至図36に示す例を適用することができる。また、アプリケーションメモリ1101から、メモリ1103、メモリ1104へ同時送信を行うようにしてもよい。例えば、図20を参照して説明したように、アプリケーションメモリ1101からメモリ1103へのリンクと、アプリケーションメモリ1101からメモリ1104へのリンクとの2つのリンクの場合、伝送レートが異なる。このため、図19に示すように、Enhanced Layerをアプリケーションメモリ1101からメモリ1103に振り分け、Base Layerをアプリケーションメモリ1101からメモリ1104に振り分けて、同時送信を行うようにしてもよい。また、同時送信を行う際、コピーした後に映像圧縮処理を行い、圧縮率の低い映像をアプリケーションメモリ1101からメモリ1103に送信し、圧縮率の高い映像をアプリケーションメモリ1101からメモリ1104に送信するようにしてもよい。
[情報処理装置(ソース機器)の動作例]
図37は、本技術の第3の実施の形態における情報処理装置1020によるデータ送信処理の処理手順の一例を示すフローチャートである。なお、この処理手順は、図36に対応するデータ送信処理の一例を示す。
最初に、情報処理装置1010(ソース機器)に表示されている画像がサブ画像からメイン画像に変更されたものとする(ステップS2051)。この場合には、60GHzのリンクで動作を開始し、IP#1L2メモリ1102へパケットが送信される(ステップS2052)。続いて、IP#1L2メモリ1102の60GHzのリンクが不安定であるか否かが判断され(ステップS2053)、安定している場合には、ステップS2057に進む。
IP#1L2メモリ1102の60GHzのリンクが不安定である場合には(ステップS2053)、2.4GHzまたは5GHzのリンクのスループットが確認される(ステップS2054)。続いて、ビデオレートをそのスループットまで落とすようにする(ステップS2055)。続いて、IP#1L2メモリ1102のリンクが切断される(ステップS2056)。
続いて、IP#2L2メモリ1103のリンクと接続される(ステップS2057)。続いて、IP#2L2メモリ1103の60GHzのリンクが不安定であるか否かが判断され(ステップS2058)、不安定である場合には、ステップS2052に戻る。すなわち、60GHzの何れかのリンクが安定するまで、接続し直して試験が継続して行われる。
IP#2L2メモリ1103の60GHzのリンクが安定している場合には(ステップS2058)、IP#2L2メモリ1103へパケットが送信される(ステップS2059)。続いて、60GHzのリンクのスループットが測定される(ステップS2060)。続いて、2.4GHzまたは5GHzから、IP#2L2メモリ1103の60GHzのリンクにデータ伝送が変更される(ステップS2061)。続いて、ビデオレートをその測定して求められたスループットまで上げるようにする(ステップS2062)。
[情報処理装置(ソース機器)の動作例]
次に、情報処理装置(ソース機器)の動作例について説明する。ここでは、シンク機器(情報処理装置1010)がGOであり、ソース機器(情報処理装置1020)がClientである場合の例を示す。
また、ここでは、60GHzに代表される、IEEE802.11ad規格準拠の2つの無線通信部1011、1012との間で行われるデータ送信処理の動作例として、次の2種類((a)および(b))の動作例について説明する。
(a)リンク毎に別なMAC(Media Access Control)アドレスを設定する場合の動作例。なお、MACアドレスは、無線通信を利用して通信を行う装置を識別するための識別情報の一例である。
(b)MLME(MAC Layer Management Entity)を単一にし、リンク数にかかわらず、1つのMACアドレスにしか見えない場合の動作例。
最初に、図38を参照して、(a)リンク毎に別なMACアドレスを設定する場合の動作例について説明する。なお、この場合におけるコンテンツプロテクションの設定(Link Content Protection Setup)については、図41乃至図44を参照して詳細に説明する。
図38は、本技術の第3の実施の形態における情報処理装置1020によるデータ送信処理の処理手順の一例を示すフローチャートである。なお、図38に示す処理手順は、図12に示す処理手順の変形例である。このため、図12に示す処理手順と共通する処理手順については、説明の一部を省略する。また、図38に示す処理手順では、上述したように、60GHzに代表される、IEEE802.11ad規格準拠の2つの無線通信部1011、1012との間で行われるデータ送信処理の例を示す。
最初の各処理(ステップS971乃至S975)は、図12に示す各処理(ステップS901乃至S905)に対応する。ただし、情報処理装置1020は、2つの無線通信部1011、1012との間でデータ送信処理を行う。このため、情報処理装置1020は、1つの無線通信部(例えば、無線通信部1011)との間で各処理(ステップS971乃至S975)を行った後に、他の無線通信部(例えば、無線通信部1012)との間で各処理(ステップS971乃至S975)を行う。
また、ステップS975では、ストリーム送信の代わりに、ソース機器(情報処理装置1020)と、シンク機器(情報処理装置1010)の2つの無線通信部1011、1012との映像・音声伝送設定を完了させる処理が行われる。すなわち、ステップS975は、ストリーム送信準備ができた状態を意味する。
ここで、ソース機器は、コンテンツプロテクションが必要な情報ソースを送信する場合には、M3(RTSP Request)として、WFD_content_protectionを要求する。そして、ソース機器は、その要求に対してRTSP Responseで対応可能との情報を受信すると、HDCP(High-bandwidth Digital Content Protection system)2.2の暗号化を行う。
ストリーム送信準備ができた場合には(ステップS975)、情報処理装置1020は、情報処理装置1010の無線通信部1011とのコンテンツ暗号化に関する鍵生成・鍵交換を行う(ステップS976)。このように、ソース機器(情報処理装置1020)とシンク機器の1つの無線通信部(無線通信部1011)とのコンテンツ暗号化に関する鍵生成・鍵交換を行うことにより、無線リンクの秘話性を高くすることができる。
続いて、情報処理装置1020は、情報処理装置1010の無線通信部1012とのコンテンツ暗号化に関する鍵生成・鍵交換を行う(ステップS977)。このように、ソース機器(情報処理装置1020)とシンク機器の他の無線通信部(無線通信部1012)とのコンテンツ暗号化に関する鍵生成・鍵交換を行うことにより、無線リンクの秘話性を高くすることができる。
このように、図32に示す例では、リンク毎のRTT(ラウンド・トリップ・タイム)が異なる可能性があるため、リンク毎にコンテンツ暗号化を行う。なお、コンテンツ暗号化を行う方式としては、HDCPやDTCP(Digital Transmission Content Protection)−IP等を用いることができる。
続いて、情報処理装置1020は、情報処理装置1010の2つの無線通信部1011、1012にマルチ受信ダイバーシティ設定要求(マルチ受信Diversity設定要求)を行う(ステップS978)。すなわち、ソース機器が、シンク機器の2つの無線通信部にマルチ受信ダイバーシティ設定要求を送信する(ステップS978)。
続いて、情報処理装置1020は、情報処理装置1010からマルチ受信ダイバーシティ設定要求応答を受信したか否かを判断し(ステップS979)、受信していない場合には、その監視を継続して行う。
また、情報処理装置1010から、マルチ受信ダイバーシティ設定要求応答を受信した場合には(ステップS979)、情報処理装置1020は、マルチ受信ダイバーシティ設定の準備を行う。この準備が完了後、情報処理装置1020は、マルチ受信ダイバーシティ設定モード設定終了要求を、情報処理装置1010の2つの無線通信部1011、1012に送信する(ステップS980)。
続いて、情報処理装置1020は、情報処理装置1010からマルチ受信ダイバーシティ設定モード設定終了要求応答を受信したか否かを判断し(ステップS981)、受信していない場合には、その監視を継続して行う。
シンク機器からマルチ受信ダイバーシティ設定モード設定終了要求応答を受信した場合には(ステップS981)、ソース機器およびシンク機器間でマルチ受信ダイバーシティ設定が終了したと判断することができる。このため、情報処理装置1020は、マルチ受信ダイバーシティ用に画像データおよび音声データをコピーしてパケット送信を開始する(ステップS982)。すなわち、情報処理装置1020は、同一のデータ(画像データおよび音声データ)を、情報処理装置1010の無線通信部1011、1012にパケット送信する(ステップS982)。
ここで、データの送信処理の途中で、トポロジに変更が発生する場合(例えば、中央チャネルのソース機器を変更する場合)が想定される。このようにトポロジに変更が発生した場合には(ステップS983)、ソース機器およびシンク機器間の周波数チャネル変更、マルチ受信ダイバーシティ設定トポロジ変更があるため、ステップS974(Re−Negotiation処理)に戻る。一方、トポロジに変更がない場合には(ステップS983)、情報処理装置1020は、送信停止操作が行われたか否かを判断する(ステップS984)。そして、送信停止操作が行われた場合には(ステップS984)、データ送信処理の動作を終了する。一方、送信停止操作が行われていない場合には(ステップS984)、ステップS983に戻る。
次に、図39を参照して、(b)MLMEを単一にし、リンク数にかかわらず、1つのMACアドレスにしか見えない場合の動作例について説明する。
図39は、本技術の第3の実施の形態における情報処理装置1020によるデータ送信処理の処理手順の一例を示すフローチャートである。なお、図39に示す処理手順は、図38に示す処理手順の変形例である。このため、図38に示す処理手順と共通する処理手順については、同一の符号を付してこれらの説明の一部を省略する。
ストリーム送信準備ができた場合には(ステップS975)、情報処理装置1020は、情報処理装置1010との間で、1つのMACアドレスに対応したコンテンツ暗号化により鍵生成・鍵交換を行う(ステップS985)。これにより、無線リンクの秘話性を高くすることができる。
続いて、情報処理装置1020は、画像データおよび音声データのパケット送信を開始する(ステップS986)。なお、これ以降の各処理(ステップS978乃至S982)については、MLMEよりも下位レイヤの処理として、図38に示す各処理(ステップS978乃至S982)と同様の処理を行う。このように、複数の物理層を切り替えて使用する環境において、使用するIPレイヤが共通である場合に、PHYを切り替えても、再認証やLocality Checkのやり直しを行わないようにしてもよい。
[情報処理装置(シンク機器)の動作例]
次に、受信側のシンク機器(情報処理装置1010)の動作例について説明する。
図40は、本技術の第3の実施の形態における情報処理装置1010によるデータ受信処理の処理手順の一例を示すフローチャートである。なお、図40に示す処理手順では、上述したように、60GHzに代表される、IEEE802.11ad規格準拠の2つの無線通信部1011、1012を用いたデータ受信処理の例を示す。
最初に、モードテーブル要求を受信すると(ステップS2001)、情報処理装置1010は、そのモードテーブル要求を送信したソース機器にコマンド情報を送信する(ステップS2002)。例えば、情報処理装置1020にコマンド情報を送信する。
続いて、情報処理装置1010は、コマンド情報を送信したソース機器からモード設定情報を受信したか否かを判断し(ステップS2003)、モード設定情報を受信していない場合には、監視を継続して行う。
また、モード設定情報をソース機器から受信した場合には(ステップS2003)、情報処理装置1010は、そのソース機器との画像データおよび音声データ伝送に関する設定を終了する。ここで、上述したように、情報処理装置1010は、2つの無線通信部1011、1012を用いてデータ受信処理を行う。このため、情報処理装置1010は、1つの無線通信部(例えば、無線通信部1011)について各処理(ステップS2001乃至S2003)を行った後に、他の無線通信部(例えば、無線通信部1012)についても、それらの各処理を行う。
このように、各処理(ステップS2001乃至S2003)により2つの無線通信部1011、1012について接続設定が行われた場合には、2つのGO(2つの無線通信部1011、1012)に接続するトポロジが構築される。現状、1つのStationが2つのAPに接続する機能が存在するため、GO/Client間にも同等の機能を実現させるものとする。このように、トポロジが構築された後に、情報処理装置1010は、2つの無線通信部1011、1012を用いて画像データおよび音声データを受信する(ステップS2004)。
ここで、情報処理装置1010がソース機器との間でマルチ受信ダイバーシティを利用した通信を行う場合には、コンテンツ暗号化に関する鍵生成・鍵交換、マルチ受信ダイバーシティ設定に関する情報のやりとり等をソース機器との間で行う。例えば、図38に示すステップS976乃至S981に対応する各処理を行う。ただし、図40では、これらの各処理についての図示および説明を省略する。
画像データおよび音声データを受信した場合には(ステップS2004)、情報処理装置1010は、受信した画像データおよび音声データについて補間処理を行う(ステップS2005)。例えば、情報処理装置1010は、1つの無線通信部(例えば、無線通信部1011)により受信できなかった画像データおよび音声データについて、他の無線通信部(例えば、無線通信部1012)により受信したデータを用いて補間処理を行う。なお、補間処理とともに、並び換え処理(ReOrder・Duplicateパケット削除)を行うようにしてもよい。例えば、2つの無線通信部1011、1012に受信用の共通バッファを備え、並び換え処理を行うことができる。
続いて、情報処理装置1010は、受信したデータに基づいて、リンク特性情報を取得する(ステップS2006)。ここで、リンク特性情報は、例えば、図4に示す電波伝搬測定情報393に格納される各情報である。例えば、リンク特性情報は、PER、BER、パケットの再送回数、スループット、フレーム落ち、SIR、RSSI、SINR(例えば、SIRの代わりに用いる)等である。このように、リンク特性情報を把握することにより、情報処理装置1010は、ソース機器へメッセージを返信する場合に、2つの無線通信部1011、1012のうちで、どちらのパスが安定しているかを判断することができる。
また、情報処理装置1010は、その取得されたリンク特性情報をソース機器に送信するようにしてもよい(ステップS2007)。すなわち、情報処理装置1010は、その取得されたリンク特性情報を比較してリターンパスを確保するようにしてもよい(ステップS2007)。
続いて、情報処理装置1010は、受信した画像データおよび音声データに基づく画像表示および音声出力を開始する(ステップS2008)。
このように、情報処理装置1010の制御部(図3に示す制御部370に対応)は、ソース機器に関するcapability情報と、ソース機器との通信に関する電波伝搬測定情報と、情報処理装置1010の使われ方とに基づいて、ソース機器に関するストリームのマルチ受信ダイバーシティを設定するための制御を行う。ここで、ソース機器(例えば、情報処理装置1020)がマルチ受信ダイバーシティを利用してストリームを送信する場合、複数のリンクのうち1つ以上の不安定なリンクがあっても他のリンクへ影響を与えないようにすることが好ましい。そこで、ソース機器の制御部(例えば、情報処理装置1020の制御部(図2に示す制御部240に対応))は、送信するストリームのバッファリング管理を行う。そして、ソース機器の制御部は、バッファの待機時間を自動的に一定(Time To Live機能)にさせ、その一定時間後に不安定なリンク用送信バッファからストリームデータを削除するようにしてもよい。また、ソース機器の制御部は、リンクが不安定になっていることを再送回数等に基づいて確認することができたタイミングで、能動的にバッファから不安定なリンク用送信バッファを削除するようにしてもよい。これらにより、不安定なリンクに影響されることなく、ストリームのマルチ受信ダイバーシティを動作させることができる。
また、情報処理装置1010の制御部は、ソース機器がマルチ受信ダイバーシティを利用してストリームを送信する場合に、複数の受信部に同時送信する第1動作と、複数の受信部を切り替えながら各受信部に順次送信する第2動作との何れかを行わせるための制御を行う。また、情報処理装置1010の制御部は、ソース機器がマルチ受信ダイバーシティを利用してストリームを送信する場合に、識別情報(例えば、MACアドレス)を複数の受信部に係る複数のリンク毎に設定する第1動作と、リンクの数にかかわらずその識別情報を1つのみ設定する第2動作との何れかを行わせるための制御を行う。また、情報処理装置1010の制御部は、その第1動作およびその第2動作で異なるコンテンツプロテクションを設定するための制御を行う。
また、情報処理装置1020の制御部(図2に示す制御部240に対応)は、情報処理装置1020に関するcapability情報と、シンク機器との通信に関する電波伝搬測定情報と、シンク機器の使われ方とに基づくシンク機器からの制御に基づいてシンク機器に関するストリームのマルチ受信ダイバーシティを設定するための制御を行う。
なお、本技術の第3の実施の形態では、メイン画像の表示面積がサブ画像よりも大きい場合にマルチ受信ダイバーシティを利用する例について説明したが、他の場合(表示面積の大小以外の場合)にマルチ受信ダイバーシティを利用するようにしてもよい。例えば、ユーザが指定した表示画像を高品位画像として表示する場合に、マルチ受信ダイバーシティを利用することができる。
また、本技術の第3の実施の形態では、マルチ受信ダイバーシティを利用する場合に、60GHzのデータ伝送方式を用いる例を示したが、他のデータ伝送方式を用いるようにしてもよい。例えば、5GHzでも、IEEE802.11acに代表される高速データ伝送方式が存在するため、その高速データ伝送方式を用いるようにしてもよい。また、Wi−Fi以外の無線方式を用いるようにしてもよい。
また、図38では、ステップS976およびS977の各処理において、リンク毎に別々にコンテンツ暗号化を行う例を示したが、リンクは60GHzに限定されない。例えば、ソース機器とシンク機器の1つの無線通信部を60GHzとし、そのソース機器とそのシンク機器の他の無線通信部を2.4GHzまたは5GHzとする場合についても、本技術の第3の実施の形態を適用することができる。
また、本技術の第3の実施の形態では、2つの無線通信部1011、1012の処理方法として、(a)および(b)の2種類の動作を定義して、(a)および(b)の何れについても、リンク毎に同じパケットを生成して伝送する例を示した。ただし、パケットを生成するだけに限らず、複数のリンクを使わずに、どれか特性の良い1リンクを選択し、そのリンクへ画像データおよび音声データを伝送するようにしてもよい。例えば、パケットを受信したときのPER等の特性情報をシンク機器からソース機器に返信し、ソース機器が特性の良いリンクを選択して伝送を行うことができる。このように、ソース機器が特性の良いリンクを選択して伝送を行うことにより、ソース機器およびシンク機器の何れについても消費電力を低減させることができる。
[マルチ受信ダイバーシティにおけるHDCPの例]
上述したように、本技術の第3の実施の形態では、マルチ受信ダイバーシティを利用することにより2つのリンクが接続可能な環境を設定することができる。そこで、以下では、2つのリンクが接続可能な環境において、HDCPを用いる場合の例を示す。
[情報処理装置(ソース機器)の動作例]
図41は、本技術の第3の実施の形態における情報処理装置1020によるHDCP処理の処理手順の一例を示すフローチャートである。なお、この処理手順では、図38に対応するHDCP処理の一例を示す。
最初に、HDCP−protected Interface Port毎に独立して認証プロトコルが実行される(ステップS2011乃至S2015)。具体的には、これから使用するInterface Portが規定数以内であるか否かが判断される(ステップS2011)。すなわち、ホップ数(転送回数)が規定数以内であるか否かが判断される(ステップS2011)。
Interface Portが規定数以内である場合には(ステップS2011)、全てのInterface Portについて認証処理が終了したか否かが判断される(ステップS2012)。例えば、Interface Port毎に各処理(ステップS2013乃至S2015)が終了すると、Port数を+1して規定数以内であるか否かが判断される。
そして、全てのInterface Portについて認証処理が終了していない場合には(ステップS2012)、Interface PortのAKE(Authentication and Key Exchange)プロセスが実施される(ステップS2013)。なお、AKEについては、図43を参照して詳細に説明する。続いて、Interface PortのParingが実施される(ステップS2014)。なお、Paringについては、図43を参照して詳細に説明する。続いて、Interface PortのLocality Checkが実施される(ステップS2015)。なお、Locality Checkについては、図44を参照して詳細に説明する。
また、全てのInterface Portについて認証処理が終了した場合には(ステップS2012)、セッションキーを共通とすることができるか否かが判断される(ステップS2016)。すなわち、セッションキーをInterface Port毎に再生するか否かが判断される(ステップS2016)。この判断は、例えば、送信対象となるコンテンツに関連付けられている付随情報(メタ情報)に基づいて行われる。
セッションキーを共通とすることができる場合には(ステップS2016)、Multicast Keyが設定される(ステップS2017)。これにより、Multicast Keyがソース機器およびシンク機器間でやり取りされる。なお、例えば、Multicast Keyで問題なければ、元コンテンツをコピーせずにマルチ受信ダイバーシティする場合には都合がよいと想定される。
また、セッションキーを共通とすることができない場合には(ステップS2016)、Unicast Keyが設定される(ステップS2018)。すなわち、Multicast Keyが許可されていない場合には(ステップS2016)、Unicast Keyが別々に生成される(ステップS2018)。これにより、Unicast Keyがソース機器およびシンク機器間でやり取りされる。
続いて、全てのInterface Portについて認証処理(HDCP−protected Interface Portの認証プロセス)が終了したか否かが判断される(ステップS2019)。そして、全てのInterface Portについて認証処理が終了していない場合には(ステップS2019)、Interface PortのSKE(Session Key Exchange)が実施される(ステップS2020)。なお、SKEについては、図44を参照して詳細に説明する。
また、全てのInterface Portについて認証処理が終了した場合には(ステップS2019)、映像・音声伝送が開始される(ステップS2021)。
続いて、現在接続しているリンクが不安定であるか否かが判断される(ステップS2022)。そして、現在接続しているリンクが不安定である場合には(ステップS2022)、別なリンクへの変更が行われる(ステップS2023)。一方、現在接続しているリンクが不安定でない場合には(ステップS2022)、HDCP処理の動作を終了する。
[情報処理装置(ソース機器)の動作例]
次に、2つのリンクが接続可能な環境において、リンク毎にコンテンツ保護方式(Version)を共通化させる例を示す。
図42は、本技術の第3の実施の形態における情報処理装置1020によるHDCP処理の処理手順の一例を示すフローチャートである。なお、この処理手順では、図39に対応するHDCP処理の一例を示す。すなわち、マルチ受信ダイバーシティにおける同一周波数帯でのコンテンツ保護に関する処理の一例を示す。
最初に、2つのリンクのHDCP Versionが一致するか否かが判断される(ステップS2031)。そのVersionが一致する場合には(ステップS2031)、そのVersionで暗号化が行われる。一方、そのVersionが一致しない場合には(ステップS2031)、低いバージョンで暗号化が行われる。このため、2つのリンクのHDCP Versionのうち、低いVersionに合わせるようにする(ステップS2032)。
続いて、2つのリンクの周波数が同一周波数であるか否かが判断される(ステップS2033)。例えば、2.4GHz、5GHz帯、60GHz帯等の周波数帯域が同一であるか否かが判断され、同一周波数帯の異なるチャネルについては、この処理において合わせるようにする。
2つのリンクの周波数が同一周波数である場合には(ステップS2033)、複数のチャネルが同時に接続されているか否かが判断される(ステップS2034)。そして、複数のチャネルが同時に接続されている場合には(ステップS2034)、Multicast Keyが設定される(ステップS2035)。これにより、Multicast Keyがソース機器およびシンク機器間でやり取りされる。一方、複数のチャネルが同時に接続されていない場合には(ステップS2034)、Unicast Keyが設定される(ステップS2036)。これにより、Unicast Keyがソース機器およびシンク機器間でやり取りされる。
このように、2つのリンクともコンテンツ保護のやり取りが終了し、リンクが暗号化されたため、映像・音声伝送が開始される(ステップS2037)。
続いて、現在接続しているリンクが不安定であるか否かが判断される(ステップS2038)。そして、現在接続しているリンクが不安定である場合には(ステップS2038)、別なリンクへの変更が行われる(ステップS2039)。一方、現在接続しているリンクが不安定でない場合には(ステップS2038)、HDCP処理の動作を終了する。
また、2つのリンクの周波数が同一周波数でない場合には(ステップS2033)、他方のリンクとして別の周波数帯を用いる場合に、コンテンツプロテクションが2リンク分複製することが可能であるか否かが判断される(ステップS2040)。この判断は、例えば、送信対象となるコンテンツに関連付けられている付随情報(メタ情報)に基づいて行われる。
ここで、例えば、本技術の第3の実施の形態では、パケットを2つのリンク分だけコピーして各無線通信部に同時に伝送する例を示すが、その周波数帯が別の場合には、1つ目のリンクで測定したLocallity Check結果を使えない。このため、そのような処理が必要となる。
2リンク分複製することが可能でない場合には(ステップS2040)、使用するリンクのコンテンツ保護において、最新のVersionを使用するようにする(ステップS2042)。一方、2リンク分複製することが可能である場合には(ステップS2040)、各々のリンクに対して、Unicast Keyが設定される(ステップS2041、S2042)。なお、図42に示す処理手順において、例えば、送信側のデバイス鍵、受信側のデバイス鍵は1つでよいが、共通秘密鍵やセッション鍵をリンク毎に異なるようにしてもよい。
[HDCPのリンク暗号化に関する鍵交換例]
次に、HDCPのリンク暗号化に関する鍵交換に関する処理例を示す。
図43および図44は、本技術の第3の実施の形態におけるソース機器およびシンク機器間で行われる鍵交換処理例を示すシーケンスチャートである。
ここで、リンクの暗号化を行う場合には、次の(1)乃至(4)のプロセスで鍵交換が行われる。
(1)Authentication and Key Exchange(AKE)
(2)Pairing
(3)Locality Check
(4)Session Key Exchange(SKE)
そこで、以下では、図43および図44を参照して、上述した(1)乃至(4)のプロセスに沿って鍵交換処理例を示す。
[AKE、Pairingについて]
これらについては、図43を参照して説明する。なお、図43のaには、128ビットマスターキー(km)を保存しない場合の例を示し、図43のbには、128ビットマスターキー(km)を保存する場合の例を示す。
AKEは、認証プロトコルの最初のステップである。HDCP送信機(デバイスA)は、以前に認証交換が完了していても、いつでも認証を起動することができる。
HDCP送信機は、認証起動メッセージAKE_Initの一部として新しい64ビットの疑似ランダム値(rtx)をHDCP受信機(デバイスB)に送信する(751)。これにより、新しいHDCPセッションの認証を起動する。
続いて、HDCP送信機は、REPEATERを含むAKE_Send_Certとcertrx値をHDCP受信機から受信する(752)。なお、REPEATERは、接続されたHDCP受信機がHDCP Repeaterであるか否かを示すものである。
ここで、図43のaを参照して、128ビットマスターキー(km)を保存しない場合の例を示す。
HDCP送信機は、Kpubdcpを用いて証明書の署名を確認する。この署名確認の失敗は認証の失敗となり、HDCP送信機は認証プロトコルを中止する。また、HDCP送信機は、128ビットマスターキー(km)を生成し、AKE_No_Stored_kmメッセージをHDCP受信機に送信する(753)。
続いて、HDCP送信機は、64ビットの擬似ランダム値(rrx)を含むAKE_Send_rrxメッセージをHDCP受信機から受信する(754)。また、HDCP送信機は、256ビットのH'を含むAKE_Send_H_primeメッセージをHDCP受信機から受信する(755)。このメッセージは、HDCP受信機へのEkpub(km)(AKE_No_Stored_km)の伝送後1秒以内に受信されなければならない。
次に、図43のbを参照して、128ビットマスターキー(km)を保存する場合の例を示す。
HDCP送信機は、128ビットのEkh(km)とHDCP受信機のReceiver IDに関連する128ビットmを有するAKE_Stored_kmメッセージをHDCP受信機に送信する(757)。
続いて、HDCP送信機は、64ビットの擬似ランダム値(rrx)を含むAKE_Send_rrxメッセージをHDCP受信機から受信する(758)。また、HDCP送信機は、256ビットのH'を含むAKE_Send_H_primeメッセージをHDCP受信機から受信する(759)。 このメッセージは、HDCP受信機へのAKE_Stored_kmの伝送後200mS以内に受信されなければならない。
メッセージが200mS以内に受信できない場合、または、HとH'が不一致の場合には、認証が失敗したと判断され、認証プロトコルは中止される。
[Pairingについて]
AKE処理を速めるため、ペアリングはAKEを有するHDCP送信機とHDCP受信機間で並行して実施されなければならない。
[Locality Checkについて]
Locality Checkについては、図44のaを参照して説明する。
HDCP送信機は、64bit nounce乱数のr_nを生成し、仮の64ビット擬似ランダムr_nをダウンストリームのHDCP受信機に送信することにより起動する(761)。この場合に、HDCP送信機は、仮の64ビット擬似ランダムr_nの送信に合わせてTimerを開始する。
HDCP受信機は、受信した仮の64ビット擬似ランダムr_nを用いて、L'=HMAC−SHA256(r_n,k_d XOR r_rx)を計算する。そして、HDCP受信機は、LC_Send_L_primeメッセージをHDCP送信機に送信する(762)。
HDCP送信機は、LC_Send_L_primeメッセージを受信した際に(762)、Lを右のL'と同じ式で計算し、受信したL'と照合する。そして、一致しない場合には、HDCP送信機は、ローカリティ確認が失敗したと判断する。
[SKEについて]
Session Key Exchange(SKE)については、図44のbを参照して説明する。
セッションキー交換(SKE)は、ローカリティ確認の成功後に、HDCP送信機により起動される。
HDCP送信機は、128 bit疑似乱数のession key k_SをHW生成し、64 bit 疑似乱数のr_ivをHW生成する。また、HDCP送信機は、slide♯6のブロックを使い、ctr=2として128bitのdkey_2をHW生成する。また、HDCP送信機は、k_Sをdkey_2で暗号化(E_dkey(k_S)=k_S XOR(dkey_2 XOR r_rx))する。
そして、HDCP送信機は、SKE_Send_Eksメッセージの一部として、暗号化されたセッションキーE_dkey(k_s)とr_ivをHDCP受信機に送信する(763)。また、HDCP送信機は、暗号化されたセッションキーをHDCP受信機に送信し、暗号化されたセッションキーの伝送後200mSにHDCP暗号化を可能にする。
また、HDCP受信機は、slide♯6のブロックを使い、ctr=2として128bitのdkey_2を生成する。また、HDCP受信機は、k_Sを復号(k_S=E_dkey(k_S)OR(dkey_2 XOR r_rx))する。
セッションキーksで暗号化されたコンテンツは、HDCP送信機とHDCP受信機間に伝送開始される(764)。
ここで、HDCP暗号化は、AKE、ローカリティ確認、SKEステージの成功終了後のみに可能とならなければならない。
なお、HDCP送信機は、複数のHDCP−protectedインタフェースポートによりHDCP受信機と同時に接続することに対応するようにしてもよい。また、全てのHDCP−protectedインタフェースポートに渡り、同じセッション鍵とrivを共有してもよい(3.8 Uniqueness of ks and rtx)。
しかし、HDCP送信機は、接続されたそれぞれのHDCP受信機に異なったkmとrtx値を確保しなければならないものとする。
このように、情報処理装置1010の制御部(図3に示す制御部370に対応)は、ソース機器に関するcapability情報と、ソース機器との通信に関する電波伝搬測定情報と、情報処理装置1010の使われ方とに基づいてソース機器に関するストリームのコンテンツプロテクションを設定するための制御を行う。この場合に、情報処理装置1010の制御部は、マルチ受信ダイバーシティを利用したストリームの送信に用いられる複数の周波数チャネルのそれぞれで使用されるコンテンツプロテクションのバージョンが異なる場合には、これらのバージョンのうちの低いバージョンに係るコンテンツプロテクションを設定するための制御を行う。また、情報処理装置1010の制御部(図3に示す制御部370に対応)は、ソース機器に関する管理情報(図4に示す)に基づいて、そのソース機器のHDCPの設定方法を選択するための制御を行うようにしてもよい。
[通信システムの構成例]
図45は、本技術の第3の実施の形態における通信システムを構成する各情報処理装置の機能構成例を示すブロック図である。図45では、送信側の情報処理装置(ソース機器)として情報処理装置720を示し、受信側の情報処理装置(シンク機器)として情報処理装置730を示す。
なお、情報処理装置720は、図23に示す情報処理装置710の一部を変形したものである。このため、情報処理装置710と共通する部分には、同一の符号を付してこれらの説明の一部を省略する。
また、情報処理装置730を構成する各部(アンテナ731乃至SEI生成部744)は、情報処理装置720を構成する各部(アンテナ728乃至画像データ生成部711)に対応する。例えば、情報処理装置730を構成する各生成部(画像データ生成部711乃至無線パケット生成部726)は、情報処理装置720を構成する各復号部(画像データ復号部743乃至無線パケット復号部734)に対応する。このため、情報処理装置730については、その説明を省略する。
また、表示部745は、例えば、画像データ復号部743により復号された画像データに基づく画像を表示する表示装置である。なお、表示部745として、例えば、有機EL、クリスタルLEDディスプレイ、LCD等の表示パネルを用いることができる。なお、図45では、情報処理装置730の外部に表示部745を設ける例を示すが、情報処理装置730の内部に表示部745を設けるようにしてもよい。
図45では、パケット生成部722が2つの無線方式に対応する例(2.4GHz/5GHz/60GHzに1つのIPアドレスを設定する例)を示す。すなわち、図45では、2.4GHz/5GHzに1つのIPアドレスを設定し、60GHzに1つのIPアドレスを設定する例以外の方式の一例を示す。なお、図45に示す例は、図39に示す例に対応する。
情報処理装置720は、暗号化生成部721と、パケット生成部722と、アンテナ727、728とを備える。これらの各部は、制御部(図2に示す制御部240に対応する)により制御される。また、パケット生成部722は、UDP生成部723と、TCP生成部724と、IP生成部725と、無線パケット生成部726とを備える。また、無線パケット生成部726には、2つのアンテナ727およびアンテナ728が接続される。ここで、アンテナ727は、60GHzに対応し、アンテナ728は、2.4GHzまたは5GHzに対応するアンテナであるものとする。
このように、2つのアンテナ727およびアンテナ728が構成される場合でも、IP生成部725までの各処理を1ブロックとして把握することができる。また、無線パケット生成部726は、2つの周波数チャネルに対応する。
このような構成は、IEEE802.11adでは、FST(Fast Session Transfer)のTransparent機能として定義されている。また、IP生成部725よりも上位の階層は、2つのアンテナ727およびアンテナ728の特性を把握せずに無線映像伝送を行うことが可能となる。
なお、無線パケット生成部726の切替判断の詳細については、IEEE802.11adに記載がない。このため、例えば、PER、BER、パケットの再送回数、スループット等に基づいて判断することができる。また、例えば、フレーム落ち、SIR、RSSI等に基づいて判断するようにしてもよく、SIRの代わりにSINRを用いるようにしてもよい。
ここで、何れか一方の無線回線が接続された環境において、コンテンツプロテクトが必要な画像データを伝送する場合を想定する。ここでは、アンテナ727を介した接続が行われる場合を想定して説明する。なお、アンテナ727およびアンテナ728の接続順序に限定はなく、どちらが先に接続してもよいものとする。また、コンテンツプロテクトが必要な画像データを伝送する時点でどちらの無線回線が接続されていてもよいものとする。
暗号化生成部721は、図41に示す例と同様に、アンテナ727を介した接続が行われる無線回線について1度のみ暗号化処理を行う。この暗号化処理により、送信側の情報処理装置720と、受信側の情報処理装置730との間で鍵交換が終了し、その鍵により暗号化された画像データを送信することができる。本技術の第3の実施の形態では、無線回線がアンテナ727からアンテナ728に変更された場合でも、IP生成部725のポートが切断されるまでの間は、その鍵交換された鍵を用いることができる。
一方、無線パケット生成部726の処理では、IP生成部725よりも上位レイヤは、物理層(第1層)に60GHzが使われているのか、2.4GHzまたは5GHzが使われているのかを把握することができない。上述したように、60GHzと、2.4GHzまたは5GHzとの間では、ストリーム伝送帯域が10倍程度異なるため、2.4GHzまたは5GHzを使用時には画像データの圧縮率を高くする必要がある。そこで、本技術の第3の実施の形態では、無線パケット生成部726から画像データ生成部711(または、SEI生成部712)にチャネル変更情報や現状設定されているチャネルをリアルタイムに通知する制御を行う。すなわち、情報処理装置720の制御部(図2に示す制御部240に対応する)は、複数の周波数チャネルのうちストリームの伝送に使用される周波数チャネルに関する情報を、IPパケット生成に係る階層よりも上位階層に通知するための制御を行う。
また、例えば、SEI生成部712により生成された情報は、データ伝送速度としては低いが、安定性が求められる。このため、SEI生成部712により生成された情報については、60GHzよりも2.4GHzまたは5GHzにより送信することが好ましい。そこで、無線パケット生成部726は、SEI生成部712により生成された情報を安定度が高い周波数チャネルで伝送させるため、IPパケットにおけるIPヘッダのTOS(Type of Service)フィールドを用いる。すなわち、無線パケット生成部726は、IPパケットにおけるIPヘッダのTOSフィールドに周波数チャネル設定情報を書き込む書き込み処理を行う。この書き込み処理により、無線パケットを生成する処理において、IPパケットにおけるIPヘッダのTOSフィールドに基づいて、上位レイヤの意図が反映された周波数チャネルを設定することができる。すなわち、情報処理装置720の制御部(図2に示す制御部240に対応する)は、ストリームの伝送に使用される周波数チャネルの設定に関する設定情報を、IPパケットにおけるIPヘッダのTOPフィールドに書き込むための制御を行う。これにより、使用する物理層をトランスポート層から指定することができる。すなわち、情報処理装置720の制御部(図2に示す制御部240に対応する)は、使用する物理層をトランスポート層から指定するための制御を行うことができる。
なお、本技術の実施の形態は、図45に示す例に限定されない。例えば、図45では、無線パケット生成部726に2つのアンテナのみを接続する例を示すが、アンテナ本数は対応周波数帯には限定されないものとする。例えば、MIMO(Multiple Input Multiple Output)方式を用いたIEEE802.11n/acを用いて伝送を行う場合には、1つのチャネルで複数本のアンテナを利用する。また、2つの周波数チャネルだけではなく、Bluetooth(登録商標)やLTEのような公衆回線と接続するプロトコルを搭載するようにしてもよい。
また、図45では、IP生成部725が1つのIPアドレスを設定する例を示すが、これに限定されない。例えば、1つのMACアドレスを設定するようにしてもよく、その他の固定IDを設定するようにしてもよい。
また、図45では、無線パケット生成部726が、SEI生成部712により生成された情報を安定度が高い周波数チャネルで伝送させるため、IPヘッダのTOSフィールドを用いる例を示したが、これに限定されない。例えば、FST(Fast Session Transfer)のTransparent機能を使用しているときでも、TCPパケットとUDPパケットで周波数チャネルを設定するようにしてもよい。また、接続ポートによって周波数チャネルを設定するようにしてもよく、パケットヘッダの一部に周波数設定フィールドを設けるようにしてもよい。
また、本技術の第3の実施の形態では、コンテンツプロテクション処理を行っているトポロジとして、図35、図36を想定して説明したが、これらに限定されるものではない。本来、図33、図34に示すように、コンテンツプロテクションを1:N(Nは2以上)といったマルチ受信環境で処理を行うことの方がメリットがある。例えば、コンテンツ送信を行う情報処理装置が、AP・PCPまたはGO機能を備えるトポロジ環境が望ましい。例えば、送信側の情報処理装置1020がGOとして機能する場合、無線通信部1011と無線通信部1012はClientとして接続することができ、Non−Concurrentデバイスを使用した場合においても構築可能なトポロジである。デバイス依存ではあるが、1台の情報処理装置が1台のGOしか接続できないデバイスもあるため、その場合には、図33、図34に示すようなトポロジでコンテンツプロテクション処理を行う。
また、ソース機器またはシンク機器がモバイル機器であるか否かに基づいて、切り替えながらの送信(Switching Diversity)を設定するか、マルチ受信ダイバーシティを設定するか否かを判断するようにしてもよい。すなわち、PHYを1つのみで消費電力を減らすか、マルチPHYを使うかを判断するようにしてもよい。また、モバイル機器である場合には、サブ画像の時にPauseするようにしてもよい。
以上では、複数の周波数チャネルを同時に利用することが可能なコンカレント・オペレーションを実行することが可能な情報処理装置について説明した。例えば、図32に示す例では、情報処理装置1020が、情報処理装置1010の無線通信部1011、1012に対してGOとして動作し、情報処理装置1010の無線通信部1013が、情報処理装置1030に対してGOとして動作することができる。また、情報処理装置1020は、情報処理装置1010の無線通信部1011、1012との間ではGOとして動作するとともに、情報処理装置1010の無線通信部1013との間ではP2P Clientとして動作することも可能である。
具体的には、図32に示す例において、実線の矢印1015、1016は、情報処理装置1020が、情報処理装置1010の無線通信部1011、1012に対してGOとして動作する場合における各装置間の関係を示すものとする。また、点線の矢印1017は、情報処理装置1020が、情報処理装置1010の無線通信部1013に対してP2P Clientとして動作する場合における各装置間の関係を示すものとする。また、点線の矢印1018は、情報処理装置1030が、情報処理装置1010の無線通信部1013に対してP2P Clientとして動作する場合における各装置間の関係を示すものとする。
なお、コンカレント・オペレーションとして、例えば、時分割コンカレント機能および同時利用コンカレント機能のうちの何れかを利用するようにしてもよい。
また、図32では、1つのシンク機器(情報処理装置1010)と、複数のソース機器(情報処理装置1020、1030)との間で通信を行う例を示した。ただし、複数のシンク機器と、1または複数のソース機器との間で通信を行う場合についても、本技術の第3の実施の形態を適用することができる。そこで、図46および図47では、複数のシンク機器と、複数のソース機器との間で通信を行う場合の例を示す。
図46および図47は、本技術の第3の実施の形態における通信システム1200のシステム構成例を示すブロック図である。図46および図47では、複数のシンク機器(情報処理装置1010、1040)と、複数のソース機器(情報処理装置1020、1030)との間で通信を行う場合の例を示す。なお、図46および図47は、図32の一部を変形したものである。具体的には、図32に示す通信システム1000において、情報処理装置1040を追加した通信システムの一例(通信システム1200)を示す。このため、図46および図47では、図32に示す通信システム1000と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。
図46において、実線の矢印1021は、情報処理装置1020が、情報処理装置1010の無線通信部1012に対してGOとして動作する場合における各装置間の関係を示すものとする。また、実線の矢印1022は、情報処理装置1020が、情報処理装置1040の無線通信部1041に対してGOとして動作する場合における各装置間の関係を示すものとする。また、点線の矢印1023は、情報処理装置1020が、情報処理装置1010の無線通信部1013に対してP2P Clientとして動作する場合における各装置間の関係を示すものとする。また、点線の矢印1031は、情報処理装置1030が、情報処理装置1010の無線通信部1013に対してP2P Clientとして動作する場合における各装置間の関係を示すものとする。
例えば、実線の矢印1021、1022に示すように、1つのソース機器(情報処理装置1020)は、複数のシンク機器(情報処理装置1010、1040)に同一の画像データを同時に送信することができる。この場合には、情報処理装置1020は、一方のシンク機器(例えば、情報処理装置1010)に送信した画像データをコピーして、他方のシンク機器(例えば、情報処理装置1040)に送信することができる。ただし、送信対象となる画像データは同一のものに限らない。例えば、複数のシンク機器(情報処理装置1010、1040)に異なる画像データを同時(または、略同時)に送信するようにしてもよい。
ここで、何れかの情報処理装置からのトポロジ切替通知により、複数のP2P Clientに接続するGOを変更することができる。例えば、図46に示す例において、情報処理装置1010の無線通信部1013からトポロジ切替通知を出力することができる。このトポロジ切替通知により、P2P Clientとして動作する情報処理装置1010の無線通信部1012、情報処理装置1040の無線通信部1041に接続するGOを、情報処理装置1020から情報処理装置1030に変更することができる。この変更後の各装置間の関係を図47に示す。
図47において、実線の矢印1032は、情報処理装置1030が、情報処理装置1010の無線通信部1012に対してGOとして動作する場合における各装置間の関係を示すものとする。また、実線の矢印1033は、情報処理装置1030が、情報処理装置1040の無線通信部1041に対してGOとして動作する場合における各装置間の関係を示すものとする。
また、図46および図47では、1つのGOに接続されるP2P Clientを最大で2台(情報処理装置1010、1040)とする例を示すが、P2P Clientが3台以上の場合についても本技術の第3の実施の形態を適用することができる。また、図46および図47では、複数のシンク機器(情報処理装置1010、1040)と、複数のソース機器(情報処理装置1020、1030)との間で通信を行う場合の例を示した。ただし、複数のシンク機器と、1つのソース機器との間で通信を行う場合についても本技術の第3の実施の形態を適用することができる。すなわち、情報処理装置1030が存在するケースと、情報処理装置1030が存在しないケースとの何れについても本技術の第3の実施の形態を適用することができる。
なお、情報処理装置1010や情報処理装置1040の使われ方は、以上で示したものに限定されない。例えば、情報処理装置1010または情報処理装置1040の表示状態を操作してマルチディスプレイとして表示するための指示を出すことも、情報処理装置1010または情報処理装置1040の使われ方として把握することができる。また、例えば、情報処理装置1010または情報処理装置1040の表示状態を操作して各装置の表示状態を拡張ディスプレイのように変更することも、情報処理装置1010または情報処理装置1040の使われ方として把握することができる。また、例えば、情報処理装置1010または情報処理装置1040に対してGOを変更するための操作を他の情報処理装置を介して行うことも、情報処理装置1010または情報処理装置1040の使われ方として把握することができる。なお、他の情報処理装置は、例えば、有線通信や無線通信を利用して、情報処理装置1010または情報処理装置1040と接続してこれらを操作することが可能な情報処理装置(例えば、リモートコントロール、タブレット端末、スマートフォン)である。
このように、各情報処理装置の制御部は、他の情報処理装置に関するcapability情報と、情報処理装置の使われ方とに基づいて、他の情報処理装置に関するストリームのマルチ受信を設定するための制御を行うことができる。
このように、本技術の第3の実施の形態では、接続形態によって、高品位映像伝送が必要なリンクについて、ロバスト耐性を高めるためにマルチ受信ダイバーシティを適切に設定または切り替えをすることができる。このように、その設定やその切り替えを制御することにより、高品位な映像を安定的に送受信することができる。また、マルチ受信ダイバーシティのような回避リンクを用意するトポロジにおいて、コンテンツポロテクションを適切に設定または切り替えをすることができる。このように、その設定やその切り替えを制御することにより、コンテンツプロテクションが必要な映像に関してもロバスト耐性を高めた通信を行うことができる。
また、本技術の実施の形態によれば、複数のソース機器からのストリームに基づく出力を行うシンク機器において、ストリームの解像度の調整や送信停止、周波数チャネルの変更等を行うことにより不要な消費電力を削減することができる。これにより、モバイル機器に適した通信を実現することができる。また、周波数チャネルの帯域利用効率を向上させ、ロバスト性を高めた通信を実現することができる。
すなわち、複数のリンクを管理するシンク機器がスケジューリングすることによりモバイル機器のバッテリ消費を低減させることができる。また、複数の周波数チャネルを使用可能なモバイル機器が1つの周波数チャネルのみを使用するようにシステム全体のスケジューリングが可能となる。また、周波数チャネルの違いを切替する必要があるトポロジであっても、機器情報(例えば、モバイル機器であるか否か)によって切替が発生しやすくすることで安定して伝送を実現することができる。また、周波数チャネルの違いがある場合でも、各情報(管理情報、ユーザ情報)のやり取りを適切に行うことができる。なお、本技術の実施の形態では、ソース機器を2台にした2つのリンクが存在するトポロジでの一例を説明したが、これに限定されない。例えば、2台以上であれば、台数分のリンクに関しストリームの伝送制御(例えば、データ伝送速度制御、スケーラビリティ伝送レート制御)を行う必要があり、状態遷移が多いため、制御が難しくなるが、有益である。例えば、本技術の実施の形態では、2台以上のソース機器が接続するトポロジにも適用することができる。
また、複数のソース機器から送信される画像を表示するシンク機器(例えば、ディスプレイ)において、それぞれのソース機器から送信される画像を適切に表示させることができる。例えば、それぞれのソース機器から送信される画像のロバスト耐性(マルチ受信ダイバーシティ)設定を行うことにより各画像を適切に表示させることができる。また、例えば、コンテンツプロテクション設定、ダイナミックレンジが大きい無線層またはマルチバンドオペレーションにおけるストリームの伝送制御(例えば、データ伝送速度制御、スケーラビリティ伝送レート制御)を行うことにより各画像を適切に表示させることができる。
すなわち、例えば、複数のソース機器を1つの纏まったモニタ(例えば、80インチのような大画面のモニタや、小さいモニタが複数束ねられているモニタ)に接続する場合に、各トポロジに応じて適切な設定を行うことができる。
なお、無線通信機能を備える他の装置についても本技術の実施の形態を適用することができる。例えば、無線通信機能を備える撮像装置(例えば、デジタルスチルカメラ、デジタルビデオカメラ(例えば、カメラ一体型レコーダ))について本技術の実施の形態を適用することができる。また、例えば、無線通信機能を備える表示装置(例えば、テレビジョン、プロジェクタ、パーソナルコンピュータ)や携帯型の情報処理装置(例えば、スマートフォン、タブレット端末)について本技術の実施の形態を適用することができる。
<4.応用例>
本開示に係る技術は、様々な製品へ応用可能である。例えば、情報処理装置200、300、400等は、スマートフォン、タブレットPC(Personal Computer)、ノートPC、携帯型ゲーム端末若しくはデジタルカメラなどのモバイル端末、テレビジョン受像機、プリンタ、デジタルスキャナ若しくはネットワークストレージなどの固定端末、又はカーナビゲーション装置などの車載端末として実現されてもよい。また、情報処理装置200、300、400等は、スマートメータ、自動販売機、遠隔監視装置又はPOS(Point Of Sale)端末などの、M2M(Machine To Machine)通信を行う端末(MTC(Machine Type Communication)端末ともいう)として実現されてもよい。さらに、情報処理装置200、300、400等0は、これら端末に搭載される無線通信モジュール(例えば、1つのダイで構成される集積回路モジュール)であってもよい。
[4−1.第1の応用例]
図48は、本開示に係る技術が適用され得るスマートフォン900の概略的な構成の一例を示すブロック図である。スマートフォン900は、プロセッサ901、メモリ902、ストレージ903、外部接続インタフェース904、カメラ906、センサ907、マイクロフォン908、入力デバイス909、表示デバイス910、スピーカ911、無線通信インタフェース913、アンテナスイッチ914、アンテナ915、バス917、バッテリー918及び補助コントローラ919を備える。
プロセッサ901は、例えばCPU(Central Processing Unit)又はSoC(System on Chip)であってよく、スマートフォン900のアプリケーションレイヤ及びその他のレイヤの機能を制御する。メモリ902は、RAM(Random Access Memory)及びROM(Read Only Memory)を含み、プロセッサ901により実行されるプログラム及びデータを記憶する。ストレージ903は、半導体メモリ又はハードディスクなどの記憶媒体を含み得る。外部接続インタフェース904は、メモリーカード又はUSB(Universal Serial Bus)デバイスなどの外付けデバイスをスマートフォン900へ接続するためのインタフェースである。
カメラ906は、例えば、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を有し、撮像画像を生成する。センサ907は、例えば、測位センサ、ジャイロセンサ、地磁気センサ及び加速度センサなどのセンサ群を含み得る。マイクロフォン908は、スマートフォン900へ入力される音声を音声信号へ変換する。入力デバイス909は、例えば、表示デバイス910の画面上へのタッチを検出するタッチセンサ、キーパッド、キーボード、ボタン又はスイッチなどを含み、ユーザからの操作又は情報入力を受け付ける。表示デバイス910は、液晶ディスプレイ(LCD)又は有機発光ダイオード(OLED)ディスプレイなどの画面を有し、スマートフォン900の出力画像を表示する。スピーカ911は、スマートフォン900から出力される音声信号を音声に変換する。
無線通信インタフェース913は、IEEE802.11a、11b、11g、11n、11ac及び11adなどの無線LAN標準のうちの1つ以上をサポートし、無線通信を実行する。無線通信インタフェース913は、インフラストラクチャーモードにおいては、他の装置と無線LANアクセスポイントを介して通信し得る。また、無線通信インタフェース913は、アドホックモードにおいては、他の装置と直接的に通信し得る。無線通信インタフェース913は、典型的には、ベースバンドプロセッサ、RF(Radio Frequency)回路及びパワーアンプなどを含み得る。無線通信インタフェース913は、通信制御プログラムを記憶するメモリ、当該プログラムを実行するプロセッサ及び関連する回路を集積したワンチップのモジュールであってもよい。無線通信インタフェース913は、無線LAN方式に加えて、近距離無線通信方式、近接無線通信方式又はセルラ通信方式などの他の種類の無線通信方式をサポートしてもよい。アンテナスイッチ914は、無線通信インタフェース913に含まれる複数の回路(例えば、異なる無線通信方式のための回路)の間でアンテナ915の接続先を切り替える。アンテナ915は、単一の又は複数のアンテナ素子(例えば、MIMOアンテナを構成する複数のアンテナ素子)を有し、無線通信インタフェース913による無線信号の送信及び受信のために使用される。
なお、図48の例に限定されず、スマートフォン900は、複数のアンテナ(例えば、無線LAN用のアンテナ及び近接無線通信方式用のアンテナ、など)を備えてもよい。その場合に、アンテナスイッチ914は、スマートフォン900の構成から省略されてもよい。
バス917は、プロセッサ901、メモリ902、ストレージ903、外部接続インタフェース904、カメラ906、センサ907、マイクロフォン908、入力デバイス909、表示デバイス910、スピーカ911、無線通信インタフェース913及び補助コントローラ919を互いに接続する。バッテリー918は、図中に破線で部分的に示した給電ラインを介して、図48に示したスマートフォン900の各ブロックへ電力を供給する。補助コントローラ919は、例えば、スリープモードにおいて、スマートフォン900の必要最低限の機能を動作させる。
図48に示したスマートフォン900において、図2、図3を用いて説明した無線通信部220、320、制御部240、370は、無線通信インタフェース913において実装されてもよい。また、これら機能の少なくとも一部は、プロセッサ901又は補助コントローラ919において実装されてもよい。
[4−2.第2の応用例]
図49は、本開示に係る技術が適用され得るカーナビゲーション装置920の概略的な構成の一例を示すブロック図である。カーナビゲーション装置920は、プロセッサ921、メモリ922、GPS(Global Positioning System)モジュール924、センサ925、データインタフェース926、コンテンツプレーヤ927、記憶媒体インタフェース928、入力デバイス929、表示デバイス930、スピーカ931、無線通信インタフェース933、アンテナスイッチ934、アンテナ935及びバッテリー938を備える。
プロセッサ921は、例えばCPU又はSoCであってよく、カーナビゲーション装置920のナビゲーション機能及びその他の機能を制御する。メモリ922は、RAM及びROMを含み、プロセッサ921により実行されるプログラム及びデータを記憶する。
GPSモジュール924は、GPS衛星から受信されるGPS信号を用いて、カーナビゲーション装置920の位置(例えば、緯度、経度及び高度)を測定する。センサ925は、例えば、ジャイロセンサ、地磁気センサ及び気圧センサなどのセンサ群を含み得る。データインタフェース926は、例えば、図示しない端子を介して車載ネットワーク941に接続され、車速データなどの車両側で生成されるデータを取得する。
コンテンツプレーヤ927は、記憶媒体インタフェース928に挿入される記憶媒体(例えば、CD又はDVD)に記憶されているコンテンツを再生する。入力デバイス929は、例えば、表示デバイス930の画面上へのタッチを検出するタッチセンサ、ボタン又はスイッチなどを含み、ユーザからの操作又は情報入力を受け付ける。表示デバイス930は、LCD又はOLEDディスプレイなどの画面を有し、ナビゲーション機能又は再生されるコンテンツの画像を表示する。スピーカ931は、ナビゲーション機能又は再生されるコンテンツの音声を出力する。
無線通信インタフェース933は、IEEE802.11a、11b、11g、11n、11ac及び11adなどの無線LAN標準のうちの1つ以上をサポートし、無線通信を実行する。無線通信インタフェース933は、インフラストラクチャーモードにおいては、他の装置と無線LANアクセスポイントを介して通信し得る。また、無線通信インタフェース933は、アドホックモードにおいては、他の装置と直接的に通信し得る。無線通信インタフェース933は、典型的には、ベースバンドプロセッサ、RF回路及びパワーアンプなどを含み得る。無線通信インタフェース933は、通信制御プログラムを記憶するメモリ、当該プログラムを実行するプロセッサ及び関連する回路を集積したワンチップのモジュールであってもよい。無線通信インタフェース933は、無線LAN方式に加えて、近距離無線通信方式、近接無線通信方式又はセルラ通信方式などの他の種類の無線通信方式をサポートしてもよい。アンテナスイッチ934は、無線通信インタフェース933に含まれる複数の回路の間でアンテナ935の接続先を切り替える。アンテナ935は、単一の又は複数のアンテナ素子を有し、無線通信インタフェース933による無線信号の送信及び受信のために使用される。
なお、図49の例に限定されず、カーナビゲーション装置920は、複数のアンテナを備えてもよい。その場合に、アンテナスイッチ934は、カーナビゲーション装置920の構成から省略されてもよい。
バッテリー938は、図中に破線で部分的に示した給電ラインを介して、図49に示したカーナビゲーション装置920の各ブロックへ電力を供給する。また、バッテリー938は、車両側から給電される電力を蓄積する。
図49に示したカーナビゲーション装置920において、無線通信部220、320、制御部240、370は、無線通信インタフェース933において実装されてもよい。また、これら機能の少なくとも一部は、プロセッサ921において実装されてもよい。
また、本開示に係る技術は、上述したカーナビゲーション装置920の1つ以上のブロックと、車載ネットワーク941と、車両側モジュール942とを含む車載システム(又は車両)940として実現されてもよい。車両側モジュール942は、車速、エンジン回転数又は故障情報などの車両側データを生成し、生成したデータを車載ネットワーク941へ出力する。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disc)、メモリカード、ブルーレイディスク(Blu-ray(登録商標)Disc)等を用いることができる。
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
なお、本技術は以下のような構成もとることができる。
(1)
画像情報を出力するためのストリームを他の情報処理装置から無線通信を利用して受信する情報処理装置であって、
前記情報処理装置に関するcapability情報と、前記他の情報処理装置に関するcapability情報とを交換するための通信を前記他の情報処理装置との間で行う無線通信部と、
前記他の情報処理装置に関するcapability情報と、前記情報処理装置の使われ方とに基づいて前記他の情報処理装置に関するストリームのマルチ受信ダイバーシティを設定するための制御を行う制御部と
を具備する情報処理装置。
(2)
前記無線通信部は、前記マルチ受信ダイバーシティを利用した受信を行うための複数の受信部を備え、
前記制御部は、前記他の情報処理装置が前記マルチ受信ダイバーシティを利用して前記ストリームを送信する場合に、前記複数の受信部に同時送信する第1動作と、前記複数の受信部を切り替えながら各受信部に順次送信する第2動作との何れかを行わせるための制御を行う
前記(1)に記載の情報処理装置。
(3)
前記無線通信部は、前記マルチ受信ダイバーシティを利用した受信を行うための複数の受信部を備え、
前記制御部は、前記他の情報処理装置が前記マルチ受信ダイバーシティを利用して前記ストリームを送信する場合に、前記情報処理装置との間で無線通信を利用して通信を行う装置を識別するための識別情報を前記複数の受信部に係る複数のリンク毎に設定する第1動作と、前記リンクの数にかかわらず前記識別情報を1つのみ設定する第2動作との何れかを行わせるための制御を行う
前記(1)に記載の情報処理装置。
(4)
前記制御部は、前記第1動作および前記第2動作で異なるコンテンツプロテクションを設定するための制御を行う前記(3)に記載の情報処理装置。
(5)
前記capability情報は、モバイル機器であるか否かを示す情報を含む前記(1)から(4)のいずれかに記載の情報処理装置。
(6)
前記capability情報は、前記情報処理装置の使われ方が変更されたか否かを示す情報を含む前記(1)から(5)のいずれかに記載の情報処理装置。
(7)
前記capability情報は、マルチ受信ダイバーシティ機能を備えるか否かを示す情報を含む前記(1)から(6)のいずれかに記載の情報処理装置。
(8)
前記制御部は、低消費電力モードが設定された場合には、前記ストリームの間欠送信または送信停止を行うための制御を行う前記(1)から(7)のいずれかに記載の情報処理装置。
(9)
前記制御部は、使用する物理層をトランスポート層から指定するための制御を行う前記(1)から(8)のいずれかに記載の情報処理装置。
(10)
前記制御部は、物理リンクの切替情報を受信し、AVC/HEVCをIフレームから開始させるための制御を行う前記(1)から(9)のいずれかに記載の情報処理装置。
(11)
前記制御部は、前記他の情報処理装置に関する管理情報に基づいて、HDCPの設定方法を選択するための制御を行う前記(1)から(10)のいずれかに記載の情報処理装置。
(12)
画像情報を出力するためのストリームを他の情報処理装置からマルチ受信ダイバーシティを利用して受信する情報処理装置であって、
前記情報処理装置に関するcapability情報と、前記他の情報処理装置に関するcapability情報とを交換するための通信を前記他の情報処理装置との間で行う無線通信部と、
前記他の情報処理装置に関するcapability情報と、前記情報処理装置の使われ方とに基づいて前記他の情報処理装置に関するストリームのコンテンツプロテクションを設定するための制御を行う制御部と
を具備する情報処理装置。
(13)
前記制御部は、前記マルチ受信ダイバーシティを利用したストリームの送信に用いられる複数の周波数チャネルのそれぞれで使用されるコンテンツプロテクションのバージョンが異なる場合には、これらのバージョンのうちの低いバージョンに係るコンテンツプロテクションを設定するための制御を行う前記(12)に記載の情報処理装置。
(14)
画像情報を出力するためのストリームを、マルチ受信ダイバーシティを利用して他の情報処理装置に対して送信する情報処理装置であって、
前記情報処理装置に関するcapability情報と、前記他の情報処理装置に関するcapability情報とを交換するための通信を前記他の情報処理装置との間で複数の周波数チャネルを使用して行う無線通信部と、
前記情報処理装置に関するcapability情報と、前記他の情報処理装置の使われ方とに基づく前記他の情報処理装置からの制御に基づいて前記他の情報処理装置に関するストリームの伝送制御を行い、複数の周波数チャネルのうち前記ストリームの伝送に使用される周波数チャネルに関する情報を、IPパケット生成に係る階層よりも上位階層に通知するための制御を行う制御部と
を具備する情報処理装置。
(15)
画像情報を出力するためのストリームを、マルチ受信ダイバーシティを利用して他の情報処理装置に対して送信する情報処理装置であって、
前記情報処理装置に関するcapability情報と、前記他の情報処理装置に関するcapability情報とを交換するための通信を前記他の情報処理装置との間で複数の周波数チャネルを使用して行う無線通信部と、
前記情報処理装置に関するcapability情報と、前記他の情報処理装置の使われ方とに基づく前記他の情報処理装置からの制御に基づいて前記他の情報処理装置に関するストリームの伝送制御を行い、前記ストリームの伝送に使用される周波数チャネルの設定に関する設定情報をIPパケットにおけるIPヘッダのTOPフィールドに書き込むための制御を行う制御部と
を具備する情報処理装置。
(16)
画像情報を出力するためのストリームを、無線通信を利用して他の情報処理装置に対して送信する情報処理装置であって、
前記情報処理装置に関するcapability情報と、前記他の情報処理装置に関するcapability情報とを交換するための通信を前記他の情報処理装置との間で行う無線通信部と、
前記情報処理装置に関するcapability情報と、前記他の情報処理装置の使われ方とに基づく前記他の情報処理装置からの制御に基づいて前記他の情報処理装置に関するストリームのマルチ受信ダイバーシティを設定するための制御を行う制御部と
を具備する情報処理装置。
(17)
前記制御部は、複数の物理層を切り替えて使用する環境において、使用するIPレイヤが共通である場合に前記物理層を切り替えたときには、再認証およびLocality Checkのやり直しを行わない前記(16)に記載の情報処理装置。
(18)
前記制御部は、複数の物理層を切り替えて使用する環境において、2種類のストリームについて、HDCPを別々に行う場合に、送信側のデバイス鍵および受信側のデバイス鍵を1つにする前記(16)に記載の情報処理装置。
(19)
画像情報を出力するためのストリームを他の情報処理装置から無線通信を利用して受信する情報処理装置であって、
前記情報処理装置に関するcapability情報と、前記他の情報処理装置に関するcapability情報とを交換するための通信を前記他の情報処理装置との間で行う無線通信部と、
前記他の情報処理装置に関するcapability情報と、前記情報処理装置の使われ方とに基づいて前記他の情報処理装置に関するストリームのマルチ受信を設定するための制御を行う制御部と
を具備する情報処理装置。
(20)
画像情報を出力するためのストリームを他の情報処理装置から無線通信を利用して受信するための情報処理方法であって、
前記情報処理装置に関するcapability情報と、前記他の情報処理装置に関するcapability情報とを交換するための通信を前記他の情報処理装置との間で行う無線通信手順と、
前記他の情報処理装置に関するcapability情報と、前記情報処理装置の使われ方とに基づいて前記他の情報処理装置に関するストリームのマルチ受信ダイバーシティを設定するための制御を行う制御手順と
を具備する情報処理方法。