JP6455447B2 - 情報処理装置、情報処理システムおよび情報処理方法 - Google Patents

情報処理装置、情報処理システムおよび情報処理方法 Download PDF

Info

Publication number
JP6455447B2
JP6455447B2 JP2015562698A JP2015562698A JP6455447B2 JP 6455447 B2 JP6455447 B2 JP 6455447B2 JP 2015562698 A JP2015562698 A JP 2015562698A JP 2015562698 A JP2015562698 A JP 2015562698A JP 6455447 B2 JP6455447 B2 JP 6455447B2
Authority
JP
Japan
Prior art keywords
information processing
information
processing apparatus
processing device
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015562698A
Other languages
English (en)
Other versions
JPWO2015122080A1 (ja
Inventor
英輝 石見
英輝 石見
伊東 克俊
克俊 伊東
慶彦 池長
慶彦 池長
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2015122080A1 publication Critical patent/JPWO2015122080A1/ja
Application granted granted Critical
Publication of JP6455447B2 publication Critical patent/JP6455447B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W48/00Access restriction; Network selection; Access point selection
    • H04W48/18Selecting a network or a communication service
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W40/00Communication routing or communication path finding
    • H04W40/02Communication route or path selection, e.g. power-based or shortest path routing
    • H04W40/04Communication route or path selection, e.g. power-based or shortest path routing based on wireless node resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W76/00Connection management
    • H04W76/10Connection setup
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W76/00Connection management
    • H04W76/10Connection setup
    • H04W76/14Direct-mode setup
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W76/00Connection management
    • H04W76/10Connection setup
    • H04W76/15Setup of multiple wireless link connections
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W84/00Network topologies
    • H04W84/02Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/10Small scale networks; Flat hierarchical networks
    • H04W84/12WLAN [Wireless Local Area Networks]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W84/00Network topologies
    • H04W84/18Self-organising networks, e.g. ad-hoc networks or sensor networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W92/00Interfaces specially adapted for wireless communication networks
    • H04W92/16Interfaces between hierarchically similar devices
    • H04W92/18Interfaces between hierarchically similar devices between terminal devices

Description

本技術は、情報処理装置に関する。詳しくは、無線通信を利用して各種情報のやり取りを行う情報処理装置、情報処理システムおよび情報処理方法に関する。
従来、無線通信を利用して各種データのやり取りを行う無線通信技術が存在する。例えば、2つの無線通信装置間において無線通信により各種情報のやり取りを行う情報交換装置が提案されている(例えば、特許文献1参照。)。
特開2008−278388号公報
上述の従来技術によれば、有線回線で接続しなくても無線通信を利用して2つの情報処理装置間において各種情報のやり取りを行うことができる。例えば、送信側の情報処理装置から送信された画像データに基づく画像を、受信側の情報処理装置の表示部に表示させることができる。
ここで、例えば、無線通信を利用して2つの情報処理装置間において各種情報のやり取りを行う場合に、2つの情報処理装置間で直接通信を行う場合と、2つの情報処理装置間で間接的に通信を行う場合とが想定される。なお、2つの情報処理装置間で間接的に通信を行う場合は、例えば、他の通信装置(例えば、アクセスポイント、基地局)を介して2つの情報処理装置間で間接的に通信を行う場合である。
例えば、2つの情報処理装置間で直接通信を行っている場合に、2つの情報処理装置間で間接的に通信を行うように遷移することが想定される。また、2つの情報処理装置間で間接的に通信を行っている場合に、2つの情報処理装置間で直接通信を行うように遷移することも想定される。このように、通信の切替を行う場合には、適切な制御を行うことが重要である。
本技術はこのような状況に鑑みて生み出されたものであり、複数の情報処理装置間で通信を行う場合に適切な制御を行うことを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第1の側面は、Wi−Fi(Wireless Fidelity) CERTIFIED Miracast仕様(技術仕様書名:Wi−Fi Display)に従って他の情報処理装置との間でリアルタイム画像伝送を行う情報処理装置であって、上記リアルタイム画像伝送に関する設定を行うための設定要求情報を上記他の情報処理装置からアクセスポイントを経由して受信し、上記設定要求情報に基づく上記設定を行うための設定要求を上記他の情報処理装置にダイレクト通信により送信するよう制御する制御部を具備する情報処理装置およびその情報処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、設定要求情報を他の情報処理装置からアクセスポイントを経由して受信し、設定要求を他の情報処理装置にダイレクト通信により送信するという作用をもたらす。
また、この第1の側面において、上記制御部は、上記アクセスポイントを経由して上記他の情報処理装置との間で上記情報処理装置に関するcapability情報のやりとりを行い、上記他の情報処理装置は、上記capability情報に基づいて上記設定要求情報を生成するようにしてもよい。これにより、アクセスポイントを経由して他の情報処理装置との間で情報処理装置に関するcapability情報のやりとりを行い、他の情報処理装置は、capability情報に基づいて設定要求情報を生成するという作用をもたらす。
また、この第1の側面において、上記制御部は、上記アクセスポイントを経由した上記他の情報処理装置との接続状態と、上記ダイレクト通信による上記他の情報処理装置との接続状態とを切り替える場合には、切替前の接続に関するポート情報およびIP情報のうちの少なくとも1つを用いて接続処理を行うよう制御するようにしてもよい。これにより、アクセスポイントを経由した他の情報処理装置との接続状態と、ダイレクト通信による他の情報処理装置との接続状態とを切り替える場合には、切替前の接続に関するポート情報およびIP情報のうちの少なくとも1つを用いて接続処理を行うという作用をもたらす。
また、この第1の側面において、上記制御部は、上記設定要求を上記他の情報処理装置に送信した後に上記ダイレクト通信によりWi−Fi CERTIFIED Miracast仕様に従った画像送信を行うよう制御するようにしてもよい。これにより、設定要求を他の情報処理装置に送信した後にダイレクト通信によりWi−Fi CERTIFIED Miracast仕様に従った画像送信を行うという作用をもたらす。
また、この第1の側面において、上記制御部は、表示部における所定領域に表示させるための画像の送信を低周波帯域の無線伝送路で行い、上記表示部における上記所定領域よりも大きい領域に表示させるための画像の送信を高周波帯域の無線伝送路で行うよう制御するようにしてもよい。これにより、表示部における所定領域に表示させるための画像の送信を低周波帯域の無線伝送路で行い、表示部における所定領域よりも大きい領域に表示させるための画像の送信を高周波帯域の無線伝送路で行うという作用をもたらす。
また、この第1の側面において、上記制御部は、ユーザ操作に基づいて上記ダイレクト通信により上記設定要求を上記他の情報処理装置に送信するよう制御するようにしてもよい。これにより、ユーザ操作に基づいて、ダイレクト通信により設定要求を他の情報処理装置に送信するという作用をもたらす。
また、この第1の側面において、上記制御部は、上記ダイレクト通信により画像送信を行う情報処理装置が複数存在する場合には、所定順序に基づいて上記ダイレクト通信により上記設定要求を上記他の情報処理装置に送信するよう制御するようにしてもよい。これにより、ダイレクト通信により画像送信を行う情報処理装置が複数存在する場合には、所定順序に基づいて、ダイレクト通信により設定要求を他の情報処理装置に送信するという作用をもたらす。
また、この第1の側面において、上記制御部は、上記アクセスポイント以外のアクセスポイントまたは基地局を経由した上記他の情報処理装置との接続を許可するか否かを示す許可情報のやりとりを上記アクセスポイントを経由して行い、上記接続を許可する旨の上記許可情報を受信した場合には、上記アクセスポイント以外のアクセスポイントまたは上記基地局を経由した上記他の情報処理装置とのやりとりを行うよう制御するようにしてもよい。これにより、許可情報のやりとりをアクセスポイントを経由して行い、接続を許可する旨の許可情報を受信した場合には、他のアクセスポイントまたは基地局を経由した他の情報処理装置とのやりとりを行うという作用をもたらす。
また、この第1の側面において、上記制御部は、上記接続を許可する旨の上記許可情報を受信した場合には、上記アクセスポイント以外のアクセスポイントまたは上記基地局を経由して画像データおよび音声データの少なくとも1つを上記他の情報処理装置から受信して出力させるよう制御するようにしてもよい。これにより、接続を許可する旨の許可情報を受信した場合には、他のアクセスポイントまたは基地局を経由して画像データおよび音声データの少なくとも1つを他の情報処理装置から受信して出力させるという作用をもたらす。
また、この第1の側面において、上記制御部は、近距離無線通信を利用して上記ダイレクト通信を行うための情報のやりとりを行うよう制御するようにしてもよい。これにより、近距離無線通信を利用して、ダイレクト通信を行うための情報のやりとりを行うという作用をもたらす。
また、本技術の第2の側面は、Wi−Fi CERTIFIED Miracast仕様に従って他の情報処理装置との間でリアルタイム画像伝送を行う情報処理装置であって、上記リアルタイム画像伝送に関する設定を行うための設定要求情報を上記他の情報処理装置にアクセスポイントを経由して送信し、上記設定要求情報に基づく上記設定を行うための設定要求を上記他の情報処理装置からダイレクト通信により受信するよう制御する制御部を具備する情報処理装置およびその情報処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、設定要求情報を他の情報処理装置にアクセスポイントを経由して送信し、設定要求を他の情報処理装置からダイレクト通信により受信するという作用をもたらす。
また、本技術の第3の側面は、Wi−Fi CERTIFIED Miracast仕様に従ってシンク機器および複数のソース機器間でリアルタイム画像伝送を行う場合に、アクセスポイントを経由して上記シンク機器および上記ソース機器が接続される待機モードとダイレクト通信により上記シンク機器および上記ソース機器が接続される画像送信モードとの何れかの通信モードを上記ソース機器に設定するための制御を行う制御部を具備する情報処理装置およびその情報処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、待機モードと画像送信モードとの何れかの通信モードをソース機器に設定するという作用をもたらす。
また、この第3の側面において、上記制御部は、上記複数のソース機器を表す画像を入出力部に表示させ、上記入出力部における操作入力に基づいて上記通信モードを上記ソース機器に設定するための制御を行うようにしてもよい。これにより、複数のソース機器を表す画像を入出力部に表示させ、入出力部における操作入力に基づいて通信モードをソース機器に設定するという作用をもたらす。
また、この第3の側面において、上記制御部は、所定順序に基づいて上記通信モードを上記ソース機器に設定するための制御を行うようにしてもよい。これにより、所定順序に基づいて通信モードをソース機器に設定するという作用をもたらす。
また、本技術の第4の側面は、Wi−Fi CERTIFIED Miracast仕様に従ってソース機器との間でリアルタイム画像伝送を行うシンク機器であって、アクセスポイントを経由して上記リアルタイム画像伝送に関する設定を上記ソース機器に行うための設定要求情報を上記ソース機器に送信し、上記ソース機器とのダイレクト通信により上記設定要求情報に基づく上記設定を行うための設定要求を上記ソース機器から受信するよう制御するシンク機器と、上記シンク機器および複数の上記ソース機器間で上記リアルタイム画像伝送を行う場合に、上記アクセスポイントを経由して上記シンク機器および上記ソース機器が接続される待機モードと上記ダイレクト通信により上記シンク機器および上記ソース機器が接続される画像送信モードとの何れかの通信モードを上記ソース機器に設定するための制御を行う制御装置とを具備する情報処理システムおよびその情報処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、シンク機器は、アクセスポイントを経由して設定要求情報をソース機器に送信し、ダイレクト通信により設定要求をソース機器から受信し、制御装置は、待機モードと画像送信モードとの何れかの通信モードをソース機器に設定するという作用をもたらす。
本技術によれば、複数の情報処理装置間で通信を行う場合に適切な制御を行うことができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第1の実施の形態における通信システム100のシステム構成例を示すブロック図である。 本技術の第1の実施の形態における情報処理装置200の機能構成例を示すブロック図である。 本技術の第1の実施の形態における情報処理装置300の機能構成例を示すブロック図である。 本技術の第1の実施の形態における管理情報保持部390の保持内容の一例を模式的に示す図である。 本技術の第1の実施の形態における情報処理装置300の表示部351に表示される画像の遷移例を示す図である。 本技術の第1の実施の形態における通信システム100を構成する各装置間における通信処理例を示すシーケンスチャートである。 本技術の第1の実施の形態における通信システム100を構成する各装置間における通信処理例を示すシーケンスチャートである。 本技術の第1の実施の形態における通信システム100を構成する各装置間における通信処理例を示すシーケンスチャートである。 本技術の第1の実施の形態における通信システム100を構成する各装置間における通信処理例を示すシーケンスチャートである。 本技術の第1の実施の形態における通信システム100を構成する各装置間における通信処理例を示すシーケンスチャートである。 本技術の第1の実施の形態における通信システム100を構成する各装置間における通信処理例を示すシーケンスチャートである。 本技術の第1の実施の形態における情報処理装置200によるデータ送信処理の処理手順の一例を示すフローチャートである。 本技術の第1の実施の形態における情報処理装置300によるデータ伝送速度制御処理の処理手順の一例を示すフローチャートである。 本技術の第1の実施の形態におけるソース機器およびシンク機器間における通信処理例を示すシーケンスチャートである。 本技術の第1の実施の形態におけるソース機器およびシンク機器間における通信処理例を示すシーケンスチャートである。 本技術の第1の実施の形態におけるソース機器およびシンク機器間における通信処理例を示すシーケンスチャートである。 本技術の第2の実施の形態における通信システム700のシステム構成例を示す図である。 本技術の第2の実施の形態における通信システム700の設置例を示す図である。 本技術の第2の実施の形態における制御装置740の機能構成例を示すブロック図である。 本技術の第2の実施の形態におけるグループ管理情報保持部750の保持内容の一例を模式的に示す図である。 本技術の第2の実施の形態における制御装置740の入出力部743に表示される表示画面の一例を示す図である。 本技術の第2の実施の形態における表示装置731に表示される表示画面の遷移例を示す図である。 本技術の基礎となるソース機器およびシンク機器間における通信モードの切替例を示す図である。 本技術の第2の実施の形態におけるソース機器およびシンク機器間で行われる接続処理例を示すシーケンスチャートである。 本技術の第2の実施の形態における通信システム700を構成する各装置間における通信処理例を示すシーケンスチャートである。 本技術の第2の実施の形態における通信システム700を構成する各装置間における通信処理例を示すシーケンスチャートである。 本技術の第2の実施の形態における情報処理装置710によるデータ送信処理の処理手順の一例を示すフローチャートである。 本技術の第2の実施の形態における情報処理装置710の使用例を示す図である。 本技術の第2の実施の形態における情報処理装置710によるデータ送信処理の処理手順の一例を示すフローチャートである。 本技術の第2の実施の形態における情報処理装置710によるデータ送信処理の処理手順の一例を示すフローチャートである。 本技術の第3の実施の形態における情報処理装置710によるデータ送信処理の処理手順の一例を示すフローチャートである。 本技術の第4の実施の形態における情報処理装置710によるデータ送信処理の処理手順の一例を示すフローチャートである。 本技術の第4の実施の形態における情報処理装置710によるデータ送信処理の処理手順の一例を示すフローチャートである。 本技術の第2の実施の形態における通信システム700を構成する各装置間によりやりとりされるWFD IEフォーマットの一例を示す図である。 本技術の第2の実施の形態における通信システム700を構成する各装置間によりやりとりされるWFD IEフォーマットの一例を示す図である。 本技術の第2の実施の形態における通信システム700を構成する各装置間によりやりとりされるWFD IEフォーマットの一例を示す図である。 本技術の第2の実施の形態における通信システム700を構成する各装置間によりやりとりされるWFD IEフォーマットの一例を示す図である。 本技術の第2の実施の形態における通信システム700を構成する各装置間によりやりとりされるWFD IEフォーマットの一例を示す図である。 本技術の第2の実施の形態における通信システム700を構成する各装置間によりやりとりされるASP(Application Service Platform)用の新規メッセージの一例を示す図である。 スマートフォンの概略的な構成の一例を示すブロック図である。 カーナビゲーション装置の概略的な構成の一例を示すブロック図である。
以下、本技術を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.第1の実施の形態(ユーザ情報や管理情報に基づいて無線通信に関する制御を行う例)
2.第2の実施の形態(アクセスポイントを経由したソース機器およびシンク機器間の接続と、ソース機器およびシンク機器間のダイレクト接続とを切り替える例)
3.第3の実施の形態(近距離無線通信を利用してソース機器およびシンク機器間のグループ認証を開始する例)
4.第4の実施の形態(ソース機器がアクセスポイントまたはシンク機器に自動的に接続される例)
5.応用例
<1.第1の実施の形態>
[通信システムの構成例]
図1は、本技術の第1の実施の形態における通信システム100のシステム構成例を示すブロック図である。
通信システム100は、情報処理装置200と、情報処理装置300と、情報処理装置400とを備える。また、通信システム100は、情報処理装置200および情報処理装置400のうちの少なくとも1つから送信されるデータ(例えば、画像データや音声データ)を情報処理装置300が受信する通信システムである。
また、情報処理装置200、300、400は、無線通信機能を備える送受信機器である。例えば、情報処理装置200、300、400は、無線通信機能を備える表示装置(例えば、パーソナルコンピュータ)や携帯型の情報処理装置(例えば、スマートフォン、タブレット端末)である。また、例えば、情報処理装置200、300、400は、IEEE(Institute of Electrical and Electronics Engineers)802.11、IEEE802.15、IEEE802.16、3GPP(3rd Generation Partnership Project)仕様(例えば、W−CDMA(Wideband Code Division Multiple Access)、GSM(登録商標)(Global System for Mobile Communications)、WiMAX(Worldwide Interoperability for Microwave Access)、WiMAX2、LTE(Long Term Evolution)、LTE−A(Advanced))に準拠した無線通信装置である。そして、情報処理装置200、300、400は、無線通信機能を利用して各種情報のやり取りを行うことができる。
ここで、一例として、情報処理装置200および情報処理装置300間、または、情報処理装置400および情報処理装置300間で無線LAN(Local Area Network)を用いた無線通信を行う場合の例を説明する。
この無線LANとして、例えば、Wi−Fi(Wireless Fidelity) Direct、TDLS(Tunneled Direct Link Setup)、アドホックネットワーク、メッシュネットワークを用いることができる。また、通信システム100に用いられる近距離無線AV(Audio Visual)伝送通信として、例えば、Wi−Fi CERTIFIED Miracast(技術仕様書名:Wi−Fi Display)を用いることができる。なお、Wi−Fi CERTIFIED Miracastは、Wi−Fi DirectやTDLSの技術を利用して、一方の端末で再生される音声や表示画像を他の端末に送信し、他の端末でも同様にその音声、画像データを出力させるミラーリング技術である。
また、Wi−Fi CERTIFIED Miracastでは、TCP/IP(Transmission Control Protocol/Internet Protocol)上でUIBC(User Input Back Channel)を実現している。UIBCは、一方の端末から他方の端末へマウスやキーボード等の入力機器の操作情報を送信する技術である。なお、Wi−Fi CERTIFIED Miracastの代わりに、他のリモートデスクトップソフトウェア(例えば、VNC(Virtual Network Computing))を適用するようにしてもよい。
ここで、Wi−Fi CERTIFIED Miracastでは、画像(映像)を、例えば、H.264を用いて圧縮・展開することが定められている。また、例えば、Wi−Fi CERTIFIED Miracastでは、H.264を送信側で調整することができる。なお、H.264に限らず、例えば、H.265(例えば、HEVC(high efficiency video coding)、SHVC(scalable video coding extensions of high efficiency video coding))、MPEG(Moving Picture Experts Group)4、JPEG(Joint 1Photographic Experts Group)2000にも対応することができる。また、例えば、1ライン以上を束ねて圧縮したり、2ライン以上を2×2以上のマクロブロックに分割して圧縮・展開を行うラインベースコーデック(例えば、Wavelet、DCT(Discrete Cosine Transform))にも対応することができる。また、例えば、特定の符号量領域(Pictureまたは複数ラインの束またはマクロブロック等)の前符号量領域との差分を求めることでDCTやWavelet等の圧縮を行わずに伝送レートを減らすコーデックにも対応することができる。また、非圧縮で画像(映像)を送信・受信するようにしてもよい。
また、本技術の第1の実施の形態では、情報処理装置200は、撮像動作により生成された画像データおよび音声データを送信対象とする例を示す。また、本技術の第1の実施の形態では、情報処理装置400は、記憶部(例えば、ハードディスク)に保存されているコンテンツ(例えば、画像データおよび音声データからなるコンテンツ)を送信対象とする例を示す。なお、情報処理装置200として、カメラを搭載した電子機器(例えば、パソコン、ゲーム機、スマートフォン、タブレット端末)を用いるようにしてもよい。また、情報処理装置300として、表示部を備える他の電子機器(例えば、撮像装置、ゲーム機、スマートフォン、タブレット端末)を用いるようにしてもよい。また、情報処理装置400がテザリング機能を備える場合には、無線または有線ネットワークを介してISP(Internet Services Provider)に保存されたコンテンツを送信対象とするようにしてもよい。
例えば、情報処理装置200の撮像動作により生成された画像データが情報処理装置300に送信され、その画像データに基づく画像11が情報処理装置300の表示部351に表示される。また、情報処理装置400の記憶部(例えば、ハードディスク)に保存されているコンテンツが情報処理装置300に送信され、そのコンテンツに基づく画像12が情報処理装置300の表示部351に表示される。
このように、本技術の第1の実施の形態では、ソース側の情報処理装置(ソース機器)を情報処理装置200、400とし、シンク側の情報処理装置(シンク機器)を情報処理装置300とする例を示す。
また、図1では、P2P(Peer to Peer)ダイレクト接続により、無線通信を利用して情報処理装置300が直接通信することができる範囲を情報伝達範囲101として示す。この情報伝達範囲101は、情報処理装置300を基準とした場合における情報伝達範囲(サービス範囲)である。
[情報処理装置(ソース機器)の構成例]
図2は、本技術の第1の実施の形態における情報処理装置200の機能構成例を示すブロック図である。なお、情報処理装置400の無線通信に関する機能構成は、情報処理装置200と略同一の構成である。このため、本技術の第1の実施の形態では、情報処理装置200についてのみ説明し、情報処理装置400の説明を省略する。
情報処理装置200は、アンテナ210と、無線通信部220と、制御信号受信部230と、制御部240と、画像・音声信号生成部250と、画像・音声圧縮部260と、ストリーム送信部270とを備える。
無線通信部220は、制御部240の制御に基づいて、無線通信を利用して、他の情報処理装置(例えば、情報処理装置300)との間で各情報(例えば、画像データおよび音声データ)の送受信をアンテナ210を介して行うものである。例えば、画像データの送信処理が行われる場合には、画像・音声信号生成部250により生成された画像データが画像・音声圧縮部260により圧縮され、この圧縮された画像データ(画像ストリーム)が無線通信部220を経由してアンテナ210から送信される。
また、無線通信部220は、複数の周波数チャネルを利用して、他の情報処理装置(例えば、情報処理装置300)との間で各情報の送受信を行うことが可能であるものとする。本技術の第1の実施の形態では、無線通信部220が、2.4GHz、5GHz、60GHzの3種類の周波数チャネルを送受信可能な機能を備える例を示す。このように、ソース機器が、複数の周波数チャネルを送受信可能な機能を備える場合には、シンク機器(例えば、情報処理装置300)は、各ソース機器にどの周波数チャネルを使用させるかを制御することができる。
制御信号受信部230は、無線通信部220により受信された各情報のうちから、他の情報処理装置(例えば、情報処理装置300)から送信された制御信号(例えば、情報処理装置300とのやりとりの情報)を取得するものである。そして、制御信号受信部230は、その取得された制御信号を制御部240に出力する。
制御部240は、情報処理装置200から送信される各情報に関する制御を行うものである。例えば、制御部240は、制御信号受信部230により受信された制御信号に基づいて、画像・音声信号生成部250および画像・音声圧縮部260に対する制御を行う。例えば、制御部240は、送信対象となる画像データの解像度や音声のチャネル数を変更させるための制御や、送信対象となる画像データの画像領域を変更させるための制御を行う。すなわち、制御部240は、制御信号受信部230により受信された制御信号に基づいて、送信対象となるストリームの伝送制御(例えば、データ伝送速度制御、スケーラビリティ伝送レート制御)を行う。
また、制御部240は、無線通信を利用してシンク機器との間でデータの送受信が行われている際における電波伝搬状況(リンク電波伝搬状況)を測定する機能を備え、その測定結果(電波伝搬測定情報)をシンク機器に送信するようにしてもよい。
ここで、電波伝搬測定情報は、例えば、シンク機器との回線品質が、画像データおよび音声データの送受信を行うことができる品質であるか否かを判断する際に用いられる情報である。また、電波伝搬測定情報は、例えば、ストリームの伝送制御(例えば、データ伝送速度制御、スケーラビリティ伝送レート制御)を行う際に用いられる。なお、電波伝搬測定情報については、図4を参照して詳細に説明する。なお、電波伝搬測定情報の代わりに、制御部240から同一パケットの再送回数をカウントさせ、このカウント数に応じて、ストリームの伝送制御を行うようにしてもよい。
ここで、データ伝送速度は、主に、通信路を占有する率を意味し、通信速度や通信容量の意味を含むものとする。また、解像度は、例えば、画像データの画枠(縦・横のピクセル数)、画像データのビットレート(圧縮率)等の要素から構成される画質の指標と定義する。また、画質の指標としては、ストリームのスループットを用いることができる。また、音声のチャネル数は、モノラル(1.0ch)、ステレオ(2.0ch)等の音声の記録再生方法の意味を含むものとする。また、音声のチャネル数は、音声データのビットレート(圧縮率)やチャネル数等の要素から構成される音質の指標と定義する。また、音質の指標としては、ストリームのスループットを用いることができる。
また、制御部240は、データレート制御では安定化することができない状態を改善させるための制御を行う。例えば、制御部240は、シンク機器(例えば、情報処理装置300)との情報のやりとりにより、シンク機器のシステム性能情報を把握する。ここで、システム性能情報は、例えば、シンク機器のシステムに関する性能情報である。例えば、システム性能情報は、使用可能な周波数チャネル、解像度、TCP(Transmission Control Protocol)、UDP(User Datagram Protocol)である。また、システム性能情報は、例えば、暗号化方法の対応、SD(Standard Definition)/HD(High Definition)対応、低消費電力モードの対応のそれぞれを示す情報である。例えば、制御部240は、シンク機器が低消費電力モードに対応しているか否かに応じて、通信システム100のシステム全体の安定度をさらに向上させるストリームの伝送制御(例えば、データ伝送速度制御、スケーラビリティ伝送レート制御)方法を選ぶことができる。
例えば、制御部240は、情報処理装置300との情報のやりとりの中に、情報処理装置200がモバイル機器であるかどうかの情報を入れるものとする。例えば、情報処理装置200に関するcapability情報に、情報処理装置200がモバイル機器であるかどうかの情報を含めることができる。また、情報処理装置300は、情報処理装置200がモバイル機器であることを把握すると、他に接続した情報処理装置との関連に基づいて、情報処理装置200を動作させる必要がないと判断することができる。このように、情報処理装置200を動作させる必要がないと判断された場合には、情報処理装置200は、情報処理装置300から送信停止コマンドを受信する。そして、制御部240は、その送信停止コマンドを把握すると、画像・音声信号生成部250と、画像・音声圧縮部260と、ストリーム送信部270とのそれぞれの機能の電源を一定時間ダウンさせることができる。また、制御部240は、無線通信部220についても間欠受信(情報処理装置300からコマンドを受信できる程度に定期的に起き上がり、他は電源をダウンさせるモード)に移行することができる。
画像・音声信号生成部250は、制御部240の制御に基づいて、出力対象となるデータ(画像データ、音声データ)を生成するものであり、生成されたデータを画像・音声圧縮部260に出力する。例えば、画像・音声信号生成部250は、撮像部(図示せず)および音声取得部(図示せず)を備える。この撮像部(例えば、レンズ、撮像素子、信号処理回路)は、被写体を撮像して画像(画像データ)を生成するものである。また、音声取得部(例えば、マイク)は、その画像データの生成時における周囲の音声を取得するものである。このように生成されたデータは、他の情報処理装置(例えば、情報処理装置300)への送信対象となる。
画像・音声圧縮部260は、制御部240の制御に基づいて、画像・音声信号生成部250により生成されたデータ(画像データおよび音声データ)を圧縮(エンコード)するものである。そして、画像・音声圧縮部260は、その圧縮されたデータ(画像データおよび音声データ)をストリーム送信部270に出力する。なお、画像・音声圧縮部260は、ソフトウェアによるエンコードの実行により実現するようにしてもよく、ハードウエアによるエンコードの実行により実現するようにしてもよい。また、画像・音声圧縮部260は、コーデックとして機能することを想定しているが、非圧縮の画像または音声を扱えるものとする。さらに、画像・音声圧縮部260は、スケーラブル・コーデックとしても機能するものとする。ここで、スケーラブル・コーデックは、例えば、受信側の情報処理装置(シンク機器)の解像度やネットワーク環境等に応じて、自在に適応することができるコーデックを意味する。
ストリーム送信部270は、制御部240の制御に基づいて、画像・音声圧縮部260により圧縮されたデータ(画像データおよび音声データ)をストリームとして無線通信部220を経由してアンテナ210から送信する送信処理を行うものである。
なお、情報処理装置200は、上述した各部以外にも、表示部、音声出力部、操作受付部等を備えることができるが、これらについては、図2での図示を省略する。また、情報処理装置200が、送信対象となる画像データおよび音声データを生成する例を示すが、情報処理装置200は、送信対象となる画像データおよび音声データを外部装置から取得するようにしてもよい。例えば、情報処理装置200は、マイクロフォン付きのWebカメラから、送信対象となる画像データおよび音声データを取得するようにしてもよい。また、情報処理装置200は、情報処理装置200の内部、外部にかかわらず、記憶装置(例えば、ハードディスク)に保存されているコンテンツ(例えば、画像データおよび音声データからなるコンテンツ)を送信対象とするようにしてもよい。この場合に、その記憶装置に保存されているコンテンツが圧縮済のコンテンツである場合も想定される。この場合に、その圧縮済のコンテンツが、通信システム100で採用されている規格で定義されたエンコード方式で圧縮されている場合には、その圧縮済のコンテンツを復号(デコード)せずにそのまま送信するようにしてもよい。
情報処理装置200の表示部(図示せず)は、例えば、画像・音声信号生成部250により生成された画像を表示する表示部である。なお、表示部として、例えば、有機EL(Electro Luminescence)、クリスタルLED(Light Emitting Diode)ディスプレイ(Crystal LED Display)、LCD(Liquid Crystal Display)等の表示パネルを用いることができる。
情報処理装置200の音声出力部(図示せず)は、例えば、画像・音声信号生成部250により生成された音声を出力する音声出力部(例えば、スピーカ)である。なお、画像については、送信機器および受信機器の双方から出力することもできるが、音声については何れか一方のみから出力することが好ましい。
情報処理装置200の操作受付部(図示せず)は、ユーザにより行われた操作入力を受け付ける操作受付部であり、例えば、キーボード、マウス、ゲームパッド、タッチパネル、カメラ、マイクである。なお、操作受付部および表示部については、使用者がその指を表示面に接触または近接することにより操作入力を行うことが可能なタッチパネルを用いて一体で構成することができる。
[情報処理装置(シンク機器)の構成例]
図3は、本技術の第1の実施の形態における情報処理装置300の機能構成例を示すブロック図である。
情報処理装置300は、アンテナ310と、無線通信部320と、ストリーム受信部330と、画像・音声展開部340と、画像・音声出力部350と、ユーザ情報取得部360と、制御部370と、制御信号送信部380と、管理情報保持部390とを備える。
無線通信部320は、制御部370の制御に基づいて、無線通信を利用して、他の情報処理装置(例えば、情報処理装置200)との間で各情報(例えば、画像データおよび音声データ)の送受信をアンテナ310を介して行うものである。例えば、画像データの受信処理が行われる場合には、アンテナ310により受信された画像データが、無線通信部320、ストリーム受信部330を経由して画像・音声展開部340により展開(復号)される。そして、その展開された画像データが画像・音声出力部350に供給され、その展開された画像データに応じた画像が画像・音声出力部350から出力される。すなわち、その展開された画像データに応じた画像が表示部351に表示される。
また、無線通信部320は、複数の周波数チャネルを利用して、他の情報処理装置(例えば、情報処理装置200)との間で各情報の送受信を行うことが可能であるものとする。本技術の第1の実施の形態では、無線通信部320が、2.4GHz、5GHz、60GHzの3種類の周波数チャネルを送受信可能な機能を備える例を示す。すなわち、無線通信部320は、第1の周波数帯を用いる通信と、第1の周波数帯よりも高速なデータ伝送速度の第2の周波数帯を用いる通信とを行うことが可能である。また、制御部370は、各ソース機器との無線通信に、複数の周波数チャネルのうちのどの周波数チャネルを使用させるかを制御する。
なお、情報処理装置200および情報処理装置300間のリンクと、情報処理装置400および情報処理装置300間のリンクとは同一の周波数チャネルとするようにしてもよく、異なる周波数チャネルとするようにしてもよい。
また、本技術の第1の実施の形態では、無線通信部320が、2.4GHz、5GHz、60GHzの3種類の周波数チャネルを送受信可能な機能を備える例を示すが、これに限定されない。例えば、無線通信部320が、他の周波数チャネルや、2または4以上の周波数チャネルを送受信可能な機能を備えるようにしてもよい。
ストリーム受信部330は、制御部370の制御に基づいて、無線通信部320により受信された各情報のうちから、各ソース機器とのやりとりの情報およびストリーム(例えば、画像ストリーム、音声ストリーム)を受信するものである。そして、ストリーム受信部330は、受信したコマンド情報を制御部370に出力し、受信したストリームを画像・音声展開部340および制御部370に出力する。
ここで、各ソース機器とのやりとりの情報は、ソース機器(例えば、情報処理装置200)から送信される情報であり、例えば、情報処理装置300のシステム性能情報の取得要求を含む。このシステム性能情報は、例えば、使用可能な周波数チャネル、解像度、TCP、UDPや、暗号化方法の対応、SD/HD対応、低消費電力モードの対応のそれぞれを示す情報である。
また、ストリーム受信部330は、無線通信を利用してシンク機器との間でデータの送受信が行われている際における電波伝搬状況(リンク電波伝搬状況)を測定する機能を備える。そして、ストリーム受信部330は、その測定結果(電波伝搬測定情報)を制御部370に出力する。なお、電波伝搬測定情報については、図4を参照して詳細に説明する。
画像・音声展開部340は、制御部370の制御に基づいて、他の情報処理装置(例えば、情報処理装置200)から送信されたストリーム(画像データおよび音声データ)を展開(デコード)するものである。そして、画像・音声展開部340は、その展開されたデータ(画像データおよび音声データ)を画像・音声出力部350に出力する。なお、画像・音声展開部340は、ソフトウェアによるデコードの実行により実現するようにしてもよく、ハードウエアによるデコードの実行により実現するようにしてもよい。また、画像・音声展開部340は、コーデックとして機能することを想定しているが、非圧縮の画像または音声を扱えるものとする。また、画像・音声展開部340は、スケーラブル・コーデックとしても機能するものとする。
画像・音声出力部350は、表示部351および音声出力部352を備える。
表示部351は、画像・音声展開部340により展開された画像データに基づく各画像(例えば、図1に示す画像11、12)を表示する表示部である。なお、表示部351として、例えば、有機ELパネル、クリスタルLEDディスプレイ、LCDパネル等の表示パネルを用いることができる。なお、表示部351として、使用者がその指を表示面に接触または近接することにより操作入力を行うことが可能なタッチパネルを用いるようにしてもよい。
音声出力部352は、画像・音声展開部340により展開された音声データに基づく各種音声(表示部351に表示された画像に関する音声等)を出力する音声出力部(例えば、スピーカ)である。ここで、音声の出力方法としては、例えば、中央チャネル(メイン画像)に割り当てられたソース機器の音声のみをスピーカから再生して周辺チャネル(サブ画像)に割り当てられたソース機器の音声を再生しない方法を用いることができる。また、他の音声の出力方法として、例えば、中央チャネルに割り当てられたソース機器の音声の音量をメインにして、周辺チャネルに割り当てられたソース機器の音声の音量を下げて再生する方法を用いることができる。なお、これら以外の音声の出力方法を用いるようにしてもよい。
ユーザ情報取得部360は、ユーザに関する情報(ユーザ情報)を取得するものであり、その取得されたユーザ情報を制御部370に出力する。例えば、ユーザ情報取得部360は、ユーザが表示方法を直接設定することができる操作受付部(キーボード、マウス、リモコン、ゲームパッド、タッチパネル)からの入力を受け付けることによりユーザ情報を取得することができる。なお、操作受付部は、例えば、表示部351に表示される画像における任意の領域を指定するための操作部材である。また、例えば、ユーザ情報取得部360は、カメラ、マイク、各種センサ(例えば、ジャイロセンサ、人体を感知するセンサ)等のようにユーザの意図を把握することができるデバイスからの入力を受け付けることによりユーザ情報を取得することができる。
例えば、ユーザ情報取得部360は、無線通信を利用して他の情報処理装置(例えば、情報処理装置200)から受信したストリームに基づく情報が画像・音声出力部350から出力されている際におけるユーザ動作により生じるユーザ情報を取得する。このユーザ情報は、例えば、表示部351に表示されている画像に関するユーザ動作により生じるユーザ情報である。例えば、ユーザ情報は、表示部351に表示されている画像に関するユーザ操作に基づいて生成される情報である。
制御部370は、ストリーム受信部330により取得された各情報を管理情報保持部390に保持させ、管理情報保持部390に保持されている管理情報に基づいて各ソース機器を管理するものである。また、制御部370は、複数のソース機器から送信されるストリームをシステム全体で安定度が向上するようにストリームの伝送制御(例えば、データ伝送速度制御、スケーラビリティ伝送レート制御)を行う。
例えば、制御部370は、ユーザ情報取得部360により取得されたユーザ情報と、管理情報保持部390に保持されている管理情報とに基づいてストリームの伝送制御(例えば、データ伝送速度制御、スケーラビリティ伝送レート制御)を行う。具体的には、制御部370は、管理情報保持部390に保持されている管理情報に基づいて、ストリームの伝送制御(例えば、データ伝送速度制御、スケーラビリティ伝送レート制御)を行うための制御信号をソース機器毎に生成し、この生成された制御信号を制御信号送信部380に出力する。例えば、制御部370は、ユーザ情報および管理情報に基づいて、表示部351に表示される画像の解像度を変更し、この解像度と同等の送信レートを各ソース機器に要求するための制御信号を生成する。また、例えば、制御部370は、ユーザ情報および管理情報に基づいて、表示部351における画像の表示領域を変更するための制御信号を生成する。また、例えば、制御部370は、ユーザ情報および管理情報に基づいて、表示部351における画像のサイズを変更するための制御信号を生成する。
また、制御部370は、ユーザ情報および管理情報に基づいて、使用する周波数チャネルと解像度を設定するための制御を行う。例えば、制御部370は、無線通信部320が備える複数の周波数チャネルについて、使用する周波数チャネルをソース機器毎に設定する。また、制御部370は、周波数チャネル毎に、消費電力モードが異なる場合には、それぞれのモードを把握し、モバイル機器の消費電力をケアした周波数チャネルを設定することができるようにする。すなわち、制御部370は、第1の周波数帯に関する第1の消費電力モードと、第1の周波数帯よりも高速なデータ伝送速度の第2の周波数帯に関する第2の消費電力モードとを別々に設定することができる。
制御信号送信部380は、制御部370から出力された制御信号を無線通信部320、アンテナ310を介して、他の無線通信装置に送信する送信処理を行うものである。
管理情報保持部390は、無線通信を利用して情報処理装置300に接続される各ソース機器を管理するための情報(管理情報)を保持するテーブルである。なお、管理情報保持部390の保持内容については、図4を参照して詳細に説明する。
[管理情報保持部の保持内容例]
図4は、本技術の第1の実施の形態における管理情報保持部390の保持内容の一例を模式的に示す図である。
管理情報保持部390は、無線通信を利用して情報処理装置300に接続される各ソース機器を管理するための情報(管理情報)を保持するテーブルである。例えば、管理情報保持部390には、端末識別情報391と、周波数チャネル392と、電波伝搬測定情報393と、機器情報394と、帯域使用レベル395と、表示形態396と、スタンバイ/ウェークアップ397と、マルチ受信ダイバーシティ対応398とが関連付けて保持される。
端末識別情報391には、無線通信を利用して情報処理装置300に接続されるソース機器を識別するための識別情報が格納される。
周波数チャネル392には、無線通信を利用して情報処理装置300に接続されるソース機器が実際に使用している周波数チャネルが格納される。
電波伝搬測定情報393には、無線通信を利用して情報処理装置300に接続されるソース機器に関する電波伝搬測定情報が格納される。この電波伝搬測定情報は、無線通信を利用して情報処理装置300に接続されるソース機器毎にストリーム受信部330により測定される。
電波伝搬測定情報393として、例えば、PER(Packet Error Rate)、BER(Bit Error Rate)、パケットの再送回数、スループットが格納される。また、電波伝搬測定情報393として、例えば、フレーム落ち、SIR(Signal to Interference Ratio)、RSSI(Received Signal Strength Indicator)が格納される。ここで、SIRの代わりにSINR(Signal to Interference plus Noise Ratio)を用いてもよい。なお、図4に示す電波伝搬測定情報393は、一例であり、これらのうちの少なくとも1つを格納するようにしてもよく、他の電波伝搬測定情報をストリーム受信部330が測定して格納するようにしてもよい。また、ソース機器により測定された電波伝搬測定情報を取得して格納するようにしてもよい。さらに、受信側が受け取るパケット遅延を判断し、このパケット遅延に関する情報を電波伝搬測定情報として用いるようにしてもよい。このパケット遅延は、例えば、エラー発生時に、レイヤ2での再送処理によって受信側への伝送に遅延が発生されるため、電波伝搬に関する1つの指標となる。さらに、パケット遅延は、例えば、複数の装置で無線帯域を共有している無線システムでは、どこかのリンク特性が劣化しているかを示す指標となる。
機器情報394には、無線通信を利用して情報処理装置300に接続されるソース機器の種別(ソース機器の属性)が格納される。例えば、ソース機器の種別として、モバイル機器、または、据え置き機器の何れかが格納される。なお、ソース機器の種別として、電源を挿しながら使用する機器、または、それ以外の機器の何れかを格納するようにしてもよい。また、ソース機器の種別として、バッテリ駆動の機器、または、それ以外の機器の何れかを格納するようにしてもよい。
帯域使用レベル395には、無線通信を利用して情報処理装置300に接続されるソース機器による帯域の使用レベルが格納される。帯域使用レベルとしては、例えば、解像度やスループットを用いることができる。また、例えば、帯域使用レベルには、使用中のスループットを格納するようにしてもよく、予め決められたテーブルを用意し、そのテーブルのどの範囲に相当するかを示す番号を格納して管理するようにしてもよい。
表示形態396には、無線通信を利用して情報処理装置300に接続されるソース機器から送信されるストリームに基づくデータの表示形態(出力形態)が格納される。例えば、ソース機器から送信されるストリームに基づく画像データの表示部351における表示形態(メイン画像(中央チャネル)、サブ画像(周辺チャネル))が格納される。また、例えば、ソース機器から送信されるストリームに基づく音声データの音声出力部352からの出力形態(メイン音声、サブ音声)が格納される。なお、表示形態によって、周辺チャネルを表示しないという形式であってもよい。
スタンバイ/ウェークアップ397には、無線通信を利用して情報処理装置300に接続されるソース機器のモード(スタンバイモード、ウェークアップモード)が格納される。なお、スタンバイモードおよびウェークアップモードについては、図6乃至図8を参照して詳細に説明する。
マルチ受信ダイバーシティ対応398には、無線通信を利用して情報処理装置300に接続されるソース機器がマルチ受信ダイバーシティに対応しているか否かを示す情報が格納される。
このように、管理情報保持部390に保持される管理情報は、他の情報処理装置を識別するための識別情報(端末識別情報391)と、他の情報処理装置に関するcapability情報とを紐付けて管理する情報である。また、管理情報保持部390に保持される管理情報は、他の情報処理装置に関するcapability情報として、他の情報処理装置との通信に関する電波伝播測定に関する情報(電波伝搬測定情報393)と、消費電力に関する情報(スタンバイ/ウェークアップ397)とを少なくとも含む。また、管理情報保持部390に保持される管理情報は、他の情報処理装置に関するcapability情報として、画像情報を表示するための表示形態に関する情報(表示形態396)を少なくとも含む。この表示形態に関する情報は、例えば、画像情報をメイン表示またはサブ表示することを示す情報である。
[画像の遷移例]
図5は、本技術の第1の実施の形態における情報処理装置300の表示部351に表示される画像の遷移例を示す図である。
図5のaには、画像11を中央チャネルとし、画像12を周辺チャネルとして、情報処理装置300の表示部351に画像11および画像12を表示する表示形態の一例を示す。
図5のbには、画像11を周辺チャネルとし、画像12を中央チャネルとして、情報処理装置300の表示部351に画像11および画像12を表示する表示形態の一例を示す。
例えば、情報処理装置200および情報処理装置400のそれぞれが、標準的な解像度のストリーム(画像データおよび音声データ)を情報処理装置300に送信する場合を想定する。この場合には、図1に示すように、情報処理装置200からの画像データに基づく画像11と、情報処理装置400からの画像データに基づく画像12とのそれぞれのサイズが同一となるように、情報処理装置300の表示部351に表示することができる。なお、この例では、与えられた解像度と表示領域とを同一と定義しているが、表示部351にスケーラ機能を追加し、画像11、画像12をリスケールして表示部351に表示するようにしてもよい。ただし、本技術の実施の形態では、説明を簡略化させるため、この機能を使用しない前提で説明を行う。
また、画像11および画像12のそれぞれの表示形態については、例えば、前回の通信時に設定された表示形態を保持しておき、この表示形態に応じて画像11および12を情報処理装置300の表示部351に表示するようにしてもよい。
また、情報処理装置300に接続された順序に基づいて、画像11および画像12のそれぞれの表示形態を決定するようにしてもよい。例えば、情報処理装置200が情報処理装置300に最初に接続され、この接続後に情報処理装置400が情報処理装置300に接続された場合を想定する。この場合には、画像11を中央チャネルとし、画像12を周辺チャネルとして、情報処理装置300の表示部351に画像11および画像12を表示する。すなわち、情報処理装置300への接続順序に基づいて、中央チャネル、周辺チャネルの順に表示するようにしてもよい。
また、図5のaに示すように、画像11を中央チャネルとし、画像12を周辺チャネルとして、表示部351に画像11および画像12が表示されている場合に、画像12を中央チャネルとするユーザ情報がユーザ情報取得部360により取得された場合を想定する。例えば、視聴者がリモコンやジェスチャー等のポインターを用いて画像12を中央チャネルとするための操作を行うことにより、画像12を中央チャネルとするユーザ情報がユーザ情報取得部360により取得される。この場合には、図5のbに示すように、画像12を中央チャネルとし、画像11を周辺チャネルとして、表示部351に画像11および画像12が表示される。また、表示部351の表示面における画像11および画像12の表示位置についても、ユーザ情報取得部360により取得されるユーザ情報(例えば、手動操作、視線)に基づいて決定される。
[通信例]
図6乃至図8は、本技術の第1の実施の形態における通信システム100を構成する各装置間における通信処理例を示すシーケンスチャートである。なお、図6乃至図8では、情報処理装置200および情報処理装置300間における通信処理例を示す。
また、図6乃至図8では、情報処理装置200を構成する各部のうち、画像・音声信号生成部250、画像・音声圧縮部260およびストリーム送信部270をデータ送信系201として示す。また、アンテナ210、無線通信部220、制御信号受信部230および制御部240を回線制御系202として示す。
また、図6乃至図8では、情報処理装置300を構成する各部のうち、アンテナ310、無線通信部320、ストリーム受信部330、制御部370および制御信号送信部380を回線制御系301として示す。また、画像・音声展開部340、画像・音声出力部350およびユーザ情報取得部360を入出力系302として示す。
また、図6乃至図8では、最初に、情報処理装置200からの画像データに基づく画像を、周辺チャネルとして情報処理装置300の表示部351に表示させ、情報処理装置200において低消費電力モードを設定する例を示す。続いて、情報処理装置200からの画像データに基づく画像を、中央チャネルとして表示部351に表示させ、情報処理装置200において通常の消費電力モードを設定する例を示す。すなわち、図6乃至図8では、情報処理装置200および情報処理装置300の接続セットアップ例と、情報処理装置200における消費電力モードの遷移例とを示す。
最初に、情報処理装置300の電源がオンされたときには、情報処理装置300の出力形態(画像表示形態、音声出力形態)として前回の出力形態(情報処理装置300の電源のオフ時の出力形態)が設定される(501)。また、情報処理装置300の制御部370は、無線通信を利用して情報処理装置300に接続されている各ソース機器の管理情報を管理情報保持部390(図4に示す)に保持させる。また、情報処理装置300の制御部370は、図5に示すように、前回の出力形態に基づいて、情報処理装置200および情報処理装置400のそれぞれから送信された2つのストリームに対応する画像11、12を表示部351に表示させる。
続いて、ユーザによる出力形態の設定操作(変更操作)が行われた場合を想定する(502)。この場合には、その設定操作に係る制御信号がユーザ情報としてユーザ情報取得部360に取得され、そのユーザ情報が制御部370に出力される。そして、制御部370は、そのユーザ情報に基づいて、管理情報保持部390(図4に示す)における保持内容を変更する(503、504)。例えば、図5のbに示すように、情報処理装置200からの画像データに基づく画像11を周辺チャネルとするための設定操作(変更操作)が行われた場合を想定する。この場合には、制御部370は、管理情報保持部390における情報処理装置200の表示形態396(図4に示す)を「サブ」に変更する(503、504)。
また、情報処理装置200は、定期的または不定期(開始時のみも含む)に、モードテーブル要求(解像度/音質、低消費電力モード等の問い合わせ要求)を情報処理装置300に送信する(505、506)。このモードテーブル要求は、情報処理装置300において管理されている各情報(情報処理装置300に関する管理情報で、情報処理装置200との通信を行う上で使用する情報(例えば、情報処理装置200が表示可能な解像度情報等))の送信を要求するものである。
モードテーブル要求を受信すると(506)、情報処理装置300は、そのモードテーブル要求に応じたコマンド情報を送信する(507、508)。このコマンド情報は、情報処理装置300が、電波伝搬環境と表示形態を加味して情報処理装置200に設定要望するための、情報処理装置200に関する情報である。例えば、コマンド情報は、解像度/音質の出力形態情報(例えば、中央チャネル、周辺チャネル)、低消費電力モードへの対応可否、メーカ名、マルチ受信ダイバーシティ機能の有無を含む情報である。また、例えば、コマンド情報は、解像度/音質、画像・音声コーデックの種類、3D機能の有無、コンテンツプロテクションの有無、ディスプレイ機器の表示サイズ、トポロジ情報、使用可能なプロトコル、これらのプロトコルの設定情報(ポート情報等)、接続インターフェース情報(コネクタタイプ等)、水平同期・垂直同期の位置、ソース機器の性能プライオリティ要求情報、低消費電力モードへの対応可否等のモード制御テーブル返答、無線での送信最大スループットまたは受信可能な最大スループット、CPU(Central Processing Unit)パワー、電池残量、電源供給情報を含む情報である。また、これらの各情報はcapability情報の一部に含まれる。ここで、情報処理装置200に関する解像度/音質の出力形態情報は、例えば、情報処理装置200からのデータの表示形態が、メイン(中央チャネル)であるかサブ(周辺チャネル)であるかを示す情報である。また、情報処理装置300は、情報処理装置300の視点で、解像度/音質や低消費電力モードの設定に関する要望をパラメータとしてコマンド情報に含めて送信する。なお、情報処理装置300は、情報処理装置200に関する各情報以外に、全てのソース機器に関する各情報を、コマンド情報として送信するようにしてもよい。この場合、情報処理装置200が自装置向けの情報のみを選択して使用する。なお、Wi−Fi CERTIFIED Miracast準拠の装置の場合、RTSP Messageとして定義されるwfd−audio−codecs、wfd−video−formats、wfd−content−protection、wfd−displayedid、wfd−coupledsink、wfd−client−rtpports、wfd−I2C、wfd−uibccapability、wfd−connectortype、wfd−standby−resume−capability等に対応するが、本コマンドにおいて、送信するメッセージ内容には限定はないものとする。
コマンド情報を受信した場合には(508)、情報処理装置200の制御部240は、コマンド情報に基づいて、情報処理装置200からのデータの出力形態がメインであるかサブであるかを特定する。また、情報処理装置200の制御部240は、コマンド情報に基づいて、消費電力動作モードに対応する機能を情報処理装置300が備えるか否かを判断する。続いて、情報処理装置200の制御部240は、その特定された出力形態に設定する旨を示すモード設定情報を情報処理装置300に送信する(509、510)。ここでは、情報処理装置200からのデータの出力形態がサブであることが特定されたものとする。また、低消費電力モードに対応する機能を情報処理装置300が備えるものとする。そこで、情報処理装置200の制御部240は、その特定された出力形態(サブ)に設定する旨と、低消費電力モードを設定する旨とを通知するためのモード設定情報を情報処理装置300に送信する(509、510)。
なお、この例では、コマンド情報に基づいて、中央チャネルであるか周辺チャネルであるかを特定して低消費電力モードを設定する例を示すが、中央チャネルであるか周辺チャネルであるかを判断基準として使用せずに低消費電力モードを設定するようにしてもよい。例えば、低消費電力モードに移行可能な許可フラグのやりとりをソース機器およびシンク機器間で行うことにより、低消費電力モードを設定するようにしてもよい。
続いて、情報処理装置200の制御部240は、送信モードとして画像送信モード(周辺チャネル)を設定する(511)。これにより、データ送信系201では、周辺チャネルを表示するための解像度と、サブ音声を出力するための音質とが設定される(512)。また、回線制御系202では、低消費電力モードが設定される(513)。
ここで、このように、低消費電力モードを設定する場合には、シンク機器およびソース機器の双方がその機能を備える必要があるものとする。また、例えば、モバイル機器(例えば、携帯電話、スマートフォン、タブレット端末)は、バッテリ駆動により動作を行うことが多い。このため、自装置からのデータの出力形態がメインでない場合(サブである場合)には、自装置のバッテリ消費を極力低減させることが好ましい。そこで、シンク機器における出力形態がサブに設定されているソース機器については、低消費電力モードを設定することが好ましい。さらに、設定処理(512)において、中央チャネルに割り当てられたソース機器の音声のみをスピーカから再生して周辺チャネルに割り当てられたソース機器の音声を再生しない設定をするようにしてもよい。また、中央チャネルに割り当てられたソース機器の音声の音量をメインとし、周辺チャネルに割り当てられたソース機器の音声の音量を下げて再生する設定をするようにしてもよい。
このように、情報処理装置300の制御部370は、出力形態が周辺チャネル(サブ表示)として設定されていた場合に、情報処理装置200に低消費電力モードを設定するための制御を行う。すなわち、情報処理装置300の制御部370は、ストリームに基づいて画像情報を出力する表示部351の出力形態に基づいて情報処理装置200における消費電力モードを設定する制御を行う。
このように、低消費電力モードが設定された場合には(513)、情報処理装置200の制御部240は、間欠送信を開始する(514乃至522)。
具体的には、情報処理装置200は、一定時間だけ送信処理を停止させ、各部をスリープさせる(514)。続いて、一定時間経過すると(514)、情報処理装置200は、送信処理を行うため、情報処理装置200の各部をウェークアップ(WakeUp)させ、情報処理装置300へ送信処理を行う(515乃至520)。
例えば、情報処理装置200の制御部240は、情報処理装置300において何らかの変更(例えば、出力形態の変更)があるか否かを確認するための問合せメッセージを情報処理装置300に送信する(515、516)。
問合せメッセージを受信すると(516)、情報処理装置300の制御部370は、何らかの変更(例えば、出力形態の変更)があるか否かを通知するための応答メッセージを情報処理装置200に送信する(517、518)。ここでは、情報処理装置300において変更(例えば、出力形態の変更)がないものとする。このため、情報処理装置300の制御部370は、変更(例えば、出力形態の変更)がない旨を通知するための応答メッセージを情報処理装置200に送信する(517、518)。
このように、変更(例えば、出力形態の変更)がない旨の応答メッセージを受信した場合には(518)、情報処理装置200において設定の変更を行う必要がない。このため、情報処理装置200の制御部240は、周辺チャネルおよびサブ音声を出力するためのストリームを情報処理装置300に送信する(519、520)。このように、ストリームを受信すると(520)、情報処理装置300は、受信したストリームに基づく画像および音声を出力させる(521)。例えば、図5のbに示すように、情報処理装置200からのストリームに基づく画像11が周辺チャネルとして表示部351に表示される。
また、送信処理が終了すると(519)、情報処理装置200は、一定時間だけ送信処理を停止させ、各部をスリープさせる(522)。また、情報処理装置300からの変更要求があるまでの間、間欠送信が継続して行われる。
ここで、間欠送信では、情報処理装置200からストリームが送信されない期間が発生する。このため、情報処理装置300は、最後に情報処理装置200から受信したストリームに対応する画像を補間して表示するような表示処理を行うことが好ましい。しかしながら、情報処理装置300が補間処理機能を備えていないことも想定される。この場合には、スリープ期間中に、情報処理装置200からの画像を表示部351に表示させておくことができない。このため、情報処理装置300が補間処理機能を備えていない場合には、情報処理装置200からの画像データの送信を継続して行うようにしてもよい。例えば、情報処理装置200からの送信対象となるストリームのうち、送信停止時における最後の画像データを送信バッファに保持させる。そして、スリープ期間中には、情報処理装置200の画像処理を停止させるが、無線リンクについては送信処理を継続して行い、その送信バッファに保持されている画像データの送信を継続して行うようにする。
また、スリープ期間中には、情報処理装置400から送信されたストリームに対応する画像のみを表示部351に表示するようにしてもよい。例えば、情報処理装置400から送信されたストリームに対応する画像を表示部351の全面に表示することができる。
次に、ユーザによる出力形態の設定操作(変更操作)が行われた場合の例を示す。
ユーザによる出力形態の設定操作(変更操作)が行われた場合には(531)、上述したように、制御部370は、その設定操作に係るユーザ情報に基づいて、管理情報保持部390(図4に示す)における保持内容を変更する(532、533)。例えば、図5のaに示すように、情報処理装置200からの画像データに基づく画像11を中央チャネルとするための設定操作(変更操作)が行われた場合を想定する。この場合には、制御部370は、管理情報保持部390における情報処理装置200の表示形態396(図4に示す)を「メイン」に変更する(532、533)。
ここで、上述したように、情報処理装置200において低消費電力モードが設定されている場合には、情報処理装置200がスリープとなっていることが想定される。このように、情報処理装置200がスリープとなっている場合には、ユーザによる出力形態の設定操作(変更操作)が行われた旨を情報処理装置200に通知することができない。
そこで、ユーザによる出力形態の設定操作(変更操作)が行われ(531)、管理情報保持部390(図4に示す)における保持内容が変更された場合には(532、533)、情報処理装置300の制御部370は、変更トリガを設定する(534)。この変更トリガは、情報処理装置200から問合せメッセージを受信した場合に、ユーザによる出力形態の設定操作(変更操作)が行われた旨を情報処理装置200に通知するためのトリガである。この変更トリガにより、情報処理装置200がStandbyモードになっている状態を解除させ、ユーザによる出力形態の設定操作(変更操作)が行われた旨を情報処理装置200に通知する。
ここで、情報処理装置200の各部がウェークアップされ、情報処理装置300へ送信処理が開始された場合を想定する。この場合には、情報処理装置300の制御部370は、Standby解除メッセージを情報処理装置200に送信する(535、536)。
Standby解除メッセージを受信すると(536)、情報処理装置200の制御部240は、応答メッセージを情報処理装置300に送信する(537、538)。
このように、シンク機器からのStandbyモード解除要求により(535乃至538)、情報処理装置200において設定の状況を問い合わせる必要がある。このため、情報処理装置200の制御部240は、モードテーブル要求を情報処理装置300に送信する(539、540)。このモードテーブル要求は、上述したように、情報処理装置300において管理されている各情報(情報処理装置200に関する管理情報)の送信を要求するものである。なお、上述した各処理(535乃至538)において、変更(例えば、出力形態の変更)がある旨のやりとり(例えば、各処理(515乃至518)における問合せメッセージに対する応答メッセージ)をするようにしてもよい。
モードテーブル要求を受信すると(540)、情報処理装置300は、そのモードテーブル要求に応じたコマンド情報を送信する(541、542)。ここで、情報処理装置300から情報処理装置200にコマンド情報が既に送信されている場合には、情報処理装置200は、そのコマンド情報に含まれる情報については既に取得していることになる。このため、ここでは、情報処理装置300は、そのモードテーブル要求に応じたコマンド情報として、差分情報のみを送信するようにしてもよい(541、542)。この差分情報は、変更に係る情報であり、例えば、情報処理装置200に関する解像度/音質の出力形態情報である。
コマンド情報を受信した場合には(542)、情報処理装置200の制御部240は、コマンド情報に基づいて、情報処理装置200からのデータの出力形態がメインであるかサブであるかを特定する。続いて、情報処理装置200の制御部240は、その特定された出力形態に設定する旨を示すモード設定情報を情報処理装置300に送信する(543、544)。ここでは、情報処理装置200からのデータの出力形態がメインであることが特定されたものとする。そこで、情報処理装置200の制御部240は、その特定された出力形態(メイン)に設定する旨と、通常の消費電力モードを設定する旨とを通知するためのモード設定情報を情報処理装置300に送信する(543、544)。なお、各処理(539乃至544)は、Wi−Fi CERTIFIED Miracast準拠の装置の場合、Capability Re−negotiationで行うようにしてもよい。Capability Re−negotiationの場合、処理(534)で出力形態に変化がない設定値に関しては再度ネゴシエーションする必要はない。例えば、wfd−displayedid、wfd−client−rtpports、wfd−I2C、wfd−connectortype等が挙げられる。
続いて、情報処理装置200の制御部240は、送信モードとして画像送信モード(中央チャネル)を設定する(545)。これにより、データ送信系201では、中央チャネルを表示するための解像度と、メイン音声を出力するための音質とが設定される(546)。また、回線制御系202では、通常の消費電力モードが設定される(547)。
このように、通常の消費電力モードが設定された場合には(547)、情報処理装置200の制御部240は、通常の送信処理を開始する(548、549)。すなわち、情報処理装置200は、中央チャネルおよびメイン音声を出力するためのストリームを情報処理装置300に送信する(548、549)。このように、ストリームを受信すると(549)、情報処理装置300は、受信したストリームに基づく画像および音声を出力させる(550)。例えば、図5のaに示すように、情報処理装置200からのストリームに基づく画像11が中央チャネルとして表示部351に表示される。
なお、この例では、情報処理装置300の電源がオンされた場合において、表示部351の表示形態は、前回の出力形態(情報処理装置300の電源のオフ時の出力形態)を設定する例を示した。ただし、情報処理装置300の電源がオンされた場合には、他の出力形態を設定するようにしてもよい。例えば、情報処理装置300の電源がオンされた場合には、デフォルトの出力形態を常に設定するようにしてもよい。または、情報処理装置300に接続された順序に基づいて、出力形態を決定するようにしてもよい。
なお、図6乃至図8では、情報処理装置200が、情報処理装置300の設定情報を問い合わせて、受信したパラメータ情報を元に、送信パラメータを設定する例を示した。ただし、情報処理装置200が設定したいパラメータを情報処理装置300へ設定依頼し、情報処理装置300が問題ない旨の応答を受信した時点で設定するようにしてもよい。この例を、図9および図10に示す。
[通信例]
図9乃至図11は、本技術の第1の実施の形態における通信システム100を構成する各装置間における通信処理例を示すシーケンスチャートである。なお、図9および図10は、図6乃至図8に示す通信処理例の一部を変形したものである。このため、図9および図10では、図6乃至図8に示す通信処理例と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。また、図11は、図9に示す通信処理例の一部を変形したものである。このため、図11では、図9に示す通信処理例と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。
図9に示す各処理(561乃至564)は、図6に示す各処理(501乃至504)に対応する。
続いて、情報処理装置300の制御部370は、ユーザにより設定された出力形態を通知するためのモードステータス通知を情報処理装置200に送信する(565、566)。このモードステータス通知は、ユーザにより設定された出力形態(例えば、メインであるかサブであるか)とともに、情報処理装置200が設定可能な解像度/音質、画像・音声コーデックの種類、3D機能の有無、コンテンツプロテクションの有無、ディスプレイ機器の表示サイズ、トポロジ情報、使用可能なプロトコル、これらのプロトコルの設定情報(ポート情報等)、接続インターフェース情報(コネクタタイプ等)、水平同期・垂直同期の位置、ソース機器の性能プライオリティ要求情報、低消費電力モードへの対応可否等のモード制御テーブル返答、無線での送信最大スループットまたは受信可能な最大スループット、CPUパワー、電池残量、電源供給情報等を通知するための情報である。
このように、情報処理装置300においてユーザによる出力形態の設定操作が行われた直後に、その設定操作に係る出力形態を通知するためのモードステータス通知を情報処理装置200に送信することができる。このため、無線通信を利用して接続されている情報処理装置200および情報処理装置300間における設定時間(変更時間)を短縮させることができる。
モードステータス通知を受信すると(566)、情報処理装置200の制御部240は、受信したモードステータス通知により特定されるステータスパラメータと、自装置のステータスパラメータとを比較する。続いて、情報処理装置200の制御部240は、その比較結果に基づいて、設定内容(例えば、解像度/音声、消費電力モード)を決定する。続いて、情報処理装置200の制御部240は、その決定された設定内容(例えば、解像度/音声、消費電力モード)を通知するためのモード設定要求を情報処理装置300に送信する(567、568)。
モード設定要求を受信すると(568)、情報処理装置300の制御部370は、受信したモード設定要求により特定される設定内容(例えば、解像度/音声、消費電力モード)を許可するか否かを判断する。そして、情報処理装置300の制御部370は、その判断結果を通知するためのモード設定可否コマンドを情報処理装置200に送信する(569、570)。
モード設定可否コマンドを受信すると(570)、情報処理装置200の制御部240は、モード設定可否コマンドの内容を確認する。例えば、情報処理装置200が送信したモード設定要求に係る設定内容を許可する旨のモード設定可否コマンドを受信した場合には、情報処理装置200の制御部240は、送信モードとして画像送信モード(周辺チャネル)を設定する(571)。なお、図9に示す各処理(571乃至574)は、図6に示す各処理(511乃至514)に対応する。また、図10に示す各処理(575乃至578)は、図7に示す各処理(519乃至522)に対応する。
なお、情報処理装置200が送信したモード設定要求に係る設定内容を許可しない旨のモード設定可否コマンドを受信した場合には、情報処理装置200の制御部240は、新たに設定内容(例えば、解像度/音声、消費電力モード)を決定する。そして、情報処理装置200の制御部240は、その新たに決定された設定内容(例えば、解像度/音声、消費電力モード)を通知するためのモード設定要求を情報処理装置300に送信する。
図10に示す各処理(581乃至583)は、図7に示す各処理(531乃至533)に対応する。
続いて、情報処理装置300の制御部370は、ユーザにより変更された出力形態を通知するためのモードステータス変更通知を情報処理装置200に送信する(584、585)。このモードステータス変更通知は、ユーザにより変更された出力形態(例えば、メインであるかサブであるか)とともに、情報処理装置200が設定可能な解像度/音質、低消費電力モードへの対応可否等を通知するための情報である。
モードステータス変更通知を受信すると(585)、情報処理装置200の制御部240は、設定内容(例えば、解像度/音声、消費電力モード)を決定する。この設定内容の決定処理については、上述した決定処理と同様である。続いて、情報処理装置200の制御部240は、その決定された設定内容(例えば、解像度/音声、消費電力モード)を通知するためのモード変更要求を情報処理装置300に送信する(586、587)。
モード変更要求を受信すると(587)、情報処理装置300の制御部370は、受信したモード変更要求により特定される設定内容(例えば、解像度/音声、消費電力モード)を許可するか否かを判断する。そして、情報処理装置300の制御部370は、その判断結果を通知するためのモード設定可否コマンドを情報処理装置200に送信する(588、589)。
モード設定可否コマンドを受信すると(589)、情報処理装置200の制御部240は、モード設定可否コマンドの内容を確認し、送信モードを設定する(590)。なお、この確認処理については、上述した確認処理と同様である。また、図10に示す各処理(590乃至595)は、図8に示す各処理(545乃至550)に対応する。
ここで、ソース機器は、周辺チャネルおよび中央チャネルの切り替えを行った場合に、その切り替わりのタイミングを示す情報(例えば、GOP(Group of Picture)の先頭を把握する情報やPicture先頭を把握する情報)をストリームに含めて送信するようにしてもよい。言い換えると、ソース機器は、メイン表示およびサブ表示の切換を行う場合に、その切り替わりのタイミングを示す情報をシンク機器に送信するようにしてもよい。この場合には、そのストリームを受信したシンク機器は、そのタイミングを示す情報に基づいて、周辺チャネルおよび中央チャネルの切り替えを適切なタイミングで切り替えることができる。
ここで、図6乃至図10では、シンク機器に接続されているソース機器のスタンバイ・ウエークアップを制御する例を示している。ただし、シンク機器に接続されているソース機器のスタンバイ・ウェークアップに基づいて、シンク機器のスタンバイ・ウェークアップを制御するようにしてもよい。例えば、シンク機器に接続されている全てのソース機器がスタンバイとなった場合にシンク機器をスタンバイとするように制御することができる。また、シンク機器に接続されているソース機器のうちの少なくとも1つがウェークアップである場合には、シンク機器をウェークアップとするように制御することができる。
また、図9に示す各処理(565乃至570)において、処理(564)で保持された保持内容が変更されたことをシンク機器からソース機器へ通知し、ソース機器からモードテーブル要求を送信する場合の変形例を図11に示す。
図11に示すように、情報処理装置300は、出力形態が変更したこと(564)を情報処理装置200に通知するとともに、情報処理装置200からモード設定要求の送信を促すため、モードステータス通知を送信する(565、566)。このモードステータス通知を受信した情報処理装置200は、対応が可能な場合には、モードステータス通知を承認する旨を示すモードステータス通知承認を情報処理装置300に送信する(851、852)。
このように、モードステータス通知承認が送信された後に(851)、各処理が行われる(853乃至858)。なお、この各処理(853乃至858)は、図6に示す各処理(505乃至510)に対応する。このように、モードステータス通知承認が送信された後に(851)、各処理(853乃至858)を行うことにより、状態変化(出力形態の変更(564))に対して、ストリームの伝送制御(例えば、データ伝送速度制御、スケーラビリティ伝送レート制御)を適切に行うことができる。
ここで、例えば、Wi−Fi CERTIFIED Miracastで用意されているコマンドにおいて、wfd−triggered−methodを含むRTSPM5 Messageは、現状、情報処理装置200が情報処理装置300へ送信するコマンドとして定義されている。ただし、wfd−triggered−methodを含むRTSPM5 Messageが、情報処理装置300が情報処理装置200へ送信するコマンドとして拡張できた場合、wfd−triggered−methodを含むRTSPM5 Messageを情報処理装置200が受信し、情報処理装置200は情報処理装置300との間で、Capability Re−negotiationを開始することができる。すなわち、wfd−triggered−methodを含むRTSPM5 Messageを用いて管理情報の交換を行うことができる。例えば、情報処理装置300の制御部370は、Wi−Fi CERTIFIED Miracast仕様に定められるwfd−triggered−methodを含むRTSPM5 Messageを、管理情報が変更された場合にその変更を情報処理装置200に通知するためのコマンドとして情報処理装置200に送信する制御を行うことができる。また、これらのコマンド以外に新規にコマンドを定義し、同等のことができるようにしてもよい。
[情報処理装置(ソース機器)の動作例]
図12は、本技術の第1の実施の形態における情報処理装置200によるデータ送信処理の処理手順の一例を示すフローチャートである。図12では、最初に、情報処理装置200が、標準的な解像度のストリーム(画像データおよび音声データ)を情報処理装置300に送信している場合の例を示す。この場合には、情報処理装置300には、そのストリームに基づく出力が行われているものとする。
最初に、制御部240は、モードテーブル要求を情報処理装置300に送信する(ステップS901)。続いて、制御部240は、コマンド情報を情報処理装置300から受信したか否かを判断し(ステップS902)、コマンド情報を受信していない場合には、監視を継続して行う。なお、ある一定時間待機しても、コマンド情報を受信できない場合にはタイムアウトし、処理を終了してもよい。例えば、Wi−Fi CERTIFIED Miracastでは、状況に応じて5秒から9秒のタイムアウト時間を設定している。
コマンド情報を情報処理装置300から受信した場合には(ステップS902)、制御部240は、受信したコマンド情報に基づいてモードを設定する旨を示すモード設定情報を情報処理装置300に送信する(ステップS903)。
続いて、制御部240は、受信したコマンド情報に基づいてモードを設定する(ステップS904)。また、制御部240は、解像度を向上するための変更要求がコマンド情報に含まれている場合には、その変更要求に応じて、画像および音声の解像度を設定する。また、制御部240は、解像度を低下するための変更要求がコマンド情報に含まれている場合には、その変更要求に応じて、画像の解像度および音声の音質を設定する。
続いて、制御部240は、その設定に応じてストリームを情報処理装置300に送信する送信処理を行う(ステップS905)。
続いて、制御部240は、低消費電力モードが設定されているか否かを判断し(ステップS906)、低消費電力モードが設定されていない場合(すなわち、通常の消費電力モードが設定されている場合)には、ステップS911に進む。一方、低消費電力モードが設定されている場合には(ステップS906)、制御部240は、一定時間スリープとする(ステップS907)。
続いて、制御部240は、問合せメッセージを情報処理装置300に送信する(ステップS908)。続いて、制御部240は、応答メッセージを情報処理装置300から受信したか否かを判断し(ステップS909)、応答メッセージを受信していない場合には、監視を継続して行う。ある一定時間待機しても、応答メッセージを受信できない場合にはタイムアウトし、処理を終了してもよい。例えば、Wi−Fi CERTIFIED Miracastでは、状況に応じて5秒から9秒のタイムアウト時間を設定している。
応答メッセージを情報処理装置300から受信した場合には(ステップS909)、制御部240は、その応答メッセージに変更要求が含まれているか否かを判断する(ステップS910)。そして、その応答メッセージに変更要求が含まれている場合には(ステップS910)、ステップS901に戻る。
その応答メッセージに変更要求が含まれていない場合には(ステップS910)、制御部240は、変更要求を受信したか否かを判断する(ステップS911)。そして、変更要求を受信した場合には(ステップS911)、ステップS901に戻る。一方、変更要求を受信していない場合には(ステップS911)、制御部240は、送信停止操作が行われたか否かを判断する(ステップS912)。そして、送信停止操作が行われた場合には(ステップS912)、データ送信処理の動作を終了する。一方、送信停止操作が行われていない場合には(ステップS912)、ステップS905に戻る。
[情報処理装置(シンク機器)の動作例]
図13は、本技術の第1の実施の形態における情報処理装置300によるデータ伝送速度制御処理の処理手順の一例を示すフローチャートである。図13では、情報処理装置300が、ストリーム(画像データおよび音声データ)を受信している場合に、ソース機器に関する設定内容(例えば、解像度、消費電力モード)を決定する例を示す。
例えば、情報処理装置300の制御部370は、中央チャネルとするためのユーザ情報や、情報処理装置300および各ソース機器間のリンク電波伝搬環境に応じて、使用する解像度や使用する周波数チャネルを決定することができる。
例えば、図5のaに示す状態で画像12を選択するためのユーザ操作が行われた場合を想定する。この場合には、画像12に関する解像度をアップさせ、画像11の解像度をダウンさせることが好ましい。また、時間の経過に応じて、各ソース機器のリンク電波伝搬環境に基づいて、画像11および画像12にとっての最適な解像度が選択することが好ましい。
例えば、情報処理装置300は、複数の周波数チャネルに、該当するスループットに相当するデータを流してみて、電波伝搬特性を把握することができる。また、例えば、情報処理装置300は、複数の周波数チャネル毎に理想的なスループットを把握するテーブルを保持しておく。そして、情報処理装置300は、同時に使用しているソース機器の数とPERとに基づいて、使用する周波数チャネルの利用可能データ伝送速度を把握し、周波数チャネル毎に最適な周波数チャネルを選択するようにしてもよい。
例えば、制御部370は、管理情報保持部390から管理情報を取得し、ユーザ情報取得部360からユーザ情報を取得する(ステップS921)。続いて、制御部370は、取得された管理情報およびユーザ情報に基づいて、出力形態を決定する(ステップS922)。この決定された出力形態に基づいて、複数のソース機器のそれぞれから送信された2つのストリームに対応する画像が表示部351に表示される。
続いて、制御部370は、管理情報に含まれるPERが閾値以下となるソース機器が存在するか否かを判断する(ステップS923)。管理情報に含まれるPERが閾値以下となるソース機器が存在する場合には(ステップS923)、制御部370は、そのソース機器の解像度を向上するための変更要求を決定する(ステップS924)。なお、ユーザ情報に基づく出力形態によって、中央チャネルに多くのデータ伝送速度を割り振る制御を制御部370が行う。この変更要求は、例えば、コマンド情報(例えば、図6に示すコマンド情報)に含めてそのソース機器に送信される。なお、そのソース機器の解像度を向上させた後のスループットが閾値以内であるか否かを判断し、この判断結果に基づいて、ストリームのレートを制御するようにしてもよい。
管理情報に含まれるPERが閾値以下となるソース機器が存在しない場合には(ステップS923)、制御部370は、管理情報に基づいて、各ソース機器のスループットが閾値以下であるか否かを判断する(ステップS925)。すなわち、各リンクのスループットが現在の周波数チャネルでも問題ないか否かが判断される(ステップS925)。
各ソース機器のスループットが閾値以下でない場合には(ステップS925)、ステップS921に戻る。一方、各ソース機器のスループットが閾値以下である場合には(ステップS925)、制御部370は、管理情報に基づいて、低消費電力モードに対応するソース機器が存在するか否かを判断する(ステップS926)。
低消費電力モードに対応するソース機器が存在する場合には(ステップS926)、制御部370は、その低消費電力モードに対応するソース機器について低消費電力モードを設定するための変更要求を決定する(ステップS928)。この変更要求は、例えば、コマンド情報(例えば、図6に示すコマンド情報)に含めてそのソース機器に送信される。
低消費電力モードに対応するソース機器が存在しない場合には(ステップS926)、制御部370は、そのソース機器(PERが閾値以下となるソース機器)の解像度を低下するための変更要求を決定する(ステップS927)。この変更要求は、例えば、コマンド情報(例えば、図6に示すコマンド情報)に含めてそのソース機器に送信される。
また、受信停止操作が行われたか否かが判断され(ステップS929)、受信停止操作が行われた場合には、データ伝送速度制御処理の動作を終了し、受信停止操作が行われていない場合には、ステップS921に戻る。なお、低消費電力モードの設定によりスリープ状態となっているソース機器が存在する場合には、情報処理装置300に接続するソース機器の数が減る。この場合には、ステップS925におけるスループット閾値を変更するようにしてもよい。また、このようにスループット閾値を変更した後に、ステップS925に相当するステップをさらに実行するようにしてもよい。
このように、シンク機器が回線環境を一定時間トレーニングし、安定的な映像通信が行える解像度をソース機器に通知する制御プロトコルを実現することができる。なお、ソース機器が回線環境を一定時間トレーニングし、安定的な映像通信が行える解像度を要求し、シンク機器が応答する制御プロトコルとするようにしてもよい。
このように、情報処理装置300の制御部370は、管理情報保持部390の管理情報とユーザ情報取得部360により取得されたユーザ情報とに基づいて、各ソース機器のそれぞれから送信された2つのストリームの伝送制御(例えば、データ伝送速度制御、スケーラビリティ伝送レート制御)を行うことができる。
なお、情報処理装置200および情報処理装置400のそれぞれから送信された2つのストリームの合計データ伝送速度を最小にするように制御を行うようにしてもよい。例えば、その合計データ伝送速度の最大許容値を受信側の情報処理装置300の制御部370に設定する。そして、制御部370は、ビットレートを低下するための変更要求を情報処理装置200に送信した後に、情報処理装置200および400のそれぞれから送信された2つのストリームのビットレートをストリーム受信部330から取得する。続いて、制御部370は、取得された2つのストリームの合計データ伝送速度を計算する。続いて、制御部370は、設定された最大許容値を超えない範囲で、情報処理装置400から送信されるストリームのビットレートを決定し、このビットレートに向上させるための変更要求を情報処理装置400に送信する。なお、最低ビットレートに設定してもPERが大きく同一周波数チャネルに収容できない場合には、別の周波数チャネルを用いてもよい。また、画像(中央チャネル、周辺チャネル)が一定時間以上、止まっている場合には、ユーザからの操作(例えば、ポインティング)が発生しない限り、画像データを停止させておくようにしてもよい。
このように、本技術の第1の実施の形態によれば、複数のソース機器から送信された複数のストリームを1つのシンク機器で受信する場合でも、ユーザの操作・状況・意図に応じた適切なストリームの伝送制御(例えば、データ伝送速度制御)を行うことができる。例えば、ユーザの操作・状況・意図に応じて、複数の画像・音声ストリームのうち一部のデータ伝送速度を減らし、残りのストリームのデータ伝送速度を増加させることができる。
また、例えば、シンク機器が複数のストリームを受信して表示しているような場合には、その時々に応じてユーザが設定したとおりに、重要な画像・音声を高品質で楽しむことができる。また、そうでない画像・音声については、そのデータ伝送速度を自動的に最適な周波数チャネル、消費電力、伝送レートに調節することができる。
ここで、管理情報保持部390に保持される管理情報について、例えば、管理情報の交換は、Wi−Fi CERTIFIED Miracastで用意されているコマンドを用いることもできる。この場合、Wi−Fi Display仕様で定められるcapability negotiationまたはcapability re−negotiationで行うことができる。ここで、capability negotiationまたはcapability re−negotiationとして、例えば、RFC5939やWi−Fi CERTIFIED Miracast仕様が挙げられる。ただし、capability negotiationまたはcapability re−negotiationは、これらに限定されるものではなく、装置性能情報のやりとりと定義する。このWi−Fi CERTIFIED Miracast仕様コマンドを用いたやりとりの通信例を図14乃至図16に示す。
[Wi−Fi CERTIFIED Miracast仕様コマンドを用いたやりとりの通信例]
図14乃至図16は、本技術の第1の実施の形態におけるソース機器およびシンク機器間における通信処理例を示すシーケンスチャートである。図14乃至図16では、RTSPプロトコルを用いたやりとりの通信例を示す。なお、ソース機器820は、情報処理装置200、400に対応し、シンク機器830は、情報処理装置300に対応する。
最初に、図14を参照して説明する。例えば、図14の点線の矩形840内に示すように、ソース機器からシンク機器に送信される「RTSP M3 Request」(RTSP GET_PARAMETER Request)メッセージと、これに応答してシンク機器からソース機器に送信される「RTSP M3 Response」(RTSP GET_PARAMETER Response)メッセージとを用いることができる。この交換処理は、例えば、図6に示す処理(505乃至508)、図8に示す処理(539乃至542)に対応する。一方、ソース機器からシンク機器に適宜送信するようにしてもよい。例えば、「RTSP M3 Request」(RTSP GET_PARAMETER Request)メッセージと、「RTSP M3 Response」(RTSP GET_PARAMETER Response)メッセージとのやりとりを省略し、ソース機器からシンク機器に送信されるメッセージに管理情報を含めて、ソース機器からシンク機器に管理情報を送信し、シンク機器が情報を選択して管理情報保持部390に保持するようにしてもよい。例えば、コンテンツプロテクション設定を行う場合、M3 Response後にリンクプロテクションセットアップを行う。このため、M4以上のメッセージのみを行うことにより、一度設定されたリンクの秘話性を確保したまま、通信を行えることが望まれることもある。
また、消費電力モードに関する情報のやりとりについては、RTSPプロトコルを用いた所定のメッセージで行うことができる。例えば、以下の(1)乃至(3)の3種類の管理情報の交換を行うことができる。
(1)"Standbyモードへの設定"
(2)"ソース機器がStanbyモードを解除する場合またはソース機器がシンク機器のStandbyモードを解除する場合"
(3)"シンク機器がStandbyモードを解除する場合またはシンク機器がソース機器のStandbyモードを解除する場合"
最初に、図15を参照して説明する。例えば、Wi−Fi CERTIFIED Miracastで用意されているコマンドを用いる場合、上述した(1)"Standbyモードへの設定"のやりとりでは、ソース機器820からシンク機器830に送信される「RTSP M12 Request」(RTSP SET_PARAMETER(with WFD−standby))メッセージと、これに応答してシンク機器830からソース機器820に送信される「RTSP M12 Response」(RTSP OK)メッセージとを用いることができる。一方、シンク機器830からソース機器820へのStanbyモードへの設定も同様である。
次に、図16を参照して説明する。例えば、上述した(2)"ソース機器がStanbyモードを解除する場合またはソース機器がシンク機器のStandbyモードを解除する場合"、ソース機器820は、シンク機器830に送信される「RTSP M5 Request」(RTSP SET_PARAMETER(Request(wfd−trigger−method:PLAY))メッセージと、これに応答してシンク機器830からソース機器820に送信される「RTSP M5 Response」(RTSP OK)メッセージとをやりとりする。シンク機器830は、ソース機器820に送信される「RTSP M7 Request」(RTSP PLAY Request)メッセージと、これに応答してソース機器820からシンク機器830に送信される「RTSP M7 Response」(RTSP OK)メッセージとを用いることができる。
また、例えば、上述した(3)"シンク機器がStandbyモードを解除する場合またはシンク機器がソース機器のStandbyモードを解除する場合"のやり取りの場合、シンク機器830は、ソース機器820に送信される「RTSP M7 Request」(RTSP PLAY Request)メッセージと、これに応答してソース機器820からシンク機器830に送信される「RTSP M7 Response」(RTSP OK)メッセージとを用いることができる。これらのやり取りは、例えば、図7に示す処理(515乃至518)、図7に示す処理(535乃至538)に対応する。
また、例えば、図9に示す処理(565乃至570)のやりとりは、シンク機器830からソース機器820に送信される「RTSP M12 Request」(RTSP SET_PARAMETER(with WFD−standby))メッセージと、これに応答してソース機器820からシンク機器830に送信される「RTSP M12 Response」(RTSP OK)メッセージとを用いることができる。
さらに、例えば、図10に示す処理(584乃至589)のやりとりは、シンク機器830からソース機器820に送信される「RTSP M7 Request」(RTSP PLAY Request)メッセージと、これに応答してソース機器820からシンク機器830に送信される「RTSP M7 Response」(RTSP OK)メッセージとを用いてもよい。
このように、無線通信部320は、capability情報の交換を、Wi−Fi Display仕様に定められるcapability negotiationまたはcapability re−negotiationで行うことができる。また、capability情報は、例えば、capability negotiationまたはcapability re−negotiationにおけるRTSP M3 Messageにおいて交換される。
このように、例えば、情報処理装置300の無線通信部320は、情報処理装置300に関するcapability情報と、情報処理装置200に関するcapability情報とを交換するための通信をソース機器との間で行う。また、情報処理装置200の無線通信部220は、情報処理装置200に関するcapability情報と、情報処理装置300に関するcapability情報とを交換するための通信を情報処理装置300との間で行う。これらの場合に、無線通信部220、320は、capability情報の交換をcapability negotiationまたはcapability re−negotiationで行うことができる。
また、情報処理装置300の制御部370は、情報処理装置200に関するcapability情報と、情報処理装置200との通信に関する電波伝搬測定情報と、情報処理装置300の使われ方とに基づいて情報処理装置200とのストリームの伝送制御(例えば、データ伝送速度制御、スケーラビリティ伝送レート制御)を行う。また、本技術の実施の形態とストリーム伝送の方法は異なるが、情報処理装置200の制御部240は、情報処理装置200に関するcapability情報と、情報処理装置300とのストリームの通信に関する電波伝搬測定情報とに基づく情報処理装置300からの制御に基づいて情報処理装置300とのストリームの伝送制御(例えば、データ伝送速度制御、スケーラビリティ伝送レート制御)を行うこともできる。
また、情報処理装置300の制御部370は、情報処理装置200に関するcapability情報(例えば、モバイル機器であるか否かを示す情報)に基づいて情報処理装置200における消費電力モードを設定する制御を行う。この場合に、制御部370は、情報処理装置200に関するcapability情報と、情報処理装置200を管理するための管理情報とに基づいて情報処理装置200に低消費電力モードを設定する制御を行うことができる。また、情報処理装置200の制御部240は、情報処理装置200に関するcapability情報に基づく情報処理装置300からの制御に基づいて消費電力モードを設定する。なお、本技術の実施の形態ではソース機器を2台にしたトポロジでの一例を説明したが、本技術は本技術の実施の形態に限定されない。例えば、2台以上であれば、台数分のデータ伝送速度制御を行う必要があり、状態遷移が多いため、制御が難しくなるが、有益である。2台以上のソース機器が接続するトポロジでも対応することができる。
<2.第2の実施の形態>
本技術の第2の実施の形態では、アクセスポイントを経由したソース機器およびシンク機器間の接続と、ソース機器およびシンク機器間のダイレクト接続とを切り替える例を示す。
[通信システムの構成例]
図17は、本技術の第2の実施の形態における通信システム700のシステム構成例を示す図である。
通信システム700は、アクセスポイント701と、ネットワーク702と、情報処理装置703、704、710、720、730と、表示装置731と、制御装置740とを備える。
アクセスポイント701は、無線LAN(例えば、Wi−Fi)のアクセスポイント(Access Point)である。例えば、アクセスポイント701は、IEEE802.11規格のInfrastructureモードの機能を有する。そして、アクセスポイント701は、1または複数の情報処理装置(例えば、送信側の情報処理装置(ソース機器)、受信側の情報処理装置(シンク機器))に接続される。
また、アクセスポイント701は、有線回線(例えば、Ethernet(登録商標))を経由して情報処理装置730と接続することができる。例えば、アクセスポイント701は、ネットワーク702を経由して情報処理装置730と接続することができる。また、アクセスポイント701は、情報処理装置730の内部バスと接続して処理を行うようにしてもよい。情報処理装置730の内部バスは、例えば、USB(Universal Serial Bus)、PCI(Peripheral Components Interconnect)、PCI Expressである。さらに、アクセスポイント701と情報処理装置730との接続は有線でなく、無線接続(例えば、無線LAN)とするようにしてもよい。例えば、無線LANの場合、ネットワーク702は情報処理装置730に接続し、情報処理装置730は、アクセスポイント701との送受信処理か、情報処理装置710との送受信処理かを判断する必要がある。
本技術の第2の実施の形態では、アクセスポイント701と情報処理装置703、704、710、720とは、無線LAN(例えば、IEEE802.11a/b/g/n/ac/adに相当する無線LAN)を用いて接続する例を示す。また、アクセスポイント701と情報処理装置730とは、Ethernet回線で接続する例を示す。
また、情報処理装置703、704、710、720を送信側の情報処理装置(ソース機器)とし、情報処理装置730を受信側の情報処理装置(シンク機器)とする例を示す。また、情報処理装置703、704、710、720は、図2に示す情報処理装置200に対応し、情報処理装置730は、図3に示す情報処理装置300に対応するものとする。なお、以下では、ソース機器として、主に、情報処理装置710について説明するが、情報処理装置703、704、720についても同様であるものとする。
情報処理装置710は、画像を送信する送信側の情報処理装置(ソース機器)である。また、情報処理装置710は、Infrastructureモードで、アクセスポイント701との接続が可能な情報処理装置である。
ここで、Infrastructureモードで、情報処理装置710がアクセスポイント701との接続を行う接続例について説明する。情報処理装置710は、アクセスポイント701から送信されるビーコン信号に対して、接続要求信号をアクセスポイント701に送信する。このように、情報処理装置710は、接続要求信号を送信することにより、アクセスポイント701との接続を確立するための動作(接続確立動作)を開始する。
この接続確立動作は、レイヤ2のレベルを繋げるための動作である。例えば、無線LANで行われているPID(Packet Identification)によるパスワード認証の他に、情報処理装置710をアプリケーションとして接続するか否かを判断する接続認証処理も必要になる。
また、情報処理装置710は、情報処理装置730とP2Pダイレクト通信(例えば、WiFi Direct)により接続することができる。例えば、情報処理装置710は、情報処理装置730とWiFi Directにより接続し、Wi−Fi CERTIFIED MiracastやDLNA(Digital Living Network Alliance)等の画像通信を可能にするプロトコルを有する。
また、情報処理装置710は、アクセスポイント701と接続して、アクセスポイント701を経由して情報処理装置730との間で、各種情報のやりとりのみを行う待機装置とするようにしてもよい。なお、情報処理装置710を待機装置としてのみ使用する場合には、情報処理装置710は、画像通信を可能にするプロトコルを有していなくてもよい。
情報処理装置730は、アクセスポイント701、情報処理装置703、704、710、720、制御装置740と接続するための通信機能を備える。また、情報処理装置730は、アクセスポイント701、情報処理装置703、704、710、720、制御装置740と接続して全体のプロトコルを制御する機能を備える。また、情報処理装置730は、構内LANやグローバルLANと接続するための通信機能を備える。
ここで、情報処理装置730と、情報処理装置703、704、710、720との接続を安定させることが重要である。このため、アクセスポイント701が使用している無線周波数とは異なる周波数を、情報処理装置730と、情報処理装置703、704、710、720との接続に用いることが好ましい。なお、本技術の第2の実施の形態では、IEEE802.11a/b/g/n/ac/ad等の2.4GHz帯、5GHz帯、60GHz等の周波数帯を使用する例を示す。ただし、他の無線規格、周波数帯を使用するようにしてもよい。
また、情報処理装置730は、画像を表示させる表示機能を備える。この表示機能は、TV(テレビジョン)やプロジェクタ等の画面表示を行う機能である。情報処理装置730は、情報処理装置730が備える表示部に画像を表示させるようにしてもよく、外部の表示装置に画像を表示させるようにしてもよい。なお、本技術の第2の実施の形態では、情報処理装置730とは別体型の表示装置731を設ける例を示す。
このように、情報処理装置730とは別体型の表示装置731を設ける場合には、情報処理装置730および表示装置731間を、有線接続または無線接続することができる。例えば、情報処理装置730および表示装置731間を有線接続する場合には、有線ケーブル(例えば、HDMI(登録商標)(High-Definition Multimedia Interface)やMHL(Mobile High-definition Link)、DisplayPort、USB3.0)を利用して接続することができる。また、例えば、情報処理装置730および表示装置731間を無線接続する場合には、無線LANを利用して接続することができる。また、情報処理装置730に接続する表示装置は複数台でもよいものとする。
制御装置740は、通信システム700を構成する各情報処理装置(情報処理装置703、704、710、720、730)を管理し、各情報処理装置の接続を制御する接続制御装置である。例えば、制御装置740は、各情報処理装置に関する情報(例えば、端末識別情報、Capability情報)、各情報処理装置の動作状態(例えば、通信モード、グループ参加状態)を管理して把握する。また、制御装置740は、無線通信を利用して情報処理装置730と接続される。この無線通信として、例えば、情報処理装置730が備える通信方式(例えば、無線LAN)を用いることができる。また、赤外線、他の無線方式、有線回線を用いるようにしてもよい。なお、制御装置740にアクセスポイント701と接続するためのプロトコルを備え、アクセスポイント701経由で情報処理装置730と接続するようにしてもよい。
[通信システムの設置例]
図18は、本技術の第2の実施の形態における通信システム700の設置例を示す図である。
図18では、大学の教室30に通信システム700を設置する例を示す。図18では、人物を円で模式的に示し、この人物に対応する円内には各人物を表す名称を付して示す。例えば、教室30の教壇側(図18の上側)に先生1が存在し、この先生1が制御装置740を使用しているものとする。また、教室30の前側の座席31に学生1が着席し、この学生1が情報処理装置710を使用しているものとする。同様に、学生2乃至20が、座席32乃至35に着席し、情報処理装置703乃至705、720を使用しているものとする。また、教室30の後方側(図18の下側)には、出入口36が設けられているものとする。
例えば、教室30において、座席31乃至35に着席している学生1乃至20が見え易いように、教壇側に表示装置731が設置される。また、アクセスポイント701、ネットワーク702、情報処理装置730は、教室30の空間を考慮して、教室30の内部または教室30の外部に適宜設置される。この場合に、アクセスポイント701は、座席31乃至35に着席する各学生に使用される情報処理装置との間で無線通信を行うことが可能な場所に設置することが好ましい。
例えば、教室30において、学生が1人ずつプレゼンテーションを行う場合を想定する。この場合には、各学生は、プレゼンテーションに関する画像を表示装置731に表示させて他の学生に見せながら、プレゼンテーションを行うことができる。
また、先生1は、制御装置740を操作することにより、表示装置731の表示部732に画像を表示させるべき学生の情報処理装置を順次選択することができる。この情報処理装置の選択例については、図21を参照して詳細に説明する。
また、教室30の出入口36の付近には、リーダ/ライタ装置37が設置される。リーダ/ライタ装置37は、近距離無線通信(例えば、NFC(Near Field Communication))を利用して情報処理装置との間で各種情報のやりとりを行うものである。また、リーダ/ライタ装置37は、情報処理装置との間でやりとりされた情報を、無線回線または有線回線を利用して情報処理装置730に送信する。なお、リーダ/ライタ装置37を用いる例については、本技術の第3の実施の形態で示す。
[制御装置の構成例]
図19は、本技術の第2の実施の形態における制御装置740の機能構成例を示すブロック図である。
制御装置740は、アンテナ741と、無線通信部742と、入出力部743と、操作受付部746と、制御部747と、グループ管理情報保持部750とを備える。
無線通信部742は、制御部747の制御に基づいて、無線通信を利用して、情報処理装置730との間で各情報の送受信をアンテナ741を介して行うものである。
操作受付部746は、ユーザにより行われた操作入力を受け付ける操作受付部であり、受け付けられた操作入力に応じた操作情報を制御部747に出力する。操作受付部746は、例えば、キーボード、マウスにより実現される。
入出力部743は、制御部747の制御に基づいて各種画像を表示部744に表示するとともに、表示部744の表示面に近接または接触する物体の検出状態に基づいてユーザからの操作入力を入力部745により受け付ける。また、入力部745は、受け付けられた操作入力に応じた制御情報を制御部747に出力する。
このように、入出力部743は、表示部744および入力部745が一体として構成される。入出力部743は、例えば、使用者がその指を表示面に接触または近接することにより操作入力を行うことが可能なタッチパネルを用いて一体で構成することができる。そして、例えば、ユーザは表示部744に表示されている画像等の接触操作(または、近接操作)を行うことにより制御装置740の操作が可能となる。
例えば、入力部745として、導電性を有する物体(例えば、人物の指)の接触または近接を、静電容量の変化に基づいて検出する静電式(静電容量方式)のタッチパネルを用いることができる。なお、静電式(静電容量方式)以外の他のタッチパネルを用いるようにしてもよい。例えば、感圧式(抵抗膜圧式)や光式等のタッチパネルを用いることができる。
制御部747は、制御プログラムに基づいて制御装置740の各部を制御するものである。例えば、制御部747は、Wi−Fi CERTIFIED Miracast仕様に従ってシンク機器および複数のソース機器間でリアルタイム画像伝送を行う場合に、通信モードをソース機器に設定するための制御を行う。この場合に、制御部747は、複数のソース機器を表す画像を入出力部743に表示させ、入出力部743における操作入力に基づいて通信モードをソース機器に設定するための制御を行う。または、制御部747は、所定順序に基づいて通信モードをソース機器に設定するための制御を行う。ここで、所定順序は、例えば、図22に示す周辺チャネル領域734に並べて表示される画像の順序とすることができる。また、表示装置が複数の場合には、制御部747は、各表示装置への全画面表示や切替表示等の制御を行うことができる。
グループ管理情報保持部750は、無線通信を利用して情報処理装置730に接続される各ソース機器をグループ単位で管理するための情報(グループ管理情報)を保持するテーブルである。なお、グループ管理情報保持部750の保持内容については、図20を参照して詳細に説明する。
[グループ管理情報保持部の保持内容例]
図20は、本技術の第2の実施の形態におけるグループ管理情報保持部750の保持内容の一例を模式的に示す図である。
グループ管理情報保持部750には、端末識別情報751と、ユーザ情報752と、通信モード753と、グループ参加状態754と、屋外使用755と、グループ参加可能時間756とが関連付けて保持される。
端末識別情報751には、無線通信を利用して情報処理装置300に接続されるソース機器を識別するための識別情報が格納される。
ユーザ情報752には、無線通信を利用して情報処理装置300に接続されるソース機器を所有するユーザに関する情報(ユーザ情報)が格納される。このユーザ情報として、例えば、ユーザの氏名、ニックネーム、識別情報(例えば、学籍番号、社員番号、会員番号)、画像(例えば、ユーザの顔画像、ユーザの似顔絵)等を格納することができる。また、ユーザ情報752に格納されているユーザ情報は、入出力部743に表示される。なお、ユーザ情報は、例えば、ソース機器を所有するユーザにより、制御装置740に予め登録しておくことができる。また、情報処理装置300に接続される毎に、制御装置740に登録するようにしてもよい。
通信モード753には、無線通信を利用して情報処理装置300に接続されるソース機器に設定されている通信モードが格納される。この通信モードとして、例えば、待機モード、画像送信モード(中央チャネル)、画像送信モード(周辺チャネル)の何れかが格納される。これらの各通信モードについては、図22を参照して詳細に説明する。
グループ参加状態754には、無線通信を利用して情報処理装置300に接続されているか否かを示す情報が格納される。例えば、制御装置740に予め登録されているソース機器については、情報処理装置300に接続されていないことも想定される。このため、グループ参加状態754を参照することにより、制御装置740に登録されているが、情報処理装置300に接続されていないソース機器を把握することができる。
屋外使用755には、無線通信を利用して情報処理装置300に接続されるソース機器が特定のアクセスポイント以外の基地局を利用して通信を行うことが可能であるか否かを示す情報が格納される。すなわち、屋外使用755には、無線通信を利用して情報処理装置300に接続されるソース機器が、特定の場所以外の場所に移動した場合でもそのソース機器を利用して通信を行うことが可能であるか否かを示す情報が格納される。
グループ参加可能時間756は、無線通信を利用して情報処理装置300に接続されるソース機器がグループに参加することが可能な時間帯を示す情報が格納される。例えば、機密性の高い発表や会議、重要度が高い発表や会議、外に出したくないミーティング等を行う時間帯については、一部のユーザを不許可とすることができる。
[制御装置の表示例]
図21は、本技術の第2の実施の形態における制御装置740の入出力部743に表示される表示画面の一例を示す図である。
入出力部743には、制御装置740により管理されている1または複数の情報処理装置を表す画像(先生1、学生1乃至20)が表示される。また、入出力部743には、プレゼン領域748および待機領域749が設けられる。
図21では、図18に示すように、大学の教室30に通信システム700が設置されている場合の例を示す。この場合には、例えば、教室30に存在する先生1と学生1乃至20とを表す画像(例えば、アイコン)が表示される。なお、図21では、先生を表す画像に対応する矩形内には、先生の文字ととともに先生を識別するための数字を付して示す。また、学生を表す画像に対応する矩形内には、学生の文字とともに学生を識別するための数字を付して示す。なお、学生を識別するための他の情報(例えば、学籍番号、ID、顔画像、氏名、ニックネーム)を付したアイコンを表示するようにしてもよい。
図21では、学生1乃至20を表す画像を、学生に付された番号の順序で格子状に配置する例を示すが、他の配置とするようにしてもよい。例えば、各学生が存在する場所に応じた配置することができる。例えば、各学生が所有する情報処理装置の位置情報(例えば、緯度および経度)を取得し、この位置情報に基づいて、各情報処理装置の絶対的な位置を決定することができる。このように決定された各情報処理装置の位置に基づいて、各情報処理装置の相対的な位置を決定して各学生を配置することができる。なお、各情報処理装置は、例えば、GPS(Global Positioning System)により位置情報を取得することができる。
また、例えば、各情報処理装置の相対的な位置については、電波を利用して検出することができる。例えば、情報処理装置730は、複数の情報処理装置からの電波強度を取得し、これらの電波強度に基づいて、三角測量の測量方法を利用して、他の情報処理装置との相対的な位置(自装置の位置)を求めることができる。このように求められた相対的な位置を制御装置740が取得して、各学生を配置することができる。
ここで、グループに参加している各ソース機器は、消費電力に影響を与えない程度に、アクセスポイント701または情報処理装置730にコマンドを発信する等の処理を行う。このコマンドを直接受信した場合、または、アクセスポイント701を経由して間接的に受信した場合には、情報処理装置730は、コマンドを受信したソース機器に関する情報を制御装置740に通知する。これにより、制御装置740は、ソース機器がグループから離脱しているか否かを確認することができる。
例えば、制御装置740は、グループに参加しているソース機器がグループから離脱しているか否かを確認し、離脱したソース機器を検出した場合には、その離脱したソース機器に対応する画像(例えば、アイコン)を入出力部743から削除する。例えば、図21に示す学生17に対応する情報処理装置からのコマンドを、所定時間以上受信していないと判断した場合には、制御装置740は、学生17に対応する情報処理装置がグループから離脱したと判断する。そして、制御装置740は、その離脱した情報処理装置に対応する画像(学生17)を入出力部743から削除する。
プレゼン領域748は、待機モードから画像送信モード(中央チャネル、周辺チャネル)に切り替える場合に用いられる領域である。
待機領域749は、画像送信モードから待機モードに切り替える場合に用いられる領域である。
なお、本技術の第2の実施の形態では、情報処理装置730に接続されている1または複数の情報処理装置を制御装置740が管理し、制御装置740の入出力部743に各情報処理装置を表す画像を表示する例を示す。ただし、情報処理装置730に接続されている1または複数の情報処理装置を、情報処理装置730が管理し、情報処理装置730の表示部または表示装置731に各情報処理装置を表す画像を表示するようにしてもよい。
[表示装置の表示例]
図22は、本技術の第2の実施の形態における表示装置731に表示される表示画面の遷移例を示す図である。図22では、ソース機器の通信モードに応じて切り替えられる表示画面の遷移例を示す。
上述したように、ソース機器がシンク機器と接続されている状態(グループへの参加が許可された場合)では、ソース機器において待機モードおよび画像送信モードの何れかの通信モードが設定される。
ここで、画像送信モードは、ソース機器からシンク機器への画像送信を行う通信モードであり、ソース機器およびシンク機器間がP2Pにより直接接続される。画像送信モードは、中央チャネルの画像を送信する画像送信モード(中央チャネル)と、周辺チャネルの画像を送信する画像送信モード(周辺チャネル)とを含む。
画像送信モード(中央チャネル)は、シンク機器の表示部における中央チャネル(中央チャネル領域733)に画像を表示させるための画像データを送信する通信モードである。画像送信モード(中央チャネル)では、例えば、高周波帯域の無線伝送路で画像データが送信される。
画像送信モード(周辺チャネル)は、シンク機器の表示部における中央チャネル(周辺チャネル領域734)に画像を表示させるための画像データを送信する通信モードである。画像送信モード(周辺チャネル)では、例えば、低周波帯域の無線伝送路で画像データが送信される。
また、待機モードは、ソース機器からシンク機器への画像送信を行わずに、ソース機器およびシンク機器間でアクセスポイントを経由した接続状態が維持される通信モードである。すなわち、待機モードは、シンク機器および制御装置740によりネットワーク参加者として認識されている際に設定されるモードである。
このように、画像送信モードでは、ソース機器からシンク機器への画像送信を行うことができるが、待機モードでは、ソース機器からシンク機器への画像送信を行うことができないものとする。ただし、待機モードでも簡単なメッセージングなどであれば、ソース機器からシンク機器への送信を行うことができるものとする。
また、ソース機器において、例えば、待機モード→画像送信モード(周辺チャネル)→画像送信モード(中央チャネル)→待機モード…のように、通信モードが順次切り替えられるものとする。
図22のaには、情報処理装置710において待機モードが設定されている場合の表示例を示す。例えば、図17に示す例において、情報処理装置710において待機モードが設定されている場合を想定する。この場合には、情報処理装置710は、アクセスポイント701を経由して情報処理装置730と接続される。この場合には、情報処理装置710から情報処理装置730への画像送信は行われない。このため、表示装置731の表示部732には、情報処理装置710に表示されている画像(走る馬)が表示されない。
図22のbには、情報処理装置710において画像送信モード(周辺チャネル)が設定されている場合の表示例を示す。例えば、図17に示す例において、情報処理装置710において画像送信モード(周辺チャネル)が設定されている場合を想定する。この場合には、情報処理装置710は、アクセスポイント701を経由せずに情報処理装置730と接続される。この場合には、情報処理装置710から情報処理装置730への画像送信が行われる。そして、表示装置731の表示部732における周辺チャネル領域734には、情報処理装置710に表示されている画像(走る馬)が表示される。
ここで、周辺チャネル領域734には、中央チャネル領域733に画像が表示される順序で、各ソース機器の画像が表示される。例えば、周辺チャネル領域734の一番下側に表示される画像を送信しているソース機器が、次に、中央チャネル領域733に画像を表示するソース機器となる。また、例えば、周辺チャネル領域734の下から2番目に表示される画像を送信しているソース機器が、その次に、中央チャネル領域733に画像を表示するソース機器となる。すなわち、プレゼンテーションの順序に従って、周辺チャネル領域734に画像(サブ画像)を並べて表示させることができる。
図22のcには、情報処理装置710において画像送信モード(中央チャネル)が設定されている場合の表示例を示す。例えば、図17に示す例において、情報処理装置710において画像送信モード(中央チャネル)が設定されている場合を想定する。この場合には、情報処理装置710は、アクセスポイント701を経由せずに情報処理装置730と接続される。この場合には、情報処理装置710から情報処理装置730への画像送信が行われる。そして、表示装置731の表示部732における中央チャネル領域733には、情報処理装置710に表示されている画像(走る馬)が表示される。
[ソース機器の通信モードの切替例]
ここで、ソース機器の通信モード(待機モード、画像送信モード)を切り替える場合の切替方法について説明する。
例えば、次の(B1)乃至(B3)を、ソース機器の通信モードの切替のトリガとすることができる。
(B1)ソース機器を用いた切替(例えば、ソース機器を用いたユーザ操作による能動的な切替)
(B2)制御装置を用いた切替(例えば、制御装置740を用いたユーザ操作による切替(遠隔操作切替))
(B3)シンク機器を用いた切替(例えば、シンク機器を用いたユーザ操作による切替)
なお、各装置におけるユーザ操作(切替操作)は、例えば、各装置が備える操作受付部(例えば、操作部材、タッチパネル)を用いたユーザ操作や、各装置が備えるユーザ情報取得部(例えば、ジェスチャーを検出する検出部)を用いたユーザ操作である。
(B1)は、例えば、ソース機器に予め内蔵されているアプリケーションや操作部材の操作入力を切替トリガとすることができる。例えば、ソース機器において切替操作が行われると、通信モードの切替に関するコマンドがシンク機器(情報処理装置730)に送信される。このコマンドを受信した場合には、シンク機器(情報処理装置730)は、その他の帯域を含めて制御しながら、そのコマンドを送信したソース機器の帯域を増減させていく制御を行う。また、シンク機器(情報処理装置730)は、そのコマンドを送信したソース機器の通信モードを切り替えた旨の情報を制御装置740に送信する。この場合に、制御装置740は、通信モードを切り替えた旨の通知情報を出力(表示、音声出力)するようにしてもよい。
(B2)は、例えば、シンク機器(情報処理装置730)におけるユーザ操作を切替トリガとすることができる。例えば、シンク機器(情報処理装置730)においてソース機器の切替操作が行われると、その他の帯域を含めて制御しながら、その切替操作が行われたソース機器の帯域を増減させていく制御を行う。また、シンク機器(情報処理装置730)は、その切替操作が行われたソース機器の通信モードを切り替えた旨の情報を制御装置740に送信する。この場合には、(B1)の場合と同様に、制御装置740は、通信モードを切り替えた旨の通知情報を出力するようにしてもよい。
(B3)は、例えば、制御装置740におけるユーザ操作を切替トリガとすることができる。例えば、制御装置740においてソース機器の切替操作が行われると、その切替操作が行われたソース機器に関する情報(例えば、端末識別情報)をシンク機器(情報処理装置730)に送信する。その情報を受信した場合には、シンク機器(情報処理装置730)は、その他の帯域を含めて制御しながら、その切替操作が行われたソース機器の帯域を増減させていく制御を行う。
ここで、制御装置740におけるユーザ操作について説明する。例えば、図21に示す表示画面において、待機モードに設定されている情報処理装置(学生17)を画像送信モード(周辺チャネル)に切り替える場合を想定する。この場合には、情報処理装置(学生17)に対応する画像を、プレゼン領域748まで移動させる操作を行う。例えば、ドラッグ&ドロップ操作を行う。これにより、待機モードに設定されている情報処理装置(学生17)を画像送信モード(周辺チャネル)に切り替えることができる。
また、例えば、図21に示す表示画面において、画像送信モード(中央チャネル、周辺チャネル)に設定されている情報処理装置(学生13)を待機モードに切り替える場合を想定する。この場合には、情報処理装置(学生13)に対応する画像を、待機領域749まで移動させる操作を行う。例えば、ドラッグ&ドロップ操作を行う。これにより、画像送信モード(中央チャネル、周辺チャネル)に設定されている情報処理装置(学生13)を待機モードに切り替えることができる。
また、(B1)、(B2)の場合と同様に、制御装置740は、通信モードを切り替えた旨の通知情報を出力するようにしてもよい。
また、制御装置740は、各情報処理装置を表す画像(例えば、図21に示す学生1乃至20)を、通信モード毎に異なる表示態様としてもよい。例えば、画像送信モード(中央チャネル)に設定されている情報処理装置を表す画像の輪郭を太線とし、画像送信モード(周辺チャネル)に設定されている情報処理装置を表す画像の輪郭を細線とする。また、待機モードに設定されている情報処理装置を表す画像の輪郭を点線とすることができる。また、例えば、画像送信モード(中央チャネル)に設定されている情報処理装置を表す画像の色を赤とし、画像送信モード(周辺チャネル)に設定されている情報処理装置を表す画像の色を青とする。また、待機モードに設定されている情報処理装置を表す画像の色を白とすることができる。
[通信モードの切替例]
図23は、本技術の基礎となるソース機器およびシンク機器間における通信モードの切替例を示す図である。
本技術の第2の実施の形態では、上述したように、待機モードでは、アクセスポイント611を経由してソース機器610およびシンク機器612を間接的に接続する接続方式を採用する。また、画像送信モードでは、アクセスポイント611を経由せずにソース機器610およびシンク機器612を直接接続する接続方式を採用する。
例えば、待機モードにおける接続(613)から画像送信モードにおける接続(614)に切り替える場合を想定する。すなわち、アクセスポイント611を経由して接続される待機モード(613)から、アクセスポイント611を経由せずに接続される画像送信モード(614)に切り替える場合を想定する。
このように切り替えを行う場合には、図24に示すWi−Fi Direct制御(P2P Device Discovery、P2P Service Discovery、GO Negociation)、無線LANのセキュリティ認証を行う4Wayハンドシェイク(Handshake)、IP(Internet Protocol)アドレスを取得するDHCP(Dynamic Host Configuration Protocol)アクセス、RTSP(Real Time Streaming Protocol)のポート設定のやりとり等を行う必要がある。このため、待機モードにおける接続(613)から画像送信モードにおける接続(614)に切り替える場合には、数秒程度の接続時間D1が生じる。
ここで、アクセスポイント611およびソース機器610間、ソース機器610およびシンク機器612間が、同一のグループ認証内である場合を想定する。この場合には、アクセスポイント611およびソース機器610間でセキュリティ認証が行われている。このため、アクセスポイント611およびソース機器610間の設定値を、ソース機器610およびシンク機器612間の接続処理に使用してもセキュリティ上問題がないと想定される。
そこで、本技術の第2の実施の形態では、ソース機器およびシンク機器間のセキュリティ認証を省略して、よりシームレスの接続切替を行う例を示す。例えば、HDCP(High-bandwidth Digital Content Protection system)のIP取得、RTP(Real-time Transport Protocol)のポート設定等の処理を流用することができる。これにより、接続方式が異なる通信モードへの切替(待機モードから画像送信モードへの切替、画像送信モードから待機モードへの切替)を行う場合でも、迅速な接続処理を行うことができる。このため、ユーザに接続が継続されているように感じさせることができる。
なお、ソース機器およびシンク機器がTDLS(Tunneled Direct Link Setup)機能に対応している場合には、TDLSプロトコルを使用するようにしてもよい。
[接続処理例]
図24は、本技術の第2の実施の形態におけるソース機器およびシンク機器間で行われる接続処理例を示すシーケンスチャートである。なお、図24では、情報処理装置(ソース機器)710および情報処理装置(シンク機器)730間における接続処理例を示す。
最初に、情報処理装置710は、Device Discoveryを行う(615)。このDevice Discoveryにより情報処理装置730が検出されると、情報処理装置710は、情報処理装置730との間で、Formationにより親子関係の決定や認証処理を行う(620)。これらの各処理が完了すると、情報処理装置710および情報処理装置730間の接続が確立される。そして、情報処理装置710は、情報処理装置730との間でダイレクト通信(Operation)を行う(616)。
ここで、Formation(620)について説明する。
最初に、情報処理装置710および情報処理装置730間で、GO_Negotiationが行われる。このGO_Negotiationでは、情報処理装置710および情報処理装置730のそれぞれが、グループオーナー(GO)として動作する優先度を交換し、優先度が高い情報処理装置がグループオーナー(GO)として動作することを決定する。図24では、情報処理装置730の優先度が高く、情報処理装置730がグループオーナー(GO)として決定される例を示す。
具体的には、情報処理装置710が、GO_Negotiation_Requestを情報処理装置730に送信する(621)。このGO_Negotiation_Requestを受信すると(621)、情報処理装置730は、GO_Negotiation_Responseを情報処理装置710に送信する(622)。このGO_Negotiation_Responseを受信すると(622)、情報処理装置710は、GO_Negotiation_Confirmationを情報処理装置730に送信する(623)。
これらのやりとり(621乃至623)により、情報処理装置730がグループオーナー(GO)として決定され、情報処理装置710がクライアントとして決定される。
続いて、情報処理装置710および情報処理装置730は、WPS(Wi-Fi Protected Access)_exchangeを実行する(624)。このWPS_exchangeの実行により、情報処理装置710および情報処理装置730は、クレデンシャル(例えば、SSID(Service Set Identifier)、WPS2(Wi-Fi Protected Access 2)−PSK(Pre-Shared Key)を共有する。
続いて、情報処理装置710および情報処理装置730は、4−way_handshakeを実行する(625)。
[通信例]
図25および図26は、本技術の第2の実施の形態における通信システム700を構成する各装置間における通信処理例を示すシーケンスチャートである。なお、図25および図26では、情報処理装置(ソース機器)710、情報処理装置(シンク機器)730、アクセスポイント701間における通信処理例を示す。
また、図25および図26では、情報処理装置(シンク機器)730がグループ認証サーバとして機能する例を示す。すなわち、情報処理装置(シンク機器)730は、グループ認証機能を備えるものとする。
図34乃至図38は、本技術の第2の実施の形態における通信システム700を構成する各装置間によりやりとりされるWFD IEフォーマットの一例を示す図である。
図39は、本技術の第2の実施の形態における通信システム700を構成する各装置間によりやりとりされるASP(Application Service Platform)用の新規メッセージの一例を示す図である。
最初に、情報処理装置710において情報処理装置730と間で通信を行うためのアプリケーション(情報処理装置710に予めインストールされているアプリケーション)が起動される(631)。このアプリケーションの起動は、例えば、ユーザ操作(例えば、アプリボタンの押下操作)により行われる。
ここで、図25および図26では、デフォルトで、ソース機器がアクセスポイントに直接接続した後に各処理を開始する例を示す。すなわち、情報処理装置710は、予めインストールされているアプリケーションを起動し、特定のアクセスポイント(アクセスポイント701)経由でシンク機器(情報処理装置730)への接続要求を行う。
具体的には、情報処理装置710は、アクセスポイント701に接続した後に、機器発見(図24に示すDevice Discovery(615)に相当)を行い、接続可能なシンク機器を表示部711に表示させる。
ここで、機器発見の方法として、例えば、WiFi Directのプロトコルをアクセスポイント701経由で実行できるようにし、ProbeRequest等のメッセージを受信し、機器発見する方法を用いることができる。また、例えば、アクセスポイント701に接続されたStation間でUPnP(Universal Plug and Play)に代表されるDevice Service Typeをやりとりし、機器発見を行う方法を用いることができる。
ここでは、Device DiscoveryまたはService Discoveryの制御方法の一例について説明する。
情報処理装置710(ソース機器)は、アクセスポイント701を経由して、情報処理装置730(シンク機器)へProbe Requestを送信し、P2P接続可能な装置をサーチする。
例えば、情報処理装置730(シンク機器)がP2P接続可能な装置である場合には、アクセスポイント701を経由して、Probe Responseを受信することにより、P2P接続で使用する周波数チャネルを検出することが可能となる。ここでは、情報処理装置730(シンク機器)がP2P接続可能な機器であることを想定し、Probe Responseを受信できたことを前提にして説明する。
上述した処理によって、情報処理装置710(ソース機器)は、情報処理装置730(シンク機器)とP2P接続するための周波数チャネルを把握し、P2P接続のコネクションを確立する。
P2P接続のコネクションを確立後、情報処理装置710(ソース機器)は、情報処理装置730(シンク機器)とTCPコネクションまたはRTSPコネクションのリンクを確立した後に、次の(C1)乃至(C4)の何れか1つ以上のやりとりを行う。
(C1)P2P IE(Information Element)
(C2)WFD IE(Information Element)
(C3)ASP(Application Service Platform)(例えば、ASPのフォーマットコマンドで新規フォーマット)
(C4)UPnP標準でのプロトコル
例えば、Probe RequestやProbe Responseのペイロード部分にWFD IEをカプセル化させ、やりとりする方法について説明する。
上述した(C2)のWFD IEを用いたフォーマット例を、図34乃至図38に示す。図34乃至図36は、既にMiracast Release1で割り当てられているフォーマットである。ただし、図36に示すSubelement ID(11)に、新規のビットを割り当てる。具体的には、このSubelement ID(11)に対応する新規Fieldについては、図37、図38に示す。
図38において、New Device Informationフィールドの[5:0]は、情報処理装置730(シンク機器)がP2P接続において、最適な周波数チャネルを判断するための情報である。
上述した(C1)乃至(C3)の何れか1つを用いたシーケンスの過程で、情報処理装置710(ソース機器)は、各情報を把握することにより、情報処理装置730(シンク機器)とのP2P接続において、最適な周波数チャネルを判断することができる。例えば、アクセスポイント701および情報処理装置730(シンク機器)間のアソシエイトされた周波数情報(図38に示す[23:14]のフィールド)を用いることができる。また、例えば、情報処理装置730(シンク機器)の無線回線のコンカレント情報(図38に示す[5:2]のフィールド)を用いることができる。このコンカレント情報は、例えば、同じ周波数チャネルの時分割接続、違う周波数チャネルの時分割接続、同じ周波数チャネルの同時接続、違う周波数チャネルの同時接続等の接続形態が可能か否かの情報である(図38に示す[5:2]のフィールド)。また、例えば、無線機能としての端末能力(図38に示す[13:8]のフィールド)を用いることができる。
また、アクセスポイント701および情報処理装置730(シンク機器)間がEthernetケーブルやUSBケーブル・コネクタのように有線接続またはコネクタ接続されている場合もある。この場合、情報処理装置730(シンク機器)が、アクセスポイント701との接続が有線であること(図38に示す[1:0])と、P2P接続用無線を備えるか否かとを情報処理装置710(ソース機器)に通知する。これにより、情報処理装置710(ソース機器)は、最適な周波数チャネルを判断することができる。例えば、情報処理装置730(シンク機器)が、有線回線にのみ対応する場合には、P2P接続へ移行せずにそのままアクセスポイント701と接続する。一方、情報処理装置730(シンク機器)が、無線回線にも対応する場合には、サポートする周波数チャネルの1つを選択して接続することが可能である。
以上が、Probe RequestやProbe Responseのペイロード部分にWFD IEをカプセル化させた例であるが、本技術はこれに限定されない。
例えば、Wi−Fi Direct ServicesのDisplay Servieを使う場合には、ASP準拠のメッセージを介してデバイス間でService Capability情報を交換することができる。具体的には、WFD IEに含まれる情報を、4bit毎に区切って16進数にしたものをtext stringとしたものを送受信する。さらに、WFD IEに含まれる情報は現時点の仕様に限らない。例えば、図39に示すService Capability情報をペイロードに含むようにしてもよい。
なお、アソシエイトされた周波数情報、デバイスのコンカレント情報のネゴシエーションは、Device DiscoveryまたはService Discoveryの処理の一貫として行うようにしてもよい。また、アソシエイトされた周波数情報、デバイスのコンカレント情報のネゴシエーションは、伝送途中に周波数チャネル変更が必要な際にリネゴシエーションしてもよい。さらに、ネゴシエーションの開始時に、(C1)乃至(C4)のどのやりとりが可能かを、情報処理装置710(ソース機器)および情報処理装置730(シンク機器)間でネゴシエーションし、どの方法で情報のやりとりを行うかを選択するようにしてもよい。
なお、上述した各処理では、情報処理装置710(ソース機器)は、Probe Responseを受信後、P2P接続リンクのTCPコネクションまたはRTSPコネクションを確立後に(C1)乃至(C4)を行う例を示した。ただし、P2P接続リンクを確立する前に、アクセスポイント701を経由して、情報処理装置710(ソース機器)および情報処理装置730(シンク機器)が接続されたTCPコネクションまたはRTSPコネクションを用いて、WFD IEを含むProbe RequestとProbe Responseのやりとりを行ってもよい。また、この例では、情報処理装置710(ソース機器)が主導して行う例を示したが、情報処理装置730(シンク機器)が主導して行うようにしてもよい。
また、上述した各処理にかかわらず、上述したProbe RequestにP2P接続するための周波数が記載されており、情報処理装置730(シンク機器)からのProbe Responseを返信する周波数チャネルはProbe Requestが使用した周波数チャネルでなくてもよい。また、受信はP2P接続経由で行うようにしてもよい。
また、本技術の実施の形態では、アプリケーションを立ち上げた直後に、機器発見を行う例を示すが、本技術はこれに限定されない。例えば、ソース機器およびシンク機器のうちの少なくとも1つがNFCのタグ機能またはReader/Writer機能を備える場合を想定する。この場合には、何れかの機器でNFCを用いて、NFCによってタッチされたタイミングで、上述したDevice DiscoveryまたはService Discoveryの制御方法を開始するようにしてもよい。さらに、アクセスポイントへの接続を開始するか否かをNFCによってタッチされたタイミングとするようにしてもよい。また、上述した(C1)乃至(C4)の選択基準をNFCを介して情報処理装置710(ソース機器)および情報処理装置730(シンク機器)間で行うようにしてもよい。例えば、次の(D1)、(D2)の切替にNFCのタッチタイミングを用いてもよい。
(D1)タッチされたタイミングでアクセスポイントを切断してダイレクトに接続
(D2)タッチされたタイミングでTDLSで接続
また、機器発見処理により、起動したアプリケーションに対応するシンク機器が複数発見されることも想定される。この場合には、ソース機器の表示部に、発見された複数のシンク機器から所望のシンク機器を選択するための選択画面を表示させ、この選択画面においてユーザ操作により選択させることができる。また、発見された複数のシンク機器のうち、ソース機器から一番近い機器を自動的に選択して接続するようにしてもよい。なお、一番近い機器を自動的に選択する場合には、例えば、各機器により取得される位置情報を用いることができる。
このように、情報処理装置710においてアプリケーションが起動され、シンク機器が選択される(631)。図25および図26では、情報処理装置730が選択された場合の例を示す。
このようにシンク機器(情報処理装置730)が選択されると(631)、情報処理装置710の制御部(図2に示す制御部240に相当)は、アクセスポイント701経由でシンク機器(情報処理装置730)への接続要求を行う(632乃至635)。この接続要求には、例えば、情報処理装置710を特定するための識別情報(例えば、図4に示す端末識別情報391)と、起動するアプリケーションを特定するための識別情報(アプリケーション情報)とが含まれる。
情報処理装置710からの接続要求を受信した場合には(635)、情報処理装置730の制御部(図3に示す制御部370に相当)は、グループ認証処理を行う(636)。このグループ認証処理では、情報処理装置710において起動されたアプリケーションにより動作させるグループに情報処理装置710を参加させるか否かが判断される(636)。すなわち、情報処理装置730の制御部は、情報処理装置710において起動されたアプリケーションを動作するための接続を情報処理装置710に許可するか否かを判断するグループ認証処理を行う(636)。
例えば、グループ認証処理では、同一のグループに属し、かつ、既に接続状態となっているソース機器、シンク機器、制御装置740の何れかにおいて、情報処理装置710を許可するためのユーザ操作が行われたか否かを判断する。そして、それらの各装置(ソース機器、シンク機器、制御装置740)の何れかにおいて、情報処理装置710を許可するためのユーザ操作が行われたことを条件に、情報処理装置710をグループに参加させることを許可する判断を行うことができる。
例えば、各装置(ソース機器、シンク機器、制御装置740)のうちの少なくとも1つの表示部に、情報処理装置710を許可するためのユーザ操作を行うための表示画面(例えば、ホップアップ)を表示させる。そして、その表示画面において、情報処理装置710を許可するためのユーザ操作が行われた場合には、情報処理装置730の制御部は、情報処理装置710をグループに参加させることを許可する判断を行う(636)。
また、例えば、制御装置740に登録されているか否かに基づいて、グループ認証処理を行うようにしてもよい。例えば、グループ管理情報保持部750の端末識別情報751(図20に示す)に端末識別情報が格納されている情報処理装置については、情報処理装置730の制御部は、グループに参加させることを許可する判断を行う(636)。ただし、この場合には、グループ管理情報保持部750のグループ参加可能時間756(図20に示す)の時間内である場合に限り、情報処理装置730の制御部は、グループに参加させることを許可する判断を行う(636)。
グループ認証処理において情報処理装置710をグループに参加させることを許可すると判断した場合には(636)、情報処理装置730の制御部は、接続許可情報を情報処理装置710にアクセスポイント701を経由して送信する(637乃至640)。ここで、接続許可情報は、情報処理装置710において起動されたアプリケーションにより動作させるグループに情報処理装置710が参加することを許可する旨を示す情報である。
なお、グループ認証処理において情報処理装置710をグループに参加させないと判断した場合(認証を不許可とした場合)には(636)、情報処理装置730の制御部は、アクセスポイント701を経由して接続不許可情報を情報処理装置710に送信する。ここで、接続不許可情報は、情報処理装置710において起動されたアプリケーションにより動作させるグループに情報処理装置710を参加することを不許可とする旨を示す情報である。この接続不許可情報を情報処理装置710が受信した場合には、データ送信処理の動作を終了する。
情報処理装置730からの接続許可情報を受信した場合には(640)、情報処理装置710の制御部は、情報処理装置710に関するCapability情報を情報処理装置730にアクセスポイント701を経由して送信する(641乃至644)。このCapability情報は、情報処理装置730との間でWi−Fi CERTIFIED Miracast通信を行うためのCapability情報である。また、このCapability情報には、情報処理装置730へP2Pダイレクト接続を行うための情報を含む。
情報処理装置710からのCapability情報を受信した場合には(644)、情報処理装置730の制御部は、設定要求情報を情報処理装置710にアクセスポイント701を経由して送信する(645乃至648)。この設定要求情報は、Wi−Fi CERTIFIED Miracast規格での画像送信を行うための設定を要求する情報である。
ここで、情報処理装置730は、情報処理装置730と接続されている各ソース機器の帯域制御および表示画面制御を行う。このため、新たに接続された情報処理装置710に対して、他のソース機器との関係に基づいて、グループ共有を加味したパラメータの設定を要求する必要がある。そこで、情報処理装置730は、情報処理装置710がグループに参加することが許可された後に、情報処理装置730と接続されている各ソース機器に関する各情報に基づいて、情報処理装置710に関する設定要求情報を送信する(645乃至648)。
なお、上述したように、情報処理装置730からの指示に基づいて、情報処理装置710において、最初に待機モードが設定される。すなわち、情報処理装置730からの設定要求情報を受信した場合には(648)、初期状態として、情報処理装置710において待機モードが設定される。
また、情報処理装置730からの指示に基づいて、情報処理装置710における通信モードが、待機モード→画像送信モード(周辺チャネル)→画像送信モード(中央チャネル)→待機モード…の順序で、順次切り替えられる。
ここで、上述した(B1)乃至(B3)の何れかの切替方法により、情報処理装置710の通信モードが切り替えられた場合を想定する。ここでは、情報処理装置710の通信モードが、待機モードから画像送信モード(周辺チャネル)に切り替えられる例を示す。
このように、画像送信モードが設定された場合には(649)、情報処理装置710の制御部は、アクセスポイント701を経由する情報処理装置730へのアクセスを切断する(650、651)。
続いて、情報処理装置710の制御部は、情報処理装置730とダイレクト接続を行うためのP2P接続処理を行う(652、653)。このP2P接続処理が完了した後に(652、653)、情報処理装置710の制御部は、情報処理装置730から受信した設定要求情報に基づいて、情報処理装置730に接続要求を行う(654、655)。すなわち、情報処理装置710の制御部は、情報処理装置730から受信した設定要求情報に基づいて、情報処理装置730に接続要求を送信する(654、655)。この接続要求は、レイヤ3までの接続設定に関する接続要求である。
接続要求を受信した場合には(655)、情報処理装置730の制御部は、その接続要求に対応する画像の受信を許可する旨を示す確認情報を情報処理装置710に送信する(656、657)。この確認情報を受信した場合には(657)、情報処理装置710の制御部は、情報処理装置730との間でP2Pダイレクト接続を開始する(658、659)。
すなわち、情報処理装置710の制御部は、受信した確認情報に対応する接続要求に基づいて、画像パラメータや音声パラメータのネゴシエーションを情報処理装置730との間で行い、画像データの送信を行う(658、659)。
ここで、上述した(B1)乃至(B3)の何れかの切替方法により、情報処理装置710の通信モードが切り替えられた場合を想定する。ここでは、情報処理装置710の通信モードが、画像送信モード(中央チャネル)から待機モードに切り替えられる例を示す。
このように、待機モードが設定された場合には(660)、情報処理装置710の制御部は、情報処理装置730とのダイレクト接続を切断する(661、662)。
続いて、情報処理装置710の制御部は、アクセスポイント701を経由して情報処理装置730と接続を行うための接続処理を行う(663、664)。
なお、ダイレクト接続と、アクセスポイント701を経由した接続とを切り替える場合に、その接続時間を事前に把握し、表示装置731に最後に表示された画像をシンク機器(情報処理装置730)がそのまま保持するようにしてもよい。そして、シンク機器(情報処理装置730)は、表示装置731における表示位置を変更させる処理の間に、コネクション切替を行うようにする。すなわち、シンク機器は、ユーザに切断されたことが分かりづらい補間処理を行うようにする。これにより、物理的に発生してしまう切替時間をユーザに感じさせずに切り替えることができる。
[情報処理装置(ソース機器)の動作例]
図27は、本技術の第2の実施の形態における情報処理装置710によるデータ送信処理の処理手順の一例を示すフローチャートである。図27では、デフォルトで、ソース機器(情報処理装置710)がアクセスポイントに直接接続した後に各処理を開始する例を示す。すなわち、情報処理装置710は、予めインストールされているアプリケーションを起動し、特定のアクセスポイント(アクセスポイント701)経由でシンク機器への接続要求を行う。また、図27では、シンク機器として情報処理装置730に接続され、特定のアクセスポイントとしてアクセスポイント701に接続される例を示す。
最初に、情報処理装置710においてシンク機器(情報処理装置730)と間で通信を行うためのアプリケーションが起動される(ステップS1031)。この起動後に、接続対象となるシンク機器(情報処理装置730)が選択される(ステップS1031)。
続いて、情報処理装置710の制御部は、アクセスポイント701(AP)経由で情報処理装置730への接続要求を行う(ステップS1032)。続いて、情報処理装置710の制御部は、アクセスポイント701経由で情報処理装置730から接続許可情報を受信したか否かを判断する(ステップS1033)。情報処理装置730から接続許可情報を受信していない場合には(ステップS1033)、データ送信処理の動作を終了する。この場合には、所定時間以内に接続許可情報を受信していないことを条件に、データ送信処理の動作を終了するようにしてもよい。
情報処理装置730から接続許可情報を受信した場合には(ステップS1033)、情報処理装置710の制御部は、情報処理装置710のCapability情報を情報処理装置730にアクセスポイント701を経由して送信する(ステップS1034)。
続いて、情報処理装置710の制御部は、アクセスポイント701経由で情報処理装置730から設定要求情報を受信したか否かを判断する(ステップS1035)。なお、ステップS1035は、請求の範囲に記載の第2手順の一例である。設定要求情報を受信していない場合には(ステップS1035)、監視を継続して行う。
設定要求情報を受信した場合には(ステップS1035)、初期状態として、情報処理装置710において待機モードが設定される。そして、情報処理装置710の制御部は、待機モードが設定されているか否かを判断する(ステップS1036)。そして、情報処理装置710において待機モードが設定されている場合には(ステップS1036)、監視を継続して行う。
待機モードが設定されていない場合(画像送信モードが設定された場合)には(ステップS1036)、情報処理装置710の制御部は、情報処理装置710がグループから離脱したか否かを判断する(ステップS1037)。ここで、情報処理装置710がグループから離脱する場合は、例えば、情報処理装置710がアクセスポイントまたはシンク機器の何れの電波も届かない場所に移動するような場合、グループから離脱するためのユーザ操作が行われた場合が想定される。このユーザ操作は、例えば、離脱ボタンの押下操作(例えば、操作部材の押下操作、タッチパネルの押下操作)とすることができる。また、そのユーザ操作は、情報処理装置710、他のソース機器、シンク機器、制御装置740の何れかにおいて行うものとする。
そして、情報処理装置710がグループから離脱した場合には(ステップS1037)、データ送信処理の動作を終了する。また、情報処理装置710がグループから離脱していない場合には(ステップS1037)、情報処理装置710の制御部は、アクセスポイント701を経由する情報処理装置730との接続を切断する(ステップS1038)。
続いて、情報処理装置710の制御部は、情報処理装置730とダイレクト接続を行うためのP2P接続処理を行う(ステップS1039)。このP2P接続処理が完了した後に(ステップS1039)、情報処理装置710の制御部は、情報処理装置730から受信した設定要求情報に基づいて、情報処理装置730に接続要求を行う(ステップS1040)。なお、ステップS1040は、請求の範囲に記載の第3手順の一例である。
続いて、情報処理装置710の制御部は、その接続要求に対応する画像の受信を許可する旨を示す確認情報を情報処理装置730から送信したか否かを判断する(ステップS1041)。確認情報を情報処理装置730から送信していない場合には(ステップS1041)、監視を継続して行う。
確認情報を情報処理装置730から送信した場合には(ステップS1041)、情報処理装置710の制御部は、情報処理装置730との間でP2Pダイレクト接続を開始する(ステップS1042)。そして、情報処理装置710の制御部は、受信した確認情報に対応する接続要求に基づいて、画像パラメータや音声パラメータのネゴシエーションを情報処理装置730との間で行い、画像データの送信を行う(ステップS1043)。なお、ステップS1043は、請求の範囲に記載の第1手順の一例である。
続いて、情報処理装置710の制御部は、画像送信モードが設定されているか否かを判断する(ステップS1044)。そして、情報処理装置710において画像送信モードが設定されている場合には(ステップS1044)、ステップS1043に戻る。
画像送信モードが設定されていない場合(待機モードが設定された場合)には(ステップS1044)、情報処理装置710の制御部は、回線が切断されたか否かを判断する(ステップS1045)。例えば、情報処理装置710がグループから離脱したような場合には、アクセスポイント701または情報処理装置730との回線が切断される。そして、回線が切断された場合には(ステップS1045)、データ送信処理の動作を終了する。
回線が切断されていない場合には(ステップS1045)、情報処理装置710の制御部は、情報処理装置730とのダイレクト接続を切断する(ステップS1046)。続いて、情報処理装置710の制御部は、アクセスポイント701との接続を開始する(ステップS1047)。
このように、情報処理装置710は、Wi−Fi CERTIFIED Miracast仕様に従って情報処理装置730との間でリアルタイム画像伝送を行う。また、情報処理装置710の制御部は、アクセスポイント701を経由して、リアルタイム画像伝送に関する設定を情報処理装置710に行うための設定要求情報を情報処理装置730から受信よう制御する。また、情報処理装置710の制御部は、情報処理装置730とのダイレクト通信によりその設定要求情報に基づく設定を行うための設定要求を情報処理装置730に送信するよう制御する。その設定要求情報は、アクセスポイント701を経由して情報処理装置710および情報処理装置730間でやりとりされたCapability情報(情報処理装置710に関する)に基づいて生成される。
また、情報処理装置710の制御部は、接続状態を切り替える場合には、切替前の接続に関するポート情報およびIP情報のうちの少なくとも1つを用いて接続処理を行うよう制御することができる。なお、接続状態の切替は、アクセスポイント701を経由した情報処理装置730との接続状態から、ダイレクト通信による情報処理装置730との接続状態への切替、または、その逆の切替である。
また、情報処理装置710の制御部は、画像送信モード(周辺チャネル)では、表示装置731における周辺チャネル領域734に表示させるための画像の送信を低周波帯域の無線伝送路で行うよう制御する。また、情報処理装置710の制御部は、画像送信モード(周辺チャネル)では、表示装置731における中央チャネル領域733に表示させるための画像の送信を高周波帯域の無線伝送路で行うよう制御する。
また、情報処理装置710の制御部は、各装置の何れかにおけるユーザ操作に基づいてダイレクト通信により設定要求を情報処理装置730に送信するよう制御する。または、情報処理装置710の制御部は、所定順序(例えば、周辺チャネル領域734に並べて表示されている画像の順序)に基づいて、ダイレクト通信により設定要求を情報処理装置730に送信するよう制御する。
また、情報処理装置730の制御部は、アクセスポイント701を経由して、リアルタイム画像伝送に関する設定を情報処理装置710に行うための設定要求情報を情報処理装置710に送信するよう制御する。また、情報処理装置730の制御部は、情報処理装置710とのダイレクト通信によりその設定要求情報に基づく設定を行うための設定要求を情報処理装置710から受信するよう制御する。
このように、アクセスポイントとダイレクト接続との切り替えを行う場合に、その切替時間を短くすることができる。例えば、複数のソース機器を帯域制御する環境において、Infrastructure環境と、WiFi Direct(または、Wi−Fi CERTIFIED Miracast)環境とにおいて、切替時間を少なくすることができる。これにより、シームレスな接続切替を提供することができる。
また、マルチソース環境において、複数のソース機器をグループに参加させつつ、接続順序を設け、より高品位な画像での画像情報共有を行うことができる。例えば、Infrastructure環境に参加するソース機器をシンク機器(または制御装置)に通知することができる。また、WiFi Direct(または、Wi−Fi CERTIFIED Miracast)環境では、Infrastructure環境とは異なる周波数チャネルでダイレクト通信により画像送信することができる。これにより、複数のソース機器が1台の表示装置(シンク機器)に接続される場合でも、安定した画像通信を行うことができる。また、無線帯域制限により、全てのソース機器が画像送信モードになることができない場合でも、全ての接続を安定的に接続させることができる。
また、グループ内の接続台数が多ければ多いほど、接続制御のオーバーヘッドが増え、帯域利用効率が悪くなるため、画像伝送を安定的に通すことが難しくなる。これに対して、本技術の実施の形態では、接続台数が多い環境においても、安定した画像伝送を行うことが可能な通信システムを提供することができる。すなわち、本技術の実施の形態では、複数の情報処理装置間で通信を行う場合に適切な制御を行うことができる。
[最初に接続されたアクセスポイント以外の公衆回線への接続を可能にする例]
以上では、ソース機器がシンク機器に接続する場合に、アクセスポイントを経由したシンク機器への接続、または、シンク機器へのダイレクト接続をする例を示した。ここで、ソース機器が携帯型の情報処理装置(例えば、スマートフォン、タブレット端末)である場合には、ソース機器を使用しているユーザが移動することが想定される。この場合に、例えば、ソース機器を使用しているユーザが、アクセスポイントとの接続が不可能な場所まで移動することも想定される。このような場合でも、シンク機器への接続を継続して行うことを所望するユーザも想定される。そこで、以下では、ソース機器を使用しているユーザが、アクセスポイントとの接続が不可能な場所まで移動する場合を考慮する例を示す。
[ソース機器の使用例]
図28は、本技術の第2の実施の形態における情報処理装置710の使用例を示す図である。
図28では、矢印40に示すように、図18に示す教室30において情報処理装置710を使用していた学生1が教室30の外側に移動した場合を模式的に示す。例えば、学生1が、発表を行った教室30から、研究室や大学外の場所に移動する場合が想定される。また、例えば、会社であれば、営業マンが、プレゼンテーションを行った会議室から外出するような場合が想定される。
また、図28では、無線通信を利用してアクセスポイント701と直接通信することができる範囲(アクセスポイント701を基準とした場合における電波到達範囲)を電波到達範囲705として示す。無線通信を利用して基地局762と直接通信することができる範囲(基地局762を基準とした場合における電波到達範囲)を電波到達範囲763として示す。
公衆網761は、電話網、インターネット等の公衆回線網である。なお、ネットワーク702および基地局762は、例えば、公衆網761を介して接続される。
基地局762は、通信事業者が運用する基地局であり、無線通信を利用して情報処理装置と公衆網761とを接続して各種無線サービスを提供する。この無線サービスは、例えば、IEEE802.11のホットスポットサービス、IEEE802.15、IEEE802.16、3GPP仕様(例えば、W−CDMA、GSM、WiMAX、WiMAX2、LTE、LTE−A)に準拠した回線サービスである。
[情報処理装置(ソース機器)の動作例]
図29および図30は、本技術の第2の実施の形態における情報処理装置710によるデータ送信処理の処理手順の一例を示すフローチャートである。なお、図29および図30では、デフォルトで、ソース機器(情報処理装置710)がアクセスポイントに直接接続した後に各処理を開始し、アクセスポイント以外の公衆回線への接続も可能にする例を示す。また、図29および図30は、図27の変形例であるため、図27と共通する部分についての説明の一部を省略する。
最初に、アプリケーションが起動され(ステップS1051)、アクセスポイント701(AP)経由で情報処理装置730への接続要求が行われる(ステップS1052)。続いて、情報処理装置710の制御部は、アクセスポイント701経由で情報処理装置730から接続許可情報を受信したか否かを判断する(ステップS1053)。情報処理装置730から接続許可情報を受信していない場合には(ステップS1033)、データ送信処理の動作を終了する。なお、ステップS1051乃至S1053は、図27に示すステップS1031乃至S1033に対応する。
情報処理装置730から接続許可情報を受信した場合には(ステップS1053)、情報処理装置710の制御部は、その接続許可情報に、屋外での利用を許可する情報(屋外使用情報)が含まれるか否かを判断する(ステップS1054)。この屋外使用情報は、アクセスポイント701以外のアクセスポイントまたは基地局を経由した情報処理装置730との接続を許可するか否かを示す許可情報であり、グループ管理情報保持部750の屋外使用755(図20に示す)に格納されている。また、情報処理装置730は、アクセスポイント701(AP)経由で受信した接続要求に応答して接続許可情報を送信する場合には、屋外使用情報(許可、不許可)を制御装置740から取得して接続許可情報に含めて送信する。なお、情報処理装置730は、屋外使用755に「許可」が格納されている場合であっても、グループ参加可能時間756(図20に示す)に格納されている時間帯以外の時間帯であるときには、不許可の屋外使用情報を接続許可情報に含めて送信する。すなわち、制御装置740でスケジューリング(スケジュール管理)を行い、参加者の予定時間を管理して、その時間帯になったときにのみ屋外使用を許可することができる。なお、屋外使用情報をCapability情報に含めてシンク機器からソース機器に送信するようにしてもよい。
また、情報処理装置730は、許可の屋外使用情報を接続許可情報に含めて送信する場合には、アクセスポイント701の電波が届かない場所において公衆網を利用するための設定情報を、その接続許可情報に含める。
なお、この例では、屋外使用の許可、不許可を予め設定しておく例を示したが、ソース機器からの接続要求がある毎に、各装置において許可、不許可を設定するようにしてもよい。例えば、他のソース機器(例えば、情報処理装置703、704、720)、シンク機器(情報処理装置730)、制御装置740の少なくとも1つの装置を用いて許可、不許可を設定するための操作を行うことができる。
例えば、情報処理装置730は、制御装置740の入出力部743に許可、不許可を選択するための表示画面を表示させ、この表示画面において行われた許可、不許可の選択操作を受け付けることができる。
また、例えば、情報処理装置730は、表示装置731の表示部732に許可、不許可を選択するための表示画面を表示させ、この表示画面を用いて許可、不許可の選択操作を受け付けることができる。例えば、操作部材を用いた操作入力や、ジェスチャーによる操作入力により許可、不許可の選択操作を受け付けることができる。
また、例えば、情報処理装置730は、他のソース機器(例えば、情報処理装置720)の表示部721に許可、不許可を選択するための表示画面(例えば、ホップアップ)を表示させる。そして、情報処理装置730は、その表示画面において行われた許可、不許可の選択操作を受け付けることができる。
このように、ソース機器からの接続要求がある毎に許可、不許可を設定することができる。このため、例えば、時間帯によって機密性や重要度が異なるような場合でも適切に許可、不許可を設定することができる。
なお、この例では、シンク機器がグループ認証サーバとして機能するとともに、シンク機器が、屋外使用を許可するか否かを判断するための管理を行う例を示す。ただし、屋外使用の許可不許可の管理と、ソース機器とをリンクさせて管理する管理装置(例えば、管理サーバ)を新たに設けて、その管理装置により屋外使用を許可するか否かを判断するための管理を行うようにしてもよい。
接続許可情報に、屋外での使用を許可する屋外使用情報が含まれている場合には(ステップS1054)、情報処理装置710の制御部は、屋外使用が許可された旨を表示部711に表示させる(ステップS1055)。例えば、同一フロア内(アクセスポイント701の電波が届く範囲)での使用と、屋外使用とが許可された旨をホップアップ表示してユーザに通知することができる。
続いて、情報処理装置710の制御部は、情報処理装置710に関するCapability情報と、公衆網サービス情報とを情報処理装置730にアクセスポイント701を経由して送信する(ステップS1056)。ここで、公衆網サービス情報は、情報処理装置710が公衆網のサービスを利用するための情報であり、例えば、接続先電話番号(情報処理装置710の電話番号)、認証パスワード等である。
続いて、情報処理装置710の制御部は、通信処理を行う(ステップS1057)。この通信処理では、図27に示す各処理(ステップS1035乃至S1047)が行われる。
続いて、情報処理装置710の制御部は、アクセスポイント701の電波伝達範囲の外側に移動したか否かを判断する(ステップS1058)。そして、アクセスポイント701の電波伝達範囲の外側に移動していない場合には(ステップS1058)、ステップS1057に戻る。
アクセスポイント701の電波伝達範囲の外側に移動した場合には(ステップS1058)、情報処理装置710の制御部は、ユーザが屋外での継続使用を希望するか否かを確認する(ステップS1059)。例えば、ユーザがシンク機器との接続を切断する動作(例えば、通信終了操作)を行うことも想定される。このため、ユーザが屋外での継続使用を希望するか否かを確認するようにする。
例えば、情報処理装置710の制御部は、アクセスポイント701の電波伝達範囲の外側に移動した旨と、屋外での継続使用を希望するか否かを選択するための選択ボタンとを含むポップアップを表示部711に表示させる。そして、情報処理装置710の制御部は、そのポップアップにおいて、屋外での継続使用を選択する選択ボタンが押下されたか否かを判断する(ステップS1059)。すなわち、情報処理装置710の制御部は、移動後の場所での継続使用が選択されたか否かを判断する(ステップS1059)。移動後の場所での継続使用が選択されない場合には(ステップS1059)、データ送信処理の動作を終了する。
このように、情報処理装置710の制御部は、屋外での使用を許可する屋外使用情報(許可情報)を受信した場合には、アクセスポイント701以外のアクセスポイントまたは基地局を経由した情報処理装置730とのやりとりを行うよう制御する。この場合に、情報処理装置710の制御部は、アクセスポイント701以外のアクセスポイントまたは基地局を経由して画像データおよび音声データの少なくとも1つを情報処理装置730から受信して出力させるよう制御することができる。
なお、この例では、アクセスポイント701の電波伝達範囲の外側への移動が検出される毎に、屋外での継続使用の確認を行う例を示したが、屋外での継続使用の有無を事前設定しておくようにしてもよい。このように事前設定をしておくことにより、自動的に同一フロア内での使用と屋外使用とをシームレスに切り替えられることができる。
移動後の場所での継続使用が選択された場合には(ステップS1059)、移動後の場所に存在する基地局を経由した情報処理装置730による接続処理が行われる(ステップS1060)。例えば、情報処理装置730の制御部は、情報処理装置710が、アクセスポイント701の電波伝達範囲の外側に移動したか否かを判断する。そして、情報処理装置710が、アクセスポイント701の電波伝達範囲の外側に移動した場合には、情報処理装置730の制御部は、移動後の場所に存在する基地局を経由して情報処理装置710と接続するための接続処理を行う。例えば、情報処理装置730の制御部は、情報処理装置710から受信した公衆回線サービス情報に電話番号が含まれる場合には、その電話番号に基づいて、公衆網を経由して情報処理装置710に発呼する。そして、情報処理装置710の制御部は、情報処理装置730との間で公衆網を経由した接続処理を行う。
ここで、アクセスポイント701の電波伝達範囲の外側に移動した場合には、情報処理装置710を所有するユーザは、表示装置731の表示部732を見ることができず、表示装置731から出力される音声を聞くことができないと想定される。そこで、情報処理装置730は、公衆網を経由して情報処理装置710と接続した時点で、情報処理装置710が画像および音声を受信可能であるか否かを確認するためのやりとりを行う。そして、情報処理装置730は、情報処理装置710が、画像および音声の両方を受信可能であるか、画像のみを受信可能であるか、音声のみを受信可能であるかを判断する。
その判断結果に基づいて、情報処理装置730は、情報処理装置710との間でデータ通信(画像データ、音声データ)を行う。すなわち、情報処理装置710の制御部は、公衆網を経由して、情報処理装置730との間でデータ通信(画像データ、音声データ)を行う。このデータ通信では、情報処理装置710および情報処理装置730間で双方向のやり取りが行われる。
例えば、情報処理装置730の制御部は、表示装置731の表示部732に表示されている表示画面と、表示装置731から出力される音声とのうちの少なくとも1つを送信する。また、屋外の場合には、情報処理装置710の表示部711に表示される表示画面を見ることができないことも想定される。この場合には、音声の送信のみとするようにしてもよい。この送信すべきデータについては、情報処理装置710のユーザにより変更可能とすることができる。
また、情報処理装置710および情報処理装置730間で双方向のデータのやりとりを行う場合に、情報処理装置730は、公衆網を経由した情報処理装置710までの伝送路(例えば、帯域や通信状況)を確認する。そして、情報処理装置730は、その確認結果に基づいて、送信すべきデータを切り替えるようにしてもよい。例えば、大容量の伝送路が確保されている場合には、情報処理装置730は、画像データおよび音声データの双方を送信するようにする。また、例えば、大容量の伝送路が確保されていない場合には、情報処理装置730は、画像データをトランスコードさせて容量を削減させたり、音声データのみを送信したりするようにする。
続いて、情報処理装置710の制御部は、公衆網を経由した情報処理装置730との接続を継続して行うか否かを判断する(ステップS1062)。例えば、情報処理装置710の制御部は、公衆網を経由した情報処理装置730との接続を継続して行うか否かを選択するための表示画面を表示部711に表示(常時表示、または、定期的に表示)させる。そして、その表示画面における選択操作に基づいて、情報処理装置710の制御部は、公衆網を経由した情報処理装置730との接続を継続して行うか否かを判断することができる。
公衆網を経由した情報処理装置730との接続を継続して行う場合には(ステップS1062)、ステップS1061に戻る。また、公衆網を経由した情報処理装置730との接続を継続しない場合には(ステップS1062)、情報処理装置710の制御部は、公衆網を経由した情報処理装置730との接続を切断する(ステップS1063)。
接続許可情報に、屋外での使用を不許可とする屋外使用情報が含まれている場合には(ステップS1054)、情報処理装置710の制御部は、屋外使用は不許可である旨を表示部711に表示させる(ステップS1064)。
続いて、情報処理装置710の制御部は、情報処理装置710に関するCapability情報を情報処理装置730にアクセスポイント701を経由して送信する(ステップS1065)。
続いて、情報処理装置710の制御部は、通信処理を行う(ステップS1066)。この通信処理では、図27に示す各処理(ステップS1035乃至S1047)が行われる。
続いて、情報処理装置710の制御部は、アクセスポイント701の電波伝達範囲の外側に移動したか否かを判断する(ステップS1067)。そして、アクセスポイント701の電波伝達範囲の外側に移動していない場合には(ステップS1067)、ステップS1066に戻る。また、アクセスポイント701の電波伝達範囲の外側に移動した場合には(ステップS1067)、ステップS1063に進む。
このように、シンク機器および複数のソース機器間で情報共有を行う場合に、ソース機器の場所にかかわらずに情報のやりとりを行うことができる。例えば、情報処理装置710を所有する学生1が、アクセスポイント701の電波到達範囲705の外側に移動したような場合でも、基地局を経由して情報処理装置710を情報処理装置730に接続することができる。例えば、学生1が、発表を行った教室30から、研究室や大学外の場所に移動する場合が想定される。また、例えば、通信システム700が会社に設置されている場合には、営業マンが、プレゼンテーションを行った会議室から外出するような場合が想定される。この場合には、その営業マンが、屋外(例えば、電車内)で会議内容を聞くことができる。
なお、本技術の第2の実施の形態では、ソース機器をアクセスポイントや基地局に接続させることにより、ソース機器およびシンク機器間のグループ認証を開始する例を示した。ただし、NFCのreader/writer機能を備える機器が、シンク機器や他の機器と連携して、ソース機器およびシンク機器間のグループ認証を開始するようにしてもよい。他の機器は、例えば、Wi−Fi CERTIFIED Miracast仕様の機器である。また、NFCのreader/writer機能を利用して、ソース機器およびシンク機器間のグループ認証を開始する例については、本技術の第3の実施の形態で示す。
<3.第3の実施の形態>
本技術の第2の実施の形態では、最初に、ソース機器をアクセスポイントや基地局に接続させることにより、ソース機器およびシンク機器間のグループ認証を開始する例を示した。
本技術の第3の実施の形態では、近距離無線通信を利用してソース機器およびシンク機器間のグループ認証を開始する例を示す。例えば、Wi−Fi Direct over NFCのプロトコルや、Wi−Fi direct using NFCのプロトコルを用いてグループ認証を開始することができる。例えば、NFCの機能を備えるソース機器を、NFCの機能を備えるシンク機器に直接タッチさせることにより、グループ認証を開始することができる。
なお、Wi−Fi Direct over NFCのプロトコルは、ソース機器およびシンク機器のタッチによりソース機器およびシンク機器間を接続するためのプロトコルである。このプロトコルは、例えば、NFC用タグを備えるソース機器を、NFC Reader/Writer機能を備えるシンク機器にタッチ(または、近接)することにより、Wi−Fi Directを接続するための情報をやり取りさせるプロトコルである。
このように、ソース機器をシンク機器に直接タッチさせるユーザの動作により、グループ認証を開始することができる。このため、グループに参加する意図がある場合には、ユーザは、グループに参加するための動作を能動的に行うことができる。また、ソース機器およびシンク機器のダイレクト接続後に、アクセスポイントへの接続に切り替えることができる。これにより、さらにユーザフレンドリーなインターフェースを提供することができる。
また、本技術の第2の実施の形態では、機器発見により複数のシンク機器が発見された場合には、所望のシンク機器を選択させるための選択画面を表示させ、この選択画面においてユーザに所望のシンク機器を選択させる例を示した。これに対して、本技術の第3の実施の形態では、所望のシンク機器にソース機器をタッチする動作をユーザが行うことにより、所望のシンク機器に自動的に接続させることができる。
なお、シンク機器に直接タッチさせる代わりに、ソース機器を他の装置にタッチさせることにより、グループ認証を開始するようにしてもよい。例えば、図18に示す例において、教室30の出入口36付近に設置されているリーダ/ライタ装置37に、ソース機器をタッチさせることにより、グループ認証を開始するようにしてもよい。この場合には、リーダ/ライタ装置37は、タッチされたソース機器に関する情報(例えば、端末識別情報、PIN(Personal Identification Number)コード)をシンク機器に送信する。なお、PINコードについては、独自に生成されるユニークなIDを用いることが好ましい。
また、例えば、シンク機器(例えば、情報処理装置730)または表示装置(例えば、表示装置731)を操作するためのリモコン(リモートコントローラ)をシンク機器の代わりに用いるようにしてもよい。例えば、NFC Reader/Writer機能を備えるリモコンに、ソース機器をタッチさせることにより、グループ認証を開始するようにしてもよい。この場合には、リモコンは、タッチされたソース機器に関する情報(例えば、端末識別情報、PINコード)をシンク機器に送信する。
[情報処理装置(ソース機器)の動作例]
図31は、本技術の第3の実施の形態における情報処理装置710によるデータ送信処理の処理手順の一例を示すフローチャートである。なお、図31では、情報処理装置710を情報処理装置730に直接タッチさせることによりグループ認証を開始する例を示す。また、図31は、図27の変形例であるため、図27と共通する部分についての説明の一部を省略する。
また、図31では、情報処理装置710は、NFCのタグ機能を備え、情報処理装置730は、NFCのReader/Writer機能を備えるものとする。ただし、NFCのタグ機能、NFCのReader/Writer機能については、ソース機器およびシンク機器のうちのどちらに実装されるようにしてもよい。また、情報処理装置730は、DHCPサーバとして機能するものとする。
最初に、情報処理装置710の制御部は、情報処理装置710が情報処理装置730にタッチされたか否かを判断する(ステップS1071)。情報処理装置710が情報処理装置730にタッチされていない場合には(ステップS1071)、監視を継続して行う。
情報処理装置710が情報処理装置730にタッチされた場合には(ステップS1071)、情報処理装置710の制御部は、情報処理装置730とのダイレクト接続を開始する(ステップS1072)。すなわち、情報処理装置710がP2Pクライントになり、情報処理装置730がP2P GOになる。そして、情報処理装置710の制御部は、情報処理装置730から無線パラメータを受信し、この受信した無線パラメータに基づいた接続処理を行う(ステップS1073)。
続いて、情報処理装置710の制御部は、情報処理装置730(DHCPサーバ)からIPアドレスを取得する(ステップS1074)。
続いて、情報処理装置710の制御部は、情報処理装置730から接続許可情報を受信したか否かを判断する(ステップS1075)。情報処理装置730から接続許可情報を受信していない場合には(ステップS1075)、データ送信処理の動作を終了する。
情報処理装置730から接続許可情報を受信した場合には(ステップS1075)、情報処理装置710の制御部は、情報処理装置710に関するCapability情報を情報処理装置730に送信する(ステップS1076)。
続いて、情報処理装置710の制御部は、情報処理装置730から設定要求情報を受信したか否かを判断する(ステップS1077)。設定要求情報を受信していない場合には(ステップS1077)、監視を継続して行う。
設定要求情報を受信した場合には(ステップS1077)、初期状態として、情報処理装置710において画像送信モードが設定される。そして、情報処理装置710の制御部は、情報処理装置730から受信した設定要求情報に基づいて、情報処理装置730に接続要求を行う(ステップS1078)。
続いて、情報処理装置710の制御部は、その接続要求に対応する画像の受信を許可する旨を示す確認情報を情報処理装置730から受信したか否かを判断する(ステップS1079)。確認情報を情報処理装置730から受信していない場合には(ステップS1079)、監視を継続して行う。
確認情報を情報処理装置730から受信した場合には(ステップS1079)、情報処理装置710の制御部は、情報処理装置730との間でP2Pダイレクト接続を開始する(ステップS1080)。そして、情報処理装置710の制御部は、受信した確認情報に対応する接続要求に基づいて、画像パラメータや音声パラメータのネゴシエーションを情報処理装置730との間で行い、画像データの送信を行う(ステップS1081)。
続いて、情報処理装置710の制御部は、画像送信モードが設定されているか否かを判断する(ステップS1082)。そして、情報処理装置710において画像送信モードが設定されている場合には(ステップS1082)、ステップS1081に戻る。
続いて、情報処理装置710の制御部は、情報処理装置710がグループから離脱したか否かを判断する(ステップS1083)。そして、情報処理装置710がグループから離脱した場合には(ステップS1083)、データ送信処理の動作を終了する。
また、情報処理装置710がグループから離脱していない場合には(ステップS1083)、情報処理装置710の制御部は、情報処理装置730からAP接続情報を受信する(ステップS1084)。このAP接続情報は、情報処理装置710および情報処理装置730間の接続を切断させ、情報処理装置710をアクセスポイント701に接続させるための情報である。
続いて、情報処理装置710の制御部は、情報処理装置730とのダイレクト接続を切断する(ステップS1085)。続いて、情報処理装置710の制御部は、アクセスポイント701を経由して情報処理装置730と接続を行うための接続処理を行う(ステップS1086)。
続いて、情報処理装置710の制御部は、その接続を許可する旨を示す確認情報を情報処理装置730からアクセスポイントを経由して受信したか否かを判断する(ステップS1087)。確認情報を情報処理装置730から受信していない場合には(ステップS1087)、監視を継続して行う。
確認情報を情報処理装置730から受信した場合には(ステップS1087)、アクセスポイント701を経由する情報処理装置730との接続が確立される。そして、情報処理装置710の制御部は、待機モードが設定されているか否かを判断する(ステップS1088)。そして、情報処理装置710において待機モードが設定されている場合には(ステップS1088)、監視を継続して行う。
待機モードが設定されていない場合(画像送信モードが設定された場合)には(ステップS1088)、情報処理装置710の制御部は、回線が切断されたか否かを判断する(ステップS1089)。そして、回線が切断された場合には(ステップS1089)、データ送信処理の動作を終了する。
回線が切断されていない場合には(ステップS1089)、情報処理装置710の制御部は、アクセスポイント701を経由する情報処理装置730との接続を切断し(ステップS1090)、ステップS1078に戻る。
このように、情報処理装置710の制御部は、近距離無線通信(例えば、NFC)を利用してダイレクト通信を行うための情報のやりとりを行うよう制御することができる。
なお、例えば、制御装置740に登録されているか否かに基づいて、情報処理装置730へのタッチ操作を有効とするか否かを判断するようにしてもよい。例えば、グループ管理情報保持部750の端末識別情報751(図20に示す)に端末識別情報が格納されている情報処理装置については、情報処理装置730の制御部は、タッチ操作を有効とし、グループに参加させることを許可する判断を行う。ただし、この場合には、グループ管理情報保持部750のグループ参加可能時間756(図20に示す)の時間内である場合に限り、情報処理装置730の制御部は、グループに参加させることを許可する判断を行う。また、タッチ操作後のグループへの参加時間を一定時間に制限するようにしてもよい。例えば、会議の時間帯(例えば、タッチ後、1時間以内)のみ、グループへの参加可能とすることができる。また、タッチされてから所定時間が経過後に、別のセッションキーを用いるようにしてもよい。
このように、NFCを利用してソース機器およびシンク機器間の接続設定を容易に行うことができる。これにより、例えば、ユーザが直感的に会議参加のトリガを起動することができ、より簡単に会議参加を行うことができる。
<4.第4の実施の形態>
本技術の第2および第3の実施の形態では、ユーザ操作やユーザ動作により、ソース機器をシンク機器またはアクセスポイントに接続する例を示した。
ここで、無線LANを利用してアクセスポイントまたはシンク機器にソース機器を接続した後にその接続を切断した場合を想定する。この場合には、接続の切断後でも無線LANの接続設定がソース機器に保存されていることがある。この場合には、ソース機器を所有するユーザが、接続するための設定操作等を行わなくても、ソース機器が自動的にアクセスポイントまたはシンク機器に接続されてしまうことが想定される。
そこで、本技術の第4の実施の形態では、ソース機器がアクセスポイントまたはシンク機器に自動的に接続される例を示す。なお、ソース機器がアクセスポイントまたはシンク機器に自動的に接続されるような環境では、各種のシンク機器に接続されるアクセスポイントが複数存在することが想定される。このため、それらの複数のアクセスポイントにソース機器をソフトハンドオーバで継続的に接続させることにより、そのような環境が実現される。
最初に、ソース機器がアクセスポイントに自動的に接続される例を示す。例えば、構内の無線LANに自動的に継続接続される場合が想定される。
[情報処理装置(ソース機器)の動作例]
図32は、本技術の第4の実施の形態における情報処理装置710によるデータ送信処理の処理手順の一例を示すフローチャートである。なお、図32は、図27の変形例であるため、図27と共通する部分については、同一の符号を付してこれらの説明の一部を省略する。
最初に、情報処理装置710が存在する場所に設置されているアクセスポイントに、情報処理装置710が自動的にハンドオーバされて接続される(ステップS1100)。例えば、情報処理装置710を所有するユーザが、グループに参加するため、特定のフロアに移動しているような場合が想定される。この環境では、情報処理装置710においてアプリケーションが起動する(ステップS1101)。この起動後に、情報処理装置710の制御部は、接続を所望するシンク機器の機器発見処理を試みる。
この機器発見処理により、起動したアプリケーションに対応するシンク機器が複数発見されることも想定される。この場合には、情報処理装置710の表示部711に、発見された複数のシンク機器から所望のシンク機器を選択するための選択画面を表示させ、この選択画面においてユーザ操作により選択させることができる(ステップS1102)。また、発見された複数のシンク機器のうち、ソース機器から一番近い機器を自動的に選択して接続するようにしてもよい(ステップS1102)。
次に、ソース機器がシンク機器およびアクセスポイントに自動的に接続される例を示す。例えば、シンク機器の接続設定がソース機器に保存され、かつ、シンク機器の電波到達範囲内にソース機器が移動して自動接続される場合が想定される。
[情報処理装置(ソース機器)の動作例]
図33は、本技術の第4の実施の形態における情報処理装置710によるデータ送信処理の処理手順の一例を示すフローチャートである。なお、図33は、図27の変形例であるため、図27と共通する部分については、同一の符号を付してこれらの説明の一部を省略する。
最初に、情報処理装置710の制御部は、情報処理装置710が無線LAN機能としてコンカレント機能(時分割コンカレント機能または同時利用コンカレント機能)を備えるか否かを判断する(ステップS1111)。コンカレント機能を備える場合には、情報処理装置710は、アクセスポイントおよびシンク機器の切断切替を行わなくても、アクセスポイントおよびシンク機器の双方への時分割または同時接続が可能である
情報処理装置710がコンカレント機能を備える場合には(ステップS1111)、情報処理装置710の制御部は、自動的に繋がった接続でレイヤ3までの設定(IPアドレスの取得まで設定)を行う(ステップS1112)。続いて、情報処理装置710の制御部は、アクセスポイントを経由してシンク機器との接続を試みる(ステップS1113)。ここで、アクセスポイント経由とP2Pダイレクト接続との両リンクともにシンク機器と接続された場合には、機器発見処理を両方で行わないようにすることが好ましい。例えば、アクセスポイント経由を優先させ、P2Pダイレクト接続は、リンク接続のみを維持させ、Wi−Fi CERTIFIED Miracastの画像送信を停止させるようにしてもよい。この場合、画像送信モードにおいて、Wi−Fi CERTIFIED Miracastが使用する周波数帯の帯域を無駄にすることなく、次の切替時間を高速に行うことができる。
情報処理装置710がコンカレント機能を備えない場合には(ステップS1111)、情報処理装置710の制御部は、シンク機器への接続状態を確認する(ステップS1114)。ここで、例えば、シンク機器がP2Pダイレクト接続で接続されている場合には、P2Pダイレクト接続を一度切断し、アクセスポイント経由での接続に変更する。また、アクセスポイント経由で接続されている場合には、その接続を維持する。また、コンカレント機能を備えない場合には、接続状態のポート情報やIP情報を情報処理装置710が保持しておき流用するようにする。
続いて、情報処理装置710の制御部は、アクセスポイント経由で機器発見処理を行う(ステップS1115)。この機器発見処理後に、情報処理装置710の制御部は、アクセスポイント経由でシンク機器から接続許可情報を受信したか否かを判断する(ステップS1116)。
ここで、参加台数が少ない環境では、そのままP2Pダイレクト接続を継続して行うようにしてもよい。この場合には、アクセスポイント経由でシンク機器から接続許可情報を受信した場合には(ステップS1116)、ステップS1038に進むようにする。
このように、ユーザが接続設定を気にしなくても、現時点の設定情報を適宜把握することができる。そして、本技術の第2の実施の形態と同等の動作になるように対応させることができる。
なお、本技術は、本技術の実施の形態に限定されない。例えば、Wi−Fi Infrastructureモードで接続する機器は、同一のIPサブネットに接続されている機器(例えば、Wi−Fi CERTIFIED Miracast仕様の機器)のみを機器発見するようにしてもよい。また、上述したコンカレント機能を備える機器については、例えば、Wi−Fi Infrastructureモードで接続する機器は、P2Pでは同一チャネルのコンカレント処理を行うデバイスとすることができる。
また、本技術の実施の形態では、アクセスポイント経由では、画像(映像)または音声の伝送を想定していないが、本技術はこれに限定されない。例えば、次の環境にも本技術の実施の形態を適用することができる。例えば、ソース機器が、Wi−Fi Infrastructureモードで同一IPサブネットに接続するシンク機器に、Wi−Fi InfrastructureモードのIPネットワーク経由で画像(映像)または音声を送信する形態に適用することができる。また、例えば、シンク機器が、Wi−Fi Infrastructureモードで同一IPサブネットに接続するソース機器から、Wi−Fi InfrastructureモードのIPネットワーク経由で画像(映像)または音声を受信する形態に適用することができる。
<5.応用例>
本開示に係る技術は、様々な製品へ応用可能である。例えば、情報処理装置200、300、400、703、704、710、720、730、制御装置740は、スマートフォン、タブレットPC(Personal Computer)、ノートPC、携帯型ゲーム端末若しくはデジタルカメラなどのモバイル端末、テレビジョン受像機、プリンタ、デジタルスキャナ若しくはネットワークストレージなどの固定端末、又はカーナビゲーション装置などの車載端末として実現されてもよい。また、情報処理装置200、300、400、703、704、710、720、730、制御装置740は、スマートメータ、自動販売機、遠隔監視装置又はPOS(Point Of Sale)端末などの、M2M(Machine To Machine)通信を行う端末(MTC(Machine Type Communication)端末ともいう)として実現されてもよい。さらに、情報処理装置200、300、400、703、704、710、720、730、制御装置740は、これら端末に搭載される無線通信モジュール(例えば、1つのダイで構成される集積回路モジュール)であってもよい。
[5−1.第1の応用例]
図40は、本開示に係る技術が適用され得るスマートフォン900の概略的な構成の一例を示すブロック図である。スマートフォン900は、プロセッサ901、メモリ902、ストレージ903、外部接続インタフェース904、カメラ906、センサ907、マイクロフォン908、入力デバイス909、表示デバイス910、スピーカ911、無線通信インタフェース913、アンテナスイッチ914、アンテナ915、バス917、バッテリー918及び補助コントローラ919を備える。
プロセッサ901は、例えばCPU(Central Processing Unit)又はSoC(System on Chip)であってよく、スマートフォン900のアプリケーションレイヤ及びその他のレイヤの機能を制御する。メモリ902は、RAM(Random Access Memory)及びROM(Read Only Memory)を含み、プロセッサ901により実行されるプログラム及びデータを記憶する。ストレージ903は、半導体メモリ又はハードディスクなどの記憶媒体を含み得る。外部接続インタフェース904は、メモリーカード又はUSB(Universal Serial Bus)デバイスなどの外付けデバイスをスマートフォン900へ接続するためのインタフェースである。
カメラ906は、例えば、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を有し、撮像画像を生成する。センサ907は、例えば、測位センサ、ジャイロセンサ、地磁気センサ及び加速度センサなどのセンサ群を含み得る。マイクロフォン908は、スマートフォン900へ入力される音声を音声信号へ変換する。入力デバイス909は、例えば、表示デバイス910の画面上へのタッチを検出するタッチセンサ、キーパッド、キーボード、ボタン又はスイッチなどを含み、ユーザからの操作又は情報入力を受け付ける。表示デバイス910は、液晶ディスプレイ(LCD)又は有機発光ダイオード(OLED)ディスプレイなどの画面を有し、スマートフォン900の出力画像を表示する。スピーカ911は、スマートフォン900から出力される音声信号を音声に変換する。
無線通信インタフェース913は、IEEE802.11a、11b、11g、11n、11ac及び11adなどの無線LAN標準のうちの1つ以上をサポートし、無線通信を実行する。無線通信インタフェース913は、インフラストラクチャーモードにおいては、他の装置と無線LANアクセスポイントを介して通信し得る。また、無線通信インタフェース913は、アドホックモード又はWi−Fi Direct等のダイレクト通信モードにおいては、他の装置と直接的に通信し得る。なお、Wi−Fi Directでは、アドホックモードとは異なり2つの端末の一方がアクセスポイントとして動作するが、通信はそれら端末間で直接的に行われる。無線通信インタフェース913は、典型的には、ベースバンドプロセッサ、RF(Radio Frequency)回路及びパワーアンプなどを含み得る。無線通信インタフェース913は、通信制御プログラムを記憶するメモリ、当該プログラムを実行するプロセッサ及び関連する回路を集積したワンチップのモジュールであってもよい。無線通信インタフェース913は、無線LAN方式に加えて、近距離無線通信方式、近接無線通信方式又はセルラ通信方式などの他の種類の無線通信方式をサポートしてもよい。アンテナスイッチ914は、無線通信インタフェース913に含まれる複数の回路(例えば、異なる無線通信方式のための回路)の間でアンテナ915の接続先を切り替える。アンテナ915は、単一の又は複数のアンテナ素子(例えば、MIMOアンテナを構成する複数のアンテナ素子)を有し、無線通信インタフェース913による無線信号の送信及び受信のために使用される。
なお、図40の例に限定されず、スマートフォン900は、複数のアンテナ(例えば、無線LAN用のアンテナ及び近接無線通信方式用のアンテナ、など)を備えてもよい。その場合に、アンテナスイッチ914は、スマートフォン900の構成から省略されてもよい。
バス917は、プロセッサ901、メモリ902、ストレージ903、外部接続インタフェース904、カメラ906、センサ907、マイクロフォン908、入力デバイス909、表示デバイス910、スピーカ911、無線通信インタフェース913及び補助コントローラ919を互いに接続する。バッテリー918は、図中に破線で部分的に示した給電ラインを介して、図40に示したスマートフォン900の各ブロックへ電力を供給する。補助コントローラ919は、例えば、スリープモードにおいて、スマートフォン900の必要最低限の機能を動作させる。
図40に示したスマートフォン900において、図2を用いて説明した制御部240、図3を用いて説明した制御部370は、無線通信インタフェース913において実装されてもよい。また、これら機能の少なくとも一部は、プロセッサ901又は補助コントローラ919において実装されてもよい。
なお、スマートフォン900は、プロセッサ901がアプリケーションレベルでアクセスポイント機能を実行することにより、無線アクセスポイント(ソフトウェアAP)として動作してもよい。また、無線通信インタフェース913が無線アクセスポイント機能を有していてもよい。
[5−2.第2の応用例]
図41は、本開示に係る技術が適用され得るカーナビゲーション装置920の概略的な構成の一例を示すブロック図である。カーナビゲーション装置920は、プロセッサ921、メモリ922、GPS(Global Positioning System)モジュール924、センサ925、データインタフェース926、コンテンツプレーヤ927、記憶媒体インタフェース928、入力デバイス929、表示デバイス930、スピーカ931、無線通信インタフェース933、アンテナスイッチ934、アンテナ935及びバッテリー938を備える。
プロセッサ921は、例えばCPU又はSoCであってよく、カーナビゲーション装置920のナビゲーション機能及びその他の機能を制御する。メモリ922は、RAM及びROMを含み、プロセッサ921により実行されるプログラム及びデータを記憶する。
GPSモジュール924は、GPS衛星から受信されるGPS信号を用いて、カーナビゲーション装置920の位置(例えば、緯度、経度及び高度)を測定する。センサ925は、例えば、ジャイロセンサ、地磁気センサ及び気圧センサなどのセンサ群を含み得る。データインタフェース926は、例えば、図示しない端子を介して車載ネットワーク941に接続され、車速データなどの車両側で生成されるデータを取得する。
コンテンツプレーヤ927は、記憶媒体インタフェース928に挿入される記憶媒体(例えば、CD又はDVD)に記憶されているコンテンツを再生する。入力デバイス929は、例えば、表示デバイス930の画面上へのタッチを検出するタッチセンサ、ボタン又はスイッチなどを含み、ユーザからの操作又は情報入力を受け付ける。表示デバイス930は、LCD又はOLEDディスプレイなどの画面を有し、ナビゲーション機能又は再生されるコンテンツの画像を表示する。スピーカ931は、ナビゲーション機能又は再生されるコンテンツの音声を出力する。
無線通信インタフェース933は、IEEE802.11a、11b、11g、11n、11ac及び11adなどの無線LAN標準のうちの1つ以上をサポートし、無線通信を実行する。無線通信インタフェース933は、インフラストラクチャーモードにおいては、他の装置と無線LANアクセスポイントを介して通信し得る。また、無線通信インタフェース933は、アドホックモード又はWi−Fi Direct等のダイレクト通信モードにおいては、他の装置と直接的に通信し得る。無線通信インタフェース933は、典型的には、ベースバンドプロセッサ、RF回路及びパワーアンプなどを含み得る。無線通信インタフェース933は、通信制御プログラムを記憶するメモリ、当該プログラムを実行するプロセッサ及び関連する回路を集積したワンチップのモジュールであってもよい。無線通信インタフェース933は、無線LAN方式に加えて、近距離無線通信方式、近接無線通信方式又はセルラ通信方式などの他の種類の無線通信方式をサポートしてもよい。アンテナスイッチ934は、無線通信インタフェース933に含まれる複数の回路の間でアンテナ935の接続先を切り替える。アンテナ935は、単一の又は複数のアンテナ素子を有し、無線通信インタフェース933による無線信号の送信及び受信のために使用される。
なお、図41の例に限定されず、カーナビゲーション装置920は、複数のアンテナを備えてもよい。その場合に、アンテナスイッチ934は、カーナビゲーション装置920の構成から省略されてもよい。
バッテリー938は、図中に破線で部分的に示した給電ラインを介して、図41に示したカーナビゲーション装置920の各ブロックへ電力を供給する。また、バッテリー938は、車両側から給電される電力を蓄積する。
図41に示したカーナビゲーション装置920において、図2を用いて説明した制御部240、図3を用いて説明した制御部370は、無線通信インタフェース933において実装されてもよい。また、これら機能の少なくとも一部は、プロセッサ921において実装されてもよい。
また、本開示に係る技術は、上述したカーナビゲーション装置920の1つ以上のブロックと、車載ネットワーク941と、車両側モジュール942とを含む車載システム(又は車両)940として実現されてもよい。車両側モジュール942は、車速、エンジン回転数又は故障情報などの車両側データを生成し、生成したデータを車載ネットワーク941へ出力する。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disc)、メモリカード、ブルーレイディスク(Blu-ray(登録商標)Disc)等を用いることができる。
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
なお、本技術は以下のような構成もとることができる。
(1)
Wi−Fi(Wireless Fidelity) CERTIFIED Miracast仕様に従って他の情報処理装置との間でリアルタイム画像伝送を行う情報処理装置であって、
前記リアルタイム画像伝送に関する設定を行うための設定要求情報を前記他の情報処理装置からアクセスポイントを経由して受信し、前記設定要求情報に基づく前記設定を行うための設定要求を前記他の情報処理装置にダイレクト通信により送信するよう制御する制御部を具備する情報処理装置。
(2)
前記制御部は、前記アクセスポイントを経由して前記他の情報処理装置との間で前記情報処理装置に関するcapability情報のやりとりを行い、
前記他の情報処理装置は、前記capability情報に基づいて前記設定要求情報を生成する
前記(1)に記載の情報処理装置。
(3)
前記制御部は、前記アクセスポイントを経由した前記他の情報処理装置との接続状態と、前記ダイレクト通信による前記他の情報処理装置との接続状態とを切り替える場合には、切替前の接続に関するポート情報およびIP情報のうちの少なくとも1つを用いて接続処理を行うよう制御する前記(1)または(2)に記載の情報処理装置。
(4)
前記制御部は、前記設定要求を前記他の情報処理装置に送信した後に前記ダイレクト通信によりWi−Fi CERTIFIED Miracast仕様に従った画像送信を行うよう制御する前記(1)から(3)のいずれかに記載の情報処理装置。
(5)
前記制御部は、表示部における所定領域に表示させるための画像の送信を低周波帯域の無線伝送路で行い、前記表示部における前記所定領域よりも大きい領域に表示させるための画像の送信を高周波帯域の無線伝送路で行うよう制御する前記(4)に記載の情報処理装置。
(6)
前記制御部は、ユーザ操作に基づいて前記ダイレクト通信により前記設定要求を前記他の情報処理装置に送信するよう制御する前記(1)から(5)のいずれかに記載の情報処理装置。
(7)
前記制御部は、前記ダイレクト通信により画像送信を行う情報処理装置が複数存在する場合には、所定順序に基づいて前記ダイレクト通信により前記設定要求を前記他の情報処理装置に送信するよう制御する前記(1)から(5)のいずれかに記載の情報処理装置。
(8)
前記制御部は、前記アクセスポイント以外のアクセスポイントまたは基地局を経由した前記他の情報処理装置との接続を許可するか否かを示す許可情報のやりとりを前記アクセスポイントを経由して行い、前記接続を許可する旨の前記許可情報を受信した場合には、前記アクセスポイント以外のアクセスポイントまたは前記基地局を経由した前記他の情報処理装置とのやりとりを行うよう制御する前記(1)から(7)のいずれかに記載の情報処理装置。
(9)
前記制御部は、前記接続を許可する旨の前記許可情報を受信した場合には、前記アクセスポイント以外のアクセスポイントまたは前記基地局を経由して画像データおよび音声データの少なくとも1つを前記他の情報処理装置から受信して出力させるよう制御する前記(8)に記載の情報処理装置。
(10)
前記制御部は、近距離無線通信を利用して前記ダイレクト通信を行うための情報のやりとりを行うよう制御する前記(1)から(9)のいずれかに記載の情報処理装置。
(11)
Wi−Fi CERTIFIED Miracast仕様に従って他の情報処理装置との間でリアルタイム画像伝送を行う情報処理装置であって、
前記リアルタイム画像伝送に関する設定を行うための設定要求情報を前記他の情報処理装置にアクセスポイントを経由して送信し、前記設定要求情報に基づく前記設定を行うための設定要求を前記他の情報処理装置からダイレクト通信により受信するよう制御する制御部を具備する情報処理装置。
(12)
Wi−Fi CERTIFIED Miracast仕様に従ってシンク機器および複数のソース機器間でリアルタイム画像伝送を行う場合に、アクセスポイントを経由して前記シンク機器および前記ソース機器が接続される待機モードとダイレクト通信により前記シンク機器および前記ソース機器が接続される画像送信モードとの何れかの通信モードを前記ソース機器に設定するための制御を行う制御部を具備する情報処理装置。
(13)
前記制御部は、前記複数のソース機器を表す画像を入出力部に表示させ、前記入出力部における操作入力に基づいて前記通信モードを前記ソース機器に設定するための制御を行う前記(12)に記載の情報処理装置。
(14)
前記制御部は、所定順序に基づいて前記通信モードを前記ソース機器に設定するための制御を行う前記(12)に記載の情報処理装置。
(15)
Wi−Fi CERTIFIED Miracast仕様に従ってソース機器との間でリアルタイム画像伝送を行うシンク機器であって、アクセスポイントを経由して前記リアルタイム画像伝送に関する設定を前記ソース機器に行うための設定要求情報を前記ソース機器に送信し、前記ソース機器とのダイレクト通信により前記設定要求情報に基づく前記設定を行うための設定要求を前記ソース機器から受信するよう制御するシンク機器と、
前記シンク機器および複数の前記ソース機器間で前記リアルタイム画像伝送を行う場合に、前記アクセスポイントを経由して前記シンク機器および前記ソース機器が接続される待機モードと前記ダイレクト通信により前記シンク機器および前記ソース機器が接続される画像送信モードとの何れかの通信モードを前記ソース機器に設定するための制御を行う制御装置と
を具備する情報処理システム。
(16)
Wi−Fi CERTIFIED Miracast仕様に従って他の情報処理装置との間でリアルタイム画像伝送を行う第1手順と、
前記リアルタイム画像伝送に関する設定を行うための設定要求情報を前記他の情報処理装置からアクセスポイントを経由して受信する第2手順と、
前記設定要求情報に基づく前記設定を行うための設定要求を前記他の情報処理装置にダイレクト通信により送信する第3手順と
を具備する情報処理方法。
100 通信システム
200 情報処理装置
210 アンテナ
220 無線通信部
230 制御信号受信部
240 制御部
250 画像・音声信号生成部
260 画像・音声圧縮部
270 ストリーム送信部
300 情報処理装置
310 アンテナ
320 無線通信部
330 ストリーム受信部
340 画像・音声展開部
350 画像・音声出力部
351 表示部
352 音声出力部
360 ユーザ情報取得部
370 制御部
380 制御信号送信部
390 管理情報保持部
400 情報処理装置
610 ソース機器
611 アクセスポイント
612 シンク機器
700 通信システム
701 アクセスポイント
702 ネットワーク
703〜705、710、720、730 情報処理装置
711、721 表示部
731 表示装置
732 表示部
740 制御装置
741 アンテナ
742 無線通信部
743 入出力部
744 表示部
745 入力部
746 操作受付部
747 制御部
750 グループ管理情報保持部
900 スマートフォン
901 プロセッサ
902 メモリ
903 ストレージ
904 外部接続インタフェース
906 カメラ
907 センサ
908 マイクロフォン
909 入力デバイス
910 表示デバイス
911 スピーカ
913 無線通信インタフェース
914 アンテナスイッチ
915 アンテナ
917 バス
918 バッテリー
919 補助コントローラ
920 カーナビゲーション装置
921 プロセッサ
922 メモリ
924 GPSモジュール
925 センサ
926 データインタフェース
927 コンテンツプレーヤ
928 記憶媒体インタフェース
929 入力デバイス
930 表示デバイス
931 スピーカ
933 無線通信インタフェース
934 アンテナスイッチ
935 アンテナ
938 バッテリー
941 車載ネットワーク
942 車両側モジュール

Claims (15)

  1. Wi−Fi(Wireless Fidelity) CERTIFIED Miracast仕様に従って他の情報処理装置との間でリアルタイム画像伝送を行う情報処理装置であって、
    アクセスポイントを経由して他の情報処理装置からの前記リアルタイム画像伝送に関する設定を行うために、アクセスポイントを経由してやりとりした情報から他の情報処理装置により生成されたHDCP(High-bandwith digital content protection system) capabilityを含む、設定要求情報を受信し、前記他の情報処理装置への前記設定要求情報に基づく前記設定を行うための設定要求を送信する制御部を具備する情報処理装置。
  2. 前記制御部は、前記アクセスポイントを経由した前記他の情報処理装置との接続状態と、前記ダイレクト通信による前記他の情報処理装置との接続状態とを切り替える場合には、切替前の接続に関するポート情報およびIP情報のうちの少なくとも1つを用いて接続処理を行うよう制御する請求項1記載の情報処理装置。
  3. 前記制御部は、前記設定要求を前記他の情報処理装置に送信した後に前記ダイレクト通信によりWi−Fi CERTIFIED Miracast仕様に従った画像送信を行うよう制御する請求項1記載の情報処理装置。
  4. 前記制御部は、表示部における所定領域に表示させるための画像の送信を低周波帯域の無線伝送路で行い、前記表示部における前記所定領域よりも大きい領域に表示させるための画像の送信を高周波帯域の無線伝送路で行うよう制御する請求項記載の情報処理装置。
  5. 前記制御部は、ユーザ操作に基づいてダイレクト通信により前記設定要求を前記他の情報処理装置に送信するよう制御する請求項1記載の情報処理装置。
  6. 前記制御部は、ダイレクト通信により画像送信を行う情報処理装置が複数存在する場合には、所定順序に基づいて前記ダイレクト通信により前記設定要求を前記他の情報処理装置に送信するよう制御する請求項1記載の情報処理装置。
  7. 前記制御部は、前記アクセスポイント以外のアクセスポイントまたは基地局を経由した前記他の情報処理装置との接続を許可するか否かを示す許可情報のやりとりを前記アクセスポイントを経由して行い、前記接続を許可する旨の前記許可情報を受信した場合には、前記アクセスポイント以外のアクセスポイントまたは前記基地局を経由した前記他の情報処理装置とのやりとりを行うよう制御する請求項1記載の情報処理装置。
  8. 前記制御部は、前記接続を許可する旨の前記許可情報を受信した場合には、前記アクセスポイント以外のアクセスポイントまたは前記基地局を経由して画像データおよび音声データの少なくとも1つを前記他の情報処理装置から受信して出力させるよう制御する請求項記載の情報処理装置。
  9. 前記制御部は、近距離無線通信を利用してダイレクト通信を行うための情報のやりとりを行うよう制御する請求項1記載の情報処理装置。
  10. Wi−Fi(Wireless Fidelity) CERTIFIED Miracast仕様に従って他の情報処理装置との間でリアルタイム画像伝送を行う情報処理装置であって、
    アクセスポイントを経由して他の情報処理装置からの前記リアルタイム画像伝送に関する設定を行うために、アクセスポイントを経由してやりとりした情報から他の情報処理装置により生成されたHDCP(High-bandwith digital content protection system) capabilityを含む、設定要求情報を送信し、前記他の情報処理装置への前記設定要求情報に基づく前記設定を行うための設定要求を受信する制御部を具備する情報処理装置。
  11. Wi−Fi CERTIFIED Miracast仕様に従ってシンク機器および複数のソース機器間でリアルタイム画像伝送を行う場合に、アクセスポイントを経由して前記シンク機器および前記ソース機器が接続される待機モードとダイレクト通信により前記シンク機器および前記ソース機器が接続される画像送信モードとの何れかの通信モードを前記ソース機器に設定するための制御を行う制御部を具備する情報処理装置。
  12. 前記制御部は、前記複数のソース機器を表す画像を入出力部に表示させ、前記入出力部における操作入力に基づいて前記通信モードを前記ソース機器に設定するための制御を行う請求項11記載の情報処理装置。
  13. 前記制御部は、所定順序に基づいて前記通信モードを前記ソース機器に設定するための制御を行う請求項1記載の情報処理装置。
  14. Wi−Fi(Wireless Fidelity) CERTIFIED Miracast仕様に従って他の情報処理装置との間でリアルタイム画像伝送を行うシンク機器であって、
    アクセスポイントを経由して他の情報処理装置からの前記リアルタイム画像伝送に関する設定を行うために、アクセスポイントを経由してやりとりした情報から他の情報処理装置により生成されたHDCP(High-bandwith digital content protection system) capabilityを含む、設定要求情報を受信し、前記他の情報処理装置への前記設定要求情報に基づく前記設定を行うための設定要求を送信するシンク機器と、
    前記シンク機器および複数のソース機器間で前記リアルタイム画像伝送を行う場合に、前記アクセスポイントを経由して前記シンク機器および前記ソース機器が接続される待機モードと前記ダイレクト通信により前記シンク機器および前記ソース機器が接続される画像送信モードとの何れかの通信モードを前記ソース機器に設定するための制御を行う制御装置と
    を具備する情報処理システム。
  15. Wi−Fi CERTIFIED Miracast仕様に従って他の情報処理装置との間でリアルタイム画像伝送を行う第1手順と、
    アクセスポイントを経由して他の情報処理装置からの前記リアルタイム画像伝送に関する設定を行うために、アクセスポイントを経由してやりとりした情報から他の情報処理装置により生成されたHDCP(High-bandwith digital content protection system) capabilityを含む、設定要求情報を受信する第2手順と、
    前記他の情報処理装置への前記設定要求情報に基づく前記設定を行うための設定要求を送信する第3手順と
    を具備する情報処理方法。
JP2015562698A 2014-02-12 2014-12-02 情報処理装置、情報処理システムおよび情報処理方法 Active JP6455447B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014024016 2014-02-12
JP2014024016 2014-02-12
PCT/JP2014/081810 WO2015122080A1 (ja) 2014-02-12 2014-12-02 情報処理装置、情報処理システムおよび情報処理方法

Publications (2)

Publication Number Publication Date
JPWO2015122080A1 JPWO2015122080A1 (ja) 2017-03-30
JP6455447B2 true JP6455447B2 (ja) 2019-01-23

Family

ID=53799835

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015562698A Active JP6455447B2 (ja) 2014-02-12 2014-12-02 情報処理装置、情報処理システムおよび情報処理方法

Country Status (9)

Country Link
US (4) US9775107B2 (ja)
EP (2) EP3107347B1 (ja)
JP (1) JP6455447B2 (ja)
KR (2) KR101938539B1 (ja)
CN (2) CN105960826B (ja)
CA (1) CA2938653C (ja)
DE (1) DE202014011316U1 (ja)
TW (1) TWI665913B (ja)
WO (1) WO2015122080A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3076304A4 (en) * 2014-03-25 2017-06-07 Panasonic Intellectual Property Management Co., Ltd. Information display system and information display method
JP6525771B2 (ja) * 2015-06-30 2019-06-05 キヤノン株式会社 情報処理装置、制御方法、およびプログラム
US10122801B2 (en) * 2015-07-02 2018-11-06 Qualcomm Incorporated Service discovery and topology management
US10223061B2 (en) * 2015-12-17 2019-03-05 International Business Machines Corporation Display redistribution between a primary display and a secondary display
JP2017158017A (ja) * 2016-03-01 2017-09-07 Necプラットフォームズ株式会社 無線通信装置、システム、方法およびプログラム
JP6737074B2 (ja) * 2016-08-30 2020-08-05 コニカミノルタ株式会社 情報処理装置および情報処理装置の制御プログラム
JP6769204B2 (ja) * 2016-09-21 2020-10-14 コニカミノルタ株式会社 画像形成装置、プログラム、および、画像形成システム
US10349259B2 (en) * 2016-09-23 2019-07-09 Apple Inc. Broadcasting a device state in a wireless communication network
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
US20190311697A1 (en) * 2016-12-01 2019-10-10 Lg Electronics Inc. Image display device and image display system comprising same
CN106792823A (zh) * 2016-12-28 2017-05-31 青岛海信电器股份有限公司 一种基于Miracast的终端连接方法和装置
EP3563614B1 (en) 2016-12-29 2023-07-19 Koninklijke Philips N.V. Wireless communication system
US10206083B2 (en) * 2016-12-30 2019-02-12 Intel Corporation Using wireless display docking technology over infrastructure networks
KR102388049B1 (ko) * 2017-02-14 2022-04-19 삼성전자주식회사 무선 통신 시스템에서 통신을 수행하는 장치 및 이를 위한 방법
JP2018190040A (ja) * 2017-04-28 2018-11-29 キヤノン株式会社 通信装置、制御方法、およびプログラム
FR3067542A1 (fr) * 2017-06-29 2018-12-14 Orange Procede de gestion de transmission d'un contenu multimedia et equipements pour la mise en oeuvre du procede
JP7027769B2 (ja) * 2017-09-29 2022-03-02 ブラザー工業株式会社 通信装置のためのコンピュータプログラム
JP6504292B1 (ja) 2018-03-20 2019-04-24 日本電気株式会社 入出力装置、表示方法、及び端末装置
US10779054B2 (en) * 2018-12-20 2020-09-15 Arris Enterprises Llc System and method for authentication and login portability for multiscreen discovery and launch of first screen content
DE102019122728A1 (de) * 2019-08-23 2021-02-25 Bayerische Motoren Werke Aktiengesellschaft Extraktion von Informationen aus einem Datenstrom
JP7424004B2 (ja) * 2019-11-20 2024-01-30 株式会社デンソー 通信端末装置、及び通信管理サーバ装置
CN111314177B (zh) * 2020-02-21 2022-03-01 腾讯科技(深圳)有限公司 一种基于无线信号的作息时段识别方法以及相关装置
KR20210123927A (ko) * 2020-04-06 2021-10-14 엘지전자 주식회사 무선 디바이스
CN113691842B (zh) * 2020-05-18 2023-03-31 荣耀终端有限公司 一种跨设备的内容投射方法及电子设备
CN111522361B (zh) * 2020-05-27 2021-07-27 北京理工大学 主-从模式的多无人机编队一致性控制方法
CN111787377B (zh) * 2020-08-19 2022-06-28 青岛海信传媒网络技术有限公司 显示设备及投屏方法
CN114189946A (zh) * 2020-09-15 2022-03-15 华为技术有限公司 数据分享的方法、电子设备和系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101330633B1 (ko) * 2006-06-08 2013-11-18 삼성전자주식회사 무선 통신 방법 및 장치
US8135947B1 (en) * 2007-03-21 2012-03-13 Qurio Holdings, Inc. Interconnect device to enable compliance with rights management restrictions
JP2008278388A (ja) 2007-05-07 2008-11-13 Sony Corp 情報交換装置および情報交換方法
US7895442B1 (en) * 2007-06-18 2011-02-22 Qurio Holdings, Inc. Interconnect device to enable compliance with rights management restrictions
CA2706733C (en) * 2007-12-07 2016-05-31 Telefonaktiebolaget L M Ericsson (Publ) Ip media streaming service delivery
CN102498747B (zh) * 2009-09-18 2015-07-01 交互数字专利控股公司 用于向网络连接提供端对端直接链路通信的方法和设备
US9949305B2 (en) * 2009-10-02 2018-04-17 Blackberry Limited Methods and apparatus for peer-to-peer communications in a wireless local area network
JP5440123B2 (ja) 2009-11-24 2014-03-12 ソニー株式会社 無線通信装置、無線通信システム、無線通信方法およびプログラム
JP5521774B2 (ja) * 2010-05-25 2014-06-18 ソニー株式会社 情報処理装置、情報処理方法、及びそのプログラム
US9749832B2 (en) 2010-09-24 2017-08-29 Qualcomm Incorporated Wireless display discovery and operation with TDLS
MX2013007306A (es) 2010-12-24 2013-10-25 Samsung Electronics Co Ltd Metodo y dispositivo para proteger contenido en un esquema de comunicacion directa de fidelidad inalambrica (wi-fi).
US20120178380A1 (en) * 2011-01-07 2012-07-12 Microsoft Corporation Wireless Communication Techniques
US8887222B2 (en) 2011-09-14 2014-11-11 Qualcomm Incorporated Multicasting in a wireless display system
US20130166759A1 (en) * 2011-12-22 2013-06-27 Qualcomm Incorporated Apparatus, systems, and methods of ip address discovery for tunneled direct link setup
JP2013150282A (ja) 2012-01-23 2013-08-01 Toshiba Corp 無線基地局装置、無線端末装置及び無線伝送システム
BR112014024801B8 (pt) 2012-04-10 2022-10-04 Sony Corp Dispositivo de comunicação, sistema de comunicação sem fio, método para controle de comunicação, e, meio de armazenamento em memória
WO2013153888A1 (ja) 2012-04-13 2013-10-17 ソニー株式会社 無線通信装置、情報処理装置および通信方法
JP5977612B2 (ja) 2012-07-24 2016-08-24 シャープ株式会社 ソース機器、シンク機器、システム、プログラム及び記憶媒体
US9306992B2 (en) * 2013-06-07 2016-04-05 Qualcomm Incorporated Method and system for using Wi-Fi display transport mechanisms to accomplish voice and data communications

Also Published As

Publication number Publication date
CN109121127A (zh) 2019-01-01
CN105960826B (zh) 2020-04-03
CN109121127B (zh) 2019-10-18
DE202014011316U1 (de) 2019-04-17
EP3107347A4 (en) 2017-08-16
CA2938653C (en) 2023-04-11
EP3107347A1 (en) 2016-12-21
TWI665913B (zh) 2019-07-11
CA2938653A1 (en) 2015-08-20
CN105960826A (zh) 2016-09-21
KR101938539B1 (ko) 2019-01-14
KR20180098697A (ko) 2018-09-04
US20180310239A1 (en) 2018-10-25
US20170353920A1 (en) 2017-12-07
WO2015122080A1 (ja) 2015-08-20
TW201543877A (zh) 2015-11-16
US20190053149A1 (en) 2019-02-14
US10172080B2 (en) 2019-01-01
JPWO2015122080A1 (ja) 2017-03-30
US10667206B2 (en) 2020-05-26
EP3107347B1 (en) 2021-03-10
EP3422730B1 (en) 2020-02-19
KR20160122711A (ko) 2016-10-24
US10034234B2 (en) 2018-07-24
EP3422730A1 (en) 2019-01-02
US9775107B2 (en) 2017-09-26
KR102306258B1 (ko) 2021-09-30
US20160345254A1 (en) 2016-11-24

Similar Documents

Publication Publication Date Title
JP6455447B2 (ja) 情報処理装置、情報処理システムおよび情報処理方法
US10383098B2 (en) Information processing device and information processing method
JP6515918B2 (ja) 情報処理装置、情報処理システムおよび情報処理方法
US10979900B2 (en) Information processing device and information processing method
JP6669076B2 (ja) 通信システム、情報処理方法およびプログラム
US10499200B2 (en) Information processing device and information processing method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171115

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181016

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181203

R151 Written notification of patent or utility model registration

Ref document number: 6455447

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151