JP6809323B2

JP6809323B2 - 情報処理装置、情報処理システムおよび情報処理方法

Info

Publication number: JP6809323B2
Application number: JP2017055000A
Authority: JP
Inventors: 宏太板倉; 淳一由良
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2017-03-21
Filing date: 2017-03-21
Publication date: 2021-01-06
Anticipated expiration: 2037-03-21
Also published as: US20200012471A1; WO2018173596A1; EP3605344A1; JP2018156599A; EP3605344A4; US10866777B2

Description

本発明は、情報処理装置、情報処理システムおよび情報処理方法に関する。

会議室の机や壁にコンテンツを投影し協調作業を支援する技術（部屋全体をまるごとデジタル化するＵＩ技術）が提案されている（プレスリリース：http://pr.fujitsu.com/jp/news/2015/07/27.html）。図１は上記の技術の活用例を示しており、机の上には個人ワーク用ノートアプリのコンテンツＣ１やデジタル付箋紙のコンテンツＣ２が表示（投影）され、壁にはデジタルヒントカードのコンテンツＣ３や模造紙アプリのコンテンツＣ４が表示されている。デジタル付箋紙のコンテンツＣ２やデジタルヒントカードのコンテンツＣ３等は、ユーザの指によるスワイプ操作等により異なるディスプレイの画面間で移動可能であり、協調作業の過程において、関連するテーマの領域に配置されたり、要検討の領域に配置されたりする。

図２は上記の技術の概略構成例を示しており、例えば、２台の情報処理装置１Ａ、１Ｂが会議室等のローカル環境内に設けられる場合について示している。各情報処理装置１Ａ、１Ｂは、コンテンツ／配置情報１１Ａ、１１Ｂと、ウインドウシステム１２Ａ、１２Ｂと、ディスプレイ１３Ａ、１３Ｂとを有しており、情報処理装置１Ａ、１Ｂの画面の領域は、互いに接続関係が設定されている。図示の例では、ディスプレイ１３Ａによる画面の右端がディスプレイ１３Ｂによる画面の左端と接続されている。各情報処理装置１Ａ、１Ｂは、コンテンツ／配置情報１１Ａ、１１Ｂを共有することで、自己の担当する画面内のコンテンツを描画し（両画面にコンテンツが跨る場合は情報処理装置１Ａ、１Ｂの両方が担当）、繋がった画面の表示を実現している。

一方、複数のディスプレイが複数台並べられたパネルシステムにおいて、複数のディスプレイを跨る描画物の表示の遅延を防止するパネルシステムが開示されている（特許文献１を参照）。

特開２０１５−５６１７２号公報

図１および図２はローカル環境内で複数のディスプレイによる画面が繋げられている場合について示していたが、遠隔地間の複数のディスプレイによる画面についても、ネットワークを介したコンテンツ／配置情報の共有により利用されることが想定される。図３は想定される利用シーンを示しており、互いに隔たった場所の会議室Ａ、Ｂのそれぞれにおいて、壁に表示されたテレビ会議画面により相手方の会議室が確認可能とされる。また、それぞれの会議室の机の上の画面の端部が相手方の机の上の画面の端部と繋げられ、コンテンツの移動が可能となっている。

図４は上記の想定されるケースにおける概略構成例を示している。図４において、２台の情報処理装置１Ａ、１Ｂはそれぞれ遠隔の会議室Ａ、Ｂに設けられ、各情報処理装置１Ａ、１Ｂは、コンテンツ／配置情報１１Ａ、１１Ｂと、ウインドウシステム１２Ａ、１２Ｂと、ディスプレイ１３Ａ、１３Ｂとを有している。情報処理装置１Ａのコンテンツ／配置情報１１Ａと情報処理装置１Ｂのコンテンツ／配置情報１１Ｂは、インターネット等のネットワーク２を介して共有されるようになっている。

ここで、それぞれの会議室で発生する全てのコンテンツとその位置情報の共有のためには、処理や通信に時間がかかり、現実的ではない。また、コンテンツの位置が相手側に移ったときのみ情報が転送されるような手法も考えられるが、その場合は情報が転送されるまで表示が待たされることになり、操作性が低下してしまう。なお、遠隔地間に限らず、近距離であっても、通信環境が十分でない場合は、同様の問題が発生し得る。

そこで、一側面では、複数の装置の管理下にある複数の画面が一つの論理的な画面を構成する場合におけるコンテンツの移動の操作性を向上させることを目的とする。

一つの形態では、自装置の記憶部に保持された、表示可能コンテンツ情報に含まれるコンテンツの表示を行う表示部と、自装置で表示されているコンテンツごとに、記憶部に保持されたコンテンツ配置情報とディスプレイ構成情報とを参照して、ユーザの顔または視線の動きの大きさ、転送先の画面を見る頻度、過去に転送操作を行った頻度のいずれかまたは組み合わせにより算出される転送傾向と、ユーザとコンテンツの距離、ユーザとコンテンツの向きの一致度、ユーザに見られている頻度のいずれかまたは組み合わせにより算出される転送傾向と、コンテンツの位置、コンテンツの内容、コンテンツに内容が入力される頻度のいずれかまたは組み合わせにより算出される転送傾向と、を用いて、自装置から、前記自装置とネットワークを介して前記表示可能コンテンツ情報を共有する他装置に転送される可能性を、判定する判定部と、前記判定部により転送される可能性があると判定された場合に、判定されたコンテンツと対応する表示可能コンテンツ情報を転送先の装置に転送する転送部と、を備える。

複数の装置の管理下にある複数の画面が一つの論理的な画面を構成する場合におけるコンテンツの移動の操作性を向上させることができる。

部屋全体をまるごとデジタル化するＵＩ技術の活用例を示す図である。ＵＩ技術の概略構成例を示す図である。遠隔地間の画面の接続において想定される利用シーンを示す図である。ＵＩ技術の概略構成例を示す図である。一実施形態にかかるシステムの構成例を示す図である。情報処理装置の機能構成例を示す図である。コンテンツ情報のデータ構造例を示す図である。コンテンツ内部状態情報のデータ構造例を示す図である。コンテンツ入力履歴情報のデータ構造例を示す図である。コンテンツ配置情報のデータ構造例を示す図である。ディスプレイ構成情報のデータ構造例を示す図である。機器物理配置構成情報のデータ構造例を示す図である。転送状況情報のデータ構造例を示す図である。転送履歴情報のデータ構造例を示す図である。情報処理装置のハードウェア構成例を示す図である。コンテンツ転送判定部の処理例を示すフローチャートである。コンテンツ転送傾向計算の処理例を示すフローチャートである。ユーザとコンテンツを用いたコンテンツ転送傾向計算の処理例を示すフローチャートである。コンテンツを用いたコンテンツ転送傾向計算の処理例を示すフローチャートである。

以下、本発明の好適な実施形態が図面に沿って説明される。

＜構成＞
図５は一実施形態にかかるシステムの構成例を示す図である。図５において、互いに隔たった会議室等には、画面入出力（画面への操作入力と画面表示）の機能を有するとともにユーザを撮影する機能を有する情報処理装置１Ａ、１Ｂと、テレビ会議装置３Ａ、３Ｂとが設置されている。そして、情報処理装置１Ａ、１Ｂとテレビ会議装置３Ａ、３Ｂのそれぞれはインターネット等のネットワーク２を介して互いに通信可能に接続されている。なお、２台の情報処理装置１Ａ、１Ｂについて図示されているが、３台以上の情報処理装置が接続されるものであってもよい。また、テレビ会議装置３Ａ、３Ｂは、情報処理装置１Ａ、１Ｂの一つの機能として情報処理装置１Ａ、１Ｂに内蔵されるものでもよい。

図６は情報処理装置１（１Ａ、１Ｂ）の機能構成例を示す図である。図６において、情報処理装置１は、コンテンツ情報１０１とコンテンツ実行部１０２とコンテンツ内部状態情報１０３とコンテンツ入力履歴情報１０４とを備えている。また、情報処理装置１は、座標管理部１０５とコンテンツ配置情報１０６とディスプレイ構成情報１０７と画面出力部１０８と画面入力部１０９とを備えている。

また、情報処理装置１は、共有情報送受信部１１２と機器物理配置構成情報１１３と映像入力部１１４とコンテンツ配置検出部１１５とユーザ物理位置・動作検出部１１６とコンテンツ類似度計算部１１７とを備えている。また、情報処理装置１は、コンテンツ転送判定部１１８と転送状況情報１１９と転送履歴情報１２０とを備えている。

コンテンツ情報１０１は、例えば、図７に示されるように、自装置において即座に表示が可能なコンテンツについての表示可能コンテンツ情報と、コンテンツ転送傾向を計算するための参照コンテンツ情報とを含んでいる。表示可能コンテンツ情報には、他装置から転送されてきたコンテンツの情報も含まれる。もともと自装置にあったコンテンツについては、他装置に転送されても表示可能コンテンツ情報に残されるものとする。参考コンテンツ情報は、コンテンツ転送傾向を計算するために用いられるものであり、自装置で保持していない他装置で保持されるコンテンツの情報の一部である。

表示可能コンテンツ情報は、「コンテンツＩＤ」「タグ、メタ情報」「コンテンツ実体保存位置」「画面ＵＩ」「動作スクリプト」等の項目を有している。「コンテンツＩＤ」は、コンテンツを識別する情報である。「タグ、メタ情報」は、コンテンツの特徴を端的に表す情報であり、コンテンツの種類等（例：「image/png」（png形式の画像））である。「コンテンツ実体保存位置」は、画像やテキスト等のコンテンツの実体が保存されているＵＲＩ（Uniform Resource Identifier）やファイルパスである（例：「./contents/resouce1.jpg」）。「画面ＵＩ」は、コンテンツ自体が有するユーザインタフェースであり、ｈｔｍｌ（HyperText Markup Language）やｃｓｓ（Cascading Style Sheets）等により記述される。「動作スクリプト」は、「画面ＵＩ」の中で使用されるものであり、Javascript等により記述される。参考コンテンツ情報は、「コンテンツＩＤ」「タグ、メタ情報」等の項目を有しており、コンテンツの実体や画面ＵＩ等の情報は含まれていない。

図６に戻り、コンテンツ実行部１０２は、コンテンツ情報１０１に保持されている表示可能コンテンツ情報のうち表示対象となるコンテンツを実行し、コンテンツの画面の生成を行う機能を有している。コンテンツ実行部１０２は、例えば、ブラウザの機能を有しており、ｈｔｍｌ等により記述された画面ＵＩ（図７）を実行することによりコンテンツの画面を生成する。また、コンテンツ実行部１０２は、コンテンツの実行によるコンテンツの状態をコンテンツ内部状態情報１０３に記録し、コンテンツに対するユーザによる入力履歴をコンテンツ入力履歴情報１０４に記録する。コンテンツ内部状態情報１０３は、図８に示されるように、「コンテンツＩＤ」「データ内容」等の項目を有している。「データ内容」は、例えば、key-value形式で記録される。なお、コンテンツ内部状態情報１０３はコンテンツ情報１０１の一部として保持されるようにしてもよい。

コンテンツ入力履歴情報１０４は、例えば、図９に示されるように、「日時」「ユーザＩＤ」「コンテンツＩＤ」「入力内容」等の項目を有している。「日時」は、入力操作が行われた日時の情報である。「ユーザＩＤ」は、入力操作を行ったユーザを識別する情報である。「コンテンツＩＤ」は、入力操作の対象となったコンテンツを識別する情報である。「入力内容」は、入力された内容あるいは概要の情報である。

図６に戻り、座標管理部１０５は、コンテンツ実行部１０２によって生成されたコンテンツの画面を表示するディスプレイ上の座標を、初期位置およびその後のユーザの移動操作に応じて管理し、コンテンツの座標をコンテンツ配置情報１０６に保持する機能を有している。この際、ディスプレイの境界を越える移動はディスプレイ構成情報１０７が参照されることで把握される。コンテンツ配置情報１０６は、例えば、図１０に示されるように、ディスプレイごとに、「ウインドウＩＤ」「コンテンツＩＤ」「ｘ」「ｙ」「幅」「高さ」「回転量」等の項目を有している。「ウインドウＩＤ」は、コンテンツが表示されるウインドウを識別する情報である。「コンテンツＩＤ」は、ウインドウに表示されるコンテンツを識別する情報である。「ｘ」「ｙ」は、ウインドウの代表点（例えば、左上角点）のｘ座標、ｙ座標である。「幅」は、ウインドウの幅方向のサイズである。「高さ」は、ウインドウの高さ方向のサイズである。「回転量」は、ウインドウに加えられた回転角度である。なお、図１０において具体的に示された値は、図１１（ｂ）のようにウインドウが配置されている場合に対応している。

ディスプレイ構成情報１０７は、例えば、図１１（ａ）に示されるように、「ディスプレイＩＤ」「幅」「高さ」「ｘ」「ｙ」等の項目を有している。「ディスプレイＩＤ」は、ディスプレイを識別する情報である。「幅」は、ディスプレイの幅方向のサイズである。「高さ」は、ディスプレイの高さ方向のサイズである。「ｘ」「ｙ」は、ディスプレイの代表点（例えば、左上角点）のｘ座標、ｙ座標である。なお、１つの情報処理装置に複数のディスプレイが含まれることが許容される場合には、ディスプレイが属する情報処理装置を識別する「装置ＩＤ」が追加される。また、図１１（ａ）において具体的に示された値は、図１１（ｂ）のようにディスプレイが配置されている場合に対応している。

図６に戻り、画面出力部１０８は、コンテンツ実行部１０２によって生成されたコンテンツを、座標管理部１０５により管理される座標等に表示する機能を有している。

画面入力部１０９は、ユーザによる画面への操作を入力する機能を有している。ユーザの操作は指やペンによる他、キーボードやマウス等によっても行われる。

共有情報送受信部１１２は、他の情報処理装置の共有情報送受信部との間でコンテンツの情報の送受信を行う機能を有している。転送する側となる場合、共有情報送受信部１１２はコンテンツ情報１０１とコンテンツ配置情報１０６から該当するコンテンツの情報を、転送先の情報処理装置に転送する。転送される側となる場合、共有情報送受信部１１２は受信したコンテンツの情報をコンテンツ情報１０１とコンテンツ配置情報１０６に保持する。

機器物理配置構成情報１１３は、例えば、図１２（ａ）に示されるように、「機器ＩＤ」「位置」「向き」「他」等の項目を有している。「機器ＩＤ」は、ディスプレイやカメラ等の機器を識別する情報である。「位置」は、機器の代表点の物理的な３次元位置を示す情報である。「向き」は、機器の物理的な３次元上の向きを示す情報である。「他」は、機器の幅、高さ、回転等を示す情報である。なお、図１２（ａ）において具体的に示された値は、図１２（ｂ）のようにディスプレイやカメラが配置されている場合に対応している。

図６に戻り、映像入力部１１４は、ユーザを撮影するカメラから映像を入力する機能を有している。

コンテンツ配置検出部１１５は、コンテンツ配置情報１０６、ディスプレイ構成情報１０７、機器物理配置構成情報１１３と、映像入力部１１４によるカメラ映像とから、コンテンツとユーザの距離、向き等のコンテンツの配置を検出する機能を有している。また、コンテンツ配置検出部１１５は、コンテンツ転送判定部１１８に対してコンテンツ配置情報１０６とディスプレイ構成情報１０７の情報も伝える。

ユーザ物理位置・動作検出部１１６は、機器物理配置構成情報１１３と映像入力部１１４による入力映像とから、人物全体や頭部のトラッキング技術等を用いて、カメラ映像からユーザの位置や視線方向を検出する機能を有している。

コンテンツ類似度計算部１１７は、自装置において表示対象となっているコンテンツと他の情報処理装置上のコンテンツ（当初から他装置にあるものと、自装置から転送済のもの）との類似度をコンテンツ情報１０１のタグ・メタ情報等を参照して計算する機能を有している。

コンテンツ転送判定部１１８は、自装置内で取得可能な各種の情報に基づき、コンテンツごとに自装置から他装置に転送される可能性を示すコンテンツ転送傾向を計算し、そのコンテンツ転送傾向に基づいて事前に転送すべきか否かを判定する機能を有している。また、コンテンツ転送判定部１１８は、ユーザの操作によって実際に移動されたコンテンツの情報を転送する機能も有している。コンテンツ転送判定部１１８は、転送すべきと判定した場合、共有情報送受信部１１２にコンテンツの転送を要求し、転送状況を転送状況情報１１９に記録し、転送履歴を転送履歴情報１２０に記録する。転送状況情報１１９には、例えば、図１３に示されるように、ディスプレイごとに、コンテンツＩＤと他のディスプレイとの組み合わせに対して、未転送・転送済の転送状況が記録される。

転送履歴情報１２０は、図１４に示されるように、「日時」「ユーザＩＤ」「コンテンツＩＤ」「転送先装置ＩＤ」等の項目を有している。「日時」は、転送が行われた日時を示す情報である。「ユーザＩＤ」は、転送の原因となったコンテンツ移動操作を行ったユーザを識別する情報である。「コンテンツＩＤ」は、転送されたコンテンツを識別する情報である。「転送先装置ＩＤ」は、転送先の情報処理装置を識別する情報である。

図６に戻り、コンテンツ転送判定部１１８は、例えば、次のような観点ごとの転送傾向を計算し、個々の転送傾向からコンテンツごとのコンテンツ転送傾向を計算し、所定の閾値を超える場合に転送すべきと判定する。

・ユーザとコンテンツによる転送傾向
・ユーザ動作による転送傾向
・顔や視線の動きの大きさ（大きく動くほど転送の準備がされていて転送傾向が高い）
・テレビ会議の相手方の画面を見る頻度（よく見るほど転送傾向が高い）
・過去に転送操作を行っている頻度（転送動作は特定のユーザに偏る）
・ユーザとコンテンツの相対関係による転送傾向
・ユーザとコンテンツの距離（ユーザに近いコンテンツほど転送されすい）
・ユーザとコンテンツの向きの一致度（向きが一致すると転送されやすい）
・ユーザに見られている頻度（見られているコンテンツは転送されやすい）

・コンテンツによる転送傾向
・コンテンツの位置による転送傾向
・コンテンツと画面接続辺との距離（接続辺に近いコンテンツは転送されやすい）
・コンテンツの内容による転送傾向
・転送されている他のコンテンツとの類似度（転送されているコンテンツに類似するものは転送されやすい）
・転送先の他のコンテンツとの類似度（転送先のコンテンツと類似するものは情報共有のため転送されやすい）
・内容が入力される頻度（入力される頻度が高いコンテンツは転送されやすい）

図１５は情報処理装置１（１Ａ、１Ｂ）のハードウェア構成例を示す図である。図１５において、情報処理装置１は、バス1007を介して相互に接続されたＣＰＵ（Central Processing Unit）1001、ＲＯＭ（Read Only Memory）1002、ＲＡＭ（Random Access Memory）1003、ＨＤＤ（Hard Disk Drive）／ＳＳＤ（Solid State Drive）1004を備えている。また、情報処理装置１は、接続Ｉ／Ｆ（Interface）1005、通信Ｉ／Ｆ1006、接続Ｉ／Ｆ1005に接続されたディスプレイ1008、ポインティングデバイス1009およびカメラ1010を備えている。ディスプレイ1008、ポインティングデバイス1009、カメラ1010は、装置と一体型でもよいし外付型でもよい。また、ディスプレイ1008は複数でもよい。

ＣＰＵ1001は、ＲＡＭ1003をワークエリアとしてＲＯＭ1002またはＨＤＤ／ＳＳＤ1004等に格納されたプログラムを実行することで、情報処理装置１の動作を統括的に制御する。図６で説明された情報処理装置１の機能は、ＣＰＵ1001において所定のプログラムが実行されることで実現される。プログラムは、記録媒体を経由して取得されるものでもよいし、ネットワークを経由して取得されるものでもよいし、ＲＯＭ組込でもよい。

＜動作＞
図１６はコンテンツ転送判定部１１８の処理例を示すフローチャートである。図１６において、コンテンツ転送判定部１１８は、転送先の装置毎および表示中のコンテンツ毎に、以下のループ処理を行う（ステップＳ１〜Ｓ１１）。

ループ処理において、コンテンツ転送判定部１１８は、コンテンツ転送傾向を計算する（ステップＳ２）。処理の詳細については後述する。

次いで、コンテンツ転送判定部１１８は、転送状況情報１１９を参照して、コンテンツの転送状況を取得する（ステップＳ３）。

そして、コンテンツ転送判定部１１８は、既にコンテンツが転送済であるか否か判断し（ステップＳ４）、転送済でないと判断した場合（ステップＳ４のＮＯ）、コンテンツが転送先の領域に一部重なるか否か判断する（ステップＳ５）。

コンテンツ転送判定部１１８は、コンテンツが転送先の領域に一部重ならないと判断した場合（ステップＳ５のＮＯ）、先に計算されているコンテンツ転送傾向が所定の転送閾値を上回るか否か判断する（ステップＳ６）。

そして、コンテンツ転送判定部１１８は、
・コンテンツが転送先の領域に一部重なると判断した場合（ステップＳ５のＹＥＳ）
・コンテンツ転送傾向が所定の転送閾値を上回ると判断した場合（ステップＳ６のＹＥＳ）
に、共有情報送受信部１１２により該当するコンテンツの情報を送信（転送）させる（ステップＳ７）。コンテンツが転送先の領域に一部重なると判断されて転送が行われた場合は、実際にコンテンツが装置（ディスプレイ）を超えて移動されつつあるため、コンテンツの情報を受信した転送先の装置は、転送されたコンテンツを即座に表示することになる。

また、コンテンツ転送判定部１１８は、既にコンテンツが転送済であると判断した場合（ステップＳ４のＹＥＳ）、コンテンツ転送傾向が所定の削除閾値を下回るか否か判断する（ステップＳ８）。すなわち、実際には移動されていない時点で転送が行われたコンテンツについて、その後も転送の状態を維持すべきか否か判断する。

コンテンツ転送判定部１１８は、コンテンツ転送傾向が所定の削除閾値を下回ると判断した場合（ステップＳ８のＹＥＳ）、共有情報送受信部１１２により転送先の装置にコンテンツ削除要求を送信させる（ステップＳ９）。コンテンツ削除要求を受信した装置は、該当するコンテンツの情報を削除する。

コンテンツ転送判定部１１８は、コンテンツの送信（ステップＳ７）の後またはコンテンツ削除要求の送信（ステップＳ９）の後、転送状況情報１１９を更新する（ステップＳ１０）。

コンテンツ転送判定部１１８は、
・コンテンツ転送傾向が所定の転送閾値を上回わらないと判断した場合（ステップＳ６のＮＯ）
・コンテンツ転送傾向が所定の削除閾値を下回らないと判断した場合（ステップＳ８のＮＯ）
・転送状況情報１１９の更新（ステップＳ１０）の後
に、次のループ処理の判断を行う（ステップＳ１１）。すなわち、全ての転送先の装置および全ての表示中のコンテンツについて計算完了していない場合はループ処理を繰り返し、計算完了した場合は処理を終了する。

図１７はコンテンツ転送傾向計算（図１６のステップＳ２）の処理例を示すフローチャートである。図１７において、コンテンツ転送判定部１１８は、ユーザとコンテンツを用いたコンテンツ転送傾向を計算する（ステップＳ２１）。処理の詳細については後述する。

次いで、コンテンツ転送判定部１１８は、コンテンツを用いたコンテンツ転送傾向を計算する（ステップＳ２２）。処理の詳細については後述する。

次いで、コンテンツ転送判定部１１８は、それぞれで計算したコンテンツ転送傾向を掛け合わせ（乗算して）、総合的なコンテンツ転送傾向とし（ステップＳ２３）、処理を終了する。

なお、総合的なコンテンツ転送傾向は、掛け合わせ（乗算）られる場合だけではなく、足し合わせ（加算）られることで求められるようにしてもよい。また、値が規格化されるようにしてもよい。

図１８はユーザとコンテンツを用いたコンテンツ転送傾向計算（図１７のステップＳ２１）の処理例を示すフローチャートである。なお、前述したユーザとコンテンツによる転送傾向のうちの一部の観点が用いられている。

図１８において、コンテンツ転送判定部１１８は、コンテンツ配置検出部１１５から取得したコンテンツ配置情報と機器物理配置情報とを用いて、射影変換することで、コンテンツの物理位置を計算する（ステップＳ２１０１）。

次いで、コンテンツ転送判定部１１８は、ユーザ物理位置・動作検出部１１６からユーザの位置や視線方向を取得する（ステップＳ２１０２）。

次いで、コンテンツ転送判定部１１８は、全てのコンテンツのコンテンツ転送傾向を初期化する（ステップＳ２１０３）。

次いで、コンテンツ転送判定部１１８は、各ユーザについて、以下のループ処理を行う（ステップＳ２１０４〜Ｓ２１１１）。

ループ処理において、コンテンツ転送判定部１１８は、ユーザが何を見ているかをユーザの視線とディスプレイの交点から計算する（ステップＳ２１０５）。

次いで、コンテンツ転送判定部１１８は、ユーザの転送動作の傾向として、転送履歴情報１２０を参照し、そのユーザが一定期間内に転送動作（転送操作）をした回数を計算し、転送傾向とする（ステップＳ２１０６）。

次いで、コンテンツ転送判定部１１８は、ユーザの視線の動きの傾向として、そのユーザが一定時間内に転送先の画面（テレビ会議の相手方の画面）を見た回数を計算し、転送傾向とする（ステップＳ２１０７）。

次いで、コンテンツ転送判定部１１８は、コンテンツの位置による傾向として、コンテンツの物理位置とユーザの位置の距離を計算し、転送傾向とする（ステップＳ２１０８）。

次いで、コンテンツ転送判定部１１８は、コンテンツの向きによる傾向として、コンテンツの物理方向とユーザの向きの一致度を計算し、転送傾向とする（ステップＳ２１０９）。

次いで、コンテンツ転送判定部１１８は、コンテンツそれぞれについて、そのユーザの転送傾向とそのユーザに対するコンテンツの転送傾向を掛け合わせ、コンテンツのコンテンツ転送傾向候補とする（ステップＳ２１１０）。

次いで、コンテンツ転送判定部１１８は、全てのユーザに対しコンテンツ転送傾向候補の計算を行っていない場合は次の対象についてループ処理を繰り返し、計算を完了した場合はループ処理を終了する（ステップＳ２１１１）。

ループ処理が終了された場合、コンテンツ転送判定部１１８は、コンテンツそれぞれについて、ユーザのコンテンツ転送傾向候補のうち一番高いものをコンテンツのコンテンツ転送傾向とする（ステップＳ２１１２）。

なお、コンテンツ転送傾向候補は、掛け合わせ（乗算）られる場合だけではなく、足し合わせ（加算）られることで求められるようにしてもよい。また、値が規格化されるようにしてもよい。

図１９はコンテンツを用いたコンテンツ転送傾向計算（図１７のステップＳ２２）の処理例を示すフローチャートである。なお、前述したコンテンツによる転送傾向のうちの一部の観点が用いられている。

図１９において、コンテンツ転送判定部１１８は、各コンテンツについて、以下のループ処理を行う（ステップＳ２２１〜Ｓ２２６）。

ループ処理において、コンテンツ転送判定部１１８は、被操作による傾向として、一定時間内のコンテンツへの入力頻度を計算し、転送傾向とする（ステップＳ２２２）。

次いで、コンテンツ転送判定部１１８は、接触面距離による傾向として、ディスプレイの接続面との距離を計算し、転送傾向とする（ステップＳ２２３）。

次いで、コンテンツ転送判定部１１８は、転送先との類似度による傾向として、コンテンツ類似度計算部１１７から、既に転送済のコンテンツとの類似度を取得し、転送傾向とする（ステップＳ２２４）。

次いで、コンテンツ転送判定部１１８は、各方式により算出した転送傾向を掛け合わせ、コンテンツのコンテンツ転送傾向とする（ステップＳ２２５）。

なお、コンテンツ転送傾向は、掛け合わせ（乗算）られる場合だけではなく、足し合わせ（加算）られることで求められるようにしてもよい。また、値が規格化されるようにしてもよい。

次いで、コンテンツ転送判定部１１８は、全てのコンテンツに対しコンテンツ転送傾向の計算を行っていない場合は次の対象についてループ処理を繰り返し、計算を完了した場合はループ処理を終了し（ステップＳ２２６）、コンテンツを用いた転送傾向計算の処理を終了する。

＜変形例＞
図５および図６では対等な関係にある複数の情報処理装置１（１Ａ、１Ｂ）が接続される場合について示されていたが、情報処理装置１の他にクラウド等の共通のサーバが設けられるものであってもよい。この場合、サーバにおいてコンテンツ転送傾向が計算され、転送の可能性があると判定されたコンテンツが予め転送先の情報処理装置に転送されることになる。

＜総括＞
以上説明したように、本実施形態によれば、複数の装置の管理下にある複数の画面が一つの論理的な画面を構成する場合におけるコンテンツの移動の操作性を向上させることができる。すなわち、ユーザに操作されてからコンテンツの転送が行われるだけではなく、転送される可能性が高いコンテンツが推定され、予め転送が行われることで、転送時の待ち時間が削減され、操作性が向上する。

以上、好適な実施の形態により説明した。ここでは特定の具体例を示して説明したが、特許請求の範囲に定義された広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により限定されるものと解釈してはならない。

以上の説明に関し、更に以下の項を開示する。
（付記１）
自装置の記憶部に保持されたコンテンツの情報に基づいてコンテンツの表示を行う表示部と、
自装置で表示されているコンテンツごとに、記憶部に保持された情報を参照して、自装置から他装置に転送される可能性を判定する判定部と、
前記判定部により転送される可能性があると判定された場合に、コンテンツの情報を転送先の装置に転送する転送部と、
を備えたことを特徴とする情報処理装置。
（付記２）
前記判定部は、ユーザ動作に基づく転送傾向と、ユーザとコンテンツの相対関係に基づく転送傾向と、コンテンツに基づく転送傾向とから、コンテンツごとに自装置から他装置に転送される可能性を判定する、
ことを特徴とする付記１に記載の情報処理装置。
（付記３）
前記ユーザ動作に基づく転送傾向は、ユーザの顔または視線の動きの大きさ、転送先の画面を見る頻度、過去に転送操作を行った頻度のいずれかまたは組み合わせにより算出され、
前記ユーザとコンテンツの相対関係に基づく転送傾向は、ユーザとコンテンツの距離、ユーザとコンテンツの向きの一致度、ユーザに見られている頻度のいずれかまたは組み合わせにより算出され、
前記コンテンツに基づく転送傾向は、コンテンツの位置、コンテンツの内容、コンテンツに内容が入力される頻度のいずれかまたは組み合わせにより算出される、
ことを特徴とする付記２に記載の情報処理装置。
（付記４）
前記転送部は、前記判定部により転送される可能性がなくなったと判定された転送済のコンテンツについて、コンテンツの情報の削除要請を送信する、
ことを特徴とする付記１に記載の情報処理装置。
（付記５）
自装置の記憶部に保持されたコンテンツの情報に基づいてコンテンツの表示を行う表示部と、
自装置で表示されているコンテンツごとに、記憶部に保持された情報を参照して、自装置から他装置に転送される可能性を判定する判定部と、
前記判定部により転送される可能性があると判定された場合に、コンテンツの情報を転送先の装置に転送する転送部と、
を備えたことを特徴とする情報処理システム。
（付記６）
前記判定部は、ユーザ動作に基づく転送傾向と、ユーザとコンテンツの相対関係に基づく転送傾向と、コンテンツに基づく転送傾向とから、コンテンツごとに自装置から他装置に転送される可能性を判定する、
ことを特徴とする付記５に記載の情報処理システム。
（付記７）
前記ユーザ動作に基づく転送傾向は、ユーザの顔または視線の動きの大きさ、転送先の画面を見る頻度、過去に転送操作を行った頻度のいずれかまたは組み合わせにより算出され、
前記ユーザとコンテンツの相対関係に基づく転送傾向は、ユーザとコンテンツの距離、ユーザとコンテンツの向きの一致度、ユーザに見られている頻度のいずれかまたは組み合わせにより算出され、
前記コンテンツに基づく転送傾向は、コンテンツの位置、コンテンツの内容、コンテンツに内容が入力される頻度のいずれかまたは組み合わせにより算出される、
ことを特徴とする付記６に記載の情報処理システム。
（付記８）
前記転送部は、前記判定部により転送される可能性がなくなったと判定された転送済のコンテンツについて、コンテンツの情報の削除要請を送信する、
ことを特徴とする付記５に記載の情報処理システム。
（付記９）
自装置の記憶部に保持されたコンテンツの情報に基づいてコンテンツの表示を行い、
自装置で表示されているコンテンツごとに、記憶部に保持された情報を参照して、自装置から他装置に転送される可能性を判定し、
前記判定する処理により転送される可能性があると判定された場合に、コンテンツの情報を転送先の装置に転送する、
処理をコンピュータが実行することを特徴とする情報処理方法。
（付記１０）
前記判定する処理は、ユーザ動作に基づく転送傾向と、ユーザとコンテンツの相対関係に基づく転送傾向と、コンテンツに基づく転送傾向とから、コンテンツごとに自装置から他装置に転送される可能性を判定する、
ことを特徴とする付記９に記載の情報処理方法。
（付記１１）
前記ユーザ動作に基づく転送傾向は、ユーザの顔または視線の動きの大きさ、転送先の画面を見る頻度、過去に転送操作を行った頻度のいずれかまたは組み合わせにより算出され、
前記ユーザとコンテンツの相対関係に基づく転送傾向は、ユーザとコンテンツの距離、ユーザとコンテンツの向きの一致度、ユーザに見られている頻度のいずれかまたは組み合わせにより算出され、
前記コンテンツに基づく転送傾向は、コンテンツの位置、コンテンツの内容、コンテンツに内容が入力される頻度のいずれかまたは組み合わせにより算出される、
ことを特徴とする付記１０に記載の情報処理方法。
（付記１２）
前記転送する処理は、前記判定部により転送される可能性がなくなったと判定された転送済のコンテンツについて、コンテンツの情報の削除要請を送信する、
ことを特徴とする付記９に記載の情報処理方法。

画面出力部１０８は「表示部」の一例である。コンテンツ転送判定部１１８は「判定部」の一例である。共有情報送受信部１１２は「転送部」の一例である。

１、１Ａ、１Ｂ情報処理装置
１０１コンテンツ情報
１０２コンテンツ実行部
１０３コンテンツ内部状態情報
１０４コンテンツ入力履歴情報
１０５座標管理部
１０６コンテンツ配置情報
１０７ディスプレイ構成情報
１０８画面出力部
１０９画面入力部
１１２共有情報送受信部
１１３機器物理配置構成情報
１１４映像入力部
１１５コンテンツ配置検出部
１１６ユーザ物理位置・動作検出部
１１７コンテンツ類似度計算部
１１８コンテンツ転送判定部
１１９転送状況情報
１２０転送履歴情報
２ネットワーク
３、３Ａ、３Ｂテレビ会議装置

Claims

自装置の記憶部に保持された、表示可能コンテンツ情報に含まれるコンテンツの表示を行う表示部と、
自装置で表示されているコンテンツごとに、記憶部に保持されたコンテンツ配置情報とディスプレイ構成情報とを参照して、ユーザの顔または視線の動きの大きさ、転送先の画面を見る頻度、過去に転送操作を行った頻度のいずれかまたは組み合わせにより算出される転送傾向と、ユーザとコンテンツの距離、ユーザとコンテンツの向きの一致度、ユーザに見られている頻度のいずれかまたは組み合わせにより算出される転送傾向と、コンテンツの位置、コンテンツの内容、コンテンツに内容が入力される頻度のいずれかまたは組み合わせにより算出される転送傾向と、を用いて、自装置から、前記自装置とネットワークを介して前記表示可能コンテンツ情報を共有する他装置に転送される可能性を、判定する判定部と、
前記判定部により転送される可能性があると判定された場合に、判定されたコンテンツと対応する表示可能コンテンツ情報を転送先の装置に転送する転送部と、
を備えたことを特徴とする情報処理装置。
前記転送部は、前記判定部により転送される可能性がなくなったと判定された転送済の表示可能コンテンツ情報について、削除要請を送信する、
ことを特徴とする請求項１に記載の情報処理装置。
自装置の記憶部に保持された、表示可能コンテンツ情報に含まれるコンテンツの表示を行う表示部と、
自装置で表示されているコンテンツごとに、記憶部に保持されたコンテンツ配置情報とディスプレイ構成情報とを参照して、ユーザの顔または視線の動きの大きさ、転送先の画面を見る頻度、過去に転送操作を行った頻度のいずれかまたは組み合わせにより算出される転送傾向と、ユーザとコンテンツの距離、ユーザとコンテンツの向きの一致度、ユーザに見られている頻度のいずれかまたは組み合わせにより算出される転送傾向と、コンテンツの位置、コンテンツの内容、コンテンツに内容が入力される頻度のいずれかまたは組み合わせにより算出される転送傾向と、を用いて、自装置から、前記自装置とネットワークを介して前記表示可能コンテンツ情報を共有する他装置に転送される可能性を、判定する判定部と、
前記判定部により転送される可能性があると判定された場合に、判定されたコンテンツと対応する表示可能コンテンツ情報を転送先の装置に転送する転送部と、
を備えたことを特徴とする情報処理システム。
自装置の記憶部に保持された、表示可能コンテンツ情報に含まれるコンテンツの表示を行い、
自装置で表示されているコンテンツごとに、記憶部に保持されたコンテンツ配置情報とディスプレイ構成情報とを参照して、ユーザの顔または視線の動きの大きさ、転送先の画面を見る頻度、過去に転送操作を行った頻度のいずれかまたは組み合わせにより算出される転送傾向と、ユーザとコンテンツの距離、ユーザとコンテンツの向きの一致度、ユーザに見られている頻度のいずれかまたは組み合わせにより算出される転送傾向と、コンテンツの位置、コンテンツの内容、コンテンツに内容が入力される頻度のいずれかまたは組み合わせにより算出される転送傾向と、を用いて、自装置から、前記自装置とネットワークを介して前記表示可能コンテンツ情報を共有する他装置に転送される可能性を判定し、
前記判定する処理により転送される可能性があると判定された場合に、判定されたコンテンツと対応する表示可能コンテンツ情報を転送先の装置に転送する、
処理をコンピュータが実行することを特徴とする情報処理方法。