JP6524762B2 - コンテンツ表示制御方法、コンテンツ表示制御装置およびコンテンツ表示制御プログラム - Google Patents

コンテンツ表示制御方法、コンテンツ表示制御装置およびコンテンツ表示制御プログラム Download PDF

Info

Publication number
JP6524762B2
JP6524762B2 JP2015076822A JP2015076822A JP6524762B2 JP 6524762 B2 JP6524762 B2 JP 6524762B2 JP 2015076822 A JP2015076822 A JP 2015076822A JP 2015076822 A JP2015076822 A JP 2015076822A JP 6524762 B2 JP6524762 B2 JP 6524762B2
Authority
JP
Japan
Prior art keywords
display control
content display
window frame
control method
closed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015076822A
Other languages
English (en)
Other versions
JP2016197325A (ja
Inventor
桂樹 岡林
桂樹 岡林
彬 陳
彬 陳
賀彦 村川
賀彦 村川
安川　裕介
裕介 安川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2015076822A priority Critical patent/JP6524762B2/ja
Priority to US15/085,667 priority patent/US20160291804A1/en
Publication of JP2016197325A publication Critical patent/JP2016197325A/ja
Application granted granted Critical
Publication of JP6524762B2 publication Critical patent/JP6524762B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、コンテンツ表示制御方法、コンテンツ表示制御装置およびコンテンツ表示制御プログラムに関する。
一般のウィンドウシステムでは、ユーザがアプリケーション（アプリケーションプログラム、アプリ）の開始を指示すると、画面上の既定の位置にウィンドウが表示され、アプリケーションのコンテンツが表示される。
近年、プロジェクタやディスプレイの性能向上により、空間のあらゆる場所がディスプレイとして使用されるようになりつつあり、そのような環境においては、どのディスプレイのどの位置にどのくらいの大きさのウィンドウを表示するかが重要となる。
例えば、ユーザが、手持ちのスマートフォン等のクライアント端末のアプリケーションから、部屋内に予め設置された複数のディスプレイの一つにアプリ画面を表示したいとする。この場合、デフォルトとしてあるディスプレイのある位置が選択されてしまうと、ユーザの意図するよりも遠いディスプレイにウィンドウが表示されてしまうかもしれない。この場合、ユーザは遠くのディスプレイから、意図するディスプレイの意図する位置にウィンドウを移動させる操作を行う必要がある。ウィンドウの大きさについても、ウィンドウの端をドラッグしてサイズを調整するなどの操作を行う必要がある。
このような煩わしい操作を避けるため、ユーザの意図するウィンドウの領域をシステムが推定することが望まれるが、ユーザの意図を自動的に推定することは一般には難しい。
特開２０１３−１３０９１５号公報 特開２００１−５５９９号公報
上述したように、ウィンドウを表示可能な領域の自由度が高い場合、システムはウィンドウを表示する適切な領域を推定することが望まれるが、従来、ユーザビリティの良い手法は存在しなかった。
そこで、開示の形態は、一側面として、クライアント端末とディスプレイとのコンテンツ表示連携におけるユーザビリティの向上を目的とする。
開示の形態は、コンテンツ表示制御装置が、コンテンツの配信元のクライアント端末を検出し、ディスプレイ上におけるユーザのタッチ操作を検出し、検出した前記タッチ操作の軌跡に基づいて、前記ディスプレイ上におけるウィンドウ枠を推定し、推定した前記ディスプレイ上におけるウィンドウ枠をユーザ操作に基づいて前記クライアント端末と対応付け、前記ウィンドウ枠に前記クライアント端末から配信されるコンテンツを表示し、前記タッチ操作によりドラッグが開始された場合に、該ドラッグの開始位置に閉図形を表示し、前記タッチ操作によるドラッグが途切れずに前記閉図形内で終了した場合に、前記ウィンドウ枠を推定し、前記ドラッグの開始から前記閉図形内で軌跡が終了するまでの間、軌跡の角の数をカウントし、角の数に応じて前記閉図形の大きさを調整する処理を実行する。
開示の形態は、クライアント端末とディスプレイとのコンテンツ表示連携におけるユーザビリティの向上を図ることができる。
一実施形態にかかるシステムの構成例を示す図である。 ディスプレイの構成例を示す図である。 操作検出部の構成例を示す図である。 全体的な処理例を示すフローチャートである。 操作検出部の第１の処理例のフローチャートである。 操作および表示の例を示す図である。 ウィンドウ枠の推定の処理例を示す図である。 操作検出部の第２の処理例のフローチャートである。 手書きのサインの例を示す図である。 操作検出部の第３の処理例のフローチャートである。 開始円の表示の変化の例を示す図である。 軌跡の評価、開始円の調整の処理例を示すフローチャートである。 シンボルの例を示す図である。 枠らしさおよび開始円の大きさの計算の例を示す図である。 操作検出部の第４の処理例のフローチャートである。 図形の推定と決定の例を示す図である。 図形の推定の処理例を示す図である。 操作検出部の第５の処理例のフローチャートである。 図形の推定と決定の例を示す図である。 操作検出部の第６の処理例のフローチャートである。 キャンセル領域の例を示す図である。 キャンセルの他の例を示す図である。 承認とキャンセルを選択させる例を示す図である。 終了時の速度によりキャンセルを判断する例を示す図である。
以下、本発明の好適な実施形態につき説明する。
＜構成＞
図１は一実施形態にかかるシステムの構成例を示す図である。図１において、会議室等の施設の壁面等には、ディスプレイ１が設けられている。図示の例では、ディスプレイ１を３個としているが、１個以上の任意の数とすることができる。ディスプレイ１は、映像信号を入力して画面表示を行うとともに、ユーザの指やペンなどによるタッチ操作を検出してタッチされた座標を含むセンサ信号を出力する機能を有している。
図２はディスプレイ１の構成例を示す図である。図２（ａ）は、表示パネル１１の前面にタッチパネル１２が設けられるタイプを示しており、表示パネル１１は映像信号を入力して画面表示を行い、タッチパネル１２はユーザによるタッチ操作を検出してセンサ信号を出力する。図２（ｂ）は、プロジェクタ１４とセンサ１５が設けられるタイプを示しており、プロジェクタ１４は映像信号を入力してスクリーン１３に映像投影を行い、センサ１５はユーザの指などによるスクリーン１３へのタッチ操作を検出してセンサ信号を出力する。
図１に戻り、ディスプレイ１には、このディスプレイ１の画面表示を制御する制御装置２が接続されている。また、制御装置２はアクセスポイント３に接続されている。
制御装置２は、表示制御部２１と操作検出部２２と対応付け処理部２３と端末管理・通信部２４とを備えている。表示制御部２１は、ディスプレイ１に映像信号を出力し、画面表示を制御する機能を有している。特に、表示制御部２１は、ユーザによりディスプレイ１上で指示されたウィンドウ枠に、ウィンドウＩＤと端末ＩＤとの対応付けに従い、クライアント端末４から配信されるコンテンツを表示する制御を行う。
操作検出部２２は、ディスプレイ１からのセンサ信号に基づき、ユーザのタッチ操作を検出し、ユーザ操作（指示）を検出する機能を有している。特に、操作検出部２２は、ユーザによるディスプレイ１上でのウィンドウ枠の位置・大きさ等の指示を検出する。対応付け処理部２３は、操作検出部２２により検出されたユーザ指示のウィンドウ枠について、端末管理・通信部２４により近傍に存在することが確認されているクライアント端末４と対応付けを行う機能を有している。端末管理・通信部２４は、アクセスポイント３を介してクライアント端末４の存在を検出し、必要に応じてチェックイン（ログイン）等の処理を行い、クライアント端末４との間で通信を行う機能を有している。
クライアント端末４は、アプリケーション部４１と特定操作イベント送信部４２とコンテンツ送信部４３とを備えている。アプリケーション部４１は、任意のアプリケーション（アプリケーションプログラム、アプリ）を実行する機能を有している。特定操作イベント送信部４２は、ユーザ指示のウィンドウ枠とクライアント端末４とを対応付けるのに特定の操作（例えば、クライアント端末４をシェイクする操作。シェイクとは、クライアント端末４を手で振ること。）を用いる場合に、その特定の操作が行われたことを制御装置２に対してイベントとして送信する機能を有している。コンテンツ送信部４３は、ディスプレイ１のウィンドウに表示するコンテンツを制御装置２に対して送信する機能を有している。
なお、クライアント端末４から制御装置２にコンテンツを送信するのに代え、クライアント端末４のアプリケーションを制御装置２に転送し、制御装置２でアプリケーションをクライアント端末４側と同期実行させ、直接にコンテンツを得ることができる。この場合、アクセスポイント３を介したコンテンツの伝送が不要となるため、遅延なく表示を行うことができる。
なお、制御装置２およびクライアント端末４は一般的なコンピュータ装置のハードウェア構成を有している。すなわち、制御装置２およびクライアント端末４は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＮＶＲＡＭ（Non-Volatile Random Access Memory）、補助記憶装置、無線インタフェース等を備えている。
図３は制御装置２の操作検出部２２の構成例を示す図である。図３において、操作検出部２２は、タッチ位置検出部２２１とタッチ運動計測部２２２とタッチ運動解析・描画指示部２２３とを備えている。
タッチ位置検出部２２１は、ディスプレイ１からのセンサ信号に基づいてタッチ位置（座標）を検出する機能を有している。タッチ運動計測部２２２は、タッチ位置検出部２２１により検出されたタッチ位置からタッチ運動（軌跡等）を計測する機能を有している。タッチ運動解析・描画指示部２２３は、タッチ運動計測部２２２により計測されたタッチ運動を解析し、表示制御部２１に対して、描画指示を与えるとともに、ウィンドウ枠の指示の操作である場合にウィンドウ描画イベントを与える機能を有している。また、タッチ運動解析・描画指示部２２３は、対応付け処理部２３に対してウィンドウ描画イベントの発生を通知する。
＜全体的な処理＞
図４は上記の実施形態における全体的な処理例を示すフローチャートである。図４において、制御装置２の端末管理・通信部２４は、アクセスポイント３を介してクライアント端末４を検出すると（ステップＳ１のｙｅｓ）、チェックイン済でない場合（ステップＳ２のｎｏ）、ユーザＩＤ、パスワード等の提示を求めるチェックイン処理を行う（ステップＳ３）。
その後、制御装置２の対応付け処理部２３は、操作検出部２２からウィンドウ描画イベントの発生の通知を受けると（ステップＳ４のｙｅｓ）、予め設定された所定時間内にクライアント端末４の特定操作イベント送信部４２から端末管理・通信部２４を介して所定の操作（例えば、シェイク）が行われたか否か確認する（ステップＳ５）。
所定の操作が行われた場合（ステップＳ５のｙｅｓ）、対応付け処理部２３は、ウィンドウ描画イベントにかかるウィンドウＩＤと、所定の操作が行われたクライアント端末４の端末ＩＤを対応付け、表示制御部２１に設定する（ステップＳ６）。これにより、表示制御部２１は、クライアント端末４のコンテンツ送信部４３から受信したコンテンツを該当するウィンドウＩＤのウィンドウに表示する。
また、ウィンドウ枠の指示の操作における手書きの図形の角や辺の数を予めユーザと対応付けて登録しておくことで、シェイク等の特定の操作を行わずに対応付けを行うこともできる。
この場合、制御装置２の対応付け処理部２３は、操作検出部２２からウィンドウ描画イベントの発生の通知を受けると（ステップＳ７のｙｅｓ）、軌跡から取得した角または辺の数に基づき、手書きの図形の角や辺の数に対応するユーザのクライアント端末４がチェックイン済であるか否か確認する（ステップＳ８）。
チェックイン済である場合（ステップＳ８のｙｅｓ）、対応付け処理部２３は、ウィンドウ描画イベントにかかるウィンドウＩＤと、角または辺の数に対応するユーザがチェックインしているクライアント端末４の端末ＩＤを対応付け、表示制御部２１に設定する（ステップＳ９）。これにより、表示制御部２１は、クライアント端末４のコンテンツ送信部４３から受信したコンテンツを該当するウィンドウＩＤのウィンドウに表示する。
また、ユーザの手書きのサイン（署名）の軌跡を予め登録しておき、ウィンドウ枠の指示の操作においてユーザにより描画されたサインを用いてユーザを認証することもできる。この場合、予めユーザの使用するクライアント端末４の端末ＩＤを登録しておくか、シェイク等の所定の操作を行わせることにより、サインインと、ウィンドウＩＤと端末ＩＤの対応付けとを同時に行うことができる。
＜操作検出部の処理＞
［第１の処理例］
図５は制御装置２の操作検出部２２の第１の処理例のフローチャートである。図５において、操作検出部２２は、処理を開始すると、ディスプレイ１のセンサ信号からタッチ位置を取り込み（ステップＳ１０１）、座標の変化によりユーザがドラッグ（タッチ位置を滑らす操作）を開始したか否か判断する（ステップＳ１０２）。
ドラッグを開始したと判断した場合（ステップＳ１０２のｙｅｓ）、操作検出部２２は、ドラッグを開始した位置を中心とした開始円を描画する（ステップＳ１０３）。この開始円は、ドラッグのゴールをユーザに示すものであり、円に限らず、任意の閉じた図形であればよい。また、このような図形が表示されることで、他のポインティング操作とウィンドウ表示指示操作とを区別することができる。図６（ａ）は、ドラッグ開始位置１０１を中心に開始円１０２が描画された状態の例を示している。
次いで、図５に戻り、操作検出部２２は、ディスプレイ１のセンサ信号からタッチ位置を取り込み（ステップＳ１０４）、軌跡を描画する（ステップＳ１０５）。なお、軌跡の描画は行わなくてもよい。図６（ｂ）は、軌跡が描画された状態の例を示している。
次いで、図５に戻り、操作検出部２２は、ドラッグを継続しているか否か判断し（ステップＳ１０６）、ドラッグを継続していると判断した場合（ステップＳ１０６のｙｅｓ）はタッチ位置の取り込み（ステップＳ１０４）に戻る。
ドラッグを継続していないと判断した場合（ステップＳ１０６のｎｏ）、操作検出部２２は、ドラッグが途切れた場所を確認し（ステップＳ１０７）、開始円に入っているか否か判断する（ステップＳ１０８）。
開始円に入っていると判断した場合（ステップＳ１０８のｙｅｓ）、操作検出部２２は、ウィンドウ枠の推定を行う（ステップＳ１０９）。図６（ｃ）は、ドラッグが途切れた位置１０４が開始円１０２に入っている状態の例を示している。
図７はウィンドウ枠の推定の処理例を示す図であり、ウィンドウ枠を上下辺が水平な矩形に限定し、ユーザがドラッグした軌跡に最も近い矩形をウィンドウ枠と推定するようにしたものである。図７（ａ）に示すような軌跡１０３で推定を開始したとすると、図７（ｂ）に示すように、軌跡１０３とのズレ（各辺と直角方向のズレ）の二乗和が最小となるような矩形１０５を算出し、図７（ｃ）のような図形を推定する。なお、最小二乗法による推定について説明したが、その他に、軌跡とのズレの総和が最小となるような矩形を求めてもよい。また、軌跡に内接する矩形と外接する矩形とを求め、その中間の矩形に推定することもできる。更に、ユーザがドラッグした軌跡に最も近い幾何学形状（多角形、円等）の図形を推定し、それから矩形を推定することもできるし、ウィンドウ枠として許容する場合は、幾何学形状の図形をそのままウィンドウ枠として推定してもよい。ドラッグした図形の角や辺の数からユーザを識別する場合には、ユーザがドラッグした軌跡から、許容される図形を推定する際に角や辺の数を取得する。
図５に戻り、操作検出部２２は、ウィンドウ枠の推定を行うと、ウィンドウ描画イベントを上位の表示制御部２１に通知し（ステップＳ１１０）、開始円および軌跡（描画した場合）を消去し（ステップＳ１１１）、処理を終了する。
ドラッグが途切れた場所が開始円に入っていないと判断した場合（ステップＳ１０８のｎｏ）、推定等は行わず、開始円および軌跡（描画した場合）を消去し（ステップＳ１１１）、処理を終了する。従って、ドラッグが開始円に到達する前にウィンドウ枠の指示を変更したい場合、ドラッグを中断することで実質的にキャンセルが行われ、続けてドラッグを行えば、ステップＳ１０１から処理が再び行われる。図６（ｄ）は、破線で示した開始円と軌跡が消去され、新たに開始円１０２と軌跡１０３が描画された状態の例を示している。
［第２の処理例］
この処理例は、ユーザがウィンドウ枠を指示する操作を行う際に、ユーザを識別・認証するためのサインの入力を行えるようにしたものである。その他は第１の処理例と同様である。
図８は制御装置２の操作検出部２２の第２の処理例のフローチャートである。図８において、操作検出部２２は、処理を開始すると、ディスプレイ１のセンサ信号からタッチ位置を取り込み（ステップＳ２０１）、座標の変化によりユーザがドラッグ（タッチ位置を滑らす操作）を開始したか否か判断する（ステップＳ２０２）。
ドラッグを開始したと判断した場合（ステップＳ２０２のｙｅｓ）、操作検出部２２は、ドラッグを開始した位置を中心とした開始円を描画する（ステップＳ２０３）。
次いで、操作検出部２２は、ディスプレイ１のセンサ信号からタッチ位置を取り込み（ステップＳ２０４）、軌跡を描画する（ステップＳ２０５）。なお、軌跡の描画は行わなくてもよい。
次いで、操作検出部２２は、ドラッグを継続しているか否か判断し（ステップＳ２０６）、ドラッグを継続していると判断した場合（ステップＳ２０６のｙｅｓ）はタッチ位置の取り込み（ステップＳ２０４）に戻る。
ドラッグを継続していないと判断した場合（ステップＳ２０６のｎｏ）、操作検出部２２は、ドラッグが途切れた場所を確認し（ステップＳ２０７）、開始円に入っているか否か判断する（ステップＳ２０８）。
開始円に入っていると判断した場合（ステップＳ２０８のｙｅｓ）、操作検出部２２は、タイマを起動し（ステップＳ２０９）、所定時間が経過するまで待機する（ステップＳ２１０）。なお、この所定時間はユーザがウィンドウ枠の中にサインをするために設けた時間であり、サインの軌跡を取得するためにタッチ位置の取り込みおよび軌跡の描画は継続する。
所定時間が経過した場合（ステップＳ２１０のｙｅｓ）、操作検出部２２は、ウィンドウ枠の推定を行い（ステップＳ２１１）、ウィンドウ描画イベントを表示制御部２１に通知する（ステップＳ２１２）。この際、サインの有無と、サインがある場合はサインの軌跡を通知に含める。表示制御部２１に通知されたサインの軌跡は、予めユーザに対応付けて登録されたサインの軌跡と照合され、認証に用いられる。図９は手書きのサインの例を示す図であり、軌跡が開始円に入って途切れた後に、枠の中にサインが描画された状態の例を示している。
次いで、図８に戻り、操作検出部２２は、開始円、軌跡（描画した場合）、サイン（サインされた場合）を消去し（ステップＳ２１３）、処理を終了する。ドラッグが途切れた場所が開始円に入っていないと判断した場合（ステップＳ２０８のｎｏ）、推定等は行わず、描画内容を消去し（ステップＳ２１３）、処理を終了する。
［第３の処理例］
この処理例は、ユーザがドラッグした軌跡からウィンドウ枠が推定できる「枠らしさ」（所定の図形と把握される可能性）を評価し、その評価に応じて開始円の大きさを調整するものである。すなわち、軌跡の描画が進んでウィンドウ枠が推定できる状態になった場合は、当初の大きさの開始円までドラッグを続けなくても操作を完了できるようにして、時間を節約できるようにしたものである。その他は第１の処理例と同様である。
図１０は制御装置２の操作検出部２２の第３の処理例のフローチャートである。図１０において、操作検出部２２は、処理を開始すると、ディスプレイ１のセンサ信号からタッチ位置を取り込み（ステップＳ３０１）、座標の変化によりユーザがドラッグ（タッチ位置を滑らす操作）を開始したか否か判断する（ステップＳ３０２）。
ドラッグを開始したと判断した場合（ステップＳ３０２のｙｅｓ）、操作検出部２２は、ドラッグを開始した位置を中心とした開始円を描画する（ステップＳ３０３）。
次いで、操作検出部２２は、ディスプレイ１のセンサ信号からタッチ位置を取り込み（ステップＳ３０４）、軌跡を描画する（ステップＳ３０５）。なお、軌跡の描画は行わなくてもよい。
次いで、操作検出部２２は、軌跡の評価を行い、開始円の大きさの調整を行う（ステップＳ３０６）。図１１は開始円の表示の変化の例を示す図であり、図１１（ａ）はドラッグを開始した直後であるが、例えば矩形に推定する場合、３辺を描画したことで枠らしさの評価が大きくなって、図１１（ｂ）のように開始円が大きくなり、更に描画を進めることで図１１（ｃ）のように開始円が更に大きくなる。なお、軌跡の評価および開始円の大きさの調整の詳細については後述する。
次いで、図１０に戻り、操作検出部２２は、ドラッグを継続しているか否か判断し（ステップＳ３０７）、ドラッグを継続していると判断した場合（ステップＳ３０７のｙｅｓ）はタッチ位置の取り込み（ステップＳ３０４）に戻る。
ドラッグを継続していないと判断した場合（ステップＳ３０７のｎｏ）、操作検出部２２は、ドラッグが途切れた場所を確認し（ステップＳ３０８）、開始円に入っているか否か判断する（ステップＳ３０９）。
開始円に入っていると判断した場合（ステップＳ３０９のｙｅｓ）、操作検出部２２は、ウィンドウ枠の推定を行う（ステップＳ３１０）。
次いで、操作検出部２２は、ウィンドウ描画イベントを表示制御部２１に通知し（ステップＳ３１１）、開始円および軌跡（描画した場合）を消去し（ステップＳ３１２）、処理を終了する。
ドラッグが途切れた場所が開始円に入っていないと判断した場合（ステップＳ３０９のｎｏ）、推定等は行わず、開始円および軌跡（描画した場合）を消去する（ステップＳ３１２）。
図１２は軌跡の評価、開始円の調整の処理例を示すフローチャートである。図１２において、操作検出部２２は、これまでの軌跡から観測シンボルを生成する（ステップＳ３２１）。図１３（ａ）は観測シンボルの例を示しており、［ｄ，ｏ１，ｏ７，ｏ５］が観測シンボル列となる。ｄはドラッグの開始点（pen down）を示している。ｏ１，ｏ７，ｏ５は、図１３（ｄ）に示すような軌跡の移動方向に応じて定められたシンボルである。すなわち、ｏ１は右方向、ｏ７は下方向、ｏ５は左方向に対応する。
次いで、図１２に戻り、操作検出部２２は、これからの軌跡を予測して予測シンボルを生成する（ステップＳ３２２）。より具体的には、例えば、最後に観測されたシンボルの若干うしろから始点に向けて直線でつなぎ、その直線上に予測シンボルを生成する。図１３（ｂ）は予測シンボルの例を示しており、［ｏ４，ｕ］が予測シンボル列となる。ｕはドラッグの終了点（pen up）を示している。ｏ４は、図１３（ｄ）の定義に従うものであり、左斜め上方向に対応する。
次いで、図１２に戻り、操作検出部２２は、観測シンボルと予測シンボルから補完シンボルを生成する（ステップＳ３２３）。図１３（ｃ）に補完シンボル列の例を示しており、図１３（ａ）（ｂ）の例からは［ｄ，ｏ１，ｏ７，ｏ５，ｏ４，ｕ］が補完シンボル列となる。
次いで、図１２に戻り、操作検出部２２は、補完シンボルを用いて、ＨＭＭ（Hidden Markov Model、隠れマルコフモデル）に基づいて枠らしさを計算する（ステップＳ３２４）。図１４は枠らしさおよび開始円の大きさの計算の例を示す図である。図１４（ａ）において、vl(i)は、ｉ番目のシンボルを観測したときに状態がｌ（エル）にいる確率を示している。状態は、推定する図形が矩形で左上から右回りにドラッグする場合（ｓは軌跡の起点、ｅは軌跡の終点）、図１４（ｃ）に示すように、上辺にいる状態がπ１、右辺にいる状態がπ２、下辺にいる状態がπ３、左辺にいる状態がπ４となる。また、図１４（ａ）において、el(xi)は、状態ｌにいるときにシンボルxiが観測される確率であり、観測確率表として予め設定されたものとして与えられる。ａｋｌは、状態ｋから状態ｌへの遷移確率であり、状態遷移確率表として予め設定されたものとして与えられる。max[]は、括弧内の要素について最大の要素の値を抽出することを示す。枠らしさは、vl(i)について、i=0からi=Nまで再帰的計算をすることにより求まるvu(N)となる。
次いで、図１２に戻り、操作検出部２２は、枠らしさに基づいて開始円の大きさを調整する（ステップＳ３２５）。図１４（ｂ）は開始円の半径ｒの計算式の例を示しており、図１４（ａ）で求めたvu(N)の対数と、運用で定める値THの対数との比を、最大半径rmaxに乗じることで求めている。
［第３の処理例の変形例］
上述した第３の処理例では、「枠らしさ」の評価により開始円（開始閉図形）の大きさを調整したが、その他に次のような変形が可能である。
一例として、描かれている軌跡を連続的に評価し、軌跡の進む方向が開始閉図形に向いた場合に、現在の軌跡の位置と開始閉図形との間の距離に応じて開始閉図形の大きさを調整する。これにより、枠の作図の時間を短縮することができる。
また、他の例として、描かれている図形について角の数をカウントし、角の数に応じて開始閉図形の大きさを調整する。すなわち、軌跡の角の数が増えるに従って推定できる可能性が高まるため、開始閉図形を大きくして、軌跡の描画を早期に終了させることができる。
［第４の処理例］
この処理例は、ユーザがドラッグを開始（描画開始）した際に開始円等の閉図形を表示せず、ドラッグの過程でウィンドウ枠の図形を推定できるか確認し、推定できる場合に候補図形を表示し、ユーザの確認を経て確定させるようにしたものである。
図１５は制御装置２の操作検出部２２の第４の処理例のフローチャートである。図１５において、操作検出部２２は、処理を開始すると、取り込んだタッチ位置の座標の変化によりユーザが描画を開始したか否か判断する（ステップＳ４０１）。
描画を開始したと判断した場合（ステップＳ４０１のｙｅｓ）、操作検出部２２は、描画点を蓄積し（ステップＳ４０２）、蓄積された描画点から図形を推定できるか否か判断する（ステップＳ４０３）。図形を推定できるか否か判断は、例えば、図１２〜図１４に示した枠らしさの評価と同様の手法を用いることができる。なお、図形が推定できる場合であっても、図形の面積が所定値より小さい場合には、描画のミスと考えられるため、推定できないと判断することができる。
図形を推定できないと判断した場合（ステップＳ４０３のｎｏ）、操作検出部２２は、描画点の蓄積（ステップＳ４０２）に戻る。
図形を推定できると判断した場合（ステップＳ４０３のｙｅｓ）、操作検出部２２は、蓄積された描画点から図形を推定して描画する（ステップＳ４０４）。図１６（ａ）はユーザが描画をしている状態を示し、図１６（ｂ）は図形を推定して候補図形を描画した状態を示している。また、図１７は図形の推定手法の例を示しており、図１７（ａ）は候補図形と軌跡とのズレｄの総和が最小となる候補図形に推定する例である。図１７（ｂ）は軌跡に内接する矩形と外接する矩形とを求め、その中間の矩形に推定する例である。
次いで、図１５に戻り、操作検出部２２は、描画された候補図形についてユーザが決定したかどうか判断する（ステップＳ４０５）。ユーザの決定は、例えば、タッチの解除（ディスプレイから指等を離す）がある。
描画された候補図形についてユーザが決定したと判断した場合（ステップＳ４０５のｙｅｓ）、操作検出部２２は、ウィンドウ描画イベントを表示制御部２１に通知し、描画内容の消去等を行い（ステップＳ４０６）、処理を終了する。なお、候補図形についてはウィンドウが描画されるまで表示したままとしてもよい。図１６（ｃ）は候補図形が表示されている状態を示している。
［第５の処理例］
この処理例は、ユーザが描画を終了しない場合、図形の推定を続けるようにしたものである。その他は第４の処理例と同様である。
図１８は制御装置２の操作検出部２２の第５の処理例のフローチャートである。図１８において、操作検出部２２は、処理を開始すると、取り込んだタッチ位置の座標の変化によりユーザが描画を開始したか否か判断する（ステップＳ５０１）。
描画を開始したと判断した場合（ステップＳ５０１のｙｅｓ）、操作検出部２２は、描画点を蓄積し（ステップＳ５０２）、蓄積された描画点から図形を推定できるか否か判断する（ステップＳ５０３）。
図形を推定できないと判断した場合（ステップＳ５０３のｎｏ）、操作検出部２２は、描画点の蓄積（ステップＳ５０２）に戻る。
図形を推定できると判断した場合（ステップＳ５０３のｙｅｓ）、操作検出部２２は、蓄積された描画点から図形を推定して候補図形を描画する（ステップＳ５０４）。
次いで、操作検出部２２は、ユーザが描画を終了したかどうか判断する（ステップＳ５０５）。
描画が終了していないと判断した場合（ステップＳ５０５のｎｏ）、操作検出部２２は、描画点の蓄積（ステップＳ５０２）に戻る。図１９（ａ）はユーザが描画をしている状態を示し、図１９（ｂ）は図形を推定し候補図形を描画した状態を示している。また、図１９（ｃ）は描画が終了していない場合に、ユーザの描画に応じて推定をやり直し、候補図形が変化した状態を示している。
図１８に戻り、描画が終了したと判断した場合（ステップＳ５０５のｙｅｓ）、操作検出部２２は、ウィンドウ描画イベントを表示制御部２１に通知し、描画内容の消去等を行い（ステップＳ５０６）、処理を終了する。
［第６の処理例］
この処理例は、推定された図形についてユーザが納得しなかった場合にキャンセルできるようにしたものである。その他は第５の処理例と同様である。
図２０は制御装置２の操作検出部２２の第６の処理例のフローチャートである。図２０において、操作検出部２２は、処理を開始すると、取り込んだタッチ位置の座標の変化によりユーザが描画を開始したか否か判断する（ステップＳ６０１）。
描画を開始したと判断した場合（ステップＳ６０１のｙｅｓ）、操作検出部２２は、描画点を蓄積し（ステップＳ６０２）、蓄積された描画点から図形を推定できるか否か判断する（ステップＳ６０３）。
図形を推定できないと判断した場合（ステップＳ６０３のｎｏ）、操作検出部２２は、描画点の蓄積（ステップＳ６０２）に戻る。
図形を推定できると判断した場合（ステップＳ６０３のｙｅｓ）、操作検出部２２は、蓄積された描画点から図形を推定して候補図形を描画する（ステップＳ６０４）。
次いで、操作検出部２２は、ユーザが描画を終了したかどうか判断する（ステップＳ６０５）。
描画が終了していないと判断した場合（ステップＳ６０５のｎｏ）、操作検出部２２は、描画点の蓄積（ステップＳ６０２）に戻る。
描画が終了したと判断した場合（ステップＳ６０５のｙｅｓ）、操作検出部２２は、終了位置がキャンセル領域であるか否か判断する（ステップＳ６０６）。図２１（ａ）は推定された図形の中央部に「キャンセル」領域が表示された状態を示しており、図２１（ｂ）は描画を「キャンセル」領域で終了した状態を示している。
次いで、図２０に戻り、終了位置がキャンセル領域でないと判断した場合（ステップＳ６０６のｎｏ）、操作検出部２２は、ウィンドウ描画イベントを表示制御部２１に通知し、描画内容の消去を行い（ステップＳ６０７）、処理を終了する。
終了位置がキャンセル領域であると判断した場合（ステップＳ６０６のｙｅｓ）、操作検出部２２は、描画内容の消去等を行い（ステップＳ６０８）、処理を終了する。
図２２はキャンセルの他の例を示す図である。図２２（ａ）に示すように軌跡が交差する場合、図２２（ｂ）に示すように推定した図形または外接図形を４分割した領域のいずれで交差が生じているか判断する。そして、それが始点と異なる分割領域である場合（始点から遠いところで交差している場合）にキャンセルが行われたと判断する。ユーザはキャンセルしようとした場合、図形をグジャグジャと描く、あるいはバツを描くことが心理的に推定される。この際、描画済みの軌跡が描画開始位置と離れたところで交差することが予想され、ユーザの直感に近い操作法により、タッチを離さずに簡易にキャンセル操作を行うことができる。
図２３は承認とキャンセルを選択させる例を示す図である。図２３（ａ）はユーザが描画をしている状態を示し、図２３（ｂ）は図形を推定し候補図形を描画した状態を示している。この際、図２３（ｃ）に示すように、「承認」ボタンと「キャンセル」ボタンを表示し、ユーザが選択できるようにする。
図２４は終了時の速度によりキャンセルを判断する例を示す図である。すなわち、ユーザが描画を終了した時点の軌跡の速度を求め、それが所定値を超える場合にキャンセルと判断する。
＜総括＞
以上説明したように、本実施形態によれば、クライアント端末とディスプレイとのコンテンツ表示連携におけるユーザビリティの向上を図ることができる。
以上、好適な実施の形態により説明した。ここでは特定の具体例を示して説明したが、特許請求の範囲に定義された広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により限定されるものと解釈してはならない。
制御装置２はコンテンツ表示制御装置の一例である。端末管理・通信部２４はクライアント端末を検出する手段の一例である。操作検出部２２はタッチ操作を検出する手段の一例である。操作検出部２２はウィンドウ枠を推定する手段の一例である。対応付け処理部２３はクライアント端末と対応付ける手段の一例である。表示制御部２１はコンテンツを表示する手段の一例である。
以上の説明に関し、更に以下の項を開示する。
（付記１） コンテンツ表示制御装置が、
コンテンツの配信元のクライアント端末を検出し、
ディスプレイ上におけるユーザのタッチ操作を検出し、
検出した前記タッチ操作の軌跡に基づいてウィンドウ枠を推定し、
推定した前記ウィンドウ枠をユーザ操作に基づいて前記クライアント端末と対応付け、
前記ウィンドウ枠に前記クライアント端末から配信されるコンテンツを表示する
処理を実行することを特徴とするコンテンツ表示制御方法。
（付記２） 付記１に記載のコンテンツ表示制御方法において、
前記コンテンツ表示制御装置が、
前記タッチ操作によりドラッグが開始された場合に、該ドラッグの開始位置に閉図形を表示し、
前記タッチ操作によるドラッグが途切れずに前記閉図形内で終了した場合に、前記ウィンドウ枠を推定する
処理を実行することを特徴とするコンテンツ表示制御方法。
（付記３） 付記２に記載のコンテンツ表示制御方法において、
前記コンテンツ表示制御装置が、
前記タッチ操作の軌跡から角または辺の数を取得し、
取得した角または辺の数に基づいて前記ユーザを識別する
処理を実行することを特徴とするコンテンツ表示制御方法。
（付記４） 付記２に記載のコンテンツ表示制御方法において、
前記コンテンツ表示制御装置が、
前記タッチ操作によるドラッグが途切れずに前記閉図形内で終了した場合に、所定時間の待機を行い、
待機の後に、サインの有無の確認およびサインがある場合のサインの軌跡の取得を行い、
取得したサインの軌跡に基づいて前記ユーザを識別する
処理を実行することを特徴とするコンテンツ表示制御方法。
（付記５） 付記２乃至４のいずれか一項に記載のコンテンツ表示制御方法において、
前記コンテンツ表示制御装置が、
前記ドラッグの開始から前記閉図形内で軌跡が終了するまでの間、所定の図形と把握される可能性を評価し、
該評価に基づいて前記閉図形の大きさを調整する
処理を実行することを特徴とするコンテンツ表示制御方法。
（付記６） 付記２乃至４のいずれか一項に記載のコンテンツ表示制御方法において、
前記コンテンツ表示制御装置が、
前記ドラッグの開始から前記閉図形内で軌跡が終了するまでの間、軌跡を連続的に評価し、軌跡の進む方向が前記閉図形に向いた場合に、前記閉図形との距離に応じて前記閉図形の大きさを調整する
処理を実行することを特徴とするコンテンツ表示制御方法。
（付記７） 付記２乃至４のいずれか一項に記載のコンテンツ表示制御方法において、
前記コンテンツ表示制御装置が、
前記ドラッグの開始から前記閉図形内で軌跡が終了するまでの間、軌跡の角の数をカウントし、角の数に応じて前記閉図形の大きさを調整する
処理を実行することを特徴とするコンテンツ表示制御方法。
（付記８） 付記１に記載のコンテンツ表示制御方法において、
前記コンテンツ表示制御装置が、
前記タッチ操作に基づいてウィンドウ枠を推定できた時点で推定したウィンドウ枠を表示し、
ユーザの決定操作によりウィンドウ枠を確定する
処理を実行することを特徴とするコンテンツ表示制御方法。
（付記９） 付記８に記載のコンテンツ表示制御方法において、
前記コンテンツ表示制御装置が、
前記決定操作が行われるまで、前記タッチ操作に基づくウィンドウ枠の推定を継続する
処理を実行することを特徴とするコンテンツ表示制御方法。
（付記１０） 付記８または９のいずれか一項に記載のコンテンツ表示制御方法において、
前記コンテンツ表示制御装置が、
前記ドラッグが終了した位置がキャンセル領域である場合に、推定をキャンセルしてウィンドウ枠を消去する
処理を実行することを特徴とするコンテンツ表示制御方法。
（付記１１） 付記８または９のいずれか一項に記載のコンテンツ表示制御方法において、
前記コンテンツ表示制御装置が、
前記ドラッグが交差した位置がドラッグの開始位置から離れた位置である場合に、推定をキャンセルしてウィンドウ枠を消去する
処理を実行することを特徴とするコンテンツ表示制御方法。
（付記１２） 付記８または９のいずれか一項に記載のコンテンツ表示制御方法において、
前記コンテンツ表示制御装置が、
前記ドラッグが終了した時点で承認またはキャンセルの選択肢を表示し、承認が選択された場合はウィンドウ枠を確定し、キャンセルが選択された場合は推定をキャンセルしてウィンドウ枠を消去する
処理を実行することを特徴とするコンテンツ表示制御方法。
（付記１３） 付記８または９のいずれか一項に記載のコンテンツ表示制御方法において、
前記コンテンツ表示制御装置が、
前記ドラッグが終了した際の描画の速度が所定値よりも速い場合に、推定をキャンセルしてウィンドウ枠を消去する
処理を実行することを特徴とするコンテンツ表示制御方法。
（付記１４） コンテンツの配信元のクライアント端末を検出する手段と、
ディスプレイ上におけるユーザのタッチ操作を検出する手段と、
検出した前記タッチ操作の軌跡に基づいてウィンドウ枠を推定する手段と、
推定した前記ウィンドウ枠をユーザ操作に基づいて前記クライアント端末と対応付ける手段と、
前記ウィンドウ枠に前記クライアント端末から配信されるコンテンツを表示する手段と
を備えたことを特徴とするコンテンツ表示制御装置。
（付記１５） 付記１４に記載のコンテンツ表示制御装置において、
前記タッチ操作によりドラッグが開始された場合に、該ドラッグの開始位置に閉図形を表示する手段と、
前記タッチ操作によるドラッグが途切れずに前記閉図形内で終了した場合に、前記ウィンドウ枠を推定する手段と
を備えたことを特徴とするコンテンツ表示制御装置。
（付記１６） 付記１５に記載のコンテンツ表示制御装置において、
前記タッチ操作の軌跡から角または辺の数を取得する手段と、
取得した角または辺の数に基づいて前記ユーザを識別する手段と
を備えたことを特徴とするコンテンツ表示制御装置。
（付記１７） 付記１５に記載のコンテンツ表示制御装置において、
前記タッチ操作によるドラッグが途切れずに前記閉図形内で終了した場合に、所定時間の待機を行う手段と、
待機の後に、サインの有無の確認およびサインがある場合のサインの軌跡の取得を行う手段と、
取得したサインの軌跡に基づいて前記ユーザを識別する手段と
を備えたことを特徴とするコンテンツ表示制御装置。
（付記１８） 付記１５乃至１７のいずれか一項に記載のコンテンツ表示制御装置において、
前記ドラッグの開始から前記閉図形内で軌跡が終了するまでの間、所定の図形と把握される可能性を評価する手段と、
該評価に基づいて前記閉図形の大きさを調整する手段と
を備えたことを特徴とするコンテンツ表示制御装置。
（付記１９） 付記１５乃至１７のいずれか一項に記載のコンテンツ表示制御装置において、
前記ドラッグの開始から前記閉図形内で軌跡が終了するまでの間、軌跡を連続的に評価し、軌跡の進む方向が前記閉図形に向いた場合に、前記閉図形との距離に応じて前記閉図形の大きさを調整する手段
を備えたことを特徴とするコンテンツ表示制御装置。
（付記２０） 付記１５乃至１７のいずれか一項に記載のコンテンツ表示制御装置において、
前記ドラッグの開始から前記閉図形内で軌跡が終了するまでの間、軌跡の角の数をカウントし、角の数に応じて前記閉図形の大きさを調整する手段
を備えたことを特徴とするコンテンツ表示制御装置。
（付記２１） 付記１４に記載のコンテンツ表示制御装置において、
前記タッチ操作に基づいてウィンドウ枠を推定できた時点で推定したウィンドウ枠を表示する手段と、
ユーザの決定操作によりウィンドウ枠を確定する手段と
を備えたことを特徴とするコンテンツ表示制御装置。
（付記２２） 付記２１に記載のコンテンツ表示制御装置において、
前記決定操作が行われるまで、前記タッチ操作に基づくウィンドウ枠の推定を継続する手段
を備えたことを特徴とするコンテンツ表示制御装置。
（付記２３） 付記２１または２２のいずれか一項に記載のコンテンツ表示制御装置において、
前記ドラッグが終了した位置がキャンセル領域である場合に、推定をキャンセルしてウィンドウ枠を消去する手段
を備えたことを特徴とするコンテンツ表示制御装置。
（付記２４） 付記２１または２２のいずれか一項に記載のコンテンツ表示制御装置において、
前記ドラッグが交差した位置がドラッグの開始位置から離れた位置である場合に、推定をキャンセルしてウィンドウ枠を消去する手段
を備えたことを特徴とするコンテンツ表示制御装置。
（付記２５） 付記２１または２２のいずれか一項に記載のコンテンツ表示制御装置において、
前記ドラッグが終了した時点で承認またはキャンセルの選択肢を表示し、承認が選択された場合はウィンドウ枠を確定し、キャンセルが選択された場合は推定をキャンセルしてウィンドウ枠を消去する手段
を備えたことを特徴とするコンテンツ表示制御装置。
（付記２６） 付記２１または２２のいずれか一項に記載のコンテンツ表示制御装置において、
前記ドラッグが終了した際の描画の速度が所定値よりも速い場合に、推定をキャンセルしてウィンドウ枠を消去する手段
を備えたことを特徴とするコンテンツ表示制御装置。
（付記２７） コンピュータに、
コンテンツの配信元のクライアント端末を検出し、
ディスプレイ上におけるユーザのタッチ操作を検出し、
検出した前記タッチ操作の軌跡に基づいてウィンドウ枠を推定し、
推定した前記ウィンドウ枠をユーザ操作に基づいて前記クライアント端末と対応付け、
前記ウィンドウ枠に前記クライアント端末から配信されるコンテンツを表示する
処理を実行させるコンテンツ表示制御プログラム。
（付記２８） 付記２７に記載のコンテンツ表示制御プログラムにおいて、
前記コンピュータに、
前記タッチ操作によりドラッグが開始された場合に、該ドラッグの開始位置に閉図形を表示し、
前記タッチ操作によるドラッグが途切れずに前記閉図形内で終了した場合に、前記ウィンドウ枠を推定する
処理を実行させるコンテンツ表示制御プログラム。
（付記２９） 付記２８に記載のコンテンツ表示制御プログラムにおいて、
前記コンピュータに、
前記タッチ操作の軌跡から角または辺の数を取得し、
取得した角または辺の数に基づいて前記ユーザを識別する
処理を実行させるコンテンツ表示制御プログラム。
（付記３０） 付記２８に記載のコンテンツ表示制御プログラムにおいて、
前記コンピュータに、
前記タッチ操作によるドラッグが途切れずに前記閉図形内で終了した場合に、所定時間の待機を行い、
待機の後に、サインの有無の確認およびサインがある場合のサインの軌跡の取得を行い、
取得したサインの軌跡に基づいて前記ユーザを識別する
処理を実行させるコンテンツ表示制御プログラム。
（付記３１） 付記２８乃至３０のいずれか一項に記載のコンテンツ表示制御プログラムにおいて、
前記コンピュータに、
前記ドラッグの開始から前記閉図形内で軌跡が終了するまでの間、所定の図形と把握される可能性を評価し、
該評価に基づいて前記閉図形の大きさを調整する
処理を実行させるコンテンツ表示制御プログラム。
（付記３２） 付記２８乃至３０のいずれか一項に記載のコンテンツ表示制御プログラムにおいて、
前記コンピュータに、
前記ドラッグの開始から前記閉図形内で軌跡が終了するまでの間、軌跡を連続的に評価し、軌跡の進む方向が前記閉図形に向いた場合に、前記閉図形との距離に応じて前記閉図形の大きさを調整する
処理を実行させるコンテンツ表示制御プログラム。
（付記３３） 付記２８乃至３０のいずれか一項に記載のコンテンツ表示制御プログラムにおいて、
前記コンピュータに、
前記ドラッグの開始から前記閉図形内で軌跡が終了するまでの間、軌跡の角の数をカウントし、角の数に応じて前記閉図形の大きさを調整する
処理を実行させるコンテンツ表示制御プログラム。
（付記３４） 付記２７に記載のコンテンツ表示制御プログラムにおいて、
前記コンピュータに、
前記タッチ操作に基づいてウィンドウ枠を推定できた時点で推定したウィンドウ枠を表示し、
ユーザの決定操作によりウィンドウ枠を確定する
処理を実行させるコンテンツ表示制御プログラム。
（付記３５） 付記３４に記載のコンテンツ表示制御プログラムにおいて、
前記コンピュータに、
前記決定操作が行われるまで、前記タッチ操作に基づくウィンドウ枠の推定を継続する
処理を実行させるコンテンツ表示制御プログラム。
（付記３６） 付記３４または３５のいずれか一項に記載のコンテンツ表示制御プログラムにおいて、
前記コンピュータに、
前記ドラッグが終了した位置がキャンセル領域である場合に、推定をキャンセルしてウィンドウ枠を消去する
処理を実行させるコンテンツ表示制御プログラム。
（付記３７） 付記３４または３５のいずれか一項に記載のコンテンツ表示制御プログラムにおいて、
前記コンピュータに、
前記ドラッグが交差した位置がドラッグの開始位置から離れた位置である場合に、推定をキャンセルしてウィンドウ枠を消去する
処理を実行させるコンテンツ表示制御プログラム。
（付記３８） 付記３４または３５のいずれか一項に記載のコンテンツ表示制御プログラムにおいて、
前記コンピュータに、
前記ドラッグが終了した時点で承認またはキャンセルの選択肢を表示し、承認が選択された場合はウィンドウ枠を確定し、キャンセルが選択された場合は推定をキャンセルしてウィンドウ枠を消去する
処理を実行させるコンテンツ表示制御プログラム。
（付記３９） 付記３４または３５のいずれか一項に記載のコンテンツ表示制御プログラムにおいて、
前記コンピュータに、
前記ドラッグが終了した際の描画の速度が所定値よりも速い場合に、推定をキャンセルしてウィンドウ枠を消去する
処理を実行させるコンテンツ表示制御プログラム。
１ ディスプレイ
１１ 表示パネル
１２ タッチパネル
１３ スクリーン
１４ プロジェクタ
１５ センサ
２ 制御装置
２１ 表示制御部
２２ 操作検出部
２２１ タッチ位置検出部
２２２ タッチ運動計測部
２２３ タッチ運動解析・描画指示部
２３ 対応付け処理部
２４ 端末管理・通信部
３ アクセスポイント
４ クライアント端末
４１ アプリケーション部
４２ 特定操作イベント送信部
４３ コンテンツ送信部

Claims (13)

  1. コンテンツ表示制御装置が、
    コンテンツの配信元のクライアント端末を検出し、
    ディスプレイ上におけるユーザのタッチ操作を検出し、
    検出した前記タッチ操作の軌跡に基づいて、前記ディスプレイ上におけるウィンドウ枠を推定し、
    推定した前記ディスプレイ上におけるウィンドウ枠をユーザ操作に基づいて前記クライアント端末と対応付け、
    前記ウィンドウ枠に前記クライアント端末から配信されるコンテンツを表示し、
    前記タッチ操作によりドラッグが開始された場合に、該ドラッグの開始位置に閉図形を表示し、
    前記タッチ操作によるドラッグが途切れずに前記閉図形内で終了した場合に、前記ウィンドウ枠を推定し、
    前記ドラッグの開始から前記閉図形内で軌跡が終了するまでの間、軌跡の角の数をカウントし、角の数に応じて前記閉図形の大きさを調整する、処理を実行することを特徴とするコンテンツ表示制御方法。
  2. 請求項１に記載のコンテンツ表示制御方法において、
    前記コンテンツ表示制御装置が、
    前記タッチ操作の軌跡から角または辺の数を取得し、
    取得した角または辺の数に基づいて前記ユーザを識別する
    処理を実行することを特徴とするコンテンツ表示制御方法。
  3. 請求項１に記載のコンテンツ表示制御方法において、
    前記コンテンツ表示制御装置が、
    前記タッチ操作によるドラッグが途切れずに前記閉図形内で終了した場合に、所定時間の待機を行い、
    待機の後に、サインの有無の確認およびサインがある場合のサインの軌跡の取得を行い、
    取得したサインの軌跡に基づいて前記ユーザを識別する
    処理を実行することを特徴とするコンテンツ表示制御方法。
  4. 請求項１乃至３のいずれか一項に記載のコンテンツ表示制御方法において、
    前記コンテンツ表示制御装置が、
    前記ドラッグの開始から前記閉図形内で軌跡が終了するまでの間、所定の図形と把握される可能性を評価し、
    該評価に基づいて前記閉図形の大きさを調整する
    処理を実行することを特徴とするコンテンツ表示制御方法。
  5. 請求項１乃至３のいずれか一項に記載のコンテンツ表示制御方法において、
    前記コンテンツ表示制御装置が、
    前記ドラッグの開始から前記閉図形内で軌跡が終了するまでの間、軌跡を連続的に評価し、軌跡の進む方向が前記閉図形に向いた場合に、前記閉図形との距離に応じて前記閉図形の大きさを調整する
    処理を実行することを特徴とするコンテンツ表示制御方法。
  6. 請求項１に記載のコンテンツ表示制御方法において、
    前記コンテンツ表示制御装置が、
    前記タッチ操作に基づいてウィンドウ枠を推定できた時点で推定したウィンドウ枠を表示し、
    ユーザの決定操作によりウィンドウ枠を確定する
    処理を実行することを特徴とするコンテンツ表示制御方法。
  7. 請求項６に記載のコンテンツ表示制御方法において、
    前記コンテンツ表示制御装置が、
    前記決定操作が行われるまで、前記タッチ操作に基づくウィンドウ枠の推定を継続する
    処理を実行することを特徴とするコンテンツ表示制御方法。
  8. 請求項６または７のいずれか一項に記載のコンテンツ表示制御方法において、
    前記コンテンツ表示制御装置が、
    ドラッグが終了した位置がキャンセル領域である場合に、推定をキャンセルしてウィンドウ枠を消去する
    処理を実行することを特徴とするコンテンツ表示制御方法。
  9. 請求項６または７のいずれか一項に記載のコンテンツ表示制御方法において、
    前記コンテンツ表示制御装置が、
    ドラッグが交差した位置がドラッグの開始位置から離れた位置である場合に、推定をキャンセルしてウィンドウ枠を消去する
    処理を実行することを特徴とするコンテンツ表示制御方法。
  10. 請求項６または７のいずれか一項に記載のコンテンツ表示制御方法において、
    前記コンテンツ表示制御装置が、
    ドラッグが終了した時点で承認またはキャンセルの選択肢を表示し、承認が選択された場合はウィンドウ枠を確定し、キャンセルが選択された場合は推定をキャンセルしてウィンドウ枠を消去する
    処理を実行することを特徴とするコンテンツ表示制御方法。
  11. 請求項６または７のいずれか一項に記載のコンテンツ表示制御方法において、
    前記コンテンツ表示制御装置が、
    ドラッグが終了した際の描画の速度が所定値よりも速い場合に、推定をキャンセルしてウィンドウ枠を消去する
    処理を実行することを特徴とするコンテンツ表示制御方法。
  12. コンテンツの配信元のクライアント端末を検出する手段と、
    ディスプレイ上におけるユーザのタッチ操作を検出する手段と、
    検出した前記タッチ操作の軌跡に基づいて、前記ディスプレイ上におけるウィンドウ枠を推定する手段と、
    推定した前記ディスプレイ上におけるウィンドウ枠をユーザ操作に基づいて前記クライアント端末と対応付ける手段と、
    前記ウィンドウ枠に前記クライアント端末から配信されるコンテンツを表示する手段と、
    前記タッチ操作によりドラッグが開始された場合に、該ドラッグの開始位置に閉図形を表示する手段と、
    前記タッチ操作によるドラッグが途切れずに前記閉図形内で終了した場合に、前記ウィンドウ枠を推定する手段と、
    前記ドラッグの開始から前記閉図形内で軌跡が終了するまでの間、軌跡の角の数をカウントし、角の数に応じて前記閉図形の大きさを調整する手段と、
    を備えたことを特徴とするコンテンツ表示制御装置。
  13. コンピュータに、
    コンテンツの配信元のクライアント端末を検出し、
    ディスプレイ上におけるユーザのタッチ操作を検出し、
    検出した前記タッチ操作の軌跡に基づいて、前記ディスプレイ上におけるウィンドウ枠を推定し、
    推定した前記ディスプレイ上におけるウィンドウ枠をユーザ操作に基づいて前記クライアント端末と対応付け、
    前記ウィンドウ枠に前記クライアント端末から配信されるコンテンツを表示し、
    前記タッチ操作によりドラッグが開始された場合に、該ドラッグの開始位置に閉図形を表示し、
    前記タッチ操作によるドラッグが途切れずに前記閉図形内で終了した場合に、前記ウィンドウ枠を推定し、
    前記ドラッグの開始から前記閉図形内で軌跡が終了するまでの間、軌跡の角の数をカウントし、角の数に応じて前記閉図形の大きさを調整する、
    処理を実行させるコンテンツ表示制御プログラム。
JP2015076822A 2015-04-03 2015-04-03 コンテンツ表示制御方法、コンテンツ表示制御装置およびコンテンツ表示制御プログラム Active JP6524762B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015076822A JP6524762B2 (ja) 2015-04-03 2015-04-03 コンテンツ表示制御方法、コンテンツ表示制御装置およびコンテンツ表示制御プログラム
US15/085,667 US20160291804A1 (en) 2015-04-03 2016-03-30 Display control method and display control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015076822A JP6524762B2 (ja) 2015-04-03 2015-04-03 コンテンツ表示制御方法、コンテンツ表示制御装置およびコンテンツ表示制御プログラム

Publications (2)

Publication Number Publication Date
JP2016197325A JP2016197325A (ja) 2016-11-24
JP6524762B2 true JP6524762B2 (ja) 2019-06-05

Family

ID=57017189

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015076822A Active JP6524762B2 (ja) 2015-04-03 2015-04-03 コンテンツ表示制御方法、コンテンツ表示制御装置およびコンテンツ表示制御プログラム

Country Status (2)

Country Link
US (1) US20160291804A1 (ja)
JP (1) JP6524762B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI627561B (zh) * 2017-08-03 2018-06-21 Window frame measuring method
JP7354702B2 (ja) * 2019-09-05 2023-10-03 富士通株式会社 表示制御方法、表示制御プログラムおよび情報処理装置
JP7380103B2 (ja) * 2019-11-12 2023-11-15 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP2021182303A (ja) * 2020-05-20 2021-11-25 富士通株式会社 操作領域の規定方法、操作領域の規定プログラム、情報処理装置、空間表示システム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3999688B2 (ja) * 2003-03-12 2007-10-31 日本電信電話株式会社 画面表示方法，画面表示装置，画面表示プログラム，および画面表示プログラムを記録した記録媒体
US7886236B2 (en) * 2003-03-28 2011-02-08 Microsoft Corporation Dynamic feedback for gestures
US7454717B2 (en) * 2004-10-20 2008-11-18 Microsoft Corporation Delimiters for selection-action pen gesture phrases
US7636794B2 (en) * 2005-10-31 2009-12-22 Microsoft Corporation Distributed sensing techniques for mobile devices
US20090106667A1 (en) * 2007-10-19 2009-04-23 International Business Machines Corporation Dividing a surface of a surface-based computing device into private, user-specific areas
US8024775B2 (en) * 2008-02-20 2011-09-20 Microsoft Corporation Sketch-based password authentication
US20090262069A1 (en) * 2008-04-22 2009-10-22 Opentv, Inc. Gesture signatures
US20090300554A1 (en) * 2008-06-03 2009-12-03 Nokia Corporation Gesture Recognition for Display Zoom Feature
JP4834044B2 (ja) * 2008-08-13 2011-12-07 株式会社コナミデジタルエンタテインメント ユーザ識別装置、ユーザ識別方法、ならびに、プログラム
JP2011108103A (ja) * 2009-11-19 2011-06-02 Tokai Rika Co Ltd 表示装置
US9292731B2 (en) * 2009-12-30 2016-03-22 Intel Corporation Gesture-based signature authentication
US9619104B2 (en) * 2010-10-01 2017-04-11 Smart Technologies Ulc Interactive input system having a 3D input space
US9164648B2 (en) * 2011-09-21 2015-10-20 Sony Corporation Method and apparatus for establishing user-specific windows on a multi-user interactive table
JP5798083B2 (ja) * 2012-05-08 2015-10-21 日本電信電話株式会社 一筆書き図形方向検出装置
TW201415291A (zh) * 2012-10-08 2014-04-16 Pixart Imaging Inc 基於物件追蹤的手勢辨識方法及系統
US8914751B2 (en) * 2012-10-16 2014-12-16 Google Inc. Character deletion during keyboard gesture
JP2014143660A (ja) * 2012-12-26 2014-08-07 Sharp Corp 携帯端末、表示装置、テレビジョン受像機、無線通信システム
EP2979477B1 (en) * 2013-03-29 2020-07-08 Orange Method to unlock a screen using a touch input
US9612740B2 (en) * 2013-05-06 2017-04-04 Barnes & Noble College Booksellers, Inc. Swipe-based delete confirmation for touch sensitive devices
KR20150080995A (ko) * 2014-01-03 2015-07-13 삼성전자주식회사 외부 입력 장치를 갖는 전자장치에서 윈도우 제공 방법 및 장치
US9449166B2 (en) * 2014-12-05 2016-09-20 Intel Corporation Performing authentication based on user shape manipulation

Also Published As

Publication number Publication date
JP2016197325A (ja) 2016-11-24
US20160291804A1 (en) 2016-10-06

Similar Documents

Publication Publication Date Title
JP5906345B1 (ja) 操作履歴に基づいてタッチ対象を予測するプログラム、電子装置、システム及び制御方法
JP6332833B2 (ja) 画像処理システム、画像処理方法、及びプログラム
US9547391B2 (en) Method for processing input and electronic device thereof
JP5779641B2 (ja) 情報処理装置、方法およびプログラム
JP6524762B2 (ja) コンテンツ表示制御方法、コンテンツ表示制御装置およびコンテンツ表示制御プログラム
JP5306105B2 (ja) 表示制御装置及び表示制御装置の制御方法、プログラム、記憶媒体
CN102902469A (zh) 手势识别方法及触控系统
US20120019460A1 (en) Input method and input apparatus
JP6483556B2 (ja) 操作認識装置、操作認識方法及びプログラム
JP6255954B2 (ja) 動作入力装置、動作入力プログラム及び動作入力方法
US20160283102A1 (en) Display control method, computer-readable recording medium, and display control apparatus
JP2011034216A (ja) 選択オブジェクト決定方法、オブジェクトの前後関係の決定方法及びその装置
JP2007172303A (ja) 情報入力システム
WO2018046000A1 (zh) 触控操作方法和装置
JP5618554B2 (ja) 情報入力装置、情報入力方法及びプログラム
JP6236790B2 (ja) 操作メニュー制御プログラム、操作メニュー制御装置、及び、操作メニュー制御方法
JP5486721B2 (ja) 表示制御装置及び表示制御装置の制御方法、プログラム、記憶媒体
CN103399687B (zh) 一种单点触控窗口显示的执行处理方法
US20140168106A1 (en) Apparatus and method for processing handwriting input
CN104991726A (zh) 一种对长图片进行移动操作的控制方法及控制装置
JP5676959B2 (ja) 情報処理装置及びその制御方法
JP7363235B2 (ja) 情報処理装置及び情報処理プログラム
JP2015049859A (ja) 操作能力評価用プログラム及び操作能力評価システム
JP2013109538A (ja) 入力方法及び入力装置
US10466799B2 (en) Information processing apparatus, information processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180925

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181119

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190307

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190422

R150 Certificate of patent or registration of utility model

Ref document number: 6524762

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150