JP5401493B2 - 情報解析装置、表示端末、情報解析方法、および情報解析プログラム - Google Patents
情報解析装置、表示端末、情報解析方法、および情報解析プログラム Download PDFInfo
- Publication number
- JP5401493B2 JP5401493B2 JP2011048339A JP2011048339A JP5401493B2 JP 5401493 B2 JP5401493 B2 JP 5401493B2 JP 2011048339 A JP2011048339 A JP 2011048339A JP 2011048339 A JP2011048339 A JP 2011048339A JP 5401493 B2 JP5401493 B2 JP 5401493B2
- Authority
- JP
- Japan
- Prior art keywords
- point
- display
- information
- content
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Description
また、タッチパネルディスプレイを用いる表示端末において表示した画像の注視点を推定する場合、マウス操作とタッチ操作では、操作入力により検出されるアイコンの座標と閲覧箇所との位置関係と、タッチ(指との接触位置)の座標と閲覧箇所の位置関係とが異なる。このため、特許文献1による注視点の推定をタッチパネル式の表示端末に適用することが困難であった。
以下、本発明の一実施形態による表示端末の一例について、図面を参照して詳細に説明する。図1は、本実施形態に係る表示端末100の機能ブロック図である。
図1に示す通り、表示端末100は、通信部101と、タッチパネル102と、制御部103と、情報解析装置200とを備える。この表示端末100は、ネットワークを介してサーバ300と接続されており、例えば、サーバ300からダウンロードしたコンテンツをタッチパネル102に表示する。なお、コンテンツとは、例えば、ユーザによって閲覧される画像であって、HPの閲覧画像や表示端末100によって表示可能なファイルの画像データである。本実施形態において、表示端末100は、サーバ300からダウンロードしたコンテンツを表示させる例について以下説明するが、本発明はこれに限定されず、内蔵する記憶部にコンテンツを予め保存しておき、記憶部から読み出したコンテンツを表示させるものであってもよい。また、本実施形態において、タッチパネル102にコンテンツとして、例えばWEBページを表示させる例を用いて以下説明するが、本発明はこれに限られず、例えば、テキストファイル等の情報であってもよい。
タッチパネル102は、例えば液晶ディスプレイであるディスプレイ121と、このディスプレイ121の表示画面を操作するユーザからの操作指示を受け付け、この操作指示を示す操作入力情報を出力する操作入力部122とを含む。
このディスプレイ121の画面内におけるユーザの指の接触する箇所を、以下、検出点という。なお、本実施形態において、ディスプレイ121を操作する操作手段がユーザの指である例を用いて以下説明するが、本発明はこれに限られず、タッチペン等の道具であってもよい。
本実施形態において、操作入力部122は、ユーザの指が接触する検出点の位置を検出すると、接触した時刻(操作時刻)とを示す情報と対応づけた操作入力情報を出力する。なお、操作入力情報について、図4を参照して、後に詳細に説明するが、この操作入力情報は、この他にも、操作時にディスプレイ121に表示されているコンテンツの表示領域や倍率を示す情報も含む。
タッチ(Touch)操作とは、ユーザが、タッチパネル102の画面に指を接触させて移動させずにそのまま指をディスプレイ121の画面から離す動作である。操作入力部122は、一箇所の検出点を検出することにより、当該操作がタッチ操作であると判定する。
操作入力部122は、最初にタッチパネル102の画面に接触したときの検出点(以下、始点という)と、移動時における検出点(以下、中間点という)と、タッチパネル102の画面から指を離したときの検出点(以下、終点という)を検出することにより、当該操作がスライド操作であると判定する。
フリック(Flick)操作とは、ユーザが、タッチパネル102の画面を素早く払うように指を動かす動作、あるいは、指を接触させている状態から画面を素早く払うように指を動かす動作である。フリック操作により、例えば、ディスプレイ121に表示されているコンテンツのページ数を変更することができる。
記憶部201は、アプリ情報と、コンテンツ情報と、操作ログと、線操作軌跡情報と、操作状況判定情報と、モデル判定情報と、注視点推定モデル情報と、注視点領域情報と、端末情報と、を記憶する。
コンテンツ情報は、例えば、コンテンツである画像やテキストを示すコンテンツデータと、コンテンツに関するプロパティ情報とを含む。プロパティ情報は、コンテンツデータのファイル名、ページサイズ(例えば、縦横比をピクセルで示したもの)、およびページ数を示す情報である。なお、ページ数とは、コンテンツデータが複数枚の画像で構成される場合に、各ページを示すページ番号である。
操作ログは、操作入力部122によって取得された検出点ごとに、操作の順番を示す操作番号と、操作の内容を示す操作名と、検出点が検出された時刻を示す操作時刻と、ディスプレイ121の画面内における検出点の位置(x,y)と、検出点が検出された際にディスプレイ121に表示されているコンテンツの表示倍率とが記載された情報である。
線操作軌跡情報は、操作ログのうち、線操作の検出点に対応する情報のみを含む情報である。
パターンI.左手で持ち右手で操作
パターンII.右手で持ち左手で操作
パターンIII.右手で持ち右手で操作
パターンIV.左手で持ち左手で操作
なお、この操作状況のパターンI〜IVを、図2に示す。図2は、パターンI〜IVの一例を示す図である。図2(a)、(b)、(c)、(d)が、それぞれ、パターンI、II、III、IVの一例を示す。なお、図2(a)、(b)、(c)、(d)は、各ディスプレイ121の画面における操作の軌跡を示す。各操作軌跡には操作の順番を示す番号が割り当てられており、操作の軌跡の近傍に表示されている。
注視点推定モデル情報は、注視点領域モデルごと、コンテンツにおける注視点E(r,s)を算出するための演算式を含む情報である。
注視点領域情報は、情報解析装置200によって取得されたコンテンツにおける注視点E(r,s)を示す情報である。
端末情報は、表示端末100に関する情報であって、例えば、ディスプレイ121の画面サイズと解像度を示す情報である。
モデル設定部203は、操作状況判定部202による判定結果に基づき、記憶部201のモデル判定情報を参照して、操作状況に応じた注視点領域モデルを判定する。
注視点推定部204は、モデル設定部203による判定結果に基づき、記憶部201の注視点推定モデル情報を参照して、注視点領域モデルに対応する演算式に従って、コンテンツにおける注視点E(r,s)を算出する。なお、本実施形態において、注視点推定部204は、注視点を示す情報として、コンテンツにおける注視点E(r,s)である点を示す注視点を示す情報を取得する例を以下説明する。しかし、本発明はこれに限られず、例えば、注視点を含む一定の領域を示す情報を注視点を示す情報として取得するものであってもよい。
注視点表示制御部205は、注視点推定部204によって算出されたコンテンツにおける注視点E(r,s)を示す情報をコンテンツに重畳して、ディスプレイ121に表示させる。
図3に示す通り、表示端末100の制御部103は、記憶部201からアプリ情報を読み出し、コンテンツをタッチパネル102のディスプレイ121に表示させるとともに、情報解析装置200に注視点の推定処理を実行させるためのアプリケーションを起動させる。
そして、制御部103は、記憶部201から端末情報を読み出す。この端末情報には、ディスプレイ121の画面サイズおよび解像度を示す情報が含まれている。
(ステップST103)
次いで、制御部103は、記憶部201からコンテンツ情報を読み出し、コンテンツ情報に基づき、コンテンツをタッチパネル102のディスプレイ121に表示させる。
本実施形態において、制御部103は、コンテンツD1に対応するプロパティ情報を参照して、コンテンツD1のファイル名、ページサイズ(縦横比)、およびページ数を示す情報を取得する。制御部103は、取得したページサイズとページ数を示す情報、およびステップST102で取得した画面サイズおよび解像度を示す画面サイズ情報に基づき、ディスプレイ121の画面にあわせてコンテンツを表示させる。なお、制御部103が、ディスプレイ121の画面にあわせてコンテンツをどのように表示させるかについては、予め決められている。例えば、制御部103は、ディスプレイ121の画面の一辺の長さにあわせて、コンテンツを縮小して表示させるものであってもよく、コンテンツの一角をディスプレイ121の一角に合わせて表示倍率100%のコンテンツを表示させるものであってもよい。
なお、本実施形態において、制御部103は、コンテンツの原点をディスプレイ121の原点にあわせて表示する。
ここで、タッチパネル102の操作入力部122は、ステップST103において読み出されたコンテンツD1を表示している間に検出される全ての操作を示す操作入力情報を取得する。
ディスプレイ121に表示されているコンテンツの表示を終了する操作指示が、操作入力部122を介してユーザから入力されると、制御部103は、コンテンツD1の表示制御を終了させる。
そして、制御部103は、上述の通り、コンテンツD1を表示する処理を開始してから終了するまでに取得した操作入力情報に基づき、コンテンツD1に対応する操作ログを生成する。この制御部103は、生成した操作ログを、コンテンツD1のコンテンツ情報と対応付けて記憶部201に格納する。
次いで、操作状況判定部202は、記憶部201からコンテンツD1と対応付けられている操作ログを読み出す。そして、操作状況判定部202は、この操作ログに基づき、記憶部201の操作状況判定情報を参照して、コンテンツD1を表示している間におけるユーザの操作状況を判定する。なお、操作ログにおいて、複数のコンテンツに対応する操作ログが含まれている場合、操作状況判定部202は、コンテンツごとに、対応する操作ログを読み出す。
そして、操作状況判定部202は、これら操作状況を示す4つのパターンI〜IVから1つを、操作ログが示す操作状況と判定し、判定したパターンを示す操作状況推定情報を出力する。
そして、操作状況判定部202は、取得した操作状況推定情報を、モデル設定部203に出力する。
(ステップST109)
次いで、モデル設定部203は、操作状況判定部202から入力する操作状況推定情報に基づき、記憶部201のモデル判定情報を参照して、操作状況に応じた注視点領域モデルを判定する。このモデル設定部203は、判定した操作状況を示す操作状況情報を注視点推定部204に出力する。
注視点推定部204は、モデル設定部203から入力する操作状況情報に基づき、記憶部201の注視点推定モデル情報を参照して、注視点領域モデルに対応する演算式に従って、コンテンツにおける注視点E(r,s)を算出する。
(ステップST110)
この注視点推定部204は、算出したコンテンツにおける注視点E(r,s)を示す注視点領域情報を注視点表示制御部205に出力する。
注視点表示制御部205は、注視点推定部204から入力する注視点領域情報に基づき、コンテンツにおける注視点E(r,s)を示す情報をコンテンツに重畳して、ディスプレイ121に表示させる。
(ステップST111)
そして、表示端末100の制御部103は、起動中のアプリケーションを終了させる。
言い換えると、ディスプレイ121のY方向のうち、操作するユーザに近い方が画面の下方向、ユーザから遠い方が画面の上方向である。なお、ユーザの近いかあるいは遠いかについては、上述の加速度センサーによる検出結果に基づくタッチパネル102の傾きに応じて決められるものであってもよく、他の方法であってもよい。また、本実施形態において、ディスプレイ121の画面の座標において、X軸方向が画面の右方向、Y軸方向が画面の下方向であると予め決められている。よって、例えば、タッチパネル102が45度回転されたことに伴い、ディスプレイ121に表示されるコンテンツが45度回転される場合、ディスプレイ121の上下左右方向が45度回転される。つまり、ディスプレイ121の画面の座標における原点(0,0)は、常にディスプレイの画面の左上の頂点であって、ディスプレイ121の画面を見ているユーザ左上に存在する頂点である。
スライド操作“SL1”は、このディスプレイ102の画面上において接触させた指を、主にY軸のマイナス方向にスライドさせる動きである。スライド操作“SL2”は、このディスプレイ102の画面上において接触させた指を、主にX軸のマイナス方向にスライドさせる動きである。
この操作入力部122は、例えば、タッチパネル102上を移動する指の動きに応じて、複数の検出点ごとに、ユーザによって与えられる操作内容を示す操作入力情報を取得する。ここで、操作入力情報は、ユーザの指の動きに応じて検出される情報であって、ディスプレイ121における指の接触位置(検出点)を示す操作位置、検出点を検出した際の時刻を示す操作時刻、およびディスプレイ121に表示されているコンテンツの拡大縮小率を示す表示倍率を含む。
また、操作入力部122は、ディスプレイ121に表示されたコンテンツのページごとに閲覧時間を算出し、閲覧したページ数に当該ページを閲覧した閲覧時間を対応付けた閲覧情報を取得する。
図4(b)に示す通り、操作ログは、検出点ごとに割り降られた操作順序と操作名、および、検出点ごとの操作入力情報(操作時刻、操作位置、表示倍率)を含む。
操作入力部122は、例えば、スライド操作“SL1”,“SL2”を示す操作入力情報として、指がタッチパネル102の表面に接触した始点と、指がタッチパネルの表面から離れた終点と、始点が検出された時刻と終点が検出された時刻の間に検出された検出点である中間点について、それぞれディスプレイ121の画面上における位置情報を検出する。なお、操作入力部122は、検出点としては、一定の時間間隔毎に、指が接触している点を検出する。
例えば、操作入力部122は、スライド操作“SL1”の操作入力情報として、始点P11と、中間点P12,P13,P14,P15と、終点P16について、それぞれの操作時刻、操作位置、表示倍率を示す操作入力情報を取得する。また、操作入力部122は、スライド操作“SL2”の操作入力情報として、始点P31と、中間点P32と、終点P33について、それぞれの操作時刻、操作位置、表示倍率を示す操作入力情報を取得する。
図4(c)に示す通り、閲覧情報は、ディスプレイ121に表示されたコンテンツのページ番号に、当該ページを閲覧していた時間が対応付けられている。
操作入力部122は、例えば、ページが切り換えられる度に、各ページの閲覧時間を、例えば、以下の式(1)に従って算出する。
図4(c)に示す例において、閲覧開始時刻T0は、“01:21:43.934”である。図示の例では、この閲覧開始時刻T0から、4回のページ切り替えが実行されている。画面の閲覧順番は、1ページから2、3ページと順次閲覧した後、3ページから2ページに戻っている。
ここで、5回目のページ切り替えが時刻“01:22:50.100”に実行された場合、閲覧開始時刻T4は、以下の演算式により、算出される。
T4=01:21:43.934+10.674+15.125+5.121+10.456=01:22:25.310
よって、WP5は、以下の演算式により、算出される。
WP5=01:22:50.100−01:22:25.310=24.790
操作状況判定部202は、記憶部201から端末情報に含まれる画面サイズ情報を読み出す。
(ステップST202)
そして、操作状況判定部202は、読み出した画面サイズ情報が示す画面サイズが、予め決められている画面サイズ(例えば5インチ)以上であるか否かを判定する。なお、画面サイズが5インチ以上の端末は、平均的な手の大きさのユーザであれば片手で持ちながら操作することが困難であると予測される大きさの端末である。言い換えると、画面サイズが5インチ以上の端末は、その操作状況として、一方の手で端末を持ち、他方の手でタッチパネルを操作することが予測される。
読み出した画面サイズ情報が示す画面サイズが、予め決められている画面サイズ(例えば5インチ)未満である場合、操作状況判定部202は、操作ログ集中領域判定を行う。
具体的に説明すると、操作状況判定部202は、記憶部201から操作ログを読み出し、ディスプレイ121を分割する分割領域ごとに、各分割領域に含まれる検出点の数を算出する。この分割領域は、予め決められており、例えば、図6に示す通り、ディスプレイ121の画面を4等分割した各領域R1〜R4である。図6は、ディスプレイ121の分割領域の一例を示す図である。
分割領域R1は、P01(j,0)を含む領域である。分割領域R2は、P02(0,0)を含む領域である。分割領域R3は、P03(0,k)を含む領域である。分割領域R4は、P04(j,k)を含む領域である。
ケース1.総数に対するΩ1の要素数の割合が、基準値より多い⇒パターンIIIの右手持ち右手操作
ケース2.総数に対するΩ2の要素数の割合が、基準値より多い⇒パターンIVの左手持ち左手操作
ケース3.総数に対するΩ3の要素数の割合が、基準値より多い⇒パターンIVの左手持ち左手操作
ケース4.総数に対するΩ4の要素数の割合が、基準値より多い⇒パターンIIIの右手持ち右手操作
ケース5.それ以外の場合⇒パターンIあるいはパターンIIの片手で持ち操作
次いで、操作状況判定部202は、線操作に対応する操作ログに基づき、線操作の始点と終点を通る直線の傾きを示す傾き情報を算出する。
具体的に説明すると、操作状況判定部202は、記憶部201から操作ログから、スライドやフリック等の線操作の検出点のうち、始点と終点の位置を示す座標(x,y)を読み出す。つまり、操作状況判定部202は、操作名「Slide」あるいは「Flick」が対応付けられている検出点のうち、各操作の始点(x1,y1)と終点(x2,y2)を読み出す。
そして、操作状況判定部202は、下記の式(2)に従い、各操作の始点と終点を通る直線の傾きを算出する。
また、操作状況判定部202は、記憶部201の操作ログから、操作名「Slide」あるいは「Flick」と対応付けられている検出点(始点、中間点、終点を含む)の操作入力情報を読み出し、これらの情報を線操作軌跡情報として取得する。この操作状況判定部202は、取得した線操作軌跡情報を、記憶部201に格納する。
そして、操作状況判定部202は、持ち方推定処理において持ち手と操作の手が決定しているか否かを判定する。つまり、操作状況判定部202は、ステップST203において、パターンIIIあるいはパターンIVのいずれか一方を示す持ち方の推定結果が得られているか否か判定し、いずれか一方のみが得られている場合、持ち手と操作の手が確定していると判定する。
一方、ステップST202において、読み出した画面サイズ情報の示す画面サイズが、予め決められている画面サイズ(例えば5インチ)以上であると判定した場合、および、ステップST203において、パターンIIIおよびパターンIVの両方であることを示す持ち方の推定結果が得られている場合、操作状況判定部202は、持ち手と操作の手が確定していないと判定する。
持ち手と操作の手が確定していないと判定した場合、操作状況判定部202は、ステップST204において算出した全ての操作に対する傾き情報に基づき、傾きの値が正である「正の傾き」の操作の数と、傾きの値が負である「負の傾き」の操作の数の比率を算出する。そして、操作状況判定部202は、全ての操作の数に対して5割以上の操作の数を示す傾きを、線操作の傾き結果として取得し、この傾き結果に応じて、以下のようにユーザの操作する手を判定する。
ケース5.持ち方の推定結果がパターンIあるいはIIであって、傾き結果が負の傾き
⇒パターンIの左手で持ち右手で操作
ケース6.持ち方の推定結果がパターンIあるいはIIであって、傾き結果が正の傾き
⇒パターンIIの右手で持ち左手で操作
ケース7.持ち方の推定結果がパターンIIIあるいはIVであって、傾き結果が負の傾き
⇒パターンIの左手で持ち右手で操作
ケース8.持ち方の推定結果がパターンIIIあるいはIVであって、傾き結果が正の傾き
⇒パターンIIの右手で持ち左手で操作
そして、操作状況判定部202は、持ち方推定処理により持ち手と操作の手が確定している場合は、この持ち方の推定結果を示す操作状況推定情報を生成し、出力する。
一方、持ち方推定処理により持ち手と操作の手が確定していない場合、操作状況判定部202は、傾き結果に応じて判定されたユーザの操作する手の判定結果を示す操作状況推定情報を生成し、出力する。
モデル設定部203は、操作状況判定部202から入力する操作情状況推定情報に基づき、記憶部201のモデル判定情報に含まれる注視点領域モデルテーブルを参照して、操作状況に対応する注視点領域モデルを決定する。この注視点領域モデルテーブルの一例について、図8を参照して説明する。図8は、この注視点領域モデルテーブルの一例を示す図である。
図8に示す通り、注視点領域モデルテーブルは、操作状況推定情報と注視点領域モデルとを対応付けるテーブルである。図示の通り、操作状況がパターンI、IIである場合、注視点領域モデルは、モデルAである。操作状況がパターンIIIである場合、注視点領域モデルは、モデルBである。操作状況がパターンIVである場合、注視点領域モデルは、モデルCである。
これら注視点領域モデルの一例について、図9を参照して説明する。
図示の通り、注視点領域モデルは、それぞれ、ディスプレイ121の画面内における注視点領域Rα、操作軌跡領域Rβ、および死角領域Rγの位置関係が予め決められている。
操作軌跡領域Rβは、ユーザの操作が入力された領域である。この操作軌跡領域Rβは、ユーザの操作に使われる領域であるため、ユーザが関心を持って閲覧している領域ではないと決められている。
死角領域Rγは、操作軌跡領域Rβよりもユーザの手元側の領域である。この死角領域Rγは、操作時にユーザの手によって隠れてしまう領域であるため、ユーザが関心を持って閲覧している領域ではないと決められている。
注視点領域Rαは、ディスプレイ121の画面全体から操作軌跡領域Rβと死角領域Rγを除いた領域の一部である。この注視点領域Rαは、後述する注視点推定部204によって検出される注視点I(t,u)に基づき決められる領域であって、ディスプレイ121の画面全体から操作軌跡領域Rβと死角領域Rγを除いた領域における概ね中心部分である。
以下、各注視点推定モデルの注視点演算式について、図10〜12を参照して説明する。
図10は、モデルAの注視点について説明するための図である。
図10に示す通り、ディスプレイ121に、スライド操作SL5が与えられたとする。このスライド操作SL5は、始点P51、中間点P52、P53、および終点P54の検出点によって表わされる。
操作軌跡領域Rβは、例えば、検出点P51〜P54を含む領域である。本実施形態において、モデルAの操作軌跡領域Rβは、検出点P51〜P54のうち、原点P02(0,0)から最も近い検出点のy座標値(yn)と、原点P02(0,0)から最も遠い検出点のy座標値(ym)によって規定される領域である。例えば、操作軌跡領域Rβは、4点β1(xβ1,yn)、β2(xβ2,yn)、β3(xβ1,ym)、β4(xβ2,ym)によって規定される長方形の領域である。
死角領域Rγは、この操作軌跡領域Rβよりもユーザの手元側の領域であって、Yがyn以上(Y≧yn)の領域から操作軌跡領域Rβを除いた領域である。
言い換えると、モデル設定部203は、ディスプレイ121の画面内におけるYがyn未満(Y<yn)の領域の中心点を、以下の式(3)に従って算出する。
なお、注視点領域Rαは、この注視点I(t,u)を中心とした予め決められた大きさの楕円領域である。
図11は、モデルBの注視点について説明するための図である。
図11に示す通り、ディスプレイ121に、スライド操作SL6が与えられたとする。このスライド操作SL6は、始点P61、中間点P62、P63、および終点P64の検出点によって表わされる。
操作軌跡領域Rβは、例えば、検出点P61〜P64を含む領域である。本実施形態において、モデルBの操作軌跡領域Rβは、検出点P61〜P64のうち、原点P02(0,0)から最も近い検出点(xn,yn)よりもユーザの手前側の領域である。例えば、操作軌跡領域Rβは、原点P02(0,0)と検出点P62(xn,yn)を結ぶ線分gに直交し検出点P61〜P64を通る直線のうち、Y軸との交点のY座標の値が最大となる直線L601および最小となる直線L602と、原点P02(0,0)と検出点P62(xn,yn)を結ぶ線分gと平行し検出点P61〜P64を通る直線のうち、Y軸との交点のY座標の値が最大となる直線L603および最小となる直線L604によって囲まれる領域である。
モデル設定部203は、検出点P61〜P64のうち、例えば、原点P02(0,0)に最も近い検出点P62を注視参照点F(xn,yn)として検出する。このモデル設定部203は、この注視参照点F(xn,yn)と原点P02(0,0)とを結ぶ注視点直線g上に存在する注視点I(t,u)を、以下の式(4)に従って算出することができる。
なお、タッチパネル102の画面上のX軸において基準点P02(0,0)のX座標値“0”と注視参照点F(xn,yn)のX座標値“xn”の差分の絶対値をxd(ここではxd=xn)とする。また、タッチパネル102の画面上のY軸において基準点P02(0,0)のY座標値“0”と注視参照点F(xn,yn)のY座標値“yn”の差分の絶対値をyd(ここではyd=yn)とする。この場合、注視点I(t,u)は、注視点直線g上において基準点P02(0,0)から{(xd+yd)/2}の距離にある点である。
上述の式(4)、(5)は、注視点領域モデルのモデルBに対応する注視点I(t,u)の演算式を示す注視点領域情報として、記憶部201に予め記憶されている。
なお、注視点領域Rαは、この注視点I(t,u)を中心とした予め決められた大きさの楕円領域である。
図12は、モデルCの注視点について説明するための図である。
図12に示す通り、ディスプレイ121に、スライド操作SL7が与えられたとする。このスライド操作SL7は、始点P71、中間点P72、P73、および終点P74の検出点によって表わされる。
操作軌跡領域Rβは、例えば、検出点P71〜P74を含む領域である。本実施形態において、モデルCの操作軌跡領域Rβは、検出点P71〜P74のうち、P01(j,0)から最も近い検出点(xn,yn)よりもユーザの手前側の領域である。例えば、操作軌跡領域Rβは、P01(j,0)と検出点P71(xn,yn)を結ぶ線分gに直交し検出点P71〜P74を通る直線のうち、Y軸との交点のY座標の値が最大となる直線L701および最小となる直線L702と、P01(j,0)と検出点P71(xn,yn)を結ぶ線分gと平行し検出点P71〜P74を通る直線のうち、Y軸との交点のY座標の値が最大となる直線L703および最小となる直線L704によって囲まれる領域である。
モデル設定部203は、検出点P71〜P74のうち、例えば、P01(j,0)に最も近い検出点P71を注視参照点F(xn,yn)として検出する。このモデル設定部203は、この注視参照点F(xn,yn)とP01(j,0)を結ぶ注視点直線h上に存在する注視点I(t,u)を、以下の式(6)に従って算出することができる。
なお、タッチパネル102の画面上のX軸において基準点P01(j,0)のX座標値“j”と注視参照点F(xn,yn)のX座標値“xn”の差分の絶対値をxd(ここではxd=j−xn)とする。また、タッチパネル102の画面上のY軸において基準点P01(j,0)のY座標値“0”と注視参照点F(xn,yn)のY座標値“yn”の差分の絶対値をyd(ここではyd=yn)とする。この場合、注視点I(t,u)は、注視点直線h上において基準点P01(j,0)から{(xd+yd)/2}の距離にある点である。
この式(6)、(7)は、注視点領域モデルのモデルCに対応する注視点I(t,u)の演算式を示す注視点領域情報として、記憶部201に予め記憶されている。
なお、注視点領域Rαは、この注視点I(t,u)を中心とした予め決められた大きさの楕円領域である。
(ステップST302)
モデル設定部203は、上述の通り決定した注視点領域モデルを示す注視点推定モデル情報を注視点推定部204に出力する。
(ステップST303)
そして、注視点推定部204は、記憶部201から線操作軌跡情報を読み出す。
(ステップST304)
次いで、注視点推定部204は、モデル設定部203から入力した注視点推定モデル情報と、記憶部201から読み出した線操作軌跡情報に基づき、線操作毎に、コンテンツにおける注視点E(r,s)を算出する。
図13は、注視点I(t,u)と注視点E(r,s)の対応関係の一例について説明するための図である。
図13に示す通り、コンテンツにおける表示基準点Qm(vm,wm)は、ディスプレイ121に表示されているコンテンツにおけるディスプレイの原点P02(0,0)に対応する点である。つまり、コンテンツにおける表示基準点Qm(vm,wm)から、x軸方向にjピクセル、y軸方向にkピクセルの画像が、ディスプレイ121に表示されている画像領域である。ここでは、コンテンツにおけるディスプレイ121に表示されている部分の画像領域を表示画像領域500と呼称する。
本実施形態において、コンテンツの表示を開始した最初の表示基準点Qm(vm,wm)は、コンテンツの原点(画像の左上の頂点)に対応する座標であり、表示基準点Q0(v0,w0)=(0,0)である。この基準点Q0(v0,w0)を初期基準点という。
そして、注視点推定部204は、線操作軌跡情報のある線操作の表示倍率情報が、一つ前の線操作の表示倍率値と異なる場合、線軌跡情報に含まれる線操作毎の表示倍率情報と算出した注視点I(t,u)を用いて、式(8)、(9)に従い、表示倍率変更後のコンテンツにおける注視点E(r,s)を算出する。
なお、注視点推定部204は、表示基準点Qm(vm,wm)を算出する場合、初期基準点Q0(v0,w0)から、操作後の表示基準点Q1、Q2、Q3、・・・を、操作ログに基づき順次算出し、コンテンツにおける注視点E(r,s)を算出するための表示基準点Qm+1(vm+1,wm+1)を算出する。
注視点推定部204は、拡縮を行う前の表示倍率p1で表示されているディスプレイ121の中心に対応するコンテンツの座標(つまり、コンテンツの表示画像領域501における中心点)を求める。そして、注視点推定部204は、拡縮後の表示倍率p2で表示されているディスプレイ121の中心(コンテンツの表示画像領域501における中心点)を基点として、拡縮後の表示倍率p2で表示されている表示画像領域502のコンテンツにおける表示基準点Qm+1(vm+1,wm+1)を算出する。
そして、注視点推定部204は、線操作によって表示画像領域が移動している場合、線軌跡情報に含まれる線軌跡情報に含まれる線操作の操作点ごとに算出した注視点I(t,u)を用いて、式(10)、(11)に従い、表示倍率変更後のコンテンツにおける注視点E(r,s)を算出する。
注視点推定部204は、ステップST304における注視点E(r,s)の算出処理を、線操作毎に行う。つまり、一のコンテンツを表示した際に得られた操作ログに含まれる全てのスライド操作および全てのフリック操作に対して、それぞれ、注視点E(r,s)を算出する。
注視点推定部204は、式(8)、(9)を用いて算出した注視点E(r,s)、あるいは、式(10)、(11)を用いて算出した注視点E(r,s)を示す注視点領域情報を出力する。
これにより、注視点推定部204は、線軌跡情報に基づき、操作点毎に注視点E(r,s)を算出し、図16に示すような注視点領域情報を生成する。
次に、具体例を用いて、本実施形態に係る表示端末100についてより詳細に説明する。
表示端末100の記憶部201には、予め以下のような情報が記憶されている。
[コンテンツ情報]
コンテンツ情報に含まれるプロパティ情報
・ファイル名:test.doc
・ページサイズ:1440×2400(ピクセル)
・ページ数:3
[端末情報]
ディスプレイ121に関する情報
・画面サイズ:3.5インチ
・解像度:480×800
図3に示す通り、表示端末100の制御部103は、記憶部201からアプリ情報211を読み出し、操作軌跡情報を取得し、注視点を推定するためのアプリケーションを起動させる。
この制御部103は、例えば、操作軌跡情報を取得し、注視点を推定する指示を、操作入力部122を介してユーザから受け付けることにより、アプリケーションを起動させる。
次いで、制御部103は、記憶部201からコンテンツ情報を読み出し、例えば、コンテンツD1をタッチパネル102のディスプレイ121に表示させる。
そして、制御部103は、記憶部201から端末情報{画面サイズ:3.5インチ/解像度:480×800}を読み出す。
(ステップST103)
次いで、ユーザがコンテンツを参照するための操作を行ったことを検出すると、制御部103は、記憶部201からコンテンツ情報を読み出し、コンテンツ情報に含まれるプロパティ情報{ファイル名:test.doc/ページサイズ:1440×2400ピクセル/ページ数:3}と、記憶部201から読み出した端末情報{画面サイズ:3.5インチ/解像度:480×800}に基づき、ディスプレイ121の画面にあわせてコンテンツD1をタッチパネル102のディスプレイ121に表示させる。
ここで、タッチパネル102の操作入力部122は、ステップST103において読み出されたコンテンツD1を表示している間に検出される操作入力情報を取得する。
ディスプレイ121に表示されているコンテンツの表示を終了する指示が、操作入力部122を介してユーザから入力されると、制御部103は、コンテンツD1を表示する処理を終了する。
そして、制御部103は、上述の通り、コンテンツD1を表示する処理を開始してから終了するまでに取得した操作入力情報に基づき、コンテンツD1に対応する操作ログを生成して、記憶部201に格納する。この制御部103は、コンテンツD1のコンテンツ情報と操作ログとを対応付けて記憶部201に格納する。
例えば、コンテンツD1を表示している間に、図17に示すような操作が与えられたとする。
図17は、操作番号“1”〜“7”が割り当てられた7つの操作の軌跡を示す図である。なお、操作番号“1”、“3”、“4”、“5”、“7”は、スライド操作であって、線操作である。操作番号“2”、“6”は、タッチ操作であって、点操作である。
図18は、図17に示した操作を行ったときの操作ログの一部を示す図である。制御部103は、例えば、検出点P11〜P16,P21,P31〜P33のそれぞれに対応する操作ログを生成する。図示の通り、検出点P11〜P16は、操作番号“1”のスライド操作を示す検出点の集合である。このスライド操作“1”の次の操作は、操作番号“2”のタッチ操作であって、操作点P21である。このタッチ操作“2”の次の操作は、操作番号“3”のスライド操作である。検出点P31〜P33は、スライド操作“3”を示す検出点の集合である。
次いで、操作状況判定部202は、記憶部201からコンテンツD1に対応する操作ログを読み出す。操作状況判定部202は、この操作ログに基づき、記憶部201のモデル判定情報を参照して、コンテンツD1を表示している間におけるユーザの操作状況を判定する。
(ステップST201)
操作状況判定部202は、記憶部201から端末情報に含まれる画面サイズを示めす情報を読み出す。
(ステップST202)
そして、操作状況判定部202は、読み出した画面サイズ情報が示す画面サイズが、予め決められている画面サイズ(例えば5インチ)以上であるか否かを判定する。上述の通り、記憶部201は、端末情報{画面サイズ:3.5インチ/解像度:480×800}を記憶している。
よって、操作状況判定部202は、ディスプレイ121の画面サイズが、予め決められている画面サイズ(5インチ)未満であると判定し、操作ログ集中領域判定を行う。
具体的に説明すると、操作状況判定部202は、記憶部201から操作ログを読み出し、ディスプレイ121の分割領域R1〜R4ごとに、各分割領域R1〜R4に含まれる検出点の数をそれぞれ算出する。
このディスプレイ121における分割領域R1〜R4の一例を図19に示す。
操作状況判定部202は、分割領域R1〜R4のそれぞれに含まれる検出点の集合をΩ1〜Ω4としたとき、各集合Ω1〜Ω4の要素数である各分割領域R1〜R4の検出点の数を算出する。この操作状況判定部202は、各分割領域R1〜R4に対応する集合Ω1〜Ω4の要素数ω1〜ω4の総数(ω1+ω2+ω3+ω4)に対する割合を、分割領域R1〜R4ごとに算出する。そして、操作状況判定部202は、算出した割合が予め決められている基準値以上であるか否かを判定する。
本実施形態において、操作状況判定部202は、総数に対する各集合Ω1〜Ω4の要素数ω1〜ω4の割合が、いずれも基準値未満である判定する。
よって、操作状況判定部202は、操作情報は、ケース5.{それ以外の場合⇒パターンIあるいはパターンIIの左手または右手で持ち、もう一方の手で操作}であると判定する。そして、操作状況判定部202は、判定結果に基づき、ユーザの表示端末100の持ち方の推定結果として、パターンIあるいはパターンIIを示す情報をモデル設定部203に出力する。
次いで、操作状況判定部202は、記憶部201に記憶されているコンテンツD1に対応する操作ログを参照して、操作名「Slide」あるいは「Flick」と対応付けられている検出点のうち、各操作の始点(x1,y1)と終点(x2,y2)を読み出す。
そして、操作状況判定部202は、上述の式(2)に従い、各操作の始点と終点を通る直線の傾きを算出する。なお、操作状況判定部202は、操作ログに含まれる全ての線操作であるスライド操作“1”、“3”、“4”、“5”、“7”について、始点と終点を通る直線の傾きを算出する。
つまり、操作状況判定部202は、以下のような演算を行い、スライド操作“1”の傾きを算出する。
本実施形態において、スライド操作“1”、“3”、“4”、“5”、“7”の傾きは、全て「負の傾き」である。
次いで、操作状況判定部202は、持ち方推定処理において持ち手と操作の手が決定しているか否かを判定する。
上述の通り、操作状況判定部202は、ユーザの表示端末100の持ち方の推定結果として、パターンIあるいはパターンIIを示す情報を取得している。よって、操作状況判定部202は、持ち方推定処理において持ち方と操作の手が決定していないと判定する。
そして、操作状況判定部202は、ステップST204において算出した全ての操作に対する傾き情報に基づき、傾きの値が正である「正の傾き」の操作の数と、傾きの値が負である「負の傾き」の操作の数の比率を算出する。上述のとおり、スライド操作“1”、“3”、“4”、“5”、“7”の傾きは、全て「負の傾き」である。よって、操作状況判定部202は、ユーザの操作状況は、ケース5{持ち方の推定結果がパターンIあるいはIIであって、傾き結果が負の傾き⇒パターンIの左手で持ち右手で操作}であると判定する。
そして、操作状況判定部202は、傾き結果に応じて判定されたユーザの操作状況を示す操作状況推定情報を生成し、モデル設定部203に出力する。
次いで、モデル設定部203は、操作状況判定部202から入力する操作情状況推定情報に基づき、記憶部201のモデル判定情報に含まれる注視点領域モデルテーブルを参照して、操作状況に対応する注視点領域モデルを決定する。
上述の通り、操作情状況推定情報は、パターンIの左手で持ち右手で操作を示す情報である。よって、モデル設定部203は、注視点領域モデルとして、モデルAを決定する。
そして、モデル設定部203は、決定した注視点領域モデル{モデルA}を示す注視点推定モデル情報を注視点推定部204に出力する。
(ステップST303)
次いで、注視点推定部204は、記憶部201から線操作軌跡情報を読み出す。
そして、注視点推定部204の注視点推定部204は、モデル設定部203から入力する注視点推定モデル情報と、記憶部201から読み出した線軌跡情報に基づき、線操作毎に、コンテンツにおける注視点E(r,s)を算出する。この線軌跡情報の一例を図20に示す。
つまり、注視点推定部204は、注視点推定モデル情報の注視点領域モデル{モデルA}に基づき、記憶部201の注視点領域情報に含まれる式(3)を参照して、各注視点領域モデルに対応するディスプレイ121の画面内における注視点I(t,u)を算出する。つまり、注視点推定部204は、注視参照点F(xn,yn)よりも上部の領域{(x,y)|(0≦x≦480,0≦y≦yn}の中心点である注視点I(240,yn/2)を算出する。
注視点推定部204は、線操作軌跡情報から表示範囲毎の滞留時間を割り出す。
例えば、注視点推定部204は、以下の式(13)に従って、表示範囲ごとの滞留時間を算出する。
注視点推定部204は、線操作軌跡情報とコンテンツ情報よりコンテンツの表示範囲を割り出す。
例えば、注視点推定部204は、初期基準点Q0(v0,w0)から、操作後の表示基準点Q1、Q2、Q3、・・・を、操作ログに基づき順次算出し、コンテンツにおける注視点E(r,s)を算出するための表示基準点Qm+1(vm+1,wm+1)を算出する。
本実施形態において、スライド操作“1”、“3”、“4”、“5”、“7”により、表示画像領域500がコンテンツ上において移動している。よって、注視点推定部204は、線軌跡情報に含まれるスライド操作の操作点ごとに算出した注視点I(t,u)に基づき、式(10)、(11)に従い、表示倍率変更後のコンテンツにおける注視点E(r,s)を算出する。つまり、注視点推定部204は、注視点I(240,yn/2)に基づき、スライド操作“1”のスライド後における検出点p12〜p16のそれぞれについて、スライド後のコンテンツにおける注視点E(r,s)を、以下の式(14)に従って算出する。
なお、注視点推定部204は、ステップST304における注視点E(r,s)の算出処理を、スライド操作“3”、“4”、“5”、“7”の操作点に対しても同様にして行い、線操作の全ての検出点についての注視点E(r,s)を算出する。
コンテンツとの連動は、ディスプレイの原点(0,0)に対応するコンテンツの座標を表示基準点Qm(vm,wm)、そのとき行われたスライド操作での移動距離のx方向をrx、y方向をry、拡縮情報をpとしたとき、移動後のディスプレイの原点に対応するコンテンツの表示基準点Qm+1(vm+1,wm+1)を、式(10)に従って算出する。
そして、注視点推定部204は、算出した注視点E(r,s)を示す注視点領域情報を注視点表示制御部205に出力する。この注視点領域情報の一例を図21に示す。
この注視点表示制御部205は、例えば、図22に示すように、コンテンツにおける注視点E(r,s)を表示することができる。図22は、コンテンツにおける注視点E(r,s)をコンテンツに重畳して表示した場合の一例を示す図である。
図22に示す通り、注視点表示制御部205は、操作ごとに算出された注視点E(r,s)を操作時刻の順に結ぶ注視点の変化の軌跡を、コンテンツに重畳して表示する。この注視点の変化の軌跡を示す画像を注視点軌跡画像という。
この場合、注視点表示制御部205は、注視点軌跡画像において、表示範囲ごとの滞留時間の長い部分については色を濃く、滞留時間が短い部分を薄く表示させることができる。また、注視点表示制御部205は、注視点軌跡画像において、ユーザが表示倍率を拡大させた部分について線を太く、縮小させた部分についての線は細く表示させることができる。
また、注視点表示制御部205は、通常読み進める方向にスクロールした場合、注視点軌跡画像を赤く、通常読み進める方向と逆の方向にスクロールした場合、注視点軌跡画像を青く表示することができる。なお、通常読み進める方向とは、例えば、コンテンツにおいて予め決められている上下方向の上から下に向かう方向である。
本発明に係る情報解析装置200は、図1に示す通り、表示端末100に内蔵されているものに限られず、例えば、図23に示す通り、表示端末100と別の装置として構成されるものであってもよい。
この場合、表示端末1100は、通信部101を介して情報解析装置200と通信を行い、タッチパネル102の操作入力部122によって検出される操作入力情報を情報解析装置200に送信する。この情報解析装置200は、通信部206を介して表示端末1100と通信を行い、この操作入力情報を受信する。
なお、この情報解析装置200は、複数の表示端末1100と接続され、複数の表示端末1100から送信される操作入力情報に基づき、操作ログを解析してコンテンツにおける注視点E(r,s)を算出するものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
Claims (7)
- コンテンツを表示するタッチパネルから、前記コンテンツを表示している表示画面上におけるユーザの操作を示す操作信号を入力する入力部と、
前記ユーザからの操作を受け付ける際に前記タッチパネルの画面上において前記ユーザの死角と推定される死角領域と、ユーザからの操作を受け付ける領域である操作軌跡領域により区別される領域であって、前記ユーザが操作時に注目していると推定される前記コンテンツ上の注視点を示す情報を、前記操作信号が示す操作軌跡領域に基づき算出する注視点推定部と
を備えることを特徴とする情報解析装置。 - 前記タッチパネルを保持するユーザの手と前記タッチパネルを操作するユーザの手の組み合わせに応じて予め決められているユーザの操作状況を、前記操作信号に基づき判定する操作状況判定部をさらに備え、
前記注視点推定部は、
前記死角領域との位置関係が前記ユーザの操作状況に応じて予め決められている前記注視点領域を示す情報として、前記操作状況に応じて予め決められている注視点の位置を示す位置情報を算出することを特徴とする請求項1に記載の情報解析装置。 - 前記注視点推定部は、
前記タッチパネルの画面上において前記死角領域を除く領域の中央の点を、前記タッチパネル上における前記注視点領域を示す情報として算出することを特徴とする請求項1あるいは2に記載の情報解析装置。 - 前記注視点推定部は、
前記タッチパネルに入力された線状の動きを示す線操作の位置を示す位置情報に基づき、当該線操作を示す複数の検出点のうち一の代表点と前記タッチパネルの上側の予め決められた基準点とを結ぶ直線上において、前記タッチパネルの画面上のX軸方向において前記基準点のX座標値と前記代表点のX座標値の差分の絶対値がxd、前記タッチパネルの画面上のY軸方向において前記基準点のY座標値と前記代表点のY座標値の差分の絶対値がydであった場合、前記直線上において前記基準点から{(xd+yd)/2}の距離にある点を、前記タッチパネル上における前記注視点領域を示す情報として算出することを特徴とする請求項1から3のいずれか一項に記載の情報解析装置。 - 前記タッチパネルと、
上述の請求項1から請求項4のうちいずれか一項に記載の情報解析装置を備える表示端末。 - コンテンツを表示するタッチパネルから、前記コンテンツを表示している表示画面上におけるユーザの操作を示す操作信号を入力する入力ステップと、
前記ユーザからの操作を受け付ける際に前記タッチパネル上において前記ユーザの死角と推定される死角領域に対して予め決められた位置関係で区別される領域であって前記ユーザが操作時に注目していると推定される前記コンテンツ上の注視点領域を示す情報を、前記操作信号に基づき算出する注視点推定ステップと
を備えることを特徴とする情報解析方法。 - コンピュータを、
コンテンツを表示するタッチパネルから、前記コンテンツを表示している表示画面上におけるユーザの操作を示す操作信号を入力する入力手段、
前記ユーザからの操作を受け付ける際に前記タッチパネル上において前記ユーザの死角と推定される死角領域に対して予め決められた位置関係で区別される領域であって前記ユーザが操作時に注目していると推定される前記コンテンツ上の注視点領域を示す情報を、前記操作信号に基づき算出する注視点推定手段
として機能させるための情報解析プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011048339A JP5401493B2 (ja) | 2011-03-04 | 2011-03-04 | 情報解析装置、表示端末、情報解析方法、および情報解析プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011048339A JP5401493B2 (ja) | 2011-03-04 | 2011-03-04 | 情報解析装置、表示端末、情報解析方法、および情報解析プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012185678A JP2012185678A (ja) | 2012-09-27 |
JP5401493B2 true JP5401493B2 (ja) | 2014-01-29 |
Family
ID=47015719
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011048339A Expired - Fee Related JP5401493B2 (ja) | 2011-03-04 | 2011-03-04 | 情報解析装置、表示端末、情報解析方法、および情報解析プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5401493B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6018939B2 (ja) * | 2013-01-31 | 2016-11-02 | エヌ・ティ・ティ・コムウェア株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP5917753B1 (ja) | 2015-07-27 | 2016-05-18 | ヤフー株式会社 | 情報処理装置、情報処理方法、情報処理プログラムおよび配信装置 |
JP6576290B2 (ja) * | 2016-04-06 | 2019-09-18 | ヤフー株式会社 | 情報処理装置、情報処理方法、情報処理プログラムおよび配信装置 |
JP6348651B1 (ja) * | 2017-11-20 | 2018-06-27 | 株式会社博報堂Dyホールディングス | 広告条件決定装置及びコンピュータプログラム |
JP6790208B2 (ja) * | 2019-09-30 | 2020-11-25 | 株式会社ワコム | デジタルインクファイル生成方法、デジタルインクファイル生成装置、デジタルインクファイル再生方法、デジタルインクファイル再生装置、及びプログラム |
US11474598B2 (en) | 2021-01-26 | 2022-10-18 | Huawei Technologies Co., Ltd. | Systems and methods for gaze prediction on touch-enabled devices using touch interactions |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4178484B2 (ja) * | 1998-04-06 | 2008-11-12 | 富士フイルム株式会社 | モニタ付きカメラ |
JP2009251719A (ja) * | 2008-04-02 | 2009-10-29 | Sharp Corp | 表示装置 |
JP5045559B2 (ja) * | 2008-06-02 | 2012-10-10 | 富士通モバイルコミュニケーションズ株式会社 | 携帯端末 |
JP2009294984A (ja) * | 2008-06-06 | 2009-12-17 | Konica Minolta Holdings Inc | 資料データ編集システム及び資料データ編集方法 |
-
2011
- 2011-03-04 JP JP2011048339A patent/JP5401493B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012185678A (ja) | 2012-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5401493B2 (ja) | 情報解析装置、表示端末、情報解析方法、および情報解析プログラム | |
TWI579734B (zh) | 3d視覺化技術 | |
US8982045B2 (en) | Using movement of a computing device to enhance interpretation of input events produced when interacting with the computing device | |
US9678606B2 (en) | Method and device for determining a touch gesture | |
JP5754376B2 (ja) | 携帯情報端末 | |
US20080134078A1 (en) | Scrolling method and apparatus | |
JP6048898B2 (ja) | 情報表示装置、情報表示方法および情報表示プログラム | |
US20110175831A1 (en) | Information processing apparatus, input operation determination method, and input operation determination program | |
JP5160579B2 (ja) | 表示装置及び画面表示方法 | |
US8704782B2 (en) | Electronic device, method for viewing desktop thereof, and computer-readable medium | |
CN103941995B (zh) | 信息处理装置、信息处理方法 | |
CN106527915A (zh) | 一种信息处理方法及电子设备 | |
JP2012174112A (ja) | 画像表示装置、画像表示方法およびプログラム | |
CN104063167A (zh) | 曲线图显示装置以及曲线图显示方法 | |
JP5991320B2 (ja) | 入力装置、画像表示方法およびプログラム | |
KR20130124061A (ko) | 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말 | |
CN104025007A (zh) | 检测第一和第二触摸以将数据文件与图形数据对象相关联 | |
JP2009265835A (ja) | 画面表示装置、画面表示方法およびプログラム | |
CN103164145B (zh) | 一种在触摸屏上显示操作按钮的方法和装置 | |
KR20130124143A (ko) | 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말 | |
JP2015076068A (ja) | 表示装置とその表示制御方法及びプログラム | |
JP2014160416A (ja) | 閲覧システム及びプログラム | |
JP2013003601A (ja) | 表示入力装置 | |
CN113835609B (zh) | 显示方法、系统及电子设备和存储介质 | |
JP2022019754A (ja) | 情報処理装置、情報処理方法及び情報処理用プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130911 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131001 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131028 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5401493 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |