JP7087055B1 - 情報処理装置、情報処理方法、及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法、及び情報処理プログラム Download PDF

Info

Publication number
JP7087055B1
JP7087055B1 JP2020210796A JP2020210796A JP7087055B1 JP 7087055 B1 JP7087055 B1 JP 7087055B1 JP 2020210796 A JP2020210796 A JP 2020210796A JP 2020210796 A JP2020210796 A JP 2020210796A JP 7087055 B1 JP7087055 B1 JP 7087055B1
Authority
JP
Japan
Prior art keywords
user
terminal device
information processing
information
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020210796A
Other languages
English (en)
Other versions
JP2022097291A (ja
Inventor
孝太 坪内
祥太 山中
香 池松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yahoo Japan Corp
Original Assignee
Yahoo Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Japan Corp filed Critical Yahoo Japan Corp
Priority to JP2020210796A priority Critical patent/JP7087055B1/ja
Application granted granted Critical
Publication of JP7087055B1 publication Critical patent/JP7087055B1/ja
Publication of JP2022097291A publication Critical patent/JP2022097291A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

【課題】端末装置における処理態様を最適化すること。【解決手段】本願に係る情報処理装置は、取得部と、処理部とを有する。取得部は、タッチパネルの機能を有する端末装置を使用するユーザの目の状態を示す視覚情報を取得する。処理部は、取得部により取得された視覚情報が示すユーザの目の状態に応じて、端末装置における処理態様を最適化する。【選択図】図3

Description

本発明は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。
端末装置を使用するユーザの状態に関する様々な技術が提供されている。例えば、端末装置を使用しているユーザの状態を推定する技術として、ユーザの首曲げに係る情報を推定する技術が提供されている(例えば特許文献1等)。また、例えば、ユーザの姿勢に応じてユーザが見易い表示方向に制御する技術が提供されている(例えば特許文献2等)。
特開2020-135340号公報 特開2013-214923号公報
しかしながら、上記の従来技術では、ユーザの首曲げ状態といった姿勢を推定したり、推定した姿勢を基に表示を制御したりしているに過ぎないため、姿勢には対応するが、ユーザがどのように見ているかという点には対応していない可能性がある。そのため、ユーザに応じて端末装置における処理態様を最適化するという点では改善の余地がある。
本願は、上記に鑑みてなされたものであって、端末装置における処理態様を最適化する情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。
本願に係る情報処理装置は、タッチパネルの機能を有する端末装置を使用するユーザの目の状態を示す視覚情報を取得する取得部と、前記取得部により取得された前記視覚情報が示す前記ユーザの目の状態に応じて、前記端末装置における処理態様を最適化する処理部と、を備えたことを特徴とする。
実施形態の一態様によれば、端末装置における処理態様を最適化することができるという効果を奏する。
図1は、実施形態に係る情報処理の一例を示す図である。 図2は、実施形態に係る情報処理システムの構成例を示す図である。 図3は、実施形態に係る端末装置の構成例を示す図である。 図4は、実施形態に係る最適化情報記憶部の一例を示す図である。 図5は、実施形態に係る情報処理の一例を示すフローチャートである。 図6は、実施形態に係る片眼視に応じた最適化処理の一例を示すフローチャートである。 図7は、片眼視に応じた最適化処理の一例を示す図である。 図8は、ハードウェア構成の一例を示す図である。
以下に、本願に係る情報処理装置、情報処理方法、及び情報処理プログラムを実施するための形態(以下、「実施形態」と呼ぶ)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法、及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
(実施形態)
〔1.情報処理〕
図1を用いて、実施形態に係る情報処理の一例について説明する。図1は、実施形態に係る情報処理の一例を示す図である。図1では、端末装置10がユーザの目の状態に応じて、端末装置における処理態様を最適化する情報処理装置である場合を一例として説明する。具体的には、図1では、ユーザが両方の目で端末装置10の画面を視認している状態(「両眼視」ともいう)、及びユーザが左右いずれか一方のみの目で端末装置10の画面を視認している状態(「片眼視」ともいう)の各々に応じて、端末装置10が処理態様を最適化する場合を示す。
〔1-1.情報処理システムの構成〕
まず、図1の説明に先立って、図2に示すように、情報処理システム1は、端末装置10と、サーバ装置50とが含まれる。端末装置10と、サーバ装置50とは所定のネットワークNを介して、有線または無線により通信可能に接続される。図2は、実施形態に係る情報処理システムの構成例を示す図である。なお、図2に示した情報処理システム1には、複数台の端末装置10や、複数台のサーバ装置50が含まれてもよい。
端末装置10は、ユーザによって利用される情報処理装置(コンピュータ)である。端末装置10は、タッチパネルの機能を有する。端末装置10は、ユーザによる画面の接触をユーザの操作として受け付ける。端末装置10は、端末装置10を使用するユーザの目の状態を示す視覚情報を基にユーザの目の状態を特定する。例えば、端末装置10は、端末装置10を使用するユーザの目の状態を示す視覚情報を基にユーザが片眼視の状態であるか否かを特定する。端末装置10は、ユーザの目の状態に応じて処理態様を最適化する情報処理装置である。端末装置10は、種々のアプリケーション(「アプリ」ともいう)に関する情報を画面に表示する表示装置である。
端末装置10は、例えば、スマートフォンや、タブレット型端末や、ノート型PC(Personal Computer)や、デスクトップPCや、携帯電話機や、PDA(Personal Digital Assistant)等により実現される。以下では、端末装置10をユーザと表記する場合がある。すなわち、以下では、ユーザを端末装置10と読み替えることもできる。例えば、図1では、端末装置10がユーザU1が利用するスマートフォンである場合を示す。なお、上記のように、「ユーザU*(*は任意の数値)」と記載した場合、そのユーザはユーザID「U*」により識別されるユーザであることを示す。例えば、「ユーザU1」と記載した場合、そのユーザはユーザID「U1」により識別されるユーザである。
また、端末装置10は、後述するセンサ部16を有する。例えば、端末装置10は、圧力センサやタッチパネルの機能を実現するためのセンサ等の各種センサにより、各種センサ情報を検知してもよい。また、端末装置10は、ユーザを撮像した画像を、ユーザの目の状態を示す視覚情報として取得する場合、画像センサ(カメラ)を有する。図1では、端末装置10は、端末装置10を操作しているユーザU1を撮像可能な画像センサ、例えばフロントカメラを有する。なお、端末装置10は、画像以外の情報を基にユーザの目の状態を特定してもよいが、この点については後述する。
サーバ装置50は、端末装置10を利用するユーザに各種サービスを提供する情報処理装置である。例えば、サーバ装置50は、端末装置10で実行される各種アプリケーションを提供するサービス(アプリ提供サービス)を行う。例えば、サーバ装置50は、ユーザが利用する端末装置10に、各種アプリケーションの情報(プログラムや電子データ等)を提供する。また、サーバ装置50は、端末装置10からの要求に応じて、端末装置10に表示される各種情報(アプリケーションの情報やコンテンツ等)を配信する。
〔1-2.情報処理例〕
図1に戻って、ここから情報処理の一例について説明する。端末装置10における処理態様を最適化する一例として、ユーザが片眼視である場合に端末装置10を使用するユーザによる操作の受付態様を変更する場合を示す。図1では、端末装置10におけるユーザによる操作の受付態様の変更に応じて、端末装置10を端末装置10-1、端末装置10-2として説明する。なお、端末装置10-1、端末装置10-2は同一の端末装置10である。また、以下では、端末装置10-1、端末装置10-2について、特に区別なく説明する場合には、端末装置10と記載する。
図1の例では、端末装置10にはホーム画面が表示されている場合を示す。具体的には、端末装置10にはアプリA~アプリIの9個のアプリケーションの各々に対応するアイコンIC11~IC19(「アイコンIC」と総称する場合がある)が表示されているホーム画面を示す。
まず、端末装置10-1を基に、ユーザU1が両眼視の場合の端末装置10について説明する。端末装置10-1では、アイコンIC11~IC19の各々に対応する操作を受け付ける領域AR11~AR19の各々が、対応するアイコンICの表示位置に重なる位置に配置される。アイコンIC11には領域AR11が対応し、アイコンIC12には領域AR12が対応し、アイコンIC13には領域AR13が対応する。同様に、アイコンIC14~IC19の各々には領域AR14~AR19が各々対応する。
例えば、アプリAのアイコンIC11が表示された範囲に重ねて、アプリAに対する操作を受け付ける領域AR11が配置される。すなわち、端末装置10-1では、アイコンIC11が表示されている範囲、すなわち領域AR11をユーザU1が接触(タッチ)した場合、端末装置10-1は、その接触をユーザU1によるアプリAに対する操作として受け付け、処理を実行する。例えば、領域AR11をユーザU1がタップした場合、端末装置10-1は、その接触をユーザU1によるアプリAの起動の指示として受け付け、アプリAを起動する処理を実行する。
端末装置10-1は、端末装置10を使用するユーザU1の目の状態を示す視覚情報を用いて、ユーザU1の目の状態を特定する(ステップS11)。図1では、端末装置10-1は、端末装置10のフロントカメラで撮影されたユーザU1の顔の画像を用いて、ユーザU1の目の状態を特定する。
例えば、端末装置10は、画像を用いた人の顔認識に関する種々の従来技術を適宜用いて、ユーザU1の目の状態を特定する。例えば、端末装置10は、画像を用いた瞳検出に関する種々の従来技術を適宜用いて、ユーザU1の目の状態を特定する。端末装置10は、画像を用いて、ユーザU1が両眼視であるか、左目のみを用いた片眼視であるか、右目のみを用いた片眼視であるかを特定する。なお、上記は一例であり、端末装置10は、ユーザU1の目の状態を特定可能であれば、どのような情報によりユーザU1の目の状態を特定しもよい。
図1の例では、端末装置10-1は、ユーザU1の目の状態を示す視覚情報として、ユーザU1を撮像した画像を用いて、ユーザU1が両眼視であると特定する。そして、端末装置10-1は、特定したユーザU1の目の状態を基に、ユーザU1による操作の受付態様を最適化する(ステップS12)。端末装置10-1は、ユーザU1が両眼視の状態であるため、通常の操作の受付態様を最適であるとして、補正を行わない。すなわち、端末装置10-1では、領域AR11~AR19の各々が、対応するアイコンIC11~IC19の各々の表示位置に重なる位置に配置される。このように、端末装置10-1では、ユーザU1が両眼視しており、通常の視認の状態であるため通常の表示状態を維持する。
次に、端末装置10-2を基に、ユーザU1が片眼視の場合の端末装置10について説明する。なお、上述した端末装置10-1と同様の点については適宜説明を省略する。
端末装置10-2では、アイコンIC11~IC19の各々に対応する操作を受け付ける領域AR21~AR29の各々が配置される。アイコンIC11には領域AR21が対応し、アイコンIC12には領域AR22が対応し、アイコンIC13には領域AR23が対応する。同様に、アイコンIC14~IC19の各々には領域AR24~AR29が各々対応する。
例えば、端末装置10-2では、領域AR21をユーザU1が接触(タッチ)した場合、端末装置10-2は、その接触をユーザU1によるアプリAに対する操作として受け付け、処理を実行する。例えば、領域AR21をユーザU1がタップした場合、端末装置10-2は、その接触をユーザU1によるアプリAの起動の指示として受け付け、アプリAを起動する処理を実行する。
端末装置10-2は、端末装置10を使用するユーザU1の目の状態を示す視覚情報を用いて、ユーザU1の目の状態を特定する(ステップS21)。図1では、端末装置10-2は、端末装置10のフロントカメラで撮影されたユーザU1の顔の画像を用いて、ユーザU1の目の状態を特定する。図1の例では、端末装置10-2は、ユーザU1の目の状態を示す視覚情報として、ユーザU1を撮像した画像を用いて、ユーザU1が片眼視であると特定する。具体的には、端末装置10-2は、ユーザU1の目の状態を示す視覚情報として、ユーザU1を撮像した画像を用いて、ユーザU1が左目のみを用いた片眼視であると特定する。
そして、端末装置10-2は、特定したユーザU1の目の状態を基に、ユーザU1による操作の受付態様を最適化する(ステップS22)。端末装置10-2は、ユーザU1が左目のみを用いた片眼視の状態であるため、受付態様を通常から片眼視用に補正する。具体的には、端末装置10-2は、通常の操作の受付態様から左目のみを用いた片眼視での操作の受付態様に補正する。例えば、端末装置10-2は、左目のみを用いた片眼視の場合に生じる両眼視の場合との視差を基に、領域AR21~AR29の各々の位置を補正する。例えば、端末装置10-2は、最適化情報記憶部141(図4参照)に記憶された左目のみを用いた片眼視の場合の補正内容を示す情報(補正情報)を用いて、領域AR21~AR29の各々の位置を補正する。
図1の例では、端末装置10-2は、左目のみを用いた片眼視の場合に生じる両眼視の場合との視差に応じて、領域AR21~AR29の各々の位置を対応するアイコンICから左方向(ユーザU1から見た場合は右方向)に移動させる補正する。端末装置10-2は、左目のみを用いた片眼視の場合の補正内容を示す補正情報を基に、領域AR21~AR29を移動させる方向や、移動させる量等の補正内容を特定し、補正内容に応じて領域AR21~AR29の配置を変更する。すなわち、端末装置10-2では、領域AR21~AR29の各々が、ユーザU1から見た場合、対応するアイコンIC11~IC19の各々の表示位置から右にずれ、少なくとも一部は重なる位置に配置される。なお、端末装置10は、ユーザが右目のみを用いた片眼視の場合も同様に、領域AR21~AR29の位置を補正する。例えば、端末装置10は、ユーザが右目のみを用いた片眼視の場合、領域AR21~AR29の各々の位置を対応するアイコンICから右方向(ユーザU1から見た場合は左方向)に移動させる補正をする。
このように、端末装置10-2では、ユーザU1が左目のみで片眼視しており、左目での片眼視の状態であるため、通常とは異なる片眼視用の受付態様に補正する。これにより、ユーザU1が左目のみを用いた片眼視の場合に生じる両眼視の場合との視差による操作ミスを抑制することができる。上述したように、端末装置10は、ユーザU1の目の状態に応じて、操作の受付態様を補正することにより、端末装置10における処理態様を最適化することができる。
〔1-3.最適化〕
上述した例では、端末装置10における処理態様の最適化の一例として、操作の受付態様を最適化する場合を示したが、端末装置10における処理態様の最適化は、操作の受付態様を最適化に限られない。すなわち、端末装置10は、ユーザの目の状態に応じて、端末装置10における処理態様を最適化するものであれば、どのようなものであってもよい。
例えば、端末装置10は、ユーザが片眼視の状態である場合、端末装置10の操作の反応速度を遅くすることにより、端末装置10における処理態様を最適化してもよい。また、例えば、端末装置10は、ユーザが片眼視の状態である場合、端末装置10の明るさを上昇させることにより、端末装置10における処理態様を最適化してもよい。
〔1-4.視覚情報〕
上述した例では、画像によりユーザの目の状態を特定する場合を示したが、端末装置10は、画像以外の情報を基にユーザの目の状態を特定(推定)してもよい。
例えば、端末装置10は、ユーザによる端末装置10の操作情報を視覚情報として用いて、ユーザの目の状態を特定してもよい。端末装置10は、ユーザの端末装置10への接触位置と、接触位置に対応するアイコン等の表示物の位置との比較に基づいて、ユーザの目の状態を特定する。例えば、端末装置10は、ある表示位置(対象位置)に表示されたアイコンに対する接触位置の履歴と、対象位置に表示されたアイコンに対するユーザの接触位置との比較に基づいて、ユーザの目の状態を特定してもよい。例えば、端末装置10は、接触位置の履歴の平均の位置からのユーザの接触位置の左右方向へのずれに基づいて、ユーザの目の状態を特定してもよい。
例えば、ユーザの接触位置が画面中の左側(ユーザから見た場合は右側)にずれている場合、端末装置10は、ユーザが左目での片眼視の状態であると特定(推定)してもよい。例えば、接触位置の履歴の平均の位置から、ユーザの接触位置が画面中の左側(ユーザから見た場合は右側)へ所定の閾値以上ずれている場合、端末装置10は、ユーザが左目での片眼視の状態であると特定(推定)してもよい。
また、例えば、ユーザの接触位置が画面中の右側(ユーザから見た場合は左側)にずれている場合、端末装置10は、ユーザが右目での片眼視の状態であると特定(推定)してもよい。例えば、接触位置の履歴の平均の位置から、ユーザの接触位置が画面中の右側(ユーザから見た場合は左側)へ所定の閾値以上ずれている場合、端末装置10は、ユーザが右目での片眼視の状態であると特定(推定)してもよい。なお、上記は一例に過ぎず、端末装置10は、ユーザの様々な操作情報を用いて、ユーザの目の状態を推定してもよい。
〔1-5.アプリケーション〕
図1の例では、端末装置10に表示されたホーム画面におけるユーザによる操作の受付態様を変更する場合を示したが、端末装置10は、ホーム画面以外にも種々の表示において端末装置10における処理態様を最適化してもよい。例えば、端末装置10は、アプリケーション(アプリ)の表示において、端末装置10における処理態様を最適化してもよい。
例えば、端末装置10にサーバ装置50(図2参照)が提供するコンテンツ(電子書籍)を表示するためのアプリケーション(コンテンツ表示アプリ)の表示時において、端末装置10における処理態様を最適化してもよい。すなわち、端末装置10における処理態様を最適化するためのプログラムは、アプリケーションに組込まれてもよい。また、アプリケーションは、どのようなアプリケーションであってもよく、例えばホーム画面をカスタマイズするためのアプリケーション(「ホームアプリ」ともいう)の表示時において、端末装置10における処理態様を最適化してもよい。例えば、図1は、ホームアプリにより表示された画面であってもよい。
〔1-6.システム構成〕
また、図1では、端末装置10が最適化処理を行う情報処理装置である場合を一例として説明したが、表示を行う装置(例えば端末装置10)と、最適化処理を行う情報処理装置とは別体であってもよい。例えば、サーバ装置50が端末装置10を使用するユーザの目の状態に応じて最適化処理を行う情報処理装置であり、端末装置10は、サーバ装置50からの指示に応じてユーザによる操作の受付態様を変更してもよい。
〔2.端末装置の構成〕
次に、図3を用いて、実施形態に係る端末装置10の構成について説明する。図3は、実施形態に係る端末装置の構成例を示す図である。図3に示すように、端末装置10は、通信部11と、入力部12と、表示部13と、記憶部14と、制御部15と、センサ部16とを有する。なお、図示を省略するが端末装置10は、音声を出力するスピーカなど音声出力部を有する。例えば、音声出力部は、表示部13に表示される情報に対応する音声を出力する。また、端末装置10は、マイクである音声入力部を有し、音声によるユーザに有力を受け付けてもよい。
(通信部11)
通信部11は、例えば、通信回路等によって実現される。そして、通信部11は、図示しない所定の通信網と有線または無線で接続され、外部の情報処理装置との間で情報の送受信を行う。例えば、通信部11は、図示しない所定の通信網と有線または無線で接続され、サーバ装置50との間で情報の送受信を行う。
(入力部12)
入力部12は、ユーザから各種操作が入力される。例えば、入力部12は、タッチパネル機能により表示面(例えば表示部13)を介してユーザからの各種操作を受け付けてもよい。また、入力部12は、端末装置10に設けられたボタンや、端末装置10に接続されたキーボードやマウスからの各種操作を受け付けてもよい。
入力部12は、センサ部16に含まれる各種センサにより実現されるタッチパネルの機能によりタブレット端末等の表示画面を介してユーザから各種操作を受け付ける。すなわち、入力部12は、端末装置10の表示部13を介してユーザから各種操作を受け付ける。例えば、入力部12は、端末装置10の表示部13を介してユーザの指定操作等の操作を受け付ける。言い換えると、入力部12は、タッチパネルの機能によりユーザの操作を受け付ける受付部として機能する。なお、入力部12によるユーザの操作の検知方式には、タブレット端末では主に静電容量方式が採用されるが、他の検知方式である抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式など、ユーザの操作を検知できタッチパネルの機能が実現できればどのような方式を採用してもよい。また、端末装置10は、端末装置10にボタンが設けられたり、キーボードやマウスが接続されていたりする場合、ボタン等による操作も受け付ける入力部を有してもよい。
(表示部13)
表示部13は、例えば液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイ等によって実現されるタブレット端末等の表示画面であり、各種情報を表示するための表示装置である。つまり、端末装置10は、表示部13である表示画面によりユーザの入力を受け付け、ユーザへの出力も行う。
(記憶部14)
記憶部14は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部14は、例えば、端末装置10にインストールされているアプリケーション(例えばホームアプリ)に関する情報、例えばプログラム等を記憶する。また、実施形態に係る記憶部14は、図3に示すように、最適化情報記憶部141を有する。
(最適化情報記憶部141)
実施形態に係る最適化情報記憶部141は、最適化に関する各種情報を記憶する。図4は、実施形態に係る最適化情報記憶部の一例を示す図である。例えば、最適化情報記憶部141は、受付態様の変更に用いるデータを記憶する。図4に示す最適化情報記憶部141には、「最適化ID」、「ユーザ状態」、「補正情報」といった項目が含まれる。
「最適化ID」は、各最適化を識別するための識別情報を示す。例えば、「最適化ID」は、ユーザの状態に応じた各最適化を識別するための識別情報を示す。
「ユーザ状態」は、最適化に対応するユーザ状態を示す。「ユーザ状態」は、対応する最適化(補正)が行われるユーザ状態の条件を示す。「ユーザ状態」には、「目の状態」、「操作手」といった項目が含まれる。なお、図4に示す「ユーザ状態」の項目は一例に過ぎず、それ以外の項目が含まれてもよい。また、ユーザの目の状態のみを用いる場合、「ユーザ状態」には、項目「操作手」が含まれなくてもよい。
「補正情報」は、端末装置10を使用するユーザの状態が対応するユーザ状態である場合に、実行される最適化(補正)の内容を示す。図4では「補正情報」に「CINF2」といった概念的な情報が格納される例を示したが、実際には、どの程度領域の位置を変更するか、どの程度拡大するか等、具体的な補正の内容を示す情報等、または、その格納場所を示すファイルパス名などが格納される。
図4に示す例において、最適化ID「OP1」により識別される最適化(最適化OP1)は、ユーザの目の状態が両目、すなわちユーザが両眼視の状態で端末装置10を操作している場合に適用されることを示す。また、最適化OP1の操作手の「-」(ハイフン)は、操作手、すなわち端末装置10を操作している手は左右いずれの手でもよいことを示す。最適化OP1の補正情報は、「補正無し」であることを示す。すなわち、ユーザが両眼視の状態で端末装置10を操作している場合には、通常の状態が最適な状態であり、通常の状態から変更(補正)が必要ないことを示す。
また、最適化ID「OP2」により識別される最適化(最適化OP2)は、ユーザの目の状態が左目、すなわちユーザが左目で片眼視の状態で端末装置10を操作している場合に適用されることを示す。また、最適化OP2の操作手の「-」(ハイフン)は、操作手、すなわち端末装置10を操作している手は未特定である(左右いずれの手でもよい)ことを示す。最適化OP2の補正情報は、「CINF2」であることを示す。すなわち、ユーザが左目での片眼視の状態で端末装置10を操作している場合には、補正情報CINF2に対応する最適化(補正)が実行されることを示す。例えば、補正情報CINF2が示す補正内容は、人が左目で片眼視した場合に生じる視差の平均であってもよい。なお、補正情報CINF2が示す補正内容は、端末装置10を操作するユーザの傾向を基に、上記の視差の平均を補正した内容であってもよい。
また、最適化ID「OP3」により識別される最適化(最適化OP3)は、ユーザの目の状態が右目、すなわちユーザが右目で片眼視の状態で端末装置10を操作している場合に適用されることを示す。また、最適化OP3の操作手の「-」(ハイフン)は、操作手、すなわち端末装置10を操作している手は未特定である(左右いずれの手でもよい)ことを示す。最適化OP3の補正情報は、「CINF3」であることを示す。すなわち、ユーザが右目での片眼視の状態で端末装置10を操作している場合には、補正情報CINF3に対応する最適化(補正)が実行されることを示す。例えば、補正情報CINF3が示す補正内容は、人が右目で片眼視した場合に生じる視差の平均であってもよい。なお、補正情報CINF3が示す補正内容は、端末装置10を操作するユーザの傾向を基に、上記の視差の平均を補正した内容であってもよい。
また、ユーザが操作している手が特定可能である場合、端末装置10は、目と操作手との4つの組合せに対応する最適化ID「OP21」~「OP32」の情報を用いて最適化を行ってもよい。例えば、端末装置10は、フロントカメラ等の画像センサにより撮像した画像により、ユーザが操作している手を特定できる場合、最適化ID「OP21」~「OP32」に示すようなユーザの操作手の情報を加味した補正情報を用いて、補正を行ってもよい。なお、画像は一例に過ぎず、ユーザが操作している手の特定は画像に限らず、画像以外のセンサ情報を用いて行われてもよい。例えば、端末装置10は、加速度やジャイロなど各種センサ情報によって、ユーザが操作している手を特定してもよい。例えば、端末装置10は、左手で片手持ちをして画面をタップしている場合、(手首のスナップが若干はたらくため)スマホの右側の方がよりブレが大きくなるといった情報を用いて、ユーザが操作している手を特定してもよい。この場合、端末装置10は、端末装置10の左側に対する操作よりも、端末装置10の右側の方がよりブレが大きい場合、端末装置10を操作するユーザが左手で操作を行っていると特定してもよい。このように、端末装置10は、様々なセンサ情報を適宜用いて、ユーザが操作している手を特定してもよい。
例えば、最適化ID「OP21」により識別される最適化(最適化OP21)は、ユーザの目の状態が左目、すなわちユーザが左目で片眼視の状態で、左手を使って端末装置10を操作している場合に適用されることを示す。最適化OP21の補正情報は、「CINF21」であることを示す。すなわち、ユーザが左目での片眼視の状態で左手を使って端末装置10を操作している場合には、補正情報CINF21に対応する最適化(補正)が実行されることを示す。例えば、補正情報CINF21の補正量は、補正情報CINF2または補正情報CINF22での補正量よりも大きいものとする。すなわち、端末装置10は、片眼視の目と操作手との左右が一致する場合、よりずれが大きくなるとして、受付態様の変更量を増大させる。
例えば、最適化ID「OP31」により識別される最適化(最適化OP31)は、ユーザの目の状態が右目、すなわちユーザが右目で片眼視の状態で、右手を使って端末装置10を操作している場合に適用されることを示す。最適化OP31の補正情報は、「CINF31」であることを示す。すなわち、ユーザが右目での片眼視の状態で右手を使って端末装置10を操作している場合には、補正情報CINF31に対応する最適化(補正)が実行されることを示す。例えば、補正情報CINF31の補正量は、補正情報CINF3または補正情報CINF32での補正量よりも大きいものとする。すなわち、端末装置10は、片眼視の目と操作手との左右が一致する場合、よりずれが大きくなるとして、受付態様の変更量を増大させる。
なお、最適化情報記憶部141は、上記に限らず、目的に応じて種々の情報を記憶してもよい。
(制御部15)
制御部15は、コントローラ(controller)であり、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、端末装置10内部の記憶部14などの記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。例えば、この各種プログラムは、情報処理を行うアプリケーション(例えばホームアプリ)のプログラムが含まれる。また、制御部15は、コントローラ(controller)であり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
図3に示すように、制御部15は、取得部151と、生成部152と、処理部153と、送信部154とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部15の内部構成は、図3に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部15が有する各処理部の接続関係は、図3に示した接続関係に限られず、他の接続関係であってもよい。
(取得部151)
取得部151は、各種情報を取得する。例えば、取得部151は、外部の情報処理装置から各種情報を取得する。例えば、取得部151は、記憶部14から各種情報を取得する。取得部151は、最適化情報記憶部141から各種情報を取得する。例えば、取得部151は、センサ部16により検知されたセンサ情報を取得する。
取得部151は、タッチパネルの機能を有する端末装置10を使用するユーザの目の状態を示す視覚情報を取得する。取得部151は、ユーザが片眼視の状態であるか否かを示す視覚情報を取得する。取得部151は、ユーザが端末装置10を操作する手がいずれであるかを示す操作手情報を取得する。取得部151は、ユーザを撮像した画像を視覚情報として取得する。取得部151は、ユーザが利用する端末装置10のフロントカメラにより撮像された画像を取得する。取得部151は、ユーザによる端末装置10の操作情報を視覚情報として取得する。取得部151は、ユーザの端末装置10への接触位置を示す操作情報を取得する。
(生成部152)
生成部152は、種々の生成を行なう。生成部152は、各種モデルを生成する。生成部152は、種々の学習を行なう。生成部152は、学習により情報処理に用いるモデルを生成する。例えば、生成部152は、学習データを用いて、片眼視を判定するモデル(片眼視判定モデル)を生成する。
また、例えば、生成部152は、ユーザが右目だけで見ている画像が入力された場合、右目での片眼視を示すスコア(右片眼視スコア)が「1」に近づくように、学習処理を行う。例えば、生成部152は、ユーザが左目だけで見ている画像が入力された場合、左目での片眼視(左片眼視スコア)を示すスコアが「1」に近づくように、学習処理を行う。
なお、取得部151により片眼視判定モデルが外部の情報処理装置から取得される場合、または、処理部153が片眼視判定モデルを用いることなく目の状態を特定可能である場合、制御部15は、生成部152を有しなくてもよい。
(処理部153)
処理部153は、ユーザに応じた端末装置10の処理態様の最適化に関する各種処理(最適化処理)を行う。例えば、処理部153は、記憶部14に記憶された各種情報を用いて最適化処理を実行する。処理部153は、最適化情報記憶部141に記憶された各種情報を用いて最適化処理を実行する。例えば、処理部153は、取得部151により取得された各種情報を用いて最適化処理を実行する。
処理部153は、取得部151により取得された視覚情報が示すユーザの目の状態に応じて、端末装置10における処理態様を最適化する。処理部153は、ユーザが片眼視である場合、ユーザによる操作の受付態様を変更する。処理部153は、受付態様を通常から片眼視用に変更する。
処理部153は、ユーザが片眼視である場合、通常時に操作を受け付ける第1領域を、片眼視時に操作を受け付ける第2領域へ補正する。処理部153は、ユーザが右目での片眼視である場合、第1領域を、右目での片眼視時に操作を受け付ける第2領域へ補正する。処理部153は、ユーザが左目での片眼視である場合、第1領域を、左目での片眼視時に操作を受け付ける第2領域へ補正する。
処理部153は、ユーザが片眼視である場合、第1領域を、第1領域よりも大きい第2領域へ拡大する。処理部153は、第1領域に対応する表示物を、第2領域への拡大に応じて拡大表示する。処理部153は、ユーザが端末装置10を操作する手に応じて、受付態様の変更量を決定する。処理部153は、ユーザが片眼視の左右と、ユーザが端末装置10を操作する手の左右が一致する場合、受付態様の変更量を増大させる。
処理部153は、画像に含まれるユーザに基づいて、ユーザの目の状態を特定する。処理部153は、操作情報に基づいて、ユーザの目の状態を特定する。処理部153は、接触位置と、接触位置に対応する表示物の位置との比較に基づいて、ユーザの目の状態を特定する。
処理部153は、表示部13を介して各種情報を表示する。例えば、処理部153は、表示部13の表示を制御する。
(送信部154)
送信部154は、通信部11を介して、外部の情報処理装置へ種々の情報を送信する。送信部154は、サーバ装置50へ各種情報を送信する。送信部154は、記憶部14に記憶された各種情報を外部の情報処理装置へ送信する。送信部154は、取得部151により取得された各種情報を外部の情報処理装置へ送信する。送信部154は、センサ部16により検知されたセンサ情報を情報処理装置100へ送信する。送信部154は、端末装置10のフロントカメラ(画像センサ)により検知された画像を、ユーザの目の状態を示す視覚情報として情報処理装置100へ送信する。
なお、上述した制御部15による各処理は、例えば、JavaScript(登録商標)などにより実現されてもよい。また、上述した制御部15による情報処理等の処理は、所定のアプリケーションにより行われる場合、制御部15の各部は、例えば、所定のアプリケーションにより実現されてもよい。例えば、制御部15による情報処理等の処理は、外部の情報処理装置から受信した制御情報により実現されてもよい。
(センサ部16)
センサ部16は、所定の情報を検知する。なお、センサ部16は、情報処理に用いる情報を検知するための様々なセンサを有してもよい。
例えば、センサ部16は、端末装置10に対するユーザの操作に関する種々の情報を検知するセンサを有する。例えば、センサ部16は、圧力センサを有する。例えば、センサ部16は、ユーザが画面に接触する圧力を示す圧力情報を検知するセンサを有する。例えば、センサ部16は、画面におけるユーザの接触範囲(座標)を検知するセンサを有する。例えば、センサ部16は、画面においてユーザが接触する位置を示す位置情報を検知するセンサを有する。例えば、センサ部16は、画面においてユーザが接触する面積を示す面積情報を検知するセンサを有する。
例えば、カメラ機能により撮像された画像情報を情報処理に用いる場合、センサ部16は、カメラ(画像センサ)を有してもよい。例えば、センサ部16は、ユーザを撮像するために画像センサを有する。例えば、センサ部16は、画像センサとして機能するインカメラやアウトカメラを有する。センサ部16は、インカメラを有し、画面を見ながら操作するユーザを撮像する。
また、センサ部16には、上記に限らず、種々のセンサが含まれてもよい。例えば、センサ部16は、端末装置10外の情報を検知するセンサを含んでもよい。
例えば、センサ部16は、加速度センサを有する。例えば、センサ部16は、ユーザによる所定の操作の際の端末装置10の加速度情報を検知するセンサを有する。例えば、センサ部16は、ユーザによる端末装置10の画面への接触を検知するセンサやタイマー等を有する。例えば、センサ部16は、ユーザによる端末装置10の画面への接触から、接触の解除までの時間を示す時間情報を検知するために用いるセンサを有する。
センサ部16は、端末装置10の位置を検知するセンサ(位置センサ)を有する。例えば、センサ部16は、GPS(Global Positioning System)センサを有してもよい。また、端末装置10の位置情報をセンサ情報として取得する場合、センサ部16は、通信を行っている基地局の位置情報や、WiFi(登録商標)(Wireless Fidelity)の電波を用いて推定された端末装置10の位置情報を取得してもよい。
なお、センサ部16における上記の各種情報を検知するセンサは共通のセンサであってもよいし、各々異なるセンサにより実現されてもよい。
〔3.情報処理のフロー〕
次に、図5を用いて、実施形態に係る情報処理の手順について説明する。図5は、実施形態に係る情報処理の一例を示すフローチャートである。
図5に示すように、端末装置10は、タッチパネルの機能を有する端末装置10を使用するユーザの目の状態を示す視覚情報を取得する(ステップS101)。そして、端末装置10は、視覚情報が示すユーザの目の状態に応じて、端末装置10における処理態様を最適化する(ステップS102)。例えば、端末装置10は、ユーザが片眼視である場合、片眼視用に補正を実行する。
〔3-1.片眼視に応じた最適化処理の例〕
次に、図6を用いて、実施形態に係る情報処理システム1による情報処理の手順について説明する。図6は、実施形態に係る片眼視に応じた最適化処理の一例を示すフローチャートである。
図6に示すように、端末装置10は、ユーザの目の状態を示す視覚情報を取得する(ステップS201)。そして、端末装置10は、ユーザが両目を使用しているかを判定する(ステップS202)。
端末装置10は、ユーザが両目を使用していると判定した場合(ステップS202:Yes)、補正の必要は無いとして最適化処理を終了する。
一方、端末装置10は、セユーザが両目を使用していないと判定した場合(ステップS202:No)、端末装置10は、ユーザが左目のみ使用しているかどうかを判定する(ステップS203)。
ユーザが左目のみ使用していると判定した場合(ステップS203:Yes)、端末装置10は、左目のみ使用の場合に対応する補正を実行する(ステップS204)。
一方、ユーザが左目のみ使用していると判定した場合(ステップS203:No)、端末装置10は、ユーザが右目のみ使用しているかどうかを判定する(ステップS205)。
また、ユーザが右目のみ使用していると判定した場合(ステップS205:Yes)、端末装置10は、右目のみ使用の場合に対応する補正を実行する(ステップS206)。
一方、ユーザが右目のみ使用していないと判定した場合(ステップS206:No)、端末装置10は、補正を行わず最適化処理を終了する。
〔4.その他の最適化例〕
ここで、図7を用いて他の最適化例を示す。図7は、片眼視に応じた最適化処理の一例を示す図である。なお、図1と同様の点については適宜説明を省略する。
図7では、端末装置10における処理態様を最適化する一例として、ユーザが片眼視である場合に、端末装置10の表示及びその表示対応する操作を受け付ける領域を拡大する場合を示す。図1では、端末装置10におけるユーザによる操作の受付態様の変更に応じて、端末装置10を端末装置10-21、端末装置10-22として説明する。なお、端末装置10-21、端末装置10-22は同一の端末装置10である。また、以下では、端末装置10-21、端末装置10-22について、特に区別なく説明する場合には、端末装置10と記載する。なお、図7では、端末装置10の一部のみを図示するが、図1と同様にアイコンIC11~IC19が表示されているものとする。
まず、端末装置10-21を基に、ユーザU1が両眼視の場合の端末装置10について説明する。端末装置10-21では、図1の端末装置10-1と同様にアイコンIC11~IC19の各々に対応する操作を受け付ける領域AR11~AR19の各々が、対応するアイコンICの表示位置に重なる位置に配置される。
次に、端末装置10-22を基に、ユーザU1が片眼視の場合の端末装置10について説明する。端末装置10-22では、ユーザが左目で片眼視の状態であるものとする。
図7の例では、端末装置10-22は、ユーザU1が片眼視の状態であるため、受付態様を通常から片眼視用に補正する。具体的には、端末装置10-22は、通常の表示よりも、アイコンICの表示を拡大するとともに、各アイコンIC(アイコンIC11~IC19)に対応する操作を受け付ける領域も拡大する。例えば、図7に示すように、端末装置10-22は、アイコンIC11の表示を拡大するとともに、アイコンIC11に対応する領域AR31も拡大する。図7の例では、アイコンIC11及び領域AR31ともに通常のサイズよりも10%程度拡大された場合を示す。このように、端末装置10-22では、ユーザU1が片眼視の状態であるため、通常とは異なる片眼視用の受付態様に補正する。これにより、ユーザU1が片眼視の場合に生じる両眼視の場合との視差による操作ミスを抑制することができる。
〔5.効果〕
上述してきたように、実施形態に係る情報処理装置(実施形態では「端末装置10」。以下同様)は、取得部(実施形態では「取得部151」。以下同様)と、処理部(実施形態では「処理部153」。以下同様)とを有する。取得部は、タッチパネルの機能を有する端末装置を使用するユーザの目の状態を示す視覚情報を取得する。また、処理部は、取得部により取得された視覚情報が示すユーザの目の状態に応じて、端末装置における処理態様を最適化する。
このように、実施形態に係る情報処理装置は、タッチパネルの機能を有する情報処理装置を使用するユーザの目の状態に応じて、情報処理装置における処理態様を最適化することにより、端末装置における処理態様を最適化することができる。
また、実施形態に係る情報処理装置において、取得部は、ユーザが片眼視の状態であるか否かを示す視覚情報を取得する。処理部は、ユーザが片眼視である場合、ユーザによる操作の受付態様を変更する。
このように、実施形態に係る情報処理装置は、ユーザが片眼視である場合、ユーザによる操作の受付態様を変更することにより、ユーザが片眼視した場合に生じる通常の両眼視の場合との見え方のずれを、操作を受け付ける側で吸収することができる。これにより、情報処理装置は、ユーザによる操作ミスを低減することができる。したがって、情報処理装置は、端末装置における処理態様を最適化することができる。
また、実施形態に係る情報処理装置において、処理部は、受付態様を通常から片眼視用に変更する。
このように、実施形態に係る情報処理装置は、受付態様を通常から片眼視用に変更することにより、ユーザが片眼視した場合に生じる通常の両眼視の場合との見え方のずれを、操作を受け付ける側で吸収することができる。これにより、情報処理装置は、ユーザによる操作ミスを低減することができる。端末装置における処理態様を最適化することができる。
また、実施形態に係る情報処理装置において、処理部は、ユーザが片眼視である場合、通常時に操作を受け付ける第1領域を、片眼視時に操作を受け付ける第2領域へ補正する。
このように、実施形態に係る情報処理装置は、ユーザが片眼視である場合、操作を受け付ける領域を補正することにより、ユーザが片眼視した場合に生じる通常の両眼視の場合との見え方のずれを、操作を受け付ける側で吸収することができる。これにより、情報処理装置は、ユーザによる操作ミスを低減することができる。端末装置における処理態様を最適化することができる。
また、実施形態に係る情報処理装置において、処理部は、ユーザが左目での片眼視である場合、第1領域を、左目での片眼視時に操作を受け付ける第2領域へ補正する。
このように、実施形態に係る情報処理装置は、ユーザが左目での片眼視である場合、操作を受け付ける領域を左目での片眼視用に補正することにより、ユーザが左目で片眼視した場合に生じる通常の両眼視の場合との見え方のずれを、操作を受け付ける側で吸収することができる。これにより、情報処理装置は、ユーザによる操作ミスを低減することができる。端末装置における処理態様を最適化することができる。
また、実施形態に係る情報処理装置において、処理部は、ユーザが右目での片眼視である場合、第1領域を、右目での片眼視時に操作を受け付ける第2領域へ補正する。
このように、実施形態に係る情報処理装置は、ユーザが右目での片眼視である場合、操作を受け付ける領域を右目での片眼視用に補正することにより、ユーザが右目で片眼視した場合に生じる通常の両眼視の場合との見え方のずれを、操作を受け付ける側で吸収することができる。これにより、情報処理装置は、ユーザによる操作ミスを低減することができる。したがって、情報処理装置は、情報処理装置は、端末装置における処理態様を最適化することができる。
また、実施形態に係る情報処理装置において、処理部は、ユーザが片眼視である場合、第1領域を、第1領域よりも大きい第2領域へ拡大する。
このように、実施形態に係る情報処理装置は、ユーザが片眼視である場合、操作を受け付ける領域を拡大することにより、ユーザが片眼視した場合に生じる通常の両眼視の場合との見え方のずれを、操作を受け付ける側で吸収することができる。これにより、情報処理装置は、ユーザによる操作ミスを低減することができる。したがって、情報処理装置は、端末装置における処理態様を最適化することができる。
また、実施形態に係る情報処理装置において、処理部は、第1領域に対応する表示物を、第2領域への拡大に応じて拡大表示する。
このように、実施形態に係る情報処理装置は、ユーザが片眼視である場合、1領域に対応する表示物を、第2領域への拡大に応じて拡大表示することにより、実際の見え方と操作の受け付ける範囲との関係を通常時と同様にすることができる。これにより、情報処理装置は、ユーザによる操作ミスを低減しつつ、見え方と操作の受け付けとの関係を維持することができる。したがって、情報処理装置は、端末装置における処理態様を最適化することができる。
また、実施形態に係る情報処理装置において、取得部は、ユーザが端末装置を操作する手がいずれであるかを示す操作手情報を取得する。処理部は、ユーザが端末装置を操作する手に応じて、受付態様の変更量を決定する。
このように、実施形態に係る情報処理装置は、ユーザが端末装置を操作する手に応じて、受付態様の変更量を決定することにより、ユーザがどちらの手でタッチパネルを操作しているかという点も加味して、受付態様を変更することができる。これにより、情報処理装置は、ユーザによる操作ミスを低減することができる。したがって、情報処理装置は、端末装置における処理態様を最適化することができる。
また、実施形態に係る情報処理装置において、処理部は、ユーザが片眼視の左右と、ユーザが端末装置を操作する手の左右が一致する場合、受付態様の変更量を増大させる。
このように、実施形態に係る情報処理装置は、ユーザが片眼視の左右と、ユーザが端末装置を操作する手の左右との関係に応じて変更量を変えることにより、より適切に受付態様を変更することができる。これにより、情報処理装置は、ユーザによる操作ミスを低減することができる。したがって、情報処理装置は、端末装置における処理態様を最適化することができる。
また、実施形態に係る情報処理装置において、取得部は、ユーザを撮像した画像を視覚情報として取得する。処理部は、画像に含まれるユーザに基づいて、ユーザの目の状態を特定する。
このように、実施形態に係る情報処理装置は、ユーザを撮像した画像を用いてユーザの目の状態を特定することにより、適切にユーザの目の状態を特定することができる。
また、実施形態に係る情報処理装置において、取得部は、ユーザが利用する端末装置のフロントカメラにより撮像された画像を取得する。
このように、実施形態に係る情報処理装置は、スマートフォン等が通常具備するフロントカメラが撮像した画像を用いることで、容易にユーザを撮像した画像を取得することができる。
また、実施形態に係る情報処理装置において、取得部は、ユーザによる端末装置の操作情報を視覚情報として取得する。処理部は、操作情報に基づいて、ユーザの目の状態を特定する。
このように、実施形態に係る情報処理装置は、ユーザによる端末装置の操作情報を用いてユーザの目の状態を特定することにより、適切にユーザの目の状態を特定することができる。
また、実施形態に係る情報処理装置において、取得部は、ユーザの端末装置への接触位置を示す操作情報を取得する。処理部は、接触位置と、接触位置に対応する表示物の位置との比較に基づいて、ユーザの目の状態を特定する。
このように、実施形態に係る情報処理装置は、ユーザの端末装置への接触位置と、接触位置に対応する表示物の位置との比較に基づいて、ユーザの目の状態を特定することにより、ユーザの操作の状況からそのユーザがどのような目の状態であるかを精度よく特定することができる。
〔6.プログラム〕
上述してきた端末装置10による処理は、本願に係る情報処理プログラムにより実現される。例えば、端末装置10に係る処理部153は、端末装置10が有するCPUやMPU等によって、情報処理プログラムがRAMを作業領域として、情報処理プログラムに係る処理手順が実行されることにより実現される。例えば、端末装置10に係る処理部153は、端末装置10が有するCPUやMPU等によって、情報処理プログラムがRAMを作業領域として、情報処理プログラムに係る補正処理等の最適化に関する情報処理手順が実行されることにより実現される。端末装置10に係る他の部も同様に、情報処理プログラムによる各手順が実行されることにより実現される。例えば、情報処理プログラムはコンテンツを表示するアプリやホームアプリ等に含まれてもよい。
なお、本願に係る端末装置10が実行する処理は、必ずしも全てが情報処理プログラムによって実現されるものでなくてもよい。例えば、センサ部16は、端末装置10における各種のセンサ情報を検知する。このとき、端末装置10における各種のセンサ情報等は、端末装置10が有するOS(Operating System)によって検知されてもよい。すなわち、情報処理プログラム自体が、上述してきたような端末装置10で実行される処理を実行するのではなく、OSによって取得されたデータ(例えば、端末装置10が有するセンサや回路等を利用して取得されるデータ)を受け取ったり、検知したりすることにより、上述してきた端末装置10の処理を実現するようにしてもよい。また、端末装置10が有するOSに情報処理プログラムが含まれてもよい。
〔7.ハードウェア構成〕
また、上述した実施形態に係る端末装置10は、例えば図8に示すような構成のコンピュータ1000によって実現される。図8は、ハードウェア構成の一例を示す図である。コンピュータ1000は、出力装置1010、入力装置1020と接続され、演算装置1030、一次記憶装置1040、二次記憶装置1050、出力I/F(Interface)1060、入力I/F1070、ネットワークI/F1080がバス1090により接続された形態を有する。
演算装置1030は、一次記憶装置1040や二次記憶装置1050に格納されたプログラムや入力装置1020から読み出したプログラム等に基づいて動作し、各種の処理を実行する。演算装置1030は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等により実現される。
一次記憶装置1040は、RAM(Random Access Memory)等、演算装置1030が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置1050は、演算装置1030が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ROM(Read Only Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリ等により実現される。二次記憶装置1050は、内蔵ストレージであってもよいし、外付けストレージであってもよい。また、二次記憶装置1050は、USBメモリやSD(Secure Digital)メモリカード等の取り外し可能な記憶媒体であってもよい。また、二次記憶装置1050は、クラウドストレージ(オンラインストレージ)やNAS(Network Attached Storage)、ファイルサーバ等であってもよい。
出力I/F1060は、ディスプレイ、プロジェクタ、及びプリンタ等といった各種の情報を出力する出力装置1010に対し、出力対象となる情報を送信するためのインターフェイスであり、例えば、USB(Universal Serial Bus)やDVI(Digital Visual Interface)、HDMI(登録商標)(High Definition Multimedia Interface)といった規格のコネクタにより実現される。また、入力I/F1070は、マウス、キーボード、キーパッド、ボタン、及びスキャナ等といった各種の入力装置1020から情報を受信するためのインターフェイスであり、例えば、USB等により実現される。
また、出力I/F1060及び入力I/F1070はそれぞれ出力装置1010及び入力装置1020と無線で接続してもよい。すなわち、出力装置1010及び入力装置1020は、ワイヤレス機器であってもよい。
また、出力装置1010及び入力装置1020は、タッチパネルのように一体化していてもよい。この場合、出力I/F1060及び入力I/F1070も、入出力I/Fとして一体化していてもよい。
なお、入力装置1020は、例えば、CD(Compact Disc)、DVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、又は半導体メモリ等から情報を読み出す装置であってもよい。
ネットワークI/F1080は、ネットワークNを介して他の機器からデータを受信して演算装置1030へ送り、また、ネットワークNを介して演算装置1030が生成したデータを他の機器へ送信する。
演算装置1030は、出力I/F1060や入力I/F1070を介して、出力装置1010や入力装置1020の制御を行う。例えば、演算装置1030は、入力装置1020や二次記憶装置1050からプログラムを一次記憶装置1040上にロードし、ロードしたプログラムを実行する。
例えば、コンピュータ1000が端末装置10として機能する場合、コンピュータ1000の演算装置1030は、一次記憶装置1040上にロードされたプログラムを実行することにより、制御部15の機能を実現する。また、コンピュータ1000の演算装置1030は、ネットワークI/F1080を介して他の機器から取得したプログラムを一次記憶装置1040上にロードし、ロードしたプログラムを実行してもよい。また、コンピュータ1000の演算装置1030は、ネットワークI/F1080を介して他の機器と連携し、プログラムの機能やデータ等を他の機器の他のプログラムから呼び出して利用してもよい。
以上、本願の実施形態および変形例のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の行に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
〔8.その他〕
また、上記各実施形態および変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
また、上述してきた各実施形態および変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
また、上述してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。
1 情報処理システム
10 端末装置
11 通信部
12 入力部
13 表示部
14 記憶部
141 最適化情報記憶部
15 制御部
151 取得部
152 生成部
153 処理部
154 送信部
16 センサ部
50 サーバ装置

Claims (15)

  1. タッチパネルの機能を有する端末装置または前記端末装置以外のコンピュータである情報処理装置であって、
    前記端末装置を使用するユーザの目の状態を示す視覚情報であって、前記ユーザが左右いずれか一方のみの目で端末装置の表示画面を視認している状態である片眼視の状態であるか否かを示す前記視覚情報を取得する取得部と、
    前記取得部により取得された前記視覚情報が示す前記ユーザの目の状態が片眼視である場合、左右いずれか一方のみの目のみを用いた片眼視の場合に生じる両眼視の場合との視差に応じて、前記ユーザによる操作の受付態様を変更することにより、前記端末装置における処理態様を最適化する処理部と、
    を備えることを特徴とする情報処理装置。
  2. 前記処理部は、
    前記受付態様を通常から片眼視用に変更する
    ことを特徴とする請求項に記載の情報処理装置。
  3. 前記処理部は、
    前記ユーザが片眼視である場合、前記ユーザが両眼視である通常時に操作を受け付ける第1領域であって、前記端末装置の表示画面中の領域である第1領域を、片眼視時に操作を受け付ける第2領域であって、前記端末装置の表示画面中の領域である第2領域へ補正する
    ことを特徴とする請求項または請求項に記載の情報処理装置。
  4. 前記処理部は、
    前記ユーザが左目での片眼視である場合、前記第1領域を、左目での片眼視時に操作を受け付ける前記第2領域へ補正する
    ことを特徴とする請求項に記載の情報処理装置。
  5. 前記処理部は、
    前記ユーザが右目での片眼視である場合、前記第1領域を、右目での片眼視時に操作を受け付ける前記第2領域へ補正する
    ことを特徴とする請求項または請求項に記載の情報処理装置。
  6. 前記処理部は、
    前記ユーザが片眼視である場合、前記第1領域を、前記第1領域よりも大きい前記第2領域へ拡大する
    ことを特徴とする請求項のいずれか1項に記載の情報処理装置。
  7. 前記処理部は、
    前記第1領域に対応する表示物を、前記第2領域への拡大に応じて拡大表示する
    ことを特徴とする請求項に記載の情報処理装置。
  8. 前記取得部は、
    前記ユーザが前記端末装置を操作する手がいずれであるかを示す操作手情報を取得し、
    前記処理部は、
    前記ユーザが前記端末装置を操作する手に応じて、前記受付態様の変更量を決定する
    ことを特徴とする請求項のいずれか1項に記載の情報処理装置。
  9. 前記処理部は、
    前記ユーザが片眼視の左右と、前記ユーザが前記端末装置を操作する手の左右が一致する場合、前記受付態様の変更量を増大させる
    ことを特徴とする請求項に記載の情報処理装置。
  10. 前記取得部は、
    前記ユーザを撮像した画像を前記視覚情報として取得し、
    前記処理部は、
    前記画像に含まれる前記ユーザに基づいて、前記ユーザの目の状態を特定する
    ことを特徴とする請求項1~のいずれか1項に記載の情報処理装置。
  11. 前記取得部は、
    前記ユーザが利用する前記端末装置のフロントカメラにより撮像された前記画像を取得する
    ことを特徴とする請求項10に記載の情報処理装置。
  12. 前記取得部は、
    前記ユーザによる前記端末装置の操作情報を前記視覚情報として取得し、
    前記処理部は、
    前記操作情報に基づいて、前記ユーザの目の状態を特定する
    ことを特徴とする請求項1~11のいずれか1項に記載の情報処理装置。
  13. 前記取得部は、
    前記ユーザの前記端末装置への接触位置を示す前記操作情報を取得し、
    前記処理部は、
    前記接触位置と、前記接触位置に対応する表示物の位置との比較に基づいて、前記ユーザの目の状態を特定する
    ことを特徴とする請求項12に記載の情報処理装置。
  14. タッチパネルの機能を有する端末装置または前記端末装置以外のコンピュータである情報処理装置が実行する情報処理方法であって、
    前記端末装置を使用するユーザの目の状態を示す視覚情報であって、前記ユーザが左右いずれか一方のみの目で端末装置の表示画面を視認している状態である片眼視の状態であるか否かを示す前記視覚情報を取得する取得工程と、
    前記取得工程により取得された前記視覚情報が示す前記ユーザの目の状態が片眼視である場合、左右いずれか一方のみの目のみを用いた片眼視の場合に生じる両眼視の場合との視差に応じて、前記ユーザによる操作の受付態様を変更することにより、前記端末装置における処理態様を最適化する処理工程と、
    を含むことを特徴とする情報処理方法。
  15. タッチパネルの機能を有する端末装置または前記端末装置以外のコンピュータである情報処理装置であって、
    前記端末装置を使用するユーザの目の状態を示す視覚情報であって、前記ユーザが左右いずれか一方のみの目で端末装置の表示画面を視認している状態である片眼視の状態であるか否かを示す前記視覚情報を取得する取得手順と、
    前記取得手順により取得された前記視覚情報が示す前記ユーザの目の状態が片眼視である場合、左右いずれか一方のみの目のみを用いた片眼視の場合に生じる両眼視の場合との視差に応じて、前記ユーザによる操作の受付態様を変更することにより、前記端末装置における処理態様を最適化する処理手順と、
    をコンピュータに実行させることを特徴とする情報処理プログラム。
JP2020210796A 2020-12-18 2020-12-18 情報処理装置、情報処理方法、及び情報処理プログラム Active JP7087055B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020210796A JP7087055B1 (ja) 2020-12-18 2020-12-18 情報処理装置、情報処理方法、及び情報処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020210796A JP7087055B1 (ja) 2020-12-18 2020-12-18 情報処理装置、情報処理方法、及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JP7087055B1 true JP7087055B1 (ja) 2022-06-20
JP2022097291A JP2022097291A (ja) 2022-06-30

Family

ID=82067857

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020210796A Active JP7087055B1 (ja) 2020-12-18 2020-12-18 情報処理装置、情報処理方法、及び情報処理プログラム

Country Status (1)

Country Link
JP (1) JP7087055B1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012208714A (ja) 2011-03-29 2012-10-25 Kyocera Corp 携帯電子機器
JP2018018437A (ja) 2016-07-29 2018-02-01 富士ゼロックス株式会社 画像表示装置、画像形成装置、および、プログラム
JP2020057441A (ja) 2020-01-14 2020-04-09 パイオニア株式会社 操作装置、制御方法、プログラム及び記憶媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012208714A (ja) 2011-03-29 2012-10-25 Kyocera Corp 携帯電子機器
JP2018018437A (ja) 2016-07-29 2018-02-01 富士ゼロックス株式会社 画像表示装置、画像形成装置、および、プログラム
JP2020057441A (ja) 2020-01-14 2020-04-09 パイオニア株式会社 操作装置、制御方法、プログラム及び記憶媒体

Also Published As

Publication number Publication date
JP2022097291A (ja) 2022-06-30

Similar Documents

Publication Publication Date Title
EP2905693B1 (en) Method and apparatus for controlling flexible display and electronic device adapted to the method
CN107438935B (zh) 用于无线充电的方法和装置
EP2891966B1 (en) Electronic glasses and method for correcting color blindness
EP2911036B1 (en) Method and apparatus for power sharing
KR102248474B1 (ko) 음성 명령 제공 방법 및 장치
US10261683B2 (en) Electronic apparatus and screen display method thereof
EP3105919B1 (en) Photographing method of an electronic device and the electronic device thereof
US20150317120A1 (en) Method and apparatus for outputting contents using a plurality of displays
EP2916202A1 (en) Method and apparatus for detecting user input in an electronic device
KR102547115B1 (ko) 어플리케이션을 전환하기 위한 방법 및 그 전자 장치
EP2950204A1 (en) Method for organizing home screen and electronic device implementing the same
EP3096203A1 (en) Frame rate control method and electronic device thereof
US20150378599A1 (en) Method and electronic device for displaying virtual keyboard
EP2947556B1 (en) Method and apparatus for processing input using display
KR20160111211A (ko) 데이터 통신 방법 및 그 전자 장치
KR102319286B1 (ko) 드래그 앤 드롭 처리 방법 및 장치
KR20150135837A (ko) 디스플레이 운용 전자장치 및 방법
EP3092613B1 (en) Image processing method and electronic device implementing the same
KR20150136792A (ko) 멀티 심이 구비된 전자 장치 및 방법
KR20160135476A (ko) 전자 장치 및 그의 카메라 제어 방법
US9852705B2 (en) Method for controlling a display of an electronic device
KR20160026500A (ko) 전자 장치의 통화 단절 메시지 전송 방법 및 그 전자 장치
JP7087055B1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
KR20160068514A (ko) 터치 입력을 제어하는 전자 장치 및 방법
EP2990929B1 (en) Electronic device and method for setting block

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220608

R150 Certificate of patent or registration of utility model

Ref document number: 7087055

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350