JP7087055B1 - 情報処理装置、情報処理方法、及び情報処理プログラム - Google Patents
情報処理装置、情報処理方法、及び情報処理プログラム Download PDFInfo
- Publication number
- JP7087055B1 JP7087055B1 JP2020210796A JP2020210796A JP7087055B1 JP 7087055 B1 JP7087055 B1 JP 7087055B1 JP 2020210796 A JP2020210796 A JP 2020210796A JP 2020210796 A JP2020210796 A JP 2020210796A JP 7087055 B1 JP7087055 B1 JP 7087055B1
- Authority
- JP
- Japan
- Prior art keywords
- user
- terminal device
- information processing
- information
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 135
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000012545 processing Methods 0.000 claims abstract description 115
- 230000000007 visual effect Effects 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims description 42
- 230000008569 process Effects 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 14
- 238000010586 diagram Methods 0.000 abstract description 13
- 238000005457 optimization Methods 0.000 description 64
- 238000012937 correction Methods 0.000 description 55
- 230000006870 function Effects 0.000 description 18
- 238000004891 communication Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000036632 reaction speed Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
〔1.情報処理〕
図1を用いて、実施形態に係る情報処理の一例について説明する。図1は、実施形態に係る情報処理の一例を示す図である。図1では、端末装置10がユーザの目の状態に応じて、端末装置における処理態様を最適化する情報処理装置である場合を一例として説明する。具体的には、図1では、ユーザが両方の目で端末装置10の画面を視認している状態(「両眼視」ともいう)、及びユーザが左右いずれか一方のみの目で端末装置10の画面を視認している状態(「片眼視」ともいう)の各々に応じて、端末装置10が処理態様を最適化する場合を示す。
まず、図1の説明に先立って、図2に示すように、情報処理システム1は、端末装置10と、サーバ装置50とが含まれる。端末装置10と、サーバ装置50とは所定のネットワークNを介して、有線または無線により通信可能に接続される。図2は、実施形態に係る情報処理システムの構成例を示す図である。なお、図2に示した情報処理システム1には、複数台の端末装置10や、複数台のサーバ装置50が含まれてもよい。
図1に戻って、ここから情報処理の一例について説明する。端末装置10における処理態様を最適化する一例として、ユーザが片眼視である場合に端末装置10を使用するユーザによる操作の受付態様を変更する場合を示す。図1では、端末装置10におけるユーザによる操作の受付態様の変更に応じて、端末装置10を端末装置10-1、端末装置10-2として説明する。なお、端末装置10-1、端末装置10-2は同一の端末装置10である。また、以下では、端末装置10-1、端末装置10-2について、特に区別なく説明する場合には、端末装置10と記載する。
上述した例では、端末装置10における処理態様の最適化の一例として、操作の受付態様を最適化する場合を示したが、端末装置10における処理態様の最適化は、操作の受付態様を最適化に限られない。すなわち、端末装置10は、ユーザの目の状態に応じて、端末装置10における処理態様を最適化するものであれば、どのようなものであってもよい。
上述した例では、画像によりユーザの目の状態を特定する場合を示したが、端末装置10は、画像以外の情報を基にユーザの目の状態を特定(推定)してもよい。
図1の例では、端末装置10に表示されたホーム画面におけるユーザによる操作の受付態様を変更する場合を示したが、端末装置10は、ホーム画面以外にも種々の表示において端末装置10における処理態様を最適化してもよい。例えば、端末装置10は、アプリケーション(アプリ)の表示において、端末装置10における処理態様を最適化してもよい。
また、図1では、端末装置10が最適化処理を行う情報処理装置である場合を一例として説明したが、表示を行う装置(例えば端末装置10)と、最適化処理を行う情報処理装置とは別体であってもよい。例えば、サーバ装置50が端末装置10を使用するユーザの目の状態に応じて最適化処理を行う情報処理装置であり、端末装置10は、サーバ装置50からの指示に応じてユーザによる操作の受付態様を変更してもよい。
次に、図3を用いて、実施形態に係る端末装置10の構成について説明する。図3は、実施形態に係る端末装置の構成例を示す図である。図3に示すように、端末装置10は、通信部11と、入力部12と、表示部13と、記憶部14と、制御部15と、センサ部16とを有する。なお、図示を省略するが端末装置10は、音声を出力するスピーカなど音声出力部を有する。例えば、音声出力部は、表示部13に表示される情報に対応する音声を出力する。また、端末装置10は、マイクである音声入力部を有し、音声によるユーザに有力を受け付けてもよい。
通信部11は、例えば、通信回路等によって実現される。そして、通信部11は、図示しない所定の通信網と有線または無線で接続され、外部の情報処理装置との間で情報の送受信を行う。例えば、通信部11は、図示しない所定の通信網と有線または無線で接続され、サーバ装置50との間で情報の送受信を行う。
入力部12は、ユーザから各種操作が入力される。例えば、入力部12は、タッチパネル機能により表示面(例えば表示部13)を介してユーザからの各種操作を受け付けてもよい。また、入力部12は、端末装置10に設けられたボタンや、端末装置10に接続されたキーボードやマウスからの各種操作を受け付けてもよい。
表示部13は、例えば液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイ等によって実現されるタブレット端末等の表示画面であり、各種情報を表示するための表示装置である。つまり、端末装置10は、表示部13である表示画面によりユーザの入力を受け付け、ユーザへの出力も行う。
記憶部14は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部14は、例えば、端末装置10にインストールされているアプリケーション(例えばホームアプリ)に関する情報、例えばプログラム等を記憶する。また、実施形態に係る記憶部14は、図3に示すように、最適化情報記憶部141を有する。
実施形態に係る最適化情報記憶部141は、最適化に関する各種情報を記憶する。図4は、実施形態に係る最適化情報記憶部の一例を示す図である。例えば、最適化情報記憶部141は、受付態様の変更に用いるデータを記憶する。図4に示す最適化情報記憶部141には、「最適化ID」、「ユーザ状態」、「補正情報」といった項目が含まれる。
制御部15は、コントローラ(controller)であり、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、端末装置10内部の記憶部14などの記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。例えば、この各種プログラムは、情報処理を行うアプリケーション(例えばホームアプリ)のプログラムが含まれる。また、制御部15は、コントローラ(controller)であり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
取得部151は、各種情報を取得する。例えば、取得部151は、外部の情報処理装置から各種情報を取得する。例えば、取得部151は、記憶部14から各種情報を取得する。取得部151は、最適化情報記憶部141から各種情報を取得する。例えば、取得部151は、センサ部16により検知されたセンサ情報を取得する。
生成部152は、種々の生成を行なう。生成部152は、各種モデルを生成する。生成部152は、種々の学習を行なう。生成部152は、学習により情報処理に用いるモデルを生成する。例えば、生成部152は、学習データを用いて、片眼視を判定するモデル(片眼視判定モデル)を生成する。
処理部153は、ユーザに応じた端末装置10の処理態様の最適化に関する各種処理(最適化処理)を行う。例えば、処理部153は、記憶部14に記憶された各種情報を用いて最適化処理を実行する。処理部153は、最適化情報記憶部141に記憶された各種情報を用いて最適化処理を実行する。例えば、処理部153は、取得部151により取得された各種情報を用いて最適化処理を実行する。
送信部154は、通信部11を介して、外部の情報処理装置へ種々の情報を送信する。送信部154は、サーバ装置50へ各種情報を送信する。送信部154は、記憶部14に記憶された各種情報を外部の情報処理装置へ送信する。送信部154は、取得部151により取得された各種情報を外部の情報処理装置へ送信する。送信部154は、センサ部16により検知されたセンサ情報を情報処理装置100へ送信する。送信部154は、端末装置10のフロントカメラ(画像センサ)により検知された画像を、ユーザの目の状態を示す視覚情報として情報処理装置100へ送信する。
センサ部16は、所定の情報を検知する。なお、センサ部16は、情報処理に用いる情報を検知するための様々なセンサを有してもよい。
次に、図5を用いて、実施形態に係る情報処理の手順について説明する。図5は、実施形態に係る情報処理の一例を示すフローチャートである。
次に、図6を用いて、実施形態に係る情報処理システム1による情報処理の手順について説明する。図6は、実施形態に係る片眼視に応じた最適化処理の一例を示すフローチャートである。
ここで、図7を用いて他の最適化例を示す。図7は、片眼視に応じた最適化処理の一例を示す図である。なお、図1と同様の点については適宜説明を省略する。
上述してきたように、実施形態に係る情報処理装置(実施形態では「端末装置10」。以下同様)は、取得部(実施形態では「取得部151」。以下同様)と、処理部(実施形態では「処理部153」。以下同様)とを有する。取得部は、タッチパネルの機能を有する端末装置を使用するユーザの目の状態を示す視覚情報を取得する。また、処理部は、取得部により取得された視覚情報が示すユーザの目の状態に応じて、端末装置における処理態様を最適化する。
上述してきた端末装置10による処理は、本願に係る情報処理プログラムにより実現される。例えば、端末装置10に係る処理部153は、端末装置10が有するCPUやMPU等によって、情報処理プログラムがRAMを作業領域として、情報処理プログラムに係る処理手順が実行されることにより実現される。例えば、端末装置10に係る処理部153は、端末装置10が有するCPUやMPU等によって、情報処理プログラムがRAMを作業領域として、情報処理プログラムに係る補正処理等の最適化に関する情報処理手順が実行されることにより実現される。端末装置10に係る他の部も同様に、情報処理プログラムによる各手順が実行されることにより実現される。例えば、情報処理プログラムはコンテンツを表示するアプリやホームアプリ等に含まれてもよい。
また、上述した実施形態に係る端末装置10は、例えば図8に示すような構成のコンピュータ1000によって実現される。図8は、ハードウェア構成の一例を示す図である。コンピュータ1000は、出力装置1010、入力装置1020と接続され、演算装置1030、一次記憶装置1040、二次記憶装置1050、出力I/F(Interface)1060、入力I/F1070、ネットワークI/F1080がバス1090により接続された形態を有する。
また、上記各実施形態および変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
10 端末装置
11 通信部
12 入力部
13 表示部
14 記憶部
141 最適化情報記憶部
15 制御部
151 取得部
152 生成部
153 処理部
154 送信部
16 センサ部
50 サーバ装置
Claims (15)
- タッチパネルの機能を有する端末装置または前記端末装置以外のコンピュータである情報処理装置であって、
前記端末装置を使用するユーザの目の状態を示す視覚情報であって、前記ユーザが左右いずれか一方のみの目で端末装置の表示画面を視認している状態である片眼視の状態であるか否かを示す前記視覚情報を取得する取得部と、
前記取得部により取得された前記視覚情報が示す前記ユーザの目の状態が片眼視である場合、左右いずれか一方のみの目のみを用いた片眼視の場合に生じる両眼視の場合との視差に応じて、前記ユーザによる操作の受付態様を変更することにより、前記端末装置における処理態様を最適化する処理部と、
を備えることを特徴とする情報処理装置。 - 前記処理部は、
前記受付態様を通常から片眼視用に変更する
ことを特徴とする請求項1に記載の情報処理装置。 - 前記処理部は、
前記ユーザが片眼視である場合、前記ユーザが両眼視である通常時に操作を受け付ける第1領域であって、前記端末装置の表示画面中の領域である第1領域を、片眼視時に操作を受け付ける第2領域であって、前記端末装置の表示画面中の領域である第2領域へ補正する
ことを特徴とする請求項1または請求項2に記載の情報処理装置。 - 前記処理部は、
前記ユーザが左目での片眼視である場合、前記第1領域を、左目での片眼視時に操作を受け付ける前記第2領域へ補正する
ことを特徴とする請求項3に記載の情報処理装置。 - 前記処理部は、
前記ユーザが右目での片眼視である場合、前記第1領域を、右目での片眼視時に操作を受け付ける前記第2領域へ補正する
ことを特徴とする請求項3または請求項4に記載の情報処理装置。 - 前記処理部は、
前記ユーザが片眼視である場合、前記第1領域を、前記第1領域よりも大きい前記第2領域へ拡大する
ことを特徴とする請求項3~5のいずれか1項に記載の情報処理装置。 - 前記処理部は、
前記第1領域に対応する表示物を、前記第2領域への拡大に応じて拡大表示する
ことを特徴とする請求項6に記載の情報処理装置。 - 前記取得部は、
前記ユーザが前記端末装置を操作する手がいずれであるかを示す操作手情報を取得し、
前記処理部は、
前記ユーザが前記端末装置を操作する手に応じて、前記受付態様の変更量を決定する
ことを特徴とする請求項1~7のいずれか1項に記載の情報処理装置。 - 前記処理部は、
前記ユーザが片眼視の左右と、前記ユーザが前記端末装置を操作する手の左右が一致する場合、前記受付態様の変更量を増大させる
ことを特徴とする請求項8に記載の情報処理装置。 - 前記取得部は、
前記ユーザを撮像した画像を前記視覚情報として取得し、
前記処理部は、
前記画像に含まれる前記ユーザに基づいて、前記ユーザの目の状態を特定する
ことを特徴とする請求項1~9のいずれか1項に記載の情報処理装置。 - 前記取得部は、
前記ユーザが利用する前記端末装置のフロントカメラにより撮像された前記画像を取得する
ことを特徴とする請求項10に記載の情報処理装置。 - 前記取得部は、
前記ユーザによる前記端末装置の操作情報を前記視覚情報として取得し、
前記処理部は、
前記操作情報に基づいて、前記ユーザの目の状態を特定する
ことを特徴とする請求項1~11のいずれか1項に記載の情報処理装置。 - 前記取得部は、
前記ユーザの前記端末装置への接触位置を示す前記操作情報を取得し、
前記処理部は、
前記接触位置と、前記接触位置に対応する表示物の位置との比較に基づいて、前記ユーザの目の状態を特定する
ことを特徴とする請求項12に記載の情報処理装置。 - タッチパネルの機能を有する端末装置または前記端末装置以外のコンピュータである情報処理装置が実行する情報処理方法であって、
前記端末装置を使用するユーザの目の状態を示す視覚情報であって、前記ユーザが左右いずれか一方のみの目で端末装置の表示画面を視認している状態である片眼視の状態であるか否かを示す前記視覚情報を取得する取得工程と、
前記取得工程により取得された前記視覚情報が示す前記ユーザの目の状態が片眼視である場合、左右いずれか一方のみの目のみを用いた片眼視の場合に生じる両眼視の場合との視差に応じて、前記ユーザによる操作の受付態様を変更することにより、前記端末装置における処理態様を最適化する処理工程と、
を含むことを特徴とする情報処理方法。 - タッチパネルの機能を有する端末装置または前記端末装置以外のコンピュータである情報処理装置であって、
前記端末装置を使用するユーザの目の状態を示す視覚情報であって、前記ユーザが左右いずれか一方のみの目で端末装置の表示画面を視認している状態である片眼視の状態であるか否かを示す前記視覚情報を取得する取得手順と、
前記取得手順により取得された前記視覚情報が示す前記ユーザの目の状態が片眼視である場合、左右いずれか一方のみの目のみを用いた片眼視の場合に生じる両眼視の場合との視差に応じて、前記ユーザによる操作の受付態様を変更することにより、前記端末装置における処理態様を最適化する処理手順と、
をコンピュータに実行させることを特徴とする情報処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020210796A JP7087055B1 (ja) | 2020-12-18 | 2020-12-18 | 情報処理装置、情報処理方法、及び情報処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020210796A JP7087055B1 (ja) | 2020-12-18 | 2020-12-18 | 情報処理装置、情報処理方法、及び情報処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7087055B1 true JP7087055B1 (ja) | 2022-06-20 |
JP2022097291A JP2022097291A (ja) | 2022-06-30 |
Family
ID=82067857
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020210796A Active JP7087055B1 (ja) | 2020-12-18 | 2020-12-18 | 情報処理装置、情報処理方法、及び情報処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7087055B1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012208714A (ja) | 2011-03-29 | 2012-10-25 | Kyocera Corp | 携帯電子機器 |
JP2018018437A (ja) | 2016-07-29 | 2018-02-01 | 富士ゼロックス株式会社 | 画像表示装置、画像形成装置、および、プログラム |
JP2020057441A (ja) | 2020-01-14 | 2020-04-09 | パイオニア株式会社 | 操作装置、制御方法、プログラム及び記憶媒体 |
-
2020
- 2020-12-18 JP JP2020210796A patent/JP7087055B1/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012208714A (ja) | 2011-03-29 | 2012-10-25 | Kyocera Corp | 携帯電子機器 |
JP2018018437A (ja) | 2016-07-29 | 2018-02-01 | 富士ゼロックス株式会社 | 画像表示装置、画像形成装置、および、プログラム |
JP2020057441A (ja) | 2020-01-14 | 2020-04-09 | パイオニア株式会社 | 操作装置、制御方法、プログラム及び記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP2022097291A (ja) | 2022-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2905693B1 (en) | Method and apparatus for controlling flexible display and electronic device adapted to the method | |
CN107438935B (zh) | 用于无线充电的方法和装置 | |
EP2891966B1 (en) | Electronic glasses and method for correcting color blindness | |
EP2911036B1 (en) | Method and apparatus for power sharing | |
KR102248474B1 (ko) | 음성 명령 제공 방법 및 장치 | |
US10261683B2 (en) | Electronic apparatus and screen display method thereof | |
EP3105919B1 (en) | Photographing method of an electronic device and the electronic device thereof | |
US20150317120A1 (en) | Method and apparatus for outputting contents using a plurality of displays | |
EP2916202A1 (en) | Method and apparatus for detecting user input in an electronic device | |
KR102547115B1 (ko) | 어플리케이션을 전환하기 위한 방법 및 그 전자 장치 | |
EP2950204A1 (en) | Method for organizing home screen and electronic device implementing the same | |
EP3096203A1 (en) | Frame rate control method and electronic device thereof | |
US20150378599A1 (en) | Method and electronic device for displaying virtual keyboard | |
EP2947556B1 (en) | Method and apparatus for processing input using display | |
KR20160111211A (ko) | 데이터 통신 방법 및 그 전자 장치 | |
KR102319286B1 (ko) | 드래그 앤 드롭 처리 방법 및 장치 | |
KR20150135837A (ko) | 디스플레이 운용 전자장치 및 방법 | |
EP3092613B1 (en) | Image processing method and electronic device implementing the same | |
KR20150136792A (ko) | 멀티 심이 구비된 전자 장치 및 방법 | |
KR20160135476A (ko) | 전자 장치 및 그의 카메라 제어 방법 | |
US9852705B2 (en) | Method for controlling a display of an electronic device | |
KR20160026500A (ko) | 전자 장치의 통화 단절 메시지 전송 방법 및 그 전자 장치 | |
JP7087055B1 (ja) | 情報処理装置、情報処理方法、及び情報処理プログラム | |
KR20160068514A (ko) | 터치 입력을 제어하는 전자 장치 및 방법 | |
EP2990929B1 (en) | Electronic device and method for setting block |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210317 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220401 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220608 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7087055 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |