JP7394813B2 - 端末装置、制御方法及び制御プログラム - Google Patents

端末装置、制御方法及び制御プログラム Download PDF

Info

Publication number
JP7394813B2
JP7394813B2 JP2021120046A JP2021120046A JP7394813B2 JP 7394813 B2 JP7394813 B2 JP 7394813B2 JP 2021120046 A JP2021120046 A JP 2021120046A JP 2021120046 A JP2021120046 A JP 2021120046A JP 7394813 B2 JP7394813 B2 JP 7394813B2
Authority
JP
Japan
Prior art keywords
screen
user
terminal device
contrast
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021120046A
Other languages
English (en)
Other versions
JP2023015944A (ja
Inventor
修司 山口
奈翁美 笹谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2021120046A priority Critical patent/JP7394813B2/ja
Publication of JP2023015944A publication Critical patent/JP2023015944A/ja
Application granted granted Critical
Publication of JP7394813B2 publication Critical patent/JP7394813B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Description

本発明は、端末装置、制御方法及び制御プログラムに関する。
従来、周囲の明るさに合わせて画面の輝度を適切に制御することが可能なスマートフォンなどの携帯端末装置が普及している。例えば、利用者の使用中に画面の輝度を周囲の明るさに合わせて調整する携帯端末装置に関する技術が提案されている。
特開２０１６－３８５０４号公報
しかしながら、上記の従来技術では、利用者による画面の視認性を向上させるうえで改善の余地がある。例えば、上記の従来技術では、利用者の使用中に画面の輝度を周囲の明るさに合わせて調整するに過ぎないので、利用者による画面の視認性が高いとは言えない。
本願は、上記に鑑みてなされたものであって、利用者による画面の視認性を向上させることができる端末装置、制御方法及び制御プログラムを提供することを目的とする。
本願に係る端末装置は、撮影対象となる被写体の画像を撮影するカメラと、前記カメラが撮影した前記画像を表示する画面と、センサが取得したセンサ情報を取得する取得部と、前記センサ情報に基づいて、利用者による前記画面の閲覧行為に関するコンテキストを推定する推定部と、前記コンテキストに応じて、前記カメラによる前記画像の撮影態様または前記画面による前記画像の表示態様を制御する態様制御部と、を備えることを特徴とする。
実施形態の一態様によれば、利用者による画面の視認性を向上させることができるといった効果を奏する。
図１は、実施形態に係る情報処理の概要を示す図である。 図２は、実施形態に係る端末装置の構成例を示す図である。 図３は、実施形態に係る処理手順を示すフローチャートである。 図４は、ハードウェア構成の一例を示す図である。
以下に、本願に係る端末装置、制御方法及び制御プログラムを実施するための形態（以下、「実施形態」と記載する）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る端末装置、制御方法及び制御プログラムが限定されるものではない。また、以下の実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
〔１．情報処理方法の概要〕
図１は、実施形態に係る情報処理方法の概要を示す説明図である。図１に示す端末装置１００は、利用者Ｕによって使用される情報処理装置である。例えば、端末装置１００は、スマートフォンやタブレット端末等のスマートデバイス、フィーチャーフォン、ＰＣ（Personal Computer）、ＰＤＡ（Personal Digital Assistant）、通信機能を備えたゲーム機、カーナビゲーションシステム、スマートウォッチやヘッドマウントディスプレイ等のウェアラブルデバイス（Wearable Device）、スマートグラス等である。図１では、端末装置１００がスマートフォンである場合について説明する。
また、かかる端末装置１００は、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）、５Ｇ（5th Generation：第５世代移動通信システム）等の無線通信網や、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Local Area Network）等の近距離無線通信を介してネットワークＮに接続し、端末装置１００に接続された各種センサ（例えば、ＩｏＴセンサ等）と通信することができる。
また、端末装置１００は、利用者による画面１５０の閲覧行為に関するコンテキストを推定し、推定したコンテキストに応じて、カメラ１４０による画像の撮影態様または画面１５０による画像の表示態様を制御する。例えば、端末装置１００は、利用者が端末装置１００にインストールされたアプリケーションＡＰ＃１（制御プログラムの一例）を起動した場合に、アプリケーションＡＰ＃１を実行することで、これらの処理を行う。
より具体的には、端末装置１００は、ルーペ（拡大鏡）の機能を備える。例えば、利用者Ｕが撮影対象Ｏ１に対して端末装置１００をかざすと、端末装置１００に搭載されたカメラ１４０が、撮影対象Ｏ１の画像を撮影する。また、端末装置１００の画面１５０は、カメラ１４０が撮影した画像を表示する。なお、以下では、画面１５０のうち撮影対象Ｏ１の表示領域のことを、被写体Ｏ１と記載する。
このとき、端末装置１００のアプリケーションＡＰ＃１を起動した状態で利用者Ｕが撮影対象Ｏ１に対して端末装置１００をかざすと、端末装置１００は、アプリケーションＡＰ＃１のルーペ機能により、画面１５０に表示される被写体Ｏ１の大きさを拡大して画面１５０に表示する。
図１の左に示す例では、撮影対象Ｏ１の表面に「成分表示 ＸＸＸＸＹＹＹ１２３…」といった小さな文字が表示されている。このとき、端末装置１００は、アプリケーションＡＰ＃１のルーペ機能により、画面１５０に表示される被写体Ｏ１の大きさを拡大して画面１５０に表示する。
また、図１に示す例では、端末装置１００は、端末装置１００に搭載されたＴｏＦセンサによって、利用者Ｕの顔と画面１５０との第１距離を推定する。続いて、端末装置１００は、第１距離が第１閾値以上であるか否かを判定する。ここで、第１閾値は、利用者Ｕによる普段の画面１５０の閲覧時の利用者Ｕの顔と画面１５０との距離の平均値である。
例えば、端末装置１００は、利用者Ｕによる過去の画面１５０の閲覧行為に関する閲覧態様に基づいて、利用者Ｕによる普段の画面１５０の閲覧行為に関する普段の閲覧態様を学習する。続いて、端末装置１００は、利用者Ｕによる普段の画面１５０の閲覧時の利用者Ｕの顔と画面１５０との距離の平均値（以下、第１閾値ともいう）を算出する。
図１の左に示す例では、端末装置１００は、利用者Ｕの顔と画面１５０との第１距離Ｌ１が第１閾値未満であると判定する。図１の左に示す状態の後、利用者Ｕが画面１５０から顔を遠ざけて、図１の右に示す状態に変化したとする。図１の右に示す例では、端末装置１００は、利用者Ｕの顔と画面１５０との第１距離Ｌ２が第１閾値以上であると判定する。このとき、端末装置１００は、利用者Ｕの顔と画面１５０との第１距離Ｌ２が、利用者Ｕによる普段の画面１５０の閲覧時の利用者Ｕの顔と画面１５０との距離の平均値よりも遠いので、利用者Ｕによる画面１５０の視認性が普段と比べて低い状況であると推定する。端末装置１００は、利用者Ｕによる画面１５０の視認性が普段と比べて低い状況であると推定した場合には、利用者Ｕによる画面１５０の視認性を向上させるようにカメラ１４０による画像の撮影態様または画面１５０による画像の表示態様を制御する。
図１の右に示す例では、端末装置１００は、利用者Ｕによる画面１５０の視認性を向上させるために、アプリケーションＡＰ＃１のルーペ機能の拡大率を上げることにより、図１の左に示す場合よりも画面１５０に表示される被写体Ｏ１の大きさを拡大して画面１５０に表示する。このように、端末装置１００は、撮影対象Ｏ１の表面に表示された「成分表示 ＸＸＸＸＹＹＹ１２３…」といった小さな文字を図１の左に示す場合よりもさらに拡大して表示する。例えば、端末装置１００は、利用者Ｕが画面１５０から顔を遠ざけた距離「Ｌ２－Ｌ１」に応じて、図１の左に示す場合より文字を拡大して表示する。
これにより、端末装置１００は、利用者Ｕが画面１５０から顔を遠ざけたことにより、利用者Ｕによる画面１５０の視認性が低下した場合であっても、顔を遠ざけた分だけ文字を拡大して表示することにより、利用者Ｕによる画面１５０の視認性を向上させることができる。すなわち、端末装置１００は、利用者Ｕによる画面１５０の視認性の低下を補填することができる。したがって、端末装置１００は、従来と比べると、利用者Ｕによる画面１５０の視認性を向上させることができる。
なお、図１では、第１閾値が、利用者Ｕによる普段の画面１５０の閲覧時の利用者Ｕの顔と画面１５０との距離の平均値である場合について説明したが、第１閾値は平均値に限られない。具体的には、第１閾値は、利用者Ｕによる普段の画面１５０の閲覧時の利用者Ｕの顔と画面１５０との距離の統計的な代表値であってもよい。例えば、第１閾値は、利用者Ｕによる普段の画面１５０の閲覧時の利用者Ｕの顔と画面１５０との距離の中央値または最頻値であってもよい。また、第１閾値は、利用者Ｕによる過去の所定期間における画面１５０の閲覧時の利用者Ｕの顔と画面１５０との距離の平均値、中央値または最頻値であってもよい。
〔２．端末装置の構成例〕
次に、図２を用いて、端末装置１００の構成について説明する。図２は、端末装置１００の構成例を示す図である。図２に示すように、端末装置１００は、通信部１１０と、記憶部１２０と、センサ１３０と、カメラ１４０と、画面１５０と、制御部１６０とを備える。
（通信部１１０）
通信部１１０は、ネットワークＮ（図示略）と有線又は無線で接続され、ネットワークＮを介して、例えば、センサ類を搭載する外部の検知装置との間で情報の送受信を行う。例えば、通信部１１０は、ＮＩＣ（Network Interface Card）やアンテナ等によって実現される。
（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、又は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、光ディスク等の記憶装置によって実現される。かかる記憶部１２０には、各種プログラム（例えば、制御プログラム）や各種データ等が記憶される。
（センサ１３０）
センサ１３０は、端末装置１００に搭載又は接続される各種のセンサを含む。なお、接続は、有線接続、無線接続を問わない。例えば、センサ類は、ウェアラブルデバイスやワイヤレスデバイス等、端末装置１００以外の検知装置であってもよい。例えば、センサ１３０は、ＴｏＦ（Time of Flight）センサと、加速度センサと、ジャイロセンサと、気圧センサと、気温センサと、音センサと、光センサと、磁気センサとを備える。
なお、上記した各センサは、あくまでも例示であって限定されるものではない。すなわち、センサ１３０は、上記した各センサのうちの一部を備える構成であってもよいし、上記した各センサに加えてあるいは代えて、湿度センサ等その他のセンサを備えてもよい。
ＴｏＦセンサは、例えば、ＬｉＤＡＲ（light detection and ranging）の技術を用いて、レーザーなどの光、または光に近い超音波を数回発射し、被写体に反射して戻ってくるまでの時間（位相遅延）を距離に換算する。例えば、ＴｏＦセンサは、端末装置１００の画面１５０と利用者の顔との距離を検知する。また、例えば、ＴｏＦセンサは、端末装置１００のカメラ１４０と撮影対象物との距離を検知する。
加速度センサは、例えば、３軸加速度センサであり、端末装置１００の移動方向、速度、及び、加速度等の端末装置１００の物理的な動きを検知する。ジャイロセンサは、端末装置１００の角速度等に基づいて３軸方向の傾き等の端末装置１００の物理的な動きを検知する。気圧センサは、例えば端末装置１００の周囲の気圧を検知する。
端末装置１００は、上記した加速度センサやジャイロセンサ、気圧センサ等を備えることから、これらの各センサ等を利用した歩行者自律航法（ＰＤＲ：Pedestrian Dead-Reckoning）等の技術を用いて端末装置１００の位置を測位することが可能になる。これにより、ＧＰＳ等の測位システムでは取得することが困難な屋内での位置情報を取得することが可能になる。
例えば、加速度センサを利用した歩数計により、歩数や歩くスピード、歩いた距離を算出することができる。また、ジャイロセンサを利用して、利用者の進行方向や視線の方向、体の傾きを知ることができる。また、気圧センサで検知した気圧から、利用者の端末装置１００が存在する高度やフロアの階数を知ることもできる。
気温センサは、例えば端末装置１００の周囲の気温を検知する。音センサは、例えば端末装置１００の周囲の音を検知する。光センサは、端末装置１００の周囲の照度を検知する。磁気センサは、例えば端末装置１００の周囲の地磁気を検知する。
上記した気圧センサ、気温センサ、音センサ及び光センサは、それぞれ気圧、気温、音、照度を検知したりすることで、端末装置１００の周囲の環境や状況等を検知することができる。また、端末装置１００の周囲の環境や状況等から、端末装置１００の位置情報の精度を向上させることが可能になる。
（カメラ１４０）
カメラ１４０は、撮影対象となる被写体の画像を撮影する。例えば、カメラ１４０は、外向きカメラである。外向きカメラであるカメラ１４０は、端末装置１００の外側(例えば、画面１５０とは逆側)を撮像するカメラであり、撮影対象となる被写体の画像を撮影する。
また、カメラ１４０は、外向きカメラに加えて、内向きカメラを備えてよい。内向きカメラであるカメラ１４０は、端末装置１００の内側(たとえば、画面１５０側)を撮像するカメラであり、画面１５０に表示された画像を閲覧する利用者を撮影する。
（画面１５０）
画面１５０は、カメラ１４０が撮影した画像を表示する。画面１５０は、例えば、タッチパネルディスプレイであり、画像を表示するとともに、利用者による各種の操作を受け付ける。
（制御部１６０）
制御部１６０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、端末装置１００内部の記憶装置に記憶されている各種プログラム（制御プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１６０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。
制御部１６０は、取得部１６１と、推定部１６２と、態様制御部１６３とを機能部として有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部１６０の内部構成は、図２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、各機能部は、制御部１６０の機能を示したものであり、必ずしも物理的に区別されるものでなくともよい。
（取得部１６１）
取得部１６１は、センサ１３０が取得したセンサ情報を取得する。例えば、取得部１６１は、センサ１３０が備えるＴｏＦセンサから、ＴｏＦセンサによって検出されたセンサ情報を取得する。
（推定部１６２）
推定部１６２は、利用者による過去の画面１５０の閲覧行為に関する閲覧態様に基づいて、利用者による普段の画面１５０の閲覧行為に関する普段の閲覧態様を学習する。例えば、推定部１６２は、仕事中であるか、プライベートであるかに応じて、それぞれの普段の閲覧態様を個別に学習する。続いて、推定部１６２は、仕事中であるか、プライベートであるかに応じて、利用者による普段の画面１５０の閲覧時の利用者の顔と画面１５０との距離の平均値（以下、第１閾値ともいう）を算出する。
推定部１６２は、取得部１６１が取得したセンサ情報に基づいて、利用者による画面１５０の閲覧行為に関するコンテキストを推定する。具体的には、推定部１６２は、コンテキストの一例として、利用者による画面１５０の視認性が低い状況を推定する。例えば、推定部１６２は、コンテキストの一例として、利用者の顔と画面１５０との第１距離を推定する。例えば、推定部１６２は、取得部１６１が取得したＴｏＦセンサのセンサ情報に基づいて、第１距離を推定する。続いて、推定部１６２は、第１距離が第１閾値以上である場合には、第１距離が第１閾値未満である場合と比べて、利用者による画面１５０の視認性が低い状況であると推定する。
（態様制御部１６３）
態様制御部１６３は、コンテキストに応じて、カメラ１４０による画像の撮影態様または画面１５０による画像の表示態様を制御する。具体的には、態様制御部１６３は、推定部１６２によって画面１５０の視認性が低い状況であると推定された場合には、画面１５０の視認性が低い状況よりも画面１５０の視認性を向上させるように撮影態様または表示態様を制御する。例えば、態様制御部１６３は、利用者による普段の画面１５０の閲覧行為に関する普段の閲覧態様からの変化に応じて、普段の閲覧態様からの変化を相殺するように撮影態様または表示態様を制御する。つまり、態様制御部１６３は、利用者による普段の画面１５０の閲覧行為に関する普段の閲覧態様と画面１５０の視認性が低い状況における閲覧態様における変化量に応じて、画面１５０の視認性が低い状況から利用者による普段の画面１５０の閲覧行為に関する普段の閲覧態様に戻すように撮影態様または表示態様を制御する。
例えば、態様制御部１６３は、推定部１６２によって画面１５０の視認性が低い状況であると推定された場合には、利用者によって視認される画面１５０に表示された文字の大きさを拡大するように撮影態様を制御する。例えば、態様制御部１６３は、推定部１６２によって推定された利用者の顔と画面１５０との第１距離と第１閾値との差分に応じて、文字の大きさを拡大するように撮影態様を制御する。例えば、態様制御部１６３は、推定部１６２によって推定された利用者の顔と画面１５０との第１距離と第１閾値との差分に比例して拡大率を上げるように撮影態様を制御する。例えば、態様制御部１６３は、カメラ１４０の光学ズームの拡大率を大きくするようカメラ１４０を制御しながら文字を撮影することで、文字の大きさを拡大して撮影する。例えば、態様制御部１６３は、カメラ１４０のレンズの中心点からイメージセンサまでの距離（焦点距離）を大きくするようにカメラ１４０を制御することで、文字の大きさを拡大して撮影する。
なお、態様制御部１６３は、カメラ１４０の光学ズームの拡大率を小さくするようカメラ１４０を制御しながら文字を撮影することで、文字の大きさを縮小して撮影することができる。例えば、態様制御部１６３は、カメラ１４０のレンズの中心点からイメージセンサまでの距離（焦点距離）を小さくするようにカメラ１４０を制御することで、文字の大きさを縮小して撮影することができる。
また、例えば、態様制御部１６３は、推定部１６２によって画面１５０の視認性が低い状況であると推定された場合には、利用者によって視認される画面１５０に表示された文字の大きさを拡大するように表示態様を制御する。例えば、態様制御部１６３は、推定部１６２によって推定された利用者の顔と画面１５０との第１距離と第１閾値との差分に応じて、文字の大きさを拡大するように表示態様を制御する。例えば、態様制御部１６３は、推定部１６２によって推定された利用者の顔と画面１５０との第１距離と第１閾値との差分に比例して拡大率を上げるように表示態様を制御する。例えば、態様制御部１６３は、画像に対するデジタルズームの拡大率を大きくするよう画面を制御することで、文字の大きさを拡大して表示する。例えば、態様制御部１６３は、画像の一部を引き延ばして画面１５０に表示することで、文字の大きさを拡大して表示する。
このように、態様制御部１６３は、推定部１６２によって画面１５０の視認性が低い状況であると推定された場合には、利用者によって視認される画面１５０に表示された被写体の大きさを拡大するように撮影態様または表示態様を制御する。
〔３．処理手順〕
次に、図３を用いて実施形態に係る端末装置１００による処理手順について説明する。図３は、実施形態に係る処理手順を示すフローチャートである。なお、以下に示す処理手順は、端末装置１００の制御部１６０によって繰り返し実行される。
図３ではまず、端末装置１００の取得部１６１は、センサ１３０が取得したセンサ情報を取得する（ステップＳ１０１）。端末装置１００の推定部１６２は、取得部１６１が取得したセンサ情報に基づいて、利用者による画面の閲覧行為に関するコンテキストを推定する（ステップＳ１０２）。端末装置１００の態様制御部１６３は、推定部１６２が推定したコンテキストに応じて、カメラ１４０による画像の撮影態様または画面１５０による画像の表示態様を制御する（ステップＳ１０３）。
〔４．変形例〕
上述した端末装置１００は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、実施形態の変形例について説明する。
上記の実施形態では、推定部１６２は、利用者の顔と画面１５０との第１距離を推定する。続いて、推定部１６２は、第１距離が第１閾値以上である場合には、第１距離が第１閾値未満である場合と比べて、利用者による画面１５０の視認性が低い状況であると推定する場合について説明した。しかしながら、推定部１６２は、利用者の顔と画面１５０との第１距離以外の情報に基づいて、利用者による画面１５０の視認性が低い状況を推定してもよい。
例えば、推定部１６２は、利用者による過去の画面１５０の閲覧行為に関する閲覧態様に基づいて、利用者による普段の画面１５０の閲覧行為に関する普段の閲覧態様を学習する。例えば、推定部１６２は、仕事中であるか、プライベートであるかに応じて、それぞれの普段の閲覧態様を個別に学習する。続いて、推定部１６２は、仕事中であるか、プライベートであるかに応じて、利用者による普段の画面１５０の閲覧時の被写体とカメラ１４０とのとの距離の平均値（以下、第２閾値ともいう）を算出する。なお、第２閾値は平均値に限られない。具体的には、第２閾値は、利用者による普段の画面１５０の閲覧時の被写体とカメラ１４０とのとの距離の統計的な代表値であってもよい。例えば、第２閾値は、利用者による普段の画面１５０の閲覧時の被写体とカメラ１４０とのとの距離の中央値または最頻値であってもよい。また、第２閾値は、利用者による過去の所定期間における画面１５０の閲覧時の被写体とカメラ１４０とのとの距離の平均値、中央値または最頻値であってもよい。
また、例えば、推定部１６２は、コンテキストの一例として、被写体とカメラ１４０との第２距離を推定する。例えば、推定部１６２は、取得部１６１が取得したＴｏＦセンサのセンサ情報に基づいて、第２距離を推定する。続いて、推定部１６２は、第２距離が第２閾値以上である場合には、第２距離が第２閾値未満である場合と比べて、利用者による画面１５０の視認性が低い状況であると推定する。
例えば、推定部１６２は、仕事中であるか、プライベートであるかに応じて、利用者による普段の画面１５０の閲覧時の画面１５０における明度の差による明度のコントラストの強さを示す値の平均値（以下、第３閾値ともいう）を算出する。なお、第３閾値は平均値に限られない。具体的には、第３閾値は、利用者による普段の画面１５０の閲覧時の画面１５０における明度の差による明度のコントラストの強さを示す値の統計的な代表値であってもよい。例えば、第３閾値は、利用者による普段の画面１５０の閲覧時の画面１５０における明度の差による明度のコントラストの強さを示す値の中央値または最頻値であってもよい。また、第３閾値は、利用者による過去の所定期間における画面１５０の閲覧時の画面１５０における明度の差による明度のコントラストの強さを示す値の平均値、中央値または最頻値であってもよい。
また、例えば、推定部１６２は、コンテキストの一例として、利用者によって視認される画面１５０における明度の差による明度のコントラストを推定する。例えば、推定部１６２は、画面１５０における明度のコントラストを計測可能なアプリケーションを用いて、画面１５０における明度のコントラストを推定する。続いて、推定部１６２は、明度のコントラストの強さが第３閾値未満である場合には、明度のコントラストの強さが第３閾値以上である場合と比べて、利用者による画面１５０の視認性が低い状況であると推定する。
例えば、推定部１６２は、仕事中であるか、プライベートであるかに応じて、利用者による普段の画面１５０の閲覧時の画面１５０における色相の差による色相のコントラストの強さを示す値の平均値（以下、第４閾値ともいう）を算出する。なお、第４閾値は平均値に限られない。具体的には、第４閾値は、利用者による普段の画面１５０の閲覧時の画面１５０における色相の差による色相のコントラストの強さを示す値の統計的な代表値であってもよい。例えば、第４閾値は、利用者による普段の画面１５０の閲覧時の画面１５０における色相の差による色相のコントラストの強さを示す値の中央値または最頻値であってもよい。また、第４閾値は、利用者による過去の所定期間における画面１５０の閲覧時の画面１５０における色相の差による色相のコントラストの強さを示す値の平均値、中央値または最頻値であってもよい。
また、例えば、推定部１６２は、コンテキストの一例として、利用者によって視認される画面１５０における色相の差による色相のコントラストを推定する。例えば、推定部１６２は、画面１５０における色相のコントラストを計測可能なアプリケーションを用いて、画面１５０における色相のコントラストを推定する。続いて、推定部１６２は、色相のコントラストの強さが第４閾値未満である場合には、色相のコントラストの強さが第４閾値以上である場合と比べて、利用者による画面１５０の視認性が低い状況であると推定する。
例えば、推定部１６２は、仕事中であるか、プライベートであるかに応じて、利用者による普段の画面１５０の閲覧時の画面１５０における彩度の差による彩度のコントラストの強さを示す値の平均値（以下、第５閾値ともいう）を算出する。なお、第５閾値は平均値に限られない。具体的には、第５閾値は、利用者による普段の画面１５０の閲覧時の画面１５０における彩度の差による彩度のコントラストの強さを示す値の統計的な代表値であってもよい。例えば、第５閾値は、利用者による普段の画面１５０の閲覧時の画面１５０における彩度の差による彩度のコントラストの強さを示す値の中央値または最頻値であってもよい。また、第５閾値は、利用者による過去の所定期間における画面１５０の閲覧時の画面１５０における彩度の差による彩度のコントラストの強さを示す値の平均値、中央値または最頻値であってもよい。
また、例えば、推定部１６２は、コンテキストの一例として、利用者によって視認される画面１５０における彩度の差による彩度のコントラストを推定する。例えば、推定部１６２は、画面１５０における彩度のコントラストを計測可能なアプリケーションを用いて、画面１５０における彩度のコントラストを推定する。続いて、推定部１６２は、彩度のコントラストの強さが第５閾値未満である場合には、彩度のコントラストの強さが第５閾値以上である場合と比べて、利用者による画面１５０の視認性が低い状況であると推定する。
例えば、推定部１６２は、仕事中であるか、プライベートであるかに応じて、利用者による普段の画面１５０の閲覧時の利用者の周囲における明度と画面１５０における明度との差による相対的な明度のコントラストの強さを示す値の平均値（以下、第６閾値ともいう）を算出する。なお、第６閾値は平均値に限られない。具体的には、第６閾値は、利用者による普段の画面１５０の利用者の周囲における明度と画面１５０における明度との差による相対的な明度のコントラストの強さを示す値の統計的な代表値であってもよい。例えば、第６閾値は、利用者による普段の画面１５０の利用者の周囲における明度と画面１５０における明度との差による相対的な明度のコントラストの強さを示す値の中央値または最頻値であってもよい。また、第６閾値は、利用者による過去の所定期間における画面１５０の閲覧時の利用者の周囲における明度と画面１５０における明度との差による相対的な明度のコントラストの強さを示す値の平均値、中央値または最頻値であってもよい。
また、例えば、推定部１６２は、コンテキストの一例として、利用者の周囲における明度と画面１５０における明度との差による相対的な明度のコントラストを推定する。例えば、推定部１６２は、画面１５０における明度を計測可能なアプリケーションを用いて、画面１５０における明度を推定する。また、推定部１６２は、取得部１６１がセンサ１３０の光センサから取得した端末装置１００の周囲の照度に基づいて、利用者の周囲における明度を推定する。続いて、推定部１６２は、相対的な明度のコントラストの強さが第６閾値未満である場合には、相対的な明度のコントラストの強さが第６閾値以上である場合と比べて、利用者による画面１５０の視認性が低い状況であると推定する。
例えば、推定部１６２は、仕事中であるか、プライベートであるかに応じて、利用者による普段の画面１５０の閲覧時の利用者の周囲における色相と画面１５０における色相との差による相対的な色相のコントラストの強さを示す値の平均値（以下、第７閾値ともいう）を算出する。なお、第７閾値は平均値に限られない。具体的には、第７閾値は、利用者による普段の画面１５０の利用者の周囲における色相と画面１５０における色相との差による相対的な色相のコントラストの強さを示す値の統計的な代表値であってもよい。例えば、第７閾値は、利用者による普段の画面１５０の利用者の周囲における色相と画面１５０における色相との差による相対的な色相のコントラストの強さを示す値の中央値または最頻値であってもよい。また、第７閾値は、利用者による過去の所定期間における画面１５０の閲覧時の利用者の周囲における色相と画面１５０における色相との差による相対的な色相のコントラストの強さを示す値の平均値、中央値または最頻値であってもよい。
また、例えば、推定部１６２は、コンテキストの一例として、利用者の周囲における色相と画面１５０における色相との差による相対的な色相のコントラストを推定する。例えば、推定部１６２は、画面１５０における色相を計測可能なアプリケーションを用いて、画面１５０における色相を推定する。また、推定部１６２は、取得部１６１がセンサ１３０の光センサから取得した端末装置１００の周囲の色相を示す情報に基づいて、利用者の周囲における色相を推定する。続いて、推定部１６２は、相対的な色相のコントラストの強さが第７閾値未満である場合には、相対的な色相のコントラストの強さが第７閾値以上である場合と比べて、利用者による画面１５０の視認性が低い状況であると推定する。
例えば、推定部１６２は、仕事中であるか、プライベートであるかに応じて、利用者による普段の画面１５０の閲覧時の利用者の周囲における彩度と画面１５０における彩度との差による相対的な彩度のコントラストの強さを示す値の平均値（以下、第８閾値ともいう）を算出する。なお、第８閾値は平均値に限られない。具体的には、第８閾値は、利用者による普段の画面１５０の利用者の周囲における彩度と画面１５０における彩度との差による相対的な彩度のコントラストの強さを示す値の統計的な代表値であってもよい。例えば、第８閾値は、利用者による普段の画面１５０の利用者の周囲における彩度と画面１５０における彩度との差による相対的な彩度のコントラストの強さを示す値の中央値または最頻値であってもよい。また、第８閾値は、利用者による過去の所定期間における画面１５０の閲覧時の利用者の周囲における彩度と画面１５０における彩度との差による相対的な彩度のコントラストの強さを示す値の平均値、中央値または最頻値であってもよい。
また、例えば、推定部１６２は、コンテキストの一例として、利用者の周囲における彩度と画面１５０における彩度との差による相対的な彩度のコントラストを推定する。例えば、推定部１６２は、画面１５０における彩度を計測可能なアプリケーションを用いて、画面１５０における彩度を推定する。また、推定部１６２は、取得部１６１がセンサ１３０の光センサから取得した端末装置１００の周囲の彩度を示す情報に基づいて、利用者の周囲における彩度を推定する。続いて、推定部１６２は、相対的な彩度のコントラストの強さが第８閾値未満である場合には、相対的な彩度のコントラストの強さが第８閾値以上である場合と比べて、利用者による画面１５０の視認性が低い状況であると推定する。
また、例えば、推定部１６２は、コンテキストの一例として、利用者の運動状態を推定する。例えば、推定部１６２は、取得部１６１がセンサ１３０の加速度センサから取得した端末装置１００の移動方向、速度、及び、加速度等のセンサ情報に基づいて、利用者の運動状態を推定する。また、推定部１６２は、取得部１６１がセンサ１３０のジャイロセンサから取得した端末装置１００の角速度等のセンサ情報に基づいて、利用者の運動状態を推定してよい。続いて、推定部１６２は、利用者が静止している状態よりも利用者が運動している状態の方が利用者による画面１５０の視認性が低い状況であると推定する。
また、上記の実施形態では、態様制御部１６３は、推定部１６２によって画面１５０の視認性が低い状況であると推定された場合には、利用者によって視認される画面１５０に表示された文字の大きさを拡大するように撮影態様または表示態様を制御する場合について説明した。しかしながら、態様制御部１６３は、文字の大きさを拡大する以外の方法によって撮影態様または表示態様を制御してもよい。
例えば、態様制御部１６３は、推定部１６２によって画面１５０の視認性が低い状況であると推定された場合には、利用者によって視認される画面１５０における明度の差による明度のコントラスト、色相の差による色相のコントラスト、または彩度の差による彩度のコントラストを強くするように撮影態様または表示態様を制御する。例えば、態様制御部１６３は、明度のコントラスト、色相のコントラスト、または彩度のコントラストを強くするように画面１５０を制御することで、画面１５０による画像の表示態様を制御する。または、態様制御部１６３は、明度のコントラスト、色相のコントラスト、または彩度のコントラストを強くするように画像に対する画像処理を行うことで、画面１５０による画像の表示態様を制御してもよい。続いて、態様制御部１６３は、明度のコントラスト、色相のコントラスト、または彩度のコントラストを強くした状態で画像を撮影することで、明度のコントラスト、色相のコントラスト、または彩度のコントラストを強くするようにカメラ１４０による画像の撮影態様を制御する。
例えば、態様制御部１６３は、推定部１６２によって推定された利用者によって視認される明度のコントラストの強さを示す値と第３閾値との差分の大きさに応じて、明度のコントラストを強くするように撮影態様または表示態様を制御する。例えば、態様制御部１６３は、推定部１６２によって推定された利用者によって視認される明度のコントラストの強さを示す値と第３閾値との差分の大きさに比例して明度のコントラストを強くするように撮影態様または表示態様を制御する。
例えば、態様制御部１６３は、推定部１６２によって推定された利用者によって視認される色相のコントラストの強さを示す値と第４閾値との差分の大きさに応じて、色相のコントラストを強くするように撮影態様または表示態様を制御する。例えば、態様制御部１６３は、推定部１６２によって推定された利用者によって視認される色相のコントラストの強さを示す値と第４閾値との差分の大きさに比例して色相のコントラストを強くするように撮影態様または表示態様を制御する。
例えば、態様制御部１６３は、推定部１６２によって推定された利用者によって視認される彩度のコントラストの強さを示す値と第５閾値との差分の大きさに応じて、彩度のコントラストを強くするように撮影態様または表示態様を制御する。例えば、態様制御部１６３は、推定部１６２によって推定された利用者によって視認される彩度のコントラストの強さを示す値と第５閾値との差分の大きさに比例して彩度のコントラストを強くするように撮影態様または表示態様を制御する。
また、態様制御部１６３は、推定部１６２によって画面１５０の視認性が低い状況であると推定された場合には、利用者の周囲における明度と画面１５０における明度との差による相対的な明度のコントラスト、利用者の周囲における色相と画面１５０における色相との差による相対的な色相のコントラスト、または利用者の周囲における彩度と画面１５０における彩度との差による相対的な彩度のコントラストを強くするように撮影態様または表示態様を制御する。例えば、態様制御部１６３は、相対的な明度のコントラスト、相対的な色相のコントラスト、または相対的な彩度のコントラストを強くするように画面１５０を制御することで、画面１５０による画像の表示態様を制御する。または、態様制御部１６３は、相対的な明度のコントラスト、相対的な色相のコントラスト、または相対的な彩度のコントラストを強くするように画像に対する画像処理を行うことで、画面１５０による画像の表示態様を制御してもよい。続いて、態様制御部１６３は、相対的な明度のコントラスト、相対的な色相のコントラスト、または相対的な彩度のコントラストを強くした状態で画像を撮影することで、相対的な明度のコントラスト、相対的な色相のコントラスト、または相対的な彩度のコントラストを強くするようにカメラ１４０による画像の撮影態様を制御する。例えば、態様制御部１６３は、利用者の周囲における照明の色相が赤系である場合には、画面１５０における色相を青系にすることで、相対的な色相のコントラストを強くするように撮影態様または表示態様を制御する。例えば、態様制御部１６３は、利用者の周囲における照明の色相に対して画面１５０における色相が補色となるように画面１５０における色相を制御することで、相対的な色相のコントラストを強くするように撮影態様または表示態様を制御する。
例えば、態様制御部１６３は、推定部１６２によって推定された利用者の周囲における明度と画面１５０における明度との差による相対的な明度のコントラストの強さを示す値と第６閾値との差分の大きさに応じて、相対的な明度のコントラストを強くするように撮影態様または表示態様を制御する。例えば、態様制御部１６３は、推定部１６２によって推定された利用者の周囲における明度と画面１５０における明度との差による相対的な明度のコントラストの強さを示す値と第６閾値との差分の大きさに比例して相対的な明度のコントラストを強くするように撮影態様または表示態様を制御する。
例えば、態様制御部１６３は、推定部１６２によって推定された利用者の周囲における色相と画面１５０における色相との差による相対的な色相のコントラストの強さを示す値と第７閾値との差分の大きさに応じて、相対的な色相のコントラストを強くするように撮影態様または表示態様を制御する。例えば、態様制御部１６３は、推定部１６２によって推定された利用者の周囲における色相と画面１５０における色相との差による相対的な色相のコントラストの強さを示す値と第７閾値との差分の大きさに比例して相対的な色相のコントラストを強くするように撮影態様または表示態様を制御する。
例えば、態様制御部１６３は、推定部１６２によって推定された利用者の周囲における彩度と画面１５０における彩度との差による相対的な彩度のコントラストの強さを示す値と第８閾値との差分の大きさに応じて、相対的な彩度のコントラストを強くするように撮影態様または表示態様を制御する。例えば、態様制御部１６３は、推定部１６２によって推定された利用者の周囲における彩度と画面１５０における彩度との差による相対的な彩度のコントラストの強さを示す値と第８閾値との差分の大きさに比例して相対的な彩度のコントラストを強くするように撮影態様または表示態様を制御する。
なお、態様制御部１６３は、推定部１６２によって画面１５０の視認性が低い状況であると推定された場合には、利用者の周囲における明度と画面１５０における明度との差による相対的な明度のコントラスト、利用者の周囲における色相と画面１５０における色相との差による相対的な色相のコントラスト、または利用者の周囲における彩度と画面１５０における彩度との差による相対的な彩度のコントラストを弱くするように撮影態様または表示態様を制御してもよい。例えば、態様制御部１６３は、利用者の周囲における照明の明度が低い（周囲が暗い）場合には、画面１５０における明度を低くする（画面を暗くする）ことで、相対的な明度のコントラストを弱くするように撮影態様または表示態様を制御してもよい。
また、推定部１６２は、利用者による過去の画面１５０の閲覧行為に関する閲覧態様に基づいて、利用者による普段の画面１５０の閲覧行為に関する普段の閲覧態様を学習し、コンテキストの一例として、利用者による画面１５０の閲覧行為に関する閲覧態様が普段の閲覧態様から変化したか否かを判定する。態様制御部１６３は、推定部１６２によって利用者による閲覧態様が普段の閲覧態様から変化したと判定された場合には、変化に応じて撮影態様または表示態様を制御する。例えば、態様制御部１６３は、推定部１６２によって利用者による閲覧態様が普段の閲覧態様から変化したと判定された場合には、利用者による閲覧態様が普段の閲覧態様に近くなるように撮影態様または表示態様を制御する。
例えば、態様制御部１６３は、推定部１６２によって色盲の利用者が普段と違う見方または見え方のシチュエーションが発生したと推定された場合には、色盲の利用者による普段の設定に寄り添うように表示態様または撮影態様を制御する。例えば、取得部１６１は、一般的な利用者による画面１５０の閲覧行為に関する閲覧態様に関する情報を取得する。推定部１６２は、取得部１６１が取得した一般的な利用者による画面１５０の閲覧行為に関する閲覧態様に関する情報と端末装置１００の利用者による画面１５０の閲覧行為に関する閲覧態様に関する情報とを比較して、利用者に色覚異常（例えば、色盲など）があると推定する。態様制御部１６３は、推定部１６２によって利用者に色覚異常があると推定された場合には、利用者の色覚異常に応じて画面１５０における色相を制御するように表示態様または撮影態様を制御する。例えば、態様制御部１６３は、推定部１６２によって利用者による赤系の色相の検知が一般的な利用者よりも弱いと推定された場合には、画面１５０における赤系の色相を強くするように表示態様または撮影態様を制御する。
〔５．効果〕
上述してきたように、本願に係る端末装置１００は、カメラ１４０と画面１５０と取得部１６１と推定部１６２と態様制御部１６３とを備える。カメラ１４０は、撮影対象となる被写体の画像を撮影する。画面１５０は、カメラ１４０が撮影した画像を表示する。取得部１６１は、センサ１３０が取得したセンサ情報を取得する。推定部１６２は、センサ情報に基づいて、利用者による画面１５０の閲覧行為に関するコンテキストを推定する。態様制御部１６３は、コンテキストに応じて、カメラ１４０による画像の撮影態様または画面１５０による画像の表示態様を制御する。
これにより、端末装置１００は、例えば、利用者のコンテキストに応じて利用者による画面の視認性が低下した場合であっても、利用者による画面の視認性の低下を補填するように利用者による画面の視認性を向上させることができる。すなわち、端末装置１００は、利用者による画面の視認性の低下を補填することができる。したがって、端末装置１００は、従来と比べて、利用者による画面の視認性を向上させることができる。
また、推定部１６２は、コンテキストとして、利用者による画面１５０の視認性が低い状況を推定する。態様制御部１６３は、推定部１６２によって画面１５０の視認性が低い状況であると推定された場合には、画面１５０の視認性が低い状況よりも画面１５０の視認性を向上させるように撮影態様または表示態様を制御する。
これにより、端末装置１００は、利用者による画面の視認性が低下した場合であっても、利用者による画面の視認性の低下を補填するように利用者による画面の視認性を向上させることができる。すなわち、端末装置１００は、利用者による画面の視認性の低下を補填することができる。
また、推定部１６２は、コンテキストとして、利用者の運動状態を推定し、利用者が静止している状態よりも利用者が運動している状態の方が利用者による画面１５０の視認性が低い状況であると推定する。
これにより、端末装置１００は、利用者の運動状態に応じて、利用者による画面の視認性の低下を補填するように利用者による画面の視認性を向上させることができる。
また、推定部１６２は、コンテキストとして、利用者の顔と画面１５０との第１距離を推定し、第１距離が第１閾値以上である場合には、第１距離が第１閾値未満である場合と比べて、利用者による画面１５０の視認性が低い状況であると推定する。
これにより、端末装置１００は、利用者の顔と画面との距離に応じて、利用者による画面の視認性の低下を補填するように利用者による画面の視認性を向上させることができる。
また、推定部１６２は、コンテキストとして、被写体とカメラ１４０との第２距離を推定し、第２距離が第２閾値以上である場合には、第２距離が第２閾値未満である場合と比べて、利用者による画面１５０の視認性が低い状況であると推定する。
これにより、端末装置１００は、被写体とカメラとの距離に応じて、利用者による画面の視認性の低下を補填するように利用者による画面の視認性を向上させることができる。
また、推定部１６２は、コンテキストとして、利用者によって視認される画面１５０における明度の差による明度のコントラストを推定し、明度のコントラストの強さが第３閾値未満である場合には、明度のコントラストの強さが第３閾値以上である場合と比べて、利用者による画面１５０の視認性が低い状況であると推定する。
これにより、端末装置１００は、画面における明度のコントラストに応じて、利用者による画面の視認性の低下を補填するように利用者による画面の視認性を向上させることができる。
また、推定部１６２は、コンテキストとして、利用者によって視認される画面１５０における色相の差による色相のコントラストを推定し、色相のコントラストの強さが第４閾値未満である場合には、色相のコントラストの強さが第４閾値以上である場合と比べて、利用者による画面１５０の視認性が低い状況であると推定する。
これにより、端末装置１００は、画面における色相のコントラストに応じて、利用者による画面の視認性の低下を補填するように利用者による画面の視認性を向上させることができる。
また、推定部１６２は、コンテキストとして、利用者によって視認される画面１５０における彩度の差による彩度のコントラストを推定し、彩度のコントラストの強さが第５閾値未満である場合には、彩度のコントラストの強さが第５閾値以上である場合と比べて、利用者による画面１５０の視認性が低い状況であると推定する。
これにより、端末装置１００は、画面における彩度のコントラストに応じて、利用者による画面の視認性の低下を補填するように利用者による画面の視認性を向上させることができる。
また、推定部１６２は、コンテキストとして、利用者の周囲における明度と画面１５０における明度との差による相対的な明度のコントラストを推定し、相対的な明度のコントラストの強さが第６閾値未満である場合には、相対的な明度のコントラストの強さが第６閾値以上である場合と比べて、利用者による画面１５０の視認性が低い状況であると推定する。
これにより、端末装置１００は、利用者の周囲における明度と画面における明度との差による相対的な明度のコントラストに応じて、利用者による画面の視認性の低下を補填するように利用者による画面の視認性を向上させることができる。
また、推定部１６２は、コンテキストとして、利用者の周囲における色相と画面１５０における色相との差による相対的な色相のコントラストを推定し、相対的な色相のコントラストの強さが第７閾値未満である場合には、相対的な色相のコントラストの強さが第７閾値以上である場合と比べて、利用者による画面１５０の視認性が低い状況であると推定する。
これにより、端末装置１００は、利用者の周囲における色相と画面における色相との差による相対的な色相のコントラストに応じて、利用者による画面の視認性の低下を補填するように利用者による画面の視認性を向上させることができる。
また、推定部１６２は、コンテキストとして、利用者の周囲における彩度と画面１５０における彩度との差による相対的な彩度のコントラストを推定し、相対的な彩度のコントラストの強さが第８閾値未満である場合には、相対的な彩度のコントラストの強さが第８閾値以上である場合と比べて、利用者による画面１５０の視認性が低い状況であると推定する。
これにより、端末装置１００は、利用者の周囲における彩度と画面における彩度との差による相対的な彩度のコントラストに応じて、利用者による画面の視認性の低下を補填するように利用者による画面の視認性を向上させることができる。
また、態様制御部１６３は、推定部１６２によって画面１５０の視認性が低い状況であると推定された場合には、利用者によって視認される画面１５０に表示された被写体の大きさを拡大するように撮影態様または表示態様を制御する。例えば、態様制御部１６３は、被写体である文字の大きさを拡大するように撮影態様または表示態様を制御する。
これにより、端末装置１００は、画面に表示された被写体の大きさを拡大することにより、利用者による画面の視認性の低下を補填するように利用者による画面の視認性を向上させることができる。
また、態様制御部１６３は、推定部１６２によって画面１５０の視認性が低い状況であると推定された場合には、利用者によって視認される画面１５０における明度の差による明度のコントラスト、色相の差による色相のコントラスト、または彩度の差による彩度のコントラストを強くするように撮影態様または表示態様を制御する。
これにより、端末装置１００は、画面における明度のコントラスト、色相のコントラスト、または彩度のコントラストを強くすることにより、利用者による画面の視認性の低下を補填するように利用者による画面の視認性を向上させることができる。
また、態様制御部１６３は、推定部１６２によって画面１５０の視認性が低い状況であると推定された場合には、利用者の周囲における明度と画面１５０における明度との差による相対的な明度のコントラスト、利用者の周囲における色相と画面１５０における色相との差による相対的な色相のコントラスト、または利用者の周囲における彩度と画面１５０における彩度との差による相対的な彩度のコントラストを強くするように撮影態様または表示態様を制御する。
これにより、端末装置１００は、利用者の周囲における明度と画面における明度との差による相対的な明度のコントラスト、利用者の周囲における色相と画面における色相との差による相対的な色相のコントラスト、または利用者の周囲における彩度と画面における彩度との差による相対的な彩度のコントラストを強くすることにより、利用者による画面の視認性の低下を補填するように利用者による画面の視認性を向上させることができる。
また、推定部１６２は、利用者による過去の画面１５０の閲覧行為に関する閲覧態様に基づいて、利用者による普段の画面１５０の閲覧行為に関する普段の閲覧態様を学習し、コンテキストとして、利用者による画面１５０の閲覧行為に関する閲覧態様が普段の閲覧態様から変化したか否かを判定する。態様制御部１６３は、推定部１６２によって利用者による閲覧態様が普段の閲覧態様から変化したと判定された場合には、変化に応じて撮影態様または表示態様を制御する。
これにより、端末装置１００は、利用者による閲覧態様が普段の閲覧態様から変化した場合であっても、利用者による閲覧態様が普段の閲覧態様と近くなるように撮影態様または表示態様を制御することができる。
〔６．ハードウェア構成〕
また、上述した実施形態に係る端末装置１００は、例えば図４に示すような構成のコンピュータ１０００によって実現される。以下、端末装置１００を例に挙げて説明する。図４は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力Ｉ／Ｆ（Interface）１０６０、入力Ｉ／Ｆ１０７０、ネットワークＩ／Ｆ１０８０がバス１０９０により接続された形態を有する。
演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。演算装置１０３０は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等により実現される。
一次記憶装置１０４０は、ＲＡＭ（Random Access Memory）等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等により実現される。二次記憶装置１０５０は、内蔵ストレージであってもよいし、外付けストレージであってもよい。また、二次記憶装置１０５０は、ＵＳＢメモリやＳＤ（Secure Digital）メモリカード等の取り外し可能な記憶媒体であってもよい。また、二次記憶装置１０５０は、クラウドストレージ（オンラインストレージ）やＮＡＳ（Network Attached Storage）、ファイルサーバ等であってもよい。
出力Ｉ／Ｆ１０６０は、ディスプレイ、プロジェクタ、及びプリンタ等といった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインターフェイスであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力Ｉ／Ｆ１０７０は、マウス、キーボード、キーパッド、ボタン、及びスキャナ等といった各種の入力装置１０２０から情報を受信するためのインターフェイスであり、例えば、ＵＳＢ等により実現される。
また、出力Ｉ／Ｆ１０６０及び入力Ｉ／Ｆ１０７０はそれぞれ出力装置１０１０及び入力装置１０２０と無線で接続してもよい。すなわち、出力装置１０１０及び入力装置１０２０は、ワイヤレス機器であってもよい。
また、出力装置１０１０及び入力装置１０２０は、タッチパネルのように一体化していてもよい。この場合、出力Ｉ／Ｆ１０６０及び入力Ｉ／Ｆ１０７０も、入出力Ｉ／Ｆとして一体化していてもよい。
なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、又は半導体メモリ等から情報を読み出す装置であってもよい。
ネットワークＩ／Ｆ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。
演算装置１０３０は、出力Ｉ／Ｆ１０６０や入力Ｉ／Ｆ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。
例えば、コンピュータ１０００が端末装置１００として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部１６０の機能を実現する。また、コンピュータ１０００の演算装置１０３０は、ネットワークＩ／Ｆ１０８０を介して他の機器から取得したプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行してもよい。また、コンピュータ１０００の演算装置１０３０は、ネットワークＩ／Ｆ１０８０を介して他の機器と連携し、プログラムの機能やデータ等を他の機器の他のプログラムから呼び出して利用してもよい。
〔７．その他〕
以上、本願の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
例えば、上述した端末装置１００は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットホーム等をＡＰＩ（Application Programming Interface）やネットワークコンピューティング等で呼び出して実現するなど、構成は柔軟に変更できる。
また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、推定部は、推定手段や推定回路に読み替えることができる。
１００ 端末装置
１１０ 通信部
１２０ 記憶部
１３０ センサ
１４０ カメラ
１５０ 画面
１６０ 制御部
１６１ 取得部
１６２ 推定部
１６３ 態様制御部

Claims (17)

  1. 撮影対象となる被写体の画像を撮影するカメラと、
    前記カメラが撮影した前記画像を表示する画面と、
    センサが取得したセンサ情報を取得する取得部と、
    前記センサ情報に基づいて、利用者による前記画面の閲覧行為に関するコンテキストを推定する推定部と、
    前記コンテキストに応じて、前記カメラによる前記画像の撮影態様または前記画面による前記画像の表示態様を制御する態様制御部と、
    を備え、
    前記推定部は、
    前記利用者による過去の前記画面の閲覧行為に関する閲覧態様に基づいて、前記利用者による普段の前記画面の閲覧行為に関する普段の閲覧態様を学習し、前記コンテキストとして、前記利用者による前記画面の閲覧行為に関する閲覧態様が前記普段の閲覧態様から変化したか否かを判定し、
    前記態様制御部は、
    前記推定部によって前記利用者による前記閲覧態様が前記普段の閲覧態様から変化したと判定された場合には、当該変化に応じて前記撮影態様または前記表示態様を制御する、
    ことを特徴とする端末装置。
  2. 前記推定部は、
    前記コンテキストとして、前記利用者による前記画面の視認性が低い状況を推定し、
    前記態様制御部は、
    前記推定部によって前記画面の視認性が低い状況であると推定された場合には、前記画面の視認性が低い状況よりも前記画面の視認性を向上させるように前記撮影態様または前記表示態様を制御する、
    請求項１に記載の端末装置。
  3. 前記推定部は、
    前記コンテキストとして、前記利用者の運動状態を推定し、前記利用者が静止している状態よりも前記利用者が運動している状態の方が前記利用者による前記画面の視認性が低い状況であると推定する、
    請求項２に記載の端末装置。
  4. 前記推定部は、
    前記コンテキストとして、前記利用者の顔と前記画面との第１距離を推定し、前記第１距離が第１閾値以上である場合には、当該第１距離が当該第１閾値未満である場合と比べて、前記利用者による前記画面の視認性が低い状況であると推定する、
    請求項２または３に記載の端末装置。
  5. 前記推定部は、
    前記コンテキストとして、前記被写体と前記カメラとの第２距離を推定し、前記第２距離が第２閾値以上である場合には、当該第２距離が当該第２閾値未満である場合と比べて、前記利用者による前記画面の視認性が低い状況であると推定する、
    請求項２～４のいずれか１つに記載の端末装置。
  6. 前記推定部は、
    前記コンテキストとして、前記利用者によって視認される前記画面における明度の差による明度のコントラストを推定し、前記明度のコントラストの強さが第３閾値未満である場合には、当該明度のコントラストの強さが第３閾値以上である場合と比べて、前記利用者による前記画面の視認性が低い状況であると推定する、
    請求項２～５のいずれか１つに記載の端末装置。
  7. 前記推定部は、
    前記コンテキストとして、前記利用者によって視認される前記画面における色相の差による色相のコントラストを推定し、前記色相のコントラストの強さが第４閾値未満である場合には、当該色相のコントラストの強さが第４閾値以上である場合と比べて、前記利用者による前記画面の視認性が低い状況であると推定する、
    請求項２～６のいずれか１つに記載の端末装置。
  8. 前記推定部は、
    前記コンテキストとして、前記利用者によって視認される前記画面における彩度の差による彩度のコントラストを推定し、前記彩度のコントラストの強さが第５閾値未満である場合には、当該彩度のコントラストの強さが第５閾値以上である場合と比べて、前記利用者による前記画面の視認性が低い状況であると推定する、
    請求項２～７のいずれか１つに記載の端末装置。
  9. 前記推定部は、
    前記コンテキストとして、前記利用者の周囲における明度と前記画面における明度との差による相対的な明度のコントラストを推定し、前記相対的な明度のコントラストの強さが第６閾値未満である場合には、当該相対的な明度のコントラストの強さが第６閾値以上である場合と比べて、前記利用者による前記画面の視認性が低い状況であると推定する、
    請求項２～８のいずれか１つに記載の端末装置。
  10. 前記推定部は、
    前記コンテキストとして、前記利用者の周囲における色相と前記画面における色相との差による相対的な色相のコントラストを推定し、前記相対的な色相のコントラストの強さが第７閾値未満である場合には、当該相対的な色相のコントラストの強さが第７閾値以上である場合と比べて、前記利用者による前記画面の視認性が低い状況であると推定する、
    請求項２～９のいずれか１つに記載の端末装置。
  11. 前記推定部は、
    前記コンテキストとして、前記利用者の周囲における彩度と前記画面における彩度との差による相対的な彩度のコントラストを推定し、前記相対的な彩度のコントラストの強さが第８閾値未満である場合には、当該相対的な彩度のコントラストの強さが第８閾値以上である場合と比べて、前記利用者による前記画面の視認性が低い状況であると推定する、
    請求項２～１０のいずれか１つに記載の端末装置。
  12. 前記態様制御部は、
    前記推定部によって前記画面の視認性が低い状況であると推定された場合には、前記利用者によって視認される前記画面に表示された前記被写体の大きさを拡大するように前記撮影態様または前記表示態様を制御する、
    請求項２～１１のいずれか１つに記載の端末装置。
  13. 前記態様制御部は、
    前記被写体である文字の大きさを拡大するように前記撮影態様または前記表示態様を制御する、
    請求項１２に記載の端末装置。
  14. 前記態様制御部は、
    前記推定部によって前記画面の視認性が低い状況であると推定された場合には、前記利用者によって視認される前記画面における明度の差による明度のコントラスト、色相の差による色相のコントラスト、または彩度の差による彩度のコントラストを強くするように前記撮影態様または前記表示態様を制御する、
    請求項２～１３のいずれか１つに記載の端末装置。
  15. 前記態様制御部は、
    前記推定部によって前記画面の視認性が低い状況であると推定された場合には、前記利用者の周囲における明度と前記画面における明度との差による相対的な明度のコントラスト、前記利用者の周囲における色相と前記画面における色相との差による相対的な色相のコントラスト、または前記利用者の周囲における彩度と前記画面における彩度との差による相対的な彩度のコントラストを強くするように前記撮影態様または前記表示態様を制御する、
    請求項２～１４のいずれか１つに記載の端末装置。
  16. 端末装置が実行する制御方法であって、
    センサが取得したセンサ情報を取得する取得工程と、
    前記センサ情報に基づいて、利用者による前記端末装置が有する画面の閲覧行為に関するコンテキストを推定する推定工程と、
    前記コンテキストに応じて、前記端末装置が有するカメラによる画像の撮影態様または前記画面による前記画像の表示態様を制御する態様制御工程と、
    を含み、
    前記推定工程は、
    前記利用者による過去の前記画面の閲覧行為に関する閲覧態様に基づいて、前記利用者による普段の前記画面の閲覧行為に関する普段の閲覧態様を学習し、前記コンテキストとして、前記利用者による前記画面の閲覧行為に関する閲覧態様が前記普段の閲覧態様から変化したか否かを判定し、
    前記態様制御工程は、
    前記推定工程によって前記利用者による前記閲覧態様が前記普段の閲覧態様から変化したと判定された場合には、当該変化に応じて前記撮影態様または前記表示態様を制御する、
    ことを特徴とする制御方法。
  17. センサが取得したセンサ情報を取得する取得手順と、
    前記センサ情報に基づいて、利用者による端末装置が有する画面の閲覧行為に関するコンテキストを推定する推定手順と、
    前記コンテキストに応じて、前記端末装置が有するカメラによる画像の撮影態様または前記画面による前記画像の表示態様を制御する態様制御手順と、
    を端末装置が有するコンピュータに実行させ、
    前記推定手順は、
    前記利用者による過去の前記画面の閲覧行為に関する閲覧態様に基づいて、前記利用者による普段の前記画面の閲覧行為に関する普段の閲覧態様を学習し、前記コンテキストとして、前記利用者による前記画面の閲覧行為に関する閲覧態様が前記普段の閲覧態様から変化したか否かを判定し、
    前記態様制御手順は、
    前記推定手順によって前記利用者による前記閲覧態様が前記普段の閲覧態様から変化したと判定された場合には、当該変化に応じて前記撮影態様または前記表示態様を制御する、
    ことを特徴とする制御プログラム。
JP2021120046A 2021-07-20 2021-07-20 端末装置、制御方法及び制御プログラム Active JP7394813B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021120046A JP7394813B2 (ja) 2021-07-20 2021-07-20 端末装置、制御方法及び制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021120046A JP7394813B2 (ja) 2021-07-20 2021-07-20 端末装置、制御方法及び制御プログラム

Publications (2)

Publication Number Publication Date
JP2023015944A JP2023015944A (ja) 2023-02-01
JP7394813B2 true JP7394813B2 (ja) 2023-12-08

Family

ID=85131186

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021120046A Active JP7394813B2 (ja) 2021-07-20 2021-07-20 端末装置、制御方法及び制御プログラム

Country Status (1)

Country Link
JP (1) JP7394813B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004127045A (ja) 2002-10-04 2004-04-22 Matsushita Electric Ind Co Ltd 文字列ポイント拡大表示機能付携帯端末装置
JP2004164559A (ja) 2002-09-27 2004-06-10 Fuji Photo Film Co Ltd 携帯端末装置
JP2009100270A (ja) 2007-10-17 2009-05-07 Sharp Corp 映像編集方法およびテレビ放送受信機
JP2012216949A (ja) 2011-03-31 2012-11-08 Fujitsu Frontech Ltd 拡大鏡機能が使用可能な２台のカメラ付き電子機器および視認性制御方法
JP2013109687A (ja) 2011-11-24 2013-06-06 Kyocera Corp 携帯端末装置、プログラムおよび表示制御方法
JP2014529385A (ja) 2011-07-01 2014-11-06 インテル コーポレイション 画像処理システム及び画像処理装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004164559A (ja) 2002-09-27 2004-06-10 Fuji Photo Film Co Ltd 携帯端末装置
JP2004127045A (ja) 2002-10-04 2004-04-22 Matsushita Electric Ind Co Ltd 文字列ポイント拡大表示機能付携帯端末装置
JP2009100270A (ja) 2007-10-17 2009-05-07 Sharp Corp 映像編集方法およびテレビ放送受信機
JP2012216949A (ja) 2011-03-31 2012-11-08 Fujitsu Frontech Ltd 拡大鏡機能が使用可能な２台のカメラ付き電子機器および視認性制御方法
JP2014529385A (ja) 2011-07-01 2014-11-06 インテル コーポレイション 画像処理システム及び画像処理装置
JP2013109687A (ja) 2011-11-24 2013-06-06 Kyocera Corp 携帯端末装置、プログラムおよび表示制御方法

Also Published As

Publication number Publication date
JP2023015944A (ja) 2023-02-01

Similar Documents

Publication Publication Date Title
US10521944B2 (en) Repositioning user perspectives in virtual reality environments
CN107105130B (zh) 电子设备及其操作方法
US20230113885A1 (en) Electronic device for stabilizing image and method for operating same
CN110463165B (zh) 信息处理装置、信息处理方法和记录介质
US10110868B2 (en) Image processing to determine center of balance in a digital image
US9973677B2 (en) Refocusable images
CN110581948A (zh) 提供质量定制图像的电子装置及其控制方法、服务器
US11671701B2 (en) Electronic device for recommending composition and operating method thereof
CN107438812B (zh) 信息处理设备、信息处理方法和程序
CN111344644A (zh) 用于基于运动的自动图像捕获的技术
US11922594B2 (en) Context-aware extended reality systems
KR20170097884A (ko) 이미지를 처리하기 위한 방법 및 그 전자 장치
KR20190019606A (ko) 심도 맵을 이용하여 객체를 합성하기 위한 장치 및 그에 관한 방법
KR20160149842A (ko) 영상 처리 방법 및 그 장치
US11094041B2 (en) Generation of bokeh images using adaptive focus range and layered scattering
JP7394813B2 (ja) 端末装置、制御方法及び制御プログラム
US11200653B2 (en) Local histogram matching with global regularization and motion exclusion for multi-exposure image fusion
KR101877901B1 (ko) Vr영상을 제공하는 방법 및 그 전자 장치
CN107958478B (zh) 虚拟现实场景中物体的渲染方法和虚拟现实头戴设备
WO2023162504A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2023243558A1 (ja) 情報処理装置、プログラムおよび情報処理システム
US11715220B1 (en) Method and device for depth sensor power savings
US20240046584A1 (en) Information processing apparatus
US11354790B2 (en) Image processing apparatus, image processing method, and recording medium
KR102280169B1 (ko) 영상을 처리하는 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230919

TRDD Decision of grant or rejection written
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20231026

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231128

R150 Certificate of patent or registration of utility model

Ref document number: 7394813

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150