JP7184037B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP7184037B2
JP7184037B2 JP2019530942A JP2019530942A JP7184037B2 JP 7184037 B2 JP7184037 B2 JP 7184037B2 JP 2019530942 A JP2019530942 A JP 2019530942A JP 2019530942 A JP2019530942 A JP 2019530942A JP 7184037 B2 JP7184037 B2 JP 7184037B2
Authority
JP
Japan
Prior art keywords
operation area
user
information processing
housing
pressure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019530942A
Other languages
English (en)
Other versions
JPWO2019017153A1 (ja
Inventor
宗毅 海老原
公彦 木暮
聡 藤澤
健 小林
智子 勝原
哲郎 後藤
文子 志賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019017153A1 publication Critical patent/JPWO2019017153A1/ja
Application granted granted Critical
Publication of JP7184037B2 publication Critical patent/JP7184037B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0362Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 1D translations or rotations of an operating part of the device, e.g. scroll wheels, sliders, knobs, rollers or belts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本技術は、情報処理装置等の技術に関する。
従来、スマートフォン等のユーザが保持可能な情報処理装置では、筐体の正面にのみディスプレイが配置されることが一般的であった。一方、近年においては、正面だけでなく、筐体の側面にもディスプレイが配置された情報処理装置が知られるようになってきている(例えば、下記特許文献1参照)。
この種の情報処理装置では、側面に配置されたディスプレイ上に、GUI(Graphical User Interface)が配置される場合がある。この側面に配置されたGUIをユーザが指で操作すると、GUIに関する処理が実行される。
米国特許出願公開第2015/0227227号明細書
ところで、筐体の側面は、一般的に、ユーザの手によって保持される部分である。このため、ユーザが筐体の側面を保持したときに、例えば、GUIが操作されたと誤認識されてしまい、ユーザの意図に反した処理が実行されてしまう場合がある。
以上のような事情に鑑み、本技術の目的は、ユーザが筐体を保持したときに、ユーザの意図に反した処理が実行されてしまうことを防止することができる技術を提供することにある。
本技術に係る情報処理装置は、筐体と、表示部と、感圧センサと、制御部とを具備する。
前記筐体は、正面と、操作領域を有するサブ面とを有し、ユーザが保持可能とされる。
前記表示部は、前記正面に設けられる。
前記感圧センサは、前記サブ面に対する圧力値を検出する。
前記制御部は、前記圧力値に基づいて、前記操作領域がユーザによって操作されている状態と、前記操作領域がユーザによって保持されている状態とを識別し、前記操作領域がユーザによって操作されている状態であると判定された場合、前記操作領域に対するユーザの操作に基づいて所定の処理を実行する。
この情報処理装置では、サブ面に対する圧力値に基づいて、操作領域がユーザによって操作されている状態と、操作領域がユーザによって保持されている状態とが識別されるため、正確にこれらの状態を識別することができる。従って、ユーザが筐体を保持したときに、ユーザの意図に反した処理が実行されてしまうことを防止することができる。
上記情報処理装置において、前記制御部は、前記圧力値が所定時間内において所定範囲内の値を取り続けるという条件を満たした場合、前記操作領域がユーザによって操作されている状態であると判定してもよい。
上記情報処理装置において、前記制御部は、前記条件を満たさない場合、前記操作領域がユーザによって保持されている状態であると判定してもよい。
上記情報処理装置は、複数の感圧センサを有し、前記制御部は、前記複数の感圧センサのうち第1の感圧センサによって検出された第1の圧力値が、所定時間内において所定範囲内の値を取り続けるという条件を満たした場合、第1の感圧センサに隣接する第2の感圧センサによって検出された第2の圧力値に基づいて、前記操作領域がユーザによって操作されている状態と、前記操作領域がユーザによって保持されている状態とを識別してもよい。
上記情報処理装置において、前記制御部は、前記第2の圧力値が、所定の閾値未満である場合、前記操作領域がユーザによって操作されている状態であると判定してもよい。
上記情報処理装置において、前記制御部は、前記第2の圧力値が、所定の閾値以上である場合、前記操作領域がユーザによって保持されている状態であると判定してもよい。
上記情報処理装置において、前記制御部は、前記サブ面において、前記操作領域を設定する位置を決定してもよい。
上記情報処理装置において、前記筐体の姿勢を検出するモーションセンサをさらに具備し、前記制御部は、検出された前記筐体の姿勢に基づいて、前記操作領域を設定する位置を決定してもよい。
上記情報処理装置において、前記制御部は、前記圧力値に基づいて、ユーザによって筐体が保持されている保持パターンを判定し、前記保持パターンに基づいて、前記操作領域を設定する位置を決定してもよい。
上記情報処理装置において、前記制御部は、前記筐体の前記姿勢が変化したとき、前記姿勢の変化に基づいて、新たに、前記サブ面において前記操作領域を設定する位置を決定してもよい。
上記情報処理装置において、前記制御部は、前記保持パターンが変化したとき、前記保持パターンの変化に基づいて、新たに、前記サブ面において前記操作領域を設定する位置を決定してもよい。
上記情報処理装置において、前記制御部は、前記サブ面において、前記操作領域を設定したとき、前記操作領域が設定された位置を示すガイドを、前記正面における前記表示部上に表示させてもよい。
上記情報処理装置において、前記表示部は、前記正面及び前記サブ面に設けられ、前記制御部は、前記表示部において、前記サブ面における前記操作領域に対応する位置にGUI(Graphical User Interface)を表示させてもよい。
上記情報処理装置において、前記サブ面に設けられ、ユーザの接触位置を検出する近接センサをさらに具備し、前記制御部は、前記操作領域がユーザによって操作されている状態であると判定された場合、検出された前記接触位置に基づいて、前記所定の処理を実行してもよい。
上記情報処理装置において、前記制御部は、記操作領域がユーザによって操作されている状態であると判定された場合、前記圧力値に基づいて、前記所定の処理を実行してもよい。
上記情報処理装置において、前記筐体は、折り畳み状態と、非折り畳み状態とで形状が変更可能であってもよい。
本技術に係る情報処理方法は、表示部を有する正面と、操作領域を有するサブ面とを有し、ユーザが保持可能な筐体の前記サブ面に対する圧力値に基づいて、前記操作領域がユーザによって操作されている状態と、前記操作領域がユーザによって保持されている状態とを識別し、前記操作領域がユーザによって操作されている状態であると判定された場合、前記操作領域に対するユーザの操作に基づいて所定の処理を実行する。
本技術に係るプログラムは、表示部を有する正面と、操作領域を有するサブ面とを有し、ユーザが保持可能な筐体の前記サブ面に対する圧力値に基づいて、前記操作領域がユーザによって操作されている状態と、前記操作領域がユーザによって保持されている状態とを識別するステップと、前記操作領域がユーザによって操作されている状態であると判定された場合、前記操作領域に対するユーザの操作に基づいて所定の処理を実行するステップとをコンピュータに実行させる。
以上のように、本技術によれば、ユーザが筐体を保持したときに、ユーザの意図に反した処理が実行されてしまうことを防止することができる技術を提供することができる。
本技術の第1実施形態に係るスマートフォンを示す斜視図である。 スマートフォンの電気的な構成を示すブロック図である。 複数の感圧センサが配置されている位置を示す図である。 操作領域が設定されるときの処理を示すフローチャートである。 筐体がユーザによって保持されているときの様子を示す図である。 筐体がユーザによって保持されているときの様子を示す図である。 筐体がユーザによって保持されているときの様子を示す図である。 筐体の側周面に操作領域及びGUIが配置されたときの様子を示す図である。 筐体の側周面に操作領域及びGUIが配置されたときの様子を示す図である。 筐体の側周面に操作領域及びGUIが配置されたときの様子を示す図である。 筐体の側周面に操作領域及びGUIが配置されたときの様子を示す図である。 筐体の側周面に操作領域及びGUIが配置されたときの様子を示す図である。 ガイドの一例を示す図である。 ガイドの一例を示す図である。 保持状態と、操作状態とを識別するときの処理を示すフローチャートである。 操作状態における圧力値と、保持状態における圧力値との比較図である。 図17は、操作領域5が操作されている状態であると判定されたときの処理を示すフローチャートである。 本技術がカメラアプリケーションに適用された場合の一例を示す図である。 本技術がカメラアプリケーションに適用された場合の一例を示す図である。 本技術がカメラアプリケーションに適用された場合の一例を示す図である。 ガイドの一例を示す図である。 ガイドの一例を示す図である。 感圧機構の構造を模式的に示す要部断面図である。 回路基板を示す図である。 自己容量方式の静電容量センサで構成された感圧機構を模式的に示す要部断面図である。 感圧機構の電極構造を示す図である。 折り畳み式の筐体を有するスマートフォンを示す図である。 近接検出機構の一例を示す図である。 近接検出機構が感圧機構の上部に配置されたときの様子を示す図である。 近接検出機構と感圧機構との間に、スペーサが介在されたときの一例を示す図である。 近接検出機構と感圧機構との間に、スペーサが介在されたときの他の一例を示す図である。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
<第1実施形態>
[スマートフォン100の全体構成及び各部の構成]
図1は、本技術の第1実施形態に係るスマートフォン100(情報処理装置)を示す斜視図である。図1に示すように、本実施形態に係るスマートフォン100は、筐体10と、筐体10の表面に設けられた表示部13とを備えている。
筐体10は、ユーザが手で保持できる程度の大きさとされている。この筐体10は、直方体形状を有しており、厚さ方向(Z軸方向)に薄く、短手方向(X軸方向)に短く、長手方向(Y軸方向)に長い形状を有している。
筐体10は、正面1と、背面2と、側周面3(サブ面)とを有している。側周面3は、上面3a(サブ面)、下面3b(サブ面)、右側面3c(サブ面)、左側面3d(サブ面)の4つの面を有している。なお、本明細書中において、側周面3における4つの面において、重力方向を基準として上側、下側、右側、左側の面をそれぞれ上面3a、下面3b、右側面3c、左側面3dとする(つまり、同じ面でも、呼び方が変わる場合がある)。
なお、図示は省略しているが、筐体10には、受話口、通話口、コネクタ等が設けられている。
表示部13は、例えば、液晶ディスプレイや、EL(Electro-Luminescence)ディスプレイ等により構成される。表示部13は、筐体10の正面1の全体に亘って設けられており、また、筐体10の側周面3の全体に亘って設けられている。
なお、本実施形態においては、筐体10の側周面3の全体に亘って表示部13が設けられているが、筐体10の側周面3の一部にのみ、表示部13を配置することも可能である(例えば、右側面3cにのみ表示部13が配置)。また、本実施形態においては、背面2には、表示部13は設けられていないが、背面2に表示部13を配置することも可能である。
図2は、スマートフォン100の電気的な構成を示すブロック図である。図2に示すように、スマートフォン100は、制御部11、記憶部12、表示部13、通信部14、アンテナ15、スピーカ16、マイクロフォン17、撮像部18、モーションセンサ19、近接センサ20及び複数の感圧センサ21を備えている。
制御部11は、例えば、CPU(Central Processing Unit)等により構成される。制御部11は、記憶部12に記憶された各種のプログラムに基づき種々の演算を実行し、スマートフォン100の各部を統括的に制御する。この制御部11の具体的な処理については、後に詳述する。
記憶部12は、制御部11の作業領域として用いられる揮発性のメモリと、制御部11の処理に必要な各種のプログラムが記憶される不揮発性のメモリとを含む。上記各種のプログラムは、光ディスク、半導体メモリ等の可搬性の記録媒体から読み取られてもよいし、ネットワーク上のサーバ装置からダウンロードされてもよい。
通信部14は、アンテナ15により送受信される電波の周波数変換や、変調及び復調等の処理を実行する。アンテナ15は、通話用の電波や、電子メール、Webデータ等のパケット通信用の電波を送受信する。
スピーカ16は、デジタル/アナログ変換機や増幅器等を含む。スピーカ16は、制御部11から入力された通話用の音声データに対してデジタル/アナログ変換処理及び増幅処理を実行し、受話口を介して音声を出力する。
マイクロフォン17は、アナログ/デジタル変換機等を有する。マイクロフォン17は、ユーザから通話口を介して入力されたアナログ音声データをデジタル音声データへ変換して制御部11出力する。制御部11へ出力されたデジタル音声データは、符号化された後、通信部14及びアンテナ15を介して送信される。
撮像部18は、対物レンズおよび撮像レンズなどの光学系と、この光学系を通じて取り込んだ光を電気信号に変換するCMOS(Complementary Metal Oxide Semiconductor)センサ、CCD(Charge Coupled Device)センサなどの撮像素子を含む。撮像部18は、撮像素子により撮像された信号から画像データを生成して制御部11に供給する。
モーションセンサ19は、筐体10の動きや姿勢を検出する。このモーションセンサ19としては、加速度センサ、角速度センサ、地磁気センサ、気圧センサなどが挙げられる(これらのうち2以上の組み合わせなどであってもよい)。
近接センサ20は、筐体10の表面上(表示部13上)に設けられており、筐体10の表面に対するユーザの手の近接を検出する。近接センサ20は、筐体10の正面1において全体に亘って設けられたおり、また、筐体10の側周面3において全体に亘って設けられている。近接センサ20としては、例えば、静電容量方式、抵抗膜方式のセンサが用いられるが、近接センサ20は、どのような方式のセンサが用いられてもよい。
複数の感圧センサ21は、それぞれ、筐体10の側周面3に対するユーザの手による圧力値を検出する。感圧センサ21としては、例えば、静電容量方式、コイル式等のセンサが用いられるが、どのような方式の感圧センサ21が用いられてもよい。
図3は、複数の感圧センサ21が配置されている位置を示す図である。図3に示すように、複数の感圧センサ21は、筐体10の側周面3の全体に亘って設けられている。具体的には、複数の感圧センサ21は、表示部13の内側の位置に、所定の間隔を開けて配置されている。
<動作説明>
[操作領域5の設定処理]
次に、制御部11の処理について説明する。制御部11の処理の説明においては、まず、筐体10の側周面3に対して、操作領域5(後述の図8~12参照)が設定されるときの処理について説明する。なお、操作領域5は、ユーザの操作による入力が有効となる領域である。図4は、操作領域5が設定されるときの処理を示すフローチャートである。
図5~図7は、筐体10がユーザによって保持されているときの様子を示す図である。図5は、縦向きの姿勢(短手方向(X軸)よりも長手方向(Y軸方向)が重力方向に近い姿勢)の筐体10が、ユーザの右手に保持されているときの様子を示す図である。図6は、縦向きの姿勢の筐体10が、ユーザの左手により保持されているときの様子を示す図である。図7は、横向きの姿勢(長手方向(Y軸方向)よりも短手方向(X軸)が重力方向に近い姿勢)の筐体10が、ユーザの両手に保持されているときの様子を示す図である。
なお、ここでの説明では、例えば、ブラウザ、メール、音楽、地図等の各種のアプリケーションプログラムが実行されており、筐体10の正面1の表示部13上には、各種の画像が表示されているとして説明する。
まず、制御部11は、モーションセンサ19によって検出された検出値に基づいて、重力方向を判定し、判定された重力方向から現在の筐体10の姿勢を判定する(ステップ101)。例えば、ステップ101では、制御部11は、図5及び図6に示すように、筐体10が縦向きの姿勢であるのか、図7に示すように、筐体10が横向きの姿勢であるのかを判定する。
次に、制御部11は、各感圧センサ21によって検出された圧力値に基づいて、現在の筐体10の保持パターン(ユーザによって筐体10がどのように保持されているかを示すパターン)を判定する(ステップ102)。
ステップ102では、まず、制御部11は、各感圧センサ21によって検出された圧力値が所定の閾値を超えるかどうかを判定する。このとき用いられる閾値の値は、ユーザが筐体10を保持しているかどうかを判定するための適切な値が設定される。この値は、例えば、100gf~200gfとされる。
圧力値が所定の閾値を超えた場合、制御部11は、その圧力値を検出した感圧センサ21が配置さているポイントを判定し、そのポイントがユーザによって保持されていると判定する。そして、制御部11は、ユーザによって保持されていると判定された各ポイントの位置から、現在の筐体10の保持パターンを判定する。
図5~図7において、ユーザによって保持されていると判定されたポイントの一例が一点鎖線の円で示されている。
図5に示す例では、筐体10の右側面3cにおいて、ユーザの右手の親指により圧力を受けている上側の2つのポイント、及びユーザの右手の手のひらにより圧力を受けている下側の3つのポイントがユーザによって保持されていると判定される。また、筐体10の左側面3dにおいて、ユーザの右手の中指及び薬指により圧力を受けている下側の4つのポイントがユーザによって保持されていると判定される。
図6に示す例では、筐体10の左側面3dにおいて、ユーザの左手の親指により圧力を受けている上側の2つのポイント、及びユーザの左手の手のひらにより圧力を受けている下側の3つのポイントがユーザによって保持されていると判定される。また、筐体10の右側面3cにおいて、ユーザの左手の中指及び薬指により圧力を受けている下側の4つのポイントがユーザによって保持されていると判定される。
図7に示す例では、筐体の上面3aにおいて、ユーザの右手の人差し指により圧力を受けている右側の3つのポイント、及びユーザの左手の人差し指により圧力を受けている左側の3つのポイントがユーザによって保持されていると判定される。また、筐体の下面3bにおいて、ユーザの右手の親指により圧力を受けている右側の2つのポイント、及びユーザの左手の親指により圧力を受けている左側の2つのポイントがユーザによって保持されていると判定される。
図5~図7に示すような、ユーザによって保持されている各ポイントが判定されると、この各ポイントの位置に基づいて、保持パターンが判定される。
例えば、図5に示す例では、ユーザによって保持されていると判定された合計で9つのポイントから、右手(片手)で筐体10が保持される保持パターンのうちの一種であると判定される。また、図6に示す例では、ユーザによって保持されていると判定された合計で9つのポイントから、左手(片手)で筐体10が保持される保持パターンのうちの一種であると判定される。また、図7に示す例では、ユーザによって保持されていると判定された合計で10個のポイントから、両手で筐体10が保持される保持パターンのうちの一種であると判定される。
保持パターンを判定すると、次に、制御部11は、筐体10の姿勢及び保持パターンに基づいて、筐体10の側周面3において、操作領域5を設定する位置を決定し、その位置に操作領域5を設定する(ステップ103)。制御部11は、操作領域5を設定すると、操作領域5に対応する位置に、GUI6を配置する(ステップ104)。
図8~図12は、筐体10の側周面3に、操作領域5及びGUI6が配置されたときの様子を示す図である。
図8を参照して、筐体10の姿勢が縦向きの姿勢であり、筐体10の保持パターンが右手により保持されている保持パターンである場合、例えば、筐体10の右側面3cにおいて上側の位置に、操作領域5が設定される。そして、操作領域5に対応する位置に、GUI6が配置される。
ここで、本実施形態では、操作領域5として、スライド操作型の操作領域5aと、押圧操作型の操作領域5bの2つの操作領域5が用意されている。
図8では、スライド操作型の操作領域5aが、筐体10の右側面3cにおける上側の位置に設定され、スライド操作型の操作領域5aに対して、スクロール用のGUI6aが配置された場合の一例が示されている。
また、図8では、押圧操作型の操作領域5bが筐体10の右側面3cにおける上側の位置に設定され、押圧操作型の操作領域5bに対して、画像切換用のGUI6b(切換ボタン)が配置された場合の一例が示されている。図8に示す例では、右手の親指によって操作領域5が操作される場合が想定されている。
なお、操作領域5に対して割り当てられる機能(GUI6に割り当てられる機能)については、スクロール、画面切換に限られず、適宜変更可能である。例えば、操作領域5に対しては、再生、一時停止、早送り、巻き戻し、決定、音量の増減、ズームイン/アウト、電源のON/OFFなど、あらゆる機能を割り当てることができる。
また、操作領域が設定される位置(GUI6が配置される位置)についても、適宜変更可能である。典型的には、操作領域5が設定される位置(GUI6が配置される位置)は、筐体10の姿勢及び保持パターンを考慮して、ユーザの指で操作しやすい位置であれば、どのような位置であっても構わない。
例えば、図9に示すように、筐体10の左側面3dにおいて上側の位置に、操作領域5が設定され、操作領域5に対応する位置に、GUI6が配置されてもよい。なお、この例では、右手の人差し指、あるいは、左手(筐体を保持していない方の手)の指によって操作領域5が操作される場合が想定されている。
あるいは、図10に示すように、筐体10の右上の角部(上面3aと右側面3cとが繋がる部分)に操作領域5が設定され、操作領域5に対応する位置に、GUI6が配置されてもよい。なお、この例では、右手の親指によって操作領域5が操作される場合が想定されている。
図11を参照して、筐体10の姿勢が縦向きの姿勢であり、筐体10の保持パターンが左手により保持されている保持パターンである場合、例えば、筐体10の左側面3dにおいて上側の位置に、操作領域5が設定される。そして、操作領域5に対応する位置に、GUI6が配置される。
図11では、スライド操作型の操作領域5aが、筐体10の左側面3dにおける上側の位置に設定され、スライド操作型の操作領域5aに対して、スクロール用のGUI6aが配置された場合の一例が示されている。また、図11では、押圧操作型の操作領域5bが筐体10の左側面3dにおける上側の位置に設定され、押圧操作型の操作領域5bに対して、画像切換用のGUI6b(切換ボタン)が配置された場合の一例が示されている。なお、図11に示す例では、左手の親指によって操作領域5が操作される場合が想定されている。
図12を参照して、筐体10の姿勢が横向きの姿勢であり、筐体10の保持パターンが両手により保持されている保持パターンである場合、例えば、筐体10の右上の角部に、操作領域5が設定される。そして、操作領域5に対応する位置に、GUI6が配置される。
図12では、スライド操作型の操作領域5aが、筐体10の右上の角部に設定され、スライド操作型の操作領域5aに対して、スクロール用のGUI6aが配置された場合の一例が示されている。また、図12では、押圧操作型の操作領域5bが筐体10の上面3aにおける右側の位置に設定され、押圧操作型の操作領域5bに対して、画像切換用のGUI6b(切換ボタン)が配置された場合の一例が示されている。
制御部11は、筐体10の側周面3において、操作領域5を設定したとき、操作領域5が設定された位置を示すガイド8を、筐体10の正面1における表示部13上に表示させてもよい。
図13及び図14は、ガイド8の一例を示す図である。図13に示す例では、操作領域5が設定された位置(GUI6が配置された位置)を示す矢印と、操作領域5に割り当てられた機能(GUI6に割り当てられた機能)を示す文字とが、ガイド8aとして筐体10の正面1に表示されたときの様子が示されている。なお、このガイド8aは、表示されてから所定時間(例えば、数秒程度)が経過すると、表示部13上から消去される。
図14に示す例では、操作領域5が設定された位置(GUI6が配置された位置)に対応する、筐体10の正面1の位置に、操作領域5(GUI6)を想起させる図形が、ガイド8bとして配置されたときの様子を示す図である。なお、このガイド8bは、表示されてから所定時間(例えば、数秒程度)が経過しても、表示部13上から消去されないが、このガイド8bをユーザが操作しても何ら反応はしない。
なお、図13に示すガイド8aと、図14に示すガイド8bとが組み合わされてもよい。
図4に戻り、操作領域5にGUI6を配置すると、次に、制御部11は、モーションセンサ19によって検出された検出値に基づいて、筐体10の姿勢が大きく変化したかどうかを判定する(ステップ105)。筐体10の姿勢が大きく変化した場合(ステップ105のYES)、制御部11は、ステップ101へ戻り、再びステップ101~104の処理を実行する。
例えば、筐体10の姿勢が、縦向きの姿勢(図5及び図6参照)から、横向きの姿勢(図7参照)に変化した場合や、筐体10の姿勢が、横向きの姿勢から、縦向きの姿勢に変化した場合、制御部11は、筐体10の姿勢が大きく変化したと判定する。そして、この場合、制御部11は、筐体10の姿勢及び保持パターンを新たに判定し、その筐体10及び保持パターンに応じて新たに操作領域5を設定し、その操作領域5に対してGUI6を配置する処理を実行する。
筐体10の姿勢が大きく変化していない場合(ステップ105のNO)、次に、制御部11は、保持パターンが大きく変化したかどうかを判定する(ステップ106)。保持パターンが大きく変化したかどうかは、所定の閾値以上の圧力値を検出する感圧センサ21の位置(ユーザによって保持されていると判定されたポイント)に基づいて判定される。
保持パターンが大きく変化していない場合(ステップ106のNO)、制御部11は、ステップ105に戻り、再び、筐体10の姿勢が大きく変化したかどうかを判定する。
一方、保持パターンが大きく変化した場合(ステップ105のYES)、制御部11は、ステップ101へ戻り、再びステップ101~104の処理を実行する。
例えば、右手(片手)で保持される保持パターン(図5)が、左手(片手)で保持される保持パターン(図6)に変化した場合(逆も同様)や、片手で保持される保持パターン(図5、図6)が、両手で保持される保持パターン(図7)に変化した場合(逆も同様)、制御部11は、保持パターンが大きく変化したと判定する。
そして、この場合、制御部11は、筐体10の姿勢及び保持パターンを新たに判定し、その筐体10及び保持パターンに応じて新たに操作領域5を設定し、その操作領域5に対してGUI6を配置する処理を実行する。
[保持状態、操作状態の識別処理]
次に、制御部11が、操作領域5が保持されている状態(保持状態)であるか、操作領域5が操作されている状態(操作状態)であるかを識別するときの処理について説明する。図15は、保持状態と、操作状態とを識別するときの処理を示すフローチャートである。
まず、制御部11は、操作領域5に対応する位置に配置されている感圧センサ21から、それぞれ、圧力値を取得する(ステップ201)。次に、制御部11は、ステップ202~ステップ207の処理を実行するが、これらの処理については、操作領域5に対応する位置に配置されている感圧センサ21における各圧力値について、それぞれ、並行して処理が行われる。
ステップ202では、制御部11は、圧力値が閾値α以上であるかどうかを判定する。この閾値αの値は、ユーザが筐体10の側周面3において、操作領域5に軽く触れた(あるいは、軽く押し込んだ)ときの圧力値よりも小さい値に設定されており、閾値αの値は、10gf~20gf程度の値とされている。
圧力値が閾値α未満である場合(ステップ202のNO)、制御部11は、ステップ202に戻り、再び、圧力値が閾値α以上であるかどうかを判定する。一方、制御部11は、圧力値が閾値α以上である場合(ステップ202のYES)、圧力値が閾値β以下であるかどうかを判定する(ステップ203)。閾値βの値は、ユーザが筐体10の側面において、操作領域5に軽く触れた(あるいは、軽く押し込んだ)ときの圧力値よりも大きい値に設定されており、閾値βの値は、100gf~200gf程度の値とされている。
圧力値が閾値β以下である場合(ステップ203のYES)、制御部11は、圧力値がαを超えた時刻T1から所定時間t(例えば、0.3秒~0.8秒程度)が経過したかどうかを判定する(ステップ204)。
所定時間tが経過していない場合(ステップ204のNO)、制御部11は、ステップ202に戻り、再び、圧力値が閾値α以上であるかどうかを判定する。
圧力値が閾値αを超えた時刻T1から所定時間t(例えば、0.3秒~0.8秒程度)が経過する前(ステップ204参照)に、圧力値が閾値βを超えた場合(ステップ203のNO)、制御部11は、ステップ207へ進む。ステップ207では、制御部11は、判定の対象となっている圧力値を検出した感圧センサ21が配置されているポイント(以下、対応するポイント)については、保持状態であると判定する(ステップ207)。
圧力値が、閾値α以上閾値β以下の範囲内の値を取り続けたまま(ステップ202、203参照)、所定時間tが経過した場合(ステップ204のYES)、制御部11は、次のステップ205へ進む。
ステップ205では、制御部11は、判定の対象となっている圧力値(第1の圧力値)を検出した感圧センサ21(第1の感圧センサ)に隣接する2つの感圧センサ21(第2の感圧センサ)の圧力値(第2の圧力値)が所定の閾値以上であるかどうかを判定する。この閾値の値は、例えば、10gf~20gf程度の値とされている。
隣接する2つの感圧センサ21の圧力値のうち、少なくとも一方の圧力値が所定の閾値以上である場合(ステップ205のYES)、制御部11は、対応するポイントについては、保持状態であると判定する(ステップ207)。
一方、隣接する2つの感圧センサ21の両方の圧力値が、所定の閾値未満である場合(ステップ205のNO)、制御部11は、対応するポイントについては、操作状態であると判定する(ステップ206)。
図16は、操作状態における圧力値と、保持状態における圧力値との比較図である。
図16に示すように、操作状態の圧力値は、時刻T1において閾値α(10gf~20gf程度)以上の値を取った後、所定時間t(0.3秒~0.8秒程度)が経過して時刻T2になるまでの間は、閾値α以上閾値β以下の範囲内の値を取り続けることが多い。一方、保持状態の圧力値は、時刻T1において閾値α(10gf~20gf程度)以上の値を取った後、所定時間t(0.3秒~0.8秒程度)が経過して時刻T2になる前に、閾値βを超える場合が多い。
本実施形態では、この関係を利用して、制御部11は、保持状態と、操作状態とを識別している。典型的には、ステップ202~204において、制御部11は、圧力値が所定時間(圧力値がαを超えた時刻T1から所定時間tが経過するまでの時間)内において所定範囲(閾値α以上閾値β以下の範囲)内の値を取り続けるという条件を満たすかどうかを判定している。そして、制御部11は、上記条件を満たす場合、対応するポイントについては、所定の条件下で操作状態であると判定している。一方、上記条件を満たさない場合、対応するポイントについては、保持状態と判定している。
ここで、保持状態の圧力値が、図16に示すような操作状態の圧力値と同じような値を取ってしまう場合も想定される。この場合、保持状態であるにも拘らず、操作状態であると制御部11が誤判定をしてしまう可能性がある。この誤判定を防止するため、制御部11は、ステップ205において、隣接する2つの感圧センサ21の圧力値が所定の閾値以上であるかどうかを判定している。
つまり、図5~図7に示すように、筐体10がユーザによって保持されているとき、所定の閾値以上の圧力値を検出する感圧センサ21の位置が隣接しやすいといった特徴がある。本実施形態では、制御部11は、この特徴を利用して、保持状態と操作状態との識別の精度を向上させている。つまり、制御部11は、上記条件を満たしたとしても、隣接する2つの感圧センサ21の圧力値のうち、少なくとも一方の圧力値が所定の閾値以上である場合には、操作状態ではなく、保持状態であると判定している。そして、上記条件を満たし、かつ、隣接する2つの感圧センサ21の両方の圧力値が所定の閾値未満である場合に限って、操作状態であると判定している。
[操作状態である場合の処理]
次に、操作領域5がユーザにより操作されている状態であると判定されたときの処理について説明する。図17は、操作領域5が操作されている状態であると判定されたときの処理を示すフローチャートである。
まず、制御部11は、操作状態であると判定されたポイントを含む操作領域5が、スライド操作型の操作領域5aであるかどうかを判定する(ステップ301)。操作領域5がスライド操作型の操作領域5aである場合(ステップ301のYES)、制御部11は、近接センサ20によって検出された検出値に基づいて、ユーザの指の接触位置を判定する(ステップ302)。
次に、制御部11は、ユーザの指の接触位置が操作領域5を外れない限り、ユーザの指の接触位置に応じて、操作領域5に割り当てられた機能(GUI6の機能)に関する処理を実行する(ステップ303)。次に、制御部11は、近接センサ20によって検出された検出値に基づいて、ユーザの指の接触が解除されたかどうかを判定する(ステップ304)。
ユーザの指の接触が解除されていない場合(ステップ304のNO)、制御部11は、ステップ302へ戻り、再び、ユーザの指の接触位置を判定する。一方、ユーザの指の接触が解除された場合(ステップ304のYES)、制御部11は、処理を終了する。
なお、本実施形態においては、操作領域5が操作状態であると一旦判定されれば(図16のステップ206参照)、近接センサ20によって、ユーザの指の接触位置が判定される。従って、ユーザの指が側周面3上でスライドされているときに、圧力値が閾値α未満になってしまったり(例えば、圧力値が0gf)、閾値βを超えてしまったりしたとしても、近接センサ20で指を検出することができれば、操作領域5に割り当てられた機能(GUI6の機能)に関する処理が実行される。
ステップ301において、操作領域5が、スライド操作型の操作領域5aではない場合(ステップ301のNO)、制御部11は、操作領域5が、押圧操作型の操作領域5bであるかどうかを判定する(ステップ305)。
操作領域5が、押圧操作型の操作領域5bである場合(ステップ305のYES)、制御部11は、感圧センサ21によって検出された圧力値に基づいて、操作領域5が押圧されたかどうかを判定する(ステップ306)。ここで、押圧されたかどうかの判断の基準となる閾値は、典型的には、上記閾値βよりも大きな値が設定される。
操作領域5が押圧された場合(ステップ306のYES)、制御部11は、操作領域5に割り当てられた機能(GUI6の機能)に関する処理を実行し(ステップ308)、処理を終了する。
操作領域5が押圧されていない場合(ステップ306のNO)、制御部11は、近接センサ20によって検出された検出値に基づいて、ユーザの指の接触が解除されたかどうかを判定する(ステップ307)。
ユーザの指の接触が解除されていない場合(ステップ307のNO)、制御部11は、ステップ306へ戻り、再び、操作領域5が押圧されたかどうかを判定する。一方、ユーザの指の接触が解除された場合(ステップ307のYES)、制御部11は、処理を終了する。
[ユーザによる操作領域5(GUI6)の操作]
次に、ユーザにより、操作領域5が操作されたときに、どのような処理が実行されるかにつて、図8~図12を参照して具体的に説明する。
例えば、ユーザが指でスライド操作型の操作領域5a(スクロール用のGUI6a)に軽く触れてから(あるいは、軽く押し込んでから)所定時間t(0.3秒~0.8程度)が経過すると、操作領域5が操作状態であると判定される(ステップ201~206参照)。その後、ユーザが指をスライド操作(あるいは、フリック操作)させると、接触位置が検出されて、接触位置に応じて、正面1における表示部13に表示されている画像がスクロールされる(ステップ301~304)。
また、ユーザが指で押圧操作型の操作領域5b(画像切換用のGUI6b)に軽く触れてから(あるいは、軽く押し込んでから)所定時間t(0.3秒~0.8程度)が経過すると、操作領域5が操作状態であると判定される(ステップ201~206参照)。その後、ユーザが指をさらに押し込むと、押圧が検出されて、正面1における表示部13に表示されている画像が他の画面に切り換えられる(ステップ305~308)。
[カメラアプリケーション]
次に、本技術がカメラアプリケーションに適用された場合について説明する。図18~図20は、本技術がカメラアプリケーションに適用された場合の一例を示す図である。
なお、図18~図20では、ユーザが花を撮像しようとしており、筐体10の正面1の表示部13上には、撮像しようとしている花が表示されている場合の一例が示されている。
制御部11は、筐体10の姿勢を判定し、その後、筐体10の保持パターンを判定する(ステップ101~102)。図18~図20において、ユーザによって保持されていると判定されたポイントの一例が一点鎖線の円で示されている。
次に、制御部11は、筐体10の姿勢及び保持パターンに基づいて、筐体10の側周面3において、操作領域5を設定し、その操作領域5に対応する位置にGUI6を配置する(ステップ103~104)。
図18~図20には、筐体10の側周面3に対して、操作領域5及びGUI6が配置されたときの様子が示されている。
図18を参照して、筐体10の姿勢が横向きの姿勢であり、筐体10の保持パターンが両手により保持されている保持パターンである場合、例えば、筐体10の上面3aに、操作領域5が設定され、この操作領域5内に、GUI6が配置される。
図18では、スライド操作型の操作領域5aが、筐体10上面3aにおける左側に設定され、スライド操作型の操作領域5aに対して、ズームイン/アウト用のGUI6cが配置された場合の一例が示されている。また、図18では、押圧操作型の操作領域5bが筐体10の上面3aにおける右側に設定され、押圧操作型の操作領域5bに対して、シャッター用のGUI6d(シャッタボタン)が配置された場合の一例が示されている。
なお、図18に示す例では、左手の人差し指によってズームイン/アウト用のGUI6cが操作され、右手の人差し指によってシャッター用のGUI6d(シャッタボタン)が操作される場合が想定されている。
図19を参照して、筐体10の姿勢が縦向きの姿勢であり、筐体10の保持パターンが左手により保持されている保持パターンである場合、例えば、筐体10の上面3aに、操作領域5が設定され、この操作領域5内に、GUI6が配置される。
図19では、スライド操作型の操作領域5aが、筐体10上面3aにおける左側に設定され、スライド操作型の操作領域5aに対して、ズームイン/アウト用のGUI6cが配置された場合の一例が示されている。また、図19では、押圧操作型の操作領域5bが筐体10の上面3aにおける右側に設定され、押圧操作型の操作領域5bに対して、シャッター用のGUI6d(シャッタボタン)が配置された場合の一例が示されている。
なお、図19に示す例では、右手(筐体10を持っていない方の手)の指によってズームイン/アウト用のGUI6c及びシャッター用のGUI6d(シャッタボタン)が操作される場合が想定されている。
図20を参照して、筐体10の姿勢が縦向きの姿勢であり、筐体10の保持パターンが右手により保持されている保持パターンである場合、例えば、筐体10の上面3aに、操作領域5が設定され、この操作領域5内に、GUI6が配置される。
図20では、スライド操作型の操作領域5aが、筐体10上面3aにおける右側に設定され、スライド操作型の操作領域5aに対して、ズームイン/アウト用のGUI6cが配置された場合の一例が示されている。また、図20では、押圧操作型の操作領域5bが筐体10の上面3aにおける左側に設定され、押圧操作型の操作領域5bに対して、シャッター用のGUI6d(シャッタボタン)が配置された場合の一例が示されている。
なお、図20に示す例では、左手(筐体10を持っていない方の手)の指によってズームイン/アウト用のGUI6c及びシャッター用のGUI6d(シャッタボタン)が操作される場合が想定されている。
図8~図12と、図18~図20との比較から理解されるように、実行されるアプリケーション毎に、操作領域5が設定される位置(GUI6が配置される位置)が異なっていてもよい。また、実行されるアプリケーション毎に、操作領域5に割り当てられる機能(GUI6に割り当てられる機能)が異なっていてもよい。
制御部11は、操作領域5を設定したとき、操作領域5が設定された位置を示すガイド8を、筐体10の正面1における表示部13上に表示させてもよい。
図21及び図22は、ガイド8の一例を示す図である。図21に示す例では、操作領域5が設定された位置(GUI6が配置された位置)を示す矢印と、操作領域5に割り当てられた機能(GUI6に割り当てられた機能)を示す文字とが、ガイド8cとして筐体10の正面1に表示されたときの様子が示されている。なお、このガイド8cは、表示されてから所定時間(例えば、数秒程度)が経過すると、表示部13上から消去される。
図21に示す例では、操作領域5が設定された位置(GUI6が配置された位置)に対応する、筐体10の正面1の位置に、操作領域5(GUI6)を想起させる図形が、ガイド8dとして配置されたときの様子が示されている。なお、このガイド8dは、表示されてから所定時間(例えば、数秒程度)が経過しても、表示部13上から消去されないが、このガイド8dをユーザが操作しても何ら反応はしない。
なお、図21に示すガイド8cと、図22に示すガイド8dとが組み合わされてもよい。
例えば、ユーザが指でスライド操作型の操作領域5a(ズームイン/アウト用のGUI6c)に軽く触れてから(あるいは、軽く押し込んでから)所定時間t(0.3秒~0.8程度)が経過すると、操作領域5が操作状態であると判定される(ステップ201~206参照)。その後、ユーザが指をスライド操作(あるいは、フリック操作)させると、接触位置が検出されて、接触位置に応じて、画像がズームイン/アウトされる(ステップ301~304)。
また、ユーザが指で押圧操作型の操作領域5b(シャッタ用のGUI6d)に軽く触れてから(あるいは、軽く押し込んでから)所定時間t(0.3秒~0.8程度)が経過すると、操作領域5が操作状態であると判定される(ステップ201~206参照)。その後、ユーザが指をさらに押し込むと、押圧が検出されて、撮像が行われる(ステップ305~308)。
<作用等>
以上説明したように、本実施形態では、感圧センサ21によって検出された圧力値に基づいて、操作領域5がユーザによって操作されている状態と、操作領域5がユーザによって保持されている状態とが識別される。これにより、操作状態と、保持状態とを正確に識別することができる。
従って、ユーザが筐体10を保持したときに、ユーザの意図に反して操作領域5に割り当てられた機能(GUI6に割り当てられた機能)が実行されてしまうことを防止することができる。また、ユーザからすれば、表示部が設けられた側周面を手で保持しつつ、側周面における操作領域5に割り当てられた機能(GUI6に割り当てられた機能)を確実に実行させることができる。
また、本実施形態においては、圧力値が、所定時間内(圧力値がαを超えた時刻T1から所定時間tが経過するまでの時間)内において所定範囲(閾値α以上閾値β以下の範囲)内の値を取り続けるという条件を満たすかどうかに基づいて、操作状態と、保持状態とが識別される。これにより、操作状態と、保持状態との識別の精度を向上させることができる。
また、本実施形態では、操作状態と、保持状態とが識別されるとき、判定の対象となっている圧力値を検出した感圧センサ21に隣接する2つの感圧センサ21の圧力値が参照される。これにより、操作状態と、保持状態との識別の精度をさらに向上させることができる。
また、本実施形態では、筐体10の姿勢に基づいて、操作領域5が設定される位置が決定される。これにより、側周面3において適切な位置に操作領域5を設定することができる。また、本実施形態では、ユーザによって筐体10が保持されている保持パターンに基づいて、操作領域5が設定される位置が決定される。これにより、側周面3においてさらに適切な位置に操作領域5を設定することができる。
また、本実施形態では、筐体10の姿勢が変化したとき、姿勢の変化に基づいて、新たに、側周面3において操作領域5が設定される位置が決定される。これにより、筐体10の姿勢の変化に適切に追従して、操作領域5が設定される位置を決定することができる。また、本実施形態では、保持パターンが変化したとき、保持パターンの変化に基づいて、新たに、側周面3において操作領域5が設定される位置が決定される。これにより、保持パターンの変化に適切に追従して、操作領域5が設定される位置を決定することができる。
また、本実施形態では、操作領域5が設定されたときに、操作領域5が設定された位置(及び操作領域5に割り当てられた機能)を示すガイド8が、筐体10の正面1における表示部13上に表示される。これにより、ユーザは、操作領域5が設定された位置(及び操作領域5に割り当てられた機能)を、筐体10の正面1から容易に認識することができる。
また、本実施形態では、操作領域5が設定されたとき、操作領域5に対応する位置にGUI6が表示される。これにより、ユーザは、GUI6を視認することで、操作領域5が設定された位置(及び操作領域5に割り当てられた機能)を容易に認識することができる。
また、本実施形態では、操作領域5がユーザによって操作されている状態であると判定された場合、近接センサ20によって検出された接触位置に基づいて、所定の処理が実行される。これにより、ユーザは、(操作領域5に軽く触れるか、軽く押し込んだ後)、操作領域5をスライド操作(あるいは、フリック操作)することで、操作領域5に割り当てられた機能(例えば、スクロール、ズームイン/アウト)を実行させることができる。
なお、本実施形態においては、操作領域5が操作状態であると一旦判定されれば、近接センサ20によって、ユーザの指の接触位置が判定される。これにより、ユーザの指が側周面3上でスライド操作(あるいは、フリック操作)されているときに、圧力値が閾値α未満になってしまったり(例えば、圧力値が0gf)、閾値βを超えてしまったりしたとしても、スライド操作に応じて、操作領域5に割り当てられた機能を適切に実行することができる。
また、本実施形態では、操作領域5がユーザによって操作されている状態であると判定された場合、感圧センサ21によって検出された圧力値に基づいて、所定の処理が実行される。これにより、ユーザは、(操作領域5に軽く触れるか、軽く押し込んだ後)、操作領域5を押圧操作することで、操作領域5に割り当てられた機能(例えば、画像切換、シャッタ)を実行させることができる。
ここで、例えば、筐体10の正面1において、側周面3に近い位置にスクロール用のGUI6が配置される場合がある。このような位置にスクロール用のGUI6が配置されてしまうと、ユーザの指が側周面3に触れたときに、筐体10の正面1における近接センサ20によってユーザの指が検出されて、ユーザの意図に反してスクロールが実行されてしまう場合がある。一方、本実施形態では、側周面3においてスクロール用のGUI6(操作領域5)等が配置され、かつ、上述のように、操作状態と保持状態を正確に識別することできるので、このような誤作動も防止することができる。
ここで、一般的なスマートフォンの場合、本実施形態とは異なり、筐体10の側周面3には、感圧センサ21は設けられておらず、側周面3に対する圧力値を検出することができない。また、一般的なスマートフォンの場合、スクロールは、筐体10の正面1に配置されたスクロール用のGUIが操作されるか、又は、筐体の正面がフリック操作されることで実行される。
制御部11は、当該スマートフォンが、上述のような、側周面3に対する圧力値を検出することができないスマートフォンであるか、側周面3に対する圧力値を検出することが可能なスマートフォン100(本実施形態)であるかを識別してもよい。
スマートフォンが、側周面3に対する圧力値を検出することができないスマートフォンである場合、制御部11は、筐体10の正面1にスクロール用のGUI6を表示させて、GUIの操作に基づいて、スクロールを実行する。あるいは、制御部11は、筐体10の正面1に対する特定の操作(例えば、フリック操作)を検出し、スクロールを実行する。
一方、スマートフォンが、側周面3に対する圧力値を検出することが可能なスマートフォン100(本実施形態)である場合、制御部11は、側周面3において、上述の操作領域5の設定処理、保持状態、操作状態の識別処理、操作状態である場合の処理を実行する。このとき、制御部11は、筐体10の正面1にスクロール用のGUI6を表示させてもよいが、このスクロール用のGUI6に対する操作は、無効とする(抑制する)(特に、側周面3に近い位置にスクロール用のGUI6が配置される場合)。また、このとき、制御部11は、筐体10の正面1に対する特定の操作(例えば、フリック操作)を検出し、スクロールを実行することもできるが、この特定の操作(例えば、フリック操作)を無効とする(抑制する)こともできる。ここでの説明では、スクロールを一例として挙げて説明したが、ズームイン/アウトなど、他の各種処理にもこの考え方は適用可能である。
<各種変形例>
[感圧センサ]
次に、感圧センサ21の一例として、複数の感圧センサ21を含む感圧機構30を例に挙げて具体的に説明する。図23は、感圧機構30の構造を模式的に示す要部断面図である。
図23に示すように、感圧機構30は、筐体10(側周面3)と保護カバー31との間に配置される。保護カバー31は、感圧機構30を被覆する部材であり、典型的には、ゴムやエラストマ等の弾性変形可能な材料で構成される。この保護カバー31は、筐体10を落下衝撃から保護し、また、ユーザより筐体10に加えられた力を感圧機構30へ伝達する。
感圧機構30は、回路基板32と、第1の金属層33と、第2の金属層34と、第1の支持体35と、第2の支持体36とを有する。
図24は、回路基板32を示す図である。回路基板32は、Y軸方向(長手方向)に沿って、所定の間隔を開けて配列された複数の容量素子32sを有する。各容量素子32sは、各々櫛歯状の共通電極32a及び個別電極32bを対向配置させることで構成される。各容量素子32sは、制御部11に電気的に接続されており、制御部11からの入力信号を受けて駆動される。
なお、1つの容量素子32sと、この容量素子32sに対応する位置に配置されている第1の金属層33、第2の金属層34、第1の支持体35、第2の支持体35とにより、1つの感圧センサ21が構成される。
第1及び第2の金属層33、34は、筐体10(側周面6)の外面および保護カバー31の内面に固定された銅箔等の金属箔で構成され、典型的には、グランド電位に接続される。第1及び第2の支持体35、36は、X軸方向(短手方向)に弾性変形可能な複数の柱状体で構成され、回路基板21を挟んでX軸方向に整列するように配置される。第1の支持体35は第1の金属層33と回路基板32との間に配置され、第2の支持体36は第2の金属層34と回路基板32との間に配置される。
以上のように構成される感圧機構30(感圧センサ21)は、保護カバー31の表面に対する力を受けたとき、回路基板21と、第1及び第2の金属層33,34との間の相対距離が局所的に変化する。この変化量は、各容量素子21sにおいて共通電極32a及び個別電極32b間の容量変化に基づいて検出され、この容量変化が圧力値として検出される。
各容量素子21sの静電容量変化の検知には、例えば、相互容量方式が用いられる。相互容量方式は、人体や金属板などの接地電極の近接を、2つの検知電極(共通電極32a、個別電極32b)間の静電容量変化により測定する方式である。これら2つの検知電極からは、接地された人体や金属板などが近接することで、容量が減少してみえる。
相互容量方式の静電容量センサは、一般的に、マルチタッチ可能なタッチパネルに用いられている。マルチタッチ可能なタッチパネルでは、XY方向のマトリックス状に例えば16本×10本の配線を形成することで、160の検知電極ペアを設けることができ、それぞれが個々に指の近接を検知することができる。感圧センサ21としては、XY方向のマトリックス状の配線表面を圧力変形可能な金属板で覆い、接地された導電層とすることで、指の近接の代わりに金属面への圧力を検知できる。例えば、160の検知電極ペア毎に金属板の変形を検知できるので、複数圧力点のXY方向座標はもちろん、Z方向への圧力も推定することができる。このとき、図24に示すように2つの検知電極を櫛歯状にすることで、これら検知電極と金属板との容量結合がしやすくなり、容量変化を高精度に検出することができる。
以上の説明では、感圧機構30(感圧センサ21)として図23及び図24に示したような構造が採用されたが、これに限られない。典型的には、グラウンド電位を持つ金属層は1つでもかまわない。最小の構成としては金属の筐体をもって1つの変形金属層として代替できるため、センサ自体には金属層すら不要である。
相互容量方式の静電容量センサに代えて、自己容量方式の静電容量センサが用いられてもよい。図25は、自己容量方式の静電容量センサで構成された感圧機構40を模式的に示す要部断面図、図26は、感圧機構40の電極構造を示す概略平面図である。
図25に示すように、感圧機構40は、筐体10と保護カバー31との間に設置される。感圧機構40は、回路基板42と、金属層43と、支持体45とを有する。図26に示すように、回路基板40は、容量素子として、Y軸方向(長手方向)に沿って、所定の間隔を開けて配列された複数の検知電極42sを有する。各検知電極42sは、配線部46を介して制御部11に電気的に接続される。電界の集中を回避するため、各検知電極42sは、円形または矩形の平面形状を有し、図示するように四隅部がテーパ状又は丸みを帯びた形状に形成されるのが好ましい。同様に、配線部46の屈曲部47は直角ではなく、図示するように例えば45度ずつ段階的に屈曲形成されるのが好ましい。
なお、1つの容量素子42sと、この容量素子42sに対応する位置に配置されている金属層43、支持体45とにより、1つの感圧センサ21が構成される。
金属層43は、保護カバー31の内面に固定された銅箔等の金属箔で構成され、典型的には、グランド電位に接続される。支持体45は、X軸方向(短手方向)に弾性変形可能な複数の柱状体で構成される。支持体45は金属層43と回路基板42との間に配置される。
自己容量方式の静電容量センサは、人体や金属板などの接地電極の近接を、個々の検知電極42sの静電容量変化により測定する方式であり、一般的には、静電タッチスイッチに用いられる。感圧センサとしては、圧力により形状変化するコンデンサとも考えられる。検知電極42sからは、接地された人体や金属板などが近接することで、静電容量が増加してみえる。自己容量方式の静電容量センサは、個別に検知したい数だけ、静電容量変化を測定する検知電極への配線が必要となる。感圧センサとしては、接地電極(金属層43)と検知電極(検知電極42s)との間の面積、距離、誘電率をもとに容量変化を容易に設計できる。
感圧センサとしては静電容量変化を活用したもの以外に、抵抗変化を利用したものや金属変形に伴う磁界の変化を利用したもの、圧電効果を利用したものなどが採用可能である。
[感圧センサ+近接センサ]
上述のような感圧機構30、40に加えて、ユーザの指(人体)の近接を検出する近接検出機構(近接センサ20)がさらに設けられてもよい。
図28は、近接検出機構の一例を示す図である。図28に示す近接検出機構50は、回路基板32'を備えている。この回路基板32'は、図23及び図24に示す感圧機構30における回路基板32と同様の構成を有している。
回路基板32'は、Y軸方向(長手方向)に沿って、所定の間隔を開けて配列された複数の容量素子32s'を有する(図24も参照)。各容量素子32sは、各々櫛歯状の共通電極32a'及び個別電極32b'を対向配置させることで構成される。各容量素子32s'は、制御部11に電気的に接続されており、制御部11からの入力信号を受けて駆動される。
なお、図28に示す近接検出機構50は、図23、24に示す感圧機構30から、第1の金属層33と、第2の金属層34と、第1の支持体35と、第2の支持体36とが除かれて、回路基板32'だけとなった構成とされている。
近接検出機構50(近接センサ)は、例えば、相互容量方式のセンサである。個別電極32b'(パルス電極)に対してパルス電圧が供給されると、個別電極32b'と共通電極32a'(検出電極)との間に電界(点線参照)が発生する。
ユーザの指(人体)が近接検出機構50に近づくと、電界の一部がユーザの指に妨げられて、共通電極32a'で検出される電界が減少し、共通電極32a'、及び個別電極32b'間の静電容量が減少する。逆に、近づいたユーザの指が近接検出機構50から遠ざかると、共通電極32a'で検出される電界が増加し、共通電極32a'及び個別電極32b'間の静電容量が増加する。このような静電容量の変化を検知することによって、ユーザの指の近接が検出される。
図29は、近接検出機構50が感圧機構30の上部に配置されたときの様子を示す図である。図29に示すように、近接検出機構50と感圧機構30とが併用された場合、近接検出機構50によりユーザの指の近接(及びその位置)を検出ことができ、かつ、感圧機構30により押圧時の圧力を検出することができると考えられる。
しかしながら、図29に示すように、近接検出機構50が、感圧機構30の上部に"直接的に"配置された場合、以下のような問題がある。近接検出機構50がユーザの指の近接を適切に検出するためには、図28に示すように、個別電極32b'及び共通電極32a'の間に発生する電界が、近接検出機構50から外側(上側)に、一定の距離分突出している必要がある。
一方、図29に示すように、近接検出機構50が、感圧機構30の上部に直接的に配置された場合、近接検出機構50において、個別電極32b'及び共通電極32a'の間に発生する電界が、感圧機構30における第1の金属層33の影響を受けてしまう。つまり、近接検出機構50と、感圧機構30との距離が近いので、個別電極32b'及び共通電極32a'の間に発生する電界の一部が、グランド電位とされている第1の金属層33側に移ってしまう。
従って、近接検出機構50において、個別電極32b'及び共通電極32a'の間に発生する電界が、近接検出機構50から外側(上側)に、一定の距離分突出することができない。このため、近接検出機構50がユーザの指の近接を適切に検出することができなくなってしまう場合がある。
なお、図29において、感圧機構30の代わりに、感圧機構40(図25及び図26参照)が用いられた場合も同様の問題がある。つまり、個別電極32b'及び共通電極32a'の間に発生する電界の一部が、グランド電位とされている金属層43側に移ってしまうので、近接検出機構50がユーザの指の近接を適切に検出することができなくなってしまう場合がある。
このような問題を解決するため、近接検出機構50と感圧機構30(あるいは、感圧機構40)との間に、スペーサが介在されてもよい(スペーサは、実際の物体であってもよいし、単なる空間であってもよい)。
図30は、近接検出機構50と感圧機構30との間に、スペーサが介在されたときの一例を示す図である。図30では、スペーサ61の材料として、樹脂、SiOなどの絶縁材料が用いられた場合の一例が示されている。
図30に示すように、近接検出機構50と、感圧機構30との間にスペーサ61が介在されることで、近接検出機構50の個別電極32b'及び共通電極32a'と、感圧機構30の第1の金属層33との間の距離を大きくすることができる。
これにより、個別電極32b'及び共通電極32a'の間に発生する電界が、感圧機構30における第1の金属層33の影響を受けてしまうことを防止することができる。従って、近接検出機構50により、ユーザの指の近接を適切に検出することができる。
図31は、近接検出機構50と感圧機構30との間に、スペーサが介在されたときの他の一例を示す図である。図31では、スペーサ62の材料として、高誘電率材料が用いられた場合の一例が示されている。
スペーサ62の材料として、高誘電率材料が用いられた場合、近接検出機構50の個別電極32b'及び共通電極32a'の間で発生した電界が、スペーサ62の内部で縮む(上下方向:X軸方向)。
従って、近接検出機構50の個別電極32b'及び共通電極32a'と、感圧機構30の第1の金属層33との間の距離を、図30に示す例よりも小さくしつつ(つまり薄型化が可能)、近接検出機構50により、ユーザの指の近接を適切に検出することができる。
なお、図30及び図31においては、感圧機構として感圧機構30が用いられた場合が示されているが、感圧機構として感圧機構40が用いられた場合も同様の効果がある(電界が金属層43の影響を受けてしまうことを防止することができるので)。
[折り畳み式の筐体]
本技術は、折り畳み式の筐体30を有するスマートフォン200にも適用可能である。図27は、折り畳み式の筐体30を有するスマートフォン200を示す図である。図27の上側には、筐体30が展開状態である場合の筐体30の様子が示されている。一方、図27の下側には、筐体30が折り畳み状態である場合の筐体30の様子が示されている。
図27に示すように、このスマートフォン200では、展開状態と折り畳み状態との間で筐体30の形状が変更可能とされている。図27に示す例では、筐体30が2重に折り畳み可能とされているが、筐体30は、3重以上に折り畳み可能に構成されていてもよい。また、図27に示す例では、折り曲げ箇所(一点鎖線参照)が予め決められているとして説明するが、折り曲げ箇所が不定(つまり、どこでも折り曲げ可能)であってもよい。
展開状態における筐体30の正面31及び背面32には、全体に亘って表示部13が配置されている。また、展開状態における筐体30の正面31及び背面32において表示部13上には、全体に亘って近接センサ20が配置されている。なお、ここでの例では、展開状態における筐体30の側周面33においては、表示部13及び近接センサ20は配置されていないが、この位置に表示部13及び近接センサ20が配置されていてもよい。
展開状態においてY軸方向の中心位置には、X軸方向に沿って折り曲げ箇所(一点鎖線参照)が設定されている。この折り曲げ箇所には、X軸方向に沿って所定の間隔を開けて複数の感圧センサ21が配置されている。
展開状態における筐体30が、図に示す黒の矢印のように折り曲げられ、折り畳み状態とされたとする。この場合、折り畳み状態における筐体30の正面41は、展開状態における筐体30の正面31の左半分に対応し、折り畳み状態の筐体30の背面42は、展開状態における筐体30の正面31の右半分に対応する。また、折り畳み状態における筐体30の右側面43cは、展開状態における筐体10の正面1中央近傍に対応する。
折り畳み状態における筐体30の右側面43c(折り曲げ箇所:感圧センサ21が配置されている)において、上述の操作領域5の設定処理、保持状態、操作状態の識別処理、操作状態である場合の処理が実行される。なお、折り畳み状態における筐体30の上面43a、下面43b、左側面43dにおいても、上記各種の処理が実行されてもよい(この場合には、対応する箇所に感圧センサ21が配置される)。
[その他]
以上の説明では、操作領域5が設定される位置が、筐体10、30の側周面3、43(サブ面)である場合について説明した。一方、操作領域5が設定される位置は、筐体10、30の背面2、32、42(サブ面)であってもよい。この場合、筐体10、30の背面2、32、42に対して感圧センサ21が配置される。
以上の説明では、操作領域5が設定される位置が、姿勢や保持パターンに応じて決定される場合について説明した。一方、操作領域5が設定される位置は、姿勢や保持パターンに関係なく、一定の場所に予め決定されていてもよい。この場合、その一定の場所にのみ、感圧センサ21が配置される。
以上の説明では、操作領域5が、表示部13が設けられた箇所のいずれかの位置に設定される場合について説明した。一方、操作領域5は、表示部13が設けられていない箇所に設定されてもよい。
例えば、図1において、側周面3の表示部13が省略され、その側周面3に、操作領域5が設定されてもよい。なお、このような場合、操作領域5に対応する位置に、GUI6は配置されない(つまり、GUI6は必ずしも必要ではない)。また、操作領域5は、表示部13が設けられた箇所と、表示部13が設けられていない箇所の両方に設定されてもよい。
以上の説明では、感圧センサ21の数が複数である場合について説明したが、感圧センサ21の数は、1つであってもよい。
以上の説明では、情報処理装置の一例として、スマートフォン100、200を例に挙げて説明したが、情報処理装置は、これに限られない。例えば、情報処理装置は、タブレットPC(PC:personal computer)、携帯ゲーム機、携帯音楽プレイヤー、ウェアラブル装置、バーチャルリアリティ装置等であってもよい。なお、上記した制御部11における各種の処理は、ネットワーク上のサーバ装置(情報処理装置)の制御部11によって実行されてもよい。
本技術は、以下の構成をとることもできる。
(1)正面と、操作領域を有するサブ面とを有し、ユーザが保持可能な筐体と、
前記正面に設けられた表示部と、
前記サブ面に対する圧力値を検出する感圧センサと、
前記圧力値に基づいて、前記操作領域がユーザによって操作されている状態と、前記操作領域がユーザによって保持されている状態とを識別し、前記操作領域がユーザによって操作されている状態であると判定された場合、前記操作領域に対するユーザの操作に基づいて所定の処理を実行する制御部と
を具備する情報処理装置。
(2) 上記(1)に記載の情報処理装置であって、
前記制御部は、前記圧力値が所定時間内において所定範囲内の値を取り続けるという条件を満たした場合、前記操作領域がユーザによって操作されている状態であると判定する
情報処理装置。
(3) 上記(2)に記載の情報処理装置であって、
前記制御部は、前記条件を満たさない場合、前記操作領域がユーザによって保持されている状態であると判定する
情報処理装置。
(4) 上記(1)に記載の情報処理装置であって、
複数の感圧センサを有し、
前記制御部は、前記複数の感圧センサのうち第1の感圧センサによって検出された第1の圧力値が、所定時間内において所定範囲内の値を取り続けるという条件を満たした場合、第1の感圧センサに隣接する第2の感圧センサによって検出された第2の圧力値に基づいて、前記操作領域がユーザによって操作されている状態と、前記操作領域がユーザによって保持されている状態とを識別する
情報処理装置。
(5) 上記(4)に記載の情報処理装置であって、
前記制御部は、前記第2の圧力値が、所定の閾値未満である場合、前記操作領域がユーザによって操作されている状態であると判定する
情報処理装置。
(6) 上記(4)又は(5)に記載の情報処理装置であって、
前記制御部は、前記第2の圧力値が、所定の閾値以上である場合、前記操作領域がユーザによって保持されている状態であると判定する
情報処理装置。
(7) 上記(1)~(6)のうちいずれか1つに記載の情報処理装置であって、
前記制御部は、前記サブ面において、前記操作領域を設定する位置を決定する
情報処理装置。
(8) 上記(7)に記載の情報処理装置であって、
前記筐体の姿勢を検出するモーションセンサをさらに具備し、
前記制御部は、検出された前記筐体の姿勢に基づいて、前記操作領域を設定する位置を決定する
情報処理装置。
(9) 上記(7)又は(8)に記載の情報処理装置であって、
前記制御部は、前記圧力値に基づいて、ユーザによって筐体が保持されている保持パターンを判定し、前記保持パターンに基づいて、前記操作領域を設定する位置を決定する
情報処理装置。
(10) 上記(8)に記載の情報処理装置であって、
前記制御部は、前記筐体の前記姿勢が変化したとき、前記姿勢の変化に基づいて、新たに、前記サブ面において前記操作領域を設定する位置を決定する
情報処理装置。
(11) 上記(9)に記載の情報処理装置であって、
前記制御部は、前記保持パターンが変化したとき、前記保持パターンの変化に基づいて、新たに、前記サブ面において前記操作領域を設定する位置を決定する
情報処理装置。
(12) 上記(7)~(11)のうちいずれか1つに記載の情報処理装置であって、
前記制御部は、前記サブ面において、前記操作領域を設定したとき、前記操作領域が設定された位置を示すガイドを、前記正面における前記表示部上に表示させる
情報処理装置。
(13) 上記(1)~(12)のうちいずれか1つに記載の情報処理装置であって、
前記表示部は、前記正面及び前記サブ面に設けられ、
前記制御部は、前記表示部において、前記サブ面における前記操作領域に対応する位置にGUI(Graphical User Interface)を表示させる
情報処理装置。
(14) 上記(1)~(13)のうちいずれか1つに記載の情報処理装置であって、
前記サブ面に設けられ、ユーザの接触位置を検出する近接センサをさらに具備し、
前記制御部は、前記操作領域がユーザによって操作されている状態であると判定された場合、検出された前記接触位置に基づいて、前記所定の処理を実行する
情報処理装置。
(15) 上記(1)~(14)のうちいずれか1つに記載の情報処理装置であって、
前記制御部は、記操作領域がユーザによって操作されている状態であると判定された場合、前記圧力値に基づいて、前記所定の処理を実行する
(16) 上記(1)~(15)のうちいずれか1つに記載の情報処理装置であって、
前記筐体は、展開状態と、折り畳み状態との間で形状が変更可能である
情報処理装置。
(17) 表示部を有する正面と、操作領域を有するサブ面とを有し、ユーザが保持可能な筐体の前記サブ面に対する圧力値に基づいて、前記操作領域がユーザによって操作されている状態と、前記操作領域がユーザによって保持されている状態とを識別し、
前記操作領域がユーザによって操作されている状態であると判定された場合、前記操作領域に対するユーザの操作に基づいて所定の処理を実行する
情報処理方法。
(18) 表示部を有する正面と、操作領域を有するサブ面とを有し、ユーザが保持可能な筐体の前記サブ面に対する圧力値に基づいて、前記操作領域がユーザによって操作されている状態と、前記操作領域がユーザによって保持されている状態とを識別するステップと、
前記操作領域がユーザによって操作されている状態であると判定された場合、前記操作領域に対するユーザの操作に基づいて所定の処理を実行するステップと
をコンピュータに実行させるプログラム。
1、31、41…正面
2、32、42…背面
3、33、43…側周面
5…操作領域
6…GUI
10、30…筐体
11…制御部
13…表示部
19…モーションセンサ
20…近接センサ
21…感圧センサ
100、200…スマートフォン

Claims (15)

  1. 正面と、操作領域を有するサブ面とを有し、ユーザが保持可能な筐体と、
    前記正面に設けられた表示部と、
    前記サブ面に対する圧力値を検出する複数の感圧センサと、
    前記複数の感圧センサのうち、前記操作領域に対応する位置に配置された第1の感圧センサによって検出された第1の圧力値が、所定時間内において所定範囲内の値を取り続けるという条件を満たした場合、第1の感圧センサに隣接する第2の感圧センサによって検出された第2の圧力値に基づいて、前記操作領域がユーザによって操作されている状態と、前記操作領域がユーザによって保持されている状態とを識別し、前記操作領域がユーザによって操作されている状態であると判定された場合、前記操作領域に対するユーザの操作に基づいて所定の処理を実行する制御部と
    を具備する情報処理装置。
  2. 請求項に記載の情報処理装置であって、
    前記制御部は、前記第2の圧力値が、所定の閾値未満である場合、前記操作領域がユーザによって操作されている状態であると判定する
    情報処理装置。
  3. 請求項に記載の情報処理装置であって、
    前記制御部は、前記第2の圧力値が、所定の閾値以上である場合、前記操作領域がユーザによって保持されている状態であると判定する
    情報処理装置。
  4. 請求項1に記載の情報処理装置であって、
    前記制御部は、前記サブ面において、前記操作領域を設定する位置を決定する
    情報処理装置。
  5. 請求項に記載の情報処理装置であって、
    前記筐体の姿勢を検出するモーションセンサをさらに具備し、
    前記制御部は、検出された前記筐体の姿勢に基づいて、前記操作領域を設定する位置を決定する
    情報処理装置。
  6. 請求項に記載の情報処理装置であって、
    前記制御部は、前記圧力値に基づいて、ユーザによって筐体が保持されている保持パターンを判定し、前記保持パターンに基づいて、前記操作領域を設定する位置を決定する
    情報処理装置。
  7. 請求項に記載の情報処理装置であって、
    前記制御部は、前記筐体の前記姿勢が変化したとき、前記姿勢の変化に基づいて、新たに、前記サブ面において前記操作領域を設定する位置を決定する
    情報処理装置。
  8. 請求項に記載の情報処理装置であって、
    前記制御部は、前記保持パターンが変化したとき、前記保持パターンの変化に基づいて、新たに、前記サブ面において前記操作領域を設定する位置を決定する
    情報処理装置。
  9. 請求項に記載の情報処理装置であって、
    前記制御部は、前記サブ面において、前記操作領域を設定したとき、前記操作領域が設定された位置を示すガイドを、前記正面における前記表示部上に表示させる
    情報処理装置。
  10. 請求項1に記載の情報処理装置であって、
    前記表示部は、前記正面及び前記サブ面に設けられ、
    前記制御部は、前記表示部において、前記サブ面における前記操作領域に対応する位置にGUI(Graphical User Interface)を表示させる
    情報処理装置。
  11. 請求項1に記載の情報処理装置であって、
    前記サブ面に設けられ、ユーザの接触位置を検出する近接センサをさらに具備し、
    前記制御部は、前記操作領域がユーザによって操作されている状態であると判定された場合、検出された前記接触位置に基づいて、前記所定の処理を実行する
    情報処理装置。
  12. 請求項1に記載の情報処理装置であって、
    前記制御部は、前記操作領域がユーザによって操作されている状態であると判定された場合、前記圧力値に基づいて、前記所定の処理を実行する
    情報処理装置。
  13. 請求項1に記載の情報処理装置であって、
    前記筐体は、展開状態と、折り畳み状態との間で形状が変更可能である
    情報処理装置。
  14. 表示部を有する正面と、操作領域を有するサブ面とを有し、ユーザが保持可能な筐体の前記サブ面に対する圧力値を検出する複数の感圧センサのうち、前記操作領域に対応する位置に配置された第1の感圧センサによって検出された第1の圧力値が、所定時間内において所定範囲内の値を取り続けるという条件を満たした場合、第1の感圧センサに隣接する第2の感圧センサによって検出された第2の圧力値に基づいて、前記操作領域がユーザによって操作されている状態と、前記操作領域がユーザによって保持されている状態とを識別し、
    前記操作領域がユーザによって操作されている状態であると判定された場合、前記操作領域に対するユーザの操作に基づいて所定の処理を実行する
    情報処理方法。
  15. 表示部を有する正面と、操作領域を有するサブ面とを有し、ユーザが保持可能な筐体の前記サブ面に対する圧力値を検出する複数の感圧センサのうち、前記操作領域に対応する位置に配置された第1の感圧センサによって検出された第1の圧力値が、所定時間内において所定範囲内の値を取り続けるという条件を満たした場合、第1の感圧センサに隣接する第2の感圧センサによって検出された第2の圧力値に基づいて、前記操作領域がユーザによって操作されている状態と、前記操作領域がユーザによって保持されている状態とを識別するステップと、
    前記操作領域がユーザによって操作されている状態であると判定された場合、前記操作領域に対するユーザの操作に基づいて所定の処理を実行するステップと
    をコンピュータに実行させるプログラム。
JP2019530942A 2017-07-20 2018-06-25 情報処理装置、情報処理方法及びプログラム Active JP7184037B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017140970 2017-07-20
JP2017140970 2017-07-20
PCT/JP2018/024007 WO2019017153A1 (ja) 2017-07-20 2018-06-25 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2019017153A1 JPWO2019017153A1 (ja) 2020-07-16
JP7184037B2 true JP7184037B2 (ja) 2022-12-06

Family

ID=65015470

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019530942A Active JP7184037B2 (ja) 2017-07-20 2018-06-25 情報処理装置、情報処理方法及びプログラム

Country Status (5)

Country Link
US (1) US11069328B2 (ja)
JP (1) JP7184037B2 (ja)
CN (1) CN110892370B (ja)
DE (1) DE112018003675T5 (ja)
WO (1) WO2019017153A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109782944A (zh) * 2018-12-11 2019-05-21 华为技术有限公司 一种触摸屏的响应方法及电子设备
CN112486346B (zh) * 2019-09-12 2023-05-30 北京小米移动软件有限公司 按键模式设置方法、装置及存储介质
CN110971265A (zh) * 2019-11-18 2020-04-07 捷开通讯(深圳)有限公司 射频电路、终端设备及信号发射方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101292719B1 (ko) 2008-09-03 2013-08-01 에스케이플래닛 주식회사 측면 터치 인터페이스 장치 및 방법
JP2013546050A (ja) 2010-10-01 2013-12-26 ゼット124 スマートパッド方向付け
JP2014142813A (ja) 2013-01-24 2014-08-07 Sharp Corp 電子機器、および電子機器操作制御プログラム
US20160062515A1 (en) 2014-09-02 2016-03-03 Samsung Electronics Co., Ltd. Electronic device with bent display and method for controlling thereof

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3654141A1 (en) * 2008-10-06 2020-05-20 Samsung Electronics Co., Ltd. Method and apparatus for displaying graphical user interface depending on a user's contact pattern
US9760196B2 (en) * 2012-05-29 2017-09-12 Sony Corporation Terminal apparatus, display method and recording medium
US9904394B2 (en) * 2013-03-13 2018-02-27 Immerson Corporation Method and devices for displaying graphical user interfaces based on user contact
US9851883B2 (en) * 2014-02-17 2017-12-26 Xerox Corporation Method and apparatus for adjusting and moving a user interface for single handed use on an endpoint device
JP2015169948A (ja) 2014-03-04 2015-09-28 シャープ株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
KR20170086538A (ko) 2014-10-30 2017-07-26 티모시 징 인 스제토 터치 감지, 압력 감지 및 디스플레이 가능 측면을 갖는 전자 장치
KR20160066873A (ko) * 2014-12-03 2016-06-13 삼성전자주식회사 디스플레이 제어방법 및 그 전자 장치
KR102252619B1 (ko) * 2015-02-03 2021-05-17 삼성전자 주식회사 알림 제공 방법 및 이를 구현하는 전자 장치
KR101719208B1 (ko) 2015-06-17 2017-03-23 주식회사 하이딥 디스플레이 모듈을 포함하는 압력 검출 가능한 터치 입력 장치
KR102381051B1 (ko) * 2015-07-01 2022-03-31 삼성전자주식회사 키패드를 표시하는 전자장치 및 그의 키패드 표시 방법
KR102628789B1 (ko) * 2016-09-09 2024-01-25 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101292719B1 (ko) 2008-09-03 2013-08-01 에스케이플래닛 주식회사 측면 터치 인터페이스 장치 및 방법
JP2013546050A (ja) 2010-10-01 2013-12-26 ゼット124 スマートパッド方向付け
JP2014142813A (ja) 2013-01-24 2014-08-07 Sharp Corp 電子機器、および電子機器操作制御プログラム
US20160062515A1 (en) 2014-09-02 2016-03-03 Samsung Electronics Co., Ltd. Electronic device with bent display and method for controlling thereof

Also Published As

Publication number Publication date
CN110892370A (zh) 2020-03-17
US20200168182A1 (en) 2020-05-28
WO2019017153A1 (ja) 2019-01-24
DE112018003675T5 (de) 2020-05-14
US11069328B2 (en) 2021-07-20
JPWO2019017153A1 (ja) 2020-07-16
CN110892370B (zh) 2023-09-08

Similar Documents

Publication Publication Date Title
US11449224B2 (en) Selective rejection of touch contacts in an edge region of a touch surface
CN107479737B (zh) 便携式电子设备及其控制方法
US9176635B2 (en) Virtual buttons for a touch interface
KR20180016132A (ko) 지문 센서를 포함하는 전자 장치
US10104270B2 (en) Method for operating camera underwater
US20140043265A1 (en) System and method for detecting and interpreting on and off-screen gestures
US20130154999A1 (en) Multi-Surface Touch Sensor Device With User Action Detection
US20130154955A1 (en) Multi-Surface Touch Sensor Device With Mode of Operation Selection
JP7184037B2 (ja) 情報処理装置、情報処理方法及びプログラム
US9298305B2 (en) Display control apparatus and method
US20160253064A1 (en) Electronic device
EP3518085A1 (en) Mobile terminal and method for controlling the same
JP2011516985A (ja) 静電容量感知タッチスクリーン用のポインタデバイス
US20140340336A1 (en) Portable terminal and method for controlling touch screen and system thereof
KR102559030B1 (ko) 터치 패널을 포함하는 전자 장치 및 그 제어 방법
US10845914B2 (en) Electronic device
US10444803B2 (en) Electronic device
US20170108958A1 (en) Capacitive stylus with ball
KR101375727B1 (ko) 선형터치패턴을 이용한 터치스크린의 화면확대/축소 방법 및 장치
KR101366433B1 (ko) 전자 디바이스 및 이의 제어 방법
KR20120044718A (ko) 정전식 필기 시스템, 정전식 필기 입력 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220711

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221107

R151 Written notification of patent or utility model registration

Ref document number: 7184037

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151