JP6942345B2 - Input device and input program - Google Patents

Input device and input program Download PDF

Info

Publication number
JP6942345B2
JP6942345B2 JP2017227655A JP2017227655A JP6942345B2 JP 6942345 B2 JP6942345 B2 JP 6942345B2 JP 2017227655 A JP2017227655 A JP 2017227655A JP 2017227655 A JP2017227655 A JP 2017227655A JP 6942345 B2 JP6942345 B2 JP 6942345B2
Authority
JP
Japan
Prior art keywords
function
movement
selection
menu
table data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017227655A
Other languages
Japanese (ja)
Other versions
JP2019096260A (en
Inventor
向實 任
向實 任
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kochi Prefectural University Corp
Original Assignee
Kochi Prefectural University Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kochi Prefectural University Corp filed Critical Kochi Prefectural University Corp
Priority to JP2017227655A priority Critical patent/JP6942345B2/en
Publication of JP2019096260A publication Critical patent/JP2019096260A/en
Application granted granted Critical
Publication of JP6942345B2 publication Critical patent/JP6942345B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、入力装置および入力プログラムに関する。 The present invention relates to an input device and an input program.

スマートフォンや携帯電話等の携帯端末の入力は、通常、ボタンを押下したり画面にタッチしたりして行われる。しかし、視覚障碍者の方等は画面やボタンの確認が行いにくい場合があり、操作に時間が掛かる場合がある。とくに、スマートフォンのように、画面上で操作を行う場合には、画面に表示された画像を認識して操作しなければならないので、操作が困難であったり操作できなかったりする可能性がある。 Input from a mobile terminal such as a smartphone or a mobile phone is usually performed by pressing a button or touching a screen. However, it may be difficult for visually impaired people to check the screen and buttons, and it may take time to operate. In particular, when operating on a screen like a smartphone, the image displayed on the screen must be recognized and operated, so that the operation may be difficult or impossible.

従来、音声によって操作をガイドする機能を備えたものがあり、音声ガイドがあれば視覚障碍者の方等でも操作を認識しやすくなるという利点が得られる。しかし、音声ガイドは、劇場や会議場などのような携帯端末の操作音が禁止されているような場合には使用することができない。イヤホーン等を使用すれば上記のような場面でも、音声ガイドによって操作が可能であるが、イヤホーンを装着しなければならないので、手間がかかる。 Conventionally, some have a function of guiding the operation by voice, and if there is a voice guide, there is an advantage that even visually impaired people can easily recognize the operation. However, the voice guide cannot be used when the operation sound of the mobile terminal such as a theater or a conference hall is prohibited. If an earphone or the like is used, the operation can be performed by the voice guide even in the above situation, but it takes time and effort because the earphone must be attached.

そこで、近年では、携帯端末を傾けたり振ったりすることによって操作を切り替えることができる技術が開発されている（特許文献１、２参照）。 Therefore, in recent years, a technique has been developed in which the operation can be switched by tilting or shaking the mobile terminal (see Patent Documents 1 and 2).

特開２００８−２１０１２７号公報Japanese Unexamined Patent Publication No. 2008-210127 特開２０１５−１５６２０１号公報Japanese Unexamined Patent Publication No. 2015-156201

しかるに、特許文献１の技術は携帯端末を回したり傾けたりすることによって、５０音の文字の行変換と列内の文字の移動を選択するだけである。特許文献２の技術は携帯端末の傾きを変えることによって画面内のアイコン等を選択する技術が開示されているだけである。いずれも階層に分かれている機能を携帯端末の移動だけで選択する機能は有していない。 However, the technique of Patent Document 1 only selects the line conversion of the Japanese syllabary character and the movement of the character in the column by turning or tilting the mobile terminal. The technique of Patent Document 2 only discloses a technique of selecting an icon or the like on the screen by changing the inclination of the mobile terminal. None of them has a function to select a function divided into layers only by moving a mobile terminal.

本発明は上記事情に鑑み、視覚障碍者等であっても階層に分かれている機能を携帯端末の移動だけで選択できる入力装置および入力プログラムを提供することを目的とする。 In view of the above circumstances, it is an object of the present invention to provide an input device and an input program that allow visually impaired persons and the like to select functions divided into layers only by moving a mobile terminal.

第１発明の入力装置は、視覚障碍者が携帯用端末の入力操作をする際に使用される装置であって、携帯用端末の動きを検出する検出器と、該検出器によって検出された携帯用端末の動きに基づいて入力を判断する判断部と、該判断部の判断に基づいて機能を選択する選択部と、を備えており、前記選択部は、複数の階層に分けられた、複数の選択メニューを含むメニューテーブルデータを複数有しており、下位階層のメニューテーブルデータと、上位階層のメニューテーブルデータに含まれる選択メニューと、を関連づけた階層連携データと、各メニューテーブルデータにおける複数の選択メニューと携帯用端末の移動方向とを関連づけた移動方向決定データと、を有しており、前記判断部は、前記検出器によって検出される加速度および／または速度に基づいて、携帯用端末の移動停止を判断する移動方向決定機能と、前記検出器によって検出される加速度および／または速度に基づいて、携帯用端末の直線的な移動の移動方向を等角度間隔の４、６、または８方向に分類する移動方向分類機能と、を有しており、前記移動方向決定機能は、直線状の移動を繋げた一連の動作が実施された際に、前記検出器によって検出される加速度および／または速度の方向が変化すると、携帯用端末の直線的な移動が一旦停止した後再度異なる方向に直線的な移動を開始したと判断する機能を有しており、前記メニューテーブルデータの階層は、携帯用端末の移動方向を４方向に分類する場合には該メニューテーブルデータの階層は３階層に設定され、携帯用端末の移動方向を６または８方向に分類する場合には該メニューテーブルデータの階層は２階層に設定されることを特徴とする。
第２発明の入力装置は、第１発明において、前記移動方向決定機能は、前記検出器によって検出される加速度および／または速度が一定の値を越えた期間があっても、その期間が一定の期間よりも短い場合および／またはその期間に移動する距離が一定の距離よりも短い場合には、携帯用端末移動していないと判断する機能を有していることを特徴する。
第３発明の入力装置は、第１または第２発明において、使用者が、前記選択部の移動方向決定データにおける選択メニューと関連づける携帯用端末の移動方向を変更する選択方法変更部を備えていることを特徴する。
第４発明の入力装置は、第１、第２または第３発明において、前記選択部が、選択された選択メニューを読み上げる読み上げ機能を有していることを特徴する。
第５発明の入力装置は、第１、第２、第３または第４発明において、前記選択部の読み上げ機能は、携帯用端末の連続して移動させた場合において、最終選択された選択メニューのみを読み上げる機能を有していることを特徴する。
第６発明の入力装置は、第１、第２、第３、第４または第５発明において、前記判断部が、携帯用端末の移動を開始したことを決定する移動開始判断条件を決定する機能、および、携帯用端末が移動を停止したことを決定する移動停止判断条件を決定する機能を有しており、該移動停止判断条件および／または前記移動開始判断条件を変更する条件変更機能を有していることを特徴する。
第７発明の入力プログラムは、携帯用端末にインストールされるプログラムであって、携帯用端末の各機器に請求項１乃至６のいずれかの入力装置の動作を実施するように作動させるものであることを特徴する。 The input device of the first invention is a device used when a visually impaired person performs an input operation of a portable terminal, and is a detector for detecting the movement of the portable terminal and a portable device detected by the detector. It is provided with a determination unit that determines input based on the movement of the terminal and a selection unit that selects a function based on the determination of the determination unit, and the selection unit is divided into a plurality of layers. It has a plurality of menu table data including the selection menu of, and the hierarchical linkage data in which the lower layer menu table data and the selection menu included in the upper layer menu table data are associated with each other, and a plurality of each menu table data. It has moving direction determination data in which the selection menu of is associated with the moving direction of the portable terminal, and the determination unit has the portable terminal based on the acceleration and / or speed detected by the detector. Based on the movement direction determination function that determines the movement stop of the mobile terminal and the acceleration and / or speed detected by the detector, the movement direction of the linear movement of the portable terminal is set to 4, 6, or 8 at equal intervals. It has a movement direction classification function for classifying into directions, and the movement direction determination function has an acceleration and / or acceleration detected by the detector when a series of operations connecting linear movements are performed. Alternatively, when the direction of speed changes, it has a function of determining that the linear movement of the portable terminal has stopped once and then started the linear movement in a different direction again, and the hierarchy of the menu table data is When the movement direction of the portable terminal is classified into 4 directions, the hierarchy of the menu table data is set to 3 layers, and when the movement direction of the portable terminal is classified into 6 or 8 directions, the menu table data has a hierarchy of the menu table data. The hierarchy is set to two layers .
In the first invention, the input device of the second invention has a constant period even if the acceleration and / or speed detected by the detector exceeds a certain value in the moving direction determining function. When it is shorter than the period and / or the distance traveled during the period is shorter than a certain distance, it is characterized by having a function of determining that the portable terminal is not moving.
In the first or second invention, the input device of the third invention includes a selection method changing unit in which the user changes the moving direction of the portable terminal associated with the selection menu in the moving direction determination data of the selection unit. Characterized by that.
The input device of the fourth invention is characterized in that, in the first, second or third invention, the selection unit has a reading function of reading out the selected selection menu.
The input device of the fifth invention is the first, second, third or fourth invention, and the reading function of the selection unit is only the last selected selection menu when the portable terminal is continuously moved. It is characterized by having a function of reading aloud.
In the first, second, third, fourth or fifth invention, the input device of the sixth invention has a function of determining a movement start determination condition for determining that the determination unit has started the movement of the portable terminal. , And has a function of determining a movement stop determination condition for determining that the mobile terminal has stopped moving, and has a condition changing function for changing the movement stop determination condition and / or the movement start determination condition. Characterized by doing.
The input program of the seventh invention is a program installed in a portable terminal, and operates each device of the portable terminal so as to perform the operation of the input device according to any one of claims 1 to 6. Characterized by that.

第１発明によれば、携帯用端末を移動させるだけで選択メニューを選ぶことができるので、視覚障碍者等であっても携帯用端末の操作が容易になる。しかも、選択メニューを選ぶ直線的な移動の方向を４、６または８方向に分類しており、階層メニューを、４方向の場合には３階層、６または８方向の場合には２階層としているので、視覚障碍者が操作しても誤操作を少なくすることができる。そして、メニューテーブルデータが複数の階層になるようにリンクされている場合でも、異なる方向の直線状の移動を繋げた一連の動作によって、目的とする階層のメニューテーブルデータの目的とする選択メニューの機能を選択することが可能となる。
第２発明によれば、携帯用端末の所持者が意図せず携帯用端末を動かした際に、入力があったと誤認識して作動することを防止できる。
第３発明によれば、使用者が自分に適した操作に調整できるので、携帯用端末の操作が容易になる。
第４発明によれば、視覚障碍者の方の誤操作を抑制できる。
第５発明によれば、使用に慣れた使用者のメニュー選択時間を短縮できる。
第６発明によれば、使用者に適した操作に調整できるので、誤操作を少なくすることができる。
第７発明によれば、視覚障碍者等であっても携帯用端末の操作を容易なものとすることができる。
According to the first invention, since the selection menu can be selected only by moving the portable terminal, even a visually impaired person or the like can easily operate the portable terminal. Moreover, the direction of linear movement for selecting the selection menu is classified into 4, 6 or 8 directions, and the hierarchical menu is divided into 3 layers in the case of 4 directions and 2 layers in the case of 6 or 8 directions. Therefore, even if a visually impaired person operates it, erroneous operation can be reduced. Then, even when the menu table data is linked so as to form a plurality of layers, the target selection menu of the menu table data of the target layer is subjected to a series of operations in which linear movements in different directions are connected. It becomes possible to select a function.
According to the second invention, when the owner of the portable terminal unintentionally moves the portable terminal, it is possible to prevent the mobile terminal from being erroneously recognized as having been input and operating.
According to the third invention, since the user can adjust the operation to suit himself / herself, the operation of the portable terminal becomes easy.
According to the fourth invention, it is possible to suppress erroneous operation of a visually impaired person.
According to the fifth invention, the menu selection time of a user who is accustomed to use can be shortened.
According to the sixth invention, since the operation can be adjusted to be suitable for the user, erroneous operation can be reduced.
According to the seventh invention, even a visually impaired person or the like can easily operate the portable terminal.

本実施形態の入力装置１を内蔵するスマートフォンＳの概略ブロック図ある。It is a schematic block diagram of the smartphone S which incorporates the input device 1 of this embodiment. スマートフォンＳに表示されるメニューテーブルデータ１６Ａと、メニューテーブルデータ１６Ａの選択メニューＭと下位階層のメニューテーブルデータ１６Ｂ、１６Ｃとの関係、メニューテーブルデータ１６Ｂの選択メニューＭと下位階層のメニューテーブルデータ１６Ｄ、１６Ｆとの関係を示した図である。The relationship between the menu table data 16A displayed on the smartphone S, the selection menu M of the menu table data 16A, and the menu table data 16B and 16C of the lower hierarchy, the selection menu M of the menu table data 16B and the menu table data 16D of the lower hierarchy. , Is a diagram showing the relationship with 16F. （Ａ）は階層連携データ１７の一例であり、（Ｂ）移動方向決定データ１８の一例である。(A) is an example of the hierarchical cooperation data 17, and (B) is an example of the movement direction determination data 18. 本実施形態の入力装置１の処理フローを示した図である。It is a figure which showed the processing flow of the input device 1 of this embodiment. （ａ）は携帯用端末の移動方向の分類を示した図であり、（ｂ）は連続して入力を行う場合における携帯用端末の移動軌跡一例を示した図であり、（ｃ）は触覚パターンを被験者が触って移動方向を認識している状況の写真である。(A) is a diagram showing the classification of the movement direction of the portable terminal, (b) is a diagram showing an example of the movement locus of the portable terminal in the case of continuous input, and (c) is a tactile sensation. It is a photograph of the situation where the subject touches the pattern and recognizes the moving direction. 実験結果を示した図である。It is a figure which showed the experimental result. 実験結果を示した図である。It is a figure which showed the experimental result. 実験結果を示した図である。It is a figure which showed the experimental result.

本発明の入力装置は、携帯用端末などに採用できる入力装置であって、メニュー選択を容易かつ迅速に行うことができるようにしたことに特徴を有している。 The input device of the present invention is an input device that can be used in a portable terminal or the like, and is characterized in that menu selection can be performed easily and quickly.

本発明の入力装置を採用できる携帯用端末は限定されないが、スマートフォンやタブレット端末等のように画面に触れて操作する携帯用端末（以下単にスマートフォン等という場合がある）における入力装置として適している。 The portable terminal to which the input device of the present invention can be adopted is not limited, but is suitable as an input device in a portable terminal (hereinafter, may be simply referred to as a smartphone or the like) that is operated by touching the screen such as a smartphone or a tablet terminal. ..

とくに、本発明の入力装置は、視覚障害者の方などのようにスマートフォン等の操作画面を視認することが困難な使用者や、操作画面を目視で確認して操作することが困難な状況でスマートフォン等を使用する使用者、スマートフォン等の画面に触れて操作することが難しい使用者等が使用する携帯用端末等、の入力装置として適している。 In particular, the input device of the present invention is used in a user who has difficulty in visually recognizing an operation screen of a smartphone or the like, such as a visually impaired person, or in a situation where it is difficult to visually confirm and operate the operation screen. It is suitable as an input device for users who use smartphones and the like, and portable terminals used by users who have difficulty in touching and operating the screen of smartphones and the like.

操作画面を目視で確認して操作することが困難な状況でスマートフォン等を使用する使用者とは、例えば、画面を目で見ることができる位置にスマートフォン等を配置することが難しい狭い作業空間の中でスマートフォン等の操作が必要である作業者などが該当する。
また、スマートフォン等の画面に触れて操作することが難しい使用者とは、例えば、手袋を着用した状態で作業をしなければならない作業者や、指などでスマートフォン等の画面を操作してもスマートフォン等が反応しにくい使用者等が該当する。
以下では、上記操作画面を目視で確認して操作することが困難な状況でスマートフォン等を使用する使用者およびスマートフォン等の画面に触れて操作することが難しい使用者を含めて、視覚障害者等という場合がある。 A user who uses a smartphone or the like in a situation where it is difficult to visually check and operate the operation screen is, for example, in a narrow work space where it is difficult to place the smartphone or the like in a position where the screen can be visually seen. Among them, workers who need to operate smartphones, etc. fall under this category.
In addition, a user who has difficulty in touching and operating the screen of a smartphone or the like is, for example, a worker who must work while wearing gloves or a smartphone even if the screen of the smartphone or the like is operated with a finger or the like. Etc. are applicable to users who are difficult to react.
In the following, visually impaired people, etc., including users who use smartphones and the like in situations where it is difficult to visually check and operate the above operation screens and users who have difficulty in touching and operating the screens of smartphones and the like. In some cases.

以下では、本発明の入力装置が採用される携帯用端末がスマートフォンである場合を代表として説明する。
また、以下の説明では、スマートフォンに本発明の入力装置の各機器が内蔵されている場合を説明する。一方、本発明の各機器に相当する機器をスマートフォンが有している場合には、それらの機器に所定の操作を実行させるプログラムが本発明のプログラムになる。 In the following, a case where the portable terminal in which the input device of the present invention is adopted is a smartphone will be described as a representative.
Further, in the following description, a case where each device of the input device of the present invention is built in the smartphone will be described. On the other hand, when the smartphone has devices corresponding to the devices of the present invention, the program for causing those devices to execute predetermined operations is the program of the present invention.

＜本実施形態の入力装置１＞
図１に示すように、本実施形態の入力装置１は、スマートフォンＳ等に内蔵または設置される装置であって、スマートフォンＳの動きによって選択メニューを選択する機能を有するものである。 <Input device 1 of this embodiment>
As shown in FIG. 1, the input device 1 of the present embodiment is a device built in or installed in a smartphone S or the like, and has a function of selecting a selection menu by the movement of the smartphone S or the like.

選択メニューを選択する機能とは、通常のスマートフォンＳであれば以下のような機能を意味している。例えば、スマートフォンＳの画面に図２のように複数の選択メニューＭが表示されている状態において、選択メニューＭのアイコンの位置が指などでタッチされると、その選択メニューＭが選択される機能を意味している。本実施形態の入力装置１では、選択メニューＭのアイコンの位置を指などでタッチする動作に代えて、スマートフォンＳを動かせることによって選択メニューＭを選択することができる。 The function of selecting the selection menu means the following functions in the case of a normal smartphone S. For example, in a state where a plurality of selection menus M are displayed on the screen of the smartphone S as shown in FIG. 2, when the position of the icon of the selection menu M is touched with a finger or the like, the selection menu M is selected. Means. In the input device 1 of the present embodiment, the selection menu M can be selected by moving the smartphone S instead of touching the position of the icon of the selection menu M with a finger or the like.

＜検出部２＞
図１において、符号２はスマートフォンＳの本体に内蔵されている検出器を示している。この検出器２は、スマートフォンＳの動きを検出する機能を有する機器である。例えば、スマートフォンＳの移動する方向と加速度を検出する機能を有する加速度センサやジャイロセンサ、速度センサ、ＧＰＳセンサ等を検出器２として挙げることができる。この検出器２は、検出した加速度や速度等の情報を外部に送信する機能を有している。
なお、検出器２は本実施形態の入力装置１が独自に備えていてもよいが、スマートフォンＳ自体が備えているセンサを検出器２として使用することもできる。 <Detection unit 2>
In FIG. 1, reference numeral 2 indicates a detector built in the main body of the smartphone S. The detector 2 is a device having a function of detecting the movement of the smartphone S. For example, an acceleration sensor, a gyro sensor, a speed sensor, a GPS sensor, or the like having a function of detecting the moving direction and acceleration of the smartphone S can be mentioned as the detector 2. The detector 2 has a function of transmitting information such as detected acceleration and speed to the outside.
The detector 2 may be provided independently by the input device 1 of the present embodiment, but a sensor included in the smartphone S itself can also be used as the detector 2.

＜判断部５＞
図１に示すように、検出器２は判断部５に電気的に接続されている。つまり、検出器２が検出した加速度等の情報が判断部５に送信されるようになっている。この判断部５は、検出器２から送信される加速度等の情報に基づいて、スマートフォンＳの動きを判断する移動方向決定機能６と、移動方向決定機能６が決定した移動方向を分類する移動方向分類機能７を有している。 <Judgment unit 5>
As shown in FIG. 1, the detector 2 is electrically connected to the determination unit 5. That is, information such as acceleration detected by the detector 2 is transmitted to the determination unit 5. The determination unit 5 classifies the movement direction determination function 6 that determines the movement of the smartphone S and the movement direction determined by the movement direction determination function 6 based on information such as acceleration transmitted from the detector 2. It has a classification function 7.

移動方向決定機能６は、スマートフォンＳの移動停止を判断し、スマートフォンＳの移動による入力操作がなされたか否かを判断する機能を有している。 The movement direction determination function 6 has a function of determining whether the movement of the smartphone S is stopped and determining whether or not an input operation is performed by moving the smartphone S.

この移動方向決定機能６は、以下の方法で移動と停止を判断できる。
例えば、検出器２によって検出される加速度や速度（加速度を演算して得る場合も含む）が一定の値を越えた場合に、移動方向決定機能６は加速度等の方向にスマートフォンＳが移動を開始したと判断する。一方、検出器２によって検出される加速度や速度（加速度を演算して得る場合も含む）が一定の値よりも小さくなった場合に、移動方向決定機能６はスマートフォンＳが移動を停止したと判断する。 The movement direction determination function 6 can determine movement and stop by the following method.
For example, when the acceleration or velocity (including the case where the acceleration is calculated and obtained) detected by the detector 2 exceeds a certain value, the movement direction determination function 6 causes the smartphone S to start moving in the direction of the acceleration or the like. Judge that it was done. On the other hand, when the acceleration or velocity (including the case where the acceleration is calculated and obtained) detected by the detector 2 becomes smaller than a certain value, the movement direction determination function 6 determines that the smartphone S has stopped moving. do.

なお、移動方向決定機能６は、検出器２によって検出される加速度等の方向が変化した場合には、スマートフォンＳの移動が一旦停止した後再度異なる方向に移動を開始したと判断するようになっている。例えば、図５（ｂ）に示すように連続してスマートフォンＳを移動させた場合には、移動方向が変化した点（角になっている点）でスマートフォンＳの移動が一旦停止し、その後再度異なる方向に移動したと判断する。すると、スマートフォンＳを連続して移動させれば、連続した機能選択が可能となる。この場合、後述するように、メニューテーブルデータ１６が複数の階層になるようにリンクされている場合でも、目的とする階層のメニューテーブルデータ１６の目的とする選択メニューＭの機能を、スマートフォンＳを一度移動させるだけで選択することが可能となる。 When the direction of acceleration or the like detected by the detector 2 changes, the movement direction determination function 6 determines that the movement of the smartphone S has stopped and then started moving in a different direction again. ing. For example, when the smartphone S is continuously moved as shown in FIG. 5 (b), the movement of the smartphone S is temporarily stopped at the point where the movement direction is changed (the point where the movement direction is changed), and then again. Judge that it has moved in a different direction. Then, if the smartphone S is continuously moved, continuous function selection becomes possible. In this case, as will be described later, even if the menu table data 16 is linked so as to have a plurality of layers, the smartphone S can perform the function of the target selection menu M of the target layer menu table data 16. It is possible to select by moving it once.

また、移動方向決定機能６が移動方向を決定する方法は上記の方法に限られない。 Further, the method in which the moving direction determining function 6 determines the moving direction is not limited to the above method.

さらに、移動方向決定機能６は、上記に加えて、加速度等が一定の値を越えた期間があっても、その期間が一定の期間よりも短い場合やその期間に移動する距離が一定の距離よりも短い場合には、スマートフォンＳは移動していないと判断する機能を有していてもよい。この場合、スマートフォンＳの所持者が意図せずスマートフォンＳを動かした際に、入力があったと誤認識して作動することを防止できる。 Further, in addition to the above, the movement direction determination function 6 may have a period in which the acceleration or the like exceeds a certain value, but the period is shorter than the certain period or the distance traveled in the period is a certain distance. If it is shorter than that, the smartphone S may have a function of determining that the smartphone S is not moving. In this case, when the owner of the smartphone S unintentionally moves the smartphone S, it is possible to prevent the smartphone S from being erroneously recognized as having been input and operating.

移動方向決定機能６は、スマートフォンＳの移動方向を決定する機能も有している。移動方向決定機能６は、例えば、移動開始時の加速度や速度（加速度を演算して得る場合も含む）の方向を移動方向として決定したり、移動開始を判断したタイミングの位置と移動停止を判断したタイミングの位置に基づいて移動方向を決定したりすることができる。なお、移動方向決定機能６が移動方向を決定する方法は上記の方法に限られない。 The movement direction determination function 6 also has a function of determining the movement direction of the smartphone S. The movement direction determination function 6 determines, for example, the direction of acceleration or velocity (including the case where the acceleration is calculated) at the start of movement as the movement direction, or determines the position and stop of the timing at which the start of movement is determined. The moving direction can be determined based on the position of the timing. The method by which the moving direction determining function 6 determines the moving direction is not limited to the above method.

なお、移動方向決定機能６は、予め定められた基準値（加速度や速度など）に基づいてスマートフォンＳの移動開始および停止を判断してもよいが、基準値を後から入力したのち基準値を変更したりできる機能（条件変更機能）を有していてもよい。すると、スマートフォンＳの使用者に合わせて適切に移動停止を判断できるので、スマートフォンＳの移動の誤認識に起因する誤操作を少なくすることができる。この場合、基準値を変更する方法はとくに限定されない。例えば、初期設定機能を設けて、実際にスマートフォンＳを移動させて条件を入力するようにしてもよいし、数値等を入力するようにしてもよい。 The movement direction determination function 6 may determine the start and stop of movement of the smartphone S based on a predetermined reference value (acceleration, speed, etc.), but the reference value is input after the reference value is input. It may have a function that can be changed (condition change function). Then, since the movement stop can be appropriately determined according to the user of the smartphone S, it is possible to reduce the erroneous operation caused by the erroneous recognition of the movement of the smartphone S. In this case, the method of changing the reference value is not particularly limited. For example, an initial setting function may be provided to actually move the smartphone S to input conditions, or a numerical value or the like may be input.

移動方向分類機能７は、移動方向決定機能６によって決定されたスマートフォンＳの移動方向を等角度間隔の４、６、または８方向（図５（ａ）参照）に分類して判断する機能である。つまり、４方向に分類する場合には、移動方向分類機能７は、検出器２が検出した加速度等の情報に基づいて、スマートフォンＳの移動方向を左右方向および上下方向のいずれかに分類する。また、６方向に分類する場合には、移動方向分類機能７は、検出器２が検出した加速度等の情報に基づいて、スマートフォンＳの移動方向を左右方向または上下方向およびその間を６０°毎に分割する方向のいずれかに分類する。さらに、８方向に分類する場合には、移動方向分類機能７は、スマートフォンＳの移動方向を検出器２が検出した加速度等の情報に基づいて、左右方向および上下方向およびその間を４５°毎に分割する方向のいずれかに分類する。 The movement direction classification function 7 is a function of classifying and determining the movement direction of the smartphone S determined by the movement direction determination function 6 into 4, 6 or 8 directions (see FIG. 5A) at equal angle intervals. .. That is, when classifying into four directions, the movement direction classification function 7 classifies the movement direction of the smartphone S into either the left-right direction or the up-down direction based on the information such as the acceleration detected by the detector 2. Further, when classifying into 6 directions, the moving direction classification function 7 sets the moving direction of the smartphone S in the left-right direction or the up-down direction and every 60 ° between them based on the information such as the acceleration detected by the detector 2. Classify in one of the dividing directions. Further, when classifying into eight directions, the movement direction classification function 7 determines the movement direction of the smartphone S at intervals of 45 ° in the left-right direction, the up-down direction, and between them based on information such as acceleration detected by the detector 2. Classify in one of the dividing directions.

なお、移動方向分類機能７は、スマートフォンＳの移動を必ず上述した各方向に分類するようになっていてもよいし、各方向に対してある程度以上角度等がズレている場合にはそのスマートフォンＳの移動はエラーであると判断するようになっていてもよい。 The movement direction classification function 7 may be designed to classify the movement of the smartphone S in each of the above-mentioned directions without fail, and if the angle or the like is deviated to some extent or more with respect to each direction, the smartphone S may be classified. It may be determined that the movement of is an error.

＜選択部１０＞
図１に示すように、判断部５が分類したスマートフォンＳの移動方向に基づいて、選択された機能を判断する機能を有している。この選択部１０は、複数のメニューテーブルデータ１６、階層連携データ１７および移動方向決定データ１８を記憶した記憶部１５と、スマートフォンＳの移動方向と上記各データに基づいて選択された機能を判断する機能選択部１１と、を備えている。 <Selection unit 10>
As shown in FIG. 1, it has a function of determining the selected function based on the moving direction of the smartphone S classified by the determination unit 5. The selection unit 10 determines a storage unit 15 that stores a plurality of menu table data 16, hierarchical cooperation data 17, and movement direction determination data 18, and a function selected based on the movement direction of the smartphone S and each of the above data. It includes a function selection unit 11.

＜記憶部１５＞
記憶部１５に記憶されている各データは以下のようなデータである。 <Memory unit 15>
Each data stored in the storage unit 15 is the following data.

＜メニューテーブルデータ１６＞
まず、メニューテーブルデータ１６はそれぞれ複数の選択メニューＭを有するデータである。例えば、メニューテーブルデータ１６に基づいてスマートフォンＳの画面表示される画像では、図２に示すような形式を挙げることができる。なお、画面にメニューテーブルデータ１６の画像（選択メニューＭのアイコン等）を表示する場合には、後述する機能選択部１１が選択した選択メニューＭと関連づけられたメニューテーブルデータ１６の画像が表示部Ｄに送信される（図２参照）。 <Menu table data 16>
First, the menu table data 16 is data having a plurality of selection menus M, respectively. For example, in the image displayed on the screen of the smartphone S based on the menu table data 16, the format as shown in FIG. 2 can be mentioned. When the image of the menu table data 16 (icon of the selection menu M, etc.) is displayed on the screen, the image of the menu table data 16 associated with the selection menu M selected by the function selection unit 11 described later is displayed in the display unit. It is transmitted to D (see FIG. 2).

各メニューテーブルデータ１６に含まれる選択メニューＭはとくに限定されない。例えば、最上位のメニューテーブルデータ１６であれば、例えば、電話やメール、メモ等の機能を選択メニューＭとして挙げることができる。また、下位階層のメニューテーブルデータ１６は、上位階層のメニューテーブルデータ１６の機能のさらに具体的な機能が含まれている。例えば、最上位層のメニューテーブルデータ１６の選択メニューＭが電話の場合、その選択メニューＭに関連づけられている下位階層のメニューテーブルデータ１６の選択メニューＭとしては、電話帳やリダイヤル、短縮ダイヤル等を挙げることができる。 The selection menu M included in each menu table data 16 is not particularly limited. For example, in the case of the top-level menu table data 16, for example, functions such as telephone, mail, and memo can be listed as the selection menu M. Further, the menu table data 16 in the lower layer includes a more specific function of the function of the menu table data 16 in the upper layer. For example, when the selection menu M of the menu table data 16 in the uppermost layer is a telephone, the selection menu M of the menu table data 16 in the lower layer associated with the selection menu M may be a telephone directory, redial, speed dial, or the like. Can be mentioned.

なお、各メニューテーブルデータ１６に含まれる選択メニューＭは、判断部５が分類する方向の数と同じになるように調整されている。例えば、判断部５がスマートフォンＳの移動を４方向に分類する場合には、メニューテーブルデータ１６には４つの選択メニューＭが含まれるように調整される。 The selection menu M included in each menu table data 16 is adjusted to be the same as the number of directions classified by the determination unit 5. For example, when the determination unit 5 classifies the movement of the smartphone S into four directions, the menu table data 16 is adjusted to include four selection menus M.

＜階層連携データ１７＞
この複数のメニューテーブルデータ１６は複数の階層に分かれており、下位階層のメニューテーブルデータ１６と、上位階層のメニューテーブルデータ１６の選択メニューＭとが関連づけられている（図３（Ａ）参照）。この下位階層のメニューテーブルデータ１６と上位階層のメニューテーブルデータ１６に含まれる選択メニューＭとの関連性が階層連携データ１７に記憶されている。例えば、１つの上位階層のメニューテーブルデータ１６に４つの選択メニューＭが含まれている場合には、各選択メニューＭが４つの下位階層のメニューテーブルデータ１６とリンクされている。したがって、上位階層のメニューテーブルデータ１６の一つの選択メニューＭが選択されると、その選択メニューＭとリンクされている下位階層のメニューテーブルデータ１６に切り替えることができる（図２参照）。 <Hierarchical linkage data 17>
The plurality of menu table data 16 is divided into a plurality of layers, and the lower layer menu table data 16 and the selection menu M of the upper layer menu table data 16 are associated with each other (see FIG. 3A). .. The relationship between the menu table data 16 in the lower layer and the selection menu M included in the menu table data 16 in the upper layer is stored in the layer linkage data 17. For example, when four selection menus M are included in the menu table data 16 of one upper layer, each selection menu M is linked with the menu table data 16 of the four lower layers. Therefore, when one selection menu M of the menu table data 16 in the upper layer is selected, it is possible to switch to the menu table data 16 in the lower layer linked to the selection menu M (see FIG. 2).

＜移動方向決定データ１８＞
移動方向決定データ１８には、各メニューテーブルデータ１６における複数の選択メニューＭと、判断部５が判断するスマートフォンＳの移動方向と、が関連づけて記憶されている（図３（Ｂ）参照）。 <Movement direction determination data 18>
In the movement direction determination data 18, a plurality of selection menus M in each menu table data 16 and the movement direction of the smartphone S determined by the determination unit 5 are stored in association with each other (see FIG. 3B).

＜機能選択部１１＞
機能選択部１１は、判断部５によってスマートフォンＳの移動方向が分類されると、選択されているメニューテーブルデータ１６においてその移動方向と関連づけられている選択メニューＭを実行させる機能を有している。例えば、最上位階層のメニューテーブルデータ１６では、スマートフォンＳの右斜め上への移動が、選択メニューＭの電話機能と関連づけられているとする。この場合、判断部５によってスマートフォンＳの移動方向が右斜め上に分類されると、その情報に基づいて機能選択部１１は選択メニューＭの電話機能を実行させる。この場合、選択メニューＭの電話機能が下位階層のメニューテーブルデータ１６とリンクされている場合には、下位階層のメニューテーブルデータ１６が選択される。 <Function selection unit 11>
The function selection unit 11 has a function of executing the selection menu M associated with the movement direction in the selected menu table data 16 when the movement direction of the smartphone S is classified by the determination unit 5. .. For example, in the menu table data 16 at the highest level, it is assumed that the movement of the smartphone S diagonally upward to the right is associated with the telephone function of the selection menu M. In this case, when the moving direction of the smartphone S is classified diagonally upward to the right by the determination unit 5, the function selection unit 11 executes the telephone function of the selection menu M based on the information. In this case, when the telephone function of the selection menu M is linked to the menu table data 16 in the lower layer, the menu table data 16 in the lower layer is selected.

＜メニューテーブルデータ１６の階層＞
メニューテーブルデータ１６の階層はとくに限定されないが、２階層または３階層とすれば、視覚障碍者であってもスマートフォンＳの操作が容易になる。つまり、スマートフォンＳの移動方向を等角度間隔の４、６、または８方向に分類して判断する場合であれば、メニューテーブルデータ１６を２階層または３階層としておけば、使用者が画面を見ずに操作しても操作ミスを少なくすることができる。
もちろんメニューテーブルデータ１６が階層を有しなくてもよい。つまり、メニューテーブルデータ１６は１つでもよい。 <Hierarchy of menu table data 16>
The hierarchy of the menu table data 16 is not particularly limited, but if the hierarchy is two or three, even a visually impaired person can easily operate the smartphone S. That is, when the movement direction of the smartphone S is classified into 4, 6 or 8 directions at equal angle intervals, the user can see the screen by setting the menu table data 16 as 2 layers or 3 layers. Operation mistakes can be reduced even if the operation is performed without operation.
Of course, the menu table data 16 does not have to have a hierarchy. That is, the number of menu table data 16 may be one.

なお、選択部１０は、移動方向決定データ１８において、選択メニューＭとその選択メニューＭと関連づけられているスマートフォンＳの移動方向との関係を変更する選択方法変更部を備えていてもよい。かかる選択方向変更部を設ければ、使用者が使用する頻度の高い選択メニューＭを、使用者が動かしやすい動作で選択できるようになるので、機能選択の時間を短くできるし、誤操作を抑制しやすくなる。 The selection unit 10 may include a selection method changing unit that changes the relationship between the selection menu M and the movement direction of the smartphone S associated with the selection menu M in the movement direction determination data 18. If such a selection direction changing unit is provided, the selection menu M frequently used by the user can be selected with an operation that is easy for the user to move, so that the time for selecting a function can be shortened and erroneous operation can be suppressed. It will be easier.

＜スマートフォンＳの操作＞
上記のごとき本実施形態の入力装置１を備えているスマートフォンＳでは、以下のように操作すれば、機能を選択できる（図４）。
なお、内容を分かりやすくするために、選択されているメニューテーブルデータ１６がスマートフォンＳの画面Ｄに表示され、選択メニューＭを選択すると表示画面が切り替わる場合を前提に説明する。
また、スマートフォンＳの移動停止は加速度によって判断している場合を代表として説明する。 <Operation of smartphone S>
In the smartphone S provided with the input device 1 of the present embodiment as described above, the function can be selected by operating as follows (FIG. 4).
In order to make the contents easy to understand, the description will be made on the assumption that the selected menu table data 16 is displayed on the screen D of the smartphone S and the display screen is switched when the selection menu M is selected.
Further, the case where the movement stop of the smartphone S is determined by the acceleration will be described as a representative.

まず、デフォルトのメニューテーブルデータ１６（最上位階層のメニューテーブルデータ１６、図２のメニューテーブルデータ１６Ａ参照）がスマートフォンＳの画面Ｄに表示されているとする（図４のＳ１）。この状態で、スマートフォンＳを移動させると、検出部２がスマートフォンＳの加速度を検出する（Ｓ２）。 First, it is assumed that the default menu table data 16 (see the menu table data 16 in the uppermost layer and the menu table data 16A in FIG. 2) is displayed on the screen D of the smartphone S (S1 in FIG. 4). When the smartphone S is moved in this state, the detection unit 2 detects the acceleration of the smartphone S (S2).

スマートフォンＳの移動する加速度が一定の値よりも小さい場合には、判断部５は入力が無いと判断して、デフォルトのメニューテーブルデータ１６が画面Ｄに表示された状態を維持する。 When the moving acceleration of the smartphone S is smaller than a constant value, the determination unit 5 determines that there is no input, and maintains the state in which the default menu table data 16 is displayed on the screen D.

一方、スマートフォンＳの移動によってある方向の加速度が一定の値を越えた場合には、判断部５の移動方向決定機能６はスマートフォンＳの移動による入力操作がなされたと判断する。そして、加速度が一定の値を越えた方向の加速度のうち、一の方向の加速度が一定の値よりも小さくなった場合には、判断部５の移動方向決定機能６は移動方向を判断する（Ｓ３）。すると、移動方向分類機能７は、移動方向決定機能６によって決定されたスマートフォンＳの移動方向を分類する（Ｓ４）。 On the other hand, when the acceleration in a certain direction exceeds a certain value due to the movement of the smartphone S, the movement direction determination function 6 of the determination unit 5 determines that the input operation by the movement of the smartphone S has been performed. Then, when the acceleration in one direction becomes smaller than the constant value among the accelerations in the direction in which the acceleration exceeds a certain value, the movement direction determination function 6 of the determination unit 5 determines the movement direction (). S3). Then, the movement direction classification function 7 classifies the movement direction of the smartphone S determined by the movement direction determination function 6 (S4).

移動方向分類機能７が移動方向を分類すると、判断部５から分類された移動方向が選択部１０に送信され、選択部１０の機能選択部１１によって移動方向と関連づけられた機能が選択される（Ｓ５）。 When the movement direction classification function 7 classifies the movement direction, the movement direction classified by the determination unit 5 is transmitted to the selection unit 10, and the function associated with the movement direction is selected by the function selection unit 11 of the selection unit 10 ( S5).

連続してスマートフォンＳの移動された場合には、全ての方向の加速度が所定の値よりも小さくなるまで上記処理が繰り返される。 When the smartphone S is continuously moved, the above process is repeated until the acceleration in all directions becomes smaller than a predetermined value.

以上のように、スマートフォンＳ等の携帯用端末に本実施形態の入力装置１を設ければ、携帯用端末を移動させるだけで選択メニューＭを選ぶことができるので、視覚障碍者等であっても携帯用端末の操作が容易になる。 As described above, if the input device 1 of the present embodiment is provided in a portable terminal such as a smartphone S, the selection menu M can be selected simply by moving the portable terminal. Also, the operation of the portable terminal becomes easy.

とくに、選択メニューＭを選ぶ動作、つまり、スマートフォンＳの移動方向の分類を４、６または８方向にすれば、使用者の誤操作を少なくすることができるし、メニューテーブルデータ１６の階層を３階層以下にしておけば、視覚障碍者であっても携帯用端末の操作が容易になる。 In particular, if the operation of selecting the selection menu M, that is, if the movement direction of the smartphone S is classified into 4, 6 or 8 directions, the user's erroneous operation can be reduced, and the hierarchy of the menu table data 16 is divided into three layers. If the following is done, even a visually impaired person can easily operate the portable terminal.

＜読み上げ機能２０＞
選択部１０は、スマートフォンＳを移動させた際に、選択された選択メニューＭを読み上げる読み上げ機能を有していてもよい。例えば、現在選択されているメニューテーブルデータ１６において、スマートフォンＳを移動させた際に選択される選択メニューＭを読み上げる。すると、使用者が自分で意図した選択メニューＭを選択できたことを確認できるので、誤操作を抑制できる。とくに、視覚障碍者の方の誤操作を抑制できる。また、操作に慣れていない人が操作を練習する際に読み上げ機能を使用すれば、使用者の操作の習熟度を高めることができる。 <Reading function 20>
The selection unit 10 may have a reading function of reading out the selected selection menu M when the smartphone S is moved. For example, in the currently selected menu table data 16, the selection menu M selected when the smartphone S is moved is read aloud. Then, since it can be confirmed that the user has selected the selection menu M intended by himself / herself, erroneous operation can be suppressed. In particular, it is possible to suppress erroneous operations for visually impaired people. In addition, if a person who is not accustomed to the operation uses the reading function when practicing the operation, the user's proficiency in the operation can be improved.

また、連続してスマートフォンＳを移動させた場合、つまり、機能選択を連続して行った場合には、最終的に選択された機能のみを読み上げる機能を設けてもよい。 Further, when the smartphone S is continuously moved, that is, when the function is continuously selected, a function of reading out only the finally selected function may be provided.

本発明の入力装置の有効性を実験によって確認した。実験内容の詳細は下記論文を参考。
1. Nem Khan Dim, Kibum Kim, Xiangshi Ren (2017). An Exploratory Study of Marking Menu Selection by Visually Impaired Participants, Proceedings of 3rd IEEE International Conference in Smart Computing (SMARTCOMP 2017, 29-31 May 2017, Hong Kong), pp. 1-7.
2. Nem Khan Dim, Kibum Kim, Xiangshi Ren (2018).Designing motion marking menus for people with visual impairments. Int. J. Hum.-Comput. Stud. 109: 79-88 The effectiveness of the input device of the present invention was confirmed by experiments. Refer to the following paper for details of the experiment contents.
1. Nem Khan Dim, Kibum Kim, Xiangshi Ren (2017). An Exploratory Study of Marking Menu Selection by Visually Impaired Participants, Proceedings of 3rd IEEE International Conference in Smart Computing (SMARTCOMP 2017, 29-31 May 2017, Hong Kong), pp. 1-7.
2. Nem Khan Dim, Kibum Kim, Xiangshi Ren (2018). Designing motion marking menus for people with visual impairments. Int. J. Hum.-Comput. Stud. 109: 79-88

実験では、携帯端末の移動方向を４方向、６方向、８方向、１２方向に分類し、階層を１−４階層として、被験者が携帯端末を移動させることによって、所定の機能を選択するための時間と選択エラーの関係を確認した。実験では、選択するメニューがどの操作によって得られるかを周知させた上で、選択するメニューを読み上げてその選択メニューを選択する操作を実施させた。 In the experiment, the moving direction of the mobile terminal is classified into 4 directions, 6 directions, 8 directions, and 12 directions, and the hierarchy is set to 1-4, and the subject moves the mobile terminal to select a predetermined function. Confirmed the relationship between time and selection error. In the experiment, after making known by which operation the selected menu was obtained, the selected menu was read aloud and the operation of selecting the selected menu was performed.

被験者は２７歳から７８歳までの１２人（女性２人、男性１０人）であり、被験者のうち２人は軽度の対象識別能力を有しており、３人は対象を視認はできるが対象識別能力は有していない。残りの被験者は全く目が見えないものであった。また、被験者のうち２人は遅く視覚障碍者（２２歳、４８歳）となったものであり、残りは早期に視覚障碍者（０歳〜３歳）となったものであった。 There are 12 subjects (2 females and 10 males) between the ages of 27 and 78, 2 of whom have mild subject identification ability, and 3 of whom can see the subject but are subjects. It does not have the ability to discriminate. The remaining subjects were completely blind. In addition, two of the subjects became visually impaired (22 years old and 48 years old) late, and the rest became visually impaired people (0 to 3 years old) at an early stage.

なお、事前に壁に設けた触覚パターンに被験者に触って携帯端末の移動方向を認識させたうえで、簡単な機能選択操作（左右上下のみの動きでの選択操作）によって携帯端末の操作に慣れさせた（図５（ｃ）参照）。
また、携帯端末の移動方向は、モーションキャプチャーによって決定した。 In addition, after touching the subject with the tactile pattern provided on the wall in advance to recognize the moving direction of the mobile terminal, the user becomes accustomed to the operation of the mobile terminal by a simple function selection operation (selection operation by moving only left, right, up and down). (See FIG. 5 (c)).
In addition, the moving direction of the mobile terminal was determined by motion capture.

また、実験は不慣れな操作によるエラーを除くために、「精神的スリップ」（ノーマン１９８１）によるエラー等は実験結果から除去した。 In addition, in order to eliminate errors due to unfamiliar operations in the experiment, errors due to "mental slip" (Norman 1981) were removed from the experimental results.

結果を図６、図７に示す。
なお、図６において、カッコ内の数値は標準誤差を示している。
図６に示すように、４方向の分類の場合、階層に係らずエラーはほとんどない。また、６方向および８方向の分類の場合には、階層が深くなるに従ってエラーが多くなっているが、６方向および８方向の同じ階層間ではほとんど差が見られない。一方、１２方向では一つの階層しかなくてもエラーが非常に多くなっている。そして、エラー率は、６方向および８方向では、３階層と４階層では有意に高くなっている。 The results are shown in FIGS. 6 and 7.
In FIG. 6, the numerical values in parentheses indicate the standard error.
As shown in FIG. 6, in the case of classification in four directions, there are almost no errors regardless of the hierarchy. Further, in the case of classification in the 6-direction and the 8-direction, the number of errors increases as the hierarchy becomes deeper, but there is almost no difference between the same hierarchy in the 6-direction and the 8-direction. On the other hand, in the 12 directions, there are a large number of errors even if there is only one layer. The error rate is significantly higher in the 3rd layer and the 4th layer in the 6th and 8th directions.

これに対し、図７に示すように、応答時間は方向の分類数に係らず、階層によって長くなる傾向を示している。 On the other hand, as shown in FIG. 7, the response time tends to be longer depending on the hierarchy regardless of the number of classifications in the direction.

以上の結果より、携帯端末の移動によって入力を行う場合には、移動方向および階層は、４方向、６方向、８方向に分類し、３階層以下とすることが望ましいと考えられる。 From the above results, it is considered desirable that the movement directions and layers are classified into 4 directions, 6 directions, and 8 directions, and the number of layers is 3 or less when input is performed by moving the mobile terminal.

別な実験では、本発明の携帯端末の移動による入力方法と、音声サポートにより通常の画面操作による入力を実施する方法と、を比較した。音声サポートにより通常の画面操作による入力には、Ａｎｄｒｏｉｄデバイスの市販のメニューシステムであるＴａｌｋＢａｃｋＴＭを使用した。なお、ＴａｌｋＢａｃｋＴＭでは操作のフィードバックがある場合と、フィードバックが無い場合についても実験を行った。 In another experiment, the method of inputting by moving the mobile terminal of the present invention and the method of performing input by normal screen operation by voice support were compared. On the input by the normal screen operation by voice support, using TalkBack TM is a commercially available menu system Android device. It should be noted, were carried out and if there is a feedback of the operation in TalkBack TM, the experiment also when feedback is not.

実験では、４つの選択メニューが表示されるメニューテーブルが２階層になっている場合において、応答時間を比較した。 In the experiment, the response times were compared when the menu table displaying the four selection menus had two layers.

被験者は２６歳から７８歳までの１２人（女性３人、男性９人）であり、被験者のうち９名は前述した実験に参加した者である。 There were 12 subjects (3 females and 9 males) between the ages of 26 and 78, and 9 of the subjects participated in the above-mentioned experiment.

なお、携帯端末の移動方向は、携帯端末に実装した加速度計センサを使用して決定した。 The moving direction of the mobile terminal was determined by using the accelerometer sensor mounted on the mobile terminal.

結果を図８に示す。
図８に示すように、本発明の携帯端末の移動による入力方法では、ＴａｌｋＢａｃｋＴＭを使用した場合に比べて、大幅に応答時間を短縮できることが確認された。 The results are shown in FIG.
As shown in FIG. 8, the input method according to the movement of the mobile terminal of the present invention, as compared with the case of using TalkBack TM, it was confirmed that can greatly reduce the response time.

本実施形態の入力装置は、スマートフォンや携帯電話等の携帯端末の入力に使用することができる。 The input device of this embodiment can be used for input of a mobile terminal such as a smartphone or a mobile phone.

１ 入力装置
２ 検出器
５ 判断部
６ 移動方向決定機能
７ 移動方向分類機能
１０ 選択部
１１ 機能選択部
１５ 記憶部
１６ メニューテーブルデータ
１７ 階層連携データ
１８ 移動方向決定データ
２０ 読み上げ機能
Ｓ スマートフォン
Ｄ 表示部
Ｍ 選択メニュー
1 Input device 2 Detector 5 Judgment unit 6 Movement direction determination function 7 Movement direction classification function 10 Selection unit 11 Function selection unit 15 Storage unit 16 Menu table data 17 Hierarchical linkage data 18 Movement direction determination data 20 Reading function S Smartphone D Display unit M selection menu

Claims (7)

視覚障碍者が携帯用端末の入力操作をする際に使用される装置であって、
携帯用端末の動きを検出する検出器と、
該検出器によって検出された携帯用端末の動きに基づいて入力を判断する判断部と、
該判断部の判断に基づいて機能を選択する選択部と、を備えており、
前記選択部は、
複数の階層に分けられた、複数の選択メニューを含むメニューテーブルデータを複数有しており、
下位階層のメニューテーブルデータと、上位階層のメニューテーブルデータに含まれる選択メニューと、を関連づけた階層連携データと、
各メニューテーブルデータにおける複数の選択メニューと携帯用端末の移動方向とを関連づけた移動方向決定データと、を有しており、
前記判断部は、
前記検出器によって検出される加速度および／または速度に基づいて、携帯用端末の移動停止を判断する移動方向決定機能と、
前記検出器によって検出される加速度および／または速度に基づいて、携帯用端末の直線的な移動の移動方向を等角度間隔の４、６、または８方向に分類する移動方向分類機能と、を有しており、
前記移動方向決定機能は、
直線状の移動を繋げた一連の動作が実施された際に、前記検出器によって検出される加速度および／または速度の方向が変化すると、携帯用端末の直線的な移動が一旦停止した後再度異なる方向に直線的な移動を開始したと判断する機能を有しており、
前記メニューテーブルデータの階層は、
携帯用端末の移動方向を４方向に分類する場合には該メニューテーブルデータの階層は３階層に設定され、携帯用端末の移動方向を６または８方向に分類する場合には該メニューテーブルデータの階層は２階層に設定される
ことを特徴とする入力装置。 It is a device used by visually impaired people to perform input operations on mobile terminals.
A detector that detects the movement of a mobile terminal and
A judgment unit that determines input based on the movement of the portable terminal detected by the detector,
It is provided with a selection unit that selects a function based on the judgment of the determination unit.
The selection unit
It has multiple menu table data including multiple selection menus divided into multiple hierarchies.
Hierarchical linkage data that associates the menu table data of the lower hierarchy with the selection menu included in the menu table data of the upper hierarchy,
It has a plurality of selection menus in each menu table data and movement direction determination data in which the movement direction of the mobile terminal is associated with each other.
The judgment unit
A movement direction determination function for determining the movement stop of the portable terminal based on the acceleration and / or speed detected by the detector, and
Based on the acceleration and / or speed detected by the detector, it has a movement direction classification function that classifies the movement direction of the linear movement of the portable terminal into 4, 6, or 8 directions at equal angle intervals. And
The movement direction determination function is
When a series of operations connecting linear movements is performed, if the direction of acceleration and / or velocity detected by the detector changes, the linear movement of the portable terminal is temporarily stopped and then different again. It has a function to judge that it has started a linear movement in the direction.
The hierarchy of the menu table data is
When the moving direction of the portable terminal is classified into 4 directions, the hierarchy of the menu table data is set to 3 layers, and when the moving direction of the portable terminal is classified into 6 or 8 directions, the menu table data has a hierarchy of the menu table data. An input device characterized in that the hierarchy is set to two layers. 前記移動方向決定機能は、
前記検出器によって検出される加速度および／または速度が一定の値を越えた期間があっても、その期間が一定の期間よりも短い場合および／またはその期間に移動する距離が一定の距離よりも短い場合には、携帯用端末移動していないと判断する機能を有している
ことを特徴する請求項１記載の入力装置。 The movement direction determination function is
Even if there is a period during which the acceleration and / or velocity detected by the detector exceeds a certain value, if the period is shorter than a certain period and / or the distance traveled during that period is greater than a certain distance. The input device according to claim 1 , wherein when the length is short, the portable terminal has a function of determining that the terminal is not moving. 使用者が、
前記選択部の移動方向決定データにおける選択メニューと関連づける携帯用端末の移動方向を変更する選択方法変更部を備えている
ことを特徴する請求項１または２記載の入力装置。 The user
The input device according to claim 1 or 2, further comprising a selection method changing unit for changing the moving direction of the portable terminal associated with the selection menu in the moving direction determination data of the selection unit. 前記選択部が、
選択された選択メニューを読み上げる読み上げ機能を有している
ことを特徴する請求項１、２または３記載の入力装置。 The selection part
The input device according to claim 1, 2 or 3, wherein the input device has a reading function for reading out the selected selection menu. 前記選択部の読み上げ機能は、
携帯用端末の連続して移動させた場合において、最終選択された選択メニューのみを読み上げる機能を有している
ことを特徴する請求項１、２、３または４記載の入力装置。 The reading function of the selection unit is
The input device according to claim 1, 2, 3 or 4, characterized in that it has a function of reading out only the last selected selection menu when the portable terminal is continuously moved. 前記判断部が、
携帯用端末の移動を開始したことを決定する移動開始判断条件を決定する機能、および、携帯用端末が移動を停止したことを決定する移動停止判断条件を決定する機能を有しており、
該移動停止判断条件および／または前記移動開始判断条件を変更する条件変更機能を有している
ことを特徴する請求項１、２、３、４または５記載の入力装置。 The judgment unit
It has a function to determine the movement start judgment condition for determining that the mobile terminal has started moving, and a function for determining the movement stop judgment condition for determining that the mobile terminal has stopped moving.
The input device according to claim 1, 2, 3, 4 or 5, further comprising a condition changing function for changing the movement stop determination condition and / or the movement start determination condition. 携帯用端末にインストールされるプログラムであって、
携帯用端末の各機器に請求項１乃至６のいずれかの入力装置の動作を実施するように作動させるものである
ことを特徴する入力プログラム。 A program installed on a mobile device
An input program characterized in that each device of a portable terminal is operated so as to perform the operation of the input device according to any one of claims 1 to 6.
JP2017227655A 2017-11-28 2017-11-28 Input device and input program Active JP6942345B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017227655A JP6942345B2 (en) 2017-11-28 2017-11-28 Input device and input program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017227655A JP6942345B2 (en) 2017-11-28 2017-11-28 Input device and input program

Publications (2)

Publication Number Publication Date
JP2019096260A JP2019096260A (en) 2019-06-20
JP6942345B2 true JP6942345B2 (en) 2021-09-29

Family

ID=66973100

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017227655A Active JP6942345B2 (en) 2017-11-28 2017-11-28 Input device and input program

Country Status (1)

Country Link
JP (1) JP6942345B2 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4615786B2 (en) * 2001-08-24 2011-01-19 株式会社リコー Image forming apparatus, program, and recording medium
JP2003224747A (en) * 2002-01-29 2003-08-08 Fuji Photo Film Co Ltd Parameter selection apparatus
JP2012104911A (en) * 2010-11-08 2012-05-31 Nec Casio Mobile Communications Ltd Portable information terminal, display control method, and program
JP5810513B2 (en) * 2010-11-16 2015-11-11 日本電気株式会社 Operation processing apparatus, operation processing method, and program therefor
JP2014103545A (en) * 2012-11-20 2014-06-05 Sharp Corp Detection device and detection program

Also Published As

Publication number Publication date
JP2019096260A (en) 2019-06-20

Similar Documents

Publication Publication Date Title
KR102320205B1 (en) Continuity
AU2020273352B2 (en) Handwriting keyboard for small screens
US7562459B2 (en) Method for entering commands and/or characters for a portable communication device equipped with a tilt sensor
US20180089166A1 (en) User interface for providing text prediction
TWI591528B (en) User interface for receiving user input
JP5802667B2 (en) Gesture input device and gesture input method
US9740297B2 (en) Motion-based character selection
TWI613582B (en) Method for reconfiguring user interface objects,touch-sensitive electronic device and non-transitorycomputer-readable storage medium
TWI629636B (en) Method for controlling an electronic device， electronic device and non-transitory computer-readable storage medium
EP1895389A2 (en) Method for dynamically adapting button size on touch screens to compensate for hand tremor
TW201621612A (en) Column interface for navigating in a user interface
WO2014100958A1 (en) Method, apparatus and computer program product for providing a recommendation for an application
US20210311613A1 (en) User interface for initiating a telephone call
WO2013093205A1 (en) Apparatus and method for providing transitions between screens
JP2020017215A (en) Electronic device, control program, and display control method
JP6942345B2 (en) Input device and input program
JP5080409B2 (en) Information terminal equipment
US10037217B2 (en) Device, method, and user interface for integrating application-centric libraries and file browser applications

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20171228

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210326

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210826

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210901

R150 Certificate of patent or registration of utility model

Ref document number: 6942345

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150