WO2024071186A1 - 携帯情報端末 - Google Patents

携帯情報端末 Download PDF

Info

Publication number
WO2024071186A1
WO2024071186A1 PCT/JP2023/035124 JP2023035124W WO2024071186A1 WO 2024071186 A1 WO2024071186 A1 WO 2024071186A1 JP 2023035124 W JP2023035124 W JP 2023035124W WO 2024071186 A1 WO2024071186 A1 WO 2024071186A1
Authority
WO
WIPO (PCT)
Prior art keywords
finger
input
braille
information terminal
display screen
Prior art date
Application number
PCT/JP2023/035124
Other languages
English (en)
French (fr)
Inventor
栄太郎 山蔦
光司 佐藤
Original Assignee
株式会社Ubitone
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ubitone filed Critical 株式会社Ubitone
Publication of WO2024071186A1 publication Critical patent/WO2024071186A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute

Definitions

  • the present invention relates to a mobile information terminal that has a display screen with excellent responsiveness and fewer typing errors for visually impaired people, and can also be linked to external devices.
  • One of the means of communication for the deaf-blind is finger braille, in which the index finger, middle finger, and ring finger of each hand are used as six-dot braille characters to receive information through an interpreter.
  • the deaf-blind can read braille by touch, there are also electronic braille keyboards that can input and output six-dot braille characters to send and receive information.
  • finger-worn finger braille devices Patent Documents 1 and 2) have recently been provided that allow the deaf-blind to send and receive information without the need for an interpreter.
  • the finger braille device of Patent Document 1 can receive finger braille information from others, it cannot communicate intentions to others, and while the finger braille device of Patent Document 2 has the advantage of being able to transmit finger braille information two-way, it has problems when using the finger pads, which are important for the tactile function of the deaf-blind, so that when wearing the finger braille device, the other tactile function using the finger pads cannot be fully used at the same time, and each time another tactile function is used, it is necessary to remove the finger braille device from the hand, meaning that it cannot be worn on the hand all the time, which left room for improvement.
  • finger-worn finger Braille device that completely frees the finger pad, is highly portable at all times, and is capable of bidirectional transmission.
  • finger-worn finger Braille device that is highly portable at all times has been provided, if the device that receives the transmitted finger Braille information or transmits finger Braille information to the finger-worn finger Braille device is a dedicated device that is not portable, it will not be possible to constantly utilize the finger-worn finger Braille device in daily life.
  • the present invention was created in consideration of the above problems, and aims to provide a mobile information terminal (hereinafter also referred to as a "smartphone") that has a display screen with excellent responsiveness and fewer typing errors for people with hearing and visual impairments, such as the deaf-blind (hereinafter also referred to as the "deaf-blind, etc.”), even when used alone.
  • the present invention also aims to provide a mobile information terminal that can be linked to an external device, such as a finger-worn finger Braille device, to obtain useful information and manage the daily lives of people with hearing and visual impairments.
  • the present invention provides a mobile information terminal that has eight input/output partitions that divide the entire display screen with orthogonal partitions, and each input/output partition is positioned within the entire display screen.
  • input/output areas (hereafter also referred to as “blocks”) of various sizes are displayed in various locations, where the user can navigate pages, input characters, etc., and output summaries of the information at the destination.
  • the user can enlarge or scroll the input/output area on the display screen to the desired position and size, and tap the input/output area to input information or transition to a lower-level screen.
  • the present invention provides a smartphone for the hearing-blind.
  • the visually and hearing impaired can always touch the input/output area in the expected position on the entire display screen, and can use the smartphone stress-free without having to use a dedicated Braille device, enabling them to communicate with other smartphone users.
  • the number of Braille characters for the visually and hearing impaired is six, and it is easier for the visually and hearing impaired to imagine it being formed with input/output partitions equal to the number of input/output partitions for operation (for example, input/output partitions having the so-called function L and R, which will be described later).
  • the input/output partitions are formed by dividing them with "partitions" that have "orthogonality,” it is preferable for the basic display screen to have an even number of input/output partitions, and it is also necessary to take into consideration the visually and hearing impaired who are missing parts of the ten fingers on both hands.
  • the present invention provides a configuration that divides the entire smartphone display screen into eight parts using orthogonal partitions, and then fixes (positions) these partitions on the display screen.
  • the portable information terminal of the present invention further comprises: It is preferable to have input/output partitions that divide the entire display screen into a total of eight numbers, which is the number of finger braille characters from 1 to 6 assigned to three fingers on each hand of a hearing-visually impaired person plus the number of fingers on each hand that have operating functions, by orthogonal partitions, and to position each of the input/output partitions within the entire display screen.
  • finger braille which expresses the image of regular braille by stimulating the fingers, is a communication method that is commonly used by deaf-blind and other hearing-visually impaired people.
  • the display screen has operability similar to that of finger braille operation, and is also designed to inherit the operability of existing electronic braille keyboards for finger braille and the finger-worn finger braille device mentioned above.
  • Finger Braille has six braille characters arranged in two rows and three columns, each of which is assigned to six fingers on both hands (index finger through ring finger (or other fingers if a finger is missing)), whereas the menu screen of this preferred mobile information terminal and the representative transition screens thereafter are divided into a total of eight sections, six for the six fingers assigned to the index finger through ring finger of each hand in Finger Braille, and two for the thumbs of both hands, which correspond to the function operations also used in electronic Braille keyboards and finger-worn finger Braille devices, and each is fixed to the display screen as an input/output section.
  • the portable information terminal of the present invention further comprises:
  • Each of the input/output sections is formed by dividing the entire display screen into eight sections of approximately the same area and shape in two columns and four rows by orthogonal partitions, and it is preferable that the display screen be composed of three columns in the left column assigned to represent the three fingers of the left hand of a hearing-visually impaired person, three columns in the right column assigned to represent the three fingers of the right hand, and the bottom two columns assigned to the thumbs of both hands.
  • the entire display screen is divided into two columns and four rows, corresponding to the braille characters 1 to 6, making it easy for the hearing-visually impaired to visualize.
  • the top three rows in the left column are assumed to be used by the three fingers of the left hand (e.g. index finger to ring finger) for braille characters 1 to 3
  • the top three rows in the right column are assumed to be used by the three fingers of the right hand (e.g. index finger to ring finger) for braille characters 4 to 6, and the bottom two rows are assigned to one finger of each hand (e.g. thumb).
  • the reason for providing this configuration example is that it is preferable from the standpoint of position recognition and pressure input accuracy to have the display screen of a smartphone divided into two columns and three rows corresponding to the numbers 1-3 in the left column of Braille and 4-6 in the right column, and because existing electronic Braille keyboards and finger-worn finger Braille devices (hereinafter also referred to as "finger-worn finger Braille devices”) also use the thumbs of both hands as fingers for so-called functional input (screen transition operations, etc.), it has been found that it is preferable to set up the smartphone display screen as an input/output section corresponding to this.
  • the input/output partition is divided into eight sections (two columns and four rows) by such orthogonal partitions, and is fixed as the main screen.
  • the input/output section may be configured by dividing the display screen into six rows and one column of substantially the same shape at the top, and further dividing the bottom row into two rows, by a partition having orthogonal relationship.
  • the above is an example of forming input/output partitions by dividing the main screen of the display screen orthogonally into two columns and four rows, but other modes (sub-screens), particularly the screen after transition, are exemplified by one column and six rows, and two columns at the bottom, which are mainly divided horizontally.
  • each input/output partition is also fixed by dividing it into eight input/output partitions of the same width in one column, and is set as a fixed input/output partition consisting of the top six rows, which assume braille numbers 1 to 6 and are assigned to six fingers of each hand (for example, the index finger to ring finger of the left hand and the index finger to ring finger of the right hand), and the bottom two columns, which have functions assigned to one finger on each hand (for example, the thumbs).
  • rows 1 to 6 are set up by combining input/output sections used for input in each row with so-called blank input/output sections that are not used, and the two bottom rows are rows with function functions.
  • This allows input while selecting the position while keeping the image of finger braille 1 to 6, and the function functions in the bottom row can be selected with the left and right thumbs, so it is possible to create a display screen that complements the main screen divided into two columns and four rows, and provide a display screen that can be adapted to various usage patterns.
  • the portable information terminal of the present invention further comprises: By selecting and inputting a specific input/output partition within the display screen, it is possible to transition to another display screen having fixed input/output partitions divided into eight by partitions having preset orthogonality.
  • the input/output area of the transition destination page is also divided and fixed to the entire display screen in the same way as before the transition.
  • the hearing-visually impaired can operate not only the main screen (main page) but also other pages in the same way.
  • hierarchical transitions in which a desired input/output area 1 to 6 of any transition destination page is tapped or the like to transition to a page in the lower hierarchical level (or an upper hierarchical level if an input/output area L, R having a so-called function is tapped or the like to return), and scroll transitions, in which the cursor of the input/output area of any transition destination page is moved in sequence and transitions from the bottom of the page (excluding input/output areas having a function) to the top input/output area of the next display screen.
  • the transition destination page is set to a page with divided and fixed input/output areas.
  • the input/output partition comprises: It has the same transition destination as one or more adjacent I/O partitions, and the I/O partitions are merged and displayed as a single partition, or There may be cases where the destination does not exist and an input/output impossible message is displayed.
  • the display screen of this smartphone has a group of blocks (group of input/output partitions) divided into eight by orthogonal partitions for internal processing, but on the display, for example, it is possible to set multiple blocks together as one input-enabled block, or to set blocks that cannot be input, such as blocks with only five options, allowing the creation of a variety of display screens.
  • the above-mentioned portable information terminal A transmitting/receiving unit for wirelessly transmitting and receiving information to and from an external device; an input unit that inputs operation information into an input/output section of a display screen of the portable information terminal and input information to an external device based on the operation information, and transmits the input information to the external device to the transmitting/receiving unit; It is preferable that the portable information terminal further comprises a display unit which outputs operation information to an input/output partition of a display screen of the portable information terminal and output information from an external device received by the transmitting/receiving unit, and displays the information on the display screen of the portable information terminal.
  • input information obtained by performing an input operation such as double-tapping a block on the display screen is entered into the input section, and character input and transition screens within the smartphone are displayed on the display section.
  • the external device is the output device of the smartphone
  • input information entered into the display screen within the smartphone can be wirelessly transmitted as input information to the external device
  • the external device is the input device of the smartphone
  • input information received wirelessly from the external device can be displayed on the display screen within the smartphone.
  • the external device is a finger-worn finger Braille device capable of wireless bidirectional communication, worn on each of the left and right fingers and capable of transmitting finger Braille information from each finger to the portable information terminal or receiving finger Braille information from the portable information terminal
  • the finger-worn finger Braille device comprises: an input/output unit provided on the back of each finger and including a motion detection unit for detecting a finger Braille motion of each finger and a vibration unit for transmitting the finger Braille to each finger; a main unit that receives an action signal corresponding to the finger Braille action of the finger detected by the action detection unit, identifies character information based on the action signal, further receives character information from the mobile information terminal, identifies a vibration action for each finger based on the character information, and transmits the vibration action to the input/output unit;
  • the communication device further comprises a transmitting/receiving section which wirelessly transmits character information specified by the main unit to the portable information terminal, receives character information from the portable information terminal
  • a representative example of an external device that can be linked to the mobile information terminal is a finger-worn finger braille device.
  • This finger-worn finger braille device can function as an input tool for blocks on the display screen of the smartphone, and can also function as an output tool that transmits operations on blocks on the display screen of the smartphone to the hearing-visually impaired as finger braille vibrations. For this reason, it can serve as an essential input/output device for the hearing-visually impaired who use the smartphone described below, and is advantageous in that it can be used in conjunction with the smartphone in the smartphone-utilizing application example described below.
  • the "character information" mentioned here includes not only character information for finger braille but also information based on so-called function operations (for example, L and R, which will be described later).
  • the portable information terminal of the present invention further comprises: character information recognized by a voice recognition function built into the portable information terminal is displayed in an input/output section divided by an orthogonal partition within the display screen, and the character information is wirelessly transmitted to the finger-worn finger Braille device; Character information input into an input/output section divided by orthogonal partitions within the display screen can be recognized and audibly output by a voice reading function built into the portable information terminal.
  • a visually and hearing impaired person equipped with the above-mentioned finger-worn finger Braille device can hold this smartphone in front of them and converse with a caregiver, etc.
  • the smartphone's voice recognition function inputs and displays characters in blocks on the smartphone's display screen
  • the visually and hearing impaired person inputs and displays characters in blocks on the smartphone's display screen using the finger-worn finger Braille device, allowing the visually and hearing impaired person to have a smooth conversation using this smartphone even if the person in front of them (caregiver, etc.) is not a Braille translator.
  • the external device is a measuring instrument for health management capable of wirelessly transmitting measurement information. It is preferable that this portable information terminal receives measurement information from a measuring device, displays it together with the measurement date and time in an input/output section divided by orthogonal partitions on one display screen of the portable information terminal, stores it in the portable information terminal or in a server capable of communicating with it, and displays each piece of measurement information stored in each input/output section of another display screen transitioned to from the one display screen on which the measurement date and time are displayed, together with the date and time, to form a history list display.
  • thermometers, weight scales, blood pressure monitors, etc. that are capable of short-range communication such as Bluetooth (registered trademark) have become common, and this mobile information terminal can use this measurement information code for daily health management.
  • this mobile information terminal can use this measurement information code for daily health management.
  • the "measurement date and time” mentioned here includes cases where only the measurement date is displayed, and cases where the measurement date and time are displayed. This is because when weight, etc. is measured once a day, body temperature, blood pressure, etc. may be measured multiple times a day.
  • date and time when the term "date and time” is used in this specification, it means “day and/or hour (which may also include minutes and seconds)."
  • the external device is a recording tag that can be attached to any item and has an RFID built-in that rewritably records item information
  • This mobile information terminal also: When product information is input into a predetermined input/output section of the portable information terminal, an RFID reader/writer built into the portable information terminal is started and transmits the product information to record/update the product information in the recording tag, and the RFID reader/writer receives the product information recorded/updated in the recording tag and records/updates the product information in the portable information terminal or in a server that communicates bidirectionally with the portable information terminal,
  • the RFID reader/writer is started up, and by transmitting read instruction information, the RFID reader/writer receives the item information recorded in the recording tag and displays it in a specified input/output section of the portable information terminal.
  • this example mobile information terminal uses a recording tag with built-in RFID that can store and update item information such as the expiration date of food and drink.
  • the expiration date of the food and drink to which the recording tag is attached can be registered using an RFID reader/writer built into a smartphone, and the expiration date can be determined at the time of consumption by reading the tag as appropriate. In this way, item management can be carried out using this smartphone.
  • the external device is a doorbell unit that transmits and receives voice to and from a doorbell, and the finger-worn finger Braille device.
  • This mobile information terminal is wirelessly receiving doorbell voice information from a doorbell unit and displaying the information as text information together with the date and time of reception in a predetermined input/output section on a display screen of the portable information terminal, and transmitting the text information to the finger-worn finger Braille device; Character information from the finger-worn finger Braille device is wirelessly received and displayed as character information in a specified input/output section of the portable information terminal, and the character information is wirelessly transmitted as doorbell voice information output by a doorbell unit.
  • the smartphone of the present invention is advantageous in that it links the doorbell, the smartphone, and a finger-worn finger Braille device, making it possible not only to receive doorbell notifications but also to have a conversation.
  • Another example of the external device is a footwear for visually impaired people that receives guide information from IC tags installed on walkways and the finger-worn finger Braille device.
  • This mobile information terminal is The footwear for visually impaired people has an RFID reader built in for reading guide information from IC tags on walkways and wirelessly transmits the read guide information signal; The guide information from the footwear for the visually impaired is wirelessly received by the portable information terminal, and the guide information signal is wirelessly transmitted to the finger-worn finger Braille device via the portable information terminal.
  • IC tags are placed on multiple braille blocks along the walkway, and are attached to the ankle or other lower limbs of one foot to safely and effectively assist the visually impaired in walking from the feet in addition to a white cane.
  • These IC tags are read by an RFID reader built into the footwear for the visually impaired, which is attached to the feet close to the braille blocks and has high communication accuracy, and guidance information signals such as warnings are sent via the smartphone by vibrations from the vibration unit of the finger-worn finger braille device.
  • the footwear for the visually impaired of the present invention is advantageous in that it is simply attached to the lower limbs, can be removed freely, and there is no need to prepare special shoes, making it highly versatile and popular.
  • a portable Braille display and finger Braille input device may be provided, which wirelessly receives character information from the portable information terminal and displays it in Braille.
  • the device comprises a transmission/reception unit that wirelessly receives character information from the portable information terminal and wirelessly transmits character information inputted by the Braille display and finger Braille input device, a Braille display unit having an arrangement of a plurality of Braille characters formed by protruding and retracting pins, an operation unit that specifies the operation of the pins for each Braille character based on the character information received by the transmission/reception unit from the portable information terminal or the character information inputted by the Braille display and finger Braille input device and protrudes and retracts the pins, a finger Braille input keypad having six keys corresponding to three fingers on each hand, and a finger Braille input unit that transmits character information inputted by the finger Braille input keys to the transmission/reception unit or the operation unit.
  • the reading speed of Braille is faster than that of finger Braille, and that for hearing-visually impaired persons who wish to actively read long texts such as "news” or "Braille libraries” or to repeatedly study texts, carrying only the above-mentioned finger-worn Braille device as a reading device (receiving device) as an external device may not be satisfactory.
  • conventional electronic Braille devices have been available that are equipped with an input keyboard and a display unit that displays Braille by pins that display dots rising from holes drilled into a flat surface below the keyboard (see FIG. 2(a) below).
  • conventional electronic Braille devices have the advantage of being able to read Braille, but they are large and heavy, making them extremely difficult to carry, and cannot be used in conjunction with the mobile information terminal of the present invention while being carried as an external device.
  • An electronic Braille device that can be given as an example of an external device for the mobile information terminal of the present invention is equipped with a Braille display reading function (character output function) and the minimum character input function required for finger Braille, and provides a portable Braille display and finger Braille input device as an external device that can be used as a replacement for a finger-worn finger Braille device that is linked to the mobile information terminal of the present invention, or as a device that can be carried simultaneously to improve reading speed.
  • the character information wirelessly received in the transmitting/receiving unit from the portable information terminal of the present invention is Braille character information obtained by converting general character information input in the portable information terminal into Braille information within the portable information terminal, and it is preferable that the character information wirelessly transmitted from the finger Braille input unit of the Braille display and finger Braille input device via the transmitting unit is finger Braille information, which is converted into general character information within the portable information terminal that receives it.
  • (a) shows an outline diagram of the rules of Braille
  • (b) shows an outline diagram of the rules of finger Braille that correlates with the Braille in (a).
  • (a) is a photograph of a Braille keyboard as an external device
  • (b) is a photograph of a finger-worn device as an external device
  • (c) is a photograph of the finger-worn device of (b) worn on the right hand.
  • An example is shown in which the display screen of the portable information terminal of the present invention is divided into two columns and four rows to set input/output partitions.
  • An example of a display screen having an input/output partition divided into two columns and four columns is shown. 4A and its usage mode.
  • FIG. 1 is a conceptual diagram showing an example of using a portable information terminal of the present invention in conjunction with various external devices.
  • FIG. 13 is an image diagram of a mobile information terminal according to the present invention for use in managing doorbell calls and conversations as an example.
  • 14 shows an example of a display screen of the portable information terminal of the present invention when calling and interacting with the doorbell of the image diagram of FIG. 13.
  • FIG. 1 is an image diagram showing walking navigation as an example of use of the portable information terminal of the present invention.
  • 1A and 1B are diagrams showing a footwear for the visually impaired as an example of an external device used in walking navigation as an example of use of the portable information terminal of the present invention, and a finger-worn finger Braille device that works in conjunction with the same.
  • 1A and 1B are perspective and plan views of a foot harness for visually impaired people as an example of an external device that works in conjunction with a mobile information terminal of the present invention;
  • 1 shows a Braille display and a finger Braille input device as examples of external devices that work in conjunction with the mobile information terminal of the present invention.
  • (a) is an outline of the rules of Braille
  • (b) is an outline of the rules of Finger Braille, which correlates with the Braille in (a), as diagrams for explaining Braille and Finger Braille.
  • circled numbers 1 to 6 on the left side of Figure 1(a) also referred to as "Braille numbers 1 to 6" in this specification
  • the braille numbers 1 to 6 are generally assigned to three fingers on each hand, and the braille numbers (dot numbers) of (a) are assigned as 1, 2, 3 (e.g., the ring finger to index finger of the left hand) from the top left to the bottom, and 4, 5, 6 (e.g., the ring finger to index finger of the right hand) from the top right to the bottom, as shown in (b).
  • a braille translator hereinafter, those who communicate with deaf-blind persons, etc., are collectively referred to as "caregivers" communicates the language they wish to communicate by touching the fingers of the deaf-blind person, etc., with the number of the translated braille.
  • Fig. 2 shows (a) a photograph of a Braille keyboard as an external device, (b) a photograph of a finger-worn device as an external device, and (c) a photograph of the finger-worn device in (b) worn on the right hand.
  • the Braille keyboard shown in Fig. 2(a) is a general-purpose keyboard that can convert characters by assigning the Braille numbers 1 to 6 shown in Fig. 1(a) as numbers for the fingers on both hands as shown in Fig. 1(b) and inputting a combination of the assigned finger numbers.
  • This Braille keyboard has multiple function keys and functions as a word processor/PC, and input is typically performed using the thumbs of both hands (see circled L and R in Fig. 1(b)) as fingers other than those assigned for Braille.
  • the finger-worn device shown in Figures 2(b) and (c) assigns the Braille numbers 1 to 6 to the fingers of both hands as numbers and function keys (see Figure 1(b)), in the same way as the rules for the Braille keyboard described above, and detects finger tapping movements (it is also possible to simultaneously tap the Braille numbers 1 to 6 and the function keys L and R) to input data.
  • This finger-worn device is capable of two-way communication, and not only can it perform input work (signal transmission) in the same way as a Braille keyboard, it can also transmit the received signals of 1 to 6 and the function keys L and R assigned by the smartphone, etc. to each finger. Details will be described later.
  • FIG. 3 shows an example of dividing the display screen of the mobile information terminal into two columns and four rows to set input/output partitions (hereinafter, also simply referred to as "blocks").
  • FIG. 4 shows a specific example of a display screen having input/output partitions divided into two columns and four rows.
  • FIG. 3(a) to FIG. 3(f) show a display screen 10 in which the entire display screen 10 of the smartphone is divided into eight blocks 1 to 6 and L and R in two columns and four rows
  • FIG. 3(g) to (h) show a display screen 10' in which blocks 7 to 12 in two columns and L and R are set, so to speak, scrolled from FIG. 3(a) to FIG.
  • Each block divides the entire display screen 10 into eight by a vertical partition 11 and horizontal partitions 12 to 14 that are orthogonal to the vertical partition 11. It is not possible to enlarge or scroll within the display screen 10 like a general smartphone, and the display screen 10 is fixed as one screen, and blocks 7 to 12 and L and R are displayed by transitioning from the display screen 10 to the display screen 10' as one screen without breaking the arrangement of the blocks.
  • an application for people with hearing and visual impairments such as the deaf-blind
  • the present invention can be used by starting up the application (hereinafter simply referred to as the "app").
  • input to this app can be made both by touching the display screen 10 and from an external device.
  • the cursor is positioned on "Dialogue” in block 1 at the time of transition, and "Main Page 1" and “Iwa” are read out, and by double-tapping, the input of block 1 is confirmed and transition is made to the "Dialogue" page.
  • the cursor (bold frame) that is aligned with block 1 when transitioning to display screen 10 then moves sequentially to blocks 2-6 that were tapped, as shown in Figs. 4(b)-(f), and by double-clicking on block 2-6 where the cursor is aligned, transition to the corresponding display screen occurs.
  • double-clicking on "Dialogue" in block 1 in Fig. 4(a) will move down a hierarchy (one aspect of transition: also called “hierarchical transition") and transition to the dialogue mode in Fig. 5 (described below).
  • the bottom-most blocks L and R are set as blocks with so-called functions, and as shown in the example of FIG. 4, "forward” and “back” are set, respectively.
  • Double-tapping blocks L and R transitions from display screen 10 to display screen 10'. For example, scrolling from "Main Page 1" in FIG. 4(a) to "Main Page 2" in FIG. 4(b) (a different transition from the above-mentioned transition that descends a hierarchy: also called “scroll transition"), and during the transition, the cursor is positioned on "Schedule March 28th 13:00 Web Conference" in block 7, and "Main Page 2" and "Schedule March 28th 13:00 Web Conference" are read out as described above.
  • An external device such as a finger-worn device (described in detail below) is connected to this mobile information terminal (this smartphone) via wireless communication such as Bluetooth (registered trademark) or Wi-Fi.
  • the external device is recognized as a keyboard by the OS of this smartphone and accepts battery status information of the external device, English or Japanese keyboard input, shortcut key (combination key, short-time continuous) input, microphone input, etc.
  • Input from the external device is input to the above-mentioned blocks 1 to 6 of this smartphone assigned to the input signal, cursor movement, and input of function blocks L and R, which are performed on the display screens 10 and 10'.
  • a "forward” input on the external device moves through blocks 1 to 6 on the display screen 10 of the smartphone, then moves through blocks 7 to 12 on the scrolled display screen 10', and when the last block 12 is reached, the smartphone's voice reading function reads out that it is the "last item.”
  • a "back” input moves through blocks 12 to 7 on the display screen 10' of the smartphone, then moves through blocks 6 to 1 on the scrolled display screen 10, and when the first block 1 is reached, the smartphone reads out that it is the "first item.”
  • the input is executed in the block where the cursor is positioned, and the display screen transitions in a hierarchical level (see the transition from the "dialogue” block described above). Specific examples of input to an external device and output from the smartphone to the external device will be described later.
  • FIG. 6 shows the simulated split display screens 10A to 10E of five types of smartphones actually used in the experiment and the reaction area of each block.
  • reaction area ratio of each block is grayed out for reaction areas that can be input by touching, and white for non-reaction areas that cannot be input.
  • 100% (all) of the area in each block is the reaction area
  • 69% of the area from the center of each block is the reaction area
  • 51% of the area from the center of each block is the reaction area.
  • FIG. 7 and 8 are graphs plotting the time required for each hit (response time (seconds): horizontal axis) on each of the simulated split display screens 10A to 10E against the total score (score (points): vertical axis), with FIG. 7 showing the results for subject A (aged 30 years or older), and FIG. 8 showing the results for subject B (aged 60 years or older), who is older than subject A.
  • FIG. 8 also shows the experimental results for subjects A and B in FIGS. 7(a) and (b) plotted on the same graph with the individual differences eliminated.
  • 2 x 4 circles (100) indicate the results for the simulated split display screen 10A with 2 columns and 4 rows (100% response area) in Figure 6(a)
  • 3 x 5 squares (100) indicate the results for the simulated split display screen 10C with 3 columns and 5 rows (100% response area) in Figure 6(b)
  • 4 x 6 diamonds (69) indicate the results for the simulated split display screen 10C with 2 columns and 4 rows (69% response area) in Figure 6(d)
  • 2 x 4 crosses (51) indicate the results for the simulated split display screen 10E with 2 columns and 4 rows (51% response) in Figure 6(e).
  • FIG. 9 shows an example of dividing the display screen of this mobile information terminal (smartphone) into 8 parts in 1 column and 7 columns (2 columns at the bottom) to set input/output partitions (blocks).
  • the entire display screen 110 of this smartphone is divided into 8 blocks 101 to 106 and blocks L and R (reference numerals 107 and 108) in 1 column and 7 columns.
  • the cursor is moved from block 6 (reference numeral 106)
  • the entire display screen 110 is scrolled to the display screen 110' in FIG.
  • the cursor is aligned with the top block 7 (reference numeral 109).
  • the display screen 110 is fixed as one screen, which is similar to the scroll transition of the 2 columns and 4 columns in FIG. 3(f) to (g) described above.
  • each of the blocks 101-108 in one column and seven rows divides the entire display screen 110 into eight sections by horizontal dividers 111-115 and a vertical divider 116 that is orthogonal to the bottom row divider 115.
  • some blocks have a search window, such as block 109" in the top row of display screen 110" in FIG. 9(c), into which text is entered before transitioning to a different page (more details will be given later).
  • blocks L and R are blocks having so-called functions, and for example, "forward” and “back” are set.
  • “forward” By double-tapping "forward” in sequence, the cursor moves through blocks 1 to 6 in display screen 110, and the contents of blocks 2 to 6 where the cursor is positioned are read out.
  • the display screen 110' is scrolled, the cursor is positioned on block 7 on display screen 110', and the page title and the contents of block 7 where the cursor is positioned are read out, in the same way as in the case of the 2-column, 4-column display screen 10 described above in FIG. 3.
  • the 1 column, 7 columns display screen 110, etc. is not set as a main screen like the 2 column, 4 columns display screen, but is a display screen with a complementary meaning that is a hierarchical transition from the 2 column, 4 columns display screen, and is similar in that the display screen is divided into 8 input screens (blocks) by orthogonal partitions, but various modified examples other than the search window such as block 7 (symbol 109' in Figure 9 (c)) may be set.
  • some of the blocks 1-6 and 7-12 in the top six rows of seven columns may be displayed in an apparently integrated manner, with multiple parallel blocks having the same function and transition destination set on the display screen for function blocks L and R in three rows and two bottom rows, or conversely, some blocks may not have a transition destination and may be set to blank.
  • Functions other than "forward" and "back” can also be set for function blocks L and R.
  • seven rows (eight blocks) in one column is described below.
  • FIG. 5 shows a display screen 110 in which a hierarchical transition is made by double-tapping the "Dialogue" block in FIG. 4A as "Dialogue mode," and its usage state.
  • This display screen 110 is used by a deaf-blind person or the like who has an external device such as a finger-worn finger Braille device when he or she converses with a person in front of them, such as a caregiver. As shown in FIG.
  • the display screen 110 has eight blocks 101-108 in one row of six columns and the two bottom rows, of which the blocks 102-105 in the second to fifth rows have the same functions and are displayed in a unified manner, the block 106 in the sixth row is a character input window, and the blocks L and R (reference numerals 107 and 108) in the two bottom rows having function functions are set to a function for saving in a memo and a function for activating a microphone, respectively.
  • a finger braille signal is generated from the characters and sent to an external device such as a finger-worn finger braille device, and the external device vibrates, allowing the deaf-blind person to understand what the caregiver is saying.
  • the deaf-blind person creates a reply in response to the caregiver's remarks. For example, if the deaf-blind person inputs "It's been a long time," using a finger-worn finger braille device, the text signal inputted in finger braille is received and text is displayed in sequence in the lower blocks of block 101 displaying "It's Yamatsuta. Hello," in the same way as in Figures 5 (a) to (c) described in (1) above, and when the send button is pressed, the display of the text is fixed and the spoken content is output aloud by the voice read-out function. Note that in Figure 5 (d), the caregiver's further reply (described below) is displayed in block 102, so the block for the deaf-blind person's speech in (2) above is not shown.
  • Fig. 5(d)-(e) shows a case where the caregiver further speaks in response to the deaf-blind person's reply of (2) above, "It's been a while, hasn't it?".
  • the case where the caregiver speaks "How are you?" is illustrated, but an example will be described in which the caregiver directly inputs characters into the display screen 110 of a smartphone placed in front of the deaf-blind person.
  • the character input window of block 106 is tapped in the state of Fig. 5(c)
  • the direct character input mode is activated.
  • the positions of blocks 106-108 in the seventh and eighth rows are integrated and the character input keyboard of the smartphone is displayed, and the character input window displayed in block 106 in the sixth row in Fig. 5(c) is displayed in block 105 in the fifth row one row above, as if the display of block 105 in the fifth row is displayed as it is, allowing the caregiver to visually recognize it as if a keyboard has appeared from below.
  • the caregiver taps the character input keyboard in the same way as with a general smartphone to simultaneously output characters in blocks 105 and 102 in sequence (see Fig. 5(d)).
  • blocks 103 and 104 are in a blank state with both input and output functions stopped, and the search window in block 105 has a character output function.
  • a finger braille signal is generated from the characters and sent to an external device such as a finger-worn finger braille device.
  • the "dialogue modes” such as (1) to (3) above also have a memo function for saving the dialogue content.
  • double-tapping or single-tapping the function block 107 "Save to memo” reads out time data stored in the smartphone and saves it together with the dialogue information.
  • This saved data can be output from the "Memo" block when transitioning to the two-column, four-row main screen shown in FIG. 4(a).
  • This memo function not only displays a series of conversations fixedly displayed in blocks 101 and 102, but also allows the series of conversations to be played back immediately or at a later date, read aloud, and understood in finger braille using a finger-worn finger braille device.
  • the finger-worn finger Braille device 300 shown in Figures 2(b) and (c) is attached to the fingers of the hand using a wearing device, and has the functions of an external output device that detects finger movements and transmits them to the mobile information terminal (smartphone) 100 as character information such as Braille, and an external input device that creates finger Braille movement information corresponding to the character information received from the smartphone 100 and vibrates the fingers of the hand based on the movement information.
  • an external output device that detects finger movements and transmits them to the mobile information terminal (smartphone) 100 as character information such as Braille
  • an external input device that creates finger Braille movement information corresponding to the character information received from the smartphone 100 and vibrates the fingers of the hand based on the movement information.
  • the finger-worn finger Braille device 300 is an input/output unit provided on the back of each finger and including a motion detection unit for detecting a finger Braille motion of each finger and a vibration unit for transmitting the finger Braille to each finger; a main unit that receives an action signal corresponding to the finger Braille action of the finger detected by the action detection unit, identifies character information based on the action signal, further receives character information from the mobile information terminal, identifies a vibration action for each finger based on the character information, and transmits the vibration action to the input/output unit;
  • the device further includes a transmitting/receiving section that wirelessly transmits character information specified by the main unit to the portable information terminal, receives character information from the portable information terminal, and transmits the character information to the main unit.
  • the finger-worn finger Braille device 300 configured in this way is used as an external device capable of two-way communication with the smartphone 10, it will function as an input device for the smartphone 10, and the deaf-blind person can perform input work with their fingers in the same way as with a familiar electronic Braille keyboard, without having to directly tap blocks on the display screen 110 of the smartphone 10 or the like.
  • the "dialogue mode" of FIG. 5 is executed in which the deaf-blind person and a caregiver converse with the smartphone 10 described above, the deaf-blind person performs input work using the finger-worn finger Braille device 300, and the caregiver taps the display screen 10 of the smartphone 10 to input.
  • the finger-worn finger Braille device 300 when the finger-worn finger Braille device 300 is made to function as an output device from the smartphone 10, operation information such as tapping on a block on the display screen 110 of the smartphone 10, text information such as input characters, title characters at the time of layer transition, and characters read by the text-to-speech function can be transmitted to a deaf-blind person by vibration via the finger-worn finger Braille device 300.
  • operation information such as tapping on a block on the display screen 110 of the smartphone 10
  • text information such as input characters, title characters at the time of layer transition, and characters read by the text-to-speech function
  • This allows a direct tap on the smartphone 10 or an input operation using an external device such as the finger-worn finger Braille device 300 to be confirmed by vibration.
  • FIG. 10 shows examples of linking the mobile information terminal 10 and various external devices 300-900 using the finger-worn finger Braille device 200 described above. Below, we will explain each link between the mobile information terminal 10 and each external device.
  • Health Management Fig. 10(a) and Fig. 11 show health measurement devices such as a thermometer 400 and a weight scale 500 as external devices for managing the daily health of a person with hearing and vision impairments in cooperation with the smartphone 10.
  • Fig. 11 shows an example display screen 210 for an application (health management application) for managing health information received from the health measurement devices by the smartphone 10.
  • thermometer 400 and the weight scale 500 are general-purpose measuring devices that can transmit the body temperature, weight, etc. of a hearing-impaired person that are measured on a daily basis to the outside via wireless communication means such as Bluetooth (registered trademark).
  • wireless communication means such as Bluetooth (registered trademark).
  • the smartphone 10 receives health data transmitted from the thermometer 400, etc., the data is stored in the built-in storage means or in a cloud server that can communicate with the smartphone 10 in two-way communication.
  • the health management application is started by double-tapping the "Health Management" block on the main screen shown in FIG. 4(c) to transition to a different layer, and the display screen 210 is displayed, which is divided into eight blocks in two columns and four rows as shown in FIG. 11(a).
  • the data measured and stored by the thermometer, etc. 400 is displayed in each set block and is constantly updated with new data.
  • FIG. 11(a) the latest measurement data of the weighing scale 500 is displayed together with the measurement date, and a hierarchical transition is made to display screen 210' shown in Fig. 11(b).
  • This display screen 201' is a display screen divided orthogonally into 8 blocks in 1 row of 7 columns and 2 columns in the bottom row as shown in Fig. 9 described above, and blocks 211' to 216' corresponding to blocks 1 to 6 in Fig.
  • block 217' corresponding to block L having a function in the bottom row is set to a "Back" function to make a hierarchical transition to display screen 201 in Fig. 11(a)
  • block 218' corresponding to block R is set to a "Measure” function to receive and record the measurement data of the weighing scale 500.
  • block 218 "Measure” is tapped, weight data sent from scale 500 is received, and if the measured data is, for example, 65.5 kg, blocks 211'-216' will display "Weight scale March 2nd 65.5 kg” as shown in FIG.
  • the data will be stored on smartphone 10 or on a cloud server that communicates with it bidirectionally.
  • the weight data in block 211 will be updated to the latest weight data of 65.5 kg.
  • the display of block 218' on display screen 201' changes to "Chart” and a hierarchical transition occurs to display screen 211" showing a list of the most recent weight data (see FIG. 11(d)).
  • block 218' in FIG. 11(c) is tapped, the six most recent pieces of date and weight data stored in the smartphone 10 or the cloud server are read and displayed in blocks 211"-216" of display screen 211", which are set in blocks 211"-218", which are divided orthogonally into one column, seven rows, and two columns in the bottom row.
  • the data can be output as a voice by the voice reading function of smartphone 10.
  • this health management application can manage various measurement data other than weight and body temperature, and for example, measurement data wirelessly transmitted from a blood pressure monitor can also be recorded and displayed as a history in the same manner as in Figures 11(a) to (d) above. For example, the latest blood pressure data is displayed in block 218 in Figure 11(a), and the measurement and recording are performed on a display screen (similar to Figures 11(b) to (c)) that has been hierarchically transitioned, and the most recent list is displayed as shown in Figure 11(e). As described above, this health management application enables hearing-impaired people to manage their daily health, such as their weight and body temperature, using this smartphone.
  • FIG. 10A shows an example display screen 310 for an application (expiration date management application) that manages the name and expiration date of food and drink and other items received from the recording tag 600 by the smartphone 10.
  • an application expiration date management application
  • the RFID tag and the smartphone 10 communicate wirelessly, and the information recorded in the RFID tag can be read or rewritten.
  • the communication between the recording tag 600 and the smartphone 10 generally proceeds as follows: (i) radio wave information is irradiated from an RFID reader/writer built in the smartphone toward the recording tag 600, (ii) the antenna of the recording tag 600 receives the irradiated radio wave information, and the internal IC chip is activated.
  • the radio wave information of the IC chip is transmitted from the antenna of the recording tag 600, (iv) the radio wave information transmitted from the recording tag 600 is received by the RFID reader/writer built in the smartphone 10, (v) the received content is processed by a time application of the smartphone 10, and (vi) it is stored in the smartphone 10 or a cloud server that communicates with it.
  • a specific display screen 310 on the smartphone 10 will be described below.
  • FIG. 12(a) When the block "Recording Tag" in FIG. 4(c) is double-tapped or the like, a hierarchical transition to the display screen 310 shown in FIG. 12(a) is made.
  • This display screen 310 is a display screen divided orthogonally into eight blocks, with seven rows in one column and two columns in the bottom row, and based on (iv) the date and tag information received from each of the various foods and beverages to which the recording tag 600 is attached in blocks 312-316, (v) the expiration application displays the corresponding item and the calculated expiration date for each block, and the contents of blocks 312'-316' on which the cursor is placed are read out aloud and output to the finger-worn finger braille device 300. This allows the hearing-visually impaired person to check the expiration date of the food and beverage to which the recording tag 600 is attached. Note that when the hierarchical transition to the display screen 310 is made, the cursor is placed on block 312.
  • block 311 on the top row is a block used when attaching a new recording tag 600 to food or drink to register it as a new item.
  • the user double-taps on the new recording tag 600 to align the cursor and double-tap on block 318 "Read" within the range for short-range communication with the recording tag 600
  • the date and tag information recorded in the RFID of the recording tag 600 is read, and a hierarchical transition is made to display screen 310' which is divided into one column, seven rows, and two columns on the bottom row as shown in Figure 12 (c), and a confirmation that the recording tag 600 has been read is displayed in block 311' on the top row of display screen 310' (the serial number of the recording tag, etc. may also be displayed at this time).
  • the name of the read recording tag 600 is entered in block 313' and the expiration date in 314', and then double-tap "Confirm” in block 315' to confirm it in block 315" of the display screen 310' for various confirmations, which has been hierarchically transitioned.
  • the recording tag 600 please refer to blocks 312' and 12(d) in Figures 12(b) and 12(c), which are hierarchically transitioned from blocks 312' to 316' in Figure 12(a), and a detailed explanation will be omitted.
  • the "expiration date management application" using this recording tag 600 can be used not only for managing the expiration dates of food and drink, but also for managing the contents and cleaning of clothes, the contents and dates of photographs, and the like.
  • Doorbell Unit 700 information management by a doorbell unit 700 shown in FIG. 10(c) and FIG. 13-FIG. 14 can be given as an external device that works in conjunction with the smartphone 10 to manage the daily life of a hearing-visually impaired person.
  • Another typical problem in the daily life of a hearing-visually impaired person is that they do not notice when a friend or a delivery person rings the doorbell, and in the past, there were only expensive devices that only had a simple function of notifying the doorbell.
  • the doorbell system provided by the smartphone not only notifies the doorbell but also allows dialogue by linking the doorbell, the smartphone 10, and the finger-worn finger Braille device 300. A brief description will be given below.
  • Fig. 13 shows a schematic diagram of the system configuration of a doorbell unit 700 and a finger-worn finger Braille device 300 as external devices that work with the smartphone 10, and Fig. 14 shows an example of a display screen 710 of the smartphone 10 when using this system.
  • the doorbell unit 700 is attached near the speaker of a general-purpose doorbell 750 and incorporates device A and device B.
  • Device A is a sound transmitter/receiver with a microphone sensor/speaker that receives/transmits the sound of the doorbell 750 notifying a visitor/sound from the user
  • device B is a repeater that performs short-range communication with device A via Bluetooth (registered trademark) or the like and communicates the received sound signal from device A via Wi-Fi or the like.
  • the received signal transmitted from the doorbell unit 700 (device B) may be received directly by the smartphone 10 or the finger-worn finger braille device 300, or may be received by the smartphone 10 via the Internet 770 from a home Wi-Fi router 760 and then by the finger-worn finger braille device 300 that communicates bidirectionally with the smartphone 10.
  • FIG. 14(a) shows the display screen 710 of the doorbell unit 700, which has been changed to a different hierarchical level by double-tapping the block "Doorbell" on the display screen of FIG. 4(c).
  • This display screen 710 is divided orthogonally into eight blocks, seven in one row and two in the bottom row, and each block 711 to 716 displays the date and time history of the most recent reception of an audio signal from the doorbell unit 700.
  • Block 717 is set to start the "dialogue mode” described later, and block 718 is set to read out the date and time history of blocks 711 to 716.
  • the smart phone 10 receives an audio signal indicating that the doorbell 50 has been pressed
  • the audio signal is also transmitted to the finger-worn finger braille device 300, which executes a warning operation such as vibration.
  • the date and time are displayed in block 711 on the top row of the display screen 710, as shown in FIG. 14(b), and the last five dates and times are displayed in blocks 12 to 716 one row below.
  • the visitor's conversation “Hello. This is a delivery man.” is displayed as text in block 711' based on the audio signal received from the doorbell 750 intercom and the smartphone's voice-to-text function.
  • text information is sent from the smartphone 10 to the lazy finger braille device 300, which creates vibrations for finger braille and vibrates the fingers of the hearing-visually impaired person.
  • the hearing-visually impaired person recognizes the visitor's conversation and enters the reply "Please wait a moment.” in the input window provided in block 716' (see FIGS. 5(c) to (e)) and sends it. This is repeated, and when the conversation ends, the user double-taps block 717' "Intercom off" to end the "conversation mode.”
  • FIG. 10(d) and FIG. 15 to FIG. 17 which is an external device that supports the walking of the visually impaired in cooperation with the smartphone 10 and the finger-worn finger Braille device 300.
  • Braille blocks on city sidewalks, and visually impaired people walk with a white cane, relying on the Braille blocks.
  • many visually impaired people are uncertain about what is beyond the Braille blocks, such as their destination or traffic lights, and are looking for a means to receive information guidance.
  • various systems have been provided that provide information in cooperation with Braille blocks and support walking.
  • a walking navigation system that links information about braille blocks that a visually impaired person recognizes near the tip of their white cane (approximately 1 to 2 m) while walking with this foot wear device 800, which is worn as an external device at the visually impaired person's feet when walking, and a smartphone 10 and a finger-worn finger braille device 300 carried by the visually impaired person.
  • the equipment 800 for wearing on the feet of the visually impaired is worn by, for example, placing a bag 840 containing the equipment over a shoe 860 (FIG. 16(a)) or wrapping a band 850 around the ankle (FIG.
  • the equipment 800 for wearing on the feet of the visually impaired irradiates radio waves to an IC tag 860 (also called a "passive tag") that is embedded in a braille block and records guidance information.
  • the IC tag 860 transmits a predetermined guidance information signal, which is received by the equipment 800 for wearing on the feet of the visually impaired.
  • the footwear 800 for the visually impaired also receives guidance information signals that are actively transmitted from IC tags 870 (also called “active beacons") that are embedded in public transportation facilities such as traffic lights and train stations and that record specific guidance information, without limiting the target audience.
  • IC tags 870 also called “active beacons”
  • the footwear 800 for the visually impaired transmits a guidance information signal as a warning signal, or transmits a guidance information signal as a live information signal such as the color of traffic lights or the arrival of trains from the IC tag 870 embedded in the public transportation facilities.
  • the guidance information signal is read by a reader with a built-in RFID reader or wireless transmitter that is wired to a signal transmitter in the visually impaired person's foot wearing equipment 800, and wirelessly communicates with the smartphone 10 by short-range communication such as Bluetooth (registered trademark).
  • the guidance information signal from the IC tags 860, 870 is transmitted to the smartphone 10 via the signal transmitter and reader in the visually impaired person's foot wearing equipment 800, and a guidance information signal such as a warning is transmitted via the smartphone 10 to the finger-worn finger braille device 300 (see Figures 16 (c) to (d)) worn by the visually impaired person, and a warning is given to each finger by vibration.
  • This vibration has vibration rules corresponding to specific guidance, and the guidance information can be recognized.
  • the visually impaired person can recognize active information such as the route to the destination, the presence of crosswalks and traffic lights along the way, the color of the traffic lights, and the arrival of trains, providing useful and inexpensive walking assistance.
  • a guidance information signal from the visually impaired person's foot wear 800 is transmitted to the finger-worn finger braille device 300 via the smartphone 10, but there may also be cases where the finger-worn finger braille device 300 receives the guidance information signal directly and performs vibration processing.
  • Portable Braille display and finger Braille input device Other examples of the use of the smartphone 10 include a portable Braille display and finger Braille input device (hereinafter, also simply referred to as a "portable electronic Braille device") 900 as shown in FIG. 10(e) that works in conjunction with the smartphone 10.
  • the portable electronic Braille device 900 is proposed as a small, portable device that extracts the Braille output function (reading function) and the necessary finger Braille input function of a conventional electronic Braille device (see FIG. 2(a)).
  • the conventional electronic Braille device is an input/output device for visually impaired people that is provided with an input keyboard and a display unit that displays Braille by pins that display dots rising from holes drilled in a flat surface below the keyboard, but is expensive and large.
  • the finger-worn finger Braille device 300 can be worn on a finger, is highly portable, and is a core external device that is linked to the smartphone 10.
  • the finger-worn finger Braille device 300 also has problems specific to finger Braille.
  • the finger-worn finger Braille device 300 is linked to receive character information from the smartphone 10 and reads finger Braille by vibration, the reading work must be performed at least at the speed of finger Braille.
  • the speed at which hearing-visually impaired people generally read Braille tends to be much faster than the speed at which they read using finger Braille.
  • a portable electronic braille device 900 is provided as an external device, which has a braille reading function for character information from the smartphone 10 and an input function required for finger braille input with three fingers on each hand (six fingers in total), can transmit and receive information to and from the smartphone 10, and can also be linked to the finger-worn finger braille device 300 via the smartphone 10, and can be carried alone or together with the finger-worn finger braille device 300.
  • FIG. 18(a) shows a portable electronic Braille device 900
  • FIG. 18(b) shows a perspective view of a modified portable electronic Braille device 900'
  • the portable electronic Braille devices 900 and 900' have a housing 930 of a size and thickness similar to that of a normal smartphone so that they can be operated while being carried.
  • the portable electronic Braille devices 900 and 900' have a Braille display unit 910 on the top surface of the housing 930, which converts and transmits general character information into Braille information using an application in the smartphone 10, and displays a Braille string corresponding to the Braille information wirelessly received by the transmitting and receiving device.
  • This Braille display unit 910 displays Braille (dots) 912 in a row of about 20 characters by extending and retracting pins driven by piezoelectric elements.
  • the braille display unit 910 of the portable electronic braille device 900 in FIG. 18(a) is disposed on the lower part of the top surface of the housing 930, and the braille display unit 910 of the portable electronic braille device 900' in FIG. 18(b) is disposed on the upper part of the top surface of the housing 930. This allows a visually impaired person to read text information from the smartphone 10 or the like as a segment consisting of a 20-character braille string in a few seconds.
  • the upper and lower edges of the housing 930 are provided with a function input unit 940 that provides buttons for moving the braille 912 of the braille display unit 910 back one line, forward one line, back one segment, and forward one segment, as well as buttons corresponding to the function keys L and R (reference numerals 107 and 108) of the smartphone 10.
  • finger braille input keys 920 that a visually impaired person touches with finger braille to input characters are arranged on the top surface of the housing 930 at the upper (see FIG. 18(a)) or lower (see FIG. 18(b)) of the above-mentioned braille display unit 910. Similar to the finger-worn braille device 300, these finger braille input keys 920 have six keys corresponding to the three fingers, from the index finger to the ring finger, of each hand required for finger braille. The numbers of the six keys shown in FIG. 18(a) and (b) correspond to the numbers of the six braille dots in FIG. 1, similar to the finger-worn braille device 300.
  • the finger braille information inputted with these finger braille input keys 920 is wirelessly transmitted by a transmitting/receiving device, and the finger braille information received by an application in the smartphone 10 is converted into general character information, which is outputted and outputted by the finger-worn finger braille device 300 via the smartphone 10.
  • the finger braille information inputted with the finger braille input keys 920 is outputted as a braille string by the operating unit that operates the braille display unit 910 described above before transmission.
  • the finger braille information inputted with the finger braille input keys 820 is converted into braille information and transmitted within the smartphone 10 that received it, and the received braille information is outputted by the braille display device 910. This allows the finger braille input to be confirmed in advance as a braille string even if it cannot be confirmed with the naked eye, and it is also possible to check for typos, etc.
  • Mobile information terminals 11 to 14 Partitions 101 to 108 Input/Output Partitions (Blocks) 110 Display screen 111-114 Partition 210 Display screen 211-218 Input/output partition (block) 300 Finger-worn finger braille device 400 Thermometer 500 Weight scale 600 Recording tag 700 Doorbell unit 710 Display screen 711 to 718 Input/output section (block) 800: Footwear for the hearing-visually impaired 810: Substrate 815: Antenna 860, 870: IC tag 900, 900': Braille display and finger Braille input device (portable electronic Braille device) 910 Braille display unit 912 Braille 920 Finger Braille input key 939 Housing 940 Function input unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】本発明は、視覚障碍者にとって打ち間違いが少なく応答性に優れる表示画面を有し、外部デバイスとも連動できる携帯情報端末を提供することを目的とする。 【解決手段】　本携帯情報端末は、表示画面全体を直交性を有する仕切りで８つに分割した入出力区画を有し、該各入出力区画を表示画面全体内に位置決めしている。代表的に本携帯情報端末は、視聴覚障碍者の両手それぞれ３指に振り当てられた１～６の指点字の数に操作機能を有する両手それぞれの１指分の数を加えた合計８つの数に表示画面全体を直交性を有する仕切りで分割した入出力区画を有し、該各入出力区画を表示画面全体内に位置決めしている。

Description

携帯情報端末
　本発明は、視覚障碍者にとって打ち間違いが少なく応答性に優れる表示画面を有し、外部デバイスとも連動できる携帯情報端末に関する。
　視聴覚障碍者、特に盲ろう者のコミュニケーション手段の１つとして、両手それぞれの人差し指、中指及び薬指を６点の点字と見立てて通訳者を介して情報を受信する指点字という手法がある。また、盲ろう者が点字を触読可能な場合には、６点の点字を入出力して情報を受発信できる電子点字キーボードも存在する。これに加え近年、通訳者を介さなくても盲ろう者が情報を受発信できる指装着型の指点字装置（特許文献１及び特許文献２）も提供されている。
　しかしながら、特許文献１の指点字装置は他人からの指点字情報を受信することはできるが、他人に意志を伝達することができず、また特許文献２の指点字装置では指点字情報を双方向に伝達しあえる点では有利であるが、盲ろう者の触覚機能として重要な指腹を用いるときに障害があり、指点字装置を装着しているときに同時に指腹による別の触覚機能を十分に用いることができず、別の触角機能を用いるときにはその都度、手から指点字装置を外す必要があるため、常時、手に装着し続けることができないというは改善点を含んでいた。
　以上の点を考慮して、発明者は、指腹が完全に解放され常時携行性に優れた双方向伝達可能な指装着型の指点字装置（以下、「指装着型指点字装置」）を開発した。しかしながら、常時携行性に優れた指装着型指点字装置が提供されたとは言え、発信された指点字情報を受信したり、指装着型指点字装置に指点字情報を送信する装置が携行性を有さない専用装置である場合、日常生活において常に指装着型指点字装置を活用するに至らないこととなる。
　また近年、一般健常者はスマートフォンを常時携行されており、少なくとも視覚障害者はその音声読取機能を活用して常時携行し、日常生活における情報受発信の中核となってきた現状がある。したがって、日常生活において指装着型指点字装置を常時携行させるためにスマートフォンに指装着型指点字装置その他の外部デバイスと連動するアプリケーションが開発されることへの潜在的なニーズは大きいと考えられる。また、ＳＤＧｓの誓約「誰一人取り残さない」の実践の観点でも、スマートフォン活用社会から「盲ろう者を取り残さない」意義は大きい。
　その一方、単に指装着型指点字装置と双方向に情報伝達可能なスマートフォン用のアプリを開発するだけでは、視聴覚ともに障碍を有し、スマートフォンの活用が難い盲ろう者にとって有益なものとは言えず、上記指装着型指点字装置やマートフォン単体の常用が進む社会を構築することは困難であろうと発明者らは考えた。
特開２００２－１２３１６９号公報 特開２０２０－０４６６６６号公報
　以上の問題に鑑みて本発明は創作されたものであり、携帯情報端末（以下、「スマートフォン」とも称する。）単体としても盲ろう者等の視聴覚障碍者（以下、「盲ろう者等」とも称する。）にとって打ち間違いが少なく応答性に優れる表示画面を有する携帯情報端末を提供することを目的とする。また同時に本発明は、指装着型指点字装置などの外部デバイスとの連動しながら有益な情報の取得や視聴覚障碍者の日常生活の管理を行うことが可能となる携帯情報端末を提供することも目的とする。
　本発明は、表示画面全体を直交性を有する仕切りで８つに分割した入出力区画を有し、該各入出力区画を表示画面全体内に位置決めした携帯情報端末を提供する。
　通常の携帯情報端末（以下、「スマートフォン」とも称する。）におけるタッチ入力式の表示画面には、ユーザがページ遷移や文字入力等を行ったり、遷移先の情報の要旨を出力したりする各種大きさの入出力区画（以下、「ブロック」とも称する。）が種々の場所に表示されている。ユーザは表示画面上の入出力区画を拡大やスクロールして所望する位置や大きさにし、その入出力区画をタップして入力することで情報取得したり、下位の階層の画面に遷移させたりする。
　しかしながら、盲ろう者等の視聴覚障碍者の場合、触覚によりスマートフォンの外枠や表示画面枠の位置は認識できても、表示画面内の位置や大きさが固定されていない入出力区画の位置を認識することが困難である。
　発明者は、多数の視聴覚障碍者をインタビュー及びモニタリングした結果、この入力画面の位置認識の問題が視聴覚障碍者、特に盲ろう者にとってスマートフォン活用の大きな障壁となっていることがわかった。なお、視覚障碍には、全盲、弱視、視野狭窄などがあり、形の識別、明るさや暗さへの対応、文字の読み取り速度、コントラストの差が低い色の識別に困難が生じるなど多種多様の「見えにくさ」があり、又、視覚のみに障碍を有する場合や視覚のみならず聴覚にも障碍を有する場合もある。このため本明細書においては「視覚障碍者」「視聴覚障碍者」「盲ろう者」と称する場合、広く何らかの視覚に障碍を有する者を意味している。
　したがって、本発明では、スマートフォンの入出力区画は選択可能な入出力区画数を増やすことや見やすい大きさにすることよりも、ある程度、限定されても位置や大きさ、数が固定された入出力区画を表示画面上に設定することを採用した。また、上記インタビューやモニタリング及び後述する視聴覚障碍者の位置認識及び入力精度の実験の結果、視聴覚障碍者にとって入出力区画は、表示画面に対してわかりやすく位置が固定されており認識できることが重要であり、入出力区画を表示画面「全体」から「直交性」を有する仕切りで「分割」し、その状態で画面上に「固定（位置決め）」されている入出力区画の方が、入出力区画の位置認識度や入力精度が高いことがわかってきた。これを踏まえた視聴覚障碍者用のスマートフォンを本発明で提供している。
　このような本発明の視聴覚障碍者用のスマートフォンが提供されることにより、視聴覚障碍者は、常に表示画面全体に対して想定される位置の入出力区画をタッチすることができ、専用の点字用デバイスを使用しなくてもストレスなくスマートフォンを活用し、一般のスマートフォン活用者とのコミュニケーションを図ることができる。
　これに加え、視聴覚障碍者用の点字の数は６つであり、この数に操作用の入出力区画（例えば、後述する所謂ファンクション機能Ｌ，Ｒを有する入出力区画）を追加した数である入出力区画で形成されている方が視聴覚障碍者にとってイメージし易い。さらに入出力区画は「直交性」を有する「仕切り」で分割して形成されるため基本となる表示画面の入出力区画は偶数個であることが好ましく、両手十指の一部が欠損している視聴覚障碍者のことも考慮する必要がある。その結果、本発明では入出力区画を表示画面を「８つ」に分割することを採用した。
　以上を総合して本発明ではスマートフォンの表示画面「全体」を「直交性」を有する「仕切り」で「８つ」に「分割」した入出力区画を表示画面上に「固定（位置決め）」する構成を提供することとした。
　また、本発明の携帯情報端末は、
　視聴覚障碍者の両手それぞれ３指に振り当てられた１～６の指点字の数に操作機能を有する両手それぞれの１指分の数を加えた合計８つの数に表示画面全体を直交性を有する仕切りで分割した入出力区画を有し、該各入出力区画を表示画面全体内に位置決めすることが好ましい。
　上述したように盲ろう者等の視聴覚障碍者が日常使い慣れているコミュニケーション手法として一般点字のイメージを指への刺激で表現する指点字があり、本発明の携帯情報端末（スマートフォン）の好適な構成例では、指点字操作に近い操作性を有する表示画面とすることとし、加えて既存の指点字用の電子点字キーボードや前述の指装着型の指点字装置の操作性を踏襲できるようにしている。
　具体的には、指点字が２列３段の６つの点字に対して両手の６指（人差し指～薬指（欠損する指がある場合は他の指））が割り当てられているのに対して、好適な本携帯情報端末のメニュー画面やその後の代表的な遷移画面では、表示画面全体を指点字で両手それぞれの人差し指～薬指に割り当てられる６つの指の数６と、電子点字キーボードや指装着型の指点装置でも用いているファンクション操作に対応する両手親指の数２と、を合計した８つに分割して、それぞれを入出力区画として表示画面に固定することとしている。
　これにより、視聴覚障碍者は、使い慣れた指点字の操作イメージをそのまま活用しながら、表示画面全体に対して想定される位置にある入出力区画を常にタッチすることができる。
　また、本発明の携帯情報端末は、
　前記入出力区画はそれぞれ、表示画面全体を直交性を有する仕切りで２列４段の略同一面積同一形状の８つに分割されたものであり、表示画面を視聴覚障碍者の左手の３指を想定して振り当てられた左列の３段と、右手の３指を想定して振り当てられた右列の３段と、左右両手の親指に振り当てられた最下段の２列とで構成する、ことが好ましい。
　ここではメニュー画面等、代表的な入出力区画として表示画面全体を２列４段に分割した８区画が例示される。点字の数は、２列３段で１～６に割り振られた突起で規格化されており、好適な本携帯情報端末の入出力区画では、点字の数１～６に対応させて視聴覚障碍者がイメージし易いように表示画面全体を２列４段に分割し、左手の３指（例えば人差し指～薬指）で点字の数１～３を想定した左列の上位３段、右手の３指（例えば人差し指～薬指）で点字の数４～６を想定した右列の上位３段、最下段２列に左右の手それぞれの１指（例えば親指）に振り分けて使える入出力区画群を表示画面に固定している。
　このような構成例を提供したのは、スマートフォンの表示画面も点字の左列の１～３と右列の４～６に対応する２列３段に分割されていることが位置認識及び押圧入力精度の観点から好適であり、また既存の電子点字キーボードや指装着型の指点字デバイス（以下、「指装着型指点字装置」とも称する。）でも両手それぞれの親指を所謂ファンクション機能の入力（画面の遷移操作等）用の指とするため、スマートフォン表示画面においてもこれに相当する入出力区画として設定することが好ましいことがわかってきたからである。
　したがって、本願発明では、このような直交性を有する仕切りで２列４段の８つに分割した入出力区画の主画面（メイン画面）として固定設定することとしている。
　また、本発明の携帯情報端末によれば、
　前記入出力区画は、表示画面を直交性を有する仕切りにより、上方で１列６段で略同一形状に分割し、さらに最下段を２列に分割したものであっても良い。
　表示画面の主画面（メイン画面）として２列４段に直交分割して入出力区画を形成する例を上述したが、他の態様（サブ画面）、特に遷移後の画面として主に横方向に分割する１列６段及び最下段の２列が例示される。この態様例でも各入出力区画が１列同一幅に８つの入出力区画に分割して固定し、左右の手の６指（例えば左手の人差し指～薬指及び右手の人差し指～薬指）で点字の数１～６を想定した上位６段、左右の手それぞれの１指（例えば親指）に振り分けたファンクション機能を有する最下段の２列、で構成される固定の入出力区画に設定している。とりわけ上述した２列４段の８つの入出力区画をそれぞれタップする主画面の形式だけでは、対応できないような文字入力等の表示画面では、各段ごとの入力に使う入出力区画と使わない所謂ブランクの入出力区画を組み合わせた１～６の段を設定し、最下段の２列をファンクション機能を有する段とすることで１～６の指点字のイメージのまま位置選択しながら入力し、最下段のファンクション機能を左右の親指で選択し得るので、２列４段に分割する主画面（メイン画面）の補完の表示画面を作ることができ、種々の使用態様に合わせた表示画面を提供し得る。
　また、本発明の携帯情報端末は、
　表示画面内の所定の前記入出力区画を選択し、入力すると、予め設定された直交性を有する仕切りで８つに分割され固定された入出力区画を有する他の表示画面に遷移する、ことができる。
　本スマートフォンの表示画面内の任意の入出力区画を選択、入力してページを遷移させた場合、遷移先のページの入出力区画も遷移前と同じように表示画面を分割し表示画面全体に固定している。遷移先も表示画面に対して分割固定したものにすることで、視聴覚障碍者は主画面（メインページ）のみならず他のページも同じように操作することができる。概ね表示画面の遷移には、２つの態様があり、任意の遷移前ページの所望の入出力区画１～６をタップ等してその下の階層（又は所謂ファンクション機能を有する入出力区画Ｌ，Ｒをタップ等して戻る場合は上の階層）のページに遷移させる階層遷移と、任意の遷移前ページの入出力区画のカーソルを順に移動させ、そのページの最下段（ファンクション機能を有する入出力区画を除く）から次の表示画面の最上段の入出力区画に遷移させるスクロール遷移とがあり、両者とも遷移先のページが分割固定された入出力区画を有するページに設定されている。
　例えば、階層遷移では、後述する図４に示すようにメインページの点字の数に割り振られた１～６のブロックの１つをダブルタップ等すると、そのブロックの目的であるページも点字の数に割り振られた１～６と最下段のファンクション機能を有するブロックＬ，Ｒに設定されている。また、例えば、スクロール遷移では、後述する図９に示すように必要なブロックが１～１２あり、遷移前のページが前記１列７段で点字の数に割り振られた１～６のブロックと最下段ブロックＬ，Ｒで設定されている場合、ブロック１～６の順にカーソル移動させ、ブロック６に到達し、さらにカーソルを移動させる操作をすると同じ１列７段のページに遷移して遷移先のページの７～１２及びファンクションＬ，Ｒの最上段のブロック１（７に相当）にカーソルが合わせられ、画面ごとスクロールしたように感じることとなる。
　また、本発明の携帯情報端末において
　前記入出力区画は、
　隣り合う１つ以上の入出力区画と同じ遷移先を有し、これらの入出力区画が統合されて１つの区画として表示される、又は、
　遷移先が存在せず、入出力不能な表示がなされる、場合がある。
　本スマートフォンの表示画面では、内部処理上は、直交性を有する仕切りで８つに分割されたブロック群（入出力区画群）を有しているが、表示上は、例えば、複数のブロックがまとまって１つの入力可能なブロックを設定したり、選択肢が５つしかない等、入力できないブロックを設定することもでき、多様な表示画面を作成することができる。
　また、上記携帯情報端末は、
　外部デバイスと無線による情報送受信を行う送受信部と、
　携帯情報端末の表示画面の入出力区画への操作情報と該操作情報に基づく外部デバイスへの入力情報とを入力し、外部デバイスへの入力情報を前記送受信部に送信する入力部と、
　携帯情報端末の表示画面の入出力区画への操作情報と前記送受信部により受信した外部デバイスからの出力情報とを出力し、携帯情報端末の表示画面に表示する表示部と、を備えることが好ましい。
　本スマートフォンでは、表示画面内のブロックをダブルタップ等入力操作した入力情報を入力部で入力し、表示部でスマートフォン内の文字入力や遷移画面を表示することができるとともに、外部デバイスがスマートフォンの出力装置の場合、スマートフォン内の表示画面への入力情報を外部デバイスへの入力情報として無線送信することができ、外部デバイスがスマートフォンの入力装置の場合、外部デバイスからの無線受信による入力情報をスマートフォン内の表示画面に表示することができる。
　また、本発明の携帯情報端末において
　前記外部デバイスは、左右それぞれの指に装着して各指からの指点字情報を前記携帯情報端末に送信又は該携帯情報端末からの指点字情報を受信することができる無線双方向通信可能な指装着型指点字装置であり、
　該指装着型指点字装置は、
　各指の背側に設けられて、各指の指点字動作を検知する動作検知部と各指に対して指点字を伝達する振動部とを備える入出力ユニットと、
　該動作検知部で検知される指の指点字動作に対応する動作信号を受信し、動作信号に基づいて文字情報を特定し、さらに前記携帯情報端末からの文字情報を受信し、該文字情報に基づいて各指に対する振動動作を特定し、前記入出力ユニットに送信する本体ユニットと、
　本体ユニットで特定された文字情報を前記携帯情報端末に無線送信し、前記携帯情報端末から文字情報を受信して前記本体ユニットに送信する送受信部と、を備えることが好ましい。
　本携帯情報端末と連動する外部デバイスの代表例として指装着型指点字装置が例示される。この指装着型指点字装置は、本スマートフォンの表示画面内のブロックの入力ツールとして機能することができ、又、本スマートフォンの表示画面内のブロックでの操作を指点字の振動として視聴覚障碍者に伝達する出力ツールとしても機能することができる。このため後述する本スマートフォンを用いる視聴覚障碍者必携の出入力デバイスとしての役割を有することができ、後述する本スマートフォン活用アプリケーション例においても本スマートフォンと連動して使用し得る点で有利である。
　なお、ここで言う「文字情報」には、指点字用の文字情報のみならず、所謂ファンクション操作（例えば後述するＬ，Ｒ）に基づく情報も含んでいる。
　また、本発明の携帯情報端末は、
　前記携帯情報端末が内蔵する音声認識機能により認識された文字情報を前記表示画面内の直交性を有する仕切りで分割された入出力区画に表示するとともに、その文字情報を前記指装着型指点字装置に無線送信し、
　前記表示画面内の直交性を有する仕切りで分割された入出力区画に入力された文字情報を前記携帯情報端末が内蔵する音声読み上げ機能により認識して音声出力する、ことができる。
　本携帯情報端末によれば、上述した指装着型指点字装置を装備した視聴覚障碍者が本スマートフォンを目前に置いて介護者等と対話することができる。具体的には、介護者等が対話をすると本スマートフォンの音声認識機能により本スマートフォンの表示画面内のブロックに文字入力・表示し、視聴覚障碍者が指装着型指点字装置を用いて本スマートフォンの表示画面内のブロックに文字入力・表示することで、目の前の人（介護者等）が点字翻訳者でなくても視聴覚障碍者は、本スマートフォンを利用したスムーズな対話を行うことができる。
　また一例として前記外部デバイスは、測定情報を無線送信可能な健康管理用の測定器であり、
　本携帯情報端末は、測定器からの測定情報を受信して前記携帯情報端末の一の表示画面内の直交性を有する仕切りで分割された入出力区画に測定日時とともに表示し、該携帯情報端末に記憶又はこれと通信可能なサーバに記憶させ、測定日時が表示された前記一の表示画面から遷移した他の表示画面の各入出力区画それぞれに記憶された各測定情報をその日時とともに表示して履歴一覧表示を形成することが好ましい。
　視聴覚障碍者は、自分で体温や体重、血圧等の測定値を知ることが困難である。その一方、近年、Bluetooth（登録商標）等近距離通信可能な体温計や体重計、血圧計等が汎用化されており、本携帯情報端末ではこの測定情報コードを日常の健康管理に利用できる。具体的には、体温計等の測定データを受信して上述の本表示画面内のブロックに表示することができ、そのデータを履歴として記録し、一覧として呼び出すこともできる。なお、ここで言う「測定日時」は測定日のみ表示する場合、測定日とその時間を表示する場合が含まれる。体重等を１日１回測定する場合、体温、血圧等を1日に何度も測定する場合があるからである。また、その他、本明細書において「日時」と表記する場合、「日及び／又は時（分秒も含んでも良い）」を意味する。
　また他の例として前記外部デバイスは、任意の物品に取り付けることが可能であり、物品情報を書き換え可能に記録したＲＦＩＤ内蔵の記録タグであり、
　また本携帯情報端末は、
　前記携帯情報端末の所定の入出力区画で物品情報を入力すると、前記携帯情報端末が内蔵するＲＦＩＤリーダーライターが起動し、物品情報を送信することで前記記録タグに物品情報を記録・更新させ、該記録タグで記録・更新された物品情報を前記ＲＦＩＤリーダーライターが受信して前記携帯情報端末又はこれと双方向通信するサーバで記録・更新され、
　前記携帯情報端末の他の所定の出入力区画で前記記録タグの読取り指示情報を入力すると、前記ＲＦＩＤリーダーライターが起動し、読取り指示情報を送信することで前記記録タグに記録された物品情報を前記ＲＦＩＤリーダーライターが受信して前記携帯情報端末の所定の入出力区画に表示する。
　視聴覚障碍者は、冷蔵庫内の購入飲食物や自作の飲食物の賞味期限等を判断することができないという問題があり、この問題を解決するために本携帯情報端末例では、飲食物の賞味期限等の物品情報を記憶・更新可能なＲＦＩＤ内蔵の記録タグを利用し、記録タグを取り付けた飲食物の賞味期限等をスマートフォン内蔵のＲＦＩＤリーダーライターで登録しておき、飲食時に適宜、読み取ることでその時点での賞味期限等を判断することができる。このような本スマートフォンを利用した物品管理を行うことができる。
　また他の外部デバイス例は、ドアベルと音声を送受信するドアベル用ユニットと前記指装着型指点字装置とであり、
　本携帯情報端末は、
　ドアベル用ユニットからのドアベル音声情報を無線受信して前記携帯情報端末の表示画面内の所定の入出力区画に受信日時とともに文字情報として表示し、その文字情報を前記指装着型指点字装置に送信し、
　前記指装着型指点字装置からの文字情報を無線受信して前記携帯情報端末の所定の入出力区画に文字情報として表示し、その文字情報をドアベル用ユニットが出力するドアベル音声情報として無線送信する。
　視聴覚障碍者の日常生活における代表的な他の悩みとして友人や宅配業者がドアベルを鳴らしても気づかないという問題があり、本発明のスマートフォンでは、ドアベルと本スマートフォンと指装着型指点字装置とを連動させて、ドアベルの通知を受信するのみならず対話まで可能としている点で有利である。
　また他の外部デバイス例は、歩行路に配設したＩＣタグからの案内情報を受信する視覚障碍者足用装着具と前記指装着型指点字装置とであり、
　本携帯情報端末は、
　前記視覚障碍者足用装着具は、歩行路のＩＣタグの案内情報を読み取るＲＦＩＤリーダーを内蔵して読み取った案内情報信号を無線送信し、
　前記視覚障碍者足用装着具からの案内情報を無線受信した前記携帯情報端末を経由して前記指装着型指点字装置にその案内情報信号を無線送信する。
　視覚障碍者の歩行を支援する従来技術は存在するが実用的でなかったが（詳細は後述）、本発明では、片足の足首等下肢に装着し、白杖に加えて足元から安全かつ有効に歩行を支援すべく、歩行路に沿った複数の点字ブロックにＩＣタグを配設しておき、これを点字ブロックに近く通信精度も高い足元に装備する視覚障碍者足用装着具に内蔵するＲＦＩＤリーダーで読み取って、警告等の案内情報信号を本スマートフォンを介して指装着型指点字装置の振動部からの振動により案内することとしている。また、本発明の視覚障碍者足用装着具は、単に下肢に装着するだけであり、取り外し自由で専用の靴を準備する必要もない点でも汎用性・普及性が高い点でも有利である。
　さらに他の外部デバイスとして、前記携帯情報端末からの文字情報を無線受信して点字表示する携帯型の点字表示及び指点字入力装置を提供しても良い。この点字表示及び指点字入力装置は、
　前記携帯情報端末からの文字情報を無線受信し、前記点字表示及び指点字入力装置で入力された文字情報を無線送信する送受信部と、ピンが突出・引込することで形成される点字を複数配列した点字表示部と、前記携帯情報端末から前記送受信部が受信した文字情報又は前記点字表示及び指点字入力装置で入力された文字情報に基づいて各点字に対するピンの動作を特定し、該ピンを突出・引込させれる動作部と、両手それぞれの３指に対応する６つのキーを有する指点字入力キーと、該指点字入力キーで入力された文字情報を前記送受信部又は前記動作部に送信する指点字入力部と、を備える。
　発明者らは携帯情報端末と送受信可能な外部デバイスとして上述した指装着型指点字装置（後述する図２（ｂ）（ｃ）参照）を代表的外部デバイスとして想定しているが、視聴覚障碍者へのヒアリングから読取速度は指点字よりも点字が速く、「ニュース」や「点字図書館」のような能動的な長文読解やテキストの繰り返し学習を所望する視聴覚障碍者にとっては読取装置（受信装置）としての前記指装着型点字装置だけを外部デバイスとして携帯することでは満足しない場合も考えられた。
　これに対して、従来から入力用のキーボードと、その下段に平坦な表面に穿たれた穴からドットを表示するピンが上がってくることで点字を表示する表示部と、が設けられる電子点字デバイスが存在する（後述する図２（ａ）参照）。しかしながら、従来型の電子点字デバイスは、点字による読取が可能である点での優位性は有していたが大型かつ重量が重く、携帯性が著しく悪く、外部デバイスとして携帯しながら本発明の携帯情報端末と連動させるという点で採用することはできない。本携帯情報端末の外部デバイス例として挙げられる電子点字デバイスでは点字表示による読取機能（文字出力機能）と指点字に必要な最小限の文字入力機能を抽出して搭載し、本発明の携帯情報端末に連動する指装着型指点字装置の代替又は所謂同時持ちして読取速度の向上に使用する外部デバイスとしての携帯式の点字表示及び指点字入力装置を提供している。
　なお、上記点字表示及び指点字入力装置において、送受信部において、本発明の携帯情報端末からの無線受信する文字情報は、本携帯情報端末で入力された一般文字情報を携帯情報端末内で点字情報に変換された点字文字情報であることが好ましく、点字表示及び指点字入力装置の指点字入力部から送信部を介して無線送信される文字情報は、指点字情報であり、これを受信した本携帯情報端末内で一般文字情報に変換されることが好ましい。点字表示及び指点字入力装置内で入力された指点字情報を変換し、受信した一般文字情報を点字情報に変換することや、本携帯情報端末と無線通信するクラウドサーバで変換することも考えられるが、クラウクラウドサーバ等の外部の通信先で変換する場合、点字表示及び指点字入力装置が通信環境の不完全又は不安定な場所で使用する場合を考慮すると本携帯情報端末内で変換処理することが好ましく、点字表示及び指点字入力装置内で変換することとすると勢いその変換処理部内蔵のためのコスト及びスペースを要し、点字表示による読取機能と指点字に必要な最小限の文字入力機能を有して小型化するという点字表示及び指点字入力装置の基本的な考え方を逸脱する可能性があり、本点字表示及び指点字入力装置の近距離に携帯している本発明の携帯情報端末で変換処理を実行している。
点字及び指点字を説明するための図として、（ａ）には点字のルールの概説図、（ｂ）には（a）の点字と相関する指点字のルールの概説図が示されている。 （ａ）に外部デバイスとしての点字キーボードの写真図、（ｂ）外部デバイスとしての指装着型装置の写真図、（ｃ）に（ｂ）の指装着型装置を右手に装着した様子の写真図が示されている。 本発明の携帯情報端末の表示画面を２列４段に分割して入出力区画を設定する例が示されている。 ２列４段に分割した入出力区画を有する表示画面の具体例が示されている。 図４（ａ）から階層遷移した表示画面及びその使用態様を示している。 実際に実験に使用した５種類のスマートフォンの模擬分割表示画面と各ブロックの反応面積について示している。 被験者Ａにおける各模擬分割表示画面での各打点の所要時間とそのときの打点の合計点とをプロットした示すグラフ図が示されている。 被験者Ｂにおける各模擬分割表示画面での各打点の所要時間とそのときの打点の合計点とをプロットした示すグラフ図が示されている。 携帯情報端末の表示画面を１列７段（最下段は２列）に８分割して入出力区画を設定する例が示されている。 本発明の携帯情報端末と種々の外部デバイスを連動させて使用する例を示す概念図である。 本発明の携帯情報端末の使用例として健康測定機器からの情報を本スマートフォンで管理するアプリケーションについての表示画面例を示している。 本発明の携帯情報端末の使用例として記録タグによる情報管理アプリケーションについての表示画面例を示している。 本発明の携帯情報端末の使用例としてドアベルの呼び出し・対話を管理するイメージ図である。 図１３のイメージ図のドアベルの呼び出し・対話を行うときの本発明の携帯情報端末の表示画面例を示している。 本発明の携帯情報端末の使用例としての歩行ナビゲーションを示すイメージ図である。 本発明の携帯情報端末の使用例としての歩行ナビゲーションにおいて用いる外部デバイス例としての視覚障碍者足用装着具及びこれと連動する指装着型指点字装置を示す図である。 本発明の携帯情報端末と連動する外部デバイス例としての視覚障碍者足用装着具の斜視図及び平面図を示している。 本発明の携帯情報端末と連動する外部デバイス例としての点字表示及び指点字入力装置を示している。
　まず、本発明の携帯情報端末の実施形態を説明する前提として、点字及び指点字と、本発明の携帯情報端末と通信する外部デバイスとしての点字キーボード及び指装着型指点字装置の概要を説明する。なお、指装着型指点字装置その他種々の外部デバイス例の詳細については後述する。
　図１には、点字及び指点字を説明するための図として、（ａ）には点字のルールの概説図、（ｂ）には（a）の点字と相関する指点字のルールの概説図が示されている。図１（ａ）の左側の丸囲み数字１～６（本明細書では「点字の数１～６」とも称する。）に示すように視覚障碍者及び視聴覚障碍者が一般的に用いる点字では、点字の一文字は、６つのドットから成り立っている。これにより2^６＝64通りの文字が表現できることとなる。
　また、指点字は、一般的に点字の数１～６に左右それぞれの３指が割り当てられて、（ｂ）に示すように（ａ）の個々の点字の数（ドットの番号）が、左上から下に向かって1, 2, 3（例えば左手の薬指～人差し指）, 右上から下に向かって4, 5, 6（例えば右手の薬指～人差し指）と割り振られている。指点字では点字翻訳者（以下、盲ろう者等とコミュニケーションを取る者を総称して「介護者」と称する。）が伝達したい言語を翻訳した点字の数を盲ろう者等の指を触ることで該言語を伝達する。例えば、図１（ａ）左側の例では、翻訳された言語に相当する点字が1, 3, 6のドットになる場合、英文字Ｕを表しており、点字翻訳者は1, 3, 6が割り当てられる左手の人差し指、薬指、右手の薬指を触ることで英文字Ｕを伝達する。
　また図２は、（ａ）に外部デバイスとしての点字キーボードの写真図、（ｂ）外部デバイスとしての指装着型装置の写真図、（ｃ）に（ｂ）の指装着型装置を右手に装着した様子の写真図が示されている。図２（ａ）に示す点字キーボードは、図１（ａ）に示す点字の数１～6を図１（ｂ）のように両手の指の番号として割り当て、割り当てられた各指の番号の組み合わせを入力することで、文字変換できる汎用のキーボードである。この点字キーボードには複数のファンクションキーがあり、ワープロ／ＰＣとして機能するものであり、点字用に割り当てられた指以外の指として代表的に両手の親指（図１（ｂ）の丸囲みＬ，Ｒ参照）を用いて入力する。
　さらに図２（ｂ）（ｃ）に示す指装着型装置は、上記点字キーボードのルールと同様、点字の数１～6を両手の指の番号及びファンクションキーとして割り当て（図１（ｂ）参照）、指のタップ動作（点字の数１～６とファンクションキーＬ,Ｒの同時タップも可能）を検知して、入力を行う。この指装着型装置は双方向通信可能であり、点字キーボード同様のイメージで入力作業（信号送信）ができるのみならず、本スマートフォン等で割り当てられた１～６及びファンクションキーＬ，Ｒの受信信号を各指に伝達することも可能である。詳細については後述する。
　次に、本発明の携帯情報端末の実施形態として、図３～図６及び図９を参照しつつ表示画面及び入出力区画を例示して説明する。なお、本明細書及び図面に示す実施形態は、本発明の一例であり、特許請求の範囲の考え方や教示から他の種々の改良例、変形例が存在することは当業者に明白である。
《主画面が２列４段の例》
　図３には本携帯情報端末の表示画面を２列４段に分割して入出力区画（以下、単に「ブロック」とも称する。）を設定する例が示され、図４には２列４段に分割した入出力区画を有する表示画面の具体例が示されている。図３（ａ）～図３（ｆ）は、本スマートフォンの表示画面１０全体を分割して２列４段の８つのブロック１～６及びＬ，Ｒを設定している表示画面１０、図３（ｇ）～（ｈ）は図３（ａ）～図３（ｆ）から所謂スクロールした２列４段のブロック７～１２及びＬ，Ｒ設定している表示画面１０’を示している。各ブロックは、表示画面１０全体を縦方向の仕切り１１とこれと直交性を有する横方向の仕切り１２～１４とで８分割しており、一般的スマートフォンのような表示画面１０内での拡大やスクロールはできず、表示画面１０が一画面として固定され、ブロック７～１２及びＬ，Ｒは表示画面１０から表示画面１０’を一画面としてブロックの配列を崩さずに遷移させて表示している。
　本携帯情報端末では、盲ろう者等の視聴覚障碍者用のアプリケーションをインストールしており、該アプリケーション（以下、単に「アプリ」とも称する。）を起動することで本発明が使用可能となる。まず、本アプリへの入力は、表示画面１０にタッチによる入力と外部デバイスからの入力の両方を受け付ける。
　表示画面１０をタップ、ダブルタップする直接入力について説明する。
　本アプリを起動し表示画面１０にページが遷移された時点では、図３（ａ）の太枠に示すようにカーソルはブロック１に合っていて、スマートフォンが標準装備している音声読み上げ機能により遷移されたページ情報（例えば図４の４つの「メインページ」の例参照）が読み上げられた後、カーソルが合っているブロック１が読み上げられる。例えば、図４（ａ）のメインページ例の場合、遷移時にはブロック１の「対話」にカーソルが合わせられており、「メインページ１」「たいわ」と読み上げられ、ダブルタップすることでブロック１の入力が確定し、「対話」のページに遷移する。
　また、表示画面１０への遷移時にブロック１に合わせられたカーソル（太枠）は、その後、図４（ｂ）～（ｆ）に示すようにタップしたブロック２～６に順次、移動し、カーソルが合わせられたブロック２～６でダブルクリックすることで、対応する表示画面に遷移する。例えば、図４（ａ）のブロック１の「対話」をダブルクリックすると階層が降りて（遷移の一態様：「階層遷移」とも称する。）、図５の対話モードに遷移する（後述）。
　なお、最下段のブロックＬ，Ｒは、所謂ファンクション機能を有するブロックとして設定され、図４の例のようにそれぞれ「進む」「戻る」が設定されている。このブロックＬ，Ｒをダブルタップすることで表示画面１０から表示画面１０’に遷移する。例えば、図４（ａ）の「メインページ１」から図４（ｂ）の「メインページ２」にスクロール（上記階層が降りる遷移と別の遷移の一態様：「スクロール遷移」とも称する。）し、遷移時にカーソルがブロック７の「スケジュール3月28日13:00ウェブ会議」に合わせられ、上述のように「メインページ２」「スケジュール3月28日13:00ウェブ会議」が読み上げられる。
　次に外部デバイスからの入力について図２（ａ）（ｂ）に示す指装着型指点字装置３００を例示しつつ説明する。
　指装着型装置等の外部デバイス（詳細には後述）は本携帯情報端末（本スマートフォン）にBluetooth（登録商標）やWi-Fi等の無線通信等で接続されている。外部デバイスは本スマートファンにおいてOSからはキーボードとして認識されており、外部デバイスのバッテリー状態情報や、英語や日本語キーボード入力、ショートカットキー（組み合わせキー、短時間連続）入力、マイク入力等を受け付けている。外部デバイスでの入力は、その入力信号に割り当てられた本スマートフォンの上記ブロック１～６の入力や、カーソル移動、ファンクション機能のブロックＬ，Ｒの入力が表示画面１０、１０’内で行われる。
　具体的に外部デバイスによるカーソル移動では、その外部デバイスでの「進む」入力で本スマートフォンの表示画面１０内のブロック１～６を移動し、そのままスクロール遷移した表示画面１０’内のブロック７～１２を移動し、最後のブロック１２に至ったときに「最後の項目」であることがスマートフォンの音声読み上げ機能で読み上げられる。逆に、「戻る」入力では本スマートフォンの表示画面１０’内のブロック１２～７を移動し、スクロール遷移した表示画面１０内のブロック６～１を移動し、最初のブロック１に至ったときに「最初の項目」であることが読み上げられる。また、本スマートフォンの上記ブロック１～６及びＬ，Ｒの入力がなされたときは、カーソルが合わせられたブロックでの入力が実行され、表示画面が階層遷移する（上述する「対話」ブロックからの遷移参照）。なお、具体的な外部デバイスへの入力例やその本スマートファンから外部デバイスへの出力については後述する。
　次に、表示画面の分割数の適正と各入出力区画（ブロック）の反応の有効性について実験結果に基づいて説明する。
　図６は、実際に実験に使用した５種類のスマートフォンの模擬分割表示画面１０Ａ～１０Ｅと各ブロックの反応面積について示している。分割数について、図６（ａ）（ｄ）（ｅ）では、図３～図４と同様に２列４段（２×４＝８）の８ブロックの模擬分割表示画面、図６（ｂ）では、３列５段（３×５＝１５）の１５ブロックの模擬分割表示画面、図６（ｃ）では、４列６段（４×６＝２４）の２４ブロックの模擬分割表示画面、を示している。また、各ブロックの反応面積の割合についてタッチすることで入力可能な反応領域をグレー表示、入力不能な非反応領域を白色で表示しており、図６（ａ）（ｂ）（ｃ）では、各ブロック内の１００％（すべて）の領域を反応領域、図６（ｄ）では、各ブロック内の中心から６９％の領域を反応領域、図６（ｅ）では、各ブロック内の中心から５１％の領域を反応領域としている。
　また、この実験では、６インチのスマートフォンの表示画面を想定して同領域の表示領域の上に段ボール紙を敷いて、その上に模擬分割表示画面１０Ａ～１０Ｅを貼り付け、２名の被験者Ａ，Ｂは両手に親指に画鋲をテープで取付けた状態で目隠しで読み上げられた文字（点字の数）を打つことで視聴覚障碍者を疑似して実験を行った。また、被験者には介護者を同伴させ、文字を恣意的に選択することを防止するために介護者はコンピュータで発生させた乱数を読み上げ、被験者の打点が終わると次の数字を読み上げる。これを２４回繰り返し、所要した時間と打点精度とを測定した。打点精度の測定は、狙いの表示画面のブロックの中心ほど高い点数とし、中心からその周囲に向かって中心反応領域１０aを７点、高反応領域１０bを５点、低反応領域１０cを３点、その周辺の未反応領域１０dを０点とし（図６（ａ）～（ｅ）のブロック１の各領域１０Ａ～１０Ｄ参照）、打点の合計点を被験者ごとに集計した。この合計点が高いほど中心を狙えており統計的にブラインドタッチの精度が高くなるとの仮説を立てた。
　図７～図８は、各模擬分割表示画面１０Ａ～１０Ｅでの各打点の所要時間（応答時間（秒）：横軸）とそのときの打点の合計点（得点（点）：縦軸）とをプロットした示すグラフ図が示されており、図７は被験者Ａ（満３０歳）、図８は被験者Ａより高齢の被験者Ｂ（満６０歳）の結果を示している。また、図８は、図７（ａ）（ｂ）における被験者Ａ，Ｂの実験結果を規格化し、個人差をなくして同一グラフにプロットしている。具体的には、被験者毎に反応時間および得点の平均値を求め、被験者の反応時間と得点をそれぞれ平均値で規格化しており、詳細には下記のように算出した。
　応答時間（－：横軸）
＝被験者それぞれの各打点の所要時間／その被験者の全打点の所要時間
　得点（－：縦軸）
＝被験者それぞれの各打点の合計点／その被験者の全打点の合計点
　なお、プロットのうち丸印２×４（100）は、図６（ａ）の２列４段（反応領域100％）の模擬分割表示画面１０Ａの結果、四角印３×５（100）は、図６（ｂ）の３列５段（反応領域100％）の模擬分割表示画面１０Ｃの結果、ひし形印４×６（69）は、図６（ｄ）の２列４段（反応領域69％）の模擬分割表示画面１０Ｃの結果、バツ印２×４（51）は、図６（ｅ）の２列４段（反応51％）の模擬分割表示画面１０Ｅの結果、を示している。
　図７（ａ）（ｂ）のグラフ図の結果から被験者Ａ，Ｂの２者で概ね同一の傾向が得られたが、被験者により反応時間と打点の正当率とに差が見られることがわかる。具体的には、反応領域を１００％とする模擬分割表示画面１０Ａ～１０Ｃ（図６（ａ）～（ｃ）参照）の３条件の比較においては、２列４段（２×４＝８ブロック）の模擬分割表示画面１０Ａの応答時間が最も短く、得点も最も高くなっている。また、模擬分割表示画面の分割数について、分割画面が図６（ａ）（ｄ）（ｅ）に示す分割数８（２×４＝８ブロック）よりも、図６（ｂ）（ｃ）の分割数１５（３×５＝１５ブロック）、分割数２４（４×６＝２４ブロック）の方が反応時間が長く、得点も下がっている。特に分割数が増えていくにつれて反応時間が長く、得点も下がり、そのばらつきも広がっていくことがわかる。さらに図６（ａ）（ｄ）（ｅ）の模擬分割表示画面１０Ａ，Ｄ及びＥの比較において、画面の反応面積率が低下するほど応答時間は延び、得点も下がることもわかった。
　以上の実験結果より、表示画面の分割数が少なく反応面積率が大きいほど視聴覚障碍者の反応時間が短く、打点精度が高く好ましく、図６の中では反応面積が１００％で２列４段に分割して入出力区画（ブロック）を形成することが理想的であることがわかる。このことに加え、上述したように一般点字が２列３段で、使い慣れた点字キーボードのファンクションキーを考慮すると、スマートフォンの表示画面１０を２列４段に分割することが好ましく、さらにその分割されたブロックの反応面積率を最大（１００％）にすべく図６（ａ）のようにブロック間に隙間を設けず、直交性を有する仕切りで境界を形成することが理想的であることがわかった。以上の見地より本発明の携帯情報端末（スマートフォン）では表示画面を直交性を有する仕切りで８分割した２列４段の入出力区画（ブロック）で設定したものを主画面（メインページ）としている。
《下階層の画面が１列７段の例》
　次に図９には本携帯情報端末（スマートフォン）の表示画面を１列７段（最下段は２列）に８分割して入出力区画（ブロック）を設定する例が示されている。この１列７段に分割するブロック例は、図９（ａ）に示すように本スマートフォンの表示画面１１０全体を分割して１列７段の８つのブロック１０１～１０６及びブロックＬ，Ｒ（符号１０７、１０８）を設定している。またこの１列７段の表示画面１１０においてもブロック６（符号１０６）からカーソルを動かすと表示画面１１０画面ごと図９（ｂ）の表示画面１１０’にスクロール遷移して、最上位のブロック７（符号１０９）にカーソルが合わせられ、一般的なスマートフォン表示画面のように表示画面１１０内での拡大やスクロールはできず、表示画面１１０が一画面として固定されるという点は、前述した２列４段の図３（ｆ）～（ｇ）のスクロール遷移と同様である。
　また、図９（ａ）に示すように１列７段の各ブロック１０１～１０８は、表示画面１１０全体を横方向の仕切り１１１～１１５と、最下段における仕切り１１５と直交性を有する縦方向の仕切り１１６とで８分割している。また、ブロックは、上述したような２列４段の表示画面１１０のブロック１～６のようにダブルタップして他のページに階層遷移するもの以外に、図９（ｃ）の表示画面１１０”の最上段のブロック１０９”のように検索窓をもっており、これに文字入力した後に階層遷移させるようなブロックの場合もある（詳細には後述）。
　また、ブロックＬ，Ｒ（符号１０７，１０８）が所謂ファンクション機能を有するブロックとして例えば、「進む」「戻る」が設定され、「進む」が順次ダブルタップされることでカーソルが表示画面１１０内のブロック１～６が移動し、カーソルが合わせられたブロック２～６の内容が読み上げられ、さらに「進む」と表示画面１１０’にスクロール遷移し、カーソルが表示画面１１０’のブロック７に合わせられ、ページのタイトルとカーソルが合わせられたブロック７の内容が読み上げられる点は、図３で前述した２列４段の表示画面１０の場合と同様である。
　一方、１列７段の表示画面１１０等は、２列４段の表示画面のような主画面として設定されるものでなく、２列４段から階層遷移した補完的意義を有する表示画面であり、表示画面を直交性を有する仕切りで８つの入力画面（ブロック）に分割設定している点では共通するが、ブロック７（図９（ｃ）の符号１０９’）のような検索窓以外にも種々の変形例が設定されることもある。
　例えば、１列７段の上位６段のブロック１～６や７～１２の一部が見かけ上、統合表示されて並列する複数のブロックが同じ機能及び遷移先を有する１列３段及び最下段２列のファンクションブロックＬ、Ｒの表示画面に設定したり、逆に一部のブロックが遷移先を有さず、ブランクに設定することもあり得る。また、ファンクションブロックＬ、Ｒを「進む」「戻る」以外の他のファンクション機能を設定することもできる。このような１列７段（８ブロック）の変形例の１つを以下に説明する。
対話モード
　図５には、「対話モード」として図４（ａ）の「対話」ブロックをダブルタップして階層遷移した表示画面１１０及びその使用態様を示している。この表示画面１１０は、指装着型指点字装置等の外部デバイスを有する盲ろう者等が、介護者等の目の前の人との対話をするときに使用する。図９（ａ）に示すように表示画面１１０は１列６段及び最下段２列の８つのブロック１０１～１０８のうち２段目～５段目のブロック１０２～１０５が同じ機能を有して統一表示し、６段目のブロック１０６が文字入力窓、ファンクション機能を有する最下段２列のブロックＬ，Ｒ（符号１０７、１０８）をそれぞれメモに保存する機能、マイクを起動する機能、に設定している。
　具体的に介護者と盲ろう者とが会話する例のうち介護者から盲ろう者に発話する例を図５で図示しながら説明し、これに対する盲ろう者の返事としての発話を説明する（図示せず）。まず、本表示画面１１０が起動した状態で、（１）介護者がブロック１０８にダブルタップしてマイクを起動させ、例えば「やまつたです。こんにちは」と発話すると、このときマイクが起動していることをブロック１０２～１０５を統合表示させたブロック上に表示され、スマートフォンの音声認識機能により順次、ブロック１０１に文字が出力される（図５（ａ）～(ｂ)参照）。このとき、ブロック１０１～１０６は出力機能のみ起動し、入力機能は停止している。介護者は自分の発話がブロック１０１に正しく出力されていると判断した場合、文字出力されたブロック１０１内の送信ボタン１２１（三角印）をシングルタップして送信し、ブロック１０１上の「やまつたです。こんにちは」という文字列の表示が固定される（図５（ｃ）参照）。このとき送信と同時に文字から指点字信号を生成して指装着型指点字装置等の外部デバイスに送信し、外部デバイスが振動することで盲ろう者は介護者の発話内容を理解する。
（２）次に、図示しないが介護者の発言を受けて盲ろう者は、返事を作成する。例えば、指装着型指点字装置で盲ろう者が「お久しぶりですね。」と入力した場合には、上記（１）で説明した図５（ａ）～（ｃ）と同様に、指点字入力された文字信号を受信して「やまつたです。こんにちは」と表示されたブロック１０１の下段のブロック内に文字列が順次表示され送信ボタンを入力すると文字列の表示が固定され、音声読み上げ機能により発話内容が音声出力される。なお、図５では、その（ｄ）においてブロック１０２に介護者のさらなる返事（後述）を表示しているため上記（２）の盲ろう者の発話についてのブロックは図示していない。
（３）次に、図５（ｄ）～（ｅ）には上記（２）の盲ろう者の返事としての発話「お久しぶりですね。」を受けて介護者がさらに発話する場合を示している。ここでは介護者が「お元気ですか。」と発話する場合で例示しているが、介護者が盲ろう者の前に置かれたスマートフォンの表示画面１１０に直接する文字入力する例で説明する。図５（ｃ）の状態でブロック１０６の文字入力窓をタップすると文字直接入力モードが起動する。文字直接入力モードが起動すると、７段目～８段目のブロック１０６～１０８の位置が統合表示されてスマートフォンの文字入力キーボードが表示され、図５（ｃ）において６段目のブロック１０６に表示されていた文字入力窓が５段目のブロック１０５の表示がそのまま１段上の５段目のブロック１０５に表示され、介護者に下からキーボードが出てきたように視認させる。介護者は、一般スマートフォンと同様に文字入力キーボードをタップして順次、ブロック１０５とブロック１０２内に文字を同時出力させる（図５（ｄ）参照）。このとき、ブロック１０３～１０４は、出入力機能とも停止したブランク状態になっており、ブロック１０５の検索窓が文字の出力機能を有している。介護者は自分の入力文字がブロック１０５に正しく出力されていると判断した場合、ブロック１０５内の送信ボタン１２２（三角印）をシングルタップして送信し、ブロック１０２上の「お元気ですか。」という文字列の表示が固定される（図５（ｅ）参照）。このとき送信と同時に文字から指点字信号を生成して指装着型指点字装置等の外部デバイスに送信する点は前述の通りである。
　上記（１）～（３）のような「対話モード」では、対話内容を保存するメモ機能をも有している。対話内容をメモに保存する場合、ファンクション機能を有するブロック１０７「メモに保存」をダブルタップ又はシングルタップすることでスマートフォンに内蔵する時刻データを読み出して一連の対話情報とともに保存される。この保存データは、図４（ａ）に示す２列４段の主画面に遷移しているときにブロック「メモ」から出力可能である。このメモ機能ではブロック１０１～１０２に固定表示された一連の会話が表示されるだけでなく、直後又は後日に一連の会話を再生して音声読み上げ及び指装着型指点字装置で一連の対話を指点字で理解することができる。
指装着型指点字装置
　次に上述した直交性を有する仕切りで８分割したブロックが設定された表示画面１０、１１０等を有するスマートフォンに対して送受信可能な外部デバイスについて説明する。まず、図２（ｂ）（ｃ）に示す発明者が開発した指装着型指点字装置３００の改良例について説明する。
　図２（ｂ）（ｃ）に示す指装着型指点字装置３００は、装着具により手の指に設けられるものであり、指の動作を検知して点字等の文字情報として上記本携帯情報端末（スマートフォン）１００に送信する出力用の外部デバイスとしての機能と、本スマートフォン１００から受信した文字情報に対応する指点字の動作情報を作成し、その動作情報に基づいて手の指に振動を与える入力用の外部デバイスとしての機能と、を有している。
　具体的に、指装着型指点字装置３００は、
　各指の背側に設けられて、各指の指点字動作を検知する動作検知部と各指に対して指点字を伝達する振動部とを備える入出力ユニットと、
　該動作検知部で検知される指の指点字動作に対応する動作信号を受信し、動作信号に基づいて文字情報を特定し、さらに前記携帯情報端末からの文字情報を受信し、該文字情報に基づいて各指に対する振動動作を特定し、前記入出力ユニットに送信する本体ユニットと、
　本体ユニットで特定された文字情報を前記携帯情報端末に無線送信し、前記携帯情報端末から文字情報を受信して前記本体ユニットに送信する送受信部と、を備えている。
　このような構成の指装着型指点字装置３００を本スマートフォン１０と双方向通信可能な外部デバイスとすると、本スマートフォン１０の入力装置として機能し、盲ろう者は、本スマートフォン１０の表示画面１１０等のブロックを直接タップしなくても使い慣れた電子点字キーボードと同様の指操作で入力作業を行うことができる。例えば、上述したスマートフォン１０を盲ろう者の目の前に置いて盲ろう者と介護者とが会話する図５の「対話モード」を実行するような場合に盲ろう者が指装着型指点字装置３００を使用して入力作業を行い、介護者がスマートフォン１０の表示画面１０をタップして入力する。
　また、指装着型指点字装置３００を本スマートフォン１０からの出力装置として機能させると、スマートフォン１０の表示画面１１０等のブロックをタップしたこと等の操作情報や、入力文字や階層遷移時のタイトル文字、音声読み上げ機能で読み上げられた文字など、の文字情報等を指装着型指点字装置３００により盲ろう者に振動で伝えることができる。これにより本スマートフォン１０への直接タップや指装着型指点字装置３００等の外部デバイスによる入力操作、を振動で確認することができる。
　次に、図１０には本携帯情報端末１０及び上述した指装着型指点字装置２００を使用した種々の外部デバイス３００～９００との連動例が示されている。以下、各外部デバイスと本携帯情報端末１０との連動についてそれぞれ説明する。
健康管理
　図１０（ａ）及び図１１には、本スマートフォン１０と連動して視聴覚障碍者の日常の健康管理を行う外部デバイスとしての体温計４００や体重計５００等の健康測定機器が挙げられる。図１１では、健康測定機器からの受信した健康情報を本スマートフォン１０で管理するアプリケーション（健康管理アプリケーション）についての表示画面例２１０を示している。
　体温計４００や体重計５００（以下、「体温計４００等」とも称する。）は、日常的に計測した視聴覚障碍者の体温や体重等をBluetooth（登録商標）等の無線通信手段で外部送信可能な汎用の測定器である。本スマートフォン１０では、体温計４００等から送信された健康データを受信すると、そのデータが内蔵する記憶手段や本スマートフォン１０と双方向通信可能なクラウドサーバ等に記憶される。本健康管理アプリケーションは、図４（ｃ）に示す主画面のブロック「健康管理」をダブルタップして階層遷移することで起動し、図１１（ａ）に示すような２列４段の８ブロックに分割された表示画面２１０が表示される。このとき体温計等４００で測定され、記憶されているデータが設定されている各ブロックに表示され、常に新しいデータに更新される。
　また、例えば、図１１（ａ）のブロック２１１「体重　3月1日　65.3ｋｇ」には、最新の体重計５００の測定データが測定日とともに表示されており、図１１（ｂ）に示す表示画面２１０’に階層遷移する。この表示画面２０１’は上述した図９に示す１列７段最下段２列の８ブロックに直交分割された表示画面であり、図９のブロック１～６に相当するブロック２１１’～２１６’が入力不能でこれから測定する体重及び日付表示「体重計　3月2日　　ｋｇ」のみになっており、最下段のファンクション機能を有するブロックＬに相当するブロック２１７’が、図１１（ａ）の表示画面２０１に階層遷移する「戻る」機能、ブロックＲに相当するブロック２１８’が体重計５００の測定データを受信・記録する「測る」機能が設定されている。ブロック２１８「測る」をタップすると体重計５００からの送信された体重データを受信し、測定データが例えば、65,5ｋｇ場合には、図１１（ｃ）に示すようにブロック２１１’～２１６’に「体重計　3月2日　65,5ｋｇ」と表示され、本スマートフォン１０やこれを双方向通信するクラウドサーバに記憶され、図１１（ａ）の表示画面２１０に遷移したときにブロック２１１の体重データが最新65.5ｋｇに更新される。
　また、体重データが記憶されると表示画面２０１’のブロック２１８’の表示が「チャート」に変更され、直近の体重データ一覧を示す表示画面２１１”に階層遷移する（図１１（ｄ）参照）。図１１（ｃ）のブロック２１８’をタップすると本スマートフォン１０やクラウドサーバに記憶された日付及び体重データのうち直近６件分のデータが読み取られ、１列７段最下段２列に直交分割されたブロック２１１”～２１８”に設定された表示画面２１１”のブロック２１１”～２１６”それぞれに表示され、ブロック２０８”「履歴読み上げ」をタップし体重履歴をすることでスマートフォン１０の音声読み上げ機能により音声出力することができる。
　その他、この健康管理アプリケーションでは、体重や体温以外の各種測定データを管理することができ、例えば血圧計から無線送信された測定データも上記図１１（ａ）～（ｄ）と同様に、記録・履歴表示することもできる。例えば、図１１（ａ）のブロック２１８に最新血圧データが表示され、階層遷移された表示画面（図１１（ｂ）～（ｃ）類似）で測定・記録し、図１１（ｅ）に示すようにその直近の一覧が表示される。
　以上のように、この健康管理アプリケーションにより本スマートフォンにより視聴覚障碍者は、体重や体温等の日常の健康管理することができる。
記録タグ
　次に、本スマートフォン１０の他の活用例として、本スマートフォン１０と連動して視聴覚障碍者の日常の管理を行う外部デバイスとして図１０（ｂ）及び図１２に示す記録タグ６００による情報管理が挙げられる。視聴覚障碍者の日常生活における代表的な悩みの１つとして購入した飲食物や自作の飲食物を冷蔵庫で保管し、後に飲食する際、その賞味期限がかわらない等という問題がある。図１２では、冷蔵庫内のペットボトル等の飲食物に引っ掛けることができるＩＣ・ＲＦタグ（ＲＦＩＤ（Radio Frequency Identification）タグ）等の記録タグ６００からスマートフォン１０内蔵ＮＦＣ（近距離通信）により情報を入手し、品名と期限がわかるようにしている。図１０（ａ）は、この記録タグ６００からの受信した飲食物等物品の品名や期限を本スマートフォン１０で管理するアプリケーション（期限管理アプリケーション）についての表示画面例３１０を示している。
　ここでは記録タグ６００としてＲＦＩＤタグを内蔵使用する場合、ＲＦＩＤタグと本スマートフォン１０とを無線通信し、ＲＦＩＤタグ内に記録された情報の読み取りや書き換えすることができる。記録タグ６００と本スマートフォン１０との通信は概ね、(i)スマートフォンに内蔵するＲＦＩＤリーダーライターから記録タグ６００に向けて電波情報を照射されると、(ii)記録タグ６００のアンテナが照射された電波情報を受信し、内部のＩＣチップが起動する。そして、(iii)ＩＣチップの電波情報を記録タグ６００のアンテナから送信され、(iv)記録タグ６００から送信された電波情報をスマートフォン１０内蔵のＲＦＩＤリーダーライターが受信して、(v)受信した内容を本スマートフォン１０の期限アプリケーションが処理し、(vi)スマートフォン１０やこれと通信するクラウドサーバに記憶する。具体的な本スマートフォン１０上での表示画面３１０で以下、説明する。
　図４（ｃ）のブロック「記録タグ」をダブルタップ等すると図１２（ａ）に示すような表示画面３１０に階層遷移する。この表示画面３１０は１列７段最下段２列の８ブロックに直交分割された表示画面であり、ブロック３１２～３１６に記録タグ６００を引っ掛けた各種飲食物それぞれから(iv)受信した日付及びタグ情報に基づいて、(v)それぞれのグロックに期限アプリケーションが対応する物品及び算出した賞味期限を表示し、カーソルが合わせられたブロック３１２’～ ３１６’の内容を音声読み上げ及び指装着型指点字装置３００に出力する。これにより視聴覚障碍者は、記録タグ６００が引っ掛けられた飲食物の賞味期限を確認することができる。なお、表示画面３１０に階層遷移した時点では、カーソルがブロック３１２に合わせられている。
　また、最上段のブロック３１１は、飲食物に新しい記録タグ６００を引っ掛けて新規登録するときに使用するブロックであり、新しい記録タグ６００にダブルタップしてカーソルを合わせてその記録タグ６００と近距離通信できる範囲内でブロック３１８「読み取る」をダブルタップすると記録タグ６００のＲＦＩＤに記録された日付及びタグ情報を読み取りながら図１２（ｃ）に示す１列７段最下段２列に分割された表示画面３１０’に階層遷移し、表示画面３１０’最上段のブロック３１１’に記録タグ６００を読み取ったことの確認が表示される（このとき記録タグのシリアルナンバー等が併記されても良い）。そして、読み取った記録タグ６００の名前をブロック３１３’、期限を３１４’に入力し、ブロック３１５’「確定」をダブルタップして階層遷移した各種確認用の表示画面３１０’のブロック３１５”で確定する。なお、記録タグ６００を消去したい場合は、図１２（ａ）のブロック３１２’～ ３１６’から階層遷移した図１２（ｂ）、図１２（ｃ）ブロック３１２’、図１２（ｄ）を参照することで詳細な説明を割愛する。
　さらに、この記録タグ６００を用いた「期限管理アプリケーション」は、飲食物の賞味期限管理以外にも、洋服の内容やクリーニング管理、写真の内容及び日付の管理などにも活用できる。
ドアベル用ユニット
　次に、本スマートフォン１０の別の活用例として、本スマートフォン１０と連動して視聴覚障碍者の日常の管理を行う外部デバイスとして図１０（ｃ）及び図１３～図１４に示すドアベル用ユニット７００による情報管理が挙げられる。視聴覚障碍者の日常生活における代表的な他の悩みとして友人や宅配業者がドアベルを鳴らしても気づかないという問題があり、従来は単にドアベルを通知するだけの単純機能でありながら高価なものが存在したに過ぎなかった。これに対して本スマートフォンで提供するドアベル用システムでは、ドアベルと本スマートフォン１０と指装着型指点字装置３００とを連動させて、ドアベルを通知するのみならず対話まで可能としている。以下、簡述する。
　図１３には本スマートフォン１０と連動する外部デバイスとしてのドアベル用ユニット７００、指装着型指点字装置３００のシステム構成の概略図、図１４にはこのシステム使用時の本スマートフォン１０の表示画面７１０の一例、を示している。図１３に示すように、ドアベル用ユニット７００は汎用のドアベル７５０のスピーカ近傍に装着し、デバイスＡとデバイスＢとを組み込んでいる。このデバイスＡは、訪問を通知するドアベル７５０の音／ユーザからの音を受信／送信するマイクセンサ／スピーカを有する送受音器であり、デバイスＢはデバイスＡとBluetooth（登録商標）等の近距離通信を行い、デバイスＡからの受音信号をWi-Fi等で通信する中継器である。ドアベル用ユニット７００（デバイスＢ）から送信された受音信号は、直接、本スマートフォン１０や指装着型指点字装置３００が受信する場合と、家庭内のWi-Fiルータ７６０からインターネット経由７７０で本スマートフォン１０が受信し、本スマートフォン１０と双方向通信する指装着型指点字装置３００が受信する場合と、がある。
　図１４（ａ）は、図４（ｃ）の表示画面のブロック「ドアベル」をダブルタップして階層遷移したドアベルドアベル用ユニット７００の表示画面７１０を示している。この表示画面７１０は１列７段最下段２列の８ブロックに直交分割された表示画面であり、各ブロック７１１～７１６には直近にドアベル用ユニット７００からの受音信号を受信した日時履歴が表示されている。ブロック７１７は後述する「対話モード」の起動、ブロック７１８はブロック７１１～７１６の日時履歴の読み上げの実行を行うブロックが設定されている。また、本スメートフォン１０がドアベル５０を押したことの受音信号を受信すると、その受音信号が指装着型指点字装置３００にも受音信号が送信され、振動等の警告動作が実行される。このとき図１４（ｂ）に示すように表示画面７１０の最上段のブロック７１１に日時が表示され、一段下がってブロック１２～７１６にそれまでの直近５件の日時が表示される。
　これにより視聴覚障碍者がドアベル７５０からの受音を認識し、訪問客との対話を所望する場合、ブロック７１７をダブルタップして「対話モード」を起動する。「対話モード」が起動すると表示画面７１０’に階層遷移する（図１４（ｃ）参照）。「対話モード」が起動すると、ドアベル用ユニット７００に本スマートフォン１０や指装着型指点字装置３００からの送信信号が送信できる状態になり、その送信信号を受信したドアベル用ユニット７５０のデバイスＢを経由してデバイスＡの送受音器のスピーカがドアベル７５０に返事音声を送信する。
　例えば図１４（ｃ）の表示画面７１０’に示すようにブロック７１１にドアベル７５０のインターホンからの受音信号及びスマートフォンの音声文字変換機能に基づいて、訪問者の会話内容「こんにちは。宅配便です。」がブロック７１１’に文字化されて表示される。このとき本スマートフォン１０から指横着型指点字装置３００に文字情報が送信され、指横着型指点字装置３００が指点字用振動を作成して視聴覚障碍者の各指が振動する。これに対して訪問者の会話内容を認識した視聴覚障碍者は、ブロック７１６‘に設けられた入力窓に返事内容「少々お待ちください。」を入力して（図５（ｃ）～（ｅ）参照）、送信する。これを繰り返し、対話が終了するとブロック７１７‘「インターホンオフ」をダブルタップして「対話モード」を終了させる。
歩行ナビゲーション
　次に、本スマートフォン１０のさらに別の活用例として、本スマートフォン１０及び指装着型指点字装置３００と連動して視覚障碍者の歩行を支援する常外部デバイスとして図１０（ｄ）及び図１５～図１７に示す視覚障碍者足用装着具８００による歩行ナビゲーションシステムが挙げられる。市中歩道には点字ブロックがあり、視覚障碍者は白杖をもって点字ブロックを頼りに歩行している。しかしながら、点字ブロックの先に目的地や信号機など何があるかが不明であり、情報案内を所望する手段を求める視覚障碍者は多い。従来、点字ブロックと連動させて情報提供し、歩行支援するシステムが種々提供されてきた。例えば、点字ブロックの中の警告ブロックに目印となるコードを付加し、このコードを小型カメラで読み取って音声案内するシステムや、案内情報を示すＱＲコード（登録商標）を表面に付けた点字ブロックに設け、携帯するスマートフォンから読み取るシステムなどが提供されているが、コードの場所が認識できない視覚障碍者の読み取り精度を確保できず、白杖を片手に持つ視覚障碍者にとってもう片方の手までシステムに必要な所有機器を有することとなり歩行安全性も確保できない。さらに盲ろう者の場合、音声認識もできないという問題もある。このような事情から点字ブロックを活用する歩行支援システムの実用化ができていない。
　このような問題を解消すべく、視覚障碍者が歩行する際にその足元に外部デバイスとして装備する本視覚障碍者足用装着具８００で歩行中の視覚障碍者が白杖先端の近傍（約１～２ｍ）で認識する点字ブロックの情報と、視覚障碍者が携帯するスマートフォン１０及び指装着型指点字装置３００とを連動させる歩行ナビゲーションシステムを提供している。具体的には、視覚障碍者足用装着具８００は、例えば、これを収納した袋体８４０を靴８６０に被せたり（図１６（ａ））、足首にバンド８５０により巻き付ける（図１６（ｂ））等して視覚障碍者の足元に装着されるものであり、図１７（ａ）の斜視図及び図１７（ｂ）の平面図に示すような近距離無線通信モジュールが内蔵された基板８１０やアンテナ８１５を備えており、図１５に示すように視覚障碍者足用装着具８００が点字ブロック内に埋め込まれ案内情報が記録されたＩＣタグ８６０（「パッシブタグ」とも称する）に電波を照射する。この照射を受けてＩＣタグ８６０は、所定の案内情報信号を送信し、これを視覚障碍者足用装着具８００が受信する。また視覚障碍者足用装着具８００は、信号機や電車の駅構内等の公共交通機関内に埋め込まれ所定の案内情報が記録されたＩＣタグ８７０（「アクティブビーコン」とも称する。）から対象者を限定せず能動的に送信されている案内情報信号を受信する。例えば、視覚障碍者足用装着具８００から歩行経路と外れた位置のＩＣタグ８６０に電波照射されると警告信号としての案内情報信号を送信させたり、信号機の色や電車の到着などのライブ情報信号としての案内情報信号を公共交通機関内に埋め込まれたＩＣタグ８７０から送信させたりする。
　この案内情報信号を視覚障碍者足用装着具８００が受信すると、視覚障碍者足用装着具８００内の信号送信器と有線接続されたＲＦＩＤリーダや無線送信器を内蔵する読取器により案内情報信号が読み取られ、Bluetooth（登録商標）等の近距離通信によりスマートフォン１０に無線通信される。視覚障碍者足用装着具８００がＩＣタグ８６０、８７０が接近し、そのＩＣタグ８６０、８７０から案内情報信号が送信されると、視障碍者足用装着具８００内の信号送信器、読取器を介してＩＣタグ８６０、８７０からの案内情報信号が本スマートフォン１０に送信され、スマートフォン１０を経由して視覚障害者が装備している指装着型指点字装置３００（図１６（ｃ）～（ｄ）参照）に警告等の案内情報信号が送信され、各指に振動による警告等が与えられる。
　この振動は特定の案内に対応する振動ルールが設定されており、案内情報を認識することができる。このような点字ブロックに埋め込むＩＣタグ８６０，８７０を図１５に示すように歩行路に複数配設することで目的地までの順路や、途中の横断歩道や信号機等の存在、信号の色や電車の到着等のアクティブ情報を視覚障碍者に認識させることができ、有益かつ安価に歩行支援を行うことができる。なお、上記では視覚障害者足用装着具８００からの案内情報信号が本スマートフォン１０を経由して指装着型指点字装置３００が送信される例が示されたが、指装着型指点字装置３００に案内情報信号を直接受信し、振動処理がなされる場合もあり得る。
携帯型の点字表示及び指点字入力装置
　その他、本スマートフォン１０の活用例として、本スマートフォン１０と連動する図１０（ｅ）に示すような携帯型の点字表示及び指点字入力装置（以下、単に「携帯型電子点字デバイス」とも称する。）９００が挙げられる。この携帯型電子点字デバイス９００は、従来の電子点字デバイス（図２（ａ）参照）の点字出力機能（読取機能）と必要な指点字入力機能を抽出して小型で携帯可能な装置として提案される。従来の電子点字デバイスでは、入力用のキーボードと、その下段に平坦な表面に穿たれた穴からドットを表示するピンが上がってくることで点字を表示する表示部と、が設けられる視覚障碍者用の出入力デバイスであるが、高額かつ大型のものであった。
　これに対して、上記指装着型指点字装置３００は指に装着でき、携帯性に非常に優れ、本スマートフォン１０と連動される外部デバイスとしては中核をなすものとなる。しかしながら、指装着型指点字装置３００にも指点字特有の問題も併存している。指装着型指点字装置３００を連動させて本スマートフォン１０から文字情報を受信して指点字を振動により読み取る場合、少なくとも指点字を行う速度で読み取り作業を行う必要がある。これに対して一般的に視聴覚障碍者が点字を読み取る速度は指点字により読み取る作業より格段に速い傾向にある。このことは指点字による情報伝達の限界として看過することも考えられるが、スマートフォン社会から「盲ろう者を取り残さない」を第一義とするならばこれまで看過されてきた指点字特有の読み取り速度に対しても積極的な開発提案をすべきであると発明者らは考えた。本発明者らは、指装着型指点字装置３００を常着する視覚障碍者であっても文字情報を取得するには点字読取り速度で行うことを所望することが考えられる。例えば、図４（ａ）（ｄ）の入出力区画「ニュース」「点字図書館」を入力する場合には、階層遷移先の表示画面内が長文で構成されており、迅速に読み取りたい視覚障碍者は多い。このような長文読み取りが発生するような場合に、指装着型指点字装置３００を用いた振動動作により読み取っていくには限界がある。したがって、長文を読み取っていくことが中心になる場合には、指装着型指点字装置３００を装着している視覚障碍者であっても別途同時に、読み取りに特化した出力装置を携帯することが望まれると考えられる。このような見地からここでは外部デバイスとして本スマートフォン１０からの文字情報の点字読取り機能と、両手の各３指（合計６指）での指点字入力に必要な入力機能とを有して、本スマートフォン１０と送受信でき、本スマートフォン１０を介して指装着型指点字装置３００とも連動し得る携帯型電子点字デバイス９００を提供し、これ単独または指装着型指点字装置３００と同時に携帯できるようにしている。
　具体的には、図１８（ａ）に携帯型電子点字デバイス９００、図１８（ｂ）にその変形例の携帯型電子点字デバイス９００’の斜視図が示されている。携帯型電子点字デバイス９００、９００’は、携帯しながら操作できるように通常のスマートフォンと同程度の大きさ・厚みの筐体９３０を有している。まず、携帯型電子点字デバイス９００、９００’は、筐体９３０の天面にスマートフォン１０内のアプリケーションで一般文字情報から点字情報に変換・送信し、送受信装置で無線受信した点字情報に応じた点字列を表示する点字表示部９１０を有している。この点字表示部９１０は、圧電素子で駆動するピンを突出・引込することで点字（ドット）９１２を約２０文字一列に表示する。図１８（ａ）の携帯型電子点字デバイス９００の点字表示部９１０は筐体９３０の天面下段、図１８（ｂ）の携帯型電子点字デバイス９００’の点字表示部９１０は筐体９３０の天面上段に配置されている。これにより視覚障碍者は、スマートフォン１０等からの文字情報を２０文字の点字列で構成された文節として数秒で読み取ることができる。なお、筐体９３０の上縁部や下縁部には、点字表示部９１０の点字９１２や点字列を1行戻す、１行送る、１文節戻す、１文節送るボタンや本スマートフォン１０におけるファンクションキーＬ、Ｒ（符号１０７，１０８）に対応するボタンを配列する機能入力部９４０を有している。
　また、筐体９３０の天面には、上述した点字表示部９１０の上段（図１８（ａ）参照）や下段（図１８（ｂ）参照）に視覚障碍者が指点字でタッチして文字入力する指点字入力キー９２０が配設されている。この指点字入力キー９２０は、指装着型点字装置３００と同様に、指点字に必要な両手それぞれの人差し指～薬指の３指に対応する６つのキーを有する。図１８（ａ）（ｂ）に示す６つのキーの番号は、指装着型点字装置３００と同様に、図１の点字６点の番号に対応している。この該指点字入力キー９２０で入力された指点字情報を指点字情報を送受信装置で無線送信して本スマートフォン１０内のアプリケーションで受信した指点字情報を一般文字情報に変換し出力し、本スマートフォン１０を介して指装着型指点字装置３００で出力する。なお、指点字入力キー９２０で入力した指点字情報は、送信する前に上述した点字表示部９１０を動作する動作部で点字列として出力される。具体的には指点字入力キー８２０で入力した指点字情報を受信した本スマートフォン１０内で点字情報に変換・送信し、受信した点字情報を点字表示装置９１０で出力する。これにより指点字入力を目で確認できなくても事前に点字文字列として確認でき、誤字チェック等を行うこともできる。
　以上、本発明の種々の携帯情報端末例を示してきたが、本発明はこれに限定されるものではなく、特許請求の範囲の精神及び教示を逸脱しない範囲で他の変形例、改良例があることを当業者は理解するであろう。
１０　携帯情報端末（スマートフォン）
１１～１４　仕切り
１０１～１０８　入出力区画（ブロック）
１１０　表示画面
１１１～１１４　仕切り
２１０　表示画面
２１１～２１８　入出力区画（ブロック）
３００　指装着型指点字装置
４００　体温計
５００　体重計
６００　記録タグ
７００　ドアベル用ユニット
７１０　表示画面
７１１～７１８　入出力区画（ブロック）
８００　視聴覚障碍者足用装着具
８１０　基板
８１５　アンテナ
８６０，８７０　ＩＣタグ
９００，９００'　点字表示及び指点字入力装置（携帯型電子点字デバイス）
９１０　点字表示部
９１２　点字
９２０　指点字入力キー
９３９　筐体　
９４０　機能入力部

Claims (14)

  1. 　表示画面全体を直交性を有する仕切りで８つに分割した入出力区画を有し、該各入出力区画を表示画面全体内に位置決めした携帯情報端末。
  2. 　視聴覚障碍者の両手それぞれ３指に振り当てられた１～６の指点字の数に操作機能を有する両手それぞれの１指分の数を加えた合計８つの数に表示画面全体を直交性を有する仕切りで分割した入出力区画を有し、該各入出力区画を表示画面全体内に位置決めした、請求項１に記載の携帯情報端末。
  3. 　前記入出力区画はそれぞれ、表示画面全体を直交性を有する仕切りで２列４段の略同一面積同一形状の８つに分割されたものであり、表示画面を視聴覚障碍者の左手の３指を想定して振り当てられた左列の３段と、右手の３指を想定して振り当てられた右列の３段と、左右両手の親指に振り当てられた最下段の２列とで構成する、ことを特徴とする請求項２に記載の携帯情報端末。
  4. 　前記入出力区画は、表示画面を直交性を有する仕切りにより、上方で１列６段で略同一形状に分割し、さらに最下段を２列に分割したものである、ことを特徴とする請求項２又は３に記載の携帯情報端末。
  5. 　表示画面内の所定の入出力区画を選択し、入力すると、予め設定された直交性を有する仕切りで８つに分割され固定された入出力区画を有する他の表示画面に遷移する、ことを特徴とする請求項１～４のいずれか１項に記載の携帯情報端末。
  6. 　前記入出力区画は、
    　隣り合う１つ以上の入出力区画と同じ遷移先を有し、これらの入出力区画が統合されて１つの区画として表示される、又は、
    　遷移先が存在せず、入出力不能な表示がなされる、ことを特徴とする請求項５に記載の携帯情報端末。
  7. 　請求項１～６のいずれか１項に記載の携帯情報端末であって、
    　該携帯情報端末は、
    　外部デバイスと無線による情報送受信を行う送受信部と、
    　携帯情報端末の表示画面の入出力区画への操作情報と該操作情報に基づく外部デバイスへの入力情報とを入力し、外部デバイスへの入力情報を前記送受信部に送信する入力部と、
    　携帯情報端末の表示画面の入出力区画への操作情報と前記送受信部により受信した外部デバイスからの出力情報とを出力し、携帯情報端末の表示画面に表示する表示部と、を備えることを特徴とする携帯情報端末。
  8. 　前記外部デバイスは、左右それぞれの指に装着して各指からの指点字情報を前記携帯情報端末に送信又は該携帯情報端末からの指点字情報を受信することができる無線双方向通信可能な指装着型指点字装置であり、
    　該指装着型指点字装置は、
    　各指の背側に設けられて、各指の指点字動作を検知する動作検知部と各指に対して指点字を伝達する振動部とを備える入出力ユニットと、
    　該動作検知部で検知される指の指点字動作に対応する動作信号を受信し、動作信号に基づいて文字情報を特定し、さらに前記携帯情報端末からの文字情報を受信し、該文字情報に基づいて各指に対する振動動作を特定し、前記入出力ユニットに送信する本体ユニットと、
    　本体ユニットで特定された文字情報を前記携帯情報端末に無線送信し、前記携帯情報端末から文字情報を受信して前記本体ユニットに送信する送受信部と、を備えることを特徴とする請求項７に記載の携帯情報端末。
  9. 　前記携帯情報端末が内蔵する音声認識機能により認識された文字情報を前記表示画面内の直交性を有する仕切りで分割された入出力区画に表示するとともに、その文字情報を前記指装着型指点字装置に無線送信し、
    　前記表示画面内の直交性を有する仕切りで分割された入出力区画に入力された文字情報を前記携帯情報端末が内蔵する音声読み上げ機能により認識して音声出力する、ことを特徴とする請求項８に記載の携帯情報端末。
  10. 　前記外部デバイスは、測定情報を無線送信可能な健康管理用の測定器であり、該測定器からの測定情報を受信して前記携帯情報端末の一の表示画面内の直交性を有する仕切りで分割された入出力区画に測定日時とともに表示し、該携帯情報端末に記憶又はこれと通信可能なサーバに記憶させ、測定日時が表示された前記一の表示画面から遷移した他の表示画面の各入出力区画それぞれに記憶された各測定情報をその日時とともに表示して履歴一覧表示を形成する、ことを特徴とする請求項７に記載の携帯情報端末。
  11. 　前記外部デバイスは、任意の物品に取り付けることが可能であり、物品情報を書き換え可能に記録したＲＦＩＤ内蔵の記録タグであり、
    　前記携帯情報端末の所定の入出力区画で物品情報を入力すると、前記携帯情報端末が内蔵するＲＦＩＤリーダーライターが起動し、物品情報を送信することで前記記録タグに物品情報を記録・更新させ、該記録タグで記録・更新された物品情報を前記ＲＦＩＤリーダーライターが受信して前記携帯情報端末又はこれと双方向通信するサーバで記録・更新され、
    　前記携帯情報端末の他の所定の入出力区画で前記記録タグの読取り指示情報を入力すると、前記ＲＦＩＤリーダーライターが起動し、読取り指示情報を送信することで前記記録タグに記録された物品情報を前記ＲＦＩＤリーダーライターが受信して前記携帯情報端末の所定の入出力区画に表示する、ことを特徴とする請求項７に記載の携帯情報端末。
  12. 　前記外部デバイスは、ドアベルと音声を送受信するドアベル用ユニットと前記指装着型指点字装置とであり、
    　ドアベル用ユニットからのドアベル音声情報を無線受信して前記携帯情報端末の表示画面内の所定の入出力区画に受信日時とともに文字情報として表示し、その文字情報を前記指装着型指点字装置に送信し、
    　前記指装着型指点字装置からの文字情報を無線受信して前記携帯情報端末の所定の入出力区画に文字情報として表示し、その文字情報をドアベル用ユニットが出力するドアベル音声情報として無線送信する、ことを特徴とする請求項８に記載の携帯情報端末。
  13. 　前記外部デバイスは、歩行路に配設したＩＣタグからの案内情報を受信する視覚障碍者足用装着具と前記指装着型指点字装置とであり、
    　前記視覚障碍者足用装着具は、歩行路のＩＣタグの案内情報を読み取るＲＦＩＤリーダーを内蔵して読み取った案内情報信号を無線送信し、
    　前記視覚障碍者用足用装着具からの案内情報信号を無線受信した前記携帯情報端末を経由して前記指装着型指点字装置にその案内情報信号を無線送信する、ことを特徴とする請求項８に記載の携帯情報端末。
  14. 　前記外部デバイスは、前記携帯情報端末からの文字情報を無線受信して点字表示又は指点字情報を前記携帯情報端末に送信する携帯型の点字表示及び指点字入力装置であり、
    　該点字表示及び指点字入力装置は、
    　前記携帯情報端末からの文字情報を無線受信し、前記点字表示及び指点字入力装置で入力された文字情報を無線を送信する送受信部と、ピンが突出・引込することで形成される点字を複数配列した点字表示部と、前記携帯情報端末から前記送受信部が受信した文字情報又は前記点字表示及び指点字入力装置で入力された文字情報に基づいて各点字に対するピンの動作を特定し、該ピンを突出・引込させる動作部と、両手それぞれの３指に対応する６つのキーを有する指点字入力キーと、該指点字入力キーで入力された文字情報を前記送受信部又は前記動作部に送信する指点字入力部と、を備えることを特徴とする請求項７に記載の携帯情報端末。
PCT/JP2023/035124 2022-09-30 2023-09-27 携帯情報端末 WO2024071186A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022158368 2022-09-30
JP2022-158368 2022-09-30

Publications (1)

Publication Number Publication Date
WO2024071186A1 true WO2024071186A1 (ja) 2024-04-04

Family

ID=90477829

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/035124 WO2024071186A1 (ja) 2022-09-30 2023-09-27 携帯情報端末

Country Status (1)

Country Link
WO (1) WO2024071186A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110020771A1 (en) * 2009-07-23 2011-01-27 Rea Ryan M Electronic braille typing interface
WO2012045844A1 (fr) * 2010-10-07 2012-04-12 Compagnie Industrielle Et Financiere D'ingenierie "Ingenico" Dispositif de saisie de données en braille, procédé et produit programme d'ordinateur correspondants
JP5977101B2 (ja) * 2012-07-05 2016-08-24 京セラ株式会社 携帯端末、点字入力方法および点字入力プログラム
US20170169730A1 (en) * 2014-09-11 2017-06-15 Han Sol Choi Touch screen device having braille support function and control method therefor
JP6494251B2 (ja) * 2014-11-13 2019-04-03 サカタインクス株式会社 電子情報機器およびその操作方法
KR20190078873A (ko) * 2017-12-27 2019-07-05 부산대학교 산학협력단 시각장애인을 위한 보안 키패드 및 보안 키패드에서의 입력 방법
KR102229971B1 (ko) * 2019-12-04 2021-03-18 건국대학교 글로컬산학협력단 콘텐츠 정보 제공 지원 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110020771A1 (en) * 2009-07-23 2011-01-27 Rea Ryan M Electronic braille typing interface
WO2012045844A1 (fr) * 2010-10-07 2012-04-12 Compagnie Industrielle Et Financiere D'ingenierie "Ingenico" Dispositif de saisie de données en braille, procédé et produit programme d'ordinateur correspondants
JP5977101B2 (ja) * 2012-07-05 2016-08-24 京セラ株式会社 携帯端末、点字入力方法および点字入力プログラム
US20170169730A1 (en) * 2014-09-11 2017-06-15 Han Sol Choi Touch screen device having braille support function and control method therefor
JP6494251B2 (ja) * 2014-11-13 2019-04-03 サカタインクス株式会社 電子情報機器およびその操作方法
KR20190078873A (ko) * 2017-12-27 2019-07-05 부산대학교 산학협력단 시각장애인을 위한 보안 키패드 및 보안 키패드에서의 입력 방법
KR102229971B1 (ko) * 2019-12-04 2021-03-18 건국대학교 글로컬산학협력단 콘텐츠 정보 제공 지원 장치 및 방법

Similar Documents

Publication Publication Date Title
KR101650099B1 (ko) 시각장애인용 착용형 햅틱 패턴 디스플레이 장치
Vanderheiden et al. Design for people with functional limitations
US20230195306A1 (en) Software for keyboard-less typing based upon gestures
US20180307313A1 (en) Device and method for transmitting and receiving information by braille
Caporusso et al. Pervasive assistive technology for the deaf-blind need, emergency and assistance through the sense of touch
WO2024071186A1 (ja) 携帯情報端末
KR101087640B1 (ko) 촉감 제시장치를 이용한 점자 교육 상호작용 시스템 및 그 방법
KR100859379B1 (ko) 언어장애자 의사소통 지원시스템
KR102009150B1 (ko) 수화 또는 지화 인식 장치 및 방법
RU2651444C2 (ru) Устройство и способ приёма и передачи информации посредством шрифта брайля
US11625105B2 (en) Method for inputting and outputting a text consisting of characters
Juneja et al. Design and development of a low cost and reliable writing aid for visually impaired based on Morse code communication
Reed et al. Haptic Communication of Language
KR101695953B1 (ko) 시각 장애인의 안내를 위한 비콘 스피커 및 그 방법
JP2000142408A (ja) 携帯情報機器
Vanderheiden et al. Design for people experiencing functional limitations
KR101045384B1 (ko) Ｒｆ 통신기반의 점자정보 단말기
JP2012118643A (ja) 点字式墨字入力方法、点字式墨字入力プログラム及び点字式墨字入力装置
Ranjan et al. Design of sign language system; using APR9600 and glove technology
JPH06337630A (ja) 携帯型手話入力装置
WO2013114923A1 (ja) 情報機器、タイミング情報送信装置、通知システム、通知方法、タイミング情報送信方法およびプログラム
Barathkumar et al. Braille Based Mobile Communication for Deaf and Blind People
JP2008158656A (ja) 通信端末装置
Witt Wearable Computing: Smart Watches
WO2021188062A1 (en) A configurable glove to be used for remote communication

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23872408

Country of ref document: EP

Kind code of ref document: A1