WO2011058656A1 - ハンドヘルド点字変換装置、点字変換方法、点字変換プログラム及び記憶媒体 - Google Patents

ハンドヘルド点字変換装置、点字変換方法、点字変換プログラム及び記憶媒体 Download PDF

Info

Publication number
WO2011058656A1
WO2011058656A1 PCT/JP2009/069439 JP2009069439W WO2011058656A1 WO 2011058656 A1 WO2011058656 A1 WO 2011058656A1 JP 2009069439 W JP2009069439 W JP 2009069439W WO 2011058656 A1 WO2011058656 A1 WO 2011058656A1
Authority
WO
WIPO (PCT)
Prior art keywords
braille
unit
display
character
handheld
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2009/069439
Other languages
English (en)
French (fr)
Inventor
アンソニー トーマス キーズ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Priority to JP2011540377A priority Critical patent/JPWO2011058656A1/ja
Priority to US13/509,468 priority patent/US20120236134A1/en
Priority to PCT/JP2009/069439 priority patent/WO2011058656A1/ja
Publication of WO2011058656A1 publication Critical patent/WO2011058656A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • G09B21/004—Details of particular tactile cells, e.g. electro-mechanical or mechanical layout
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments

Definitions

  • the present invention relates to a technique for converting characters into Braille.
  • braille display device that converts the electronic data of one column of characters into braille and displays it.
  • Patent Document 1 describes an electronic data display system that displays text data in a computer after converting it into Braille.
  • the braille display device described above has a problem that characters on printed matter cannot be easily converted into braille on the spot.
  • the invention according to claim 1 is a handheld Braille conversion device that can be moved while being held by one hand of a user, and at least one finger of the hand holding the handheld Braille conversion device is in contact
  • a braille display unit that is arranged at a possible position and displays braille, an imaging unit that captures a predetermined range around the handheld Braille conversion device, and detects the presence or absence of characters present in the captured image of the imaging unit
  • Character recognition means for recognizing characters
  • Braille conversion means for converting part or all of the characters recognized by the character recognition means into Braille
  • display control for displaying the Braille converted by the Braille conversion means on the Braille display unit
  • the Braille display unit has a plurality of unit Braille display units each corresponding to one Braille, and the unit Braille display unit has a plurality of movable members
  • the display control means displays the suitability of the positional relationship of the handheld Braille conversion device with respect to characters or character strings existing in the captured image by operating members of some of the unit Braille display units.
  • the invention according to claim 9 is a braille that can be moved in a state where the user holds it with one hand, and is arranged at a position where at least one finger of the holding hand can touch and displays braille.
  • a display control step wherein the braille display unit includes a plurality of unit braille display units each corresponding to one braille, the unit braille display unit includes a plurality of movable members,
  • the display control step displays whether or not the handheld Braille converting device is appropriate for the character or the character string existing in the photographed image by operating members of some of the
  • the invention according to claim 10 can be moved while the user is holding it with one hand, and is arranged in a position where at least one finger of the holding hand can be contacted to display braille.
  • a Braille conversion program executed by a handheld Braille conversion device including a display unit, which detects a presence of characters present in a captured image of the imaging unit and an imaging unit that captures a predetermined range around the handheld Braille conversion device
  • a character recognition means for recognizing existing characters, a Braille conversion means for converting part or all of the characters recognized by the character recognition means into Braille, and a Braille character converted by the Braille conversion means is displayed on the Braille display section.
  • the handheld braille conversion device is made to function as a display control means, and the braille display section has a plurality of unit braille display sections each corresponding to one braille,
  • the unit braille display unit has a plurality of movable members, and the display control means is present in the photographed image by operating members of some unit braille display units of the unit braille display units. Displaying the suitability of the positional relationship of the handheld braille conversion device with respect to the character or character string to be displayed, and displaying braille by operating members of the unit braille display unit other than the part unit braille display unit And
  • a handheld Braille conversion device that can be moved while being held by a user with one hand, and at least one finger of a hand holding the handheld Braille conversion device can be contacted
  • Character recognition means for recognizing the character
  • Braille conversion means for converting part or all of the characters recognized by the character recognition means into Braille
  • display control means for displaying the Braille converted by the Braille conversion means on the Braille display unit
  • the Braille display unit has a plurality of unit Braille display units each corresponding to one Braille
  • the unit Braille display unit has a plurality of movable members
  • the display control means displays the suitability of the positional relationship of the handheld Braille conversion device with respect to characters or character strings existing in the captured image by operating members of some of the unit Braille display units.
  • braille is displayed by operating members of the unit braille display units other than the part of unit braille display units.
  • the handheld Braille conversion device includes a Braille display unit, an imaging unit, a character recognition unit, a Braille conversion unit, and a display control unit, and completes the process from reading characters to outputting Braille.
  • the handheld Braille converting device is of a size that can be held with one hand. Accordingly, it is possible to provide a Braille conversion device that is easy for the user to carry and can easily convert a nearby character into Braille on the spot.
  • the Braille display unit has a plurality of unit Braille display units each corresponding to one Braille, and the unit Braille display unit has a plurality of movable members.
  • the member is a member such as a pin or a sphere.
  • a display control means displays the propriety of the positional relationship of the handheld braille converting apparatus with respect to the character or character string which exists in a picked-up image by operating the member which some unit braille display parts among unit braille display parts operate. . Further, the display control means displays braille by operating members of other unit braille display units.
  • the handheld Braille converting device can display Braille and guide the user's operation by combining a plurality of unit Braille display units. Therefore, it is possible to reduce the manufacturing cost, reduce the weight, reduce the size, etc. of the handheld Braille conversion device.
  • the unit braille display units are installed side by side, and the display control unit operates the members of the unit braille display units located at both ends of the unit braille display unit, Appropriateness of the positional relationship of the handheld Braille converting device with respect to characters or character strings present in the photographed image is displayed.
  • the handheld Braille converting device can clearly transmit the direction to be guided to the user by displaying the appropriateness of the positional relationship by the unit Braille display units at both ends.
  • the display control unit operates a member included in the unit Braille display unit so that the position of the handheld Braille conversion device exists in the captured image. Indicates in which direction the character or character string is displaced.
  • the user confirms the operation of the predetermined member with a finger, so that the position of the handheld Braille conversion device is shifted with respect to the character or the character string. You can know the direction.
  • the display control means indicates the presence / absence of characters present in the captured image by operating a member of the unit Braille display unit.
  • the user can know whether or not a character exists in the captured image by confirming the operation of the predetermined member with a finger. Further, the user can know that character recognition could not be performed or braille conversion could not be performed if braille characters were not displayed despite the presence of characters in the captured image.
  • the display control unit operates a member included in the unit Braille display unit so that a character string existing in the captured image is written horizontally or vertically. Indicates whether it is a writing.
  • the user confirms the operation of the predetermined member with his / her finger to determine whether the character string existing in the captured image is horizontal writing or vertical writing, and sets the handheld Braille conversion device in an appropriate direction. Can be moved.
  • the display control unit operates a member included in the unit Braille display unit to change a direction of an initial of a character string existing in the captured image.
  • the “initial character” refers to a character that the user should read first among one or more character strings displayed in the captured image.
  • the user can move the handheld Braille conversion device in the direction of the initial letter of the character string existing in the captured image by confirming the operation of the predetermined member with the finger.
  • the display control means vibrates the operation of raising or lowering the members of the some unit Braille display units to form or not form a convex shape.
  • the suitability of the positional relationship is displayed, and Braille is displayed by raising or lowering the members of the unit braille display units other than the part of unit braille display units so as not to form a convex shape.
  • the user can clearly distinguish and recognize the part displaying the propriety of the positional relationship and the part displaying the Braille in the Braille display unit.
  • the Braille conversion unit calculates an average character width of each character constituting a character string to be displayed in Braille, and the number of Braille corresponding to the character string.
  • the display control means changes the display of Braille based on the average character width and the number of Braille.
  • the display control means redisplays the braille considering the average character width of the characters and the number of brailles corresponding to the entire character string.
  • the “number of braille characters” refers to the number of times braille is displayed when displaying the braille of the entire character string by one unit braille display unit.
  • a braille display that can be moved while being held with one hand by a user and displays braille arranged at a position where at least one finger of the holding hand can touch.
  • a braille conversion method executed by a handheld Braille conversion device including a unit, which detects a presence of characters present in a captured image of a predetermined range around the handheld Braille conversion device and a captured image of the imaging step
  • the Braille display unit has a plurality of unit Braille display units each corresponding to one Braille
  • the unit Braille display unit has a plurality of movable members
  • the display control step displays whether or not the handheld Braille converting device is appropriate for the character or the character string existing in the photographed image by operating members included in some of the unit Braille display units.
  • braille that can be moved while being held by one hand of a user and displays braille arranged at a position where at least one finger of the held hand can be contacted.
  • a Braille conversion program executed by a handheld Braille conversion device including a display unit, which detects a presence of characters present in a captured image of the imaging unit and an imaging unit that captures a predetermined range around the handheld Braille conversion device
  • a character recognition means for recognizing existing characters, a Braille conversion means for converting part or all of the characters recognized by the character recognition means into Braille, and a Braille character converted by the Braille conversion means is displayed on the Braille display section.
  • the handheld braille conversion device is made to function as a display control means for causing the braille display section to have a plurality of unit braille display sections each corresponding to one braille.
  • the unit braille display unit has a plurality of movable members, and the display control means is present in the captured image by operating members of some unit braille display units of the unit braille display units. Whether the handheld braille conversion device is properly positioned with respect to the character or character string to be displayed is displayed, and braille is displayed by operating members of the unit braille display unit other than the part unit braille display unit.
  • the handheld Braille conversion device can perform Braille conversion on characters on the spot by executing this Braille conversion program.
  • the braille conversion program is stored in a storage medium.
  • FIG. 1 is a diagram schematically showing a handheld Braille converting device 1 according to the present embodiment of the present invention.
  • the handheld Braille converting device 1 includes a Braille display unit 10, a CPU 11, a RAM 12, a ROM 13, a power supply 14, a camera 15, a lens 16, and an illumination LED 17.
  • the Braille display unit 10 includes a plurality of movable pins 21 as shown, and displays the Braille by raising and lowering the pins to form a convex shape. Details of the arrangement of the movable pins 21 will be described later.
  • the camera 15 shoots a predetermined range around the handheld Braille conversion device 1 when the user places the handheld Braille conversion device 1 on the printed material, and transmits the captured image to the CPU 11.
  • the camera 15 can be a CCD camera, for example.
  • the CPU 11 executes the program stored in the RAM 12 or the ROM 13 in advance to detect the presence or absence of characters in the captured image acquired from the camera 15, and if there are characters, OCR (Optical Character Recognition; optical character recognition). Characters are recognized by executing processing.
  • the CPU 11 refers to the dictionary information that associates kanji and reading stored in the memory such as the RAM 12 and the ROM 13 and the braille definition information that associates reading and braille, or character and braille, and recognizes the recognized character. Convert to braille. Then, the CPU 11 displays the converted braille on the braille display unit 10.
  • the power supply 14 supplies power to the handheld Braille conversion device 1.
  • the lens 16 is a lens of the camera, and the illumination LED 17 is a light source required when the camera 15 captures characters.
  • FIG. 2 shows the structure of the handheld Braille converting device 1 according to this embodiment of the present invention.
  • FIG. 2A is a side perspective view showing the internal structure of the handheld Braille converting device 1
  • FIG. 2B is an overhead view showing the internal structure of the handheld Braille converting device 1 with a broken line.
  • the handheld Braille conversion device 1 is a handheld device that can be moved while being held with one hand by a user, and includes a Braille display unit 10, a power supply 14, a camera 15, a lens 16, an illumination LED 17, and a system controller 19. .
  • the camera 15 and the system controller 19, the system controller 19 and the braille display unit 10, and the system controller 19 and the power source 14 are electrically connected by wiring.
  • the Braille display unit 10 is disposed at a position where the user can contact the Braille display unit 10 with at least one of the index finger, the middle finger, and the ring finger while holding the handheld Braille conversion device 1 with the thumb and little finger of one hand. Yes.
  • the camera 15, the lens 16, and the illumination LED 17 are disposed in the immediate vicinity of the braille display unit 10.
  • a portion immediately below the braille display portion 10 and a portion within a predetermined distance from this portion are defined as a directly lower periphery.
  • the predetermined distance is 3 cm, for example.
  • the system controller 19 includes a CPU 11, a RAM 12, and a ROM 13, and controls the entire handheld Braille conversion device 1.
  • the power source 14 is configured by a battery, for example, and supplies power to the system controller 19 and supplies power to each component via the system controller 19.
  • the power supply 14 may supply power directly to each component without using the system controller 19.
  • FIG. 3 is an example of a block diagram illustrating a functional configuration of the handheld Braille conversion device 1 of the present embodiment. These functions are realized by the components shown in FIG.
  • the handheld Braille conversion device 1 includes the camera 15, the CPU 11, the ROM 13, and the Braille display unit 10 as described above.
  • the CPU 11 functions as a character recognition unit 101, a Braille conversion unit 102, and a display control unit 103 by executing a program prepared in advance.
  • the ROM 13 stores dictionary information and Braille definition information. Part of the dictionary information and the Braille definition information may be stored in the RAM 12.
  • the camera 15 captures a predetermined range around the handheld Braille converting device 1 and transmits the captured image to the CPU 11.
  • the camera 15 functions as a photographing unit in the present invention.
  • the character recognition unit 101 detects the presence or absence of characters in the captured image received from the camera 15, and performs character recognition by executing OCR processing if there are characters.
  • the character recognition unit 101 also recognizes the relative position of the recognized character string (hereinafter simply referred to as “position Pr”) when the captured image is a two-dimensional coordinate plane with the vertical and horizontal axes, and the character.
  • position Pr the relative position of the recognized character string
  • angle ⁇ r The angle formed by the straight line along the row with respect to the horizontal axis of the two-dimensional coordinate
  • character string length Lr the length of the character string
  • the Braille conversion unit 102 When the character recognized by the character recognition unit 101 is a Chinese character, the Braille conversion unit 102 first converts the Chinese character into a reading based on the dictionary information that associates the Chinese character with the reading, and then converts the reading into the Braille. Is converted to Braille based on the Braille definition information associated with.
  • the braille conversion unit 102 converts them into braille based on braille definition information that associates these with braille.
  • the Braille conversion unit 102 may convert all detected characters into Braille, or may convert only a part (for example, the number of characters that can be displayed on the Braille display unit 10) into Braille. Then, the braille conversion unit 102 supplies the converted braille information (hereinafter referred to as “braille information”) to the display control unit 103.
  • the display control unit 103 causes the braille display unit 10 to display the braille converted by the braille conversion unit 102. Further, the display control unit 103 informs whether or not the current position of the handheld Braille converting device 1 is appropriate, and displays for guiding the moving direction to an appropriate direction as necessary (hereinafter, “positional relationship appropriateness display”). Is displayed on the braille display unit 10. Hereinafter, the fact that the display control unit 103 raises the movable pin 21 to form a convex shape is also expressed as “to raise the movable pin 21”.
  • the Braille display unit 10 raises and lowers the movable pin 21 to form a convex shape, thereby performing Braille display, positional relationship suitability display, and the like.
  • FIG. 4 is a plan view of the braille display unit 10.
  • the Braille display unit 10 includes a first Braille module 10x and a second Braille module 10y.
  • the first Braille module 10x and the second Braille module 10y each include 32 movable pins 21.
  • the Braille display unit 10 includes a total of 64 movable pins 21 in which the first Braille module 10x and the second Braille module 10y are continuously arranged.
  • the Braille display unit 10 includes a total of eight unit Braille display units 22L, 22A to 22F, and 22R arranged side by side.
  • the unit braille display portions 22A to 22F correspond to portions for displaying braille.
  • the unit braille display units 22A to 22F each display eight brailles by raising and lowering eight movable pins 21 to form a convex shape.
  • or 22F represent one character by one or two.
  • the movable pin 21 arranged in the unit braille display portions 22A to 22F is referred to as a “first pin”.
  • the unit braille display units 22L and 22R project the whole or a part of the movable pin 21 to display the presence / absence of characters or the appropriateness of positional relationship. Accordingly, the unit braille display units 22L and 22R appropriately capture the character string to be read by the camera 15 and guide the user to move the handheld Braille conversion device 1.
  • the movable pin 21 arranged in the unit braille display portions 22L and 22R is referred to as a “second pin”.
  • the display control unit 103 guides the moving direction of the handheld Braille converting device 1 (hereinafter simply referred to as “moving direction”) by raising the second pin. Specifically, in principle, the display control unit 103 raises the second pin located in the direction in which the user wants to correct the moving direction with respect to the finger placed on the handheld Braille conversion device 1 by the user. Lower the second pin located in the direction. At this time, the direction of the character string to be read is not changed. That is, the user corrects the moving direction of the handheld Braille conversion device 1 without changing the direction of the document or the like on which the character string to be read is written.
  • a pin that does not protrude is indicated by “ ⁇ ”, and a pin that protrudes is indicated by “X in ⁇ ”.
  • a square frame 80 in the figure indicates a range of characters or character strings (referred to as “braille target characters”) to be converted into braille.
  • the “horizontal axis direction” refers to the long side direction of the rectangular frame 80 and coincides with the horizontal axis direction that defines the x-coordinate of the captured image described later with reference to FIG.
  • the movable pins 21 arranged in two columns and four rows of the unit braille display portions 22L and 22R are identified by assigning a column number in order from the left on the drawing and by attaching a row number in order from the top.
  • FIG. 5A shows a state of the movable pin 21 when there is no braille target character. As shown in FIG. 5A, in this case, the display control unit 103 does not raise all the second pins.
  • FIG. 5B shows the state of the movable pin 21 when the braille target characters are not in the Braille definition information.
  • the display control unit 103 raises the second pins on the first and fourth lines corresponding to the four corners of the unit braille display unit 22L, and displays the unit braille display.
  • the second pins of the first and fourth rows corresponding to the four corners of the portion 22R are raised.
  • FIG. 5C shows the state of the movable pin 21 when the Braille target characters are in the Braille definition information and can be displayed in Braille.
  • the display control unit 103 includes the braille target character “Pioneer” in the unit Braille display units 22A to 22F based on the Braille information supplied from the Braille conversion unit 102. Braille display with 1 pin. Specifically, according to the position of each character of the braille target character, the display control unit 103 displays “P” in braille on the unit braille display units 22A and 22B, and displays “I” on the unit braille display unit 22C. , “O” is displayed in braille on the unit braille display unit 22D, “d” is displayed in braille on the unit braille display unit 22E, and “a” is displayed in braille on the unit braille display unit 22F.
  • the display control unit 103 raises the second pins of the first and fourth lines corresponding to the four corners of the unit braille display unit 22L, and the first line corresponding to the four corners of the unit braille display unit 22R. And the second pin in the fourth row is raised.
  • FIG. 6A shows a state of the movable pin 21 when the braille target character corresponds to the end of the line.
  • the display control unit 103 displays “Ionian”, which is a target character of Braille, in braille using the first pins of the unit braille display units 22A to 22D, respectively. Further, the display control unit 103 raises only the second pins at the four corners of the unit braille display unit 22L among the second pins of the unit braille display units 22L and 22R, so that the braille target character is the last of the line. To the user.
  • FIG. 6B shows the state of the movable pin 21 when the braille target character corresponds to the leading edge of the line.
  • the display control unit 103 displays the braille target character “PIO” in braille using the first pins included in the unit braille display units 22C to 22F according to the position. Further, the display control unit 103 raises only the second pins at the four corners of the unit braille display unit 22R among the second pins provided in the unit braille display units 22L and 22R, so that the braille target character is at the forefront of the line. Tell the user that there is.
  • FIG. 6C illustrates that the horizontal axis direction of the captured image is a predetermined angle clockwise with respect to the direction of the character string of the braille target character. (Hereinafter referred to as “angle ⁇ th”.)
  • angle ⁇ th is 20 °, for example, and refers to an angle at which the character recognition unit 101 cannot accurately recognize the braille target character.
  • the display control unit 103 raises the two second pins in the fourth row of the unit braille display unit 22L among all the movable pins 21, and the first row in the unit braille display unit 22R. Raise the two second pins. That is, the display control unit 103 raises the lower second pin of the unit braille display unit 22L to indicate that the left side of the handheld Braille conversion device 1 needs to be corrected downward, and the unit braille display unit 22R By raising the upper second pin, the right side of the handheld Braille conversion device 1 indicates that correction is required upward. Thereby, the display control unit 103 guides the user's operation to rotate the moving direction of the handheld Braille conversion device 1 counterclockwise in accordance with the character string. In response to this, the user moves the left side of the handheld Braille conversion device 1 downward and the right side upward, and as a result, corrects the moving direction of the handheld Braille conversion device 1 counterclockwise.
  • FIG. 7 (a) shows that the horizontal axis direction of the captured image is counterclockwise by an angle ⁇ th or more with respect to the direction of the character string of the braille target character.
  • the state of the movable pin 21 when the braille display cannot be performed due to the deviation is shown.
  • the display control unit 103 raises the two second pins in the first row of the unit braille display unit 22L among all the movable pins 21, and the fourth row in the unit braille display unit 22R. Raise the two second pins.
  • the display control unit 103 raises the second pin on the upper side of the unit braille display unit 22L to indicate that the left side of the handheld braille conversion device 1 needs to be corrected upward, and the unit braille display unit 22R By raising the second pin on the lower side, the right side of the handheld Braille conversion device 1 indicates that correction is required downward.
  • the display control unit 103 guides the user's operation to rotate the handheld Braille conversion device 1 clockwise according to the character string.
  • the user moves the left side of the handheld Braille conversion device 1 upward and the right side downward, and as a result, the movement direction of the handheld Braille conversion device 1 is corrected clockwise.
  • FIG. 7B shows a range in which the horizontal axis direction of the captured image is within an angle ⁇ th with respect to the direction of the character string of the braille target character
  • the state of the movable pin 21 when it is necessary to shift the left side of the handheld Braille converting device 1 upward by shifting counterclockwise is shown. It is assumed that the character recognition unit 101 correctly recognizes all braille target characters.
  • the display control unit 103 displays braille target characters in braille using the first pins provided in the unit braille display units 22A to 22F. Further, the display control unit 103 raises two second pins of the first row among the second pins of the unit Braille display unit 22L, and also sets the first row and the second pin of the second pins of the unit Braille display unit 22R. A total of four second pins are raised in the fourth row. That is, the display control unit 103 raises the second pin on the upper side of the unit braille display unit 22L to indicate that the left side of the handheld Braille conversion device 1 needs to be corrected upward, while the unit braille display unit 22R.
  • the display control unit 103 guides the user to move the handheld Braille conversion device 1 according to the character string. In response to this, the user corrects the left side of the handheld Braille conversion device 1 upward.
  • FIG. 7C illustrates that the horizontal axis direction of the captured image is an angle ⁇ th clockwise with respect to the direction of the character string of the braille target character.
  • the state of the movable pin 21 when it is necessary to shift the right side of the handheld Braille converting device 1 upward is shown. It is assumed that the character recognition unit 101 correctly recognizes all braille target characters.
  • the display control unit 103 displays braille target characters in braille using the first pins provided in the unit braille display units 22A to 22F.
  • the display control unit 103 raises a total of four second pins of the first and fourth rows among the second pins of the unit Braille display unit 22L, and also sets the second pins of the unit Braille display unit 22R.
  • the two second pins in the first row are raised. That is, the display control unit 103 raises the second pin on the upper side of the unit braille display unit 22R to indicate that the right side of the handheld braille conversion device 1 needs to be corrected upward, while the unit braille display unit 22L.
  • the display control unit 103 guides the user's operation to move the handheld Braille conversion device 1 according to the character string. In response to this, the user corrects the right side of the handheld Braille conversion device 1 upward.
  • FIG. 8A shows an angle ⁇ th in which the horizontal axis direction of the captured image is clockwise with respect to the direction of the character string of the braille target character.
  • the state of the movable pin 21 when it is necessary to shift the left side of the handheld Braille converting device 1 downward is shown. It is assumed that the character recognition unit 101 correctly recognizes all braille target characters.
  • the display control unit 103 displays braille target characters in braille using the first pins of the unit braille display units 22A to 22F.
  • the display control unit 103 raises two second pins of the fourth row among the second pins of the unit braille display unit 22L, and the first row and the second pin of the second pins of the unit braille display unit 22R. A total of four second pins are raised in the fourth row. That is, the display control unit 103 raises the lower second pin of the unit braille display unit 22L to indicate that the left side of the handheld braille conversion device 1 needs to be corrected downward, while the unit braille display unit By raising the upper and lower second pins of 22R, the right side of the handheld Braille conversion device 1 indicates that no correction is necessary. Thereby, the display control unit 103 guides the user to move the handheld Braille conversion device 1 according to the character string. In response to this, the user corrects the left side of the handheld Braille conversion device 1 downward.
  • FIG. 8 (b) shows the angle of the horizontal axis direction of the captured image counterclockwise with respect to the direction of the character string of the braille target character
  • the state of the movable pin 21 when it is necessary to shift the right side of the handheld Braille converting device 1 downward by shifting within the range of ⁇ th is shown. It is assumed that the character recognition unit 101 correctly recognizes all braille target characters.
  • the display control unit 103 displays braille target characters in braille using the first pins of the unit braille display units 22A to 22F.
  • the display control unit 103 raises a total of four second pins of the first and fourth rows among the second pins of the unit Braille display unit 22L, and also sets the second pins of the unit Braille display unit 22R. Among them, raise the 2nd pin of the 4th row. That is, the display control unit 103 raises the second pin below the unit braille display unit 22R to indicate that the right side of the handheld braille conversion device 1 needs to be corrected downward, while the unit braille display unit By raising the upper and lower second pins of 22L, the left side of the handheld Braille conversion device 1 indicates that no correction is necessary. Thereby, the display control unit 103 guides the user's operation to move the handheld Braille conversion device 1 according to the character string. In response to this, the user corrects the right side of the handheld Braille conversion device 1 downward.
  • FIG. 8C shows a range in which the character can be recognized, and the entire handheld braille conversion device 1 is shifted upward with respect to the braille target character.
  • the state of the movable pin 21 is shown. It is assumed that the character recognition unit 101 correctly recognizes all braille target characters.
  • the display control unit 103 displays braille target characters in braille using the first pins of the unit braille display units 22A to 22F.
  • the display control unit 103 raises two second pins in the fourth row among the second pins of the unit Braille display unit 22L, and at the fourth row among the second pins in the unit Braille display unit 22R. Raise the two second pins. That is, the display control unit 103 indicates that the whole handheld Braille converting device 1 needs to be corrected downward by raising the second pin below the unit Braille display units 22R and 22L.
  • the display control unit 103 guides the user's operation to move the handheld Braille conversion device 1 according to the character string. In response to this, the user corrects the entire handheld Braille conversion device 1 downward.
  • FIG. 9A shows a range in which the character can be recognized, and the entire handheld braille conversion device 1 is shifted downward with respect to the braille target character.
  • the state of the movable pin 21 is shown. It is assumed that the character recognition unit 101 correctly recognizes all braille target characters.
  • the display control unit 103 displays braille target characters in braille using the first pins of the unit braille display units 22A to 22F. Further, the display control unit 103 raises two second pins of the first row among the second pins of the unit braille display unit 22L, and also displays the second row of the second pins of the unit braille display unit 22R. Raise the two second pins. That is, the display control unit 103 indicates that the entire handheld Braille converting device 1 needs to be corrected upward by raising the second pin on the upper side of the unit Braille display units 22R and 22L. Thereby, the display control unit 103 guides the user's operation to move the handheld Braille conversion device 1 according to the character string. In response to this, the user corrects the entire handheld Braille converting device 1 upward.
  • FIG. 9B shows the movable when the braille target character is vertically written and the character recognition unit 101 correctly recognizes all the braille target characters. The state of the expression pin 21 is shown.
  • the display control unit 103 displays the braille target character in braille using the first pins of the unit braille display units 22A to 22F. Further, the display control unit 103 raises the four second pins of the first row among the second pins of the unit braille display unit 22L, and the second row of the second pins of the unit braille display unit 22R. Raise the four second pins. That is, when the braille target character is vertically written, the display control unit 103 arranges the second pins to be raised in the vertical direction. In this way, the display control unit 103 guides the user's operation to move the handheld Braille conversion device 1 according to the character string.
  • the first row and the first column instead of the two second pins in the first row of the unit braille display portion 22L.
  • Two second pins in the first row and the second row and first column are replaced with two second pins in the third row and first column and the fourth row and first column in place of the two second pins in the fourth row of the unit braille display portion 22L.
  • the two second pins in the first row and second column and the second row and second column are replaced by the unit braille display portion.
  • the two second pins in the fourth row of 22R are raised. By doing so, it is possible to prompt the user to perform an operation in accordance with the vertical writing and simultaneously correct the moving direction of the handheld Braille converting device 1.
  • the first character to be read (hereinafter referred to as the character to be read)
  • the character to be read The control of the movable pin 21 when guiding the direction of “initial” will be described with reference to FIG.
  • the “document” refers to an information transmission medium in which a document to be read and other characters are described.
  • FIG. 10A shows the state of the movable pin 21 when there is an initial in the upper left direction.
  • FIG. 10B shows the state of the movable pin 21 when there is an initial in the upper right direction.
  • FIG. 10C shows the state of the movable pin 21 when there is an initial in the lower left direction.
  • FIG. 10D shows the state of the movable pin 21 when there is an initial in the lower right direction.
  • the subsequent states of the unit braille display portions 22A to 22F in FIGS. 10A to 10D are merely examples, and are not directly related to the guidance of the direction of the initial characters.
  • the display control unit 103 raises the second pin located in the direction in which the user wants to correct the moving direction and the second pin located in the other direction with respect to the finger placed on the handheld Braille conversion device 1 by the user. Lower.
  • the display control unit 103 includes the unit braille display unit 22L among the second pins provided in the unit braille display units 22L and 22R. A total of four second pins in the first row and the second row are set up. Also, as shown in FIG.
  • the display control unit 103 selects the first of the unit braille display unit 22R among the second pins provided in the unit braille display units 22L and 22R. A total of four second pins in the row and the second row are raised. Further, as shown in FIG. 10C, when there is an initial character in the lower left direction, the display control unit 103 sets the third of the unit braille display unit 22L among the second pins provided in the unit braille display units 22L and 22R. A total of four second pins in the row and the fourth row are raised. Further, as shown in FIG.
  • the display control unit 103 when there is an initial character in the lower right direction, the display control unit 103 includes the second pin of the unit Braille display unit 22R among the second pins provided in the unit Braille display units 22L and 22R. A total of four second pins in the third and fourth rows are raised.
  • the handheld Braille conversion device 1 acquires a captured image representing the entire set of character strings described in the document (hereinafter simply referred to as “the entire document”) from the camera 15. Then, the initial part is estimated from the captured image. This will be described with reference to FIG. FIG. 11 shows an example of a captured image showing the entire document.
  • the character recognition unit 101 specifies a range in which each character string of the entire document is described. For example, the character recognizing unit 101 first identifies the width boundary of each character string in the document as indicated by the vertical line in FIG.
  • the character recognizing unit 101 detects that the boundary of the first line out of the left boundary of each character string is shifted by the indentation, and the second and subsequent lines are aligned or within the predetermined difference. Check that the points are on a straight line and the right boundary of each character string is scattered in each line. The predetermined difference is set to a value less than a space corresponding to indentation, for example. Then, the character recognition unit 101 determines that the initial part is the leftmost character on the first line from the above two points. Then, as shown in FIG. 10A, the display control unit 103 guides the user's operation to move the handheld Braille converting device 1 to the upper left.
  • each character string of the entire document has an angle ⁇ r of 180 °, that is, shifted upside down or an absolute angle ⁇ r.
  • the value may be greater than or equal to the angle ⁇ th.
  • the display control unit 103 appropriately controls the second pin according to the specific example 6 in FIG. 6C and the specific example 7 in FIG. Thereby, the display control unit 103 can guide the user's operation, and can match each character string with the horizontal axis of the captured image.
  • the display control unit 103 ends the initial direction guidance.
  • the handheld Braille conversion device 1 can appropriately guide the user's operation using the second pin in various cases.
  • the character recognizing unit 101 determines the average character width (hereinafter referred to as “character length Nr”) of characters to be read from the character string length Lr and the number of characters (hereinafter referred to as “character number Nr”). Simply referred to as “average character width Wr”).
  • the Braille conversion unit 102 refers to the number of unit Braille display units 22 (hereinafter referred to as “Braille cell number Ns”) necessary for expressing the Braille when the character string is converted into Braille. calculate. Then, when the handheld Braille converting device 1 moves, the display control unit 103 displays the Braille of the character string at an average interval based on the average character width Wr and the Braille cell number Ns.
  • FIG. 12 shows an example of a captured image acquired from the camera 15.
  • the captured image 50 shown in FIG. 12 is composed of a plurality of horizontally written character strings.
  • the relative position on the captured image 50 is also referred to as a position on the horizontal axis (also referred to as “x coordinate”) with the upper left corner as the origin and a position on the vertical axis (also referred to as “y coordinate”). .)) Is expressed as “(x, y)”.
  • x indicates an x-coordinate value (0 ⁇ x ⁇ 1000)
  • y indicates a y-coordinate value (0 ⁇ y ⁇ 1000).
  • the character recognition unit 101 recognizes a plurality of character strings 70 indicated by a broken-line square frame from the captured image 50. Then, the character recognition unit 101 calculates each position Pr, angle ⁇ r, and character string length Lr of the character string 70. Here, the character recognizing unit 101 acquires a set of the coordinates of the upper left corner and the coordinates of the lower right corner of each character string 70 as the position Pr of each character string 70. For example, the character recognition unit 101 specifies the absolute value of the difference between the x coordinate of the left boundary and the x coordinate of the right boundary of each character string as the character string length Lr.
  • the character recognition unit 101 selects a character string 70 including the central coordinates (500, 500) located at the center of the captured image 50 from the plurality of recognized character strings 70, or a character string 70 closest to the central coordinates. It is specified as a character string to be braille.
  • the character recognizing unit 101 calls the character string 70x surrounded by a solid line frame including the center coordinates as a character string to be braille (hereinafter referred to as a “braille target character string”). )). That is, the character string 70y surrounded by the broken line frame is not a braille target character string.
  • the Braille conversion unit 102 counts the number of characters Nr of the character string 70x, which is the Braille target character string, and sets a value obtained by dividing the character string length Lr of the character string 70x by the character number Nr as an average character width Wr. That is, the Braille conversion unit 102 calculates the average character width Wr by the following equation (1).
  • FIG. 13 is a conceptual diagram showing a process of calculating the number of braille cells Ns from the character string 70x.
  • the first line in FIG. 13 shows the character string 70x displayed in the captured image 50 as it is.
  • the character string on the first line has 26 characters including Kanji. That is, the number of characters Nr is 26.
  • the second line of FIG. 13 shows a character string obtained by converting (kana conversion) kanji in the character string 70x.
  • the second line has 31 characters.
  • the third line in FIG. 13 lists the number of unit braille display portions 22 (number of braille cells) necessary for expressing each character in the second line in braille.
  • the number of braille cells of a kana character including numbers and dakuten and uppercase alphabets is 2, and the number of braille cells of other characters is 1.
  • the Braille conversion unit 102 calculates the sum of the number of Braille cells of each character, so that the number of Braille cells Ns necessary for displaying the character string 70x in Braille is 45. Is identified.
  • the Braille conversion unit 102 specifies a character (hereinafter referred to as “central character”) located at the center of the character string 70x that is the Braille target character string. Specifically, the Braille conversion unit 102 specifies the position of the coordinates (500, 500) located at the center of the captured image, that is, the character in the character string 70x closest to the intersection of the broken lines in FIG. 13 as the central character. . That is, the Braille conversion unit 102 specifies the character “U” in the broken line frame 71A shown in FIG. 13 as the central character.
  • the display control unit 103 displays the characters that can be displayed in braille by the 6 cells of the unit braille display units 22A to 22F including the central character. Specifically, the display control unit 103 displays the characters “Kudokushi” for 6 cells in the broken line frame 71B shown in FIG. 13 in braille using the unit braille display units 22A to 22F.
  • the display control unit 103 determines a character string to be displayed in braille by a method different from the above-described processing. This will be described with reference to FIG.
  • FIG. 14 is a diagram showing the position of the braille target character string composed of “kana strings” and the unit braille display sections 22A to 22F to be used. From FIG. 14A to FIG. 14D, the handheld Braille converting device 1 is gradually moving in the right direction. Here, it is assumed that the number of necessary braille cells for “Kanaretsu” corresponding to the kana column is one per character.
  • a broken line frame 72 indicates the existence range of characters to be braille (hereinafter referred to as “braille target range”).
  • a part of the braille target character string is displayed at the right end of the captured image.
  • the display control unit 103 determines that the braille target character string does not exist within the braille target range indicated by the broken line frame 72, and does not perform the braille display by the unit braille display units 22A to 22F.
  • the “kana” portion of the braille target character string exists within the braille target range.
  • the display control unit 103 displays “Kana” in “Kana” obtained by converting “Kana” based on the position of “Kana” in the Braille target range using the unit Braille display unit 22E in Braille. "Is displayed in braille by the unit braille display 22F.
  • the Braille target character string existing in the Braille target range when a character that requires two unit Braille display parts to express one kana is included (for example, a character with muddy sound), Only the first character may be displayed in braille by the unit braille display units 22E and 22F.
  • the display control unit 103 displays the “Kana” in the “Kana string” obtained by converting the “Kana string” into the unit Braille display unit 22B based on the position occupied by each character of the “Kana string” in the Braille target position 72. Is displayed in braille, “na” is displayed in braille by the unit braille display 22C, “re” is displayed in braille by the unit braille display 22D, and “tsu” is displayed in braille by the unit braille display 22E.
  • the display control unit 103 causes the unit braille display unit 22A to display “na” among “naretsu” obtained by kana-converting the “na string” based on the position occupied by each character of “na string” in the braille target range.
  • Braille is displayed, “Re” is displayed in Braille by the unit Braille display unit 22B, and “T” is displayed in Braille by the unit Braille display unit 22C.
  • Braille target character string existing within the Braille target range if a character that requires two unit braille display parts to represent one kana is included, only the second character is used as the unit. Braille is displayed by the Braille display unit 22A.
  • the display control unit 103 displays only the characters present in the braille target range in braille. Further, the display control unit 103 changes the unit Braille display unit 22 that displays the character in Braille based on the position of the character in the Braille target range.
  • the character recognition unit 101 acquires captured images from the camera 15 at regular intervals, and specifies the braille target character string by executing the above-described processing. Then, the character recognition unit 101 determines whether or not the specified braille target character string is the same as the previously specified braille target character string.
  • the character recognition unit 101 repeats the above-described processing from the beginning again. That is, the character recognizing unit 101 specifies a character string in a new captured image and starts processing for acquiring information such as the position Pr.
  • the braille target character string is displayed over the entire width of the captured image 50, the braille target character string is partially changed even if it is moved by one character. Therefore, in this case, the character recognition unit 101 considers that the braille target character string has changed.
  • the braille conversion unit 102 determines the position Pr (hereinafter referred to as “position Pr1”) of the braille target character string of the previous captured image and the braille target character string of the new captured image.
  • the deviation (hereinafter referred to as “movement width”) of the position Pr (hereinafter referred to as “position Pr2”) is calculated.
  • the “previous captured image” refers to a captured image corresponding to the current braille display.
  • the Braille conversion unit 102 shifts the Braille display based on the average character width Wr and the Braille cell number Ns according to the movement width.
  • FIG. Fig.15 (a) is an example of the figure which shows the positional relationship of the character string before and behind a movement.
  • the character string before movement is represented by white characters
  • the character string after movement is represented by bold characters.
  • the movement width in the horizontal axis direction is represented as “dx”
  • the movement width in the vertical axis direction is represented as “dy”.
  • the Braille conversion unit 102 calculates the movement width dx and the movement width dy based on the position Pr1 and the position Pr2. Then, the Braille conversion unit 102 multiplies the average character width Wr by a value (Nr / Ns) obtained by dividing the moving width dx and the number of characters Nr by the number of Braille cells Ns (hereinafter referred to as “average cell”). Width Ws "). That is, the average cell width Ws satisfies the following formula (2).
  • the display control unit 103 shifts the braille display by one unit braille display unit 22. It slides in the direction (in the case of FIG. 15A, the right direction) and is displayed.
  • the predetermined difference is determined in advance based on, for example, experiments. That is, for example, when the braille display is slid to the right by one unit braille display unit 22, the display control unit 103 displays the braille displays of the unit braille display units 22A to 22E by the unit braille display units 22B to 22F, respectively.
  • the unit braille display 22A displays braille corresponding to the new character.
  • the display control part 103 can display the braille of a braille object character string at an average space
  • the display control unit 103 guides the user's operation with the second pin as shown in FIG. 8C or FIG. 9A, for example.
  • the moving width dx is smaller than the average cell width Ws, the braille display is not changed (does not slide), the moving width dx is added to the next moving width dx, and the next moving width dx is finally slid on the braille display. After that, make the movement width.
  • FIG. 15B is an example of a diagram showing the positional relationship between the braille target character strings before and after movement.
  • the braille target character string before movement is represented by white characters
  • the braille target character string after movement is represented by bold characters.
  • the movement width in the horizontal axis direction of the leading character in the braille target character string before and after the movement is expressed as “dx1”, and the horizontal axis of the partially matched character string “technical stand”
  • the movement width in the direction is expressed as “dx2”
  • the movement width in the vertical axis direction is expressed as “dy”.
  • the character recognition unit 101 calculates movement widths dx1, dx2, and dy, respectively.
  • the Braille conversion unit 102 calculates a value (dx2 / Ws) obtained by dividing the movement width dx2 by the average cell width Ws.
  • the display control unit 103 slides the braille display in a direction shifted by the number of unit braille display units 22 corresponding to the above-described value (dx2 / Ws) (rightward in the case of FIG. 15B). Redisplay. Thereby, even in this case, the display control unit 103 can display the Braille of the Braille target character string at an average interval.
  • the Braille conversion unit 102 may round up to an integer value when rounding or other predetermined cases.
  • the display control unit 103 guides the user's operation with the second pin as shown in FIG. 8C or FIG. 9A, for example. .
  • the predetermined value described above is set in advance by experiments or the like. Further, the display control unit 103 grasps the position of the character currently displayed in Braille among the Braille target character strings based on the movement width dx1, and displays the appropriateness of the positional relationship as shown in FIG. 6B, for example. .
  • the character recognition unit 101 re-executes all processes from the process of specifying the braille target character string.
  • FIG. 16 is a flowchart of the braille conversion process.
  • the user places the handheld Braille conversion device 1 on a printed matter or the like on which characters to be displayed in Braille are present, and turns on the switch of the Braille conversion processing (Step S1).
  • the camera 15 captures a predetermined range around the handheld Braille conversion device 1 (step S2), and transmits the captured image to the character recognition unit 101.
  • the character recognition unit 101 determines whether or not a character exists in the received captured image (step S3). If there is a character in the captured image (step S3; Yes), the display control unit 103 displays the positional relationship suitability by the second pin (step S4). For example, the display control unit 103 notifies the user of the initial direction by performing a positional relationship suitability display as shown in FIG. In another example, when the character string is vertically written, the display control unit 103 displays the appropriateness of the positional relationship shown in FIG. 9B to notify the user that the character string is vertically written. Further, when the character string is deviated, the display control unit 103 displays the appropriateness of the positional relationship as shown in FIG. 6C and notifies the user of the deviating direction.
  • step S3 when there is no character in the captured image (step S3; No), the display control unit 103 clears all the braille display and the positional relationship suitability display (step S5). That is, the display control unit 103 controls the first pin and the second pin so as to be in the state shown in FIG.
  • the character recognition unit 101 specifies a braille target character string (step S5). Specifically, the character recognition unit 101 identifies a character string located at the center of the captured image from a plurality of character strings in the captured image as a braille target character string.
  • the braille conversion unit 102 calculates the average character width Wr and the number of braille cells Ns of the braille target character string (step S7). Specifically, the Braille conversion unit 102 calculates the average character width Wr based on Expression (1). Further, as shown in FIG. 13, the Braille conversion unit 102 calculates the necessary number of Braille cells Ns after converting the kanji of the Braille target character string into kana.
  • the display control unit 103 performs braille display for 6 cells before and after the central character (step S8).
  • the central character indicates the character in the braille target character string that is closest to the center of the captured image.
  • the character recognition unit 101 determines whether or not the apparatus has moved based on the change in the captured image (step S9). Then, when the apparatus has moved (step S9; Yes), the display control unit 103 executes the process of step S10. Specifically, when the braille target character strings are identical or partially coincident before and after the movement, the Braille conversion unit 102 calculates the movement width on the horizontal axis and calculates the average character width as shown in Expression (2). An average cell width Ws is calculated based on Wr and the number of braille cells Ns. And the display control part 103 specifies the number of the unit braille display parts 22 which should be slid based on the said movement width and the average cell width Ws, and displays braille again.
  • the display control part 103 can display the braille of a braille object character string at an average space
  • the handheld Braille conversion device 1 re-executes the processes of steps S4 to S8.
  • step S9 when the apparatus is not moving (step S9; No), the display control unit 103 continues the display (step S11).
  • step S12 determines whether or not the switch is turned off.
  • step S12 determines whether or not the switch is turned off.
  • the switch is not OFF (step S12; No)
  • the process returns to step S2 and repeats steps S2 to S11. If the switch is turned off (step S12; Yes), the process is terminated.
  • the display control unit 103 may quickly vibrate up and down when raising the second pin. Thereby, the display control unit 103 can prevent the user from confusion between the braille display by the first pin and the positional relationship suitability display by the second pin.
  • the first braille module 10x and the second braille module 10y each include four unit braille display sections 22, but the present invention is not limited to this. Specifically, the number is most easily recognized by the fingertip for the user. Even in this case, the display control unit 103 uses any two unit braille display units 22 as the second pins.
  • one unit Braille display unit 22 is composed of a total of eight movable pins 21 with two columns and four rows. However, the present invention is not limited to this. It may be configured by a single movable pin 21.
  • the characters of the printed matter are converted to Braille, but the present invention is not limited to this. Even if it is not a printed character, it can be converted to Braille if it can be photographed by the camera.
  • the display control unit 103 is basically positioned in the direction in which the user wants to correct the moving direction with respect to the finger placed on the handheld Braille conversion device 1. While raising 2 pins, the 2nd pin located in the other direction was lowered. However, the method to which the present invention is applicable is not limited to this. Instead of this, the display control unit 103 may cause the second pin to function as an obstacle. That is, in principle, the display control unit 103 lowers the second pin located in the direction in which the user wants to correct the moving direction with respect to the finger placed on the handheld Braille conversion device 1 and is located in the other direction. The second pin may be raised. Also by this, the handheld Braille conversion device 1 can appropriately guide the user's operation. In another example, the display control unit 103 may vibrate these instead of raising and lowering the first pin and the second pin.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Character Input (AREA)
  • Character Discrimination (AREA)

Abstract

　ハンドヘルド点字変換装置は、点字表示部と、撮像手段と、文字認識手段と、点字変換手段と、表示制御手段と、を備え、文字の読み取りから点字の出力までを一台で完結する。また、上記のハンドヘルド点字変換装置は、片手で持てるぐらいのサイズである。点字表示部は、各々が１つの点字に対応する複数の単位点字表示部を有し、当該単位点字表示部は、複数の可動式の部材を有する。そして、表示制御手段は、単位点字表示部のうち一部の単位点字表示部が有する部材を動作させることにより撮影画像に存在する文字又は文字列に対するハンドヘルド点字変換装置の位置関係の適否を表示する。また、表示制御手段は、他の単位点字表示部が有する部材を動作させることにより点字を表示する。

Description

ハンドヘルド点字変換装置、点字変換方法、点字変換プログラム及び記憶媒体
　本発明は、文字を点字変換する手法に関する。
　視覚障害者用の文字閲覧装置としては、一列分の文字の電子データを点字に変換し表示する点字表示装置が知られている。
　特許文献１は、コンピュータ内のテキストデータを点字変換して表示する電子データ表示システムを記載している。
特表２００３－５０２６９９号公報
　しかし、上記の点字表示装置は、印刷物の文字などをその場で簡単に点字に変換することができないなどの問題点があった。
　本発明が解決しようとする課題としては、上記のようなものが例として挙げられる。本発明は、ユーザが携帯し易く、印刷物の文字などをその場で簡単に点字変換することができる点字変換装置を提供することを課題とする。
　請求項１に記載の発明は、ユーザが片手で保持した状態で移動させることが可能なハンドヘルド点字変換装置であって、前記ハンドヘルド点字変換装置を保持している手の少なくとも一本の指が接触可能な位置に配置され、点字を表示する点字表示部と、前記ハンドヘルド点字変換装置周辺の所定範囲を撮影する撮影手段と、前記撮影手段の撮影画像に存在する文字の有無を検知し、存在する文字を認識する文字認識手段と、前記文字認識手段が認識した文字の一部又は全部を点字に変換する点字変換手段と、前記点字変換手段が変換した点字を前記点字表示部に表示させる表示制御手段と、を備え、前記点字表示部は、各々が１つの点字に対応する複数の単位点字表示部を有し、前記単位点字表示部は、複数の可動式の部材を有し、前記表示制御手段は、前記単位点字表示部のうち一部の単位点字表示部が有する部材を動作させることにより前記撮影画像に存在する文字又は文字列に対する前記ハンドヘルド点字変換装置の位置関係の適否を表示すると共に、前記一部の単位点字表示部以外の単位点字表示部が有する部材を動作させることにより点字を表示することを特徴とする。
　請求項９に記載の発明は、ユーザが片手で保持した状態で移動させることが可能であり、保持している手の少なくとも一本の指が接触可能な位置に配置されて点字を表示する点字表示部を備えるハンドヘルド点字変換装置が実行する点字変換方法であって、前記ハンドヘルド点字変換装置周辺の所定範囲を撮影する撮影工程と、前記撮影工程の撮影画像に存在する文字の有無を検知し、存在する文字を認識する文字認識工程と、前記文字認識工程が認識した文字の一部又は全部を点字に変換する点字変換工程と、前記点字変換工程が変換した点字を前記点字表示部に表示させる表示制御工程と、を備え、前記点字表示部は、各々が１つの点字に対応する複数の単位点字表示部を有し、前記単位点字表示部は、複数の可動式の部材を有し、前記表示制御工程は、前記単位点字表示部のうち一部の単位点字表示部が有する部材を動作させることにより前記撮影画像に存在する文字又は文字列に対する前記ハンドヘルド点字変換装置の位置関係の適否を表示すると共に、前記一部の単位点字表示部以外の単位点字表示部が有する部材を動作させることにより点字を表示することを特徴とする。
　請求項１０に記載の発明は、ユーザが片手で保持した状態で移動させることが可能であり、保持している手の少なくとも一本の指が接触可能な位置に配置されて点字を表示する点字表示部を備えるハンドヘルド点字変換装置により実行される点字変換プログラムであって、前記ハンドヘルド点字変換装置周辺の所定範囲を撮影する撮影手段と、前記撮影手段の撮影画像に存在する文字の有無を検知し、存在する文字を認識する文字認識手段と、前記文字認識手段が認識した文字の一部又は全部を点字に変換する点字変換手段と、前記点字変換手段が変換した点字を前記点字表示部に表示させる表示制御手段、として前記ハンドヘルド点字変換装置を機能させ、前記点字表示部は、各々が１つの点字に対応する複数の単位点字表示部を有し、前記単位点字表示部は、複数の可動式の部材を有し、前記表示制御手段は、前記単位点字表示部のうち一部の単位点字表示部が有する部材を動作させることにより前記撮影画像に存在する文字又は文字列に対する前記ハンドヘルド点字変換装置の位置関係の適否を表示すると共に、前記一部の単位点字表示部以外の単位点字表示部が有する部材を動作させることにより点字を表示することを特徴とする。
ハンドヘルド点字変換装置の構成を示すブロック図の一例である。 ハンドヘルド点字変換装置の構造を示すブロック図の一例である。 ハンドヘルド点字変換装置の機能構成を示すブロック図の一例である。 点字表示部の平面図の一例である。 点字表示及び位置関係適否表示の例を示す。 点字表示及び位置関係適否表示の例を示す。 点字表示及び位置関係適否表示の例を示す。 点字表示及び位置関係適否表示の例を示す。 点字表示及び位置関係適否表示の例を示す。 点字表示及び位置関係適否表示の例を示す。 撮像画像中の各文字列の横軸方向の境界を示した図の一例である。 撮像画像中の各文字列の範囲を示した図の一例である。 点字セル数Ｎｓの算出方法の一例である。 点字対象文字列の位置及び使用する単位点字表示部を示した図の一例である。 移動前後の点字対象文字列の位置関係を示す図の一例である。 本実施例の処理手順を示すフローチャートの一例である。
　本発明の１つの観点では、ユーザが片手で保持した状態で移動させることが可能なハンドヘルド点字変換装置であって、前記ハンドヘルド点字変換装置を保持している手の少なくとも一本の指が接触可能な位置に配置され、点字を表示する点字表示部と、前記ハンドヘルド点字変換装置周辺の所定範囲を撮影する撮影手段と、前記撮影手段の撮影画像に存在する文字の有無を検知し、存在する文字を認識する文字認識手段と、前記文字認識手段が認識した文字の一部又は全部を点字に変換する点字変換手段と、前記点字変換手段が変換した点字を前記点字表示部に表示させる表示制御手段と、を備え、前記点字表示部は、各々が１つの点字に対応する複数の単位点字表示部を有し、前記単位点字表示部は、複数の可動式の部材を有し、前記表示制御手段は、前記単位点字表示部のうち一部の単位点字表示部が有する部材を動作させることにより前記撮影画像に存在する文字又は文字列に対する前記ハンドヘルド点字変換装置の位置関係の適否を表示すると共に、前記一部の単位点字表示部以外の単位点字表示部が有する部材を動作させることにより点字を表示する。
　上記のハンドヘルド点字変換装置は、点字表示部と、撮像手段と、文字認識手段と、点字変換手段と、表示制御手段と、を備え、文字の読み取りから点字の出力までを一台で完結する。また、上記のハンドヘルド点字変換装置は、片手で持てるぐらいのサイズである。これにより、ユーザが携帯し易く、身近にある文字をその場で簡単に点字変換することができる点字変換装置を提供することが可能となる。また、点字表示部は、各々が１つの点字に対応する複数の単位点字表示部を有し、当該単位点字表示部は、複数の可動式の部材を有する。ここで、部材とは、ピンまたは球などの部材である。そして、表示制御手段は、単位点字表示部のうち一部の単位点字表示部が有する部材を動作させることにより撮影画像に存在する文字又は文字列に対するハンドヘルド点字変換装置の位置関係の適否を表示する。また、表示制御手段は、他の単位点字表示部が有する部材を動作させることにより点字を表示する。このように、ハンドヘルド点字変換装置は、単位点字表示部を複数組み合わせることで、点字を表示すると共に利用者の操作を誘導することができる。従って、ハンドヘルド点字変換装置の製作コストの抑制、軽量化、小型化等を実現することができる。
　上記のハンドヘルド点字変換装置の一態様では、前記単位点字表示部は並べて設置され、表示制御部は、前記単位点字表示部のうち両端に位置する単位点字表示部が有する部材を動作させることにより、前記撮影画像に存在する文字又は文字列に対する前記ハンドヘルド点字変換装置の位置関係の適否を表示する。このように、ハンドヘルド点字変換装置は、両端の単位点字表示部により位置関係の適否を表示することで、誘導したい方向を利用者に明確に伝達することが可能となる。
　上記のハンドヘルド点字変換装置の他の一態様では、前記表示制御手段は、前記一部の単位点字表示部が有する部材を動作させることにより、前記ハンドヘルド点字変換装置の位置が前記撮影画像に存在する文字又は文字列に対していずれの方向にずれているかを示す。この態様では、ハンドヘルド点字変換装置が文字を適正に読み取れなかった場合、ユーザは、所定の部材の動作を指で確認することで、文字又は文字列に対してハンドヘルド点字変換装置の位置がずれている方向を知ることができる。
　上記のハンドヘルド点字変換装置の他の一態様では、前記表示制御手段は、前記一部の単位点字表示部が有する部材を動作させることにより、前記撮影画像に存在する文字の有無を示す。この態様では、ユーザは、所定の部材の動作を指で確認することで、撮影画像に文字が存在するか否かを知ることができる。また、ユーザは、撮影画像に文字が存在するにも関わらず点字が表示されていなければ、文字認識できなかった又は点字変換できなかったことを知ることができる。
　上記のハンドヘルド点字変換装置の他の一態様では、前記表示制御手段は、前記一部の単位点字表示部が有する部材を動作させることにより、前記撮影画像に存在する文字列が横書きであるか縦書きであるかを示す。この態様では、ユーザは、所定の部材の動作を指で確認することで、撮影画像に存在する文字列が横書きであるか縦書きであるかを判断して適切な方向にハンドヘルド点字変換装置を移動させることができる。
　上記のハンドヘルド点字変換装置の他の一態様では、前記表示制御手段は、前記一部の単位点字表示部が有する部材を動作させることにより、前記撮影画像に存在する文字列の頭文字の方向を示す。ここで、「頭文字」とは、撮影画像中に表示された１又は複数の文字列のうち、利用者が最初に読むべき文字を指す。この態様では、ユーザは、所定の部材の動作を指で確認することで、撮影画像中に存在する文字列の頭文字の方向にハンドヘルド点字変換装置を移動させることができる。
　上記のハンドヘルド点字変換装置の他の一態様では、前記表示制御手段は、前記一部の単位点字表示部が有する部材を昇降させて凸形状を形成したりしなかったりする動作を振動させて行うことにより前記位置関係の適否を表示すると共に、前記一部の単位点字表示部以外の単位点字表示部が有する部材を昇降させて凸形状を形成したりしなかったりすることで点字を表示する。この態様では、ユーザは、点字表示部のうち、位置関係の適否を表示する部分と点字を表示する部分とを判然と区別して認識することができる。
　上記のハンドヘルド点字変換装置の他の一態様では、前記点字変換手段は、点字表示の対象となる文字列を構成する各文字の平均文字幅を算出すると共に、当該文字列に相当する点字の数を算出し、前記表示制御手段は、前記ハンドヘルド点字変換装置の移動した場合、前記平均文字幅と前記点字の数とに基づき、点字の表示を変更する。この態様では、表示制御手段は、文字の平均文字幅と文字列全体に相当する点字の数とを考慮して点字を再表示する。ここで、「点字の数」とは、１の単位点字表示部により文字列全体の点字を表示する場合に必要な点字の表示の回数を指す。このようにすることで、ハンドヘルド点字変換装置は、１文字で２以上の点字を要する漢字等の文字が文字列に含まれている場合であっても、当該文字列を移動して読み取る間、当該文字列の点字を平均的な間隔で表示することができる。
　本発明の別の観点では、ユーザが片手で保持した状態で移動させることが可能であり、保持している手の少なくとも一本の指が接触可能な位置に配置されて点字を表示する点字表示部を備えるハンドヘルド点字変換装置が実行する点字変換方法であって、前記ハンドヘルド点字変換装置周辺の所定範囲を撮影する撮影工程と、前記撮影工程の撮影画像に存在する文字の有無を検知し、存在する文字を認識する文字認識工程と、前記文字認識工程が認識した文字の一部又は全部を点字に変換する点字変換工程と、前記点字変換工程が変換した点字を前記点字表示部に表示させる表示制御工程と、を備え、前記点字表示部は、各々が１つの点字に対応する複数の単位点字表示部を有し、前記単位点字表示部は、複数の可動式の部材を有し、前記表示制御工程は、前記単位点字表示部のうち一部の単位点字表示部が有する部材を動作させることにより前記撮影画像に存在する文字又は文字列に対する前記ハンドヘルド点字変換装置の位置関係の適否を表示すると共に、前記一部の単位点字表示部以外の単位点字表示部が有する部材を動作させることにより点字を表示する。ハンドヘルド点字変換装置は、この方法を用いることで、ユーザの身近にある文字をその場で点字変換することができる。
　本発明のさらに別の観点では、ユーザが片手で保持した状態で移動させることが可能であり、保持している手の少なくとも一本の指が接触可能な位置に配置されて点字を表示する点字表示部を備えるハンドヘルド点字変換装置により実行される点字変換プログラムであって、前記ハンドヘルド点字変換装置周辺の所定範囲を撮影する撮影手段と、前記撮影手段の撮影画像に存在する文字の有無を検知し、存在する文字を認識する文字認識手段と、前記文字認識手段が認識した文字の一部又は全部を点字に変換する点字変換手段と、前記点字変換手段が変換した点字を前記点字表示部に表示させる表示制御手段、として前記ハンドヘルド点字変換装置を機能させ、前記点字表示部は、各々が１つの点字に対応する複数の単位点字表示部を有し、前記単位点字表示部は、複数の可動式の部材を有し、前記表示制御手段は、前記単位点字表示部のうち一部の単位点字表示部が有する部材を動作させることにより前記撮影画像に存在する文字又は文字列に対する前記ハンドヘルド点字変換装置の位置関係の適否を表示すると共に、前記一部の単位点字表示部以外の単位点字表示部が有する部材を動作させることにより点字を表示する。ハンドヘルド点字変換装置は、この点字変換プログラムを実行することで、ユーザの身近にある文字をその場で点字変換することができる。好適な例では、点字変換プログラムは、記憶媒体に記憶される。
　以下、図面を参照して本発明の好適な実施例について説明する。
　［構成］
　まず、本発明の本実施例に係るハンドヘルド点字変換装置１の構成について図１乃至図４を用いて説明する。
　（ハードウェア構成）
　図１は、本発明の本実施例に係るハンドヘルド点字変換装置１を模式的に表した図である。図示のように、ハンドヘルド点字変換装置１は、点字表示部１０、ＣＰＵ１１、ＲＡＭ１２、ＲＯＭ１３、電源１４、カメラ１５、レンズ１６、照明用ＬＥＤ１７を備える。
　点字表示部１０は、図示のように複数の可動式ピン２１を備え、これを昇降させて凸形状を形成することにより点字を表示する。可動式ピン２１の配置などの詳細については後述する。
　カメラ１５は、ユーザが印刷物の上にハンドヘルド点字変換装置１を置くことにより、ハンドヘルド点字変換装置１の周辺の所定範囲を撮影し、撮影画像をＣＰＵ１１に送信する。カメラ１５は、たとえば、ＣＣＤカメラとすることができる。
　ＣＰＵ１１は、予めＲＡＭ１２又はＲＯＭ１３に記憶されたプログラムを実行することにより、カメラ１５から取得した撮影画像に対し、文字の有無を検知し、文字が有る場合はＯＣＲ（Ｏｐｔｉｃａｌ　Ｃｈａｒａｃｔｅｒ　Ｒｅｃｏｇｎｉｔｉｏｎ；光学文字認識）処理を実行することで、文字の認識を行う。ＣＰＵ１１は、ＲＡＭ１２及びＲＯＭ１３といったメモリに記憶された漢字と読みとを対応つけた辞書情報と、読みと点字、又は、文字と点字とを対応付けた点字定義情報とを参照し、認識した文字を点字に変換する。そして、ＣＰＵ１１は、変換した点字を点字表示部１０に表示させる。
　電源１４は、ハンドヘルド点字変換装置１に電力を供給する。レンズ１６は、カメラのレンズであり、照明用ＬＥＤ１７は、カメラ１５が文字を撮影する際に必要な光源である。
　図２は、本発明の本実施例に係るハンドヘルド点字変換装置１の構造を示す。図２（ａ）はハンドヘルド点字変換装置１の内部構造を示す側面透視図であり、図２（ｂ）はハンドヘルド点字変換装置１の内部構造を破線で表示した俯瞰図である。ハンドヘルド点字変換装置１は、ユーザが片手で保持した状態で移動させることが可能なハンドヘルド型装置であり、内部に点字表示部１０、電源１４、カメラ１５、レンズ１６、照明用ＬＥＤ１７、システムコントローラ１９、を備える。カメラ１５とシステムコントローラ１９、システムコントローラ１９と点字表示部１０、システムコントローラ１９と電源１４はそれぞれ配線により電気的に接続されている。
　点字表示部１０は、ユーザが片手の親指及び小指でこのハンドヘルド点字変換装置１を保持した状態で人差し指、中指及び薬指の少なくともいずれかの指で点字表示部１０に接触可能な位置に配置されている。
　カメラ１５、レンズ１６及び照明用ＬＥＤ１７は、点字表示部１０の直下周辺に配置されている。本実施例では、点字表示部１０の直下部分とこの部分から所定距離以内の部分を直下周辺とする。所定距離とは、例えば３ｃｍである。
　システムコントローラ１９は、ＣＰＵ１１、ＲＡＭ１２及びＲＯＭ１３を含んでおり、ハンドヘルド点字変換装置１全体の制御を行う。電源１４は、例えば電池などで構成され、システムコントローラ１９に電力を供給し、システムコントローラ１９を介し、各部品に電力を供給する。なお、電源１４が、システムコントローラ１９を介さず、各部品に直接電力を供給するようにしてもよい。
　（機能構成）
　図３は、本実施例のハンドヘルド点字変換装置１の機能構成を示すブロック図の一例である。これらの機能は、図１に示す構成要素により実現される。
　ハンドヘルド点字変換装置１は、上述したように、カメラ１５と、ＣＰＵ１１と、ＲＯＭ１３と、点字表示部１０とを備える。ＣＰＵ１１は、予め用意されたプログラムを実行することにより、文字認識部１０１、点字変換部１０２及び表示制御部１０３として機能する。ＲＯＭ１３は、辞書情報及び点字定義情報を記憶している。なお、辞書情報及び点字定義情報の一部はＲＡＭ１２に記憶されていてもよい。
　カメラ１５は、ハンドヘルド点字変換装置１の周辺の所定範囲を撮影し、撮影画像をＣＰＵ１１に送信する。カメラ１５は、本発明における撮影手段として機能する。
　文字認識部１０１は、カメラ１５から受信した撮影画像に対し、文字の有無を検知し、文字が有る場合はＯＣＲ処理を実行することで、文字の認識を行う。また、文字認識部１０１は、撮影画像を縦軸及び横軸による２次元座標平面とした場合における認識した文字列の相対的な位置（以後、単に「位置Ｐｒ」と呼ぶ。）、及び当該文字列に沿った直線が２次元座標の横軸に対してなす角度（以後、単に「角度Θｒ」と呼ぶ。）、及び当該文字列の長さ（以後、単に「文字列長Ｌｒ」と呼ぶ。）の情報を取得する。
　点字変換部１０２は、文字認識部１０１が認識した文字が漢字である場合は、まず、漢字と読みとを対応付けた辞書情報に基づいて漢字を読みに変換し、次に、読みと点字とを対応付けた点字定義情報に基づいて読みを点字に変換する。点字変換部１０２は、文字認識部１０１が認識した文字がひらがな、カタカナ、数字及びアルファベットである場合は、これらと点字とを対応付けた点字定義情報に基づいて点字に変換する。なお、点字変換部１０２は、検知した文字全てを点字に変換するようにしてもよく、一部（例えば、点字表示部１０で表示可能な文字数）のみを点字に変換するようにしてもよい。そして、点字変換部１０２は、変換した点字の情報（以下、「点字情報」という。）を、表示制御部１０３に供給する。
　表示制御部１０３は、点字変換部１０２が変換した点字を点字表示部１０に表示させる。さらに、表示制御部１０３は、ハンドヘルド点字変換装置１の現在の位置が適切か否か知らせると共に、必要に応じて移動方向を適切な方向に誘導するための表示（以後、「位置関係適否表示」とよぶ。）を、点字表示部１０に表示させる。以後では、表示制御部１０３が可動式ピン２１を昇らせて凸形状を形成することを、「可動式ピン２１を立たせる」とも表現する。
　点字表示部１０は、上述したように、可動式ピン２１を昇降させて凸形状を形成することにより点字表示や位置関係適否表示などを行う。
　（点字変換部の構成）
　次に、点字表示部１０の構成について図４を用いて説明する。図４は、点字表示部１０の平面図を示す。
　点字表示部１０は、第１点字モジュール１０ｘと、第２点字モジュール１０ｙと、を備える。第１点字モジュール１０ｘと第２点字モジュール１０ｙとは、それぞれ可動式ピン２１を３２個備える。即ち、点字表示部１０は、第１点字モジュール１０ｘと第２点字モジュール１０ｙとが連続的に並べられることで、計６４個の可動式ピン２１が配置される。
　可動式ピン２１は２列４行の計８個で１つの単位点字表示部２２を構成する。従って、点字表示部１０は、合計８つの単位点字表示部２２Ｌ、２２Ａ乃至２２Ｆ、２２Ｒが横並びに配置されている。
　このうち、単位点字表示部２２Ａ乃至２２Ｆは、点字を表示する部分に相当する。具体的には、単位点字表示部２２Ａ乃至２２Ｆは、各々が８個の可動式ピン２１を昇降し、凸形状を形成することにより点字を表示する。そして、単位点字表示部２２Ａ乃至２２Ｆは、１つ又は２つで１文字を表す。以後では、単位点字表示部２２Ａ乃至２２Ｆに配置された可動式ピン２１を、「第１ピン」と称す。
　一方、単位点字表示部２２Ｌ、２２Ｒは、可動式ピン２１の全部または一部を突出させることで、文字の有無の表示又は位置関係適否表示を行う。これにより、単位点字表示部２２Ｌ、２２Ｒは、読み取る対象となる文字列をカメラ１５により適切に撮像させ、利用者によるハンドヘルド点字変換装置１の移動操作の誘導を行う。以後では、単位点字表示部２２Ｌ、２２Ｒに配置された可動式ピン２１を、「第２ピン」と呼ぶ。
　［第２ピンの動作制御］
　次に、表示制御部１０３が実行する第２ピンの制御方法について説明する。概略的には、表示制御部１０３は、第２ピンを立たせることで、ハンドヘルド点字変換装置１の移動方向（以後、単に「移動方向」と呼ぶ。）を誘導する。具体的には、表示制御部１０３は、原則的に、利用者がハンドヘルド点字変換装置１に置いた指に対して、移動方向を修正したい方向に位置する第２ピンを立たせると共に、他の方向に位置する第２ピンを下げる。なお、この際、読み取りの対象となる文字列の方向は変わらないものとする。つまり、利用者は、読み取りの対象となる文字列が記載された書類などの方向は変えず、ハンドヘルド点字変換装置１の移動方向を修正する。
　以後、この具体例について、図５乃至図１０を参照しつつ、１５のパターン（具体例１乃至具体例１５）に場合分けしてそれぞれ説明する。
　なお、図５乃至図１０では、突出していないピンを「○」で表し、突出しているピンを「○の中に×」で表す。また、図中の四角枠８０は、点字変換される文字又は文字列（「点字対象文字」と呼ぶ。）の範囲を示す。以後では、「横軸方向」とは、四角枠８０の長辺方向を指し、図１２で後述する撮像画像のｘ座標を定める横軸方向と一致する。また、単位点字表示部２２Ｌ、２２Ｒの２列４行に配置された各可動式ピン２１を、図面上の左から順に列番号を付すと共に、上から順に行番号を付して特定する。
　１．点字対象文字がない場合
　図５（ａ）は、点字対象文字がない場合の可動式ピン２１の状態を示す。図５（ａ）に示すように、この場合、表示制御部１０３は、全ての第２ピンを立たせない。
　２．点字対象文字はあるが、認識不可能な文字である場合
　図５（ｂ）は、点字対象文字が点字定義情報にない場合の可動式ピン２１の状態を示す。図５（ｂ）に示すように、表示制御部１０３は、この場合、単位点字表示部２２Ｌの四隅に相当する第１行目及び第４行目の第２ピンを立たせると共に、単位点字表示部２２Ｒの四隅に相当する第１行目及び第４行目の第２ピンを立たせる。
　３．点字対象文字があり、かつ、認識可能な文字である場合
　図５（ｃ）は、点字対象文字が点字定義情報にあり、点字表示可能な場合の可動式ピン２１の状態を示す。図５（ｃ）に示すように、この場合、表示制御部１０３は、点字対象文字「パイオニア」を、点字変換部１０２から供給された点字情報に基づき、単位点字表示部２２Ａ乃至２２Ｆが備える第１ピンで点字表示する。具体的には、表示制御部１０３は、点字対象文字の各文字の位置に従い、「パ」を単位点字表示部２２Ａ、２２Ｂで点字表示し、「イ」を単位点字表示部２２Ｃで点字表示し、「オ」を単位点字表示部２２Ｄで点字表示し、「ニ」を単位点字表示部２２Ｅで点字表示し、「ア」を単位点字表示部２２Ｆでそれぞれ点字表示する。
　また、表示制御部１０３は、単位点字表示部２２Ｌの四隅に相当する第１行目及び第４行目の第２ピンを立たせると共に、単位点字表示部２２Ｒの四隅に相当する第１行目及び第４行目の第２ピンを立たせる。
　４．点字対象文字があり、かつ、点字対象文字が行の最後に相当する場合
　図６（ａ）は、点字対象文字が行の最後に相当する場合の可動式ピン２１の状態を示す。図６（ａ）に示すように、この場合、表示制御部１０３は、点字対象文字である「イオニア」をそれぞれ単位点字表示部２２Ａ乃至２２Ｄの第１ピンで点字表示している。また、表示制御部１０３は、単位点字表示部２２Ｌ、２２Ｒの第２ピンのうち、単位点字表示部２２Ｌの四隅の第２ピンのみを立たせることで、点字対象文字が行の最後であることを利用者に知らせる。
　５．点字対象文字があり、かつ、点字対象文字が行の最初（最先端）に相当する場合
　図６（ｂ）は、点字対象文字が行の最先端に相当する場合の可動式ピン２１の状態を示す。図６（ｂ）に示すように、この場合、表示制御部１０３は、点字対象文字「パイオ」を、その位置に従い、単位点字表示部２２Ｃ乃至２２Ｆが備える第１ピンで点字表示する。また、表示制御部１０３は、単位点字表示部２２Ｌ、２２Ｒが備える第２ピンのうち、単位点字表示部２２Ｒの四隅の第２ピンのみを立たせることで、点字対象文字が行の最先端であることを利用者に知らせる。
　６．点字対象文字があり、かつ、反時計回りに角度の調整が必要な場合
　図６（ｃ）は、撮像画像の横軸方向が、点字対象文字の文字列の方向に対して時計回りに所定角度（以後、「角度Θｔｈ」と呼ぶ。）以上ずれていることにより、点字表示ができない場合の可動式ピン２１の状態を示す。ここで、角度Θｔｈとは、例えば２０°であり、文字認識部１０１が点字対象文字を正確に認識することができない角度を指す。この場合、表示制御部１０３は、全ての可動式ピン２１のうち、単位点字表示部２２Ｌの第４行目の２つの第２ピンを立たせると共に、単位点字表示部２２Ｒの第１行目の２つの第２ピンを立たせる。即ち、表示制御部１０３は、単位点字表示部２２Ｌの下側の第２ピンを立たせることにより、ハンドヘルド点字変換装置１の左側は下方へ修正が必要であることを示し、単位点字表示部２２Ｒの上側の第２ピンを立たせることにより、ハンドヘルド点字変換装置１の右側は上方へ修正が必要であることを示す。これにより、表示制御部１０３は、文字列に合わせてハンドヘルド点字変換装置１の移動方向を反時計回りに回転させるように利用者の操作を誘導する。これに応じて、利用者はハンドヘルド点字変換装置１の左側を下方へ、右側を上方へ移動させ、その結果、ハンドヘルド点字変換装置１の移動方向を反時計回りに修正することになる。
　７．点字対象文字があり、かつ、時計回りに角度の調整が必要な場合
　図７（ａ）は、撮像画像の横軸方向が、点字対象文字の文字列の方向に対して角度Θｔｈ以上反時計回りにずれていることにより、点字表示ができない場合の可動式ピン２１の状態を示す。この場合、表示制御部１０３は、全ての可動式ピン２１のうち、単位点字表示部２２Ｌの第１行目の２つの第２ピンを立たせると共に、単位点字表示部２２Ｒの第４行目の２つの第２ピンを立たせる。即ち、表示制御部１０３は、単位点字表示部２２Ｌの上側の第２ピンを立たせることにより、ハンドヘルド点字変換装置１の左側は上方へ修正が必要であることを示し、単位点字表示部２２Ｒの下側の第２ピンを立たせることにより、ハンドヘルド点字変換装置１の右側は下方へ修正が必要であることを示す。これにより、表示制御部１０３は、文字列に合わせてハンドヘルド点字変換装置１を時計回りに回転させるように利用者の操作を誘導する。これに応じて、利用者はハンドヘルド点字変換装置１の左側を上方へ、右側を下方へ移動させ、その結果、ハンドヘルド点字変換装置１の移動方向を時計回りに修正することになる。
　８．点字対象文字があり、かつ、装置の左側を上方にずらす必要がある場合
　図７（ｂ）は、撮像画像の横軸方向が、点字対象文字の文字列の方向に対して角度Θｔｈ以内の範囲で反時計回りにずれていることにより、ハンドヘルド点字変換装置１の左側を上方にずらす必要がある場合の可動式ピン２１の状態を示す。なお、文字認識部１０１は、全ての点字対象文字を正しく認識したとする。
　この場合、表示制御部１０３は、単位点字表示部２２Ａ乃至２２Ｆが備える第１ピンにより点字対象文字を点字表示する。また、表示制御部１０３は、単位点字表示部２２Ｌの第２ピンのうち第１行目の２つの第２ピンを立たせると共に、単位点字表示部２２Ｒの第２ピンのうち第１行目及び第４行目の計４つの第２ピンを立たせる。即ち、表示制御部１０３は、単位点字表示部２２Ｌの上側の第２ピンを立たせることにより、ハンドヘルド点字変換装置１の左側は上方へ修正が必要であることを示す一方、単位点字表示部２２Ｒの上側及び下側の第２ピンを立たせることにより、ハンドヘルド点字変換装置１の右側は修正が必要でないことを示す。これにより、表示制御部１０３は、文字列に合わせてハンドヘルド点字変換装置１を移動させるように利用者を誘導する。これに応じて、利用者はハンドヘルド点字変換装置１の左側を上方へ修正することになる。
　９．点字対象文字があり、かつ、装置の右側を上方にずらす必要がある場合
　図７（ｃ）は、撮像画像の横軸方向が、点字対象文字の文字列の方向に対して時計回りに角度Θｔｈ以内の範囲でずれていることにより、ハンドヘルド点字変換装置１の右側を上方にずらす必要がある場合の可動式ピン２１の状態を示す。なお、文字認識部１０１は、全ての点字対象文字を正しく認識したとする。
　表示制御部１０３は、単位点字表示部２２Ａ乃至２２Ｆが備える第１ピンにより点字対象文字を点字表示する。また、表示制御部１０３は、単位点字表示部２２Ｌの第２ピンのうち第１行目及び第４行目の計４つの第２ピンを立たせると共に、単位点字表示部２２Ｒの第２ピンのうち第１行目の２つの第２ピンを立たせる。即ち、表示制御部１０３は、単位点字表示部２２Ｒの上側の第２ピンを立たせることにより、ハンドヘルド点字変換装置１の右側は上方へ修正が必要であることを示す一方、単位点字表示部２２Ｌの上側及び下側の第２ピンを立たせることにより、ハンドヘルド点字変換装置１の左側は修正が必要でないことを示す。これにより、表示制御部１０３は、文字列に合わせてハンドヘルド点字変換装置１を移動させるように利用者の操作を誘導する。これに応じて、利用者はハンドヘルド点字変換装置１の右側を上方へ修正することになる。
　１０．点字対象文字があり、かつ、装置の左側を下方にずらす必要がある場合
　図８（ａ）は、撮像画像の横軸方向が、点字対象文字の文字列の方向に対して時計回りに角度Θｔｈ以内の範囲でずれていることにより、ハンドヘルド点字変換装置１の左側を下方にずらす必要がある場合の可動式ピン２１の状態を示す。なお、文字認識部１０１は、全ての点字対象文字を正しく認識したとする。
　表示制御部１０３は、点字対象文字を単位点字表示部２２Ａ乃至２２Ｆの第１ピンにより点字表示する。また、表示制御部１０３は、単位点字表示部２２Ｌの第２ピンのうち第４行目の２つの第２ピンを立たせると共に、単位点字表示部２２Ｒの第２ピンのうち第１行目及び第４行目の計４つの第２ピンを立たせる。即ち、表示制御部１０３は、単位点字表示部２２Ｌの下側の第２ピンを立たせることにより、ハンドヘルド点字変換装置１の左側は下方へ修正が必要であることを示す一方、単位点字表示部２２Ｒの上側及び下側の第２ピンを立たせることにより、ハンドヘルド点字変換装置１の右側は修正が必要でないことを示す。これにより、表示制御部１０３は、文字列に合わせてハンドヘルド点字変換装置１を移動させるように利用者を誘導する。これに応じて、利用者はハンドヘルド点字変換装置１の左側を下方へ修正することになる。
　１１．点字対象文字があり、かつ、装置の右側を下方にずらす必要がある場合
　図８（ｂ）は、撮像画像の横軸方向が、点字対象文字の文字列の方向に対して反時計回りに角度Θｔｈ以内の範囲でずれていることにより、ハンドヘルド点字変換装置１の右側を下方にずらす必要がある場合の可動式ピン２１の状態を示す。なお、文字認識部１０１は、全ての点字対象文字を正しく認識したとする。
　表示制御部１０３は、点字対象文字を単位点字表示部２２Ａ乃至２２Ｆの第１ピンにより点字表示する。また、表示制御部１０３は、単位点字表示部２２Ｌの第２ピンのうち第１行目及び第４行目の計４つの第２ピンを立たせると共に、単位点字表示部２２Ｒの第２ピンのうち第４行目の２つの第２ピンを立たせる。即ち、表示制御部１０３は、単位点字表示部２２Ｒの下側の第２ピンを立たせることにより、ハンドヘルド点字変換装置１の右側は下方へ修正が必要であることを示す一方、単位点字表示部２２Ｌの上側及び下側の第２ピンを立たせることにより、ハンドヘルド点字変換装置１の左側は修正が必要でないことを示す。これにより、表示制御部１０３は、文字列に合わせてハンドヘルド点字変換装置１を移動させるように利用者の操作を誘導する。これに応じて、利用者はハンドヘルド点字変換装置１の右側を下方へ修正することになる。
　１２．点字対象文字があり、かつ、装置全体を下方にずらす必要がある場合
　図８（ｃ）は、文字認識可能な範囲で、点字対象文字に対してハンドヘルド点字変換装置１全体が上方にずれている場合の可動式ピン２１の状態を示す。なお、文字認識部１０１は、全ての点字対象文字を正しく認識したとする。
　表示制御部１０３は、点字対象文字を単位点字表示部２２Ａ乃至２２Ｆの第１ピンにより点字表示する。また、表示制御部１０３は、単位点字表示部２２Ｌの第２ピンのうち第４行目の２つの第２ピンを立たせると共に、単位点字表示部２２Ｒの第２ピンのうち第４行目の２つの第２ピンを立たせる。即ち、表示制御部１０３は、単位点字表示部２２Ｒ、２２Ｌの下側の第２ピンを立たせることにより、ハンドヘルド点字変換装置１の全体を下方へ修正する必要があることを示す。これにより、表示制御部１０３は、文字列に合わせてハンドヘルド点字変換装置１を移動させるように利用者の操作を誘導する。これに応じて、利用者はハンドヘルド点字変換装置１全体を下方へ修正することになる。
　１３．点字対象文字があり、かつ、装置全体を上方にずらす必要がある場合
　図９（ａ）は、文字認識可能な範囲で、点字対象文字に対してハンドヘルド点字変換装置１全体が下方にずれている場合の可動式ピン２１の状態を示す。なお、文字認識部１０１は、全ての点字対象文字を正しく認識したとする。
　表示制御部１０３は、点字対象文字を単位点字表示部２２Ａ乃至２２Ｆの第１ピンにより点字表示する。また、表示制御部１０３は、単位点字表示部２２Ｌの第２ピンのうち第１行目の２つの第２ピンを立たせると共に、単位点字表示部２２Ｒの第２ピンのうち第１行目の２つの第２ピンを立たせる。即ち、表示制御部１０３は、単位点字表示部２２Ｒ、２２Ｌの上側の第２ピンを立たせることにより、ハンドヘルド点字変換装置１の全体を上方へ修正する必要があることを示す。これにより、表示制御部１０３は、文字列に合わせてハンドヘルド点字変換装置１を移動させるように利用者の操作を誘導する。これに応じて、利用者はハンドヘルド点字変換装置１全体を上方へ修正することになる。
　１４．点字対象文字が縦書きであり、かつ、認識可能な場合
　図９（ｂ）は、点字対象文字が縦書きであり、かつ、文字認識部１０１が全ての点字対象文字を正しく認識した場合の可動式ピン２１の状態を示す。
　この場合、表示制御部１０３は、点字対象文字を単位点字表示部２２Ａ乃至２２Ｆの第１ピンにより点字表示する。また、表示制御部１０３は、単位点字表示部２２Ｌの第２ピンのうち第１列目の４つの第２ピンを立たせると共に、単位点字表示部２２Ｒの第２ピンのうち第２列目の４つの第２ピンを立たせる。即ち、表示制御部１０３は、点字対象文字が縦書きの場合、立たせる第２ピンを縦方向に並べる。このようにすることで、表示制御部１０３は、文字列に合わせてハンドヘルド点字変換装置１を移動させるように利用者の操作を誘導する。
　また、点字対象文字が縦書きであり、かつ、上記の４から１３のいずれかである場合は、単位点字表示部２２Ｌの第１行目の２つの第２ピンの代わりに第１行１列目および第２行１列目の２つの第２ピンを、単位点字表示部２２Ｌの第４行目の２つの第２ピンの代わりに第３行１列目および第４行１列目の２つの第２ピンを、単位点字表示部２２Ｒの第１行目の２つの第２ピンの代わりに第１行２列目および第２行２列目の２つの第２ピンを、単位点字表示部２２Ｒの第４行目の２つの第２ピンの代わりに第３行２列目および第４行目２列目の２つの第２ピンを立たせる。このようにすることで、縦書きに合わせた操作を利用者に誘導すると同時にハンドヘルド点字変換装置１の移動方向の修正を促すことができる。
　１５．頭文字方向を誘導する場合
　次に、文書にハンドヘルド点字変換装置１を乗せて利用者の指示により又は自動的に点字処理を開始する場合であって、当該文書の最初に読むべき文字（以後、「頭文字」とも呼ぶ。）の方向を誘導するときの可動式ピン２１の制御について図１０を用いて説明する。ここで、「文書」とは、読み取る対象となる文書その他文字が記載された情報伝達媒体を指す。
　図１０（ａ）は、左上方向に頭文字がある場合の可動式ピン２１の状態を示す。また、図１０（ｂ）は、右上方向に頭文字がある場合の可動式ピン２１の状態を示す。図１０（ｃ）は、左下方向に頭文字がある場合の可動式ピン２１の状態を示す。図１０（ｄ）は、右下方向に頭文字がある場合の可動式ピン２１の状態を示す。なお、以後の図１０（ａ）乃至（ｄ）の単位点字表示部２２Ａ乃至２２Ｆの状態は、一例であり、頭文字の方向の誘導には直接関連しない。
　この場合、表示制御部１０３は、利用者がハンドヘルド点字変換装置１に置いた指に対して、移動方向を修正したい方向に位置する第２ピンを立てると共に、他の方向に位置する第２ピンを下げる。具体的には、図１０（ａ）に示すように、左上方向に頭文字がある場合、表示制御部１０３は、単位点字表示部２２Ｌ、２２Ｒが備える第２ピンのうち、単位点字表示部２２Ｌの第１列目及び第２列目の計４つの第２ピンを立たせる。また、図１０（ｂ）に示すように、右上方向に頭文字がある場合、表示制御部１０３は、単位点字表示部２２Ｌ、２２Ｒが備える第２ピンのうち、単位点字表示部２２Ｒの第１列目及び第２列目の計４つの第２ピンを立たせる。さらに、図１０（ｃ）に示すように、左下方向に頭文字がある場合、表示制御部１０３は、単位点字表示部２２Ｌ、２２Ｒが備える第２ピンのうち、単位点字表示部２２Ｌの第３列目及び第４列目の計４つの第２ピンを立たせる。また、図１０（ｄ）に示すように、右下方向に頭文字がある場合、表示制御部１０３は、単位点字表示部２２Ｌ、２２Ｒが備える第２ピンのうち、単位点字表示部２２Ｒの第３列目及び第４列目の計４つの第２ピンを立たせる。
　次に、文字認識部１０１が撮像画像から頭文字部分を特定する具体的方法について説明する。例えば、ハンドヘルド点字変換装置１は、頭文字部分を特定する場合、文書に記載された文字列の集合の全体（以後、単に「文書全体」と呼ぶ。）を表した撮像画像をカメラ１５から取得し、当該撮像画像から頭文字部分を推定する。これについて図１１を用いて説明する。図１１は、文書全体が表された撮像画像の一例を示す。文字認識部１０１は、まず、文書全体の各文字列が記載された範囲を特定する。例えば、文字認識部１０１は、図１１の縦線に示すように、まず文書中の各文字列の横幅の境界を特定する。次に、文字認識部１０１は、各文字列の左側の境界のうち、第１行目の境界が字下げ分だけずれており、２行目以降の境界が揃っている又は所定差以内で同一直線上にある点、及び、各文字列の右側の境界が各行でばらばらになっている点を確認する。上述の所定差は、例えば字下げに相当するスペース未満の値に設定される。そして、文字認識部１０１は、上述の２点から、頭文字部分が第１行目の最も左に位置する文字であると判断する。そして、その後、図１０（ａ）に示すように、表示制御部１０３は、ハンドヘルド点字変換装置１を左上に移動させるように利用者の操作を誘導する。
　図１１に示す例の他、ハンドヘルド点字変換装置１が最初に文書に載せられた場合、文書全体の各文字列は、角度Θｒが１８０°、即ち、上下逆にずれていたり、角度Θｒの絶対値が角度Θｔｈ以上になる可能性がある。この場合、表示制御部１０３は、上述した図６（ｃ）の具体例６及び図７（ａ）の具体例７等に従い第２ピンを適宜制御する。これにより、表示制御部１０３は、利用者の操作を誘導し、各文字列と撮像画像の横軸とを一致させることができる。
　次に、頭文字方向の誘導を終了する条件について説明する。例えば、表示制御部１０３は、以下の（ａ）乃至（ｅ）のいずれかの条件又はこれらを任意に組み合わせた条件が満たされた場合、頭文字方向の誘導を終了する。
　（ａ）撮像画像に文字がない場合。即ち図５（ａ）に示す具体例１の状態に至った場合。
　（ｂ）文字列の右側の境界に到達した場合。即ち、図６（ａ）に示す具体例４の状態に至った場合。
　（ｃ）文字列の左側の境界に到達した場合。即ち、図６（ｂ）に示す具体例５の状態に至った場合。
　（ｄ）文書の第１行目の文字列の上の境界に到達した場合。即ち、図８（ｃ）に示す１具体例２の状態から図５（ａ）に示す具体例１の状態に至った場合。
　（ｅ）文書の最後の行の文字列の下の境界に到達した場合。即ち、図９（ａ）に示す具体例１３の状態から図５（ａ）に示す具体例１の状態に至った場合。
　以上のように、ハンドヘルド点字変換装置１は、種々の場合に、第２ピンを用いて利用者の操作を適切に誘導することができる。
　［文字認識方法及び点字変換方法］
　次に、文字認識方法及び点字変換方法について説明する。概略的には、文字認識部１０１は、読み取る対象となる文字列の文字列長Ｌｒ及び文字数（以後、「文字数Ｎｒ」と呼ぶ。）から当該文字列を構成する各文字の平均文字幅（以後、単に「平均文字幅Ｗｒ」と呼ぶ。）を計算する。次に、点字変換部１０２は、当該文字列が点字に変換された場合の当該点字を表現するのに必要な単位点字表示部２２の数（以後、「点字セル数Ｎｓ」と呼ぶ。）を計算する。そして、表示制御部１０３は、ハンドヘルド点字変換装置１が移動した場合、平均文字幅Ｗｒと点字セル数Ｎｓとに基づき、当該文字列の点字を平均的な間隔で表示する。
　まず、ハンドヘルド点字変換装置１が点字表示のため文書上に載せられた場合に当該装置が実行する処理について図１２を用いて説明する。図１２は、カメラ１５から取得された撮像画像の一例を示す。図１２に示す撮像画像５０は、横書きの複数の文字列から構成されている。なお、以後では、撮像画像５０上の相対的な位置を、左上の角を原点とした横軸上の位置（「ｘ座標」とも呼ぶ。）と縦軸上の位置（「ｙ座標」とも呼ぶ。）との２次元座標により「（ｘ、ｙ）」のように表す。ここで、「ｘ」は、ｘ座標の値（０≦ｘ≦１０００）を示し、「ｙ」は、ｙ座標の値（０≦ｙ≦１０００）を示す。また、図１２中の横の破線は、ｙ座標の中央、即ち「ｙ＝５００」となる位置を示し、縦の破線は、ｘ座標の中央、即ち「ｘ＝５００」となる位置を示す。なお、撮像画像５０中の各文字列７０は、説明の便宜上、破線枠又は実線枠により境界が図示されている。
　まず、文字認識部１０１は、撮像画像５０から破線の四角枠に示す複数の文字列７０を認識する。そして、文字認識部１０１は、文字列７０のそれぞれの位置Ｐｒ、角度Θｒ、及び文字列長Ｌｒを算出する。ここで、文字認識部１０１は、各文字列７０の左上の角の座標と右下の角の座標との組をそれぞれ各文字列７０の位置Ｐｒとして取得する。また、文字認識部１０１は、例えば、各文字列の横幅の左側の境界のｘ座標と右側の境界のｘ座標との差分の絶対値を文字列長Ｌｒとして特定する。
　次に、文字認識部１０１は、認識した複数の文字列７０から、撮像画像５０の中央に位置する中央座標（５００、５００）を含む文字列７０、又は当該中央座標に最も近い文字列７０を点字対象の文字列として特定する。ここでは、文字認識部１０１は、各文字列７０の位置Ｐに基づき、中央座標を含む実線枠により囲まれた文字列７０ｘを点字対象となる文字列（以後、「点字対象文字列」と呼ぶ。）として特定する。即ち、破線枠により囲まれた文字列７０ｙは、点字対象文字列ではない。
　次に、点字変換部１０２は、点字対象文字列である文字列７０ｘの文字数Ｎｒをカウントし、当該文字数Ｎｒにより文字列７０ｘの文字列長Ｌｒを割った値を平均文字幅Ｗｒとする。即ち、点字変換部１０２は、以下の式（１）により平均文字幅Ｗｒを算出する。
　Ｗｒ＝Ｌｒ／Ｎｒ　　　式（１）
　そして、点字変換部１０２は、文字列７０ｘの各文字を点字に変換した後、文字列７０ｘの点字セル数Ｎｓを算出する。この処理について図１３を用いて説明する。図１３は、文字列７０ｘから点字セル数Ｎｓを算出する処理を示す概念図である。
　図１３の第１行目は、撮像画像５０中に表示された文字列７０ｘをそのまま示したものである。第１行目の文字列は、漢字も含めて２６個の文字を有する。即ち、文字数Ｎｒは、２６である。図１３の第２行目は、文字列７０ｘの漢字をかなに変換（かな変換）した文字列を示す。第２行目は、３１個の文字を有する。
　図１３の第３行目は、第２行目の各文字を点字により表現するのに必要な単位点字表示部２２の数（点字セル数）を列挙したものである。ここでは、数字及び濁点を含むかな文字並びに大文字のアルファベットの点字セル数を２とし、他の文字の点字セル数を１とする。そして、第３行目に示すように、点字変換部１０２は、各文字の点字セル数の和を算出することで、文字列７０ｘを点字表示するのに必要な点字セル数Ｎｓが４５であると特定する。
　また、点字変換部１０２は、文字列７０ｘの点字セル数Ｎｓを算出後、点字対象文字列である文字列７０ｘの中央に位置する文字（以後、「中央文字」と呼ぶ。）を特定する。具体的には、点字変換部１０２は、撮像画像の中心に位置する座標（５００、５００）の位置、即ち、図１３の破線の交点に最も近い文字列７０ｘ中の文字を中央文字として特定する。即ち、点字変換部１０２は、図１３に示す破線枠７１Ａ中の文字「う」を中央文字として特定する。
　そして、表示制御部１０３は、中央文字を含め、単位点字表示部２２Ａ乃至２２Ｆの６セルにより点字表示可能な文字を点字表示する。具体的には、表示制御部１０３は、図１３に示す破線枠７１Ｂ中の６セル分の文字「くどうきし」を単位点字表示部２２Ａ乃至２２Ｆにより点字表示する。
　なお、点字対象文字列が撮像画像５０の横幅の全てに渡って表示されない場合、表示制御部１０３は、上述の処理と異なる方法により、点字表示すべき文字列を決定する。これについて図１４を用いて説明する。
　図１４は、「かな列」からなる点字対象文字列の位置及び使用する単位点字表示部２２Ａ乃至２２Ｆを示した図である。図１４（ａ）から図１４（ｄ）にかけて、ハンドヘルド点字変換装置１は徐々に右方向に移動している。ここでは、「かな列」のかなに相当する「かなれつ」は、必要な点字セル数がそれぞれ１文字につき１であるとする。また、破線枠７２は、点字対象となる文字の存在範囲（以後、「点字対象範囲」と呼ぶ。）を示す。
　まず、図１４（ａ）では、点字対象文字列の一部が撮像画像の右端に表示されている。この場合、表示制御部１０３は、点字対象文字列が破線枠７２により示される点字対象範囲内に存在しないと判断し、単位点字表示部２２Ａ乃至２２Ｆによる点字表示は行わない。
　次に、図１４（ｂ）では、点字対象文字列のうち、「かな」部分が点字対象範囲内に存在する。この場合、表示制御部１０３は、点字対象範囲に占める「かな」の位置に基づき、「かな」をかな変換した「かな」のうち「か」を単位点字表示部２２Ｅにより点字表示し、「な」を単位点字表示部２２Ｆにより点字表示する。なお、点字対象範囲内に存在する点字対象文字列のうち、一つのかなを表現するのに二つの単位点字表示部が必要な文字が含まれている場合（たとえば、濁音がつく文字）は、一つ目の文字のみを単位点字表示部２２Ｅおよび２２Ｆにより点字表示するようにすればよい。
　そして、図１４（ｃ）では、点字対象文字列が全て点字対象範囲内に存在する。この場合、表示制御部１０３は、「かな列」の各文字が点字対象位置７２に占める位置に基づき、「かな列」をかな変換した「かなれつ」のうち「か」を単位点字表示部２２Ｂにより点字表示し、「な」を単位点字表示部２２Ｃにより点字表示し、「れ」を単位点字表示部２２Ｄにより点字表示し、「つ」を単位点字表示部２２Ｅにより点字表示する。
　最後に、図１４（ｄ）では、点字対象文字列の一部「な列」が点字対象範囲内に存在する。この場合、表示制御部１０３は、「な列」の各文字が点字対象範囲に占める位置に基づき、「な列」をかな変換した「なれつ」のうち「な」を単位点字表示部２２Ａにより点字表示し、「れ」を単位点字表示部２２Ｂにより点字表示し、「つ」を単位点字表示部２２Ｃにより点字表示する。なお、点字対象範囲内に存在する点字対象文字列のうち、一つのかなを表現するのに二つの単位点字表示部が必要な文字が含まれている場合は、二つ目の文字のみを単位点字表示部２２Ａにより点字表示する。
　以上のように、表示制御部１０３は、点字対象文字列が撮像画像の横幅全体にわたって存在しない場合には、点字対象範囲に存在する文字のみを点字表示する。また、表示制御部１０３は、点字対象範囲中の文字の位置に基づき当該文字を点字表示する単位点字表示部２２を変える。
　次に、ハンドヘルド点字変換装置１の位置が移動した場合の処理について説明する。この場合、文字認識部１０１は、一定の間隔で撮像画像をカメラ１５から取得し、上述の処理を実行することにより点字対象文字列を特定する。そして、文字認識部１０１は、特定した点字対象文字列が前回特定した点字対象文字列と同一であるか否か判定する。
　そして、点字対象文字列が変わっている場合、文字認識部１０１は、再び上述した処理を最初から繰り返して行う。即ち、文字認識部１０１は、新たな撮像画像中の文字列を特定し、位置Ｐｒ等の情報を取得する処理を開始する。なお、点字対象文字列が撮像画像５０の横幅の全てに渡って表示されている場合、一文字分移動しても点字対象文字列は一部変更される。従って、この場合、文字認識部１０１は、点字対象文字列が変わっているとみなす。
　一方、点字対象文字列が同一の場合、点字変換部１０２は、前の撮像画像の点字対象文字列の位置Ｐｒ（以後、「位置Ｐｒ１」と呼ぶ。）と新たな撮像画像の点字対象文字列の位置Ｐｒ（以後、「位置Ｐｒ２」と呼ぶ。）とのずれ（以後、「移動幅」と呼ぶ。）を算出する。ここで、「前の撮像画像」とは、現在の点字表示に対応する撮像画像を指す。そして、点字変換部１０２は、移動幅に応じて、平均文字幅Ｗｒと点字セル数Ｎｓとに基づき点字表示をずらす。
　これについて、図１５（ａ）を用いて説明する。図１５（ａ）は、移動前後の文字列の位置関係を示す図の一例である。ここでは、移動前の文字列を白抜き文字により表し、移動後の文字列を太字文字により表している。また、図１５（ａ）では、横軸方向の移動幅を「ｄｘ」と表記し、縦軸方向の移動幅を「ｄｙ」と表記している。
　まず、点字変換部１０２は、位置Ｐｒ１及び位置Ｐｒ２に基づき移動幅ｄｘと移動幅ｄｙとを算出する。そして、点字変換部１０２は、移動幅ｄｘと、文字数Ｎｒを点字セル数Ｎｓにより除算して得られた値（Ｎｒ／Ｎｓ）を平均文字幅Ｗｒに乗じて得た値（以後、「平均セル幅Ｗｓ」と呼ぶ。）と、を比較する。即ち、平均セル幅Ｗｓは、以下の式（２）を満たす。
　Ｗｓ＝Ｗｒ×Ｎｒ／Ｎｓ　　　式（２）
　そして、移動幅ｄｘが平均セル幅Ｗｓより大きい又は所定差以内であると点字変換部１０２が判断した場合、表示制御部１０３は、点字表示を単位点字表示部２２の１個分だけ、ずれた方向（図１５（ａ）の場合、右方向）にスライドして表示する。上述の所定差は、例えば実験等に基づき予め定められる。即ち、表示制御部１０３は、例えば点字表示を右方向に単位点字表示部２２の１個分だけスライドする場合、単位点字表示部２２Ａ乃至２２Ｅの点字表示をそれぞれ単位点字表示部２２Ｂ乃至２２Ｆにより表示し、単位点字表示部２２Ａでは新たな文字に対応する点字を表示する。これにより、表示制御部１０３は、点字対象文字列の点字を平均的な間隔で表示することができる。これに加え、移動幅ｄｙが所定値以上の場合、表示制御部１０３は、例えば図８（ｃ）又は図９（ａ）に示すように、第２ピンにより利用者の操作を誘導する。なお、移動幅ｄｘが平均セル幅Ｗｓより小さい場合、点字表示を変えない（スライドしない）が移動幅ｄｘを、次回の移動幅ｄｘに加算し、次回の移動幅ｄｘが最後に点字表示をスライドしてからの移動幅になるようにする。
　一方、点字対象文字列が１文字分以上移動したことにより点字対象文字列が変更した場合について図１５（ｂ）を用いて説明する。この場合、文字認識部１０１は、移動前後の点字対象文字列で部分的に一致する文字列を探し、その移動距離に基づき点字をずらす。これについて図１５（ｂ）を用いて説明する。図１５（ｂ）は、移動前後の点字対象文字列の位置関係を示す図の一例である。ここでは、図１５（ａ）と同様、移動前の点字対象文字列を白抜き文字により表し、移動後の点字対象文字列を太字文字により表している。また、図１５（ｂ）では、移動前後の点字対象文字列における先端文字の横軸方向の移動幅を「ｄｘ１」と表記し、部分的に一致した文字列「技術に）立脚」の横軸方向の移動幅を「ｄｘ２」と表記し、縦軸方向の移動幅を「ｄｙ」と表記している。
　まず、文字認識部１０１は、移動幅ｄｘ１、ｄｘ２、ｄｙをそれぞれ算出する。そして、点字変換部１０２は、移動幅ｄｘ２を平均セル幅Ｗｓにより除算して得られた値（ｄｘ２／Ｗｓ）を算出する。そして、表示制御部１０３は、上述の値（ｄｘ２／Ｗｓ）に相当する単位点字表示部２２の数だけ、ずれた方向（図１５（ｂ）の場合、右方向）に点字表示をスライドして再表示する。これにより、表示制御部１０３は、この場合であっても、点字対象文字列の点字を平均的な間隔で表示することができる。なお、上述の値（ｄｘ２／Ｗｓ）が少数を含む場合、点字変換部１０２は、四捨五入その他所定の場合に整数値に繰り上げてもよい。上述の処理に加え、移動幅ｄｙが所定値以上の場合、表示制御部１０３は、例えば図８（ｃ）又は図９（ａ）に示すように、第２ピンにより利用者の操作を誘導する。上述の所定値は、実験等により予め設定される。また、表示制御部１０３は、移動幅ｄｘ１に基づき、点字対象文字列のうち現在点字表示している文字の位置を把握し、例えば図６（ｂ）に示すように、位置関係適否表示を行う。
　一方、移動前後の点字対象文字列に部分的に一致する文字列がない場合、文字認識部１０１は、点字対象文字列を特定する処理から全ての処理を再実行する。
　［処理フロー］
　次に、本実施例による点字変換処理について図１６を参照して説明する。この処理は、図１に示すシステムコントローラ１９が予め用意されたプログラムを実行することにより実現される。図１６は点字変換処理のフローチャートである。
　ユーザは、点字表示したい文字が存在する印刷物等の上にハンドヘルド点字変換装置１を置いて、点字変換処理のスイッチをＯＮにする（ステップＳ１）。カメラ１５は、ハンドヘルド点字変換装置１の周辺の所定範囲を撮影し（ステップＳ２）、撮影画像を文字認識部１０１に送信する。
　次に、文字認識部１０１は、受信した撮影画像に文字が存在するか否かを判定する（ステップＳ３）。そして、撮影画像に文字が存在する場合（ステップＳ３；Ｙｅｓ）、表示制御部１０３は、第２ピンによる位置関係適否表示を行う（ステップＳ４）。例えば、表示制御部１０３は、図１０に示すような位置関係適否表示を行うことにより、頭文字方向を利用者に知らせる。他の例では、表示制御部１０３は、文字列が縦書きである場合、図９（ｂ）に示す位置関係適否表示を行い、利用者に縦書きであることを知らせる。また、表示制御部１０３は、文字列がずれている場合、図６（ｃ）等に示すような位置関係適否表示を行い、利用者にずれている方向を知らせる。
　一方、撮像画像に文字がない場合（ステップＳ３；Ｎｏ）、表示制御部１０３は、点字表示及び位置関係適否表示を全てクリアする（ステップＳ５）。即ち、表示制御部１０３は、第１ピン及び第２ピンを、図５（ａ）に示す状態になるように制御する。
　次に、ステップＳ５の実行後、文字認識部１０１は、点字対象文字列を特定する（ステップＳ５）。具体的には、文字認識部１０１は、撮像画像中の複数の文字列から撮像画像の中央に位置する文字列を点字対象文字列として特定する。
　そして、点字変換部１０２は、点字対象文字列の平均文字幅Ｗｒ及び点字セル数Ｎｓを算出する（ステップＳ７）。具体的には、点字変換部１０２は、式（１）に基づき平均文字幅Ｗｒを算出する。また、点字変換部１０２は、図１３に示すように、点字対象文字列の漢字をかなに変換した後、必要な点字セル数Ｎｓを算出する。
　次に、表示制御部１０３は、中央文字の前後６セル分の点字表示を行う（ステップＳ８）。ここで、中央文字は、上述したように、撮像画像の中心に最も近い点字対象文字列中の文字を指す。
　次に、文字認識部１０１は、撮影画像の変化に基づいて装置が移動したか否かを判定する（ステップＳ９）。そして、装置が移動した場合（ステップＳ９；Ｙｅｓ）、表示制御部１０３は、ステップＳ１０の処理を実行する。具体的には、点字変換部１０２は、移動前後で点字対象文字列が同一又は部分的に一致する場合、横軸の移動幅を算出すると共に、式（２）に示すように、平均文字幅Ｗｒ及び点字セル数Ｎｓに基づき平均セル幅Ｗｓを算出する。そして、表示制御部１０３は、当該移動幅と平均セル幅Ｗｓとに基づきスライドすべき単位点字表示部２２の数を特定して点字を再表示する。これにより、表示制御部１０３は、点字対象文字列の点字を平均的な間隔で表示することができる。一方、移動前後で点字対象文字列の一致部分が特定できない場合等では、ハンドヘルド点字変換装置１は、ステップＳ４乃至Ｓ８の処理を再実行する。
　一方、装置が移動していない場合（ステップＳ９；Ｎｏ）、表示制御部１０３は、表示を継続する（ステップＳ１１）。
　次に、ハンドヘルド点字変換装置１は、スイッチがＯＦＦになったか否かを判定する（ステップＳ１２）。スイッチがＯＦＦになっていない場合（ステップＳ１２；Ｎｏ）、処理はステップＳ２に戻り、ステップＳ２乃至Ｓ１１を繰り返す。スイッチがＯＦＦになった場合（ステップＳ１２；Ｙｅｓ）、処理を終了する。
　［変形例］
　次に、本実施例の変形例について説明する。以下の変形例は、任意に組み合わせて上述の実施例に適用することができる。
　表示制御部１０３は、上述の説明に加え、第２ピンを立たせる際に、素早く上下に震動させてもよい。これにより、表示制御部１０３は、利用者が第１ピンによる点字表示と第２ピンによる位置関係適否表示とを混同するのを防ぐことができる。
　上述の実施例では、第１点字モジュール１０ｘと第２点字モジュール１０ｙは、単位点字表示部２２をそれぞれ４つ備えることとしているが、本発明はこれに限られない。具体的には、ユーザにとって最も指先で認識しやすい数にするとよい。この場合であっても、表示制御部１０３は、いずれか２つの単位点字表示部２２を第２ピンとして使用する。また、1つの単位点字表示部２２を可動式ピン２１は２列４行の計８個の可動式ピン２１で構成することとしたが、これに限らず、たとえば、２行３列の計６個の可動式ピン２１で構成することとしてもよい。
　上述の実施例では、印刷物の文字を点字変換することとしているが、本発明はこれに限られない。印刷された文字でなくても、カメラが撮影可能な文字であれば点字変換できる。
　［第２ピンの動作制御］のセクションの説明では、表示制御部１０３は、原則的に、利用者がハンドヘルド点字変換装置１に置いた指に対して、移動方向を修正したい方向に位置する第２ピンを立たせると共に、他の方向に位置する第２ピンを下げていた。しかし、本発明が適用可能な方法はこれに限定されない。これに代えて、表示制御部１０３は、第２ピンを障害物として機能させてもよい。即ち、表示制御部１０３は、原則的に、利用者がハンドヘルド点字変換装置１に置いた指に対して、移動方向を修正したい方向に位置する第２ピンを下げると共に、他の方向に位置する第２ピンを立たせてもよい。これによっても、ハンドヘルド点字変換装置１は、適切に利用者の操作を誘導することができる。他の例では、表示制御部１０３は、第１ピン及び第２ピンを昇降させる代わりに、これらを振動させてもよい。
　１　ハンドヘルド点字変換装置
　１０　点字表示部
　１１　ＣＰＵ
　１４　電源
　１５　カメラ
　１６　レンズ
　１７　照明用ＬＥＤ
　１９　システムコントローラ
　１０１　文字認識部
　１０２　点字変換部
　１０３　表示制御部

Claims (11)

  1. 　ユーザが片手で保持した状態で移動させることが可能なハンドヘルド点字変換装置であって、
    　前記ハンドヘルド点字変換装置を保持している手の少なくとも一本の指が接触可能な位置に配置され、点字を表示する点字表示部と、
    　前記ハンドヘルド点字変換装置周辺の所定範囲を撮影する撮影手段と、
    　前記撮影手段の撮影画像に存在する文字の有無を検知し、存在する文字を認識する文字認識手段と、
    　前記文字認識手段が認識した文字の一部又は全部を点字に変換する点字変換手段と、
    　前記点字変換手段が変換した点字を前記点字表示部に表示させる表示制御手段と、を備え、
    　前記点字表示部は、各々が１つの点字に対応する複数の単位点字表示部を有し、
    　前記単位点字表示部は、複数の可動式の部材を有し、
    　前記表示制御手段は、前記単位点字表示部のうち一部の単位点字表示部が有する部材を動作させることにより前記撮影画像に存在する文字又は文字列に対する前記ハンドヘルド点字変換装置の位置関係の適否を表示すると共に、前記一部の単位点字表示部以外の単位点字表示部が有する部材を動作させることにより点字を表示することを特徴とするハンドヘルド点字変換装置。
  2. 　前記単位点字表示部は並べて設置され、
    　表示制御部は、前記単位点字表示部のうち両端に位置する単位点字表示部が有する部材を動作させることにより、前記撮影画像に存在する文字又は文字列に対する前記ハンドヘルド点字変換装置の位置関係の適否を表示することを特徴とする請求項１に記載のハンドヘルド点字変換装置。
  3. 　前記表示制御手段は、前記一部の単位点字表示部が有する部材を動作させることにより、前記ハンドヘルド点字変換装置の位置が前記撮影画像に存在する文字又は文字列に対していずれの方向にずれているかを示すことを特徴とする請求項１に記載のハンドヘルド点字変換装置。
  4. 　前記表示制御手段は、前記一部の単位点字表示部が有する部材を動作させることにより、前記撮影画像に存在する文字の有無を示すことを特徴とする請求項１乃至３のいずれか一項に記載のハンドヘルド点字変換装置。
  5. 　前記表示制御手段は、前記一部の単位点字表示部が有する部材を動作させることにより、前記撮影画像に存在する文字列が横書きであるか縦書きであるかを示すことを特徴とする請求項１乃至４のいずれか一項に記載のハンドヘルド点字変換装置。
  6. 　前記表示制御手段は、前記一部の単位点字表示部が有する部材を動作させることにより、前記撮影画像に存在する文字列の頭文字の方向を示すことを特徴とする請求項１乃至５のいずれか一項に記載のハンドヘルド点字変換装置。
  7. 　前記表示制御手段は、前記一部の単位点字表示部が有する部材を昇降させて凸形状を形成したりしなかったりする動作を振動させて行うことにより前記位置関係の適否を表示すると共に、前記一部の単位点字表示部以外の単位点字表示部が有する部材を昇降させて凸形状を形成したりしなかったりすることで点字を表示することを特徴とする請求項１乃至６のいずれか一項に記載のハンドヘルド点字変換装置。
  8. 　前記点字変換手段は、点字表示の対象となる文字列を構成する各文字の平均文字幅を算出すると共に、当該文字列に相当する点字の数を算出し、
    　前記表示制御手段は、前記ハンドヘルド点字変換装置が移動した場合、前記平均文字幅と前記点字の数とに基づき、点字の表示を変更することを特徴とする請求項１乃至７に記載のハンドヘルド点字変換装置。
  9. 　ユーザが片手で保持した状態で移動させることが可能であり、保持している手の少なくとも一本の指が接触可能な位置に配置されて点字を表示する点字表示部を備えるハンドヘルド点字変換装置が実行する点字変換方法であって、
    　前記ハンドヘルド点字変換装置周辺の所定範囲を撮影する撮影工程と、
    　前記撮影工程の撮影画像に存在する文字の有無を検知し、存在する文字を認識する文字認識工程と、
    　前記文字認識工程が認識した文字の一部又は全部を点字に変換する点字変換工程と、
    　前記点字変換工程が変換した点字を前記点字表示部に表示させる表示制御工程と、を備え、
    　前記点字表示部は、各々が１つの点字に対応する複数の単位点字表示部を有し、
    　前記単位点字表示部は、複数の可動式の部材を有し、
    　前記表示制御工程は、前記単位点字表示部のうち一部の単位点字表示部が有する部材を動作させることにより前記撮影画像に存在する文字又は文字列に対する前記ハンドヘルド点字変換装置の位置関係の適否を表示すると共に、前記一部の単位点字表示部以外の単位点字表示部が有する部材を動作させることにより点字を表示することを特徴とする点字変換方法。
  10. 　ユーザが片手で保持した状態で移動させることが可能であり、保持している手の少なくとも一本の指が接触可能な位置に配置されて点字を表示する点字表示部を備えるハンドヘルド点字変換装置により実行される点字変換プログラムであって、
    　前記ハンドヘルド点字変換装置周辺の所定範囲を撮影する撮影手段と、
    　前記撮影手段の撮影画像に存在する文字の有無を検知し、存在する文字を認識する文字認識手段と、
    　前記文字認識手段が認識した文字の一部又は全部を点字に変換する点字変換手段と、
    　前記点字変換手段が変換した点字を前記点字表示部に表示させる表示制御手段、として前記ハンドヘルド点字変換装置を機能させ、
    　前記点字表示部は、各々が１つの点字に対応する複数の単位点字表示部を有し、
    　前記単位点字表示部は、複数の可動式の部材を有し、
    　前記表示制御手段は、前記単位点字表示部のうち一部の単位点字表示部が有する部材を動作させることにより前記撮影画像に存在する文字又は文字列に対する前記ハンドヘルド点字変換装置の位置関係の適否を表示すると共に、前記一部の単位点字表示部以外の単位点字表示部が有する部材を動作させることにより点字を表示することを特徴とする点字変換プログラム。
  11. 　請求項１０に記載の点字変換プログラムを記憶したことを特徴とする記憶媒体。
PCT/JP2009/069439 2009-11-16 2009-11-16 ハンドヘルド点字変換装置、点字変換方法、点字変換プログラム及び記憶媒体 Ceased WO2011058656A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011540377A JPWO2011058656A1 (ja) 2009-11-16 2009-11-16 ハンドヘルド点字変換装置、点字変換方法、点字変換プログラム及び記憶媒体
US13/509,468 US20120236134A1 (en) 2009-11-16 2009-11-16 Handheld braille converting device, braille converting method, braille converting program, and storage medium
PCT/JP2009/069439 WO2011058656A1 (ja) 2009-11-16 2009-11-16 ハンドヘルド点字変換装置、点字変換方法、点字変換プログラム及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/069439 WO2011058656A1 (ja) 2009-11-16 2009-11-16 ハンドヘルド点字変換装置、点字変換方法、点字変換プログラム及び記憶媒体

Publications (1)

Publication Number Publication Date
WO2011058656A1 true WO2011058656A1 (ja) 2011-05-19

Family

ID=43991335

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/069439 Ceased WO2011058656A1 (ja) 2009-11-16 2009-11-16 ハンドヘルド点字変換装置、点字変換方法、点字変換プログラム及び記憶媒体

Country Status (3)

Country Link
US (1) US20120236134A1 (ja)
JP (1) JPWO2011058656A1 (ja)
WO (1) WO2011058656A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012120508A2 (en) * 2011-03-07 2012-09-13 Tactile World Ltd. Improved tactile display and operating system therefor
EP2608189A1 (en) * 2011-12-21 2013-06-26 Thomson Licensing Braille display system and method for operating a refreshable Braille display
US20150310766A1 (en) * 2014-04-28 2015-10-29 Saleh A. Alshehri Portable Multilingual Braille Reader With Words Translator Device And Method
JP5963806B2 (ja) * 2014-05-30 2016-08-03 京セラドキュメントソリューションズ株式会社 文字入力システム、情報処理装置、文字入力方法
US11295631B2 (en) * 2019-04-30 2022-04-05 Gwangju Institute Of Science And Technology Character and shape presentation device
US11640769B2 (en) * 2020-05-29 2023-05-02 Abenezer Ayana Modular refreshable braille display system
US11409942B2 (en) * 2021-01-06 2022-08-09 Xerox Corporation Portable braille translation device and method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0377979U (ja) * 1989-11-30 1991-08-06
JPH05150714A (ja) * 1991-11-29 1993-06-18 Pioneer Electron Corp 点字触読装置
JP2007095024A (ja) * 2005-09-05 2007-04-12 Kenta Nakamura 皮膚の触覚を伴う情報入力装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0740172B2 (ja) * 1986-07-25 1995-05-01 キヤノン株式会社 パタ−ン読取装置
US5920649A (en) * 1996-07-30 1999-07-06 Sanyo Electric Co., Ltd. Braille recognition system with ternary-coding
US6636202B2 (en) * 2001-04-27 2003-10-21 International Business Machines Corporation Interactive tactile display for computer screen
JP2007293132A (ja) * 2006-04-26 2007-11-08 Pioneer Electronic Corp 携帯型情報入出力装置及び汎用点字出力装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0377979U (ja) * 1989-11-30 1991-08-06
JPH05150714A (ja) * 1991-11-29 1993-06-18 Pioneer Electron Corp 点字触読装置
JP2007095024A (ja) * 2005-09-05 2007-04-12 Kenta Nakamura 皮膚の触覚を伴う情報入力装置

Also Published As

Publication number Publication date
US20120236134A1 (en) 2012-09-20
JPWO2011058656A1 (ja) 2013-03-28

Similar Documents

Publication Publication Date Title
WO2011058656A1 (ja) ハンドヘルド点字変換装置、点字変換方法、点字変換プログラム及び記憶媒体
CN102574288B (zh) 用于切割和/或蚀刻包括其上复制有图案和/或笔迹的平坦表面的物品的设备及用于致动该设备的方法
JP6657593B2 (ja) 生体撮影装置、生体撮影方法及び生体撮影プログラム
CN103916592B (zh) 用于在具有照相机的便携式终端中拍摄肖像的设备和方法
CN101330556A (zh) 图像选择装置和图像选择方法
JP2001184161A (ja) 情報入力方法、情報入力装置、筆記入力装置、筆記データ管理方法、表示制御方法、携帯型電子筆記装置および記録媒体
US11397320B2 (en) Information processing apparatus, information processing system, and non-transitory computer readable medium
JP7613060B2 (ja) 表示装置、表示方法、プログラム
US20190191845A1 (en) Contour detection apparatus, drawing apparatus, contour detection method, and storage medium
JP4894905B2 (ja) 情報処理システム及び表示処理プログラム
JP5015323B2 (ja) ハンドヘルド点字変換装置、点字変換方法及び点字変換プログラム
JP2018025885A (ja) 画像処理装置
JP2016134156A (ja) 電子機器、プログラム
US20190346982A1 (en) Information processing apparatus and system and non-transitory computer readable medium
KR101162243B1 (ko) 터치스크린 패널의 문자입력방법
JP4632886B2 (ja) 点字翻訳装置、点字翻訳方法、点字翻訳プログラムおよびこれを記録したコンピュータ読取り可能な記録媒体
JPWO2015145572A1 (ja) 端末装置、表示制御方法及びプログラム
JP6477558B2 (ja) 文字学習システム
JP2009230411A (ja) 文字入力システム
EP3882757A1 (en) Display device, display method, and program
JP2010186335A (ja) キーボード、キーボード入力方法およびキーボード入力プログラム
JP2012042822A (ja) ハンドヘルド点字変換装置、点字変換方法、プログラム
Dong et al. Android-based visual tag detection for visually impaired users: System design and testing
KR20170039345A (ko) 전자펜 시스템
JP2016062307A (ja) 情報表示装置、情報表示プログラムおよび情報表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09851286

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011540377

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13509468

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 09851286

Country of ref document: EP

Kind code of ref document: A1