WO2015079751A1 - 翻訳装置 - Google Patents

翻訳装置 Download PDF

Info

Publication number
WO2015079751A1
WO2015079751A1 PCT/JP2014/071786 JP2014071786W WO2015079751A1 WO 2015079751 A1 WO2015079751 A1 WO 2015079751A1 JP 2014071786 W JP2014071786 W JP 2014071786W WO 2015079751 A1 WO2015079751 A1 WO 2015079751A1
Authority
WO
WIPO (PCT)
Prior art keywords
character
condition
character string
lines
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2014/071786
Other languages
English (en)
French (fr)
Inventor
慎哉 佐藤
岸本　達雄
忠郎 長沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to US15/038,742 priority Critical patent/US9824086B2/en
Publication of WO2015079751A1 publication Critical patent/WO2015079751A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/158—Segmentation of character regions using character size, text spacings or pitch estimation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Definitions

  • the present invention relates to a translation apparatus that translates a character string included in a captured image.
  • Patent Document 1 discloses a technique for determining the end of a sentence with a punctuation mark, and a technique for determining a sentence as a single sentence without a punctuation mark when the character string is composed of only alphanumeric characters and nouns. Is disclosed.
  • Patent Document 1 has a problem that it cannot be accurately determined when there is no punctuation in a character string. This problem is particularly prominent in images obtained by photographing things such as signboards and menus written in a foreign language, in which phrases are often omitted. If the end of the sentence cannot be determined accurately, the translation result will be inaccurate.
  • the present invention has been made in view of the above problems, and an object of the present invention is to realize a translation apparatus and the like that can accurately translate a character string consisting of a plurality of lines.
  • a translation apparatus is a translation apparatus that translates a character string included in a captured image, and the character string including a plurality of lines is line-by-line. Whether or not two consecutive lines in the image out of the lines extracted by the character string extraction means and the character string extraction means satisfy a joining condition that is a condition based on the language characteristics of the character strings. If it is determined by the determining means and the determining means that the join condition is satisfied, the two consecutive rows are combined and translated, and if it is determined that the join condition is not satisfied, the consecutive 2 Translating means for translating each line.
  • FIG. 1 is a block diagram illustrating a main part configuration of the smartphone 1
  • FIG. 2 is a schematic diagram illustrating an example of a combination condition in translation of a character string.
  • the smartphone 1 is a smartphone that translates a character string included in a captured image, and extracts the character string that is composed of a plurality of lines in units of lines.
  • the section 23 character string extraction means
  • the character string extraction section 23 whether or not two consecutive lines in the image satisfy a connection condition that is a condition based on the language characteristics of the character string If the condition determination unit 24 (determination unit, character size determination unit) and the condition determination unit 24 determine that the above combination condition is satisfied, the two consecutive lines are combined and translated, and the combination is performed.
  • an extraction line coupling unit 25 and a translation unit 26 translation unit
  • an image 41 including a captured English character string 51 is displayed on the display unit 12 of the smartphone 1.
  • the smartphone 1 according to the present embodiment extracts the character string 51 on a line-by-line basis, and the extracted lines 61 and 62, which are two consecutive lines among the extracted lines, are based on the characteristics of the character string language. If a certain combination condition is satisfied, these are combined to form a combined extraction line 63 and translated.
  • the join condition is a condition indicating that there is a high possibility that a line break between two consecutive lines is based on the language characteristics of the character string
  • a plurality of sentences that should be originally translated as one sentence Can be prevented from being translated as a separate sentence.
  • the character string 51 is an English sentence having no sentence delimiters such as punctuation marks as shown in FIG. 2A, but the smartphone 1 according to the present embodiment does not include a symbol indicating a sentence delimiter. Even if it exists, a plurality of lines that should be translated as one sentence can be correctly translated as one sentence.
  • the smartphone 1 includes an operation unit 11, a display unit 12, a control unit 13, an imaging unit 14, and a storage unit 15.
  • the operation unit 11 is an input device that accepts an input operation by a user.
  • the operation unit 11 in the present embodiment constitutes a display unit 12 and a touch panel, and an input surface that receives contact (including approach) of an indicator (such as a finger or a pen), and the indicator is in contact with the input surface
  • a touch sensor that detects a position (coordinates) at which the indicator touches the input surface.
  • the touch sensor may be realized by any sensor as long as it can detect contact / non-contact between the indicator and the input surface. For example, it is realized by a pressure sensor or a capacitance sensor.
  • the operation unit 11 outputs the detected coordinates to the operation specifying unit 21 described later.
  • the operation unit 11 is not limited to a touch panel, and may be a physical key.
  • the display unit 12 is a display device that displays information processed by the smartphone 1 as an image in a display area. Specifically, the display unit 12 displays information processed by the display control unit 27 described later. As an example of information processed by the display control unit 27, the display unit 12 displays a translated character string obtained by translating a character string included in an image captured by the smartphone 1.
  • the display unit 12 includes a display device such as an LCD (Liquid Crystal Display). Further, as described above, the display unit 12 in the present embodiment is integrated with the operation unit 11 and constitutes a touch panel.
  • the control unit 13 performs overall control of each unit included in the smartphone 1.
  • the control unit 13 includes an operation specifying unit 21, an image acquisition unit 22, a character string extraction unit 23, a condition determination unit 24, an extracted line combination unit 25, a translation unit 26, and a display control unit 27.
  • the operation specifying unit 21 specifies an input operation received by the operation unit 11. Specifically, the operation specifying unit 21 performs the input operation based on the coordinates in the input operation, the time the indicator is in contact with the input surface, the moving direction of the indicator in contact with the input surface, and the like. Identify. And the process which each part in the control part 13 performs according to the specified input operation is instruct
  • the image acquisition unit 22 acquires an image by operating an imaging unit 14 described later. Specifically, the image acquisition unit 22 receives an instruction from the operation specifying unit 21 and causes the imaging unit 14 to capture an image. Then, the image captured by the imaging unit 14 is acquired, and the acquired image is supplied to the character string extraction unit 23.
  • the image acquisition part 22 in this embodiment is a structure which acquires the image image
  • the image acquisition unit 22 may receive an instruction from the operation specifying unit 21, read an image stored in the storage unit 15 described later, and supply the read image to the character string extraction unit 23.
  • the acquired image may be a still image such as a photograph or a video such as a moving image, or a so-called through image displayed on the display unit 12 in order to capture an image by the imaging unit 14. It may be.
  • the character string extraction unit 23 extracts a character string included in the image. Specifically, when a character string is included in the image supplied from the image acquisition unit 22, the character string extraction unit 23 extracts the character string in units of lines. As a technique for extracting a character string, for example, an existing optical character recognition technique can be used. Further, the information indicating the extracted rows (hereinafter referred to as “extracted rows”) is preferably information that can identify the arrangement relationship in the image. For example, the character string extraction unit 23 may extract rows of character strings included in the image in order from the top, and convert the information into table format information arranged in the extracted order. The extracted row is not limited to the above example as long as it is information that can identify the arrangement relationship in the image. In addition, the character string extraction unit 23 extracts all lines constituting the character string, and then supplies the extracted lines to the condition determination unit 24.
  • the condition determination unit 24 determines whether the extracted row satisfies a predetermined condition. Specifically, the condition determination unit 24 reads out the combination condition stored in the combination condition storage unit 31 described later. Then, the condition determining unit 24 determines whether two consecutive extracted lines in the image among the extracted lines supplied from the character string extracting unit 23 satisfy the above combination condition. Then, the two consecutive extracted rows determined to satisfy the joining condition are supplied to the extracted row joining unit 25. Furthermore, the condition determination unit 24 determines whether or not the combined extracted row supplied from the extracted row combining unit 25 and the extracted rows that are continuous in the image acquisition unit 22 satisfy the above combination condition.
  • the condition determining unit 24 supplies the combined extracted row and the extracted row that have been determined to the translation unit 26.
  • the combination condition is a condition based on the language characteristics of the character string, and specifically, a character string that indicates that there is a high possibility that a line break between two consecutive lines is in the sentence. It is a feature of language.
  • the join condition when the language of the character string is English.
  • the first character of the line positioned later is a lowercase letter.
  • the part of speech of the word arranged at the end of the preceding line is either a conjunction, a preposition, or an article.
  • the lines located later are all composed of capital letters.
  • the condition determination unit 24 reads the combination conditions (1) to (3) stored in the combination condition storage unit 31 to be described later, and the two consecutive rows are the combination conditions (1) to (3). It is determined whether at least one of (3) is satisfied. For this reason, the condition determination unit 24 according to the present embodiment specifies the function of determining whether the characters constituting the extracted line are uppercase letters or lowercase letters, and the part of speech of the word placed at the end of the extracted line. It has a function.
  • the coupling conditions are not limited to those described above. That is, the join condition is a condition indicating that there is a high possibility that a line break between two consecutive lines is in the sentence based on the language characteristics of the character string included in the image acquired by the image acquisition unit 22. That's fine.
  • the function with which the condition determination part 24 is provided is not limited to said thing, What is necessary is just to provide the function according to a coupling condition.
  • the extracted row combination unit 25 combines two consecutive extracted rows that satisfy the combination condition. Specifically, the extracted row combining unit 25 combines the two consecutive extracted rows supplied from the condition determining unit 24 to generate a combined extracted row. Then, the extracted row combining unit 25 supplies the generated combined extracted row to the condition determining unit 24 as an undetermined extracted row.
  • the translation unit 26 translates the extracted lines and the combined extracted lines. Specifically, the translation unit 26 translates the extracted lines and the combined extracted lines supplied from the condition determining unit 24 based on translation data read from a translation data storage unit 33 described later. Details of the translation data will be described later. Moreover, the existing translation technique can be used for the translation process (for example, the translation process from English to Japanese) by the translation part 26. FIG. The translation unit 26 supplies a translated character string that is a result of translating the extracted line and the combined extracted line to the display control unit 27.
  • the display control unit 27 determines an image to be displayed on the display unit 12. Specifically, when the translation character string is supplied from the translation unit 26, the display control unit 27 displays the translation character string on the display unit 12 as an image. For example, the display control unit 27 may specify a region where the character string is displayed on the display unit 12 and display the translated character string in the specified region. As a result, the translated character string is superimposed on the character string. Therefore, the user can obtain an image in which the character string is translated without impairing the layout of the image captured by the imaging unit 14.
  • the display form of the translated character string is not limited to the above example. For example, the translated character string may be displayed near the character string, or only the translated character string may be displayed without displaying the captured image.
  • the imaging unit 14 is an imaging device for imaging an object, and is a so-called camera.
  • an existing camera that is generally mounted on the smartphone 1 can be used.
  • the imaging unit 14 may capture a still image such as a photograph, or may capture a video such as a moving image. Further, it may be possible to capture both still images and videos.
  • the imaging unit 14 is controlled by the image acquisition unit 22 and images a target object. In addition, the imaging unit 14 outputs the captured still image or video to the image acquisition unit 22.
  • the storage unit 15 is a storage device that stores various data used in the smartphone 1. As shown in FIG. 1, the storage unit 15 includes a combination condition storage unit 31 and a translation data storage unit 33. Furthermore, as shown in FIG. 1, a separation condition storage unit 32 may be included. A configuration including the separation condition storage unit 32 will be described in a second embodiment to be described later.
  • the combination condition storage unit 31 stores a combination condition for the condition determination unit 24 to determine whether or not to combine the extracted rows.
  • the coupling condition storage unit 31 according to the present embodiment stores at least the coupling conditions (1) to (3) described above.
  • the translation data storage unit 33 stores various data used by the translation unit 26 to translate the extracted rows and the combined extracted rows. Specifically, dictionary data (for example, English-Japanese dictionary data) for translating words, collocations, idioms, etc. included in the character string, language grammar rules before and after translation, and the like are stored.
  • FIG. 3 is a schematic diagram showing another example of a join condition in character string translation.
  • the image 41 displayed on the display unit 12 includes a character string 51. Since the character string 51 is a sentence composed of two lines, the character string extraction unit 23 extracts the character string 51 as an extraction line 61 and an extraction line 62 as shown in FIG. Here, if the extracted line 61 and the extracted line 62 are translated as they are, one sentence is divided and translated. As a result, the translation result 71 and the translation result 72 are obtained, but these are not the correct translation results desired by the user.
  • the condition determination unit 24 determines whether or not the extraction row 61 and the extraction row 62 satisfy the above-described combination conditions (1) to (3).
  • the extraction line 61 and the extraction line 62 are Satisfying the coupling condition (1).
  • the extracted row combining unit 25 combines the extracted row 61 and the extracted row 62 to generate a combined extracted row 63.
  • the translation unit 26 translates the generated combined extraction line 63, so that a translation result 73 which is a correct translation result desired by the user is obtained.
  • the translation result 73 is displayed on the display unit 12 as the post-translation character string 81, so that the correct translation result of the character string 51 can be presented to the user.
  • the image 42 includes a character string 52 consisting of two lines.
  • the word arranged at the end of the previous line of the character string 52 is the preposition “with”, the above-described combination condition (2) is satisfied. Therefore, the previous line and the subsequent line of the character string 52 are combined and translated as a combined extracted line.
  • a post-translation character string 82 in which the character string 52 is correctly translated is displayed on the display unit 12.
  • the image 43 includes a character string 53 consisting of two lines.
  • the subsequent lines of the character string 53 are all composed of uppercase letters, the above-described joining condition (3) is satisfied. Therefore, the previous line and the subsequent line of the character string 53 are combined and translated as a combined extracted line.
  • a post-translation character string 83 in which the character string 53 is correctly translated is displayed on the display unit 12.
  • FIG. 7 is a flowchart illustrating an example of a flow of processing executed by the smartphone 1.
  • this embodiment is a structure which determines only whether the condition determination part 24 satisfy
  • the image acquisition unit 22 acquires an image (S1).
  • the image acquisition unit 22 acquires an image by imaging the periphery of the smartphone 1 by operating the imaging unit 14.
  • the image acquisition unit 22 supplies the acquired image to the character string extraction unit 23.
  • the image acquired here includes a character string composed of a plurality of lines.
  • the character string extraction unit 23 extracts character strings included in the image in units of lines (S2).
  • the character string extracting unit 23 supplies information (extracted line) indicating the extracted line to the condition determining unit.
  • the condition determination unit 24 determines whether or not a join condition is satisfied for each extracted row (S3). Specifically, it is determined whether or not two consecutive rows in the image acquired by the image acquisition unit 22 satisfy the coupling condition.
  • the extracted row joining unit 25 joins two consecutive rows in the image (S6). Specifically, two rows supplied from the condition determination unit 24 that satisfy the join condition are joined to generate a join extracted row. Then, the generated combined extraction row is supplied to the condition determination unit 24 as an undetermined extraction row. On the other hand, when the joining condition is not satisfied (NO in S4), the condition determining unit 24 does not supply the two rows to the extracted row joining unit 25, and step S6 is omitted.
  • step S7 If the condition determination unit 24 has not finished determining all rows (NO in S7), the process returns to step S4, and the processing from step S4 to step S6 is executed for two consecutive rows that have not been determined.
  • the condition determining unit 24 supplies the combined extracted line and the extracted line to the translating unit 26.
  • the translation unit 26 translates the character string (S8). Specifically, the extracted row and the combined extracted row supplied from the condition determining unit 24 are translated based on the translation data read from the translation data storage unit 33.
  • the translation unit 26 supplies the display control unit 27 with a translated character string that is a result of translating the extracted line and the combined extracted line.
  • the display control unit 27 displays the translated character string (S9). Specifically, when the translation character string is supplied from the translation unit 26, the display control unit 27 displays the translation character string on the display unit 12 as an image.
  • the condition determination unit 24 is configured to determine whether or not the join condition is satisfied. However, in the present embodiment, the condition determination unit 24 adds the two consecutive extraction lines in addition to the join condition. Is a configuration for determining whether or not the separation condition stored in the separation condition storage unit 32 is satisfied.
  • the separation condition storage unit 32 stores a separation condition for the condition determination unit 24 to determine whether to combine the extracted rows.
  • the separation condition storage unit 32 according to the present embodiment stores at least separation conditions (4) to (7) described later.
  • the separation condition is a condition indicating an exception in the two consecutive rows that satisfy the join condition. That is, it is a condition for not joining the two consecutive rows that satisfy the joining condition but are likely to be separate sentences.
  • the condition determining unit 24 supplies the two consecutive extracted rows determined to satisfy the join condition and not satisfy the separation condition to the extracted row combiner 25, and the extracted row combiner 25 Two consecutive extracted rows that satisfy the condition and do not satisfy the separation condition are combined.
  • the separation condition is a condition based on at least one of the characteristics of the characters constituting the two consecutive lines and the positional relationship between the two consecutive lines. This is a characteristic or positional relationship of characters constituting the two consecutive lines, which indicates that the line is likely to be a separate sentence.
  • examples of the separation conditions include the following. (4) The difference between the size of the character constituting one of the two consecutive rows in the image obtained by the image obtaining unit 22 and the size of the character constituting the other exceeds a predetermined threshold (character size threshold). (5) The distance between the two consecutive rows exceeds a predetermined threshold (distance threshold). (6) The color of the character constituting one of the two consecutive rows is different from the color of the character constituting the other. (7) The position of the first character in the two consecutive lines in the line direction of the character string is more than a predetermined threshold (character position threshold).
  • the condition determination unit 24 reads the separation conditions (4) to (7) stored in the separation condition storage unit 32 to be described later, and the two consecutive rows are the separation conditions (4) to (4) to It is determined whether at least one of (7) is satisfied. For this reason, the condition determination unit 24 according to the present embodiment further specifies the size of the characters that constitute the two consecutive rows, and the difference between the size of the characters in one row and the size of the characters in the other row is A function for determining whether or not the character size threshold is exceeded, a function for specifying the distance between the two consecutive lines, and a function for determining whether or not the distance exceeds the distance threshold, and characters in the two consecutive lines A function of determining whether the color of the character in one line is the same as the color of the character in the other line, and the first character of the two consecutive lines in the line direction of the character string It has a function of specifying a position and determining whether or not the position exceeds the character position threshold.
  • the separation conditions are not limited to those described above.
  • the separation condition may be that the two consecutive lines in the character string included in the image acquired by the image acquisition unit 22 are separate sentences in the character characteristics or positional relationship of the two consecutive lines. Anything that indicates high is acceptable.
  • the function with which the condition determination part 24 is provided is not limited to said thing, What is necessary is just to provide the function according to the separation conditions.
  • FIG. 4 is a schematic diagram illustrating an example of a separation condition for character string translation
  • FIG. 5 is a schematic diagram illustrating another example of a separation condition for character string translation.
  • the image 44 displayed on the display unit 12 includes a character string 54. Since the character string 54 consists of two lines, the character string extraction unit 23 extracts the character string 54 as an extraction line 64 and an extraction line 65 as shown in FIG. Then, the condition determination unit 24 determines whether or not the extraction row 64 and the extraction row 65 satisfy the combination conditions (1) to (3) described above. In the case of the example in FIG. 4, since the first character of the extraction line 65 that is a subsequent line among the extraction lines 64 and 65 that are two consecutive lines is lowercase, the extraction line 64 and the extraction line 65 are Satisfy the coupling condition (1).
  • the condition determination unit 24 determines whether or not the extraction row 64 and the extraction row 65 satisfy the above-described separation conditions (4) to (7).
  • the extracted lines 64 and the extracted lines 65 are greatly different in character size.
  • the extraction line coupling unit 25 does not combine the extraction line 64 and the extraction line 65
  • the translation unit 26 translates the extraction line 64 and the extraction line 65, respectively.
  • FIG. 4B a translation result 74 and a translation result 75 which are correct translation results desired by the user are obtained.
  • the translation result 74 and the translation result 75 are displayed on the display unit 12 as the translated character string 84, thereby presenting the correct translation result of the character string 54 to the user. can do.
  • the character string 55 included in the image 45 shown in FIG. 5A satisfies the join condition (1) because the first character of the subsequent line is a lower case character, but the color of the characters of the previous line and the subsequent line is Since they are different, the separation condition (6) is satisfied.
  • the character string 56 included in the image 46 shown in FIG. 5B satisfies the join condition (1) because the first character of the subsequent line is a lower case character, but the start position of the previous line and the subsequent line is large. Different. In other words, when one-dimensional coordinates are set in the line direction of the character string, the coordinates of the first character on the previous line and the coordinates of the first character on the subsequent line are greatly different.
  • the separation condition (7) is satisfied.
  • the character string 57 included in the image 47 satisfies the joining condition (3) because the characters constituting the subsequent line are all uppercase letters. And are far apart.
  • the separation condition (5) is satisfied.
  • the preceding and succeeding lines of the character string 55, the character string 56, and the character string 57 satisfy the coupling conditions, but are translated separately, so that the correct translation result of each character string can be presented to the user. it can.
  • the condition determination unit 24 when the combination condition is satisfied (YES in S4), the condition determination unit 24 further determines whether or not the two rows satisfy the separation condition (S5). When the separation condition is not satisfied (NO in S5), the condition determining unit 24 supplies the two rows to the extracted row combining unit 25. Next, the extracted row combining unit 25 combines two consecutive rows in the image (S6). Specifically, two rows supplied from the condition determination unit 24 that satisfy the joining condition and do not satisfy the separation condition are joined to generate a joined extraction row. On the other hand, when the joining condition is not satisfied (NO in S4), the condition determining unit 24 does not supply the two rows to the extracted row joining unit 25, and step S5 and step S6 are omitted.
  • the condition determining unit 24 does not supply the two rows to the extracted row combining unit 25, and step S6 is omitted.
  • step S6 is omitted.
  • the predetermined value in the separation condition described in the second embodiment is determined according to the character size. That is, the condition determination unit 24 according to the present embodiment determines a predetermined value in the separation conditions (5) and (7) according to the specified character size. In general, when the size of a character in a line included in a character string increases, the distance between two consecutive lines and the deviation of the first character in the two consecutive lines often increase.
  • FIG. 6 is a schematic diagram showing determination of a predetermined value in the separation condition.
  • the image 91 shown in FIG. 6A and the image 93 shown in FIG. 6B each include a character string 92 and a character string 94 that satisfy the combining condition (3).
  • the condition determination unit 24 sets the predetermined value of the separation condition (5) in the case of the image 91 smaller than the predetermined value of the separation condition (5) in the case of the image 93.
  • the distance between the preceding line and the succeeding line in the character string 92 and the distance between the preceding line and the following line in the character string 94 are the same (the length of the arrow in FIGS. 6A and 6B).
  • the preceding line and the following line in the character string 92 satisfy the separation condition (5), and are therefore translated separately.
  • the preceding line and the succeeding line in the character string 94 do not satisfy the separation condition (5), the preceding line and the succeeding line are combined and translated.
  • the image 95 shown in FIG. 6C includes a character string 96 that satisfies the combination condition (1).
  • the image 97 shown in FIG. 6D includes a character string 98 that satisfies the combining condition (2).
  • the condition determination unit 24 sets the predetermined value of the separation condition (7) in the case of the image 95 to be smaller than the predetermined value of the separation condition (7) in the case of the image 97.
  • the position of the first character in the preceding line and the succeeding line in the character string 96 is the same as the position of the first character in the preceding line and the succeeding line in the character string 98 ((( c) and the distance between the broken lines in FIG. 6D are equal)
  • the preceding line and the succeeding line in the character string 96 are translated separately in order to satisfy the separation condition (7).
  • the preceding line and the succeeding line in the character string 98 do not satisfy the separation condition (7), the preceding line and the succeeding line are combined and translated.
  • the control block of the smartphone 1 (in particular, the operation specifying unit 21, the image acquisition unit 22, the character string extraction unit 23, the condition determination unit 24, the extraction line combination unit 25, the translation unit 26, and the display control unit 27) is an integrated circuit (IC It may be realized by a logic circuit (hardware) formed on a chip) or the like, or may be realized by software using a CPU (Central Processing Unit).
  • IC integrated circuit
  • CPU Central Processing Unit
  • the smartphone 1 includes a CPU that executes instructions of a program that is software that realizes each function, a ROM (Read Memory) or a memory in which the program and various data are recorded so as to be readable by a computer (or CPU).
  • a device (these are referred to as “recording media”), a RAM (Random Access Memory) for expanding the program, and the like are provided.
  • the objective of this invention is achieved when a computer (or CPU) reads the said program from the said recording medium and runs it.
  • a “non-temporary tangible medium” such as a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used.
  • the program may be supplied to the computer via an arbitrary transmission medium (such as a communication network or a broadcast wave) that can transmit the program.
  • a transmission medium such as a communication network or a broadcast wave
  • the present invention can also be realized in the form of a data signal embedded in a carrier wave in which the program is embodied by electronic transmission.
  • the translation device (smart phone 1) according to the first aspect of the present invention is a translation device that translates a character string included in a captured image, and extracts the character string that includes a plurality of lines in units of lines.
  • the lines extracted by the means (character string extraction unit 23) and the character string extraction means whether two consecutive lines in the image satisfy a connection condition that is a condition based on the language characteristics of the character string If it is determined by the determination means (condition determination unit 24) and the determination means that the joining condition is satisfied, the two consecutive rows are combined and translated, and it is determined that the joining condition is not satisfied.
  • translation means (extracted line coupling unit 25, translation unit 26) for translating the two consecutive lines is provided.
  • the join condition is a condition indicating that there is a high possibility that a line break between two consecutive lines is in the sentence based on the characteristics of the language of the character string
  • a plurality of sentences to be originally translated as one sentence Can be prevented from being translated as a separate sentence.
  • the join condition is a condition indicating that there is a high possibility that a line break between two consecutive lines is in the sentence based on the language characteristics of the character string
  • the character string is a sentence break such as a punctuation mark.
  • the translation device is the translation apparatus according to aspect 1, in which the language of the character string is English, and the determination unit includes (1) a position after the two consecutive lines as the combination condition. (2) The part of speech of the word placed at the end of the previous line in the two consecutive lines is either a conjunction, preposition, or article. And (3) It may be determined whether or not at least one of the two consecutive rows above is composed of all capital letters is satisfied.
  • the character string when the character string is in English, it is determined whether or not two consecutive lines satisfy the above combination condition. Specifically, if the first character of the line extracted later is a lowercase letter, it is considered that the sentence continues from the previously extracted line, so it is determined that the lines should be combined. Also, if the part of speech of the word placed at the end of the previously extracted line is either a conjunction, preposition, or article, it is considered that the sentence continues on the line extracted later, so Judge that it should be. Also, even if the first character of the line extracted later is uppercase, if all the characters that make up the line are uppercase, the sentence may continue from the previous extracted line. And determine that they should be combined. As a result, when the character string is in English, the character string can be translated in sentence units. Therefore, it is possible to accurately translate a character string composed of a plurality of lines configured in English.
  • the translation apparatus is the translation apparatus according to Aspect 1 or 2, wherein the determination means includes at least one of the characteristics of characters constituting the two consecutive lines and the positional relationship between the two consecutive lines. It is further determined whether or not a separation condition that is a condition based on one of the above conditions is satisfied, and the translation means translates each of the two consecutive rows that do not combine the two consecutive conditions that satisfy the combination condition when the separation condition is satisfied. Also good.
  • the determination unit configures (4) the size of a character constituting one of the two consecutive lines and the other as the separation condition.
  • the difference from the character size exceeds a predetermined character size threshold; (5) the distance between the two consecutive lines exceeds a predetermined distance threshold; and (6) one of the two consecutive lines is configured.
  • the position of the first character of the two consecutive lines in the line direction of the character string exceeds a predetermined character position threshold. It may be determined whether or not at least one of them is satisfied.
  • the two rows are likely to be separate sentences.
  • two consecutive lines are separated by a predetermined distance or more, there is a high possibility that the two lines are separate sentences.
  • the color of a character constituting one of two consecutive lines is different from the color of a character constituting the other, the two lines are likely to be separate sentences.
  • the position of the first character in two consecutive lines is more than a predetermined value, there is a high possibility that the two consecutive lines are separate sentences.
  • the character string consisting of can be translated with higher accuracy.
  • the translation apparatus further includes character size determination means (condition determination unit 24) that determines the size of the character that constitutes the line extracted by the character string extraction means in the aspect 4.
  • the determination unit may determine the distance threshold and the character position threshold according to the character size determined by the character size determination unit.
  • the distance between two consecutive lines and the value for determining the displacement of the position of the first character in the two consecutive lines are determined by the size of the characters that make up the extracted line.
  • the translation device may be realized by a computer.
  • the translation device is realized by the computer by causing the computer to operate as each unit included in the translation device.
  • a control program and a computer-readable recording medium on which the control program is recorded also fall within the scope of the present invention.
  • the present invention can be used in a translation device that translates a character string included in a captured image.
  • a translation device that translates a character string included in a captured image.
  • it is suitable for smartphones, tablet terminals, digital cameras, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)
  • Document Processing Apparatus (AREA)

Abstract

　複数の行からなる文字列から抽出された行のうち、画像において連続する２つの行が文字列の言語の特徴に基づく条件である結合条件を満たすか否かを判定する条件判定部（２４）と、上記結合条件を満たすと判定された場合、上記連続する２つの行を結合して翻訳する抽出行結合部（２５）および翻訳部（２６）と、を備える。

Description

翻訳装置
　本発明は、撮像された画像に含まれる文字列を翻訳する翻訳装置に関する。
　従来、外国語の意味を知るために、カメラで撮影した画像に含まれる外国語の翻訳結果を、当該画像上に表示する技術がある。この技術において、画像に含まれる文字列の抽出は、光学文字認識（Optical character recognition、以下、ＯＣＲと呼称する）を用いることが多い。通常、ＯＣＲにおいては行単位で文字列を抽出するが、一方で、翻訳精度を向上させるためには文字列を文単位で翻訳することが重要である。そのため、行単位で抽出した文字列の文の終わりを判断する技術が知られている。例えば、特許文献１には、句点で文の終わりを判断する技術が開示されているとともに、文字列が英数字や名詞のみで構成されている場合は、句点が無くても一文として判断する技術が開示されている。
日本国公開特許公報「特開２０１１－８１５１６号公報（２０１１年４月２１日公開）」 日本国公開特許公報「特開平６－８４０１９号公報（１９９４年３月２５日公開）」 日本国公開特許公報「特開平８－１４７２７２号公報（１９９６年６月７日公開）」
　しかしながら、従来の技術は、文字列の文の終わりを判断するには十分ではない。例えば、特許文献１の技術では、文字列に句点が無い場合は精度よく判定できないという問題がある。この問題は、外国語で書かれた看板やメニューなど、句点が省略されることが多いものを撮影した画像において特に顕著となる。文の終わりを精度よく判断できなければ、翻訳結果も精度が悪いものとなってしまう。
　本発明は、上記の問題点に鑑みてなされたものであり、その目的は、複数行からなる文字列を精度よく翻訳することができる翻訳装置等を実現することにある。
　上記の課題を解決するために、本発明の一態様に係る翻訳装置は、撮像された画像に含まれる文字列を翻訳する翻訳装置であって、複数の行からなる上記文字列を行単位で抽出する文字列抽出手段と、上記文字列抽出手段により抽出された行のうち、上記画像において連続する２つの行が上記文字列の言語の特徴に基づく条件である結合条件を満たすか否かを判定する判定手段と、上記判定手段により上記結合条件を満たすと判定された場合、上記連続する２つの行を結合して翻訳し、上記結合条件を満たさないと判定された場合、上記連続する２つの行をそれぞれ翻訳する翻訳手段と、を備える。
　本発明の一態様によれば、複数行からなる文字列を精度よく翻訳することができる翻訳装置を実現することができる。
一実施形態に係るスマートフォンの要部構成を示すブロック図である。 文字列の翻訳における結合条件の一例を示す模式図である。 文字列の翻訳における結合条件の別の例を示す模式図である。 文字列の翻訳における分離条件の一例を示す模式図である。 文字列の翻訳における分離条件の別の例を示す模式図である。 分離条件における所定の値の決定を示す模式図である。 図１に示すスマートフォンの処理の流れを示すフローチャートである。
　以下、本発明の実施形態について、詳細に説明する。以下で説明する実施形態では、本発明をスマートフォンに適用した例を説明する。なお、適用例はスマートフォンに限定されず、撮像された画像に含まれる文字列を翻訳することが可能な翻訳装置であれば、本発明を適用可能である。また、説明の便宜上、各実施形態に示した部材と同一の機能を有する部材については、同一の符号を付し、適宜その説明を省略する。さらに、各図面に記載した構成の形状、並びに、長さ、大きさおよび幅などの寸法は、実際の形状や寸法を反映させたものではなく、図面の明瞭化と簡略化のために適宜変更している。
　〔実施形態１〕
　本発明の一実施形態において、図１～３、および７に基づいて説明すれば以下のとおりである。まず、図１および図２を参照して、本実施形態に係るスマートフォン１の概要について説明する。図１は、スマートフォン１の要部構成を示すブロック図であり、図２は、文字列の翻訳における結合条件の一例を示す模式図である。
　図１に示すように、本実施形態に係るスマートフォン１は、撮像された画像に含まれる文字列を翻訳するスマートフォンであって、複数の行からなる上記文字列を行単位で抽出する文字列抽出部２３（文字列抽出手段）と、文字列抽出部２３により抽出された行のうち、上記画像において連続する２つの行が上記文字列の言語の特徴に基づく条件である結合条件を満たすか否かを判定する条件判定部２４（判定手段、文字サイズ判定手段）と、条件判定部２４により上記結合条件を満たすと判定された場合、上記連続する２つの行を結合して翻訳し、上記結合条件を満たさないと判定された場合、上記連続する２つの行をそれぞれ翻訳する抽出行結合部２５および翻訳部２６（翻訳手段）とを備える。
　具体例を、図２を参照して説明する。図２に示すように、スマートフォン１の表示部１２には撮像した英語の文字列５１が含まれている画像４１が表示されている。本実施形態に係るスマートフォン１は、文字列５１を行単位で抽出するが、抽出した行のうち連続する２つの行である抽出行６１および抽出行６２が文字列の言語の特徴に基づく条件である結合条件を満たす場合は、これらを結合して結合抽出行６３とし、翻訳する。
　これにより、結合条件が、文字列の言語の特徴に基づく、連続する２つの行の間の改行箇所が文中である可能性が高いことを示す条件である場合、本来一文として翻訳されるべき複数の行が、別文として翻訳されることを防止できる。また、文字列５１は、図２の（ａ）に示すように句読点などの文の区切りがない英文であるが、本実施形態に係るスマートフォン１は、文の区切りを示す記号を含まないものであっても、本来一文として翻訳されるべき複数の行を正しく一文として翻訳することができる。
　次に、図１を参照して、スマートフォン１の要部構成について説明する。図１に示すように、スマートフォン１は、操作部１１、表示部１２、制御部１３、撮像部１４、および記憶部１５を備えている。
　操作部１１は、ユーザによる入力操作を受け付ける入力デバイスである。本実施形態における操作部１１は、表示部１２とタッチパネルを構成しており、指示体（指またはペンなど）の接触（接近も含む）を受け付ける入力面と、指示体が入力面に接触したことを検知するとともに、入力面における指示体が接触した位置（座標）を検知するタッチセンサとで構成されている。タッチセンサは、指示体と入力面との接触／非接触を検知できればどのようなセンサで実現されていても構わない。例えば、圧力センサや静電容量センサなどで実現される。また、操作部１１は、検知した座標を後述する操作特定部２１に出力する。なお、操作部１１はタッチパネルに限定されず、物理キーなどであってもよい。
　表示部１２は、スマートフォン１が処理する情報を画像として表示領域に表示する表示デバイスである。具体的には、表示部１２は、後述する表示制御部２７によって処理された情報が表示される。表示制御部２７によって処理される情報の一例として、表示部１２は、スマートフォン１が撮像した画像に含まれる文字列を翻訳した翻訳文字列を表示する。なお、表示部１２は、例えば、ＬＣＤ（液晶ディスプレイ）などの表示デバイスで構成される。また、上述したように、本実施形態における表示部１２は、操作部１１と一体となり、タッチパネルを構成している。
　制御部１３は、スマートフォン１が備える各部を統括制御するものである。制御部１３は、操作特定部２１、画像取得部２２、文字列抽出部２３、条件判定部２４、抽出行結合部２５、翻訳部２６、および表示制御部２７を含んでいる。
　操作特定部２１は、操作部１１が受け付けた入力操作を特定するものである。具体的には、操作特定部２１は、上記入力操作における座標、指示体が入力面に接触していた時間、および、入力面に接触した指示体の移動方向などに基づいて、当該入力操作を特定する。そして、特定した入力操作に応じて、制御部１３内の各部が実行する処理を指示する。例えば、操作特定部２１は、後述する撮像部１４を動作させるための入力操作を特定し、画像取得部２２に指示して、撮像部１４を動作させる。
　画像取得部２２は、後述する撮像部１４を動作させて画像を取得するものである。具体的には、画像取得部２２は、操作特定部２１からの指示を受けて、撮像部１４に画像を撮影させる。そして、撮像部１４が撮影した画像を取得し、取得した画像を文字列抽出部２３に供給する。なお、本実施形態における画像取得部２２は、撮像部１４が撮影した画像を取得する構成であるが、この例に限定されない。例えば、画像取得部２２は、操作特定部２１からの指示を受けて、後述する記憶部１５に記憶されている画像を読み出して、読み出した画像を文字列抽出部２３に供給してもよい。また、取得する画像は写真などの静止画像であってもよいし、動画などの映像であってもよいし、撮像部１４で画像を撮影するために表示部１２に表示される、いわゆるスルー画像であってもよい。
　文字列抽出部２３は、画像に含まれる文字列を抽出するものである。具体的には、文字列抽出部２３は、画像取得部２２から供給される画像に文字列が含まれている場合、当該文字列を行単位で抽出する。なお、文字列を抽出する技術については、例えば既存の光学文字認識技術を使用することができる。また、抽出された行を示す情報（以降、抽出行と呼称する）は、画像における配置関係を識別できる情報であることが好ましい。例えば、文字列抽出部２３は、画像に含まれる文字列の行を上から順番に抽出し、抽出した順に並ぶテーブル形式の情報に変換してもよい。なお、抽出行は、画像における配置関係を識別できる情報であれば、上記の例に限定されない。また、文字列抽出部２３は、文字列を構成する行をすべて抽出した後、抽出行を条件判定部２４に供給する。
　条件判定部２４は、抽出行が所定の条件を満たすか否かを判定するものである。具体的には、条件判定部２４は、後述する結合条件格納部３１に格納された結合条件を読み出す。そして、条件判定部２４は、文字列抽出部２３から供給された抽出行のうち、画像において連続する２つの抽出行が上記結合条件を満たすか否かを判定する。そして、結合条件を満たすと判定された上記連続する２つの抽出行を、抽出行結合部２５に供給する。さらに、条件判定部２４は、抽出行結合部２５から供給された結合抽出行と、画像取得部２２において連続する抽出行とが、上記結合条件を満たすか否かを判定する。ここで、結合抽出行と、結合抽出行に連続する抽出行とが結合条件を満たすと判定された場合、当該結合抽出行および抽出行を、抽出行結合部２５に供給する。最後に、条件判定部２４は、すべての抽出行の判定が終了すると、判定が終了した結合抽出行および抽出行を、翻訳部２６に供給する。
　ここで、結合条件とは、文字列の言語の特徴に基づく条件であり、具体的には、連続する２つの行の間の改行箇所が文中である可能性が高いことを示す、文字列の言語の特徴である。例えば、文字列の言語が英語である場合の結合条件の例としては、以下のものが挙げられる。（１）画像取得部２２が取得した画像において連続する２つの行のうち、後に位置する行の先頭文字が小文字である。（２）上記連続する２つの行のうち、前に位置する行の最後に配置された単語の品詞が接続詞、前置詞、または冠詞のいずれかである。（３）上記連続する２つの行のうち、後に位置する行が全て大文字で構成されている。
　本実施形態に係る条件判定部２４は、後述する結合条件格納部３１に格納されている上記結合条件（１）～（３）を読み出し、上記連続する２つの行が上記結合条件（１）～（３）のうち少なくともいずれか１つを満たすか否かを判定する。このため、本実施形態に係る条件判定部２４は、抽出行を構成する文字が大文字であるか小文字であるかを判定する機能、および、抽出行の最後に配置された単語の品詞を特定する機能を備える。なお、結合条件は上述したものに限定されない。すなわち、結合条件は、画像取得部２２が取得した画像に含まれる文字列の言語の特徴に基づく、連続する２つの行の間の改行箇所が文中である可能性が高いことを示す条件であればよい。また、条件判定部２４が備える機能は上記のものに限定されず、結合条件に応じた機能を備えていればよい。
　抽出行結合部２５は、結合条件を満たす連続する２つの抽出行を結合するものである。具体的には、抽出行結合部２５は、条件判定部２４から供給された上記連続する２つの抽出行を結合し、結合抽出行を生成する。そして、抽出行結合部２５は、生成した結合抽出行を、未判定の抽出行として条件判定部２４に供給する。
　翻訳部２６は、抽出行および結合抽出行を翻訳するものである。具体的には、翻訳部２６は、後述する翻訳データ格納部３３から読み出した翻訳データに基づいて、条件判定部２４から供給された抽出行および結合抽出行を翻訳する。なお、翻訳データの詳細については後述する。また、翻訳部２６による翻訳処理（例えば、英語から日本語への翻訳処理）は、既存の翻訳技術を使用することができる。翻訳部２６は、抽出行および結合抽出行を翻訳した結果である翻訳文字列を、表示制御部２７に供給する。
　表示制御部２７は、表示部１２に表示する画像を決定するものである。具体的には、表示制御部２７は、翻訳部２６から翻訳文字列を供給されると、当該翻訳文字列を画像として表示部１２に表示する。例えば表示制御部２７は、表示部１２において文字列が表示されている領域を特定し、翻訳文字列を特定した領域に表示させてもよい。これにより、翻訳文字列は文字列に重畳されることとなる。よってユーザは、撮像部１４によって撮像した画像のレイアウトを損なうことなく、文字列が翻訳された画像を得ることができる。なお、翻訳文字列の表示形態は上記の例に限定されない。例えば、文字列の近傍に翻訳文字列を表示してもよいし、撮像した画像を表示せず、翻訳文字列のみを表示してもよい。
　撮像部１４は、対象物を撮像するための撮像デバイスであり、いわゆるカメラである。撮像部１４としては、スマートフォン１に一般的に搭載されている、既存のカメラを用いることができる。なお、撮像部１４は、写真などの静止画像を撮像するものであってもよいし、動画などの映像を撮像するものであってもよい。また、静止画像および映像の両方を撮像可能であってもよい。撮像部１４は、画像取得部２２によって制御され、対象物を撮像する。また、撮像部１４は、撮像した静止画像や映像を画像取得部２２に出力する。
　記憶部１５は、スマートフォン１にて使用される各種データを記憶する記憶デバイスである。図１に示すように、記憶部１５は、結合条件格納部３１、および翻訳データ格納部３３を含む。さらに、図１に示すように、分離条件格納部３２を含んでもよい。分離条件格納部３２を含む形態については、後述する実施形態２にて説明する。
　結合条件格納部３１は、条件判定部２４が抽出行を結合するか否かを判定するための結合条件を格納している。本実施形態に係る結合条件格納部３１は少なくとも、上述した結合条件（１）～（３）を格納している。翻訳データ格納部３３は、翻訳部２６が抽出行および結合抽出行を翻訳するために使用する各種データを格納している。具体的には、文字列に含まれる単語、連語、熟語などを翻訳するための辞書データ（例えば、英和辞書データなど）や、翻訳前後の言語の文法規則などが格納されている。
　次に、図２および図３を参照して、結合条件を満たす文字列の具体例について説明する。図３は、文字列の翻訳における結合条件の別の例を示す模式図である。図２の（ａ）に示すように、表示部１２に表示されている画像４１は文字列５１を含んでいる。文字列５１は２行からなる一文であるため、図２の（ｂ）に示すように、文字列抽出部２３は文字列５１を抽出行６１と抽出行６２として抽出する。ここで、抽出行６１および抽出行６２をそのまま翻訳すると、一文を途中で分割して翻訳することとなる。その結果、翻訳結果７１および翻訳結果７２が得られるが、これらはユーザの望む正しい翻訳結果ではない。
　そこで、本実施形態に係る条件判定部２４は、抽出行６１および抽出行６２が上述した結合条件（１）～（３）を満たすか否かを判定する。図２の例の場合、連続する２つの行である抽出行６１および抽出行６２のうち、後に位置する行である抽出行６２の先頭文字が小文字であるため、抽出行６１および抽出行６２は、結合条件（１）を満たす。これにより、抽出行結合部２５は抽出行６１および抽出行６２を結合し、結合抽出行６３を生成する。そして、図２の（ｃ）に示すように、翻訳部２６は生成された結合抽出行６３を翻訳するので、ユーザが望む正しい翻訳結果である翻訳結果７３が得られる。最後に、図２の（ｄ）に示すように、翻訳結果７３が翻訳後文字列８１として表示部１２に表示されることで、ユーザに文字列５１の正しい翻訳結果を提示することができる。
　次に、図３の（ａ）に示すように、画像４２は２行からなる文字列５２を含んでいる。ここで、文字列５２の前行の最後に配置された単語は、前置詞である“ｗｉｔｈ”であるため、上述した結合条件（２）を満たしている。そのため、文字列５２の前行と後行は結合されて結合抽出行として翻訳される。その結果、図３の（ｂ）に示すように、文字列５２が正しく翻訳された翻訳後文字列８２が表示部１２に表示される。
　また、図３の（ｃ）に示すように、画像４３は２行から成る文字列５３を含んでいる。ここで、文字列５３の後行はすべて大文字で構成されているため、上述した結合条件（３）を満たしている。そのため、文字列５３の前行と後行は結合されて結合抽出行として翻訳される。その結果、図３の（ｄ）に示すように、文字列５３が正しく翻訳された翻訳後文字列８３が表示部１２に表示される。
　次に、図７を参照して、スマートフォン１が実行する処理の流れについて説明する。図７は、スマートフォン１が実行する処理の流れの一例を示すフローチャートである。なお、本実施形態は、条件判定部２４が結合条件を満たすか否かのみ判定する構成であるため、ステップＳ５は省略される。
　まず、画像取得部２２は画像を取得する（Ｓ１）。例えば、画像取得部２２は、撮像部１４を動作させることによりスマートフォン１の周囲を撮像することで画像を取得する。画像取得部２２は、文字列抽出部２３に取得した画像を供給する。なお、ここで取得した画像には、複数の行からなる文字列が含まれているものとする。次に、文字列抽出部２３は、画像に含まれる文字列を行単位で抽出する（Ｓ２）。そして、文字列抽出部２３は、抽出した行を示す情報（抽出行）を、条件判定部に供給する。次に、条件判定部２４は、抽出された各行について結合条件を満たすか否かを判定する（Ｓ３）。具体的には、画像取得部２２が取得した画像において連続する２行が結合条件を満たすか否かを判定する。結合条件を満たしている場合（Ｓ４でＹＥＳ）、抽出行結合部２５は、画像において連続する２行を結合する（Ｓ６）。具体的には、条件判定部２４から供給された、結合条件を満たす２行を結合し、結合抽出行を生成する。そして、生成した結合抽出行を未判定の抽出行として条件判定部２４に供給する。一方、結合条件を満たしていない場合（Ｓ４でＮＯ）、条件判定部２４は、当該２行を抽出行結合部２５に供給せず、ステップＳ６は省略される。
　条件判定部２４がすべての行の判定を終了していない場合（Ｓ７でＮＯ）、ステップＳ４に戻り、判定していない連続する２行について、ステップＳ４からステップＳ６の処理を実行する。すべての行の判定が終了している場合（Ｓ７でＹＥＳ）、条件判定部２４は、結合抽出行および抽出行を、翻訳部２６に供給する。次に、翻訳部２６は、文字列を翻訳する（Ｓ８）。具体的には、条件判定部２４から供給された抽出行および結合抽出行を、翻訳データ格納部３３から読み出した翻訳データに基づいて翻訳する。そして、翻訳部２６は、抽出行および結合抽出行を翻訳した結果である翻訳文字列を、表示制御部２７に供給する。最後に、表示制御部２７は、翻訳した文字列を表示する（Ｓ９）。具体的には、表示制御部２７は、翻訳部２６から翻訳文字列を供給されると、当該翻訳文字列を画像として表示部１２に表示する。
　〔実施形態２〕
　次に、本発明の別の実施形態について、図１、図４～５、および図７を参照して説明すれば、以下のとおりである。実施形態１では、条件判定部２４は、結合条件を満たすか否かを判定する構成であったが、本実施形態では、条件判定部２４は、結合条件に加え、上記連続する２つの抽出行が、分離条件格納部３２に格納された分離条件を満たすか否かを判定する構成である。分離条件格納部３２は、条件判定部２４が抽出行を結合するか否かを判定するための分離条件を格納している。本実施形態に係る分離条件格納部３２は少なくとも、後述する分離条件（４）～（７）を格納している。
　ここで、分離条件とは、結合条件を満たす上記連続する２つの行における例外を示す条件である。すなわち、結合条件を満たしているものの、別文である可能性が高い上記連続する２つの行を結合させないための条件である。つまり、条件判定部２４は、結合条件を満たし、かつ、分離条件を満たさないと判定された上記連続する２つの抽出行を、抽出行結合部２５に供給し、抽出行結合部２５は、結合条件を満たし、かつ、分離条件を満たさない連続する２つの抽出行を結合する。
　また、具体的には、分離条件は、上記連続する２つの行を構成する文字の特徴、および、上記連続する２つの行の位置関係のうち少なくとも一方に基づく条件であり、上記連続する２つの行が別文である可能性が高いことを示す、上記連続する２つの行を構成する文字の特徴または位置関係である。例えば、分離条件の例としては以下のものが挙げられる。（４）画像取得部２２が取得した画像における連続する２つの行のうち一方を構成する文字のサイズと、他方を構成する文字のサイズとの差が所定の閾値（文字サイズ閾値）を超える。（５）上記連続する２つの行の距離が所定の閾値（距離閾値）を超える。（６）上記連続する２つの行のうち一方を構成する文字の色と、他方を構成する文字の色とが異なる。（７）上記文字列の行方向における、上記連続する２つの行の先頭文字の位置が所定の閾値（文字位置閾値）を超えて離れている。
　本実施形態に係る条件判定部２４は、後述する分離条件格納部３２に格納されている上記分離条件（４）～（７）を読み出し、上記連続する２つの行が上記分離条件（４）～（７）のうち少なくともいずれか１つを満たすか否かを判定する。このため、本実施形態に係る条件判定部２４はさらに、上記連続する２つの行を構成する文字のサイズを特定し、一方の行における文字のサイズと他方の行における文字のサイズとの差が上記文字サイズ閾値を超えるか否かを判定する機能、上記連続する２つの行の距離を特定し、当該距離が上記距離閾値を超えるか否かを判定する機能、上記連続する２つの行における文字の色を特定し、一方の行における文字の色と他方の行における文字の色とが同じか否かを判定する機能、および文字列の行方向における、上記連続する２つの行の先頭文字の位置を特定し、当該位置が上記文字位置閾値を超えて離れているか否かを判定する機能を備える。なお、分離条件は上述したものに限定されない。すなわち分離条件は、画像取得部２２が取得した画像に含まれる文字列における、上記連続する２つの行を構成する文字の特徴または位置関係が上記連続する２つの行が別文である可能性が高いことを示すものであればよい。また、条件判定部２４が備える機能は上記のものに限定されず、分離条件に応じた機能を備えていればよい。
　次に、図４および図５を参照して、分離条件を満たす文字列の具体例について説明する。図４は、文字列の翻訳における分離条件の一例を示す模式図であり、図５は、文字列の翻訳における分離条件の別の例を示す模式図である。図４の（ａ）に示すように、表示部１２に表示されている画像４４は、文字列５４を含んでいる。文字列５４は２行からなるため、図４の（ｂ）に示すように、文字列抽出部２３は、文字列５４を抽出行６４と抽出行６５として抽出する。そして、条件判定部２４は、抽出行６４および抽出行６５が上述した結合条件（１）～（３）を満たすか否かを判定する。図４の例の場合、連続する２つの行である抽出行６４および抽出行６５のうち、後に位置する行である抽出行６５の先頭文字が小文字であるため、抽出行６４および抽出行６５は、結合条件（１）を満たす。
　ここでさらに、条件判定部２４は、抽出行６４および抽出行６５が上述した分離条件（４）～（７）を満たすか否かを判定する。図４の例の場合、抽出行６４と抽出行６５は文字のサイズが大きく異なる。ここで、抽出行６４の文字のサイズと抽出行６５の文字のサイズとの差が所定の値以上であった場合、抽出行６４および抽出行６５は、分離条件（４）を満たす。よって、抽出行結合部２５は抽出行６４と抽出行６５とを結合せず、翻訳部２６は抽出行６４および抽出行６５をそれぞれ翻訳する。その結果、図４の（ｂ）に示すように、ユーザが望む正しい翻訳結果である翻訳結果７４および翻訳結果７５が得られる。最後に、図４の（ｃ）に示すように、翻訳結果７４および翻訳結果７５が、翻訳後文字列８４として表示部１２に表示されることで、ユーザに文字列５４の正しい翻訳結果を提示することができる。
　また、図５の（ａ）に示す画像４５に含まれる文字列５５は、後行の先頭文字が小文字であるため、結合条件（１）を満たすが、前行と後行の文字の色が異なるため、分離条件（６）を満たす。さらに、図５の（ｂ）に示す画像４６に含まれる文字列５６は、後行の先頭文字が小文字であるため、結合条件（１）を満たすが、前行と後行の開始位置が大きく異なる。換言すれば、文字列の行方向に一次元座標を設定したとき、前行の先頭文字の座標と後行の先頭文字の座標とが大きく異なる。ここで、前行と後行の先頭文字の位置（座標）が所定の値以上離れている場合は、分離条件（７）を満たす。また、図５の（ｃ）に示すように、画像４７に含まれる文字列５７は、後行を構成する文字が全て大文字であるため、結合条件（３）を満たすが、前行と後行とが大きく離れている。ここで、前行と後行との距離が所定の値以上である場合は、分離条件（５）を満たす。以上により、文字列５５、文字列５６、文字列５７の前行と後行は、結合条件を満たすものの、それぞれ別々に翻訳されるため、ユーザに各文字列の正しい翻訳結果を提示することができる。
　次に、図７を参照して、スマートフォン１が実行する処理の流れについて説明する。なお、実施形態１にて既に説明した処理と同様の処理を行うステップについては、その詳細な説明を省略する。
　本実施形態に係るスマートフォン１においては、結合条件を満たしている場合（Ｓ４でＹＥＳ）、条件判定部２４はさらに、当該２行が分離条件を満たしているか否かを判定する（Ｓ５）。分離条件を満たしていない場合（Ｓ５でＮＯ）、条件判定部２４は、当該２行を抽出行結合部２５に供給する。次に、抽出行結合部２５は、画像において連続する２行を結合する（Ｓ６）。具体的には、条件判定部２４から供給された、結合条件を満たし、かつ、分離条件を満たさない２行を結合し、結合抽出行を生成する。一方、結合条件を満たしていない場合（Ｓ４でＮＯ）、条件判定部２４は、当該２行を抽出行結合部２５に供給せず、ステップＳ５およびステップＳ６は省略される。また、分離条件を満たしている場合（Ｓ５でＹＥＳ）、条件判定部２４は、当該２行を抽出行結合部２５に供給せず、ステップＳ６は省略される。
〔実施形態３〕
　次に、本発明のさらに別の実施形態について、図６を参照して説明すれば、以下のとおりである。本実施形態では、実施形態２で説明した分離条件における所定の値を、文字サイズに応じて決定する構成について説明する。すなわち、本実施形態に係る条件判定部２４は、特定した上記文字のサイズに応じて、上記分離条件（５）および（７）における所定の値を決定する。一般に、文字列に含まれる行の文字のサイズが大きくなると、連続する２つの行の距離や、連続する２つの行の先頭文字のずれは大きくなることが多い。つまり、これらを判定するための値が文字のサイズによらず一定だった場合、文字のサイズが大きくなると、本来分離条件を満たしていないと判定されるべき連続する２つの行が、分離条件を満たすと誤判定されるおそれがある。このため、上記所定の値を文字のサイズに応じて変化させることで、誤判定の可能性を低くすることができる。
　図６は、分離条件における所定の値の決定を示す模式図である。図６の（ａ）に示す画像９１と図６の（ｂ）に示す画像９３とはそれぞれ、結合条件（３）を満たす文字列９２と文字列９４とを含んでいる。ここで画像９１と画像９３とを比較すると、文字列９２を構成する文字のサイズは文字列９４を構成する文字のサイズと比べて小さい。そのため、条件判定部２４は、画像９１の場合における分離条件（５）の所定の値を、画像９３の場合における分離条件（５）の所定の値に比べて小さく設定する。よって、文字列９２における前行と後行との距離と文字列９４における前行と後行との距離とは同じである（図６の（ａ）および図６の（ｂ）における矢印の長さが等しい）が、文字列９２における前行と後行とは分離条件（５）を満たすため、それぞれ別々に翻訳される。一方、文字列９４における前行と後行とは分離条件（５）を満たさないため、前行と後行とは結合され、翻訳される。
　また、図６の（ｃ）に示す画像９５は、結合条件（１）を満たす文字列９６を含んでいる。さらに、図６の（ｄ）に示す画像９７は、結合条件（２）を満たす文字列９８を含んでいる。ここで、画像９５と画像９７とを比較すると、文字列９６を構成する文字のサイズは、文字列９８を構成する文字のサイズと比べて小さい。そのため、条件判定部２４は、画像９５の場合における分離条件（７）の所定の値を、画像９７の場合における分離条件（７）の所定の値に比べて小さく設定する。これにより、座標９９を設定したとき、文字列９６における前行および後行の先頭文字の位置と、文字列９８における前行および後行の先頭文字の位置とは同じである（図６の（ｃ）および図６の（ｄ）における破線間の距離が等しい）が、文字列９６における前行と後行とは分離条件（７）を満たすため、それぞれ別々に翻訳される。一方、文字列９８における前行と後行とは分離条件（７）を満たさないため、前行と後行とは結合され、翻訳される。
　以上により、連続する２つの行の距離や、連続する２つの行における先頭文字の位置を判定するための値を文字のサイズに応じて決定するので、誤判定の可能性を低くすることができる。
　〔ソフトウェアによる実現例〕
　スマートフォン１の制御ブロック（特に、操作特定部２１、画像取得部２２、文字列抽出部２３、条件判定部２４、抽出行結合部２５、翻訳部２６、表示制御部２７）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
　後者の場合、スマートフォン１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　〔まとめ〕
　本発明の態様１に係る翻訳装置（スマートフォン１）は、撮像された画像に含まれる文字列を翻訳する翻訳装置であって、複数の行からなる上記文字列を行単位で抽出する文字列抽出手段（文字列抽出部２３）と、上記文字列抽出手段により抽出された行のうち、上記画像において連続する２つの行が上記文字列の言語の特徴に基づく条件である結合条件を満たすか否かを判定する判定手段（条件判定部２４）と、上記判定手段により上記結合条件を満たすと判定された場合、上記連続する２つの行を結合して翻訳し、上記結合条件を満たさないと判定された場合、上記連続する２つの行をそれぞれ翻訳する翻訳手段（抽出行結合部２５、翻訳部２６）と、を備える。
　上記構成によれば、連続する２つの行が結合条件を満たす場合は結合して翻訳する。一方、結合条件を満たさない場合は結合せず、それぞれを翻訳する。ここで、結合条件が、文字列の言語の特徴に基づく、連続する２つの行の間の改行箇所が文中である可能性が高いことを示す条件である場合、本来一文として翻訳されるべき複数の行が、別文として翻訳されることを防止できる。また、結合条件が、文字列の言語の特徴に基づく、連続する２つの行の間の改行箇所が文中である可能性が高いことを示す条件である場合、文字列が句読点などの文の区切りを示す記号を含まないものであっても、本来一文として翻訳されるべき複数の行を正しく一文として翻訳することができる。以上より、複数行からなる文字列を精度よく翻訳することができる翻訳装置を実現することができる。
　本発明の態様２に係る翻訳装置は、上記態様１において、上記文字列の言語は英語であり、上記判定手段は、上記結合条件として、（１）上記連続する２つの行のうち、後に位置する行の先頭文字が小文字であること、（２）上記連続する２つの行のうち、前に位置する行の最後に配置された単語の品詞が接続詞、前置詞、または冠詞のいずれかであること、および、（３）上記連続する２つの行のうち、後に位置する行がすべて大文字で構成されていること、のうち少なくともいずれか１つを満たすか否かを判定してもよい。
　上記の構成によれば、文字列が英語の場合に、連続する２つの行が、上記結合条件を満たすか否かを判定する。具体的には、後に抽出された行の先頭文字が小文字である場合は、前に抽出された行から文が続いていると考えられるため、結合すべきと判定する。また、前に抽出された行の最後に配置された単語の品詞が、接続詞、前置詞、または冠詞のいずれかである場合は、後に抽出された行に文が続いていると考えられるため、結合すべきと判定する。また、後に抽出された行の先頭文字が大文字であったとしても、当該行を構成するすべての文字が大文字である場合は、前に抽出された行から文が続いている可能性があるため、結合すべきと判定する。これにより、文字列が英語の場合に、文字列を文単位で翻訳することが可能となる。よって、英語で構成された複数行からなる文字列を精度よく翻訳することができる。
　本発明の態様３に係る翻訳装置は、上記態様１または２において、上記判定手段は、上記連続する２つの行を構成する文字の特徴、および、上記連続する２つの行の位置関係のうち少なくとも一方に基づく条件である分離条件を満たすか否かをさらに判定し、上記翻訳手段は、上記分離条件を満たす場合は上記結合条件を満たす上記連続する２つの行を結合せず、それぞれ翻訳してもよい。
　上記の構成によれば、結合条件を満たす場合であっても、連続する２つの行を構成する文字の特徴、または、連続する２つの行の位置関係に基づく離条件を満たす場合は、連続する２つの行を結合しない。ここで、上記文字の特徴または上記位置関係（分離条件）が、連続する２つの行が別文である可能性が高いことを示すものである場合、結合条件を満たしていても、別文である可能性が高い２つの行をそれぞれ別文として正しく翻訳することができる。よって、複数行からなる文字列をさらに精度よく翻訳することができる。
　本発明の態様４に係る翻訳装置は、上記態様３において、上記判定手段は、上記分離条件として、（４）上記連続する２つの行のうち一方を構成する文字のサイズと、他方を構成する文字のサイズとの差が所定の文字サイズ閾値を超えること、（５）上記連続する２つの行の距離が所定の距離閾値を超えること、（６）上記連続する２つの行のうち一方を構成する文字の色と、他方を構成する文字の色とが異なること、（７）上記文字列の行方向における、上記連続する２つの行の先頭文字の位置が所定の文字位置閾値を超えて離れていること、のうち少なくともいずれか１つを満たすか否かを判定してもよい。
　上記の構成によれば、連続する２つの行のうち一方を構成する文字のサイズと、他方を構成する文字のサイズとが大きく異なる場合は、２つの行は別文である可能性が高い。また、連続する２つの行が所定の距離以上離れている場合も、２つの行は別文である可能性が高い。同様に、連続する２つの行のうち一方を構成する文字の色と、他方を構成する文字の色とが異なる場合も、２つの行は別文である可能性が高い。さらに、連続する２つの行における先頭文字の位置が所定の値以上離れている場合も、連続する２つの行は別文である可能性が高い。以上より、このような条件、換言すれば、連続する２つの行が別文である可能性が高いことを示す条件を満たす場合に連続する２つの行を結合しないようにすることで、複数行からなる文字列をさらに精度よく翻訳することができる。
　本発明の態様５に係る翻訳装置は、上記態様４において、上記文字列抽出手段によって抽出された行を構成する上記文字のサイズを判定する文字サイズ判定手段（条件判定部２４）をさらに備え、上記判定手段は、上記文字サイズ判定手段によって判定された上記文字のサイズに応じて、上記距離閾値および上記文字位置閾値を決定してもよい。
　上記の構成によれば、連続する２つの行の距離、および、連続する２つの行における先頭文字の位置のずれを判定するための値は、抽出された行を構成する文字のサイズによって決定される。一般に、文字列に含まれる行の文字のサイズが大きくなると、連続する２つの行の距離や、連続する２つの行の先頭文字の位置のずれは大きくなることが多い。つまり、これらを判定するための値が文字のサイズによらず一定である場合、文字のサイズが大きくなると、本来分離条件を満たしていないと判定されるべき連続する２つの行が、分離条件を満たすと誤判定されるおそれがある。そのため、連続する２つの行の距離や、連続する２つの行における先頭文字の位置のずれを判定するための値を文字のサイズに応じて決定することで、誤判定の可能性を低くすることができる。
　本発明の各態様に係る翻訳装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記翻訳装置が備える各手段として動作させることにより上記翻訳装置をコンピュータにて実現させる翻訳装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
　本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
　本発明は、撮像された画像に含まれる文字列を翻訳する翻訳装置に利用することができる。特に、スマートフォン、タブレット端末、デジタルカメラなどに好適である。
　１　スマートフォン（翻訳装置）、２３　文字列抽出部（文字列抽出手段）、２４　条件判定部（判定手段、文字サイズ判定手段）、２５　抽出行結合部（翻訳手段）、２６　翻訳部（翻訳手段）

Claims (5)

  1. 　撮像された画像に含まれる文字列を翻訳する翻訳装置であって、
    　複数の行からなる上記文字列を行単位で抽出する文字列抽出手段と、
    　上記文字列抽出手段により抽出された行のうち、上記画像において連続する２つの行が上記文字列の言語の特徴に基づく条件である結合条件を満たすか否かを判定する判定手段と、
    　上記判定手段により上記結合条件を満たすと判定された場合、上記連続する２つの行を結合して翻訳し、上記結合条件を満たさないと判定された場合、上記連続する２つの行をそれぞれ翻訳する翻訳手段と、を備えることを特徴とする翻訳装置。
  2. 　上記文字列の言語は英語であり、
    　上記判定手段は、上記結合条件として、
    　（１）上記連続する２つの行のうち、後に位置する行の先頭文字が小文字であること、
    　（２）上記連続する２つの行のうち、前に位置する行の最後に配置された単語の品詞が接続詞、前置詞、または冠詞のいずれかであること、および、
    　（３）上記連続する２つの行のうち、後に位置する行がすべて大文字で構成されていること、
    　のうち少なくともいずれか１つを満たすか否かを判定することを特徴とする請求項１に記載の翻訳装置。
  3. 　上記判定手段は、上記連続する２つの行を構成する文字の特徴、および、上記連続する２つの行の位置関係のうち少なくとも一方に基づく条件である分離条件を満たすか否かをさらに判定し、
    　上記翻訳手段は、上記分離条件を満たす場合は上記結合条件を満たす上記連続する２つの行を結合せず、それぞれ翻訳することを特徴とする請求項１または２に記載の翻訳装置。
  4. 　上記判定手段は、上記分離条件として、
    　（４）上記連続する２つの行のうち一方を構成する文字のサイズと、他方を構成する文字のサイズとの差が所定の文字サイズ閾値を超えること、
    　（５）上記連続する２つの行の距離が所定の距離閾値を超えること、
    　（６）上記連続する２つの行のうち一方を構成する文字の色と、他方を構成する文字の色とが異なること、および、
    　（７）上記文字列の行方向における、上記連続する２つの行の先頭文字の位置が所定の文字位置閾値を超えて離れていること、
    　のうち少なくともいずれか１つを満たすか否かを判定することを特徴とする請求項３に記載の翻訳装置。
  5. 　上記文字列抽出手段によって抽出された行を構成する上記文字のサイズを判定する文字サイズ判定手段をさらに備え、
    　上記判定手段は、上記文字サイズ判定手段によって判定された上記文字のサイズに応じて、上記距離閾値および上記文字位置閾値を決定することを特徴とする請求項４に記載の翻訳装置。
PCT/JP2014/071786 2013-11-28 2014-08-20 翻訳装置 Ceased WO2015079751A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/038,742 US9824086B2 (en) 2013-11-28 2014-08-20 Translation device that determines whether two consecutive lines in an image should be translated together or separately

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-246529 2013-11-28
JP2013246529A JP6328409B2 (ja) 2013-11-28 2013-11-28 翻訳装置

Publications (1)

Publication Number Publication Date
WO2015079751A1 true WO2015079751A1 (ja) 2015-06-04

Family

ID=53198708

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/071786 Ceased WO2015079751A1 (ja) 2013-11-28 2014-08-20 翻訳装置

Country Status (3)

Country Link
US (1) US9824086B2 (ja)
JP (1) JP6328409B2 (ja)
WO (1) WO2015079751A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015069365A (ja) * 2013-09-27 2015-04-13 シャープ株式会社 情報処理装置、および制御プログラム
JP7356332B2 (ja) * 2019-12-03 2023-10-04 ポケトーク株式会社 翻訳結果表示制御システム、翻訳結果表示制御方法及びプログラム
US11227096B2 (en) * 2020-05-08 2022-01-18 Micro Focus Llc Error detection in text string within displayed layout
CN112764549B (zh) * 2021-04-09 2021-08-06 北京亮亮视野科技有限公司 翻译方法、装置、介质和近眼显示设备
CN118230203B (zh) * 2021-09-08 2025-04-18 荣耀终端股份有限公司 Ar翻译的处理方法及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63136269A (ja) * 1986-11-28 1988-06-08 Sharp Corp 自動翻訳装置
JPH052605A (ja) * 1990-10-29 1993-01-08 Ricoh Co Ltd 機械翻訳方式
JP2013122634A (ja) * 2011-12-09 2013-06-20 Fuji Xerox Co Ltd 情報処理装置及び情報処理プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2199680A (en) 1986-11-28 1988-07-13 Sharp Kk Translating apparatus
JP2989387B2 (ja) 1992-08-31 1999-12-13 シャープ株式会社 入力文字処理装置における句点認識装置及び句点認識方法
GB2279164A (en) * 1993-06-18 1994-12-21 Canon Res Ct Europe Ltd Processing a bilingual database.
JP3752698B2 (ja) 1994-11-21 2006-03-08 カシオ計算機株式会社 文書処理装置
JPH0981566A (ja) * 1995-09-08 1997-03-28 Toshiba Corp 翻訳装置及び翻訳方法
US6085162A (en) * 1996-10-18 2000-07-04 Gedanken Corporation Translation system and method in which words are translated by a specialized dictionary and then a general dictionary
EP0932897B1 (en) * 1997-06-26 2003-10-08 Koninklijke Philips Electronics N.V. A machine-organized method and a device for translating a word-organized source text into a word-organized target text
DE69837979T2 (de) * 1997-06-27 2008-03-06 International Business Machines Corp. System zum Extrahieren einer mehrsprachigen Terminologie
US6195631B1 (en) * 1998-04-15 2001-02-27 At&T Corporation Method and apparatus for automatic construction of hierarchical transduction models for language translation
US8041555B2 (en) * 2007-08-15 2011-10-18 International Business Machines Corporation Language translation based on a location of a wireless device
JP5647779B2 (ja) 2009-10-05 2015-01-07 新日鉄住金ソリューションズ株式会社 情報処理装置、情報処理方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63136269A (ja) * 1986-11-28 1988-06-08 Sharp Corp 自動翻訳装置
JPH052605A (ja) * 1990-10-29 1993-01-08 Ricoh Co Ltd 機械翻訳方式
JP2013122634A (ja) * 2011-12-09 2013-06-20 Fuji Xerox Co Ltd 情報処理装置及び情報処理プログラム

Also Published As

Publication number Publication date
US9824086B2 (en) 2017-11-21
JP6328409B2 (ja) 2018-05-23
US20160321246A1 (en) 2016-11-03
JP2015106184A (ja) 2015-06-08

Similar Documents

Publication Publication Date Title
KR102147935B1 (ko) 데이터 처리 방법 및 그 전자 장치
JP6328409B2 (ja) 翻訳装置
EP3493110A1 (en) Electronic device recognizing text in image
US8503780B2 (en) Apparatus for detecting text recognition region and method of recognizing text
KR102236616B1 (ko) 정보 처리 장치, 그의 제어 방법, 및 기억 매체
US20200026766A1 (en) Method for translating characters and apparatus therefor
CN104428790A (zh) 经由用于梵文光学字符辨识的基于前缀树的解码来处置字的复杂变体的方法
CN111160333A (zh) Ar眼镜及其文本翻译方法、装置和计算机可读存储介质
KR20100120753A (ko) 문자인식을 위한 이미지 센서 및 이미지 센싱 방법
US10142499B2 (en) Document distribution system, document distribution apparatus, information processing method, and storage medium
CN112101353B (zh) 文本信息提取方法、装置、电子设备及存储介质
US20140297276A1 (en) Editing apparatus, editing method, and computer program product
US10671795B2 (en) Handwriting preview window
JP5877272B2 (ja) 文書処理装置、文書処理方法、プログラムおよび情報記憶媒体
US20150146265A1 (en) Method and apparatus for recognizing document
CN105393244A (zh) 信息处理装置和控制程序
JP6206581B2 (ja) 端末装置、表示制御方法及びプログラム
JP2015090625A (ja) 帳票読取装置、プログラムおよび帳票読取システム
WO2015163118A1 (ja) 文字特定装置、および制御プログラム
JP7098897B2 (ja) 画像処理装置、プログラム及び画像データ
JP6206580B2 (ja) 端末装置、表示制御方法及びプログラム
WO2015145572A1 (ja) 端末装置、表示制御方法及びプログラム
WO2020054067A1 (ja) 画像情報処理装置、画像情報処理方法、及び画像情報処理プログラム
US9396405B2 (en) Image processing apparatus, image processing method, and image processing program
CN110969161A (zh) 图像处理方法、电路、视障辅助设备、电子设备和介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14866666

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15038742

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14866666

Country of ref document: EP

Kind code of ref document: A1