WO2015045676A1 - 情報処理装置、および制御プログラム - Google Patents

情報処理装置、および制御プログラム Download PDF

Info

Publication number
WO2015045676A1
WO2015045676A1 PCT/JP2014/071647 JP2014071647W WO2015045676A1 WO 2015045676 A1 WO2015045676 A1 WO 2015045676A1 JP 2014071647 W JP2014071647 W JP 2014071647W WO 2015045676 A1 WO2015045676 A1 WO 2015045676A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
translation
character string
display control
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2014/071647
Other languages
English (en)
French (fr)
Inventor
健文 大塚
忠郎 長沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to CN201480029905.XA priority Critical patent/CN105393244B/zh
Priority to US14/890,930 priority patent/US10068359B2/en
Publication of WO2015045676A1 publication Critical patent/WO2015045676A1/ja
Anticipated expiration legal-status Critical
Priority to US15/996,590 priority patent/US10573046B2/en
Priority to US16/037,280 priority patent/US20180322677A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/60—Creating or editing images; Combining images with text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/109—Font handling; Temporal or kinetic typography
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation

Definitions

  • the present invention relates to an information processing apparatus and a control program.
  • Patent Document 1 a character recognition unit that recognizes a character region in which characters are present from an image and generates a character code, a detection unit that detects a region with little feature change of the image, and the detected
  • an image processing apparatus including an arrangement unit that arranges data obtained from the character code in an area.
  • Japanese Patent Publication “JP 2013-122747 A (published on June 20, 2013)” Japanese Patent Publication “Japanese Patent Laid-Open No. 2011-134144 (released on July 7, 2011)” Japanese Patent Publication “Japanese Patent Laid-Open No. 2001-319240 (published on November 16, 2001)” Japanese Patent Publication “Japanese Patent Laid-Open No. 11-53365 (published on Feb. 26, 1999)” Japanese Patent Publication “Japanese Patent Laid-Open No. 9-179867 (published July 11, 1997)”
  • the present invention has been made in view of the above problems, and its purpose is to easily translate any character string even after displaying the translation of the character string included in the captured image. It is an object of the present invention to provide an information processing apparatus capable of confirming whether or not the user has confirmed.
  • An information processing apparatus includes a character string decoration display control unit that displays an image in which a portion indicating a character string included in a captured image is decorated, and a result obtained by translating the character string into another language
  • a translation image generation means for generating a translation image that is an image representing the image, and the translation image corresponding to the character string in a portion indicating the character string in the captured image or the image decorated by the character string decoration display control means
  • Translation display control means for superimposing and displaying, wherein the translation display control means switches between display and non-display of the translation image according to a user input, and the character string decoration display control means When the display control means hides the translated image, the decorated image is displayed.
  • Embodiment 1 of the present invention It is a functional block diagram concerning Embodiment 1 of the present invention. It is a figure which shows switching of the display image of the information processing apparatus which concerns on Embodiment 1 of this invention. It is a flowchart which shows the flow of the process regarding the display of the translation image in the information processing apparatus which concerns on Embodiment 1 of this invention. It is a functional block diagram concerning Embodiment 2 of the present invention. It is a figure which shows switching of the display image of the information processing apparatus which concerns on Embodiment 2 of this invention. It is a flowchart which shows the flow of the process regarding the display of the translation image in the information processing apparatus which concerns on Embodiment 2 of this invention.
  • Embodiment 1 Hereinafter, embodiments of the present invention will be described with reference to FIGS. 1 to 3 as follows.
  • FIG. 1 shows a schematic configuration of an information processing apparatus 1 according to the present embodiment.
  • FIG. 2 is a diagram showing switching of the display image of the information processing apparatus 1.
  • the information processing apparatus 1 includes a control unit 10, an imaging unit 20, a display unit 30, and an input unit 40.
  • the information processing apparatus 1 is, for example, a mobile phone, a smartphone, a PDA (Personal Data Assistant), a PC (Personal Computer) or the like.
  • the imaging unit 20 provides a camera function for capturing an image by capturing a subject.
  • the imaging unit 20 can be realized by, for example, an optical system and an imaging element (CCD (Charge Coupled Devices), CMOS (Complementary Metal-Oxide-Semiconductor), etc.).
  • CCD Charge Coupled Devices
  • CMOS Complementary Metal-Oxide-Semiconductor
  • the display unit 30 receives display image information from the control unit 10 and displays it on the display screen.
  • the display unit 30 includes a display element such as an LCD (Liquid Crystal Display) or an EL (Electroluminescence) display, and a driver circuit that drives the display element based on received image data.
  • a display element such as an LCD (Liquid Crystal Display) or an EL (Electroluminescence) display
  • a driver circuit that drives the display element based on received image data.
  • the input unit 40 receives input from the user and outputs the input information to the control unit 10.
  • the input unit 40 includes a touch panel using a conversion method such as an electrostatic induction type, a resistance film type, or an optical type.
  • the input unit 40 may be any interface that can select the coordinates of the display image displayed on the display unit 30 or the displayed item, and may be configured with buttons, a keyboard, a mouse, and the like.
  • the control unit 10 includes an OCR unit 11, a character string decoration display control unit 12, a translation image generation unit 13, a translation unit 14, an image holding unit 15, and a translation display control unit 16, as shown in FIG.
  • the OCR unit 11 specifies (extracts) a character string included in the input image by optical character recognition. Further, the OCR unit 11 specifies the coordinates of the portion indicating the extracted character string and the character recognition information including the character string, and outputs the character recognition information to the character string decoration display control unit 12. Further, when the character recognition information could not be specified, that is, when the character string and the coordinates of the character string could not be extracted from the input image, the OCR unit 11 could not specify the portion indicating the character string. That is, the character string decoration display control unit 12 is notified that the extraction of the character string has failed.
  • the OCR unit 11 may use a service on a communication network.
  • the character string decoration display control unit 12 outputs an image captured by the imaging unit 20 and input (hereinafter referred to as an input image) to the OCR unit 11, and acquires character recognition information about the input image.
  • the character string decoration display control unit 12 decorates the character string included in the input image by underlining a portion indicating the character string based on the character recognition information. Then, an image in which a portion indicating a character string is decorated is displayed on the display unit 30. Further, the character string decoration display control unit 12 outputs the character recognition information to the translated image generation unit 13.
  • the character string decoration display control unit 12 displays the input image on the display unit 30.
  • the input image is displayed as it is on the display unit 30 as the image D1.
  • FIG. 2C shows a display image on the display unit 30 when the OCR unit 11 can identify a portion indicating a character string in the input image.
  • the part indicating the character string “You have two pens.” Included in the input image is underlined. This makes it easy to determine which part of the input image represents a character string.
  • underline is used as decoration, since there are few portions where the input image is hidden by the decoration of the portion indicating the character string, the reduction of visible information due to decoration of the input image can be reduced.
  • the translated image generation unit 13 When the character recognition information is input, the translated image generation unit 13 outputs the character string indicated by the character recognition information to the translation unit 14 and acquires the result of translation into another language.
  • the translation image generation unit 13 acquires the result of translating the character string indicated by the character recognition information into another language
  • the translation image generation unit 13 generates a translation image that is an image indicating the translation result, and the translation image is stored in the image holding unit 15. To hold.
  • the translation image generation unit 13 notifies the translation display control unit 16 that the translation image has been generated and inputs the coordinates of the character string included in the character recognition information. Since the translation image is based on the character recognition information, it corresponds to a partial area of the input image indicating the character string.
  • the translation unit 14 When the input character string is a translatable character string, the translation unit 14 translates it into another language specified in advance, and outputs the translation result to the translation image generation unit 13.
  • the translation unit 14 includes a translation engine. Moreover, the translation part 14 may use the service on a communication network.
  • the image holding unit 15 holds the translation image generated by the translation image generation unit 13.
  • the image holding unit 15 may be an area set in a RAM (Random Access Memory) that constitutes a part of the control unit 10.
  • the translation display control unit 16 Upon receiving notification that the translation image has been generated from the translation image generation unit 13, the translation display control unit 16 superimposes and displays the translation image held in the image holding unit 15 on the portion indicating the character string of the decorated image And a switching button UI1 is displayed. Further, when the input unit 40 receives a notification that the switching button UI1 is pressed (selected), for example, when the user's finger 100 touches the coordinates corresponding to the switching button UI1, the translation display control unit 16 , To toggle between showing and hiding translated images.
  • the translation image T1 held in the image holding unit 15 is superimposed and displayed on the portion indicating the character string of the image D2 displayed on the display unit 30, and the switching button UI1 is displayed.
  • the information processing apparatus 1 is shown.
  • the translated image T1 is not displayed, and an image D2 in which a portion representing a character string is underlined is displayed. Is done.
  • the translated image T1 is displayed again as shown in FIG.
  • FIG. 3 is a flowchart showing a flow of processing relating to display of the translated image in the information processing apparatus 1.
  • the character string decoration display control unit 12 acquires an image captured by the imaging unit 20 (S1). Subsequently, the character string decoration display control unit 12 outputs the acquired image (input image) to the OCR unit 11. When the image is input, the OCR unit 11 extracts the character string and the character string coordinates included in the input image (S2).
  • the OCR unit 11 determines whether or not the extraction of the character string and the coordinates of the character string is successful (S3). When the extraction of the character string and the coordinates of the character string fails (NO in S3), the OCR unit 11 notifies the character string decoration display control unit 12 that the extraction of the character string has failed. Receiving the notification, the character string decoration display control unit 12 displays the input image on the display unit 30 (S13).
  • the character string decoration display control unit 12 displays the input image on the display unit 30 (S4), and outputs the character recognition information to the translated image generation unit 13.
  • the translation image generation unit 13 to which the character recognition information is input outputs the character string indicated by the character recognition information to the translation unit 14.
  • the translation unit 14 to which the character string is input translates the character string into another language designated in advance (S5), and outputs the translation result to the translation image generation unit 13.
  • the translation image generation unit 13 to which the translation result has been input generates a translation image that is an image indicating the translation result, and causes the image holding unit 15 to hold the translation image (S6). Further, the translation image generation unit 13 notifies the translation display control unit 16 that the translation image has been generated, and inputs the coordinates of the character string included in the character recognition information.
  • the translation display control unit 16 Upon receiving the notification that the translation image has been generated from the translation image generation unit 13, the translation display control unit 16 displays the switching button UI1 (S7). Further, the translation display control unit 16 is based on the coordinates of the character string input to the translation image generation unit 13 and the translation stored in the image storage unit 15 in the portion indicating the character string of the input image displayed on the display unit 30. The image is superimposed and displayed (S8). At this point, the input image on which the translated image is displayed is displayed superimposed on the portion representing the character string.
  • the translation display control unit 16 confirms the notification from the input unit 40 and determines whether or not the switching button UI1 is pressed (S9). If the switching button UI1 is not pressed (NO in S9), it is determined again whether or not the switching button UI1 is pressed (S9).
  • the translation display control unit 16 hides the translated image (S10) and notifies the character string decoration display control unit 12 that the switch button has been pressed. .
  • the character string decoration display control unit 12 that has received the notification that the switch button has been pressed decorates the portion indicating the character string of the displayed input image by underlining it based on the character recognition information (S11). At this point, the decorated input image with the underlined portion representing the character string is displayed.
  • the translation display control unit 16 confirms the notification from the input unit 40 and determines whether or not the switching button UI1 is pressed (S12). If the switching button UI1 is not pressed (NO in S12), it is determined again whether or not the switching button UI1 is pressed (S12).
  • the translation display control unit 16 displays the translated image superimposed on the portion representing the character string (S8).
  • the character string decoration display control unit 12 may cancel the decoration on the portion indicating the character string.
  • the translated image corresponding to the character string is superimposed and displayed on the portion indicating the character string included in the captured image with respect to the captured image (input image) by the above processing, the translated image is displayed. It is possible to switch between the non-displayed image and the image decorated with the part indicating the character string included in the captured image and the translated image. Therefore, even after the user displays the translation of the character string included in the captured image, the user can easily confirm what character string has been translated.
  • the information processing device 1 is shaken, and the information processing device 1 is rotated.
  • the information processing apparatus 1 may be configured so as to use it.
  • the information processing apparatus 1 may be configured to use marker display, surrounding with a frame line, or the like as a method for decorating a portion indicating a character string included in the input image.
  • the information processing apparatus 1 may be configured to process the image captured by the image capturing unit 20 and input the processed image to the character string decoration display control unit 12.
  • FIG. 4 shows a schematic configuration of the information processing apparatus 2 according to the present embodiment.
  • FIG. 6 is a diagram illustrating switching of the display image of the information processing apparatus 2.
  • the difference between the information processing apparatus 2 and the information processing apparatus 1 according to the present embodiment is that the information processing apparatus 2 includes a control unit 110 instead of the control unit 10. Further, the difference between the control unit 110 and the control unit 10 is that the information processing apparatus 2 does not include the image holding unit 15, and is replaced with the character string decoration display control unit 12, the translated image generation unit 13, and the translation display control unit 16.
  • the character string decoration display control unit 112, the translation image generation unit 113, the translation display control unit 116, and the selection word determination unit 17 are further provided.
  • the character string decoration display control unit 112 is different from the character string decoration display control unit 12 in that the character recognition information acquired from the OCR unit 11 is processed for each word and the character recognition information is output to the selected word determination unit 17. . Specifically, when the character string decoration display control unit 112 acquires the image D3 of FIG. 5A from the imaging unit, as shown in FIG. 5B, the character string decoration display control unit 112 displays each of the word displays W1 to W5. An image D4 decorated by drawing an underline is displayed on the display unit 30. In addition, the character string decoration display control unit 112 outputs character recognition information for each word to the selected word determination unit 17.
  • the translated image generation unit 113 receives input of character recognition information from the translation display control unit 116.
  • the translation image generation unit 113 that has received the input of the character recognition information outputs a word included in the character recognition information to the translation unit 14 to acquire a translation result, and generates a translation image.
  • the translation image generation unit 113 that has generated the translation image outputs the translation image to the translation display control unit 116.
  • the translation display control unit 116 accepts input of character recognition information from the selected word determination unit 17.
  • the character recognition information is input to the translation image generation unit 113 that has received the input of the character recognition information, and the translation image is acquired from the translation image generation unit 113.
  • the translation display control unit 116 that has acquired the translated image displays the translated image superimposed on the coordinates of the word corresponding to the translated image based on the character recognition information. Specifically, when the translation display control unit 116 accepts input of character recognition information corresponding to the word display W2 in the state shown in FIG. 5B, the translation display control unit 116 displays the (D) in FIG. As shown, the translated image T2 is displayed superimposed on the word display W2. When the displayed translated image is selected, the translation display control unit 116 hides the translated image.
  • the selected word determination unit 17 receives input of character recognition information from the character string decoration display control unit 112.
  • the selected word determination unit 17 that has received the input of the character recognition information selects the display of the word or the display of the translation image, such as the user input to the input unit 40 pressing the coordinate of the word corresponding to the translation image. If it is, the character recognition information corresponding to the display of the selected word is output to the translation display control unit 116.
  • FIG. 3 is a flowchart showing a flow of processing relating to display of the translated image in the information processing apparatus 1. Note that the processing of S1 to S3 and S13 is the same as that of the information processing apparatus 1, and therefore description thereof is omitted.
  • the translated image generation unit 13 that has received the notification to that effect decorates the acquired character recognition information by underlining each word. Is displayed on the display unit 30 (S101). Further, the character string decoration display control unit 112 inputs character recognition information for each word to the selected word determination unit 17.
  • the selected word determination unit 17 that has received the input of the character recognition information for each word determines whether or not the user's input to the input unit 40 is an operation of pressing the display of the word (S102). When the user input to the input unit 40 is not an operation of pressing the word display (NO in S102), the selected word determination unit 17 again presses the word display for the user input to the input unit 40. It is determined whether it is an operation (S102).
  • the character recognition information corresponding to the display of the selected word is input to the translation display control unit 116.
  • the character recognition information is input to the translated image generation unit 113 that has received the input of the character recognition information.
  • the translation image generation unit 113 inputs a word included in the character recognition information to the translation unit 14, and causes the translation unit 14 to translate the word (S103).
  • the translation image generation unit 113 that has acquired the translation result converts the translation result into a translation image (S104), and outputs the translation image to the translation display control unit 116.
  • the translation display control unit 116 that has acquired the translated image displays the translated image superimposed on the coordinates of the word corresponding to the translated image based on the character recognition information (S105).
  • the selected word determination unit 17 determines whether or not the user input to the input unit 40 is an operation of pressing the coordinates of a word corresponding to the translated image, that is, an operation of pressing the display of the translated image. (S106). If the user input to the input unit 40 is not an operation of pressing the display of the translated image (NO in S106), the translation display control unit 116 again displays the translated image as the user input to the input unit 40. It is determined whether or not the operation is a pressing operation (S106).
  • the character recognition information corresponding to the translation image is notified to the translation display control unit 116.
  • the translation display control unit 116 hides the translation display corresponding to the character recognition information (S107). Subsequently, the processing from S102 is executed again.
  • the translation image corresponding to the word is superimposed and displayed on the display of the word selected by the user. Thereby, the user can display a translation image about the word which desires translation.
  • FIG. 5A illustrates the information processing apparatus 2 when the OCR unit 11 does not recognize a character string included in the input image.
  • the input image is displayed as it is as the image D3.
  • FIG. 5 is a diagram illustrating the information processing apparatus 2 when the OCR unit 11 recognizes a character string included in the input image.
  • an image D4 decorated with an underline is displayed for each word display W1 to W5 constituting the character string “CouldCyou please rent them” included in the input image.
  • FIG. 5 is a diagram showing the information processing apparatus 2 at the time when the user's finger 100 presses the word display W2 representing the word “you” in the state shown in FIG. 5 (B). At this point, the information processing apparatus 2 executes the processes shown in S103 to S105 described above.
  • FIG. 5 is a diagram showing the information processing apparatus 2 when the word display W2 is pressed and the above-described S103 to S105 are executed as shown in (C) of FIG.
  • a translation image T2 indicating “you”, which is the result of translating the word “you” into another language is displayed superimposed on the corresponding word display W2.
  • the user's finger 100 presses the translated image T2 the translated image T2 is not displayed, and the word display W2 can be confirmed as shown in FIG.
  • the user uses the information processing apparatus 2 according to the present embodiment to confirm the translation result and confirm the translated word for the words constituting the character string included in the captured image. Can do.
  • the information processing apparatus 2 may be configured so that the processes of S103 to S107 are executed independently for each word. That is, in the state shown in FIG. 5B, in accordance with a user input, the translated image is displayed independently for each of the word displays W1 to W5, and the translated image is hidden.
  • the device 2 may be configured.
  • the information processing apparatus 2 may be configured to perform a process for displaying a menu for selecting a process to be performed on the pressed word at a position indicated by ⁇ in FIG.
  • Examples of the process that can be selected from the menu include a process for displaying a translation, a process for searching specified dictionary software, and a process for searching on the Internet.
  • the information processing apparatus 2 may be configured to perform a process of translating a sentence including a word instead of the process of S103.
  • the translated image may be translucent, and the display and non-display of the translated image may be performed by changing the transparency of the translated image.
  • the control block (especially the control unit 10) of the information processing apparatus 1 may be realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like, or software using a CPU (Central Processing Unit). It may be realized by.
  • the information processing apparatus 1 includes a CPU that executes instructions of a program that is software that realizes each function, and a ROM (Read Only Memory) in which the program and various data are recorded so as to be readable by a computer (or CPU).
  • a storage device (these are referred to as “recording media”), a RAM (Random Access Memory) for expanding the program, and the like are provided.
  • the objective of this invention is achieved when a computer (or CPU) reads the said program from the said recording medium and runs it.
  • a “non-temporary tangible medium” such as a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used.
  • the program may be supplied to the computer via an arbitrary transmission medium (such as a communication network or a broadcast wave) that can transmit the program.
  • a transmission medium such as a communication network or a broadcast wave
  • the present invention can also be realized in the form of a data signal embedded in a carrier wave in which the program is embodied by electronic transmission.
  • An information processing apparatus (1) includes a character string decoration display control unit (character string decoration display control unit 12) that displays an image in which a portion indicating a character string included in a captured image is decorated.
  • the character string is decorated by a translation image generation means (translation image generation unit 13) that generates a translation image that is an image representing the result of translating the character string into another language, and the captured image or the character string decoration display control means.
  • Translation display control means (translation display control section 16) for superimposing and displaying the translation image corresponding to the character string on a portion indicating the character string in the displayed image, the translation display control means being input by the user
  • the display of the translated image is switched between display and non-display, and the character string decoration display control means displays the decorated image when the translation display control means hides the translation image. That.
  • the translated image is not displayed in a state where the translated image corresponding to the character string is superimposed and displayed on a portion indicating the character string included in the captured image with respect to the captured image. Then, an image decorated with a portion indicating a character string included in the captured image and the translated image can be switched and displayed. Therefore, even after the user displays the translation of the character string included in the captured image, the user can easily confirm what character string has been translated.
  • the character string decoration display control means indicates a character string included in the captured image for each word included in the character string.
  • the part may be decorated.
  • the part indicating the character string included in the captured image is decorated for each word. Therefore, the user can make a user understand that it can select for every word.
  • the information processing apparatus is the information processing apparatus according to aspect 2, wherein the translation image generation unit generates a translation image that is an image representing a result of translation into another language for each word, and any of the words Further comprising selected word determining means (selected word determining unit 17) for determining whether or not the selected word determining means has been selected, and further comprising: The translation image corresponding to the word may be superimposed on the corresponding image.
  • the translation image corresponding to the word is superimposed on the image corresponding to the decorated word selected by the user.
  • the user can display a translation image about the word which desires translation.
  • the character string decoration display control unit displays an underlined image on a portion indicating the character string included in the captured image. May be.
  • an underline is drawn to the portion indicating the character string included in the captured image. This makes it easy to determine which part of the captured image indicates a character string. In addition, since there are few portions where the captured image is hidden by the decoration of the portion indicating the character string, a reduction in visible information due to decorating the captured image can be reduced.
  • the information processing apparatus may be realized by a computer.
  • the information processing apparatus is realized by the computer by causing the computer to operate as each unit included in the information processing apparatus.
  • a control program for the information processing apparatus and a computer-readable recording medium on which the control program is recorded also fall within the scope of the present invention.
  • the present invention can be used for a mobile phone, a smartphone, a PDA, and a PC connected to an imaging device such as a camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Document Processing Apparatus (AREA)

Abstract

　撮像された画像に含まれる文字列の翻訳を表示させた後であっても、翻訳された文字列を確認できるようにする。文字列装飾表示制御部（１２）は、撮像された画像の文字列を示す部分を装飾して表示させ、翻訳画像生成部（１３）は、上記文字列を他の言語に翻訳した結果を表す翻訳画像を生成し、翻訳表示制御部（１６）は、ユーザの入力に応じて、上記翻訳画像の表示、および非表示を切り替える。

Description

情報処理装置、および制御プログラム
　本発明は情報処理装置、および制御プログラムに関する。
　旧来より撮像された画像からＯＣＲ（Optical Character Recognition）により文字列を抽出し、翻訳した結果を表示する技術について様々な提案がなされている。例えば、特許文献１には、画像から文字が存在する文字領域を文字認識し、文字コードを生成する文字認識手段と、前記画像の特徴変化が少ない領域を検出する検出手段と、前記検出された領域に前記文字コードから得られるデータを配置する配置手段とを備えた画像処理装置が提案されている。
日本国公開特許公報「特開２０１３－１２２７４７号公報（２０１３年６月２０日公開）」 日本国公開特許公報「特開２０１１－１３４１４４号公報（２０１１年７月７日公開）」 日本国公開特許公報「特開２００１－３１９２４０号公報（２００１年１１月１６日公開）」 日本国公開特許公報「特開平１１－５３３６５号公報（１９９９年２月２６日公開）」 日本国公開特許公報「特開平９－１７９８６７号公報（１９９７年７月１１日公開）」
　しかしながら、上述のような従来技術は翻訳後の文字列を撮像された画像の翻訳前の文字列が存在していた領域に重ねて表示しているため、撮像された画像に含まれる文字列の翻訳を表示させた後に、どのような文字列が翻訳されたのか容易には確認できない、という問題がある。
　本発明は、上記問題を鑑みてなされたものであり、その目的は、撮像された画像に含まれる文字列の翻訳を表示させた後であっても、容易にどのような文字列が翻訳されたのかを確認することができる情報処理装置を提供することにある。
　本発明の一態様に係る情報処理装置は、撮像された画像に含まれる文字列を示す部分を装飾した画像を表示させる文字列装飾表示制御手段と、上記文字列を他の言語に翻訳した結果を表す画像である翻訳画像を生成する翻訳画像生成手段と、撮像された画像または上記文字列装飾表示制御手段によって装飾された画像における上記文字列を示す部分に当該文字列と対応する上記翻訳画像を重畳して表示させる翻訳表示制御手段と、を備え、上記翻訳表示制御手段はユーザの入力に応じて、上記翻訳画像の表示および非表示を切り替え、上記文字列装飾表示制御手段は、上記翻訳表示制御手段が上記翻訳画像を非表示とした場合に上記装飾された画像を表示する。
　本発明の一態様によれば、撮像された画像に含まれる文字列の翻訳を表示させた後であっても、容易にどのような文字列が翻訳されたのかを確認することができるという効果を奏する。
本発明の実施形態１に係る機能ブロック図である。 本発明の実施形態１に係る情報処理装置の表示画像の切り替えを示す図である。 本発明の実施形態１に係る情報処理装置における翻訳画像の表示に関する処理の流れを示すフローチャートである。 本発明の実施形態２に係る機能ブロック図である。 本発明の実施形態２に係る情報処理装置の表示画像の切り替えを示す図である。 本発明の実施形態２に係る情報処理装置における翻訳画像の表示に関する処理の流れを示すフローチャートである。
　〔実施形態１〕
　以下、本発明の実施の形態について、図１～図３に基づいて説明すれば、以下のとおりである。
　〔１．情報処理装置１の構成〕
　まず、図１に基づいて情報処理装置１の概略構成を説明しながら、図２に基づいて、適宜、情報処理装置１の具体的な表示画像の例について説明する。図１は、本実施形態に係る情報処理装置１の概略構成を示している。また、図２は情報処理装置１の表示画像の切り替えを示す図である。
　図１に示す通り、情報処理装置１は、制御部１０、撮像部２０、表示部３０、および入力部４０により構成されている。情報処理装置１は、例えば、携帯電話、スマートフォン、PDA（Personal Data Assistant）、PC（Personal Computer）などである。
　撮像部２０は、被写体を撮影して画像を取得するためのカメラ機能を提供するものである。撮像部２０は、例えば、光学系および撮像素子（ＣＣＤ（Charge Coupled Devices）、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）等）により実現することができる。
　表示部３０は、制御部１０から表示画像の情報を受信し、表示画面に表示する。表示部３０は、ＬＣＤ（Liquid Crystal Display）、ＥＬ（Electroluminescence）ディスプレイなどの表示素子と、受信した画像データに基づいて表示素子を駆動するドライバ回路とを備える構成である。
　入力部４０は、ユーザからの入力を受け付け、入力された情報を制御部１０へ出力する。入力部４０は、静電誘導式、抵抗膜式、光学式などの変換方式を用いたタッチパネルにより構成される。また、入力部４０は、表示部３０に表示された表示画像の座標または表示されている項目を選択可能なインターフェースであればよく、ボタン、キーボード、マウスなどで構成されていてもよい。
　制御部１０は、図１に示す通り、ＯＣＲ部１１、文字列装飾表示制御部１２、翻訳画像生成部１３、翻訳部１４、画像保持部１５、および翻訳表示制御部１６を含んでいる。ＯＣＲ部１１は、入力された画像に含まれる文字列を光学文字認識によって特定（抽出）する。さらに、ＯＣＲ部１１は、抽出した文字列を示す部分の座標および当該文字列を含む文字認識情報を特定し、当該文字認識情報を文字列装飾表示制御部１２へ出力する。また、ＯＣＲ部１１は、文字認識情報を特定できなかった場合、すなわち、入力された画像について文字列および文字列の座標を抽出できなかった場合は、文字列を示す部分が特定できなかったこと、すなわち文字列の抽出に失敗したことを文字列装飾表示制御部１２へ通知する。また、ＯＣＲ部１１は、通信ネットワーク上のサービスを用いるものであってもよい。
　文字列装飾表示制御部１２は、撮像部２０により撮像され、入力された画像（以下、入力画像と表す）をＯＣＲ部１１へ出力し、入力画像についての文字認識情報を取得する。文字認識情報を取得し、かつ翻訳画像が非表示となった場合、文字列装飾表示制御部１２は、当該文字認識情報に基づき入力画像に含まれる文字列を示す部分に下線を引くことで装飾し、文字列を示す部分を装飾した画像を表示部３０へ表示させる。また、文字列装飾表示制御部１２は、翻訳画像生成部１３へ文字認識情報を出力する。一方、入力画像に文字列を示す部分が含まれていないことの通知をＯＣＲ部１１から受けた場合、文字列装飾表示制御部１２は、入力画像を表示部３０へ表示させる。例えば、図２の（Ａ）に示すように、入力画像について、ＯＣＲ部１１が文字列を示す部分が特定できなかった場合に、入力画像がそのまま画像Ｄ１として表示部３０へ表示される。
　また、図２の（Ｃ）は、入力画像について、ＯＣＲ部１１が文字列を示す部分が特定できた場合における表示部３０への表示画像を示している。この場合、入力画像に含まれる文字列“You have two pens.”を示す部分に下線が引かれている。これにより、入力画像のいずれの部分が文字列を示すかを判別することが容易になる。また、装飾として下線を用いる場合、入力画像が文字列を示す部分の装飾によって隠される部分が少ないため、入力画像を装飾することに起因する視認可能な情報の減少が少なくてすむ。
　翻訳画像生成部１３は、文字認識情報を入力された場合、当該文字認識情報が示す文字列を翻訳部１４へ出力し、他の言語に翻訳した結果を取得する。翻訳画像生成部１３は、文字認識情報が示す文字列を他の言語に翻訳した結果を取得した場合、当該翻訳した結果を示す画像である翻訳画像を生成し、当該翻訳画像を画像保持部１５へ保持させる。また、翻訳画像生成部１３は、翻訳表示制御部１６へ翻訳画像を生成したことを通知すると共に文字認識情報に含まれる文字列の座標を入力する。なお、翻訳画像は、文字認識情報に基づくものであるため、文字列を示す入力画像の一部の領域と対応する。
　翻訳部１４は、入力された文字列が翻訳可能な文字列であった場合、予め指定された他の言語へ翻訳し、翻訳の結果を翻訳画像生成部１３へ出力する。翻訳部１４は、翻訳エンジンにより構成される。また、翻訳部１４は通信ネットワーク上のサービスを用いてもよい。
　画像保持部１５は、翻訳画像生成部１３が生成した翻訳画像を保持する。画像保持部１５は、制御部１０の一部を構成するＲＡＭ（Random Access Memory）に設定された領域であってもよい。
　翻訳表示制御部１６は、翻訳画像生成部１３から翻訳画像が生成されたことの通知を受けて、画像保持部１５に保持された翻訳画像を装飾された画像の文字列を示す部分に重畳表示させると共に、切り替えボタンＵＩ１を表示させる。また、入力部４０から、切り替えボタンＵＩ１と対応する座標にユーザの指１００が接触するなどして、切り替えボタンＵＩ１が押下（選択）されたことの通知を受けた場合、翻訳表示制御部１６は、翻訳画像の表示および非表示を切り替える。
　例えば、図２の（Ｂ）は、表示部３０に表示される画像Ｄ２の文字列を示す部分に画像保持部１５に保持された翻訳画像Ｔ１を重畳表示させると共に、切り替えボタンＵＩ１を表示させている情報処理装置１を表している。この状態において切り替えボタンＵＩ１をユーザの指１００が接触した場合、図３の（Ｃ）に示すように、翻訳画像Ｔ１は非表示となり、文字列を表す部分に下線が引かれた画像Ｄ２が表示される。また、この状態において、切り替えボタンＵＩ１にユーザの指１００が接触した場合、図３の（Ｂ）に示すように翻訳画像Ｔ１が再び表示される。
　〔２．情報処理装置１における翻訳画像の表示に関する処理の流れ〕
　次に情報処理装置１における翻訳画像の表示に関する処理の流れについて、図３に基づき説明する。図３は情報処理装置１における翻訳画像の表示に関する処理の流れを示すフローチャートである。
　まず、文字列装飾表示制御部１２は、撮像部２０によって撮像された画像を取得する（Ｓ１）。続いて、文字列装飾表示制御部１２は取得した画像（入力画像）をＯＣＲ部１１へ出力する。画像を入力されたＯＣＲ部１１は、入力画像に含まれる文字列および文字列の座標を抽出する（Ｓ２）。
　ＯＣＲ部１１は文字列および文字列の座標の抽出が成功したか否かを判定する（Ｓ３）。文字列および文字列の座標の抽出が失敗した場合（Ｓ３でＮＯ）、ＯＣＲ部１１は、文字列の抽出に失敗したことを文字列装飾表示制御部１２へ通知する。当該通知を受けた文字列装飾表示制御部１２は、表示部３０へ入力画像を表示させる（Ｓ１３）。
　一方、文字列および文字列の座標の抽出が成功した場合（Ｓ３でＹＥＳ）、その旨を翻訳画像生成部１３へ通知する。当該通知を受けた文字列装飾表示制御部１２は、入力画像を表示部３０へ表示させ（Ｓ４）、また、翻訳画像生成部１３へ文字認識情報を出力する。
　文字認識情報が入力された翻訳画像生成部１３は、翻訳部１４へ当該文字認識情報が示す文字列を翻訳部１４へ出力する。文字列を入力された翻訳部１４は当該文字列を予め指定された他の言語へ翻訳し（Ｓ５）、翻訳の結果を翻訳画像生成部１３へ出力する。
　翻訳の結果を入力された翻訳画像生成部１３は、当該翻訳した結果を示す画像である翻訳画像を生成し、当該翻訳画像を画像保持部１５へ保持させる（Ｓ６）。さらに、翻訳画像生成部１３は、翻訳表示制御部１６へ翻訳画像を生成したことを通知すると共に文字認識情報に含まれる文字列の座標を入力する。
　翻訳画像生成部１３から翻訳画像が生成されたことの通知を受けた翻訳表示制御部１６は、切り替えボタンＵＩ１を表示させる（Ｓ７）。さらに、翻訳表示制御部１６は、翻訳画像生成部１３に入力された文字列の座標に基づき、表示部３０に表示された入力画像の文字列を示す部分に画像保持部１５に保持された翻訳画像を重畳して表示させる（Ｓ８）。この時点で、文字列を表す部分に重畳して翻訳画像が表示された入力画像が表示される。
　続いて、翻訳表示制御部１６は、入力部４０からの通知を確認し、切り替えボタンＵＩ１が押下されたか否かを判定する（Ｓ９）。切り替えボタンＵＩ１が押下されなかった場合（Ｓ９でＮＯ）、再度、切り替えボタンＵＩ１が押下されたか否かを判定する（Ｓ９）。
　一方、切り替えボタンが押下された場合（Ｓ９でＹＥＳ）、翻訳表示制御部１６は、翻訳画像を非表示とし（Ｓ１０）、文字列装飾表示制御部１２へ切り替えボタンが押下されたことを通知する。切り替えボタンが押下されたことの通知を受けた文字列装飾表示制御部１２は、表示された入力画像の文字列を示す部分に対して文字認識情報に基づき下線を引いて装飾する（Ｓ１１）。この時点で、文字列を表す部分に下線が引かれた装飾された入力画像が表示される。
　この状態において、翻訳表示制御部１６は、入力部４０からの通知を確認し、切り替えボタンＵＩ１が押下されたか否かを判定する（Ｓ１２）。切り替えボタンＵＩ１が押下されなかった場合（Ｓ１２でＮＯ）、再度、切り替えボタンＵＩ１が押下されたか否かを判定する（Ｓ１２）。
　一方、切り替えボタンが押下された場合（Ｓ１２でＹＥＳ）、翻訳表示制御部１６は、文字列を表す部分に重畳して翻訳画像を表示させる（Ｓ８）。この時点において、文字列装飾表示制御部１２は、文字列を示す部分に対する装飾を解除してもよい。
　上記の処理により、撮像された画像（入力画像）に対して当該撮像された画像に含まれる文字列を示す部分へ上記文字列と対応する翻訳画像を重畳表示させた状態において、当該翻訳画像を非表示とし、上記撮像された画像に含まれる文字列を示す部分を装飾した画像と当該翻訳画像とを切り替えて表示させることができる。よって、ユーザは撮像された画像に含まれる文字列の翻訳を表示させた後であっても、容易にどのような文字列が翻訳されたのかを確認することができる。
　〔変形例〕
　上記実施形態において、翻訳画像の表示および非表示を切り替えるための操作として、切り替えボタンを押下することに替えて、いわゆるフリック操作を行うこと、情報処理装置１を振ること、情報処理装置１を回転させることなどを用いるように情報処理装置１を構成してもよい。また、上記実施形態において、入力画像に含まれる文字列を示す部分を装飾する方法として、マーカー表示を付すこと、枠線で囲むことなどを用いるように情報処理装置１を構成してもよい。
　また、上記実施形態において、撮像部２０において撮像された画像に対して加工をし、文字列装飾表示制御部１２へ加工された画像を入力するように情報処理装置１を構成してもよい。
　〔実施形態２〕
　本発明の他の実施形態について、図４～図６に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
　〔１．情報処理装置２の構成〕
　情報処理装置２の概略構成について図４に基づいて情報処理装置１の概略構成を説明しながら、図５に基づいて、適宜、情報処理装置２の具体的な動作例について説明する。図４は、本実施形態に係る情報処理装置２の概略構成を示している。また、図６は情報処理装置２の表示画像の切り替えを示す図である。
　本実施形態に係る情報処理装置２と情報処理装置１との差異は、情報処理装置２が制御部１０に替えて制御部１１０を備えている点である。また、制御部１１０と制御部１０との差異は、情報処理装置２が画像保持部１５を備えず、また、文字列装飾表示制御部１２、翻訳画像生成部１３、翻訳表示制御部１６に替えて、文字列装飾表示制御部１１２、翻訳画像生成部１１３、翻訳表示制御部１１６を備え、さらに選択単語判定部１７を備える点である。
　文字列装飾表示制御部１１２は、文字列装飾表示制御部１２と、ＯＣＲ部１１から取得した文字認識情報について単語ごとに処理を行い、文字認識情報を選択単語判定部１７へ出力する点で異なる。具体的には、文字列装飾表示制御部１１２は、図５の（Ａ）の画像Ｄ３を撮像部から取得した場合、図５の（Ｂ）に示すように、単語の表示Ｗ１～Ｗ５それぞれに下線を引くことによって装飾した画像Ｄ４を表示部３０へ表示させる。また、文字列装飾表示制御部１１２は、単語ごとの文字認識情報を選択単語判定部１７へ出力する。
　翻訳画像生成部１１３は、翻訳表示制御部１１６から文字認識情報の入力を受け付ける。文字認識情報の入力を受け付けた翻訳画像生成部１１３は、当該文字認識情報に含まれる単語を翻訳部１４へ出力して翻訳の結果を取得し、翻訳画像を生成する。翻訳画像を生成した翻訳画像生成部１１３は、当該翻訳画像を翻訳表示制御部１１６へ出力する。
　翻訳表示制御部１１６は、選択単語判定部１７から文字認識情報の入力を受け付ける。文字認識情報の入力を受け付けた翻訳画像生成部１１３へ当該文字認識情報を入力し、翻訳画像生成部１１３から翻訳画像を取得する。翻訳画像を取得した翻訳表示制御部１１６は、文字認識情報に基づき、翻訳画像と対応する単語の座標に重畳して当該翻訳画像を表示させる。具体的には、図５の（Ｂ）に示す状態において単語の表示Ｗ２と対応する文字認識情報の入力を翻訳表示制御部１１６が受け付けた場合、翻訳表示制御部１１６は図５の（Ｄ）に示すように翻訳画像Ｔ２を単語の表示Ｗ２に重畳して表示させる。また、表示させた翻訳画像が選択された場合、翻訳表示制御部１１６は当該翻訳画像を非表示にする。
　選択単語判定部１７は、文字列装飾表示制御部１１２からの文字認識情報の入力を受け付ける。文字認識情報の入力を受け付けた選択単語判定部１７は、入力部４０へのユーザの入力が翻訳画像と対応する単語の座標を押下するなどの、単語の表示または翻訳画像の表示を選択する操作であった場合に、選択された単語の表示と対応する文字認識情報を翻訳表示制御部１１６へ出力する。
　〔２．情報処理装置２における翻訳画像の表示に関する処理の流れ〕
　次に情報処理装置２における翻訳画像の表示に関する処理の流れについて、図３に基づき説明する。図３は情報処理装置１における翻訳画像の表示に関する処理の流れを示すフローチャートである。なお、Ｓ１～Ｓ３、およびＳ１３の処理は情報処理装置１と同様であるため説明を割愛する。
　ＯＣＲ部１１が文字列の抽出に成功した場合（Ｓ３でＹＥＳ）、その旨の通知を受けた翻訳画像生成部１３は、取得した文字認識情報について単語ごとに下線を引くことで装飾した入力画像を表示部３０へ表示させる（Ｓ１０１）。さらに、文字列装飾表示制御部１１２は、単語ごとの文字認識情報を選択単語判定部１７へ入力する。
　単語ごとの文字認識情報の入力を受け付けた選択単語判定部１７は、入力部４０へのユーザの入力が単語の表示を押下する操作であるか否かを判定する（Ｓ１０２）。入力部４０へのユーザの入力が単語の表示を押下する操作でなかった場合（Ｓ１０２でＮＯ）、選択単語判定部１７は、再度、入力部４０へのユーザの入力が単語の表示を押下する操作であるか否かを判定する（Ｓ１０２）。
　一方、入力部４０へのユーザの入力が単語の表示を押下する操作であった場合（Ｓ１０２でＹＥＳ）、選択された単語の表示と対応する文字認識情報を翻訳表示制御部１１６へ入力する。文字認識情報の入力を受け付けた翻訳画像生成部１１３へ当該文字認識情報を入力する。翻訳画像生成部１１３は、翻訳部１４へ当該文字認識情報に含まれる単語を入力し、翻訳部１４に当該単語を翻訳させる（Ｓ１０３）。
　翻訳の結果を取得した翻訳画像生成部１１３は、当該翻訳の結果を翻訳画像に変換し（Ｓ１０４）、当該翻訳画像を翻訳表示制御部１１６へ出力する。翻訳画像を取得した翻訳表示制御部１１６は、文字認識情報に基づき、翻訳画像と対応する単語の座標に重畳して当該翻訳画像を表示させる（Ｓ１０５）。
　続いて、選択単語判定部１７は、入力部４０へのユーザの入力が翻訳画像と対応する単語の座標を押下する操作、すなわち、翻訳画像の表示を押下する操作であるか否かを判定する（Ｓ１０６）。入力部４０へのユーザの入力が翻訳画像の表示を押下する操作でなかった場合（Ｓ１０６でＮＯ）、再度、翻訳表示制御部１１６は、入力部４０へのユーザの入力が翻訳画像の表示を押下する操作であるか否かを判定する（Ｓ１０６）。
　一方、入力部４０へのユーザの入力が翻訳画像の表示を押下する操作であった場合（Ｓ１０６でＹＥＳ）、当該翻訳画像と対応する文字認識情報を翻訳表示制御部１１６へ通知する。文字認識情報の通知を受けた翻訳表示制御部１１６は、当該文字認識情報と対応する翻訳表示を非表示とする（Ｓ１０７）。続いて、Ｓ１０２からの処理が再度実行される。
　上記の処理により、ユーザが選択した単語の表示に、当該単語と対応する翻訳画像が重畳表示される。これにより、ユーザは翻訳を希望する単語について、翻訳画像を表示させることができる。
　〔３．情報処理装置２における翻訳画像の表示に関する操作の一例〕
　図５に基づき、情報処理装置２における翻訳画像の表示に関する操作の一例を説明する。図５の（Ａ）は、ＯＣＲ部１１が入力画像に含まれる文字列を認識しなかった場合の情報処理装置２を表す図である。この場合、入力画像が画像Ｄ３としてそのまま表示されている。
　図５の（Ｂ）は、ＯＣＲ部１１が入力画像に含まれる文字列を認識した場合の情報処理装置２を表す図である。この場合、入力画像に含まれる文字列”Could you please rent them”を構成する単語の表示Ｗ１～Ｗ５ごとに下線で装飾された画像Ｄ４が表示されている。
　図５の（Ｃ）は、図５の（Ｂ）に示す状態において、ユーザの指１００が単語”you”を表す単語の表示Ｗ２を押下した時点の情報処理装置２を表す図である。この時点で、情報処理装置２は上述のＳ１０３～Ｓ１０５に示す処理を実行する。
　図５の（Ｄ）は、図５の（Ｃ）に示すように単語の表示Ｗ２が押下され、上述のＳ１０３～Ｓ１０５が実行された場合の情報処理装置２を表す図である。この場合、単語“you”を他の言語に翻訳した結果である“あなた”を示す翻訳画像Ｔ２が対応する単語の表示Ｗ２に重畳して表示されている。また、この状態において、ユーザの指１００が翻訳画像Ｔ２を押下した場合、翻訳画像Ｔ２が非表示となり、図５の（Ｂ）に示すように単語の表示Ｗ２が確認できる状態となる。上記のようにユーザは本実施形態における情報処理装置２を用いて、撮像された画像に含まれる文字列を構成する単語について、翻訳の結果を確認し、また、翻訳された単語を確認することができる。
　〔変形例〕
　上記実施形態２において、Ｓ１０３～Ｓ１０７の処理は単語ごとに独立して実行するように情報処理装置２を構成してもよい。すなわち、図５の（Ｂ）に示す状態において、ユーザの入力に応じて、単語の表示Ｗ１～Ｗ５それぞれについて独立して翻訳画像を表示し、また、翻訳画像を非表示とするように情報処理装置２を構成してもよい。
　また、上記実施形態２において、押下された単語について実行する処理を選択するメニューを表示する処理を、図６のαで示す箇所において行うように情報処理装置２を構成してもよい。メニューにより選択可能とする処理は、例えば、翻訳表示させる処理、指定の辞書ソフトウェアを検索させる処理、インターネットで検索させる処理、などが挙げられる。上記の構成により、撮像された画像に含まれる文字列について実行する処理をユーザが選択することができる。
　また、上記実施形態２において、Ｓ１０３の処理に替えて、単語を含む文を翻訳する処理を行うように情報処理装置２を構成してもよい。
　また、上記各実施形態において翻訳画像は半透明であってもよく、上記翻訳画像の表示および非表示は翻訳画像の透明度を変更することで行ってもよい。
　〔実施形態３〕
　情報処理装置１の制御ブロック（特に制御部１０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
　後者の場合、情報処理装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　〔まとめ〕
　本発明の態様１に係る情報処理装置（１）は、撮像された画像に含まれる文字列を示す部分を装飾した画像を表示させる文字列装飾表示制御手段（文字列装飾表示制御部１２）と、上記文字列を他の言語に翻訳した結果を表す画像である翻訳画像を生成する翻訳画像生成手段（翻訳画像生成部１３）と、撮像された画像または上記文字列装飾表示制御手段によって装飾された画像における上記文字列を示す部分に当該文字列と対応する上記翻訳画像を重畳して表示させる翻訳表示制御手段（翻訳表示制御部１６）と、を備え、上記翻訳表示制御手段はユーザの入力に応じて、上記翻訳画像の表示および非表示を切り替え、上記文字列装飾表示制御手段は、上記翻訳表示制御手段が上記翻訳画像を非表示とした場合に上記装飾された画像を表示する。
　上記の構成によれば、撮像された画像に対して当該撮像された画像に含まれる文字列を示す部分へ上記文字列と対応する翻訳画像を重畳表示させた状態において、当該翻訳画像を非表示とし、上記撮像された画像に含まれる文字列を示す部分を装飾した画像と当該翻訳画像とを切り替えて表示させることができる。よって、ユーザは撮像された画像に含まれる文字列の翻訳を表示させた後であっても、容易にどのような文字列が翻訳されたのかを確認することができる。
　本発明の本発明の態様２に係る情報処理装置は、上記態様１において、上記文字列装飾表示制御手段は、上記文字列に含まれる単語ごとに上記撮像された画像に含まれる文字列を示す部分を装飾してもよい。
　上記の構成によれば、撮像された画像に含まれる文字列を示す部分は、単語ごとに装飾される。これにより、ユーザは単語ごとに選択できることをユーザに理解させることができる。
　本発明の態様３に係る情報処理装置は、上記態様２において、上記翻訳画像生成手段は、上記単語ごとに他の言語に翻訳した結果を表す画像である翻訳画像を生成し、いずれの上記単語がユーザの入力によって選択されたかを判定する選択単語判定手段（選択単語判定部１７）をさらに備え、上記翻訳表示制御手段は、上記選択単語判定手段が選択されたと判定した装飾された上記単語と対応する画像に、当該単語に対応する上記翻訳画像を重畳表示させてもよい。
　上記の構成によれば、ユーザが選択した装飾された上記単語と対応する画像に、当該単語と対応する翻訳画像が重畳表示される。これにより、ユーザは翻訳を希望する単語について、翻訳画像を表示させることができる。
　本発明の態様４に係る情報処理装置は、上記態様１から３において、上記文字列装飾表示制御手段は、上記撮像された画像に含まれる文字列を示す部分へ下線を引いた画像を表示させてもよい。
　上記の構成によれば、撮像された画像に含まれる文字列を示す部分へ下線が引かれる。これにより、撮像された画像のいずれの部分が文字列を示すかを判別することが容易になる。また、撮像された画像が文字列を示す部分の装飾によって隠される部分が少ないため、撮像された画像を装飾することに起因する、視認可能な情報の減少が少なくてすむ。
　本発明の各態様に係る情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記情報処理装置が備える各手段として動作させることにより上記情報処理装置をコンピュータにて実現させる情報処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
　本発明は、カメラなどの撮像装置と接続された携帯電話、スマートフォン、PDA、PCに利用することができる。
　１　情報処理装置
　１２、１１２　文字列装飾表示制御部（文字列装飾表示制御手段）
　１３、１１３　翻訳画像生成部（翻訳画像生成手段）
　１６、１１６　翻訳表示制御部（翻訳表示制御手段）
　１７　選択単語判定部（選択単語判定手段）

Claims (5)

  1. 　撮像された画像に含まれる文字列を示す部分を装飾した画像を表示させる文字列装飾表示制御手段と、
    　上記文字列を他の言語に翻訳した結果を表す画像である翻訳画像を生成する翻訳画像生成手段と、
    　撮像された画像または上記文字列装飾表示制御手段によって装飾された画像における上記文字列を示す部分に当該文字列と対応する上記翻訳画像を重畳して表示させる翻訳表示制御手段と、を備え、
    　上記翻訳表示制御手段は、ユーザの入力に応じて、上記翻訳画像の表示および非表示を切り替え、
    　上記文字列装飾表示制御手段は、上記翻訳表示制御手段が上記翻訳画像を非表示とした場合に上記装飾された画像を表示することを特徴とする情報処理装置。
  2. 　上記文字列装飾表示制御手段は、上記文字列に含まれる単語ごとに装飾することを特徴とする請求項１に記載の情報処理装置。
  3. 　いずれの上記単語がユーザの入力によって選択されたかを判定する選択単語判定手段をさらに備え、
    　上記翻訳画像生成手段は、上記単語ごとに、他の言語に翻訳した結果を表す画像である翻訳画像を生成し、
    　上記翻訳表示制御手段は、上記選択単語判定手段が選択されたと判定した装飾された上記単語と対応する画像に、当該単語に対応する上記翻訳画像を重畳して表示させることを特徴とする請求項２に記載の情報処理装置。
  4. 　上記文字列装飾表示制御手段は、上記画像に含まれる文字列を示す部分へ下線を引いた画像を表示させることを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
  5. 　請求項１から４のいずれか１項に記載の情報処理装置としてコンピュータを機能させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
PCT/JP2014/071647 2013-09-27 2014-08-19 情報処理装置、および制御プログラム Ceased WO2015045676A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201480029905.XA CN105393244B (zh) 2013-09-27 2014-08-19 信息处理装置
US14/890,930 US10068359B2 (en) 2013-09-27 2014-08-19 Information processing device
US15/996,590 US10573046B2 (en) 2013-09-27 2018-06-04 Information processing device, storage medium, and method of displaying result of translation in information processing device
US16/037,280 US20180322677A1 (en) 2013-09-27 2018-07-17 Information processing device, storage medium, and method of operating information processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-202482 2013-09-27
JP2013202482A JP2015069365A (ja) 2013-09-27 2013-09-27 情報処理装置、および制御プログラム

Related Child Applications (3)

Application Number Title Priority Date Filing Date
US14/890,930 A-371-Of-International US10068359B2 (en) 2013-09-27 2014-08-19 Information processing device
US15/996,590 Continuation US10573046B2 (en) 2013-09-27 2018-06-04 Information processing device, storage medium, and method of displaying result of translation in information processing device
US16/037,280 Continuation US20180322677A1 (en) 2013-09-27 2018-07-17 Information processing device, storage medium, and method of operating information processing device

Publications (1)

Publication Number Publication Date
WO2015045676A1 true WO2015045676A1 (ja) 2015-04-02

Family

ID=52742830

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/071647 Ceased WO2015045676A1 (ja) 2013-09-27 2014-08-19 情報処理装置、および制御プログラム

Country Status (4)

Country Link
US (3) US10068359B2 (ja)
JP (1) JP2015069365A (ja)
CN (3) CN108829644A (ja)
WO (1) WO2015045676A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102411890B1 (ko) * 2014-09-02 2022-06-23 삼성전자주식회사 컨텐츠를 처리하는 방법 및 이를 위한 전자 장치
JP6647149B2 (ja) * 2016-06-15 2020-02-14 株式会社Ｎｔｔドコモ 情報表示装置
JP7016612B2 (ja) * 2017-02-10 2022-02-07 株式会社東芝 画像処理装置及びプログラム
CN108509117A (zh) * 2017-02-27 2018-09-07 腾讯科技（深圳）有限公司 数据显示方法及装置
CN108255555B (zh) * 2017-12-26 2019-08-13 平安科技（深圳）有限公司 一种系统语言切换方法及终端设备
US10327098B1 (en) * 2018-04-30 2019-06-18 Paypal, Inc. Locations platform for managing and providing of user experiences
KR102206486B1 (ko) * 2018-06-29 2021-01-25 네이버 주식회사 입력 어플리케이션을 이용한 번역 서비스 제공 방법 및 이를 이용하는 단말장치
CN111045578A (zh) * 2018-10-12 2020-04-21 阿里巴巴集团控股有限公司 显示控制方法、显示控制装置、终端设备和电子设备
CN112085090B (zh) * 2020-09-07 2024-07-09 百度在线网络技术（北京）有限公司 翻译方法、装置以及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03271976A (ja) * 1990-03-22 1991-12-03 Toshiba Corp 電子辞書及び情報検索方法
JP2008054236A (ja) * 2006-08-28 2008-03-06 Nikon Corp 撮像装置

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH039472A (ja) * 1989-06-06 1991-01-17 Nec Corp 原文イメージ保存装置
CA2078423C (en) * 1991-11-19 1997-01-14 Per-Kristian Halvorsen Method and apparatus for supplementing significant portions of a document selected without document image decoding with retrieved information
JPH09179867A (ja) 1995-12-25 1997-07-11 Sharp Corp 文書情報処理装置
JPH1153365A (ja) 1997-08-07 1999-02-26 Matsushita Electric Ind Co Ltd 情報付加機能付機械翻訳装置
JP4150842B2 (ja) 2000-05-09 2008-09-17 コニカミノルタビジネステクノロジーズ株式会社 画像認識装置、画像認識方法および画像認識プログラムを記録したコンピュータ読取可能な記録媒体
US6993473B2 (en) * 2001-08-31 2006-01-31 Equality Translation Services Productivity tool for language translators
US20030125927A1 (en) * 2001-12-28 2003-07-03 Microsoft Corporation Method and system for translating instant messages
US20030200078A1 (en) * 2002-04-19 2003-10-23 Huitao Luo System and method for language translation of character strings occurring in captured image data
JP4038771B2 (ja) * 2003-10-28 2008-01-30 ソニー株式会社 携帯型情報端末装置および情報処理方法、記録媒体、並びにプログラム
KR20060031769A (ko) * 2004-10-09 2006-04-13 엘지전자 주식회사 촬영문자를 음성 변환하는 기능을 갖는 이동통신 단말기및 그 방법
US20060173829A1 (en) 2005-01-10 2006-08-03 Neeman Yoni M Embedded translation-enhanced search
JP4428266B2 (ja) * 2005-03-22 2010-03-10 富士ゼロックス株式会社 翻訳装置およびプログラム
US20070216712A1 (en) * 2006-03-20 2007-09-20 John Louch Image transformation based on underlying data
US7801721B2 (en) * 2006-10-02 2010-09-21 Google Inc. Displaying original text in a user interface with translated text
US7983897B2 (en) * 2007-02-14 2011-07-19 Google Inc. Machine translation feedback
US8144990B2 (en) * 2007-03-22 2012-03-27 Sony Ericsson Mobile Communications Ab Translation and display of text in picture
CN101339617A (zh) * 2007-07-06 2009-01-07 上海思必得通讯技术有限公司 手机拍照翻译装置
US20100204979A1 (en) * 2009-02-06 2010-08-12 Inventec Corporation System and method for magnifiedly displaying real-time translated word
JP4759638B2 (ja) 2009-12-25 2011-08-31 株式会社スクウェア・エニックス リアルタイムなカメラ辞書
US9053098B2 (en) * 2010-01-14 2015-06-09 Abbyy Development Llc Insertion of translation in displayed text consisting of grammatical variations pertaining to gender, number and tense
CN102959537B (zh) * 2010-06-25 2015-07-22 乐天株式会社 机器翻译系统及机器翻译方法
US8626236B2 (en) * 2010-10-08 2014-01-07 Blackberry Limited System and method for displaying text in augmented reality
US8635059B2 (en) * 2010-11-15 2014-01-21 Google Inc. Providing alternative translations
JP5631362B2 (ja) 2011-08-08 2014-11-26 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP5972578B2 (ja) * 2012-01-16 2016-08-17 シャープ株式会社 画像処理装置、画像形成装置、プログラム、記録媒体
KR20140030361A (ko) * 2012-08-27 2014-03-12 삼성전자주식회사 휴대단말기의 문자 인식장치 및 방법
US9087046B2 (en) * 2012-09-18 2015-07-21 Abbyy Development Llc Swiping action for displaying a translation of a textual image
US9519641B2 (en) * 2012-09-18 2016-12-13 Abbyy Development Llc Photography recognition translation
US9025877B2 (en) * 2013-01-04 2015-05-05 Ricoh Company, Ltd. Local scale, rotation and position invariant word detection for optical character recognition
CA2906399A1 (en) * 2013-03-15 2014-10-09 Translate Abroad, Inc. Systems and methods for displaying foreign character sets and their translations in real time on resource-constrained mobile devices
US9239833B2 (en) * 2013-11-08 2016-01-19 Google Inc. Presenting translations of text depicted in images
US9547644B2 (en) * 2013-11-08 2017-01-17 Google Inc. Presenting translations of text depicted in images
JP6328409B2 (ja) * 2013-11-28 2018-05-23 シャープ株式会社 翻訳装置
US10534528B2 (en) * 2013-12-31 2020-01-14 Barnes & Noble College Booksellers, Llc Digital flash card techniques
WO2015164823A1 (en) * 2014-04-25 2015-10-29 Fisher Timothy Isaac Messaging with drawn graphic input

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03271976A (ja) * 1990-03-22 1991-12-03 Toshiba Corp 電子辞書及び情報検索方法
JP2008054236A (ja) * 2006-08-28 2008-03-06 Nikon Corp 撮像装置

Also Published As

Publication number Publication date
CN105393244A (zh) 2016-03-09
JP2015069365A (ja) 2015-04-13
US20160117854A1 (en) 2016-04-28
CN105393244B (zh) 2019-10-15
US10573046B2 (en) 2020-02-25
CN108829644A (zh) 2018-11-16
US20180322677A1 (en) 2018-11-08
US10068359B2 (en) 2018-09-04
US20180276868A1 (en) 2018-09-27
CN109101467A (zh) 2018-12-28

Similar Documents

Publication Publication Date Title
WO2015045676A1 (ja) 情報処理装置、および制御プログラム
KR102147935B1 (ko) 데이터 처리 방법 및 그 전자 장치
CN106484266B (zh) 一种文本处理方法及装置
US8413075B2 (en) Gesture movies
KR102285699B1 (ko) 이미지를 디스플레이하는 사용자 단말기 및 이의 이미지 디스플레이 방법
TWI438675B (zh) 提供情境感知援助說明之方法、裝置及電腦程式產品
CN102981728B (zh) 语义缩放
KR102129374B1 (ko) 사용자 인터페이스 제공 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말
US9678659B2 (en) Text entry for a touch screen
US20140055343A1 (en) Input method and apparatus of portable device
US20130104068A1 (en) Text prediction key
JP5947887B2 (ja) 表示制御装置、制御プログラム、および表示装置の制御方法
US20170285932A1 (en) Ink Input for Browser Navigation
CN104541239A (zh) 文本选择和录入
CN104778194A (zh) 基于触摸操作的搜索方法和装置
KR20170137491A (ko) 전자 장치 및 그의 동작 방법
US20250088697A1 (en) User terminal apparatus, electronic apparatus, system, and control method thereof
CN104778195A (zh) 终端和基于触摸操作的搜索方法
CN103076980B (zh) 搜索项显示方法和装置
CN108475157B (zh) 字符输入方法、装置及终端
KR20190063853A (ko) 입력 필드의 이동 방법 및 장치
JP2013003803A (ja) 文字入力装置、文字入力装置の制御方法、制御プログラム、及び記録媒体
US20160132478A1 (en) Method of displaying memo and device therefor
JP2013003802A (ja) 文字入力装置、文字入力装置の制御方法、制御プログラム、及び記録媒体
US10795537B2 (en) Display device and method therefor

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480029905.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14848088

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14890930

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14848088

Country of ref document: EP

Kind code of ref document: A1