WO2020026360A1 - コンピュータシステム、画面共有方法及びプログラム - Google Patents

コンピュータシステム、画面共有方法及びプログラム Download PDF

Info

Publication number
WO2020026360A1
WO2020026360A1 PCT/JP2018/028748 JP2018028748W WO2020026360A1 WO 2020026360 A1 WO2020026360 A1 WO 2020026360A1 JP 2018028748 W JP2018028748 W JP 2018028748W WO 2020026360 A1 WO2020026360 A1 WO 2020026360A1
Authority
WO
WIPO (PCT)
Prior art keywords
message
text
instructor
voice
translation data
Prior art date
Application number
PCT/JP2018/028748
Other languages
English (en)
French (fr)
Inventor
俊二 菅谷
Original Assignee
株式会社オプティム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社オプティム filed Critical 株式会社オプティム
Priority to JP2020533955A priority Critical patent/JP7058052B2/ja
Priority to PCT/JP2018/028748 priority patent/WO2020026360A1/ja
Priority to US17/264,618 priority patent/US20210294986A1/en
Priority to CN201880098229.XA priority patent/CN112789620A/zh
Publication of WO2020026360A1 publication Critical patent/WO2020026360A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay

Definitions

  • the present invention relates to a computer system, a screen sharing method, and a program for performing screen sharing and receiving instructions from a remote place.
  • a field worker takes an image of a work target with a photographing device such as a camera, and takes the captured image with a pointer terminal carried by the pointer and a designated person carried by the field worker.
  • a screen is shared with a terminal, and an instructor gives an instruction to an instructed person.
  • Patent Literature 1 there is a possibility that the language resulting from the translation may not always be an appropriate language for the instructed person, and thus the instruction content may not be appropriately transmitted.
  • the object of the present invention is to provide a computer system, a screen sharing method, and a program that can easily and appropriately transmit instruction contents.
  • the present invention provides the following solutions.
  • the present invention is a computer system that performs screen sharing and receives instructions remotely. Extracting means for extracting a language used by the designated person from a database registered in advance, Obtaining means for obtaining a text or voice message from the instructor; Generating means for generating translation data obtained by translating the acquired message into the extracted language; Translation data output means for outputting the generated translation data to the instructed person in text or voice, A computer system is provided.
  • a computer system that performs screen sharing and receives an instruction from a remote site extracts a language used by a designated person from a pre-registered database, acquires a text or voice message from the designated person, and acquires The translated message is translated into the extracted language, and the translated data is output to the designated person in text or voice.
  • the present invention is in the category of computer systems.
  • other categories such as methods and programs exhibit the same functions and effects according to the categories.
  • FIG. 1 is a diagram showing an outline of the screen sharing system 1.
  • FIG. 2 is an overall configuration diagram of the screen sharing system 1.
  • FIG. 3 is a flowchart illustrating a message output process executed by the instructor terminal 100 and the instructee terminal 200.
  • FIG. 4 is a flowchart showing an alternative message output process executed by the instructor terminal 100 and the instructee terminal 200.
  • FIG. 5 is a diagram showing an example of the language database used.
  • FIG. 6 is a diagram schematically illustrating an example of a state in which the instructor terminal 100 and the instructee terminal 200 output a message.
  • FIG. 7 is a diagram illustrating an example of an alternative message output by the instructor terminal 100.
  • FIG. 8 is a diagram schematically illustrating an example of a state in which the instructor terminal 100 and the instructee terminal 200 output a message.
  • FIG. 1 is a diagram for describing an outline of a screen sharing system 1 according to a preferred embodiment of the present invention.
  • the screen sharing system 1 is a computer system that includes an instructor terminal 100 and an instructee terminal 200, and that performs screen sharing and receives an instruction from a remote place.
  • the screen sharing system 1 may include other devices and terminals such as a computer in addition to the instructor terminal 100 and the instructee terminal 200.
  • the instructor terminal 100 and the instructee terminal 200 are connected so as to be able to perform data communication via a public line network or the like, and screen sharing is performed for an image, an object, or the like displayed in a shared area set for each. I do.
  • the instructor terminal 100 is a terminal possessed by an instructor who remotely instructs an instructed person such as a field worker or the like on the contents of work.
  • the instructor terminal 100 stores in advance a used language database in which a designated person and a language used by the designated person are registered in association with each other.
  • the instructor terminal 100 generates translation data obtained by translating the work content (text or voice message) designated by the instructor into a language used by the instructed person, and outputs the translated data to the instructed terminal 200.
  • the instructor terminal 100 outputs a plurality of alternative messages that have the same nuance and are easy to translate the work content into the language used by the instructee.
  • the instructor terminal 100 receives an input for selecting any one of the plurality of output alternative messages, generates translation data obtained by translating the accepted alternative message into a language used by the instructee, and sends the translated data to the instructee terminal 200. Output.
  • the instructed terminal 200 acquires the translation data output by the instructor terminal 100 and outputs a message based on the translated data. By outputting this message, the instructee terminal 200 displays the content of the work instructed by the instructor to the instructee.
  • the instructor terminal 100 and the instructee terminal 200 perform screen sharing (step S01).
  • the instructor terminal 100 specifies the owner of the instructed terminal 200 that has performed the screen sharing this time as the instructed person.
  • the specific content for example, the identifier (name, ID, etc.) of the designated person associated with the designated person terminal 200 is specified.
  • the instructor terminal 100 and the instructed terminal 200 share a screen with a sharing target such as an image or an object displayed in a preset shared area.
  • the instructor terminal 100 extracts the language used by the instructed person from the pre-registered language database (step S02).
  • the instructor terminal 100 extracts the language used by the instructed person associated with the specified identifier of the instructed person from the database.
  • the instructor terminal 100 acquires a text or voice message from the instructor (step S03).
  • the instructor terminal 100 receives a text input to an input unit such as a touch panel or a keyboard or a voice input to an input unit such as a microphone from the instructor, thereby receiving an instruction of the work content as a message, Get the instruction of as a message.
  • the instructor terminal 100 generates translation data obtained by translating the acquired message into a language used by the extracted user (step S04).
  • the instructor terminal 100 translates the acquired message into a language used by the instructed person by a rule translation, a statistical translation, a translation by a deep neutral net, or the like.
  • the instructor terminal 100 generates the translated message as translation data.
  • the instructor terminal 100 outputs the generated translation data to the instructed terminal 200 (step S05).
  • the instructor terminal 100 outputs the translation data by transmitting the translation data to the instructee terminal 200 that executes screen sharing.
  • the designated person terminal 200 acquires the translation data. Based on the acquired translation data, the designated person terminal 200 outputs a message translated by the designated person into the language used by the designated person (step S06). The instructee terminal 200 outputs the message to the inside of the shared area or outside the shared area, thereby notifying the instructed person of the instruction of the work content from the instructor.
  • FIG. 2 is a diagram showing a system configuration of a screen sharing system 1 according to a preferred embodiment of the present invention.
  • a screen sharing system 1 is a computer system that includes an instructor terminal 100 and an instructed person terminal 200, performs screen sharing, and receives an instruction from a remote place.
  • the instructor terminal 100 and the instructee terminal 200 are connected so as to be able to perform data communication via a public line network (the Internet network, the third and fourth generation communication networks, and the like).
  • the screen sharing system 1 may include other terminals and devices such as a computer.
  • the instructor terminal 100 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory) as a control unit, and a communication unit for enabling communication with the instructed terminal 200.
  • the device includes, for example, a Wi-Fi (Wireless-Fidelity) compatible device compliant with IEEE 802.11.
  • the indicator terminal 100 includes, as a storage unit, a data storage unit such as a hard disk, a semiconductor memory, a recording medium, and a memory card.
  • the instructor terminal 100 includes, as a processing unit, various devices that execute various processes.
  • the control unit reads a predetermined program, and realizes the translation data output module 110 in cooperation with the communication unit.
  • the control unit reads a predetermined program, and realizes the storage module 120 in cooperation with the storage unit.
  • the control unit reads a predetermined program and cooperates with the processing unit to cooperate with the instructor specifying module 130, the language extraction module 131, the message acquisition module 132, the message analysis module 133, and the translation.
  • the data generation module 134, the alternative message output module 135, and the selection reception module 136 are realized.
  • the instructed person terminal 200 includes a CPU, a RAM, a ROM, and the like as a control unit similarly to the instructor terminal 100, includes a device that enables communication with the instructor terminal 100 as a communication unit, and And various devices for executing various processes.
  • the control unit reads a predetermined program, and realizes the translation data acquisition module 210 in cooperation with the communication unit. Further, in the instructed person terminal 200, the control unit reads a predetermined program, and realizes the message output module 230 in cooperation with the processing unit.
  • FIG. 3 is a diagram illustrating a flowchart of a message output process executed by the instructor terminal 100 and the instructee terminal 200. The processing executed by the module of each device described above will be described together with this processing.
  • step S10 an image, an object, or the like displayed in one of the shared areas, which is an area for sharing a screen preset in the instructor terminal 100, and a shared area preset in the instructed terminal 200, Is displayed in the other shared area.
  • the instructed person terminal 200 captures an image such as a moving image or a still image of the work site by using a capturing device such as a camera provided therein, and displays the captured image in the shared area.
  • the instructor terminal 100 shares the screen with this image as a sharing target. The instructor remotely issues an instruction to the instructed person while viewing this image.
  • step S10 Since the screen sharing performed in step S10 itself is the same as the general screen sharing, a detailed description thereof will be omitted.
  • the designated person specifying module 130 specifies the designated person (step S11).
  • the instructed person specifying module 130 is based on the identifier of the instructed terminal 200 that has shared the screen (information capable of uniquely specifying an object such as a telephone number, an IP address, a MAC address, and various IDs). Identify the instructed person.
  • the instructed person specifying module 130 specifies an instructed person identifier (information that can uniquely specify an object such as a name, an identification number, and various IDs) previously associated with the identifier of the instructed person terminal 200.
  • the designated person specifying module 130 specifies the designated person by specifying the identifier of the designated person.
  • the language extraction module 131 extracts a language used by the instructed person from a pre-registered language database (step S12).
  • step S12 the language extraction module 131 extracts the language used by the instructee this time by referring to the in-use language database in which the instructed person's name, identifier, and language in use are registered in advance.
  • the language extraction module 131 extracts the language used by the designated person by extracting the language used in association with the specified identifier of the designated person.
  • FIG. 5 is a diagram illustrating an example of the language database used by the storage module 120.
  • the used language database is a database in which the name of the designated person, the identifier of the designated person, and the language used by the designated person are registered in advance in association with each other.
  • the storage module 120 stores the language database in advance. In this example, the identifier “0001” and the language used “English” are registered in association with the name “designated person A”. Similarly, for the other designated persons, the identifier and the language used are registered in association with each other.
  • the instructed person specifying module 130 when specifying the instructed person this time, specifies the identifier of the instructed person associated with the identifier of the instructed terminal 200 sharing the screen. At this time, the designated person specifying module 130 assumes that the specified designated person identifiers are “designated person A” and “0001”.
  • the language extraction module 131 refers to the used language database and extracts the used language associated with the specified identifier of the designated person. At this time, the language extraction module 131 extracts “English” which is a language used in association with “Identifier A” and “0001”, which are the identifiers of the identified instructors. The language of the instructed person extracted at this time is used in the processing described later.
  • the language used is registered in the language database, but nationality may be registered instead of the language used.
  • the official language may be registered in association with the nationality, and the official language may be extracted as the language used by the designated person.
  • the instructor terminal 100 extracts the language used by the instructed person.
  • a language database in which the instructed person and the instructed language are associated in advance, there is no need to select the language to be translated when the instructor or instructed person receives a remote instruction, thereby improving work efficiency. It is also possible to do.
  • there is no need to select a language to be translated and it is possible to more easily and appropriately transmit instruction contents.
  • the message acquisition module 132 acquires a text or voice message from the instructor (step S13).
  • the message acquisition module 132 accepts a text input from the instructor to an input unit such as a touch panel or a keyboard or a voice input to an input unit such as a sound collecting device such as a microphone. Accept the input of.
  • the message acquisition module 132 acquires the text or voice received as described above as a message.
  • step S13 The process of step S13 will be described based on an example.
  • the message acquisition module 132 acquires, for example, a message "Is it a little closer?" I do. Also, the message acquisition module 132 accepts the input of the voice of the instructor uttered to the sound collection device as a message, "Would you be a little closer?" Get as a message.
  • the message acquisition module 132 may display the acquired message either inside the shared area or outside the shared area or both.
  • the message acquisition module 132 does not display the message in the shared area or outside the shared area.
  • the display may be performed on both or both.
  • the acquired message is a voice
  • the acquired message may be output from a sound emitting device such as a speaker.
  • the message acquisition module 132 may be configured not to output the message from the sound emitting device when the message is acquired, but to output the message from the sound emitting device when the process of translating a message described below is completed. Further, even when the acquired message is a voice, a configuration may be adopted in which the text as a result of the text recognition described later is displayed at the same timing as when the acquired message is a text.
  • the message analysis module 133 analyzes the acquired message (Step S14). In step S14, the message analysis module 133 analyzes whether the acquired message is a text or a voice. The message analysis module 133 If the message is a text, the process of step S15 described later is executed. If the acquired message is a voice, the message analysis module 133 performs voice analysis. The message analysis module 133 performs text recognition on the acquired voice as a result of the voice analysis, and executes processing described below based on the recognized text.
  • the translation data generation module 134 generates translation data translated into a language used by the instructed person who extracted the acquired message (step S15). In step S15, if the acquired message is a text, the translation data generation module 134 translates the text. When the acquired message is a speech, the translation data generation module 134 translates the recognized text as a result of the speech analysis. In this translation, the translation data generation module 134 translates the message by translation such as rule translation, statistical translation, or translation by a deep neutral net. The translation data generation module 134 generates a result of the translation as translation data.
  • the translation executed by the translation data generation module 134 will be described based on the above example.
  • the translation data generation module 134 translates the acquired message “Is it a little closer?” Into English since the language used by the instructee this time is English. As a result, the translation data generation module 134 generates “Can @ you ⁇ come ⁇ a ⁇ closer?”, Which is an English translation of this message, as translation data.
  • the translation data output module 110 outputs the generated translation data to the designated person terminal 200 (Step S16).
  • the translation data acquisition module 210 acquires the translation data output by the instructor terminal 100.
  • the message output module 230 outputs a translated message in which the message input by the instructor is translated into the language used by the instructed person based on the acquired translation data (step S17).
  • step S17 when the message acquired by the instructor terminal 100 is a text, the message output module 230 outputs a translation of the text input as the message as text or voice.
  • the message output module 230 When the message acquired by the instructor terminal 100 is a voice, the message output module 230 outputs, as a text or a voice, a translation of a text obtained as a result of text recognition of the voice input as the message.
  • the message output module 230 may display the translated message either inside the shared area or outside the shared area or both.
  • the message output module 230 may output the translated message from the sound emitting device.
  • the configuration may be such that the sound is output from the sound emitting device.
  • the message output module 230 displays the translated message as text in one or both of the shared area and the outside of the shared area, regardless of whether the message acquired by the instructor terminal 100 is text or voice. , And the output from the sound emitting device.
  • FIG. 6 is a diagram schematically illustrating an example of a state in which the instructor terminal 100 and the instructee terminal 200 output a message.
  • FIG. 6 respective shared areas of the instructor terminal 100 and the instructed person terminal 200 are schematically illustrated.
  • a description will be given assuming that the message acquired by the instructor terminal 100 is text.
  • the description will be made assuming that the message is the above-mentioned "Is it a little closer?”
  • the instructed person is described as “instructed person A”, and the language used by the instructed person A is described as “English”. Note that, in FIG. 6, descriptions of sharing targets such as images and objects are omitted.
  • the message acquisition module 132 displays the acquired message 300, "Is it a little closer?" In the shared area.
  • the message output module 230 displays “Can @ you ⁇ come ⁇ a ⁇ closer?”, Which is the translated message 310 obtained by translating the acquired message 300 into English, in the shared area.
  • the message obtaining module 132 outputs the obtained message 300 as voice or text
  • the message output module 230 outputs the obtained message 300 as a translated message obtained by translating the obtained message 300 into English.
  • 310 is output as voice or text.
  • the message acquisition module 132 displays the message 300 in the shared area and outputs it as a voice, regardless of whether the acquired message 300 is text or voice, and the message output module 230
  • the post-message 310 may be displayed in the shared area and output as audio.
  • the display locations of the message 300 and the translated message 310 can be changed as appropriate as long as they are in the shared area.
  • the display location of the message 300 and the translated message 310 is not limited to the inside of the shared area, and may be outside the shared area.
  • FIG. 4 is a diagram illustrating a flowchart of an alternative message output process executed by the instructor terminal 100 and the instructee terminal 200. The processing executed by the module of each device described above will be described together with this processing. Note that detailed description of the same processing as the above-described message output processing is omitted.
  • step S20 the instructor terminal 100 and the instructee terminal 200 execute screen sharing (step S20).
  • the processing in step S20 is the same as the processing in step S10 described above.
  • step S21 The designated person specifying module 130 specifies the designated person (step S21).
  • the processing in step S21 is the same as the processing in step S11 described above.
  • the language extraction module 131 extracts a language used by the instructed person from a language database registered in advance (step S22).
  • the processing in step S22 is the same as the processing in step S12 described above.
  • the message acquisition module 132 acquires a text or voice message from the instructor (step S23).
  • the processing in step S23 is the same as the processing in step S13 described above.
  • the message analysis module 133 analyzes the acquired message (step S24).
  • the processing in step S24 is the same as the processing in step S14 described above.
  • the message analysis module 133 determines whether the message is suitable for translation (step S25). In step S25, as a result of analyzing the message, the message analysis module 133 determines whether the message input as text includes a typo or a missing character, and determines whether the message input by text or voice can have a plurality of meanings. It is determined whether the message input as text or voice is unclear (for example, a dialect is included, unclear due to environmental sounds, or unclear in spoken meaning). That is, the message analysis module 133 determines whether or not the acquired message is a message that can be uniquely converted into the translation destination language. In particular, when the message is a voice, the input is performed by dictation, which is effective because the message may include a plurality of meanings or may include a difference depending on a dialect.
  • step S25 If the message analysis module 133 determines that the message is suitable for translation (step S25: YES), the instructor terminal 100 and the instructee terminal 200 perform the processes from step S15 onward in the above-described message output process. Execute. In the present process, for simplification of the description, the description will be made assuming that the process is terminated.
  • step S25 If the message analysis module 133 determines that the message is not suitable for translation (step S25: NO), the alternative message output module 135 determines that the nuance is the same as the acquired message, and An alternative message that is easy to translate is generated (step S26).
  • step S26 similar nuances mean messages that are similar but have different meanings after translation. That is, with the acquired message at the core, a supplementary message of the content and the wording of the message is generated as an alternative message.
  • the storage module 120 stores in advance words frequently used in the field (return, clearing, proceeding, etc.) as keywords, and further stores a plurality of words (progress the process, advance workers, etc.) on the keywords. ) Are stored in association with each other. If the message acquired this time includes this keyword in the message acquired this time, the alternative message output module 135 generates a text in which a word associated with this keyword is supplemented to the acquired message. When the message acquired this time does not include this keyword, the alternative message output module 135 generates a text in which a general word is supplemented to the acquired message.
  • the message analysis module 133 analyzes that this message includes the keyword “return” stored in advance.
  • the alternative message output module 135 complements the acquired message “proceed with the process” and “proceed by the worker” associated with the keyword “return”, and as the complemented message, the “a little before position” ? "And” would you like to return to the previous process? "
  • the storage module 120 may store not only words frequently used in the field but also the dialect of the instructor as keywords, and store the keywords in association with common words. That is, when the message acquired this time includes the dialect, the alternative message output module 135 replaces the text associated with the dialect with the acquired message with a text complementing the acquired message. May be generated as
  • the alternative message output module 135 outputs the generated alternative message (Step S27). In step S27, the alternative message output module 135 outputs the acquired message and the generated alternative message to its own display unit.
  • the selection receiving module 136 receives a selection input from the instructor for the output alternative message (step S28).
  • the selection receiving module 136 receives a selection operation such as a touch operation, a voice input, a gesture input, or the like from the instructor, thereby accepting a selection input to an alternative message that matches the intent of the instructor.
  • FIG. 7 is a diagram illustrating an example of an alternative message output by the alternative message output module 135.
  • the alternative message output module 135 outputs the acquired message 400, the generated alternative messages 410 and 420, and the explanation text 430 to the display unit.
  • the acquired message 400 is “slightly back” which is a message acquired from the instructor.
  • the substitute message 410 is “A: maybe you return to a position a little before?” Which is one of the substitute messages after completion of the acquired message.
  • the substitute message 420 is “B: would you like to return to the previous step?”, Which is one of the supplementary substitute messages of the acquired message.
  • the description text 430 is a description that urges the instructor to select an alternative message, “What do you mean? Please select.”
  • the instructor can select a message close to the intention of the user.
  • the alternative message 420 whose selection has been received by the selection receiving module 136 is highlighted.
  • the message displayed on the instructor terminal 100 when sharing the screen is the selected alternative message.
  • the instructor accepts the input to that effect.
  • the alternative message output module 135 displays a notification that prompts the instructor to re-enter the message to obtain the message again.
  • the alternative message output module 135 also displays a notification that prompts the user to input more specific instruction content as a message or to input a simpler instruction content as a message.
  • the alternative message for which selection has been accepted does not necessarily need to be highlighted.
  • the translation data generation module 134 generates translation data obtained by translating the selected alternative message into a language used by the extracted instructee (step S29).
  • the processing in step S29 is the same as the processing in step S15 described above.
  • the translation data generation module 134 determines that the alternative message that has been selected is “Would you like to return to the previous step?” "come ⁇ back ⁇ to ⁇ the ⁇ process ⁇ a ⁇ little ⁇ before?” as translation data.
  • the translation data output module 110 outputs the generated translation data to the designated person terminal 200 (Step S30).
  • the translation data acquisition module 210 acquires the translation data output by the instructor terminal 100.
  • the message output module 230 outputs a post-translation message obtained by translating a substitute message of the message input by the instructor into a language used by the instructed person based on the acquired translation data (step S31).
  • step S31 when the message acquired by the instructor terminal 100 is a text, the message output module 230 outputs a translation of the text of the alternative message based on the input message as text or voice.
  • the message output module 230 outputs, as a text or a voice, a translation of the text of the alternative message based on the text obtained as a result of text recognition of the voice input as the message. I do.
  • the message output module 230 displays a message obtained by translating an alternative message based on this message, either inside the shared area or outside the shared area or both.
  • the configuration may be as follows.
  • the message output module 230 may be configured to output a message obtained by translating an alternative message based on the message from the sound emitting device. Further, the message output module 230 outputs a message obtained by translating an alternative message based on this message, either in the shared area or outside the shared area, regardless of whether the message obtained by the instructor terminal 100 is text or voice.
  • a configuration in which both are displayed as text and output from the sound emitting device may be used.
  • FIG. 8 is a diagram schematically illustrating an example of a state in which the instructor terminal 100 and the instructee terminal 200 output a message.
  • FIG. 8 schematically illustrates the respective shared areas of the instructor terminal 100 and the instructed person terminal 200.
  • the instructed person is described as “instructed person A”, and the language used by the instructed person A is described as “English”. Note that, in FIG. 8, descriptions of sharing targets such as images and objects are omitted.
  • the substitute message output module 135 displays the substitute message 500 of the acquired message, “Would you like to return to the previous step?” In the shared area.
  • the message output module 230 displays “Will ⁇ you ⁇ come ⁇ back ⁇ to ⁇ the ⁇ process ⁇ a ⁇ little ⁇ before?”, Which is the translated message 510 obtained by translating the substitute message 500 into English, in the shared area.
  • the message obtaining module 132 outputs the alternative message 500 of the obtained message as voice or text
  • the message output module 230 converts the obtained alternative message 500 of the message into English.
  • the translated message 510 is output as voice or text.
  • the message acquisition module 132 displays the alternative message 500 in the shared area and outputs it as audio regardless of whether the acquired message is text or audio.
  • the post-message 510 may be displayed in the shared area and output as audio.
  • the display locations of the alternative message 500 and the translated message 510 can be changed as long as they are in the shared area.
  • the display location of the alternative message 500 and the translated message 510 is not limited to the inside of the shared area, and may be outside the shared area.
  • the means and functions described above are implemented when a computer (including a CPU, an information processing device, and various terminals) reads and executes a predetermined program.
  • the program is provided, for example, in the form of being provided from a computer via a network (SaaS: Software as a Service).
  • the program is provided in a form recorded on a computer-readable recording medium such as a flexible disk, a CD (eg, a CD-ROM), and a DVD (eg, a DVD-ROM, a DVD-RAM).
  • the computer reads the program from the recording medium, transfers the program to an internal recording device or an external recording device, records the program, and executes the program.
  • the program may be recorded in advance on a recording device (recording medium) such as a magnetic disk, an optical disk, or a magneto-optical disk, and may be provided to the computer from the recording device via a communication line.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】より容易に指示内容を適切に伝達することが容易なコンピュータシステム、画面共有方法及びプログラムを提供することを目的とする。 【解決手段】画面共有を行って遠隔から指示を受けるコンピュータシステムは、予め登録されたデータベースから被指示者が使用する言語を抽出し、指示者からテキスト又は音声のメッセージを取得し、取得した前記メッセージを、抽出した前記言語に翻訳した翻訳データを生成し、生成した前記翻訳データを前記被指示者に対して、テキスト又は音声で出力する。

Description

コンピュータシステム、画面共有方法及びプログラム
　本発明は、画面共有を行って遠隔から指示を受けるコンピュータシステム、画面共有方法及びプログラムに関する。
　近年、作業現場や工事現場等における現場作業員に対して、ウェアラブル端末や携帯端末等の端末装置を利用して、遠隔から様々な指示を行うことが行われている。このような指示の方法として、例えば、現場作業員が作業対象をカメラ等の撮影装置により撮影し、撮影した画像を、指示者が所持する指示者端末と、現場作業員が所持する被指示者端末とで画面共有し、指示者が被指示者に対して指示を行うことが行われている。
　しかしながら、近年グローバルな環境や外国人労働者の増加に伴って、このような遠隔での指示において、指示者と被指示者とが使用する言語が異なっている場合が増加してきている。このような状況において、指示者が被指示者に適切な指示を行う構成として、指示者が使用する言語を翻訳し、翻訳後の指示内容を被指示者端末に表示することが開示されている（特許文献１参照）。
特開２００９－２８９１９７号公報
　しかしながら、特許文献１の構成では、翻訳した結果の言語が、被指示者にとって必ずしも適切な言語でないおそれがあったため、指示内容を適切に伝達することができないおそれがあった。
　本発明は、より容易に指示内容を適切に伝達することが容易なコンピュータシステム、画面共有方法及びプログラムを提供することを目的とする。
　本発明では、以下のような解決手段を提供する。
　本発明は、画面共有を行って遠隔から指示を受けるコンピュータシステムであって、
　予め登録されたデータベースから被指示者が使用する言語を抽出する抽出手段と、
　指示者からテキスト又は音声のメッセージを取得する取得手段と、
　取得した前記メッセージを、抽出した前記言語に翻訳した翻訳データを生成する生成手段と、
　生成した前記翻訳データを前記被指示者に対して、テキスト又は音声で出力する翻訳データ出力手段と、
　を備えることを特徴とするコンピュータシステムを提供する。
　本発明によれば、画面共有を行って遠隔から指示を受けるコンピュータシステムは、予め登録されたデータベースから被指示者が使用する言語を抽出し、指示者からテキスト又は音声のメッセージを取得し、取得した前記メッセージを、抽出した前記言語に翻訳した翻訳データを生成し、生成した前記翻訳データを前記被指示者に対して、テキスト又は音声で出力する。
　本発明は、コンピュータシステムのカテゴリであるが、方法及びプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
　本発明によれば、より容易に指示内容を適切に伝達することが容易なコンピュータシステム、画面共有方法及びプログラムを提供することが可能となる。
図１は、画面共有システム１の概要を示す図である。 図２は、画面共有システム１の全体構成図である。 図３は、指示者端末１００、被指示者端末２００が実行するメッセージ出力処理を示すフローチャートである。 図４は、指示者端末１００、被指示者端末２００が実行する代替メッセージ出力処理を示すフローチャートである。 図５は、使用言語データベースの一例を示す図である。 図６は、指示者端末１００と被指示者端末２００とがメッセージを出力した状態の一例を模式的に示した図である。 図７は、指示者端末１００が出力する代替メッセージの一例を示す図である。 図８は、指示者端末１００と被指示者端末２００とがメッセージを出力した状態の一例を模式的に示した図である。
　以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれらに限られるものではない。
　［画面共有システム１の概要］
　本発明の好適な実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態である画面共有システム１の概要を説明するための図である。画面共有システム１は、指示者端末１００と被指示者端末２００とから構成され、画面共有を行って遠隔から指示を受けるコンピュータシステムである。
　なお、画面共有システム１は、指示者端末１００と被指示者端末２００とに加え、コンピュータ等の他の装置や端末が含まれていてもよい。
　指示者端末１００と被指示者端末２００とは、公衆回線網等を介してデータ通信可能に接続されており、其々に設定された共有領域に表示した画像やオブジェクト等の共有対象を画面共有する。
　指示者端末１００は、現場作業員等の被指示者に遠隔から作業内容を指示する指示者が所持する端末である。指示者端末１００は、被指示者とこの被指示者が使用する言語とを対応付けて登録した使用言語データベースを予め記憶している。指示者端末１００は、指示者が指示した作業内容（テキストや音声によるメッセージ）を、被指示者の使用する言語に翻訳した翻訳データを生成し、被指示者端末２００にこの翻訳データ出力する。
　また、指示者端末１００は、上述した構成に加え、作業内容を、同じニュアンスであり、かつ、被指示者が使用する言語に翻訳しやすい代替メッセージを複数出力する。指示者端末１００は、出力した複数の代替メッセージの何れかを選択する入力を受け付け、受け付けた代替メッセージを、被指示者の使用する言語に翻訳した翻訳データを生成し、被指示者端末２００に出力する。
　被指示者端末２００は、この指示者端末１００が出力した翻訳データを取得し、この翻訳データに基づいたメッセージを出力する。被指示者端末２００は、このメッセージを出力することにより、指示者が指示した作業内容を被指示者に対して表示する。
　画面共有システム１が実行する処理の概要について説明する。
　はじめに、指示者端末１００と被指示者端末２００とは、画面共有を実行する（ステップＳ０１）。このとき、指示者端末１００は、今回、画面共有を実行した被指示者端末２００の所持者を、被指示者として特定する。この特定内容としては、例えば、被指示者端末２００に対応付けられた被指示者の識別子（名称、ＩＤ等）を特定する。指示者端末１００と被指示端末２００とは、互いに予め設定された共有領域に表示した画像やオブジェクト等の共有対象を画面共有する。
　指示者端末１００は、予め登録された使用言語データベースから被指示者が使用する言語を抽出する（ステップＳ０２）。指示者端末１００は、特定した被指示者の識別子に対応付けられたこの被指示者が使用する言語を、データベースから抽出する。
　指示者端末１００は、指示者からテキスト又は音声のメッセージを取得する（ステップＳ０３）。指示者端末１００は、指示者からタッチパネルやキーボード等の入力部へのテキスト入力又はマイク等の入力部への音声入力を受け付けることにより、作業内容の指示を、メッセージとして受け付けることにより、指示者からの指示をメッセージとして取得する。
　指示者端末１００は、取得したメッセージを、抽出した被使用者が使用する言語に翻訳した翻訳データを生成する（ステップＳ０４）。指示者端末１００は、ルール翻訳や統計翻訳やディープニュートラルネットによる翻訳等の翻訳により、取得したメッセージを、被指示者が使用する言語に翻訳する。指示者端末１００は、この翻訳したメッセージを、翻訳データとして生成する。
　指示者端末１００は、生成した翻訳データを、被指示者端末２００に出力する（ステップＳ０５）。指示者端末１００は、画面共有を実行する被指示者端末２００に、この翻訳データを送信することにより、出力する。
　被指示者端末２００は、翻訳データを取得する。被指示者端末２００は、この取得した翻訳データに基づいて、指示者が入力したメッセージを被指示者が使用する言語に翻訳したものを出力する（ステップＳ０６）。被指示者端末２００は、共有領域の内部又は共有領域の外部に、このメッセージを出力することにより、指示者からの作業内容の指示を、被指示者に通知する。
　以上が、画面共有システム１の概要である。
　［画面共有システム１のシステム構成］
　図２に基づいて、本発明の好適な実施形態である画面共有システム１のシステム構成について説明する。図２は、本発明の好適な実施形態である画面共有システム１のシステム構成を示す図である。図２において、画面共有システム１は、指示者端末１００及び被指示者端末２００から構成され、画面共有を行って遠隔から指示を受けるコンピュータシステムである。指示者端末１００と被指示者端末２００とは、公衆回線網（インターネット網や、第３、第４世代通信網等）を介して、データ通信可能に接続されている。
　なお、画面共有システム１は、上述した通り、コンピュータ等の他の端末や装置等が含まれていてもよい。
　指示者端末１００は、制御部として、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等を備え、通信部として、被指示者端末２００と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉ―Ｆｉ（Ｗｉｒｅｌｅｓｓ―Ｆｉｄｅｌｉｔｙ）対応デバイス等を備える。また、指示者端末１００は、記憶部として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。また、指示者端末１００は、処理部として、各種処理を実行する各種デバイス等を備える。
　指示者端末１００において、制御部が所定のプログラムを読み込むことにより、通信部と協働して、翻訳データ出力モジュール１１０を実現する。また、指示者端末１００において、制御部が所定のプログラムを読み込むことにより、記憶部と協働して、記憶モジュール１２０を実現する。また、指示者端末１００において、制御部が所定のプログラムを読み込むことにより、処理部と協働して、被指示者特定モジュール１３０、言語抽出モジュール１３１、メッセージ取得モジュール１３２、メッセージ解析モジュール１３３、翻訳データ生成モジュール１３４、代替メッセージ出力モジュール１３５、選択受付モジュール１３６を実現する。
　被指示者端末２００は、指示者端末１００と同様に、制御部として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部として、指示者端末１００と通信可能にするためのデバイスを備え、処理部として、各種処理を実行する各種デバイス等を備える。
　被指示者端末２００において、制御部が所定のプログラムを読み込むことにより、通信部と協働して、翻訳データ取得モジュール２１０を実現する。また、被指示者端末２００において、制御部が所定のプログラムを読み込むことにより、処理部と協働して、メッセージ出力モジュール２３０を実現する。
　［メッセージ出力処理］
　図３に基づいて、画面共有システム１が実行するメッセージ出力処理について説明する。図３は、指示者端末１００、被指示者端末２００が実行するメッセージ出力処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
　はじめに、指示者端末１００と被指示者端末２００とは、画面共有を実行する（ステップＳ１０）。ステップＳ１０において、指示者端末１００に予め設定された画面を共有する領域である共有領域と、被指示者端末２００に予め設定された共有領域とにおいて、一方の共有領域に表示した画像やオブジェクト等の共有対象を他方の共有領域に表示する。
　このとき、被指示者端末２００は、自身に設けられたカメラ等の撮影装置により作業現場の動画や静止画等の画像を撮影し、この撮影した画像を共有領域に表示する。指示者端末１００は、この画像を共有対象として画面共有する。指示者は、この画像を閲覧しつつ、被指示者に対して遠隔から指示を出す。
　ステップＳ１０で行われる画面共有それ自体は、一般的な画面共有と同様のものであるため、その詳細な説明は省略する。
　被指示者特定モジュール１３０は、被指示者を特定する（ステップＳ１１）。ステップＳ１１において、被指示者特定モジュール１３０は、画面共有を行った被指示者端末２００の識別子（電話番号、ＩＰアドレス、ＭＡＣアドレス、各種ＩＤ等の対象を一意に特定可能な情報）に基づいて、被指示者を特定する。被指示者特定モジュール１３０は、この被指示者端末２００の識別子に予め対応付けられた被指示者の識別子（名称、識別番号、各種ＩＤ等の対象を一意に特定可能な情報）を特定する。被指示者特定モジュール１３０は、被指示者の識別子を特定することにより、被指示者を特定する。
　言語抽出モジュール１３１は、予め登録された使用言語データベースから、被指示者が使用する言語を抽出する（ステップＳ１２）。ステップＳ１２において、言語抽出モジュール１３１は、予め被指示者の名称と識別子と使用言語とを対応付けて登録した使用言語データベースを参照することにより、今回の被指示者が使用する言語を抽出する。このとき、言語抽出モジュール１３１は、特定した被指示者の識別子に対応付けられた使用言語を抽出することにより、被指示者が使用する言語を抽出する。
　［使用言語データベース］
　図５に基づいて、使用言語データベースについて説明する。図５は、記憶モジュール１２０が記憶する使用言語データベースの一例を示す図である。使用言語データベースは、予め、被指示者の名称と、この被指示者の識別子と、この被指示者が使用する言語とを対応付けて登録したものである。記憶モジュール１２０は、予めこの使用言語データベースを記憶しておく。本例では、名称が、「被指示者Ａ」には、識別子「０００１」と使用言語「英語」とが対応付けて登録されている。その他の被指示者にとっても同様に、識別子と、使用言語とが対応付けて登録されている。
　ステップＳ１２において、言語抽出モジュール１３１が被指示者の使用言語を抽出する処理について、図５に基づいて説明する。上述した処理において、被指示者特定モジュール１３０は、今回の被指示者を特定する際、画面共有を行っている被指示者端末２００の識別子に対応付けられた被指示者の識別子を特定する。このとき、被指示者特定モジュール１３０は、特定した被指示者の識別子が、「被指示者Ａ」及び「０００１」であるとする。言語抽出モジュール１３１は、この使用言語データベースを参照し、この特定した被指示者の識別子に対応付けられた使用言語を抽出する。このとき、言語抽出モジュール１３１は、特定した被指示者の識別子である「被指示者Ａ」及び「０００１」に対応付けられた使用言語である「英語」を抽出する。この時抽出した被指示者の使用言語を、後述する処理において活用する。
　なお、上述した例では、使用言語を使用言語データベースに登録しているが、使用言語の代わりに、国籍を登録していてもよい。この場合、この国籍にさらに公用語を対応付けて登録しておき、被指示者が使用する言語として、この公用語を抽出すればよい。
　このようにすることにより、指示者端末１００は、被指示者が使用する言語を抽出する。予め被指示者と使用言語とを対応付けた使用言語データベースを用いることにより、指示者や被指示者が遠隔での指示を受ける際に、翻訳する言語を選択する必要がなくなり、作業効率を向上させることも可能となる。また、翻訳する言語を選択する必要がなくなり、より容易に指示内容を適切に伝達することが可能となる。
　メッセージ取得モジュール１３２は、指示者からテキスト又は音声のメッセージを取得する（ステップＳ１３）。ステップＳ１３において、メッセージ取得モジュール１３２は、指示者からタッチパネルやキーボード等の入力部へのテキスト入力又はマイク等の集音装置等の入力部への音声入力を受け付けることにより、指示者からテキスト又は音声の入力を受け付ける。メッセージ取得モジュール１３２は、このように受け付けたテキスト又は音声を、メッセージとして取得する。
　ステップＳ１３の処理について、一例に基づいて説明する。メッセージ取得モジュール１３２は、例えば、指示者がメッセージとして、入力部に入力した「もうちょっと近づいてくれる？」とのテキストの入力を受け付けることにより、この「もうちょっと近づいてくれる？」をメッセージとして取得する。また、メッセージ取得モジュール１３２は、例えば、指示者がメッセージとして、集音装置に発話した「もうちょっと近づいてくれる？」との音声の入力を受け付けることにより、この「もうちょっと近づいてくれる？」をメッセージとして取得する。
　このとき、メッセージ取得モジュール１３２は、取得したメッセージがテキストである場合、取得したメッセージを、共有領域内部又は共有領域外部の何れか又は双方に表示する構成であってもよい。また、メッセージ取得モジュール１３２は、メッセージを取得した時点では、共有領域内部又は共有領域外部に表示せずに、後述するメッセージを翻訳する処理が完了した時点で、共有領域内部又は共有領域外部の何れか又は双方に表示する構成であってもよい。また、取得したメッセージが音声である場合、取得したメッセージを、スピーカ等の放音装置から出力する構成であってもよい。また、メッセージ取得モジュール１３２は、メッセージを取得した時点では、放音装置から出力せずに、後述するメッセージを翻訳する処理が完了した時点で、放音装置から出力する構成であってもよい。また、取得したメッセージが音声である場合であっても、後述するテキスト認識した結果のテキストを、上述した取得したメッセージがテキストである場合と同様のタイミングで表示する構成であってもよい。
　メッセージ解析モジュール１３３は、取得したメッセージを解析する（ステップＳ１４）。ステップＳ１４において、メッセージ解析モジュール１３３は、取得したメッセージがテキストであるか音声であるかを解析する。メッセージ解析モジュール１３３は、
メッセージがテキストである場合、後述するステップＳ１５の処理を実行する。メッセージ解析モジュール１３３は、取得したメッセージが音声である場合、音声解析を実行する。メッセージ解析モジュール１３３は、音声解析の結果として、取得した音声を、テキスト認識し、認識したテキストに基づいて、後述する処理を実行する。
　翻訳データ生成モジュール１３４は、取得したメッセージを抽出した被指示者が使用する言語に翻訳した翻訳データを生成する（ステップＳ１５）。ステップＳ１５において、翻訳データ生成モジュール１３４は、取得したメッセージがテキストである場合、このテキストを翻訳する。また、翻訳データ生成モジュール１３４は、取得したメッセージが音声である場合、音声解析の結果、認識したテキストを翻訳する。翻訳データ生成モジュール１３４は、この翻訳において、ルール翻訳、統計翻訳又はディープニュートラルネットによる翻訳等の翻訳により、メッセージを翻訳する。翻訳データ生成モジュール１３４は、この翻訳した結果を、翻訳データとして生成する。
　翻訳データ生成モジュール１３４が実行する翻訳について、上述した例に基づいて説明する。翻訳データ生成モジュール１３４は、今回の被指示者の使用言語が英語であることから、取得したメッセージである「もうちょっと近づいてくれる？」を英語に翻訳する。その結果、翻訳データ生成モジュール１３４は、このメッセージの英訳である「Ｃａｎ　ｙｏｕ　ｃｏｍｅ　ａ　ｃｌｏｓｅｒ？」を翻訳データとして生成する。
　翻訳データ出力モジュール１１０は、生成した翻訳データを、被指示者端末２００に出力する（ステップＳ１６）。
　翻訳データ取得モジュール２１０は、指示者端末１００が出力した翻訳データを取得する。
　メッセージ出力モジュール２３０は、取得した翻訳データに基づいて、指示者が入力したメッセージを被指示者が使用する言語に翻訳した翻訳後メッセージを出力する（ステップＳ１７）。ステップＳ１７において、メッセージ出力モジュール２３０は、指示者端末１００が取得したメッセージがテキストである場合、メッセージとして入力されたテキストを翻訳したものをテキスト又は音声として出力する。メッセージ出力モジュール２３０は、指示者端末１００が取得したメッセージが音声である場合、メッセージとして入力された音声をテキスト認識した結果のテキストを翻訳したものをテキスト又は音声として出力する。
　このとき、メッセージ出力モジュール２３０は、指示者端末１００が取得したメッセージがテキストである場合、翻訳したメッセージを、共有領域内部又は共有領域外部の何れか又は双方に表示する構成であってもよい。また、メッセージ出力モジュール２３０は、指示者端末１００が取得したメッセージが音声である場合、翻訳したメッセージを、放音装置から出力する構成であってもよい。また、放音装置から出力する構成であってもよい。また、メッセージ出力モジュール２３０は、指示者端末１００が取得したメッセージがテキスト又は音声のいずれであっても、翻訳したメッセージを、共有領域内部又は共有領域外部の何れか又は双方にテキストとして表示するとともに、放音装置から出力する構成であってもよい。
　図６に基づいて、指示者端末１００と被指示者端末２００とがメッセージを出力した状態を説明する。図６は、指示者端末１００と被指示者端末２００とがメッセージを出力した状態の一例を模式的に示した図である。図６において、指示者端末１００と、被指示者端末２００の其々の共有領域を模式的に示している。このとき、指示者端末１００が取得したメッセージはテキストであるものとして説明する。また、メッセージは、上述した「もうちょっと近づいてくれる？」であるものとして説明する。また、被指示者は、上述した「被指示者Ａ」であり、この被指示者Ａが使用する言語は「英語」であるものとして説明する。なお、図６において、画像やオブジェクト等の共有対象についての記載は省略している。
　メッセージ取得モジュール１３２は、取得したメッセージ３００である「もうちょっと近づいてくれる？」を共有領域内に表示する。メッセージ出力モジュール２３０は、この取得したメッセージ３００を英語に翻訳した翻訳後メッセージ３１０である「Ｃａｎ　ｙｏｕ　ｃｏｍｅ　ａ　ｃｌｏｓｅｒ？」」を共有領域内に表示する。このとき、取得したメッセージ３００が音声である場合、メッセージ取得モジュール１３２は、取得したメッセージ３００を音声又はテキストとして出力し、メッセージ出力モジュール２３０は、この取得したメッセージ３００を英語に翻訳した翻訳後メッセージ３１０を音声又はテキストとして出力する。
　なお、メッセージ取得モジュール１３２は、取得したメッセージ３００がテキスト又は音声のいずれの場合であっても、このメッセージ３００を、共有領域内に表示するとともに、音声として出力し、メッセージ出力モジュール２３０は、翻訳後メッセージ３１０を共有領域内に表示するとともに、音声として出力してもよい。
　また、メッセージ３００及び翻訳後メッセージ３１０の表示場所は、共有領域内であれば適宜変更可能である。また、メッセージ３００及び翻訳後メッセージ３１０の表示場所は、共有領域内に限らず、共有領域外であってもよい。
　このようにすることにより、指示者からの作業内容の指示を被指示者に通知する。
　以上が、メッセージ出力処理である。
　［代替メッセージ出力処理］
　図４に基づいて、画面共有システム１が実行する代替メッセージ出力処理について説明する。図４は、指示者端末１００、被指示者端末２００が実行する代替メッセージ出力処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。なお、上述したメッセージ出力処理と同様の処理については、その詳細な説明は省略する。
　はじめに、指示者端末１００と被指示者端末２００とは、画面共有を実行する（ステップＳ２０）。ステップＳ２０の処理は、上述したステップＳ１０の処理と同様である。
　被指示者特定モジュール１３０は、被指示者を特定する（ステップＳ２１）。ステップＳ２１の処理は、上述したステップＳ１１の処理と同様である。
　言語抽出モジュール１３１は、予め登録された使用言語データベースから、被指示者が使用する言語を抽出する（ステップＳ２２）。ステップＳ２２の処理は、上述したステップＳ１２の処理と同様である。
　メッセージ取得モジュール１３２は、指示者からテキスト又は音声のメッセージを取得する（ステップＳ２３）。ステップＳ２３の処理は、上述したステップＳ１３の処理と同様である。
　メッセージ解析モジュール１３３は、取得したメッセージを解析する（ステップＳ２４）。ステップＳ２４の処理は、上述したステップＳ１４の処理と同様である。
　メッセージ解析モジュール１３３は、メッセージが翻訳に適したものであるか否かを判断する（ステップＳ２５）。ステップＳ２５において、メッセージ解析モジュール１３３は、メッセージを解析した結果、テキストとして入力されたメッセージに誤字や脱字が含まれているか否か、テキスト又は音声により入力されたメッセージが複数の意味にとれるか否か、テキスト又は音声として入力されたメッセージが不明瞭（例えば、方言が含まれている、環境音によりはっきりとしてない、口語により意味が不鮮明）か否かを判断する。すなわち、メッセージ解析モジュール１３３は、取得したメッセージが、翻訳先の言語に一意に変換可能なメッセージであるか否かを判断する。特に、メッセージが音声である場合、口述により入力が行われることから、複数の意味が含まれている場合や方言による違いが含まれている場合があることから有効となる。
　メッセージ解析モジュール１３３は、メッセージが翻訳に適したものであると判断した場合（ステップＳ２５　ＹＥＳ）、指示者端末１００及び被指示者端末２００は、上述したメッセージ出力処理でのステップＳ１５以降の処理を実行する。本処理においては、説明の簡略化のために、処理を終了するものとして説明する。
　メッセージ解析モジュール１３３は、メッセージが翻訳に適したものでないと判断した場合（ステップＳ２５　ＮＯ）、代替メッセージ出力モジュール１３５は、取得したメッセージと同様のニュアンスであって、被指示者が使用する言語に翻訳しやすい代替メッセージを生成する（ステップＳ２６）。ステップＳ２６において、同様のニュアンスとは、類似したメッセージではあるものの、翻訳後の意味が異なるものを意味する。すなわち、取得したメッセージを核として、内容やメッセージの文言等を補完したものを代替メッセージとして生成する。
　記憶モジュール１２０は、現場においてよく使われる言葉（戻って、片付けて、先に進んで等）をキーワードとして予め記憶させておき、このキーワードにさらに複数の言葉（工程を進める、作業者が進む等）を対応付けて記憶する。メッセージ解析モジュール１３３は、今回取得したメッセージに、このキーワードが含まれている場合、代替メッセージ出力モジュール１３５は、このキーワードに対応付けられた言葉を、取得したメッセージに補完したテキストを生成する。また、代替メッセージ出力モジュール１３５は、今回取得したメッセージに、このキーワードが含まれていない場合、一般的な言葉を、取得したメッセージに補完したテキストを生成する。
　具体的な説明として、取得したメッセージが「ちょっと戻って」である場合について説明する。メッセージ解析モジュール１３３は、この「ちょっと戻って」をメッセージとして取得した場合、このメッセージに「戻って」という予め記憶したキーワードが含まれていることを解析する。代替メッセージ出力モジュール１３５は、この「戻って」というキーワードに対応付けられた「工程を進める」、「作業者が進む」を取得したメッセージに補完し、補完後のメッセージとして、「少し前の位置に戻ってくれませんか？」と、「少し前の工程に戻ってくれませんか？」とを、代替メッセージとして生成する。
　なお、記憶モジュール１２０は、現場においてよく使われる言葉だけでなく、指示者の方言をキーワードとして予め記憶させて、このキーワードに共通語を対応付けて記憶していてもよい。すなわち、メッセージ解析モジュール１３３は、今回取得したメッセージに、この方言が含まれている場合、代替メッセージ出力モジュール１３５は、この方言に対応付けられた言葉を、取得したメッセージに補完したテキストを代替メッセージとして生成してもよい。
　代替メッセージ出力モジュール１３５は、生成した代替メッセージを出力する（ステップＳ２７）。ステップＳ２７において、代替メッセージ出力モジュール１３５は、自身の表示部に取得したメッセージ、生成した代替メッセージを出力する。
　選択受付モジュール１３６は、出力した代替メッセージに対する指示者からの選択入力を受け付ける（ステップＳ２８）。ステップＳ２８において、選択受付モジュール１３６は、指示者からのタッチ操作や音声入力やジェスチャー入力等の選択操作を受け付けることにより、指示者の意図に合った代替メッセージへの選択入力を受け付ける。
　図７に基づいて、代替メッセージ出力モジュール１３５が出力する代替メッセージについて説明する。図７は、代替メッセージ出力モジュール１３５が出力する代替メッセージの一例を示す図である。代替メッセージ出力モジュール１３５は、表示部に、取得したメッセージ４００、生成した代替メッセージ４１０，４２０、説明テキスト４３０を、出力する。取得したメッセージ４００は、指示者から取得したメッセージである「ちょっと戻って」である。代替メッセージ４１０は、取得したメッセージの補完後の代替メッセージの一つである「Ａ：少し前の位置に戻ってくれませんか？」である。また、代替メッセージ４２０は、取得したメッセージの補完後の代替メッセージの一つである「Ｂ：少し前の工程に戻ってくれませんか？」である。説明テキスト４３０は、指示者に代替メッセージの選択を促す説明文である「どちらの意味ですか？選択してください。」である。
　指示者は、この代替メッセージ出力モジュール１３５が出力した代替メッセージ４１０，４２０の何れかを選択することにより、当人の意図に近いメッセージを選択することが可能となる。このとき、選択受付モジュール１３６により選択を受け付けた代替メッセージ４２０は、強調表示される。後述の処理において、画面共有時に指示者端末１００に表示されるメッセージは、この選択された代替メッセージである。
　なお、指示者は、代替メッセージ出力モジュール１３５が出力した代替メッセージが、当人の意図と異なっている場合、選択受付モジュール１３６は、その旨の入力を受け付ける。このとき、代替メッセージ出力モジュール１３５は、再度メッセージを取得するために指示者に対してメッセージの再入力を促す通知を表示する。代替メッセージ出力モジュール１３５は、メッセージ再入力を促す際、より具体的な指示内容をメッセージとして入力することや、より簡潔な指示内容をメッセージとして入力すること等を促す通知を併せて表示する。また、選択を受け付けた代替メッセージは、必ずしも強調表示される必要はない。
　翻訳データ生成モジュール１３４は、選択を受け付けた代替メッセージを、抽出した被指示者が使用する言語に翻訳した翻訳データを生成する（ステップＳ２９）。ステップＳ２９の処理は、上述したステップＳ１５の処理と同様である。本処理において、翻訳データ生成モジュール１３４は、選択を受け付けた代替メッセージが、「少し前の工程に戻ってくれませんか？」であることから、この代替メッセージを、英語に翻訳した「Ｗｉｌｌ　ｙｏｕ　ｃｏｍｅ　ｂａｃｋ　ｔｏ　ｔｈｅ　ｐｒｏｃｅｓｓ　ａ　ｌｉｔｔｌｅ　ｂｅｆｏｒｅ？」を翻訳データとして生成する。
　翻訳データ出力モジュール１１０は、生成した翻訳データを、被指示者端末２００に出力する（ステップＳ３０）。
　翻訳データ取得モジュール２１０は、指示者端末１００が出力した翻訳データを取得する。
　メッセージ出力モジュール２３０は、取得した翻訳データに基づいて、指示者が入力したメッセージの代替メッセージを被指示者が使用する言語に翻訳した翻訳後メッセージを出力する（ステップＳ３１）。ステップＳ３１において、メッセージ出力モジュール２３０は、指示者端末１００が取得したメッセージがテキストである場合、入力されたメッセージに基づいた代替メッセージのテキストを翻訳したものをテキスト又は音声として出力する。メッセージ出力モジュール２３０は、指示者端末１００が取得したメッセージが音声である場合、メッセージとして入力された音声をテキスト認識した結果のテキストに基づいた代替メッセージのテキストを翻訳したものをテキスト又は音声として出力する。
　このとき、メッセージ出力モジュール２３０は、指示者端末１００が取得したメッセージがテキストである場合、このメッセージに基づいた代替メッセージを翻訳したメッセージを、共有領域内部又は共有領域外部の何れか又は双方に表示する構成であってもよい。また、メッセージ出力モジュール２３０は、指示者端末１００が取得したメッセージが音声である場合、このメッセージに基づいた代替メッセージを翻訳したメッセージを、放音装置から出力する構成であってもよい。また、メッセージ出力モジュール２３０は、指示者端末１００が取得したメッセージがテキスト又は音声のいずれであっても、このメッセージに基づいた代替メッセージを翻訳したメッセージを、共有領域内部又は共有領域外部の何れか又は双方にテキストとして表示するとともに、放音装置から出力する構成であってもよい。
　図８に基づいて、指示者端末１００と被指示者端末２００とがメッセージを出力した状態を説明する。図８は、指示者端末１００と被指示者端末２００とがメッセージを出力した状態の一例を模式的に示した図である。図８において、指示者端末１００と、被指示者端末２００の其々の共有領域を模式的に示している。このとき、指示者端末１００が取得したメッセージはテキストであるものとして説明する。また、メッセージは、上述した「ちょっと戻って」であるものとして説明する。また、被指示者は、上述した「被指示者Ａ」であり、この被指示者Ａが使用する言語は「英語」であるものとして説明する。なお、図８において、画像やオブジェクト等の共有対象についての記載は省略している。
　代替メッセージ出力モジュール１３５は、取得したメッセージの代替メッセージ５００である「少し前の工程に戻ってくれませんか？」を共有領域内に表示する。メッセージ出力モジュール２３０は、代替メッセージ５００を英語に翻訳した翻訳後メッセージ５１０である「Ｗｉｌｌ　ｙｏｕ　ｃｏｍｅ　ｂａｃｋ　ｔｏ　ｔｈｅ　ｐｒｏｃｅｓｓ　ａ　ｌｉｔｔｌｅ　ｂｅｆｏｒｅ？」」を共有領域内に表示する。このとき、取得したメッセージが音声である場合、メッセージ取得モジュール１３２は、取得したメッセージの代替メッセージ５００を音声又はテキストとして出力し、メッセージ出力モジュール２３０は、この取得したメッセージの代替メッセージ５００を英語に翻訳した翻訳後メッセージ５１０を音声又はテキストとして出力する。
　なお、メッセージ取得モジュール１３２は、取得したメッセージがテキスト又は音声のいずれの場合であっても、この代替メッセージ５００を、共有領域内に表示するとともに、音声として出力し、メッセージ出力モジュール２３０は、翻訳後メッセージ５１０を共有領域内に表示するとともに、音声として出力してもよい。
　また、代替メッセージ５００及び翻訳後メッセージ５１０の表示場所は、共有領域内であれば適宜変更可能である。また、代替メッセージ５００及び翻訳後メッセージ５１０の表示場所は、共有領域内に限らず、共有領域外であってもよい。
　このようにすることにより、指示者からの作業内容の指示を被指示者に通知する。
　以上が、代替メッセージ出力処理である。
　上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される（ＳａａＳ：ソフトウェア・アズ・ア・サービス）形態で提供される。また、プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭなど）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記録装置又は外部記録装置に転送し記録して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記録装置（記録媒体）に予め記録しておき、その記録装置から通信回線を介してコンピュータに提供するようにしてもよい。
　以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
　１　画面共有システム、１００　指示者端末、２００　被指示者端末

Claims (4)

  1. 　画面共有を行って遠隔から指示を受けるコンピュータシステムであって、
    　予め登録されたデータベースから被指示者が使用する言語を抽出する抽出手段と、
    　指示者からテキスト又は音声のメッセージを取得する取得手段と、
    　取得した前記メッセージを、抽出した前記言語に翻訳した翻訳データを生成する生成手段と、
    　生成した前記翻訳データを前記被指示者に対して、テキスト又は音声で出力する翻訳データ出力手段と、
    　を備えることを特徴とするコンピュータシステム。
  2. 　取得した前記メッセージと同じニュアンスであって、前記被指示者が使用する言語に翻訳しやすい代替メッセージを出力する代替メッセージ出力手段と、
    　前記代替メッセージに対する選択を、前記指示者から受け付ける選択受付手段と、
    　をさらに備え、
    　前記生成手段は、選択された前記代替メッセージを、抽出した前記言語に翻訳した翻訳データを生成し、
    　前記翻訳データ出力手段は、生成した前記翻訳データを前記被指示者に対して、テキスト又は音声で出力する、
    　ことを特徴とする請求項１に記載のコンピュータシステム。
  3. 　画面共有を行って遠隔から指示を受けるコンピュータシステムが実行する画面共有方法であって、
    　予め登録されたデータベースから被指示者が使用する言語を抽出するステップと、
    　指示者からテキスト又は音声のメッセージを取得するステップと、
    　取得した前記メッセージを、抽出した前記言語に翻訳した翻訳データを生成するステップと、
    　生成した前記翻訳データを前記被指示者に対して、テキスト又は音声で出力するステップと、
    　を備えることを特徴とする画面共有方法。
  4. 　画面共有を行って遠隔から指示を受けるコンピュータシステムに、
    　予め登録されたデータベースから被指示者が使用する言語を抽出するステップ、
    　指示者からテキスト又は音声のメッセージを取得するステップ、
    　取得した前記メッセージを、抽出した前記言語に翻訳した翻訳データを生成するステップ、
    　生成した前記翻訳データを前記被指示者に対して、テキスト又は音声で出力するステップ、
    　を実行させるためのコンピュータ読み取り可能なプログラム。
PCT/JP2018/028748 2018-07-31 2018-07-31 コンピュータシステム、画面共有方法及びプログラム WO2020026360A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020533955A JP7058052B2 (ja) 2018-07-31 2018-07-31 コンピュータシステム、画面共有方法及びプログラム
PCT/JP2018/028748 WO2020026360A1 (ja) 2018-07-31 2018-07-31 コンピュータシステム、画面共有方法及びプログラム
US17/264,618 US20210294986A1 (en) 2018-07-31 2018-07-31 Computer system, screen sharing method, and program
CN201880098229.XA CN112789620A (zh) 2018-07-31 2018-07-31 计算机系统、画面共享方法以及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/028748 WO2020026360A1 (ja) 2018-07-31 2018-07-31 コンピュータシステム、画面共有方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2020026360A1 true WO2020026360A1 (ja) 2020-02-06

Family

ID=69231583

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/028748 WO2020026360A1 (ja) 2018-07-31 2018-07-31 コンピュータシステム、画面共有方法及びプログラム

Country Status (4)

Country Link
US (1) US20210294986A1 (ja)
JP (1) JP7058052B2 (ja)
CN (1) CN112789620A (ja)
WO (1) WO2020026360A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220139049A (ko) * 2021-04-07 2022-10-14 현대두산인프라코어(주) 건설 현장의 호출 공유 시스템 및 호출 공유 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005275676A (ja) * 2004-03-24 2005-10-06 Nec Corp コンテンツ提供システム、コンテンツ提供方法、サーバおよびそのプログラム
JP2016085715A (ja) * 2014-10-29 2016-05-19 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 医用システム及び医用装置並びにプログラム
JP2017091226A (ja) * 2015-11-10 2017-05-25 株式会社オプティム 画面共有システム及び画面共有方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03286255A (ja) * 1990-03-30 1991-12-17 Matsushita Electric Ind Co Ltd 対話型日英機械翻訳システム
JP3286255B2 (ja) 1998-12-21 2002-05-27 キヤノン株式会社 画像処理装置
US8392173B2 (en) * 2003-02-10 2013-03-05 At&T Intellectual Property I, L.P. Message translations
JP2006004366A (ja) * 2004-06-21 2006-01-05 Advanced Telecommunication Research Institute International 機械翻訳システム及びそのためのコンピュータプログラム
BRPI0910706A2 (pt) * 2008-04-15 2017-08-01 Mobile Tech Llc método para atualizar o vocabulário de um sistema de tradução de fala
JP5243646B2 (ja) * 2011-05-24 2013-07-24 株式会社エヌ・ティ・ティ・ドコモ サービスサーバ装置、サービス提供方法、サービス提供プログラム
US20140358519A1 (en) * 2013-06-03 2014-12-04 Xerox Corporation Confidence-driven rewriting of source texts for improved translation
EP3441887B1 (en) * 2016-04-04 2023-06-07 Wovn Technologies, Inc. Translation system
CN106991086A (zh) * 2017-06-08 2017-07-28 黑龙江工业学院 一种英语和俄语的互译方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005275676A (ja) * 2004-03-24 2005-10-06 Nec Corp コンテンツ提供システム、コンテンツ提供方法、サーバおよびそのプログラム
JP2016085715A (ja) * 2014-10-29 2016-05-19 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 医用システム及び医用装置並びにプログラム
JP2017091226A (ja) * 2015-11-10 2017-05-25 株式会社オプティム 画面共有システム及び画面共有方法

Also Published As

Publication number Publication date
CN112789620A (zh) 2021-05-11
US20210294986A1 (en) 2021-09-23
JPWO2020026360A1 (ja) 2021-08-19
JP7058052B2 (ja) 2022-04-21

Similar Documents

Publication Publication Date Title
WO2016165590A1 (zh) 语音翻译方法及装置
JP6233798B2 (ja) データを変換する装置及び方法
CN107205097B (zh) 移动终端查找方法、装置以及计算机可读存储介质
CN107680581A (zh) 用于名称发音的系统和方法
CN111095892A (zh) 电子装置及其控制方法
CN104641413A (zh) 利用头戴式显示器来实现人际交互
JP2015176099A (ja) 対話システム構築支援装置、方法、及びプログラム
WO2020038145A1 (zh) 一种业务数据处理方法、装置以及相关设备
US11031010B2 (en) Speech recognition system providing seclusion for private speech transcription and private data retrieval
JPWO2017208518A1 (ja) 情報処理装置
KR101594835B1 (ko) 음성인식 기능을 갖는 차량 및 헤드유닛과 이를 위한 음성 인식방법
CN111063355A (zh) 会议记录的生成方法及记录终端
KR102312993B1 (ko) 인공신경망을 이용한 대화형 메시지 구현 방법 및 그 장치
JP2017120616A (ja) 機械翻訳方法、及び、機械翻訳システム
US20120242860A1 (en) Arrangement and method relating to audio recognition
WO2020026360A1 (ja) コンピュータシステム、画面共有方法及びプログラム
JP2012168349A (ja) 音声認識システムおよびこれを用いた検索システム
JP6832503B2 (ja) 情報提示方法、情報提示プログラム及び情報提示システム
JP5220451B2 (ja) 電話受付システム、電話受付方法、プログラム、及び記録媒体
US20190066676A1 (en) Information processing apparatus
KR102178175B1 (ko) 사용자 단말 및 그 제어방법
US20180300316A1 (en) System and method for performing message translations
JP2019074865A (ja) 会話収集装置、会話収集システム及び会話収集方法
KR20020020585A (ko) 에이전트를 이용한 대화 방식 인터페이스 운영 시스템 및방법과 그 프로그램 소스를 기록한 기록 매체
JP2011090566A (ja) 音声情報検索システム及び音声情報検索方法

Legal Events

Date Code Title Description
DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2020533955

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18928648

Country of ref document: EP

Kind code of ref document: A1