WO2021229651A1 - 情報通信システムおよび端末の制御方法 - Google Patents

情報通信システムおよび端末の制御方法 Download PDF

Info

Publication number
WO2021229651A1
WO2021229651A1 PCT/JP2020/018849 JP2020018849W WO2021229651A1 WO 2021229651 A1 WO2021229651 A1 WO 2021229651A1 JP 2020018849 W JP2020018849 W JP 2020018849W WO 2021229651 A1 WO2021229651 A1 WO 2021229651A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
unit
mobile
record
communication system
Prior art date
Application number
PCT/JP2020/018849
Other languages
English (en)
French (fr)
Inventor
弘樹 伊藤
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to PCT/JP2020/018849 priority Critical patent/WO2021229651A1/ja
Publication of WO2021229651A1 publication Critical patent/WO2021229651A1/ja
Priority to US17/973,787 priority patent/US20230043401A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D11/00—Passenger or crew accommodation; Flight-deck installations not otherwise provided for
    • B64D11/0015—Arrangements for entertainment or communications, e.g. radio, television
    • B64D11/00155—Individual entertainment or communication system remote controls therefor, located in or connected to seat components, e.g. to seat back or arm rest
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/165—Controlling the light source following a pre-assigned programmed sequence; Logic control [LC]

Definitions

  • the present disclosure is a voice information conversion device (for example, an announcement system that translates and outputs a fixed phrase announcement) that outputs the corresponding information for the content uttered in a situation where the content of the input utterance is predetermined. ).
  • a voice information conversion device for example, an announcement system that translates and outputs a fixed phrase announcement
  • Patent Document 1 discloses an announcement system capable of promptly presenting a translation corresponding to a standard announcement spoken.
  • the announcement system includes a sound collecting device for inputting a voice indicating a fixed phrase, a conversion device for generating a translation of the fixed phrase based on the input voice, and an output device for presenting the translation.
  • the conversion device has a storage unit that stores first information indicating a predetermined sentence, second information indicating the content of the predetermined sentence in a mode different from that of the first information, and a voice for inputting voice information indicating a fixed phrase.
  • the input unit the voice recognition unit that generates text information based on the voice information, and the first that corresponds to the fixed phrase based on the text information and a part of the first information before the input of the voice information for the entire fixed phrase is completed. It includes a conversion processing unit that specifies the information of 1, and a transmission unit that transmits the second information corresponding to the specified first information to the output device. The output device presents the second information received. As a result, since the corresponding fixed phrase is identified and translated before the input of the voice information is completed, the translation corresponding to the spoken fixed phrase can be quickly presented.
  • a voice information conversion device that converts voice information from one language to another and presents it to the user is mounted on a moving object such as an aircraft and used for communication between a tour conductor and passengers. This will be described below.
  • visible light communication communication is performed by blinking light or changing light and darkness, so that it does not interfere with the radio wave communication of communication equipment related to operation and does not affect the operation of electronic equipment.
  • lighting using LEDs which has become widespread in recent years, can be used as a transmitting device relatively easily. It is safe with almost no effect on the human body.
  • a communication means for visible light communication that can be realized relatively easily at present
  • a communication method using general LED lighting as a transmitter and an image sensor of a camera built in a mobile terminal such as a mobile phone as a receiver is available.
  • the amount of information that can be communicated per unit time depends on the exposure timing speed of the image sensor on the receiver side.
  • the receiver side reading speed for example, within 1 second
  • the OS performance that controls it it is currently Only tens of bits of information can be sent from one side at a time. This is a very small amount of information for communicating the conversation content in the communication between the tour conductor and the passenger as it is.
  • This disclosure accurately transmits information with a small amount of information using visible light instead of radio waves with restricted use in mobile objects, and provides in-flight announcements in the native language to mobile terminals owned by passengers of various nationalities.
  • the information communication system in the present disclosure is used in a mobile body, and includes a voice input unit, a recognition unit, an information group, a determination unit, a translation unit, a mobile information management unit, a generation unit, and a conversion unit. It is equipped with a light emitting unit.
  • the voice input unit inputs voice information in the first language.
  • the recognition unit recognizes the voice information input from the voice input unit as utterance information.
  • the information group includes a plurality of utterance information as a record.
  • the determination unit searches for a record corresponding to the utterance information recognized by the recognition unit from the information group, and outputs the record identification information for identifying the record.
  • the translation unit converts the utterance information into translation information expressed in at least one language different from the first language, and translates the translation information. Save to storage and output reference information to access translation information.
  • the mobile information management unit stores the operation information of the mobile.
  • the generation unit generates a data set from the operation information stored in the mobile information management unit and the record identification information or the reference information.
  • the conversion unit generates a modulated signal based on the data set generated by the generation unit.
  • the light emitting part It emits light based on the modulation signal generated by the conversion unit.
  • the terminal control method in the present disclosure is a terminal control method including a wireless communication means, in which a light receiving step of receiving a light beam on which a signal is superimposed is received by a light receiving portion of the terminal and a signal is decoded from the light received in the light receiving step.
  • the determination step of determining whether or not to acquire the information by using the wireless communication means using the signal decoded in the restoration step, and the determination step.
  • a first information generation step in which an output unit that presents information to the user generates information to be presented to the user by using text data built in the terminal in advance, and a wireless communication means is used in the determination step. If it is determined to acquire the information, the output unit includes a second information generation step of generating information to be presented to the user by using the information acquired via the wireless communication means.
  • the information communication system and the control method of the terminal in the present disclosure can translate speech information and output it as a data set of several tens of bits, it is possible to use visible light communication without usage restrictions for mobile terminals owned by passengers of various nationalities. Can provide in-flight announcements in their native language.
  • Block diagram showing the internal configuration of the in-flight announcement system The figure which shows the composition example of the character information group Diagram showing a configuration example of a data set Diagram showing an example of aircraft flight information
  • the figure which shows the composition example of the translation character information group Flow chart showing the processing of the central controller Flowchart showing the processing of the receiving terminal
  • FIG. 1 is a block diagram showing a configuration of an in-flight announcement system 500 according to an embodiment of the present disclosure.
  • the central control device 100 discriminates between the recognition unit 101 that recognizes voice information as speech information, the determination unit 102 that determines whether the speech information is a fixed phrase or other, and the determination unit 102.
  • Character information group 103 that stores character information necessary for the data
  • translation unit 104 that translates speech information
  • storage 105 that stores translation contents
  • generation unit 106 that generates data sets
  • the recognition unit 101 is realized by, for example, executing software that recognizes the input voice information as utterance information, mainly by the CPU in the central control device 100.
  • "recognizing as utterance information” means interpreting the meaning and content contained in the voice information by using computer software or the like.
  • the meaning and content interpreted in this way is "speech information".
  • the recognition unit 101 can be composed of speech character conversion software, morphological analysis software, and the like.
  • the determination unit 102 collates the input utterance information with the character information group 103 and outputs the identification information of the character information whose contents match, or when the character information whose contents match is not found, the utterance information (atypical announcement). Is realized, for example, by executing the processing program that outputs the information to the translation unit 104 mainly by the CPU in the central control device 100.
  • the character information group 103 is a database that holds a plurality of records including the contents and index numbers for each of the standard announcement and the variable in the announcement, and is stored in a storage accessible to the CPU in the central control unit 100. Has been done.
  • This storage may be the same as the storage 105 described later, or may be the same as the storage 105.
  • the translation unit 104 translates the input speech information into a different language, stores it in the storage 105, and executes a processing program that outputs reference information to the storage destination, for example, mainly by the CPU in the central control device 100. It is realized by.
  • the storage 105 is a recording medium for storing translation contents, and can be configured by, for example, a hard disk drive (HDD), a solid state drive (SSD), an optical disk drive, or the like.
  • HDD hard disk drive
  • SSD solid state drive
  • optical disk drive or the like.
  • the generation unit 106 mainly controls a processing program that generates a data set based on the identification information from the determination unit 102, the reference information from the translation unit 104, and the operation information from the mobile information management unit 108, for example, mainly centrally. It is realized by being executed by the CPU in the device 100.
  • the data set is composed of a mobile communication unit, an announcement unit, and a variable unit.
  • the mobile communication unit is a flag indicating whether wireless communication is possible in the aircraft
  • the announcement unit is an index number of a standard announcement or Reference information to the atypical announcement translation content
  • the variable part corresponds to the index number of the variable in the announcement
  • the size is several tens of bits in total.
  • the conversion unit 107 is a modulation circuit that generates a modulation signal based on a data set and continues to output it for a certain period of time.
  • the mobile information management unit 108 is a database that stores aircraft operation information required for processing by the determination unit 102 and the generation unit 106.
  • flight information is information necessary for managing the operation status of moving objects such as aircraft and providing services to passengers. For example, information on departure points, information on arrival points, flight phases, hardware information on aircraft, etc. Information is constantly updated, including information on the operating status of in-flight equipment, in-flight environmental information, and passenger personal information.
  • the flight information is stored in a storage accessible to the CPU in the central control device 100, and this storage may be the same as the storage 105 described later or the same as the storage 105.
  • the flight phase represents a situation in which an aircraft is in operation, such as ground gliding, takeoff, ascent, cruising, descent, landing, etc., and during cruising, such as in-flight sales, beverage provision, meal distribution, bedtime, etc. Also includes information on whether or not the service is provided by the cabin attendant.
  • the receiving terminal 200 has a light receiving unit 201 that outputs the input light as a modulation signal, a restoration unit 202 that restores the modulation signal to a data set, and an in-flight announcement based on the contents of the data set.
  • the specific unit 203 that specifies the content and outputs the translation result, the translated character information group 204 that stores the character information necessary for specifying the announcement content in the specific unit 203, and the language information unit 205 that records the user's language.
  • It is a mobile information terminal including an output unit 206 for outputting a translation result, and can be configured by, for example, a smartphone, a tablet, a laptop computer, or the like.
  • the light receiving unit 201 is composed of a light receiving element for receiving light and an electric circuit that converts light into an electric signal, and can be configured by, for example, a small camera built in a mobile information terminal.
  • the restoration unit 202 is a demodulation circuit that restores and outputs the same data set as that generated by the generation unit 106 based on the modulation signal superimposed on the light rays received by the light receiving unit 201.
  • the specific unit 203 determines whether or not to acquire the translated content from the storage 105 from the information stored in the mobile information management unit in the data set, and determines whether to acquire the translated content from the storage 105, the translated character information group 204, the announcement unit and the variable unit in the data set. It is realized by specifying the announcement content from the above, translating based on the translated language information in the language information unit 205, and executing a processing program that outputs the translated content, for example, mainly by the CPU in the receiving terminal 200. ..
  • the translated character information group 204 is a database group in which the same contents as the character information group 103 are expressed in a plurality of languages, and is stored in a storage accessible to the CPU in the receiving terminal 200.
  • This storage can be configured by, for example, a hard disk drive (HDD), a solid state drive (SSD), an optical disk drive, or the like.
  • the language information unit 205 is an information source that can acquire a language that the owner of the receiving terminal 200 can understand. For example, the language setting information of the receiving terminal 200, the language information selected by the owner from the input device, and the voice of the owner. It can be composed of language information specified from.
  • the output unit 206 is an output interface that outputs the translation result of the in-flight announcement, and the output form may be characters, images, sounds, etc., and may be composed of, for example, a liquid crystal display, an organic EL display, a speaker, headphones, earphones, or the like. ..
  • the voice input device 300 is a sound pickup device including an input unit 301 for inputting an in-flight announcement by a cabin attendant as voice information, and can be configured by, for example, an in-flight communication handset, a pin microphone, a smartphone, or the like.
  • the input unit 301 is, for example, a microphone.
  • the lighting device 400 is a lighting device including a light emitting unit 401 that emits light based on a modulated signal, and can be configured by, for example, a reading light, overall in-flight lighting, or the like.
  • the light emitting unit 401 is an optical element that emits a light beam on which a signal is superimposed by converting a modulated electric signal into an optical signal, and can be configured by, for example, a light emitting diode (LED).
  • LED light emitting diode
  • FIG. 6 is a flowchart for explaining the processing of the central control device 100.
  • the in-flight announcement is input to the recognition unit 101 as a voice signal, the recognition unit 101 executes voice recognition, and outputs the result as text data to the determination unit 102 (S10).
  • the determination unit 102 determines whether or not the text data (hereinafter, registered text data) corresponding to the input text data (hereinafter, input text data) exists in the character information group 103 (S11).
  • the text data corresponding to the character information group 103 it is not always necessary to search for an exact match. It is sufficient to extract highly relevant text data.
  • the similarity between the input text data and the registered text data in the character information group 103 is calculated, it is determined whether there is registered text data having a similarity equal to or higher than the threshold value, and the maximum similarity among them is determined.
  • the corresponding text data is defined as having. For example, as the degree of similarity, a determination based on multiple multiple words used, a determination based on machine learning, and the like can be used.
  • the determination unit 102 extracts text data (hereinafter, extracted text data) corresponding to a variable of the registered text data (standard announcement) from the input text data (S12). ). For example, if the input text data is "The arrival time to Tokyo is 10:00", the corresponding registered text data is "The arrival time to (Variable 1) is (Variable 2).” Extract “Tokyo” corresponding to 1 and "10:00” corresponding to variable 2.
  • the determination unit 102 acquires the index numbers of the registered text data and the extracted text data corresponding to the variables from the database in the character information group 103, and outputs them to the generation unit 106 (S13). For example, in the case of the character information group as shown in FIG. 2, "XXX ... X1" corresponding to "the arrival time at (variable 1) is (variable 2)" of the registered text data and "Tokyo” of the extracted text data. " ⁇ ... ⁇ 1" and “ ⁇ ... ⁇ 2" corresponding to "10:00" are acquired.
  • the determination unit 102 When there is no registered text data whose similarity is equal to or higher than the threshold value (No in S11), the determination unit 102 outputs the input text data to the translation unit 104 (S14).
  • the translation unit 104 performs translation processing on the input text data, saves the result in the storage 105, and outputs the save destination address (reference information) to the generation unit 106 (S15).
  • the generation unit 106 inserts the input index number or address separately into the announcement unit and the variable unit in the data set shown in FIG. 3 (S16). Specifically, the index number (registered index number) or address of the registered text data is inserted in the announcement section, and the index number (extracted index number) of the extracted text data is inserted in the variable section.
  • the generation unit 106 determines whether or not in-flight wireless communication is possible from the information stored in the mobile information management unit 108, and inserts the determination result into the mobile communication unit of the data set (S17). For example, if the flight phase in the mobile information management unit 108 is "cruising”, it is determined that wireless communication is possible, and if the flight phase is "rising", it is determined that wireless communication is not possible.
  • a method of determining whether or not in-flight wireless communication is possible from the information stored in the mobile information management unit 108 a method using a flight phase has been mentioned, but other information may be used for determination. For example, it can be determined by using the distance from the departure point or the arrival point, the elapsed time from takeoff, and the flight altitude, or the operating state of the wireless device in the aircraft may be directly acquired and determined. In addition, it may be decided whether or not to allow wireless communication from the personal information of the customer sitting in the seat. Even when the flight phase is used, it is possible to associate the availability of wireless communication with the phases other than "cruising" and "climbing".
  • the generation unit 106 outputs the completed data set to the conversion unit 107 (S18).
  • the conversion unit 107 determines a blinking pattern of lighting based on the input data set, converts the blinking pattern into an electric signal (modulated signal) given to each lighting control device, and outputs the blinking pattern to each lighting device 400 ( S19).
  • FIG. 7 is a flowchart for explaining the processing of the receiving terminal 200.
  • the light receiving unit 201 converts the input optical signal into an electric signal (modulated signal) and outputs it to the restoration unit 202 (S20).
  • the restoration unit 202 restores the input electric signal to the same data set as that generated by the generation unit 106, and outputs the data to the specific unit 203 (S21).
  • the specific unit 203 acquires the language information of the translation destination from the language information unit 205 (S22).
  • the specific unit 203 determines whether or not the registered index number exists in the announcement unit of the data set input in S21 (S23). When the registered index number exists (Yes in S23), the specific unit 203 searches for the registered index number and the extracted index number stored in the variable part of the data set from the database of the translated character information group 204, and corresponds to the registered index number.
  • Specify the record S24.
  • the specific unit 203 acquires the translation content corresponding to the language information acquired in S22 from each of the specified records, and outputs the translation result to the output unit 206 (S25).
  • the specific unit 203 determines whether or not in-flight wireless communication is possible from the determination result stored in the mobile communication unit of the data set shown in FIG. 3 (S26).
  • the specific unit 203 is stored in the storage 105 of the central control device 100 based on the address (reference information) output in S15 of FIG. 6 in the announcement unit of the data set. Access, acquire the translation content corresponding to the translation language information, and output the translation result to the output unit 206 (S27).
  • the output unit 206 sends a message to the user to have the specific unit 203 access the storage 105 of the central control device 100 when in-flight wireless communication becomes possible.
  • Output (S28). This message is stored in the receiving terminal 200 in advance.
  • the specific unit 203 waits until there is an access request from the user, and when there is an access request, executes the process S27 (S29).
  • the output unit 206 outputs the input translation result to the user (S30).
  • the in-flight announcement system 500 of the present embodiment translates the announcement spoken in the first language into at least one language different from the first language, and there are no restrictions on its use even in an aircraft or the like. It is a system that transmits translation results using visible light communication. Further, the input utterance information is converted into identification information and reference information by the determination unit 102 and the translation unit 104, and is output as a data set by the generation unit 106.
  • the in-flight announcement system 500 is used in an aircraft as an example, but the present invention is not limited to this. It may be installed in other vehicles such as trains, buses, ships, or facilities.
  • the circuit that processes each functional block of the in-flight announcement system 500 may include a processor composed of a dedicated electronic circuit designed to realize a predetermined function instead of the CPU.
  • the processor can be realized by various processors such as CPU, MPU, GPU, DSP, FPGA, and ASIC.
  • the processor may be composed of one or more processors.
  • a computer-readable recording medium on which a program for processing each functional block of the in-flight announcement system 500 is recorded is included in the scope of the present disclosure.
  • examples of computer-readable recording media include flexible disks, hard disks, CD-ROMs, MOs, DVDs, DVD-ROMs, DVD-RAMs, BDs (Blu-ray (registered trademark) Disc), and semiconductor memories. Can be mentioned.
  • the computer program is not limited to the one recorded on the recording medium, and may be acquired via a telecommunication line, a wireless or wired communication line, a network represented by the Internet, or the like.
  • the execution order of the processes described in the flowchart of the above embodiment is not necessarily limited to the description of the above embodiment, and the execution order may be changed or executed at the same time without departing from the gist of the invention. can do.
  • Each step of the flowchart can be executed by one device or can be shared and executed by a plurality of devices. Further, when a plurality of processes are included in one step, the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • the system or device means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the idea of the present disclosure is that information corresponding to the spoken content can be transmitted using visible light in a situation where communication by radio waves is restricted. Therefore, the idea of the present disclosure can be widely applied to a device that outputs information corresponding to the uttered content in a situation where communication by radio waves is restricted. For example, it is useful for an announcement system that translates and outputs announcements in an aircraft.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Machine Translation (AREA)

Abstract

機内アナウンスシステム（５００）は、音声を入力する音声入力装置（３００）と、入力された音声に基づきアナウンス内容を翻訳し変調信号を出力する中央制御装置（１００）と、入力された変調信号に基づき発光する照明装置（４００）と、入力された光信号に基づきアナウンス内容を特定し翻訳結果を出力する受信端末（２００）と、を備える。中央制御装置（１００）は、音声情報を発話情報として認識する認識部（１０１）と、発話情報を定型文かそれ以外かを判別し定型文の識別情報を出力する判定部（１０２）と、判定部（１０２）で判別し識別情報を取得するために必要な文字情報を格納する文字情報群（１０３）と、定型文と判別されなかった発話情報を翻訳し翻訳結果への参照情報を出力する翻訳部（１０４）と、翻訳結果を保存するストレージ（１０５）と、データセットを生成する生成部（１０６）と、データセットをもとに変調信号を生成する変換部（１０７）と、航空機の様々な情報を格納する移動体情報管理部（１０８）と、を備える。

Description

情報通信システムおよび端末の制御方法
　本開示は、入力される発話の内容が予め決まっている状況において発話された内容に対して、対応する情報を出力する音声情報変換装置（例えば、定型文のアナウンスを翻訳して出力するアナウンスシステム）に関する。
　特許文献１は、発話された定型アナウンスに対応する翻訳を迅速に提示できるアナウンスシステムを開示する。アナウンスシステムは、定型文を示す音声を入力する収音装置と、入力音声に基づき定型文の翻訳を生成する変換装置と、翻訳を提示する出力装置とを備える。変換装置は、所定文を示す第１の情報と、所定文の内容を第１の情報と異なる態様で示す第２の情報とを記憶する記憶部と、定型文を示す音声情報を入力する音声入力部と、音声情報に基づきテキスト情報を生成する音声認識部と、定型文全体に対する音声情報の入力完了前に、テキスト情報と第１の情報の一部に基づいて、定型文に対応する第１の情報を特定する変換処理部と、特定された第１の情報に対応する第２の情報を出力装置に送信する送信部とを備える。出力装置は受信した第２の情報を提示する。これにより、音声情報の入力完了前に対応する定型文を特定し翻訳するため、発話された定型アナウンスに対応する翻訳を迅速に提示することができる。
　音声情報をある言語から別の言語に変換してユーザに提示する音声情報変換装置を航空機を代表とする移動体に搭載し、添乗員と乗客のコミュニケーションに使用することを想定した場合の課題について以下に説明する。
　このような使用形態における課題のひとつに、ユーザに対してどのような手段で翻訳結果を伝達するか、ということがある。現在、航空機の各座席には映画鑑賞、ゲーム、フライト状況の確認等ができる個人用モニターが普及しているが、近年格安航空会社（ＬＣＣ）が増えてきており、乗客個々人で情報を取得できる端末が設置されていないことも多い。この状況を考慮すると、乗客自身が持っているスマートフォンやタブレット等の携帯端末に文字情報や音声として翻訳後の結果を出力するのがよいと考えられる。その携帯端末に情報を送信する手段として広く用いられるのは、ＩＥＥＥ８０２等で規格化された無線ＬＡＮや、Ｂｌｕｅｔｏｏｔｈといった電波を使った方法である。しかし、特に航空機においては、電波を使った情報伝達には大きな制約が存在する。例えば、航空機が離陸・着陸する前後の時間帯では、航空機の運航に関わる通信機器への影響を避けるために乗客による電波の使用は禁止されることが多い。また、航空機の中で乗客は互いに近い距離で密集して着座しており、それぞれの乗客に独立した通信チャンネルを割り当てるのは困難である。
　以上のような理由から、移動体において翻訳結果をユーザの携帯端末に電波を使って送信することは難しいと考えられる。
　そこで、通信手段として可視光通信を用いることを考える。可視光通信では光の点滅や明暗の変化等によって通信を行うため、運行に関わる通信機器の電波通信を妨害することはなく、電子機器の動作に影響を与えることもない。また、近年多く普及しているＬＥＤを用いた照明であれば比較的容易に送信機器にすることができる。人体への影響もほとんどなく安全である。
　しかし、可視光通信では、単位時間あたりに通信できる情報量を増やすためには大きなコストがかかる。前述した無線ＬＡＮやＢｌｕｅｔｏｏｔｈと同等の情報量を通信するためには、送信機・受信機共に高価で特別な機器が必要となるためである。
　例えば、現時点で比較的容易に実現可能な可視光通信の通信手段として、一般的なＬＥＤ照明を発信機、携帯電話等の携帯端末に内蔵されたカメラのイメージセンサを受信機として用いる通信方法が考えられる。この場合、単位時間あたりに通信できる情報量は受信機側イメージセンサの露光タイミング速度に依存する。コミュニケーションを妨げない程度の受信機側読み取り速度（例えば１秒以内）を実現することを考えると、一般的に普及している携帯端末のカメラ性能とそれを制御するＯＳ性能から判断して、現在実現できるのは一度に片方から数十ビットの情報を送る程度である。これは、添乗員と乗客のコミュニケーションにおける会話内容をそのまま通信させるには非常に少ない情報量である。
　本開示は、移動体で使用制限のある電波ではなく可視光を用いて、少ない情報量で正確に情報伝送し、様々な国籍の乗客各々が持つ携帯端末に対して母国語の機内アナウンスを提供する情報通信システムおよび端末の制御方法を提供する。
　本開示における情報通信システムは、移動体で用いられ、音声入力部と、認識部と、情報群と、判定部と、翻訳部と、移動体情報管理部と、生成部と、変換部と、発光部とを備える。音声入力部は、第１の言語による音声情報を入力する。認識部は、音声入力部から入力された音声情報を発話情報として認識する。情報群は、複数の発話情報をレコードとして含む。判定部は、情報群の中から認識部で認識した発話情報に該当するレコードを検索し、レコードを特定するためのレコード識別情報を出力する。翻訳部は、判定部が該当するレコードを情報群の中で特定できなかった場合に、発話情報を第１の言語と異なる、少なくとも１つの言語により表現された翻訳情報へ変換し、翻訳情報をストレージに保存し、翻訳情報にアクセスするための参照情報を出力する。移動体情報管理部は、移動体の運行情報を記憶する。生成部は、移動体情報管理部が記憶する運行情報と、レコード識別情報または参照情報からデータセットを生成する。変換部は、生成部が生成したデータセットをもとに、変調信号を生成する。発光部は。変換部が生成した変調信号をもとに発光する。
　本開示における端末の制御方法は、無線通信手段を備える端末の制御方法であって、信号が重畳された光線を端末の受光部で受光する受光ステップと、受光ステップにおいて受光した光線から信号を復号する復元ステップと、復元ステップにおいて復号した信号を用いて無線通信手段を用いて情報取得をするか否かを決定する決定ステップと、決定ステップにおいて無線通信手段を用いて情報取得しないと決定した場合は、使用者に情報を提示する出力部が、端末にあらかじめ内蔵されたテキストデータを用いて使用者に提示する情報を生成する第１の情報生成ステップと、決定ステップにおいて無線通信手段を用いて情報取得すると決定した場合は、出力部が、無線通信手段を介して取得した情報を用いて使用者に提示する情報を生成する第２の情報生成ステップと、を含む。
　本開示における情報通信システム及び端末の制御方法は、発話情報を翻訳し数十ビットのデータセットとして出力できるため、使用制限のない可視光通信で、様々な国籍の乗客各々が持つ携帯端末に対して母国語の機内アナウンスを提供することができる。
機内アナウンスシステムの内部構成を示すブロック図 文字情報群の構成例を示す図 データセットの構成例を示す図 航空機の運航情報の例を示す図 翻訳文字情報群の構成例を示す図 中央制御装置の処理を示すフローチャート 受信端末の処理を示すフローチャート
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
　（実施の形態１）
　以下、図１～４を用いて、実施の形態１を説明する。
　［１－１．構成］
　図１は、本開示の実施の形態における機内アナウンスシステム５００の構成を示すブロック図である。
　［１－１－１．中央制御装置の構成］
　図１に示すように、中央制御装置１００は、音声情報を発話情報として認識する認識部１０１と、発話情報を定型文かそれ以外かを判別する判定部１０２と、判定部１０２で判別するために必要な文字情報を格納する文字情報群１０３と、発話情報を翻訳する翻訳部１０４と、翻訳内容を保存するストレージ１０５と、データセットを生成する生成部１０６と、データセットをもとに変調信号を生成する変換部１０７と、航空機の様々な情報を格納する移動体情報管理部１０８と、を備える。
　認識部１０１は、入力された音声情報を発話情報として認識するソフトウェアを、例えば、主に中央制御装置１００内ＣＰＵにて実行することにより実現される。ここで「発話情報として認識する」とは、コンピュータソフトウェア等を使って、音声情報に含まれる意味や内容を解釈することをいう。このようにして解釈された意味や内容が「発話情報」である。例えば認識部１０１は、音声文字変換ソフトウェアと形態素解析ソフトウェア等で構成できる。
　判定部１０２は、入力された発話情報と文字情報群１０３と照合し内容が一致する文字情報の識別情報を出力、または内容が一致する文字情報が見つからない場合は、発話情報（非定型アナウンス）を翻訳部１０４へ出力する処理プログラムを、例えば、主に中央制御装置１００内ＣＰＵにて実行することにより実現される。
　文字情報群１０３は、図２に示す通り、定型アナウンスとアナウンス内変数のそれぞれについて、内容とインデックス番号を含むレコードを複数保持したデータベースであり、中央制御装置１００内ＣＰＵがアクセス可能なストレージに保存されている。このストレージは、後述するストレージ１０５と同等のものか、ストレージ１０５と同一でもよい。
　翻訳部１０４は、入力された発話情報を異なる言語に翻訳し、ストレージ１０５に保存し、保存先への参照情報を出力する処理プログラムを、例えば、主に中央制御装置１００内ＣＰＵにて実行されることにより実現される。
　ストレージ１０５は、翻訳内容を記憶する記録媒体であり、例えば、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、光ディスクドライブ等で構成できる。
　生成部１０６は、判定部１０２からの識別情報又は翻訳部１０４からの参照情報、移動体情報管理部１０８からの運航情報をもとにデータセットを生成する処理プログラムを、例えば、主に中央制御装置１００内ＣＰＵにて実行されることにより実現される。データセットは、図３に示す通り、移動体通信部、アナウンス部、変数部で構成され、移動体通信部は機内で無線通信ができる状況かどうかのフラグ、アナウンス部は定型アナウンスのインデックス番号又は非定型アナウンス翻訳内容への参照情報、変数部はアナウンス内変数のインデックス番号にあたり、サイズは全体で数十ビットである。
　変換部１０７は、データセットをもとに変調信号を生成し、一定時間出力し続ける変調回路である。
　移動体情報管理部１０８は、図４に示す通り、判定部１０２と生成部１０６での処理に必要な航空機の運航情報を記憶するデータベースである。ここで運航情報とは航空機等の移動体の運行ステータスの管理や乗客へのサービス提供に必要な情報であり、例えば、出発地に関する情報、到着地に関する情報、フライトフェーズ、機体のハードウェア情報、機内設備の稼働状況に関する情報、機体内の環境情報、乗客の個人情報等を含み、常時情報が更新される。運航情報は、中央制御装置１００内ＣＰＵがアクセス可能なストレージに保存されており、このストレージは、後述するストレージ１０５と同等のものか、ストレージ１０５と同一でもよい。フライトフェーズとは、例えば、地上滑走、離陸、上昇、巡航、降下、着陸等のように航空機が運航されている状況を表し、さらに巡航中は機内販売、飲料提供、食事配給、就寝等のようにキャビンアテンダントによるサービス提供有無の情報も含む。
　［１－１－２．受信端末の構成］
　図１に示すように、受信端末２００は、入力された光を変調信号として出力する受光部２０１と、変調信号をデータセットに復元する復元部２０２と、データセットの内容をもとに機内アナウンス内容を特定し翻訳結果を出力する特定部２０３と、特定部２０３でアナウンス内容を特定するために必要な文字情報を格納する翻訳文字情報群２０４と、ユーザの言語を記録する言語情報部２０５と、翻訳結果を出力する出力部２０６と、を備えるモバイル情報端末であり、例えば、スマートフォン、タブレット、ノートパソコン等で構成できる。
　受光部２０１は、光を受けるための受光素子と光を電気信号に変える電気回路で構成され、例えば、モバイル情報端末内蔵の小型カメラ等で構成できる。
　復元部２０２は、受光部２０１で受光した光線に重畳された変調信号をもとに生成部１０６で生成されたものと同一のデータセットを復元し出力する復調回路である。
　特定部２０３は、データセット内の移動体情報管理部に記憶された情報からストレージ１０５から翻訳内容を取得するか否かを決定し、翻訳文字情報群２０４とデータセット内のアナウンス部と変数部からアナウンス内容を特定し、言語情報部２０５内の翻訳言語情報をもとに翻訳、翻訳内容を出力する処理プログラムを、例えば、主に受信端末２００内ＣＰＵにて実行されることにより実現される。
　翻訳文字情報群２０４は、図５に示す通り、文字情報群１０３と同一の内容が複数の言語で表現さているデータベース群であり、受信端末２００内ＣＰＵがアクセス可能なストレージに保存されている。このストレージは、例えば、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、光ディスクドライブ等で構成できる。
　言語情報部２０５は、受信端末２００の所有者が理解可能な言語が取得できる情報源であり、例えば、受信端末２００の言語設定情報、所有者が入力装置から選択した言語情報、所有者の発声から特定した言語情報等で構成できる。
　出力部２０６は、機内アナウンスの翻訳結果を出力する出力インターフェースであり、出力形態は文字、画像、音声等が考えられ、例えば、液晶表示ディスプレイ、有機ＥＬディスプレイ、スピーカー、ヘッドフォン、イヤフォン等で構成できる。
　［１－１－３．音声入力装置の構成］
　図１に示すように、音声入力装置３００は、キャビンアテンダントによる機内アナウンスを音声情報として入力する入力部３０１を備える収音装置であり、例えば、機内連絡用受話器、ピンマイク、スマートフォン等で構成できる。入力部３０１は、例えばマイクロフォンである。
　［１－１－４．照明装置の構成］
　図１に示すように、照明装置４００は、変調信号をもとに発光する発光部４０１を備える照明機器であり、例えば、読書灯、機内全体照明等で構成できる。
　発光部４０１は、変調された電気信号を光信号に変換することにより、信号を重畳した光線を発光する光素子であり、例えば発光ダイオード（ＬＥＤ）等で構成できる。
　［１－２．動作］
　以下のように構成された中央制御装置１００と受信端末２００について、その動作を以下に説明する。
　［１－２－１．中央制御装置の処理］
　図６は、中央制御装置１００の処理を説明するためのフローチャートである。
　機内アナウンスが音声信号として認識部１０１に入力され、認識部１０１は音声認識を実行し、結果をテキストデータとして判定部１０２へ出力する（Ｓ１０）。
　判定部１０２は、入力されたテキストデータ（以降、入力テキストデータ）に該当するテキストデータ（以降、登録テキストデータ）が文字情報群１０３内に存在するかどうかを判定する（Ｓ１１）。ここで、文字情報群１０３に該当するテキストデータが存在するかどうかを判定するにあたっては、必ずしも完全一致するものを探す必要はない。関連性の高いテキストデータを抽出すれば充分である。具体的には、入力テキストデータと文字情報群１０３内の登録テキストデータの類似度を算出し、閾値以上の類似度を持つ登録テキストデータが存在するかを判定し、その中で最大の類似度をもつものを該当するテキストデータとする。例えば、類似度としては、使用される単語の重複数による判定や、機械学習による類似度判定等が使用できる。
　類似度が閾値以上の登録テキストデータがある場合（Ｓ１１のＹｅｓ）、判定部１０２は登録テキストデータ（定型アナウンス）の変数にあたるテキストデータ（以降、抽出テキストデータ）を入力テキストデータから抽出する（Ｓ１２）。例えば、入力テキストデータが「東京への到着時間は１０：００です。」の場合、該当する登録テキストデータは「（変数１）への到着時刻は（変数２）です。」となるため、変数１にあたる「東京」と変数２にあたる「１０：００」を抽出する。
　判定部１０２は、登録テキストデータと変数にあたる抽出テキストデータのインデックス番号を、文字情報群１０３内のデータベースから取得し、生成部１０６へ出力する（Ｓ１３）。例えば、図２に示すような文字情報群の場合、登録テキストデータの「（変数１）への到着時刻は（変数２）です。」にあたる「ＸＸＸ・・・Ｘ１」と抽出テキストデータの「東京」「１０：００」にあたる「○・・・○１」と「△・・・△２」を取得する。
　類似度が閾値以上の登録テキストデータがない場合（Ｓ１１のＮｏ）、判定部１０２は入力テキストデータを翻訳部１０４へ出力する（Ｓ１４）。
　翻訳部１０４は、入力テキストデータに対して翻訳処理を行い、結果をストレージ１０５に保存し、保存先のアドレス（参照情報）を生成部１０６へ出力する（Ｓ１５）。
　生成部１０６は、入力されたインデックス番号又はアドレスを、図３に示すデータセット内のアナウンス部と変数部に分けて挿入する（Ｓ１６）。具体的には、登録テキストデータのインデックス番号（登録インデックス番号）又はアドレスはアナウンス部に、抽出テキストデータのインデックス番号（抽出インデックス番号）は変数部に挿入する。
　生成部１０６は、移動体情報管理部１０８が記憶する情報から機内無線通信が可能かどうか判定し、データセットの移動体通信部に判定結果を挿入する（Ｓ１７）。例えば、移動体情報管理部１０８内のフライトフェーズが「巡航」の場合は無線通信可能、フライトフェーズが「上昇」の場合は無線通信不可と判定する。
　ここで、移動体情報管理部１０８が記憶する情報から機内無線通信が可能かどうかを判定する方法として、フライトフェーズを用いる方法を挙げたが、他の情報を用いて判定しても構わない。例えば出発地や到着地からの距離や、離陸からの経過時間、飛行高度を使っても判定できるし、機内の無線機器の稼働状態を直接取得して判定しても構わない。また、座席にすわる顧客の個人情報から無線通信を許可するか否かを決めてもよい。また、フライトフェーズを用いる場合であっても、「巡航」「上昇」以外のフェーズに無線通信の可・不可を関連付けることは可能である。
　生成部１０６は、完成したデータセットを変換部１０７へ出力する（Ｓ１８）。
　変換部１０７は、入力されたデータセットをもとに照明の明滅パターンを決定し、その明滅パターンを各照明制御装置へ与える電気信号（変調信号）に変換し、各照明装置４００へ出力する（Ｓ１９）。
　［１－２－２．受信端末の処理］
　図７は、受信端末２００の処理を説明するためのフローチャートである。
　受光部２０１は、入力された光信号を電気信号（変調信号）に変換し、復元部２０２へ出力する（Ｓ２０）。
　復元部２０２は、入力された電気信号から生成部１０６で生成されたものと同一のデータセットに復元し、特定部２０３へ出力する（Ｓ２１）。
　特定部２０３は、言語情報部２０５から翻訳先の言語情報を取得する（Ｓ２２）。特定部２０３は、Ｓ２１で入力されたデータセットのアナウンス部に登録インデックス番号が存在するかどうかを判定する（Ｓ２３）。登録インデックス番号が存在する場合（Ｓ２３のＹｅｓ）は、特定部２０３は、登録インデックス番号とデータセットの変数部に格納されている抽出インデックス番号を翻訳文字情報群２０４のデータベース内から探し出し、該当するレコードを特定する（Ｓ２４）。特定部２０３は、特定した各レコードの中からＳ２２で取得した言語情報に該当する翻訳内容を取得し、翻訳結果を出力部２０６へ出力する（Ｓ２５）。
　登録インデックス番号が存在しない場合（Ｓ２３のＮｏ）、特定部２０３は、図３に示すデータセットの移動体通信部に格納されている判定結果から機内無線通信が可能かどうか判定する（Ｓ２６）。機内無線通信が可能な場合（Ｓ２６のＹｅｓ）、特定部２０３は、データセットのアナウンス部にある図６のＳ１５で出力したアドレス（参照情報）をもとに、中央制御装置１００のストレージ１０５にアクセスし、翻訳言語情報に該当する翻訳内容を取得し、翻訳結果を出力部２０６へ出力する（Ｓ２７）。機内無線通信が不可能な場合（Ｓ２６のＮｏ）、出力部２０６は、ユーザに対して、機内無線通信が可能になったら特定部２０３に中央制御装置１００のストレージ１０５にアクセスさせるようにメッセージを出力する（Ｓ２８）。このメッセージは、あらかじめ受信端末２００の内部に格納されているものである。
　特定部２０３は、ユーザからのアクセス要求があるまで待機し、アクセス要求があった場合は処理Ｓ２７を実行する（Ｓ２９）。
　出力部２０６は、入力された翻訳結果をユーザに対して出力する（Ｓ３０）。
　［１－３．効果等］
　以上のように、本実施の形態の機内アナウンスシステム５００は、第１の言語で発話されたアナウンスを、第１の言語と異なる、少なくとも一つの言語に翻訳し、航空機内等でも使用制限のない可視光通信を用いて翻訳結果を伝送するシステムである。また、入力された発話情報を判定部１０２と翻訳部１０４で識別情報と参照情報に変換し、生成部１０６でデータセットとして出力する。
　上記構成と動作によれば、情報量の多い発話情報を数十ビットの情報量まで圧縮することが可能となる。これにより、使用制限のない可視光通信で、様々な国籍の乗客各々が持つ携帯端末に対して母国語の機内アナウンスを提供することができる。
　（その他実施の形態）
　以上のように、本出願において開示する技術の例示として、上記実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
　上記実施の形態では、機内アナウンスシステム５００は、航空機内で使用することを例にしていたが、これに限定されない。列車、バス、船等、他の乗り物、或いは施設に設置してもよい。
　機内アナウンスシステム５００の各機能ブロックの処理を行う回路は、ＣＰＵに代えて、所定の機能を実現するように設計された専用の電子回路で構成されるプロセッサを含んでもよい。プロセッサは、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ等の種々のプロセッサで実現できる。プロセッサは１つまたは複数のプロセッサで構成してもよい。
　機内アナウンスシステム５００の各機能ブロックの処理を行うためのプログラムを記録したコンピューター読み取り可能な記録媒体は、本開示の範囲に含まれる。ここで、コンピューター読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ（登録商標）　Ｄｉｓｃ）、半導体メモリを挙げることができる。
　上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して取得されてもよい。
　上記実施の形態におけるフローチャートで説明した処理の実行順序は、必ずしも、上記実施の形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えたり、同時に実行されたりすることができる。フローチャートの各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。更に、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　本開示において、システム又は装置とは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本開示の思想は、電波による通信が制限される状況において、発話された内容に対応する情報を可視光を用いて伝送することができる。よって、本開示の思想は、電波による通信が制限される状況において、発話された内容に対応する情報を出力する装置に広く適用できる。例えば、航空機内のアナウンスを翻訳して出力するアナウンスシステムに有用である。
１００　中央制御装置
１０１　認識部
１０２　判定部
１０３　文字情報群
１０４　翻訳部
１０５　ストレージ
１０６　生成部
１０７　変換部
２００　受信端末
２０１　受光部
２０２　復元部
２０３　特定部
２０４　翻訳文字情報群
２０５　言語情報部
２０６　出力部
３００　音声入力装置
３０１　入力部
４００　照明装置
５００　機内アナウンスシステム
特開２０１８－１２４３２３号公報

Claims (8)

  1. 　移動体で用いられる情報通信システムであって、
    　第１の言語による音声情報を入力する音声入力部と、
    　前記音声入力部から入力された音声情報を発話情報として認識する認識部と、
    　複数の発話情報をレコードとして含む情報群と、
    　前記情報群の中から前記認識部で認識した発話情報に該当するレコードを検索し、前記レコードを特定するためのレコード識別情報を出力する判定部と、
    　前記判定部が該当するレコードを前記情報群の中で特定できなかった場合に、前記発話情報を前記第１の言語と異なる、少なくとも１つの言語により表現された翻訳情報へ変換し、前記翻訳情報をストレージに保存し、前記翻訳情報にアクセスするための参照情報を出力する翻訳部と、
    　前記移動体の運行情報を記憶する移動体情報管理部と、
    　前記移動体情報管理部が記憶する運行情報と、前記レコード識別情報または前記参照情報からデータセットを生成する生成部と、
    　前記生成部が生成したデータセットをもとに、変調信号を生成する変換部と、
    　前記変換部が生成した変調信号をもとに発光する発光部と、
    を備えた情報通信システム。
  2. 　前記情報群は、テキストデータとインデックス情報を含むレコードを複数保持したデータベースを含み、
    　前記判定部は、前記認識部で認識した発話情報に最も関連性の高いレコードを前記情報群から抽出し、前記レコードに含まれるインデックス情報を含む情報を前記レコード識別情報として出力することを特徴とする請求項１記載の情報通信システム。
  3. 　前記テキストデータは変数部を含み、
    　前記情報群は、前記変数部に格納される可能性のあるデータとインデックス情報とを含むレコードを複数保持した変数データベースをさらに含み、
    　前記判定部は、
    　前記認識部で認識した発話情報から前記変数部にあたるテキストを抽出し、前記変数データベースにおいて前記テキストに該当するレコードのインデックス情報を含む変数識別情報を出力し、
    　前記生成部は、
    　前記移動体情報管理部が記憶する運行情報と、前記レコード識別情報と、前記変数識別情報とからデータセットを生成することを特徴とする請求項２記載の情報通信システム。
  4. 　前記移動体は、複数座席を有した移動体であり、
    　前記発光部は、前記座席ごとに備わることを特徴とする、請求項１記載の情報通信システム。
  5. 　前記発光部は、前記座席に対応して設けられた読書灯であることを特徴とする、請求項４記載の情報通信システム。
  6. 　前記移動体は、複数座席を有した航空機であり、
    　前記移動体情報管理部が記憶する運行情報は、出発地に関する情報、到着地に関する情報、フライトフェーズ、機体のハードウェア情報、機内設備の稼働状況に関する情報、機体内の環境情報、顧客の個人情報のうち少なくとも１つを含む、
    ことを特徴とする、請求項１記載の情報通信システム。
  7. 　前記生成部は、
    　前記移動体情報管理部が記憶する運行情報から前記移動体の内部での無線通信の可否を判定し、前記判定の結果に関する情報を前記データセットに含めることを特徴とする請求項１に記載の情報通信システム。
  8. 　無線通信手段を備える端末の制御方法であって、
    　信号が重畳された光線を端末の受光部で受光する受光ステップと、
    　前記受光ステップにおいて受光した光線から信号を復号する復元ステップと、
    　前記復元ステップにおいて復号した信号を用いて前記無線通信手段を用いて情報取得をするか否かを決定する決定ステップと、
    　前記決定ステップにおいて前記無線通信手段を用いて情報取得しないと決定した場合は、使用者に情報を提示する出力部が、前記端末にあらかじめ内蔵されたテキストデータを用いて使用者に提示する情報を生成する第１の情報生成ステップと、
    　前記決定ステップにおいて前記無線通信手段を用いて情報取得すると決定した場合は、前記出力部が、前記無線通信手段を介して取得した情報を用いて使用者に提示する情報を生成する第２の情報生成ステップと、
    を含む端末の制御方法。
PCT/JP2020/018849 2020-05-11 2020-05-11 情報通信システムおよび端末の制御方法 WO2021229651A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2020/018849 WO2021229651A1 (ja) 2020-05-11 2020-05-11 情報通信システムおよび端末の制御方法
US17/973,787 US20230043401A1 (en) 2020-05-11 2022-10-26 Information communication system and method for controlling terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/018849 WO2021229651A1 (ja) 2020-05-11 2020-05-11 情報通信システムおよび端末の制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/973,787 Continuation US20230043401A1 (en) 2020-05-11 2022-10-26 Information communication system and method for controlling terminal

Publications (1)

Publication Number Publication Date
WO2021229651A1 true WO2021229651A1 (ja) 2021-11-18

Family

ID=78526225

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/018849 WO2021229651A1 (ja) 2020-05-11 2020-05-11 情報通信システムおよび端末の制御方法

Country Status (2)

Country Link
US (1) US20230043401A1 (ja)
WO (1) WO2021229651A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120048745A (ko) * 2010-11-04 2012-05-16 목포대학교산학협력단 선박 모니터링 시스템을 포함한 가시광 통신을 이용한 개인 여객 선박 운항정보 안내시스템
WO2019016985A1 (ja) * 2017-07-20 2019-01-24 パナソニックＩｐマネジメント株式会社 翻訳装置、翻訳方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120048745A (ko) * 2010-11-04 2012-05-16 목포대학교산학협력단 선박 모니터링 시스템을 포함한 가시광 통신을 이용한 개인 여객 선박 운항정보 안내시스템
WO2019016985A1 (ja) * 2017-07-20 2019-01-24 パナソニックＩｐマネジメント株式会社 翻訳装置、翻訳方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MUNAKATA, SEIJI ET AL.: "Mirai Tech FILE. 008 Data transmission technology applying visible light communication", NIKKEI BUSINESS, no. 1793, 1 June 2015 (2015-06-01), JP , pages 080 - 082, XP009532340, ISSN: 0029-0491 *

Also Published As

Publication number Publication date
US20230043401A1 (en) 2023-02-09

Similar Documents

Publication Publication Date Title
US20220139393A1 (en) Driver interface with voice and gesture control
US11037548B2 (en) Deeplearning method for voice recognition model and voice recognition device based on artificial neural network
US20210065712A1 (en) Automotive visual speech recognition
EP3316254B1 (en) Information providing system, information providing method, and computer-readable recording medium
EP3783605A1 (en) Vehicle-mounted apparatus, method of processing utterance, and program
JP2008083376A (ja) 音声翻訳装置、音声翻訳方法、音声翻訳プログラムおよび端末装置
JP2011090100A (ja) 音声翻訳システム、制御装置、音声認識装置、翻訳装置、および音声合成装置
US11991253B2 (en) Intelligent layer to power cross platform, edge-cloud hybrid artificial intelligence services
US20180260388A1 (en) Headset-based translation system
US11995561B2 (en) Universal client API for AI services
US11790893B2 (en) Voice processing method based on artificial intelligence
CN107622768B (zh) 音频截剪器
WO2020073248A1 (zh) 一种人机交互的方法及电子设备
US20130117020A1 (en) Personalized advertisement device based on speech recognition sms service, and personalized advertisement exposure method based on speech recognition sms service
CN108089835A (zh) 用于在运输交通工具上分发信息的方法和系统
KR20110032394A (ko) 사용자의 상황에 기반한 휴대용 통역 장치 및 방법
KR20200029314A (ko) 음소기반 화자모델 적응 방법 및 장치
CN112269864A (zh) 生成播报语音的方法、装置、设备和计算机存储介质
WO2021229651A1 (ja) 情報通信システムおよび端末の制御方法
EP3107090B1 (en) Announcement signalling on board an aircraft
WO2018138933A1 (ja) アナウンスシステムおよび音声情報変換装置
CN117075980A (zh) 座舱控制系统、图像处理方法及装置、车辆、和电子设备
US20170255615A1 (en) Information transmission device, information transmission method, guide system, and communication system
KR20220099083A (ko) 화자분리 기반 자동통역 서비스를 제공하는 시스템, 사용자 단말 및 방법
CN114465975A (zh) 一种内容推送方法、装置、存储介质和芯片系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20935852

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20935852

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP