JP6822448B2

JP6822448B2 - Information processing equipment, information processing methods and programs

Info

Publication number: JP6822448B2
Application number: JP2018140703A
Authority: JP
Inventors: 賢青木; 直也守田; 宮崎　慎也; 慎也宮崎; 村上　和隆; 和隆村上; 康子橋本
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2018-07-26
Filing date: 2018-07-26
Publication date: 2021-01-27
Anticipated expiration: 2033-03-12
Also published as: JP2019016360A

Description

本発明は、情報処理システムに関する。 The present invention relates to an information processing system.

＜マインドマップ＞
独創的な着想を生み出す着想支援法として、様々な手法が既に提案され、知られている。 <Mind map>
Various methods have already been proposed and are known as an idea support method for creating original ideas.

二次元図式的な着想支援法として、日本で広く用いられている方法として、川喜田二郎氏の紙カード式の「ＫＪ法」があげられる。また、海外では英国のTony Buzan氏による「マインドマップ（MindMap）」も普及している。その他にもさまざまな二次元図式的着想支援法が開発されている。 As a two-dimensional schematic idea support method, a paper card type "KJ method" by Jiro Kawakita can be mentioned as a method widely used in Japan. In addition, "MindMap" by Tony Buzan of the United Kingdom is also widespread overseas. In addition, various two-dimensional schematic idea support methods have been developed.

タスクの記述された電子付箋をデスクトップに表示させる技術が知られている（例えば、特許文献１参照）。入力された複数のタスクを記憶部に格納し、当該記憶部に格納された一のタスクと他のタスクを関連付け、当該関連付けられた複数のタスクを組織化して図表を表示する。各ユーザの作業やスケジュール、アイデア、発言内容などのタスクを他人のタスクと関連付けさせて表示することによって、各タスクの位置づけを容易に把握できるようにし、業務の効率化を図る。 A technique for displaying an electronic sticky note on which a task is described on a desktop is known (see, for example, Patent Document 1). A plurality of input tasks are stored in a storage unit, one task stored in the storage unit is associated with another task, and the plurality of associated tasks are organized to display a chart. By displaying tasks such as the work, schedule, ideas, and remarks of each user in association with the tasks of others, the position of each task can be easily grasped and the efficiency of work is improved.

また、マインドマップ等の多項目表現を作成する際に、関連する項目を情報処理装置で自動生成し、着想や文章作成等を支援する技術が知られている（例えば、非特許文献２参照）。 Further, there is known a technique for automatically generating related items by an information processing device when creating a multi-item expression such as a mind map to support ideas and sentence creation (see, for example, Non-Patent Document 2). ..

＜会議の会話による音声情報処理＞
会議の会話による音声情報は、議事録担当者が聞き取り、パーソナルコンピュータ（ＰＣ）などの情報処理端末を用いて手入力を行うやり方が一般的である。 <Voice processing by conference conversation>
It is common for the person in charge of minutes to listen to the voice information from the conversation of the meeting and manually input it using an information processing terminal such as a personal computer (PC).

会話中の発話に関心または興味のある内容かどうかを分析し可視化する技術が知られている（例えば、特許文献３参照）。 A technique for analyzing and visualizing whether or not an utterance during a conversation is of interest or content of interest is known (see, for example, Patent Document 3).

会議の音声情報から議事録を自動生成する技術が知られている（例えば、特許文献４参照）。 A technique for automatically generating minutes from audio information of a meeting is known (see, for example, Patent Document 4).

遠隔地でのネットワーク会議において、議事録を作成する技術が知られている（例えば、特許文献５参照）。 A technique for creating minutes at a network conference in a remote location is known (see, for example, Patent Document 5).

会議の振り返りの支援として、挙手、起立、板書などの動作解析、話者交代、話者同定から会議の重要部分を重み付けし、会議の重要部分の区間内における発話単語数、言い淀みの感動詞、声量、声量の変化率、音声のピッチ変化、顔の傾きからキーパーソンを推定する技術が知られている（例えば、特許文献６参照）。 To support the reflection of the meeting, the important parts of the meeting are weighted from motion analysis such as raising hands, standing up, writing on the board, speaker change, and speaker identification, and the number of spoken words in the section of the important part of the meeting and the interjection of stagnation. , A technique for estimating a key person from a voice volume, a rate of change in voice volume, a change in voice pitch, and a tilt of a face is known (see, for example, Patent Document 6).

会議の参加者間でやり取りされる会話の音声信号を認識し、単語に分解し集計することにより、会議が本論から逸れているか否かを判断する技術が知られている（例えば、特許文献７参照）。 There is known a technique for determining whether or not a conference deviates from the main subject by recognizing a voice signal of a conversation exchanged between participants of a conference, decomposing it into words, and totaling them (for example, Patent Document 7). reference).

会議中の音声情報やマインドマップなどの着想支援法を使ったシステムでは、会議の目標に対して、現在どの部分を話しているかがわからず会議が効率よく進まない。また、会議で話さなければならないトピックに対してどのトピックは十分に議論ができていて、どのトピックが不十分であるかということもその場で把握することができない。 In a system that uses idea support methods such as voice information and mind maps during a meeting, the meeting does not proceed efficiently because it is not possible to know which part is currently being spoken with respect to the goal of the meeting. In addition, it is not possible to grasp on the spot which topics are sufficiently discussed and which topics are insufficient for the topics that must be discussed at the meeting.

そこで、本発明は、会議などの目標に対して、どの部分を話しているかをメンバー間で共有させることを目的とする。 Therefore, an object of the present invention is to allow members to share what part they are talking about with respect to a goal such as a meeting.

開示の一実施例の情報処理装置は、
会議中の音声情報をテキストに変換するテキスト変換手段と、
前記テキスト変換手段により変換されたテキストを単語に分解する単語分解手段と、
前記単語を用いて、マインドマップを生成する生成手段と、
前記会議中の議論している部分が前記マインドマップ全体に対していずれの部分であるかを前記マインドマップ上でリアルタイムに表示する表示手段と、
を備える。 The information processing device of one embodiment of the disclosure is
A text conversion method that converts voice information during a meeting into text,
A word decomposition means that decomposes the text converted by the text conversion means into words, and
A generation means for generating a mind map using the above words,
A display means for displaying in real time on the mind map which part of the mind map is being discussed during the meeting .
To be equipped.

開示の実施例によれば、会議などの目標に対して、どの部分を話しているかをメンバー間で共有させることができる。 According to the example of disclosure, members can share what part they are talking about with respect to a goal such as a meeting.

情報処理システムの一実施例を示す図である。It is a figure which shows one Example of an information processing system. 情報処理装置の一実施例を示す模式図である。It is a schematic diagram which shows one Example of an information processing apparatus. 情報処理装置の一実施例を示す図である。It is a figure which shows one Example of an information processing apparatus. 情報処理装置の一実施例を示す模式図である。It is a schematic diagram which shows one Example of an information processing apparatus. 情報処理装置の一実施例を示す図である。It is a figure which shows one Example of an information processing apparatus. 携帯端末装置の一実施例を示す図である。It is a figure which shows one Example of the mobile terminal apparatus. 情報処理装置の一実施例を示す機能ブロック図である。It is a functional block diagram which shows one Example of an information processing apparatus. 携帯端末装置の一実施例を示す機能ブロック図である。It is a functional block diagram which shows one Example of the mobile terminal apparatus. 通信システムの動作（その１）の一実施例を示すシーケンスチャートである。It is a sequence chart which shows one Example of the operation (the 1) of the communication system. 通信システムの動作（その２）の一実施例を示すシーケンスチャートである。It is a sequence chart which shows one Example of the operation (2) of a communication system. 通信システムの動作（その３）の一実施例を示すシーケンスチャートである。It is a sequence chart which shows one Example of the operation (3) of the communication system. マインドマップの一実施例を示す図である。It is a figure which shows one Example of the mind map. マインドマップを生成する処理の一実施例を示すフローチャートである。It is a flowchart which shows an Example of the process which generates a mind map. マインドマップが操作された際の表示処理の一実施例を示すフローチャートである。It is a flowchart which shows an Example of the display process when the mind map is operated. 関連語の選択処理の一実施例を示すフローチャートである。It is a flowchart which shows one Example of the selection process of a related word. 関連語の選択処理の一実施例を示すフローチャートである。It is a flowchart which shows one Example of the selection process of a related word. マインドマップを生成する処理の詳細を示すフローチャートである。It is a flowchart which shows the detail of the process which generates a mind map. 重み付け行列の一実施例を示す図である。It is a figure which shows one Example of the weighting matrix. マインドマップの一実施例を示す図である。It is a figure which shows one Example of the mind map. マインドマップのデータフォーマットの一実施例を示す図である。It is a figure which shows one Example of the data format of the mind map.

次に、本発明を実施するための形態を、以下の実施例に基づき図面を参照しつつ説明する。以下で説明する実施例は一例に過ぎず、本発明が適用される実施の形態は、以下の実施例に限られない。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を用い、繰り返しの説明は省略する。 Next, a mode for carrying out the present invention will be described with reference to the drawings based on the following examples. The examples described below are merely examples, and the embodiments to which the present invention is applied are not limited to the following examples.
In all the drawings for explaining the examples, those having the same function use the same reference numerals, and the repeated description will be omitted.

＜実施例＞
＜情報処理システム＞
図１は、情報処理システムの一実施例を示す。 <Example>
<Information processing system>
FIG. 1 shows an embodiment of an information processing system.

情報処理システムは、会議などにおける会話による音声情報、図式的に項目間を関連づけた表現などの着想支援図を用いて、着想能力、文書能力、コミュニケーション能力の向上などの支援を行う。図式的に項目間を関連づけた表現などの着想支援図には、ＫＪ法や、マインドマップなどあるが、これらに限られない。 The information processing system provides support such as improvement of inspiration ability, document ability, and communication ability by using an idea support diagram such as voice information by conversation in a meeting or an expression in which items are graphically associated with each other. Idea support diagrams such as expressions that graphically relate items to each other include, but are not limited to, the KJ method and mind maps.

情報処理システムの一実施例は、着想支援図としてマインドマップにより支援を行う場合について説明する。マインドマップは、二次元の図式で表されるのが好ましい。情報処理システムの一実施例では、３人の参加者、つまり第１の参加者３１００、第２の参加者３２００、第３の参加者３３００により会議が行われる。会議は、２人の参加者で行われてもよいし、４人以上の参加者で行われてもよい。 An embodiment of the information processing system describes a case where support is provided by a mind map as an idea support diagram. The mind map is preferably represented by a two-dimensional diagram. In one embodiment of the information processing system, a meeting is held by three participants, that is, a first participant 3100, a second participant 3200, and a third participant 3300. The meeting may be held by two participants or by four or more participants.

会議システムには、情報処理装置２０００及び２１００と、携帯端末装置５０００が含まれる。 The conference system includes information processing devices 2000 and 2100 and a mobile terminal device 5000.

第１の参加者３１００は情報処理装置２０００を有し、第２の参加者３２００は情報処理装置２１００を有し、第３の参加者３３００は携帯端末装置５０００を有する。 The first participant 3100 has an information processing device 2000, the second participant 3200 has an information processing device 2100, and the third participant 3300 has a mobile terminal device 5000.

会議システムには、プロジェクタ３４００と、スクリーン３５００が含まれる。プロジェクタ３４００は、スクリーン３５００に投影する。 The conferencing system includes a projector 3400 and a screen 3500. The projector 3400 projects onto the screen 3500.

プロジェクタ３４００は、スクリーン３５００を分割した各領域に複数の情報をそれぞれ投影する。図１に示される例では、プロジェクタ３４００は、スクリーン３５００を２つに分割した各領域に２つの情報をそれぞれ投影する。スクリーン３５００の右側の領域には、モバイルパソコン３６００から入力された画面が投影される。スクリーン３５００の左側の領域には、モバイルパソコン３６００から入力されたマインドマップ情報の画面情報が投影される。マインドマップ情報は、情報処理装置２０００、及び２１００、携帯端末装置５０００で処理されたものである。 The projector 3400 projects a plurality of information onto each region of the screen 3500. In the example shown in FIG. 1, the projector 3400 projects two pieces of information onto each of the two divided areas of the screen 3500. The screen input from the mobile personal computer 3600 is projected on the area on the right side of the screen 3500. The screen information of the mind map information input from the mobile personal computer 3600 is projected on the area on the left side of the screen 3500. The mind map information is processed by the information processing devices 2000 and 2100, and the mobile terminal device 5000.

スクリーン３５００の複数の領域に、複数の情報をそれぞれ表示することにより、参加者に、現時点の説明のポイントと、今までの会議の内容と現在の話し合いの内容を把握させることができる。また、参加者に、話し合いが不足している部分を把握させることができる。 By displaying a plurality of pieces of information in each of the plurality of areas of the screen 3500, the participants can grasp the points of the current explanation, the contents of the meeting so far, and the contents of the current discussion. In addition, participants can be made aware of the areas where discussions are lacking.

プロジェクタ３４００に赤外線センサが備えられ、スクリーン３５００の左側に投影されている画面に手を当てることにより、該左側の画面を操作できるのが好ましい。図１に示される例では、スクリーン３５００の左側には、マインドマップが表示される。この場合、マインドマップに手を当てることにより、マインドマップを操作できる。 It is preferable that the projector 3400 is provided with an infrared sensor, and the screen on the left side of the screen 3500 can be operated by touching the screen projected on the left side of the screen 3500. In the example shown in FIG. 1, a mind map is displayed on the left side of the screen 3500. In this case, the mind map can be operated by touching the mind map.

また、プロジェクタ３４００に赤外線センサなどの接触されたことを検出する機能がない場合には、携帯端末装置５０００や、モバイルパソコン３６００の画面に表示されるマインドマップに触れることにより、マインドマップを操作するようにしてもよい。 If the projector 3400 does not have a function to detect contact with an infrared sensor or the like, the mind map is operated by touching the mind map displayed on the screen of the mobile terminal device 5000 or the mobile personal computer 3600. You may do so.

＜情報処理装置２０００＞
図２は、情報処理装置２０００の一実施例を示す。図２には、情報処理装置２０００の模式図を示す。 <Information processing device 2000>
FIG. 2 shows an embodiment of the information processing apparatus 2000. FIG. 2 shows a schematic diagram of the information processing apparatus 2000.

情報処理装置２０００は、腕時計に含まれる。情報処理装置２０００は、マイク２００１と、ボタン２００２と、ディスプレイ２００３とを有する。 The information processing device 2000 is included in the wristwatch. The information processing device 2000 includes a microphone 2001, a button 2002, and a display 2003.

図３は、情報処理装置２０００の一実施例を示す。図２には、情報処理装置２０００のハードウェア構成が示される。 FIG. 3 shows an embodiment of the information processing apparatus 2000. FIG. 2 shows the hardware configuration of the information processing apparatus 2000.

情報処理装置２０００は、マイク２００１と、ボタン２００２と、ディスプレイ２００３と、ＲＯＭ（Read Only Memory）２００４と、プロセッサ２００５と、ＲＡＭ（Random Access Memory）２００６と、ハードウェアアクセラレータ２００７と、内蔵メモリ２００８とを有する。 The information processing device 2000 includes a microphone 2001, a button 2002, a display 2003, a ROM (Read Only Memory) 2004, a processor 2005, a RAM (Random Access Memory) 2006, a hardware accelerator 2007, and a built-in memory 2008. Has.

マイク２００１は、第１の参加者３１００が話した音声（アナログ情報）をデジタル情報に変換する。マイク２００１は、音声入力があったことを割り込みなどの信号を使ってプロセッサ２００５に伝える。音声情報はＲＡＭ２００６に一旦保存されてもよいし、内部バッファで直接プロセッサ２００５に入力してもよい。 The microphone 2001 converts the voice (analog information) spoken by the first participant 3100 into digital information. The microphone 2001 notifies the processor 2005 that there is a voice input by using a signal such as an interrupt. The voice information may be temporarily stored in the RAM 2006, or may be directly input to the processor 2005 in the internal buffer.

プロセッサ２００５は、ハードウェアアクセラレータ２００７と連携して音声認識、形態素解析、マインドマップ化と順に処理を行う。 The processor 2005 performs processing in the order of voice recognition, morphological analysis, and mind mapping in cooperation with the hardware accelerator 2007.

ボタン２００２は、時計の表示切替や日付、時刻調整、ストップウォッチの開始、停止を行う機能を有する。音声認識の認識精度を高めるために音声認識の開始と終了ボタンを設けてもよい。 The button 2002 has a function of switching the display of the clock, adjusting the date and time, and starting and stopping the stopwatch. A start and end button for voice recognition may be provided in order to improve the recognition accuracy of voice recognition.

ディスプレイ２００３は、時計の表示を行う。 The display 2003 displays a clock.

ＲＯＭ２００４は、情報処理装置２０００を起動する際に必要なブートローダ、ファイルシステム、ＯＳ(Operating System)を格納する。情報処理装置２０００の起動時にプロセッサ２００５はＲＯＭ２００４から起動プログラムを読込み、起動する。 The ROM 2004 stores a boot loader, a file system, and an OS (Operating System) necessary for starting the information processing apparatus 2000. When the information processing apparatus 2000 is started, the processor 2005 reads the start program from the ROM 2004 and starts it.

内蔵メモリ２００８は、電源をオフする際に一時的にマインドマップ情報、音声認識、形態素解析を行うための辞書、マインドマップ化を行うためのパラメータを保持する。内蔵メモリ２００８は、不揮発メモリであるのが好ましい。 The built-in memory 2008 temporarily holds mind map information, a dictionary for performing voice recognition and morphological analysis, and parameters for performing mind mapping when the power is turned off. The built-in memory 2008 is preferably a non-volatile memory.

＜情報処理装置２１００＞
図４は、情報処理装置２１００の一実施例を示す。図４には、情報処理装置２１００の模式図を示す。 <Information processing device 2100>
FIG. 4 shows an embodiment of the information processing apparatus 2100. FIG. 4 shows a schematic diagram of the information processing apparatus 2100.

情報処理装置２１００は、ＩＣレコーダに含まれる。情報処理装置２１００は、マイク２１０１と、スピーカ２１０２と、ディスプレイ２１０３と、ボタン２１０４とを有する。 The information processing device 2100 is included in the IC recorder. The information processing device 2100 includes a microphone 2101, a speaker 2102, a display 2103, and a button 2104.

図５は、情報処理装置２１００の一実施例を示す。図５には、情報処理装置２１００のハードウェア構成が示される。 FIG. 5 shows an embodiment of the information processing apparatus 2100. FIG. 5 shows the hardware configuration of the information processing apparatus 2100.

情報処理装置２１００は、マイク２１０１と、スピーカ２１０２と、ディスプレイ２１０３と、ボタン２１０４と、内蔵メモリ２１０５と、ＲＯＭ２１０６と、プロセッサ２１０７と、ＲＡＭ２１０８と、ハードウェアアクセラレータ２１０９とを有する。 The information processing device 2100 includes a microphone 2101, a speaker 2102, a display 2103, a button 2104, a built-in memory 2105, a ROM 2106, a processor 2107, a RAM 2108, and a hardware accelerator 2109.

マイク２１０１、内蔵メモリ２１０５、ＲＯＭ２１０６、プロセッサ２１０７、ＲＡＭ２１０８、及びハードウェアアクセラレータ２１０９は、それぞれ情報処理装置２０００のマイク２００１、内蔵メモリ２００８、ＲＯＭ２００４、プロセッサ２００５、ＲＡＭ２００６、及びハードウェアアクセラレータ２００７と略同一である。 The microphone 2101, built-in memory 2105, ROM 2106, processor 2107, RAM 2108, and hardware accelerator 2109 are substantially the same as the microphone 2001, built-in memory 2008, ROM 2004, processor 2005, RAM 2006, and hardware accelerator 2007 of the information processing device 2000, respectively. is there.

スピーカ２１０２は、ICレコーダとして音声を記録した後で再生する際に、音声を出力する。 The speaker 2102 outputs the sound when the sound is recorded as an IC recorder and then reproduced.

ディスプレイ２１０３は、記録したどの音声ファイルを再生するかを表示し、ボタン２１０４と連携して選択して実行するためのユーザインタフェース(UI)の役割を果たす。 The display 2103 serves as a user interface (UI) for displaying which recorded audio file to play back and selecting and executing it in cooperation with the button 2104.

＜携帯端末装置５０００＞
図6は、携帯端末装置５０００の一実施例を示す。 <Mobile terminal device 5000>
FIG. 6 shows an embodiment of the mobile terminal device 5000.

携帯端末装置５０００は、カメラ５００１と、ディスプレイ５００２と、ボタン５００３と、マイク５００４とを有する。 The mobile terminal device 5000 includes a camera 5001, a display 5002, a button 5003, and a microphone 5004.

ディスプレイ５００２は、タッチパネルを有する。タッチパネルに接触することにより、種々の操作が可能である。例えば、ディスプレイ５００２に表示されたマインドマップに接触することにより、プロジェクタ３４００によりスクリーン３５００に投影されたマインドマップと同期して、マインドマップを操作することができる。具体的には、ディスプレイ５００２に表示されたマインドマップに接触することにより、ノードの挿入、削除、名前変更、切り取り、貼り付け、移動、展開又は省略などの操作を行うことができる。さらに、ディスプレイ５００２に表示されたマインドマップに接触することにより、表示全体の拡大、縮小も行うことができる。 The display 5002 has a touch panel. Various operations can be performed by touching the touch panel. For example, by touching the mind map displayed on the display 5002, the mind map can be operated in synchronization with the mind map projected on the screen 3500 by the projector 3400. Specifically, by touching the mind map displayed on the display 5002, operations such as inserting, deleting, renaming, cutting, pasting, moving, expanding, or omitting a node can be performed. Further, by touching the mind map displayed on the display 5002, the entire display can be enlarged or reduced.

また、ディスプレイ５００２に表示されたノードをタッチすることにより、タッチしたノードの関連語をWeb検索して表示することや、ノードの単語が含まれる一文を表示することもできる。 Further, by touching the node displayed on the display 5002, the related word of the touched node can be searched on the Web and displayed, or a sentence including the word of the node can be displayed.

＜情報処理装置２０００の機能＞
図７は、情報処理装置２０００の機能の一実施例を示す。情報処理装置２１００の機能は、情報処理装置２０００の機能と略同一である。 <Functions of information processing device 2000>
FIG. 7 shows an embodiment of the function of the information processing apparatus 2000. The function of the information processing device 2100 is substantially the same as the function of the information processing device 2000.

情報処理装置２０００は、マイク２００１と、時計部２０５０と、通信部２０５４と、マインドマップデータベース２０６１と、辞書データベース２０６２とを有する。 The information processing device 2000 includes a microphone 2001, a clock unit 2050, a communication unit 2054, a mind map database 2061, and a dictionary database 2062.

プロセッサ２００５がＲＯＭ２００４に格納されたプログラムに従って、ＯＳ２０５１と、ミドルウェア２０５２と、エンジン部２０５３として機能する。 The processor 2005 functions as the OS 2051, the middleware 2052, and the engine unit 2053 according to the program stored in the ROM 2004.

マイク２００１は、音声を入力してアナログ信号からデジタル信号に変換する。 The microphone 2001 inputs voice and converts it from an analog signal to a digital signal.

時計部２０５０は通常の腕時計の機能を提供するユニットである。 The clock unit 2050 is a unit that provides the functions of a normal wristwatch.

ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）２０５１は、Ｌｉｎｕｘ（登録商標）やＡｎｄｒｏｉｄ（登録商標）などのマルチタスクをスケジューリングして実行することを可能とする基本ソフトウェアである。 The OS (Operating System) 2051 is basic software that enables scheduling and execution of multitasking such as Linux (registered trademark) and Android (registered trademark).

ミドルウェア２０５２は、基本ソフトウェア上で動作しエンジン部２０５３や通信部２０５４から利用されるライブラリ群である。 The middleware 2052 is a library group that operates on the basic software and is used by the engine unit 2053 and the communication unit 2054.

通信部２０５４は、情報処理装置２０００とモバイルパソコン３６００との間で通信するための通信プロトコルなどの制御を実行する。通信プロトコルの例は、ＨＴＴＰ(Hyper Text Transfer Protocol)などである。 The communication unit 2054 executes control such as a communication protocol for communication between the information processing device 2000 and the mobile personal computer 3600. An example of a communication protocol is HTTP (Hyper Text Transfer Protocol).

マインドマップデータベース２０６１は、情報処理装置２０００が生成した会議の内容をマインドマップ化した情報を格納するデータベースである。 The mind map database 2061 is a database that stores information in which the contents of the conference generated by the information processing apparatus 2000 are converted into a mind map.

辞書データベース２０６２は、音声認識や形態素解析、マインドマップ生成などの一連の処理の中で利用する音響モデル、単語モデル、単語間の関連モデルを格納するデータベースである。 The dictionary database 2062 is a database that stores an acoustic model, a word model, and a related model between words used in a series of processes such as speech recognition, morphological analysis, and mind map generation.

エンジン部２０５３には、テキスト変換手段としての音声認識部２０５５と、学習手段としての単語学習部２０５６と、検索手段としての検索部２０５７と、単語分解手段、フィルタ手段としての形態素解析部２０５８と、着想支援図生成手段としてのマインドマップ生成部２０５９と、操作処理手段としてのマインドマップ操作部２０６０とが含まれる。 The engine unit 2053 includes a voice recognition unit 2055 as a text conversion means, a word learning unit 2056 as a learning means, a search unit 2057 as a search means, a word decomposition means, and a morphological analysis unit 2058 as a filter means. A mind map generation unit 2059 as an idea support diagram generation means and a mind map operation unit 2060 as an operation processing means are included.

音声認識部２０５５は、マイク２００１から入力された音声信号の音声認識処理を行い、テキストへ変換する。音声認識部２０５５は、音声信号の音声認識処理の際に、辞書データベース２０６２に格納された音響モデル、単語モデル、単語間の関連モデルを利用するのが好ましい。音声認識部２０５５は、音声信号の音声認識処理の際に、内蔵メモリ２００８に格納された情報を利用してもよい。 The voice recognition unit 2055 performs voice recognition processing of the voice signal input from the microphone 2001 and converts it into text. It is preferable that the voice recognition unit 2055 uses the acoustic model, the word model, and the relational model between words stored in the dictionary database 2062 in the voice recognition processing of the voice signal. The voice recognition unit 2055 may use the information stored in the built-in memory 2008 in the voice recognition processing of the voice signal.

単語学習部２０５６は、マインドマップの操作で検索ボタンが押し下げ（タッチ）され、関連語が選択された際に、辞書データベース２０６２に格納された音響モデル、単語モデル、単語間の関連モデルを検索しても該当する単語が存在しない場合に新規単語として登録する。また、単語学習部２０５６は、マインドマップの操作で検索ボタンが押し下げ（タッチ）され、関連語が選択された際に、内蔵メモリ２００８に格納された情報を検索しても該当する単語が存在しない場合に新規単語として登録する。該当する単語が存在しない場合に新規単語として登録することにより、辞書を学習させることができる。 The word learning unit 2056 searches the acoustic model, the word model, and the related model between words stored in the dictionary database 2062 when the search button is pressed (touched) by the operation of the mind map and the related word is selected. However, if the corresponding word does not exist, it is registered as a new word. Further, in the word learning unit 2056, when the search button is pressed (touched) by the operation of the mind map and a related word is selected, the corresponding word does not exist even if the information stored in the built-in memory 2008 is searched. If you register as a new word. The dictionary can be learned by registering as a new word when the corresponding word does not exist.

検索部２０５７は、マインドマップの操作で検索ボタンが押し下げ（タッチ）され、関連語をＷｅｂ検索する処理のロジック部分である。 The search unit 2057 is a logic part of a process in which a search button is pressed (touched) by an operation of a mind map to search a related word on the Web.

形態素解析部２０５８は、音声認識部２０５５により音声認識することにより変換したテキストを品詞レベルの単語に分解する処理を行う。 The morphological analysis unit 2058 performs a process of decomposing the text converted by voice recognition by the voice recognition unit 2055 into words at the part of speech level.

マインドマップ生成部２０５９には、形態素解析部２０５８で品詞レベルに分解した単語が入力される。マインドマップ生成部２０５９は、形態素解析部２０５８からの単語に基づいてマインドマップを構築する。 In the mind map generation unit 2059, words decomposed at the part of speech level by the morphological analysis unit 2058 are input. The mind map generation unit 2059 constructs a mind map based on the words from the morphological analysis unit 2058.

マインドマップ操作部２０６０は、マインドマップへの操作に基づいて、該操作に応じた処理を実行する。マインドマップへの操作の例は、ノードの挿入、削除、名前変更、切り取り、貼り付け、移動、展開又は省略などの処理である。 The mind map operation unit 2060 executes a process according to the operation based on the operation on the mind map. Examples of operations on the mind map are operations such as inserting, deleting, renaming, cutting, pasting, moving, expanding or omitting nodes.

＜携帯端末装置５０００の機能＞
図８は、携帯端末装置５０００の機能の一実施例を示す。 <Functions of mobile terminal device 5000>
FIG. 8 shows an embodiment of the function of the mobile terminal device 5000.

携帯端末装置５０００は、ハードウェア部５０５０を有する。ハードウェア部５０５０は、カメラ５００１、ディスプレイ５００２、ボタン５００３、マイク５００４、タッチパネル部５００５、バッテリ５００６、アンテナ５００７、センサ５００８、スピーカ５００９、外部メモリスロット５０１０、マインドマップデータベース５０５７、辞書データベース５０５８を有する。 The mobile terminal device 5000 has a hardware unit 5050. The hardware unit 5050 includes a camera 5001, a display 5002, a button 5003, a microphone 5004, a touch panel unit 5005, a battery 5006, an antenna 5007, a sensor 5008, a speaker 5009, an external memory slot 5010, a mind map database 5057, and a dictionary database 5058.

カメラ５００１は、画像の撮影を行うユニットである。 The camera 5001 is a unit that captures an image.

ディスプレイ５００２は、マインドマップの表示やその他のアプリケーション５０５６の情報を表示する。 The display 5002 displays a mind map display and other application 5056 information.

ボタン５００３にはホームボタンが含まれる。ホームボタンが押し下げされることによりホーム画面に遷移する処理が実行される。 Button 5003 includes a home button. When the home button is pressed down, the process of transitioning to the home screen is executed.

マイク５００４は、音声信号をアナログ信号からデジタル信号に変換する。 The microphone 5004 converts an audio signal from an analog signal to a digital signal.

タッチパネル部５００５は、タッチ（接触）によりユーザインタフェースを提供するユニットである。 The touch panel unit 5005 is a unit that provides a user interface by touching.

バッテリ５００６は、携帯端末装置５０００に電源を供給するユニットである。 The battery 5006 is a unit that supplies power to the mobile terminal device 5000.

アンテナ５００７は、無線通信を行うための電波受信に利用される。 The antenna 5007 is used for receiving radio waves for wireless communication.

センサ５００８の例は、加速度センサ、ジャイロセンサ、赤外線センサ、ＧＰＳ(Global Positioning System）などである。 Examples of the sensor 5008 are an acceleration sensor, a gyro sensor, an infrared sensor, a GPS (Global Positioning System), and the like.

スピーカ５００９は、音声出力に使われＹｏｕｔｕｂｅ（登録商標）などの動画の再生の際に、音を出力する。 The speaker 5009 is used for audio output and outputs sound when playing a moving image such as YouTube (registered trademark).

外部メモリスロット５０１０は、microＳＤカードやＳＤＨＣカードなどのメモリカードを挿入し、補助記憶として利用するためのインタフェースである。 The external memory slot 5010 is an interface for inserting a memory card such as a microSD card or SDHC card and using it as auxiliary storage.

マインドマップデータベース５０５７は、情報処理装置２０００及び情報処理装置２１００が生成した会議の内容をマインドマップ化した情報を格納するデータベースである。 The mind map database 5057 is a database that stores information in which the contents of the conference generated by the information processing device 2000 and the information processing device 2100 are converted into a mind map.

辞書データベース５０５８は、音声認識や形態素解析、マインドマップ生成などの一連の処理の中で利用する音響モデル、単語モデル、単語間の関連モデルを格納するデータベースである。 The dictionary database 5058 is a database that stores an acoustic model, a word model, and a related model between words used in a series of processes such as speech recognition, morphological analysis, and mind map generation.

ＣＰＵ（図示なし）が記憶部（図示なし）に格納されたプログラムに従って、ＯＳ５０５１、ミドルウェア５０５２、アプリケーションラッパ部５０５３、その他のアプリケーション５０５６として機能する。 A CPU (not shown) functions as an OS 5051, middleware 5052, an application wrapper 5053, and other applications 5056 according to a program stored in a storage unit (not shown).

ＯＳ５０５１は、Ｌｉｎｕｘ（登録商標）やＡｎｄｒｏｉｄ（登録商標）などのマルチタスクをスケジューリングして実行することを可能とする基本ソフトウェアである。 OS5051 is basic software that enables scheduling and execution of multitasking such as Linux (registered trademark) and Android (registered trademark).

ミドルウェア５０５２は、基本ソフトウェア上で動作しエンジン部５０５４や通信部５０５５、その他のアプリケーション５０５６から利用されるライブラリ群である。 The middleware 5052 is a library group that operates on the basic software and is used by the engine unit 5054, the communication unit 5055, and other applications 5056.

アプリケーションラッパ部５０５３は、携帯端末装置５０００上で動作するようエンジン部５０５４とミドルウェア５０５２との間のインタフェースを接続する役割を担うユニットである。アプリケーションラッパ部５０５３は、エンジン部５０５４と、通信部５０５５とを有する。 The application wrapper unit 5053 is a unit that plays a role of connecting an interface between the engine unit 5054 and the middleware 5052 so as to operate on the mobile terminal device 5000. The application wrapper unit 5053 includes an engine unit 5054 and a communication unit 5055.

エンジン部５０５４は、図７を参照して説明したエンジン部２０５３と略同一であるため、説明を省略する。 Since the engine unit 5054 is substantially the same as the engine unit 2053 described with reference to FIG. 7, the description thereof will be omitted.

通信部５０５５は、モバイルパソコン３６００との間で通信するための通信プロトコルなどを制御する。通信プロトコルの例は、ＨＴＴＰなどである。 The communication unit 5055 controls a communication protocol and the like for communicating with the mobile personal computer 3600. An example of a communication protocol is HTTP or the like.

その他のアプリケーション５０５６の例は、Ｔｗｉｔｔｅｒ（登録商標）、Ｆａｃｅｂｏｏｋ（登録商標）などの一般的なアプリケーションである。 Examples of other applications 5056 are common applications such as Twitter®, Facebook® and the like.

＜通信システムの動作（その１）＞
図９は、通信システムの動作（その１）の一実施例を示すシーケンスチャートである。 <Operation of communication system (1)>
FIG. 9 is a sequence chart showing an embodiment of the operation of the communication system (No. 1).

図９には、主に、情報処理装置２０００のプロセッサ２００５がＲＯＭ２００４に格納されたプログラムに従って通信部２０５４としての機能を実行する処理が示される。また、図９には、主に、情報処理装置２１００のプロセッサ２１０７がＲＯＭ２１０６に格納されたプログラムに従って通信部としての機能を実行する処理が示される。また、図９には、主に、携帯端末装置５０００のＣＰＵ（図示なし）が記憶部（図示なし）に格納されたプログラムに従って通信部５０５５としての機能を実行する処理が示される。 FIG. 9 mainly shows a process in which the processor 2005 of the information processing device 2000 executes the function as the communication unit 2054 according to the program stored in the ROM 2004. Further, FIG. 9 mainly shows a process in which the processor 2107 of the information processing device 2100 executes a function as a communication unit according to a program stored in the ROM 2106. Further, FIG. 9 mainly shows a process in which the CPU (not shown) of the mobile terminal device 5000 executes the function as the communication unit 5055 according to the program stored in the storage unit (not shown).

ステップＳ１では、情報処理装置２０００は、モバイルパソコン３６００に対して会議開始を要求する。このとき、接続するユーザ情報と再開するデータベース名を指定する。新規のデータベースとする場合には特に指定する必要は無い。 In step S1, the information processing apparatus 2000 requests the mobile personal computer 3600 to start the conference. At this time, specify the user information to connect and the database name to restart. There is no need to specify it when creating a new database.

ステップＳ２では、会議開始要求を受けたモバイルパソコン３６００は、ユーザ認証、データベースオープン等の前処理を実施する。 In step S2, the mobile personal computer 3600 that has received the conference start request performs preprocessing such as user authentication and database opening.

ステップＳ３では、モバイルパソコン３６００は、前処理を実施した後、接続結果のＯＫあるいはＮＧとセッションＩＤを情報処理装置２０００に返信する。ここで、セッションＩＤとは会議参加者の間でのみ共有することが可能な識別子である。通信システムの動作（その１）の一実施例では、モバイルパソコン３６００は、接続結果のＯＫとセッションＩＤを情報処理装置２０００に返信する。 In step S3, the mobile personal computer 3600 returns the connection result OK or NG and the session ID to the information processing device 2000 after performing the preprocessing. Here, the session ID is an identifier that can be shared only among the conference participants. In one embodiment of the operation of the communication system (No. 1), the mobile personal computer 3600 returns the connection result OK and the session ID to the information processing device 2000.

ステップＳ４では、情報処理装置２１００は、モバイルパソコン３６００に対して、会議ＩＤとユーザ情報を引数として接続要求を行う。 In step S4, the information processing device 2100 makes a connection request to the mobile personal computer 3600 with the conference ID and the user information as arguments.

ステップＳ５では、接続要求を受けたモバイルパソコン３６００はメンバー追加の処理を行う。 In step S5, the mobile personal computer 3600 that has received the connection request performs a member addition process.

ステップＳ６では、メンバーの追加処理が完了したら、モバイルパソコン３６００は情報処理装置２１００に対して接続ＯＫ（あるいはＮＧ）を返信する。 In step S6, when the member addition processing is completed, the mobile personal computer 3600 returns a connection OK (or NG) to the information processing device 2100.

ステップＳ７では、携帯端末装置５０００は、モバイルパソコン３６００に対して、会議ＩＤとユーザ情報を引数として接続要求を行う。 In step S7, the mobile terminal device 5000 makes a connection request to the mobile personal computer 3600 with the conference ID and the user information as arguments.

ステップＳ８では、接続要求を受けたモバイルパソコン３６００はメンバー追加の処理を行う。 In step S8, the mobile personal computer 3600 that has received the connection request performs a member addition process.

ステップＳ９では、メンバーの追加処理が完了したら、モバイルパソコン３６００は携帯端末装置５０００に対して接続ＯＫ（あるいはＮＧ）を返信する。 In step S9, when the member addition process is completed, the mobile personal computer 3600 returns a connection OK (or NG) to the mobile terminal device 5000.

ステップＳ１０では、会議参加者の全てのデバイスがモバイルパソコン３６００に接続できたら、情報処理装置２０００から表示設定の要求を行う。ここで、ＩＰアドレスとは、表示先のＩＰアドレスであり、この例ではプロジェクタ３４００のＩＰアドレスである。この表示先設定要求は、情報処理装置２１００、携帯端末装置５０００が実施してもよい。 In step S10, when all the devices of the conference participants can be connected to the mobile personal computer 3600, the information processing apparatus 2000 requests the display setting. Here, the IP address is the IP address of the display destination, and in this example, it is the IP address of the projector 3400. The display destination setting request may be executed by the information processing device 2100 and the mobile terminal device 5000.

ステップＳ１１では、表示先設定要求を受信すると、モバイルパソコン３６００は、表示先登録を行う。 In step S11, when the display destination setting request is received, the mobile personal computer 3600 registers the display destination.

ステップＳ１２では、モバイルパソコン３６００は、プロジェクタ３４００に画面投影要求を送信する。ここで、引数のマインドマップとは、画面に投影するマインドマップ情報を指している。また、ステップＳ１１で表示先登録を行うのは、会議終了時に表示終了や表示トラブル時の再表示を行うためである。 In step S12, the mobile personal computer 3600 transmits a screen projection request to the projector 3400. Here, the argument mind map refers to the mind map information projected on the screen. Further, the display destination registration is performed in step S11 in order to end the display at the end of the conference and to redisplay when a display trouble occurs.

ステップＳ１３では、プロジェクタ３４００は、画面投影要求を受信すると、画面投影処理を実行する。 In step S13, when the projector 3400 receives the screen projection request, the projector 3400 executes the screen projection process.

ステップＳ１４以降は、プロジェクタ３４００で投影している画面を操作するために、携帯端末装置５０００でも同じ画面を表示するためのシーケンスである。 From step S14 onward, in order to operate the screen projected by the projector 3400, it is a sequence for displaying the same screen on the mobile terminal device 5000.

ステップＳ１４では、携帯端末装置５０００のＩＰアドレスとともに表示先設定要求をモバイルパソコン３６００に送信する。 In step S14, the display destination setting request is transmitted to the mobile personal computer 3600 together with the IP address of the mobile terminal device 5000.

ステップＳ１５では、モバイルパソコン３６００は表示先追加登録を行う。 In step S15, the mobile personal computer 3600 performs additional display destination registration.

ステップＳ１６では、モバイルパソコン３６００は、マインドマップ情報を携帯端末装置５０００に返信する。 In step S16, the mobile personal computer 3600 returns the mind map information to the mobile terminal device 5000.

ステップＳ１７では、携帯端末装置５０００は、モバイルパソコン３６００から受信したマインドマップ情報を画面に表示する。 In step S17, the mobile terminal device 5000 displays the mind map information received from the mobile personal computer 3600 on the screen.

＜通信システムの動作（その２）＞
図１０は、通信システムの動作（その２）の一実施例を示すシーケンスチャートである。 <Operation of communication system (2)>
FIG. 10 is a sequence chart showing an embodiment of the operation of the communication system (No. 2).

図１０には、主に、情報処理装置２０００のプロセッサ２００５がＲＯＭ２００４に格納されたプログラムに従ってエンジン部２０５３としての機能を実行する処理が示される。また、図９には、主に、情報処理装置２１００のプロセッサ２１０７がＲＯＭ２１０６に格納されたプログラムに従ってエンジン部としての機能を実行する処理が示される。また、図９には、主に、携帯端末装置５０００のＣＰＵ（図示なし）が記憶部（図示なし）に格納されたプログラムに従ってエンジン部５０５４としての機能を実行する処理が示される。 FIG. 10 mainly shows a process in which the processor 2005 of the information processing device 2000 executes the function as the engine unit 2053 according to the program stored in the ROM 2004. Further, FIG. 9 mainly shows a process in which the processor 2107 of the information processing device 2100 executes a function as an engine unit according to a program stored in the ROM 2106. Further, FIG. 9 mainly shows a process in which the CPU (not shown) of the mobile terminal device 5000 executes the function as the engine unit 5054 according to the program stored in the storage unit (not shown).

ステップＳ２０では、参加者３１００が発言した音声情報を情報処理装置２０００が音声信号として入力し、音声認識、形態素解析、マインドマップ化、データベースへ保存する。 In step S20, the information processing device 2000 inputs the voice information spoken by the participant 3100 as a voice signal, and stores the voice recognition, morphological analysis, mind mapping, and storage in the database.

ステップＳ２１では、情報処理装置２０００はマインドマップ画面情報をモバイルパソコン３６００に送信する。 In step S21, the information processing device 2000 transmits the mind map screen information to the mobile personal computer 3600.

ステップＳ２２では、モバイルパソコン３６００は、自身の画面表示を更新する。 In step S22, the mobile personal computer 3600 updates its own screen display.

ステップＳ２３では、同じ画面を表示しているプロジェクタ３４００に表示更新を要求する。 In step S23, the projector 3400 displaying the same screen is requested to update the display.

ステップＳ２４では、同じ画面を表示している携帯端末装置５０００に表示更新を要求する。 In step S24, the mobile terminal device 5000 displaying the same screen is requested to update the display.

続いて、携帯端末装置５０００でマインドマップ操作があった場合の処理について説明する。 Subsequently, the processing when there is a mind map operation in the mobile terminal device 5000 will be described.

ステップＳ２５では、携帯端末装置５０００が操作に応じて画面の表示を更新する。 In step S25, the mobile terminal device 5000 updates the screen display according to the operation.

ステップＳ２６では、携帯端末装置５０００からモバイルパソコン３６００へ表示更新を要求する。 In step S26, the display update is requested from the mobile terminal device 5000 to the mobile personal computer 3600.

ステップＳ２７では、モバイルパソコン３６００は、携帯端末装置５０００の要求を受けてプロジェクタ３４００に対して表示の更新を要求する。 In step S27, the mobile personal computer 3600 requests the projector 3400 to update the display in response to the request of the mobile terminal device 5000.

ステップＳ２８では、携帯端末装置５０００は、マインドマップの表示情報をデータベースに保存するために、情報処理装置２０００へマインドマップ表示情報を送信する。 In step S28, the mobile terminal device 5000 transmits the mind map display information to the information processing device 2000 in order to store the mind map display information in the database.

ステップＳ２９では、情報処理装置２０００はデータベースへの保存を行う。 In step S29, the information processing apparatus 2000 saves the information in the database.

その後、参加者３３００が発言した場合の処理について説明する。 After that, the processing when the participant 3300 speaks will be described.

ステップＳ３０では、参加者３３００が発言した音声情報を携帯端末装置５０００が音声信号として入力し、音声認識し、形態素解析し、マインドマップ化し、データベースへ保存する。 In step S30, the mobile terminal device 5000 inputs the voice information spoken by the participant 3300 as a voice signal, recognizes the voice, analyzes the morphological elements, creates a mind map, and stores the information in the database.

ステップＳ３１では、携帯端末装置５０００はマインドマップ画面情報をモバイルパソコン３６００に送信する。 In step S31, the mobile terminal device 5000 transmits the mind map screen information to the mobile personal computer 3600.

ステップＳ３２では、モバイルパソコン３６００は、同じ画面を表示しているプロジェクタ３４００にも表示画面の更新を要求する。ここで、表示画面の更新を要求する際に、モバイルパソコン３６００を経由するのは、モバイルパソコン３６００がサーバとして振舞うためである。 In step S32, the mobile personal computer 3600 also requests the projector 3400 displaying the same screen to update the display screen. Here, when requesting the update of the display screen, the mobile personal computer 3600 is passed through because the mobile personal computer 3600 behaves as a server.

＜通信システムの動作（その３）＞
図１１は、通信システムの動作（その３）の一実施例を示すシーケンスチャートである。 <Operation of communication system (3)>
FIG. 11 is a sequence chart showing an embodiment of the operation of the communication system (No. 3).

図１１には、会議を終了する際の動作が示される。図１１には、主に、情報処理装置２０００のプロセッサ２００５がＲＯＭ２００４に格納されたプログラムに従って通信部２０５４としての機能を実行する処理が示される。 FIG. 11 shows an operation when the conference is ended. FIG. 11 mainly shows a process in which the processor 2005 of the information processing device 2000 executes the function as the communication unit 2054 according to the program stored in the ROM 2004.

ステップＳ４０では、情報処理装置２０００が接続終了要求を行う。図１１では、情報処理装置２０００により接続終了要求が実行される場合について示すが、情報処理装置２１００により接続終了要求が実行されてもよいし、携帯端末装置５０００により接続終了要求が実行されてもよい。 In step S40, the information processing apparatus 2000 makes a connection termination request. FIG. 11 shows a case where the connection end request is executed by the information processing device 2000, but the connection end request may be executed by the information processing device 2100 or the connection end request may be executed by the mobile terminal device 5000. Good.

ステップＳ４１では、モバイルパソコン３６００は会議終了処理を行う。具体的には、モバイルパソコン３６００は、データベースを保存して閉じ、セッションをクリアし、表示をクリアするのが好ましい。また、モバイルパソコン３６００は。表示をクリアする要求を携帯端末装置５０００、プロジェクタ３４００に送信するのが好ましい。 In step S41, the mobile personal computer 3600 performs the conference end processing. Specifically, it is preferable that the mobile personal computer 3600 saves and closes the database, clears the session, and clears the display. Also, the mobile personal computer 3600. It is preferable to transmit the request for clearing the display to the mobile terminal device 5000 and the projector 3400.

ステップＳ４２では、会議終了処理が完了したら、情報処理装置２０００に対して接続終了結果を返信する。ここで、仮に結果がＮＧである場合には、ユーザに終了するために必要な作業を伝えるのが好ましい。 In step S42, when the conference end processing is completed, the connection end result is returned to the information processing device 2000. Here, if the result is NG, it is preferable to inform the user of the work required to complete the process.

＜マインドマップを操作する際の動作＞
図１２は、マインドマップの一実施例を示す。 <Operation when operating the mind map>
FIG. 12 shows an example of a mind map.

"XXXXX"と表示された単語のノード１２０１をタッチすると、詳細ボタン１２０２、挿入ボタン１２０３、展開ボタン１２０４、検索ボタン１２０５が表示される。展開ボタン１２０４の代わりに省略ボタン１２０６が表示されることもある。 When the node 1201 of the word displayed as "XXXXX" is touched, the detail button 1202, the insert button 1203, the expand button 1204, and the search button 1205 are displayed. The omit button 1206 may be displayed instead of the expand button 1204.

ノード１２０１自体を再度タッチすると、"XXXXX"という文字列を編集するモードになる。例えば、"XXXXY"などと名前を変更してEnterボタンを押すと名前の変更が確定される。 If you touch the node 1201 itself again, you will be in the mode to edit the character string "XXXXX". For example, if you change the name to "XXXXY" and press the Enter button, the name change will be confirmed.

新規ノードを追加する場合には、挿入ボタン１２０３をタッチして作成したい位置まで枝を伸ばし離す。そうすると、新規ノードが生成される。新規ノードの名前については、空にして名前の変更をユーザに促すようにしてもよいし、適当な名前を付けて表示するようにしてもよい。 When adding a new node, touch the insert button 1203 to extend the branch to the position you want to create. Then, a new node is created. The name of the new node may be emptied to prompt the user to rename it, or it may be displayed with an appropriate name.

展開ボタン１２０４をタッチした場合には、該タッチしたノードの子ノード以下のノードのうち、表示対象となっているノードが表示される。仮に、子ノード以下で省略状態となっているノードがあればそのノードは省略されたままとなる。省略ボタン１２０６の場合には展開ボタンと逆の操作となる。展開ボタン１２０４を押すと省略ボタン１２０６になり、省略ボタン１２０６を押すと展開ボタン１２０４になるのが好ましい。子ノード以下をもたないノードについてはこの展開（あるいは省略）ボタンは表示されない。 When the expand button 1204 is touched, the node to be displayed is displayed among the nodes below the child node of the touched node. If there is a node that is omitted below the child node, that node will remain omitted. In the case of the omission button 1206, the operation is the reverse of the expansion button. It is preferable that pressing the expand button 1204 results in the omit button 1206, and pressing the omit button 1206 results in the expand button 1204. This expand (or omit) button is not displayed for nodes that do not have child nodes or less.

検索ボタン１２０５をタッチした際には、"XXXXX"という単語に関連する単語を設定された数、表示する。"XXXXX"という単語に関連する単語は、リング上に表示されてもよい。関連する単語に関しては、ウィキペディアなどの単語の意味を説明するサイトの関連語の部分を利用してもよい。例えば、「関連語２」を選択したとすると、"XXXXX"の子ノードとして「関連語２」が新規に追加される。このとき、辞書データベース２０６２あるいは５０５８を検索して、仮に辞書に「関連語２」がない場合には追加する学習処理も同時に行うのが好ましい。 When the search button 1205 is touched, a set number of words related to the word "XXXXX" are displayed. Words related to the word "XXXXX" may appear on the ring. For related words, you may use the related word part of a site that explains the meaning of the word, such as Wikipedia. For example, if "related word 2" is selected, "related word 2" is newly added as a child node of "XXXXX". At this time, it is preferable to search the dictionary database 2062 or 5058, and if there is no "related word 2" in the dictionary, perform additional learning processing at the same time.

詳細ボタン１２０２をタッチした際には、会議の発言の中で"XXXXX"が含まれる一文をマインドマップデータベース２０６１あるいは５０５７より検索してポップアップ形式で表示するのが好ましい。 When the detail button 1202 is touched, it is preferable to search the mind map database 2061 or 5057 for a sentence containing "XXXXX" in the remarks of the meeting and display it in a pop-up format.

＜マインドマップを生成する処理＞
図１３は、マインドマップを生成する処理を示す。 <Process to generate mind map>
FIG. 13 shows a process of generating a mind map.

図１３には、主に、情報処理装置２０００のプロセッサ２００５がＲＯＭ２００４に格納されたプログラムに従ってエンジン部２０５３としての機能を実行する処理が示される。また、図１３には、主に、情報処理装置２１００のプロセッサ２１０７がＲＯＭ２１０６に格納されたプログラムに従ってエンジン部としての機能を実行する処理が示される。また、図１３には、主に、携帯端末装置５０００のＣＰＵ（図示なし）が記憶部（図示なし）に格納されたプログラムに従ってエンジン部５０５４としての機能を実行する処理が示される。 FIG. 13 mainly shows a process in which the processor 2005 of the information processing device 2000 executes the function as the engine unit 2053 according to the program stored in the ROM 2004. Further, FIG. 13 mainly shows a process in which the processor 2107 of the information processing device 2100 executes a function as an engine unit according to a program stored in the ROM 2106. Further, FIG. 13 mainly shows a process in which the CPU (not shown) of the mobile terminal device 5000 executes the function as the engine unit 5054 according to the program stored in the storage unit (not shown).

ステップＳ１３０２では、会議参加者の音声情報をマイク２００１、２１０１、５００４で拾いアナログ信号からデジタル信号へ変換する。 In step S1302, the voice information of the conference participants is picked up by the microphones 2001, 2101, 5004 and converted from the analog signal to the digital signal.

ステップＳ１３０４では、ステップＳ１３０２により変換したデジタル音声信号を音声認識することによりテキストに変換する。 In step S1304, the digital voice signal converted in step S1302 is converted into text by voice recognition.

ステップＳ１３０６では、ステップＳ１３０４による音声認識の結果得られたテキストを、形態素解析し品詞レベルの単語に分解する。 In step S1306, the text obtained as a result of speech recognition in step S1304 is morphologically analyzed and decomposed into words at the part of speech level.

ステップＳ１３０８では、ステップＳ１３０６で品詞レベルに分解された単語から、単語毎の重要度と関連度の重み付けを計算し、マインドマップ形式（木構造）のデータを生成する。この時のデータの表現方法の例は、ＸＭＬ（eXtensible Markup Language）やJSON(JavaScript Object Notation)などの記法であるのが好ましい。 In step S1308, weighting of importance and relevance for each word is calculated from the words decomposed into part of speech level in step S1306, and data in a mind map format (tree structure) is generated. Examples of the data representation method at this time are preferably notations such as XML (eXtensible Markup Language) and JSON (JavaScript Object Notation).

ステップＳ１３１０では、ステップＳ１３０８で生成されたマインドマップ形式のデータはマインドマップデータベース２０６１、５０５７に保存される。 In step S1310, the mind map format data generated in step S1308 is stored in the mind map databases 2061 and 5057.

＜マインドマップが操作された際の表示処理＞
図１４は、マインドマップが操作された際の表示処理の一実施例を示す。 <Display processing when the mind map is operated>
FIG. 14 shows an embodiment of the display process when the mind map is operated.

ステップＳ１４０２では、ノードが選択されることにより、図１２に示されるように、検索ボタン１２０５と、詳細ボタン１２０２と、挿入ボタン１２０３と、展開ボタン１２０４又は省略ボタン１２０６の４つのボタンが表示される。 In step S1402, when the node is selected, four buttons, a search button 1205, a detail button 1202, an insert button 1203, and an expand button 1204 or an omit button 1206, are displayed as shown in FIG. ..

ステップＳ１４０４では、検索ボタン１２０５が押下げられたか否かを判定する。 In step S1404, it is determined whether or not the search button 1205 has been pressed.

ステップＳ１４０６では、ステップＳ１４０４で検索ボタン１２０５が押下（タッチ）された場合、関連語をＷｅｂ検索する。関連語については、ウィキペディアなどの辞書サイトにある関連語を検索する方式が利用されるのが好ましい。 In step S1406, when the search button 1205 is pressed (touched) in step S1404, a related word is searched on the Web. For related words, it is preferable to use a method of searching for related words on a dictionary site such as Wikipedia.

ステップＳ１４０８では、ステップＳ１４０４で検索ボタンの押下（タッチ）がされない場合、詳細ボタンが押下げられたか否かを判定する。 In step S1408, if the search button is not pressed (touched) in step S1404, it is determined whether or not the detail button is pressed.

ステップＳ１４１０では、ステップＳ１４０８で詳細ボタンの押下（タッチ）がされた場合、マインドマップデータベース２０６１、及び５０５７からノードの単語が含まれる文書を取得する。 In step S1410, when the detail button is pressed (touched) in step S1408, a document containing the word of the node is acquired from the mind map databases 2061 and 5057.

ステップＳ１４１２では、ステップＳ１４０８で詳細ボタンの押下（タッチ）がされない場合、再度ノードが押下げられたか否かを判定する。 In step S1412, if the detail button is not pressed (touched) in step S1408, it is determined whether or not the node is pressed again.

ステップＳ１４１４では、ステップＳ１４１２で再度ノードの押下（タッチ）がされた場合、そのノードの単語を編集できるモードに遷移する。 In step S1414, when the node is pressed (touched) again in step S1412, the mode transitions to the mode in which the word of the node can be edited.

ステップＳ１４１６では、ステップＳ１４１２で再度ノードの押下（タッチ）がない場合、挿入ボタンが押下げられたか否かを判定する。 In step S1416, if the node is not pressed (touched) again in step S1412, it is determined whether or not the insert button is pressed.

ステップＳ１４１８では、ステップＳ１４１６で挿入ボタンが押下げされた場合、子ノードを追加するモードに遷移し、枝が伸された後にタッチが離された場合にノードが追加される。 In step S1418, when the insert button is pressed in step S1416, the mode shifts to the mode for adding a child node, and the node is added when the touch is released after the branch is extended.

ステップＳ１４２０では、ステップＳ１４１６で挿入ボタンが押下げられない場合、展開ボタン又は省略ボタンが押下げられたか否かを判定する。 In step S1420, if the insert button is not pressed in step S1416, it is determined whether or not the expand button or the omit button is pressed.

ステップＳ１４２２では、ステップＳ１４２０で、展開ボタン又は省略ボタンが押下げされた場合、展開ボタンの場合には非表示にされている子ノード以下を表示し、省略ボタンの場合には表示されている子ノード以下を非表示にする。 In step S1422, when the expand button or the omit button is pressed in step S1420, the hidden child nodes and below are displayed in the case of the expand button, and the displayed children are displayed in the case of the omit button. Hide below the node.

ステップＳ１４２０で、展開ボタン、省略ボタンのいずれも押下げられない場合には終了する。 If neither the expand button nor the omit button is pressed down in step S1420, the process ends.

ステップＳ１４２４では、ステップＳ１４０６により検索された関連語を、選択しているノードを囲むように設定された数だけ候補として表示する。または、ステップＳ１４２４では、ステップＳ１４１０により取得された文書をノードに対する吹き出しとしてポップアップ形式で表示する。または、ステップＳ１４２４では、ステップＳ１４１４により遷移した編集モードに従って、テキストフィールド及びカーソルを表示する。または、ステップＳ１４２４では、ステップＳ１４１８により追加した子ノードを表示する。または、ステップＳ１４２４では、ステップＳ１４２２による表示に従って表示する。 In step S1424, the related words searched by step S1406 are displayed as candidates in the number set so as to surround the selected node. Alternatively, in step S1424, the document acquired in step S1410 is displayed in a pop-up format as a balloon for the node. Alternatively, in step S1424, the text field and the cursor are displayed according to the edit mode transitioned by step S1414. Alternatively, in step S1424, the child node added in step S1418 is displayed. Alternatively, in step S1424, the display is performed according to the display according to step S1422.

なお、スクリーン３５００（キャンバス）をタッチしたまま上下左右に動かした場合に、その動きに従ってマインドマップ全体が平行移動するのが好ましい。ノードをタッチしたまま上下左右に動かした場合には、その動きに従ってタッチしたノードとそのノードの子ノード以下全体が平行移動するのが好ましい。 When the screen 3500 (canvas) is touched and moved up / down / left / right, it is preferable that the entire mind map moves in parallel according to the movement. When a node is touched and moved up / down / left / right, it is preferable that the touched node and the entire child node and below of the node move in parallel according to the movement.

＜関連語の選択処理＞
図１５は、関連語の選択処理の一実施例を示す。 <Selection process of related words>
FIG. 15 shows an embodiment of the related word selection process.

図１５には、主に、情報処理装置２０００のプロセッサ２００５がＲＯＭ２００４に格納されたプログラムに従ってエンジン部２０５３としての機能を実行する処理が示される。また、図１５には、主に、情報処理装置２１００のプロセッサ２１０７がＲＯＭ２１０６に格納されたプログラムに従ってエンジン部としての機能を実行する処理が示される。また、図１５には、主に、携帯端末装置５０００のＣＰＵ（図示なし）が記憶部（図示なし）に格納されたプログラムに従ってエンジン部５０５４としての機能を実行する処理が示される。 FIG. 15 mainly shows a process in which the processor 2005 of the information processing device 2000 executes the function as the engine unit 2053 according to the program stored in the ROM 2004. Further, FIG. 15 mainly shows a process in which the processor 2107 of the information processing device 2100 executes a function as an engine unit according to a program stored in the ROM 2106. Further, FIG. 15 mainly shows a process in which the CPU (not shown) of the mobile terminal device 5000 executes the function as the engine unit 5054 according to the program stored in the storage unit (not shown).

ステップＳ１５０２では、関連語を選択したイベントを受け付けると、図１２に示されるように、選択した関連語を子ノードとして追加する。 In step S1502, when the event in which the related word is selected is received, the selected related word is added as a child node as shown in FIG.

ステップＳ１５０４では、追加した関連語が、辞書データベース２０６２あるいは５０５８に登録済であるか否かを確認する。 In step S1504, it is confirmed whether or not the added related word is registered in the dictionary database 2062 or 5058.

追加した関連語が辞書データベース２０６２もしくは５０５８に登録済みである場合、終了する。 If the added related word is already registered in the dictionary database 2062 or 5058, the process ends.

ステップＳ１５０６では、追加した関連語が辞書データベース２０６２もしくは５０５８に登録済みでない場合、新規単語として追加処理を行う。 In step S1506, if the added related word is not registered in the dictionary database 2062 or 5058, additional processing is performed as a new word.

追加した関連語が辞書データベース２０６２もしくは５０５８に登録済みでない場合に、新規単語として追加処理を行うことにより、ユーザは学習させていることを意識することなく、単語を追加することができる。 When the added related word is not registered in the dictionary database 2062 or 5058, the user can add the word without being aware that the word is being learned by performing the additional processing as a new word.

＜関連語の選択処理＞
図１６は、関連語の選択処理の一実施例を示す。 <Selection process of related words>
FIG. 16 shows an embodiment of the related word selection process.

図１６には、主に、情報処理装置２０００のプロセッサ２００５がＲＯＭ２００４に格納されたプログラムに従ってエンジン部２０５３としての機能を実行する処理が示される。また、図１６には、主に、情報処理装置２１００のプロセッサ２１０７がＲＯＭ２１０６に格納されたプログラムに従ってエンジン部としての機能を実行する処理が示される。また、図１６には、主に、携帯端末装置５０００のＣＰＵ（図示なし）が記憶部（図示なし）に格納されたプログラムに従ってエンジン部５０５４としての機能を実行する処理が示される。 FIG. 16 mainly shows a process in which the processor 2005 of the information processing device 2000 executes the function as the engine unit 2053 according to the program stored in the ROM 2004. Further, FIG. 16 mainly shows a process in which the processor 2107 of the information processing device 2100 executes a function as an engine unit according to a program stored in the ROM 2106. Further, FIG. 16 mainly shows a process in which the CPU (not shown) of the mobile terminal device 5000 executes the function as the engine unit 5054 according to the program stored in the storage unit (not shown).

ステップＳ１６０２では、情報処理装置２０００のボタン２００２、情報処理装置２１００のボタン２１０４が操作されることにより、設定メニューから音声学習モードに切り替えて、音声学習に必要な定型テキストを朗読させる。また、携帯端末装置５０００では設定メニューから音声学習モードに切り替えて、音声学習に必要な定型テキストを朗読させる。朗読するテキストは、ディスプレイ２００３、２１０３、５００２に表示される。 In step S1602, the button 2002 of the information processing device 2000 and the button 2104 of the information processing device 2100 are operated to switch to the voice learning mode from the setting menu and read aloud the standard text required for voice learning. In addition, the mobile terminal device 5000 switches to the voice learning mode from the setting menu to read aloud the standard text required for voice learning. The text to be read aloud is displayed on the displays 2003, 2103, and 5002.

ステップＳ１６０２では、入力された音声情報（アナログ信号）は、マイク２００１、２１０１、５００４でデジタル信号に変換される。音声認識部２０５５は、音響モデルを生成する。 In step S1602, the input audio information (analog signal) is converted into a digital signal by the microphones 2001, 2101, and 5004. The voice recognition unit 2055 generates an acoustic model.

ステップＳ１６０４では、ステップＳ１６０２で生成した音響モデルを、情報処理装置２０００の内蔵メモリ２００８、情報処理装置２１００の内蔵メモリ２１０５あるいは辞書データベース５０５８に保存する。以上の処理により、個人個人の指向性をもたせることができるため、認識精度を上げることができる。 In step S1604, the acoustic model generated in step S1602 is stored in the built-in memory 2008 of the information processing device 2000, the built-in memory 2105 of the information processing device 2100, or the dictionary database 5058. By the above processing, it is possible to give individual directivity, so that the recognition accuracy can be improved.

＜マインドマップを生成する処理の詳細＞
図１７は、マインドマップを生成する処理の詳細を示す。 <Details of the process to generate a mind map>
FIG. 17 shows the details of the process of generating the mind map.

図１７には、主に、情報処理装置２０００のプロセッサ２００５がＲＯＭ２００４に格納されたプログラムに従ってエンジン部２０５３としての機能を実行する処理が示される。また、図１７には、主に、情報処理装置２１００のプロセッサ２１０７がＲＯＭ２１０６に格納されたプログラムに従ってエンジン部としての機能を実行する処理が示される。また、図１７には、主に、携帯端末装置５０００のＣＰＵ（図示なし）が記憶部（図示なし）に格納されたプログラムに従ってエンジン部５０５４としての機能を実行する処理が示される。 FIG. 17 mainly shows a process in which the processor 2005 of the information processing device 2000 executes the function as the engine unit 2053 according to the program stored in the ROM 2004. Further, FIG. 17 mainly shows a process in which the processor 2107 of the information processing device 2100 executes a function as an engine unit according to a program stored in the ROM 2106. Further, FIG. 17 mainly shows a process in which the CPU (not shown) of the mobile terminal device 5000 executes the function as the engine unit 5054 according to the program stored in the storage unit (not shown).

ステップＳ１７０２では、品詞、種別でフィルタ処理を行う。例えば、品詞レベルに分解された単語を入力として、形態素解析で、品詞・種別でマインドマップ化において不要な品詞である単語を除外する。単語を除外することによりその後の処理を高速化することができる。 In step S1702, filtering is performed by part of speech and type. For example, a word decomposed into part of speech is input, and words that are unnecessary part of speech in mind mapping by part of speech / type are excluded by morphological analysis. Subsequent processing can be speeded up by excluding words.

ステップＳ１７０４では、ステップＳ１７０２によるフィルタ処理後、単語連結・重み付け処理を行う。具体的には、「マインド」と「マップ」といった品詞レベルでは意味が違ってしまう単語について、連続する名詞は連結する処理を行う。また、単語（名詞）に接続する助詞から、その単語が文の中で主語として扱われているか、目的語として扱われているかを判定し、重要度の重み付けを行う。なお、この重要度は単語の出現頻度も考慮に入れるのが好ましい。文の終わりについては、意味の切れ目と判定し、マイナスの重み付けを行うのが好ましい。さらに、ユーザが事前に重要と位置付けてある単語に関してはさらに重み付けを行うものとする。 In step S1704, after the filter processing in step S1702, word concatenation / weighting processing is performed. Specifically, for words such as "mind" and "map" that have different meanings at the part-speech level, consecutive nouns are concatenated. In addition, from the particles connected to the word (noun), it is determined whether the word is treated as the subject or the object in the sentence, and the importance is weighted. It is preferable that this importance also takes into account the frequency of occurrence of words. It is preferable to determine that the end of the sentence is a break in meaning and give a negative weight. Furthermore, the words that the user has positioned as important in advance shall be further weighted.

ステップＳ１７０６では、ステップＳ１７０４により個々の単語の重み付けが完了したら、重み付け行列を作成する。 In step S1706, when the weighting of individual words is completed in step S1704, a weighting matrix is created.

図１８は、重み付け行列の一実施例を示す。 FIG. 18 shows an example of a weighting matrix.

重み付け行列は、対角成分はステップＳ１７０４で求めた重要度の値が入る。対角成分以外は、単語間の関連度を数値化したものが入る。単語間の出現位置や意味的な関連から重み付けの値を決定する。 In the weighting matrix, the diagonal component is the value of the importance obtained in step S1704. Except for the diagonal component, the numerical value of the relevance between words is entered. The weighting value is determined from the position of occurrence between words and the semantic relationship.

ステップＳ１７０８では、ステップＳ１７０６で重み付け行列が完成したら、マインドマップを構築する。 In step S1708, when the weighting matrix is completed in step S1706, a mind map is constructed.

図１９は、マインドマップの一実施例を示す。 FIG. 19 shows an example of a mind map.

重要度が一番高いものがルートとなり、重要度が一番小さいものがリーフとなる。図１９に示される例では、重要度が一番高い「単語４」がルートとなり、重要度が一番小さい「単語２」がリーフとなる。 The one with the highest importance is the route, and the one with the least importance is the leaf. In the example shown in FIG. 19, "word 4" having the highest importance is the root, and "word 2" having the lowest importance is the leaf.

＜マインドマップのデータフォーマット＞
図２０は、マインドマップのデータフォーマットの一実施例を示す。 <Mind map data format>
FIG. 20 shows an embodiment of a mind map data format.

マインドマップは、マインドマップデータベース２０６１、５０５７に格納される。 The mind map is stored in the mind map databases 2061 and 5057.

マインドマップのデータ形式の例は、ユーザ情報、会議（イベント）情報、単語情報の３つであるのが好ましい。 It is preferable that there are three examples of mind map data formats: user information, conference (event) information, and word information.

ユーザ情報は、所属、名前、保有するマインドマップをセットにしたものである。ユーザ情報は、保有するマインドマップより、個々の会議のマインドマップ情報を検索して取得することができる。 User information is a set of affiliation, name, and possessed mind map. The user information can be obtained by searching the mind map information of each meeting from the possessed mind map.

会議情報は、ＩＤ、最終更新日時、作成者、マインドマップ情報をセットにしたものであり、イベント毎にデータが追加される。 The meeting information is a set of ID, last update date and time, creator, and mind map information, and data is added for each event.

単語情報は、単語とその単語を含む文書をマッピングした情報であり、この単語情報により、マインドマップの各ノードの詳細情報を取得する際に高速に処理することができる。 The word information is information that maps a word and a document containing the word, and this word information can be processed at high speed when acquiring detailed information of each node of the mind map.

情報処理システムの一実施例によれば、会議中の音声情報を認識し、認識した単語の重要度を重み付けできる。さらに、情報処理システムの一実施例によれば、単語間の関連度についても重み付けしてマインドマップ形式でリアルタイムに会議中の議論している部分を全体に対してどの部分であるかを表示することができる。このようにすることにより、会議の目標に対して現在どの部分を話しているかをメンバー間で共有でき、会議の方向性をメンバー間で一致させながら効率よく会議を進行することができる。 According to one embodiment of the information processing system, the voice information during the meeting can be recognized and the importance of the recognized word can be weighted. Further, according to an embodiment of the information processing system, the degree of relevance between words is also weighted and the part of the discussion during the meeting is displayed in real time in a mind map format. be able to. By doing so, it is possible for the members to share what part they are currently talking about with respect to the goal of the meeting, and it is possible to efficiently proceed with the meeting while matching the direction of the meeting among the members.

本発明は特定の実施例、変形例を参照しながら説明されてきたが、各実施例、変形例は単なる例示に過ぎず、当業者は様々な変形例、修正例、代替例、置換例等を理解するであろう。説明の便宜上、本発明の実施例に従った装置は機能的なブロック図を用いて説明されたが、そのような装置はハードウェアで、ソフトウエアで又はそれらの組み合わせで実現されてもよい。本発明は上記実施例に限定されず、本発明の精神から逸脱することなく、様々な変形例、修正例、代替例、置換例等が包含される。 The present invention has been described with reference to specific examples and modifications, but each embodiment and modification is merely an example, and those skilled in the art can use various modifications, modifications, alternatives, substitutions, etc. Will understand. For convenience of explanation, devices according to the embodiments of the present invention have been described with reference to functional block diagrams, but such devices may be implemented in hardware, software, or a combination thereof. The present invention is not limited to the above examples, and various modifications, modifications, alternatives, substitutions, etc. are included without departing from the spirit of the present invention.

２０００情報処理装置
２１００情報処理装置
３４００プロジェクタ
３５００スクリーン
３６００モバイルパソコン
５０００携帯端末装置 2000 Information processing device 2100 Information processing device 3400 Projector 3500 Screen 3600 Mobile personal computer 5000 Mobile terminal device

特開２００８−１９７７６５公報JP-A-2008-197765 特開２００８−２８２２２８公報Japanese Unexamined Patent Publication No. 2008-282228 特開２００７−２１８９３３公報JP-A-2007-218933 特開２０００−３５２９９５公報JP-A-2000-352995 特開２００７−１８０８２８公報JP-A-2007-180828 特開２００６−２７９１１１公報JP-A-2006-279111 特開２０１１−５５１６０公報JP 2011-55160

Claims

A text conversion method that converts voice information during a meeting into text,
A word decomposition means that decomposes the text converted by the text conversion means into words, and
A generation means for generating a mind map using the above words,
A display means for displaying in real time on the mind map which part of the mind map is being discussed during the meeting .
Information processing device equipped with.

The information processing apparatus according to claim 1, further comprising a filter means for excluding words having a predetermined attribute from words decomposed by the word decomposition means.

The information processing device according to claim 1 or 2, wherein consecutive nouns are connected among the words decomposed by the word decomposition means.

The information processing apparatus according to any one of claims 1 to 3, further comprising a weighting means for weighting words decomposed by the word decomposition means.

The information processing apparatus according to claim 4, wherein the weighting means weights words based on at least one of a punctuation mark, a predetermined word, and a particle following the noun.

Converts audio information during a meeting to text and
Break down the converted text into words
Using the above words, generate a mind map and
Which part of the whole mind map is being discussed during the meeting is displayed in real time on the mind map.
Information processing method in an information processing device.

For information processing equipment
Converts audio information during a meeting to text and
Break down the converted text into words
Using the above words, generate a mind map and
Which part of the whole mind map is being discussed during the meeting is displayed in real time on the mind map.
A program that executes processing.