JP5534413B2 - Information processing apparatus and program - Google Patents
Information processing apparatus and program Download PDFInfo
- Publication number
- JP5534413B2 JP5534413B2 JP2010028968A JP2010028968A JP5534413B2 JP 5534413 B2 JP5534413 B2 JP 5534413B2 JP 2010028968 A JP2010028968 A JP 2010028968A JP 2010028968 A JP2010028968 A JP 2010028968A JP 5534413 B2 JP5534413 B2 JP 5534413B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- sound source
- unit
- participant
- schedule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
本発明は、情報処理装置及びコンピュータに実行させるプログラムに関する。 The present invention relates to an information processing apparatus and a program executed by a computer.
会議中の音声を録音し、その音声を再生しながら議事録を作成することが一般的に行われている。しかしながら、この方法では、録音された音声を注意深く聞き取る必要があるため、議事録を作成する者の負担は大きい。音声認識により、収集された音声から発言内容を認識して議事録を自動的に作成することができれば、議事録を作成する者の負担は、大きく軽減される。 It is common practice to record the audio during a meeting and create the minutes while playing the audio. However, with this method, it is necessary to listen carefully to the recorded voice, so the burden on the person who prepares the minutes is great. If it is possible to automatically create a minutes by recognizing the contents of speech from the collected voice by voice recognition, the burden on the person who creates the minutes is greatly reduced.
議事録には、発言と、その発言を行った発言者とを対応づけて記録するのが望ましい。そこで、複数の参加者各々の音声を含む発言者識別情報を予め保持していき、音声認識により、発言者識別情報に含まれる音声情報に基づいて認識された発言内容に対応する発言者を特定し、発言内容を発言者と対応付けた上で、議事録を作成する議事録情報生成システム等が提案されている(例えば、特許文献1参照)。 In the minutes, it is desirable to record the statement and the speaker who made the statement in association with each other. Therefore, the speaker identification information including the voices of each of a plurality of participants is held in advance, and the speaker corresponding to the speech content recognized based on the voice information included in the speaker identification information is identified by voice recognition. In addition, a minutes information generation system for creating minutes after associating the contents of a statement with a speaker has been proposed (see, for example, Patent Document 1).
しかしながら、上記特許文献1に開示された議事録情報生成システム等では、発言者を特定するために、音声データを含む発言者識別情報の事前登録が必要となる。このような事前登録は、ユーザにとっては非常に煩わしいものであり、このことが使い勝手の向上を妨げている。
However, in the minutes information generation system disclosed in
本発明は、上記実情に鑑みてなされたものであり、使い勝手をさらに向上させることができる情報処理装置及びプログラムを提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object thereof is to provide an information processing apparatus and a program that can further improve usability.
上記目的を達成するために、本発明の第1の観点に係る情報処理装置は、
入力された音声に対応する音声信号に位相差が生じるように、その数及び配置が決定された複数のマイクロホンを用いて周囲の音声を入力する音声入力部と、
前記複数のマイクロホンにそれぞれ入力された音声に対応する音声信号の位相差に基づいてその音声信号に対応する音声が発せられた音源の位置を特定し、特定された前記音源の位置に基づいて、前記音声信号から音声情報を前記音源ごとに分離抽出する音源定位分離部と、
前記音源定位分離部によって分離抽出された音声情報を解析して、前記音声情報を文章情報に変換し、変換された前記文章情報を前記音源に対応付ける音声解析部と、
前記音声解析部によって変換され、前記音源と対応付けされた前記文章情報を蓄積する文章情報記憶部と、
前記文章情報記憶部に蓄積された前記文章情報を表示する表示部と、
前記音声入力部、前記音源定位分離部、前記音声解析部、前記文章情報記憶部及び前記表示部を制御する制御部と、
自機の周囲を区切ることにより規定される複数の領域各々の範囲に関するエリア情報を記憶するエリア情報記憶部と、
計時を行い、日時情報を作成する時計部と、
を備え、
前記制御部は、
前記音源定位分離部に、
特定された前記音源の位置が同一の前記領域に位置する前記音声情報を、同一の前記音源からのものとして、前記音声信号から分離抽出させ、
前記音声解析部に、
前記音声情報から変換された文章情報を、前記音源が位置する前記領域に対応付けさせ、
前記文章情報記憶部に、
前記領域と対応付けされた前記文章情報を蓄積させ、
前記複数の領域の画像を前記表示部に表示させ、
日時情報及び参加者情報を含むイベントのスケジュールに関する情報としてのスケジュール情報から、前記時計部で作成された前記日時情報に対応する前記参加者情報を抽出して前記表示部に表示させ、
操作入力に従って、表示された前記参加者情報に係る参加者と前記音源との対応付けを行い、
前記文章情報記憶部に蓄積された前記文章情報と前記参加者との対応付けを行い、
前記表示部に、前記参加者と対応付けされた前記文章情報を表示させる。
In order to achieve the above object, an information processing apparatus according to the first aspect of the present invention provides:
An audio input unit that inputs ambient audio using a plurality of microphones whose number and arrangement are determined so that a phase difference occurs in an audio signal corresponding to the input audio;
Based on the phase difference of the audio signal corresponding to the audio input to each of the plurality of microphones, the position of the sound source from which the audio corresponding to the audio signal is emitted, and based on the specified position of the sound source, A sound source localization separation unit that separates and extracts sound information from the sound signal for each sound source;
Analyzing the voice information separated and extracted by the sound source localization separation unit, converting the voice information into sentence information, and a voice analysis unit associating the converted sentence information with the sound source;
A sentence information storage unit that stores the sentence information converted by the voice analysis unit and associated with the sound source;
A display unit for displaying the text information stored in the text information storage unit;
A control unit for controlling the voice input unit, the sound source localization separation unit, the voice analysis unit, the text information storage unit, and the display unit;
An area information storage unit that stores area information related to ranges of a plurality of areas defined by dividing the periphery of the own machine;
A clock unit that measures time and creates date and time information;
With
The controller is
In the sound source localization separation unit,
The audio information located in the region where the position of the identified sound source is the same is extracted from the audio signal as being from the same sound source,
In the voice analysis unit,
The text information converted from the voice information is associated with the area where the sound source is located,
In the sentence information storage unit,
Accumulating the text information associated with the area ,
Displaying the images of the plurality of regions on the display unit;
From the schedule information as information about the schedule of the event including the date and time information and the participant information, the participant information corresponding to the date and time information created by the clock unit is extracted and displayed on the display unit,
According to the operation input, the participant according to the displayed participant information is associated with the sound source,
The text information stored in the text information storage unit is associated with the participant,
The text information associated with the participant is displayed on the display unit .
この場合、前記制御部は、
音声が発せられた前記音源の位置に、その音声が発せられた順番又は前記音声に対応する前記文章情報を、前記複数の領域の画像に重ね合わせて前記表示部に表示させる、
こととしてもよい。
In this case, the control unit
In the position of the sound source where the sound is emitted, the order in which the sound is emitted or the text information corresponding to the sound is displayed on the display unit in an overlapping manner with the images of the plurality of regions.
It is good as well.
この場合、前記制御部は、
前記表示部に表示される前記文章情報が重なり合う場合、古い方の前記文章情報の表示を削除又は移動させる、
こととしてもよい。
In this case, the control unit
When the sentence information displayed on the display unit overlaps, delete or move the display of the older sentence information,
It is good as well.
また、前記制御部は、
最新の前記文章情報に係る前記領域を前記表示部に強調表示させる、
こととしてもよい。
In addition, the control unit
Highlighting the region related to the latest sentence information on the display unit;
It is good as well.
また、前記制御部は、
操作入力に従って、前記各領域の範囲を調整し、
前記エリア情報記憶部に格納される前記エリア情報を更新し、
前記表示部に、調整後の前記各領域の範囲を表示させる、
こととしてもよい。
In addition, the control unit
Adjust the range of each area according to the operation input,
Update the area information stored in the area information storage unit,
Display the range of each area after adjustment on the display unit,
It is good as well.
また、前記複数の領域各々は、
自機を基準として、水平面内の全方位を任意の角度で区切ることにより規定されている、
こととしてもよい。
Each of the plurality of regions is
It is defined by dividing all directions in the horizontal plane at an arbitrary angle, based on the own aircraft.
It is good as well.
また、自機の位置情報を検出する位置情報検出部をさらに備え、
前記制御部は、
前記音声定位分離部に、
前記位置情報検出部によって検出された前記位置情報に基づいて、特定された前記音源の位置を補正させ、補正された前記音源の位置に基づいて前記音声信号から音声情報を前記音源ごとに分離抽出させる、
こととしてもよい。
In addition, it further comprises a position information detection unit for detecting the position information of the own machine,
The controller is
In the sound localization separation unit,
Based on the position information detected by the position information detection unit, the position of the identified sound source is corrected, and the sound information is separated and extracted for each sound source based on the corrected position of the sound source. Let
It is good as well.
この場合、前記スケジュール情報を記憶するスケジュール記憶部をさらに備え、
前記制御部は、
前記スケジュール記憶部に記憶された前記スケジュール情報から前記表示部に表示させる前記参加者情報を抽出する、
こととしてもよい。
In this case, further comprising a schedule storage unit for storing the schedule information,
The controller is
Extracting the participant information to be displayed on the display unit from the schedule information stored in the schedule storage unit;
It is good as well.
また、外部機器とデータ通信可能な通信部をさらに備え、
前記制御部は、
前記通信部を介して、外部記憶媒体から取得した前記スケジュール情報から前記表示部に表示させる前記参加者情報を抽出する、
こととしてもよい。
In addition, it further comprises a communication unit capable of data communication with an external device,
The controller is
Extracting the participant information to be displayed on the display unit from the schedule information acquired from an external storage medium via the communication unit;
It is good as well.
また、前記制御部は、
操作入力に従って、前記参加者と前記音源との対応付けが行われず、前記時計部によってタイムアウト時間が計時されると、前記文章情報と前記参加者との対応付けを終了する、
こととしてもよい。
In addition, the control unit
According to the operation input, the association between the participant and the sound source is not performed, and when the time-out time is counted by the clock unit, the association between the sentence information and the participant is terminated.
It is good as well.
また、前記制御部は、
前記複数の領域の画像を前記表示部に表示させ、
音声が発せられた前記音源の位置に、前記音源に対応付けされた前記参加者の識別情報を、前記複数の領域の画像に重ね合わせて前記表示部に表示させる、
こととしてもよい。
In addition, the control unit
Displaying the images of the plurality of regions on the display unit;
The identification information of the participant associated with the sound source is superimposed on the image of the plurality of regions and displayed on the display unit at the position of the sound source where the sound is emitted.
It is good as well.
また、前記スケジュール情報を記憶するスケジュール記憶部と、
外部機器とデータ通信可能な通信部と、
をさらに備え、
前記制御部は、
前記通信部を介して、外部記憶媒体から取得した前記スケジュール情報と、前記スケジュール記憶部に記憶された前記スケジュール情報とが同一となるように、
前記外部記憶媒体から取得した前記スケジュール情報が更新された場合に、更新された前記スケジュール情報を用いて前記スケジュール記憶部に記憶された前記スケジュール情報を更新し、
前記スケジュール記憶部に記憶された前記スケジュール情報が更新された場合に、更新された前記スケジュール情報を用いて前記外部記憶媒体の前記スケジュール情報を更新する、
こととしてもよい。
A schedule storage unit for storing the schedule information;
A communication unit capable of data communication with an external device;
Further comprising
The controller is
The schedule information acquired from the external storage medium via the communication unit and the schedule information stored in the schedule storage unit are the same.
When the schedule information acquired from the external storage medium is updated, the schedule information stored in the schedule storage unit is updated using the updated schedule information,
When the schedule information stored in the schedule storage unit is updated, the schedule information of the external storage medium is updated using the updated schedule information.
It is good as well.
また、前記音源定位分離部によって分離抽出された前記音声情報を記憶する音声情報記憶部と、
前記音声情報記憶部に記憶された前記音声情報に基づく音声を再生する音声再生部と、
をさらに備え、
前記制御部は、
前記音声再生部による再生が行われる間、前記表示部に、前記文章情報記憶部に蓄積された前記文章情報を表示させるとともに、再生中の前記音声情報に係る前記文章情報を強調表示させる、
こととしてもよい。
An audio information storage unit that stores the audio information separated and extracted by the sound source localization separation unit;
An audio reproduction unit for reproducing audio based on the audio information stored in the audio information storage unit;
Further comprising
The controller is
While the reproduction by the voice reproduction unit is performed, the display unit displays the sentence information stored in the sentence information storage unit and highlights the sentence information related to the voice information being reproduced.
It is good as well.
この場合、前記制御部は、
前記表示部に、前記文章情報とともに、議事が行われた場所の見取り図を表示させ、表示された前記見取り図上の前記音源の位置に、前記音源に対応付けされた前記参加者の識別情報を表示させるとともに、
再生中の前記音声情報に係る参加者の識別情報を強調表示させる、
こととしてもよい。
In this case, the control unit
The display unit displays a sketch of the place where the agenda was held together with the text information, and displays the identification information of the participant associated with the sound source at the position of the sound source on the displayed sketch As well as
Highlighting the identification information of the participant related to the audio information being played,
It is good as well.
本発明の第2の観点に係るプログラムは、
コンピュータを、
入力された音声に対応する音声信号に位相差が生じるように、その数及び配置が決定された複数のマイクロホン各々に入力された音声に対応する音声信号の位相差に基づいてその音声信号に対応する音声が発せられた音源の位置を特定し、特定された前記音源の位置に基づいて前記音声信号から音声情報を前記音源ごとに分離抽出する音源定位分離手段、
前記音源定位分離手段によって分離抽出された音声情報を解析して、前記音声情報を文章情報に変換し、変換された前記文章情報を前記音源に対応付ける音声解析手段、
前記音声解析手段によって変換され、前記音源と対応付けされた前記文章情報を蓄積する文章情報記憶手段、
前記文章情報記憶手段に蓄積された前記文章情報を表示する表示手段、
前記音源定位分離手段、前記音声解析手段、前記文章情報記憶手段及び前記表示手段を制御する制御手段、
自機の周囲を区切ることにより規定される複数の領域各々の範囲に関するエリア情報を記憶するエリア情報記憶手段、
計時を行い、日時情報を作成する時計手段、
として機能させ、
前記制御手段を、
前記音源定位分離手段に、
特定された前記音源の位置が同一の前記領域に位置する前記音声情報を、同一の前記音源からのものとして、前記音声信号から分離抽出させ、
前記音声解析手段に、
前記音声情報から変換された文章情報を、前記音源が位置する前記領域に対応付けさせ、
前記文章情報記憶手段に、
前記領域と対応付けされた前記文章情報を蓄積させ、
前記複数の領域の画像を前記表示部に表示させ、
日時情報及び参加者情報を含むイベントのスケジュールに関する情報としてのスケジュール情報から、前記時計部で作成された前記日時情報に対応する前記参加者情報を抽出して前記表示部に表示させ、
操作入力に従って、表示された前記参加者情報に係る参加者と前記音源との対応付けを行い、
前記文章情報記憶部に蓄積された前記文章情報と前記参加者との対応付けを行い、
前記表示部に、前記参加者と対応付けされた前記文章情報を表示させる、
手段として機能させる。
The program according to the second aspect of the present invention is:
Computer
Corresponding to the audio signal based on the phase difference of the audio signal corresponding to the audio input to each of the plurality of microphones whose number and arrangement are determined so that a phase difference occurs in the audio signal corresponding to the input audio Sound source localization separating means for identifying a position of a sound source from which sound is generated and separating and extracting sound information for each sound source from the sound signal based on the position of the identified sound source;
Analyzing voice information separated and extracted by the sound source localization separating means, converting the voice information into sentence information, and voice analysis means for associating the converted sentence information with the sound source;
Text information storage means for storing the text information converted by the voice analysis means and associated with the sound source;
Display means for displaying the sentence information stored in the sentence information storage means;
Control means for controlling the sound source localization separation means, the voice analysis means, the text information storage means, and the display means;
Area information storage means for storing area information relating to the range of each of a plurality of areas defined by dividing the periphery of the own machine;
A clock means for measuring time and creating date and time information,
Function as
The control means;
In the sound source localization separating means,
The audio information located in the region where the position of the identified sound source is the same is extracted from the audio signal as being from the same sound source,
In the voice analysis means,
The text information converted from the voice information is associated with the area where the sound source is located,
In the sentence information storage means,
Accumulating the text information associated with the area ,
Displaying the images of the plurality of regions on the display unit;
From the schedule information as information about the schedule of the event including the date and time information and the participant information, the participant information corresponding to the date and time information created by the clock unit is extracted and displayed on the display unit,
According to the operation input, the participant according to the displayed participant information is associated with the sound source,
The text information stored in the text information storage unit is associated with the participant,
Causing the display unit to display the sentence information associated with the participant;
It functions as a means.
本発明によれば、複数のマイクロホンにそれぞれ入力された音声に対応する音声信号の位相差に基づいて特定された音源の位置に基づいて、同じ位置から発生された音声を同一人物、すなわち同一の音源からの音声として扱う。このようにすれば、音声データを含む発言者識別情報を予め用意することなく、発言内容を発言者に対応づけた議事録を自動的に作成することができるので、使い勝手がさらに向上する。 According to the present invention, based on the position of the sound source specified based on the phase difference of the sound signal corresponding to the sound input to each of the plurality of microphones, the sound generated from the same position is the same person, that is, the same Treat as sound from a sound source. In this way, it is possible to automatically create the minutes in which the content of the speech is associated with the speaker without preparing the speaker identification information including the voice data in advance, so that the usability is further improved.
以下、本発明の実施形態について、図面を参照して詳細に説明する。なお、全図面において、同一の構成要素については同一の符号が用いられる。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In all the drawings, the same reference numerals are used for the same components.
(実施形態1)
まず、本発明の実施形態1について説明する。
(Embodiment 1)
First,
本実施形態に係る情報処理装置100は、携帯電話に組み込まれている。図1に示すように、情報処理装置100は、音声入力部1、音源定位分離部2、音声解析部3、記憶部4、操作入力部5、表示部6及び制御部7を備える。
The
音声入力部1は、複数のマイクロホンを備える。音声入力部1には、複数のマイクロホンを用いて周囲の音声を入力する。各マイクロホンは、入力された音声に対応する音声信号をそれぞれ出力する。複数のマイクロホンは、それぞれに入力された音声信号に位相差が生じ、その位相差に基づいて、情報処理装置100に対する音源の位置や方位を十分に特定できるように、その数と配置が決められている。
The
音源定位分離部2は、音声入力部1が備える複数のマイクロホンにそれぞれ入力された音声信号の位相差に基づいて、その音声信号に対応する音声が発せられた音源(すなわちその音声に係る発言を行った参加者)の位置を特定し、音源の位置を定める(定位する)。
The sound source
音源定位分離部2は、特定された音源の位置に基づいて、複数のマイクロホン各々で入力された音声信号から、目的とする音(以下、「目的音」という)、すなわち音声情報を、音源ごとに分離抽出する。音源定位分離部2は、音源が移動した場合でも、その音源からの音声を分離抽出することができる。このような音源定位分離部2における音源の定位機能及び音声の分離抽出機能は、例えば、特開2008−278433号公報にすでに開示されている。
The sound source localization /
音声解析部3は、音源定位分離部2によって分離抽出された音声情報を解析する。音声解析部3は、音声情報を文章情報に変換する。音声解析部3は、音声の周波数、速度、アクセントやイントネーションなどの特徴を解析し、予め記憶された単語辞書情報を参照しつつ、音声情報を文章情報に変換する。音声解析部3は、変換された文章情報を、音源に対応づける。
The
記憶部4は、各種情報を記憶する。記憶部4は、HDD(ハードディスクドライブ)やSDメモリのような大容量のメモリである。記憶部4は、情報処理装置100に内蔵されたメモリであってもよいし、外部メモリであってもよい。
The
記憶部4は、エリア情報8、音声情報9及び解析文章情報10を記憶する。すなわち、記憶部4が、エリア情報記憶部、音声情報記憶部及び文章情報記憶部に対応する。
The
エリア情報8は、自機の周囲を区切ることにより規定される複数のエリア各々の範囲に関する情報である。本実施形態では、複数のエリアは、情報処理装置100を基準として、水平面内の全方位を、任意の角度で区切ることにより規定されている。このようにすれば、音声の方位だけで音源を特定することができる。例えば、図2(A)に示すように、情報処理装置(携帯電話)100の全方位を45度間隔の8つのエリアA乃至Hに区切る場合には、エリア情報8として、図2(B)に示すような情報が記憶される。図2(B)に示すように、エリア情報8では、各エリアを区切る角度によって規定される範囲11と、そのエリアに対応するエリア名12とが対応付けられて登録される。エリア情報8は、音源定位分離部2が、音声情報を分離抽出する際、音声解析部3が、文章情報を音源に対応づける際に参照される。
The
図1に戻り、音声情報9は、音源定位分離部2によって分離抽出された音声情報である。音源定位分離部2は、分離抽出した音声情報を、音源に対応付けて、音声情報9として、記憶部4に記憶する。
Returning to FIG. 1, the
解析文章情報10は、音声解析部3によって作成された文章情報を含む。解析文章情報10には、文章情報だけでなく、その文章情報に係る音声を発した音源の情報が、付帯情報として含まれている。音声解析部3は、文章情報を作成した後、作成した文章情報に、音源の情報を対応付けして、解析文章情報10として記憶部4に記憶する。
The
図3には、解析文章情報10の一例を示すテーブルが示されている。図3に示すように、解析文章情報10には、文章情報13が時系列で(すなわち順番に)蓄積される。この文章情報13には、音声が入力された順番を示す番号(音声No.)14が付されている。その番号14の順に文章情報13が蓄積されている。さらに、各文章情報13には、音源の定位情報として、音源定位15及びエリア名16が対応付けられて記憶されている。
FIG. 3 shows a table showing an example of the
図1に戻り、操作入力部5は、ボタンやタッチパネル等を有し、それらを介してユーザの操作入力を受け付ける。なお、操作入力部5は、ボタンやタッチパネルだけでなく、情報処理装置100を手に持ったユーザにより情報処理装置100に加えられた振動や情報処理装置100の傾きや、ユーザの音声入力を受け付けるものであってもよい。
Returning to FIG. 1, the
表示部6は、記憶部4に蓄積された解析文章情報10の少なくとも一部を表示する。表示部6は、画像を表示する表示用パネルである。表示用パネルとしては、有機EL(Electro-Luminescence)や液晶パネルを用いることができる。表示部6が、タッチパネル機能を有するようにして、操作入力部5の一部を兼ねるようにしてもよい。
The
制御部7は、上記構成要素、すなわち音声入力部1、音源定位分離部2、音声解析部3、記憶部4及び表示部6を統括制御する。制御部7は、情報処理を行うプロセッサを備える。このプロセッサがプログラムを実行することにより、上記制御が実現される。なお、音源定位分離部2及び音声解析部3も、プロセッサを備え、このプロセッサがプログラムを実行することにより、上記機能を実現するように構成してもよい。
The
次に、本実施形態に係る情報処理装置100の動作について説明する。図4及び図5のフローチャートには、情報処理装置100の処理手順、すなわち制御部7のプロセッサによって実行されるプログラムが示されている。
Next, the operation of the
図4のフローチャートには、入力された音声に基づいて、音源の位置を特定し、音声情報9を音源ごとに分離抽出する音源定位・音声分離処理が示されている。また、図5には、音源ごとに抽出分離された音声情報9を解析し、解析文章情報10を作成する解析・文章作成処理が示されている。
The flowchart of FIG. 4 shows sound source localization / speech separation processing for identifying the position of a sound source based on the input sound and separating and extracting the
(音源定位・音声分離処理)
まず、音源定位・音声分離処理について説明する。
(Sound source localization / audio separation processing)
First, sound source localization / speech separation processing will be described.
操作入力部5が処理開始の操作入力を受け付けると、制御部7は、音源定位・音声分離処理を開始する。図4に示すように、まず、制御部7は、音声入力部1に音声が入力されているか否かを判定する(ステップS1)。
When the
音声入力部1への音声の入力が有る場合(ステップS1;Yes)、制御部7は、音源定位分離部2に、音声入力部1から出力される音声信号(複数のマイクロホン各々から出力される音声信号)の位相差に基づいて、音源の位置を特定(定位)させ、音源ごとに音声情報を分離抽出させる(ステップS2)。ここで、音源定位分離部2は、特定された音源の位置が同一のエリア(図2(A)及び図2(B)参照)に位置する音声情報を、同一の音源からのものとして、音声信号から分離抽出する。
When there is an audio input to the audio input unit 1 (step S1; Yes), the
続いて、制御部7は、音源定位分離部2によって分離抽出した音声情報を、音源ごとに、音声情報9として、記憶部4に記憶させる(ステップS3)。その後、制御部7は、ステップS1に戻る。
Subsequently, the
このように、制御部7は、音声入力部1への音声の入力が停止しない限り(ステップS1;No)、音声入力部1への音声の入力の有無の判定(ステップS1)、音源定位分離部2による音源定位・分離抽出(ステップS2)、分離抽出した音声情報9の記憶(ステップS3)を繰り返す。これにより、記憶部4に音声情報9が蓄積される。
As described above, the
音声入力部1への音声の入力がなくなると(ステップS1:No)、制御部7は、音源定位・音声分離処理を終了する。
When no voice is input to the voice input unit 1 (step S1: No), the
(解析・文章作成処理)
続いて、解析・文章作成処理について説明する。操作入力部5が処理開始の操作入力を受け付けると、制御部7は、解析・文章作成処理を開始する。図5に示すように、まず、制御部7は、記憶部4に蓄積された音声情報9の中に、まだ解析していない(未解析の)音声情報9が有るか否かを判定する(ステップS11)。
(Analysis and sentence creation process)
Next, analysis / sentence creation processing will be described. When the
未解析の音声情報9が有る場合(ステップS11;Yes)、制御部7は、音声解析部3に、記憶部4からその音声情報9を読み出させる(ステップS12)。続いて、制御部7は、音声解析部3に、読み出した音声情報9を解析させ、音声情報9を文章情報13に変換させる(ステップS13)。続いて、制御部7は、音声解析部3に、文章情報13を、エリア情報8と対応づけて解析文章情報10を作成させる(ステップS14)。これにより、文章情報13は、音源が位置するエリアに対応付けられるようになる。
When there is unanalyzed audio information 9 (step S11; Yes), the
続いて、制御部7は、音声解析部3に、解析文章情報10を記憶部4に記憶させる(ステップS15)。これにより、エリアと対応付けられた文章情報13を含む解析文章情報10が、記憶部4に蓄積される。
Subsequently, the
続いて、制御部7は、解析文章情報10の少なくとも一部(各エリアと対応付けされた文章情報13を含む)を、記憶部4から読み出して、議事録として表示部6に表示させる(ステップS16)。その後、制御部7は、ステップS11に戻る。
Subsequently, the
このように、制御部7は、未解析の音声情報9が有る限り(ステップS11;Yes)、音声解析部3による音声情報9の読み出し(ステップS12)、音声解析部3による音声解析及び文章情報13への変換(ステップS13)、音声解析部3による解析文章情報10の作成(ステップS14)、解析文章情報10の記憶(ステップS15)、議事録(解析文章情報10の少なくとも一部)の表示(ステップS16)を繰り返す。
As described above, as long as there is unanalyzed voice information 9 (step S11; Yes), the
未解析の音声情報9がなくなると(ステップS11;No)、制御部7は、解析・文章作成処理を終了する。
When the
なお、図4に示す音源定位・音声分離処理と、図5に示す解析・文章作成処理とは、この順に行うようにしてもよいし、同時並列に行うようにしてもよい。 Note that the sound source localization / speech separation process shown in FIG. 4 and the analysis / sentence creation process shown in FIG. 5 may be performed in this order, or may be performed simultaneously in parallel.
次に、図6乃至図9を参照して、本実施形態にかかる情報処理装置100を用いた議事録の作成の具体例について説明する。
Next, a specific example of creating minutes using the
図6には、会議室20で行われている会議の様子が示されている。この会議には、4人の参加者が参加している。図6に示すように、4人の参加者のうち、テーブル21の周囲に参加者22A、22B、22Cが着席している。テーブル21上には、情報処理装置100としての携帯電話が置かれている。それぞれの参加者と情報処理装置100との位置関係は、22Aが左前、22Bが正面、22Cが右側となっている。参加者22Bの後ろには、ホワイトボード23が設置されている。残る1人の参加者は、情報処理装置100の所有者である。この参加者は、情報処理装置100を操作すべく手前側に座っているため、図示されていない。
FIG. 6 shows a state of the conference being held in the
情報処理装置100の所有者が、操作入力部5に議事録作成開始の操作入力を行うと、音声入力部1による音声入力が開始され、音源定位・音声分離処理(図4参照)と、解析・文章作成処理(図5参照)が実行され、議事録の作成が開始される。議事録が作成される間、表示部6には、図7又は図8に示す表示画像が表示される。これらの表示画像は、制御部7が、操作入力に従って、表示部6に表示させるものである。
When the owner of the
図7に示すように、表示部6の画面の中心には、情報処理装置100のアイコンが表示されている。また、その情報処理装置100のアイコンの周囲に、8つのエリアA乃至Hを示す画像が表示されている。8つのエリアA乃至Hは、情報処理装置100の周囲を区切ることにより規定される8つのエリアの表示画像である。
As illustrated in FIG. 7, an icon of the
各エリアには、1から9までの番号のアイコンが表示されている。これは、エリアEで、1番目、2番目、3番目、6番目の発言がなされ、エリアAで、4番目、9番目の発言がなされ、エリアCで、5番目、7番目の発言がなされ、エリアFで、8番目の発言がなされたことを示すものである。すなわち、この表示画像は、音声が発せられた音源の位置に、その音声が発せられた順番を示すアイコンを表示して、それを8つのエリアの画像に重ね合わせたものである。制御部7は、表示部6に、このような表示画像を表示させる。
In each area, icons with
ところで、実際の会議では参加者(発言者)の頭の方向や角度は常に変化しているので、同じ発言者であってもその発言された位置(すなわち音源の位置)は1つに定まらず、ある程度のばらつきが生じる。そこで、本実施形態では、例えば情報処理装置100を基準として会議室20の水平面内の全方位を任意の角度範囲で区切ることにより規定されるエリア1つ1つを参加者1人1人に対応させる。このようにすれば、発言元、すなわち音源である発言者がある程度動いたとしても、同一エリアからの音声情報を同一人物の発言内容としてまとめることができる。
By the way, since the head direction and angle of a participant (speaker) are constantly changing in an actual conference, the position of the speaker (ie, the position of the sound source) is not fixed to one even for the same speaker. Some variation occurs. Therefore, in the present embodiment, for example, each area defined by dividing all azimuths in the horizontal plane of the
例えば、図7に示すように、エリアAは、図6には図示されていない情報処理装置100の所有者に対応している。また、エリアCは、参加者22Aに対応し、エリアEは参加者22Bに対応し、エリアFは参加者22Cに対応している。
For example, as illustrated in FIG. 7, the area A corresponds to the owner of the
なお、制御部7は、発言ごとの音源の位置(音源定位)をリアルタイムで表示する場合、例えば、音声を検知したエリア、すなわち、最新の解析文章情報10に係るエリアを明滅などで表示部6に強調表示させ、ユーザに議事の進行状況を確認しやすくするようにしてもよい。図7では、最新の9番目の発言に係るエリアAが網掛け表示されている。
In addition, when displaying the position (sound source localization) of the sound source for each utterance in real time, the
また、角度範囲は、すべてのエリアで同じでなくともよい。例えば、発言中に立ち上がるような、大きな動作を伴う発言者が位置するエリアに対しては、そのエリアの角度範囲を広めに設定するのが望ましい。このようにすれば、発言を別の発言者による発言と混同し難くなるからである。 Further, the angle range may not be the same in all areas. For example, for an area where a speaker with a large motion that stands up while speaking is located, it is desirable to set the angle range of the area wider. This is because it is difficult to confuse a statement with a statement by another speaker.
そこで、本実施形態では、各エリアの角度範囲を個別に変更可能とする。例えば、タッチパネル等の操作入力部5による操作入力に従って、制御部7は、表示部6に、図2(A)に示すような画像を表示させる。そして、操作入力部5の操作により(すなわちユーザがタッチパネルをさわって)エリアの境界を示す棒線をずらすことで表示部6に表示された各エリアの角度範囲を調整することができる。制御部7は、調整されたエリアの角度範囲に基づいて、エリア情報8を更新する。
Therefore, in the present embodiment, the angle range of each area can be individually changed. For example, in accordance with an operation input by the
なお、図2(B)に示す画像を表示し、操作入力部5を用いた数値入力によりテーブルの範囲11の数値を変更するようにしてもよい。また、表示部6に表示されたメニュー画面(不図示)から変更したいエリアを指定し、角度を数値入力することで変更するようにしてもよい。いずれにしても、表示部6により表示されるエリアの画像には、操作入力により調整されたエリアの角度範囲が反映される。
Note that the image shown in FIG. 2B may be displayed, and the numerical value in the
また、図7では、発言位置に、表示部6に発言順を示す番号を表示しているが、発言順の番号ではなく、音声解析部3の音声解析により得られた発言に係る文章情報13を、発言位置にそのまま直接表示するようにしてもよい。
Further, in FIG. 7, a number indicating the order of speech is displayed on the
このとき、発言位置が近接または重複し、表示部6に表示される文章情報13の表示が重なり合う場合には、制御部7は、表示部6に、古い方の文章情報13を削除し、最新の文章情報13のみを表示させるようにしてもよい。また、制御部7は、表示部6に、古い文章情報13を中央の情報処理装置(携帯電話)100のアイコンを中心とする同心円外側に移動させ、元の位置に最新の文章情報13のみを表示させるようにしてもよい。このようにすれば、表示部6の画面に同時に表示させる文章の数を減らすことができるので、発言内容を確認し易くなる。
At this time, when the utterance position is close or overlapped and the display of the
いずれにしても、図7に示すように、エリアの画像を表示部6に表示するようにすれば、エリアがどのように分割されているのかを、把握するのが容易となる。また、そのエリアの画像に、音源の位置を重ね合わせて表示すれば、音源の位置を視覚的に把握するのが容易となる。
In any case, as shown in FIG. 7, if the image of the area is displayed on the
図8には、表示部6に表示された議事録の一例が示されている。図8に示すように、この議事録は、図3の解析文章情報10の文章情報13が表示されたものである。なお、この議事録では、音源定位の基準となるエリア名16が表示されているが、各エリア名16に参加者の名前が対応付けられて記憶部4に記憶されている場合には、エリア名16の代わりに参加者名を表示するようにしてもよい。
FIG. 8 shows an example of the minutes displayed on the
また、図7及び図8の表示画像は、操作入力部5への操作入力により、制御部7が、随時切り替え可能とするのが望ましい。
In addition, it is desirable that the display unit of FIGS. 7 and 8 can be switched at any time by the
また、制御部7は、音声入力部1から入力された複数のマイクロホン各々の音声信号を記憶部4に記憶しておき、会議終了後に、制御部7が、音源定位・音声分離処理と、解析・文章作成処理とを行うようにしてもよい。
In addition, the
以上詳細に説明したように、音声入力部1の複数のマイクロホンにそれぞれ入力された音声に対応する音声信号の位相差に基づいて、音源定位分離部2により特定された音源の位置に基づいて、同じ位置から発生された音声を同一人物、すなわち同一の音源からの音声として扱い、音声解析部3により音声解析を行って発言内容と発言者とが対応付けられた解析文章情報10(議事録データ)を作成する。
As described above in detail, based on the position of the sound source specified by the sound source
このようにすれば、音声データを含む発言者識別情報を予め用意することなく、発言内容を発言者に対応づけた議事録を自動的に作成することができるので、使い勝手がより向上する。 In this way, it is possible to automatically create the minutes in which the content of the speech is associated with the speaker without preparing the speaker identification information including the voice data in advance, so that the usability is further improved.
また、本実施形態によれば、声色が類似した発言者が会議に参加したり、複数の発言者が同時に発言したりするような、聞き取りにくい状態であっても、発言者をその発言が行われた位置から判別して、議事録を作成することができる。 In addition, according to the present embodiment, even if it is difficult to hear such as a speaker who has a similar voice color participates in a conference or a plurality of speakers speak at the same time, the speaker can perform the speech. The minutes can be created by discriminating from the location.
(実施形態2)
次に、本発明の実施形態2について説明する。
(Embodiment 2)
Next,
本実施形態に係る情報処理装置100は、会議中に自機の位置が変更された場合にも、議事録の作成を不都合なく続行することができる。
The
図9には、本実施形態に係る情報処理装置100の構成が示されている。図9に示すように、本実施形態に係る情報処理装置100は、位置・回転検出部40をさらに備え、記憶部4に、位置・回転情報41が記憶される点が、上記実施形態1と異なる。
FIG. 9 shows the configuration of the
位置情報検出部としての位置・回転検出部40は、自機の位置情報、すなわち位置及び回転(向き)を検出する。位置・回転検出部40は、ジャイロセンサや地磁気センサ、加速度センサ、GPS(Global Positioning System)装置、IEEE802.11a/b/g/nなどに準拠した無線LANのインターフェイス等を備えている。 The position / rotation detection unit 40 as the position information detection unit detects the position information of the own device, that is, the position and rotation (orientation). The position / rotation detection unit 40 includes a gyro sensor, a geomagnetic sensor, an acceleration sensor, a GPS (Global Positioning System) device, a wireless LAN interface conforming to IEEE802.11a / b / g / n, and the like.
位置・回転検出部40は、タイマを備えている。位置・回転検出部40は、自機の位置及び回転を取得し、取得された自機の位置及び回転の情報を、時間情報とともに位置・回転情報41として記憶する。
The position / rotation detection unit 40 includes a timer. The position / rotation detection unit 40 acquires the position and rotation of the own apparatus, and stores the acquired position and rotation information of the own apparatus as position /
図10には、自機位置及び回転の変更を補正する音源定位・音声分離処理が示されている。操作入力部5が処理開始の操作入力を受け付けると、制御部7は、この音源定位・音声分離処理を開始する。図10に示すように、まず、制御部7は、位置・回転検出部40に、情報処理装置100(自機)の位置及び回転を検出させる(ステップS5)。続いて、制御部7は、位置・回転検出部40に、検出した情報処理装置100の位置及び回転を、基準位置として記憶部4の位置・回転情報41に記憶させる(ステップS6)。
FIG. 10 shows sound source localization / speech separation processing for correcting changes in the position and rotation of the own device. When the
続いて、制御部7は、音声入力部1への音声の入力が有るか否かを判定する(ステップS1)。音声入力部1への音声の入力が有る場合(ステップS1;Yes)、制御部7は、音源定位分離部2に、音源定位及び音声の分離抽出(ステップS2)を、上記実施形態1と同様に行わせる。
Subsequently, the
続いて、制御部7は、位置・回転検出部40に、自機の位置及び回転を検出させる(ステップS7)。続いて、制御部7は、記憶部4から位置・回転情報41を読み出し、ステップS7で検出された、自機の位置及び回転と、記憶部4に格納された基準位置との差分をとり、音源定位分離部2に、その差分を補正値として用いて音源定位15(音源の位置、図3参照)を補正させる(ステップS8)。
Subsequently, the
続いて、制御部7は、音源定位分離部2に、補正された音源ごとに、分離抽出された音声情報9を、記憶部4に記憶させる(ステップS3)。その後、制御部7は、ステップS1に戻る。
Subsequently, the
このように、制御部7は、音声入力部1への音声の入力が停止しない限り(ステップS1;No)、音声入力部1への音声の入力の有無の判定(ステップS1;No)、音源定位及び分離抽出(ステップS2)、自機の位置・回転の検出(ステップS7)、音源定位の補正(ステップS8)、記憶部4への音声情報9の記憶(ステップS3)を繰り返す。これにより、記憶部4には、音声情報9が蓄積される。
As described above, the
例えば、図11には、録音中に情報処理装置100が回転した様子が示されている。図11に示すように、情報処理装置100が破線で示す位置で録音を開始してから録音中に矢印方向に回転したとする。この回転に伴って音源と情報処理装置100との位置関係が変化する。本実施形態では、この変化が、位置・回転検出部40により検出され、音源定位が補正される。
For example, FIG. 11 shows a state where the
図12には、情報処理装置100の回転に伴って変化した表示部6の画面の一例が示されている。位置・回転検出部40により検出された情報処理装置100の回転(図11参照)に伴って、図12に示すように、情報処理装置100のアイコン50が回転する。この表示を見れば、情報処理装置100の位置及び回転変化に伴う音源定位の補正が実施されていることを確認することができる。
FIG. 12 shows an example of the screen of the
以上詳細に説明したように、本実施形態によれば、録音中に情報処理装置100の位置及び回転が変更された場合であっても、音源の位置の検出精度の低下を防止することができる。
As described above in detail, according to the present embodiment, even if the position and rotation of the
(実施形態3)
次に、本発明の実施形態3について説明する。
(Embodiment 3)
Next, a third embodiment of the present invention will be described.
本実施形態に係る情報処理装置100は、スケジュール情報と連携して議事録を作成する。図13には、本実施形態に係る情報処理装置100の構成が示されている。図13に示すように、本実施形態に係る情報処理装置100は、時計部60と、通信部61とをさらに備え、記憶部4に、スケジュール情報62が記憶されている点が、上記実施形態1と異なる。
The
時計部60は、計時を行い、日時情報を作成する。また、時計部60は、計時開始から一定時間が経過したこと(タイムアウト)を制御部7に通知する。なお、時計部60では、日時情報を取得し補正する場合には、電波時計のように無線電波から時間情報を取得し補正する方法や、GPSを用いて位置情報を取得する際に衛星から時間情報を取得し補正する方法を採用することができる。
The
通信部61は、外部と通信を行う。通信部61の通信方式としては、例えばPHS(Personal Handy-phone System)、PDC(Personal Digital Cellular)、GSM(Global System for Mobile Communications)、CDMA(Code Division Multiple Access)、W−CDMA(登録商標、Wideband Code Division Multiple Access)、CDMA−2000(登録商標)、DSRC(Dedicated Short Range Communication)、WiMax(登録商標、Worldwide Interoperability for Microwave Access)、WiFi(登録商標、802.11a/b/g/n)やBluetooth(登録商標)等の通信方式の少なくとも1つを採用することができる。
The
スケジュール情報62は、記憶部4に保持されている。スケジュール情報62は、例えば会議が行われる日時、場所、会議に参加する参加者などのスケジュールに関する情報を含む。図14には、記憶部4に保持されたスケジュール情報62の一例が示されている。図14に示すように、スケジュール情報62には、スケジュールの番号(No.)81、実施日及び開始・終了時刻などを示す日時情報(日時)82、住所や部屋名を示す場所情報(場所)83、参加者名等の参加者の識別情報を示す参加者情報(参加者)84が登録されている。
The
なお、情報処理装置100が携帯電話やパーソナルコンピュータなどのように電話番号を記載した電話帳情報や、Eメールアドレスを記載したアドレス帳情報などを保持する場合には、電話帳情報及びアドレス帳情報を参加者情報84として用いてもよい。また、参加者情報84として、実際に参加者の情報が記憶されている場所の参照が可能なリンク情報を登録するようにしてもよい。
In the case where the
本実施形態では、制御部7は、スケジュール情報62に基づいて、時計部60で作成された日時情報に対応するスケジュール情報62から参加者情報84を抽出して、表示部6に表示させる。また、制御部7は、操作入力部5への操作入力に従って、表示された参加者と音源との対応付けを行う。さらに、制御部7は、表示された参加者と音源との対応付けに基づいて、記憶部4に蓄積された解析文章情報10と、音源と対応付けられた参加者との対応付けを行う。より具体的には、解析文章情報10に、音源に対応する参加者の識別情報が付加される。そして、制御部7は、表示部6に、参加者と対応付けされた文書情報13を表示させる。
In the present embodiment, the
外部記憶媒体70は、各種データを記憶する。外部記憶媒体70は、通信部61とデータ送受信が可能である。外部記憶媒体70としては、通信ネットワークに接続されたサーバ、ネットワークに接続されたハードディスク、通信機能を有する携帯型のハードディスクやシリコンメモリを採用することができる。
The
外部記憶媒体70は、スケジュール情報71を記憶する。スケジュール情報71は、関係者によって共有される情報であり、関係者によって参照され得る。また、スケジュール情報71には、会議室20の予約情報や、会議室20の見取り図などの情報が付加されていてもよい。
The
図15には、スケジュール情報62から会議へ参加する参加者情報を抽出し、分離・解析した音源を参加者に対応させる場合の解析・文章作成処理が示されている。図15に示すように、この解析・文章作成処理では、ステップS11乃至S16の処理は、図5に示す上記実施形態1に係る解析・文章作成処理のそれらと同じである。
FIG. 15 shows analysis / sentence creation processing in the case where the participant information participating in the conference is extracted from the
未解析の音声情報がない場合(ステップS11;No)、制御部7は、時計部60から日時情報を読み出す(ステップS17)。続いて、制御部7は、スケジュール情報62を読み出し、該日時情報に対応する日時に該当する会議があり、その会議に参加者情報84が登録されているか否かを判定する(ステップS18)。参加者情報84が登録されていない場合(ステップS18;No)、制御部7は、解析・文章作成処理を終了する。
When there is no unanalyzed audio information (step S11; No), the
参加者情報84が有る場合(ステップS18;Yes)、制御部7は、該当する参加者情報84を、各エリアの音源の候補として表示部6に表示させる(ステップS19)。この表示と同時に、制御部7は、時計部60に計時を開始させる(ステップS20)。時計部60は、10秒程度でタイムアウトし、この時点から10秒経過すると、タイムアウトを制御部7に通知する。
When the
続いて、制御部7は、タイムアウトしたか否かを判定する(ステップS21)。ここでは、計時が開始されたばかりなので判定が否定される(ステップS21;No)。続いて、制御部7は、操作入力部5への操作入力により、表示部6のエリアの画像上に表示された参加者の候補から、参加者が指定されたか否かを判定する(ステップS22)。参加者が指定されていない場合(ステップS22;No)、制御部7は、ステップS21に戻る。
Subsequently, the
操作入力部5への操作入力により、参加者が指定されると(ステップS22;Yes)、制御部7は、指定された参加者の名前をエリアの画像に重ね合わせて表示させ、各エリアに対応する参加者の名前を、記憶部4の解析文章情報10に記憶する(ステップS23)。
When a participant is designated by an operation input to the operation input unit 5 (step S22; Yes), the
続いて、制御部7は、未選択の参加者の候補が有るか否かを判定する(ステップS24)。未選択の参加者の候補が有る場合(ステップS24;Yes)、制御部7は、時計部60のタイマをリセットし(ステップS25)、ステップS21に戻る。
Subsequently, the
このようにして、タイムアウトするか(ステップS21;Yes)、未選択の参加者の候補がなくなるまで(ステップS24;No)、上記ステップS21からステップS24が繰り返される。 In this way, the process from step S21 to step S24 is repeated until a time-out occurs (step S21; Yes) or until there is no unselected participant candidate (step S24; No).
また、ユーザからの入力が無く、タイムアウトした場合(ステップS21;Yes)、制御部7は、未選択の参加者の候補を表示部6の表示から消去する(ステップS26)。その後、制御部7は、解析・文章作成処理を終了する。
If there is no input from the user and a time-out occurs (step S21; Yes), the
図16には、このときの表示画像の一例が示されている。この表示画像は、図7に示す表示画像に、スケジュール情報62から読み出した参加者名をオーバーレイ表示したものである。図16に示すように、この表示画像には、選択操作中の参加者の候補全体のリスト91(○○部長、□□部長、△△課長)が表示される。さらに、この表示画像には、選択待ちの参加者の候補92、93(○○部長、□□部長)と、選択済みの参加者94(××課長)とが表示されている。このように、そのエリアの画像に、参加者の名前を重ね合わせて表示すれば、参加者の位置を視覚的に把握するのが容易となる。
FIG. 16 shows an example of the display image at this time. This display image is an overlay display of the participant names read from the
なお、制御部7は、タイムアウトでなく、ユーザの操作入力により、ステップS26に進むようにしてもよい。いずれにしても、これにより、参加者と音源との対応づけのために、システムがフリーズするのを防止することができる。
Note that the
なお、本実施形態では、制御部7は、上記ステップS17からステップS26までの、スケジュール情報62に基づいて発言者(音源)と参加者を対応付ける処理を、解析・文章作成処理の中で行ったが、これには限られない。この処理を、操作入力部5からの操作を契機にして単独で行うようにしてもよい。このようにすれば、会議中だけでなく会議終了後においても、記憶部4に保持された解析文章情報10に対して、スケジュール情報62の参加者と発言者を対応付ける処理が可能となる。
In the present embodiment, the
また、タイムアウト時間は、10秒には限られず、システムやユーザに適した長さに変更することができる。 Further, the timeout time is not limited to 10 seconds, and can be changed to a length suitable for the system and the user.
また、記憶部4に記憶されたスケジュール情報62だけでなく、通信部61を介して外部記憶媒体70に記憶されたスケジュール情報71を取得して、発言者(音源)と参加者を対応付ける処理を行ってもよい。このように、本発明は、スケジュール情報が管理される場所には、限られない。
Further, not only the
さらに、制御部7は、スケジュール情報62とスケジュール情報71とが、常に同一となるように、外部記憶媒体70から取得したスケジュール情報71が更新された場合に、更新されたスケジュール情報71を用いて記憶部4に記憶されたスケジュール情報62を更新し、記憶部4に記憶されたスケジュール情報62が更新された場合に、更新されたスケジュール情報62を用いて外部記憶媒体70のスケジュール情報71を更新するようにしてもよい。このようにすれば、情報処理装置100において更新されたスケジュール情報62により、外部記憶媒体70のスケジュール情報71を更新して、関係者に通知することができる。また、ネットワーク経由で他の関係者により更新されたスケジュール情報71を、情報処理装置100のスケジュール情報62にて取得し、最新のスケジュールに従って、参加者を登録することができるようになる。
Furthermore, the
なお、情報処理装置100は、記憶部4に記憶された音声情報に基づく音声を再生するスピーカ等を含む音声再生部を備えるようにしてもよい。
Note that the
さらに、スケジュール情報62又はスケジュール情報71に、会議室20の見取り図(テーブルや椅子の配置図)のデータが含まれている場合、制御部7は、表示部6に、会議室20の見取り図に参加者の位置を重ね合わせて表示させ、議事録の作成に用いるようにしてもよい。
Furthermore, when the
例えば、情報処理装置100で録音された音声を音声再生部で再生する間、制御部7は、表示部6に、会議室20の見取り図を用いて図17に示すような表示画像を表示させるようにしてもよい。
For example, while the sound recorded by the
図17に示すように、この表示画像には、室内図表示部101と、文章表示部102とが設けられている。室内図表示部101には、会議室20の見取り図が表示されている。会議室20の見取り図上には、参加者アイコン103が表示されている。再生中の音声に係る参加者アイコン103は、分かり易くするために、強調表示されている(図17では”本人”)。このようにすれば、録音された音声を聞く者の臨場感を増すことができるので、議事の内容をより理解しやすくなる。
As shown in FIG. 17, the indoor
文章表示部102には、文章情報13が、表示されている。文章情報13には、文章アイコン104が発言順に表示されている。再生中の音声に係る文章アイコン104は、分かりやすくするために、強調表示されている(図17では、一番下の文章アイコン104)。このようにすれば、録音された音声を聞く者が、その音声に係る文章を視覚で把握することができるので、議事の内容をより理解しやすくなる。
なお、会議室20の見取り図における参加者アイコン103の位置は、室内図表示部101の表示時に、操作入力部5への操作入力により、実際の参加者の位置と合わせておくのが望ましい。このようにすれば、他の参加者の画像中の位置と音源の位置とを正確に対応させることができる。
It should be noted that the position of the
もっとも、会議室20の見取り図は、議事録作成中に表示するようにしてもよい。例えば、図7に示すようなエリアの画像と重ね合わせて表示するようにしてもよい。
However, the floor plan of the
以上詳細に説明したように、本実施形態によれば、参加者に対応した議事録を作成することができるので、議事録作成の際の使い勝手をより向上させることができる。 As described above in detail, according to the present embodiment, since the minutes corresponding to the participants can be created, the usability when creating the minutes can be further improved.
なお、上記各実施形態では、情報処理装置100の周囲のエリアを任意の角度で区切ったが、本発明はこれには限られず、エリアは、矩形状に区切られていてもよい。要は、本発明で適用されるエリアは、同一の音源からの音声であるとみなせるエリアであればよい。
In each of the above embodiments, the area around the
また、上記各実施形態では、情報処理装置100が、携帯電話等である場合について説明したが、マイクロホンを備えた携帯型音楽再生装置、ICレコーダ、PDA(Personal Digital Assistant)、PND(Personal Navigation Device)、PHS(Personal Handy-phone System)、PC(Personal Computer)及びデジタルカメラなど他の情報処理装置であってもよい。なお、情報処理装置100を、携帯端末とすれば、持ち運びが容易になる。
In each of the above-described embodiments, the case where the
なお、上記実施の形態において、実行されるプログラムは、フレキシブルディスク、CD−ROM(Compact Disk Read-Only Memory)、DVD(Digital Versatile Disk)、MO(Magneto-Optical Disk)等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをインストールすることにより、上述の処理を実行するシステムを構成することとしてもよい。 In the above embodiment, the program to be executed is a computer-readable recording such as a flexible disk, a CD-ROM (Compact Disk Read-Only Memory), a DVD (Digital Versatile Disk), and an MO (Magneto-Optical Disk). A system that executes the above-described processing may be configured by storing and distributing the program on a medium and installing the program.
また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、ダウンロード等するようにしてもよい。 Further, the program may be stored in a disk device or the like of a predetermined server device on a communication network such as the Internet, and may be downloaded, for example, superimposed on a carrier wave.
また、上述の機能を、OS(Operating System)が分担して実現する場合又はOSとアプリケーションとの協働により実現する場合等には、OS以外の部分のみを媒体に格納して配布してもよく、また、ダウンロード等してもよい。 In addition, when the above functions are realized by sharing an OS (Operating System), or when the functions are realized by cooperation between the OS and an application, only the part other than the OS may be stored in a medium and distributed. You may also download it.
なお、本発明は、上記実施の形態及び図面によって限定されるものではない。本発明の要旨を変更しない範囲で実施の形態及び図面に変更を加えることができる。 In addition, this invention is not limited by the said embodiment and drawing. Modifications can be made to the embodiments and the drawings without changing the gist of the present invention.
本発明は、議事録の作成に好適である。 The present invention is suitable for creating minutes.
1…音声入力部、2…音源定位分離部、3…音声解析部、4…記憶部、5…操作入力部、6…表示部、7…制御部、8…エリア情報、9…音声情報、10…解析文章情報、11…範囲、12…エリア名、13…文章情報、14…番号、15…音源定位、16…エリア名、20…会議室、21…テーブル、22A、22B、22C…参加者、23…ホワイトボード、40…位置・回転検出部、41…位置・回転情報、50…アイコン、60…時計部、61…通信部、62…スケジュール情報、70…外部記憶媒体、71…スケジュール情報、81…番号、82…日時情報、83…場所情報、84…参加者情報、100…情報処理装置、101…室内図表示部、102…文章表示部、103…参加者アイコン、104…文章アイコン
DESCRIPTION OF
Claims (15)
前記複数のマイクロホンにそれぞれ入力された音声に対応する音声信号の位相差に基づいてその音声信号に対応する音声が発せられた音源の位置を特定し、特定された前記音源の位置に基づいて、前記音声信号から音声情報を前記音源ごとに分離抽出する音源定位分離部と、
前記音源定位分離部によって分離抽出された音声情報を解析して、前記音声情報を文章情報に変換し、変換された前記文章情報を前記音源に対応付ける音声解析部と、
前記音声解析部によって変換され、前記音源と対応付けされた前記文章情報を蓄積する文章情報記憶部と、
前記文章情報記憶部に蓄積された前記文章情報を表示する表示部と、
前記音声入力部、前記音源定位分離部、前記音声解析部、前記文章情報記憶部及び前記表示部を制御する制御部と、
自機の周囲を区切ることにより規定される複数の領域各々の範囲に関するエリア情報を記憶するエリア情報記憶部と、
計時を行い、日時情報を作成する時計部と、
を備え、
前記制御部は、
前記音源定位分離部に、
特定された前記音源の位置が同一の前記領域に位置する前記音声情報を、同一の前記音源からのものとして、前記音声信号から分離抽出させ、
前記音声解析部に、
前記音声情報から変換された文章情報を、前記音源が位置する前記領域に対応付けさせ、
前記文章情報記憶部に、
前記領域と対応付けされた前記文章情報を蓄積させ、
前記複数の領域の画像を前記表示部に表示させ、
日時情報及び参加者情報を含むイベントのスケジュールに関する情報としてのスケジュール情報から、前記時計部で作成された前記日時情報に対応する前記参加者情報を抽出して前記表示部に表示させ、
操作入力に従って、表示された前記参加者情報に係る参加者と前記音源との対応付けを行い、
前記文章情報記憶部に蓄積された前記文章情報と前記参加者との対応付けを行い、
前記表示部に、前記参加者と対応付けされた前記文章情報を表示させる、
情報処理装置。 An audio input unit that inputs ambient audio using a plurality of microphones whose number and arrangement are determined so that a phase difference occurs in an audio signal corresponding to the input audio;
Based on the phase difference of the audio signal corresponding to the audio input to each of the plurality of microphones, the position of the sound source from which the audio corresponding to the audio signal is emitted, and based on the specified position of the sound source, A sound source localization separation unit that separates and extracts sound information from the sound signal for each sound source;
Analyzing the voice information separated and extracted by the sound source localization separation unit, converting the voice information into sentence information, and a voice analysis unit associating the converted sentence information with the sound source;
A sentence information storage unit that stores the sentence information converted by the voice analysis unit and associated with the sound source;
A display unit for displaying the text information stored in the text information storage unit;
A control unit for controlling the voice input unit, the sound source localization separation unit, the voice analysis unit, the text information storage unit, and the display unit;
An area information storage unit that stores area information related to ranges of a plurality of areas defined by dividing the periphery of the own machine;
A clock unit that measures time and creates date and time information;
With
The controller is
In the sound source localization separation unit,
The audio information located in the region where the position of the identified sound source is the same is extracted from the audio signal as being from the same sound source,
In the voice analysis unit,
The text information converted from the voice information is associated with the area where the sound source is located,
In the sentence information storage unit,
Accumulating the text information associated with the area ,
Displaying the images of the plurality of regions on the display unit;
From the schedule information as information about the schedule of the event including the date and time information and the participant information, the participant information corresponding to the date and time information created by the clock unit is extracted and displayed on the display unit,
According to the operation input, the participant according to the displayed participant information is associated with the sound source,
The text information stored in the text information storage unit is associated with the participant,
Causing the display unit to display the sentence information associated with the participant;
Information processing device.
音声が発せられた前記音源の位置に、その音声が発せられた順番又は前記音声に対応する前記文章情報を、前記複数の領域の画像に重ね合わせて前記表示部に表示させる、
ことを特徴とする請求項1に記載の情報処理装置。 The controller is
In the position of the sound source where the sound is emitted, the order in which the sound is emitted or the text information corresponding to the sound is displayed on the display unit in an overlapping manner with the images of the plurality of regions.
The information processing apparatus according to claim 1 .
前記表示部に表示される前記文章情報が重なり合う場合、古い方の前記文章情報の表示を削除又は移動させる、
ことを特徴とする請求項2に記載の情報処理装置。 The controller is
When the sentence information displayed on the display unit overlaps, delete or move the display of the older sentence information,
The information processing apparatus according to claim 2 .
最新の前記文章情報に係る前記領域を前記表示部に強調表示させる、
ことを特徴とする請求項1乃至3のいずれか一項に記載の情報処理装置。 The controller is
Highlighting the region related to the latest sentence information on the display unit;
The information processing apparatus according to any one of claims 1 to 3 .
操作入力に従って、前記各領域の範囲を調整し、
前記エリア情報記憶部に格納される前記エリア情報を更新し、
前記表示部に、調整後の前記各領域の範囲を表示させる、
ことを特徴とする請求項1乃至4のいずれか一項に記載の情報処理装置。 The controller is
Adjust the range of each area according to the operation input,
Update the area information stored in the area information storage unit,
Display the range of each area after adjustment on the display unit,
The information processing apparatus according to any one of claims 1 to 4, characterized in that.
自機を基準として、水平面内の全方位を任意の角度で区切ることにより規定されている、
ことを特徴とする請求項1乃至5のいずれか一項に記載の情報処理装置。 Each of the plurality of regions is
It is defined by dividing all directions in the horizontal plane at an arbitrary angle, based on the own aircraft.
The information processing apparatus according to any one of claims 1 to 5, characterized in that.
前記制御部は、
前記音声定位分離部に、
前記位置情報検出部によって検出された前記位置情報に基づいて、特定された前記音源の位置を補正させ、補正された前記音源の位置に基づいて前記音声信号から音声情報を前記音源ごとに分離抽出させる
ことを特徴とする請求項1に記載の情報処理装置。 It further includes a position information detection unit that detects the position information of the own machine,
The controller is
In the sound localization separation unit,
Based on the position information detected by the position information detection unit, the position of the identified sound source is corrected, and the sound information is separated and extracted for each sound source based on the corrected position of the sound source. The information processing apparatus according to claim 1, wherein:
前記制御部は、
前記スケジュール記憶部に記憶された前記スケジュール情報から前記表示部に表示させる前記参加者情報を抽出する、
ことを特徴とする請求項1に記載の情報処理装置。 A schedule storage unit for storing the schedule information;
The controller is
Extracting the participant information to be displayed on the display unit from the schedule information stored in the schedule storage unit;
The information processing apparatus according to claim 1 .
前記制御部は、
前記通信部を介して、外部記憶媒体から取得した前記スケジュール情報から前記表示部に表示させる前記参加者情報を抽出する、
ことを特徴とする請求項1に記載の情報処理装置。 It further includes a communication unit capable of data communication with an external device,
The controller is
Extracting the participant information to be displayed on the display unit from the schedule information acquired from an external storage medium via the communication unit;
The information processing apparatus according to claim 1 .
操作入力に従って、前記参加者と前記音源との対応付けが行われず、前記時計部によってタイムアウト時間が計時されると、前記文章情報と前記参加者との対応付けを終了する、
ことを特徴とする請求項1乃至9のいずれか一項に記載の情報処理装置。 The controller is
According to the operation input, the association between the participant and the sound source is not performed, and when the time-out time is counted by the clock unit, the association between the sentence information and the participant is terminated.
The information processing apparatus according to any one of claims 1 to 9, characterized in that.
前記複数の領域の画像を前記表示部に表示させ、
音声が発せられた前記音源の位置に、前記音源に対応付けされた前記参加者の識別情報を、前記複数の領域の画像に重ね合わせて前記表示部に表示させる、
ことを特徴とする請求項1乃至10のいずれか一項に記載の情報処理装置。 The controller is
Displaying the images of the plurality of regions on the display unit;
The identification information of the participant associated with the sound source is superimposed on the image of the plurality of regions and displayed on the display unit at the position of the sound source where the sound is emitted.
The information processing apparatus according to any one of claims 1 to 1 0, characterized in that.
外部機器とデータ通信可能な通信部と、
をさらに備え、
前記制御部は、
前記通信部を介して、外部記憶媒体から取得した前記スケジュール情報と、前記スケジュール記憶部に記憶された前記スケジュール情報とが同一となるように、
前記外部記憶媒体から取得した前記スケジュール情報が更新された場合に、更新された前記スケジュール情報を用いて前記スケジュール記憶部に記憶された前記スケジュール情報を更新し、
前記スケジュール記憶部に記憶された前記スケジュール情報が更新された場合に、更新された前記スケジュール情報を用いて前記外部記憶媒体の前記スケジュール情報を更新する、
ことを特徴とする請求項1に記載の情報処理装置。 A schedule storage unit for storing the schedule information;
A communication unit capable of data communication with an external device;
Further comprising
The controller is
The schedule information acquired from the external storage medium via the communication unit and the schedule information stored in the schedule storage unit are the same.
When the schedule information acquired from the external storage medium is updated, the schedule information stored in the schedule storage unit is updated using the updated schedule information,
When the schedule information stored in the schedule storage unit is updated, the schedule information of the external storage medium is updated using the updated schedule information.
The information processing apparatus according to claim 1 .
前記音声情報記憶部に記憶された前記音声情報に基づく音声を再生する音声再生部と、
をさらに備え、
前記制御部は、
前記音声再生部による再生が行われる間、前記表示部に、前記文章情報記憶部に蓄積された前記文章情報を表示させるとともに、再生中の前記音声情報に係る前記文章情報を強調表示させる、
ことを特徴とする請求項1乃至12のいずれか一項に記載の情報処理装置。 An audio information storage unit for storing the audio information separated and extracted by the sound source localization separation unit;
An audio reproduction unit for reproducing audio based on the audio information stored in the audio information storage unit;
Further comprising
The controller is
While the reproduction by the voice reproduction unit is performed, the display unit displays the sentence information stored in the sentence information storage unit and highlights the sentence information related to the voice information being reproduced.
The information processing apparatus according to any one of claims 1 to 1 2, characterized in that.
前記表示部に、前記文章情報とともに、議事が行われた場所の見取り図を表示させ、表示された前記見取り図上の前記音源の位置に、前記音源に対応付けされた前記参加者の識別情報を表示させるとともに、
再生中の前記音声情報に係る参加者の識別情報を強調表示させる、
ことを特徴とする請求項13に記載の情報処理装置。 The controller is
The display unit displays a sketch of the place where the agenda was held together with the text information, and displays the identification information of the participant associated with the sound source at the position of the sound source on the displayed sketch As well as
Highlighting the identification information of the participant related to the audio information being played,
The information processing apparatus according to claim 1 3, characterized in that.
入力された音声に対応する音声信号に位相差が生じるように、その数及び配置が決定された複数のマイクロホン各々に入力された音声に対応する音声信号の位相差に基づいてその音声信号に対応する音声が発せられた音源の位置を特定し、特定された前記音源の位置に基づいて前記音声信号から音声情報を前記音源ごとに分離抽出する音源定位分離手段、
前記音源定位分離手段によって分離抽出された音声情報を解析して、前記音声情報を文章情報に変換し、変換された前記文章情報を前記音源に対応付ける音声解析手段、
前記音声解析手段によって変換され、前記音源と対応付けされた前記文章情報を蓄積する文章情報記憶手段、
前記文章情報記憶手段に蓄積された前記文章情報を表示する表示手段、
前記音源定位分離手段、前記音声解析手段、前記文章情報記憶手段及び前記表示手段を制御する制御手段、
自機の周囲を区切ることにより規定される複数の領域各々の範囲に関するエリア情報を記憶するエリア情報記憶手段、
計時を行い、日時情報を作成する時計手段、
として機能させ、
前記制御手段を、
前記音源定位分離手段に、
特定された前記音源の位置が同一の前記領域に位置する前記音声情報を、同一の前記音源からのものとして、前記音声信号から分離抽出させ、
前記音声解析手段に、
前記音声情報から変換された文章情報を、前記音源が位置する前記領域に対応付けさせ、
前記文章情報記憶手段に、
前記領域と対応付けされた前記文章情報を蓄積させ、
前記複数の領域の画像を前記表示部に表示させ、
日時情報及び参加者情報を含むイベントのスケジュールに関する情報としてのスケジュール情報から、前記時計部で作成された前記日時情報に対応する前記参加者情報を抽出して前記表示部に表示させ、
操作入力に従って、表示された前記参加者情報に係る参加者と前記音源との対応付けを行い、
前記文章情報記憶部に蓄積された前記文章情報と前記参加者との対応付けを行い、
前記表示部に、前記参加者と対応付けされた前記文章情報を表示させる、
手段として機能させるプログラム。
Computer
Corresponding to the audio signal based on the phase difference of the audio signal corresponding to the audio input to each of the plurality of microphones whose number and arrangement are determined so that a phase difference occurs in the audio signal corresponding to the input audio Sound source localization separating means for identifying a position of a sound source from which sound is generated and separating and extracting sound information for each sound source from the sound signal based on the position of the identified sound source;
Analyzing voice information separated and extracted by the sound source localization separating means, converting the voice information into sentence information, and voice analysis means for associating the converted sentence information with the sound source;
Text information storage means for storing the text information converted by the voice analysis means and associated with the sound source;
Display means for displaying the sentence information stored in the sentence information storage means;
Control means for controlling the sound source localization separation means, the voice analysis means, the text information storage means, and the display means;
Area information storage means for storing area information relating to the range of each of a plurality of areas defined by dividing the periphery of the own machine;
A clock means for measuring time and creating date and time information,
Function as
The control means;
In the sound source localization separating means,
The audio information located in the region where the position of the identified sound source is the same is extracted from the audio signal as being from the same sound source,
In the voice analysis means,
The text information converted from the voice information is associated with the area where the sound source is located,
In the sentence information storage means,
Accumulating the text information associated with the area ,
Displaying the images of the plurality of regions on the display unit;
From the schedule information as information about the schedule of the event including the date and time information and the participant information, the participant information corresponding to the date and time information created by the clock unit is extracted and displayed on the display unit,
According to the operation input, the participant according to the displayed participant information is associated with the sound source,
The text information stored in the text information storage unit is associated with the participant,
Causing the display unit to display the sentence information associated with the participant;
A program that functions as a means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010028968A JP5534413B2 (en) | 2010-02-12 | 2010-02-12 | Information processing apparatus and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010028968A JP5534413B2 (en) | 2010-02-12 | 2010-02-12 | Information processing apparatus and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011165056A JP2011165056A (en) | 2011-08-25 |
JP5534413B2 true JP5534413B2 (en) | 2014-07-02 |
Family
ID=44595642
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010028968A Expired - Fee Related JP5534413B2 (en) | 2010-02-12 | 2010-02-12 | Information processing apparatus and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5534413B2 (en) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9285452B2 (en) * | 2011-11-17 | 2016-03-15 | Nokia Technologies Oy | Spatial visual effect creation and display such as for a screensaver |
CN108810744A (en) | 2012-04-05 | 2018-11-13 | 诺基亚技术有限公司 | Space audio flexible captures equipment |
US9412375B2 (en) * | 2012-11-14 | 2016-08-09 | Qualcomm Incorporated | Methods and apparatuses for representing a sound field in a physical space |
KR102089638B1 (en) | 2013-08-26 | 2020-03-16 | 삼성전자주식회사 | Method and apparatus for vocie recording in electronic device |
JP6156012B2 (en) | 2013-09-20 | 2017-07-05 | 富士通株式会社 | Voice processing apparatus and computer program for voice processing |
CN103561370A (en) * | 2013-11-06 | 2014-02-05 | 彭庆国 | Intelligent multifunctional earphone |
CN106297794A (en) * | 2015-05-22 | 2017-01-04 | 西安中兴新软件有限责任公司 | The conversion method of a kind of language and characters and equipment |
JP6464465B2 (en) * | 2017-03-06 | 2019-02-06 | 本田技研工業株式会社 | Conversation support device, method for controlling conversation support device, and program for conversation support device |
JP6472824B2 (en) * | 2017-03-21 | 2019-02-20 | 株式会社東芝 | Signal processing apparatus, signal processing method, and voice correspondence presentation apparatus |
JP6472823B2 (en) * | 2017-03-21 | 2019-02-20 | 株式会社東芝 | Signal processing apparatus, signal processing method, and attribute assignment apparatus |
JP2019050482A (en) * | 2017-09-08 | 2019-03-28 | オリンパス株式会社 | Information acquisition device, display method, and program |
JP7290524B2 (en) * | 2019-09-18 | 2023-06-13 | シャープ株式会社 | Information processing system, information processing method, and information processing program |
GB2600831B (en) * | 2020-11-05 | 2023-02-22 | Audio Technica Us | Microphone with advanced functionalities |
KR102575293B1 (en) * | 2021-05-27 | 2023-09-06 | 주식회사 아모센스 | Voice processing device, voice processing system and voice processing method for processing voice |
WO2023157963A1 (en) * | 2022-02-21 | 2023-08-24 | ピクシーダストテクノロジーズ株式会社 | Information processing apparatus, information processing method, and program |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0983985A (en) * | 1995-09-19 | 1997-03-28 | Matsushita Electric Ind Co Ltd | Picture display method |
JP2002344915A (en) * | 2001-05-14 | 2002-11-29 | Nippon Telegr & Teleph Corp <Ntt> | Communication grasping device, and its method |
JP2003339037A (en) * | 2002-05-17 | 2003-11-28 | Pioneer Electronic Corp | Network conference system, network conference method, and network conference program |
JP2005333211A (en) * | 2004-05-18 | 2005-12-02 | Sony Corp | Sound recording method, sound recording and reproducing method, sound recording apparatus, and sound reproducing apparatus |
JP2007265171A (en) * | 2006-03-29 | 2007-10-11 | Toshiba Corp | Input device and its method |
JP2007329702A (en) * | 2006-06-08 | 2007-12-20 | Toyota Motor Corp | Sound-receiving device and voice-recognition device, and movable object mounted with them |
JP2008032825A (en) * | 2006-07-26 | 2008-02-14 | Fujitsu Fsas Inc | Speaker display system, speaker display method and speaker display program |
JP2008067178A (en) * | 2006-09-08 | 2008-03-21 | Yamaha Corp | Receiving terminal and audio communication system |
JP2008275987A (en) * | 2007-05-01 | 2008-11-13 | Yamaha Corp | Speech recognition device and conference system |
JP5030868B2 (en) * | 2008-06-10 | 2012-09-19 | 株式会社日立製作所 | Conference audio recording system |
-
2010
- 2010-02-12 JP JP2010028968A patent/JP5534413B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011165056A (en) | 2011-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5534413B2 (en) | Information processing apparatus and program | |
JP5928048B2 (en) | Information processing apparatus, information processing method, information processing program, and terminal apparatus | |
CN101557432B (en) | Mobile terminal and menu control method thereof | |
US9773101B2 (en) | Method for displaying contents and electronic device thereof | |
US20170300291A1 (en) | Apparatus for recording audio information and method for controlling same | |
US20140051399A1 (en) | Methods and devices for storing recognized phrases | |
KR101642340B1 (en) | Method and apparatus for providing function of a portable terminal using color sensor | |
AU2014200042B2 (en) | Method and apparatus for controlling contents in electronic device | |
EP2682931B1 (en) | Method and apparatus for recording and playing user voice in mobile terminal | |
JP6477822B2 (en) | TERMINAL DEVICE, TERMINAL DEVICE CONTROL METHOD, AND CONTROL PROGRAM | |
JP2014049140A (en) | Method and apparatus for providing intelligent service using input characters in user device | |
US9412380B2 (en) | Method for processing data and electronic device thereof | |
JP2009276081A (en) | Navigation device and information providing method | |
JP5111343B2 (en) | Playback device | |
JP4781368B2 (en) | Voice recognition apparatus, display method, and display processing program | |
JP2008040373A (en) | Voice guidance system | |
WO2018043137A1 (en) | Information processing device and information processing method | |
US20140156256A1 (en) | Interface device for processing voice of user and method thereof | |
JP2002281145A (en) | Telephone number input device | |
JP2006064671A (en) | Information-providing device and portable information terminal | |
JP2021103903A (en) | Electronic apparatus, control method, and program | |
US20150192425A1 (en) | Facility search apparatus and facility search method | |
JP2011180416A (en) | Voice synthesis device, voice synthesis method and car navigation system | |
JP2019179081A (en) | Conference support device, conference support control method, and program | |
KR20140020121A (en) | Method for providing a schedule funtion and an electronic device thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130109 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130528 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130712 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20131203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140225 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20140304 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140325 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140417 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5534413 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |