JP7302270B2 - 表示端末、共用システム、表示制御方法およびプログラム - Google Patents
表示端末、共用システム、表示制御方法およびプログラム Download PDFInfo
- Publication number
- JP7302270B2 JP7302270B2 JP2019089489A JP2019089489A JP7302270B2 JP 7302270 B2 JP7302270 B2 JP 7302270B2 JP 2019089489 A JP2019089489 A JP 2019089489A JP 2019089489 A JP2019089489 A JP 2019089489A JP 7302270 B2 JP7302270 B2 JP 7302270B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- text data
- data
- event
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 33
- 238000007726 management method Methods 0.000 description 240
- 238000012545 processing Methods 0.000 description 204
- 238000010586 diagram Methods 0.000 description 88
- 230000005540 biological transmission Effects 0.000 description 74
- 238000006243 chemical reaction Methods 0.000 description 57
- 238000004891 communication Methods 0.000 description 53
- 230000008520 organization Effects 0.000 description 37
- 230000008569 process Effects 0.000 description 23
- 230000006870 function Effects 0.000 description 22
- 230000009471 action Effects 0.000 description 17
- 239000000463 material Substances 0.000 description 14
- 230000005236 sound signal Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
- H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
- H04L12/1831—Tracking arrangements for later retrieval, e.g. recording contents, participants activities or behavior, network status
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Artificial Intelligence (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
Description
まず、共用システム1の構成の概略について説明する。図1は、本実施形態に係る共用システムの概略図である。
続いて、図2乃至図5を用いて、共用システム1を構築する装置または端末のハードウェア構成を説明する。
図2は、電子黒板のハードウェア構成図である。図2に示されているように、電子黒板2は、CPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203、SSD(Solid State Drive)204、ネットワークI/F205および外部機器接続I/F(Interface)206を備えている。
図3は、ビデオ会議端末のハードウェア構成図を示した図である。図3に示されているように、ビデオ会議端末3は、CPU301、ROM302、RAM303、フラッシュメモリ304、SSD305、メディアI/F307、操作ボタン308、電源スイッチ309、バスライン310、ネットワークI/F311、CMOS(Complementary Metal Oxide Semiconductor)センサ312、撮像素子I/F313、マイク314、スピーカ315、音入出力I/F316、ディスプレイI/F317、外部機器接続I/F318、近距離通信回路319および近距離通信回路319のアンテナ319aを備えている。これらのうち、CPU301は、ビデオ会議端末3全体の動作を制御する。ROM302は、IPL等のCPU301の駆動に用いられるプログラムを記憶する。RAM303は、CPU301のワークエリアとして使用される。フラッシュメモリ304は、通信用プログラム、画像データおよび音データ等の各種データを記憶する。SSD305は、CPU301の制御にしたがってフラッシュメモリ304に対する各種データの読み出しまたは書き込みを制御する。なお、SSDに代えてHDDを用いてもよい。メディアI/F307は、フラッシュメモリ等の記録メディア306に対するデータの読み出しまたは書き込み(記憶)を制御する。操作ボタン308は、ビデオ会議端末3の宛先を選択する場合等に操作されるボタンである。電源スイッチ309は、ビデオ会議端末3の電源のON/OFFを切り換えるためのスイッチである。
図4は、カーナビゲーション装置のハードウェア構成図である。図4に示されているように、カーナビゲーション装置4は、CPU401、ROM402、RAM403、EEPROM404、電源スイッチ405、加速度・方位センサ406、メディアI/F408およびGPS受信部409を備えている。
図5は、PC、サーバのハードウェア構成図である。PC5は、コンピュータによって構築されており、図5に示されているように、CPU501、ROM502、RAM503、HD504、HDD(Hard Disk Drive)コントローラ505、メディアI/F507、ディスプレイ508、ネットワークI/F509、キーボード511、マウス512、CD-RWドライブ514、スピーカ515およびバスライン510を備えている。
続いて、図6を用いて、電子黒板2にインストールされるコンピュータソフトウエアについて説明する。ここで、コンピュータソフトウエア(以下、ソフトウエアと称する)とは、コンピュータの動作に関するプログラム、その他コンピュータによる処理の用に供する情報であってプログラムに準ずるものである。プログラムとは、コンピュータに対する指令であって、一の結果を得ることができるように組み合わせたものをいう。また、プログラムに準ずるものとは、コンピュータに対する直接の指令ではないためプログラムとは呼べないが、コンピュータの処理を規定するという点でプログラムに類似する性質を有するものをいう。例えば、データ構造(データ要素間の相互関係で表される、データの有する論理的構造)がプログラムに準ずるものに該当する。
続いて、図7を用いて、PC5にインストールされるコンピュータソフトウエアについて説明する。図7は、PCのソフトウエア構成を示す図である。図7に示すように、OS5501、議事録アプリ5502aおよびブラウザ5502bは、RAM503の作業領域5500上で動作する。OS5501は、PC5の基本的な機能を提供し、PC5の全体を管理する基本ソフトウエアである。
続いて、図8乃至図15を用いて、本実施形態の機能構成について説明する。図8は、共用システムの機能ブロック図である。なお、図8では、図1に示されている各端末、装置、サーバのうち、後述の処理または動作に関連しているものが示されている。
図8に示されているように、電子黒板2は、送受信部21、受付部22、画像・音処理部23、表示制御部24、判断部25、取得・提供部28、記憶・読出処理部29を有している。これら各部は、図2に示されている各構成要素のいずれかが、SSD204からRAM203上に展開されたプログラムに従ったCPU201からの命令によって動作することで実現される機能、または機能する手段である。また、電子黒板2は、図2に示されているRAM203、SSD204またはUSBメモリ2600によって構築される記憶部2000を有している。
次に、電子黒板2の各構成要素について説明する。送受信部21は、図2に示されているCPU201からの命令、並びにネットワークI/F205および外部機器接続I/F206によって実現され、通信ネットワーク10を介して他の端末、装置またはシステムと各種データ(または情報)の送受信を行う。
PC5は、送受信部51、受付部52、表示制御部54、生成部56、音制御部58および記憶・読出処理部59を有している。これら各部は、図5に示されている各構成要素のいずれかが、HD504からRAM503上に展開されたプログラムに従ったCPU501からの命令によって動作することで実現される機能または機能する手段である。また、PC5は、図5に示されているHD504により構築される記憶部5000を有している。
次に、PC5の各構成要素について説明する。送受信部51は、図5に示されているCPU501からの命令およびネットワークI/F509によって実現され、通信ネットワーク10を介して他の端末、装置またはシステムと各種データ(または情報)の送受信を行う。送受信部51は、受信手段の一例である。また、送受信部51は、送信手段の一例である。
共用支援サーバ6は、送受信部61、認証部62、作成部63、生成部64、判断部65および記憶・読出処理部69を有している。これら各部は、図5に示されている各構成要素のいずれかが、HD604からRAM603上に展開された共用支援用プログラムに従ったCPU601からの命令によって動作することで実現される機能または機能する手段である。また、共用支援サーバ6は、図5に示されているHD604等により構築される記憶部6000を有している。
図9(A)は、利用者認証管理テーブルを示す概念図である。記憶部6000には、図9(A)に示されているような利用者認証管理テーブルによって構成されている利用者認証管理DB6001が構築されている。この利用者認証管理テーブルでは、利用者を識別するための利用者ID、利用者名、利用者が属する組織を識別するための組織IDおよびパスワードが関連付けられて管理されている。なお、組織IDには、通信ネットワーク上の複数のコンピュータを管理するためのグループや組織を表すドメイン名も含まれる。
図9(B)は、アクセス管理テーブルを示す概念図である。記憶部6000には、図9(B)に示されているようなアクセス管理テーブルによって構成されているアクセス管理DB6002が構築されている。このアクセス管理テーブルでは、組織ID、スケジュール管理サーバ8へアクセスする際の認証に必要なアクセスIDおよびアクセスパスワードが関連付けられて管理されている。このアクセスIDおよびアクセスパスワードは、共用支援サーバ6が、HTTP(Hypertext Transfer Protocol)またはHTTPS(Hypertext Transfer Protocol Secure)のプロトコルを用いて、WebAPI等を介して、スケジュール管理サーバ8によって提供されるサービス(機能)を利用するために必要である。スケジュール管理サーバ8は、複数のスケジューラを管理しており、組織が異なれば使用するスケジューラも異なることがあるため、アクセス管理テーブルで管理が必要である。
図9(C)は、予定管理テーブルを示す概念図である。記憶部6000には、図9(C)に示されているような予定管理テーブルによって構成されている予定管理DB6003が構築されている。この予定管理テーブルでは、予定イベントIDおよび実行イベントID毎に、組織ID、予約者の利用者ID、この予約者の参加の有無、予約者名、開始予定時刻、終了予定時刻、イベント名、他の参加者の利用者ID、この他の参加者の参加の有無、他の参加者名およびファイルデータが関連付けられて管理されている。
図10は、コンテンツ管理テーブルを示す概念図である。記憶部6000には、図10に示されているようなコンテンツ管理テーブルによって構成されているコンテンツ管理DB6005が構築されている。このコンテンツ管理テーブルでは、実行イベントID毎に、コンテンツ処理ID、コンテンツ処理の種類、コンテンツの内容、並びにコンテンツ処理の開始日時および終了日時が関連付けられて管理されている。ここで、コンテンツは、会議等のイベントで発生した実行イベントの内容、または当該イベントで用いた資料等である。コンテンツ処理の種類には、録音、スナップショット、音声テキスト変換、アクションアイテムの発生および資料送付等が含まれる。また、コンテンツ処理IDは、各イベントで発生したコンテンツの処理を識別するための識別情報である。
次に、共用支援サーバ6の各機能構成について詳細に説明する。なお、以下では、共用支援サーバ6の各機能構成を説明するにあたって、図5に示されている各構成要素のうち、共用支援サーバ6の各機能構成を実現させるための主な構成要素との関係も説明する。
スケジュール管理サーバ8は、送受信部81、認証部82、生成部83および記憶・読出処理部89を有している。これら各部は、図5に示されている各構成要素のいずれかが、HD804からRAM803上に展開されたスケジュール管理用プログラムに従ったCPU801からの命令によって動作することで実現される機能または機能する手段である。また、スケジュール管理サーバ8は、図5に示されているHD804により構築される記憶部8000を有している。
図11(A)は、利用者認証管理テーブルを示す概念図である。記憶部8000には、図11(A)に示されているような利用者認証管理テーブルによって構成されている利用者認証管理DB8001が構築されている。この利用者認証管理テーブルでは、利用者を識別するための利用者IDに、利用者が属する組織を識別するための組織IDおよびパスワードが関連付けられて管理されている。
図11(B)は、利用者管理テーブルを示す概念図である。記憶部8000には、図11(B)に示されているような利用者管理テーブルによって構成されている利用者管理DB8002が構築されている。この利用者管理テーブルでは、組織ID毎に、利用者IDおよび利用者IDで示される利用者の名称(利用者名)が関連付けられて管理されている。
図11(C)は、共用体管理テーブルを示す概念図である。記憶部8000には、図11(C)に示されているような共用体管理テーブルによって構成されている共用体管理DB8003が構築されている。この共用体管理テーブルでは、組織ID毎に、共用体を識別するための共用体IDおよび共用体の名称(共用体名)が関連付けられて管理されている。
図12(A)は、共用体予約管理テーブルを示す概念図である。記憶部8000には、図12(A)に示されているような共用体予約管理テーブルによって構成されている共用体予約管理DB8004が構築されている。この共用体予約管理テーブルでは、各情報が関連付けられた状態の予約情報が管理されている。予約情報には、組織ID毎に、共用体ID、共用体名、予約者の利用者ID、利用開始予定日時、利用終了予定日時およびイベント名が含まれている。これらのうち、利用開始予定日時は、共用体の利用開始予定日時を示している。利用終了予定日時は、共用体の利用終了予定日時を示している。各日時は、年・月・日・時・分・秒・タイムゾーンを示しているが、図12(A)では紙面の関係上、年・月・日・時・分まで表している。
図12(B)は、イベント管理テーブルを示す概念図である。記憶部8000には、図12(B)に示されているようなイベント管理テーブルによって構成されているイベント管理DB8005が構築されている。このイベント管理テーブルでは、各情報が関連付けられた状態の予定情報が管理されている。予定情報には、予定イベントID毎に、組織ID、利用者ID、利用者名、イベント開始予定日時、イベント終了予定日時およびイベント名が関連付けられて管理されている。これらのうち、イベント開始予定日時は、イベントを実行する場合の開始予定日時を示している。イベント終了予定日時は、イベントの実行する場合の終了予定日時を示している。各日時は、年・月・日・時・分・秒・タイムゾーンを示しているが、図12(B)では紙面の関係上、年・月・日・時・分まで表している。また、イベント管理テーブルでは、予定イベントIDに関連付けて、予定情報に示されるイベントで使用される資料ファイルのファイルデータが管理されている。
図13(A)は、サーバ認証管理テーブルを示す概念図である。記憶部8000には、図13(A)に示されているようなサーバ認証管理テーブルによって構成されているサーバ認証管理DB8006が構築されている。このサーバ認証管理テーブルでは、アクセスIDおよびアクセスパスワードが関連付けられて管理されている。アクセスIDおよびアクセスパスワードは、共用支援サーバ6のアクセス管理DB6002で管理されているアクセスIDおよびアクセスパスワードと同じ概念である。
図13(B)は、実行イベント履歴管理テーブルを示す概念図である。記憶部8000には、図13(B)に示されているような実行イベント履歴管理テーブルによって構成されている実行イベント履歴管理DB8008が構築されている。この実行イベント履歴管理テーブルでは、実行イベントID毎に、コンテンツ処理ID、コンテンツ処理の種類、コンテンツの内容、並びにコンテンツ処理の開始日時および終了日時が関連付けられて管理されている。この実行イベント履歴管理DB8008は、コンテンツ管理DB6005と一部同じデータを管理している。同じデータは、実行イベントID、コンテンツ処理ID、コンテンツ処理の種類、コンテンツ処理の開始日時および終了日時である。コンテンツの内容は、コンテンツデ-タの保存先の表記方法(http://またはc://)が異なるのみで、保存先は同じである。
図14(A)は、実行イベント管理テーブルを示す概念図である。記憶部8000には、図14(A)に示されているような実行イベント管理テーブルによって構成されている実行イベント管理DB8009が構築されている。この実行イベント管理テーブルでは、実行イベントIDに、イベント名、イベントの開始日時および終了日時が関連付けられて管理されている。この実行イベント管理DB8009は、イベント管理DB8005において管理されている予定情報のうち、実際に実行されたイベントに関する情報を管理している。
図14(B)は、関連情報管理テーブルを示す概念図である。記憶部8000には、図14(B)に示されているような関連情報管理テーブルによって構成されている関連情報管理DB8010が構築されている。この関連情報管理テーブルでは、実行イベントID毎に、各情報(データ)が関連付けられた状態の関連情報が管理されている。関連情報には、コンテンツの発生時間帯、音データ、音声テキストデータおよび画面データが関連付けられて管理されている。コンテンツの発生時間帯は、実行されたイベントにおいてコンテンツが発生した時点における、イベントの開始日時からの経過時間を示す。ここで、コンテンツの発生時間帯は、イベント管理DB8005に記憶されたイベントの開始日時、および実行イベント履歴管理DB8008に記憶されたコンテンツ処理の開始日時および終了日時に基づいて、生成部83によって生成される。コンテンツの発生時間帯は、時間情報の一例である。また、音データには、コンテンツ処理IDおよびコンテンツの種類が含まれる。音声テキストデータおよび画面データには、コンテンツ処理ID、コンテンツの種類およびシーケンスNoが含まれる。シーケンスNoは、音声テキストデータおよび画面データのそれぞれにコンテンツ処理が発生した発生時間順を示す。
図15は、テキスト情報管理テーブルを示す概念図である。記憶部8000には、図15に示されているようなテキスト情報管理テーブルによって構成されているテキスト情報管理DB8012が構築されている。このテキスト情報管理テーブルでは、実行イベントID毎に、実行されたイベントにおいて生成された音声テキストデータを含むテキスト情報が管理されている。このテキスト情報には、コンテンツ処理ID、テキストデータを識別するためのテキストID、テキストデータの内容を示すtranscript、およびテキストデータの状態を示す状態情報が関連付けられている。このうち、コンテンツ処理IDは、コンテンツ処理の種類が「音声テキスト変換」であるコンテンツ処理を識別するものである。また、transcript(テキストデータ)は、テキスト情報として関連付けられたコンテンツ処理IDと同様のコンテンツ処理IDに、実行イベント履歴管理DB8008において関連付けられたコンテンツの内容を示すテキストデータである。さらに、状態情報は、テキストデータの編集の有無を示す情報である。状態情報には、関連付けられたテキストデータが音声テキスト変換サーバ9によって生成されたテキストデータから編集されていない場合、テキストデータが編集されていないことを示す「Original」の情報が示されている。
次に、スケジュール管理サーバ8の各機能構成について詳細に説明する。なお、以下では、スケジュール管理サーバ8の各機能構成を説明するにあたって、図5に示されている各構成要素のうち、スケジュール管理サーバ8の各機能構成を実現させるための主な構成要素との関係も説明する。
音声テキスト変換サーバ9は、送受信部91、変換部93、および記憶・読出処理部99を有している。これら各部は、図5に示されている各構成要素のいずれかが、HD904からRAM903上に展開されたプログラムに従ったCPU901からの命令によって動作することで実現される機能または機能する手段である。また、音声テキスト変換サーバ9は、図5に示されているHD904により構築される記憶部9000を有している。
次に、音声テキスト変換サーバ9の各機能構成について詳細に説明する。なお、以下では、音声テキスト変換サーバ9の各機能構成を説明するにあたって、図5に示されている各構成要素のうち、音声テキスト変換サーバ9の各機能構成を実現させるための主な構成要素との関係も説明する。
以降、各実施形態の処理または動作について説明する。
ここでは、図16乃至図19を用いて、予約者A(理光太郎)がPC5からスケジュール管理サーバ8に自己のスケジュールを登録する処理について説明する。図16は、スケジュールの登録処理を示したシーケンス図である。図17は、サインイン画面を示した図である。図18は、PCの初期画面の例である。図19は、スケジュール入力画面を示した図である。
ここでは、図20乃至図26を用いて、予約者A(理光太郎)が予約しておいた会議室Xで、電子黒板2を利用して他の参加者と会議をする処理について説明する。図20および図23は、イベントの開始処理を示したシーケンス図である。図21は、電子黒板に表示されるサインイン画面を示した図である。図22は、共用体の予約リスト画面を示した図である。図24は、イベントの詳細情報画面を示した図である。図25は、サインイン後に電子黒板に表示される表示画面を示した図である。図26は、利用者が電子黒板を利用する状態を示したイメージ図である。
続いて、図27乃至図29を用いて、実行イベント履歴の登録処理について説明する。図27および図29は、実行イベント履歴の登録処理を示したシーケンス図である。図28は、音声テキスト変換処理を示したフローチャートである。
続いて、図30乃至図34を用いて、実行中のイベントを終了する処理について説明する。図30および図31は、イベントの終了処理を示したシーケンス図である。図32は、電子黒板上にイベント終了画面を示した図である。図33は、電子黒板上にファイルデータのアップロード画面を示した図である。図34は、電子黒板上にファイルデータのアップロード完了画面を示した図である。
続いて、図35乃至図39を用いて、実行イベント履歴の閲覧処理について説明する。図35および図36は、実行イベント履歴の閲覧処理を示したシーケンス図である。図37は、PC上に実行イベントリスト画面を示した図である。図38は、実行イベント履歴画面を示した図である。図39は、PC上にアクションアイテム画面を示した図である。なお、図35のステップS111~S117の処理は、図16のステップS11~S17の処理と同様であるため、説明を省略する。
続いて、図39乃至図45を用いて、実行イベント履歴画面に表示された各テキストデータを編集する処理について説明する。図39は、テキストデータの編集処理を示したシーケンス図である。図40および図43は、PC上に実行イベント履歴画面を示した図である。図41は、テキスト編集画面を示した図である。図42は、更新されたテキスト情報管理テーブルの概念図である。なお、PC5のディスプレイ508には、図38に示されているような実行イベント履歴画面580が表示されているものとして説明する。
本実施形態によれば、図39乃至図45に示されているように、PC5は、実行されたイベントにおいて発生したコンテンツに関する音データおよび当該音データから変換されたテキストデータを管理するスケジュール管理サーバ8(管理システムの一例)と通信可能な表示端末である。PC5の送受信部51(受信手段の一例)は、音データ、テキストデータ、およびコンテンツの発生時間に関する時間情報を、スケジュール管理サーバ8から受信し、表示制御部54(表示制御手段の一例)は、受信された時間情報に基づいて、受信されたテキストデータを、コンテンツの発生時間順にディスプレイ508(表示部の一例)に表示させ、受付部52(編集受付手段の一例)は、表示されたテキストデータのうち、特定のテキストデータ(例えば、画像582cに示されているテキストデータ)に対する編集を受け付ける。そして、表示制御部54は、受信された特定のテキストデータに変えて、編集後の特定のテキストデータをディスプレイ508に表示させる。これにより、PC5は、編集されたテキストデータを議事録として表示させることができる。また、音データからテキストデータへの変換精度が低い場合であっても、PC5は、表示されたテキストデータを利用者に編集させることで、実行イベント履歴画面580をイベントの議事録として利用者に有効に活用させることができる。
上記で説明した実施形態の各機能は、一または複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウエアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)、SOC(System on a chip)、GPU(Graphics Processing Unit)や従来の回路モジュール等のデバイスを含むものとする。
2 電子黒板(通信端末の一例)
3 ビデオ会議端末(通信端末の一例)
4 カーナビゲーション装置(通信端末の一例)
5 PC(表示端末の一例)
6 共用支援サーバ
8 スケジュール管理サーバ(管理システムの一例)
9 音声テキスト変換サーバ
10 通信ネットワーク
51 送受信部(受信手段の一例、送信手段の一例)
52 受付部(編集受付手段の一例、編集要求受付手段の一例、選択受付手段の一例)
54 表示制御部(表示制御手段の一例)
620 「編集」ボタン(編集要求画像の一例)
625 「編集済」ボタン(編集済画像の一例)
630 テキスト編集画面(編集画面の一例)
640 編集履歴画面
508 ディスプレイ(表示部の一例)
89 記憶・読出処理部(記憶制御手段の一例)
8000 記憶部
Claims (8)
- 実行されたイベントにおいて発生したコンテンツに関する音データおよび当該音データから変換されたテキストデータを管理する管理システムと通信可能な表示端末であって、
前記音データ、前記テキストデータ、および前記コンテンツの発生時間に関する時間情報を、前記管理システムから受信する受信手段と、
受信された前記時間情報に基づいて、受信された前記テキストデータを、前記発生時間順に表示部に表示させる表示制御手段と、
表示された前記テキストデータのうち、特定のテキストデータに対する編集を受け付ける編集受付手段と、を備え、
前記表示制御手段は、受信された前記特定のテキストデータと、複数の編集後の特定のテキストデータを含む編集履歴画面を、前記表示部に表示させるとともに、前記複数の編集後の特定のテキストデータを、前記特定のテキストデータの編集が行われた時間を示す編集時間情報に基づいて時系列に前記表示部に表示させる表示端末。 - 請求項1に記載の表示端末であって、
前記特定のテキストデータの編集を要求する編集要求画像に対する選択を受け付ける編集要求受付手段と、を備え、
前記表示制御手段は、前記編集要求画像に対する選択が受け付けられた場合、前記特定のテキストデータの編集を受け付ける編集画面を前記表示部に表示させ、
前記編集受付手段は、前記編集画面に対する入力によって、前記特定のテキストデータに対する編集を受け付ける表示端末。 - 前記コンテンツの発生時間は、前記音データが前記テキストデータに変換された時間を示す請求項1または2に記載の表示端末。
- 前記表示制御手段は、前記編集履歴画面として、前記編集後の特定のテキストデータとともに、当該特定のテキストデータの編集を行った編集者を示す編集者情報を関連付けて前記表示部に表示させる請求項1乃至3のいずれか一項に記載の表示端末。
- 請求項1乃至4のいずれか一項に記載の表示端末であって、
前記表示制御手段は、前記特定のテキストデータの編集が行われたことを示す編集済画像を、前記表示部に表示させ、更に、
前記編集済画像に対する選択を受け付ける選択受付手段を備え、
前記編集済画像に対する選択が受け付けられた場合、前記表示制御手段は、前記編集履歴画面を前記表示部に表示させる表示端末。 - 請求項1乃至5のいずれか一項に記載の表示端末と、前記管理システムと、を備える共用システムであって、
前記表示端末は、
前記編集受付手段によって編集が受け付けられた前記編集後の特定のテキストデータを、前記管理システムへ送信する送信手段を備え、
前記管理システムは、
前記表示端末から送信された前記編集後の特定のテキストデータを、前記表示端末へ送信した前記特定のテキストデータと関連付けて記憶部に記憶させる記憶制御手段を備える共用システム。 - 実行されたイベントにおいて発生したコンテンツに関する音データおよび当該音データから変換されたテキストデータを管理する管理システムと通信可能な表示端末が実行する表示制御方法であって、
前記音データ、前記テキストデータ、および前記コンテンツの発生時間に関する時間情報を、前記管理システムから受信する受信ステップと、
受信された前記時間情報に基づいて、受信された前記テキストデータを、前記発生時間順に表示部に表示させる第1の表示制御ステップと、
表示された前記テキストデータのうち、特定のテキストデータに対する編集を受け付ける編集受付ステップと、
受信された前記特定のテキストデータと、複数の編集後の特定のテキストデータを含む編集履歴画面を、前記表示部に表示させるとともに、前記複数の編集後の特定のテキストデータを、前記特定のテキストデータの編集が行われた時間を示す編集時間情報に基づいて時系列に前記表示部に表示させる第2の表示制御ステップと、
を実行する表示制御方法。 - コンピュータに、請求項7に記載の方法を実行させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019089489A JP7302270B2 (ja) | 2019-05-10 | 2019-05-10 | 表示端末、共用システム、表示制御方法およびプログラム |
US16/851,170 US11373030B2 (en) | 2019-05-10 | 2020-04-17 | Display terminal to edit text data converted from sound data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019089489A JP7302270B2 (ja) | 2019-05-10 | 2019-05-10 | 表示端末、共用システム、表示制御方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020187394A JP2020187394A (ja) | 2020-11-19 |
JP7302270B2 true JP7302270B2 (ja) | 2023-07-04 |
Family
ID=73047417
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019089489A Active JP7302270B2 (ja) | 2019-05-10 | 2019-05-10 | 表示端末、共用システム、表示制御方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11373030B2 (ja) |
JP (1) | JP7302270B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10708386B2 (en) * | 2013-11-19 | 2020-07-07 | Comcast Cable Communications, Llc | Managing data delivery |
EP3660848A1 (en) * | 2018-11-29 | 2020-06-03 | Ricoh Company, Ltd. | Apparatus, system, and method of display control, and carrier means |
JP7317561B2 (ja) * | 2019-04-19 | 2023-07-31 | キヤノン株式会社 | タッチパネルを用いた文字入力のための画像処理装置、その制御方法及びプログラム |
US11625155B2 (en) * | 2020-03-23 | 2023-04-11 | Ricoh Company, Ltd. | Information processing system, user terminal, method of processing information |
US11349888B2 (en) | 2020-03-31 | 2022-05-31 | Ricoh Company, Ltd. | Text data transmission-reception system, shared terminal, and method of processing information |
JP7491025B2 (ja) | 2020-03-31 | 2024-05-28 | 株式会社リコー | 会議登録システム、管理システム、情報処理方法、及びプログラム |
US20230206752A1 (en) * | 2021-12-23 | 2023-06-29 | Here Global B.V. | Method and apparatus for collecting and maintaining road event data |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090043848A1 (en) | 2007-08-11 | 2009-02-12 | Alexander Kordun | Method and system for providing collaborative moderation and correction of message history in an instant mesaging session |
JP2014206896A (ja) | 2013-04-15 | 2014-10-30 | Yamagata Intech株式会社 | 情報処理装置、及び、プログラム |
JP2016062196A (ja) | 2014-09-16 | 2016-04-25 | 株式会社東芝 | 会議情報蓄積装置、方法およびプログラム |
JP2018092365A (ja) | 2016-12-02 | 2018-06-14 | 株式会社アドバンスト・メディア | 情報処理システム、情報処理装置、情報処理方法及びプログラム |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6802041B1 (en) * | 1999-01-20 | 2004-10-05 | Perfectnotes Corporation | Multimedia word processor |
US7047192B2 (en) * | 2000-06-28 | 2006-05-16 | Poirier Darrell A | Simultaneous multi-user real-time speech recognition system |
US7783972B2 (en) * | 2001-01-08 | 2010-08-24 | Enfocus NV | Ensured workflow system and method for editing a consolidated file |
US9710819B2 (en) * | 2003-05-05 | 2017-07-18 | Interactions Llc | Real-time transcription system utilizing divided audio chunks |
US20070245305A1 (en) * | 2005-10-28 | 2007-10-18 | Anderson Jonathan B | Learning content mentoring system, electronic program, and method of use |
WO2008148102A1 (en) * | 2007-05-25 | 2008-12-04 | Tigerfish | Method and system for rapid transcription |
US9318110B2 (en) * | 2011-09-09 | 2016-04-19 | Roe Mobile Development Llc | Audio transcription generator and editor |
JP6447066B2 (ja) | 2014-12-01 | 2019-01-09 | 株式会社リコー | 画像処理装置、画像処理方法、及びプログラム |
US10546588B2 (en) * | 2015-03-13 | 2020-01-28 | Trint Limited | Media generating and editing system that generates audio playback in alignment with transcribed text |
JP6746923B2 (ja) | 2016-01-20 | 2020-08-26 | 株式会社リコー | 情報処理システム、情報処理装置、情報処理方法および情報処理プログラム |
CA3013322A1 (en) * | 2016-02-02 | 2017-08-10 | ActiveWrite, Inc. | Document collaboration and consolidation tools and methods of use |
JP6517718B2 (ja) * | 2016-03-11 | 2019-05-22 | 株式会社東芝 | 会議支援装置、会議支援方法、及び会議支援プログラム |
JP6165913B1 (ja) * | 2016-03-24 | 2017-07-19 | 株式会社東芝 | 情報処理装置、情報処理方法およびプログラム |
JP6801539B2 (ja) | 2017-03-17 | 2020-12-16 | 株式会社リコー | 情報処理システム、情報処理装置、情報処理プログラム及び情報処理方法 |
US20180315428A1 (en) * | 2017-04-27 | 2018-11-01 | 3Play Media, Inc. | Efficient transcription systems and methods |
JP7009904B2 (ja) | 2017-10-17 | 2022-01-26 | 株式会社リコー | 端末装置、情報処理システム、情報処理方法及びプログラム |
US11222716B2 (en) * | 2018-03-05 | 2022-01-11 | Nuance Communications | System and method for review of automated clinical documentation from recorded audio |
EP3557440A1 (en) | 2018-04-20 | 2019-10-23 | Ricoh Company, Ltd. | Information processing apparatus, system, display control method, and carrier means |
US20200126559A1 (en) * | 2018-10-19 | 2020-04-23 | Reduct, Inc. | Creating multi-media from transcript-aligned media recordings |
US20200126583A1 (en) * | 2018-10-19 | 2020-04-23 | Reduct, Inc. | Discovering highlights in transcribed source material for rapid multimedia production |
EP3660848A1 (en) * | 2018-11-29 | 2020-06-03 | Ricoh Company, Ltd. | Apparatus, system, and method of display control, and carrier means |
-
2019
- 2019-05-10 JP JP2019089489A patent/JP7302270B2/ja active Active
-
2020
- 2020-04-17 US US16/851,170 patent/US11373030B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090043848A1 (en) | 2007-08-11 | 2009-02-12 | Alexander Kordun | Method and system for providing collaborative moderation and correction of message history in an instant mesaging session |
JP2014206896A (ja) | 2013-04-15 | 2014-10-30 | Yamagata Intech株式会社 | 情報処理装置、及び、プログラム |
JP2016062196A (ja) | 2014-09-16 | 2016-04-25 | 株式会社東芝 | 会議情報蓄積装置、方法およびプログラム |
JP2018092365A (ja) | 2016-12-02 | 2018-06-14 | 株式会社アドバンスト・メディア | 情報処理システム、情報処理装置、情報処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20200356722A1 (en) | 2020-11-12 |
JP2020187394A (ja) | 2020-11-19 |
US11373030B2 (en) | 2022-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7302270B2 (ja) | 表示端末、共用システム、表示制御方法およびプログラム | |
JP7205697B2 (ja) | 通信端末、共用システム、表示制御方法およびプログラム | |
US11915703B2 (en) | Apparatus, system, and method of display control, and recording medium | |
JP2023166433A (ja) | 通信端末、管理システム、表示方法、及びプログラム | |
EP3557842A1 (en) | Communication terminal, system, data transmission control method, and carrier means | |
JP7314522B2 (ja) | 共用端末、共用システム、共用支援方法およびプログラム | |
JP7284449B2 (ja) | 表示端末、表示制御方法およびプログラム | |
JP7314635B2 (ja) | 表示端末、共用システム、表示制御方法およびプログラム | |
JP7338214B2 (ja) | 通信端末、管理システム、表示方法、及びプログラム | |
JP7413660B2 (ja) | 通信端末、共用システム、記憶制御方法およびプログラム | |
JP7338211B2 (ja) | 通信端末、共用システム、通信方法およびプログラム | |
JP2020095689A (ja) | 表示端末、共用システム、表示制御方法およびプログラム | |
JP7087556B2 (ja) | 共用支援サーバ、共用システム、支援方法、及びプログラム | |
JP7380109B2 (ja) | 情報処理装置、通信システム、情報処理方法およびプログラム | |
JP7322480B2 (ja) | 通信端末、管理システム、表示方法、及びプログラム | |
JP7347124B2 (ja) | プログラム、情報処理方法、情報処理装置および通信システム | |
JP7255243B2 (ja) | 通信端末、共用システム、通信方法、及びプログラム | |
JP7115014B2 (ja) | 情報処理装置、共用システム、表示方法およびプログラム | |
JP7463690B2 (ja) | サーバ装置、通信システム、情報処理方法、プログラムおよび記録媒体 | |
JP7395825B2 (ja) | 表示端末、共用システム、表示制御方法およびプログラム | |
JP7395845B2 (ja) | 共用システム | |
JP7183558B2 (ja) | 共用支援サーバ、共用システム、共用支援方法、及びプログラム | |
JP7413735B2 (ja) | サーバ装置、情報処理方法および情報処理システム | |
JP2021077111A (ja) | 通信システム、情報処理方法、情報処理装置およびプログラム | |
JP2023020625A (ja) | 情報処理装置、テキストデータ編集方法、通信システム、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230523 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230605 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7302270 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |