JP5155349B2 - 連続再生データを部分的に再生する再生支援システム - Google Patents
連続再生データを部分的に再生する再生支援システム Download PDFInfo
- Publication number
- JP5155349B2 JP5155349B2 JP2010039655A JP2010039655A JP5155349B2 JP 5155349 B2 JP5155349 B2 JP 5155349B2 JP 2010039655 A JP2010039655 A JP 2010039655A JP 2010039655 A JP2010039655 A JP 2010039655A JP 5155349 B2 JP5155349 B2 JP 5155349B2
- Authority
- JP
- Japan
- Prior art keywords
- event
- image
- desktop space
- data
- annotation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 34
- 230000004044 response Effects 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 230000010365 information processing Effects 0.000 claims description 5
- 230000007704 transition Effects 0.000 claims description 4
- 238000012217 deletion Methods 0.000 claims description 2
- 230000037430 deletion Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 230000000007 visual effect Effects 0.000 description 12
- 230000035807 sensation Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000008929 regeneration Effects 0.000 description 6
- 238000011069 regeneration method Methods 0.000 description 6
- 239000012141 concentrate Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000001846 repelling effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
Description
図1は、本実施の形態にかかるコンピュータ10のハードウエアの概略の構成を示す機能ブロック図である。コンピュータ10は、ノートPC、デスクトップ型パーソナル・コンピュータ、または会議専用の情報処理装置などとすることができる。コンピュータ10は、CPU11、メイン・メモリ13、HDD15、GPU(Graphics Processing Unit)に接続された液晶ディスプレイ(LCD)17と、内蔵カメラ19、内蔵マイクロフォン21、無線モジュール23、USBポート25、内蔵スピーカ27、およびマウス29がバス31に接続されている。バス31は、ノース・ブリッジやサウス・ブリッジなどの複数のチップ・セットを含む。USBポート25には、外付けのLCD、プロジェクタ、外付けマイクロフォン、外付けカメラ、外付けHDD、ブルートゥース(Bluetooth:登録商標)・マウス、光学ディスク・ドライブ(ODD)、血圧計、歩数計、デジタイザまたはオシロスコープなどの外部デバイスを接続することができる。コンピュータ10のハードウエアの構成は周知であるため、個々のデバイスの説明は省略する。
図2は、本実施の形態にかかる音声再生支援システム100のソフトウエアの構成を説明するための機能ブロック図である。音声再生支援システム100は、コンピュータ10がLCD17にデスクトップ空間画像を表示しながら、内蔵マイクロフォン21が録音可能な状況において行われる電話会議、テレビ会議、または顧客へのプレゼンテーションなどで録音した音声データを短時間で必要な部分だけ探して再生することができる。デスクトップ空間画像は会話の進行に伴って変化するため、必然的に録音された音声データと関連性をもつことになる。音声再生支援システム100は、主として、コンピュータ10の内蔵マイクロフォン21、マウス29、LCD17、およびHDD17に格納された図2、図4で説明するプログラムにより構成される。
図4は、図2の最適再生処理システム200の構成を説明するための機能ブロック図である。最適再生処理システム200は、内部イベント生成部101から受け取った内部イベントに基づいて動作する。内部イベント生成部101は、原則として1つの外部トリガに対応して1つの内部イベントを生成して1つの画像イメージと1つの音声ブロックを記録する。内部イベント生成部101は、例外的に音声再生支援システム100の動作におけるユーザの重要な操作により生成された「アノテーション・モード終了」の外部イベントに対しては、An−eイベントとPt−sイベントを生成してそれぞれの内部イベントに対する画像イメージを記録できるようにする。その手順については図9を参照して後に説明する。
(1)ユーザが再生したい音声ブロックを、ユーザに最も強い既視感を抱かせる画像イメージに関連付ける。
(2)いずれの画像イメージにも関連付けられない音声ブロックがないようにして音声ブロックの脱落を排除する。
(3)1つの音声ブロックには、1つの画像イメージを関連付けて検索時の画像イメージの冗長性を排除する。
つぎに音声再生支援システム100が、顧客に対する商品の説明会議で使用されるときに音声データを記録する方法を図6〜図8を参照して説明する。図6は、会議における音声再生支援システム100の動作状態の一例を示す図である。図7は図6の動作状態のときに時系列判定部207が音声ブロックと画像イメージを必要な音声ブロックだけを短時間で検索して再生できるように関連付けた状態を示す図である。図8は、音声再生支援システム100が画像イメージと音声データを記録する手順を示すフローチャートである。
ともにタイムスタンプt06を有するAn−eイベントとPt−sイベントの処理については図9のフローチャートで説明する。図9は、1つの外部トリガでイベント条件の異なる2つの画像イメージを記録する手順を示すフローチャートである。An−eイベントとPt−sイベントは、「アノテーション・モード終了」の1つの外部トリガで生成される。時系列判定部207は、内部イベント、TSS値、およびESS値からなるイベント条件に基づいて画像イメージに対する音声ブロックの関連づけを行うが、イベント条件が異なるためそれぞれに異なる音声ブロックを関連付けことができる。結果として、2つの画像イメージがそれぞれ関連付けられた音声ブロックに対する有意な既視感をもつように構成することができる。
図6、図7に示したように、内部イベントはほとんどユーザが入力した外部トリガにより生成される。したがって、各音声ブロックの再生時間はさまざまに変化することになるが、音声ブロックは内部イベント間の時間の単位で記録されるためその時間が短い場合は、一旦検索した音声ブロックには必要な情報がすべて含まれない場合がある。この場合、前後にキャプチャされた画像イメージを通じて、一旦再生した音声ブロックの前後に存在する音声ブロック再生する必要がでてくる。再生範囲判定部211は、短すぎる音声ブロックを他の音声ブロックに結合することで、1回で再生できる適切な範囲の音声集合ブロックを生成する。
空間画像記録部117には画像イメージが記録され、音声記録部119には音声ブロックが記録され、メタデータ記録部121にはメタデータが記録されているときに、必要な音声データを再生するときは、図3の検索部を通じてコンピュータ10を操作する。最初に、メタデータに対してタイムスタンプをキーワードにした一次検索をして、確認する画像イメージの範囲を絞り込む。あるいは、1つの会議で記録したすべての画像イメージを確認の対象にしてもよい。メタデータは空間画像記録部117に記録された実際の画像イメージのファイルにリンクしており、検索部123はそれらをサムネール形式でLCD17に表示する。ユーザは実際に画像イメージをみて再生したい音声ブロックのファイルを探す。
200…最適再生処理システム
209…最適時系列予測モデル
250…時系列テーブル
251…音声集合ブロック
Claims (20)
- デスクトップ画面にデスクトップ空間画像を表示しながら連続再生データを記録し前記デスクトップ画面に対するアノテーションの書き込みが可能な再生支援システムであって、
前記デスクトップ空間画像の表示と前記連続再生データの記録に関する所定の操作に対応するイベントを生成するイベント生成部と、
前記イベントに応答して前記デスクトップ空間画像を取得する画像取得部と、
前記イベントに応答して前記連続再生データを前記イベント間のデータ・ブロックとして取得する再生データ取得部と、
前記イベントの種類に基づいて前記デスクトップ空間画像と前記データ・ブロックの関連づけを定義した最適時系列予測モデルと、
前記最適時系列予測モデルを参照し前記デスクトップ空間画像と前記データ・ブロックを関連付ける時系列判定部と
を有する再生支援システム。 - 前記最適時系列予測モデルが、前記デスクトップ空間画像を取得する特定のイベントの種類と該特定のイベントが生成されたときにすでに生成されていた他のイベントの種類で構成されるイベント条件に基づいて前記デスクトップ空間画像と前記データ・ブロックの関連づけを定義する請求項1に記載の再生支援システム。
- 前記最適時系列予測モデルは、特定のイベントに応答して取得された前記デスクトップ空間画像と前記特定のイベントに応答して取得された前記データ・ブロックまたは前記特定のイベントの直後に生成されたイベントに応答して取得された前記データ・ブロックのいずれかとの関連づけを定義する請求項1または請求項2に記載の再生支援システム。
- 前記所定の操作に対応するイベントが、前記連続再生データの取得の開始に対応する取得開始イベント、前記連続再生データの取得の終了に対応する取得終了イベント、前記アノテーションの書き込みが可能な状態への移行に対応するアノテーション開始イベント、および前記アノテーションの書き込み終了する状態への移行に対応するアノテーション終了イベントを含む請求項1から請求項3のいずれかに記載の再生支援システム。
- 前記取得開始イベントまたは前記取得終了イベントに応答して変化するTSS値を設定するTSS設定部と、
前記アノテーション開始イベントまたは前記アノテーション終了イベントに応答して変化するESS値を設定するESS設定部とを有し、
前記最適時系列予測モデルが前記TSS値、前記ESS値、および前記イベントの種類に応じて前記デスクトップ空間画像と前記データ・ブロックの関連付けを定義する請求項4に記載の再生支援システム。 - 前記アノテーション終了イベントに基づいて前記画像取得部はアノテーションが書き込まれたデスクトップ空間画像と該デスクトップ空間画像から前記アノテーションが消去されたデスクトップ空間画像を記録し、前記時系列判定部は前記アノテーションが書き込まれたデスクトップ空間画像に前記アノテーション終了イベントに応答して取得されたデータ・ブロックを関連付け、前記アノテーションが消去されたデスクトップ空間画像に前記アノテーション終了イベントの直後に生成されたイベントに応答して取得されたデータ・ブロックを関連付ける請求項4または請求項5に記載の再生支援システム。
- 前記イベントが、前記再生支援システムの動作の開始に対応するシステム開始イベント、前記再生支援システムの動作の終了に対応するシステム終了イベント、書き込まれたアノテーションを消去するアノテーション消去イベント、前記デスクトップ空間画像を取得する画像取得イベント、前記ディスプレイに表示されているウインドウのページを変更するページ・イベントからなるグループから選択されたいずれか1つの要素または任意の複数の要素を含む請求項1から請求項6のいずれかに記載の再生支援システム。
- 前記時系列判定部は、前記最適時系列予測モデルに基づいて1つのデータ・ブロックに2つのデスクトップ空間画像を関連付けた場合に、前記イベントの優先度に基づいていずれかのデスクトップ空間画像の関連付けを解除する請求項1から請求項7のいずれかに記載の再生支援システム。
- 各データ・ブロックの再生時間が所定の値よりも短い場合に複数のデータ・ブロックを結合して集合データ・ブロックを形成する再生範囲判定部を有する請求項1から請求項8のいずれかに記載の再生支援システム。
- 前記集合データ・ブロックに関連付けられている複数のデスクトップ空間画像の中から、前記イベントの優先度に基づいて1または複数のデスクトップ空間画像を選択する最適画像選択部を有する請求項9に記載の再生支援システム。
- 前記デスクトップ空間画像と前記データ・ブロックを関連付けたメタデータを作成するメタデータ作成部を有する請求項1から請求項10のいずれかに記載の再生支援システム。
- デスクトップ空間画像を表示するディスプレイと、
音声データを取得するマイクロフォンと、
請求項1から請求項11のいずれかに記載の再生支援システムと
を有する情報処理装置。 - 連続再生データを取得しながらデスクトップ空間画像を表示するディスプレイにアノテーションを書き込むことが可能なコンピュータに、
前記アノテーションの書き込みと前記デスクトップ空間画像の表示と前記連続再生データの記録に関する所定のイベントごとに前記ディスプレイに表示されたデスクトップ空間画像を取得するステップと、
前記所定のイベントごとに前記連続再生データを前記イベント間のデータ・ブロックとして取得するステップと、
前記イベントの種類に基づいて前記デスクトップ空間画像にリンクさせる前記データ・ブロックを決定するステップと
を有する処理を実行させるコンピュータ・プログラム。 - 前記決定するステップは、さらに前記コンピュータが前記連続再生データの取得をしているか否かの判断および前記コンピュータが前記アノテーションの書き込みが可能な状態か否かの判断に基づいて前記デスクトップ空間画像にリンクさせる前記データ・ブロックを決定する請求項13に記載のコンピュータ・プログラム。
- 前記特定のイベントのそれぞれに優先度を付与するステップと、
前記決定するステップにおいて1つのデータ・ブロックに2つのデスクトップ空間画像がリンクされた場合に、前記優先度に基づいていずれか一方のデスクトップ空間画像だけをリンクさせるステップと
を有する請求項13または請求項14に記載のコンピュータ・プログラム。 - 各データ・ブロックの再生時間を計算するステップと、
特定のデータ・ブロックの前記再生時間が所定の値よりも小さい場合に前記特定のデータ・ブロックの直前または直後に取得されたデータ・ブロックを前記特定のデータ・ブロックに結合して集合データ・ブロックを生成するステップと
を有する請求項13から請求項15のいずれかに記載のコンピュータ・プログラム。 - 連続再生データを記録しながらデスクトップ空間画像を表示するディスプレイに対するアノテーションの書き込みが可能なコンピュータにおいて前記連続再生データを記録する方法であって、
前記コンピュータが、前記アノテーションの書き込みと前記デスクトップ空間画像の表示と前記連続再生データの記録に関する外部トリガを受け取るステップと、
前記外部トリガに応答して内部イベントを生成するステップと、
前記内部イベントごとに前記ディスプレイに表示されたデスクトップ空間画像を記録するステップと、
前記内部イベントごとに前記連続再生データを前記イベント間のデータ・ブロックとして記録するステップと、
前記内部イベントの種類に基づいて前記デスクトップ空間画像と前記データ・ブロックを関連付けるステップと、
前記デスクトップ空間画像に対する前記データ・ブロックの関連づけを示すメタデータを記録するステップと
を有する方法。 - 前記関連付けるステップが、前記イベントの種類と前記連続再生データの取得状態と前記アノテーションの書き込み状態とで構成されるイベント条件に基づいて前記デスクトップ空間画像と前記データ・ブロックの関連づけを定義した最適時系列予測モデルを参照するステップを含む請求項17に記載の方法。
- 連続再生データの記録とデスクトップ空間画像を表示するディスプレイに対するアノテーションの書き込みが可能なコンピュータにおいて前記連続再生データを再生する方法であって、
前記コンピュータが、前記アノテーションの書き込みと前記デスクトップ空間画像の表示と前記連続再生データの記録に関する外部トリガを受け取るステップと、
前記外部トリガに応答して内部イベントを生成するステップと、
前記内部イベントごとに前記ディスプレイに表示されたデスクトップ空間画像を記録するステップと、
前記内部イベントごとに前記連続再生データを前記イベント間のデータ・ブロックとして記録するステップと、
前記内部イベントの種類に基づいて前記デスクトップ空間画像と前記データ・ブロックを関連付けるステップと、
前記デスクトップ空間画像に対する前記データ・ブロックの関連づけを示すメタデータを作成するステップと、
前記メタデータを検索して前記デスクトップ空間画像を表示するステップと、
選択された前記デスクトップ空間画像に前記メタデータで関連付けられたデータ・ブロックを再生するステップと
を有する方法。 - 前記メタデータを作成するステップが特定のデータ・ブロックの再生時間が所定の時間よりも短い場合に、特定のデスクトップ空間画像に前記特定のデータ・ブロックの直前または直後に記録されたデータ・ブロックを結合したメタデータを作成する請求項19に記載の方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010039655A JP5155349B2 (ja) | 2010-02-25 | 2010-02-25 | 連続再生データを部分的に再生する再生支援システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010039655A JP5155349B2 (ja) | 2010-02-25 | 2010-02-25 | 連続再生データを部分的に再生する再生支援システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011175499A JP2011175499A (ja) | 2011-09-08 |
JP5155349B2 true JP5155349B2 (ja) | 2013-03-06 |
Family
ID=44688290
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010039655A Active JP5155349B2 (ja) | 2010-02-25 | 2010-02-25 | 連続再生データを部分的に再生する再生支援システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5155349B2 (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003058901A (ja) * | 2001-08-16 | 2003-02-28 | Sony Corp | 記録装置および方法、再生装置および方法、記録媒体、並びにプログラム |
JP2008090526A (ja) * | 2006-09-29 | 2008-04-17 | Fuji Xerox Co Ltd | 会議情報保存装置、システム、会議情報表示装置及びプログラム |
-
2010
- 2010-02-25 JP JP2010039655A patent/JP5155349B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011175499A (ja) | 2011-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4439462B2 (ja) | 情報提示方法、情報提示装置及び情報提示プログラム | |
US5572728A (en) | Conference multimedia summary support system and method | |
KR101032634B1 (ko) | 미디어 파일 재생 방법 및 장치 | |
JP2007531940A (ja) | ユーザビリティテストを実施する自動化システムおよび方法 | |
TWI478043B (zh) | 行動裝置應用頁面樣版之產生系統、方法及其記錄媒體 | |
US8713069B2 (en) | Playlist search device, playlist search method and program | |
KR20170066415A (ko) | 문맥적 데이터를 이용한 비디오 편집 및 클러스터를 이용한 컨텐트 검색 | |
US20120210201A1 (en) | Operation method for memo function and portable terminal supporting the same | |
JP2007115180A (ja) | 情報処理装置、情報表示方法および情報表示プログラム | |
JP2008084110A (ja) | 情報表示装置、情報表示方法及び情報表示プログラム | |
WO2014069114A1 (ja) | 情報処理装置、再生状態制御方法及びプログラム | |
JP3266959B2 (ja) | 電子会議システム | |
JP2002082684A (ja) | プレゼンテーションシステム及びプレゼンテーションデータ生成方法、並びに記録媒体 | |
US8020097B2 (en) | Recorder user interface | |
JP5748279B2 (ja) | 視聴対象出力装置、および視聴対象出力装置の動作方法 | |
JP4695609B2 (ja) | コンテンツ再生装置、コンテンツ再生方法およびコンテンツ再生プログラム | |
JP5345963B2 (ja) | 画像イメージを検索するタグデータの生成方法 | |
JP4625862B2 (ja) | オーサリング装置およびオーサリング方法 | |
JP3919753B2 (ja) | 情報処理装置及びその方法、並びに制御プログラム | |
JP5155349B2 (ja) | 連続再生データを部分的に再生する再生支援システム | |
JP2007193426A (ja) | 情報処理装置及び操作ログ収集方法及び操作ログ収集プログラム | |
JP7254842B2 (ja) | アプリとウェブサイトの連動によって音声ファイルに対するメモを作成する方法、システム、およびコンピュータ読み取り可能な記録媒体 | |
JP4574113B2 (ja) | 表示画面に付加情報を重畳表示するためのファイルを作成する装置及び磁気記録媒体 | |
JP2002344849A (ja) | 動画像処理装置、動画像処理方法、記録媒体、及び制御プログラム | |
JP2005141284A (ja) | 記録、再生方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120723 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120731 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120925 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121206 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151214 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5155349 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |