JP6410329B2 - 映像記録作成装置、映像記録作成方法およびプログラム - Google Patents

映像記録作成装置、映像記録作成方法およびプログラム Download PDF

Info

Publication number
JP6410329B2
JP6410329B2 JP2016565809A JP2016565809A JP6410329B2 JP 6410329 B2 JP6410329 B2 JP 6410329B2 JP 2016565809 A JP2016565809 A JP 2016565809A JP 2016565809 A JP2016565809 A JP 2016565809A JP 6410329 B2 JP6410329 B2 JP 6410329B2
Authority
JP
Japan
Prior art keywords
frame image
video
frame
image
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016565809A
Other languages
English (en)
Other versions
JPWO2016103457A1 (ja
Inventor
賢吾 鶴薗
賢吾 鶴薗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp NEC Display Solutions Ltd
Original Assignee
NEC Display Solutions Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Display Solutions Ltd filed Critical NEC Display Solutions Ltd
Publication of JPWO2016103457A1 publication Critical patent/JPWO2016103457A1/ja
Application granted granted Critical
Publication of JP6410329B2 publication Critical patent/JP6410329B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、映像の記録を作成する映像記録作成装置及び映像記録作成方法に関する。また、本発明は、そのような映像記録作成装置に用いられるプログラムに関する。
プレゼンテーションや会議の記録情報として、パーソナルコンピュータ(PC)等の画面に表示された資料の画像を映像(動画)として保存する場合がある。このような場合に、保存した映像(動画)を要約して記録することができれば、短時間で、資料を確認することができる。
プレゼンテーション資料の映像を要約することができる装置が提案されている(特許文献1参照)。
特許文献1には、オーディオビジュアルプレゼンテーションの要約を自動的に作成するシステムが記載されている。このシステムは、プレゼンテーションをキャプチャする画像キャプチャ装置と、キャプチャされたプレゼンテーションデータを画像キャプチャ装置から受け取るコンピューティング装置と、を有する。
コンピューティング装置は、オーディオビジュアルプレゼンテーションのオーディオビジュアルデータ(オリジナル)にアクセスすることができる。コンピューティング装置は、スライドセグメンテーションモジュール、ショット検出モジュール及びテンプレートマッチングモジュールを有する。
スライドセグメンテーションモジュールは、ビデオフレームからスライド領域を抽出する。ショット検出モジュールは、隣接フレーム間でスライド領域の変化(スライドの変化点)を検出し、該変化に応じてビデオフレームのグループを識別する。テンプレートマッチングモジュールは、抽出されたスライド領域を分析することによって、予め保持されたスライド(オリジナル)を対応するビデオショットにリンクさせる。具体的には、グループとされたビデオフレームをキーフレームとし、このキーフレームをスライド(オリジナル)を対応するビデオショットにリンクするテンプレートとして使用する。キーフレーム又はスライド(オリジナル)によって映像の要約が作成される。
特開2005−108225号公報
しかしながら、特許文献1に記載のシステムにおいては、同一ページ内の表示要素を段階的に表示する場合に、スライドの変化点を正確に検出することは困難である。
例えば、第1及び第2の文字列を含むスライドについて、第1の文字列を表示し、その後、第1の文字列に第2の文字列が追加された状態で表示する場合がある。この場合、第1の文字列の表示画面に対応するフレームと、第1及び第2の文字列の表示画面に対応するフレームとの間で、スライド領域の変化が検出されてしまう。その結果、同一のページについて、2つの要約フレームが作成されてしまう。
本発明の目的は、上記問題を解決し、適切に要約された記録、例えば要約フレームを作成することができる、映像記録作成装置、映像記録作成方法およびプログラムを提供することにある。
上記目的を達成するため、本発明の一態様によれば、
複数の画像が順に画面に表示される映像の記録を作成する映像記録作成装置であって、
情報を記憶する記憶部と、
前記映像を示す複数のフレームからなる映像信号を入力とし、該映像信号から所定の時間間隔でフレーム画像を取得する画像キャプチャ部と、
前記画像キャプチャ部が取得したフレーム画像について、時間的に連続する前後のフレーム画像を比較し、前のフレーム画像に含まれている前記画面の表示情報が後のフレーム画像で変化した場合に、前記前のフレーム画像を記録フレームとして前記記憶部に格納する映像処理部と、を有する、映像記録作成装置が提供される。
本発明の別の態様によれば、複数の画像が順に画面に表示される映像の記録を作成する映像記録作成方法であって、
前記映像を示す複数のフレームからなる映像信号から所定の時間間隔でフレーム画像を取得し、
取得したフレーム画像について、時間的に連続する前後のフレーム画像を比較し、前のフレーム画像に含まれている前記画面の表示情報が後のフレーム画像で変化した場合に、前記前のフレーム画像を記録フレームとして記憶部に格納する、映像記録作成方法が提供される。
本発明の他の態様によれば、
複数の画像が順に画面に表示される映像を示す複数のフレームからなる映像信号から所定の時間間隔でフレーム画像を取得する手順と、
取得したフレーム画像について、時間的に連続する前後のフレーム画像を比較し、前のフレーム画像に含まれている前記画面の表示情報が後のフレーム画像で変化した場合に、前記前のフレーム画像を記録フレームとして記憶部に格納する手順と、をコンピュータに実行させるためのプログラムが提供される。
本発明の第1の実施形態である映像記録作成装置の概略構成を示すブロック図である。 図1に示す映像記録作成装置において行われる映像記録作成処理の一手順を示すフローチャートである。 プレゼンテーション資料の映像から取得したフレームイメージの一例を示す模式図である。 プレゼンテーション資料の映像から取得したフレームイメージの別の例を示す模式図である。 プレゼンテーション資料の映像から取得したフレームイメージのさらに別の例を示す模式図である。 プレゼンテーション資料の映像から取得したフレームイメージのさらに別の例を示す模式図である。 本発明の第2の実施形態である映像記録作成装置の概略構成を示すブロック図である。
次に、本発明の実施形態について図面を参照して説明する。
(第1の実施形態)
図1は、本発明の第1の実施形態である映像記録作成装置の概略構成を示すブロック図である。
図1を参照すると、映像記録作成装置1は、CPU(Central Processing Unit)部10、記憶部20、画像キャプチャ部30、通信部40及び操作部50を有し、これらは内部バス60に接続されている。
操作部50は、複数の操作キー(キーボードやタッチパネルなども含む)を備え、使用者による入力操作に応じた操作内容を示す操作信号を出力する。使用者は、操作部50を用いて映像記録作成装置1を動作させるための入力操作を行う。
通信部40は、通信ケーブルや無線LAN(Local Area Network)を介して外部装置と通信を行う。通信部40は、インターネットへの接続が可能な通信機能を有してもよい。ここでは、通信部40は、外部装置である映像発生装置2に接続されている。
映像発生装置2は、例えば、パーソナルコンピュータ(PC)やタブレット端末などの情報処理端末である。映像発生装置2は、複数のスライド画像が順に画面に表示される映像を示す複数のフレームからなる映像信号を発生する。プレゼンテーション資料の各ページが、それぞれスライド画像として提供される。映像発生装置2からの映像信号は、映像記録作成装置1の通信部40に供給される。
記憶部20は、半導体メモリ、光ディスクや磁気ディスクを用いた記憶デバイスなどで構成される記憶装置であって、映像記録作成装置1を動作させるのに必要な種々のプログラムやデータを保持する。例えば、記憶部20は、ソフトウェア21、直前のフレームイメージ22、現在のフレームイメージ23、現在のフレームの文字認識結果24、直前のフレームの文字認識結果25及び記録フレームイメージ群26を保持する。
ソフトウェア21は、映像の記録、例えば、映像の要約を作成するためのプログラムである。直前のフレームイメージ22及び現在のフレームイメージ23として、プレゼンテーション映像の時間的に連続する前後のフレームに関する画像データが保持される。現在のフレームの文字認識結果24は、現在のフレームイメージ23の文字認識結果である。直前のフレームの文字認識結果25は、直前のフレームイメージ22の文字認識結果である。記録フレームイメージ群26は、要約フレームイメージを保持する。
画像キャプチャ部30は、映像発生装置2から供給された映像信号から画像(フレームイメージ)を順次取得する。画像キャプチャ部30は、取得した画像(フレームイメージ)を直接、又は、CPU部10を介して、記憶部20の現在のフレームイメージ23に保存する。フレームイメージを現在のフレームイメージ23に保存する際に、現在のフレームイメージ23に既にフレームイメージが保存されている場合は、現在のフレームイメージ23に保存さていたフレームイメージは、直前のフレームイメージ22に保存(転送)される。この動作に同期して、現在のフレームの文字認識結果24の内容が直前のフレームの文字認識結果25に保存(転送)される。現在のフレームイメージ23から直前のフレームイメージ22への転送処理及び現在のフレームの文字認識結果24から直前のフレームの文字認識結果25への転送処理は、連動して実行される。これら転送処理は画像キャプチャ部30及びCPU部10のどちらが行ってもよい。
CPU部10は、記憶部20に格納されたプログラムに従って動作し、操作部50からの操作信号に従って必要な処理を実行する。CPU部10は、バイナリ比較部11、文字認識部12及び文字認識結果比較部13を有する。これらバイナリ比較部11、文字認識部12及び文字認識結果比較部13は、映像処理部を構成するものであって、例えば、CPU部10がソフトウェア21を実行することにより実現されてもよい。
バイナリ比較部11は、現在のフレームイメージ23と直前のフレームイメージ22との間でバイナリ比較(バイナリベースでの比較)を行い、比較結果を文字認識部12に供給する。バイナリ比較は、フレームイメージが現在のフレームイメージ23に格納される度に実行される。
文字認識部12は、第1及び第2の文字認識処理を実行する。文字認識とは、例えば画像処理技術で知られているパターン認識の1つであって、フレームイメージ内に含まれる文字(記号を含む)を認識することをいう。フレームイメージ内に含まれる文字(記号を含む)は、表示情報である。
第1の文字認識処理において、文字認識部12は、直前のフレームの文字認識結果25を参照し、現在のフレームイメージ23の対応領域について文字認識を行う。ここで、現在のフレームイメージ23の対応領域は、直前のフレーム内の文字列が存在する領域(矩形領域)に対応する。一方、第2の文字認識処理においては、文字認識部12は、現在のフレームイメージ23全体に対して文字認識を行い、その認識結果を現在のフレームの文字認識結果24に格納する。
文字認識結果比較部13は、直前のフレームの文字認識結果25と第1の文字認識処理の結果(現在のフレームイメージ23の対応領域の文字認識結果)とを比較する。そして、両結果が一致しなかった場合に、文字認識結果比較部13は、直前のフレームイメージ22を記録フレーム(要約フレーム)として記録フレームイメージ群26に格納する。
なお、図1に示した構成例では、画像キャプチャ部30は、CPU部10とは別に設けられているが、これに代えて、CPU部10の機能ブロックの一つが画像キャプチャ部30を構成してもよい。この場合、画像キャプチャ部30を構成する機能ブロックは、ソフトウェア21により提供されてもよい。
ソフトウェア21を含むプログラムは、記録媒体を用いて提供されてもよく、インターネット等の通信網を介して提供されてもよい。記録媒体は、CD−ROM(Compact Disc Read Only Memory)、DVD(Digital Versatile Disc)、USB(Universal Serial Bus)メモリ、メモリカードなどである。
次に、映像記録作成装置1の映像記録作成動作について詳細に説明する。
図2は、映像記録作成処理の一手順を示すフローチャートである。
図2を参照すると、まず、画像キャプチャ部30が、映像発生装置2から取得したフレームイメージを現在のフレームイメージ23として記憶部20に保存する(ステップS1)。そして、CPU部10が、現在のフレームイメージ23の保存が1回目か否かを判定する(ステップS2)。この判定は、バイナリ比較部11によって行われてもよい。
現在のフレームイメージ23の保存が1回目である場合は、文字認識部12が、現在のフレームイメージ23全体の文字認識を行い、その結果を現在のフレームの文字認識結果24として記憶部20に保存する(ステップS3)。そして、画像キャプチャ部30によるキャプチャ動作を一定期間スリープする(ステップS4)。ステップS4の後、再度、ステップS1の処理が実行される。
現在のフレームイメージ23の保存が1回目でない場合は、バイナリ比較部11が、現在のフレームイメージ23と直前のフレームイメージ22の間でバイナリ比較を行う(ステップS5)。そして、バイナリ比較部11は、現在のフレームイメージ23と直前のフレームイメージ22の間で変化が有ったか否かを判定する(ステップS6)。
ステップS6で変化が無いと判断された場合は、ステップS4の処理が実行される。ステップS6で変化が有ると判断された場合は、文字認識部12が、直前のフレームの文字認識結果25を参照し、現在のフレームイメージ23の対応領域について文字認識を行う(ステップS7)。次に、文字認識結果比較部13が、直前のフレームの文字認識結果25と現在のフレームイメージ23の対応領域の文字認識結果とを比較する(ステップS8)。そして、文字認識結果比較部13が、両フレームの文字列が一致したか否かを判定する(ステップS9)。
ステップS9の判定で文字列が一致した場合は、ステップS4の処理が実行される。ステップS9の判定で文字列が一致しなかった場合は、文字認識結果比較部13が、直前のフレームイメージ22を要約フレームとして記録フレームイメージ群26に格納する(ステップS10)。その後、文字認識部12が、現在のフレームイメージ23全体の文字認識を行い、その結果を現在のフレームの文字認識結果24として記憶部20に保存する(ステップS11)。ステップS11の後、ステップS4の処理が実行される。
上述の映像記録作成装置1によれば、時間的に連続する前後のフレーム間で、前のフレーム内に含まれている文字列が後のフレームで変化した場合に、前のフレームが要約フレームとして記録フレームイメージ群26に格納される。これにより、プレゼンテーション資料の文字を含むページについて、フレームイメージを重複することなく記録フレームイメージ群26に格納することができる。
以下に、具体的な例を挙げて映像記録作成動作を詳細に説明する。
図3A〜図3Dに、プレゼンテーション資料の映像から所定の時間間隔で取得したフレームイメージの一例を示す。図3Aは、1ページ目のスライド画像に対応するフレームイメージを示す。図3Bは、2ページ目のスライド画像の第1の表示状態に対応するフレームイメージを示す。図3Cは、2ページ目のスライド画像の第2の表示状態に対応するフレームイメージを示す。図3Dは、3ページ目のスライド画像に対応するフレームイメージを示す。
図3Aに示すように、1ページ目のスライド画像は、文字列として、「社外秘」、「2010−11年度売上報告」及び「1」を含む。映像記録作成装置1では、画像キャプチャ部30が1ページ目のスライド画像に対応するフレームイメージP1を現在のフレームイメージ23に保存し、文字認識部12が、現在のフレームイメージ23全体の文字認識を行い、その結果を現在のフレームの文字認識結果24に保存する。ここで、現在のフレームの文字認識結果24は、「社外秘」、「2010−11年度売上報告」及び「1」を含む。
図3Bおよび図3Cに示すように、2ページ目のスライド画像は、文字列として、「目次」、「2010年度の売上比較」及び「2011年度の売上比較」を含む。第1の表示状態では「目次」のみが表示され、第2の表示状態では、「目次」、「2010年度の売上比較」及び「2011年度の売上比較」の全てが表示される。
映像記録作成装置1では、画像キャプチャ部30が2ページ目のスライド画像の第1の表示状態に対応するフレームイメージP2−1を現在のフレームイメージ23に保存する。このとき、現在のフレームイメージ23に保存されていたフレームイメージP1は、直前のフレームイメージ22に保存(転送)され、かつ、現在のフレームの文字認識結果24の内容(フレームP1の文字認識結果)が直前のフレームの文字認識結果25に保存(転送)される。
フレームイメージP2−1が現在のフレームイメージ23に保存されると、バイナリ比較部11が、現在のフレームイメージ23(フレームイメージP2−1)と直前のフレームイメージ22(フレームイメージP1)との間でバイナリ比較を行う。これらフレームイメージ22、23の間には変化が有る。このため、文字認識部12が、直前のフレームの文字認識結果25(フレームイメージP1の文字認識結果)を参照し、現在のフレームイメージ23(フレームイメージP2−1)の対応領域について文字認識を行う。そして、文字認識結果比較部13が、直前のフレームの文字認識結果25と現在のフレームイメージ23の対応領域の文字認識結果とを比較する。
直前のフレームの文字認識結果25は、「社外秘」、「2010−11年度売上報告」及び「1」を含む。一方、フレームイメージP2−1の対応領域の文字認識結果は、「社外秘」及び「2」を含む。すなわち、直前のフレームの文字認識結果25に含まれていた「2010−11年度売上報告」は、フレームイメージP2−1には含まれていない。直前のフレームの文字認識結果25とフレームイメージP2−1の対応領域の文字認識結果との間で文字列が一致しないので、文字認識結果比較部13は、直前のフレームイメージ22(フレームイメージP1)を記録フレームイメージ群26に格納する。
次に、画像キャプチャ部30が2ページ目のスライド画像の第2の表示状態に対応するフレームイメージP2−2を現在のフレームイメージ23に保存する。このとき、現在のフレームイメージ23に保存されていたフレームイメージP2−1は、直前のフレームイメージ22に保存(転送)され、かつ、現在のフレームの文字認識結果24の内容(フレームP2−1の文字認識結果)が直前のフレームの文字認識結果25に保存(転送)される。
フレームイメージP2−2が現在のフレームイメージ23に保存されると、バイナリ比較部11が、現在のフレームイメージ23(フレームイメージP2−2)と直前のフレームイメージ22(フレームイメージP2−1)との間でバイナリ比較を行う。これらフレームイメージ22、23の間には変化が有る。このため、文字認識部12が、直前のフレームの文字認識結果25(フレームイメージP2−1の文字認識結果)を参照し、現在のフレームイメージ23(フレームイメージP2−2)の対応領域について文字認識を行う。そして、文字認識結果比較部13が、直前のフレームの文字認識結果25と現在のフレームイメージ23の対応領域の文字認識結果とを比較する。
直前のフレームの文字認識結果25は、「社外秘」、「目次」及び「2」を含む。一方、フレームイメージP2−2の対応領域の文字認識結果は、「社外秘」「目次」及び「2」を含む。すなわち、直前のフレームの文字認識結果25とフレームイメージP2−2の対応領域の文字認識結果との間で文字列は一致する。よって、文字認識結果比較部13は、直前のフレームイメージ22(フレームイメージP2−1)を記録フレームイメージ群26には格納しない。
図3Dに示すように、3ページ目のスライド画像は、文字列として、「社外秘」、「2010年」、「A」、「B」、「C」、「D」、「E」、「2010年」及び「3」を含み、かつ、図形(グラフ)を含む。
映像記録作成装置1では、画像キャプチャ部30が3ページ目のスライド画像に対応するフレームイメージP3を現在のフレームイメージ23に保存する。このとき、現在のフレームイメージ23に保存されていたフレームイメージP2−2は、直前のフレームイメージ22に保存(転送)され、かつ、現在のフレームの文字認識結果24の内容(フレームP2−2の文字認識結果)が直前のフレームの文字認識結果25に保存(転送)される。
フレームイメージP3が現在のフレームイメージ23に保存されると、バイナリ比較部11が、現在のフレームイメージ23(フレームイメージP3)と直前のフレームイメージ22(フレームイメージP2−2)との間でバイナリ比較を行う。これらフレームイメージ22、23の間には変化が有る。このため、文字認識部12が、直前のフレームの文字認識結果25(フレームイメージP2−2の文字認識結果)を参照し、現在のフレームイメージ23(フレームイメージP3)の対応領域について文字認識を行う。そして、文字認識結果比較部13が、直前のフレームの文字認識結果25と現在のフレームイメージ23の対応領域の文字認識結果とを比較する。
直前のフレームの文字認識結果25は、「社外秘」、「目次」、「2010年度売上比較」、「2011年度売上比較」及び「2」を含む。一方、フレームイメージP3の対応領域の文字認識結果は、「社外秘」及び「3」を含む。すなわち、直前のフレームの文字認識結果25に含まれていた「目次」、「2010年度売上比較」、「2011年度売上比較」及び「2」は、フレームイメージP3には含まれていない。直前のフレームの文字認識結果25とフレームイメージP3の対応領域の文字認識結果との間で文字列が一致しないので、文字認識結果比較部13は、直前のフレームイメージ22(フレームP2−2)を記録フレームイメージ群26に格納する。
フレームイメージP3の処理を行った後の記録フレームイメージ群26には、1ページ目のスライド画像を示すフレームイメージP1及び2ページ目のスライド画像の最後の状態を示すフレームイメージP2−2が格納されている。このように、各ページのフレームイメージを重複することなく記録フレームイメージ群26に格納することが可能である。
なお、単に、時間的に連続する前後のフレーム間で文字列の検出結果が一致しない場合に、前のフレームを要約フレームとする方法では、2ページ目のスライド画像について、図3Bに示したフレームイメージP2−1と図3Cに示したフレームイメージP2−2が要約フレームとして保存される。この場合、不要なフレームP2−1が要約フレームとして保存されるという問題が生じる。これに対して、本実施形態では、2ページ目のスライド画像のような、文字列が順次追加されて複数の表示状態で表示される場合において、文字列の追加が完了した最後の状態を示す1つのフレームイメージが記録フレームイメージ群26に格納される。このように、不要なフレームが要約フレームとして保存されることを抑制することができる。
(第2の実施形態)
図4は、本発明の第2の実施形態である映像記録作成装置の概略構成を示すブロック図である。図1に示した映像記録作成装置1では文字認識を用いて映像の要約を作成していたが、本実施形態の映像記録作成装置1aは、図形認識を用いて映像の要約を作成する。図形認識は、例えば画像処理技術で知られているパターン認識の1つであって、フレームイメージ内に含まれているグラフ等の図形を認識することをいう。フレームイメージ内に含まれる図形は表示情報である。
映像記録作成装置1aは、文字認識部12、文字認識結果比較部13、現在のフレームの文字認識結果24及び直前のフレームの文字認識結果25に代えて、図形認識部12a、図形認識結果比較部13a、現在のフレームの図形認識結果24a及び直前のフレームの図形認識結果25aを有する。この他の構成は、図1に示した映像記録作成装置1と同じである。図形認識部12a及び図形認識結果比較部13aは、ソフトウェア21により実現される機能ブロックであってもよい。
図形認識部12aは、第1及び第2の図形認識処理を実行する。第1の図形認識処理において、図形認識部12aは、直前のフレームの図形認識結果25aを参照し、現在のフレームイメージ23の対応領域について図形認識を行う。ここで、現在のフレームイメージ23の対応領域は、直前のフレーム内の図形が存在する領域(矩形領域)に対応する。一方、第2の図形認識処理においては、図形認識部12aは、現在のフレームイメージ23全体に対して図形認識を行い、その認識結果を現在のフレームの図形認識結果24aに格納する。
図形認識結果比較部13aは、直前のフレームの図形認識結果25aと第1の図形認識処理の結果(現在のフレームイメージ23の対応領域の図形認識結果)とを比較する。そして、両結果が一致しなかった場合、すなわち、直前のフレームで認識した図形が現在のフレームで変化した場合に、認識結果比較部13aは、直前のフレームイメージ22を記録フレーム(要約フレーム)として記録フレームイメージ群26に格納する。
図形認識を用いた映像記録作成処理の手順は、図2に示した文字認識を用いた映像記録作成処理手順のステップS3、S7、S8、S9、S11において、「文字」を「図形」に置き換えることで説明することができる。
本実施形態の映像記録作成装置1aによれば、文字が少ない図形主体の資料の映像について、要約フレームの抽出が可能であり、図形を含むページについて、フレームイメージを重複することなく記録フレームイメージ群26に格納することが可能である。例えば、同一ページの表示画面でありながら、図形が順次追加されて複数の表示状態で表示されるケース(例えば、図3A〜図3D)において、図形の追加が完了した最後の状態を示す1つのフレームイメージが記録フレームイメージ群26に格納される。よって、不要なフレームが要約フレームとして保存されることを抑制することができる。
以上説明した各実施形態の映像記録作成装置は本発明の一例であり、その構成及び動作は、適宜に変更することができる。
例えば、第1の実施形態の映像記録作成装置において、第2の実施形態で説明した図形認識に関わる構成を加えてもよい。この場合、文字認識部12及び文字認識結果比較部13がそれぞれ、図形認識部12a及び図形認識結果比較部13aの機能を有していてもよい。
また、第1又は第2の実施形態の映像記録作成装置において、現在のフレームイメージ23に保存さていたフレームイメージが直前のフレームイメージ22に保存(転送)され、現在のフレームの文字認識結果24(画像認識結果)の内容が直前のフレームの文字認識結果25(画像認識結果)に保存(転送)されたが、転送せずに現在のフレームイメージ(文字認識結果、画像認識結果)と直前のフレームイメージ(文字認識結果、画像認識結果)との、現在または直前を示す属性を変更するようにしてもよい。つまり、現在のフレームイメージ(文字認識結果、画像認識結果)を直前のフレームイメージ(文字認識結果、画像認識結果)とし、直前のフレームイメージ(文字認識結果、画像認識結果)に現在のフレームイメージ(文字認識結果、画像認識結果)を保存する。この場合、現在のフレームイメージ(文字認識結果、画像認識結果)を直前のフレームイメージ(文字認識結果、画像認識結果)に保存(転送)する時間を短縮することができる。
また、第1又は第2の実施形態の映像記録作成装置において、映像発生装置2は映像記録作成装置内に設けられてもよい。
映像発生装置2は、入力操作に応じて、画面に表示されるスライド画像を切り替えるように構成されてもよい。また、映像発生装置2は、複数のスライド画像が所定のシーケンスに従って順に画面に表示されるように構成されてもよい。いずれの場合も、映像発生装置2は、画面に表示されているスライド画像を示す映像信号を出力する。すなわち、映像発生装置2は、複数のスライド画像が順に画面に表示される映像を示す映像信号を出力する。
さらに、複数のスライド画像が順に画面に表示される映像を示す映像データが記憶部20に格納されてもよい。この場合、記憶部20に格納された映像データに基づく映像信号が画像キャプチャ部30に供給される。
以上説明した本発明は、モニタやプロジェクターなどの映像表示装置、そのような映像表示装置に表示された内容を記録する記録装置、映像を遠隔地へ伝送する映像伝送装置に適用することができる。
また、本発明は、以下の付記1〜8のような形態をとり得るが、これら形態に限定されない。
[付記1]
複数の画像が順に画面に表示される映像の記録を作成する映像記録作成装置であって、
情報を記憶する記憶部と、
前記映像を示す複数のフレームからなる映像信号を入力とし、該映像信号から所定の時間間隔でフレーム画像を取得する画像キャプチャ部と、
前記画像キャプチャ部が取得したフレーム画像について、時間的に連続する前後のフレーム画像を比較し、前のフレーム画像に含まれている前記画面の表示情報が後のフレーム画像で変化した場合に、前記前のフレーム画像を記録フレームとして前記記憶部に格納する映像処理部と、を有する、映像記録作成装置。
[付記2]
付記1に記載の映像記録作成装置において、
前記映像処理部は、前記前後のフレーム画像を比較する際に、前記前のフレーム画像から前記表示情報の領域を抽出し、該抽出領域と、前記後のフレーム画像内の前記抽出領域に対応する領域とに基づいて前記前後のフレーム画像を比較する、映像記録作成装置。
[付記3]
付記1または2に記載の映像記録作成装置において、
前記表示情報は文字及び図形の少なくとも一方を含む、映像記録作成装置。
[付記4]
付記1から3のいずれか1つに記載の映像記録作成装置において、
前記映像処理部は、前記前後のフレーム画像の間でバイナリ比較を行い、該フレーム画像間に差異がある場合に、前記抽出領域に基づく比較を行う、映像記録作成装置。
[付記5]
付記1から4のいずれか1つに記載の映像記録作成装置において、
前記映像信号を発生する映像発生部を、さらに有する、映像記録作成装置。
[付記6]
付記1から5のいずれか1つに記載の映像記録作成装置において、
前記映像を示す映像データが前記記憶部に保持され、
前記映像信号が前記映像データよりなる、映像記録作成装置。
[付記7]
複数の画像が順に画面に表示される映像の記録を作成する映像記録作成方法であって、
前記映像を示す複数のフレームからなる映像信号から所定の時間間隔でフレーム画像を取得し、
取得したフレーム画像について、時間的に連続する前後のフレーム画像を比較し、前のフレーム画像に含まれている前記画面の表示情報が後のフレーム画像で変化した場合に、前記前のフレーム画像を記録フレームとして記憶部に格納する、映像記録作成方法。
[付記8]
複数の画像が順に画面に表示される映像を示す複数のフレームからなる映像信号から所定の時間間隔でフレーム画像を取得する手順と、
取得したフレーム画像について、時間的に連続する前後のフレーム画像を比較し、前のフレーム画像に含まれている前記画面の表示情報が後のフレーム画像で変化した場合に、前記前のフレーム画像を記録フレームとして記憶部に格納する手順と、をコンピュータに実行させるためのプログラム。
1、1a 映像記録作成装置
2 映像発生部
10 CPU部
11 バイナリ比較部
12 文字認識部
12a 図形認識部
13 文字認識結果比較部
13a 図形認識結果比較部
20 記憶部
30 画像キャプチャ部
40 通信部
50 操作部
60 内部バス

Claims (8)

  1. 複数の画像が順に画面に表示される映像の記録を作成する映像記録作成装置であって、
    情報を記憶する記憶部と、
    前記映像を示す複数のフレームからなる映像信号を入力とし、該映像信号から所定の時間間隔でフレーム画像を取得する画像キャプチャ部と、
    前記画像キャプチャ部が取得したフレーム画像のうち、時間的に連続する前後のフレーム画像である第1のフレーム画像と第2のフレーム画像について前記第1のフレーム画像から前記画面の表示情報の領域を抽出し、該抽出領域の表示情報と、前記第2のフレーム画像内の、前記抽出領域に対応する領域の表示情報とを比較し、前記第1のフレーム画像から抽出した前記表示情報が前記第2のフレーム画像で変化した場合に、前記第1のフレーム画像を記録フレームとして前記記憶部に格納する映像処理部と、を有する、映像記録作成装置。
  2. 請求項1に記載の映像記録作成装置において、
    前記表示情報は文字及び図形の少なくとも一方を含む、映像記録作成装置。
  3. 請求項1または2に記載の映像記録作成装置において、
    前記映像処理部は、前記第1のフレーム画像と前記第2のフレーム画像の間でバイナリ比較を行い、該第1および第2のフレーム画像間に差異がある場合に、前記抽出領域に基づく比較を行う、映像記録作成装置。
  4. 請求項1からのいずれか1項に記載の映像記録作成装置において、
    前記映像信号を発生する映像発生部を、さらに有する、映像記録作成装置。
  5. 請求項1からのいずれか1項に記載の映像記録作成装置において、
    前記映像を示す映像データが前記記憶部に保持され、
    前記映像信号が前記映像データよりなる、映像記録作成装置。
  6. 請求項1から5のいずれか1項に記載の映像記録作成装置において、
    前記第1のフレーム画像から抽出した前記表示情報は、前記第1のフレーム画像の一部の領域に存在する、映像記録作成装置。
  7. 複数の画像が順に画面に表示される映像の記録を作成する映像記録作成方法であって、
    前記映像を示す複数のフレームからなる映像信号から所定の時間間隔でフレーム画像を取得し、
    取得したフレーム画像のうち、時間的に連続する前後のフレーム画像である第1のフレーム画像と第2のフレーム画像について前記第1のフレーム画像から前記画面の表示情報の領域を抽出し、該抽出領域の表示情報と、前記第2のフレーム画像内の、前記抽出領域に対応する領域の表示情報とを比較し、前記第1のフレーム画像から抽出した前記表示情報が前記第2のフレーム画像で変化した場合に、前記第1のフレーム画像を記録フレームとして記憶部に格納する、映像記録作成方法。
  8. 複数の画像が順に画面に表示される映像を示す複数のフレームからなる映像信号から所定の時間間隔でフレーム画像を取得する手順と、
    取得したフレーム画像のうち、時間的に連続する前後のフレーム画像である第1のフレーム画像と第2のフレーム画像について前記第1のフレーム画像から前記画面の表示情報の領域を抽出し、該抽出領域の表示情報と、前記第2のフレーム画像内の、前記抽出領域に対応する領域の表示情報とを比較し、前記第1のフレーム画像から抽出した前記表示情報が前記第2のフレーム画像で変化した場合に、前記第1のフレーム画像を記録フレームとして記憶部に格納する手順と、をコンピュータに実行させるためのプログラム。
JP2016565809A 2014-12-26 2014-12-26 映像記録作成装置、映像記録作成方法およびプログラム Active JP6410329B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/084542 WO2016103457A1 (ja) 2014-12-26 2014-12-26 映像記録作成装置、映像記録作成方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2016103457A1 JPWO2016103457A1 (ja) 2017-09-28
JP6410329B2 true JP6410329B2 (ja) 2018-10-24

Family

ID=56149545

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016565809A Active JP6410329B2 (ja) 2014-12-26 2014-12-26 映像記録作成装置、映像記録作成方法およびプログラム

Country Status (2)

Country Link
JP (1) JP6410329B2 (ja)
WO (1) WO2016103457A1 (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0993588A (ja) * 1995-09-28 1997-04-04 Toshiba Corp 動画像処理方法
JP4021449B2 (ja) * 1996-04-12 2007-12-12 株式会社日立国際電気 動画像編集方法および動画像編集装置
US7372991B2 (en) * 2003-09-26 2008-05-13 Seiko Epson Corporation Method and apparatus for summarizing and indexing the contents of an audio-visual presentation
JP2006120018A (ja) * 2004-10-22 2006-05-11 Ricoh Co Ltd 映像データ処理装置、映像データ処理方法、プログラム及び記録媒体
JP2007288697A (ja) * 2006-04-19 2007-11-01 Sanyo Electric Co Ltd 録画再生装置
JP4920395B2 (ja) * 2006-12-12 2012-04-18 ヤフー株式会社 動画要約自動作成装置、方法、及びコンピュータ・プログラム
JP5010292B2 (ja) * 2007-01-18 2012-08-29 株式会社東芝 映像属性情報出力装置、映像要約装置、プログラムおよび映像属性情報出力方法
JP5042182B2 (ja) * 2008-09-26 2012-10-03 Kddi株式会社 要約コンテンツ生成装置およびコンピュータプログラム

Also Published As

Publication number Publication date
WO2016103457A1 (ja) 2016-06-30
JPWO2016103457A1 (ja) 2017-09-28

Similar Documents

Publication Publication Date Title
TWI462035B (zh) 物件偵測後設資料
US20180213289A1 (en) Method of authorizing video scene and metadata
US11894021B2 (en) Data processing method and system, storage medium, and computing device
JP6237168B2 (ja) 情報処理装置及び情報処理プログラム
US20140351718A1 (en) Information processing device, information processing method, and computer-readable medium
US20160026858A1 (en) Image based search to identify objects in documents
JP2017162434A (ja) ドキュメントのウェブベースコピーを生成する方法、プログラム及び装置
US8244005B2 (en) Electronic apparatus and image display method
US9256792B2 (en) Image processing apparatus, image processing method, and program
JP6206202B2 (ja) 情報処理装置及び情報処理プログラム
US20160300321A1 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
US8405754B2 (en) Image processing apparatus and control method for image processing apparatus
JP2016085534A (ja) 画像処理装置、画像処理装置の制御方法およびプログラム
JP2009009255A (ja) 情報処理装置及び情報処理方法
US20190005133A1 (en) Method, apparatus and arrangement for summarizing and browsing video content
JP6237135B2 (ja) 情報処理装置及び情報処理プログラム
US9619101B2 (en) Data processing system related to browsing
WO2016018682A1 (en) Processing image to identify object for insertion into document
JP6410329B2 (ja) 映像記録作成装置、映像記録作成方法およびプログラム
US9224305B2 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium storing information processing program
WO2020054067A1 (ja) 画像情報処理装置、画像情報処理方法、及び画像情報処理プログラム
US11557065B2 (en) Automatic segmentation for screen-based tutorials using AR image anchors
JP6364182B2 (ja) 文字列認識装置および文字列認識方法
JP5554214B2 (ja) 会議録システム及びプログラム
JP6950436B2 (ja) 画像キャプチャ用コンピュータプログラム、画像キャプチャ装置及び画像キャプチャ方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180828

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180920

R150 Certificate of patent or registration of utility model

Ref document number: 6410329

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350