JP6878718B2 - ダイジェスト映像取得装置、ダイジェスト映像取得方法、およびプログラム - Google Patents

ダイジェスト映像取得装置、ダイジェスト映像取得方法、およびプログラム Download PDF

Info

Publication number
JP6878718B2
JP6878718B2 JP2016141801A JP2016141801A JP6878718B2 JP 6878718 B2 JP6878718 B2 JP 6878718B2 JP 2016141801 A JP2016141801 A JP 2016141801A JP 2016141801 A JP2016141801 A JP 2016141801A JP 6878718 B2 JP6878718 B2 JP 6878718B2
Authority
JP
Japan
Prior art keywords
frame
change information
video
partial
inter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016141801A
Other languages
English (en)
Other versions
JP2018013879A (ja
Inventor
露峰 浩
浩 露峰
一巧 黒木
一巧 黒木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seven Dew
Original Assignee
Seven Dew
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seven Dew filed Critical Seven Dew
Priority to JP2016141801A priority Critical patent/JP6878718B2/ja
Priority to PCT/JP2017/025691 priority patent/WO2018016434A1/ja
Publication of JP2018013879A publication Critical patent/JP2018013879A/ja
Application granted granted Critical
Publication of JP6878718B2 publication Critical patent/JP6878718B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8549Creating video summaries, e.g. movie trailer
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、映像からダイジェスト映像を取得するダイジェスト映像取得装置等に関するものである。
従来、検索要求を満足するダイジェストを同定し、当該ダイジェストをユーザに提示する映像検索ダイジェスト生成装置があった(特許文献1参照)。かかる装置において、映像を入力し、映像コンテンツ記憶手段に格納し、映像コンテンツ記憶手段から映像を読み出して解析し、キーワードを抽出し、検索ダイジェスト記憶手段に格納し、映像コンテンツ記憶手段から映像を読み出して、該映像を分割した区間のダイジェストを生成するための情報である要約情報として検索ダイジェスト記憶手段に格納する。そして、かかる装置は、ユーザから指定された検索語に対応するキーワードを検索ダイジェスト記憶手段から取得し、該キーワードに対応する要約情報を該検索ダイジェスト記憶手段から取得し、映像コンテンツ記憶手段から該要約情報の区分の映像をダイジェストとして取得して該ユーザの表示手段に出力する装置である。
特開2009−259167号公報(第1頁、第1図等)
しかし、従来技術においては、映像から一部を抽出した適切なダイジェスト映像を取得することが困難であった。
本第一の発明のダイジェスト映像取得装置は、映像を構成する2以上のフレームのうちの2以上のフレーム間の変化を示す情報であるフレーム間変化情報を取得する変化情報取得部と、フレーム間変化情報を用いて、映像の一部である1または2以上の部分映像を取得する部分映像取得部と、部分映像取得部が取得した1以上の部分映像を有するダイジェスト映像を蓄積する蓄積部とを具備するダイジェスト映像取得装置である。
かかる構成により、フレーム間の変化を示すフレーム間変化情報を用いてダイジェスト映像を取得するため、適切なダイジェスト映像を取得できる。
また、本第二の発明のダイジェスト映像取得装置は、第一の発明に対して、部分映像取得部は、フレーム間変化情報が予め決められた条件を満たすほど大きな変化を示す情報である場合、フレーム間変化情報に対応するフレームを含む1以上の部分映像を取得するダイジェスト映像取得装置である。
かかる構成により、適切なダイジェスト映像を取得できる。
また、本第三の発明のダイジェスト映像取得装置は、第一または第二の発明に対して、変化情報取得部は、2つのフレーム間の変化に関する2以上の特徴量を取得し、2以上の特徴量を用いて、フレーム間変化情報を取得するダイジェスト映像取得装置である。
かかる構成により、適切なダイジェスト映像を取得できる。
また、本第四の発明のダイジェスト映像取得装置は、第一から第三いずれか1つの発明に対して、部分映像の数である部分映像数を受け付ける受付部をさらに具備し、部分映像取得部は、部分映像数の部分映像を取得するダイジェスト映像取得装置である。
かかる構成により、適切なダイジェスト映像を取得できる。
また、本第五の発明のダイジェスト映像取得装置は、第一記載から第三いずれか1つの発明に対して、部分映像の開始フレームを選択するための第一選択条件が格納される選択条件格納部をさらに具備し、部分映像取得部は、第一選択条件に合致する1以上のフレームを選択するフレーム選択手段と、フレーム選択手段が選択した1以上の各フレームを開始フレームとする1以上の部分映像を取得する部分映像取得手段とを具備するダイジェスト映像取得装置である。
かかる構成により、適切なダイジェスト映像を取得できる。
また、本第六の発明のダイジェスト映像取得装置は、第五の発明に対して、部分映像取得手段は、開始フレームと次の開始フレームまたは映像の終了フレームとまでの2以上の各シーンから、シーンの長さに応じた長さの部分映像を取得するダイジェスト映像取得装置である。
かかる構成により、適切なダイジェスト映像を取得できる。
また、本第七の発明のダイジェスト映像取得装置は、第五の発明に対して、部分映像取得手段は、開始フレームと次の開始フレームまたは映像の終了フレームとまでの2以上の各シーンから、一定長の部分映像を取得するダイジェスト映像取得装置である。
かかる構成により、適切なダイジェスト映像を取得できる。
また、本第八の発明のダイジェスト映像取得装置は、第五から第七いずれか1つの発明に対して、選択条件格納部は、部分映像の終了フレームを選択するための第二選択条件をも格納し、部分映像取得手段は、第二選択条件に合致する1以上のフレームを選択し、開始フレームから選択した終了フレームまでの部分映像を取得するダイジェスト映像取得装置である。
かかる構成により、適切なダイジェスト映像を取得できる。
本発明によるダイジェスト映像取得装置によれば、フレーム間変化情報を用いてダイジェスト映像を取得するため、適切なダイジェスト映像を取得できる。
実施の形態1におけるダイジェスト映像取得装置1のブロック図 同ダイジェスト映像取得装置1の動作について説明するフローチャート 同フレーム間変化情報取得処理の第一の例について説明するフローチャート 同フレーム間変化情報取得処理の第二の例について説明するフローチャート 同フレーム間変化情報の算出を示す概念図 同フレーム間変化情報管理表を示す図 同コンピュータシステムの概観図 同コンピュータシステムのブロック図
以下、ダイジェスト映像取得装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
(実施の形態1)
本実施の形態において、映像のフレーム間の変化情報であるフレーム間変化情報を取得し、当該フレーム間変化情報を用いて、映像の一部からなるダイジェスト映像を取得するダイジェスト映像取得装置について説明する。
また、本実施の形態において、フレーム間変化情報が予め決められた条件を満たすほど大きな変化を示す情報に対応するフレームをシーンの開始フレームとして、映像の一部を取得し、当該映像の一部を含むダイジェスト映像を取得するダイジェスト映像取得装置について説明する。
また、本実施の形態において、フレーム間の変化に関する2以上の特徴量から、フレーム間ごとに一のフレーム間変化情報を取得し、当該フレーム間変化情報を用いて、映像の一部からなるダイジェスト映像を取得するダイジェスト映像取得装置について説明する。
また、本実施の形態において、映像の分割数N(Nは2以上の自然数)を受け付け、当該分割数Nの数のシーンを検出し、2以上のシーンごとに部分映像を取得し、当該2以上の部分映像を連結したダイジェスト映像を取得するダイジェスト映像取得装置について説明する。
また、本実施の形態において、予め決められた条件に合致するフレームをシーンの開始フレームとして、映像の一部を取得し、当該映像の一部を含むダイジェスト映像を取得するダイジェスト映像取得装置について説明する。
また、本実施の形態において、シーンの長さに応じた長さの部分映像を各シーンから取得し、ダイジェスト映像を構成するダイジェスト映像取得装置について説明する。
また、本実施の形態において、シーンの長さとは無関係に、一定長の部分映像を各シーンから取得し、ダイジェスト映像を構成するダイジェスト映像取得装置について説明する。
さらに、本実施の形態において、予め決められた条件を満たす終了フレームを決定し、開始フレームからかかる終了フレームまでの部分映像を取得し、ダイジェスト映像を構成するダイジェスト映像取得装置について説明する。
図1は、本実施の形態におけるダイジェスト映像取得装置1のブロック図である。
ダイジェスト映像取得装置1は、格納部11、受付部12、処理部13、および送信部14を備える。格納部11は、映像格納部111、選択条件格納部112、およびダイジェスト映像格納部113を備える。
処理部13は、変化情報取得部131、部分映像取得部132、および蓄積部133を備える。
部分映像取得部132は、フレーム選択手段1321、および部分映像取得手段1322を備える。
格納部11は、各種の情報が格納される。各種の情報とは、例えば、ダイジェスト映像が作成される元になる映像、後述する選択条件、ダイジェスト映像等である。
映像格納部111は、2以上のフレームを有する映像が格納される。この映像は、ダイジェスト映像が作成される元になる映像である。この映像に、音声が対応付いて含まれていても良いことは言うまでもない。
選択条件格納部112は、部分映像の開始フレームを選択するための第一選択条件が格納される。第一選択条件は、後述するフレーム間変化情報をパラメータとする条件である。第一選択条件は、例えば、フレーム間変化情報が閾値以上であるフレーム間の変化後のフレームを開始フレームとして選択すること、フレーム間変化情報の値が上位Nに対応するフレーム間の変化後のフレームを開始フレームとして選択すること、フレーム間変化情報が閾値以上であるフレーム間の変化後のフレームからX(Xは1以上の自然数)フレーム後のフレームを開始フレームとして選択すること、フレーム間変化情報の値が上位Nに対応するフレーム間の変化後のフレームからX(Xは1以上の自然数)フレーム後のフレームを開始フレームとして選択すること等である。
選択条件格納部112は、部分映像の終了フレームを選択するための第二選択条件をも格納していることは好適である。第二選択条件は、例えば、部分映像の時間に関する条件である。第二選択条件は、例えば、開始フレームから、シーンの長さをパラメータとする増加関数により算出される時間後、またはフシーンの長さをパラメータとする増加関数により算出されるフレーム数後のフレームを終了フレームとして選択することである。第二選択条件は、例えば、開始フレームから定数時間後のフレームを終了フレームとして選択すること、開始フレームから定数だけ後のフレームを終了フレームとして選択することである。
なお、第一選択条件、および第二選択条件の表現は問わない。第一選択条件、および第二選択条件は、例えば、論理式、プログラム等である。
ダイジェスト映像格納部113は、処理部13が取得したダイジェスト映像が格納される。
受付部12は、各種の指示や映像を受け付ける。各種の指示や映像とは、例えば、開始指示、部分映像数、ダイジェスト映像送信指示等である。開始指示とは、ダイジェスト映像の作成を開始する指示である。また、部分映像数とは、ダイジェスト映像を構成する部分映像の数である。ダイジェスト映像送信指示とは、ダイジェスト映像の送信の指示であり、映像またはダイジェスト映像を識別する映像識別子を有する。ダイジェスト映像送信指示は、通常、ユーザの端末装置(図示しない)から受信される。
ここで、受け付けとは、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。
各種の指示や映像の入力手段は、キーボードやマウスやメニュー画面によるもの等、何でも良い。受付部12は、キーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
処理部13は、各種の処理を行う。各種の処理とは、例えば、変化情報取得部131、部分映像取得部132、蓄積部133、フレーム選択手段1321、部分映像取得手段1322等が行う処理である。
変化情報取得部131は、映像格納部111の映像からフレーム間変化情報を取得する。フレーム間変化情報は、映像を構成する2以上のフレームのうちの2以上のフレーム間の変化を示す情報である。
変化情報取得部131は、例えば、2つのフレーム間の変化に関する1または2以上の特徴量を取得し、当該1または2以上の特徴量を用いて、フレーム間変化情報を取得しても良い。かかる場合、フレーム間変化情報は、例えば、0から9までの自然数で示される。なお、フレーム間変化情報は、ここでは、数値が大きくなるほど、変化が大きいことを示す。なお、1以上の特徴量は、例えば、DC成分、輝度、色値、色差ヒストグラム相関などである。
変化情報取得部131は、例えば、上述したフレーム間変化情報を取得する第一から第三の処理を行い、第一フレーム間変化情報、第二フレーム間変化情報、第三フレーム間変化情報を取得する。そして、変化情報取得部131は、第一フレーム間変化情報、第二フレーム間変化情報、第三フレーム間変化情報を用いてフレーム間変化情報を取得する。なお、第一フレーム間変化情報、第二フレーム間変化情報、第三フレーム間変化情報は、それぞれが大きい値である(変化が大きい)ほど、フレーム間変化情報が大きい値(例えば、9に近づく)を採る。なお、2つのフレーム間からフレーム間変化情報を取得する場合、フレーム微分値をフレーム間変化情報として取得する、と言える。
変化情報取得部131は、3以上のフレームの組を取得し、3以上のフレームの組からフレーム間変化情報を取得しても良い。変化情報取得部131は、例えば、3つのフレームの組の中の前2つのフレーム間のフレーム微分値と、後2つのフレーム間のフレーム微分値とを取得し、2つのフレーム微分値の差異からフレーム間変化情報を取得しても良い。なお、変化情報取得部131は、通常、2つのフレーム微分値の差異をパラメータとする増加関数により、フレーム間変化情報を取得する。
さらに具体的には、変化情報取得部131は、例えば、以下のように動作する。まず、変化情報取得部131は、映像の最初からフレーム間変化情報を取得する対象となる2つのフレームの組を、順次、選択する。次に、変化情報取得部131は、選択したフレームの間のフレーム間変化情報を取得する。
なお、フレーム間変化情報は、例えば、2つのフレームである画像の類似度をパラメータとする減少関数(例えば、逆数)により取得される。また、フレーム間変化情報は、例えば、以下の第一から第四のいずれかの処理により算出される。
フレーム間変化情報の第一の取得処理は、ピクセル毎比較処理である。ピクセル毎比較処理とは、2つの各フレームの空間上の同一ピクセルの色値(例えば、RGBの値)の差であえる色値差を取得する。2つの各フレーム(フレーム1とフレーム2)の同一位置上のピクセルの色値がそれぞれ(r1,g1,b1)、(r2,g2,b2)であるとした場合、色値差(d)は、数式1で示される。
そして、変化情報取得部131は、例えば、複数のピクセル間の色値差の平均値をフレーム間変化情報として取得する。また、変化情報取得部131は、例えば、当該色値差の平均値が大きいほど、大きい値となるフレーム間変化情報を取得しても良い。つまり、変化情報取得部131は、色値差の平均値をパラメータとする増加関数により、フレーム間変化情報を取得しても良い。なお、ピクセル毎比較処理により得られたフレーム間変化情報を第一フレーム間変化情報と言う。
Figure 0006878718
フレーム間変化情報の第二の取得処理は、ピクセル比較処理である。ピクセル比較処理とは、2つの各フレーム(フレーム1とフレーム2)の同一位置上のピクセルの色値差(d)を算出し、色値差(d)が閾値以上または閾値より大きい場合、エラーピクセルと判断し、エラーピクセルの数を取得する処理である。つまり、変化情報取得部131は、エラーピクセルの数をフレーム間変化情報として取得する。変化情報取得部131は、エラーピクセルの数が多いほど、大きい値となるフレーム間変化情報を取得しても良い。つまり、変化情報取得部131は、エラーピクセルの数をパラメータとする増加関数により、フレーム間変化情報を取得しても良い。なお、ピクセル比較処理により得られたフレーム間変化情報を第二フレーム間変化情報と言う。
フレーム間変化情報の第三の取得処理は、カラーヒストグラム比較処理である。なお、カラーヒストグラムとは、画像中に各色が何ピクセルあるか数えて作成した棒グラフである。カラーヒストグラム比較処理は、例えば、2つのフレームの各色の数の差異の合計または各色の数の差異の平均値や中央値等をフレーム間変化情報として取得する処理である。また、変化情報取得部131は、例えば、2つのフレームの各色の数の差異の合計または各色の数の差異の平均値や中央値等が大きい、大きい値となるフレーム間変化情報を取得しても良い。つまり、変化情報取得部131は、2つのフレームの各色の数の差異の合計または各色の数の差異の平均値や中央値等をパラメータとする増加関数により、フレーム間変化情報を取得しても良い。なお、カラーヒストグラム比較処理により得られたフレーム間変化情報を第三フレーム間変化情報と言う。
また、変化情報取得部131は、上記の処理において、例えば、正規化されたフレーム間変化情報(例えば、0から9の整数のうちのいずれか)を取得しても良い。
フレーム間変化情報の第四の取得処理は、分割領域比較処理である。分割領域比較処理とは、以下のような処理である。つまり、変化情報取得部131は、2つの各フレーム(フレーム1とフレーム2)を2以上の領域に分割し、2以上の分割領域を得る。そして、変化情報取得部131は、2つの各フレームの同一の分割領域に対して、分割領域間の変換の度合いを示す情報である分割領域変化情報を、2以上の各分割領域ごとに取得する。そして、変化情報取得部131は、2以上の各分割領域の2以上の分割領域変化情報を用いて、フレーム間変化情報を取得する。分割領域比較処理において、変化情報取得部131は、2以上の各分割領域に対して、上述したピクセル毎比較処理により分割領域変化情報を取得しても良いし、ピクセル比較処理により分割領域変化情報を取得しても良いし、2つの各分割領域における1以上の特徴量の差異から分割領域変化情報を取得しても良い。
部分映像取得部132は、フレーム間変化情報を用いて、映像から1または2以上の部分映像を取得する。なお、部分映像は映像の一部である。ここで部分映像を取得する処理は、部分映像の開始フレームと終了フレームを特定する処理でも良い。また、具体的には、部分映像取得部132は、フレーム間変化情報が予め決められた条件を満たすほど大きな変化を示す情報である場合、当該フレーム間変化情報に対応するフレームを含む1以上の部分映像を取得する。フレーム間変化情報に対応するフレームとは、通常、フレーム間変化情報の算出対象となった2以上のフレームである。フレーム間変化情報に対応するフレームは、通常、フレーム間変化情報の算出対象となった2以上のフレームのうちの、時間的に最後のフレームである。ただし、フレーム間変化情報に対応するフレームは、フレーム間変化情報の算出対象となった2以上のフレームのうちのいずれかを基準として、時間的に後のフレーム(例えば、3フレーム後のフレーム、10フレーム後のフレーム等)でも良い。
部分映像取得部132は、受付部12で受け付けられた部分映像数の部分映像を取得しても良い。なお、部分映像取得部132が取得する部分映像の長さ(例えば、時間、フレーム数)は予め決められていても良いし、動的に変わっても良い。
フレーム選択手段1321は、第一選択条件に合致する1以上のフレームを選択する。フレーム選択手段1321が取得した1以上の各フレームは、部分映像の開始フレームである。なお、第一選択条件は、例えば、フレーム間変化情報が閾値以上または閾値より大きいことである。また、第一選択条件は、例えば、フレーム間変化情報の上位N(Nは部分映像数、または部分映像数−1であり、自然数である。)であることである。
部分映像取得手段1322は、フレーム選択手段1321が選択した1以上の各フレームを開始フレームとする1以上の部分映像を取得する。
部分映像取得手段1322は、2以上の各シーンから、シーンの長さに応じた長さの部分映像を取得しても良い。シーンとは、開始フレームと次の開始フレームまでフレーム群、または開始フレームと映像の終了フレームとまでのフレーム群である。
部分映像取得手段1322は、2以上の各シーンから、一定長の部分映像を取得しても良い。一定長を特定する情報は、格納部11に格納されている。
部分映像取得手段1322は、第二選択条件に合致する1以上のフレームを終了フレームとして選択し、開始フレームから選択した終了フレームまでの部分映像を取得する。なお、第二選択条件は、例えば、開始フレームからMフレーム後のフレームを終了フレームとして選択することである。また、第二選択条件は、例えば、開始フレームが含まれるシーンの長さに応じた部分映像の長さの決定し、開始フレームから当該部分映像の長さに対応するフレームを終了フレームとして選択することである。
蓄積部133は、部分映像取得部132が取得した1以上の部分映像を有するダイジェスト映像を蓄積する。蓄積部133は、部分映像取得部132が取得した2以上の部分映像を連結して、ダイジェスト映像を生成し、当該ダイジェスト映像を蓄積しても良い。ここで、蓄積とは、通常、格納部11への格納であるが、外部の装置に蓄積することでも良い。また、ダイジェスト映像を蓄積することは、映像の開始フレームおよび終了フレームに対応付けて、フラグを付加し、当該フラグを用いて、ダイジェスト映像が再生できる状況を構成することでも良い。なお、ここでのフラグとは、例えば、後述する開始フラグ、または終了フラグである。
送信部14は、ダイジェスト映像を図示しない端末装置に送信する。送信部14は、部分映像取得部132が取得した1以上の部分映像を端末装置に送信しても良い。送信部14は、例えば、受付部12がダイジェスト映像送信指示を受け付けた場合に、当該ダイジェスト映像送信指示に対応するダイジェスト映像を端末装置に送信する。なお、この端末装置は、ダイジェスト映像送信指示を送信した装置である。
格納部11、映像格納部111、選択条件格納部112、ダイジェスト映像格納部113は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
格納部11等に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が格納部11等で記憶されるようになってもよく、通信回線等を介して送信された情報が格納部11等で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が格納部11等で記憶されるようになってもよい。
処理部13、変化情報取得部131、部分映像取得部132、蓄積部133、フレーム選択手段1321、部分映像取得手段1322は、通常、MPUやメモリ等から実現され得る。処理部13等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
送信部14は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。
次に、ダイジェスト映像取得装置1の動作について、図2のフローチャートを用いて説明する。
(ステップS201)受付部12は、開始指示を受け付けたか否かを判断する。開始指示を受け付けた場合はステップS202に行き、開始指示を受け付けない場合はステップS212に行く。
(ステップS202)変化情報取得部131は、カウンタiに1を代入する。
(ステップS203)変化情報取得部131は、映像格納部111の映像の中に、i番目の組が存在するか否かを判断する。i番目の組が存在する場合はステップS204に行き、i番目の組が存在しない場合はステップS206に行く。なお、i番目の組とは、フレーム間変化情報を取得する対象の2以上のフレームである。例えば、i番目の組とは、フレーム間変化情報を取得する対象の2つの連続するフレームである。
(ステップS204)変化情報取得部131は、i番目の組のフレーム群に対して、フレーム間変化情報を取得する。なお、フレーム間変化情報取得処理について、図3、図4のフローチャートを用いて説明する。
(ステップS205)変化情報取得部131は、カウンタiを1、インクリメントする。ステップS203に戻る。
(ステップS206)フレーム選択手段1321は、第一選択条件に合致する1または2以上の開始フレームを選択する。第一選択条件は、例えば、フレーム間変化情報が閾値以上または閾値より大きい(変化が激しい)フレームである。なお、当該開始フレームは、通常、i番目の組のフレーム群のうちの最後のフレームである。
(ステップS207)部分映像取得手段1322は、カウンタjに1を代入する。
(ステップS208)部分映像取得手段1322は、j番目の開始フレームが存在するか否かを判断する。j番目の開始フレームが存在する場合はステップS209に行き、j番目の開始フレームが存在しない場合はステップS211に行く。
(ステップS209)部分映像取得手段1322は、j番目の開始フレームに対応する終了フレームであり、第二選択条件に合致する終了フレームを決定する。なお、この終了フレームは、(j+1)番目の開始フレームより時間的に前のフレームである。また、部分映像取得手段1322が終了フレームを決定する処理は、例えば、終了フレームの識別子(例えば、フレーム番号)を取得すること、終了フレームの識別子(例えば、フレーム番号)を開始フレームの識別子に対応付けて蓄積すること、終了フレームに終了フレームであることを示すフラグを付加すること等である。終了フレームを決定する処理の内容は問わない。
(ステップS210)部分映像取得手段1322は、カウンタjを1、インクリメントする。ステップS208に戻る。
(ステップS211)蓄積部133は、部分映像取得部132が取得した1以上の部分映像を有するダイジェスト映像を蓄積する。ステップS201に戻る。なお、蓄積部133は、例えば、開始フレームから終了フレームまでのフレーム群を切り出し、部分映像を取得し、取得した2以上の部分映像を連結してダイジェスト映像を生成し、当該ダイジェスト映像を蓄積しても良い。また、蓄積部133は、フレーム選択手段1321が取得した開始フレームの識別子と、部分映像取得手段1322が取得した終了フレームの識別子との組を、格納部11に蓄積しても良い。また、蓄積部133は、フレーム選択手段1321が取得した開始フレームの識別子に対応する開始フレームに、開始フレームである旨のフラグを付加し、かつ部分映像取得手段1322が取得した終了フレームの識別子に対応する終了フレームに、終了フレームである旨のフラグを付加するなどしても良い。つまり、蓄積部133がダイジェスト映像を蓄積する処理は、ダイジェスト映像を取得できるようにする処理であれば良い。
(ステップS212)受付部12は、ダイジェスト映像送信指示を図示しない端末装置から受信したか否かを判断する。ダイジェスト映像送信指示を受信した場合はステップS213に行き、受信しなかった場合はステップS201に戻る。
(ステップS213)処理部13は、ステップS212で受信されたダイジェスト映像送信指示に対応するダイジェスト映像を取得する。
(ステップS214)送信部14は、ステップS213で取得されたダイジェスト映像を図示しない端末装置に送信する。ステップS201に戻る。
なお、図2のフローチャートにおいて、例えば、フレーム間変化情報取得処理の対象となるフレームの組は、2フレームであり、時間的に連続する2つのフレームである、とする。
しても良い。
また、図2のフローチャートにおいて、部分映像取得手段1322は、映像の最初のフレームを、部分映像の開始フレームとし、第二選択条件に合致する終了フレームを決定しても良い。
さらに、図2のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
次に、ステップS204のフレーム間変化情報取得処理の第一の例について、図3のフローチャートを用いて説明する。図3のフローチャートにおいて、フレーム間変化情報の取得処理は、上述したピクセル比較処理を例として説明する。また、本フローチャートにおいて、フレーム間変化情報の取得処理の対象の2つの時間的に連続するフレームをフレーム1、フレーム2ということとする。また、映像中において、フレーム1の次にフレーム2が存在する、とする。
(ステップS301)変化情報取得部131は、カウンタiに1を代入する。また、変化情報取得部131は、変数「エラー数」に0を代入する。
(ステップS302)変化情報取得部131は、フレーム1またはフレーム2にi番目のピクセルが存在するか否かを判断する。i番目のピクセルが存在する場合はステップS303に行き、i番目のピクセルが存在しない場合はステップS309に行く。なお、変化情報取得部131は、例えば、フレーム1またはフレーム2のピクセルを順に走査し、i番目のピクセルを取得する。
(ステップS303)変化情報取得部131は、フレーム1のi番目のピクセルの色値を取得する。
(ステップS304)変化情報取得部131は、フレーム2のi番目のピクセルの色値を取得する。なお、フレーム1のi番目のピクセルのフレーム内の座標位置とフレーム2のi番目のピクセルのフレーム内の座標位置とは同じである。
(ステップS305)変化情報取得部131は、ステップS303およびステップS304で取得した2つの色値から、距離を算出する。かかる算出方法は、上述した数式1である。
(ステップS306)変化情報取得部131は、ステップS305で取得した距離が閾値以上であるか否かを判断する。距離が閾値以上であればステップS307に行き、距離が閾値未満であればステップS308に行く。
(ステップS307)変化情報取得部131は、変数「エラー数」に1を加える。
(ステップS308)変化情報取得部131は、カウンタiを1、インクリメントする。
(ステップS309)変化情報取得部131は、フレーム間変化情報に変数「エラー数」の値を代入する。
なお、図3のフローチャートにおいて、ピクセルの色値を用いて、フレーム間変化情報を取得した。しかし、図3のフローチャートにおいて、ピクセルの他の特徴量(属性値と言っても良い)を用いて、2つのピクセル間の距離(差異と言っても良い)を算出し、かかる距離を用いて、フレーム間変化情報を取得しても良い。なお、ピクセルの他の特徴量とは、例えば、輝度、明度である。
次に、ステップS204のフレーム間変化情報取得処理の第二の例について、図4のフローチャートを用いて説明する。図4のフローチャートにおいて、フレーム間変化情報の取得処理は、上述した分割領域比較処理を例として説明する。また、本フローチャートにおいて、フレーム間変化情報の取得処理の対象の2つの連続するフレームをフレーム1、フレーム2ということとする。また、映像中において、フレーム1の次にフレーム2が存在する、とする。
(ステップS401)変化情報取得部131は、カウンタiに1を代入する。
(ステップS402)変化情報取得部131は、フレーム1またはフレーム2にi番目の分割領域が存在するか否かを判断する。i番目の分割領域が存在する場合はステップS403に行き、i番目の分割領域が存在しない場合はステップS408に行く。なお、格納部11に、2以上の各分割領域を特定する分割領域特定(例えば、領域の左上座標と右下座標)が格納されている。そして、変化情報取得部131は、格納部11の分割領域特定情報を順に取得していき、i番目の分割領域が存在するか否か(i番目の分割領域特定情報が格納部11に存在するか否か)を判断する。
(ステップS403)変化情報取得部131は、フレーム1のi番目の分割領域の1以上の特徴量を取得する。なお、1以上の特徴量は、例えば、i番目の分割領域の各ピクセルの色値の平均値、i番目の分割領域の各ピクセルの輝度の平均値、i番目の分割領域の色ヒストグラムの情報等である。また、変化情報取得部131は、例えば、i番目の分割領域特定情報を格納部11から取得する。そして、変化情報取得部131は、例えば、当該分割領域特定情報が示す領域の画像から1以上の特徴量を取得する。
(ステップS404)変化情報取得部131は、フレーム2のi番目の分割領域の1以上の特徴量を取得する。
(ステップS405)変化情報取得部131は、ステップS403で取得した1以上の特徴量とステップS404で取得した1以上の特徴量とを用いて、各特徴量の差を取得する。つまり、例えば、変化情報取得部131は、ステップS403で取得したフレーム1の色値の平均値とテップS404で取得したフレーム2の色値の平均値との差異を取得し、かつフレーム1の輝度の平均値とフレーム2の輝度の平均値との差異を取得する。
(ステップS406)変化情報取得部131は、ステップS405で取得した1以上の差の情報から、i番目の分割領域の分割領域変化情報を取得する。変化情報取得部131は、ステップS405で取得した1以上の差の情報が大きな差を示す情報であるほど、i番目の分割領域の分割領域変化情報が大きな情報となるように、分割領域変化情報を取得する。
(ステップS407)変化情報取得部131は、カウンタiを1、インクリメントする。ステップS402に戻る。
(ステップS408)変化情報取得部131は、ステップS406で取得した2以上の各分割領域の分割領域変化情報を用いて、フレーム間変化情報を取得する。上位処理にリターンする。ここで、変化情報取得部131は、2以上の分割領域変化情報の平均値や中央値をフレーム間変化情報として取得しても良いし、2以上の分割領域変化情報の最大値をフレーム間変化情報として取得しても良い。つまり、分割領域変化情報が大きな値を示す場合ほど、大きな値のフレーム間変化情報を取得すれば良い。
以下、本実施の形態におけるダイジェスト映像取得装置1の具体的な動作について説明する。
今、映像格納部111に一の映像が格納されている。そして、ユーザは、ダイジェスト映像取得装置1に、部分映像数「5」を有する開始指示を入力した、とする。なお、一の映像は、例えば、フレーム番号0からフレーム番号17999の18000フレームを有する映像である、とする。
次に、受付部12は、開始指示を受け付ける。そして、変化情報取得部131は、フレーム番号0に対応付けて、フレーム間変化情報「−1」を格納部11に付加する。
そして、次に、変化情報取得部131は、映像格納部111の映像の中のフレーム番号0とフレーム番号1を取得する。そして、変化情報取得部131は、フレーム番号0からフレーム番号1への変換の度合いを示すフレーム間変化情報を、例えば、上述した分割領域比較処理により取得する。ここでは、変化情報取得部131は、フレーム番号0とフレーム番号1の各分割領域の分割領域変化情報を取得し、当該各分割領域の分割領域変化情報を用いて、正規化したフレーム間変化情報「1」を取得した、とする。そして、変化情報取得部131は、フレーム番号1に対応付けて、フレーム間変化情報「1」を格納部11に付加する。なお、変化情報取得部131は、「0」から「9」のいずれかの整数のフレーム間変化情報を取得する、とする。
同様に、変化情報取得部131は、フレーム番号1とフレーム番号2との間のフレーム間変化情報「2」を取得した、とする。そして、変化情報取得部131は、フレーム番号2に対応付けて、フレーム間変化情報「2」を格納部11に蓄積する。
また、変化情報取得部131は、フレーム番号2とフレーム番号3との間のフレーム間変化情報「7」を取得した、とする。そして、変化情報取得部131は、フレーム番号3に対応付けて、フレーム間変化情報「7」を格納部11に蓄積する。
変化情報取得部131は、以上の処理を、映像の最終フレームまで行う。そして、変化情報取得部131は、図5に示す概念のフレーム間変化情報を算出した、とする。また、変化情報取得部131は、図6に示すフレーム間変化情報管理表の「ID」「フレーム番号」「フレーム間変化情報」の情報を蓄積した、とする。なお、フレーム間変化情報管理表は、「ID」「フレーム番号」「フレーム間変化情報」「開始フレームフラグ」「終了フレームフラグ」を有するレコードをフレーム数だけ保持している。「開始フレームフラグ」は開始フレームか否かを示すフラグであり、「終了フレームフラグ」は終了フレームか否かを示すフラグである。
次に、フレーム選択手段1321は、フレーム間変化情報の値が上位5つの開始フレームを選択する。ここで、フレーム選択手段1321は、開始フレームとして、フレーム間変化情報の値が「9」のフレーム番号「6」「2517」「4510」「8321」「12548」を選択した、とする。そして、フレーム選択手段1321は、開始フレームのフレーム番号に対応付けて、開始フラグ「1」を蓄積する。なお、フレーム選択手段1321は、開始フレーム以外のフレーム番号には、開始フラグ「0」を蓄積する、とする。なお、開始フラグ「1」は開始フラグであることを示し、開始フラグ「0」は開始フラグでないことを示す。また、同一のフレーム間変化情報に対応するすべてのフレームを開始フレームとして採用すると、部分映像数を超える部分映像を取得する場合、フレーム選択手段1321は、極力、間が均等になるように、開始フラグを選択することは好適である。
次に、部分映像取得手段1322は、各開始フレームごとに、例えば、以下のように終了フレームを決定する。部分映像取得手段1322は、例えば、シーンの長さに応じた長さの部分映像となるように、終了フレームを決定する。部分映像取得手段1322は、例えば、1番目の部分映像のフレーム数「2517−6+1=2512」、2番目の部分映像のフレーム数「4510−2517+1=1994」、3番目の部分映像のフレーム数「8321−4510+1=3812」、4番目の部分映像のフレーム数「12548−8321+1=4228」、5番目の部分映像のフレーム数「最終のフレーム番号(例えば、177999−12548+1=5452」を得る。そして、部分映像取得手段1322は、例えば、概ね「2512:1994:3812:4228:5452」の比に、部分映像の長さがなるように、終了フレームを決定する。例えば、部分映像取得手段1322は、開始フレーム「6」に対応する終了フレームとしてフレーム番号「508」を得る。そして、部分映像取得手段1322は、フレーム番号「508」に対応付けて終了フレームフラグ「1」を書き込む。また、例えば、部分映像取得手段1322は、開始フレーム「2517」に対応する終了フレームとしてフレーム番号「2916」を得る。そして、部分映像取得手段1322は、フレーム番号「2916」に対応付けて終了フレームフラグ「1」を書き込む。また、例えば、部分映像取得手段1322は、開始フレーム「4510」に対応する終了フレームとしてフレーム番号「5272」を得る。そして、部分映像取得手段1322は、フレーム番号「5272」に対応付けて終了フレームフラグ「1」を書き込む。また、例えば、部分映像取得手段1322は、開始フレーム「8321」に対応する終了フレームとしてフレーム番号「9167」を得る。そして、部分映像取得手段1322は、フレーム番号「9167」に対応付けて終了フレームフラグ「1」を書き込む。また、映像の最終フレームに対応付けて終了フレームフラグ「1」を書き込む。なお、終了フレームではないフレームに対しては、終了フレームフラグ「0」が書き込まれる、とする。
なお、部分映像取得手段1322は、上記で算出した終了フレームのフレーム番号に対応するフレーム間変化情報が閾値以上の場合、当該フレーム番号の前または後であり、フレーム間変化情報が示す変化の傾向が予め決められた変化より少ないフレームを終了フレームとして選択することは好適である。
また、上記の場合、ダイジェスト映像のフレーム数(再生時間でも良い)が予め格納部11に格納されている、とする。また、ダイジェスト映像のフレーム数(再生時間でも良い)がユーザにより指定されても良い。
そして、次に、蓄積部133は、図6の開始フレームフラグ「1」に対応するフレームから、次の終了フレーム「1」に対応するフレームまでの映像を部分映像として取得する。次に、蓄積部133は、取得した5つの部分映像を連結し、ダイジェスト映像を構成し、当該ダイジェスト映像をダイジェスト映像格納部113に蓄積する。
以上のダイジェスト映像の生成処理の後、ダイジェスト映像取得装置1は、ユーザの端末装置から、ダイジェスト映像送信指示を受信した、とする。
次に、処理部13は、受信されたダイジェスト映像送信指示に対応するダイジェスト映像を取得する。ここで、処理部13は、ダイジェスト映像格納部113からダイジェスト映像を読み出しても良いし、図6の管理表を用いて、映像格納部111の映像からダイジェスト映像を構成しても良い。
次に、送信部14は、取得されたダイジェスト映像を、ダイジェスト映像送信指示を送信した端末装置に送信する。
以上、本実施の形態によれば、フレーム間変化情報を用いてダイジェスト映像を取得するため、適切なダイジェスト映像を取得できる。
なお、本実施の形態において、部分映像取得部132が取得する2つの部分映像が、映像の中で連続していても良い。つまり、部分映像の終了フレームの次のフレームが、次の部分映像の開始フレームであっても良い。
また、本実施の形態の具体例において、部分映像数を用いて、部分映像を取得した。つまり、上記具体例において、第一選択条件は、「フレーム間変化情報の値が上位Nに対応するフレーム間の変化後のフレームを開始フレームとして選択すること」であった。しかし、上述したように、第一選択条件は、「フレーム間変化情報が閾値以上または閾値より大きいフレーム間の変化後のフレームを開始フレームとして選択すること」等の他の条件でも良いことは言うまでもない。
また、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをCD−ROMなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態におけるダイジェスト映像取得装置1を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、映像を構成する2以上のフレームのうちの2以上のフレーム間の変化を示す情報であるフレーム間変化情報を取得する変化情報取得部と、前記フレーム間変化情報を用いて、前記受付部が受け付けた映像の一部である1または2以上の部分映像を取得する部分映像取得部と、前記部分映像取得部が取得した1以上の部分映像を有するダイジェスト映像を蓄積する蓄積部として機能させるためのプログラムである。
また、上記プログラムにおいて、前記部分映像取得部は、前記フレーム間変化情報が予め決められた条件を満たすほど大きな変化を示す情報である場合、当該フレーム間変化情報に対応するフレームを含む1以上の部分映像を取得するものとして、コンピュータを機能させるプログラムであることは好適である。
また、上記プログラムにおいて、前記変化情報取得部は、2つのフレーム間の変化に関する2以上の特徴量を取得し、当該2以上の特徴量を用いて、フレーム間変化情報を取得するものとして、コンピュータを機能させるプログラムであることは好適である。
また、上記プログラムにおいて、コンピュータを、部分映像の数である部分映像数を受け付ける受付部としてさらに機能させ、前記部分映像取得部は、前記部分映像数の部分映像を取得するものとして、コンピュータを機能させるプログラムであることは好適である。
また、上記プログラムにおいて、前記部分映像取得部は、部分映像の開始フレームを選択するための第一選択条件に合致する1以上のフレームを選択するフレーム選択手段と、前記フレーム選択手段が選択した1以上の各フレームを開始フレームとする1以上の部分映像を取得する部分映像取得手段とを具備するものとして、コンピュータを機能させるプログラムであることは好適である。
また、上記プログラムにおいて、前記部分映像取得手段は、前記開始フレームと次の開始フレームまたは映像の終了フレームとまでの2以上の各シーンから、シーンの長さに応じた長さの部分映像を取得するものとして、コンピュータを機能させるプログラムであることは好適である。
また、上記プログラムにおいて、前記部分映像取得手段は、前記開始フレームと次の開始フレームまたは映像の終了フレームとまでの2以上の各シーンから、一定長の部分映像を取得する
ものとして、コンピュータを機能させるプログラムであることは好適である。
また、上記プログラムにおいて、前記部分映像取得手段は、部分映像の終了フレームを選択するための第二選択条件に合致する1以上のフレームを選択し、前記開始フレームから前記選択した終了フレームまでの部分映像を取得するものとして、コンピュータを機能させるプログラムであることは好適である。
また、図7は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態のダイジェスト映像取得装置1等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図7は、このコンピュータシステム300の概観図であり、図8は、システム300のブロック図である。
図7において、コンピュータシステム300は、CD−ROMドライブを含むコンピュータ301と、キーボード302と、マウス303と、モニタ304とを含む。
図8において、コンピュータ301は、CD−ROMドライブ3012に加えて、MPU3013と、CD−ROMドライブ3012等に接続されたバス3014と、ブートアッププログラム等のプログラムを記憶するためのROM3015と、MPU3013に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのRAM3016と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク3017とを含む。ここでは、図示しないが、コンピュータ301は、さらに、LANへの接続を提供するネットワークカードを含んでも良い。
コンピュータシステム300に、上述した実施の形態のダイジェスト映像取得装置1等の機能を実行させるプログラムは、CD−ROM3101に記憶されて、CD−ROMドライブ3012に挿入され、さらにハードディスク3017に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ301に送信され、ハードディスク3017に記憶されても良い。プログラムは実行の際にRAM3016にロードされる。プログラムは、CD−ROM3101またはネットワークから直接、ロードされても良い。
プログラムは、コンピュータ301に、上述した実施の形態のダイジェスト映像取得装置等の機能を実行させるオペレーティングシステム(OS)、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能(モジュール)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム300がどのように動作するかは周知であり、詳細な説明は省略する。
なお、上記プログラムにおいて、情報を送信するステップや、情報を受信するステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理(ハードウェアでしか行われない処理)は含まれない。
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
また、上記各実施の形態において、一の装置に存在する2以上の通信手段は、物理的に一の媒体で実現されても良いことは言うまでもない。
また、上記各実施の形態において、各処理は、単一の装置によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
以上のように、本発明にかかるダイジェスト映像取得装置は、映像から一部を抽出した適切なダイジェスト映像を取得できる、という効果を有し、ダイジェスト映像取得装置等として有用である。
1 ダイジェスト映像取得装置
11 格納部
12 受付部
13 処理部
14 送信部
111 映像格納部
112 選択条件格納部
113 ダイジェスト映像格納部
131 変化情報取得部
132 部分映像取得部
133 蓄積部
1321 フレーム選択手段
1322 部分映像取得手段

Claims (8)

  1. 部分映像の数である部分映像数(N)を受け付ける受付部と、
    映像を構成する2以上のフレームのうちの2以上のフレーム間の変化を示す情報であり、数値が大きくなるほど、変化が大きいことを示す情報であるフレーム間変化情報を取得する変化情報取得部と、
    前記フレーム間変化情報を用いて、前記映像の一部である1または2以上の部分映像を取得する部分映像取得部と、
    前記部分映像取得部が取得した1以上の部分映像を有するダイジェスト映像を蓄積する蓄積部とを具備し、
    前記部分映像取得部は、
    前記フレーム間変化情報の値が上位Nに対応するフレームを含むNの数の部分映像を取得するダイジェスト映像取得装置。
  2. 前記変化情報取得部は、
    3つのフレームの組の中の前2つのフレーム間のフレーム微分値と、後2つのフレーム間のフレーム微分値とを取得し、当該2つのフレーム微分値の差異を用いたフレーム間変化情報を取得する請求項1記載のダイジェスト映像取得装置。
  3. 前記変化情報取得部は、
    2つの各フレームの空間上の同一ピクセルの色値差を取得し、当該色値差の平均値が大きいほど、大きい値となるフレーム間変化情報を取得する請求項1記載のダイジェスト映像取得装置。
  4. 前記変化情報取得部は、
    2つの各フレームの空間上の同一ピクセルの色値差を取得し、当該色値差が閾値以上または閾値より大きいエラーピクセルの数を取得し、当該エラーピクセルの数が多いほど大きい値となるフレーム間変化情報を取得する請求項1記載のダイジェスト映像取得装置。
  5. 前記変化情報取得部は、
    2つのフレームの各色の数の差異の合計または各色の数の差異の平均値または中央値が大きい、大きい値となるフレーム間変化情報を取得する請求項1記載のダイジェスト映像取得装置。
  6. 前記変化情報取得部は、
    2つの各フレームを2以上の領域に分割し、当該2つの各フレームの同一の分割領域に対して、分割領域間の変化の度合いを示す情報である分割領域変化情報を、2以上の各分割領域ごとに取得し、当該2以上の分割領域変化情報を用いて、フレーム間変化情報を取得する請求項1記載のダイジェスト映像取得装置。
  7. 受付部、変化情報取得部、部分映像取得部、および蓄積部により実現されるダイジェスト映像取得方法であって、
    前記受付部が、部分映像の数である部分映像数(N)を受け付ける受付ステップと、
    前記変化情報取得部が、映像を構成する2以上のフレームのうちの2以上のフレーム間の変化を示す情報であり、数値が大きくなるほど、変化が大きいことを示す情報であるフレーム間変化情報を取得する変化情報取得ステップと、
    前記部分映像取得部が、前記フレーム間変化情報を用いて、前記映像の一部である1または2以上の部分映像を取得する部分映像取得ステップと、
    前記蓄積部が、前記部分映像取得ステップで取得された1以上の部分映像を有するダイジェスト映像を蓄積する蓄積ステップとを具備し、
    前記部分映像取得ステップにおいて、前記フレーム間変化情報の値が上位Nに対応するフレームを含むNの数の部分映像を取得する、ダイジェスト映像取得方法。
  8. コンピュータを、
    部分映像の数である部分映像数(N)を受け付ける受付部と、
    映像を構成する2以上のフレームのうちの2以上のフレーム間の変化を示す情報であり、数値が大きくなるほど、変化が大きいことを示す情報であるフレーム間変化情報を取得する変化情報取得部と、
    前記フレーム間変化情報を用いて、前記受付部が受け付けた映像の一部である1または2以上の部分映像を取得する部分映像取得部と、
    前記部分映像取得部が取得した1以上の部分映像を有するダイジェスト映像を蓄積する蓄積部として機能させるためのプログラムであって、
    前記部分映像取得部が、前記フレーム間変化情報の値が上位Nに対応するフレームを含むNの数の部分映像を取得するものとして、前記コンピュータを機能させるためのプログラム。
JP2016141801A 2016-07-19 2016-07-19 ダイジェスト映像取得装置、ダイジェスト映像取得方法、およびプログラム Active JP6878718B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016141801A JP6878718B2 (ja) 2016-07-19 2016-07-19 ダイジェスト映像取得装置、ダイジェスト映像取得方法、およびプログラム
PCT/JP2017/025691 WO2018016434A1 (ja) 2016-07-19 2017-07-14 ダイジェスト映像取得装置、ダイジェスト映像取得方法、および記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016141801A JP6878718B2 (ja) 2016-07-19 2016-07-19 ダイジェスト映像取得装置、ダイジェスト映像取得方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2018013879A JP2018013879A (ja) 2018-01-25
JP6878718B2 true JP6878718B2 (ja) 2021-06-02

Family

ID=60993021

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016141801A Active JP6878718B2 (ja) 2016-07-19 2016-07-19 ダイジェスト映像取得装置、ダイジェスト映像取得方法、およびプログラム

Country Status (2)

Country Link
JP (1) JP6878718B2 (ja)
WO (1) WO2018016434A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7166796B2 (ja) * 2018-06-13 2022-11-08 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US10917487B2 (en) 2019-01-14 2021-02-09 International Business Machines Corporation Generating notification digest based on user presence

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4323601B2 (ja) * 1999-02-15 2009-09-02 キヤノン株式会社 画像処理システム及び画像処理方法
JP2003101937A (ja) * 2001-09-26 2003-04-04 Ricoh Co Ltd 映像記録再生装置および映像配信システム
JP2004126811A (ja) * 2002-09-30 2004-04-22 Toshiba Corp コンテンツ情報編集装置とその編集プログラム
JP4757876B2 (ja) * 2005-09-30 2011-08-24 パイオニア株式会社 ダイジェスト作成装置およびそのプログラム
JP2007158671A (ja) * 2005-12-05 2007-06-21 Sony Corp 動画記録再生装置、動画記録再生方法、動画記録再生方法のプログラム及び動画記録再生方法のプログラムを記録した記録媒体
CN101427250B (zh) * 2006-04-20 2012-07-04 Nxp股份有限公司 对数据流创建摘要的数据摘要系统和方法
WO2011099299A1 (ja) * 2010-02-10 2011-08-18 パナソニック株式会社 映像抽出装置、撮影装置、プログラム及び記録媒体
JP2013239797A (ja) * 2012-05-11 2013-11-28 Canon Inc 画像処理装置
JP2015103217A (ja) * 2013-11-28 2015-06-04 ソニー株式会社 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
WO2018016434A1 (ja) 2018-01-25
JP2018013879A (ja) 2018-01-25

Similar Documents

Publication Publication Date Title
KR101015365B1 (ko) 시각적으로 대표되는 비디오 썸네일을 생성하는 컴퓨터 구현 방법, 컴퓨팅 장치, 컴퓨터, 비디오 장치, 비디오 기록 장치 및 컴퓨터 판독가능 기록매체
US7251790B1 (en) Media browsing system displaying thumbnails images based on preferences of plurality of users and placing the thumbnails images at a scene change
US20190005334A1 (en) Methods, systems, and media for generating a summarized video with video thumbnails
US20150117540A1 (en) Coding apparatus, decoding apparatus, coding data, coding method, decoding method, and program
US7899259B2 (en) Image processing method and image processing apparatus for images decodable at multiple resolutions
US8341517B2 (en) Content display method, content display program and content display device
CN102164264B (zh) 运动图像编辑设备和方法
JP6878718B2 (ja) ダイジェスト映像取得装置、ダイジェスト映像取得方法、およびプログラム
US20020106127A1 (en) Method of and apparatus for retrieving movie image
JP4935049B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN113438500B (zh) 视频处理方法、装置、电子设备及计算机存储介质
JP2006039753A (ja) 画像処理装置、画像処理方法
CN113891136A (zh) 一种视频播放方法、装置、电子设备和存储介质
CN116168045B (zh) 扫变镜头的分割方法和系统、存储介质及电子设备
CN112911186A (zh) 图像存储方法及装置、电子设备、存储介质
US12462339B2 (en) Image processing apparatus, image processing method and storage medium
JP6943410B2 (ja) 映像処理装置、映像処理方法、およびプログラム
CN114675922B (zh) 显示数据处理方法、装置、存储介质与电子设备
CN114846809A (zh) 具有动态色调元数据的视频编辑的电子装置及其运行方法
US12586352B2 (en) Image processing apparatus, image processing method and storage medium
US20230245425A1 (en) Image processing apparatus, image processing method and storage medium
CN121550687A (zh) 游戏纹理资源优化处理方法、装置、电子设备及存储介质
JP3590534B2 (ja) 表示用画像データ生成装置および記録媒体
CN117834796A (zh) 帧率控制方法、发送卡、存储介质及电子设备
JP2000156819A (ja) 静的映像検出方法、及び装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200609

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201020

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210119

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210301

R150 Certificate of patent or registration of utility model

Ref document number: 6878718

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150