JP6176041B2 - 情報処理装置及びプログラム - Google Patents
情報処理装置及びプログラム Download PDFInfo
- Publication number
- JP6176041B2 JP6176041B2 JP2013207739A JP2013207739A JP6176041B2 JP 6176041 B2 JP6176041 B2 JP 6176041B2 JP 2013207739 A JP2013207739 A JP 2013207739A JP 2013207739 A JP2013207739 A JP 2013207739A JP 6176041 B2 JP6176041 B2 JP 6176041B2
- Authority
- JP
- Japan
- Prior art keywords
- characteristic
- text information
- frame
- objects
- selecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/278—Subtitling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
Description
請求項19に係る発明は、コンピュータを、複数のフレームで構成され1又は複数のオブジェクトが表された画像データから、特徴的フレームを選択するフレーム選択手段、前記1又は前記複数のオブジェクトから特徴的オブジェクトを選択するオブジェクト選択手段、前記特徴的オブジェクトの動作及び前記特徴的オブジェクトからの音のうち少なくとも一方を示すテキスト情報を作成するテキスト情報作成手段、前記テキスト情報を前記特徴的オブジェクトに関連付けて、前記特徴的フレームの画像に表示する表示制御手段、として機能させ、前記フレーム選択手段は、前記1又は前記複数のオブジェクトの発話回数が予め設定された発話回数閾値以上となる期間内のフレームを、前記特徴的フレームとして選択する、ことを特徴とするプログラムである。
請求項20に係る発明は、コンピュータを、複数のフレームで構成され1又は複数のオブジェクトが表された画像データから、特徴的フレームを選択するフレーム選択手段、前記1又は前記複数のオブジェクトから特徴的オブジェクトを選択するオブジェクト選択手段、前記特徴的オブジェクトの動作及び前記特徴的オブジェクトからの音のうち少なくとも一方を示すテキスト情報を作成するテキスト情報作成手段、前記テキスト情報を前記特徴的オブジェクトに関連付けて、前記特徴的フレームの画像に表示する表示制御手段、として機能させ、前記フレーム選択手段は、前記1又は前記複数のオブジェクトの動作量が予め設定された動作量閾値以下となる時間の長さが、予め設定された時間閾値以上となる期間内のフレームを、前記特徴的フレームとして選択する、ことを特徴とするプログラムである。
請求項21に係る発明は、コンピュータを、複数のフレームで構成され1又は複数のオブジェクトが表された画像データから、特徴的フレームを選択するフレーム選択手段、前記1又は前記複数のオブジェクトから特徴的オブジェクトを選択するオブジェクト選択手段、前記特徴的オブジェクトの動作及び前記特徴的オブジェクトからの音のうち少なくとも一方を示すテキスト情報を作成するテキスト情報作成手段、前記テキスト情報を前記特徴的オブジェクトに関連付けて、前記特徴的フレームの画像に表示する表示制御手段、として機能させ、前記オブジェクト選択手段は、前記1又は前記複数のオブジェクトのうち、動作回数が予め設定された動作回数閾値以上となるオブジェクトを、前記特徴的オブジェクトとして選択し、前記テキスト情報作成手段は、動作回数が前記動作回数閾値以上となる前記特徴的オブジェクトの動作を示す前記テキスト情報を作成する、ことを特徴とするプログラムである。
請求項22に係る発明は、コンピュータを、複数のフレームで構成され1又は複数のオブジェクトが表された画像データから、特徴的フレームを選択するフレーム選択手段、前記1又は前記複数のオブジェクトから特徴的オブジェクトを選択するオブジェクト選択手段、前記特徴的オブジェクトの動作及び前記特徴的オブジェクトからの音のうち少なくとも一方を示すテキスト情報を作成するテキスト情報作成手段、前記テキスト情報を前記特徴的オブジェクトに関連付けて、前記特徴的フレームの画像に表示する表示制御手段、として機能させ、前記オブジェクト選択手段は、前記1又は前記複数のオブジェクトのうち、動いている時間の長さが予め設定された動作時間閾値以上となるオブジェクトを、前記特徴的オブジェクトとして選択し、前記テキスト情報作成手段は、前記動きの内容を示す前記テキスト情報を作成する、ことを特徴とするプログラムである。
請求項23に係る発明は、コンピュータを、複数のフレームで構成され1又は複数のオブジェクトが表された画像データから、特徴的フレームを選択するフレーム選択手段、前記1又は前記複数のオブジェクトから特徴的オブジェクトを選択するオブジェクト選択手段、前記特徴的オブジェクトの動作及び前記特徴的オブジェクトからの音のうち少なくとも一方を示すテキスト情報を作成するテキスト情報作成手段、前記テキスト情報を前記特徴的オブジェクトに関連付けて、前記特徴的フレームの画像に表示する表示制御手段、として機能させ、前記オブジェクト選択手段は、前記1又は前記複数のオブジェクトのうち、発話回数が予め設定された発話回数閾値以上となるオブジェクトを、前記特徴的オブジェクトとして選択し、前記テキスト情報作成手段は、発話回数が前記発話回数閾値以上となる前記特徴的オブジェクトの発話の内容を示す前記テキスト情報を作成する、ことを特徴とするプログラムである。
まず、実施例1について説明する。実施例1では、フレーム選択部16は、動画像データに基づいて、オブジェクトが連続して動作する回数(連続動作回数)をカウントし、連続動作回数が予め設定された動作回数閾値以上となる期間(対象期間)を特定し、当該対象期間内のフレームを特徴的フレームとして選択する。フレーム選択部16は、例えば赤外線カメラの検出結果や画像解析部15の解析結果に基づいて、各オブジェクトの動作の回数を検出する。なお、ここでいう「連続する動作」とは、例えば、予め設定された時間以上の間隔を空けないで行われた一連の動作である。例えば、会議の参加者がホワイトボードに文字や図等を連続して記入している場合、フレーム選択部16は、その記入動作の回数が動作回数閾値以上となる対象期間内のフレームを、特徴的フレームとして選択する。複数の参加者が動いている場合、フレーム選択部16は、個々の参加者の動きを検出し、その検出結果に基づいて特徴的フレームを選択すればよい。フレーム選択部16は、対象期間の最初のフレームを特徴的フレームとして選択してもよいし、対象期間の最後の時間のフレームを特徴的フレームとして選択してもよいし、対象期間の中間の時間のフレームを特徴的フレームとして選択してもよいし、対象期間中の任意の時点のフレームを特徴的フレームとして選択してもよい。例えば、ユーザが図示しない操作部を用いることで、対象期間中の任意の時点のフレームを特徴的フレームとして選択してもよい。連続動作回数が動作回数閾値以上になるということは、会議において活発な議論が行われている可能性があるため、対象期間内のフレームの画像は、その会議の様子を的確に表す代表画像に適している場合がある。そこで、フレーム選択部16は、参加者の動作回数に基づいて特徴的フレームを選択する。
次に、実施例2について説明する。実施例2では、フレーム選択部16は、動画像データに基づいて、オブジェクト(会議の参加者)が継続して動作している時間の長さ(継続動作時間)を計測し、継続動作時間が予め設定された動作時間閾値以上となる期間(対象期間)を特定し、当該対象期間内のフレームを特徴的フレームとして選択する。なお、ここでいう「継続する動作」とは、例えば、予め設定された時間以上の間隔を空けないで行われた一連の動作であり、時間間隔を空けないで行われた一連の動作でなくてもよい。例えば、会議の参加者がホワイトボードに文字や図等を記入している場合、フレーム選択部16は、その記入動作の時間の長さが動作時間閾値以上となる対象期間内のフレームを、特徴的フレームとして選択する。複数の参加者が動いている場合、フレーム選択部16は、個々の参加者の動きを検出し、その検出結果に基づいて特徴的フレームを選択すればよい。フレーム選択部16は、実施例1と同様に、対象期間の最初の時間、最後の時間、中間の時間又は期間中の任意の時点のフレームを、特徴的フレームとして選択してもよい。継続動作時間が動作時間閾値以上になるということは、会議において活発な議論が行われている可能性があるため、対象期間内のフレームの画像は、その会議の様子を的確に表す代表画像に適している場合がある。そこで、フレーム選択部16は、参加者の動作時間に基づいて特徴的フレームを選択する。
次に、実施例3について説明する。実施例3では、フレーム選択部16は、音声データに基づいて、オブジェクト(会議の参加者)が連続して発話する回数(連続発話回数、連続会話数)をカウントし、連続発話回数が予め設定された発話回数閾値以上となる期間(対象期間)を特定し、当該対象期間内のフレームを特徴的フレームとして選択する。なお、ここでいう「連続する発話」とは、例えば、予め設定された時間以上の間隔を空けないで行われた一連の発話である。複数の参加者が発話している場合、フレーム選択部16は、個々の参加者の発話を検出し、その検出結果に基づいて特徴的フレームを選択すればよい。フレーム選択部16は、実施例1と同様に、対象期間の最初の時間、最後の時間、中間の時間又は期間中の任意の時点のフレームを、特徴的フレームとして選択してもよい。連続発話回数が発話回数閾値以上となるということは、会議の参加者による議論が活発になっている可能性があるため、対象期間内のフレームの画像は、その会議の様子を的確に表す代表画像に適している場合がある。そこで、フレーム選択部16は、参加者の発話回数に基づいて特徴的フレームを選択する。
次に、実施例4について説明する。実施例4では、フレーム選択部16は、音声データに基づいて、オブジェクト(会議の参加者)が継続して発話している時間の長さ(継続発話時間)を計測し、継続発話時間が予め設定された発話時間閾値以上となる期間(対象期間)を特定し、当該対象期間内のフレームを特徴的フレームとして選択する。なお、ここでいう「継続する発話」とは、例えば、予め設定された時間以上の間隔を空けないで行われた一連の発話であり、時間間隔を空けないで行われた一連の発話でなくてもよい。複数の参加者が発話している場合、フレーム選択部16は、個々の参加者の発話を検出し、その検出結果に基づいて特徴的フレームを選択すればよい。フレーム選択部16は、実施例1と同様に、対象期間の最初の時間、最後の時間、中間の時間又は期間中における任意の時点におけるフレームを、特徴的フレームとして選択してもよい。継続発話時間が発話時間閾値以上となるということは、その発話内容が重要である可能性があるため、対象期間内のフレームの画像は、その会議の様子を的確に表す代表画像に適している場合がある。そこで、フレーム選択部16は、参加者の発話時間の長さに基づいて特徴的フレームを選択する。
次に、実施例5について説明する。実施例5では、フレーム選択部16は、赤外線カメラの検出結果を利用することで、動画像データにおいて動いている領域(オブジェクト)を特定し、オブジェクトの動作量を検出する。そして、フレーム選択部16は、オブジェクトの動作量が予め設定された動作量閾値以下となる時間の長さを計測し、その時間の長さが予め設定された時間閾値以上となる期間(対象期間)を特定し、当該対象期間内のフレームを特徴的フレームとして選択する。複数のオブジェクトが動いている場合、フレーム選択部16は、個々のオブジェクトの動作を検出し、その検出結果に基づいて特徴的フレームを選択すればよい。フレーム選択部16は、実施例1と同様に、対象期間の最初の時間、最後の時間、中間の時間又は期間中における任意の時点におけるフレームを、特徴的フレームとして選択してもよい。オブジェクトの動作量が動作量閾値以下になるということは、オブジェクトの動きが少ないことを意味しており、オブジェクトの動きが少ない期間が長くなるほど、その期間内のフレームの画像は、会議室内を表す代表画像に適している場合がある。例えば、会議室100内の参加者A〜Dの動きが少なく、その期間が長くなるほど、その期間内のフレームの画像が、会議における代表画像に適している場合がある。そこで、フレーム選択部16は、オブジェクトの動作量に基づいて特徴的フレームを選択する。
次に、実施例6について説明する。実施例6では、オブジェクト選択部17は、ユーザによって指定された時間帯に取得されたコンテンツ情報及びコンテクスト情報(メタデータ)を対象にして、コンテンツ情報と共起関係にあるコンテクスト情報(キーコンテクスト情報)を選択する。ここでは、2項間で共起判定を行う既存のアルゴリズム(集合の類似度を求めるアルゴリズム)を拡張し、3項間以上のものに適用する。図6(a)に、共起関係を示す係数の一例を示す。図6(a)中、Aはコンテンツ情報であり、B,C,Dはコンテクスト情報である。│A│は、コンテンツ情報Aの出現回数であり、│B│,│C│,│D│は、それぞれ、コンテクスト情報B,C,Dの出現回数である。また、図6(a)には、コンテンツ情報A及びコンテクスト情報B〜Dのそれぞれの組み合わせの出現回数の一例が示されている。オブジェクト選択部17は、一例として、以下の式(1)に示す閾値付きSimpson係数を用いることで、コンテンツ情報及びコンテクスト情報の共起強度を求め、その共起強度に基づいてキーコンテクスト情報を選択する。
次に、図8を参照して具体例について説明する。図8は、特徴的フレームの画像を示す図である。図8に示す画像200は、図2に示す会議室100内の様子を表す画像であり、特徴的フレームの画像としてフレーム選択部16によって選択された代表画像である。例えば、参加者Aがホワイトボード120に文字や図やグラフ等を記入しており、参加者B,C,Dは着席している。図8において破線で囲まれた領域は、例えば赤外線カメラによって検出された関心領域(オブジェクト)である。以下では、実施例1〜6のそれぞれが適用された場合の処理について説明する。
実施例1又は実施例2が適用された場合について説明する。まず、実施例1が適用された場合について説明する。例えば、参加者Aがホワイトボード120に文字や図やグラフ等を記入している場合、フレーム選択部16は、赤外線カメラの検出結果に基づいて、参加者Aがホワイトボード120に文字等を連続して記入している回数をカウントする。そして、参加者Aの連続動作回数が動作回数閾値以上となった場合、フレーム選択部16は、連続動作回数が動作回数閾値以上となる対象期間内のフレームを、特徴的フレームとして選択する。これにより、参加者Aの動作回数が比較的多い場面の画像が、代表画像として選択されることになる。
次に、実施例3又は実施例4が適用された場合について説明する。まず、実施例3が適用された場合について説明する。例えば、参加者Aが発話している場合、フレーム選択部16は、音声データを利用することで、参加者Aが連続して発話している回数をカウントする。そして、参加者Aの連続発話回数が発話回数閾値以上になった場合、フレーム選択部16は、参加者Aの連続発話回数が発話回数閾値以上となる対象期間内のフレームを、特徴的フレームとして選択する。これにより、参加者Aの発話回数が比較的多い場面の画像が、代表画像として選択されることになる。
次に、実施例5が適用された場合について説明する。この場合、フレーム選択部16は、赤外線カメラの検出結果を利用することで、オブジェクトの動作量が動作量閾値以下となる時間の長さを計測し、その時間の長さが時間閾値以上となる対象期間内のフレームを、特徴的フレームとして選択する。テキスト情報作成部18は、対象期間内における参加者A〜Dのそれぞれの発話内容を示すテキスト情報や、他のオブジェクトの動きや音を示すテキスト情報を作成する。そして、表示制御部19は、実施例1〜4と同様に、特徴テクフレームの画像200を表示部20に表示させ、各テキスト情報を画像200上に表示する。実施例5によっても、上記の実施例1〜4と同様の効果を奏する。
次に、実施例6について説明する。この場合、フレーム選択部16は、例えばユーザによって指定された時間帯に含まれるフレームを、特徴的フレームとして選択する。そして、オブジェクト選択部17は、当該時間帯に取得されたコンテンツ情報とコンテクスト情報とを対象とし、コンテンツ情報と共起関係にあるコンテクスト情報、及び、互いに共起関係にある複数のコンテクスト情報を選択する。例えば、オブジェクト選択部17は、参加者A〜Dのそれぞれの発話内容や動作内容を対象とし、互いの発話内容や動作内容の共起強度の係数を求め、共起強度の係数が閾値以上となる複数の発話内容や動作内容を選択する。一例として、参加者Aの発話内容と参加者Bの発話内容との共起強度の係数が閾値以上となった場合、オブジェクト選択部17は、参加者Aの発話内容と参加者Bの発話内容とを選択し、テキスト情報作成部18は、参加者Aの発話内容を示すテキスト情報と参加者Bの発話内容を示すテキスト情報とを作成する。そして、表示制御部19は、特徴的フレームの画像200を表示部20に表示させ、参加者A,Bの発話内容を示すテキスト情報を画像200上に表示する。
Claims (23)
- 複数のフレームで構成され1又は複数のオブジェクトが表された画像データから、特徴的フレームを選択するフレーム選択手段と、
前記1又は前記複数のオブジェクトから特徴的オブジェクトを選択するオブジェクト選択手段と、
前記特徴的オブジェクトの動作及び前記特徴的オブジェクトからの音のうち少なくとも一方を示すテキスト情報を作成するテキスト情報作成手段と、
前記テキスト情報を前記特徴的オブジェクトに関連付けて、前記特徴的フレームの画像に表示する表示制御手段と、
を有し、
前記フレーム選択手段は、前記1又は前記複数のオブジェクトが動いている時間の長さが予め設定された動作時間閾値以上となる期間内のフレームを、前記特徴的フレームとして選択する、
ことを特徴とする情報処理装置。 - 複数のフレームで構成され1又は複数のオブジェクトが表された画像データから、特徴的フレームを選択するフレーム選択手段と、
前記1又は前記複数のオブジェクトから特徴的オブジェクトを選択するオブジェクト選択手段と、
前記特徴的オブジェクトの動作及び前記特徴的オブジェクトからの音のうち少なくとも一方を示すテキスト情報を作成するテキスト情報作成手段と、
前記テキスト情報を前記特徴的オブジェクトに関連付けて、前記特徴的フレームの画像に表示する表示制御手段と、
を有し、
前記フレーム選択手段は、前記1又は前記複数のオブジェクトの発話回数が予め設定された発話回数閾値以上となる期間内のフレームを、前記特徴的フレームとして選択する、
ことを特徴とする情報処理装置。 - 複数のフレームで構成され1又は複数のオブジェクトが表された画像データから、特徴的フレームを選択するフレーム選択手段と、
前記1又は前記複数のオブジェクトから特徴的オブジェクトを選択するオブジェクト選択手段と、
前記特徴的オブジェクトの動作及び前記特徴的オブジェクトからの音のうち少なくとも一方を示すテキスト情報を作成するテキスト情報作成手段と、
前記テキスト情報を前記特徴的オブジェクトに関連付けて、前記特徴的フレームの画像に表示する表示制御手段と、
を有し、
前記フレーム選択手段は、前記1又は前記複数のオブジェクトの動作量が予め設定された動作量閾値以下となる時間の長さが、予め設定された時間閾値以上となる期間内のフレームを、前記特徴的フレームとして選択する、
ことを特徴とする情報処理装置。 - 前記オブジェクト選択手段は、前記1又は前記複数のオブジェクトの動き、又は、前記1又は前記複数のオブジェクトからの音に基づき、前記特徴的オブジェクトを選択する、
ことを特徴とする請求項1から請求項3のいずれか一項に記載の情報処理装置。 - 複数のフレームで構成され1又は複数のオブジェクトが表された画像データから、特徴的フレームを選択するフレーム選択手段と、
前記1又は前記複数のオブジェクトから特徴的オブジェクトを選択するオブジェクト選択手段と、
前記特徴的オブジェクトの動作及び前記特徴的オブジェクトからの音のうち少なくとも一方を示すテキスト情報を作成するテキスト情報作成手段と、
前記テキスト情報を前記特徴的オブジェクトに関連付けて、前記特徴的フレームの画像に表示する表示制御手段と、
を有し、
前記オブジェクト選択手段は、前記1又は前記複数のオブジェクトのうち、動作回数が予め設定された動作回数閾値以上となるオブジェクトを、前記特徴的オブジェクトとして選択し、
前記テキスト情報作成手段は、動作回数が前記動作回数閾値以上となる前記特徴的オブジェクトの動作を示す前記テキスト情報を作成する、
ことを特徴とする情報処理装置。 - 複数のフレームで構成され1又は複数のオブジェクトが表された画像データから、特徴的フレームを選択するフレーム選択手段と、
前記1又は前記複数のオブジェクトから特徴的オブジェクトを選択するオブジェクト選択手段と、
前記特徴的オブジェクトの動作及び前記特徴的オブジェクトからの音のうち少なくとも一方を示すテキスト情報を作成するテキスト情報作成手段と、
前記テキスト情報を前記特徴的オブジェクトに関連付けて、前記特徴的フレームの画像に表示する表示制御手段と、
を有し、
前記オブジェクト選択手段は、前記1又は前記複数のオブジェクトのうち、動いている時間の長さが予め設定された動作時間閾値以上となるオブジェクトを、前記特徴的オブジェクトとして選択し、
前記テキスト情報作成手段は、前記動きの内容を示す前記テキスト情報を作成する、
ことを特徴とする情報処理装置。 - 複数のフレームで構成され1又は複数のオブジェクトが表された画像データから、特徴的フレームを選択するフレーム選択手段と、
前記1又は前記複数のオブジェクトから特徴的オブジェクトを選択するオブジェクト選択手段と、
前記特徴的オブジェクトの動作及び前記特徴的オブジェクトからの音のうち少なくとも一方を示すテキスト情報を作成するテキスト情報作成手段と、
前記テキスト情報を前記特徴的オブジェクトに関連付けて、前記特徴的フレームの画像に表示する表示制御手段と、
を有し、
前記オブジェクト選択手段は、前記1又は前記複数のオブジェクトのうち、発話回数が予め設定された発話回数閾値以上となるオブジェクトを、前記特徴的オブジェクトとして選択し、
前記テキスト情報作成手段は、発話回数が前記発話回数閾値以上となる前記特徴的オブジェクトの発話の内容を示す前記テキスト情報を作成する、
ことを特徴とする情報処理装置。 - 複数のフレームで構成され1又は複数のオブジェクトが表された画像データから、特徴的フレームを選択するフレーム選択手段と、
前記1又は前記複数のオブジェクトから特徴的オブジェクトを選択するオブジェクト選択手段と、
前記特徴的オブジェクトの動作及び前記特徴的オブジェクトからの音のうち少なくとも一方を示すテキスト情報を作成するテキスト情報作成手段と、
前記テキスト情報を前記特徴的オブジェクトに関連付けて、前記特徴的フレームの画像に表示する表示制御手段と、
を有し、
前記オブジェクト選択手段は、前記1又は前記複数のオブジェクトのうち、発話している時間の長さが予め設定された時間閾値以上となるオブジェクトを、前記特徴的オブジェクトとして選択し、
前記テキスト情報作成手段は、前記発話の内容を示す前記テキスト情報を作成する、
ことを特徴とする情報処理装置。 - 複数のフレームで構成され1又は複数のオブジェクトが表された画像データから、特徴的フレームを選択するフレーム選択手段と、
前記1又は前記複数のオブジェクトから特徴的オブジェクトを選択するオブジェクト選択手段と、
前記特徴的オブジェクトの動作及び前記特徴的オブジェクトからの音のうち少なくとも一方を示すテキスト情報を作成するテキスト情報作成手段と、
前記テキスト情報を前記特徴的オブジェクトに関連付けて、前記特徴的フレームの画像に表示する表示制御手段と、
を有し、
前記オブジェクト選択手段は、前記1又は前記複数のオブジェクトのそれぞれの声の大きさ又は話す速さに基づき、前記特徴的オブジェクトを選択し、
前記テキスト情報作成手段は、前記特徴的オブジェクトの発話の内容を示す前記テキスト情報を作成する、
ことを特徴とする情報処理装置。 - 複数のフレームで構成され1又は複数のオブジェクトが表された画像データから、特徴的フレームを選択するフレーム選択手段と、
前記1又は前記複数のオブジェクトから特徴的オブジェクトを選択するオブジェクト選択手段と、
前記特徴的オブジェクトの動作及び前記特徴的オブジェクトからの音のうち少なくとも一方を示すテキスト情報を作成するテキスト情報作成手段と、
前記テキスト情報を前記特徴的オブジェクトに関連付けて、前記特徴的フレームの画像に表示する表示制御手段と、
を有し、
前記オブジェクト選択手段は、前記複数のオブジェクトのそれぞれの動作及び前記複数のオブジェクトのそれぞれからの音の中から、互いに関連する複数のオブジェクトのそれぞれの動作及び音を、特徴的オブジェクトの動作及び音として選択し、
前記テキスト情報作成手段は、各特徴的オブジェクトの動作又は音を示す前記テキスト情報を作成する、
ことを特徴とする情報処理装置。 - 前記オブジェクト選択手段は、前記複数のオブジェクトのそれぞれの動作又は前記複数のオブジェクトのそれぞれからの音の中から、共起関係にある複数のオブジェクトのそれぞれの動作又は音を、特徴的オブジェクトの動作又は音として選択する、
ことを特徴とする請求項10に記載の情報処理装置。 - 前記オブジェクト選択手段は、予め設定された時間帯における前記複数のオブジェクトのそれぞれの動作又は前記複数のオブジェクトのそれぞれからの音を対象として、前記特徴的オブジェクトの動作又は音を選択する、
ことを特徴とする請求項10又は請求項11に記載の情報処理装置。 - 複数のフレームで構成され1又は複数のオブジェクトが表された画像データから、特徴的フレームを選択するフレーム選択手段と、
前記1又は前記複数のオブジェクトから特徴的オブジェクトを選択するオブジェクト選択手段と、
前記特徴的オブジェクトの動作及び前記特徴的オブジェクトからの音のうち少なくとも一方を示すテキスト情報を作成するテキスト情報作成手段と、
前記テキスト情報を前記特徴的オブジェクトに関連付けて、前記特徴的フレームの画像に表示する表示制御手段と、
を有し、
前記オブジェクト選択手段は、前記1又は前記複数のオブジェクトのうち、動作回数が予め設定された動作回数閾値以上となるオブジェクトの動作を前記特徴的オブジェクトの動作として選択し、動作回数が前記動作回数閾値以上となる動作が行われている時間帯における他のオブジェクトの動作又は音を選択し、
前記テキスト情報作成手段は、前記特徴的オブジェクトの動作を示すテキスト情報を作成し、前記他のオブジェクトの動作又は音を示すテキスト情報を作成し、
前記表示制御手段は、各オブジェクトに、対応するテキスト情報を関連付けて、前記特徴的フレームの画像に表示する、
ことを特徴とする情報処理装置。 - 複数のフレームで構成され1又は複数のオブジェクトが表された画像データから、特徴的フレームを選択するフレーム選択手段と、
前記1又は前記複数のオブジェクトから特徴的オブジェクトを選択するオブジェクト選択手段と、
前記特徴的オブジェクトの動作及び前記特徴的オブジェクトからの音のうち少なくとも一方を示すテキスト情報を作成するテキスト情報作成手段と、
前記テキスト情報を前記特徴的オブジェクトに関連付けて、前記特徴的フレームの画像に表示する表示制御手段と、
を有し、
前記オブジェクト選択手段は、前記1又は前記複数のオブジェクトのうち、発話している時間の長さが予め設定された発話時間閾値以上となるオブジェクトの発話を前記特徴的オブジェクトの発言として選択し、時間の長さが前記発話時間閾値以上となる発話が行われている時間帯における他のオブジェクトの動作又は発言を選択し、
前記テキスト情報作成手段は、前記特徴的オブジェクトの発言内容を示すテキスト情報を作成し、前記他のオブジェクトの動作又は発言内容を示すテキスト情報を作成し、
前記表示制御手段は、各オブジェクトに、対応するテキスト情報を関連付けて、前記特徴的フレームの画像に表示する、
ことを特徴とする情報処理装置。 - 複数のフレームで構成され1又は複数のオブジェクトが表された画像データから、特徴的フレームを選択するフレーム選択手段と、
前記1又は前記複数のオブジェクトから特徴的オブジェクトを選択するオブジェクト選択手段と、
前記特徴的オブジェクトの動作及び前記特徴的オブジェクトからの音のうち少なくとも一方を示すテキスト情報を作成するテキスト情報作成手段と、
前記テキスト情報を前記特徴的オブジェクトに関連付けて、前記特徴的フレームの画像に表示する表示制御手段と、
を有し、
前記表示制御手段は、前記特徴的フレームの画像において前記特徴的オブジェクトが表された領域以外の領域に、前記テキスト情報を前記特徴的オブジェクトに関連付けて表示する、
ことを特徴とする情報処理装置。 - 複数のフレームで構成され1又は複数のオブジェクトが表された画像データから、特徴的フレームを選択するフレーム選択手段と、
前記1又は前記複数のオブジェクトから特徴的オブジェクトを選択するオブジェクト選択手段と、
前記特徴的オブジェクトの動作及び前記特徴的オブジェクトからの音のうち少なくとも一方を示すテキスト情報を作成するテキスト情報作成手段と、
前記テキスト情報を前記特徴的オブジェクトに関連付けて、前記特徴的フレームの画像に表示する表示制御手段と、
を有し、
前記表示制御手段は、前記特徴的オブジェクトの種類に応じて前記テキスト情報の表示形態を変える、
ことを特徴とする情報処理装置。 - 複数のフレームで構成され1又は複数のオブジェクトが表された画像データから、特徴的フレームを選択するフレーム選択手段と、
前記1又は前記複数のオブジェクトから特徴的オブジェクトを選択するオブジェクト選択手段と、
前記特徴的オブジェクトの動作及び前記特徴的オブジェクトからの音のうち少なくとも一方を示すテキスト情報を作成するテキスト情報作成手段と、
前記テキスト情報を前記特徴的オブジェクトに関連付けて、前記特徴的フレームの画像に表示する表示制御手段と、
を有し、
前記テキスト情報作成手段は、前記テキスト情報の要約を作成し、
前記表示制御手段は、前記特徴的フレームの画像に前記要約を表示する、
ことを特徴とする情報処理装置。 - コンピュータを、
複数のフレームで構成され1又は複数のオブジェクトが表された画像データから、特徴的フレームを選択するフレーム選択手段、
前記1又は前記複数のオブジェクトから特徴的オブジェクトを選択するオブジェクト選択手段、
前記特徴的オブジェクトの動作及び前記特徴的オブジェクトからの音のうち少なくとも一方を示すテキスト情報を前記特徴的オブジェクトに関連付けて、前記特徴的フレームの画像に表示する表示制御手段、
として機能させ、
前記フレーム選択手段は、前記1又は前記複数のオブジェクトが動いている時間の長さが予め設定された動作時間閾値以上となる期間内のフレームを、前記特徴的フレームとして選択する、
ことを特徴とするプログラム。 - コンピュータを、
複数のフレームで構成され1又は複数のオブジェクトが表された画像データから、特徴的フレームを選択するフレーム選択手段、
前記1又は前記複数のオブジェクトから特徴的オブジェクトを選択するオブジェクト選択手段、
前記特徴的オブジェクトの動作及び前記特徴的オブジェクトからの音のうち少なくとも一方を示すテキスト情報を作成するテキスト情報作成手段、
前記テキスト情報を前記特徴的オブジェクトに関連付けて、前記特徴的フレームの画像に表示する表示制御手段、
として機能させ、
前記フレーム選択手段は、前記1又は前記複数のオブジェクトの発話回数が予め設定された発話回数閾値以上となる期間内のフレームを、前記特徴的フレームとして選択する、
ことを特徴とするプログラム。 - コンピュータを、
複数のフレームで構成され1又は複数のオブジェクトが表された画像データから、特徴的フレームを選択するフレーム選択手段、
前記1又は前記複数のオブジェクトから特徴的オブジェクトを選択するオブジェクト選択手段、
前記特徴的オブジェクトの動作及び前記特徴的オブジェクトからの音のうち少なくとも一方を示すテキスト情報を作成するテキスト情報作成手段、
前記テキスト情報を前記特徴的オブジェクトに関連付けて、前記特徴的フレームの画像に表示する表示制御手段、
として機能させ、
前記フレーム選択手段は、前記1又は前記複数のオブジェクトの動作量が予め設定された動作量閾値以下となる時間の長さが、予め設定された時間閾値以上となる期間内のフレームを、前記特徴的フレームとして選択する、
ことを特徴とするプログラム。 - コンピュータを、
複数のフレームで構成され1又は複数のオブジェクトが表された画像データから、特徴的フレームを選択するフレーム選択手段、
前記1又は前記複数のオブジェクトから特徴的オブジェクトを選択するオブジェクト選択手段、
前記特徴的オブジェクトの動作及び前記特徴的オブジェクトからの音のうち少なくとも一方を示すテキスト情報を作成するテキスト情報作成手段、
前記テキスト情報を前記特徴的オブジェクトに関連付けて、前記特徴的フレームの画像に表示する表示制御手段、
として機能させ、
前記オブジェクト選択手段は、前記1又は前記複数のオブジェクトのうち、動作回数が予め設定された動作回数閾値以上となるオブジェクトを、前記特徴的オブジェクトとして選択し、
前記テキスト情報作成手段は、動作回数が前記動作回数閾値以上となる前記特徴的オブジェクトの動作を示す前記テキスト情報を作成する、
ことを特徴とするプログラム。 - コンピュータを、
複数のフレームで構成され1又は複数のオブジェクトが表された画像データから、特徴的フレームを選択するフレーム選択手段、
前記1又は前記複数のオブジェクトから特徴的オブジェクトを選択するオブジェクト選択手段、
前記特徴的オブジェクトの動作及び前記特徴的オブジェクトからの音のうち少なくとも一方を示すテキスト情報を作成するテキスト情報作成手段、
前記テキスト情報を前記特徴的オブジェクトに関連付けて、前記特徴的フレームの画像に表示する表示制御手段、
として機能させ、
前記オブジェクト選択手段は、前記1又は前記複数のオブジェクトのうち、動いている時間の長さが予め設定された動作時間閾値以上となるオブジェクトを、前記特徴的オブジェクトとして選択し、
前記テキスト情報作成手段は、前記動きの内容を示す前記テキスト情報を作成する、
ことを特徴とするプログラム。 - コンピュータを、
複数のフレームで構成され1又は複数のオブジェクトが表された画像データから、特徴的フレームを選択するフレーム選択手段、
前記1又は前記複数のオブジェクトから特徴的オブジェクトを選択するオブジェクト選択手段、
前記特徴的オブジェクトの動作及び前記特徴的オブジェクトからの音のうち少なくとも一方を示すテキスト情報を作成するテキスト情報作成手段、
前記テキスト情報を前記特徴的オブジェクトに関連付けて、前記特徴的フレームの画像に表示する表示制御手段、
として機能させ、
前記オブジェクト選択手段は、前記1又は前記複数のオブジェクトのうち、発話回数が予め設定された発話回数閾値以上となるオブジェクトを、前記特徴的オブジェクトとして選択し、
前記テキスト情報作成手段は、発話回数が前記発話回数閾値以上となる前記特徴的オブジェクトの発話の内容を示す前記テキスト情報を作成する、
ことを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013207739A JP6176041B2 (ja) | 2013-10-02 | 2013-10-02 | 情報処理装置及びプログラム |
US14/259,988 US9420204B2 (en) | 2013-10-02 | 2014-04-23 | Information processing apparatus, information processing method, and non-transitory computer readable medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013207739A JP6176041B2 (ja) | 2013-10-02 | 2013-10-02 | 情報処理装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015073198A JP2015073198A (ja) | 2015-04-16 |
JP6176041B2 true JP6176041B2 (ja) | 2017-08-09 |
Family
ID=52739755
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013207739A Active JP6176041B2 (ja) | 2013-10-02 | 2013-10-02 | 情報処理装置及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9420204B2 (ja) |
JP (1) | JP6176041B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6582626B2 (ja) * | 2015-07-02 | 2019-10-02 | 富士通株式会社 | 送信制御方法、表示端末および送信制御プログラム |
JP7110568B2 (ja) * | 2017-09-19 | 2022-08-02 | 富士フイルムビジネスイノベーション株式会社 | 行動推定装置及び行動推定プログラム |
US11715302B2 (en) * | 2018-08-21 | 2023-08-01 | Streem, Llc | Automatic tagging of images using speech recognition |
CN109982027A (zh) * | 2019-02-26 | 2019-07-05 | 视联动力信息技术股份有限公司 | 一种字幕显示参数的调整方法、装置和系统 |
JP2020201738A (ja) * | 2019-06-11 | 2020-12-17 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
JP2021152861A (ja) | 2020-03-23 | 2021-09-30 | 株式会社リコー | 入力装置、入力方法、及びプログラム |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8107015B1 (en) * | 1996-06-07 | 2012-01-31 | Virage, Incorporated | Key frame selection |
JP3775446B2 (ja) * | 1996-07-26 | 2006-05-17 | 富士ゼロックス株式会社 | 会議情報記録方法および会議情報記録装置並びに会議情報再生装置 |
JP2003123084A (ja) | 2001-10-11 | 2003-04-25 | Sony Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
US7203323B2 (en) * | 2003-07-25 | 2007-04-10 | Microsoft Corporation | System and process for calibrating a microphone array |
JP2006166407A (ja) * | 2004-11-09 | 2006-06-22 | Canon Inc | 撮像装置及びその制御方法 |
JP4375289B2 (ja) | 2005-06-27 | 2009-12-02 | セイコーエプソン株式会社 | コメントレイアウト装置 |
KR101146926B1 (ko) * | 2006-12-20 | 2012-05-22 | 엘지전자 주식회사 | 이동 단말기에서 비디오의 대표 영상 제공 방법 |
US8130257B2 (en) * | 2008-06-27 | 2012-03-06 | Microsoft Corporation | Speaker and person backlighting for improved AEC and AGC |
JP5353835B2 (ja) * | 2010-06-28 | 2013-11-27 | ブラザー工業株式会社 | 情報処理プログラムおよび情報処理装置 |
JP5012968B2 (ja) * | 2010-07-15 | 2012-08-29 | コニカミノルタビジネステクノロジーズ株式会社 | 会議システム |
JP5688279B2 (ja) * | 2010-12-08 | 2015-03-25 | ニュアンス コミュニケーションズ,インコーポレイテッド | 秘匿情報をフィルタリングする情報処理装置、方法およびプログラム |
JP5634853B2 (ja) | 2010-12-22 | 2014-12-03 | 富士フイルム株式会社 | 電子コミックのビューワ装置、電子コミックの閲覧システム、ビューワプログラム、ならびに電子コミックの表示方法 |
JP5674450B2 (ja) | 2010-12-22 | 2015-02-25 | 富士フイルム株式会社 | 電子コミックのビューワ装置、電子コミックの閲覧システム、ビューワプログラム、該ビューワプログラムが記録された記録媒体ならびに電子コミックの表示方法 |
JP2012133659A (ja) | 2010-12-22 | 2012-07-12 | Fujifilm Corp | ファイルフォーマット、サーバ、電子コミックのビューワ装置および電子コミック生成装置 |
JP6124543B2 (ja) * | 2011-12-26 | 2017-05-10 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像処理システム、及びプログラム |
KR101907406B1 (ko) * | 2012-05-08 | 2018-10-12 | 삼성전자 주식회사 | 통신 서비스 운용 방법 및 시스템 |
-
2013
- 2013-10-02 JP JP2013207739A patent/JP6176041B2/ja active Active
-
2014
- 2014-04-23 US US14/259,988 patent/US9420204B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US9420204B2 (en) | 2016-08-16 |
US20150092007A1 (en) | 2015-04-02 |
JP2015073198A (ja) | 2015-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6176041B2 (ja) | 情報処理装置及びプログラム | |
JP6688340B2 (ja) | 表情アイコンを入力するための方法及び装置 | |
WO2019005332A1 (en) | PROVISION OF LIVING AVATARS IN VIRTUAL MEETINGS | |
JP5685702B2 (ja) | 音声認識結果管理装置および音声認識結果表示方法 | |
JP2017229060A (ja) | 会議コンテンツを表現する方法、プログラム、及び装置 | |
CN106024009A (zh) | 音频处理方法及装置 | |
JPWO2015198488A1 (ja) | 電子機器、方法およびプログラム | |
JP2013222347A (ja) | 議事録生成装置及び議事録生成方法 | |
US9990772B2 (en) | Augmented reality skin evaluation | |
US20130332859A1 (en) | Method and user interface for creating an animated communication | |
JP6914154B2 (ja) | 表示制御装置、表示制御方法及びプログラム | |
JP2014220619A (ja) | 会議情報記録システム、情報処理装置、制御方法およびコンピュータプログラム | |
CN107025913A (zh) | 一种录音方法及终端 | |
CN110990534A (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
JP2006251898A (ja) | 情報処理装置、情報処理方法およびプログラム | |
WO2018105373A1 (ja) | 情報処理装置、情報処理方法、および情報処理システム | |
KR102252665B1 (ko) | 오디오 파일 재생 방법 및 장치 | |
US10580188B2 (en) | Method of creating animated image based on key input, and user terminal for performing the method | |
JP3879793B2 (ja) | 発言構造検出表示装置 | |
JP2010061343A (ja) | 音声記録方法、音声再生方法、音声記録プログラム、音声再生プログラム | |
JP6950708B2 (ja) | 情報処理装置、情報処理方法、および情報処理システム | |
JP2014149571A (ja) | コンテンツ検索装置 | |
JP7468360B2 (ja) | 情報処理装置および情報処理方法 | |
JP2007258934A5 (ja) | ||
JP2012003698A (ja) | 会議支援装置、会議支援方法、会議支援プログラムおよび記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170316 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170321 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170424 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170613 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170626 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6176041 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |