JP7298124B2 - 動画編集装置およびプログラム - Google Patents

動画編集装置およびプログラム Download PDF

Info

Publication number
JP7298124B2
JP7298124B2 JP2018178307A JP2018178307A JP7298124B2 JP 7298124 B2 JP7298124 B2 JP 7298124B2 JP 2018178307 A JP2018178307 A JP 2018178307A JP 2018178307 A JP2018178307 A JP 2018178307A JP 7298124 B2 JP7298124 B2 JP 7298124B2
Authority
JP
Japan
Prior art keywords
image
student
target
registration
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018178307A
Other languages
English (en)
Other versions
JP2020053729A (ja
Inventor
志華 鍾
ニック ユースーン スー
デルフィン オウ
ヴィンセント ツェ ビン タン
サラ シュアン バイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2018178307A priority Critical patent/JP7298124B2/ja
Priority to US16/261,479 priority patent/US20200098395A1/en
Priority to CN201910177966.5A priority patent/CN110944137A/zh
Publication of JP2020053729A publication Critical patent/JP2020053729A/ja
Application granted granted Critical
Publication of JP7298124B2 publication Critical patent/JP7298124B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • G06V40/173Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、動画編集装置およびプログラムに関するものである。
例えば、特許文献1には、動画コンテンツが時間的に分割された複数のコンテンツオブジェクトから構成され、コンテンツオブジェクトはその内容に関係する複数のタグ情報を含む動画コンテンツ編集プログラムであって、第1のタグ情報を含む複数のコンテンツオブジェクトの第1のタイムラインを表示すると共に、第1のタグ情報を含まないコンテンツオブジェクトの第2のタイムラインを、第1のタイムラインと並列に表示するユーザインタフェース制御手段と、タイムライン毎に、コンテンツオブジェクトを結合するコンテンツ生成手段としてコンピュータを機能させることが開示されている。
特開2010-268195号公報
ここで、動画に映っている対象について画像付きレポートを作成する場合、動画の中から対象の画像を選び出すことは容易ではなく、作成者の負担が大きくなる傾向がある。
本発明の目的は、対象が映っている画像を利用してレポートを作成する際に対象の画像に関する作成者の負担を軽減することにある。
請求項1に記載の発明は、動画中の予め定めた期間に映っている対象を認識する認識手段と、前記認識手段により認識された対象を前記期間に対応付けて登録しておく登録手段と、情報を受付けた場合、当該情報により特定された前記対象に対応付けられた前記期間の当該対象が認識された画像を表示する表示手段と、前記期間の前記対象が認識された画像が複数ある場合、当該複数の画像の中から1つの画像を選択する選択手段を備え、前記選択手段は、前記複数の画像の中で、前記対象が映っている領域が最も大きい画像、前記情報により特定された当該対象以外の認識対象の数が最も少ない画像、または、当該対象の表情が予め定められた条件を満たす画像を、前記1つの画像として選択する、ことを特徴とする、動画編集装置である。
請求項2に記載の発明は、前記選択手段は、前記条件を満たす画像からユーザにより指定された画像を前記1つの画像として選択する、ことを特徴とする請求項1に記載の動画編集装置である。
請求項3に記載の発明は、コンピュータに、動画中の予め定めた期間に映っている対象を認識する認識機能と、前記認識機能により認識された対象を前記期間に対応付けて登録しておく登録機能と、情報を受付けた場合、当該情報により特定された前記対象に対応付けられた前記期間の当該対象が認識された画像を表示する表示機能と、前記期間の前記対象が認識された画像が複数ある場合、当該複数の画像の中から1つの画像を選択する選択機能と、を実現させ、前記選択機能は、前記複数の画像の中で、前記対象が映っている領域が最も大きい画像、前記情報により特定された当該対象以外の認識対象の数が最も少ない画像、または、当該対象の表情が予め定められた条件を満たす画像を、前記1つの画像として選択する、プログラムである。
請求項1によれば、選択手段は、複数の画像の中で、対象が映っている領域が最も大きい画像、対象以外の認識対象の数が最も少ない画像、または、対象の表情が予め定められた条件を満たす画像を、1つの画像として選択するものでない場合に比べて、対象が映っている画像を利用してレポートを作成する際に対象の画像に関する作成者の負担を軽減することが可能になる
請求項によれば、選択手段は、条件を満たす画像からユーザにより指定された画像を1つの画像として選択するものでない場合に比べて、作成者の意向に沿う1つの画像をレポートに利用することが可能になる
請求項によれば、選択機能は、複数の画像の中で、対象が映っている領域が最も大きい画像、対象以外の認識対象の数が最も少ない画像、または、対象の表情が予め定められた条件を満たす画像を、1つの画像として選択するものでない場合に比べて、対象が映っている画像を利用してレポートを作成する際に対象の画像に関する作成者の負担を軽減することが可能になる
本実施の形態に係る動画編集装置の構成を説明するブロック図である。 サーバの機能を説明するブロック図である。 登録部への登録の処理手順を示すフローチャートである。 追加登録部による追加登録の処理手順を示すフローチャートである。 登録部への登録を説明する図である。 顔認識処理後の状態を説明する図であり、(a)は顔認識された状態を示し、(b)は追加登録された状態を示す。 表作成部による表作成の処理手順を示すフローチャートである。 一覧表の一例を示す図である。 レポート作成支援部による処理手順を示すフローチャートである。 レポート作成支援の一例を示す図である。
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
図1は、本実施の形態に係る動画編集装置100の構成を説明するブロック図である。
図1に示す動画編集装置100は、例えば学校に設置され、学校教育に利用されるものであり、サーバ1を含む。このサーバ1には、携帯可能なボタン装置等の指示装置2と、例えば教室で授業を受ける生徒の様子を撮影可能なカメラ3と、カメラ3により撮影された画像等を表示し画像を使って生徒ごとのレポートを編集作成するパーソナルコンピュータ(PC)4と、が通信可能に接続される。
なお、サーバ1およびPC4は、例えば、ソフトウェアを実行して演算等を行うためのCPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、ディスプレイ等の表示装置、コンピュータ本体に対して入力を行うための入力装置等によりそれぞれ構成される。また、サーバ1およびPC4の各々は、物理的に1台のコンピュータの場合でもよく、複数台のコンピュータによる分散処理で実現してもよい。
図2は、サーバ1の機能を説明するブロック図である。
図2に示す例では、サーバ1は、カメラ3が撮影した画像を一時的に保持するバッファ部11と、指示装置2からの指示等を受け付ける受付部12と、指示装置2の指示を受付部12が受け付けると、その前後の動画データを格納する動画データ格納部13と、を備えている。
このように、サーバ1は、カメラ3の撮影画像がバッファ部11に保持され、時間経過に従って古い撮影画像が消去され、新しい撮影画像が順次保持される。そして、受付部12が指示装置2から指示を受け付けると、バッファ部11が保持する一部または全部が動画データ格納部13に格納され、録画される。なお、本実施の形態では、動画データ格納部13への録画を常時行っていないが、そのような制御を行っても良い。
また、サーバ1は、レポートを作成する生徒の各々の個人データを予め格納してある個人データ格納部14と、動画データ格納部13に格納されている動画データの各フレームについて顔認識処理を行う顔認識部15と、を備えている。この顔認識処理では、フレーム内で顔と判断される部分を生徒の顔画像データベースと照合し、生徒を特定する。
さらに、サーバ1は、顔認識部15により顔認識された生徒を特定する生徒特定情報を動画データのフレーム情報と共に登録する登録部16と、動画データ格納部13に格納されている動画データには映っていても顔認識部15による顔認識処理では顔認識されなかった生徒を登録部16に追加登録する追加登録部17と、を備えている。追加登録部17を備えることにより、動画に映っている人物を顔認識部15が認識しなかった場合にユーザの操作によってその人物を登録部16に追加登録できる。
ここにいう個人データとは、生徒個人の所属学級を特定するためのデータをいう。この個人データを用いることで、学級に所属する生徒全員の氏名情報を取得することができる。また、学級の授業の時間割を示す情報および時間情報を取得する場合には、動画データ格納部13に格納された動画データが撮影された授業の科目を特定することができる。
さらにまた、サーバ1は、レポートを作成する生徒の各々について、登録部16に登録されている数を動画データ格納部13に格納されている動画データごとに示す表を作成する表作成部18と、登録部16への登録を基に各生徒のレポートを作成するレポート作成支援部19と、を備えている。
顔認識部15は認識手段の一例であり、認識機能の一例である。登録部16は登録手段の一例であり、登録機能の一例である。PC4は表示手段の一例であり、表示機能の一例である。生徒特定情報は、表示手段が受付ける情報の一例である。レポート作成支援部19は選択手段の一例である。表作成部18は提示手段の一例であり、提示機能の一例である。追加登録部17は追加手段の一例であり、追加機能の一例である。
図3は、登録部16への登録の処理手順を示すフローチャートである。
図3に示す処理例では、カメラ3が作動している場合(S101)、その撮影画像がサーバ1のバッファ部11に常時格納される(S102)。 指示装置2からの指示入力を受け付けると(S103でYes)、受付部12は、録画期間ないし指定期間を設定する(S104)。そして、そのように設定された録画期間の動画データは、タグ情報を持つ動画データ(図5(a)に示すタグ付け動画データ32参照)として、動画データ格納部13に格納される(S105)。
そして、カメラ3で撮影されている生徒を個人データから把握した上で、タグ付け動画データからフレーム(図5(a)に示すフレーム33参照)を抽出し、抽出したフレームの人物領域を抽出し(S106)、人物データについての人物識別処理(S107)で、同じ人物かどうかを判別する。そして、同じ人物データを用いて顔認識部15が顔認識する(S108)。そして、顔認識された生徒を特定する生徒特定情報を、タグ付け動画データにおけるフレーム番号(図5(a)に示すフレーム番号n参照)と共に登録部16に登録する(S109)。S108とS109を適宜繰り返す(S110)。これにより、ユーザは、タグ付け動画データのどの位置でどの生徒が顔認識されたかを知ることができる。
指示装置2からの指示入力がなければ(S103でNo)、カメラ3が停止したか否かを判断する(S111)。カメラ3が停止していなければ(S111でNo)、ステップ103に戻り、停止していれば(S111でYes)、処理を終了する。
なお、本実施の形態では、入力指示の後カメラが停止する前に人物領域抽出(S106)から個人特定データ登録(S109)まで行うが、人物領域抽出(S106)以降の処理は、例えばカメラ停止後など、任意のタイミングで行ってもよい。
図4は、追加登録部17による追加登録の処理手順を示すフローチャートである。
上述したように、タグ付け動画データに映っている生徒は、顔認識されて登録部16に登録されるが、タグ付け動画データに映っているものの顔認識されない生徒は登録されない。そこで、本実施の形態では、追加登録部17を備え、顔認識されなくても登録できるようにしている。なお、登録部16への登録は自動的に行われるものであるが、追加登録部17による追加登録は、ユーザ例えば先生がPC4を操作することにより行われる。
本実施の形態では、動画中の指定期間に映っている人物を認識する顔認識部15を一例とする認識手段と、認識手段が認識した人物を登録しておく登録部16を一例とする登録部と、指定期間中に映っている人物を認識手段が認識しなかった場合、人物を登録部に追加登録する追加登録部17を一例とする追加登録手段と、を備えている。また、本実施の形態では、動画中の指定期間に映っている対象を認識する顔認識部15を一例とする認識手段と、認識手段が認識した対象を登録しておく登録部16を一例とする登録部と、指定期間中に認識手段が認識しなかった対象を登録部に追加登録する追加登録部17を一例とする追加登録手段と、を備えても良い。
図4に示す処理例では、サーバ1の受付部12がPC4からの編集指示を受け付けると(S201)、動画データ格納部13に格納されている動画データの中から対応するタグ付け動画データを取得する(S202)。また、タグ付け動画データにて特定された生徒の生徒特定情報およびフレーム番号を登録部16から取得する(S203)。そして、タグ付け動画データと生徒特定情報およびフレーム番号とによる動画を再生する(S204)。すなわち、タグ付け動画データにおいて、顔認識により特定された生徒の画像にマークを付加したフレームを連続再生することで、どのフレームでどの生徒が顔認識されているかが分かる。また、動画再生により、映っていても顔認識されていない生徒を把握することができる。このように、タグ付け動画データにおいて、顔認識された生徒(顔認識生徒)と顔認識されていない生徒(未認識生徒)を先生が知ることができる。
PC4にて動画再生を視聴する先生は、あるフレームにおける未認識生徒のうち認識しておきたい生徒についてPC4を操作して入力すると、サーバ1の受付部12は、追加生徒特定情報として受け付ける(S205)。そして、タグ付け動画データに対応のフレームに対応付けて生徒特定情報が追加登録部17により登録部16に追加登録される(S206)。これにより、未認識生徒は、追加認識生徒として以降処理される。
なお、登録部16への登録は、上述したように、顔認識部15による場合と追加登録部17による追加登録の場合とがある。登録部16への登録に際し、顔認識生徒と追加認識生徒とを区別せずに登録する態様と、両者を区別可能に登録する態様とが考えられる。レポート作成時の使い勝手を考慮して、いずれを採用しても良い。前者の場合は、後者の場合に比べ、レポート作成時に表示される情報が少なくなる点で、ユーザの負担を軽減することができる。また、後者の場合には、追加登録した生徒の事後検索が可能になる。もちろん、両者のいずれかをユーザが録画する前の段階で選択できるようにすることが考えられ、また、表作成の段階で表示態様を選択することも考えられる。
登録部16に登録されている情報のうち、顔認識生徒のものと追加認識生徒のものとを区別する場合には、両者を区別する情報を登録部16に登録しておくことで実現できる。
ここにいう区別する情報とは、登録部16に登録された事由を区別するための情報をいい、例えばいずれか一方を他方と区別するためのフラグ情報としても良い。また、登録部16を、顔認識生徒を登録する領域と追加認識生徒を登録する領域とに区分けし、登録先の領域の情報を、ここにいう区別する情報としても良い。
登録部16への登録について具体的に説明する。
図5は、登録部16への登録を説明する図であり、動画データとフレームとの関係を示す。図6は、顔認識処理後の状態を説明する図であり、(a)は顔認識された状態を示し、(b)は追加登録された状態を示す。
図5に示すように、カメラ3が作動している場合に指示装置2からの指示があると、動画データ31のうち指示があった時点の前後の期間の動画データがタグ付け動画データ32として、動画データ格納部13に格納される。タグ付け動画データ32は、複数のフレームを備え、例えばフレーム33にはフレーム番号nが付される。指示があった時点の前後の期間は、動画中の予め定めた期間の一例である。
いったん動画データ格納部13に格納されたタグ付け動画データ32の各フレームに対し、顔認識部15による顔認識処理が行われると、図6(a)に示すように、フレーム33では生徒Aおよび生徒Bが特定されている。この場合、フレーム番号nの生徒特定情報はA,Bである。これにより、フレーム番号から生徒特定情報を取得することができ、また、生徒特定情報からフレーム番号を特定することができる。
なお、追加登録部17による追加登録が行われる際のPC4での動画再生時(S204参照)には、再生バー34が表示され、タグ付け動画データにおける経過時間の位置を示す。再生バー34をスライドすることで別のフレームを表示することができる。
図6(b)に示すように、顔認識されなかった生徒Cが編集により追加登録されている。生徒Cの顔が映っていないことから顔認識されなかったが、フレーム33で生徒Cのレポート作成に使うかもしれないと先生が判断した場合等には、生徒Cが追加登録され、図6(b)のように表示される。
なお、図6(b)では、顔認識された生徒A,Bに関する表示と追加登録された生徒Cに関する表示を互いに異なる態様で示すが、同じ態様で示しても良い。
図7は、表作成部18による表作成の処理手順を示すフローチャートである。
上述したように、予め定められた期間における各生徒の画像付きレポートを作成する場合、レポート作成段階でレポートに必要な画像が不足していることが判明しても対応が困難である。そこで、本実施の形態では、表作成部18を備え、要求に応じ生徒ごとの登録状況を表示できるようにしている。なお、ここにいう登録状況は、登録に関し、人物ごとの情報の量に関する情報である。登録部16だけの登録状況の場合でも良く、登録部16および追加登録部17の登録状況の場合でも良く、追加登録部17だけの登録状況の場合でも良い。
本実施の形態は、動画中の指定期間に映っている人物を認識する顔認識部15を一例とする認識手段と、認識手段が認識した人物と指定期間とを含む情報について保持する登録部16および追加登録部17を一例とする保持手段と、保持手段が保持している情報の量に関する情報を、人物ごとに表示するPC4を一例とする表示手段を備えている。
図7に示す処理例では、サーバ1の受付部12がPC4を介して表作成の指示を受け付けると(S301)、表作成部18が登録部16に登録されているフレーム情報および生徒特定情報を取得する(S302)。ここにいう表作成の指示には、表に含まれる項目を指定する情報を含む。この情報は、例えば学級や授業の科目等を特定するものであり、提示手段が受付ける情報の一例であり、対象に対応する群を特定する情報の一例である。
表作成部18は、取得した情報を用いて一覧表データを作成し(S303)、PC4は、そのデータを基にする一覧表を画面に表示する(S304)。
この一覧表は、ダッシュボードとも呼ばれるものであり、登録部16への生徒ごとの登録の有無ないし登録の数を知るためのものである。表の縦方向横方向のいずれか一方の項目が生徒の氏名であり、他方の項目は、例えば時間軸(1週間ごと、日ごと)や授業の科目別としても良い。PC4からの表作成指示に、予め定められた項目の中から選択された項目を含めても良く、その場合には、選択された項目で一覧表が作成される。
また、一覧表を、学級単位であり学級の全生徒について表示する場合の他、一部の生徒について表示する場合も考えられる。
一覧表について具体的に説明する。
図8は、一覧表の一例を示す図であり、PC4での表示例である。
図8に示す表示例では、横方向は左から右に時系列であり、縦方向には、学級に所属する生徒の氏名が並んでいる。そして、生徒ごとに登録された日に分けて、登録部16に登録された数を表示している。定期的にこのような一覧表を表示することで、先生は登録状況を確認することができ、また、レポート作成に必要な画像数の状況を把握することができる。例えば、画像数が少ない生徒に対しては、レポート作成時までの残りの期間では注意を払い、撮影の回数が増えるようにできる。
図8の表示例では、学級に所属する全生徒の一覧表を示しているが、授業の科目別に一覧表を表示する態様も考えられる。このような学級の生徒一覧表や科目別の一覧表の作成指示は、対象に対応する群を特定する情報の一例である。
図8の表示例では、登録部16への登録がある場合にその数が表示され、登録がない場合に「0」が表示される。登録されている生徒の場合と登録されていない生徒の場合で、提示態様を変えても良い。「0」表示とそれ以外の数字表示とを異なる色で表示したり、異なる大きさで表示したりしても良い。例えば、「0」表示を赤色で強調して示し、それ以外の数字表示を黒色で表示する。また、「0」表示をそれ以外の数字表示よりも大きく表示して強調して示す。
また、一覧表を、顔認識部15により顔認識されて登録部16に登録されている場合(顔認識生徒)と、追加登録部17により追加登録されている場合(追加認識生徒)とに分けて表示する態様を選択できるようにしても良い。
図9は、レポート作成支援部19による処理手順を示すフローチャートである。
上述したように、生徒ごとに画像付きレポートを作成する場合、レポート作成の段階で録画を参照しながらレポートに付す生徒の画像を探して選び出す作業を行うと、レポート作成に時間がかかってしまう。そこで、本実施の形態では、登録部16への登録により画像に属性(タグ情報)を付与しておき、属性を検索したときに属性に関する画像と付与的文書(生徒特定情報)を表示し、編集作業を容易にしている。
本実施の形態は、動画中の指定期間について付与された属性を検索した場合、指定期間に関する画像及び指定期間に関する付与的文書の組を表示するPC4を一例とする表示手段と、付与的文書を編集するPC4を一例とする編集手段と、を備えている。
図9に示す処理例では、先生がPC4から対象の生徒についての情報を入力すると(S401)、サーバ1のレポート作成支援部19は、登録部16に登録されている生徒特定情報を照合し、対象の生徒が映っているタグ付け動画データのフレーム番号を特定する(S402)。そして、フレーム番号に映っている生徒の画像を抽出する(S403)。こうして、タグ付け動画から目的の画像を取り出すことができる。
生徒画像の抽出は、生徒画像が複数ある場合には、複数の画像の中から1枚を選択する処理を行う。
例えば、レポート作成支援部19が予め定められた処理を行うことでいずれか1枚が選択される(自動選択)。これにより、レポート作成の負担軽減を図ることができる。ここにいう予め定められた処理としては、例えば、画像全体の中で対象の生徒が映っている領域が最も大きい画像を選び出す処理や、対象の生徒以外の生徒が映っている場合に生徒の数が最も少ない画像を選び出す処理を採用することができる。また、対象の生徒の顔の表情が予め定められた条件を満たす画像を選び出す処理を採用しても良い。また、例えば、複数の要素を重要度に応じて重み付けして評価し、画像を選び出す処理を行ってもよい。この場合の要素としては、例えば映っている生徒の数や対象の生徒が映っている領域、対象生徒の顔の表情等である。
また、レポート作成支援部19が、対象の生徒が映っている画像をPC4に表示し、その中から先生が1枚を選択するようにしても良い(手動選択)。これにより、レポートにおける生徒の評価に対応する生徒の画像を選択することができる。
処理手順の説明に戻る。抽出した生徒の画像をPC4に表示し(S404)、次に、必要に応じて、生徒の画像に対するコメントを入力する(S405)。そして、サーバ1のレポート作成支援部19は、生徒の画像と入力のコメントを対応付けて保存する(S406)。
レポート作成支援について具体的に説明する。
図10は、レポート作成支援の一例を示す図であり、PC4での表示例である。
図10の表示例では、レポートの対象生徒名と対象期間を表示し、その他必要な情報が表示される。そして、生徒Aが映っている画像が表示され、それに対応する領域に、先生が入力可能なコメント欄が設定されている。同図の例では、コメント欄に「友達によく笑いかけるようになった」が入力されている。
先生がPC4から入力する情報は生徒Aであり、レポート作成支援部19は、登録部16に登録されている画像のうち生徒Aが映っている画像を1枚自動的に選択し、表示する。このため、レポート作成の際の先生の負担を軽減させることが可能である。
このように、本実施の形態に係る動画編集装置100は、動画中の予め定めた期間に映っている生徒の顔認識を行うサーバ1の顔認識部15と、顔認識部15により認識された生徒を予め定めた期間に対応付けて登録しておくサーバ1の登録部16と、生徒特定情報を受付けた場合、生徒特定情報により特定された生徒に対応付けられた期間の当該生徒が認識された画像を表示するPC4と、を備える。また、本実施の形態に係る動画編集装置100は、動画中の予め定めた期間に映っている生徒の顔認識を行うサーバ1の顔認識部15と、顔認識部15により認識された生徒を登録しておくサーバ1の登録部16と、例えば学級情報を受付けた場合、学級情報により特定された生徒が登録部16に登録されているか否かを提示するPC4と、を備える。また、本実施の形態に係る動画編集装置100は、動画中の予め定めた期間に映っている生徒の顔認識を行うサーバ1の顔認識部15と、顔認識部15により認識された生徒を登録しておくサーバ1の登録部16と、顔認識部15による認識がされていないとして指定された生徒を登録部16に追加登録する追加登録部17と、を備える。
これにより、生徒が映っている画像を利用してレポートを作成する際に生徒の画像に関する作成者の負担を軽減することができる。
1…サーバ、4…PC、15…顔認識部、16…登録部、17…追加登録部、18…表作成部、19…レポート作成支援部、100…動画編集装置

Claims (3)

  1. 動画中の予め定めた期間に映っている対象を認識する認識手段と、
    前記認識手段により認識された対象を前記期間に対応付けて登録しておく登録手段と、
    情報を受付けた場合、当該情報により特定された前記対象に対応付けられた前記期間の当該対象が認識された画像を表示する表示手段と、
    前記期間の前記対象が認識された画像が複数ある場合、当該複数の画像の中から1つの画像を選択する選択手段と、を備え、
    前記選択手段は、前記複数の画像の中で、前記対象が映っている領域が最も大きい画像、前記情報により特定された当該対象以外の認識対象の数が最も少ない画像、または、当該対象の表情が予め定められた条件を満たす画像を、前記1つの画像として選択する、ことを特徴とする、
    動画編集装置。
  2. 前記選択手段は、前記条件を満たす画像からユーザにより指定された画像を前記1つの画像として選択する、ことを特徴とする請求項1に記載の動画編集装置。
  3. コンピュータに、
    動画中の予め定めた期間に映っている対象を認識する認識機能と、
    前記認識機能により認識された対象を前記期間に対応付けて登録しておく登録機能と、
    情報を受付けた場合、当該情報により特定された前記対象に対応付けられた前記期間の当該対象が認識された画像を表示する表示機能と、
    前記期間の前記対象が認識された画像が複数ある場合、当該複数の画像の中から1つの画像を選択する選択機能と、を実現させ、
    前記選択機能は、前記複数の画像の中で、前記対象が映っている領域が最も大きい画像、前記情報により特定された当該対象以外の認識対象の数が最も少ない画像、または、当該対象の表情が予め定められた条件を満たす画像を、前記1つの画像として選択する、
    プログラム。
JP2018178307A 2018-09-25 2018-09-25 動画編集装置およびプログラム Active JP7298124B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018178307A JP7298124B2 (ja) 2018-09-25 2018-09-25 動画編集装置およびプログラム
US16/261,479 US20200098395A1 (en) 2018-09-25 2019-01-29 Video editing apparatus
CN201910177966.5A CN110944137A (zh) 2018-09-25 2019-03-07 视频编辑装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018178307A JP7298124B2 (ja) 2018-09-25 2018-09-25 動画編集装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2020053729A JP2020053729A (ja) 2020-04-02
JP7298124B2 true JP7298124B2 (ja) 2023-06-27

Family

ID=69883296

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018178307A Active JP7298124B2 (ja) 2018-09-25 2018-09-25 動画編集装置およびプログラム

Country Status (3)

Country Link
US (1) US20200098395A1 (ja)
JP (1) JP7298124B2 (ja)
CN (1) CN110944137A (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004312511A (ja) 2003-04-09 2004-11-04 Nippon Telegr & Teleph Corp <Ntt> 映像編集システム,園児モニタリングシステム,福祉施設モニタリングシステム,記念ビデオ作成システム,行動モニタリングシステムおよび映像編集方法
JP2010268195A (ja) 2009-05-14 2010-11-25 Kddi Corp 動画コンテンツ編集プログラム、サーバ、装置及び方法
JP2013247579A (ja) 2012-05-28 2013-12-09 Canon Inc 撮像装置、その制御方法及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007060980A1 (ja) * 2005-11-25 2007-05-31 Nikon Corporation 電子カメラおよび画像処理装置
JP2015087797A (ja) * 2013-10-28 2015-05-07 大日本印刷株式会社 映像コンテンツ装置、眼鏡、映像コンテンツ処理システム及び映像コンテンツプログラム
JP5991496B2 (ja) * 2014-11-21 2016-09-14 株式会社NttデータSms 監視システム、監視方法、及びプログラム
CN106485476A (zh) * 2016-11-01 2017-03-08 合肥华贝信息科技有限公司 一种基于视频的员工考勤系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004312511A (ja) 2003-04-09 2004-11-04 Nippon Telegr & Teleph Corp <Ntt> 映像編集システム,園児モニタリングシステム,福祉施設モニタリングシステム,記念ビデオ作成システム,行動モニタリングシステムおよび映像編集方法
JP2010268195A (ja) 2009-05-14 2010-11-25 Kddi Corp 動画コンテンツ編集プログラム、サーバ、装置及び方法
JP2013247579A (ja) 2012-05-28 2013-12-09 Canon Inc 撮像装置、その制御方法及びプログラム

Also Published As

Publication number Publication date
JP2020053729A (ja) 2020-04-02
US20200098395A1 (en) 2020-03-26
CN110944137A (zh) 2020-03-31

Similar Documents

Publication Publication Date Title
CN101753823B (zh) 自动标记图像的装置及其方法
US20080062283A1 (en) Image capturing apparatus, image capturing method, album creating apparatus, album creating method, album creating system and computer readable medium
JP4797761B2 (ja) 動画表示装置
JP6826293B2 (ja) 情報処理システムと、その処理方法及びプログラム
US7099894B2 (en) Multimedia information collection control apparatus and method
US20150092070A1 (en) Composite image creation assist apparatus, composite image creation assist method, and non-transitory computer readable recording medium
JP2008165701A (ja) 画像処理装置、電子機器、画像処理方法、及び、プログラム
JP2007287014A (ja) 画像処理装置、画像処理方法
JP2014503914A (ja) 生成された画像中に含まれるオブジェクトの収集をサポートするための方法、端末およびコンピュータ可読記録媒体
US20070031066A1 (en) Device and method for image searching, and recording medium in which image searching program is recorded
JP2004304765A (ja) 画像記録装置および方法並びにプログラム
JP2009086952A (ja) 情報処理システム及び情報処理プログラム
JP2006163527A (ja) 画像検索装置及び方法
JP7298124B2 (ja) 動画編集装置およびプログラム
CN111522992A (zh) 题目入库方法、装置、设备及存储介质
JP4492124B2 (ja) 書込解析装置、方法、およびプログラム
WO2012157611A1 (ja) 類似画像検索システム
CN110019862B (zh) 一种课件推荐方法、装置、设备及存储介质
KR101843133B1 (ko) 판서 영상 생성 방법, 장치 및 컴퓨터 프로그램
JP2006350550A (ja) アルバムコンテンツ自動作成方法及びシステム
JP7132860B2 (ja) 映像情報管理システムおよび映像情報管理方法
KR101843135B1 (ko) 영상 처리 방법, 장치 및 컴퓨터 프로그램
JP5012644B2 (ja) プレゼンテーション記録装置、プレゼンテーション再生装置及びプログラム
CN112565905A (zh) 一种图像锁定操作方法、系统、智能终端和存储介质置
WO2022249277A1 (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210906

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230529

R150 Certificate of patent or registration of utility model

Ref document number: 7298124

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150