JP7096626B2 - Information extraction device - Google Patents
Information extraction device Download PDFInfo
- Publication number
- JP7096626B2 JP7096626B2 JP2022013827A JP2022013827A JP7096626B2 JP 7096626 B2 JP7096626 B2 JP 7096626B2 JP 2022013827 A JP2022013827 A JP 2022013827A JP 2022013827 A JP2022013827 A JP 2022013827A JP 7096626 B2 JP7096626 B2 JP 7096626B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- student
- information
- frame group
- classroom
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims description 70
- 238000004891 communication Methods 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 description 59
- 238000000034 method Methods 0.000 description 37
- 238000001514 detection method Methods 0.000 description 24
- 230000033001 locomotion Effects 0.000 description 19
- 238000012545 processing Methods 0.000 description 19
- 238000004364 calculation method Methods 0.000 description 15
- 230000008451 emotion Effects 0.000 description 15
- 238000003384 imaging method Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 7
- 210000000887 face Anatomy 0.000 description 7
- 230000008921 facial expression Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000012925 biological evaluation Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000035485 pulse pressure Effects 0.000 description 2
- 206010048909 Boredom Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000011010 flushing procedure Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000035900 sweating Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Analysis (AREA)
Description
本開示は、情報抽出装置に関する。 The present disclosure relates to an information extraction device.
近年、各種コンテンツの配信を受ける配信サービスが普及しつつある。 In recent years, distribution services that receive distribution of various contents are becoming widespread.
特許文献1には、ユーザが配信を希望する音楽コンテンツの曲名等がわからないときでも、捜索対象である楽曲の鼻歌を入力することで、所望の音楽コンテンツを検出する処理を可能にした技術が開示されている。
ところで、特許文献1に記載の技術は、配信されるコンテンツが音楽コンテンツに限られるため、それ以外のあらゆる動画コンテンツに対して捜索対象を検出する処理を行うには、コンピュータによる膨大な演算処理が必要となる。
By the way, in the technique described in
そこで、本開示は、このような状況に鑑みてなされたものであり、演算処理に伴う負荷を軽減し得る情報抽出装置を提供することを一つの目的とする。 Therefore, the present disclosure has been made in view of such a situation, and one object of the present invention is to provide an information extraction device capable of reducing the load associated with arithmetic processing.
上記課題を解決するための本発明の主たる発明は、複数のフレームから構成される動画像から、外部から指示される所定の特定条件に従って特定のフレーム群を抽出する抽出部を備えることを特徴とする。 The main invention of the present invention for solving the above-mentioned problems is characterized by comprising an extraction unit for extracting a specific frame group from a moving image composed of a plurality of frames according to a predetermined specific condition instructed from the outside. do.
本開示によれば、演算処理に伴う負荷を軽減し得る。 According to the present disclosure, the load associated with the arithmetic processing can be reduced.
本開示の実施形態の内容を列記して説明する。本開示は、以下のような構成を備える。
[項目1]
複数のフレームから構成される動画像を取得する取得部と、
当該動画像内に含まれる所定のデータを特定するための特定条件を記憶する記憶部と、
当該特定条件に従って、前記動画像から特定のフレーム群を複数抽出する抽出部と、
抽出された前記特定のフレーム群同士を連結する連結部と、
連結された複数のフレーム群を含むダイジェスト情報を出力する出力部と、を備える、
情報抽出装置。
[項目2]
項目1に記載の情報抽出装置であって、
所定の波形データを予め登録する波形登録部、を更に備え、
前記特定条件は、前記動画像内に含まれる音の波形データと前記登録されている波形データとが一致するか否かであって、
前記抽出部は、両波形データが一致した場合に、当該一致した波形に対応するフレーム群を前記特定のフレーム群として前記動画像から抽出する、
情報抽出装置。
[項目3]
項目2に記載の情報抽出装置であって、
動画内に含まれる前記音を音声認識によりテキスト情報に変換する変換部を更に備え、
前記変換部は、前記特定のフレーム群とその前後所定フレーム数とを含む補助フレーム群に対応する前記音を変換する、
情報抽出装置。
[項目4]
項目2又は項目3に記載の情報抽出装置であって、
前記被写体を含む周囲の音が示す情報には、会話情報と非会話情報とが混在する、
情報抽出装置。
[項目5]
項目4に記載の情報抽出装置であって、
前記会話情報には、ポジティブな感情を示すワードと、ネガティブな感情を示すワードの少なくとも何れかが含まれる、
情報抽出装置。
[項目6]
項目4又は項目5に記載の情報抽出装置であって、
前記非会話情報には、舌打ち、溜め息、相槌の少なくとも何れかを示す情報が含まれる、
情報抽出装置。
[項目7]
項目1に記載の情報抽出装置であって、
顔の表情に関する所定の顔評価値を予め登録する顔情報登録部、を更に備え、
前記特定条件は、前記動画像内に含まれる顔の表情から算出される顔評価値と前記登録されている顔評価値とが一致するか否かであって、
前記抽出部は、両顔評価値が一致した場合に、当該一致した顔評価値に対応するフレーム群を前記特定のフレーム群として前記動画像から抽出する、
情報抽出装置。
[項目8]
項目7に記載の情報抽出装置であって、
前記顔評価値には、前記人物の幸福感、退屈感又は緊張感の度合いを評価した評価値が含まれる、
情報抽出装置。
[項目9]
項目7又は項目8に記載の情報抽出装置であって、
前記顔評価値には、前記人物の表情、前記人物の視線の向き、前記人物の顔の向きを評価した評価値が含まれる、
情報抽出装置
[項目10]
項目1に記載の情報抽出装置であって、
人物の動作に関する所定の動作評価値を予め登録する動作情報登録部、を更に備え、
前記特定条件は、前記動画像内に含まれる人物から算出される動作評価値と前記登録されている動作評価値とが一致するか否かであって、
前記抽出部は、両動作評価値が一致した場合に、当該一致した動作評価値に対応するフレーム群を前記特定のフレーム群として前記動画像から抽出する、
情報抽出装置。
[項目11]
項目10に記載の情報抽出装置であって、
前記動作評価値には、前記人物の身振り、手振り、ジェスチャ、ボディランゲージの少なくとも何れかの動作を評価した評価値が含まれる、
情報抽出装置。
[項目12]
項目1に記載の情報抽出装置であって、
所定の生体情報に関する生体評価値を予め登録する生体情報登録部と、を備え、
前記特定条件は、前記動画像内に含まれる人物から算出可能な生体評価値と、前記登録されている生体評価値とが一致するか否かであって、
前記抽出部は、両生体評価値が一致した場合に、当該一致した生体評価値に対応するフレーム群を前記特定のフレーム群として前記動画像から抽出する、
情報抽出装置。
[項目13]
項目12に記載の情報抽出装置であって、
前記生体評価値には、前記人物の血圧、脈拍、脈圧の少なくとも何れかが含まれる、
情報抽出装置。
[項目14]
項目1乃至項目13の何れか一項に記載の情報抽出装置であって、
前記特定のフレーム群に対して、当該特定のフレーム群と時系列的に前後に連続する追加フレームを追加するフレーム追加部を備えている、
情報抽出装置。
[項目15]
項目1乃至項目14の何れかに記載の情報抽出装置によって抽出されたダイジェスト情報に含まれる少なくとも顔画像又は音声を所定のフレーム単位ごとに識別する識別手段と、
識別した前記顔画像に関する評価値を算出する評価手段とを更に備える、
ビデオミーティング評価端末。
[項目16]
項目15に記載のビデオミーティング評価端末であって、
ビデオミーティング評価端末は、前記評価値の時系列によるグラフ情報を提供する、
ビデオミーティング評価端末。
[項目17]
項目15又は項目16に記載のビデオミーティング評価端末であって、
前記ビデオミーティング評価端末は、前記顔画像を複数の異なる観点によって評価した複数の評価値を算出する、
ビデオミーティング評価端末。
[項目18]
項目15乃至項目17のいずれかに記載のビデオミーティング評価端末であって、
前記ビデオミーティング評価端末は、前記動画像に含まれる音声と共に前記評価値を算出する、
ビデオミーティング評価端末。
[項目19]
項目15乃至項目18のいずれかに記載のビデオミーティング評価端末であって、
前記ビデオミーティング評価端末は、前記動画像内に含まれる前記顔画像以外の対象物と共に前記評価値を算出する、
ビデオミーティング評価端末。
The contents of the embodiments of the present disclosure will be listed and described. The present disclosure comprises the following configurations.
[Item 1]
An acquisition unit that acquires a moving image composed of multiple frames,
A storage unit that stores specific conditions for specifying predetermined data contained in the moving image, and a storage unit.
An extraction unit that extracts a plurality of specific frame groups from the moving image according to the specific conditions, and an extraction unit.
A connecting portion that connects the extracted specific frame groups to each other,
It includes an output unit that outputs digest information including a plurality of concatenated frame groups.
Information extraction device.
[Item 2]
The information extraction device according to
Further equipped with a waveform registration unit for pre-registering predetermined waveform data,
The specific condition is whether or not the waveform data of the sound included in the moving image and the registered waveform data match.
When both waveform data match, the extraction unit extracts a frame group corresponding to the matched waveform from the moving image as the specific frame group.
Information extraction device.
[Item 3]
The information extraction device according to item 2.
It also has a conversion unit that converts the sound contained in the video into text information by voice recognition.
The conversion unit converts the sound corresponding to the auxiliary frame group including the specific frame group and a predetermined number of frames before and after the specific frame group.
Information extraction device.
[Item 4]
The information extraction device according to item 2 or item 3.
Conversational information and non-conversational information are mixed in the information indicated by the surrounding sounds including the subject.
Information extraction device.
[Item 5]
The information extraction device according to item 4.
The conversation information includes at least one of a word indicating a positive emotion and a word indicating a negative emotion.
Information extraction device.
[Item 6]
The information extraction device according to item 4 or item 5.
The non-conversational information includes information indicating at least one of a tongue-and-groove, a sigh, and an aizuchi.
Information extraction device.
[Item 7]
The information extraction device according to
Further equipped with a face information registration unit that registers a predetermined facial evaluation value regarding facial expressions in advance.
The specific condition is whether or not the face evaluation value calculated from the facial expression included in the moving image matches the registered face evaluation value.
When both face evaluation values match, the extraction unit extracts a frame group corresponding to the matched face evaluation values from the moving image as the specific frame group.
Information extraction device.
[Item 8]
The information extraction device according to item 7.
The face evaluation value includes an evaluation value for evaluating the degree of happiness, boredom, or tension of the person.
Information extraction device.
[Item 9]
The information extraction device according to item 7 or item 8.
The face evaluation value includes an evaluation value that evaluates the facial expression of the person, the direction of the line of sight of the person, and the direction of the face of the person.
Information extraction device [Item 10]
The information extraction device according to
Further equipped with an operation information registration unit for pre-registering a predetermined motion evaluation value related to the motion of a person.
The specific condition is whether or not the motion evaluation value calculated from the person included in the moving image and the registered motion evaluation value match.
When both motion evaluation values match, the extraction unit extracts a frame group corresponding to the matched motion evaluation values from the moving image as the specific frame group.
Information extraction device.
[Item 11]
The information extraction device according to
The motion evaluation value includes an evaluation value that evaluates at least one motion of the person's gesture, hand gesture, gesture, or body language.
Information extraction device.
[Item 12]
The information extraction device according to
It is equipped with a biometric information registration unit that pre-registers biometric evaluation values related to predetermined biometric information.
The specific condition is whether or not the biological evaluation value that can be calculated from the person included in the moving image and the registered biological evaluation value match.
When both bio-evaluation values match, the extraction unit extracts a frame group corresponding to the matching bio-evaluation values from the moving image as the specific frame group.
Information extraction device.
[Item 13]
The information extraction device according to
The biometric evaluation value includes at least one of the blood pressure, pulse, and pulse pressure of the person.
Information extraction device.
[Item 14]
The information extraction device according to any one of
A frame addition unit for adding additional frames that are continuous in time series with the specific frame group is provided for the specific frame group.
Information extraction device.
[Item 15]
An identification means for identifying at least a face image or a sound included in the digest information extracted by the information extraction device according to any one of
Further provided with an evaluation means for calculating an evaluation value for the identified face image.
Video meeting evaluation terminal.
[Item 16]
The video meeting evaluation terminal according to
The video meeting evaluation terminal provides graph information in chronological order of the evaluation values.
Video meeting evaluation terminal.
[Item 17]
The video meeting evaluation terminal according to
The video meeting evaluation terminal calculates a plurality of evaluation values obtained by evaluating the face image from a plurality of different viewpoints.
Video meeting evaluation terminal.
[Item 18]
The video meeting evaluation terminal according to any one of
The video meeting evaluation terminal calculates the evaluation value together with the sound included in the moving image.
Video meeting evaluation terminal.
[Item 19]
The video meeting evaluation terminal according to any one of
The video meeting evaluation terminal calculates the evaluation value together with an object other than the face image contained in the moving image.
Video meeting evaluation terminal.
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Preferred embodiments of the present disclosure will be described in detail below with reference to the accompanying drawings. In the present specification and the drawings, components having substantially the same functional configuration are designated by the same reference numerals, and duplicate description will be omitted.
本開示では、デジタル通信回線を介して学習塾・教育機関と生徒・受講生宅を結び、各生徒・受講生は自宅に居ながら学習塾・教育機関で講義されている講義映像を視聴して、学習塾・教育機関の授業を受けられる在宅個別指導システムに情報抽出装置を適用する例を説明する。 In this disclosure, the learning school / educational institution is connected to the student / student's home via a digital communication line, and each student / student can watch the lecture video given at the learning school / educational institution while staying at home. , An example of applying an information extraction device to a home-based tutoring system that allows students to take classes at a cram school / educational institution will be described.
<第1の実施形態>
図1は、本開示の第1の実施形態に係る在宅個別指導システム1の構成例を示す概念図である。図示するように、この在宅個別指導システム1では、遠隔授業を行う講師Tの教室側に設けられた教室映像配信装置10と、それぞれの在宅で指導を受ける受講生群(受講生A、B、C)に夫々関連する受講生端末20A、20B、20Cと、がネットワークNWを介して通信可能に接続されている。なお以下では、受講生端末20A、20B、20Cを特に区別して説明する必要がない場合には、単に受講生端末20と略記する。同様に、受講生A、B、Cを特に区別して説明する必要がない場合には、単に受講生と略記する。
<First Embodiment>
FIG. 1 is a conceptual diagram showing a configuration example of a home-based
教室映像配信装置10は、請求の範囲に記載された情報抽出装置の一例となる。なお、本構成は一例であり、ある構成が他の構成を兼ね備えていたり、他の構成が含まれていたりしてもよい。なお、ここでは受講生A、B、Cの3名の場合を示しているが、講師が同時に指導できる人数又はネットワークNWの接続回線数等に応じて、さらに多人数としてもよい。
The classroom
本実施形態において、「講師」とは、教授、教諭、教師を含む概念である。「教室」とは、学習塾、カルチャーセンター、教育機関(例えば、初等・中等・高等教育機関、高等学校、高等専門学校、専門学校、短期大学、四年制大学、大学院など、文部科学省に登録されている学校)を含む概念である。「受講生」とは、生徒、学生、聴講生を含む概念である。 In this embodiment, the "lecturer" is a concept including a professor, a teacher, and a teacher. "Classrooms" are cram schools, culture centers, educational institutions (for example, primary, secondary and higher education institutions, high schools, colleges of technology, vocational schools, junior colleges, four-year colleges, graduate schools, etc.) It is a concept that includes registered schools). "Student" is a concept that includes students, students, and auditors.
本実施形態においてネットワークNWはインターネットを想定している。ネットワークNWは、例えば、公衆電話回線網、携帯電話回線網、無線通信網、イーサネット(登録商標)などにより構築される。 In this embodiment, the network NW assumes the Internet. The network NW is constructed by, for example, a public telephone line network, a mobile phone line network, a wireless communication network, Ethernet (registered trademark), and the like.
<ハードウェア構成>
図2は、本実施形態に係る教室映像配信装置10を実現するコンピュータのハードウェア構成例を示す図である。コンピュータは、少なくとも、通信部11と、撮像部12と、収音部13と、モニタ14と、メモリ15と、ストレージ16と、入出力部17と、制御部18等を備える。これらはバス19を通じて相互に電気的に接続される。
<Hardware configuration>
FIG. 2 is a diagram showing a hardware configuration example of a computer that realizes the classroom
通信部11は、教室映像配信装置10をネットワークNWに接続する。通信部11は、例えば、有線LAN(Local Area Network)、無線LAN、Wi-Fi(Wireless Fidelity、登録商標)、赤外線通信、Bluetooth(登録商標)、近距離または非接触通信等の方式で、外部機器と直接またはネットワークアクセスポイントを介して通信する。
The
撮像部12は、CMOS又はCCDなどの撮像素子を用いて電子撮影する機能を有する。撮像部12は、受講生に対する講義を行う講師Tを被写体として撮像して、講師映像を取得する。撮像部12は、講師Tが講義を進行する際に使用する黒板又はホワイトボードに記載した画像も撮像できる構成とするとよいが、黒板又はホワイトボードの為に独立したカメラを設けてもよい。
The
収音部13は、講師Tを含む周囲の音を収音する。収音部13は、講師Tの音声を含む周囲の音を取得するためのマイクロフォン等を備える。さらに、収音部13は、取得した音を電気信号に変換する等の適宜処理を行い得る。
The
モニタ14は、受講生端末20から送信される受講生映像と、撮像部12で取得される講師映像とを一覧可能な状態で表示し得る。もちろん、モニタ14は、受講生映像のみを単独で表示してもよく、講師映像のみを単独で表示してもよい。
The
メモリ15は、DRAM(Dynamic Random Access Memory)等の揮発性記憶装置で構成される主記憶と、フラッシュメモリ又はHDD(Hard Disc Drive)等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ15は、制御部18のワークエリア等として使用され、また、教室映像配信装置10の起動時に実行されるBIOS(Basic Input/Output System)、及び各種設定情報等を格納する。
The
ストレージ16は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ16に構築されていてもよい。
The
入出力部17は、例えば、キーボード、マウス、タッチパネル等の情報入力機器である。
The input /
制御部18は、教室映像配信装置10全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えば制御部18は、CPU(Central Processing Unit)等のプロセッサであり、ストレージ16に格納されメモリ15に展開されたプログラム等を実行して各情報処理を実施する。
The
バス19は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
The
図3は、本実施形態に係る受講生端末20を実現するコンピュータのハードウェア構成例を示す図である。コンピュータは、少なくとも、通信部21と、撮像部22と、収音部23と、モニタ24と、メモリ25と、ストレージ26と、入出力部27と、制御部28等を備える。これらはバス29を通じて相互に電気的に接続される。本実施形態に係る受講生端末20を実現するコンピュータ等のハードウェア構成は、図2に示す教室映像配信装置10のハードウェア構成例と同様であるため、相違点のみ説明する。
FIG. 3 is a diagram showing a hardware configuration example of a computer that realizes the
通信部21は、受講生端末20をネットワークNWに接続する。
The
撮像部22は、講義を受講する受講生を被写体として撮像して、受講生映像を取得する。
The
収音部23は、受講生を含む周囲の音を収音する。音声データを送受するために、受講生端末20においては、マイク付きヘッドフォンを設けてもよいが、当該端末に内蔵されたマイク並びにスピーカを用いてもよい。
The
モニタ24は、教室映像配信装置10から送信される講師映像と、撮像部22で取得される受講生映像とを一覧可能な状態で表示し得る。もちろん、モニタ24は、講師映像のみを単独で表示してもよく、受講生映像のみを単独で表示してもよい。
The
制御部28は、受講生端末20全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。
The
<ソフトウェア構成>
図4は、本実施形態に係る教室映像配信装置10のソフトウェア構成例を示す図である。教室映像配信装置10は、抽出部101と、波形登録部102と、変換部103と、表示部104と、フレーム切り出し部105と、生成部106と、を備える。
<Software configuration>
FIG. 4 is a diagram showing a software configuration example of the classroom
抽出部101と、波形登録部102と、変換部103と、表示部104と、フレーム切り出し部105と、生成部106とは、制御部18がストレージ16に記憶されているプログラムをメモリ15に読み出して実行することにより実現され得る。
The
抽出部101は、撮像部12で取得される講師映像と、撮像部22で取得される受講生映像とを適宜取捨選択して合成すると共に、収音部13又は収音部23で収音された音を組み合わせて教室映像を生成する。ここでの講師映像又は受講生映像は、請求の範囲に記載された複数のフレームの一例となる。また、教室映像は、請求の範囲に記載された動画像の一例となる。教室映像は、テキストデータ、数値データ、図形データ、画像データ、動画データ、音声データ等、又はこれらの組み合わせであり、記憶、編集及び検索等の対象となり、システム又は利用者間で個別の単位として交換できるものをいい、これらに類似するものを含む。
The
抽出部101は、かかる教室映像から、外部から指示される所定の特定条件に従って特定のフレーム群を抽出する機能を有する。例えば、外部からの指示は、合成する教室映像の項目、画像の配置・画像の占有面積等を指示するものであり得る。外部からの指示は、例えば、講師T自身が講義の途中で映像構成を編集可能な簡便な操作であることが好ましい。
The
波形登録部102は、所定の波形データを予め登録する機能を有する。所定の特定条件とは、例えば、収音部13又は収音部23により収音された音の波形データと、波形登録部102に登録されている波形データとが一致するか否かであってよく、もちろん、他の条件であってもよい。本実施形態において波形登録部102に登録されている波形データは、講義におけるその場全体の雰囲気を評価するために用いられ得る。
The
抽出部101は、所定の特定条件が満たされた場合、例えば、両波形データが一致した場合に、当該一致した波形に対応するフレーム群を特定のフレーム群として前記教室映像から抽出する。
When a predetermined specific condition is satisfied, for example, when both waveform data match, the
変換部103は、収音部13が収音した音を音声認識によりテキストに変換する機能を有する。このテキストとは、任意の文字列のことである。変換部103は、音声認識に成功した場合は、生成したテキストを含む音声認識結果を出力する。音声認識結果に、音声認識が成功したことを示す成功情報を含めてもよい。
The
表示部104は、変換部103により変換されたテキストをモニタ14又はモニタ24に表示する機能を有する。講師T又は受講生A、B、Cを含む周囲の音が示す情報には、会話情報と非会話情報とが混在する。会話情報には、例えば、ポジティブな感情を示すワードと、ネガティブな感情を示すワードの少なくとも何れかが含まれる。
The
ポジティブな感情を示すワードの一例としては、講師が受講生を褒めたり、応援したり、励ましたりする内容として、「よく頑張ったね」「努力したね」「すごいね」「素晴らしいね」「立派だね」「偉いね」等を挙げることができる。 As an example of a word that shows positive emotions, the instructor praises, cheers, and encourages the students, "You did your best," "You worked hard," "Wow," "Great," and "Great." You can mention "ne", "great" and so on.
一方、ネガティブな感情を示すワードの一例としては、講師が受講生を貶したり、非難したり、誹謗したりする内容として、「そんなんじゃダメだ」「お前はダメだ」「なにやってんのよ」「落ちるぞ」「バカ」等を挙げることができる。 On the other hand, as an example of a word that shows negative emotions, the instructor may despise, blame, or despise the student, saying, "That's no good," "You're no good," "What are you doing?" "Zo", "stupid" and so on.
非会話情報は、会話情報以外のテキスト情報である。非会話情報には、舌打ち、溜め息、相槌の少なくとも何れかを示す情報が含まれる。これらの非会話情報は、講義を受講する受講生の感情を判断するための判断基準となり得る。受講生の感情は、例えば、「幸福感」、「退屈感」、「緊張感」の3つに分類され得る。 Non-conversational information is textual information other than conversational information. Non-conversational information includes information indicating at least one of tongue-and-groove, sighing, and aizuchi. These non-conversational information can be a criterion for judging the emotions of the students who take the lecture. The student's emotions can be classified into, for example, "happiness", "boring", and "tension".
フレーム切り出し部105は、抽出部101により抽出された特定のフレーム群に対して、少なくとも時系列的に前後に連続するフレーム群を切り出す機能を有する。フレーム切り出し部105は、例えば、各ワードがどのような文脈で使用されたかを示す文脈情報を取得するために適用可能な任意のフレームレートを用いて、前後に連続するフレーム群を切り出すことができる。ここでの文脈情報とは、例えば、単語前後の任意範囲の文字列、単語間の共起関係等を示す情報である。
The
生成部106は、抽出部101により抽出された特定のフレーム群に対して、その前後に連続する先行フレーム群と後続フレームを連結して、ダイジェスト動画を生成する機能を有する。
The
次に、このように構成された在宅個別指導システム1の動作について説明する。図5は、本開示の第1の実施の形態による教室映像配信方法の処理の流れを説明するフローチャートである。
Next, the operation of the home-based
ここでは、教室を運営する運営者等が、講師が受講生に対して不適切な発言・問題発言をしていないかどうかをチェックする場面を例に挙げて説明する。具体的に、予め登録された講師の声でネガティブな感情を示すワードとして「バカ」を表す波形データを用いて、ダイジェスト動画を生成する場面を例に説明する。 Here, an example will be given in which the operator of the classroom checks whether the instructor has made inappropriate or problematic remarks to the students. Specifically, a scene in which a digest video is generated using waveform data representing "stupid" as a word indicating negative emotions in the voice of a pre-registered instructor will be described as an example.
まず、講義が開始される時刻になると、各受講生A、B、Cは受講生端末20A、20B、20CをネットワークNW経由で在宅個別指導システム1に接続して、講師Tの講義開始を待つ。講師Tは、教室映像配信装置10が備えるモニタ14を見て各受講生A、B、Cが受講態勢にあるか否かを判断し、受講態勢が整っていれば、講義を開始する。すなわち、撮像部12並びに撮像部22による撮像動作が開始されるとともに、収音部13並びに収音部23による収音動作が開始される(ステップS100)。
First, at the time when the lecture starts, each student A, B, C connects the
そして、抽出部101は、撮像部12で取得される講師映像と、撮像部22で取得される受講生映像とを適宜取捨選択して合成すると共に、収音部13又は収音部23で収音された音を組み合わせて教室映像を生成すると共に、生成した教室映像をネットワークNW経由で受講生端末20A、20B、20Cに配信する(ステップS102)。
Then, the
次に、講師が「バカ」と発声すると、その音声は収音部13で収音されて、その音声データを含む教室映像が特定のフレーム群として抽出部101によって抽出される(ステップS104)。
Next, when the instructor utters "stupid", the voice is picked up by the
フレーム切り出し部105は、その教室映像の前後において例えば10秒~20秒程度の時間間隔で連なるフレーム群を切り出す(ステップS106)。
The
そして、生成部106は、これらのフレーム群を連結したダイジェスト動画を生成すると共に、当該ダイジェスト動画 に基づいて、講師の音声データに対して所定の音響分析を施す(ステップS108)。
Then, the
この音響分析によれば、「バカ」というワードがどういう文脈で使われたかを把握することができる。 This acoustic analysis gives us an idea of the context in which the word "stupid" was used.
例えば、(受講生以外の第三者に対して)「こういうバカなことを言ってる人はダメだよね」という文脈で講師において「バカ」というワードが使われた場合には、講師は受講生のことをバカと言ったわけではないことが把握できる。 For example, if the instructor uses the word "stupid" in the context of "a person who is saying such stupid things is not good" (to a third party other than the student), the instructor is a student. I can understand that I didn't call it stupid.
また例えば、「俺はバカだから」と文脈で講師において「バカ」というワードが使われた場合には、講師は自身のことをバカと言っていることが把握できる。 Also, for example, if the instructor uses the word "stupid" in the context of "because I am stupid", it can be understood that the instructor is calling himself stupid.
かくして、教室を運営する運営者等は、「バカ」というワードとその前後の文脈をテキスト文章として例えばレポート形式で取得し得るので、講師が受講生に対して不適切な発言・問題発言をしていないかどうかを容易にチェックできる。 Thus, the operator who manages the classroom can obtain the word "stupid" and the context before and after it as a text sentence, for example, in the form of a report, so that the instructor makes inappropriate or problematic remarks to the students. You can easily check if it is not.
すなわち、予め登録済みの波形データを用いた照合により、演算処理に伴う負荷を軽減しながらも、教室映像内において講師が不適切な発言・問題発言を引き起こす可能性の高い状況を含む特徴的なシーンをピンポイントで引き出すことが可能となる。例えば、講義時間(例えば90分)に対して、講師によるネガティブな感情を示すワードの発声回数が比較的大きい所定の回数(例えば10回)に至るような場合には、講師の人間性を判断することも可能になる。もちろん、講師によるポジティブな感情を示すワードの発声回数も講師の人間性を判断する材料になり得る。さらには、講師の側に限らず、受講生の側においても、講師からの発話に対する舌打ちの回数、溜め息の回数、相槌の回数は、受講生がどのような感情を抱いているかを判断する材料となり得る。 That is, it is characteristic that the instructor is likely to cause inappropriate remarks / problem remarks in the classroom video while reducing the load associated with the arithmetic processing by collation using the waveform data registered in advance. It is possible to pull out the scene pinpoint. For example, when the number of times the instructor utters a word indicating negative emotions reaches a predetermined number of times (for example, 10 times) with respect to the lecture time (for example, 90 minutes), the human nature of the instructor is judged. It will also be possible to do. Of course, the number of utterances of words that indicate positive emotions by the instructor can also be a factor in judging the instructor's humanity. Furthermore, not only on the side of the instructor, but also on the side of the students, the number of tongue-and-grooves, the number of sighs, and the number of aizuchis for the utterances from the instructor are materials for judging what kind of feelings the students have. Can be.
<第2の実施形態>
以下、図6及び図7に基づいて、第2の実施形態に係る在宅個別指導システムについて説明する。この実施形態では、上述した第1実施形態で説明した要素と同一の要素について同じ符号を付し、詳細な説明を省略する。
<Second embodiment>
Hereinafter, the home-based individual guidance system according to the second embodiment will be described with reference to FIGS. 6 and 7. In this embodiment, the same elements as those described in the first embodiment described above are designated by the same reference numerals, and detailed description thereof will be omitted.
上記の第1実施形態に係る在宅個別指導システムでは、既に述べたように、予め登録済みの波形データを用いた照合により、教室映像の中から特定のフレーム群を抽出していたが、第2の実施形態に係る在宅個別指導システムでは、人物の顔の表情に関する評価値に基づいて、教室映像の中から特定のフレーム群を抽出する処理が行われる。 In the home-based individual guidance system according to the first embodiment described above, as described above, a specific frame group is extracted from the classroom video by collation using the waveform data registered in advance, but the second In the home-based individual guidance system according to the embodiment, a process of extracting a specific frame group from the classroom video is performed based on the evaluation value regarding the facial expression of the person.
<ソフトウェア構成>
図6は、本実施形態に係る教室映像配信装置10のソフトウェア構成例を示す図である。教室映像配信装置10は、抽出部101と、フレーム切り出し部105と、生成部106と、顔検出部107と、算出部108と、顔情報登録部109と、を備える。
<Software configuration>
FIG. 6 is a diagram showing a software configuration example of the classroom
顔検出部107は、例えば、メモリ15に格納されている教室映像を構成する複数のフレームの夫々について、人物の顔検出を行う機能を有する。例えば、顔検出部107は、教室映像の中から特徴点を抽出して、講師T又は各受講生A、B、Cの顔領域、顔領域の大きさ・顔面積等を検出する。
The
特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点、顎の下端点等が挙げられる。そして、顔検出部107は、顔領域の位置情報を特定する。例えば、顔検出部107は、画像の横方向をX軸とし、縦方向をY軸として、顔領域に含まれる画素のX座標及びY座標を算出する。さらに、顔検出部107は、上述した特徴点を用いた演算処理によって、検出した講師又は各受講生の表情・年齢などを判別し得る。
The characteristic points include, for example, the end points of the eyebrows, eyes, nose, and lips, the contour points of the face, the apex of the head, and the lower end points of the chin. Then, the
算出部108は、教室映像を構成する複数のフレームの夫々について、講師T又は各受講生A、B、Cの顔に関する評価値を算出する機能を有する。算出部108において算出される各評価値は、以下に示す所定の評価値(1)~(6)が含まれる。これらの評価値(1)~(6)は、顔情報登録部109に予め登録される。
The
(1)笑顔の度合い
算出部108は、顔検出部107が検出した顔のそれぞれについて、例えば、パターンマッチングなどの公知技術を用いて、笑顔の度合いを評価値として算出する。本実施形態では、度合いの一例として、「0:笑顔なし」、「1:微笑」、「2:普通笑い」、「3:大笑い」 までの4段階で笑顔の度合いを示す。
(1) The smile
(2)視線の向き
算出部108は、顔検出部107が検出した顔のそれぞれについて、公知の技術を用いて、視線の向きを評価値として算出する。本実施形態では、一例として、「0:視線正面」、「1:視線左右方向」、「2:視線右方向」、「3:視線検出不可」の4種類で視線の向きを示す。
(2) The line-of-sight
(3)顔の向き
算出部108は、顔検出部107が検出した顔のそれぞれについて、公知の技術を用いて、顔の向きを評価値として算出する。本実施形態では、一例として、「0:顔向き正面」、「1:顔向き左方向」、「2:顔向き右方向」、「3:検出不可」の4種類で顔の向きを示す。
(3) The face
(4)顔面積
算出部108は、顔検出部107が検出した顔のそれぞれについて、顔部分の面積を評価値として算出する。
(4) The face
(5)年齢
算出部108は、顔検出部107が検出した顔のそれぞれについて、公知の技術を用いて、その人物の年齢を評価値として算出する。
(5) The
(6)目つぶり度合い
算出部108は、顔検出部107が検出した顔のそれぞれについて、公知の技術を用いて、目つぶり度合いを評価値として算出する。本実施形態では、一例として、「0:目つぶりなし」、「1:一部目つぶりあり」、「2:両目目つぶり」、「3:目つぶり検出不可」の4種類で目つぶり度合いを示す。
(6) The eye-blurring
これらの評価値(1)~(6)は、講義を受講する受講生の感情を判断するための判断基準となり得る。受講生の感情は、例えば、「幸福感」、「退屈感」、「緊張感」の3つに分類され得る。 These evaluation values (1) to (6) can be a judgment standard for judging the emotions of the students who take the lecture. The student's emotions can be classified into, for example, "happiness", "boring", and "tension".
抽出部101は、所定の特定条件が満たされた場合、例えば、算出部108により算出された評価値と、顔情報登録部109に予め登録されている評価値とが一致した場合に、当該一致した評価値に対応するフレーム群を特定のフレーム群として前記教室映像から抽出する。
The
次に、このように構成された在宅個別指導システムの動作について説明する。図7は、本開示の第2の実施の形態による教室映像配信方法の処理の流れを説明するフローチャートである。 Next, the operation of the home-based tutoring system configured in this way will be described. FIG. 7 is a flowchart illustrating a processing flow of the classroom video distribution method according to the second embodiment of the present disclosure.
ここでは、教室を運営する運営者等が、受講生Aである子供を塾などに預ける保護者等からの要望であって、受講生Aの学習態度・学習状況を把握したいという要望に応える場面を例に挙げて説明する。 Here, the operator who manages the classroom responds to the request from the guardian who entrusts the child who is student A to a cram school etc. and wants to grasp the learning attitude and learning situation of student A. Will be described as an example.
まず、講義が開始される時刻になると、各受講生A、B、Cは受講生端末20A、20B、20CをネットワークNW経由で在宅個別指導システムに接続して、講師Tの講義開始を待つ。講師Tは、教室映像配信装置10が備えるモニタ14を見て各受講生A、B、Cが受講態勢にあるか否かを判断し、受講態勢が整っていれば、講義を開始する。すなわち、撮像部12並びに撮像部22による撮像動作が開始されるとともに、収音部13並びに収音部23による収音動作が開始される(ステップS200)。
First, at the time when the lecture starts, each student A, B, C connects the
そして、抽出部101は、撮像部12で取得される講師映像と、撮像部22で取得される受講生映像とを適宜取捨選択して合成すると共に、収音部13又は収音部23で収音された音を組み合わせて教室映像を生成すると共に、生成した教室映像をネットワークNW経由で受講生端末20A、20B、20Cに配信する(ステップS202)。
Then, the
次に、顔検出部107は、教室映像について、受講生Aの顔検出を行う(ステップS204)。顔検出の具体的な手法については、公知技術と同様であるため説明を省略する。
Next, the
そして、算出部108は、顔検出部107が検出した受講生Aの顔について、公知の技術を用いて、顔の向きを評価値として算出する(ステップS206)。続いて、抽出部101は、算出部108により算出された評価値が、顔情報登録部109に予め登録されている評価値「1:顔向き左方向」、「2:顔向き右方向」の何れかと一致した場合に、当該一致した評価値に対応するフレーム群を特定のフレーム群として教室映像から抽出する(ステップS208)。
Then, the
すなわち、受講生Aの顔の向きが正面ではなく左方向又は右方向を向いているような場合には、受講生Aの講義に対する集中度が低下していることが推認され得る。 That is, when the face of the student A is facing left or right instead of the front, it can be inferred that the degree of concentration of the student A on the lecture is reduced.
フレーム切り出し部105は、受講生Aの顔が正面を向いていない教室映像の前後において例えば10秒~20秒程度の時間間隔で連なるフレーム群を切り出す(ステップS210)。
The
そして、生成部106は、これらのフレーム群を連結したダイジェスト動画を生成すると共に、当該ダイジェスト動画に基づいて、講師の音声データに対して所定の音響分析を施す(ステップS212)。かかる音響分析によれば、受講生Aの顔が正面を向いていないときに、講師Tが発話しているワードが何であるかのみをフラグで管理できる。これにより、受講生Aの講義に対する集中度が低下した要因となり得るワードを、教室を運営する運営者等が収集できるとともに、受講生Aの学習態度・学習状況を把握したいという保護者等の要望に対しても効率的に応えることができる。
Then, the
もちろん、受講生Aの講義に対する集中度の判定は、受講生Aの顔の向きに限らず、受講生Aの視線の向きによっても行い得る。すなわち、受講生Aの視線の向きが正面ではなく左方向又は右方向を向いているような場合には、受講生Aの講義に対する集中度が低下していることが推認され得る。 Of course, the determination of the degree of concentration of the student A on the lecture can be made not only by the direction of the student A's face but also by the direction of the student A's line of sight. That is, when the line of sight of the student A is directed to the left or right instead of the front, it can be inferred that the degree of concentration of the student A on the lecture is reduced.
本実施形態に係る在宅個別指導システムには、さらに以下のような使用例が考えられる。 The following usage examples can be further considered for the home-based individual guidance system according to this embodiment.
具体的に、受講生Aが満足感・幸福感・充実感といったポジティブな感情を抱いたシーンのみを集めて編集した動画を受講生Aの保護者等に向けたダイジェスト動画として生成し得る。 Specifically, a video edited by collecting only scenes in which student A has positive emotions such as satisfaction, happiness, and fulfillment can be generated as a digest video for the parents of student A.
かかるダイジェスト動画を生成し得る具体的な処理の一例としては、まず、算出部108は、顔検出部107が検出した受講生Aの顔について、公知の技術を用いて、笑顔の度合いを評価値として算出することができる。続いて、抽出部101は、算出部108により算出された度合いが、顔情報登録部109に予め登録されている度合い「2:普通笑い」、「3:大笑い」の何れかと一致した場合に、当該一致した評価値に対応するフレーム群を特定のフレーム群として教室映像から抽出することができる。
As an example of a specific process capable of generating such a digest moving image, first, the
さらに、フレーム切り出し部105は、受講生Aの笑顔の度合いが「2:普通笑い」、「3:大笑い」の何れかであるときの教室映像の前後において例えば10秒~20秒程度の時間間隔で連なるフレーム群を切り出すことができる。そして、最後に、生成部106は、これらのフレーム群を連結したダイジェスト動画を、受講生Aの保護者等に向けたダイジェスト動画として生成する。
Further, the
<第3の実施形態>
以下、図8及び図9に基づいて、第3の実施形態に係る在宅個別指導システムについて説明する。この実施形態では、上述した第1実施形態で説明した要素と同一の要素について同じ符号を付し、詳細な説明を省略する。
<Third embodiment>
Hereinafter, the home-based individual guidance system according to the third embodiment will be described with reference to FIGS. 8 and 9. In this embodiment, the same elements as those described in the first embodiment described above are designated by the same reference numerals, and detailed description thereof will be omitted.
上記の第1実施形態に係る在宅個別指導システムでは、既に述べたように、予め登録済みの波形データを用いた照合により、教室映像の中から特定のフレーム群を抽出していたが、第3の実施形態に係る在宅個別指導システムでは、人物の動作に関する動作情報に基づいて、教室映像の中から特定のフレーム群を抽出する処理が行われる。 In the home-based individual guidance system according to the first embodiment described above, as described above, a specific frame group is extracted from the classroom video by collation using the waveform data registered in advance. In the home-based individual guidance system according to the embodiment, a process of extracting a specific frame group from the classroom video is performed based on the motion information related to the motion of the person.
<ソフトウェア構成>
図8は、本実施形態に係る教室映像配信装置10のソフトウェア構成例を示す図である。教室映像配信装置10は、抽出部101と、フレーム切り出し部105と、生成部106と、特定部110と、動作情報登録部111と、を備える。
<Software configuration>
FIG. 8 is a diagram showing a software configuration example of the classroom
特定部110は、例えば、メモリ15に格納されている教室映像を構成する複数のフレームの夫々について、人物の動作に関する動作情報を特定する機能を有する。この動作情報は、例えば、人物の動作を複数の姿勢の連続として捉えた情報であって、様々な姿勢に対応する人体の骨格を形成する各関節の情報を含み得る。動作情報には、例えば、人物の身振り、手振り、ジェスチャ、ボディランゲージの少なくとも何れかが含まれる。
The specifying
特定部110は、例えば、人体パターンを用いたパターンマッチングにより、教室映像を構成する複数のフレームから、人体の骨格を形成する各関節の座標を得る。座標取得の具体的な手法については、公知技術と同様であるため説明を省略する。そして、この座標系で表される各関節の座標が、例えば、1フレーム分の骨格情報となり得る。さらに、複数フレーム分の骨格情報が所定の動作情報となり得る。
For example, the
かかる所定の動作情報は、動作情報登録部111に予め登録されている。すなわち、動作情報登録部111は、様々な姿勢に対応する動作情報を、例えば、公知の人工知能技術を用いた機械学習により予め記憶している。例えば、本実施形態において、受講生が手を振る動きに対応するジェスチャは、講義の内容に納得ができなかったり、引っかかるところがあったりする受講生が講師に対して補充説明を求めるジェスチャパターンとして機械学習済みであるとする。
Such predetermined operation information is registered in advance in the operation
抽出部101は、所定の特定条件が満たされた場合、例えば、特定部110により特定された動作情報と、動作情報登録部111に予め登録されている動作情報とが一致した場合に、当該一致した動作情報に対応するフレーム群を特定のフレーム群として教室映像から抽出する。
The
次に、このように構成された在宅個別指導システムの動作について説明する。図9は、本開示の第3の実施の形態による教室映像配信方法の処理の流れを説明するフローチャートである。 Next, the operation of the home-based tutoring system configured in this way will be described. FIG. 9 is a flowchart illustrating a processing flow of the classroom video distribution method according to the third embodiment of the present disclosure.
ここでは、講義の内容に納得ができない受講生Aが講師に対して補充説明を求める状況を含むシーンを教室映像からピックアップする場面を例に挙げて説明する。 Here, a scene in which a student A who is not satisfied with the content of the lecture picks up a scene including a situation in which a supplementary explanation is requested from the instructor from the classroom video will be described as an example.
まず、講義が開始される時刻になると、各受講生A、B、Cは受講生端末20A、20B、20CをネットワークNW経由で在宅個別指導システムに接続して、講師Tの講義開始を待つ。講師Tは、教室映像配信装置10が備えるモニタ14を見て各受講生A、B、Cが受講態勢にあるか否かを判断し、受講態勢が整っていれば、講義を開始する。すなわち、撮像部12並びに撮像部22による撮像動作が開始されるとともに、収音部13並びに収音部23による収音動作が開始される(ステップS300)。
First, at the time when the lecture starts, each student A, B, C connects the
そして、抽出部101は、撮像部12で取得される講師映像と、撮像部22で取得される受講生映像とを適宜取捨選択して合成すると共に、収音部13又は収音部23で収音された音を組み合わせて教室映像を生成すると共に、生成した教室映像をネットワークNW経由で受講生端末20A、20B、20Cに配信する(ステップS302)。
Then, the
次に、特定部110は、人体パターンを用いたパターンマッチングにより、教室映像を構成する複数のフレームから、受講生Aの骨格を形成する各関節の座標を得る。さらに、特定部110は、各関節の座標に基づいて、複数フレーム分の骨格情報を受講生Aのジェスチャとして特定する(ステップS304)。
Next, the
続いて、抽出部101は、特定部110により特定されたジェスチャが、動作情報登録部111において機械学習済みのジェスチャパターン(受講生Aが講師に対して補充説明を求めるジェスチャパターン)と一致した場合に、当該一致したジェスチャに対応するフレーム群を特定のフレーム群として教室映像から抽出する(ステップS306)。
Subsequently, in the
フレーム切り出し部105は、受講生A講師に対して補充説明を求める教室映像の前後において例えば10秒~20秒程度の時間間隔で連なるフレーム群を切り出す(ステップS308)。
The
そして、生成部106は、これらのフレーム群を連結したダイジェスト動画を生成する(ステップS310)。
Then, the
かくして、受講生Aが講師に対して補充説明を求めるジェスチャパターンが既に登録済みの状態であるので、今後上記フローと同様の状況があれば、動作情報登録部111に保持されているジェスチャパターンに従った照合により、教室映像の中から特定のフレーム群をピックアップしてくれば、演算処理に伴う負荷を増やさなくとも同様のダイジェスト動画を生成することが可能となる。
Thus, since the gesture pattern in which student A asks the instructor for supplementary explanation has already been registered, if there is a situation similar to the above flow in the future, the gesture pattern held in the operation
<第4の実施形態>
以下、図10及び図11に基づいて、第4の実施形態に係る在宅個別指導システムについて説明する。この実施形態では、上述した第1実施形態で説明した要素と同一の要素について同じ符号を付し、詳細な説明を省略する。
<Fourth Embodiment>
Hereinafter, the home-based individual guidance system according to the fourth embodiment will be described with reference to FIGS. 10 and 11. In this embodiment, the same elements as those described in the first embodiment described above are designated by the same reference numerals, and detailed description thereof will be omitted.
上記の第1実施形態に係る在宅個別指導システムでは、既に述べたように、予め登録済みの波形データを用いた照合により、教室映像の中から特定のフレーム群を抽出していたが、第4の実施形態に係る在宅個別指導システムでは、人物の生体情報に基づいて、教室映像の中から特定のフレーム群を抽出する処理が行われる。 In the home-based tutoring system according to the first embodiment described above, as described above, a specific frame group is extracted from the classroom video by collation using the waveform data registered in advance. In the home-based individual guidance system according to the embodiment, a process of extracting a specific frame group from the classroom video is performed based on the biological information of the person.
<ソフトウェア構成>
図10は、本実施形態に係る教室映像配信装置10のソフトウェア構成例を示す図である。教室映像配信装置10は、抽出部101と、フレーム切り出し部105と、生成部106と、生体情報検出部112と、生体情報登録部113と、を備える。
<Software configuration>
FIG. 10 is a diagram showing a software configuration example of the classroom
生体情報検出部112は、例えば、メモリ15に格納されている教室映像を構成する複数のフレームの夫々について、人物の生体情報を検出する機能を有する。人物の生体情報には、人物の血圧、脈拍、脈圧の少なくとも何れかが含まれる。これら所定の生体情報は、各フレームに映り込んだ講師又は受講生の顔領域を一般的な顔検知技術等によって抽出したのちに、血流方向に沿って複数の領域に分割し、各領域における血流を示す色画像の時系列変化に基づいて取得することができる。
The biological
かかる所定の生体情報は、生体情報登録部113に予め登録されている。すなわち、生体情報登録部113は、例えば緊張の有無等の精神状態、体調の良否等の身体状態の検知に用いる生体情報を、例えば、公知の人工知能技術を用いた機械学習により予め記憶している。例えば、本実施形態において、受講生Aにおいてミリ秒単位での表情の変化、瞳孔の開き、脈拍の速さ(脈拍数)、顔面の紅潮、発汗具合等、受講生Aが無意識に支配されている情動を読み取り得る生体情報が学習済みであるとする。
Such predetermined biological information is registered in advance in the biological
抽出部101は、所定の特定条件が満たされた場合、例えば、生体情報検出部112により検出された生体情報と、生体情報登録部113に予め登録されている生体情報とが一致した場合に、当該一致した生体情報に対応するフレーム群を特定のフレーム群として教室映像から抽出する。
The
次に、このように構成された在宅個別指導システムの動作について説明する。図11は、本開示の第4の実施の形態による教室映像配信方法の処理の流れを説明するフローチャートである。 Next, the operation of the home-based tutoring system configured in this way will be described. FIG. 11 is a flowchart illustrating a processing flow of the classroom video distribution method according to the fourth embodiment of the present disclosure.
ここでは、人間には肉体的安全を保つために遺伝的に備わっているバイアスがあり、見慣れないもの、理解しにくいものに対しては瞬間的に異常を感じるという知見のもとで、受講生Aが緊張状態に陥ったシーンを教室映像からピックアップする場面を例に挙げて説明する。 Here, students are based on the knowledge that humans have a genetic bias to maintain physical safety, and that they momentarily feel abnormalities for things that are unfamiliar or difficult to understand. An example of a scene in which A is in a tense state is picked up from a classroom image.
まず、講義が開始される時刻になると、各受講生A、B、Cは受講生端末20A、20B、20CをネットワークNW経由で在宅個別指導システムに接続して、講師Tの講義開始を待つ。講師Tは、教室映像配信装置10が備えるモニタ14を見て各受講生A、B、Cが受講態勢にあるか否かを判断し、受講態勢が整っていれば、講義を開始する。すなわち、撮像部12並びに撮像部22による撮像動作が開始されるとともに、収音部13並びに収音部23による収音動作が開始される(ステップS400)。
First, at the time when the lecture starts, each student A, B, C connects the
そして、抽出部101は、撮像部12で取得される講師映像と、撮像部22で取得される受講生映像とを適宜取捨選択して合成すると共に、収音部13又は収音部23で収音された音を組み合わせて教室映像を生成すると共に、生成した教室映像をネットワークNW経由で受講生端末20A、20B、20Cに配信する(ステップS402)。
Then, the
次に、生体情報検出部112は、公知の技術を用いて、教室映像を構成する複数のフレームの夫々について、受講生Aの脈拍数を検出する(ステップS404)。
Next, the biological
続いて、抽出部101は、生体情報検出部112により検出された脈拍数が、生体情報登録部113において機械学習済みの脈拍数(受講生Aが緊張状態にある脈拍数)と一致した場合に、当該一致した脈拍数に対応するフレーム群を特定のフレーム群として教室映像から抽出する(ステップS406)。
Subsequently, in the
フレーム切り出し部105は、受講生Aが緊張状態にある教室映像の前後において例えば10秒~20秒程度の時間間隔で連なるフレーム群を切り出す(ステップS408)。
The
そして、生成部106は、これらのフレーム群を連結したダイジェスト動画を生成する(ステップS410)。
Then, the
かくして、受講生Aが緊張状態にある脈拍数が既に登録済みの状態であるので、今後上記フローと同様の状況があれば、生体情報登録部113に保持されている脈拍数に従った照合により、教室映像の中から特定のフレーム群をピックアップしてくれば、演算処理に伴う負荷を増やさなくとも同様のダイジェスト動画を生成することが可能となる。
Thus, since the pulse rate in which the student A is in a tense state has already been registered, if there is a situation similar to the above flow in the future, the collation according to the pulse rate held in the biometric
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。 Although the preferred embodiments of the present disclosure have been described in detail with reference to the accompanying drawings, the technical scope of the present disclosure is not limited to such examples. It is clear that anyone with ordinary knowledge in the technical field of the present disclosure may come up with various modifications or modifications within the scope of the technical ideas set forth in the claims. Is, of course, understood to belong to the technical scope of the present disclosure.
上述した各実施形態では、遠隔授業を支援する在宅個別指導システムに情報抽出装置を適用する例について述べた。しかし、これに限らない。例えば、会議、講演会等のように、開始時刻および終了時刻が事前に決められており、主として教室、会議室などの特定の空間で行われる各種イベントを支援するシステムに情報抽出装置を適用してもよい。 In each of the above-described embodiments, an example of applying an information extraction device to a home-based tutoring system that supports distance learning has been described. However, it is not limited to this. For example, the information extraction device is applied to a system that supports various events held in a specific space such as a classroom or a conference room, where the start time and end time are predetermined, such as a conference or a lecture. You may.
本明細書において説明した装置は、単独の装置として実現されてもよく、一部または全部がネットワークで接続された複数の装置(例えばクラウドサーバ)等により実現されてもよい。例えば、教室映像配信装置10のストレージ16又は制御部18は、互いにネットワークで接続された異なるサーバにより実現されてもよい。
The device described in the present specification may be realized as a single device, or may be realized by a plurality of devices (for example, a cloud server) which are partially or wholly connected by a network. For example, the
本明細書において説明した装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。本実施形態に係る教室映像配信装置10の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
The series of processes by the apparatus described herein may be implemented using software, hardware, or any combination of software and hardware. It is possible to create a computer program for realizing each function of the classroom
また、本明細書においてフローチャート図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。 Further, the processes described with reference to the flowcharts in the present specification may not necessarily be executed in the order shown in the drawings. Some processing steps may be performed in parallel. Further, additional processing steps may be adopted, and some processing steps may be omitted.
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。 In addition, the effects described herein are merely explanatory or exemplary and are not limited. That is, the techniques according to the present disclosure may have other effects apparent to those skilled in the art from the description herein, in addition to or in place of the above effects.
1 在宅個別指導システム
10 教室映像配信装置(情報抽出装置)
101 抽出部
102 波形登録部
103 変換部
104 表示部
105 フレーム切り出し部
106 生成部
107 顔検出部
108 算出部
109 顔情報登録部
110 特定部
111 動作情報登録部
112 生体情報検出部
113 生体情報登録部
NW ネットワーク
1 Home-based
101
Claims (2)
所定のワードが予め登録される登録部と、
当該動画像内において、前記一のユーザによって前記ワードが発声された特定のフレーム群及び前後のフレーム群を抽出可能に構成された抽出部と、
抽出された前記特定のフレーム群及び前後のフレーム群を含むダイジェスト情報を生成すると共に、当該特定のフレーム群及び当該前後のフレーム群に含まれる音声からテキスト文章を生成する生成部と、を備え、
前記生成部は、特定のフレーム群及び前後のフレーム群における前記一のユーザの前記ダイジェスト情報を音響分析することにより、前記ワードが特定の文脈で用いられたのか否かを把握する、
情報抽出装置。 An acquisition unit that acquires a moving image composed of a plurality of frames included in a communication performed with a video between one user and another user, and an acquisition unit.
A registration unit where a predetermined word is registered in advance, and
In the moving image, an extraction unit configured to be able to extract a specific frame group in which the word is uttered by the one user and a frame group before and after the word, and an extraction unit.
It includes a generator that generates digest information including the extracted specific frame group and the frames before and after the specific frame group, and generates a text sentence from the voice included in the specific frame group and the frames before and after the specific frame group .
The generator grasps whether or not the word has been used in a particular context by acoustically analyzing the digest information of the one user in the particular frame group and the previous and next frame groups.
Information extraction device.
前記生成部は、抽出された前記特定のフレーム群及び前後のフレーム群に応じてされた前記他のユーザの行いを含めて前記ダイジェスト情報を生成する、
情報抽出装置。 The information extraction device according to claim 1.
The generation unit generates the digest information including the actions of the other user according to the extracted specific frame group and the frames before and after.
Information extraction device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022013827A JP7096626B2 (en) | 2020-10-27 | 2022-02-01 | Information extraction device |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021572314A JPWO2022091230A1 (en) | 2020-10-27 | 2020-10-27 | |
PCT/JP2020/040324 WO2022091230A1 (en) | 2020-10-27 | 2020-10-27 | Information extraction device |
JP2022013827A JP7096626B2 (en) | 2020-10-27 | 2022-02-01 | Information extraction device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021572314A Division JPWO2022091230A1 (en) | 2020-10-27 | 2020-10-27 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022075662A JP2022075662A (en) | 2022-05-18 |
JP7096626B2 true JP7096626B2 (en) | 2022-07-06 |
Family
ID=87888551
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022013827A Active JP7096626B2 (en) | 2020-10-27 | 2022-02-01 | Information extraction device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7096626B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2024006627A (en) * | 2022-07-04 | 2024-01-17 | パナソニックIpマネジメント株式会社 | Evaluation system, evaluation device, and evaluation method |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003255979A (en) | 2002-03-06 | 2003-09-10 | Nippon Telegr & Teleph Corp <Ntt> | Data editing method, device and program |
WO2005027092A1 (en) | 2003-09-08 | 2005-03-24 | Nec Corporation | Document creation/reading method, document creation/reading device, document creation/reading robot, and document creation/reading program |
JP2006054517A (en) | 2004-08-09 | 2006-02-23 | Bank Of Tokyo-Mitsubishi Ltd | Information presenting apparatus, method, and program |
JP2013031009A (en) | 2011-07-28 | 2013-02-07 | Fujitsu Ltd | Information processor, digest generating method, and digest generating program |
JP2017016566A (en) | 2015-07-06 | 2017-01-19 | ソニー株式会社 | Information processing device, information processing method and program |
JP2018170743A (en) | 2017-03-30 | 2018-11-01 | 本田技研工業株式会社 | Conference support system, conference support method, program of conference support device, and program of terminal |
JP2019061594A (en) | 2017-09-28 | 2019-04-18 | 株式会社野村総合研究所 | Conference support system and conference support program |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7298930B1 (en) * | 2002-11-29 | 2007-11-20 | Ricoh Company, Ltd. | Multimodal access of meeting recordings |
-
2022
- 2022-02-01 JP JP2022013827A patent/JP7096626B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003255979A (en) | 2002-03-06 | 2003-09-10 | Nippon Telegr & Teleph Corp <Ntt> | Data editing method, device and program |
WO2005027092A1 (en) | 2003-09-08 | 2005-03-24 | Nec Corporation | Document creation/reading method, document creation/reading device, document creation/reading robot, and document creation/reading program |
JP2006054517A (en) | 2004-08-09 | 2006-02-23 | Bank Of Tokyo-Mitsubishi Ltd | Information presenting apparatus, method, and program |
JP2013031009A (en) | 2011-07-28 | 2013-02-07 | Fujitsu Ltd | Information processor, digest generating method, and digest generating program |
JP2017016566A (en) | 2015-07-06 | 2017-01-19 | ソニー株式会社 | Information processing device, information processing method and program |
JP2018170743A (en) | 2017-03-30 | 2018-11-01 | 本田技研工業株式会社 | Conference support system, conference support method, program of conference support device, and program of terminal |
JP2019061594A (en) | 2017-09-28 | 2019-04-18 | 株式会社野村総合研究所 | Conference support system and conference support program |
Also Published As
Publication number | Publication date |
---|---|
JP2022075662A (en) | 2022-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11241789B2 (en) | Data processing method for care-giving robot and apparatus | |
US11151997B2 (en) | Dialog system, dialog method, dialog apparatus and program | |
CN108000526B (en) | Dialogue interaction method and system for intelligent robot | |
JP2018014094A (en) | Virtual robot interaction method, system, and robot | |
CN117055724B (en) | Working method of generating teaching resource system in virtual teaching scene | |
CN107480766B (en) | Method and system for content generation for multi-modal virtual robots | |
JP7119615B2 (en) | Server, sound data evaluation method, program, communication system | |
CN109754653A (en) | A kind of method and system of individualized teaching | |
JP7096626B2 (en) | Information extraction device | |
WO2022193635A1 (en) | Customer service system, method and apparatus, electronic device, and storage medium | |
JP7130290B2 (en) | information extractor | |
JP2007030050A (en) | Robot control device, robot control system, robot device and robot control method | |
JP4651981B2 (en) | Education information management server | |
WO2022091230A1 (en) | Information extraction device | |
WO2021131954A1 (en) | Information processing device, information processing method, and program | |
JP7418106B2 (en) | Information processing device, information processing method and program | |
CN112307877A (en) | Information processing method, information processing apparatus, and computer-readable storage medium | |
KR20230103664A (en) | Method, device, and program for providing interactive non-face-to-face video conference using avatar based on emotion and concentration indicators by using deep learning module | |
JP6637917B2 (en) | Education support system and education support method | |
WO2019146199A1 (en) | Information processing device and information processing method | |
US20240202634A1 (en) | Dialogue training device, dialogue training system, dialogue training method, and computer-readable medium | |
WO2022091970A1 (en) | Online meeting support system and online meeting support program | |
Aurobind et al. | An AI Integrated Emotional Responsive System: Kanmani-The Bot for India | |
Gilda et al. | Integration of Voice Assistance System for Visually Challenged Person | |
Blomberg et al. | Children and adults in dialogue with the robot head Furhat-corpus collection and initial analysis. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220426 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220426 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220426 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220519 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220524 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220616 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220617 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7096626 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |