JP7210908B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP7210908B2 JP7210908B2 JP2018107366A JP2018107366A JP7210908B2 JP 7210908 B2 JP7210908 B2 JP 7210908B2 JP 2018107366 A JP2018107366 A JP 2018107366A JP 2018107366 A JP2018107366 A JP 2018107366A JP 7210908 B2 JP7210908 B2 JP 7210908B2
- Authority
- JP
- Japan
- Prior art keywords
- change
- image
- writing
- timing
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 100
- 238000003672 processing method Methods 0.000 title claims description 4
- 230000008859 change Effects 0.000 claims description 278
- 238000001514 detection method Methods 0.000 claims description 66
- 238000003384 imaging method Methods 0.000 claims description 15
- 230000009471 action Effects 0.000 claims description 9
- 238000001454 recorded image Methods 0.000 description 80
- 238000000034 method Methods 0.000 description 25
- 238000012545 processing Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 14
- 238000012217 deletion Methods 0.000 description 7
- 230000037430 deletion Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000003139 buffering effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000007639 printing Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000000872 buffer Substances 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/0207—Addressing or allocation; Relocation with multidimensional access, e.g. row/column, matrix
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0875—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches with dedicated cache, e.g. instruction or stack
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/10—Providing a specific technical effect
- G06F2212/1041—Resource optimization
- G06F2212/1044—Space efficiency improvement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/45—Caching of specific data in cache memory
- G06F2212/455—Image or video data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/507—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction using conditional replenishment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4334—Recording operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Drawing Aids And Blackboards (AREA)
- Facsimiles In General (AREA)
Description
1.はじめに
2.構成例
3.技術的特徴
3.1.板書画像のバッファリング
3.2.筆記情報の変化の検出
3.3.板書画像の記録
3.4.変化領域の特定
3.5.記録画像の出力
3.6.処理の流れ
3.7.変形例
4.ハードウェア構成例
5.まとめ
まず、図1を参照しながら、本開示の一実施形態に係るシステムの概要を説明する。
図2は、本実施形態に係るシステム1の構成の一例を説明するための図である。図2に示すように、システム1は、情報処理装置100、入力装置200、及び出力装置300を含む。
<3.1.板書画像のバッファリング>
第1の記憶部120は、入力装置200により入力された板書画像をバッファリングする。バッファリングは、後述する筆記情報の変化の検出のために用いられる、過去の板書画像を保持しておくために行われる。
検出部130は、筆記対象2に筆記された筆記情報の変化を検出する。具体的には、検出部130は、検出対象のタイミングにおける板書画像(第1の板書画像とも称する)と、検出対象のタイミングの所定時間前のタイミングにおける過去の板書画像(第2の板書画像とも称する)とを比較することで、筆記対象に筆記された筆記情報の変化を検出する。筆記対象2に筆記された筆記情報の変化の検出の一例として、検出部130は、筆記対象に筆記された筆記情報の変化に関する情報(変化情報に相当)を検出する。ここで、あるタイミングにおける板書画像とは、当該タイミングにおいて入力装置200により入力された板書画像を指す。検出部130は、入力装置200に板書画像が入力される度に、筆記情報の変化に関する情報を検出する。検出対象のタイミングは、第1の板書画像が入力された時刻(例えば、撮像時刻)である。検出対象のタイミングを、以下では現時刻とも称する。
検出部130は、現時刻に入力装置200により入力された第1の板書画像を取得部110から取得し、過去に入力装置200により入力された第2の板書画像を第1の記憶部120から取得する。次いで、検出部130は、第1の板書画像と第2の板書画像とを比較することで、過去から現時刻にかけての筆記情報の変化量を検出する。ここで、第2の板書画像は、過去の所定時間前に入力装置200により入力された板書画像であってもよい。その場合、過去の所定時間前から現時刻にかけての筆記情報の変化量が検出される。つまり、変化量とは、所定時間当たりの筆記情報の変化量であり、変化速度として捉えられてもよい。所定時間とは、筆記情報が消去又は追加された場合にその変化を捉えることのできる時間間隔であり、凡そ3秒を目安とする。即ち、上述した第1の記憶部120による板書画像のバッファリング期間は、凡そ3秒である。なお、ここでの3秒は一例であり、本技術はこれに限定されない。他にも、第2の板書画像は、過去の所定のタイミングに入力装置200により入力された板書画像であってもよい。その場合、過去の所定のタイミングから現時刻にかけての筆記情報の変化量が検出される。かかる所定のタイミングは、固定されたタイミングであり、所定の条件に基づいて変更され得る。即ち、第2の板書画像は、所定の条件に基づいて更新され得る。例えば、30秒が経過する度に、第2の板書画像が更新されてもよい。
変化率E=12000/(640×360)
=0.05 …(1)
検出部130は、筆記対象2に筆記された筆記情報の変化率の時間変化に基づいて、変化の開始点(第1のタイミングに相当)を検出する。詳しくは、検出部130は、第2の閾値と変化率の所定の勾配とに基づいて、変化の開始点を検出する。具体的には、検出部130は、変化率が第2の閾値以下である場合、変化率の時間変化が所定の勾配を示したタイミングを、変化の開始点として検出する。これにより、筆記情報の消去又は追加が開始された可能性があるタイミングを検出することが可能となる。所定の勾配は、典型的には正の勾配である。変化率の時間変化の勾配が正であれば、筆記情報の消去又は追加が開始された可能性があることを示しているためである。変化率に負の係数が掛けられる等された場合、所定の勾配は、負の勾配である。なお、変化の開始点の検出を行う目的は、変化の開始前の板書画像を特定することにある。
検出部130は、変化の開始点の検出後、変化率と第1の閾値との比較結果に基づいて、筆記情報の変化が一時的であるか否かを判定する。具体的には、検出部130は、変化率が第1の閾値を超えるタイミングを、変化の確定点として検出する。そして、検出部130は、変化の確定点が検出された場合に筆記情報の変化が一時的ではないと判定し、変化の確定点が検出されない場合に筆記情報の変化が一時的であると判定する。ここで、変化の確定点が検出されない場合とは、変化率が第1の閾値を超えないまま、後述する変化の終了点が検出された場合又は変化の開始点が再度検出された場合を指す。筆記情報の変化が一時的でないとの判定は、所定時間内に所定量の変化(消去又は追加)が発生したことを確定するものであり、第1の閾値によって当該所定量を調整することができる。なお、第1の閾値は、第2の閾値よりも大きい値である。
検出部130は、筆記情報の変化が一時的でないと判定した後、変化率と第2の閾値との比較結果に基づいて、変化の終了点(第2のタイミングに相当)を検出する。具体的には、検出部130は、変化の確定点が検出された後、変化率が第2の閾値以下になったタイミングを、変化の終了点として検出する。なお、変化の終了点の検出を行う目的は、一連の変化が終了した後の板書画像を特定することにある。
検出部130は、板書画像が取得される度に筆記対象2に筆記された筆記情報の変化を検出する。具体的には、検出部130は、板書画像が取得される度に筆記対象2に筆記された筆記情報の変化に関する情報を検出する。この場合、検出部130は、第1の閾値及び第2の閾値を、板書画像が取得される間隔に応じて設定してもよい。詳しくは、検出部130は、第1の閾値及び第2の閾値を、フレームレートに基づいて設定してもよい。検出部130は、フレームレートが高いほど第1の閾値及び第2の閾値を高く設定する。フレームレートが高いほど、変化率の時間変化の勾配が急になるためである。一方で、検出部130は、フレームレートが低いほど第1の閾値及び第2の閾値を低く設定する。フレームレートが低いほど、変化率の時間変化の勾配が緩やかになるためである。このような設定により、変化の開始点、確定点及び終了点の検出精度を向上させることが可能となる。
第2の記憶部140は、検出部130により検出された筆記情報の変化に基づいて、筆記情報を含む筆記対象2を示す情報(例えば、板書画像)を特定する。詳しくは、第2の記憶部140は、筆記情報の変化が一時的でないと判定した場合に、かかる筆記対象2を示す情報を特定する。そして、第2の記憶部140は、特定した筆記対象2を示す情報を記憶する。換言すると、検出部130は、検出部130が検出した情報に基づいて、筆記対象2を示す情報を第2の記憶部140に記憶させる。ここで、記憶される筆記対象2を示す情報とは、板書画像である。
以下では、筆記情報の変化が筆記情報の消去である場合について説明する。この場合、変化の開始点、変化の確定点、及び変化の終了点は、それぞれ消去の開始点、消去の確定点、及び消去の終了点とも称される。
以下では、筆記情報の変化が筆記情報の追加である場合について説明する。この場合、変化の開始点、変化の確定点、及び変化の終了点は、それぞれ追加の開始点、追加の確定点、及び追加の終了点とも称される。
出力制御部150は、変化の開始点から変化の終了点までに筆記対象2において変化が生じた領域(変化領域とも称する)を特定する。詳しくは、出力制御部150は、変化の開始点に対応する板書画像と変化の終了点に対応する板書画像との差分をとることで、差分のある領域を、変化領域として特定する。会議又は講義が筆記情報の追加及び消去を繰り返しながら進むことを考慮すれば、記録画像は複数枚記録され得る。この点、変化領域は、前回の記録画像から変化した領域であり、特に注目すべき領域であると言える。変化領域を特定することで、記録画像のうち注目すべき領域を特定することが可能となる。
出力制御部150は、記録画像を出力する。その際、出力制御部150は、記録画像に変化領域を示す情報を重畳した画像を生成し、出力してもよい。その一例を、図9~図11を参照して説明する。
図13は、本実施形態に係る情報処理装置100により実行される板書画像の記録処理の流れの一例を示すフローチャートである。本フローでは、筆記情報の変化が筆記情報の消去である場合の処理の流れの一例が示されている。
(1)変化の開始点の他の検出方法
検出部130は、筆記対象2に筆記情報を筆記する筆記者3が筆記用具を保持する動作に基づいて、変化の開始点を検出してもよい。例えば、検出部130は、筆記者3が筆記情報を消去するための筆記用具(例えば、イレーサー)を手に持ったタイミングを、消去の開始点として検出してもよい。また、検出部130は、筆記者3が筆記情報を筆記するための筆記用具(例えば、チョーク)を手に持ったタイミングを、追加の開始点として検出してもよい。これらにより、板書画像の比較処理により変化の開始点を検出するよりも早いタイミングを変化の開始点として検出することが可能となる。その結果、より確実に消去開始前又は追加開始前の板書画像を記録することが可能となる。
検出部130は、筆記対象2に筆記情報を筆記する筆記者3が筆記用具を放す動作に基づいて、変化の終了点を検出してもよい。例えば、検出部130は、筆記者3が筆記情報を消去するための筆記用具を置いたタイミングを、消去の終了点として検出してもよい。また、検出部130は、筆記者3が筆記情報を筆記するための筆記用具を置いたタイミングを、追加の終了点として検出してもよい。これらにより、筆記者3による一連の筆記情報の消去/追加が終わったタイミングを、変化の開始点として検出することが可能となる。従って、板書画像の記録をより効率化することが可能になり得る。
上記では、情報処理装置100が、静止画、動画又はドキュメントファイルの形式で記録画像を出力する例を説明したが、本技術は係る例に限定されない。例えば、情報処理装置100は、記録画像を静止画、動画又はドキュメントファイルの形式で記憶しておき、PC、スマートフォン又はタブレット端末等の端末装置からアクセスを受け付けてもよい。この場合、情報処理装置100は、静止画、動画又はドキュメントファイルの形式の記録画像を、アクセスしてきた端末装置に送信する。
上記では、情報処理装置100が、入力装置200により入力された画像をリアルタイムに処理することで、記録画像を抽出及び記録する例を説明したが、本技術はかかる例に限定されない。例えば、情報処理装置100は、過去に入力装置200により入力され記録された画像に基づいて、記録画像を抽出及び記録してもよい。
最後に、図14を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図14は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図14に示す情報処理装置900は、例えば、図2に示した情報処理装置100を実現し得る。本実施形態に係る情報処理装置100による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
以上、図1~図14を参照して、本開示の一実施形態について説明した。上記説明したように、本実施形態に係る情報処理装置100は、筆記対象に筆記された筆記情報の変化を検出し、検出された変化に基づいて筆記情報を含む筆記対象を示す板書画像を特定する。情報処理装置100は、筆記情報の変化に基づいて記録すべき板書画像を特定することで、筆記対象に筆記された筆記情報の量が最も多いタイミングの板書画像を特定し、記録することができる。また、情報処理装置100は、連続的に入力される板書画像をそのまま逐次記録するのではなく、その一部の板書画像を選択的に記録する。これにより、筆記対象に筆記された筆記情報の効率的な記録が実現される。具体的には、板書画像を記憶するストレージ容量の削減が実現される。さらには、板書画像の伝送のための伝送量の削減もが実現される。
(1)
筆記対象に筆記された筆記情報の変化を検出し、検出された変化に基づいて前記筆記情報を含む前記筆記対象を示す画像を特定する制御部、
を備える情報処理装置。
(2)
前記制御部は、前記筆記情報の変化量の時間変化に基づいて、前記筆記情報の変化が一時的な変化であるか否かを判定し、前記筆記情報の変化が一時的な変化ではないと判定した場合に、前記画像を特定する、前記(1)に記載の情報処理装置。
(3)
前記制御部は、前記変化量と第1の閾値との比較結果に基づいて、前記筆記情報の変化が一時的な変化であるか否かを判定する、前記(2)に記載の情報処理装置。
(4)
前記制御部は、前記筆記情報の前記変化量の時間変化に基づいて、前記筆記情報の変化が開始するタイミングを示す第1のタイミングを検出する、前記(3)に記載の情報処理装置。
(5)
前記制御部は、前記変化量が第2の閾値以下である場合、前記変化量の時間変化が所定の勾配を示したタイミングを、前記第1のタイミングとして検出する、前記(4)に記載の情報処理装置。
(6)
前記制御部は、前記筆記情報の変化が一時的でないと判定した後、前記変化量と第2の閾値との比較結果に基づいて、前記筆記情報の変化が終了するタイミングを示す第2のタイミングを検出する、前記(5)に記載の情報処理装置。
(7)
前記筆記情報の変化が前記筆記情報の消去である場合、
前記制御部は、前記第1のタイミングに対応する前記画像を特定する、前記(4)~(6)のいずれか一項に記載の情報処理装置。
(8)
前記筆記情報の変化が前記筆記情報の追加である場合、
前記制御部は、前記第2のタイミングに対応する前記画像を特定する、前記(6)に記載の情報処理装置。
(9)
前記制御部は、前記画像が取得される度に前記筆記対象に筆記された前記筆記情報の変化を検出し、前記第1の閾値及び前記第2の閾値を、前記画像が取得される間隔に応じて設定する、前記(6)に記載の情報処理装置。
(10)
前記制御部は、前記筆記対象に前記筆記情報を筆記する筆記者が筆記用具を保持する動作に基づいて、前記第1のタイミングを検出する、前記(4)~(9)のいずれか一項に記載の情報処理装置。
(11)
前記制御部は、前記筆記対象に前記筆記情報を筆記する筆記者が筆記用具を放す動作に基づいて、前記第2のタイミングを検出する、前記(6)に記載の情報処理装置。
(12)
前記制御部は、前記第1のタイミングから前記第2のタイミングまでに前記筆記対象において変化が生じた変化領域を特定する、前記(6)に記載の情報処理装置。
(13)
前記変化量は、所定時間当たりの前記筆記情報の変化量である、前記(2)~(12)のいずれか一項に記載の情報処理装置。
(14)
前記制御部は、前記画像と前記変化領域を示す変化領域情報とを対応付ける、前記(12)又は(13)に記載の情報処理装置。
(15)
前記制御部は、特定された前記画像に前記変化領域情報を重畳した画像を出力する、前記(14)に記載の情報処理装置。
(16)
前記制御部は、特定された前記画像を記録する制御を行う、前記(1)~(15)のいずれか一項に記載の情報処理装置。
(17)
前記制御部は、検出対象のタイミングにおける前記筆記情報を含む前記筆記対象を示す画像と、前記検出対象のタイミングの所定時間前のタイミングにおける前記筆記情報を含む前記筆記対象を示す画像とを比較することで、前記変化を検出する、前記(1)~(16)のいずれか一項に記載の情報処理装置。
(18)
前記画像は、撮像装置により前記筆記対象が撮像された画像に基づいて取得される画像である、前記(1)~(17)のいずれか一項に記載の情報処理装置。
(19)
筆記対象に筆記された筆記情報の変化を検出し、検出された変化に基づいて前記筆記情報を含む前記筆記対象を示す画像を特定すること、
を含む、プロセッサにより実行される情報処理方法。
(20)
コンピュータに、
筆記対象に筆記された筆記情報の変化を検出し、検出された変化に基づいて前記筆記情報を含む前記筆記対象を示す画像を特定することを、
実行させるためのプログラム。
100 情報処理装置
110 取得部
120 第1の記憶部
130 検出部
140 第2の記憶部
150 出力制御部
200 入力装置
300 出力装置
Claims (17)
- 筆記対象に筆記された筆記情報の変化を検出し、検出された変化に基づいて前記筆記情報を含む前記筆記対象を示す画像を特定する制御部、を備え、
前記制御部は、
前記筆記情報の変化量の時間変化に基づいて、前記変化量の時間変化が所定の勾配を示したタイミングを第1のタイミングとして検出し、
前記第1のタイミングを検出した後に、前記変化量が第1の閾値を超えたことを検出し、
前記変化量が第1の閾値を超えたことを検出した後に、前記変化量が第2の閾値を下回った第2のタイミングを検出した場合に、前記第1のタイミングもしくは前記第2のタイミングに対応する前記画像を特定し、
前記第1のタイミングにおける前記変化量、ならびに、前記第1の閾値および前記第2の閾値として設定される前記変化量は、各々異なる値である、
情報処理装置。 - 前記筆記情報の変化が前記筆記情報の消去である場合、
前記制御部は、前記第1のタイミングに対応する前記画像を特定する、請求項1に記載の情報処理装置。 - 前記筆記情報の変化が前記筆記情報の追加である場合、
前記制御部は、前記第2のタイミングに対応する前記画像を特定する、請求項1に記載の情報処理装置。 - 前記制御部は、前記画像が取得される度に前記筆記対象に筆記された前記筆記情報の変化を検出し、前記第1の閾値及び前記第2の閾値を、前記画像が取得される間隔に応じて設定する、請求項1に記載の情報処理装置。
- 前記制御部は、前記筆記対象に前記筆記情報を筆記する筆記者が筆記用具を保持する動作に基づいて、前記第1のタイミングを検出する、請求項1に記載の情報処理装置。
- 前記制御部は、前記筆記対象に前記筆記情報を筆記する筆記者が筆記用具を放す動作に基づいて、前記第2のタイミングを検出する、請求項1に記載の情報処理装置。
- 前記制御部は、前記第1のタイミングから前記第2のタイミングまでに前記筆記対象において変化が生じた変化領域を特定する、請求項1に記載の情報処理装置。
- 前記変化量は、所定時間当たりの前記筆記情報の変化量である、請求項1に記載の情報処理装置。
- 前記制御部は、前記画像と前記変化領域を示す変化領域情報とを対応付ける、請求項7に記載の情報処理装置。
- 前記制御部は、特定された前記画像に前記変化領域情報を重畳した画像を出力する、請求項9に記載の情報処理装置。
- 前記制御部は、特定された前記画像を記録する制御を行う、請求項1に記載の情報処理装置。
- 前記制御部は、検出対象のタイミングにおける前記筆記情報を含む前記筆記対象を示す画像と、前記検出対象のタイミングの所定時間前のタイミングにおける前記筆記情報を含む前記筆記対象を示す画像とを比較することで、前記変化を検出する、請求項1に記載の情報処理装置。
- 前記画像は、撮像装置により前記筆記対象が撮像された画像に基づいて取得される画像である、請求項1に記載の情報処理装置。
- 筆記対象に筆記された筆記情報の変化を検出し、検出された変化に基づいて前記筆記情報を含む前記筆記対象を示す画像を特定し、
前記筆記情報の変化量の時間変化に基づいて、前記変化量の時間変化が所定の勾配を示したタイミングを第1のタイミングとして検出し、
前記第1のタイミングを検出した後に、前記変化量が第1の閾値を超えたことを検出し、
前記変化量が第1の閾値を超えたことを検出した後に、前記変化量が第2の閾値を下回った第2のタイミングを検出した場合に、前記第1のタイミングもしくは前記第2のタイミングに対応する前記画像を特定すること、を含み、
前記第1のタイミングにおける前記変化量、ならびに、前記第1の閾値および前記第2の閾値として設定される前記変化量は、各々異なる値である、
プロセッサにより実行される情報処理方法。 - コンピュータに、
筆記対象に筆記された筆記情報の変化を検出し、検出された変化に基づいて前記筆記情報を含む前記筆記対象を示す画像を特定し、
前記筆記情報の変化量の時間変化に基づいて、前記変化量の時間変化が所定の勾配を示したタイミングを第1のタイミングとして検出し、
前記第1のタイミングを検出した後に、前記変化量が第1の閾値を超えたことを検出し、
前記変化量が第1の閾値を超えたことを検出した後に、前記変化量が第2の閾値を下回った第2のタイミングを検出した場合に、前記第1のタイミングもしくは前記第2のタイミングに対応する前記画像を特定すること、を実行させ、
前記第1のタイミングにおける前記変化量、ならびに、前記第1の閾値および前記第2の閾値として設定される前記変化量は、各々異なる値である、
プログラム。 - 筆記対象に筆記された筆記情報の変化を検出し、検出された変化に基づいて前記筆記情報を含む前記筆記対象を示す画像を特定する制御部、を備え、
前記制御部は、
前記筆記情報の変化量の時間変化に基づいて、前記変化量の時間変化が負の勾配を示したタイミングを第1のタイミングとして検出し、
前記第1のタイミングを検出する直前の画像を一時的に保持し、
前記第1のタイミングを検出した後に、前記変化量が第1の閾値を超えたことを検出した場合に、前記第1のタイミングに対応する前記画像を記録する画像として特定する、
情報処理装置。 - 筆記対象に筆記された筆記情報の変化を検出し、検出された変化に基づいて前記筆記情報を含む前記筆記対象を示す画像を特定する制御部、を備え、
前記制御部は、
前記筆記情報の変化量の時間変化に基づいて、前記変化量の時間変化が正の勾配を示したタイミングを第1のタイミングとして検出し、
前記第1のタイミングを検出した後に前記変化量が第1の閾値を超えたことを検出し、
前記変化量が第1の閾値を超えたことを検出した後に、前記変化量が第2の閾値を下回った第2のタイミングを検出した場合に、前記第2のタイミングに対応する前記画像を記録する画像として特定する、
情報処理装置。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018107366A JP7210908B2 (ja) | 2018-06-05 | 2018-06-05 | 情報処理装置、情報処理方法及びプログラム |
PCT/JP2018/044859 WO2019234953A1 (en) | 2018-06-05 | 2018-12-06 | Information processing apparatus, information processing method, and program |
CN201880093955.2A CN112243505B (zh) | 2018-06-05 | 2018-12-06 | 信息处理装置、信息处理方法和程序 |
US16/980,756 US11397506B2 (en) | 2018-06-05 | 2018-12-06 | Information processing apparatus, information processing method, and program |
EP18826828.8A EP3803604B1 (en) | 2018-06-05 | 2018-12-06 | Information processing apparatus, information processing method, and program |
US17/845,524 US11675474B2 (en) | 2018-06-05 | 2022-06-21 | Information processing apparatus, information processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018107366A JP7210908B2 (ja) | 2018-06-05 | 2018-06-05 | 情報処理装置、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019212000A JP2019212000A (ja) | 2019-12-12 |
JP7210908B2 true JP7210908B2 (ja) | 2023-01-24 |
Family
ID=64901044
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018107366A Active JP7210908B2 (ja) | 2018-06-05 | 2018-06-05 | 情報処理装置、情報処理方法及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (2) | US11397506B2 (ja) |
EP (1) | EP3803604B1 (ja) |
JP (1) | JP7210908B2 (ja) |
CN (1) | CN112243505B (ja) |
WO (1) | WO2019234953A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114514499A (zh) * | 2019-10-17 | 2022-05-17 | 索尼集团公司 | 信息处理装置、信息处理方法和程序 |
CN111290659A (zh) * | 2020-01-21 | 2020-06-16 | 北京梦想加信息技术有限公司 | 书写板信息记录方法、系统和书写板 |
CN112887689A (zh) * | 2021-01-21 | 2021-06-01 | 联想(北京)有限公司 | 一种显示方法及装置 |
US20220232145A1 (en) * | 2021-01-21 | 2022-07-21 | Konica Minolta Business Solutions U.S.A., Inc. | Method for real time whiteboard extraction with full foreground identification |
CN114867046B (zh) * | 2022-07-06 | 2022-09-13 | 深圳市乙辰科技股份有限公司 | 无线网络设备固件更新方法和无线网络设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005125628A (ja) | 2003-10-24 | 2005-05-19 | Fuji Photo Film Co Ltd | 記録装置 |
JP2011123895A (ja) | 2009-12-11 | 2011-06-23 | Sharp Corp | 情報処理装置、情報処理システム、情報処理方法、情報処理プログラム及びコンピュータ読み取り可能な記録媒体 |
JP2015109612A (ja) | 2013-12-05 | 2015-06-11 | キヤノン株式会社 | 画像音声再生システム及び画像音声再生方法とプログラム |
US20170092333A1 (en) | 2015-09-29 | 2017-03-30 | International Business Machines Corporation | Method and apparatus to extract key video frames from online education |
US20180108121A1 (en) | 2015-02-13 | 2018-04-19 | Light Blue Optics Ltd. | Timeline Image Capture Systems and Methods |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6185591B1 (en) * | 1997-07-29 | 2001-02-06 | International Business Machines Corp. | Text edit system with enhanced undo user interface |
US6388654B1 (en) * | 1997-10-03 | 2002-05-14 | Tegrity, Inc. | Method and apparatus for processing, displaying and communicating images |
US7305611B2 (en) * | 2002-08-22 | 2007-12-04 | Platform Digital Llc | Authoring tool for remote experience lessons |
US7111230B2 (en) * | 2003-12-22 | 2006-09-19 | Pitney Bowes Inc. | System and method for annotating documents |
US7916969B2 (en) * | 2007-03-23 | 2011-03-29 | Seiko Epson Corporation | Varying the exposure of a digital image by region |
US8334902B2 (en) * | 2009-03-31 | 2012-12-18 | Fuji Xerox Co., Ltd. | System and method for facilitating the use of whiteboards |
US10482777B2 (en) * | 2013-02-22 | 2019-11-19 | Fuji Xerox Co., Ltd. | Systems and methods for content analysis to support navigation and annotation in expository videos |
KR102130798B1 (ko) * | 2014-01-13 | 2020-07-03 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어방법 |
CN104853129B (zh) * | 2014-02-13 | 2018-01-26 | 广东小天才科技有限公司 | 一种板书记录方法及系统 |
US9706168B1 (en) * | 2014-10-13 | 2017-07-11 | Surround.IO | Room conferencing system with heat map annotation of documents |
CN107423407B (zh) * | 2017-07-27 | 2021-06-15 | 广州视源电子科技股份有限公司 | 教学信息记录方法、装置、终端和计算机可读存储介质 |
-
2018
- 2018-06-05 JP JP2018107366A patent/JP7210908B2/ja active Active
- 2018-12-06 EP EP18826828.8A patent/EP3803604B1/en active Active
- 2018-12-06 WO PCT/JP2018/044859 patent/WO2019234953A1/en unknown
- 2018-12-06 CN CN201880093955.2A patent/CN112243505B/zh active Active
- 2018-12-06 US US16/980,756 patent/US11397506B2/en active Active
-
2022
- 2022-06-21 US US17/845,524 patent/US11675474B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005125628A (ja) | 2003-10-24 | 2005-05-19 | Fuji Photo Film Co Ltd | 記録装置 |
JP2011123895A (ja) | 2009-12-11 | 2011-06-23 | Sharp Corp | 情報処理装置、情報処理システム、情報処理方法、情報処理プログラム及びコンピュータ読み取り可能な記録媒体 |
JP2015109612A (ja) | 2013-12-05 | 2015-06-11 | キヤノン株式会社 | 画像音声再生システム及び画像音声再生方法とプログラム |
US20180108121A1 (en) | 2015-02-13 | 2018-04-19 | Light Blue Optics Ltd. | Timeline Image Capture Systems and Methods |
US20170092333A1 (en) | 2015-09-29 | 2017-03-30 | International Business Machines Corporation | Method and apparatus to extract key video frames from online education |
Also Published As
Publication number | Publication date |
---|---|
US11675474B2 (en) | 2023-06-13 |
US20210004136A1 (en) | 2021-01-07 |
EP3803604B1 (en) | 2024-01-24 |
CN112243505B (zh) | 2024-06-18 |
EP3803604A1 (en) | 2021-04-14 |
WO2019234953A1 (en) | 2019-12-12 |
CN112243505A (zh) | 2021-01-19 |
US20220326835A1 (en) | 2022-10-13 |
JP2019212000A (ja) | 2019-12-12 |
US11397506B2 (en) | 2022-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7210908B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2019137167A1 (zh) | 相册管理方法、装置、存储介质及电子设备 | |
CN106575361B (zh) | 提供视觉声像的方法和实现该方法的电子设备 | |
CN109495686B (zh) | 拍摄方法及设备 | |
JP6300792B2 (ja) | キャプチャされたデータの強化 | |
US10291843B2 (en) | Information processing apparatus having camera function and producing guide display to capture character recognizable image, control method thereof, and storage medium | |
KR20140060750A (ko) | 전자장치에서 다초점 영상 촬영 및 저장 방법 및 장치 | |
US10282862B2 (en) | Digital image generation and capture hint data | |
CN105635569B (zh) | 拍摄方法、装置以及终端 | |
TWI629617B (zh) | 投影幕雷射筆偵測定位系統與方法 | |
EP2779632A2 (en) | Electronic device and method of operating the same | |
JP5870639B2 (ja) | 画像処理システム、画像処理装置、及び画像処理プログラム | |
CN108305512A (zh) | 一种课堂电子笔记记录系统及方法 | |
US20190012042A1 (en) | Method and device for producing an electronic signed document | |
JP2022140458A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US20240078007A1 (en) | Information processing apparatus, information processing method, and program | |
JP2007526680A (ja) | コンテンツをフォーマット及び表示する方法及び装置 | |
JP2009004846A (ja) | 電子黒板連携授業録画システム | |
CN104980684B (zh) | 一种远程指示方法及控制设备 | |
WO2021149238A1 (ja) | 情報処理装置、情報処理方法、および情報処理プログラム | |
JP2004198817A (ja) | プレゼンテーション装置 | |
JP2012199676A (ja) | 画像処理装置および画像処理方法 | |
JP5569120B2 (ja) | 画像処理装置、画像処理システム、データ処理方法、プログラムおよび記録媒体 | |
JP6014995B2 (ja) | 画像処理装置、及び画像処理プログラム | |
CN107852454B (zh) | 一种光场图像的分享、下载方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190214 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190222 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190515 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210510 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220830 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221226 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7210908 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |