JP7192792B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP7192792B2 JP7192792B2 JP2019560810A JP2019560810A JP7192792B2 JP 7192792 B2 JP7192792 B2 JP 7192792B2 JP 2019560810 A JP2019560810 A JP 2019560810A JP 2019560810 A JP2019560810 A JP 2019560810A JP 7192792 B2 JP7192792 B2 JP 7192792B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- important
- moving image
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 91
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000012545 processing Methods 0.000 claims description 70
- 230000001186 cumulative effect Effects 0.000 claims description 41
- 238000000034 method Methods 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 18
- 230000033001 locomotion Effects 0.000 claims description 13
- 230000007423 decrease Effects 0.000 claims description 6
- 230000003247 decreasing effect Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 description 66
- 238000003384 imaging method Methods 0.000 description 55
- 238000004891 communication Methods 0.000 description 41
- 230000006870 function Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 24
- 230000003287 optical effect Effects 0.000 description 23
- 238000005516 engineering process Methods 0.000 description 21
- 238000001356 surgical procedure Methods 0.000 description 21
- 230000005540 biological transmission Effects 0.000 description 16
- 238000002674 endoscopic surgery Methods 0.000 description 16
- 239000000284 extract Substances 0.000 description 9
- 239000000463 material Substances 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000010336 energy treatment Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000005484 gravity Effects 0.000 description 5
- 230000008929 regeneration Effects 0.000 description 5
- 238000011069 regeneration method Methods 0.000 description 5
- 208000005646 Pneumoperitoneum Diseases 0.000 description 4
- 230000005284 excitation Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 210000003815 abdominal wall Anatomy 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 2
- 229960004657 indocyanine green Drugs 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000002679 ablation Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002350 laparotomy Methods 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002406 microsurgery Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000001954 sterilising effect Effects 0.000 description 1
- 238000004659 sterilization and disinfection Methods 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Library & Information Science (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Social Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Entrepreneurship & Innovation (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Television Signal Processing For Recording (AREA)
Description
を備える情報処理装置が提供される。
1.はじめに
2.構成例
3.技術的特徴
3.1.指示位置検出処理
3.2.重要度マップ生成処理
3.3.再生制御処理
4.ハードウェア構成例
5.応用例
6.まとめ
まず、図1を参照しながら、本開示の一実施形態に係るシステムの概要を説明する。
図2は、本実施形態に係るシステム1の構成の一例を説明するための図である。図2に示すように、システム1は、情報処理装置100、カメラ200、出力装置210及び操作装置220を含む。
<3.1.指示位置検出処理>
(1)特徴
検出部120は、講義動画における筆記面に対する講師の動作を認識し、講師の操作位置を検出する。講師の操作位置とは、筆記面における講師により操作される位置であり、より詳しくは、講師により指示される位置である。詳しくは、検出部120は、講義動画において、講師が筆記面のうちどこを指示しながら講義を行っているかを検出する。講師により指示される位置は、筆記面における位置として捉えられてもよいし、筆記面に筆記された筆記情報の位置として捉えられてもよい。
以下、図3~図8を参照しながら、手先による指示位置がシルエット形状に基づいて検出される場合の処理について詳しく説明する。図3は、本実施形態に係る情報処理装置100により実行される指示位置検出処理の流れの一例を示すフローチャートである。また、図4~図8は、本実施形態に係る指示位置検出処理の一例を説明するための図である。
(1)特徴
生成部130は、講義動画において講師により指示される位置に基づいて、講義動画における筆記情報が筆記された筆記面の重要領域を特定する。生成部130は、講義動画を構成する各静止画像における講師の指示位置に基づいて、重要領域を特定する。典型的な講師は、筆記情報が筆記された筆記面のうち重要な領域を指示しながら説明を行うと考えられる。この点、指示位置に基づいて重要領域が特定されるので、筆記面のうち重要な領域を適切に特定することが可能となる。
以下、図9~図11を参照しながら、重要度マップの生成処理について詳しく説明する。図9は、本実施形態に係る情報処理装置100により実行される重要度マップの生成処理の流れの一例を示すフローチャートである。また、図10及び図11は、本実施形態に係る重要度マップの生成処理の一例を説明するための図である。
(1)インデックスの付与
再生制御部150は、重要度マップにおける重要領域の重要度に応じて、講義動画に再生用インデックスを付与する。再生用インデックスとは、講義動画を再生する際の、再生位置(再生を開始する時刻)の目安となる情報である。視聴者により再生用インデックスが選択されると、再生制御部150は、選択された再生用インデックスに対応する再生位置から講義動画を再生する。再生用インデックスが付与されることで、視聴者の利便性が向上する。
再生制御部150は、再生用画面を生成する。視聴者は、再生用画面において講義動画を再生し、視聴することができる。
上記では、第1の領域に、再生用インデックスが付与された時刻の重要度マップが表示される例を説明したが、本技術はかかる例に限定されない。例えば、再生制御部150は、筆記情報が筆記された筆記面の画像に、再生用インデックスが付与された複数の時刻における複数の重要領域を示す情報を重畳した画像を、第1の領域として含む再生用画面を生成してもよい。ここでの筆記情報が筆記された筆記面とは、一通り筆記情報が筆記された筆記面(例えば、全面に筆記情報が筆記された筆記面)である。再生制御部150は、講義動画における講師の位置が異なる各時刻の背景画素を繋ぎ合わせて合成することで、一通り筆記情報が筆記された筆記面の画像を生成する。このような再生制御により、視聴者は、一通り筆記情報が筆記された筆記面の内容、及び当該筆記面における複数の重要領域を一目で確認することができる。
以下、図15を参照しながら、再生制御処理の流れの一例を説明する。図15は、本実施形態に係る情報処理装置100により実行される再生制御処理の流れの一例を示すフローチャートである。
最後に、図16を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図16は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図16に示す情報処理装置900は、例えば、図2に示した情報処理装置100を実現し得る。本実施形態に係る情報処理装置100による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術室システムに適用されてもよい。
支持アーム装置5141は、ベース部5143から延伸するアーム部5145を備える。図示する例では、アーム部5145は、関節部5147a、5147b、5147c、及びリンク5149a、5149bから構成されており、アーム制御装置5159からの制御により駆動される。アーム部5145によって内視鏡5115が支持され、その位置及び姿勢が制御される。これにより、内視鏡5115の安定的な位置の固定が実現され得る。
内視鏡5115は、先端から所定の長さの領域が患者5185の体腔内に挿入される鏡筒5117と、鏡筒5117の基端に接続されるカメラヘッド5119と、から構成される。図示する例では、硬性の鏡筒5117を有するいわゆる硬性鏡として構成される内視鏡5115を図示しているが、内視鏡5115は、軟性の鏡筒5117を有するいわゆる軟性鏡として構成されてもよい。
CCU5153は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡5115及び表示装置5155の動作を統括的に制御する。具体的には、CCU5153は、カメラヘッド5119から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU5153は、当該画像処理を施した画像信号を表示装置5155に提供する。また、CCU5153には、図17に示す視聴覚コントローラ5107が接続される。CCU5153は、画像処理を施した画像信号を視聴覚コントローラ5107にも提供する。また、CCU5153は、カメラヘッド5119に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置5161を介して入力されてもよいし、上述した集中操作パネル5111を介して入力されてもよい。
支持アーム装置5141は、基台であるベース部5143と、ベース部5143から延伸するアーム部5145と、を備える。図示する例では、アーム部5145は、複数の関節部5147a、5147b、5147cと、関節部5147bによって連結される複数のリンク5149a、5149bと、から構成されているが、図19では、簡単のため、アーム部5145の構成を簡略化して図示している。実際には、アーム部5145が所望の自由度を有するように、関節部5147a~5147c及びリンク5149a、5149bの形状、数及び配置、並びに関節部5147a~5147cの回転軸の方向等が適宜設定され得る。例えば、アーム部5145は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部5145の可動範囲内において内視鏡5115を自由に移動させることが可能になるため、所望の方向から内視鏡5115の鏡筒5117を患者5185の体腔内に挿入することが可能になる。
光源装置5157は、内視鏡5115に術部を撮影する際の照射光を供給する。光源装置5157は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置5157において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド5119の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
図20を参照して、内視鏡5115のカメラヘッド5119及びCCU5153の機能についてより詳細に説明する。図20は、図19に示すカメラヘッド5119及びCCU5153の機能構成の一例を示すブロック図である。
他にも、シーリングカメラ5187、術場カメラ5189、又は内視鏡5115等のカメラに図示しない音声入力装置が併設されていてもよく、これらの音声入力装置により取得された音声データが、入力される音声データであってもよい。
以上、図1~図20を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係る情報処理装置100は、動画における被操作体に対する操作者の動作を認識し、操作者の操作位置に基づいて、動画における被操作体の重要領域を特定する。これにより、例えば講義動画において、筆記情報が筆記された筆記面において、講師が指示しながら説明した重要と思われる領域を効率よく特定することができる。換言すると、筆記情報が筆記された筆記面のうち、講師が重要であると認識している部分を可視化することができる。これにより、講義動画を視聴する学生は、効率的に学習することができる。また、講義動画を講師自身が視聴することで、講師は反省を促され、よりよい授業形成が促進される。
(1)
動画における被操作体に対する操作者の動作を認識し、前記操作者の操作位置に基づいて、前記動画における前記被操作体の重要領域を特定する制御部、
を備える情報処理装置。
(2)
前記制御部は、前記動画に前記重要領域を示す情報を重畳した重畳画像を生成する、前記(1)に記載の情報処理装置。
(3)
前記制御部は、再生用インデックスが付与された時刻の前記重畳画像が表示される第1の領域を含む再生用画面を生成する、前記(2)に記載の情報処理装置。
(4)
前記第1の領域において、複数の前記重畳画像は、前記動画において再生される順に一端から他端に向かって所定の方向に沿って並べられ、且つ前記再生用インデックスが付与された時刻の前記重畳画像は他の前記重畳画像と比較して認識容易に表示される、前記(3)に記載の情報処理装置。
(5)
前記第1の領域において、複数の前記重畳画像は、前記重畳画像に含まれる前記重要領域の重要度の順に一端から他端に向かって所定の方向に沿って並べられる、前記(4)に記載の情報処理装置。
(6)
前記制御部は、前記重要領域の重要度に応じて、前記動画に前記再生用インデックスを付与する、前記(3)~(5)のいずれか一項に記載の情報処理装置。
(7)
前記制御部は、前記動画に含まれるひとつ以上の前記重要領域の各々の重要度の累積が開始されてから終了するまでの間の所定の条件を満たすタイミングにおいて、前記再生用インデックスを付与する、前記(6)に記載の情報処理装置。
(8)
前記制御部は、前記動画に含まれるひとつ以上の前記重要領域の各々の重要度がピークに達する時刻の各々において前記再生用インデックスを付与する、前記(7)に記載の情報処理装置。
(9)
前記再生用画面は、前記動画が再生される第2の領域と、前記動画の再生位置に対応する時刻の前記重畳画像が表示される第3の領域とをさらに含む、前記(3)~(8)のいずれか一項に記載の情報処理装置。
(10)
前記制御部は、前記第1の領域に含まれる前記重畳画像が視聴者により選択された場合、選択された前記重畳画像に対応する再生位置から、前記動画を再生する、前記(9)に記載の情報処理装置。
(11)
前記制御部は、前記第1の領域に含まれる前記重畳画像が視聴者により選択された場合、選択された前記重畳画像に含まれる前記重要領域の時間変化に応じた再生位置から、前記動画を再生する、前記(10)に記載の情報処理装置。
(12)
前記再生用画面は、前記被操作体の画像に、前記再生用インデックスが付与された複数の時刻における複数の前記重要領域を示す情報を重畳した画像を含む、前記(3)に記載の情報処理装置。
(13)
前記重要領域を示す情報には、前記重要領域の認識結果を示す情報が関連付けられる、前記(12)に記載の情報処理装置。
(14)
前記制御部は、前記動画に映る前記被操作体の各領域について前記操作位置が留まる時間の累積値を計算し、前記累積値が大きい領域を前記重要領域として特定する、前記(1)~(13)のいずれか一項に記載の情報処理装置。
(15)
前記制御部は、前記累積値を時間の経過に応じて減少させる、前記(14)に記載の情報処理装置。
(16)
前記制御部は、前記動画に映る前記被操作体に所定の変化が生じた場合に、前記累積値の減少を開始させる、前記(15)に記載の情報処理装置。
(17)
前記被操作体は、情報が筆記された筆記面であり、前記操作位置は、前記操作者の手先の位置又は前記操作者が持つ指示器により指示される位置である、前記(1)~(16)のいずれか一項に記載の情報処理装置。
(18)
動画における被操作体に対する操作者の操作位置に基づいて特定された、前記動画における前記被操作体の重要領域を示す情報が、前記動画に重畳された重畳画像の表示を制御する制御部、
を備える情報処理装置。
(19)
動画における被操作体に対する操作者の動作を認識し、前記操作者の操作位置に基づいて、前記動画における前記被操作体の重要領域を特定すること、
を含む、プロセッサにより実行される情報処理方法。
(20)
コンピュータを、
動画における被操作体に対する操作者の動作を認識し、前記操作者の操作位置に基づいて、前記動画における前記被操作体の重要領域を特定する制御部、
として機能させるためのプログラム。
2 被操作体
3 操作者
100 情報処理装置
110 取得部
120 検出部
130 生成部
140 記憶部
150 再生制御部
200 カメラ
210 出力装置
220 操作装置
Claims (17)
- 動画における被操作体に対する操作者の動作を認識し、前記操作者の操作位置に基づいて、前記動画における前記被操作体の重要領域を特定する制御部、
を備え、
前記制御部は、
前記動画に前記重要領域を示す情報を重畳した重畳画像を生成し、
第1の領域において、複数の前記重畳画像は、前記動画において再生される順に一端から他端に向かって所定の方向に沿って並べられ、
前記第1の領域において、複数の前記重畳画像は、前記重要領域の重要度に応じて、前記所定の方向と異なる方向の重要度軸に沿って並べられる、
情報処理装置。 - 前記制御部は、再生用インデックスが付与された時刻の前記重畳画像が表示される前記第1の領域を含む再生用画面を生成する、請求項1に記載の情報処理装置。
- 前記第1の領域において、複数の前記重畳画像は、前記再生用インデックスが付与された時刻の前記重畳画像は他の前記重畳画像と比較して認識可能に表示される、請求項2に記載の情報処理装置。
- 前記制御部は、前記重要領域の重要度に応じて、前記動画に再生を開始する時刻を示す再生用インデックスを付与する、請求項1に記載の情報処理装置。
- 前記制御部は、前記動画に含まれるひとつ以上の前記重要領域の各々の重要度の累積が開始されてから終了するまでの間の所定の条件を満たすタイミングにおいて、前記再生用インデックスを付与する、請求項4に記載の情報処理装置。
- 前記制御部は、前記動画に含まれるひとつ以上の前記重要領域の各々の重要度がピークに達する時刻の各々において前記再生用インデックスを付与する、請求項5に記載の情報処理装置。
- 前記再生用画面は、動画が再生される第2の領域と、前記動画の再生位置に対応する時刻の前記重畳画像が表示される第3の領域とをさらに含む、請求項2に記載の情報処理装置。
- 前記制御部は、前記第1の領域に含まれる前記重畳画像が視聴者により選択された場合、選択された前記重畳画像に対応する再生位置から、前記動画を再生する、請求項7に記載の情報処理装置。
- 前記制御部は、前記第1の領域に含まれる前記重畳画像が視聴者により選択された場合、選択された前記重畳画像に含まれる前記重要領域の時間変化に応じた再生位置から、前記動画を再生する、請求項8に記載の情報処理装置。
- 前記再生用画面は、前記被操作体の画像に、前記再生用インデックスが付与された複数の時刻における複数の前記重要領域を示す情報を重畳した画像を含む、請求項2に記載の情報処理装置。
- 前記重要領域を示す情報には、前記重要領域の認識結果を示す情報が関連付けられる、請求項10に記載の情報処理装置。
- 前記制御部は、前記動画に映る前記被操作体の各領域について前記操作位置が留まる時間の累積値を計算し、前記累積値が大きい領域を前記重要領域として特定する、請求項1に記載の情報処理装置。
- 前記制御部は、前記累積値を時間の経過に応じて減少させる、請求項12に記載の情報処理装置。
- 前記制御部は、前記動画に映る前記被操作体に所定の変化が生じた場合に、前記累積値の減少を開始させる、請求項13に記載の情報処理装置。
- 前記被操作体は、情報が筆記された筆記面であり、前記操作位置は、前記操作者の手先の位置又は前記操作者が持つ指示器により指示される位置である、請求項1に記載の情報処理装置。
- 動画における被操作体に対する操作者の動作を認識し、前記操作者の操作位置に基づいて、前記動画における前記被操作体の重要領域を特定し、
前記動画に前記重要領域を示す情報を重畳した重畳画像を生成することを含み、
第1の領域において、複数の前記重畳画像は、前記動画において再生される順に一端から他端に向かって所定の方向に沿って並べられ、
前記第1の領域において、複数の前記重畳画像は、前記重要領域の重要度に応じて、前記所定の方向と異なる方向の重要度軸に沿って並べられる、
プロセッサにより実行される情報処理方法。 - コンピュータを、
動画における被操作体に対する操作者の動作を認識し、前記操作者の操作位置に基づいて、前記動画における前記被操作体の重要領域を特定し、
前記動画に前記重要領域を示す情報を重畳した重畳画像を生成するように機能させ、
第1の領域において、複数の前記重畳画像は、前記動画において再生される順に一端から他端に向かって所定の方向に沿って並べられ、
前記第1の領域において、複数の前記重畳画像は、前記重要領域の重要度に応じて、前記所定の方向と異なる方向の重要度軸に沿って並べられる、
プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017245779 | 2017-12-22 | ||
JP2017245779 | 2017-12-22 | ||
PCT/JP2018/036568 WO2019123762A1 (ja) | 2017-12-22 | 2018-09-28 | 情報処理装置、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019123762A1 JPWO2019123762A1 (ja) | 2021-01-07 |
JP7192792B2 true JP7192792B2 (ja) | 2022-12-20 |
Family
ID=66992601
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019560810A Active JP7192792B2 (ja) | 2017-12-22 | 2018-09-28 | 情報処理装置、情報処理方法及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (2) | US11321880B2 (ja) |
EP (1) | EP3731073A4 (ja) |
JP (1) | JP7192792B2 (ja) |
CN (1) | CN111465916B (ja) |
WO (1) | WO2019123762A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11321880B2 (en) * | 2017-12-22 | 2022-05-03 | Sony Corporation | Information processor, information processing method, and program for specifying an important region of an operation target in a moving image |
US20220401179A1 (en) | 2021-06-22 | 2022-12-22 | Olympus Corporation | Surgical support system, surgical support method, and information storage medium |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004187043A (ja) | 2002-12-04 | 2004-07-02 | Fuji Xerox Co Ltd | 映像処理装置 |
JP2006228059A (ja) | 2005-02-18 | 2006-08-31 | Tokyo Institute Of Technology | ポインタの位置情報を利用するプレゼンテーションコンテンツ検索システムおよびその方法、ならびにコンピュータ読み取り可能な記録媒体 |
JP2007134771A (ja) | 2005-11-08 | 2007-05-31 | Sony Corp | 情報処理装置、撮像装置、および情報処理方法、並びにコンピュータ・プログラム |
JP2007148904A (ja) | 2005-11-29 | 2007-06-14 | Toshiba Corp | 情報提示方法、情報提示装置及び情報提示プログラム |
JP2007336106A (ja) | 2006-06-13 | 2007-12-27 | Osaka Univ | 映像編集支援装置 |
JP2009245406A (ja) | 2008-04-01 | 2009-10-22 | Fujifilm Corp | 画像処理装置およびそのプログラム |
JP2012059271A (ja) | 2010-09-13 | 2012-03-22 | Ricoh Co Ltd | ヒューマンコンピュータインタラクションシステム、手と手指示点位置決め方法、及び手指のジェスチャ決定方法 |
JP2013239797A (ja) | 2012-05-11 | 2013-11-28 | Canon Inc | 画像処理装置 |
JP2014531662A (ja) | 2011-09-19 | 2014-11-27 | アイサイト モバイル テクノロジーズ リミテッド | 拡張現実システムのためのタッチフリーインターフェース |
JP2016039548A (ja) | 2014-08-08 | 2016-03-22 | ヤフー株式会社 | 情報処理装置、情報処理方法、及び情報処理プログラム |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6535639B1 (en) * | 1999-03-12 | 2003-03-18 | Fuji Xerox Co., Ltd. | Automatic video summarization using a measure of shot importance and a frame-packing method |
US7647555B1 (en) * | 2000-04-13 | 2010-01-12 | Fuji Xerox Co., Ltd. | System and method for video access from notes or summaries |
KR100593837B1 (ko) * | 2001-10-17 | 2006-07-03 | 박남교 | 인터넷 동영상에 연동 기능을 부가한 능동적 학습 자료제공 방법 |
US7035435B2 (en) * | 2002-05-07 | 2006-04-25 | Hewlett-Packard Development Company, L.P. | Scalable video summarization and navigation system and method |
US7260257B2 (en) * | 2002-06-19 | 2007-08-21 | Microsoft Corp. | System and method for whiteboard and audio capture |
KR100590537B1 (ko) * | 2004-02-18 | 2006-06-15 | 삼성전자주식회사 | 복수 영상의 요약 방법 및 장치 |
JP2005234368A (ja) * | 2004-02-20 | 2005-09-02 | Earnet Co Ltd | 遠隔講義システム |
JP4817289B2 (ja) * | 2005-09-29 | 2011-11-16 | 富士通株式会社 | 穴埋めテスト問題作成プログラム、方法及び装置 |
US8671346B2 (en) * | 2007-02-09 | 2014-03-11 | Microsoft Corporation | Smart video thumbnail |
TW201004339A (en) * | 2008-07-09 | 2010-01-16 | Univ Nat Taiwan | Method and system for processing synthetic graphic images on digital video file |
US8433138B2 (en) * | 2008-10-29 | 2013-04-30 | Nokia Corporation | Interaction using touch and non-touch gestures |
WO2012088443A1 (en) * | 2010-12-24 | 2012-06-28 | Kevadiya, Inc. | System and method for automated capture and compaction of instructional performances |
WO2013051014A1 (en) | 2011-06-10 | 2013-04-11 | Tata Consultancy Services Limited | A method and system for automatic tagging in television using crowd sourcing technique |
JP5762892B2 (ja) * | 2011-09-06 | 2015-08-12 | ビッグローブ株式会社 | 情報表示システム、情報表示方法、及び情報表示用プログラム |
US9646313B2 (en) * | 2011-12-13 | 2017-05-09 | Microsoft Technology Licensing, Llc | Gesture-based tagging to view related content |
US9049482B2 (en) * | 2012-02-19 | 2015-06-02 | Udacity, Inc. | System and method for combining computer-based educational content recording and video-based educational content recording |
JP6075110B2 (ja) * | 2013-02-21 | 2017-02-08 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP2016009266A (ja) * | 2014-06-23 | 2016-01-18 | コニカミノルタ株式会社 | 撮影システム、撮影の方法、およびコンピュータープログラム |
JP5954377B2 (ja) * | 2014-08-19 | 2016-07-20 | カシオ計算機株式会社 | 画像生成装置、画像生成方法及びプログラム |
KR101686143B1 (ko) * | 2014-12-30 | 2016-12-13 | 채수한 | 영상 처리 장치 및 영상 처리 방법 |
JP6776716B2 (ja) * | 2016-08-10 | 2020-10-28 | 富士ゼロックス株式会社 | 情報処理装置、プログラム |
US10349022B2 (en) * | 2017-03-22 | 2019-07-09 | Casio Computer Co., Ltd. | Image processing apparatus, projector, image processing method, and storage medium storing image processing program |
US10942575B2 (en) * | 2017-06-07 | 2021-03-09 | Cisco Technology, Inc. | 2D pointing indicator analysis |
US10325629B1 (en) * | 2017-12-15 | 2019-06-18 | International Business Machines Corporation | Cognitive system and method for optimized video playback |
US11321880B2 (en) * | 2017-12-22 | 2022-05-03 | Sony Corporation | Information processor, information processing method, and program for specifying an important region of an operation target in a moving image |
-
2018
- 2018-09-28 US US16/772,470 patent/US11321880B2/en active Active
- 2018-09-28 EP EP18892626.5A patent/EP3731073A4/en active Pending
- 2018-09-28 WO PCT/JP2018/036568 patent/WO2019123762A1/ja unknown
- 2018-09-28 CN CN201880080945.5A patent/CN111465916B/zh active Active
- 2018-09-28 JP JP2019560810A patent/JP7192792B2/ja active Active
-
2022
- 2022-03-15 US US17/695,398 patent/US12008682B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004187043A (ja) | 2002-12-04 | 2004-07-02 | Fuji Xerox Co Ltd | 映像処理装置 |
JP2006228059A (ja) | 2005-02-18 | 2006-08-31 | Tokyo Institute Of Technology | ポインタの位置情報を利用するプレゼンテーションコンテンツ検索システムおよびその方法、ならびにコンピュータ読み取り可能な記録媒体 |
JP2007134771A (ja) | 2005-11-08 | 2007-05-31 | Sony Corp | 情報処理装置、撮像装置、および情報処理方法、並びにコンピュータ・プログラム |
JP2007148904A (ja) | 2005-11-29 | 2007-06-14 | Toshiba Corp | 情報提示方法、情報提示装置及び情報提示プログラム |
JP2007336106A (ja) | 2006-06-13 | 2007-12-27 | Osaka Univ | 映像編集支援装置 |
JP2009245406A (ja) | 2008-04-01 | 2009-10-22 | Fujifilm Corp | 画像処理装置およびそのプログラム |
JP2012059271A (ja) | 2010-09-13 | 2012-03-22 | Ricoh Co Ltd | ヒューマンコンピュータインタラクションシステム、手と手指示点位置決め方法、及び手指のジェスチャ決定方法 |
JP2014531662A (ja) | 2011-09-19 | 2014-11-27 | アイサイト モバイル テクノロジーズ リミテッド | 拡張現実システムのためのタッチフリーインターフェース |
JP2013239797A (ja) | 2012-05-11 | 2013-11-28 | Canon Inc | 画像処理装置 |
JP2016039548A (ja) | 2014-08-08 | 2016-03-22 | ヤフー株式会社 | 情報処理装置、情報処理方法、及び情報処理プログラム |
Non-Patent Citations (2)
Title |
---|
Takashi Kobayashi et al.,"Presentation Scene Retrieval Exploiting Features in Videos Including Pointing and Speech Information",ResearchGate,ドイツ,ResearchGate GmbH.,2014年05月21日,pp.1-6,https://www.researchgate.net/publication/228862240_Presentation_scene_retrieval_exploiting_features_in_videos_including_pointing_and_speech_information |
山田 伸、外2名,"ビデオインデックス作成・編集技術",Matsushita Technical Journal,日本,松下電器産業株式会社,1998年10月18日,Vol.44, No.5,pp.125-132,特に「1. 緒言」-「3.2.2 ユーザインタフェース機能」、図1,6,8 |
Also Published As
Publication number | Publication date |
---|---|
US20200388057A1 (en) | 2020-12-10 |
JPWO2019123762A1 (ja) | 2021-01-07 |
CN111465916A (zh) | 2020-07-28 |
CN111465916B (zh) | 2024-04-23 |
EP3731073A1 (en) | 2020-10-28 |
US11321880B2 (en) | 2022-05-03 |
US20220207788A1 (en) | 2022-06-30 |
WO2019123762A1 (ja) | 2019-06-27 |
EP3731073A4 (en) | 2021-02-24 |
US12008682B2 (en) | 2024-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6950707B2 (ja) | 情報処理装置および方法、並びにプログラム | |
US11818454B2 (en) | Controller and control method | |
US12008682B2 (en) | Information processor, information processing method, and program image to determine a region of an operation target in a moving image | |
US11694725B2 (en) | Information processing apparatus and information processing method | |
JP7143846B2 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
US11883120B2 (en) | Medical observation system, medical signal processing device, and medical signal processing device driving method | |
JP7264051B2 (ja) | 画像処理装置および画像処理方法 | |
WO2018088237A1 (ja) | 画像処理装置および設定方法、並びにプログラム | |
JP7136093B2 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
WO2018173605A1 (ja) | 手術用制御装置、制御方法、手術システム、およびプログラム | |
US11902692B2 (en) | Video processing apparatus and video processing method | |
JP7444074B2 (ja) | 撮像装置、撮像制御装置、撮像方法 | |
JP7160042B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP7552593B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JPWO2018088236A1 (ja) | 画像処理装置および方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210819 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220913 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221026 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221121 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7192792 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |