JP6810944B1 - 情報処理装置、方法、およびプログラム - Google Patents
情報処理装置、方法、およびプログラム Download PDFInfo
- Publication number
- JP6810944B1 JP6810944B1 JP2020068230A JP2020068230A JP6810944B1 JP 6810944 B1 JP6810944 B1 JP 6810944B1 JP 2020068230 A JP2020068230 A JP 2020068230A JP 2020068230 A JP2020068230 A JP 2020068230A JP 6810944 B1 JP6810944 B1 JP 6810944B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- mode
- still image
- recording
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 77
- 230000010365 information processing Effects 0.000 title claims description 68
- 238000010586 diagram Methods 0.000 abstract description 12
- 230000008569 process Effects 0.000 description 66
- 230000008859 change Effects 0.000 description 20
- 230000007704 transition Effects 0.000 description 14
- 239000000725 suspension Substances 0.000 description 10
- 101150039699 M2-1 gene Proteins 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 239000000463 material Substances 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 206010029216 Nervousness Diseases 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000008685 targeting Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
以下、本発明の一実施形態について、詳細に説明する。
本発明の一実施形態に係る情報処理装置10は、撮影装置から動画像を取得しながら、当該動画像に含まれるか又は含まれない静止画像に基づく第1画像列と、当該動画像に基づく第2画像列とを記録し、第1画像列および第2画像列を含む動画ファイルを生成する。
図1は、情報処理装置10が生成する動画ファイルMの一例を説明する図である。図1に示すように、情報処理装置10が生成する動画ファイルMは、第1画像列M1−a、第2画像列M2−a、第1画像列M1−b、第2画像列M2−bを、時刻t−aからt−eまでこの順に再生するよう構成される。図1において、三角形および円形を組み合わせた図形は、静止画像を模式的に示すものである。ただし、当該図形は、これらの静止画像に三角形および円形を組み合わせた図形が含まれることを示すものではない。また、映像フィルムおよび人のマークは、動画像を模式的に示すものである。ただし、当該マークは、これらの動画像に人が含まれることを示すものではない。
例えば、情報処理装置10が生成する動画ファイルMは、対象を解説する用途で使用される。この場合、動画ファイルMは、静止画像を用いて対象を解説する第1画像列M1−a、M1−bと、動画像を用いて対象を解説する第2画像列M2−a、M2−bとを含む。例えば、このような動画ファイルMの用途の具体例としては、介護施設に新規入居する被介護者を対象として、当該被介護者をスタッフに紹介(解説の一例)する用途が挙げられる。また、その他の具体例として、売買サイトに出品する出品物を対象として、当該出品物をサイト訪問者に解説する用途が挙げられる。また、その他の具体例として、顧客に納品する納品物を対象として、当該納品物を顧客に解説する用途が挙げられる。ただし、動画ファイルの用途は上述したものに限られない。
情報処理装置10によれば、撮影装置から動画像を取得しながら第1画像列および第2画像列を含む動画ファイルを生成するので、静止画像および動画像を登録したり、それらの再生順を管理したりする等といった編集作業を行う必要がない。その結果、情報処理装置10は、静止画像および動画像を含む動画ファイルを生成する手間を大幅に低減することができる。
図2は、情報処理装置10の機能的な構成を示すブロック図である。図2に示すように、情報処理装置10は、カメラ20と、マイク30と、タッチスクリーン40とに接続されている。本実施形態では、情報処理装置10は、カメラ20、マイク30、およびタッチスクリーン40と一体に構成される。例えば、情報処理装置10は、カメラ20、マイク30、およびタッチスクリーン40を内蔵するスマートフォン、タブレット等に含まれるコンピュータである。カメラ20は、本発明における撮影装置の一例である。マイク30は、本発明における音声入力装置の一例である。
以下では、本発明の一実施形態に係る情報処理装置10が実行する動画ファイル生成処理について詳細に説明する。
図3は、情報処理装置10が実行する動画ファイル生成処理の全体の流れを示すフローチャートである。ここでは、動画ファイルMによって解説する対象が被介護者である例を挙げながら、動画ファイル生成処理について説明する。この場合、当該処理は、例えば、被介護者(対象)又はその周辺に対してユーザがカメラ20を向けた状態で実行される。また、この場合、当該処理は、被介護者の周辺に、被介護者を紹介するための情報、例えば、アセスメントシートが置かれた状態で実行される。
ステップS101において、取得部111は、カメラ20およびマイク30から順次入力される動画像および音声データの取得を開始する。
ステップS102において、記録部112は、カメラ20から順次入力される動画像を、リアルタイムで表示画面の第1領域R1に表示する。また、記録部112は、撮影開始操作を受け付けるユーザインタフェースオブジェクトを、表示画面の第2領域に表示する。当該ステップは、撮影開始操作が受け付けられるまで繰り返される。
図4は、当該ステップにおける表示画面の一例、すなわち、撮影開始前の表示画面の一例(画面G1)を示す図である。図4において、画面G1は、第1領域R1および第2領域R2を含む。
ステップS103において、記録部112は、撮影開始操作を受け付けたか否かを判断する。当該ステップの処理は、Yesと判断されるまで繰り返される。当該ステップでYesの場合、次のステップS104の処理が実行される。
ステップS104において、記録部112は、第1モードで第1画像列M1を記録する。第1モードは、第1画像列M1を記録中の状態と、第1画像列M1の記録を一時停止中の状態とを含む。前者の状態を、以降、「第1モード記録中」と記載する。また、後者の状態を、以降、「第1モード一時停止中」と記載する。当該ステップは、モード切替操作又は撮影終了操作が受け付けられるまで繰り返される。
ここで、第1画像列M1について説明する。第1画像列M1とは、静止画像P1および静止画像P2の一方又は両方を複数フレームに亘って並べたものである。静止画像P1、P2については後述する。第1画像列M1は、動画ファイルMの少なくとも一部を構成し、並んだ順に再生される。第1画像列M1には、第1モード記録中にマイク30から順次入力された音声データが付加される。具体例として、第1画像列M1は、被介護者のアセスメントシートを示す静止画像P1、P2を用いてユーザが被介護者を紹介する様子を示す。
静止画像P1は、カメラ20から順次入力される動画像から抽出される静止画像である。ここでは、静止画像P1は、第1モード開始時にカメラ20から入力された静止画像である。静止画像P1に基づいて、第1画像列M1が生成される。
静止画像P2は、静止画像P1を変更して得られる静止画像であり、本発明における「静止画像に基づいて生成した静止画像」の一例である。変更の具体例としては、拡大、縮小、回転、注目領域の移動、ユーザのタッチ位置又はその軌跡を示す図形の追加、幾何学図形の追加等が挙げられる。
図5は、第1モード記録中における表示画面の一例(画面G2)を示す図である。画面G2は、撮影開始前の画面G1、後述する第1モード一時停止中の画面G3、第2モード記録中の画面G4、および第2モード一時停止中の画面G5の何れかから遷移して表示される。画面G2は、第1領域R1、第2領域R2および第3領域R3を含む。第1領域R1および第2領域R2の形状および位置は、撮影開始前の画面G1と同様である。
図6は、第1モード一時停止中における表示画面の一例(画面G3)を示す図である。画面G3は、第1モード記録中の画面G2から遷移して表示される。画面G3は、第1領域R1、第2領域R2、第3領域R3、第4領域R4、および第5領域R5を含む。第1領域R1、第2領域R2および第3領域R3の形状および位置は、第1モード記録中の画面G2と同様である。
ステップS105において、記録部112は、第1モードが、撮影終了操作により終了したか、モード切替操作により終了したかを判断する。撮影終了操作により終了した場合、後述するステップS108の処理が実行される。モード切替操作により終了した場合、記録部112の動作は、第1モードから第2モードに切り替えられ、次のステップS106の処理が実行される。
ステップS106において、記録部112は、第2モードで第2画像列M2を記録する。第2モードは、第2画像列M2を記録中の状態と、第2画像列M2の記録を一時停止中の状態とを含む。前者の状態を、以降、「第2モード記録中」と記載する。また、後者の状態を、以降、「第2モード一時停止中」と記載する。当該ステップは、モード切替操作又は撮影終了操作が受け付けられるまで繰り返される。
ここで、第2画像列M2について説明する。第2画像列M2とは、カメラ20から順次入力される動画像の少なくとも一部を構成する静止画像の列を示す。第2画像列M2は、動画ファイルMの少なくとも一部を構成し、並んだ順に再生される。第2画像列M2には、第2画像列M2の記録中にマイク30から順次入力された音声データが付加される。具体例として、第2画像列M2は、被介護者を被写体として撮影しながらユーザが被介護者を紹介する様子を示す。
図7は、第2モード記録中における表示画面の一例(画面G4)を示す図である。画面G4は、第1モード記録中の画面G2、第1モード一時停止中の画面G3、および後述する第2モード一時停止中の画面G5の何れかから遷移して表示される。画面G4は、第1領域R1、第2領域R2および第3領域R3を含む。第1領域R1、第2領域R2および第3領域R3の形状および位置は、第1モード記録中の画面G2と同様である。
図8は、第2モード一時停止中における表示画面の一例(画面G5)を示す図である。画面G5は、第2モード記録中の画面G4から遷移して表示される。画面G5は、第1領域R1、第2領域R2、第3領域R3、第4領域R4、および第5領域R5を含む。第1領域R1、第2領域R2、第3領域R3、第4領域R4、および第5領域R5の形状および位置は、第1モード一時停止中の画面G3と同様である。
ステップS107において、記録部112は、第2モードが、撮影終了操作により終了したか、モード切替操作により終了したかを判断する。撮影終了操作により終了した場合、後述するステップS108の処理が実行される。モード切替操作により終了した場合、記録部112の動作は、第2モードから第1モードに切り替えられ、ステップS104からの処理が繰り返される。
ステップS105又はステップS107において、撮影終了操作により各モードの記録処理が終了したと判断した場合、当該ステップの処理が実行される。ステップS108において、生成部113は、第1画像列M1および第2画像列M2を含む動画ファイルMを生成する。具体的には、生成部113は、ステップS104で記録された第1画像列M1およびステップS106で記録された第2画像列M2を、記録した順に並べて連結した動画ファイルMを生成する。また、生成部113は、生成した動画ファイルMを、記憶部12に保存する。
図9は、ステップS104における第1モードでの記録処理の詳細な流れを示すフローチャートである。第1モードでの記録処理は、第1モード記録中のステップS201〜S211と、第1モード一時停止中のステップS212〜S220と、第1モード終了時のステップS221とを含む。
(ステップS201)
ステップS201において、記録部112は、第1画像列M1の記録を開始する。表示画面には、図5に示した第1モード記録中の画面G2が表示される。
ステップS202において、記録部112は、カメラ20から順次入力される動画像から、静止画像P1を抽出する。具体的には、記録部112は、カメラ20から入力される最新の静止画像を、静止画像P1として取得する。記録部112は、取得した静止画像P1を記憶部12に保存するとともに、第1領域R1に表示する。
ステップS203において、記録部112は、カメラ20から入力される最新の静止画像を、第2領域R2に表示する。第1モード記録中の間、当該ステップの処理が繰り返されることにより、第2領域R2には、カメラ20から順次入力される動画像がリアルタイムで表示される。
ステップS204において、記録部112は、第3領域R3に、一時停止ボタンを表示する。
ステップS205において、記録部112は、一時停止操作を受け付けたか否かを判断する。当該ステップでYesの場合、後述するステップS212からの第1モード一時停止中の処理が実行される。当該ステップでNoの場合、次のステップS206の処理が実行される。
ステップS206において、記録部112は、第1領域R1に表示した静止画像P1又はP2に対する変更操作を受け付けたか否かを判断する。当該ステップでNoの場合、後述するステップS208の処理が実行される。当該ステップでYesの場合、次のステップS207の処理が実行される。
ここで、静止画像P1(又はP2)に対する変更操作の具体例について説明する。変更操作とは、例えば、拡大、縮小、回転、注目領域の移動、ユーザのタッチ位置又はその軌跡を示す図形の追加、幾何学図形の追加等を行う操作である。例えば、変更操作は、第1領域R1に対するピンチアウト操作、ピンチイン操作、ドラッグ操作、タップ操作等であってもよい。具体的には、第1領域R1に表示された静止画像P1(又はP2)の拡大操作は、ピンチアウト操作であってもよい。また、縮小操作は、ピンチイン操作であってもよい。また、表示領域の移動操作は、ドラッグ操作であってもよい。また、タップ位置への図形の追加操作は、タップ操作であってもよい。
ステップS207において、記録部112は、受け付けた変更操作に基づいて、変更後の静止画像P2を生成し、変更後の静止画像P2を第1領域R1に表示する。
当該ステップの処理は、ステップS206において変更操作を受け付けなかったと判断された場合に実行される。ステップS208において、記録部112は、静止画像P1を更新する静止画像更新操作を受け付けたか否かを判断する。第1モードにおける静止画像更新操作の詳細については、図5を参照して説明した通りであるため、詳細な説明を繰り返さない。当該ステップでYesの場合、次のステップS209の処理が実行される。当該ステップでNoの場合、後述するステップS210の処理が実行される。
ステップS209において、記録部112は、カメラ20から順次入力される動画像から、新たな静止画像P1を抽出する。具体的には、記録部112は、カメラ20から入力される最新の静止画像を、新たな静止画像P1として取得する。つまり、記録部112は、静止画像P1を更新する。記録部112は、更新された静止画像P1を記憶部12に保存するとともに、第1領域R1に表示する。
ステップS210において、記録部112は、第1領域R1に表示した静止画像P1又はP2を、第1画像列の最後尾に追加する。
ステップS211において、記録部112は、第1モードから第2モードに切り替えるモード切替操作を受け付けたか否かを判断する。第1モードにおけるモード切替操作の詳細については、図5を参照して説明した通りであるため、詳細な説明を繰り返さない。当該ステップでYesの場合、後述するステップS221での第1モード終了時の処理が実行される。当該ステップでNoの場合、ステップS203からの第1モード記録中の処理が繰り返される。
(ステップS212)
当該ステップの処理は、ステップS205でYesの場合に実行される。表示画面には、図6に示した第1モード停止中の画面G3が表示される。ステップS212において、記録部112は、第4領域R4に再開ボタンを表示するとともに、第5領域R5に撮影終了ボタンを表示する。
ステップS213において、記録部112は、再開操作を受け付けたか否かを判断する。当該ステップでYesの場合、ステップS204からの第1モード記録中の処理が繰り返される。当該ステップでNoの場合、次のステップS214の処理が実行される。
ステップS214、S215において、変更操作を受け付けた場合には、変更後の静止画像P2が第1領域R1に表示される。第1モード一時停止中におけるこれらのステップの処理は、第1モード記録中におけるステップS206、S207で説明した通りであるため、詳細な説明を繰り返さない。
ステップS216、S217において、静止画更新操作を受け付けた場合には、更新された静止画像P1が第1領域R1に表示される。第1モード一時停止中におけるこれらのステップの処理は、第1モード記録中におけるステップS208、S209で説明した通りであるため、詳細な説明を繰り返さない。
ステップS218において、記録部112は、第1モードから第2モードに切り替えるモード切替操作を受け付けたか否かを判断する。第1モード一時停止中における当該ステップの処理は、第1モード記録中におけるステップS211で説明した通りであるため、詳細な説明を繰り返さない。当該ステップでYesの場合、後述するステップS221での第1モード終了時の処理が実行される。当該ステップでNoの場合、次のステップS219の処理が実行される。
ステップS219において、記録部112は、撮影を終了する撮影終了操作を受け付けたか否かを判断する。第1モード一時停止中における撮影終了操作の詳細については、図6を参照して説明した通りであるため、詳細な説明を繰り返さない。当該ステップでYesの場合、後述するステップS221での第1モード終了時の処理が実行される。当該ステップでNoの場合、次のステップS220の処理が実行される。
ステップS220において、記録部112は、カメラ20から入力される最新の静止画像を、第2領域R2に表示する。第1モード一時停止中の間、当該ステップの処理が繰り返されることにより、第2領域R2には、カメラ20から順次入力される動画像がリアルタイムで表示される。この後、ステップS212からの第1モード一時停止中の処理が繰り返される。
(ステップS221)
ステップS221の処理は、第1モード記録中のステップS211又は第1モード一時停止中のステップS218においてYesの場合、若しくは、第1モード一時停止中のステップS211においてYesの場合に実行される。ステップS221において、記録部112は、第1モード記録中に取得された音声データを第1画像列M1に付加して、第1モードでの記録処理を終了する。なお、第1画像列M1には、第1モード一時停止中に取得された音声データは追加されない。例えば、第1画像列M1には、静止画像P1またはP2が表示される第1領域R1を見ながら被介護者を紹介するユーザの音声を示す音声データが付加される。
図10は、ステップS106における第2モードでの記録処理の詳細な流れを示すフローチャートである。第2モードでの記録処理は、第2モード記録中のステップS301〜S307と、第2モード一時停止中のステップS308〜S312と、第2モード終了時のステップS313とを含む。
(ステップS301)
ステップS301において、記録部112は、第2画像列M2の記録を開始する。
ステップS302において、記録部112は、直前の第1モードで用いた静止画像P1を、第2領域R2に表示する。
ステップS303において、記録部112は、カメラ20から入力される最新の静止画像P1を、第1領域R1に表示する。第2モードの間、当該ステップの処理が繰り返されることにより、第1領域R1には、カメラ20から順次入力される動画像がリアルタイムで表示される。
ステップS304において、記録部112は、第3領域R3に、一時停止ボタンを表示する。
ステップS305において、記録部112は、一時停止操作を受け付けたか否かを判断する。当該ステップでYesの場合、後述するステップS308からの第2モード一時停止中の処理が実行される。当該ステップでNoの場合、次のステップS306の処理が実行される。
ステップS306において、記録部112は、第1領域R1に表示した最新の静止画像を、第2画像列に追加する。
ステップS307において、記録部112は、第2モードから第1モードに切り替えるモード切替操作を受け付けたか否かを判断する。第2モードにおけるモード切替操作の詳細については、図7を参照して説明した通りであるため、詳細な説明を繰り返さない。当該ステップでYesの場合、後述するステップS313での第2モード終了時の処理が実行される。当該ステップでNoの場合、ステップS303からの第2モード記録中の処理が繰り返される。
(ステップS308)
当該ステップの処理は、ステップS305でYesの場合に実行される。表示画面には、図8に示した第2モード停止中の画面G5が表示される。ステップS308において、記録部112は、第4領域R4に再開ボタンを表示するとともに、第5領域R5に撮影終了ボタンを表示する。
ステップS309において、記録部112は、再開操作を受け付けたか否かを判断する。当該ステップでYesの場合、ステップS304からの第2モード記録中の処理が繰り返される。当該ステップでNoの場合、次のステップS310の処理が実行される。
ステップS310において、記録部112は、第2モードから第1モードに切り替えるモード切替操作を受け付けたか否かを判断する。第2モード一時停止中における当該ステップの処理は、第2モード記録中におけるステップS307で説明した通りであるため、詳細な説明を繰り返さない。当該ステップでYesの場合、後述するステップS313での第2モード終了時の処理が実行される。当該ステップでNoの場合、次のステップS311の処理が実行される。
ステップS311において、記録部112は、撮影を終了する撮影終了操作を受け付けたか否かを判断する。第2モードにおける撮影終了操作の詳細については、図7を参照して説明した通りであるため、詳細な説明を繰り返さない。当該ステップでYesの場合、後述するステップS313での第2モード終了時の処理が実行される。当該ステップでNoの場合、次のステップS312の処理が実行される。
ステップS312において、記録部112は、カメラ20から入力される最新の静止画像を、第1領域R1に表示する。第2モード一時停止中の間、当該ステップの処理が繰り返されることにより、第1領域R1には、カメラ20から順次入力される動画像がリアルタイムで表示される。この後、ステップS308からの第2モード一時停止中の処理が繰り返される。
ステップS313の処理は、第2モード記録中のステップS307又は第2モード一時停止中のステップS310でYesの場合、若しくは、第2モード一時停止中のステップS311でYesの場合に実行される。ステップS313において、記録部112は、第2モード記録中に取得された音声データを第2画像列M2に付加して、第2モードでの記録処理を終了する。なお、第2画像列M2には、第2モード一時停止中に取得された音声データは追加されない。例えば、第2画像列M2には、第1領域R1にリアルタイムに表示される被介護者の動画像を見ながら当該被介護者を紹介するユーザの音声を示す音声データが付加される。
図11は、動画ファイル生成処理の具体例を説明する図である。図11に示す静止画像F1〜F15は、カメラ20から順次入力される動画像を構成する静止画像である。静止画像Fi(i=1、2、3、・・・、15)の入力時刻を、tiと記載する。また、時刻t1以前では、表示画面に、撮影開始前の画面G1が表示されているとする。
・時刻t1において、ユーザは、被介護者のアセスメントシート1ページ目にカメラ20を向け、第2領域R2に対してタップ操作(撮影開始操作)を行う。これにより、情報処理装置10では、第1モードが開始し、第1モード記録中となる。表示画面は、撮影開始前の画面G1から、第1モード記録中の画面G2に遷移する。
・第1モードの開始に伴い、第1画像列M1−1の記録が開始する。
・第1画像列M1−1の元となる静止画像P1として、カメラ20から入力される最新の静止画像F1が取得される。静止画像F1は、アセスメントシート1ページ目を被写体として含む。
・第1領域R1には、記録中の静止画像として、静止画像F1が表示される。
・第2領域R2には、カメラ20から順次入力される動画像として、最新の静止画像F1が表示される。
・ユーザは、第1領域R1を見ながら、アセスメントシート1ページ目の解説を行う。これにより、マイク30から、アセスメントシート1ページ目を解説するユーザの発話を含む音声データが順次入力される。
・第1画像列M1−1には、静止画像F1が追加される。
・時刻t2では、継続して第1モード記録中であり、表示画面には、引き続き、画面G2が表示されている。
・ユーザは、画面G2の第1領域R1に対してピンチアウト操作(拡大操作)を行う。これにより、静止画像F1に含まれるアセスメントシート1ページ目の注目領域を拡大した静止画像F1−1が生成される。静止画像F1−1は、上述した静止画像P2の一例に相当する。
・第1領域R1に表示される記録中の静止画像は、静止画像F1−1に更新される。
・第2領域R2に表示される動画像は、カメラ20から入力される最新の静止画像F2に更新される。
・マイク30からは、引き続き、アセスメントシート1ページ目を解説するユーザの発話を含む音声データが順次入力される。
・第1画像列M1−1には、静止画像F1−1が追加される。
・時刻t3では、継続して第1モード記録中であり、表示画面には、引き続き、画面G2が表示されている。
・ユーザは、画面G2の第1領域R1に対してタップ操作(図形追加操作)を行う。これにより、静止画像F1−1に含まれるアセスメントシート1ページ目の注目領域に図形を追加した静止画像F1−2が生成される。静止画像F1−2は、上述した静止画像P2の一例に相当する。
・第1領域R1に表示される記録中の静止画像は、静止画像F1−2に更新される。
・第2領域R2に表示される動画像は、カメラ20から入力される最新の静止画像F3に更新される。
・マイク30からは、引き続き、アセスメントシート1ページ目を解説するユーザの発話を含む音声データが順次入力される。
・第1画像列M1−1には、静止画像F1−2が追加される。
・時刻t4において、ユーザは、カメラ20を被介護者に向け、画面G2の第2領域R2に対するロングタップ操作を開始する。これにより、情報処理装置10では、第1モードから切り替わって第2モードが開始し、第2モード記録中となる。表示画面は、第1モード記録中の画面G2から、第2モード記録中の画面G3に遷移する。
・第1モードの終了に伴い、静止画像F1、F1−1、F1−2からなる第1画像列M1−1に、時刻t1〜t4までに取得された音声データが付加される。
・第2モードの開始に伴い、第2画像列M2−1の記録が開始する。
・第1領域R1には、記録中の動画像として、被介護者を被写体として含む最新の静止画像F4が表示される。
・第2領域R2には、直前の第1モードで用いられた静止画像F1が表示される。
・ユーザは、撮影中の被介護者を第1領域R1で確認しながら、被介護者と会話する。これにより、マイク30から、ユーザおよび被介護者の会話を含む音声データが順次入力される。
・第2画像列M2−1には、静止画像F4が追加される。
・時刻t5では、ユーザは、カメラ20を被介護者に向け、第2領域R2に対してロングタップ操作を継続中である。したがって、継続して第2モード記録中であり、表示画面には、引き続き、画面G3が表示されている。
・第1領域R1に表示される記録中の動画像は、カメラ20から入力される最新の静止画像F5に更新される。
・第2領域R2に表示される静止画像は、静止画像F1のまま更新されない。
・マイク30からは、引き続き、ユーザおよび被介護者の会話を含む音声データが順次入力される。
・第2画像列M2−1には、静止画像F5が追加される。
・時刻t6では、ユーザは、カメラ20を被介護者に向け、第2領域R2に対してロングタップ操作を継続中である。したがって、継続して第2モード記録中であり、表示画面には、引き続き、画面G3が表示されている。
・第1領域R1に表示される記録中の動画像は、カメラ20から入力される最新の静止画像F6に更新される。
・第2領域R2に表示される静止画像は、静止画像F1のまま更新されない。
・マイク30からは、引き続き、ユーザおよび被介護者の会話を含む音声データが順次入力される。
・第2画像列M2−1には、静止画像F6が追加される。
・時刻t7では、ユーザは、第3領域R3の一時停止ボタンに対してタップ操作を行う。表示画面は、第2モード記録中の画面G3から、第2モード一時停止中の画面G4に遷移する。
・第1領域R1の表示内容は、カメラ20から入力される最新の静止画像F7に更新される。ただし、表示された静止画像F7は、第2画像列M2−1には追加されない。
・第2領域R2に表示される静止画像は、静止画像F1のまま更新されない。
・時刻t8において、ユーザは、カメラ20をアセスメントシート2ページ目に向けて、第2領域R2に対するロングタップ操作を終了する。これにより、情報処理装置10では、第2モード一時停止中から切り替わって第1モードが開始し、第1モード記録中となる。表示画面は、第2モード一時停止中の画面G4から、第1モード記録中の画面G2に遷移する。
・第2モードの終了に伴い、静止画像F4、F5、F6からなる第2画像列M2−1に、時刻t4〜t7までに取得された音声データが付加される。
・第1モードの開始に伴い、第1画像列M1−2の記録が開始する。
・第1画像列M1−2の元となる静止画像P1として、カメラ20から入力される最新の静止画像F8が取得される。静止画像F8は、アセスメントシート2ページ目を被写体として含む。
・第1領域R1には、記録中の静止画像として、静止画像F8が表示される。
・第2領域R2には、カメラ20から順次入力される動画像として、最新の静止画像F8が表示される。
・ユーザは、第1領域R1を見ながら、アセスメントシート2ページ目の解説を行う。これにより、マイク30から、アセスメントシート2ページ目を解説するユーザの発話を含む音声データが順次入力される。
・第1画像列M1−2には、静止画像F8が追加される。
・時刻t8では、継続して第1モード記録中であり、表示画面には、引き続き、画面G2が表示されている。
・ユーザは、第1領域R1に対してピンチアウト操作(拡大操作)を行う。これにより、静止画像F8に含まれるアセスメントシート2ページ目の注目領域を拡大した静止画像F8−1が生成される。静止画像F8−1は、上述した静止画像P2の一例に相当する。
・第1領域R1に表示される記録中の静止画像は、静止画像F8−1に更新される。
・第2領域R2に表示される動画像は、カメラ20から入力される最新の静止画像F9に更新される。
・マイク30からは、引き続き、アセスメントシート2ページ目を解説するユーザの発話を含む音声データが順次入力される。
・第1画像列M1−2には、静止画像F8−1が追加される。
・時刻t10では、継続して第1モード記録中であり、表示画面には、引き続き、画面G2が表示されている。
・ユーザは、第1領域R1に対してドラッグ操作(移動操作)を行う。これにより、静止画像F8−1に含まれるアセスメントシートの2ページ目の注目領域を中央等に移動させた静止画像F8−2が生成される。静止画像F8−2は、上述した静止画像P2の一例に相当する。
・第1領域R1に表示される記録中の静止画像は、静止画像F8−2に更新される。
・第2領域R2に表示される動画像は、カメラ20から入力される最新の静止画像F10に更新される。
・マイク30からは、引き続き、アセスメントシート2ページ目を解説するユーザの発話を含む音声データが順次入力される。
・第1画像列M1−2には、静止画像F8−2が追加される。
・時刻t11において、ユーザは、カメラ20をアセスメントシート3ページ目に向けて第2領域R2に対するタップ操作(静止画像更新操作)を行う。継続して第1モード記録中であり、表示画面には、引き続き、画面G2が表示されている。
・静止画像更新操作により、新たな静止画像P1として、カメラ20から入力される最新の静止画像F11が取得される。静止画像F11は、アセスメントシート3ページ目を含む。
・第1領域R1には、記録中の静止画像として、静止画像F11が表示される。
・第2領域R2には、カメラ20から順次入力される動画像として、最新の静止画像F11が表示される。
・ユーザは、第1領域R1を見ながら、アセスメントシート3ページ目の解説を行う。これにより、マイク30から、アセスメントシートの3ページ目を解説するユーザの発話を含む音声データが順次入力される。
・第1画像列M1−2には、静止画像F11が追加される。
・時刻t12では、ユーザは、第3領域R3の一時停止ボタンに対してタップ操作を行う。表示画面は、第1モード記録中の画面G2から、第1モード一時停止中の画面G3に遷移する。
・ユーザは、第1領域R1に対してピンチアウト操作(拡大操作)を行う。これにより、静止画像F11に含まれるアセスメントシートの3ページ目の注目領域を拡大した静止画像F11−1が生成される。静止画像F11−1は、上述した静止画像P2の一例に相当する。
・第1領域R1の表示内容は、静止画像F11−1に更新される。ただし、表示された静止画像F11−1は、第1画像列M1−2には追加されない。
・第2領域R2に表示される動画像は、カメラ20から入力される最新の静止画像F12に更新される。
・時刻t13では、継続して第1モード一時停止中であり、表示画面には、引き続き、画面G3が表示されている。
・ユーザは、第1領域R1に対してピンチアウト操作(拡大操作)を行う。これにより、静止画像F11−1の注目領域がさらに拡大された静止画像F11−2が生成される。静止画像F11−2は、上述した静止画像P2の一例に相当する。
・第1領域R1の表示内容は、静止画像F11−2に更新される。ただし、表示された静止画像F11−2は、第1画像列M1−2には追加されない。
・第2領域R2に表示される動画像は、カメラ20から入力される最新の静止画像F13に更新される。
・時刻t14では、ユーザは、第4領域R4の再開ボタンに対してタップ操作を行う。表示画面は、第1モード一時停止中の画面G3から、第1モード記録中の画面G2に遷移する。
・ユーザは、第1領域R1に対してタップ操作(図形の追加操作)を行う。これにより、アセスメントシート3ページ目が拡大されて図形が追加された静止画像F11−3が生成される。静止画像F11−3は、上述した静止画像P2の一例に相当する。
・第1領域R1に表示される記録中の静止画像は、静止画像F11−3に更新される。
・第2領域R2に表示される動画像は、カメラ20から入力される最新の静止画像F14に更新される。
・マイク30からは、アセスメントシート3ページ目を解説するユーザの発話を含む音声データが順次入力される。
・第1画像列M1−3には、静止画像F11−3が追加される。
・時刻t15では、継続して第1モード記録中であり、表示画面には、引き続き、画面G2が表示されている。
・ユーザは、第1領域R1に対してピンチイン操作(縮小操作)を行う。これにより、静止画像F11−3が縮小された静止画像F11−4が生成される。静止画像F11−4は、上述した静止画像P2の一例に相当する。
・第1領域R1に表示される記録中の静止画像は、静止画像F11−4に更新される。
・第2領域R2に表示される動画像は、カメラ20から入力される最新の静止画像F15に更新される。
・マイク30からは、引き続き、アセスメントシート3ページ目を解説するユーザの発話を含む音声データが順次入力される。
・第1画像列M1−3には、静止画像F11−4が追加される。
・時刻t16において、ユーザは、第5領域R5の撮影終了ボタンに対するタップ操作(撮影終了操作)を行う。これにより、第1モードが終了するとともに、撮影が終了する。
・第1モードの終了に伴い、静止画像F8、F8−1、F8−2、F11、F11−3、F11−4からなる第1画像列M1−2に、時刻t8〜t12、t14〜t16までに取得された音声データが付加される。
・撮影終了に伴い、第1画像列M1−1、第2画像列M2−1、第1画像列M1−2をこの順に並べた動画ファイルMが生成される。
上述のように、本実施形態に係る情報処理装置10によれば、ユーザは、対象を撮影しながら、静止画像および動画像を用いて対象を解説する動画ファイルMを生成することができる。これにより、ユーザは、事前に、動画ファイルMの構成要素となる静止画像、動画像等を準備したり編集したりする必要なく、対象を解説する動画ファイルMをより容易に生成することができる。その結果、対象を解説する動画ファイルMを生成する手間が大幅に低減される。
本実施形態では、動画ファイルMの用途の一例として、被介護者を紹介する用途を挙げて説明した。ただし、本実施形態における動画ファイルMの用途はこれに限られない。
例えば、情報処理装置10は、売買サイトへ出品する出品物を解説する動画ファイルMを生成する用途に用いることができる。この場合、例えば、ユーザは、第1画像列M1の元となる静止画像P1として、出品物(対象物)を被写体として含む静止画像を用いることができる。また、第2画像列M2に相当する動画像として、出品物(対象物)を解説するユーザ自身を被写体とした動画像を用いることができる。この場合、情報処理装置10は、カメラ20として、背面方向を撮影するアウトカメラ、および、正面方向を撮影するインカメラを備える。また、記録部112は、第2モード記録中および第2モード一時停止中において、カメラを切り替える操作に応答して、インカメラおよびアウトカメラの何れからの入力を用いるかを切り替える。なお、記録部112は、第1モード記録中および第1モード一時停止中においても、カメラを切り替え可能であってもよい。
例えば、情報処理装置10は、顧客に納品するアプリケーションソフトウェアを解説する動画ファイルMを生成する用途に用いることができる。この場合、例えば、ユーザは、第1画像列M1の元となる静止画像P1として、ソフトウェアのコードを示す静止画像を用いることができる。また、第2画像列M2に相当する動画像として、アプリケーションソフトウェアが動作する画面を撮影した動画像を用いることができる。
以下、本実施形態の変形例について説明する。
上述した実施形態では、第1モード一時停止中の画面G3および第2モード一時停止中の画面G5が、撮影終了ボタンを含むものとして説明した。これに限らず、撮影終了ボタンは、ユーザ操作に応答して表示されるようにしてもよい。例えば、画面G3および画面G5は、画面G2または画面G4から遷移した直後には撮影終了ボタンを含まず、右スライド操作に応答して撮影終了ボタンを表示してもよい。
上述した実施形態では、第1画像列M1の元となる静止画像P1を、カメラ20から順次入力される動画像から抽出する例について説明した。これに限らず、記録部112は、静止画像P1を、記憶部12に記憶された静止画像から選択して取得してもよい。このような静止画像P1は、本発明における「動画像に含まれない静止画像」の一例である。この場合、例えば、記憶部12は、対象となる被介護者、アセスメントシート等を撮影した静止画像、アセスメントシートを示す電子ファイルの内容を示す静止画像等を事前に記憶しておく。例えば、記録部112は、第1モードの開始時に、記憶部12に記憶された静止画像の一覧を表示画面に表示し、ユーザ操作によって選択された静止画像を、静止画像P1として取得してもよい。
上述した実施形態において、第2領域R2の表示位置は、ユーザ操作により第1領域R1内で移動可能であってもよい。例えば、第1モードにおいて、第2領域R2の表示位置は、第2領域R2に対するドラッグ操作により移動可能であってもよい。また、第2モードにおいて、第2領域R2の表示位置は、第2領域R2に対して継続中のロングタップ操作の接触位置を動かす操作により移動可能であってもよい。ここで、第2領域R2の画像は、第1領域R1の画像に重畳されるため、第2領域R2の表示位置によっては、第1領域R1の表示内容がユーザにとって認識しづらい場合がある。本変形例では、ユーザは、第2領域R2の表示位置を、第1領域R1の表示内容の認識を妨げない位置に変更することができる。また、第2領域R2は、モード切替操作に利用されるため、ユーザにとって操作しやすい位置に表示されるのが好ましい。本変形例では、ユーザは、第2領域R2の表示位置を、自分にとって操作しやすい位置に変更することができる。
上述した実施形態では、第1モードにおける第2領域には、カメラ20から順次入力される動画像が表示されるものとして説明した。これに限らず、第1モードにおける第2領域には、第2モードへのモード切替を示す画像を表示してもよい。また、第2モードにおける第2領域には、直前の第1モードで用いられた静止画像P1が表示されるものとして説明した。これに限らず、第2モードにおける第2領域には、直前の第1モード終了時に表示された静止画像P1又はP2が表示されてもよい。また、第2モードにおける第2領域には、第1モードへのモード切替を示す画像が表示されてもよい。
上述した実施形態では、第2モードへのモード切替操作がロングタップ操作であり、第1モードへのモード切替操作が当該ロングタップ操作の終了である例について説明した。ただし、モード切替操作は、これに限られない。例えば、第2領域R2に対するタップ操作を、第1モードおよび第2モードを互いに切り替えるモード切替操作としてもよい。
図12は、情報処理装置10として用いられるコンピュータの物理的構成を例示したブロック図である。情報処理装置10は、図12に示すように、バス110と、プロセッサ101と、主メモリ102と、補助メモリ103と、入出力インタフェース104とを備えたコンピュータによって構成可能である。プロセッサ101、主メモリ102、補助メモリ103、および入出力インタフェース104は、バス110を介して互いに接続されている。入出力インタフェース104には、カメラ20、マイク30、およびタッチスクリーン40が接続されている。
上記の課題を解決するために、本発明の一態様に係る情報処理装置は、撮影装置から順次入力される動画像と、当該動画像に含まれるか又は含まれない静止画像とを取得する取得部と、前記取得部による前記動画像の取得中に、前記静止画像および前記静止画像に基づいて生成した静止画像の一方又は両方を複数フレームに亘って並べた第1画像列、および、前記動画像の少なくとも一部を構成する静止画像の列を示す第2画像列を記録する記録部と、前記第1画像列および前記第2画像列を含む動画ファイルを生成する生成部と、を備える。
11 制御部
12 記憶部
111 取得部
112 記録部
113 生成部
20 カメラ
30 マイク
40 タッチスクリーン
101 プロセッサ
102 主メモリ
103 補助メモリ
104 入出力インタフェース
110 バス
Claims (9)
- 撮影装置から順次入力される動画像と、当該動画像に含まれるか又は含まれない静止画像とを取得する取得部と、
前記取得部による前記動画像の取得中に、複数の画像を時系列に沿って並べた第1画像列、および、前記動画像の少なくとも一部を構成する第2画像列を記録する記録部と、
前記第1画像列および前記第2画像列を含む動画ファイルを生成する生成部と、
を備え、
前記第1画像列を構成する各画像は、前記静止画像または前記静止画像に基づいて生成した静止画像である、情報処理装置。 - 前記取得部は、前記静止画像として、前記動画像から抽出した静止画像を取得する、請求項1に記載の情報処理装置。
- 前記記録部は、前記第1画像列を記録する第1モードと、前記第2画像列を記録する第2モードとを、ユーザ操作に基づいて切り替えながら動作する、請求項1又は2に記載の情報処理装置。
- 前記取得部は、音声入力装置から順次入力される音声データをさらに取得し、
前記記録部は、前記第1モードにおいて取得された前記音声データを、前記第1画像列に付加する、請求項3に記載の情報処理装置。 - 前記記録部は、前記第1モードにおいて、前記取得部によって取得された静止画像を変更するユーザ操作を受け付け、前記第1画像列に、当該ユーザ操作により変更した変更後の静止画像を含める、請求項3又は4に記載の情報処理装置。
- 前記記録部は、
前記第1モードにおいて、記録中の前記第1画像列を表示画面の第1領域に表示しながら、前記取得部によって取得中の前記動画像を前記表示画面の第2領域に表示し、
前記第2領域に対するユーザ操作により、前記第1モードから前記第2モードに切り替える、請求項3から5の何れか1項に記載の情報処理装置。 - 前記第2領域は、前記第1領域に含まれ、
前記記録部は、ユーザ操作により前記第1領域内で前記第2領域を移動する、請求項6に記載の情報処理装置。 - 請求項1から7の何れか1項に記載の情報処理装置としてコンピュータを機能させるためのプログラムであって、前記各部としてコンピュータを機能させるためのプログラム。
- コンピュータが実行する方法であって、
撮影装置から順次入力される動画像と、当該動画像に含まれるか又は含まれない静止画像とを取得するステップと、
前記動画像の取得中に、複数の画像を時系列に沿って並べた第1画像列、および、前記動画像の少なくとも一部を構成する第2画像列を記録するステップと、
前記第1画像列および前記第2画像列を含む動画ファイルを生成するステップと、を含み、
前記第1画像列を構成する各画像は、前記静止画像または前記静止画像に基づいて生成した静止画像である、方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020068230A JP6810944B1 (ja) | 2020-04-06 | 2020-04-06 | 情報処理装置、方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020068230A JP6810944B1 (ja) | 2020-04-06 | 2020-04-06 | 情報処理装置、方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6810944B1 true JP6810944B1 (ja) | 2021-01-13 |
JP2021166326A JP2021166326A (ja) | 2021-10-14 |
Family
ID=74096201
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020068230A Active JP6810944B1 (ja) | 2020-04-06 | 2020-04-06 | 情報処理装置、方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6810944B1 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4548493B2 (ja) * | 2008-02-19 | 2010-09-22 | カシオ計算機株式会社 | 撮像装置、動画生成方法及びプログラム |
JP6206699B2 (ja) * | 2012-03-14 | 2017-10-04 | パナソニックIpマネジメント株式会社 | 画像処理装置、撮像装置、およびコンピュータプログラム |
JP6559014B2 (ja) * | 2015-08-20 | 2019-08-14 | キヤノン株式会社 | 撮像装置、その制御方法及びプログラム |
-
2020
- 2020-04-06 JP JP2020068230A patent/JP6810944B1/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2021166326A (ja) | 2021-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7138201B2 (ja) | ビデオ撮影方法、装置、端末機器及び記憶媒体 | |
US20210142543A1 (en) | Information processing apparatus, information processing method, and program | |
US10916044B2 (en) | Information processing apparatus, information processing method, and program | |
US20160323507A1 (en) | Method and apparatus for generating moving photograph | |
US20080231740A1 (en) | Camera with multiple displays | |
JP2014183425A (ja) | 画像処理方法、画像処理装置および画像処理プログラム | |
WO2022100712A1 (zh) | 真实环境画面中虚拟道具的显示方法、系统及存储介质 | |
WO2016106997A1 (zh) | 屏幕截图方法及装置、移动终端 | |
US20080231741A1 (en) | Camera with multiple displays | |
WO2014072568A1 (en) | Method and apparatus for swipe shift photo browsing | |
JPWO2008047643A1 (ja) | 画像処理プログラム、画像処理装置および画像処理方法 | |
WO2020150693A1 (en) | Systems and methods for generating personalized videos with customized text messages | |
US20160012851A1 (en) | Image processing device, image processing method, and program | |
CN105981366B (zh) | 用于显示图像的方法 | |
US20230120437A1 (en) | Systems for generating dynamic panoramic video content | |
CN112839190A (zh) | 虚拟图像与现实场景同步视频录制或直播的方法 | |
JP2019120748A (ja) | 電子機器及びその制御方法 | |
WO2020170453A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP6810944B1 (ja) | 情報処理装置、方法、およびプログラム | |
JP2010021691A (ja) | デジタルフォトフレーム | |
KR102054116B1 (ko) | 맞춤형 무대 영상 제공 시스템 | |
CN115086729B (zh) | 一种连麦展示方法、装置、电子设备、计算机可读介质 | |
JP6224465B2 (ja) | 映像配信システム、映像配信方法及び映像配信プログラム | |
US10200606B2 (en) | Image processing apparatus and control method of the same | |
JP6146162B2 (ja) | 画像処理装置、撮像装置、画像処理方法、撮像方法、及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200406 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200406 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200528 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200728 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200821 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201204 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6810944 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |