JP6010062B2 - キューポイント制御装置およびキューポイント制御プログラム - Google Patents

キューポイント制御装置およびキューポイント制御プログラム Download PDF

Info

Publication number
JP6010062B2
JP6010062B2 JP2014053679A JP2014053679A JP6010062B2 JP 6010062 B2 JP6010062 B2 JP 6010062B2 JP 2014053679 A JP2014053679 A JP 2014053679A JP 2014053679 A JP2014053679 A JP 2014053679A JP 6010062 B2 JP6010062 B2 JP 6010062B2
Authority
JP
Japan
Prior art keywords
cue point
movement
marker
moving image
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014053679A
Other languages
English (en)
Other versions
JP2015177432A (ja
Inventor
結城 明
明 結城
航 遠藤
航 遠藤
彩香 池嶋
彩香 池嶋
京太 密山
京太 密山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Priority to JP2014053679A priority Critical patent/JP6010062B2/ja
Priority to CN201510099240.6A priority patent/CN104935855B/zh
Priority to US14/658,252 priority patent/US9502076B2/en
Publication of JP2015177432A publication Critical patent/JP2015177432A/ja
Application granted granted Critical
Publication of JP6010062B2 publication Critical patent/JP6010062B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Studio Devices (AREA)

Description

本発明は、録画時にキューポイント(Cue Point)を設け、再生時に設定したキューポイントに基づいた頭出しが可能なキューポイント制御装置およびキューポイント制御プログラムに関する。
ユーザーが聴衆に対してプレゼンテーションする際に、プレゼンテーションの内容を後ほど振り返る目的でそのプレゼンテーションを録画することが行われてきた。そして、議事録作成や動画編集のための、録画された動画データの見直しを効率化するために、再生時に頭出しをするためのキューポイントが設けられるのが一般的である。なお、ここでいうキューポイントとは、動画内の特定時点を示すマーカーのことである。
従来、動画データにキューポイントを設ける為には、動画編集ソフトウェアなどを用いて、録画した動画データを再生して内容を確認しながら必要な箇所にキューポイントを設定していた。
しかし、この方法では録画後に再生しながらキューポイントを設定する手間がかかるので、この手間を省くために、例えば、特許文献1に開示されているような技術が開発された。
特許文献1の技術は、録画時にキューポイントを設定することにより、再生しながらキューポイントを設定する手間を省くものである。但し、録画時にはキューポイントとして設定する必要がある場面であるとキューポイントの設定者が認識した時には、既に録画が先に進んでしまっている可能性が高い。そこで、特許文献1の技術では、キューポイントの設定者がキューポイント設定の指示を出した時点から特定の時間だけ前の時点にキューポイントを設定することにより、問題を解決している。
特開2008−234798号公報
特許文献1の技術により、録画時にキューポイントを設定することは出来るようになったが、ユーザーはマウスやボタンなどを操作してキューポイントを設定しなければならず、プレゼンテーションする発表者がキューポイントを設定するユーザーである場合に、何も手に持たずにプレゼンテーションすることは出来なかった。
また、録画時に時間軸上で近い位置に数多くのキューポイントを設定した場合、動画データに記憶された細かな時刻を区別することは困難であり、再生したい箇所を探すには頭出ししたい時刻に近いキューポイントに当りをつけて、必要な箇所を探し出さなければならなかった。
以上のような事情に鑑み、本発明の目的は、録画時に何も機器を持たずにキューポイントを設定でき、再生時に容易に所望のキューポイントを探し出せるキューポイント制御装置およびキューポイント制御プログラムを提供することにある。
上記目的を達成するため、本発明の一形態に係るキューポイント制御装置は、表示装置の画面上に画像を表示させて行うプレゼンテーションを動画として撮影する際に1以上のマーカーを設定するキューポイント制御装置であって、前記プレゼンテーションを行うユーザーの動きを検出する動き検出部と、前記検出された動きから、前記マーカーの設定に関する前記ユーザーの第1の動きを判定したとき、前記撮影中の動画の、前記第1の動きを判定した時のフレームに時間的なマーカーを設定する制御部とを備える。
上記目的を達成するため、本発明の一形態に係るキューポイント制御装置では、前記制御部は、前記検出された動きから、前記マーカーの設定に関する前記ユーザーの第2の動きを判定したとき、前記撮影中の動画の、前記第2の動きを判定した時のフレームから前記第2の動きが示す時間だけ前のフレームに時間的なマーカーを設定する構成でもよい。
上記目的を達成するため、本発明の一形態に係るキューポイント制御装置では、前記制御部は、前記検出された動きから、前記第1の動きを判定したとき、前記画面上に表示されているカーソルの座標を取得し、前記撮影中の動画の、前記第1の動きを判定した時のフレームのフレーム番号と前記座標とを対応付けて空間的なマーカーとして記憶する構成でもよい。
上記目的を達成するため、本発明の一形態に係るキューポイント制御装置は、前記検出された動きから、前記画面を指し示すユーザーの第3の動きを抽出し、抽出結果に基づいて前記画面に表示されるカーソルを移動させるポインティング制御部をさらに備えてもよい。
上記目的を達成するため、本発明の一形態に係るキューポイント制御装置は、前記撮影された動画が再生される際に、前記再生される動画に設定された前記1以上の時間的なマーカーの一覧および前記再生される動画の画像を表示可能な表示部と、前記動画を頭出しするユーザーによる、前記表示された一覧からの前記時間的なマーカーの選択および前記表示された画像上の座標の指示のうち、少なくとも一方を受け付け可能な入力部とを更に備え、前記制御部は、前記時間的なマーカーが指定された場合、前記指定されたマーカーに基づく頭出しを、前記動画を再生する動画再生装置に指示し、前記座標が指示された場合、前記指示された座標を含む特定の範囲に含まれる座標に対応付けられた前記空間的なマーカーを検索し、前記検索されたマーカーに基づく頭出しを、前記動画を再生する動画再生装置に指示する構成でもよい。
上記目的を達成するため、本発明の一形態に係るキューポイント制御装置は、表示装置の画面上に画像を表示させて行うプレゼンテーションを動画として撮影する際に1以上のマーカーを設定するキューポイント制御装置であって、前記マーカーの設定に関する前記ユーザーによる指示を受け付ける入力部と、前記指示を受け付けたとき、前記画面上に表示されているカーソルの座標を取得し、前記撮影中の動画の、前記指示を受け付けた時のフレームのフレーム番号と前記座標とを対応付けて空間的なマーカーとして記憶する制御部とを備えてもよい。
上記目的を達成するため、本発明の一形態に係るキューポイント制御装置は、前記撮影された動画が再生される際に前記動画の画像を表示可能な表示部と、前記動画を頭出しするユーザーによる、前記表示された画像上の座標の指示を受け付け可能な入力部とを更に備え、前記制御部は、前記座標が指示された場合、前記指示された座標を含む特定の範囲に含まれる座標に対応付けられた前記空間的なマーカーを検索し、前記検索されたマーカーに基づく頭出しを、前記動画を再生する動画再生装置に指示する構成でもよい。
上記目的を達成するため、本発明の一形態に係るキューポイント制御プログラムは、表示装置の画面上に画像を表示させて行うプレゼンテーションを動画として撮影する際に1以上のマーカーを設定するキューポイント制御プログラムであって、動き検出部により検出された、前記プレゼンテーションを行うユーザーの動きから、前記マーカーの設定に関する前記ユーザーの動きを判定したとき、前記撮影中の動画の、前記第1の動きを判定した時のフレームに時間的なマーカーを設定する制御部としてコンピューターを機能させる。
上記目的を達成するため、本発明の一形態に係るキューポイント制御プログラムは、表示装置の画面上に画像を表示させて行うプレゼンテーションを動画として撮影する際に1以上のマーカーを設定するキューポイント制御プログラムであって、入力部により前記マーカーの設定に関するユーザーによる指示を受け付けたとき、前記画面上に表示されているカーソルの座標を取得し、前記撮影中の動画の、前記指示を受け付けた時のフレームのフレーム番号と前記座標とを対応付けて空間的なマーカーとして記憶する制御部としてコンピューターを機能させてもよい。
上記目的を達成するため、本発明の一形態に係るキューポイント制御プログラムでは、前記制御部は、前記撮影された動画が再生される際に、前記動画を頭出しするユーザーにより、前記動画の画像上の座標が指示されたとき、前記指示された座標を含む特定の範囲に含まれる座標に対応付けられた前記空間的なマーカーを検索し、前記検索されたマーカーに基づく頭出しを、前記動画を再生する動画再生装置に指示する構成でもよい。
以上のように、本発明によれば、録画時に何も機器を持たずにキューポイントを設定でき、再生時に容易に所望のキューポイントを探し出せるという効果を奏する。
第1の実施形態にかかるキューポイント制御装置の構成図である。 第1の実施形態にかかるキューポイント制御装置における、キューポイント設定までの流れについて説明するための図である。 第2の実施形態にかかるキューポイント制御装置における、キューポイント設定までの流れについて説明するための図である。 第3の実施形態にかかるキューポイント制御装置の構成図である。 第3の実施形態にかかるキューポイント制御装置における、キューポイント設定までの流れについて説明するための図である。 第4の実施形態にかかるキューポイント制御装置の構成図である。 第4の実施形態にかかるキューポイント制御装置におけるキューポイントの指定方法の具体例を示す図である。
以下、図面を参照しながら、本発明の実施形態を説明する。なお、以下の第1の実施形態では、録画時に何も機器を持たずにキューポイントを設定できるキューポイント制御装置について説明する。第2の実施形態では、ユーザーが指示した時間だけ前にキューポイントを設定できるキューポイント制御装置について説明する。第3の実施形態では、2次元空間上の座標を空間的なキューポイントとして利用できるキューポイント制御装置について説明する。第4の実施形態では、動画の再生時に容易に所望のキューポイントを探し出せるキューポイント制御装置について説明する。
<第1の実施形態>
[概要]
まず、第1の実施形態の概要について説明する。
ユーザーが表示装置の画面上に画像を表示させながら行うプレゼンテーションを、後に議事録を作成したり動画を編集したりする目的で、撮影し録画することがある。プレゼンテーションの途中で聴衆から質問があった場合など、発表者であるユーザーはプレゼンテーションを中断して質問に対する議論を行ったりするが、ユーザーはその議論を逐一メモすることは困難なので、後で議論を振り返る為に撮影された動画を見直すことになる。
動画を見直す場合、議論が開始された箇所を素早く頭出しする為には、動画の中で、議論が開始されたフレームにキューポイントが設定されていることが好ましい。
第1の実施形態では、モーションキャプチャー用センサーを用いて、撮影中の動画にキューポイントを設定する合図としてユーザーの特定の動作を検知し、ユーザーの所望の位置にキューポイントを設定する。
例えば、プレゼンテーションの途中で聴衆から質問があった場合には、ユーザーは、例えば右手を挙げる動作を行うことにより、キューポイント制御装置に対し、キューポイントを設定する指示を与えることが出来る。
以上、第1の実施形態の概要について説明した。
[構成]
次に、第1の実施形態にかかるキューポイント制御装置の構成について説明する。図1は、第1の実施形態にかかるキューポイント制御装置の構成図である。
第1の実施形態にかかるキューポイント制御装置1aは、モーションキャプチャー部10(動き検出部)およびキューポイント制御部20を備えている。
なお、キューポイント制御装置1aは、動画を撮影する映像/音声記録装置40、撮影した動画の動画データを記憶する記憶装置50、および記憶装置50から動画データを取得して再生する映像/音声再生装置60と共に用いられる。映像/音声記録装置40、記憶装置50、および映像/音声再生装置60は、一般的な汎用品を用いればよいので詳細な説明は省略する。
なお、キューポイント制御装置1aも、PC(Personal Computer)などの一般的なコンピューターを用いて構成してもよい。
モーションキャプチャー部10は、カメラ11、ユーザー検出部12、および動作検出部13を有している。
カメラ11は、プレゼンテーションを発表するユーザーを含めた周辺の画像を撮影する。
ユーザー検出部12は、カメラ11により撮影された画像から、プレゼンテーションを発表するユーザーを識別する。
動作検出部13は、ユーザー検出部12により識別されたユーザーの特定の動きを検出(抽出、判定)する。
なお、上記の説明では、モーションキャプチャー部10にカメラ11等が含まれているものとしたが、この構成に限らず、カメラ11、ユーザー検出部12、および動作検出部13がそれぞれ独立した構成でもよい。それぞれ独立した構成とすることにより、市販の一般的で安価なモーションキャプチャー用センサーを用いることも出来る。
キューポイント制御部20は、キューポイント設定部21を有している。キューポイント設定部21は、モーションキャプチャー部10によりキューポイントの設定を指示するユーザーの動作が検出されると、検出されたタイミングで映像/音声記録装置40により記憶装置50に記憶されている動画のフレームに、キューポイントを設定する。
以上、第1の実施形態にかかるキューポイント制御装置1aの構成について説明した。
[処理の流れ]
次に、第1の実施形態にかかるキューポイント制御装置1aにおける、キューポイント設定までの流れについて説明する。図2は、第1の実施形態にかかるキューポイント制御装置1aにおける、キューポイント設定までの流れについて説明するための図である。
(1)まず、モーションキャプチャー部10が、プレゼンテーションを行う発表者であるユーザーを認識する。ユーザーを認識することにより、ユーザーの動作を検出することが出来るようになる。
(2)次に、ユーザーが、撮影中の動画にキューポイントを設定するためのジェスチャー(第1の動き)を行う(発行する)。図2に示す例では、録画開始後の経過時間が13分57秒の時点でジェスチャーが発行されている。
(3)次に、モーションキャプチャー部10が、ユーザーの行った動作を検知する。
(4)次に、キューポイント設定部21は、モーションキャプチャー部10によりキューポイントの設定を指示するユーザーの動作が検出されると、検出されたタイミングで映像/音声記録装置40により記憶装置50に記憶されている動画のフレームに、キューポイントを設定する。図2に示す例では、録画開始後の経過時間が13分57秒の時点でのフレームにキューポイントが設定されている。
以上、第1の実施形態にかかるキューポイント制御装置1aにおける、キューポイント設定までの流れについて説明した。
なお、上記の説明では、キューポイントが動画のフレームに設定されるとしたが、この構成に限らず、キューポイント設定部20が撮影開始からの経過時間を計測出来るようにして、キューポイントの設定が指示された時点の経過時間をテーブルに記憶し、そのテーブルを撮影した動画と共に記憶する構成でもよい。
<第2の実施形態>
[概要]
第1の実施形態では、ユーザーが特定の動作を行った時点で撮影されていたフレームにキューポイントを設定した。これに対し、第2の実施形態では、ユーザーが、特定の動作により、動作を行った時点から指定した時間だけ過去に遡った時点のフレームにキューポイントを設定する。
例えば、ユーザーがキューポイントを設定したい時点において、ジェスチャーを行うことを忘れた場合で、設定したい時点から10秒経過後にキューポイントを設定することを思い出した場合に、ユーザーが右手の人差し指だけを立てて手を挙げる。
そうすると、手を挙げた時点から10秒前のフレームにキューポイントが設定される。
[構成]
次に、第2の実施形態にかかるキューポイント制御装置の構成について説明する。第2の実施形態にかかるキューポイント制御装置の構成は、基本的には図1に示すキューポイント制御装置1aの構成と同様なので、構成図は省略する。
但し、動作検出部13およびキューポイント設定部21の機能が一部追加されている。
動作検出部13は、第1の実施形態で説明した機能に加えて、指示を出した時点より前のフレームにキューポイントを設けるに当り、どれだけ遡ればよいかのユーザーによる指示を検出する。
キューポイント設定部21は、第1の実施形態で説明した機能に加えて、遡ってキューポイントを設定する指示が検出された時点から、指定された時間だけ遡った時点のフレームにキューポイントを設定する。
以上、第2の実施形態にかかるキューポイント制御装置の構成について説明した。
[処理の流れ]
次に、第2の実施形態にかかるキューポイント制御装置における、キューポイント設定までの流れについて説明する。図3は、第2の実施形態にかかるキューポイント制御装置における、キューポイント設定までの流れについて説明するための図である。
(1)まず、モーションキャプチャー部10が、プレゼンテーションを行う発表者であるユーザーを認識する。
(2)次に、ユーザーが、撮影中の動画に指定した時間だけ時間を遡ってキューポイントを設定するためのジェスチャー(第2の動き)を行う(発行する)。図3に示す例では、録画開始後の経過時間が13分57秒の時点でジェスチャーが発行されている。また、図3に示す例では、指を1本立てるごとに10秒遡ることにして、ユーザーは手を「V」の字にして指を2本立てているので、20秒だけ時間を遡る事になる。
(3)次に、モーションキャプチャー部10が、ユーザーの行った動作を検知する。
(4)次に、動作検出部13が、ユーザーの指が2本立っていることから、「20秒前」の指示が出された事を認識する。
(5)次に、キューポイント設定部21は、ユーザーの動作が検出されたタイミングで映像/音声記録装置40により記憶装置50に記憶されている動画のフレームから20秒だけ時間軸を遡った時点のフレームに、キューポイントを設定する。図3に示す例では、録画開始後の経過時間が13分37秒の時点でのフレームにキューポイントが設定されている。
以上、第2の実施形態にかかるキューポイント制御装置における、キューポイント設定までの流れについて説明した。
<第3の実施形態>
[概要]
次に、第3の実施形態にかかるキューポイント制御装置の概要について説明する。第3の実施形態にかかるキューポイント制御装置は、上述した時間的なキューポイントに加えて、ユーザーがプレゼンテーションに使用した画像を2次元空間として、2次元空間上の座標を空間的なキューポイントとして利用できるものである。
例えば、ユーザーが年度ごとの売上高を表した棒グラフを使ってプレゼンテーションする場合に、昨年度の売り上げの棒グラフを指し示して説明している箇所に空間的なキューポイントを設定することが出来る。ここでは、ユーザーが画面を指し示す動作を行った場合に、その動作を検知して画面上に表示するカーソルを移動させるポインティング装置を利用する。
ユーザーがキューポイントの設定を指示する動作を行うと、キューポイント制御装置はその時点でユーザーが指し示していた画面上の座標をキューポイントと共に記憶する。
記憶した座標は、空間的なキューポイントとして、画像を利用した、動画再生時の頭出しに用いられる。
なお、ここでは、キューポイント制御装置が時間的なキューポイントと空間的なキューポイントの両方を扱う構成としたが、これに限らず、空間的なキューポイントのみを扱う構成でもよい。
以上、第3の実施形態にかかるキューポイント制御装置の概要について説明した。
[構成]
次に、第3の実施形態にかかるキューポイント制御装置の構成について説明する。図4は、第3の実施形態にかかるキューポイント制御装置1bの構成図である。
キューポイント制御装置1bは、モーションキャプチャー部10、キューポイント制御部20、およびポインティング制御部30を備えている。なお、ポインティング制御部30は、キューポイント制御装置1bから独立した装置であってもよい。
なお、以下の説明では、上述した第1の実施形態または第2の実施形態と異なる部分についてのみ説明する。
なお、ここでは図示していないが、ユーザーはプレゼンテーションに用いる画像を表示させるための表示装置を利用しており、ユーザーが表示装置の画面上を指し示す動きにより、画面上のカーソルが移動する構成であるとする。
動作検出部13は、ユーザー検出部12により識別されたユーザーの特定の動きを検出(抽出、判定)する。例えば、キューポイントを設定するための動きに加え、ユーザーが表示装置の画面に表示された画像を指で指し示して、指し示したまま手を動かすと、動作検出部13はその指の動きを抽出して、表示装置の画面上に表示されるカーソルを動かす。
例えば、ユーザーが画面を指している手を右に動かせば、画面上のカーソルも右に移動する。このように、ユーザーは、何も持たず素手でカーソルの移動を指示することが出来る。動作検出部13は、画面を指さしているユーザーの手の絶対位置を認識するのではなく、手が動かされる相対位置を認識して、画面上のカーソルを移動する。
ポインティング制御部30は、座標検知部31および時刻検知部32を有している。
座標検知部31は、ユーザーによるキューポイント設定の指示が出された時点において、ユーザーにより指し示されていた表示装置の画面上の位置の座標(すなわち、画面上のカーソルがある位置の座標)を取得する。
時刻検知部32は、ユーザーによるキューポイント設定の指示が出された時点における、録画の経過時間を検知する。なお、録画の経過時間は、録画開始時点からの動画のフレーム番号と言い換えることが出来る。
キューポイント設定部21は、座標検知部31により取得された座標と、時刻検知部32により検知された経過時間(フレーム番号)とを対応付けて、撮影している動画と共に記憶する。
以上、第3の実施形態にかかるキューポイント制御装置1bの構成について説明した。
[処理の流れ]
次に、第3の実施形態にかかるキューポイント制御装置1bにおける、時間的なキューポイントおよび空間的なキューポイントの設定までの流れについて説明する。図5は、第3の実施形態にかかるキューポイント制御装置1bにおける、キューポイント設定までの流れについて説明するための図である。
(1)まず、モーションキャプチャー部10が、プレゼンテーションを行う発表者であるユーザーを認識する。
(2)次に、ユーザーが、撮影中の動画にキューポイントを設定するためのジェスチャー(第1の動き)を行う(発行する)。図5に示す例では、録画開始後の経過時間が13分57秒の時点でジェスチャーが発行されている。
(3)次に、モーションキャプチャー部10が、ユーザーの行った動作を検知する。
(4)次に、座標検知部31が、表示装置の画面上のカーソル位置の座標を取得する。
(5)次に、キューポイント設定部21は、モーションキャプチャー部10によりキューポイントの設定を指示するユーザーの動作が検出されると、検出されたタイミングで映像/音声記録装置40により記憶装置50に記憶されている動画のフレームに、時間的なキューポイントを設定する。図5に示す例では、録画開始後の経過時間が13分57秒の時点でのフレームに時間的なキューポイントが設定されている。
(6)次に、キューポイント設定部21は、座標検知部31から渡された座標(X,Y)を、前のステップで設定された時間的なキューポイントに対応付けてテーブルとして動画と共に記憶する。
以上、第3の実施形態にかかるキューポイント制御装置1bにおける、時間的なキューポイントおよび空間的なキューポイントの設定までの流れについて説明した。
<第4の実施形態>
[概要]
次に、第4の実施形態の概要について説明する。上記の実施形態にかかるキューポイント制御装置は、撮影している動画のフレームにキューポイントを設定するものであったが、第4の実施形態にかかるキューポイント制御装置は、上記の機能に加えて、既にキューポイントが設定された動画を再生する際に、動画に設定された時間的なキューポイントや空間的なキューポイントを用いて動画の頭出しも出来るものである。
以上、第4の実施形態の概要について説明した。
[構成]
次に、第4の実施形態にかかるキューポイント制御装置の構成について説明する。図6は、第4の実施形態にかかるキューポイント制御装置1cの構成図である。
キューポイント制御装置1cは、モーションキャプチャー部10、キューポイント制御部20、ポインティング制御部、入力部70、および表示部80を備えている。なお、ポインティング制御部30、入力部70、表示部80は、キューポイント制御装置1cから独立した装置であってもよい。
なお、以下の説明では、上述した第3の実施形態と異なる部分についてのみ説明する。
入力部70は、例えば、マウス等のポインティングデバイス、キーボード、タッチパネル、その他の操作装置である。
表示部80は、例えば、液晶ディスプレイ、EL(Electro-Luminescence)ディスプレイ、プラズマディスプレイ、CRT(Cathode Ray Tube)ディスプレイ等である。表示部16は、キューポイント制御装置1cに内蔵されていてもよいし、外部接続されていてもよい。
なお、上述の説明から分かるとおり、キューポイント制御装置1cは、一般的なPCを用いて構成されてもよい。
以上、第4の実施形態にかかるキューポイント制御装置1cの構成について説明した。
[キューポイントの指定方法]
次に、第4の実施形態にかかるキューポイント制御装置1cにおけるキューポイントの指定方法の具体例について説明する。図7は、第4の実施形態にかかるキューポイント制御装置1cにおけるキューポイントの指定方法の具体例を示す図である。
図7では、表示部80の画面Sのイメージが示してある。画面Sの右側には、時間的なキューポイントの一覧Lが表示されており、画面Sの左側には、録画した動画の再生画面、すなわち、ユーザーがプレゼンテーションで使用した画像Gが表示されている。
ユーザーが時間的なキューポイントを用いて動画の頭出しを行う場合、一覧Lの中から、頭出ししたい位置のものであると思う時間的キューポイント(例えば時間的キューポイント2)を選択する。
時間的なキューポイントの選択後、キューポイント制御部20が、映像/音声再生装置60に頭出しの指示を出し、頭出しが行われる。
ユーザーが空間的なキューポイントを用いて動画を頭出しする場合、画像G上の任意の位置を指定する。ユーザーは、この指定を行うにあたり、プレゼンテーション時にどの当りをポイントしていたかを思い出して、ポイントしていたであろう位置を指示する。
例えば、昨年度の売り上げの説明をしていた箇所を頭出しするには、プレゼンテーションにおいて、その説明の際に、昨年度の売り上げのグラフを指し示していたであろうことから、昨年度の売り上げのグラフの辺りPを指示する。
空間的なキューポイントは、1点の座標Zとして記憶されているので、その点Zをピンポイントで指定することは困難である。そのため、記憶されている座標Zを含む特定の範囲P内の座標が指定されたとき、座標Zに対応する空間的なキューポイントが指定されたものと見なす。
空間的なキューポイントの座標が指定されると、キューポイント制御部20は、動画と共に記憶されている、座標とフレーム番号とが対応付けされたテーブルを検索し、頭出しすべきフレーム番号を取得する。
フレーム番号の取得後、キューポイント制御部20が、映像/音声再生装置60(動画再生装置)に頭出しの指示を出し、頭出しが行われる。
以上、第4の実施形態にかかるキューポイント制御装置1cにおけるキューポイントの指定方法の具体例について説明した。
[効果]
(1)プレゼンテーション中に入力機器に触らずに、撮影している動画にキューポイントを設定することが出来る。(レーザーポインターなどの特殊なデバイスを持つ必要が無い。)
(2)プレゼンテーション中に、指示を出した時刻より指定した時間だけ前の時点に、キューポイントを設定することが出来る。
(3)プレゼンテーション時に指し示していた座標に基づいて頭出しすることが出来る。
[補足事項]
その他、本技術は、上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
10 … モーションキャプチャー部
11 … カメラ
12 … ユーザー検出部
13 … 動作検出部
20 … キューポイント制御部
21 … キューポイント設定部
30 … ポインティング制御部
31 … 座標検知部
32 … 時刻検知部
40 … 映像/音声記録装置
50 … 記憶装置
60 … 映像/音声再生装置
70 … 入力部
80 … 表示部

Claims (4)

  1. 表示装置の画面上に画像を表示させて行うプレゼンテーションを動画として撮影する際に1以上のマーカーを設定するキューポイント制御装置であって、
    前記プレゼンテーションを行うユーザーの動きを検出する動き検出部と、
    前記検出された動きから、前記マーカーの設定に関する前記ユーザーの第1の動きを判定したとき、前記撮影中の動画の、前記第1の動きを判定した時のフレームに時間的なマーカーを設定する制御部と
    前記撮影された動画が再生される際に、前記再生される動画に設定された前記1以上の時間的なマーカーの一覧および前記再生される動画の画像を表示可能な表示部と、
    前記動画を頭出しするユーザーによる、前記表示された一覧からの前記時間的なマーカーの選択および前記表示された画像上の座標の指示のうち、少なくとも一方を受け付け可能な入力部と
    を備え
    前記制御部は、
    前記検出された動きから、前記第1の動きを判定したとき、
    前記画面上に表示されているカーソルの座標を取得し、
    前記撮影中の動画の、前記第1の動きを判定した時のフレームのフレーム番号と前記座標とを対応付けて空間的なマーカーとして記録し、
    前記時間的なマーカーが指定された場合、前記指定されたマーカーに基づく頭出しを、前記動画を再生する動画再生装置に指示し、
    前記座標が指示された場合、前記指示された座標を含む特定の範囲に含まれる座標に対応付けられた前記空間的なマーカーを検索し、前記検索されたマーカーに基づく頭出しを、前記動画を再生する動画再生装置に指示する
    キューポイント制御装置。
  2. 請求項1に記載のキューポイント制御装置であって、
    前記制御部は、
    前記検出された動きから、前記マーカーの設定に関する前記ユーザーの第2の動きを判定したとき、前記撮影中の動画の、前記第2の動きを判定した時のフレームから前記第2の動きが示す時間だけ前のフレームに時間的なマーカーを設定する
    キューポイント制御装置。
  3. 請求項1に記載のキューポイント制御装置であって、
    前記検出された動きから、前記画面を指し示すユーザーの第3の動きを抽出し、
    抽出結果に基づいて前記画面に表示されるカーソルを移動させるポインティング制御部
    をさらに備えた
    キューポイント制御装置。
  4. 表示装置の画面上に画像を表示させて行うプレゼンテーションを動画として撮影する際に1以上のマーカーを設定するキューポイント制御プログラムであって、
    動き検出部により検出された、前記プレゼンテーションを行うユーザーの動きから、前記マーカーの設定に関する前記ユーザーの第1の動きを判定したとき、前記撮影中の動画の、前記第1の動きを判定した時のフレームに時間的なマーカーを設定し、
    表示部に、前記撮影された動画が再生される際に、前記再生される動画に設定された前記1以上の時間的なマーカーの一覧および前記再生される動画の画像を表示し、
    入力部を介して、前記動画を頭出しするユーザーによる、前記表示された一覧からの前記時間的なマーカーの選択および前記表示された画像上の座標の指示のうち、少なくとも一方を受け付け、
    前記検出された動きから、前記第1の動きを判定したとき、
    前記画面上に表示されているカーソルの座標を取得し、
    前記撮影中の動画の、前記第1の動きを判定した時のフレームのフレーム番号と前記座標とを対応付けて空間的なマーカーとして記録し、
    前記時間的なマーカーが指定された場合、前記指定されたマーカーに基づく頭出しを、前記動画を再生する動画再生装置に指示し、
    前記座標が指示された場合、前記指示された座標を含む特定の範囲に含まれる座標に対応付けられた前記空間的なマーカーを検索し、前記検索されたマーカーに基づく頭出しを、前記動画を再生する動画再生装置に指示する制御部
    としてコンピューターを機能させる
    キューポイント制御プログラム。
JP2014053679A 2014-03-17 2014-03-17 キューポイント制御装置およびキューポイント制御プログラム Expired - Fee Related JP6010062B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014053679A JP6010062B2 (ja) 2014-03-17 2014-03-17 キューポイント制御装置およびキューポイント制御プログラム
CN201510099240.6A CN104935855B (zh) 2014-03-17 2015-03-06 提示点控制装置以及提示点控制方法
US14/658,252 US9502076B2 (en) 2014-03-17 2015-03-16 Cue point control apparatus and recording medium that facilitate search of cue point during playback

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014053679A JP6010062B2 (ja) 2014-03-17 2014-03-17 キューポイント制御装置およびキューポイント制御プログラム

Publications (2)

Publication Number Publication Date
JP2015177432A JP2015177432A (ja) 2015-10-05
JP6010062B2 true JP6010062B2 (ja) 2016-10-19

Family

ID=54069520

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014053679A Expired - Fee Related JP6010062B2 (ja) 2014-03-17 2014-03-17 キューポイント制御装置およびキューポイント制御プログラム

Country Status (3)

Country Link
US (1) US9502076B2 (ja)
JP (1) JP6010062B2 (ja)
CN (1) CN104935855B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112016007020T5 (de) * 2016-06-28 2019-03-21 Intel Corporation Video mit eingebetteter geste
JP6635093B2 (ja) * 2017-07-14 2020-01-22 カシオ計算機株式会社 画像記録装置、画像記録方法及びプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4253446B2 (ja) * 2001-06-13 2009-04-15 株式会社リコー プレゼンテーション用記録再生装置
US7356763B2 (en) * 2001-09-13 2008-04-08 Hewlett-Packard Development Company, L.P. Real-time slide presentation multimedia data object and system and method of recording and browsing a multimedia data object
JP4228673B2 (ja) * 2002-12-04 2009-02-25 富士ゼロックス株式会社 映像処理装置、映像処理方法及びプログラム
JP2004343154A (ja) * 2003-05-12 2004-12-02 Sony Corp データ作成装置および方法、データ再生装置および方法、プログラム、並びに記録媒体
US20050185053A1 (en) * 2004-02-23 2005-08-25 Berkey Thomas F. Motion targeting system and method
WO2006059436A1 (ja) * 2004-12-03 2006-06-08 Nec Corporation 映像コンテンツ再生支援方法、映像コンテンツ再生支援システム、及び情報配信プログラム
JP2007123960A (ja) * 2005-10-24 2007-05-17 Fuji Xerox Co Ltd 記録再生装置及び記録再生方法
JP2008124702A (ja) * 2006-11-10 2008-05-29 Konica Minolta Holdings Inc 電子会議システム
JP2008234798A (ja) 2007-03-23 2008-10-02 Pioneer Electronic Corp キューポイント設定装置及び方法、並びに情報再生装置及び情報記録装置
JP4883530B2 (ja) * 2007-06-20 2012-02-22 学校法人近畿大学 画像認識による機器制御方法それを用いたコンテンツ作成方法および装置
CN101370126B (zh) * 2008-09-24 2012-02-08 中兴通讯股份有限公司 一种监控录像的播放控制方法及系统
JP2011070368A (ja) * 2009-09-25 2011-04-07 Hitachi Solutions Ltd プレゼンテーションシステム
CN101813995A (zh) * 2010-05-12 2010-08-25 福州锐达数码科技有限公司 一种红外感应式电子白板识别手势的方法
JP5664055B2 (ja) * 2010-09-16 2015-02-04 富士ゼロックス株式会社 映像再生装置及び映像再生プログラム
JP5482740B2 (ja) * 2011-07-11 2014-05-07 コニカミノルタ株式会社 プレゼンテーションシステム、プレゼンテーション装置およびプログラム
CN103000171B (zh) * 2011-08-23 2015-08-19 卡西欧计算机株式会社 演奏装置、发光控制装置及演奏装置的控制方法
CN102854983B (zh) * 2012-09-10 2015-12-02 中国电子科技集团公司第二十八研究所 一种基于手势识别的人机交互方法

Also Published As

Publication number Publication date
US20150262618A1 (en) 2015-09-17
US9502076B2 (en) 2016-11-22
CN104935855A (zh) 2015-09-23
JP2015177432A (ja) 2015-10-05
CN104935855B (zh) 2017-12-19

Similar Documents

Publication Publication Date Title
WO2018069985A1 (ja) 採点支援プログラム、採点支援装置および採点支援方法
JP5343676B2 (ja) 画像処理装置、画像処理方法およびコンピュータプログラム
AU2010366331B2 (en) User interface, apparatus and method for gesture recognition
US10423308B2 (en) Gesture-alteration of media files
US10622021B2 (en) Method and system for video editing
US20120308204A1 (en) Method and apparatus for controlling a display of multimedia content using a timeline-based interface
US9313444B2 (en) Relational display of images
US9179090B2 (en) Moving image recording device, control method therefor, and non-transitory computer readable storage medium
JP2014209733A5 (ja)
US9928665B2 (en) Method and system for editing scene in three-dimensional space
US9542407B2 (en) Method and apparatus for media searching using a graphical user interface
CN103858073A (zh) 增强现实系统的免触摸界面
TW201712524A (zh) 調焦成視訊部份檢視面積之資料處理裝置和方法,以及電腦程式和製品
JP3648130B2 (ja) 映像一覧方法及び映像一覧処理プログラムを記録したコンピュータ読み取り可能な記録媒体
Nebeling et al. Kinect analysis: a system for recording, analysing and sharing multimodal interaction elicitation studies
JP6010062B2 (ja) キューポイント制御装置およびキューポイント制御プログラム
US20200334290A1 (en) Facilitating contextual video searching using user interactions with interactive computing environments
JP6834197B2 (ja) 情報処理装置、表示システム、プログラム
KR101944454B1 (ko) 정보처리프로그램 및 정보처리방법
JP6638281B2 (ja) 情報処理装置及びプログラム
JP2006252208A (ja) アノテーション付与装置、アノテーション付与方法およびプログラム
JP5784260B1 (ja) 情報処理プログラムおよび情報処理方法
JP5920785B2 (ja) 体験記録システム、体験記録方法および体験記録プログラム
Taylor A near touch user interface for touch screen based systems: a thesis presented in partial fulfilment of the requirements for the degree of Master of Engineering in Electronics and Computer Systems Engineering at Massey University, Palmerston North, New Zealand
JP2012222651A (ja) 映像再生装置、映像再生方法、および映像再生プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160318

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160322

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160523

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160915

R150 Certificate of patent or registration of utility model

Ref document number: 6010062

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees