JP5803868B2 - 動画処理装置、動画処理方法及びプログラム - Google Patents

動画処理装置、動画処理方法及びプログラム Download PDF

Info

Publication number
JP5803868B2
JP5803868B2 JP2012207373A JP2012207373A JP5803868B2 JP 5803868 B2 JP5803868 B2 JP 5803868B2 JP 2012207373 A JP2012207373 A JP 2012207373A JP 2012207373 A JP2012207373 A JP 2012207373A JP 5803868 B2 JP5803868 B2 JP 5803868B2
Authority
JP
Japan
Prior art keywords
frame
feature point
moving image
moving
specifying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012207373A
Other languages
English (en)
Other versions
JP2014064135A (ja
JP2014064135A5 (ja
Inventor
昇平 坂本
昇平 坂本
筒見 勝紀
勝紀 筒見
浩良 小川
浩良 小川
村木 淳
淳 村木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2012207373A priority Critical patent/JP5803868B2/ja
Priority to KR1020130107959A priority patent/KR101426878B1/ko
Priority to US14/028,237 priority patent/US9485426B2/en
Priority to CN201310426314.3A priority patent/CN103685932B/zh
Publication of JP2014064135A publication Critical patent/JP2014064135A/ja
Publication of JP2014064135A5 publication Critical patent/JP2014064135A5/ja
Application granted granted Critical
Publication of JP5803868B2 publication Critical patent/JP5803868B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • H04N5/06Generation of synchronising signals
    • H04N5/067Arrangements or circuits at the transmitter end
    • H04N5/073Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations
    • H04N5/0733Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations for distributing synchronisation pulses to different TV cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H04N5/9205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal the additional signal being at least another television signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/93Regeneration of the television signal or of selected parts thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)

Description

本発明は、動画の撮影を行う動画処理装置、動画処理方法及びプログラムに関する。
従来から、複数の撮影機器を用いて、同一の被写体を同時に動画撮影する方法として、無線あるいは有線によって各撮影機器の同期化行った後に動画撮影を行う方法が行われている。
これら撮影機器では、動画撮影の開始をトリガーとしてシャッター信号を送信する方法や、時刻情報を送信してお互いの撮影機器の時刻を合わせた上で、動画撮影の開始時刻であるシャッター時刻の情報を送信することにより、お互いを同期化する方法が採用されている(例えば、特許文献1参照)。
特開2012−70336号公報
しかしながら、従来の技術を採用した場合には、精度を求めた同期撮影を行うためには、通信の遅延時間を精密に測定する必要があり、ハードウェアの支援なしには実現が困難であった。
本発明は、このような状況に鑑みてなされたものであり、撮影時に高精度な時刻同期やシャッター同期を必要とせずに、複数の動画を同期することを目的とする。
上記目的を達成するため、本発明の一態様の動画処理装置は、複数の動画のフレーム内に共通して存在する所定の特徴点を検出する特徴点検出手段と、前記複数の動画における撮影方向の違いを特定する撮影方向特定手段と、前記撮影方向特定手段により特定された撮影方向の違いを考慮して、前記特徴点検出手段により検出された前記所定の特徴点の動画内での所定の変化状態が各々の動画で一致するフレームの位置を各々の動画で特定するフレーム特定手段と、前記フレーム特定手段により特定されたフレームの位置情報を用いて前記複数の動画についての同期化処理に関連する所定処理を実行させる実行制御手段と、を備えることを特徴とする。
また、本発明の他の態様の動画処理装置は、複数の動画のフレーム内に共通して存在する所定の特徴点の移動方向を検出する特徴点検出手段と、前記特徴点検出手段により検出された前記所定の特徴点の動画内での移動方向が各々の動画で一致するフレームの位置を各々特定するフレーム特定手段と、前記フレーム特定手段により特定されたフレームの位置情報を用いて前記複数の動画についての同期化処理に関連する所定処理を実行させる実行制御手段と、を備えることを特徴とする。
本発明によれば、撮影時に高精度な時刻同期やシャッター同期を必要とせずに、複数の動画を同期することが可能となる。
撮像再生制御装置のハードウェアの構成を示すブロック図である。 同期撮影処理を実行するための機能的構成を示す機能ブロック図である。 図1の撮像再生制御装置が実行する同期撮影処理の流れを示すフローチャートである。 撮像再生制御装置が実行する同期化処理の流れを示すフローチャートである。 図1の記憶部に記憶されているタイミング判定条件テーブルを示す図である。 撮像再生制御装置が実行する第2実施形態の同期化処理の流れを示すフローチャートである。
[第1実施形態]
以下、本発明の第1実施形態について、図面を用いて説明する。
[ハードウェア構成]
図1は、本発明の一実施形態に係る撮像再生制御装置1のハードウェアの構成を示すブロック図である。
撮像再生制御装置1は、例えばデジタルカメラとして構成される。
本実施形態に係る撮像再生制御装置1は、2つのカメラにおいて夫々撮像した動画画像内から特徴点を検出し、検出した特徴点の移動方向の変化、あるいは、輝度の変化を検出し、それらの変化が検出された単位画像を同一時刻の単位画像とすることにより、複数のカメラで高精度に同期撮影する。
単位画像とは、動画像の処理単位となる画像であり、例えばフィールドやフレームが該当する。本実施形態では、単位画像としてフレームが採用されている。
撮像再生制御装置1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、入力部16と、出力部17と、撮像部18と、記憶部19と、通信部20と、ドライブ21と、を備えている。
CPU11は、例えば、後述する同期撮影処理のためのプログラム等、ROM12に記録されているプログラム、又は、記憶部19からRAM13にロードされたプログラムに従って各種の処理を実行する。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、入力部16、出力部17、撮像部18、記憶部19、通信部20及びドライブ21が接続されている。
入力部16は、各種釦やポインティングデバイス等で構成され、同期する同期ポイントの選択や、基準カメラの決定や、基準動画の決定等、ユーザの指示操作に応じて各種情報を入力する。
出力部17は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
撮像部18は、被写体を撮像し、当該被写体の像を含む画像(以下、「撮像画像」と称する)のデジタル信号(画像信号)をCPU11に供給する。ここで、撮像画像のデジタル信号(画像信号)を、「撮像画像のデータ」と適宜呼ぶ。
記憶部19は、ハードディスクあるいはDRAM(Dynamic Random Access Memory)等で構成され、各種画像のデータを記憶する。
通信部20は、インターネットを含むネットワークを介して他のカメラ(図示せず)との間で行う通信を制御する。
ドライブ21には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア31が適宜装着される。ドライブ21によってリムーバブルメディア31から読み出されたプログラムは、必要に応じて記憶部19にインストールされる。また、リムーバブルメディア31は、記憶部19に記憶されている画像のデータ等の各種データも、記憶部19と同様に記憶することができる。
[機能的構成]
図2は、このような撮像再生制御装置1の機能的構成のうち、同期撮影処理を実行するための機能的構成を示す機能ブロック図である。
同期撮影処理とは、選択された同期ポイントに基づいて、動画を撮影するタイミングを決定する。そして、決定された同期タイミングに基づいて同期撮影を行って、同期化処理を行う一連の処理をいう。
同期化処理とは、被写体の動きが、取得された判定条件を満たすか否かに応じて、各々のカメラ(撮像再生制御装置)で撮影された夫々の動画の同期フレームを決定し、夫々の同期フレームの時刻差に基づいてフレームを削除することで同期撮影をする一連の処理をいう。
CPU11は、同期撮影処理を実行する機能ブロックとして、指定部位受付部41と、指定方向受付部42と、撮影方向検出部43と、特徴点検出部44と、フレーム特定部45と、同期制御部46と、再生制御部47と、を更に備え、
を備えている。
指定部位受付部41は、検出すべき特徴点として被写体の部位をユーザが任意に指定した部位を受け付ける。
指定方向受付部42は、検出すべき特徴点の移動方向をユーザが任意に指定した移動方向を受け付ける。
撮影方向検出部43は、同期撮影を行う複数のカメラの撮影方向の違いを検出する。
また、撮影方向検出部43は、被写体の方向に対するカメラの撮影方向を検出する。
特徴点検出部44は、複数のカメラで同期撮影を行う場合に、各々のカメラの撮影フレーム内に共通して存在する特徴点を検出する。また、特徴点検出部44は、撮影方向検出部43により検出された撮影方向に基づいて検出すべき特徴点の移動方向を決定する。また、特徴点検出部44は、複数の動画を同期再生する場合に、各々の動画のフレーム内に共通して存在する特徴点を検出する。
この場合、特徴点検出部44は、被写体の検出対象部分に設けたLED(Light Emitting Diode)の光を検出することにより特徴点を検出する。検出対象部分に設けたLEDは、例えば、青色LEDにより構成される。また、特徴点検出部44は、一定間隔で点滅されたLEDの光を、特徴点として検出する。
フレーム特定部45は、特徴点検出部44により検出された特徴点の変化状態が各々のカメラで一致する撮影フレームの位置を各々特定する。また、フレーム特定部45は、特徴点の移動方向または移動方向の変化状態が各々のカメラで一致する撮影フレームを各々特定する。また、フレーム特定部45は、特徴点の移動方向の変化状態が各々のカメラで一致する撮影フレームを各々特定する。
また、フレーム特定部45は、特定された各々の撮影フレームの記録タイミングを一致させる手法とは異なる手法により複数のカメラで同期撮影を行って記録した複数の動画データに対して、上記共通する特徴点の検出及び変化状態の一致する撮影フレームの特定を行う。また、フレーム特定部45は、指定部位受付部41により受け付けられた部位の検出すべき移動方向を、検出されたカメラの撮影方向に基づいて決定する。また、フレーム特定部45は、指定方向受付部42により受け付けられた移動方向と、各カメラの撮影方向に基づいて、各カメラにおいて検出すべき特徴点の移動方向を決定する。また、フレーム特定部45は、撮影方向検出部43により検出された撮影方向の違いに基づいて、特徴点の変化状態が一致する撮影フレームの位置を各々のカメラで特定する。また、フレーム特定部45は、他の何らかの方法により複数のカメラで同期撮影を行って記録した複数の動画データに対して、特徴点検出部44による共通する特徴点の検出及びフレーム特定部45による変化状態の一致するフレームの特定を行う。
同期制御部46は、フレーム特定部45により特定された各々の撮影フレームの位置情報を用いて前記複数のカメラで撮影される複数の動画を同期させる制御を実行する。また、同期制御部46は、フレーム特定部45により特定された撮影フレームから各々の動画の記録を開始する。また、同期制御部46は、フレーム特定部により撮影フレームが特定される前から動画の記録を開始し、特定した撮影フレームを基準としてその前後の記録フレームのトリミングを行う。また、同期制御部46は、フレーム特定部45により特定された撮影フレームを基準として記録フレームのトリミングの一致制御を行う。また、同期制御部46は、フレーム特定部45により特定された各々の撮影フレームの位置情報を用いて、これらの撮影フレームの再生タイミングが一致するように動画の記録または再生を行う。また、同期制御部46は、フレーム特定部45により特定された撮影フレームから各々の動画の記録を開始する。
再生制御部47は、再生時において、フレーム特定部45により特定されたフレームの再生タイミングを一致させるよう同期再生を行う制御を実行する。
また、再生制御部47は、フレーム特定部45により特定されたフレームを基準として再生タイミングの一致制御を行う。
[動作]
次に、撮像再生制御装置1の動作を説明する。
[同期撮影処理]
初めに、撮像再生制御装置1の動作におけるメインフローとなる同期撮影処理について説明する。
図3は、撮像再生制御装置1が実行する同期撮影処理の流れを示すフローチャートである。
同期撮影処理は、ユーザが同期撮影処理の開始を指示入力することに対応して実行される。
ステップS11において、指定部位受付部41は、複数の同期ポイントから実際に同期させる同期ポイントを1つ選択する。この処理では、指定部位受付部41は、複数の同期ポイントの中から、ユーザの入力部16の操作に基づき同期する同期ポイントを選択する。
ステップS12において、同期制御部46は、時刻情報の送受信を行う。この処理では、同期制御部46は、通信部20を介して、撮影に先立って2台のカメラ同士の内部時計の時刻合わせを行う。この処理において行われる時刻合わせは、それほど厳密でなくてもよい。ここで、各カメラ同士の時刻ずれの最大値をTm[秒]とする。
ステップS13において、同期制御部46は、シャッター信号を送受信することにより、同期した動画の撮影タイミングを決定する。同期制御部46により決定される撮影タイミングには、撮影開始と撮影終了の両方のタイミングを示す情報が含まれている。撮影終了のタイミングを示す情報は、撮影開始前に撮影開始のタイミングを示す情報と一緒に送信してもよいが、撮影開始後の任意のタイミングで送信してもよい。また、これらのタイミングはユーザー操作により決定したり、他の条件を自動判定して決定する。
ステップS14において、同期制御部46は、ステップS13において決定した撮影タイミングで動画撮影を行って動画データを記憶部19に記録する。この処理では、2台のカメラで動画撮影を開始され、撮影された動画ファイルが記憶部19に記憶される。各カメラにおいて撮影された動画は、夫々動画1、動画2とする。
ステップS15において、同期制御部46は、後述の図4を参照して説明する同期化処理を実行する。この処理が終了すると、同期撮影処理は終了となる。
[同期化処理]
次に、同期撮影処理のステップS15において実行される同期化処理について説明する。
図4は、撮像再生制御装置1が実行する同期化処理の流れを示すフローチャートである。同期撮影処理において記憶部19に記憶された2つの動画は、お互いに最大Tm[秒]だけ時間がずれている可能性がある。Tm>(1/FPS(Frames Per Second))のとき、即ち、時間ずれが複数フレームに渡ることが見込まれるとき、以下の同期化処理を行うことにより、時間ずれを1フレーム以内に収めることができる。
ステップS31において、撮影方向検出部43は、自カメラの撮影方向を特定する。
ステップS32において、特徴点検出部44は、同期撮影処理のステップS11において選択された同期ポイント及びステップS31において特定された撮影方向に基づいて、図5のタイミング判定条件テーブルを参照して、対応するタイミング判定条件を取得する。
図5は、図1の記憶部19に記憶されているタイミング判定条件テーブルを示す図である。タイミング判定条件テーブルには、同期ポイント候補毎に、撮影方向毎のタイミング判定条件が記憶されている。
例えば、同期ポイント候補として「アドレスからの始動」が選択されている場合の撮影方向毎のタイミング判定条件について説明する。
この場合、「正面(身体の正面)」のタイミング判定条件として、「ヘッドの移動ベクトルが停止状態からベクトルAに変化」することが設定されている。また、「後方(身体の側面)」のタイミング判定条件として、「ヘッドの大きさが大きく変化し始める」ことが設定されている。また、「斜めX度方向」のタイミング判定条件として、「左記ベクトルAをX度で補正した条件」が設定されている。同様に、「斜めY度方向」のタイミング判定条件も各々設定されている。
図4に戻り、ステップS33において、同期制御部46は、記憶部19に記録した動画データにおけるフレーム位置を1つ進める。この処理では、同期制御部46は、動画データの再生時刻を1フレーム分進める。
ステップS34において、特徴点検出部44は、記録した動画データにおける現在のフレーム位置における被写体の動きを特定する。現在のフレーム位置とは、ステップS33においてフレーム位置を1つ進めた結果進められた現在のフレームの位置をいう。
この処理では、特徴点検出部44は、まず、記録された動画データの画像の特徴点を検出する。特徴点検出部44により行われる特徴点の検出手法は問わないが、例えば、ROI(Region of interest)領域を自動検出し、その領域内からエッジ等の特徴点を検出する。そして、特徴点検出部44は、検出した特徴点の移動方向の変化を検出する。特徴点検出部44は、例えば、右に動いていたものが減速し、一瞬停止し、左に動き出すのを検出することにより移動方向の変化を検出する。
ステップS35において、特徴点検出部44は、ステップS34において特定した被写体の動きはステップS32において取得した判定条件を満たすか否かを判定する。被写体の動きは取得した判定条件を満たさない場合は、ステップS35においてNOであると判定されて、処理はステップS33に戻る。即ち、ステップS32において取得した判定条件を満たすまでの間、フレーム位置を1つずつ進めて、ステップS33乃至ステップS35の処理が繰り返し実行される。これに対し、被写体の動きは取得した判定条件を満たす場合は、ステップS35においてYESであると判定されて、処理はステップS36に進む。
ステップS36において、フレーム特定部45は、記録した動画データにおける現在のフレーム位置(再生時刻)を同期フレーム(同期時刻)として特定する。
ステップS37において、同期制御部46は、通信部20を介して他のカメラと信号を送受信することにより、基準カメラを決定する。基準カメラの決定は、ユーザの入力部16の操作に基づき任意に設定することができ、1のカメラが基準カメラとして決定された場合には、その他のカメラは基準カメラに従属するカメラとして決定される。但し、基準カメラの決定は、ユーザの入力部16の操作に基づきいつでも任意に変更することができる。したがって、自カメラが基準カメラとして決定されている場合には、自カメラが基準カメラであることを示す信号を他のカメラに送信する。これに対し、他のカメラが基準カメラとして決定されている場合には、他のカメラから自カメラに対し、当該他のカメラが基準カメラであることを示す信号が送信され、自カメラにおいて当該信号を受信することにより、基準カメラが決定される。
ステップS38において、同期制御部46は、自カメラは基準カメラであるか否かを判定する。自カメラは基準カメラである場合には、ステップS38においてYESであると判定されて、同期化処理は終了となる。これに対し、自カメラは基準カメラでない場合は、ステップS38においてNOであると判定されて、処理はステップS39に進む。
ステップS39において、同期制御部46は、ステップS36において特定された同期フレーム(同期時刻)と基準カメラの同期フレーム(同期時刻)とのフレーム差(時刻差)を算出する。基準カメラの同期フレーム(同期時刻)は、自カメラのステップと同様に、基準カメラにおいて独自に特定された同期フレームの情報が使用される。即ち、本実施形態においては、各同期フレームの特定は、夫々のカメラが独自に判断して行われる。
ステップS40において、同期制御部46は、ステップS39において算出されたフレーム差(時刻差×フレームレート)分のフレームを、記録した動画データの先頭から削除する。この処理が終了すると同期化処理は終了となる。
以上、本発明の第1実施形態に係る撮像再生制御装置1について説明した。
次に、本発明の第2実施形態に係る撮像再生制御装置1について説明する。
[第2実施形態]
第2実施形態に係る撮像再生制御装置1は、第1実施形態に係る撮像再生制御装置1と基本的に同様のハードウェア構成を取ることができる。したがって、図1は、第2実施形態に係る撮像再生制御装置1のハードウェアの構成を示すブロック図でもある。
また、第2実施形態に係る撮像再生制御装置1は、第1実施形態に係る撮像再生制御装置1と基本的に同様の機能的構成を取ることができる。したがって、第2実施形態の撮像再生制御装置1では、第1実施形態の撮像再生制御装置1が実行する図3の同期撮影処理、図4の同期化処理と同様の処理が行われる。但し、第1実施形態の撮像再生制御装置1は、各々のカメラが判断して自カメラの記憶部19内の動画データの先頭を所定フレーム分削除を行うという処理を行っているのに対し、第2実施形態の撮像再生制御装置1は、基準となる基準カメラが、他のカメラから動画データを集約して、基準カメラが必要に応じて動画データの先頭を所定フレーム分削除を行う点で相違する。
したがって、第2実施形態の撮像再生制御装置1では、図4の同期化処理に換えて、図6の同期化処理が採用される。次に、図6を参照して、同期撮影処理のステップS15において実行される第2実施形態の同期化処理について説明する。
[同期化処理]
図6は、撮像再生制御装置1が実行する第2実施形態の同期化処理の流れを示すフローチャートである。本実施形態では、同期化処理を行うカメラを基準カメラとし、この基準カメラと動画データ及び信号を送受信する他方のカメラを他のカメラとして説明する。基準カメラにより撮影された動画を「動画1」とし、他のカメラにより撮影された動画を「動画2」とする。
ステップS51において、同期制御部46は、通信部20を通じて、同期撮影を行った他のカメラから動画データを取得する。
ステップS52において、同期制御部46は、未処理の動画の動画データを1つ選択する。
ステップS53において、撮影方向検出部43は、ステップS52において選択された動画データの撮影方向を検出して特定する。
ステップS54において、特徴点検出部44は、同期撮影処理のステップS11において選択された同期ポイント及びステップS53において特定された撮影方向に基づいて、図5のタイミング判定条件テーブルを参照して、対応するタイミング判定条件を取得する。図5のタイミング判定条件テーブルについては、第1実施形態のタイミング判定条件テーブルと同様であるため説明を省略する。
ステップS55において、同期制御部46は、ステップS52において選択された動画データにおけるフレーム位置を1つ進める。この処理では、同期制御部46は、動画データの再生時刻を1フレーム分進める。
ステップS56において、特徴点検出部44は、ステップS52において選択された動画データにおける現在のフレーム位置における被写体の動きを特定する。現在のフレーム位置とは、ステップS55においてフレーム位置を1つ進めた結果進められた現在のフレームの位置をいう。
この処理では、特徴点検出部44は、まず、選択された動画1の動画データの画像の特徴点を検出する。特徴点検出部44により行われる特徴点の検出手法は問わないが、例えば、ROI領域を自動検出し、その領域内からエッジ等の特徴点を検出する。そして、特徴点検出部44は、検出した特徴点の移動方向の変化を検出する。特徴点検出部44は、例えば、右に動いていたものが減速し、一瞬停止し、左に動き出すのを検出することにより移動方向の変化を検出する。
ステップS57において、特徴点検出部44は、ステップS56において特定した被写体の動きはステップS54において取得した判定条件を満たすか否かを判定する。被写体の動きは取得した判定条件を満たさない場合は、ステップS57においてNOであると判定されて、処理はステップS55に戻る。即ち、ステップS54において取得した判定条件を満たすまでの間、フレーム位置を1つずつ進めて、ステップS55乃至ステップS57の処理が繰り返し実行される。これに対し、被写体の動きは取得した判定条件を満たす場合は、ステップS57においてYESであると判定されて、処理はステップS58に進む。
ステップS58において、フレーム特定部45は、選択された動画データにおける現在のフレーム位置(再生時刻)を同期フレーム(同期時刻)として特定する。フレーム特定部45は、例えば、動画1の動画データにおける現在のフレーム位置(再生時刻)を特定し、時刻T1として記憶しておく。そして、特徴点検出部44は、別の動画(例えば、動画2)の動画データについて被写体の動きを検出する場合、ステップS56において、時刻T1近辺のフレーム位置における被写体の動きを特定することで、被写体の動きの特定を迅速に行うことができる。その結果、得られた動画2の動画データにおける現在のフレーム位置(再生時刻)を特定し、時刻T2として記憶しておく。
ステップS59において、同期制御部46は、全ての動画データに対してステップS58の同期フレームの特定を終了したか否かを判定する。同期フレームの特定が終了していない場合は、ステップS58においてNOであると判定されて、処理はステップS52に戻る。即ち、全ての動画データに対して夫々同期フレームの特定が行われるまでの間、ステップS52乃至ステップS59の処理が繰り返し実行される。これに対し、全ての動画データに対して同期フレームの特定が行われた場合は、ステップS59においてYESであると判定されて、処理はステップ60に進む。
ステップS60において、同期制御部46は、最も同期フレーム(同期時刻)が早い動画データを基準動画の動画データとして決定する。
ステップS61において、同期制御部46は、ステップS60において決定された基準動画以外の動画の動画データの同期フレーム(同期時刻)と基準動画の同期フレーム(同期時刻)とのフレーム差D(時刻差)を算出する。
ここで、動画1と動画2の時間のずれはT1−T2であると想定される。これをフレーム差Dに換算すると、同期制御部46は、次式(1)によりフレーム差Dを算出することができる。
D=(T1−T2)×FPS・・・式(1)
ステップS62において、同期制御部46は、ステップS61において算出されたフレーム差D(時刻差×フレームレート)分のフレームを、基準動画以外の動画データの先頭から削除する。この処理では、同期制御部46は、ステップS61において算出したフレーム差D分のフレームを、基準動画(例えば、動画1)以外の動画(例えば、動画2)の動画データの先頭からD枚のフレーム分削除する。尚、Dが負の場合は、同期制御部46は、動画データの先頭から「−D」枚挿入する。この処理が終了すると同期化処理は終了となる。
以上説明したように、本実施形態の撮像再生制御装置1は、特徴点検出部44と、フレーム特定部45と、同期制御部46と、を備える。
特徴点検出部44は、複数のカメラで同期撮影を行う場合に、各々のカメラの撮影フレーム内に共通して存在する特徴点を検出する。
フレーム特定部45は、特徴点検出部44により検出された特徴点の変化状態が各々のカメラで一致する撮影フレームの位置を各々特定する。
同期制御部46は、フレーム特定部45により特定された各々の撮影フレームの位置情報を用いて前記複数のカメラで撮影される複数の動画を同期させる制御を実行する。
これにより、撮影時に高精度な時刻同期やシャッター同期を必要とせずに、複数の動画を同期して撮影することができる。したがって、通信の緻密な遅延時間を考慮せず、かつ、ハードウェアの支援なしに精度を求めた同期撮影を行うことができる。
また、本実施形態の撮像再生制御装置1のフレーム特定部45は、特徴点の移動方向または移動方向の変化状態が各々のカメラで一致する撮影フレームを各々特定する。これにより、特徴点の移動方向または移動方向の変化状態が一致する撮影フレームを同時刻に撮影されたフレームであると判定して、同期撮影を行うことができる。
また、本実施形態の撮像再生制御装置1の同期制御部46は、フレーム特定部45により特定された各々の撮影フレームの位置情報を用いて、これらの撮影フレームの再生タイミングが一致するように動画の記録または再生を行う。これにより、フレームの位置が一致する撮影フレームを同時刻に撮影されたフレームであると判定して、同期撮影を行うことができる。
また、本実施形態の撮像再生制御装置1のフレーム特定部45は、特徴点の移動方向の変化状態が各々のカメラで一致する撮影フレームを各々特定する。これにより、特徴点の移動方向の変化状態が一致する撮影フレームを同時刻に撮影されたフレームであると判定して、同期撮影を行うことができる。
また、本実施形態の撮像再生制御装置1の同期制御部46は、フレーム特定部45により特定された撮影フレームから各々の動画の記録を開始する。これにより、特徴点の変化状態が各々のカメラで一致する撮影フレームを同時刻に撮影されたフレームであるとして、各々のカメラを同期した上で動画の記録を開始することができる。したがって、ハードウェアの支援なしに精度を求めた同期撮影を行うことができる。
また、本実施形態の撮像再生制御装置1の同期制御部46は、フレーム特定部45により撮影フレームが特定される前から動画の記録を開始し、特定した撮影フレームを基準としてその前後の記録フレームのトリミングを行う。これにより、同期撮影を意識せずに撮影された動画データに基づいて記録フレームのトリミングを行うことにより、実質的に同期撮影を行うことができる。
また、本実施形態の撮像再生制御装置1のフレーム特定部45は、他の何らかの手法により複数のカメラで同期撮影を行って記録した複数の動画データに対して、上記共通する特徴点の検出及び変化状態の一致する撮影フレームの特定を行う。そして、同期制御部46は、フレーム特定部45により特定された撮影フレームを基準として記録フレームのトリミングの一致制御を行う。
これにより、様々な手法により記録された複数の動画データに対し、撮影時に高精度な時刻同期やシャッター同期を必要とせずに、複数の動画を同期して撮影することができる。したがって、通信の緻密な遅延時間を考慮せず、かつ、ハードウェアの支援なしに精度を求めた同期撮影を行うことができる。
また、本実施形態の撮像再生制御装置1は、撮影方向検出部43を更に備える。撮影方向検出部43は、同期撮影を行う複数のカメラの撮影方向の違いを検出する。そして、フレーム特定部45は、撮影方向検出部43により検出された撮影方向の違いに基づいて、特徴点の変化状態が一致する撮影フレームの位置を各々のカメラで特定する。これにより、撮影方向の相違も考慮した上で、特徴点の移動方向の変化状態が一致する撮影フレームを同時刻に撮影されたフレームであると判定して、同期撮影を行うことができる。したがって、ハードウェアの支援なしに精度を更に高めた同期撮影を行うことができる。
また、本実施形態の撮像再生制御装置1の撮影方向検出部43は、被写体の方向に対するカメラの撮影方向を検出する。そして、特徴点検出部44は、撮影方向検出部43により検出された撮影方向に基づいて検出すべき特徴点の移動方向を決定する。これにより、被写体の方向に対する撮影方向の相違も考慮した上で、特徴点の移動方向を決定することができる。したがって、ハードウェアの支援なしに精度を更に高めた同期撮影を行うことができる。
また、本実施形態の撮像再生制御装置1は、指定部位受付部41を更に備える。指定部位受付部41は、検出すべき特徴点として被写体の部位をユーザが任意に指定した部位を受け付ける。そして、フレーム特定部45は、指定部位受付部41により受け付けられた部位の検出すべき移動方向を、検出されたカメラの撮影方向に基づいて決定する。これにより、ユーザが所望する特徴点の部位に基づいて、検出すべき移動方向を決定することができる。したがって、ユーザの意向を反映して同期撮影を行うことができる。
また、本実施形態の撮像再生制御装置の同期制御部46は、フレーム特定部45により特定された撮影フレームから各々の動画の記録を開始する。これにより、各々のカメラにおいて同時刻に撮影を開始することができるため、精度を高めた同期撮影を行うことができる。
また、本実施形態の撮像再生制御装置1は、指定方向受付部42を更に備える。指定方向受付部42は、検出すべき特徴点の移動方向をユーザが任意に指定した移動方向を受け付ける。そして、フレーム特定部45は、指定方向受付部42により受け付けられた移動方向と、各カメラの撮影方向に基づいて、各カメラにおいて検出すべき特徴点の移動方向を決定する。これにより、ユーザが所望する移動方向とカメラの撮影方向に基づいて、検出すべき特徴点の移動方向を決定することができる。したがって、ユーザの意向を反映して同期撮影を行うことができる。
また、本実施形態の撮像再生制御装置1の特徴点検出部44は、被写体の検出対象部分に設けたLEDの光を検出することにより特徴点を検出する。これにより、被写体の特徴点の変化状態の検出の精度を高めることができる。
また、本実施形態の撮像再生制御装置1の特徴点検出部は、一定間隔で点滅されたLEDの光を、特徴点として検出する。これにより、被写体の移動する速度も容易に算出することができ、被写体の特徴点の変化状態の検出の精度を高めることができる。
また、本実施形態の撮像再生制御装置1は、特徴点検出部と、フレーム特定部と、再生制御部47と、を備える。
特徴点検出部44は、複数の動画を同期再生する場合に、各々の動画のフレーム内に共通して存在する特徴点を検出する。フレーム特定部45は、特徴点検出部により検出された特徴点の変化状態が各々の動画で一致するフレームを各々特定する。
再生制御部47は、再生時において、フレーム特定部45により特定されたフレームの再生タイミングを一致させるよう同期再生を行う制御を実行する。
これにより、撮影時に高精度な時刻同期やシャッター同期を必要とせずに、複数の動画を同期して撮影した後に、同期再生することができる。したがって、通信の緻密な遅延時間を考慮せず、かつ、ハードウェアの支援なしに精度を求めた同期再生を行うことができる。
また、本実施形態の撮像再生制御装置1は、他の何らかの方法により複数のカメラで同期撮影を行って記録した複数の動画データに対して、前記特徴点検出手段による前記共通する前記特徴点の検出及び前記フレーム特定手段による前記変化状態の一致するフレームの特定を行う。そして、再生制御部47は、フレーム特定部45により特定されたフレームを基準として再生タイミングの一致制御を行う。これにより、撮影時に高精度な時刻同期やシャッター同期を必要とせずに、複数の動画を同期して撮影した動画データを同期再生することができる。したがって、通信の緻密な遅延時間を考慮せず、かつ、ハードウェアの支援なしに精度を求めた同期再生を行うことができる。
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
上述の実施形態では、同期制御部46は、最も同期フレーム(同期時刻)が早い動画データを基準動画の動画データとして決定しているがこれに限られるものではない。例えば、同期制御部46は、ユーザの入力部16の操作に基づき選択された動画データを基準動画の動画データとして決定することができる。
また、上述の実施形態では、各同期ポイント(「アドレスからの始動」、「トップ」、「インパクト」、「フィニッシュ」)は4つのポイントにしているがこれに限られるものではなく、多数のポイントを任意に設定することができる。
また、上述の実施形態では、本発明が適用される撮像再生制御装置1は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、画像処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、パーソナルコンピュータ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図2の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像再生制御装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図2の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図1のリムーバブルメディア31により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア31は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk)等により構成される。光磁気ディスクは、MD(Mini−Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図1のROM12や、図1の記憶部19に含まれるハードディスク等で構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
以上、本発明の実施形態について説明したが、この実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。上記実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
複数のカメラで同期撮影を行う場合に、各々のカメラの撮影フレーム内に共通して存在する特徴点を検出する特徴点検出手段と、
前記特徴点検出手段により検出された特徴点の変化状態が各々のカメラで一致する撮影フレームの位置を各々特定するフレーム特定手段と、
前記フレーム特定手段により特定された各々の撮影フレームの位置情報を用いて前記複数のカメラで撮影される複数の動画を同期させる制御を実行する同期制御手段と、
を備えることを特徴とする撮像制御装置。
[付記2]
前記フレーム特定手段は、
前記特徴点の移動方向または移動方向の変化状態が各々のカメラで一致する撮影フレームを各々特定する
ことを特徴とする付記1に記載の撮像制御装置。
[付記3]
前記同期制御手段は、前記フレーム特定手段により特定された各々の撮影フレームの位置情報を用いて、これらの撮影フレームの再生タイミングが一致するように動画の記録または再生を行うことを特徴とする付記1または2に記載の撮像制御装置。
[付記4]
前記同期制御手段は、
前記フレーム特定手段により前記撮影フレームが特定される前から動画の記録を開始し、前記特定した撮影フレームを基準としてその前後の記録フレームのトリミングを行う
ことを特徴とする付記1乃至3のうち何れかに記載の撮像制御装置。
[付記5]
前記フレーム特定手段は、
他の何らかの手法により複数のカメラで同期撮影を行って記録した複数の動画データに対して、上記共通する特徴点の検出及び変化状態の一致する撮影フレームの特定を行い、
前記同期制御手段は、
前記フレーム特定手段により特定された撮影フレームを基準として記録フレームのトリミングの一致制御を行う
ことを特徴とする付記1乃至4のうち何れかに記載の撮像制御装置。
[付記6]
同期撮影を行う複数のカメラの撮影方向の違いを検出する撮影方向検出手段を更に備え、
前記フレーム特定手段は、
前記撮影方向検出手段により検出された撮影方向の違いに基づいて、前記特徴点の変化状態が一致する撮影フレームの位置を各々のカメラで特定する
ことを特徴とする付記1乃至5のうち何れかに記載の撮像制御装置。
[付記7]
前記撮影方向検出手段は、
被写体の方向に対するカメラの撮影方向を検出し、
前記特徴点検出手段は、前記撮影方向検出手段により検出された撮影方向に基づいて検出すべき前記特徴点の移動方向を決定する
ことを特徴とする付記6に記載の撮像制御装置。
[付記8]
検出すべき特徴点として被写体の部位をユーザが任意に指定した部位を受け付ける指定部位受付手段を更に備え、
前記フレーム特定手段は、
前記指定部位受付手段により受け付けられた部位の検出すべき移動方向を、検出されたカメラの撮影方向に基づいて決定する
ことを特徴とする付記7に記載の撮像制御装置。
[付記9]
検出すべき特徴点の移動方向をユーザが任意に指定した移動方向を受け付ける指定方向受付手段を更に備え、
前記フレーム特定手段は、前記指定方向受付手段により受け付けられた移動方向と、各カメラの撮影方向に基づいて、各カメラにおいて検出すべき特徴点の移動方向を決定する
ことを特徴とする付記1に記載の撮像制御装置。
[付記10]
前記同期制御手段は、
前記フレーム特定手段により特定された撮影フレームから各々の動画の記録を開始する
ことを特徴とする付記1に記載の撮像制御装置。
[付記11]
前記特徴点検出手段は、
被写体の検出対象部分に設けたLEDの光を検出することにより前記特徴点を検出する
ことを特徴とする付記1乃至10のうち何れかに記載の撮像制御装置。
[付記12]
前記特徴点検出手段は、
一定間隔で点滅された前記LEDの光を、前記特徴点として検出する
ことを特徴とする付記11に記載の撮像制御装置。
[付記13]
同期撮影を行う撮像制御装置が実行する撮影制御方法であって、
複数のカメラで同期撮影を行う場合に、各々のカメラの撮影フレーム内に共通して存在する特徴点を検出する特徴点検出ステップと、
前記特徴点検出ステップにより検出された特徴点の変化状態が各々のカメラで一致する撮影フレームの位置を各々特定するフレーム特定ステップと、
前記フレーム特定ステップにより特定された各々の撮影フレームの位置情報を用いて前記複数のカメラで撮影される複数の動画を同期させる制御を実行する同期制御ステップと、
を含むことを特徴とする撮像制御方法。
[付記14]
同期撮影を行う制御を実行するコンピュータを、
複数のカメラで同期撮影を行う場合に、各々のカメラの撮影フレーム内に共通して存在する特徴点を検出する特徴点検出手段、
前記特徴点検出手段により検出された特徴点の変化状態が各々のカメラで一致する撮影フレームの位置を各々特定するフレーム特定手段、
前記フレーム特定手段により特定された各々の撮影フレームの位置情報を用いて前記複数のカメラで撮影される複数の動画を同期させる制御を実行する同期制御手段、
として機能させることを特徴とするプログラム。
[付記15]
複数の動画を同期再生する場合に、各々の動画のフレーム内に共通して存在する特徴点を検出する特徴点検出手段と、
前記特徴点検出手段により検出された特徴点の変化状態が各々の動画で一致するフレームを各々特定するフレーム特定手段と、
再生時において、前記フレーム特定手段により特定された前記フレームの再生タイミングを一致させるよう同期再生を行う制御を実行する再生制御手段と、
を備えることを特徴とする再生制御装置。
[付記16]
他の何らかの方法により複数のカメラで同期撮影を行って記録した複数の動画データに対して、前記特徴点検出手段による前記共通する前記特徴点の検出及び前記フレーム特定手段による前記変化状態の一致するフレームの特定を行い、
前記再生制御手段は、
前記フレーム特定手段により特定されたフレームを基準として再生タイミングの一致制御を行う
ことを特徴とする付記15に記載の再生制御装置。
[付記17]
同期再生を行う制御を実行する再生制御装置が実行する再生制御方法であって、
複数の動画を同期再生する場合に、各々の動画のフレーム内に共通して存在する特徴点を検出する特徴点検出ステップと、
前記特徴点検出ステップにより検出された特徴点の変化状態が各々の動画で一致するフレームを各々特定するフレーム特定ステップと、
再生時において、前記フレーム特定ステップにより特定された前記フレームの再生タイミングを一致させるよう同期再生を行う制御を実行する再生制御ステップと、
を含むことを特徴とする再生制御方法。
[付記18]
同期再生を行う制御を実行するコンピュータを、
複数の動画を同期再生する場合に、各々の動画のフレーム内に共通して存在する特徴点を検出する特徴点検出手段、
前記特徴点検出手段により検出された特徴点の変化状態が各々の動画で一致するフレームを各々特定するフレーム特定手段、
再生時において、前記フレーム特定手段により特定された前記フレームの再生タイミングを一致させるよう同期再生を行う制御を実行する再生制御手段、
として機能させることを特徴とするプログラム。
1・・・撮像再生制御装置、11・・・CPU、12・・・ROM、13・・・RAM、14・・・バス、15・・・入出力インターフェース、16・・・入力部、17・・・出力部、18・・・撮像部、19・・・記憶部、20・・・通信部、21・・・ドライブ、31・・・リムーバブルメディア、41・・・指定部位受付部、42・・・指定方向受付部、43・・・撮影方向検出部、44・・・特徴点検出部、45・・・フレーム特定部、46・・・同期制御部、47・・・再生制御部

Claims (18)

  1. 複数の動画のフレーム内に共通して存在する所定の特徴点を検出する特徴点検出手段と、
    前記複数の動画における撮影方向の違いを特定する撮影方向特定手段と、
    前記撮影方向特定手段により特定された撮影方向の違いを考慮して、前記特徴点検出手段により検出された前記所定の特徴点の動画内での所定の変化状態が各々の動画で一致するフレームの位置を各々の動画で特定するフレーム特定手段と、
    前記フレーム特定手段により特定されたフレームの位置情報を用いて前記複数の動画についての同期化処理に関連する所定処理を実行させる実行制御手段と、
    を備えることを特徴とする動画処理装置。
  2. 前記撮影方向特定手段は、前記所定の特徴点を有する被写体に対する各動画の撮影方向を特定し、
    前記フレーム特定手段は、前記撮影方向特定手段により特定された各動画の撮影方向に基づいて各動画内において検出すべき前記所定の特徴点の変化状態を決定するとともに、各動画内における特徴点の変化状態が決定された変化状態と一致するフレームの位置を各々の動画で特定する
    ことを特徴とする請求項1に記載の動画処理装置。
  3. 検出すべき特徴点としてユーザが任意に指定した被写体の部位を受け付ける指定部位受付手段を更に備え、
    前記フレーム特定手段は、前記指定部位受付手段により受け付けられた部位の動画内での所定の変化状態が各々の動画で一致するフレームの位置を各々の動画で特定する ことを特徴とする請求項2に記載の動画処理装置。
  4. 前記特徴点検出手段は、前記所定の特徴点の移動方向または移動方向の変化状態を検出し、
    前記フレーム特定手段は、前記撮影方向特定手段により特定された撮影方向の違いを考慮して、前記特徴点検出手段により検出された前記所定の特徴点の移動方向または移動方向の変化状態が各々の動画で一致するフレームの位置を各々の動画で特定する
    ことを特徴とする請求項1乃至3のいずれかに記載の動画処理装置。
  5. 前記フレーム特定手段によりフレームの位置を特定する条件となる前記所定の変化状態を、複数の動画で共通化することにより、前記実行制御手段により実行させる前記所定処理のタイミングを複数の動画で同期させる同期制御手段と、
    を更に備えることを特徴とする請求項1乃至4のいずれかに記載の動画処理装置。
  6. 前記実行制御手段は、動画の記録または再生を制御し、
    前記同期制御手段は、前記フレーム特定手段により特定された各々のフレームの位置情報を用いて、これらのフレームの再生タイミングが複数の動画で一致するように前記実行制御手段により実行させる動画の記録または再生を制御することを特徴とする請求項5に記載の動画処理装置。
  7. 前記実行制御手段は、動画の記録フレームのトリミングを制御し、
    前記同期制御手段は、前記フレーム特定手段により前記フレームが特定される前から動画の記録を開始し、前記特定した撮影フレームを基準としてその前後の記録フレームのトリミングを行うように前記実行制御手段を制御することを特徴とする請求項5に記載の動画処理装置。
  8. 複数のカメラで同期撮影を行う場合に、
    前記同期制御手段は、前記フレーム特定手段によりフレームの位置を特定する条件となる前記所定の変化状態を、複数のカメラで共通化し、
    前記撮影方向特定手段は、同期撮影を行う複数のカメラの撮影方向の違いを検出し、
    前記特徴点検出手段は、複数のカメラの撮影フレーム内に共通して存在する所定の特徴点を検出し、
    前記フレーム特定手段は、前記撮影方向特定手段により検出された撮影方向の違いを考慮して、前記特徴点検出手段により検出された前記所定の特徴点の前記所定の変化状態が複数のカメラで一致する撮影フレームの位置を各々のカメラで特定し、
    前記実行制御手段は、前記フレーム特定手段により特定された撮影フレームの位置情報を用いて複数のカメラで同期した動画の撮影処理を制御する
    ことを特徴とする請求項5乃至7のいずれかに記載の動画処理装置。
  9. 複数の動画のフレーム内に共通して存在する所定の特徴点の移動方向を検出する特徴点検出手段と、
    前記特徴点検出手段により検出された前記所定の特徴点の動画内での移動方向が各々の動画で一致するフレームの位置を各々特定するフレーム特定手段と、
    前記フレーム特定手段により特定されたフレームの位置情報を用いて前記複数の動画についての同期化処理に関連する所定処理を実行させる実行制御手段と、
    を備えることを特徴とする動画処理装置。
  10. 前記複数の動画における撮影方向の違いを特定する撮影方向特定手段を更に備え、
    前記フレーム特定手段は、前記撮影方向特定手段により特定された撮影方向の違いを考慮して、前記特徴点検出手段により検出された前記所定の特徴点の動画内での移動方向が各々の動画で一致するフレームの位置を各々の動画で特定する
    ことを特徴とする請求項9に記載の動画処理装置。
  11. 前記撮影方向特定手段は、前記所定の特徴点を有する被写体に対する各動画の撮影方向を特定し、
    前記フレーム特定手段は、前記撮影方向特定手段により特定された各動画の撮影方向に基づいて各動画内において検出すべき前記所定の特徴点の移動方向を決定するとともに、各動画内における特徴点の移動方向が決定された移動方向と一致するフレームの位置を各々の動画で特定する
    ことを特徴とする請求項10に記載の動画処理装置。
  12. 検出すべき特徴点の移動方向としてユーザが任意に指定した移動方向を受け付ける指定方向受付手段を更に備え、
    前記フレーム特定手段は、前記指定方向受付手段により受け付けられた移動方向と、各カメラの撮影方向に基づいて、各カメラにおいて検出すべき特徴点の移動方向を決定することを特徴とする請求項9乃至11のいずれかに記載の動画処理装置。
  13. 前記同期制御手段は、前記フレーム特定手段により特定された撮影フレームから各々の動画の記録を開始することを特徴とする請求項5に記載の動画処理装置。
  14. 前記特徴点検出手段は、被写体の検出対象部分に設けたLEDの一定間隔で点滅する光を前記特徴点として検出することを特徴とする請求項1乃至11のいずれかに記載の動画処理装置。
  15. 複数の動画のフレーム内に共通して存在する所定の特徴点を検出する特徴点検出処理と、
    前記複数の動画における撮影方向の違いを特定する撮影方向特定処理と、
    前記撮影方向特定処理により特定された撮影方向の違いを考慮して、前記特徴点検出処理により検出された前記所定の特徴点の動画内での所定の変化状態が各々の動画で一致するフレームの位置を各々の動画で特定するフレーム特定処理と、
    前記フレーム特定処理により特定されたフレームの位置情報を用いて前記複数の動画についての同期化処理に関連する所定処理を実行させる実行制御処理と、
    を含むことを特徴とする動画処理方法。
  16. 動画処理装置のコンピュータを、
    複数の動画のフレーム内に共通して存在する所定の特徴点を検出する特徴点検出手段と、
    前記複数の動画における撮影方向の違いを特定する撮影方向特定手段と、
    前記撮影方向特定手段により特定された撮影方向の違いを考慮して、前記特徴点検出手段により検出された前記所定の特徴点の動画内での所定の変化状態が各々の動画で一致するフレームの位置を各々の動画で特定するフレーム特定手段と、
    前記フレーム特定手段により特定されたフレームの位置情報を用いて前記複数の動画についての同期化処理に関連する所定処理を実行させる実行制御手段と、
    として機能させることを特徴とするプログラム。
  17. 複数の動画のフレーム内に共通して存在する所定の特徴点の移動方向を検出する特徴点検出処理と、
    前記特徴点検出処理により検出された前記所定の特徴点の動画内での移動方向が各々の動画で一致するフレームの位置を各々特定するフレーム特定処理と、
    前記フレーム特定処理により特定されたフレームの位置情報を用いて前記複数の動画についての同期化処理に関連する所定処理を実行させる実行制御処理と、
    を含むことを特徴とする動画処理方法。
  18. 動画処理装置のコンピュータを、
    複数の動画のフレーム内に共通して存在する所定の特徴点の移動方向を検出する特徴点検出手段と、
    前記特徴点検出手段により検出された前記所定の特徴点の動画内での移動方向が各々の動画で一致するフレームの位置を各々特定するフレーム特定手段と、
    前記フレーム特定手段により特定されたフレームの位置情報を用いて前記複数の動画についての同期化処理に関連する所定処理を実行させる実行制御手段と、
    として機能させることを特徴とするプログラム。
JP2012207373A 2012-09-20 2012-09-20 動画処理装置、動画処理方法及びプログラム Active JP5803868B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012207373A JP5803868B2 (ja) 2012-09-20 2012-09-20 動画処理装置、動画処理方法及びプログラム
KR1020130107959A KR101426878B1 (ko) 2012-09-20 2013-09-09 동영상 처리 장치, 동영상 처리 방법, 및 기록 매체
US14/028,237 US9485426B2 (en) 2012-09-20 2013-09-16 Moving picture processing device for controlling moving picture processing
CN201310426314.3A CN103685932B (zh) 2012-09-20 2013-09-18 动态图像处理装置、动态图像处理方法以及记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012207373A JP5803868B2 (ja) 2012-09-20 2012-09-20 動画処理装置、動画処理方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2014064135A JP2014064135A (ja) 2014-04-10
JP2014064135A5 JP2014064135A5 (ja) 2014-11-06
JP5803868B2 true JP5803868B2 (ja) 2015-11-04

Family

ID=50274085

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012207373A Active JP5803868B2 (ja) 2012-09-20 2012-09-20 動画処理装置、動画処理方法及びプログラム

Country Status (4)

Country Link
US (1) US9485426B2 (ja)
JP (1) JP5803868B2 (ja)
KR (1) KR101426878B1 (ja)
CN (1) CN103685932B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3316589B1 (en) * 2015-06-25 2024-02-28 Panasonic Intellectual Property Management Co., Ltd. Video synchronization device and video synchronization method
JP6628670B2 (ja) * 2016-03-31 2020-01-15 サクサ株式会社 画像処理装置及び画像処理方法
CN107767325A (zh) * 2017-09-12 2018-03-06 深圳市朗形网络科技有限公司 视频处理方法、及装置
KR102025157B1 (ko) * 2018-01-05 2019-09-25 주식회사 엘지유플러스 복수의 촬영 영상 전송을 위한 시스템 및 그 제어방법
JP7223978B2 (ja) * 2018-05-23 2023-02-17 パナソニックIpマネジメント株式会社 校正装置および校正方法
JP6828133B1 (ja) * 2019-12-27 2021-02-10 株式会社ドワンゴ コンテンツ生成装置、コンテンツ配信サーバ、コンテンツ生成方法、および、コンテンツ生成プログラム
WO2022113212A1 (ja) * 2020-11-25 2022-06-02 三菱電機株式会社 映像同期装置、映像同期方法、及び、映像同期プログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030210329A1 (en) * 2001-11-08 2003-11-13 Aagaard Kenneth Joseph Video system and methods for operating a video system
JP4238586B2 (ja) 2003-01-30 2009-03-18 ソニー株式会社 キャリブレーション処理装置、およびキャリブレーション処理方法、並びにコンピュータ・プログラム
US20060125920A1 (en) * 2004-12-10 2006-06-15 Microsoft Corporation Matching un-synchronized image portions
US7860162B2 (en) * 2005-09-29 2010-12-28 Panasonic Corporation Object tracking method and object tracking apparatus
JP2007202957A (ja) 2006-02-06 2007-08-16 Toshiba Corp 壁運動測定装置及び医用画像診断装置
US20080143875A1 (en) * 2006-08-17 2008-06-19 Scott Stacey L Method and system for synchronous video capture and output
JP2008199557A (ja) * 2007-02-16 2008-08-28 Nec Corp ストリーム同期再生システム、ストリーム同期再生装置、同期再生方法、及び同期再生用プログラム
US7739034B2 (en) * 2007-04-17 2010-06-15 Itt Manufacturing Enterprises, Inc. Landmark navigation for vehicles using blinking optical beacons
JP4986886B2 (ja) * 2008-03-03 2012-07-25 オリンパスイメージング株式会社 撮像装置、画像再生装置、撮影制御方法及び画像再生方法
DE102008017933B4 (de) * 2008-04-08 2012-04-26 Baumer Optronic Gmbh Verfahren und Vorrichtung zur Synchronisation von Kamerasystemen
JP4497236B2 (ja) * 2008-08-11 2010-07-07 オムロン株式会社 検出用情報登録装置、電子機器、検出用情報登録装置の制御方法、電子機器の制御方法、検出用情報登録装置制御プログラム、電子機器の制御プログラム
US8326087B2 (en) 2008-11-25 2012-12-04 Xerox Corporation Synchronizing image sequences
JP5652391B2 (ja) * 2009-05-07 2015-01-14 コニカミノルタ株式会社 ステレオ画像取得装置
US20110063446A1 (en) * 2009-09-14 2011-03-17 Mcmordie David Saccadic dual-resolution video analytics camera
KR20110047814A (ko) * 2009-10-30 2011-05-09 한국전자통신연구원 동영상 시스템에서 동영상 데이터 분할 장치 및 방법
JP5517668B2 (ja) * 2010-02-19 2014-06-11 キヤノン株式会社 通信装置、撮像装置及びそれらの制御方法、プログラム並びに記憶媒体
JP2012070336A (ja) 2010-09-27 2012-04-05 Nikon Corp 撮影装置,撮影システムおよび撮影制御装置
KR101720190B1 (ko) * 2010-11-04 2017-03-27 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
US8718748B2 (en) * 2011-03-29 2014-05-06 Kaliber Imaging Inc. System and methods for monitoring and assessing mobility

Also Published As

Publication number Publication date
CN103685932A (zh) 2014-03-26
CN103685932B (zh) 2018-06-26
JP2014064135A (ja) 2014-04-10
US9485426B2 (en) 2016-11-01
US20140078332A1 (en) 2014-03-20
KR20140038308A (ko) 2014-03-28
KR101426878B1 (ko) 2014-08-05

Similar Documents

Publication Publication Date Title
JP5803868B2 (ja) 動画処理装置、動画処理方法及びプログラム
KR101321969B1 (ko) 화상 처리 시스템 및 방법, 화상 처리 장치 및 방법, 촬상장치 및 방법, 프로그램 기록 매체, 및 프로그램
US20110001800A1 (en) Image capturing apparatus, image processing method and program
JP6216169B2 (ja) 情報処理装置、情報処理方法
US20140337742A1 (en) Method, an apparatus and a computer program for determination of an audio track
JP2017103542A (ja) 同期装置、同期方法及び同期プログラム
JPWO2009150827A1 (ja) コンテンツ編集装置
JP2014064135A5 (ja) 動画処理装置、動画処理方法及びプログラム
US10269389B2 (en) Video processing apparatus, video processing method, and program
JP2014064109A (ja) 再生制御装置、再生制御方法及びプログラム
JP6229356B2 (ja) 撮像装置、撮像方法及びプログラム
JP6249078B2 (ja) 再生制御装置、再生制御方法及びプログラム
JP6485238B2 (ja) タギング装置、タギングシステム、タギング方法及びプログラム
WO2020138258A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP6427859B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2016178597A (ja) 動画像同期再生システム及び動画像同期再生方法
US9536566B2 (en) Video processing device, video processing method, and recording medium
KR102334503B1 (ko) 다초점 영상 재생 장치 및 방법
JP2017050642A (ja) 制御装置及びその制御方法、コンピュータプログラム
JP2017184132A (ja) 画像処理装置及び画像処理方法
JP6362735B2 (ja) 撮像装置、撮像装置の制御方法及び制御プログラム
JP6169963B2 (ja) 撮像装置及び撮像装置の制御方法
JP2017184131A (ja) 画像処理装置及び画像処理方法
JP2014216774A (ja) 情報処理装置、画像表示システム、画像表示方法及びプログラム
JP2012194347A (ja) 音声再生装置及び撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140919

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140919

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20140925

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141120

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20141127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150817

R150 Certificate of patent or registration of utility model

Ref document number: 5803868

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150