JP5803868B2 - 動画処理装置、動画処理方法及びプログラム - Google Patents
動画処理装置、動画処理方法及びプログラム Download PDFInfo
- Publication number
- JP5803868B2 JP5803868B2 JP2012207373A JP2012207373A JP5803868B2 JP 5803868 B2 JP5803868 B2 JP 5803868B2 JP 2012207373 A JP2012207373 A JP 2012207373A JP 2012207373 A JP2012207373 A JP 2012207373A JP 5803868 B2 JP5803868 B2 JP 5803868B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- feature point
- moving image
- moving
- specifying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000000034 method Methods 0.000 claims description 88
- 238000003384 imaging method Methods 0.000 claims description 73
- 230000008569 process Effects 0.000 claims description 73
- 230000001360 synchronised effect Effects 0.000 claims description 73
- 238000001514 detection method Methods 0.000 claims description 64
- 230000008859 change Effects 0.000 claims description 49
- 238000009966 trimming Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000004397 blinking Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
- H04N5/06—Generation of synchronising signals
- H04N5/067—Arrangements or circuits at the transmitter end
- H04N5/073—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations
- H04N5/0733—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations for distributing synchronisation pulses to different TV cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
- H04N5/9205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal the additional signal being at least another television signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/93—Regeneration of the television signal or of selected parts thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
Description
これら撮影機器では、動画撮影の開始をトリガーとしてシャッター信号を送信する方法や、時刻情報を送信してお互いの撮影機器の時刻を合わせた上で、動画撮影の開始時刻であるシャッター時刻の情報を送信することにより、お互いを同期化する方法が採用されている(例えば、特許文献1参照)。
また、本発明の他の態様の動画処理装置は、複数の動画のフレーム内に共通して存在する所定の特徴点の移動方向を検出する特徴点検出手段と、前記特徴点検出手段により検出された前記所定の特徴点の動画内での移動方向が各々の動画で一致するフレームの位置を各々特定するフレーム特定手段と、前記フレーム特定手段により特定されたフレームの位置情報を用いて前記複数の動画についての同期化処理に関連する所定処理を実行させる実行制御手段と、を備えることを特徴とする。
以下、本発明の第1実施形態について、図面を用いて説明する。
[ハードウェア構成]
図1は、本発明の一実施形態に係る撮像再生制御装置1のハードウェアの構成を示すブロック図である。
撮像再生制御装置1は、例えばデジタルカメラとして構成される。
単位画像とは、動画像の処理単位となる画像であり、例えばフィールドやフレームが該当する。本実施形態では、単位画像としてフレームが採用されている。
CPU11は、例えば、後述する同期撮影処理のためのプログラム等、ROM12に記録されているプログラム、又は、記憶部19からRAM13にロードされたプログラムに従って各種の処理を実行する。
出力部17は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部19は、ハードディスクあるいはDRAM(Dynamic Random Access Memory)等で構成され、各種画像のデータを記憶する。
通信部20は、インターネットを含むネットワークを介して他のカメラ(図示せず)との間で行う通信を制御する。
図2は、このような撮像再生制御装置1の機能的構成のうち、同期撮影処理を実行するための機能的構成を示す機能ブロック図である。
同期撮影処理とは、選択された同期ポイントに基づいて、動画を撮影するタイミングを決定する。そして、決定された同期タイミングに基づいて同期撮影を行って、同期化処理を行う一連の処理をいう。
同期化処理とは、被写体の動きが、取得された判定条件を満たすか否かに応じて、各々のカメラ(撮像再生制御装置)で撮影された夫々の動画の同期フレームを決定し、夫々の同期フレームの時刻差に基づいてフレームを削除することで同期撮影をする一連の処理をいう。
を備えている。
指定方向受付部42は、検出すべき特徴点の移動方向をユーザが任意に指定した移動方向を受け付ける。
撮影方向検出部43は、同期撮影を行う複数のカメラの撮影方向の違いを検出する。
また、撮影方向検出部43は、被写体の方向に対するカメラの撮影方向を検出する。
この場合、特徴点検出部44は、被写体の検出対象部分に設けたLED(Light Emitting Diode)の光を検出することにより特徴点を検出する。検出対象部分に設けたLEDは、例えば、青色LEDにより構成される。また、特徴点検出部44は、一定間隔で点滅されたLEDの光を、特徴点として検出する。
また、フレーム特定部45は、特定された各々の撮影フレームの記録タイミングを一致させる手法とは異なる手法により複数のカメラで同期撮影を行って記録した複数の動画データに対して、上記共通する特徴点の検出及び変化状態の一致する撮影フレームの特定を行う。また、フレーム特定部45は、指定部位受付部41により受け付けられた部位の検出すべき移動方向を、検出されたカメラの撮影方向に基づいて決定する。また、フレーム特定部45は、指定方向受付部42により受け付けられた移動方向と、各カメラの撮影方向に基づいて、各カメラにおいて検出すべき特徴点の移動方向を決定する。また、フレーム特定部45は、撮影方向検出部43により検出された撮影方向の違いに基づいて、特徴点の変化状態が一致する撮影フレームの位置を各々のカメラで特定する。また、フレーム特定部45は、他の何らかの方法により複数のカメラで同期撮影を行って記録した複数の動画データに対して、特徴点検出部44による共通する特徴点の検出及びフレーム特定部45による変化状態の一致するフレームの特定を行う。
また、再生制御部47は、フレーム特定部45により特定されたフレームを基準として再生タイミングの一致制御を行う。
次に、撮像再生制御装置1の動作を説明する。
[同期撮影処理]
初めに、撮像再生制御装置1の動作におけるメインフローとなる同期撮影処理について説明する。
図3は、撮像再生制御装置1が実行する同期撮影処理の流れを示すフローチャートである。
同期撮影処理は、ユーザが同期撮影処理の開始を指示入力することに対応して実行される。
次に、同期撮影処理のステップS15において実行される同期化処理について説明する。
図4は、撮像再生制御装置1が実行する同期化処理の流れを示すフローチャートである。同期撮影処理において記憶部19に記憶された2つの動画は、お互いに最大Tm[秒]だけ時間がずれている可能性がある。Tm>(1/FPS(Frames Per Second))のとき、即ち、時間ずれが複数フレームに渡ることが見込まれるとき、以下の同期化処理を行うことにより、時間ずれを1フレーム以内に収めることができる。
例えば、同期ポイント候補として「アドレスからの始動」が選択されている場合の撮影方向毎のタイミング判定条件について説明する。
この場合、「正面(身体の正面)」のタイミング判定条件として、「ヘッドの移動ベクトルが停止状態からベクトルAに変化」することが設定されている。また、「後方(身体の側面)」のタイミング判定条件として、「ヘッドの大きさが大きく変化し始める」ことが設定されている。また、「斜めX度方向」のタイミング判定条件として、「左記ベクトルAをX度で補正した条件」が設定されている。同様に、「斜めY度方向」のタイミング判定条件も各々設定されている。
この処理では、特徴点検出部44は、まず、記録された動画データの画像の特徴点を検出する。特徴点検出部44により行われる特徴点の検出手法は問わないが、例えば、ROI(Region of interest)領域を自動検出し、その領域内からエッジ等の特徴点を検出する。そして、特徴点検出部44は、検出した特徴点の移動方向の変化を検出する。特徴点検出部44は、例えば、右に動いていたものが減速し、一瞬停止し、左に動き出すのを検出することにより移動方向の変化を検出する。
次に、本発明の第2実施形態に係る撮像再生制御装置1について説明する。
第2実施形態に係る撮像再生制御装置1は、第1実施形態に係る撮像再生制御装置1と基本的に同様のハードウェア構成を取ることができる。したがって、図1は、第2実施形態に係る撮像再生制御装置1のハードウェアの構成を示すブロック図でもある。
また、第2実施形態に係る撮像再生制御装置1は、第1実施形態に係る撮像再生制御装置1と基本的に同様の機能的構成を取ることができる。したがって、第2実施形態の撮像再生制御装置1では、第1実施形態の撮像再生制御装置1が実行する図3の同期撮影処理、図4の同期化処理と同様の処理が行われる。但し、第1実施形態の撮像再生制御装置1は、各々のカメラが判断して自カメラの記憶部19内の動画データの先頭を所定フレーム分削除を行うという処理を行っているのに対し、第2実施形態の撮像再生制御装置1は、基準となる基準カメラが、他のカメラから動画データを集約して、基準カメラが必要に応じて動画データの先頭を所定フレーム分削除を行う点で相違する。
したがって、第2実施形態の撮像再生制御装置1では、図4の同期化処理に換えて、図6の同期化処理が採用される。次に、図6を参照して、同期撮影処理のステップS15において実行される第2実施形態の同期化処理について説明する。
図6は、撮像再生制御装置1が実行する第2実施形態の同期化処理の流れを示すフローチャートである。本実施形態では、同期化処理を行うカメラを基準カメラとし、この基準カメラと動画データ及び信号を送受信する他方のカメラを他のカメラとして説明する。基準カメラにより撮影された動画を「動画1」とし、他のカメラにより撮影された動画を「動画2」とする。
ステップS53において、撮影方向検出部43は、ステップS52において選択された動画データの撮影方向を検出して特定する。
この処理では、特徴点検出部44は、まず、選択された動画1の動画データの画像の特徴点を検出する。特徴点検出部44により行われる特徴点の検出手法は問わないが、例えば、ROI領域を自動検出し、その領域内からエッジ等の特徴点を検出する。そして、特徴点検出部44は、検出した特徴点の移動方向の変化を検出する。特徴点検出部44は、例えば、右に動いていたものが減速し、一瞬停止し、左に動き出すのを検出することにより移動方向の変化を検出する。
ここで、動画1と動画2の時間のずれはT1−T2であると想定される。これをフレーム差Dに換算すると、同期制御部46は、次式(1)によりフレーム差Dを算出することができる。
D=(T1−T2)×FPS・・・式(1)
特徴点検出部44は、複数のカメラで同期撮影を行う場合に、各々のカメラの撮影フレーム内に共通して存在する特徴点を検出する。
フレーム特定部45は、特徴点検出部44により検出された特徴点の変化状態が各々のカメラで一致する撮影フレームの位置を各々特定する。
同期制御部46は、フレーム特定部45により特定された各々の撮影フレームの位置情報を用いて前記複数のカメラで撮影される複数の動画を同期させる制御を実行する。
これにより、撮影時に高精度な時刻同期やシャッター同期を必要とせずに、複数の動画を同期して撮影することができる。したがって、通信の緻密な遅延時間を考慮せず、かつ、ハードウェアの支援なしに精度を求めた同期撮影を行うことができる。
これにより、様々な手法により記録された複数の動画データに対し、撮影時に高精度な時刻同期やシャッター同期を必要とせずに、複数の動画を同期して撮影することができる。したがって、通信の緻密な遅延時間を考慮せず、かつ、ハードウェアの支援なしに精度を求めた同期撮影を行うことができる。
特徴点検出部44は、複数の動画を同期再生する場合に、各々の動画のフレーム内に共通して存在する特徴点を検出する。フレーム特定部45は、特徴点検出部により検出された特徴点の変化状態が各々の動画で一致するフレームを各々特定する。
再生制御部47は、再生時において、フレーム特定部45により特定されたフレームの再生タイミングを一致させるよう同期再生を行う制御を実行する。
これにより、撮影時に高精度な時刻同期やシャッター同期を必要とせずに、複数の動画を同期して撮影した後に、同期再生することができる。したがって、通信の緻密な遅延時間を考慮せず、かつ、ハードウェアの支援なしに精度を求めた同期再生を行うことができる。
例えば、本発明は、画像処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、パーソナルコンピュータ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。
換言すると、図2の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像再生制御装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図2の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
[付記1]
複数のカメラで同期撮影を行う場合に、各々のカメラの撮影フレーム内に共通して存在する特徴点を検出する特徴点検出手段と、
前記特徴点検出手段により検出された特徴点の変化状態が各々のカメラで一致する撮影フレームの位置を各々特定するフレーム特定手段と、
前記フレーム特定手段により特定された各々の撮影フレームの位置情報を用いて前記複数のカメラで撮影される複数の動画を同期させる制御を実行する同期制御手段と、
を備えることを特徴とする撮像制御装置。
[付記2]
前記フレーム特定手段は、
前記特徴点の移動方向または移動方向の変化状態が各々のカメラで一致する撮影フレームを各々特定する
ことを特徴とする付記1に記載の撮像制御装置。
[付記3]
前記同期制御手段は、前記フレーム特定手段により特定された各々の撮影フレームの位置情報を用いて、これらの撮影フレームの再生タイミングが一致するように動画の記録または再生を行うことを特徴とする付記1または2に記載の撮像制御装置。
[付記4]
前記同期制御手段は、
前記フレーム特定手段により前記撮影フレームが特定される前から動画の記録を開始し、前記特定した撮影フレームを基準としてその前後の記録フレームのトリミングを行う
ことを特徴とする付記1乃至3のうち何れかに記載の撮像制御装置。
[付記5]
前記フレーム特定手段は、
他の何らかの手法により複数のカメラで同期撮影を行って記録した複数の動画データに対して、上記共通する特徴点の検出及び変化状態の一致する撮影フレームの特定を行い、
前記同期制御手段は、
前記フレーム特定手段により特定された撮影フレームを基準として記録フレームのトリミングの一致制御を行う
ことを特徴とする付記1乃至4のうち何れかに記載の撮像制御装置。
[付記6]
同期撮影を行う複数のカメラの撮影方向の違いを検出する撮影方向検出手段を更に備え、
前記フレーム特定手段は、
前記撮影方向検出手段により検出された撮影方向の違いに基づいて、前記特徴点の変化状態が一致する撮影フレームの位置を各々のカメラで特定する
ことを特徴とする付記1乃至5のうち何れかに記載の撮像制御装置。
[付記7]
前記撮影方向検出手段は、
被写体の方向に対するカメラの撮影方向を検出し、
前記特徴点検出手段は、前記撮影方向検出手段により検出された撮影方向に基づいて検出すべき前記特徴点の移動方向を決定する
ことを特徴とする付記6に記載の撮像制御装置。
[付記8]
検出すべき特徴点として被写体の部位をユーザが任意に指定した部位を受け付ける指定部位受付手段を更に備え、
前記フレーム特定手段は、
前記指定部位受付手段により受け付けられた部位の検出すべき移動方向を、検出されたカメラの撮影方向に基づいて決定する
ことを特徴とする付記7に記載の撮像制御装置。
[付記9]
検出すべき特徴点の移動方向をユーザが任意に指定した移動方向を受け付ける指定方向受付手段を更に備え、
前記フレーム特定手段は、前記指定方向受付手段により受け付けられた移動方向と、各カメラの撮影方向に基づいて、各カメラにおいて検出すべき特徴点の移動方向を決定する
ことを特徴とする付記1に記載の撮像制御装置。
[付記10]
前記同期制御手段は、
前記フレーム特定手段により特定された撮影フレームから各々の動画の記録を開始する
ことを特徴とする付記1に記載の撮像制御装置。
[付記11]
前記特徴点検出手段は、
被写体の検出対象部分に設けたLEDの光を検出することにより前記特徴点を検出する
ことを特徴とする付記1乃至10のうち何れかに記載の撮像制御装置。
[付記12]
前記特徴点検出手段は、
一定間隔で点滅された前記LEDの光を、前記特徴点として検出する
ことを特徴とする付記11に記載の撮像制御装置。
[付記13]
同期撮影を行う撮像制御装置が実行する撮影制御方法であって、
複数のカメラで同期撮影を行う場合に、各々のカメラの撮影フレーム内に共通して存在する特徴点を検出する特徴点検出ステップと、
前記特徴点検出ステップにより検出された特徴点の変化状態が各々のカメラで一致する撮影フレームの位置を各々特定するフレーム特定ステップと、
前記フレーム特定ステップにより特定された各々の撮影フレームの位置情報を用いて前記複数のカメラで撮影される複数の動画を同期させる制御を実行する同期制御ステップと、
を含むことを特徴とする撮像制御方法。
[付記14]
同期撮影を行う制御を実行するコンピュータを、
複数のカメラで同期撮影を行う場合に、各々のカメラの撮影フレーム内に共通して存在する特徴点を検出する特徴点検出手段、
前記特徴点検出手段により検出された特徴点の変化状態が各々のカメラで一致する撮影フレームの位置を各々特定するフレーム特定手段、
前記フレーム特定手段により特定された各々の撮影フレームの位置情報を用いて前記複数のカメラで撮影される複数の動画を同期させる制御を実行する同期制御手段、
として機能させることを特徴とするプログラム。
[付記15]
複数の動画を同期再生する場合に、各々の動画のフレーム内に共通して存在する特徴点を検出する特徴点検出手段と、
前記特徴点検出手段により検出された特徴点の変化状態が各々の動画で一致するフレームを各々特定するフレーム特定手段と、
再生時において、前記フレーム特定手段により特定された前記フレームの再生タイミングを一致させるよう同期再生を行う制御を実行する再生制御手段と、
を備えることを特徴とする再生制御装置。
[付記16]
他の何らかの方法により複数のカメラで同期撮影を行って記録した複数の動画データに対して、前記特徴点検出手段による前記共通する前記特徴点の検出及び前記フレーム特定手段による前記変化状態の一致するフレームの特定を行い、
前記再生制御手段は、
前記フレーム特定手段により特定されたフレームを基準として再生タイミングの一致制御を行う
ことを特徴とする付記15に記載の再生制御装置。
[付記17]
同期再生を行う制御を実行する再生制御装置が実行する再生制御方法であって、
複数の動画を同期再生する場合に、各々の動画のフレーム内に共通して存在する特徴点を検出する特徴点検出ステップと、
前記特徴点検出ステップにより検出された特徴点の変化状態が各々の動画で一致するフレームを各々特定するフレーム特定ステップと、
再生時において、前記フレーム特定ステップにより特定された前記フレームの再生タイミングを一致させるよう同期再生を行う制御を実行する再生制御ステップと、
を含むことを特徴とする再生制御方法。
[付記18]
同期再生を行う制御を実行するコンピュータを、
複数の動画を同期再生する場合に、各々の動画のフレーム内に共通して存在する特徴点を検出する特徴点検出手段、
前記特徴点検出手段により検出された特徴点の変化状態が各々の動画で一致するフレームを各々特定するフレーム特定手段、
再生時において、前記フレーム特定手段により特定された前記フレームの再生タイミングを一致させるよう同期再生を行う制御を実行する再生制御手段、
として機能させることを特徴とするプログラム。
Claims (18)
- 複数の動画のフレーム内に共通して存在する所定の特徴点を検出する特徴点検出手段と、
前記複数の動画における撮影方向の違いを特定する撮影方向特定手段と、
前記撮影方向特定手段により特定された撮影方向の違いを考慮して、前記特徴点検出手段により検出された前記所定の特徴点の動画内での所定の変化状態が各々の動画で一致するフレームの位置を各々の動画で特定するフレーム特定手段と、
前記フレーム特定手段により特定されたフレームの位置情報を用いて前記複数の動画についての同期化処理に関連する所定処理を実行させる実行制御手段と、
を備えることを特徴とする動画処理装置。 - 前記撮影方向特定手段は、前記所定の特徴点を有する被写体に対する各動画の撮影方向を特定し、
前記フレーム特定手段は、前記撮影方向特定手段により特定された各動画の撮影方向に基づいて各動画内において検出すべき前記所定の特徴点の変化状態を決定するとともに、各動画内における特徴点の変化状態が決定された変化状態と一致するフレームの位置を各々の動画で特定する
ことを特徴とする請求項1に記載の動画処理装置。 - 検出すべき特徴点としてユーザが任意に指定した被写体の部位を受け付ける指定部位受付手段を更に備え、
前記フレーム特定手段は、前記指定部位受付手段により受け付けられた部位の動画内での所定の変化状態が各々の動画で一致するフレームの位置を各々の動画で特定する ことを特徴とする請求項2に記載の動画処理装置。 - 前記特徴点検出手段は、前記所定の特徴点の移動方向または移動方向の変化状態を検出し、
前記フレーム特定手段は、前記撮影方向特定手段により特定された撮影方向の違いを考慮して、前記特徴点検出手段により検出された前記所定の特徴点の移動方向または移動方向の変化状態が各々の動画で一致するフレームの位置を各々の動画で特定する
ことを特徴とする請求項1乃至3のいずれかに記載の動画処理装置。 - 前記フレーム特定手段によりフレームの位置を特定する条件となる前記所定の変化状態を、複数の動画で共通化することにより、前記実行制御手段により実行させる前記所定処理のタイミングを複数の動画で同期させる同期制御手段と、
を更に備えることを特徴とする請求項1乃至4のいずれかに記載の動画処理装置。 - 前記実行制御手段は、動画の記録または再生を制御し、
前記同期制御手段は、前記フレーム特定手段により特定された各々のフレームの位置情報を用いて、これらのフレームの再生タイミングが複数の動画で一致するように前記実行制御手段により実行させる動画の記録または再生を制御することを特徴とする請求項5に記載の動画処理装置。 - 前記実行制御手段は、動画の記録フレームのトリミングを制御し、
前記同期制御手段は、前記フレーム特定手段により前記フレームが特定される前から動画の記録を開始し、前記特定した撮影フレームを基準としてその前後の記録フレームのトリミングを行うように前記実行制御手段を制御することを特徴とする請求項5に記載の動画処理装置。 - 複数のカメラで同期撮影を行う場合に、
前記同期制御手段は、前記フレーム特定手段によりフレームの位置を特定する条件となる前記所定の変化状態を、複数のカメラで共通化し、
前記撮影方向特定手段は、同期撮影を行う複数のカメラの撮影方向の違いを検出し、
前記特徴点検出手段は、複数のカメラの撮影フレーム内に共通して存在する所定の特徴点を検出し、
前記フレーム特定手段は、前記撮影方向特定手段により検出された撮影方向の違いを考慮して、前記特徴点検出手段により検出された前記所定の特徴点の前記所定の変化状態が複数のカメラで一致する撮影フレームの位置を各々のカメラで特定し、
前記実行制御手段は、前記フレーム特定手段により特定された撮影フレームの位置情報を用いて複数のカメラで同期した動画の撮影処理を制御する
ことを特徴とする請求項5乃至7のいずれかに記載の動画処理装置。 - 複数の動画のフレーム内に共通して存在する所定の特徴点の移動方向を検出する特徴点検出手段と、
前記特徴点検出手段により検出された前記所定の特徴点の動画内での移動方向が各々の動画で一致するフレームの位置を各々特定するフレーム特定手段と、
前記フレーム特定手段により特定されたフレームの位置情報を用いて前記複数の動画についての同期化処理に関連する所定処理を実行させる実行制御手段と、
を備えることを特徴とする動画処理装置。 - 前記複数の動画における撮影方向の違いを特定する撮影方向特定手段を更に備え、
前記フレーム特定手段は、前記撮影方向特定手段により特定された撮影方向の違いを考慮して、前記特徴点検出手段により検出された前記所定の特徴点の動画内での移動方向が各々の動画で一致するフレームの位置を各々の動画で特定する
ことを特徴とする請求項9に記載の動画処理装置。 - 前記撮影方向特定手段は、前記所定の特徴点を有する被写体に対する各動画の撮影方向を特定し、
前記フレーム特定手段は、前記撮影方向特定手段により特定された各動画の撮影方向に基づいて各動画内において検出すべき前記所定の特徴点の移動方向を決定するとともに、各動画内における特徴点の移動方向が決定された移動方向と一致するフレームの位置を各々の動画で特定する
ことを特徴とする請求項10に記載の動画処理装置。 - 検出すべき特徴点の移動方向としてユーザが任意に指定した移動方向を受け付ける指定方向受付手段を更に備え、
前記フレーム特定手段は、前記指定方向受付手段により受け付けられた移動方向と、各カメラの撮影方向に基づいて、各カメラにおいて検出すべき特徴点の移動方向を決定することを特徴とする請求項9乃至11のいずれかに記載の動画処理装置。 - 前記同期制御手段は、前記フレーム特定手段により特定された撮影フレームから各々の動画の記録を開始することを特徴とする請求項5に記載の動画処理装置。
- 前記特徴点検出手段は、被写体の検出対象部分に設けたLEDの一定間隔で点滅する光を前記特徴点として検出することを特徴とする請求項1乃至11のいずれかに記載の動画処理装置。
- 複数の動画のフレーム内に共通して存在する所定の特徴点を検出する特徴点検出処理と、
前記複数の動画における撮影方向の違いを特定する撮影方向特定処理と、
前記撮影方向特定処理により特定された撮影方向の違いを考慮して、前記特徴点検出処理により検出された前記所定の特徴点の動画内での所定の変化状態が各々の動画で一致するフレームの位置を各々の動画で特定するフレーム特定処理と、
前記フレーム特定処理により特定されたフレームの位置情報を用いて前記複数の動画についての同期化処理に関連する所定処理を実行させる実行制御処理と、
を含むことを特徴とする動画処理方法。 - 動画処理装置のコンピュータを、
複数の動画のフレーム内に共通して存在する所定の特徴点を検出する特徴点検出手段と、
前記複数の動画における撮影方向の違いを特定する撮影方向特定手段と、
前記撮影方向特定手段により特定された撮影方向の違いを考慮して、前記特徴点検出手段により検出された前記所定の特徴点の動画内での所定の変化状態が各々の動画で一致するフレームの位置を各々の動画で特定するフレーム特定手段と、
前記フレーム特定手段により特定されたフレームの位置情報を用いて前記複数の動画についての同期化処理に関連する所定処理を実行させる実行制御手段と、
として機能させることを特徴とするプログラム。 - 複数の動画のフレーム内に共通して存在する所定の特徴点の移動方向を検出する特徴点検出処理と、
前記特徴点検出処理により検出された前記所定の特徴点の動画内での移動方向が各々の動画で一致するフレームの位置を各々特定するフレーム特定処理と、
前記フレーム特定処理により特定されたフレームの位置情報を用いて前記複数の動画についての同期化処理に関連する所定処理を実行させる実行制御処理と、
を含むことを特徴とする動画処理方法。 - 動画処理装置のコンピュータを、
複数の動画のフレーム内に共通して存在する所定の特徴点の移動方向を検出する特徴点検出手段と、
前記特徴点検出手段により検出された前記所定の特徴点の動画内での移動方向が各々の動画で一致するフレームの位置を各々特定するフレーム特定手段と、
前記フレーム特定手段により特定されたフレームの位置情報を用いて前記複数の動画についての同期化処理に関連する所定処理を実行させる実行制御手段と、
として機能させることを特徴とするプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012207373A JP5803868B2 (ja) | 2012-09-20 | 2012-09-20 | 動画処理装置、動画処理方法及びプログラム |
KR1020130107959A KR101426878B1 (ko) | 2012-09-20 | 2013-09-09 | 동영상 처리 장치, 동영상 처리 방법, 및 기록 매체 |
US14/028,237 US9485426B2 (en) | 2012-09-20 | 2013-09-16 | Moving picture processing device for controlling moving picture processing |
CN201310426314.3A CN103685932B (zh) | 2012-09-20 | 2013-09-18 | 动态图像处理装置、动态图像处理方法以及记录介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012207373A JP5803868B2 (ja) | 2012-09-20 | 2012-09-20 | 動画処理装置、動画処理方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014064135A JP2014064135A (ja) | 2014-04-10 |
JP2014064135A5 JP2014064135A5 (ja) | 2014-11-06 |
JP5803868B2 true JP5803868B2 (ja) | 2015-11-04 |
Family
ID=50274085
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012207373A Active JP5803868B2 (ja) | 2012-09-20 | 2012-09-20 | 動画処理装置、動画処理方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US9485426B2 (ja) |
JP (1) | JP5803868B2 (ja) |
KR (1) | KR101426878B1 (ja) |
CN (1) | CN103685932B (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3316589B1 (en) * | 2015-06-25 | 2024-02-28 | Panasonic Intellectual Property Management Co., Ltd. | Video synchronization device and video synchronization method |
JP6628670B2 (ja) * | 2016-03-31 | 2020-01-15 | サクサ株式会社 | 画像処理装置及び画像処理方法 |
CN107767325A (zh) * | 2017-09-12 | 2018-03-06 | 深圳市朗形网络科技有限公司 | 视频处理方法、及装置 |
KR102025157B1 (ko) * | 2018-01-05 | 2019-09-25 | 주식회사 엘지유플러스 | 복수의 촬영 영상 전송을 위한 시스템 및 그 제어방법 |
JP7223978B2 (ja) * | 2018-05-23 | 2023-02-17 | パナソニックIpマネジメント株式会社 | 校正装置および校正方法 |
JP6828133B1 (ja) * | 2019-12-27 | 2021-02-10 | 株式会社ドワンゴ | コンテンツ生成装置、コンテンツ配信サーバ、コンテンツ生成方法、および、コンテンツ生成プログラム |
WO2022113212A1 (ja) * | 2020-11-25 | 2022-06-02 | 三菱電機株式会社 | 映像同期装置、映像同期方法、及び、映像同期プログラム |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030210329A1 (en) * | 2001-11-08 | 2003-11-13 | Aagaard Kenneth Joseph | Video system and methods for operating a video system |
JP4238586B2 (ja) | 2003-01-30 | 2009-03-18 | ソニー株式会社 | キャリブレーション処理装置、およびキャリブレーション処理方法、並びにコンピュータ・プログラム |
US20060125920A1 (en) * | 2004-12-10 | 2006-06-15 | Microsoft Corporation | Matching un-synchronized image portions |
US7860162B2 (en) * | 2005-09-29 | 2010-12-28 | Panasonic Corporation | Object tracking method and object tracking apparatus |
JP2007202957A (ja) | 2006-02-06 | 2007-08-16 | Toshiba Corp | 壁運動測定装置及び医用画像診断装置 |
US20080143875A1 (en) * | 2006-08-17 | 2008-06-19 | Scott Stacey L | Method and system for synchronous video capture and output |
JP2008199557A (ja) * | 2007-02-16 | 2008-08-28 | Nec Corp | ストリーム同期再生システム、ストリーム同期再生装置、同期再生方法、及び同期再生用プログラム |
US7739034B2 (en) * | 2007-04-17 | 2010-06-15 | Itt Manufacturing Enterprises, Inc. | Landmark navigation for vehicles using blinking optical beacons |
JP4986886B2 (ja) * | 2008-03-03 | 2012-07-25 | オリンパスイメージング株式会社 | 撮像装置、画像再生装置、撮影制御方法及び画像再生方法 |
DE102008017933B4 (de) * | 2008-04-08 | 2012-04-26 | Baumer Optronic Gmbh | Verfahren und Vorrichtung zur Synchronisation von Kamerasystemen |
JP4497236B2 (ja) * | 2008-08-11 | 2010-07-07 | オムロン株式会社 | 検出用情報登録装置、電子機器、検出用情報登録装置の制御方法、電子機器の制御方法、検出用情報登録装置制御プログラム、電子機器の制御プログラム |
US8326087B2 (en) | 2008-11-25 | 2012-12-04 | Xerox Corporation | Synchronizing image sequences |
JP5652391B2 (ja) * | 2009-05-07 | 2015-01-14 | コニカミノルタ株式会社 | ステレオ画像取得装置 |
US20110063446A1 (en) * | 2009-09-14 | 2011-03-17 | Mcmordie David | Saccadic dual-resolution video analytics camera |
KR20110047814A (ko) * | 2009-10-30 | 2011-05-09 | 한국전자통신연구원 | 동영상 시스템에서 동영상 데이터 분할 장치 및 방법 |
JP5517668B2 (ja) * | 2010-02-19 | 2014-06-11 | キヤノン株式会社 | 通信装置、撮像装置及びそれらの制御方法、プログラム並びに記憶媒体 |
JP2012070336A (ja) | 2010-09-27 | 2012-04-05 | Nikon Corp | 撮影装置,撮影システムおよび撮影制御装置 |
KR101720190B1 (ko) * | 2010-11-04 | 2017-03-27 | 삼성전자주식회사 | 디지털 촬영 장치 및 이의 제어 방법 |
US8718748B2 (en) * | 2011-03-29 | 2014-05-06 | Kaliber Imaging Inc. | System and methods for monitoring and assessing mobility |
-
2012
- 2012-09-20 JP JP2012207373A patent/JP5803868B2/ja active Active
-
2013
- 2013-09-09 KR KR1020130107959A patent/KR101426878B1/ko active IP Right Grant
- 2013-09-16 US US14/028,237 patent/US9485426B2/en active Active
- 2013-09-18 CN CN201310426314.3A patent/CN103685932B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN103685932A (zh) | 2014-03-26 |
CN103685932B (zh) | 2018-06-26 |
JP2014064135A (ja) | 2014-04-10 |
US9485426B2 (en) | 2016-11-01 |
US20140078332A1 (en) | 2014-03-20 |
KR20140038308A (ko) | 2014-03-28 |
KR101426878B1 (ko) | 2014-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5803868B2 (ja) | 動画処理装置、動画処理方法及びプログラム | |
KR101321969B1 (ko) | 화상 처리 시스템 및 방법, 화상 처리 장치 및 방법, 촬상장치 및 방법, 프로그램 기록 매체, 및 프로그램 | |
US20110001800A1 (en) | Image capturing apparatus, image processing method and program | |
JP6216169B2 (ja) | 情報処理装置、情報処理方法 | |
US20140337742A1 (en) | Method, an apparatus and a computer program for determination of an audio track | |
JP2017103542A (ja) | 同期装置、同期方法及び同期プログラム | |
JPWO2009150827A1 (ja) | コンテンツ編集装置 | |
JP2014064135A5 (ja) | 動画処理装置、動画処理方法及びプログラム | |
US10269389B2 (en) | Video processing apparatus, video processing method, and program | |
JP2014064109A (ja) | 再生制御装置、再生制御方法及びプログラム | |
JP6229356B2 (ja) | 撮像装置、撮像方法及びプログラム | |
JP6249078B2 (ja) | 再生制御装置、再生制御方法及びプログラム | |
JP6485238B2 (ja) | タギング装置、タギングシステム、タギング方法及びプログラム | |
WO2020138258A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP6427859B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2016178597A (ja) | 動画像同期再生システム及び動画像同期再生方法 | |
US9536566B2 (en) | Video processing device, video processing method, and recording medium | |
KR102334503B1 (ko) | 다초점 영상 재생 장치 및 방법 | |
JP2017050642A (ja) | 制御装置及びその制御方法、コンピュータプログラム | |
JP2017184132A (ja) | 画像処理装置及び画像処理方法 | |
JP6362735B2 (ja) | 撮像装置、撮像装置の制御方法及び制御プログラム | |
JP6169963B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP2017184131A (ja) | 画像処理装置及び画像処理方法 | |
JP2014216774A (ja) | 情報処理装置、画像表示システム、画像表示方法及びプログラム | |
JP2012194347A (ja) | 音声再生装置及び撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140919 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140919 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20140925 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141120 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20141127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150512 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150709 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150804 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150817 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5803868 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |