JP5942517B2 - 映像におけるカメラモーション解析のための方法及び装置 - Google Patents

映像におけるカメラモーション解析のための方法及び装置 Download PDF

Info

Publication number
JP5942517B2
JP5942517B2 JP2012065362A JP2012065362A JP5942517B2 JP 5942517 B2 JP5942517 B2 JP 5942517B2 JP 2012065362 A JP2012065362 A JP 2012065362A JP 2012065362 A JP2012065362 A JP 2012065362A JP 5942517 B2 JP5942517 B2 JP 5942517B2
Authority
JP
Japan
Prior art keywords
video segment
video
motion type
segment
merging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012065362A
Other languages
English (en)
Other versions
JP2012216200A (ja
Inventor
斐 李
斐 李
リィウ・ルゥジエ
浩 于
浩 于
馬場　孝之
孝之 馬場
上原　祐介
祐介 上原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JP2012216200A publication Critical patent/JP2012216200A/ja
Application granted granted Critical
Publication of JP5942517B2 publication Critical patent/JP5942517B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Description

本発明は、概して映像データを処理する分野に係り、特に、映像におけるカメラモーション解析のための方法及び装置に係る。
有効な映像の管理及び解析のためのシステムは、デジタル映像ファイルの激増とともに、日々多くの局面において人々に望まれている。このシステムを用いて、人々は、より便利にパーソナルコンピュータにおいて映像ファイルを整理することができ、都市交通は効果的に制御可能であり、更に、映像監視は容易に異常な出来事（不審者の侵入等）を検出することができる。
映像ファイルは、カメラ（場合により、特殊なカメラ、又は写真撮影可能な端末カメラ（例えば、携帯電話機、携帯型コンピュータ）等）を用いて撮影者による撮影により取得される。ズーム、パン等の幾つかの動作を、カメラは撮影中に必要に応じて行われることがあり、夫々の動作は、該当するカメラモーションのタイプに対応付けられる。一般的に、映像ファイルは、撮影者が撮影中に必要に応じて異なる調整（例えば、最初に移動、それから焦点合わせ、次に静止、等）を実行しうるので、様々なタイプのモーションを含みうる。
撮影者は、主として、関心のある対象の重要性の程度を鑑みて、カメラを調整する。例えば、撮影者が遠隔の人物の動作を撮影することに重点を置く場合、彼又は彼女は、場面内に表示される人物を拡大するよう、レンズが人物に向けられた後にカメラをズームインしてよい。これに対して、映像ファイルが焦点合わせモーション等のタイプを含む場合、そのモーションタイプに対応する映像の部分のコンテンツは、一般的に、特に撮影者が関心を持っており、従って、映像ファイルの重要なコンテンツ、ひいては、映像ファイルを表すことができる主要なコンテンツでありうる。この部分のコンテンツは、映像ファイルの要約として抽出され得る。
従って、カメラモーションの有効な検出は、映像管理及び解析システムにとって重要になっている。映像の取得の間のカメラのモーションタイプに基づき、映像は、より便利に閲覧され、映像の主要なコンテンツは、より容易に取得され、更に、映像ファイルの要約は、映像ファイルの更なる検索等に役立つよう便利に取得され得る。
既存の映像管理及び解析システムは、映像ファイルから映像撮影装置の様々なタイプのモーションを解析し、更に、高レベルの情報（例えば、撮影意図等）を取得することができる。しかし、先行技術における映像ファイルからの映像撮影装置のモーションタイプの解析に関し、解析対象は、専門の映像撮影者により撮影によって取得されて編集される標準の映像ファイルである。あいにく、映像撮影装置のモーションタイプが、先行技術の方法において、増加するアマチュア撮影者によって取得された映像ファイル、又は未編集の映像ファイルから解析される場合には、しばしば、十分に正確でない、すなわち、ユーザの実際の撮影意図を正確に反映することができない解析の結果が現れる。
上記の問題を鑑み、本発明の実施形態は、映像においてより有効且つ正確にカメラのモーションタイプを検出して、ユーザの撮影意図をより正確に反映するよう、映像におけるカメラモーション解析のための方法及び装置を提供する。
本発明の実施形態の側面に従って、映像におけるカメラモーション解析のための方法であって、前記映像から、有意な移動特性を有する映像セグメントと、有意な移動特性を有さない映像セグメントとを解析し、前記有意な移動特性を有さない映像セグメントの夫々について、先行する隣接映像セグメントに対応する第１のモーションタイプが後続の隣接映像セグメントに対応する第２のモーションタイプとは異なっている場合に、前記第１のモーションタイプ及び前記第２のモーションタイプの検出基準を下げ、前記有意な移動特性を有さない映像セグメントが、下げられた前記検出基準を満たすかどうかを判断し、判断結果に従って前記有意な移動特性を有さない映像セグメントを隣接する映像セグメントとマージする方法が提供される。
本発明の実施形態の他の側面に従って、映像におけるカメラモーション解析のための方法であって、前記映像から、該映像に含まれる映像セグメント及びそのカメラモーションタイプを解析し、前記映像の前記映像セグメントにおいて、予めセットされたマージルールを満たす映像セグメントを見つけ、前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定する方法が提供される。
本発明の実施形態の更なる側面に従って、映像におけるカメラモーション解析のための装置であって、前記映像から、有意な移動特性を有する映像セグメントと、有意な移動特性を有さない映像セグメントとを解析するよう構成される解析部と、前記有意な移動特性を有さない映像セグメントの夫々について、先行する隣接映像セグメントに対応する第１のモーションタイプが後続の隣接映像セグメントに対応する第２のモーションタイプとは異なっている場合に、前記第１のモーションタイプ及び前記第２のモーションタイプの検出基準を下げるよう構成される基準調整部と、前記有意な移動特性を有さない映像セグメントが、下げられた前記検出基準を満たすかどうかを判断するよう構成される判断部と、判断結果に従って前記有意な移動特性を有さない映像セグメントを隣接する映像セグメントとマージするマージ部とを有する装置が提供される。
本発明の実施形態の更なる側面に従って、映像におけるカメラモーション解析のための装置であって、前記映像から、該映像に含まれる映像セグメント及びそのカメラモーションタイプを解析するよう構成される解析部と、前記映像の前記映像セグメントにおいて、予めセットされたマージルールを満たす映像セグメントを見つけるよう構成される検出部と、前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定するよう構成されるマージ部とを有する装置が提供される。
更に、本発明の他の側面に従って、情報処理装置で実行される場合に、該情報処理装置に、本発明に従う、映像におけるカメラモーションタイプ解析のための上記の方法を実行させる機械読出可能なプログラムコードを含む記憶媒体も提供される。
更に、本発明の更なる側面に従って、情報処理装置で実行される場合に、該情報処理装置に、本発明に従う、映像におけるカメラモーションタイプ解析のための上記の方法を実行させる機械実行可能な命令を含むプログラムプロダクトも提供される。
本発明の実施形態に従う上記の方法の１つに従って、有意な移動特性を有さない映像セグメントに関し、当該映像セグメントの先行する隣接映像セグメント及び後続の隣接映像セグメントが異なるタイプのモーションを有する場合には、マージの間、最初に、前記先行する隣接映像セグメント及び前記後続の隣接映像セグメントに対応するモーションタイプの検出基準は下げられ、当該映像セグメントが下げられた前記検出基準を満たすかどうかが判断され、当該映像セグメントは、当該有意な移動特性を有さない映像セグメントを前記先行する隣接映像セグメント及び前記後続の隣接映像セグメントと夫々マージされる２つの部分にフレームの真ん中で直接に分ける代わりに、前記判断の結果に従って、前記先行する隣接映像セグメント及び／又は前記後続の隣接映像セグメントとマージされる。このように、マージにより得られる映像セグメントは、実際の状況、ひいては、ユーザの撮影意図により良く適応することができる。
本発明の実施形態に従う上記の他の方法に従って、映像セグメントは、解析により決定されたモーションタイプと映像セグメントとの間の対応関係を鑑みて、予めセットされたルールに従ってマージされ得る。これは、撮影の間に何人かのアマチュア撮影者によって導入された意図的でないモーションを考慮する場合と同等であり、すなわち、最終的な検出結果が実際の状況、ひいては、ユーザの撮影意図により良く適応することができるように、映像においてカメラモーションタイプを検出するときのユーザの実際の撮影意図と分割の細かさとの間のトレードオフと同等である。
本発明の実施形態に従う他の側面は、本発明の好ましい実施形態を十分に開示するが本発明を限定しない役割を果たす以下の詳細な説明において与えられる。
本発明の実施形態によれば、映像においてより有効且つ正確にカメラのモーションタイプを検出して、ユーザの撮影意図をより正確に反映することができる、映像におけるカメラモーション解析のための方法及び装置を提供することが可能となる。
本発明の実施形態に従う方法を表すフローチャートである。 本発明の実施形態に従う他の方法を表すフローチャートである。 本発明の実施形態に従う第１の装置を表す概略図である。 本発明の実施形態に従う第２の装置を表す概略図である。 本発明の実施形態に従う第３の装置を表す概略図である。 本発明の実施形態に従う第４の装置を表す概略図である。 本発明の実施形態に従う第５の装置を表す概略図である。 本発明の実施形態に従う第６の装置を表す概略図である。 本発明の実施形態に従う第７の装置を表す概略図である。 本発明の実施形態に従う第８の装置を表す概略図である。 本発明の実施形態に従う第９の装置を表す概略図である。 本発明の実施形態において使用される情報処理装置としてのパーソナルコンピュータの例となる構成を表すブロック図である。
本発明の実施形態の上記の及び他の目的及び利点は、図面を参照して、具体的な実施形態に関連して以下で更に記載される。図面において、同一の又は対応する技術的特徴又は構成要素は、同一の又は対応する参照符号を付して表されている。
本発明の実施形態について、図面を参照して、以下に記載する。
発明者は、本発明の実施の間、先行技術の方法における映像におけるカメラのモーションの解析が少なくとも以下の問題を抱えていることを認識していた。
一方では、先行技術における映像に含まれるカメラのモーションタイプの検出のために、最初に、推定される運動ベクトルからカメラ移動パラメータを計算し、次いで、夫々の移動パラメータが様々なタイプのモーションに対応する検出基準を満たすかどうかを、計算された移動パラメータから判断して、映像において有意な移動特性を有する映像セグメントを決定し、次いで、残りの映像セグメントを、該映像セグメントが前記様々なタイプのモーションの判断基準を満たさない場合に、有意な移動特性を有さない映像セグメントと見なし、最後に、有意な移動特性を有さない映像セグメントを有意な移動特性を有する映像セグメントマージすることが一般的である。マージ処理は、先行技術においては、一般的に次のように行われる。
有意な移動特性を有さない映像セグメントに関し、該有意な移動特性を有さない映像セグメントの先行する有意な移動特性を有する隣接セグメント及び後続の有意な移動特性を有する隣接セグメントに対応するモーションのタイプが同じである場合、この有意な移動特性を有さない映像セグメントをその先行する隣接映像セグメント及び後続の隣接映像セグメントと直接的にマージすれば十分である。例えば、前記有意な移動特性を有さない映像セグメントの先行する隣接映像セグメント及び後続の隣接セグメントのモーションタイプがいずれも焦点合わせである場合には、明らかに、当該有意な移動特性を有さない映像セグメントを夫々有意な移動特性を有する前記先行する隣接映像セグメント及び前記後続の隣接映像セグメントと直接的にマージし、マージにより得られた映像セグメントに対応するカメラモーションタイプを焦点合わせと決定すれば十分である。
そして、前記有意な移動特性を有さない映像セグメントの先行する有意な移動特性を有する隣接セグメント及び後続の有意な移動特性を有する隣接セグメントに対応するモーションのタイプが異なる場合、前記有意な移動特性を有さない映像セグメントは、フレームの真ん中で２つの部分に分けられ、第１の半分部分は前記先行する隣接映像セグメントとマージされ、第２の半分部分は前記後続の隣接映像セグメントとマージされる。例えば、映像は５０のフレームから成り、その解析から明らかなように、１番目から２０番目のフレームから成る映像セグメントのカメラモーションタイプは焦点合わせであり、３０番目から５０番目のフレームから成る映像セグメントのカメラモーションタイプは移動であり、２１番目から２９番目のフレームから成る映像セグメントは有意な移動特性を有さず、すなわち、該映像セグメントは様々なタイプのモーションのいずれの条件も満足しない。先行技術においては、この時点で、２１番目から２５番目のフレームは先行する隣接映像セグメントとマージされ、すなわち、１番目から２５番目のフレームが映像セグメントを構成し、該映像セグメントに対応するカメラモーションタイプは焦点合わせと決定される。そして、２６番目から２９番目のフレームは後続の隣接映像セグメントとマージされ、すなわち、２６番目から５０番目のフレームが映像セグメントを構成し、該映像セグメントに対応するカメラモーションタイプは移動と決定される。
しかし、これは必ずしも実際の状況ではない。例えば、アマチュアの映像撮影者が、映像を取得するために、最初に対象に焦点合わせ、対象の動きを追跡しようとする（すなわち、最初に焦点合わせ動作、次いで移動動作を行う）ような実際の状況が、上記の例において存在する。しかし、撮影者はズーム動作に全く慣れておらず、正確に且つ速やかに望むようにズームすることができず、代わりに、場合により、最初に高速な焦点合わせを行い、次いで、彼又は彼女がほぼ適切であると感じするとズーム速度を緩め、次いで、対象の動きを追跡するために移動を行うことによって、それを行うことがある。それにより、焦点合わせの移動特性は、取得された映像における対応する映像セグメント（場合により、上記の例における２１番目から２９番目のフレーム）において全く取るに足りないものとなり、他のモーション（例えば、移動、回転等）がこの時間期間において起こらず、結果として、映像セグメントは、既存の方法においては、有意な移動特性を有さない映像セグメントと決定されるべきである。しかし、実際には、この映像セグメントは、優先的に、先行する映像セグメントとマージされるべきであり、すなわち、１番目から２９番目のフレームから成る映像セグメントに対応するカメラ映像タイプを焦点合わせと識別することは、実際の状況及びユーザの撮影意図により良く適応する。しかし、これは、先行技術における方法の到達外であることは明らかである。
従って、本発明の実施形態は、第１に、この問題に対する対応する解決法を提供する。具体的に、図１を参照して、本発明の実施形態に従う、映像におけるカメラモーション解析のための方法は、以下のステップを含む。
Ｓ１０１で、有意な移動特性を有する映像セグメントと、有意な移動特性を有さない映像セグメントとが、解析ユニットによって、映像から解析される。
映像に関し、複数回の検出が、一般的に、カメラのモーションタイプを解析するために行われ、それにより、１つのモーションタイプが各回において検出される。具体的に、以下のステップが通常行われる。最初に、第１のモーションタイプに関し、映像の夫々のフレームの中でそのモーションタイプの基準を満足するフレームが存在するかどうかが判断され、存在する場合には、かかるフレームに対応する映像セグメントがこのモーションタイプと決定される。次いで、残りのフレーム、すなわち、第１のモーションタイプでないフレームが第２のモーションタイプの判断基準を満足するかどうかが判断され、以降同様に続く。最後に、検出が夫々の起こり得るモーションタイプ全てについて行われた後、次のような結果が現れる。幾つかの映像セグメントは、対応するモーションタイプによりタグを付されており、集合的に、有意な移動特性を有するセグメントと呼ばれる。また、様々なモーションタイプの判断基準のいずれも満足せず、結果として、有意な移動特性を有さないセグメントと見なされるフレームから成る幾つかのセグメントも存在する。その場合に、有意な移動特性を有さないセグメントは、有意な移動特性を有するセグメントとマージされる。
例えば、映像は５０のフレームから成り、３つのタイプのモーション、すなわち、ズーム、回転及び移動があるとする。かかる３つのタイプのモーションの検出は、その順序で行われる。最初に、ズームのモーションタイプが５０のフレームの夫々において検出され、ズームの特性が１番目から１５番目のフレームにおいて検出されたとする。その場合に、１番目から１５番目のフレームは映像セグメントを構成し、その映像セグメントに対応するカメラモーションタイプはズームである。
次に、回転のモーションタイプが１６番目から５０番目のフレームにおいて検出され、回転の特性が２５番目から４０番目のフレームにおいて検出されたとする。その場合に、２５番目から４０番目のフレームは映像セグメントを構成し、その映像セグメントに対応するカメラモーションタイプは回転である。
最後に、移動のモーションタイプが１６番目から２４番目のフレームと、４１番目から５０番目のフレームとにおいて検出され、移動の特性が４１番目から５０番目のフレームにおいて検出されたとする。その場合に、４１番目から５０番目のフレームは映像セグメントを構成することができ、その映像フレームに対応するカメラモーションタイプは移動である。
明らかに、１６番目から２４番目のフレームは、上記３つのタイプのモーションのいずれも満足せず、従って、有意な移動特性を有さない映像セグメントと見なされる。
特に、様々なモーションタイプの映像セグメントが以下のように検出され得る。
最初に、映像の各フレームは多数の画像ブロックに分割され、各画像ブロックの運動ベクトルは局所探索を通じて決定され得る。次いで、運動ベクトルのフィールドの大域的な動きは、６個のパラメータを含む以下のアフィンモデルにおいて記述され得る：
Figure 0005942517
（ｘ，ｙ）は画像ブロックの位置を表し、それは知られており、且つ、（ｕ，ｖ）は画像ブロックの運動ベクトルを表す。上記のモデルにおける６個のパラメータは、同じフレームにおける複数の画像ブロックの位置、及び最小二乗法におけるそれらの対応する運動ベクトル情報等から決定され得る。次いで、カメラの移動パラメータが、カメラの運動ベクトルと上記のモデルにおける６個のパラメータとの間の対応関係に従って、計算され得る。
特に、カメラの運動ベクトルと上記のモデルにおけるパラメータとの間の対応関係は、以下の通りである：
Figure 0005942517
上記の式（２）において、ｐａｎは、カメラの水平方向の動きに対応する移動パラメータを表し、ｔｉｌｔは、カメラの垂直方向の動きに対応する移動パラメータを表し、ｄｉｖは、カメラのズームに対応する移動パラメータを表し、ｒｏｔは、カメラの回転に対応する移動パラメータを表し、ｓｔａｔｉｃは、静止カメラに対応する移動パラメータを表す。
カメラの特定のフレームが特定のモーションタイプの特性を含むと判断されるとき、そのフレームのモーションのタイプの計算される移動パラメータ（当然、画像のフレームの移動パラメータは、そのフレームと隣接フレームとの間の移動パラメータとして表され得る。例えば、１番目のフレームと２番目のフレームとの間の移動パラメータは１番目のフレームの移動パラメータを表し、２番目のフレームと３番目のフレームとの間の移動パラメータは２番目のフレームの移動パラメータを表し、以降同様である。あるいは、その反対であってもよい。これは、本発明の実施形態の発明ポイントとは無関係であり、従って、繰り返しを避けるために記載されない。）は、モーションのタイプについて予めセットされた基準閾値と比較され得、検出条件が満足される場合は、フレームはそのモーションタイプである。さもなければ、フレームはそのモーションタイプではない。
Ｓ１０２で、有意な移動特性を有さない映像セグメントの夫々について、先行する隣接映像セグメントに対応する第１のモーションタイプが後続の隣接映像セグメントに対応する第２のモーションタイプとは異なる場合に、第１のモーションタイプ及び第２のモーションタイプの検出基準は基準調整ユニットによって下げられる。
明らかに、有意な移動特性を有さない映像セグメントの先行する隣接映像セグメント及び後続の隣接映像セグメントは両方とも、有意な移動特性を含む。そして、先行する隣接映像セグメント及び後続の隣接映像セグメントが同じモーションタイプを有する場合において、先行技術において見られるように、当該有意な移動特性を有さない映像セグメントを直接的にそれら２つの隣接映像セグメントとマージすれば十分でありうる。
先行する隣接映像セグメント及び後続の隣接映像セグメントが異なるモーションタイプを有する場合において、先行する隣接映像セグメントは第１のモーションタイプを有し、後続の隣接映像セグメントは第２のモーションタイプを有するとすれば、本発明の実施形態は、最初に第１のモーションタイプ及び第２のモーションタイプの検出基準が下げられるような新規のマージ方法を提供する。例えば、第１のモーションタイプの原の基準閾値はＡであり、その検出基準は、モーションのタイプの移動パラメータがＡを上回る場合にのみ第１のモーションタイプが決定され得るというものである。同様に、第２のモーションタイプの原の基準閾値はＢであり、その検出基準は、モーションのタイプの移動パラメータがＢを上回る場合にのみ第２のモーションタイプが決定され得るというものである。その場合に、それらの検出基準の低下は、第１のモーションタイプに対応する閾値をａに下げ且つ第２のモーションタイプに対応する閾値をｂに下げることと同等であり、このようにして、有意な移動特性を有さない映像セグメントは、第１のモーションタイプの移動パラメータがａを上回る場合にのみ第１のモーションタイプの下げられた検出基準を満たし、且つ、第２のモーションタイプの移動パラメータがｂを上回る場合にのみ第２のモーションタイプの下げられた検出基準を満たすと決定され得る。
Ｓ１０３で、有意な移動特性を有さない映像セグメントが下げられた検出基準を満たすかどうかが、判断ユニットによって判断される。
具体的に、同等に、有意な移動特性を有さない映像セグメントにおける夫々のフレームの第１のモーションタイプの移動パラメータがａを上回るかどうかが判断され、その全て又は大部分がａを上回る場合には、有意な移動特性を有さない映像セグメントは、第１のモーションタイプの下げられた検出基準を満たすと決定され得る。そうでない場合には、有意な移動特性を有さない映像セグメントは、第１のモーションタイプの下げられた検出基準を満たさないと決定され得る。同様に、有意な移動特性を有さない映像セグメントにおける夫々のフレームの第２のモーションタイプの移動パラメータがｂを上回るかどうかが判断され、その全て又は大部分がｂを上回る場合には、有意な移動特性を有さない映像セグメントは、第２のモーションタイプの下げられた検出基準満たすと決定され得る。そうでない場合には、有意な移動特性を有さない映像セグメントは、第２のモーションタイプの下げられた検出基準を満たさないと決定され得る。
Ｓ１０４で、有意な移動特性を有さない映像セグメントは、マージユニットによって、判断の結果に従って隣接映像セグメントとマージされる。
ステップＳ１０３における判断の結果は、映像セグメントをマージするための基準として使用され得る。具体的に、様々なシナリオが存在してよく、そのうちの１つにおいて、有意な移動特性を有さない映像セグメントが一方のモーションタイプの下げられた検出基準のみを満たすとすると、有意な移動特性を有さない映像セグメントは、そのモーションタイプに対応する隣接映像セグメントとマージされ得る。例えば、有意な移動特性を有さない映像セグメントが第１のモーションタイプの下げられた検出基準のみを満たす場合に、有意な移動特性を有さない映像セグメントは、先行する隣接映像セグメントとマージされ得る。有意な移動特性を有さない映像セグメントが第２のモーションタイプの下げられた検出基準のみを満たす場合に、有意な移動特性を有さない映像セグメントは、後続の隣接映像セグメントとマージされ得る。
代替的に、他の場合において、有意な移動特性を有さない映像セグメントが第１及び第２の両方のモーションタイプの下げられた検出基準を満たすとすると、有意な移動特性を有さない映像セグメントは、前記下げられた検出基準を満たす範囲に従って隣接映像セグメントとマージされ得る。すなわち、有意な移動特性を有さない映像セグメントが第１のモーションタイプの下げられた検出基準及び第２のモーションタイプの下げられた検出基準の両方を満たす場合には、それらは異なった範囲で満足されてよい。例えば、第１のモーションタイプであるフレームのうち９５％の移動パラメータは、第１のモーションタイプの下げられた検出基準を上回り、第２のモーションタイプであるフレームのうち８０％の移動パラメータは、第２のモーションタイプの下げられた検出基準を上回り、そして、その場合に、第１及び第２のモーションタイプの両方の検出基準は満足されるが、第１のモーションタイプは第２のモーションタイプよりも広い範囲で満足され、従って、有意な移動特性を有さない映像セグメントは先行する隣接映像セグメントとマージされ得る。当然、第１及び第２のモーションタイプの下げられた検出基準が同じ又は同等の範囲で満足される場合には、先行技術と同じ方法が採用されてよく、すなわち、有意な移動特性を有さない映像セグメントは２つの部分に分けられて、それにより、第１の半分部分は先行する隣接映像セグメントとマージされ、第２の半分部分は後続の隣接映像セグメントとマージされる。
更に、有意な移動特性を有さない映像セグメントが第１及び第２のモーションタイプの下げられた検出基準のいずれも満たさないようなシナリオが存在することがあり、このときもやはり、先行技術と同じ方法が採用されてよく、すなわち、有意な移動特性を有さない映像セグメントは２つの部分に分けられて、それにより、第１の半分部分は先行する隣接映像セグメントとマージされ、第２の半分部分は後続の隣接映像セグメントとマージされる。具体的に、映像セグメントは、フレームの真ん中で又は他のフレームで分けられ得る。例えば、それは３分の１の時点で分けられてよく、それにより、第１の３分の１の部分は第１の半分部分と見なされ、残りの３分の２の部分は第２の半分部分と見なされ、以降同様である。
特に、上記の例では、１６番目から２４番目のフレームから成る映像セグメントが有意な移動特性を有さない映像セグメントとして検出され、その場合に、それの先行する隣接映像セグメントは１番目から１５番目のフレームから成る映像セグメントであり、対応する第１のモーションタイプはズームであり、且つ、それの後続の隣接映像セグメントは２５番目から４０番目のフレームから成る映像セグメントであり、対応する第２のモーションタイプは回転である。従って、有意な移動特性を有さない映像セグメントがマージされるとき、最初に、ズーム及び回転の基準閾値が下げられ、次いで、１６番目から２４番目のフレームのズームモーションのパラメータがズームに係る下げられた基準閾値を上回るかどうかが判断され、下げられた基準閾値を上回る場合には、それらはズームに係る下げられた基準を満たす。そして、同時に、１６番目から２４番目のフレームの回転モーションのパラメータが回転に係る下げられた検出基準を上回るかどうかも判断され、下げられた検出基準を上回る場合には、それらは回転に係る下げられた基準を満たす。
特に、マージの間、１６番目から２４番目のフレームから成る映像セグメントがズームに係る下げられた検出基準のみを満たす場合、１６番目から２４番目のフレームから成る映像セグメントは１番目から１５番目のフレームから成る映像セグメントとマージされ得る。すなわち、１番目から２４番目のフレームが映像フレームを構成する。そして、マージにより得られた映像セグメントに対応するモーションのタイプはズームである。同様に、１６番目から２４番目のフレームから成る映像セグメントが回転に係る下げられた検出基準のみを満たす場合、１６番目から２４番目のフレームから成る映像セグメントは２５番目から４０番目のフレームから成る映像セグメントとマージされ得る。すなわち、１６番目から４０番目のフレームが映像セグメントを構成する。そして、マージにより得られた映像セグメントのモーションのタイプは回転である。
１６番目から２４番目のフレームから成る映像セグメントがズームに係る下げられた検出基準及び回転に係る下げられた検出基準の両方を満たす場合、それら２つの基準が満足される範囲が決定され得る。例えば、９個全てのフレームのズームに係る移動パラメータがズームに係る下げられた検出基準を上回り、９個中７個のフレームのみが回転に係る移動パラメータについて回転に係る下げられた検出基準を上回る場合、それは、ズームに係る下げられた検出基準がより広い範囲で満足されることを示し、従って、１６番目から２４番目のフレームから成る映像セグメントは、１番目から１５番目のフレームから成る映像セグメントとマージされ得る。すなわち、１番目から２４番目のフレームが映像セグメントを構成する。そして、マージにより得られた映像セグメントに対応するモーションのタイプはズームである。これに反して、９個中７個のフレームのズームに係る移動パラメータがズームに係る下げられた検出基準を上回り、９個全てのフレームの回転に係る移動パラメータが回転に係る下げられた検出基準を上回る場合、それは、回転に係る下げられた検出基準がより広い範囲で満足されることを示し、従って、１６番目から２４番目のフレームから成る映像セグメントは、２５番目から４０番目のフレームから成る映像セグメントとマージされ得る。すなわち、１６番目から４０番目のフレームが映像セグメントを構成する。そして、マージにより得られた映像セグメントに対応するモーションのタイプは回転である。
１６番目から２４番目のフレームから成る映像セグメントがズームに係る下げられた検出基準及び回転に係る下げられた検出基準のいずれも満足しない場合、映像セグメントは２つの部分に分けられ、それにより、第１の半分部分は先行する隣接映像セグメントとマージされ、第２の半分部分は後続の隣接映像セグメントとマージされる。例えば、１６番目から１９番目のフレームは１番目から１５番目のフレームから成る映像セグメントとマージされる。すなわち、１番目から１９番目のフレームが映像セグメントを構成し、マージにより得られた映像セグメントに対応するモーションのタイプはズームである。また、２０番目から２４番目のフレームは２５番目から４０番目のフレームから成る映像セグメントとマージされる。すなわち、２０番目から４０番目のフレームが映像セグメントを構成し、マージにより得られた映像セグメントに対応するモーションのタイプは回転である。
当然、様々な具体的なマージ方法が更に可能であるが、ここでは挙げられない。
要約すると、本発明の実施形態に従う上記の方法において、有意な移動特性を有さない映像セグメントに関し、それの先行する隣接映像セグメント及び後続の隣接映像セグメントが異なるモーションタイプを有する場合、マージの間、最初に、それら２つの隣接映像セグメントに対応するモーションタイプの検出基準が下げられ、次いで、当該有意な移動特性を有さない映像セグメントが下げられた検出基準を満たすかどうかが判断され、当該有意な移動特性を有さない映像セグメントは、該有意な移動特性を有さない映像セグメントを隣接映像セグメントの夫々とマージされる２つの部分にフレームの真ん中で直接的に分ける代わりに、前記判断の結果に従ってマージされる。このようにして、マージにより得られた映像セグメントは、実際の状況、ひいてはユーザの撮影意図により良く適応することができる。
先行技術における側面の問題及び対応する解決法は、先に詳細に記載された。該問題に対処する一方で、本発明者は、先行技術における他の側面の問題も確認している。
先行技術におけるカメラモーション解析の方法においては、解析対象は、通常、専門の映像撮影者によって撮影されて処理されることで得られる標準の映像であるから、その解析原理は、可能な限り精細に映像を映像セグメントに分割し、それらの対応するモーションタイプを決定することである。しかし、以下の問題が先行技術においては考慮されていない。幾人からのアマチュア撮影者による撮影を通じて取得された映像は、撮影者の限られたレベル又は他の理由のために何らかの意図しないカメラモーションを免れないことがある。この場合において、そのような意図しないカメラモーションに対応する映像セグメントは、先行技術の検出方法においても別々に識別される。すなわち、そのような意図しないカメラモーションは先行技術においては識別され得ない。しかし、これは、明らかに、ユーザの撮影意図をよく適応させない。
上記の問題を鑑み、本発明の実施形態は、また、対応する解決法を提供する。特に、図２を参照して、本発明の実施形態は、映像におけるカメラモーション解析のための他の方法を提供する。
Ｓ２０１で、映像に含まれる映像セグメント及びそれらのカメラモーションタイプが、解析ユニットによって、映像から解析される。
映像に含まれる映像セグメント及びそれらの対応するカメラモーションタイプは、特に、先に記載された方法において解析され得る。その繰り返しの記載はここでは省略される。このステップにおいて記載される映像セグメントは、有意な移動特性を有さない映像セグメントを有意な移動特性を有する映像セグメントとマージすることにより得られた映像セグメントに相当する点に留意すべきである。すなわち、夫々の映像セグメントの対応するカメラモーションタイプは、予め決定されている。
Ｓ２０２で、映像の夫々の映像セグメントは、検出ユニットによって、予めセットされたマージルールを満足する映像セグメントを検索される。
特定のマージルールが経験的に予めセットされ得、次いで、夫々の映像セグメント及びそれらの対応するカメラモーションタイプが予め決定された後、マージルールを満足する映像セグメントがあるかどうかが判断され得る。
Ｓ２０３で、マージユニットによって、見つけられた映像セグメントがマージされ、マージにより得られた映像セグメントのモーションのタイプがマージルールに従って決定される。
マージされ得る映像の特定の特性と、マージにより得られた映像セグメントに対応するカメラモーションタイプとを含む情報が、マージルールにおいて設定され得る。従って、映像セグメントをマージし、マージにより得られた映像セグメントに対応するモーションのタイプをマージルールに従って決定することで十分である。
特に、マージルールは、映像セグメントの隣接関係、モーションのタイプ、存続期間等を考慮して設定され得、従って、映像の夫々の映像セグメントは、映像セグメントの隣接関係、モーションのタイプ、存続期間等に従って、予めセットされたマージルールを満足する映像セグメントを検索され得る。
具体的に、様々な起こり得るシナリオのうち幾つかの典型的なものについて以下で紹介する。
シナリオの１つにおいて、マージされる映像セグメントは、以下の条件下で検索される。時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、第１の映像セグメント及び第３の映像セグメントの両方のモーションタイプがズームであり、且つ、第２の映像セグメントのモーションタイプが、予めセットされた閾値よりも短い存続期間の間続く静止又は移動である場合、すなわち、ズームの２つのセグメントの間に存続期間が短い静止又は移動セグメントが存在する場合、それは、ユーザの主たる意図はズームであるべきだが、最初の動作が不十分な期間に行われたために、動作がポーズ後に続行すること、又はユーザが途中で焦点の位置に満足いかなかったために、動作が最初の動作に続く移動による調整の後に続行することを示す。従って、第１の映像セグメント第３の映像セグメントとの間の静止又は移動は意図しないカメラモーションに属すので、第１の映像セグメント、第２の映像セグメント及び前記第３の映像セグメントはマージされ得、マージにより得られた映像セグメントのモーションのタイプをマージルールはズームと決定され得る。すなわち、上記の条件を満たす３つのセグメントがズームのセグメントにマージされ得る。
他のシナリオにおいて、マージされる映像セグメントは、以下の条件下で検索される。時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、第１の映像セグメントのモーションタイプがズームであり、且つ、第２の映像セグメントのモーションタイプが、第１の予めセットされた閾値よりも短い存続期間の間続く移動であり、且つ、第３の映像セグメントのモーションタイプが、第１の予めセットされた閾値と同じ又は異なる第２の予めセットされた閾値よりも長い存続期間の間続く静止である場合、すなわち、ズームのセグメントと長い静止セグメントとの間に短い移動セグメントが存在する場合、それは、ユーザの主たる意図はズームインして、関心がある特定の場面を静止して撮影することであり、移動動作は、単に、ユーザが焦点の位置に満足いかなかった場合にユーザ自身によって行われる調整であることを示す。従って、第２の映像セグメント及び第３の映像セグメントはマージされ得、マージにより得られた映像セグメントのモーションのタイプは静止と決定され得る。すなわち、上記の条件を満たす移動セグメント及び静止セグメントが静止セグメントにマージされ得る。
更なる他のシナリオにおいて、マージされる映像セグメントは、以下の条件下で検索され得る。時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、第１の映像セグメントがズームであり、且つ、第２の映像セグメントのモーションタイプが、第１の予めセットされた閾値よりも短い存続期間の間続く静止であり、且つ、第３の映像セグメントのモーションタイプが、第１の予めセットされた閾値と同じ又は異なる第２の予めセットされた閾値よりも長い存続期間の間続く移動である場合、すなわち、ズームのセグメントと長い移動セグメントとの間に短い静止セグメントが存在する場合、それは、ユーザの主たる意図はズームインして、関心がある特定の場面を移動しながら撮影することであり、静止場面のセグメントはユーザの不慣れな動作又は他の理由により生じることを示す。従って、第２の映像セグメント及び第３の映像セグメントはマージされ得、マージにより得られた映像セグメントのモーションのタイプは移動と決定され得る。すなわち、上記の条件を満たす静止セグメント及び移動セグメントが移動セグメントにマージされ得る。
更なるシナリオにおいて、マージされる映像セグメントは、以下の条件下で検索される。同様に、時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、第１の映像セグメントがズームであり、且つ、第２の映像セグメントのモーションタイプが、第１の予めセットされた閾値よりも短い存続期間の間続く第１の方向における移動であり、且つ、第３の映像セグメントのモーションタイプが、第１の予めセットされた閾値と同じ又は異なる第２の予めされた閾値よりも長い存続期間の間続く第１の方向とは異なる第２の方向における移動である場合、すなわち、ズームのセグメントと長い移動セグメントとの間に他の方向に向かって移動する短いセグメントが存在する場合、それは、ユーザの主たる意図はズームインして、関心がある特定の場面を移動しながら撮影することであり、他の方向に向かう移動は、ユーザの誤った動作又は他の理由により生じることを示す。従って、第２の映像セグメント及び第３の映像セグメントはマージされ得、マージにより得られた映像セグメントのモーションのタイプは第２の方向に向かう移動と決定され得る。すなわち、２つの異なる方向における移動セグメントは、より長い期間続く移動モーションに依存する方向における移動セグメントにマージされ得る。
当然、上記のマージルール以外の他のマージルールも実際には必要に応じて設定されてよく、例えば、上記の夫々のシナリオにおけるズームのセグメントの代わりに回転のセグメントをマージすることも適切である。要約すると、マージは、２つの映像セグメントの間に起こり得る移動の動作が存在する限り可能であり、異なるシナリオはここでは挙げられない。
本発明の実施形態において述べられる時間閾値は経験的に導出され、又は必要に応じて設定され得、ここでは制限されない点に留意すべきである。
要約すると、本発明の実施形態に従う、映像におけるカメラモーション解析のための上記の第２の方法によれば、映像セグメントは、映像セグメント間の対応関係と、予備的な解析から決定されるモーションのタイプとを考慮して、予めセットされたマージルールに従ってマージされ得る。これは、撮影の間に何人かのアマチュア撮影者によって導入された意図的でないモーションを考慮する場合と同等であり、すなわち、最終的な検出結果が実際の状況、ひいては、ユーザの撮影意図により良く適応して、カメラのモーションを解析する有効性を改善することができるように、映像においてカメラモーションタイプを検出するためのユーザの実際の撮影意図と分割の細かさとの間のトレードオフと同等である。
本発明の実施形態に従う、映像におけるカメラモーション解析のための第１の方法に対応して、本発明の実施形態は、更に、映像におけるカメラモーション解析のための装置を提供する。図３を参照して、装置は、映像から、有意な移動特性を有する映像セグメントと、有意な移動特性を有さない映像セグメントとを解析するよう構成される解析ユニット３０１と、有意な移動特性を有さない映像セグメントの夫々について、先行する隣接セグメントに対応する第１のモーションタイプが後続の隣接セグメントに対応する第２のモーションタイプとは異なる場合に、第１のモーションタイプ及び第２のモーションタイプの検出基準を下げるよう構成される基準調整ユニット３０２と、有意な移動特性を有さない映像セグメントが下げられた検出基準を満たすかどうかを判断するよう構成される判断ユニット３０３と、判断結果に従って有意な移動特性を有さない映像セグメントを隣接映像セグメントマージするよう構成されるマージユニット３０４とを有する。
特に、マージのための様々なシナリオが存在する。以下に例示する。
第１のシナリオにおいて、図４を参照すると、マージユニット３０４は、有意な移動特性を有さない映像セグメントが一方のモーションタイプの下げられた検出基準のみを満たす場合に、有意な移動特性を有さない映像セグメントをそのモーションタイプに対応する隣接映像セグメントとマージするよう構成される第１マージサブユニット３０４１を有することができる。
他のシナリオにおいて、図５を参照すると、マージユニット３０４は、有意な移動特性を有さない映像セグメントが第１及び第２の両方のモーションタイプの下げられた検出基準を満たす場合に、有意な移動特性を有さない映像セグメントを夫々の下げられた検出基準が満足される範囲に従って隣接映像セグメントの一方とマージするよう構成される第２マージサブユニット３０４２を有することができる。
更なるシナリオにおいて、図６を参照すると、マージユニット３０４は、有意な移動特性を有さない映像セグメントが第１及び第２のモーションタイプの下げられた検出基準のいずれも満たさない場合に、有意な移動特性を有さない映像セグメントを２つの部分に分けるよう構成される分割サブユニット３０４３と、第１の半分部分を先行する隣接映像セグメント、第２の半分部分を後続の隣接映像セグメントとマージするよう構成される第３マージサブユニット３０４４とを有することができる。
本発明の実施形態に従う上記の装置によれば、有意な移動特性を有さない映像セグメントに関し、それの先行する隣接映像セグメント及び後続の隣接映像セグメントが異なるモーションタイプを有する場合、マージの間、最初に、それら２つの隣接映像セグメントに対応するモーションタイプの検出基準が下げられ、次いで、当該有意な移動特性を有さない映像セグメントが下げられた検出基準を満たすかどうかが判断され、当該有意な移動特性を有さない映像セグメントは、該有意な移動特性を有さない映像セグメントを隣接映像セグメントの夫々とマージされる２つの部分にフレームの真ん中で直接的に分ける代わりに、前記判断の結果に従ってマージされる。このようにして、マージにより得られた映像セグメントは、実際の状況、ひいてはユーザの撮影意図により良く適応することができる。
本発明の実施形態に従う、映像におけるカメラモーション解析のための第２の方法に対応して、本発明の実施形態は、更に、映像におけるカメラモーション解析のための他の装置を提供する。図７を参照して、装置は、映像からそれに含まれる映像セグメント及びそれらのカメラモーションタイプを解析するよう構成される解析ユニット７０１と、映像の映像セグメントにおいて予めセットされたマージルールを満たす映像セグメントを見つけるよう構成される検出ユニット７０２と、見つけられた映像セグメントをマージし、マージにより得られた映像セグメントのモーションのタイプをマージルールに従って決定するよう構成されるマージユニット７０３とを有する。
具体的な実施において、検出ユニット７０２は、特に、映像セグメントの隣接関係、モーションのタイプ及び存続期間に従って、予めセットされたマージルールを満たす映像セグメントを見つけるよう構成され得る。
特に、図８を参照すると、検出ユニット７０２は、以下の条件下でマージされる映像セグメントを見つけるよう構成される第１の検出サブユニットを有することができる。時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、第１の映像セグメント及び第３の映像セグメントの両方のモーションタイプがズームであり、且つ、第２の映像セグメントのモーションタイプが、予めセットされた閾値よりも短い存続期間の間続く静止又は移動である場合、第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントは、予めセットされたマージルールを満たす。
これに対して、マージユニット７０３は、第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントをマージし、マージにより得られた映像セグメントのモーションのタイプをズームと決定するよう構成される第１マージサブユニット７０３１を有することができる。
あるいは、図９を参照すると、検出ユニット７０２は、以下の条件下でマージされる映像セグメントを見つけるよう構成される第２検出サブユニットを代替的に有することができる。時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、第１の映像セグメントのモーションタイプがズームであり、且つ、第２の映像セグメントのモーションタイプが、第１の予めセットされた閾値よりも短い存続期間の間続く移動であり、且つ、第３の映像セグメントのモーションタイプが、第２の予めセットされた閾値よりも長い存続期間の間続く静止である場合、第２の映像セグメント及び第３の映像セグメントは、予めセットされたマージルールを満たす。
これに対応して、マージユニット７０３は、第２の映像セグメント及び第３の映像セグメントをマージし、マージにより得られた映像セグメントのモーションのタイプを静止と決定するよう構成される第２マージサブユニット７０３２を有することができる。
更に、図１０を参照すると、検出ユニット７０２は、以下の条件下でマージされる映像セグメントを見つけるよう構成される第３検出サブユニット７０２３を代替的に有することができる。時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、第１の映像セグメントがズームであり、且つ、第２の映像セグメントのモーションタイプが、第１の予めセットされた閾値よりも短い存続期間の間続く静止であり、且つ、第３の映像セグメントのモーションタイプが、第２の予めセットされた閾値よりも長い存続期間の間続く移動である場合、第２の映像セグメント及び第３の映像セグメントは、予めセットされたマージルールを満たす。
これに対応して、マージユニット７０３は、第２の映像セグメント及び第３の映像セグメントをマージし、マージにより得られた映像セグメントのモーションのタイプを移動と決定するよう構成される第３マージサブユニット７０３３を有することができる。
更に、図１１を参照すると、検出ユニット７０２は、以下の条件下でマージされる映像セグメントを見つけるよう構成される第３検出サブユニット７０２４を代替的に有することができる。時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、第１の映像セグメントがズームであり、且つ、第２の映像セグメントのモーションタイプが、第１の予めセットされた閾値よりも短い存続期間の間続く第１の方向への移動であり、且つ、第３の映像セグメントのモーションタイプが、第２の予めされた閾値よりも長い存続期間の間続く第１の方向とは異なる第２の方向への移動である場合、第２の映像セグメント及び第３の映像セグメントは、予めセットされたマージルールを満たす。
これに対応して、マージユニット７０３は、第２の映像セグメント及び第３の映像セグメントをマージし、マージにより得られた映像セグメントのモーションのタイプを第２の方向に向かう移動と決定するよう構成される第４マージサブユニット７０３４を有することができる。
当然、実際の応用は、上記の幾つかの具体的なシナリオに限られず、マージルールは、実際には、必要に応じて柔軟に設定され得る。
本発明の実施形態に従う装置によれば、映像セグメントは、映像セグメント間の対応関係と、予備的な解析から決定されるモーションのタイプとを考慮して、予めセットされたマージルールに従ってマージされ得る。これは、撮影の間に何人かのアマチュア撮影者によって導入された意図的でないモーションを考慮する場合と同等であり、すなわち、最終的な検出結果が実際の状況、ひいては、ユーザの撮影意図により良く適応して、カメラのモーションを解析する有効性を改善することができるように、映像においてカメラモーションタイプを検出するためのユーザの実際の撮影意図と分割の細かさとの間のトレードオフと同等である。
更に、上記の一連の処理及び装置は、ソフトウェア及び／又はハードウェアにおいても具現され得る点に留意すべきである。ソフトウェア及び／又はハードウェアにおいて具現される場合において、ソフトウェアを構成するプログラムは、専用のハードウェア構造、例えば図１２に表される汎用のパーソナルコンピュータ１２００を用いて、記憶媒体又はネットワークからコンピュータにインストールされる。パーソナルコンピュータ１２００は、様々なプログラムが自身にインストールされる場合に、様々な機能を実行することができる。
図１２において、中央演算処理装置（ＣＰＵ）１２０１は、読出専用メモリ（ＲＯＭ）１２０２に記憶されている又は記憶部１２０８からランダムアクセスメモリ（ＲＡＭ）１２０３にロードされるプログラムに従って、様々な処理を実行する。ＲＡＭ１２０３には、更に、ＣＰＵ１２０１が様々な処理を実行する場合に必要とされるデータが、必要に応じて記憶されている。
ＣＰＵ１２０１、ＲＯＭ１２０２及びＲＡＭ１２０３は、互いにバス１２０４を介して接続されている。バス１２０４には、更に、入出力インターフェース１２０５が接続されている。
入出力インターフェース１２０５には、キーボード、マウス等を含む入力部１２０６と、ディスプレイ（例えば、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）等）、スピーカ等を含む出力部１２０７と、ハードディスク等を含む記憶部１２０８と、ネットワークインターフェースカード（例えば、ＬＡＮカード）、モデム等を含む通信部１２０９とが接続されている。通信部１２０９は、ネットワーク（例えば、インターネット）を介した通信処理を行う。
更に、ドライブユニット１２１０が、必要に応じて、入出力インターフェース１２０５へ接続される。リムーバブル媒体１２１１（例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等）が、必要に応じて、ドライブユニット１２１０に載置又は挿入され、それにより、媒体１２１１からフェッチされたコンピュータプログラムが必要に応じて記憶部１２０８にインストールされ得る。
上記の一連の処理がソフトウェアで実行される場合に、ソフトウェアを構成するプログラムは、ネットワーク（例えば、インターネット等）又は記憶媒体（例えば、リムーバブル媒体１２１１等）からインストールされる。
当業者には明らかなように、そのような記憶媒体は、プログラムが記憶されており且つユーザにプログラムを提供するよう装置とは別個に分配される図１２に表されるリムーバブル媒体１２１１に制限されない。リムーバブル媒体１２１１の例には、磁気ディスク（フロッピー（登録商標）ディスクを含む。）、光ディスク（ＣＤ−ＲＯＭ及びＤＶＤを含む。）、光磁気ディスク（ミニディスク（登録商標）を含む。）、及び半導体メモリがある。代替的に、記憶媒体は、プログラムが記憶されており且つ装置に組み込まれてユーザに分配されるＲＯＭ１２０２、記憶部１２０８に含まれるハードディスク等であってよい。
更に、上記の一連の処理におけるステップは、当然ながら、記載される順に時系列で実行されてよいが、必ずしも時系列で実行される必要はない点に留意すべきである。一部のステップは、同時に、又は互いから独立して、実行されてよい。
本発明及びその利点について詳細に記載してきたが、当然、様々な変更、置換及び変形が、添付の特許請求の範囲において定義される本発明の技術的範囲から逸脱することなく為されてよい。更に、語「有する（comprise）」、「含む（include）」及びそれらの活用形は、一連の要素を含む工程、方法、物又は装置がそれらの要素とともに、明示的には挙げられていない１又はそれ以上の要素、あるいは、その工程、方法、物又は装置に固有の要素を含むように、非排他的包含を網羅するよう意図される。別なふうに述べられない限り、「〜を有する／含む（comprise/include a(n)…）」との表現で定義される要素は、その要素を含む処理、方法、物又は装置において更なる同じ要素の存在を排除しない。
以上の実施形態に関し、更に以下の付記を開示する。
（付記１）
映像におけるカメラモーション解析のための方法であって、
前記映像から、有意な移動特性を有する映像セグメントと、有意な移動特性を有さない映像セグメントとを解析し、
前記有意な移動特性を有さない映像セグメントの夫々について、先行する隣接映像セグメントに対応する第１のモーションタイプが後続の隣接映像セグメントに対応する第２のモーションタイプとは異なっている場合に、前記第１のモーションタイプ及び前記第２のモーションタイプの検出基準を下げ、
前記有意な移動特性を有さない映像セグメントが、下げられた前記検出基準を満たすかどうかを判断し、
判断結果に従って前記有意な移動特性を有さない映像セグメントを隣接する映像セグメントとマージする
方法。
（付記２）
判断結果に従って前記有意な移動特性を有さない映像セグメントを隣接する映像セグメントとマージすることは、
前記有意な移動特性を有さない映像セグメントが、前記第１のモーションタイプ及び前記第２のモーションタイプの前記下げられた検出基準のうち一方の検出基準のみを満たす場合に、前記有意な移動特性を有さない映像セグメントを、前記一方の検出基準に対応する隣接する映像セグメントとマージすること
を含む、付記１に記載の方法。
（付記３）
判断結果に従って前記有意な移動特性を有さない映像セグメントを隣接する映像セグメントとマージすることは、
前記有意な移動特性を有さない映像セグメントが、前記第１のモーションタイプ及び前記第２のモーションタイプの前記下げられた検出基準の両方を満たす場合に、前記有意な移動特性を有さない映像セグメントを、前記下げられた検出基準を満たす範囲に従って隣接する映像セグメントとマージすること
を含む、付記１に記載の方法。
（付記４）
判断結果に従って前記有意な移動特性を有さない映像セグメントを隣接する映像セグメントとマージすることは、
前記有意な移動特性を有さない映像セグメントが、前記第１のモーションタイプ及び前記第２のモーションタイプの前記下げられた検出基準のうちいずれの検出基準も満たさない場合に、前記有意な移動特性を有さない映像セグメントを２つの部分に分け、
前記２つの部分のうち第１の半分部分を先行する隣接映像セグメントとマージし、前記２つの部分のうち第２の半分部分を後続の隣接映像セグメントとマージすること
を含む、付記１に記載の方法。
（付記５）
映像におけるカメラモーション解析のための方法であって、
前記映像から、該映像に含まれる映像セグメント及びそのカメラモーションタイプを解析し、
前記映像の前記映像セグメントにおいて、予めセットされたマージルールを満たす映像セグメントを見つけ、
前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定する
方法。
（付記６）
前記映像の前記映像セグメントにおいて、予めセットされたマージルールを満たす映像セグメントを見つけることは、
前記映像の前記映像セグメントの隣接関係、モーションタイプ及び存続期間に従って、前記予めセットされたマージルールを満たす映像セグメントを見つけること
を含む、付記５に記載の方法。
（付記７）
前記映像の前記映像セグメントの隣接関係、モーションタイプ及び存続期間に従って、前記予めセットされたマージルールを満たす映像セグメントを見つけることは、
時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、前記第１の映像セグメント及び前記第３の映像セグメントの両方のモーションタイプがズームであり、且つ、前記第２の映像セグメントのモーションタイプが静止又は移動であり、その存続期間が予めセットされた閾値よりも小さい場合、前記第１の映像セグメント、前記第２の映像セグメント及び前記第３の映像セグメントは、前記予めセットされたマージルールを満たすという条件に従って、マージされる映像セグメントを見つけること
を含み、
前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定することは、
前記第１の映像セグメント、前記第２の映像セグメント及び前記第３の映像セグメントをマージし、マージされた映像セグメントのモーションタイプをズームと決定すること
を含む、付記６に記載の方法。
（付記８）
前記映像の前記映像セグメントの隣接関係、モーションタイプ及び存続期間に従って、前記予めセットされたマージルールを満たす映像セグメントを見つけることは、
時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、前記第１の映像セグメントのモーションタイプがズームであり、且つ、前記第２の映像セグメントのモーションタイプが移動であり、その存続期間が第１の予めセットされた閾値よりも小さく、且つ、前記第３の映像セグメントのモーションタイプが静止であり、その存続期間が第２の予めセットされた閾値よりも大きい場合、前記第２の映像セグメント及び前記第３の映像セグメントは、前記予めセットされたマージルールを満たすという条件に従って、マージされる映像セグメントを見つけること
を含み、
前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定することは、
前記第２の映像セグメントを前記第３の映像セグメントとマージし、マージされた映像セグメントのモーションタイプを静止と決定すること
を含む、付記６に記載の方法。
（付記９）
前記映像の前記映像セグメントの隣接関係、モーションタイプ及び存続期間に従って、前記予めセットされたマージルールを満たす映像セグメントを見つけることは、
時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、前記第１の映像セグメントがズームであり、且つ、前記第２の映像セグメントのモーションタイプが静止であり、その存続期間が第１の予めセットされた閾値よりも小さく、且つ、前記第３の映像セグメントのモーションタイプが移動であり、その存続期間が第２の予めセットされた閾値よりも大きい場合、前記第２の映像セグメント及び前記第３の映像セグメントは、前記予めセットされたマージルールを満たすという条件に従って、マージされる映像セグメントを見つけること
を含み、
前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定することは、
前記第２の映像セグメントを前記第３の映像セグメントとマージし、マージされた映像セグメントのモーションタイプを移動と決定すること
を含む、付記６に記載の方法。
（付記１０）
前記映像の前記映像セグメントの隣接関係、モーションタイプ及び存続期間に従って、前記予めセットされたマージルールを満たす映像セグメントを見つけることは、
時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、前記第１の映像セグメントがズームであり、且つ、前記第２の映像セグメントのモーションタイプが第１の方向における移動であり、その存続期間が第１の予めセットされた閾値よりも小さく、且つ、前記第３の映像セグメントのモーションタイプが第２の方向における移動であり、その存続期間が第２の予めされた閾値よりも大きい場合、前記第２の映像セグメント及び前記第３の映像セグメントは、前記予めセットされたマージルールを満たすという条件に従って、マージされる映像セグメントを見つけること
を含み、
前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定することは、
前記第２の映像セグメントを前記第３の映像セグメントとマージし、マージされた映像セグメントのモーションタイプを前記第２の方向における移動と決定すること
を含む、付記６に記載の方法。
（付記１１）
映像におけるカメラモーション解析のための装置であって、
前記映像から、有意な移動特性を有する映像セグメントと、有意な移動特性を有さない映像セグメントとを解析するよう構成される解析部と、
前記有意な移動特性を有さない映像セグメントの夫々について、先行する隣接映像セグメントに対応する第１のモーションタイプが後続の隣接映像セグメントに対応する第２のモーションタイプとは異なっている場合に、前記第１のモーションタイプ及び前記第２のモーションタイプの検出基準を下げるよう構成される基準調整部と、
前記有意な移動特性を有さない映像セグメントが、下げられた前記検出基準を満たすかどうかを判断するよう構成される判断部と、
判断結果に従って前記有意な移動特性を有さない映像セグメントを隣接する映像セグメントとマージするマージ部と
を有する装置。
（付記１２）
前記マージ部は、
前記有意な移動特性を有さない映像セグメントが、前記第１のモーションタイプ及び前記第２のモーションタイプの前記下げられた検出基準のうち一方の検出基準のみを満たす場合に、前記有意な移動特性を有さない映像セグメントを、前記一方の検出基準に対応する隣接する映像セグメントとマージするよう構成される第１マージ部
を有する、付記１１に記載の装置。
（付記１３）
前記マージ部は、
前記有意な移動特性を有さない映像セグメントが、前記第１のモーションタイプ及び前記第２のモーションタイプの前記下げられた検出基準の両方を満たす場合に、前記有意な移動特性を有さない映像セグメントを、前記下げられた検出基準を満たす範囲に従って隣接する映像セグメントとマージする第２マージ部
を有する、付記１１に記載の装置。
（付記１４）
前記マージ部は、
前記有意な移動特性を有さない映像セグメントが、前記第１のモーションタイプ及び前記第２のモーションタイプの前記下げられた検出基準のうちいずれの検出基準も満たさない場合に、前記有意な移動特性を有さない映像セグメントを２つの部分に分けるよう構成される分割部と、
前記２つの部分のうち第１の半分部分を先行する隣接映像セグメントとマージし、前記２つの部分のうち第２の半分部分を後続の隣接映像セグメントとマージする第３マージ部と
を有する、付記１１に記載の装置。
（付記１５）
映像におけるカメラモーション解析のための装置であって、
前記映像から、該映像に含まれる映像セグメント及びそのカメラモーションタイプを解析するよう構成される解析部と、
前記映像の前記映像セグメントにおいて、予めセットされたマージルールを満たす映像セグメントを見つけるよう構成される検出部と、
前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定するよう構成されるマージ部と
を有する装置。
（付記１６）
前記検出部は、前記映像の前記映像セグメントの隣接関係、モーションタイプ及び存続期間に従って、前記予めセットされたマージルールを満たす映像セグメントを見つけるよう構成される、
付記１５に記載の装置。
（付記１７）
前記検出部は、
時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、前記第１の映像セグメント及び前記第３の映像セグメントの両方のモーションタイプがズームであり、且つ、前記第２の映像セグメントのモーションタイプが静止又は移動であり、その存続期間が予めセットされた閾値よりも小さい場合、前記第１の映像セグメント、前記第２の映像セグメント及び前記第３の映像セグメントは、前記予めセットされたマージルールを満たすという条件に従って、マージされる映像セグメントを見つけるよう構成される第１発見部
を有し、
前記マージ部は、
前記第１の映像セグメント、前記第２の映像セグメント及び前記第３の映像セグメントをマージし、マージされた映像セグメントのモーションタイプをズームと決定するよう構成される第１マージ部
を有する、付記１６に記載の装置。
（付記１８）
前記検出部は、
時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、前記第１の映像セグメントのモーションタイプがズームであり、且つ、前記第２の映像セグメントのモーションタイプが移動であり、その存続期間が第１の予めセットされた閾値よりも小さく、且つ、前記第３の映像セグメントのモーションタイプが静止であり、その存続期間が第２の予めセットされた閾値よりも大きい場合、前記第２の映像セグメント及び前記第３の映像セグメントは、前記予めセットされたマージルールを満たすという条件に従って、マージされる映像セグメントを見つけるよう構成される第２検出部
を有し、
前記マージ部は、
前記第２の映像セグメントを前記第３の映像セグメントとマージし、マージされた映像セグメントのモーションタイプを静止と決定するよう構成される第２マージ部
を有する、付記１６に記載の装置。
（付記１９）
前記検出部は、
時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、前記第１の映像セグメントがズームであり、且つ、前記第２の映像セグメントのモーションタイプが静止であり、その存続期間が第１の予めセットされた閾値よりも小さく、且つ、前記第３の映像セグメントのモーションタイプが移動であり、その存続期間が第２の予めセットされた閾値よりも大きい場合、前記第２の映像セグメント及び前記第３の映像セグメントは、前記予めセットされたマージルールを満たすという条件に従って、マージされる映像セグメントを見つけるよう構成される第３マージ部
を有し、
前記マージ部は、
前記第２の映像セグメントを前記第３の映像セグメントとマージし、マージされた映像セグメントのモーションタイプを移動と決定するよう構成される第３マージ部
を有する、付記１６に記載の装置。
（付記２０）
前記検出部は、
時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、前記第１の映像セグメントがズームであり、且つ、前記第２の映像セグメントのモーションタイプが第１の方向における移動であり、その存続期間が第１の予めセットされた閾値よりも小さく、且つ、前記第３の映像セグメントのモーションタイプが第２の方向における移動であり、その存続期間が第２の予めされた閾値よりも大きい場合、前記第２の映像セグメント及び前記第３の映像セグメントは、前記予めセットされたマージルールを満たすという条件に従って、マージされる映像セグメントを見つけるよう構成される第４検出部
を有し、
前記マージ部は、
前記第２の映像セグメントを前記第３の映像セグメントとマージし、マージされた映像セグメントのモーションタイプを前記第２の方向における移動と決定するよう構成される第４マージ部
を有する、付記１６に記載の装置。
３０１ 解析ユニット
３０２ 基準調整ユニット
３０３ 判断ユニット
３０４ マージユニット
３０４１ 第1マージサブユニット
３０４２ 第２マージサブユニット
３０４３ 分割ユニット
３０４４ 第３マージサブユニット
７０１ 解析ユニット
７０２ 検出ユニット
７０２１ 第１検出サブユニット
７０２２ 第２検出サブユニット
７０２３ 第３検出サブユニット
７０２４ 第４検出サブユニット
７０３ マージユニット
７０３１ 第１マージサブユニット
７０３２ 第２マージサブユニット
７０３３ 第３マージサブユニット
７０３４ 第４マージサブユニット

Claims (10)

  1. 映像におけるカメラモーション解析のための方法であって、
    前記映像から、有意な移動特性を有する映像セグメントと、有意な移動特性を有さない映像セグメントとを解析し、
    前記有意な移動特性を有さない映像セグメントの夫々について、先行する隣接映像セグメントに対応する第１のモーションタイプが後続の隣接映像セグメントに対応する第２のモーションタイプとは異なっている場合に、前記第１のモーションタイプ及び前記第２のモーションタイプの検出基準を下げ、
    前記有意な移動特性を有さない映像セグメントが、下げられた前記検出基準を満たすかどうかを判断し、
    判断結果に従って前記有意な移動特性を有さない映像セグメントが前記先行する隣接映像セグメント又は前記後続の隣接映像セグメントのいずれにマージされるべきかを決定し、前記有意な移動特性を有さない映像セグメントを前記決定された隣接する映像セグメントとマージする
    方法。
  2. 判断結果に従って前記有意な移動特性を有さない映像セグメントを隣接する映像セグメントとマージすることは、
    前記有意な移動特性を有さない映像セグメントが、前記第１のモーションタイプ及び前記第２のモーションタイプの前記下げられた検出基準のうち一方の検出基準のみを満たす場合に、前記有意な移動特性を有さない映像セグメントを、前記一方の検出基準に対応する隣接する映像セグメントとマージすること
    を含む、請求項１に記載の方法。
  3. 判断結果に従って前記有意な移動特性を有さない映像セグメントを隣接する映像セグメントとマージすることは、
    前記有意な移動特性を有さない映像セグメントが、前記第１のモーションタイプ及び前記第２のモーションタイプの前記下げられた検出基準の両方を満たす場合に、前記有意な移動特性を有さない映像セグメントを、前記下げられた検出基準を満たす範囲に従って隣接する映像セグメントとマージすること
    を含む、請求項１に記載の方法。
  4. 判断結果に従って前記有意な移動特性を有さない映像セグメントを隣接する映像セグメントとマージすることは、
    前記有意な移動特性を有さない映像セグメントが、前記第１のモーションタイプ及び前記第２のモーションタイプの前記下げられた検出基準のうちいずれの検出基準も満たさない場合に、前記有意な移動特性を有さない映像セグメントを２つの部分に分け、
    前記２つの部分のうち第１の半分部分を先行する隣接映像セグメントとマージし、前記２つの部分のうち第２の半分部分を後続の隣接映像セグメントとマージすること
    を含む、請求項１に記載の方法。
  5. 前記マージによって得られた映像セグメントを有する映像から、該映像に含まれる映像セグメント及びそのカメラモーションタイプを解析し、
    前記マージによって得られた映像セグメントを有する前記映像において、予めセットされたマージルールを満たす映像セグメントを見つけ、
    前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定する
    請求項１乃至４のうちいずれか一項に記載の方法。
  6. 前記映像の前記映像セグメントにおいて、予めセットされたマージルールを満たす映像セグメントを見つけることは、
    前記映像の前記映像セグメントの隣接関係、モーションタイプ及び存続期間に従って、前記予めセットされたマージルールを満たす映像セグメントを見つけること
    を含む、請求項５に記載の方法。
  7. 前記映像の前記映像セグメントの隣接関係、モーションタイプ及び存続期間に従って、前記予めセットされたマージルールを満たす映像セグメントを見つけることは、
    時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、前記第１の映像セグメント及び前記第３の映像セグメントの両方のモーションタイプがズームであり、且つ、前記第２の映像セグメントのモーションタイプが静止又は移動であり、その存続期間が予めセットされた閾値よりも小さい場合、前記第１の映像セグメント、前記第２の映像セグメント及び前記第３の映像セグメントは、前記予めセットされたマージルールを満たすという条件に従って、マージされる映像セグメントを見つけること
    を含み、
    前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定することは、
    前記第１の映像セグメント、前記第２の映像セグメント及び前記第３の映像セグメントをマージし、マージされた映像セグメントのモーションタイプをズームと決定すること
    を含む、請求項６に記載の方法。
  8. 前記映像の前記映像セグメントの隣接関係、モーションタイプ及び存続期間に従って、前記予めセットされたマージルールを満たす映像セグメントを見つけることは、
    時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、前記第１の映像セグメントのモーションタイプがズームであり、且つ、前記第２の映像セグメントのモーションタイプが移動であり、その存続期間が第１の予めセットされた閾値よりも小さく、且つ、前記第３の映像セグメントのモーションタイプが静止であり、その存続期間が第２の予めセットされた閾値よりも大きい場合、前記第２の映像セグメント及び前記第３の映像セグメントは、前記予めセットされたマージルールを満たすという条件に従って、マージされる映像セグメントを見つけること
    を含み、
    前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定することは、
    前記第２の映像セグメントを前記第３の映像セグメントとマージし、マージされた映像セグメントのモーションタイプを静止と決定すること
    を含む、請求項６に記載の方法。
  9. 前記映像の前記映像セグメントの隣接関係、モーションタイプ及び存続期間に従って、前記予めセットされたマージルールを満たす映像セグメントを見つけることは、
    時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、前記第１の映像セグメントがズームであり、且つ、前記第２の映像セグメントのモーションタイプが静止であり、その存続期間が第１の予めセットされた閾値よりも小さく、且つ、前記第３の映像セグメントのモーションタイプが移動であり、その存続期間が第２の予めセットされた閾値よりも大きい場合、前記第２の映像セグメント及び前記第３の映像セグメントは、前記予めセットされたマージルールを満たすという条件に従って、マージされる映像セグメントを見つけること
    を含み、
    前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定することは、
    前記第２の映像セグメントを前記第３の映像セグメントとマージし、マージされた映像セグメントのモーションタイプを移動と決定すること
    を含む、請求項６に記載の方法。
  10. 前記映像の前記映像セグメントの隣接関係、モーションタイプ及び存続期間に従って、前記予めセットされたマージルールを満たす映像セグメントを見つけることは、
    時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、前記第１の映像セグメントがズームであり、且つ、前記第２の映像セグメントのモーションタイプが第１の方向における移動であり、その存続期間が第１の予めセットされた閾値よりも小さく、且つ、前記第３の映像セグメントのモーションタイプが第２の方向における移動であり、その存続期間が第２の予めされた閾値よりも大きい場合、前記第２の映像セグメント及び前記第３の映像セグメントは、前記予めセットされたマージルールを満たすという条件に従って、マージされる映像セグメントを見つけること
    を含み、
    前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定することは、
    前記第２の映像セグメントを前記第３の映像セグメントとマージし、マージされた映像セグメントのモーションタイプを前記第２の方向における移動と決定すること
    を含む、請求項６に記載の方法。
JP2012065362A 2011-03-31 2012-03-22 映像におけるカメラモーション解析のための方法及び装置 Active JP5942517B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201110085676.1A CN102737383B (zh) 2011-03-31 2011-03-31 视频中的摄像机运动分析方法及装置
CN201110085676.1 2011-03-31

Publications (2)

Publication Number Publication Date
JP2012216200A JP2012216200A (ja) 2012-11-08
JP5942517B2 true JP5942517B2 (ja) 2016-06-29

Family

ID=46926749

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012065362A Active JP5942517B2 (ja) 2011-03-31 2012-03-22 映像におけるカメラモーション解析のための方法及び装置

Country Status (3)

Country Link
US (1) US8867892B2 (ja)
JP (1) JP5942517B2 (ja)
CN (1) CN102737383B (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10264194B2 (en) * 2015-03-26 2019-04-16 Sony Corporation Information processing device, information processing method, and program
WO2017159060A1 (ja) * 2016-03-18 2017-09-21 日本電気株式会社 情報処理装置、制御方法、及びプログラム
US10097765B2 (en) 2016-04-20 2018-10-09 Samsung Electronics Co., Ltd. Methodology and apparatus for generating high fidelity zoom for mobile video
US10643303B1 (en) * 2019-02-28 2020-05-05 Gopro, Inc. Systems and methods for providing punchouts of videos
US11755643B2 (en) 2020-07-06 2023-09-12 Microsoft Technology Licensing, Llc Metadata generation for video indexing
CN113099313B (zh) * 2021-03-31 2022-07-05 杭州海康威视数字技术股份有限公司 一种视频切片方法、装置及电子设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6449392B1 (en) * 1999-01-14 2002-09-10 Mitsubishi Electric Research Laboratories, Inc. Methods of scene change detection and fade detection for indexing of video sequences
JP2003503971A (ja) * 1999-07-06 2003-01-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオシーケンスの構造の自動抽出方法
US7058130B2 (en) * 2000-12-11 2006-06-06 Sony Corporation Scene change detection
KR100774296B1 (ko) * 2002-07-16 2007-11-08 삼성전자주식회사 움직임 벡터 부호화 방법, 복호화 방법 및 그 장치
CN1233147C (zh) 2002-12-24 2005-12-21 中国科学院计算技术研究所 在体育比赛视频中检测精彩片断的方法
US8107535B2 (en) * 2003-06-10 2012-01-31 Rensselaer Polytechnic Institute (Rpi) Method and apparatus for scalable motion vector coding
CN1206847C (zh) * 2003-06-30 2005-06-15 北京大学计算机科学技术研究所 一种基于内容的视频片段检索方法
GB0406512D0 (en) 2004-03-23 2004-04-28 British Telecomm Method and system for semantically segmenting scenes of a video sequence
CN100531352C (zh) * 2007-08-10 2009-08-19 西安交通大学 一种检测足球比赛视频精彩片段的方法
CN101478675A (zh) 2008-01-03 2009-07-08 中国科学院计算技术研究所 一种视频中语义事件检测方法及系统
US20090268097A1 (en) * 2008-04-28 2009-10-29 Siou-Shen Lin Scene change detection method and related apparatus according to summation results of block matching costs associated with at least two frames

Also Published As

Publication number Publication date
US8867892B2 (en) 2014-10-21
CN102737383A (zh) 2012-10-17
CN102737383B (zh) 2014-12-17
JP2012216200A (ja) 2012-11-08
US20120249812A1 (en) 2012-10-04

Similar Documents

Publication Publication Date Title
JP5942517B2 (ja) 映像におけるカメラモーション解析のための方法及び装置
EP3084577B1 (en) Selection and tracking of objects for display partitioning and clustering of video frames
JP6522595B2 (ja) トラッカ補助画像キャプチャ
US9398349B2 (en) Comment information generation device, and comment display device
US8452047B2 (en) Method and apparatus for recognizing a plural number of faces, and method and apparatus for registering face, and an image capturing method and system
JP6103080B2 (ja) ビデオにおけるカメラ動きの型を検出する方法および装置
JP2018533805A (ja) 顔位置追跡方法、装置及び電子デバイス
CN110691259B (zh) 视频播放方法、系统、装置、电子设备及存储介质
US20190222740A1 (en) Control apparatus, method of controlling image sensing device, and non-transitory computer-readable storage medium that control an image sensing device for tracking and sensing a tracking target
US8947600B2 (en) Methods, systems, and computer-readable media for detecting scene changes in a video
CN104767911A (zh) 图像处理方法及装置
WO2012016374A1 (en) Method for identifying objects in video
US20200134840A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
CN114882003A (zh) 一种检测相机的拍摄位姿变化的方法、介质及计算设备
US10650242B2 (en) Information processing apparatus, method, and storage medium storing a program that obtain a feature amount from a frame in accordance with a specified priority order
JP2007072789A (ja) 映像構造化方法及び装置及びプログラム
JP6299602B2 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
CN112347810B (zh) 移动目标物体的检测方法、装置及存储介质
JP2010154287A (ja) 撮像装置及びその追尾方法
JP2014085845A (ja) 動画処理装置、動画処理方法、プログラム、および集積回路
EP2570962A1 (en) Video analysis
CN114979608A (zh) 白平衡调整方法、装置、电子设备和存储介质
JP5003458B2 (ja) 画像信号処理装置、表示装置、画像信号処理方法、プログラム及び記録媒体
Kim et al. Intelligent video display to raise quality of experience on mobile devices
JP2008048075A (ja) 動き検出装置及び動き検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150917

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160509

R150 Certificate of patent or registration of utility model

Ref document number: 5942517

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150