JP4334977B2 - ビデオを自動的に編集するためのシステムおよび方法 - Google Patents
ビデオを自動的に編集するためのシステムおよび方法 Download PDFInfo
- Publication number
- JP4334977B2 JP4334977B2 JP2003375014A JP2003375014A JP4334977B2 JP 4334977 B2 JP4334977 B2 JP 4334977B2 JP 2003375014 A JP2003375014 A JP 2003375014A JP 2003375014 A JP2003375014 A JP 2003375014A JP 4334977 B2 JP4334977 B2 JP 4334977B2
- Authority
- JP
- Japan
- Prior art keywords
- sub
- shots
- shot
- video
- music
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Television Signal Processing For Recording (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Description
独立の音楽源に関連して、または関連せずにビデオデータシーケンスを自動的に編集するためのシステムおよび方法を説明する。このシステムの入力は、2つのメディアファイル、すなわち、1つのビデオファイルと1つの音楽ファイルである。ビデオファイルは、ビデオチャネルおよび音声チャネルから成る。したがって、実際には、3つの入力データシーケンス、すなわち、ビデオと音声(ビデオファイルからの)、および別個の、または独立の音楽ファイルが存在する。音楽に関連してビデオファイルを自動的に編集するのに、ビデオファイルが、まず、シーン、ショット、およびサブショットに階層式に分割される。次いで、メタデータ特徴が各サブショットから抽出される。以下に説明するとおり、そのような抽出されたサブショットメタデータは、動きの激しさ、カメラの動きのパターン(camera motion pattern)、色エントロピー情報、および音声データ(例えば、ビデオデータなどの音声チャネルからの発話(speech)、非発話(non−speech)、文の境界)のあらゆる組合せを含むことが可能である。
同様の符号が同様の要素を指す図面を参照すると、本発明が、適切なコンピューティング環境において実施されているのが示されている。必須ではないが、本発明は、パーソナルコンピュータによって実行される、プログラムモジュールなどのコンピュータ実行可能命令の一般的な文脈で説明する。プログラムモジュールには、一般に、特定のタスクを行う、または特定の抽象データタイプを実装するルーチン、プログラム、オブジェクト、構成要素、データ構造等が含まれる。
メタデータ抽出モジュール208は、ショット検出アルゴリズムを使用してビデオデータシーケンス204内のショット境界を検出する。説明のため、ビデオデータシーケンスvは、
シーン={シーンi,0≦i<K(SC)} (1)
で表わされる一連のシーンから成る。同様に、ビデオvも、一連のショットおよびサブショットとして、すなわち、
ショット={ショットi,0≦i<K(SH)} (2)
サブショット={サブショットi,0≦i<K(SS)} (3)
として表わすことができ、ただし、K(SC)、K(SH)、およびK(SS)は、それぞれ、ビデオvの中のシーン(「SC」)、ショット(「SH」)、およびサブショット(「SS」)である。LB(x)、RB(x)、およびLen(x)を使用して、対応する要素xの左境界/右境界、および長さをそれぞれ表わす。K(SS)の代わりにNを使用する。というのは、K(SS)が、以下の数式で非常に頻繁に使用されるからである。
特定されたシーン、ショット、およびサブショット210から、メタデータ抽出モジュール208は、ビデオメタデータ212を抽出する。詳細には、サブショットに関して、重要度(「Impt」)、動きの激しさ、およびサブショットが属するシーン(「SC」)およびショット(「SH」)のIDを含め、いくつかの特徴が、サブショットのコンテンツおよび時間的位置に従って抽出される。これらの抽出される特徴は、次のとおり表わされる。
Impt={impti,0≦i<N} (4)
動き={動きi,0≦i<N} (5)
SC={sci,0≦i<N},0≦sci<K(SC) (6)
SH={shi,0≦i<N},0≦shi<K(SH) (7)
メタデータ抽出モジュール208は、入力ビデオデータシーケンス204の中の音声チャネルから発話を検出する。例えば、発話セグメントは、付録の参照文献[3](参照により組み込まれている)に記載される技術を使用して特定される。詳細には、そのような例示的な技術を使用して、検出された音声を発話または非発話(例えば、音楽セグメントまたは雑音セグメント)として分類する。
ST={sti,0≦i<K(ST)} (8)
文の切れ目が、特定された発話セグメント間の相当に長い休止を探し出すことにより、特定された発話セグメントに関して検出され、これにより、文が特定される。
メタデータ抽出モジュール208が、入力音楽206からの多数の特徴214をセグメント化し、特定する。詳細には、入力音楽ファイルが、相当に強いビートまたはリズムの場所に従って「サブ音楽」、つまりクリップにセグメント化される。「ムード」の特徴が、サブ音楽から特定される。
サブ音楽={サブ音楽i,0≦i<M} (9)
によって表わされ、Mは、以下に説明する重要度基準に基づいて選択されたいくつかのサブショットを表わす。それぞれの計算されたサブ音楽の対応するムードは、
ムード={ムードi,0≦i<M} (10)
によって表わされる。各サブ音楽(最後のサブ音楽を除く)後のビートの強さは、
ビート={ビートi,0≦i<M−1} (11)
によって表わされる。
この時点で、図2を参照すると、入力ビデオシーケンス204のビデオ構造210およびメタデータ212(例えば、動きの激しさ、色エントロピー、音声文/エネルギー等)の態様が、ビデオデータシーケンスから抽出されている。さらに、音楽クリップ、つまりサブ音楽、リズム、およびムードの特徴214が、入力音楽206から抽出されている。コンテンツ選択モジュール216は、それらの抽出され、計算された特徴210〜216を解析して、一連のサブショットを入力音楽206と整列させ、統合し、または融合して自動編集されたビデオ220を生成するために選択する。(整列および融合は、整列−融合プログラムモジュール218によって行われる)。自動編集されたビデオは、基本的に、入力音楽に関連して編集されている入力ビデオデータシーケンスの要約である。
1)平均Aが、しきい値および平均Bより低い場合、動きベクトルの平均の大きさ、および動きベクトルの平均分散は、それぞれ、しきい値よりも大きく、他方、現在のビデオクリップがカメラの揺れの候補である優勢なカメラの動きは全く存在しない。
2)平均のグレー階調度がより低い値を有し、色ヒストグラム差が当該のクリップにおいて高い場合、当該のクリップは、カメラが揺れているセグメント(camera shaking segment)であると確認される。
抽出されたビデオ構造210から低品質のサブショットを取り除くことに続き、コンテンツ選択モジュール216は、それぞれの残っているサブショットに関する重要度を計算する。入力ビデオデータシーケンスの要約222が、計算された重要度に基づいて抽出された情報から生成される。要約は、入力シーケンスのより低い重要度の態様およびより低い品質の態様が既に濾過されて取り除かれており、入力ビデオデータシーケンスからの重要な概念を組み込むように生成される。
impt=p1色エントロピー+p2動きの激しさ+p3タイプ+p4発話 (12)
ただし、
p1+p2+p3+p4=1、かつ
一実施形態では、コンテンツ選択モジュール216が、重要なサブショットを入力音楽206との整列および融合のために選択するための最適化ベースのサブショット選択動作を実施する。選択されたサブショット210は、計算されたサブ音楽ムード214とマッチさせられる。選択されたサブショットは、ビデオ要約222の中でショットを構成し、最終的にシーンを構成するその他の選択されたサブショット(まだ音楽と整列または融合させられていない)に対して一様に分布している。最適化ベースのサブショット選択動作を以下の制約、つまり数式に関連して説明する。
最大化/最小化目的関数(m,v,θ)、ただし、θ∈Θ (15)
他のサブショットより高い相対重要度のサブショットを選択するのに、コンテンツ選択モジュール216は、サブショットの正規化された重要度を以下に従って測定する。
−1≦ρ(m,v,θ)≦1 (18)
H(m,v,θ)=k1H(SC)(m,v,θ)+k2H(SH)(m,v,θ)、ただし、k1,k2≧0,k1+k2=1 (20)
0≦H(m,v,θ)≦1 (21)
したがって、最適化ベースのサブショット選択を行うのに、以下を満たすθ*を特定する。
−α≦F(m,v,θ)≦1 (23)
(26)で(ρ+1)/2をρで置き換えると、F(m,v,θ)を[0,1]に正規化することができる。以下に説明するとおり、以上の最適化ベースのサブショット選択アルゴリズムは、非線形0−1プログラミング問題としてさらに明確に書き換えることができる。
0≦R0<R1<R2<R3<N (31)
によって表わされる(0,N)で4つの整数をランダムに生成する。「対立遺伝子」クリップ[R0,R1)および[R2,R3)が交換されて子の解(または「染色体」)が獲得される。遺伝的アルゴリズムは、最大回数の反復に達したとき、または所望の結果が達せられたときに停止される。
DN(m,v,x)=1−λ・MD(m,v,x) (34)
であり、ただし、λは、上式の第2項を間隔[0,1]に正規化するのに使用される係数である。MD(m,v,x)の最小値は、ゼロであり、
整列/融合モジュール218は、選択されたサブショット(コンテンツ選択モジュール216によって選択された)と音楽を以下の整列基準に関して整列させる。すなわち、
出力ビデオにおけるサブショット遷移(これは、出力ビデオにおけるショット遷移である)が音楽のビートに対応するようにするサブショット境界と音楽ビートの整列の基準、
文がサブショット境界によって途中で切断されないようにするサブショット境界と文の整列の基準、および
コンテンツ選択モジュール216の最適化ベースのサブショット選択動作に関連して前述した音楽ムードを動きの激しさとマッチさせる整列基準である。
シーンIDi=シーンIDi+1である場合、フェードアウトする/フェードインし、そうではなく、
シーンIDi≠シーンIDi+1である場合、その他のタイプからランダムに選択する
この実施形態では、それぞれのサブショット間で使用するために最大で15の異なるタイプの遷移から選択することができる。これらのサブショット遷移は、選択され、整列されたサブショット224を音楽206と融合して自動編集されたビデオファイル220にするマイクロソフトコーポレーションのDirectX(登録商標)によって提供される。
遷移の長さi=1−ビートi (38)
ただし、0≦i<M−1である。ビデオ/音楽のより多くの特徴、およびユーザのバイアスを考慮に入れることによってより複雑な遷移選択法を設計することができる。
例えば、次元を減らすこと、および遺伝的アルゴリズムを使用することによって前述した最適化ベースのサブショット選択の数式を解決する代わりに、他の基準を使用して、サブショットを後に入力音楽206と整列させるために選択することができる。
図8は、独立の音楽源に関連してビデオを自動的に編集する例示的な手続き800を示す流れ図である。説明のため、この手続きの動作を図2のコンピュータプログラムアプリケーション160およびプログラムデータ164に関連して説明する。ブロック802で、メタデータ抽出モデルが、入力ビデオデータシーケンス204からメタデータ(ショット、サブショット、シーン、動きの激しさ、カメラ注目(camera attention)等)を抽出し、かつ/または計算する。ブロック804で、メタデータ抽出モデルは、独立の音楽源206からメタデータ(サブ音楽、リズム、ムード等)を抽出し、かつ/または計算する。
前述したシステムおよび方法は、入力音楽に関連して入力ビデオデータシーケンスを自動的に編集する。このシステムおよび方法を構造上の特徴および方法上の動作に特有の言葉遣いで説明してきたが、頭記の特許請求の範囲で定義する主題は、説明した特定の特徴および動作に必ずしも限定されない。むしろ、特定の特徴および動作は、請求の主題を実施する例示的な形態として開示している。
160 アプリケーションプログラム
164 プログラムデータ
202 ビデオ編集モジュール
204 ビデオデータシーケンス
206 音楽
208 メタデータ抽出モジュール
210 シーン、ショット、サブショット
212 抽出されたビデオメタデータ
214 抽出された音楽の特徴
216 コンテンツ選択モジュール
218 整列−融合モジュール
220 自動編集されたビデオ
222 入力ビデオデータの要約
224 データ
226 他のモジュール
(付録−参照文献)
[1]D. Zhang、W. Qi、H. J. Zhang、「新しいショット検出アルゴリズム」、マルチメディアに関する第2回IEEE環太平洋地域会議(2nd IEEE Pacific-Rim Conf on Multimedia)(PCM2001)、63〜70ページ、中国、北京、2001年10月
[2]T. Lin、H. J. Zhang、「力競争によるビデオシーン抽出」、マルチメディアに関するIEEE国際会議および展示会(IEEE Intl Conf on Multimedia and Expo)(ICME001)日本、東京、早稲田大学、2001年8月22〜25日
[3]L. Lu、H. Jiang、H. J. Zhang、「堅牢な音声分類およびセグメント化の方法」、第9回マルチメディア(9th ACM Multimedia)、203〜211ページ、2001年
[4]Eric D. Scheirer、「音響音楽信号のテンポおよびビートの解析」、米国音響学会ジャーナル(Journal of Acoustical Society of America)、103 (1):588〜601ページ、1998年
Claims (12)
- ビデオデータシーケンスを自動的に編集してビデオ要約を生成するための方法であって、
前記ビデオデータシーケンスから複数のサブショットを抽出する動作と、
前記複数のサブショットの少なくとも一部分のサブショットに関する重要度を計算する動作であって、該重要度は、該サブショットの色エントロピー、動きの激しさ、カメラの動きのタイプ/速度、および発話の特徴のうちの少なくとも一つに基づく動作と、
(i)前記一部分のサブショットにおけるサブショットのサブセットθの集合であるΘを生成するステップであって、各サブセットθは該一部分のサブショットのうちのM個のサブショットの見込まれるシーケンスであるステップと、
(ii)少なくとも複数のサブセットθについて、該θにおける全てのサブショットの正規化した重要度Iを計算するステップと、
(iii)正規化した重要度Iが計算されたΘのうちの各要素θについて、分布の一様性の測度Hの近似値を計算するステップであって、該分布の一様性の測度Hは、ビデオシーケンス、該ビデオシーケンスを形成するシーンおよびシーンを形成するショットのうちの少なくとも一つの中でθにおけるサブショットの少なくとも幾つかのビデオメタデータの正規化されたエントロピーに少なくとも基づいて計算されるステップと、
(iv)正規化した重要度Iおよび分布の一様性の測度Hが計算されたΘのうちの各要素θについて、少なくともIおよびHに基づいて最適化度を計算するステップと、
(v)最良の最適化度を用いてサブセットθを選択することによってサブショットの最適化されたサブセットを割り出すステップと
によって重要でないサブショットを取り除いたM個のサブショットを有する、前記サブショットの最適化されたサブセットを割り出す動作と、
前記選択されたθのサブショットをそれぞれのショット遷移と結合して前記ビデオ要約を生成する動作と
を含むことを特徴とする方法。 - 前記抽出されたサブショットから低品質のサブショットを除去する動作をさらに含むことを特徴とする請求項1に記載の方法。
- 前記低品質のサブショットを除去する動作は、色エントロピー、画像の均質性、カメラの動き、カメラの速度およびカメラの揺れのうちの少なくとも一つを解析することに基づくことを特徴とする請求項2に記載の方法。
- ビデオデータシーケンスを自動的に編集してビデオ要約を生成するためのコンピュータプログラム命令を含むコンピュータ読み取り可能な記録媒体であって、
前記コンピュータプログラム命令は、
前記ビデオデータシーケンスから複数のサブショットを抽出する動作と、
前記複数のサブショットの少なくとも一部分のサブショットに関する重要度を計算する動作であって、該重要度は、該サブショットの色エントロピー、動きの激しさ、カメラの動きのタイプ/速度、および発話の特徴のうちの少なくとも一つに基づく動作と、
(i)前記一部分のサブショットにおけるサブショットのサブセットθの集合であるΘを生成するステップであって、各サブセットθは該一部分のサブショットのうちのM個のサブショットの見込まれるシーケンスであるステップと、
(ii)少なくとも複数のサブセットθについて、該θにおける全てのサブショットの正規化した重要度Iを計算するステップと、
(iii)正規化した重要度Iが計算されたΘのうちの各要素θについて、分布の一様性の測度Hの近似値を計算するステップであって、該分布の一様性の測度Hは、遺伝的アルゴリズムを使用して計算されるステップと、
(iv)正規化した重要度Iおよび分布の一様性の測度Hが計算されたΘのうちの各要素θについて、少なくともIおよびHに基づいて最適化度を計算するステップと、
(v)最良の最適化度を用いてサブセットθを選択することによってサブショットの最適化されたサブセットを割り出すステップと
によって重要でないサブショットを取り除いたM個のサブショットを有する、前記サブショットの最適化されたサブセットを割り出す動作と、
前記選択されたθのサブショットをそれぞれのショット遷移と結合して前記ビデオ要約を生成する動作
のためにプロセッサによって実行可能であることを特徴とするコンピュータ読み取り可能な記録媒体。 - 前記抽出されたサブショットから低品質のサブショットを除去する動作をさらに含むことを特徴とする請求項5に記載のコンピュータ読み取り可能な記録媒体。
- 前記低品質のサブショットを除去する動作は、色エントロピー、画像の均質性、カメラの動き、カメラの速度およびカメラの揺れのうちの少なくとも一つを解析することに基づくことを特徴とする請求項6に記載のコンピュータ読み取り可能な記録媒体。
- ビデオデータシーケンスを自動的に編集してビデオ要約を生成するためのコンピュータシステムであって、
プロセッサと、
前記プロセッサに結合されたメモリであって、
前記ビデオデータシーケンスから複数のサブショットを抽出する動作と、
前記複数のサブショットの少なくとも一部分のサブショットに関する重要度を計算する動作であって、該重要度は、該サブショットの色エントロピー、動きの激しさ、カメラの動きのタイプ/速度、および発話の特徴のうちの少なくとも一つに基づく動作と、
(i)前記一部分のサブショットにおけるサブショットのサブセットθの集合であるΘを生成するステップであって、各サブセットθは該一部分のサブショットのうちのM個のサブショットの見込まれるシーケンスであるステップと、
(ii)少なくとも複数のサブセットθについて、該θにおける全てのサブショットの正規化した重要度Iを計算するステップと、
(iii)正規化した重要度Iが計算されたΘのうちの各要素θについて、分布の一様性の測度Hの近似値を計算するステップであって、該分布の一様性の測度Hは、ビデオシーケンス、該ビデオシーケンスを形成するシーンおよびシーンを形成するショットのうちの少なくとも一つの中でθにおけるサブショットの少なくとも幾つかのビデオメタデータの平均偏差を使用して計算されるステップと、
(iv)正規化した重要度Iおよび分布の一様性の測度Hが計算されたΘのうちの各要素θについて、少なくともIおよびHに基づいて最適化度を計算するステップと、
(v)最良の最適化度を用いてサブセットθを選択することによってサブショットの最適化されたサブセットを割り出すステップと
によって重要でないサブショットを取り除いたM個のサブショットを有する、前記サブショットの最適化されたサブセットを割り出す動作と、
前記選択されたθのサブショットをそれぞれのショット遷移と結合して前記ビデオ要約を生成する動作
のためにプロセッサによって実行可能であるコンピュータプログラム命令を含むメモリと
を含むことを特徴とするコンピュータシステム。 - 前記抽出されたサブショットから低品質のサブショットを除去する動作をさらに含むことを特徴とする請求項9に記載のコンピュータシステム。
- 前記低品質のサブショットを除去する動作は、色エントロピー、画像の均質性、カメラの動き、カメラの速度およびカメラの揺れのうちの少なくとも一つを解析することに基づくことを特徴とする請求項10に記載のコンピュータシステム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/286,348 US7127120B2 (en) | 2002-11-01 | 2002-11-01 | Systems and methods for automatically editing a video |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2004159331A JP2004159331A (ja) | 2004-06-03 |
JP2004159331A5 JP2004159331A5 (ja) | 2006-12-21 |
JP4334977B2 true JP4334977B2 (ja) | 2009-09-30 |
Family
ID=32093580
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003375014A Expired - Fee Related JP4334977B2 (ja) | 2002-11-01 | 2003-11-04 | ビデオを自動的に編集するためのシステムおよび方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US7127120B2 (ja) |
EP (1) | EP1416490B1 (ja) |
JP (1) | JP4334977B2 (ja) |
Families Citing this family (105)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6870956B2 (en) | 2001-06-14 | 2005-03-22 | Microsoft Corporation | Method and apparatus for shot detection |
US7458017B2 (en) * | 2001-06-26 | 2008-11-25 | Microsoft Corporation | Function-based object model for use in website adaptation |
US7093001B2 (en) | 2001-11-26 | 2006-08-15 | Microsoft Corporation | Methods and systems for adaptive delivery of multimedia contents |
US20040052505A1 (en) * | 2002-05-28 | 2004-03-18 | Yesvideo, Inc. | Summarization of a visual recording |
US7246306B2 (en) | 2002-06-21 | 2007-07-17 | Microsoft Corporation | Web information presentation structure for web page authoring |
US7065707B2 (en) | 2002-06-24 | 2006-06-20 | Microsoft Corporation | Segmenting and indexing web pages using function-based object models |
US7098117B2 (en) * | 2002-10-18 | 2006-08-29 | The Regents Of The University Of Michigan | Method of fabricating a package with substantially vertical feedthroughs for micromachined or MEMS devices |
US7116716B2 (en) * | 2002-11-01 | 2006-10-03 | Microsoft Corporation | Systems and methods for generating a motion attention model |
US7274741B2 (en) | 2002-11-01 | 2007-09-25 | Microsoft Corporation | Systems and methods for generating a comprehensive user attention model |
US20040088723A1 (en) * | 2002-11-01 | 2004-05-06 | Yu-Fei Ma | Systems and methods for generating a video summary |
US7203901B2 (en) | 2002-11-27 | 2007-04-10 | Microsoft Corporation | Small form factor web browsing |
DE20321797U1 (de) * | 2002-12-17 | 2010-06-10 | Sony France S.A. | Vorrichtung zum automatischen Erzeugen einer allgemeinen Extraktionsfunktion, die aus einem Eingabesignal berechenbar ist, z.B. einem Audiosignal, um daraus einen vorbestimmten globalen charakteristischen Wert seines Inhalts zu erzeugen, z.B. einen Deskriptor |
JP4125140B2 (ja) * | 2003-01-21 | 2008-07-30 | キヤノン株式会社 | 情報処理装置、情報処理方法ならびにプログラム |
US7164798B2 (en) * | 2003-02-18 | 2007-01-16 | Microsoft Corporation | Learning-based automatic commercial content detection |
US7260261B2 (en) * | 2003-02-20 | 2007-08-21 | Microsoft Corporation | Systems and methods for enhanced image adaptation |
US7599554B2 (en) * | 2003-04-14 | 2009-10-06 | Koninklijke Philips Electronics N.V. | Method and apparatus for summarizing a music video using content analysis |
US8718128B2 (en) * | 2003-05-07 | 2014-05-06 | Canon Kabushiki Kaisha | Moving image processing method and apparatus |
US7400761B2 (en) * | 2003-09-30 | 2008-07-15 | Microsoft Corporation | Contrast-based image attention analysis framework |
KR20050033949A (ko) * | 2003-10-07 | 2005-04-14 | 삼성전자주식회사 | 휴대용 단말기의 오토줌임 제어방법 |
US7471827B2 (en) | 2003-10-16 | 2008-12-30 | Microsoft Corporation | Automatic browsing path generation to present image areas with high attention value as a function of space and time |
US7483618B1 (en) * | 2003-12-04 | 2009-01-27 | Yesvideo, Inc. | Automatic editing of a visual recording to eliminate content of unacceptably low quality and/or very little or no interest |
EP1708101B1 (en) * | 2004-01-14 | 2014-06-25 | Mitsubishi Denki Kabushiki Kaisha | Summarizing reproduction device and summarizing reproduction method |
JP2007534235A (ja) * | 2004-04-15 | 2007-11-22 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ユーザに対する特定の感情的影響を有するコンテンツアイテムを生成する方法 |
US9053754B2 (en) | 2004-07-28 | 2015-06-09 | Microsoft Technology Licensing, Llc | Thumbnail generation and presentation for recorded TV programs |
US7986372B2 (en) * | 2004-08-02 | 2011-07-26 | Microsoft Corporation | Systems and methods for smart media content thumbnail extraction |
US7391907B1 (en) * | 2004-10-01 | 2008-06-24 | Objectvideo, Inc. | Spurious object detection in a video surveillance system |
US7752548B2 (en) * | 2004-10-29 | 2010-07-06 | Microsoft Corporation | Features such as titles, transitions, and/or effects which vary according to positions |
JP4305921B2 (ja) * | 2004-11-02 | 2009-07-29 | Kddi株式会社 | 動画像話題分割方法 |
US7450752B2 (en) * | 2005-04-07 | 2008-11-11 | Hewlett-Packard Development Company, L.P. | System and method for automatic detection of the end of a video stream |
US20060271855A1 (en) * | 2005-05-27 | 2006-11-30 | Microsoft Corporation | Operating system shell management of video files |
JP5076892B2 (ja) * | 2005-06-27 | 2012-11-21 | パナソニック株式会社 | 同一シーン検出装置およびプログラムを格納した記憶媒体 |
US20070112811A1 (en) * | 2005-10-20 | 2007-05-17 | Microsoft Corporation | Architecture for scalable video coding applications |
US8180826B2 (en) | 2005-10-31 | 2012-05-15 | Microsoft Corporation | Media sharing and authoring on the web |
US7773813B2 (en) * | 2005-10-31 | 2010-08-10 | Microsoft Corporation | Capture-intention detection for video content analysis |
US8196032B2 (en) * | 2005-11-01 | 2012-06-05 | Microsoft Corporation | Template-based multimedia authoring and sharing |
US7599918B2 (en) * | 2005-12-29 | 2009-10-06 | Microsoft Corporation | Dynamic search with implicit user intention mining |
US20070244985A1 (en) * | 2006-04-13 | 2007-10-18 | Concert Technology Corporation | User system providing previews of a user's media collection to an associated portable media player |
US20070245377A1 (en) * | 2006-04-13 | 2007-10-18 | Concert Technology Corporation | Central system providing previews to a portable media player |
US20070245378A1 (en) * | 2006-04-13 | 2007-10-18 | Concert Technology Corporation | User system providing previews to an associated portable media player |
US20070245376A1 (en) * | 2006-04-13 | 2007-10-18 | Concert Technology Corporation | Portable media player enabled to obtain previews of media content |
US8316081B2 (en) * | 2006-04-13 | 2012-11-20 | Domingo Enterprises, Llc | Portable media player enabled to obtain previews of a user's media collection |
US7603434B2 (en) * | 2006-04-13 | 2009-10-13 | Domingo Enterprises, Llc | Central system providing previews of a user's media collection to a portable media player |
WO2007127695A2 (en) | 2006-04-25 | 2007-11-08 | Elmo Weber Frank | Prefernce based automatic media summarization |
US20100003005A1 (en) * | 2006-05-18 | 2010-01-07 | Pioneer Corporation | Data processing device, data processing method, data processing program and recording medium including program recorded therein |
US7945142B2 (en) * | 2006-06-15 | 2011-05-17 | Microsoft Corporation | Audio/visual editing tool |
US20080019669A1 (en) * | 2006-07-18 | 2008-01-24 | Sahra Reza Girshick | Automatically editing video data |
US20080019661A1 (en) * | 2006-07-18 | 2008-01-24 | Pere Obrador | Producing output video from multiple media sources including multiple video sources |
WO2008038230A2 (en) * | 2006-09-27 | 2008-04-03 | Koninklijke Philips Electronics N.V. | Method of creating a summary |
US7792868B2 (en) | 2006-11-10 | 2010-09-07 | Microsoft Corporation | Data object linking and browsing tool |
US8375302B2 (en) * | 2006-11-17 | 2013-02-12 | Microsoft Corporation | Example based video editing |
US8347213B2 (en) | 2007-03-02 | 2013-01-01 | Animoto, Inc. | Automatically generating audiovisual works |
DE102007013811A1 (de) | 2007-03-22 | 2008-09-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren zur zeitlichen Segmentierung eines Videos in Videobildfolgen und zur Auswahl von Keyframes für das Auffinden von Bildinhalten unter Einbeziehung einer Subshot-Detektion |
US20080263450A1 (en) * | 2007-04-14 | 2008-10-23 | James Jacob Hodges | System and method to conform separately edited sequences |
US9576302B2 (en) * | 2007-05-31 | 2017-02-21 | Aditall Llc. | System and method for dynamic generation of video content |
US9032298B2 (en) * | 2007-05-31 | 2015-05-12 | Aditall Llc. | Website application system for online video producers and advertisers |
US20080320516A1 (en) * | 2007-06-25 | 2008-12-25 | Microsoft Corporation | Tailored channel for content consumption |
KR101138396B1 (ko) | 2007-09-11 | 2012-04-26 | 삼성전자주식회사 | Iptv 단말기에서 컨텐츠 재생 방법 및 장치 |
US20090083790A1 (en) * | 2007-09-26 | 2009-03-26 | Tao Wang | Video scene segmentation and categorization |
JP4992639B2 (ja) * | 2007-09-28 | 2012-08-08 | パナソニック株式会社 | コンテンツ撮影装置 |
US20090113480A1 (en) * | 2007-10-24 | 2009-04-30 | Microsoft Corporation | Non-media-centric packaging of content |
US8190986B2 (en) | 2008-05-19 | 2012-05-29 | Microsoft Corporation | Non-destructive media presentation derivatives |
US20090132326A1 (en) * | 2007-11-16 | 2009-05-21 | Microsoft Corporation | Integrating ads with media |
US8630497B2 (en) | 2007-11-27 | 2014-01-14 | Intelliview Technologies Inc. | Analyzing a segment of video |
US20090150939A1 (en) * | 2007-12-05 | 2009-06-11 | Microsoft Corporation | Spanning multiple mediums |
US7772991B2 (en) * | 2008-01-09 | 2010-08-10 | Ford Global Technologies, Llc | Accident avoidance during vehicle backup |
JP2009200713A (ja) * | 2008-02-20 | 2009-09-03 | Sony Corp | 画像処理装置、画像処理方法、プログラム |
EP2257057B1 (en) * | 2008-03-19 | 2019-05-08 | National University Corporation Hokkaido University | Dynamic image search device and dynamic image search program |
US20100128181A1 (en) * | 2008-11-25 | 2010-05-27 | Advanced Micro Devices, Inc. | Seam Based Scaling of Video Content |
US8379728B2 (en) * | 2009-04-17 | 2013-02-19 | Texas Instruments Incorporated | Adaptive real-time video prediction mode method and computer-readable medium and processor for storage and execution thereof |
GB2470570B (en) * | 2009-05-27 | 2014-07-16 | Snell Ltd | Determining a regional shot change parameter |
JP5552769B2 (ja) | 2009-07-29 | 2014-07-16 | ソニー株式会社 | 画像編集装置、画像編集方法及びプログラム |
JP2011028689A (ja) | 2009-07-29 | 2011-02-10 | Sony Corp | 動画抽出装置、プログラム、および動画抽出方法 |
JP5233897B2 (ja) | 2009-07-31 | 2013-07-10 | ソニー株式会社 | 画像処理装置および方法 |
JP5359657B2 (ja) | 2009-07-31 | 2013-12-04 | ソニー株式会社 | 画像符号化装置および方法、記録媒体、並びにプログラム |
WO2011056994A2 (en) * | 2009-11-04 | 2011-05-12 | Board Of Regents, The University Of Texas System | Adaptive automatic exposure apparatus and method for digital images |
US8467610B2 (en) | 2010-10-20 | 2013-06-18 | Eastman Kodak Company | Video summarization using sparse basis function combination |
US9271035B2 (en) | 2011-04-12 | 2016-02-23 | Microsoft Technology Licensing, Llc | Detecting key roles and their relationships from video |
US9117483B2 (en) * | 2011-06-03 | 2015-08-25 | Michael Edward Zaletel | Method and apparatus for dynamically recording, editing and combining multiple live video clips and still photographs into a finished composition |
CN103635967B (zh) * | 2011-06-21 | 2016-11-02 | 诺基亚技术有限公司 | 视频再混合系统 |
JP5993243B2 (ja) * | 2012-08-06 | 2016-09-14 | 日本放送協会 | 映像処理装置及びプログラム |
US20140317480A1 (en) * | 2013-04-23 | 2014-10-23 | Microsoft Corporation | Automatic music video creation from a set of photos |
US10373470B2 (en) | 2013-04-29 | 2019-08-06 | Intelliview Technologies, Inc. | Object detection |
WO2015001384A1 (en) * | 2013-07-02 | 2015-01-08 | Sony Corporation | Smart feeling sensing tag for pictures |
WO2015054342A1 (en) | 2013-10-09 | 2015-04-16 | Mindset Systems | Method of and system for automatic compilation of crowdsourced digital media productions |
US9667886B2 (en) * | 2014-03-27 | 2017-05-30 | Sony Corporation | Apparatus and method for editing video data according to common video content attributes |
CA2847707C (en) | 2014-03-28 | 2021-03-30 | Intelliview Technologies Inc. | Leak detection |
US10943357B2 (en) | 2014-08-19 | 2021-03-09 | Intelliview Technologies Inc. | Video based indoor leak detection |
US9799376B2 (en) * | 2014-09-17 | 2017-10-24 | Xiaomi Inc. | Method and device for video browsing based on keyframe |
CN107409193A (zh) * | 2014-12-15 | 2017-11-28 | 索尼公司 | 信息处理方法、影像处理装置和程序 |
EP3223516A4 (en) * | 2014-12-15 | 2018-08-01 | Sony Corporation | Information processing method, video processing device, and program |
US10462519B2 (en) | 2015-06-19 | 2019-10-29 | Disney Enterprises, Inc. | Generating dynamic temporal versions of content |
US10269387B2 (en) | 2015-09-30 | 2019-04-23 | Apple Inc. | Audio authoring and compositing |
US20170092324A1 (en) * | 2015-09-30 | 2017-03-30 | Apple Inc. | Automatic Video Compositing |
US10062415B2 (en) | 2015-09-30 | 2018-08-28 | Apple Inc. | Synchronizing audio and video components of an automatically generated audio/video presentation |
US10726594B2 (en) | 2015-09-30 | 2020-07-28 | Apple Inc. | Grouping media content for automatically generating a media presentation |
US10223358B2 (en) | 2016-03-07 | 2019-03-05 | Gracenote, Inc. | Selecting balanced clusters of descriptive vectors |
US10276189B1 (en) * | 2016-12-28 | 2019-04-30 | Shutterstock, Inc. | Digital audio track suggestions for moods identified using analysis of objects in images from video content |
US11915722B2 (en) * | 2017-03-30 | 2024-02-27 | Gracenote, Inc. | Generating a video presentation to accompany audio |
US20200034244A1 (en) * | 2018-07-26 | 2020-01-30 | EMC IP Holding Company LLC | Detecting server pages within backups |
US11748418B2 (en) * | 2018-07-31 | 2023-09-05 | Marvell Asia Pte, Ltd. | Storage aggregator controller with metadata computation control |
US10915566B2 (en) * | 2019-03-01 | 2021-02-09 | Soundtrack Game LLC | System and method for automatic synchronization of video with music, and gaming applications related thereto |
US11720933B2 (en) * | 2019-08-30 | 2023-08-08 | Soclip! | Automatic adaptive video editing |
US11895288B2 (en) | 2019-10-28 | 2024-02-06 | Sony Group Corporation | Information processing device, proposal device, information processing method, and proposal method |
CN111432141B (zh) * | 2020-03-31 | 2022-06-17 | 北京字节跳动网络技术有限公司 | 一种混剪视频确定方法、装置、设备及存储介质 |
CN114268814A (zh) * | 2021-11-29 | 2022-04-01 | 广州繁星互娱信息科技有限公司 | 音乐视频的获取方法、装置和存储介质及电子设备 |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5442633A (en) * | 1992-07-08 | 1995-08-15 | International Business Machines Corporation | Shortcut network layer routing for mobile hosts |
KR100215586B1 (ko) | 1992-11-09 | 1999-08-16 | 모리시타 요이찌 | 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법 |
JP2765674B2 (ja) * | 1993-12-16 | 1998-06-18 | インターナショナル・ビジネス・マシーンズ・コーポレイション | データ供給装置 |
US5530963A (en) * | 1993-12-16 | 1996-06-25 | International Business Machines Corporation | Method and system for maintaining routing between mobile workstations and selected network workstation using routing table within each router device in the network |
US5642294A (en) * | 1993-12-17 | 1997-06-24 | Nippon Telegraph And Telephone Corporation | Method and apparatus for video cut detection |
US5659685A (en) * | 1994-12-13 | 1997-08-19 | Microsoft Corporation | Method and apparatus for maintaining network communications on a computer capable of connecting to a WAN and LAN |
US5625877A (en) * | 1995-03-15 | 1997-04-29 | International Business Machines Corporation | Wireless variable bandwidth air-link system |
US5774593A (en) * | 1995-07-24 | 1998-06-30 | University Of Washington | Automatic scene decomposition and optimization of MPEG compressed video |
JPH09130732A (ja) * | 1995-11-01 | 1997-05-16 | Matsushita Electric Ind Co Ltd | シーンチェンジ検出方法および動画像編集装置 |
US5835163A (en) * | 1995-12-21 | 1998-11-10 | Siemens Corporate Research, Inc. | Apparatus for detecting a cut in a video |
US5884056A (en) * | 1995-12-28 | 1999-03-16 | International Business Machines Corporation | Method and system for video browsing on the world wide web |
US5911008A (en) * | 1996-04-30 | 1999-06-08 | Nippon Telegraph And Telephone Corporation | Scheme for detecting shot boundaries in compressed video data using inter-frame/inter-field prediction coding and intra-frame/intra-field coding |
US5959697A (en) * | 1996-06-07 | 1999-09-28 | Electronic Data Systems Corporation | Method and system for detecting dissolve transitions in a video signal |
US5920360A (en) * | 1996-06-07 | 1999-07-06 | Electronic Data Systems Corporation | Method and system for detecting fade transitions in a video signal |
TW303555B (en) * | 1996-08-08 | 1997-04-21 | Ind Tech Res Inst | Digital data detecting method |
US5751378A (en) * | 1996-09-27 | 1998-05-12 | General Instrument Corporation | Scene change detector for digital video |
US6075926A (en) * | 1997-04-21 | 2000-06-13 | Hewlett-Packard Company | Computerized method for improving data resolution |
US5983273A (en) * | 1997-09-16 | 1999-11-09 | Webtv Networks, Inc. | Method and apparatus for providing physical security for a user account and providing access to the user's environment and preferences |
US6166735A (en) * | 1997-12-03 | 2000-12-26 | International Business Machines Corporation | Video story board user interface for selective downloading and displaying of desired portions of remote-stored video data objects |
US5956026A (en) * | 1997-12-19 | 1999-09-21 | Sharp Laboratories Of America, Inc. | Method for hierarchical summarization and browsing of digital video |
US5990980A (en) * | 1997-12-23 | 1999-11-23 | Sarnoff Corporation | Detection of transitions in video sequences |
US6462754B1 (en) * | 1999-02-22 | 2002-10-08 | Siemens Corporate Research, Inc. | Method and apparatus for authoring and linking video documents |
GB2356080A (en) | 1999-11-05 | 2001-05-09 | Sony Uk Ltd | Generation system for audio, video or a combination thereof where metadata is generated and stored or recorded with the audio/video signal |
KR100564893B1 (ko) | 2000-06-30 | 2006-03-30 | 가부시끼가이샤 도시바 | 프레임정보 기술방법 및 그 장치, 프레임정보 생성방법 및 그 장치, 특수재생방법 및 그 장치, 특수재생 제어정보 생성장치 및 컴퓨터 독출가능한 기록매체 |
US20020157116A1 (en) | 2000-07-28 | 2002-10-24 | Koninklijke Philips Electronics N.V. | Context and content based information processing for multimedia segmentation and indexing |
GB0029880D0 (en) | 2000-12-07 | 2001-01-24 | Sony Uk Ltd | Video and audio information processing |
US20020166123A1 (en) * | 2001-03-02 | 2002-11-07 | Microsoft Corporation | Enhanced television services for digital video recording and playback |
US6643665B2 (en) * | 2001-05-10 | 2003-11-04 | Hewlett-Packard Development Company, Lp. | System for setting image intent using markup language structures |
US7333712B2 (en) * | 2002-02-14 | 2008-02-19 | Koninklijke Philips Electronics N.V. | Visual summary for scanning forwards and backwards in video content |
US7065707B2 (en) * | 2002-06-24 | 2006-06-20 | Microsoft Corporation | Segmenting and indexing web pages using function-based object models |
US20040040041A1 (en) * | 2002-08-22 | 2004-02-26 | Microsoft Corporation | Interactive applications for stored video playback |
US7136874B2 (en) * | 2002-10-16 | 2006-11-14 | Microsoft Corporation | Adaptive menu system for media players |
US7043477B2 (en) * | 2002-10-16 | 2006-05-09 | Microsoft Corporation | Navigating media content via groups within a playlist |
US7054888B2 (en) * | 2002-10-16 | 2006-05-30 | Microsoft Corporation | Optimizing media player memory during rendering |
-
2002
- 2002-11-01 US US10/286,348 patent/US7127120B2/en not_active Expired - Fee Related
-
2003
- 2003-10-30 EP EP03025041.9A patent/EP1416490B1/en not_active Expired - Lifetime
- 2003-11-04 JP JP2003375014A patent/JP4334977B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
EP1416490A1 (en) | 2004-05-06 |
US7127120B2 (en) | 2006-10-24 |
JP2004159331A (ja) | 2004-06-03 |
US20040085341A1 (en) | 2004-05-06 |
EP1416490B1 (en) | 2014-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4334977B2 (ja) | ビデオを自動的に編集するためのシステムおよび方法 | |
US10062412B2 (en) | Hierarchical segmentation and quality measurement for video editing | |
Hua et al. | Optimization-based automated home video editing system | |
JP4250301B2 (ja) | 映像シーケンスを編集する方法及びシステム | |
JP4269473B2 (ja) | オーディオ・ビジュアル記録物をセグメント化する方法およびコンピュータ記憶媒体、並びにコンピュータシステム | |
JP4699476B2 (ja) | 映像要約装置 | |
JP4340907B2 (ja) | オーディオビジュアルサマリ作成方法および装置 | |
US10134440B2 (en) | Video summarization using audio and visual cues | |
KR100717402B1 (ko) | 멀티미디어 데이터의 장르를 판단하는 장치 및 방법 | |
US6881889B2 (en) | Generating a music snippet | |
WO2007127695A2 (en) | Prefernce based automatic media summarization | |
JP2003177778A (ja) | 音声抄録抽出方法、音声データ抄録抽出システム、音声抄録抽出システム、プログラム、及び、音声抄録選択方法 | |
EP1132812A1 (en) | Method of detecting dissolve/fade in mpeg-compressed video environment | |
JP2002125178A (ja) | メディア・セグメント化システムおよび関連する方法 | |
JP2005328105A (ja) | 視覚的に代表するビデオサムネイルの生成 | |
JP2005514841A (ja) | マルチメディア・コンテンツをリンクするよう複数モードのストーリーをセグメントする方法及び装置 | |
WO2003088665A1 (fr) | Dispositif d'edition de metadonnees, dispositif de reproduction de metadonnees, dispositif de distribution de metadonnees, dispositif de recherche de metadonnees, dispositif d'etablissement de conditions de reproduction de metadonnees, et procede de distribution de metadonnees | |
JP5218766B2 (ja) | 権利情報抽出装置、権利情報抽出方法及びプログラム | |
US8224157B2 (en) | Method and apparatus for extracting spatio-temporal feature and detecting video copy based on the same in broadcasting communication system | |
JP2007336106A (ja) | 映像編集支援装置 | |
WO2013097101A1 (zh) | 分析视频文件的方法和装置 | |
US8433566B2 (en) | Method and system for annotating video material | |
JP5096259B2 (ja) | 要約コンテンツ生成装置および要約コンテンツ生成プログラム | |
JP4032122B2 (ja) | 映像編集装置、映像編集プログラム、記録媒体、および映像編集方法 | |
KR100863122B1 (ko) | 오디오 신호 특성을 이용한 멀티미디어 동영상 색인 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061106 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080812 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20081111 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20081114 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20081211 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20081216 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090210 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090511 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090529 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090624 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120703 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120703 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130703 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |