JP3821558B2 - 映像情報一斉付加方法およびその方法を記録した記録媒体 - Google Patents
映像情報一斉付加方法およびその方法を記録した記録媒体 Download PDFInfo
- Publication number
- JP3821558B2 JP3821558B2 JP29379597A JP29379597A JP3821558B2 JP 3821558 B2 JP3821558 B2 JP 3821558B2 JP 29379597 A JP29379597 A JP 29379597A JP 29379597 A JP29379597 A JP 29379597A JP 3821558 B2 JP3821558 B2 JP 3821558B2
- Authority
- JP
- Japan
- Prior art keywords
- frame image
- information
- cluster
- video information
- image display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Digital Computer Display Output (AREA)
- Studio Circuits (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、映像に属性や注釈などの情報を付加する装置に関する。
【０００２】
【従来の技術】
映像の使い勝手を向上させるために、映像にカット点情報やキーワードなどの属性や注釈の情報を付加し、映像の検索や分類に用いることが提案されている。これらの情報を付加する方法として、計算機による映像解析により自動的に行う方法と、人手によって行う方法がある。
【０００３】
従来技術のうち、人手によって映像に情報を付加するための装置として、表計算機能を持ったスプレッドシート用いるものがある（特開平８−９５９８６号）。この従来技術は、ビデオ映像を入力して、場面毎に代表画像を抽出する第１の手段と、場面毎に関連する情報を入力する第２の手段と、代表画像と場面毎の関連情報とが同じ行もしくは列になるように表を作成して表示する第３の手段を有する。なお、場面とは、同一被写体の存在区間、同一テーマの区間、類似フレーム画像の連続区間、などといった、ある基準により切り分けられるフレーム区間である。この従来技術によると、ユーザはビデオ映像をモニタしながら、気付いたときに随時関連情報を書き込むことができ、また、入力された情報から計算される別の情報を一覧表の中で即座に確認できる。
【０００４】
【発明が解決しようとする課題】
しかしながら上記の従来技術では、場面毎の代表画像に対して個々に情報を付加する必要があるため、オペレータの負担が大きいので、小規模の映像に対して情報を付加する場合には有効であるが、大量の映像データを対象にして情報を付加する場合には実用的ではないという問題があった。
【０００５】
そこで本発明は、代表画像を類似度により分類し、分類毎でまとめて一斉に情報を付加し、オペレータの負担を減らすことができる映像情報付加装置を提供することを課題とする。
【０００６】
【課題を解決するための手段】
前記の課題を解決するために、本発明は、各場面の代表フレーム画像の特徴量ベクトルを抽出する特徴量抽出段階と、特徴量ベクトルが類似したクラスタに分類するクラスタリング段階と、クラスタ毎にフレーム画像を表示手段に表示するフレーム画像表示段階と、フレーム画像を指定して情報を入力する情報入力段階とを有し、前記フレーム画像表示段階では、クラスタの重心と特徴量ベクトルとの間の距離ｄと、前記距離ｄの標準偏差σと、がｄ＜Ｎσ（Ｎは１、２、３のいずれか）となるフレーム画像をハイライト表示する、ことを特徴とする。
【０００７】
また、本発明は、前記特徴量抽出段階において、各場面の代表フレーム画像を縮小した画像の輝度値の並びを特徴量ベクトルとすることを特徴とするものもある。
【０００８】
また、本発明は、前記クラスタリング段階において、所望のクラスタ数になるまで、クラスタの重心と特徴量ベクトルとの間の距離の和の最も大きいクラスタを分割することによってクラスタリングを行うことを特徴とするものもある。
【０００９】
また、本発明は、前記フレーム画像表示段階が、クラスタの重心と特徴量ベクトルとの間の距離の標準偏差の小さい順にクラスタを並べることを特徴とするものもある。
【００１０】
また、本発明は、前記フレーム画像表示段階が、クラスタの重心と特徴量ベクトルとの間の距離が小さい順にフレーム画像を並べることを特徴とするものもある。
【００１２】
また、本発明は、前記フレーム画像表示段階が、情報付加済、あるいは、未付加のフレーム画像をハイライト表示することを特徴とするものもある。
【００１３】
また、本発明は、前記フレーム画像表示段階が、指定したフレーム画像に付加されている情報を表示し、指定したフレーム画像が複数の場合には、付加情報の和集合、あるいは、積集合を表示することを特徴とするものもある。
【００１４】
本発明では、映像の各場面を代表するフレーム画像から抽出した特徴量ベクトルが類似したクラスタに分類し、分類したクラスタ毎にフレーム画像を表示することで、分類毎でまとめて情報を付加できるようにすることにより、似たフレーム画像を持つ場面をまとめて一斉に情報を付加できるようにしている。
【００１５】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態について説明する。
【００１６】
図１は、本発明による方法の一実施形態例を表す流れ図である。まず、場面を代表するフレーム画像の情報が入力されると、ステップ１０１の特徴量抽出段階においてフレーム画像から特徴量ベクトルを抽出する。次に、ステップ１０２のクラスタリング段階において、特徴量ベクトルが類似したクラスタに分割する。ステップ１０３のフレーム画像表示段階では、クラスタ毎にフレーム画像を表示する。ステップ１０４の情報入力段階では、対象となるフレーム画像を指定して情報を入力する。
【００１７】
入力となるフレーム画像は、例えば、図２に示す場面管理表によって管理される。第１列は場面のＩＤ番号であり、重複のない数字が割り振られる。第２列は映像データのＩＤ番号であり、この列が存在することによって、複数の映像データを一括して管理することができる。第３，４列は、それぞれ、場面の開始、終了フレーム番号である。なお、ここではフレーム番号としたが時間によって管理してもよい。
【００１８】
この場面管理表によって管理された情報を用いて、図３のように映像データからフレーム画像を取り出す。まず、場面管理表から１行ずつ情報を取り出す。映像ＩＤ（図では「２００１」）によって指定される映像データから、開始フレーム番号（図では「４５」）をのフレーム画像を取り出す。なお、ここでは場面の開始フレームを代表としたが、終了フレームや中間のフレームを用いてもよい。次に、取り出したフレーム画像を、場面ＩＤ（図では「１」）と組にして管理する。以上の手順を場面管理表の各行について実行すれば、各場面を代表するフレーム画像と場面ＩＤの組を取り出すことができる。
【００１９】
図４に、本発明の特徴量抽出段階（ステップ１０１）の実施形態例を示す。ここでは、まず、フレーム画像を９×６画素の縮小画像に縮小する。各画素は、赤緑青（ＲＧＢ）の色の３要素から構成されるので、縮小画像は９×６×３＝１６２個の値から構成されることになる。この値を一定の順番で並べて（例えば、左上から右下に走査する）１６２次元の特徴量ベクトルｘn（１≦ｎ≦Ｎ）とする。ここでｘnの添字ｎは、場面ＩＤであり、Ｎは場面数である。
【００２０】
なお、ここでは縮小画像を９×６画素としたが、これ以外の大きさにしてもよい。また、色空間をＲＧＢ空間から、Ｌ* ｕ* ｖ* 均等色空間やＬ* ａ* ｂ* 均等色空間など、他の色空間に変換してもよい。
【００２１】
特徴量ベクトルｘnの各成分ｘnjは、平均値
【００２２】
【数１】
【００２３】
を引き、標準偏差σjで割って正規化しておく。すなわち、
【００２４】
【数２】
【００２５】
とする。
【００２６】
図５に、本発明のクラスタリング段階（ステップ１０２）の実施形態例の流れ図を示す。この実施形態例では、初期クラスタ数を１とし、クラスタ数が所望の数になるまで、クラスタの重心とそのクラスタに属する特徴量ベクトルとの距離の和が最大であるクラスタを分割していく。つまり、ばらつきが大きいクラスタを分割していくことにより、バランスが良く歪みの少ないクラスタリングを行うものである。
【００２７】
まず、ステップ５０１で正規化された特徴量ベクトルｘn（１≦ｎ≦Ｎ）を入力する。ただしＮは特徴量ベクトルの数、すなわち、入力したフレーム画像の数である。次に、ステップ５０２において１番目のクラスタの重心ｚ1の初期値を与える。またｍをクラスタ数とし、初期値１とする。
【００２８】
続いて、ステップ５０３において、すべてのｘnについて、最も近いクラスタ重心ｚi（１≦ｉ≦ｍ）を見つけ、そのクラスタＣiにｘnが属するとする。つまり、すべてのｘnを、いずれかのクラスタＣiに分配する。数式で表すと、
ｘn∈Ｃj,ｊ＝ａｒｇi ｍｉｎ ｄ（ｘn，ｚi） （４）
となる。ただし、ａｒｇi ｍｉｎ ｘ（ｉ）は、ｘ（ｉ）が最小となるｉを表す。また、ｄ（ｘ，ｙ）はｘとｙの間の距離であり、例えば、ユーグリッド距離
【００２９】
【数３】
【００３０】
を用いることができる。
【００３１】
次に、ステップ５０４において、次のように距離の総和Ｄを求め、閾値Ｔと比較する。
【００３２】
【数４】
【００３３】
Ｄiは、クラスタＣiの重心ｚiとそのクラスタに属する特徴量ベクトルｘとの距離の和であり、Ｄは全クラスタにわたってＤiの和を求めたものである。もしＤ＜Ｔならば、ステップ５０６に進み、そうでないならば、ステップ５０５に進む。
【００３４】
ステップ５０５では、次のように各クラスタＣiの重心ｚiを再計算する。
【００３５】
【数５】
【００３６】
ただし、ＫiはＣiに属するｘの個数である。ｚiの再計算の後は、ステップ５０３に戻って、ｘnを分配し直す。
【００３７】
ステップ５０６では、クラスタ数ｍが、所望のクラスタ数Ｍに達したかどうかを判別し、もしｍ＝Ｍならば、ステップ５０７に進んでクラスタリング段階を終了する。ｍ＜Ｍならば、ステップ５０８に進む。
【００３８】
ステップ５０８では、距離の和Ｄiが最大のクラスタＣdを求める。
【００３９】
ｄ＝ａｒｇi ｍａｘ Ｄi …（９）
次のステップ５０９では、Ｃdを分割して、新しいクラスタＣm+1を生成する。そこで、Ｃm+1の重心ｚm+1を、Ｃdの重心ｚdの近傍のｚd＋Δｚとし、ｚdは、ｚd−Δｚに置き換える。
【００４０】
ｚm+1＝ｚd＋Δｚ …（１０）
ｚd＝ｚd−Δｚ …（１１）
ただし、Δｚは、小さいベクトルであり、例えば、
Δｚi＝０．００１ …（１２）
を用いることができる。
【００４１】
次のステップ５１０では、クラスタ数ｍを１増やす。そして、ステップ５０３に戻って、ｘnを分配し直す。
【００４２】
以上の手順によって、ｘnをＭ個のクラスタＣi（１≦ｉ≦Ｍ）に分けることができる。
【００４３】
クラスタリングの結果は、図６と図７に示すようなクラスタ情報管理表（１），（２）によって管理される。図６のクラスタ情報管理表（１）は、各クラスタの距離の和Ｄi、ｘの個数Ｋiを管理している。さらに、
【００４４】
【数６】
【００４５】
によって標準偏差σiを求めて、併せて表に記録しておく。この値は後で並べ替えやハイライト表示のときに頻繁に用いられるので、あらかじめ計算しておくと効率がよい。もちろん、このようにσiをあらかじめ計算しておくのではなく、必要になった時点でその都度ＤiとＫiから計算してもよい。
【００４６】
図７のクラスタ情報管理表（２）は、各クラスタに属する特徴量ベクトルを管理する表である。前記のクラスタリングの結果、各クラスタに特徴量ベクトルが分配されたが、その特徴量ベクトルｘnの添字ｎは場面ＩＤを表していた。そこで、各クラスタごとに、場面ＩＤを並べる形式で表を構成する。さらに、ｘnと、クラスタ重心ｚiとの距離ｄ＝ｄ（ｘn，ｚi）の値も併せて記録しておく。ｄは、後で、並べ替えやハイライト表示のために用いられる。
【００４７】
次に、図８を用いて、本発明のフレーム画像表示段階（ステップ１０３）と情報入力段階（１０４）の実施形態例を説明する。前記クラスタリングの結果は、後述のように８０１と８０９のようなフレーム画像表示部を用いて表示される。また、８０６の情報入力部を用いて、後述のようにフレーム画像に対して情報が付加される。
【００４８】
８０１は、フレーム画像表示部の第１の実施形態例である。このフレーム画像表示部８０１には、各場面のフレーム画像がクラスタ毎に並んで表示される。８０２や８０３は、各場面のフレーム画像の例である。８０２は後に述べるように太枠によってハイライト表示されている例である。８０４はスクロールバーであり、クラスタリングの結果が画面に収まりきらない場合に、このスクロールバー８０４を操作することによって、画面をスクロールして全体を表示することができる。
【００４９】
フレーム画像はクラスタ毎に表示されるが、クラスタの並び順は次のように決めることができる。すなわち、前述の図６のクラスタ情報管理表（１）のように、各クラスタについて標準偏差σを計算したが、このσの小さい順にクラスタを並べ替えることができる。このようにすれば、よりばらつきの少ないクラスタほど先頭に現れるようになる。クラスタ内のばらつきが小さければ、情報をまとめて付加するのが容易になる。したがって、情報を一斉に入力するのに適した順に並べることができる。
【００５０】
また、ひとつのクラスタ内での、フレーム画像の並び順は、次のように決めることができる。すなわち、前記の図７のクラスタ情報管理表（２）のように、フレーム画像とクラスタ重心との間の距離ｄを記録したが、このｄの値の小さい順にフレーム画像を並べることができる。このようにすれば、クラスタ重心に近い順にフレーム画像が並ぶので、そのクラスタを代表するフレーム画像ほど先に現れることになる。
【００５１】
さらに、前述の標準偏差σと距離ｄとを比較して、ｄ＜Ｎσとなるフレーム画像をハイライト表示することができる。ただし、Ｎは１，２，３であり、それぞれについて色を変えるなど異なる方法でハイライト表示してもよい。統計学によれば、クラスタ内のばらつきを正規分布と仮定すれば、σ以内に６８％、２σ以内に９５％、３σ以内に９９％の要素が分布していることが知られている。したがって、ハイライト表示されているフレーム画像は、クラスタを代表するフレーム画像であることを表す。逆に、ハイライト表示されていないフレーム画像は、そのクラスタにとって異質であることを表す。つまり、ハイライト表示によって、そのフレーム画像がそのクラスタを代表するかどうかが分かりやすくなる。
【００５２】
さらに、情報付加済のフレーム画像のみをハイライト表示したり、逆に、未付加のフレーム画像をハイライト表示することもできる。
【００５３】
以上の並べ替え及びハイライト表示により、似たフレーム画像同士がまとまり、しかも、まとまりの良い順に目立つように表示されるので、オペレータが情報を一斉に入力するのが容易になる。さらに、情報が付加されているかどうかによって、ハイライト表示を切り替えることができるので、情報の付け忘れを防ぐことができる。
【００５４】
８０５の斜線部は、情報入力の対象となるフレーム画像を選択した範囲を表している。この選択範囲８０５は、フレーム画像をポインティングデバイスによって指定したり、マウスドラッグなどの範囲選択法によってまとめて指定したりすることができる。この選択範囲８０５内のフレーム画像を、選択フレーム画像と呼ぶ。
【００５５】
８０６は情報入力部の実施形態例である。８０７は情報入力欄であり、前記の選択フレーム画像に対して付加する情報をキーボードなどによって入力する。なお、メニューなどの一覧から選択するようにしてもよい。８０８は入力ボタンであり、これを押すことによって、対象フレーム画像に入力情報が付加される。
【００５６】
８０９はフレーム画像表示部の第２の実施形態例である。８１０は、前記の選択フレーム画像が表示される領域である。複数のフレーム画像が選択されている場合は、どれかひとつが表示される。８１１には、選択フレーム画像に付加された情報が一覧表示される領域である。情報が画面に収まらない場合には、８１２のスクロールバーによってスクロールして表示することができる。複数のフレーム画像が選択されている場合には、選択フレーム画像すべてに共通する情報（積集合）を表示してもよいし、いずれかの選択フレーム画像に付加されている情報（和集合）を表示してもよい。このようにして、入力済の情報を確認することができる。
【００５７】
なお、表示手段としては、ブラウン管や、液晶ディスプレイなどを用いることができる。入力手段としては、マウスやタッチパネル、タブレット、キーボードなどを用いることができる。また、フレーム画像のハイライト表示は、枠を太くして強調する、あるいは、明度を向上させるなどの方法の他に、それ以外のフレーム画像を、目立たないように表示する、あるいは、表示しないことによって、相対的にハイライト表示を実現してもよい。
【００５８】
情報入力部８０６によって入力された情報は、図９のような場面ＩＤと、入力された付加情報の組を蓄積した付加情報管理表によって管理される。この付加情報管理表を用いれば、例えば、特定の情報が付加されている場面ＩＤを検索したり、ある場面に付加されている情報一覧を得たりすることができる。それぞれ、ＳＱＬ言語を用いて表せば、
ＳＥＬＥＣＴ 場面 ＩＤ ＦＲＯＭ 付加情報管理表 ＷＨＥＲＥ 付加情報＝’人物’；
ＳＥＬＥＣＴ 付加情報 ＦＲＯＭ 付加情報管理表 ＷＨＥＲＥ 場面ＩＤ＝１２３４；
となる。
【００５９】
なお、図２，６，７，９に示した表は、リレーショナルデータベースに適するように構成した例であり、これ以外の構成もありうる。例えば、オブジェクト指向データベース等を用いる場合には、図１０に示すように複数の表を参照関係によって結びつけて構成してもよい。
【００６０】
なお、以上の実施形態例で示した各種の抽出手順、および、クラスタリング手順、表示手順、情報付加手順は、コンピュータで適宜実行することが可能であり、その手順をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体、例えばフロッピーディスクやＣＤ−ＲＯＭなどに記録して配布することが可能である。
【００６１】
本発明は、その主旨を変更しない範囲で様々に変形して用いることができる。例えば、特徴量として、色のヒストグラムや、画面の動き、物体の形状などを用いることができる。
【００６２】
【発明の効果】
本発明によれば、特徴量抽出段階とクラスタリング段階とフレーム画像表示段階と情報入力段階を有するので、似たフレーム画像を持つ場面をまとめて一斉に情報を付加することができる。
【００６３】
また、本発明によれば、フレーム画像を縮小した画像の輝度値の並びを特徴量ベクトルとするので、フレーム画像を反映した特徴量を得ることができる。
【００６４】
また、本発明によれば、クラスタの重心と特徴量ベクトルとの間の距離の和の最も大きいクラスタを分割することによってクラスタリングを行うので、バランスが良く歪みの少ないクラスタリングが可能である。
【００６５】
また、本発明によれば、クラスタの重心と特徴量ベクトルとの間の距離の標準偏差の小さい順にクラスタを並べるので、よりばらつきの少ないクラスタほど先頭に現れるようになる。クラスタ内のばらつきが小さければ、情報をまとめて付加するのが容易になるので、情報を一斉に入力するのに適した順に並べることができる。
【００６６】
また、本発明によれば、クラスタ内で、クラスタの重心と特徴量ベクトルとの間の距離が小さい順にフレーム画像を並べるので、そのクラスタを代表するフレーム画像ほど先に現れる。したがって、似たフレーム画像どうしがまとまり、オペレータが情報を一斉に入力するのが容易になる。
【００６７】
また、本発明によれば、クラスタの重心と特徴量ベクトルとの間の距離と、前記距離の標準偏差との比較結果に基づいて、フレーム画像をハイライト表示するので、そのフレーム画像がそのクラスタを代表するかどうかが分かりやすくなる。
【００６８】
また、本発明によれば、情報付加済、あるいは、未付加のフレーム画像をハイライト表示するので、情報の付け忘れを防ぐことができる。
【００６９】
前記フレーム画像表示段階が、指定したフレーム画像に付加されている情報を表示し、指定したフレーム画像が複数の場合には、付加情報の和集合、あるいは、積集合を表示するので、入力済の情報を確認することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態例を表す流れ図である。
【図２】上記実施形態例における場面管理表を表す図である。
【図３】上記実施形態例において場面管理表から代表フレームを得る手順を表す図である。
【図４】本発明における特徴量ベクトルを得る手順の実施形態例を表す図である。
【図５】本発明におけるクラスタリングの手順の実施形態例を表す流れ図である。
【図６】上記実施形態例におけるクラスタ情報管理表（１）を表す図である。
【図７】上記実施形態例におけるクラスタ情報管理表（２）を表す図である。
【図８】本発明におけるフレーム画像表示段階と情報入力段階の手段の実施形態例を表す図である。
【図９】上記実施形態例における付加情報管理表を表す図である。
【図１０】場面管理表、付加情報管理表、クラスタ情報管理表の別の実施形態例を表す図である。
【符号の説明】
１０１…特徴量抽出段階
１０２…クラスタリング段階
１０３…フレーム画像表示段階
１０４…情報入力段階
５０１〜５１０…クラスタリング段階のステップ
８０１…フレーム画像表示部
８０２…フレーム画像（ハイライト表示）
８０３…フレーム画像
８０６…情報入力部
８０７…情報入力欄
８０８…入力ボタン
８０９…フレーム画像表示部
８１０…選択フレーム画像表示領域
８１１…付加情報表示領域
【発明の属する技術分野】
本発明は、映像に属性や注釈などの情報を付加する装置に関する。
【０００２】
【従来の技術】
映像の使い勝手を向上させるために、映像にカット点情報やキーワードなどの属性や注釈の情報を付加し、映像の検索や分類に用いることが提案されている。これらの情報を付加する方法として、計算機による映像解析により自動的に行う方法と、人手によって行う方法がある。
【０００３】
従来技術のうち、人手によって映像に情報を付加するための装置として、表計算機能を持ったスプレッドシート用いるものがある（特開平８−９５９８６号）。この従来技術は、ビデオ映像を入力して、場面毎に代表画像を抽出する第１の手段と、場面毎に関連する情報を入力する第２の手段と、代表画像と場面毎の関連情報とが同じ行もしくは列になるように表を作成して表示する第３の手段を有する。なお、場面とは、同一被写体の存在区間、同一テーマの区間、類似フレーム画像の連続区間、などといった、ある基準により切り分けられるフレーム区間である。この従来技術によると、ユーザはビデオ映像をモニタしながら、気付いたときに随時関連情報を書き込むことができ、また、入力された情報から計算される別の情報を一覧表の中で即座に確認できる。
【０００４】
【発明が解決しようとする課題】
しかしながら上記の従来技術では、場面毎の代表画像に対して個々に情報を付加する必要があるため、オペレータの負担が大きいので、小規模の映像に対して情報を付加する場合には有効であるが、大量の映像データを対象にして情報を付加する場合には実用的ではないという問題があった。
【０００５】
そこで本発明は、代表画像を類似度により分類し、分類毎でまとめて一斉に情報を付加し、オペレータの負担を減らすことができる映像情報付加装置を提供することを課題とする。
【０００６】
【課題を解決するための手段】
前記の課題を解決するために、本発明は、各場面の代表フレーム画像の特徴量ベクトルを抽出する特徴量抽出段階と、特徴量ベクトルが類似したクラスタに分類するクラスタリング段階と、クラスタ毎にフレーム画像を表示手段に表示するフレーム画像表示段階と、フレーム画像を指定して情報を入力する情報入力段階とを有し、前記フレーム画像表示段階では、クラスタの重心と特徴量ベクトルとの間の距離ｄと、前記距離ｄの標準偏差σと、がｄ＜Ｎσ（Ｎは１、２、３のいずれか）となるフレーム画像をハイライト表示する、ことを特徴とする。
【０００７】
また、本発明は、前記特徴量抽出段階において、各場面の代表フレーム画像を縮小した画像の輝度値の並びを特徴量ベクトルとすることを特徴とするものもある。
【０００８】
また、本発明は、前記クラスタリング段階において、所望のクラスタ数になるまで、クラスタの重心と特徴量ベクトルとの間の距離の和の最も大きいクラスタを分割することによってクラスタリングを行うことを特徴とするものもある。
【０００９】
また、本発明は、前記フレーム画像表示段階が、クラスタの重心と特徴量ベクトルとの間の距離の標準偏差の小さい順にクラスタを並べることを特徴とするものもある。
【００１０】
また、本発明は、前記フレーム画像表示段階が、クラスタの重心と特徴量ベクトルとの間の距離が小さい順にフレーム画像を並べることを特徴とするものもある。
【００１２】
また、本発明は、前記フレーム画像表示段階が、情報付加済、あるいは、未付加のフレーム画像をハイライト表示することを特徴とするものもある。
【００１３】
また、本発明は、前記フレーム画像表示段階が、指定したフレーム画像に付加されている情報を表示し、指定したフレーム画像が複数の場合には、付加情報の和集合、あるいは、積集合を表示することを特徴とするものもある。
【００１４】
本発明では、映像の各場面を代表するフレーム画像から抽出した特徴量ベクトルが類似したクラスタに分類し、分類したクラスタ毎にフレーム画像を表示することで、分類毎でまとめて情報を付加できるようにすることにより、似たフレーム画像を持つ場面をまとめて一斉に情報を付加できるようにしている。
【００１５】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態について説明する。
【００１６】
図１は、本発明による方法の一実施形態例を表す流れ図である。まず、場面を代表するフレーム画像の情報が入力されると、ステップ１０１の特徴量抽出段階においてフレーム画像から特徴量ベクトルを抽出する。次に、ステップ１０２のクラスタリング段階において、特徴量ベクトルが類似したクラスタに分割する。ステップ１０３のフレーム画像表示段階では、クラスタ毎にフレーム画像を表示する。ステップ１０４の情報入力段階では、対象となるフレーム画像を指定して情報を入力する。
【００１７】
入力となるフレーム画像は、例えば、図２に示す場面管理表によって管理される。第１列は場面のＩＤ番号であり、重複のない数字が割り振られる。第２列は映像データのＩＤ番号であり、この列が存在することによって、複数の映像データを一括して管理することができる。第３，４列は、それぞれ、場面の開始、終了フレーム番号である。なお、ここではフレーム番号としたが時間によって管理してもよい。
【００１８】
この場面管理表によって管理された情報を用いて、図３のように映像データからフレーム画像を取り出す。まず、場面管理表から１行ずつ情報を取り出す。映像ＩＤ（図では「２００１」）によって指定される映像データから、開始フレーム番号（図では「４５」）をのフレーム画像を取り出す。なお、ここでは場面の開始フレームを代表としたが、終了フレームや中間のフレームを用いてもよい。次に、取り出したフレーム画像を、場面ＩＤ（図では「１」）と組にして管理する。以上の手順を場面管理表の各行について実行すれば、各場面を代表するフレーム画像と場面ＩＤの組を取り出すことができる。
【００１９】
図４に、本発明の特徴量抽出段階（ステップ１０１）の実施形態例を示す。ここでは、まず、フレーム画像を９×６画素の縮小画像に縮小する。各画素は、赤緑青（ＲＧＢ）の色の３要素から構成されるので、縮小画像は９×６×３＝１６２個の値から構成されることになる。この値を一定の順番で並べて（例えば、左上から右下に走査する）１６２次元の特徴量ベクトルｘn（１≦ｎ≦Ｎ）とする。ここでｘnの添字ｎは、場面ＩＤであり、Ｎは場面数である。
【００２０】
なお、ここでは縮小画像を９×６画素としたが、これ以外の大きさにしてもよい。また、色空間をＲＧＢ空間から、Ｌ* ｕ* ｖ* 均等色空間やＬ* ａ* ｂ* 均等色空間など、他の色空間に変換してもよい。
【００２１】
特徴量ベクトルｘnの各成分ｘnjは、平均値
【００２２】
【数１】
を引き、標準偏差σjで割って正規化しておく。すなわち、
【００２４】
【数２】
とする。
【００２６】
図５に、本発明のクラスタリング段階（ステップ１０２）の実施形態例の流れ図を示す。この実施形態例では、初期クラスタ数を１とし、クラスタ数が所望の数になるまで、クラスタの重心とそのクラスタに属する特徴量ベクトルとの距離の和が最大であるクラスタを分割していく。つまり、ばらつきが大きいクラスタを分割していくことにより、バランスが良く歪みの少ないクラスタリングを行うものである。
【００２７】
まず、ステップ５０１で正規化された特徴量ベクトルｘn（１≦ｎ≦Ｎ）を入力する。ただしＮは特徴量ベクトルの数、すなわち、入力したフレーム画像の数である。次に、ステップ５０２において１番目のクラスタの重心ｚ1の初期値を与える。またｍをクラスタ数とし、初期値１とする。
【００２８】
続いて、ステップ５０３において、すべてのｘnについて、最も近いクラスタ重心ｚi（１≦ｉ≦ｍ）を見つけ、そのクラスタＣiにｘnが属するとする。つまり、すべてのｘnを、いずれかのクラスタＣiに分配する。数式で表すと、
ｘn∈Ｃj,ｊ＝ａｒｇi ｍｉｎ ｄ（ｘn，ｚi） （４）
となる。ただし、ａｒｇi ｍｉｎ ｘ（ｉ）は、ｘ（ｉ）が最小となるｉを表す。また、ｄ（ｘ，ｙ）はｘとｙの間の距離であり、例えば、ユーグリッド距離
【００２９】
【数３】
を用いることができる。
【００３１】
次に、ステップ５０４において、次のように距離の総和Ｄを求め、閾値Ｔと比較する。
【００３２】
【数４】
Ｄiは、クラスタＣiの重心ｚiとそのクラスタに属する特徴量ベクトルｘとの距離の和であり、Ｄは全クラスタにわたってＤiの和を求めたものである。もしＤ＜Ｔならば、ステップ５０６に進み、そうでないならば、ステップ５０５に進む。
【００３４】
ステップ５０５では、次のように各クラスタＣiの重心ｚiを再計算する。
【００３５】
【数５】
ただし、ＫiはＣiに属するｘの個数である。ｚiの再計算の後は、ステップ５０３に戻って、ｘnを分配し直す。
【００３７】
ステップ５０６では、クラスタ数ｍが、所望のクラスタ数Ｍに達したかどうかを判別し、もしｍ＝Ｍならば、ステップ５０７に進んでクラスタリング段階を終了する。ｍ＜Ｍならば、ステップ５０８に進む。
【００３８】
ステップ５０８では、距離の和Ｄiが最大のクラスタＣdを求める。
【００３９】
ｄ＝ａｒｇi ｍａｘ Ｄi …（９）
次のステップ５０９では、Ｃdを分割して、新しいクラスタＣm+1を生成する。そこで、Ｃm+1の重心ｚm+1を、Ｃdの重心ｚdの近傍のｚd＋Δｚとし、ｚdは、ｚd−Δｚに置き換える。
【００４０】
ｚm+1＝ｚd＋Δｚ …（１０）
ｚd＝ｚd−Δｚ …（１１）
ただし、Δｚは、小さいベクトルであり、例えば、
Δｚi＝０．００１ …（１２）
を用いることができる。
【００４１】
次のステップ５１０では、クラスタ数ｍを１増やす。そして、ステップ５０３に戻って、ｘnを分配し直す。
【００４２】
以上の手順によって、ｘnをＭ個のクラスタＣi（１≦ｉ≦Ｍ）に分けることができる。
【００４３】
クラスタリングの結果は、図６と図７に示すようなクラスタ情報管理表（１），（２）によって管理される。図６のクラスタ情報管理表（１）は、各クラスタの距離の和Ｄi、ｘの個数Ｋiを管理している。さらに、
【００４４】
【数６】
によって標準偏差σiを求めて、併せて表に記録しておく。この値は後で並べ替えやハイライト表示のときに頻繁に用いられるので、あらかじめ計算しておくと効率がよい。もちろん、このようにσiをあらかじめ計算しておくのではなく、必要になった時点でその都度ＤiとＫiから計算してもよい。
【００４６】
図７のクラスタ情報管理表（２）は、各クラスタに属する特徴量ベクトルを管理する表である。前記のクラスタリングの結果、各クラスタに特徴量ベクトルが分配されたが、その特徴量ベクトルｘnの添字ｎは場面ＩＤを表していた。そこで、各クラスタごとに、場面ＩＤを並べる形式で表を構成する。さらに、ｘnと、クラスタ重心ｚiとの距離ｄ＝ｄ（ｘn，ｚi）の値も併せて記録しておく。ｄは、後で、並べ替えやハイライト表示のために用いられる。
【００４７】
次に、図８を用いて、本発明のフレーム画像表示段階（ステップ１０３）と情報入力段階（１０４）の実施形態例を説明する。前記クラスタリングの結果は、後述のように８０１と８０９のようなフレーム画像表示部を用いて表示される。また、８０６の情報入力部を用いて、後述のようにフレーム画像に対して情報が付加される。
【００４８】
８０１は、フレーム画像表示部の第１の実施形態例である。このフレーム画像表示部８０１には、各場面のフレーム画像がクラスタ毎に並んで表示される。８０２や８０３は、各場面のフレーム画像の例である。８０２は後に述べるように太枠によってハイライト表示されている例である。８０４はスクロールバーであり、クラスタリングの結果が画面に収まりきらない場合に、このスクロールバー８０４を操作することによって、画面をスクロールして全体を表示することができる。
【００４９】
フレーム画像はクラスタ毎に表示されるが、クラスタの並び順は次のように決めることができる。すなわち、前述の図６のクラスタ情報管理表（１）のように、各クラスタについて標準偏差σを計算したが、このσの小さい順にクラスタを並べ替えることができる。このようにすれば、よりばらつきの少ないクラスタほど先頭に現れるようになる。クラスタ内のばらつきが小さければ、情報をまとめて付加するのが容易になる。したがって、情報を一斉に入力するのに適した順に並べることができる。
【００５０】
また、ひとつのクラスタ内での、フレーム画像の並び順は、次のように決めることができる。すなわち、前記の図７のクラスタ情報管理表（２）のように、フレーム画像とクラスタ重心との間の距離ｄを記録したが、このｄの値の小さい順にフレーム画像を並べることができる。このようにすれば、クラスタ重心に近い順にフレーム画像が並ぶので、そのクラスタを代表するフレーム画像ほど先に現れることになる。
【００５１】
さらに、前述の標準偏差σと距離ｄとを比較して、ｄ＜Ｎσとなるフレーム画像をハイライト表示することができる。ただし、Ｎは１，２，３であり、それぞれについて色を変えるなど異なる方法でハイライト表示してもよい。統計学によれば、クラスタ内のばらつきを正規分布と仮定すれば、σ以内に６８％、２σ以内に９５％、３σ以内に９９％の要素が分布していることが知られている。したがって、ハイライト表示されているフレーム画像は、クラスタを代表するフレーム画像であることを表す。逆に、ハイライト表示されていないフレーム画像は、そのクラスタにとって異質であることを表す。つまり、ハイライト表示によって、そのフレーム画像がそのクラスタを代表するかどうかが分かりやすくなる。
【００５２】
さらに、情報付加済のフレーム画像のみをハイライト表示したり、逆に、未付加のフレーム画像をハイライト表示することもできる。
【００５３】
以上の並べ替え及びハイライト表示により、似たフレーム画像同士がまとまり、しかも、まとまりの良い順に目立つように表示されるので、オペレータが情報を一斉に入力するのが容易になる。さらに、情報が付加されているかどうかによって、ハイライト表示を切り替えることができるので、情報の付け忘れを防ぐことができる。
【００５４】
８０５の斜線部は、情報入力の対象となるフレーム画像を選択した範囲を表している。この選択範囲８０５は、フレーム画像をポインティングデバイスによって指定したり、マウスドラッグなどの範囲選択法によってまとめて指定したりすることができる。この選択範囲８０５内のフレーム画像を、選択フレーム画像と呼ぶ。
【００５５】
８０６は情報入力部の実施形態例である。８０７は情報入力欄であり、前記の選択フレーム画像に対して付加する情報をキーボードなどによって入力する。なお、メニューなどの一覧から選択するようにしてもよい。８０８は入力ボタンであり、これを押すことによって、対象フレーム画像に入力情報が付加される。
【００５６】
８０９はフレーム画像表示部の第２の実施形態例である。８１０は、前記の選択フレーム画像が表示される領域である。複数のフレーム画像が選択されている場合は、どれかひとつが表示される。８１１には、選択フレーム画像に付加された情報が一覧表示される領域である。情報が画面に収まらない場合には、８１２のスクロールバーによってスクロールして表示することができる。複数のフレーム画像が選択されている場合には、選択フレーム画像すべてに共通する情報（積集合）を表示してもよいし、いずれかの選択フレーム画像に付加されている情報（和集合）を表示してもよい。このようにして、入力済の情報を確認することができる。
【００５７】
なお、表示手段としては、ブラウン管や、液晶ディスプレイなどを用いることができる。入力手段としては、マウスやタッチパネル、タブレット、キーボードなどを用いることができる。また、フレーム画像のハイライト表示は、枠を太くして強調する、あるいは、明度を向上させるなどの方法の他に、それ以外のフレーム画像を、目立たないように表示する、あるいは、表示しないことによって、相対的にハイライト表示を実現してもよい。
【００５８】
情報入力部８０６によって入力された情報は、図９のような場面ＩＤと、入力された付加情報の組を蓄積した付加情報管理表によって管理される。この付加情報管理表を用いれば、例えば、特定の情報が付加されている場面ＩＤを検索したり、ある場面に付加されている情報一覧を得たりすることができる。それぞれ、ＳＱＬ言語を用いて表せば、
ＳＥＬＥＣＴ 場面 ＩＤ ＦＲＯＭ 付加情報管理表 ＷＨＥＲＥ 付加情報＝’人物’；
ＳＥＬＥＣＴ 付加情報 ＦＲＯＭ 付加情報管理表 ＷＨＥＲＥ 場面ＩＤ＝１２３４；
となる。
【００５９】
なお、図２，６，７，９に示した表は、リレーショナルデータベースに適するように構成した例であり、これ以外の構成もありうる。例えば、オブジェクト指向データベース等を用いる場合には、図１０に示すように複数の表を参照関係によって結びつけて構成してもよい。
【００６０】
なお、以上の実施形態例で示した各種の抽出手順、および、クラスタリング手順、表示手順、情報付加手順は、コンピュータで適宜実行することが可能であり、その手順をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体、例えばフロッピーディスクやＣＤ−ＲＯＭなどに記録して配布することが可能である。
【００６１】
本発明は、その主旨を変更しない範囲で様々に変形して用いることができる。例えば、特徴量として、色のヒストグラムや、画面の動き、物体の形状などを用いることができる。
【００６２】
【発明の効果】
本発明によれば、特徴量抽出段階とクラスタリング段階とフレーム画像表示段階と情報入力段階を有するので、似たフレーム画像を持つ場面をまとめて一斉に情報を付加することができる。
【００６３】
また、本発明によれば、フレーム画像を縮小した画像の輝度値の並びを特徴量ベクトルとするので、フレーム画像を反映した特徴量を得ることができる。
【００６４】
また、本発明によれば、クラスタの重心と特徴量ベクトルとの間の距離の和の最も大きいクラスタを分割することによってクラスタリングを行うので、バランスが良く歪みの少ないクラスタリングが可能である。
【００６５】
また、本発明によれば、クラスタの重心と特徴量ベクトルとの間の距離の標準偏差の小さい順にクラスタを並べるので、よりばらつきの少ないクラスタほど先頭に現れるようになる。クラスタ内のばらつきが小さければ、情報をまとめて付加するのが容易になるので、情報を一斉に入力するのに適した順に並べることができる。
【００６６】
また、本発明によれば、クラスタ内で、クラスタの重心と特徴量ベクトルとの間の距離が小さい順にフレーム画像を並べるので、そのクラスタを代表するフレーム画像ほど先に現れる。したがって、似たフレーム画像どうしがまとまり、オペレータが情報を一斉に入力するのが容易になる。
【００６７】
また、本発明によれば、クラスタの重心と特徴量ベクトルとの間の距離と、前記距離の標準偏差との比較結果に基づいて、フレーム画像をハイライト表示するので、そのフレーム画像がそのクラスタを代表するかどうかが分かりやすくなる。
【００６８】
また、本発明によれば、情報付加済、あるいは、未付加のフレーム画像をハイライト表示するので、情報の付け忘れを防ぐことができる。
【００６９】
前記フレーム画像表示段階が、指定したフレーム画像に付加されている情報を表示し、指定したフレーム画像が複数の場合には、付加情報の和集合、あるいは、積集合を表示するので、入力済の情報を確認することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態例を表す流れ図である。
【図２】上記実施形態例における場面管理表を表す図である。
【図３】上記実施形態例において場面管理表から代表フレームを得る手順を表す図である。
【図４】本発明における特徴量ベクトルを得る手順の実施形態例を表す図である。
【図５】本発明におけるクラスタリングの手順の実施形態例を表す流れ図である。
【図６】上記実施形態例におけるクラスタ情報管理表（１）を表す図である。
【図７】上記実施形態例におけるクラスタ情報管理表（２）を表す図である。
【図８】本発明におけるフレーム画像表示段階と情報入力段階の手段の実施形態例を表す図である。
【図９】上記実施形態例における付加情報管理表を表す図である。
【図１０】場面管理表、付加情報管理表、クラスタ情報管理表の別の実施形態例を表す図である。
【符号の説明】
１０１…特徴量抽出段階
１０２…クラスタリング段階
１０３…フレーム画像表示段階
１０４…情報入力段階
５０１〜５１０…クラスタリング段階のステップ
８０１…フレーム画像表示部
８０２…フレーム画像（ハイライト表示）
８０３…フレーム画像
８０６…情報入力部
８０７…情報入力欄
８０８…入力ボタン
８０９…フレーム画像表示部
８１０…選択フレーム画像表示領域
８１１…付加情報表示領域
Claims (14)
- 映像に情報を付加する方法であって、
映像の各場面の代表フレーム画像の特徴量ベクトルを抽出する特徴量抽出段階と、
前記抽出された特徴量ベクトルが類似したクラスタに分類するクラスタリング段階と、
前記分類されたクラスタ毎にフレーム画像を表示手段に表示するフレーム画像表示段階と、
フレーム画像を指定して情報を入力する情報入力段階と、
を有し、
前記フレーム画像表示段階では、クラスタの重心と特徴量ベクトルとの間の距離ｄと、前記距離ｄの標準偏差σと、がｄ＜Ｎσ（Ｎは１、２、３のいずれか）となるフレーム画像をハイライト表示する、
ことを特徴とする映像情報一斉付加方法。 - 前記特徴量抽出段階では、各場面の代表フレーム画像を縮小した画像の輝度値の並びを特徴量ベクトルとする、
ことを特徴とする請求項１記載の映像情報一斉付加方法。 - 前記クラスタリング段階では、所望のクラスタ数になるまで、クラスタの重心と特徴量ベクトルとの間の距離の和の最も大きいクラスタを分割することによってクラスタリングを行う、
ことを特徴とする請求項１ないし２記載の映像情報一斉付加方法。 - 前記フレーム画像表示段階では、クラスタの重心と特徴量ベクトルとの間の距離の標準偏差の小さい順にクラスタを並べる、
ことを特徴とする請求項１ないし３の何れかに記載の映像情報一斉付加方法。 - 前記フレーム画像表示段階では、クラスタの重心と特徴量ベクトルとの間の距離が小さい順にフレーム画像を並べる、
ことを特徴とする請求項１ないし４の何れかに記載の映像情報一斉付加方法。 - 前記フレーム画像表示段階では、情報付加済、あるいは、未付加のフレーム画像をハイライト表示する、
ことを特徴とする請求項１ないし５の何れかに記載の映像情報一斉付加方法。 - 前記フレーム画像表示段階では、指定したフレーム画像に付加されている情報を表示し、指定したフレーム画像が複数の場合には、付加情報の和集合、あるいは、積集合を表示する、
ことを特徴とする請求項１ないし６の何れかに記載の映像情報一斉付加方法。 - 映像に情報を一斉付加する方法をコンピュータで実行するために、
映像の各場面の代表フレーム画像の特徴量ベクトルを抽出する特徴量抽出手順と、
前記抽出された特徴量ベクトルが類似したクラスタに分類するクラスタリング手順と、
前記分類されたクラスタ毎にフレーム画像を表示手段に表示するフレーム画像表示手順と、
フレーム画像を指定して情報を入力する情報入力手順と、
を有するプログラムを該コンピュータで読み取り可能な媒体に記録し、
前記フレーム画像表示手順では、クラスタの重心と特徴量ベクトルとの間の距離ｄと、前記距離ｄの標準偏差σと、がｄ＜Ｎσ（Ｎは１、２、３のいずれか）となるフレーム画像をハイライト表示することを特徴とする映像情報一斉付加方法を記録した記録媒体。 - 前記特徴量抽出手順では、各場面の代表フレーム画像を縮小した画像の輝度値の並びを特徴量ベクトルとする、
ことを特徴とする請求項８記載の映像情報一斉付加方法を記録した記録媒体。 - 前記クラスタリング手順では、所望のクラスタ数になるまで、クラスタの重心と特徴量ベクトルとの間の距離の和の最も大きいクラスタを分割することによってクラスタリングを行う、
ことを特徴とする請求項８ないし９記載の映像情報一斉付加方法を記録した記録媒体。 - 前記フレーム画像表示手順では、クラスタの重心と特徴量ベクトルとの間の距離の標準偏差の小さい順にクラスタを並べる、
ことを特徴とする請求項８ないし１０の何れかに記載の映像情報一斉付加方法を記録した記録媒体。 - 前記フレーム画像表示手順では、クラスタの重心と特徴量ベクトルとの間の距離が小さい順にフレーム画像を並べる、
ことを特徴とする請求項８ないし１１の何れかに記載の映像情報一斉付加方法を記録した記録媒体。 - 前記フレーム画像表示手順では、情報付加済、あるいは、未付加のフレーム画像をハイライト表示する、
ことを特徴とする請求項８ないし１２の何れかに記載の映像情報一斉付加方法を記録した記録媒体。 - 前記フレーム画像表示手順では、指定したフレーム画像に付加されている情報を表示し、指定したフレーム画像が複数の場合には、付加情報の和集合、あるいは、積集合を表示する、
ことを特徴とする請求項８ないし１３の何れかに記載の映像情報一斉付加方法を記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29379597A JP3821558B2 (ja) | 1997-10-27 | 1997-10-27 | 映像情報一斉付加方法およびその方法を記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29379597A JP3821558B2 (ja) | 1997-10-27 | 1997-10-27 | 映像情報一斉付加方法およびその方法を記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11136573A JPH11136573A (ja) | 1999-05-21 |
| JP3821558B2 true JP3821558B2 (ja) | 2006-09-13 |
Family
ID=17799263
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29379597A Expired - Fee Related JP3821558B2 (ja) | 1997-10-27 | 1997-10-27 | 映像情報一斉付加方法およびその方法を記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3821558B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6763069B1 (en) * | 2000-07-06 | 2004-07-13 | Mitsubishi Electric Research Laboratories, Inc | Extraction of high-level features from low-level features of multimedia content |
| JP4423131B2 (ja) | 2004-08-02 | 2010-03-03 | キヤノン株式会社 | 情報管理装置 |
| US7668402B2 (en) * | 2004-11-05 | 2010-02-23 | Intergraph Technologies Company | Method for generating a composite image |
| JP4968882B2 (ja) * | 2005-06-03 | 2012-07-04 | キヤノン株式会社 | 画像検索装置、画像検索方法およびプログラム |
| JP5116017B2 (ja) * | 2007-08-31 | 2013-01-09 | Ｋｄｄｉ株式会社 | 動画検索方法およびシステム |
| FR2950713A1 (fr) * | 2009-09-29 | 2011-04-01 | Movea Sa | Systeme et procede de reconnaissance de gestes |
| JP5553152B2 (ja) * | 2010-04-09 | 2014-07-16 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| JP6365024B2 (ja) | 2014-07-02 | 2018-08-01 | 富士通株式会社 | サービス提供装置、方法、及びプログラム |
| JP2019211811A (ja) * | 2018-05-31 | 2019-12-12 | 富士ゼロックス株式会社 | 画像処理装置およびプログラム |
-
1997
- 1997-10-27 JP JP29379597A patent/JP3821558B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11136573A (ja) | 1999-05-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11250048B2 (en) | Control method and non-transitory computer-readable recording medium for comparing medical images | |
| US11158419B2 (en) | Control method and non-transitory computer-readable recording medium | |
| JP6799115B2 (ja) | 情報端末の制御方法及びプログラム | |
| JP6960612B2 (ja) | 制御方法及びプログラム | |
| JP6578135B2 (ja) | 制御方法及びプログラム | |
| US9875256B2 (en) | Control method of information terminal and recording medium | |
| JP5815167B1 (ja) | 情報端末の制御方法及びプログラム | |
| CN101036147A (zh) | 图像显示系统和方法 | |
| US20120321223A1 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP3821558B2 (ja) | 映像情報一斉付加方法およびその方法を記録した記録媒体 | |
| US10417792B2 (en) | Information processing apparatus to display an individual input region for individual findings and a group input region for group findings | |
| JP2016085534A (ja) | 画像処理装置、画像処理装置の制御方法およびプログラム | |
| US20020161798A1 (en) | Information retrieving device | |
| JP2005269510A (ja) | ダイジェスト画像データの生成 | |
| JPH05282380A (ja) | 動画像検索方法 | |
| US20140285503A1 (en) | Image display method, apparatus, and program | |
| JP3024574B2 (ja) | 動画像検索装置 | |
| JP3377726B2 (ja) | 映像情報付加装置および方法およびその方法を記録した記録媒体 | |
| JP2022090703A (ja) | 層状臓器領域特定装置、層状臓器領域特定方法、およびプログラム | |
| JP3412748B2 (ja) | 映像データベース検索表示方法、装置および映像データベース検索表示プログラムを記録した記録媒体 | |
| JPH09325964A (ja) | ラスターイメージ地図装置及びその操作方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040615 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040816 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050315 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050516 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060613 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060620 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| LAPS | Cancellation because of no payment of annual fees |