JP4267207B2 - 動画フィルム、ビデオテープ等の媒体に記憶された画像シーケンスを個別シーケンスに分解する方法 - Google Patents

Description

【０００１】
本発明は、動画フィルム、ビデオテープ等の媒体に記憶された画像シーケンスを個別シーケンスに分解する方法に関する。
【０００２】
動画フィルムやビデオテープの連続するシーンを手動で個別シーケンスに分割して、これらの個別シーケンスを場合により別の順序で組み合わせたり、削除したり、あるいは記憶させたりすることが公知である。このとき個別シーケンスの開始は、通常、１つまたは複数のスタート画像によって惹起され、たとえば割当を注記したフィルムフラップを記録することによって惹起される。
【０００３】
画像列は、動画フィルム、ビデオテープ、ＣＤ等の電子記憶媒体など、さまざまな記録媒体に含まれていてよい。多くの利用ケースでは、動画フィルムと電子記憶媒体への並行した記録が行われ、この場合、電子的に記憶された画像列が撮影機の光学的な光路から写し出されてビデオチップやビデオカメラでビデオ信号に変換され、このビデオ信号が電子記憶媒体で記憶される。
ＵＳ−Ａ−５，５３７，５３０より、ビデオテープに記憶された画像列を個別シーケンスに分解する方法であって、所定の程度を上回る、または下回る、連続する画像の平均明度の変化に基づく第１種シーケンス交代と、連続する画像の画像コンテンツの変化に基づく第２種シーケンス交代とを検出し、画像シーケンスを個別シーケンスに自動的に分解するための分解マークをセットする方法が公知である。
【０００４】
多くの利用ケースでは、手動による分解や、個別シーケンスを導入するためのスタート画像の記録を必要とすることなく、特にデジタル化されたフィルムを個別シーケンスに自動的に分解することが望まれている。特に医療分野では、画像列を記録した直後に診断用の個別シーケンスを利用できるようにするために、このようにデジタル化されたフィルムを個別シーケンスに自動的に分解することが希望されている。その際に決定的に重要になるのは、一方では自動的な分解のときにどの画像も失われることがなく、また他方では、個別シーケンスの画像列を分解するための高い認識率を達成するという点にある。
【０００５】
本発明の課題は、個別シーケンスのできるだけ高い認識率を確保するとともに、分解方法の適用時にどの画像も失われないことが保証されている、特にデジタル化された動画フィルムやビデオ記録等の自動的な分解をする方法を提供することである。
【０００６】
この課題は、本発明によれば請求項１の構成要件によって解決される。
【０００７】
本発明による解決法は、一方では、可能な限り高い認識率を保証するとともに、他方では動画フィルム、ビデオテープ等の画像列のすべての画像の維持を保証するものである。
【０００８】
本発明による解決法は、特に、相応のハードウェアコンポーネントを備えるデータ処理装置で具体化するのに適しており、単独ユーザーによる適用にも、ネットワーク化されたシステムでも、またデータ遠隔通信にも利用することができる。
【０００９】
本発明による方法の有利な実施形態は、従属請求項の構成要件に記載されている。
【００１０】
実際の利用で判明したところでは、個別シーケンスの選択された個別画像、有利にはそれぞれ最初の個別画像をアイコンとしてモニター上に表示し、アイコンのクリックによって該当する個別シーケンスを開始させることができるようにするのが好都合である。複数のアイコンを連続してクリックすることで、一連の個別シーケンスの表示を始動させることができる。
【００１１】
次に、実施例を参照しながら、本発明の基礎となっている思想について詳しく説明する。
【００１２】
デジタル化された心臓病学上のフィルムを個別シーケンスに自動的に分解するための本発明による方法と、当該方法から導き出されるソフトウェアとを適用するため、本実施例では媒体として３５ｍｍ動画フィルムとＳ−ＶＨＳビデオテープを使用する。これらの媒体では、下記のように全部で３種類のシーケンス交代を観察することができる：
１．３５ｍｍ動画フィルム（ネガティブ）では、２つから３つのほぼ白色の画像、しばしば短い間隔（約３画像）で相前後する最大３つのこのようなシーケンス交代。
２．ビデオテープでは、最大３０のほぼ黒色の画像。
３．ビデオテープでは、シーケンス終了部において１０から１５の（雑音を除く）同一の個別画像、次いで、特別にマーキングされた中間画像なしに次のシーケンスの開始。
【００１３】
上の２つのシーケンス交代を、以下においては第１種シーケンス交代と呼び、３番目のシーケンス交代を第２種シーケンス交代と呼ぶことにする。第１種と第２種のシーケンス交代は次のように取り扱われる：
平均明度の著しい変化に基づく第１種シーケンス交代は、非常に高い確実性で認識することができ、画像材料が良い場合には１００％の認識率を達成することができる。
【００１４】
分解は、第１種および第２種のシーケンス交代に対して、第１類および第２類の分解マークを付すことによって行う。第１類の分解マークは、所定数の連続する黒画像または白画像である。分解マークとして認識される画像は、それ自体としては記憶されていない。分解マークの後の最初の画像は、次のシーケンスの最初の画像でもある。シーケンス自体は少なくとも所定数の画像を含んでいなくてはならず、そうでない場合、シーケンスは削除される。
【００１５】
画像コンテンツの変化に基づく第２種シーケンス交代は、はるかに認識が難しい。なぜなら変化の度合いがさまざまであり、１つのシーケンス内部でも、連続する画像の間に大きな相違が生じる可能性があるからである。多くの利用ケースでは約７５％の認識率しか達成できず、すなわち、すべてのシーケンス交代がシーケンス交代として認識されるのではなく、時折、分解がシーケンスの内部で実行される。それでも、どの画像も失われないことは保証されている。
【００１６】
分解は、次のような規則に従って行われる：
ａ）第２類の分解マークは、コンテンツが、先行する画像のコンテンツと大きく異なっている画像である。
【００１７】
ｂ）第１類の分解マークには常に優先権がある。
【００１８】
ｃ）第１類の分解マークの所定の間隔の範囲内にある第２類の分解マークは、考慮されない。
【００１９】
ｄ）先行するシーケンスが少なくとも所定数の画像を含んでいない場合、第２類の分解マークは考慮されない。
【００２０】
ｅ）分解マークとして認識される画像は、次のシーケンスの最初の画像である。
【００２１】
自動的な分解方法の挙動を設定するため、次に掲げるもっとも重要なパラメータならびに次のファイル名を、ファイル「ｓｐｌｉｔｔｅｒ．ｉｎｉ」で設定し、ないしは指定する：
ａ）パラメータ「ＭｅａｎＭｉｎＦｒａｍｅｓ」は、第１類の分解マークによって区切られる個別シーケンスが、少なくともどれだけの数の画像を含んでいなくてはならないかを指定する。これよりも短いシーケンスは削除される。
【００２２】
多くのフィルムは、患者名の挿入画面（フラップ）を含む非常に短いシーケンスしか含んでいないので、内部的に１２の設定値と、＞０の数値範囲にするときは、このパラメータの数値範囲は４から６が推奨される。
【００２３】
ｂ）パラメータ「ＭｅａｎＳｐｌｔＦｒａｍｅｓ」は、分解を行うために第１類の分解マークが少なくともどれだけの数の画像で構成されていなくてはならないかを指定する。設定値は２であり、数値範囲は＞０とする。
【００２４】
ｃ）パラメータ「ＭｅａｎＳｅｎｓｉｔｉｖｉｔｙ」は、第１類の分解マークに対する反応感度を低い感度から高い感度まで、０．０から１．０までの数値範囲で表す。値０．０は、この基準に関するチェックがないことを意味する。ただし、先行するシーケンスと比べて明度が著しく異なっている新しいシーケンスの開始を確実に認識できるようにするため、この値を高くしすぎてはならない。上に挙げた数値範囲の内部で、０，２５から０，３５の数値範囲が推奨される。
【００２５】
ｄ）パラメータ「ＣｈａｎｇｅＭｉｎＦｒａｍｅｓ」は、第２類の分解マークによって区切られるシーケンスが少なくともどれだけの数の個別画像を含んでいなくてはならないかを指定する。シーケンスがこれよりも短いと、第２類のすべての分解マークが削除される。さらに、第１類の分解マークから少なくともこの間隔を有していない第２類のすべての分解マークが削除される。有利には数値範囲＞０のとき設定値を１２とする。
【００２６】
ｅ）パラメータ「ＣｈａｎｇｅＳｅｎｓｉｔｉｖｉｔｙ」は、第２類の分解マークに対する反応感度を表す。数値範囲は０．０から１．０であり、値０．０はこの基準に関するチェックがないことを意味し、平均的なビデオ材料については値０．７が推奨される。
【００２７】
ｆ）ファイル「ＳｐｌｔＤａｔＰａｔｈ」（「ｓｐｌｉｔｍａｒｋｓ．ｄａｔ」）は、分解マークのリストが書き込まれるファイルを表す。このファイルは、プログラムのデバッグバージョンについてのみ有効とするのが好都合である。
【００２８】
ｇ）ファイル「ＳｅｑＤａｔＰａｔｈ」（「ｓｅｑｕｅｎｃｅｓ．ｄａｔ」）は、コマンド行に別途のファイル名が指定されていない場合には、シーケンスリストが保存されるファイルを表す。
【００２９】
自動的なシーケンス分解は、それぞれのビデオ源について別個に、レコーディングソフトウェアのセットアップウィンドで活動化させることができ、未加工データがハードディスクに保存された後、かつ、ＤＩＣＯＭデータセットへの次の処理の前に行われる。このとき処理速度は１秒あたり約５００から１０００画像である。レコーディングソフトウェアのファイルＶＩＭ．ＩＭには、プログラム「ｓｐｌｉｔｔｅｒ．ｅｘｅ」の完全なパスネームがパラメータとしてエントリーされる。
【００３０】
ファイル「ｓｐｌｉｔｔｅｒ．ｅｘｅ」および「ｓｐｌｉｔｔｅｒ．ｉｎｉ」の標準インストールリストには、予備設定に応じて次のファイルが生成される：
１．ロギングファイル「ｓｐｌｉｔｔｅｒ．ｌｏｇ」
２．デバッグバージョンを表す分解マーク「ｓｐｌｉｔｍａｒｋｓ．ｄａｔ」のリスト
３．個別シーケンス「ｓｅｑｕｅｎｃｅｓ．ｄａｔ」のリスト
アルゴリズムを形成するため、それぞれの画像をまず第１類の分解マークに関して調べる。この分解マークが見つからないときは、第２類の分解マークを探す。こうして、考えられるすべての分解マークの暫定的なリストができてから、個別シーケンスを決定するための後処理が行われる。
【００３１】
機能ＣｈｅｃｋＳｐｌｉｔＭｅａｎによって、第１類の分解マークが発見される。その都度最後の１６の（ＭＥＡＮＦＲＡＭＥＳ）画像に関して、画像明度の平均値（ＭｅａｎＭｅａｎ）が算出される。これに基づいて、およびパラメータＭｅａｎＳｅｎｓｉｔｉｖｉｔｙに基づいて、もっとも下の閾値（ＬＴｈｒｅｓｈ）ともっとも上の閾値（ＵＴｈｒｅｓｈ）とを次のようにして求める：
ＬＴｈｒｅｓｈ＝ＭｅａｎＳｅｎｓｉｔｉｖｉｔｙ＊ＭｅａｎＭｅａｎ
ＵＴｒｅｓｈ＝２５５−ＭｅａｎＳｅｎｓｉｔｉｖｉｔｙ＊（２５５−ＭｅａｎＭｅａｎ）
最新の画像の平均値がＵＴｈｒｅｓｈよりも上回ると、白色分解マーク（ＳＰＬＴ＿ＷＨＩＴＥ）がセットされ、ＬＴｈｒｅｓｈよりも下回ると黒色分解マーク（ＳＰＬＴ＿ＢＬＡＣＫ）がセットされる。このとき分解マーク画像の平均値は、移動平均には含まれない。
【００３２】
機能ＣｈｅｃｋＳｐｌｉｔＣｈａｎｇｅにより、最新の画像と先行する画像との間でピクセル明度のＲＭＳ偏差（ＣｕｒｒＲｍｓＤｉｆｆ）を算出することによって、第２類の分解マークが発見される。最後の１６の（ＭＥＡＮＦＲＡＭＥＳ）画像交代に関するＲＭＳ偏差の移動平均（ＭｅａｎＲｍｓＤｉｆｆ）を求め、これに基づいて、およびパラメータＣｈａｎｇｅＳｅｎｓｉｔｉｖｉｔｙに基づいて、閾値（ＤｉｆｆＴｈｒｅｓｈ）を次のようにして求める：
ＤｉｆｆＴｈｒｅｓｈ＝（８−６＊ＣｈａｎｇｅＳｅｎｓｉｔｉｖｉｔｙ）＊ＭｅａｎＲｍｓＤｉｆｆ
最新の画像交代のＲＭＳ偏差が閾値よりも上回ると、分解マーク（ＳＰＬＴ＿ＣＨＡＮＧＥ）がセットされる。第２類の分解マークのＲＭＳ偏差は移動平均値に含まれるが、第１類の場合には含まれない。
【００３３】
機能ＥｖａｌｕａｔｅＳｐｌｉｔにより、個別シーケンスを分解マークリストから次のような条件で求める：
１．ＭｅａｎＳｐｌｔＦｒａｍｅｓ画像の数よりも短い第１類のすべての分解マークシーケンスは、削除する。
２．残存する第１類の分解マークに対してＣｈａｎｇｅＭｉｎＦｒａｍｅｓ数の画像よりも近い第２類のすべての分解マークは、削除する。
【００３４】
こうして形成された個別シーケンスは、
１．ファイルの最初の画像、または
２．第１類の分解マークの後の最初の画像、または
３．第２類の分解マーク
をもって開始し、
１．ファイルの最後の画像、または
２．当該分解マークが少なくともＭｅａｎＭｉｎＦｒａｍｅｓ画像よりも長い場合における（そうでないとこのシーケンスは削除される）、第１類の分解マークの前の最後の画像、または
３．当該分解マークが少なくともＣｈａｎｇｅＭｉｎＦｒａｍｅｓ画像よりも長い場合における（そうでないとこのシーケンスは削除される）、第２類の分解マークの前の最後の画像
をもって終了する。

Claims (22)

1. 動画フィルム、ビデオテープ等の媒体に記憶された画像シーケンスを個別シーケンスに分解する方法であって、
   連続する画像間の画像コンテンツの画素ベースの変化に基づく第２種シーケンス交代を検出し、第２種シーケンス交代を構成する個別画像に、画像シーケンスを個別シーケンスに自動的に分解するための第２類の分解マークをセットし、
   最新の画像の平均明度が、先行する画像の画像明度の移動平均値から算出した限界値を上回っている、または下回っている第１種シーケンス交代を検出し、第１種シーケンス交代を構成する個別画像に、画像シーケンスを個別シーケンスに自動的に分解するための第１類の分解マークをセットすることを特徴とする方法。
2. 第１種シーケンス交代が、明度が実質的に同じである事前設定可能な数の連続する個別画像で構成されている、請求項１に記載の方法。
3. 第２種シーケンス交代が、画像コンテンツが実質的に一致する事前設定可能な数の個別画像で構成されている、請求項１に記載の方法。
4. 第２種シーケンス交代が、先行する画像のコンテンツに比べて事前設定可能な程度だけコンテンツが異なる個別画像で構成されている、請求項３に記載の方法。
5. 画像シーケンスが、第１種および第２種のシーケンス交代が決定される前にデジタル化される、請求項１乃至４の何れか一項に記載の方法。
6. 画像シーケンス内の各画像について、まず第１類の分解マークがあるかどうかチェックされ、第１類の分解マークがないときには第２類の分解マークがないかどうかチェックされる、請求項１乃至５の何れか一項に記載の方法。
7. 考えられるすべての分解マークの暫定リストが作成されて、個別シーケンスを決めるための後処理が行われる、請求項６に記載の方法。
8. 第１類の分解マークが優先的に取り扱われる、請求項７に記載の方法。
9. 第１類の分解マークから所定の間隔の範囲内にある第２類の分解マークが削除される、請求項７または８に記載の方法。
10. 第２類の分解マークが、先行する画像シーケンスが所定数の個別画像を含んでいる場合にのみ考慮される、請求項７乃至９の何れか一項に記載の方法。
11. 所定数の個別画像を下回る画像シーケンスに基づく分解マークが削除される、請求項１乃至１０の何れか一項に記載の方法。
12. 第１種シーケンス交代が、所定数の連続する黒画像または白画像で構成されている、請求項１乃至１１の何れか一項に記載の方法。
13. 分解マークとして認識される画像そのものが保存されず、分解マークの後の最初の画像が次の画像シーケンスの最初の画像である、請求項１乃至１２の何れか一項に記載の方法。
14. 所定数の個別画像に関して画像明度の移動平均値が算出され、この移動平均値に基づいて、および第１類の分解マークの反応感度のパラメータに基づいて上側と下側の閾値が決定され、最新の画像の平均値が上側の閾値よりも上回っているときには白色分解マークがセットされ、最新の画像の平均値が下側の閾値よりも下回っているときには黒色分解マークがセットされる、請求項１乃至１３の何れか一項に記載の方法。
15. 分解マークとして認識される画像の平均値が移動平均に含まれない、請求項１４に記載の方法。
16. 第２種シーケンス交代を見つけるために最新の画像と先行する画像の間でピクセル明度のＲＭＳ偏差を算出し、事前設定可能な数の先行する画像交代に関するＲＭＳ偏差の移動平均値、および第２類の分解マークの反応感度を指定するパラメータから閾値を決定し、最新の画像交代のＲＭＳ偏差がこの閾値を上回っているときに分解マークをセットする、請求項１乃至１５の何れか一項に記載の方法。
17. 第２類の分解マークのＲＭＳ偏差が移動平均値に含まれ、第１類の分解マークの場合には含まれない、請求項１６に記載の方法。
18. 考えられるすべての分解マークのリストから個別シーケンスを決定するため、第１類の分解マークのうち、第１類の分解マークをセットするのに必要な個別画像の数よりも短いものをすべて削除し、第２類の分解マークのうち、残存する第１類の分解マークに対して、第２類の分解マークによって区切られるのに必要なシーケンスの画像の最低数よりも近くに存在しているものをすべて削除する、請求項７に記載の方法。
19. シーケンスが、ファイルの最初の画像、または第１類の分解マークの後の最初の画像、または第２類の分解マークをもって開始し、ファイルの最後の画像、または当該分解マークが第１類の分解マークをセットするのに必要な個別画像の数を少なくとも含んでいる場合における第１類の分解マークの前の最後の画像、または当該分解マークが第２類の分解マークによって区切られるのに必要なシーケンスの画像の最低数を含んでいる場合における第２類の分解マークの前の最後の画像をもって終了する、請求項１乃至１８の何れか一項に記載の方法。
20. 個別画像シーケンスの選択された個別画像、有利にはその都度最初の個別画像が、アイコンとしてモニター上に表示され、このアイコンをクリックすることで個別シーケンスが開始する、請求項１乃至１９の何れか一項に記載の方法。
21. 複数のアイコンをクリックすることで一連の個別シーケンスの表示を開始させる、請求項２０に記載の方法。
22. 請求項１乃至２１の何れか一項に記載の方法の使用法において、デジタル化されたフィルム、特に心臓病学上のフィルムを個別シーケンスに自動的に分解するのに使用する使用法。