JP5203648B2 - 画像抽出装置および画像抽出プログラム - Google Patents

Description

本発明は、連続撮影された画像列や、動画像フレーム画像列中のシーンの変化する位置や、有効な画像を抽出する画像抽出装置および画像抽出プログラムに関するものである。

従来から、動画像などの連続する画像列の中のシーンが変化する位置の画像（以下、「シーン変化画像」という）を抽出する画像抽出装置が知られている。この画像抽出装置では、操作者が、抽出された所定枚数のシーン変化画像を確認することによって、画像列に含まれるすべての画像を確認しなくても、短時間で画像列全体のおおまかな内容を把握でき、操作者が所望するシーンまたは画像を簡単に見つけることができる（特許文献１）。

さらに、動画像列においてシーンチェンジフレーム間にある画像群から、シーンの内容を示す画像として抽出された主要フレームのうち、操作者によって選択された画像の画像情報を用いて主要フレームの抽出条件を変更し、主要フレームを再抽出する画像抽出装置も知られている（特許文献２、３）。

特開２００１−５４０５５号公報 特開２００６−２１７０４５号公報 特開２００６−２１７０４６号公報

従来の画像抽出装置は、所定の抽出条件を用いて抽出した画像を用いて繰り返し抽出条件を変更し、画像を抽出する。したがって、初期設定された抽出条件が不適当であった場合、結果として操作者にとって満足度の低い画像を用いて、繰り返し抽出条件を変更することになってしまう。このため、操作者の意向を広く反映させて抽出条件を変更できず、結果として抽出条件を変更しても操作者が所望するシーン変化画像を確実に抽出できない場合があった。

本発明は、上記に鑑みてなされたものであって、操作者の所望するシーン変化画像を抽出しやすい画像抽出装置および画像抽出プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる画像抽出装置は、時系列で撮影された画像列の中から、所定の抽出条件を用いてシーンの変化する位置の画像をシーン変化画像として抽出するシーン変化画像抽出手段と、前記シーン変化画像が撮影された時点の近傍の時点で撮影された画像である近傍画像を表示する表示手段と、前記近傍画像のうち、所定の閲覧操作を受けた画像の画像情報および前記所定の閲覧操作の履歴情報を取得する操作履歴取得手段と、前記操作履歴取得手段によって取得された前記画像情報および前記操作の履歴情報を用いて、前記抽出条件を変更する変更手段と、を備え、前記シーン変化画像抽出手段は、前記変更手段によって変更された前記抽出条件を用いてシーンの変化する位置の画像を再抽出することを特徴とする。

また、本発明にかかる画像抽出プログラムは、時系列で撮影された画像列の中から、所定の抽出条件を用いてシーンの変化する位置の画像をシーン変化画像として抽出するシーン変化画像抽出手順と、前記シーン変化画像が撮影された時点の近傍の時点で撮影された画像である近傍画像を表示する表示手順と、前記近傍画像のうち、所定の閲覧操作を受けた画像の画像情報および前記所定の閲覧操作の履歴情報を取得する操作履歴取得手順と、前記操作履歴取得手段によって取得された前記画像情報および前記操作の履歴情報を用いて、前記抽出条件を変更する変更手順とを備え、前記シーン変化画像抽出手順は、前記変更手順によって変更された前記抽出条件を用いてシーンの変化する位置の画像を再抽出することを特徴とする。

本発明にかかる画像抽出装置は、操作者が所望するシーン変化画像を抽出しやすくなるという効果を奏する。

以下、添付図面を参照して、本発明を実施するための最良の形態である画像抽出装置および画像抽出プログラムについて説明する。なお、各実施の形態により本発明が限定されるものではない。また、図面の記載において、同一部分または相当する部分には同一の符号を付している。

(実施の形態)
図１は、本発明の実施の形態にかかる画像抽出装置の構成を示すブロック図である。図１に示す画像抽出装置は、演算機能および制御機能を備えた制御部１と、連続する画像列の画像情報を含む各種情報が記憶されている記憶部２と、画像を含む情報の表示出力を行う表示部３と、キーボードやマウス等の入力部４を備える。この画像抽出装置は、ＣＰＵ，ＲＯＭ，ＲＡＭ等を備えたコンピュータによって実現される。

制御部１は、記憶部２が記憶している画像列であって、時間的に連続する画像列の画像を読み込む画像読込部１１を備える。また、制御部１は、シーン変化画像抽出部１２と近傍画像表示制御部１３とを備える。シーン変化画像抽出部１２は、画像読込部１１によって読み込まれた画像列の中の画像から、所定の抽出条件を用いて、シーン変化画像を抽出する。また、近傍画像表示制御部１３は、シーン変化画像抽出部１２によって抽出されたシーン変化画像が撮影された時点の近傍の時点で撮影された画像である近傍画像を、表示部３に表示する制御を行う。

さらに、制御部１は、操作履歴取得部１４と抽出条件変更部１５とを備える。操作履歴取得部１４は、表示部３に表示された近傍画像のうち、操作者から所定の閲覧操作を受けた近傍画像の画像情報と、操作の内容についての情報である操作の履歴情報とを取得する。抽出条件変更部１５は、操作履歴取得部１４によって取得された画像の情報および操作の履歴情報を用いて、シーン変化画像を抽出するための抽出条件を変更する。なお、本実施の形態では、操作履歴取得部１４は、操作者から所定の閲覧操作を受けたシーン変化画像の画像情報および操作の履歴情報もあわせて取得し、抽出条件変更部１５は、抽出条件を変更する際に、操作履歴取得部１４が取得したシーン変化画像にかかる情報を近傍画像にかかる情報とあわせて用いる。

また、シーン変化画像抽出部１２は、特徴量算出部１２１と、変化量算出部１２２と、変化量情報付与部１２３と、統合変化量算出部１２４と、抽出部１２５と、抽出枚数設定部１６とを備える。特徴量算出部１２は、画像読込部１１によって読み込まれた各画像に対して、画像ごとに複数の所定の特徴量を算出する。変化量算出部１２２は、特徴量算出部１２１によって算出された特徴量を用いて所定の画像間の特徴量の変化量を算出する。変化量情報付与部１２３は、変化量算出部１２２によって算出された特徴量の変化量の情報を、対応する画像に対して付与する。さらに、統合変化量算出部１２４は、各画像に付与された複数の特徴量の変化量に関する情報を用いて、各画像について、複数の特徴量の変化量を組み合わせて統合した統合変化量を算出する。次いで、抽出部１２５は、統合変化量算出部１２４によって算出された各画像の統合変化量を用いて、抽出枚数設定部１２６によって予め設定された枚数の画像を画像列から抽出する。なお、この抽出枚数は、抽出枚数設定部１６によって予め設定されるが、操作者が入力部４を介して抽出枚数設定部１２６に入力してもよい。

以上の各部を有する画像抽出装置が備えるＣＰＵは、本実施の形態に係る画像抽出処理を実行するための画像処理プログラムを記憶部２から読み出すことにより、その画像抽出処理に関する演算処理を実行する。なお、本実施の形態に係る画像処理プログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フラッシュメモリ等のコンピュータが読み取り可能な記録媒体に記録させて広く流通させることも可能である。したがって、本実施の形態にかかる画像抽出装置は、前述した各種記録媒体のいずれかを読み取り可能な補助記憶装置を具備してもよい。

図２は、本実施の形態に係る画像抽出処理手順を示すフローチャートである。まず、画像読込部１１が、画像列を構成する全画像枚数、画像サイズ等の情報を記憶部２から読み込む（ステップＳ１０１）。その後、特徴量算出部１２１は、画像読込部１１が読み込んだ画像情報を用いて、各画像の特徴量を算出する（ステップＳ１０２）。なお、特徴量は１枚の画像について複数算出される。その後、変化量算出部１２２は、予め定められた時間間隔分、離れた画像間の特徴量の変化量を算出する（ステップＳ１０３）。なお、この場合、変化量算出部１２２は、複数の特徴量の各々について変化量を算出する。次に、変化量情報付与部１２３は、変化量算出部１２２によって算出された特徴量の変化量についての情報を、対応する画像に付与する（ステップＳ１０４）。

次いで、統合変化量算出部１２４は、各画像に付与された複数の特徴量の変化量を用いて、各画像に固有の量である統合変化量を算出する（ステップＳ１０５）。例えば、統合変化量算出部１２４は、特徴量ごとに設定された重み係数を用いて、各特徴量の変化量に重みを付けて、重み付けをした複数の特徴量の変化量を統合して統合変化量を算出する。なお、本実施の形態では、各特徴量の重み係数がシーン変化画像の抽出条件として設定される。

その後、抽出部１２５は、画像列の中の画像のうち統合変化量が大きい画像から順に、抽出枚数設定部１２６で設定された枚数の画像を、シーン変化画像として抽出する（ステップＳ１０６）。さらに、シーン変化画像抽出部１２は、抽出部１２５によって抽出されたシーン変化画像を出力して表示部３に表示する（ステップＳ１０７）。

その後、制御部１は、入力部４を介して、表示部３に表示されたシーン変化画像の中のいずれかの画像が操作者によって選択されたか否かを判断する（ステップＳ１０８）。画像が選択された情報である画像選択情報が取得された場合（ステップＳ１０８：Ｙｅｓ）、近傍画像表示制御部１３は、選択されたシーン変化画像の近傍画像を、選択されたシーン変化画像とともに表示部３に表示する（ステップＳ１０９）。一方、画像選択情報が取得されない場合（ステップＳ１０８：Ｎｏ）には、そのままステップＳ１１０に移行する。なお、シーン変化画像の選択の有無にかかわらず、近傍画像を表示するとしてもよい。

ステップＳ１１０では、シーン変化画像の表示終了指示があったか否かを判断する。シーン変化画像の表示の終了指示を取得していない場合（ステップＳ１１０：Ｎｏ）、ステップＳ１０７に移行し、上述の処理を行う。一方、シーン変化画像の表示の終了指示を取得した場合（ステップＳ１１０：Ｙｅｓ）、抽出条件変更部１５は、抽出条件を変更し、この抽出条件を記憶部２に記憶する（ステップＳ１１１）。具体的には、抽出条件変更部１５は、終了指示を取得するまでに操作履歴取得部１４が取得した情報、すなわち表示部３に表示されたシーン変化画像および近傍画像のうち、操作者から所定の閲覧操作を受けた画像の画像情報および操作の履歴情報を用いて、抽出条件である各特徴量の重み係数を変更する。一方、シーン変化画像の表示終了指示がない場合（ステップＳ１０８：Ｎｏ）、ステップＳ１０７に移行し、上述した処理を繰り返す。

その後、制御部１は、シーン変化画像抽出部１２に対してシーン変化画像の再抽出の指示の入力があったか否かを判断する（ステップＳ１１２）。シーン変化画像の再抽出の指示があった場合（ステップＳ１１２：Ｙｅｓ）、ステップＳ１０５に移行し、統合変化量算出部１２４は変更された重み係数を用いて再度、各画像の統合変化量を算出し、ステップＳ１０６以降の処理を繰り返す。一方、シーン変化画像抽出部１２に対してシーン変化画像の再抽出の指示の入力がなかった場合（ステップＳ１１２：Ｎｏ）、制御部１は、本画像抽出処理を終了する。

なお、操作者から所定の閲覧操作を受けた画像には、操作者から選択操作を受けた画像に加えて、主要な画像でないという旨の操作を受けた画像も含まれる。主要な画像でない旨の操作とは、例えば削除操作を受けた画像や、画像が時系列順に順次表示されている場合、すなわち動画表示されている場合、スキップ等の見飛ばしの操作を受けた画像など、故意に操作者から閲覧操作を受けなかった画像である。

この実施の形態にかかる画像抽出装置では、図２に示した画像抽出処理によって、シーン変化画像およびシーン変化画像の近傍に位置する近傍画像を抽出して表示部３に表示し、この表示されたシーン変化画像および近傍画像のうち、操作者から閲覧操作および所定の操作を受けた画像の画像情報および操作の履歴情報を用いて抽出条件を変更し、この抽出条件によってシーン変化が画像の再抽出を行うようにしている。

ここで、図３を用いて、上述した画像抽出処理による具体的な画像抽出処理について説明する。図３は、所定の抽出条件を用いて時間的に連続な画像列の中の画像を抽出し、抽出した画像のうち、所定の閲覧操作を受けた画像の画像情報および操作の履歴情報を用いて、抽出条件を変更する処理の概要を示した図である。時間的に連続な画像列１０は、時間間隔Δｔで隣接するＮ枚の画像１０−１〜１０−Ｎを有する。図２のステップＳ１０２〜Ｓ１０６に示す処理によって、画像列１０から、ｎ（ｎ＜Ｎ）枚のシーン変化画像列２０（２０−１〜２０−ｎ）が抽出される。この結果、画像１０−１〜１０−Ｎは、シーン変化画像２０−１〜２０−ｎによってｎ分割されることになる。その後、ステップＳ１０７の処理によって、シーン変化画像２０−１〜２０−ｎが、表示部３に表示される。

表示されたシーン変化画像２０−１〜２０−ｎのうち、シーン変化画像２０−ｉが操作者から選択操作を受けた場合、ステップＳ１０９の処理によって、シーン変化画像２０−ｉ、およびシーン変化画像２０−ｉの近傍画像３０−１〜３０−ｎ’を有する近傍画像列３０が、表示部３に表示される。なお、ｎ’の値は、操作者が指定する構成とすることもできるし、予め定められた値とすることもできるし、あるいは、シーン変化画像２０−（ｉ−１）と２０−ｉとの間の画像の枚数や、シーン変化画像２０−ｉと２０−（ｉ＋１）との間の画像の枚数に応じて設定される構成とすることもできる。図３に示した例では、近傍画像３０−１〜３０−ｎ’は、シーン変化画像の前後の画像のうちの、ｎ’枚の画像である。図３の例に限らず、シーン変化画像２０−ｉの前のｎ’枚の画像だけを近傍画像として表示してもよいし、シーン変化画像２０−ｉの後のｎ’枚の画像だけを近傍画像として表示してもよい。

さらに、ステップＳ１１１の処理により、図３に示すシーン変化画像２０−ｉおよび近傍画像３０−ｉ’のように、操作者から選択操作を受けた画像など、操作者から所定の閲覧操作を受けた画像の画像情報と操作の履歴情報とを用いて、抽出条件が変更される。

なお、図４は、シーン変化画像および近傍画像の表示例である。図４に示すように、シーン変化画像２０−１〜２０−ｎは、表示部３の表示画面３ａにサムネイル表示される。さらに、図４に示すように、シーン変化画像２０−ｉが操作者から選択操作を受けた場合、近傍画像列３０−１〜３０−ｎ’が、動画表示領域５０に動画表示される。なお、動画表示領域５０は、一時停止ボタン５１、再生ボタン５２、逆再生ボタン５３、順方向コマ送りボタン５４、逆方向コマ送りボタン５５を備える。一時停止ボタン５１は、動画表示を一時停止させて、表示中の画像を他の操作を受けるまで表示させる指示を制御部１に入力するボタンである。再生ボタン５２は時系列順に画像を表示させる指示、逆再生ボタン５３は時系列の逆に画像を再生させる指示を制御部１に入力するボタンである。順方向コマ送りボタン５４ンおよび逆方向コマ送りボタン５５は、各々の再生方向で再生速度を遅くし、各画像の表示時間を長くする指示を制御部１に入力するボタンである。なお、この場合、操作者から閲覧操作および所定の操作を受けた画像とは、上記のボタンが操作者によって選択された際に、表示部３に表示されていた画像をさす。

次に、図５および６を用いて、画像の特徴量、シーン変化画像および近傍画像の具体例を説明する。まず、図５は、画像列１０の中の画像の一例を示す図である。図５では、時間間隔Δｔで隣接する３枚の画像４１（時間ｔ＝ｔ₁）、４２（ｔ＝ｔ₁＋Δｔ）、４３（ｔ＝ｔ₁＋２Δｔ）にそれぞれ星型のオブジェクト４０１、４０２、４０３が撮影されている。これら３つのオブジェクト４０１、４０２、４０３は同一のオブジェクトである。図５では、星型のオブジェクトが同じ視野内を水平方向右側へ等速度で移動している場合を示している。なお、画像４２には、星型のオブジェクト４０２と比較して小さい、三日月型のオブジェクト４１２も撮影されている。

図５に示す画像の特徴量として、例えばオブジェクト４０１、４０２、４０３の色彩や画像数などがある。さらに、図６に示すような、図５に示す画像４１、４２、４３にそれぞれ含まれるオブジェクト４０１、４０２、４０３、４１２に対してエッジ抽出処理（または輪郭抽出処理でもよい）を施すことによって得られたエッジ抽出画像を用いても、特徴量を算出できる。ここで、図６に示すように、エッジ抽出画像４１ｅではオブジェクト４０１のエッジ部４０１ｅが表示され、エッジ抽出画像４２ｅではオブジェクト４０２、４１２のエッジ部４０２ｅ，４１２ｅが表示され、エッジ抽出画像４３ｅではオブジェクト４０３のエッジ部４０３ｅが表示されている。画像の特徴量の１つをエッジ部によって囲まれる面積（以下、「エッジ部の面積」と呼ぶ）とすると、画像４１の特徴量であるエッジ部４０１ｅの面積と画像４２の特徴量であるエッジ部４０２ｅの面積は同じであるが、画像４３の特徴量であるエッジ部４０３ｅの面積はエッジ部４０１ｅや４０２ｅの面積よりも小さくなっている。

したがって、所定の画像間の特徴量の変化量として、時間間隔Δｔ離れた画像間の特徴量の変化量を用い、さらにエッジ部の面積の重み係数が大きく、その他の特徴量の重み係数が小さい場合、この実施の形態にかかる画像抽出装置は、画像４１、４２、４３のうち、画像４３をシーン変化画像として抽出して表示部３に表示する。

さらに、本実施の形態にかかる画像処理装置は、操作者によって選択されたシーン変化画像の近傍画像を表示する。したがって、操作者によって画像４３が選択されると、この画像抽出装置は、画像４２を含む所定枚数の近傍画像として表示部３に表示する。そこで、三日月型のオブジェクト４１２が出現する画像も、操作者がシーン変化画像として所望する画像であった場合、操作者が画像４２に対して選択操作等の所定の閲覧操作を行えば、本実施の形態にかかる画像処理装置は、画像４２の画像情報を用いて抽出条件を変更する。結果として、次回以降、シーン変化画像を抽出する際に、三日月型のオブジェクト４１２が出現する画像もシーン変化画像として抽出されやすくなるように、抽出条件は変更される。例えば、実施の形態にかかる画像処置装置では、オブジェクトの色彩やオブジェクトの形状などの特徴量の変化量の重み係数が大きくなるように抽出条件が変更される。

なお、この実施の形態では、画像変化量として、上述した画像の特徴量以外の量を特徴量として用いることも可能である。例えば、正規化相互相関を特徴量の変化量として用いてもよいし、ＳＳＤ（対応する画素成分の差の２乗和）やＳＡＤ（対応する画素成分の差の絶対値和）などの類似度を特徴量の変化量として用いてもよい。また、画像列の中の全画像に対して画素値平均を乗算または除算した結果のＳＳＤやＳＡＤを特徴量の変化量として用いてもよいし、画像を分割した分割画像に対して各分割画像の画素値平均を乗算または除算した結果のＳＳＤやＳＡＤを特徴量の変化量として用いてもよい。さらに、空間内で規則的に（例えば等間隔に）選択された点や、局所的な特徴が大きい特徴点を算出し、そのような点の動き量またはオプティカルフローの大きさ（絶対値）を特徴量の変化量として用いることも可能である。ここで述べた特徴量の変化量は、エッジ部のなす図形の面積を特徴量として算出した変化量とは質的に異なる変化量である。したがって、さまざまな特徴量の変化量を統合した統合変化量を用いれば、さまざまな観点からシーンの変化する位置の画像を抽出できる。

次いで、抽出条件を変更する処理を具体的に説明する。まず、各画像に付与された特徴量の変化量を用いてシーン変化画像を抽出し、さらに近傍画像を抽出する処理について説明する。なお、以下の説明では、画像列１０の中の画像の特徴量の個数をＭ（Ｍは２以上の整数）とし、画像列１０の有する画像の枚数をＮ（Ｎは２以上の整数）とする。また、画像列１０の有する画像１０−１〜１０−Ｎの画像情報を、撮影時間順にＩ₁〜Ｉ_Nとする。変化量情報付与部１２３によって、ｑ番目の画像に対して付与されたｐ番目の特徴量の変化量をΔＦ_{q p}と表すと、画像列１０の画像に付与された特徴量の変化量は、次式（１）で表される変化量行列ΔＦとしてまとめられる。

なお、実施の形態では、種類が異なる複数の特徴量を用いており、各特徴量の大きさは統一されているわけではない。このため、単に各特徴量の変化量を成分とするベクトルを構成した場合、ベクトルの大きさに対して閾値処理を行うと、相対的に大きい値を有する特徴量の影響が支配的となり、相対的に小さい値を有する特徴量の影響が反映されなくなってしまう。そこで、本発明の実施の形態では、変化量算出部１２２によって算出された複数の特徴量の変化量の正規化処理を行い、この正規化処理によって得られた値を成分とする特徴量の変化量ベクトルを、各画像の変化量ベクトルとする。

各画像の変化量ベクトルが式（２）で与えられる場合、画像ごとに複数の特徴量の変化量を組み合わせて統合した統合変化量Sim _p は、次式（５）で与えられる。

統合変化量Sim _q は、所定の画像間の類似度を示しており、統合変化量Sim _p が小さい場合、所定の画像間の類似度が高い。したがって、シーン変化画像抽出部１２の抽出部１２５は、シーン変化画像として統合変化量Sim _q の大きな画像から順に所定枚数の画像を抽出する。近傍画像表示制御部１３は、操作者によって選択されたシーン変化画像に隣接する画像を所定枚数分、表示部３に表示する。

次に、シーン変化画像および近傍画像のうち、操作者から閲覧操作および所定の操作を受けた画像の画像情報および操作の履歴情報を用いて、抽出条件である重み係数を変更する処理を具体的に説明する。本実施の形態では、抽出条件を変更するために、情報検索の分野で使用されている適合性フィードバックという手法を用いる。すなわち、抽出条件変更部１５は、操作者から閲覧操作および所定の操作を受けた画像の画像情報と、操作の履歴情報と、式（６）とを用いて重み係数の行列ｗ’を算出する。

式（６）において、α、β、γは０以上の定数である。なお、定数α、β、γは統合変化量Sim _p と、変更後の重み係数の行列ｗ’との関係によって設定される。また、Ｄ_Rは操作者が所望する画像の集合を示し、Ｄ_Nは、操作者が所望しない画像の集合を示す。操作者が所望する画像であるか否かの判断は、抽出条件変更部１５が操作の履歴情報を用いて行う。抽出条件変更部１５は、式（６）を用いて、操作者が所望する画像において変化量の大きい特徴量の重みが大きくなり、操作者が所望しない画像において変化量の大きい特徴量の重みが小さくなるように、重み係数を変更する。

さらに、具体的な処理としては、抽出条件変更部１５は、式（６）に、特徴量の変化量の行列Ｆ_i、Ｆ_jおよび変更前の重み係数の行列ｗの情報を代入した後、定数α、β、γを増減して、所定の画像の統合変化量Sim _p が最小となるような重み係数の行列ｗ’を求める。そして、抽出条件変更部１５は、求めた重み係数ｗ’を用いて、所定の画像以外の画像についての統合変化量Sim_p を算出する。

このように、実施の形態にかかる画像抽出装置は、予め設定されたシーン変化画像の抽出条件を用いて抽出したシーン変化画像２０−ｉの画像情報のみならず、予め設定された抽出条件では抽出されなかった近傍画像３０−ｉ’の画像情報を用いてシーン変化画像の抽出条件を変更できる。すなわち、この実施の形態にかかる画像抽出装置は、予め設定された抽出条件には欠如している条件を補うことができるなど、操作者の意向を広く反映して抽出条件に変更できる。したがって、この実施の形態にかかる画像処理装置は、操作者の所望するシーン変化画像が抽出されやすくなる。

（変形例１）
なお、上述の実施の形態では、近傍画像は、シーン変化画像間の画像枚数に応じて設定される画像枚数分、シーン変化画像に隣接する画像であるとしたが、この変形例１では、各シーン変化画像が撮影される間に撮影された画像のうち少なくとも半数の画像を近傍画像とする。例えば、図７に示すように、近傍画像表示制御部１３は、操作者によって選択されたシーン変化画像２０−ｉとシーン変化画像２０−（ｉ−１）とが撮影される間に撮影された画像のうち半数の画像であって、シーン変化画像２０−ｉに隣接する画像、およびシーン変化画像２０−ｉとシーン変化画像２０−（ｉ＋１）とが撮影される間に撮影された画像のうち半数の画像であって、シーン変化画像２０−ｉに隣接する画像を近傍画像列３１として表示部３に表示する。すなわち、シーン変化画像２０−ｉの前後の画像であって、シーン変化画像２０−ｉと他のシーン変化画像とが撮影される間に撮影された画像のうち、少なくとも半数の画像を近傍画像として表示部３に表示する。

この変形例１では、画像列１０が有するすべての画像が、シーン変化画像または近傍画像のいずれかの画像に該当することとなり、変形例１にかかる画像抽出装置は、画像列１０が有するすべての画像の画像情報を用いて抽出条件を変更できる。したがって、この変形例１にかかる画像抽出装置では、操作者の所望するシーン変化画像を、より確実に抽出しやすくなる。

（変形例２）
また、変形例２では、少なくとも、所定のシーン変化画像と他のシーン変化画像とが撮影される間に撮影されたすべての画像を、近傍画像として表示する。例えば、図８に示すように、変形例２にかかる画像抽出装置は、操作者に選択されたシーン変化画像２０−ｉとシーン変化画像２０−（ｉ＋１）との間にあるすべての画像を、シーン変化画像２０−ｉの近傍画像列３２として表示する。

この変形例２にかかる画像抽出装置は、少なくとも、操作者に選択されたシーン変化画像２０−ｉの前または後に続く１シーンの画像をすべて表示する。したがって、操作者はシーンごとに画像を閲覧できるので、シーン変化画像間のシーン全体の内容を把握した上で、抽出条件を変更することができる。なお、本変形例において、シーン変化画像２０−ｉよりも１枚又は複数枚前の画像からシーン変化画像２０−（ｉ＋１）までの画像を、近傍画像として表示する構成とすることもできる。また、シーン変化画像の前および後に続くシーン、すなわちシーン変化画像の前後の２シーンの画像をすべて表示する構成とすることもできる。この変形例２においても、画像列１０が有するすべての画像が、シーン変化画像または近傍画像のいずれかの画像に該当することとなり、画像列１０が有するすべての画像の画像情報を用いて抽出条件を変更できる。したがって、操作者の所望するシーン変化画像を、より確実に抽出しやすくなる。

（変形例３）
また、上述の実施の形態では、画像抽出装置は、シーン変化画像２０−１〜２０−ｎを表示画面３ａにサムネイル表示したが、この変形例３では、シーン変化画像２０−１〜２０−ｎも表示画面３ａに動画表示する。すなわち、図９に示すように、変形例３にかかる画像抽出装置は、シーン変化画像２０−１〜２０−ｎを時系列順に動画表示する。この変形例３にかかる画像抽出装置は、操作者によって選択ボタン５６が選択されると、選択ボタン５６が選択された際に、表示画面３ａに表示されていたシーン変化画像２０−ｉの近傍画像を表示画面３ａに動画表示する。表示する近傍画像は、図３，図７，図８を用いて説明したいずれかの近傍画像である。

この変形例３にかかる画像抽出装置は、シーン変化画像を１枚ずつ表示画面３ａに表示するので、操作者が所望するシーン変化画像が表示されているにもかかわらず、表示されていることに気が付かずに、その画像が見落としてしまう危険性を低くできる。

（変形例４）
また、上述の実施の形態では、画像抽出装置は、近傍画像３０−１〜３０−ｎ’を動画表示するとしたが、この変形例４では、近傍画像３０−１〜３０−ｎ’をサムネイル表示する。すなわち、図１０に示すように、この変形例４にかかる画像抽出装置は、シーン変化画像２０−ｉが選択された場合、シーン変化画像２０−ｉおよび近傍画像３０−１〜３０−ｎ’をサムネイル表示する。

このように、変形例４にかかる画像抽出装置は、シーン変化画像２０−ｉおよび近傍画像３０−１〜３０−ｎ’を一覧表示するので、操作者は各画像を比較しながら閲覧できる。このため、変形例４にかかる画像抽出装置では、近傍画像間の差異を発見しやすく、操作者は所望の画像を容易に発見することができる。

（変形例５）
また、上述の実施の形態では、所定の閲覧操作を受けた画像とは、操作者から選択操作や削除操作を受けた画像であるとしたが、この変形例５では、図１０に示すように、画像を指示装置（例えば、ポインタ）で指示する（例えば、クリックする）操作を受けた画像や、図１１に示すように、指示装置が移動した軌跡に重なる画像、すなわち、表示画面３ａにおいて、ポインタが通過した画像も所定の閲覧操作を受けた画像に含める。

この変形例５にかかる画像抽出装置は、操作者がクリックした画像および操作者がポインタを通過させた画像など、操作者から積極的に選択操作は受けなかったが、操作者の興味を引いた画像の情報についても抽出条件の変更の際に用いることができるので、実施の形態に示す場合と比較して、操作者の意向をより広く反映した抽出条件に変更できる。したがって、操作者の所望するシーン変化画像を、さらに確実に抽出しやすくなる。

なお、動画表示またはサムネイル表示のいずれかを操作者が選択できる場合、実施の形態にかかる画像抽出装置は、動画表示とサムネイル表示との切り替えの指示を受けた画像を、所定の閲覧操作を受けた画像に含めてもよい。

（変形例６）
また、上述の実施の形態では、抽出条件変更部１５は、操作の履歴情報を用いて、操作者から操作を受けた画像が、操作者が所望する画像であるか否かを判断した上で、各画像の画像情報を用いて抽出条件を変更したが、この変形例６では、さらに操作者から受けた操作の内容に応じて画像情報に重み付けを行い、重み付けをした画像情報を用いて抽出条件を変更する。すなわち、図１２に示すように、変形例６にかかる画像抽出装置は、操作者から受けた操作に応じて画像情報の重要度を設定し、所定の操作を受けた画像の画像情報に重みをつける。

例えば、動画表示時に操作者から選択操作を受けた画像の画像情報を重要度１として最も重視する情報とし、サムネイル表示時にポインタが通過した画像の画像情報の重要度ｋとして、重視しないが考慮する情報とする。ここで、ポインタが通過したのみの画像の画像情報の重みを、操作者から選択操作を受けた画像の画像情報の重みの３分の１とすれば、抽出条件変更部１５は、操作者から選択操作を受けた特徴量の変化量の行列Ｆ_i’ の各値はそのまま、一方、ポインタが通過したのみの画像の特徴量の変化量の行列Ｆ_i’ の各値を３分の１にした上で、式（６）にそれぞれの値を代入し、抽出条件である特徴量の重み係数の行列ｗ’を算出する。

この変形例６にかかる画像抽出装置は、操作の履歴情報を用いて、操作者にとっての各画像の重要度を推定し、この重要度に応じて重み付けを行った画像情報を用いて抽出条件を変更するので、実施の形態と比較して、より正確に操作者の意向が反映された抽出条件に変更できる。したがって、操作者の所望するシーン変化画像が、さらに確実に抽出しやすくなる。

（実施例）
次に、本発明の実施例にかかる画像抽出装置について説明する。本発明の実施例にかかる画像抽出装置は、カプセル型内視鏡によって撮影された画像列（体腔内画像列）の中から画像を抽出する。図１３は、実施例に示した画像抽出装置を備えた被検体内情報取得システムの一例を模式的に示す図である。図１３に示す被検体内情報取得システムは、被検体Ｈの体腔内に導入され体腔内画像を撮像するカプセル型内視鏡５と、カプセル型内視鏡５によって送信された無線信号を受信し、受信した無線信号に含まれる画像を蓄積する受信装置６と、受信装置６および画像抽出装置に着脱可能なメモリカード等の携帯型の記憶部２とを備える。

カプセル型内視鏡５は、被検体Ｈの体腔内画像を撮像する撮像機能と、撮像した画像を含む無線信号を外部に送信する無線通信機能とを有する。より具体的には、カプセル型内視鏡５は、被検体Ｈの体腔内を進行すると同時に、例えば０.５秒程度の所定の間隔（２Ｈｚ程度）で被検体Ｈの体腔内画像を撮像し、この撮像した体腔内画像を所定の電波によって受信装置６に送信する。

受信装置６には、カプセル型内視鏡５によって送信された無線信号を受信する複数の受信アンテナ６ａ〜６ｈが接続されている。受信アンテナ６ａ〜６ｈは、例えばループアンテナを用いて実現され、カプセル型内視鏡５の通過経路に対応する被検体Ｈの体表上に分散配置される。このような受信アンテナは、被検体Ｈに対して１以上配置されればよく、その配置数は、図示するように８個に限定されるものではない。

受信装置６は、受信アンテナ６ａ〜６ｈのいずれかを介してカプセル型内視鏡５より発信される無線信号を受信し、この受信した無線信号をもとに被検体Ｈの体腔内画像の画像情報を取得する。受信装置６が取得した画像情報は、その受信装置６に挿着された記憶部２に格納される。被検体Ｈの体腔内画像の画像情報を記憶した記憶部２は、画像抽出装置に挿着され、制御部１０００における処理に使用される。

以上の各装置を有する被検体内情報取得システムにおいては、カプセル型内視鏡５が被検体Ｈの体腔内を８時間程度の時間をかけて移動しながら撮像し、６００００枚程度の大量の画像を撮影し体腔内画像列を作成する。しかしながら、この体腔内画像列の中には、例えば同じ体内器官を移動するときに撮像するシーンのように類似した画像が多数含まれている可能性があり、人間が全ての画像を観察することは現実的ではない。

このような状況の下、内視鏡を用いて診断および治療を行う医療現場からは、病変部など、着目すべき被写体が撮影された画像を短時間で適確に抽出する技術が待望されていた。しかし、診療科や疾患の種類のみならず、医師によっても体腔内画像において着目する対象物はさまざまであり、すべての医師が所望するすべての画像を抽出することができる画像抽出装置の開発は困難であった。

そこで、本実施例では、カプセル型内視鏡５によって撮像された大量の体腔内画像列に対し、各医師がそれぞれ着目する被写体が出現する画像が、シーン変化画像として抽出されるようにシーン変化画像の抽出条件を変更し、抽出条件を用いてシーン変化画像を再抽出する。具体的には、シーン変化画像および近傍画像のうち、医師によって選択された画像の情報および医師の操作の履歴情報を用いて抽出条件を変更し、変更した抽出条件を用いて、シーン変化画像を再抽出する。したがって、医師は所望の画像を容易に検索しやすくなり、診断を迅速に行うことができる。

（実施例の変形例）
なお、上述した実施例の変形例では、図１４に示すように、実施例にかかる被検体内情報取得システムの備える画像抽出装置が、各画像に撮影されている臓器を特定する臓器特定部１６をさらに備え、各画像に撮影されている臓器ごとにシーン変化画像の抽出条件を変更する。具体的には、操作履歴取得部１４が取得した情報を、臓器特定部１６が特定した臓器ごとに分類する。そして、抽出条件変更部１７は、分類された情報を用いて臓器ごとに抽出条件を変更する。その後、シーン変化画像抽出部１２は、各画像に撮影されている臓器ごとに、適用する抽出条件を換えてシーン変化画像を再抽出する。このように、実施例の変形例にかかる画像抽出装置は、臓器ごとに抽出条件を変更するので、実施例にかかる画像抽出装置と比較して、さらに確実に医師の所望するシーン変化画像が抽出できる。

本発明の実施の形態にかかる画像抽出装置の構成を示すブロック図である。 図１に示す画像抽出装置が行う画像抽出処理および抽出条件変更処理手順を示すフローチャートである。 図１に示す画像抽出装置が行う画像抽出処理および抽出条件変更処理の概要を示す図である。 図１に示す画像抽出装置が抽出した画像の表示例を示す図である。 画像列中の画像の具体例を示す図である。 図５に示す画像に対してエッジ抽出処理を行うことによって得られたエッジ抽出画像を示す図である。 変形例１にかかる画像抽出装置が行う画像抽出処理および抽出条件変更処理の概要を示す図である。 変形例２にかかる画像抽出装置が行う画像抽出処理および抽出条件変更処理の概要を示す図である。 図１に示す画像抽出装置が抽出した画像の表示例を示す図である。 図１に示す画像抽出装置が抽出した画像の表示例を示す図である。 図１に示す画像抽出装置が抽出した画像の表示例を示す図である。 画像情報の重要度の設定処理の概要を示す図である。 本発明の実施例にかかる被検体内情報取得システムの構成を示す図である。 実施例の変形例にかかる画像抽出装置の構成を示すブロック図である。

符号の説明

１、１０００ 制御部
２ 記憶部
３ 表示部
４ 入力部
５ カプセル型内視鏡
６ 受信装置
６ａ、６ｂ、６ｃ、６ｄ、６ｅ、６ｆ、６ｇ、６ｈ 受信アンテナ
１０、１０’ 画像列
１１ 画像読込部
１２ シーン変化画像抽出部
１３ 近傍画像表示制御部
１４ 操作履歴取得部
１５、１７ 抽出条件変更部
１６ 臓器特定部
２０ シーン変化画像列
３０、３１、３２ 近傍画像列
４１、４２、４３ 画像（具体例）
４１ｅ、４２ｅ、４３ｅ エッジ抽出画像
５１ 一時停止ボタン
５２ 再生ボタン
５３ 逆再生ボタン
５４ 順方向コマ送りボタン
５５ 逆方向コマ送りボタン
５６ 選択ボタン
１０−１〜１０−Ｎ 画像
２０−１〜２０−ｎ シーン変化画像
３０−１〜３０−ｎ’ 近傍画像
１２１ 特徴量算出部
１２２ 変化量算出部
１２３ 変化量情報付与部
１２４ 統合変化量算出部
１２５ 抽出部
１２６ 抽出枚数設定部
４０１、４０２、４１２、４０３ オブジェクト
４０１ｅ、４０２ｅ、４１２ｅ、４０３ｅ エッジ部
Ｈ 被検体

Claims (13)

1. 時系列に撮影された画像列の中の画像ごとに、種類の異なる複数の特徴量を算出する特徴量算出手段と、
   前記特徴量ごとに、所定の画像間の前記特徴量の変化量を算出する変化量算出手段と、
   前記変化量算出手段によって算出された前記変化量を、対応する前記画像に付与する変化量付与手段と、
   前記特徴量ごとに設定された重み係数を用いて、前記画像ごとに付与された複数の前記特徴量の変化量を統合した統合変化量を算出し、前記統合変化量を用いて前記画像列の中から、シーンの変化する位置の画像をシーン変化画像として抽出するシーン変化画像抽出手段と、
   前記シーン変化画像が撮影された時点の近傍の時点で撮影された画像である近傍画像を表示する表示手段と、
   前記近傍画像のうち、主要な画像でない旨の操作を含む所定の閲覧操作を受けた画像の画像情報および前記所定の閲覧操作の履歴情報を取得する操作履歴取得手段と、
   前記操作履歴取得手段によって取得された前記画像情報および前記操作の履歴情報を用いて、前記所定の閲覧操作の内容に応じた寄与を含む前記重み係数を変更する変更手段と、
   を備え、
   前記シーン変化画像抽出手段は、前記変更手段によって変更された前記重み係数を用いてシーンの変化する位置の画像を再抽出することを特徴とする画像抽出装置。
2. 時系列に撮影された画像列の中から、所定の抽出条件を用いてシーンの変化する位置の画像をシーン変化画像として抽出するシーン変化画像抽出手段と、
   前記シーン変化画像が撮影された時点の近傍の時点で撮影された画像である近傍画像を表示する表示手段と、
   前記近傍画像のうち、主要な画像でない旨の操作を含む所定の閲覧操作を受けた画像の画像情報および前記所定の閲覧操作の履歴情報を取得する操作履歴取得手段と、
   前記操作履歴取得手段によって取得された前記画像情報および前記操作の履歴情報を用いて、前記抽出条件を変更する変更手段と、
   前記表示手段に表示された前記近傍画像を指示する指示手段と、
   を備え、
   前記シーン変化画像抽出手段は、前記変更手段によって変更された前記抽出条件を用いてシーンの変化する位置の画像を再抽出し、
   前記操作履歴取得手段は、前記表示手段に表示された前記近傍画像のうち、前記所定の閲覧操作として、前記指示手段の移動軌跡と重なった前記近傍画像を、前記所定の閲覧操作を受けた前記近傍画像とし、該近傍画像の前記画像情報および前記所定の閲覧操作の履歴情報を取得することを特徴とする画像抽出装置。
3. 前記操作履歴取得手段は、前記所定の閲覧操作として、前記表示手段に所定の表示形態で表示された前記近傍画像であって、異なる表示形態で表示する操作を受けた前記近傍画像の前記画像情報および前記所定の閲覧操作の履歴情報を取得することを特徴とする請求項２に記載の画像抽出装置。
4. 前記シーン変化画像抽出手段は、前記シーン変化画像を複数抽出し、
   前記表示手段は、少なくとも、複数抽出した前記シーン変化画像のうちの所定のシーン変化画像と他のシーン変化画像とが撮影される間に撮影された画像枚数に応じた枚数の画像を、前記近傍画像として表示することを特徴とする請求項１〜３のいずれか一つに記載の画像抽出装置。
5. 前記シーン変化画像抽出手段は、前記シーン変化画像を複数抽出し、
   前記表示手段は、少なくとも、複数抽出した前記シーン変化画像のうちの所定のシーン変化画像と他のシーン変化画像とが撮影される間に撮影された画像のうちの半数の画像を、前記近傍画像として表示することを特徴とする請求項１〜３のいずれか一つに記載の画像抽出装置。
6. 前記シーン変化画像抽出手段は、前記シーン変化画像を複数抽出し、
   前記表示手段は、少なくとも、複数抽出した前記シーン変化画像のうちの所定のシーン変化画像と他のシーン変化画像とが撮影される間に撮影されたすべての画像を、前記近傍画像として表示することを特徴とする請求項１〜３のいずれか一つに記載の画像抽出装置。
7. 前記表示手段は、少なくとも、前記シーン変化画像が撮影された時点の前後の時点で撮影された画像を、前記近傍画像として表示することを特徴とする請求項１〜６のいずれか１つに記載の画像抽出装置。
8. 前記表示手段は、前記近傍画像を時系列順に順次表示し、
   前記操作履歴取得手段は、前記表示手段に前記近傍画像が時系列順に順次、表示される際、前記所定の閲覧操作として、前記近傍画像の表示の停止、順方向コマ送り、逆方向コマ送り、逆方向再生の操作、削除操作、見飛ばしの操作のいずれかを受けた前記近傍画像の前記画像情報および前記所定の閲覧操作の履歴情報を取得することを特徴とする請求項１〜７のいずれか一つに記載の画像抽出装置。
9. 前記変更手段は、前記所定の閲覧操作に応じて、該所定の閲覧操作を受けた前記近傍画像の前記画像情報の重要度を設定し、前記重要度に応じて重み付けを行った前記画像情報を用いて、前記抽出条件を変更することを特徴とする請求項１〜８のいずれか一つに記載の画像抽出装置。
10. 前記シーン変化画像抽出手段で抽出する前記画像の枚数を指定する枚数指定手段を備えたことを特徴とする請求項１〜９のいずれか一つに記載の画像抽出装置。
11. 前記画像列は、被検体の体腔内に導入されたカプセル型内視鏡によって撮影された体腔内画像列であることを特徴とする請求項１〜１０のいずれか一つに記載の画像抽出装置。
12. 前記画像が撮影された臓器を特定する臓器特定手段を備え、
    前記変更手段は、前記臓器特定手段で特定された前記臓器ごとに、前記操作履歴取得手段によって取得された前記画像情報および前記操作の履歴情報を用いて、前記抽出条件を変更することを特徴とする請求項１１に記載の画像抽出装置。
13. 時系列で撮影された画像列を記憶手段から読み込み、該画像列の中の画像ごとに、種類の異なる複数の特徴量を算出する特徴量算出手順と、
    前記特徴量ごとに、所定の画像間の前記特徴量の変化量を算出する変化量算出手順と、
    前記変化量算出手順において算出された前記変化量を、対応する前記画像に付与する変化量付与手順と、
    前記特徴量ごとに設定された重み係数を用いて、前記画像ごとに付与された複数の前記特徴量の変化量を統合した統合変化量を算出し、前記統合変化量を用いて前記画像列の中から、所定の抽出条件を用いてシーンの変化する位置の画像をシーン変化画像として抽出するシーン変化画像抽出手順と、
    前記シーン変化画像が撮影された時点の近傍の時点で撮影された画像である近傍画像を表示手段に表示する表示手順と、
    前記近傍画像のうち、主要な画像でない旨の操作を含む所定の閲覧操作を受けた画像の画像情報および前記所定の閲覧操作の履歴情報を取得する操作履歴取得手順と、
    前記操作履歴取得手順において取得された前記画像情報および前記操作の履歴情報を用いて、前記所定の閲覧操作の内容に応じた寄与を含む前記重み係数を変更する変更手順と、
    をコンピュータに実行させ、
    前記シーン変化画像抽出手順は、前記変更手順において変更された前記重み係数を用いてシーンの変化する位置の画像を再抽出することを特徴とする画像抽出プログラム。

Images