JP4482778B2 - 画像処理装置および画像処理方法、並びに記録媒体 - Google Patents
画像処理装置および画像処理方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP4482778B2 JP4482778B2 JP2000274766A JP2000274766A JP4482778B2 JP 4482778 B2 JP4482778 B2 JP 4482778B2 JP 2000274766 A JP2000274766 A JP 2000274766A JP 2000274766 A JP2000274766 A JP 2000274766A JP 4482778 B2 JP4482778 B2 JP 4482778B2
- Authority
- JP
- Japan
- Prior art keywords
- object extraction
- image
- processes
- screen
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20101—Interactive definition of point of interest, landmark or seed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、並びに記録媒体に関し、特に、例えば、容易な操作で、的確なオブジェクト抽出を行うことができるようにする画像処理装置および画像処理方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
画像から、いわゆる前景等となっている物体の部分であるオブジェクトを抽出する方法としては、様々な手法が提案されている。
【０００３】
即ち、例えば、特開平１０−２６９３６９号公報には、あるフレームについて、オブジェクトの輪郭を検出することにより、オブジェクトを抽出し、その次のフレームについては、前のフレームのオブジェクトの周辺を探索して、オブジェクトの輪郭を検出し、さらに、その検出結果に基づいて、オブジェクトを抽出することを繰り返す方法が記載されている。
【０００４】
また、例えば、ある画素の画素値と似た画素値を有する画素を探索し、そのような画素でなる領域を、オブジェクトとして抽出する方法等もある。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来のオブジェクト抽出方法では、装置が、あらかじめ決められた閾値その他のパラメータに基づいて、オブジェクトの抽出を行うため、ある特定の特徴を有する画像からのオブジェクト抽出は良好に行うことができるが、他の特徴を有する画像からのオブジェクト抽出を良好に行うことができないことがあった。
【０００６】
そこで、オブジェクト抽出時に用いるパラメータを可変に設定する方法が考えられるが、パラメータを可変にしても、ある値に設定されたパラメータが適している部分の抽出は良好に行うことができるが、そのパラメータが適していない部分の抽出を良好に行うことができない場合があり、その結果、オブジェクト全体を的確に抽出することが困難であった。
【０００７】
また、例えば、ユーザに、オブジェクトの輪郭を指定してもらい、その指定された輪郭に基づいて、オブジェクトを抽出する方法があるが、この場合、オブジェクトを的確に抽出するには、ユーザが、オブジェクトの輪郭を、細部にわたって指定する必要があり、ユーザの操作負担が大であった。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、容易な操作で、的確なオブジェクト抽出を行うことができるようにするものである。
【０００９】
【課題を解決するための手段】
本発明の一側面の画像処理装置、又は、記録媒体は、画像から所定のオブジェクトを抽出する画像処理装置であって、注目している注目画面の画像から、複数の処理によってオブジェクトを抽出するオブジェクト抽出手段と、前記複数の処理によるオブジェクト抽出結果から、最終的なオブジェクト抽出結果に反映させるものを、ユーザからの入力に基づいて選択する選択手段と、前記選択手段において選択されたオブジェクト抽出結果を、最終的なオブジェクト抽出結果に反映させる反映手段と、前記複数の処理によるオブジェクト抽出結果の順位付けを行うときに操作される操作手段と、前記オブジェクト抽出結果の順位付けに基づいて、前記複数の処理の内容を決定する決定手段とを備え、前記複数の処理は、異なる閾値を用いた処理であり、前記決定手段は、前記複数の処理によるオブジェクト抽出結果に対して、ユーザから順位付けの入力があった場合、その順位付けに基づいて、第１位のオブジェクト抽出結果を得たときに用いられた第１位の閾値と、第２位のオブジェクト抽出結果を得たときに用いられた第２位の閾値との間の値を、次の前記複数の処理のうちの１つの処理に用いられる閾値に決定する画像処理装置、又は、画像処理装置として、コンピュータを機能させるためのプログラムが記録された記録媒体である。
【００１０】
本発明の一側面の画像処理方法は、画像から所定のオブジェクトを抽出する画像処理方法であって、注目している注目画面の画像から、複数の処理によってオブジェクトを抽出するオブジェクト抽出ステップと、前記複数の処理によるオブジェクト抽出結果から、最終的なオブジェクト抽出結果に反映させるものを、ユーザからの入力に基づいて選択する選択ステップと、前記選択ステップにおいて選択されたオブジェクト抽出結果を、最終的なオブジェクト抽出結果に反映させる反映ステップと、ユーザからの前記オブジェクト抽出結果の順位付けに基づいて、前記複数の処理の内容を決定する決定ステップとを備え、前記複数の処理は、異なる閾値を用いた処理であり、前記決定ステップでは、前記複数の処理によるオブジェクト抽出結果に対して、前記複数の処理によるオブジェクト抽出結果の順位付けを行うときに操作される操作手段が操作されることにより、ユーザから順位付けの入力があった場合、その順位付けに基づいて、第１位のオブジェクト抽出結果を得たときに用いられた第１位の閾値と、第２位のオブジェクト抽出結果を得たときに用いられた第２位の閾値との間の値を、次の前記複数の処理のうちの１つの処理に用いられる閾値に決定する画像処理方法である。
【００１２】
本発明の一側面においては、注目している注目画面の画像から、複数の処理によってオブジェクトが抽出され、前記複数の処理によるオブジェクト抽出結果から、最終的なオブジェクト抽出結果に反映させるものが、ユーザからの入力に基づいて選択される。そして、その選択されたオブジェクト抽出結果が、最終的なオブジェクト抽出結果に反映される。前記複数の処理は、異なる閾値を用いた処理であり、前記複数の処理によるオブジェクト抽出結果に対して、前記複数の処理によるオブジェクト抽出結果の順位付けを行うときに操作される操作手段が操作されることにより、ユーザから順位付けの入力があった場合、その順位付けに基づいて、第１位のオブジェクト抽出結果を得たときに用いられた第１位の閾値と、第２位のオブジェクト抽出結果を得たときに用いられた第２位の閾値との間の値が、次の前記複数の処理のうちの１つの処理に用いられる閾値に決定される。
【００１３】
【発明の実施の形態】
図１は、本発明を適用した画像処理装置の一実施の形態のハードウェア構成例を示している。
【００１４】
この画像処理装置は、コンピュータをベースに構成されており、コンピュータには、後述するようなオブジェクト抽出を行うための一連の処理を実行するプログラム（以下、適宜、オブジェクト抽出処理プログラムという）がインストールされている。
【００１５】
なお、画像処理装置は、このように、コンピュータにプログラムを実行させることによって構成する他、それ専用のハードウェアにより構成することも可能である。
【００１６】
ここで、オブジェクト抽出処理プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やＲＯＭ１０３に予め記録される。
【００１７】
あるいはまた、オブジェクト抽出処理プログラムは、フロッピーディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）される。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【００１８】
なお、オブジェクト抽出処理プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるオブジェクト抽出処理プログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
【００１９】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)１０３に格納されているオブジェクト抽出処理プログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているオブジェクト抽出処理プログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたオブジェクト抽出処理プログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたオブジェクト抽出処理プログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、後述するようなフローチャートにしたがった処理、あるいは後述するブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【００２０】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【００２１】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【００２２】
図２は、図１の画像処理装置の機能的構成例を示している。なお、この機能的構成は、図１のCPU１０２がオブジェクト抽出処理プログラムを実行することによって実現される。
【００２３】
ストレージ１は、オブジェクトを抽出する対象の動画の画像データを記憶する。また、ストレージ１は、処理制御部７から供給される、後述するような各フレームの履歴情報等も記憶する。
【００２４】
注目フレーム処理部２は、ストレージ１に記憶された画像データの所定のフレームを注目フレームとして、その注目フレームの画像データを読み出し、処理制御部７からの制御にしたがい、注目フレームに関する処理を行う。
【００２５】
即ち、注目フレーム処理部２は、注目フレームバッファ２１、背景バッファ２２、オブジェクトバッファ２３、およびセレクタ２４等から構成されている。注目フレームバッファ２１は、ストレージ１から読み出された注目フレームの画像データを記憶する。背景バッファ２２は、注目フレームバッファ２１に記憶された注目フレームの画像のうち、後述するオブジェクトバッファ２３に記憶された部分以外の残りを、背景画像として記憶する。オブジェクトバッファ２３は、後述するオブジェクト抽出部３で抽出される注目フレームのオブジェクトを記憶する。セレクタ２４は、注目フレームバッファ２１に記憶された注目フレーム、背景バッファ２２に記憶された背景画像、またはオブジェクトバッファ２３に記憶されたオブジェクトのうちのいずれか１つを選択し、表示部５に供給する。
【００２６】
オブジェクト抽出部３は、処理制御部７の制御にしたがい、注目フレームバッファ２１に記憶された注目フレームから、複数の処理によってオブジェクトを抽出する。
【００２７】
即ち、オブジェクト抽出部３は、境界検出部３１、切り出し部３２、および結果処理部３３等から構成されている。境界検出部３１は、注目フレームバッファ２１に記憶された注目フレームの画像の境界部分を検出し、その境界部分と、境界部分でない部分（以下、適宜、非境界部分という）とを表す２値で構成される、複数種類（ここでは、例えば、３種類）の境界画像を作成する。切り出し部３２は、境界検出部３１において作成された３つの境界画像を参照し、注目フレームバッファ２１に記憶された注目フレームから、オブジェクトを構成する領域を切り出す。さらに、切り出し部３２は、３つの出力バッファ３２Ａ乃至３２Ｃを有しており、３種類の境界画像を参照して切り出した領域を、出力バッファ３２Ａ乃至３２Ｃにそれぞれ記憶させる。結果処理部３３は、切り出し部３２が有する３つの出力バッファ３２Ａ乃至３２Ｃに対応して、３つの結果バッファ３３Ａ乃至３３Ｃを有しており、オブジェクトバッファ２３に記憶されたオブジェクトの抽出結果に、出力バッファ３２Ａ乃至３２Ｃの記憶内容それぞれを合成して、その３つの合成結果を、結果バッファ３３Ａ乃至３３Ｃにそれぞれ記憶させる。さらに、結果処理部３３は、ユーザがマウス９を操作することによって与えられる入力に基づいて、結果バッファ３３Ａ乃至３３Ｃの記憶内容のうちのいずれかを選択し、オブジェクトバッファ２３の記憶内容に反映させる。
【００２８】
履歴管理部４は、処理制御部７の制御の下、履歴情報を管理する。
【００２９】
即ち、履歴管理部４は、指定位置記憶部４１、履歴画像記憶部４２、およびパラメータテーブル記憶部４３等から構成されている。指定位置記憶部４１は、ユーザがマウス９を操作することにより入力した注目フレーム上の位置の座標の履歴を記憶する。履歴画像記憶部４２は、オブジェクト抽出部４２における処理の内容の履歴を表す履歴画像を記憶し、パラメータテーブル記憶部４３は、その履歴画像を構成する画素値としてのＩＤに対応付けて、オブジェクト抽出部３における処理の内容を表すパラメータを記憶する。即ち、パラメータテーブル記憶部４３は、オブジェクト抽出部３における処理の内容を表すパラメータを、ユニークなＩＤと対応付けて記憶する。そして、履歴画像記憶部４２は、オブジェクトを構成する画素ごとに、オブジェクトを構成する画素として抽出するのに用いた処理の内容に対応するＩＤを記憶する。従って、オブジェクトを構成するある画素を、オブジェクトとして抽出するのに用いた処理の内容は、その画素の履歴画像における画素値としてのＩＤに対応付けられている、パラメータテーブル記憶部４３のパラメータを参照することで認識することができる。
【００３０】
ここで、履歴画像記憶部４２には、上述のように、画素をオブジェクトとして抽出したときの処理の内容を表すパラメータに対応付けられているＩＤを、画素値として、そのような画素値で構成される画像が記憶されるため、その画像は、オブジェクト抽出に用いた処理の内容の履歴を表していることから、履歴画像と呼んでいる。また、以下、適宜、指定位置記憶部４１、履歴画像記憶部４２、およびパラメータテーブル記憶部４３における記憶内容をまとめて、履歴情報という。
【００３１】
なお、指定位置記憶部４１、履歴画像記憶部４２、およびパラメータテーブル記憶部４３は、少なくとも２つのバンクを有しており、バンク切り替えによって、注目フレームと、その注目フレームの１フレーム前のフレーム（前フレーム）についての履歴情報を記憶することができるようになっている。
【００３２】
表示部５は、セレクタ２４が出力する画像（注目フレームの画像、背景画像、またはオブジェクト）と、結果処理部３３の結果バッファ３３Ａ乃至３３Ｃに記憶された画像を表示する。
【００３３】
動き検出部６は、処理制御部７の制御の下、注目フレームの画像の、前フレームの画像を基準とする動きベクトルを検出し、処理制御部７に供給する。
【００３４】
即ち、動き検出部６は、前フレームバッファ６１を内蔵しており、ストレージ１から、前フレームの画像データを読み出し、前フレームバッファ６１に記憶させる。そして、動き検出部６は、前フレームバッファ６１に記憶された前フレームの画像データと、注目フレーム処理部２の注目フレームバッファ２１に記憶された注目フレームの画像データとを対象としたブロックマッチング等を行うことにより、動きベクトルを検出して、処理制御部７に供給する。
【００３５】
処理制御部７は、イベント検出部８から供給されるイベント情報等に基づき、注目フレーム処理部２、オブジェクト抽出部３、履歴管理部４、および動き検出部６を制御する。さらに、処理制御部７は、イベント検出部８から供給されるイベント情報や、履歴管理部４で管理されている履歴情報に基づいて、オブジェクト抽出部３における処理の内容を決定し、その決定結果に基づいて、オブジェクト抽出部３にオブジェクトを抽出させる。また、処理制御部７は、位置補正部７１を内蔵しており、イベント検出部８からイベント情報として供給される注目フレームの画像上の位置の情報や、履歴管理部４の指定位置記憶部４１に記憶された位置の情報等を、動き検出部６からの動きベクトルにしたがって補正する。この補正された位置の情報は、後述するように、オブジェクト抽出部３に供給され、オブジェクトの抽出に用いられる。あるいは、また、履歴管理部４１に供給され、指定位置記憶部４１で記憶される。
【００３６】
イベント検出部８は、ユーザがマウス９を操作することにより発生するイベントを検出し、そのイベントの内容を表すイベント情報を、処理制御部７に供給する。
【００３７】
マウス９は、表示部５に表示された画像上の位置を指定する場合や、所定のコマンドを装置に与える場合等に、ユーザによって操作される。
【００３８】
次に、図３は、表示部５における画面の表示例を示している。
【００３９】
オブジェクト抽出処理プログラムが実行されると、表示部５には、図３に示すような横と縦がそれぞれ２分割されたウインドウが表示される。
【００４０】
この４分割されたウインドウにおいて、左上の画面は、基準画面とされており、右上、左下、右下の画面は、それぞれ結果画面＃１，＃２，＃３とされている。
【００４１】
基準画面には、セレクタ２４が出力する画像が表示される。上述したように、セレクタ２４は、注目フレームバッファ２１に記憶された注目フレーム、背景バッファ２２に記憶された背景画像、またはオブジェクトバッファ２３に記憶されたオブジェクトのうちのいずれか１つを選択し、表示部５に供給するので、基準画面には、注目フレームの画像（原画像）、オブジェクト、または背景のうちのいずれかが表示される。表示部５に、上述のいずれの画像を表示させるかは、ユーザが、マウス９を操作することにより切り替えることができるようになっている。図３の実施の形態においては、背景バッファ２２に記憶された背景画像、即ち、原画像から、オブジェクトバッファ２３にオブジェクトとして取り込まれた画像を除いた画像が、基準画面に表示されている。なお、基準画面において斜線を付してある部分が、現在、オブジェクトバッファ２３に取り込まれている部分を表している（以下、同様）。
【００４２】
また、基準画面の左下には、チェンジディスプレイ(Change Display)ボタン２０１、ユースレコード(Use Record)ボタン２０２、デリートパートリィ(Delete Partly)ボタン２０３、およびアンドゥ(Undo)ボタン２０４が設けられている。
【００４３】
チェンジディスプレイボタン２０１には、基準画面に表示させる画像を切り替えるときに操作される。即ち、セレクタ２４は、チェンジディスプレイボタン２０１がマウス９でクリックされるごとに、注目フレームバッファ２１、背景バッファ２２、オブジェクトバッファ２３の出力を、いわば巡回的に選択し、その結果、基準画面に表示される画像が、原画像、オブジェクト、背景の順に、巡回的に切り替えられる。
【００４４】
ユースレコードボタン２０２は、注目フレームバッファ２１に記憶された注目フレームからオブジェクトを抽出するのに、履歴管理部４に記憶されている履歴情報を利用するかどうかを設定するときに操作される。即ち、ユースレコードボタン２０２がマウス９でクリックされると、基準画面には、履歴情報の利用を許可するかどうか等を設定するためのプルダウンメニューが表示されるようになっている。なお、本実施の形態では、基本的に、履歴情報の利用が許可されているものとする。
【００４５】
デリートパートリィボタン２０３は、オブジェクトバッファ２３に、オブジェクトとして記憶された画像の一部を削除する（オブジェクトから背景に戻す）ときに操作される。即ち、ユーザがマウス９を操作することにより、基準画面に表示されたオブジェクトの所定の部分を範囲指定した後、デリートパートリィボタン２０３をマウス９でクリックすると、その範囲指定されたオブジェクトの所定の部分が、オブジェクトバッファ２３から削除される。従って、デリートパートリィボタン２０３は、例えば、オブジェクトバッファ２３に、背景の一部が、オブジェクトとして取り込まれた場合に、その背景部分を、オブジェクトから削除するような場合に使用される。
【００４６】
アンドゥボタン２０４は、結果処理部３３の結果バッファ３３Ａ乃至３３Ｃから、オブジェクトバッファ２３に、オブジェクトとして取り込まれた画像のうち、前回取り込まれた部分を削除するときに操作される。従って、アンドゥボタン２０４が操作されると、オブジェクトバッファ２３に記憶された画像は、結果バッファ３３Ａ乃至３３Ｃから画像が取り込まれる直前の状態に戻る。なお、オブジェクトバッファ２３は、複数バンクを有しており、結果バッファ３３Ａ乃至３３Ｃから画像が取り込まれる直前の状態を、少なくとも保持している。そして、アンドゥボタン２０４が操作された場合には、オブジェクトバッファ２３は、直前に選択していたバンクへのバンク切り替えを行うことにより、セレクタ２４に出力する画像を切り替える。
【００４７】
結果画面＃１乃至＃３には、注目フレームから、異なる処理で抽出されたオブジェクトが記憶された結果バッファ３３Ａ乃至３３Ｃの記憶内容、即ち、３つの異なる処理で行われたオブジェクト抽出の結果がそれぞれ表示される。また、結果画面＃１乃至＃３それぞれの左下には、ランクリザルト(Rank Result)ボタン２０６、グラブオール(Grab All)ボタン２０７、およびグラブパートリィ(Grab Partly)ボタン２０８が設けられている。
【００４８】
ランクリザルトボタン２０６は、結果画面＃１乃至＃３に表示されたオブジェクト抽出結果の順位付けを行うときに操作される。即ち、結果画面＃１乃至＃３それぞれのランクリザルトボタン２０６を、ユーザがマウス９を操作することにより、オブジェクト抽出結果として好ましいと考える順番でクリックすると、そのクリック順に、結果画面＃１乃至＃３に表示されたオブジェクト抽出結果に対して、順位付けが行われる。そして、オブジェクト抽出部３では、その順位付けに基づいて、再度、オブジェクトの抽出が行われ、そのオブジェクト抽出結果が、結果画面＃１乃至＃３に表示される。
【００４９】
グラブオールボタン２０７は、結果画面＃１乃至＃３に表示されたオブジェクト抽出結果のうちのいずれかを、オブジェクトバッファ２３に反映する（取り込む）ときに操作される。即ち、ユーザがマウス９を操作することにより、結果画面＃１乃至＃３のうちの、好ましいと考えるオブジェクト抽出結果が表示されているもののグラブオールボタン２０７をクリックすると、その結果画面に表示されたオブジェクト抽出結果を記憶している結果バッファの記憶内容のすべてが選択され、オブジェクトバッファ２３に反映される。
【００５０】
グラブパートリィボタン２０８は、結果画面＃１乃至＃３に表示されたオブジェクト抽出結果のうちのいずれかの一部を、オブジェクトバッファ２３に反映する（取り込む）ときに操作される。即ち、ユーザがマウス９を操作することにより、結果画面＃１乃至＃３のうちの、好ましいと考えるオブジェクト抽出結果の一部分を範囲指定した後、グラブパートリィボタン２０８をマウス９でクリックすると、その範囲指定されたオブジェクト抽出結果の一部分が選択され、オブジェクトバッファ２３に反映される。
【００５１】
次に、図４のフローチャートを参照して、図２の画像処理装置の処理の概要について説明する。
【００５２】
ユーザがマウス９を操作することにより、何らかのイベントが生じると、イベント検出部８は、ステップＳ１において、そのイベントの内容を判定する。
【００５３】
ステップＳ１において、イベントが、表示部５の基準画面に表示させる画像を切り替える「画面選択」を指示するものであると判定された場合、即ち、チェンジディスプレイボタン２０１（図３）がクリックされた場合、イベント検出部８は、「画面選択」を表すイベント情報を、処理制御部７に供給する。処理制御部７は、「画面選択」を表すイベント情報を受信すると、ステップＳ２に進み、注目フレーム処理部２のセレクタ２４を制御し、処理を終了する。
【００５４】
これにより、セレクタ２４は、注目フレームバッファ２１、背景バッファ２２、またはオブジェクトバッファ２３の出力の選択を切り替え、その結果、基準画面に表示される画像が、図５に示すように、注目フレームバッファ２１に記憶された注目フレームの原画像、背景バッファ２２に記憶された背景画像、またはオブジェクトバッファ２３に記憶されたオブジェクトのうちのいずれかに切り替えられる。
【００５５】
また、ステップＳ１において、イベントが、オブジェクトバッファ２３に直前反映された画像を削除する「アンドゥ」を指示するものであると判定された場合、即ち、アンドゥボタン２０４がクリックされた場合、イベント検出部８は、「アンドゥ」を表すイベント情報を、処理制御部７に供給する。処理制御部７は、「アンドゥ」を表すイベント情報を受信すると、ステップＳ３に進み、注目フレーム処理部２のオブジェクトバッファ２３を制御し、オブジェクトバッファ２３に直前に反映されたオブジェクトの部分を削除させ、ステップＳ４に進む。
【００５６】
ステップＳ４では、処理制御部７は、履歴管理部４１を制御することにより、ステップＳ３でオブジェクトバッファ２３から削除された画像に関する履歴情報を削除させ、処理を終了する。
【００５７】
即ち、オブジェクトバッファ２３に、オブジェクトとなる画像が反映された（取り込まれた）場合、後述するように、その反映された画像に関して、履歴管理部４で管理されている履歴情報が更新される。このため、オブジェクトバッファ２３から画像が削除された場合には、その削除された画像に関する履歴情報が削除される。
【００５８】
一方、ステップＳ１において、イベントが、オブジェクトバッファ２３に反映された画像の一部分を削除する「部分削除」を指示するものであると判定された場合、即ち、所定の範囲が指定され、さらに、デリートパートリィボタン２０３がクリックされた場合、イベント検出部８は、「部分削除」を表すイベント情報を、処理制御部７に供給する。処理制御部７は、「部分削除」を表すイベント情報を受信すると、ステップＳ５に進み、注目フレーム処理部２のオブジェクトバッファ２３を制御し、オブジェクトバッファ２３にオブジェクトとして記憶された画像のうちの、範囲指定された部分を削除させ、ステップＳ４に進む。
【００５９】
ステップＳ４では、処理制御部７は、履歴管理部４１を制御することにより、ステップＳ５でオブジェクトバッファ２３から削除された画像に関する履歴情報を削除させ、処理を終了する。
【００６０】
従って、例えば、図６（Ａ）に示すように、オブジェクトバッファ２３に、人間の胴体部分を表すオブジェクトｏｂｊ１が記憶されているとともに、背景バッファ２２に、人間の頭部を表すオブジェクトｏｂｊ２とともに、風景等の背景が記憶されている場合において、オブジェクト抽出部３において、人間の頭部を表すオブジェクトｏｂｊ２が抽出され、オブジェクトバッファ２３に反映されると、図６（Ｂ）に示すように、オブジェクトバッファ２３の記憶内容は、オブジェクトｏｂｊ１とｏｂｊ２となり、背景バッファ２２の記憶内容は、風景等の背景部分のみとなる。
【００６１】
この場合に、ユーザが、マウス９で、アンドゥボタン２０４をクリックすると、図６（Ｃ）に示すように、オブジェクトバッファ２３の記憶内容は、人間の頭部を表すオブジェクトｏｂｊ２が反映される前の、人間の胴体部分を表すオブジェクトｏｂｊ１だけが記憶されている状態に戻り、背景バッファ２２の記憶内容も、人間の頭部を表すオブジェクトｏｂｊ２とともに、風景等の背景が記憶されている状態に戻る。即ち、背景バッファ２２およびオブジェクトバッファ２３の記憶内容は、図６（Ａ）に示した状態に戻る。
【００６２】
また、ユーザが、マウス９を操作することにより、例えば、図６（Ｂ）に示すように、人間の頭部を表すオブジェクトｏｂｊ２の一部を範囲指定し、さらに、デリートパートリィボタン２０３をクリックすると、図６（Ｄ）に示すように、オブジェクトバッファ２３の記憶内容は、オブジェクトｏｂｊ２のうちの、範囲指定された部分が削除された状態となり、背景バッファ２２の記憶内容は、その範囲指定された部分が、風景等の背景部分に加えられた状態になる。
【００６３】
一方、ステップＳ１において、イベントが、基準画面または結果画面＃１乃至＃３のうちのいずれかに表示された画像上の位置を指定する「位置指定」を表すものであると判定された場合、即ち、例えば、図７に示すように、ユーザがマウス９を操作することにより、基準画面に表示された原画像や背景画像におけるオブジェクトのある位置をクリックした場合、イベント検出部８は、「位置指定」を表すイベント情報を、処理制御部７に供給する。処理制御部７は、「位置指定」を表すイベント情報を受信すると、ステップＳ６に進み、マウス９でクリックされた位置等に基づいて、オブジェクト抽出部３に行わせる３つのオブジェクト抽出処理の内容を決定し、その３つのオブジェクト抽出処理によりオブジェクトの抽出を行うように、オブジェクト抽出部３を制御する。
【００６４】
これにより、オブジェクト抽出部３は、ステップＳ７において、３つのオブジェクト抽出処理を行い、その結果得られる３つのオブジェクト抽出結果を、結果処理部３３の結果バッファ３３Ａ乃至３３Ｃに、それぞれ記憶させる。
【００６５】
そして、ステップＳ８に進み、表示部５は、結果バッファ３３Ａ乃至３３Ｃに記憶されたオブジェクト抽出結果を、結果画面＃１乃至＃３にそれぞれ表示し、処理を終了する。
【００６６】
また、ステップＳ１において、イベントが、結果画面＃１乃至＃３それぞれに表示されたオブジェクト抽出結果の（良好さの）順位を指定する「順位指定」を表すものであると判定された場合、即ち、結果画面＃１乃至＃３それぞれに表示されたランクリザルトボタン２０６が、所定の順番でクリックされた場合、イベント検出部８は、「順位指定」を表すイベント情報を、処理制御部７に供給する。処理制御部７は、「順位指定」を表すイベント情報を受信すると、ステップＳ６に進み、「順位指定」によって指定された順位に基づいて、オブジェクト抽出部３に行わせる３つのオブジェクト抽出処理の内容を決定し、その３つのオブジェクト抽出処理によりオブジェクトの抽出を行うように、オブジェクト抽出部３を制御する。そして、以下、ステップＳ７，Ｓ８に順次進み、上述した場合と同様の処理が行われる。
【００６７】
一方、ステップＳ１において、イベントが、結果画面＃１乃至＃３に表示されたオブジェクト抽出結果のうちのいずれかを選択し、その全部または一部を、オブジェクトバッファ２３に反映する「全取得」または「部分取得」を表すものであると判定された場合、即ち、結果画面＃１乃至＃３のうちのいずれかのグラブオールボタン２０７がクリックされた場合、または結果画面＃１乃至＃３に表示されたオブジェクト抽出結果のうちのいずれかの一部が範囲指定され、さらに、グラブパートリィボタン２０８がクリックされた場合、イベント検出部８は、「全取得」または「部分取得」を表すイベント情報を、処理制御部７に供給し、処理制御部７は、「全取得」または「部分取得」を表すイベント情報を受信すると、ステップＳ９に進む。
【００６８】
ステップＳ９では、処理制御部７が、オブジェクト抽出部３の結果処理部３３を制御することにより、結果画面＃１乃至＃３のうちの、グラブオールボタン２０７がクリックされたものに対応する結果バッファに記憶されたオブジェクト抽出結果の全体を選択させ、オブジェクトバッファ２３に反映させる（記憶させる）。あるいは、また、ステップＳ９では、処理制御部７が、オブジェクト抽出部３の結果処理部３３を制御することにより、結果画面＃１乃至＃３のうちの、グラブパートリィボタン２０８がクリックされたものに対応する結果バッファに記憶されたオブジェクト抽出結果のうちの範囲指定された部分を選択させ、オブジェクトバッファ２３に反映させる。
【００６９】
従って、例えば、オブジェクトバッファ２３の記憶内容が、図８（Ａ）に示すようなものであり、ある結果画面＃ｉに対応する結果バッファに記憶されたオブジェクト抽出結果が、図８（Ｂ）に示すようなものである場合において、結果画面＃ｉに表示されたグラブオールボタン２０７が操作されたときには、オブジェクトバッファ２３の記憶内容は、図８（Ｃ）に示すように、図８（Ｂ）に示した結果バッファに記憶されたオブジェクト抽出結果に更新（上書き）される。
【００７０】
また、結果画面＃ｉに表示されたオブジェクト抽出結果のうちの一部が、図８Ｂ）に長方形で囲んで示すように範囲指定され、さらに、結果画面＃ｉに表示されたグラブパートリィボタン２０８が操作されたときには、オブジェクトバッファ２３の記憶内容は、図８（Ｄ）に示すように、図８（Ａ）に示したオブジェクトに、図８（Ｂ）に示した範囲指定された部分のオブジェクト抽出結果を加えた（合成した）ものに更新される。
【００７１】
そして、ステップＳ１０に進み、処理制御部７は、履歴管理部４を制御することにより、ステップＳ９でオブジェクトバッファ２３に反映させた画像に関して、履歴情報を更新させ、処理を終了する。
【００７２】
以上のように、３つのオブジェクト抽出処理によるオブジェクト抽出結果が結果画面＃１乃至＃３にそれぞれ表示され、ユーザが、結果画面＃１乃至＃３のうちのいずれかにおけるグラブオールボタン２０７またはグラブパートリィボタン２０８をクリックすると、その結果画面に表示されたオブジェクト抽出結果が、オブジェクトバッファ２３に反映される。従って、ユーザは、結果画面＃１乃至＃３に表示された異なるオブジェクト抽出処理によるオブジェクト抽出結果を見て、良好なものを選択する操作をするだけで良く、さらに、オブジェクトバッファ２３には、異なるオブジェクト抽出処理により得られたオブジェクト抽出結果のうち、ユーザが良好であると判断して選択したものが反映される。その結果、容易な操作で、的確なオブジェクト抽出を行うことができる。
【００７３】
また、結果画面＃１乃至＃３には、それぞれ異なる処理によって抽出されたオブジェクトが表示されるが、ある処理によるオブジェクト抽出結果が、全体としては、それほど良好でなくても、その一部についてだけ見れば、良好な場合がある。この場合、その一部を範囲指定して、グラブパートリィボタン２０８をクリックすることにより、その良好に抽出されているオブジェクトの一部分を、オブジェクトバッファ２３に反映させることができ、その結果、最終的には、オブジェクトバッファ２３に、良好なオブジェクト抽出結果が記憶されることになる。
【００７４】
一方、ステップＳ１において、イベントが、注目フレームからの最終的なオブジェクト抽出結果を、オブジェクトバッファ２３に記憶された画像に確定する「確定」を表すものであると判定された場合、イベント検出部８は、「確定」を表すイベント情報を、処理制御部７に供給する。
【００７５】
処理制御部７は、「確定」を表すイベント情報を受信すると、ステップＳ１１に進み、注目フレーム処理部２から、オブジェクトバッファ２３に記憶された注目フレームのオブジェクトを読み出すとともに、履歴管理部４から、注目フレームについての履歴情報を読み出し、ストレージ１に供給して記憶させる。そして、ステップＳ１２に進み、処理制御部７は、ストレージ１に、注目フレームの次のフレームが記憶されているかどうかを判定し、記憶されていないと判定した場合、ステップＳ１３およびＳ１４をスキップして、処理を終了する。
【００７６】
また、ステップＳ１２において、ストレージ１に、注目フレームの次のフレームが記憶されていると判定された場合、ステップＳ１３に進み、処理制御部７は、その、次のフレームを、新たに注目フレームとし、注目フレームバッファ２１に供給して記憶させる。さらに、処理制御部７は、背景バッファ２２、結果バッファ３３Ａ乃至３３Ｃ、前フレームバッファ６１の記憶内容をクリアして、ステップＳ１４に進む。ステップＳ１４では、処理制御部７の制御の下、ステップＳ１３で注目フレームバッファ２１に新たに記録された注目フレームについて、後述するような初期抽出処理が行われ、処理を終了する。
【００７７】
次に、図２のオブジェクト抽出部３が行うオブジェクト抽出処理について説明する。
【００７８】
本実施の形態では、オブジェクト抽出部３は、基本的に、注目フレームにおける境界部分を検出し、その境界部分で囲まれる領域を、オブジェクトとして抽出するようになっている。
【００７９】
即ち、図９は、オブジェクト抽出部３の境界検出部３１の構成例を示している。
【００８０】
ＨＳＶ分離部２１１は、注目フレームバッファ２１に記憶された注目フレームを読み出し、その画素値を、Ｈ（色相），Ｓ（彩度），Ｖ（明度）の各成分に分離する。即ち、注目フレームの画素値が、例えば、ＲＧＢ(Red, Green, Blue)で表現されている場合、ＨＳＶ分離部２１１は、例えば、次式にしたがって、ＲＧＢの画素値を、ＨＳＶの画素値に変換する。
【００８１】
Ｖ＝ｍａｘ（Ｒ，Ｇ，Ｂ）
Ｘ＝ｍｉｎ（Ｒ，Ｇ，Ｂ）
Ｓ＝（Ｖ−Ｘ）／Ｖ×２５５
Ｈ＝（Ｇ−Ｂ）／（Ｖ−Ｘ）×６０ 但し、Ｖ＝Ｒのとき
Ｈ＝（Ｂ−Ｒ）／（Ｖ−Ｘ＋２）×６０ 但し、Ｖ＝Ｇのとき
Ｈ＝（Ｒ−Ｇ）／（Ｖ−Ｘ＋４）×６０ 但し、上記以外のとき
なお、ここでは、注目フレームの元の画素値であるＲ，Ｇ，Ｂの各成分が、例えば、８ビット（０乃至２５５の範囲の整数値）で表されるものとしてある。また、ｍａｘ（）は、カッコ内の値の最大値を表し、ｍｉｎ（）は、カッコ内の値の最小値を表す。
【００８２】
ＨＳＶ分離部２１１は、ＨＳＶの各成分に変換した画素値のうち、Ｈ，Ｓ，Ｖ成分を、それぞれ、エッジ検出部２１２Ｈ，２１２Ｓ，２１２Ｖに供給する。
【００８３】
エッジ検出部２１２Ｈ，２１２Ｓ，２１２Ｖは、ＨＳＶ分離部２１１からのＨ，Ｓ，Ｖ成分で構成される画像（以下、適宜、それぞれを、Ｈプレーン、Ｓプレーン、Ｖプレーンという）それぞれを対象に、エッジ検出を行う。
【００８４】
即ち、エッジ検出部２１２Ｈは、Ｈプレーンの画像に、ソーベルオペレータ(Sobel Operator)によるフィルタリングを行うことで、Ｈプレーンの画像からエッジを検出する。
【００８５】
具体的には、Ｈプレーンの画像の左からｘ＋１番目で、上からｙ＋１番目の画素のＨ成分を、Ｉ（ｘ，ｙ）と表すとともに、その画素のソーベルオペレータによるフィルタリング結果をＥ（ｘ，ｙ）と表すと、エッジ検出部２１２Ｈは、次式で表される画素値Ｅ（ｘ，ｙ）で構成されるエッジ画像を求める。
【００８６】
【００８７】
エッジ検出部２１２Ｓと２１２Ｖでも、エッジ検出部２１２Ｈにおける場合と同様にして、ＳプレーンとＶプレーンの画像について、エッジ画像が求められる。
【００８８】
Ｈ，Ｓ，Ｖプレーンの画像から得られたエッジ画像は、エッジ検出部２１２Ｈ，２１２Ｓ，２１２Ｖから、二値化部２１３Ｈ，２１３Ｓ，２１３Ｖにそれぞれ供給される。二値化部２１３Ｈ，２１３Ｓ，２１３Ｖは、Ｈ，Ｓ，Ｖプレーンのエッジ画像を、所定の閾値と比較することで二値化し、その結果得られるＨ，Ｓ，Ｖプレーンの二値化画像（画素値が０か、または１の画像）を、細線化部２１４Ｈ，２１４Ｓ，２１４Ｖにそれぞれ供給する。
【００８９】
細線化部２１４Ｈ，２１４Ｓ，２１４Ｖは、二値化部２１３Ｈ，２１３Ｓ，２１３Ｖから供給されるＨ，Ｓ，Ｖプレーンの二値化画像における境界部分の細線化を行い、その結果得られるＨ，Ｓ，Ｖプレーンの境界画像を、境界画像記憶部２１５Ｈ，２１５Ｓ，２１５Ｖにそれぞれ供給して記憶させる。
【００９０】
次に、図１０を参照して、図９の細線化部２１４Ｈにおいて、Ｈプレーンの二値化画像を対象に行われる細線化処理について説明する。
【００９１】
細線化処理では、図１０（Ａ）のフローチャートに示すように、まず最初に、ステップＳ２１において、所定のフラグｖが０にリセットされ、ステップＳ２２に進む。ステップＳ２２では、Ｈプレーンの二値化画像を構成する画素が、ラスタスキャン順に参照され、ステップＳ２３に進む。ステップＳ２３では、Ｈプレーンの二値化画像を構成する画素のうち、ラスタスキャン順で、まだ参照されていない画素が存在するかどうかが判定され、まだ参照されていない画素が存在すると判定された場合、ラスタスキャン順で最初に検出される、まだ参照されていない画素を、注目画素として、ステップＳ２４に進む。
【００９２】
ステップＳ２４では、注目画素の上下左右にそれぞれ隣接する４つの画素のうちの１以上の画素値が０であり、かつ注目画素の画素値ｃが所定の値ａ（０および１以外の値）に等しくないかどうかが判定される。ステップＳ２４において、注目画素の上下左右にそれぞれ隣接する４つの画素のうちの１以上の画素値が０でないと判定されるか（従って、隣接する４つの画素の中に、画素値が０のものがない）、または注目画素の画素値ｃが所定の値ａに等しいと判定された場合、ステップＳ２２に戻り、以下、同様の処理を繰り返す。
【００９３】
また、ステップＳ２４において、注目画素の上下左右にそれぞれ隣接する４つの画素のうちの１以上の画素値が０であり、かつ注目画素の画素値ｃが所定の値ａに等しくないと判定された場合、ステップＳ２５に進み、フラグｖに１がセットされ、ステップＳ２６に進む。
【００９４】
ステップＳ２６では、図１０（Ｂ）に示すような、注目画素ｃに隣接する８つの画素の画素値ａ１，ａ２，ａ３，ａ４，ａ５，ａ６，ａ７，ａ８の加算値（ａ１＋ａ２＋ａ３＋ａ４＋ａ５＋ａ６＋ａ７＋ａ８が６以下であるかどうかが判定される。
【００９５】
ステップＳ２６において、注目画素ｃに隣接する８つの画素値の加算値が６以下でないと判定された場合、ステップＳ２８に進み、注目画素の画素値ｃに、所定の値ａがセットされ、ステップＳ２２に戻る。
【００９６】
また、ステップＳ２６において、注目画素ｃに隣接する８つの画素値の加算値が６以下であると判定された場合、ステップＳ２７に進み、次の条件式が成立するか否かが判定される。
【００９７】
(a2+a4+a6+a8)-(a1&a2&a3)-(a4&a5&a6)-(a7&a8&a1)=1
但し、&は、論理積を表す。
【００９８】
ステップＳ２７において、条件式が成立しないと判定された場合、ステップＳ２８に進み、上述したように、注目画素の画素値ｃに、所定の値ａがセットされ、ステップＳ２２に戻る。
【００９９】
また、ステップＳ２７において、条件式が成立すると判定された場合、ステップＳ２９に進み、注目画素の画素値ｃが０とされ、ステップＳ２２に戻る。
【０１００】
一方、ステップＳ２３において、Ｈプレーンの二値化画像を構成する画素のうち、ラスタスキャン順で、まだ参照されていない画素が存在しないと判定された場合、即ち、二値化画像を構成するすべての画素を注目画素として処理を行った場合、ステップＳ３０に進み、フラグｖが０であるかどうかが判定される。
【０１０１】
ステップＳ３０において、フラグｖが０でないと判定された場合、即ち、フラグｖが１である場合、ステップＳ２１に戻り、以下、同様の処理が繰り返される。また、ステップＳ３０において、フラグｖが０であると判定された場合、処理を終了する。
【０１０２】
その後、細線化部２１４Ｈは、上述の細線化処理の結果得られた画像を構成する画素のうち、画素値が所定の値ｃになっているものの画素値を１に変換し、その変換後の画像を、境界画像として、境界画像記憶部２１５Ｈに供給する。これにより、境界画像記憶部２１５Ｈには、Ｈプレーンの画像において境界部分が１で、非境界部分が０となっている境界画像が記憶される。
【０１０３】
細線化部２１４Ｓと２１４Ｖでも、細線化部２１４Ｈにおける場合と同様の処理が行われることにより、ＳとＨプレーンの境界画像がそれぞれ求められる。
【０１０４】
ここで、図１０で説明したような細線化の方法については、例えば、横井、鳥脇、福村、「標本化された２値図形のトポロジカルな性質について」、電子情報通信学会論文誌（Ｄ），Ｊ５６−Ｄ，ｐｐ．６６２−６６９，１９７３等に、その詳細が開示されている。なお、細線化の方法は、上述した手法に限定されるものではない。
【０１０５】
図１１は、境界画像の例を示している。
【０１０６】
図１１（Ａ）は、原画像を示しており、図１１（Ｂ）は、図１１（Ａ）の原画像から得られたＶプレーンの境界画像を示している。また、図１１（Ｃ）は、図１１（Ａ）の原画像から得られたＨプレーンの境界画像を示している。図１１（Ｂ）と図１１（Ｃ）を比較することにより、Ｖプレーンでは、比較的小さな凹または凸部分も、境界部分として検出されているのに対して、Ｈプレーンでは、比較的大きな凹または凸部分だけが、境界部分として検出されていることが分かる。このように、Ｈ，Ｓ，Ｖプレーンでは、境界部分として検出される凹または凸部分のレベルが異なる。
【０１０７】
ここで、図１１（Ｂ）および図１１（Ｃ）では、白抜きの部分（境界部分）が、境界画像において画素値が１になっている部分を表しており、黒塗りの部分が、境界画像において画素値が０になっている部分を表している。
【０１０８】
なお、境界検出部３１では、上述のように、Ｈ，Ｓ，Ｖプレーンそれぞれについて、３つの境界画像が作成される他、いずれか１つのプレーンについて、二値化するときの閾値を３つ用いることにより、その３つの閾値にそれぞれ対応する３つの境界画像が作成される場合がある。以下、適宜、Ｈ，Ｓ，Ｖプレーンについて、３つの境界画像が作成される場合に用いられる閾値を、それぞれ、ＴＨH，ＴＨS，ＴＨVと表す。また、ある１つのプレーンについて３つの境界画像が作成される場合に用いられる３つの閾値を、以下、適宜、ＴＨ１，ＴＨ２，ＴＨ３と表す。
【０１０９】
次に、図１２のフローチャートを参照して、図２の切り出し部３２で行われる切り出し処理について説明する。なお、境界検出部３１では、上述したように、３つの境界画像が得られるが、ここでは、そのうちの１つの境界画像に注目して、切り出し処理を説明する。また、以下、適宜、３つの出力バッファ３２Ａ乃至３２Ｃのうちの、注目している境界画像（注目境界画像）に基づいて、注目フレームから切り出される画像が記憶されるものを、注目出力バッファという。
【０１１０】
切り出し処理では、注目出力バッファの記憶内容がクリアされた後、ステップＳ４１において、ユーザが、マウス９を操作することにより指定した注目フレームの画像上の位置（指定位置）にある画素の画素値が、注目フレームバッファ２１から読み出され、注目出力バッファに書き込まれる。即ち、オブジェクト抽出部３は、図４で説明したように、ユーザが「位置指定」または「順位指定」を行った場合に処理を行うが、ステップＳ４１では、ユーザが直前に行った「位置指定」によって指定した注目フレーム上の位置にある画素の画素値が、注目出力バッファに書き込まれる。そして、ステップＳ４２に進み、注目出力バッファに、未処理の画素（画素値）が記憶されているかどうかが判定される。
【０１１１】
ステップＳ４２において、注目出力バッファに、未処理の画素が記憶されていると判定された場合、ステップＳ４３に進み、注目出力バッファに記憶されている画素のうちの、未処理の画素の任意の１つが、注目画素とされ、ステップＳ４４に進む。ステップＳ４４では、注目画素の上、下、左、右、左上、左下、右上、右下にそれぞれ隣接する８画素の画素値が、境界画像から取得され、ステップＳ４５に進む。
【０１１２】
ステップＳ４５では、境界画像における、注目画素に隣接する８画素の画素値の中に、境界部分となっている境界画素（本実施の形態では、画素値が１になっている画素）が存在するかどうかが判定される。ステップＳ４５において、注目画素に隣接する８画素の画素値の中に、境界画素が存在すると判定された場合、ステップＳ４６をスキップして、ステップＳ４２に戻り、以下、同様の処理が繰り返される。即ち、注目画素に隣接する８画素の画素値の中に、境界画素が存在する場合は、その８画素の画素値の注目出力バッファへの書き込みは行われない。
【０１１３】
また、ステップＳ４５において、注目画素に隣接する８画素の画素値の中に、境界画素が存在しないと判定された場合、ステップＳ４６に進み、その８画素の画素値が、注目フレームバッファ２１から読み出され、注目出力バッファの対応するアドレスに記憶される。即ち、注目画素に隣接する８画素の画素値の中に、境界画素が存在しない場合は、その８画素が、ユーザがマウス９でクリックした位置（「位置指定」により指定した位置）を含むオブジェクトの内部の領域であるとして、その８画素の画素値が、注目出力バッファに書き込まれる。
【０１１４】
その後は、ステップＳ４２に戻り、以下、同様の処理が繰り返される。
【０１１５】
なお、注目出力バッファに対して、ステップＳ４６で画素値を書き込もうとしている画素に、画素値が、既に書き込まれている場合は、画素値が上書きされる。また、画素値が上書きされた画素が、既に、注目画素とされている場合には、その画素は、上書きが行われても、未処理の画素とはされず、処理済みの画素のままとされる。
【０１１６】
一方、ステップＳ４２において、注目出力バッファに、未処理の画素が記憶されていないと判定された場合、処理を終了する。
【０１１７】
次に、図１３を参照して、切り出し部３２が行う切り出し処理について、さらに説明する。
【０１１８】
切り出し部３２は、図１３（Ａ）に示すように、ユーザが、マウス９を操作することにより指定した注目フレームの画像上の位置（指定位置）にある画素の画素値を、注目フレームバッファ２１から読み出し、出力バッファに書き込む。さらに、切り出し部３２は、出力バッファに記憶されている画素のうちの、未処理の画素の任意の１つを、注目画素とし、その注目画素に隣接する８画素の画素値を、境界画像から取得する。そして、切り出し部３２は、境界画像における、注目画素に隣接する８画素の画素値の中に、境界画素が存在しない場合には、その８画素の画素値を、注目フレームバッファ２１から読み出し、出力バッファに書き込む。その結果、出力バッファには、図１３（Ｂ）に示すように、ユーザがマウス９によって指定した位置にある画素（図１３（Ｂ）において、●印で示す）を起点として、境界画素で囲まれる領域の内部を構成する画素の画素値が書き込まれていく。
【０１１９】
以上の処理が、出力バッファに記憶された画素の中に、未処理の画素がなくなるまで行われることにより、出力バッファには、注目フレームの画像のうちの、境界画素で囲まれる領域が記憶される。
【０１２０】
従って、以上のような切り出し処理によれば、ユーザが、オブジェクトであるとして指定した点を起点として、その起点を含む、境界部分で囲まれる注目フレームの領域が切り出されるので、オブジェクトを構成する領域を、精度良く切り出すことができる。即ち、オブジェクトを構成する領域の切り出しを、すべて自動で行う場合には、ある領域が、オブジェクトを構成するかどうかの判断が困難であり、その結果、オブジェクトを構成しない画素から、領域の切り出しが開始されることがある。これに対して、図１２の切り出し処理では、ユーザが、オブジェクトであるとして指定した点を起点として、領域の切り出しが行われるので、必ず、オブジェクトを構成する領域の画素から、領域の切り出しが開始され、オブジェクトを構成する領域を、精度良く切り出すことができる。
【０１２１】
なお、図１２の切り出し処理は、境界検出部３１で得られる３つの境界画像それぞれに基づいて行われ、その３つの境界画像に基づいて得られる領域の切り出し結果は、それぞれ、出力バッファ３２Ａ乃至３２Ｃに記憶される。そして、その出力バッファ３２Ａ乃至３２Ｃの記憶内容が、結果バッファ３３Ａ乃至３３Ｃにそれぞれ転送され、その結果、結果画面＃１乃至＃３には、それぞれ、異なる処理によって得られたオブジェクト抽出結果が表示される。
【０１２２】
次に、図１４乃至図１６を参照して、図２の履歴管理部４が管理する履歴情報について説明する。
【０１２３】
「部分取得」または「全取得」によって、結果バッファ３３Ａ乃至３３Ｃのうちのいずれかに記憶されたオブジェクト抽出結果の全部または一部が、オブジェクトバッファ２３に反映されると（書き込まれると）、履歴管理部４は、指定位置記憶部４１に記憶された指定位置、履歴画像記憶部４２に記憶された履歴画像、およびパラメータテーブル記憶部４３のエントリを更新する。
【０１２４】
即ち、例えば、いま、人間の全身が表示された注目フレームから、その人間が表示された部分をオブジェクトとして抽出する場合において、その胴体部分と下半身部分の画像が、オブジェクトとして、既に抽出され、オブジェクトバッファ２３に記憶されているとすると、履歴画像記憶部４２には、例えば、図１４（Ａ）に示すように、胴体部分を抽出するのに用いた境界画像のプレーンと、その境界画像を得るのに用いた閾値に対応付けられたＩＤ１が画素値となっている胴体部分の画素、および下半身部分を抽出するのに用いた境界画像のプレーンと、その境界画像を得るのに用いた閾値に対応付けられたＩＤ２が画素値となっている下半身部分の画素からなる履歴画像が記憶されている。
【０１２５】
なお、図１４（Ａ）の実施の形態では、胴体部分を抽出するのに用いた境界画像のプレーンはＨプレーンとなっており、そのＨプレーンの境界画像を得るのに用いた閾値（境界画像を得るための二値化に用いられた閾値）は１００となっている。また、下半身部分を抽出するのに用いた境界画像のプレーンはＶプレーンとなっており、その境界画像を得るのに用いた閾値は８０となっている。
【０１２６】
そして、この場合、パラメータテーブル記憶部４３には、ＩＤ１と、Ｈプレーンおよび閾値１００とが対応付けられて記憶されているとともに、ＩＤ２と、Ｖプレーンおよび閾値８０とが対応付けられて記憶されている。
【０１２７】
ここで、オブジェクトバッファ２３に記憶されたオブジェクトの抽出に用いられた境界画像のプレーンと、その境界画像を得るのに用いられた閾値とのセットを、以下、適宜、パラメータセットという。
【０１２８】
その後、ユーザが、人間の全身が表示された注目フレームにおける頭部の画素をマウス９でクリックして指定すると、オブジェクト抽出部３では、上述したようにして、３種類のオブジェクト抽出処理が行われ、その３種類のオブジェクト抽出処理による頭部のオブジェクト抽出結果が、図１４（Ｂ）に示すように、結果バッファ３３Ａ乃至３３Ｃにそれぞれ記憶されるとともに、その結果バッファ３３Ａ乃至３３Ｃの記憶内容が、結果画面＃１乃至＃３にそれぞれ表示される。
【０１２９】
そして、ユーザが、結果画面＃１乃至＃３に表示された頭部のオブジェクト抽出結果を参照して、良好なものを「全取得」すると、結果画面＃１乃至＃３に表示された頭部のオブジェクト抽出結果のうち、「全取得」が指示されたものが選択され、図１４（Ｃ）に示すように、オブジェクトバッファ２３に反映される。
【０１３０】
この場合、履歴管理部４は、オブジェクトバッファ２３に反映された頭部のオブジェクト抽出結果を得るのに用いた境界画像のプレーンと、その境界画像を得るのに用いた閾値のパラメータセットとを、ユニークなＩＤ３に対応付けて、パラメータテーブル記憶部４３に登録する。
【０１３１】
さらに、履歴管理部４は、図１４（Ｄ）に示すように、履歴画像記憶部４２の頭部を構成する画素の画素値に、ＩＤ３を書き込み、これにより、履歴画像を更新する。ここで、図１４（Ｄ）の実施の形態では、頭部を抽出するのに用いた境界画像のプレーンはＳプレーンとなっており、その境界画像を得るのに用いた閾値は５０となっている。
【０１３２】
また、履歴管理部４は、図１４（Ｅ）に示すように、オブジェクトバッファ２３に反映された頭部のオブジェクト抽出結果を得るときにユーザがクリックした注目フレーム上の点の位置（指定位置）を表す座標（ｘ４，ｙ４）を、指定位置記憶部４１に追加する。ここで、図１４（Ｅ）の実施の形態では、指定位置記憶部４１には、既に、３つの指定位置の座標（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３）が記憶されており、そこに、新たな座標（ｘ４，ｙ４）が追加されている。
【０１３３】
以上のような注目フレームについての履歴情報は、例えば、その次のフレームが新たに注目フレームとされた場合に、その新たな注目フレームからのオブジェクトの抽出に利用される。
【０１３４】
即ち、例えば、いま、注目フレームの１フレーム前のフレーム（前フレーム）について、図１５（Ａ）に示すような履歴画像を得ることができたとして、注目フレームのある点を、ユーザがマウス９によってクリックしたとする。この場合、処理制御部７は、動き検出部６を制御することにより、ユーザがマウス９でクリックした点である指定位置（ｘ，ｙ）の、前フレームを基準とする動きベクトル（ｖx，ｖy）を求めさせる。さらに、処理制御部７は、その内蔵する位置補正部７１に、指定位置（ｘ，ｙ）を、動きベクトル（ｖx，ｖy）によって補正させることにより、指定位置（ｘ，ｙ）に対応する前フレーム上の位置（ｘ’，ｙ’）を求めさせる。即ち、この場合、位置補正部７１は、例えば、式（ｘ’，ｙ’）＝（ｘ，ｙ）−（ｖx，ｖy）によって、指定位置（ｘ，ｙ）に対応する前フレーム上の位置（ｘ’，ｙ’）を求める。
【０１３５】
その後、処理制御部７は、指定位置（ｘ，ｙ）に対応する前フレーム上の位置（ｘ’，ｙ’）におけるパラメータセットのＩＤを、履歴画像記憶部４２に記憶された前フレームの履歴画像を参照することで取得し、さらに、そのＩＤに対応付けられたパラメータセットを、パラメータテーブル記憶部４３を参照することで取得する。そして、処理制御部７は、上述のようにして取得したパラメータセットに基づく３つの境界画像の作成、およびその３つの境界画像からの、指定位置（ｘ，ｙ）を起点とする領域の切り出しを行うことを決定し、その旨の決定情報を、オブジェクト抽出部３に供給する。
【０１３６】
これにより、オブジェクト抽出部３では、図１５（Ｂ）に示すように、注目フレームを対象として、決定情報に対応するパラメータセットに基づく３つの境界画像の作成、およびその３つの境界画像からの、指定位置（ｘ，ｙ）を起点とする領域の切り出しが行われ、これにより、３パターンのオブジェクトが抽出される。このようにして注目フレームから抽出された３パターンのオブジェクトは、図１５（Ｃ）に示すように、結果バッファ３３Ａ乃至３３Ｃにそれぞれ記憶され、結果画面＃１乃至＃３においてそれぞれ表示される。
【０１３７】
注目フレームからオブジェクトを抽出する場合に、ユーザにより入力された指定位置の部分のオブジェクト抽出は、前フレームの対応する部分のオブジェクト抽出と同様に行うことにより、良好なオブジェクト抽出を行うことができると予想されるから、上述のように、決定情報に対応するパラメータセットに基づく境界画像の作成、およびその境界画像からの、指定位置（ｘ，ｙ）を起点とする領域の切り出しを行うことにより、迅速に、良好なオブジェクト抽出結果を得ることが可能となる。
【０１３８】
即ち、オブジェクト抽出部３では、例えば、ユーザが、「位置指定」を行うと、その「位置指定」によって指定された位置を起点として、３つの処理によるオブジェクト抽出が行われるが、その３つの処理によるオブジェクト抽出結果のうちのいずれもが良好でないときには、ユーザによって「順位指定」が行われ、後述するように、パラメータセットを替えてのオブジェクト抽出が行われる。従って、上述のように、前フレームの履歴情報を利用しない場合には、ある程度良好なオブジェクト抽出結果を得るために、ユーザが、「順位指定」を何度が行わなければならないことがある。これに対して、前フレームの履歴情報を利用する場合には、ユーザが「順位指定」を行わなくても、注目フレームのオブジェクト上の幾つかの点を指定するという容易な操作だけで、良好なオブジェクト抽出結果を、即座に得ることができる可能性が高くなる。
【０１３９】
また、注目フレームからのオブジェクト抽出にあたって、前フレームについての履歴情報は、例えば、次のように利用することも可能である。
【０１４０】
即ち、例えば、いま、注目フレームの１フレーム前のフレーム（前フレーム）について、図１６（Ａ）に示すような履歴画像と、図１６（Ｂ）に示すような３つの指定位置（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３）を得ることができたとする。
【０１４１】
この場合、処理制御部７は、動き検出部６を制御することにより、前フレームの指定位置（ｘ１，ｙ１）を基準とする注目フレームの動きベクトル（ｖx，ｖy）を求めさせる。さらに、処理制御部７は、その内蔵する位置補正部７１に、前フレームの指定位置（ｘ１，ｙ１）を、動きベクトル（ｖx，ｖy）によって補正させることにより、前フレームの指定位置（ｘ，ｙ）に対応する注目フレーム上の位置（ｘ１’，ｙ１’）を求めさせる。即ち、この場合、位置補正部７１は、例えば、式（ｘ１’，ｙ１’）＝（ｘ１，ｙ１）＋（ｖx，ｖy）によって、前フレームの指定位置（ｘ１，ｙ１）に対応する注目フレーム上の位置（ｘ１’，ｙ１’）を求める。
【０１４２】
その後、処理制御部７は、前フレームの指定位置（ｘ１，ｙ１）におけるパラメータセットのＩＤを、履歴画像記憶部４２に記憶された前フレームの履歴画像を参照することで取得し、さらに、そのＩＤに対応付けられたパラメータセットを、パラメータテーブル記憶部４３を参照することで取得する。そして、処理制御部７は、上述のようにして取得したパラメータセットに基づく３つの境界画像の作成、およびその３つの境界画像からの、前フレームの指定位置（ｘ１，ｙ１）に対応する注目フレーム上の位置（ｘ１’，ｙ１’）を起点とする領域の切り出しを行うことを決定し、その旨の決定情報を、オブジェクト抽出部３に供給する。
【０１４３】
これにより、オブジェクト抽出部３では、図１６（Ｃ）に示すように、注目フレームを対象として、決定情報に対応するパラメータセットに基づく３つの境界画像の作成、およびその３つの境界画像からの、位置（ｘ１’，ｙ１’）を起点とする領域の切り出しが行われることにより、３パターンのオブジェクトが抽出される。
【０１４４】
前フレームの３つの指定位置（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３）のうちの残りの２つの指定位置（ｘ２，ｙ２）と（ｘ３，ｙ３）についても同様の処理が行われ、これにより、その２つの指定位置に対応する注目フレーム上の位置（ｘ２’，ｙ２’）と（ｘ３’，ｙ３’）それぞれを起点とする３パターンのオブジェクトが抽出される。
【０１４５】
このようにして、前フレームの各指定位置に対応する注目フレーム上の位置それぞれを起点として、注目フレームから抽出されたオブジェクトの各部は、その後合成され、その結果得られるオブジェクト抽出結果は、図１６（Ｄ）に示すように、結果バッファに記憶され、結果画面において表示される。
【０１４６】
上述したように、注目フレームからのオブジェクトの抽出は、前フレームの対応する部分のオブジェクト抽出と同様に行うことにより、良好なオブジェクト抽出を行うことができると予想されるから、決定情報に対応するパラメータセットに基づく３つの境界画像の作成、およびその３つの境界画像からの、前フレームの指定位置（ｘ，ｙ）に対応する注目フレームの位置を起点とする領域の切り出しを行うことにより、図１５における場合と同様に、迅速に、良好なオブジェクト抽出結果を得ることが可能となる。
【０１４７】
さらに、図１５における場合には、ユーザが、注目フレームのオブジェクト上の点を指定する必要があったが、図１６における場合においては、ユーザが、そのような指定を行う必要がないので、ユーザの操作負担を、より軽減することができる。
【０１４８】
なお、図１６で説明したように、ユーザが、注目フレームのオブジェクト上の点を指定する前に、前フレームについての履歴情報を利用して、注目フレームのオブジェクト抽出を行い、そのオブジェクト抽出結果を、結果画面＃１乃至＃３に表示するか否かは、例えば、上述した基準画面のユースレコードボタン２０２（図３）をクリックすることにより表示されるプルダウンメニューにおいて設定することができる。
【０１４９】
次に、図１７のフローチャートを参照して、処理制御部７が図４のステップＳ６で行う、複数のオブジェクト抽出処理の内容を決定する処理について説明する。
【０１５０】
処理制御部７は、まず最初に、ステップＳ５１において、イベント検出部８からのイベント情報が、「位置指定」を表すものであるか、または「順位指定」を表すものであるかを判定する。ステップＳ５１において、イベント情報が、「位置指定」を表すものであると判定された場合、ステップＳ５２に進み、処理制御部７は、前フレームの履歴情報が、履歴管理部４に記憶されているかどうかを判定する。
【０１５１】
ステップＳ５２において、前フレームの履歴情報が、履歴管理部４に記憶されていると判定された場合、ステップＳ５３に進み、処理制御部７は、例えば、図１５で説明したように、前フレームの履歴情報に基づいて、注目フレームからオブジェクトを抽出する３つのオブジェクト抽出処理の内容を決定し、その旨の決定情報を、オブジェクト抽出部３に供給して、処理を終了する。
【０１５２】
また、ステップＳ５２において、前フレームの履歴情報が、履歴管理部４に記憶されていないと判定された場合、即ち、例えば、注目フレームが、ストレージ１に記憶された動画のフレームの中で、最初に注目フレームとされたものである場合、ステップＳ５４に進み、処理制御部７は、注目フレームからオブジェクトを抽出する３つのオブジェクト抽出処理の内容を、デフォルト値に決定し、その旨の決定情報を、オブジェクト抽出部３に供給して、処理を終了する。
【０１５３】
一方、ステップＳ５１において、イベント情報が、「順位指定」を表すものであると判定された場合、ステップＳ５５に進み、処理制御部７は、ユーザがマウス９を操作することにより行った順位付けに基づいて、注目フレームからオブジェクトを抽出する３つのオブジェクト抽出処理の内容を決定し、その旨の決定情報を、オブジェクト抽出部３に供給して、処理を終了する。
【０１５４】
次に、図１８のフローチャートを参照して、図１７のステップＳ５３乃至Ｓ５５における、オブジェクト抽出処理の内容の決定方法について、具体的に説明する。なお、イベント情報が「位置指定」を表すものである場合には、ユーザがマウス９をクリックすることにより、注目フレーム上のある位置を指定した場合であるが、そのユーザが指定した位置の座標は、イベント情報に含まれるものとする。また、イベント情報が「順位指定」を表すものである場合には、ユーザが、マウス９を操作することにより、３つの結果画面＃１乃至＃３に表示されたオブジェクト抽出結果に順位付けを行った場合であるが、そのオブジェクト抽出結果の順位（ここでは、第１位乃至第３位）も、イベント情報に含まれるものとする。
【０１５５】
図１７のステップＳ５３において、前フレームの履歴情報に基づいて、オブジェクト抽出処理の内容を決定する場合には、図１８（Ａ）のフローチャートに示すように、まず最初に、ステップＳ６１において、処理制御部７は、前フレームの履歴情報を参照することにより、前フレームの最終的なオブジェクト抽出結果（オブジェクトバッファ２３に最終的に記憶されたオブジェクト）が得られたときに用いられた境界画像のプレーンと同一のプレーンの境界画像を用いることを決定する。
【０１５６】
即ち、処理制御部７は、ユーザがマウス９によって指定した注目フレームの位置に対応する前フレームの位置の画素が、オブジェクトとして抽出されたときに用いられた境界画像のプレーンを、前フレームの履歴情報を参照することにより認識し、そのプレーンの境界画像を、境界検出部３１で作成することを決定する。ここで、このようにして、注目フレームのオブジェクト抽出に用いることが決定された境界画像のプレーンを、以下、適宜、決定プレーンという。
【０１５７】
そして、ステップＳ６２に進み、処理制御部７は、ユーザがマウス９によって指定した注目フレームの位置に対応する前フレームの位置の画素が、オブジェクトとして抽出されたときに境界画像を得るための二値化で用いられた閾値を、前フレームの履歴情報を参照することにより認識し、その閾値を、注目画像について、決定プレーンの境界画像を得るための二値化に用いる３つの閾値ＴＨ１乃至ＴＨ３のうちの２番目の閾値ＴＨ２として決定する。ここで、このようにして決定された閾値ＴＨ２を、以下、適宜、決定閾値という。
【０１５８】
その後、処理制御部７は、ステップＳ６３に進み、３つの閾値ＴＨ１乃至ＴＨ３のうちの決定閾値ＴＨ２以外の残りの２つの閾値ＴＨ１とＴＨ３を、決定閾値ＴＨ２に基づき、例えば、式ＴＨ１＝ＴＨ２−２０と、ＴＨ３＝ＴＨ２＋２０にしたがって決定し、決定プレーン、決定閾値ＴＨ２、決定閾値ＴＨ２に基づいて決定された閾値ＴＨ１とＴＨ３を、決定情報として、オブジェクト抽出部３に供給して、処理を終了する。
【０１５９】
この場合、オブジェクト抽出部３の境界検出部３１（図９）では、エッジ検出部２１２Ｈ，２１２Ｓ，２１２Ｖのうち、決定プレーンの画像についてエッジ検出を行うものにおいて、エッジ検出が行われる。そして、そのエッジ検出部に接続する二値化部において、決定閾値ＴＨ２、および決定閾値ＴＨ２を用いて決定された閾値ＴＨ１とＴＨ３の３つの閾値を用いて二値化が行われ、これにより、３つの境界画像が作成される。さらに、オブジェクト抽出部３の切り出し部３２では、境界検出部３１で作成された３つの境界画像それぞれについて、ユーザが指定した注目フレーム上の位置を起点とした、図１２および図１３で説明した領域の切り出しが行われる。
【０１６０】
以上のように、前フレームの履歴情報が存在する場合には、その履歴情報と、ユーザが指定した注目フレーム上の位置に基づいて、注目フレームについてのオブジェクト抽出処理の内容が決定されるので、注目フレームにおいて、前フレームと同じような特徴を有する部分については、前フレームにおける場合と同様の処理によって、オブジェクト抽出が行われる。従って、容易な操作で、的確なオブジェクト抽出を行うことが可能となる。
【０１６１】
次に、図１８（Ｂ）のフローチャートを参照して、図１７のステップＳ５４において、オブジェクト抽出処理の内容をデフォルト値に決定する場合の処理制御部７の処理について説明する。
【０１６２】
この場合、まず最初に、ステップＳ７１において、処理制御部７は、ユーザがマウス９でクリックした注目フレーム上の位置（指定位置）の画素付近の画素のＶ成分の平均値、即ち、例えば、指定位置の画素を含む横×縦が８×８画素のＶ成分の平均値が、５０未満であるかどうかを判定する。
【０１６３】
ステップＳ７１において、指定位置の画素を含む８×８画素のＶ成分の平均値が５０未満であると判定された場合、ステップＳ７２に進み、処理制御部７は、Ｖプレーンの境界画像を、境界検出部３１で作成することを決定する。
【０１６４】
即ち、Ｖ成分が小さい領域については、ＨやＳプレーンの境界画像を用いた場合には、Ｖプレーンの境界画像を用いた場合に比較して、領域の切り出しが不正確になることが経験的に認められるため、ステップＳ７２では、上述のように、決定プレーンがＶプレーンとされる。
【０１６５】
そして、ステップＳ７３に進み、処理制御部７は、決定プレーンであるＶプレーンの境界画像を得るための二値化に用いる３つの閾値ＴＨ１乃至ＴＨ３を、デフォルト値である、例えば、４０，１００，１８０にそれぞれ決定し、決定プレーンがＶプレーンである旨と、閾値ＴＨ１乃至ＴＨ３を、決定情報として、オブジェクト抽出部３に供給し、処理を終了する。
【０１６６】
この場合、オブジェクト抽出部３の境界検出部３１（図９）では、エッジ検出部２１２Ｈ，２１２Ｓ，２１２Ｖのうち、決定プレーンであるＶプレーンの画像についてエッジ検出を行うエッジ検出部２１２Ｖにおいて、エッジ検出が行われる。そして、エッジ検出部２１２Ｖに接続する二値化部２１３Ｖにおいて、閾値ＴＨ１乃至ＴＨ３としての４０，１００，１８０の３つの閾値を用いて二値化が行われ、これにより、３つの境界画像が作成される。さらに、オブジェクト抽出部３の切り出し部３２では、境界検出部３１で作成された３つの境界画像それぞれについて、ユーザが指定した注目フレーム上の位置を起点とした、図１２および図１３で説明した領域の切り出しが行われる。
【０１６７】
一方、ステップＳ７１において、指定位置の画素を含む８×８画素のＶ成分の平均値が５０未満でないと判定された場合、ステップＳ７４に進み、処理制御部７は、Ｈ，Ｓ，Ｖプレーンそれぞれの境界画像を、境界検出部３１で作成することを決定する。
【０１６８】
即ち、Ｖ成分がある程度大きい領域については、その領域の特徴によって、正確に、領域を切り出すことのできる境界画像のプレーンが異なる。さらに、いまの場合、前フレームの履歴情報が存在しないため、いずれのプレーンの境界画像が領域の切り出しに適切であるかを予測することが困難である。そこで、ステップＳ７４では、Ｈ，Ｓ，Ｖの３つのプレーンが、決定プレーンとされる。
【０１６９】
そして、ステップＳ７５に進み、処理制御部７は、決定プレーンであるＨ，Ｓ，Ｖプレーンの境界画像をそれぞれ得るための二値化に用いる閾値ＴＨH，ＴＨS，ＴＨVを、例えば、いずれも、デフォルト値である１００に決定し、決定プレーンがＨ，Ｓ，Ｖプレーンである旨と、閾値ＴＨH，ＴＨS，ＴＨVを、決定情報として、オブジェクト抽出部３に供給し、処理を終了する。
【０１７０】
この場合、オブジェクト抽出部３の境界検出部３１（図９）では、エッジ検出部２１２Ｈ，２１２Ｓ，２１２Ｖそれぞれにおいて、Ｈ，Ｓ，Ｖプレーンの画像について、エッジ検出が行われる。そして、エッジ検出部２１２Ｈ，２１２Ｓ，２１２Ｖに接続する二値化部２１３Ｈ，２１３Ｓ，２１３Ｖそれぞれにおいて、閾値ＴＨH，ＴＨS，ＴＨV（上述したように、ここでは、いずれも１００）を用いて二値化が行われ、これにより、３つのＨ，Ｓ，Ｖプレーンの境界画像が作成される。さらに、オブジェクト抽出部３の切り出し部３２では、境界検出部３１で作成されたＨ，Ｓ，Ｖプレーンの境界画像それぞれについて、ユーザが指定した注目フレーム上の位置を起点とした、図１２および図１３で説明した領域の切り出しが行われる。
【０１７１】
次に、図１８（Ｃ）のフローチャートを参照して、図１７のステップＳ５５において、指定順位に基づいて、オブジェクト抽出処理の内容を決定する場合の処理制御部７の処理について説明する。
【０１７２】
この場合、まず最初に、ステップＳ８１において、処理制御部７は、順位付けが、Ｈ，Ｓ，Ｖの３つのプレーンの境界画像を用いて得られたオブジェクト抽出結果に対して行われたもの（以下、適宜、プレーンに対する順位付けという）であるか、または、ある１つのプレーンの境界画像であって、３つの異なる閾値による二値化により作成されたものを用いて得られたオブジェクト抽出結果に対して行われたもの（以下、適宜、閾値に対する順位付けという）であるかを判定する。
【０１７３】
ステップＳ８１において、順位付けが、プレーンに対する順位付けであると判定された場合、ステップＳ８２に進み、処理制御部７は、Ｈ，Ｓ，Ｖの３つのプレーンの境界画像を用いて得られたオブジェクト抽出結果に対する順位を認識し、第１位のオブジェクト抽出結果が得られたプレーンの境界画像を、境界検出部３１で作成することを決定する。即ち、処理制御部７は、第１位のオブジェクト抽出結果が得られた境界画像のプレーンを、決定プレーンとする。
【０１７４】
そして、ステップＳ８３に進み、処理制御部７は、決定プレーンの境界画像を得るための二値化に用いる３つの閾値ＴＨ１乃至ＴＨ３を、デフォルト値である、例えば、４０，１００，１８０にそれぞれ決定し、決定プレーンが例えばＶプレーンである旨と、閾値ＴＨ１乃至ＴＨ３を、決定情報として、オブジェクト抽出部３に供給し、処理を終了する。
【０１７５】
この場合、オブジェクト抽出部３の境界検出部３１（図９）では、エッジ検出部２１２Ｈ，２１２Ｓ，２１２Ｖのうち、決定プレーン（第１位の順位付けが行われたオブジェクト抽出結果が得られた境界画像のプレーン）の画像についてエッジ検出を行うものにおいて、エッジ検出が行われる。そして、そのエッジ検出部に接続する二値化部において、閾値ＴＨ１乃至ＴＨ３としての４０，１００，１８０の３つの閾値を用いて二値化が行われ、これにより、３つの境界画像が作成される。さらに、オブジェクト抽出部３の切り出し部３２では、境界検出部３１で作成された３つの境界画像それぞれについて、ユーザが直前に指定した注目フレーム上の位置を起点とした、図１２および図１３で説明した領域の切り出しが行われる。
【０１７６】
一方、ステップＳ８１において、順位付けが、閾値に対する順位付けであると判定された場合、ステップＳ８４に進み、処理制御部７は、その順位付けが行われた注目フレームのオブジェクト抽出結果を得たときに用いられた境界画像のプレーンと同一のプレーンの境界画像を、境界検出部３１で作成することを決定する。即ち、処理制御部７は、注目フレームについての前回のオブジェクト抽出結果を得たときに用いられた境界画像のプレーンを、決定プレーンとする。
【０１７７】
そして、ステップＳ８５に進み、処理制御部７は、決定プレーンの境界画像を得るための二値化に用いる３つの閾値ＴＨ１乃至ＴＨ３を、閾値に対する順位付けに基づいて決定する。即ち、処理制御部７は、前回のオブジェクト抽出結果を得たときに用いられた３つの閾値のうち、第１位に指定された閾値を、閾値ＴＨ１に決定する。さらに、処理制御部７は、前回のオブジェクト抽出結果を得たときに用いられた３つの閾値のうち、第１位に指定された閾値と第２位に指定された閾値の平均値を、閾値ＴＨ２に決定する。また、処理制御部７は、前回のオブジェクト抽出結果を得たときに用いられた３つの閾値のうち、第２位に指定された閾値を、閾値ＴＨ３に決定する。その後、処理制御部７は、決定プレーンと、閾値ＴＨ１乃至ＴＨ３を、決定情報として、オブジェクト抽出部３に供給し、処理を終了する。
【０１７８】
この場合、オブジェクト抽出部３の境界検出部３１（図９）では、エッジ検出部２１２Ｈ，２１２Ｓ，２１２Ｖのうち、決定プレーン（前回のオブジェクト抽出結果を得たときに用いられた境界画像のプレーンと同一のプレーン）の画像についてエッジ検出を行うものにおいて、エッジ検出が行われる。そして、そのエッジ検出部に接続する二値化部において、前回用いられた閾値の順位付けに基づいて上述のように決定された３つの閾値ＴＨ１乃至ＴＨ３を用いて二値化が行われ、これにより、３つの境界画像が作成される。さらに、オブジェクト抽出部３の切り出し部３２では、境界検出部３１で作成された３つの境界画像それぞれについて、ユーザが直前に指定した注目フレーム上の位置を起点とした、図１２および図１３で説明した領域の切り出しが行われる。
【０１７９】
以上のようにして、オブジェクト抽出処理の内容を決定する場合においては、ユーザが、注目フレーム上のある位置を指定すると、前フレームの履歴情報が存在しない場合であって、指定位置付近のＶ成分の平均値が５０以上である場合には、Ｈ，Ｓ，Ｖの３つのプレーンの境界画像から、３つのオブジェクト抽出結果が求められる（図１８（Ｂ）におけるステップＳ７１，Ｓ７４，Ｓ７５）。そして、その３つのオブジェクト抽出結果に対して、プレーンに対する順位付けが行われると、第１位の１つのプレーンの画像と、３つの閾値ＴＨ１乃至ＴＨ３から作成される３つの境界画像から、３つのオブジェクト抽出結果が求められる（図１８（Ｃ）におけるステップＳ８１乃至Ｓ８３）。
【０１８０】
さらに、ユーザが、注目フレーム上のある位置を指定した場合に、前フレームの履歴情報が存在せず、かつ、指定位置付近のＶ成分の平均値が５０未満であるときも、１つのプレーンであるＶプレーンの画像と、デフォルトの３つの閾値ＴＨ１乃至ＴＨ３から作成される３つの境界画像から、３つのオブジェクト抽出結果が求められる（図１８（Ｂ）におけるステップＳ７１乃至Ｓ７３）。
【０１８１】
また、ユーザが、注目フレーム上のある位置を指定した場合に、前フレームの履歴情報が存在するときも、その履歴情報に基づいて決定される１つのプレーンの画像と、履歴情報に基づいて決定される３つの閾値ＴＨ１乃至ＴＨ３から作成される３つの境界画像から、３つのオブジェクト抽出結果が求められる（図１８（Ａ））。
【０１８２】
以上のように、１つのプレーンの画像と、３つの閾値から作成される３つの境界画像から、３つのオブジェクト抽出結果が求められた後に、その３つのオブジェクト抽出結果に対して順位付け（閾値に対する順位付け）が行われると、上述したように、その順位付けに基づいて、３つの閾値ＴＨ１乃至ＴＨ３が更新されていく（図１８（Ｃ）におけるステップＳ８１，Ｓ８４，Ｓ８５）。
【０１８３】
即ち、例えば、図１９（Ａ）に示すように、閾値ＴＨ１，ＴＨ２，ＴＨ３が、第１位、第２位、第３位に、それぞれ指定された場合には、次のオブジェクト抽出処理においては、図１９（Ｂ）に示すように、閾値ＴＨ１は、前回の第１位の閾値に、閾値ＴＨ２は、前回の第１位と第２位の閾値の平均値に、閾値ＴＨ３は、前回の第２の閾値に、それぞれ決定される。さらに、このように決定された３つの閾値ＴＨ１乃至ＴＨ３を用いて得られる３つのオブジェクト抽出結果に対して順位付けが行われ、これにより、図１９（Ｂ）に示すように、閾値ＴＨ１，ＴＨ２，ＴＨ３が、第３位、第１位、第２位に、それぞれ指定された場合には、次のオブジェクト抽出処理においては、図１９（Ｃ）に示すように、やはり、閾値ＴＨ１は、前回の第１位の閾値に、閾値ＴＨ２は、前回の第１位と第２位の閾値の平均値に、閾値ＴＨ３は、前回の第２の閾値に、それぞれ決定される。そして、このように決定された３つの閾値ＴＨ１乃至ＴＨ３を用いて得られる３つのオブジェクト抽出結果に対して、再び、順位付けが行われ、これにより、図１９（Ｃ）に示すように、閾値ＴＨ１，ＴＨ２，ＴＨ３が、第３位、第１位、第２位に、それぞれ指定された場合には、次のオブジェクト抽出処理においては、図１９（Ｄ）に示すように、やはり、閾値ＴＨ１は、前回の第１位の閾値に、閾値ＴＨ２は、前回の第１位と第２位の閾値の平均値に、閾値ＴＨ３は、前回の第２の閾値に、それぞれ決定される。
【０１８４】
従って、順位付けを繰り返すことにより、閾値ＴＨ１，ＴＨ２，ＴＨ３は、注目フレームからオブジェクトを抽出するのに、より適した値に収束していくことになり、その結果、的確なオブジェクト抽出が可能となる。
【０１８５】
さらに、前フレームの履歴情報が存在する場合には、その履歴情報に基づいて、３つの閾値ＴＨ１乃至ＴＨ３が決定されることにより、その３つの閾値ＴＨ１乃至ＴＨ３は、注目フレームからオブジェクトを抽出するのにある程度適した値となることから、ユーザは、「順位指定」の操作を、それほどの回数行わなくても、即ち、最良の場合には、「順位指定」の操作を一度も行わなくても、注目フレームについて、良好なオブジェクト抽出結果を得ることが可能となる。
【０１８６】
なお、図１８および図１９の実施の形態では、履歴情報がない場合において、指定位置付近のＶ成分の平均値が５０以上であるときには、Ｈ，Ｓ，Ｖの３つのプレーンの境界画像から、３つのオブジェクト抽出結果が求められ、その３つのオブジェクト抽出結果に対して、プレーンに対する順位付けが行われると、第１位の１つのプレーンの画像と、３つの閾値ＴＨ１乃至ＴＨ３から作成される３つの境界画像から、３つのオブジェクト抽出結果が求められ、その後に、閾値に対する順位付けが可能な状態となる。
【０１８７】
これに対して、履歴情報がない場合でも、指定位置付近のＶ成分の平均値が５０未満であるときには、上述したように、経験則から、１つのプレーンであるＶプレーンの画像と、３つの閾値ＴＨ１乃至ＴＨ３から作成される３つの境界画像から、３つのオブジェクト抽出結果が求められ、その後に、閾値に対する順位付けが可能な状態となる。従って、この場合、ユーザは、プレーンに対する順位付けを行う必要がなく、その分、ユーザの操作負担を軽減することができる。
【０１８８】
次に、図４のステップＳ１４における初期抽出処理について説明する。
【０１８９】
初期抽出処理では、新たな注目フレームについて、ユーザが、オブジェクトの位置を指定する「位置指定」を行わなくても、前フレームから得られた最終的なオブジェクト抽出結果や履歴情報を利用して、複数（本実施の形態では、３つ）のオブジェクト抽出処理が行われ、そのオブジェクト抽出結果が、表示部５に表示される。
【０１９０】
即ち、図２０は、新たな注目フレームについて、初期抽出処理が行われた直後の表示部５における画面の表示例を示している。
【０１９１】
図２０の実施の形態において、基準画面には、新たな注目フレームの画像（原画像）が表示されており、結果画面＃１乃至＃３には、前フレームから得られた最終的なオブジェクト抽出結果や履歴情報を利用して行われた３つのオブジェクト抽出処理による３つのオブジェクト抽出結果が、それぞれ表示されている。
【０１９２】
なお、図２０の実施の形態では、基準画面のアンドゥボタン２０４の下部に、リセットレコードボタン(Reset Record)２０５が新たに表示されているが、このリセットレコードボタン２０５は、前フレームの履歴情報を消去するときに操作される。即ち、リセットレコードボタン２０５を、マウス９によりクリックすると、履歴管理部４に記憶されている前フレームの履歴情報が使用不可になる。但し、リセットレコードボタン２０５を再度クリックすると、履歴情報は、使用可能な状態となる。
【０１９３】
結果画面＃１乃至＃３に表示される、新たな注目フレームについてのオブジェクト抽出結果は、オブジェクト抽出部３において、例えば、次のような第１乃至第３の初期抽出処理が行われることにより、それぞれ求められる。
【０１９４】
即ち、例えば、いま、前フレームについて、図２１（Ａ）に示すような履歴画像を得ることができていたとする。ここで、図２１（Ａ）の実施の形態は、人間の全身が表示された前フレームから、その人間が表示された部分がオブジェクトとして抽出された場合の履歴画像を示している。さらに、図２１（Ａ）の履歴情報は、人間の頭部の領域については、Ｓプレーンの画像と、二値化における閾値５０を用いて、胴体部分の領域については、Ｈプレーンの画像と、二値化における閾値１００を用いて、下半身部分の領域については、Ｖプレーンの画像と、二値化における閾値８０を用いて、それぞれ、オブジェクト抽出が行われたことを表している。従って、図２１の履歴画像において、人間の頭部の領域を構成するすべての画素、胴体部分の領域を構成するすべての画素、または下半身部分の領域を構成するすべての画素の画素値は、それぞれ同一のＩＤとなっている。
【０１９５】
第１の初期抽出処理では、例えば、処理制御部７が、まず、前フレームの履歴画像において同一のＩＤを画素値とする画素の集合でなる領域の重心を求める。従って、図２１（Ａ）の実施の形態では、人間の頭部の領域、胴体部分の領域、下半身部分の領域の重心がそれぞれ求められる。
【０１９６】
なお、ある領域の重心の座標を（Ｘ，Ｙ）と表すと、重心（Ｘ，Ｙ）は、例えば、次式にしたがって求められる。
【０１９７】
Ｘ＝Σｘk／Ｎ
Ｙ＝Σｙk／Ｎ
但し、Ｎは、ある領域を構成する画素数を表し、Σは、変数ｋを１からＮに変えてのサメーションを表す。また、（ｘk，ｙk）は、ある領域を構成するｋ番目の画素の座標を表す。
【０１９８】
人間の頭部の領域、胴体部分の領域、下半身部分の領域のそれぞれについて、例えば、図２１（Ｂ）に示すように、重心（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３）が求められると、処理制御部７は、動き検出部６を制御することにより、前フレームの重心（ｘ１，ｙ１）を基準とする注目フレームの動きベクトル（ｖx，ｖy）を求めさせる。さらに、処理制御部７は、その内蔵する位置補正部７１に、前フレームの指定位置（ｘ１，ｙ１）を、動きベクトル（ｖx，ｖy）によって補正させることにより、前フレームの重心（ｘ１，ｙ１）に対応する注目フレーム上の位置（ｘ１’，ｙ１’）を求めさせる。即ち、この場合、位置補正部７１は、例えば、式（ｘ１’，ｙ１’）＝（ｘ１，ｙ１）＋（ｖx，ｖy）によって、前フレームの重心（ｘ１，ｙ１）に対応する注目フレーム上の位置（ｘ１’，ｙ１’）を求める。
【０１９９】
その後、処理制御部７は、前フレームの重心（ｘ１，ｙ１）の画素の画素値であるＩＤを、履歴画像記憶部４２に記憶された前フレームの履歴画像を参照することで取得し、さらに、そのＩＤに対応付けられたパラメータセットを、パラメータテーブル記憶部４３を参照することで取得する。そして、処理制御部７は、上述のようにして取得したパラメータセットに基づく境界画像の作成、およびその３つの境界画像からの、前フレームの重心（ｘ１，ｙ１）に対応する注目フレーム上の位置（ｘ１’，ｙ１’）を起点とする領域の切り出しを行うことを決定し、その旨の決定情報を、オブジェクト抽出部３に供給する。
【０２００】
処理制御部７は、図２１（Ｂ）に示した３つの領域の重心（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３）のうちの残りの２つの重心（ｘ２，ｙ２）と（ｘ３，ｙ３）についても、それぞれ同様の処理を行う。
【０２０１】
これにより、オブジェクト抽出部３では、図２１（Ｃ）に示すように、注目フレームを対象として、決定情報に対応するパラメータセットに基づく境界画像の作成、およびその境界画像からの、前フレームの重心（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３）に対応する注目フレーム上の位置（ｘ１’，ｙ１’），（ｘ２’，ｙ２’），（ｘ３’，ｙ３’）をそれぞれ起点とする領域の切り出しが行われ、オブジェクトが抽出される。このオブジェクト抽出結果は、図２１（Ｄ）に示すように、結果バッファ３３Ａに記憶され、図２０に示したように、結果画面＃１において表示される。
【０２０２】
次に、第２の初期抽出処理では、オブジェクト抽出部３は、例えば、テンプレートマッチングを行うことによって、注目フレームからオブジェクトを抽出する。
【０２０３】
即ち、オブジェクト抽出部３は、注目フレーム処理部２を介して、ストレージ１から、前フレームの最終的なオブジェクト抽出結果と、注目フレームを読み出し、図２２（Ａ）に示すように、前フレームの最終的なオブジェクト抽出結果と、注目フレームとを重ねて、対応する画素の画素値（例えば、輝度）どうしの絶対値差分の総和を演算する。オブジェクト抽出部３は、このような絶対値差分の総和を、図２２（Ｂ）に示すように、前フレームの最終的なオブジェクト抽出結果と、注目フレームとを重ね合わせる位置を、例えば、１画素ごとに変えて求め、絶対値差分の総和が最小になるときの、前フレームの最終的なオブジェクト抽出結果と、注目フレームとの位置関係を求める。さらに、オブジェクト抽出部３は、図２２（Ｃ）に示すように、その位置関係において、前フレームの最終的なオブジェクト抽出結果との画素値どうしの絶対値差分が、例えば２０以下になる画素を、注目フレームから検出し、その画素値を、注目フレームについてのオブジェクト抽出結果として、結果バッファ３３Ｂに書き込む。このようにして結果バッファ３３Ｂに書き込まれたオブジェクト抽出結果は、図２０に示したように、結果画面＃２において表示される。
【０２０４】
次に、第３の初期抽出処理では、オブジェクト抽出部３は、例えば、図１６で説明した場合と同様にして、注目フレームからオブジェクトを抽出する。このオブジェクト抽出結果は、結果バッファ３３Ｃに書き込まれ、図２０に示したように、結果画面＃３において表示される。
【０２０５】
以上の初期抽出処理は、注目フレームが新たなフレームに変更された後に、ユーザからの入力を特に待つことなく、いわば自動的に行われるため、「位置指定」や「順位指定」といったユーザの操作負担を軽減することができる。
【０２０６】
ところで、初期抽出処理によって得られた３つのオブジェクト抽出結果のうちのいずれかに対して、ユーザが、「全取得」または「部分取得」の操作を行い、これにより、その３つのオブジェクト抽出結果のうちのいずれかの全部または一部が、オブジェクトバッファ２３に反映され、注目フレームの最終的なオブジェクト抽出結果とされた場合には、その最終的なオブジェクト抽出結果のうち、初期抽出処理によって得られた部分については、履歴情報が存在しないこととなり、次のフレームが注目フレームとされたときに、前フレームの履歴情報が存在せず、その結果、ユーザの操作負担が増加することがある。
【０２０７】
そこで、前フレームの履歴情報は、次のフレームの履歴情報に継承することが可能である。
【０２０８】
即ち、例えば、図２３（Ａ）に示すように、前フレームについて最終的なオブジェクト抽出結果が得られた後に、初期抽出処理が行われることにより、注目フレームのオブジェクト抽出結果が結果画面に表示され、そのオブジェクト抽出結果の一部が、ユーザによる「部分取得」操作によって、オブジェクトバッファ２３に反映されたとする。
【０２０９】
この場合、処理制御部７は、オブジェクトバッファ２３に反映されたオブジェクトの部分の動きベクトルを、動き検出部６を制御することにより求めさせ、図２３（Ｂ）に示すように、その動きベクトルによって、前フレームの履歴画像の、オブジェクトバッファ２３に反映された領域に対応する部分の位置を補正する。さらに、処理制御部７は、履歴管理部４を制御することにより、その補正後の履歴画像の部分を、注目フレームの履歴画像としてコピーさせる。
【０２１０】
また、処理制御部７は、注目フレームの履歴画像としてコピーした前フレームの履歴画像の範囲内に、ユーザがマウス９をクリックすることによって指定した前フレーム上の位置が存在するかどうかを、指定位置記憶部４１を参照することにより判定し、存在する場合には、図２３（Ｃ）に示すように、その位置（指定位置）を、図２３（Ｂ）で説明した動きベクトルによって補正する。そして、処理制御部７は、履歴管理部４を制御することにより、その補正後の指定位置の座標を、注目フレームの指定位置の座標として、指定位置記憶部４１に記憶させる。
【０２１１】
なお、このような履歴情報の継承は、上述の第１乃至第３の初期抽出処理のうちの、第１と第３の初期抽出処理によって得られたオブジェクト抽出結果が、オブジェクトバッファ２３に反映された場合にのみ行い、第２の初期抽出処理によって得られたオブジェクト抽出結果が、オブジェクトバッファ２３に反映された場合には行わないようにすることが可能である。
【０２１２】
即ち、第１と第３の初期抽出処理では、上述したように、前フレームの履歴情報に基づいて、注目フレームからのオブジェクト抽出が行われるため、そのオブジェクト抽出結果が、オブジェクトバッファ２３に反映されるということは、注目フレームについて、前フレームの履歴情報を用いずにオブジェクト抽出を行ったとしても、前フレームと同様の処理によって得られたオブジェクト抽出結果が、最終的なオブジェクト抽出結果とされる可能性が高く、従って、前フレームと同様の履歴情報が作成される可能性が高い。
【０２１３】
これに対して、第２の初期抽出処理では、上述したように、テンプレートマッチングによって、注目フレームからオブジェクトが抽出されるため、そのオブジェクト抽出結果が、オブジェクトバッファ２３に反映されたとしても、その反映された部分は、前フレームの履歴情報とは無関係に、注目フレームから抽出されたものであるから、前フレームの履歴情報を用いずにオブジェクト抽出を行ったときに、前フレームと同様の処理によって得られたオブジェクト抽出結果が、最終的なオブジェクト抽出結果とされる可能性が高いとはいえず、従って、前フレームと同様の履歴情報が作成される可能性が高いともいえない。
【０２１４】
このため、上述したように、履歴情報の継承は、第１と第３の初期抽出処理によって得られたオブジェクト抽出結果が、オブジェクトバッファ２３に反映された場合にのみ行い、第２の初期抽出処理によって得られたオブジェクト抽出結果が、オブジェクトバッファ２３に反映された場合には行わないようにすることができる。
【０２１５】
但し、履歴情報の継承は、第１乃至第３の初期抽出処理によって得られたオブジェクト抽出結果のうちのいずれが、オブジェクトバッファ２３に反映された場合であっても行うようにすることが可能である。
【０２１６】
以上のように、複数の処理によって、複数のオブジェクト抽出結果を求め、その複数のオブジェクト抽出結果の中から、良好なものを、ユーザに判断してもらい、最終的なオブジェクト抽出結果に反映するようにしたので、容易な操作で、的確なオブジェクト抽出を行うことができる。
【０２１７】
さらに、前フレームの履歴情報が存在する場合には、その履歴情報と、ユーザにより入力された注目フレーム上の位置に基づいて、注目フレームのオブジェクト抽出を行うようにしたので、やはり、容易な操作で、的確なオブジェクト抽出を行うことができる。
【０２１８】
即ち、図２の画像処理装置では、ユーザが、注目フレームのオブジェクト上のある位置を指定すると、その位置を起点として、注目フレームの領域が、３つの処理によって切り出され（オブジェクト抽出され）、その結果得られる３つのオブジェクト抽出結果が表示される。さらに、ユーザが、必要に応じて、３つのオブジェクト抽出結果に対して順位を指定すると、その順位に基づく３つの処理によって、注目フレームの領域が再度切り出され、その結果得られる３つのオブジェクト抽出結果が表示される。そして、ユーザが、３つのオブジェクト抽出結果の中から、適切と思うものを指定すると、その指定されたオブジェクト抽出結果が、最終的なオブジェクト抽出結果に反映される。従って、ユーザが、オブジェクト上の位置の指定、必要な順位の指定、および適切なオブジェクト抽出結果の指定という負担の少ない操作を、必要な回数だけ繰り返すことにより、注目フレームから、的確に、オブジェクトを抽出することができる。
【０２１９】
さらに、次のフレームが注目フレームとされた場合には、その１フレーム前のフレーム（前フレーム）について作成された履歴情報を参照することにより、注目フレーム上のユーザ入力した位置の画素に対応する前フレームの画素をオブジェクトとして抽出するのに用いられたパラメータセットが認識され、そのパラメータセットに基づいて、３つのオブジェクト抽出処理の内容が決定される。従って、ユーザは、注目フレームのオブジェクト上の位置を指定するという負担の少ない操作を行うだけで、注目フレームから、良好なオブジェクト抽出結果を得ることができる。
【０２２０】
なお、本実施の形態では、ユーザに、注目フレームのオブジェクト上の位置を指定してもらうようにしたが、その他、例えば、注目フレームのオブジェクトの一部の範囲を指定してもらうようにすることも可能である。
【０２２１】
また、本実施の形態では、注目フレームのオブジェクト抽出を、前フレームのみの履歴情報に基づいて行うようにしたが、注目フレームのオブジェクト抽出は、その他、例えば、過去数フレームの履歴情報に対して重み付けをし、その重み付けされた履歴情報に基づいて行うことも可能である。また、本実施の形態では、時間順に、フレームを処理するものとして、前フレームの履歴情報を、注目フレームからのオブジェクト抽出に用いることとしたが、その他、例えば、時間の逆順に、フレームが処理される場合には、注目フレームからのオブジェクト抽出には、時間的に後行するフレームの履歴情報を用いることが可能である。
【０２２２】
さらに、本実施の形態では、動画の各フレームからオブジェクトを抽出するようにしたが、本発明は、静止画からのオブジェクト抽出にも適用可能である。
【０２２３】
また、本発明は、いわゆる前景となっている部分を抽出する場合の他、例えば、背景の一部の構成要素を抽出する場合にも適用可能である。
【０２２４】
さらに、本実施の形態で説明したオブジェクト抽出処理は例示であり、どのようなオブジェクト抽出処理を採用するかは、特に限定されるものではない。
【０２２５】
また、本発明は、放送システムや編集システム等の画像処理装置に広く適用可能である。
【０２２６】
【発明の効果】
本発明によれば、簡単な操作で、的確に、オブジェクトを抽出することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の一実施の形態のハードウェア構成例を示すブロック図である。
【図２】図１の画像処理装置の機能的構成例を示すブロック図である。
【図３】表示部５における画面の表示例を示す図である。
【図４】図２の画像処理装置の処理を説明するフローチャートである。
【図５】基本画面における表示の切り替え説明するための図である。
【図６】「アンドゥ」と「部分削除」を説明するための図である。
【図７】ユーザが、オブジェクト上の点を指定する様子を示す図である。
【図８】「全取得」と「部分取得」を説明するための図である。
【図９】境界検出部３１の構成例を示すブロック図である。
【図１０】細線化処理を説明するための図である。
【図１１】境界画像を示す図である。
【図１２】切り出し部３２の処理を説明するためのフローチャートである。
【図１３】切り出し部３２の処理を説明するための図である。
【図１４】履歴情報の更新を説明するための図である。
【図１５】履歴情報に基づくオブジェクト抽出を説明するための図である。
【図１６】履歴情報に基づくオブジェクト抽出を説明するための図である。
【図１７】処理制御部７の処理を説明するためのフローチャートである。
【図１８】図１７のステップＳ５３乃至Ｓ５５の処理のより詳細を説明するためのフローチャートである。
【図１９】閾値の更新を説明するための図である。
【図２０】表示部５における画面の表示例を示す図である。
【図２１】第１の初期抽出処理を説明するための図である。
【図２２】第２の初期抽出処理を説明するための図である。
【図２３】履歴情報の継承を説明するための図である。
【符号の説明】
１ ストレージ， ２ 注目フレーム処理部， ３ オブジェクト抽出部， ４ 履歴管理部， ５ 表示部， ６ 動き検出部， ７ 処理制御部， ８ イベント検出部， ９ マウス， ２１ 注目フレームバッファ， ２２ 背景バッファ， ２３ オブジェクトバッファ， ２４ セレクタ， ３１ 境界検出部， ３２ 切り出し部， ３２Ａ乃至３２Ｃ 出力バッファ， ３３ 結果処理部， ３３Ａ乃至３３Ｃ 結果バッファ， ４１ 指定位置記憶部， ４２履歴画像記憶部， ４３ パラメータテーブル記憶部， ６１ 前フレームバッファ， ７１ 位置補正部， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体， ２０１ チェンジディスプレイボタン， ２０２ ユースレコードボタン， ２０３ デリートパートリィボタン，２０４ アンドゥボタン， ２０５ リセットレコードボタン， ２０６ ランクリザルトボタン， ２０７ グラブオールボタン， ２０８ グラブパートリィボタン， ２１１ ＨＳＶ分離部， ２１２Ｈ，２１２Ｓ，２１２Ｖ エッジ検出部， ２１３Ｈ，２１３Ｓ，２１３Ｖ 二値化部， ２１４Ｈ，２１４Ｓ，２１４Ｖ 細線化部， ２１５Ｈ，２１５Ｓ，２１５Ｖ 境界画像記憶部
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、並びに記録媒体に関し、特に、例えば、容易な操作で、的確なオブジェクト抽出を行うことができるようにする画像処理装置および画像処理方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
画像から、いわゆる前景等となっている物体の部分であるオブジェクトを抽出する方法としては、様々な手法が提案されている。
【０００３】
即ち、例えば、特開平１０−２６９３６９号公報には、あるフレームについて、オブジェクトの輪郭を検出することにより、オブジェクトを抽出し、その次のフレームについては、前のフレームのオブジェクトの周辺を探索して、オブジェクトの輪郭を検出し、さらに、その検出結果に基づいて、オブジェクトを抽出することを繰り返す方法が記載されている。
【０００４】
また、例えば、ある画素の画素値と似た画素値を有する画素を探索し、そのような画素でなる領域を、オブジェクトとして抽出する方法等もある。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来のオブジェクト抽出方法では、装置が、あらかじめ決められた閾値その他のパラメータに基づいて、オブジェクトの抽出を行うため、ある特定の特徴を有する画像からのオブジェクト抽出は良好に行うことができるが、他の特徴を有する画像からのオブジェクト抽出を良好に行うことができないことがあった。
【０００６】
そこで、オブジェクト抽出時に用いるパラメータを可変に設定する方法が考えられるが、パラメータを可変にしても、ある値に設定されたパラメータが適している部分の抽出は良好に行うことができるが、そのパラメータが適していない部分の抽出を良好に行うことができない場合があり、その結果、オブジェクト全体を的確に抽出することが困難であった。
【０００７】
また、例えば、ユーザに、オブジェクトの輪郭を指定してもらい、その指定された輪郭に基づいて、オブジェクトを抽出する方法があるが、この場合、オブジェクトを的確に抽出するには、ユーザが、オブジェクトの輪郭を、細部にわたって指定する必要があり、ユーザの操作負担が大であった。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、容易な操作で、的確なオブジェクト抽出を行うことができるようにするものである。
【０００９】
【課題を解決するための手段】
本発明の一側面の画像処理装置、又は、記録媒体は、画像から所定のオブジェクトを抽出する画像処理装置であって、注目している注目画面の画像から、複数の処理によってオブジェクトを抽出するオブジェクト抽出手段と、前記複数の処理によるオブジェクト抽出結果から、最終的なオブジェクト抽出結果に反映させるものを、ユーザからの入力に基づいて選択する選択手段と、前記選択手段において選択されたオブジェクト抽出結果を、最終的なオブジェクト抽出結果に反映させる反映手段と、前記複数の処理によるオブジェクト抽出結果の順位付けを行うときに操作される操作手段と、前記オブジェクト抽出結果の順位付けに基づいて、前記複数の処理の内容を決定する決定手段とを備え、前記複数の処理は、異なる閾値を用いた処理であり、前記決定手段は、前記複数の処理によるオブジェクト抽出結果に対して、ユーザから順位付けの入力があった場合、その順位付けに基づいて、第１位のオブジェクト抽出結果を得たときに用いられた第１位の閾値と、第２位のオブジェクト抽出結果を得たときに用いられた第２位の閾値との間の値を、次の前記複数の処理のうちの１つの処理に用いられる閾値に決定する画像処理装置、又は、画像処理装置として、コンピュータを機能させるためのプログラムが記録された記録媒体である。
【００１０】
本発明の一側面の画像処理方法は、画像から所定のオブジェクトを抽出する画像処理方法であって、注目している注目画面の画像から、複数の処理によってオブジェクトを抽出するオブジェクト抽出ステップと、前記複数の処理によるオブジェクト抽出結果から、最終的なオブジェクト抽出結果に反映させるものを、ユーザからの入力に基づいて選択する選択ステップと、前記選択ステップにおいて選択されたオブジェクト抽出結果を、最終的なオブジェクト抽出結果に反映させる反映ステップと、ユーザからの前記オブジェクト抽出結果の順位付けに基づいて、前記複数の処理の内容を決定する決定ステップとを備え、前記複数の処理は、異なる閾値を用いた処理であり、前記決定ステップでは、前記複数の処理によるオブジェクト抽出結果に対して、前記複数の処理によるオブジェクト抽出結果の順位付けを行うときに操作される操作手段が操作されることにより、ユーザから順位付けの入力があった場合、その順位付けに基づいて、第１位のオブジェクト抽出結果を得たときに用いられた第１位の閾値と、第２位のオブジェクト抽出結果を得たときに用いられた第２位の閾値との間の値を、次の前記複数の処理のうちの１つの処理に用いられる閾値に決定する画像処理方法である。
【００１２】
本発明の一側面においては、注目している注目画面の画像から、複数の処理によってオブジェクトが抽出され、前記複数の処理によるオブジェクト抽出結果から、最終的なオブジェクト抽出結果に反映させるものが、ユーザからの入力に基づいて選択される。そして、その選択されたオブジェクト抽出結果が、最終的なオブジェクト抽出結果に反映される。前記複数の処理は、異なる閾値を用いた処理であり、前記複数の処理によるオブジェクト抽出結果に対して、前記複数の処理によるオブジェクト抽出結果の順位付けを行うときに操作される操作手段が操作されることにより、ユーザから順位付けの入力があった場合、その順位付けに基づいて、第１位のオブジェクト抽出結果を得たときに用いられた第１位の閾値と、第２位のオブジェクト抽出結果を得たときに用いられた第２位の閾値との間の値が、次の前記複数の処理のうちの１つの処理に用いられる閾値に決定される。
【００１３】
【発明の実施の形態】
図１は、本発明を適用した画像処理装置の一実施の形態のハードウェア構成例を示している。
【００１４】
この画像処理装置は、コンピュータをベースに構成されており、コンピュータには、後述するようなオブジェクト抽出を行うための一連の処理を実行するプログラム（以下、適宜、オブジェクト抽出処理プログラムという）がインストールされている。
【００１５】
なお、画像処理装置は、このように、コンピュータにプログラムを実行させることによって構成する他、それ専用のハードウェアにより構成することも可能である。
【００１６】
ここで、オブジェクト抽出処理プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やＲＯＭ１０３に予め記録される。
【００１７】
あるいはまた、オブジェクト抽出処理プログラムは、フロッピーディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）される。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【００１８】
なお、オブジェクト抽出処理プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるオブジェクト抽出処理プログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
【００１９】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)１０３に格納されているオブジェクト抽出処理プログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているオブジェクト抽出処理プログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたオブジェクト抽出処理プログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたオブジェクト抽出処理プログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、後述するようなフローチャートにしたがった処理、あるいは後述するブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【００２０】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【００２１】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【００２２】
図２は、図１の画像処理装置の機能的構成例を示している。なお、この機能的構成は、図１のCPU１０２がオブジェクト抽出処理プログラムを実行することによって実現される。
【００２３】
ストレージ１は、オブジェクトを抽出する対象の動画の画像データを記憶する。また、ストレージ１は、処理制御部７から供給される、後述するような各フレームの履歴情報等も記憶する。
【００２４】
注目フレーム処理部２は、ストレージ１に記憶された画像データの所定のフレームを注目フレームとして、その注目フレームの画像データを読み出し、処理制御部７からの制御にしたがい、注目フレームに関する処理を行う。
【００２５】
即ち、注目フレーム処理部２は、注目フレームバッファ２１、背景バッファ２２、オブジェクトバッファ２３、およびセレクタ２４等から構成されている。注目フレームバッファ２１は、ストレージ１から読み出された注目フレームの画像データを記憶する。背景バッファ２２は、注目フレームバッファ２１に記憶された注目フレームの画像のうち、後述するオブジェクトバッファ２３に記憶された部分以外の残りを、背景画像として記憶する。オブジェクトバッファ２３は、後述するオブジェクト抽出部３で抽出される注目フレームのオブジェクトを記憶する。セレクタ２４は、注目フレームバッファ２１に記憶された注目フレーム、背景バッファ２２に記憶された背景画像、またはオブジェクトバッファ２３に記憶されたオブジェクトのうちのいずれか１つを選択し、表示部５に供給する。
【００２６】
オブジェクト抽出部３は、処理制御部７の制御にしたがい、注目フレームバッファ２１に記憶された注目フレームから、複数の処理によってオブジェクトを抽出する。
【００２７】
即ち、オブジェクト抽出部３は、境界検出部３１、切り出し部３２、および結果処理部３３等から構成されている。境界検出部３１は、注目フレームバッファ２１に記憶された注目フレームの画像の境界部分を検出し、その境界部分と、境界部分でない部分（以下、適宜、非境界部分という）とを表す２値で構成される、複数種類（ここでは、例えば、３種類）の境界画像を作成する。切り出し部３２は、境界検出部３１において作成された３つの境界画像を参照し、注目フレームバッファ２１に記憶された注目フレームから、オブジェクトを構成する領域を切り出す。さらに、切り出し部３２は、３つの出力バッファ３２Ａ乃至３２Ｃを有しており、３種類の境界画像を参照して切り出した領域を、出力バッファ３２Ａ乃至３２Ｃにそれぞれ記憶させる。結果処理部３３は、切り出し部３２が有する３つの出力バッファ３２Ａ乃至３２Ｃに対応して、３つの結果バッファ３３Ａ乃至３３Ｃを有しており、オブジェクトバッファ２３に記憶されたオブジェクトの抽出結果に、出力バッファ３２Ａ乃至３２Ｃの記憶内容それぞれを合成して、その３つの合成結果を、結果バッファ３３Ａ乃至３３Ｃにそれぞれ記憶させる。さらに、結果処理部３３は、ユーザがマウス９を操作することによって与えられる入力に基づいて、結果バッファ３３Ａ乃至３３Ｃの記憶内容のうちのいずれかを選択し、オブジェクトバッファ２３の記憶内容に反映させる。
【００２８】
履歴管理部４は、処理制御部７の制御の下、履歴情報を管理する。
【００２９】
即ち、履歴管理部４は、指定位置記憶部４１、履歴画像記憶部４２、およびパラメータテーブル記憶部４３等から構成されている。指定位置記憶部４１は、ユーザがマウス９を操作することにより入力した注目フレーム上の位置の座標の履歴を記憶する。履歴画像記憶部４２は、オブジェクト抽出部４２における処理の内容の履歴を表す履歴画像を記憶し、パラメータテーブル記憶部４３は、その履歴画像を構成する画素値としてのＩＤに対応付けて、オブジェクト抽出部３における処理の内容を表すパラメータを記憶する。即ち、パラメータテーブル記憶部４３は、オブジェクト抽出部３における処理の内容を表すパラメータを、ユニークなＩＤと対応付けて記憶する。そして、履歴画像記憶部４２は、オブジェクトを構成する画素ごとに、オブジェクトを構成する画素として抽出するのに用いた処理の内容に対応するＩＤを記憶する。従って、オブジェクトを構成するある画素を、オブジェクトとして抽出するのに用いた処理の内容は、その画素の履歴画像における画素値としてのＩＤに対応付けられている、パラメータテーブル記憶部４３のパラメータを参照することで認識することができる。
【００３０】
ここで、履歴画像記憶部４２には、上述のように、画素をオブジェクトとして抽出したときの処理の内容を表すパラメータに対応付けられているＩＤを、画素値として、そのような画素値で構成される画像が記憶されるため、その画像は、オブジェクト抽出に用いた処理の内容の履歴を表していることから、履歴画像と呼んでいる。また、以下、適宜、指定位置記憶部４１、履歴画像記憶部４２、およびパラメータテーブル記憶部４３における記憶内容をまとめて、履歴情報という。
【００３１】
なお、指定位置記憶部４１、履歴画像記憶部４２、およびパラメータテーブル記憶部４３は、少なくとも２つのバンクを有しており、バンク切り替えによって、注目フレームと、その注目フレームの１フレーム前のフレーム（前フレーム）についての履歴情報を記憶することができるようになっている。
【００３２】
表示部５は、セレクタ２４が出力する画像（注目フレームの画像、背景画像、またはオブジェクト）と、結果処理部３３の結果バッファ３３Ａ乃至３３Ｃに記憶された画像を表示する。
【００３３】
動き検出部６は、処理制御部７の制御の下、注目フレームの画像の、前フレームの画像を基準とする動きベクトルを検出し、処理制御部７に供給する。
【００３４】
即ち、動き検出部６は、前フレームバッファ６１を内蔵しており、ストレージ１から、前フレームの画像データを読み出し、前フレームバッファ６１に記憶させる。そして、動き検出部６は、前フレームバッファ６１に記憶された前フレームの画像データと、注目フレーム処理部２の注目フレームバッファ２１に記憶された注目フレームの画像データとを対象としたブロックマッチング等を行うことにより、動きベクトルを検出して、処理制御部７に供給する。
【００３５】
処理制御部７は、イベント検出部８から供給されるイベント情報等に基づき、注目フレーム処理部２、オブジェクト抽出部３、履歴管理部４、および動き検出部６を制御する。さらに、処理制御部７は、イベント検出部８から供給されるイベント情報や、履歴管理部４で管理されている履歴情報に基づいて、オブジェクト抽出部３における処理の内容を決定し、その決定結果に基づいて、オブジェクト抽出部３にオブジェクトを抽出させる。また、処理制御部７は、位置補正部７１を内蔵しており、イベント検出部８からイベント情報として供給される注目フレームの画像上の位置の情報や、履歴管理部４の指定位置記憶部４１に記憶された位置の情報等を、動き検出部６からの動きベクトルにしたがって補正する。この補正された位置の情報は、後述するように、オブジェクト抽出部３に供給され、オブジェクトの抽出に用いられる。あるいは、また、履歴管理部４１に供給され、指定位置記憶部４１で記憶される。
【００３６】
イベント検出部８は、ユーザがマウス９を操作することにより発生するイベントを検出し、そのイベントの内容を表すイベント情報を、処理制御部７に供給する。
【００３７】
マウス９は、表示部５に表示された画像上の位置を指定する場合や、所定のコマンドを装置に与える場合等に、ユーザによって操作される。
【００３８】
次に、図３は、表示部５における画面の表示例を示している。
【００３９】
オブジェクト抽出処理プログラムが実行されると、表示部５には、図３に示すような横と縦がそれぞれ２分割されたウインドウが表示される。
【００４０】
この４分割されたウインドウにおいて、左上の画面は、基準画面とされており、右上、左下、右下の画面は、それぞれ結果画面＃１，＃２，＃３とされている。
【００４１】
基準画面には、セレクタ２４が出力する画像が表示される。上述したように、セレクタ２４は、注目フレームバッファ２１に記憶された注目フレーム、背景バッファ２２に記憶された背景画像、またはオブジェクトバッファ２３に記憶されたオブジェクトのうちのいずれか１つを選択し、表示部５に供給するので、基準画面には、注目フレームの画像（原画像）、オブジェクト、または背景のうちのいずれかが表示される。表示部５に、上述のいずれの画像を表示させるかは、ユーザが、マウス９を操作することにより切り替えることができるようになっている。図３の実施の形態においては、背景バッファ２２に記憶された背景画像、即ち、原画像から、オブジェクトバッファ２３にオブジェクトとして取り込まれた画像を除いた画像が、基準画面に表示されている。なお、基準画面において斜線を付してある部分が、現在、オブジェクトバッファ２３に取り込まれている部分を表している（以下、同様）。
【００４２】
また、基準画面の左下には、チェンジディスプレイ(Change Display)ボタン２０１、ユースレコード(Use Record)ボタン２０２、デリートパートリィ(Delete Partly)ボタン２０３、およびアンドゥ(Undo)ボタン２０４が設けられている。
【００４３】
チェンジディスプレイボタン２０１には、基準画面に表示させる画像を切り替えるときに操作される。即ち、セレクタ２４は、チェンジディスプレイボタン２０１がマウス９でクリックされるごとに、注目フレームバッファ２１、背景バッファ２２、オブジェクトバッファ２３の出力を、いわば巡回的に選択し、その結果、基準画面に表示される画像が、原画像、オブジェクト、背景の順に、巡回的に切り替えられる。
【００４４】
ユースレコードボタン２０２は、注目フレームバッファ２１に記憶された注目フレームからオブジェクトを抽出するのに、履歴管理部４に記憶されている履歴情報を利用するかどうかを設定するときに操作される。即ち、ユースレコードボタン２０２がマウス９でクリックされると、基準画面には、履歴情報の利用を許可するかどうか等を設定するためのプルダウンメニューが表示されるようになっている。なお、本実施の形態では、基本的に、履歴情報の利用が許可されているものとする。
【００４５】
デリートパートリィボタン２０３は、オブジェクトバッファ２３に、オブジェクトとして記憶された画像の一部を削除する（オブジェクトから背景に戻す）ときに操作される。即ち、ユーザがマウス９を操作することにより、基準画面に表示されたオブジェクトの所定の部分を範囲指定した後、デリートパートリィボタン２０３をマウス９でクリックすると、その範囲指定されたオブジェクトの所定の部分が、オブジェクトバッファ２３から削除される。従って、デリートパートリィボタン２０３は、例えば、オブジェクトバッファ２３に、背景の一部が、オブジェクトとして取り込まれた場合に、その背景部分を、オブジェクトから削除するような場合に使用される。
【００４６】
アンドゥボタン２０４は、結果処理部３３の結果バッファ３３Ａ乃至３３Ｃから、オブジェクトバッファ２３に、オブジェクトとして取り込まれた画像のうち、前回取り込まれた部分を削除するときに操作される。従って、アンドゥボタン２０４が操作されると、オブジェクトバッファ２３に記憶された画像は、結果バッファ３３Ａ乃至３３Ｃから画像が取り込まれる直前の状態に戻る。なお、オブジェクトバッファ２３は、複数バンクを有しており、結果バッファ３３Ａ乃至３３Ｃから画像が取り込まれる直前の状態を、少なくとも保持している。そして、アンドゥボタン２０４が操作された場合には、オブジェクトバッファ２３は、直前に選択していたバンクへのバンク切り替えを行うことにより、セレクタ２４に出力する画像を切り替える。
【００４７】
結果画面＃１乃至＃３には、注目フレームから、異なる処理で抽出されたオブジェクトが記憶された結果バッファ３３Ａ乃至３３Ｃの記憶内容、即ち、３つの異なる処理で行われたオブジェクト抽出の結果がそれぞれ表示される。また、結果画面＃１乃至＃３それぞれの左下には、ランクリザルト(Rank Result)ボタン２０６、グラブオール(Grab All)ボタン２０７、およびグラブパートリィ(Grab Partly)ボタン２０８が設けられている。
【００４８】
ランクリザルトボタン２０６は、結果画面＃１乃至＃３に表示されたオブジェクト抽出結果の順位付けを行うときに操作される。即ち、結果画面＃１乃至＃３それぞれのランクリザルトボタン２０６を、ユーザがマウス９を操作することにより、オブジェクト抽出結果として好ましいと考える順番でクリックすると、そのクリック順に、結果画面＃１乃至＃３に表示されたオブジェクト抽出結果に対して、順位付けが行われる。そして、オブジェクト抽出部３では、その順位付けに基づいて、再度、オブジェクトの抽出が行われ、そのオブジェクト抽出結果が、結果画面＃１乃至＃３に表示される。
【００４９】
グラブオールボタン２０７は、結果画面＃１乃至＃３に表示されたオブジェクト抽出結果のうちのいずれかを、オブジェクトバッファ２３に反映する（取り込む）ときに操作される。即ち、ユーザがマウス９を操作することにより、結果画面＃１乃至＃３のうちの、好ましいと考えるオブジェクト抽出結果が表示されているもののグラブオールボタン２０７をクリックすると、その結果画面に表示されたオブジェクト抽出結果を記憶している結果バッファの記憶内容のすべてが選択され、オブジェクトバッファ２３に反映される。
【００５０】
グラブパートリィボタン２０８は、結果画面＃１乃至＃３に表示されたオブジェクト抽出結果のうちのいずれかの一部を、オブジェクトバッファ２３に反映する（取り込む）ときに操作される。即ち、ユーザがマウス９を操作することにより、結果画面＃１乃至＃３のうちの、好ましいと考えるオブジェクト抽出結果の一部分を範囲指定した後、グラブパートリィボタン２０８をマウス９でクリックすると、その範囲指定されたオブジェクト抽出結果の一部分が選択され、オブジェクトバッファ２３に反映される。
【００５１】
次に、図４のフローチャートを参照して、図２の画像処理装置の処理の概要について説明する。
【００５２】
ユーザがマウス９を操作することにより、何らかのイベントが生じると、イベント検出部８は、ステップＳ１において、そのイベントの内容を判定する。
【００５３】
ステップＳ１において、イベントが、表示部５の基準画面に表示させる画像を切り替える「画面選択」を指示するものであると判定された場合、即ち、チェンジディスプレイボタン２０１（図３）がクリックされた場合、イベント検出部８は、「画面選択」を表すイベント情報を、処理制御部７に供給する。処理制御部７は、「画面選択」を表すイベント情報を受信すると、ステップＳ２に進み、注目フレーム処理部２のセレクタ２４を制御し、処理を終了する。
【００５４】
これにより、セレクタ２４は、注目フレームバッファ２１、背景バッファ２２、またはオブジェクトバッファ２３の出力の選択を切り替え、その結果、基準画面に表示される画像が、図５に示すように、注目フレームバッファ２１に記憶された注目フレームの原画像、背景バッファ２２に記憶された背景画像、またはオブジェクトバッファ２３に記憶されたオブジェクトのうちのいずれかに切り替えられる。
【００５５】
また、ステップＳ１において、イベントが、オブジェクトバッファ２３に直前反映された画像を削除する「アンドゥ」を指示するものであると判定された場合、即ち、アンドゥボタン２０４がクリックされた場合、イベント検出部８は、「アンドゥ」を表すイベント情報を、処理制御部７に供給する。処理制御部７は、「アンドゥ」を表すイベント情報を受信すると、ステップＳ３に進み、注目フレーム処理部２のオブジェクトバッファ２３を制御し、オブジェクトバッファ２３に直前に反映されたオブジェクトの部分を削除させ、ステップＳ４に進む。
【００５６】
ステップＳ４では、処理制御部７は、履歴管理部４１を制御することにより、ステップＳ３でオブジェクトバッファ２３から削除された画像に関する履歴情報を削除させ、処理を終了する。
【００５７】
即ち、オブジェクトバッファ２３に、オブジェクトとなる画像が反映された（取り込まれた）場合、後述するように、その反映された画像に関して、履歴管理部４で管理されている履歴情報が更新される。このため、オブジェクトバッファ２３から画像が削除された場合には、その削除された画像に関する履歴情報が削除される。
【００５８】
一方、ステップＳ１において、イベントが、オブジェクトバッファ２３に反映された画像の一部分を削除する「部分削除」を指示するものであると判定された場合、即ち、所定の範囲が指定され、さらに、デリートパートリィボタン２０３がクリックされた場合、イベント検出部８は、「部分削除」を表すイベント情報を、処理制御部７に供給する。処理制御部７は、「部分削除」を表すイベント情報を受信すると、ステップＳ５に進み、注目フレーム処理部２のオブジェクトバッファ２３を制御し、オブジェクトバッファ２３にオブジェクトとして記憶された画像のうちの、範囲指定された部分を削除させ、ステップＳ４に進む。
【００５９】
ステップＳ４では、処理制御部７は、履歴管理部４１を制御することにより、ステップＳ５でオブジェクトバッファ２３から削除された画像に関する履歴情報を削除させ、処理を終了する。
【００６０】
従って、例えば、図６（Ａ）に示すように、オブジェクトバッファ２３に、人間の胴体部分を表すオブジェクトｏｂｊ１が記憶されているとともに、背景バッファ２２に、人間の頭部を表すオブジェクトｏｂｊ２とともに、風景等の背景が記憶されている場合において、オブジェクト抽出部３において、人間の頭部を表すオブジェクトｏｂｊ２が抽出され、オブジェクトバッファ２３に反映されると、図６（Ｂ）に示すように、オブジェクトバッファ２３の記憶内容は、オブジェクトｏｂｊ１とｏｂｊ２となり、背景バッファ２２の記憶内容は、風景等の背景部分のみとなる。
【００６１】
この場合に、ユーザが、マウス９で、アンドゥボタン２０４をクリックすると、図６（Ｃ）に示すように、オブジェクトバッファ２３の記憶内容は、人間の頭部を表すオブジェクトｏｂｊ２が反映される前の、人間の胴体部分を表すオブジェクトｏｂｊ１だけが記憶されている状態に戻り、背景バッファ２２の記憶内容も、人間の頭部を表すオブジェクトｏｂｊ２とともに、風景等の背景が記憶されている状態に戻る。即ち、背景バッファ２２およびオブジェクトバッファ２３の記憶内容は、図６（Ａ）に示した状態に戻る。
【００６２】
また、ユーザが、マウス９を操作することにより、例えば、図６（Ｂ）に示すように、人間の頭部を表すオブジェクトｏｂｊ２の一部を範囲指定し、さらに、デリートパートリィボタン２０３をクリックすると、図６（Ｄ）に示すように、オブジェクトバッファ２３の記憶内容は、オブジェクトｏｂｊ２のうちの、範囲指定された部分が削除された状態となり、背景バッファ２２の記憶内容は、その範囲指定された部分が、風景等の背景部分に加えられた状態になる。
【００６３】
一方、ステップＳ１において、イベントが、基準画面または結果画面＃１乃至＃３のうちのいずれかに表示された画像上の位置を指定する「位置指定」を表すものであると判定された場合、即ち、例えば、図７に示すように、ユーザがマウス９を操作することにより、基準画面に表示された原画像や背景画像におけるオブジェクトのある位置をクリックした場合、イベント検出部８は、「位置指定」を表すイベント情報を、処理制御部７に供給する。処理制御部７は、「位置指定」を表すイベント情報を受信すると、ステップＳ６に進み、マウス９でクリックされた位置等に基づいて、オブジェクト抽出部３に行わせる３つのオブジェクト抽出処理の内容を決定し、その３つのオブジェクト抽出処理によりオブジェクトの抽出を行うように、オブジェクト抽出部３を制御する。
【００６４】
これにより、オブジェクト抽出部３は、ステップＳ７において、３つのオブジェクト抽出処理を行い、その結果得られる３つのオブジェクト抽出結果を、結果処理部３３の結果バッファ３３Ａ乃至３３Ｃに、それぞれ記憶させる。
【００６５】
そして、ステップＳ８に進み、表示部５は、結果バッファ３３Ａ乃至３３Ｃに記憶されたオブジェクト抽出結果を、結果画面＃１乃至＃３にそれぞれ表示し、処理を終了する。
【００６６】
また、ステップＳ１において、イベントが、結果画面＃１乃至＃３それぞれに表示されたオブジェクト抽出結果の（良好さの）順位を指定する「順位指定」を表すものであると判定された場合、即ち、結果画面＃１乃至＃３それぞれに表示されたランクリザルトボタン２０６が、所定の順番でクリックされた場合、イベント検出部８は、「順位指定」を表すイベント情報を、処理制御部７に供給する。処理制御部７は、「順位指定」を表すイベント情報を受信すると、ステップＳ６に進み、「順位指定」によって指定された順位に基づいて、オブジェクト抽出部３に行わせる３つのオブジェクト抽出処理の内容を決定し、その３つのオブジェクト抽出処理によりオブジェクトの抽出を行うように、オブジェクト抽出部３を制御する。そして、以下、ステップＳ７，Ｓ８に順次進み、上述した場合と同様の処理が行われる。
【００６７】
一方、ステップＳ１において、イベントが、結果画面＃１乃至＃３に表示されたオブジェクト抽出結果のうちのいずれかを選択し、その全部または一部を、オブジェクトバッファ２３に反映する「全取得」または「部分取得」を表すものであると判定された場合、即ち、結果画面＃１乃至＃３のうちのいずれかのグラブオールボタン２０７がクリックされた場合、または結果画面＃１乃至＃３に表示されたオブジェクト抽出結果のうちのいずれかの一部が範囲指定され、さらに、グラブパートリィボタン２０８がクリックされた場合、イベント検出部８は、「全取得」または「部分取得」を表すイベント情報を、処理制御部７に供給し、処理制御部７は、「全取得」または「部分取得」を表すイベント情報を受信すると、ステップＳ９に進む。
【００６８】
ステップＳ９では、処理制御部７が、オブジェクト抽出部３の結果処理部３３を制御することにより、結果画面＃１乃至＃３のうちの、グラブオールボタン２０７がクリックされたものに対応する結果バッファに記憶されたオブジェクト抽出結果の全体を選択させ、オブジェクトバッファ２３に反映させる（記憶させる）。あるいは、また、ステップＳ９では、処理制御部７が、オブジェクト抽出部３の結果処理部３３を制御することにより、結果画面＃１乃至＃３のうちの、グラブパートリィボタン２０８がクリックされたものに対応する結果バッファに記憶されたオブジェクト抽出結果のうちの範囲指定された部分を選択させ、オブジェクトバッファ２３に反映させる。
【００６９】
従って、例えば、オブジェクトバッファ２３の記憶内容が、図８（Ａ）に示すようなものであり、ある結果画面＃ｉに対応する結果バッファに記憶されたオブジェクト抽出結果が、図８（Ｂ）に示すようなものである場合において、結果画面＃ｉに表示されたグラブオールボタン２０７が操作されたときには、オブジェクトバッファ２３の記憶内容は、図８（Ｃ）に示すように、図８（Ｂ）に示した結果バッファに記憶されたオブジェクト抽出結果に更新（上書き）される。
【００７０】
また、結果画面＃ｉに表示されたオブジェクト抽出結果のうちの一部が、図８Ｂ）に長方形で囲んで示すように範囲指定され、さらに、結果画面＃ｉに表示されたグラブパートリィボタン２０８が操作されたときには、オブジェクトバッファ２３の記憶内容は、図８（Ｄ）に示すように、図８（Ａ）に示したオブジェクトに、図８（Ｂ）に示した範囲指定された部分のオブジェクト抽出結果を加えた（合成した）ものに更新される。
【００７１】
そして、ステップＳ１０に進み、処理制御部７は、履歴管理部４を制御することにより、ステップＳ９でオブジェクトバッファ２３に反映させた画像に関して、履歴情報を更新させ、処理を終了する。
【００７２】
以上のように、３つのオブジェクト抽出処理によるオブジェクト抽出結果が結果画面＃１乃至＃３にそれぞれ表示され、ユーザが、結果画面＃１乃至＃３のうちのいずれかにおけるグラブオールボタン２０７またはグラブパートリィボタン２０８をクリックすると、その結果画面に表示されたオブジェクト抽出結果が、オブジェクトバッファ２３に反映される。従って、ユーザは、結果画面＃１乃至＃３に表示された異なるオブジェクト抽出処理によるオブジェクト抽出結果を見て、良好なものを選択する操作をするだけで良く、さらに、オブジェクトバッファ２３には、異なるオブジェクト抽出処理により得られたオブジェクト抽出結果のうち、ユーザが良好であると判断して選択したものが反映される。その結果、容易な操作で、的確なオブジェクト抽出を行うことができる。
【００７３】
また、結果画面＃１乃至＃３には、それぞれ異なる処理によって抽出されたオブジェクトが表示されるが、ある処理によるオブジェクト抽出結果が、全体としては、それほど良好でなくても、その一部についてだけ見れば、良好な場合がある。この場合、その一部を範囲指定して、グラブパートリィボタン２０８をクリックすることにより、その良好に抽出されているオブジェクトの一部分を、オブジェクトバッファ２３に反映させることができ、その結果、最終的には、オブジェクトバッファ２３に、良好なオブジェクト抽出結果が記憶されることになる。
【００７４】
一方、ステップＳ１において、イベントが、注目フレームからの最終的なオブジェクト抽出結果を、オブジェクトバッファ２３に記憶された画像に確定する「確定」を表すものであると判定された場合、イベント検出部８は、「確定」を表すイベント情報を、処理制御部７に供給する。
【００７５】
処理制御部７は、「確定」を表すイベント情報を受信すると、ステップＳ１１に進み、注目フレーム処理部２から、オブジェクトバッファ２３に記憶された注目フレームのオブジェクトを読み出すとともに、履歴管理部４から、注目フレームについての履歴情報を読み出し、ストレージ１に供給して記憶させる。そして、ステップＳ１２に進み、処理制御部７は、ストレージ１に、注目フレームの次のフレームが記憶されているかどうかを判定し、記憶されていないと判定した場合、ステップＳ１３およびＳ１４をスキップして、処理を終了する。
【００７６】
また、ステップＳ１２において、ストレージ１に、注目フレームの次のフレームが記憶されていると判定された場合、ステップＳ１３に進み、処理制御部７は、その、次のフレームを、新たに注目フレームとし、注目フレームバッファ２１に供給して記憶させる。さらに、処理制御部７は、背景バッファ２２、結果バッファ３３Ａ乃至３３Ｃ、前フレームバッファ６１の記憶内容をクリアして、ステップＳ１４に進む。ステップＳ１４では、処理制御部７の制御の下、ステップＳ１３で注目フレームバッファ２１に新たに記録された注目フレームについて、後述するような初期抽出処理が行われ、処理を終了する。
【００７７】
次に、図２のオブジェクト抽出部３が行うオブジェクト抽出処理について説明する。
【００７８】
本実施の形態では、オブジェクト抽出部３は、基本的に、注目フレームにおける境界部分を検出し、その境界部分で囲まれる領域を、オブジェクトとして抽出するようになっている。
【００７９】
即ち、図９は、オブジェクト抽出部３の境界検出部３１の構成例を示している。
【００８０】
ＨＳＶ分離部２１１は、注目フレームバッファ２１に記憶された注目フレームを読み出し、その画素値を、Ｈ（色相），Ｓ（彩度），Ｖ（明度）の各成分に分離する。即ち、注目フレームの画素値が、例えば、ＲＧＢ(Red, Green, Blue)で表現されている場合、ＨＳＶ分離部２１１は、例えば、次式にしたがって、ＲＧＢの画素値を、ＨＳＶの画素値に変換する。
【００８１】
Ｖ＝ｍａｘ（Ｒ，Ｇ，Ｂ）
Ｘ＝ｍｉｎ（Ｒ，Ｇ，Ｂ）
Ｓ＝（Ｖ−Ｘ）／Ｖ×２５５
Ｈ＝（Ｇ−Ｂ）／（Ｖ−Ｘ）×６０ 但し、Ｖ＝Ｒのとき
Ｈ＝（Ｂ−Ｒ）／（Ｖ−Ｘ＋２）×６０ 但し、Ｖ＝Ｇのとき
Ｈ＝（Ｒ−Ｇ）／（Ｖ−Ｘ＋４）×６０ 但し、上記以外のとき
なお、ここでは、注目フレームの元の画素値であるＲ，Ｇ，Ｂの各成分が、例えば、８ビット（０乃至２５５の範囲の整数値）で表されるものとしてある。また、ｍａｘ（）は、カッコ内の値の最大値を表し、ｍｉｎ（）は、カッコ内の値の最小値を表す。
【００８２】
ＨＳＶ分離部２１１は、ＨＳＶの各成分に変換した画素値のうち、Ｈ，Ｓ，Ｖ成分を、それぞれ、エッジ検出部２１２Ｈ，２１２Ｓ，２１２Ｖに供給する。
【００８３】
エッジ検出部２１２Ｈ，２１２Ｓ，２１２Ｖは、ＨＳＶ分離部２１１からのＨ，Ｓ，Ｖ成分で構成される画像（以下、適宜、それぞれを、Ｈプレーン、Ｓプレーン、Ｖプレーンという）それぞれを対象に、エッジ検出を行う。
【００８４】
即ち、エッジ検出部２１２Ｈは、Ｈプレーンの画像に、ソーベルオペレータ(Sobel Operator)によるフィルタリングを行うことで、Ｈプレーンの画像からエッジを検出する。
【００８５】
具体的には、Ｈプレーンの画像の左からｘ＋１番目で、上からｙ＋１番目の画素のＨ成分を、Ｉ（ｘ，ｙ）と表すとともに、その画素のソーベルオペレータによるフィルタリング結果をＥ（ｘ，ｙ）と表すと、エッジ検出部２１２Ｈは、次式で表される画素値Ｅ（ｘ，ｙ）で構成されるエッジ画像を求める。
【００８６】
エッジ検出部２１２Ｓと２１２Ｖでも、エッジ検出部２１２Ｈにおける場合と同様にして、ＳプレーンとＶプレーンの画像について、エッジ画像が求められる。
【００８８】
Ｈ，Ｓ，Ｖプレーンの画像から得られたエッジ画像は、エッジ検出部２１２Ｈ，２１２Ｓ，２１２Ｖから、二値化部２１３Ｈ，２１３Ｓ，２１３Ｖにそれぞれ供給される。二値化部２１３Ｈ，２１３Ｓ，２１３Ｖは、Ｈ，Ｓ，Ｖプレーンのエッジ画像を、所定の閾値と比較することで二値化し、その結果得られるＨ，Ｓ，Ｖプレーンの二値化画像（画素値が０か、または１の画像）を、細線化部２１４Ｈ，２１４Ｓ，２１４Ｖにそれぞれ供給する。
【００８９】
細線化部２１４Ｈ，２１４Ｓ，２１４Ｖは、二値化部２１３Ｈ，２１３Ｓ，２１３Ｖから供給されるＨ，Ｓ，Ｖプレーンの二値化画像における境界部分の細線化を行い、その結果得られるＨ，Ｓ，Ｖプレーンの境界画像を、境界画像記憶部２１５Ｈ，２１５Ｓ，２１５Ｖにそれぞれ供給して記憶させる。
【００９０】
次に、図１０を参照して、図９の細線化部２１４Ｈにおいて、Ｈプレーンの二値化画像を対象に行われる細線化処理について説明する。
【００９１】
細線化処理では、図１０（Ａ）のフローチャートに示すように、まず最初に、ステップＳ２１において、所定のフラグｖが０にリセットされ、ステップＳ２２に進む。ステップＳ２２では、Ｈプレーンの二値化画像を構成する画素が、ラスタスキャン順に参照され、ステップＳ２３に進む。ステップＳ２３では、Ｈプレーンの二値化画像を構成する画素のうち、ラスタスキャン順で、まだ参照されていない画素が存在するかどうかが判定され、まだ参照されていない画素が存在すると判定された場合、ラスタスキャン順で最初に検出される、まだ参照されていない画素を、注目画素として、ステップＳ２４に進む。
【００９２】
ステップＳ２４では、注目画素の上下左右にそれぞれ隣接する４つの画素のうちの１以上の画素値が０であり、かつ注目画素の画素値ｃが所定の値ａ（０および１以外の値）に等しくないかどうかが判定される。ステップＳ２４において、注目画素の上下左右にそれぞれ隣接する４つの画素のうちの１以上の画素値が０でないと判定されるか（従って、隣接する４つの画素の中に、画素値が０のものがない）、または注目画素の画素値ｃが所定の値ａに等しいと判定された場合、ステップＳ２２に戻り、以下、同様の処理を繰り返す。
【００９３】
また、ステップＳ２４において、注目画素の上下左右にそれぞれ隣接する４つの画素のうちの１以上の画素値が０であり、かつ注目画素の画素値ｃが所定の値ａに等しくないと判定された場合、ステップＳ２５に進み、フラグｖに１がセットされ、ステップＳ２６に進む。
【００９４】
ステップＳ２６では、図１０（Ｂ）に示すような、注目画素ｃに隣接する８つの画素の画素値ａ１，ａ２，ａ３，ａ４，ａ５，ａ６，ａ７，ａ８の加算値（ａ１＋ａ２＋ａ３＋ａ４＋ａ５＋ａ６＋ａ７＋ａ８が６以下であるかどうかが判定される。
【００９５】
ステップＳ２６において、注目画素ｃに隣接する８つの画素値の加算値が６以下でないと判定された場合、ステップＳ２８に進み、注目画素の画素値ｃに、所定の値ａがセットされ、ステップＳ２２に戻る。
【００９６】
また、ステップＳ２６において、注目画素ｃに隣接する８つの画素値の加算値が６以下であると判定された場合、ステップＳ２７に進み、次の条件式が成立するか否かが判定される。
【００９７】
(a2+a4+a6+a8)-(a1&a2&a3)-(a4&a5&a6)-(a7&a8&a1)=1
但し、&は、論理積を表す。
【００９８】
ステップＳ２７において、条件式が成立しないと判定された場合、ステップＳ２８に進み、上述したように、注目画素の画素値ｃに、所定の値ａがセットされ、ステップＳ２２に戻る。
【００９９】
また、ステップＳ２７において、条件式が成立すると判定された場合、ステップＳ２９に進み、注目画素の画素値ｃが０とされ、ステップＳ２２に戻る。
【０１００】
一方、ステップＳ２３において、Ｈプレーンの二値化画像を構成する画素のうち、ラスタスキャン順で、まだ参照されていない画素が存在しないと判定された場合、即ち、二値化画像を構成するすべての画素を注目画素として処理を行った場合、ステップＳ３０に進み、フラグｖが０であるかどうかが判定される。
【０１０１】
ステップＳ３０において、フラグｖが０でないと判定された場合、即ち、フラグｖが１である場合、ステップＳ２１に戻り、以下、同様の処理が繰り返される。また、ステップＳ３０において、フラグｖが０であると判定された場合、処理を終了する。
【０１０２】
その後、細線化部２１４Ｈは、上述の細線化処理の結果得られた画像を構成する画素のうち、画素値が所定の値ｃになっているものの画素値を１に変換し、その変換後の画像を、境界画像として、境界画像記憶部２１５Ｈに供給する。これにより、境界画像記憶部２１５Ｈには、Ｈプレーンの画像において境界部分が１で、非境界部分が０となっている境界画像が記憶される。
【０１０３】
細線化部２１４Ｓと２１４Ｖでも、細線化部２１４Ｈにおける場合と同様の処理が行われることにより、ＳとＨプレーンの境界画像がそれぞれ求められる。
【０１０４】
ここで、図１０で説明したような細線化の方法については、例えば、横井、鳥脇、福村、「標本化された２値図形のトポロジカルな性質について」、電子情報通信学会論文誌（Ｄ），Ｊ５６−Ｄ，ｐｐ．６６２−６６９，１９７３等に、その詳細が開示されている。なお、細線化の方法は、上述した手法に限定されるものではない。
【０１０５】
図１１は、境界画像の例を示している。
【０１０６】
図１１（Ａ）は、原画像を示しており、図１１（Ｂ）は、図１１（Ａ）の原画像から得られたＶプレーンの境界画像を示している。また、図１１（Ｃ）は、図１１（Ａ）の原画像から得られたＨプレーンの境界画像を示している。図１１（Ｂ）と図１１（Ｃ）を比較することにより、Ｖプレーンでは、比較的小さな凹または凸部分も、境界部分として検出されているのに対して、Ｈプレーンでは、比較的大きな凹または凸部分だけが、境界部分として検出されていることが分かる。このように、Ｈ，Ｓ，Ｖプレーンでは、境界部分として検出される凹または凸部分のレベルが異なる。
【０１０７】
ここで、図１１（Ｂ）および図１１（Ｃ）では、白抜きの部分（境界部分）が、境界画像において画素値が１になっている部分を表しており、黒塗りの部分が、境界画像において画素値が０になっている部分を表している。
【０１０８】
なお、境界検出部３１では、上述のように、Ｈ，Ｓ，Ｖプレーンそれぞれについて、３つの境界画像が作成される他、いずれか１つのプレーンについて、二値化するときの閾値を３つ用いることにより、その３つの閾値にそれぞれ対応する３つの境界画像が作成される場合がある。以下、適宜、Ｈ，Ｓ，Ｖプレーンについて、３つの境界画像が作成される場合に用いられる閾値を、それぞれ、ＴＨH，ＴＨS，ＴＨVと表す。また、ある１つのプレーンについて３つの境界画像が作成される場合に用いられる３つの閾値を、以下、適宜、ＴＨ１，ＴＨ２，ＴＨ３と表す。
【０１０９】
次に、図１２のフローチャートを参照して、図２の切り出し部３２で行われる切り出し処理について説明する。なお、境界検出部３１では、上述したように、３つの境界画像が得られるが、ここでは、そのうちの１つの境界画像に注目して、切り出し処理を説明する。また、以下、適宜、３つの出力バッファ３２Ａ乃至３２Ｃのうちの、注目している境界画像（注目境界画像）に基づいて、注目フレームから切り出される画像が記憶されるものを、注目出力バッファという。
【０１１０】
切り出し処理では、注目出力バッファの記憶内容がクリアされた後、ステップＳ４１において、ユーザが、マウス９を操作することにより指定した注目フレームの画像上の位置（指定位置）にある画素の画素値が、注目フレームバッファ２１から読み出され、注目出力バッファに書き込まれる。即ち、オブジェクト抽出部３は、図４で説明したように、ユーザが「位置指定」または「順位指定」を行った場合に処理を行うが、ステップＳ４１では、ユーザが直前に行った「位置指定」によって指定した注目フレーム上の位置にある画素の画素値が、注目出力バッファに書き込まれる。そして、ステップＳ４２に進み、注目出力バッファに、未処理の画素（画素値）が記憶されているかどうかが判定される。
【０１１１】
ステップＳ４２において、注目出力バッファに、未処理の画素が記憶されていると判定された場合、ステップＳ４３に進み、注目出力バッファに記憶されている画素のうちの、未処理の画素の任意の１つが、注目画素とされ、ステップＳ４４に進む。ステップＳ４４では、注目画素の上、下、左、右、左上、左下、右上、右下にそれぞれ隣接する８画素の画素値が、境界画像から取得され、ステップＳ４５に進む。
【０１１２】
ステップＳ４５では、境界画像における、注目画素に隣接する８画素の画素値の中に、境界部分となっている境界画素（本実施の形態では、画素値が１になっている画素）が存在するかどうかが判定される。ステップＳ４５において、注目画素に隣接する８画素の画素値の中に、境界画素が存在すると判定された場合、ステップＳ４６をスキップして、ステップＳ４２に戻り、以下、同様の処理が繰り返される。即ち、注目画素に隣接する８画素の画素値の中に、境界画素が存在する場合は、その８画素の画素値の注目出力バッファへの書き込みは行われない。
【０１１３】
また、ステップＳ４５において、注目画素に隣接する８画素の画素値の中に、境界画素が存在しないと判定された場合、ステップＳ４６に進み、その８画素の画素値が、注目フレームバッファ２１から読み出され、注目出力バッファの対応するアドレスに記憶される。即ち、注目画素に隣接する８画素の画素値の中に、境界画素が存在しない場合は、その８画素が、ユーザがマウス９でクリックした位置（「位置指定」により指定した位置）を含むオブジェクトの内部の領域であるとして、その８画素の画素値が、注目出力バッファに書き込まれる。
【０１１４】
その後は、ステップＳ４２に戻り、以下、同様の処理が繰り返される。
【０１１５】
なお、注目出力バッファに対して、ステップＳ４６で画素値を書き込もうとしている画素に、画素値が、既に書き込まれている場合は、画素値が上書きされる。また、画素値が上書きされた画素が、既に、注目画素とされている場合には、その画素は、上書きが行われても、未処理の画素とはされず、処理済みの画素のままとされる。
【０１１６】
一方、ステップＳ４２において、注目出力バッファに、未処理の画素が記憶されていないと判定された場合、処理を終了する。
【０１１７】
次に、図１３を参照して、切り出し部３２が行う切り出し処理について、さらに説明する。
【０１１８】
切り出し部３２は、図１３（Ａ）に示すように、ユーザが、マウス９を操作することにより指定した注目フレームの画像上の位置（指定位置）にある画素の画素値を、注目フレームバッファ２１から読み出し、出力バッファに書き込む。さらに、切り出し部３２は、出力バッファに記憶されている画素のうちの、未処理の画素の任意の１つを、注目画素とし、その注目画素に隣接する８画素の画素値を、境界画像から取得する。そして、切り出し部３２は、境界画像における、注目画素に隣接する８画素の画素値の中に、境界画素が存在しない場合には、その８画素の画素値を、注目フレームバッファ２１から読み出し、出力バッファに書き込む。その結果、出力バッファには、図１３（Ｂ）に示すように、ユーザがマウス９によって指定した位置にある画素（図１３（Ｂ）において、●印で示す）を起点として、境界画素で囲まれる領域の内部を構成する画素の画素値が書き込まれていく。
【０１１９】
以上の処理が、出力バッファに記憶された画素の中に、未処理の画素がなくなるまで行われることにより、出力バッファには、注目フレームの画像のうちの、境界画素で囲まれる領域が記憶される。
【０１２０】
従って、以上のような切り出し処理によれば、ユーザが、オブジェクトであるとして指定した点を起点として、その起点を含む、境界部分で囲まれる注目フレームの領域が切り出されるので、オブジェクトを構成する領域を、精度良く切り出すことができる。即ち、オブジェクトを構成する領域の切り出しを、すべて自動で行う場合には、ある領域が、オブジェクトを構成するかどうかの判断が困難であり、その結果、オブジェクトを構成しない画素から、領域の切り出しが開始されることがある。これに対して、図１２の切り出し処理では、ユーザが、オブジェクトであるとして指定した点を起点として、領域の切り出しが行われるので、必ず、オブジェクトを構成する領域の画素から、領域の切り出しが開始され、オブジェクトを構成する領域を、精度良く切り出すことができる。
【０１２１】
なお、図１２の切り出し処理は、境界検出部３１で得られる３つの境界画像それぞれに基づいて行われ、その３つの境界画像に基づいて得られる領域の切り出し結果は、それぞれ、出力バッファ３２Ａ乃至３２Ｃに記憶される。そして、その出力バッファ３２Ａ乃至３２Ｃの記憶内容が、結果バッファ３３Ａ乃至３３Ｃにそれぞれ転送され、その結果、結果画面＃１乃至＃３には、それぞれ、異なる処理によって得られたオブジェクト抽出結果が表示される。
【０１２２】
次に、図１４乃至図１６を参照して、図２の履歴管理部４が管理する履歴情報について説明する。
【０１２３】
「部分取得」または「全取得」によって、結果バッファ３３Ａ乃至３３Ｃのうちのいずれかに記憶されたオブジェクト抽出結果の全部または一部が、オブジェクトバッファ２３に反映されると（書き込まれると）、履歴管理部４は、指定位置記憶部４１に記憶された指定位置、履歴画像記憶部４２に記憶された履歴画像、およびパラメータテーブル記憶部４３のエントリを更新する。
【０１２４】
即ち、例えば、いま、人間の全身が表示された注目フレームから、その人間が表示された部分をオブジェクトとして抽出する場合において、その胴体部分と下半身部分の画像が、オブジェクトとして、既に抽出され、オブジェクトバッファ２３に記憶されているとすると、履歴画像記憶部４２には、例えば、図１４（Ａ）に示すように、胴体部分を抽出するのに用いた境界画像のプレーンと、その境界画像を得るのに用いた閾値に対応付けられたＩＤ１が画素値となっている胴体部分の画素、および下半身部分を抽出するのに用いた境界画像のプレーンと、その境界画像を得るのに用いた閾値に対応付けられたＩＤ２が画素値となっている下半身部分の画素からなる履歴画像が記憶されている。
【０１２５】
なお、図１４（Ａ）の実施の形態では、胴体部分を抽出するのに用いた境界画像のプレーンはＨプレーンとなっており、そのＨプレーンの境界画像を得るのに用いた閾値（境界画像を得るための二値化に用いられた閾値）は１００となっている。また、下半身部分を抽出するのに用いた境界画像のプレーンはＶプレーンとなっており、その境界画像を得るのに用いた閾値は８０となっている。
【０１２６】
そして、この場合、パラメータテーブル記憶部４３には、ＩＤ１と、Ｈプレーンおよび閾値１００とが対応付けられて記憶されているとともに、ＩＤ２と、Ｖプレーンおよび閾値８０とが対応付けられて記憶されている。
【０１２７】
ここで、オブジェクトバッファ２３に記憶されたオブジェクトの抽出に用いられた境界画像のプレーンと、その境界画像を得るのに用いられた閾値とのセットを、以下、適宜、パラメータセットという。
【０１２８】
その後、ユーザが、人間の全身が表示された注目フレームにおける頭部の画素をマウス９でクリックして指定すると、オブジェクト抽出部３では、上述したようにして、３種類のオブジェクト抽出処理が行われ、その３種類のオブジェクト抽出処理による頭部のオブジェクト抽出結果が、図１４（Ｂ）に示すように、結果バッファ３３Ａ乃至３３Ｃにそれぞれ記憶されるとともに、その結果バッファ３３Ａ乃至３３Ｃの記憶内容が、結果画面＃１乃至＃３にそれぞれ表示される。
【０１２９】
そして、ユーザが、結果画面＃１乃至＃３に表示された頭部のオブジェクト抽出結果を参照して、良好なものを「全取得」すると、結果画面＃１乃至＃３に表示された頭部のオブジェクト抽出結果のうち、「全取得」が指示されたものが選択され、図１４（Ｃ）に示すように、オブジェクトバッファ２３に反映される。
【０１３０】
この場合、履歴管理部４は、オブジェクトバッファ２３に反映された頭部のオブジェクト抽出結果を得るのに用いた境界画像のプレーンと、その境界画像を得るのに用いた閾値のパラメータセットとを、ユニークなＩＤ３に対応付けて、パラメータテーブル記憶部４３に登録する。
【０１３１】
さらに、履歴管理部４は、図１４（Ｄ）に示すように、履歴画像記憶部４２の頭部を構成する画素の画素値に、ＩＤ３を書き込み、これにより、履歴画像を更新する。ここで、図１４（Ｄ）の実施の形態では、頭部を抽出するのに用いた境界画像のプレーンはＳプレーンとなっており、その境界画像を得るのに用いた閾値は５０となっている。
【０１３２】
また、履歴管理部４は、図１４（Ｅ）に示すように、オブジェクトバッファ２３に反映された頭部のオブジェクト抽出結果を得るときにユーザがクリックした注目フレーム上の点の位置（指定位置）を表す座標（ｘ４，ｙ４）を、指定位置記憶部４１に追加する。ここで、図１４（Ｅ）の実施の形態では、指定位置記憶部４１には、既に、３つの指定位置の座標（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３）が記憶されており、そこに、新たな座標（ｘ４，ｙ４）が追加されている。
【０１３３】
以上のような注目フレームについての履歴情報は、例えば、その次のフレームが新たに注目フレームとされた場合に、その新たな注目フレームからのオブジェクトの抽出に利用される。
【０１３４】
即ち、例えば、いま、注目フレームの１フレーム前のフレーム（前フレーム）について、図１５（Ａ）に示すような履歴画像を得ることができたとして、注目フレームのある点を、ユーザがマウス９によってクリックしたとする。この場合、処理制御部７は、動き検出部６を制御することにより、ユーザがマウス９でクリックした点である指定位置（ｘ，ｙ）の、前フレームを基準とする動きベクトル（ｖx，ｖy）を求めさせる。さらに、処理制御部７は、その内蔵する位置補正部７１に、指定位置（ｘ，ｙ）を、動きベクトル（ｖx，ｖy）によって補正させることにより、指定位置（ｘ，ｙ）に対応する前フレーム上の位置（ｘ’，ｙ’）を求めさせる。即ち、この場合、位置補正部７１は、例えば、式（ｘ’，ｙ’）＝（ｘ，ｙ）−（ｖx，ｖy）によって、指定位置（ｘ，ｙ）に対応する前フレーム上の位置（ｘ’，ｙ’）を求める。
【０１３５】
その後、処理制御部７は、指定位置（ｘ，ｙ）に対応する前フレーム上の位置（ｘ’，ｙ’）におけるパラメータセットのＩＤを、履歴画像記憶部４２に記憶された前フレームの履歴画像を参照することで取得し、さらに、そのＩＤに対応付けられたパラメータセットを、パラメータテーブル記憶部４３を参照することで取得する。そして、処理制御部７は、上述のようにして取得したパラメータセットに基づく３つの境界画像の作成、およびその３つの境界画像からの、指定位置（ｘ，ｙ）を起点とする領域の切り出しを行うことを決定し、その旨の決定情報を、オブジェクト抽出部３に供給する。
【０１３６】
これにより、オブジェクト抽出部３では、図１５（Ｂ）に示すように、注目フレームを対象として、決定情報に対応するパラメータセットに基づく３つの境界画像の作成、およびその３つの境界画像からの、指定位置（ｘ，ｙ）を起点とする領域の切り出しが行われ、これにより、３パターンのオブジェクトが抽出される。このようにして注目フレームから抽出された３パターンのオブジェクトは、図１５（Ｃ）に示すように、結果バッファ３３Ａ乃至３３Ｃにそれぞれ記憶され、結果画面＃１乃至＃３においてそれぞれ表示される。
【０１３７】
注目フレームからオブジェクトを抽出する場合に、ユーザにより入力された指定位置の部分のオブジェクト抽出は、前フレームの対応する部分のオブジェクト抽出と同様に行うことにより、良好なオブジェクト抽出を行うことができると予想されるから、上述のように、決定情報に対応するパラメータセットに基づく境界画像の作成、およびその境界画像からの、指定位置（ｘ，ｙ）を起点とする領域の切り出しを行うことにより、迅速に、良好なオブジェクト抽出結果を得ることが可能となる。
【０１３８】
即ち、オブジェクト抽出部３では、例えば、ユーザが、「位置指定」を行うと、その「位置指定」によって指定された位置を起点として、３つの処理によるオブジェクト抽出が行われるが、その３つの処理によるオブジェクト抽出結果のうちのいずれもが良好でないときには、ユーザによって「順位指定」が行われ、後述するように、パラメータセットを替えてのオブジェクト抽出が行われる。従って、上述のように、前フレームの履歴情報を利用しない場合には、ある程度良好なオブジェクト抽出結果を得るために、ユーザが、「順位指定」を何度が行わなければならないことがある。これに対して、前フレームの履歴情報を利用する場合には、ユーザが「順位指定」を行わなくても、注目フレームのオブジェクト上の幾つかの点を指定するという容易な操作だけで、良好なオブジェクト抽出結果を、即座に得ることができる可能性が高くなる。
【０１３９】
また、注目フレームからのオブジェクト抽出にあたって、前フレームについての履歴情報は、例えば、次のように利用することも可能である。
【０１４０】
即ち、例えば、いま、注目フレームの１フレーム前のフレーム（前フレーム）について、図１６（Ａ）に示すような履歴画像と、図１６（Ｂ）に示すような３つの指定位置（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３）を得ることができたとする。
【０１４１】
この場合、処理制御部７は、動き検出部６を制御することにより、前フレームの指定位置（ｘ１，ｙ１）を基準とする注目フレームの動きベクトル（ｖx，ｖy）を求めさせる。さらに、処理制御部７は、その内蔵する位置補正部７１に、前フレームの指定位置（ｘ１，ｙ１）を、動きベクトル（ｖx，ｖy）によって補正させることにより、前フレームの指定位置（ｘ，ｙ）に対応する注目フレーム上の位置（ｘ１’，ｙ１’）を求めさせる。即ち、この場合、位置補正部７１は、例えば、式（ｘ１’，ｙ１’）＝（ｘ１，ｙ１）＋（ｖx，ｖy）によって、前フレームの指定位置（ｘ１，ｙ１）に対応する注目フレーム上の位置（ｘ１’，ｙ１’）を求める。
【０１４２】
その後、処理制御部７は、前フレームの指定位置（ｘ１，ｙ１）におけるパラメータセットのＩＤを、履歴画像記憶部４２に記憶された前フレームの履歴画像を参照することで取得し、さらに、そのＩＤに対応付けられたパラメータセットを、パラメータテーブル記憶部４３を参照することで取得する。そして、処理制御部７は、上述のようにして取得したパラメータセットに基づく３つの境界画像の作成、およびその３つの境界画像からの、前フレームの指定位置（ｘ１，ｙ１）に対応する注目フレーム上の位置（ｘ１’，ｙ１’）を起点とする領域の切り出しを行うことを決定し、その旨の決定情報を、オブジェクト抽出部３に供給する。
【０１４３】
これにより、オブジェクト抽出部３では、図１６（Ｃ）に示すように、注目フレームを対象として、決定情報に対応するパラメータセットに基づく３つの境界画像の作成、およびその３つの境界画像からの、位置（ｘ１’，ｙ１’）を起点とする領域の切り出しが行われることにより、３パターンのオブジェクトが抽出される。
【０１４４】
前フレームの３つの指定位置（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３）のうちの残りの２つの指定位置（ｘ２，ｙ２）と（ｘ３，ｙ３）についても同様の処理が行われ、これにより、その２つの指定位置に対応する注目フレーム上の位置（ｘ２’，ｙ２’）と（ｘ３’，ｙ３’）それぞれを起点とする３パターンのオブジェクトが抽出される。
【０１４５】
このようにして、前フレームの各指定位置に対応する注目フレーム上の位置それぞれを起点として、注目フレームから抽出されたオブジェクトの各部は、その後合成され、その結果得られるオブジェクト抽出結果は、図１６（Ｄ）に示すように、結果バッファに記憶され、結果画面において表示される。
【０１４６】
上述したように、注目フレームからのオブジェクトの抽出は、前フレームの対応する部分のオブジェクト抽出と同様に行うことにより、良好なオブジェクト抽出を行うことができると予想されるから、決定情報に対応するパラメータセットに基づく３つの境界画像の作成、およびその３つの境界画像からの、前フレームの指定位置（ｘ，ｙ）に対応する注目フレームの位置を起点とする領域の切り出しを行うことにより、図１５における場合と同様に、迅速に、良好なオブジェクト抽出結果を得ることが可能となる。
【０１４７】
さらに、図１５における場合には、ユーザが、注目フレームのオブジェクト上の点を指定する必要があったが、図１６における場合においては、ユーザが、そのような指定を行う必要がないので、ユーザの操作負担を、より軽減することができる。
【０１４８】
なお、図１６で説明したように、ユーザが、注目フレームのオブジェクト上の点を指定する前に、前フレームについての履歴情報を利用して、注目フレームのオブジェクト抽出を行い、そのオブジェクト抽出結果を、結果画面＃１乃至＃３に表示するか否かは、例えば、上述した基準画面のユースレコードボタン２０２（図３）をクリックすることにより表示されるプルダウンメニューにおいて設定することができる。
【０１４９】
次に、図１７のフローチャートを参照して、処理制御部７が図４のステップＳ６で行う、複数のオブジェクト抽出処理の内容を決定する処理について説明する。
【０１５０】
処理制御部７は、まず最初に、ステップＳ５１において、イベント検出部８からのイベント情報が、「位置指定」を表すものであるか、または「順位指定」を表すものであるかを判定する。ステップＳ５１において、イベント情報が、「位置指定」を表すものであると判定された場合、ステップＳ５２に進み、処理制御部７は、前フレームの履歴情報が、履歴管理部４に記憶されているかどうかを判定する。
【０１５１】
ステップＳ５２において、前フレームの履歴情報が、履歴管理部４に記憶されていると判定された場合、ステップＳ５３に進み、処理制御部７は、例えば、図１５で説明したように、前フレームの履歴情報に基づいて、注目フレームからオブジェクトを抽出する３つのオブジェクト抽出処理の内容を決定し、その旨の決定情報を、オブジェクト抽出部３に供給して、処理を終了する。
【０１５２】
また、ステップＳ５２において、前フレームの履歴情報が、履歴管理部４に記憶されていないと判定された場合、即ち、例えば、注目フレームが、ストレージ１に記憶された動画のフレームの中で、最初に注目フレームとされたものである場合、ステップＳ５４に進み、処理制御部７は、注目フレームからオブジェクトを抽出する３つのオブジェクト抽出処理の内容を、デフォルト値に決定し、その旨の決定情報を、オブジェクト抽出部３に供給して、処理を終了する。
【０１５３】
一方、ステップＳ５１において、イベント情報が、「順位指定」を表すものであると判定された場合、ステップＳ５５に進み、処理制御部７は、ユーザがマウス９を操作することにより行った順位付けに基づいて、注目フレームからオブジェクトを抽出する３つのオブジェクト抽出処理の内容を決定し、その旨の決定情報を、オブジェクト抽出部３に供給して、処理を終了する。
【０１５４】
次に、図１８のフローチャートを参照して、図１７のステップＳ５３乃至Ｓ５５における、オブジェクト抽出処理の内容の決定方法について、具体的に説明する。なお、イベント情報が「位置指定」を表すものである場合には、ユーザがマウス９をクリックすることにより、注目フレーム上のある位置を指定した場合であるが、そのユーザが指定した位置の座標は、イベント情報に含まれるものとする。また、イベント情報が「順位指定」を表すものである場合には、ユーザが、マウス９を操作することにより、３つの結果画面＃１乃至＃３に表示されたオブジェクト抽出結果に順位付けを行った場合であるが、そのオブジェクト抽出結果の順位（ここでは、第１位乃至第３位）も、イベント情報に含まれるものとする。
【０１５５】
図１７のステップＳ５３において、前フレームの履歴情報に基づいて、オブジェクト抽出処理の内容を決定する場合には、図１８（Ａ）のフローチャートに示すように、まず最初に、ステップＳ６１において、処理制御部７は、前フレームの履歴情報を参照することにより、前フレームの最終的なオブジェクト抽出結果（オブジェクトバッファ２３に最終的に記憶されたオブジェクト）が得られたときに用いられた境界画像のプレーンと同一のプレーンの境界画像を用いることを決定する。
【０１５６】
即ち、処理制御部７は、ユーザがマウス９によって指定した注目フレームの位置に対応する前フレームの位置の画素が、オブジェクトとして抽出されたときに用いられた境界画像のプレーンを、前フレームの履歴情報を参照することにより認識し、そのプレーンの境界画像を、境界検出部３１で作成することを決定する。ここで、このようにして、注目フレームのオブジェクト抽出に用いることが決定された境界画像のプレーンを、以下、適宜、決定プレーンという。
【０１５７】
そして、ステップＳ６２に進み、処理制御部７は、ユーザがマウス９によって指定した注目フレームの位置に対応する前フレームの位置の画素が、オブジェクトとして抽出されたときに境界画像を得るための二値化で用いられた閾値を、前フレームの履歴情報を参照することにより認識し、その閾値を、注目画像について、決定プレーンの境界画像を得るための二値化に用いる３つの閾値ＴＨ１乃至ＴＨ３のうちの２番目の閾値ＴＨ２として決定する。ここで、このようにして決定された閾値ＴＨ２を、以下、適宜、決定閾値という。
【０１５８】
その後、処理制御部７は、ステップＳ６３に進み、３つの閾値ＴＨ１乃至ＴＨ３のうちの決定閾値ＴＨ２以外の残りの２つの閾値ＴＨ１とＴＨ３を、決定閾値ＴＨ２に基づき、例えば、式ＴＨ１＝ＴＨ２−２０と、ＴＨ３＝ＴＨ２＋２０にしたがって決定し、決定プレーン、決定閾値ＴＨ２、決定閾値ＴＨ２に基づいて決定された閾値ＴＨ１とＴＨ３を、決定情報として、オブジェクト抽出部３に供給して、処理を終了する。
【０１５９】
この場合、オブジェクト抽出部３の境界検出部３１（図９）では、エッジ検出部２１２Ｈ，２１２Ｓ，２１２Ｖのうち、決定プレーンの画像についてエッジ検出を行うものにおいて、エッジ検出が行われる。そして、そのエッジ検出部に接続する二値化部において、決定閾値ＴＨ２、および決定閾値ＴＨ２を用いて決定された閾値ＴＨ１とＴＨ３の３つの閾値を用いて二値化が行われ、これにより、３つの境界画像が作成される。さらに、オブジェクト抽出部３の切り出し部３２では、境界検出部３１で作成された３つの境界画像それぞれについて、ユーザが指定した注目フレーム上の位置を起点とした、図１２および図１３で説明した領域の切り出しが行われる。
【０１６０】
以上のように、前フレームの履歴情報が存在する場合には、その履歴情報と、ユーザが指定した注目フレーム上の位置に基づいて、注目フレームについてのオブジェクト抽出処理の内容が決定されるので、注目フレームにおいて、前フレームと同じような特徴を有する部分については、前フレームにおける場合と同様の処理によって、オブジェクト抽出が行われる。従って、容易な操作で、的確なオブジェクト抽出を行うことが可能となる。
【０１６１】
次に、図１８（Ｂ）のフローチャートを参照して、図１７のステップＳ５４において、オブジェクト抽出処理の内容をデフォルト値に決定する場合の処理制御部７の処理について説明する。
【０１６２】
この場合、まず最初に、ステップＳ７１において、処理制御部７は、ユーザがマウス９でクリックした注目フレーム上の位置（指定位置）の画素付近の画素のＶ成分の平均値、即ち、例えば、指定位置の画素を含む横×縦が８×８画素のＶ成分の平均値が、５０未満であるかどうかを判定する。
【０１６３】
ステップＳ７１において、指定位置の画素を含む８×８画素のＶ成分の平均値が５０未満であると判定された場合、ステップＳ７２に進み、処理制御部７は、Ｖプレーンの境界画像を、境界検出部３１で作成することを決定する。
【０１６４】
即ち、Ｖ成分が小さい領域については、ＨやＳプレーンの境界画像を用いた場合には、Ｖプレーンの境界画像を用いた場合に比較して、領域の切り出しが不正確になることが経験的に認められるため、ステップＳ７２では、上述のように、決定プレーンがＶプレーンとされる。
【０１６５】
そして、ステップＳ７３に進み、処理制御部７は、決定プレーンであるＶプレーンの境界画像を得るための二値化に用いる３つの閾値ＴＨ１乃至ＴＨ３を、デフォルト値である、例えば、４０，１００，１８０にそれぞれ決定し、決定プレーンがＶプレーンである旨と、閾値ＴＨ１乃至ＴＨ３を、決定情報として、オブジェクト抽出部３に供給し、処理を終了する。
【０１６６】
この場合、オブジェクト抽出部３の境界検出部３１（図９）では、エッジ検出部２１２Ｈ，２１２Ｓ，２１２Ｖのうち、決定プレーンであるＶプレーンの画像についてエッジ検出を行うエッジ検出部２１２Ｖにおいて、エッジ検出が行われる。そして、エッジ検出部２１２Ｖに接続する二値化部２１３Ｖにおいて、閾値ＴＨ１乃至ＴＨ３としての４０，１００，１８０の３つの閾値を用いて二値化が行われ、これにより、３つの境界画像が作成される。さらに、オブジェクト抽出部３の切り出し部３２では、境界検出部３１で作成された３つの境界画像それぞれについて、ユーザが指定した注目フレーム上の位置を起点とした、図１２および図１３で説明した領域の切り出しが行われる。
【０１６７】
一方、ステップＳ７１において、指定位置の画素を含む８×８画素のＶ成分の平均値が５０未満でないと判定された場合、ステップＳ７４に進み、処理制御部７は、Ｈ，Ｓ，Ｖプレーンそれぞれの境界画像を、境界検出部３１で作成することを決定する。
【０１６８】
即ち、Ｖ成分がある程度大きい領域については、その領域の特徴によって、正確に、領域を切り出すことのできる境界画像のプレーンが異なる。さらに、いまの場合、前フレームの履歴情報が存在しないため、いずれのプレーンの境界画像が領域の切り出しに適切であるかを予測することが困難である。そこで、ステップＳ７４では、Ｈ，Ｓ，Ｖの３つのプレーンが、決定プレーンとされる。
【０１６９】
そして、ステップＳ７５に進み、処理制御部７は、決定プレーンであるＨ，Ｓ，Ｖプレーンの境界画像をそれぞれ得るための二値化に用いる閾値ＴＨH，ＴＨS，ＴＨVを、例えば、いずれも、デフォルト値である１００に決定し、決定プレーンがＨ，Ｓ，Ｖプレーンである旨と、閾値ＴＨH，ＴＨS，ＴＨVを、決定情報として、オブジェクト抽出部３に供給し、処理を終了する。
【０１７０】
この場合、オブジェクト抽出部３の境界検出部３１（図９）では、エッジ検出部２１２Ｈ，２１２Ｓ，２１２Ｖそれぞれにおいて、Ｈ，Ｓ，Ｖプレーンの画像について、エッジ検出が行われる。そして、エッジ検出部２１２Ｈ，２１２Ｓ，２１２Ｖに接続する二値化部２１３Ｈ，２１３Ｓ，２１３Ｖそれぞれにおいて、閾値ＴＨH，ＴＨS，ＴＨV（上述したように、ここでは、いずれも１００）を用いて二値化が行われ、これにより、３つのＨ，Ｓ，Ｖプレーンの境界画像が作成される。さらに、オブジェクト抽出部３の切り出し部３２では、境界検出部３１で作成されたＨ，Ｓ，Ｖプレーンの境界画像それぞれについて、ユーザが指定した注目フレーム上の位置を起点とした、図１２および図１３で説明した領域の切り出しが行われる。
【０１７１】
次に、図１８（Ｃ）のフローチャートを参照して、図１７のステップＳ５５において、指定順位に基づいて、オブジェクト抽出処理の内容を決定する場合の処理制御部７の処理について説明する。
【０１７２】
この場合、まず最初に、ステップＳ８１において、処理制御部７は、順位付けが、Ｈ，Ｓ，Ｖの３つのプレーンの境界画像を用いて得られたオブジェクト抽出結果に対して行われたもの（以下、適宜、プレーンに対する順位付けという）であるか、または、ある１つのプレーンの境界画像であって、３つの異なる閾値による二値化により作成されたものを用いて得られたオブジェクト抽出結果に対して行われたもの（以下、適宜、閾値に対する順位付けという）であるかを判定する。
【０１７３】
ステップＳ８１において、順位付けが、プレーンに対する順位付けであると判定された場合、ステップＳ８２に進み、処理制御部７は、Ｈ，Ｓ，Ｖの３つのプレーンの境界画像を用いて得られたオブジェクト抽出結果に対する順位を認識し、第１位のオブジェクト抽出結果が得られたプレーンの境界画像を、境界検出部３１で作成することを決定する。即ち、処理制御部７は、第１位のオブジェクト抽出結果が得られた境界画像のプレーンを、決定プレーンとする。
【０１７４】
そして、ステップＳ８３に進み、処理制御部７は、決定プレーンの境界画像を得るための二値化に用いる３つの閾値ＴＨ１乃至ＴＨ３を、デフォルト値である、例えば、４０，１００，１８０にそれぞれ決定し、決定プレーンが例えばＶプレーンである旨と、閾値ＴＨ１乃至ＴＨ３を、決定情報として、オブジェクト抽出部３に供給し、処理を終了する。
【０１７５】
この場合、オブジェクト抽出部３の境界検出部３１（図９）では、エッジ検出部２１２Ｈ，２１２Ｓ，２１２Ｖのうち、決定プレーン（第１位の順位付けが行われたオブジェクト抽出結果が得られた境界画像のプレーン）の画像についてエッジ検出を行うものにおいて、エッジ検出が行われる。そして、そのエッジ検出部に接続する二値化部において、閾値ＴＨ１乃至ＴＨ３としての４０，１００，１８０の３つの閾値を用いて二値化が行われ、これにより、３つの境界画像が作成される。さらに、オブジェクト抽出部３の切り出し部３２では、境界検出部３１で作成された３つの境界画像それぞれについて、ユーザが直前に指定した注目フレーム上の位置を起点とした、図１２および図１３で説明した領域の切り出しが行われる。
【０１７６】
一方、ステップＳ８１において、順位付けが、閾値に対する順位付けであると判定された場合、ステップＳ８４に進み、処理制御部７は、その順位付けが行われた注目フレームのオブジェクト抽出結果を得たときに用いられた境界画像のプレーンと同一のプレーンの境界画像を、境界検出部３１で作成することを決定する。即ち、処理制御部７は、注目フレームについての前回のオブジェクト抽出結果を得たときに用いられた境界画像のプレーンを、決定プレーンとする。
【０１７７】
そして、ステップＳ８５に進み、処理制御部７は、決定プレーンの境界画像を得るための二値化に用いる３つの閾値ＴＨ１乃至ＴＨ３を、閾値に対する順位付けに基づいて決定する。即ち、処理制御部７は、前回のオブジェクト抽出結果を得たときに用いられた３つの閾値のうち、第１位に指定された閾値を、閾値ＴＨ１に決定する。さらに、処理制御部７は、前回のオブジェクト抽出結果を得たときに用いられた３つの閾値のうち、第１位に指定された閾値と第２位に指定された閾値の平均値を、閾値ＴＨ２に決定する。また、処理制御部７は、前回のオブジェクト抽出結果を得たときに用いられた３つの閾値のうち、第２位に指定された閾値を、閾値ＴＨ３に決定する。その後、処理制御部７は、決定プレーンと、閾値ＴＨ１乃至ＴＨ３を、決定情報として、オブジェクト抽出部３に供給し、処理を終了する。
【０１７８】
この場合、オブジェクト抽出部３の境界検出部３１（図９）では、エッジ検出部２１２Ｈ，２１２Ｓ，２１２Ｖのうち、決定プレーン（前回のオブジェクト抽出結果を得たときに用いられた境界画像のプレーンと同一のプレーン）の画像についてエッジ検出を行うものにおいて、エッジ検出が行われる。そして、そのエッジ検出部に接続する二値化部において、前回用いられた閾値の順位付けに基づいて上述のように決定された３つの閾値ＴＨ１乃至ＴＨ３を用いて二値化が行われ、これにより、３つの境界画像が作成される。さらに、オブジェクト抽出部３の切り出し部３２では、境界検出部３１で作成された３つの境界画像それぞれについて、ユーザが直前に指定した注目フレーム上の位置を起点とした、図１２および図１３で説明した領域の切り出しが行われる。
【０１７９】
以上のようにして、オブジェクト抽出処理の内容を決定する場合においては、ユーザが、注目フレーム上のある位置を指定すると、前フレームの履歴情報が存在しない場合であって、指定位置付近のＶ成分の平均値が５０以上である場合には、Ｈ，Ｓ，Ｖの３つのプレーンの境界画像から、３つのオブジェクト抽出結果が求められる（図１８（Ｂ）におけるステップＳ７１，Ｓ７４，Ｓ７５）。そして、その３つのオブジェクト抽出結果に対して、プレーンに対する順位付けが行われると、第１位の１つのプレーンの画像と、３つの閾値ＴＨ１乃至ＴＨ３から作成される３つの境界画像から、３つのオブジェクト抽出結果が求められる（図１８（Ｃ）におけるステップＳ８１乃至Ｓ８３）。
【０１８０】
さらに、ユーザが、注目フレーム上のある位置を指定した場合に、前フレームの履歴情報が存在せず、かつ、指定位置付近のＶ成分の平均値が５０未満であるときも、１つのプレーンであるＶプレーンの画像と、デフォルトの３つの閾値ＴＨ１乃至ＴＨ３から作成される３つの境界画像から、３つのオブジェクト抽出結果が求められる（図１８（Ｂ）におけるステップＳ７１乃至Ｓ７３）。
【０１８１】
また、ユーザが、注目フレーム上のある位置を指定した場合に、前フレームの履歴情報が存在するときも、その履歴情報に基づいて決定される１つのプレーンの画像と、履歴情報に基づいて決定される３つの閾値ＴＨ１乃至ＴＨ３から作成される３つの境界画像から、３つのオブジェクト抽出結果が求められる（図１８（Ａ））。
【０１８２】
以上のように、１つのプレーンの画像と、３つの閾値から作成される３つの境界画像から、３つのオブジェクト抽出結果が求められた後に、その３つのオブジェクト抽出結果に対して順位付け（閾値に対する順位付け）が行われると、上述したように、その順位付けに基づいて、３つの閾値ＴＨ１乃至ＴＨ３が更新されていく（図１８（Ｃ）におけるステップＳ８１，Ｓ８４，Ｓ８５）。
【０１８３】
即ち、例えば、図１９（Ａ）に示すように、閾値ＴＨ１，ＴＨ２，ＴＨ３が、第１位、第２位、第３位に、それぞれ指定された場合には、次のオブジェクト抽出処理においては、図１９（Ｂ）に示すように、閾値ＴＨ１は、前回の第１位の閾値に、閾値ＴＨ２は、前回の第１位と第２位の閾値の平均値に、閾値ＴＨ３は、前回の第２の閾値に、それぞれ決定される。さらに、このように決定された３つの閾値ＴＨ１乃至ＴＨ３を用いて得られる３つのオブジェクト抽出結果に対して順位付けが行われ、これにより、図１９（Ｂ）に示すように、閾値ＴＨ１，ＴＨ２，ＴＨ３が、第３位、第１位、第２位に、それぞれ指定された場合には、次のオブジェクト抽出処理においては、図１９（Ｃ）に示すように、やはり、閾値ＴＨ１は、前回の第１位の閾値に、閾値ＴＨ２は、前回の第１位と第２位の閾値の平均値に、閾値ＴＨ３は、前回の第２の閾値に、それぞれ決定される。そして、このように決定された３つの閾値ＴＨ１乃至ＴＨ３を用いて得られる３つのオブジェクト抽出結果に対して、再び、順位付けが行われ、これにより、図１９（Ｃ）に示すように、閾値ＴＨ１，ＴＨ２，ＴＨ３が、第３位、第１位、第２位に、それぞれ指定された場合には、次のオブジェクト抽出処理においては、図１９（Ｄ）に示すように、やはり、閾値ＴＨ１は、前回の第１位の閾値に、閾値ＴＨ２は、前回の第１位と第２位の閾値の平均値に、閾値ＴＨ３は、前回の第２の閾値に、それぞれ決定される。
【０１８４】
従って、順位付けを繰り返すことにより、閾値ＴＨ１，ＴＨ２，ＴＨ３は、注目フレームからオブジェクトを抽出するのに、より適した値に収束していくことになり、その結果、的確なオブジェクト抽出が可能となる。
【０１８５】
さらに、前フレームの履歴情報が存在する場合には、その履歴情報に基づいて、３つの閾値ＴＨ１乃至ＴＨ３が決定されることにより、その３つの閾値ＴＨ１乃至ＴＨ３は、注目フレームからオブジェクトを抽出するのにある程度適した値となることから、ユーザは、「順位指定」の操作を、それほどの回数行わなくても、即ち、最良の場合には、「順位指定」の操作を一度も行わなくても、注目フレームについて、良好なオブジェクト抽出結果を得ることが可能となる。
【０１８６】
なお、図１８および図１９の実施の形態では、履歴情報がない場合において、指定位置付近のＶ成分の平均値が５０以上であるときには、Ｈ，Ｓ，Ｖの３つのプレーンの境界画像から、３つのオブジェクト抽出結果が求められ、その３つのオブジェクト抽出結果に対して、プレーンに対する順位付けが行われると、第１位の１つのプレーンの画像と、３つの閾値ＴＨ１乃至ＴＨ３から作成される３つの境界画像から、３つのオブジェクト抽出結果が求められ、その後に、閾値に対する順位付けが可能な状態となる。
【０１８７】
これに対して、履歴情報がない場合でも、指定位置付近のＶ成分の平均値が５０未満であるときには、上述したように、経験則から、１つのプレーンであるＶプレーンの画像と、３つの閾値ＴＨ１乃至ＴＨ３から作成される３つの境界画像から、３つのオブジェクト抽出結果が求められ、その後に、閾値に対する順位付けが可能な状態となる。従って、この場合、ユーザは、プレーンに対する順位付けを行う必要がなく、その分、ユーザの操作負担を軽減することができる。
【０１８８】
次に、図４のステップＳ１４における初期抽出処理について説明する。
【０１８９】
初期抽出処理では、新たな注目フレームについて、ユーザが、オブジェクトの位置を指定する「位置指定」を行わなくても、前フレームから得られた最終的なオブジェクト抽出結果や履歴情報を利用して、複数（本実施の形態では、３つ）のオブジェクト抽出処理が行われ、そのオブジェクト抽出結果が、表示部５に表示される。
【０１９０】
即ち、図２０は、新たな注目フレームについて、初期抽出処理が行われた直後の表示部５における画面の表示例を示している。
【０１９１】
図２０の実施の形態において、基準画面には、新たな注目フレームの画像（原画像）が表示されており、結果画面＃１乃至＃３には、前フレームから得られた最終的なオブジェクト抽出結果や履歴情報を利用して行われた３つのオブジェクト抽出処理による３つのオブジェクト抽出結果が、それぞれ表示されている。
【０１９２】
なお、図２０の実施の形態では、基準画面のアンドゥボタン２０４の下部に、リセットレコードボタン(Reset Record)２０５が新たに表示されているが、このリセットレコードボタン２０５は、前フレームの履歴情報を消去するときに操作される。即ち、リセットレコードボタン２０５を、マウス９によりクリックすると、履歴管理部４に記憶されている前フレームの履歴情報が使用不可になる。但し、リセットレコードボタン２０５を再度クリックすると、履歴情報は、使用可能な状態となる。
【０１９３】
結果画面＃１乃至＃３に表示される、新たな注目フレームについてのオブジェクト抽出結果は、オブジェクト抽出部３において、例えば、次のような第１乃至第３の初期抽出処理が行われることにより、それぞれ求められる。
【０１９４】
即ち、例えば、いま、前フレームについて、図２１（Ａ）に示すような履歴画像を得ることができていたとする。ここで、図２１（Ａ）の実施の形態は、人間の全身が表示された前フレームから、その人間が表示された部分がオブジェクトとして抽出された場合の履歴画像を示している。さらに、図２１（Ａ）の履歴情報は、人間の頭部の領域については、Ｓプレーンの画像と、二値化における閾値５０を用いて、胴体部分の領域については、Ｈプレーンの画像と、二値化における閾値１００を用いて、下半身部分の領域については、Ｖプレーンの画像と、二値化における閾値８０を用いて、それぞれ、オブジェクト抽出が行われたことを表している。従って、図２１の履歴画像において、人間の頭部の領域を構成するすべての画素、胴体部分の領域を構成するすべての画素、または下半身部分の領域を構成するすべての画素の画素値は、それぞれ同一のＩＤとなっている。
【０１９５】
第１の初期抽出処理では、例えば、処理制御部７が、まず、前フレームの履歴画像において同一のＩＤを画素値とする画素の集合でなる領域の重心を求める。従って、図２１（Ａ）の実施の形態では、人間の頭部の領域、胴体部分の領域、下半身部分の領域の重心がそれぞれ求められる。
【０１９６】
なお、ある領域の重心の座標を（Ｘ，Ｙ）と表すと、重心（Ｘ，Ｙ）は、例えば、次式にしたがって求められる。
【０１９７】
Ｘ＝Σｘk／Ｎ
Ｙ＝Σｙk／Ｎ
但し、Ｎは、ある領域を構成する画素数を表し、Σは、変数ｋを１からＮに変えてのサメーションを表す。また、（ｘk，ｙk）は、ある領域を構成するｋ番目の画素の座標を表す。
【０１９８】
人間の頭部の領域、胴体部分の領域、下半身部分の領域のそれぞれについて、例えば、図２１（Ｂ）に示すように、重心（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３）が求められると、処理制御部７は、動き検出部６を制御することにより、前フレームの重心（ｘ１，ｙ１）を基準とする注目フレームの動きベクトル（ｖx，ｖy）を求めさせる。さらに、処理制御部７は、その内蔵する位置補正部７１に、前フレームの指定位置（ｘ１，ｙ１）を、動きベクトル（ｖx，ｖy）によって補正させることにより、前フレームの重心（ｘ１，ｙ１）に対応する注目フレーム上の位置（ｘ１’，ｙ１’）を求めさせる。即ち、この場合、位置補正部７１は、例えば、式（ｘ１’，ｙ１’）＝（ｘ１，ｙ１）＋（ｖx，ｖy）によって、前フレームの重心（ｘ１，ｙ１）に対応する注目フレーム上の位置（ｘ１’，ｙ１’）を求める。
【０１９９】
その後、処理制御部７は、前フレームの重心（ｘ１，ｙ１）の画素の画素値であるＩＤを、履歴画像記憶部４２に記憶された前フレームの履歴画像を参照することで取得し、さらに、そのＩＤに対応付けられたパラメータセットを、パラメータテーブル記憶部４３を参照することで取得する。そして、処理制御部７は、上述のようにして取得したパラメータセットに基づく境界画像の作成、およびその３つの境界画像からの、前フレームの重心（ｘ１，ｙ１）に対応する注目フレーム上の位置（ｘ１’，ｙ１’）を起点とする領域の切り出しを行うことを決定し、その旨の決定情報を、オブジェクト抽出部３に供給する。
【０２００】
処理制御部７は、図２１（Ｂ）に示した３つの領域の重心（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３）のうちの残りの２つの重心（ｘ２，ｙ２）と（ｘ３，ｙ３）についても、それぞれ同様の処理を行う。
【０２０１】
これにより、オブジェクト抽出部３では、図２１（Ｃ）に示すように、注目フレームを対象として、決定情報に対応するパラメータセットに基づく境界画像の作成、およびその境界画像からの、前フレームの重心（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３）に対応する注目フレーム上の位置（ｘ１’，ｙ１’），（ｘ２’，ｙ２’），（ｘ３’，ｙ３’）をそれぞれ起点とする領域の切り出しが行われ、オブジェクトが抽出される。このオブジェクト抽出結果は、図２１（Ｄ）に示すように、結果バッファ３３Ａに記憶され、図２０に示したように、結果画面＃１において表示される。
【０２０２】
次に、第２の初期抽出処理では、オブジェクト抽出部３は、例えば、テンプレートマッチングを行うことによって、注目フレームからオブジェクトを抽出する。
【０２０３】
即ち、オブジェクト抽出部３は、注目フレーム処理部２を介して、ストレージ１から、前フレームの最終的なオブジェクト抽出結果と、注目フレームを読み出し、図２２（Ａ）に示すように、前フレームの最終的なオブジェクト抽出結果と、注目フレームとを重ねて、対応する画素の画素値（例えば、輝度）どうしの絶対値差分の総和を演算する。オブジェクト抽出部３は、このような絶対値差分の総和を、図２２（Ｂ）に示すように、前フレームの最終的なオブジェクト抽出結果と、注目フレームとを重ね合わせる位置を、例えば、１画素ごとに変えて求め、絶対値差分の総和が最小になるときの、前フレームの最終的なオブジェクト抽出結果と、注目フレームとの位置関係を求める。さらに、オブジェクト抽出部３は、図２２（Ｃ）に示すように、その位置関係において、前フレームの最終的なオブジェクト抽出結果との画素値どうしの絶対値差分が、例えば２０以下になる画素を、注目フレームから検出し、その画素値を、注目フレームについてのオブジェクト抽出結果として、結果バッファ３３Ｂに書き込む。このようにして結果バッファ３３Ｂに書き込まれたオブジェクト抽出結果は、図２０に示したように、結果画面＃２において表示される。
【０２０４】
次に、第３の初期抽出処理では、オブジェクト抽出部３は、例えば、図１６で説明した場合と同様にして、注目フレームからオブジェクトを抽出する。このオブジェクト抽出結果は、結果バッファ３３Ｃに書き込まれ、図２０に示したように、結果画面＃３において表示される。
【０２０５】
以上の初期抽出処理は、注目フレームが新たなフレームに変更された後に、ユーザからの入力を特に待つことなく、いわば自動的に行われるため、「位置指定」や「順位指定」といったユーザの操作負担を軽減することができる。
【０２０６】
ところで、初期抽出処理によって得られた３つのオブジェクト抽出結果のうちのいずれかに対して、ユーザが、「全取得」または「部分取得」の操作を行い、これにより、その３つのオブジェクト抽出結果のうちのいずれかの全部または一部が、オブジェクトバッファ２３に反映され、注目フレームの最終的なオブジェクト抽出結果とされた場合には、その最終的なオブジェクト抽出結果のうち、初期抽出処理によって得られた部分については、履歴情報が存在しないこととなり、次のフレームが注目フレームとされたときに、前フレームの履歴情報が存在せず、その結果、ユーザの操作負担が増加することがある。
【０２０７】
そこで、前フレームの履歴情報は、次のフレームの履歴情報に継承することが可能である。
【０２０８】
即ち、例えば、図２３（Ａ）に示すように、前フレームについて最終的なオブジェクト抽出結果が得られた後に、初期抽出処理が行われることにより、注目フレームのオブジェクト抽出結果が結果画面に表示され、そのオブジェクト抽出結果の一部が、ユーザによる「部分取得」操作によって、オブジェクトバッファ２３に反映されたとする。
【０２０９】
この場合、処理制御部７は、オブジェクトバッファ２３に反映されたオブジェクトの部分の動きベクトルを、動き検出部６を制御することにより求めさせ、図２３（Ｂ）に示すように、その動きベクトルによって、前フレームの履歴画像の、オブジェクトバッファ２３に反映された領域に対応する部分の位置を補正する。さらに、処理制御部７は、履歴管理部４を制御することにより、その補正後の履歴画像の部分を、注目フレームの履歴画像としてコピーさせる。
【０２１０】
また、処理制御部７は、注目フレームの履歴画像としてコピーした前フレームの履歴画像の範囲内に、ユーザがマウス９をクリックすることによって指定した前フレーム上の位置が存在するかどうかを、指定位置記憶部４１を参照することにより判定し、存在する場合には、図２３（Ｃ）に示すように、その位置（指定位置）を、図２３（Ｂ）で説明した動きベクトルによって補正する。そして、処理制御部７は、履歴管理部４を制御することにより、その補正後の指定位置の座標を、注目フレームの指定位置の座標として、指定位置記憶部４１に記憶させる。
【０２１１】
なお、このような履歴情報の継承は、上述の第１乃至第３の初期抽出処理のうちの、第１と第３の初期抽出処理によって得られたオブジェクト抽出結果が、オブジェクトバッファ２３に反映された場合にのみ行い、第２の初期抽出処理によって得られたオブジェクト抽出結果が、オブジェクトバッファ２３に反映された場合には行わないようにすることが可能である。
【０２１２】
即ち、第１と第３の初期抽出処理では、上述したように、前フレームの履歴情報に基づいて、注目フレームからのオブジェクト抽出が行われるため、そのオブジェクト抽出結果が、オブジェクトバッファ２３に反映されるということは、注目フレームについて、前フレームの履歴情報を用いずにオブジェクト抽出を行ったとしても、前フレームと同様の処理によって得られたオブジェクト抽出結果が、最終的なオブジェクト抽出結果とされる可能性が高く、従って、前フレームと同様の履歴情報が作成される可能性が高い。
【０２１３】
これに対して、第２の初期抽出処理では、上述したように、テンプレートマッチングによって、注目フレームからオブジェクトが抽出されるため、そのオブジェクト抽出結果が、オブジェクトバッファ２３に反映されたとしても、その反映された部分は、前フレームの履歴情報とは無関係に、注目フレームから抽出されたものであるから、前フレームの履歴情報を用いずにオブジェクト抽出を行ったときに、前フレームと同様の処理によって得られたオブジェクト抽出結果が、最終的なオブジェクト抽出結果とされる可能性が高いとはいえず、従って、前フレームと同様の履歴情報が作成される可能性が高いともいえない。
【０２１４】
このため、上述したように、履歴情報の継承は、第１と第３の初期抽出処理によって得られたオブジェクト抽出結果が、オブジェクトバッファ２３に反映された場合にのみ行い、第２の初期抽出処理によって得られたオブジェクト抽出結果が、オブジェクトバッファ２３に反映された場合には行わないようにすることができる。
【０２１５】
但し、履歴情報の継承は、第１乃至第３の初期抽出処理によって得られたオブジェクト抽出結果のうちのいずれが、オブジェクトバッファ２３に反映された場合であっても行うようにすることが可能である。
【０２１６】
以上のように、複数の処理によって、複数のオブジェクト抽出結果を求め、その複数のオブジェクト抽出結果の中から、良好なものを、ユーザに判断してもらい、最終的なオブジェクト抽出結果に反映するようにしたので、容易な操作で、的確なオブジェクト抽出を行うことができる。
【０２１７】
さらに、前フレームの履歴情報が存在する場合には、その履歴情報と、ユーザにより入力された注目フレーム上の位置に基づいて、注目フレームのオブジェクト抽出を行うようにしたので、やはり、容易な操作で、的確なオブジェクト抽出を行うことができる。
【０２１８】
即ち、図２の画像処理装置では、ユーザが、注目フレームのオブジェクト上のある位置を指定すると、その位置を起点として、注目フレームの領域が、３つの処理によって切り出され（オブジェクト抽出され）、その結果得られる３つのオブジェクト抽出結果が表示される。さらに、ユーザが、必要に応じて、３つのオブジェクト抽出結果に対して順位を指定すると、その順位に基づく３つの処理によって、注目フレームの領域が再度切り出され、その結果得られる３つのオブジェクト抽出結果が表示される。そして、ユーザが、３つのオブジェクト抽出結果の中から、適切と思うものを指定すると、その指定されたオブジェクト抽出結果が、最終的なオブジェクト抽出結果に反映される。従って、ユーザが、オブジェクト上の位置の指定、必要な順位の指定、および適切なオブジェクト抽出結果の指定という負担の少ない操作を、必要な回数だけ繰り返すことにより、注目フレームから、的確に、オブジェクトを抽出することができる。
【０２１９】
さらに、次のフレームが注目フレームとされた場合には、その１フレーム前のフレーム（前フレーム）について作成された履歴情報を参照することにより、注目フレーム上のユーザ入力した位置の画素に対応する前フレームの画素をオブジェクトとして抽出するのに用いられたパラメータセットが認識され、そのパラメータセットに基づいて、３つのオブジェクト抽出処理の内容が決定される。従って、ユーザは、注目フレームのオブジェクト上の位置を指定するという負担の少ない操作を行うだけで、注目フレームから、良好なオブジェクト抽出結果を得ることができる。
【０２２０】
なお、本実施の形態では、ユーザに、注目フレームのオブジェクト上の位置を指定してもらうようにしたが、その他、例えば、注目フレームのオブジェクトの一部の範囲を指定してもらうようにすることも可能である。
【０２２１】
また、本実施の形態では、注目フレームのオブジェクト抽出を、前フレームのみの履歴情報に基づいて行うようにしたが、注目フレームのオブジェクト抽出は、その他、例えば、過去数フレームの履歴情報に対して重み付けをし、その重み付けされた履歴情報に基づいて行うことも可能である。また、本実施の形態では、時間順に、フレームを処理するものとして、前フレームの履歴情報を、注目フレームからのオブジェクト抽出に用いることとしたが、その他、例えば、時間の逆順に、フレームが処理される場合には、注目フレームからのオブジェクト抽出には、時間的に後行するフレームの履歴情報を用いることが可能である。
【０２２２】
さらに、本実施の形態では、動画の各フレームからオブジェクトを抽出するようにしたが、本発明は、静止画からのオブジェクト抽出にも適用可能である。
【０２２３】
また、本発明は、いわゆる前景となっている部分を抽出する場合の他、例えば、背景の一部の構成要素を抽出する場合にも適用可能である。
【０２２４】
さらに、本実施の形態で説明したオブジェクト抽出処理は例示であり、どのようなオブジェクト抽出処理を採用するかは、特に限定されるものではない。
【０２２５】
また、本発明は、放送システムや編集システム等の画像処理装置に広く適用可能である。
【０２２６】
【発明の効果】
本発明によれば、簡単な操作で、的確に、オブジェクトを抽出することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の一実施の形態のハードウェア構成例を示すブロック図である。
【図２】図１の画像処理装置の機能的構成例を示すブロック図である。
【図３】表示部５における画面の表示例を示す図である。
【図４】図２の画像処理装置の処理を説明するフローチャートである。
【図５】基本画面における表示の切り替え説明するための図である。
【図６】「アンドゥ」と「部分削除」を説明するための図である。
【図７】ユーザが、オブジェクト上の点を指定する様子を示す図である。
【図８】「全取得」と「部分取得」を説明するための図である。
【図９】境界検出部３１の構成例を示すブロック図である。
【図１０】細線化処理を説明するための図である。
【図１１】境界画像を示す図である。
【図１２】切り出し部３２の処理を説明するためのフローチャートである。
【図１３】切り出し部３２の処理を説明するための図である。
【図１４】履歴情報の更新を説明するための図である。
【図１５】履歴情報に基づくオブジェクト抽出を説明するための図である。
【図１６】履歴情報に基づくオブジェクト抽出を説明するための図である。
【図１７】処理制御部７の処理を説明するためのフローチャートである。
【図１８】図１７のステップＳ５３乃至Ｓ５５の処理のより詳細を説明するためのフローチャートである。
【図１９】閾値の更新を説明するための図である。
【図２０】表示部５における画面の表示例を示す図である。
【図２１】第１の初期抽出処理を説明するための図である。
【図２２】第２の初期抽出処理を説明するための図である。
【図２３】履歴情報の継承を説明するための図である。
【符号の説明】
１ ストレージ， ２ 注目フレーム処理部， ３ オブジェクト抽出部， ４ 履歴管理部， ５ 表示部， ６ 動き検出部， ７ 処理制御部， ８ イベント検出部， ９ マウス， ２１ 注目フレームバッファ， ２２ 背景バッファ， ２３ オブジェクトバッファ， ２４ セレクタ， ３１ 境界検出部， ３２ 切り出し部， ３２Ａ乃至３２Ｃ 出力バッファ， ３３ 結果処理部， ３３Ａ乃至３３Ｃ 結果バッファ， ４１ 指定位置記憶部， ４２履歴画像記憶部， ４３ パラメータテーブル記憶部， ６１ 前フレームバッファ， ７１ 位置補正部， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体， ２０１ チェンジディスプレイボタン， ２０２ ユースレコードボタン， ２０３ デリートパートリィボタン，２０４ アンドゥボタン， ２０５ リセットレコードボタン， ２０６ ランクリザルトボタン， ２０７ グラブオールボタン， ２０８ グラブパートリィボタン， ２１１ ＨＳＶ分離部， ２１２Ｈ，２１２Ｓ，２１２Ｖ エッジ検出部， ２１３Ｈ，２１３Ｓ，２１３Ｖ 二値化部， ２１４Ｈ，２１４Ｓ，２１４Ｖ 細線化部， ２１５Ｈ，２１５Ｓ，２１５Ｖ 境界画像記憶部
Claims (9)
- 画像から所定のオブジェクトを抽出する画像処理装置であって、
注目している注目画面の画像から、複数の処理によってオブジェクトを抽出するオブジェクト抽出手段と、
前記複数の処理によるオブジェクト抽出結果から、最終的なオブジェクト抽出結果に反映させるものを、ユーザからの入力に基づいて選択する選択手段と、
前記選択手段において選択されたオブジェクト抽出結果を、最終的なオブジェクト抽出結果に反映させる反映手段と、
前記複数の処理によるオブジェクト抽出結果の順位付けを行うときに操作される操作手段と、
前記オブジェクト抽出結果の順位付けに基づいて、前記複数の処理の内容を決定する決定手段と
を備え、
前記複数の処理は、異なる閾値を用いた処理であり、
前記決定手段は、前記複数の処理によるオブジェクト抽出結果に対して、ユーザから順位付けの入力があった場合、その順位付けに基づいて、第１位のオブジェクト抽出結果を得たときに用いられた第１位の閾値と、第２位のオブジェクト抽出結果を得たときに用いられた第２位の閾値との間の値を、次の前記複数の処理のうちの１つの処理に用いられる閾値に決定する
画像処理装置。 - 前記選択手段は、前記ユーザからの入力に基づいて、前記複数の処理によるオブジェクト抽出結果のうちの１つの全部または一部を選択する
請求項１に記載の画像処理装置。 - 前記最終的なオブジェクト抽出結果に反映されたオブジェクトの抽出に用いられた処理の内容である処理履歴を記憶する処理履歴記憶手段をさらに備え、
前記履歴情報は、前記オブジェクトを構成する画素ごとの、前記オブジェクトの抽出に用いられた閾値を含み、
前記決定手段は、前記処理履歴記憶手段に記憶された、注目画面より時間的に前に処理された前画面についての前記処理履歴に基づいて、
前記前画面において、同一の所定の閾値を用いて、オブジェクトとして抽出された領域の中の所定の点を、前記注目画面と前画面との間の動きベクトルによって補正することにより、前記前画面の所定の点に対応する、前記注目画面の点を求め、
前記所定の閾値を、前記注目画面の、前記前画面の所定の点に対応する点を含むオブジェクトを抽出する処理に用いられる閾値に決定する
請求項１に記載の画像処理装置。 - 前記処理履歴記憶手段は、前記注目画面から、前記前画面についての前記処理履歴に基づいて抽出されたオブジェクトが、前記注目画面の最終的なオブジェクト抽出結果に反映された場合、前記前画面についての前記処理履歴に含まれる前記オブジェクトを構成する画素ごとの閾値を、前記注目画面と前画面との間の動きベクトルによって補正することにより得られる、その動きベクトル分だけ移動した位置の画素ごとの閾値を、前記注目画面についての処理履歴としてコピーする処理履歴の継承を行う
請求項３に記載の画像処理装置。 - 前記オブジェクト抽出手段は、ユーザが入力した注目画面上の点に基づいて、その点を含むオブジェクトを、前記注目画面から抽出する
請求項１に記載の画像処理装置。 - 前記最終的なオブジェクト抽出結果に反映されたオブジェクトの抽出時にユーザが入力した点の履歴である入力履歴を記憶する入力履歴記憶手段をさらに備え、
前記決定手段は、前記入力履歴記憶手段に記憶された、注目画面より時間的に前に処理された前画面についての前記入力履歴に基づいて、前記前画面において、前記ユーザが入力した所定の点を、前記注目画面と前画面との間の動きベクトルによって補正することにより、前記前画面の所定の点に対応する、前記注目画面の点を求め、
前記オブジェクト抽出手段は、前記前画面の所定の点に対応する、前記注目画面の点を含むオブジェクトを、前記注目画面から抽出する
請求項５に記載の画像処理装置。 - 前記入力履歴記憶手段は、前記前画面についての入力履歴に基づいて前記注目画面から抽出されたオブジェクトが、注目画面の最終的なオブジェクト抽出結果に反映された場合、前記前画面についての入力履歴である、前記前画面の所定の点を、前記注目画面と前画面との間の動きベクトルによって補正することにより得られる、前記前画面の所定の点に対応する、前記注目画面の点を、前記注目画面についての入力履歴としてコピーする入力履歴の継承を行う
請求項６に記載の画像処理装置。 - 画像から所定のオブジェクトを抽出する画像処理方法であって、
注目している注目画面の画像から、複数の処理によってオブジェクトを抽出するオブジェクト抽出ステップと、
前記複数の処理によるオブジェクト抽出結果から、最終的なオブジェクト抽出結果に反映させるものを、ユーザからの入力に基づいて選択する選択ステップと、
前記選択ステップにおいて選択されたオブジェクト抽出結果を、最終的なオブジェクト抽出結果に反映させる反映ステップと、
ユーザからの前記オブジェクト抽出結果の順位付けに基づいて、前記複数の処理の内容を決定する決定ステップと
を備え、
前記複数の処理は、異なる閾値を用いた処理であり、
前記決定ステップでは、前記複数の処理によるオブジェクト抽出結果に対して、前記複数の処理によるオブジェクト抽出結果の順位付けを行うときに操作される操作手段が操作されることにより、ユーザから順位付けの入力があった場合、その順位付けに基づいて、第１位のオブジェクト抽出結果を得たときに用いられた第１位の閾値と、第２位のオブジェクト抽出結果を得たときに用いられた第２位の閾値との間の値を、次の前記複数の処理のうちの１つの処理に用いられる閾値に決定する
画像処理方法。 - 画像から所定のオブジェクトを抽出する画像処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
注目している注目画面の画像から、複数の処理によってオブジェクトを抽出するオブジェクト抽出手段と、
前記複数の処理によるオブジェクト抽出結果から、最終的なオブジェクト抽出結果に反映させるものを、ユーザからの入力に基づいて選択する選択手段と、
前記選択手段において選択されたオブジェクト抽出結果を、最終的なオブジェクト抽出結果に反映させる反映手段と、
前記複数の処理によるオブジェクト抽出結果の順位付けを行うときに操作される操作手段と、
前記オブジェクト抽出結果の順位付けに基づいて、前記複数の処理の内容を決定する決定手段と
して、コンピュータを機能させるためのプログラムであり、
前記複数の処理は、異なる閾値を用いた処理であり、
前記決定手段は、前記複数の処理によるオブジェクト抽出結果に対して、ユーザから順位付けの入力があった場合、その順位付けに基づいて、第１位のオブジェクト抽出結果を得たときに用いられた第１位の閾値と、第２位のオブジェクト抽出結果を得たときに用いられた第２位の閾値との間の値を、次の前記複数の処理のうちの１つの処理に用いられる閾値に決定する
プログラムが記録されている記録媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000274766A JP4482778B2 (ja) | 2000-09-11 | 2000-09-11 | 画像処理装置および画像処理方法、並びに記録媒体 |
| US09/950,019 US6934414B2 (en) | 2000-09-11 | 2001-09-10 | Image processing apparatus, image processing method, and recording medium |
| US11/144,296 US7340097B2 (en) | 2000-09-11 | 2005-06-03 | Image processing apparatus, image processing method, and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000274766A JP4482778B2 (ja) | 2000-09-11 | 2000-09-11 | 画像処理装置および画像処理方法、並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002092613A JP2002092613A (ja) | 2002-03-29 |
| JP4482778B2 true JP4482778B2 (ja) | 2010-06-16 |
Family
ID=18760477
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000274766A Expired - Fee Related JP4482778B2 (ja) | 2000-09-11 | 2000-09-11 | 画像処理装置および画像処理方法、並びに記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US6934414B2 (ja) |
| JP (1) | JP4482778B2 (ja) |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5738663A (en) * | 1995-12-15 | 1998-04-14 | Icu Medical, Inc. | Medical valve with fluid escape space |
| US7213061B1 (en) | 1999-04-29 | 2007-05-01 | Amx Llc | Internet control system and method |
| US6657646B2 (en) * | 1999-06-08 | 2003-12-02 | Amx Corporation | System and method for multimedia display |
| GB0116877D0 (en) * | 2001-07-10 | 2001-09-05 | Hewlett Packard Co | Intelligent feature selection and pan zoom control |
| US6999207B2 (en) * | 2001-09-19 | 2006-02-14 | Kabushiki Kaisha Toshiba | Image processing apparatus, image forming apparatus, and method of them |
| JP3964646B2 (ja) * | 2001-10-25 | 2007-08-22 | 富士フイルム株式会社 | 画像処理方法、画像処理装置、および画像信号作成方法 |
| JP4099357B2 (ja) * | 2002-07-08 | 2008-06-11 | ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー | 画像処理方法および装置 |
| JP3809411B2 (ja) * | 2002-09-27 | 2006-08-16 | キヤノン株式会社 | 画像処理方法及び装置並びに印刷装置 |
| JP3947973B2 (ja) * | 2003-02-14 | 2007-07-25 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに記録媒体 |
| JP4140402B2 (ja) * | 2003-03-03 | 2008-08-27 | 松下電工株式会社 | 画像処理装置 |
| JP3787783B2 (ja) | 2003-09-02 | 2006-06-21 | 松下電器産業株式会社 | 対象物進行方向検出方法 |
| US7809186B2 (en) * | 2004-04-27 | 2010-10-05 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, program thereof, and recording medium |
| EP1612653A1 (de) * | 2004-06-30 | 2006-01-04 | Siemens Aktiengesellschaft | Scrolling-Vorrichtung mit Fixierungsmechanismus |
| US20060045381A1 (en) * | 2004-08-31 | 2006-03-02 | Sanyo Electric Co., Ltd. | Image processing apparatus, shooting apparatus and image display apparatus |
| US7342584B2 (en) * | 2004-11-18 | 2008-03-11 | Amx, Llc | Method and computer program for implementing interactive bargraphs of any shape or design on a graphical user interface |
| TWI270824B (en) * | 2005-05-02 | 2007-01-11 | Pixart Imaging Inc | Method for dynamically recognizing objects in an image based on diversities of object characteristics and system for using the same |
| US8049731B2 (en) * | 2005-07-29 | 2011-11-01 | Interlink Electronics, Inc. | System and method for implementing a control function via a sensor having a touch sensitive control input surface |
| CA2621713C (en) | 2005-09-07 | 2016-01-26 | Amx Llc | Method and computer program for device configuration |
| JP4817882B2 (ja) * | 2006-02-24 | 2011-11-16 | キヤノン株式会社 | 画像処理方法及び画像処理装置 |
| JP4817881B2 (ja) * | 2006-02-24 | 2011-11-16 | キヤノン株式会社 | 画像処理方法及び画像処理装置 |
| JP2007256162A (ja) * | 2006-03-24 | 2007-10-04 | Honda Motor Co Ltd | バルブシート隙間計測装置 |
| US20110044544A1 (en) * | 2006-04-24 | 2011-02-24 | PixArt Imaging Incorporation, R.O.C. | Method and system for recognizing objects in an image based on characteristics of the objects |
| JP4813517B2 (ja) * | 2008-05-29 | 2011-11-09 | オリンパス株式会社 | 画像処理装置、画像処理プログラム、画像処理方法、および電子機器 |
| US8384739B2 (en) * | 2008-09-30 | 2013-02-26 | Konica Minolta Laboratory U.S.A., Inc. | Systems and methods for optimization of pixel-processing algorithms |
| JP5779089B2 (ja) * | 2011-12-28 | 2015-09-16 | 株式会社ドワンゴ | エッジ検出装置、エッジ検出プログラム、およびエッジ検出方法 |
| KR20140112891A (ko) * | 2013-03-14 | 2014-09-24 | 삼성전자주식회사 | 미디어 편집을 위한 영역 선택 처리 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 |
| JP5799273B2 (ja) * | 2013-10-02 | 2015-10-21 | パナソニックＩｐマネジメント株式会社 | 寸法計測装置、寸法計測方法、寸法計測システム、プログラム |
| JP7423951B2 (ja) * | 2019-09-19 | 2024-01-30 | 富士フイルムビジネスイノベーション株式会社 | 画像処理装置及び画像処理プログラム |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5019975A (en) * | 1986-08-08 | 1991-05-28 | Fuji Photo Film Co., Ltd. | Method for constructing a data base in a medical image control system |
| US4821118A (en) * | 1986-10-09 | 1989-04-11 | Advanced Identification Systems, Inc. | Video image system for personal identification |
| US5748931A (en) * | 1994-10-24 | 1998-05-05 | Infosis Group Ltd. | Information display system for simultaneously displaying graphical images and text of a publication |
| JP3189870B2 (ja) * | 1996-12-24 | 2001-07-16 | シャープ株式会社 | 画像処理装置 |
| JPH1191169A (ja) * | 1997-09-19 | 1999-04-06 | Fuji Photo Film Co Ltd | 画像処理装置 |
| DE69937476T2 (de) * | 1998-07-31 | 2008-08-28 | Canon K.K. | Bildverarbeitungsvorrichtung und -Verfahren und Speichermedium |
| US6217520B1 (en) * | 1998-12-02 | 2001-04-17 | Acuson Corporation | Diagnostic medical ultrasound system and method for object of interest extraction |
| JP2000357234A (ja) * | 1999-06-16 | 2000-12-26 | Canon Inc | 画像処理装置およびその方法 |
| US6470151B1 (en) * | 1999-06-22 | 2002-10-22 | Canon Kabushiki Kaisha | Camera, image correcting apparatus, image correcting system, image correcting method, and computer program product providing the image correcting method |
-
2000
- 2000-09-11 JP JP2000274766A patent/JP4482778B2/ja not_active Expired - Fee Related
-
2001
- 2001-09-10 US US09/950,019 patent/US6934414B2/en not_active Expired - Fee Related
-
2005
- 2005-06-03 US US11/144,296 patent/US7340097B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20020076106A1 (en) | 2002-06-20 |
| US7340097B2 (en) | 2008-03-04 |
| US6934414B2 (en) | 2005-08-23 |
| US20050226504A1 (en) | 2005-10-13 |
| JP2002092613A (ja) | 2002-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4482778B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JP3690391B2 (ja) | 画像編集装置、画像のトリミング方法、及びプログラム | |
| US20180232863A1 (en) | Enhanced Vectorization of Raster Images | |
| US20050220346A1 (en) | Red eye detection device, red eye detection method, and recording medium with red eye detection program | |
| JP2001236497A (ja) | 写真画像のクロッピングされズームされた変形を自動的に形成する方法 | |
| JP2001109895A (ja) | 複数のディジタル画像の処理方法 | |
| JP2004046632A (ja) | 画像処理装置 | |
| CN108154471A (zh) | 一种用于遥感影像拼接的方法与装置 | |
| JP2001521656A (ja) | イメージ構成のためのインテリジェント・シザーズを提供するコンピュータ・システム・プロセス及びユーザ・インターフェース | |
| US20220270232A1 (en) | Apparatus for adjusting parameter related to defect detection for image processing for image processing, method for information processing, and program | |
| JP4052128B2 (ja) | 画像トリミング装置、画像のトリミング方法、及びプログラム | |
| US6816633B1 (en) | Image retrieval apparatus and method | |
| JP4482779B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JP2001128115A (ja) | 対話型ビデオ処理環境を実施するシステムと、その記憶媒体および処理方法 | |
| KR102045753B1 (ko) | 이미지의 배경 영역에 대한 투명화 처리를 지원하는 이미지 편집 처리 장치 및 그 동작 방법 | |
| JP2000339452A (ja) | 画像抽出方法及び装置並びに記憶媒体 | |
| JP2006133874A (ja) | 画像処理方法及びその装置 | |
| JP2002208013A (ja) | 画像領域抽出装置及び画像領域抽出方法 | |
| JPH07121710A (ja) | 画像セグメンテーション方法及び装置 | |
| US20230169708A1 (en) | Image and video matting | |
| JP3719247B2 (ja) | 画像編集装置、画像のトリミング方法、及びプログラム | |
| JPH1145345A (ja) | 画像処理装置 | |
| JP2017162035A (ja) | 画像処理装置、画像処理方法、画像処理システムおよびプログラム | |
| JPH07225848A (ja) | 画像抽出方法 | |
| JP2000020687A (ja) | 画像加工装置および画像加工方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070228 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091203 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100119 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100225 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100310 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130402 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130402 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140402 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |