JP6194185B2 - 画像領域抽出方法および画像領域抽出システム - Google Patents

Description

本発明は、画像から特定の領域を抽出する画像領域抽出方法および画像領域抽出システムに関する。

従来、映画等の映像作品の製作において、例えばＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）等によって作成した背景を人物等の映像に合成する場合、一般にブルーバック方式（クロマキー方式）が使用されている。すなわち、青や緑の単一色の背景を設置して人物を撮影することによって人物のみの画像（映像）を作成し、これを他の背景画像に重ねて合成するようにしている（例えば、特許文献１参照）。

このブルーバック方式は、画像処理が比較的容易な反面、ブルーバックを用意したスタジオを確保する必要がある等、撮影に手間と費用を要するという問題があった。また、ブルーバック撮影では、撮影範囲がスタジオやブルーバックの大きさに限定されることから、動きのある映像を撮影するのが難しく、さらにスタジオでの照明方法に限界があるため、例えば自然の背景と合成したような場合に不自然な画像となってしまう場合があった。

このような問題に対し、ブルーバックを使用することなく任意の背景で撮影された画像から、人物等の特定の領域を抽出する手法が近年盛んに開発されてきており、現在ではグラフカットアルゴリズムを用いた手法が主流となっている（例えば、特許文献２参照）。

特開平１０−４２３０７号公報 特開２０１１−３４１７８号公報

しかしながら、グラフカットアルゴリズムは、画像から特定の領域を抽出するセグメンテーション問題をエネルギー最小化問題として解くものであり、大規模連立方程式の解を導出する必要があるため、計算コストが高いという問題があった。すなわち、処理を実行する際のメモリ使用量が膨大になると共に処理に多大な時間を要するため、高画質画像や動画への適用が困難なものとなっていた。

本発明は、斯かる実情に鑑み、ブルーバックを使用せずとも容易に画像から特定の領域を抽出可能な画像領域抽出方法および画像領域抽出システムを提供しようとするものである。

（１）本発明は、画像を構成する各画素の特徴情報を取得する特徴情報取得ステップと、２つの前記画素間にエッジを設定するエッジ設定ステップと、前記特徴情報に基づいて前記エッジに重み情報を設定する重み情報設定ステップと、前記画像から抽出する抽出領域外の前記画素の少なくとも１つを第１のスタート画素に設定する第１のスタート画素設定ステップと、前記抽出領域内の前記画素の少なくとも１つを第２のスタート画素に設定する第２のスタート画素設定ステップと、前記第１のスタート画素から前記各画素までの前記重み情報についての経路を算出し、第１の経路情報を前記各画素に設定する第１の経路情報設定ステップと、前記第２のスタート画素から前記各画素までの前記重み情報についての経路を算出し、第２の経路情報を前記各画素に設定する第２の経路情報設定ステップと、前記第１の経路情報および前記第２の経路情報に基づいて、前記抽出領域に属するか否かを示す領域情報を前記各画素に設定する領域情報設定ステップと、を有することを特徴とする、画像領域抽出方法である。

（２）本発明はまた、前記第１のスタート画素設定ステップでは、複数の前記画素を前記第１のスタート画素に設定し、前記第２のスタート画素設定ステップでは、複数の前記画素を前記第２のスタート画素に設定することを特徴とする、上記（１）に記載の画像領域抽出方法である。

（３）本発明はまた、前記第１のスタート画素設定ステップでは、前記抽出領域の外周線に略沿った領域に属する複数の前記画素を前記第１のスタート画素に設定し、前記第２のスタート画素設定ステップでは、前記抽出領域の外周線に略沿った領域に属する複数の前記画素を前記第２のスタート画素に設定することを特徴とする、上記（１）または（２）に記載の画像領域抽出方法である。

（４）本発明はまた、ユーザが前記画像中の前記画素を指定する入力操作を受け付ける入力操作受付ステップを有し、前記第１のスタート画素設定ステップでは、前記入力操作受付ステップで指定された前記画素を前記第１のスタート画素に設定し、前記第２のスタート画素設定ステップでは、前記入力操作受付ステップで指定された前記画素を前記第２のスタート画素に設定することを特徴とする、上記（１）乃至（３）のいずれかに記載の画像領域抽出方法である。

（５）本発明はまた、前記領域情報設定ステップでは、前記第１の経路情報から前記第２の経路情報を減じた値が第１の閾値以上の場合に、前記抽出領域に属することを示す前記領域情報を前記画素に設定することを特徴とする、上記（１）乃至（４）のいずれかに記載の画像領域抽出方法である。

（６）本発明はまた、前記領域情報設定ステップでは、前記第１の経路情報から前記第２の経路情報を減じた値が前記第１の閾値以上且つ第２の閾値未満の場合に、前記抽出領域の外周部分である外周領域に属することを示す前記領域情報を前記画素に設定することを特徴とする、上記（５）に記載の画像領域抽出方法である。

（７）本発明はまた、電子計算機から構成され、画像を構成する各画素の特徴情報を取得する特徴情報取得手段と、２つの前記画素間にエッジを設定するエッジ設定手段と、前記特徴情報に基づいて前記エッジに重み情報を設定する重み情報設定手段と、前記画像から抽出する抽出領域外の前記画素の少なくとも１つを第１のスタート画素に設定する第１のスタート画素設定手段と、前記抽出領域内の前記画素の少なくとも１つを第２のスタート画素に設定する第２のスタート画素設定手段と、前記第１のスタート画素から前記各画素までの前記重み情報についての経路を算出し、第１の経路情報を前記各画素に設定する第１の経路情報設定手段と、前記第２のスタート画素から前記各画素までの前記重み情報についての経路を算出し、第２の経路情報を前記各画素に設定する第２の経路情報設定手段と、前記第１の経路情報および前記第２の経路情報に基づいて、前記抽出領域に属するか否かを示す領域情報を前記各画素に設定する領域情報設定手段と、を有することを特徴とする、画像領域抽出システムである。

本発明に係る画像領域抽出方法および画像領域抽出システムによれば、ブルーバックを使用せずとも容易に画像から特定の領域を抽出可能という優れた効果を奏し得る。

本発明の実施形態に係る画像領域抽出システムを構成するコンピュータの内部構成を示した概略図である。 画像領域抽出システムによる画像領域抽出方法の概要を示した図である。 画像領域抽出プログラムのプログラム構成、および画像領域抽出システムの機能構成を示した概略図である。 画像領域抽出システムによる画像領域抽出方法の具体的な手法を示した概念図である。 （ａ）〜（ｃ）第１のスタート画素および第２のスタート画素の設定方法の概要を示した図である。 画像領域抽出システムによる画像領域抽出方法の手順を示したフローチャートである。 画像領域抽出システムおよび画像領域抽出方法のその他の態様の例を示した概略図である。 画像領域抽出システムおよび画像領域抽出方法のその他の態様の例を示した概略図である。 （ａ）〜（ｃ）本発明の実施例に係る画像である。 （ａ）〜（ｃ）本発明の実施例に係る画像である。

以下、本発明の実施の形態を添付図面を参照して説明する。

図１は、本実施形態に係る画像領域抽出システム１を構成するコンピュータ１０の内部構成を示した概略図である。同図に示されるように、コンピュータ（電子計算機）１０は、ＣＰＵ１２、ＲＯＭ１４、ＲＡＭ１６、補助記憶装置１８、入力装置２０、表示装置２２、入出力インタフェース２４およびバス２６を備えて構成されている。

ＣＰＵ１２は、中央演算処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、各種プログラムを実行することによって画像領域抽出システム１の各種機能を実現する。ＲＯＭ１４は、リード・オンリー・メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）であり、ＣＰＵ１２で実行される基本的なプログラムを記憶する。ＲＡＭ１６は、ランダム・アクセス・メモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であり、ＣＰＵ１２の作業領域として使用される。

補助記憶装置１８は、例えばハードディスクドライブ、光ディスクドライブ、フラッシュメモリまたはソリッド・ステート・ドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等から構成され、画像領域抽出システム１の全体的な基本動作を実現するＯＳ（Ｏｐｅｒａｔｉｏｎ Ｓｙｓｔｅｍ）プログラム、および画像から抽出領域を抽出する際にＣＰＵ１２で実行される画像領域抽出プログラムを記憶すると共に、画像等の各種データを記憶する。

入力装置２０は、例えばキーボードやマウス、タッチパネル等から構成され、ユーザからの各種情報の入力操作を受け付ける。表示装置２２は、例えば液晶ディスプレイから構成され、各種画像を表示すると共に、ユーザに対する視覚的なインタフェースを提供する。入出力インタフェース２４は、画像データ等の各種データを外部の機器とやり取りするためのインタフェースである。バス２６は、ＣＰＵ１２、ＲＯＭ１４、ＲＡＭ１６、補助記憶装置１８、入力装置２０、表示装置２２および入出力インタフェース２４等を一体的に接続して通信を行うための経路である。

図２は、画像領域抽出システム１による画像領域抽出方法の概要を示した図である。以下、同図に示されるように、適宜の背景の前で女性を撮影した画像１００から、女性が映し出された領域を抽出する場合を例として説明する。この場合、女性が映し出された領域が画像１００から抽出される抽出領域１００ａとなり、背景が映し出された領域が抽出領域外の外部領域１００ｂとなる。

画像領域抽出システム１は、まず、画像１００を構成する画素１１０のそれぞれについて、外部領域１００ｂ内のいずれかの点をスタート点Ｐ１とする最短経路情報を算出する。すなわち、各画素１１０をノード（節点）とし、距離（重み、コスト）を設定したエッジ（枝）で各画素１１０を接続することによってグラフ理論に基づく最短経路問題を解き、各画素１１０について、最短経路情報としてスタート点Ｐ１からの最短の距離（最小の重み、最小のコスト）を算出する。

この外部領域１００ｂ内をスタート点Ｐ１とする最短経路情報は、スタート点Ｐ１からの距離（重み、コスト）が遠く（大きく）なるほど値が大きくなることから、外部領域１００ｂの有する特徴からどれだけかけ離れているか、すなわち抽出領域１００ａらしさを示す量（エネルギー）と考えることができる。

次に、画像領域抽出システム１は、画像１００を構成する画素１１０のそれぞれについて、抽出領域１００ａ内のいずれかの点をスタート点Ｐ２とする最短経路情報を算出する。この抽出領域１００ａ内をスタート点Ｐ２とする最短経路情報は、抽出領域１００ａの有する特徴からどれだけかけ離れているか、すなわち外部領域１００ｂらしさを示す量（エネルギー）と考えることができる。従って、これら２つの最短経路情報を比較することにより、各画素１１０が抽出領域１００ａに属する（含まれる）か否かを判定することができる。

画像領域抽出システム１は、最後に、抽出領域１００ａに属する画素１１０のみを抽出した抽出画像２００を生成する。この抽出画像２００は、例えば他の背景画像と合成したり、立体視画像を生成する際のデプスマップ（奥行き情報のマップ）を抽出領域１００ａについてのみ生成したりする場合に使用される。以上のようにして、画像領域抽出システム１は、画像１００から抽出領域１００ａを抽出する。

図３は、補助記憶装置１８に記憶された画像領域抽出プログラムのプログラム構成、およびこの画像領域抽出プログラムをＣＰＵ１２が実行することによって実現される画像領域抽出システム１の機能構成を示した概略図である。また、図４は、画像領域抽出システム１による画像領域抽出方法の具体的な手法を示した概念図である。

図３に示されるように、画像領域抽出プログラムは、特徴情報取得プログラム、エッジ設定プログラム、重み情報設定プログラム、入力操作受付プログラム、第１のスタート画素設定プログラム、第２のスタート画素設定プログラム、第１の経路情報設定プログラム、第２の経路情報設定プログラム、領域情報設定プログラムおよび抽出画像生成プログラムから構成されている。

従って、画像領域抽出システム１は、機能構成として、特徴情報取得プログラムの実行によって実現される特徴情報取得手段５０、エッジ設定プログラムの実行によって実現されるエッジ設定手段５２、重み情報設定プログラムの実行によって実現される重み情報設定手段５４、入力操作受付プログラムの実行によって実現される入力操作受付手段５６、第１のスタート画素設定プログラムの実行によって実現される第１のスタート画素設定手段５８、第２のスタート画素設定プログラムの実行によって実現される第２のスタート画素設定手段６０、第１の経路情報設定プログラムの実行によって実現される第１の経路情報設定手段６２、第２の経路情報設定プログラムの実行によって実現される第２の経路情報設定手段６４、領域情報設定プログラムの実行によって実現される領域情報設定手段６６、および抽出画像生成プログラムの実行によって実現される抽出画像生成手段６８を備えている。

なお、画像領域抽出システム１では、画像領域抽出プログラムの各構成と各機能構成とが１対１の対応関係にあることから、以下、画像領域抽出システム１の機能構成の説明のみを行い、プログラムの説明については省略する。

特徴情報取得手段５０は、画像１００を構成する各画素１１０の特徴情報１１２を取得し、各画素１１０に対応付けてＲＡＭ１６または補助記憶装置１８に記憶する。すなわち、図４に示されるように、各画素１１０について特徴情報１１２を設定する。この特徴情報１１２は、例えば各画素１１０の色相、明度、彩度または色空間等のように、各画素１１０が単独で有している特徴的な情報の他、対象画素１１０の周囲の画素１１０との関係から導かれる特徴的な情報を利用することができる。また、複数フレーム（すなわち、複数画像）からなる動画の場合には、各画素１１０の時間的な変化（前後のフレームの同一位置の画素との関係）から導かれる特徴的な情報等を利用することも可能である。さらに、単独または複数の情報に各種演算処理を施したもの（関数）を特徴情報１１２としてもよい。

エッジ設定手段５２は、グラフ理論におけるエッジ１２０を画像１００の各画素１１０間に設定し、ＲＡＭ１６または補助記憶手段１８に記憶する。これにより、各画素１１０は、グラフ理論におけるノードとして互いにエッジ１２０で接続されることとなり、複数のノードおよびエッジからなるグラフが画像１００に設定されることとなる。

なお、本実施形態では、図４に示されるように、各画素１１０の上下方向または左右方向に隣接するもの同士を接続するようにエッジ１２０を設定するが、エッジ１２０の接続態様はこれに限定されるものではなく、例えば斜め方向（対角線方向）に隣接する画素１１０同士を接続するように、エッジ１２０を設定してもよい。また、エッジ１２０は必ずしも隣接する画素１１０同士を接続するものである必要はなく、離れた画素１１０同士を接続するようにエッジ１２０を設定してもよい。さらに、エッジ１２０の接続態様は、画像１００全域において同一である必要はなく、部分ごとに異なる接続態様のエッジ１２０を設定するようにしてもよい。

重み情報設定手段５４は、エッジ１２０の両端の画素１１０の特徴情報１１２に基づく重み情報１２２を算出し、各エッジ１２０に対応付けてＲＡＭ１６または補助記憶手段１８に記憶する。すなわち、図４に示されるように、各エッジ１２０について重み情報１２２を設定する。これにより、最短経路問題における重み（距離、コスト）が、重み情報１２２として各エッジ１２０に設定されることとなる。

本実施形態では、エッジ１２０の両端の画素１１０の特徴情報１１２の差の絶対値を重み情報１２２として算出する。従って、例えば図４に示す例では、画素１１０ａと画素１１０ｂを繋ぐエッジ１２０においては、画素１１０ａおよび画素１１０ｂの特徴情報１１２の値がそれぞれ１８および１９であるため、重み情報１２２は、｜１８−１９｜＝１となる。また、画素１１０ｄと画素１１０ｇを繋ぐエッジ１２０においては、画素１１０ｄおよび画素１１０ｇの特徴情報１１２の値がそれぞれ１４および１１であるため、重み情報１２２は、｜１４−１１｜＝３となる。

なお、重み情報１２２の算出方法はこれに限定されるものではなく、両端の画素１１０の特徴情報１１２にその他の演算処理を施したものを重み情報１２２とするようにしてもよい。

入力操作受付手段５６は、ユーザが入力装置２０によって画像１００中の画素１１０を指定する入力操作を受け付ける。第１のスタート画素設定手段５８は、入力操作受付手段５６が受け付けた入力操作により指定された画素１１０を、最短経路問題におけるスタート点である第１のスタート画素１３０に設定する。同様に、第２のスタート画素設定手段６０は、入力操作受付手段５６が受け付けた入力操作により指定された画素１１０を、第２のスタート画素１３２に設定する。ここで、第１のスタート画素１３０は、外部領域１００ｂ内のスタート点（図２におけるスタート点Ｐ１）であり、第２のスタート画素１３２は、抽出領域１００ａ内のスタート点（図２におけるスタート点Ｐ２）である。

図５（ａ）〜（ｃ）は、第１のスタート画素１３０および第２のスタート画素１３２の設定方法の概要を示した図である。具体的に、第１のスタート画素設定手段５８は、例えば表示装置２２に画像１００と共にメッセージを表示する等して、まず第１のスタート画素１３０の指定をユーザに促す。そして、ユーザがマウスやタッチペン等の入力装置２０によって第１の設定領域１００ｃを指定する入力操作を行い、入力操作受付手段５６がこれを受け付けたならば、同図（ａ）に示されるように、指定された第１の設定領域１００ｃに属する画素１１０の全てを第１のスタート画素１３０に設定し、ＲＡＭ１６または補助記憶手段１８に記憶する。

第２のスタート画素設定手段６０は、第１のスタート画素１３０が設定された後に、例えば表示装置２２に画像１００およびメッセージを表示する等して、第２のスタート画素１３２の指定をユーザに促す。そして、入力操作受付手段５６がマウスやタッチペン等の入力装置２０により第２の設定領域１００ｄを指定するユーザの入力操作を受け付けたならば、同図（ａ）に示されるように、指定された第２の設定領域１００ｄに属する画素１１０の全てを第２のスタート画素１３２に設定し、ＲＡＭ１６または補助記憶手段１８に記憶する。

第１の設定領域１００ｃおよび第２の設定領域１００ｄの指定は、同図（ａ）または（ｂ）に示されるように、マウスポインタやタッチペン等の軌跡を所定の幅で第１の設定領域１００ｃおよび第２の設定領域１００ｄとするようにしてもよいし、同図（ｃ）に示されるように、マウスポインタやタッチペン等の軌跡によって囲まれた領域を第１の設定領域１００ｃおよび第２の設定領域１００ｄとするようにしてもよい。また、第１の設定領域１００ｃおよび第２の設定領域１００ｄは、同図（ｂ）に示されるように、それぞれ１つの領域として指定されるものであってもよいし、同図（ａ）または（ｃ）に示されるように、複数の領域に分けて指定されるものであってもよい。

本実施形態では、ユーザに第１の設定領域１００ｃおよび第２の設定領域１００ｄを指定させ、第１のスタート画素１３０および第２のスタート画素１３２をそれぞれ複数設定することにより、抽出領域１００ａの抽出の精度を高めるようにしている。すなわち、第１のスタート画素１３０は外部領域１００ｂらしさ（外部領域１００ｂの特徴）の基準となる画素１１０であり、第２のスタート画素１３２は抽出領域１００ａらしさ（抽出領域１００ａの特徴）の基準となる画素１１０であるところ、様々な特徴情報１１２を有する複数の画素１１０を第１のスタート画素１３０および第２スタート画素１３２に設定することにより、外部領域１００ｂ内および抽出領域１００ａ内における特徴の変動を適宜にならすことができるため、外部領域１００ｂにおける略平均的な特徴および抽出領域１００ａにおける略平均的な特徴を基準（スタート点）とすることが可能となる。

また、抽出領域１００ａを高精度に抽出するということが抽出領域１００ａの外周線（輪郭線）１００ａ１、すなわち抽出領域１００ａと外部領域１００ｂの境界線をいかに高精度に決定するかということである点を考慮すると、第１の設定領域１００ｃおよび第２の設定領域１００ｄは、同図（ｂ）に示されるように、抽出領域１００ａの外周線１００ａ１に略沿った領域であることが好ましい。

このように、複数の第１のスタート画素１３０および複数の第２スタート画素１３２を、抽出領域１００ａの外周線１００ａ１に略沿った状態でそれぞれ配置することにより、これらのスタート点から抽出領域１００ａの外周線１００ａ１近傍の画素１１０までの最短経路が複雑に迂回した経路となる可能性を低減することができる。すなわち、抽出領域１００ａの外周線１００ａ１近傍の画素１１０についての最短経路の算出において、画像１００中の局所的な特徴の乱れによる影響を低減し、適切な最短経路を算出することが可能となる。

なお、第１のスタート画素１３０および第２のスタート画素１３２は、ユーザの入力操作に基づいて設定されるものでなくてもよく、第１のスタート画素設定手段５８および第２のスタート画素設定手段６０によって自動的に選択されるものであってもよい。すなわち、例えば所定の特徴を示す領域をパターンマッチング等によって探索し、その領域に属する画素１１０を第１のスタート画素１３０または第２のスタート画素１３２に設定するようにしてもよいし、例えば画像の角部や中央部等、所定の位置にある領域に属する画素１１０を第１のスタート画素１３０または第２のスタート画素１３２に設定するようにしてもよい。また、複数フレームからなる動画の場合には、前フレームにおける第１のスタート画素１３０および第２のスタート画素１３２と同一位置、または同一もしくは類似の特徴を示す領域に属する画素１１０を第１のスタート画素１３０および第２のスタート画素１３２とするようにしてもよい。

図３および４に戻って、第１の経路情報設定手段６２は、第１のスタート画素１３０をスタート点とする最短経路情報である第１の経路情報１１４を各画素１１０について算出し、各画素１１０に対応付けてＲＡＭ１６または補助記憶手段１８に記憶する。具体的に、第１の経路情報設定手段６２は、第１のスタート画素１３０をスタート点とする最短経路、すなわち重み情報１２２の総和が最小となる経路を各画素１１０について求め、この最短経路における重み情報１２２の総和を各画素１１０の第１の経路情報１１４として設定する。これにより、図４に示されるように、各画素１１０について第１の経路情報１１４が設定される。なお、第１の経路情報設定手段６２は、第１のスタート画素１３０に設定された画素１１０については、第１の経路情報１１４として０を設定する。

図４に示す例では、画素１１０ｃが第１のスタート画素１３０であるため、画素１１０ｃについては、第１の経路情報１１４として０が設定される。また、例えば画素１１０ｂおよび画素１１０ｆについては、第１のスタート画素１３０からの経路が１つのみであるため、第１のスタート画素１３０との間のエッジ１２０の重み情報１２２である１１および３がそれぞれ第１の経路情報１１４として設定される。

また、例えば画素１１０ｅについては、第１のスタート画素１３０からの経路は、画素１１０ｂのみを経由する経路および画素１１０ｆのみを経由する経路を始め、複数種類がある。このうち、画素１１０ｂのみを経由する経路のエッジ１２０の重み情報１２２の総和は、１１＋９＝２０であり、画素１１０ｆのみを経由する経路のエッジ１２０の重み情報１２２の総和は、３＋５＝８である。また、その他の経路については、例えば画素１１０ｆ、画素１１０ｉおよび画素１１０ｈを経由する経路のエッジ１２０の重み情報１２２の総和が３＋１＋４＋２＝１０であるように、重み情報１２２の総和が８より小さくなる経路はない。従って、最短経路は画素１１０ｆのみを経由する経路となり、画素１１０ｅについては、第１の経路情報１１４として８が設定される。

第１の経路情報設定手段６２は、このようにして各画素１１０について第１の経路情報１１４を算出して設定する。第１の経路情報１１４の算出は、例えばダイクストラ法やプリム法等、既知の各種手法を採用することができる。また、最小となる重み情報１２２の総和をそのまま第１の経路情報１１４に設定するのではなく、例えば所定の係数を乗ずる等、最小となる重み情報１２２の総和に適宜の演算処理を施したものを第１の経路情報１１４とするようにしてもよい。

なお、第１のスタート画素１３０を複数設定した場合には、例えば複数の第１のスタート画素１３０のうちのいずれか１つをスタート点とし、第１のスタート画素１３０同士の間のエッジ１２０に設定された重み情報１２２を加算しない（０として扱う）ようにすることで、複数の第１のスタート画素１３０をスタート点としたときと同じ第１の経路情報１１４を算出することができる。この場合、第１のスタート画素設定手段５８によって第１のスタート画素１３０が設定された後に、第１のスタート画素１３０同士の間のエッジ１２０に設定された重み情報１２２を、重み情報設定手段５４が予め０に変更しておくようにしてもよい。

また、第１のスタート画素１３０を複数の領域に分けて設定した場合には、例えば各領域をエッジ１２０で繋ぐことで、複数の領域を１つの領域として取り扱うことができる。具体的には、例えば第１のスタート画素１３０を２つの領域に分けて設定した場合には、一方の領域内の第１のスタート画素１３０のいずれか１つと、他方の領域内の第１のスタート画素１３０のいずれか１つとの間に、重み情報１２２が０のエッジ１２０を設定することで、複数の第１のスタート画素１３０を１つの領域内に設定したものとして取り扱うことができる。また、第１のスタート画素１３０を複数の領域に分けて設定した場合には、各領域をスタート点とする最短経路をそれぞれ求め、このうち最小のものを第１の経路情報１１４として設定するようにしてもよい。

第２の経路情報設定手段６４は、第２のスタート画素１３２をスタート点とする最短経路情報である第２の経路情報１１６を各画素１１０について算出し、各画素１１０に対応付けてＲＡＭ１６または補助記憶手段１８に記憶する。具体的に、第２の経路情報設定手段６４は、第２のスタート画素１３２をスタート点とし、重み情報１２２の総和が最小となる経路を各画素１１０について求め、この最短経路における重み情報１２２の総和を各画素１１０の第２の経路情報１１６として設定する。また、第２の経路情報設定手段６４は、第２のスタート画素１３２に設定された画素１１０については、第２の経路情報１１６として０を設定する。

図４に示す例では、第２のスタート画素１３２に設定された画素１１０ａについては、第２の経路情報１１６として０が設定される。また、例えば画素１１０ｃについては、画素１１０ｂのみを経由する経路が最短経路となるため、１＋１１＝１２が第２の経路情報１１６として設定される。また、例えば画素１１０ｈについては、画素１１０ｄおよび画素１１０ｇを経由する経路、ならびに画素１１０ｄおよび画素１１０ｅを経由する経路が最短経路となるため、４＋３＋３＝４＋４＋２＝１０が第２の経路情報１１６として設定される。

第２の経路情報１１６の算出は、第１の経路情報１１４の算出と同様に、例えばダイクストラ法やプリム法等、既知の各種手法を採用することができる。なお、第１の経路情報１１４の算出および第２の経路情報１１６の算出は、同一の手法を用いてもよいし、異なる手法を用いてもよい。また、最小となる重み情報１２２の総和をそのまま第２の経路情報１１６に設定するのではなく、最小となる重み情報１２２の総和に適宜の演算処理を施したものを第２の経路情報１１６とするようにしてもよい。この場合、第１の経路情報１１４の算出および第２の経路情報１１６の算出のいずれか一方においてのみ演算処理を施すようにしてもよいし、第１の経路情報１１４の算出および第２の経路情報１１６の算出においてそれぞれ異なる演算処理を施すようにしてもよい。

また、第２のスタート画素１３２を複数設定した場合には、第１のスタート画素１３０と同様に、例えば複数の第２のスタート画素１３２のうちのいずれか１つをスタート点とし、第２のスタート画素１３２同士の間のエッジ１２０に設定された重み情報１２２を加算しない（０として扱う）ようにすることで、複数の第２のスタート画素１３２をスタート点としたときと同じ第２の経路情報１１６を算出することができる。この場合、第２のスタート画素設定手段６０によって第２のスタート画素１３２が設定された後に、第２のスタート画素１３２同士の間のエッジ１２０に設定された重み情報１２２を、重み情報設定手段５４が予め０に変更しておくようにしてもよい。

また、第２のスタート画素１３２を複数の領域に分けて設定した場合には、第１のスタート画素１３０と同様に、例えば各領域を重み情報１２２が０のエッジ１２０で繋ぐことで、複数の領域を１つの領域として取り扱うことができる。また、第２のスタート画素１３２を複数の領域に分けて設定した場合には、各領域をスタート点とする最短経路をそれぞれ求め、このうち最小のものを第２の経路情報１１６として設定するようにしてもよい。

領域情報設定手段６６は、第１の経路情報１１４および第２の経路情報１１６に基づいて各画素１１０が抽出領域１００ａに属するか否かを判定し、抽出領域１００ａに属するか否かを示す領域情報１１８を、各画素１１０に対応付けてＲＡＭ１６または補助記憶手段１８に記憶する。上述のように、第１の経路情報１１４は外部領域１００ｂ内をスタート点とするものであることから、抽出領域１００ａらしさを示す量として考えることができ、第２の経路情報１１６は抽出領域１００ａ内をスタート点とするものであることから、外部領域１００ｂらしさを示す量として考えることができる。

従って、本実施形態では、第１の経路情報１１４から第２の経路情報１１６を減じた値が第１の閾値以上の場合、すなわち抽出領域１００ａらしさが勝るとみなせる場合には、その画素１１０について抽出領域１００ａに属する旨を示す情報を領域情報１１８として設定する。また、第１の経路情報１１４から第２の経路情報１１６を減じた値が第１の閾値未満の場合、すなわち外部領域１００ｂらしさが勝るとみなせる場合には、その画素１１０について抽出領域１００ａに属さない旨を示す情報を領域情報１１８として設定する。なお、本実施形態では、第１の閾値を０に設定しているが、例えば１や０．５、−１等、その他の値に第１の閾値を設定するようにしてもよい。

図４に示す例では、第１の経路情報１１４から第２の経路情報１１６を減じた値が０以上となる画素１１０ａ、画素１１０ｂ、画素１１０ｄ、画素１１０ｅおよび画素１１０ｇについては、領域情報１１８として抽出領域１００ａに属する旨を示す情報が設定される。また、第１の経路情報１１４から第２の経路情報１１６を減じた値が０未満となる画素１１０ｃ、画素１１０ｆ、画素１１０ｈおよび画素１１０ｉについては、領域情報１１８として抽出領域１００ａに属さない旨を示す情報が設定される。

なお、第１の経路情報１１４から第２の経路情報１１６を減じた値を第１の閾値と比較するのではなく、例えば第１の経路情報１１４を第２の経路情報１１６で除した値を第１の閾値と比較するようにしてもよい。また、例えば第１の経路情報１１４に第１の係数をかけた値から第２の経路情報１１６に第２の係数をかけた値を減じて得られる値等、第１の経路情報１１４および第２の経路情報１１６にその他の演算処理を施した結果（関数）の値に基づいて、画素１１０が抽出領域１００ａに属するか否かを判定するようにしてもよい。

抽出画像生成手段６８は、画像１００から抽出領域１００ａを抽出して、抽出画像２００を生成する。具体的には、画像１００を構成する各画素１１０のうち、領域情報１１８が抽出領域１００ａに属する旨を示す情報となっている画素１１０を抽出し、新たな画像として抽出画像２００を生成する。抽出画像２００の外部領域１００ｂに対応する部分には、例えば単一色または所定のパターンの画素１１０が必要に応じて設定される。なお、画像領域抽出システム１は領域情報１１８の設定までを行い、抽出画像２００の生成は外部の他の装置が領域情報１１８に基づいて行うようにしてもよい。すなわち、画像領域抽出システム１は、抽出画像生成手段６８を備えないものであってもよい。

次に、画像領域抽出システム１による画像領域抽出方法の手順を、動画の場合を例にして説明する。図６は、画像領域抽出システム１による画像領域抽出方法の手順を示したフローチャートである。

まず、ステップＳ１０では、入出力インタフェース２４を介して、複数の画像（フレーム）１００から構成される動画を外部の記憶装置等から入力し、補助記憶装置１８に登録（記憶）する（画像登録ステップ）。次に、ステップＳ１２では、特徴情報取得手段５０が、補助記憶装置１８に登録した動画から最初の画像（フレーム）１００を選択し、選択した画像１００を構成する各画素１１０の特徴情報１１２を取得する（特徴情報取得ステップ）。

なお、本実施形態では、各画素１１０の色相または明度等のいずれの特徴を特徴情報１１２とするか、および特徴情報１１２の算出に用いる係数等を予め設定しておくようにしているが、ステップＳ１２において、最初の画像１００を選択した際にこれを表示装置２２に表示する等した上で、ユーザの入力操作によって特徴情報１１２とする特徴および係数等を設定するようにしてもよい。

次に、ステップＳ１４では、２つの画素１１０の間にエッジ１２０を設定する（エッジ設定ステップ）。次に、ステップＳ１６では、ステップＳ１２で取得した特徴情報１１２に基づいて、各エッジ１２０に重み情報を設定する（重み情報設定ステップ）。

次に、ステップＳ１８では、第１のスタート画素１３０を設定する（第１のスタート画素設定ステップ）。次に、ステップＳ２０では、第２のスタート画素１３２を設定する（第２のスタート画素設定ステップ）。本実施形態では、ステップＳ１８およびＳ２０において、動画の最初の画像１００（１フレーム目）については、ユーザが第１の設定領域１００ｃまたは第２の設定領域１００ｄを指定する入力操作を入力操作受付手段５６が受け付ける入力操作受付ステップを設け、入力操作受付手段５６が受け付けたユーザの入力操作に基づいて第１のスタート画素１３０および第２のスタート画素１３２を設定するが、２番目以後の画像１００（２フレーム目以後）については、前フレームにおける第１のスタート画素１３０および第２のスタート画素１３２に基づいて第１のスタート画素１３０および第２のスタート画素１３２を設定する。

なお、前フレームにおける第１のスタート画素１３０および第２のスタート画素１３２に基づいて第１のスタート画素１３０および第２のスタート画素１３２を設定した場合には、ステップＳ１８およびＳ２０において表示装置２２にこれを表示する等して、第１のスタート画素１３０および第２のスタート画素１３２の設定をユーザに確認させるようにしてもよい。さらに、必要であれば、ステップＳ１８およびＳ２０において入力操作を受け付け、ユーザが第１のスタート画素１３０および第２のスタート画素１３２を入力操作によって再設定できるようにしてもよい。

次に、ステップＳ２２では、第１のスタート画素１３０からエッジ１２０の重み情報１２２の累積値が最小となる最短経路を各画素１１０について求め、最小となる重み情報１２２の累積値を第１の経路情報１１４として各画素１１０に設定する（第１の経路情報設定ステップ）。次に、ステップＳ２４では、第２のスタート画素１３２からエッジ１２０の重み情報１２２の累積値が最小となる最短経路を各画素１１０について求め、最小となる重み情報１２２の累積値を第２の経路情報１１６として各画素１１０に設定する（第２の経路情報設定ステップ）。

次に、ステップＳ２６では、ステップＳ２２で設定した第１の経路情報１１４、およびステップＳ２４で設定した第２の経路情報１１６に基づいて、各画素１１０が抽出領域１００ａに属するか否かを判定し、判定結果に基づいて各画素１１０について領域情報１１８を設定する（領域情報設定ステップ）。次に、ステップＳ２８では、ステップＳ２６で設定した領域情報１１８に基づいて画像１００から抽出領域１００ａを抽出し、抽出画像２００を生成する（抽出画像生成ステップ）。

なお、ステップＳ２８では、抽出画像２００を表示装置２２に表示する等して、ユーザにこれを確認させるようにしてもよい。さらにその後、ユーザの選択に応じてステップＳ１２またはＳ１８もしくはＳ２０に戻り、特徴情報１１２の設定、または第１のスタート画素１３０もしくは第２のスタート画素１３２の設定からやり直すようにしてもよい。

また、本実施形態では、第１の閾値を予め０に設定しておくようにしているが、ステップＳ２８において抽出画像２００の表示後に第１の閾値をユーザの入力操作によって変更可能とし、第１の閾値の変更後にステップＳ２６に戻って領域情報１１８の設定をやり直すようにしてもよい。同様に、ステップＳ２８において第１の経路情報１１４および第２の経路情報１１６に施す演算処理の内容を変更した上で、ステップＳ２８に戻って領域情報１１８の設定をやり直すようにしてもよい。

次に、ステップＳ３０では、補助記憶装置１８に登録した動画における全ての画像（フレーム）１００について抽出画像２００を生成したか否かを判定する。全ての画像１００について抽出画像２００を生成した場合には処理を終了し、そうでない場合にはステップＳ１２に戻って次の画像（フレーム）１００について、上記処理を実行する。画像領域抽出システム１は、以上の手順により、動画を構成する各画像（フレーム）１００から抽出領域１００ａを抽出した抽出画像２００を生成する。

次に、画像領域抽出システム１および画像領域抽出システム１による画像領域抽出方法のその他の態様について説明する。図７（ａ）および（ｂ）ならびに図８は、画像領域抽出システム１および画像領域抽出システム１による画像領域抽出方法のその他の態様の例を示した概略図である。

図７（ａ）は、抽出領域１００ａを、外周線１００ａ１に沿った外周部分である外周領域１００ａ２と、外周領域１００ａ２の内側の部分である内側領域１００ａ３とに分けて抽出するようにした場合の一例を示している。この場合、領域情報設定手段６６は、第１の閾値よりも大きい値である第２の閾値を設定し、第１の経路情報１１４から第２の経路情報１１６を減じた値が第１の閾値以上且つ第２の閾値未満であるならば、その画素１１０について抽出領域１００ａにおける外周領域１００ａ２である旨を示す情報を領域情報１１８として設定する。また、第１の経路情報１１４から第２の経路情報１１６を減じた値が第１の閾値以上且つ第２閾値以上であるならば、その画素１１０について抽出領域１００ａにおける内側領域１００ａ３である旨を示す情報を領域情報１１８として設定する。

このように、抽出領域１００ａを外周領域１００ａ２および内側領域１００ａ３に分けて抽出することで、例えば、抽出領域１００ａを他の背景と合成する場合に、外周領域１００ａ２を適宜にぼかす等して他の背景に自然になじませることが可能となる。また、外周領域１００ａ２を適宜にぼかすようにすることで、抽出領域１００ａの抽出精度が低い場合にも、これを目立たせないようにすることができる。

なお、外周領域１００ａ２の幅は、第２の閾値の設定によって適宜に調整することができる。また、この場合においても、第１の経路情報１１４から第２の経路情報１１６を減じるのではなく、第１の経路情報１１４および第２の経路情報１１６にその他の演算処理を施した結果の値を第１の閾値および第２の閾値と比較するようにしてもよいことは言うまでもない。

図７（ｂ）は、画像１００の全ての画素１１０について第１の経路情報１１４および第２の経路情報１１６を算出するのではなく、必要な領域に属する画素１１０についてのみ第１の経路情報１１４および第２の経路情報１１６を算出するようにした場合の一例を示している。この場合、第１のスタート画素設定手段５８および第２のスタート画素設定手段６０は、ユーザの入力操作等に伴い、第１のスタート画素１３０を設定する第１の設定領域１００ｃ、および第２のスタート画素１３２を設定する第２の設定領域１００ｄを抽出領域１００ａの外周線１００ａ１の全域に略沿うように設定する。

そして、第１の経路情報設定手段６２および第２の経路情報設定手段６４は、第１の設定領域１００ｃおよび第２の設定領域１００ｄならびに両者の間の領域（同図（ｂ）において斜線で示す領域）を、第１の経路情報１１４および第２の経路情報１１６を算出する経路算出領域１００ｅに設定し、この経路算出領域１００ｅに属する画素１１０についてのみ第１の経路情報１１４および第２の経路情報１１６を算出して設定する。

また、領域情報設定手段６６は、経路算出領域１００ｅに属する画素１１０については第１の経路情報１１４および第２の経路情報１１６に基づいて領域情報１１８を設定すると共に、経路算出領域１００ｅに属さない画素１１０については、例えば経路算出領域１００ｅのいずれの側に位置するかに基づいて領域情報１１８を設定する。すなわち、経路算出領域１００ｅの第２の設定領域１００ｄ側（第２のスタート画素１３２側）に位置する画素１１０については、抽出領域１００ａに属する旨の情報を領域情報１１８として設定し、経路算出領域１００ｅの第１の設定領域１００ｃ側（第１のスタート画素１３０側）に位置する画素１１０については、抽出領域１００ａに属さない旨の情報を領域情報１１８として設定する。

このようにすることで、最も時間を要する第１の経路情報１１４および第２の経路情報１１６の算出を、抽出領域１００ａの外周線１００ａ１の近傍の画素１１０についてのみ行うようにすることができるため、処理時間を短縮することが可能となる。すなわち、画像１００からの抽出領域１００ａの抽出を、より効率的且つ高速に行うことができる。

図８は、動画において前後のフレームと比較することによって各画素１１０または各エッジ１２０に設定された各情報１１２、１１４、１１６、１１８または１２２を補正するようにした場合の一例を示している。同図に示されるように、前後のフレームにおける同一位置、または同一もしくは類似の特徴を示す領域に属する画素１１０同士またはエッジ１２０同士を比較することにより、特徴情報１１２、第１の経路情報１１４、第２の経路情報１１６、領域情報１１８または重み情報１２２を補正するようにしてもよい。

この場合、図６に示したステップごとに前のフレームと比較しながら各情報１１２、１１４、１１６、１１８または１２２を補正するようにしてもよいし、動画を構成する全ての画像（フレーム）１００の全ての画素１１０について、各情報１１２、１１４、１１６、１１８または１２２を一旦設定した後に、前後のフレームを比較して値を補正するようにしてもよい。また、比較するフレームの数は特に限定されるものではなく、前後２つのフレーム同士を比較するようにしてもよいし、３つ以上のフレームを比較するようにしてもよい。

このように、前後のフレームを比較して特徴情報１１２、第１の経路情報１１４、第２の経路情報１１６、領域情報１１８または重み情報１２２を補正することにより、例えば時間の経過に伴う光の当り方の変化等に起因する特徴の変化を補正することができるため、抽出領域１００ａの抽出精度をより高めることが可能となる。なお、特徴情報１１２、第１の経路情報１１４、第２の経路情報１１６、領域情報１１８および重み情報１２２の全てについて前後フレームの比較による補正を行うようにしてもよいし、いずれか選択したものについてのみ前後フレームの比較による補正を行うようにしてもよいことは言うまでもない。

以上説明したように、本実施形態に係る画像領域抽出方法は、画像１００を構成する各画素１１０の特徴情報１１２を取得する特徴情報取得ステップＳ１２と、２つの画素１１０間にエッジ１２０を設定するエッジ設定ステップＳ１４と、特徴情報１１２に基づいてエッジ１２０に重み情報１２２を設定する重み情報設定ステップＳ１６と、画像１００から抽出する抽出領域１００ａ外の画素１１０の少なくとも１つを第１のスタート画素１３０に設定する第１のスタート画素設定ステップＳ１８と、抽出領域１００ａ内の画素１００の少なくとも１つを第２のスタート画素１３２に設定する第２のスタート画素設定ステップＳ２０と、第１のスタート画素１３０から各画素１１０までの重み情報１２２についての経路を算出し、第１の経路情報１１４を各画素１１０に設定する第１の経路情報設定ステップＳ２２と、第２のスタート画素１３２から各画素１１０までの重み情報１２２についての経路を算出し、第２の経路情報１１６を各画素１１０に設定する第２の経路情報設定ステップＳ２４と、第１の経路情報１１４および第２の経路情報１１６に基づいて、抽出領域１００ａに属するか否かを示す領域情報１１８を各画素１１０に設定する領域情報設定ステップＳ２６と、を有している。

また、本実施形態に係る画像領域抽出システム１は、電子計算機（コンピュータ）１０から構成され、画像１００を構成する各画素１１０の特徴情報１１２を取得する特徴情報取得手段５０と、２つの画素１１０間にエッジ１２０を設定するエッジ設定手段５２と、特徴情報１１２に基づいてエッジ１２０に重み情報１２２を設定する重み情報設定手段５４と、画像１００から抽出する抽出領域１００ａ外の画素１１０の少なくとも１つを第１のスタート画素１３０に設定する第１のスタート画素設定手段５８と、抽出領域１００ａ内の画素１１０の少なくとも１つを第２のスタート画素１３２に設定する第２のスタート画素設定手段６０と、第１のスタート画素１３０から各画素１１０までの重み情報１２２についての経路を算出し、第１の経路情報１１４を各画素１１０に設定する第１の経路情報設定手段６２と、第２のスタート画素１３２から各画素１１０までの重み情報１２２についての経路を算出し、第２の経路情報１１６を各画素１１０に設定する第２の経路情報設定手段６４と、第１の経路情報１１４および第２の経路情報１１６に基づいて、抽出領域１００ａに属するか否かを示す領域情報１１８を各画素１１０に設定する領域情報設定手段６６と、を有している。

このような構成とすることで、ブルーバックを使用せずとも容易に画像１００から特定の抽出領域１００ａを抽出することができる。すなわち、任意の背景で通常どおりに撮影した画像１００から、例えば人物等を容易に抽出することができる。また、画像１００から抽出領域１００ａを抽出するセグメンテーション問題を最短経路問題として解くため、従来のグラフカットアルゴリズムを用いた手法等と比較して計算コストを低減することができる。

また、セグメンテーション問題を最短経路問題として解くことから、例えば画像１００に含まれる一部の画素１１０を修正したような場合においても、関連する画素１１０についてのみ再計算を行えば、解を求めることができる。すなわち、グラフカットアルゴリズムのように画像１００全域にわたる大規模連立方程式を解く場合には、画像１００の画素１１０を１つでも修正した後は全ての計算をやり直す必要があるところ、本実施形態ではそのような必要がないため、抽出精度および汎用性をより高めると共に、ユーザにとっての使いやすさを向上させることが可能となっている。

また、第１のスタート画素設定ステップＳ１８では、複数の画素１１０を第１のスタート画素１３０に設定し、第２のスタート画素設定ステップＳ２０では、複数の画素１１０を第２のスタート画素１３２に設定する。このようにすることで、外部領域１００ｂおよび抽出領域１００ａにおける略平均的な特徴を基準（スタート点）とすることが可能となるため、抽出領域１００ａの抽出精度を高めることができる。

また、第１のスタート画素設定ステップＳ１８では、抽出領域１００ａの外周線１００ａ１に略沿った領域（第１の設定領域１００ｃ）に属する複数の画素１１０を第１のスタート画素１３０に設定し、第２のスタート画素設定ステップＳ２０では、抽出領域１００ａの外周線１００ａ１に略沿った領域（第２の設定領域１００ｄ）に属する複数の画素１１０を第２のスタート画素１３２に設定するようにしてもよい。このようにすることで、第１の経路情報１１４および第２の経路情報１１６の算出において、画像１００中の局所的な特徴の乱れによる影響を低減し、抽出領域１００ａの抽出精度を高めることができる。また、第１のスタート画素１３０および第２のスタート画素１３２の間の画素１１０についてのみ第１の経路情報１１４および第２の経路情報１１６を算出するようにすれば、計算コストをさらに低減することができる。

また、本実施形態に係る画像領域抽出方法は、ユーザが画像１００中の画素１１０を指定する入力操作を受け付ける入力操作受付ステップを有し、第１のスタート画素設定ステップＳ１８では、入力操作受付ステップで指定された画素１１０を第１のスタート画素１３０に設定し、第２のスタート画素設定ステップＳ２０では、入力操作受付ステップで指定された画素１１０を第２のスタート画素１３２に設定する。このようにすることで、第１のスタート画素１３０および第２のスタート画素１３２を容易且つ適切に設定すると共に、容易に修正可能とすることができる。

また、領域情報設定ステップＳ２６では、第１の経路情報１１４から第２の経路情報１１６を減じた値が第１の閾値以上の場合に、抽出領域１００ａに属することを示す領域情報１１８を画素１１０に設定する。このようにすることで、抽出領域１００ａらしさが勝る領域を明確に特定して抽出すると共に、第１の閾値の設定によって抽出精度を調整することができる。

また、領域情報設定ステップＳ２６では、第１の経路情報１１４から第２の経路情報１１６を減じた値が第１の閾値以上且つ第２の閾値未満の場合に、抽出領域１００ａの外周部分である外周領域１００ａ２に属することを示す領域情報１１８を画素１１０に設定するようにしてもよい。このようにすることで、他の背景画像等と合成する際の処置が最も重要となる抽出領域１００ａの外周部分を、抽出時に予め外周領域１００ａ２として特定しておくことができるため、抽出領域１００ａの合成処理を容易にすると共に、合成画像の品質を向上させることができる。

以上、本発明の実施の形態について説明したが、本発明の画像領域抽出方法および画像領域抽出システムは、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

例えば、画像領域抽出システム１は、単一のコンピュータ１０から構成されるものに限定されるものではなく、複数のコンピュータ１０から構成されるものであってもよい。さらにこの場合、複数のコンピュータ１０は、インターネットを介して互いに接続されるものであってもよい。

また、抽出領域１００ａは、人物が映し出された領域に限定されるものではなく、その他の人工物や自然物が映し出された領域であってもよい。また、画像１００の内容によっては、第１のスタート画素１３０または第２のスタート画素１３２を１つだけ設定するようにしてもよい。

また、抽出領域１００ａは１つに限定されるものではなく、画像１００から複数の抽出領域１００ａをまとめて抽出するようにしてもよい。この場合、複数の抽出領域１００ａ内にそれぞれ第２のスタート画素１３２を設定するようにすればよい。また、２つ目の抽出領域１００ａについては第３のスタート画素を設定し、第２の経路情報１１６とは異なる第３の経路情報を算出するようにしてもよい。

また、上記実施形態において示した作用および効果は、本発明から生じる最も好適な作用および効果を列挙したものに過ぎず、本発明による作用および効果は、これらに限定されるものではない。

上記実施形態の画像領域抽出システム１を使用して静止画である画像１００から抽出領域１００ａを抽出し、抽出画像２００を生成した。図９（ａ）〜（ｃ）および図１０（ａ）〜（ｃ）は、本実施例に係る画像である。

具体的には、図９（ａ）は画像１００であり、同図（ｂ）は第１のスタート画素１３０の設定を示した画像１００であり、同図（ｃ）は第２のスタート画素１３２の設定を示した画像１００である。また、図１０（ａ）は第１の経路情報１１４の分布を示した第１の経路情報マップ２１０であり、同図（ｂ）は第２の経路情報１１６の分布を示した第２の経路情報マップ２２０であり、同図（ｃ）は抽出画像２００である。

図９（ａ）に示されるように、画像１００にはベンチの前に立つ女性を被写体としたものを使用し、女性が映し出された領域を抽出領域１００ａとした。第１のスタート画素１３０（第１の設定領域１００ｃ）は、同図（ｂ）に示されるように、抽出領域１００ａの外周線１００ａ１の外側にラフに沿うように設定した。同様に、第２のスタート画素１３２は、同図（ｃ）に示されるように、抽出領域１００ａの外周線１００ａ１の内側にラフに沿うように設定した。

第１の経路情報マップ２１０および第２の経路情報マップ２２０は、第１の経路情報１１４および第２の経路情報１１６をグレースケールの階調に変換して画像として表示したマップであり、値が大きいほど白く（明るく）表示されるようになっている。図１０（ａ）に示されるように、抽出領域１００ａらしさの分布を示す第１の経路情報マップ２１０では、抽出領域１００ａが比較的明るく表示され、外部領域１１０ｂが比較的暗く表示されている。しかしながら、第１の経路情報マップ２１０においては、抽出領域１００ａ内に比較的暗い部分が存在すると共に、外部領域１００ｂ内に比較的明るい部分が存在しており、第１の経路情報１１４だけでは、抽出領域１００ａの正確な抽出は困難であることが予想される。

同様に、外部領域１００ｂらしさの分布を示す第２の経路情報マップ２２０では、同図（ｂ）に示されるように、外部領域１００ｂが比較的明るく表示され、抽出領域１００ａが比較的暗く表示されているが、やはり、外部領域１００ｂ内に比較的暗い部分が存在し、抽出領域１００ａ内に比較的明るい部分が存在している。このため、第２の経路情報１１６だけでは、抽出領域１００ａの正確な抽出は困難であることが予想される。

一方、第１の経路情報マップ２１０と第２の経路情報マップ２２０を対比して見ると、第１の経路情報マップ２１０の抽出領域１００ａにおける比較的暗い部分は、第２の経路情報マップ２２０においても比較的暗い部分となっており、また、第１の経路情報マップ２１０の外部領域１００ｂにおける比較的明るい部分は、第２の経路情報マップ２２０においても比較的明るい部分となっている。すなわち、第１の経路情報１１４および第２の経路情報１１６の両方を利用することで、抽出領域１００ａを高精度に抽出可能であることが分る。そして、実際に生成した抽出画像２００においても、同図（ｃ）に示されるように、抽出領域１００ａが高精度に抽出される結果となった。

本発明に係る画像領域抽出方法および画像領域抽出システムは、映画やテレビ番組等の製作の分野以外にも、例えばカメラやテレビ等の画像を扱う各種機器の分野において利用することができる。

１ 画像領域抽出システム
１０ コンピュータ
５０ 特徴情報取得手段
５２ エッジ設定手段
５４ 重み情報設定手段
５６ 入力操作受付手段
５８ 第１のスタート画素設定手段
６０ 第２のスタート画素設定手段
６２ 第１の経路情報設定手段
６４ 第２の経路情報設定手段
６６ 領域情報設定手段
１００ 画像
１００ａ 抽出領域
１００ａ１ 抽出領域の外周線
１００ａ２ 抽出領域の外周領域
１００ｃ 第１の設定領域
１００ｄ 第２の設定領域
１１０ 画素
１１２ 特徴情報
１１４ 第１の経路情報
１１６ 第２の経路情報
１１８ 領域情報
１２０ エッジ
１２２ 重み情報
１３０ 第１のスタート画素
１３２ 第２のスタート画素
Ｓ１２ 特徴情報取得ステップ
Ｓ１４ エッジ設定ステップ
Ｓ１６ 重み情報設定ステップ
Ｓ１８ 第１のスタート画素設定ステップ
Ｓ２０ 第２のスタート画素設定ステップ
Ｓ２２ 第１の経路情報設定ステップ
Ｓ２４ 第２の経路情報設定ステップ
Ｓ２６ 領域情報設定ステップ

Claims (6)

1. 画像を構成する各画素の特徴情報を取得する特徴情報取得ステップと、
   ２つの前記画素間にエッジを設定するエッジ設定ステップと、
   前記特徴情報に基づいて前記エッジに重み情報を設定する重み情報設定ステップと、
   前記画像から抽出する抽出領域外の前記画素の少なくとも１つを第１のスタート画素に設定する第１のスタート画素設定ステップと、
   前記抽出領域内の前記画素の少なくとも１つを第２のスタート画素に設定する第２のスタート画素設定ステップと、
   前記第１のスタート画素から前記各画素までの前記重み情報についての経路を算出し、第１の経路情報を前記各画素に設定する第１の経路情報設定ステップと、
   前記第２のスタート画素から前記各画素までの前記重み情報についての経路を算出し、第２の経路情報を前記各画素に設定する第２の経路情報設定ステップと、
   前記第１の経路情報および前記第２の経路情報に基づいて、前記抽出領域に属するか否かを示す領域情報を前記各画素に設定する領域情報設定ステップと、を有し、
   前記領域情報設定ステップでは、前記第１の経路情報から前記第２の経路情報を減じた値が第１の閾値以上の場合に、前記抽出領域に属することを示す前記領域情報を前記画素に設定することを特徴とする、
   画像領域抽出方法。
2. 前記第１のスタート画素設定ステップでは、複数の前記画素を前記第１のスタート画素に設定し、
   前記第２のスタート画素設定ステップでは、複数の前記画素を前記第２のスタート画素に設定することを特徴とする、
   請求項１に記載の画像領域抽出方法。
3. 前記第１のスタート画素設定ステップでは、前記抽出領域の外周線に略沿った領域に属する複数の前記画素を前記第１のスタート画素に設定し、
   前記第２のスタート画素設定ステップでは、前記抽出領域の外周線に略沿った領域に属する複数の前記画素を前記第２のスタート画素に設定することを特徴とする、
   請求項１または２に記載の画像領域抽出方法。
4. ユーザが前記画像中の前記画素を指定する入力操作を受け付ける入力操作受付ステップを有し、
   前記第１のスタート画素設定ステップでは、前記入力操作受付ステップで指定された前記画素を前記第１のスタート画素に設定し、
   前記第２のスタート画素設定ステップでは、前記入力操作受付ステップで指定された前記画素を前記第２のスタート画素に設定することを特徴とする、
   請求項１乃至３のいずれかに記載の画像領域抽出方法。
5. 前記領域情報設定ステップでは、前記第１の経路情報から前記第２の経路情報を減じた値が前記第１の閾値以上且つ第２の閾値未満の場合に、前記抽出領域の外周部分である外周領域に属することを示す前記領域情報を前記画素に設定することを特徴とする、
   請求項１乃至４のいずれかに記載の画像領域抽出方法。
6. 電子計算機から構成され、
   画像を構成する各画素の特徴情報を取得する特徴情報取得手段と、
   ２つの前記画素間にエッジを設定するエッジ設定手段と、
   前記特徴情報に基づいて前記エッジに重み情報を設定する重み情報設定手段と、
   前記画像から抽出する抽出領域外の前記画素の少なくとも１つを第１のスタート画素に設定する第１のスタート画素設定手段と、
   前記抽出領域内の前記画素の少なくとも１つを第２のスタート画素に設定する第２のスタート画素設定手段と、
   前記第１のスタート画素から前記各画素までの前記重み情報についての経路を算出し、第１の経路情報を前記各画素に設定する第１の経路情報設定手段と、
   前記第２のスタート画素から前記各画素までの前記重み情報についての経路を算出し、第２の経路情報を前記各画素に設定する第２の経路情報設定手段と、
   前記第１の経路情報および前記第２の経路情報に基づいて、前記抽出領域に属するか否かを示す領域情報を前記各画素に設定する領域情報設定手段と、を有し、
   前記領域情報設定手段では、前記第１の経路情報から前記第２の経路情報を減じた値が第１の閾値以上の場合に、前記抽出領域に属することを示す前記領域情報を前記画素に設定することを特徴とする、
   画像領域抽出システム。