JP5212451B2 - 領域特定方法、領域特定装置、プログラム、サーバ及びシステム - Google Patents

Description

本発明は、背景と被写体とが混在する画像から被写体の領域を特定する領域特定方法、領域特定装置、プログラム、サーバ及びシステムに関する。

従来、例えば、撮像された画像から生成された二値画像に対してラベリング処理を行って、最大面積の画素集合を被写体領域とする画像処理装置が知られている（例えば、特許文献１参照）。

特開２００５−２７５４４７号公報

ところで、上記特許文献１の場合、最大面積の画素集合内に、その構成画素数に対して所定の割合以下の構成画素数であって、且つ、当該最大面積の画素集合と画素値の異なる他の画素集合があると、この他の画素集合の各画素の画素値を最大面積の画素集合の画素値に変更する処理を行う。しかしながら、他の画素集合の構成画素数が最大面積の画素集合の構成画素数に対して所定の割合よりも大きい場合などには、当該他の画素集合の各画素の画素値の変更が行われず、被写体領域の特定を適正に行うことができないといった問題がある。

本発明は、このような問題に鑑みてなされたものであり、被写体領域の特定を適正に行うことができる領域特定方法、領域特定装置、プログラム、サーバ及びシステムを提供することである。

上記課題を解決するため、請求項１に記載の発明の領域特定方法は、
背景と被写体とが存在する被写体存在画像から被写体が含まれる被写体領域を特定する領域特定方法であって、前記被写体存在画像における前記被写体領域に対応する画素集合を前記被写体存在画像と背景用画像との対応する各画素の差分情報に基づいて特定する第１特定ステップと、前記被写体存在画像における複数の画像境界のうち、所定の表示領域に表示された状態の下側の画像境界に対応する下側画像境界を特定する第２特定ステップと、前記第１特定ステップにより特定された前記画素集合と、前記第２特定ステップにより特定された前記下側画像境界とにより囲まれる背景に対応する領域を構成する各画素を、前記被写体領域に対応させるように変更する変更ステップと、を備えたことを特徴としている。

請求項２に記載の発明は、請求項１に記載の領域特定方法において、
前記第１特定ステップは、前記被写体存在画像における前記被写体領域に対応する画素が連続する複数の画素集合の中で、面積が最大となる画素集合を特定することを特徴としている。

請求項３に記載の発明は、請求項１又は２に記載の領域特定方法において、
前記被写体存在画像から被写体の顔を検出する検出ステップを更に備え、前記第２特定ステップは、前記被写体存在画像の複数の画像境界のうち、前記検出ステップにより前記被写体存在画像から検出された被写体の顔の向きに対して下側となる画像境界を前記下側画像境界として特定することを特徴としている。

請求項４に記載の発明は、請求項１〜３の何れか一項に記載の領域特定方法において、
前記変更ステップは、更に、前記第１特定ステップにより特定された前記画素集合と、前記第２特定ステップにより特定された前記下側画像境界以外の画像境界とにより囲まれる各画素を、前記被写体領域に対応させずに当該被写体領域を抽出するための抽出用画像を生成することを特徴としている。

請求項５に記載の発明は、請求項４に記載の領域特定方法において、
ユーザによる操作入力部の所定操作に基づいて、任意の領域の各画素の対応する領域を変更する指示が入力されたか否かを判定する判定ステップと、この判定ステップにより前記指示が入力されたと判定されると、前記抽出用画像における各画素の対応する領域に変更して前記抽出用画像を修正する修正ステップと、を更に備えることを特徴としている。

請求項６に記載の発明は、請求項５に記載の領域特定方法において、
前記所定の表示領域に表示された前記被写体存在画像にて、任意の境界線を指定する指定ステップを更に備え、前記判定ステップは、更に、前記変更ステップにより生成された前記抽出用画像における前記境界線に対応する領域の各画素の対応する領域を変更する指示が入力されたか否かを判定し、前記修正ステップは、更に、前記判定ステップにより前記抽出用画像における前記境界線に対応する領域について、前記各画素の対応する領域を変更する指示が入力されたと判定されると、前記抽出用画像における前記画素を、背景画素集合に対応させて前記抽出用画像を修正することを特徴としている。

請求項７に記載の発明は、請求項１〜６の何れか一項に記載の領域特定方法において、
前記被写体存在画像は、被写体となる人の胸から上を撮像した画像であることを特徴としている。
請求項８に記載の発明は、請求項１〜７の何れか一項に記載の領域特定方法において、
前記第１特定ステップは、前記被写体存在画像の複数の画像境界の何れかを含む画像領域の画素の画素値に基づいて被写体の背景色を所定色として推定し、当該所定色の背景用画像と被写体存在画像との間で対応する各画素の差分情報に基づいて、前記被写体領域に対応する画素集合を特定することを特徴としている。

請求項９に記載の発明の領域特定装置は、
背景と被写体とが存在する被写体存在画像から被写体が含まれる被写体領域を特定する領域特定装置であって、前記被写体存在画像における前記被写体領域に対応する画素集合を前記被写体存在画像と背景用画像との対応する各画素の差分情報に基づいて特定する第１特定手段と、前記被写体存在画像における複数の画像境界のうち、所定の表示領域に表示された状態の下側の画像境界に対応する下側画像境界を特定する第２特定手段と、前記第１特定手段により特定された前記画素集合と、前記第２特定手段により特定された前記下側画像境界とにより囲まれる背景に対応する領域を構成する各画素を、前記被写体領域に対応させるように変更する変更手段と、を備えたことを特徴としている。

請求項１０に記載の発明のプログラムは、
背景と被写体とが存在する被写体存在画像から被写体が含まれる被写体領域を特定する領域特定装置のコンピュータを、前記被写体存在画像における前記被写体領域に対応する画素集合を前記被写体存在画像と背景用画像との対応する各画素の差分情報に基づいて特定する第１特定手段、前記被写体存在画像における複数の画像境界のうち、所定の表示領域に表示された状態の下側の画像境界に対応する下側画像境界を特定する第２特定手段、前記第１特定手段により特定された前記画素集合と、前記第２特定手段により特定された前記下側画像境界とにより囲まれる背景に対応する領域を構成する各画素を、前記被写体領域に対応させるように変更する変更手段、として機能させることを特徴としている。
請求項１１に記載の発明のサーバは、
端末装置とネットワークを介して接続されたサーバであって、端末装置から被写体存在画像の画像データを受信する受信手段と、受信した被写体存在画像における被写体が含まれる被写体領域に対応する画素集合を前記被写体存在画像と背景用画像との対応する各画素の差分情報に基づいて特定する第１特定手段と、前記被写体存在画像における複数の画像境界のうち、所定の表示領域に表示された状態の下側の画像境界に対応する下側画像境界を特定する第２特定手段と、前記第１特定手段により特定された前記画素集合と、前記第２特定手段により特定された前記下側画像境界とにより囲まれる背景に対応する領域を構成する各画素を、前記被写体領域に対応させるように変更する変更手段と、を備えることを特徴としている。
請求項１２に記載の発明のシステムは、
端末装置と、この端末装置とネットワークを介して接続されたサーバとを備えたシステムであって、前記端末装置は、被写体存在画像の画像データを送信する送信手段を備え、前記サーバは、前記端末装置から送信された被写体存在画像の画像データを受信する受信手段と、受信した被写体存在画像における被写体が含まれる被写体領域に対応する画素集合を前記被写体存在画像と背景用画像との対応する各画素の差分情報に基づいて特定する第１特定手段と、前記被写体存在画像における複数の画像境界のうち、所定の表示領域に表示された状態の下側の画像境界に対応する下側画像境界を特定する第２特定手段と、前記第１特定手段により特定された前記画素集合と、前記第２特定手段により特定された前記下側画像境界とにより囲まれる背景に対応する領域を構成する各画素を、前記被写体領域に対応させるように変更する変更手段と、を備えることを特徴としている。

本発明によれば、被写体領域の特定を適正に行うことができる。

本発明を適用した一実施形態の被写体切り抜きシステムの概略構成を示すブロック図である。 被写体切り抜きシステムを構成する撮像装置の概略構成を示すブロック図である。 被写体切り抜きシステムを構成するユーザ端末の概略構成を示すブロック図である。 被写体切り抜きシステムを構成するサーバの概略構成を示すブロック図である。 被写体切り抜きシステムによる被写体切り抜き処理に係る動作の一例を示すフローチャートである。 図５の被写体切り抜き処理の続きを示すフローチャートである。 図６の被写体切り抜き処理における被写体抽出処理に係る動作の一例を示すフローチャートである。 図５の被写体切り抜き処理に係る画像の一例を模式的に示す図である。 図５の被写体切り抜き処理に係る画像の一例を模式的に示す図である。 図５の被写体切り抜き処理に係る画像の一例を模式的に示す図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の被写体切り抜きシステム１００の概略構成を示すブロック図である。

本実施形態の被写体切り抜きシステム１００は、サーバ３が、背景と被写体とが混在する画像（以下、被写体存在画像という）を二値化した二値画像における、被写体領域に対応する画素値を有する画素が連続する画素集合を特定し、当該画素集合と二値画像の下側画像境界とにより囲まれる背景に対応する画素値を有する各画素の画素値を、被写体領域に対応する画素値に変更して抽出用画像（アルファマップＭ）を生成する。
具体的には、図１に示すように、被写体切り抜きシステム１００は、撮像装置１と、ユーザ端末２と、サーバ３とを備え、ユーザ端末２とサーバ３とが所定の通信ネットワークＮを介して各種情報を送受信可能に接続されている。

先ず、撮像装置１について図２を参照して説明する。
ここで、図２は、撮像装置１の概略構成を示すブロック図である。
図２に示すように、撮像装置１は、レンズ部１０１と、電子撮像部１０２と、ユニット回路部１０３と、撮像制御部１０４と、画像処理部１０５と、表示部１０６と、記録媒体制御部１０７と、バッファメモリ１０８と、プログラムメモリ１０９と、操作入力部１１０と、中央制御部１１１とを備えている。

レンズ部１０１は、例えば、図示は省略するが、ズームレンズ、フォーカスレンズ、絞り等を有し、これらレンズを通過した被写体の光学像を結像する。

電子撮像部１０２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサ等から構成され、レンズ部１０１の各種レンズを通過した光学像を当該電子撮像部１０２により二次元の画像信号（ＲＧＢ画像データ）に変換して、ユニット回路部１０３に出力する。

ユニット回路部１０３は、例えば、図示は省略するが、ＣＤＳ（Correlated Double Sampling：相関二重サンプリング回路）、ＡＧＣ（Auto Gain Control：ゲイン調整アンプ）、ＡＤＣ（Analog to Digital Converter：アナログ／デジタル変換器）等を具備している。そして、ユニット回路部１０３は、電子撮像部１０２から出力されて入力される被写体の光学像に応じたアナログの画像信号をＣＤＳにより保持し、当該画像信号をＡＧＣにより増幅した後、増幅された画像信号をＡＤＣによりデジタルの画像信号に変換する。

撮像制御部１０４は、中央制御部１１１からの指令に基づいて、被写体の撮像の際に、レンズ部１０１、電子撮像部１０２、ユニット回路部１０３等の動作を制御する。具体的には、撮像制御部１０４は、レンズ部１０１のズームレンズやフォーカスレンズ等を光軸上で移動させるためのレンズモータ（図示略）の駆動を制御したり、電子撮像部１０２を走査駆動するタイミングを制御したり、電子撮像部１０２の駆動タイミングに基づいてユニット回路部１０３の駆動タイミングを制御する。

画像処理部１０５は、Ａ／Ｄ変換後の画像信号に対して、画素毎のＲ，Ｇ，Ｂの色成分データ（ＲＧＢデータ）を生成するＲＧＢ補間処理、ＲＧＢデータから輝度信号（Ｙ）と色差信号（Ｕ、Ｖ）からなるＹＵＶデータを画素毎に生成するＹＵＶ変換処理、さらに自動ホワイトバランスや輪郭強調などの画品質向上のためのデジタル信号処理を行う。そして、画像処理部１０５は、変換後の各画像フレームのＹＵＶデータをバッファメモリ１０８に順次出力し、当該バッファメモリ１０８に格納させる。

表示部１０６は、バッファメモリ１０８に格納された１フレーム分のＹＵＶデータをビデオ信号に変換した後、ライブビュー画像として表示画面に表示する。具体的には、表示部１０６は、被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を所定の表示フレームレートで表示したり、本撮像画像として撮像されたレックビュー画像を表示する。

記録媒体制御部１０７は、記録媒体Ｍが着脱自在に構成され、装着された記録媒体Ｍからのデータの読み出しや記録媒体Ｍに対するデータの書き込みを制御する。即ち、記録媒体制御部１０７は、画像処理部１０５のＪＰＥＧ圧縮部（図示略）により符号化された撮像画像の記録用の画像データを記録媒体Ｍに記録させる。具体的には、記録媒体制御部１０７は、背景と被写体とが存在する被写体存在画像Ｐ１（図８（ａ）参照）の記録用の画像データを記録媒体Ｍに記録させる。
なお、記録媒体Ｍは、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。

バッファメモリ１０８は、画像データ等を一時的に記録するバッファであるとともに、中央制御部１１１などのワーキングメモリ等としても使用される。

プログラムメモリ１０９には、当該撮像装置１の機能に係る各種プログラムやデータが格納されている。また、プログラムメモリ１０９には、例えば、静止画撮像時、連続撮像時、ライブビュー画像撮像時等の各撮像時における適正な露出値(ＥＶ)に対応する絞り値(Ｆ)とシャッタースピードとの組み合わせを示すプログラム線図を構成するプログラムＡＥデータや、ＥＶ値表（何れも図示略）も格納されている。

操作入力部１１０は、当該撮像装置１の所定操作を行うためのものである。具体的には、操作入力部１１０は、例えば、被写体の撮影指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定用ボタン、ズーム量の調整指示に係るズームボタン等を備え（何れも図示略）、これらのボタンのユーザ操作に応じて所定の操作信号を中央制御部１１１に出力する。

中央制御部１１１は、例えば、撮像装置１の各部を制御するＣＰＵを具備するワンチップマイコン等から構成されている。
また、中央制御部１１１は、操作入力部１１０から出力され入力された操作信号に基づいて、撮像装置１の各部を制御する。具体的には、中央制御部１１１は、操作入力部１１０のシャッタボタンの所定操作に従って出力された記録指示信号が入力されると、プログラムメモリ１０９に記憶されている所定のプログラムに従って、撮像制御部１０４により電子撮像部１０２及びユニット回路部１０３の駆動タイミングを制御して静止画像を撮影する処理を実行する。この静止画像の撮影によりバッファメモリ１０８に格納された１フレーム分のＹＵＶデータは、画像処理部１０５にてＪＰＥＧ方式等により圧縮され符号化されて、記録媒体Ｍに静止画像データとして記録される。

次に、ユーザ端末２について図３を参照して説明する。
ユーザ端末２は、例えば、パーソナルコンピュータ等により構成され、サーバ３により開設されるＷｅｂページ（例えば、被写体抽出用ページ）にアクセスして、当該Ｗｅｂページ上で被写体存在画像Ｐ１における境界線Ｌの指定指示を入力する。

図３は、ユーザ端末２の概略構成を示すブロック図である。
図３に示すように、ユーザ端末２は、具体的には、中央制御部２０１と、通信制御部２０２と、表示部２０３と、記録媒体制御部２０４と、操作入力部２０５等を備えている。

中央制御部２０１は、ユーザ端末２の各部を制御するものである。具体的には、中央制御部２０１は、ＣＰＵ、ＲＡＭ、ＲＯＭ（何れも図示略）を備え、ＲＯＭに記憶されたユーザ端末２用の各種処理プログラム（図示略）に従って各種の制御動作を行う。その際に、ＣＰＵは、ＲＡＭ内の格納領域内に各種処理結果を格納させ、必要に応じてその処理結果を表示部２０３に表示させる。
ＲＡＭは、例えば、ＣＰＵにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ＲＯＭは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、ユーザ端末２で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。

通信制御部２０２は、例えば、モデム（MODEM:Modulater/DEModulater）、ターミナルアダプタ（Terminal Adapter）等によって構成され、所定の通信ネットワークＮを介してサーバ３等の外部機器との間で情報の通信制御を行うためのものである。

なお、通信ネットワークＮは、例えば、専用線や既存の一般公衆回線を利用して構築された通信ネットワークＮであり、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等の様々な回線形態を適用することが可能である。また、通信ネットワークＮには、例えば、電話回線網、ＩＳＤＮ回線網、専用線、移動体通信網、通信衛星回線、ＣＡＴＶ回線網等の各種通信回線網と、それらを接続するインターネットサービスプロバイダ等が含まれる。

表示部２０３は、例えば、ＬＣＤ、ＣＲＴ（Cathode Ray Tube）等のディスプレイから構成され、中央制御部２０１のＣＰＵの制御下にて各種情報を表示画面に表示する。
具体的には、表示部２０３は、例えば、サーバ３から送信され通信制御部２０２により受信されたＷｅｂページ（例えば、被写体抽出用ページ）のページデータに基づいて、対応するＷｅｂページを表示画面に表示する。

記録媒体制御部２０４は、記録媒体Ｍが着脱自在に構成され、装着された記録媒体Ｍからのデータの読み出しや記録媒体Ｍに対するデータの書き込みを制御する。即ち、記録媒体制御部２０４は、撮像装置１から取り外されて装着された記録媒体Ｍから被写体切り抜き処理（後述）に係る被写体存在画像Ｐ１の画像データを読み出して通信制御部２０２に出力する。
そして、通信制御部２０２は、入力された被写体存在画像Ｐ１の画像データをサーバ３に所定の通信ネットワークＮを介して送信する。

操作入力部２０５は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成されるキーボードやマウス等を備え、ユーザにより押下されたキーの押下信号やマウスの操作信号を中央制御部２０１のＣＰＵに出力する。
具体的には、操作入力部２０５は、ユーザによる所定操作に基づいて、被写体切り抜き処理（後述）の際に表示部２０３の表示画面に表示されている被写体存在画像Ｐ１にて境界線Ｌを構成する複数の点の座標（x, y）の設定指示を入力する。例えば、操作入力部２０５は、ユーザによるマウスの所定操作に基づいて被写体存在画像Ｐ１上に描画された境界線Ｌを構成する複数の点の座標の設定指示を入力する。そして、操作入力部２０５は、当該操作に応じた所定の設定信号を中央制御部２０１のＣＰＵに出力する。
ＣＰＵは、操作入力部２０５から出力され入力された設定信号を通信制御部２０２により所定の通信ネットワークＮを介してサーバ３に送信させる。

また、操作入力部２０５は、ユーザによる所定操作に基づいて、被写体切り抜き処理（後述）の際に表示部２０３の表示画面に表示されている被写体切り抜き画像Ｐ３（図１０（ａ）参照）にて、当該被写体切り抜き画像Ｐ３を修正する設定指示を入力する。例えば、操作入力部２０５は、ユーザによるマウスの所定操作に基づいて被写体切り抜き画像Ｐ３上に画素値を元に戻す修正マーカＲを描画し、当該修正マーカＲを構成する複数の点の座標の設定指示を入力する。そして、操作入力部２０５は、当該操作に応じた所定の設定信号を中央制御部２０１のＣＰＵに出力する。
ＣＰＵは、操作入力部２０５から出力され入力された設定信号を通信制御部２０２により所定の通信ネットワークＮを介してサーバ３に送信させる。
なお、図１０（ａ）にあっては、表示部２０３の表示画面に、被写体切り抜き画像Ｐ３の背景側に被写体存在画像Ｐ１が半透過の表示態様（例えば、破線で表した被写体存在画像Ｐ１等）で重畳して表示されている状態を模式的に図示している。

なお、操作入力部２０５としてタッチパネル（図示略）を表示部２０３の表示画面に配設して、タッチパネルの接触位置に応じて境界線Ｌを構成する複数の点の座標（x, y）の設定指示を入力するような構成としても良い。

次に、サーバ３について図４を参照して説明する。
サーバ３は、Ｗｅｂ（World Wide Web）サーバとしてインターネット上にＷｅｂページ（例えば、被写体抽出用ページ）を開設する機能を具備するものであり、ユーザ端末２からのアクセスに応じて当該ユーザ端末２にＷｅｂページのページデータを送信する。また、サーバ３は、画像生成装置として、図８（ａ）〜（ｃ）にて図示するように（詳細は後述）、被写体存在画像Ｐ１の二値画像Ｐ２における被写体領域Ａｓに対応する画素値を有する画素が連続する画素集合Ｇａを特定し、当該画素集合Ｇａと二値画像Ｐ２の下側画像境界Ｂｄとにより囲まれる背景に対応する画素値を有する各画素の画素値を、被写体領域Ａｓに対応する画素値に変更して抽出用画像（アルファマップＭ）を生成する。

図４は、サーバ３の概略構成を示すブロック図である。
図４に示すように、サーバ３は、具体的には、中央制御部３０１と、記憶部３０２と、表示部３０３と、通信制御部３０４と、境界線指定部３０５と、顔検出部３０６と、被写体抽出部３０７と、判定部３０８等を備えて構成されている。

中央制御部３０１は、サーバ３の各部を制御するものである。具体的には、中央制御部３０１は、ＣＰＵ、ＲＡＭ、ＲＯＭ（何れも図示略）を備え、ＣＰＵは、ＲＯＭに記憶されたサーバ３用の各種処理プログラム（図示略）に従って各種の制御動作を行う。その際に、ＣＰＵは、ＲＡＭ内の格納領域内に各種処理結果を格納させ、必要に応じてその処理結果を表示部３０３に表示させる。
ＲＡＭは、例えば、ＣＰＵにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ＲＯＭは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、サーバ３で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。

記憶部３０２は、例えば、半導体の不揮発メモリやＨＤＤ（Hard Disc Drive）等により構成され、ユーザ端末２に送信されるＷｅｂページのページデータ等を記憶する。

表示部３０３は、例えば、ＬＣＤ、ＣＲＴ等のディスプレイから構成され、中央制御部３０１のＣＰＵの制御下にて各種情報を表示画面に表示する。

通信制御部３０４は、例えば、モデム、ターミナルアダプタ等によって構成され、所定の通信ネットワークＮを介してユーザ端末２等の外部機器との間で情報の通信制御を行うためのものである。
具体的には、通信制御部３０４は、例えば、被写体切り抜き処理（後述）にてユーザ端末２から所定の通信ネットワークＮを介して送信された被写体存在画像Ｐ１における境界線Ｌを構成する複数の点の座標の設定信号を受信して、当該設定信号を中央制御部３０１のＣＰＵに出力する。

境界線指定部３０５は、被写体存在画像Ｐ１における境界線Ｌを指定する。
即ち、被写体切り抜き処理にて、境界線指定部３０５は、ユーザ端末２から所定の通信ネットワークＮを介して送信され通信制御部３０４により受信した被写体存在画像Ｐ１の画像データ及び当該被写体存在画像Ｐ１上に描画された境界線Ｌを構成する複数の点の座標の設定信号に基づいて、当該被写体存在画像Ｐ１上にて複数の点の座標を指定し、これら複数の点どうしを連結して境界線Ｌを指定する。
なお、境界線Ｌは、被写体存在画像Ｐ１における、ある領域を完全に囲む閉じられた形態であっても良いし、当該被写体存在画像Ｐ１の画像境界Ｂの異なる位置に境界線Ｌの始点及び終点が存するような形態（図８（ｂ）参照）であっても良い。
このように、境界線指定部３０５は、指定手段として、被写体存在画像にて境界線を指定する。

顔検出部３０６は、被写体存在画像Ｐ１から被写体の顔が含まれる顔領域を検出する。
即ち、顔検出部３０６は、ユーザ端末２から所定の通信ネットワークＮを介して送信され通信制御部３０４により受信した被写体存在画像Ｐ１の画像データを取得して、当該画像データに対して所定の顔検出処理を行って顔領域を検出する。
また、顔検出処置にあっては、被写体としての人以外の顔、例えば、動物の顔などの顔領域を検出しても良い。なお、顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
このように、顔検出部３０６は、検出手段として、被写体存在画像から被写体の顔を検出する。

被写体抽出部３０７は、画像二値化部３０７ａと、画素集合特定部３０７ｂと、画像境界特定部３０７ｃと、画像生成部３０７ｄと、画像修正部３０７ｅとを具備している。

画像二値化部３０７ａは、被写体存在画像Ｐ１の二値画像Ｐ２を生成する。
即ち、画像二値化部３０７ａは、ユーザ端末２から所定の通信ネットワークＮを介して送信され通信制御部３０４により受信した被写体存在画像Ｐ１の画像データを取得して、当該画像データの各画素の画素値を所定の閾値と比較して当該被写体存在画像Ｐ１の二値画像Ｐ２を生成する。
具体的には、画像二値化部３０７ａは、被写体存在画像Ｐ１の複数の画像境界Ｂ、…と境界線Ｌにより区分される複数の区分領域Ａ、…の中で、背景領域Ａｂを構成する区分領域（例えば、左区分領域Ａｌ及び右区分領域Ａｒ等）を推定し、当該区分領域の各画素の画素値に基づいて所定の演算を行って、被写体の背景色を所定の単一色として推定する。そして、画像二値化部３０７ａは、所定の単一色の背景用画像と被写体存在画像Ｐ１との間で対応する各画素の差分情報（例えば、相違度マップ等）を生成した後、差分情報の各画素の画素値を所定の閾値と比較して二値化することで、当該被写体存在画像Ｐ１の二値画像Ｐ２を生成する。
この二値画像Ｐ２では、例えば、被写体領域Ａｓに対応する画素値が「１」であり、背景領域Ａｂに対応する画素値が「０」となる。

画素集合特定部３０７ｂは、被写体存在画像Ｐ１の二値画像Ｐ２における被写体領域Ａｓに対応する画素集合Ｇａを特定する。
即ち、画素集合特定部３０７ｂは、二値画像Ｐ２における被写体領域Ａｓに対応する画素値を有する画素が連続する画素集合Ｇａを特定する。具体的には、画素集合特定部３０７ｂは、二値画像Ｐ２に対して細かいノイズや手ぶれによる相違が存在する領域を除去するための収縮処理を行って所定値よりも小さい画素集合や手ぶれによる細線画素集合を除外した後、同じ連結成分を構成する画素集合に同じ番号を付けるラベリング処理を行い、その後、収縮分を修正するための膨張処理を行う。そして、画素集合特定部３０７ｂは、ラベリングされた複数の画素集合、即ち、二値画像Ｐ２における被写体領域Ａｓに対応する画素値（例えば、「１」）を有する画素が連続する複数の画素集合の中で、面積が最大となる画素集合Ｇａを被写体部分として特定する。
また、画素集合特定部３０７ｂは、二値画像Ｐ２における被写体領域Ａｓに対応する画素値を有する画素集合Ｇａ内における、当該画素集合Ｇａの構成画素数に対して所定の割合（例えば、４０％等）以下の構成画素数の背景領域Ａｂに対応する背景画素集合の各画素の画素値を、被写体領域Ａｓに対応する画素値に変更する。即ち、画素集合特定部３０７ｂは、被写体部分として特定した最大面積の画素集合Ｇａ内でラベリング処理を行って、当該被写体部分の構成画素のラベル数に対して所定の割合以下のラベル数の背景領域Ａｂに対応する画素集合の各画素の画素値を、被写体部分に対応する画素値に変更して、被写体部分に置き換える穴埋め処理を行う。
このように、画素集合特定部３０７ｂは、第１特定手段として、被写体存在画像における被写体領域に対応する画素値を有する画素が連続する画素集合を特定する。また、画素集合特定部３０７ｂは、被写体存在画像における被写体領域に対応する画素が連続する複数の画素集合の中で、面積が最大となる画素集合を特定する。

画像境界特定部３０７ｃは、二値画像Ｐ２の複数の画像境界のうち、下側画像境界Ｂｄを特定する。
即ち、画像境界特定部３０７ｃは、画像二値化部３０７ａにより生成された二値画像Ｐ２の画像データにおける上下左右の４つの画像境界Ｂｔ、Ｂｄ、Ｂｌ、Ｂｒの中で、ユーザ端末２の表示部２０３等の所定の表示領域に表示された状態の当該被写体存在画像Ｐ１にて下側となる画像境界Ｂに対応する当該二値画像Ｐ２の下側画像境界Ｂｄを特定する。具体的には、画像境界特定部３０７ｃは、二値画像Ｐ２の複数の画像境界のうち、顔検出部３０６により被写体存在画像Ｐ１から検出された被写体の顔領域の顔の向きに対して下側となる画像境界Ｂに対応する画像境界を下側画像境界Ｂｄとして特定する。
つまり、被写体存在画像Ｐ１が、例えば、被写体となる人の胸から上のバストショットを撮像した画像である場合、画像境界特定部３０７ｃは、当該被写体存在画像Ｐ１に対応する二値画像Ｐ２の上下左右の４つの画像境界Ｂｔ、Ｂｄ、Ｂｌ、Ｂｒの中で、被写体存在画像Ｐ１にて人の顔よりも下側の画像領域が重なる画像境界に対応する画像境界を下側画像境界Ｂｄとして特定する。
また、画像境界特定部３０７ｃは、例えば、被写体存在画像Ｐ１にExifタグ情報として付加されている当該被写体存在画像Ｐ１の撮像の際の画像の向きに関する情報を取得して、当該被写体存在画像Ｐ１の下側の画像境界に対応する二値画像Ｐ２の下側画像境界Ｂｄを特定しても良い。
このように、画像境界特定部３０７ｃは、第２特定手段として、被写体存在画像における複数の画像境界のうち、所定の表示領域に表示された状態の下側の画像境界に対応する下側画像境界を特定する。

また、画像境界特定部３０７ｃは、二値画像Ｐ２の複数の画像境界のうち、所定の表示領域に表示された状態の被写体存在画像Ｐ１における下側の画像境界以外の画像境界に対応する当該二値画像Ｐ２の他の画像境界を特定する。即ち、画像境界特定部３０７ｃは、二値画像Ｐ２の複数の画像境界の中で、下側画像境界Ｂｄ以外の上側画像境界Ｂｔ、左側画像境界Ｂｌ及び右側画像境界Ｂｒ等を特定する。

画像生成部３０７ｄは、被写体存在画像Ｐ１における被写体領域Ａｓの位置を示し、当該被写体領域Ａｓを抽出するための抽出用画像を生成する。
ここで、抽出用画像としては、例えば、被写体存在画像Ｐ１の各画素について、被写体画像を所定の背景に対してアルファブレンディングする際の重みをアルファ値（０≦α≦１）として表したアルファマップＭが挙げられる。
具体的には、画像生成部３０７ｄは、画素集合特定部３０７ｂにより被写体部分として特定された最大面積の画素集合Ｇａと、画像境界特定部３０７ｃにより特定された二値画像Ｐ２の下側画像境界Ｂｄとにより囲まれる背景領域Ａｂに対応する画素値（例えば、「０」）を有する領域Ｇｂの各画素の画素値を、被写体領域Ａｓに対応する画素値（例えば、「１」）に変更した後、抽出用画像（アルファマップＭ）を生成する。つまり、被写体存在画像Ｐ１が、例えば、被写体となる人の胸から上のバストショットを撮像した画像である場合、最大面積の画素集合Ｇａと下側画像境界Ｂｄとにより囲まれる領域Ｇｂは、被写体存在画像Ｐ１にて人の顔よりも下側の画像領域が重なる領域、即ち、被写体領域Ａｓであると推定して、背景領域Ａｂに対応する画素値を被写体領域Ａｓに対応する画素値（例えば、「１」）に変更する。
また、画像生成部３０７ｄは、画素集合特定部３０７ｂにより被写体部分として特定された最大面積の画素集合Ｇａと、画像境界特定部３０７ｃにより特定された二値画像Ｐ２の他の画像境界、即ち、上側画像境界Ｂｔ、左側画像境界Ｂｌ及び右側画像境界Ｂｒとにより囲まれる背景領域Ａｂに対応する画素値を有する各画素の画素値については、被写体領域Ａｓに対応する画素値に変更しないようにしても良い。
そして、画像生成部３０７ｄは、上記の被写体部分に対応する最大面積の画素集合Ｇａの画素値が「１」、背景領域Ａｂに対応するその他の部分の画素値が「０」である二値画像Ｐ２に対してローパスフィルタを施して境界部分に中間値を生じさせることで、各々の領域について所定のアルファ値を生成する。これにより、被写体領域Ａｓのアルファ値が「１」となり、被写体存在画像Ｐ１の所定の背景に対する透過度が０％となる。一方、被写体の背景部分のアルファ値が「０」となり、当該被写体存在画像Ｐ１の所定の背景に対する透過度が１００％となる。

このように、画像生成部３０７ｄは、生成手段として、画素集合特定部３０７ｂにより特定された画素集合と、画像境界特定部３０７ｃにより特定された下側画像境界とにより囲まれる背景に対応する領域を構成する各画素を、被写体領域に対応させて抽出用画像を生成する。また、画像生成部３０７ｄは、画素集合特定部３０７ｂにより特定された画素集合と、画像境界特定部３０７ｃにより特定された下側画像境界以外の画像境界とにより囲まれる各画素を、被写体領域に対応させずに抽出用画像を生成する。
その後、被写体抽出部３０７は、画像生成部３０７ｄにより生成された抽出用画像（アルファマップＭ）に基づいて、被写体存在画像Ｐ１の各画素のうち、アルファ値が１の画素を所定の単一色画像Ｐ４に対して透過させずに、且つ、アルファ値が０の画素を透過させるように、被写体画像を所定の単一色画像Ｐ４と合成して被写体切り抜き画像Ｐ３（図９（ｂ）参照）の画像データを生成する。

また、画像生成部３０７ｄは、被写体存在画像Ｐ１の二値画像Ｐ２から三値画像Ｐ５を生成しても良い。
即ち、画像生成部３０７ｄは、二値画像Ｐ２の境界線指定部３０５により指定された境界線Ｌと重なる領域を画素値の未確定領域Ａｃとして、当該未確定領域Ａｃの画素値を被写体領域Ａｓ及び背景領域Ａｂの各々の画素値と異なる第３の画素値（例えば、「０．５」等）に設定することで、三値画像Ｐ５を生成する。具体的には、画像生成部３０７ｄは、最大面積の画素集合Ｇａと下側画像境界Ｂｄとにより囲まれた背景領域Ａｂに対応する各画素の画素値を、被写体領域Ａｓに対応する画素値（例えば、「１」）に変更した二値画像Ｐ２にて、境界線指定部３０５により指定された境界線Ｌと重なる領域（未確定領域Ａｃ）の画素値を第３の画素値に設定して、三値画像Ｐ５（図９（ｃ）参照）を生成する。
なお、画像生成部３０７ｄは、二値画像Ｐ２から三値画像Ｐ５を生成した後、当該三値画像Ｐ５を用いて抽出用画像（アルファマップＭ）を生成しても良い。

画像修正部３０７ｅは、ユーザによるユーザ端末２の操作入力部２０５の所定操作に基づいて、抽出用画像（アルファマップＭ）を修正する。
即ち、画像修正部３０７ｅは、画素集合特定部３０７ｂによる穴埋め処理にて画素値が変更された抽出用画像における変更済み領域Ａｄの各画素の画素値を元に戻す指示が入力されたと判定部３０８により判定されると、抽出用画像における変更済み領域Ａｄの各画素の画素値を、背景画素集合の画素値に変更して抽出用画像を修正する。具体的には、画像修正部３０７ｅは、判定部３０８により抽出用画像における境界線指定部３０５により指定された境界線Ｌに対応する領域、即ち、三値画像Ｐ５における第３の画素値を有する領域（未確定領域Ａｃ）について、背景画素集合の画素値に変更する指示が入力されたと判定されると、抽出用画像における変更済み領域Ａｄの各画素の画素値を、背景画素集合の画素値に変更して抽出用画像を修正する。
例えば、図８（ａ）に示す被写体存在画像Ｐ１にあっては、被写体である人の首筋と髪の毛により囲まれた領域は、画素集合特定部３０７ｂによる穴埋め処理にて画素値が自動的に変更された抽出用画像（アルファマップＭ；図９（ａ）参照）が生成されてしまい、図９（ｂ）に示す被写体切り抜き画像Ｐ３にて、被写体である人の首筋と髪の毛により囲まれた領域は、背景領域とならない場合がある。かかる場合に、判定部３０８により被写体である人の首筋と髪の毛により囲まれた領域（変更済み領域Ａｄ）の画素値を背景画素集合の画素値に戻す指示が入力されたと判定されると、画像修正部３０７ｅは、抽出用画像における変更済み領域Ａｄの各画素の画素値を、背景画素集合の画素値に変更して抽出用画像（アルファマップＭ；図１０（ｂ）参照）を修正する。

このように、画像修正部３０７ｅは、修正手段として、判定部３０８により任意の領域の各画素の対応する領域を変更する指示が入力されたと判定されると、抽出用画像における各画素の対応する領域に変更して抽出用画像を修正する。また、画像修正部３０７ｅは、判定部３０８により抽出用画像における境界線に対応する領域について、各画素の対応する領域を変更する指示が入力されたと判定されると、抽出用画像における前記画素を、背景画素集合に対応させて抽出用画像を修正する。
なお、ユーザによるユーザ端末２の操作入力部２０５の所定操作に基づいて、未確定領域Ａｃ又は背景用画素集合の画素値を被写体領域Ａｓに対応する画素値に変更できるようにしてもよい。

判定部３０８は、被写体切り抜き画像Ｐ３を修正する指示が入力されたか否かを判定する。
即ち、判定部３０８は、ユーザ端末２から所定の通信ネットワークＮを介して送信され通信制御部３０４により受信した被写体切り抜き画像Ｐ３上に描画された修正マーカＲを構成する複数の点の座標の設定信号に基づいて、被写体切り抜き画像Ｐ３を修正する指示が入力されたか否かを判定する。具体的には、ユーザ端末２の表示部２０３に表示された被写体切り抜き画像Ｐ３上に、ユーザによるユーザ端末２の操作入力部２０５の所定操作に基づいて、画素集合特定部３０７ｂによる穴埋め処理にて画素値が変更された背景画素集合に対応する変更済み領域Ａｄの各画素の画素値を元に戻す修正マーカＲが描画されて、ユーザ端末２から送信された修正マーカＲを構成する複数の点の座標の設定信号が通信制御部３０４により受信されると、判定部３０８は、被写体切り抜き画像Ｐ３を修正する指示が入力されたと判定する。
このとき、判定部３０８は、画像生成部３０７ｄにより生成された三値画像Ｐ５に基づいて、画像生成部３０７ｄにより生成された抽出用画像（アルファマップＭ）における境界線Ｌに対応する領域、即ち、三値画像Ｐ５における第３の画素値を有する領域（未確定領域Ａｃ）について、変更済み領域Ａｄの各画素の画素値を元に戻す指示が入力されたか否かを判定しても良い。つまり、三値画像Ｐ５における第３の画素値を有する領域（未確定領域Ａｃ）は、被写体領域Ａｓとなるか背景領域Ａｂとなるか画素値が未確定の領域であり、当該第３の画素値を有する領域についてのみ画素値を修正するか否かを判定することで処理にかかる負担の軽減を図ることができる。
このように、判定部３０８は、判定手段として、ユーザによる操作入力部２０５の所定操作に基づいて、任意の領域の各画素の対応する領域を変更する指示が入力されたか否かを判定する。

次に、ユーザ端末２及びサーバ３を用いた被写体切り抜き処理について図５〜図８を参照して説明する。
ここで、図５〜図７は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。また、図８（ａ）〜図１０（ｃ）は、被写体切り抜き処理に係る画像の一例を模式的に示す図である。
なお、以下の説明にあっては、撮像装置１により生成された被写体存在画像Ｐ１の画像データが記録された記録媒体Ｍがユーザ端末２の記録媒体制御部２０４に装着されているものとする。

図５に示すように、ユーザ端末２の中央制御部２０１は、ユーザによる操作入力部２０５の所定操作に基づいて、サーバ３により開設される被写体抽出用ページのアクセス指示が入力されると、中央制御部２０１のＣＰＵは、当該アクセス指示を通信制御部２０２により所定の通信ネットワークＮを介してサーバ３に送信させる（ステップＳ１）。
サーバ３の通信制御部３０４によって、ユーザ端末２から送信されたアクセス指示が受信されると、中央制御部３０１のＣＰＵは、被写体抽出用ページのページデータを通信制御部３０４により所定の通信ネットワークＮを介してユーザ端末２に送信させる（ステップＳ２）。
そして、ユーザ端末２の通信制御部２０２によって、被写体抽出用ページのページデータが受信されると、表示部２０３は、当該被写体抽出用ページのページデータに基づいて、所定の被写体抽出用ページを表示画面に表示する。

次に、ユーザ端末２の記録媒体制御部２０４は、記録媒体Ｍから当該被写体切り抜き処理に係る被写体存在画像Ｐ１の画像データを読み出した後、表示部２０３は、当該被写体存在画像Ｐ１の画像データを表示画面に表示する（ステップＳ３）。

また、通信制御部２０２は、読み出された被写体存在画像Ｐ１の画像データをサーバ３に所定の通信ネットワークＮを介して送信する（ステップＳ４）。
そして、サーバ３の通信制御部３０４は、ユーザ端末２から送信された被写体存在画像Ｐ１の画像データを受信する（ステップＳ５）。

その後、ユーザ端末２の中央制御部２０１は、ユーザによる操作入力部２０５の所定操作に基づいて、表示部２０３の表示画面に表示されている被写体存在画像Ｐ１にて境界線Ｌの始点の座標（第１座標）が入力されたか否かを判定する（ステップＳ６）。即ち、中央制御部２０１は、ユーザによるマウスの所定操作に基づいて被写体存在画像Ｐ１上に連続して描画される境界線Ｌを構成する複数の点の座標のうち、最初に描画された点を始点として、その始点の第１座標が入力されたか否かを判定する。
ステップＳ６の判定処理は、境界線Ｌの始点の第１座標が入力されたと判定されるまで（ステップＳ６；ＹＥＳ）、繰り返し実行される。
そして、ステップＳ６にて、境界線Ｌの始点の第１座標が入力されたと判定されると（ステップＳ６；ＹＥＳ）、中央制御部２０１のＣＰＵは、操作入力部２０５から出力され入力された第１座標の設定指示信号を通信制御部２０２により所定の通信ネットワークＮを介してサーバ３に送信させる（ステップＳ７）。

サーバ３の通信制御部３０４によって、ユーザ端末２から送信された第１座標の設定指示信号が受信されると、境界線指定部３０５は、第１座標の設定指示信号並びに被写体存在画像Ｐ１の画像データに基づいて、当該被写体存在画像Ｐ１にて境界線Ｌの始点の座標を指定する（ステップＳ８）。
次に、ユーザ端末２の中央制御部２０１は、ユーザによる操作入力部２０５の所定操作に基づいて、表示部２０３の表示画面に表示されている被写体存在画像Ｐ１にて境界線Ｌの終点の座標（第２座標）が入力されたか否かを判定する（ステップＳ９）。即ち、中央制御部２０１は、ユーザによるマウスの所定操作に基づいて被写体存在画像Ｐ１上に連続して描画される境界線Ｌを構成する複数の点の座標のうち、最後に描画された点を終点として、その終点の第２座標が入力されたか否かを判定する。
ステップＳ９の判定処理は、境界線Ｌの終点の第２座標が入力されたと判定されるまで（ステップＳ９；ＹＥＳ）、繰り返し実行され、ユーザによるマウスの所定操作に基づいてユーザ端末２からサーバ３に被写体存在画像Ｐ１上に連続して描画される境界線Ｌを構成する複数の点の座標が順次送信される。
そして、ステップＳ９にて、境界線Ｌの終点の第２座標が入力されたと判定されると（ステップＳ９；ＹＥＳ）、中央制御部２０１のＣＰＵは、操作入力部２０５から出力され入力された第２座標の設定指示信号を通信制御部２０２により所定の通信ネットワークＮを介してサーバ３に送信させる（ステップＳ１０）。

サーバ３の通信制御部３０４によって、ユーザ端末２から送信された第２座標の設定指示信号が受信されると、境界線指定部３０５は、第２座標の設定指示信号並びに被写体存在画像Ｐ１の画像データに基づいて、当該被写体存在画像Ｐ１にて境界線Ｌの終点の座標を指定する（ステップＳ１１）。
続けて、境界線指定部３０５は、被写体存在画像Ｐ１上に連続して描画された境界線Ｌを構成する複数の点の座標を連結して、始点から終点まで連続した境界線Ｌを指定する（ステップＳ１２）。

そして、図６に示すように、顔検出部３０６は、被写体存在画像Ｐ１の画像データを取得して、当該画像データに対して所定の顔検出処理を行って顔領域を検出する（ステップＳ１３）。
続けて、被写体抽出部３０７は、被写体存在画像Ｐ１の複数の画像境界Ｂ、…、即ち、上下左右の４つの画像境界Ｂ、…と境界線Ｌにより区分される複数の区分領域Ａ、…の中から、所定の特定方法に従って被写体領域Ａｓを特定する（ステップＳ１４）。
具体的には、被写体抽出部３０７は、被写体存在画像Ｐ１の画像データを取得して、当該画像データにおける上下左右の４つの画像境界Ｂ、…のうち、顔検出部３０６により検出された被写体の顔領域の顔の向きに対して下側となる画像境界Ｂを下側画像境界として特定する。なお、ステップＳ１３において顔領域が検出されなかった場合は、単純にユーザ端末２の表示部２０３に表示されている被写体存在画像Ｐ１の下側の画像境界を下側画像境界としてもよい。
その後、被写体抽出部３０７は、被写体存在画像Ｐ１の複数の区分領域Ａ、…、即ち、左区分領域Ａｌ、右区分領域Ａｒ及び中区分領域Ａｍの中から、各区分領域Ａの縁部を構成する画像境界Ｂの画素数が当該縁部の全画素数に対して所定の割合（例えば、４０％等）以上となる所定領域（例えば、左区分領域Ａｌ及び右区分領域Ａｒ等）を所定領域として特定する。そして、被写体抽出部３０７は、被写体存在画像Ｐ１の複数の区分領域Ａ、…の中で、所定領域としての左区分領域Ａｌ及び右区分領域Ａｒを被写体領域Ａｓの候補から除外し、さらに、下側画像境界の構成画素を最も多く含む中区分領域Ａｍを、被写体領域Ａｓとして特定する。なお、複数の区分領域のうちステップＳ１３において検出された顔領域を含む領域を被写体領域Ａｓとして特定してもよい。

続けて、被写体抽出部３０７は、被写体存在画像Ｐ１から所定の抽出方法に従って被写体領域Ａｓを抽出する処理を行って、被写体存在画像Ｐ１における被写体領域Ａｓの位置を示す抽出用画像としてアルファマップＭを生成する被写体抽出処理を行う（ステップＳ１５）。
以下に、被写体抽出処理について図７を参照して説明する。

図７に示すように、先ず、被写体抽出部３０７の画像二値化部３０７ａは、被写体存在画像Ｐ１の画像データを取得して、当該画像データの各画素の画素値を所定の閾値と比較して当該被写体存在画像Ｐ１の二値画像Ｐ２を生成する（ステップＳ３１）。
続けて、画素集合特定部３０７ｂは、被写体存在画像Ｐ１の二値画像Ｐ２における被写体領域Ａｓに対応する画素値を有する画素が連続する画素集合Ｇａを特定する（ステップＳ３２）。
具体的には、画素集合特定部３０７ｂは、二値画像Ｐ２に対して細かいノイズや手ぶれによる相違が存在する領域を除去するための収縮処理を行って所定値よりも小さい画素集合や手ぶれによる細線画素集合を除外した後、同じ連結成分を構成する画素集合に同じ番号を付けるラベリング処理を行い、その後、収縮分を修正するための膨張処理を行う。そして、画素集合特定部３０７ｂは、ラベリングされた複数の画素集合、即ち、二値画像Ｐ２における被写体領域Ａｓに対応する画素値（例えば、「１」）を有する画素が連続する複数の画素集合の中で、面積が最大となる画素集合Ｇａを被写体部分として特定する。
また、画素集合特定部３０７ｂは、被写体部分として特定した最大面積の画素集合Ｇａ内でラベリング処理を行って、当該被写体部分の構成画素のラベル数に対して所定の割合以下のラベル数の背景領域Ａｂに対応する画素集合Ｇａの各画素の画素値を、被写体部分に対応する画素値に変更して、被写体部分に置き換える穴埋め処理を行う。

次に、画像境界特定部３０７ｃは、二値画像Ｐ２の複数の画像境界のうち、下側画像境界Ｂｄを特定する（ステップＳ３３）。具体的には、画像境界特定部３０７ｃは、二値画像Ｐ２の複数の画像境界のうち、顔検出部３０６により被写体存在画像Ｐ１から検出された被写体の顔領域の顔の向きに対して下側となる画像境界Ｂに対応する画像境界を下側画像境界Ｂｄとして特定する。
続けて、画像生成部３０７ｄは、画素集合特定部３０７ｂにより被写体部分として特定された最大面積の画素集合Ｇａと、画像境界特定部３０７ｃにより特定された二値画像Ｐ２の下側画像境界Ｂｄとにより囲まれる背景領域Ａｂに対応する画素値（例えば、「０」）を有する領域Ｇｂの各画素の画素値を、被写体領域Ａｓに対応する画素値（例えば、「１」）に変更する（ステップＳ３４）。その後、画像生成部３０７ｄは、二値画像Ｐ２から抽出用画像としてのアルファマップＭを生成する（ステップＳ３５）。具体的には、画像生成部３０７ｄは、上記の被写体部分に対応する最大面積の画素集合Ｇａの画素値が「１」、背景領域Ａｂに対応するその他の部分の画素値が「０」である二値画像Ｐ２に対してローパスフィルタを施して境界部分に中間値を生じさせることで、各々の領域について所定のアルファ値を生成してアルファマップＭを生成する。
これにより、被写体抽出処理を終了する。

図６に戻り、その後、被写体抽出部３０７は、生成されたアルファマップＭを用いて被写体存在画像Ｐ１から被写体領域Ａｓを切り出して、所定の単一色画像Ｐ４と合成して被写体切り抜き画像Ｐ３（図９（ｂ）参照）の画像データを生成する（ステップＳ１６）。
具体的には、被写体抽出部３０７は、被写体存在画像Ｐ１の全ての画素について、アルファ値が０の画素については、透過させ、アルファ値が０＜α＜１の画素については、所定の単一色とブレンディングを行い、アルファ値が１の画素については、何もせずに所定の単一色に対して透過させないようにする。なお、アルファマップＭの縁部分には、合成階調がつけられているため、切り出された被写体領域Ａｓと単一色画像Ｐ４（背景）との境界部分がはっきりしていない自然な感じとなる。
また、生成された被写体切り抜き画像Ｐ３の画像データは、抽出用画像であるアルファマップＭと対応付けて記憶部３０２に記憶される。

中央制御部３０１のＣＰＵは、生成された被写体切り抜き画像Ｐ３の画像データを通信制御部３０４により所定の通信ネットワークＮを介してユーザ端末２に送信させる（ステップＳ１７）。
そして、ユーザ端末２の通信制御部２０２によって、被写体切り抜き画像Ｐ３の画像データが受信されると（ステップＳ１８）、表示部２０３は、当該被写体切り抜き画像Ｐ３の画像データに基づいて、被写体画像を表示画面に表示する（ステップＳ１９）。

その後、ユーザ端末２の中央制御部２０１は、ユーザによる操作入力部２０５の所定操作に基づいて、表示部２０３の表示画面に表示されている被写体切り抜き画像Ｐ３にて修正マーカＲ（図１０（ａ）参照）を構成する複数の点の座標が入力されたか否かを判定する（ステップＳ２０）。
ここで、修正マーカＲを構成する複数の点の座標が入力されたと判定されると（ステップＳ２０；ＹＥＳ）、中央制御部２０１のＣＰＵは、操作入力部２０５から出力され入力された修正マーカＲに係る修正指示信号を通信制御部２０２により所定の通信ネットワークＮを介してサーバ３に送信させる（ステップＳ２１）。

サーバ３の通信制御部３０４によって、ユーザ端末２から送信された修正マーカＲに係る修正指示信号が受信されると、判定部３０８は、被写体切り抜き画像Ｐ３を修正する指示、即ち、画素集合特定部３０７ｂによる穴埋め処理にて画素値が変更された抽出用画像における変更済み領域Ａｄの各画素の画素値を元に戻す指示が入力されたと判定して、画像修正部３０７ｅは、抽出用画像であるアルファマップＭにおける変更済み領域Ａｄの各画素の画素値を、背景画素集合の画素値に変更してアルファマップＭ（図１０（ｂ）参照）を修正する（ステップＳ２２）。
その後、中央制御部３０７は、処理をステップＳ１６に移行して、それ以降の処理を実行する。即ち、被写体抽出部３０７は、修正されたアルファマップＭを用いて被写体存在画像Ｐ１から被写体領域Ａｓを切り出して、所定の単一色画像Ｐ４と合成して被写体切り抜き画像Ｐ３（図１０（ｃ）参照）の画像データを生成する（ステップＳ１６）。

一方、ステップＳ２０にて、修正マーカＲを構成する複数の点の座標が入力されていないと判定されると（ステップＳ２０；ＮＯ）、中央制御部２０１のＣＰＵは、ユーザによる操作入力部２０５の所定操作に基づいて、被写体切り抜き処理の終了指示が入力されたか否かを判定する（ステップＳ２３）。
ここで、被写体切り抜き処理の終了指示が入力されていないと判定されると（ステップＳ２３；ＮＯ）、中央制御部２０１のＣＰＵは、処理をステップＳ２０に移行して、修正マーカＲを構成する複数の点の座標が入力された否かを判定する。一方、被写体切り抜き処理の終了指示が入力されたと判定されると（ステップＳ２３；ＹＥＳ）、中央制御部２０１のＣＰＵは、被写体切り抜き処理を終了させる。

以上のように、本実施形態の被写体切り抜きシステム１００によれば、被写体存在画像Ｐ１の二値画像Ｐ２における被写体領域Ａｓに対応する画素値を有する画素が連続する画素集合Ｇａ、特に、二値画像Ｐ２における被写体領域Ａｓに対応する画素値を有する画素が連続する複数の画素集合の中で、面積が最大となる画素集合Ｇａを特定し、二値画像Ｐ２における特定された画素集合Ｇａと下側画像境界Ｂｄとにより囲まれる背景に対応する画素値を有する領域Ｇｂの各画素の画素値を、被写体領域Ａｓに対応する画素値に変更して抽出用画像（アルファマップＭ）を生成するので、被写体存在画像Ｐ１から被写体が含まれる被写体領域Ａｓを抽出するための抽出用画像の生成を適正に行うことができる。特に、被写体存在画像Ｐ１が、被写体となる人の胸から上のバストショットを撮像した画像である場合、二値画像Ｐ２における特定された画素集合Ｇａと下側画像境界Ｂｄとにより囲まれる領域は、被写体存在画像Ｐ１にて人の顔よりも下側の画像領域が重なる領域、即ち、被写体領域Ａｓであると推定して、二値画像Ｐ２における特定された画素集合Ｇａと下側画像境界Ｂｄとにより囲まれる領域Ｇｂの背景領域Ａｂに対応する画素値を被写体領域Ａｓに対応する画素値に変更するので、二値画像Ｐ２から抽出用画像を適正に生成することができる。
このとき、二値画像Ｐ２における特定された画素集合Ｇａと、被写体存在画像Ｐ１における下側の画像境界Ｂ以外の画像境界Ｂに対応する当該二値画像Ｐ２の他の画像境界、即ち、上側画像境界Ｂｔ、左側画像境界Ｂｌ及び右側画像境界Ｂｒとにより囲まれる背景に対応する領域については、各画素の画素値を被写体領域Ａｓに対応する画素値に変更しないので、被写体存在画像Ｐ１が、例えば、被写体となる人の胸から上のバストショットを撮像した画像である場合、二値画像Ｐ２における特定された画素集合Ｇａと下側画像境界Ｂｄ以外の他の画像境界とにより囲まれる領域は、被写体領域Ａｓ以外の背景領域Ａｂであると推定して、抽出用画像の生成を適正に行うことができる。

また、二値画像Ｐ２の複数の画像境界のうち、顔検出処理により被写体存在画像Ｐ１から検出された被写体の顔の向きに対して下側となる画像境界Ｂに対応する画像境界を下側画像境界Ｂｄとして特定することで、下側画像境界Ｂｄの特定を適正に行うことができ、二値画像Ｐ２における特定された画素集合Ｇａと下側画像境界Ｂｄとにより囲まれる領域Ｇｂの特定を適正に行うことができる。

また、被写体抽出処理にて、二値画像Ｐ２における被写体領域Ａｓに対応する画素値を有する画素集合Ｇａを特定する際に、当該画素集合Ｇａの構成画素数に対して所定の割合以下の構成画素数の背景領域Ａｂに対応する背景画素集合の各画素の画素値を被写体領域Ａｓに対応する画素値に変更する穴埋め処理を行うようになっているが、抽出用画像の生成後に、ユーザによるユーザ端末２の操作入力部２０５の所定操作に基づいて、生成済みの抽出用画像における変更済み領域Ａｄの各画素の画素値を元に戻す指示が入力された場合には、変更済み領域Ａｄの各画素の画素値を背景画素集合の画素値に変更して抽出用画像を修正するので、二値画像Ｐ２に対して穴埋め処理を自動的に行う構成であっても、ユーザの意図を考慮して抽出用画像を修正することができ、ユーザ所望の抽出用画像を生成することができる。
特に、抽出用画像（アルファマップＭ）における境界線Ｌに対応する領域、即ち、三値画像Ｐ５における、被写体領域Ａｓとなるか背景領域Ａｂとなるか画素値が未確定の領域Ａｃについてのみ、変更済み領域Ａｄの各画素の画素値を修正するか否かを判定するので、当該判定処理にかかる負担の軽減を図ることができ、抽出用画像の修正を高速に行うことができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、被写体存在画像Ｐ１における境界線Ｌにより区分される複数の区分領域Ａ、…の中から、被写体領域Ａｓの抽出の基準となる所定領域Ａｃを特定し、当該所定領域Ａｃを基準として、被写体抽出部３０７が被写体存在画像Ｐ１における複数の区分領域Ａ、…の中から被写体領域Ａｓを特定して抽出するようにしたが、所定領域Ａｃを特定せずに、被写体領域Ａｓを特定するようにしてもよい。即ち、被写体抽出部３０７は、各区分領域Ａの縁部を構成する画素のうち、下側画像境界Ｂｄの画像境界Ｂを構成する画素を画像境界Ｂの画素として計数せずに画像境界Ｂの画素の数が最も少ない区分領域Ａ（例えば、中区分領域Ａｍ等）を、被写体領域Ａｓとして抽出するようにしてもよい。

また例えば、上記実施形態においては、被写体抽出部３０７は、被写体存在画像Ｐ１の複数の区分領域Ａ、…の中で、所定領域Ａｃとしての左区分領域Ａｌ及び右区分領域Ａｒを被写体領域Ａｓの候補から除外し、さらに、下側画像境界Ｂｄの構成画素を最も多く含む中区分領域Ａｍを、被写体領域Ａｓとして特定したが、下側画像境界Ｂｄの構成画素を最も多く含む領域を被写体領域Ａｓとして特定しなくてもよい。即ち、単純に被写体存在画像Ｐ１の複数の区分領域Ａ、…の中で、所定領域Ａｃとしての左区分領域Ａｌ及び右区分領域Ａｒを被写体領域Ａｓの候補から除外して残った領域を被写体領域Ａｓとして特定するようにしてもよい。

また例えば、上記実施形態にあっては、ユーザによるユーザ端末２の所定操作に基づいて、Ｗｅｂサーバとして機能するサーバ（画像生成装置）３によって抽出用画像（アルファマップＭ）を生成するようにしたが、一例であってこれに限られるものではなく、画像生成装置の構成は適宜任意に変更可能である。即ち、抽出用画像の生成に係る被写体抽出部３０７の機能をソフトウェアにより実現される構成として、ユーザ端末２にインストールすることで通信ネットワークＮを必要とすることなく、当該ユーザ端末２単体で被写体切り抜き処理を行うようにしても良い。
つまり、ユーザ端末２は、被写体存在画像Ｐ１の二値画像Ｐ２における被写体領域Ａｓに対応する画素値を有する画素が連続する画素集合Ｇａを特定し、二値画像Ｐ２の複数の画像境界のうち、所定の表示領域に表示された状態の被写体存在画像Ｐ１における下側の画像境界に対応する当該二値画像Ｐ２の下側画像境界Ｂｄを特定し、二値画像Ｐ２における画素集合Ｇａと下側画像境界Ｂｄとにより囲まれる背景に対応する画素値を有する各画素の画素値を、被写体領域Ａｓに対応する画素値に変更して抽出用画像を生成するようにしても良い。

また、上記実施形態にあっては、ユーザ端末２として、パーソナルコンピュータを例示したが、一例であってこれに限られるものではなく適宜任意に変更可能であり、例えば、携帯電話機等を適用しても良い。

さらに、被写体切り抜きシステム１００にプリント装置を備え、当該プリント装置によって、サーバ３により生成された被写体切り抜き画像Ｐ３の被写体画像を所定のプリント用基材に対して所定の印刷方式により印刷して、被写体画像のプリントを作成するようにしても良い。また、サーバ３は、生成した被写体切り抜き画像Ｐ３をアルファマップＭを利用して所定の背景画像と合成して被写体合成画像（図示略）を生成しても良く、この場合には、プリント装置は、当該被写体合成画像のプリントを作成するようにしても良い。
なお、被写体切り抜き画像Ｐ３や被写体合成画像の画像データには、ユーザによる所定の改変を禁止する制御情報を埋め込むようにしても良い。

加えて、上記実施形態にあっては、第１特定手段、第２特定手段、生成手段としての機能を、中央制御部３０１の制御下にて、被写体抽出部３０７の画素集合特定部３０７ｂ、画像境界特定部３０７ｃ、画像生成部３０７ｄが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部３０１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、第１特定処理ルーチン、第２特定処理ルーチン、生成処理ルーチンを含むプログラムを記憶しておく。そして、第１特定処理ルーチンにより中央制御部３０１のＣＰＵを、被写体存在画像Ｐ１における被写体領域に対応する画素値を有する画素が連続する画素集合を特定する第１特定手段として機能させるようにしても良い。また、第２特定処理ルーチンにより中央制御部３０１のＣＰＵを、被写体存在画像Ｐ１における複数の画像境界のうち、所定の表示領域に表示された状態の下側の画像境界に対応する下側画像境界を特定する第２特定手段として機能させるようにしても良い。また、生成処理ルーチンにより中央制御部３０１のＣＰＵを、第１特定手段により特定された画素集合と、第２特定手段により特定された下側画像境界とにより囲まれる背景に対応する領域を構成する各画素を、被写体領域に対応させて抽出用画像を生成する生成手段として機能させるようにしても良い。

同様に、検出手段、判定手段、修正手段、指定手段についても、サーバ３の中央制御部３０１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

１００ 被写体切り抜きシステム
１ 撮像装置
２ ユーザ端末
２０３ 表示部
３ サーバ
３０１ 中央制御部
３０４ 通信制御部
３０５ 境界線指定部
３０６ 顔検出部
３０７ 被写体抽出部
３０７ｂ 画素集合特定部
３０７ｃ 画像境界特定部
３０７ｄ 画像生成部
３０７ｅ 画像修正部
３０８ 判定部
Ｍ 記録媒体
Ｎ 通信ネットワーク

Claims (12)

1. 背景と被写体とが存在する被写体存在画像から被写体が含まれる被写体領域を特定する領域特定方法であって、
   前記被写体存在画像における前記被写体領域に対応する画素集合を前記被写体存在画像と背景用画像との対応する各画素の差分情報に基づいて特定する第１特定ステップと、
   前記被写体存在画像における複数の画像境界のうち、所定の表示領域に表示された状態の下側の画像境界に対応する下側画像境界を特定する第２特定ステップと、
   前記第１特定ステップにより特定された前記画素集合と、前記第２特定ステップにより特定された前記下側画像境界とにより囲まれる背景に対応する領域を構成する各画素を、前記被写体領域に対応させるように変更する変更ステップと、
   を備えたことを特徴とする領域特定方法。
2. 前記第１特定ステップは、
   前記被写体存在画像における前記被写体領域に対応する画素が連続する複数の画素集合の中で、面積が最大となる画素集合を特定することを特徴とする請求項１に記載の領域特定方法。
3. 前記被写体存在画像から被写体の顔を検出する検出ステップを更に備え、
   前記第２特定ステップは、
   前記被写体存在画像の複数の画像境界のうち、前記検出ステップにより前記被写体存在画像から検出された被写体の顔の向きに対して下側となる画像境界を前記下側画像境界として特定することを特徴とする請求項１又は２に記載の領域特定方法。
4. 前記変更ステップは、更に、
   前記第１特定ステップにより特定された前記画素集合と、前記第２特定ステップにより特定された前記下側画像境界以外の画像境界とにより囲まれる各画素を、前記被写体領域に対応させずに当該被写体領域を抽出するための抽出用画像を生成することを特徴とする請求項１〜３の何れか一項に記載の領域特定方法。
5. ユーザによる操作入力部の所定操作に基づいて、任意の領域の各画素の対応する領域を変更する指示が入力されたか否かを判定する判定ステップと、
   この判定ステップにより前記指示が入力されたと判定されると、前記抽出用画像における各画素の対応する領域に変更して前記抽出用画像を修正する修正ステップと、を更に備えることを特徴とする請求項４に記載の領域特定方法。
6. 前記所定の表示領域に表示された前記被写体存在画像にて、任意の境界線を指定する指定ステップを更に備え、
   前記判定ステップは、更に、
   前記変更ステップにより生成された前記抽出用画像における前記境界線に対応する領域の各画素の対応する領域を変更する指示が入力されたか否かを判定し、
   前記修正ステップは、更に、
   前記判定ステップにより前記抽出用画像における前記境界線に対応する領域について、前記各画素の対応する領域を変更する指示が入力されたと判定されると、前記抽出用画像における前記画素を、背景画素集合に対応させて前記抽出用画像を修正することを特徴とする請求項５に記載の領域特定方法。
7. 前記被写体存在画像は、被写体となる人の胸から上を撮像した画像であることを特徴とする請求項１〜６の何れか一項に記載の領域特定方法。
8. 前記第１特定ステップは、前記被写体存在画像の複数の画像境界の何れかを含む画像領域の画素の画素値に基づいて被写体の背景色を所定色として推定し、当該所定色の背景用画像と被写体存在画像との間で対応する各画素の差分情報に基づいて、前記被写体領域に対応する画素集合を特定することを特徴とする請求項１〜７の何れか一項に記載の領域特定方法。
9. 背景と被写体とが存在する被写体存在画像から被写体が含まれる被写体領域を特定する領域特定装置であって、
   前記被写体存在画像における前記被写体領域に対応する画素集合を前記被写体存在画像と背景用画像との対応する各画素の差分情報に基づいて特定する第１特定手段と、
   前記被写体存在画像における複数の画像境界のうち、所定の表示領域に表示された状態の下側の画像境界に対応する下側画像境界を特定する第２特定手段と、
   前記第１特定手段により特定された前記画素集合と、前記第２特定手段により特定された前記下側画像境界とにより囲まれる背景に対応する領域を構成する各画素を、前記被写体領域に対応させるように変更する変更手段と、
   を備えたことを特徴とする領域特定装置。
10. 背景と被写体とが存在する被写体存在画像から被写体が含まれる被写体領域を特定する領域特定装置のコンピュータを、
    前記被写体存在画像における前記被写体領域に対応する画素集合を前記被写体存在画像と背景用画像との対応する各画素の差分情報に基づいて特定する第１特定手段、
    前記被写体存在画像における複数の画像境界のうち、所定の表示領域に表示された状態の下側の画像境界に対応する下側画像境界を特定する第２特定手段、
    前記第１特定手段により特定された前記画素集合と、前記第２特定手段により特定された前記下側画像境界とにより囲まれる背景に対応する領域を構成する各画素を、前記被写体領域に対応させるように変更する変更手段、
    として機能させることを特徴とするプログラム。
11. 端末装置とネットワークを介して接続されたサーバであって、
    端末装置から被写体存在画像の画像データを受信する受信手段と、
    受信した被写体存在画像における被写体が含まれる被写体領域に対応する画素集合を前記被写体存在画像と背景用画像との対応する各画素の差分情報に基づいて特定する第１特定手段と、
    前記被写体存在画像における複数の画像境界のうち、所定の表示領域に表示された状態の下側の画像境界に対応する下側画像境界を特定する第２特定手段と、
    前記第１特定手段により特定された前記画素集合と、前記第２特定手段により特定された前記下側画像境界とにより囲まれる背景に対応する領域を構成する各画素を、前記被写体領域に対応させるように変更する変更手段と、
    を備えることを特徴とするサーバ。
12. 端末装置と、この端末装置とネットワークを介して接続されたサーバとを備えたシステムであって、
    前記端末装置は、
    被写体存在画像の画像データを送信する送信手段を備え、
    前記サーバは、
    前記端末装置から送信された被写体存在画像の画像データを受信する受信手段と、
    受信した被写体存在画像における被写体が含まれる被写体領域に対応する画素集合を前記被写体存在画像と背景用画像との対応する各画素の差分情報に基づいて特定する第１特定手段と、
    前記被写体存在画像における複数の画像境界のうち、所定の表示領域に表示された状態の下側の画像境界に対応する下側画像境界を特定する第２特定手段と、
    前記第１特定手段により特定された前記画素集合と、前記第２特定手段により特定された前記下側画像境界とにより囲まれる背景に対応する領域を構成する各画素を、前記被写体領域に対応させるように変更する変更手段と、
    を備えることを特徴とするシステム。

Images