JP5234086B2 - 領域特定方法、領域特定装置、プログラム、サーバ及びシステム - Google Patents

領域特定方法、領域特定装置、プログラム、サーバ及びシステム Download PDF

Info

Publication number
JP5234086B2
JP5234086B2 JP2010257389A JP2010257389A JP5234086B2 JP 5234086 B2 JP5234086 B2 JP 5234086B2 JP 2010257389 A JP2010257389 A JP 2010257389A JP 2010257389 A JP2010257389 A JP 2010257389A JP 5234086 B2 JP5234086 B2 JP 5234086B2
Authority
JP
Japan
Prior art keywords
subject
image
area
specifying
existing image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010257389A
Other languages
English (en)
Other versions
JP2012109823A5 (ja
JP2012109823A (ja
Inventor
玲 浜田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2010257389A priority Critical patent/JP5234086B2/ja
Priority to US13/295,403 priority patent/US8687888B2/en
Priority to CN201110365020.5A priority patent/CN102567729B/zh
Priority to CN201410188426.4A priority patent/CN103996190B/zh
Publication of JP2012109823A publication Critical patent/JP2012109823A/ja
Publication of JP2012109823A5 publication Critical patent/JP2012109823A5/ja
Priority to US13/908,370 priority patent/US8670616B2/en
Application granted granted Critical
Publication of JP5234086B2 publication Critical patent/JP5234086B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、領域特定方法、領域特定装置、プログラム、サーバ及びシステムに関する。
従来、画像上に順次入力される座標データに基づいて輪郭線を描画して、当該画像から輪郭線で囲まれた対象物を抽出する画像処理装置が知られている(例えば、特許文献1参照)。
特開2000−48213号公報
しかしながら、上記特許文献1の場合、複数の輪郭線から特定領域を囲む閉曲線を形成するため、これら複数の輪郭線を指定する作業が煩雑となってしまうといった問題がある。
また、複数の輪郭線を連結しても完全な閉曲線が形成されない場合には、最寄りの不連続点どうしを直線や所定の曲線で自動的に連結して閉曲線を形成するため、ユーザ所望の対象物が適正に囲まれない虞もあり、この場合には、輪郭線を再度指定し直さなければならないといった問題が生じてしまう。一方、輪郭線が完全な閉曲線で形成されていない状態では、画像における輪郭線により区分される複数の領域の中で、いずれの領域を抽出するかを指定しなければならないといった問題もある。
本発明は、このような問題に鑑みてなされたものであり、本発明の課題は、被写体領域の特定を簡便に、且つ、適正に行うことができる領域特定方法、領域特定装置、プログラム、サーバ及びシステムを提供することである。
上記課題を解決するため、請求項1に記載の発明の領域特定方法は、
背景と被写体とが存在する被写体存在画像から被写体が含まれる被写体領域を特定する領域特定方法であって、前記被写体存在画像における任意に指定された境界線により区分される複数の区分領域から、各区分領域の縁部を構成する前記被写体存在画像の画像境界の画素数を算出する算出ステップと、前記複数の区分領域の中から算出した画素数が当該縁部の全画素数に対して所定の割合以上となる領域を基準領域として特定する基準領域特定ステップと、前記被写体存在画像における前記複数の区分領域の中から、前記基準領域特定ステップにより特定された前記基準領域を除外して、前記被写体領域を特定する被写体領域特定ステップと、を含むことを特徴としている。
請求項に記載の発明は、請求項に記載の領域特定方法において、
前記被写体存在画像の複数の画像境界のうち、所定の表示領域に表示された状態の当該被写体存在画像における下側画像境界を特定する境界特定ステップを更に備え、前記基準領域特定ステップは、更に、前記被写体存在画像における前記複数の区分領域で、前記境界特定ステップにより特定された下側画像境界を構成する画素数を前記算出ステップにおいて計数せずに所定の演算を行って、前記基準領域を特定することを特徴としている。
請求項に記載の発明は、請求項に記載の領域特定方法において、
前記被写体存在画像から被写体の顔を検出する検出ステップを更に備え、前記境界特定ステップは、更に、前記被写体存在画像の複数の画像境界のうち、前記検出ステップにより検出された被写体の顔の向きに対して下側となる画像境界を前記下側画像境界として特定することを特徴としている。
請求項に記載の発明は、請求項1〜の何れか一項に記載の領域特定方法において、
前記被写体存在画像から被写体の顔を検出する検出ステップを更に備え、前記被写体領域特定ステップは、更に、前記検出ステップによる検出結果を基準として、前記被写体存在画像における前記複数の区分領域の中から前記被写体領域を特定することを特徴としている。
請求項に記載の発明は、請求項に記載の領域特定方法において、
前記被写体領域特定ステップは、更に、前記被写体存在画像における前記複数の区分領域の中で、前記検出ステップにより検出された被写体の顔の向きに対して下側の画像境界を最も多く含む区分領域を、前記被写体領域として特定することを特徴としている。
請求項に記載の発明は、請求項に記載の領域特定方法において、
前記被写体領域特定ステップは、更に、前記被写体存在画像における前記複数の区分領域の中で、前記検出ステップにより検出された被写体の顔を含む区分領域を、前記被写体領域として特定することを特徴としている。
請求項に記載の発明は、請求項1〜の何れか一項に記載の領域特定方法において、
被写体となる人の胸から上を撮像した前記被写体存在画像から前記被写体領域を特定するための所定のモードを設定する設定ステップを更に備え、前記設定ステップにより前記所定のモードが設定された場合に、前記基準領域特定ステップにより前記基準領域を特定する処理と、前記被写体領域特定ステップにより前記被写体領域を特定する処理とを行うことを特徴としている。
請求項に記載の発明は、請求項1〜の何れか一項に記載の領域特定方法において、
前記被写体領域特定ステップは、更に、前記被写体存在画像から特定された前記被写体領域を抽出する処理を行うことを特徴としている。
請求項に記載の発明の領域特定方法は、
背景と被写体とが存在する被写体存在画像から被写体が含まれる被写体領域を特定する領域特定方法であって、境界線を任意に指定する指定ステップと、前記被写体存在画像における前記境界線により区分される複数の区分領域の中から、各区分領域の縁部を構成する画素のうち、当該被写体存在画像の下側画像境界を構成する画素を計数せずに、前記被写体存在画像の画像境界の画素の数が最も少ない区分領域を、被写体領域として特定する特定ステップと、を含むことを特徴としている。
請求項10に記載の発明の領域特定装置は、
背景と被写体とが存在する被写体存在画像から被写体が含まれる被写体領域を特定する領域特定装置であって、所定の表示領域に表示される前記被写体存在画像にて、任意に境界線を指定する指定手段と、前記被写体存在画像における任意に指定された境界線により区分される複数の区分領域から、各区分領域の縁部を構成する前記被写体存在画像の画像境界の画素数を算出し、前記複数の区分領域の中から算出した画素数が当該縁部の全画素数に対して所定の割合以上となる領域を基準領域として特定する基準領域特定手段と、この基準領域特定手段により特定された前記基準領域を除外して、前記被写体存在画像における前記複数の区分領域の中から前記被写体領域を特定する被写体領域特定手段と、を備えることを特徴としている。
請求項11に記載の発明のプログラムは、
背景と被写体とが存在する被写体存在画像から被写体が含まれる被写体領域を特定する領域特定装置のコンピュータを、所定の表示領域に表示される前記被写体存在画像にて、任意に境界線を指定する指定手段、前記被写体存在画像における任意に指定された境界線により区分される複数の区分領域から、各区分領域の縁部を構成する前記被写体存在画像の画像境界の画素数を算出し、前記複数の区分領域の中から算出した画素数が当該縁部の全画素数に対して所定の割合以上となる領域を基準領域として特定する基準領域特定手段、この基準領域特定手段により特定された前記基準領域を除外して、前記被写体存在画像における前記複数の区分領域の中から前記被写体領域を特定する被写体領域特定手段、として機能させることを特徴としている。
請求項12に記載の発明のサーバは、
端末装置とネットワークを介して接続されたサーバであって、端末装置から被写体存在画像の画像データと、この被写体存在画像における境界線の指定指示を受信する受信手段と、前記被写体存在画像における任意に指定された境界線により区分される複数の区分領域から、各区分領域の縁部を構成する前記被写体存在画像の画像境界の画素数を算出し、前記複数の区分領域の中から算出した画素数が当該縁部の全画素数に対して所定の割合以上となる領域を基準領域として特定する基準領域特定手段と、この基準領域特定手段により特定された前記基準領域を除外して、前記被写体存在画像における前記複数の区分領域の中から被写体が含まれる被写体領域を特定する被写体領域特定手段と、を備えることを特徴としている。
請求項13に記載の発明のシステムは、
端末装置と、この端末装置とネットワークを介して接続されたサーバとを備えたシステムであって、前記端末装置は、被写体存在画像の画像データと、当該被写体存在画像における境界線の指定指示をサーバに送信する送信手段を備え、前記サーバは、前記端末装置から送信された被写体存在画像の画像データと、当該被写体存在画像における境界線の指定指示を受信する受信手段と、前記被写体存在画像における任意に指定された境界線により区分される複数の区分領域から、各区分領域の縁部を構成する前記被写体存在画像の画像境界の画素数を算出し、前記複数の区分領域の中から算出した画素数が当該縁部の全画素数に対して所定の割合以上となる領域を基準領域として特定する基準領域特定手段と、この基準領域特定手段により特定された前記基準領域を除外して、前記被写体存在画像における前記複数の区分領域の中から被写体が含まれる被写体領域を特定する被写体領域特定手段と、を備えることを特徴としている。
本発明によれば、被写体領域の特定を簡便に、且つ、適正に行うことができる。
本発明を適用した一実施形態の被写体切り抜きシステムの概略構成を示すブロック図である。 被写体切り抜きシステムを構成する撮像装置の概略構成を示すブロック図である。 被写体切り抜きシステムを構成するユーザ端末の概略構成を示すブロック図である。 被写体切り抜きシステムを構成するサーバの概略構成を示すブロック図である。 被写体切り抜きシステムによる被写体切り抜き処理に係る動作の一例を示すフローチャートである。 図5の被写体切り抜き処理の続きを示すフローチャートである。 図5の被写体切り抜き処理に係る画像の一例を模式的に示す図である。 被写体切り抜き処理の変形例を示すフローチャートである。
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図1は、本発明を適用した一実施形態の被写体切り抜きシステム100の概略構成を示すブロック図である。
本実施形態の被写体切り抜きシステム100は、サーバ3が、被写体存在画像P1における境界線Lにより区分される複数の区分領域A、…から、各区分領域Aの縁部を構成する被写体存在画像P1の画像境界Bの画素数が当該縁部の全画素数に対して所定の割合以上となる領域Acを特定する。そして、サーバ3が、特定した領域Acを基準として、被写体存在画像P1における複数の区分領域A、…の中から被写体領域Asを特定する。
具体的には、図1に示すように、被写体切り抜きシステム100は、撮像装置1と、ユーザ端末2と、サーバ3とを備え、ユーザ端末2とサーバ3とが所定の通信ネットワークNを介して各種情報を送受信可能に接続されている。
先ず、撮像装置1について図2を参照して説明する。
ここで、図2は、撮像装置1の概略構成を示すブロック図である。
図2に示すように、撮像装置1は、レンズ部101と、電子撮像部102と、ユニット回路部103と、撮像制御部104と、画像処理部105と、表示部106と、記録媒体制御部107と、バッファメモリ108と、プログラムメモリ109と、操作入力部110と、中央制御部111とを備えている。
レンズ部101は、例えば、図示は省略するが、ズームレンズ、フォーカスレンズ、絞り等を有し、これらレンズを通過した被写体の光学像を結像する。
電子撮像部102は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等のイメージセンサ等から構成され、レンズ部101の各種レンズを通過した光学像を当該電子撮像部102により二次元の画像信号(RGB画像データ)に変換して、ユニット回路部103に出力する。
ユニット回路部103は、例えば、図示は省略するが、CDS(Correlated Double Sampling:相関二重サンプリング回路)、AGC(Auto Gain Control:ゲイン調整アンプ)、ADC(Analog to Digital Converter:アナログ/デジタル変換器)等を具備している。そして、ユニット回路部103は、電子撮像部102から出力されて入力される被写体の光学像に応じたアナログの画像信号をCDSにより保持し、当該画像信号をAGCにより増幅した後、増幅された画像信号をADCによりデジタルの画像信号に変換する。
撮像制御部104は、中央制御部111からの指令に基づいて、被写体の撮像の際に、レンズ部101、電子撮像部102、ユニット回路部103等の動作を制御する。具体的には、撮像制御部104は、レンズ部101のズームレンズやフォーカスレンズ等を光軸上で移動させるためのレンズモータ(図示略)の駆動を制御したり、電子撮像部102を走査駆動するタイミングを制御したり、電子撮像部102の駆動タイミングに基づいてユニット回路部103の駆動タイミングを制御する。
画像処理部105は、A/D変換後の画像信号に対して、画素毎のR,G,Bの色成分データ(RGBデータ)を生成するRGB補間処理、RGBデータから輝度信号(Y)と色差信号(U、V)からなるYUVデータを画素毎に生成するYUV変換処理、さらに自動ホワイトバランスや輪郭強調などの画品質向上のためのデジタル信号処理を行う。そして、画像処理部105は、変換後の各画像フレームのYUVデータをバッファメモリ108に順次出力し、当該バッファメモリ108に格納させる。
表示部106は、バッファメモリ108に格納された1フレーム分のYUVデータをビデオ信号に変換した後、ライブビュー画像として表示画面に表示する。具体的には、表示部106は、被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を所定の表示フレームレートで表示したり、本撮像画像として撮像されたレックビュー画像を表示する。
記録媒体制御部107は、記録媒体Mが着脱自在に構成され、装着された記録媒体Mからのデータの読み出しや記録媒体Mに対するデータの書き込みを制御する。即ち、記録媒体制御部107は、画像処理部105のJPEG圧縮部(図示略)により符号化された撮像画像の記録用の画像データを記録媒体Mに記録させる。具体的には、記録媒体制御部107は、背景と被写体とが存在する被写体存在画像P1(図7(a)参照)の記録用の画像データを記録媒体Mに記録させる。
なお、記録媒体Mは、例えば、不揮発性メモリ(フラッシュメモリ)等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
バッファメモリ108は、画像データ等を一時的に記録するバッファであるとともに、中央制御部111などのワーキングメモリ等としても使用される。
プログラムメモリ109には、当該撮像装置1の機能に係る各種プログラムやデータが格納されている。また、プログラムメモリ109には、例えば、静止画撮像時、連続撮像時、ライブビュー画像撮像時等の各撮像時における適正な露出値(EV)に対応する絞り値(F)とシャッタースピードとの組み合わせを示すプログラム線図を構成するプログラムAEデータや、EV値表(何れも図示略)も格納されている。
操作入力部110は、当該撮像装置1の所定操作を行うためのものである。具体的には、操作入力部110は、例えば、被写体の撮影指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定用ボタン、ズーム量の調整指示に係るズームボタン等を備え(何れも図示略)、これらのボタンのユーザ操作に応じて所定の操作信号を中央制御部111に出力する。
中央制御部111は、例えば、撮像装置1の各部を制御するCPUを具備するワンチップマイコン等から構成されている。
また、中央制御部111は、操作入力部110から出力され入力された操作信号に基づいて、撮像装置1の各部を制御する。具体的には、中央制御部111は、操作入力部110のシャッタボタンの所定操作に従って出力された記録指示信号が入力されると、プログラムメモリ109に記憶されている所定のプログラムに従って、撮像制御部104により電子撮像部102及びユニット回路部103の駆動タイミングを制御して静止画像を撮影する処理を実行する。この静止画像の撮影によりバッファメモリ108に格納された1フレーム分のYUVデータは、画像処理部105にてJPEG方式等により圧縮され符号化されて、記録媒体Mに静止画像データとして記録される。
次に、ユーザ端末2について図3を参照して説明する。
ユーザ端末2は、例えば、パーソナルコンピュータ等により構成され、サーバ3により開設されるWebページ(例えば、被写体抽出用ページ)にアクセスして、当該Webページ上で被写体存在画像P1における境界線Lの指定指示を入力する。
図3は、ユーザ端末2の概略構成を示すブロック図である。
図3に示すように、ユーザ端末2は、具体的には、中央制御部201と、通信制御部202と、表示部203と、記録媒体制御部204と、操作入力部205等を備えている。
中央制御部201は、ユーザ端末2の各部を制御するものである。具体的には、中央制御部201は、CPU、RAM、ROM(何れも図示略)を備え、ROMに記憶されたユーザ端末2用の各種処理プログラム(図示略)に従って各種の制御動作を行う。その際に、CPUは、RAM内の格納領域内に各種処理結果を格納させ、必要に応じてその処理結果を表示部203に表示させる。
RAMは、例えば、CPUにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ROMは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、ユーザ端末2で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。
通信制御部202は、例えば、モデム(MODEM:Modulater/DEModulater)、ターミナルアダプタ(Terminal Adapter)等によって構成され、所定の通信ネットワークNを介してサーバ3等の外部機器との間で情報の通信制御を行うためのものである。
なお、通信ネットワークNは、例えば、専用線や既存の一般公衆回線を利用して構築された通信ネットワークNであり、LAN(Local Area Network)やWAN(Wide Area Network)等の様々な回線形態を適用することが可能である。また、通信ネットワークNには、例えば、電話回線網、ISDN回線網、専用線、移動体通信網、通信衛星回線、CATV回線網等の各種通信回線網と、それらを接続するインターネットサービスプロバイダ等が含まれる。
表示部203は、例えば、LCD、CRT(Cathode Ray Tube)等のディスプレイから構成され、中央制御部201のCPUの制御下にて各種情報を表示画面に表示する。
具体的には、表示部203は、例えば、サーバ3から送信され通信制御部202により受信されたWebページ(例えば、被写体抽出用ページ)のページデータに基づいて、対応するWebページを表示画面に表示する。
記録媒体制御部204は、記録媒体Mが着脱自在に構成され、装着された記録媒体Mからのデータの読み出しや記録媒体Mに対するデータの書き込みを制御する。即ち、記録媒体制御部204は、撮像装置1から取り外されて装着された記録媒体Mから被写体切り抜き処理(後述)に係る被写体存在画像P1の画像データを読み出して通信制御部202に出力する。
そして、通信制御部202は、入力された被写体存在画像P1の画像データをサーバ3に所定の通信ネットワークNを介して送信する。
操作入力部205は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成されるキーボードやマウス等を備え、ユーザにより押下されたキーの押下信号やマウスの操作信号を中央制御部201のCPUに出力する。
具体的には、操作入力部205は、ユーザによる所定操作に基づいて、被写体切り抜き処理(後述)の際に表示部203の表示画面に表示されている被写体存在画像P1にて境界線Lを構成する複数の点の座標(x, y)の設定指示を入力する。例えば、操作入力部205は、ユーザによるマウスの所定操作に基づいて被写体存在画像P1上に描画された境界線Lを構成する複数の点の座標の設定指示を入力する。そして、操作入力部205は、当該操作に応じた所定の設定信号を中央制御部201のCPUに出力する。
CPUは、操作入力部205から出力され入力された設定信号を通信制御部202により所定の通信ネットワークNを介してサーバ3に送信させる。
なお、操作入力部205としてタッチパネル(図示略)を表示部203の表示画面に配設して、タッチパネルの接触位置に応じて境界線Lを構成する複数の点の座標(x, y)の設定指示を入力するような構成としても良い。
次に、サーバ3について図4を参照して説明する。
サーバ3は、Web(World Wide Web)サーバ3としてインターネット上にWebページ(例えば、被写体抽出用ページ)を開設する機能を具備するものであり、ユーザ端末2からのアクセスに応じて当該ユーザ端末2にWebページのページデータを送信する。また、サーバ3は、被写体抽出装置として、ユーザ端末2から出力された境界線Lの複数の点の座標(x, y)の設定指示の入力に基づいて境界線Lを指定し、被写体存在画像P1における境界線Lにより区分される複数の区分領域A、…の中から、被写体が含まれる被写体領域Asを特定する。
図4は、サーバ3の概略構成を示すブロック図である。
図4に示すように、サーバ3は、具体的には、中央制御部301と、記憶部302と、表示部303と、通信制御部304と、境界線指定部305と、顔検出部306と、画像境界特定部307と、領域特定部308と、被写体抽出部309等を備えて構成されている。
中央制御部301は、サーバ3の各部を制御するものである。具体的には、中央制御部301は、CPU、RAM、ROM(何れも図示略)を備え、CPUは、ROMに記憶されたサーバ3用の各種処理プログラム(図示略)に従って各種の制御動作を行う。その際に、CPUは、RAM内の格納領域内に各種処理結果を格納させ、必要に応じてその処理結果を表示部303に表示させる。
RAMは、例えば、CPUにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ROMは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、サーバ3で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。
記憶部302は、例えば、半導体の不揮発メモリやHDD(Hard Disc Drive)等により構成され、ユーザ端末2に送信されるWebページのページデータ等を記憶する。
表示部303は、例えば、LCD、CRT等のディスプレイから構成され、中央制御部301のCPUの制御下にて各種情報を表示画面に表示する。
通信制御部304は、例えば、モデム、ターミナルアダプタ等によって構成され、所定の通信ネットワークNを介してユーザ端末2等の外部機器との間で情報の通信制御を行うためのものである。
具体的には、通信制御部304は、例えば、被写体切り抜き処理(後述)にてユーザ端末2から所定の通信ネットワークNを介して送信された被写体存在画像P1における境界線Lを構成する複数の点の座標の設定信号を受信して、当該設定信号を中央制御部301のCPUに出力する。
境界線指定部305は、被写体存在画像P1における境目をなす境界線Lを指定する。
即ち、被写体切り抜き処理にて、境界線指定部305は、ユーザ端末2から所定の通信ネットワークNを介して送信され通信制御部304により受信した被写体存在画像P1の画像データ及び当該被写体存在画像P1上に描画された境界線Lを構成する複数の点の座標の設定信号に基づいて、当該被写体存在画像P1上にて複数の点の座標を指定し、これら複数の点どうしを連結して境界線Lを指定する。
なお、境界線Lは、ある領域を完全に囲む閉じられた形態であっても良いし、当該被写体存在画像P1の画像境界Bの異なる位置に境界線Lの始点及び終点が存するような形態(図7(b)参照)であっても良い。
このように、境界線指定部305は、指定手段として、被写体存在画像P1にて境目をなす境界線Lを指定する。
顔検出部306は、被写体存在画像P1から被写体の顔が含まれる顔領域を検出する。
即ち、顔検出部306は、ユーザ端末2から所定の通信ネットワークNを介して送信され通信制御部304により受信した被写体存在画像P1の画像データを取得して、当該画像データに対して所定の顔検出処理を行って顔領域を検出する。
また、顔検出処置にあっては、被写体としての人以外の顔、例えば、動物の顔などの顔領域を検出しても良い。なお、顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
このように、顔検出部306は、検出手段として、被写体存在画像P1から被写体の顔を検出する。
画像境界特定部307は、被写体存在画像P1の複数の画像境界B、…の中から下側画像境界Bdを特定する。
即ち、画像境界特定部307は、ユーザ端末2から所定の通信ネットワークNを介して送信され通信制御部304により受信した被写体存在画像P1の画像データを取得して、当該画像データにおける上下左右の4つの画像境界Bt、Bd、Bl、Brの中で、ユーザ端末2の表示部203等の所定の表示領域に表示された状態の当該被写体存在画像P1にて下側となる下側画像境界Bdを特定する。具体的には、画像境界特定部307は、被写体存在画像P1の複数の画像境界B、…のうち、顔検出部306により検出された被写体の顔領域の顔の向きに対して下側となる画像境界Bを下側画像境界Bdとして特定する。
つまり、被写体存在画像P1が、例えば、被写体となる人の胸から上のバストショットを撮像した画像である場合、画像境界特定部307は、被写体存在画像P1の上下左右の4つの画像境界Bt、Bd、Bl、Brの中で、人の顔よりも下側の画像領域が重なる画像境界Bを下側画像境界Bdとして特定する。
また、画像境界特定部307は、例えば、被写体存在画像P1にExifタグ情報として付加されている当該被写体存在画像P1の撮像の際の画像の向きに関する情報を取得して、当該被写体存在画像P1の下側画像境界Bdを特定しても良い。
このように、画像境界特定部307は、境界特定手段として、被写体存在画像P1の複数の画像境界B、…のうち、所定の表示領域に表示された状態の当該被写体存在画像P1における下側画像境界Bdを特定する。
領域特定部308は、被写体存在画像P1における境界線Lにより区分される複数の区分領域A、…の中から、被写体領域Asの特定の基準となる領域Acを特定する。
即ち、領域特定部308は、被写体存在画像P1の複数の画像境界B、…と境界線Lにより区分される複数の区分領域A、…を特定し、各区分領域Aの縁部を構成する画素数を算出する。例えば、図7(b)に示すように、領域特定部308は、被写体存在画像P1の上下左右の4つの画像境界Bt、Bd、Bl、Brと境界線Lにより区分される区分領域Aとして、左区分領域Al、右区分領域Ar及び中区分領域Amを特定する。また、領域特定部308は、特定された複数の区分領域A、…の各々の縁部に沿う複数の画素を合計した全画素数をそれぞれ算出する。
そして、領域特定部308は、複数の区分領域A、…、即ち、左区分領域Al、右区分領域Ar及び中区分領域Amの中から、各区分領域Aの縁部を構成する画像境界Bの画素数が当該縁部の全画素数に対して所定の割合(例えば、40%等)以上となる領域Acを特定する。例えば、左区分領域Alの場合、左側画像境界Blと、上側画像境界Btの左側の一部分と、下側画像境界Bdの左側の一部分と、被写体の向かって左半身に沿って描画されている境界線Lの一部分のそれぞれの画素数を加算した値が全画素数となり、領域特定部308は、左側画像境界Blと上側画像境界Btの左側の一部分と下側画像境界Bdの左側の一部分のそれぞれの画素数を加算した値が全画素数に対して所定の割合以上となるか否かを判定する。同様に、領域特定部308は、右区分領域Ar、中区分領域Amについても判定する。
このとき、領域特定部308は、領域Acを特定しても良い。即ち、領域特定部308は、被写体存在画像P1における複数の区分領域A、…の中で、下側画像境界Bd以外の画像境界Bであって、各区分領域Aの縁部を構成する画像境界Bの画素数が当該縁部の全画素数(下側画像境界Bdの画素数を加算してもしなくても良い)に対して所定の割合以上となる所定領域Acを特定しても良い。
ここで、例えば、図7(b)に示すように、左区分領域Al及び右区分領域Arについては、領域特定部308は、各区分領域Aの縁部を構成する画像境界Bの画素数が縁部の全画素数に対して所定の割合以上であると判定して、当該左区分領域Al及び右区分領域Arを所定領域Acとして特定する。
このように、領域特定部308は、領域特定手段として、被写体存在画像P1における境界線Lにより区分される複数の区分領域A、…から、各区分領域Aの縁部を構成する被写体存在画像P1の画像境界Bの画素数が当該縁部の全画素数に対して所定の割合以上となる所定領域Acを特定する。
被写体抽出部309は、被写体存在画像P1の複数の区分領域A、…の中から被写体領域Asを特定して抽出する。
即ち、被写体抽出部309は、領域特定部308により特定された所定領域Acを基準として、被写体存在画像P1における複数の区分領域A、…の中から被写体領域Asを特定する。具体的には、被写体抽出部309は、被写体存在画像P1の複数の区分領域A、…の中で、領域特定部308により特定された領域Ac(例えば、左区分領域Al、右区分領域Ar等)を被写体領域Asの候補領域から除外して、被写体領域Asを特定する。
このとき、被写体抽出部309は、顔検出部306による検出結果を基準として、被写体存在画像P1の複数の区分領域A、…の中から被写体領域Asを特定しても良い。具体的には、被写体抽出部309は、被写体存在画像P1の複数の区分領域A、…の中で、顔検出部306により検出された被写体の顔の向きに対して下側の画像境界Bdを構成する画素を最も多く含む区分領域A(例えば、中区分領域Am等)を、被写体領域Asとして特定しても良い。
例えば、図7(b)に示すように、被写体抽出部309は、被写体存在画像P1の複数の区分領域A、…の中で、領域Acとしての左区分領域Al及び右区分領域Arを被写体領域Asの候補から除外し、さらに、下側画像境界Bdの構成画素を最も多く含む中区分領域Amを、被写体領域Asとして特定する。そして、被写体抽出部309は、後述する所定の抽出方法に従って被写体領域Asを抽出して、被写体画像を生成する。
ここで、被写体領域Asの抽出方法の一例について詳細に説明する。
被写体抽出部309は、先ず、被写体存在画像P1の左区分領域Al及び右区分領域Arが背景であると推定して、当該左区分領域Al及び右区分領域Arの各画素の画素値に基づいて所定の演算を行って、被写体の背景色を所定の単一色として推定する。そして、被写体抽出部309は、所定の単一色の背景用画像と被写体存在画像P1との間で対応する各画素の差分情報(例えば、相違度マップ等)を生成する。
その後、被写体抽出部309は、生成した差分情報の各画素の画素値を所定の閾値と比較して二値化した後、細かいノイズや手ぶれによる相違が存在する領域を除去するための収縮処理を行って所定値よりも小さい画素集合や手ぶれによる細線画素集合を除外する。そして、被写体抽出部309は、同じ連結成分を構成する画素集合に同じ番号を付けるラベリング処理を行って面積が最大の画素集合を被写体部分とする。その後、被写体抽出部309は、収縮分を修正するための膨張処理を行った後、被写体部分内のみのラベリング処理を行うことで被写体部分ラベルに対して所定の割合以下のラベルの画素集合を被写体部分に置き換えることで穴埋めも行う。
また、被写体抽出部309は、被写体存在画像P1における被写体領域Asの位置を示し、当該被写体領域Asを抽出するための抽出用画像を生成する。ここで、抽出用画像としては、例えば、被写体存在画像P1の各画素について、被写体画像を所定の背景に対してアルファブレンディングする際の重みをアルファ値(0≦α≦1)として表したアルファマップが挙げられる。例えば、被写体抽出部309は、上記の面積が最大の画素集合が1、その他の部分が0である二値化された差分情報に対してローパスフィルタを施して境界部分に中間値を生じさせることでアルファ値を作成する。この場合、被写体領域Asはアルファ値が1となり、被写体存在画像P1の所定の背景に対する透過度が0%となる。一方、被写体の背景部分はアルファ値が0となり、当該被写体存在画像P1の所定の背景に対する透過度が100%となる。
その後、被写体抽出部309は、生成された抽出用画像(アルファマップ)に基づいて、被写体存在画像P1の各画素のうち、アルファ値が1の画素を所定の単一色画像P3に対して透過させずに、且つ、アルファ値が0の画素を透過させるように、被写体画像を所定の単一色画像P3と合成して被写体切り抜き画像P2の画像データを生成する。
このように、被写体抽出部309は、被写体領域特定手段として、領域特定部308により特定された領域Acを基準として、被写体存在画像P1における複数の区分領域A、…の中から被写体領域Asを特定する。
なお、被写体抽出部309は、被写体領域Asの特定後、当該被写体領域Asを抽出するようにしたが、必ずしも被写体領域Asの抽出を行う必要はない。即ち、被写体領域Asの特定と抽出とを独立して行う専用のロジック回路をそれぞれ設けても良い。
次に、ユーザ端末2及びサーバ3を用いた被写体切り抜き処理について図5〜図7を参照して説明する。
ここで、図5及び図6は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。また、図7(a)〜図7(c)は、被写体切り抜き処理に係る画像の一例を模式的に示す図である。
なお、以下の説明にあっては、撮像装置1により生成された被写体存在画像P1の画像データが記録された記録媒体Mがユーザ端末2の記録媒体制御部204に装着されているものとする。
図5に示すように、ユーザ端末2の中央制御部201は、ユーザによる操作入力部205の所定操作に基づいて、サーバ3により開設される被写体抽出用ページのアクセス指示が入力されると、中央制御部201のCPUは、当該アクセス指示を通信制御部202により所定の通信ネットワークNを介してサーバ3に送信させる(ステップS1)。
サーバ3の通信制御部304によって、ユーザ端末2から送信されたアクセス指示が受信されると、中央制御部301のCPUは、被写体抽出用ページのページデータを通信制御部304により所定の通信ネットワークNを介してユーザ端末2に送信させる(ステップS2)。
そして、ユーザ端末2の通信制御部202によって、被写体抽出用ページのページデータが受信されると、表示部203は、当該被写体抽出用ページのページデータに基づいて、所定の被写体抽出用ページを表示画面に表示する。
次に、ユーザ端末2の記録媒体制御部204は、記録媒体Mから当該被写体切り抜き処理に係る被写体存在画像P1の画像データを読み出した後、表示部203は、当該被写体存在画像P1の画像データを表示画面に表示する(ステップS3)。
また、通信制御部202は、読み出された被写体存在画像P1の画像データをサーバ3に所定の通信ネットワークNを介して送信する(ステップS4)。
そして、サーバ3の通信制御部304は、ユーザ端末2から送信された被写体存在画像P1の画像データを受信する(ステップS5)。
その後、ユーザ端末2の中央制御部201は、ユーザによる操作入力部205の所定操作に基づいて、表示部203の表示画面に表示されている被写体存在画像P1にて境界線Lの始点の座標(第1座標)が入力されたか否かを判定する(ステップS6)。即ち、中央制御部201は、ユーザによるマウスの所定操作に基づいて被写体存在画像P1上に連続して描画される境界線Lを構成する複数の点の座標のうち、最初に描画された点を始点として、その始点の第1座標が入力されたか否かを判定する。
ステップS6の判定処理は、境界線Lの始点の第1座標が入力されたと判定されるまで(ステップS6;YES)、繰り返し実行される。
そして、ステップS6にて、境界線Lの始点の第1座標が入力されたと判定されると(ステップS6;YES)、中央制御部201のCPUは、操作入力部205から出力され入力された第1座標の設定指示信号を通信制御部202により所定の通信ネットワークNを介してサーバ3に送信させる(ステップS7)。
サーバ3の通信制御部304によって、ユーザ端末2から送信された第1座標の設定指示信号が受信されると、境界線指定部305は、第1座標の設定指示信号並びに被写体存在画像P1の画像データに基づいて、当該被写体存在画像P1にて境界線Lの始点の座標を指定する(ステップS8)。
次に、ユーザ端末2の中央制御部201は、ユーザによる操作入力部205の所定操作に基づいて、表示部203の表示画面に表示されている被写体存在画像P1にて境界線Lの終点の座標(第2座標)が入力されたか否かを判定する(ステップS9)。即ち、中央制御部201は、ユーザによるマウスの所定操作に基づいて被写体存在画像P1上に連続して描画される境界線Lを構成する複数の点の座標のうち、最後に描画された点を終点として、その終点の第2座標が入力されたか否かを判定する。
ステップS9の判定処理は、境界線Lの終点の第2座標が入力されたと判定されるまで(ステップS9;YES)、繰り返し実行され、ユーザによるマウスの所定操作に基づいてユーザ端末2からサーバ3に被写体存在画像P1上に連続して描画される境界線Lを構成する複数の点の座標が順次送信される。
そして、ステップS9にて、境界線Lの終点の第2座標が入力されたと判定されると(ステップS9;YES)、中央制御部201のCPUは、操作入力部205から出力され入力された第2座標の設定指示信号を通信制御部202により所定の通信ネットワークNを介してサーバ3に送信させる(ステップS10)。
サーバ3の通信制御部304によって、ユーザ端末2から送信された第2座標の設定指示信号が受信されると、境界線指定部305は、第2座標の設定指示信号並びに被写体存在画像P1の画像データに基づいて、当該被写体存在画像P1にて境界線Lの終点の座標を指定する(ステップS11)。
続けて、境界線指定部305は、被写体存在画像P1上に連続して描画された境界線Lを構成する複数の点の座標を連結して、始点から終点まで連続した境界線Lを指定する(ステップS12)。
次に、顔検出部306は、被写体存在画像P1の画像データを取得して、当該画像データに対して所定の顔検出処理を行って顔領域を検出する(ステップS13)。
続けて、画像境界特定部307は、被写体存在画像P1の複数の画像境界B、…のうち、下側画像境界Bdを特定する(ステップS14)。具体的には、画像境界特定部307は、被写体存在画像P1の画像データを取得して、当該画像データにおける上下左右の4つの画像境界Bt、Bd、Bl、Brのうち、顔検出部306により検出された被写体の顔領域の顔の向きに対して下側となる画像境界Bを下側画像境界Bdとして特定する。なお、ステップS13において顔領域が検出されなかった場合は、単純にユーザ端末2の表示部203に表示されている被写体存在画像P1の下側の画像境界を下側画像境界Bdとしても良い。
その後、領域特定部308は、被写体存在画像P1の上下左右の4つの画像境界Bt、Bd、Bl、Brと境界線Lにより区分される複数の区分領域A、…として、左区分領域Al、右区分領域Ar及び中区分領域Amを特定する(ステップS15)。また、領域特定部308は、特定された複数の区分領域A、…の各々の縁部に沿う複数の画素を合計した全画素数をそれぞれ算出する。
続けて、領域特定部308は、特定された複数の区分領域A、…、即ち、左区分領域Al、右区分領域Ar及び中区分領域Amの中から、各区分領域Aの縁部を構成する画像境界Bの画素数が当該縁部の全画素数に対して所定の割合(例えば、40%等)以上となる領域Acを特定する(ステップS16)。例えば、領域特定部308は、左区分領域Al及び右区分領域Arの各々の縁部を構成する画像境界Bの画素数が各縁部の全画素数に対して所定の割合以上であると判定して、当該左区分領域Al及び右区分領域Arを領域Acとして特定する。
次に、被写体抽出部309は、被写体存在画像P1の複数の区分領域A、…の中から被写体領域Asを特定する(ステップS17)。具体的には、被写体抽出部309は、被写体存在画像P1の複数の区分領域A、…の中で、領域Acとしての左区分領域Al及び右区分領域Arを被写体領域Asの候補から除外し、さらに、下側画像境界Bdの構成画素を最も多く含む中区分領域Amを、被写体領域Asとして特定する。
続けて、被写体抽出部309は、被写体存在画像P1から所定の抽出方法に従って被写体領域Asを抽出する処理を行って、被写体存在画像P1における被写体領域Asの位置を示す抽出用画像としてアルファマップを生成する(ステップS18)。
その後、被写体抽出部309は、生成されたアルファマップを用いて被写体存在画像P1から被写体領域Asを切り出して、所定の単一色画像P3と合成して被写体切り抜き画像P2(図7(c)参照)の画像データを生成する(ステップS19)。具体的には、被写体抽出部309は、被写体存在画像P1の全ての画素について、アルファ値が0の画素については、透過させ、アルファ値が0<α<1の画素については、所定の単一色とブレンディングを行い、アルファ値が1の画素については、何もせずに所定の単一色に対して透過させないようにする。なお、アルファマップの縁部分には、合成階調がつけられているため、切り出された被写体領域Asと単一色画像P3(背景)との境界部分がはっきりしていない自然な感じとなる。
また、生成された被写体切り抜き画像P2の画像データは、抽出用画像であるアルファマップと対応付けて記憶部302に記憶される。
中央制御部301のCPUは、生成された被写体切り抜き画像P2の画像データを通信制御部304により所定の通信ネットワークNを介してユーザ端末2に送信させる(ステップS20)。
そして、ユーザ端末2の通信制御部202によって、被写体切り抜き画像P2の画像データが受信されると(ステップS21)、表示部203は、当該被写体切り抜き画像P2の画像データに基づいて、被写体画像を表示画面に表示する(ステップS22)。
これにより、被写体切り抜き処理を終了する。
以上のように、本実施形態の被写体切り抜きシステム100によれば、被写体存在画像P1における境界線Lにより区分される複数の区分領域A、…の中から、被写体領域Asの特定の基準となる領域Acを特定し、当該領域Acを基準として、被写体存在画像P1における複数の区分領域A、…の中から被写体領域Asを特定するので、境界線Lを完全に閉じられた形態で形成する必要がないだけでなく、さらに、当該境界線Lにより区分される複数の区分領域A、…の中で何れか一の区分領域Aを指定する必要もなくなる。特に、被写体存在画像P1における複数の区分領域A、…の中から領域Acを除外することにより、被写体領域Asの特定を適正に行うことができる。
このように、被写体領域Asの特定を簡便に、且つ、適正に行うことができる。
また、被写体存在画像P1における複数の区分領域A、…の中で、当該被写体存在画像P1における下側画像境界Bdを構成する画素数を計数せずに所定の演算を行って、領域Acを特定するので、例えば、被写体存在画像P1として、人の胸から上のバストショットを撮像した被写体存在画像P1から被写体領域Asを特定する場合などに、被写体領域Asの特定の基準となる領域Acの特定を適正に行うことができる。
即ち、例えば、境界線Lが完全に閉じられた形態で形成されていない場合に、当該境界線Lと被写体存在画像P1の下側画像境界Bdとによって囲まれた領域を被写体領域としても、被写体が画像中心よりも左右の何れか一側にずれて左右の何れか一側の画像境界にかかっていると、境界線Lを完全に閉じられた形態とすることができずに被写体領域の特定を適正に行えないといった問題が生じる。また更に、境界線Lが完全に閉じられた形態で形成されていない場合に、当該境界線Lと被写体存在画像P1の画像境界Bとによって囲まれた領域を被写体存在領域として特定しようとしても、そのような領域が複数存在する場合、被写体領域の特定を適正に行えないといった問題が生じる。
これに対して、被写体存在画像P1における複数の区分領域A、…の中で、当該被写体存在画像P1における下側画像境界Bdを構成する画素数を計数せずに所定の演算を行って領域Acを特定し、当該領域Acを基準として被写体存在画像P1における複数の区分領域A、…の中から被写体領域Asを特定することで、境界線Lを完全に閉じられた形態としなくても被写体領域Asの特定を適正に行うことができる。
さらに、被写体存在画像P1の複数の画像境界B、…のうち、顔検出処理により検出された被写体の顔の向きに対して下側となる画像境界Bを被写体存在画像P1における下側画像境界Bdとして特定することで、下側画像境界Bdの特定を適正に行うことができ、被写体存在画像P1における複数の区分領域A、…の中で領域Ac及び被写体領域Asの特定を適正に行うことができる。
さらに、顔検出処理による検出結果を基準として、被写体存在画像P1における複数の区分領域A、…の中から被写体領域Asを特定する。より具体的には、被写体存在画像P1における複数の区分領域A、…の中で、検出された被写体の顔の向きに対して下側の画像境界Bを最も多く含む区分領域Aを、被写体領域Asとして特定するので、例えば、被写体存在画像P1として、人の胸から上のバストショットを撮像した被写体存在画像P1から被写体領域Asを特定する場合などに、被写体存在画像P1における複数の区分領域A、…の中から、被写体領域Asを適正に特定することができる。
また、被写体存在画像P1から特定された被写体領域Asを抽出するので、被写体切り抜き画像P2の生成を適正に行うことができる。
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、被写体存在画像P1に対して顔検出処理を行って、検出された顔を基準として、被写体存在画像P1の下側画像境界Bdの特定や被写体領域Asの特定を行うようにしたが、人の胸から上のバストショットを撮像した被写体存在画像P1から被写体領域Asを特定する場合には、必ずしも顔検出部306による顔検出処理を行う必要はない。
以下に、被写体切り抜き処理の変形例について図8を参照して説明する。
ここで、図8に示す被写体切り抜き処理は、図5の被写体切り抜き処理の各処理に続けて行われる処理であり、図5の被写体切り抜き処理の各処理の詳細な説明は省略する。
即ち、図8に示すように、ユーザ端末2は、ステップS10(図5参照)にて、通信制御部202が第2座標の設定指示信号を所定の通信ネットワークNを介してサーバ3に送信した後、中央制御部201は、ユーザによる操作入力部205の所定操作に基づいて、人の胸から上のバストショットを撮像した被写体存在画像P1から被写体領域Asを抽出するバストショット抽出モードの設定指示が入力されたか否かを判定する(ステップS51)。
ここで、バストショット抽出モードの設定指示が入力されたと判定されると(ステップS51;YES)、中央制御部201のCPUは、操作入力部205から出力され入力された設定指示信号を通信制御部202により所定の通信ネットワークNを介してサーバ3に送信させる(ステップS52)。
一方、ステップS51にて、バストショット抽出モードの設定指示が入力されていないと判定されると(ステップS51;NO)、中央制御部201のCPUは、ステップS52の処理をスキップする。
サーバ3の通信制御部304によって、ユーザ端末2から送信されたバストショット抽出モードの設定指示信号が受信されると、中央制御部301のCPUは、被写体切り抜き処理がバストショット抽出モードにて行われることを設定する(ステップS53)。
その後、中央制御部301のCPUは、バストショット抽出モードが設定済みであるか否かを判定し(ステップS54)、バストショット抽出モードが設定済みであると判定されると(ステップS54;YES)、中央制御部301のCPUは、ステップS13の処理をスキップして、処理をステップS14に移行させる。
このステップS14では、画像境界特定部307は、被写体存在画像P1の画像データを取得して、当該被写体存在画像P1にExifタグ情報として付加されている画像の向きに関する情報に基づいて、当該画像データにおける下側画像境界Bdを特定する。
一方、ステップS54にて、バストショット抽出モードが設定済みでないと判定されると(ステップS54;NO)、中央制御部301のCPUは、上記実施形態と同様に、処理をステップS13に移行する。
なお、ステップS14以降の処理(ステップS15〜S22)は、上記実施形態と同様であり、その詳細な説明は省略する。
従って、バストショット抽出モードが設定されている場合には、顔検出処理を行うことなく、領域特定部308により被写体領域Asの抽出の基準となる領域Acを特定する処理と、被写体抽出部309により被写体領域Asを特定する処理とを自動的に行うことができ、顔検出処理にかかる処理負担を軽減して被写体領域Asの特定をより高速に行うことができる。
また、上記実施形態にあっては、被写体抽出部309は、被写体存在画像P1の複数の区分領域A、…の中で、顔検出部306により検出された被写体の顔の向きに対して下側の画像境界Bを構成する画素を最も多く含む区分領域A(例えば、中区分領域Am等)を、被写体領域Asとして特定するようにしたが、被写体領域Asの特定方法はこれに限られるものではない。即ち、例えば、顔検出処理により検出された被写体の顔の大きさが所定の大きさ以上であったり画像中心に存している場合には、当該顔が含まれる区分領域Aを被写体領域Asとして特定しても良く、これにより、複数の区分領域A、…の中で、被写体の顔の向きに対して下側の画像境界Bを構成する画素を最も多く含む区分領域Aを特定する必要がなくなって、被写体領域Asの特定をより高速に行うことができる。
また、上記実施形態にあっては、被写体存在画像P1における境界線Lにより区分される複数の区分領域A、…の中から、領域特定部308によって、被写体領域Asの特定の基準となる領域Acを特定し、当該領域Acを基準として、被写体抽出部309が被写体存在画像P1における複数の区分領域A、…の中から被写体領域Asを特定するようにしたが、領域Acを特定せずに、被写体領域Asを特定するようにしてもよい。即ち、被写体抽出部309は、各区分領域Aの縁部を構成する画素のうち、下側画像境界Bdの画像境界Bを構成する画素を画像境界Bの画素として計数せずに画像境界Bの画素の数が最も少ない区分領域A(例えば、中区分領域Am等)を、被写体領域Asとして特定するようにしてもよい。
また例えば、上記実施形態においては、被写体抽出部309は、被写体存在画像P1の複数の区分領域A、…の中で、領域Acとしての左区分領域Al及び右区分領域Arを被写体領域Asの候補から除外し、さらに、下側画像境界Bdの構成画素を最も多く含む中区分領域Amを、被写体領域Asとして特定したが、下側画像境界Bdの構成画素を最も多く含む領域を被写体領域Asとして特定しなくてもよい。即ち、単純に被写体存在画像P1の複数の区分領域A、…の中で、領域Acとしての左区分領域Al及び右区分領域Arを被写体領域Asの候補から除外して残った領域を被写体領域Asとして特定するようにしてもよい。
また、上記実施形態にあっては、ユーザ端末2の中央制御部201は、ユーザによる操作入力部205(例えば、マウス)の所定操作に基づいてユーザ端末2からサーバ3に被写体存在画像P1上に連続して描画される境界線Lを構成する複数の点の座標をサーバ3に順次送信するようにしたが、一例であってこれに限られるものではなく、ユーザによる操作入力部205の所定操作に基づいて被写体存在画像P1上に始点及び終点を含む境界線Lを描画してから、その境界線Lを構成する複数数の点の座標をサーバ3に送信するようにしてもよい。
さらに、上記実施形態にあっては、ユーザによるユーザ端末2の所定操作に基づいて、Webサーバとして機能するサーバ(被写体領域特定装置)3によって被写体領域Asを特定するようにしたが、一例であってこれに限られるものではなく、被写体領域特定装置の構成は適宜任意に変更可能である。即ち、被写体領域Asの特定に係る境界線指定部305、領域特定部308、被写体抽出部309の機能をソフトウェアにより実現される構成として、ユーザ端末2にインストールすることで通信ネットワークNを必要とすることなく、当該ユーザ端末2単体で被写体切り抜き処理を行うようにしても良い。
つまり、ユーザ端末2は、表示部203に表示された被写体存在画像P1にて境目をなす境界線Lを指定することで、被写体存在画像P1における境界線Lにより区分される複数の区分領域A、…の中から、被写体領域Asの特定の基準となる領域Acを特定し、特定された領域Acを基準として、被写体存在画像P1における複数の区分領域A、…の中から被写体領域Asを特定するようにしても良い。
また、上記実施形態にあっては、ユーザ端末2として、パーソナルコンピュータを例示したが、一例であってこれに限られるものではなく適宜任意に変更可能であり、例えば、携帯電話機等を適用しても良い。
さらに、被写体切り抜きシステム100にプリント装置を備え、当該プリント装置によって、サーバ3により生成された被写体切り抜き画像P2の被写体画像を所定のプリント用基材に対して所定の印刷方式により印刷して、被写体画像のプリントを作成するようにしても良い。また、サーバ3は、生成した被写体切り抜き画像P2をアルファマップを利用して所定の背景画像と合成して被写体合成画像(図示略)を生成しても良く、この場合には、プリント装置は、当該被写体合成画像のプリントを作成するようにしても良い。
なお、被写体切り抜き画像P2や被写体合成画像の画像データには、ユーザによる所定の改変を禁止する制御情報を埋め込むようにしても良い。
加えて、上記実施形態にあっては、指定手段、領域特定手段、被写体領域特定手段としての機能を、中央制御部301の制御下にて、境界線指定部305、領域特定部308、被写体抽出部309が駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部301のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、指定処理ルーチン、領域特定処理ルーチン、被写体領域特定処理ルーチンを含むプログラムを記憶しておく。そして、指定処理ルーチンにより中央制御部301のCPUを、所定の表示領域に表示される被写体存在画像P1にて、任意に境界線Lを指定する指定手段として機能させるようにしても良い。また、領域特定処理ルーチンにより中央制御部301のCPUを、指定手段により指定された境界線Lにより区分される複数の区分領域A、…から、各区分領域Aの縁部を構成する被写体存在画像P1の画像境界Bの画素数が、当該縁部の全画素数に対して所定の割合以上となる領域Acを特定する領域特定手段として機能させるようにしても良い。また、被写体領域特定処理ルーチンにより中央制御部301のCPUを、領域特定手段により特定された領域Acを基準として、被写体存在画像P1における複数の区分領域A、…の中から被写体領域Asを特定する被写体領域特定手段として機能させるようにしても良い。
同様に、境界特定手段、検出手段についても、サーバ3の中央制御部301のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ROMやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、CD−ROM等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ(搬送波)も適用される。
100 被写体切り抜きシステム
1 撮像装置
2 ユーザ端末
203 表示部
3 サーバ
301 中央制御部
304 通信制御部
305 境界線指定部
306 顔検出部
307 画像境界特定部
308 領域特定部
309 被写体抽出部
M 記録媒体
N 通信ネットワーク

Claims (13)

  1. 背景と被写体とが存在する被写体存在画像から被写体が含まれる被写体領域を特定する領域特定方法であって、
    前記被写体存在画像における任意に指定された境界線により区分される複数の区分領域から、各区分領域の縁部を構成する前記被写体存在画像の画像境界の画素数を算出する算出ステップと、
    前記複数の区分領域の中から算出した画素数が当該縁部の全画素数に対して所定の割合以上となる領域を基準領域として特定する基準領域特定ステップと、
    前記被写体存在画像における前記複数の区分領域の中から、前記基準領域特定ステップにより特定された前記基準領域を除外して、前記被写体領域を特定する被写体領域特定ステップと、
    を含むことを特徴とする領域特定方法。
  2. 前記被写体存在画像の複数の画像境界のうち、所定の表示領域に表示された状態の当該被写体存在画像における下側画像境界を特定する境界特定ステップを更に備え、
    前記基準領域特定ステップは、更に、
    前記被写体存在画像における前記複数の区分領域で、前記境界特定ステップにより特定された下側画像境界を構成する画素数を前記算出ステップにおいて計数せずに所定の演算を行って、前記基準領域を特定することを特徴とする請求項1に記載の領域特定方法。
  3. 前記被写体存在画像から被写体の顔を検出する検出ステップを更に備え、
    前記境界特定ステップは、更に、
    前記被写体存在画像の複数の画像境界のうち、前記検出ステップにより検出された被写体の顔の向きに対して下側となる画像境界を前記下側画像境界として特定することを特徴とする請求項2に記載の領域特定方法。
  4. 前記被写体存在画像から被写体の顔を検出する検出ステップを更に備え、
    前記被写体領域特定ステップは、更に、
    前記検出ステップによる検出結果を基準として、前記被写体存在画像における前記複数の区分領域の中から前記被写体領域を特定することを特徴とする請求項1〜3の何れか一項に記載の領域特定方法。
  5. 前記被写体領域特定ステップは、更に、
    前記被写体存在画像における前記複数の区分領域の中で、前記検出ステップにより検出された被写体の顔の向きに対して下側の画像境界を最も多く含む区分領域を、前記被写体領域として特定することを特徴とする請求項4に記載の領域特定方法。
  6. 前記被写体領域特定ステップは、更に、
    前記被写体存在画像における前記複数の区分領域の中で、前記検出ステップにより検出された被写体の顔を含む区分領域を、前記被写体領域として特定することを特徴とする請求項4に記載の領域特定方法。
  7. 被写体となる人の胸から上を撮像した前記被写体存在画像から前記被写体領域を特定するための所定のモードを設定する設定ステップを更に備え、
    前記設定ステップにより前記所定のモードが設定された場合に、前記基準領域特定ステップにより前記基準領域を特定する処理と、前記被写体領域特定ステップにより前記被写体領域を特定する処理とを行うことを特徴とする請求項1〜6の何れか一項に記載の領域特定方法。
  8. 前記被写体領域特定ステップは、更に、
    前記被写体存在画像から特定された前記被写体領域を抽出する処理を行うことを特徴とする請求項1〜7の何れか一項に記載の領域特定方法。
  9. 背景と被写体とが存在する被写体存在画像から被写体が含まれる被写体領域を特定する領域特定方法であって、
    境界線を任意に指定する指定ステップと、
    前記被写体存在画像における前記境界線により区分される複数の区分領域の中から、各区分領域の縁部を構成する画素のうち、当該被写体存在画像の下側画像境界を構成する画素を計数せずに、前記被写体存在画像の画像境界の画素の数が最も少ない区分領域を、被写体領域として特定する特定ステップと、
    を含むことを特徴とする領域特定方法。
  10. 背景と被写体とが存在する被写体存在画像から被写体が含まれる被写体領域を特定する領域特定装置であって、
    所定の表示領域に表示される前記被写体存在画像にて、任意に境界線を指定する指定手段と、
    前記被写体存在画像における任意に指定された境界線により区分される複数の区分領域から、各区分領域の縁部を構成する前記被写体存在画像の画像境界の画素数を算出し、前記複数の区分領域の中から算出した画素数が当該縁部の全画素数に対して所定の割合以上となる領域を基準領域として特定する基準領域特定手段と、
    この基準領域特定手段により特定された前記基準領域を除外して、前記被写体存在画像における前記複数の区分領域の中から前記被写体領域を特定する被写体領域特定手段と、
    を備えることを特徴とする領域特定装置。
  11. 背景と被写体とが存在する被写体存在画像から被写体が含まれる被写体領域を特定する領域特定装置のコンピュータを、
    所定の表示領域に表示される前記被写体存在画像にて、任意に境界線を指定する指定手段、
    前記被写体存在画像における任意に指定された境界線により区分される複数の区分領域から、各区分領域の縁部を構成する前記被写体存在画像の画像境界の画素数を算出し、前記複数の区分領域の中から算出した画素数が当該縁部の全画素数に対して所定の割合以上となる領域を基準領域として特定する基準領域特定手段、
    この基準領域特定手段により特定された前記基準領域を除外して、前記被写体存在画像における前記複数の区分領域の中から前記被写体領域を特定する被写体領域特定手段、
    として機能させることを特徴とするプログラム。
  12. 端末装置とネットワークを介して接続されたサーバであって、
    端末装置から被写体存在画像の画像データと、この被写体存在画像における境界線の指定指示を受信する受信手段と、
    前記被写体存在画像における任意に指定された境界線により区分される複数の区分領域から、各区分領域の縁部を構成する前記被写体存在画像の画像境界の画素数を算出し、前記複数の区分領域の中から算出した画素数が当該縁部の全画素数に対して所定の割合以上となる領域を基準領域として特定する基準領域特定手段と、
    この基準領域特定手段により特定された前記基準領域を除外して、前記被写体存在画像における前記複数の区分領域の中から被写体が含まれる被写体領域を特定する被写体領域特定手段と、
    を備えることを特徴とするサーバ。
  13. 端末装置と、この端末装置とネットワークを介して接続されたサーバとを備えたシステムであって、
    前記端末装置は、
    被写体存在画像の画像データと、当該被写体存在画像における境界線の指定指示をサーバに送信する送信手段を備え、
    前記サーバは、
    前記端末装置から送信された被写体存在画像の画像データと、当該被写体存在画像における境界線の指定指示を受信する受信手段と、
    前記被写体存在画像における任意に指定された境界線により区分される複数の区分領域から、各区分領域の縁部を構成する前記被写体存在画像の画像境界の画素数を算出し、前記複数の区分領域の中から算出した画素数が当該縁部の全画素数に対して所定の割合以上となる領域を基準領域として特定する基準領域特定手段と、
    この基準領域特定手段により特定された前記基準領域を除外して、前記被写体存在画像における前記複数の区分領域の中から被写体が含まれる被写体領域を特定する被写体領域特定手段と、
    を備えることを特徴とするシステム。
JP2010257389A 2010-11-18 2010-11-18 領域特定方法、領域特定装置、プログラム、サーバ及びシステム Active JP5234086B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2010257389A JP5234086B2 (ja) 2010-11-18 2010-11-18 領域特定方法、領域特定装置、プログラム、サーバ及びシステム
US13/295,403 US8687888B2 (en) 2010-11-18 2011-11-14 Region specification method, region specification apparatus, recording medium, server, and system
CN201110365020.5A CN102567729B (zh) 2010-11-18 2011-11-17 区域特定方法、区域特定装置、服务器及系统
CN201410188426.4A CN103996190B (zh) 2010-11-18 2011-11-17 区域特定方法、区域特定装置及系统、服务器及记录介质
US13/908,370 US8670616B2 (en) 2010-11-18 2013-06-03 Region specification method, region specification apparatus, recording medium, server, and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010257389A JP5234086B2 (ja) 2010-11-18 2010-11-18 領域特定方法、領域特定装置、プログラム、サーバ及びシステム

Publications (3)

Publication Number Publication Date
JP2012109823A JP2012109823A (ja) 2012-06-07
JP2012109823A5 JP2012109823A5 (ja) 2012-09-27
JP5234086B2 true JP5234086B2 (ja) 2013-07-10

Family

ID=46494964

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010257389A Active JP5234086B2 (ja) 2010-11-18 2010-11-18 領域特定方法、領域特定装置、プログラム、サーバ及びシステム

Country Status (1)

Country Link
JP (1) JP5234086B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6992348B2 (ja) * 2017-09-15 2022-01-13 大日本印刷株式会社 画像トリミングシステム、トリミング装置、端末、およびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000048213A (ja) * 1998-07-31 2000-02-18 Canon Inc 画像処理装置及び方法、記録媒体
JP3411971B2 (ja) * 2001-02-14 2003-06-03 三菱電機株式会社 人物像抽出装置

Also Published As

Publication number Publication date
JP2012109823A (ja) 2012-06-07

Similar Documents

Publication Publication Date Title
JP5201203B2 (ja) 画像処理装置、画像処理方法及びプログラム
US8564679B2 (en) Image processing apparatus, image processing method and program
JP5413002B2 (ja) 撮像装置および方法、並びにプログラム
US8687888B2 (en) Region specification method, region specification apparatus, recording medium, server, and system
US9251765B2 (en) Image processing device, image processing method, and program for generating composite image
US20130235223A1 (en) Composite video sequence with inserted facial region
US9477138B2 (en) Autofocus
US8441554B2 (en) Image capturing apparatus capable of extracting subject region from captured image
JP2005303991A (ja) 撮像装置、撮像方法、及び撮像プログラム
JP5504990B2 (ja) 撮像装置、画像処理装置及びプログラム
JP5655668B2 (ja) 撮像装置、画像処理方法及びプログラム
US20170163887A1 (en) Image processing apparatus, image processing method, and program
JP5212451B2 (ja) 領域特定方法、領域特定装置、プログラム、サーバ及びシステム
JP5234086B2 (ja) 領域特定方法、領域特定装置、プログラム、サーバ及びシステム
JP5733588B2 (ja) 画像処理装置および方法、並びにプログラム
JP2006128793A (ja) 撮像装置、及びその制御方法
JP5131399B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2021125828A (ja) 画像処理装置および画像処理方法
JP5493839B2 (ja) 撮像装置、画像合成方法及びプログラム
JP6512208B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2012123721A (ja) 画像処理装置及び画像処理方法
JP5747591B2 (ja) データ生成装置、データ生成方法、印刷方法、プログラム及び印刷システム
JP2008147714A (ja) 画像処理装置およびその方法
JP4853571B2 (ja) 境界設定方法、境界設定装置、プログラム及びプリントシステム
JP2019169768A (ja) 放送用編集装置、放送システム及び画像処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120808

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120808

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20120809

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20120827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130311

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5234086

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160405

Year of fee payment: 3