JP5504990B2 - 撮像装置、画像処理装置及びプログラム - Google Patents

撮像装置、画像処理装置及びプログラム Download PDF

Info

Publication number
JP5504990B2
JP5504990B2 JP2010055605A JP2010055605A JP5504990B2 JP 5504990 B2 JP5504990 B2 JP 5504990B2 JP 2010055605 A JP2010055605 A JP 2010055605A JP 2010055605 A JP2010055605 A JP 2010055605A JP 5504990 B2 JP5504990 B2 JP 5504990B2
Authority
JP
Japan
Prior art keywords
image
area
subject
color
exists
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010055605A
Other languages
English (en)
Other versions
JP2011191860A (ja
JP2011191860A5 (ja
Inventor
健 笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2010055605A priority Critical patent/JP5504990B2/ja
Publication of JP2011191860A publication Critical patent/JP2011191860A/ja
Publication of JP2011191860A5 publication Critical patent/JP2011191860A5/ja
Application granted granted Critical
Publication of JP5504990B2 publication Critical patent/JP5504990B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、撮像装置、画像処理装置及びプログラムに関する。
従来、撮像装置を用いて、背景内に被写体が存在する画像と被写体が存在しない背景画像とを撮像して、背景画像と被写体が存在する画像から差分情報を生成し、被写体のみを抜き出すアプリケーションが知られている(例えば、特許文献1参照)。
特開平10−21408号公報
しかしながら、上記特許文献1のアプリケーションにおいては、切り抜きたい被写体と背景画像の色調がほぼ等しい場合、被写体領域を適正に切り抜けないという問題があった。
そこで、本発明の課題は、被写体領域の切り抜きの失敗を防止することができる撮像装置、画像処理装置及びプログラムを提供することである。
上記課題を解決するため、請求項1に記載の発明の撮像装置は、
背景画像を取得する取得手段と、背景内に被写体が存する被写体存在画像を撮像する撮像手段と、前記撮像手段により撮像された被写体存在画像の被写体領域の中に、前記背景画像と略同色の第1領域が存するか否かを判定する第1領域判定手段と、この第1領域判定手段によって前記第1領域が存すると判定された場合に、当該第1領域が存する旨を報知する報知手段と、前記被写体存在画像に、前記背景画像の色とは異なる色の領域でほぼ囲まれた第2領域が存するか否かを判定する第2領域判定手段と、を備え、前記第1領域判定手段は、前記第2領域判定手段によって前記第2領域が存すると判定された場合に、前記被写体存在画像における前記第2の領域の中に、前記背景画像と略同色の第1領域が存するか否かを判定することを特徴としている
請求項に記載の発明は、請求項に記載の撮像装置において、
前記第2領域は、前記背景用画像とは異なる色の画素で囲繞された閉領域であることを
特徴としている。
請求項に記載の発明は、請求項1又は2に記載の撮像装置において、
前記撮像手段により撮像される被写体存在画像の背景は、前記背景画像の対応する領域と略同一であることを特徴としている。
請求項に記載の発明の撮像装置は、
背景内に被写体が存する被写体存在画像を撮像する撮像手段と、前記被写体存在画像における背景部分の色と略同色の第1領域が前記被写体存在画像中の被写体領域に存するか否かを判定する第1領域判定手段と、この第1領域判定手段によって前記第1領域が存すると判定された場合に、当該第1領域が存する旨を報知する報知手段と、前記撮像手段により撮像された被写体存在画像に前記背景部分の色とは異なる色の領域でほぼ囲まれた第2領域が存するか否かを判定する第2領域判定手段と、を備え、前記第1領域判定手段は、前記第2領域判定手段によって前記第2領域が存すると判定された場合に、前記被写体存在画像における前記第2領域の中に、前記背景部分の色と略同色の第1領域が存するか否かを判定することを特徴としている。
請求項に記載の発明は、請求項に記載の撮像装置において、
前記被写体存在画像の背景部分の非平坦度が所定値以下であるか否かを判定する非平坦度判定手段を更に備え、前記第2領域判定手段は、この非平坦度判定手段により非平坦度が所定値以下であると判定された場合に、前記被写体存在画像に前記背景画像の色とは異なる色の領域でほぼ囲まれた第2領域が存するか否かを判定することを特徴としている。
請求項に記載の発明は、請求項4又は5に記載の撮像装置において、
前記第2領域は、前記背景部分とは異なる色の画素で囲繞された閉領域であることを特
徴としている。
請求項に記載の発明は、請求項1〜の何れか一項に記載の撮像装置において、
前記被写体存在画像は、前記撮像手段によって順次撮像されて表示手段に表示されることを特徴としている。
請求項に記載の発明は、請求項に記載の撮像装置において、
前記報知手段は、前記表示手段に表示されている被写体存在画像における前記第1領域を識別可能な表示形態で表示させることを特徴としている。
請求項9に記載の発明は、請求項8に記載の撮像装置において、
前記報知手段は、前記第1領域の画像の色を前記背景画像の色とは異なる色に変更させることで前記第1領域が存する旨を報知することを特徴としている。
請求項10に記載の発明は、請求項8又は9に記載の撮像装置において、
前記報知手段は、前記第1領域の画像の色を点滅表示させることで前記第1領域が存する旨を報知することを特徴としている。
請求項11に記載の発明は、請求項1〜10の何れか一項に記載の撮像装置において、
前記被写体存在画像から被写体が存する領域を切り抜いて被写体画像を生成する画像生成手段を更に備えることを特徴としている。
請求項12に記載の発明の画像処理装置は、
背景画像及び背景内に被写体が存する被写体存在画像を取得する取得手段と、前記取得手段に取得された被写体存在画像の被写体領域の中に、前記背景画像と略同色の領域が存するか否かを判定する第1領域判定手段と、この第1領域判定手段によって前記第1領域が存すると判定された場合に、当該第1領域が存する旨を報知する報知手段と、前記被写体存在画像に、前記背景画像の色とは異なる色の領域でほぼ囲まれた第2領域が存するか否かを判定する第2領域判定手段と、を備え、前記第1領域判定手段は、前記第2領域判定手段によって前記第2領域が存すると判定された場合に、前記被写体存在画像における前記第2の領域の中に、前記背景画像と略同色の第1領域が存するか否かを判定することを特徴としている。
請求項13に記載の発明の画像処理装置は、
背景内に被写体が存する被写体存在画像を取得する取得手段と、前記被写体存在画像における背景部分の色と略同色の領域が前記被写体存在画像中の被写体領域に存するか否かを判定する第1領域判定手段と、この第1領域判定手段によって前記第1領域が存すると判定された場合に、当該第1領域が存する旨を報知する報知手段と、前記被写体存在画像に、前記背景画像の色とは異なる色の領域でほぼ囲まれた第2領域が存するか否かを判定する第2領域判定手段と、を備え、前記第1領域判定手段は、前記第2領域判定手段によって前記第2領域が存すると判定された場合に、前記被写体存在画像における前記第2の領域の中に、前記背景画像と略同色の第1領域が存するか否かを判定することを特徴としている。
請求項14に記載の発明のプログラムは、
コンピュータを、背景画像を取得する取得手段、背景内に被写体が存する被写体存在画像を撮像手段に撮像させる撮像制御手段、撮像された被写体存在画像の被写体領域の中に、前記背景画像と略同色の領域が存するか否かを判定する第1領域判定手段、この第1領域判定手段によって前記第1領域が存すると判定された場合に、当該第1領域が存する旨を報知させる報知制御手段、前記被写体存在画像に、前記背景画像の色とは異なる色の領域でほぼ囲まれた第2領域が存するか否かを判定する第2領域判定手段、として機能させ、前記第1領域判定手段は、前記第2領域判定手段によって前記第2領域が存すると判定された場合に、前記被写体存在画像における前記第2の領域の中に、前記背景画像と略同色の第1領域が存するか否かを判定することを特徴としている。
請求項15に記載の発明のプログラムは、
コンピュータを、背景内に被写体が存する被写体存在画像を撮像手段に撮像させる撮像制御手段、前記被写体存在画像における背景部分の色と略同色の領域が前記被写体存在画像中の被写体領域に存するか否かを判定する第1領域判定手段、この第1領域判定手段によって前記第1領域が存すると判定された場合に、当該第1領域が存する旨を報知させる報知制御手段、前記撮像手段により撮像された被写体存在画像に前記背景部分の色とは異なる色の領域でほぼ囲まれた第2領域が存するか否かを判定する第2領域判定手段、として機能させ、前記第1領域判定手段は、前記第2領域判定手段によって前記第2領域が存すると判定された場合に、前記被写体存在画像における前記第2領域の中に、前記背景部分の色と略同色の第1領域が存するか否かを判定することを特徴としている。
請求項16に記載の発明のプログラムは、
コンピュータを、背景画像及び背景内に被写体が存する被写体存在画像を取得する取得手段、前記取得手段に取得された被写体存在画像の被写体領域の中に、前記背景画像と略同色の領域が存するか否かを判定する第1領域判定手段、この第1領域判定手段によって前記第1領域が存すると判定された場合に、当該第1領域が存する旨を報知する報知手段、前記被写体存在画像に、前記背景画像の色とは異なる色の領域でほぼ囲まれた第2領域が存するか否かを判定する第2領域判定手段、として機能させ、前記第1領域判定手段は、前記第2領域判定手段によって前記第2領域が存すると判定された場合に、前記被写体存在画像における前記第2の領域の中に、前記背景画像と略同色の第1領域が存するか否かを判定することを特徴としている。
請求項17に記載の発明のプログラムは、
コンピュータを、背景内に被写体が存する被写体存在画像を取得する取得手段、前記被写体存在画像における背景部分の色と略同色の領域が前記被写体存在画像中の被写体領域に存するか否かを判定する第1領域判定手段、この第1領域判定手段によって前記第1領域が存すると判定された場合に、当該第1領域が存する旨を報知する報知手段、前記被写体存在画像に、前記背景画像の色とは異なる色の領域でほぼ囲まれた第2領域が存するか否かを判定する第2領域判定手段、として機能させ、前記第1領域判定手段は、前記第2領域判定手段によって前記第2領域が存すると判定された場合に、前記被写体存在画像における前記第2の領域の中に、前記背景画像と略同色の第1領域が存するか否かを判定することを特徴としている。
本発明によれば、被写体領域の切り抜きの失敗を適正に防止することができる。
本発明を適用した実施形態1の撮像装置の概略構成を示すブロック図である。 図1の撮像装置による被写体切り抜き処理に係る動作の一例を示すフローチャートである。 図2の被写体切り抜き処理の続きを示すフローチャートである。 図2の被写体切り抜き処理を説明するための画像の一例を模式的に示す図である。 図2の被写体切り抜き処理を説明するための画像の一例を模式的に示す図である。 本発明を適用した実施形態2の撮像装置の概略構成を示すブロック図である。 図6の撮像装置による被写体切り抜き処理に係る動作の一例を示すフローチャートである。 図7の被写体切り抜き処理における抽出用背景生成処理に係る動作の一例を示すフローチャートである。 図8の抽出用背景生成処理の続きを示すフローチャートである。 図7の被写体切り抜き処理における領域検出処理に係る動作の一例を示すフローチャートである。
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
[実施形態1]
実施形態1の撮像装置100は、背景内に被写体Sが存しない被写体非存在画像P1の撮像後、当該背景内に被写体Sの存する被写体存在画像P2を所定のタイミングで撮像し、この被写体存在画像P2における、被写体非存在画像P1とは異なる色の画素でほぼ囲まれた閉領域A1の中に、当該被写体非存在画像P1とほぼ等しい色の同色領域A2が存すると判定された場合に、当該同色領域A2が存する旨を報知する。
図1は、本発明を適用した実施形態1の撮像装置100の概略構成を示すブロック図である。
図1に示すように、実施形態1の撮像装置100は、レンズ部1と、電子撮像部2と、撮像制御部3と、画像データ生成部4と、画像メモリ5と、特徴量演算部6と、ブロックマッチング部7と、画像処理部8と、表示制御部9と、表示部10と、記録媒体制御部11と、操作入力部12と、中央制御部13とを備えている。
また、撮像制御部3と、特徴量演算部6と、ブロックマッチング部7と、画像処理部8と、中央制御部13は、例えば、カスタムLSI1Aとして設計されている。
レンズ部1は、複数のレンズから構成され、ズームレンズやフォーカスレンズ等を備えている。
また、レンズ部1は、図示は省略するが、被写体S(例えば、マウス等;図5(c)等参照)の撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えていても良い。
電子撮像部2は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等のイメージセンサから構成され、レンズ部1の各種レンズを通過した光学像を二次元の画像信号に変換する。
撮像制御部3は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部3は、タイミング発生器、ドライバにより電子撮像部2を走査駆動して、所定周期毎に光学像を電子撮像部2により二次元の画像信号に変換させ、当該電子撮像部2の撮像領域から1画面分ずつ画像フレームを読み出して画像データ生成部4に出力させる。
また、撮像制御部3は、AF(自動合焦処理)、AE(自動露出処理)、AWB(自動ホワイトバランス)等の被写体Sの撮像条件の調整制御を行う。
また、撮像モードとして被写体切り抜きモード(後述)が設定されている場合に、ユーザによるシャッタボタン12aの撮像指示操作に基づいて、撮像制御部3は、レンズ部1を通過した背景内に被写体Sが存在する被写体存在画像P2(図5(c)参照)の光学像を所定の撮像条件で電子撮像部2により二次元の画像信号に変換させ、当該電子撮像部2の撮像領域から被写体存在画像P2に係る画像フレームを読み出させる。
ここで、電子撮像部2及び撮像制御部3は、背景内に被写体Sが存在する被写体存在画像P2を所定のタイミングで撮像する撮像手段を構成している。
また、撮像制御部3は、撮像停止部3aを具備しており、撮像停止部3aは、画像処理部8の画像領域判定部8d(後述)によって被写体存在画像P2内の被写体非存在画像(背景画像)P1とは異なる色の画素で囲繞された閉領域(第1領域)A1の中に当該被写体非存在画像P1とほぼ等しい色の同色領域(第2領域)A2が存すると判定された場合に、電子撮像部2による被写体存在画像P2の撮像を停止させる(詳細後述)。
画像データ生成部4は、電子撮像部2から転送された画像フレームのアナログ値の信号に対してRGBの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路(図示略)でサンプルホールドしてA/D変換器(図示略)でデジタルデータに変換し、カラープロセス回路(図示略)で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Y及び色差信号Cb,Cr(YUVデータ)を生成する。また、画像データ生成部4は、YUVデータを水平及び垂直ともに所定倍率で縮小処理を行って、ライブビュー表示用の低解像度の縮小画像データを生成する。
カラープロセス回路から出力されるYUVデータは、図示しないDMAコントローラを介して、バッファメモリとして使用される画像メモリ5にDMA転送される。
なお、A/D変換後のデジタルデータを現像するデモザイク部(図示略)が、カスタムLSI1Aに実装されていても良い。
画像メモリ5は、例えば、DRAM等により構成され、画像データ生成部4から転送された被写体存在画像P2や被写体非存在画像P1のYUVデータを一時的に記憶する。また、画像メモリ5は、特徴量演算部6と、ブロックマッチング部7と、画像処理部8と、中央制御部13等によって処理されるデータ等を一時的に記憶する。
特徴量演算部6は、背景内に被写体Sが存在しない被写体非存在画像P1を基準として、当該被写体非存在画像P1から特徴点を抽出する特徴抽出処理を行う。
具体的には、特徴量演算部6は、例えば、被写体非存在画像P1のYUVデータに基づいて、所定数(或いは、所定数以上)の特徴の高いブロック領域(特徴点)を選択して、当該ブロックの内容をテンプレート(例えば、16×16画素の正方形)として抽出する。
ここで、特徴抽出処理とは、多数の候補ブロックから追跡に都合の良い特徴性の高いものを選択する処理である。
ブロックマッチング部7は、被写体非存在画像P1と被写体存在画像P2との位置合わせのためのブロックマッチング処理を行う。
具体的には、ブロックマッチング部7は、特徴抽出処理にて抽出されたテンプレートが被写体存在画像P2内のどこに対応するか、つまり、被写体存在画像P2内にてテンプレートの画素値が最適にマッチする位置(対応領域)を探索する。ここで、被写体Sの撮像は、例えば、特徴量の少ない無地の背景をバックに行われることにより、被写体存在画像P2の被写体S以外の背景部分と、被写体非存在画像P1の当該背景部分に対応する領域とは略同一となる。
そして、ブロックマッチング部7は、画素値の相違度の評価値(例えば、差分二乗和(SSD)や差分絶対値和(SAD)等)が最も良かった被写体非存在画像P1と被写体存在画像P2間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。
画像処理部8は、画像取得部8aと、分割部8bと、色算出部8cと、画像領域判定部8dと、位置合わせ部8eと、被写体画像抽出部8fと、位置情報生成部8gと、切抜画像生成部8hとを具備している。
画像取得部8aは、画像メモリ5に一時的に記憶されている被写体非存在画像(背景画像)P1のYUVデータを取得する。即ち、画像取得部8aは、被写体切り抜き処理(後述)にて、電子撮像部2及び撮像制御部3による被写体非存在画像P1(図4(a)参照)の撮像後、画像データ生成部4から転送されて画像メモリ5に一時的に記憶された被写体非存在画像P1のYUVデータを取得する。
ここで、画像取得部8aは、画像メモリ5に記憶されている被写体非存在画像(背景画像)P1を取得する取得手段を構成している。
分割部8bは、被写体存在画像P2及び被写体非存在画像P1の各々を複数の画像ブロックB、…に分割する。
即ち、分割部8bは、被写体切り抜き処理にて、画像取得部8aにより取得された被写体非存在画像P1のYUVデータに基づいて、当該被写体非存在画像P1全体を縦横がそれぞれ所定画素からなる複数の画像ブロックB、…に分割する(図4(b)参照)。また、分割部8bは、被写体切り抜き処理にて、画像取得部8aにより取得されたライブビュー表示されている被写体存在画像P2のYUVデータに基づいて、当該被写体存在画像P2全体を、被写体非存在画像P1と同様に、縦横がそれぞれ所定画素からなる複数の画像ブロックB、…に分割する(図5(a)参照)。
なお、分割部8bによる処理対象となる被写体存在画像P2及び被写体非存在画像P1の画像データは、例えば、記録用として記録媒体11aに記録される高解像度の画像データであっても良いし、画像データ生成部4により生成されたライブビュー表示用の低解像度の縮小画像データであっても良いし、後述する各画像ブロックBの平均色の算出用に調整された所定解像度の専用の画像データであっても良い。
色算出部8cは、分割部8bにより分割された被写体非存在画像P1及び被写体存在画像P2の複数の画像ブロックB、…の各々について、各画像ブロックBを代表する色を算出する。具体的には、色算出部8cは、例えば、各画像ブロックB内の複数の画素の色についての平均値、中央値、最頻値などを代表値として算出する。
また、色算出部8cは、被写体非存在画像P1の各画像ブロックBの平均色から当該被写体非存在画像P1の平均色を算出する。
画像領域判定部8dは、被写体存在画像P2における被写体非存在画像P1とは異なる色の画素でほぼ囲まれた閉領域A1の中に、当該被写体非存在画像P1とほぼ等しい色の同色領域A2が存するか否かを判定する。
即ち、画像領域判定部8dは、被写体切り抜き処理にて、分割部8bにより分割された被写体非存在画像P1及び被写体存在画像P2の複数の画像ブロックB、…の各々の代表色(例えば、平均色)に基づいて、被写体存在画像P2の閉領域A1の中に被写体非存在画像P1と略同色の領域である同色領域A2が存するか否かを判定する。具体的には、画像領域判定部8dは、ライブビュー表示されている被写体存在画像(ライブビュー画像)P2の複数の画像ブロックB、…の各々の平均色と被写体非存在画像P1の平均色とに基づいて、当該被写体存在画像P2の各画像ブロックBの平均色と被写体非存在画像P1の平均色とを比較判定することで、被写体存在画像P2における被写体非存在画像P1の平均色とは異なる色の画素で囲繞された閉領域A1を特定する。そして、閉領域A1が特定されると、画像領域判定部8dは、被写体存在画像P2のライブビュー画像の複数の画像ブロックB、…の各々の平均色と被写体非存在画像P1の平均色とに基づいて、当該被写体存在画像P2の閉領域A1内の各画像ブロックBの平均色と被写体非存在画像P1の平均色とを比較判定することで、閉領域A1内に被写体非存在画像P1の平均色とほぼ等しい色の画素からなる同色領域A2が存するか否かを判定する。
なお、被写体非存在画像P1と被写体存在画像P2との色の判定にあっては、厳密に判定しても良いし、被写体非存在画像P1や被写体存在画像P2の各色に対する差分が所定範囲の色は誤差範囲内であるしても良い。また、誤差範囲は、予め設定された所定の固定された範囲であっても良いし、ユーザによる操作入力部12の所定操作に基づいて手動で、或いは、画像領域判定部8dや中央制御部13等が自動的に適宜任意に変更可能としても良い。
また、閉領域A1は、被写体存在画像P2における、被写体非存在画像P1とは異なる色の画素で完全に囲繞されたものに限られるものではなく、例えば、被写体非存在画像P1とは異なる色の画素どうしが離間していても、膨張処理や収縮処理、ラベリング処理等によって有効領域に置換可能な程度であれば許容範囲としても良い。即ち、閉領域(第1領域)A1は、被写体存在画像P2における被写体非存在画像P1とは異なる色の画素で完全に囲まれている必要はない。
さらに、閉領域A1や同色領域A2の判定にて、画像領域判定部8dは、被写体存在画像(ライブビュー画像)P2と被写体非存在画像P1との対応する画像ブロックBの平均色どうしを比較判定するようにしても良い。
このように、画像領域判定部8dは、電子撮像部2及び撮像制御部3により撮像された被写体存在画像P2に被写体非存在画像P1とは異なる色の画素でほぼ囲まれた閉領域(第1領域)A1が存するか否かを判定する第1領域判定手段、及び閉領域A1の中に、当該被写体非存在画像P1とほぼ等しい色の同色領域(第2領域)A2が存するか否かを判定する及び第2領域判定手段を構成している。
位置合わせ部8eは、被写体非存在画像P1から抽出した特徴点に基づいて、被写体存在画像P2と被写体非存在画像P1との位置合わせを行う。
即ち、位置合わせ部8eは、被写体非存在画像P1から抽出した特徴点に基づいて、被写体非存在画像P1に対する被写体存在画像P2の各画素の座標変換式(射影変換行列)を算出し、当該座標変換式に従って被写体存在画像P2を座標変換して被写体非存在画像P1と位置合わせを行う。
被写体画像抽出部8fは、位置合わせ部8eにより位置合わせされた被写体非存在画像P1と被写体存在画像P2との間で対応する各画素の差分情報(例えば、相違度マップなど)を生成し、当該差分情報を基準として被写体存在画像P2から被写体Sが含まれる被写体画像を抽出する。
なお、被写体画像抽出部8fは、各画素の差分情報として相違度マップを生成する場合には、例えば、後述する式(2)を用いても良いが、これに限られるものではない。
位置情報生成部8gは、被写体存在画像P2内で抽出された被写体画像の位置を特定して、被写体存在画像P2における被写体画像の位置を示す位置情報を生成する。
ここで、位置情報としては、例えば、アルファマップが挙げられ、アルファマップとは、被写体存在画像P2の各画素について、被写体画像を所定の背景に対してアルファブレンディングする際の重みをアルファ値(0≦α≦1)として表したものである。
切抜画像生成部8hは、生成されたアルファマップに基づいて、被写体存在画像P2の各画素のうち、アルファ値が1の画素を所定の単一色画像(図示略)に対して透過させずに、且つ、アルファ値が0の画素を透過させるように、被写体画像を所定の単一色画像と合成して被写体切り抜き画像(図示略)の画像データを生成する。
これにより、切抜画像生成部8hは、背景と被写体とが存在する被写体存在画像P2から被写体が含まれる領域を切り抜いた被写体切り抜き画像を取得する。
ここで、切抜画像生成部8hは、被写体存在画像P2から被写体Sが含まれる被写体領域を切り抜いて被写体切り抜き画像を生成する画像生成手段を構成している。
表示制御部9は、画像メモリ5に一時的に記憶されている表示用画像データを読み出して表示部10に表示させる制御を行う。
具体的には、表示制御部9は、VRAM、VRAMコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部13の制御下にて画像メモリ5から読み出されてVRAM(図示略)に記憶されている輝度信号Y及び色差信号Cb,Crを、VRAMコントローラを介してVRAMから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部10に出力する。
表示部10は、例えば、液晶表示装置であり、表示制御部9からのビデオ信号に基づいてライブビュー画像やレックビュー画像などを表示画面に表示する。
即ち、表示制御部9は、撮像モードにて、電子撮像部2及び撮像制御部3による被写体Sの撮像により生成された複数の画像フレームに基づいてライブビュー画像や、本撮像画像として撮像されたレックビュー画像などを表示部10の表示画面に表示させる。
また、表示制御部9は、画像領域判定部8dにより判定された被写体存在画像P2の閉領域A1内の同色領域A2を表示部10の表示画面に識別可能に表示させる(図5(b)参照)。具体的には、表示制御部9は、ライブビュー表示されている被写体存在画像P2の閉領域A1内の同色領域A2の色を他の色(好ましくは、網膜を刺激し易い色など)に変更したり、変更後の色を所定間隔で点灯(点滅)表示したりすることで、当該同色領域A2が存する旨を報知し、これにより、当該同色領域A2をユーザに対して識別可能とさせる。なお、図5(b)にあっては、同色領域A2の識別可能な表示態様として、当該同色領域A2に対応する部分に斜線を入れて模式的に表している。
ここで、表示部10及び表示制御部9は、画像領域判定部8dにより判定された被写体存在画像P2の閉領域A1内に同色領域A2が存すると判定されて場合に、当該同色領域A2が存する旨を報知する報知手段を構成している。
なお、被写体存在画像P2の閉領域A1内の同色領域A2の報知の態様として、表示部10による当該同色領域A2の表示を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
即ち、同色領域A2の報知の態様は、人の五感、特に、視覚、聴覚、触覚等によって当該同色領域A2を把握、認識させることができる方法であれば如何なる態様であっても良く、例えば、同色領域A2が存する旨を音(音声など)や振動により報知するようにしても良い。
記録媒体制御部11は、記録媒体11aが着脱自在に構成され、装着された記録媒体11aからのデータの読み出しや記録媒体11aに対するデータの書き込みを制御する。即ち、記録媒体制御部11は、画像処理部8のJPEG圧縮部(図示略)により符号化された撮像画像の記録用の画像データを記録媒体11aに記録させる。
また、被写体画像の画像データは、画像処理部8の位置情報生成部8gにより生成されたアルファマップと対応付けられて、当該被写体切り抜き画像の画像データの拡張子を「.jpe」として保存されている。
なお、記録媒体11aは、例えば、不揮発性メモリ(フラッシュメモリ)等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
操作入力部12は、当該撮像装置100の所定操作を行うためのものである。具体的には、操作入力部12は、被写体Sの撮影指示に係るシャッタボタン12a、メニュー画面にて撮像モードや機能等の選択指示に係る選択決定用ボタン12b、ズーム量の調整指示に係るズームボタン(図示略)等を備え、これらのボタンの操作に応じて所定の操作信号を中央制御部13に出力する。
中央制御部13は、撮像装置100の各部を制御するものである。具体的には、中央制御部13は、CPU、RAM、ROM(何れも図示略)を備え、撮像装置100用の各種処理プログラム(図示略)に従って各種の制御動作を行う。
次に、撮像装置100による被写体切り抜き処理について、図2〜図5を参照して説明する。
図2及び図3は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。
被写体切り抜き処理は、ユーザによる操作入力部12の選択決定用ボタン12bの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から被写体切り抜きモードが選択指示された場合に実行される処理である。
図2に示すように、先ず、ユーザによる操作入力部12のシャッタボタン12aの所定操作に基づいて、撮像制御部3は、フォーカスレンズの合焦位置や露出条件(シャッター速度、絞り、増幅率等)やホワイトバランス等の撮像条件を調整させて、背景内に所定の被写体(例えば、被写体S)が存しない被写体非存在画像P1(図4(a)参照)の光学像を所定の撮像条件で電子撮像部2により撮像させる(ステップS1)。ここで撮像される被写体非存在画像P1は、略単一色の平坦な画像であるのが望ましい。
そして、画像データ生成部4は、電子撮像部2から転送された被写体非存在画像P1のYUVデータを生成した後、当該被写体非存在画像P1のYUVデータを画像メモリ5に一時的に記憶させる。
また、撮像制御部3は、当該被写体非存在画像P1の撮像の際の合焦位置や露出条件やホワイトバランス等の撮像条件を固定した状態を維持する。
次に、画像処理部8の画像取得部8aは、画像メモリ5に一時的に記憶されている被写体非存在画像P1のYUVデータを取得した後、分割部8bは、当該被写体非存在画像P1全体を所定の大きさの複数の画像ブロックB、…に分割する(ステップS2;図4(b)参照)。
続けて、画像処理部8の色算出部8cは、分割部8bにより分割された被写体非存在画像P1の複数の画像ブロックB、…の各々について、各画像ブロックBを代表する平均色を算出し、これら各画像ブロックBの平均色から被写体非存在画像P1の平均色を算出する(ステップS3)。
次に、撮像制御部3は、レンズ部1を通過した画像の光学像を所定の撮像条件で電子撮像部2により二次元の画像信号に変換させ、当該電子撮像部2の撮像領域から画像フレームを読み出させることで、電子撮像部2にライブビュー画像を撮像させる(ステップS4;図4(c)参照)。
続けて、画像処理部8の画像取得部8aは、電子撮像部2により撮像され、画像データ生成部4から転送されて画像メモリ5に一時的に記憶されたライブビュー画像に係る複数の画像フレームのYUVデータを順次取得していき、分割部8bは、取得されたライブビュー画像の各々について、当該画像全体を被写体非存在画像P1と同様に所定の大きさの複数の画像ブロックB、…に分割する(ステップS5;図5(a)参照)。
ここで、被写体非存在画像P1の撮像後、被写体Sが画角内に移動するか、或いは、被写体Sを画角内に移動させることで、画角内に被写体Sが存在する状態で撮像されるライブビュー画像は、被写体存在画像P2を構成する。
次に、画像処理部8の色算出部8cは、分割部8bにより分割されたライブビュー表示されている被写体存在画像P2の複数の画像ブロックB、…の各々について、各画像ブロックBを代表する平均色を算出する(ステップS6)。
続けて、画像処理部8の画像領域判定部8dは、ライブビュー画像内に被写体非存在画像P1の平均色と異なる色の画素で囲繞された閉領域A1が存するか否かを判定する(ステップS7)。具体的には、画像領域判定部8dは、ライブビュー表示されている被写体存在画像(ライブビュー画像)P2の複数の画像ブロックB、…の各々の平均色と被写体非存在画像P1の平均色とを比較判定することで、被写体存在画像P2における被写体非存在画像P1の平均色とは異なる色の画素で囲繞された閉領域A1を特定する。そして、画像領域判定部8dは、当該特定結果に応じてライブビュー画像内に閉領域A1が存するか否かを判定する。
ステップS7にて、ライブビュー画像(被写体存在画像P2)内に閉領域A1が存すると判定されると(ステップS7;YES)、画像領域判定部8dは、当該閉領域A1内に被写体非存在画像P1の平均色とほぼ等しい色の画素からなる同色領域A2が存するか否かを判定する(ステップS8)。具体的には、画像領域判定部8dは、被写体存在画像P2の閉領域A1内の各画像ブロックBの平均色と被写体非存在画像P1の平均色とを比較判定することで、閉領域A1内に被写体非存在画像P1の平均色とほぼ等しい色の画素からなる同色領域A2が存するか否かを判定する。
ここで、ライブビュー画像の閉領域A1内に同色領域A2が存すると判定されると(ステップS8;YES)、表示制御部9は、電子撮像部2により撮像された複数の画像フレームに基づいて、表示部10の表示画面にライブビュー表示されている被写体存在画像P2の閉領域A1内の同色領域A2の色を他の色に変更して表示させることで、当該同色領域A2が存する旨を報知する(ステップS9;図5(b)参照)。
次に、中央制御部13は、ユーザによる操作入力部12のシャッタボタン12aの所定操作に基づいて、被写体存在画像P2の撮像指示が入力されたか否かを判定する(ステップS10)。
ここで、被写体存在画像P2の撮像指示が入力されていないと判定されると(ステップS10;NO)、撮像制御部3の撮像停止部3aは、電子撮像部2による被写体存在画像P2の撮像を停止させ、中央制御部13は、処理をステップS1に戻す。
なお、ステップS1以降の処理は、上記と同様であり、その詳細な説明は省略する。
一方、ステップS10にて、被写体存在画像P2の撮像指示が入力されたと判定されると(ステップS10;YES)、撮像制御部3は、被写体存在画像P2の光学像を所定の撮像条件で電子撮像部2により撮像させる(ステップS11)。即ち、閉領域A1内の同色領域A2は、被写体非存在画像P1の背景とほぼ等しい色であることから、当該同色領域A2の切り抜きを適正に行うことができない虞があるものの、ユーザの意志によって被写体画像の閉領域A1の同色領域A2以外の部分の画像を切り抜きたい場合には、電子撮像部2及び撮像制御部3は、被写体存在画像P2の光学像を所定の撮像条件で撮像する。
なお、所定の撮像条件は、被写体非存在画像P1の撮像後に固定された撮像条件であっても良いし、当該被写体存在画像P2の撮像タイミングで新たに設定された撮像条件であっても良い。
そして、画像データ生成部4は、電子撮像部2から転送された被写体存在画像P2のYUVデータを生成した後、当該被写体存在画像P2のYUVデータを画像メモリ5に一時的に記憶させる。
一方、ステップS8にて、ライブビュー画像の閉領域A1内に同色領域A2が存しないと判定されると(ステップS8;NO)、中央制御部13は、ユーザによる操作入力部12のシャッタボタン12aの所定操作に基づいて、被写体存在画像P2の撮像指示が入力されたか否かを判定する(ステップS12)。
また、ステップS7にて、ライブビュー画像(被写体存在画像P2)内に閉領域A1が存しないと判定されると(ステップS7;NO)、中央制御部13は、ステップS12に移し、上記と同様に、被写体存在画像P2の撮像指示が入力されたか否かを判定する(ステップS12)。
ステップS12にて、被写体存在画像P2の撮像指示が入力されていないと判定されると(ステップS12;NO)、中央制御部13は、処理をステップS4に戻し、上記のように、撮像制御部3は、レンズ部1を通過した画像の光学像を電子撮像部2により二次元の画像信号に変換させ、当該電子撮像部2の撮像領域から被写体存在画像P2に係る画像フレームを読み出させることで、ライブビュー画像を撮像させる(ステップS4)。
なお、ステップS4以降の処理は、上記と同様であり、その詳細な説明は省略する。
そして、ステップS12にて、被写体存在画像P2の撮像指示が入力されたと判定されると(ステップS12;YES)、中央制御部13は、処理をステップS11に移行して、撮像制御部3は、被写体存在画像P2の光学像を被写体非存在画像P1の撮像後に固定された撮像条件で電子撮像部2により撮像させる(ステップS11)。
次に、中央制御部13は、特徴量演算部6、ブロックマッチング部7及び画像処理部8に、画像メモリ5に一時記憶されている被写体非存在画像P1のYUVデータを基準として、被写体存在画像P2のYUVデータを射影変換させるための射影変換行列を所定の画像変換モデル(例えば、相似変換モデル、或いは合同変換モデル)で算出させる(ステップS13)。
具体的には、特徴量演算部6は、被写体非存在画像P1のYUVデータに基づいて、所定数(或いは、所定数以上)の特徴の高いブロック領域(特徴点)を選択して、当該ブロックの内容をテンプレートとして抽出する。そして、ブロックマッチング部7は、特徴抽出処理にて抽出されたテンプレートの画素値が最適にマッチする位置を被写体存在画像P2内にて探索して、画素値の相違度の評価値が最も良かった被写体非存在画像P1と被写体存在画像P2間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。そして、画像処理部8の位置合わせ部8eは、ブロックマッチング部7により算出された複数のテンプレートの動きベクトルに基づいて全体の動きベクトルを統計的に算出し、当該動きベクトルに係る特徴点対応を用いて被写体存在画像P2の射影変換行列を算出する。
次に、中央制御部13は、位置合わせ部8eに、算出された射影変換行例に基づいて被写体存在画像P2を射影変換させることで、被写体存在画像P2のYUVデータと被写体非存在画像P1のYUVデータとを位置合わせする処理を行わせる(ステップS14)。
そして、中央制御部13は、画像処理部8の被写体画像抽出部8fに、被写体存在画像P2から被写体Sが含まれる被写体画像を抽出する処理を行わせる(ステップS15)。
具体的には、被写体画像抽出部8fは、被写体存在画像P2のYUVデータと被写体非存在画像P1のYUVデータの各々に対してローパスフィルタをかけて各画像の高周波成分を除去する。その後、被写体画像抽出部8fは、ローパスフィルタをかけた被写体存在画像P2と被写体非存在画像P1との間で対応する各画素について相違度を算出して相違度マップを生成する。続けて、被写体画像抽出部8fは、各画素に係る相違度マップを所定の閾値で2値化した後、相違度マップから細かいノイズや手ぶれにより相違が生じた領域を除去するために収縮処理を行う。その後、被写体画像抽出部8fは、ラベリング処理を行って、所定値以下の領域や最大領域以外の領域を除去した後、一番大きな島のパターンを被写体画像として特定し、収縮分を修正するための膨張処理を行う。
次に、中央制御部13は、画像処理部8の位置情報生成部8gに、抽出された被写体画像の被写体存在画像P2内での位置を示すアルファマップを生成させる(ステップS16)。
その後、中央制御部13は、画像処理部8の切抜画像生成部8hに、被写体画像を所定の単一色画像と合成した被写体画像の画像データを生成する処理を行わせる(ステップS17)。
具体的には、切抜画像生成部8hは、被写体存在画像P2、単一色画像及びアルファマップを読み出して画像メモリ5に展開した後、被写体存在画像P2の全ての画素について、アルファ値が0の画素については(α=0)、透過させ、アルファ値が0<α<1の画素については(0<α<1)、所定の単一色とブレンディングを行い、アルファ値が1の画素については(α=1)、何もせずに所定の単一色に対して透過させないようにする。
その後、中央制御部13は、記録媒体9の所定の記憶領域に、画像処理部8の位置情報生成部8gにより生成されたアルファマップと被写体画像の画像データを対応付けて、当該被写体切り抜き画像の画像データの拡張子を「.jpe」として一ファイルで保存させる(ステップS18)。
以上のように、実施形態1の撮像装置100によれば、背景内に被写体Sの存する被写体存在画像P2の撮像に際して、この被写体存在画像P2における被写体非存在画像P1とは異なる色の画素で囲繞された閉領域A1の中に、当該被写体非存在画像P1とほぼ等しい色の同色領域A2が存する場合に、当該被写体存在画像P2における閉領域A1内に同色領域A2が存する旨を報知するので、被写体存在画像P2からの被写体領域の切り抜きが失敗する虞のある同色領域A2の部分をユーザに把握させることができる。これにより、ユーザが被写体Sの背景や当該被写体Sや構図などの変更等を行うことで、被写体切り抜き処理にて、撮像された被写体存在画像P2の同色領域A2の色調が被写体非存在画像の色調とほぼ等しいために当該同色領域A2を切り抜くことができないといったことがなくなって、被写体存在画像P2からの被写体領域の切り抜きの失敗を適正に防止することができる。この結果、被写体切り抜き処理のために被写体非存在画像P1や被写体存在画像P2を何度も撮り直さなければならないといったことがなくなる。
具体的には、被写体非存在画像P1の背景と同一の背景内に被写体Sの存する被写体存在画像P2を撮像する際に、ライブビュー表示されている被写体存在画像P2における閉領域A1の同色領域A2の色調が被写体非存在画像P1の色調とほぼ等しい場合に、当該同色領域A2の色を他の色に変更したり、変更後の色を所定間隔で点灯(点滅)表示することで、当該同色領域A2をユーザに識別可能に報知するので、被写体存在画像P2からの被写体領域の切り抜きが失敗する虞のある同色領域A2の部分を、記録用の被写体存在画像P2の撮像動作を行う前にユーザに視認させることができる。これにより、ユーザに対してこのままでは被写体領域の適正な切り抜きが失敗する虞があること、さらに、被写体Sの背景や被写体Sや構図などの変更等を喚起することができる。
また、被写体存在画像P2における閉領域A1内に同色領域A2が存する場合には、電子撮像部2による被写体存在画像P2の撮像を停止させるので、被写体領域の切り抜きが失敗する虞のある被写体存在画像の取得を防止することができる。
なお、上記実施形態1にあっては、先に被写体非存在画像P1を撮像し、その後で被写体存在画像P2を撮像するようにしたが、撮像の順序は一例であってこれに限られるものではなく、これらの順序が逆となるように適宜任意に変更可能である。つまり、先に被写体存在画像P2を撮像する場合は、閉領域A1内の領域と被写体非存在画像P1とが略同色であるか否かを判断する。
また、被写体非存在画像P1及び被写体存在画像P2の両方を撮像するような構成としたが、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、被写体非存在画像P1は、当該撮像装置100以外の撮像装置にて撮像され記録媒体11aや所定の通信回線を介して取得した画像であっても良い。
[実施形態2]
以下に、本発明を適用した実施形態2の撮像装置200について図6〜図10を参照して説明する。
実施形態2の撮像装置200は、所定の背景内に被写体Sの存する被写体存在画像P2を所定のタイミングで撮像し、当該被写体存在画像P2の背景部分の非平坦度が所定値以下であるか否かを判定する。そして、撮像装置200は、被写体存在画像P2における、非平坦度が所定値以下であると判定された背景部分とは異なる色の画素でほぼ囲まれた閉領域A1の中に、当該背景部分とほぼ等しい色の同色領域A2が存すると判定された場合に、当該同色領域A2が存する旨を報知する。
なお、実施形態2の撮像装置200は、以下に説明する以外の点で上記実施形態1の撮像装置100と略同様の構成をなし、その説明は省略する。
図6は、実施形態2の撮像装置200の概略構成を示すブロック図である。
図6に示すように、実施形態2の撮像装置200の画像処理部8は、画像取得部8aと、分割部8bと、色算出部8cと、画像領域判定部8dと、切抜画像生成部8hとに加えて、非平坦度演算部8iと、非平坦度判定部8jと、背景生成部8kと、マスク生成部8lとを具備している。
非平坦度演算部8iは、被写体存在画像P2、当該被写体存在画像P2の背景部分の非平坦度を演算する。
即ち、非平坦度演算部8iは、画像処理部8の分割部8bにより分割された被写体存在画像P2の複数の画像ブロックB、…内の画素値のばらつき量(非平坦度)を算出する。具体的には、非平坦度演算部8iは、背景生成処理にて、被写体存在画像P2の複数の画像ブロックB、…の各々についてのばらつき量として、標準偏差を下記式(1)に従って算出する。
Figure 0005504990
なお、上記式(1)において、b:各ブロック領域の画素値としては、例えば、輝度値が挙げられる。
非平坦度判定部8jは、非平坦度演算部8iにより演算された各画像ブロックBの非平坦度の判定を行う。
即ち、非平坦度判定部8jは、背景生成処理にて、ブロック内の画素値のばらつき量が所定値以下であるか否かを判定する。具体的には、例えば、非平坦度判定部8jは、被写体存在画像P2(図4(c)参照)の複数の画像ブロックB、…のうち、被写体Sを含む画像ブロックBについては、ブロック内の画素値のばらつき量が大きく、画素値のばらつき量が所定値以下であると判定しない。一方で、非平坦度判定部8jは、特徴量の少ない無地の背景をバックに撮像される被写体存在画像P2の複数の画像ブロックB、…のうち、被写体Sを含まない画像ブロックB、つまり、特徴量の少ない無地の背景部分は、ブロック内の画素値のばらつき量が被写体Sを含む画像ブロックBに比して大幅に小さくなり、画素値のばらつき量が所定値以下であると判定する。
そして、画像処理部8は、当該非平坦度判定部8jによる判定結果に基づいて、非平坦度が所定値以下である画像ブロックBを特定する。即ち、画像処理部8は、非平坦度判定部8jによる判定の結果、ブロック内の画素値の非平坦度が所定値以下であると判定された少なくとも一の画像ブロックBを含んでなる画像領域を特定する。
背景生成部8kは、クロマキー技術を利用して被写体領域を抽出するための抽出用背景画像(図示略)を生成する。
即ち、背景生成部8kは、非平坦度判定部8jにより画素値の非平坦度が所定値以下であると判定された被写体存在画像P2の画像ブロックBの色とほぼ等しい色を背景色とする抽出用背景画像を生成する。例えば、業務用机やホワイトボード等のように特徴量の少ない無地の背景をバックに被写体Sを撮影した場合には、背景生成部8kは、無地の背景とほぼ等しい色の抽出用背景画像を生成する。
なお、クロマキーとは、特定の色背景を用いて一の画像データから被写体Sを切り抜く手法である。クロマキーでは、通常、背景に被写体Sと補色の関係にある青や緑のスクリーンを用いるようになっており、被写体存在画像P2における画素値のばらつき量が所定値以下である画像ブロックBとほぼ等しい色の抽出用背景画像を生成することで、抽出用背景画像と被写体存在画像P2の色情報を基にして背景部分と被写体部分を分離することができる。
画像領域判定部8dは、被写体存在画像P2における抽出用背景画像とは異なる色の画素でほぼ囲まれた閉領域A1の中に、当該抽出用背景画像とほぼ等しい色の同色領域A2が存するか否かを判定する。
即ち、画像領域判定部8dは、被写体切り抜き処理にて、分割部8bにより分割された被写体存在画像P2の複数の画像ブロックB、…の各々の代表色(例えば、平均色)に基づいて、被写体存在画像P2の閉領域A1の中に同色領域A2が存するか否かを判定する。具体的には、画像領域判定部8dは、被写体存在画像P2の複数の画像ブロックB、…の各々の平均色と背景生成部8kにより生成された抽出用背景画像の色とを比較判定することで、被写体存在画像P2における抽出用背景画像の色とは異なる色の画素で囲繞された閉領域A1が存するか否かを判定する。そして、閉領域A1が特定されると、画像領域判定部8dは、被写体存在画像P2の閉領域A1内の各画像ブロックBの平均色と抽出用背景画像の色とを比較判定することで、閉領域A1内に抽出用背景画像の色とほぼ等しい色の画素からなる同色領域A2が存するか否かを判定する。
なお、抽出用背景画像と被写体存在画像P2との色の判定にあっては、厳密に判定しても良いし、抽出用背景画像や被写体存在画像P2の各色に対する差分が所定範囲の色は誤差範囲内であるしても良い。また、誤差範囲は、予め設定された所定の固定された範囲であっても良いし、ユーザによる操作入力部12の所定操作に基づいて手動で、或いは、画像領域判定部8dや中央制御部13等が自動的に適宜任意に変更可能としても良い。
ここで、画像領域判定部8dは、電子撮像部2及び撮像制御部3により撮像された被写体存在画像P2に、抽出用背景画像とは異なる色の画素でほぼ囲まれた閉領域(第1領域)A1が存するか否かを判定する第1領域判定手段、及び閉領域A1に当該抽出用背景画像とほぼ等しい色の同色領域(第2領域)A2が存するか否かを判定する第2領域判定手段を構成している。
マスク生成部8lは、被写体存在画像P2から被写体領域を抽出するためのマスク画像を生成する。
即ち、マスク生成部8lは、抽出用背景画像と被写体存在画像P2の対応する各画素の相違度Dを下記式(2)に従って算出して相違度マップを生成する。
Figure 0005504990
なお、上記式(2)にあっては、抽出用背景画像のYUVデータを「Y」、「U」、「V」で表し、被写体存在画像P2のYUVデータを「Yc」、「Uc」、「Vc」で表す。また、Gは、色差信号U、Vのゲインを表している。
そして、マスク生成部8lは、生成した相違度マップを所定の閾値で二値化(0、255)してマスク画像を生成する。
また、マスク生成部8lは、細かいノイズを除去するための収縮処理を行って所定値よりも小さい画素集合を除いた後、収縮分を修正するための膨張処理を行い、その後、同じ連結成分を構成する画素集合に同じ番号を付けるラベリング処理により、有効領域の構成画素数における所定の比率以下の領域を有効領域に置き換えることで穴埋めも行う。さらに、マスク生成部8lは、領域情報に対して平均化フィルタをかけて領域の縁部に合成階調をつける。
切抜画像生成部8hは、被写体Sの画像を所定の単一色背景画像(図示略)と合成して被写体切り抜き画像(図示略)の画像データを生成する。
即ち、切抜画像生成部8hは、クロマキー技術を利用して、マスク生成部8lにより生成されたマスク画像を用いて被写体存在画像P2から被写体画像を切り出して、単一色背景画像と合成して被写体切り抜き画像の画像データを生成する。
なお、マスク画像の縁部分には、合成階調がつけられているため、切り出された被写体画像と単一色背景画像との境界部分がはっきりしていない自然な感じに合成することができる。
ここで、切抜画像生成部8hは、被写体存在画像P2から被写体Sが含まれる被写体領域を切り抜いて被写体画像を生成する画像生成手段を構成している。
次に、撮像装置200による被写体切り抜き処理について、図7〜図10を参照して説明する。
図7は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。
図7に示すように、先ず、ユーザによる操作入力部12のシャッタボタン12aの所定操作に基づいて、撮像制御部3は、フォーカスレンズの合焦位置や露出条件(シャッター速度、絞り、増幅率等)やホワイトバランス等の撮像条件を調整させて、背景内に所定の被写体(例えば、被写体S)が存する被写体存在画像P2(例えば、図4(c)参照)の光学像を所定の撮像条件で電子撮像部2により撮像させる(ステップS51)。
そして、画像データ生成部4は、電子撮像部2から転送された被写体存在画像P2のYUVデータを生成した後、当該被写体存在画像P2のYUVデータを画像メモリ5に一時的に記憶させる。
次に、中央制御部13は、画像処理部8に、被写体存在画像P2から被写体領域を抽出するための抽出用背景画像(図示略)を生成させる抽出用背景生成処理を行わせる(ステップS52)。
ここで、抽出用背景生成処理について図8及び図9を参照して詳細に説明する。
図8及び図9は、抽出用背景生成処理に係る動作の一例を示すフローチャートである。
図8に示すように、まず、中央制御部13は、処理ブロックカウンタSBC及び有効ブロックカウンタYBCをそれぞれ初期値0で設定し(ステップS61)、画像メモリ5に書き込む。
そして、分割部8bは、画像メモリ5に一時的に記憶されている被写体存在画像P2のYUVデータを取得して、当該被写体存在画像P2を複数の画像ブロックB、…(図5(a)参照)に分割する。そして、分割部8bは、分割された複数の画像ブロックB、…の総数を定数Bmaxとして設定し(ステップS62)、画像メモリ5に書き込む。
続けて、非平坦度演算部8iは、被写体存在画像P2の複数の画像ブロックB、…のうち、未だ画素値のばらつき量としての標準偏差を算出していない画像ブロックBの中の一の画像ブロックBについて、画素値のばらつき量としての標準偏差を下記式(1)に従って算出する(ステップS63)。
Figure 0005504990
次に、非平坦度判定部8jは、算出された画像ブロックBのばらつき量が所定値以下であるか否かを判定する(ステップS64)。
ここで、ばらつき量が所定値以下であると判定されると(ステップS64;YES)、色算出部8cは、ステップS64においてばらつき量が所定値以下であると判定された画像ブロックBについて、各画像ブロックBを代表する平均色を算出する(ステップS65)。そして、中央制御部13は、有効ブロックカウンタYBCに1を加算(YBC=YBC+1)する(ステップS66)。
そして、中央制御部13は、処理ブロックカウンタSBCに1を加算(SBC=SBC+1)する(ステップS67)。
一方、ステップS64にて、ばらつき量が所定値以下でないと判定されると(ステップS64;NO)、中央制御部13は、ステップS65、S66の処理を行わず、処理をステップS67に移行して、処理ブロックカウンタSBCに1を加算(SBC=SBC+1)する。
ステップS67の処理後、中央制御部13は、処理ブロックカウンタSBCの値が画像ブロックBの総数Bmaxの値と等しいか否かを判定する(ステップS68)。
ここで、処理ブロックカウンタSBCの値が画像ブロックBの総数Bmaxの値と等しくないと判定されると(ステップS68;NO)、中央制御部13は、処理をステップS63に戻し、それ以降の処理を行う。つまり、非平坦度演算部8iが全ての画像ブロックBに対して画素値のばらつき量としての標準偏差を算出し、非平坦度判定部8jが画素値のばらつき量が所定値以下であるか否かを判定する。そして、中央制御部13は、ばらつき量が所定値以下であると判定された画像ブロックBの数を有効ブロックカウンタYBCの値によりカウントする。
ステップS68にて、処理ブロックカウンタSBCの値が画像ブロックBの総数Bmaxの値と等しいと判定される(ステップS68;YES)ということは、全ての画素ブロックに対する画素値のばらつき量としての標準偏差の算出及びそのばらつき量が所定値以下であるか否かの判定が完了したことを表す。
そして、処理ブロックカウンタSBCの値が画像ブロックBの総数Bmaxの値と等しいと判定されると(ステップS68;YES)、図9に示すように、画像処理部8は、有効ブロックカウンタYBCの値が必要ブロック数以上であるか否かを判定する(ステップS69)。
ステップS69にて、有効ブロックカウンタYBCの値が必要ブロック数以上であると判定されると(ステップS69;YES)、画像処理部8は、ばらつき量が所定値以下であると判定された画像ブロックBのうち、同一色であるとみなすことができる色のブロック数を同一ブロック数として算出する(ステップS70)。
そして、画像処理部8は、同一ブロック数のうち最大の値をとる最多同一ブロック数を特定して、当該最多同一ブロック数が必要ブロック数以上であるか否かを判定する(ステップS71)。
ステップS71にて、最多同一ブロック数が必要ブロック数以上であると判定されると(ステップS71;YES)、背景生成部8kは、最多同一ブロック数に計数された画像ブロックBの平均色を背景色とする抽出用背景画像のYUVデータを生成(ステップS72)する。
次に、画像処理部8の画像領域判定部8dは、被写体非存在画像P1内に、背景生成部8kにより生成された抽出用背景画像の色と異なる色の画素で囲繞された閉領域A1が存するか否かを判定する(ステップS73)。具体的には、画像領域判定部8dは、被写体存在画像P2の複数の画像ブロックB、…の各々の平均色と抽出用背景画像の色とを比較判定することで、被写体存在画像P2における抽出用背景画像の色とは異なる色の画素で囲繞された閉領域A1を特定する。そして、画像領域判定部8dは、当該特定結果に応じて被写体存在画像P2内に閉領域A1が存するか否かを判定する。
ステップS73にて、被写体存在画像P2内に閉領域A1が存すると判定されると(ステップS73;YES)、画像領域判定部8dは、当該閉領域A1内に抽出用背景画像の色とほぼ等しい色の画素からなる同色領域A2が存するか否かを判定する(ステップS74)。具体的には、画像領域判定部8dは、被写体存在画像P2の閉領域A1内の各画像ブロックBの平均色と抽出用背景画像の色とを比較判定することで、閉領域A1内に抽出用背景画像の色とほぼ等しい色の画素からなる同色領域A2が存するか否かを判定する。
ここで、閉領域A1内に同色領域A2が存すると判定されると(ステップS74;YES)、表示制御部9は、表示部10の表示画面に表示されている被写体存在画像P2の閉領域A1内の同色領域A2の色を他の色に変更して表示することで、当該同色領域A2が存する旨を報知して(ステップS75;図5(b)参照)、抽出用背景画像の生成が失敗となる(ステップS76)。
これにより、抽出用背景生成処理を終了する。
また、ステップS73にて、被写体存在画像P2内に閉領域A1が存しないと判定された場合(ステップS73;NO)、例えば、背景の色に対して被写体Sが切り抜きに向いていない色の被写体Sであり、異なる色の背景をバックに被写体Sを撮像させる必要があることから、抽出用背景画像の生成が失敗となる(ステップS76)。
また、ステップS71にて、最多同一ブロック数が必要ブロック数以上でないと判定された場合(ステップS71;NO)、例えば、ばらつきのない安定した画像ブロックBがあっても、ほぼ等しい色のブロックが必要ブロック数以上ない場合等には背景が特定できないため、抽出用背景画像の生成が失敗となる(ステップS76)。
また、ステップS69にて、有効ブロックカウンタYBCの値が必要ブロック数以上でないと判定された場合(ステップS69;NO)、ばらつきのない安定した画像ブロックBがないために背景が特定できないことから、抽出用背景画像の生成が失敗となる(ステップS76)。
一方、ステップS74にて、被写体存在画像P2の閉領域A1内に同色領域A2が存しないと判定されると(ステップS74;NO)、抽出用背景画像の生成を成功として(ステップS77)、抽出用背景生成処理を終了する。
図7に示すように、次に、中央制御部13は、画像処理部8に、抽出用背景画像の生成が成功したか否かを判定させる(ステップS53)。
ここで、抽出用背景生成が成功しなかったと判定されると(ステップS53;NO)、中央制御部13は、被写体Sの切り抜きの失敗に係る所定のメッセージ(例えば、「被写体の切り抜きに失敗しました」等)を表示部10の表示画面に表示させて(ステップS54)、被写体切り抜き処理を終了する。
一方、ステップS53にて、抽出用背景生成が成功したと判定されると(ステップS53;YES)、中央制御部13は、画像処理部8に被写体存在画像P2から被写体Sが含まれる被写体領域を検出する領域検出処理を行わせる(ステップS55)。
ここで、領域検出処理について図10を参照して詳細に説明する。
図10は、領域検出処理に係る動作の一例を示すフローチャートである。
図10に示すように、画像処理部8のマスク生成部8lは、抽出用背景画像のYUVデータと被写体存在画像P2のYUVデータとの間で対応する各画素の相違度Dを下記式(2)に従って算出して相違度マップを生成する(ステップS81)。
Figure 0005504990
次に、マスク生成部8lは、生成した相違度マップを所定の閾値で二値化してマスク画像データを生成する(ステップS82)。そして、マスク生成部8lは、例えば、背景(二値化;0)の領域が著しく小さいか否か等を判定することで、二値化が成功したか否かを判断する(ステップS83)。
ここで、二値化に成功したと判断されると(ステップS83;YES)、マスク生成部8lは、被写体領域の周辺部の残り過ぎを修正したり細かいノイズを除去するため、マスク画像データに対する収縮処理を行って所定値よりも小さい画素集合を除いた後(ステップS84)、収縮分を修正するための膨張処理を行う(ステップS85)。
続けて、被写体Sに背景色と似たような色がある場合、マスク画像の被写体領域内が欠損するため、マスク生成部8lは、同じ連結成分を構成する画素集合に同じ番号を付けるラベリング処理により、マスク画像データの有効領域の構成画素数における所定の比率以下の領域を有効領域に置き換えることで穴埋めを行う(ステップS86)。
その後、マスク生成部8lは、マスク画像データに対して平均化フィルタをかけて、被写体領域の縁部に合成階調をつけて(ステップS87)、領域検出成功とする(ステップS88)。
一方、ステップS83にて、二値化に成功しなかったと判断されると(ステップS83;NO)、例えば、背景(二値化;0)の領域が著しく小さい場合などには、マスク生成部8lは、二値化に失敗したとみなして領域検出失敗とする(ステップS89)。
これにより、領域検出処理を終了する。
図7に示すように、次に、中央制御部13は、画像処理部8のマスク生成部8lに、被写体領域の検出が成功したか否かを判定させる(ステップS56)。
ここで、被写体領域の検出が成功したと判定されると(ステップS56;YES)、中央制御部13は、画像処理部8の切抜画像生成部8hに、クロマキー技術を利用して、領域検出処理にて生成されたマスク画像を用いて被写体存在画像P2から被写体領域を切り出して、所定の単一色背景画像(図示略)と合成して被写体切り抜き画像(図示略)の画像データを生成させる(ステップS57)。
具体的には、切抜画像生成部8hは、被写体存在画像P2、単一色背景画像及びマスク画像データを読み出して画像メモリ5に展開した後、被写体存在画像P2のうち、マスク画像データの塗りつぶした部分(被写体S以外の部分)で覆われる画素については、単一色背景画像の所定の単一色で塗りつぶす一方で、被写体部分の画素については、何もせずに所定の単一色に対して透過させないようにする。なお、マスク画像の縁部分には、合成階調がつけられているため、切り出された被写体領域と単一色背景画像との境界部分がはっきりしていない自然な感じとなる。
その後、表示制御部9は、切抜画像生成部8hにより生成された被写体切り抜き画像の画像データに基づいて、所定の単一色背景画像に被写体Sが重畳された被写体切り抜き画像を表示部10の表示画面に表示させる。
次に、記録媒体制御部11は、記録媒体11aの所定の記憶領域に、画像処理部8のマスク生成部8lにより生成されたマスク画像データと被写体画像の画像データを対応付けて、当該被写体切り抜き画像の画像データの拡張子を「.jpe」として一ファイルで保存させる(ステップS58)。
これにより、被写体切り抜き処理を終了する。
一方、ステップS56にて、被写体領域の検出が成功しなかったと判定されると(ステップS56;NO)、中央制御部13は、処理をステップS54に移行させて、上記と同様に、被写体Sの切り抜きの失敗に係る所定のメッセージを表示部10の表示画面に表示させて(ステップS54)、被写体切り抜き処理を終了する。
以上のように、実施形態2の撮像装置200によれば、上記実施形態1に記載の撮像装置100と同様の効果が得られるのは無論のこと、特に、背景内に被写体Sの存する被写体存在画像P2を撮像し、当該被写体存在画像P2における、非平坦度が所定値以下の背景部分とは異なる色の画素で囲繞された閉領域A1の中に、当該背景部分とほぼ等しい色の同色領域A2が存する場合に、当該被写体存在画像P2における閉領域A1内に同色領域A2が存する旨を報知するので、被写体存在画像P2からの被写体領域の切り抜きが失敗する虞のある同色領域A2の部分をユーザに把握させることができる。これにより、ユーザが被写体Sの背景や当該被写体Sや構図などの変更等を行うことで、被写体切り抜き処理にて、撮像された被写体存在画像P2の同色領域A2の色調が背景部分の色調とほぼ等しいために当該同色領域A2を切り抜くことができないといったことがなくなって、被写体存在画像P2からの被写体領域の切り抜きの失敗を適正に防止することができる。この結果、被写体切り抜き処理のために被写体存在画像P2を何度も撮り直さなければならないといったことがなくなる。
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態1、2にあっては、被写体存在画像P2(ライブビュー表示されている画像も含む)や被写体非存在画像P1の色(例えば、各画像ブロックBの色)に基づいて、閉領域A1や同色領域A2を特定するようにしたが、これらの領域の特定方法は一例であってこれに限られるものではなく、例えば、被写体存在画像P2の被写体画像の輪郭をエッジ検出により検出するようにしても良い。
さらに、上記実施形態1、2にあっては、ユーザによる操作入力部12のシャッタボタン12aの一回の撮像指示操作に基づいて撮像記録される被写体存在画像P2の枚数は、一枚であっても良いし、複数枚であっても良い。即ち、被写体存在画像P2を連続して複数枚静止画像として撮像する場合や動画像として撮像する場合には、各被写体存在画像P2毎に被写体Sが存する領域を切り抜いて被写体画像を生成するようにしても良い。
また、上記実施形態1にあっては、アルファマップと被写体画像の画像データとを対応付けて、また、実施形態2にあっては、マスク画像データと被写体画像の画像データとを対応付けてそれぞれ一ファイルで保存させるようにしたが、アルファマップやマスク画像データと被写体存在画像P2の画像データとを対応付けて一ファイルで記録媒体(記録手段)11aに保存させるようにしても良い。この場合、当該ファイルの再生には、被写体存在画像P2を再生させるモードと、再生時にアルファマップやマスク画像データを適用して被写体画像(被写体切り抜き画像)を合成して表示する2モードを用意しておくとよい。
さらに、被写体非存在画像P1から被写体画像を切り抜く方法として上記実施形態1、2に例示したものは一例であって、これらに限られるものではない。例えば、被写体非存在画像P1から被写体画像の切り抜き用に、上記実施形態1にあっては、アルファマップの代わりにマスク画像データを生成して用いても良いし、実施形態2にあっては、マスク画像データの代わりにアルファマップを生成して用いても良い。
また、上記実施形態2にあっては、撮像制御部3に撮像停止部3aを具備するようにしたが、撮像停止部3aを具備するか否かは適宜任意に変更することができる。
また、上記実施形態2にあっては、撮像された被写体存在画像P2について、閉領域A1と同色領域A2が存するか否かを判定するようにしたが、被写体存在画像P2の撮像前に、順次撮像されるライブビュー画像で判定するようにしてもよい。つまり、ライブビュー画像に対して最多同一ブロックの平均色を求め、その平均色と異なる色の閉領域A1が存するか否かを判定し、閉領域A1が存する場合は、最多同一ブロックの平均色と略同色の領域である同色領域A2が存するか否かを判定し、同色領域A2が存する場合は、その旨を報知するようにしてもよい。
さらに、撮像装置100、200の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。
加えて、上記実施形態1、2にあっては、取得手段、非平坦度判定手段、第1領域判定手段、第2領域判定手段、報知手段としての機能を、画像処理部8の画像取得部8a、非平坦度判定部8j、画像領域判定部8d、表示制御部9が駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部13のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、撮像装置100のプログラムを記憶するプログラムメモリ(図示略)に、取得処理ルーチン、撮像制御処理ルーチン、領域判定処理ルーチン、報知制御処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部13のCPUを、画像メモリ5に記憶されている背景画像を取得する取得手段として機能させるようにしても良い。また、撮像制御処理ルーチンにより中央制御部13のCPUを、背景内に被写体が存する被写体存在画像を撮像させる撮像制御手段として機能させるようにしても良い。また、領域判定処理ルーチンにより中央制御部13のCPUを、撮像手段により撮像された画像に、取得手段によって取得された背景画像とは異なる色の画素でほぼ囲まれた第1領域が存するか否かを判定する第1領域判定手段、及び第1領域の中に、当該背景画像とほぼ等しい色の第2領域が存するか否かを判定する第2領域判定手段として機能させるようにしても良い。また、報知制御処理ルーチンにより中央制御部13のCPUを、第2領域判定手段によって第2領域が存すると判定された場合に、当該第2領域が存する旨を報知手段から報知させる報知制御手段として機能させるようにしても良い。
また、撮像装置200のプログラムを記憶するプログラムメモリ(図示略)に、撮像制御処理ルーチン、非平坦度判定処理ルーチン、領域判定処理ルーチン、報知制御処理ルーチンを含むプログラムを記憶しておく。そして、撮像制御処理ルーチンにより中央制御部13のCPUを、背景内に被写体が存する被写体存在画像を撮像させる撮像制御手段として機能させるようにしても良い。また、非平坦度判定処理ルーチンにより中央制御部13のCPUを、撮像手段により撮像された画像の背景部分の非平坦度が所定値以下であるか否かを判定する非平坦度判定手段として機能させるようにしても良い。また、領域判定処理ルーチンにより中央制御部13のCPUを、撮像手段により撮像された画像に非平坦度判定手段により非平坦度が所定値以下であると判定された背景部分とは異なる色の画素でほぼ囲まれた第1領域が存するか否かを判定する第1領域判定手段、及び第1領域の中に、当該背景部分とほぼ等しい色の第2領域が存するか否かを判定する第2領域判定手段として機能させるようにしても良い。また、報知制御処理ルーチンにより中央制御部13のCPUを、第2領域判定手段によって第2領域が存すると判定された場合に、当該第2領域が存する旨を報知手段から報知させる報知制御手段として機能させるようにしても良い。
同様に、画像生成手段についても、中央制御部13のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ROMやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、CD−ROM等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ(搬送波)も適用される。
100 撮像装置
1 レンズ部
2 電子撮像部
3 撮像制御部
8 画像処理部
8a 画像取得部
8d 画像領域判定部
8h 切抜画像生成部
8j 非平坦度判定部
9 表示制御部
10 表示部
13 中央制御部

Claims (17)

  1. 背景画像を取得する取得手段と、
    背景内に被写体が存する被写体存在画像を撮像する撮像手段と、
    前記撮像手段により撮像された被写体存在画像の被写体領域の中に、前記背景画像と略同色の第1領域が存するか否かを判定する第1領域判定手段と、
    この第1領域判定手段によって前記第1領域が存すると判定された場合に、当該第1領域が存する旨を報知する報知手段と、
    前記被写体存在画像に、前記背景画像の色とは異なる色の領域でほぼ囲まれた第2領域が存するか否かを判定する第2領域判定手段と、
    を備え、
    前記第1領域判定手段は、前記第2領域判定手段によって前記第2領域が存すると判定された場合に、前記被写体存在画像における前記第2の領域の中に、前記背景画像と略同色の第1領域が存するか否かを判定する
    ことを特徴とする撮像装置。
  2. 前記第2領域は、前記背景用画像とは異なる色の画素で囲繞された閉領域であることを特徴とする請求項に記載の撮像装置。
  3. 前記撮像手段により撮像される被写体存在画像の背景は、前記背景画像の対応する領域と略同一であることを特徴とする請求項1又は2に記載の撮像装置。
  4. 背景内に被写体が存する被写体存在画像を撮像する撮像手段と、
    前記被写体存在画像における背景部分の色と略同色の第1領域が前記被写体存在画像中の被写体領域に存するか否かを判定する第1領域判定手段と、
    この第1領域判定手段によって前記第1領域が存すると判定された場合に、当該第1領域が存する旨を報知する報知手段と、
    前記撮像手段により撮像された被写体存在画像に前記背景部分の色とは異なる色の領域でほぼ囲まれた第2領域が存するか否かを判定する第2領域判定手段と、
    を備え、
    前記第1領域判定手段は、前記第2領域判定手段によって前記第2領域が存すると判定された場合に、前記被写体存在画像における前記第2領域の中に、前記背景部分の色と略同色の第1領域が存するか否かを判定する
    ことを特徴とする撮像装置。
  5. 前記被写体存在画像の背景部分の非平坦度が所定値以下であるか否かを判定する非平坦度判定手段を更に備え、
    前記第2領域判定手段は、この非平坦度判定手段により非平坦度が所定値以下であると判定された場合に、前記被写体存在画像に前記背景画像の色とは異なる色の領域でほぼ囲まれた第2領域が存するか否かを判定することを特徴とする請求項に記載の撮像装置。
  6. 前記第2領域は、前記背景部分とは異なる色の画素で囲繞された閉領域であることを特徴とする請求項4又は5に記載の撮像装置。
  7. 前記被写体存在画像は、前記撮像手段によって順次撮像されて表示手段に表示されることを特徴とする請求項1〜の何れか一項に記載の撮像装置。
  8. 前記報知手段は、前記表示手段に表示されている被写体存在画像における前記第1領域を識別可能な表示形態で表示させることを特徴とする請求項に記載の撮像装置。
  9. 前記報知手段は、前記第1領域の画像の色を前記背景画像の色とは異なる色に変更させることで前記第1領域が存する旨を報知することを特徴とする請求項8に記載の撮像装置。
  10. 前記報知手段は、前記第1領域の画像の色を点滅表示させることで前記第1領域が存する旨を報知することを特徴とする請求項8又は9に記載の撮像装置。
  11. 前記被写体存在画像から被写体が存する領域を切り抜いて被写体画像を生成する画像生成手段を更に備えることを特徴とする請求項1〜10の何れか一項に記載の撮像装置。
  12. 背景画像及び背景内に被写体が存する被写体存在画像を取得する取得手段と、
    前記取得手段に取得された被写体存在画像の被写体領域の中に、前記背景画像と略同色の領域が存するか否かを判定する第1領域判定手段と、
    この第1領域判定手段によって前記第1領域が存すると判定された場合に、当該第1領域が存する旨を報知する報知手段と、
    前記被写体存在画像に、前記背景画像の色とは異なる色の領域でほぼ囲まれた第2領域が存するか否かを判定する第2領域判定手段と、
    を備え、
    前記第1領域判定手段は、前記第2領域判定手段によって前記第2領域が存すると判定された場合に、前記被写体存在画像における前記第2の領域の中に、前記背景画像と略同色の第1領域が存するか否かを判定する
    ことを特徴とする画像処理装置。
  13. 背景内に被写体が存する被写体存在画像を取得する取得手段と、
    前記被写体存在画像における背景部分の色と略同色の領域が前記被写体存在画像中の被写体領域に存するか否かを判定する第1領域判定手段と、
    この第1領域判定手段によって前記第1領域が存すると判定された場合に、当該第1領域が存する旨を報知する報知手段と、
    前記被写体存在画像に、前記背景画像の色とは異なる色の領域でほぼ囲まれた第2領域が存するか否かを判定する第2領域判定手段と、
    を備え、
    前記第1領域判定手段は、前記第2領域判定手段によって前記第2領域が存すると判定された場合に、前記被写体存在画像における前記第2の領域の中に、前記背景画像と略同色の第1領域が存するか否かを判定する
    ことを特徴とする画像処理装置。
  14. コンピュータを、
    背景画像を取得する取得手段、
    背景内に被写体が存する被写体存在画像を撮像手段に撮像させる撮像制御手段、
    撮像された被写体存在画像の被写体領域の中に、前記背景画像と略同色の領域が存するか否かを判定する第1領域判定手段、
    この第1領域判定手段によって前記第1領域が存すると判定された場合に、当該第1領域が存する旨を報知させる報知制御手段、
    前記被写体存在画像に、前記背景画像の色とは異なる色の領域でほぼ囲まれた第2領域が存するか否かを判定する第2領域判定手段、
    として機能させ、
    前記第1領域判定手段は、前記第2領域判定手段によって前記第2領域が存すると判定された場合に、前記被写体存在画像における前記第2の領域の中に、前記背景画像と略同色の第1領域が存するか否かを判定する
    ことを特徴とするプログラム。
  15. コンピュータを、
    背景内に被写体が存する被写体存在画像を撮像手段に撮像させる撮像制御手段、
    前記被写体存在画像における背景部分の色と略同色の領域が前記被写体存在画像中の被写体領域に存するか否かを判定する第1領域判定手段、
    この第1領域判定手段によって前記第1領域が存すると判定された場合に、当該第1領域が存する旨を報知させる報知制御手段、
    前記撮像手段により撮像された被写体存在画像に前記背景部分の色とは異なる色の領域でほぼ囲まれた第2領域が存するか否かを判定する第2領域判定手段、
    として機能させ、
    前記第1領域判定手段は、前記第2領域判定手段によって前記第2領域が存すると判定された場合に、前記被写体存在画像における前記第2領域の中に、前記背景部分の色と略同色の第1領域が存するか否かを判定する
    として機能させることを特徴とするプログラム。
  16. コンピュータを、
    背景画像及び背景内に被写体が存する被写体存在画像を取得する取得手段、
    前記取得手段に取得された被写体存在画像の被写体領域の中に、前記背景画像と略同色の領域が存するか否かを判定する第1領域判定手段、
    この第1領域判定手段によって前記第1領域が存すると判定された場合に、当該第1領域が存する旨を報知する報知手段、
    前記被写体存在画像に、前記背景画像の色とは異なる色の領域でほぼ囲まれた第2領域が存するか否かを判定する第2領域判定手段、
    として機能させ、
    前記第1領域判定手段は、前記第2領域判定手段によって前記第2領域が存すると判定された場合に、前記被写体存在画像における前記第2の領域の中に、前記背景画像と略同色の第1領域が存するか否かを判定する
    ことを特徴とするプログラム。
  17. コンピュータを、
    背景内に被写体が存する被写体存在画像を取得する取得手段、
    前記被写体存在画像における背景部分の色と略同色の領域が前記被写体存在画像中の被写体領域に存するか否かを判定する第1領域判定手段、
    この第1領域判定手段によって前記第1領域が存すると判定された場合に、当該第1領域が存する旨を報知する報知手段、
    前記被写体存在画像に、前記背景画像の色とは異なる色の領域でほぼ囲まれた第2領域が存するか否かを判定する第2領域判定手段、
    として機能させ、
    前記第1領域判定手段は、前記第2領域判定手段によって前記第2領域が存すると判定された場合に、前記被写体存在画像における前記第2の領域の中に、前記背景画像と略同色の第1領域が存するか否かを判定する
    ことを特徴とするプログラム。
JP2010055605A 2010-03-12 2010-03-12 撮像装置、画像処理装置及びプログラム Active JP5504990B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010055605A JP5504990B2 (ja) 2010-03-12 2010-03-12 撮像装置、画像処理装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010055605A JP5504990B2 (ja) 2010-03-12 2010-03-12 撮像装置、画像処理装置及びプログラム

Publications (3)

Publication Number Publication Date
JP2011191860A JP2011191860A (ja) 2011-09-29
JP2011191860A5 JP2011191860A5 (ja) 2013-04-25
JP5504990B2 true JP5504990B2 (ja) 2014-05-28

Family

ID=44796736

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010055605A Active JP5504990B2 (ja) 2010-03-12 2010-03-12 撮像装置、画像処理装置及びプログラム

Country Status (1)

Country Link
JP (1) JP5504990B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5834253B2 (ja) 2013-03-27 2015-12-16 パナソニックIpマネジメント株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP5849206B2 (ja) * 2013-03-27 2016-01-27 パナソニックIpマネジメント株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP5899475B2 (ja) 2013-04-05 2016-04-06 パナソニックIpマネジメント株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP6239460B2 (ja) * 2014-07-28 2017-11-29 東芝テック株式会社 情報処理装置及びプログラム
WO2019163540A1 (ja) * 2018-02-20 2019-08-29 富士フイルム株式会社 内視鏡システム
KR102398874B1 (ko) * 2019-10-10 2022-05-16 주식회사 신세계아이앤씨 전경 분리 장치 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63178677A (ja) * 1987-01-19 1988-07-22 Nippon Telegr & Teleph Corp <Ntt> 被写体像抜き取り装置
JP2000030037A (ja) * 1998-07-10 2000-01-28 Casio Comput Co Ltd 撮影装置
JP3241327B2 (ja) * 1998-08-22 2001-12-25 大聖電機有限会社 クロマキーシステム

Also Published As

Publication number Publication date
JP2011191860A (ja) 2011-09-29

Similar Documents

Publication Publication Date Title
JP5413002B2 (ja) 撮像装置および方法、並びにプログラム
JP4760973B2 (ja) 撮像装置及び画像処理方法
JP4947136B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4798236B2 (ja) 撮像装置、画像処理方法及びプログラム
US8472747B2 (en) Image composition device, image composition method, and storage medium storing program
US20100238325A1 (en) Image processor and recording medium
JP5625995B2 (ja) 被写体追跡装置、被写体追跡方法及びプログラム
JP2011010275A (ja) 画像再生装置及び撮像装置
JP5504990B2 (ja) 撮像装置、画像処理装置及びプログラム
JP4868046B2 (ja) 画像処理装置、画像処理方法及びプログラム
JPWO2008044524A1 (ja) 画像分類プログラム、画像分類装置および電子カメラ
JP5267279B2 (ja) 画像合成装置及びプログラム
JP5733588B2 (ja) 画像処理装置および方法、並びにプログラム
JP4632417B2 (ja) 撮像装置、及びその制御方法
JP5493839B2 (ja) 撮像装置、画像合成方法及びプログラム
JP5131399B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2011182014A (ja) 撮像装置、撮像処理方法及びプログラム
JP2011041041A (ja) 撮像装置、撮像方法及びプログラム
JP5423296B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5212451B2 (ja) 領域特定方法、領域特定装置、プログラム、サーバ及びシステム
JP5636660B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6762779B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2010278701A (ja) 画像合成装置、画像合成方法及びプログラム
JP2014022826A (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP2012059158A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130311

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130311

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130311

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140303

R150 Certificate of patent or registration of utility model

Ref document number: 5504990

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150