JP4889538B2

JP4889538B2 - 画像処理装置

Info

Publication number: JP4889538B2
Application number: JP2007080565A
Authority: JP
Inventors: 正義岡本
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2007-03-27
Filing date: 2007-03-27
Publication date: 2012-03-07
Anticipated expiration: 2027-03-27
Also published as: JP2008244693A; CN101276409A; US20080240517A1

Description

この発明は、画像処理装置に関し、特にたとえば電子カメラに適用され、背景画像にぼかし処理を施す、画像処理装置に関する。

この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、撮像装置によって捉えられた被写界を表す画像データのうち人物以外の背景領域の画像データが、高域の空間周波数成分を抑制する処理を施される。このような抑制処理を施された背景領域の画像データは人物の画像データと合成され、これによってポートレート画像が得られる。なお、この種の装置は、特許文献２にも開示されている。
特開平１１−４１５１２号公報［H04N 5/232, G06T 1/00, H04N 5/272, 5/91］特開平５−９５５４１号公報［H04N 7/137, 7/14］

しかし、一般的に、人物の胴体画像の検出精度は、人物の頭部画像の検出精度よりも低い傾向にある。換言すれば、人物の胴体画像を検出するためには、人物の頭部画像を検出する能力よりも高い能力が要求される。このため、特許文献１に開示された背景技術では、ポートレート画像の作成に時間がかかる可能性がある。

それゆえに、この発明の主たる目的は、背景をぼかした画像を簡便に作成することができる、画像処理装置を提供することである。

第１の発明は、人物と背景を含む撮影画像から頭部輪郭を示す頭部輪郭線を検出する頭部輪郭線検出手段（S15：実施例で相当する参照符号。以下同じ。）、頭部輪郭線の下端において基準点を特定する基準点特定手段（S17)、頭部輪郭線と基準点とを参照して頭部輪郭線より外側にぼかし領域を特定するぼかし領域特定手段（S19）、およびぼかし領域において背景画像にぼかし処理を施すぼかし処理手段（S21-S25）を備え、人物画像とぼかし領域においてぼかし処理した背景画像を含む処理済み画像を作成する、画像処理装置である。

人物の頭部の輪郭の検出精度は、一般的に人物の胴体の輪郭の検出精度よりも高い傾向にある。また、人物の頭部周辺の背景は、一般的に人物の胴体周辺の背景よりも遠い傾向にある。そこで、この発明では、人物の頭部の背景となる部分背景画像を被写界像から特定し、特定された部分背景画像にぼかし処理を施すようにしている。これによって、背景をぼかした画像を簡便に作成することができる。

第２の発明は、第１の発明において、ぼかし処理手段はぼかし領域におけるぼかし度を上方に向かって増大させる、画像処理装置である。

第３の発明は、第２の発明において、ぼかし領域を上部領域と下部領域とに区画し、ぼかし処理手段は、上部領域と下部領域とにおいて異なる態様のぼかし処理を実行する、画像処理装置である。

第４の発明は、第１ないし第３の発明のいずれかにおいて、ぼかし領域特定手段は基準点を通る直線によってぼかし領域を特定する、画像処理装置である。

第５の発明は、第１ないし第４の発明のいずれかにおいて、撮影手段、および撮像手段によって作成された撮影画像をメモリに書き込む書き込み手段をさらに備え、頭部輪郭線検出手段は、書き込み手段によってメモリに格納された撮影画像から頭部周辺画像を取り出す取出し手段（S13）を含み、頭部周辺画像において頭部輪郭線を検出する、画像処理装置である。

第６の発明は、第１ないし第５の発明のいずれかの画像処理装置を有する、ディジタルカメラである。

第７の発明は、シャッタボタン、撮影手段、およびモニタを有するディジタルカメラであって、
シャッタボンの半押しに応答して、人物と背景を含む撮影画像から頭部輪郭を示す頭部輪郭線を検出する頭部輪郭線検出ステップ、頭部輪郭線の下端において基準点を特定する基準点特定ステップ、頭部輪郭線と基準点とを参照して頭部輪郭線より外側にぼかし領域を特定するぼかし領域特定ステップ、およびぼかし領域において背景画像にぼかし処理を施すぼかし処理ステップを含む、ぼかしモードタスクを起動するする起動手段（S39）、および
起動手段が起動したぼかしモードタスクによって背景ぼかし処理を施されたスルー画像をモニタに表示する表示手段を備える、ディジタルカメラである。

第８の発明は、第７の発明において、シャッタボタンの全押しに応答してぼかしモードタスクによって背景ぼかし処理を施された画像データを記録媒体に記録する記録手段をさらに備える、ディジタルカメラである。

第９の発明は、画像処理装置のプロセサに、人物画像と背景画像を含む撮影画像から頭部輪郭を示す頭部輪郭線を検出する頭部輪郭線検出ステップ、頭部輪郭線の下端において基準点を特定する基準点特定ステップ、頭部輪郭線と基準点とを参照して頭部輪郭線より外側にぼかし領域を特定するぼかし領域特定ステップ、およびぼかし領域において背景画像にぼかし処理を施すぼかし処理ステップを実行させ、人物画像とぼかし領域においてぼかし処理した背景画像を含む処理済み画像を作成する、画像処理プログラムである。

第１０の発明は、人物画像と背景画像を含む撮影画像から頭部輪郭を示す頭部輪郭線を検出する頭部輪郭線検出ステップ、頭部輪郭線の下端において基準点を特定する基準点特定ステップ、頭部輪郭線と基準点とを参照して頭部輪郭線より外側にぼかし領域を特定するぼかし領域特定ステップ、およびぼかし領域において背景画像にぼかし処理を施すぼかし処理ステップを含み、人物画像とぼかし領域においてぼかし処理した背景画像を含む処理済み画像を作成する、画像処理方法である。

この発明によれば、頭部輪郭線を検出し、その頭部輪郭線とその下端に特定した基準点と参照して頭部輪郭線より外側にぼかし領域を形成し、そのぼかし領域において部分背景画像にぼかし処理を施すようにしている。これによって、背景をぼかした画像を簡便に作成することができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１を参照して、この実施例のディジタルカメラ１０は、光学レンズ１２を含む。被写界を表す光学像は、この光学レンズ１２を経て撮像装置１４の撮像面に照射される。撮像面は、Ｒ(Red)，Ｇ(Green)およびＢ(Blue)の色要素がモザイク状に配列された色フィルタ（図示せず）によって覆われる。撮像面に形成された複数の受光素子の各々で生成される電荷の量は、このような色フィルタを経た光の量を反映する。つまり、各々の受光素子で生成される電荷は、Ｒ，ＧまたはＢの色情報を有する。

キー入力装置３６によってカメラモードが選択されると、ＣＰＵ３４は、スルー画像処理を実行するべく、プリ露光および間引き読み出しの繰り返しをＴＧ１６に命令し、表示処理の実行をＬＣＤドライバ２８に命令する。ＴＧ１６は、１／３０秒毎に撮像面にプリ露光を施し、これによって生成された電荷の一部をラスタ走査態様で撮像面から読み出す。この結果、被写界を表す低解像度の生画像信号が３０ｆｐｓのフレームレートで撮像装置１４から出力される。

カメラ処理回路１８は、撮像装置１４から出力された各フレームの生画像信号にＣＤＳ，ＡＧＣ，Ａ／Ｄ変換，色分離，白バランス調整，ＹＵＶ変換の一連の処理を施し、ＹＵＶ形式の画像データを作成する。作成された画像データは、メモリ制御回路２２によってＳＤＲＡＭ２４に書き込まれる。ＬＣＤドライバ２６は、ＳＤＲＡＭ２４に格納された画像データをメモリ制御回路２４を通して１／３０秒毎に読み出し、読み出された画像データに基づいてＬＣＤモニタ２８を駆動する。この結果、被写界のスルー画像がモニタ画面に表示される。

ＣＰＵ３４は、カメラ処理回路１８によって作成された画像データのＹ成分を取り込み、取り込まれたＹ成分に基づいてスルー画像用ＡＥ処理を実行する。これによって適正時間のプリ露光が実行され、ＬＣＤモニタ２８に表示されるスルー画像の明るさが適度に調整される。

キー入力装置３６上のシャッタボタン３６ｓが半押しされると、プリ露光時間を厳格に調整するべく、記録画像用ＡＥ処理がＣＰＵ２４によって実行される。プリ露光時間は最適時間に設定される。

キー入力装置３６上のシャッタボタン３６ｓが全押しされると、ＣＰＵ３４は、本露光および全画素読み出しを１回ずつ実行すべきことをＴＧ１６に命令し、記録処理を実行すべきことをＩ／Ｆ回路３０に命令する。ＴＧ１６は、撮像面に最適時間の本露光を施し、これによって生成された電荷の全てをラスタ走査態様で撮像面から読み出す。この結果、記録操作が行われた時点の被写界を表す高解像度の生画像信号が、撮像装置１４から出力される。出力された生画像信号はカメラ処理回路１８によって上述と同様の処理を施され、これによって生成されたＹＵＶ形式の画像データはメモリ制御回路２２によってＳＤＲＡＭ２４に書き込まれる。Ｉ／Ｆ回路３０は、こうしてＳＤＲＡＭ２４に確保された高解像度の画像データをメモリ制御回路２２を通して読み出し、読み出された画像データをファイル形式で記録媒体３２に記録する。

キー入力装置３６によって再生モードが選択されると、ＣＰＵ３４は、所望のファイルの再生をＩ／Ｆ回路３０に命令し、表示処理の実行をＬＣＤドライバ２６に命令する。Ｉ／Ｆ回路３０は、記録媒体３２にアクセスし、所望のファイルに格納された画像データを再生する。再生された画像データは、メモリ制御回路２２によってＳＤＲＡＭ２４に書き込まれる。ＬＣＤドライバ２６は、ＳＤＲＡＭ２４に格納された画像データをメモリ制御回路２４を通して読み出し、読み出された画像データに基づいてＬＣＤモニタ２８を駆動する。この結果、再生画像がモニタ画面に表示される。

カメラモードまたは再生モードにおいて、キー入力装置３６によって背景ぼかしモードが選択されると、ＳＤＲＡＭ２４に確保された高解像度の画像データを処理対象画像として、以下の要領でぼかし処理が実行される。

処理対象画像が図２に示す被写界像である場合、まず人物Ｈ１の顔画像が顔認識処理によって認識される。認識された顔画像には、正方形の顔画像枠Ｆｆａｃｅが割り当てられる。正方形を定義する平行な２つの辺は水平方向に伸び、別の２つの辺は垂直方向に延びる。顔画像枠Ｆｆａｃｅの周辺には、図３に示す位置／サイズ関係を満足する長方形の頭部周辺画像枠Ｆｈｅａｄが割り当てられる。

図３を参照して、顔画像枠Ｆｆａｃｅを定義する１つの辺の長さを“Ｌ”とすると、頭部周辺画像枠Ｆｈｅａｄを定義する長辺の長さは“３．４Ｌ”とされ、頭部周辺画像枠Ｆｈｅａｄを定義する短辺の長さは“２．６Ｌ”とされる。ここで、垂直方向に延びる辺が長辺に相当し、水平方向に延びる辺が短辺に相当する。顔画像枠Ｆｆａｃｅの水平方向中央は、頭部周辺画像枠Ｆｈｅａｄの水平方向中央と一致する。また、顔画像枠Ｆｆａｃｅを定義する平行な２つの辺のうち上方の１つの辺から頭部周辺画像枠Ｆｈｅａｄを定義する２つの短辺の各々までの距離は、“１．７Ｌ”に相当する。

頭部周辺画像枠Ｆｈｅａｄに属する部分画像つまり頭部周辺画像は、ＳＤＲＡＭ２４上のワーク領域２４ｗに図４（Ａ）に示す要領で複製される。その後、エッジ検出処理によって頭部輪郭が図４（Ｂ）に示す要領で検出される。さらに、２つの基準点Ｐ１およびＰ２が、検出された頭部輪郭上に割り当てられる。基準点Ｐ１およびＰ２の割り当て位置は、顔画像枠Ｆｆａｃｅを定義する下側の１つの辺から“０．１Ｌ”だけ下方向に離れた位置である。

基準点Ｐ１およびＰ２の割り当てが完了すると、基準点Ｐ１およびＰ２の各々から外方に向けて水平に延びる直線Ｌ１およびＬ２と頭部輪郭線Ｅ１とが処理対象画像上に描かれる。ぼかし領域は、描かれた直線Ｌ１，Ｌ２および頭部輪郭線Ｅ１から上方の画像領域とされる。換言すれば、直線Ｌ１，Ｌ２および頭部輪郭線Ｅ１から下方の画像領域は、非ぼかし領域とされる。

ぼかし領域はその後、頭部輪郭の頂点Ｔ１を参照して上部領域Ｒｕｐｒおよび下部領域Ｒｌｗｒに分割され、上部領域Ｒｕｐｒおよび下部領域Ｒｌｗｒについて互いに異なる態様のぼかし処理が実行される。つまり、図６を参照して、上部領域Ｒｕｐｒはぼかし度“１”に従うぼかし処理を施される一方、下部領域Ｒｌｗｒはぼかし度“０”〜“１”に従うぼかし処理を施される。下部領域Ｒｌｗｒのぼかし度は、下から上に向かうにつれて“０”から“１”に線形に増大する。

ＣＰＵ３４は、背景ぼかしモードが選択されたとき、図７〜図８に示す背景ぼかしタスクを実行する。このタスクに対応する制御プログラムは、フラッシュメモリ３８に記憶される。

まずステップＳ１で、処理対象画像が特定されたか否かを判別する。カメラモードでは、シャッタボタン３６ｓの全押しに応答してＳＤＲＡＭ２４に確保された高解像度の画像データが処理対象画像に相当する。また、再生モードでは、所望のファイルから再生された高解像度の画像データが処理対象画像に相当する。ステップＳ１でＹＥＳであれば、ステップＳ３で顔認識処理を実行する。具体的には、人物の目，鼻，口に相当する辞書データを処理対象画像と照合して、人物の顔画像を認識する。顔画像の認識に失敗したときはそのままステップＳ９に進む一方、顔画像の認識に成功したときはステップＳ７で背景ぼかし処理を実行してからステップＳ９に進む。ステップＳ９では処理対象画像が更新されたか否を判別し、判別結果がＮＯからＹＥＳに更新されたときにステップＳ３に戻る。

ステップＳ７の背景ぼかし処理は、図８に示すサブルーチンに従って実行される。まずステップＳ１１で、顔認識処理によって特定された顔画像枠Ｆｆａｃｅを参照して頭部周辺画像枠Ｆｈｅａｄを特定する。ステップＳ１３では、頭部周辺画像枠Ｆｈｅａｄに属する部分画像つまり頭部周辺領域画像をＳＤＲＡＭ２４上のワーク領域２４ｗに複製する。ステップＳ１５では、複製された頭部周辺画像から頭部輪郭を検出する。ステップＳ１７では顔画像枠Ｆｆａｃｅを参照して頭部輪郭上の基準点Ｐ１およびＰ２を特定し、ステップＳ１９では特定された基準点Ｐ１およびＰ２を参照してぼかし領域を特定する。

ステップＳ２１では、頭部輪郭上の頂点Ｔ１を参照して、ぼかし領域を上部領域Ｒｕｐｒおよび下部領域Ｒｌｗｒに分割する。ステップＳ２３では下部領域Ｒｌｗｒに対して段階的ぼかし処理（ぼかし度：０〜１）を実行し、ステップＳ２５では上部領域Ｒｕｐｒに対して均一ぼかし処理（ぼかし度：１）を実行する。ステップＳ２５の処理が完了すると、上階層のルーチンに復帰する。

以上の説明から分かるように、人物の顔画像はＣＰＵ３４によって被写界像から認識される(S3)。ＣＰＵ３４は、人物の背景画像のうち人物の頭部の背景となる部分背景画像を、顔画像の認識結果に基づいて被写界像から特定する(S17, S19)。ぼかし処理は、特定された部分背景画像に対して実行される(S23, S25)。

なお、この実施例では、基準点Ｐ１およびＰ２から外方に水平に延びる直線Ｌ１およびＬ２によってぼかし領域の下端を定義するようにしているが、これに代えて、基準点Ｐ１およびＰ２から斜め下外方に延びる直線Ｌ１´およびＬ２´によってぼかし領域の下端を定義するようにしてもよい（図９参照）。この場合、直線Ｌ１およびＬ２よりも上の領域を上部領域Ｒｕｐｒとする一方、直線Ｌ１およびＬ１´によって挟まれる領域および直線Ｌ２およびＬ２´によって挟まれる領域を下部領域Ｒｌｗｒとする背景ぼかし処理が好ましい。

また、この実施例では、顔画像枠Ｆｆａｃｅを定義する下側の１つの辺から“０．１Ｌ”だけ下方向に離れた位置に基準点Ｐ１およびＰ２の割り当てるようにしている。しかし、頭部輪郭線Ｅ１に外接する楕円Ｃ１（長径：Ｘ）を定義し、楕円Ｃ１の下端から０．１Ｘだけ上方に離れた位置に基準点Ｐ１およびＰ２を割り当てるようにしてもよい。

さらに、この実施例では、記録媒体３２に記録される画像データまたは記録媒体３２から再生された画像データに背景ぼかし処理を施すようにしているが、スルー画像を形成する低解像度の画像データに背景ぼかし処理を施すようにしてもよい。特に、シャッタボタン３６ｓの半押しに応答して背景ぼかし処理を実行するようにすれば、現時点で捉えられている被写界についてどのような記録画像が得られるかを容易に判断することができ、操作性が向上する。また、この実施例では、背景ぼかし処理を施された画像データのみを記録媒体３２に記録するようにしているが、これに加えて背景ぼかし処理の施されていない通常の画像データを記録媒体３２に記録するようにしてもよい。

シャッタボタン３６ｓの半押しに応答して背景ぼかし処理を施し、さらにシャッタボタン３６ｓの全押しに応答して通常の画像データおよび背景ぼかし処理を施された画像データを記録する処理は、図１１に示すフロー図に従って実行される。

図１１を参照して、ステップＳ３１では、スルー画像処理を実行する。この結果、スルー画像がＬＣＤモニタ２８に表示される。ステップＳ３３では、シャッタボタン３６ｓが半押しされたか否かを判別し、ＮＯであればステップＳ３５のスルー画像用ＡＥ処理を繰り返す。シャッタボタン３６ｓが半押しされると、ステップＳ３３でＹＥＳと判断し、ステップＳ３７で記録画像用ＡＥ処理を実行するとともに、ステップＳ３９でぼかしモードタスクを起動する。ぼかしモードタスクが起動した結果、背景ぼかし処理を施されたスルー画像がＬＣＤモニタ２８から出力される。

ステップＳ４１ではシャッタボタン３６ｓが全押しされたか否かを判別し、ステップＳ４３ではシャッタボタン３６ｓの操作が解除されたか否かを判別する。ステップＳ４１でＹＥＳであれば、本露光および全画素読み出しを１回ずつ実行すべきことをステップＳ４５でＴＧ１６に命令する。ステップＳ４７では通常の画像データの記録処理をＩ／Ｆ回路３０に命令し、ステップＳ４９では背景ぼかし処理を施された画像データの記録処理をＩ／Ｆ回路３０に命令する。ステップＳ４９の処理が完了すると、ステップＳ５１でぼかしモードタスクを終了してからステップＳ３３に戻る。ステップＳ４３でＹＥＳであれば、ステップＳ５１の処理を経てステップＳ３３に戻る。

この発明の一実施例の構成を示すブロック図である。図１実施例によって捉えられる被写界像の一例を示す図解図である。顔画像枠と頭部周辺画像枠との関係を示す図解図である。（Ａ）は図２に示す被写界像から抽出された頭部周辺画像の一例を示す図解図であり、（Ｂ）は（Ａ）に示す頭部周辺画像に対する処理の一例を示す図解図である。図２に示す被写界像に割り当てられるぼかし領域および非ぼかし領域の一例を示す図解図である。被写界像の垂直位置に対するぼかし度の変化の一例を示すグラフである。図１実施例に適用されるＣＰＵの動作の一部を示すフロー図である。図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。図２に示す被写界像割り当てられるぼかし領域および非ぼかし領域の他の一例を示す図解図である。図４（Ａ）に示す頭部周辺画像に対する処理の他の一例を示す図解図である。図１実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。

符号の説明

１０ …ディジタルカメラ
１４ …撮像装置
１８ …カメラ処理回路
２４ …ＳＤＲＡＭ
２８ …ＬＣＤモニタ
３４ …ＣＰＵ

Claims

人物と背景を含む撮影画像から頭部輪郭を示す頭部輪郭線を検出する頭部輪郭線検出手段、
前記頭部輪郭線の下端において基準点を特定する基準点特定手段、
前記頭部輪郭線と前記基準点とを参照して前記頭部輪郭線より外側にぼかし領域を特定するぼかし領域特定手段、および
前記ぼかし領域において背景画像にぼかし処理を施すぼかし処理手段を備え、
人物画像と前記ぼかし領域においてぼかし処理した背景画像を含む処理済み画像を作成する、画像処理装置。
前記ぼかし処理手段は前記ぼかし領域におけるぼかし度を上方に向かって増大させる、請求項１記載の画像処理装置。
前記ぼかし領域を上部領域と下部領域とに区画し、前記ぼかし処理手段は、前記上部領域と前記下部領域とにおいて異なる態様のぼかし処理を実行する、請求項２記載の画像処理装置。
前記ぼかし領域特定手段は前記基準点を通る直線によって前記ぼかし領域を特定する、請求項１ないし３のいずれかに記載の画像処理装置。
撮影手段、および
前記撮像手段によって作成された撮影画像をメモリに書き込む書き込み手段をさらに備え、
前記頭部輪郭線検出手段は、前記書き込み手段によって前記メモリに格納された撮影画像から頭部周辺画像を取り出す取出し手段を含み、前記頭部周辺画像において前記頭部輪郭線を検出する、請求項１ないし４のいずれかに記載の画像処理装置。
請求項１ないし５のいずれかに記載の画像処理装置を有する、ディジタルカメラ。
シャッタボタン、撮影手段、およびモニタを有するディジタルカメラであって、
前記シャッタボンの半押しに応答して、人物と背景を含む撮影画像から頭部輪郭を示す頭部輪郭線を検出する頭部輪郭線検出ステップ、前記頭部輪郭線の下端において基準点を特定する基準点特定ステップ、前記頭部輪郭線と前記基準点とを参照して前記頭部輪郭線より外側にぼかし領域を特定するぼかし領域特定ステップ、および前記ぼかし領域において背景画像にぼかし処理を施すぼかし処理ステップを含む、ぼかしモードタスクを起動する起動手段、および
前記起動手段が起動した前記ぼかしモードタスクによって背景ぼかし処理を施されたスルー画像を前記モニタに表示する表示手段を備える、ディジタルカメラ。
前記シャッタボタンの全押しに応答して前記ぼかしモードタスクによって背景ぼかし処理を施された画像データを記録媒体に記録する記録手段をさらに備える、請求項７記載のディジタルカメラ。
画像処理装置のプロセサに、
人物画像と背景画像を含む撮影画像から頭部輪郭を示す頭部輪郭線を検出する頭部輪郭線検出ステップ、
前記頭部輪郭線の下端において基準点を特定する基準点特定ステップ、
前記頭部輪郭線と前記基準点とを参照して前記頭部輪郭線より外側にぼかし領域を特定するぼかし領域特定ステップ、および
前記ぼかし領域において背景画像にぼかし処理を施すぼかし処理ステップを実行させ、
前記人物画像と前記ぼかし領域においてぼかし処理した背景画像を含む処理済み画像を作成する、画像処理プログラム。
人物画像と背景画像を含む撮影画像から頭部輪郭を示す頭部輪郭線を検出する頭部輪郭線検出ステップ、
前記頭部輪郭線の下端において基準点を特定する基準点特定ステップ、
前記頭部輪郭線と前記基準点とを参照して前記頭部輪郭線より外側にぼかし領域を特定するぼかし領域特定ステップ、および
前記ぼかし領域において背景画像にぼかし処理を施すぼかし処理ステップを含み、
前記人物画像と前記ぼかし領域においてぼかし処理した背景画像を含む処理済み画像を作成する、画像処理方法。