JP4686406B2 - 撮像装置およびその制御方法 - Google Patents

Description

この発明は，撮像装置およびその制御方法に関する。

被写体を撮像して得られた被写体像の中から人物像や顔画像を検出する装置がある。このような装置として，被写体像の中に複数の人物像が含まれている場合に，隣接した人物像を区別でき，動画中において同一人物像の形状変化が大きくてもその人物像を検出できるものがある（特許文献１）。
特開2001-175868号公報

しかしながら，動画のように一定周期で被写体が撮像されるようなものにおいて，動画を構成する各一駒の画像から人物像，顔画像などの対象画像を検出する場合には，ある駒の画像において対象画像が検出されないことがある。

この発明は，動画を構成する画像から対象画像が検出されないことを未然に防止することを目的とする。

この発明による撮像装置は，被写体を撮像して被写体像を表す画像データを出力する固体電子撮像装置，上記固体電子撮像装置から出力された画像データによって表される被写体像から，しきい値以上の対象画像らしさをもつ対象画像部分を検出する対象画像検出手段，上記固体電子撮像装置による撮像および上記対象画像検出手段による検出処理をそれぞれ繰り返すように，上記固体電子撮像装置および上記対象画像検出手段を制御する第１の制御手段，ならびに上記第１の制御手段の制御にもとづく撮像の繰り返し中に上記対象画像検出手段における検出処理に用いられるしきい値を変更するしきい値変更手段を備えていることを特徴とする。

この発明は，上記撮像装置に適した制御方法も提供している。すなわち，この方法は，固体電子撮像装置が，被写体を撮像して被写体像を表す画像データを出力し，対象画像検出手段が，上記固体電子撮像装置から出力された画像データによって表される被写体像から，しきい値以上の対象画像らしさをもつ対象画像部分を検出し，制御手段が，上記固体電子撮像装置による撮像および上記対象画像検出手段による検出処理をそれぞれ繰り返すように，上記固体電子撮像装置および上記対象画像検出手段を制御し，しきい値変更手段が，上記制御手段の制御にもとづく撮像の繰り返し中に上記対象画像検出手段における検出処理に用いられるしきい値を変更するものである。

この発明によると，固体電子撮像装置によって被写体が撮像され，被写体像を表す画像データが出力される。出力された画像データによって表される被写体像からしきい値以上の対象画像らしさをもつ対象画像部分が検出される。このような撮像処理および対象画像部分の検出処理が繰り返される。撮像の繰り返し中に，対象画像の検出処理に用いられるしきい値は変更させられる。たとえば，しきい値が下がると対象画像部分が検出される確率が高くなるので，対象画像部分の未検出が未然に防止される。しきい値が上がると検出された対象画像部分がもつ対象画像らしさは高くなるので，誤検出を防ぐことができる。

上記しきい値変更手段は，たとえば，上記対象画像検出手段によって対象画像部分が検出されたことに応じて，低くなるようにしきい値を変更するものである。

また，上記しきい値変更手段は，上記対象画像検出手段によって対象画像部分が検出されなかったことに応じて，しきい値を初期値にリセットするものでもよい。

上記しきい値変更手段によって変更させられたしきい値を一定周期で初期値にリセットするリセット手段をさらに備えることが好ましい。

上記対象画像検出手段によって対象画像部分が検出されたことに応じて，検出された対象画像部分の周辺の領域から対象画像を検出するように上記対象画像検出手段を制御する第２の制御手段をさらに備えてもよい。

図１は，この発明の実施例を示すもので，ディジタル・スチル・カメラの電気的構成を示すブロック図である。

ディジタル・スチル・カメラの全体の動作は，ＣＰＵ10によって統括される。

ディジタル・スチル・カメラには，シャッタ・レリーズ・ボタン，モード設定スイッチなどの各種ボタンを含む操作器16が含まれている。この操作器16から出力される操作信号は，ＣＰＵ10に入力する。ＣＰＵ10には，ディジタル・スチル・カメラの動作プログラムその他必要なデータが記憶されているＲＯＭ14およびデータを一時的に記憶するＲＡＭ15が接続されている。

また，ディジタル・スチル・カメラには，ストロボ撮影のためにストロボ発光装置12が設けられている。このストロボ発光装置12は，ＣＰＵ10によって制御されるストロボ制御回路11によって発光が制御される。

ＣＣＤ５の前方には撮像レンズ１および絞り３が設けられている。ＣＰＵ10によって制御されるレンズ駆動回路２によって，被写体像がＣＣＤ５の受光面上に結像するように，撮像レンズ１の位置が制御される。絞り３は，ＣＰＵ10によって制御される絞り駆動回路４によって適正な露光量となるように絞り値が制御される。

モード設定スイッチによって撮像モードが設定されると，ＣＣＤ５によって被写体が撮像される。ＣＣＤドライバ６によってＣＣＤ５が駆動させられることにより，ＣＣＤ５から被写体像を表す映像信号が出力される。映像信号は，タイミング・ジェネレータ13から与えられるクロック・パルスにもとづいて動作するアナログ／ディジタル変換回路７においてディジタル画像データに変換される。

アナログ／ディジタル変換回路７において変換された画像データは信号処理回路22に入力する。信号処理回路22においてオフセット補正，ゲイン補正，ガンマ補正などの補正が行われる。信号処理回路22から出力された画像データは表示制御回路27に入力する。表示制御回路27によって液晶表示装置29が制御されることにより，液晶表示装置29の表示画面上に被写体像が表示される。また，オン・スクリーン・ディバイス信号発生回路28から出力される信号も液晶表示装置29に与えられる。オン・スクリーン・ディバイス信号発生回路28から出力された信号によって現れるキャラクタ等が液晶表示装置29の表示画面に表示されている被写体像上に重ねられるように表示される。

この実施例のディジタル・スチル・カメラにおいては，被写体像の中から顔の画像部分を検出することができる。被写体像が所定の検出枠によってスキャニングされ，検出枠内の画像の顔画像らしさが顔スコアとして算出される。算出された顔スコアがしきい値以上であれば，そのしきい値以上の顔スコアを与えた画像部分が顔の画像部分とされる。この実施例においては，顔画像部分の検出に用いられるしきい値は固定ではなく変えることができる。ディジタル・スチル・カメラには，このしきい値を算出するためのしきい値算出回路23が設けられている。

アナログ／ディジタル変換回路６から出力された画像データは，顔スコア算出回路８にも入力する。この顔スコア算出回路８において，上述したように，入力した画像データによって表される被写体像が所定の検出枠によってスキャニングされ，検出枠内の画像の顔画像らしさを示す顔スコアが，検出枠のスキャニング位置ごとに算出される。算出されたスコアを表すデータは，しきい値判別回路９に与えられる。このしきい値判別回路９には，上述したしきい値算出回路23により算出されたしきい値を表すデータも入力している。算出された顔スコアがしきい値よりも大きいかどうかを示すデータがＣＰＵ10に入力する。顔スコアがしきい値よりも大きければ，その顔スコアを与える画像部分が顔の画像部分であると判断される。顔の画像部分が適正な明るさとなるように絞り３が駆動され，かつ顔の画像部分が合焦するようにレンズ１が位置決めされる。

シャッタ・レリーズ・ボタンが押されると，上述のようにしてアナログ／ディジタル変換回路６において変換されたディジタル画像データは，顔スコア算出回路８に入力し，被写体像の各部分における顔スコアが算出される。算出されたスコアを表すデータは，しきい値判別回路９に入力し，顔スコアがしきい値以上かどうかが判断される。顔スコアがしきい値以上であれば，その顔スコアを与える画像部分（顔画像部分であると判断される部分）の位置を示すデータがＣＰＵ10に入力する。

さらに，上述のようにアナログ／ディジタル変換回路において変換された画像データは信号処理回路22にも入力する。信号処理回路22においてオフセット補正，ゲイン補正が行われる。これらの補正が信号処理回路22において行われると，画像データはメモリ21に与えられ，一時的に記憶される。メモリ21に記憶された画像データは，ＣＰＵ10の制御により読み出され，読み出されながら補間処理が行われる。補間された画像データは，再びメモリ21に与えられ，記憶される。

補間された画像データがメモリ21から読み取られ，圧縮伸長回路24に入力する。圧縮伸長回路24において補間された画像データが圧縮される。圧縮された画像データがカード・インターフェイス25を介してメモリ・カード26に与えられ，記録される。

モード設定スイッチによって再生モードが設定されると，メモリ・カード26に記録されている圧縮された画像データがカード・インターフェイス25を介して読み取られる。読み取られた画像データか圧縮伸長回路24において伸長される。伸長された画像データが表示制御回路27に与えられることにより，メモリ・カード26に記録されている画像データによって表される画像が表示装置29の表示画面上に表示される。

図２は，動画用撮像の処理手順を示すフローチャートである。

動画用撮像とは，動画記録が可能なディジタル・カメラにおいて動画記録のために繰り返して被写体を撮像する場合，ディジタル・スチル・カメラにおける撮像モードが設定されることにより被写体のアングルを決定するために被写体を繰り返して撮像（いわゆるスルー画の撮像）する場合などのことである。

上述のようにしきい値が算出される（ステップ31）。このしきい値の算出は，過去の経験によって適切な値に定められるであろう。被写体が撮像され，被写体像を表す画像データが得られる（ステップ32）。上述したように，画像データによって表される被写体像が検出枠によってスキャニングされ（ステップ33），検出枠の各位置での顔スコアが算出される（ステップ34）。

算出された顔スコアがしきい値以上であれば（ステップ35でＹＥＳ），その顔スコアを与えた画像部分は，顔画像部分と考えられるので，検出結果（顔スコア，顔画像部分と判断された位置など）が記憶される（ステップ36）。検出結果にもとづいて，たとえば，顔画像部分を表す枠が被写体像上に表示される。

撮像終了指令が与えられなければ（ステップ37でＮＯ），しきい値を再算出するタイミングとなったかどうかが判断される（ステップ38）。しきい値を再算出するタイミングでなければしきい値の再算出は行われずに（ステップ38でＮＯ），再びステップ32から37までの処理が繰り返される。しきい値を再算出するタイミングとなると（ステップ38でＹＥＳ），しきい値が再び算出される（ステップ31）。算出された新たなしきい値を用いて顔画像部分の検出処理が行われる。

撮像した状況に応じてしきい値を変えることができる。

図３から図９は，他の実施例を示すものである。

この実施例では，被写体が繰り返して撮像されてあるフレームの被写体像からしきい値より大きな顔スコアをもつ画像部分が見つかると，しきい値を下げるものである。しきい値が下がるので，他のフレームにおいて顔画像部分が未検出となってしまうことを未然に防止できる。

まず，従来のようにしきい値を固定にした場合について説明する。

図３は，繰り返して撮像される被写体像の各フレーム（横軸）と，その各フレームにおいて算出された顔スコア（縦軸）との関係を示している。被写体像の中には一つの顔画像だけが含まれているものとする。

しきい値Ｔｈ０は，固定であり，ｎフレームまでは，顔スコアは，しきい値Ｔｈ０を超えている。

図４は，ｎフレーム目に撮像された被写体像の一例である。

ｎフレーム目の被写体像においては，人物像41が含まれており，この人物像41の顔画像部分ｉ51の顔スコアが上述したしきい値を超えることとなる。このために，顔画像部分ｉ51を囲む枠Ｆ51が表示されるようになる。

図３に戻って，（ｎ＋１）フレームとなると，顔スコアがしきい値Ｔｈ０未満となる。

図５は，（ｎ＋１）フレーム目に撮像された被写体像の一例である。

被写体像には人物像41が含まれているが，何らかの理由により，しきい値Ｔｈ０を超える顔スコアが得られなくなり，顔画像部分が検出されなくなる。

再び図３に戻って，（ｎ＋１）フレーム目の被写体像においては顔画像部分が検出されないので，顔画像部分の明るさが適正となるように自動露光制御および顔画像部分が合焦するように自動合焦制御が行われていた場合に誤作動を生じることとなる。その後，顔スコアがしきい値Ｔｈ０を超えるようになるとｐフレームが撮像されるタイミングでシャッタ・ボタンが押されたとし，そのｐフレームの被写体像において得られた顔スコアがしきい値Ｔｈ０を超えていないと，シャッタ・ボタンが押されたタイミングで得られた被写体像に含まれている顔画像部分に合わせた自動露光制御および自動合焦制御が実現できなくなる。

図６は，この実施例でのフレームと顔スコアとの関係を示している。

０フレーム目の被写体像においてしきい値（初期値）Ｔｈ１を超える顔スコアが得られると，次の１フレーム目にいてはしきい値が下げられる（しきい値Ｔｈ２）。

図７は，ｎフレーム目の被写体像の一例である。

ｎフレーム目の被写体像においては人物像41が含まれており，下げられたしきい値を用いて顔画像の検出処理が行われているので，顔画像ｉ51が検出される。顔画像ｉ51が枠Ｆ51で囲まれる。

図６に戻って，（ｎ＋１）フレーム目を撮像するときも，下げられたしきい値を用いて顔画像の検出処理が行われているので，被写体像の中から顔画像が検出される。

図７は，（ｎ＋１）フレーム目の被写体像の一例である。

被写体像には，人物像41が含まれている。上述したようにしきい値が下げられているために人物像41の顔画像部分ｉ61が検出され，この顔画像部分ｉ61を囲む枠Ｆ61が表示される。

再び図６に戻って，ｍフレーム目が撮像されるタイミングでしきい値Ｔｈ１は，初期値であるしきい値Ｔｈ２に戻される。ｍフレーム目の被写体像においても顔画像が検出されることにより，しきい値はしきい値Ｔｈ２から初期値Ｔｈ１に戻される。

ｐフレームが撮像されるタイミングでシャッタ・ボタンが押されてもしきい値は下げられているので，顔画像部分が検出され，顔画像部分に合わせた自動露光制御および自動合焦制御を実現できるようになる。

図９は，動画用撮像処理手順を示すフローチャートである。

この図において，図２に示す処理と同じ処理ついては同一符号を付して説明を省略する。

まず，顔スコアのしきい値が初期値Ｔｈ１に設定される（ステップ71）。その後，被写体が撮像され顔スコアが算出される（ステップ32〜35）。

しきい値を超える顔スコアがあると（ステップ35でＹＥＳ），検出結果が記憶され（ステップ36）。しきい値が初期値よりも低く設定される（ステップ72）。撮像終了指令が与えられなければ（ステップ37でＮＯ），再び被写体が撮像され顔スコアと下げられたしきい値とが比較される。上述したように，しきい値は低くなるので，存在すべき顔画像部分が未検出となってしまうことを未然に防止できる。しきい値が下げられた後に，下げられたしきい値より大きな顔スコアが検出された場合には，あらためてしきい値を初期値より低く設定されているが，改めて設定し直す必要は必ずしもないのはいうまでもない。一度しきい値が下げられた場合には，ステップ72の処理はスキップされるようにしてもよい。もっとも，低くされたしきい値をさらに少し低くしてもよいのはいうまでもない。

しきい値を超える顔スコアが無ければ（ステップ35でＮＯ），しきい値は初期値に戻される（ステップ73）。

図10は，動画用撮像処理手順を示すフローチャートである。この図において，図９に示す処理と同一の処理ついては同一符号を付して説明を省略する。

この処理においては，一定周期でしきい値が初期値にリセットされるものである。

最初に，リセット変数Ｎが０にセットされる（ステップ81）。この実施例においては，リセット変数ＮがＭ（ＭはＮを除く２以上の整数である）で割られたときの余りが０となるとしきい値が初期値に戻される。このために，リセット変数ＮがＭで割られたときの余りが０かどうかが確認される（ステップ82）。０となると（ステップ82でＹＥＳ），しきい値が初期値に戻される（ステップ83）。

その後，被写体が撮像され顔画像部分の検出処理が行われる（ステップ32〜73）。顔画像の検出処理が終了すると，リセット変数Ｎはインクレメントされる（ステップ84）。

一定周期でしきい値が初期値に戻されるので，しきい値が下げられたことにより顔画像部分でないものを顔画像部分であると誤判定しても，その誤判定を途中で止めることができる。

図11から図13は，さらに他の実施例を示すものである。

この実施例は，顔画像部分が検出されると，顔画像部分を検出すべき対象画像領域を検出された顔画像部分近傍に設定するものである。

図11および図12は，撮像された被写体像の一例である。

図11を参照して，顔画像部分を検出すべき対象画像領域91は，初期領域では，被写体像90のほぼ全体である。この対象画像領域91内に存在する顔画像部分92が検出される。

図12を参照して，顔画像部分が検出されると，顔画像部分を検出すべき対象画像領域は，被写体像95のほぼ全体の領域ではなく，検出された顔画像部分92の近傍の領域96とされる。顔画像部分が検出されていない領域は対象画像領域から除かれるので，顔画像部分でない部分を顔画像であると判断してしまうことを未然に防止できる。また，検出処理に要する時間も短縮できる。

図13は，動画用撮像処理手順のフローチャートである。この図において図10に示す処理と同じ処理については同一符号を付して説明を省略する。

リセット変数ＮをＭで割ったときの余りが０となると，しきい値が初期値に設定されるとともに検出対象領域が被写体像のほぼ全体に対応する初期領域に設定される（ステップ83Ａ）。顔検出処理が行われ，しきい値を超える顔スコアが得られると（ステップ35でＹＥＳ），しきい値が初期値より低くされ（ステップ72），かつ検出対象領域が顔画像の周辺領域に設定されることとなる（ステップ85）。

ディジタル・スチル・カメラの電気的構成を示すブロック図である。 動画用撮像処理手順を示すフローチャートである。 撮像された被写体像のフレームと顔スコアとの関係を示している。 被写体像の一例である。 被写体像の一例である。 撮像された被写体像のフレームと顔スコアとの関係を示している。 被写体像の一例である。 被写体像の一例である。 動画用撮像処理手順を示すフローチャートである。 動画用撮像処理手順を示すフローチャートである。 被写体像と検出対象領域との関係を示している。 被写体像と検出対象領域との関係を示している。 動画用撮像処理手順を示すフローチャートである。

符号の説明

５ ＣＣＤ
８ 顔スコア算出回路
９ しきい値判別処理回路
10 ＣＰＵ
23 しきい値算出回路

Claims (5)

1. 被写体を撮像して被写体像を表す画像データを出力する固体電子撮像装置，
   上記固体電子撮像装置から出力された画像データによって表される被写体像から，しきい値以上の対象画像らしさをもつ対象画像部分を検出する対象画像検出手段，
   上記固体電子撮像装置による撮像および上記対象画像検出手段による検出処理をそれぞれ繰り返すように，上記固体電子撮像装置および上記対象画像検出手段を制御する第１の制御手段，ならびに
   上記第１の制御手段の制御にもとづく撮像の繰り返し中に上記対象画像検出手段における検出処理に用いられるしきい値を変更するしきい値変更手段，
   を備え，
   上記しきい値変更手段は，
   上記対象画像検出手段によって対象画像部分が検出されたことに応じて，低くなるようにしきい値を変更するものである，
   撮像装置。
2. 上記しきい値変更手段は，
   上記対象画像検出手段によって対象画像部分が検出されなかったことに応じて，しきい値を初期値にリセットするものである，
   請求項１に記載の撮像装置。
3. 上記しきい値変更手段によって変更させられたしきい値を一定周期で初期値にリセットするリセット手段をさらに備えた請求項１に記載の撮像装置。
4. 上記対象画像検出手段によって対象画像部分が検出されたことに応じて，検出された対象画像部分の周辺の領域から対象画像を検出するように上記対象画像検出手段を制御する第２の制御手段をさらに備えた請求項１に記載の撮像装置。
5. 固体電子撮像装置が，被写体を撮像して被写体像を表す画像データを出力し，
   対象画像検出手段が，上記固体電子撮像装置から出力された画像データによって表される被写体像から，しきい値以上の対象画像らしさをもつ対象画像部分を検出し，
   制御手段が，上記固体電子撮像装置による撮像および上記対象画像検出手段による検出処理をそれぞれ繰り返すように，上記固体電子撮像装置および上記対象画像検出手段を制御し，
   しきい値変更手段が，上記制御手段の制御にもとづく撮像の繰り返し中に上記対象画像検出手段における検出処理に用いられるしきい値を変更する，
   撮像装置の制御方法であって，
   上記しきい値変更手段は，
   上記対象画像検出手段によって対象画像部分が検出されたことに応じて，低くなるようにしきい値を変更する，
   撮像装置の制御方法。

Images