JP5173915B2 - 画像処理装置及び撮像装置 - Google Patents

Description

本発明は、入力される画像を処理する画像処理装置や、この画像処理装置を備えた撮像装置に関する。

近年、デジタル方式の画像を撮像して記録する撮像装置や、画像を再生する再生装置が広く普及している。これらの電子機器には、順次入力される画像の中から所定の被写体（以下、追尾物体とする）を検出する追尾処理を行うものがある。当該検出結果は、撮像して記録する画像や再生する画像の処理に利用したり、焦点や露出などの撮像時の各種パラメータの制御などに利用したりすることができる。

しかしながら、時々刻々と変化する入力画像中から、精度を良好に保ったまま継続して追尾物体を検出することは困難なものとなる。

そこで、特許文献１では、追尾物体が有する複数の色を認識するとともに、それぞれの色の部位の位置関係なども合わせて把握し、これらを総合して追尾物体の検出を行うこととしている。この方法によって追尾物体を検出すると、精度良く追尾物体を検出することが可能となる。

特開平９−３２２１７８号公報

しかしながら、上記の追尾物体の検出方法では、一度に多数の情報を処理する必要がある。そのため、処理が煩雑になり処理時間が増大したり、消費電力が増大したりすることが問題となる。また、追尾物体を検出するための部位が物体などに遮られるなどした場合、検出が困難になることも問題となる。

そこで本発明は、演算量の増大化を抑制するとともに継続して精度良く追尾物体を検出することを可能とする画像処理装置や、この画像処理装置を備える撮像装置を提供することを目的とする。

上記目的を達成するために本発明の画像処理装置は、入力画像から追尾物体を検出する追尾処理部を備える画像処理装置において、前記追尾処理部が、前記追尾物体を示す信号値である追尾値を設定する追尾値設定部と、前記追尾物体を示すとともに前記追尾値とは異なる信号値である予備追尾値を設定する予備追尾値設定部と、前記入力画像から前記追尾値を有する画素を検出する追尾対象検出部と、を備え、前記追尾値設定部が、設定されている前記追尾値に替えて前記予備追尾値を新たな追尾値として設定し直す切替動作を実行可能とすることを特徴とする

また、上記構成の画像処理装置において、前記入力画像中に探索領域を設定する探索領域設定部と、前記探索領域内の画素の信号値の度数分布を求める画像解析部と、をさらに備え、前記予備追尾値設定部が、前記度数分布に基づいて前記予備追尾値を設定し、前記追尾値設定部が、前記度数分布に基づいて前記追尾値及び前記予備追尾値の適否を判定するものであり、設定されている前記追尾値が不適正なものであると判定する場合に前記切替動作を実行し、前記追尾対象検出部が、前記探索領域内の画像から前記追尾値を有する画素を検出することとしても構わない。

このように構成すると、設定されている追尾値による検出精度が劣化する場合に、切替動作を行うことが可能となる。そのため、効率よく切替動作を行い、検出精度の改善を図ることが可能となる。また、入力画像の探索領域に限って追尾物体の検出や予備追尾値の設定を行うため、演算量を低減したり、追尾物体を示す信号値が予備追尾値として設定される可能性を向上させたりすることが可能となる。

また、上記構成の画像処理装置において、前記探索領域設定部が、前記入力画像に対する前記追尾対象検出部の検出結果に基づいて、当該入力画像の次に入力される入力画像に設定する前記探索領域の位置を決定しても構わない。

また、前記追尾値の度数が前記度数分布中で最大のものではなく、前記予備追尾値の度数がその周囲の他の信号値の度数よりも大きい場合に、前記追尾値設定部が、前記追尾値が不適正であると判定しても構わない。また、前記予備追尾値の度数が前記度数分布中で最大となる場合に、前記追尾値設定部が、前記追尾値が不適正であると判定しても構わない。

また、上記構成の画像処理装置において、前記予備値設定部が、前記度数分布中の度数が大きい信号値ほど優先して前記予備追尾値に設定することとしても構わない。

このように構成すると、度数が大きく検出し易い信号値を優先的に予備追尾値として設定することが可能となる。なお、上記のように設定されている追尾値と予備追尾値とは異なる信号値となるため、度数が大きくても追尾値と略等しい信号値は、予備追尾値の候補から除外される。

また、上記構成の画像処理装置において、前記入力画像が前記追尾処理部に順次入力されるとともに、前記画像解析部が前記度数分布を順次出力し、前記予備追尾値設定部が、順次出力される前記度数分布について所定の回数以上連続して所定の閾値を超える度数を有している信号値を、前記予備追尾値として設定することとしても構わない。

このように構成すると、追尾物体が含まれる探索領域内の信号値の中でも、継続して検出される度数が大きい信号値を、予備追尾値として設定することが可能となる。したがって、追尾物体を示す信号値である可能性が高く精度良く検出することができる信号値を、予備追尾値として設定することが可能となる。なお、所定の回数を大きくすることで、予備追尾値が追尾物体を示す信号値となる可能性を高めることが可能となる。一方、所定の回数を小さくすることで、迅速に予備追尾値を設定して、切替動作が必要となる場合に予備追尾値が設定されていない状態が生じることを抑制することが可能となる。

また、上記構成の画像処理装置において、前記予備追尾値設定部が、前記入力画像の背景を示す信号値を除外して、前記予備追尾値を設定することとしても構わない。

このように構成すると、度数分布中で背景を示す信号値の度数が大きくなる場合に、当該信号値を除外して予備追尾値を設定することが可能となる。そのため、追尾物体を示す信号値が予備追尾値として設定される可能性を高めることが可能となる。なお、前記画像解析部が、前記探索領域とは異なる領域である背景領域内の画素の信号値の度数分布を出力し、前記予備追尾値設定部が、当該度数分布に基づいて前記背景を示す信号値を特定することとしても構わない。

また、上記構成の画像処理装置において、前記画像解析部が、ある種類の信号値に基づいて第１の度数分布を求めるとともに他の種類の信号値に基づいて第２の度数分布を求め、前記追尾値設定部が設定している前記追尾値が前記ある種類の信号値であるとき、前記予備追尾値設定部が前記第２の度数分布に基づいて前記他の種類の信号値となる前記予備追尾値を設定することとしても構わない。また、前記追尾値設定部が、前記第１の度数分布に基づいて前記追尾値の適否を判定しても構わないし、さらに、前記第２の度数分布に基づいて前記予備追尾値の適否をも判定することで、前記追尾値の適否を判定しても構わない。

このように構成すると、追尾値及び予備追尾値として設定される信号値の種類を異ならせることが可能となる。即ち、切替動作の前後において、追尾対象検出部が検出する信号値の種類を異ならせることが可能となる。そのため、様々な撮像環境下において撮像される入力画像に対しても、精度良く追尾物体の検出を行うことが可能となる。

また、本発明の撮像装置は、撮像により前記入力画像を生成する撮像部と、上記の画像処理装置と、を備え、前記追尾処理部による前記追尾物体の検出結果に基づいた制御が行われることを特徴とする。

なお、追尾物体の検出結果に基づいた制御として、例えば、撮像部の焦点や絞りなどの各種設定の制御を行っても構わないし、入力画像に対する画像処理の制御を行っても構わない。

本発明によると、追尾物体を検出するための追尾値を、予備追尾値に切り替えることが可能となる。そのため、切替前の追尾値による検出精度が悪かったとしても、予備追尾値による検出精度が良いものであれば、継続して精度良く追尾物体を検出することが可能となる。また、追尾値と予備追尾値とを同時に用いることなく、切り替えて用いることとしているため、追尾物体の検出に要する演算量を低減することが可能となる。

は、本発明の実施形態における撮像装置の構成を示すブロック図である。 は、本発明の実施形態における撮像装置に備えられる追尾処理部の構成を示すブロック図である。 は、本発明の実施形態における撮像装置に備えられる追尾処理部の動作を示すフローチャートである。 は、入力画像及び画像解析結果の一例を示す図である。 は、予備追尾値の設定方法の一例を示すフローチャートである。 は、追尾値が適正である場合の入力画像及び画像解析結果の一例を示す図である。 は、追尾値が不適正である場合の入力画像及び画像解析結果の一例を示す図である。 は、図７に示す入力画像の次のフレームの入力画像の一例と、当該入力画像から得られる画像解析結果の一例とを示す図である。 は、第１変形例について説明する入力画像及び画像解析結果の一例を示す図である。 は、第２変形例について説明する入力画像及び画像解析結果の一例を示す図である。

本発明の実施形態について、以下に図面を参照して説明する。最初に、本発明における撮像装置の一例について説明する。なお、以下に説明する撮像装置は、デジタルカメラなどの音声、動画及び静止画の記録が可能なものである。

＜＜撮像装置＞＞
まず、撮像装置の構成について、図１を参照して説明する。図１は、本発明の実施形態における撮像装置の構成を示すブロック図である。

図１に示すように、撮像装置１は、入射される光学像を電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子から成るイメージセンサ２と、被写体の光学像をイメージセンサ２に結像させるとともに光量などの調整を行うレンズ部３と、を備える。レンズ部３とイメージセンサ２とで撮像部が構成され、この撮像部によって画像信号が生成される。なお、レンズ部３は、ズームレンズやフォーカスレンズなどの各種レンズ（不図示）や、イメージセンサ２に入力される光量を調整する絞り（不図示）などを備える。

さらに、撮像装置１は、イメージセンサ２から出力されるアナログ信号である画像信号をデジタル信号に変換するとともにゲインの調整を行うＡＦＥ（Analog Front End）４と、入力される音声を電気信号に変換する集音部５と、ＡＦＥ４から出力されるＲ（赤）Ｇ（緑）Ｂ（青）のデジタル信号となる画像信号をＹ（輝度信号）Ｕ，Ｖ（色差信号）を用いた信号に変換するとともに画像信号に各種画像処理を施す画像処理部６と、集音部５から出力されるアナログ信号である音声信号をデジタル信号に変換する音声処理部７と、画像処理部６から出力される画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式などの静止画用の圧縮符号化処理を施したり画像処理部６から出力される画像信号と音声処理部７からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用の圧縮符号化処理を施したりする圧縮処理部８と、圧縮処理部８で圧縮符号化された圧縮符号化信号を記録する外部メモリ１０と、画像信号を外部メモリ１０に記録したり読み出したりするドライバ部９と、ドライバ部９において外部メモリ１０から読み出した圧縮符号化信号を伸長して復号する伸長処理部１１と、を備える。また、画像処理部６は、入力される画像信号から追尾物体を検出する追尾処理を行う追尾処理部６０を備える。なお、追尾処理部６０の構成の詳細については後述する。

また、撮像装置１は、伸長処理部１１で復号された画像信号をディスプレイなどの表示装置（不図示）で表示可能な形式の信号に変換する画像出力回路部１２と、伸長処理部１１で復号された音声信号をスピーカなどの再生装置（不図示）で再生可能な形式の信号に変換する音声出力回路部１３と、を備える。

また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１４と、各処理を行うための各プログラムを記憶するとともにプログラム実行時の信号の一時保管を行うメモリ１５と、撮像を開始するボタンや各種設定の決定を行うボタンなどのユーザからの指示が入力される操作部１６と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１７と、ＣＰＵ１４と各部との間で信号のやりとりを行うためのバス回線１８と、メモリ１５と各部との間で信号のやりとりを行うためのバス回線１９と、を備える。

なお、外部メモリ１０は画像信号や音声信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１０として使用することができる。また、外部メモリ１０を撮像装置１から着脱自在としても構わない。

次に、撮像装置１の基本動作について図１を参照して説明する。まず、撮像装置１は、レンズ部３より入射される光をイメージセンサ２において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ２は、ＴＧ部１７から入力されるタイミング制御信号に同期して、所定のフレーム周期（例えば、１／３０秒）で順次ＡＦＥ４に画像信号を出力する。そして、ＡＦＥ４によってアナログ信号からデジタル信号へと変換された画像信号は、画像処理部６に入力される。画像処理部６では、画像信号がＹＵＶを用いた信号に変換されるとともに、階調補正や輪郭強調等の各種画像処理が施される。また、メモリ１５はフレームメモリとして動作し、画像処理部６が処理を行なう際に画像信号を一時的に保持する。

また、このとき画像処理部６に入力される画像信号に基づき、レンズ部３において、各種レンズの位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。このフォーカスや露出などの各種調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。また、追尾処理部６０は、画像処理部６に入力される画像信号に対して追尾処理を行う。なお、追尾処理部６０の動作の詳細については後述する。

動画を記録する場合であれば、画像信号だけでなく音声信号も記録される。集音部５において電気信号に変換されて出力される音声信号は音声処理部７に入力されてデジタル化されるとともにノイズ除去などの処理が施される。そして、画像処理部６から出力される画像信号と、音声処理部７から出力される音声信号と、はともに圧縮処理部８に入力され、圧縮処理部８において所定の圧縮方式で圧縮される。このとき、画像信号と音声信号とは時間的に関連付けられており、再生時に画像と音とがずれないように構成される。そして、圧縮された画像信号及び音声信号はドライバ部９を介して外部メモリ１０に記録される。

一方、静止画や音声のみを記録する場合であれば、画像信号または音声信号が圧縮処理部８において所定の圧縮方法で圧縮され、外部メモリ１０に記録される。なお、動画を記録する場合と静止画を記録する場合とで、画像処理部６において行われる処理を異なるものとしても構わない。

外部メモリ１０に記録された圧縮後の画像信号及び音声信号は、ユーザの指示に基づいて伸長処理部１１に読み出される。伸長処理部１１では、圧縮された画像信号及び音声信号を伸長し、画像信号を画像出力回路部１２、音声信号を音声出力回路部１３にそれぞれ出力する。そして、画像出力回路部１２や音声出力回路部１３において、表示装置やスピーカで表示または再生可能な形式の信号に変換されて出力される。

なお、表示装置やスピーカは、撮像装置１と一体となっているものでも構わないし、別体となっており、撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものでも構わない。

また、画像信号の記録を行わずに表示装置などに表示される画像をユーザが確認する、いわゆるプレビューモードである場合に、画像処理部６から出力される画像信号を圧縮せずに画像出力回路部１２に出力することとしても構わない。また、記録する画像が動画像であるか静止画像であるかを問わず、プレビューモードである場合に、追尾処理部６０が追尾処理を行うこととしても構わない。

また、動画の画像信号を記録する際に、圧縮処理部８で圧縮して外部メモリ１０に記録するのと並行して、画像出力回路部１２を介して表示装置などに画像信号を出力することとしても構わない。

＜＜追尾処理部＞＞
次に、図１に示した追尾処理部６０の構成について図面を参照して説明する。図２は、本発明の実施形態における撮像装置に備えられる追尾処理部の構成を示すブロック図である。なお、以下では説明の具体化のために、追尾処理部６０に入力されて追尾処理が行われる画像信号を画像として表現するとともに、「入力画像」と呼ぶこととする。また、追尾すべき被写体を追尾物体と呼び、追尾物体の一部分であり追尾処理部６０によって検出が行われる特徴部分を追尾対象と呼ぶこととする。

追尾処理部６０は、入力画像に探索領域を設定して探索領域情報を生成し出力する探索領域設定部６１と、入力画像の探索領域情報が示す探索領域中の画像を解析して画像解析情報を生成し出力する画像解析部６２と、必要に応じて画像解析情報に基づき予備追尾値を設定して予備追尾値情報を生成し出力する予備追尾値設定部６３と、予備追尾値情報と画像解析情報とに基づいて追尾値を設定して追尾値情報を生成し出力する追尾値設定部６４と、入力画像の探索領域情報が示す探索領域中の画像から追尾値情報が示す追尾値となる部分を検出することで追尾対象を検出して追尾対象情報を生成し出力する追尾対象検出部６５と、を備える。

外部から入力される追尾対象指定情報や、追尾対象検出部６５から出力される追尾対象情報は、探索領域設定部６１に入力され、探索領域の設定に利用される。また、追尾値設定部６４は、画像解析情報に基づいて設定した追尾値と予備追尾値情報が示す予備追尾値とを自機やメモリ１５などに保持し、画像解析情報に応じて追尾値の切り替えを行う。

また、追尾対象検出部６５から出力される追尾対象情報は、入力画像中の追尾対象の位置（即ち、追尾物体の位置）を示すものとなる。撮像装置１は、この追尾対象情報に基づいて種々の処理を行う。例えば、焦点や露出などの撮像部の設定制御や、入力画像の画像処理などを行う。

また、追尾処理部６０の動作について図面を参照して説明する。図３は、本発明の実施形態における撮像装置に備えられる追尾処理部の動作を示すフローチャートである。

図３に示すように、追尾処理部６０は、最初に入力画像の取得を行い（ＳＴＥＰ１）、追尾対象の指定を行う（ＳＴＥＰ２）。なお、ＳＴＥＰ１の入力画像の取得を、ＳＴＥＰ２で追尾対象が指定されるまで繰り返し行われることとし、最新の入力画像から追尾対象が指定されるようにしても構わない。

ＳＴＥＰ２の追尾対象の指定は、例えば、撮像装置１に備えられる表示装置などに表示される入力画像を確認したユーザが直接的に指定することによって行われるものであっても構わないし、プログラムなどによって自動的に指定されることによって行われるものであっても構わない。また、プログラムなどによって指定された複数の追尾対象候補からユーザが選択することによって行われるものであっても構わない。

ユーザが追尾対象を指定する場合、例えば、カーソルキーやタッチパネルなどから成る操作部１６をユーザが操作することによって、追尾対象を指定することとしても構わない。また、プログラムによって追尾対象やその候補を指定する場合、例えば、入力画像に対して不特定の顔を検出する顔検出処理や特定の顔を検出する顔認識処理を行い、検出された顔を有する追尾物体の一部（例えば、検出した顔の眉間から口に向かう方向に存在する領域である胴体領域）を、追尾対象やその候補として指定することとしても構わない。顔検出や顔認識の方法として、周知の種々の技術を適用することが可能である。例えば、Adaboost（Yoav Freund, Robert E. Schapire,"A decision-theoretic generalization of on-line learning and an application to boosting", European Conference on Computational Learning Theory, September 20，1995．）を利用して大量の教師サンプル（顔及び非顔のサンプル画像）から作成した重みテーブルと、入力画像と、を比較することで顔検出や顔認識を行うこととしても構わない。

上述のような方法で指定された追尾対象の情報は、追尾対象指定情報として探索領域設定部６１に入力される。探索領域設定部６１は、追尾対象指定情報によって指定される追尾対象の周囲に探索領域を設定する（ＳＴＥＰ３）。例えば、追尾対象を中心とした所定の大きさの領域を、探索領域として設定する。なお、追尾対象指定情報が、追尾対象の位置（例えば重心位置）と、追尾対象の大きさの情報とを含むものとしても構わない。さらに、探索領域を、追尾対象の大きさに応じた大きさ（例えば、追尾対象が十分に包含され得る大きさ）であり、追尾対象の重心位置を中心とした領域としても構わない。また、探索領域の形状はどのようなものであっても構わない。例えば、後述するような矩形状としても構わないし、正円や楕円などの円形状としても構わない。

ＳＴＥＰ３で設定された探索領域は、探索領域設定部６１から探索領域情報として出力される。そして、画像解析部６２が、探索領域情報が示す探索領域内の画像について解析を行う（ＳＴＥＰ４）。例えば、探索領域に含まれる画素の信号値（追尾値と同じ種類の値）をヒストグラム化することで、解析を行う。このヒストグラム（度数分布）を用いた画像解析結果の一例を、図４を参照して説明する。図４は、入力画像及び画像解析結果の一例を示す図である。図４（ａ）は、探索領域が設定された入力画像の一例を示す図であり、図４（ｂ）は、図４（ａ）の探索領域内の画像から得られる信号値のヒストグラムである。

追尾値及び信号値は、どのような種類の値（例えば、ＲＧＢの各値や輝度値、Ｈ（色相）Ｓ（彩度）Ｖ（明度）で表される信号のＨの値）を用いても構わないが、以下では説明の具体化のため、色相値（以下、単に色とも呼ぶ）を用いる場合を例に挙げて説明する。また、以下の説明では色相値を角度などの値ではなく、単純な色の種類（例えば、黄色、緑色、青色など）を用いて簡易的に表現するものとする。

図４（ａ）に示す入力画像４０では、追尾物体である人物Ａ１のズボンの周辺部分が追尾対象として指定され、当該部分に矩形状の探索領域４１が設定されている。また、人物Ａ１のズボンの色は黄色Ｙｅ、上着の色は緑色Ｇである。さらに、入力画像４０には人物Ａ２も含まれており、人物Ａ２の上着及びズボンの色はともに青色Ｂである。このとき、探索領域内４１内の各画素の色のヒストグラムが、図４（ｂ）に示すようになる。具体的には、黄色Ｙｅを示す画素が最も多く、緑色Ｇを示す画素が次に多いことを示すヒストグラムが得られる。画像解析部６２は、このようなヒストグラムの情報を生成し、画像解析情報として出力する。

追尾値設定部６４は、画像解析情報が示すヒストグラムに基づいて追尾値を設定する（ＳＴＥＰ５）。追尾値設定部６４は、例えばヒストグラム中で最も度数が多い色（図４（ｂ）では黄色Ｙｅ）を追尾値として設定する。なお、ユーザにより直接指示された色を追尾値として設定しても構わない。また、設定された追尾値は、追尾値設定部６４やメモリ１５などに保持される。

ＳＴＥＰ５において追尾値が設定されると、次のフレームの入力画像の取得が行われる（ＳＴＥＰ６）。そして、探索領域設定部６１が、ＳＴＥＰ３と同様に取得した入力画像に対して探索領域を設定する（ＳＴＥＰ７）。例えば、直前の入力画像で指定または検出された追尾対象の位置や大きさに基づいて、探索領域が設定される。そして、画像解析部６２が、ＳＴＥＰ４と同様に入力画像の探索領域内の画像に対して解析を行い、画像解析情報を出力する（ＳＴＥＰ８）。

ここで、予備追尾値が設定されていなければ（ＳＴＥＰ９、ＮＯ）、予備追尾値設定部６３が画像解析情報に基づいて予備追尾値の設定を行う（ＳＴＥＰ１０）。そして、追尾値設定部６４が、現状で設定している追尾値（例えば黄色Ｙｅ）を追尾値情報として追尾対象検出部６５に出力する。追尾対象検出部６５は、入力画像の探索領域中から追尾値を有する画素を検出することで、追尾対象の検出を行う（ＳＴＥＰ１３）。

ＳＴＥＰ１０の予備追尾値の設定方法の一例について、図面を参照して説明する。図５は、予備追尾値の設定方法の一例を示すフローチャートである。図５に示すように、最初に予備追尾値設定部６３が、例えば図４（ｂ）に示すようなヒストグラムに基づいて、候補値の有無を確認する（ＳＴＥＰ１０１）。候補値は、例えば現状で設定されている追尾値（黄色Ｙｅ）を除いて最も度数が大きい信号値や、所定の閾値よりも度数が大きい信号値である。図４（ｂ）に示す例では、緑色Ｇが候補値に該当する。候補値が無ければ（ＳＴＥＰ１０１、ＮＯ）、予備追尾値を設定せずに終了する。一方、候補値があれば（ＳＴＥＰ１０１、ＹＥＳ）、当該候補値がｎ回連続して確認されているか否かを確認する（ＳＴＥＰ１０２）。ｎ回連続で確認されていなければ（ＳＴＥＰ１０２、ＮＯ）、予備追尾値を設定せずに終了する。ｎ回連続で確認されていれば（ＳＴＥＰ１０２、ＹＥＳ）、当該候補値を予備追尾値として設定し（ＳＴＥＰ１０３）、予備追尾値情報を追尾設定部６４に出力して終了する。なお、図５は一つの入力画像に対する処理を示したものであり、ＳＴＥＰ１０３で予備追尾値が設定されるまで、図５の動作は繰り返し行われることとする。また、ｎは自然数である。

一方、予備追尾値が設定されている場合（ＳＴＥＰ９、ＹＥＳ）、追尾値設定部６４が、画像解析情報に基づいて、現状で設定している追尾値が適正か否かを判定する（ＳＴＥＰ１１）。追尾値の適否の判定方法の一例について、図面を参照して説明する。図６は、追尾値が適正である場合の入力画像及び画像解析結果の一例を示す図であり、図７は、追尾値が不適正である場合の入力画像及び画像解析結果の一例を示す図である。なお、図６及び図７は、入力画像及び画像解析結果の一例について示した図４と同様のものである。即ち、入力画像６０，７０中に人物Ａ１，Ａ２が含まれ、人物Ａ１が追尾物体であり、設定されている追尾値は黄色Ｙｅである。なお、図６及び図７では、緑色Ｇが予備追尾値として設定されているものとする。

図６（ａ）に示す入力画像６０では、探索領域６１中に人物Ａ２が侵入することで、追尾値である黄色Ｙｅのズボンの一部が遮られている。しかしながら、図６（ｂ）に示すヒストグラムでは、追尾値である黄色Ｙｅの度数が依然として最大となっており、黄色Ｙｅの度数は予備追尾値の緑色Ｇの度数よりも大きい。このような場合、現状で設定されている追尾値は適正であると判定し（ＳＴＥＰ１１、ＹＥＳ）、追尾値の切替を行うことなく追尾対象の検出を行う（ＳＴＥＰ１３）。

これに対して、図７（ａ）に示す入力画像７０では、探索領域７１に人物Ａ２が侵入することで、追尾値である黄色Ｙｅのズボンの大部分が遮られている。そのため、図７（ｂ）に示すヒストグラムでは、追尾値である黄色Ｙｅの度数が最大ではなくなっている。一方、予備追尾値である緑色Ｇの度数は、ある程度の大きさを保っており検出し易いものとなっている。このような場合、現状で設定されている追尾値を不適正と判定し（ＳＴＥＰ１１、ＮＯ）、予備追尾値を追尾値に切り替える（ＳＴＥＰ１２）。即ち、追尾値を緑色Ｇに切り替えて設定する。そして、新たに設定した追尾値を用いて追尾対象の検出を行う（ＳＴＥＰ１３）。

ＳＴＥＰ１３では、追尾対象検出部６５が、各画素の信号値が追尾値であるか否かを判定することで追尾対象を検出し、追尾対象情報を出力する。例えば、ＩＳＯＤＡＴＡ（Interactive Self Organization of Data）法などの種々の公知のアルゴリズムを用いて、信号値が追尾値となるグループと追尾値とならないグループとに分類することで追尾対象を検出しても構わない。例えばこの場合、複数の中心値を与え、どの中心値に近いかに基づいてそれぞれの信号値を仮分類し、不適なグループ（所属する信号値が少ない、分散が大きいなど）の排除（結合や分割など）をしつつ仮分類後のそれぞれのグループの信号値から新たに中心値を設定し、さらに仮分類を繰り返し行うことで分類を行っても構わない。なお、追尾値と、追尾値とみなせる範囲を示す類似度とを設定することで、各画素の信号値を分類しても構わない。また、信号値が追尾値であるとされたグループの画素の重心位置を追尾対象の位置としても構わなく、信号値が追尾値であるとされたグループの画素が広がる領域を追尾対象の大きさとしても構わない。また、これらの情報を追尾対象情報に含めても構わない。

ＳＴＥＰ１３で追尾対象の検出を行った後、追尾処理を終了するか否かの確認が行われる（ＳＴＥＰ１４）。ユーザなどから追尾処理を終了する旨の指示が入力されていれば（ＳＴＥＰ１４、ＹＥＳ）、追尾処理を終了する。一方、追尾処理を終了する指示が入力されていなければ（ＳＴＥＰ１４、ＮＯ）、ＳＴＥＰ６に戻って次フレームの入力画像を取得し、当該入力画像に対して上記の処理（ＳＴＥＰ７〜ＳＴＥＰ１３）を行う。このように、順次取得する入力画像に対して追尾処理が行われる。

ここで、次フレームの入力画像に対する追尾処理の一例について、図８を参照して説明する。図８は、図７に示す入力画像の次のフレームの入力画像の一例と、当該入力画像から得られる画像解析結果の一例とを示す図である。なお、上述のように、図７（ａ）に示す入力画像７０の探索領域７１内の画像に対して、追尾値を緑色Ｇとして追尾対象の検出が行われた場合について説明する。

図７に示す場合において、緑色Ｇを追尾値として追尾対象の検出を行うと、主に探索領域７１内の上部の画素が、追尾対象を示す画素として検出される。上述した方法と同様に、検出された追尾対象を中心として探索領域が設定されるとすると、図８（ａ）に示す入力画像８０に対して設定される探索領域８１は、図７の探索領域７１よりも上方の位置となる。即ち、設定される探索領域８１は、追尾値である緑色Ｇを示す画素が集まっている上着の部分に近づいたものとなる。

図８（ａ）に示すような探索領域８１が設定されると、図８（ｂ）に示すヒストグラムのように、新たに設定した追尾値である緑色Ｇの度数が大きいものとなる。そのため、精度良く追尾対象を検出することが可能となる。なお、以降の追尾処理においても、ＳＴＥＰ１０と同様の方法で予備追尾値が設定される。そして、設定されている追尾値（緑色Ｇ）が不適正なものとなれば（検出が困難になれば）、設定された予備追尾値を追尾値とする切替動作が行われる。

以上のように、本例の追尾処理部６０は、追尾対象を検出するために設定する追尾値の他に予備追尾値を設定し、予備追尾値を追尾値に切替可能とする。これにより、追尾対象が何らかの物体によって遮られるなどして、設定されている追尾値の画素を検出することが困難になったとしても、予備追尾値を追尾値に切り替えて別の追尾対象（即ち、同一の追尾物体の別の特徴部分）を検出することとして、継続して精度良い検出が行われることを可能にする。

また、追尾値及び予備追尾値を同時に用いて追尾処理を行わず、必要に応じて切り替える構成とするため、追尾対象の検出に必要な演算量が増大することを抑制することが可能となる。したがって、動作の迅速化、低消費電力化を図ることが可能となる。

なお、図５に示す予備追尾値を設定する際のパラメータｎは、どのような数としても構わないが、以下の観点に応じて適宜設定すると好ましい。ｎを大きくすると、探索領域内に連続的かつ長期間継続的に含まれる信号値が予備追尾値となるため、予備追尾値が追尾物体の特徴部分を示すものとなる可能性を高くすることが可能となる。また、撮像状況の変化に強く、精度良く検出することができる信号値を予備追尾値として設定することが可能となる。一方、ｎを小さくすると、迅速に予備追尾値を設定することが可能となる。そのため、追尾値の切替が必要となった場合に、予備追尾値が未だ設定されていないという状況が発生することを抑制することが可能となる。なお、ｎを状況に応じて変更可能な構成としても構わない。

また、図３のＳＴＥＰ１１における追尾値の適否の判定について、追尾値の度数が最大ではなくなるまたは所定の値よりも小さくなり、予備追尾値の度数が最大となるまたは所定の値よりも大きくなる場合に、追尾値を不適正と判定してＳＴＥＰ１１の追尾値の切替を行うこととしても構わない。また、予備追尾値の度数が追尾値の度数よりも大きくなった場合に、追尾値が不適正であると判定しても構わない。また、追尾値や予備追尾値が、周囲の信号値の度数と比較して突出して大きいものとなっているか否か（即ち、検出しやすいか否か）を考慮して、適否の判定を行っても構わない。不適正の判定はどのように行っても構わないが、概ね探索領域内において追尾値が支配的な値ではなくなり、予備追尾値が支配的な値となった場合に、追尾値が不適正であると判定する。

また、予備追尾値を複数設定しても構わない。例えば、候補値が複数存在する場合、当該複数の候補値の全てまたは一部を予備追尾値としても構わない。また、設定した複数の予備追尾値に優先順位を付けても構わないし、追尾値の切替を行う段階で、最も追尾値に相応しい予備追尾値を選択して追尾値としても構わない。

（第１変形例）
上述の例では、追尾値及び予備追尾値のみを設定する場合について説明したが、さらに他の値を設定する構成としても構わない。この場合の一例を、図９を参照して説明する。図９は、第１変形例について説明する入力画像及び画像解析結果の一例を示す図であり、入力画像及び画像解析結果の一例について示した図４と同様のものである。即ち、入力画像９０中に人物Ａ１，Ａ２が含まれ、人物Ａ１が追尾物体であり、追尾値は黄色Ｙｅ、予備追尾値は緑色Ｇである。また、本例では背景が一様の色相値であり水色Ｃｙであるものとする。

本例の場合、例えば図９（ｂ）に示すように、画像解析部６２が、探索領域９１のヒストグラムだけでなく、背景領域９２のヒストグラムをも生成する。また、予備追尾値設定部６３が、これらのヒストグラムに基づいて予備追尾値の設定を行う。なお、図９（ａ）に示すように、背景領域９２を、探索領域９１とその周囲の領域とを含む領域であり中心を背景領域９２と略等しくする領域としても構わない。

図９（ｂ）の探索領域９１のヒストグラムでは、最も度数が大きい信号値が黄色Ｙｅ、次に度数が大きい信号値が水色Ｃｙ、さらに次に度数が大きい信号値が緑色Ｇとなる。ここで、２番目に大きい信号値である水色Ｃｙが候補値となり、ｎ回連続で確認されてしまうと、背景の信号値である水色Ｃｙが予備追尾色として設定されてしまう（図５、ＳＴＥＰ１０１〜１０３）。そして、背景の信号値である水色Ｃｙが追尾値に切り替えられて設定されてしまうと（図３、ＳＴＥＰ１２）、追尾対象検出部６５が背景を検出することとなり、追尾物体Ａ１を検出することが困難となる。

そこで本例では、予備追尾値を設定する際に背景領域９２のヒストグラムを参照して、背景の信号値（以下、背景値とする）を求めるとともに候補値から背景値を除外する。図９（ｂ）に示す場合であれば、背景領域９２のヒストグラムで最も度数が大きい信号値である水色Ｃｙが背景値として設定され、候補値から除外される。

本例のように構成することによって、背景値が予備追尾値として設定されることを抑制することが可能となる。そのため、追尾対象検出部６５が誤って背景を検出することが抑制され、追尾処理の精度を向上させることが可能となる。

なお、図３のＳＴＥＰ５で追尾値を設定する際に、本例の方法を採用しても構わない。特に、探索領域９１の中で最も大きい度数の信号値を追尾値として設定する場合、誤って背景値を追尾値として設定することを抑制することができる。そのため、このような場合に本例の方法を採用して追尾値を設定すると、好適である。

また、背景領域９２を、探索領域９１と同様の矩形状としたが、探索領域９１と異なる形状としても構わない。また、入力画像９０に対する背景領域９２の設定方法は、図９に示す例の場合に限られず、どのように設定しても構わない。例えば、入力画像９０全体の領域、入力画像９０全体から探索領域９１を除いた領域、入力画像９０全体から中央部の所定の領域を除いた領域、などのように、他の方法で背景領域を設定しても構わない。

（第２変形例）
上述の例では、追尾値及び予備追尾値がともに色相値である場合について説明したが、信号値の種類を異ならせることも可能である。この場合の一例を、図１０を参照して説明する。図１０は、第２変形例について説明する入力画像及び画像解析結果の一例を示す図であり、入力画像及び画像解析結果の一例について示した図４と同様のものである。即ち、入力画像１００中に人物Ａ１，Ａ２が含まれ、人物Ａ１が追尾物体であり、追尾値は黄色Ｙｅである。

本例の場合、画像解析部６２が、信号値の種類が異なる複数のヒストグラムを生成する。例えば図１０（ｂ）に示すように、色相値のヒストグラムと、輝度値のヒストグラムと、をそれぞれ生成する。またこの場合、追尾値の信号値の種類が色相値であれば、予備追尾値の信号値の種類は輝度値となる。

本例では、それぞれのヒストグラムに基づいて、独立して追尾値及び予備追尾値を設定することができる。例えば、それぞれのヒストグラムで最も度数が大きい信号値を追尾値または予備追尾値として設定しても構わないし、度数が周囲の信号値よりも突出している信号値を追尾値または予備追尾値として設定しても構わない。また、生成するヒストグラムの性質（即ち、信号値の種類）に応じて、異なる設定方法を用いて追尾値及び予備追尾値を設定しても構わない。また、予備追尾値を設定する際に、上述したようにｎ回連続で確認された信号値を予備追尾値として設定しても構わない。

本例のように構成すると、ある種類の信号値を用いた追尾対象の検出が困難であるときに、別の種類の信号値を用いた検出に切り替えることが可能となる。例えば、輝度値の変化が激しい撮像環境下で、追尾対象の輝度値を特定し難い場合に、色相値を用いた検出に切り替えることができる。また例えば、追尾物体の色相値が周囲の色相値と略等しく、追尾対象の検出が困難である場合に、輝度値を用いた検出に切り替えることができる。したがって、様々な撮像環境下においても精度良く検出を行うことが可能となる。

（その他変形例）
なお、追尾値及び予備追尾値として設定され得る信号値の種類は、色相値に限られない。例えば輝度値や、ＲＧＢのいずれかの値や、ＲＧＢを組み合わせた値など、どのような種類の信号値を用いても構わない。

また、画素の信号値や追尾値、予備追尾値を低階調化しても構わない。低階調化することにより、わずかな信号値の差異を無視することができるようになるため、容易に追尾対象の検出を行うことが可能となる。また、検出に用いる信号値の種類に応じて、低階調化する程度を決定しても構わない。

また、上述の追尾処理部６０から出力される追尾対象情報に基づいて、画像の切り出しを行うこととしても構わない。例えば、撮像部が広角の入力画像を作成するとともに、画像処理部６が入力画像から追尾対象（追尾物体）を含む所定の領域を切り出すことで、所望の構図となる画像を作成することとしても構わない。このように画像の切り出しを行うこととすると、ユーザが、撮像したいと考える追尾物体に撮像装置１を簡易的に向けるだけで、所望の構図となる画像を得ることが可能となる。そのため、ユーザが撮像に注力する必要を低減することが可能となる。

また、追尾処理を撮像装置が（撮像時に）行う場合について説明したが、再生装置が（再生時に）行うこととしても構わない。例えば、再生すべき画像中から追尾対象を検出し、検出結果に応じた画像処理を当該再生すべき画像に施して再生を行う場合などに、本例を適用することができる。特に、再生すべき画像に対して上記のような画像の切り出しを行う場合などに、本例を利用しても構わない。

また、本発明の実施形態における撮像装置１について、画像処理部６や追尾処理部６０などの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。

また、上述した場合に限らず、図１の撮像装置１や図２の追尾処理部６０は、ハードウェア、あるいは、ハードウェア及びソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１や追尾処理部６０を構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。

以上、本発明の実施形態についてそれぞれ説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。

本発明は、入力される画像から追尾物体を検出する画像処理装置や、当該画像処理装置を備えた撮像装置や再生装置などの電子機器に利用することができる。

１ 撮像装置
２ イメージセンサ
３ レンズ部
４ ＡＦＥ
５ 集音部
６ 画像処理部
６１ 探索領域設定部
６２ 画像解析部
６３ 予備追尾値設定部
６４ 追尾値設定部
６５ 追尾対象検出部
７ 音声処理部
８ 圧縮処理部
９ ドライバ部
１０ 外部メモリ
１１ 伸長処理部
１２ 画像出力回路部
１３ 音声出力回路部
１４ ＣＰＵ
１５ メモリ
１６ 操作部
１７ ＴＧ部
１８ バス
１９ バス

Claims (5)

1. 入力画像から追尾物体を検出する追尾処理部を備える画像処理装置において、
   前記入力画像中に探索領域を設定する探索領域設定部と、
   前記探索領域内の信号の度数分布を求める画像解析部と、を備え、
   前記追尾処理部が、
   前記追尾物体を示す信号である追尾信号を設定する追尾信号設定部と、
   前記追尾物体を示すとともに前記追尾信号とは異なる信号である予備追尾信号を設定する予備追尾信号設定部と、
   前記入力画像から前記追尾信号を検出することにより前記追尾物体を検出する追尾対象検出部と、を備え、
   前記予備追尾信号設定部が、前記度数分布に基づいて前記予備追尾信号を設定し、
   前記追尾信号設定部が、前記度数分布に基づいて前記追尾信号の適否を判定するものであり、設定されている前記追尾信号が不適正なものであると判定する場合に、設定されている前記追尾信号に替えて前記予備追尾信号を新たな追尾信号として設定し直す切替動作を実行し、
   前記追尾対象検出部が、前記探索領域内の画像から前記追尾信号を検出することを特徴とする画像処理装置。
2. 前記予備追尾信号設定部が、前記度数分布中の度数が大きい信号ほど優先して前記予備追尾信号に設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記入力画像が前記追尾処理部に順次入力されるとともに、前記画像解析部が前記度数分布を順次出力し、
   前記予備追尾信号設定部が、順次出力される前記度数分布について所定の回数以上連続して所定の閾値を超える度数を有している信号を、前記予備追尾信号として設定することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記予備追尾信号設定部が、前記入力画像の背景を示す信号を除外して、前記予備追尾信号を設定することを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
5. 撮像により前記入力画像を生成する撮像部と、
   請求項１〜請求項４のいずれかに記載の画像処理装置と、を備え、
   前記追尾処理部による前記追尾物体の検出結果に基づいた制御が行われることを特徴とする撮像装置。

Images