JP3801075B2 - 画像拡大装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、原画像を拡大して拡大画像を生成する画像拡大装置に関する。
【０００２】
【従来の技術】
従来より用いられている顔部位検出装置として、例えば、特開２０００−１４２１６４号公報に記載された「眼の状態検出装置及び居眠り運転警報装置」（以下、従来例という）が知られている。該従来例では、画像データ撮影時の濃度値の変化の小さなばらつきを無くするために、画像の濃度値を１ライン読み込むごとに濃度値の相加平均演算を行う点について記載されている。
【０００３】
【発明が解決しようとする課題】
上述した従来例では、画像に生じるノイズを除去することはできるが、濃度データとして用いることのできる画素数が走査する方向に相加平均する画素分だけ小さくなる。顔部位オブジェクトの形状を正確に捉えようとすると、顔部位候補を含む領域の画像の画素密度は大きい方が有利である。即ち、高精度な検出ができる。しかし、通常のノイズ除去処理に加えて画像の拡大処理を組み込むとそれだけ処理に要する時間が増加するため、微小サンプリングタイムで処理できなくなってしまう可能性が高くなる。また、画像の拡大だけではノイズも一緒に拡大されてしまうという問題がある。
【０００４】
本発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、拡大後の画像が受ける、原画像（拡大前の画像）に含まれるノイズの影響を、軽減することのできる画像拡大装置を提供することにある。
【０００５】
【課題を解決するための手段】
上記目的を達成するため、本願請求項１に記載の発明は、複数画素で構成される画像データを拡大する画像拡大装置において、拡大後の画像データにおける端部の画素以外の全ての画素を、拡大前の画像データが有する複数画素データからの補間にて生成すると共に、前記拡大前の画像における一次元方向の画素数をｍとした場合、整数（ｍ−１）が素数以外の場合には、整数（ｍ−１）を素数分解して得られる任意の素数、または１をρ m とし、ρ m よりも大きい任意の整数をＫ m1 として画像の一次元方向の解像度の増大倍率を、｛（ｍ−１）×Ｋ m1 ／ρ m ＋１｝／ｍを除く値に設定し、整数（ｍ−１）が素数である場合には、１よりも大きい任意の整数をＫ m2 として画像の一次元方向の解像度の増大倍率を、｛（ｍ−１）×Ｋ m2 ＋１｝／ｍを除く値に設定し、所望の補間方法を用いて、前記拡大前の画像の画素に基づき、拡大後の画像の画素を求めることを特徴とする。
【０００６】
請求項２に記載の発明は、前記拡大後の画像データの、一次元方向の端部の画素以外の全ての画素を、拡大前の画像の前記一次元方向にて互いに隣接する２つの画素データからの補間にて生成することを特徴とする。
【０００７】
請求項３に記載の発明は、前記一次元方向は、画面の走査線に沿う画像横方向であることを特徴とする。
【０００８】
請求項４に記載の発明は、前記拡大後の画像データを形成する平面周囲部の画素以外の全ての画素を、拡大前の画像上にて互いに隣接する４方向に存在する画素データからの補間にて生成することを特徴とする。
【００１８】
【発明の効果】
請求項１の発明では、拡大後の画像の端部を除く全ての画素が、拡大前の画素がそのまま用いられないように、解像度の増大倍率が設定されるので、拡大後の画像において、その端部を除いた全ての画素に拡大前の複数の画素の情報が入り込むことになり、拡大前の画像の画素にノイズがのっていても、その画素データを用いて生成した画素は、ノイズののっていない他の画素からの影響をも受けることになり、拡大前の画像に存在するノイズの影響を軽減しつつ画像を拡大することができる。従って、画像を拡大する処理と、ノイズを除去する処理とをそれぞれ別の処理で行う場合と比較して、処理時間を短縮することができる。
【００１９】
請求項２の発明では、拡大後の画像データの、一次元方向の端部の画素以外の全ての画素が、拡大前の画素データからの補間にて生成されるので、拡大前の画像に存在するノイズの影響を軽減することができる。
【００２０】
請求項３の発明では請求項２に記載の一次元方向を、画像の走査線方向に沿った方向としているので、拡大前の画像に存在するノイズの軽減することができ、且つ画像処理が容易となる。
【００２１】
請求項４の発明では、拡大後の画像の画素データを設定する際に、拡大前の画像の４方向の画素データを用いて補間処理を行うので、拡大前の画像に存在するノイズの影響を軽減しつつ、画像の拡大処理を行うことができる。
【００３０】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
【００３１】
［システムブロック図］
図１は、本発明の一実施形態に係る画像拡大装置が採用された顔部位検出装置のシステム構成を示すブロック図であり、車両の運転者の顔部位を検出する装置を例に挙げている。
【００３２】
同図に示すように、該顔部位検出装置は、顔画像撮像手段ＣＬ１と、画像記憶手段ＣＬ２と、顔部位候補点特定手段ＣＬ３と、画像抽出手段ＣＬ４と、画像拡大装置ＣＬ５と、顔部位判定手段ＣＬ６とを備え、該顔部位判定手段ＣＬ６は、第１オブジェクト抽出手段ＣＬ１１と、第１判断手段ＣＬ１２と、を備えている。
【００３３】
顔画像撮像手段ＣＬ１は、乗員（車両の運転者）の顔を撮像して顔画像データを出力する。顔部位候補点特定手段ＣＬ３は、顔画像撮像手段ＣＬ１から出力された顔画像データを処理して顔部位の候補点を抽出し、顔の特徴量を検出する。
【００３４】
ここで、顔部位候補点特定手段ＣＬ３は、顔画像撮像手段ＣＬ１が出力した顔画像データに基づき、顔の縦方向の画素列に沿って画素の濃度値を読み出し、該濃度値の局所的な高まり毎に１個ずつの画素を定めて抽出点とし、隣接した抽出点を連続させて顔の横方向に延びる連続データを抽出して顔の特徴量とする。
【００３５】
画像抽出手段ＣＬ４は、検出された顔の特徴量を含んで特定した微小な領域を、特徴量の存在領域として顔画像から抽出する。
【００３６】
画像拡大装置ＣＬ５は、画像抽出手段ＣＬ４にて抽出した存在領域の微小画像を拡大する処理を行う。この際、微小画像（拡大前の画像）に含まれるノイズを除去しつつ拡大し、拡大画像を得る。
【００３７】
顔部位判定手段ＣＬ６は、画像拡大装置ＣＬ５にて拡大した存在領域の画像からそのエリアが検出すべき顔部位であるかどうかを判定する。
【００３８】
第１オブジェクト抽出手段ＣＬ１１は、拡大された存在領域の微小画像を二値化することによって浮かび上がったオブジェクトの中から、顔部位候補（眼、鼻、口、眉、耳等）に相当するオブジェクトを抽出する。ここで、第１オブジェクト抽出手段ＣＬ１１は、二値化した画像から、顔部位候補点を含むオブジェクト、或いは顔部位候補点の近傍に存在するオブジェクトを顔部位候補オブジェクトとして抽出する。
【００３９】
第１判断手段ＣＬ１２は、抽出されたオブジェクトの幾何形状が特定する顔部位のオブジェクトの幾何形状と一致するか否かに基づき、顔の特徴量を含んで特定された存在領域が顔部位であるかどうかを判断する。
【００４０】
こうして、画像フレームを処理することで眼、鼻、口、眉、耳といった顔部位の位置や状態を検出することができ、動画像を連続して処理することによって、顔部位の位置を追跡し、これによって顔の向きが検出できるので、脇見検出（脇見運転しているかどうかの検出）を行うことができる。
【００４１】
また、眼の開閉の状態を追跡することで、居眠り状態の検出を行うことができる。口の開閉状態を追跡することで、しゃべっている言葉の検出を行うことができる。
【００４２】
本実施形態に係る画像拡大装置が採用された顔部位検出装置は、自動車、鉄道車両、船舶、プラントのオペレータ等の顔向き方向検知や居眠り検知などに用いることができるが、上述したように、本実施形態では、自動車の運転手の眼に適用した場合を例に挙げて説明する。
【００４３】
［構成ブロック図］
図２は、本発明の一実施形態にかかる画像拡大装置が採用された顔部位検出装置の構成を示すブロック図である。
【００４４】
同図に示すように、ＴＶカメラ１が自動車のインストルメントに設置され、運転者の顔部分を略正面から撮影する。ＴＶカメラ１の入力画像は、本実施形態では、例えば横方向（Ｘ軸方向）５１２画素、縦方向（Ｙ軸方向）４８０画素からなる。ＴＶカメラ１で撮像された入力画像は、Ａ−Ｄ変換器２を介して画素毎のアナログ電圧が２５６階調のデジタル値に変換され、画像データとして画像メモリ３に記憶される。画像メモリ３に記憶された画像データは顔部位の候補点特定回路４に入力される。
【００４５】
従って、ＴＶカメラ１、Ａ−Ｄ変換器２は本実施形態において、図１に示す顔画像撮像手段ＣＬ１に対応し、画像メモリ３は、画像記憶手段ＣＬ２に対応する。
【００４６】
顔部位の候補点特定回路４は、図１に示す顔部位候補点特定手段ＣＬ３に対応しており、この候補点特定回路４は、入力された顔画像データから顔の縦方向の画素列に沿って画素の濃度値を読み出し、濃度値の局所的な高まり毎に１個ずつの画素を定めて抽出点とし、隣接した抽出点を連続させて顔の横方向に延びる連続データを抽出して顔の特徴量とする。そして、この出力信号は顔部位の位置検出回路５に供給される。
【００４７】
顔部位の位置検出回路５は、検出された顔の特徴量の代表座標値から特徴量を含んで特定された存在領域を微小画像として画像メモリ３に保存する。保存された微小画像を拡大し、この拡大された微小画像で顔部位の幾何形状に合致する特徴量を抽出して顔部位の位置を検出する。従って、本実施形態において、位置検出回路５は、図１に示した画像抽出手段ＣＬ４、画像拡大装置ＣＬ５、顔部位判定手段ＣＬ６、を有しており、顔部位候補点特定手段ＣＬ３と、画像抽出手段ＣＬ４と、にて請求項に記載した候補点画像抽出手段が構成されている。
【００４８】
次にシステムの処理状況について説明する。
【００４９】
［システム全体の処理］
図３は、システムの全体の処理の流れを示すフローチャートである。まず、処理が開始されると、ステップＳ１で、「初期値入力」の処理が実行される。この初期値入力の処理では、サンプリングタイムＳＴなど後述する各種の定数が読み込まれる。
【００５０】
ステップＳ２では、「Ｔ0の収得」の処理が実行され、タイムカウンタ値Ｔ0（１ms／count）が読み込まれる。
【００５１】
ステップＳ３では、「終了判断」の処理が実行され、例えばエンジンの起動判断などが行われる。ステップＳ４では、「ＳＴＯＰか否か」の処理が実行され、エンジンが起動されておらず、車両が走行状態でないなどと判断された場合、ステップＳ４でＮＯとなって処理が終了され（ＥＮＤ）、エンジンが起動され走行している等と判断されれば、ステップＳ４でＹＥＳとなりステップＳ５へ進む。ステップＳ５において「Ｔiを収得」の処理を実行する。
【００５２】
これにより、ステップＳ５が実行される度の毎回のタイムカウンタ値Ｔ（１ms／count）を読み込む。
【００５３】
ステップＳ６では、「Ｔ0 mod ＳＴ＝Ｔi mod ＳＴ」の処理が実行され、サンプリングタイムＳＴが経過したか否かの判断が行われる。「Ｔ0 mod ＳＴ」は、Ｔ0をＳＴで除算したときの余りを示す。
【００５４】
サンプリングタイムＳＴが経過していれば、ステップＳ６でＹＥＳとなり、ステップＳ７〜Ｓ１１の各ステップが実行され、サンプリングタイムＳＴが経過しないうちは、ステップＳ６でＮＯとなり、ステップＳ３、Ｓ４、Ｓ５、Ｓ６が繰り返し実行される。
【００５５】
ステップＳ７においては、「ｉ＝ｉ＋１」の処理が実行される。ステップＳ８においては、動画像データから画像フレームの抽出の処理が実行され、ＴＶカメラ１で撮像された入力動画像は、Ａ−Ｄ変換器２を介して画素毎のアナログ電圧が２５６階調のデジタル値に変換され、１フレーム分の画像データとして出力される。
【００５６】
ステップＳ９では、後述するように、顔部位の候補の位置の特定の処理が実行される。ステップＳ１０では顔部位判定処理を行う。ステップＳ１１では、ステップＳ９で顔部位の候補の位置の特定の処理で検出した現画像フレームでの顔部位の候補点すべてを判定したかどうかを判定する。顔部位の候補点すべてを判定した場合には、ステップＳ１１でＹＥＳとなり、ステップＳ３の終了判断に処理が戻る。
【００５７】
また、顔部位の候補点すべてを判定し終わっていない場合には、ステップＳ１１でＮＯとなり、ステップＳ１０の顔部位判定処理に戻る。
【００５８】
［顔部位の候補の位置の特定の処理］
顔部位の候補の位置の特定の処理（ステップＳ９の処理）の流れを、図４に示すフローチャート、及び図５〜図９に示す説明図を用いて説明する。
【００５９】
まず、図４のステップＳ９１では、動画像データから画像フレームの抽出の処理（ステップＳ８）で抽出した画像フレーム全体を、全体画像Ｇとして画像メモリ３に保存する。
【００６０】
次に、ステップＳ９２では、縦方向に１ライン終了後に、一つ隣のラインの処理に移して行き、縦方向の全ラインでのポイント抽出が終了したか否かを判断する。ステップＳ９２で、全ラインにおいてポイント抽出が行われていないと判断された場合は、ステップＳ９３に移行する。
【００６１】
ステップＳ９３では、縦方向（Ｙ軸方向）の１ラインの濃度値の相加平均演算を行う。この処理は、画像データ撮影時の濃度値の変化の小さなバラツキを無くすことを目的としており、濃度値の大局的な変化を捉えるためである。ステップＳ９４では、ステップＳ９３の演算結果である相加平均値における微分演算を行う。
【００６２】
ステップＳ９５では、ステップＳ９４の演算結果である微分値によるポイント抽出を行う。この処理が１ライン終了した後、ステップＳ９６で、次のラインの処理に切り替えて行く。
【００６３】
前述のステップＳ９２で、全ラインのポイント抽出が終了したと判断されると、ステップＳ９７へ移行し、隣合う各ラインの抽出ポイントのＹ座標値を比較し、Ｙ座標値が所定値以内の場合、連続データとして、▲１▼連続データのグループ番号、▲２▼連続開始ライン番号、▲３▼連続データ数、▲４▼連続データを構成する各抽出ポイントの縦方向位置の平均値（その連続データの代表上下位置）、▲５▼連続開始ラインと終了ラインの横方向位置の平均値（その連続データの代表左右位置）を記憶する。ここでの検出対象は眼としているため、その特徴量は横に比較的長く続くデータであるといえるので、横方向に所定値以上続くことを条件に連続データを選択することができる。
【００６４】
このようにして選択した顔の特徴量を連続データＧとして表したものを、図５に示す。なお、連続データＧの抽出方法をフローチャートの流れにて説明したが、処理状態の詳細については、「特開平１０−４０３６１号公報」「特開平１０−１４３６６９号公報」等にも記載されている。連続データＧがいわば顔部位の候補となり、この連続データＧの代表座標値Ｃが顔部位の候補の位置となる。
【００６５】
次に、図４のステップＳ９８において、図５に示す如くの各連続データＧの代表座標値Ｃを基準として、各連続データＧを含む存在領域ＥＡを設定する。この存在領域ＥＡは、次のようにして決定する。
【００６６】
＜存在領域ＥＡの大きさの決め方＞
存在領域ＥＡの大きさは、図６〜図８に示すようにして決めている。図６は、存在領域ＥＡの大きさを示し、図７，図８は、複数人をサンプルとして、眼の大きさを調べた横、縦の長さの統計データを示している。ここで、存在領域ＥＡの大きさは、ノイズ（顔の皺や明暗などを抽出してしまう）の低減や処理速度を落とさないためにも、可能な限り小さい領域が良い。現在の居眠り検出などの処理で使っている大きさは数人の眼の大きさを調べ、それに余裕分（例えば×１．５倍）を加味した大きさにしている。
【００６７】
数人の眼の大きさを統計的に求める方法としては、図７，図８に示すように、眼の縦横寸法のデータを集め、その分布の例えば９５％をカバーする寸法に余裕分をみて決定する方法が考えられる。そして、この９５％をカバーする寸法、即ち、図６に示すように、横寸法ｘａ、縦寸法ｙａに余裕分（×１．５）をみて決定している。なお、画像処理により眼の幅や高さを推定し、縦横の大きさに余裕分を加える方法も考えられる。
【００６８】
＜存在領域ＥＡの位置の決め方＞
図９は、例えば右眼の存在領域ＥＡを位置決めする方法について示している。眼の座標値（ｘ１，ｙ１）を基準に、距離ｘ２，ｙ２の位置に存在領域ＥＡを描く基準点Ｐを決め、Ｐ点から予め決めておいた存在領域ＥＡの寸法ｘ３，ｙ３を描画し、位置を決める。ｘ２及びｙ２はｘ３，ｙ３の１／２で予め存在領域ＥＡが眼の中心にくるような長さとしている。存在領域ＥＡを画像全体で見つかった連続データＧすべてについて設定する。
【００６９】
［顔部位判定処理］
顔部位判定処理を、図１０，図１１に示すフローチャートと、図１２〜図２０に示す説明図を用いて説明する。
【００７０】
まず、図１０のステップＳ１００１では、顔部位の候補点の存在領域ＥＡの画像データを、微小画像ＩＧとして画像メモリ３に保存する。
【００７１】
次に、ステップＳ１００２では、画像メモリ３に保存した微小画像ＩＧを、画像拡大装置ＣＬ５により拡大する。ステップＳ１００１、ステップＳ１００２の処理における一連の状態を図１２に示す。即ち、同図（ａ）に示す存在領域ＥＡを、同図（ｂ）に示す微小画像として取り出し、この微小画像を拡大して、同図（ｃ）に示す如くの画像を得る。なお、画像の拡大処理の方法については後述する。
【００７２】
次に、図１０のステップＳ１００３では、全体画像Ｇの代表座標値Ｃに相当する微小画像ＩＧの代表座標値ＩＣを基準とした範囲ＡＲの濃度情報に基づいて、二値化閾値を設定する。
【００７３】
この範囲ＡＲは、前記存在領域ＥＡより小さく、二値化閾値を正確に設定できるようにしている。
【００７４】
各範囲ＡＲでの二値化閾値の算出方法の一例を、図１３を用いて説明する。範囲ＡＲにおいて縦方向に数ラインの濃度値の読み出しを行う。図１３では、この縦方向へのラインが４本あることを示している。この各ラインにおいて濃度値の最も高い（明るい）濃度値と、最も低い（暗い）濃度値を記憶して行き、全ラインの記憶が終了したら、各ラインの最も高い（明るい）濃度値の中で、一番低い濃度値（皮膚の部分）と、各ラインの最も低い（暗い）濃度値の中で、一番低い濃度値（眼の部分）とを求め、その中央値を二値化閾値とする。
【００７５】
この二値化閾値のための範囲ＡＲは、眼の黒い部分と眼の周囲の皮膚の白い部分が入るように設定し、また、画像の明るさのバラツキによる影響を少なくするために必要最小限の大きさにしている。また、二値化閾値は、その領域内の眼の一番低い（暗い）濃度値と、皮膚の部分の一番低い（暗い）濃度値の中央値とすることで、皮膚の部分から眼の部分を切り出すのに適した値になる。
【００７６】
更に、二値化閾値を決定するのに皮膚の部分の濃度値の一番低い（暗い）濃度値を用いている理由は、次の通りである。即ち、前述したように眼の周囲の明るさのバラツキによる影響を少なくするために、濃度値を読み出す範囲ＡＲを極力小さくしていても、該範囲ＡＲの一部に直射光が当たっているような部分が外乱として入ることがあり、この部分を二値化閾値の決定に用いないようにするためである。
【００７７】
ステップＳ１００４では、こうして決定した二値化閾値を用いて微小画像ＩＧを二値化処理し、二値画像ｂＧとして画像メモリに保存する。
【００７８】
図１４に、図１２で抽出拡大された微小画像ＩＧの二値画像ｂＧを示す。また、図５における鼻部分の存在領域ＥＡについての拡大された微小画像ＩＧの二値画像ｂＧを、図１５に示す。
【００７９】
このような二値化閾値を用いて二値化した候補オブジェクトを検出することにより、眼を正確に捉えて候補オブジェクトの幾何形状を用いた判定をより正確に行うことができ、眼の位置検出精度をより向上することができる。
【００８０】
次に、図１０のステップＳ１００５に移行し、全体画像Ｇの代表座標値Ｃに相当する二値画像ｂＧの位置ｂＣを初期位置に設定する。そして、ステップＳ１００６にて、設定した位置が黒画素か否かを判定し、設定位置が黒画素と判定されればステップＳ１００６でＹＥＳとなり、処理をステップＳ１００７に移行し、設定位置が黒画素と判定されればステップＳ１００６でＮＯとして、ステップＳ１０１３にて、設定位置を上下左右に１画素ずつずらす処理を行う。そして、再度ステップＳ１００６にて、設定位置が黒画素か否かの判定を行い、設定位置が黒画素になるまで処理を行う。
【００８１】
ステップＳ１００７では、その黒画素を包括する連結成分を候補オブジェクトとして設定する。図１４の場合では二値画像ｂＧ内に存在する２つのオブジェクトＯＢ１、ＯＢ２のうち位置ｂＣを含むＯＢ１を候補オブジェクトとして設定し、図１５の場合では二値画像ｂＧ内に存在する２つのオブジェクトＯＢ３、ＯＢ４のうち位置ｂＣに最も近いＯＢ４を候補オブジェクトとして設定している。
【００８２】
ステップＳ１００８では、候補オブジェクトの幾何形状を算出し、ステップＳ１００９で、特定したい顔部位テンプレートの幾何形状と候補オブジェクトの幾何形状を比較する。
【００８３】
ステップＳ１００９の候補オブジェクトと顔部位テンプレートの幾何形状の比較方法の一例を眼の場合について、図１６を用いて説明する。
【００８４】
眼の二値化した形状は光環境が良く安定した画像であれば、図１６の（ａ）に示すようなものになるが、車室内に直射日光が一側から当たる等して光環境が悪化した時は、図１６の（ｂ）や（ｃ）のような形状なることもある。
【００８５】
眼のテンプレートは、横幅が眼の相場値の２／３以上あり、且つ上に凸の所定範囲の曲率を持っていることの条件▲１▼と、黒眼の左側の凹み形状条件の▲２▼と、黒眼の右側の凹み形状条件の▲３▼とを組み合わせることにより設定し、図１６の（ｂ），（ｃ）の例を許容するために▲１▼と▲２▼、または▲１▼と▲３▼の条件を満たすものであっても良いものとする。
【００８６】
ステップＳ１０１０では、ステップＳ１００９の結果、候補オブジェクトと顔部位テンプレートの幾何形状が一致するか否かを判定する。候補オブジェクトと顔部位テンプレートの幾何形状が一致する場合には、ステップＳ１０１０でＹＥＳとなり、ステップＳ１０１１で、その候補オブジェクトを顔部位と判定する。候補オブジェクトと顔部位テンプレートの幾何形状が一致しない場合には、ステップＳ１０１０でＮＯとなり、ステップＳ１０１４で、その候補オブジェクトを顔部位ではないと判定する。
【００８７】
ステップＳ１０１１では、顔部位と判定された候補オブジェクトの全体画像Ｇでの代表座標値Ｃをこの画像フレームでの顔部位の座標として記憶する。
【００８８】
［画像の拡大処理方法］
いま、全体画像Ｇから抽出された微小画像ＩＧの、横画素数をｍ１、縦画素数をｎ１、拡大後の微少画像ＩＧの横画素数をｍ２、縦画素数ｎ２とする。図１７に示すように、ハッチのかかった枠で示されている拡大前の微少画像ＩＧの画素の間隔を１とすると、白い枠で示されている拡大後の微小画像ＩＧの画素間隔は、横方向（ｍ1−１）／ｍ2、縦方向（ｎ1−１）／ｎ2である。
【００８９】
画像を拡大するためには、拡大前の画素の画素間に存在する拡大後の画素の濃度をその拡大後の画素を囲む拡大前の複数画素から求める。図１８には拡大後の画素濃度の求め方を示している。拡大前の画像の画素（ｉ，ｊ）、（ｉ＋１，ｊ）、（ｉ，ｊ＋１）、（ｉ＋１，ｊ＋１）の４つの画素の中に拡大後の画像の画素（Ｉ，Ｊ）が存在する場合、拡大前の画像の４つの画素濃度ｄ１（ｉ，ｊ）、ｄ１（ｉ＋１，ｊ）、ｄ１（ｉ，ｊ＋１）、ｄ１（ｉ＋ｊ，ｊ＋１）から、拡大後の画素の画素濃度ｄ２（Ｉ，Ｊ）は線形補間法により、次に示す（１）式で求めることができる。
【００９０】
【数１】

本実施形態では、線形補間法による画像の解像度の増大倍率を、後述するような条件に基づいて設定することによって、拡大後の画像において端部を除く全ての画素のデジタル値が、拡大前の画像の隣り合う複数の画素のデジタル値から求められ、拡大後の画像における端部の画素のデジタル値としては、拡大前の画像における端部の画素のデジタル値がそのまま用いられる。
【００９１】
図２８は、拡大前の原画像の画素と拡大後の画像の画素との関係について説明するための図であり、以下、同図を参照して、この関係について説明する。
【００９２】
例えば、原画像（拡大前の画像）の画素列として、図２８に示すように、横方向（画面の走査線に沿う画像横方向）に並ぶ３つの画素（ｍ1＝３）が与えられた場合について説明する。この画素列の横方向の画素数を、１つだけ増やしたとすると、拡大後の画素列（ｍ2＝４）において両端の画素の間に挟まれる２つの画素のデジタル値は、拡大後の画素を囲む拡大前の複数の画素のデジタル値から求められる。この場合、拡大後の画素例の両端にある画素のデジタル値として、拡大前の画素例の両端にある画素のデジタル値が用いられる。
【００９３】
一方、原画像の画素列の画素数を２つ増やしたとすると、拡大後の画素列（ｍ2＝５）の両端にある画素と、その画素列の中央の画素とを除く２つの画素のデジタル値が、拡大後の画素を囲む拡大前の複数の画素のデジタル値から求められることになる。この場合、拡大後の画素列の両端部にある画素と、その画素列の中央の画素のそれぞれのデジタル値としては、原画像の画素のデジタル値が用いられる。
【００９４】
ここで、原画像の画素列において、中央の画素Ｐnにノイズがのっていたとすると、画素を２つ増やした画素列（ｍ2＝５）では、その中央の画素に画素Ｐnのノイズがのってしまう。これに対して、画素を１つ増やした画素列（ｍ2＝４）においては、画素Ｐnのデジタル値が拡大後の画素のデジタル値の演算に用いられるものの、画素Ｐnのノイズが拡大後の画素にそのまま残ることはなく、そのノイズが低減される。よって、本実施形態では、画像の端部を除いて原画像の画素が拡大後の画素にそのまま残らないように画像を拡大する方法を用いる。
【００９５】
画素の増大倍率についてより詳細に述べると、横方向については、「ｍ1−１」が素数でない場合、「ｍ1−１」を素数分解して求められる素数ρm（１を含む）と、素数ρmより大きい係数ｋm1により、以下に示す（２）式にて、ｍ2を表すことができる。
【００９６】
【数２】

係数ｋm1が整数である場合には、拡大前の画像の画素でρm画素間隔の画素（ρm＝１の場合は拡大前の画像の画素すべて）で拡大前の画素が拡大後の画素に残ってしまい、平滑化を完全に行うことができない。係数ｋm1が整数でなければ両端の画素を除き拡大前の画素が拡大後の画素に残ることはない。これを簡単に示すと図１９のようになる。横１列ｍ１＝５画素の画像があるとするとｍ１−１＝４で、これを素数分解するとρm＝２となる。ｍ2＝７画素に拡大するとｋm1＝３となり、拡大前の画素で３番目の画素が拡大後の画像の画素として残る。これに対して、ｍ2＝８画素への拡大ではｋm1＝３．５となり、両端を除き拡大前の画素が拡大後の画素に残ることはない。
【００９７】
よって、（ｍ1−１）が素数でない場合には、ρmより大きい任意の整数をＫm1とすると、解像度の増大倍率を、｛（ｍ1−１）×Ｋm1／ρm＋１｝／ｍ1で求まる値を除く値に設定する。
【００９８】
次に、ｍ1−１が素数の場合には、１より大きい係数ｋm2による次の（３）式でｍ2を表すことができる。
【００９９】
【数３】

係数ｋm2が整数であると拡大前の画素がすべて残ってしまう。係数ｋm2が整数でなければ両端の画素を除き拡大前の画素が拡大後の画素に残ることはない。
【０１００】
これを簡単に示すと図２０のようになる。横１列ｍ1＝４画素の画像があるとするとｍ1−１＝３で素数となる。ｍ2＝７画素に拡大するとｋm2＝２となり、拡大前の画素間に１つずつ拡大後の画素が挿入され、拡大前の画素が拡大後の画像の画素としてすべて残る。これに対して、ｍ2＝６画素への拡大ではｋ＝５／３となり、両端を除き拡大前の画素が拡大後の画素に残ることはない。
【０１０１】
よって、（ｍ1−１）が素数でない場合には、１より大きい任意の整数をＫm1とすると、解像度の増大倍率を、｛（ｍ1−１）×Ｋm1＋１｝／ｍ1で求まる値を除く値に設定する。
【０１０２】
このように、横方向について、両端を除き拡大前の画素が拡大後の画素に残らないように解像度の増大倍率の設定条件を求め、また縦方向についてもそれと同様にして解像度の増大倍率の設定条件を求め、それらの条件に基づいて、微小画像ＩＧの拡大倍率を設定する。解像度の増大倍率は、横方向と縦方向で同じ値に設定されていても良いし、異なる値に設定されていても良い。
【０１０３】
このようにして、本発明の第１の実施形態に係る画像拡大装置が採用された顔部位検出装置では、顔部位の候補点画像を拡大する際に、拡大後の画像が有する各画素データのうち、端部を除く全ての画素データが、拡大前の画像が有する画素データをそのまま用いるのではなく、隣接する複数画素データからの線形補間により、補間したデータとされる。即ち、拡大後の画像データにおける端部の画素以外の全ての画素を、拡大前の画像データが有する複数画素データからの補間にて生成する。従って、たとえ拡大前の画像の画素データに、ノイズが含まれている場合でも、その画素データを用いて生成した画素は、ノイズののっていない他の画素からの影響を受けることになり、拡大後の画像上では、このノイズの影響が分散されるので、ノイズによる影響を軽減することができる。
【０１０４】
その結果、画像を拡大する処理と、ノイズを除去する処理をそれぞれ別の処理で行う場合と比較して、処理時間を著しく短縮することができ、高精度な顔部位の検出処理を、より短い（微小な）サンプリングタイムで行うことができる。
【０１０５】
本実施形態においては、拡大後の画像データを形成する平面周囲部の画素以外の全ての画素を、拡大前の画像上にて互いに隣接する４方向に存在する画素データからの補間にて生成している。これに対して、拡大後の画像データの、一次元方向（横方向または縦方向）の端部の画素以外の全ての画素を、拡大前の画像の一次元方向にて互いに隣接する２つの画素データからの補間により生成してもよい。これにより、拡大前の画像に存在するノイズの影響を軽減することができる。また、この場合、前記一次元方向を、画像の走査線方向に沿った横方向とすることにより、画像処理が容易となる。
【０１０６】
また、本実施形態では、顔部位判定手段ＣＬ６は、第１オブジェクト抽出手段ＣＬ１１によって顔部位候補点画像から顔部位候補のオブジェクトを抽出し、このオブジェクトの幾何形状に基づいて、この顔部位候補が顔部位かどうかを判定するので、この顔部位の判定処理を高精度に行うことができる。
【０１０７】
さらに、本実施形態では、第１オブジェクト抽出手段ＣＬ１１は、拡大後の候補点画像における画素の濃度情報を二値化する処理によって、顔部位候補点を含むオブジェクト、或いは顔部位候補点の近傍に存在する顔部位候補オブジェクトを画像の中から正確に抽出することができる。
【０１０８】
次に、本発明に係る画像拡大装置が採用された顔部位検出装置の、第２実施形態について説明する。
【０１０９】
［システムブロック図］
図２６は、本発明の第２実施形態に係る画像拡大装置が採用された顔部位検出装置のシステムブロック図である。図２６では、第１実施形態と同一の構成要素には同一の符号を付してある。本実施形態の顔部位検出装置は、顔画像撮像手段ＣＬ１と、画像記憶手段ＣＬ２と、顔部位候補点特定手段ＣＬ３と、画像抽出手段ＣＬ４と、顔部位判定手段ＣＬ６と、顔部位追跡領域設定手段ＣＬ２１と、画像抽出手段ＣＬ２２と、顔部位点画像拡大装置ＣＬ２３と、顔部位状態判定手段ＣＬ２４とを備えている。顔部位状態判定手段ＣＬ２４は、第２オブジェクト抽出手段ＣＬ３１と、第２判断手段ＣＬ３２を備えている。
【０１１０】
顔部位判定手段ＣＬ６は、画像抽出手段ＣＬ４にて抽出した存在領域の画像からその領域が検出すべき顔部位であるかどうかを判定する。顔部位追跡領域設定手段ＣＬ２１は、顔部位判定手段ＣＬ６にて検出した顔部位の位置に基づいて、その顔部位を追跡する領域（追跡領域）を設定する。画像抽出手段ＣＬ２２は、顔部位追跡領域設定手段ＣＬ２１にて設定した追跡領域内で顔部位を検出する処理と、検出した顔部位を含んで特定した微小な領域を顔部位の存在領域として前記追跡領域から抽出する処理を行う。
【０１１１】
画像拡大装置ＣＬ２３は、画像抽出手段ＣＬ２２にて抽出した存在領域の微小画像を拡大する処理を行う。この際、微小画像（拡大前の画像）に含まれるノイズを除去しつつ微小画像を拡大し、拡大画像を得る。顔部位状態判定手段ＣＬ２４は、画像拡大装置ＣＬ２３にて拡大した存在領域の画像を画像処理して、存在領域内の顔部位の状態を判定する。
【０１１２】
顔部位状態判定手段ＣＬ２４の第２オブジェクト抽出手段ＣＬ３１は、画像拡大装置ＣＬ２３にて拡大した存在領域の微小画像を二値化することによって浮かび上がったオブジェクトの中から、顔部位（眼、鼻、口、眉、耳等）に相当するオブジェクトを抽出する。ここで、第２オブジェクト抽出手段ＣＬ３１は、二値化した画像から顔部位点を含むオブジェクト、或いは顔部位点の近傍に存在するオブジェクトを顔部位オブジェクトとして抽出する。そして、第２判断手段ＣＬ３２は、第２オブジェクト抽出手段ＣＬ３１にて抽出したオブジェクトの幾何形状を算出し、算出した幾何形状によって顔部位の状態を判断する。
【０１１３】
［構成ブロック図］
図２７は、本発明の第２実施形態に係る画像拡大装置が採用された顔部位検出装置の構成ブロック図である。本実施形態の顔部位検出装置は、第１実施形態におけるカメラ１、Ａ−Ｄ変換器２、画像メモリ３、顔部位の候補点特定回路４、顔部位の位置検出回路５ａ、及び顔部位の状態検出回路６から構成されている。位置検出回路５ａは、画像抽出手段ＣＬ４及び顔部位判定手段ＣＬ６を有している。顔部位判定手段ＣＬ６は、画像抽出手段ＣＬ４によって顔画像から抽出された候補点画像内の顔部位候補が顔部位であるか否かを判定するものである。顔部位状態検出回路６は、顔部位追跡領域設定手段ＣＬ２１、画像抽出手段ＣＬ２２、顔部位点画像拡大手段ＣＬ２３、及び顔部位状態判定手段ＣＬ２４を有している。この顔部位状態検出回路６は、顔部位位置検出回路５により特定された顔部位の位置に基づいて顔画像の追跡領域を設定し、その追跡領域内での顔部位の状態を検出する。顔部位追跡領域設定手段ＣＬ２１と画像抽出手段ＣＬ２２から顔部位点画像抽出手段が構成されている。
【０１１４】
［システム全体の処理］
図２１，図２２はシステムの全体の処理の流れを示すフローチャートである。なお、図２１，図２２において、図３に示したフローチャートと同一の処理については、同一のステップ番号を付して示している。即ち、ステップＳ１〜Ｓ１１の処理は、図３と同一である。まず、処理が開始されると、ステップＳ１で、「初期値入力」の処理が実行される。この初期値入力の処理では、サンプリングタイムＳＴなど後述する各種の定数が読み込まれることになる。
【０１１５】
次いで、ステップＳ２では、「Ｔ0の収得」の処理が実行され、タイムカウンタ値Ｔ0（１ms／count）が読み込まれる。
【０１１６】
ステップＳ３では、「終了判断」の処理が実行され、例えばエンジンの起動判断などが行われる。ステップＳ４では、「ＳＴＯＰか否か」の処理が実行され、エンジンが起動されておらず、車両が走行状態でない等と判断された場合には、ステップＳ４でＮＯとなり、処理が終了され（ＥＮＤ）、エンジンが起動され走行しているなどと判断されれば、ステップＳ４でＹＥＳとなり、ステップＳ５において「Ｔiを収得」の処理を実行する。これにより、ステップＳ５が実行される度に毎回のタイムカウンタ値Ｔ（１ms／count）を読み込む。
【０１１７】
ステップＳ６では、「Ｔ0 mod ＳＴ＝Ｔi mod ＳＴ」の処理が実行され、サンプリングタイムＳＴが経過したか否かの判断が行われる。「Ｔ0 mod ＳＴ」ではＴ0をＳＴで除算した時の余りを示す。サンプリングタイムＳＴが経過していればステップＳ６でＹＥＳとなり、ステップＳ７〜Ｓ１８の各ステップが実行され、サンプリングタイムＳＴが経過しないうちは、ステップＳ６でＮＯとなり、ステップＳ３，Ｓ４，Ｓ５，Ｓ６の処理が繰り返し実行される。
【０１１８】
ステップＳ７においては「ｉ＝ｉ＋１」の処理が実行される。ステップＳ８においては、動画像データから画像フレームの抽出の処理が実行され、ＴＶカメラ１で撮像された入力動画像は、Ａ−Ｄ変換器２を介して画素毎のアナログ電圧が２５６階調のデジタル値に変換され、１フレーム分の画像データとして出力される。
【０１１９】
ステップＳ１２では顔部位の追跡領域が設定されているか否かを判断する。顔部位の追跡領域が設定されていれば、ステップＳ１２でＹＥＳとなり、ステップＳ１５の、追跡領域の顔部位の検出を行い、顔部位の追跡領域が設定されていればステップＳ１２でＮＯとなり、ステップＳ９にて、顔部位候補の位置の特定処理が実行される。
【０１２０】
次いで、ステップＳ１０では、顔部位判定処理を行う。ステップＳ１１では、Ｓ９で顔部位の候補の位置の特定の処理で検出した現画像フレームでの顔部位の候補点すべてを判定したかどうかを判定する。顔部位の候補点すべてを判定した場合ステップＳ１１でＹＥＳとなり、ステップＳ１３にて、顔部位候補の中から顔部位が見つかったか否かの判断処理を行う。顔部位の候補点すべてを判断し終わっていない場合にはステップＳ１１でＮＯとなり、ステップＳ１０の顔部位判定処理にもどる。
【０１２１】
ステップＳ１３では、顔部位候補の中から顔部位が見つかったか否かを判断する。顔部位候補の中から顔部位が見つかったと判断された場合はステップＳ１３でＹＥＳとなり、ステップＳ１４にて、顔部位の追跡領域を設定する処理を行う。顔部位候補の中から顔部位が見つからなかったと判断された場合は、ステップＳ１３でＮＯとなり、ステップＳ３の終了判断に処理が戻る。
【０１２２】
追跡領域は、図２３に示すように顔部位であると判断された連続データＧに設定された存在領域ＥＡを囲む領域として設置される。本実施形態では、次フレームでこの顔部位が動くことを考慮して、存在領域の縦方向２倍程度、横方向１．５倍程度の大きさとし、連続データの代表座標値Ｃを中心として領域を設定する。
【０１２３】
ステップＳ１５では、追跡領域内で顔部位の検出を行う。追跡領域内での顔部位の検出は、ステップＳ９の顔部位候補の位置の特定処理と同じ処理を追跡領域に相当する画像について行い、連続データを検出する。追跡領域内に連続データが一つ検出された場合はその連続データが顔部位として判断される。これは追跡領域を設定した際に幾何形状による顔部位判定を行っているため追跡領域内で連続データが一つ検出された場合はそれが顔部位である可能性は非常に高いため、顔部位と判断して差し支えない。追跡領域内に連続データが複数検出された場合はその連続データの位置関係からどの連続データが顔部位なのかを判断する。
【０１２４】
例えば、眼を検出している場合に左右位置はほとんど同じで上下方向に２つの連続データが検出できた場合、その位置関係から眼と眉の連続データである可能性が高いので、下側の連続データが眼であると判断される。連続データが一つも検出できなかった場合は顔部位は検出できずに見失ったことになる。
【０１２５】
ステップＳ１６では、ステップＳ１５で追跡領域内で顔部位が検出できたか否かを判断する。追跡領域内で顔部位が検出できた場合はステップＳ１６でＹＥＳとなり、ステップＳ１７にて顔部位の状態判定処理を行い、ステップＳ３の終了判断に処理が戻る。追跡領域内で顔部位が検出できなかった場合は、ステップＳ１６でＮＯとなり、ステップＳ１８にて、顔部位の追跡領域をクリアする処理を行い、ステップＳ３の終了判断に処理が戻る。
【０１２６】
［顔部位の状態判定処理］
ステップＳ１７の、顔部位の状態判定処理について図２４に示すフローチャートを用いて説明する。
【０１２７】
ステップＳ１５で見つかった顔部位について存在領域ＥＡを予め設定しておく。まず、図２４のステップＳ１７０１では、顔部位の存在領域ＥＡの画像データを微小画像ＩＧとして画像メモリ３に保存する。
【０１２８】
次に、ステップＳ１７０２では、画像メモリ３に保存した微小画像ＩＧを、顔部位点画像拡大装置ＣＬ２３にて拡大する。ステップＳ１７０２における画像の拡大処理の方法については、前述した第１実施形態で示した画像の拡大処理方法と同一である。
【０１２９】
ここでも、微小画像ＩＧの横方向と縦方向のそれぞれで、端部の画素を除き拡大前の画素が拡大後の画素に残らないように解像度の増大倍率を設定する。拡大前の微小画像ＩＧの横方向の画素数をｓ1、その縦方向の画素数をｔ1、拡大後の微小画像ＩＧの横方向の画素数をｓ2、その縦方向の画素数をｔ2とする。
【０１３０】
このとき、横方向については（ｓ1−１）が素数でない場合、（ｓ1−１）を素数分解して求められる任意の素数または１をρsとし、そのρsより大きい数を係数ｋs1とすると、拡大後の画素数ｓ2は次の、（４）式で表すことができる。
【０１３１】
【数４】

よって、（ｓ1−１）が素数でない場合には、ρsより大きい任意の整数をＫs1とすると、横方向の解像度の増大倍率は、｛（ｓ1−１）×Ｋs1／ρs＋１｝／ｓ1で求まる値を除く値に設定する。
【０１３２】
次に、（ｓ1−１）が素数の場合は、１よりも大きい数を係数ｋs2とすると、拡大後の画素数ｓ2は、次の（５）式で表すことができる。
【０１３３】
【数５】

よって、（ｓ1−１）が素数の場合には、１よりも大きい任意の整数をＫs2とすると、少なくとも横方向の解像度の増大倍率は、｛（ｓ1−１）×Ｋs2＋１｝／ｓ1で求まる値を除く値に設定する。
【０１３４】
このようにして横方向について解像度の増大倍率の設定条件を求め、また縦方向についてもそれと同様にして解像度の増大倍率の設定条件を求め、それらの条件に基づいて微少画像ＩＧの拡大倍率を設定する。ここでも、解像度の増大倍率は縦方向と横方向とで同じ値に設定されていてもよいし、異なる値に設定されていてもよい。
【０１３５】
次に、ステップＳ１７０３では、全体画像Ｇの代表座標値Ｃに相当する微小画像ＩＧの代表座標値ＩＣを基準とした範囲ＡＲの濃度情報をもとに二値化閾値を設定する。二値化閾値の設定方法は前述した第１の実施形態と同一であるので説明を省略する。
【０１３６】
ステップＳ１７０４では、こうして決定した二値化閾値を用いて微小画像ＩＧを二値化処理し、二値画像ｂＧとして画像メモリ３に保存する。
【０１３７】
次に、ステップＳ１７０５に移行し、全体画像Ｇの代表座標値Ｃに相当する二値画像ｂＧの位置ｂＣを初期位置に設定する。
【０１３８】
ステップＳ１７０６にて、設定位置が黒画素か否かを判定し、設定位置が黒画素と判定されれば、ステップＳ１７０６でＹＥＳとなり、処理をステップＳ１７０７に移行し、設定位置が黒画素と判定されなければステップＳ１７０６でＮＯとして、ステップＳ１７０９にて設定位置を上下左右に１画素ずつずらす。そして、ステップＳ１７０６にて、再度、設定位置が黒画素であるかどうかを判定し、設定位置が黒画素になるまで処理を繰り返す。
【０１３９】
ステップＳ１７０７では、その黒画素を包括する連結成分を顔部位オブジェクトとして設定する。
【０１４０】
ステップＳ１７０８では、顔部位オブジェクトの幾何形状を算出し、算出した幾何形状によって顔部位の状態を判断する。
【０１４１】
図２５では眼の開閉状態を判別する一例を示している。同図（ａ）には、開眼の場合の眼オブジェクトを示している。また、同図（ｂ）には閉眼の場合の眼オブジェクトを示している。
【０１４２】
開眼の場合は眼オブジェクトの高さｈ１が大きく、閉眼の場合は眼オブジェクトの高さｈ２が小さくなる。よって、ｈ１とｈ２の間に閾値を設けて、その閾値以下であれば閉眼と判断し閾値以上であれば開眼と判断することができる。
【０１４３】
本実施形態では、顔部位の状態を判断する処理のために微小画像ＩＧを拡大したが、図２２のステップＳ１０において、第１実施形態と同様の方法により、微小画像を拡大し、その拡大画像から顔部位を検出する構成とすることができる。
【０１４４】
このようにして、本発明の第２の実施形態に係る画像拡大装置が採用された顔部位検出装置では、顔部位点画像を拡大する際に、拡大後の画像が有する各画素データのうち、端部を除く全ての画素データが、拡大前の画像が有する画素データをそのまま用いるのではなく、隣接する画素データを線形補間により、補間したデータとされる。従って、たとえ拡大前の画像の画素データに、ノイズが含まれている場合でも、拡大後の画像上では、このノイズの影響が分散されるので、ノイズによる影響を軽減することができる。
【０１４５】
その結果、画像を拡大する処理と、ノイズを除去する処理をそれぞれ別の処理で行う場合と比較して、処理時間を著しく短縮することができ、高精度な顔部位状態の判断処理を、より短い（微小な）サンプリングタイムで行うことができる。
【０１４６】
また、本実施形態では、顔部位状態判定手段ＣＬ２４は、第２オブジェクト抽出手段ＣＬ３１によって顔部位点画像から顔部位のオブジェクトを抽出し、このオブジェクトの幾何形状に基づいて、この顔部位の状態を判断するので、この顔部位状態の判定処理を高精度に行うことができる。
【０１４７】
さらに、本実施形態では、第２オブジェクト抽出手段ＣＬ３１は、拡大後の顔部位点画像における画素の濃度情報を二値化する処理によって、顔部位点を含むオブジェクト、或いは顔部位点の近傍に存在する顔部位オブジェクトを画像の中から正確に抽出することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像拡大装置が採用された顔部位検出装置の、システムブロック図である。
【図２】本発明の第１の実施形態に係る画像拡大装置が採用された顔部位検出装置の、構成を示すブロック図である。
【図３】第１の実施形態に係る画像拡大装置が採用された顔部位検出装置の、全体の処理手順を示すフローチャートである。
【図４】顔部位の候補の位置特定処理の手順を示すフローチャートである。
【図５】眼のテンプレートを用いて、眼の位置検出を行う際の説明図である。
【図６】眼の存在領域の大きさを示す説明図である。
【図７】眼の横方向の長さの統計図である。
【図８】眼の縦方向の長さの統計図である。
【図９】眼の存在領域の位置を決める様子を示す説明図である。
【図１０】顔部位判定処理の手順を示すフローチャートの第１の分図である。
【図１１】顔部位判定処理の手順を示すフローチャートの第２の分図である。
【図１２】微小画像抽出し、該微小画像を拡大する処理を示す説明図である。
【図１３】二値化閾値の求める手順を示す説明図である。
【図１４】眼の部分を二値化して得られる画像を示す説明図である。
【図１５】鼻の部分を二値化して得られる画像を示す説明図である。
【図１６】眼のテンプレートを用いて、眼の位置検出を行う様子を示す説明図である。
【図１７】画像を拡大する処理を示す説明図である。
【図１８】画像を拡大する処理を示す説明図であり、拡大前の４つの画素のデータを用いて、拡大後の１つの画素のデータを生成する様子を示す。
【図１９】画像を拡大する処理の一次元的な様子を示す第１の説明図である。
【図２０】画像を拡大する処理の一次元的な様子を示す第２の説明図である。
【図２１】本発明の、第２の実施形態に係る画像拡大装置が採用された顔部位検出装置の、全体の処理手順を示すフローチャートの第１の分図である。
【図２２】本発明の、第２の実施形態に係る画像拡大装置が採用された顔部位検出装置の、全体の処理手順を示すフローチャートの第２の分図である。
【図２３】顔部位であると判定されたオブジェクトの、追跡領域を示す説明図である。
【図２４】閉眼と開眼の識別処理の手順を示すフローチャートである。
【図２５】（ａ）は開眼時、（ｂ）は閉眼時の様子を示す二値化画像である。
【図２６】本発明の第２の実施形態に係る画像拡大装置が採用された顔部位検出装置の、システムブロック図である。
【図２７】本発明の第２の実施形態に係る画像拡大装置が採用された顔部位検出装置の、構成を示すブロック図である。
【図２８】画像を拡大する処理の一次元的な様子を示す説明図である。
【符号の説明】
１ カメラ
２ Ａ／Ｄ変換手段
３ 画像メモリ
４ 顔部位の候補点特定回路
５，５ａ 顔部位の位置検出回路
６ 顔部位の状態検出回路
ＣＬ１ 顔画像撮像手段
ＣＬ２ 画像記憶手段
ＣＬ３ 顔部位候補点特定手段
ＣＬ４ 画像抽出手段
ＣＬ５ 画像拡大装置
ＣＬ６ 顔部位判定手段
ＣＬ１１ 第１オブジェクト抽出手段
ＣＬ１２ 第１判断手段
ＣＬ２１ 顔部位追跡領域設定手段
ＣＬ２２ 画像抽出手段
ＣＬ２３ 顔部位点画像拡大装置
ＣＬ２４ 顔部位状態判定手段
ＣＬ３１ 第２オブジェクト抽出手段
ＣＬ３２ 第２判断手段

Claims (4)

1. 複数画素で構成される画像データを拡大する画像拡大装置において、
   拡大後の画像データにおける端部の画素以外の全ての画素を、拡大前の画像データが有する複数画素データからの補間にて生成すると共に、
   前記拡大前の画像における一次元方向の画素数をｍとした場合、
   整数（ｍ−１）が素数以外の場合には、整数（ｍ−１）を素数分解して得られる任意の素数、または１をρ m とし、ρ m よりも大きい任意の整数をＫ m1 として画像の一次元方向の解像度の増大倍率を、｛（ｍ−１）×Ｋ m1 ／ρ m ＋１｝／ｍを除く値に設定し、
   整数（ｍ−１）が素数である場合には、１よりも大きい任意の整数をＫ m2 として画像の一次元方向の解像度の増大倍率を、｛（ｍ−１）×Ｋ m2 ＋１｝／ｍを除く値に設定し、
   所望の補間方法を用いて、前記拡大前の画像の画素に基づき、拡大後の画像の画素を求めることを特徴とする画像拡大装置。
2. 前記拡大後の画像データの、一次元方向の端部の画素以外の全ての画素を、拡大前の画像の前記一次元方向にて互いに隣接する２つの画素データからの補間にて生成することを特徴とする請求項１に記載の画像拡大装置。
3. 前記一次元方向は、画面の走査線に沿う画像横方向であることを特徴とする請求項２に記載の画像拡大装置。
4. 前記拡大後の画像データを形成する平面周囲部の画素以外の全ての画素を、拡大前の画像上にて互いに隣接する４方向に存在する画素データからの補間にて生成することを特徴とする請求項１に記載の画像拡大装置。

Images