WO2015133159A1

WO2015133159A1 - 画像処理装置、画像処理方法、および、画像処理プログラム

Info

Publication number: WO2015133159A1
Application number: PCT/JP2015/050222
Authority: WO
Inventors: 岳彦指田; 雄太工藤; 義満青木
Original assignee: コニカミノルタ株式会社
Priority date: 2014-03-05
Filing date: 2015-01-07
Publication date: 2015-09-11
Also published as: JPWO2015133159A1; JP6406345B2; US10445566B2; US20170076148A1

Abstract

　カメラと人物との位置関係に依らずに人物を検出することが可能な画像処理装置を提供する。入力画像に含まれる人物領域を当該入力画像から検出するための画像処理装置（１００）が提供される。画像処理装置（１００）は、入力画像内において、人物の頭部の位置を検出するための頭部検出部（２１０）と、頭部検出部（２１０）により検出された頭部の位置の周辺画像領域から抽出した特徴量を用いて、入力画像内における頭部とその他の部位との相対的な位置関係を特定するための特定部（２２０）と、特定部（２２０）により特定された相対関係に応じて、人物領域を探索する方向と、人物領域を探索する領域とのうちの少なくとも一方を設定し、入力画像から人物領域を探索するための人検出部（２３０）とを備える。

Description

画像処理装置、画像処理方法、および、画像処理プログラム

　本開示は、入力画像から人物を検出することが可能な画像処理装置、画像処理方法、および、画像処理プログラムに関する。

　従来、画像処理の分野において、画像内から人物を検出するための技術が開発されている。画像から人物を検出する技術は、たとえば、人物の侵入などの異常を検出するための監視カメラ、介護施設などにおいて人物の転倒などを検出するための見守りカメラ、スポーツ映像のフォーム解析装置、その他の画像処理装置など様々なものに応用される。しかしながら、これらの画像処理装置のほとんどは、天井や柱などに設置されたカメラからの画像を解析することを前提に作られている。すなわち、これらの画像処理装置は、人物が所定方向に写っているものとして、処理時間が増加しないよう人物の検出を行なっている。

　たとえば、非特許文献１は、立っている人を所定の方向から撮影して得られた入力画像から人物を検出するための技術を開示している。他にも、非特許文献２は、寝ている人を所定の方向から撮影して得られた入力画像から人物を検出するための技術を開示している。

橋本　潔，加賀屋　智之，片岡　裕雄，里　雄二，田靡　雅基，大島　京子，藤田　光子，青木　義満、「姿勢変動を考慮した基幹リンクモデルによる複数人物追跡」、情報処理学会研究報告、2011-CVIM-177(19) Ching-WeiWang，Andrew　Hunter、「Robust　Pose　Recognition　of　the　Obscured　Human　Body」、International　Journal　of　Computer　Vision　December　2010,　Volume90，　Issue3，　p313-330、Graduate　Institute　of　Biomedical　Engineering，　National　Taiwan　University　of　Science　and　Technology

　非特許文献１に開示される技術は、所定の方向に写った人物しか検出することができないため、人物の位置に対するカメラの設置位置が制限されてしまう。非特許文献２に開示される技術についても同様のことがいえる。このように、従来の人物検出の画像処理技術は、入力画像において一定の方向に写っている人物しか検出することができない。

　この開示は上述のような問題点を解決するためになされたものであって、ある局面における目的は、処理時間の増加を抑えつつ、カメラと人物との位置関係に依らずに人物を検出することが可能な画像処理装置を提供することである。

　一実施の形態に従うと、入力画像に含まれる人物領域を当該入力画像から検出するための画像処理装置が提供される。当該画像処理装置は、入力画像内において、人物の頭部の位置を検出するための頭部検出部と、頭部検出部により検出された頭部の位置の周辺画像領域から抽出した特徴量を用いて、入力画像内における頭部とその他の部位との相対的な位置関係を特定するための特定部と、特定部により特定された相対関係に応じて、人物領域を探索する方向と、人物領域を探索する領域とのうちの少なくとも一方を設定し、入力画像から人物領域を検出するための人検出部とを備える。

　好ましくは、特定部は、頭部の周辺画像領域で抽出した特徴量から人物の胴体を示す特徴量を探索し、頭部に対する胴体の方向を相対的な位置関係として特定する。

　好ましくは、入力画像は、被写体の表面上の各点までの距離からなる距離画像を含む。特定部が抽出する頭部の周辺画像領域の特徴量は、距離画像から抽出した、被写体の表面に対する法線ベクトルの分布を含む。特定部は、頭部周辺の画像領域の法線ベクトルの分布において、人の胴体の表面に対する法線ベクトルの分布が存在する方向から相対的な位置関係を特定する。

　好ましくは、入力画像は、被写体の表面上の各点までの距離からなる距離画像を含む。特定部が抽出する頭部の周辺画像領域の特徴量は、距離画像から抽出した、頭部の位置からの被写体の相対距離を含む。特定部は、頭部の周辺画像領域において、相対距離が所定値よりも小さい画素を一定数以上有する領域が存在する方向から相対的な位置関係を特定する。

　好ましくは、入力画像は、被写体の表面上の各点までの距離からなる距離画像を含む。特定部が抽出する頭部の周辺画像領域の特徴量は、人物が含まれないときの背景を撮影して得られた背景距離画像を距離画像から差分した、背景からの距離差を含む。特定部は、頭部の周辺画像領域において、距離差が所定値よりも大きい画素を一定数以上有する領域が存在する方向から相対的な位置関係を特定する。

　好ましくは、特定部が抽出する頭部の周辺画像領域の特徴量は、入力画像から抽出した、エッジ情報を含む。特定部は、頭部の周辺画像領域におけるエッジ情報において、２本の平行するエッジが存在する方向から相対的な位置関係を特定する。

　好ましくは、頭部検出部は、入力画像における人物の頭部のサイズをさらに検出する。特定部は、頭部のサイズに応じて、特徴量を抽出する頭部の周辺画像領域のサイズを決定する。

　好ましくは、相対的な位置関係は、入力画像内における頭部に対する、その他の部位の方向を示す人体方向を含む。人検出部は、人物領域の探索に用いるテンプレート、および、入力画像のいずれか一方を人体方向に応じて回転するとともにマッチング処理を行い、入力画像内における人物領域を検出する。

　好ましくは、人検出部は、探索して得た入力画像内の胴体の位置、入力画像内の頭部の位置、および、頭部のサイズのうちの少なくとも１つに応じて、人物領域を探索する方向と、人物領域を探索する領域とのうちの少なくとも一方を限定して、入力画像における人物領域を検出する。

　他の実施の形態に従うと、入力画像に含まれる人物領域を当該入力画像から検出するためのコンピュータが実行するための画像処理方法が提供される。画像処理方法は、入力画像内において、人物の頭部の位置を検出することと、頭部の位置の周辺画像領域から抽出した特徴量を用いて、入力画像内における頭部とその他の部位との相対的な位置関係を特定することと、相対的な位置関係に応じて、人物領域を探索する方向と、人物領域を探索する領域とのうちの少なくとも一方を設定し、入力画像内で人物領域を検出することとを備える。

　さらに他の実施の形態に従うと、入力画像に含まれる人物領域を当該入力画像から検出するための画像処理プログラムが提供される。画像処理プログラムは、コンピュータに、入力画像内において、人物の頭部の位置を検出することと、頭部の位置の周辺画像領域から抽出した特徴量を用いて、入力画像内における頭部とその他の部位との相対的な位置関係を特定することと、相対的な位置関係に応じて、人物領域を探索する方向と、人物領域を探索する領域とのうちの少なくとも一方を設定し、入力画像内で人物領域を検出することとを実行させる。

　本発明によれば、処理時間の増加を抑えつつ、カメラと人物との位置関係に依らずに人物を検出することができる。

　本発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解される本発明に関する次の詳細な説明から明らかとなるであろう。

第１の実施の形態に従う画像処理装置に接続されたカメラが被写体を撮影している様子を表している図である。カメラが様々な方向から人物を撮影して得られた入力画像を示した図である。関連技術に従う人物検出処理の概略を示した概念図である。第１の実施の形態に従う画像処理装置の人物検出処理の概略を示した概念図である。第１の実施の形態に従う画像処理装置のハードウェア構成の一例を示すブロック図である。第１の実施の形態に従う画像処理装置の機能構成の一例を示すブロック図である。人物を撮影して得られた画像から人体方向を特定する処理についての概略を示した概念図である。頭部周辺において探索する領域を視覚的に示した図である。距離情報を用いて人体方向を特定する処理についての概略を示した概念図である。距離画像から算出した被写体表面に対する法線情報を用いて人体方向を特定する処理についての概略を示した図である。入力画像から取得したエッジ情報を用いて人体方向を特定する処理についての概略を示した概念図である。第１の実施の形態に従う画像処理装置が実行する処理の一部を表わすフローチャートである。第２の実施の形態に従う画像処理装置の機能構成の一例を示すブロック図である。頭部の位置に応じて胴体探索ウィンドウの形状を決定する処理の概略を示した概念図である。頭部のサイズに応じて胴体探索ウィンドウのサイズを決定する処理の概略を示した概念図である。入力画像内の頭部の位置または胴体の位置に応じて人物探索ウィンドウを設定する処理の概略を示した概念図である。第２の実施の形態に従う画像処理装置が実行する処理の一部を表わすフローチャートである。

　以下、図面を参照しつつ、本実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらについての詳細な説明は繰り返さない。なお、以下で説明される各実施の形態、および／または、各変形例は、選択的に組み合わされてもよい。

　＜第１の実施の形態＞
　　［概要］
　図１～図４を参照して、第１の実施の形態に従う画像処理装置１００の概要について説明する。図１は、画像処理装置１００に接続されたカメラ１１０が被写体を撮影している様子を表している図である。図２は、カメラ１１０が様々な方向から人物を撮影して得られた入力画像を示した図である。図３は、関連技術に従う人物検出処理の概略を示した概念図である。図４は、画像処理装置１００の人物検出処理の概略を示した概念図である。

　近年、人物を検出するための画像処理装置のニーズが多様化している。ニーズの多様化に対応するために、あらゆる場所に設置されたカメラから得られた画像において人物を検出することが求められている。カメラの設置場所に依らずに人物を検出するためには、入力画像内において様々な方向に写っている人物を検出しなければならない。本実施の形態に従う画像処理装置１００は、入力画像に写っている人体方向に依らずに人物を検出することができる。

　図１には、画像処理装置１００に接続されたカメラ１１０が、ある空間に存在する人物５０を撮影している様子が示されている。入力画像６０は、カメラ１１０が人物５０を撮影することで得られたものである。カメラ１１０から得られた入力画像６０は、輝度値からなる通常の２次元画像（以下では、「輝度画像」ともいう。）であってもよいし、カメラ１１０から被写体の各点までの各距離からなる３次元情報（以下では、「距離画像」ともいう。）であってもよい。また、カメラ１１０から得られる入力画像６０は、静止画像であってもよいし、動画像であってもよい。

　カメラ１１０の配置位置によっては、入力画像に写っている人物は、様々な方向に写る。たとえば、図２の姿勢（Ａ）に示されるように、ベッド上で寝ている人を対象とした場合、ベッドとカメラ１１０の位置関係によっては、人物５０は、入力画像６０の方向に対して横向きに写る。また、人物５０が入力画像６０内で一定の方向（たとえば、入力画像６０に対して縦方向）に写った画像を得るために、カメラ１１０が人物５０の足側に設置された場合について考える。この場合、人物５０が寝ている状態は、人物５０が立っている状態に比べて姿勢の自由度が高いため、図２の姿勢（Ｂ）および姿勢（Ｃ）に示されるように、人物５０は、入力画像６０内において必ずしも一定の方向（入力画像６０に対して縦方向）に写るとは限らない。

　その他にも、近年、ボール型カメラのような自由視点のカメラが登場しており、このようなカメラを用いた場合には、視点が常に変動するため、画像内における人体方向も常に変動する。

　このように、人物５０は、カメラの設置位置やカメラの種類によって、入力画像６０内において様々な方向を向く。本実施の形態に従う画像処理装置１００は、人の向きが画像内において様々な方向に向いていたとしても、人物領域を検出することができる。

　　（関連技術に従う画像処理の概要）
　図３を参照して、本実施の形態に従う画像処理装置１００の理解を深めるために、関連技術に従う人体検出処理について説明する。図３は、関連技術に従う人物検出処理の概略を示した概念図である。

　関連技術に従う画像処理技術は、人物探索ウィンドウ８０を入力画像６０内で走査させながら、かつ、人物探索ウィンドウ８０を小刻みに回転させながら人物領域を探索する。関連技術に従う画像処理技術は、たとえば、探索ウィンドウ内から抽出した特徴量と、予め定められたテンプレート（特徴量）とが一致した場合に、当該探索ウィンドウの位置を人物領域として特定する。これにより、関連技術に従う画像処理技術は、画像内の人体方向に依らずに人物領域を検出することができる。しかしながら、当該画像処理技術は、探索ウィンドウを逐次回転させながら画像処理を行なわなければならず、計算時間が膨大にかかる可能性がある。

　　（本実施の形態に従う画像処理の概要）
　本実施の形態に従う画像処理装置１００は、人体方向が未知の画像であっても計算時間をかけずに人物領域を検出することができる。より具体的には、画像処理装置１００は、図４に示されるように、画像処理装置１００は、まず、入力画像６０から頭部の位置７２を検出する。次に、画像処理装置１００は、検出した頭部の位置７２の周辺領域である胴体探索ウィンドウ７０から抽出した特徴量を用いて、入力画像６０内における頭部とその他の部位との相対的な位置関係を特定する。頭部とその他の部位との相対的な位置関係とは、たとえば、入力画像６０内における、頭部に対するその他部位の方向を示す人体方向を含む。人体方向は、たとえば、入力画像６０内における、頭部に対する胴体の方向、頭部に対する足の方向を含む。

　その後、画像処理装置１００は、頭部とその他の部位との相対的な位置関係に応じて、人物領域を探索する方向と、人物領域を探索する領域とのうちの少なくとも一方を設定し、入力画像６０から人物領域を探索する。典型的には、画像処理装置１００は、人物５０の頭部の位置に応じて、または、特定した人体方向に応じて、人物探索ウィンドウ８０を設定する。画像処理装置１００は、設定した人物探索ウィンドウ８０内から人物領域を探索し、入力画像６０内から人物領域を検出する。

　このように、画像処理装置１００は、人物領域を検出する前に、頭部の周辺領域の特徴量から人体方向を特定する。人体方向に応じて人物探索ウィンドウ８０が設定されることにより、画像処理装置１００は、人物探索ウィンドウを小刻みに回転させながら人物領域を検索する必要がなくなり、関連技術に従う人物検出処理に比べて、計算時間を大幅に短縮することが可能になる。

　　［ハードウェア構成］
　図５は、画像処理装置１００のハードウェア構成の一例を示すブロック図である。図５を参照して、画像処理装置１００のハードウェア構成について説明する。

　図５を参照して、画像処理装置１００は、主として、汎用的なアーキテクチャーを有するコンピュータ上に実装される。画像処理装置１００は、主たるコンポーネントとして、ＲＯＭ（Read　Only　Memory）１と、ＣＰＵ（Central　Processing　Unit）２と、ＲＡＭ（Random　Access　Memory）３と、カメラインターフェイス（Ｉ／Ｆ）４と、メモリーカードインターフェイス（Ｉ／Ｆ）５と、ネットワークインターフェイス（Ｉ／Ｆ）６と、記憶装置２０とを含む。

　ＲＯＭ１は、画像処理装置１００において起動時に実行される初期プログラム（ブートプログラム）などを格納する。ＣＰＵ２は、ＲＯＭ１や記憶装置２０などに格納された、オペレーティングシステム（ＯＳ：Operating　System）や画像処理プログラム２４などの各種プログラムを実行することで、画像処理装置１００の全体を制御する。ＲＡＭ３は、ＣＰＵ２でプログラムを実行するためのワーキングメモリとして機能し、プログラムの実行に必要な各種データを一次的に格納する。

　カメラＩ／Ｆ４は、ＣＰＵ２とカメラ１１０とのデータ通信を仲介する。たとえば、カメラＩ／Ｆ４は、画像バッファを含み、カメラ１１０から伝送される距離画像を一旦蓄積する。カメラＩ／Ｆ４は、少なくとも１枚分の入力画像のデータが蓄積されると、その蓄積されたデータを記憶装置２０またはＲＯＭ１へ転送する。また、カメラＩ／Ｆ４は、ＣＰＵ２が発生した内部コマンドに従って、カメラ１１０に対して撮像指令を与える。カメラ１１０、たとえば、ステレオカメラ、被写体の３次元上の位置情報を検出する距離画像センサ、その他の被写体の３次元上の位置を取得することができるカメラを含む。なお、カメラ１１０は、画像処理装置１００に組み込まれてもよく、この場合には、カメラＩ／Ｆ４は、必須の構成ではない。

　メモリーカードＩ／Ｆ５は、ＳＤ（Secure　Digital）カードやＣＦ（Compact　Flash（登録商標））カードなどの各種メモリーカード（不揮発性記憶媒体）５Ａとの間で、データの読み書きを行なう。典型的には、メモリーカードＩ／Ｆ５には、他の装置で取得した距離画像を格納したメモリーカード５Ａが装着され、そのメモリーカード５Ａから読み出された距離画像が記憶装置２０へ格納される。

　ネットワークＩ／Ｆ６は、アンテナ６Ａなどの各種の通信媒体を介して、他の装置（サーバ装置など）とデータをやり取りする。より具体的には、ネットワークＩ／Ｆ６は、イーサネット（登録商標）などの有線回線（ＬＡＮ（Local　Area　Network）やＷＡＮ（Wide　Area　Network）など）、および／または、無線ＬＡＮなどの無線回線を介してデータ通信を行なう。

　記憶装置２０は、典型的には、ハードディスクなどの大容量磁気記憶媒体などを含む。記憶装置２０は、本実施の形態に従う各種を実現するための画像処理プログラム２４を格納する。さらに、記憶装置２０には、オペレーティングシステムなどのプログラムが格納されてもよい。

　カメラ１１０は、外付けではなく、画像処理装置１００の内部に組み込まれて、画像処理装置１００本体が被写体を撮像する機能を有していてもよい。また、画像処理装置１００は、カメラに類似した機構を用いて距離画像を取得し、取得した距離画像を任意の方法で画像処理装置１００へ入力するように構成されてもよい。この場合、距離画像は、メモリーカードＩ／Ｆ５またはネットワークＩ／Ｆ６を介して画像処理装置１００に入力される。

　記憶装置２０に格納される画像処理プログラム２４は、ＣＤ－ＲＯＭ（Compact　Disk-Read　Only　Memory）などの記憶媒体に格納されて流通し、あるいは、ネットワークを介してサーバ装置などから配信される。画像処理プログラム２４は、画像処理装置１００で実行されるオペレーティングシステムの一部として提供されるプログラムモジュールのうち必要なモジュールを、所定のタイミングおよび順序で呼出して処理を実現するようにしてもよい。この場合、画像処理プログラム２４自体には、オペレーティングシステムによって提供されるモジュールは含まれず、オペレーティングシステムと協働して画像処理が実現される。

　また、画像処理プログラム２４は、単体のプログラムではなく、任意のプログラムの一部に組み込まれて提供されてもよい。このような場合にも、画像処理プログラム２４自体には、任意のプログラムにおいて共通に利用されるようなモジュールは含まれず、任意のプログラムと協働して画像処理が実現される。このような一部のモジュールを含まない画像処理プログラム２４であっても、本実施の形態に従う画像処理装置１００の趣旨を逸脱するものではない。さらに、画像処理プログラム２４によって提供される機能の一部または全部は、専用のハードウェアによって実現されてもよい。

　さらに、画像処理装置１００は、必ずしも、リアルタイムに処理を行なわなくてもよい。たとえば、少なくとも１つのサーバ装置が本実施の形態に従う処理を実現する、いわゆるクラウドサービスのような形態で画像処理装置１００が構成されてもよい。この場合、距離画像がサーバ装置（クラウド側）へ送信され、サーバ装置は、受信した距離画像に対して、本実施の形態に従う画像処理を行なう。さらに、サーバ装置側がすべての機能（処理）を行なう必要はなく、ユーザ側の端末とサーバ装置とが協働して、本実施の形態に従う画像処理を実現するようにしてもよい。

　　［機能構成］
　図６を参照して、第１の実施の形態に従う画像処理装置１００の機能構成について説明する。図６は、画像処理装置１００の機能構成の一例を示すブロック図である。画像処理装置１００は、頭部検出部２１０と、特定部２２０と、人検出部２３０とを備える。

　人の頭部は、人の体の部位の中でも非常に特徴的であるため、画像処理装置１００は、頭部の位置を、人物領域の検出時の起点として用いることができる。頭部検出部２１０は、入力画像６０内において、人物の頭部の位置を検出する。当該頭部の位置は、たとえば、入力画像６０内の座標情報として検出される。頭部検出部２１０は、検出した頭部位置を特定部２２０に出力する。

　頭部検出の具体的な手法としては、たとえば、顔データベースによるテンプレートマッチングや、Haar-Like特徴のように、目、鼻などの顔のパーツに着目した手法が挙げられる。これらの手法を用いた場合は、頭部検出部２１０は、顔のパーツの位置などから顔の向きを特定できるため、自動的に人体方向も特定し得る。しかしながら、顔の向きを特定するためには、画像処理装置１００は、顔をほぼ正面から撮影する必要がある。顔を正面から撮影できない場合には、目、鼻などの特徴的な顔のパーツが入力画像６０に写らないため、頭部検出部２１０は、顔の向きを特定できない可能性がある。また、頭部検出部２１０は、顔のパーツ間の位置関係を合わせるために、顔検出用のテンプレートを小刻みに回転させながら頭部の探索を行なう必要があり、この場合には、計算時間がかかる可能性がある。

　このため、好ましくは、頭部検出部２１０は、被写体を撮影して得られた距離画像（３次元情報）を入力画像６０として用い、当該距離画像の距離の分布状況から頭部検出を行なう。すなわち、頭部検出部２１０は、顔の外形を示す球形状を距離画像内で検出する。頭部は球形状に類似するため、回転させても外形は大きく変化しない。このため、頭部検出部２１０は、球形状を検出することで、頭部検出用のテンプレートを回転させること無く頭部位置を検出することができる。したがって、頭部検出部２１０は、高速かつ安定的な頭部検出処理を実現できる。

　なお、頭部検出部２１０が実行する処理は、上記に限定されるわけではなく、入力画像６０から頭部の位置を検出することが可能な処理であればいずれであってもよい。たとえば、頭部検出部２１０は、球形状ではなく、頭部形状のモデルを用いて頭部検出を行なってもよい。また、頭部検出部２１０は、カメラから頭部までの距離情報を用いてもよい。頭部検出部２１０は、頭部形状のモデル、または、頭部までの距離情報を用いて頭部を検出することで、入力画像６０上における頭部のサイズを正確に検出することが可能になる。さらに、頭部検出部２１０は、輝度画像内に写っている顔の外形エッジを検出して入力画像６０内から頭部の位置を検出してもよい。この場合は、頭部検出部２１０は、顔の外形を示す円形状を入力画像６０内で検出する。

　特定部２２０は、頭部検出部２１０により検出された頭部の位置の周辺画像領域から抽出した特徴量を用いて、入力画像６０内における、頭部とその他の部位との相対的な位置関係を特定する。典型的には、特定部２２０は、当該位置関係として、頭部に対する胴体の方向を示す人体方向を特定する。特定部２２０は、特定した人体方向を人検出部２３０に出力する。特定部２２０の人体方向を特定する方法の詳細については後述する。

　人検出部２３０は、頭部検出部２１０による頭部検出結果、および特定部２２０によって特定された人体方向を用いて、入力画像６０から人物領域の検出を行なう。たとえば、人検出部２３０は、処理時間を短縮するために、特定部２２０により特定された人体方向に応じて、探索する方向および領域の少なくとも一方を限定して人物領域を検出する。検出された人物領域は、たとえば、入力画像６０内の座標情報として示される。

　より具体的な処理手順としては、人検出部２３０は、人物領域の探索に用いるテンプレート、および、入力画像６０のいずれか一方を特定した人体方向に応じて回転するとともにマッチング処理を行なうことで入力画像６０内の人物領域を検出する。当該テンプレートには、人の立ち姿勢を写した画像から抽出された、エッジ情報、ＨＯＧ（Histogram　of　Oriented　Gradient）、またはその他の特徴量が含まれる。典型的には、人検出部２３０は、当該テンプレートを、頭部位置を基準として、特定した人体方向に沿った方向に回転させて人物検出処理を実行する。

　また、人検出部２３０は、入力画像６０内における走査方向を人体方向から特定できるため、既存の人検出処理を殆どそのまま適用することができる。すなわち、人検出部２３０は、既存の人検出処理を適用したとしても、テンプレートまたは入力画像６０などを都度回転させる必要が無く、計算量の増大を防ぐことができる。また、人検出部２３０は、距離画像における凸形状を追尾して人物を検出することで人物領域を検出してもよい。

　［特定部２２０の詳細］
　　（特定部２２０の概要）
　以下、図７～図１１を参照して、特定部２２０の具体的な処理について説明する。特定部２２０は、頭部検出部２１０の検出結果を用いて入力画像６０から人体方向を判定する。人の頭部と胴体とは首で繋がっており、頭部と胴体との位置関係は、首を傾けることで多少変化するものの、頭部の周囲に胴体が存在するという位置関係は不変である。

　特定部２２０では、頭部と胴体との人体部位間の連続性を用いて人体方向を特定する。すなわち、特定部２２０は、頭部の周辺画像領域において抽出した特徴量から人物の胴体を示す特徴量を探索し、頭部に対する胴体の方向を人体方向として特定する。特定部２２０による人体方向の特定処理については、様々な方法が考えられる。以下では、頭部検出部２１０による人体方向の特定処理の具体例について順に説明する。

　なお、以下の具体例では、人物が寝ている姿勢をとっている場合の人体方向の特定方法について説明を行なうが、立っている姿勢を取っている場合、その他の姿勢を取っている場合であっても、特定部２２０は、人体の方向を特定することができる。

　　（特定部２２０の処理の具体例１）
　図７～図９を参照して、特定部２２０の処理の一例について説明する。図７は、人物を撮影して得られた入力画像から人体方向を特定する処理についての概略を示した概念図である。図８は、頭部周辺において探索する領域を視覚的に示した図である。図９は、距離情報を用いて人体方向を特定する処理についての概略を示した概念図である。なお、図９においては、説明を簡単にするために、被写体の位置が、位置（ｘ軸）および距離（ｚ軸）の二次元で示されているが、実際には、特定部２２０は、ｘ軸と、ｚ軸と、ｘ軸およびｚ軸に直交するｙ軸（図示しない）とで示される三次元の情報として被写体の位置を得ることができる。

　人の胴体は、円筒形状に類似するため、頭部周辺領域に円筒形状が存在するということは、人の胴体の位置を特定するための有力な手掛かりになり得る。特定部２２０は、胴体位置または方向を検出できると、頭部位置と胴体位置との相対的な位置関係から、入力画像６０内における人体方向を特定することができる。ここで、カメラの視野には、人物の胴体表面の半分しか含まれないため、たとえば、図７に示されるように、寝ている人の距離計測結果は、人体表面に沿って半筒形状または凸形状に分布する。このため、特定部２２０は、人の胴体を半筒形状または凸形状とみなす。すなわち、特定部２２０は、頭部に隣接する領域において、半筒形状または凸形状を探索することで、人体方向を特定することができる。なお、以下で、「半筒形状」という用語を用いた場合には、「凸形状」という概念も含み得る。また、「凸形状」という用語を用いが場合には、「半筒形状」という概念も含み得る。

　また、特定部２２０は、頭部検出部２１０によって検出された入力画像６０内の頭部の位置を基準にして胴体を探索する領域（すなわち、胴体探索ウィンドウ７０）を決定する。特定部２２０は、たとえば、図８に示されるように、人物５０の頭部の周辺領域７４内で人の半筒形状を探索する。図８に示される例おいては、頭部の紙面下側において胴体が検出される。特定部２２０は、頭部に対する胴体の方向を人体方向として特定する。あるいは、特定部２２０は、半筒形状の軸方向を人体方向として特定する。

　距離画像から凸形状を探索する際には、図９に示されるように、特定部２２０は、ベッド平面に対する距離情報を用いる。人の身体は、ベッド面においては、半筒形の凸形状の距離分布を有すると考えられる。このため、特定部２２０は、頭部周辺において、凸形状の距離分布を持つ領域を探索することで、胴体の方向を特定できる。

　　（特定部２２０の処理の具体例２）
　図１０を参照して、特定部２２０の処理の具体例について説明する。図１０は、距離画像から算出した被写体表面に対する法線情報を用いて人体方向を特定する処理についての概略を示した図である。なお、図１０においては、説明を簡単にするために、被写体の位置が、位置（ｘ軸）および距離（ｚ軸）の二次元で示されているが、実際には、特定部２２０は、位置（ｘ軸、ｙ軸）および距離（ｚ軸）の三次元の情報として被写体の位置を得ることができる。

　その他の人体方向の特定方法としては、被写体表面の法線情報を用いる方法が考えられる。上述したように、人の胴体は凸形状を有することから、胴体表面の法線は、図１０に示されるように、扇形に分布すると考えられる。つまり、特定部２２０は、頭部周辺の画像領域から扇形の法線分布を探索することで、胴体の方向を特定できる。

　より具体的な処理手順としては、特定部２２０は、頭部の周辺画像領域から、被写体の表面に対する法線ベクトルの分布を抽出する。特定部２２０は、抽出した法線ベクトルの分布において、人の胴体の表面に対する法線ベクトルの分布を存在する方向から人体方向を特定する。ここでいう「人の胴体の表面に対する法線ベクトルの分布」は、たとえば、半筒形表面に対する法線ベクトルの分布、予め学習して得られた人の胴体形状に対する法線ベクトルの分布、およびその他の胴体を示す法線ベクトル分布を含む。

　典型的には、特定部２２０は、頭部周辺の画像領域から、人の胴体の表面に対する法線ベクトルの分布が存在する領域を人の胴体領域として検出し、頭部位置に対する胴体領域の方向を人体方向として特定する。なお、特定部２２０は、頭部位置を用いずに、検出した胴体領域における法線ベクトルの分布から人体方向または胴体方向を特定してもよい。

　このように、特定部２２０は、距離画像から算出した法線情報を用いることで、距離情報をそのまま用いる場合に比べて、布団などによる距離変化の影響を低減することができる。すなわち、特定部２２０は、ノイズの影響を低減することができ、安定的な検出を実現することが可能になる。また、特定部２２０が法線情報を用いることで、人の立体形状を用いた高精度な判定が可能になる。

　　（特定部２２０の処理の具体例３）
　特定部２２０の処理のさらに他の例としては、距離差情報を用いる方法が挙げられる。たとえば、頭部と胴体とのベッド平面からの距離が同じである点に着目して、特定部２２０は、頭部周辺においてベッド平面からの距離を算出し、当該距離が、所定の値よりも小さい領域を多く含む方向を胴体方向と判定する。当該所定の値は、たとえば、人体および布団の厚みから決定されてもよい。あるいは、当該所定の値は、人体および布団の厚みの値をそのまま用いてもよい。

　より具体的には、特定部２２０は、被写体の表面上の各点までの距離からなる距離画像を用いてベッド平面に対する相対距離を算出する。すなわち、特定部２２０は、頭部周辺における被写体の各点からベッド平面までの距離を算出する。これにより、特定部２２０は、頭部周辺における被写体の各点からベッド平面までの相対距離を特徴量として抽出する。特定部２２０は、抽出した特徴量を用いて、所定値よりも小さい相対距離を有する画素を一定数以上有する領域の方向から人体方向を特定する。典型的には、特定部２２０は、所定値よりも小さい値を有する画素を一定数以上有する領域を人の胴体領域として検出し、頭部位置に対する胴体領域の方向を人体方向として特定する。なお、特定部２２０は、頭部位置を用いずに、検出した胴体領域の形状から人体方向または胴体方向を特定してもよい。

　このように、特定部２２０は、ベッド平面からの相対距離を用いることで、背景領域などの人物領域とは関係のない領域を効率的に除外でき、人体方向を高精度に特定することが可能になる。

　なお、上記では、特定部２２０は、ベッド平面からの相対距離を用いて人体方向を特定したが、頭部の周辺画像領域において、頭部からの相対距離を用いて人体方向を特定してもよい。より具体的には、特定部２２０は、被写体の表面上の各点までの距離からなる距離画像を用いて頭部に対する相対距離を算出する。すなわち、特定部２２０は、頭部周辺における被写体の各点における距離から頭部位置における距離を差分する。これにより、特定部２２０は、頭部周辺における被写体の頭部に対する相対距離を特徴量として抽出する。特定部２２０は、抽出した特徴量を用いて、所定値よりも小さい相対距離を有する画素を一定数以上有する領域の方向から人体方向として特定する。典型的には、特定部２２０は、所定値よりも小さい値を有する画素を一定数以上有する領域を人の胴体領域として検出し、頭部位置に対する胴体領域の方向を人体方向として特定する。なお、特定部２２０は、頭部位置を用いずに、検出した胴体領域の形状から人体方向または胴体方向を特定してもよい。

　　（特定部２２０の処理の具体例４）
　特定部２２０の処理のさらに他の例として、入力画像６０（距離画像）から背景距離画像を差分した背景差分情報を用いる方法が挙げられる。人物は、背景とは非連続であることに着目して、特定部２２０は、頭部周辺の画像領域と、背景距離画像との距離差が、所定の値よりも大きい領域を多く含む方向を胴体方向と判定する。

　より具体的には、特定部２２０は、人物が含まれないときの背景を撮影して得られた背景距離画像を、あるタイミングで取得された距離画像から差分して得られる、背景からの距離差を特徴量として抽出する。そして、特定部２２０は、頭部の周辺画像領域において、所定値よりも大きい距離差を有する領域の方向を人体方向として特定する。典型的には、特定部２２０は、所定値よりも大きい距離差を有する画素を一定数以上有する領域を人の胴体領域として検出し、入力画像６０内の頭部位置に対する胴体領域の方向を人体方向として特定する。なお、特定部２２０は、頭部位置を用いずに、検出した胴体領域の形状から人体方向または胴体方向を特定してもよい。

　背景距離画像としては、たとえば、カメラの視野に人物が含まれない場合に予め撮影して得られた画像が用いられる。あるいは、背景距離画像として、頭部検出部２１０が入力画像６０内で頭部を検出していないタイミングで撮影して得られた画像が用いられてもよい。このように、特定部２２０は、背景差分して得られた距離画像を用いることで、背景領域などの人物領域とは関係のない領域を効率的に除外でき、人体方向を高精度に特定することが可能になる。

　　（特定部２２０の処理の具体例５）
　図１１を参照して、特定部２２０の処理のさらに他の具体例について説明する。図１１は、入力画像６０から取得したエッジ情報を用いて人体方向を特定する処理についての概略を示した概念図である。

　人体方向を特定するための方法として、他にも、入力画像６０（距離画像）から取得したエッジ情報を用いる方法が考えられる。人の胴体を円筒形と考えた場合、カメラ１１０から被写体までの距離は、人の胴体の両脇で急激に変化する。すなわち、２本の平行な長い距離エッジが胴体の両脇に生じると考えられる。このため、図１１に示されるように、特定部２２０は、頭部に隣接する画像領域において、２本の平行な長い距離エッジを探索することで、胴体の方向を求めることができる。すなわち、特定部２２０は、頭部の周辺画像領域において抽出したエッジ情報において、２本の平行するエッジが存在する方向から人体方向を特定する。

　より具体的には、特定部２２０は、入力画像６０（距離画像）からエッジ抽出を行なう。エッジ抽出は、たとえば、距離画像を微分して画素値の勾配を求めることで実現される。典型的には、特定部２２０は、微分フィルタ、プリューウィットフィルタ、ソーベルフィルタ、ラプラシアンフィルタ、ＬＯＧフィルタ、その他のエッジを抽出することが可能なフィルタなどを距離画像に畳み込むことでエッジ抽出を行なう。

　２本の平行なエッジの検出方法としては、たとえば、特定部２２０は、頭部周辺の画像領域のエッジ情報を特徴量として抽出し、抽出したエッジ情報を用いて、頭部周辺の画像領域に存在する直線の検出を行なう。特定部２２０は、平行している、若しくわ、類似する方向に向いている２本の直線を検出した場合には、当該２本の直線の間の領域を人の胴体領域として特定する。

　このように、特定部２２０は、エッジ情報を用いることで、距離変化や輝度変化が無い人物領域とは関係のない領域を効率的に除外でき、人体方向を高精度に特定することが可能になる。また、エッジ情報は、低解像度の画像からでも得られるため、特定部２２０は、画像が低解像度であったとしても、人体方向を特定することが可能になる。

　また、人は、寝ている時には布団や毛布を被るため、通常の画像では人体の方向を特定しにくい。このようなに人が布団を被っていたとしても、胴体表面が凸形状を有するという点は不変であるため、距離画像を用いた手法は有効である。

　　（特定部２２０の処理の具体例６）
　特定部２２０の処理のさらに他の例として、輝度値からなる画像（すなわち、輝度画像）を用いた方法が挙げられる。特定部２２０は、距離画像を用いた場合とは異なり、輝度画像を入力画像６０として用いた場合には、立体形状を得ることができないために凸形状を探索することは難しい。しかしながら、特定部２２０は、身体らしい特徴を輝度画像から探索することで、人体方向を特定することができる。

　より具体的には、特定部２２０は、輝度画像から抽出した輝度エッジを用いる方法が考えられる。胴体を円筒形と考えた場合、カメラからの距離は、胴体の両脇で急激に変化する。胴体の両脇で距離が変化するということは、その両脇で輝度が変化する可能性も高い。すなわち、輝度画像であっても、胴体の両脇で２本の平行なエッジを観測することができる。特定部２２０は、頭部の周辺画像領域において抽出したエッジ情報において、２本の平行するエッジが存在する方向から人体方向を特定する。

　また、人が布団を被っていた場合であっても、胴体の両脇においてある程度は、輝度変化が発生する。このため、たとえ、人が布団を被っていた場合などであっても、距離画像と同様に２本の平行なエッジが見られる。

　　（特定部２２０の処理の具体例７）
　特定部２２０の処理のさらに他の例として、輝度差分情報を用いた方法が挙げられる。特定部２２０は、ベッドなどを写した背景画像が予め得られる場合には、背景とは異なる部分を検出することで人物領域を特定することができる。すなわち、特定部２２０は、頭部周辺において背景との輝度差が所定の値よりも大きい領域を多く含む方向を胴体方向と判定する。

　より具体的には、特定部２２０は、人物が含まれないときの背景を撮影して得られた輝度画像を、あるタイミングで取得された輝度画像から差分した背景からの輝度差を特徴量として抽出する。そして、特定部２２０は、頭部の周辺画像領域において、所定値よりも大きい輝度差を有する領域の方向から人体方向を特定する。典型的には、特定部２２０は、所定値よりも大きい輝度差を有する画素を一定数以上有する領域を人の胴体領域として検出し、頭部位置に対する胴体領域の方向を人体方向として特定する。なお、特定部２２０は、検出した胴体領域の形状から人体方向または胴体方向を特定してもよい。

　　（特定部２２０の処理の具体例８）
　他にも、特定部２２０は、頭部の周辺領域を探索する際に、人体の形状モデルやベッドの配置などの事前知識を活用してもよい。ベッドの配置が既知の場合、頭は枕の側に通常存在し、長辺方向の何処かに胴体があると思われるため、探索範囲をその分限定することができる。

　　（特定部２２０の処理の具体例９）
　他にも、特定部２２０は、上記の処理の具体例１～８に記載の複数の処理を組み合わせて、これらの複数の処理結果を統合して、入力画像６０内において人体方向を特定してもよい。たとえば、特定部２２０は、頭部周辺の画像領域に、半筒形状を探索するとともに、２本の平行なエッジを探索することで人体方向を特定する。このように、特定部２２０は、複数の処理を組み合わせることで、より正確に人体方向を特定することが可能になる。

　　［フローチャート］
　図１２を参照して、画像処理装置１００の制御構造について説明する。図１２は、画像処理装置１００が実行する処理の一部を表わすフローチャートである。図１２の処理は、ＣＰＵ２がプログラムを実行することにより実現される。他の局面において、処理の一部又は全部が、回路素子その他のハードウェアによって実行されてもよい。

　ステップＳ５１０において、ＣＰＵ２は、入力画像を取得する。典型的には、ＣＰＵ２は、距離画像または輝度画像を入力画像として取得する。ステップＳ５１２において、ＣＰＵ２は、頭部検出部２１０として、取得した入力画像内において、人物の頭部の位置を検出する。ステップＳ５２０において、ＣＰＵ２は、頭部検出部２１０として、入力画像内において人の頭部を検出したか否かを判断する。ＣＰＵ２は、頭部を検出したと判断した場合には（ステップＳ５２０においてＹＥＳ）、制御をステップＳ５２２に切り替える。そうでない場合には（ステップＳ５２０においてＮＯ）、ＣＰＵ２は、制御をステップＳ５１０に戻す。

　ステップＳ５２２において、ＣＰＵ２は、特定部２２０として、検出した頭部の位置の周辺画像領域から抽出した特徴量を用いて、入力画像内における人体方向を特定する。ステップＳ５２４において、ＣＰＵ２は、人検出部２３０として、特定した人体方向に応じて、探索する方向および領域の少なくとも一方を限定して入力画像内を探索し、人物領域を検出する。

　ステップＳ５３０において、ＣＰＵ２は、本実施の形態に従う画像処理を終了するか否かを判断する。ＣＰＵ２は、たとえば、当該画像処理を終了するユーザ操作を受けた場合に、当該画像処理を終了する。ＣＰＵ２は、本実施の形態に従う画像処理を終了すると判断した場合には（ステップＳ５３０においてＹＥＳ）、当該画像処理を終了する。そうでない場合には（ステップＳ５３０においてＮＯ）、ＣＰＵ２は、ステップＳ５１０からステップＳ５３０までの処理を再度順に実行する。

　［利点］
　以上のようにして、本実施の形態に従う画像処理装置１００は、入力画像内における人体方向を特定し、人体方向に応じて人物領域を検出することができるので、カメラと人物との位置関係に依らずに人物を検出することができるようになる。また、画像処理装置１００は、比較的計算量が少ない処理で入力画像内における人物の方向を特定できる。これにより、画像処理装置１００は、人物探索ウィンドウを逐次回転させながら人物領域を探索する必要がなくなるため、計算時間を大幅に短縮することが可能になる。

　＜第２の実施の形態＞
　［概要］
　以下、第２の実施の形態に従う画像処理装置１００Ａの概要について説明する。本実施の形態に従う画像処理装置１００Ａは、入力画像内における胴体領域および人物領域の探索範囲を適宜変更する点で第１の実施の形態に従う画像処理装置１００と異なる。なお、ハードウェア構成については第１の実施の形態に従う画像処理装置１００と同じであるので説明を繰り返さない。

　人体の各部位のサイズは、頭部のサイズとある程度相関している。このため、頭部に対する人体部位（特に、胴体部）のサイズまたは比率は、頭部のサイズからある程度定められ得る。この点に着目して、画像処理装置１００Ａは、特定した頭部のサイズと頭部の位置とのうち少なくとも一方に応じて、人体方向を探索するための胴体探索ウィンドウ７０（図４参照）のサイズを適宜変更する。これにより、画像処理装置１００Ａは、人物が写っていない領域を除外して、人体方向を特定することができる。すなわち、画像処理装置１００Ａは、人体方向の特定にかかる処理時間を大幅に短縮することができ、さらには、人体方向の誤検出を減らすことができる。

　また、画像処理装置１００Ａは、人体方向だけでなく、頭部のサイズ、頭部の位置、胴体部の位置のうち少なくとも１つの情報を用いて、人物領域を検出するための人物探索ウィンドウ８０（図４参照）のサイズを適宜変更する。これにより、画像処理装置１００Ａは、人物が写っていない領域を除外して、人物領域を探索することができる。すなわち、画像処理装置１００Ａは、人物領域の検出にかかる処理時間を大幅に短縮することができ、さらには、人物領域の誤検出を減らすことができる。

　［機能構成］
　図１３を参照して、第２の実施の形態に従う画像処理装置１００Ａの機能構成について説明する。図１３は、画像処理装置１００Ａの機能構成の一例を示すブロック図である。画像処理装置１００Ａは、頭部検出部２１０と、特定部２２０と、人検出部２３０とを備える。特定部２２０は、胴体探索ウィンドウ７０を入力画像６０内に設定するための領域設定部２２２を含む。人検出部２３０は、人物探索ウィンドウ８０を入力画像６０内に設定するための領域設定部２３２を含む。

　頭部検出部２１０は、入力画像６０内における頭部位置を上述した方法で検出するとともに、入力画像６０内における頭部のサイズを検出する。頭部検出部２１０は、頭部位置の検出に付随して頭部のサイズを得ることができる。たとえば、頭部検出部２１０は、テンプレートマッチング処理などの頭部検出処理におけるテンプレートの拡大率、またはテンプレートのサイズなどから頭部のサイズを検出する。入力画像６０内における頭部のサイズは、たとえば、頭部領域に含まれる画素数、頭部直径などで示される。

　領域設定部２２２は、頭部検出部２１０から得た頭部のサイズに応じて、特徴量を抽出する頭部の周辺画像領域（すなわち、胴体探索ウィンドウ７０）のサイズを決定する。領域設定部２２２の処理の詳細については後述する。特定部２２０は、領域設定部２２２により入力画像６０内に設定された胴体探索ウィンドウ７０内を探索して人体方向を特定する。

　領域設定部２３２は、入力画像６０内の胴体の位置、および、入力画像６０内の頭部の位置の少なくとも一方に応じて、人物領域を探索する領域を限定して人物領域を検出する。典型的には、頭部検出部２１０から得た頭部位置、および胴体位置を含むように人物探索ウィンドウ８０を入力画像６０内において設定する。領域設定部２３２の処理の詳細については後述する。人検出部２３０は、領域設定部２３２により入力画像６０内に設定された人物探索ウィンドウ８０内を探索して人体領域を検出する。

　　（領域設定部２２２の処理の詳細）
　図１４および図１５を参照して、領域設定部２２２による胴体領域の探索範囲の限定方法の詳細について説明する。図１４は、頭部の位置に応じて胴体探索ウィンドウ７０の形状を決定する処理の概略を示した概念図である。図１５は、頭部のサイズに応じて胴体探索ウィンドウ７０のサイズを決定する処理の概略を示した概念図である。

　図１４の姿勢（Ａ）に示されるように、人体の各部位のサイズは、頭部のサイズとある程度相関している。このため、画像処理装置１００Ａは、頭部に対する人体部位（たとえば、胴体部）のサイズまたは比率は、頭部のサイズからある程度推定できる。これに着目して、領域設定部２２２は、頭部に連なる領域に適した形状の胴体探索ウィンドウ７０を設定する。より具体的には、領域設定部２２２は、頭部サイズに応じて、胴体探索ウィンドウ７０の位置およびサイズの少なくとも一方を決定する。たとえば、図１４の姿勢（Ｂ）に示されるように、領域設定部２２２は、頭部周辺において、一端に頭部位置を含むように胴体探索ウィンドウ７０Ａ～７０Ｈを設定する。

　また、領域設定部２２２は、頭部周辺の探索においては人体の形状モデルを用いることで、探索範囲やウィンドウサイズを限定してもよい。さらに、領域設定部２２２は、胴体部と判断する凸形状の大きさや凸形状の半径を、頭部のサイズに応じて限定してもよい。モデルのような事前知識を用いて、探索範囲、胴体探索ウィンドウサイズ、認識する凸形状の条件などを限定することで、人の胴体のサイズに合わせたウィンドウの設定や人体ではない凸形状の影響を排除することが可能となる。

　また、領域設定部２２２は、図１５に示されるように、頭部のサイズに応じて胴体探索ウィンドウ７０のサイズを変えるように構成されてもよい。上述のように、頭部のサイズに対する人の他の部位のサイズや比率などを、頭部サイズから事前に推定することができる。このため、領域設定部２２２は、頭部のサイズから胴体探索範囲や胴体部探索ウィンドウサイズといったパラメータを変更して探索を行なうこともできる。画像処理装置１００Ａは、頭部のサイズに合わせてパラメータを最適化することができるため、たとえば、倍率の変動や体格差などによる胴体探索ウィンドウ７０のサイズの変化にも対応することが可能になる。

　典型的には、図１５の姿勢（Ａ）に示されるように、胴体探索ウィンドウ７０のサイズは、入力画像６０内の頭部サイズが大きくなればなるほど大きくなるように領域設定部２２２により設定される。または、図１５の姿勢（Ｂ）に示されるように、胴体探索ウィンドウ７０の領域のサイズは、入力画像６０内の頭部サイズが小さくなればなるほど小さくなるように領域設定部２２２により設定される。

　なお、上記では胴体探索ウィンドウ７０のサイズを変える例について説明を行なったが、領域設定部２２２は、胴体探索ウィンドウ７０のサイズを一定にしたまま入力画像６０自体のサイズを拡大または縮小するように構成されてもよい。

　　（領域設定部２３２の処理の詳細）
　図１６を参照して、領域設定部２３２による人物領域の探索範囲の限定方法について説明する。図１６は、人体方向だけでなく、入力画像内の頭部のサイズ、頭部の位置、胴体部の位置のうち少なくとも１つに応じて人物探索ウィンドウ８０を設定する処理の概略を示した概念図である。

　図１６に示されるように、領域設定部２３２は、特定部２２０により特定された人体方向に応じて人物領域を設定する。典型的には、領域設定部２３２は、当該人体方向に沿って人物探索ウィンドウ８０の方向を決定する。

　また、領域設定部２３２は、人物探索ウィンドウ８０の位置を、入力画像６０内の頭部位置および胴体位置に応じて決定する。典型的には、領域設定部２３２は、人物探索ウィンドウ８０の位置を、入力画像６０内の頭部位置および胴体位置を含むように人物探索ウィンドウ８０を設定する。

　なお、領域設定部２３２は、入力画像６０内の頭部サイズに応じて、人物探索ウィンドウ８０のサイズを決定してもよい。典型的には、図１６の姿勢（Ａ）に示されるように、人物探索ウィンドウ８０のサイズは、入力画像６０内の頭部サイズが大きくなればなるほど大きくなるように領域設定部２３２により設定される。または、図１６の姿勢（Ｂ）に示されるように、人物探索ウィンドウ８０の領域のサイズは、入力画像６０内の頭部サイズが小さくなればなるほど小さくなるように領域設定部２３２により設定される。

　このように、領域設定部２３２は、人体方向だけでなく、頭部の位置、胴体の位置、頭部のサイズに応じて人物探索ウィンドウ８０を設定するため、人物とは関係のない画像領域を検索対象領域から除外することができる。これにより、処理時間を大幅に短縮することができ、さらには、人物領域の誤検出を減らすことが可能になる。

　なお、上記では人物探索ウィンドウ８０のサイズを変える例について説明を行なったが、領域設定部２３２は、人物探索ウィンドウ８０のサイズを一定にしたまま入力画像６０自体のサイズを拡大または縮小するように構成されてもよい。

　［フローチャート］
　図１７を参照して、画像処理装置１００Ａの制御構造について説明する。図１７は、画像処理装置１００Ａが実行する処理の一部を表わすフローチャートである。図１７の処理は、ＣＰＵ２がプログラムを実行することにより実現される。他の局面において、処理の一部又は全部が、回路素子その他のハードウェアによって実行されてもよい。

　ステップＳ５１０において、ＣＰＵ２は、入力画像を取得する。典型的には、ＣＰＵ２は、距離画像または輝度画像を入力画像として取得する。ステップＳ５１２において、ＣＰＵ２は、頭部検出部２１０として、取得した入力画像内において、人物の頭部の位置を検出する。ステップＳ５２０において、ＣＰＵ２は、頭部検出部２１０として、入力画像内において人の頭部を検出したか否かを判断する。ＣＰＵ２は、頭部を検出したと判断した場合には（ステップＳ５２０においてＹＥＳ）、制御をステップＳ６１０に切り替える。そうでない場合には（ステップＳ５２０においてＮＯ）、ＣＰＵ２は、制御をステップＳ５１０に戻す。

　ステップＳ６１０において、ＣＰＵ２は、領域設定部２２２として、得られた頭部のサイズに応じて、人の胴体を検出するために用いられる特徴量を抽出する対象となる、頭部の周辺の画像領域（すなわち、胴体探索ウィンドウ７０）のサイズと、胴体探索ウィンドウ７０の位置を決定する。ステップＳ５２２において、ＣＰＵ２は、特定部２２０として、設定された胴体探索ウィンドウ７０内を走査し、当該胴体探索ウィンドウ７０内から抽出した特徴量を用いて人体方向を特定する。

　ステップＳ６１２において、ＣＰＵ２は、領域設定部２３２として、特定された人体方向に応じて人物探索ウィンドウ８０の方向を決定するとともに、入力画像６０内の頭部のサイズ、頭部の位置、胴体部の位置のうち少なくとも１つに応じて人物探索ウィンドウ８０の位置を決定する。

　ステップＳ６１２において、ＣＰＵ２は、領域設定部２３２として、特定された人体方向と、頭部のサイズと、頭部の位置と、胴体部の位置とのうち少なくとも１つに応じて人物領域を検出するために用いられる画像領域（すなわち、人物探索ウィンドウ８０）のサイズと位置とを決定する。ステップＳ５２４において、ＣＰＵ２は、人検出部２３０として、設定された人物探索ウィンドウ８０内を走査し、当該人物探索ウィンドウ８０内から抽出した特徴量を用いて人物領域を検出する。

　［利点］
　以上のようにして、本実施の形態に従う画像処理装置１００Ａは、胴体探索ウィンドウのサイズおよび位置を、入力画像内の頭部の位置およびサイズに適応して変更する。これにより、入力画像内における人物とは関係の無い領域を除外することができ、胴体を検出するための計算時間を大幅に短縮することが可能になる。同時に、入力画像内における人物とは関係の内領域を除外することで胴体の誤検出も減らすことができる。

　また、画像処理装置１００Ａは、人物探索ウィンドウの方向を特定した人体方向に応じて決定するとともに、人物探索ウィンドウのサイズおよび位置を、入力画像内の頭部の位置およびサイズに適応して変更する。これにより、入力画像内における人物とは関係の無い領域を除外することができ、人物領域を検出するための計算時間を大幅に短縮することが可能になる。同時に、入力画像内における人物とは関係の内領域を除外することで人物領域の誤検出も減らすことができる。

　今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

　１　ＲＯＭ、２　ＣＰＵ、３　ＲＡＭ、４　カメラＩ／Ｆ、５　メモリーカードＩ／Ｆ、５Ａ　メモリーカード、６　ネットワークＩ／Ｆ、６Ａ　アンテナ、２０　記憶装置、２４　画像処理プログラム、５０　人物、６０　入力画像、７０　胴体探索ウィンドウ、７２　位置、８０，８０Ａ～８０Ｈ　人物探索ウィンドウ、１００，１００Ａ　画像処理装置、１１０　カメラ、２１０　頭部検出部、２２０　特定部、２２２，２３２　領域設定部、２３０　人検出部。

Claims

　入力画像内において、人物の頭部の位置を検出するための頭部検出部と、
　前記頭部検出部により検出された頭部の位置の周辺画像領域から抽出した特徴量を用いて、前記入力画像内における頭部とその他の部位との相対的な位置関係を特定するための特定部と、
　前記特定部により特定された相対関係に応じて、人物領域を探索する方向と、人物領域を探索する領域とのうちの少なくとも一方を設定し、前記入力画像から人物領域を検出するための人検出部とを備える、画像処理装置。
　前記特定部は、前記頭部の周辺画像領域で抽出した特徴量から人物の胴体を示す特徴量を探索し、前記頭部に対する胴体の方向を前記相対的な位置関係として特定する、請求項１に記載の画像処理装置。
　前記入力画像は、被写体の表面上の各点までの距離からなる距離画像を含み、
　前記特定部が抽出する前記頭部の周辺画像領域の前記特徴量は、前記距離画像から抽出した、前記被写体の表面に対する法線ベクトルの分布を含み、
　前記特定部は、前記頭部周辺の画像領域の前記法線ベクトルの分布において、人の胴体の表面に対する法線ベクトルの分布が存在する方向から前記相対的な位置関係を特定する、請求項１または２に記載の画像処理装置。
　前記入力画像は、被写体の表面上の各点までの距離からなる距離画像を含み、
　前記特定部が抽出する前記頭部の周辺画像領域の前記特徴量は、前記距離画像から抽出した、前記頭部の位置からの前記被写体の相対距離を含み、
　前記特定部は、前記頭部の周辺画像領域において、前記相対距離が所定値よりも小さい画素を一定数以上有する領域が存在する方向から前記相対的な位置関係を特定する、請求項１～３のいずれか１項に記載の画像処理装置。
　前記入力画像は、被写体の表面上の各点までの距離からなる距離画像を含み、
　前記特定部が抽出する前記頭部の周辺画像領域の前記特徴量は、人物が含まれないときの背景を撮影して得られた背景距離画像を前記距離画像から差分した、背景からの距離差を含み、
　前記特定部は、前記頭部の周辺画像領域において、前記距離差が所定値よりも大きい画素を一定数以上有する領域が存在する方向から前記相対的な位置関係を特定する、請求項１～４のいずれか１項に記載の画像処理装置。
　前記特定部が抽出する前記頭部の周辺画像領域の前記特徴量は、前記入力画像から抽出した、エッジ情報を含み、
　前記特定部は、前記頭部の周辺画像領域における前記エッジ情報において、２本の平行するエッジが存在する方向から前記相対的な位置関係を特定する、請求項１～５のいずれか１項に記載の画像処理装置。
　前記頭部検出部は、前記入力画像における人物の頭部のサイズをさらに検出し、
　前記特定部は、前記頭部のサイズに応じて、前記特徴量を抽出する前記頭部の周辺画像領域のサイズを決定する、請求項１～６のいずれか１項に記載の画像処理装置。
　前記相対的な位置関係は、入力画像内における頭部に対する、その他の部位の方向を示す人体方向を含み、
　前記人検出部は、人物領域の探索に用いるテンプレート、および、前記入力画像のいずれか一方を前記人体方向に応じて回転するとともにマッチング処理を行い、前記入力画像内における人物領域を検出する、請求項１～７のいずれか１項に記載の画像処理装置。
　前記人検出部は、探索して得た前記入力画像内の胴体の位置、前記入力画像内の頭部の位置、および、前記頭部のサイズのうちの少なくとも１つに応じて、人物領域を探索する方向と、人物領域を探索する領域とのうちの少なくとも一方を限定して、前記入力画像における人物領域を検出する、請求項７または８に記載の画像処理装置。
　入力画像内において、人物の頭部の位置を検出することと、
　前記頭部の位置の周辺画像領域から抽出した特徴量を用いて、前記入力画像内における頭部とその他の部位との相対的な位置関係を特定することと、
　前記相対的な位置関係に応じて、人物領域を探索する方向と、人物領域を探索する領域とのうちの少なくとも一方を設定し、前記入力画像内で人物領域を検出することとを備える、画像処理方法。
　画像処理プログラムであって、
　前記画像処理プログラムは、コンピュータに、
　入力画像内において、人物の頭部の位置を検出することと、
　前記頭部の位置の周辺画像領域から抽出した特徴量を用いて、前記入力画像内における頭部とその他の部位との相対的な位置関係を特定することと、
　前記相対的な位置関係に応じて、人物領域を探索する方向と、人物領域を探索する領域とのうちの少なくとも一方を設定し、前記入力画像内で人物領域を検出することとを実行させる、画像処理プログラム。