以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、一実施形態における画像処理システム10の一例を示す。以下に説明するように、画像処理システム10は、一実施形態において店舗用の画像処理システムとして機能することができる。
画像処理システム10は、店舗空間160を撮像する複数の撮像装置100a−b、店舗サーバ170、通信ネットワーク150、画像処理装置110、処理結果データベース112、および端末装置180を備える。なお、以下の説明において、撮像装置100aおよび撮像装置100bを、撮像装置100と総称する場合がある。同様に、以後の説明においては、末尾の英文字など、数字符号に続く文字を省略することで、数字符号が指し示すものを総称することがある。
撮像装置100aは店舗空間160を撮像する。撮像装置100aは、店舗空間160内の人物164aおよび人物164bを、店舗空間160内の商品棚162a、商品棚162bなどとともに撮像して、動画を生成する。撮像装置100aは、店舗空間160を撮像して得られた動画を、店舗サーバ170に供給する。なお、撮像装置100bは、撮像装置100aと異なる位置に設けられている。その他の点においては、撮像装置100bの機能および動作は撮像装置100aの機能および動作と略同一であるので、撮像装置100bについては説明を省略する。
店舗サーバ170は、撮像装置100aおよび撮像装置100bから供給された動画を、画像処理装置110に向けて通信ネットワーク150に送出する。通信ネットワーク150としては、インターネットなどの電気通信回線を例示することができる。店舗サーバ170は、例えば撮像装置100の近傍に設けられる。他の形態において、店舗サーバ170は店舗空間160内に設けられてもよい。
また、店舗サーバ170は、撮像装置100の撮像動作を制御する。例えば、店舗サーバ170は、撮像装置100の撮像機能のオン/オフ、撮像レートなどを制御する。撮像装置100がズーム撮影できる場合には、店舗サーバ170は撮像装置100のズーム値を制御してもよい。また、撮像装置100の撮像方向が可変である場合には、店舗サーバ170は撮像装置100の撮像方向を制御してもよい。
画像処理装置110は、店舗空間160とは異なる空間に設けられ、撮像装置100がそれぞれ撮像した動画を、通信ネットワーク150を通じて店舗サーバ170から取得する。画像処理装置110は、動画を処理して、処理結果を端末装置180に向けて通信ネットワーク150に送出する。
なお、画像処理装置110は、処理結果を処理結果データベース112に出力してもよい。画像処理装置110は、処理結果を処理結果データベース112から読み出して、読み出した処理結果を端末装置180に送信してもよい。なお、処理結果データベース112は、画像処理装置110が有してもよい。他にも、処理結果データベース112は、画像処理装置110が設けられた空間とは異なる空間に設けられてよい。この場合、画像処理装置110は、通信ネットワーク150を介して処理結果データベース112に処理結果を送信してもよい。
端末装置180は、画像処理装置110による処理結果を、通信ネットワーク150を通じて画像処理装置110から取得する。端末装置180は、処理結果をユーザの指示に応じて加工して表示する。端末装置180は、画像処理装置110が設けられた空間とは異なる空間に設けられてよい。端末装置180は、店舗空間160の近傍または店舗空間160内に設けられてもよい。
以下に、画像処理装置110の動作の一例を概略的に説明する。画像処理装置110は、画像処理装置110が撮像した動画に含まれる複数のフレーム画像のそれぞれから、人物164が撮像されたオブジェクトを抽出する。そして、画像処理装置110は、フレーム画像の内容から、人物164の視線方向を特定する。
そして、画像処理装置110は、フレーム画像の画像領域上における人物164の視線方向から、人物164が注目している物体の像である注目オブジェクトを特定する。画像処理装置110は、特定した注目オブジェクトの領域を強調する処理を施す。例えば、画像処理装置110は、注目オブジェクトを枠で囲むなどの強調処理を動画に施す。他にも、画像処理装置110は、注目オブジェクトの領域以外の領域を低解像度化する圧縮処理を動画に施す。
そして、端末装置180は、画像処理装置110により処理された動画を取得して表示する。画像処理装置110により注目オブジェクトの領域が強調されているので、端末装置180が表示された動画を観察することで人物164がいずれの商品に興味を持ったかを容易に特定することができる。
なお、画像処理装置110は、撮像装置100aが撮像したフレーム画像から、人物164の視線方向を特定してよい。そして、画像処理装置110は、撮像装置100bが撮像したフレーム画像から、人物164が注目した物体の像である注目オブジェクトを特定してよい。この場合、異なる方向から撮像されたフレーム画像を利用することで、例えば人物164が注目した商品と人物164の正面の顔とを適切に対応づけることができる。
なお、記憶媒体90は、画像処理装置110用のプログラムを記憶している。記憶媒体90が記憶しているプログラムは、本実施形態に係る画像処理装置110として機能するコンピュータなどの電子情報処理装置に提供される。当該コンピュータが有するCPUは、当該プログラムの内容に応じて動作して、当該コンピュータの各部を制御する。CPUが実行するプログラムは、本図および以後の図に関連して説明される画像処理装置110などとして当該コンピュータを機能させる。
記憶媒体90としては、CD−ROMの他に、DVDまたはPD等の光学記録媒体、MOまたはMDなどの光磁気記録媒体、テープ媒体またはハードディスク装置などの磁気記録媒体、半導体メモリ、磁気メモリなどを例示することができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはRAM等の記憶装置が記憶媒体90として機能することもできる。
また、記憶媒体90は、画像処理システム10用のプログラムを記憶してよい。画像処理システム10用のプログラムは、画像処理装置110の他に、本図および以後の図に関連して説明される処理結果データベース112、店舗サーバ170、端末装置180、および撮像装置100の少なくともいずれかとして、コンピュータを機能させることができる。
図2は、画像処理装置110のブロック構成の一例を示す。画像処理装置110は、画像取得部200、特徴領域特定部202、視線特定部204、視線領域解析部220、画像処理部230、撮像範囲情報格納部240、および出力部290を有する。視線領域解析部220は、視線領域特定部222、対象領域特定部224、時間特定部226、選択部228を含む。
画像取得部200は、撮像装置100が撮像した動画を、通信ネットワーク150を通じて店舗サーバ170から取得する。このように、画像取得部200は、複数の撮像装置100がそれぞれ撮像したフレーム画像を取得する。なお、フレーム画像は、この発明において画像取得部200が取得する画像の一例であって、画像取得部200が取得する画像は、静止画であってもよい。画像取得部200が取得した動画は、視線特定部204および特徴領域特定部202、および画像処理部230に供給される。
視線特定部204は、フレーム画像内に撮像されている人物の視線方向を特定する。ここで、視線特定部204は、フレーム画像の画像領域における視線方向を特定してよい。視線特定部204が特定した視線方向は、視線領域解析部220に供給される。
視線領域特定部222は、撮像装置100により撮像されたフレーム画像における、人物の視線方向の領域が撮像された画像領域である視線領域を特定する。対象領域特定部224は、人物の視線方向に基づき、人物の視線方向の画像領域のうち、人物が見た対象物が撮像された画像領域である視線領域を特定する。例えば、対象領域特定部224は、人物の視線方向の画像領域のうち、人物が見た予め定められた特定の対象物が撮像された画像領域を視線領域として特定する。
例えば、対象領域特定部224は、人物の視線方向およびフレーム画像として撮像された空間の情報である撮像空間情報に基づき、視線領域を特定することができる。他にも、対象領域特定部224は、人物の視線方向に存在する特定の対象物のオブジェクトを抽出することによって、視線領域を特定してもよい。例えば、特定の対象物は、店舗内の特定の商品であってよい。
なお、撮像範囲情報格納部240は、撮像空間情報を格納している。具体的には、撮像範囲情報格納部240は、店舗空間160内の商品棚162などのレイアウト情報、および、複数の撮像装置100のそれぞれが撮像する撮像範囲を特定する情報を格納している。例えば、撮像範囲情報格納部240は、複数の撮像装置100の位置および複数の撮像装置100のそれぞれの撮像方向を含む撮像範囲情報を格納してよい。対象領域特定部224は、撮像範囲情報格納部240が格納している撮像空間情報に基づき、視線領域を特定することができる。
選択部228は、視線特定部204が特定した視線方向の領域が撮像されたフレーム画像を選択する。このとき、選択部228は、複数の撮像装置100がそれぞれ撮像した複数のフレーム画像の中から、視線方向の領域が撮像されたフレーム画像を選択してよい。視線領域特定部222は、選択部228が選択したフレーム画像における視線領域を特定してよい。また、対象領域特定部224は、選択部228が選択したフレーム画像から、人物が見た対象物が撮像された画像領域である視線領域を特定してよい。
画像処理部230は、対象領域特定部224が特定した視線領域を、他の画像領域の画像より強調する。具体的には、画像処理部230は、視線領域を、他の画像領域より小さい強度で圧縮する。
出力部290は、画像処理部230が圧縮して得られた画像を出力する。このとき、出力部290は、人物を特定する情報と、人物の視線方向の領域に撮像された領域とを対応づけて出力してよい。例えば、人物が撮像された領域を特定する座標情報と、人物の視線方向の領域に撮像された領域を特定する座標情報とを対応づけて出力してよい。
画像処理装置110によると、視線領域が他の画像領域より強調されたフレーム画像を提供することができる。このため、人物の視線の先に存在する物体が何であるかが一見して分かる動画を提供することができる。
なお、他の画像領域とは、視線領域以外の全画像領域であってよいが、視線領域以外の一部の画像領域であってもよい。例えば、他の画像領域とは、視線領域以外の画像領域のうち、人物が撮像された領域以外の画像領域であってよい。
特徴領域特定部202は、画像における特徴的な領域である特徴領域を特定する。画像処理部230は、特徴領域特定部202が特定した特徴領域および視線領域を、他の領域より小さい強度で圧縮してよい。例えば、特徴領域特定部202は、予め定められた条件に適合するオブジェクトを含む領域を、特徴領域として特定してよい。より具体的には、特徴領域特定部202は、人物のオブジェクトを含む領域を、特徴領域として特定してよい。
ここで、視線特定部204は、特徴領域特定部202が特定したオブジェクトが示す人物の視線方向を特定してよい。このため、画像処理装置110によると、人物が注目している商品の画像情報量と、当該人物の画像情報とを維持しつつ、画像のデータ量を削減することができる。このため、どのような人物が何の商品に興味を持ったかを後で容易に特定することができる。このように、画像処理装置110によると、顧客の年齢・性別を分析したり、顧客の購買動向を分析したりするのに有用な画像データを提供することができる。
時間特定部226は、人物が上記視線方向を向いていた時間長さである注視時間を特定する。例えば、注視時間とは、人物が上記視線方向を継続して向いていた時間長さであってよい。上記視線方向を継続して向いていた時間長さとは、人物の視線が上記視線方向に完全に一致していた時間長さを意味しているのではなく、人物の視線が上記視線方向に略一致する方向に向いていた時間長さであってよい。言い換えると、注視時間とは、視線方向の角度変化幅が所定値より小さい期間の時間長さであってよい。
他にも、時間特定部226は、人物の視線が上記視線方向に向いていた複数の期間の合計の時間長さを、注視時間として特定してもよい。そして、画像処理部230は、当該注視時間さが長いほど、視線領域をより強調してよい。例えば、画像処理部230は、当該注視時間さが長いほど、視線領域をより小さい強度で圧縮してよい。このように、画像処理装置110によると、注視時間が長いほど人物が注視した領域の画像情報を多くすることができるので、人物がより強く興味を抱いた物体を適切に解析することができる。
以上説明したように、視線特定部204が動画内に撮像されている人物の視線方向を特定して、視線領域解析部220が、視線方向に基づき動画における視線領域を特定する。そして、画像処理部230は、動画における視線領域を、他の画像領域より小さい強度で圧縮する。
図3は、視線領域および特徴領域の一例を示す。フレーム画像300は、画像取得部200が取得した動画の一フレームを示す。フレーム画像300には、人物オブジェクト350および商品台オブジェクト360が含まれている。
特徴領域特定部202は、フレーム画像300の画像内容から、人物が撮像された領域を抽出することにより、人物のオブジェクトである人物オブジェクト350を抽出する。特徴領域特定部202は、テンプレートマッチングなどの種々の方法を用いて人物オブジェクト350を抽出することができる。
特徴領域特定部202は、人物の頭部のオブジェクトを含む頭部領域310を、特徴領域として特定する。また、特徴領域特定部202は、人物の体部のオブジェクトを含む体部領域320を、特徴領域として特定する。
視線特定部204は、人物オブジェクト350中の頭部のオブジェクトの領域から、人物オブジェクト350の人物の視線方向380を特定する。例えば、視線特定部204は、頭部のオブジェクト中における目のオブジェクトの位置、目のオブジェクトと他のオブジェクトとの間の位置関係などに基づき、視線方向を特定してよい。
例えば、視線特定部204は、頭部のオブジェクト中において右よりに目のオブジェクトが存在している場合には、フレーム画像300において右方に向かう向きを視線方向として特定することができる。また、頭部のオブジェクト中に、口、鼻、耳など、頭部のオブジェクト中においてランドマークとなり得る特定オブジェクトが含まれている場合には、視線特定部204は、当該特定オブジェクトと目のオブジェクトとの間の位置関係に基づき、視線方向を判断することもできる。なお、視線特定部204は、目のオブジェクトが含まれていない場合であっても、特定オブジェクトの位置関係に基づき顔の向きを判断できる場合には、当該顔の方向を視線方向として特定してもよい。
なお、視線特定部204は、目のオブジェクトの画像内容にさらに基づき、視線方向を特定してもよい。例えば、視線特定部204は、目のオブジェクト中における瞳のオブジェクトの位置、白目のオブジェクトの位置などにさらに基づき、視線方向を特定してもよい。
視線領域特定部222は、視線特定部204が特定した視線方向380に基づき、フレーム画像300において頭部のオブジェクトから視線方向380に位置する領域を、視線領域330として特定する。視線領域特定部222は、人物の視野角に応じて視線方向380に広がる視線領域330を特定してよい。
視線領域330を特定する場合に、フレーム画像300内における視線方向の領域を視線領域330とすることの他、人物の視線方向の領域を3次元空間において特定して、特定した3次元空間での領域が撮像されたフレーム画像300上の領域を、視線領域330として特定することもできる。全方位カメラ(全周カメラ)で撮像されたフレーム画像300から視線領域330を特定する場合のように、より広い画角で撮像されたフレーム画像300から視線領域330を特定する場合には、視線方向の領域を3次元空間で特定することで視線領域330をより正確に特定することができる。
具体的には、視線特定部204は、人物の視線方向として、例えば3次元空間での人物位置から撮像装置100の位置への方向に対する、3次元空間での人物の視線方向の角度を特定する。そして、視線領域特定部222は、人物頭部のオブジェクトのフレーム画像300内での位置およびサイズと、撮像装置100の画角とから、撮像装置100に対する人物頭部の相対位置(例えば、撮像装置100から人物頭部の位置への方向、および、撮像装置100から人物頭部までの距離)を算出する。視線領域特定部222は、算出した相対位置と撮像装置100のワールド座標系での位置とに基づき、人物頭部のワールド座標系での人物頭部の位置座標を算出することができる。
視線領域特定部222は、算出したワールド座標系での人物頭部の位置座標から、視線特定部204が特定した視線の角度の方向を中心に所定の立体角に収まる空間を、ワールド座標系において特定する。所定の立体角は人物の全視野角であってもよいが、人物が注目できる程度のより狭い立体角が所定の立体角として予め定められていてよい。そして、視線領域特定部222は、ワールド座標系での撮像装置100の位置、撮像装置100の画角、および、特定したワールド座標系での視線方向の空間に基づき、当該視線方向の空間が撮像されているフレーム画像300上の領域を、視線領域330として特定する。
画像処理部230は、特徴領域の一例としての頭部領域310および体部領域320、ならびに、視線領域330を、他の領域より強調したフレーム画像を生成する。強調処理としては、特徴領域および視線領域330をそれぞれ枠で囲む処理など視覚的な強調処理、特徴領域および視線領域330をそれぞれ切り出すトリミング処理、特徴領域および視線領域330を他の領域より高画質化するなど画像情報量を他の領域より高める処理などを例示することができる。
特徴領域および視線領域330をそれぞれ枠で囲む処理を施す場合には、頭部領域310と視線領域330とを同じ色の枠で囲んでもよい。視覚的な強調処理としては、その他にも、他の領域より彩度を高める処理などを例示することができる。
また、画像情報量を他の領域より高める処理としては、解像度、階調数、色数を他の領域より高める処理であったり、特徴領域および視線領域330の実質的なフレームレートを他の領域より高める処理などを例示することができる。なお、画像処理部230がフレーム画像300を圧縮する場合には、上記他の領域の画像情報量を低減することにより、圧縮してよい。
このように、画像処理部230は、他の画像領域における画質を視線領域330より低減することにより、フレーム画像300を圧縮する。具体的には、画像処理部230は、他の画像領域における解像度を視線領域330より低減したり、他の画像領域における画素値の階調数を視線領域330より低減したり、他の画像領域に含まれる色数を視線領域330より低減したりすることにより、フレーム画像300を圧縮してよい。
また、画像処理部230は、動画として圧縮する場合には、他の画像領域における動画のフレームレートを視線領域330より低減することにより、画像取得部200が取得した動画を圧縮してよい。このように、画像処理部230は、視線領域330における時間解像度を他の領域における時間解像度より高めてよい。
なお、画像処理部230は、特徴領域および視線領域330に対して超解像処理などを施すことにより、フレーム画像300における特徴領域および視線領域330より解像度、階調数、および色数の少なくともいずれかを高めてもよい。また、画像処理装置110は、画像取得部200が取得した動画に含まれる複数のフレーム画像のそれぞれから、上記のように特徴領域および視線領域を特定してよい。画像処理部230は、複数のフレーム画像のそれぞれに対して、特定した特徴領域および視線領域に上記した画像処理を施してよい。
以上説明したように、画像処理装置110によると、頭部領域310、体部領域320、および視線領域330を、他の領域より高めることができる。このため、人物が何に興味を持っているかを一見して確認することができる動画を提供することができる。
図4は、撮像範囲情報格納部240が格納しているレイアウト情報の一例を2次元的に示す。撮像範囲情報格納部240は、店舗空間160のレイアウト情報として、撮像範囲情報格納部240は、本図に示すように、店舗内平面400における商品棚410、商品台420、およびレジ430が存在する範囲を格納している。また、レイアウト情報としては、商品棚410、商品台420、およびレジ430などの立体物の高さ情報を含んでよい。このように、撮像範囲情報格納部240は、店舗空間160の3次元のレイアウトを示すレイアウト情報を格納してよい。
また、撮像範囲情報格納部240は、撮像装置100が撮像する撮像方向および画角情報、ならびに撮像装置100の位置を示す位置情報を格納している。位置情報としては、店舗空間160における3次元の座標値などを例示することができる。撮像方向および画角情報としては、店舗空間160における3次元のベクトル情報などを例示することができる。撮像装置100の撮像方向、画角、位置情報、およびレイアウト情報は、店舗空間160の空間全体をあらわすワールド座標系で定められてよい。撮像範囲情報格納部240が格納している撮像方向および画角情報、位置情報、ならびにレイアウト情報により、店舗空間160において撮像装置100が撮像する範囲が特定され得る。
このように、撮像範囲情報格納部240は、複数の撮像装置100がそれぞれ撮像する撮像範囲を特定する撮像範囲情報を格納している。これにより、対象領域特定部224は、視線領域330から人物の視線方向において物体が存在しない空間の領域を除くことができ、人物が見た対象物が撮像された画像領域を特定することができる。
図5は、視線領域および特徴領域の他の一例を示す。本図に示す視線領域および特徴領域は、視線領域の範囲が異なる点を除いて、図3に関連して説明した視線領域および特徴領域と同じであるので、以下の説明ではその相違点を説明する。なお、本図において図3に示したものと同じものには、図3で付した符号と同じ符号が付されている。
対象領域特定部224は、図4に関連して説明した撮像範囲情報に基づき、図3に関連して説明した視線領域330から人物の視線方向において物体が存在しない空間の領域を除くことにより、人物が見た対象物が撮像された画像領域である視線領域332を対象領域として特定する。これにより、視線領域の範囲をより限定することができるので、画像処理部230による処理後の画像情報量をより低減することができる。
具体的には、対象領域特定部224は、図3に関連して説明したワールド座標系での視線方向の空間と、ワールド座標系でのレイアウト情報から特定される商品棚410または商品台420(簡単のため、陳列器として総称する。)の占める空間とに基づき、視線方向の空間と、陳列器が占める空間との双方に含まれる空間を、ワールド座標系において特定する。なお、他の立体物により人物の視野が遮られることにより、特定した空間の一部の空間しか人物の視野に収まらない場合がある。この場合、対象領域特定部224は、人物の視野に収まっている空間を、ワールド座標系での人物の位置座標と、立体物のレイアウト情報とに基づき、ワールド座標系において注視空間として特定することができる。他の立体物で視野が遮られていない場合には、特定した空間を注視空間とすることができる。
対象領域特定部224は、ワールド座標系での撮像装置100の位置、撮像装置100の画角、および、ワールド座標系での注視空間に基づき、当該注視空間が撮像されているフレーム画像300上の領域を、視線領域332として特定する。このように、対象領域特定部224は、人物が実際に見ている商品などの物体が存在する空間に対応するフレーム画像300上の領域を、視線領域332として特定することができる。
図6は、画像処理部230により生成される動画の一例を示す。動画602は画像取得部200が取得した動画を示しており、人物の頭部の領域の動画612、人物の体部の領域の動画622、背景の動画632、および視線領域の動画642は、画像処理部230が動画602を圧縮することにより生成した動画を示している。
画像処理部230は、フレーム画像600−1の画素値を、特徴領域特定部202がフレーム画像600−1において特定した人物の頭部領域以外の領域において所定の値に変換することにより、人物の頭部領域だけ被写体の画像情報を有するフレーム画像610−1を生成する。同様にして、画像処理部230は、フレーム画像600−2〜5から、それぞれフレーム画像600−2〜5において特定した人物の頭部領域だけ被写体の画像情報を有するフレーム画像610−2〜5を生成する。
また、画像処理部230は、フレーム画像600−1を所定の解像度に低減するとともに、特徴領域特定部202がフレーム画像600−1において特定した人物の体部領域に対応する領域以外の領域を所定の画素値に変換することにより、人物の体部領域だけ被写体の画像情報を有するフレーム画像620−1を生成する。同様にして、画像処理部230は、フレーム画像600−3およびフレーム画像600−5から、それぞれフレーム画像600−3およびフレーム画像600−5において特定した人物の頭部領域だけ被写体の画像情報を有するフレーム画像620−2およびフレーム画像620−3を生成する。
なお、画像処理部230は、フレーム画像600の画素を間引くことにより解像度を1/2にしたフレーム画像620を生成してよい。また、画像処理部230は、フレーム画像600−2およびフレーム画像600−4を間引くことにより、フレームレートが1/2の動画622を生成してよい。
また、画像処理部230は、フレーム画像600−1を所定の解像度に低減することで、フレーム画像630−1およびフレーム画像630−2を生成する。フレーム画像630の解像度は、フレーム画像620よりさらに低くてよい。例えば、画像処理部230は、フレーム画像600の解像度を1/4にすることにより、フレーム画像630を生成してよい。また、画像処理部230は、画像処理部230は、フレーム画像600−2〜4を間引くことにより、フレームレートが1/4の動画642を生成してよい。
また、画像処理部230は、フレーム画像600−1の画素値を、特徴領域特定部202がフレーム画像600−1において特定した視線領域以外の領域において所定の値に変換することにより、視線領域だけ被写体の画像情報を有するフレーム画像640−1を生成する。同様にして、画像処理部230は、フレーム画像600−2〜5から、それぞれフレーム画像600−2〜5において特定した視線領域だけ被写体の画像情報を有するフレーム画像640−2〜5を生成する。
本図の例では、画像処理部230は、複数のフレーム画像600のそれぞれから、フレーム画像600と同じ解像度のフレーム画像640を生成したが、画像処理部230は、フレーム画像600より低い解像度のフレーム画像640を生成してもよい。また、画像処理部230は、動画602のフレームレートと異なるフレームレートの動画642を生成してもよい。なお、本図の例のようにフレーム画像610とフレーム画像640との間で解像度およびフレームレートが同じである場合には、画像処理部230は、頭部領域611および視線領域641においてだけ被写体の画像情報を有するフレーム画像を生成してもよい。
また、本図の例では、画像処理部230が制御する画質の一例として、解像度およびフレームレートを例に挙げて画像処理部230の動作を説明した。画質としては、解像度およびフレームレートの他に、階調数、色数、およびダイナミックレンジなど種々のパラメータを例示することができる。また、画像処理部230は、上述したように、頭部領域611、体部領域621、および視線領域641に、彩度などの視覚的な強調処理を施してもよい。
画像処理部230は、フレーム画像610に対してMPEG符号化などにより符号化して、MPEG符号化された動画612を生成することができる。同様に、画像処理部230は、フレーム画像620、フレーム画像630、およびフレーム画像640をそれぞれMPEG符号化することにより、動画622、動画632、および動画642を生成してよい。
図7は、画像処理部230により生成される動画の他の一例を示す。画像処理部230は、画像取得部200が取得した動画に含まれるフレーム画像700から、画質の異なる複数のフレーム画像750a〜cを生成する。そして、画像処理部230は、フレーム画像750a〜cの間で差分処理をすることにより、フレーム画像を圧縮する。
具体的には、画像処理部230は、頭部領域用および視線領域用のフレーム画像750aを、フレーム画像700を複製することにより生成する。また、画像処理部230は、フレーム画像700を体部領域用の解像度に低減することにより、体部領域用のフレーム画像750bを生成する。また、画像処理部230は、フレーム画像700を背景領域用の解像度に低減することにより、体部領域用のフレーム画像750bを生成する。体部領域用の解像度はフレーム画像700の1/2の解像度であってよく、背景領域用の解像度はフレーム画像700の1/4の解像度であってよい。
ここで、画像処理部230は、フレーム画像700を体部領域用の解像度に低減した画像と、フレーム画像750cを体部領域用の解像度に拡大した画像との差分情報を有するフレーム画像750bを生成する。このとき、画像処理部230は、頭部領域711b、体部領域721、および視線領域741bにおいて差分情報を有しており、頭部領域711b、体部領域721、および視線領域741b以外の領域において差分値が0であるフレーム画像750bを生成する。
同様に、画像処理部230は、フレーム画像700と同じ解像度の画像と、フレーム画像750bをフレーム画像700と同じ解像度に拡大した画像との差分情報を有するフレーム画像750aを生成する。このとき、画像処理部230は、頭部領域711aおよび視線領域741aにおいて差分情報を有しており、頭部領域711aおよび視線領域741a以外の領域において差分値が0であるフレーム画像750bを生成する。
これにより、端末装置180は、フレーム画像750cおよびフレーム画像750bを取得して合成することで、頭部領域711b、体部領域721b、および視線領域741bにおいて他の領域より解像度が高いフレーム画像を得ることができる。また、端末装置180は、フレーム画像750a〜cを取得して合成することで、頭部領域711aおよび視線領域741aにおいて、他の領域より解像度が高く、体部領域において、頭部領域、体部領域、および視線領域以外の領域より解像度が高いフレーム画像を得ることができる。
以上図6および図7に関連して説明したように、画像処理装置110によると、特徴領域の特徴の種類、視線領域に応じて画質を制御して、符号量を低減することができる。このとき、頭部領域および視線領域の画質を維持することができるので、顧客の年齢層を正確に分析したり、顧客が興味を持った商品などを正確に分析することができる映像を提供することができる。
図8は、興味に応じた人物の行動の一例を示す。画像処理部230は、視線領域の画質を、人物の興味度に応じて決定してよい。
興味度を算出する指標としては、視線方向と人体の方向とがなす角を例示することができる。人物が移動している場合、人体の方向としては、人物の移動方向を例示することができる。他にも、人体の方向とは、人物の体部の正面が向く方向であってよい。この場合、静止画からでも人体の方向を特定することができる。
本図を参照して、一のフレーム画像800には、人物オブジェクト850aおよび人物オブジェクト850bが含まれるとする。視線特定部204は、フレーム画像800において、人物オブジェクト850aの人物の視線方向880aと、人物オブジェクト850bの人物の視線方向880bとを特定する。そして、画像処理部230は、人物オブジェクト850aの人物の体の方向である体方向890aを算出して、体方向890aと視線方向880aとがなす角度を算出する。また、画像処理部230は、人物オブジェクト850bの人物の体の方向である体方向890bを算出して、体方向890bと視線方向880bとがなす角度を算出する。そして、画像処理部230は、当該角度の大きさが大きいほど、より大きい興味度を算出する。
人物オブジェクト850aの人物は、特定の商品860が位置する方向を向いているが、商品860に興味を持っているわけではなく、ただぼんやり見ている場合もある。一方、人物オブジェクト850bの人物は、体の方向と異なる向きにわざわざ頭を向けて、商品860が位置する方向を見ている。この場合、人物オブジェクト850bの人物は、商品860に興味を持っている可能性が高い。このように、顧客が興味を抱いた商品を見つけた場合には、体の向きよりも先に頭部の向きをその商品に向ける場合が多い。画像処理部230が、体方向と視線方向とがなす角度の大きさが大きいほど興味度を大きく算出する。このため、画像処理装置110は、顧客の興味度が高い商品のオブジェクトを正確に分析することができる画像を提供することができる。
興味度の他の算出例を、フレーム画像の画像領域805の画像を用いて説明する。画像領域805は興味度の他の算出方法を説明するための図であり、3フレームから抽出された人物の頭部のオブジェクトである頭部オブジェクト855−1〜3が、同一の画像領域805上に重ねて示してある。ここで、画像処理部230は、当該人物は体方向の一例として移動方向895を特定する。画像処理部230は、視線特定部204が各フレーム画像から算出した視線方向885と、移動方向895とがなす角度を算出する。
そして、画像処理部230は、移動方向895と視線方向885とがなす角度の時間的な変化量がより大きい場合に、興味度をより大きく算出してよい。例えば、画像処理部230は、視線方向885が特定の領域を向いており、かつ、上記角度の時間的な変化量の大きさがより大きい場合に、興味度をより大きく算出してよい。本図の下図に示すように、移動しながら商品860の方向を見ている人物は、商品860により強い興味を抱いていることが予想される。本例では、視線方向885と移動方向895とがなす角度の大きさが時間的に増加しているので、画像処理部230は興味度を比較的に大きく算出して、商品860の画像領域をより高画質にする。
また、人物が特定の商品の方を見つつ移動方向を当該商品の方向に変えた場合にも、当該人物はその商品により強く興味を抱いていることが予想される。この場合、時間が経過するにつれて、移動方向と視線方向とがなす角度の大きさは時間的に減少していく。画像処理部230が上記角度の時間的な変化量の大きさから興味度を算出するので、このような人物についても興味度を適切に算出することができる。
なお、画像処理部230は、人物が商品を見た時間をひとつの指標として興味度を算出してもよい。例えば、画像処理部230は、時間特定部226が特定した時間長さが長いほど、興味度をより大きく算出してよい。そして、画像処理部230は、興味度が大きいほど、視線領域の画質を高くしてよい。
図9は、画像処理部230が記憶しているデータの一例をテーブル形式で示す。画像処理部230は、注視時間、角度の大きさ、角度変化量の絶対値に対応づけて、興味度を算出する。注視時間は、時間特定部226が算出する時間を示す。角度の大きさは、図8に関連して説明した、体方向と視線方向とがなす角度の大きさを示す。角度変化量の絶対値は、図8の下図に関連して説明した、移動方向と視線方向とがなす角度の単位時間あたりの変化量の絶対値を示す。
画像処理部230は、時間特定部226が特定した注視時間に対応づけて記憶している興味度、および、体方向と視線方向とがなす角度の大きさに対応づけて記憶している興味度を特定する。また、画像処理部230は、人物が移動している場合には、移動方向と視線方向とがなす角度の単位時間あたりの変化量に対応づけて記憶している興味度を特定する。そして、画像処理部230は、特定した各興味度を所定の重み付けて合計することなど、特定した各興味度を総合して、総合的な興味度を算出する。他にも、画像処理部230は、特定した興味度の最大値を総合的な興味度として算出してよい。そして、画像処理部230は、総合的な興味度が大きいほど、視線領域の画質を高くしてよい。
図10は、視線領域情報と人物情報との対応づけの一例を示す。出力部290は、人物の頭部領域の情報と、視線領域の情報とを対応づけて出力する。頭部領域の情報とは、フレーム画像内の画像領域を特定する情報であってよい。例えば、頭部領域が矩形である場合、頭部領域の情報としては、矩形の対角の座標値を例示することができる。その他の場合においても、頭部領域を規定するベクトル情報などを、頭部領域の情報として例示することができる。同様に、視線領域の情報としては、視線領域を規定するベクトル情報など、フレーム画像内における画像領域を特定する情報であってよい。
その他、頭部領域の情報とは、頭部領域の解析結果であってもよい。例えば、頭部領域から抽出した画像の特徴量、頭部領域の画像を画像認識することにより識別した人物を特定する情報であってもよい。同様に、視線領域の情報とは、視線領域の解析結果であってもよい。例えば、視線領域から抽出した画像の特徴量、視線領域の画像を画像認識することにより識別した物体を特定する情報であってもよい。
ここで、本図を参照して、フレーム画像1000−1は人物オブジェクト1050−1および人物オブジェクト1051−2を含んでいる。人物オブジェクト1050−1の人物の視線方向にある物体は、人物オブジェクト1051−1により遮られて、フレーム画像1000−1内には撮像されていない。
一方、他のフレーム画像1000−5が撮像されたタイミングでは、人物オブジェクト1051−5の人物が移動しており、人物オブジェクト1050−1の人物の視線方向にある物体はフレーム画像1000−5内に撮像されている。選択部228は、視線特定部204が特定した視線領域にある人物以外の物体が撮像されているフレーム画像を、画像取得部200が取得した動画に含まれるフレーム画像の中から選択する。そして、視線領域特定部222は、選択部228が選択したフレーム画像1000−5における視線領域1030を特定する。これにより、画像処理装置110は、視線の先の物体が他の人物に遮られて撮像されていない場合においても、人物の頭部の画像と当該人物が見た物体の画像とを正確に対応づけることができる。
図11は、他の撮像装置100が撮像したフレーム画像から視線領域を特定する一形態を示す。上記の実施形態においては、特定の撮像装置100が撮像したフレーム画像から視線領域を抽出したが、画像処理装置110は、視線を特定したフレーム画像を撮像した撮像装置100と異なる撮像装置100が撮像したフレーム画像から、視線領域を特定してもよい。
図11を参照して、フレーム画像1100aは撮像装置100aが撮像したフレーム画像であり、フレーム画像1100bは撮像装置100bが撮像したフレーム画像であるとする。フレーム画像1100aには、人物オブジェクト1150aが含まれており、視線特定部204は、人物オブジェクト1150aの人物の視線方向1140を特定する。
選択部228は、撮像装置100bにより撮像された1以上のフレーム画像の中から、予め定められた条件に適合する条件で人物の視線方向1140の領域が撮像されたフレーム画像1100bを選択する。予め定められた条件に適合する条件で撮像されたフレーム画像としては、予め定められた大きさより大きく撮像されたフレーム画像、予め定められた画質より高い画質で撮像されたフレーム画像、予め定められた方向に合致する方向から撮像されているフレーム画像などを例示することができる。
視線領域特定部222は、フレーム画像1100bにおける、人物の視線方向の領域が撮像された画像領域である視線領域1130を特定する。そして、画像処理部230は、視線領域特定部222が特定したフレーム画像1100bにおける画像領域である視線領域1130を、フレーム画像1100bにおける他の画像領域より強調する。
このように、選択部228は、複数の撮像装置100により撮像された複数のフレーム画像の中から、予め定められた条件に適合する条件で人物の視線方向の領域が撮像されたフレーム画像を選択する。このため、人物の顔を正面近くから撮像した頭部領域1110aの画像情報と、正面近くから撮像された視線領域1130の画像情報とを対応づけることができる。
なお、視線特定部204は、図3に関連して説明したように、フレーム画像1100aを撮像した撮像装置100の位置および画角から、人物の視線方向の空間をワールド座標系において特定することができる。また、対象領域特定部224は、図11に関連して説明したように、ワールド座標系での注視空間を特定することができる。そして、対象領域特定部224は、フレーム画像1100bを撮像した撮像装置100のワールド座標系での位置および画角と、ワールド座標系での注視空間に基づき、当該注視空間が撮像されているフレーム画像1100b上の領域を、対象領域として特定することができる。これにより、対象領域特定部224は、人物が実際に見ている商品などの物体が存在する空間に対応するフレーム画像1100b上の領域を、対象領域として特定することができる。
なお、図11に関連して、視線領域特定部222が他の撮像装置100が撮像したフレーム画像から視線領域を特定する場合の機能および動作を説明した。視線領域特定部222が視線領域を特定した後の処理については、同じ撮像装置100が撮像したフレーム画像の視線領域に対する処理と同様の処理をすることができるので、その説明を省略する。
以上図1から図11に関連して説明したように、画像処理システム10によると、得られた画像から、顧客情報を正確に分析したり、当該顧客が興味を持った商品を正確に分析したりすることができる。このように、画像処理システム10は、店舗用の画像処理システムとして機能することができる。
その他、画像処理システム10は多様な用途に適用することができる。例えば、画像処理システム10によると、顧客が興味を持った商品の情報に基づき広告コンテンツを顧客に提供することもでき、この場合、画像処理システム10はサイネージシステムとして機能することができる。また、画像処理システム10は、不審者が注目したものを特定する監視システムあるいは防犯システムとして機能することもできる。
また、画像処理装置110は、異なる店舗空間160の動画を取得して、解析してもよい。これにより、顧客の動向などを店舗間で比較することができる。また、上記においては店舗用のシステムとして画像処理システム10の機能および動作を説明したが、画像処理システム10の用途としては、店舗用以外にも種々の用途に利用することができる。
なお、画像処理装置110の機能は、店舗サーバ170が有してもよい。店舗サーバ170において動画を圧縮して通信ネットワーク150に送信することで、画像のデータ量を低減しつつ、人物・商品の画像領域に後の分析に適した十分な情報量を持たせることができる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。