JPWO2017187694A1 - 注目領域画像生成装置 - Google Patents

Abstract

アイトラッキング機器等の特別な機器を用いず、俯瞰画像から、対象人物の注目領域を、同人物の目から見た注目領域画像として取り出すことを課題とする。俯瞰画像、カメラパラメータ、および、俯瞰画像中の物体の高さ情報を含む空間位置情報から、俯瞰画像中の注目領域を、別の視点から見た注目領域画像として取り出す注目領域画像生成装置（１３）を、上記視点の位置を導出する視点位置導出部（１３１）と、上記俯瞰画像中の上記注目領域を導出する注目領域導出部（１３２）と、上記視点位置と注目領域より視点の位置を変換する変換式を導出する変換式導出部（１３３）と、上記俯瞰画像中の上記注目領域に対応する画像領域を導出する注目画像領域導出部（１３４）と、上記変換式、上記注目画像領域に基づき、上記注目領域画像を生成する注目領域画像変換部（１３５）とから構成する。

Description

本発明の一態様は、俯瞰画像に映っている空間の中で注目すべき領域を、現実もしくは仮想的な視点から見た画像として取り出す注目領域画像生成装置に関する。

近年、全周カメラと呼ばれる、広角レンズを装着したカメラを用いて、広範囲の空間を広角画像として撮影し、活用する機会が増加している。特に、天井等の撮影対象空間の上方に全周カメラを設置して撮影された広角画像は、俯瞰画像とも呼ばれる。俯瞰画像より、画像内の人物が注目している領域（注目領域）の画像を抜き出し、ユーザの目から見た画像に変換する技術が存在する。

特許文献１では、ユーザの正面に設置したカメラの画像からユーザの目の位置を推定し、カメラ付近に置かれるディスプレイの表示面とユーザの目の相対位置に基づいて、射影変換行列を設定し、表示像をレンダリングする技術が記載されている。

また特許文献２では、全天周画像または円筒型のパノラマ画像を低解像度で配信し、ユーザの注目している箇所について、高画質の上記画像から切りだして配信することで帯域を抑制する技術が記載されている。

また、注目領域を推定し、ユーザの目から見た画像に変換するには、ユーザの視線検出が必要であり、一般にはアイトラッキング装置が利用される。例えば、メガネ型のアイトラッキング装置や、顔の対面に設置するカメラ型のアイトラッキング装置がある。

日本国公開特許公報「特開２０１５−８３９４号公報」 日本国公開特許公報「特願２０１４−２２１６４５号公報」

しかしながら、メガネ型のアイトラッキング装置による視線検出では、装置コストと、メガネ装着による人への負担が問題となる。また、対面設置のカメラ型アイトラッキング装置の場合、同じく装置コストの問題があり、加えて、対面設置カメラに目が映っていない場合に視線検出ができないため、撮影装置前方付近に視線検出可能範囲が限定されることが問題となる。

本発明の一態様は、上記の事情を鑑みてなされたものであり、その目的は、アイトラッキング装置を用いることなく、俯瞰画像より、画像中の人物の目から見た画像を取り出すことにある。

上記の課題を解決するため、本発明の一態様に関わる注目領域画像生成装置は、一つ以上の俯瞰画像より、該俯瞰画像中で注目されている領域である注目領域を、別の視点から見た、注目領域画像として取り出す画像生成装置であって、少なくとも前記俯瞰画像、前記俯瞰画像を撮影する光学機器に関するパラメータおよび前記俯瞰画像中の物体の空間位置を示す空間位置情報に基づき、視点位置を導出する視点位置導出部と、少なくとも前記俯瞰画像、前記パラメータおよび前記空間位置情報に基づき、前記注目領域を導出する注目領域導出部と、少なくとも前記視点位置および前記注目領域に基づき、前記注目領域に対応する前記俯瞰画像中の第1の画像を、前記視点位置から見た画像に変換する変換式を導出する変換式導出部と、少なくとも前記俯瞰画像、前記パラメータおよび前記注目領域に基づき、前記注目領域に対応する前記俯瞰画像中の領域である注目画像領域を導出する注目画像領域導出部と、少なくとも前記変換式、前記俯瞰画像および前記注目画像領域に基づき、前記俯瞰画像から、前記注目画像領域に対応する画素を取り出し、前記注目領域画像に変換する注目領域画像変換部と、を備える。

また、前記空間位置情報は、前記俯瞰画像中の人物に関する高さ情報を含み、前記視点位置導出部は、少なくとも前記人物に関する高さ情報と前記俯瞰画像に基づき、前記視点位置を導出することを特徴とする。

また、前記空間位置情報は、前記俯瞰画像中の注目される対象に関する高さ情報を含み、前記注目領域導出部は、少なくとも前記対象に関する高さ情報と前記俯瞰画像に基づき、前記注目領域を導出することを特徴とする。

また、前記対象は、人物の手であることを特徴とする。

また、前記対象は、人物が扱っている機器であることを特徴とする。

本発明の一態様についての、上述した若しくは他の目的、特性、および利点は、本発明の一態様についての以下の詳細な説明を、添付された図面と共に考慮することにより、より容易に理解されるであろう。

本発明の実施形態における注目領域画像生成装置に含まれる、注目領域画像生成部の構成例を示すブロック図である。 同実施形態における撮影形態の一例を示す図である。 同注目領域画像生成装置の構成例を示すブロック図である。 同注目領域画像生成装置に含まれる視点位置導出部の動作を説明するための概略図である。 同注目領域画像生成装置に含まれる視点位置導出部の動作を説明するためのイメージ図である。 同注目領域画像生成装置に含まれる注目領域導出部の動作を説明するためのイメージ図である。 同注目領域画像生成装置に含まれる注目画像領域導出部の動作を説明するためのイメージ図である。

各構成要素の説明を行う前に、本実施形態において想定される撮影形態の一例を説明する。図２は本実施形態において想定される撮影形態の一例を示す図である。図２はあくまで一例であり、本実施形態は、この撮影形態に限るものではない。図２に示すように、本実施形態においては、何らかの作業を行う場に固定された光学機器、例えばカメラを用いて、作業の様子を俯瞰的に撮影する撮影形態を想定している。以下では、作業の様子を俯瞰的に撮影するカメラを、俯瞰カメラとする。ただし、俯瞰カメラの画像には、作業を行っている人物（対象人物）と、その人物が注目している物体（対象物）が映されているものとする。また、俯瞰カメラの画像中に存在する物の高さ情報を検出できるものとする。高さ情報については後述する。例えば、図２に示すように、対象人物の頭部の高さｚｈと、対象物の高さzo1、zo2の高さ情報を検出できるものとする。高さは、例えば、俯瞰カメラの位置を基準として検出される。また、図２において二重破線で囲まれた領域は注目領域を表す。注目領域については後述する。

本実施形態で想定している何らかの作業は、俯瞰カメラにより対象人物と対象物が撮影でき、それぞれの高さ情報を取得できるものであれば、どのような作業でも構わない。例えば、調理、医療的処置、製品の組み立て作業である。

（注目領域画像生成装置１）
図３は注目領域画像生成装置１の構成例を示すブロック図である。図３に示すように、注目領域画像生成装置１は、概略的には、俯瞰画像、俯瞰画像を撮影した光学機器のパラメータ、および、空間位置情報に基づいて、注目領域画像を生成し、出力する装置である。なお、以下の説明では、俯瞰画像を撮影した光学機器としてカメラを例にとって説明する。また、光学機器パラメータをカメラパラメータとも呼ぶ。ここで、注目領域画像とは、俯瞰画像に映っている空間（撮影対象空間）の中で注目すべき領域（注目領域）を、現実もしくは仮想的な視点から見た際の画像である。注目領域画像の生成は、俯瞰画像の撮影と並行してリアルタイムに行われてもよいし、俯瞰画像の撮影が終了した後に行われてもよい。

図３を用いて注目領域画像生成装置１の構成を説明する。図３に示すように、注目領域画像生成装置１は、画像取得部１１、空間位置情報取得部１２、注目領域画像生成部１３を備える。

画像取得部１１は、外部の画像ソース（例えば天井に設置された全周俯瞰カメラ）にアクセスし、俯瞰画像として、注目領域画像生成部１３に供給する。また、画像取得部１１は、上記俯瞰画像を撮影した俯瞰カメラのカメラパラメータを取得し、注目領域画像生成部１３に供給する。なお、本実施形態では、説明の簡単のため、俯瞰画像は一つと仮定するが、二つ以上の俯瞰画像や、俯瞰画像と別の画像の組み合わせを用いてもよい。

以下では、俯瞰画像には、少なくとも、人物（対象人物）と、後述する注目物が映されていると仮定する。なお、対象人物と注目物は、必ずしも一つの俯瞰画像内に映されている必要はなく、複数の俯瞰画像にまたがって映されていてもよい。例えば、ある俯瞰画像に対象人物が映されており、別の画像に注目物が映されている場合、両方の画像を取得することで、上記の条件を満たすとしてもよい。ただし、この場合、それぞれの俯瞰画像を撮影する撮影装置の相対的な位置が分かっている必要がある。

なお、俯瞰画像は、必ずしも俯瞰カメラで撮影された画像そのものではなく、レンズ特性情報を基に、俯瞰画像の歪みを抑えるように補正を加えることで得られる補正画像であってもよい。ここで、レンズ特性とは、俯瞰画像を撮影するカメラに取り付けられたレンズのレンズ歪特性を表す情報である。レンズ特性情報は、対応するレンズの既知の歪特性であってもよいし、キャリブレーションにより得られる歪特性であってもよいし、俯瞰画像に対して画像処理等を行うことで得られる歪特性であってもよい。なお、上記レンズ歪特性には、樽型歪や糸巻き歪みだけでなく、魚眼レンズ等の特殊なレンズによる歪みが含まれてもよい。

カメラパラメータとは、画像取得部で取得した俯瞰画像を撮影した俯瞰カメラの特性を表す情報である。カメラパラメータとは、例えば、前述のレンズ特性、カメラ位置と向き、カメラ解像度、画素ピッチである。また、カメラパラメータは画素角度情報を含む。ここで画素角度情報とは、俯瞰画像を適当な大きさに分割した領域について、その領域が、俯瞰画像を撮影するカメラを原点とした時に、どの方向に位置するのかを表す、三次元的な角度の情報である。なお、上記俯瞰画像内の適当な大きさに分割した領域とは、例えば、上記俯瞰画像を構成する画素の集合である。単一の画素を一つの領域としてもよいし、複数の画素をまとめて一つの領域としてもよい。画素角度情報は、入力される俯瞰画像と、レンズ特性より計算される。俯瞰カメラに取り付けられたレンズが不変であれば、そのカメラで撮影される画像の画素ごとに、対応する方向が存在する。レンズやカメラにより性質が異なるが、例えば、撮影された画像の中心にある画素は、俯瞰カメラのレンズから鉛直方向に対応する。レンズ特性情報より、俯瞰画像内の画素ごとに、対応する方向を示す三次元の角度を計算し、画素角度情報とする。以下の説明では、上記の俯瞰画像や画素角度情報を用いた処理を説明するが、俯瞰画像の補正や画素角度情報の導出は、最初に実行して注目領域画像生成部１３に供給してもよいし、または、注目領域画像生成部１３の各構成要素で必要に応じて実行してもよい。

空間位置検出部１２は、俯瞰画像に映されている物（対象物）の撮影対象空間内での空間位置情報を一つ以上取得し、注目領域画像生成部１３に供給する。対象物の空間位置情報には、少なくとも対象物の高さ情報が含まれる。高さ情報とは、撮影対象空間内での対象物の高さ方向の位置を示す座標情報である。この座標情報は、例えば、俯瞰画像を撮影するカメラを基準とする相対座標であってもよい。

対象物には、少なくとも、対象人物の頭部、および、対象人物の両手が含まれる。ここで、対象人物の両手は注目領域決定のために用いられるため、注目物とも呼ぶ。空間位置情報を取得する手段は、例えば、対象物に発信器を取りつけ、地面から垂直方向に並んだ受信機との距離を測定する方法でもよいし、対象物の周囲に取り付けられた赤外線センサにより対象物の位置を求める方法でもよい。また、複数のカメラにより撮影された画像に対してステレオマッチング処理を適用することで導出されるデプスマップを空間位置情報としてもよい。この場合、上記複数のカメラにより撮影された画像に、前述の俯瞰画像を含めてもよい。上記空間位置情報は、後述する注目領域画像生成部１３に含まれる視点位置導出部１３１と注目領域導出部１３２において、少なくとも、撮影対象空間内での対象人物の頭部の位置、および、注目物の位置を推定するために用いられる。

注目領域画像生成部１３は、入力される俯瞰画像、カメラパラメータ、および、各対象物の空間位置情報に基づいて、入力される俯瞰画像中の対象人物の視点から見た注目領域の画像を生成して出力する。注目領域画像生成部１３の詳細を以下で説明する。

（注目領域画像生成部１３の構成）
注目領域画像生成装置１に含まれる、注目領域画像生成部１３について説明する。注目領域画像生成部１３は、入力される俯瞰画像、カメラパラメータ、および、空間位置情報から、注目領域画像を生成し、出力する。

図１を用いて、注目領域画像生成部１３の構成を説明する。図１は注目領域画像生成部１３の構成例を示した機能ブロック図である。図１に示すように、注目領域画像生成部１３は、視点位置導出部１３１、注目領域導出部１３２、変換式導出部１３３、注目画像領域導出部１３４、注目領域画像変換部１３５を備える。

［視点位置導出部１３１］
視点位置導出部１３１は、入力される俯瞰画像と空間位置情報から、視点位置を推定し、変換式導出部１３３に供給する。ここで、視点位置とは、例えば、対象人物の目の空間位置を示す情報である。視点位置を表現するための座標系は、例えば、俯瞰画像を撮影する俯瞰カメラを基準とする相対座標である。なお、対象人物の目と俯瞰カメラの間の空間的な位置関係が分かれば別の座標系であってもよい。視点位置は、対象人物一人につき、一つ以上推定される。例えば、両目の位置をそれぞれ別の視点位置としてもよいし、両目の中間の位置を視点位置としてもよい。

視点位置導出部１３１における視点位置の推定手順を説明する。まず、視点位置導出部１３１では、入力される俯瞰画像から、少なくとも、対象人物の頭部に相当する画像領域を検出する。頭部の検出は、例えば、人間の頭部の特徴（例えば、耳、鼻、口、顔の輪郭）を検出することで行われる。また、例えば、対象人物の頭部に、頭部に対する相対位置が既知のマーカなどが取りつけられている場合、そのマーカを検出し、そこから頭部を検出してもよい。これにより、俯瞰画像内の頭部に対応する画像領域を検出する。

次に、少なくとも、頭部の空間位置と姿勢を推定する。具体的には次の手順である。まず、俯瞰画像に付随の画素角度情報より、頭部に対応する画像領域について、その領域が対応する画素角度情報を取り出す。次に、入力される空間位置情報に含まれる頭部の高さを表す情報と、上記画素角度情報より、頭部に対応する画像領域の三次元位置を計算する。

図４を用いて、俯瞰画像中の頭部に対応する画像領域と、同画像領域に対応する画素角度情報より、同画像領域の三次元位置を得る方法を説明する。図４は、俯瞰画像中の画素と、同画素の角度情報から、画素が対応する三次元位置を計算する手段の概略を表した図である。図４は、垂直方向を向いている俯瞰カメラを用いて俯瞰画像を撮影している状況を、水平方向から見た図である。俯瞰カメラの撮影範囲にある平面は俯瞰画像を表し、俯瞰画像は複数の俯瞰画像画素によって構成されている。ここでは、説明の簡単のために俯瞰画像に含まれる俯瞰画像画素の大きさは共通としているが、実際は俯瞰カメラに対する位置により、俯瞰画像画素の大きさは異なる。図４の俯瞰画像において、図中の画素ｐは、俯瞰画像内の頭部に対応する画像領域を表す。図４に示すように、画素ｐは、俯瞰カメラの位置を基準として、画素ｐに対応する角度情報の方向に存在する。空間位置情報に含まれる、画素ｐの高さ情報zpと、画素ｐの角度情報より、画素ｐの三次元位置(xp,yp,zp)を計算する。これにより画素ｐの三次元位置が一点に定まる。画素ｐの三次元位置を表現するための座標系は、例えば、俯瞰画像を撮影する俯瞰カメラを基準とする相対座標である。

言い変えると、本実実施形態における、画素の対応する三次元位置は、高さ方向の位置は空間位置情報により得られ、高さ方向と直交する水平方向の位置は、空間位置情報、画素角度情報、および、俯瞰画像より得られる。

俯瞰画像内の頭部に対応する画像領域内の全てもしくは一部の画素に対して、同様の処理を行うことで、頭部の三次元形状を得る。頭部の形状は、例えば、俯瞰カメラを基準とする相対座標で表された頭部に対応する各画素の空間位置で表現される。以上により、頭部の空間位置を推定する。

次に、同様の手順により、例えば、人間の頭部の特徴（例えば、耳、鼻、口、顔の輪郭）の空間位置を検出し、例えば、それらの位置関係より、顔の向いている方向、すなわち頭部の姿勢を推定する。

最後に、推定した頭部の空間位置と姿勢より、対象人物の目の空間位置を導出し、視点位置として変換式導出部１３３に供給する。目の空間位置は、推定した頭部の空間位置、姿勢、人間の頭部の特徴、および、その空間位置に基づいて導出される。例えば、頭部の空間的な位置と姿勢より、顔の三次元位置を推定し、顔の中央から頭頂部に寄った位置に目があると仮定して、目の位置を導出してもよい。また、例えば、耳の付け根から顔の方向に移動した位置に目があると仮定し、耳の三次元位置に基づき、目の位置を導出してもよい。また、例えば、鼻や口から頭頂部の方向に移動した位置に目があると仮定し、鼻や口の三次元位置に基づいて目の位置を導出してもよい。また、例えば、頭部の三次元的な形状より、頭部の中心から顔の方向に移動した位置に目があると仮定し、目の位置を導出してもよい。

以上により導出した目の位置を、視点位置として視点位置導出部１３１より出力し、変換式導出部１３３に供給する。

なお、視点位置導出部１３１では、必ずしも対象人物の目の位置を導出する必要はない。すなわち、俯瞰画像中の対象人物の目以外の物体の三次元位置を推定し、その位置に仮想的に目が存在するとして、注目領域画像を、その位置から見た画像としてもよい。例えば、俯瞰画像に映る範囲にマーカを配置し、そのマーカ位置を視点位置としても構わない。

図５を用いて視点位置導出部１３１の処理手順を説明する。図５は、視点位置導出に関わる物の空間位置の対応関係の例を示す図である。図５は図２に対応した図であり、図５に示されている物は、図２で示されている物と同一とする。すなわち、俯瞰カメラ、対象人物、対象物、注目領域が示されている。視点位置導出部１３１では、まず俯瞰画像から、対象人物の頭部を検出する。次に、対象人物の頭部の高さ情報ｚｈと、俯瞰画像中の、対象人物の頭部に対応した画素の画素角度情報より、対象人物の頭部の空間位置(xh,yh,zh)を推定する。上記空間位置は、俯瞰カメラの位置を基準とした相対位置で表される。すなわち、俯瞰カメラの座標は(0,0,0)である。次に、対象人物の頭部の座標より、対象人物の目の空間位置(xe,ye,ze)を推定する。最後に、上記対象人物の目の空間位置を視点位置として、視点位置導出部１３１から出力する。

［注目領域導出部１３２］
注目領域導出部１３２は、入力される俯瞰画像と各対象物の空間位置情報から、注目領域を導出し、変換式導出部１３３、および、注目画像領域導出部１３４に供給する。ここで、注目領域とは、対象人物が注目している領域の空間内での位置を表す情報である。注目領域は、例えば、注目物を囲むように設定される撮影対象空間に存在する所定形状（例えば四角形）の領域で表される。注目領域は、例えば、四角形の各頂点の空間位置として表現されて出力される。この空間位置の座標系は、例えば、俯瞰画像を撮影する俯瞰カメラとの相対座標を用いることができる。

なお、注目領域を表現する空間位置と、視点位置は同じ空間座標系で表されることが望ましい。すなわち、前述の視点位置が、俯瞰カメラに対する相対位置で表される場合、注目領域も同様に、上記俯瞰カメラに対する相対位置で表されることが望ましい。

注目領域導出部１３２が、注目領域を推定する手順を説明する。まず、俯瞰画像から、一つ以上の注目物を検出し、俯瞰画像上で注目物に対応する画像領域を検出する。ここで、注目物とは、注目領域決定の手掛かりとなる物体であり、俯瞰画像内に映されている物体である。例えば、前述のように作業中の対象人物の手であってもよいし、対象人物が所持している道具であってもよいし、対象人物が手を加えている物体（作業対象の物体）であってもよい。注目物が俯瞰画像内に複数ある場合、それぞれについて、対応する画像領域を検出する。

次に、俯瞰画像内の注目物に対応する画像領域と、空間位置情報に含まれる注目物の高さ情報により、注目物の空間位置を推定する。注目物の空間位置は、前述の視点位置導出部１３１における頭部の三次元形状の推定と同様の手段で行われる。注目物の空間位置は、視点位置と同様に、俯瞰カメラに対する相対座標で表されてもよい。注目物が俯瞰画像内に複数ある場合、それぞれについて、空間位置を推定する。

次に、注目領域が存在する注目面を導出する。注目面は、注目物の空間位置に基づいて、撮影対象空間中で注目物を含む面として設定される。例えば、対象人物が注目している領域の空間内の、注目物と交わる位置に存在する、地面に対して水平な面が、注目面として設定される。

次に、注目面上の注目領域を設定する。注目領域は、注目面と、注目物の空間位置に基づいて設定される。例えば、注目領域は、注目面上にある、全てもしくは一部の注目物を内包し、全てもしくは一部の注目物と内接する、注目面上に存在する所定形状（例えば四角形）の領域として設定される。注目領域は、例えば、所定形状（例えば四角形）の各頂点の空間位置として表現されて出力される。

例えば、注目物が対象人物の左右の手である場合、注目面は、対象人物の手と交わる位置にある水平な面である。また、注目領域は、上記注目面上にある対象人物の左右の手を内包し、対象人物の左右の手と内接するように、注目面上に置かれる上記所定形状の領域である。注目領域の表現に用いる座標系は、例えば、俯瞰カメラに対する相対座標であってもよい。また、この座標系は、視点位置の座標系と同じであることが望ましい。

最後に、注目領域導出部１３２は、上記の注目領域を、変換式導出部１３３と、注目画像領域導出部１３４に供給する。

図６を用いて注目領域導出部１３２の処理手順を説明する。図６は、注目領域の導出に関わる座標の対応関係の例を示す図である。なお、ここでは注目物が二つ存在する場合を例にとって説明する。また、注目領域を四角形で表す。図５と同様に、図６は図２に対応した図であり、図６に示されている物は、図２で示されている物と同一とする。注目領域導出部１３２では、まず俯瞰画像から、注目物を検出する。次に、注目物の高さ情報zo1、zo2と、俯瞰画像中の、注目物に対応した画素の画素角度情報より、注目物の空間位置(xo1,yo1,zo1)、(xo2,yo2,zo2)を推定する。上記空間位置は、俯瞰カメラの位置を基準とした相対位置で表される。すなわち、俯瞰カメラの座標は(0,0,0)である。次に、上記注目物の空間位置より、注目面を設定する。注目面は、例えば、注目物の空間位置(xo1,yo1,zo1)、(xo2,yo2,zo2)と交わる面である。次に、上記注目物の空間位置と、上記注目面より、注目面内に存在する注目領域を設定する。すなわち、注目面上に存在し、注目物の空間位置(xo1,yo1,zo1)、(xo2,yo2,zo2)を囲む四角形の注目領域を設定する。その四角形の頂点の座標(xa1,ya1,za1)、(xa2,ya2,za2)、(xa3,ya3,za3)、(xa4,ya4,za4)を、注目領域として注目領域導出部１３２から出力する。注目領域を表す座標は、注目物位置と同様に俯瞰カメラの位置を基準とした相対座標で表される。

［変換式導出部１３３］
変換式導出部１３３は、入力される視点位置、注目領域に基づき、視点を俯瞰カメラから仮想視点に移動するような計算式を導出し、注目領域画像変換部１３５に供給する。

変換式導出部１３３では、視点位置と注目領域より、俯瞰カメラ、注目領域、および、視点の相対位置関係を計算し、俯瞰画像（俯瞰カメラから見た画像）を、仮想視点画像（供給される視点位置から見た画像）に変換する計算式を求める。言い変えると、この変換とは、注目領域の観察視点を、俯瞰カメラ視点から仮想視点の位置に移動することを表現する変換である。この変換には、例えば、射影変換、アフィン変換、または、擬似アフィン変換が利用できる。

［注目画像領域導出部１３４］
注目画像領域導出部１３４は、入力される注目領域、俯瞰画像、および、カメラパラメータに基づいて、注目画像領域を計算し、注目画像領域を、注目領域画像変換部１３５に供給する。ここで、注目画像領域は、撮影対象空間内の注目領域に対応した俯瞰画像上の画像領域を示す情報である。例えば、俯瞰画像を構成する各画素について、注目画像領域に含まれているか否かを二値で表した情報である。

注目画像領域導出部１３４が注目画像領域を導出する手順を以下で説明する。まず、入力される注目領域の表現を、俯瞰カメラに対する相対座標系での表現に変換する。前述のように、注目領域を表す四角形の各頂点の空間位置を俯瞰カメラに対する相対座標で表現している場合、その情報をそのまま利用できる。また、注目領域が、俯瞰画像に映っている撮影対象空間の絶対座標で表されている場合は、俯瞰カメラの絶対座標における位置との差分を計算することで、相対座標を導出できる。

次に、上記の相対座標で表現された注目領域と、カメラパラメータとにより、注目領域に対応する俯瞰画像上の画像領域を計算して注目画像領域とする。具体的には、注目領域上の各点が、俯瞰画像内のどの画素に対応するのかを計算することで、注目画像領域とする。以上により計算された注目画像領域を、俯瞰画像と共に、注目領域画像変換部１３５に供給する。

図７を用いて注目画像領域導出部１３４の処理手順を説明する。図７は、注目画像領域の導出に関わる座標の対応関係と、注目画像領域の例を示す図である。図７の左側は、図５と同様に、図２に対応した図であり、図７の左側に示されている物は、図２で示されている物と同一とする。図７の右側の破線で囲まれた領域は、図７中の俯瞰カメラで撮影した俯瞰画像を表す。また、俯瞰画像中の二重破線で囲まれた領域は、注目領域を表す。なお、図の簡単化のため、図７では、俯瞰画像から一部を切り出した画像を俯瞰画像としている。注目空間画素導出部１３３では、まず、注目領域導出部１３２で導出した注目領域の座標(xa1,ya1,za1)、(xa2,ya2,za2)、(xa3,ya3,za3)、(xa4,ya4,za4)と、俯瞰カメラとの相対距離、および、俯瞰画像を撮影するカメラに取り付けられたカメラパラメータより、注目領域に対応する俯瞰画像中の画像領域を計算する。上記俯瞰画像中の画像領域を表す情報、例えば、上記領域に対応する画素の座標情報を、注目画像領域として、注目画像領域導出部１３４から出力する。

［注目領域画像変換部１３５］
注目領域画像変換部１３５は、入力される俯瞰画像、変換式、および、注目画像領域に基づいて、注目領域画像を計算して出力する。注目領域画像は、注目領域画像生成部１３の出力として利用される。

注目領域画像変換部１３５では、俯瞰画像、変換式、および、注目画像領域より、注目領域画像を計算する。すなわち、俯瞰画像中の注目画像領域を、上記で求めた変換式によって変換して仮想視点から見た注目領域に相当する画像を生成し、注目領域画像として出力する。

（注目領域画像生成部１３の処理順序）
注目領域画像生成部１３で行われる処理をまとめると以下のようになる。

まず、俯瞰画像と、対象人物の高さ情報zhより、対象人物の頭部の空間位置(xh,yh,zh)を推定し、そこから視点位置(xe,ye,ze)を計算する。次に、俯瞰画像と、注目物の高さ情報zoより、注目物の空間位置(xo,yo,zo)を推定する。次に、注目物の空間位置に基づいて注目領域を表す四角形の四頂点の空間位置(xa1,ya1,za1)、(xa2,ya2,za2)、(xa3,ya3,za3)、(xa4,ya4,za4)を設定する。次に、視点位置(xe,ye,ze)と、注目領域(xa1,ya1,za1)、(xa2,ya2,za2)、(xa3,ya3,za3)、(xa4,ya4,za4)と、俯瞰カメラ位置(0,0,0)の相対位置関係より、注目領域に対する視点を、俯瞰カメラ位置(0,0,0)から、対象人物の視点位置(xe,ye,ze)へ移動する処理に相当する視点移動変換式を設定する。次に、カメラパラメータと、注目領域より、俯瞰画像上の注目画像領域を計算する。最後に、注目画像領域について、上記視点移動変換式による変換を適用し注目領域画像を得て、注目領域画像生成部１３から出力する。

なお、俯瞰画像から視点位置を推定する処理と、俯瞰画像から注目領域を推定し、注目画像領域を計算するまでの処理は、必ずしも、上記の順で行われる必要はない。例えば、視点位置の推定処理や、変換式の導出よりも前に、注目領域の推定および注目画像領域の計算を行っても構わない。

（注目領域画像生成部１３の効果）
以上説明された注目領域画像生成部１３は、入力された俯瞰画像とカメラパラメータにより、画像中の人物の目の位置と注目物の位置を推定し、そこから、視点位置を俯瞰カメラ視点から仮想視点に移動する変換式を設定し、該変換式を用いて注目領域画像を生成する機能を備えている。

このため、従来のアイトラッキング機器等の特殊な器具を用いて注目している領域を推定する方法に比べ、特殊な器具等を必要とせず、対象人物から見た注目領域に相当する注目領域画像を生成することが可能となる。

〔付記事項１〕
前述の注目領域画像生成装置１の説明では、空間位置検出部１２において、複数のカメラにより撮影された画像に対してステレオマッチング処理を適用することで導出されるデプスマップを空間位置情報としてもよいとして説明している。複数のカメラにより撮影された画像を用いることで得たデプスマップを空間位置情報とする場合、上記複数の画像を、俯瞰画像として視点位置導出部１３１に入力し、視点位置の導出に利用してもよい。また同様に、上記複数の画像を、俯瞰画像として注目領域導出部１３２に入力し、注目領域の導出に利用してもよい。ただし、この場合、俯瞰カメラと、上記画像を撮影する複数のカメラの相対位置は既知とする。

〔付記事項２〕
前述の注目領域画像生成装置１の説明では、視点位置導出部１３１において、俯瞰画像から視点位置を導出する例を説明しているが、この俯瞰画像は、映像を構成するフレームであってもよい。この場合、必ずしもフレームごとに視点位置を導出する必要は無い。例えば、現在のフレームにおいて、視点位置が導出できない場合、現在のフレームの、前後にあるフレームで導出された視点位置を、現在のフレームの視点位置としてもよい。また例えば、俯瞰画像を時間的に区切り、一つの区間に含まれる一つのフレーム(参照フレーム)で導出された視点位置を、上記区間に含まれる全てのフレームの視点位置としてもよい。また例えば、上記区間内の全てのフレームの視点位置を導出し、例えばその平均値を、上記区間内で利用する視点位置としてもよい。なお、上記区間は、俯瞰画像内の連続したフレームの集合であり、俯瞰画像内の１フレームであってもよいし、俯瞰画像の全フレームであってもよい。

俯瞰画像を時間的に区切った一つの区間の、どのフレームを参照フレームとするか定める方法は、例えば、俯瞰画像の撮影終了後に手動で任意に選択するものであってもよいし、俯瞰画像の撮影中に、対象人物のジェスチャー、操作、及び、発声により決められるものであってもよい。また、例えば、俯瞰画像内の特徴的なフレーム(大きな動きがある、注目物が増減したフレーム)を自動的に識別し、参照フレームとしてもよい。

なお、上記は、視点位置導出部１３１のおける視点位置の導出について説明しているが、注目領域導出部１３２における注目領域についても同様である。すなわち、俯瞰画像が、映像を構成するフレームである場合、必ずしもフレームごとに注目領域を導出する必要は無い。例えば、現在のフレームにおいて、注目領域が導出できなかった場合、前後のフレームで導出された注目領域を、現在のフレームの注目領域としてもよい。また例えば、俯瞰画像を時間的に区切り、一つの区間に含まれる一つのフレーム(参照フレーム)で導出された注目領域を、上記区間に含まれる全てのフレームの注目領域としてもよい。同様に、上記区間内の全てのフレームの注目領域を導出し、例えば、その平均値を、上記区間内で利用する注目領域としてもよい。

〔付記事項３〕
前述の注目領域画像生成装置１の説明では、注目面を、対象人物が注目している領域の空間内の、注目物と交わる位置に存在する、地面に対して水平な面として設定されるとして説明している。しかしながら、注目面は、必ずしも上記のように設定される必要は無い。

例えば、注目面は、注目物と交わる位置から高さ方向に移動した面であってもよい。この場合、必ずしも注目面と注目物が交わらなくともよい。さらに、例えば、注目物が複数ある場合に、注目面は、複数の注目物が共通して存在する高さ位置に存在する面であってもよいし、複数の注目物の高さの中間の高さ（例えば高さの平均値）に存在する面であってもよい。

また、注目面は、必ずしも地面に対して水平な面として設定される必要は無い。例えば、注目物に平らな面が存在する場合に、注目面を、その面に沿った面として設定してもよい。また、例えば、注目面を、対象人物の方向に向けて、任意の角度に傾いた面として設定してもよい。また、例えば、視点位置から注目物を見た際に、その視線の方向と直交する角度を持つ面として注目面を設定してもよい。ただし、この場合、視点位置導出部１３１は、出力する視点位置を、注目領域導出部１３２に供給する必要がある。

〔付記事項４〕
前述の注目領域画像生成装置１の説明では、注目領域を、注目面上にある、全てもしくは一部の注目物を内包し、全てもしくは一部の注目物と内接する、注目面上に存在する所定形状の領域として設定されるとして説明している。しかしながら、注目領域は、必ずしもこの方法で設定される必要は無い。

注目領域は、必ずしも全てもしくは一部の注目物と内接する必要は無い。例えば、注目領域は、全てもしくは一部の注目物と内接する領域を基として、拡大されてもよいし、縮小されてもよい。上記のように注目領域を縮小したことにより、注目領域内に注目物が内包されなくなっても構わない。

また、注目領域は、注目物の位置を中心とする領域として設定されてもよい。すなわち、注目領域の中心に注目物が置かれるように、注目領域を設定してもよい。この場合、注目領域の大きさは、任意に設定されてもよいし、注目領域に他の注目物が含まれるような大きさに設定されてもよい。

また、注目領域は、任意の領域に基づいて設定されてもよい。例えば、前述の何らかの作業を行う場が、適当な領域（分割領域）に分割されている場合に、注目物が存在する分割領域を、注目領域として設定してもよい。分割領域とは、キッチンを例にとると、例えば、シンク、コンロ、調理台である。分割領域は、所定形状（例えば四角形）で表されるものとする。ただし、分割領域の位置は既知とする。すなわち、分割領域を表す所定形状の各頂点の位置は既知とする。分割領域の位置を表現するための座標系は、例えば、俯瞰画像を撮影する俯瞰カメラを基準とする相対座標である。上記の注目物が存在する分割領域（注目分割領域）は、注目物と分割領域の水平座標を比較することで判断される。すなわち、分割領域を表す所定形状の頂点の水平座標で囲まれた中に、注目物の水平座標が含まれる場合、その分割領域には注目物が存在すると判断する。なお、水平座標に加えて垂直座標を利用してもよい。例えば、上記の条件を満たしている場合であっても、分割領域を表す所定形状の頂点の垂直座標と、注目物の垂直座標が大きく異なる場合、その分割領域には注目物が存在しないと判断してもよい。

分割領域の位置を基に注目領域を設定する手順を説明する。まず、前述の方法と同様に、注目物の位置より、注目面を設定する。次に、上記のように、注目物が存在する分割領域を判断する。次に、注目分割領域を表す所定形状の頂点から高さ方向に引いた直線と、注目面との交点を計算する。最後に、上記注目面との交点を、注目領域として設定する。

〔付記事項５〕
前述の注目領域画像生成装置１の説明では、注目領域を表す所定形状について、四角形を例にとって説明しているが、上記所定形状は、必ずしも四角形である必要は無い。例えば、四角形以外の多角形であってもよい。この場合、その多角形の全ての頂点の座標を、注目領域とする。また、例えば、上記所定形状は、多角形の辺を歪ませた様な形状であってもよい。この場合、その形状を点の集合で表すとして、その各点の座標を、注目領域とする。なお、付記事項４の項で説明した、分割領域を表す所定形状についても同様である。

〔変形例１〕
前述の注目領域画像生成装置１の説明では、視点位置推定部１３１には空間位置情報、俯瞰画像、カメラパラメータが加えられるものとして説明しているが、さらに、ユーザ情報を入力してもよい。ここで、ユーザ情報とは、視点位置を導出するための補助となる情報であり、例えば、ユーザに結び付けられた、頭部の形状に対する目の位置を表す情報を含む情報である。この場合、視点位置推定部１３１では、俯瞰画像より、対象人物の識別を行い、ユーザ情報より、識別された対象人物に関する情報を受け取る。そして、推定された頭部の三次元形状と、このユーザ情報より、対象人物の目の位置を導出し、目の位置を視点位置とする。上記のように、視点位置の導出にユーザ情報を用いることで、より正確な目の三次元位置を導出でき、より正確な視点位置を導出可能となる。

〔変形例２〕
前述の注目領域画像生成装置１の説明では、視点位置導出部１３１において、少なくとも高さ情報を含む空間位置情報と、俯瞰画像、および、カメラパラメータより、視点位置を導出するとして説明している。しかしながら、空間位置情報のみを用いて視点位置を定められる場合、必ずしも視点位置導出部１３１に俯瞰画像とカメラパラメータを入力する必要は無い。すなわち、対象者の頭部の位置を表す空間位置情報に、高さ情報だけでなく、三次元の座標情報が含まれている場合、俯瞰画像とカメラパラメータを用いることなく、その対象者の頭部位置から目の位置を推定し、視点位置を導出してもよい。

また、注目領域導出部１３２における注目領域の導出についても同様である。前述の説明では、少なくとも高さ情報を含む空間位置情報と、俯瞰画像、および、カメラパラメータより、注目物の位置を推定し、そこから注目領域を導出するとして説明している。しかしながら、空間位置情報のみを用いて注目物の位置が定まる場合、必ずしも注目領域導出部１３２に俯瞰画像とカメラパラメータを入力する必要は無い。すなわち、注目物の位置を表す空間位置情報に、高さ情報だけでなく、三次元の座標情報が含まれている場合、俯瞰画像とカメラパラメータを用いることなく、その座標を、注目物の位置を表す座標としてもよい。

〔変形例３〕
前述の注目領域画像生成装置１の説明では、視点位置導出部１３１において、少なくとも高さ情報を含む空間位置情報と、俯瞰画像、および、カメラパラメータより、対象人物の頭部の空間位置を推定し、そこから対象人物の目の位置を推定し、その位置を視点位置とするとして説明している。しかしながら、必ずしも前述の方法で視点位置を導出する必要は無い。

例えば、あらかじめ設定された、視点位置の候補となる三次元的な空間座標(視点候補座標)を設定しておき、対象人物頭部に最も近い位置にある視点候補座標を、視点位置としてもよい。視点候補座標を表す座標は、例えば、俯瞰画像を撮影するカメラを基準とする相対座標であってもよい。この方法により視点位置を導出する場合、視点候補座標は、注目領域画像生成部１３に入力され、視点位置導出部１３１に供給されるものとする。

以下で視点候補座標の設定方法を説明する。視点候補座標の水平座標（高さ情報と直交する座標系）は、例えば、前述の分割領域ごとに、その分割領域を、正面から見下ろすような位置に設定されてもよい。また、任意に設定された位置であってもよい。視点候補座標の垂直座標（高さ情報）は、例えば、対象人物の身長を基に推定される、対象人物の目があると考えられる位置に設定されてもよいし、人の平均的な目の高さ位置に設定されてもよい。また、任意に設定された位置であってもよい。

以上により設定された視点候補座標について、対象人物の頭部に最も近い位置にある視点候補座標を、視点位置とする。なお、視点候補座標を利用して視点位置を導出する場合、必ずしも視点候補座標の水平座標と垂直座標の両方を利用する必要は無い。すなわち、視点位置の水平座標は、視点候補座標を利用して設定し、視点位置の垂直座標は、前述のように、対象人物の頭部の空間位置を推定することで設定してもよい。同様に、視点位置の垂直座標は、視点候補座標を利用して設定し、視点位置の水平座標は、前述のように、対象人物の頭部の空間位置を推定することで設定してもよい。

また、例えば、注目領域に対して一定の位置にある点を、視点位置として設定してもよい。すなわち、注目領域に対して、あらかじめ定められた距離、および、角度にある位置に視点が存在するとして、その位置を視点位置として設定してもよい。ただし、この場合、注目領域導出部１３２は、出力する注目領域を、視点導出部１３１に供給する必要がある。また、この場合、視点導出部１３１は、必ずしも俯瞰画像とカメラパラメータを入力される必要は無い。

また、視点の位置をあらかじめ定めておき、その位置を視点位置としてもよい。この場合、注目領域画像生成部１３は、必ずしも視点位置導出部１３１を備える必要は無い。ただし、その場合は、注目領域画像生成部１３に視点位置が供給されるものとする。

〔変形例４〕
前述の注目領域画像生成装置１の説明では、視点位置導出部１３１の出力を視点位置として説明しているが、これに加え、視点位置の導出ができなかった場合に、その旨を通知する手段を備えてもよい。通知する手段とは、例えば、音声によるアナウンスであってもよいし、アラーム音声であってもよいし、ランプの明滅であってもよい。

上記は、注目領域導出部１３２についても同様である。すなわち、注目領域導出部１３２において、注目領域が導出できなかった場合、その旨を通知する上記のような手段を備えてもよい。

〔ソフトウェアによる実現例〕
注目領域画像生成装置１は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現しても良いし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現しても良い。

後者の場合、注目領域画像生成装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ，上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読みとって実行することにより、本発明の一態様の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されても良い。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
（関連出願の相互参照）本出願は、2016年4月28日に出願された特願2016-090463に対して優先権の利益を主張するものであり、当該出願を参照することにより、その内容の全てが本書に含まれる。

１ 注目領域画像生成装置
１１ 画像取得部
１２ 空間位置検出部
１３ 注目領域画像生成部
１３１ 視点位置導出部
１３２ 注目領域導出部
１３３ 変換式導出部
１３４ 注目画像領域導出部
１３５ 注目領域画像変換部

図７を用いて注目画像領域導出部１３４の処理手順を説明する。図７は、注目画像領域の導出に関わる座標の対応関係と、注目画像領域の例を示す図である。図７の左側は、図５と同様に、図２に対応した図であり、図７の左側に示されている物は、図２で示されている物と同一とする。図７の右側の破線で囲まれた領域は、図７中の俯瞰カメラで撮影した俯瞰画像を表す。また、俯瞰画像中の二重破線で囲まれた領域は、注目領域を表す。なお、図の簡単化のため、図７では、俯瞰画像から一部を切り出した画像を俯瞰画像としている。注目画像領域導出部１３４では、まず、注目領域導出部１３２で導出した注目領域の座標(xa1,ya1,za1)、(xa2,ya2,za2)、(xa3,ya3,za3)、(xa4,ya4,za4)と、俯瞰カメラとの相対距離、および、俯瞰画像を撮影するカメラに取り付けられたカメラパラメータより、注目領域に対応する俯瞰画像中の画像領域を計算する。上記俯瞰画像中の画像領域を表す情報、例えば、上記領域に対応する画素の座標情報を、注目画像領域として、注目画像領域導出部１３４から出力する。

〔変形例１〕
前述の注目領域画像生成装置１の説明では、視点位置導出部１３１には空間位置情報、俯瞰画像、カメラパラメータが加えられるものとして説明しているが、さらに、ユーザ情報を入力してもよい。ここで、ユーザ情報とは、視点位置を導出するための補助となる情報であり、例えば、ユーザに結び付けられた、頭部の形状に対する目の位置を表す情報を含む情報である。この場合、視点位置導出部１３１では、俯瞰画像より、対象人物の識別を行い、ユーザ情報より、識別された対象人物に関する情報を受け取る。そして、推定された頭部の三次元形状と、このユーザ情報より、対象人物の目の位置を導出し、目の位置を視点位置とする。上記のように、視点位置の導出にユーザ情報を用いることで、より正確な目の三次元位置を導出でき、より正確な視点位置を導出可能となる。

例えば、視点位置の候補となる三次元的な空間座標(視点候補座標)を設定しておき、対象人物頭部に最も近い位置にある視点候補座標を、視点位置としてもよい。視点候補座標を表す座標は、例えば、俯瞰画像を撮影するカメラを基準とする相対座標であってもよい。この方法により視点位置を導出する場合、視点候補座標は、注目領域画像生成部１３に入力され、視点位置導出部１３１に供給されるものとする。

また、例えば、注目領域に対して一定の位置にある点を、視点位置として設定してもよい。すなわち、注目領域に対して、あらかじめ定められた距離、および、角度にある位置に視点が存在するとして、その位置を視点位置として設定してもよい。ただし、この場合、注目領域導出部１３２は、出力する注目領域を、視点位置導出部１３１に供給する必要がある。また、この場合、視点位置導出部１３１は、必ずしも俯瞰画像とカメラパラメータを入力される必要は無い。

Claims (5)

1. 一つ以上の俯瞰画像より、該俯瞰画像中で注目されている領域である注目領域を、別の視点から見た、注目領域画像として取り出す画像生成装置であって、
   少なくとも前記俯瞰画像、前記俯瞰画像を撮影する光学機器に関するパラメータおよび前記俯瞰画像中の物体の空間位置を示す空間位置情報に基づき、視点位置を導出する視点位置導出部と、
   少なくとも前記俯瞰画像、前記パラメータおよび前記空間位置情報に基づき、前記注目領域を導出する注目領域導出部と、
   少なくとも前記視点位置および前記注目領域に基づき、前記注目領域に対応する前記俯瞰画像中の第1の画像を、前記視点位置から見た画像に変換する変換式を導出する変換式導出部と、
   少なくとも前記俯瞰画像、前記パラメータおよび前記注目領域に基づき、前記注目領域に対応する前記俯瞰画像中の領域である注目画像領域を導出する注目画像領域導出部と、
   少なくとも前記変換式、前記俯瞰画像および前記注目画像領域に基づき、前記俯瞰画像から、前記注目画像領域に対応する画素を取り出し、前記注目領域画像に変換する注目領域画像変換部と、
   を備えることを特徴とする画像生成装置。
2. 前記空間位置情報は、前記俯瞰画像中の人物に関する高さ情報を含み、
   前記視点位置導出部は、少なくとも前記人物に関する高さ情報と前記俯瞰画像に基づき、前記視点位置を導出することを特徴とする請求項１に記載の画像生成装置。
3. 前記空間位置情報は、前記俯瞰画像中の注目される対象に関する高さ情報を含み、
   前記注目領域導出部は、少なくとも前記対象に関する高さ情報と前記俯瞰画像に基づき、前記注目領域を導出することを特徴とする請求項１に記載の画像生成装置。
4. 前記対象は、人物の手であることを特徴とする請求項３に記載の画像生成装置。
5. 前記対象は、人物が扱っている機器であることを特徴とする請求項３に記載の画像生成装置。

Images