JPWO2016088368A1 - 方向制御装置、方向制御方法および方向制御プログラム - Google Patents

Abstract

着用者がカメラ付の端末を装着した際に、カメラの撮影方向を所定の方向に設定することが可能となる。方向制御装置は、カメラで被写体を撮影した撮影画像を取得するカメラ部と、前記撮影画像内における前記被写体を表す第１設定画像の位置を算出する画像処理部と、予め登録された基準画像内における前記被写体を表す第２設定画像の位置と、前記第１設定画像の位置との差分を検出する姿勢検出部と、前記差分に基づき、前記カメラの撮影方向を移動させるカメラ制御部と、を備える。

Description

本発明は、方向制御装置等に関し、特に、カメラの撮影方向の制御に関する。

近年、カメラが小型化・軽量化されると共に、ハンズフリーでその場の状況を撮影できる様々なウェアラブルカメラが登場している。ウェアラブルカメラは、ヘルメット装着型、又は、メガネ型の他に、カメラ内蔵のレコーダを撮影者の胸に装着するバッジ型もある。

特許文献１には、複数のカメラの位置を管理するデータ処理装置に関し、各カメラで撮影された画像データを画像認識し、各カメラの位置を管理する方法が記載されている。

また、特許文献２には、ロボットの向きを決定するために平面鏡を利用して自己位置を決定する方法が記載されている。

国際公開第２００８／０８７９７４号 特開２０１３−１３９０６７号公報

ウェアラブルカメラを装着した時のカメラの撮影方向に関して、ヘルメット装着型、又は、メガネ型は、カメラの撮影方向を調整した後、次に装着した際のカメラの撮影方向の調整が不要となる場合がある。一方、胸、肩又は背中に装着するようなバッジ型は、着用者の体形の違い、又は、装着場所のずれ等によりカメラの撮影方向が前回の装着時と異なる場合がある。このため、装着後にカメラの撮影画像をモニタで確認しながらカメラの撮影方向を調整する必要がある。

このため、着用者がカメラ付の端末を装着した際に、カメラの撮影方向を所定の方向に設定することが可能な技術が望まれている。

本発明の目的は、上記課題を解決するための技術を提供することにある。

本発明の一態様である方向制御装置は、カメラで撮影した撮影画像を取得するカメラ部と、前記撮影画像から設定画像を検出し、前記撮影画像内における前記設定画像の位置を算出する画像処理部と、基準画像内における前記設定画像の位置と、前記設定画像位置との差分を検出する、姿勢検出部と、前記差分に基づき、前記カメラの撮影方向を移動させるカメラ制御部と、を備える。

本発明の一態様である方向制御方法は、カメラで撮影した撮影画像を取得し、前記撮影画像から設定画像を検出し、前記撮影画像内における前記設定画像の位置を算出し、基準画像内における前記設定画像の位置と、前記撮影画像内における前記設定画像の位置との差分を検出し、前記差分に基づき、前記カメラの撮影方向を移動させる。

本発明の一態様である記録媒体は、方向制御プログラムを格納する。方向制御プログラムは、コンピュータに、カメラで撮影した撮影画像を取得し、前記撮影画像から設定画像を検出し、前記撮影画像内における前記設定画像の位置を算出し、基準画像内における前記設定画像の位置と、前記撮影画像内における前記設定画像の位置との差分を検出し、前記差分に基づき、前記カメラの撮影方向を移動させる、ことを実行させる。

本発明は、着用者がカメラ付の端末を装着した際に、カメラの撮影方向を所定の方向に設定することが可能となる。

第１の実施形態によるウェアラブル端末のカメラの撮影方向を調整する一例を示す図である。 第１の実施形態によるウェアラブル端末の構成を示すブロック図である。 第１の実施形態おけるウェアラブル端末の画像処理部の構成を示すブロック図である。 撮影画像内における設定画像３Ａの位置を表す図である。 基準画像内における設定画像３Ｂの位置を表す図である。 第１の実施形態によるウェアラブル端末の動作を示すフローチャートである。 第２の実施形態によるウェアラブル端末のカメラの撮影方向を調整する一例を示す図である。 第２の実施形態によるウェアラブル端末の構成を示すブロック図である。 撮影画像内の顔画像の位置を示す図である。 第２の実施形態によるウェアラブル端末の動作を示すフローチャートである。 第３の実施形態によるウェアラブル端末のカメラの撮影方向を調整する一例を示す図である。 第３の実施形態によるウェアラブル端末の構成を示すブロック図である。 第３の実施形態によるウェアラブル端末の動作を示すフローチャートである。 第４の実施形態によるウェアラブル端末の構成を示すブロック図である。 第４の実施形態によるウェアラブル端末の動作を示すフローチャートである。 第５の実施形態によるウェアラブル端末の正面カメラ部及び背面カメラ部の装着例を示す上面概略図である。 第５の実施形態によるウェアラブル端末の正面カメラ部の装着例を示す正面概略図である。 第５の実施形態によるウェアラブル端末の正面カメラ部及び背面カメラ部の装着例を示す背面概略図である。 第５の実施形態によるウェアラブル端末の構成を示すブロック図である。 第１〜５の実施形態におけるウェアラブル端末の処理部、又は、制御部をコンピュータ装置で実現したハードウエア構成を示すブロック図である。

本発明の方向制御装置の実施形態について、図面を参照して詳細に説明する。以下、各実施形態における説明は、方向制御装置をウェアラブル端末に適用した例である。なお、図面のブロック図における矢印の方向は、一例を示すものであり、ブロック間の信号の向きを限定するものではない。

（第１の実施形態）
ウェアラブル端末におけるカメラの撮影方向の調整について図面を用いて説明する。図１は、第１の実施形態によるウェアラブル端末のカメラの撮影方向を調整する一例を示す図である。

撮影方向の調整として、まず、ウェアラブル端末１０のカメラ（図示せず）によって所定の被写体６が撮影される。そしてウェアラブル端末１０のカメラ部は、被写体６の撮影画像を取得する。撮影画像のうち被写体６の画像部分を設定画像と呼ぶ。設定画像は、カメラの撮影方向を所定の方向に設定するために用いられる。

ウェアラブル端末１０の画像処理部は、取得した撮影画像内における被写体６を表す第１設定画像の画像位置を算出する。ウェアラブル端末１０の姿勢検出部は、予め登録された基準画像内における被写体６を表す第２設定画像の画像位置と、第１設定画像の位置との差分を検出する。

基準画像とは、着用者２に装着されたウェアラブル端末１０のカメラの撮影方向が、所定の方向を向いているときに撮影された画像である。

なお、被写体６の撮影条件は、撮影画像及び基準画像で同様とする。例えば、撮影画像及び基準画像を取得するための被写体６の撮影位置、あるいは、カメラのレンズの焦点距離等を同じにする。

ウェアラブル端末１０のカメラ制御は、検出した差分に基づき、カメラの撮影方向を制御する。

以下、ウェアラブル端末１０の構成について図面を用いて詳細に説明する。図２は、第１の実施形態であるウェアラブル端末１０の構成を示すブロック図である。図２に示すように、ウェアラブル端末１０は、カメラ部１１と、画像処理部１２と、姿勢検出部１３と、カメラ制御部１４とを備える。

ウェアラブル端末１０のカメラ部１１は、所定の被写体６をカメラ（図示せず）で撮影した撮影画像を取得する。そしてカメラ部１１は、当該撮影画像Ｓ１１を画像処理部１２に通知する。なお、各実施形態においては、特に記述がある場合を除いて、ウェアラブル端末は、カメラ（図示せず）を備えるものとする。また、カメラ部１１は、カメラの撮影方向を変えるための移動部（図示せず）を備える。

ウェアラブル端末１０の画像処理部１２は、撮影画像Ｓ１１に基づいて照合画像情報Ｓ１２を生成し、姿勢検出部１３に通知する。照合画像情報Ｓ１２の詳細については後述する。

図３は、ウェアラブル端末１０の画像処理部１２の構成を示すブロック図である。図３に示すように、画像処理部１２は、特徴抽出部１２５と、特徴照合部１２６と、データベース１２３と、座標算出部１２７とを備える。

画像処理部１２の特徴抽出部１２５は、入力した撮影画像Ｓ１１に基づいて設定画像３Ａの特徴量を抽出する。特徴抽出部１２５は、入力した撮影画像Ｓ１１を座標算出部１２７に通知する。特徴量の抽出は、例えば、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）を用いることができる。なお、特徴量の抽出は、上記のＳＩＦＴに限られず、他の手法を用いてもよい。

画像処理部１２のデータベース１２３には、基準画像内における設定画像３Ｂ、及び、設定画像３Ｂの特徴量が予め登録されている。ここで基準画像とは、着用者に装着されたウェアラブル端末１０のカメラの撮影方向が、所定の方向を向いているときに撮影された画像である。また、データベース１２３には、基準画像内における設定画像３Ｂの画像位置を表す位置情報（以下、設定画像３Ｂの位置情報と示す）も予め登録されている。設定画像３Ｂの位置情報の一例は、基準画像内における設定画像３Ｂの座標情報である。

画像処理部１２の特徴照合部１２６は、特徴抽出部１２５で抽出された撮影画像内における設定画像３Ａの特徴量と、データベース１２３に登録された設定画像３Ｂの特徴量とを照合する。特徴照合部１２６は、照合した結果、撮影画像内における設定画像３Ａと基準画像内における設定画像３Ｂが合致した場合、データベース１２３に登録された基準画像の設定画像３Ｂに関する位置情報を座標算出部１２７に通知する。

画像処理部１２の座標算出部１２７は、特徴抽出部１２５から通知された撮影画像Ｓ１１に基づいて撮影画像内における設定画像３Ａの画像位置を表す位置情報（以下、設定画像３Ａの位置情報を示す）を算出する。座標算出部１２７が算出する設定画像３Ａの位置情報の一例は座標情報である。

さらに、座標算出部１２７は、撮影画像内における設定画像３Ａの位置情報、及び、データベース１２３に登録された基準画像内における設定画像３Ｂの位置情報を照合画像情報Ｓ１２として、姿勢検出部１３に通知する。

姿勢検出部１３は、通知された照合画像情報Ｓ１２に基づいて、撮影画像内における設定画像３Ａの位置と、基準画像内における設定画像３Ｂの位置との差分を示す姿勢差分情報Ｓ１３を生成し、カメラ制御部１４に通知する。姿勢差分情報Ｓ１３の詳細については後述する。

図４Ａは、撮影画像内における設定画像３Ａの位置を表す図であり、図４Ｂは、基準画像内における設定画像３Ｂの位置を表す図である。撮影画像内における設定画像３Ａ及び基準画像内における設定画像３Ｂにはそれぞれ基準点となる画像が含まれている。基準点となる画像は、例えば、所定の色又は形状の物体を被写体に附すことにより設定画像３Ａ、３Ｂに含まれる。なお、被写体の一部の色又は形状が基準点となる画像としてもよい。

図４Ａに示す撮影画像内における設定画像３Ａの基準点の位置と、図４Ｂに示す基準画像内における設定画像３Ｂの基準点の位置は、それぞれ水平線（実線）と垂直線（実線）との交点として表されている。このとき、図４Ａの水平線（破線）と垂直線（破線）との交点は、設定画像３Ｂの基準点の位置を示している。

図４Ａに示すように、撮影画像内における設定画像３Ａの基準点の位置は、基準画像内における設定画像３Ｂの基準点の位置と比べて、水平方向で左に距離Ｖ１、垂直方向で下に距離Ｖ２移動していることになる。

姿勢検出部１３は、設定画像３Ｂの基準点の位置情報及び設定画像３Ａの基準点の位置情報に基づいて姿勢差分情報Ｓ１３を生成する。姿勢差分情報Ｓ１３は、例えば、基準点の水平移動距離Ｖ１及び垂直移動距離Ｖ２である。水平移動距離Ｖ１、垂直移動距離Ｖ２は、設定画像３Ａの基準点の座標情報、設定画像３Ｂの基準点の座標情報から求めることができる。

カメラ制御部１４は、姿勢差分情報Ｓ１３に基づき、撮影画像内における設定画像３Ａの基準点の位置が、基準画像内における設定画像３Ｂの基準点の位置に近づくような移動量情報を生成する。そしてカメラ制御部１４は、カメラ部１１の移動部（図示せず）に移動量情報Ｓ１４を通知し、カメラの撮影方向を制御する。

次に、第１の実施形態によるウェアラブル端末１０の動作について、図面を用いて説明する。図５は、第１の実施形態によるウェアラブル端末１０の動作を示すフローチャートである。

まず、ウェアラブル端末１０のカメラ部１１は、カメラで所定の被写体６を撮影した撮影画像を取得し（ステップＰ１）、撮影画像Ｓ１１を画像処理部１２に通知する。次に、ウェアラブル端末１０の画像処理部１２は、通知された撮影画像Ｓ１１から設定画像３Ａを抽出し、撮影画像内における設定画像３Ａの位置を算出する（ステップＰ２）。

具体的には、画像処理部１２の特徴抽出部１２５が、撮影画像から設定画像３Ａの特徴量を抽出し、特徴照合部１２６が、データベース１２３に予め登録された基準画像内における設定画像３Ｂの特徴量と、抽出された設定画像３Ａの特徴量を照合する。特徴照合部１２６は、画像特徴が合致したとき、データベース１２３に予め登録された基準画像内における設定画像３Ｂの位置情報とともに照合結果を座標算出部１２７へ通知する。座標算出部１２７は、撮影画像内における設定画像３Ａの位置を算出し、基準画像内における設定画像３Ｂの位置情報とともに、照合画像情報Ｓ１２として姿勢検出部１３へ通知する。

姿勢検出部１３は、撮影画像内における設定画像３Ａの位置と基準画像内の設定画像３Ｂの位置との差分を検出し（ステップＰ３）、差分がある場合（ステップＰ４のＹｅｓ）、設定画像３Ａと設定画像３Ｂとの位置の差分情報を姿勢差分情報Ｓ１３としてカメラ制御部１４に通知する。カメラ制御部１４は、姿勢差分情報Ｓ１３に基づき、撮影画像内における設定画像３Ａの基準点を位置が、基準画像内における設定画像３Ｂの基準点の位置に近づくような移動量情報Ｓ１４を生成する。例えば、設定画像３Ａの基準点の位置が、設定画像３Ｂの基準点の位置の左側にある場合、カメラ制御部１４は、カメラの撮影方向の方位角を左に移動させることになる。このときの方位角の移動量は、例えば、姿勢差分情報Ｓ１３に含まれる基準点の水平移動距離Ｖ１とカメラから基準画像の基準点までの距離Ｖ３（図示せず）からｔａｎθ_１＝Ｖ１／Ｖ３によって算出される。カメラから基準画像の基準点までの距離Ｖ３は、基準画像の撮影時における撮影位置の距離である。距離Ｖ３は、データベース１２３から基準画像の位置情報とともに取得される。

また、設定画像３Ａの基準点の位置が、設定画像３Ｂの基準点の位置の下側にある場合、カメラ制御部１４は、カメラの撮影方向の仰角を下に移動させることになる。このときの仰角の移動量は、例えば、姿勢差分情報Ｓ１３に含まれる基準点の垂直移動距離Ｖ２とカメラから基準画像の基準点までの距離Ｖ３（図示せず）からｔａｎθ_２＝Ｖ２／Ｖ３によって算出される。カメラ制御部１４は、カメラ部１１の移動部に移動量情報Ｓ１４を通知し、カメラの撮影方向を制御する（ステップＰ５）。また、差分がない場合（ステップＰ４のＮｏ）、動作は終了する。

（第１の実施形態の変形例）
第１の実施形態では、画像処理部１２の特徴抽出部１２５が、撮影画像Ｓ１１を座標算出部１２７に通知する例を用いて説明したが、これに限られない。例えば、撮影画像Ｓ１１が、カメラ部１１から画像処理部１２の特徴抽出部１２５及び座標算出部１２７の２つに通知されるようにしてもよい。この場合、画像処理部１２の特徴抽出部１２５から座標算出部１２７への撮影画像Ｓ１１の通知は不要となる。

以上のように、第１の実施形態のウェアラブル端末１０によれば、ウェアラブル端末１０を着用した際に、カメラ部におけるカメラの撮影方向を所定の方向に設定することが可能となる。

その理由は、第１の実施形態のウェアラブル端末１０は、カメラで被写体６を撮影し、撮影した撮影画像内における設定画像３Ａの位置と、基準画像内における設定画像３Ｂの位置との差分（水平方向：Ｖ１、垂直方向：Ｖ２）を算出する。さらに、ウェアラブル端末１０は、算出された差分情報に基づいて、撮影画像内における設定画像３Ａの位置が基準画像内における設定画像３Ｂの位置に近づくように、カメラの撮影方向を移動させるからである。

（第２の実施形態）
次に、第２の実施形態について、図面を用いて説明する。第２の実施形態は、カメラの撮影方向の調整のための被写体に着用者を用いる例である。図６は、第２の実施形態によるウェアラブル端末のカメラの撮影方向を調整する一例を示す図である。図６に示すように、ウェアラブル端末２０の着用者２を被写体とするために、着用者２が鏡４の前に立ち、着用者２に装着されたウェアラブル端末２０で鏡４に映る着用者２の鏡像２’を撮影する。第２の実施形態では、撮影画像内における設定画像として、着用者２の鏡像２’の顔画像が用いられる。なお、鏡像２’の撮影条件は、撮影画像及び基準画像で同様とする。例えば、撮影画像及び基準画像を取得するための被写体６の撮影位置、あるいは、カメラのレンズの焦点距離等を同じにする。

図７は、第２の実施形態であるウェアラブル端末２０の構成を示すブロック図である。図７に示すように、ウェアラブル端末２０は、カメラ部１１と、画像処理部２２と、姿勢検出部２３と、カメラ制御部１４とを備える。図７に示すウェアラブル端末２０において、第１の実施形態のウェアラブル端末１０と同じ構成については同一の符号を付して詳細な説明は省略する。

はじめに、撮影方向の調整対象となるウェアラブル端末２０のカメラで鏡４に映る着用者２の鏡像２’が撮影される。ウェアラブル端末２０のカメラ部１１は、撮影画像を取得し、鏡像２’の画像を撮影画像Ｓ１１として画像処理部２２に通知する。

画像処理部２２の顔検出部１２１は、撮影画像Ｓ１１から着用者２の顔画像を検出する。顔検出部１２１は、検出された顔画像を顔照合部１２２に通知する。顔画像の検出は、顔領域を検出する公知技術を適用可能である。また、顔検出部１２１は、撮影画像Ｓ１１を顔座標算出部１２４に通知する。

画像処理部２２の顔照合部１２２は、データベース１２３Ａに予め登録された着用者２の顔画像と、顔検出部１２１で検出された顔画像を照合する。顔画像の照合は、例えば、第１の実施形態のようにＳＩＦＴを用いて顔画像の特徴量を抽出して顔画像を照合する。この場合、撮影画像内における顔画像の特徴量の抽出は、顔検出部１２１又は顔照合部１２２で実施される。また、顔画像の特徴量を用いて照合する場合、データベース１２３Ａには、予め登録された着用者２の顔画像の他に、顔画像の特徴量データが登録される。

ここで、カメラは鏡４に映る鏡像２’を撮影した画像のため、顔検出で検出された顔画像は、実際の着用者２の顔画像とは左右反転している。このため、画像処理部２２のデータベース１２３Ａに登録される着用者２の顔画像も着用者２の鏡像２’の顔画像とする。

着用者２の鏡像２’の撮影条件は、カメラの撮影方向を調整するための撮影とデータベースに登録するための撮影で同様とする。例えば、鏡像２’の撮影位置、あるいは、カメラのレンズの焦点距離等を同じにする。

画像処理部２２のデータベース１２３Ａには、着用者２の鏡像２’の顔画像の位置情報が登録されている。着用者２の鏡像２’の顔画像は、カメラの撮影方向が所定の方向に向いているときに撮影された画像（以下、基準画像と示す）における顔画像である。基準画像内における顔画像の位置情報は、例えば、顔画像に対して着用者２の顔を囲む矩形を形成し、この矩形の角の座標を顔画像の位置情報とする。顔画像の位置情報を特定するため形成する着用者２の顔を囲む図形は矩形以外に円又は多角形でもよい。また、データベース１２３Ａには、着用者２を識別する識別情報及び着用者２の身長データを含む着用者情報が登録されている。識別情報は、例えば、着用者ごとに割り振られる任意の文字列である。

そして、顔照合部１２２は、検出された顔画像とデータベース１２３Ａに登録された顔画像とが合致したとき、基準画像内における顔画像の位置情報及び着用者情報を顔座標算出部１２４に送る。

次に、画像処理部２２の顔座標算出部１２４は、顔検出部１２１から通知された撮影画像内における顔画像の位置情報を算出する。撮影画像内における顔画像の位置情報は、上述の基準画像内における顔画像の位置情報と同様に、着用者２の顔を囲む矩形を形成し、矩形の角の座標を顔画像の位置情報とする。

図８は、鏡像２’の撮影画像内における顔画像の位置を示す図である。図８に示すように、撮影画像内における顔画像Ｖの位置は、顔画像を囲む矩形の座標に基づく撮影画像の左端又は上端から矩形画像までの距離（水平方向：Ｖ４、垂直方向：Ｖ５）で規定される。顔座標算出部１２４は、撮影画像内における顔画像の位置情報、基準画像内における顔画像の位置情報及び着用者情報を含む照合画像情報Ｓ２２を姿勢検出部２３に送る。

姿勢検出部２３は、撮影画像内における顔画像の位置情報と基準画像内における顔画像の位置情報とに基づいて、撮影画像内における顔画像の位置と、基準画像内における顔画像の位置との差分を示す姿勢差分情報Ｓ１３を生成する。

さらに、姿勢検出部２３は、撮影画像と基準画像との顔画像の位置の差分を示す姿勢差分情報Ｓ１３を生成する機能に加え、着用者２の身長の高低に伴うカメラ位置情報を反映した補正情報を生成する機能を備える。

図６に示すように、第２の実施形態のように鏡４に映る着用者２の顔画像を用いてカメラの撮影方向を調整する場合、姿勢差分情報Ｓ１３によるカメラの撮影方向は、鏡４に映る着用者２の顔の方向を向くことになる。例えば、着用者２の身長が２００ｃｍのときは、着用者２に装着されたカメラの高さ位置が１８０ｃｍとなるため、足元よりの被写体は撮影画像に入りにくくなる。一方、着用者２の身長が１４０ｃｍのときは、カメラの高さ位置が１２０ｃｍになり、上側の被写体は撮影画像に入りにくくなる。このためウェアラブル端末２０を装着する着用者２の身長の高低を反映したカメラの撮影方向の仰角補正が必要となる。

姿勢検出部２３のカメラ姿勢算出部１３１は、姿勢検出部２３のカメラ姿勢データベース１３２に登録されているカメラ位置情報に基づいて、着用者２の身長の高低を反映したカメラの撮影方向の補正情報を算出する。そしてカメラ姿勢算出部１３１は、姿勢差分情報Ｓ１３に補正情報を加えてカメラ制御部１４に通知する。なお、カメラ位置情報は、着用者情報に含まれる識別情報を用いることで着用者に対応したカメラ位置情報がカメラ姿勢データベース１３２から読み出される。

カメラ制御部１４は、姿勢検出部２３で算出された撮影画像と基準画像との顔画像の位置の差分を示す姿勢差分情報Ｓ１３及びカメラ位置情報による補正情報に基づき、カメラの撮影方向を制御する。

次に、第２の実施形態によるウェアラブル端末２０の動作について、図面を用いて説明する。図９は、第２の実施形態によるウェアラブル端末２０の動作を示すフローチャートである。

まず、ウェアラブル端末２０のカメラ部１１は、カメラで鏡４に映る着用者２の鏡像２’を撮影した撮影画像を取得し（ステップＰ１１）、撮影画像Ｓ１１を画像処理部２２に通知する。次に、ウェアラブル端末２０の画像処理部２２は、通知された撮影画像Ｓ１１から着用者２の顔画像を検出し（ステップＰ１２）、撮影画像内における顔画像の位置を算出する。

具体的には、画像処理部１２の顔検出部１２１が、撮影画像から顔画像を検出し（ステップＰ１２）、顔照合部１２２が、データベース１２３Ａに予め保存された顔画像と、抽出された顔画像とを照合する（ステップＰ１３）。顔照合部１２２は、顔画像が合致しない場合（ステップＰ１４のＮｏ）、ステップＰ１１に戻る。顔照合部１２２は、顔画像が合致したとき（ステップＰ１４のＹｅｓ）、データベース１２３Ａに登録された、基準画像内における顔画像の位置情報及び着用者情報を顔座標算出部１２４へ送る。

顔座標算出部１２４は、撮影画像内における顔画像の位置を算出し（ステップＰ１５）、基準画像の顔画像の位置情報とともに着用者情報を姿勢検出部２３へ送る。

姿勢検出部２３は、撮影画像内における顔画像と基準画像内における顔画像との位置の差分は有るか（ステップＰ１６）を確認する。位置の差分が有る場合（ステップＰ１６のＹｅｓ）姿勢差分情報をカメラ制御部１４に送る。カメラ制御部１４は、姿勢差分情報に基づき、カメラ部１１の移動部（図示せず）に指示し、カメラの撮影方向を制御する（ステップＰ１７）。

ウェアラブル端末２０は、ステップＰ１１〜ステップＰ１７を、撮影画像内における顔画像と基準画像内における顔画像との位置の差分がなくなるまで繰り返す。顔画像の位置の差分がなくなったら（ステップＰ１６のＮｏ）、補正情報に基づいてカメラの撮影方向を制御する（ステップＰ１８）。

（第２の実施形態の変形例）
第２の実施形態では、画像処理部２２の顔検出部１２１が、撮影画像Ｓ１１を顔座標算出部１２４に通知する例を用いて説明したが、これに限られない。例えば、撮影画像Ｓ１１が、カメラ部１１から画像処理部２２の顔検出部１２１及び顔座標算出部１２４の２つに通知されるようにしてもよい。この場合、画像処理部２２の顔検出部１２１から顔座標算出部１２４への撮影画像Ｓ１１の通知は不要となる。

以上のように、第２の実施形態のウェアラブル端末２０によれば、第１の実施形態と同様に、カメラ部におけるカメラの撮影方向を所定の方向に設定することが可能となる。その理由は、第２の実施形態のウェアラブル端末２０は、カメラで着用者２の鏡像２’を撮影し、撮影画像内における顔画像の位置と、基準画像内における顔画像の位置との差分（水平方向：Ｖ４、垂直方向：Ｖ５）を算出する。さらに、ウェアラブル端末２０は、算出された差分情報に基づいて、撮影画像内における顔画像の位置が基準画像内における顔画像の位置に近づくように、カメラの撮影方向を移動させるからである。

また、第２の実施形態のウェアラブル端末によれば、着用者２の身長の高低に関連するカメラ位置情報に基づいたカメラの撮影方向の制御が可能となる。なお、着用者２のデータは、顔画像の照合の結果、合致した場合にデータベース１２３Ａから読み出されるため個人情報の保護も容易となる。

（第３の実施形態）
次に、第３の実施形態について、図面を用いて説明する。第３の実施形態は、カメラの撮影方向の調整のための被写体に二次元バーコードを用いる例である。なお、第３の実施形態の説明において、第１の実施形態と同じ構成については、同一の符号を附して詳細な説明は省略する。

図１０は、第３の実施形態によるウェアラブル端末のカメラの撮影方向を調整する一例を示す図である。着用者２に装着されたウェアラブル端末３０のカメラ（図示せず）は、撮影方向の調整対象となるカメラである。ウェアラブル端末３０のカメラによって二次元バーコード５が撮影される。

図１１は、第３の実施形態によるウェアラブル端末３０の構成を示すブロック図である。図１１に示すように、ウェアラブル端末３０は、カメラ部１１と、画像処理部３２と、姿勢検出部１３と、カメラ制御部１４とを備える。

ウェアラブル端末３０のカメラ部１１は、二次元バーコード５を撮影した撮影画像を取得し、当該撮影画像Ｓ１１を画像処理部３２に通知する。

ウェアラブル端末３０の画像処理部３２は、入力した撮影画像Ｓ１１から、画像情報Ｓ３２を生成し、姿勢検出部１３に通知する。具体的には、画像処理部３２は、情報抽出部１２８と、座標算出部１２９とを備える。情報抽出部１２８は、入力した撮影画像Ｓ１１のうち二次元バーコード５の画像からバーコード情報を抽出する。ここで二次元バーコード５のバーコード情報には、二次元バーコード５の大きさ、及び、二次元バーコード５の設置位置（高さ）の情報が含まれている。

座標算出部１２９は、撮影画像内における二次元バーコードの位置情報を算出し、バーコード情報と共に画像情報Ｓ３２として、姿勢検出部１３に通知する。二次元バーコードの位置情報は、撮影画像内における二次元バーコードの画像の座標、撮影画像の左端及び上端から二次元バーコードの画像の左端及び上端までのそれぞれの距離（水平方向、垂直方向）で規定することができる。

ウェアラブル端末３０の姿勢検出部１３は、入力した画像情報Ｓ３２に基づき、撮影画像内における二次元バーコードの画像位置とバーコード情報とから姿勢差分情報Ｓ１３を生成し、カメラ制御部１４に通知する。

ウェアラブル端末３０のカメラ制御部１４は、姿勢差分情報Ｓ１３に基づき、撮影画像内の設定画像３Ａの位置を、基準画像内の設定画像３Ｂの位置に近づけるようにカメラ部１１に指示し、カメラの撮影方向を制御する。

次に、第３の実施形態によるウェアラブル端末３０の動作について、図面を用いて説明する。図１２は、第３の実施形態によるウェアラブル端末３０の動作を示すフローチャートである。第３の実施形態の動作が第１の実施形態の動作と同じ場合、同一の符号を付して詳細な説明は省略する。

ウェアラブル端末３０の画像処理部３２は、二次元バーコードの撮影画像を取得する（ステップＰ２１）。情報抽出部１２８は、入力された撮影画像Ｓ１１から二次元バーコード５を検出し（ステップＰ２２）、二次元バーコード５のバーコード情報を抽出する（ステップＰ２３）。バーコード情報には、二次元バーコードの大きさ、及び、二次元バーコードの設置高さの情報が含まれている。

座標算出部１２９は、撮影画像Ｓ１１内の二次元バーコード画像から、二次元バーコード画像の位置を算出する（ステップＰ２４）。座標算出部１２９は、算出された二次元バーコード画像の位置情報を姿勢検出部１３に通知する。

姿勢検出部１３のカメラ姿勢算出部１３１は、二次元バーコード画像の位置情報とバーコード情報に含まれる二次元バーコードの大きさ、及び、二次元バーコードの設置高さから、姿勢差分情報を算出する。

カメラ制御部１４は、姿勢検出部１３で算出された姿勢差分情報に基づき、方向ずれがなくなるようにカメラ部１１の移動部（図示せず）へ指示するカメラ移動量を制御し、カメラ部１１のカメラの撮影方向を制御する（ステップＰ２６）。

以上のように、第３の実施形態によるウェアラブル端末３０によれば、第３の実施形態と同様に、カメラ部におけるカメラの撮影方向を所定の方向に設定することが可能となる。

また、第３の実施形態によるウェアラブル端末３０によれば、撮影した２次元バーコードから２次元バーコードの設置高さ又は大きさの情報が得られるので、データベースの記憶容量を少なくすることができる。

（第４の実施形態）
次に、第４の実施形態について、図面を用いて説明する。なお、第４の実施形態の説明において、第１の実施形態と同じ構成については、同一の符号を附して詳細な説明は省略する。

図１３は、第４の実施形態によるウェアラブル端末４０の構成を示すブロック図である。図１３に示すように、ウェアラブル端末４０は、カメラ部１１と、画像処理部１２と、姿勢検出部１３と、カメラ制御部１４と、センサ部１５を備える。

ウェアラブル端末４０のセンサ部１５は、カメラ部１１に取り付けられ、カメラ部１１によってカメラの撮影方向が制御された後のカメラの撮影方向を記憶する機能を有する。具体的には、センサ部１５は、３軸ジャイロセンサもしくは６軸センサを備える。ウェアラブル端末４０では、カメラ制御部１４によってカメラの撮影方向が確定した後に、センサ部１５のジャイロ機能を有効にすることで、ジャイロセンサの指す方向を、調整後のカメラの撮影方向として登録することができる。

例えば、着用者の運動によってウェアラブル端末４０のカメラの撮影方向がずれた場合、ウェアラブル端末４０は、センサ部１５のジャイロセンサの方向情報を用いることで、再び所定画像を撮影することなく、カメラの撮影方向を補正することができる。なお、第４の実施形態のセンサ部１５は、第１の実施形態〜第３の実施形態のいずれにも適用することができる。

次に、第４の実施形態によるウェアラブル端末４０の動作について、図面を用いて説明する。図１４は、第４の実施形態によるウェアラブル端末４０の動作を示すフローチャートである。以下の説明では、第１の実施形態の動作と同じ箇所については、その説明を省略する。

姿勢検出部１３は、撮影画像内の設定画像３Ａと基準画像内の設定画像３Ｂの位置に差分が有るか確認し、位置に差分が有る場合（ステップＰ３４のＹｅｓ）、姿勢差分情報Ｓ１３を算出し、カメラ制御部１４に通知する。カメラ制御部１４は、姿勢検出部１３で算出された姿勢差分情報に基づいて、カメラ部１１に指示（移動量情報Ｓ１４）し（ステップＰ３５）、カメラの撮影方向を制御する。また、位置に差分が無い場合（ステップＰ３４のＮｏ）、センサ部１５のジャイロ機能を有効にし、位置に差分がない状態のカメラの撮影方向をジャイロセンサの初期方向として記憶する（ステップＰ３６）。

姿勢検知部１３によるカメラの撮影方向の調整後、センサ部１５は、カメラの撮影方向とジャイロセンサの初期方向とに差分が有るか確認し（ステップＰ３７）、方向に差分がある場合（ステップＰ３７のＹｅｓ）、撮影方向と初期方向との方向差分情報（角度差）を算出してカメラ制御部１４に通知する。カメラ制御部１４は、方向差分情報に基づいて、方向差分を解消するように移動量情報Ｓ１４を生成してカメラ部１１に指示し、カメラの撮影方向を再制御する（ステップＰ３８）。

以上のように、第４の実施形態によるウェアラブル端末４０は、第１の実施形態と同様に、カメラ部におけるカメラの撮影方向を所定の方向に設定できる。また、第４の実施形態によるウェアラブル端末４０は、再び所定画像を撮影することなく、カメラの撮影方向を補正できる。

（第５の実施形態）
次に、第５の実施形態について、図面を用いて説明する。第５の実施形態は、ウェアラブル端末が２つのカメラ部を制御する例である。図１５Ａは、ウェアラブル端末の正面カメラ部及び背面カメラ部の装着例を示す上面概略図である。図１５Ｂは、ウェアラブル端末の正面カメラ部の装着例を示す正面概略図である。図１５Ｃは、ウェアラブル端末の正面カメラ部及び背面カメラ部の着用例を示す背面概略図である。

図１５Ａ〜Ｃに示すように、ウェアラブル端末の正面カメラ部１６は着用者２の右肩に装着され、背面カメラ部１７は背中上部に装着されている。正面カメラ部１６のカメラの撮影方向は、着用者２が正面から撮影する方向であり、背面カメラ部１７のカメラの撮影方向は、着用者２が背面から撮影する方向である。すなわち、正面カメラ部１６及び背面カメラ部１７のカメラの撮影方向は、互いに反対方向を向いている。正面カメラ部１６のカメラの撮影方向と背面カメラ部１７のカメラの撮影方向は、それぞれの仰角が水平に対して対称となっている。

図１６は、第５の実施形態によるウェアラブル端末の構成を示すブロック図である。なお、図１６中、第５の実施形態によるウェアラブル端末５０の構成について、第１の実施形態によるウェアラブル端末１０と同様の構成については、同一の符号を付して詳細な説明を適宜省略する。

第５の実施形態によるウェアラブル端末５０は、正面カメラ部１６と、画像処理部１２と、姿勢検出部１３と、カメラ制御部１８と、背面カメラ部１７とを備える。背面カメラ部１７は、カメラ（図示せず）、及び、カメラの撮影方向を変えるための移動部（図示せず）を備える。

第５の実施形態のウェアラブル端末５０の正面カメラ部１６は、所定の被写体をカメラ（図示せず）で撮影した撮影画像を取得する。そして正面カメラ部１６は、当該撮影画像Ｓ１１を画像処理部１２に通知する。ウェアラブル端末５０の画像処理部１２は、撮影画像Ｓ１１に基づいて照合画像情報Ｓ１２を生成し、姿勢検出部１３に通知する。姿勢検出部１３の構成、動作は、第１の実施形態におけるウェアラブル端末１０と同じであるため詳細な説明は省略する。姿勢検出部１３は、第１の実施形態のウェアラブル端末１０と同様に、生成した姿勢差分情報Ｓ１３をカメラ制御部１８に送る。

ウェアラブル端末５０のカメラ制御部１８は、姿勢差分情報Ｓ１３に基づいて、正面カメラ部１６に指示してカメラの撮影方向を制御する。さらに、カメラ制御部１８は、背面カメラ部１７に対して、正面カメラ部１６の撮影方向と逆向きになる設定を指示し、カメラの撮影方向を制御する。背面カメラ部１７への制御は、正面カメラ部１６への制御と同時でもよく、あるいは、後でもよい。

上記の第５の実施形態は、第１の実施形態のウェアラブル端末に適用した例で説明したが、第２〜４の実施形態によるウェアラブル端末に適用することもできる。

上記のように、第５の実施形態によれば、第１の実施形態の効果に加え、別のカメラ部のカメラの撮影方向の調整を簡易に実行できる。その理由は、正面カメラ部１６のカメラの撮影方向と背面カメラ部１７のカメラの撮影方向の対称性を利用して、他方のカメラの撮影方向の調整に反映させているからである。

以上のように、第５実施形態によるウェアラブル端末５０では、第１の実施形態と同様に、カメラ部におけるカメラの撮影方向を所定の方向に設定することが可能となる。

また、第５実施形態によるウェアラブル端末によれば、背面カメラ部１７のカメラの撮影方向を正面カメラ部１６の撮影方向と逆向きになる設定を指示し、背面カメラ部１７を制御することで、背面カメラ部１７のカメラの撮影方向を調整することができる。

（ハードウエア構成）
図１７は、第１〜５の実施形態におけるウェアラブル端末１０、２０、３０、４０、５０の各制御部、又は、各処理部をコンピュータ装置で実現したハードウエア構成を示す図である。

図１７に示すように、ウェアラブル端末１０、２０、３０、４０、５０の各制御部、又は、各処理部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１、ネットワーク接続用の通信Ｉ／Ｆ（通信インターフェース）９０２を含む。さらに、ウェアラブル端末１０、２０、３０、４０、５０の各制御部、又は、各処理部は、メモリ９０３、及び、プログラムを格納するハードディスク等の記憶装置９０４を含む。また、ＣＰＵ９０１は、システムバス９０７を介して入力装置９０５及び、出力装置９０６に接続されている。

ＣＰＵ９０１は、オペレーティングシステムを動作させて第１〜５の実施形態に係るウェアラブル端末を制御する。またＣＰＵ９０１は、例えば、ドライブ装置に装着された記録媒体からメモリ９０３にプログラムやデータを読み出す。

また、ＣＰＵ９０１は、例えば、各実施形態における各機能部から入力される情報信号を処理する機能を有し、プログラムに基づいて各種機能の処理を実行する。

記憶装置９０４は、例えば、光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク、又は半導体メモリ等である。記憶装置９０４の一部の記憶媒体は、不揮発性記憶装置であり、そこにプログラムを記憶する。また、プログラムは、通信網に接続されている図示しない外部コンピュータからダウンロードされてもよい。

入力装置９０５は、例えば、マウス、キーボード、又は、タッチパネルなどで実現され、入力操作に用いられる。

出力装置９０６は、例えば、ディスプレイで実現され、ＣＰＵ９０１により処理された情報等を出力して確認するために用いられる。

以上のように、各実施形態は、図１７に示されるハードウエア構成によって実現される。但し、ウェアラブル端末１０、２０、３０、４０、５０が備える各部の実現手段は、特に限定されない。すなわち、ウェアラブル端末は、物理的に結合した一つの装置により実現されてもよいし、物理的に分離した二つ以上の装置を有線又は無線で接続し、これら複数の装置により実現してもよい。

以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１４年１２月３日に出願された日本出願特願２０１４−２４５０９８号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

２ 着用者
２’ 鏡像
３Ａ 設定画像
３Ｂ 設定画像
４ 鏡
５ 二次元バーコード
１０ ウェアラブル端末
１１ カメラ部
１２ 画像処理部
１３ 姿勢検出部
１４ カメラ制御部
１５ センサ部
１６ 正面カメラ部
１７ 背面カメラ部
１８ カメラ制御部
２０ ウェアラブル端末
２２ 画像処理部
２３ 姿勢検出部
３０ ウェアラブル端末
３２ 画像処理部
４０ ウェアラブル端末
５０ ウェアラブル端末
１２１ 顔検出部
１２２ 顔照合部
１２３ データベース
１２４ 顔座標算出部
１２５ 特徴抽出部
１２６ 特徴照合部
１２７ 座標算出部
１２８ 情報抽出部
１２９ 座標算出部
１３１ カメラ姿勢算出部
１３２ カメラ姿勢データベース
９０１ ＣＰＵ
９０２ 通信Ｉ／Ｆ（通信インターフェース）
９０３ メモリ
９０４ 記憶装置
９０５ 入力装置
９０６ 出力装置
９０７ システムバス
Ｓ１１ 撮影画像
Ｓ１２ 照合画像情報
Ｓ１３ 姿勢差分情報
Ｓ１４ 移動量情報
Ｓ２２ 照合画像情報
Ｓ３２ 画像情報

本発明の一態様である方向制御プログラムは、コンピュータに、カメラで撮影した撮影画像を取得し、前記撮影画像から設定画像を検出し、前記撮影画像内における前記設定画像の位置を算出し、基準画像内における前記設定画像の位置と、前記撮影画像内における前記設定画像の位置との差分を検出し、前記差分に基づき、前記カメラの撮影方向を移動させる、ことを実行させる。

具体的には、画像処理部２２の顔検出部１２１が、撮影画像から顔画像を検出し（ステップＰ１２）、顔照合部１２２が、データベース１２３Ａに予め保存された顔画像と、抽出された顔画像とを照合する（ステップＰ１３）。顔照合部１２２は、顔画像が合致しない場合（ステップＰ１４のＮｏ）、ステップＰ１１に戻る。顔照合部１２２は、顔画像が合致したとき（ステップＰ１４のＹｅｓ）、データベース１２３Ａに登録された、基準画像内における顔画像の位置情報及び着用者情報を顔座標算出部１２４へ送る。

Claims (10)

1. 撮影方向の調整対象となるカメラで被写体を撮影した撮影画像を取得するカメラ手段と、
   前記撮影画像内における前記被写体を表す第１設定画像の位置を算出する画像処理手段と、
   予め登録された基準画像内における前記被写体を表す第２設定画像の位置と、前記第１設定画像の位置との差分を検出する姿勢検出手段と、
   前記差分に基づき、前記カメラの撮影方向を移動させるカメラ制御手段と、
   を備える方向制御装置。
2. 前記画像処理手段は、
   前記撮影画像から特徴量を抽出する特徴抽出手段と、
   前記設定画像を保存するデータベースと、
   前記データベースに保存された前記設定画像と、前記特徴抽出手段で抽出した前記画像特徴とを照合し、前記撮影画像の特徴量を特定する特徴照合手段と、
   前記照合された設定画像の位置を算出する座標算出手段と、
   を備える、請求項１に記載の方向制御装置。
3. 前記画像処理手段は、
   前記撮影画像から顔を検出する顔検出手段と、
   前記設定画像である所定顔画像を保存するデータベースと、
   前記データベースに保存された前記所定顔画像と、前記顔検出手段で検出した顔画像とを照合し、前記撮影画像の顔画像を特定する顔照合手段と、
   前記照合された顔画像の位置を算出する顔座標算出手段と、
   を備える、請求項１に記載の方向制御装置。
4. 前記画像処理手段は、
   前記撮影画像から二次元バーコードを検出する画像検出手段と、
   前記二次元バーコードの情報を抽出する情報抽出手段と、
   前記二次元バーコードの情報に、前記二次元バーコードの設置高さ情報と、前記二次元バーコードのサイズ情報を含み、
   前記情報抽出手段で抽出した情報から、前記撮影画像内の前記二次元バーコードの位置を算出する座標算出手段と、
   を備える、請求項１に記載の方向制御装置。
5. 前記カメラ手段は、前記カメラの姿勢を検出するセンサを備え、
   前記センサは、カメラの撮影方向の位置ずれが無い状態をセンサの指す方向として記憶し、
   前記カメラ制御手段は、前記センサの指す方向を用いて、カメラの撮影方向を制御する
   請求項１から請求項４のいずれか１つに記載の方向制御装置。
6. 前記センサは、３軸ジャイロセンサ、又は、６軸センサである、
   請求項５に記載の方向制御装置。
7. 前記カメラ手段は、正面カメラ手段と背面カメラ手段を有し、
   前記正面カメラ手段のカメラの撮影方向と前記背面カメラ手段のカメラの撮影方向が、それぞれの仰角が水平に対して対称であるときに、
   前記カメラ制御手段は、前記背面カメラ手段のカメラの撮影方向を、前記正面カメラ手段のカメラの撮影方向と逆向きに制御する、
   請求項１から６のいずれか１つに記載の方向制御装置。
8. 請求項１〜７のいずれか１つに記載の方向制御装置を備えるウェアラブル端末。
9. 撮影方向の調整対象となるカメラで被写体を撮影した撮影画像を取得し、
   前記撮影画像内における前記被写体を表す第１設定画像の位置を算出し、
   予め登録された基準画像内における前記被写体を表す第２設定画像の位置と、前記第１設定画像の位置との差分を検出し、
   前記差分に基づき、前記カメラの撮影方向を移動させる、方向制御方法。
10. コンピュータに、
    撮影方向の調整対象となるカメラで被写体を撮影した撮影画像を取得し、
    前記撮影画像内における前記被写体を表す第１設定画像の位置を算出し、
    予め登録された基準画像内における前記被写体を表す第２設定画像の位置と、前記第１設定画像の位置との差分を検出し、
    前記差分に基づき、前記カメラの撮影方向を移動させる、
    ことを実行させる方向制御プログラムを格納した記録媒体。

Images