JP7364052B2 - 情報処理装置、制御方法及びプログラム - Google Patents

Description

本開示は、画像に基づく特徴抽出を行う情報処理装置、制御方法及び記憶媒体の技術分野に関する。

拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を提供する装置において、カメラで撮像した画像に基づき、ユーザが視認する風景に重ねて表示する画像（所謂ＡＲ画像）の表示位置を決定する技術が存在する。例えば、特許文献１には、物体の外観の特徴を表す特徴データを記憶し、撮像装置から得られる画像及び上記の特徴データに基づいて、実空間内に存在する物体の特徴抽出を行うことで、当該物体の位置を表現する環境マップを構築し、環境マップを参照して実空間内で遂行すべき作業の一連の手順に関する説明を表示する画像処理装置が開示されている。

特開２０１１－１５９１６２号公報

対称性を有する物体の特徴抽出では、対称となる位置に存在する各特徴点に付すべきラベルは観察する位置によって変わるため、このような特徴点についてはラベル識別の混同が生じやすくなり、識別精度が低下するという問題があった。そこで、本開示では、特徴抽出を好適に実行することが可能な情報処理装置、制御方法及び記憶媒体を提供する。

情報処理装置の一の態様は、情報処理装置であって、撮像部が撮像した撮像画像に基づき、対称性を有する対称物の特徴点の位置と、当該特徴点に固有の第１ラベルを前記対称性に基づき統合又は変更するように定義された第２ラベルとの組合せを取得する特徴点取得手段と、前記対称性を破るための付加情報と、前記第２ラベルとに基づき、前記特徴点の各々に対して付すべき前記第１ラベルを決定するラベル決定手段と、を有する。

制御方法の一の態様は、コンピュータにより、撮像部が撮像した撮像画像に基づき、対称性を有する対称物の特徴点の位置と、当該特徴点に固有の第１ラベルを前記対称性に基づき統合又は変更するように定義された第２ラベルとの組合せを取得し、前記対称性を破るための付加情報と、前記第２ラベルとに基づき、前記特徴点の各々に対して付すべき前記第１ラベルを決定する、制御方法である。

プログラムの一の態様は、撮像部が撮像した撮像画像から、対称性を有する対称物の特徴点の位置と、当該特徴点に固有の第１ラベルを前記対称性に基づき統合又は変更するように定義された第２ラベルとの組合せを取得する特徴点取得手段と、前記対称性を破るための付加情報と、前記第２ラベルとに基づき、前記特徴点の各々に対して付すべき前記第１ラベルを決定するラベル決定手段としてコンピュータを機能させるプログラムである。

本開示によれば、対称性を有する対称物の特徴抽出を的確に実行することができる。

第１実施形態に係る表示装置の概略構成図である。 制御部の機能的な構成を示すブロック図である。 特徴点を第１ラベルと共に明示したテニスコートの俯瞰図である。 特徴点を第２ラベルと共に明示したテニスコートの俯瞰図である。 （Ａ）第１特徴点情報を撮像画像上に明示した図である。（Ｂ）第２特徴点情報を撮像画像上に明示した図である。 学習装置の概略構成を示す。 学習装置の制御部の機能ブロックの一例である。 第１実施形態において学習装置が実行する処理概要を示すフローチャートの一例である。 第１実施形態において表示装置が実行する特徴抽出処理に関するフローチャートの一例である。 変形例１に係る制御部の機能ブロックの一例である。 変形例１において表示装置が実行する特徴抽出処理に関するフローチャートの一例である。 （Ａ）人を正面視した図である。（Ｂ）鏡越しに人を正面視した図である。 （Ａ）並進対称性を有する対称物を正面視した図である。（Ｂ）対称物の破線枠内を拡大した図である。 変形例３に係る表示システムの概略構成図である。 第３実施形態における情報処理装置の概略構成を示す。 第３実施形態における情報処理装置の処理手順を示すフローチャートの一例である。

以下、図面を参照しながら、情報処理装置、制御方法及び記憶媒体の実施形態について説明する。

＜第１実施形態＞
（１）概略構成
図１は、第１実施形態に係る表示装置１の概略構成図である。表示装置１は、ユーザが装着可能な装置であり、例えば眼鏡型に構成されたシースルー型であって、ユーザの頭部に装着可能に構成されている。そして、表示装置１は、スポーツ観戦や劇（コンサートを含む）の観賞などにおいて、実在する風景に視覚情報を重ねて表示することで、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を実現する。上記の視覚情報は、２次元又は３次元により表された仮想のオブジェクトであり、以後では、「仮想オブジェクト」とも呼ぶ。なお、表示装置１は、ユーザの片眼にのみ仮想オブジェクトを表示してもよく、両眼に対して仮想オブジェクトを表示してもよい。

本実施形態では、表示装置１は、仮想オブジェクトを表示する際の基準となる静止構造物（「基準構造物Ｒｔａｇ」とも呼ぶ。）の特徴抽出を行い、その特徴抽出結果に基づき、仮想オブジェクトを基準構造物Ｒｔａｇ上又はその周辺に重畳表示する。ここで、基準構造物Ｒｔａｇは、スポーツやゲームなどが行われるフィールド等であり、仮想オブジェクトは、ユーザがスポーツ観戦や劇の観賞を行う際に補助となる付加的な情報を示す。仮想オブジェクトは、例えば、テニスの場合には、テニスコート上方に表示する点数ボード、競泳の場合には、競泳中のプールにリアルタイム重畳表示する世界記録ライン、観劇などの場合には、ステージ上に重畳表示するバーチャル出演者などが該当する。

また、基準構造物Ｒｔａｇは、対称性を有する対称物である。対称性は、ｎ回対称性（ｎは２以上の自然数であり、「ｎ＝２」は点対称）、線対称性、鏡映対称性、並進対称性のいずれであってもよい。このような基準構造物Ｒｔａｇは、例えば、テニス、競泳、サッカー、卓球、バスケットボール、ラグビーなどの各スポーツのフィールド、将棋又は囲碁などの各ゲームのフィールド、劇のステージ、スポーツフィールドなどの模型が該当する。ここで、一般に、スポーツのフィールドなどの対称性の高い基準構造物Ｒｔａｇについては、対称の位置に存在する特徴点同士の識別が困難となる。以上を勘案し、本実施形態に係る表示装置１は、基準構造物Ｒｔａｇの各特徴点の位置と当該各特徴点に固有のラベルとの組合せを好適に抽出する。

図１に示すように、表示装置１は、光源ユニット１０と、光学素子１１と、通信部１２と、入力部１３と、記憶部１４と、撮像部（カメラ）１５と、位置姿勢検出センサ１６と、制御部１７とを有する。

光源ユニット１０は、レーザ光源やＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）光源などの光源を有しており、制御部１７から供給される駆動信号に基づき、光を射出する。光学素子１１は、所定の透過率を有し、外光の少なくとも一部を透過してユーザの眼球に入射させると共に、光源ユニット１０からの光の少なくとも一部を、ユーザの眼球に向けて反射する。これにより、表示装置１によって形成された仮想オブジェクトに対応する虚像が、風景と重なってユーザに視認されることとなる。なお、光学素子１１は、透過率と反射率とが概ね等しいハーフミラーであってもよく、透過率と反射率とが等しくないようなミラー（所謂ビームスプリッタ）であってもよい。光源ユニット１０及び光学素子１１は、「表示部」の一例である。

通信部１２は、制御部１７の制御に基づき、外部装置とのデータの授受を行う。例えば、ユーザがスポーツ観戦や劇の観賞などに表示装置１を使用する場合には、通信部１２は、制御部１７の制御に基づき、興行者が管理するサーバ装置から表示装置１が表示すべき仮想オブジェクトに関する情報を受信する。

入力部１３は、ユーザの操作に基づく入力信号を生成して制御部１７に送信する。入力部１３は、例えば、ユーザが表示装置１に対して指示を行うためのボタン、十字キー、音声入力装置等である。

撮像部１５は、制御部１７の制御に基づき、表示装置１の前方を撮像した画像を生成し、生成した画像（「撮像画像Ｉｍ」とも呼ぶ。）を制御部１７に供給する。

位置姿勢検出センサ１６は、表示装置１の位置及び姿勢（向き）を検出するセンサ（センサ群）であり、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓａｔｅｌｌｉｔｅ）受信機などの測位センサと、ジャイロセンサ、加速度センサ、ＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）などの表示装置１の相対的な姿勢の変化を検出する姿勢検出センサとを含む。位置姿勢検出センサ１６は、生成した表示装置１の位置及び姿勢に関する検出信号を制御部１７へ供給する。なお、位置姿勢検出センサ１６は、測位センサから表示装置１の位置を検出する代わりに、例えば、会場に設けられたビーコン端末や無線ＬＡＮ機器から受信する信号に基づき、表示装置１の位置を特定してもよい。他の例では、位置姿勢検出センサ１６は、ＡＲマーカを用いた位置推定技術に基づき、表示装置１の位置を特定してもよい。これらの場合、位置姿勢検出センサ１６は、測位センサを含まなくともよい。

制御部１７は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサ、プロセッサの作業メモリとして機能する揮発性メモリなどを有しており、表示装置１の全体的な制御を行う。

記憶部１４は、制御部１７が表示装置１の制御に必要な種々の情報を記憶する不揮発性メモリを有する。記憶部１４は、フラッシュメモリなどの着脱自在な記憶媒体を含んでもよい。また、記憶部１４には、制御部１７が実行するプログラムが記憶される。

また、記憶部１４は、特徴抽出器パラメータＤ１と、付加情報生成データＤ２とを記憶している。

特徴抽出器パラメータＤ１は、撮像部１５が生成する撮像画像Ｉｍから基準構造物Ｒｔａｇの特徴点を抽出する特徴抽出器を構成するためのパラメータに関する情報である。特徴抽出器は、例えば、撮像画像Ｉｍが入力された場合に、抽出対象となる特徴点の位置と、当該特徴点の分類を示すラベルとの組合せに関する情報を出力するように学習された学習モデルである。例えば、特徴抽出器は、撮像画像Ｉｍに存在する特徴点毎に、該当するラベルと、対象の特徴点の撮像画像Ｉｍ内の位置に関する信頼度マップ又は座標値との組合せを出力する。信頼度マップは、特徴点の座標値ごとの信頼度を示す画像上のマップである。「座標値」は、ピクセル単位での画像内の位置を示す値であってもよく、サブピクセル単位での画像内の位置を示す値であってもよい。特徴抽出器の学習に用いる学習モデルは、ニューラルネットワークに基づく学習モデルであってもよく、サポートベクターマシーンなどの他の種類の学習モデルであってもよく、これらの組み合わせであってもよい。例えば、上述の学習モデルが畳み込みニューラルネットワークなどのニューラルネットワークである場合、特徴抽出器パラメータＤ１は、層構造、各層のニューロン構造、各層におけるフィルタ数及びフィルタサイズ、並びに各フィルタの各要素の重みなどの各種パラメータである。

以後において、「第１ラベル」は、基準構造物Ｒｔａｇから抽出すべき特徴点に一意に割り当てられたラベル（識別情報）を指し、「第２ラベル」は、基準構造物Ｒｔａｇの対称性に基づき第１ラベルを割り直したラベルを指す。本実施形態では、第２ラベルは、対称の位置に存在する特徴点が同一ラベルとなるように割り当てられる。以後では、１つの第１ラベルに対して対称性に基づき対応付けられる第２ラベルの個数を、「ラベル統合数Ｎ」とも呼ぶ。特徴抽出器パラメータＤ１に基づき構成された特徴抽出器は、撮像画像Ｉｍが入力された場合に、第２ラベルと特徴点の画像内の位置に関する信頼度マップ又は座標値との組合せを特徴点毎に出力するように学習される。この場合、特徴抽出器は、第２ラベル毎に構成されてもよい。

付加情報生成データＤ２は、基準構造物Ｒｔａｇの対称性を破る情報である付加情報「Ｉａ」の生成に用いるデータである。ここで、付加情報Ｉａは、言い換えると、撮像画像Ｉｍ内での基準構造物Ｒｔａｇの向きを一意に特定することで、第２ラベルを第１ラベルに変換するための情報である。例えば、付加情報Ｉａは、表示装置１と基準構造物Ｒｔａｇとの位置関係に応じた、１～Ｎ（Ｎはラベル統合数）のいずれかを示す情報となる。

付加情報生成データＤ２の第１の例は、表示装置１の装着者が基準構造物Ｒｔａｇを観察する際の座席の位置を示す座席情報である。この座席情報は、基準構造物Ｒｔａｇとの位置関係（即ち一方を基準とした場合の他方の方位）を把握可能な情報である。付加情報生成データＤ２の第２の例は、基準構造物Ｒｔａｇの絶対的な位置情報である。この場合、表示装置１は、後述するように、位置姿勢検出センサ１６が検出する表示装置１の現在位置と付加情報生成データＤ２が示す基準構造物Ｒｔａｇの位置とに基づき、表示装置１と基準構造物Ｒｔａｇとの位置関係に応じた付加情報Ｉａを生成する。付加情報生成データＤ２の第３の例は、基準構造物Ｒｔａｇの周辺に存在する特徴物と基準構造物Ｒｔａｇとの位置関係を撮像画像Ｉｍに基づき推論するための推論器（「特徴物推論器」とも呼ぶ。）のパラメータである。なお、特徴物推論器は、付加情報Ｉａを直接出力するようにモデル化されてもよい。

ここで、特徴物は、基準構造物Ｒｔａｇに対する位置関係が予め定まっている物体である。例えば、特徴物は、テニスコートの審判台、将棋の駒置き等、基準構造物Ｒｔａｇにおいて行われる競技又はゲームにおいて必要な（必ず設置される）物である。他の例では、特徴物は、基準構造物Ｒｔａｇへの入場口、基準構造物Ｒｔａｇ周辺における特有な色又はパターンを有する床部分など、基準構造物Ｒｔａｇが設けられたスタジアムが有する特徴部分であってもよい。

なお、図１に示す表示装置１の構成は一例であり、この構成に対して種々の変更を行ってもよい。例えば、表示装置１は、制御部１７の制御に基づき、音声を出力するスピーカをさらに備えてもよい。また、表示装置１は、ユーザの視線の位置に応じて仮想オブジェクトの表示有無や仮想オブジェクトの表示位置を変更するための視線検出用カメラを備えてもよい。

（２）機能ブロック
図２は、制御部１７の機能的な構成を示すブロック図である。図２に示すように、制御部１７は、機能的には、撮像画像取得部４０と、付加情報生成部４１と、第２ラベル特徴抽出部４２と、第１ラベル決定部４３と、調整部４４と、表示制御部４５と、を有する。以下に説明するように、制御部１７は、撮像画像Ｉｍから抽出した特徴点に対し、付加情報Ｉａに基づき、付加すべき第１ラベルを決定する。これにより、制御部１７は、対称性を有する基準構造物Ｒｔａｇに対しても正確な特徴抽出処理を行う。なお、図２では、データの授受が行われるブロック同士を実線（かつデータの授受が必須でないブロック同士を破線）により結んでいるが、データの授受が行われるブロックの組合せは図２に限定されない。後述する他の機能ブロックの図においても同様である。

撮像画像取得部４０は、撮像部１５が生成する撮像画像Ｉｍを取得し、付加情報生成部４１及び第２ラベル特徴抽出部４２に撮像画像Ｉｍを供給する。なお、付加情報生成部４１が撮像画像Ｉｍを用いずに付加情報Ｉａを生成する場合には、撮像画像取得部４０は、付加情報生成部４１に撮像画像Ｉｍを供給しなくともよい。

付加情報生成部４１は、付加情報生成データＤ２に基づき、基準構造物Ｒｔａｇの対称性を破る付加情報Ｉａを生成する。

例えば、付加情報生成データＤ２が表示装置１の装着者の座席情報である場合、付加情報生成部４１は、座席情報から特定される、表示装置１と基準構造物Ｒｔａｇとの位置関係に応じた付加情報Ｉａを生成する。例えば、座席情報が座席番号を示す場合、付加情報生成部４１は、座席番号毎に表示装置１と基準構造物Ｒｔａｇとの位置関係（例えば一方に対する他方の方位）を示したテーブル情報を参照することで、付加情報Ｉａを生成する。この場合、例えば、付加情報生成部４１は、上記の位置関係として、表示装置１が基準構造物Ｒｔａｇに対して北側、南側、西側、東側のいずれに存在するかを判定し、その判定結果に応じた付加情報Ｉａを生成する。なお、付加情報生成部４１は、ラベル統合数Ｎが大きいほど、詳細な方位を示す付加情報Ｉａを生成する。言い換えると、付加情報生成部４１は、少なくともラベル統合数Ｎにより分割された方位のいずれであるかを特定可能な情報を、付加情報Ｉａとして生成する。また、座席情報が座席位置を示す場合、付加情報生成部４１は、当該座席情報と、予め記憶部１４等に記憶された基準構造物Ｒｔａｇの位置情報とに基づき、表示装置１と基準構造物Ｒｔａｇとの位置関係を特定し、特定した位置関係に応じた付加情報Ｉａを生成する。

また、付加情報生成部４１は、付加情報生成データＤ２が特徴物推論器のパラメータである場合、付加情報生成データＤ２に基づき構成した特徴物推論器に対し、撮像画像取得部４０から供給される撮像画像Ｉｍを入力する。この場合、付加情報生成部４１は、基準構造物Ｒｔａｇの周辺に存在する特徴物と基準構造物Ｒｔａｇとの撮像画像Ｉｍ内での位置関係に応じた付加情報Ｉａを生成する。

また、付加情報生成部４１は、位置姿勢検出センサ１６が出力する表示装置１の位置情報に基づき、付加情報Ｉａを生成してもよい。この場合、付加情報生成データＤ２は、例えば基準構造物Ｒｔａｇの位置情報であり、位置姿勢検出センサ１６の出力と付加情報生成データＤ２とに基づき表示装置１と基準構造物Ｒｔａｇとの位置関係を特定し、特定した位置関係に応じた付加情報Ｉａを生成する。付加情報生成部４１の処理の具体例については、図３～図５を参照して後述する。

第２ラベル特徴抽出部４２は、特徴抽出器パラメータＤ１に基づき構成した特徴抽出器に撮像画像Ｉｍを入力することで特徴抽出器から出力される情報に基づき、基準構造物Ｒｔａｇの対称性に応じた第２ラベルが付加された特徴点を抽出する。第２ラベル特徴抽出部４２は、特徴点の撮像画像Ｉｍ内の座標値と第２ラベルとの組合せを示す情報（「第１特徴点情報Ｆ１」とも呼ぶ。）を、第１ラベル決定部４３へ供給する。

第１ラベル決定部４３は、第２ラベル特徴抽出部４２から供給された第１特徴点情報Ｆ１において各特徴点に付された第２ラベルを、付加情報Ｉａに基づき第１ラベルに変換する。第１ラベル決定部４３は、第１特徴点情報Ｆ１が示す各特徴点の座標値と各特徴点に対応する第１ラベルとの組合せを示す情報（「第２特徴点情報Ｆ２」とも呼ぶ。）を、調整部４４に供給する。付加情報Ｉａに基づく第１ラベルへの変換方法については後述する。

調整部４４は、第２特徴点情報Ｆ２に基づき、実世界空間と表示装置１が認識する空間とを対応付けるためのキャリブレーション処理を行う。このキャリブレーション処理では、調整部４４は、表示装置１が基準とする３次元空間の座標系（「デバイス座標系」とも呼ぶ。）を、基準構造物Ｒｔａｇを基準とした３次元空間の座標系（「構造座標系」とも呼ぶ。）に変換するための座標変換情報「Ｉｃ」を生成する。そして、調整部４４は、生成した座標変換情報Ｉｃを表示制御部４５に供給する。

表示制御部４５は、調整部４４から供給される座標変換情報Ｉｃに基づき、光源ユニット１０を駆動するための駆動信号を生成し、駆動信号を光源ユニット１０に供給することで光源ユニット１０に仮想オブジェクトを表示するための光（「表示光」とも呼ぶ。）を光学素子１１に射出させる。これにより、制御部１７は、仮想オブジェクトをユーザに視認させる。なお、調整部４４及び表示制御部４５は、任意のＡＲデバイスの方式に従い、キャリブレーション及び表示制御を行ってもよい。

なお、図２において説明した撮像画像取得部４０、付加情報生成部４１、第２ラベル特徴抽出部４２、第１ラベル決定部４３、調整部４４及び表示制御部４５の各構成要素は、例えば、制御部１７がプログラムを実行することによって実現できる。より具体的には、各構成要素は、記憶部１４に格納されたプログラムを、制御部１７が実行することによって実現され得る。また、必要なプログラムを任意の不揮発性記憶媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。なお、これらの各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、これらの各構成要素は、例えばＦＰＧＡ（field-programmable gate array）又はマイコン等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。このように、各構成要素は、プロセッサ以外のハードウェアにより実現されてもよい。以上のことは、後述する他の実施の形態においても同様である。

（３）具体例
次に、図２において説明した制御部１７の処理について、基準構造物Ｒｔａｇをテニスコートとした例を用いて具体例に説明する。

図３及び図４は、基準構造物Ｒｔａｇであるテニスコートの俯瞰図である。図３では、抽出すべき特徴点を○により囲むと共に、各特徴点に対応する第１ラベル「Ｐａ０」～「Ｐａ１３」を明示している。また、図４では、抽出すべき特徴点を○により囲むと共に、第２ラベル「Ｐａ０」～「Ｐａ６」を明示している。また、テニスコートの北側には、審判台９が存在している。

図３に示すように、抽出すべきテニスコートの各特徴点には、夫々に一意のラベルである第１ラベルＰａ０～Ｐａ１３が割り当てられている。ここでは、基準構造物Ｒｔａｇの特徴点のうち西側コートサイドのベースラインの４つの特徴点に対し、南から北に向かって順に第１ラベルＰａ０～Ｐａ３を設定し、同一サイドのサービスライン上の３つの特徴点に対して同様に第１ラベルＰａ４～Ｐａ６を設定している。また、東側コートサイドのサービスラインの３つの特徴点に対し、南から北に向かって順に第１ラベルＰａ７～Ｐａ９を設定し、同一サイドのベースライン上の４つの特徴点に対して同様に第１ラベルＰａ１０～Ｐａ１３を設定している。このように、第１ラベルは、基準構造物Ｒｔａｇの周辺に存在する特徴物（ここでは審判台９）と基準構造物Ｒｔａｇとの方位等を基準とした絶対的な位置関係又は特徴点間の絶対的な位置関係に基づき、一意に特定することが可能である。

また、図４に示すように、テニスコートはラベル統合数Ｎが「２」となる点対称であることから、点対称となる位置に存在する特徴点の２個の組合せに対し、同一の第２ラベルが付されている。例えば、基準構造物Ｒｔａｇの重心に対して点対称の位置に存在する第１ラベルＰａ０及び第１ラベルＰａ１３の各特徴点には、同一の第２ラベルＰｂ０が割り当てられている。

図５（Ａ）は、撮像画像Ｉｍに基づき生成された第１特徴点情報Ｆ１を撮像画像Ｉｍ上に明示した図である。ここでは、一例として、特徴抽出器パラメータＤ１に基づき構成される特徴抽出器は、入力された撮像画像Ｉｍに対し、第２ラベル毎に特徴点の位置に関する信頼度マップを出力するものとする。図５（Ａ）は、説明便宜上、信頼度が０とならない主要な部分領域（ここでは３×３又は４×４の矩形領域）のみに対して信頼度マップを明示している。信頼度マップの各画素は、濃いほど信頼度が高いことを示すものとする。また、図５（Ａ）では、各特徴点の位置に関する信頼度マップと共に、各信頼度マップが対応する特徴点の第２ラベル「Ｐｂ０」～「Ｐｂ６」を明示している。なお、図５（Ａ）では、全ての特徴点の位置に関する信頼度マップを１つの画像内に表示しているが、実際には、ラベル毎の信頼度マップが特徴抽出器から出力される。

この場合、図５（Ａ）に示すように、特徴抽出器パラメータＤ１に基づき構成される特徴抽出器は、基準構造物Ｒｔａｇの対称性に基づき、第２ラベル毎にラベル統合数Ｎ個分（ここでは２箇所）のピークを有する信頼度を出力する。よって、第２ラベル特徴抽出部４２は、この場合、第２ラベルＰｂ０～Ｐｂ６の各々について、ラベル統合数Ｎに相当する２箇所において信頼度が極大値となる位置（座標値）を、対象の第２ラベルに対応する特徴点として抽出する。

図５（Ｂ）は、第２特徴点情報Ｆ２を撮像画像Ｉｍ上に明示した図である。ここでは、説明便宜上、第１ラベルＰａ０～Ｐａ１３に対応する特徴点を小さな丸印により明示している。この場合、付加情報生成部４１は、付加情報生成データＤ２に基づき、表示装置１と基準構造物Ｒｔａｇとの絶対的な位置関係、又は、審判台９とテニスコートとの撮像画像Ｉｍ上での位置関係を特定し、特定した位置関係に応じた付加情報Ｉａを生成する。そして、第１ラベル決定部４３は、付加情報Ｉａと、第２ラベルＰｂ０～Ｐｂ６との組合せに基づき、各特徴点に対応する第１ラベルＰａ０～Ｐａ１３を決定する。

ここで、一例として、０又は１となる付加情報Ｉａを生成する場合の付加情報生成部４１及び第１ラベル決定部４３の処理について検討する。

このとき、付加情報生成部４１は、座席情報等に基づき表示装置１が基準構造物Ｒｔａｇに対して北側又は東側に存在すると判定した場合には、付加情報Ｉａを「０」とし、表示装置１が基準構造物Ｒｔａｇに対して南側又は西側に存在すると判定した場合には、付加情報Ｉａを「１」とする。同様に、付加情報生成部４１は、撮像画像Ｉｍに基づき、審判台９が基準構造物Ｒｔａｇに対して手前側又は右側に存在すると判定した場合、表示装置１が基準構造物Ｒｔａｇに対し北側又は東側に存在する場合に等しいことから、付加情報Ｉａを「０」とする。また、付加情報生成部４１は、撮像画像Ｉｍに基づき、審判台９が基準構造物Ｒｔａｇに対して奥側又は左側に存在すると判定した場合、表示装置１が基準構造物Ｒｔａｇに対し南側又は西側に存在する場合に等しいことから、付加情報Ｉａを「１」とする。図５（Ａ）、（Ｂ）の例では、付加情報生成部４１は、表示装置１が基準構造物Ｒｔａｇに対して東側に存在する、又は、審判台９が基準構造物Ｒｔａｇに対して右側に存在すると判定し、付加情報Ｉａを「０」とする。

そして、第１ラベル決定部４３は、付加情報Ｉａが「０」の場合、奥側又は右側に存在するコートサイドの特徴点に対して第１ラベルＰａ０～Ｐａ６を付し、手前側又は左側に存在するコートサイドの特徴点に対して第１ラベルＰａ７～Ｐａ１３を付す。一方、第１ラベル決定部４３は、付加情報Ｉａが「１」の場合、手前側又は左側に存在するコートサイドの特徴点に対して第１ラベルＰａ０～Ｐａ６を付し、奥側又は右側に存在するコートサイドの特徴点に対して第１ラベルＰａ７～Ｐａ１３を付す。図５（Ａ）、（Ｂ）の例では、第１ラベル決定部４３は、付加情報Ｉａが「０」であることから、奥側に存在する西側コートサイドの特徴点に対して第１ラベルＰａ０～Ｐａ６を付し、手前側に存在する東側コートサイドの特徴点に対して第１ラベルＰａ７～Ｐａ１３を付す。

ここで、付加情報Ｉａに基づく第１ラベルの決定方法について、ラベル統合数Ｎを一般化して説明する。

まず、第１ラベル決定部４３は、対称性を有する領域毎に基準構造物Ｒｔａｇを分割する。この場合、分割された領域（「分割領域」とも呼ぶ。）は、ラベル統合数Ｎ個（図３及び図４では西側コートサイド及び東側コートサイド）だけ存在する。また、各分割領域は、互いに形状が等しい領域であり、第２ラベルが重複しない特徴点（図３及び図４では、第２ラベルＰｂ０～Ｐｂ６）が夫々存在する。そして、第１ラベル決定部４３は、分割したラベル統合数Ｎ個分の各分割領域の撮像画像Ｉｍでの位置関係と、付加情報Ｉａとに基づき、各分割領域の絶対的な（例えば方位を基準とした）位置関係を識別する。上述した図５（Ａ）及び図５（Ｂ）の例では、第１ラベル決定部４３は、付加情報Ｉａに基づき、撮像画像Ｉｍにおいて奥側に存在するコートサイドを西側コートサイドとして識別し、撮像画像Ｉｍにおいて手前側に存在するコートサイドを東側コートサイドとして識別する。好適には、各分割領域の絶対的な位置関係に基づき予め識別番号などの識別情報が各分割領域に予め割り当てられており、第１ラベル決定部４３は、各分割領域の識別情報を認識する。そして、第１ラベル決定部４３は、識別した分割領域毎に、各特徴点に対して第１ラベルを付与する。この場合、例えば分割領域の識別情報毎に第１ラベルと第２ラベルとの対応テーブルを予め記憶部１４に記憶しておき、第１ラベル決定部４３は、分割領域毎に適切な対応テーブルを参照することで、各分割領域に存在する特徴点の第２ラベルを第１ラベルに変換する。

このように、第１ラベル決定部４３は、分割したラベル統合数Ｎ個分の各分割領域の撮像画像Ｉｍでの位置関係と、付加情報Ｉａとに基づき、分割領域毎に存在する各特徴点に対して第１ラベルを付与することができる。

（４）特徴抽出器及び特徴物推論器の学習
ここで、特徴抽出器及び特徴物推論器の学習について説明する。

図６は、特徴抽出器パラメータＤ１と特徴物推論器のパラメータである付加情報生成データＤ２とを生成する学習装置３の概略構成を示す。

学習装置３は、表示装置１がユーザに使用される前段階（表示装置１の製造段階等）において、特徴抽出器パラメータＤ１の学習（「第１学習」とも呼ぶ。）と、特徴物推論器のパラメータである付加情報生成データＤ２との学習（「第２学習」とも呼ぶ。）を行う。なお、学習装置３は、表示装置１であってもよく、表示装置１以外の任意の装置（例えばパーソナルコンピュータ等）であってもよい。また、学習装置３は、複数の装置から構成されてもよい。この場合、第１学習と、第２学習との学習は、夫々異なる装置により実行されてもよい。また、表示装置１が特徴物推論器を用いることなく付加情報Ｉａを生成する場合には、第２学習は行われなくともよい。

学習装置３は、表示部３０と、通信部３１と、入力部３２と、制御部３３と、記憶部３４とを有する。制御部３３は、例えばＣＰＵ、ＧＰＵ、量子プロセッサなどのプロセッサ、プロセッサの作業メモリとして機能する揮発性メモリなどを有しており、学習装置３の全体的な制御を行う。記憶部３４は、制御部３３が学習に必要な種々の情報を記憶する不揮発性メモリを有する。記憶部３４は、学習後に生成される特徴抽出器パラメータＤ１及び付加情報生成データＤ２と、学習に用いられる学習データＤ３とを記憶する。

学習データＤ３は、基準構造物Ｒｔａｇが撮像された学習用の画像（学習画像）と、当該学習画像における正解の特徴点の位置及び第１ラベルとを含む正解データとの複数の組合せを含む。この場合、好適には、基準構造物Ｒｔａｇを種々の撮像環境（例えば照明の有無や度合の異なる環境）、撮影位置や角度（例えば、種々の観客席からなどや、コートの一部のみが写っているような）において撮像した学習画像が学習データＤ３に含まれているとよい。なお、種々のサーフェスの種類を含めたコートへの適用を想定している場合には、複数の場所に存在する各バリエーションの基準構造物Ｒｔａｇ（例えばテニスコートの場合には各サーフェスに対応したテニスコート）が撮像された学習画像が学習データＤ３に含まれていてもよい。また、学習データＤ３には、基準構造物Ｒｔａｇの周辺に存在する特徴物（例えば審判台９）の位置に関する正解データがさらに含まれている。なお、学習装置３は、学習データＤ３を自ら記憶する代わりに、学習装置３と有線又は無線により接続する他の装置に記憶された学習データＤ３を読み出すことで使用する学習データＤ３を取得してもよい。同様に、学習装置３は、学習により生成した特徴抽出器パラメータＤ１及び付加情報生成データＤ２を、学習装置３と有線又は無線により接続する他の装置に記憶させてもよい。また、学習装置３は、複数の装置から構成されてもよい。

図７は、学習装置３の制御部３３の機能ブロックの一例を示す。図７に示すように、学習装置３の制御部３３は、機能的には、対称性判定部３５と、ラベル変換部３６と、第１学習部３７と、第２学習部３８とを有する。

対称性判定部３５は、第１学習及び第２学習の実行前に、基準構造物Ｒｔａｇの対称性を判定する。対称性判定部３５は、例えば、入力部３２からの入力に基づき、基準構造物Ｒｔａｇの対称性を判定してもよく、基準構造物Ｒｔａｇの対称性を撮像画像Ｉｍに基づき自動判定してもよい。

ここで、ｎ回対称の自動判定方法について説明する。対称性判定部３５は、例えば複数の撮像画像Ｉｍから正射変換を行うことで基準構造物Ｒｔａｇのオルソ画像を生成し、当該オルソ画像での基準構造物Ｒｔａｇの特徴点の重心を軸にオルソ画像を回転させる。そして、対称性判定部３５は、３６０°回転させる前に、回転前のオルソ画像での特徴点と回転後のオルソ画像での特徴点とが過不足なく一致する場合には、対称性が存在すると判定する。そして、対称性判定部３５は、対称性が存在する場合には、一致させるのに必要な回転角度に応じてｎ回対称の整数「ｎ」を判定する。この場合、ラベル統合数Ｎは、上記の整数ｎに等しい。

次に、線対称性の自動判定方法について説明する。まず、対称性判定部３５は、オルソ画像内の基準構造物Ｒｔａｇに対し、「セット内の２点が特徴点の重心と等距離にある」という性質を満たす２つの特徴点からなる特徴点のセットを選択する。そして、対称性判定部３５は、２点が重なるように基準構造物Ｒｔａｇを折り曲げた場合に、残りの特徴点が過不足なく重なる場合、線対称性が存在すると判定する。なお、対称性判定部３５は、基準構造物Ｒｔａｇの周辺に基準構造物Ｒｔａｇの向きを特定するための特徴物が存在しないと判定した場合、ｎ回対称又は線対称性等の判定結果に関わらず、対称性がないと判定してもよい。

なお、対称性の判定後、学習装置３は、学習データＤ３に含める特徴点の定義の指定又は修正に関する入力を入力部３２により受け付けてもよい。例えば、学習装置３は、ユーザ入力に基づき、判定した対称性に従い対称となる位置に、抽出すべき特徴点が存在するように特徴点の位置を定めてもよい。

ラベル変換部３６は、対称性判定部３５による対称性の判定結果に基づき、学習データＤ３に含まれる第１ラベルを第２ラベルに変換する。この場合、ラベル変換部３６は、対称の位置となる特徴点同士が同一の第１ラベルになるように、各特徴点に対して第２ラベルを設定する。なお、ラベル変換部３６は、この場合の第１ラベルと第２ラベルとの対応関係を示すテーブル情報等を、付加情報生成データＤ２の一部として記憶してもよい。なお、ラベル変換部３６は、入力部３２により、統合する（即ち同一の第２ラベルと対応付ける）第１ラベルの組を指定する入力を受け付けることで、第２ラベルを設定してもよい。

第１学習部３７は、ラベル変換部３６により第２ラベルが特徴点毎に付加された学習データＤ３に基づき、特徴抽出器に対する学習（第１学習）を行うことで、特徴抽出器パラメータＤ１を生成する。この場合、第１学習部３７は、例えば、学習画像を特徴抽出器に入力した場合に特徴抽出器が出力する特徴点の情報及び第２ラベルと、これらの正解データとの誤差（損失）が最小となるように、特徴抽出器のパラメータを決定する。損失を最小化するように上述のパラメータを決定するアルゴリズムは、勾配降下法や誤差逆伝播法などの機械学習において用いられる任意の学習アルゴリズムであってもよい。そして、第１学習部３７は、学習後の特徴抽出器のパラメータを、特徴抽出器パラメータＤ１として記憶する。なお、特徴抽出器パラメータＤ１は、通信部３１により表示装置１に直ちに送信されてもよく、学習装置３及び表示装置１に着脱可能な記憶媒体を介して表示装置１に供給されてもよい。

第２学習部３８は、学習データＤ３に含まれる学習画像と、学習画像内に含まれる特徴物の位置に関する正解データとに基づき、特徴物推論器の学習（第２学習）を行う。この場合、例えば、第２学習部３８は、撮像画像Ｉｍが入力された場合に、撮像画像Ｉｍにおける基準構造物Ｒｔａｇに対する特徴物の位置関係を出力するように特徴物推論器の学習を行う。他の例では、第２学習部３８は、撮像画像Ｉｍが入力された場合に、撮像画像Ｉｍ内の特徴物の座標位置を出力するように特徴物推論器の学習を行う。さらに別の例では、第２学習部３８は、撮像画像Ｉｍが入力された場合に、基準構造物Ｒｔａｇと特徴物との位置関係に応じた付加情報Ｉａ（図５（Ａ）、（Ｂ）の例では、０又は１の番号）を出力するように特徴物推論器の学習を行う。この場合、第２学習部３８は、対称性判定部３５が判定した対称性を破るのに必要な（即ちラベル統合数Ｎに応じた情報量を有する）付加情報Ｉａが出力されるように特徴物推論器の学習を行う。そして、第２学習部３８は、第２学習により得られた特徴物推論器のパラメータを付加情報生成データＤ２として記憶する。なお、付加情報生成データＤ２は、通信部３１により表示装置１に直ちに送信されてもよく、学習装置３及び表示装置１に着脱可能な記憶媒体を介して表示装置１に供給されてもよい。

（５）処理フロー
図８は、第１実施形態において学習装置３が実行する処理概要を示すフローチャートの一例である。

まず、学習装置３の対称性判定部３５は、基準構造物Ｒｔａｇの対称性の判定を行う（ステップＳ１１）。例えば、対称性判定部３５は、学習データＤ３の学習画像から生成した基準構造物Ｒｔａｇのオルソ画像に基づき対称性の有無、及び、対称性がある場合の対称性の種類を判定する。

次に、学習装置３のラベル変換部３６は、対称性がある場合には、判定した対称性に基づき、特徴抽出器の学習に用いる学習データＤ３に含まれる第１ラベルを第２ラベルに変換する（ステップＳ１２）。この場合、ラベル変換部３６は、判定した対称性の種類に基づき、基準構造物Ｒｔａｇの特徴点に対する第１ラベルを、対称性に基づき統合した第２ラベルに変換する。

そして、学習装置３の第１学習部３７は、学習データＤ３に含まれる、サンプル画像と第２ラベルを含む正解データとに基づき、特徴点抽出器の学習を行う（ステップＳ１３）。これにより、第１学習部３７は、特徴抽出器パラメータＤ１を生成する。なお、学習装置３の第２学習部３８は、特徴物推論器の学習である第２学習を行う必要がある場合には、学習データＤ３に基づき、特徴物推論器の学習を行う（ステップＳ１４）。これにより、第２学習部３８は、特徴物推論器のパラメータに相当する付加情報生成データＤ２を生成する。

図９は、第１実施形態において表示装置１が実行する特徴抽出処理に関するフローチャートの一例である。

まず、表示装置１の撮像画像取得部４０は、撮像部１５が生成した撮像画像Ｉｍを取得する（ステップＳ２１）。次に、表示装置１の第２ラベル特徴抽出部４２は、ステップＳ２１で取得した撮像画像Ｉｍに基づき、基準構造物Ｒｔａｇの特徴点の位置及び対応する第２ラベルの組合せを抽出する（ステップＳ２２）。この場合、第２ラベル特徴抽出部４２は、特徴抽出器パラメータＤ１に基づき構成した特徴抽出器に撮像画像Ｉｍを入力することで特徴抽出器が出力するデータに基づき、第２ラベル毎にラベル統合数Ｎ個分の特徴点の座標位置を取得する。

また、付加情報生成部４１は、付加情報生成データＤ２に基づき、付加情報Ｉａを取得する（ステップＳ２３）。この場合、付加情報生成部４１は、付加情報生成データＤ２に基づき、表示装置１と基準構造物Ｒｔａｇとの位置関係を特定し、特定した位置関係に応じた付加情報Ｉａを生成する。また、付加情報生成部４１は、付加情報生成データＤ２が特徴物推論器のパラメータである場合には、付加情報生成データＤ２に基づき構成した特徴物推論器に対して撮像画像Ｉｍを入力した場合の推論結果に基づき付加情報Ｉａを取得する。なお、ステップＳ２３の付加情報Ｉａの取得処理は、ステップＳ２１の前又はステップＳ２２の前に行われてもよい。

次に、第１ラベル決定部４３は、ステップＳ２３で取得された付加情報Ｉａに基づき、ステップＳ２２で抽出された各特徴点に一意の第１ラベルを決定する（ステップＳ２４）。これにより、第１ラベル決定部４３は、特徴点毎に適切な第１ラベルが関連付けられた第２特徴点情報Ｆ２を好適に生成することができる。

（６）変形例
次に、上述した第１実施形態に好適な変形例について説明する。以下の変形例は、任意に組み合わせてもよい。

（変形例１）
表示装置１は、特徴点の位置と当該特徴点が属する第１ラベルとに関する情報を出力するように学習された特徴抽出器の出力と、付加情報Ｉａとに基づき、各特徴点への正確な第１ラベルの付与を行ってもよい。

図１０は、変形例１に係る制御部１７の機能ブロックの一例である。変形例１に係る制御部１７は、機能的には、撮像画像取得部４０と、付加情報生成部４１と、第１ラベル特徴抽出部４２ａｘと、第２ラベル決定部４２ａｙと、第１ラベル決定部４３と、調整部４４と、表示制御部４５とを有する。なお、撮像画像取得部４０、付加情報生成部４１、第１ラベル決定部４３、調整部４４、表示制御部４５は、図２に示す機能ブロックと同一の処理を行う。

第１ラベル特徴抽出部４２ａｘは、撮像画像取得部４０から供給される撮像画像Ｉｍに対し、第１ラベル毎の特徴抽出を行い、抽出した特徴点の撮像画像Ｉｍ内の座標値と第１ラベルとの組合せを示す第１特徴点情報「Ｆａ１」を、第２ラベル決定部４２ａｙに供給する。この場合、第１ラベル特徴抽出部４２ａｘは、予め実行された第１学習により生成された特徴抽出器パラメータ「Ｄａ１」に基づき特徴抽出器を構成し、当該特徴抽出器に撮像画像Ｉｍを入力することで、第１特徴点情報Ｆａ１を生成する。なお、特徴抽出器パラメータＤａ１の学習段階では、学習装置３は、図７に示すラベル変換部３６による第１ラベルから第２ラベルへの変換を行うことなく、学習画像と、正解となる特徴点の位置及び第１ラベルの組を示す正解データとに基づく学習を行うことで、特徴抽出器パラメータＤａ１を生成する。

第２ラベル決定部４２ａｙは、第１ラベル特徴抽出部４２ａｘから供給される第１特徴点情報Ｆａ１に含まれる第１ラベルを、基準構造物Ｒｔａｇの対称性に基づき第２ラベルに変換する。この場合、第２ラベル決定部４２ａｙは、学習装置３のラベル変換部３６と同一処理を行うことで、第１ラベルから第２ラベルへの変換を行う。これにより、第２ラベル決定部４２ａｙは、第１特徴点情報Ｆａ１を、代表的な実施形態において説明した第１特徴点情報Ｆ１に変換し、当該第１特徴点情報Ｆ１を第１ラベル決定部４３に供給する。なお、第１ラベル決定部４３は、上述した実施形態と同様、付加情報Ｉａと第１特徴点情報Ｆ１とに基づき、第２特徴点情報Ｆ２を生成する。

図１１は、変形例１において表示装置１が実行する特徴抽出処理に関するフローチャートの一例である。

まず、表示装置１の撮像画像取得部４０は、撮像部１５が生成した撮像画像Ｉｍを取得する（ステップＳ３１）。次に、表示装置１の第１ラベル特徴抽出部４２ａｘは、特徴点の位置及びに当該特徴点に固有の第１ラベルの組合せを抽出する（ステップＳ３２）。この場合、第１ラベル特徴抽出部４２ａｘは、特徴抽出器パラメータＤａ１に基づき構成した特徴抽出器に撮像画像Ｉｍを入力した場合の出力データに基づき、第１ラベル毎の特徴点の座標位置を示す第１特徴点情報Ｆａ１を生成する。そして、第２ラベル決定部４２ａｙは、第１ラベル特徴抽出部４２ａｘが生成した第１特徴点情報Ｆａ１の第１ラベルを、基準構造物Ｒｔａｇの対称性に基づき統合した第２ラベルに変換する（ステップＳ３３）。また、付加情報生成部４１は、付加情報生成データＤ２に基づき、付加情報Ｉａを取得する（ステップＳ３４）。なお、ステップＳ３４の処理は、ステップＳ３１の前、ステップＳ３２の前、又はステップＳ３３の前に実行されてもよい。

次に、第１ラベル決定部４３は、ステップＳ３４で取得された付加情報Ｉａと、ステップＳ３３で変換された各特徴点の第２ラベルとに基づき、各特徴点に固有の第１ラベルを決定する（ステップＳ３５）。これにより、第１ラベル決定部４３は、第１ラベルと対応する特徴点の座標位置とが的確に関連付けられた第２特徴点情報Ｆ２を好適に生成することができる。

このように、本変形例によっても、表示装置１は、付加情報に基づき、対称性を有する基準構造物Ｒｔａｇの特徴点の位置を、対応する固有の第１ラベルと共に的確に抽出することができる。

（変形例２）
特徴抽出の対象となる対称物は、スポーツやゲームなどのフィールド等の基準構造物Ｒｔａｇに限定されず、また、対称性はｎ回対称に限らず、他の対称性を有してもよい。

図１２（Ａ）は、人を正面視した図であり、図１２（Ｂ）は、鏡越しに人を正面視した図である。ここでは、特徴抽出の対象となる対称物は人であり、右手と左手を夫々適切に抽出する特徴抽出について考察する。一般に、鏡に映った人（図１２（Ｂ）参照）の右手と左手は、鏡に映っていない人（図１２（Ａ）参照）の右手と左手と反転している。以後では、便宜上、右手のラベルを「Ｒ」とし、左手のラベルを「Ｌ」とする。

この場合、特徴抽出器パラメータＤ１により構成する特徴抽出器の学習段階では、鏡に映っているか否かによらず、撮像画像Ｉｍ内において右側の手に第２ラベル「Ｒ」を付し、撮像画像Ｉｍ内において左側の手に第２ラベル「Ｌ」を付す。そして、学習装置３は、第２ラベルが付された学習データＤ３に基づき、特徴抽出器の学習を行うことで、特徴抽出器パラメータＤ１を生成する。また、推論段階では、表示装置１は、撮像画像Ｉｍに基づき鏡に映っているか否かを示す付加情報Ｉａを生成する。そして、表示装置１は、学習した特徴抽出器に撮像画像Ｉｍを入力することで出力される第２ラベルを、生成した付加情報Ｉａに基づき、第１ラベルに変換する。この場合、表示装置１は、付加情報が鏡に映っていることを示す場合には、第１ラベルの「Ｒ」と「Ｌ」を入れ替えた第２ラベルを決定し、付加情報が鏡に映っていないことを示す場合には、第２ラベルを第１ラベルと同一とする。なお、表示装置１は、例えば、撮像画像Ｉｍから人が鏡に映っているか否かを識別する識別器を予め学習しておき、学習された識別器に撮像画像Ｉｍを入力することで、付加情報Ｉａを生成してもよい。

図１３（Ａ）は、並進対称性を有する対称物８０を正面視した図であり、図１３（Ｂ）は、対称物８０の破線枠８１内を拡大した図である。図１３（Ａ）では、特徴抽出の対象箇所を破線枠により示すと共に、各箇所に付された第１ラベル「１」～「１４」を明示している。対称物８０は、ここでは、７段を有する梯子であり、段ごとに並進対称性を有する。そして、各段における縦棒と横棒の結合部分が特徴抽出の対象箇所として定められている。

この場合、図１３（Ｂ）に示すように、特徴抽出器パラメータＤ１により構成する特徴抽出器の学習段階では、対称物８０において何段目であるかに関わらず、左側の対象箇所に第２ラベル「０」を付し、右側の対象箇所に第２ラベル「１」を付す。そして、学習装置３は、第２ラベルが付された学習データＤ３に基づき、特徴抽出器の学習を行うことで、特徴抽出器パラメータＤ１を生成する。また、推論段階では、表示装置１は、対称物８０の全体を映した撮像画像Ｉｍを解析することで、各対象箇所が何段目に相当するかを示す付加情報Ｉａを生成する。そして、表示装置１は、学習した特徴抽出器に撮像画像Ｉｍを入力することで出力される第２ラベルを、生成した付加情報Ｉａに基づき、第１ラベルに変換する。この場合、表示装置１は、第２ラベルが「０」の場合、付加情報が示す段数の２倍に１を引いた値を第１ラベルとし、第２ラベルが「１」の場合、付加情報が示す段数の２倍を第２ラベルとする。例えば、図１３（Ｂ）に示される３段目の第２ラベルが「０」の対象箇所の第１ラベルは「５」（＝３×２－１）となり、３段目の第２ラベルが「１」の対象箇所の第２ラベルは「６」（＝３×２）となる。なお、対称物８０を線対称とみなして同様の処理を行ってもよい。この場合、第２ラベルを段数とし、表示装置１は、例えば、右側又は左側を示す付加情報に基づき、第２ラベルを第１ラベルに変換する。

このように、表示装置１は、任意の対称性を有する任意の対称物を対象とする場合においても、対称の位置に存在する各特徴点のラベルを正確に識別することができる。

（変形例３）
表示装置１が実行する処理を、表示装置１と通信を行うサーバ装置が実行してもよい。

図１４は、第２実施形態に係る表示システムの概略構成図である。図１４に示すように、第２実施形態に係る表示システムは、表示装置１Ａと、サーバ装置２とを有する。

表示装置１Ａは、サーバ装置２がキャリブレーション処理等を行うために必要な情報であるアップロード信号「Ｓ１」をサーバ装置２に送信する。この場合、アップロード信号Ｓ１には、例えば、撮像部１５が生成する撮像画像Ｉｍ及び位置姿勢検出センサ１６の出力信号が含まれている。そして、表示装置１Ａは、サーバ装置２から送信される配信信号「Ｓ２」を受信した場合、配信信号Ｓ２に基づき、光源ユニット１０の光の射出制御を行うことで、仮想オブジェクトを表示する。

サーバ装置２は、表示装置１Ａから受信するアップロード信号Ｓ１に基づき、配信信号Ｓ２の生成及び表示装置１Ａへの配信信号Ｓ２の配信を行う。また、サーバ装置２は、複数の装置から構成されたクラウドサーバであってもよい。サーバ装置２は、入力部２６と、制御部２７と、通信部２８と、記憶部２９とを有する。

制御部２７は、例えばＣＰＵ、ＧＰＵなどのプロセッサ、プロセッサの作業メモリとして機能する揮発性メモリなどを有しており、サーバ装置２の全体的な制御を行う。記憶部２９は、制御部２７がサーバ装置２の制御に必要な種々の情報を記憶する不揮発性メモリである。記憶部２９には、制御部２７が実行するプログラムが記憶される。記憶部２９は、特徴抽出器パラメータＤ１と、付加情報生成データＤ２とを有する。なお、記憶部２９は、サーバ装置２に接続又は内蔵されたハードディスクなどの外部記憶装置であってもよく、フラッシュメモリなどの記憶媒体であってもよい。また、記憶部２９は、サーバ装置２とデータ通信を行うサーバ装置（即ち、他の装置から参照可能に情報を記憶する装置）であってもよい。また、この場合、記憶部２９は、複数のサーバ装置から構成され、特徴抽出器パラメータＤ１と、付加情報生成データＤ２とを分散して記憶してもよい。

サーバ装置２の制御部２７は、図２に示される制御部１７の機能ブロックと同様の機能ブロックを有する。そして、制御部２７は、表示装置１Ａから撮像画像Ｉｍを含むアップロード信号Ｓ１を受信した場合に、図１１のフローチャート等に示される特徴抽出処理を実行することで、基準構造物Ｒｔａｇの第１ラベル毎の特徴点の抽出を行う。そして、制御部２７は、キャリブレーション処理及び配信信号Ｓ２の生成処理を行い、配信信号Ｓ２を通信部２８により表示装置１Ａへ送信する。

この態様によっても、サーバ装置２は、基準構造物Ｒｔａｇの特徴点毎の第１ラベルを正確に把握し、キャリブレーション処理を好適に実行することができる。なお、本変形例では、サーバ装置２は、「情報処理装置」の一例である。

（変形例４）
表示装置１が使用される位置が基準構造物Ｒｔａｇに対して相対的に予め定まっている場合には、付加情報Ｉａは、予め記憶部１４に記憶されてもよい。この場合、第１ラベル決定部４３は、記憶部１４から付加情報Ｉａを読み出すことで取得する。この場合、付加情報生成部４１は存在しなくともよい。

（変形例５）
表示装置１は、ユーザの頭部に装着可能に構成されたＡＲデバイスに限定されない。これに代えて、表示装置１は、カメラと表示ディスプレイ（表示部）を有するスマートフォンなどの表示端末であってもよい。この場合、表示装置１は、図１の構成において、光源ユニット１に代えてディスプレイを有し、撮像部１５が撮像した風景の画像に対して基準構造物Ｒｔａｇの特徴抽出等を行う。そして、表示装置１は、基準構造物Ｒｔａｇに対して何らかの情報を示した画像に相当する仮想オブジェクトを、上記の風景の画像に重畳してディスプレイに表示する。この場合であっても、表示装置１は、基準構造物Ｒｔａｇの特徴抽出を的確に行い、仮想オブジェクトを適切な位置に表示させることができる。

＜第３実施形態＞
図１５は、第３実施形態における情報処理装置４の概略構成を示す。図１４に示すように、情報処理装置４は、特徴点取得手段４１Ａと、ラベル決定手段４３Ａとを有する。情報処理装置４は、例えば、表示装置１の制御部１７又はサーバ装置２の制御部２７により実現される。

特徴点取得手段４１Ａは、撮像部１５Ａが撮像した撮像画像「Ｉｍ」に基づき、対称性を有する対称物の特徴点の位置と、当該特徴点に固有の第１ラベルを対称物の対称性に基づき統合又は変更するように定義された第２ラベルとの組合せを取得する。例えば、特徴点取得手段４１Ａは、図２の第２ラベル特徴抽出部４２、又は、図１０の第１ラベル特徴抽出部４２ａｘ及び第２ラベル決定部４２ａｙの組合せとすることができる。

ラベル決定手段４３Ａは、対称性を破るための付加情報と、第２ラベルとに基づき、特徴点の各々に対して付すべき第１ラベルを決定する。ラベル決定手段４３Ａは、図２又は図１０の第１ラベル決定部４３とすることができる。

図１６は、第３実施形態において表示装置１Ａが実行するフローチャートの一例である。まず、情報処理装置４の特徴点取得手段４１Ａは、撮像部１５Ａが撮像した撮像画像Ｉｍに基づき、対称性を有する対称物の特徴点の位置と、第２ラベルとの組合せを取得する（ステップＳ４１）。次に、情報処理装置４のラベル決定手段４３Ａは、対称性を破るための付加情報と、第２ラベルとに基づき、特徴点の各々に対して付すべき第１ラベルを決定する（ステップＳ４２）。

第３実施形態によれば、情報処理装置４は、対称性を有する対称物の特徴点の位置を、対応する一意のラベルである第１ラベルと共に好適に特定することができる。なお、情報処理装置４は、第１実施形態において言及したＡＲ表示を行う表示装置１又は当該表示装置１に表示用の信号を送信するサーバ装置２に限らず、対称性を有する対称物の特徴抽出が必要な任意の用途に用いることができる。

なお、上述した各実施形態において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータであるプロセッサ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記憶媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

その他、上記の実施形態（変形例を含む、以下同じ）の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。

［付記１］
撮像部が撮像した撮像画像に基づき、対称性を有する対称物の特徴点の位置と、当該特徴点に固有の第１ラベルを前記対称性に基づき統合又は変更するように定義された第２ラベルとの組合せを取得する特徴点取得手段と、
前記対称性を破るための付加情報と、前記第２ラベルとに基づき、前記特徴点の各々に対して付すべき前記第１ラベルを決定するラベル決定手段と、
を有する情報処理装置。

［付記２］
前記対称物と前記撮像部との位置関係に応じた前記付加情報を生成する付加情報生成手段を有する、付記１に記載の情報処理装置。

［付記３］
前記付加情報生成手段は、前記撮像部の装着者の座席情報又は前記撮像部の位置を示す位置情報に基づき、前記位置関係を認識する、付記２に記載の情報処理装置。

［付記４］
前記撮像画像に基づき、前記付加情報を生成する付加情報生成手段を有する、付記１に記載の情報処理装置。

［付記５］
前記付加情報生成手段は、前記撮像画像における、前記対称物の周辺に存在する特徴物と前記対称物との位置関係に基づき、前記付加情報を生成する、付記４に記載の情報処理装置。

［付記６］
前記特徴点取得手段は、入力された画像から前記第２ラベルと前記特徴点の位置との組合せを出力するように学習された特徴抽出器に前記撮像画像を入力することで、前記第２ラベルと前記特徴点の位置との組合せを取得する、付記１～５のいずれか一項に記載の情報処理装置。

［付記７］
前記対称物が撮像された学習画像において正解となる特徴点の位置及び第１ラベルの組合せを示す正解データの当該第１ラベルを、前記対称性に基づき統合又は変更した第２ラベルに変換するラベル変換手段と、
前記学習画像と、前記第２ラベルを含む前記正解データとに基づき、前記特徴抽出器の学習を行う学習手段と、
を有する付記６に記載の情報処理装置。

［付記８］
前記学習画像に基づき、前記対称物の対称性を判定する対称性判定手段をさらに有する、付記７に記載の情報処理装置。

［付記９］
前記特徴点取得手段は、入力された画像から前記第１ラベルと前記特徴点の位置との組合せを抽出するように構成された特徴抽出器に前記撮像画像を入力することで、前記第１ラベルと前記特徴点の位置との組合せを取得後、前記第１ラベルを前記対称性に基づき前記第２ラベルに変換することで、前記第２ラベルと前記特徴点の位置との組合せを取得する、付記１～８のいずれか一項に記載の情報処理装置。

［付記１０］
前記撮像部と、
前記第１ラベル毎の特徴点の位置に基づき、風景に重ねて、又は撮像部が当該風景を撮像した画像に重ねて仮想オブジェクトを表示する表示部と、
を有する表示装置である、付記１～９のいずれか一項に記載の情報処理装置。

［付記１１］
前記撮像部を有し、風景に重ねて仮想オブジェクトを表示する表示装置に対し、前記仮想オブジェクトを表示するための表示信号を送信するサーバ装置である、付記１～１０のいずれか一項に記載の情報処理装置。

［付記１２］
コンピュータにより、
撮像部が撮像した撮像画像から、対称性を有する対称物の特徴点の位置と、当該特徴点に固有の第１ラベルを前記対称性に基づき統合又は変更するように定義された第２ラベルとの組合せを取得し、
前記対称性を破るための付加情報と、前記第２ラベルとに基づき、前記特徴点の各々に対して付すべき前記第１ラベルを決定する、
制御方法。

［付記１３］
撮像部が撮像した撮像画像から、対称性を有する対称物の特徴点の位置と、当該特徴点に固有の第１ラベルを前記対称性に基づき統合又は変更するように定義された第２ラベルとの組合せを取得する特徴点取得手段と、
前記対称性を破るための付加情報と、前記第２ラベルとに基づき、前記特徴点の各々に対して付すべき前記第１ラベルを決定するラベル決定手段
としてコンピュータを機能させるプログラムを格納する記憶媒体。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。

１、１Ａ 表示装置
２ サーバ装置
３ 学習装置
４ 情報処理装置
１０ 光源ユニット
１１ 光学素子
１２ 通信部
１３ 入力部
１４ 記憶部
１５ 撮像部
１６ 位置姿勢検出センサ

Claims (10)

1. 撮像部が撮像した撮像画像に基づき、対称性を有する対称物の特徴点の位置と、当該特徴点に固有の第１ラベルを前記対称性に基づき統合又は変更するように定義された第２ラベルとの組合せを取得する特徴点取得手段と、
   前記対称性を破るための付加情報と、前記第２ラベルとに基づき、前記特徴点の各々に対して付すべき前記第１ラベルを決定するラベル決定手段と、
   を有する情報処理装置。
2. 前記対称物と前記撮像部との位置関係に応じた前記付加情報を生成する付加情報生成手段を有する、請求項１に記載の情報処理装置。
3. 前記付加情報生成手段は、前記撮像部の装着者の座席情報又は前記撮像部の位置を示す位置情報に基づき、前記位置関係を認識する、請求項２に記載の情報処理装置。
4. 前記撮像画像に基づき、前記付加情報を生成する付加情報生成手段を有する、請求項１に記載の情報処理装置。
5. 前記付加情報生成手段は、前記撮像画像における、前記対称物の周辺に存在する特徴物と前記対称物との位置関係に基づき、前記付加情報を生成する、請求項４に記載の情報処理装置。
6. 前記特徴点取得手段は、入力された画像から前記第２ラベルと前記特徴点の位置との組合せを出力するように学習された特徴抽出器に前記撮像画像を入力することで、前記第２ラベルと前記特徴点の位置との組合せを取得する、請求項１～５のいずれか一項に記載の情報処理装置。
7. 前記対称物が撮像された学習画像において正解となる特徴点の位置及び第１ラベルの組合せを示す正解データの当該第１ラベルを、前記対称性に基づき統合又は変更した第２ラベルに変換するラベル変換手段と、
   前記学習画像と、前記第２ラベルを含む前記正解データとに基づき、前記特徴抽出器の学習を行う学習手段と、
   を有する請求項６に記載の情報処理装置。
8. 前記学習画像に基づき、前記対称物の対称性を判定する対称性判定手段をさらに有する、請求項７に記載の情報処理装置。
9. コンピュータにより、
   撮像部が撮像した撮像画像から、対称性を有する対称物の特徴点の位置と、当該特徴点に固有の第１ラベルを前記対称性に基づき統合又は変更するように定義された第２ラベルとの組合せを取得し、
   前記対称性を破るための付加情報と、前記第２ラベルとに基づき、前記特徴点の各々に対して付すべき前記第１ラベルを決定する、
   制御方法。
10. 撮像部が撮像した撮像画像から、対称性を有する対称物の特徴点の位置と、当該特徴点に固有の第１ラベルを前記対称性に基づき統合又は変更するように定義された第２ラベルとの組合せを取得する特徴点取得手段と、
    前記対称性を破るための付加情報と、前記第２ラベルとに基づき、前記特徴点の各々に対して付すべき前記第１ラベルを決定するラベル決定手段
    としてコンピュータを機能させるプログラム。

Images