JP6405539B2 - 多視点画像に対するラベル情報の処理装置及びそのラベル情報の処理方法 - Google Patents

Description

本技術は、撮影対象を複数の視点から撮影することにより得られる多視点画像において、注目部分にラベル情報を付与するラベル情報の処理装置に関する。

特許文献１は、単一のカメラのみを用いて、多視点画像を容易に取得できる立体映像処理装置を開示している。

特開２００９−２１２７２８号公報

本技術は、特定の撮影対象を複数の多視点から撮影した複数の画像信号において、各画像信号による画像に共通に映し出される注目部分を含む多視点画像の処理装置である。

処理装置は、撮影対象を複数の視点から撮影することにより得られた複数の画像のうち、特定の画像を表示する表示部と、特定の画像について注目部分の指定を受け付ける受付部と、撮影対象を３次元空間で表現する際に利用する座標空間における注目部分の３次元座標を取得し、注目部分の３次元座標に基づいて、複数の画像それぞれにおいて、注目部分を視認できるか否かを判断し、複数の画像から、特定の画像と異なる視点の画像であり、注目部分が視認できる１以上の画像を抽出し、抽出した１以上の画像を表示するよう表示部を制御する制御部と、を備え、制御部は、特定の画像もしくは抽出した１以上の画像である、注目部分を視認できる画像を表示する際、注目部分を視認できる画像に隣接する視点の画像において注目部分が視認できるか否かを判断し、注目部分を視認できる画像に隣接する視点の画像において注目部分が視認できない場合、表示部を制御し、注目部分を視認できる画像を、注目部分を含む一定の領域を拡大した後で表示するものである。

本技術によれば、複数の視点から１つの撮影対象を撮影して得られる画像に対して注目部分を指定する場合、注目部分に関する３次元空間上の位置を容易に確認することができる。

図１は、本技術の実施の形態による多視点画像に対するラベル情報の処理装置の構成を説明するためのブロック図である。 図２は、本実施の形態におけるラベル情報処理装置の全体動作を説明するためのフローチャートである。 図３は、表示部に表示される画像の一例を示す説明図である。 図４は、複数枚の画像信号に基づく画像を表示部に表示する際の一例を示す説明図である。 図５は、制御部におけるラベル情報の３次元空間上の座標を算出する機能を説明するためのフローチャートである。 図６は、制御部において画像信号を少なくとも１つ以上選択する際の動作を説明するためのフローチャートである。 図７は、制御部において、可視情報マップを生成する動作を説明するためのフローチャートである。 図８は、制御部が生成する可視情報マップの一例を示す説明図である。

以下、本技術の実施の形態による多視点画像に対するラベル情報の処理方法及びラベル情報の処理装置について、図面を参照しながら説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本技術を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。

図１は、本技術の実施の形態による多視点画像に対するラベル情報の処理装置の構成を説明するためのブロック図である。

図１に示すように、ラベル情報処理装置１０は、制御部１１と、入力部１２と、表示部１３と、モデルデータを保持するためのモデルデータの保持部１４、キャリブレーションデータを保持するためのキャリブレーションデータの保持部１５と、多視点画像信号を保持するための多視点画像信号の保持部１６を備える。

制御部１１は、ソフトウェア、またはファームウェアで記載されたコンピュータプログラムにしたがって、ラベル情報処理装置１０全体を制御する。この制御部１１は、入力部１２から入力される制御信号に基づき所定の動作を実行する。また、制御部１１は、モデルデータの保持部１４、及びキャリブレーションデータの保持部１５から、必要に応じて情報を読み出し処理する。さらに、制御部１１は、多視点画像信号の保持部１６から読みだした多視点画像を表示部１３に表示させる。

また、制御部１１は、次の（１）から（４）のコントロール機能を有する。
（１）ラベル情報の３次元空間上の座標を取得する第１の機能
（２）多視点画像信号の保持部１６に蓄積される複数の画像信号から特定の画像信号を少なくとも１つ以上選択する第２の機能
（３）ラベル情報の３次元空間上の座標に基づいて、（２）において選択された画像信号の平面上の座標を算出する第３の機能
（４）選択された画像信号上におけるラベル情報の座標位置にラベル情報を重畳させた画像信号を生成して表示部１３に出力する第４の機能
次に、制御部１１が実現するそれぞれの機能について説明する。

上記（１）の機能は、入力部１２からラベル情報を付与する場所を示す制御信号が入力された場合、その場所について、ラベル情報の３次元空間上の座標を算出して取得する。ここで、ラベル情報とは、多視点画像信号の保持部１６に格納される複数の画像信号の注目部分に対して付与される付加的な情報である。つまり、使用者は、入力部１２を介して画像信号に対してラベル情報を付与することにより、注目部分と、ラベル情報を表示部１３上で同時に視認することができる。これにより、使用者に対して注目部分に対する理解を促すことができる。

注目部分とは、画像信号に写し出される特定の被写体の部分を示すものであり、例えば人物の手、足等となる。注目部分が人物の手である場合、ラベル情報は、この人物の手を紹介する文字等の情報となる。視聴者はラベル情報を読むことにより、画像信号に映し出される人物の手の特性等を理解することができる。

また、ラベル情報における３次元空間上の座標は、多視点画像信号の保持部１６に蓄積された画像信号から所定の被写体を３次元空間に投射させた際に利用する座標軸の座標となる。つまり、ラベル情報の３次元空間上の座標を指定することにより、多視点画像信号の保持部１６が有する画像信号上の位置が特定される。なお、ラベル情報の３次元空間上の座標を算出する動作については後述する。

上記（２）の機能について、制御部１１は、多視点画像信号の保持部１６に蓄積される画像信号のうち、表示部１３において表示した際、使用者がラベル情報を付与する注目部分を視認できる画像信号を選択する。この画像信号の選択動作については後述する。

上記（３）の機能について、制御部１１は、上記（１）の機能において、既に算出したラベル情報の３次元空間上の座標を、表示部１３に出力する画像信号の平面上に投射した際に得られる座標を算出する。制御部１１は、算出した座標を表示部１３に出力する。このように構成することにより、制御部１１が多視点画像信号の保持部１６から視点の異なる画像信号を選択した場合であっても、ラベル情報の３次元空間上における座標から選択に係る画像信号上の座標を計算することができるため、選択した画像信号上にラベル情報を重畳して表示することができる。

上記（４）の機能について、制御部１１は、上記（３）の機能において算出されたラベル情報の座標に基づいて、上記（２）の機能において選択された画像信号に対してラベル情報を重畳させ、新たな画像信号を生成する。制御部１１は、生成した新たな画像信号を表示部１３に出力する。

次に、入力部１２は、使用者からラベル情報処理装置１０に対する操作指示を受けつけるデバイスである。入力部１２は、例えばマウスなどのポインティングデバイスによって構成される。なお、タッチパネルのようなデバイスやキーボードを用いてもよい。つまり、使用者から操作指示を受け付けるデバイスであればどのようなものを利用しても構わない。

入力部１２は、使用者から操作指示を受け付けた場合、当該操作指示に基づく制御信号を生成して制御部１１に出力する。

表示部１３は、制御部１１から出力される画像信号を表示するデバイスである。このとき、表示部１３は、制御部１１から画像信号を取得し、取得した画像信号を表示する。

モデルデータの保持部１４は、多視点画像信号の保持部１６に蓄積される複数の画像信号に共通して映し出される被写体の３次元空間上における位置を示すモデルデータを蓄積する。ここで、モデルデータは、少なくとも被写体の表面に任意に設定される離散点で、３次元空間上における位置座標の集合体で構成される。制御部１１は、モデルデータの保持部１４に蓄積されるモデルデータを参照することにより、ラベル情報の３次元空間上における座標及び画像信号の平面に投影した際の座標を算出することができる。

なお、モデルデータの保持部１４に蓄積されるモデルデータは、上記のような点の集合体に点の連結情報を付加したポリゴンデータとしてもよい。また、モデルデータの保持部１４に蓄積されるモデルデータは、多視点画像信号の保持部１６に蓄積される複数の画像信号からストラクチャー フロム モーション（Ｓｔｒｕｃｔｕｒｅ Ｆｒｏｍ Ｍｏｔｉｏｎ）アルゴリズムによって推定される３次元点群であっても構わない。また、キャリブレーション済みのカメラで撮影された画像対のステレオマッチングによって算出された奥行き画像を元に３次元点群を生成してもよい。また、一般に市販されている３Ｄモデリングソフトを用いて、撮影した被写体の形状を近似したポリゴンデータを生成してもよい。

キャリブレーションデータの保持部１５は、多視点画像信号の保持部１６に蓄積される画像信号それぞれを撮影した際に利用されたカメラパラメータを蓄積する。このカメラパラメータには、少なくとも３次元カメラ位置座標、カメラ姿勢（回転行列／平行移動ベクトル）、焦点距離及び画素中心の情報が含まれる。さらにキャリブレーションデータの保持部１５は、多視点画像信号の保持部１６に含まれる視点位置情報を蓄積する。

なお、カメラパラメータとして、多視点画像信号の保持部１６に蓄積される複数の画像信号からＳｔｒｕｃｔｕｒｅ Ｆｒｏｍ Ｍｏｔｉｏｎアルゴリズムによって推定されるカメラパラメータを用いてもよい。なお、撮影時のカメラ内部パラメータ（焦点距離・画素中心）とターンテーブル・ロボットアームの制御パラメータからカメラ位置・カメラ姿勢を算出し、算出結果をカメラパラメータとして用いてもよい。

ここで、モデルデータの保持部１４及びキャリブレーションデータの保持部１５には、３次元空間上における座標に関する情報が含まれる。つまり、モデルデータの保持部１４は、３次元空間上における座標に関する情報として、被写体の表面に任意に設定される離散点の位置座標を蓄積する。また、キャリブレーションデータの保持部１５は、多視点画像信号の保持部１６に蓄積される画像信号の撮影に利用したカメラの位置情報をカメラパラメータとして蓄積する。このように、３次元空間上で表現される情報が複数存在するため、両者の座標系を一致させておくのが好ましい。

多視点画像信号の保持部１６は、少なくとも複数の画像信号、この画像信号のファイルパス名及び撮影時の視点位置情報を蓄積する。

ここで、多視点画像信号の保持部１６に蓄積される複数の画像信号は次のように撮影されたものである。被写体をターンテーブル上に置き、カメラをロボットアームに設置する。撮影位置はターンテーブルの回転中心点を原点とする半径Ｒの半球体表面上を緯度・経度で離散的に分割した位置となるようとなるようロボットアームとターンテーブルを制御する。またカメラ姿勢は、ロボットアームを制御してカメラ光軸が半球体の原点を通る姿勢にする。

なお、上記における視点位置情報は少なくとも、緯度、経度を含む。また、撮影はカメラ位置を三次元空間内のある平面上の位置で撮影してもよい。この場合、視点位置情報は少なくとも基点からの２次元座標を含む。

次に、ラベル情報処理装置１０の動作について図面を参照しながら説明する。

図２は、本実施の形態におけるラベル情報処理装置１０の全体動作を説明するためのフローチャートである。

以下、説明の便宜上、表示部１３には、多視点画像信号の保持部１６に蓄積される画像信号のうち、所定の画像信号が表示されている状態から動作を開始するものとする。

まず、使用者は、入力部１２を操作することにより、所望のラベル情報を付与したい注目部分が明確に表示されるように、表示部１３に表示される画像信号を変更する。ここで、多視点画像信号の保持部１６は、１つの被写体を様々な視点から撮影して得られる複数の画像信号を蓄積している。そのため、使用者が行う画像信号の変更は、１つの被写体を撮影している視点を変更する動作となる。

図３は、表示部１３に表示される画像の一例を示す説明図である。図３において、画像信号を変更した結果、図３に示すような画像３０が表示される。この画像３０は、注目部分３１が明確に映し出された画像となる。座標３２は、注目部分３１の位置を示すものである。

図２のステップＳ１０１において、表示部１３に注目部分３１が明確に表示された画像３０が表示された場合、使用者は入力部１２を介してラベル情報を付与する位置を指示する。このとき、使用者は、表示部１３に表示される画像３０の注目部分３１を示す座標データを入力部１２から指定する。この場合、入力部１２は、使用者による指示を受け付けた場合、その指示に対応する制御信号を制御部１１に出力する。入力部１２を介して注目部分３１を指定する場合、表示部１３に表示された画像の左上にその指定した位置における座標３２を表示するようにしてもよい。

次に、制御部１１は、入力部１２から出力される制御信号を取得する。制御部１１は、取得した制御信号、及び表示部１３に現在表示される画像信号に対するカメラパラメータに基づいて、撮影対象を３次元空間上で表現した際に利用する座標空間における座標であって、座標空間におけるラベル情報の絶対座標を取得する。すなわち、ステップＳ１０１において、ラベル情報を付与した注目部分である、使用者が指定した位置の３次元空間上における座標を算出する。なお。制御部１１は、カメラパラメータをキャリブレーションデータの保持部１５から必要に応じて適宜取得する（ステップＳ１０２）。

次に、制御部１１は、使用者が指定した位置に関する３次元空間上の座標、及びモデルデータの保持部１４に蓄積されるモデルデータに基づいて、表示部１３に現在表示されている画像信号とは異なる画像信号を抽出する。新たに抽出される画像信号は、特定の画像信号における画像の視点とは異なる視点の画像の画像信号であって、特定の画像信号に映し出された注目部分と同じ注目部分が映し出される少なくとも１以上の画像信号である。この画像信号は、多視点画像信号の保持部１６から抽出し、表示部１３に表示する（ステップＳ１０３）。

次に、制御部１１は、モデルデータの保持部１４及びキャリブレーションデータの保持部１５に蓄積される情報を利用することにより、ステップＳ１０２で算出した３次元上の座標を、ステップＳ１０３で選択された画像信号のそれぞれの平面に投影変化する。すなわち、制御部１１は、ステップＳ１０１、Ｓ１０２において取得したラベル情報の絶対座標を基に、ステップＳ１０３で選択された異なる視点の画像の画像信号それぞれについて、平面上におけるラベル情報を付与する座標を算出する（ステップＳ１０４）。

最後に、制御部１１は、ステップＳ１０４で算出した視点の異なる画像信号の所定の座標位置に、ラベル情報を付与した画像信号を表示部１３に出力する。表示部１３は、制御部１１から出力される複数枚の画像信号を表示する（ステップＳ１０５）。

図４は、複数枚の画像信号に基づく画像を表示部に表示する際の一例を示す説明図である。図４に示すように、当初、表示部１３に表示される画像信号による画像３０に加えて、注目部分３１が表示される他の画像信号による複数枚の画像３０Ａ、３０Ｂ、３０Ｃ、３０Ｄ、３０Ｅ、３０Ｆ、３０Ｇ、３０Ｈが表示される。

これにより使用者に対して様々な視点から見た際のラベル情報の位置を表示することができる。このため、使用者は画像を確認しただけで、ラベル情報を付与する空間的な位置が適切か否かを判断することができる。

次に、制御部１１が有する上記（１）及び（２）の機能について、それぞれ具体的に説明する。

（１）ラベル情報の３次元空間上の座標を算出する機能
図５は、制御部１１におけるラベル情報の３次元空間上の座標を算出する機能を説明するためのフローチャートである。

図５において、まず制御部１１は、現在表示部１３に表示される画像信号の視点位置情報（緯度・経度）を取得する（ステップＳ５０１）。

そして、制御部１１は、ステップＳ１０１において表示部１３に注目部分３１が明確に視認できる画像信号を表示させた状態で、注目部分３１を指定する制御信号が入力された場合、制御信号が示す２次元平面上の位置座標を取得する（ステップＳ５０２）。ここで、上記の２次元平面は、表示部１３に表示される画像信号の平面上に形成されるものとなる。

次に、制御部１１は、ステップＳ５０１で取得した視点位置情報に対応するキャリブレーションデータをキャリブレーションデータの保持部１５から取得する。さらに制御部１１はモデルデータの保持部１４からモデルデータを取得する（ステップＳ５０３）。

そして、制御部１１はステップＳ５０３で取得した情報に基づいて、モデルデータに規定される被写体の３次元空間上の座標それぞれを、表示部１３に現在表示している画像信号の２次元平面上の座標それぞれに射影変換する（ステップＳ５０４）。

制御部１１は、数式（１）及び数式（２）により射影変換する。

ここで、ｗｖは視点ｖにおける定数（０ではない定数）を示す。また、（ＸＩｍｎ、ＹＩｍｎ）は、現在表示部１３に表示されている画像信号における２次元平面上の座標を示す。さらに、（ＸＭｎ、ＹＭｎ、ＺＭｎ）は、モデルデータにおいて３次元空間上で表現され被写体の離散点それぞれの座標を示す。

さらに、Ｐｖは次式で表現される変換行列となる。

ここで、ｆｖは、現在表示部１３に表示される画像信号を撮影した際の焦点距離を示す。また、Ｕｖｏ及びＶｖｏは、表示部１３に現在表示されている画像信号の画素中心を示す値である。さらに、Ｒｖは現在表示されている画像信号における回転行列を示す。最後に、ｔｖは、現在表示されている画像信号における並行移動ベクトルを示す。制御部１１は、上記の情報それぞれについてキャリブレーションデータから取得する。

次に制御部１１は、ステップＳ５０４で生成される被写体の座標であって、現在表示部１３に表示している画像信号の２次元平面上で表現される座標から、所定の条件を満たす複数の座標を抽出する（ステップＳ５０５）。

具体的には、制御部１１は、ステップＳ５０２で取得した座標と、現在表示部１３に表示している画像信号の２次元平面上で表現される座標それぞれとの距離を算出し、算出して得られる距離が所定の距離以下となる座標を抽出する。そして、制御部１１は、ステップＳ５０５で取得した座標に対応する３次元空間上における座標を抽出する。制御部１１は抽出した座標と表示部１３に現在表示される画像信号を撮影した際のカメラ位置との距離を算出する（ステップＳ５０６）。

最後に、制御部１１は、算出した距離が最も近い座標を、ラベル情報を付与する３次元空間上の座標として取得する（ステップＳ５０７）。

なお、３Ｄモデルデータの保持部は、３次元点群の場合である。ポリゴンデータの場合は、点群の連結で構成される面との交点を用いても良い。

上記の様に構成することにより、使用者が画像信号を視認しながら指定した２次元平面上の座標から、指定位置に対する３次元空間上の座標を算出することができる。

（２）多視点画像信号の保持部１６に蓄積される複数の画像信号から特定の画像信号を少なくとも１つ以上選択する機能
図６は、制御部１１において画像信号を少なくとも１つ以上選択する際の動作を説明するためのフローチャートである。

制御部１１は、多視点画像信号の保持部１６に蓄積される画像信号それぞれに対し、この画像信号に基づく画像を表示部１３に表示した際に注目部分３１が視認できるか否かを示す可視情報マップを生成する（ステップＳ６０１）。

そして、制御部１１はステップＳ６０１で生成した可視情報マップに記載された情報のうち、注目部分３１が視認できると判断された特定の視点の画像信号を選択する（ステップＳ６０２）。

図７は、制御部１１において、可視情報マップを生成する動作を説明するためのフローチャートである。

まず、図７に示すように、制御部１１は、図５のステップＳ５０７で取得したラベル情報の３次元空間上における座標を、処理対象である画像信号の２次元平面上の座標に射影変換する（ステップＳ７０１）。

次に制御部１１は、モデルデータの保持部１４に蓄積されるモデルデータを利用して、被写体の３次元空間上の座標それぞれを、処理対象である画像信号の２次元平面上の座標に射影変換する（ステップＳ７０２）。

次に制御部１１は、ステップＳ７０１において射影変換して得られるラベル情報の２次元平面上における座標と、ステップＳ７０２において射影変換して得られる被写体の２次元平面上における座標それぞれとの距離を算出する。そして制御部１１は、算出した距離が一定値以下となる被写体の２次元平面上の所定の座標を抽出する（ステップＳ７０３）。

次に制御部１１は、ステップＳ７０３で抽出した座標を、再度３次元空間上の座標に再変換する（ステップＳ７０４）。

次に制御部１１は、ステップＳ７０４において再変換して得られる被写体の３次元空間上における座標、及びラベル情報の３次元空間上の座標それぞれに対して、処理対象である画像信号を撮影した際のカメラの撮影位置との距離を算出する（ステップＳ７０５）。

そして制御部１１は、処理対象の画像信号において注目部分３１が視認できるか否かを判断する。すなわち、ステップＳ７０５で算出した距離のうち、ラベル情報の座標に基づいて算出された距離が最も近い場合、処理対象の画像信号において注目部分３１が視認できると判断する（ステップＳ７０６）。

これらの処理が終了した場合、制御部１１は、処理対象である画像信号を変更させ、ステップＳ７０１からステップＳ７０６までを繰り返して処理する（ステップＳ７０７）。この処理をすべての画像信号に対して実施し、全視点において完了した時点で処理を終了する。

図８は、制御部が生成する可視情報マップの一例を示す説明図である。図８は、横軸は緯度を示し、縦軸は経度を示している。図８に示すように、網かけで表示される領域に属する画像信号は、選択に係る注目部分が視認できないと判断されたものとなる。一方、何も塗りつぶされていない領域については、選択に係る注目部分が視認できると判断されたものとなる。

制御部１１は、生成した可視情報マップに基づいて、表示部１３に現在表示されている画像信号とは異なる複数枚の画像信号を選択する。この場合、制御部１１は、撮影時におけるカメラの位置の情報、及び可視情報マップに基づいて、可視情報マップ上において注目部分が視認できる画像信号であって、当該カメラ位置が等間隔に離れている画像信号を複数枚選択する。要するに、選択した複数枚の画像信号それぞれにおける撮影時のカメラ位置は、互いに所定以上の距離が離れることになる。また、制御部１１は、複数枚の画像信号を選択する場合。選択した画像信号それぞれにおける撮影時の撮影位置は、互いに一定の距離離れるように選択しても構わない。

なお、制御部１１は、可視情報マップにおいて、注目部分を視認できる領域と視認できない領域に隣接する画像信号を表示部１３で表示する際、少なくとも注目部分を含む領域を拡大して表示する構成にしても構わない。この条件に該当する画像信号は、注目部分が視認できるが、見づらい可能性が高い。そこで、拡大して表示することにより、より使用者に対する視認性を向上させることができる。

以上のように本技術の実施の形態によるラベル情報の処理装置は、特定の撮影対象を複数の多視点から撮影した複数の画像信号において、各画像信号による画像に共通に映し出される注目部分に付与するラベル情報の処理装置であって、複数の画像信号のうち、注目部分が映し出される特定の画像信号による画像を表示する表示部１３と、表示部に表示された特定の画像信号による画像の注目部分に対してラベル情報を付与する制御部１１とを有する。

制御部１１は、撮影対象を３次元空間上で表現した際に利用する座標空間における座標であって、座標空間におけるラベル情報の３次元空間上の座標を取得する第１の機能と、特定の画像信号による画像の視点とは異なる視点の画像の画像信号であって、特定の画像信号により映し出される注目部分と同じ注目部分が映し出される別の画像信号による画像を表示部１３に表示する第２の機能と、第１の機能で取得したラベル情報の座標を、第２の機能で表示部に表示される異なる視点の画像の画像信号それぞれについて、平面上におけるラベル情報を付与する座標に変換する第３の機能と、視点の異なる画像信号それぞれに対し、第３の機能により得られる所定の座標位置に、ラベル情報を付与する第４の機能を有するものである。

さらに、本技術の実施の形態によるラベル情報の処理方法は、特定の撮影対象を複数の多視点から撮影した複数の画像信号において、各画像信号による画像に共通に映し出される注目部分に付与する多視点画像に対するラベル情報の処理方法である。

複数の画像信号のうち、注目部分が映し出される特定の画像信号を設定して特定の画像信号に基づく画像を表示部に表示するとともに、表示部に表示された画像の注目部分に対してラベル情報を付与するステップと、撮影対象を３次元空間上で表現した際に利用する座標空間における座標であって、座標空間におけるラベル情報の座標を取得するステップと、特定の画像信号における画像の視点とは異なる視点の画像の画像信号であって、特定の画像信号に映し出された注目部分と同じ注目部分が映し出される画像信号による画像を表示部に表示するステップと、異なる視点の画像の画像信号それぞれについて、平面上におけるラベル情報を付与する座標を算出した後、視点の異なる画像信号の所定の座標位置に、ラベル情報を付与した画像信号による画像を表示するステップとを有する。

また、本実施の形態において、特定の画像信号に映し出された注目部分と同じ注目部分が映し出される画像信号の撮影時の撮影位置は、互いに所定以上の距離が離れている。

また、本実施の形態において、特定の画像信号のうち、隣接する視点における画像信号に注目部分が映し出されていない条件を満たす画像信号については、注目部分を含む一定の領域を拡大した後で表示するように制御される。

以上のように、本技術における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。また、上述の実施の形態は、本技術における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本技術は、複数の視点から１つの被写体を撮影して得られる複数の画像信号に対してラベル情報を付与するラベル情報処理装置に適用可能である。具体的には、電子書籍などに適用可能である。

１０ ラベル情報処理装置
１１ 制御部
１２ 入力部
１３ 表示部
１４ モデルデータの保持部
１５ キャリブレーションデータの保持部
１６ 多視点画像信号の保持部
３０，３０Ａ，３０Ｂ，３０Ｃ，３０Ｄ，３０Ｅ，３０Ｆ，３０Ｇ，３０Ｈ 画像
３１ 注目部分
３２ 座標

Claims (7)

1. 撮影対象を複数の視点から撮影することにより得られた複数の画像のうち、特定の画像を表示する表示部と、
   前記特定の画像について注目部分の指定を受け付ける受付部と、
   前記撮影対象を３次元空間で表現する際に利用する座標空間における前記注目部分の３次元座標を取得し、
   前記注目部分の３次元座標に基づいて、前記複数の画像それぞれにおいて、前記注目部分を視認できるか否かを判断し、
   前記複数の画像から、前記特定の画像と異なる視点の画像であり、前記注目部分が視認できる１以上の画像を抽出し、
   抽出した１以上の画像を表示するよう前記表示部を制御する制御部と、を備え、
   前記制御部は、前記特定の画像もしくは前記抽出した１以上の画像である、注目部分を視認できる画像を表示する際、
   前記注目部分を視認できる画像に隣接する視点の画像において前記注目部分が視認できるか否かを判断し、
   前記注目部分を視認できる画像に隣接する視点の画像において前記注目部分が視認できない場合、前記表示部を制御し、前記注目部分を視認できる画像を、前記注目部分を含む一定の領域を拡大した後で表示する処理装置。
2. 前記注目部分を視認できる画像は前記特定の画像である、請求項１に記載の処理装置。
3. 前記制御部は、更に、
   前記特定の画像における前記注目部分に対してラベル情報を付与し、
   前記抽出した１以上の画像、前記注目部分の３次元座標を前記画像それぞれにおける平面上の座標に変換し、
   前記抽出した１以上の画像について、前記注目部分の前記平面上の座標に対応する位置に前記注目部分に付与されたラベル情報を付与する、
   請求項１に記載の処理装置。
4. 前記制御部は、前記表示部を制御し、前記抽出した１以上の画像を表示する際、前記抽出した１以上の画像それぞれの前記平面上の座標に対応する位置に前記ラベル情報を重畳して表示する、請求項３に記載の処理装置。
5. 前記複数の画像の撮影時の撮影位置は、互いに所定以上の距離が離れている請求項１に記載の処理装置。
6. 前記所定の距離は一定の距離である請求項５に記載の処理装置。
7. 撮影対象を複数の視点から撮影することにより得られた複数の画像のうち、特定の画像を表示するステップと、
   前記特定の画像について注目部分の指定を受け付けるステップと、
   前記撮影対象を３次元空間で表現する際に利用する座標空間における前記注目部分の３次元座標を取得するステップと、
   前記注目部分の３次元座標に基づいて、前記複数の画像それぞれにおいて、前記注目部分を視認できるか否かを判断するステップと、
   前記複数の画像から、前記特定の画像と異なる視点の画像であり、前記注目部分が視認できる１以上の画像を抽出するステップと、
   抽出した１以上の画像を表示するステップと、
   前記特定の画像もしくは前記抽出した１以上の画像である、注目部分を視認できる画像を表示する際、
   前記注目部分を視認できる画像に隣接する視点の画像において前記注目部分が視認できるか否かを判断し、
   前記注目部分を視認できる画像に隣接する視点の画像において前記注目部分が視認できない場合、前記表示部を制御し、前記注目部分を視認できる画像を、前記注目部分を含む一定の領域を拡大した後で表示するステップと、を有する処理方法。

Images