JP6756679B2 - 決定装置、画像処理装置、決定方法及び決定プログラム - Google Patents

Description

本発明は、決定装置、画像処理装置、決定方法及び決定プログラムに関する。

従来、画像処理の技術として、拡張現実感（AR:Augmented Reality）及び複合現実感（MR:Mixed Reality）が知られている。拡張現実感とは、実空間に存在する物体に画像処理装置が情報を付与等することで、現実を拡張して表現する技術である。複合現実感とは、実空間に存在する物体の画像を画像処理装置が変化させ、変化した物体の画像と仮想空間に存在する物体の画像とを画像処理装置が複合化して表現する技術である。

上記のような技術分野において、実空間の物体がない状態の画像を生成し、生成した画像を実空間と重ねあわせてユーザに見せることで、実空間から物体が取り除かれたように見せることができる。実空間に物体がない状態の画像を生成する手法として、大きく２つに分類することができる。１つ目の手法として、物体が写っている画像を用いて物体周辺の領域から修復する方法が挙げられる（例えば、非特許文献１参照）。２つ目の手法として、物体の背景を撮影している複数のカメラ画像を用いて物体領域を埋める方法が挙げられる（例えば、非特許文献２参照）。

河合紀彦、外２名、「画像修復を用いた隠消現実感」、第１７回画像の認識・理解シンポジウム 榎本暁人、外１名、「複数のハンディカメラを利用したＤｉｍｉｎｉｓｈｅｄ Ｒｅａｌｉｔｙ」、画像の認識・理解シンポジウム、２００７年７月

しかしながら、非特許文献１の手法では、物体周辺の類似した色又はテクスチャで背景が埋められるため、物体の正しい背景を復元することができない場合がある。また、非特許文献２の手法では、物体の背景を取得するために異なる視点から複数の画像を撮影し、背景以外の物体をブレンディングによって見えにくくすることはできるが、物体が部分的に残ってしまう場合がある。このように、従来の手法では、実空間に物体がない状態の画像を生成する際に問題が生じる。

これに対し、実空間で物体が仮に取り除かれたとした場合に観察される背景の画像であって、特定の物体で遮蔽されてユーザから見ることができない背景の画像を撮像してユーザに提示することが考えられるが、特定の物体が柱等の動かせない物体である場合には背景の画像を撮影することができない。そのため、実空間で特定の物体が仮に取り除かれたとした場合に観察される背景の画像であって、特定の物体で遮蔽されてユーザから見ることができない背景の画像を取得することができる技術が要求されている。

上記事情に鑑み、本発明は、実空間で特定の物体が仮に取り除かれたとした場合に観察される背景の画像であって、特定の物体で遮蔽されてユーザから見ることができない背景の画像を取得することができる技術の提供を目的としている。

本発明の一態様は、実空間に配置された特定の物体を撮像するように位置及び向きが定められた複数の撮像装置が実空間に配置され、表示装置の画面に表示された画像の空間で前記特定の物体が取り除かれたように観察される背景の静止画像又は動画像である背景画像であって、前記特定の物体で遮蔽されてユーザから見ることができない前記背景画像を含む画像を出力する前記撮像装置を、複数の撮像装置から選択する決定装置であって、前記表示装置を介してユーザが見ている領域内において、特定の物体で前記ユーザから見えない背景を欠けずに撮像していて、かつ、前記ユーザの視線方向と、前記撮像装置の光軸との成す角度が小さい撮像装置を複数の撮像装置から選択する選択部、を備える決定装置である。

本発明の一態様は、上記の決定装置であって、前記選択部は、前記角度が小さい撮像装置が複数ある場合、前記ユーザの位置から前記背景の特定の位置までの距離と、前記撮像装置の位置から前記背景の特定の位置までの距離とに基づいて撮像装置を選択する。

本発明の一態様は、上記の決定装置であって、前記選択部は、前記ユーザの位置から前記背景の特定の位置までの距離と、前記撮像装置の位置から前記背景の特定の位置までの距離との差が所定の値以下の撮像装置を選択する。

本発明の一態様は、実空間に配置された特定の物体を撮像するように位置及び向きが定められた複数の撮像装置が実空間に配置され、表示装置の画面に表示された画像の空間で前記特定の物体が取り除かれたように観察される背景の静止画像又は動画像である背景画像であって、前記特定の物体で遮蔽されてユーザから見ることができない前記背景画像を含む画像を出力する前記撮像装置を、複数の撮像装置から選択する決定装置であって、前記表示装置を介してユーザが見ている領域内において、特定の物体で前記ユーザから見えない背景を欠けずに撮像している複数の撮像装置から、前記ユーザの視線方向と、前記撮像装置の光軸との成す角度と、前記ユーザの位置から前記背景の特定の位置までの距離と前記撮像装置の位置から前記背景の特定の位置までの距離との差のいずれを優先するかを表す優先情報に基づいて撮像装置を選択する選択部、を備える決定装置である。

本発明の一態様は、実空間に配置された特定の物体を撮像するように位置及び向きが定められた複数の撮像装置が実空間に配置され、表示装置の画面に表示された画像の空間で前記特定の物体が取り除かれたように観察される背景の静止画像又は動画像である背景画像であって、前記特定の物体で遮蔽されてユーザから見ることができない前記背景画像を含む画像を出力する前記撮像装置を、複数の撮像装置から選択する決定装置であって、前記表示装置を介してユーザが見ている領域内において、特定の物体で前記ユーザから見えない背景を欠けずに撮像している複数の撮像装置から、前記背景を被写界深度内に含む画像を撮像する撮像装置を選択する選択部、を備える決定装置である。

本発明の一態様は、上記の決定装置であって、前記選択部は、前記背景を被写界深度内に含む画像を撮像する撮像装置が複数ある場合、前記背景を被写界深度内に含む画像を撮像する複数の撮像装置のうち、画像における複数のパラメータに対する評価値を前記撮像装置毎に算出し、前記評価値に対して優先度に応じた重み付けを行うことによって前記撮像装置毎の合計評価値を算出し、算出した前記合計評価値が閾値以上の撮像装置を選択する。

本発明の一態様は、上記の決定装置と、選択された前記撮像装置によって撮像された静止画像又は動画像から、前記背景画像を切り出す切出部と、切り出された前記背景画像を前記表示装置に出力する出力部と、を備える画像処理装置である。

本発明の一態様は、実空間に配置された特定の物体を撮像するように位置及び向きが定められた複数の撮像装置が実空間に配置され、表示装置の画面に表示された画像の空間で前記特定の物体が取り除かれたように観察される背景の静止画像又は動画像である背景画像であって、前記特定の物体で遮蔽されてユーザから見ることができない前記背景画像を含む画像を出力する前記撮像装置を、複数の撮像装置から選択する決定装置が行う決定方法であって、前記表示装置を介してユーザが見ている領域内において、特定の物体で前記ユーザから見えない背景を欠けずに撮像していて、かつ、前記ユーザの視線方向と、前記撮像装置の光軸との成す角度が小さい撮像装置を複数の撮像装置から選択する選択ステップ、を有する決定方法である。

本発明の一態様は、実空間に配置された特定の物体を撮像するように位置及び向きが定められた複数の撮像装置が実空間に配置され、表示装置の画面に表示された画像の空間で前記特定の物体が取り除かれたように観察される背景の静止画像又は動画像である背景画像であって、前記特定の物体で遮蔽されてユーザから見ることができない前記背景画像を含む画像を出力する前記撮像装置を、複数の撮像装置から選択する決定装置としてコンピュータに、前記表示装置を介してユーザが見ている領域内において、特定の物体で前記ユーザから見えない背景を欠けずに撮像していて、かつ、前記ユーザの視線方向と、前記撮像装置の光軸との成す角度が小さい撮像装置を複数の撮像装置から選択する選択ステップ、をコンピュータに実行させるための決定プログラムである。

本発明により、実空間で特定の物体が仮に取り除かれたとした場合に観察される背景の画像であって、特定の物体で遮蔽されてユーザから見ることができない背景の画像を取得することが可能となる。

第１の実施形態における画像処理システム１ａの構成の例を示す図である。 物体及びカメラ２−１〜２−Ｎの配置の例を示す俯瞰図である。 カメラ２−１〜２−Ｎのそれぞれの配置に関する変数の例を示す図である。 表示画像の表示例を示す図である。 カメラ２−１〜２−Ｎのそれぞれによって撮像された画像の具体例を示す図である。 切出部３５の処理を説明するための図である。 表示後の表示画像の表示例を示す図である。 第１の実施形態における画像処理装置３ａの処理の流れを示すフローチャートである。 第２の実施形態における画像処理システム１ｂの構成の例を示す図である。 第２の実施形態における画像処理装置３ｂの処理の流れを示すフローチャートである。 第３の実施形態における画像処理システム１ｃの構成の例を示す図である。 物体及びカメラ２−１〜２−Ｎの配置の例を示す俯瞰図である。 第３の実施形態における画像処理装置３ｃの処理の流れを示すフローチャートである。

以下、本発明の一実施形態を、図面を参照しながら説明する。
（第１の実施形態）
図１は、第１の実施形態における画像処理システム１ａの構成の例を示す図である。画像処理システム１ａは、画像に画像処理を施すシステムである。画像は、静止画像又は動画像のいずれでもよい。画像処理システム１ａは、カメラ２−１〜２−Ｎ（Ｎは２以上の整数）と、画像処理装置３ａと、表示装置４とを備える。以下では、Ｎは一例として４である。

カメラ２−１〜２−Ｎは、物体が配置されている実空間において、それぞれ予め定められた向きで予め定められた位置に配置されている。カメラ２−１〜２−Ｎは、レンズである光学系を介して実空間を撮像する。光学系は、広角レンズ、魚眼レンズ、全天球レンズでもよい。カメラ２−１〜２−Ｎは、撮像した静止画像又は動画像である画像を、画像処理装置３ａに出力する。

画像処理装置３ａは、パーソナルコンピュータ装置、サーバ装置、スマートフォン端末、タブレット端末等の情報処理装置である。画像処理装置３ａと表示装置４とは、別体でもよいし一体でもよい。画像処理装置３ａは、カメラ２−ｎ（１≦ｎ≦Ｎ）が出力した画像に対して画像処理を施す。画像処理装置３ａは、例えば、カメラの画像取得周期(フレームレート)で、画像処理を実行してもよい。画像処理装置３ａは、画像処理が施された画像を表示装置４に出力する。画像処理装置３ａは、例えば、表示装置の表示周期(リフレッシュレート)で、画像の出力処理を実行してもよい。すなわち、画像処理装置３ａは、複数のフレーム画像を含む動画像に動画像処理を実行してもよい。

表示装置４は、ヘッドマウントディスプレイ等の表示装置である。表示装置４の画面は、表示装置４の外から表示装置４の画面に届いた光を透過させる。例えば、表示装置４の画面は、光透過性を備えた液晶ディスプレイである。以下、表示装置４の画面を透過した光による物体の光学画像を、「物体光学像」という。表示装置４の画面は、画面上で物体光学像を隠すように、画像処理装置３ａが出力した画像を表示する。これによって、表示装置４は、画像処理装置３ａが出力した画像を表示することができる。以下、表示装置４の画面に表示される画像を「表示画像」という。

画像処理システム１ａにおける物体及びカメラ２−１〜２−Ｎの配置例を図２に示す。
図２は、物体及びカメラ２−１〜２−Ｎの配置の例を示す俯瞰図である。図２に示すように、表示装置４を装着している観察者５が位置する実空間のある部屋１００には、カメラ２−１〜２−４と、物体６が配置されている。図２において、観察者５は、視線５１の方向を向いている。すなわち、観察者５は、部屋１００に配置されている物体６の方向を向いている。これにより、観察者５は、部屋１００に配置されている物体６の物体光学像を、表示装置４の画面を透過した光によって表示装置４を介して観察する。観察者５は、部屋１００のａの位置からｄの位置までの範囲を、表示装置４を介して見ているものとする。すなわち、ａの位置と観察者５の位置とを結ぶ線５２−１と、ｄの位置と観察者５の位置とを結ぶ線５２−２と、ａの位置とｄの位置とを結ぶ線とで得られる範囲が観察者５の視野の範囲である。

カメラ２−１〜２−４は、それぞれ予め定められた向きで、部屋１００の予め定められた位置に配置される。例えば、カメラ２−１〜２−４は、それぞれ、観察者５が見ている部屋１００のａの位置からｄの位置までの範囲内に光軸２０−１〜２０−４が向くように配置されている。
物体６は、例えば、箱、柱等である。以下の説明では、物体６が円柱である場合を例に説明する。物体６が観察者５の視野の範囲内に位置していることにより、観察者５は部屋１００のｂの位置からｃの位置までの壁Ｃを見ることができない。すなわち、観察者５は、物体６により、物体６の後方の背景を見ることができない。ここで、背景とは、特定の物体（例えば、物体６）で遮蔽されて観察者５から見えないものを表す。背景は、例えば、物体であってもよいし、実空間における壁であってもよいし、実空間上の仮想的な位置に設定された仮想的な壁であってもよい。

物体６は、部屋１００に予め定められた物体実位置に配置されている。物体実位置とは、実空間における物体の実際の位置を表す。物体６は、実空間では静止していてもよい。
以下の説明では、物体６を取り除いて、物体６の背景である壁Ｃを表示装置４に表示する場合を例に説明する。

次に、図１に戻り、画像処理装置３ａの構成の例を説明する。画像処理装置３ａは、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、画像処理プログラムを実行する。画像処理プログラムの実行によって、画像処理装置３ａは、画像取得部３０、操作部３１、変数決定部３２、記憶部３３、選択部３４、切出部３５、出力部３６を備える装置として機能する。なお、画像処理装置３ａの各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。また、画像処理プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、画像処理プログラムは、電気通信回線を介して送受信されてもよい。

画像取得部３０は、カメラ２−１〜２−Ｎのそれぞれによって撮像された画像を取得する。画像取得部３０は、取得した画像と、カメラ２−１〜２−Ｎの識別情報とを、対応付けて記憶部３３に記録する。操作部３１は、操作キー等を有する操作デバイスである。例えば、操作部３１は、キーボード、マウス、タッチパネルである。操作部３１は、操作部３１に対する操作を受け付けることによって、実空間におけるカメラ２−１〜２−Ｎのそれぞれの配置情報、実空間における物体の配置情報、観察者５の位置情報、背景の位置情報、切り出し位置情報及び貼り付け位置情報を取得する。

実空間におけるカメラ２−１〜２−Ｎのそれぞれの配置情報は、例えば、カメラ２−１〜２−Ｎのそれぞれの実空間における座標及び光軸方向等の情報である。光軸方向は、例えば、図２のように実空間中で定義される座標のｘ軸を基準とする角度で表現される。実空間における物体の配置情報は、例えば、実空間に配置されている物体（例えば、図２では物体６）の座標の情報である。観察者５の位置情報は、観察者５の座標の情報である。
背景の位置情報は、背景の座標の情報である。

切り出し位置情報は、カメラ画像から切り出される領域の位置を表す情報である。切り出し位置情報は、例えば、物体光学像における左上座標、幅及び高さの情報で表されてもよい。左上座標は、物体光学像における切り出される領域の左上の座標を表す。幅は、物体光学像における切り出される領域の幅を表す。高さは、物体光学像における切り出される領域の高さを表す。貼り付け位置情報は、カメラ画像から切り出された領域が表示画像に貼り付けられる位置を表す情報である。また、例えば、貼り付け位置情報は、表示画像の座標と対応付けてあらかじめ定義されている領域である、「中央」、「右」、「左」といった情報であってもよい。

貼り付け位置情報は、例えば、表示画像における左上座標、幅及び高さの情報で表されてもよい。観察者５の位置情報は、例えば、実空間における観察者の立ち位置の座標の情報と観察者５の視線方向である。操作部３１は、取得したカメラ２−１〜２−Ｎのそれぞれの配置情報と、観察者５の位置情報と、背景の位置情報とを変数決定部３２に出力し、カメラ２−１〜２−Ｎのそれぞれの配置情報と、観察者５の位置情報と、物体の配置情報とを選択部３４に出力する。また、操作部３１は、取得した切り出し位置情報及び貼り付け位置情報を切出部３５に出力する。

変数決定部３２は、カメラ２−１〜２−Ｎのそれぞれの配置情報と、観察者５の位置情報と、背景の位置情報とを操作部３１から取得する。変数決定部３２は、取得したカメラ２−１〜２−Ｎのそれぞれの配置情報と、観察者５の位置情報と、背景の位置情報とに基づいて、カメラ２−１〜２−Ｎの配置に関する変数をカメラ２−１〜２−Ｎのそれぞれに対して決定する。

カメラ２−１〜２−Ｎの配置に関する変数は、例えば、観察者５の視線方向とカメラ２−１〜２−Ｎのそれぞれの光軸との成す角度（以下「カメラ角度」という。）と、観察者５の位置から背景の特定の位置までの距離とカメラ２−１〜２−Ｎのそれぞれの位置から背景の特定の位置までの距離との差（以下「距離差」という。）とである。背景の特定の位置とは、予め設定されていてもよい。例えば、背景が図２における壁Ｃである場合、壁Ｃの中点を背景の特定の位置としてもよい。また、例えば、背景が物体である場合、物体の位置を背景の特定の位置としてもよい。変数決定部３２は、カメラ２の配置に関する変数情報を記憶部３３に記録する。

図３は、カメラ２−１〜２−Ｎのそれぞれの配置に関する変数の例を示す図である。変数決定部３２は、カメラ２−１〜２−Ｎのそれぞれの配置に関する変数情報を、カメラ２−１〜２−Ｎごとに記憶部３３に記録する。例えば、変数決定部３２は、カメラ角度を、カメラ２−１〜２−Ｎのそれぞれの識別情報に対応付けて記憶部３３に記録する。例えば、変数決定部３２は、距離差を、カメラ２−１〜２−Ｎのそれぞれの識別情報に対応付けて記憶部３３に記録する。

図１に戻り、画像処理装置３ａの構成の例の説明を続ける。記憶部３３は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。記憶部３３は、画像取得部３０によって取得された画像と、カメラ２−１〜２−Ｎのそれぞれの配置に関する変数情報とを記憶する。記憶部３３は、カメラ２−１〜２−Ｎのそれぞれの配置情報（座標、光軸方向）を記憶してもよい。記憶部３３は、物体の配置情報と、観察者５の位置情報とを記憶してもよい。

選択部３４は、選択されるカメラ２−ｎを決定する決定装置として機能する。選択部３４は、記憶部３３に記憶されている画像及び変数情報と、操作部３１を介して入力されたカメラ２−１〜２−Ｎのそれぞれの配置情報と、観察者５の位置情報と、物体の配置情報とを入力する。選択部３４は、入力した画像及び変数情報と、カメラ２−１〜２−Ｎのそれぞれの配置情報と、観察者５の位置情報と、物体の配置情報とに基づいて、背景を欠けずに撮像していて、かつ、カメラ角度が所定の角度より小さいカメラ２−ｎを選択する。
所定の角度とは、例えば３０度である。ここで、背景が欠けるとは、カメラで、物体がない空間を撮影した場合に映し出される背景の一部または全部が、物体の存在によって遮蔽されて映し出されていない状態、即ち、画像中に背景の一部または全部に物体が映り込んだ状態のことをいう。

また、選択部３４は、カメラ角度が所定の角度より小さいカメラ２−ｎが複数ある場合、距離差に基づいてカメラ２−ｎを選択する。具体的には、選択部３４は、距離差が所定の値以下のカメラ２−ｎを選択する。距離差の所定の値とは、例えばカメラの初期位置から背景までの距離の１０％程度である。選択部３４は、カメラ角度が所定の角度より小さいカメラ２−ｎが複数ある場合や距離差が所定の値以下のカメラ２−ｎが複数ある場合に、距離差が最も小さいカメラ２−ｎを選択してもよい。選択部３４は、選択したカメラ２−ｎの識別情報を切出部３５に出力する。

切出部３５は、選択部３４から出力されたカメラ２−ｎの識別情報と、操作部３１を介して入力された切り出し位置情報及び貼り付け位置情報とを入力する。切出部３５は、入力した識別情報で識別されるカメラ２−ｎによって撮像された画像を、記憶部３３から取得する。切出部３５は、記憶部３３から取得した画像から、切り出し位置情報に基づく背景領域の画像（以下「背景部分画像」という。）を切り出す。切出部３５は、貼り付け位置情報に基づいて、表示画面における背景部分画像の表示位置を決定する。例えば、操作部３１で指定された貼り付け位置情報で指定される領域を表示画面における背景部分画像の表示位置として決定する。また、例えば、貼り付け位置情報が表示画像の座標と対応付けてあらかじめ定義されている領域「中央」を表している場合、切出部３５は、表示画面における背景部分画像の表示位置を、表示画像の座標と対応付けてあらかじめ定義されている、表示装置４の画面の中央に決定する。切出部３５は、背景部分画像と、表示位置の情報である表示位置情報とを出力部３６に出力する。
出力部３６は、切出部３５から出力された背景部分画像と、表示位置情報とを入力する。出力部３６は、入力した表示位置情報に基づいて、背景部分画像に対して画像処理を施す。出力部３６は、画像処理が施された背景部分画像と表示位置情報とを表示装置４に出力する。

図４は、表示画像の表示例を示す図である。表示装置４は、物体６から表示装置４の画面に届いた光を透過させる。表示装置４は、物体６の物体光学像を含む表示画像４０を表示する。図４に示すように、観察者５は、物体６の物体光学像を、表示画像４０の中央に見ることができる。また、図４に示すように、観察者５は、物体６の後方の背景の物体光学像を、表示画像４０上で見ることができない。

図５は、カメラ２−１〜２−Ｎのそれぞれによって撮像された画像の具体例を示す図である。図５において、図５（ａ）はカメラ２−１が画像処理装置３ａに出力したカメラ画像２１であり、図５（ｂ）はカメラ２−２が画像処理装置３ａに出力したカメラ画像２２であり、図５（ｃ）はカメラ２−３が画像処理装置３ａに出力したカメラ画像２３であり、図５（ｄ）はカメラ２−４が画像処理装置３ａに出力したカメラ画像２４である。

図５（ａ）に示すように、カメラ画像２１では、壁Ｃの範囲（背景ｂ−ｃ間）の一部が物体６に遮蔽されていて壁Ｃの全てが撮像されていない。また、図５（ｂ）に示すように、カメラ画像２２では、壁Ｃが欠けずに撮像されている。すなわち、カメラ画像２２では、壁Ｃの全てが撮像されている。また、図５（ｃ）に示すように、カメラ画像２３では、壁Ｃが欠けずに撮像されている。また、図５（ｄ）に示すように、カメラ画像２４では、壁Ｃが欠けずに撮像されているが、カメラ２−４の位置から壁Ｃまでの距離が他のカメラ２−１〜２−３と比べて遠いために壁Ｃが他のカメラ画像２１〜２３と比べて小さく撮像されている。

図６は、切出部３５の処理を説明するための図である。ここでは、選択部３４がカメラ２−３を選択した場合を例に説明する。切出部３５は、選択されたカメラ２−３が出力したカメラ画像２３から、背景部分画像５０を切り出す。また、切出部３５は、表示画面における、切り出した背景部分画像５０の表示位置を、物体６に対応する位置に決定する。
出力部３６は、切り出された背景部分画像５０に画像処理を施して画像処理が施された背景部分画像５０と、表示位置情報とを表示装置４に出力する。表示装置４の画面は、画面上で物体光学像を隠すように、画像処理が施された背景部分画像５０を、表示位置情報で示される位置で物体光学像に重畳して表示する。表示後の表示画像の表示例を図７に示す。

図７は、表示後の表示画像の表示例を示す図である。図７に示すように、表示装置４は、物体光学像を含む表示画像４０上に、画像処理が施された背景部分画像５０を重畳して表示する。これにより、図４で表示画像４０上に表示されていた物体６が取り除かれたような画像を観察者５に提示することができる。

図８は、第１の実施形態における画像処理装置３ａの処理の流れを示すフローチャートである。なお、図８の説明では、既に変数決定部３２による処理は行われているものとする。また、図８では、複数のカメラ２−１〜２−Ｎから静止画像を取得した場合の処理について説明する。
画像取得部３０は、複数のカメラ２−１〜２−Ｎのそれぞれから画像を取得する（ステップＳ１０１）。画像取得部３０は、取得した複数の画像をそれぞれ、カメラ２−１〜２−Ｎのそれぞれの識別情報に対応付けて記憶部３３に記録する。選択部３４は、記憶部３３に記憶されている画像と、操作部３１を介して入力された観察者５の位置情報と、物体の配置情報と、カメラ２−１〜２−Ｎの配置情報とに基づいて、背景が欠けずに撮像されている画像があるか否か判定する（ステップＳ１０２）。ここで、背景が欠けるとは、カメラで、物体がない空間を撮影した場合に映し出される背景の一部または全部が、物体の存在によって遮蔽されて映し出されていない状態、即ち、画像中に背景の一部または全部に物体が映り込んだ状態のことをいう。

具体的には、まず選択部３４は、観察者５の位置情報と物体の配置情報とに基づいて、観察者５の視野範囲のうち物体６の遮蔽により観察者５から見えない背景の範囲を算出する。そして、選択部３４は、カメラ２−１〜２−Ｎの配置情報と、カメラ２−１〜２−Ｎの視野範囲と、物体の配置情報とに基づいて、観察者５が見えない背景の範囲を欠けることなく撮像できている画像があるか否か判定する。

背景が欠けずに撮像されている画像がない場合（ステップＳ１０２−ＮＯ）、画像処理装置３ａは処理を終了する。
一方、背景が欠けずに撮像されている画像がある場合（ステップＳ１０２−ＹＥＳ）、次に選択部３４は記憶部３３に記憶されている変数情報に基づいて、カメラ角度が所定の角度より小さいカメラ２−ｎが複数あるか否か判定する（ステップＳ１０３）。カメラ角度が所定の角度より小さいカメラ２が複数ない場合（ステップＳ１０３−ＮＯ）、選択部３４はカメラ角度が所定の角度より小さいカメラ２−ｎを選択する（ステップＳ１０４）。所定の角度とは、例えば３０度とする。その後、選択部３４は選択したカメラ２−ｎの識別情報を切出部３５に出力する。

切出部３５は、選択部３４から出力された識別情報で識別されるカメラ２−ｎによって撮像された画像を記憶部３３から取得する。切出部３５は、取得した画像から背景部分画像を切り出す。例えば、切出部３５は、切りだし位置情報で指定される領域を画像から切り出す。また、切出部３５は、貼り付け位置情報に基づいて、表示画面における背景部分画像の表示位置を決定する。例えば、切出部３５は、貼り付け位置情報で指定される領域を表示画面における背景部分画像の表示位置として決定する。

切出部３５は、背景部分画像と、表示位置情報とを出力部３６に出力する。出力部３６は、切出部３５から出力された背景部分画像と表示位置情報とを入力する。出力部３６は、入力した背景部分画像に対して画像処理を行う。具体的には、出力部３６は、背景部分画像を、観察者５の視線５１の方向から見た画像に変換する。例えば、出力部３６は、アフィン変換行列を用いたアフィン変換処理を背景部分画像に対して施す。アフィン変換行列は、回転、拡大又は縮小等の処理が施される領域を示す情報を含んでもよい。その後、出力部３６は、変換後の背景部分画像と表示位置情報とを表示装置４に出力する（ステップＳ１０５）。

また、ステップＳ１０３の処理において、カメラ角度が所定の角度より小さいカメラ２−ｎが複数ある場合（ステップＳ１０３−ＹＥＳ）、選択部３４はカメラ角度が所定の角度より小さいカメラ２−ｎのうち、距離差が所定の値以下であるカメラ２−ｎを選択する（ステップＳ１０６）。選択部３４は、選択したカメラ２−ｎの識別情報を切出部３５に出力する。その後、ステップＳ１０５の処理が実行される。所定の角度とは、例えば３０度とする。距離差の所定の値とは、例えばカメラの初期位置から背景までの距離の１０％程度である。ステップＳ１０６において、選択部３４は、カメラ角度が所定の角度より小さいカメラ２−ｎが複数ある場合や距離差が所定の値以下のカメラ２−ｎが複数ある場合に、距離差が最も小さいカメラ２−ｎを選択してもよい。

画像取得部３０が動画像を取得する場合について、図８に示す処理との相違点を説明する。ステップＳ１０１において、画像取得部３０は、複数のカメラ２−１〜２−Ｎのそれぞれから動画像を取得し、取得した動画像それぞれから各フレーム画像を取得する。ステップＳ１０２において、選択部３４は、取得した動画像それぞれの各フレーム画像の先頭フレーム画像に基づいて、背景が欠けずに撮像されている画像があるか否か判定する。ステップＳ１０５において、切出部３５は、選択されたカメラ２−ｎから取得された動画像のフレーム画像毎に背景部分画像を切り出す。次に、切出部３５は、各フレーム画像において共通する表示位置となるように、背景部分画像の表示位置を決定する。その後、出力部３６は、フレーム画像の数の背景部分画像と、各フレーム画像において共通する表示位置情報とを、表示装置４に出力する。

以上のように、第１の実施形態の画像処理装置３ａは、実空間に配置された物体６を撮像するように位置及び向きが定められた複数のカメラ２−１〜２−Ｎが実空間に配置され、表示装置４の画面に表示された画像の空間で物体６が取り除かれたように観察される背景の静止画像又は動画像である背景画像であって、物体６で遮蔽されてユーザから見ることができない背景画像を含む画像を出力するカメラ２−ｎを、複数のカメラ２−１〜２−Ｎから選択する決定装置を備える。第１の実施形態の決定装置は、選択部３４を備える。
選択部３４は、表示装置４を介して観察者５が見ている領域内において、特定の物体で観察者５から見えない背景を欠けずに撮像していて、かつ、観察者５の視線方向と、カメラ２−１〜２−Ｎのそれぞれの光軸との成す角度が小さいカメラ２−ｎを複数のカメラ２−１〜２−Ｎの中から選択する。このように選択されたカメラ２−ｎが撮像した画像を取得することによって、画像処理装置３ａは実空間で特定の物体が仮に取り除かれたとした場合に観察される背景の画像であって、特定の物体で遮蔽されて観察者５から見ることができない背景の画像を取得することが可能になる。

＜変形例＞
画像処理装置３ａは、特定の物体が移動又は特定の物体が変更された場合に図８の処理を実行してもよいし、観察者５が移動した場合に図８の処理を実行してもよい。
選択部３４は、カメラ角度を距離差に重み付けてカメラ２−ｎを選択してもよい。例えば、選択部３４は、カメラ角度が０に近いこと（観察者５の視線方向とカメラ２−１〜２−Ｎのそれぞれの光軸の方向とが水平に近いほど）を、距離差が小さいことよりも重視して重み付けしてもよい。このように構成されることによって、射影変換量が小さいカメラ２−ｎを選択することができる。

（第２の実施形態）
第１の実施形態では、画像処理装置が、カメラ角度に基づいてカメラを選択し、選択したカメラの中から１つのカメラを選択する構成を示した。これに対し、第２の実施形態では、画像処理装置が、カメラ角度又は距離差のどちらを優先するかを表す情報（以下「優先情報」という。）に基づいてカメラを選択する点で第１の実施形態と相違する。第２の実施形態では、第１の実施形態との相違点についてのみ説明する。

図９は、第２の実施形態における画像処理システム１ｂの構成の例を示す図である。画像処理システム１ｂは、カメラ２−１〜２−Ｎと、画像処理装置３ｂと、表示装置４とを備える。画像処理装置３ｂは、パーソナルコンピュータ装置、サーバ装置、スマートフォン端末、タブレット端末等の情報処理装置である。画像処理装置３ｂと表示装置４とは、別体でもよいし一体でもよい。画像処理装置３ｂは、カメラ２−ｎが出力した画像に画像処理を施す。画像処理装置３ｂは、例えば、カメラの画像取得周期(フレームレート)で、画像処理を実行してもよい。画像処理装置３ｂは、画像処理が施された画像を表示装置４に出力する。画像処理装置３ｂは、例えば、表示装置の表示周期(リフレッシュレート)で、画像の出力処理を実行してもよい。すなわち、画像処理装置３ｂは、複数のフレーム画像を含む動画像に動画像処理を実行してもよい。

画像処理装置３ｂは、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、画像処理プログラムを実行する。画像処理プログラムの実行によって、画像処理装置３ｂは、画像取得部３０、操作部３１ｂ、変数決定部３２、記憶部３３、選択部３４ｂ、切出部３５、出力部３６を備える装置として機能する。なお、画像処理装置３ｂの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。
また、画像処理プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、画像処理プログラムは、電気通信回線を介して送受信されてもよい。

画像処理装置３ｂは、操作部３１及び選択部３４に代えて操作部３１ｂ及び選択部３４ｂを備える点で画像処理装置３ａと構成が異なる。画像処理装置３ｂは、他の構成については画像処理装置３ａと同様である。そのため、画像処理装置３ｂ全体の説明は省略し、操作部３１ｂ及び選択部３４ｂについて説明する。
操作部３１ｂは、操作部３１と同様の処理を行う。また、操作部３１ｂは、優先情報を取得する。操作部３１ｂは、取得した優先情報を選択部３４ｂに出力する。

選択部３４ｂは、選択されるカメラ２−ｎを決定する決定装置として機能する。選択部３４ｂは、記憶部３３に記憶されている画像及び変数情報と、操作部３１を介して入力されたカメラ２−１〜２−Ｎのそれぞれの配置情報と、観察者５の位置情報と、物体の配置情報と、優先情報とを入力する。選択部３４は、入力した画像と、カメラ２−１〜２−Ｎのそれぞれの配置情報と、観察者５の位置情報と、物体の配置情報とに基づいて、背景を欠けずに撮像しているカメラ２−ｎを複数のカメラ２−１〜２−Ｎの中から選択する。次に、選択部３４ｂは、優先情報に基づいて、カメラ角度又は距離差のどちらを優先するかを判定する。

優先情報がカメラ角度を優先することを示す場合、選択部３４ｂは第１の実施形態における選択部３４と同様の処理を行うことによってカメラ２−ｎを選択する。優先情報が距離差を優先することを示す場合、選択部３４ｂは距離差が所定の値以下のカメラ２−ｎを選択する。距離差の所定の値とは、例えばカメラの初期位置から背景までの距離の１０％程度である。また、選択部３４ｂは、所定の値以下のカメラ２−ｎが複数ある場合、カメラ角度に基づいてカメラ２−ｎを選択する。所定の角度とは、例えば３０度である。具体的には、選択部３４は、カメラ角度が所定の角度より小さいカメラ２−ｎを選択する。選択部３４ｂは、カメラ角度が所定の角度より小さいカメラ２−ｎが複数ある場合や距離差が所定の値以下のカメラ２−ｎが複数ある場合に、距離差が最も小さいカメラ２−ｎを選択してもよい。

図１０は、第２の実施形態における画像処理装置３ｂの処理の流れを示すフローチャートである。図８と同様の処理については、図１０において図８と同様の符号を付して説明を省略する。また、図１０では、複数のカメラ２−１〜２−Ｎから静止画像を取得した場合の処理について説明する。
ステップＳ１０２の処理において、背景が欠けずに撮像されている画像がある場合（ステップＳ１０２−ＹＥＳ）、選択部３４は操作部３１を介して入力された優先情報に基づいて、カメラ角度又は距離差のどちらを優先するかを判定する（ステップＳ２０１）。優先情報がカメラ角度を優先することを示す場合（ステップＳ２０１−カメラ角度優先）、選択部３４ｂはステップＳ１０３以降の処理を実行する。

一方、優先情報が距離差を優先することを示す場合（ステップＳ２０１−距離差）、選択部３４ｂは記憶部３３に記憶されている変数情報に基づいて、距離差が最も小さいカメラ２−ｎが複数あるか否か判定する（ステップＳ２０２）。距離差が所定の値以下のカメラ２−ｎが複数ない場合（ステップＳ２０２−ＮＯ）、選択部３４ｂは距離差が所定の値以下のカメラ２−ｎを選択する（ステップＳ２０３）。選択部３４ｂは、選択したカメラ２−ｎの識別情報を切出部３５に出力する。その後、ステップＳ１０５の処理が実行される。ステップＳ２０３において、選択部３４ｂは、カメラ角度が所定の角度より小さいカメラ２−ｎが複数ある場合や距離差が所定の値以下のカメラ２−ｎが複数ある場合に、距離差が最も小さいカメラ２−ｎを選択してもよい。
一方、距離差が所定の値以下のカメラ２−ｎが複数ある場合（ステップＳ２０２−ＹＥＳ）、選択部３４ｂは距離差が所定の値以下のカメラ２−ｎのうち、カメラ角度が所定の角度以下のカメラ２−ｎを選択する（ステップＳ２０４）。選択部３４ｂは、選択したカメラ２−ｎの識別情報を切出部３５に出力する。その後、ステップＳ１０５の処理が実行される。

画像取得部３０が動画像を取得する場合について、図１０に示す処理との相違点を説明する。ステップＳ１０１において、画像取得部３０は、複数のカメラ２−１〜２−Ｎのそれぞれから動画像を取得し、取得した動画像それぞれから各フレーム画像を取得する。ステップＳ１０２において、選択部３４ｂは、取得した動画像それぞれの各フレーム画像の先頭フレーム画像に基づいて、背景が欠けずに撮像されている画像があるか否か判定する。ステップＳ１０５において、切出部３５は、選択されたカメラ２−ｎから取得された動画像のフレーム画像毎に背景部分画像を切り出す。次に、切出部３５は、各フレーム画像において共通する表示位置となるように、背景部分画像の表示位置を決定する。その後、出力部３６は、フレーム画像の数の背景部分画像と、各フレーム画像において共通する表示位置情報とを、表示装置４に出力する。

以上のように、第２の実施形態の画像処理装置３ｂは、実空間に配置された物体６を撮像するように位置及び向きが定められた複数のカメラ２−１〜２−Ｎが実空間に配置され、表示装置４の画面に表示された画像の空間で物体６が取り除かれたように観察される背景の静止画像又は動画像である背景画像であって、物体６で遮蔽されてユーザから見ることができない背景画像を含む画像を出力するカメラ２−ｎを、複数のカメラ２−１〜２−Ｎから選択する決定装置を備える。第２の実施形態の決定装置は、選択部３４ｂを備える。選択部３４ｂは、表示装置４を介して観察者５が見ている領域内において、特定の物体で観察者５から見えない背景を欠けずに撮像している複数のカメラ２−１〜２−Ｎの中から、観察者５の視線方向と、カメラ２−１〜２−Ｎのそれぞれの光軸との成す角度と、距離差のいずれを優先するかを表す優先情報に基づいてカメラ２−ｎを選択する。このように選択されたカメラ２−ｎが撮像した画像を取得することによって、画像処理装置３ｂは実空間で特定の物体が仮に取り除かれたとした場合に観察される背景の画像であって、特定の物体で遮蔽されて観察者５から見ることができない背景の画像を取得することが可能になる。

＜変形例＞
画像処理装置３ｂは、特定の物体が移動又は特定の物体が変更された場合に図１０の処理を実行してもよいし、観察者５が移動した場合に図１０の処理を実行してもよい。
選択部３４ｂは、カメラ角度を距離差に重み付けてカメラ２−ｎを選択してもよい。例えば、選択部３４ｂは、カメラ角度が０に近いこと（観察者５の視線方向とカメラ２−１〜２−Ｎのそれぞれの光軸の方向とが水平に近いほど）を、距離差が小さいことよりも重視して重み付けしてもよい。このように構成されることによって、射影変換量が小さいカメラ２−ｎを選択することができる。

（第３の実施形態）
第１の実施形態及び第２の実施形態では、特定の物体で遮蔽されてユーザから見ることができない背景の画像を撮像しているカメラの選択を、カメラ角度又は距離差に基づいて行う構成を示した。しかしながら、第１の実施形態及び第２の実施形態において、ユーザが見ている視線方向に最も近い方向を向いているカメラや、カメラの位置から背景までの距離とユーザの位置から背景までの距離との差が最も小さいカメラを選択したとしても、特定の物体で遮蔽されてユーザから見ることができない背景の画像がぼけてしまっている（背景にピントが合っていない）場合には、表示装置４に表示される画像全体の品質が劣化しまう。そこで、第３の実施形態では、背景が全て撮像できる位置であり、かつ、背景がぼけない位置に配置されているカメラを選択する点で第１の実施形態及び第２の実施形態と相違する。第３の実施形態では、第１の実施形態及び第２の実施形態との相違点についてのみ説明する。

図１１は、第３の実施形態における画像処理システム１ｃの構成の例を示す図である。画像処理システム１ｃは、カメラ２−１〜２−Ｎと、画像処理装置３ｃと、表示装置４とを備える。画像処理装置３ｃは、カメラ２−１〜２−Ｎの中からカメラ２−ｎを選択する方法が画像処理装置３ａ及び３ｂと異なる。具体的には、画像処理装置３ｃは、複数のカメラ２−１〜２−Ｎのうち、背景が全て撮像できる位置であり、かつ、背景がぼけない位置に設置されているカメラ２−ｎを選択する。ここで、背景がぼけない位置とは、カメラ２の被写界深度の範囲内に背景を含む位置である。

画像処理装置３ｃは、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、画像処理プログラムを実行する。画像処理プログラムの実行によって、画像処理装置３ｃは、画像取得部３０、操作部３１ｃ、変数決定部３２、記憶部３３、選択部３４ｃ、切出部３５、出力部３６を備える装置として機能する。なお、画像処理装置３ｃの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。
また、画像処理プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、画像処理プログラムは、電気通信回線を介して送受信されてもよい。

画像処理装置３ｃは、操作部３１及び選択部３４に代えて操作部３１ｃ及び選択部３４ｃを備える点で画像処理装置３ａと構成が異なる。画像処理装置３ｃは、他の構成については画像処理装置３ａと同様である。そのため、画像処理装置３ｃ全体の説明は省略し、操作部３１ｃ及び選択部３４ｃについて説明する。

操作部３１ｃは、操作部３１と同様の処理を行う。また、操作部３１ｃは、第２の優先情報を取得する。第２の優先情報は、カメラ選択に用いるパラメータ（以下「選択パラメータ」という。）の重み付けの係数に関する情報である。カメラ選択に用いるパラメータは、画像上の物体の歪み（カメラ角度）、画像上の物体の大きさ、及びボケ量である。カメラから物体までの距離をＬ、カメラの焦点距離をｆ、画像上の物体の大きさをｙとすると、画像上の物体の大きさｙは以下の式１で表される。

また、操作部３１ｃは、予め設定されている第２の優先情報を取得してもよいし、入力装置を介して入力されることによって第２の優先情報を取得してもよい。操作部３１ｃは、取得した第２の優先情報を選択部３４ｃに出力する。

選択部３４ｃは、選択されるカメラ２−ｎを決定する決定装置として機能する。選択部３４ｃは、記憶部３３に記憶されている画像及び変数情報と、操作部３１ｃを介して入力されたカメラ２−１〜２−Ｎのそれぞれの配置情報と、観察者５の位置情報と、実空間における物体の配置情報と、第２の優先情報と、カメラ２に関するパラメータの情報（以下「カメラパラメータ情報」という。）を入力する。カメラパラメータ情報は、前方被写界深度及び後方被写界深度の算出に用いるパラメータの情報であり、例えば許容錯乱円径、絞り値、及び焦点距離である。選択部３４ｃは、カメラパラメータ情報を各カメラ２から取得する。選択部３４ｃは、入力した画像と、カメラ２−１〜２−Ｎのそれぞれの配置情報と、観察者５の位置情報と、物体の配置情報とに基づいて、背景を欠けずに撮像しているカメラ２−ｎを複数のカメラ２−１〜２−Ｎの中から選択する。

画像処理システム１ｃにおける物体及びカメラ２−１〜２−Ｎの配置例を図１２に示す。図１２は、物体及びカメラ２−１〜２−Ｎの配置の例を示す俯瞰図である。図１２に示すように、表示装置４を装着している観察者５が位置する実空間のある部屋１００には、カメラ２−１，２−２と、物体６が配置されている。図１２において、観察者５は、視線５１の方向を向いている。すなわち、観察者５は、部屋１００に配置されている物体６の方向を向いている。これにより、観察者５は、部屋１００に配置されている物体６の物体光学像を、表示装置４の画面を透過した光によって表示装置４を介して観察する。観察者５は、部屋１００のａの位置からｄの位置までの範囲を、表示装置４を介して見ているものとする。すなわち、ａの位置と観察者５の位置とを結ぶ線５２−１と、ｄの位置と観察者５の位置とを結ぶ線５２−２と、ａの位置とｄの位置とを結ぶ線とで得られる範囲が観察者５の視野の範囲である。

カメラ２−１，２−２は、それぞれ予め定められた向きで、部屋１００の予め定められた位置に配置される。例えば、カメラ２−１，２−２は、それぞれ、観察者５が見ている部屋１００のａの位置からｄの位置までの範囲内に光軸２０−１，２０−２が向くように配置されている。
図１２において、カメラ２−１から背景までの距離をＬ１、カメラ２−１から物体６までの距離をＤ１、カメラ２−１における後方被写界深度をｄ１１、カメラ２−１における前方被写界深度をｄ２１とする。また、図１２において、カメラ２−２から背景までの距離をＬ２、カメラ２−２から物体６までの距離をＤ２、カメラ２−２における後方被写界深度をｄ１２、カメラ２−２における前方被写界深度をｄ２２とする。

前方被写界深度及び後方被写界深度は、既存の方法で算出される。例えば、前方被写界深度及び後方被写界深度は式２、式３に基づいて算出されてもよい。

上記式２及び式３における被写体距離はカメラ２から物体６までの距離であり、許容錯乱円径はカメラ２全てで一定である。また、焦点距離と絞り値は、各カメラ２で設定される値であり、カメラ２ごとに異なる。第３の実施形態における選択部３４ｃは、複数のカメラ２−１〜２−Ｎの中から、背景を欠けずに撮像しているカメラ２−ｎであって、以下の式４の条件を満たすカメラ２−ｎを選択する。なお、式４において、Ｄｉ（ｉは１以上の整数）はカメラ２から物体６までの距離を表し、ｄ１ｉはカメラ２における後方被写界深度を表し、ｄ２ｉはカメラ２における前方被写界深度を表し、Ｌｉはカメラ２から背景までの距離を表す。

図１３は、第３の実施形態における画像処理装置３ｃの処理の流れを示すフローチャートである。図８と同様の処理については、図１３において図８と同様の符号を付して説明を省略する。なお、図１３の説明では、既に変数決定部３２による処理は行われているものとする。また、図１３では、複数のカメラ２−１〜２−Ｎから静止画像を取得した場合の処理について説明する。

ステップＳ１０２の処理において、背景が欠けずに撮像されている画像がある場合（ステップＳ１０２−ＹＥＳ）、選択部３４ｃは背景を欠けずに撮像しているカメラ２−１〜２−Ｎの中から、背景がぼけない位置に設置されているカメラ２が複数あるか否かを判定する（ステップＳ３０１）。背景がぼけない位置に設置されているカメラ２の判定は、上記式４に基づいて行われる。具体的には、まず選択部３４ｃは、各カメラ２から取得したカメラパラメータ情報と、カメラ２−１〜２−Ｎのそれぞれの配置情報と、実空間における物体の配置情報とを用いて、上記式１及び２に基づいて各カメラ２の前方被写界深度及び後方被写界深度を算出する。次に、選択部３４ｃは、算出した前方被写界深度（ｄ２ｉ）及び後方被写界深度（ｄ１ｉ）と、カメラ２−１〜２−Ｎのそれぞれの配置情報及び物体の配置情報から得られるカメラ２から物体６までの距離Ｄと、カメラ２から背景までの距離Ｌとを用いて、上記式４の条件を満たすか否かを各カメラ２に対して判定する。そして、選択部３４ｃは、上記式４の条件を満たすカメラ２を、背景がぼけない位置に設置されているカメラ２と判定する。一方、選択部３４ｃは、上記式４の条件を満たさないカメラ２を、背景がぼけない位置に設置されていないカメラ２と判定する。

背景がぼけない位置に設置されているカメラ２が複数台ない場合（ステップＳ３０１−ＮＯ）、選択部３４ｃは背景がぼけない位置に設置されているカメラ２−ｎを選択する（ステップＳ３０２）。その後、画像処理装置３ｃは、ステップＳ１０５の処理を実行する。
一方、背景がぼけない位置に設置されているカメラ２が複数台ある場合（ステップＳ３０１−ＹＥＳ）、選択部３４ｃはカメラ評価値を算出する（ステップＳ３０３）。ここでカメラ評価値とは、各カメラ２の評価に用いる値であり、例えば選択パラメータにおける各パラメータ（画像上の物体の歪み（カメラ角度）、画像上の物体の大きさ、及びボケ量）の評価値に重み付けした値の合計値で表される。

まず、選択部３４ｃは、操作部３１ｃを介して入力された第２の優先情報から各パラメータの重み付けの係数を取得する。例えば、第２の優先情報として、予め各パラメータの重み付けの係数が決定されていてもよい。次に、選択部３４ｃは、カメラ２毎に各パラメータの評価を行う。例えば、選択部３４ｃは、画像上の物体の歪みの評価として、カメラ角度が小さいカメラ２から順に各カメラ２に高い値を付ける。具体例を挙げると、カメラ２が５台である場合、選択部３４ｃはカメラ角度が小さいカメラ２から順に“５”，“４”，“３”，“２”，“１”の値を各カメラ２に付ける。

また、例えば、選択部３４ｃは、画像上の物体の大きさの評価として、観察者５が見ている領域内での背景領域の大きさと、各カメラ２で撮像された画像上の背景領域の大きさとが近いカメラ２から順に各カメラ２に高い値を付ける。具体例を挙げると、カメラ２が５台である場合、選択部３４ｃは観察者５が見ている領域内での背景領域の大きさと、各カメラ２で撮像された画像上の背景領域の大きさとが近いカメラ２から順に“５”，“４”，“３”，“２”，“１”の値を各カメラ２に付ける。観察者５が見ている領域内での背景領域の大きさと、各カメラ２で撮像された画像上の背景領域の大きさとが近いカメラ２とは、すなわち画角が近いカメラ２である。

また、例えば、選択部３４ｃは、ボケ量の評価として、被写界深度の長さが長いカメラ２から順に各カメラ２に高い値を付ける。具体例を挙げると、カメラ２が５台である場合、選択部３４ｃは被写界深度の長さが長いカメラ２から順に“５”，“４”，“３”，“２”，“１”の値を各カメラ２に付ける。

カメラ評価値の算出方法について一具体例を挙げて説明する。
（重み付けの係数）
・画像上の物体の歪み ：０．５
・画像上の物体の大きさ：０．３
・ボケ量 ：０．２

（各パラメータの評価）
・画像上の物体の歪み ：５台中２番目 評価“４”
・画像上の物体の大きさ：５台中１番目 評価“５”
・ボケ量 ：５台中３番目 評価“３”

上記（重み付けの係数）及び（各パラメータの評価）とすると、選択部３４ｃは以下のようにあるカメラ２−ｎのカメラ評価値を算出する。
０．５×４＋０．３×３＋３×０．２＝３．５

選択部３４ｃは、背景がぼけない位置に設置されているカメラ２全てにおいてカメラ評価値を算出する。その後、選択部３４ｃは、背景がぼけない位置に設置されているカメラ２のうち、カメラ評価値が所定の閾値以上のカメラ２−ｎを選択する（ステップＳ３０４）。カメラ評価値が所定の閾値以上のカメラ２が複数ある場合、選択部３４ｃはカメラ評価値が最も高いカメラ２−ｎを選択してもよい。選択部３４ｃは、選択したカメラ２−ｎの識別情報を切出部３５に出力する。その後、画像処理装置３ｃはステップＳ１０５の処理を実行する。

画像取得部３０が動画像を取得する場合について、図１３に示す処理との相違点を説明する。ステップＳ１０１において、画像取得部３０は、複数のカメラ２−１〜２−Ｎのそれぞれから動画像を取得し、取得した動画像それぞれから各フレーム画像を取得する。ステップＳ１０２において、選択部３４ｃは、取得した動画像それぞれの各フレーム画像の先頭フレーム画像に基づいて、背景が欠けずに撮像されている画像があるか否か判定する。ステップＳ１０５において、切出部３５は、選択されたカメラ２−ｎから取得された動画像のフレーム画像毎に背景部分画像を切り出す。次に、切出部３５は、各フレーム画像において共通する表示位置となるように、背景部分画像の表示位置を決定する。その後、出力部３６は、フレーム画像の数の背景部分画像と、各フレーム画像において共通する表示位置情報とを、表示装置４に出力する。

以上のように、第３の実施形態の画像処理装置３ｃは、実空間に配置された物体６を撮像するように位置及び向きが定められた複数のカメラ２−１〜２−Ｎが実空間に配置され、表示装置４の画面に表示された画像の空間で物体６が取り除かれたように観察される背景の静止画像又は動画像である背景画像であって、物体６で遮蔽されてユーザから見ることができない背景画像を含む画像を出力するカメラ２−ｎを、複数のカメラ２−１〜２−Ｎから選択する決定装置を備える。第３の実施形態の決定装置は、選択部３４ｃを備える。選択部３４ｃは、表示装置４を介して観察者５が見ている領域内において、特定の物体で観察者５から見えない背景を欠けずに撮像している複数のカメラ２−１〜２−Ｎの中から、背景を被写界深度内に含む画像を撮像するカメラ２−ｎを選択する。このように選択されたカメラ２−ｎが撮像した画像を取得することによって、画像処理装置３ｂは実空間で特定の物体が仮に取り除かれたとした場合に観察される背景の画像であって、特定の物体で遮蔽されて観察者５から見ることができない背景の画像を取得することが可能になる。

＜変形例＞
画像処理装置３ｃは、特定の物体が移動又は特定の物体が変更された場合に図１３の処理を実行してもよいし、観察者５が移動した場合に図１３の処理を実行してもよい。
選択部３４ｃは、画像上の物体の歪み、画像上の物体の大きさ、及びボケ量のいずれか１つ以上を用いてカメラ評価値を算出してもよい。

上記の各実施形態における画像処理装置が備える決定装置は、実空間に配置された特定の物体を撮像するように位置及び向きが定められた複数のカメラ２−１〜２−Ｎが実空間に配置され、表示装置４の画面に表示された画像の空間で特定の物体が取り除かれたように観察される背景の画像であって、特定の物体で遮蔽されてユーザから見ることができない背景の画像を含む画像を出力するカメラ２−ｎを、複数のカメラ２−１〜２−Ｎの中から選択するために用いられる。

上述した実施形態における画像処理システム及び画像処理装置の少なくとも一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、ヘッドマウントディスプレイ等の表示装置に表示される拡張現実画像を出力する画像処理装置に適用可能である。

１ａ、１ｂ、１ｃ…画像処理システム、 ２−１〜２−Ｎ…カメラ、 ３ａ、３ｂ、３ｃ…画像処理装置、 ４…表示装置、 ５…観察者、 ６…物体、 ２０−１〜２０−４…光軸、 ２１〜２４…カメラ画像、 ３０…画像取得部、 ３１、３１ｂ、３１ｃ…操作部、 ３２…変数決定部、 ３３…記憶部、 ３４、３４ｂ、３４ｃ…選択部、 ３５…切出部、 ３６…出力部

Claims (7)

1. 実空間に配置された特定の物体を撮像するように位置及び向きが定められた複数の撮像装置が実空間に配置され、表示装置の画面に表示された画像の空間で前記特定の物体が取り除かれたように観察される背景の静止画像又は動画像である背景画像であって、前記特定の物体で遮蔽されてユーザから見ることができない前記背景画像を含む画像を出力する前記撮像装置を、複数の撮像装置から選択する決定装置であって、
   前記表示装置を介してユーザが見ている領域内において、特定の物体で前記ユーザから見えない背景を欠けずに撮像していて、かつ、前記ユーザの視線方向と、前記撮像装置の光軸との成す角度が所定の角度よりも小さい撮像装置を複数の撮像装置から選択する選択部、
   を備え、
   前記選択部は、前記角度が所定の角度よりも小さい撮像装置が複数ある場合、前記ユーザの位置から前記背景の特定の位置までの距離と、前記撮像装置の位置から前記背景の特定の位置までの距離との差が所定の値以下の撮像装置を選択し、
   前記選択部は、前記距離の差が所定の値よりも小さい撮像装置が複数ある場合、前記角度が０に近いことを前記距離差が小さい事よりも重視して重み付けを行い、前記背景画像を含む画像を出力する前記撮像装置を選択する決定装置。
2. 実空間に配置された特定の物体を撮像するように位置及び向きが定められた複数の撮像装置が実空間に配置され、表示装置の画面に表示された画像の空間で前記特定の物体が取り除かれたように観察される背景の静止画像又は動画像である背景画像であって、前記特定の物体で遮蔽されてユーザから見ることができない前記背景画像を含む画像を出力する前記撮像装置を、複数の撮像装置から選択する決定装置であって、
   前記表示装置を介してユーザが見ている領域内において、特定の物体で前記ユーザから見えない背景を欠けずに撮像している複数の撮像装置から、前記ユーザの視線方向と、前記撮像装置の光軸との成す角度と、前記ユーザの位置から前記背景の特定の位置までの距離と前記撮像装置の位置から前記背景の特定の位置までの距離との差のいずれを優先するかを表す優先情報に基づいて撮像装置を選択する選択部、
   を備え、
   前記選択部は、前記角度が所定の角度よりも小さい撮像装置が複数ある場合、前記ユーザの位置から前記背景の特定の位置までの距離と、前記撮像装置の位置から前記背景の特定の位置までの距離との差が所定の値以下の撮像装置を選択し、
   前記選択部は、前記距離の差が所定の値よりも小さい撮像装置が複数ある場合、前記角度と前記距離差のどちらを優先するかを表す優先情報に基づいて、前記角度が０に近い、もしくは前記距離差が最も小さい前記背景画像を含む画像を出力する前記撮像装置を選択する決定装置。
3. 実空間に配置された特定の物体を撮像するように位置及び向きが定められた複数の撮像装置が実空間に配置され、表示装置の画面に表示された画像の空間で前記特定の物体が取り除かれたように観察される背景の静止画像又は動画像である背景画像であって、前記特定の物体で遮蔽されてユーザから見ることができない前記背景画像を含む画像を出力する前記撮像装置を、複数の撮像装置から選択する決定装置であって、
   前記表示装置を介してユーザが見ている領域内において、特定の物体で前記ユーザから見えない背景を欠けずに撮像している複数の撮像装置から、前記背景を被写界深度内に含む画像を撮像する撮像装置を選択する選択部、
   を備える決定装置。
4. 前記選択部は、前記背景を被写界深度内に含む画像を撮像する撮像装置が複数ある場合、前記背景を被写界深度内に含む画像を撮像する複数の撮像装置のうち、画像における複数のパラメータに対する評価値を前記撮像装置毎に算出し、前記評価値に対して優先度に応じた重み付けを行うことによって前記撮像装置毎の合計評価値を算出し、算出した前記合計評価値が閾値以上の撮像装置を選択する、請求項３に記載の決定装置。
5. 請求項１から４のいずれか一項に記載の決定装置と、
   選択された前記撮像装置によって撮像された静止画像又は動画像から、前記背景画像を切り出す切出部と、
   切り出された前記背景画像を前記表示装置に出力する出力部と、
   を備える画像処理装置。
6. 実空間に配置された特定の物体を撮像するように位置及び向きが定められた複数の撮像装置が実空間に配置され、表示装置の画面に表示された画像の空間で前記特定の物体が取り除かれたように観察される背景の静止画像又は動画像である背景画像であって、前記特定の物体で遮蔽されてユーザから見ることができない前記背景画像を含む画像を出力する前記撮像装置を、複数の撮像装置から選択する決定装置が行う決定方法であって、
   前記表示装置を介してユーザが見ている領域内において、特定の物体で前記ユーザから見えない背景を欠けずに撮像していて、かつ、前記ユーザの視線方向と、前記撮像装置の光軸との成す角度が所定の角度よりも小さい撮像装置を複数の撮像装置から選択する選択ステップ、
   を有し、
   前記選択ステップにおいて、前記角度が所定の角度よりも小さい撮像装置が複数ある場合、前記ユーザの位置から前記背景の特定の位置までの距離と、前記撮像装置の位置から前記背景の特定の位置までの距離との差が所定の値以下の撮像装置を選択し、
   前記選択ステップにおいて、前記距離の差が所定の値よりも小さい撮像装置が複数ある場合、前記角度が０に近いことを前記距離差が小さい事よりも重視して重み付けを行い、前記背景画像を含む画像を出力する前記撮像装置を選択する決定方法。
7. 実空間に配置された特定の物体を撮像するように位置及び向きが定められた複数の撮像装置が実空間に配置され、表示装置の画面に表示された画像の空間で前記特定の物体が取り除かれたように観察される背景の静止画像又は動画像である背景画像であって、前記特定の物体で遮蔽されてユーザから見ることができない前記背景画像を含む画像を出力する前記撮像装置を、複数の撮像装置から選択する決定装置としてコンピュータに、前記表示装置を介してユーザが見ている領域内において、特定の物体で前記ユーザから見えない背景を欠けずに撮像していて、かつ、前記ユーザの視線方向と、前記撮像装置の光軸との成す角度が所定の角度よりも小さい撮像装置を複数の撮像装置から選択する選択ステップ、
   をコンピュータに実行させ、
   前記選択ステップにおいて、前記角度が所定の角度よりも小さい撮像装置が複数ある場合、前記ユーザの位置から前記背景の特定の位置までの距離と、前記撮像装置の位置から前記背景の特定の位置までの距離との差が所定の値以下の撮像装置を選択し、
   前記選択ステップにおいて、前記距離の差が所定の値よりも小さい撮像装置が複数ある場合、前記角度と前記距離差のどちらを優先するかを表す優先情報に基づいて、前記角度が０に近い、もしくは前記距離差が最も小さい前記背景画像を含む画像を出力する前記撮像装置を選択するための決定プログラム。

Images