本発明の実施形態について、図面を参照して詳細に説明する。
(第1実施形態)
図1は、画像処理システム1aの構成の例を示す図である。画像処理システム1aは、画像に画像処理を施すシステムである。画像は、静止画像又は動画像のいずれでもよい。画像処理システム1aは、実空間で静止している物体の画像を、表示画面に表示された画像の空間(仮想空間)で移動させることが可能である。画像処理システム1aは、カメラ2−1〜2−N(Nは2以上の整数)と、画像処理装置3aと、表示装置4とを備える。以下では、Nは一例として4である。以下では、カメラ2−1〜2−4に共通する事項については、符号の一部を省略して「カメラ2」と表記する。
カメラ2は、物体が配置されている実空間において、それぞれ予め定められた向きで予め定められた位置に配置されている。カメラ2は、カメラ2が配置されている実空間に配置されている物体を、レンズである光学系を介して撮像する。光学系は、広角レンズ、魚眼レンズ、全天球レンズでもよい。以下、撮像対象である物体の静止画像又は動画像を「物体画像」という。カメラ2は、カメラごとに撮像対象である物体よりも後ろの背景の静止画像又は動画像(以下「背景画像」という。)と物体画像とを含む画像を、画像処理装置3aに出力する。
画像処理装置3aは、パーソナルコンピュータ装置、サーバ装置、スマートフォン端末、タブレット端末等の情報処理装置である。画像処理装置3aと表示装置4とは、別体でもよいし一体でもよい。画像処理装置3aは、カメラ2−n(1≦n≦N)が出力した画像に画像処理を施す。画像処理装置3aは、例えば、カメラの画像取得周期(フレームレート)で、画像処理を実行してもよい。すなわち、画像処理装置3aは、複数のフレーム画像を含む動画像に動画像処理を実行してもよい。画像処理装置3aは、画像処理が施された物体画像を含む画像を、表示装置4に出力する。画像処理装置3aは、例えば、表示装置の表示周期(リフレッシュレート)で、画像の出力処理を実行してもよい。
表示装置4は、ヘッドマウントディスプレイ等の表示装置である。表示装置4の画面は、表示装置4の外の物体から表示装置4の画面に届いた光を透過させる。例えば、表示装置4の画面は、光透過性を備えた液晶ディスプレイである。以下、表示装置4の画面を透過した光による物体の光学画像を「物体光学像」という。表示装置4の画面は、画面上で物体光学像を隠すように、画像処理装置3aが出力した物体画像を表示する。これによって、表示装置4の画面は、物体光学像を表示する代わりに、画像処理装置3aが出力した物体画像を表示することができる。以下、表示装置4の画面に表示される画像を「表示画像」という。
以下、実空間における観察者の実際の位置を「観察者実位置」という。観察者の仮の位置を「観察者仮位置」という。以下、実空間における物体の実際の位置を「物体実位置」という。以下、物体の仮の位置を「物体仮位置」という。以下、実空間におけるカメラの実際の位置を「カメラ実位置」という。
図2は、物体6及びカメラ2の配置の例を示す俯瞰図である。物体6(オブジェクト)は、例えば、箱、柱である。物体6の形状は、例えば、立方体である。図2では、物体6の上面には、一例として文字「A」が描かれている。物体6は、実空間に存在する部屋100に予め定められた物体実位置に配置されている。物体6が屋外に配置されている場合には、部屋100の壁は仮想的な壁でもよい。物体6は、実空間では静止していてもよい。図2では、物体6の物体実位置から物体仮位置60までの距離は、観察者5の観察者実位置から観察者仮位置50までの距離と等しい。また、物体実位置と物体仮位置60と観察者仮位置50と観察者実位置とを結ぶ線の方向と、観察者5の視線51の方向とは平行である。
観察者5の視線51の方向は、観察者5の観察者実位置と物体6の物体実位置とを結ぶ直線の方向と一致している。観察者5は、部屋100に配置されている物体6の物体光学像を、表示装置4の画面を透過した光によって、表示装置4の画面越しに観察者実位置から観察する。観察者5は、表示画面に表示された画像の空間(仮想空間)を移動した物体6の物体画像を、表示装置4の画面の表示画像によって、観察者実位置から観察する。観察者5は、予め定められた観察者実位置から移動しない。図2では、観察者5は、表示画面に表示された画像の空間で物体実位置から物体仮位置60まで物体6が移動して、物体仮位置60から観察者実位置までの距離が所定距離となったように見える物体画像を、表示装置4の画面の表示画像によって、観察者実位置から観察する。
観察者5は、観察者仮位置50の近くに配置されているカメラ2が撮像した物体6の物体画像を表示装置4の画面の表示画像によって観察するので、物体6が移動したという拡張現実感(AR)や複合現実感(MR)を得ることができる。観察者5が拡張現実感や複合現実感を得ることができるのは、物体実位置から物体仮位置60まで物体6が移動した場合に観察者5が見る画像と、物体実位置に配置されている物体6を観察者5が観察者仮位置から観察した場合に観察者5が見る画像とが、等価だからである。
カメラ2の光軸方向は、カメラ2の画角に物体6を含むように予め定められる。カメラ2の光軸方向は、観察者5の視線51の方向と一致する向きでもよい。すなわち、カメラ2の光軸方向は、観察者5の視線51の方向と平行でもよい。カメラ2は、カメラ2の画角に物体6を含むように予め定められた向きで、部屋100に予め定められたカメラ実位置に配置される。図2では、カメラ2−1は、観察者仮位置50から所定距離L150だけ離れた位置であって、物体実位置から所定距離L61だけ離れた位置に、カメラ2−1の光軸20−1が観察者5の視線51の方向と一致する向きで配置される。カメラ2−2は、観察者仮位置50から所定距離L250だけ離れた位置であって、物体実位置から所定距離L62だけ離れた位置に、カメラ2−2の光軸20−2が観察者5の視線51の方向と一致する向きで配置される。カメラ2−3は、観察者仮位置50から所定距離L350だけ離れた位置であって、物体実位置から所定距離L63だけ離れた位置に、カメラ2−3の光軸20−3が物体6に向くように配置される。カメラ2−4は、観察者仮位置50から所定距離L450だけ離れた位置であって、物体実位置から所定距離L64だけ離れた位置に、カメラ2−4の光軸20−4が物体6に向くように配置される。
図2では、観察者仮位置50からカメラ実位置までの距離(以下「カメラ実位置距離」という。)について、一例として、(L150>L350>L450>L250)の大小関係が成立している。例えば、L150=約9m、L350=約6m、L450=約4m、L250=約3mである。つまり、カメラ2−2は、観察者仮位置50に最も近い位置に配置されたカメラである。したがって、カメラ2−2は、観察者5が観察している物体光学像の大きさに最も近い大きさの物体画像を含む画像を、画像処理装置3aに出力する。物体画像の大きさとは、表示装置4の画面の面積に対する物体画像の面積である。画面の面積に対する物体画像の面積は、例えば、表示装置4の画面の全画素数に対する物体画像の画素数で表現されてもよい。物体画像の大きさとは、カメラ2が出力したカメラ画像の面積に占める物体画像の面積の割合でもよい。
図2では、物体実位置からカメラ実位置までの距離について、一例として、(L61>L64>L62>L63)の大小関係が成立している。例えば、L61=約12m、L64=約9m、L62=約8.5m、L63=約8mである。以下では、物体実位置から観察者仮位置50までの所定距離L0と所定距離L61との差を、「D1」と表記する。所定距離L0は、例えば、8mである。以下では、所定距離L0と所定距離L62との差を、「D2」と表記する。以下では、所定距離L0と所定距離L63との差を、「D3」と表記する。以下では、所定距離L0と所定距離L64との差を、「D4」と表記する。以下、観察者仮位置50から物体実位置までの距離とカメラ実位置から物体実位置までの距離との差を「距離差」という。
所定距離L0と距離L63との距離差D3は、D1からD4までのうち最も短い。つまり、物体実位置から観察者仮位置50までの所定距離L0と、物体実位置からカメラ2−3までの所定距離L63とでは、距離差が少ない。例えば、L0=約8mであり、L63=約8mである場合、距離差は0mである。したがって、カメラ2−3は、観察者5が観察している物体光学像の大きさに最も近い大きさの物体画像を含む画像を、画像処理装置3aに出力する。
図2では、観察者仮位置50から物体実位置までを結ぶ線とカメラ2−1のカメラ実位置から物体実位置までを結ぶ線とが成す角度は、「A1」である。観察者仮位置50から物体実位置までを結ぶ線とカメラ2−2のカメラ実位置から物体実位置までを結ぶ線とが成す角度は、「A2」である。観察者仮位置50から物体実位置までを結ぶ線とカメラ2−3のカメラ実位置から物体実位置までを結ぶ線とが成す角度は、「A3」である。観察者仮位置50から物体実位置までを結ぶ線とカメラ2−4のカメラ実位置から物体実位置までを結ぶ線とが成す角度は、「A4」である。図2では、角度の絶対値で比較した場合、一例として、(A1>A3>A4>A2)の大小関係が成立している。したがって、カメラ2−2は、観察者5が観察している表示画面における物体光学像の向きに最も近い向きの物体画像を含む画像を、画像処理装置3aに出力する。
次に、図1に戻り、画像処理装置3aの構成の例を説明する。
画像処理装置3aは、画像取得部30と、操作部31と、変数決定部32と、記憶部33と、選択部34と、切出部35と、出力部36とを備える。画像取得部30と変数決定部32と選択部34と切出部35と出力部36とのうち一部又は全部は、例えば、CPU(Central Processing Unit)等のプロセッサが、記憶部に記憶されたプログラムを実行することにより実現されてもよいし、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)等のハードウェアを用いて実現されてもよい。
画像取得部30は、背景画像と物体画像とを含む画像を、複数のカメラ2のそれぞれから取得する。画像取得部30は、背景画像と物体画像とを含む画像と、カメラ2の識別情報とを、記憶部33に記録する。操作部31は、操作キー等を有する操作デバイスである。例えば、操作部31は、キーボード、マウス、タッチパネルである。操作部31は、操作部31に対する操作を受け付けることによって、実空間におけるカメラ2のそれぞれの配置情報を取得する。実空間におけるカメラ2の配置情報は、例えば、実空間におけるカメラ2のそれぞれの座標及び光軸方向を用いて表現される。操作部31は、操作部31に対する操作を受け付けることによって、物体実位置及び物体仮位置の配置情報を、物体6の配置情報として取得する。物体実位置及び物体仮位置の配置情報は、例えば、物体6の座標及び向きを用いて表される。操作部31は、操作部31に対する操作を受け付けることによって、観察者実位置及び観察者仮位置の配置情報を、観察者5の配置情報として取得する。観察者実位置及び観察者仮位置の配置情報は、例えば、観察者5の座標及び視線方向を用いて表される。操作部31は、操作部31に対する操作を受け付けることによって、表示画像における物体画像の向きを物体画像の大きさよりも優先するか否かを表す情報(以下「優先情報」という。)を取得する。操作部31は、カメラ画像から切り出される領域の位置を表す情報(以下「切り出し位置情報」という。)と、カメラ画像から切り出された領域が表示画像に貼り付けられる位置を表す情報(以下「貼り付け位置情報」という。)とを取得する。切り出し位置情報は、カメラ画像から切り出される領域の位置を表す情報である。切り出し位置情報は、例えば、物体光学像における左上座標、幅及び高さの情報で表されてもよい。左上座標は、物体光学像における切り出される領域の左上の座標を表す。幅は、物体光学像における切り出される領域の幅を表す。高さは、物体光学像における切り出される領域の高さを表す。貼り付け位置情報は、カメラ画像から切り出された領域が表示画像に貼り付けられる位置を表す情報である。貼り付け位置情報は、例えば、表示画像における左上座標、幅及び高さの情報で表されてもよい。また、例えば、貼り付け位置情報は、表示画像の座標と対応付けてあらかじめ定義されている領域である、「中央」、「右」、「左」といった情報であってもよい。
変数決定部32は、物体実位置及び物体仮位置の配置情報と、観察者実位置及び観察者仮位置の配置情報と、カメラ2のそれぞれの配置情報とを、操作部31から取得する。変数決定部32は、物体実位置及び物体仮位置の配置情報と、観察者実位置及び観察者仮位置の配置情報と、カメラ2のそれぞれの配置情報とに基づいて、カメラ2のそれぞれの配置に関する変数をカメラ2ごとに決定する。カメラ2の配置に関する変数は、例えば、観察者仮位置50から物体実位置までを結ぶ線とカメラ実位置から物体実位置までを結ぶ線とが成す角度(以下「カメラ実位置角度」という。)と、カメラ実位置距離と、距離差とである。
図3は、カメラ2の配置に関する変数の例を示す図である。変数決定部32は、カメラ2の配置に関する変数情報を、カメラ2ごとに記憶部33に記録する。例えば、変数決定部32は、カメラ実位置角度を、カメラ2ごとに記憶部33に記録する。例えば、変数決定部32は、カメラ実位置距離をカメラ2ごとに記憶部33に記録する。例えば、変数決定部32は、距離差をカメラ2ごとに記憶部33に記録する。
図1に戻り、画像処理装置3aの構成の例の説明を続ける。記憶部33は、磁気ハードディスク装置や半導体記憶装置等の不揮発性の記録媒体(非一時的な記録媒体)を有する記憶装置である。記憶部33は、背景画像と物体画像とを含む画像と、カメラ2のそれぞれの配置に関する変数情報とを記憶する。記憶部33は、カメラ2のそれぞれの配置情報(座標、光軸方向)を記憶してもよい。記憶部33は、物体実位置及び物体仮位置の配置情報と、観察者実位置及び観察者仮位置の配置情報とを記憶してもよい。
選択部34は、選択されるカメラ2を決定する決定装置として機能する。選択部34は、カメラ2のそれぞれの配置に関する変数情報を、記憶部33から取得する。選択部34は、優先情報を操作部31から取得する。選択部34は、カメラ実位置角度とカメラ実位置距離とのうち少なくとも一方と優先情報とに基づいて、カメラ2−nを選択する。
選択部34は、物体画像の向きを物体画像の大きさよりも優先する場合、カメラ実位置角度が所定角度以下であることを、カメラ実位置距離が所定距離以下であることよりも優先してカメラ2−nを選択する。所定角度は、予め定められた角度であり、例えば、30度である。所定距離は、予め定められた距離であり、例えば、観察者仮位置から物体実位置までの距離の10%に相当する距離である。図2に示すカメラ2の配置の例では、選択部34は、カメラ実位置角度が所定角度以下の「A2」であるカメラ2−2を選択する。なお、カメラ実位置角度が所定角度以下であるカメラ2が複数ある場合には、選択部34は、カメラ実位置距離がより短いカメラ2を優先して選択してもよい。
選択部34は、物体画像の大きさを物体画像の向きよりも優先する場合、カメラ実位置距離が所定距離以下であることを、カメラ実位置角度が所定角度以下であることよりも優先してカメラ2−nを選択する。図2に示すカメラ2の配置の例では、選択部34は、カメラ実位置距離が所定距離以下のL250であるカメラ2−2を選択する。なお、カメラ実位置距離が所定距離以下であるカメラ2が複数ある場合には、選択部34は、カメラ実位置距離がより短いカメラ2−nを優先して選択してもよい。
選択部34は、カメラ実位置角度と距離差とのうち少なくとも一方と優先情報とに基づいて、カメラ2−nを選択してもよい。距離差は、予め定められた距離の差であり、例えば、観察者仮位置から物体実位置までの距離の10%に相当する距離である。選択部34は、物体画像の向きを物体画像の大きさよりも優先する場合、カメラ実位置角度が所定角度以下であることを、距離差が所定閾値以下であることよりも優先してカメラ2−nを選択してもよい。図2に示すカメラ2の配置の例では、選択部34は、カメラ実位置角度が所定角度以下のA2であるカメラ2−2を選択する。
選択部34は、物体画像の大きさを物体画像の向きよりも優先する場合、距離差が所定閾値以下であることを、カメラ実位置角度が所定角度以下であることよりも優先してカメラ2−nを選択する。図2に示すカメラ2の配置の例では、選択部34は、距離差が所定閾値以下のD3であるカメラ2−3を選択する。なお、距離差が所定閾値以下であるカメラ2が複数ある場合には、選択部34は、距離差がより短いカメラ2を優先して選択してもよい。
切出部35は、選択されたカメラ2が出力した背景画像及び物体画像を含む画像を、記憶部33から取得する。切出部35は、記憶部33から取得された画像から、物体画像を切り出す。切出部35は、選択されたカメラ2の向きと観察者5の視線方向とに基づいて、表示画面における物体画像の表示位置を決定してもよい。切出部35は、選択されたカメラ2の配置情報と観察者5の配置情報と物体6の配置情報とに基づいて、物体仮位置の物体6を観察者実位置の観察者5から観察した場合における、表示画面上での物体光学像の位置及び範囲を算出する。切出部35は、表示画面上での物体光学像の位置及び範囲を、表示画面における物体画像の表示位置と決定してもよい。出力部36は、切り出された物体画像と表示位置情報とを、表示装置4に出力する。
図4は、表示画像の第1例を示す図である。表示装置4の画面は、物体6から表示装置4の画面に届いた光を透過させる。表示装置4の画面は、物体6の物体光学像を含む表示画像40を表示する。物体実位置から観察者実位置までの距離L65が例えば12mである場合、観察者5は、観察者5から12m離れている物体6の物体光学像を、表示画像40の中央に見ることができる。
図5は、カメラ画像の第1例を示す図であり、カメラ2−1が画像処理装置3aに出力したカメラ画像21である。カメラ画像21は、カメラ2−1から距離L61だけ離れている物体6の物体画像を、カメラ画像21の中央よりも左領域に含む。カメラ画像21では、観察者5に正対する物体6の面は、左に向いている。カメラ画像21では、観察者5に正対する物体6の面は、ひし形に大きく歪んでいる。
図6は、カメラ画像の第2例を示す図であり、カメラ2−2が画像処理装置3aに出力したカメラ画像22である。カメラ画像22は、カメラ2−2から距離L62だけ離れている物体6の物体画像を、カメラ画像22の中央よりも左領域に含む。カメラ画像22では、実空間において観察者5に正対する物体6の面は、左に向いている。カメラ画像22では、実空間において観察者5に正対する物体6の面は、ひし形に歪んでいる。
図7は、カメラ画像の第3例を示す図であり、カメラ2−3が画像処理装置3aに出力したカメラ画像23である。カメラ画像23は、カメラ2−3から距離L63だけ離れている物体6の物体画像を、カメラ画像23の中央に含む。カメラ画像23では、実空間において観察者5に正対する物体6の面は、左に向いている。カメラ画像23では、実空間において観察者5に正対する物体6の面は、ひし形に歪んでいる。
図8は、カメラ画像の第4例を示す図であり、カメラ2−4が画像処理装置3aに出力したカメラ画像24である。カメラ画像24は、カメラ2−4から距離L64だけ離れている物体6の物体画像を、カメラ画像24の中央に含む。カメラ画像24では、実空間において観察者5に正対する物体6の面は、右に向いている。カメラ画像24では、実空間において観察者5に正対する物体6の面は、ひし形に歪んでいる。
図9は、表示画像の第2例を示す図である。切出部35は、選択部34がカメラ2−2を選択した場合、選択されたカメラ2−2が出力した背景画像及び物体画像を含むカメラ画像22から、切り出し位置情報に基づいて、物体6の物体画像を含む領域220を切り出す。切出部35は、表示画面における物体画像の表示位置を、貼り付け位置情報に基づいて決定する。例えば、貼り付け位置情報が「中央」を表している場合、切出部35は、表示画面における物体画像の表示位置を、表示装置4の画面の中央に決定する。出力部36は、切り出された物体画像を含む領域220と、表示位置情報「中央」とを、表示装置4に出力する。表示装置4の画面は、画面の中央で物体光学像を隠すように、切り出された物体画像を含む領域220を表示する。これによって、表示装置4の画面は、物体6の物体光学像を表示する代わりに、切り出された物体画像を含む領域220を表示することができる。
図10は、表示画像の第3例を示す図である。切出部35は、選択部34がカメラ2−3を選択した場合、選択されたカメラ2−3が出力した背景画像及び物体画像を含むカメラ画像23から、物体6の物体画像を含む領域230を切り出す。切出部35は、表示画面における物体画像の表示位置を、例えば、表示装置4の画面の中央に決定する。出力部36は、切り出された物体画像を含む領域230と、表示位置情報「中央」とを、表示装置4に出力する。表示装置4の画面は、表示位置情報に基づいて画面の中央で物体光学像を隠すように、切り出された物体画像を含む領域230を表示する。これによって、表示装置4の画面は、物体6の物体光学像を表示する代わりに、切り出された物体画像を含む領域230を表示することができる。
次に、画像処理装置3aの動作の例を説明する。
図11は、画像処理装置3aの動作の例を示すフローチャートである。画像取得部30は、静止画像を複数のカメラ2から取得する(ステップS101)。変数決定部32は、カメラ2の配置情報を操作部31から取得する(ステップS102)。変数決定部32は、カメラ2の配置情報に基づいて、カメラ2の配置に関する変数を決定する(ステップS103)。選択部34は、優先情報を操作部31から取得する(ステップS104)。選択部34は、決定された変数と優先情報とに基づいてカメラ2−nを選択する(ステップS105)。切出部35は、選択されたカメラから取得された静止画像から、物体画像を切り出す(ステップS106)。切出部35は、表示画面における物体画像の表示位置を決定する(ステップS107)。出力部36は、切り出された物体画像と表示位置情報とを、表示装置4に出力する(ステップS108)。
選択されたカメラ2から画像取得部30が動画像を取得する場合について、選択されたカメラ2から画像取得部30が静止画像を取得する場合との相違点を説明する。ステップS101において、画像取得部30は、選択されたカメラ2から動画像を取得する。ステップS106において、切出部35は、選択されたカメラ2から取得された動画像から、各フレーム画像を取得する。ステップS106において、切出部35は、各フレーム画像から物体画像を切り出す。ステップS107において、切出部35は、各フレーム画像において共通する表示位置となるように、物体画像の表示位置を決定する。ステップS108において、出力部36は、フレーム画像の数の物体画像と、各フレーム画像において共通する表示位置情報とを、表示装置4に出力する。
以上のように、第1実施形態の画像処理装置3aは、実空間に配置された物体6を撮像するように位置及び向きが定められた複数のカメラ2が実空間に配置され、表示装置4の画面に表示された画像の空間で移動されたように観察される物体6の静止画像又は動画像である物体画像を含む画像を出力するカメラ2−nを、カメラ2−1〜2−Nから選択する決定装置を備える。第1実施形態の決定装置は、選択部34を備える。選択部34は、カメラ実位置角度とカメラ実位置距離とのうち少なくとも一方に基づいてカメラ2−nを選択する。選択部34は、カメラ実位置角度と距離差とのうち少なくとも一方に基づいてカメラ2−nを選択してもよい。これによって、第1実施形態の画像処理装置3aは、実空間で物体が仮に移動されたとした場合に観察される物体の画像の見かけ上の大きさ又は向きと、表示画面に表示された画像の空間で仮想的に移動された物体の物体画像の見かけ上の大きさ又は向きとが異ならないようにすることが可能となる。第1実施形態の画像処理装置3aは、観察者仮位置とカメラ実位置とが十分に近い場合には、物体画像の歪みを補正せずにカメラ画像をそのまま表示しても、歪みの違和感がない物体画像を表示できる。
(第2実施形態)
第2実施形態では、物体画像の向き及び大きさのうち少なくとも一方を画像処理装置が補正する点が、第1実施形態と相違する。第2実施形態では、第1実施形態との相違点についてのみ説明する。
図12は、画像処理システム1bの構成の例を示す図である。画像処理システム1bは、カメラ2−1〜2−Nと、画像処理装置3bと、表示装置4とを備える。画像処理装置3bは、パーソナルコンピュータ装置、サーバ装置、スマートフォン端末、タブレット端末等の情報処理装置である。画像処理装置3bと表示装置4とは、別体でもよいし一体でもよい。画像処理装置3bは、カメラ2−nが出力した画像に画像処理を施す。画像処理装置3bは、画像取得部30と、操作部31と、変数決定部32と、記憶部33と、選択部34と、切出部35と、出力部36と、補正部37とを備える。
補正部37は、切り出された物体画像の向き及び大きさのうち少なくとも一方を補正する。補正部37は、切り出された物体画像の向き及び大きさのうち少なくとも一方を補正する場合、例えば、アフィン変換行列を用いたアフィン変換処理を、カメラ画像から切り出された物体画像及び領域に施す。アフィン変換行列は、回転、拡大又は縮小等の処理が施される領域を示す情報を含んでもよい。補正部37は、切り出された物体画像の向き及び大きさのうち少なくとも一方を補正する。
補正部37は、物体実位置の物体6を観察者仮位置から観察者5が見た場合における物体6の見かけ上の向きと表示画面における物体画像の見かけ上の向きとが一致するように、物体画像を回転する。例えば、補正部37は、カメラ実位置角度に基づいて、物体画像を回転する。すなわち、補正部37は、物体画像の歪みを補正する。
補正部37は、物体実位置の物体6を観察者仮位置から観察者5が見た場合における物体6の見かけ上の大きさと表示画面における物体画像の見かけ上の大きさとが一致するように、物体画像を拡大又は縮小する。例えば、補正部37は、物体仮位置60から観察者実位置までの距離と物体実位置から観察者実位置までの距離との比に基づいて、物体画像を拡大又は縮小する。出力部36は、物体画像の向き及び大きさのうち少なくとも一方が補正された物体画像を、表示装置4に出力する。
図13は、表示画像の例を示す図である。表示装置4の画面は、表示位置情報に基づいて画面の中央で物体光学像を隠すように、向き及び大きさのうち少なくとも一方が補正された物体画像を含む領域を表示する。実空間において観察者5に正対する物体6の面は、図13に示す表示画像40でも観察者5に正対している。図13では、物体実位置の物体6を観察者仮位置から観察者5が見た場合における物体6の見かけ上の大きさと、表示画像40における物体画像の見かけ上の大きさとが、一致している。
これによって、表示装置4の画面は、物体6の物体光学像を表示する代わりに、向き及び大きさのうち少なくとも一方が補正された物体画像を表示することができる。観察者5は、図13に示された表示画像40を見た場合、実空間では静止している物体6が物体仮位置60に移動したという拡張現実感(AR)や複合現実感(MR)を得ることができる。
以上のように、第2実施形態の画像処理装置3bは、第1実施形態の画像処理装置3aと比較して、補正部37を更に備える。補正部37は、切り出された物体画像の向き及び大きさのうち少なくとも一方を補正する。出力部36は、物体画像の向き及び大きさのうち少なくとも一方が補正された物体画像を、表示装置4に出力する。これによって、第2実施形態の画像処理装置3bは、実空間で物体が仮に移動されたとした場合に観察される物体の画像の見かけ上の大きさ又は向きと、表示画面に表示された画像の空間で仮想的に移動された物体の物体画像の見かけ上の大きさ又は向きとが異ならないようにすることが可能となる。
(第3実施形態)
第3実施形態では、画像処理装置がカメラを移動する点が、第2実施形態と相違する。第3実施形態では、第2実施形態との相違点についてのみ説明する。
図14は、画像処理システム1cの構成の例を示す図である。画像処理システム1cは、カメラ2と、画像処理装置3cと、表示装置4とを備える。画像処理装置3cは、パーソナルコンピュータ装置、サーバ装置、スマートフォン端末、タブレット端末等の情報処理装置である。画像処理装置3cと表示装置4とは、別体でもよいし一体でもよい。画像処理装置3cは、カメラ2−nが出力した画像に画像処理を施す。画像処理装置3cは、画像取得部30と、操作部31と、変数決定部32と、記憶部33と、切出部35と、出力部36と、補正部37と、配置決定部38と、配置部39とを備える。
配置決定部38は、移動されるカメラ2の位置及び向きを決定する決定装置として機能する。配置決定部38は、カメラ実位置角度とカメラ実位置距離とのうち少なくとも一方と優先情報とに基づいて、カメラ2の位置及び向きを決定する。配置決定部38は、物体画像の向きを物体画像の大きさよりも優先する場合、カメラ実位置角度が所定角度以下であることを、カメラ実位置距離が所定距離以下であることよりも優先してカメラ2の位置及び向きを決定する。図2に示すカメラ2の配置の例では、配置決定部38は、カメラ実位置角度が所定角度以下のA2であるカメラ2−2の位置及び向きを、配置されるカメラ2の位置及び向きとして決定する。なお、カメラ実位置角度が所定角度以下であるカメラ2が複数ある場合には、配置決定部38は、カメラ実位置距離がより短いカメラ2の位置及び向きを優先して、配置されるカメラ2の位置及び向きとして決定してもよい。
配置決定部38は、カメラ実位置角度と距離差とのうち少なくとも一方と優先情報とに基づいて、カメラ2−nを選択してもよい。配置決定部38は、物体画像の大きさを物体画像の向きよりも優先する場合、カメラ実位置距離が所定距離以下であることを、カメラ実位置角度が所定角度以下であることよりも優先してカメラ2の位置及び向きを決定する。図2に示すカメラ2の配置の例では、配置決定部38は、カメラ実位置距離が所定距離以下のL250であるカメラ2−2の位置及び向きを、配置されるカメラ2の位置及び向きとして決定する。なお、カメラ実位置距離が所定距離以下であるカメラ2が複数ある場合には、配置決定部38は、カメラ実位置距離がより短いカメラ2の位置及び向きを優先して、配置されるカメラ2の位置及び向きとして選択してもよい。
配置決定部38は、カメラ実位置角度と距離差とのうち少なくとも一方と優先情報とに基づいて、カメラ2−nを選択してもよい。配置決定部38は、物体画像の向きを物体画像の大きさよりも優先する場合、カメラ実位置角度が所定角度以下であることを、距離差が所定閾値以下であることよりも優先してカメラ2の位置及び向きを決定する。図2に示すカメラ2の配置の例では、選択部34は、カメラ実位置角度が所定角度以下のA2であるカメラ2−2の位置及び向きを、配置されるカメラ2の位置及び向きとして決定する。
配置決定部38は、物体画像の大きさを物体画像の向きよりも優先する場合、距離差が所定閾値以下であることを、カメラ実位置角度が所定角度以下であることよりも優先してカメラ2の位置及び向きを決定する。図2に示すカメラ2の配置の例では、配置決定部38は、距離差が所定閾値以下のD3であるカメラ2−3の位置及び向きを、配置されるカメラ2の位置及び向きとして決定する。なお、距離差が所定閾値以下であるカメラ2が複数ある場合には、配置決定部38は、距離差がより短いカメラ2の位置及び向きを優先して、配置されるカメラ2の位置及び向きとして選択してもよい。
配置部39は、決定された位置にカメラ2を移動する。配置部39は、決定された向きにカメラ2を配置する。例えば、配置部39は、モータ等のアクチュエータを駆動することによって、カメラ2を移動及び配置する。配置部39は、位置センサの検出結果に基づいて、配置されたカメラ2の位置情報を検出してもよい。配置部39は、加速度センサや方位センサの検出結果に基づいて、カメラ2の向き(姿勢)を検出してもよい。
図15は、画像処理装置3cの動作の例を示すフローチャートである。ステップS201からステップS204までは、図11のステップS101からステップS104までと同じである。配置部39は、決定された変数と優先情報とに基づいてカメラ2を配置する(ステップS205)。画像取得部30は、物体画像を含む静止画像又は動画像を、配置されたカメラ2から取得する(ステップS206)。ステップS207からステップS209までは、図11のステップS106からステップS108までと同じである。
以上のように、第3実施形態の画像処理装置3cは、実空間に物体が配置されており、表示装置の画面に表示された画像の空間で移動されたように観察される物体の静止画像又は動画像である物体画像を含む画像を出力するカメラの位置及び向きを決定する決定装置を備える。第3実施形態の決定装置は、配置決定部38を備える。配置決定部38は、表示装置の画面に表示された物体画像を観察する観察者の仮の位置である観察者仮位置から物体の実際の位置である物体実位置までを結ぶ線とカメラの実際の位置であるカメラ実位置から物体実位置までを結ぶ線とが成す角度と、観察者仮位置からカメラ実位置までの距離とのうち少なくとも一方に基づいてカメラの位置及び向きを決定する。これによって、第3実施形態の画像処理装置3cは、実空間で物体が仮に移動されたとした場合に観察される物体の画像の見かけ上の大きさ又は向きと、表示画面に表示された画像の空間で仮想的に移動された物体の物体画像の見かけ上の大きさ又は向きとが異ならないようにすることが可能となる。
(第4実施形態)
第4実施形態では、観察者5と物体6とが異なる実空間に存在する点が、第1実施形態と相違する。第4実施形態では、第1実施形態との相違点についてのみ説明する。
以下、観察者5が存在する実空間を「第1空間」という。以下、物体6が存在する実空間を「第2空間」という。第1空間と第2空間とは、互いに隣接している異なる実空間でもよいし、互いに離れている異なる実空間でもよい。
第1空間は、例えば、実空間における野球場の小型模型(ミニチュア)である。野球場の小型模型は、例えば、実空間におけるテーブル上に置かれる。第2空間は、第1空間が野球場の小型模型である場合、例えば、実空間における原寸大の野球場である。原寸大の野球場では、野球の試合が行われていてもよい。第1空間が野球場の小型模型であり、第2空間が原寸大の野球場である場合、仮想空間は、例えば、第1空間及び第2空間の互いの座標系が一致するように第1空間及び第2空間の少なくとも一方の距離が縮尺補正されており、第2空間に存在する物体の物体画像が第1空間に重畳表示されている画面上の空間である。第2空間における原寸大の野球場に存在する物体6の物体画像は、第1空間における距離と第2空間における距離とに基づいて縮尺補正されることによって、野球場の小型模型において物体6が仮想的に移動するように観察される画像として表示装置4の画面に表示される。
第1空間は、例えば、実空間における原寸大の第1の野球場である。第2空間は、第1空間が原寸大の第1の野球場である場合、例えば、実空間における原寸大の第2の野球場である。画像取得部30は、原寸大の第2の野球場において過去に行われた野球の試合の動画像を取得してもよい。第1空間が原寸大の第1の野球場であり、第2空間が原寸大の野球場である場合、仮想空間は、例えば、第1空間及び第2空間の互いの座標系が一致するように第1空間及び第2空間が原寸大のまま、第2空間に存在する物体の物体画像が第1空間に重畳表示されている画面上の空間である。第2空間における原寸大の野球場に存在する物体6の物体画像は、第1空間における原寸大の野球場において物体6が仮想的に移動するように観察される画像として表示装置4の画面に表示される。
図16は、画像処理システム1dの構成の例を示す図である。画像処理システム1dは、カメラ2−1〜2−Nと、画像処理装置3dと、表示装置4とを備える。画像処理装置3dは、パーソナルコンピュータ装置、サーバ装置、スマートフォン端末、タブレット端末等の情報処理装置である。画像処理装置3dと表示装置4とは、別体でもよいし一体でもよい。画像処理装置3dは、カメラ2−nが出力した画像に画像処理を施す。画像処理装置3dは、画像取得部30と、操作部31と、変数決定部32と、記憶部33と、選択部34と、切出部35と、出力部36と、座標処理部41とを備える。
画像処理装置3dは、第1空間を撮像することが可能なカメラを更に備えてもよい。記憶部33は、第1空間又は第2空間における所定の物体の配置を表す情報を記憶してもよい。例えば、記憶部33は、第1空間又は第2空間における野球場の設計図を記憶してもよい。
図17は、第1空間101での観察者5の配置の例を示す俯瞰図である。以下、第1空間及び第2空間において共通して存在する種類の物体を「共通物体」という。例えば、第1空間が野球場の小型模型であり、第2空間が原寸大の野球場である場合、共通物体は、ホームベース等のベースである。
図17では、第1空間101は、野球場の小型模型である。第1共通物体7−1は、ホームベースの小型模型である。第2共通物体8−1は、1塁ベースの小型模型である。第3共通物体9−1は、2塁ベースの小型模型である。第4共通物体10−1は、3塁ベースの小型模型である。第1共通物体7−1から第4共通物体10−1までの各共通物体は、第1空間101において移動しなくてもよい。共通物体は、物体の一部分でもよい。共通物体の個数は、4個でなくてもよい。例えば、カメラ2の光軸方向が定められている場合、共通物体の個数は、3個以下でもよい。観察者5は、表示装置4の画面を透過した光によって、第1空間101を物体光学像として観察する。
図18は、表示画像42の例を示す図である。表示画像42は、観察者5が第1空間101を観察している場合における、表示装置4の画面に表示された画像である。図18では、第1空間は、一例として、図17に示す第1空間101のような野球場の小型模型である。表示装置4は、微調整キー画像15と、決定キー画像16と、メニューキー画像17とを、操作部31の操作キーの画像として画面に表示する。
観察者5は、操作部31を操作することによって、第1空間101における物体仮位置60−1を決定する。第1空間101における物体仮位置60−1は、観察者5以外によって決定されてもよい。例えば、第1空間101における物体仮位置60−1は、外部装置によって決定されてもよい。
観察者5は、操作部31を操作することによって、表示装置4の画面上で第1空間の原点(以下「第1原点」という。)の位置を指定する。例えば、観察者5は、第1空間101に存在する物体と第2空間102に存在する物体とで各空間における配置に共通点がある共通物体の位置を指定する。共通物体の配置は、例えば、野球場におけるホームベースと1塁ベースと2塁ベースと3塁ベースとの相対的な配置である。観察者5は、表示画像42において、ホームベース、1塁ベース、2塁ベース、3塁ベースの順番に共通物体の画像を指でタッチして、各共通物体の位置を指定する。第1空間の第1原点は、例えば、最初にタッチされた第1共通物体7−1の位置である。観察者5は、表示画像42において物体仮位置60−1の位置を指でタッチして、物体仮位置60−1の位置を指定してもよい。
表示装置4は、観察者5がメニューキー画像17を押下操作した場合、表示画像42に矢印画像11〜14を表示する。観察者5は、微調整キー画像15を押下操作することによって表示画像42において矢印画像11を移動させて、表示画像42における第1共通物体7−1の正確な指定位置を微調整(キャリブレーション)する。観察者5は、微調整キー画像15を押下操作することによって表示画像42において矢印画像12を移動させて、表示画像42における第2共通物体8−1の正確な指定位置を微調整する。観察者5は、微調整キー画像15を押下操作することによって表示画像42において矢印画像13を移動させて、表示画像42における第3共通物体9−1の正確な指定位置を微調整する。観察者5は、微調整キー画像15を押下操作することによって表示画像42において矢印画像14−1を矢印画像14−2の位置まで移動させて、表示画像42における第4共通物体10−1の正確な指定位置を微調整する。観察者5は、表示画像42における各共通物体の正確な指定位置を決定する場合、決定キー画像16を押下操作する。
操作部31は、決定キー画像16の押下操作を受け付けた場合、表示画像42における各共通物体の位置情報(指定位置情報)を、座標処理部41に出力する。操作部31は、決定キー画像16の押下操作を受け付けた場合、表示画像42における物体仮位置60−1の位置情報を、座標処理部41に出力する。
図19は、第2空間102での物体6及びカメラ2の配置の例を示す俯瞰図である。図19では、第2空間102は、原寸大の野球場である。第1共通物体7−2は、原寸大のホームベースである。第2共通物体8−2は、原寸大の1塁ベースである。第3共通物体9−2は、原寸大の2塁ベースである。第4共通物体10−2は、原寸大の3塁ベースである。第1共通物体7−2から第4共通物体10−2までの各共通物体は、第2空間102において移動しない。共通物体は、物体の一部分でもよい。各カメラ2は、第2空間102を撮像する。
図16に戻り、画像処理装置3dの構成の例の説明を続ける。座標処理部41は、表示画像42における各共通物体の位置情報を、操作部31から取得する。例えば、座標処理部41は、表示画像42における第1共通物体7−1の位置情報を、第1原点の位置情報として取得する。座標処理部41は、表示画像42における物体仮位置60−1の位置情報を、操作部31から取得する。
座標処理部41は、表示画像42における各共通物体の位置情報に基づいて、第1空間101における第1共通物体7−1(第1原点)の位置を検出する。座標処理部41は、表示画像42における各共通物体の位置情報に基づいて、第1空間101における共通物体同士の距離を検出する。例えば、座標処理部41は、第1空間101における第1共通物体7−1から第2共通物体8−1までの距離を検出する。例えば、座標処理部41は、第1空間101における第1共通物体7−1から第3共通物体9−1までの距離を更に検出してもよい。例えば、座標処理部41は、第1空間101における第1共通物体7−1から第4共通物体10−1までの距離を更に検出してもよい。
座標処理部41は、観察者5が決定キー画像16を押下操作した場合、第1空間101の第1原点と、第1空間101の向きと、各共通物体同士の距離と、観察者実位置を基準とした各共通物体の位置の俯角とを検出する。第1空間101が野球場の小型模型である場合、座標処理部41は、例えば、第1空間101の物体光学像に対する空間認識処理の結果に基づいて、第1空間101における第1原点の位置と、第1空間101の向きと、第1空間101における各共通物体同士の距離と、第1空間101における観察者実位置を基準とした各共通物体の位置の俯角とを検出する。
座標処理部41は、例えば、ニューラルネットワークの学習結果を用いて空間認識処理を実行してもよい。座標処理部41は、例えば、ホームベースの教師画像等を用いて空間認識を学習してもよい。
第1空間101が原寸大の野球場である場合、記憶部33に記憶されている野球場の設計図は、第1空間101の各所に予め配置されたポジショントラッキング装置の位置を計測した結果を表す情報を含んでもよい。第1空間101が原寸大の野球場である場合、座標処理部41は、例えば、ポジショントラッキング装置の位置を計測した結果に基づいて、第1空間101における第1原点の位置と、第1空間101の向きと、第1空間101における各共通物体同士の距離と、第1空間101における観察者実位置を基準とした各共通物体の位置の俯角とを検出する。
座標処理部41は、第1空間101における第1共通物体7−1から物体仮位置60−1までの距離を検出する。例えば、座標処理部41は、第1空間101における第1共通物体7−1から物体仮位置60−1までの距離を検出する。例えば、座標処理部41は、第1空間101における第2共通物体8−1から物体仮位置60−1までの距離を更に検出してもよい。例えば、座標処理部41は、第1空間101における第3共通物体9−1から物体仮位置60−1までの距離を更に検出してもよい。例えば、座標処理部41は、第1空間101における第4共通物体10−1から物体仮位置60−1までの距離を更に検出してもよい。
座標処理部41は、第2空間102における各共通物体の位置情報を、記憶部33から取得する。例えば、座標処理部41は、原寸大の野球場等である第2空間102の設計図として、第2空間102における各共通物体の位置情報を取得する。
座標処理部41は、第2空間102における各共通物体の位置情報に基づいて、第2空間102の座標系の原点(以下「第2原点」という。)の位置を検出する。座標処理部41は、第2空間102における各共通物体の位置情報に基づいて、第2空間102における共通物体同士の距離を検出する。例えば、座標処理部41は、第2空間102における第1共通物体7−2から第2共通物体8−2までの距離を検出する。例えば、座標処理部41は、第2空間102における第1共通物体7−2から第3共通物体9−2までの距離を更に検出してもよい。例えば、座標処理部41は、第2空間102における第1共通物体7−2から第4共通物体10−2までの距離を更に検出してもよい。
座標処理部41は、観察者5が決定キー画像16を押下操作した場合、第2空間102の第2原点と、第2空間102の向きと、各共通物体同士の距離と、所定位置を基準とした各共通物体の位置の俯角とを検出する。第2空間102が原寸大の野球場である場合、記憶部33に記憶されている野球場の設計図は、第2空間102の各所に予め配置されたポジショントラッキング装置の位置を計測した結果を表す情報を含んでもよい。第2空間102が原寸大の野球場である場合、座標処理部41は、例えば、ポジショントラッキング装置の位置を計測した結果に基づいて、第2空間102における第2原点の位置と、第2空間102の向きと、第2空間102における各共通物体同士の距離と、第2空間102における所定位置を基準とした各共通物体の位置の俯角とを検出する。
座標処理部41は、第2原点を画面上で第1原点に一致させる。座標処理部41は、第2空間の座標系の向きを第1空間の座標系の向きに一致させる。これらによって、座標処理部41は、第1空間101の座標系の縮尺と第2空間102の座標系の縮尺とが同じである場合、第1空間101の座標系と第2空間102の座標系とを互いに変換することができる。
更に、座標処理部41は、第1空間101の座標系の縮尺と第2空間102の座標系の縮尺とが異なる場合、第2空間102の座標系における距離と第1空間101の座標系における距離との比(距離比)を、共通物体の組ごとに検出する。すなわち、座標処理部41は、第2空間102の座標系に対する第1空間101の座標系の縮尺を、共通物体の組ごとに検出する。例えば、座標処理部41は、実空間の水平のx軸方向について、第1共通物体7−1から第2共通物体8−1までの距離と第1共通物体7−2から第2共通物体8−2までの距離との比を検出する。例えば、座標処理部41は、実空間の水平のy軸方向について、第2共通物体8−1から第3共通物体9−1までの距離と第2共通物体8−2から第3共通物体9−2までの距離との比を検出してもよい。座標処理部41は、各実空間のz軸方向(鉛直の上方向)について、第1空間101のxy平面から第1空間101の所定の客席までの距離と第2空間102のxy平面から第2空間102の所定の客席までの距離との比を検出してもよい。座標処理部41は、第1空間101の座標系に対する第2空間102の座標系の縮尺を検出してもよい。距離比(縮尺)は、各実空間のxyzの3軸で共通でもよいし、各実空間のxyzの軸ごとに異なっていてもよい。これらによって、座標処理部41は、第1空間101の座標系の縮尺と第2空間102の座標系の縮尺とが異なる場合でも、第1空間101の座標系と第2空間102の座標系とを互いに変換することができる。
座標処理部41は、第1空間101の座標系と第2空間102の座標系とを対応付けた結果に基づいて、第2空間102における観察者仮位置50を決定する。例えば、座標処理部41は、第1空間101における第1共通物体7−1から物体仮位置60−1までの距離と距離比とに基づいて、第2空間102における物体仮位置60−2を決定する。座標処理部41は、第2空間における物体仮位置60−2に基づいて、第2空間102における観察者仮位置50を決定する。
座標処理部41は、第2空間102における観察者仮位置50を、変数決定部32に出力する。変数決定部32は、第2空間における観察者仮位置50に基づいて、図3に示すカメラ2の配置に関する変数を更新する。
観察者5は、第2空間102における観察者仮位置50の近くに配置されているカメラ2が撮像した物体6の物体画像を表示装置4の画面の表示画像によって観察するので、物体6が移動したという拡張現実感や複合現実感を得ることができる。観察者5が拡張現実感や複合現実感を得ることができるのは、物体実位置から物体仮位置60−2まで物体6が移動した場合に観察者5が見る画像と、物体実位置に配置されている物体6を観察者5が観察者仮位置50から観察した場合に観察者5が見る画像とが、等価だからである。
図20は、画像処理装置3dの動作の例を示すフローチャートである。座標処理部41は、表示画像42における各共通物体の位置情報を取得する(ステップS301)。座標処理部41は、表示画像42における物体仮位置の位置情報を取得する(ステップS302)。座標処理部41は、第1空間101における共通物体同士の距離を検出する(ステップS303)。座標処理部41は、第1空間101における各共通物体から物体仮位置60−1までの距離を検出する(ステップS304)。
座標処理部41は、第2空間102における各共通物体の位置情報を取得する(ステップS305)。座標処理部41は、第2空間102における共通物体同士の距離を検出する(ステップS306)。座標処理部41は、第1空間101における共通物体同士の距離と第2空間102における共通物体同士の距離との比(距離比)を、共通物体の組ごとに決定する(ステップS307)。座標処理部41は、第1空間101における第1共通物体7−1(第1原点)から物体仮位置60−1までの距離と距離比とに基づいて、第2空間102における物体仮位置60−2を決定する(ステップS308)。座標処理部41は、第2空間102における物体仮位置60−2に基づいて、第2空間102における観察者仮位置50を決定する(ステップS309)。
なお、第1空間は、野球場の小型模型でなくてもよく、例えば、サッカー場の小型模型でもよい。第1空間は、原寸大の野球場でなくてもよく、例えば、原寸大のサッカー場でもよい。同様に、第2空間は、原寸大のサッカー場でもよい。第1空間がサッカー場の小型模型である場合、図18に示された表示画像42は、ゴールポストが左右に配置されたサッカー場の小型模型を鉛直下方向に見下ろした場合の俯瞰図でもよい。第1空間が原寸大のサッカー場である場合、図18に示された表示画像42は、ゴールポストが左右に配置された原寸大のサッカー場を鉛直下方向に見下ろした場合の俯瞰図でもよい。
第1空間が原寸大のサッカー場である場合、原寸大のサッカー場を鉛直下方向に見下ろした場合の俯瞰図において、第1共通物体7−1は、ゴールラインの左下隅の部分でもよい。第2共通物体8−1は、ゴールラインの右下隅の部分でもよい。第3共通物体9−1は、ゴールラインの左上隅の部分でもよい。第4共通物体10−1は、ゴールポストにおいて最も位置が高い枠の一部分でもよい。
座標処理部41は、実空間の水平のx軸方向について、第1共通物体7−1から第2共通物体8−1までの距離と第1共通物体7−2から第2共通物体8−2までの距離との比を検出してもよい。座標処理部41は、実空間の水平のy軸方向について、第2共通物体8−1から第3共通物体9−1までの距離と第2共通物体8−2から第3共通物体9−2までの距離との比を検出してもよい。座標処理部41は、各実空間のz軸方向(鉛直の上方向)について、xy平面から第4共通物体10−1までの距離とxy平面から第4共通物体10−2までの距離との比を検出してもよい。
以上のように、第4実施形態の画像処理装置3dは、座標処理部41を備える。座標処理部41は、第1空間101の座標系と第2空間102の座標系とを対応付けた結果に基づいて、第2空間102における観察者仮位置50を決定する。
これによって、第4実施形態の画像処理装置3dは、観察者5と物体6とが異なる実空間に存在する場合でも、実空間で物体が仮に移動されたとした場合に観察される物体の画像の見かけ上の大きさ又は向きと、表示画面に表示された画像の空間で仮想的に移動された物体の物体画像の見かけ上の大きさ又は向きとが異ならないようにすることが可能となる。
なお、第1実施形態から第3実施形態までにおいて、画像処理装置3a〜3cは、座標処理部41を更に備えてもよい。
(第5実施形態)
第5実施形態では、表示画面に表示されることになる物体画像の大きさを定める倍率に応じて画像処理装置がカメラを選択又は移動する点が、第1実施形態と相違する。第5実施形態では、第1実施形態との相違点についてのみ説明する。
図21は、画像処理システム1eの構成の例を示す図である。画像処理システム1eは、カメラ2−1〜2−Nと、画像処理装置3eと、表示装置4とを備える。画像処理装置3eは、パーソナルコンピュータ装置、サーバ装置、スマートフォン端末、タブレット端末等の情報処理装置である。画像処理装置3eと表示装置4とは、別体でもよいし一体でもよい。画像処理装置3eは、カメラ2−nが出力した画像に画像処理を施す。画像処理装置3eは、画像取得部30と、操作部31と、変数決定部32と、記憶部33と、選択部34eと、切出部35と、出力部36とを備える。画像処理装置3eは、配置部39を更に備えてもよい。
物体6の所定方向の長さW0と、表示装置4の画面における物体画像の所定方向の長さWiとの関係は、式(1)のように表される。所定方向とは、例えば、x軸方向、y軸方向又はz軸方向である。
Wi=f/d×W0 …(1)
ここで、fは、カメラ2が備えるレンズの焦点距離を表す。焦点距離fは、一定である。dは、カメラ2から物体6(被写体)までの距離を表す。W0は、物体6の所定方向の長さを表す。Wiは、表示装置4の画面における物体画像の同一の所定方向の長さである。なお、式(1)の「W0」には、(f/d)以外の他の係数が更に乗算されてもよい。
選択部34eは、カメラ2−1〜2−Nのうちから選択されているカメラ2から物体6までの距離dを検出する。選択部34eは、画面における物体画像の所定方向の長さWiをX倍にすることを表す命令信号を、操作部31から取得する。選択部34eは、長さWiをX倍にすることを表す命令信号を取得した場合、物体6までの距離が(d/X)であるカメラ2を選択する。Xは、倍率を表す。
選択部34eは、例えば、観察者実位置から物体仮位置60までの距離が観察者実位置から物体実位置までの距離の(1/X)倍である場合、画面における物体画像の所定方向の長さWiをX倍にすると決定してもよい。選択部34eは、画面における物体画像の所定方向の長さWiをX倍にすると決定した場合、物体6までの距離が(d/X)であるカメラ2を選択する。選択部34eは、優先情報に基づいて、物体6までの距離が(d/X)に近いカメラ2を選択してもよい。例えば、表示画像における物体画像の向きを物体画像の大きさよりも優先することを優先情報が表している場合、選択部34eは、物体6までの距離が(d/X)に近いカメラ2を選択してもよい。
選択部34eは、画像処理装置3eが配置部39を備えている場合、物体6までの距離が(d/X)となる位置にカメラ2を配置してもよい。選択部34eは、物体6を画角に含む向きでカメラ2を配置する。
図22は、画像処理装置3eの動作の例を示すフローチャートである。選択部34eは、カメラ2−1〜2−Nのうちから選択されているカメラ2から物体6までの距離dを検出する(ステップS401)。選択部34eは、画面における物体画像の所定方向の長さWiをX倍にすることを表す命令信号を、操作部31から取得する(ステップS402)。選択部34eは、長さWiをX倍にすることを表す命令信号を取得した場合、物体6までの距離が(d/X)であるカメラ2を選択する(ステップS403)。
以上のように、第5実施形態の画像処理装置3eは、選択部34eを備える。選択部34eは、選択部34eが倍率に基づいてカメラ2を選択する場合、カメラ2から物体6までの距離が倍率(X)の逆数に応じて定まる距離(d/X)の位置にあるカメラ2を選択する。
これによって、第5実施形態の画像処理装置3eは、表示画面に表示されることになる物体画像の大きさを定める倍率に応じて画像処理装置がカメラを選択又は移動する場合でも、実空間で物体が仮に移動されたとした場合に観察される物体の画像の見かけ上の大きさ又は向きと、表示画面に表示された画像の空間で仮想的に移動された物体の物体画像の見かけ上の大きさ又は向きとが異ならないようにすることが可能となる。
なお、第1実施形態において、画像処理装置3aの選択部34は、選択部34eと同様の処理を更に実行してもよい。第2実施形態において、画像処理装置3bの選択部34は、選択部34eと同様の処理を更に実行してもよい。第3実施形態において、画像処理装置3cの配置決定部38は、選択部34eと同様の処理を更に実行してもよい。第4実施形態までにおいて、画像処理装置3dの選択部34は、選択部34eと同様の処理を更に実行してもよい。
上述した実施形態における画像処理システム、決定装置及び画像処理装置の少なくとも一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA(Field Programmable Gate Array)等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。