JP6693920B2 - 決定装置、画像処理装置及び決定プログラム - Google Patents

決定装置、画像処理装置及び決定プログラム Download PDF

Info

Publication number
JP6693920B2
JP6693920B2 JP2017161552A JP2017161552A JP6693920B2 JP 6693920 B2 JP6693920 B2 JP 6693920B2 JP 2017161552 A JP2017161552 A JP 2017161552A JP 2017161552 A JP2017161552 A JP 2017161552A JP 6693920 B2 JP6693920 B2 JP 6693920B2
Authority
JP
Japan
Prior art keywords
image
camera
space
observer
actual position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017161552A
Other languages
English (en)
Other versions
JP2018129786A (ja
Inventor
亀田　明男
明男 亀田
愛 磯貝
愛 磯貝
越智　大介
大介 越智
木全　英明
英明 木全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JP2018129786A publication Critical patent/JP2018129786A/ja
Application granted granted Critical
Publication of JP6693920B2 publication Critical patent/JP6693920B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Description

本発明は、決定装置、画像処理装置及び決定プログラムに関する。
拡張現実感（AR: Augmented Reality）の技術とは、実空間に存在する物体の画像に装置が情報を付与等することで、現実を拡張して表現する技術である。また、複合現実感（MR: Mixed Reality）の技術とは、実空間に存在する物体の画像を装置が変化させ、変化した物体の画像と仮想空間に存在する物体の画像とを装置が複合化して表現する技術である。実空間で静止している物体の画像を、表示画面に表示された画像の空間で仮想的に移動させるには、表示画面に表示された画像の空間における物体の移動後の位置又は向きに応じて、実空間に複数のカメラが配置される必要がある。物体を取り囲むように実空間に複数のカメラが配置され、カメラ画像の中央に物体が撮像されるようカメラの光軸の方向が定められることで、複数のカメラによって物体を撮像する方法が提案されている（非特許文献１参照）。
池谷健佑 外３名，"被写体の動きをパンフォロー可能な多視点ロボットカメラシステム"，２０１１年映像情報メディア学会冬季大会
しかしながら、実空間で静止している物体の位置及び向きと、表示画面に表示された画像の空間で仮想的に移動された物体の位置又は方向と、実空間に配置された複数のカメラの位置又は方向とは、必ずしも整合しない場合がある。このため、従来では、実空間で物体が仮に移動されたとした場合に観察される物体の画像の見かけ上の大きさ又は向きと、表示画面に表示された画像の空間で仮想的に移動された物体の画像の見かけ上の大きさ又は向きとが異なる場合がある、という問題があった。
上記事情に鑑み、本発明は、実空間で物体が仮に移動されたとした場合に観察される物体の画像の見かけ上の大きさ又は向きと、表示画面に表示された画像の空間で仮想的に移動された物体の画像の見かけ上の大きさ又は向きとが異ならないようにすることができる決定装置、画像処理装置及び決定プログラムを提供することを目的としている。
本発明の一態様は、実空間に配置された物体を撮像するように位置及び向きが定められた複数のカメラが実空間に配置され、表示装置の画面に表示された画像の空間で移動されたように観察される前記物体の静止画像又は動画像である物体画像を含む画像を出力する前記カメラを、複数の前記カメラから選択する決定装置であって、前記画面に表示された前記物体画像を観察する観察者の仮の位置である観察者仮位置から前記物体の実際の位置である物体実位置までを結ぶ線と前記カメラの実際の位置であるカメラ実位置から前記物体実位置までを結ぶ線とが成す角度と、前記観察者仮位置から前記カメラ実位置までの距離と、予め定められた倍率とのうち少なくとも一つに基づいて前記カメラを選択する選択部を備える決定装置である。
本発明の一態様は、上記の決定装置であって、前記選択部は、前記物体画像の向きを前記物体画像の大きさよりも優先する場合、前記観察者仮位置から前記物体実位置までを結ぶ線と前記カメラ実位置から前記物体実位置までを結ぶ線とが成す角度が所定角度以下であることを、前記観察者仮位置から前記カメラ実位置までの距離が所定距離以下であることよりも優先して前記カメラを選択する。
本発明の一態様は、上記の決定装置であって、前記選択部は、前記物体画像の大きさを前記物体画像の向きよりも優先する場合、前記観察者仮位置から前記カメラ実位置までの距離が所定距離以下であることを、前記観察者仮位置から前記物体実位置までを結ぶ線と前記カメラ実位置から前記物体実位置までを結ぶ線とが成す角度が所定角度以下であることよりも優先して前記カメラを選択する。
本発明の一態様は、上記の決定装置であって、前記選択部は、前記選択部が前記倍率に基づいて前記カメラを選択する場合、前記カメラから前記物体までの距離が前記倍率の逆数に応じて定まる距離の位置にある前記カメラを選択する。
本発明の一態様は、上記の決定装置であって、前記観察者が存在する実空間である第１空間の座標系と前記物体が存在する実空間である第２空間の座標系とを対応付けた結果に基づいて、前記第２空間における前記観察者仮位置を決定する座標処理部を更に備える。
本発明の一態様は、上記の決定装置と、選択された前記カメラから、前記物体画像を含む画像を取得する画像取得部と、前記物体画像を含む画像から、前記物体画像を切り出す切出部と、切り出された前記物体画像を前記表示装置に出力する出力部とを備える画像処理装置である。
本発明の一態様は、上記の画像処理装置であって、切り出された前記物体画像の向き及び大きさのうち少なくとも一方を補正する補正部を更に備え、前記出力部は、前記物体画像の向き及び大きさのうち少なくとも一方が補正された前記物体画像を前記表示装置に出力する。
本発明の一態様は、実空間に配置された物体を撮像するように位置及び向きが定められた複数のカメラが実空間に配置され、表示装置の画面に表示された画像の空間で移動されたように観察される前記物体の静止画像又は動画像である物体画像を含む画像を出力する前記カメラを、複数の前記カメラから選択する決定装置であって、前記画面に表示された前記物体画像を観察する観察者の仮の位置である観察者仮位置から前記物体の実際の位置である物体実位置までを結ぶ線と前記カメラの実際の位置であるカメラ実位置から前記物体実位置までを結ぶ線とが成す角度と、前記観察者仮位置から前記物体実位置までの距離と前記カメラ実位置から前記物体実位置までの距離との差と、予め定められた倍率とのうち少なくとも一つに基づいて前記カメラを選択する選択部を備える決定装置である。
本発明の一態様は、上記の決定装置であって、前記観察者が存在する実空間である第１空間の座標系と前記物体が存在する実空間である第２空間の座標系とを対応付けた結果に基づいて、前記第２空間における前記観察者仮位置を決定する座標処理部を更に備える。
本発明の一態様は、実空間に物体が配置されており、表示装置の画面に表示された画像の空間で移動されたように観察される前記物体の静止画像又は動画像である物体画像を含む画像を出力するカメラの位置及び向きを決定する決定装置であって、前記画面に表示された前記物体画像を観察する観察者の仮の位置である観察者仮位置から前記物体の実際の位置である物体実位置までを結ぶ線とカメラの実際の位置であるカメラ実位置から前記物体実位置までを結ぶ線とが成す角度と、前記観察者仮位置から前記カメラ実位置までの距離と、予め定められた倍率とのうち少なくとも一つに基づいて前記カメラの位置及び向きを決定する配置決定部を備える決定装置である。
本発明の一態様は、上記の決定装置であって、前記観察者が存在する実空間である第１空間の座標系と前記物体が存在する実空間である第２空間の座標系とを対応付けた結果に基づいて、前記第２空間における前記観察者仮位置を決定する座標処理部を更に備える。
本発明の一態様は、実空間に配置された物体を撮像するように位置及び向きが定められた複数のカメラが実空間に配置され、表示装置の画面に表示された画像の空間で移動されたように観察される前記物体の静止画像又は動画像である物体画像を含む画像を出力する前記カメラを、複数の前記カメラから選択する決定装置が実行する決定方法であって、前記画面に表示された前記物体画像を観察する観察者の仮の位置である観察者仮位置から前記物体の実際の位置である物体実位置までを結ぶ線と前記カメラの実際の位置であるカメラ実位置から前記物体実位置までを結ぶ線とが成す角度と、前記観察者仮位置から前記カメラ実位置までの距離と、予め定められた倍率とのうち少なくとも一つに基づいて前記カメラを選択するステップを含む決定方法である。
本発明の一態様は、上記の決定装置としてコンピュータを機能させるための決定プログラムである。
本発明により、実空間で物体が仮に移動されたとした場合に観察される物体の画像の見かけ上の大きさ又は向きと、表示画面に表示された画像の空間で仮想的に移動された物体の画像の見かけ上の大きさ又は向きとが異ならないようにすることが可能となる。
第１実施形態における、画像処理システムの構成の例を示す図である。 第１実施形態における、物体及びカメラの配置の例を示す俯瞰図である。 第１実施形態における、カメラの配置に関する変数の例を示す図である。 第１実施形態における、表示画像の第１例を示す図である。 第１実施形態における、カメラ画像の第１例を示す図である。 第１実施形態における、カメラ画像の第２例を示す図である。 第１実施形態における、カメラ画像の第３例を示す図である。 第１実施形態における、カメラ画像の第４例を示す図である。 第１実施形態における、表示画像の第２例を示す図である。 第１実施形態における、表示画像の第３例を示す図である。 第１実施形態における、画像処理装置の動作の例を示すフローチャートである。 第２実施形態における、画像処理システムの構成の例を示す図である。 第２実施形態における、表示画像の例を示す図である。 第３実施形態における、画像処理システムの構成の例を示す図である。 第３実施形態における、画像処理装置の動作の例を示すフローチャートである。 第４実施形態における、画像処理システムの構成の例を示す図である。 第４実施形態における、第１空間での観察者の配置の例を示す俯瞰図である。 第４実施形態における、表示画像の例を示す図である。 第４実施形態における、第２空間での物体及びカメラの配置の例を示す俯瞰図である。 第４実施形態における、画像処理装置の動作の例を示すフローチャートである。 第５実施形態における、画像処理システムの構成の例を示す図である。 第５実施形態における、画像処理装置の動作の例を示すフローチャートである。
本発明の実施形態について、図面を参照して詳細に説明する。
（第１実施形態）
図１は、画像処理システム１ａの構成の例を示す図である。画像処理システム１ａは、画像に画像処理を施すシステムである。画像は、静止画像又は動画像のいずれでもよい。画像処理システム１ａは、実空間で静止している物体の画像を、表示画面に表示された画像の空間（仮想空間）で移動させることが可能である。画像処理システム１ａは、カメラ２−１〜２−Ｎ（Ｎは２以上の整数）と、画像処理装置３ａと、表示装置４とを備える。以下では、Ｎは一例として４である。以下では、カメラ２−１〜２−４に共通する事項については、符号の一部を省略して「カメラ２」と表記する。
カメラ２は、物体が配置されている実空間において、それぞれ予め定められた向きで予め定められた位置に配置されている。カメラ２は、カメラ２が配置されている実空間に配置されている物体を、レンズである光学系を介して撮像する。光学系は、広角レンズ、魚眼レンズ、全天球レンズでもよい。以下、撮像対象である物体の静止画像又は動画像を「物体画像」という。カメラ２は、カメラごとに撮像対象である物体よりも後ろの背景の静止画像又は動画像（以下「背景画像」という。）と物体画像とを含む画像を、画像処理装置３ａに出力する。
画像処理装置３ａは、パーソナルコンピュータ装置、サーバ装置、スマートフォン端末、タブレット端末等の情報処理装置である。画像処理装置３ａと表示装置４とは、別体でもよいし一体でもよい。画像処理装置３ａは、カメラ２−ｎ（１≦ｎ≦Ｎ）が出力した画像に画像処理を施す。画像処理装置３ａは、例えば、カメラの画像取得周期(フレームレート)で、画像処理を実行してもよい。すなわち、画像処理装置３ａは、複数のフレーム画像を含む動画像に動画像処理を実行してもよい。画像処理装置３ａは、画像処理が施された物体画像を含む画像を、表示装置４に出力する。画像処理装置３ａは、例えば、表示装置の表示周期(リフレッシュレート)で、画像の出力処理を実行してもよい。
表示装置４は、ヘッドマウントディスプレイ等の表示装置である。表示装置４の画面は、表示装置４の外の物体から表示装置４の画面に届いた光を透過させる。例えば、表示装置４の画面は、光透過性を備えた液晶ディスプレイである。以下、表示装置４の画面を透過した光による物体の光学画像を「物体光学像」という。表示装置４の画面は、画面上で物体光学像を隠すように、画像処理装置３ａが出力した物体画像を表示する。これによって、表示装置４の画面は、物体光学像を表示する代わりに、画像処理装置３ａが出力した物体画像を表示することができる。以下、表示装置４の画面に表示される画像を「表示画像」という。
以下、実空間における観察者の実際の位置を「観察者実位置」という。観察者の仮の位置を「観察者仮位置」という。以下、実空間における物体の実際の位置を「物体実位置」という。以下、物体の仮の位置を「物体仮位置」という。以下、実空間におけるカメラの実際の位置を「カメラ実位置」という。
図２は、物体６及びカメラ２の配置の例を示す俯瞰図である。物体６（オブジェクト）は、例えば、箱、柱である。物体６の形状は、例えば、立方体である。図２では、物体６の上面には、一例として文字「Ａ」が描かれている。物体６は、実空間に存在する部屋１００に予め定められた物体実位置に配置されている。物体６が屋外に配置されている場合には、部屋１００の壁は仮想的な壁でもよい。物体６は、実空間では静止していてもよい。図２では、物体６の物体実位置から物体仮位置６０までの距離は、観察者５の観察者実位置から観察者仮位置５０までの距離と等しい。また、物体実位置と物体仮位置６０と観察者仮位置５０と観察者実位置とを結ぶ線の方向と、観察者５の視線５１の方向とは平行である。
観察者５の視線５１の方向は、観察者５の観察者実位置と物体６の物体実位置とを結ぶ直線の方向と一致している。観察者５は、部屋１００に配置されている物体６の物体光学像を、表示装置４の画面を透過した光によって、表示装置４の画面越しに観察者実位置から観察する。観察者５は、表示画面に表示された画像の空間（仮想空間）を移動した物体６の物体画像を、表示装置４の画面の表示画像によって、観察者実位置から観察する。観察者５は、予め定められた観察者実位置から移動しない。図２では、観察者５は、表示画面に表示された画像の空間で物体実位置から物体仮位置６０まで物体６が移動して、物体仮位置６０から観察者実位置までの距離が所定距離となったように見える物体画像を、表示装置４の画面の表示画像によって、観察者実位置から観察する。
観察者５は、観察者仮位置５０の近くに配置されているカメラ２が撮像した物体６の物体画像を表示装置４の画面の表示画像によって観察するので、物体６が移動したという拡張現実感（ＡＲ）や複合現実感（ＭＲ）を得ることができる。観察者５が拡張現実感や複合現実感を得ることができるのは、物体実位置から物体仮位置６０まで物体６が移動した場合に観察者５が見る画像と、物体実位置に配置されている物体６を観察者５が観察者仮位置から観察した場合に観察者５が見る画像とが、等価だからである。
カメラ２の光軸方向は、カメラ２の画角に物体６を含むように予め定められる。カメラ２の光軸方向は、観察者５の視線５１の方向と一致する向きでもよい。すなわち、カメラ２の光軸方向は、観察者５の視線５１の方向と平行でもよい。カメラ２は、カメラ２の画角に物体６を含むように予め定められた向きで、部屋１００に予め定められたカメラ実位置に配置される。図２では、カメラ２−１は、観察者仮位置５０から所定距離Ｌ１５０だけ離れた位置であって、物体実位置から所定距離Ｌ６１だけ離れた位置に、カメラ２−１の光軸２０−１が観察者５の視線５１の方向と一致する向きで配置される。カメラ２−２は、観察者仮位置５０から所定距離Ｌ２５０だけ離れた位置であって、物体実位置から所定距離Ｌ６２だけ離れた位置に、カメラ２−２の光軸２０−２が観察者５の視線５１の方向と一致する向きで配置される。カメラ２−３は、観察者仮位置５０から所定距離Ｌ３５０だけ離れた位置であって、物体実位置から所定距離Ｌ６３だけ離れた位置に、カメラ２−３の光軸２０−３が物体６に向くように配置される。カメラ２−４は、観察者仮位置５０から所定距離Ｌ４５０だけ離れた位置であって、物体実位置から所定距離Ｌ６４だけ離れた位置に、カメラ２−４の光軸２０−４が物体６に向くように配置される。
図２では、観察者仮位置５０からカメラ実位置までの距離（以下「カメラ実位置距離」という。）について、一例として、（Ｌ１５０＞Ｌ３５０＞Ｌ４５０＞Ｌ２５０）の大小関係が成立している。例えば、Ｌ１５０＝約９ｍ、Ｌ３５０＝約６ｍ、Ｌ４５０＝約４ｍ、Ｌ２５０＝約３ｍである。つまり、カメラ２−２は、観察者仮位置５０に最も近い位置に配置されたカメラである。したがって、カメラ２−２は、観察者５が観察している物体光学像の大きさに最も近い大きさの物体画像を含む画像を、画像処理装置３ａに出力する。物体画像の大きさとは、表示装置４の画面の面積に対する物体画像の面積である。画面の面積に対する物体画像の面積は、例えば、表示装置４の画面の全画素数に対する物体画像の画素数で表現されてもよい。物体画像の大きさとは、カメラ２が出力したカメラ画像の面積に占める物体画像の面積の割合でもよい。
図２では、物体実位置からカメラ実位置までの距離について、一例として、（Ｌ６１＞Ｌ６４＞Ｌ６２＞Ｌ６３）の大小関係が成立している。例えば、Ｌ６１＝約１２ｍ、Ｌ６４＝約９ｍ、Ｌ６２＝約８．５ｍ、Ｌ６３＝約８ｍである。以下では、物体実位置から観察者仮位置５０までの所定距離Ｌ０と所定距離Ｌ６１との差を、「Ｄ１」と表記する。所定距離Ｌ０は、例えば、８ｍである。以下では、所定距離Ｌ０と所定距離Ｌ６２との差を、「Ｄ２」と表記する。以下では、所定距離Ｌ０と所定距離Ｌ６３との差を、「Ｄ３」と表記する。以下では、所定距離Ｌ０と所定距離Ｌ６４との差を、「Ｄ４」と表記する。以下、観察者仮位置５０から物体実位置までの距離とカメラ実位置から物体実位置までの距離との差を「距離差」という。
所定距離Ｌ０と距離Ｌ６３との距離差Ｄ３は、Ｄ１からＤ４までのうち最も短い。つまり、物体実位置から観察者仮位置５０までの所定距離Ｌ０と、物体実位置からカメラ２−３までの所定距離Ｌ６３とでは、距離差が少ない。例えば、Ｌ０＝約８ｍであり、Ｌ６３＝約８ｍである場合、距離差は０ｍである。したがって、カメラ２−３は、観察者５が観察している物体光学像の大きさに最も近い大きさの物体画像を含む画像を、画像処理装置３ａに出力する。
図２では、観察者仮位置５０から物体実位置までを結ぶ線とカメラ２−１のカメラ実位置から物体実位置までを結ぶ線とが成す角度は、「Ａ１」である。観察者仮位置５０から物体実位置までを結ぶ線とカメラ２−２のカメラ実位置から物体実位置までを結ぶ線とが成す角度は、「Ａ２」である。観察者仮位置５０から物体実位置までを結ぶ線とカメラ２−３のカメラ実位置から物体実位置までを結ぶ線とが成す角度は、「Ａ３」である。観察者仮位置５０から物体実位置までを結ぶ線とカメラ２−４のカメラ実位置から物体実位置までを結ぶ線とが成す角度は、「Ａ４」である。図２では、角度の絶対値で比較した場合、一例として、（Ａ１＞Ａ３＞Ａ４＞Ａ２）の大小関係が成立している。したがって、カメラ２−２は、観察者５が観察している表示画面における物体光学像の向きに最も近い向きの物体画像を含む画像を、画像処理装置３ａに出力する。
次に、図１に戻り、画像処理装置３ａの構成の例を説明する。
画像処理装置３ａは、画像取得部３０と、操作部３１と、変数決定部３２と、記憶部３３と、選択部３４と、切出部３５と、出力部３６とを備える。画像取得部３０と変数決定部３２と選択部３４と切出部３５と出力部３６とのうち一部又は全部は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサが、記憶部に記憶されたプログラムを実行することにより実現されてもよいし、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアを用いて実現されてもよい。
画像取得部３０は、背景画像と物体画像とを含む画像を、複数のカメラ２のそれぞれから取得する。画像取得部３０は、背景画像と物体画像とを含む画像と、カメラ２の識別情報とを、記憶部３３に記録する。操作部３１は、操作キー等を有する操作デバイスである。例えば、操作部３１は、キーボード、マウス、タッチパネルである。操作部３１は、操作部３１に対する操作を受け付けることによって、実空間におけるカメラ２のそれぞれの配置情報を取得する。実空間におけるカメラ２の配置情報は、例えば、実空間におけるカメラ２のそれぞれの座標及び光軸方向を用いて表現される。操作部３１は、操作部３１に対する操作を受け付けることによって、物体実位置及び物体仮位置の配置情報を、物体６の配置情報として取得する。物体実位置及び物体仮位置の配置情報は、例えば、物体６の座標及び向きを用いて表される。操作部３１は、操作部３１に対する操作を受け付けることによって、観察者実位置及び観察者仮位置の配置情報を、観察者５の配置情報として取得する。観察者実位置及び観察者仮位置の配置情報は、例えば、観察者５の座標及び視線方向を用いて表される。操作部３１は、操作部３１に対する操作を受け付けることによって、表示画像における物体画像の向きを物体画像の大きさよりも優先するか否かを表す情報（以下「優先情報」という。）を取得する。操作部３１は、カメラ画像から切り出される領域の位置を表す情報（以下「切り出し位置情報」という。）と、カメラ画像から切り出された領域が表示画像に貼り付けられる位置を表す情報（以下「貼り付け位置情報」という。）とを取得する。切り出し位置情報は、カメラ画像から切り出される領域の位置を表す情報である。切り出し位置情報は、例えば、物体光学像における左上座標、幅及び高さの情報で表されてもよい。左上座標は、物体光学像における切り出される領域の左上の座標を表す。幅は、物体光学像における切り出される領域の幅を表す。高さは、物体光学像における切り出される領域の高さを表す。貼り付け位置情報は、カメラ画像から切り出された領域が表示画像に貼り付けられる位置を表す情報である。貼り付け位置情報は、例えば、表示画像における左上座標、幅及び高さの情報で表されてもよい。また、例えば、貼り付け位置情報は、表示画像の座標と対応付けてあらかじめ定義されている領域である、「中央」、「右」、「左」といった情報であってもよい。
変数決定部３２は、物体実位置及び物体仮位置の配置情報と、観察者実位置及び観察者仮位置の配置情報と、カメラ２のそれぞれの配置情報とを、操作部３１から取得する。変数決定部３２は、物体実位置及び物体仮位置の配置情報と、観察者実位置及び観察者仮位置の配置情報と、カメラ２のそれぞれの配置情報とに基づいて、カメラ２のそれぞれの配置に関する変数をカメラ２ごとに決定する。カメラ２の配置に関する変数は、例えば、観察者仮位置５０から物体実位置までを結ぶ線とカメラ実位置から物体実位置までを結ぶ線とが成す角度（以下「カメラ実位置角度」という。）と、カメラ実位置距離と、距離差とである。
図３は、カメラ２の配置に関する変数の例を示す図である。変数決定部３２は、カメラ２の配置に関する変数情報を、カメラ２ごとに記憶部３３に記録する。例えば、変数決定部３２は、カメラ実位置角度を、カメラ２ごとに記憶部３３に記録する。例えば、変数決定部３２は、カメラ実位置距離をカメラ２ごとに記憶部３３に記録する。例えば、変数決定部３２は、距離差をカメラ２ごとに記憶部３３に記録する。
図１に戻り、画像処理装置３ａの構成の例の説明を続ける。記憶部３３は、磁気ハードディスク装置や半導体記憶装置等の不揮発性の記録媒体（非一時的な記録媒体）を有する記憶装置である。記憶部３３は、背景画像と物体画像とを含む画像と、カメラ２のそれぞれの配置に関する変数情報とを記憶する。記憶部３３は、カメラ２のそれぞれの配置情報（座標、光軸方向）を記憶してもよい。記憶部３３は、物体実位置及び物体仮位置の配置情報と、観察者実位置及び観察者仮位置の配置情報とを記憶してもよい。
選択部３４は、選択されるカメラ２を決定する決定装置として機能する。選択部３４は、カメラ２のそれぞれの配置に関する変数情報を、記憶部３３から取得する。選択部３４は、優先情報を操作部３１から取得する。選択部３４は、カメラ実位置角度とカメラ実位置距離とのうち少なくとも一方と優先情報とに基づいて、カメラ２−ｎを選択する。
選択部３４は、物体画像の向きを物体画像の大きさよりも優先する場合、カメラ実位置角度が所定角度以下であることを、カメラ実位置距離が所定距離以下であることよりも優先してカメラ２−ｎを選択する。所定角度は、予め定められた角度であり、例えば、３０度である。所定距離は、予め定められた距離であり、例えば、観察者仮位置から物体実位置までの距離の１０％に相当する距離である。図２に示すカメラ２の配置の例では、選択部３４は、カメラ実位置角度が所定角度以下の「Ａ２」であるカメラ２−２を選択する。なお、カメラ実位置角度が所定角度以下であるカメラ２が複数ある場合には、選択部３４は、カメラ実位置距離がより短いカメラ２を優先して選択してもよい。
選択部３４は、物体画像の大きさを物体画像の向きよりも優先する場合、カメラ実位置距離が所定距離以下であることを、カメラ実位置角度が所定角度以下であることよりも優先してカメラ２−ｎを選択する。図２に示すカメラ２の配置の例では、選択部３４は、カメラ実位置距離が所定距離以下のＬ２５０であるカメラ２−２を選択する。なお、カメラ実位置距離が所定距離以下であるカメラ２が複数ある場合には、選択部３４は、カメラ実位置距離がより短いカメラ２−ｎを優先して選択してもよい。
選択部３４は、カメラ実位置角度と距離差とのうち少なくとも一方と優先情報とに基づいて、カメラ２−ｎを選択してもよい。距離差は、予め定められた距離の差であり、例えば、観察者仮位置から物体実位置までの距離の１０％に相当する距離である。選択部３４は、物体画像の向きを物体画像の大きさよりも優先する場合、カメラ実位置角度が所定角度以下であることを、距離差が所定閾値以下であることよりも優先してカメラ２−ｎを選択してもよい。図２に示すカメラ２の配置の例では、選択部３４は、カメラ実位置角度が所定角度以下のＡ２であるカメラ２−２を選択する。
選択部３４は、物体画像の大きさを物体画像の向きよりも優先する場合、距離差が所定閾値以下であることを、カメラ実位置角度が所定角度以下であることよりも優先してカメラ２−ｎを選択する。図２に示すカメラ２の配置の例では、選択部３４は、距離差が所定閾値以下のＤ３であるカメラ２−３を選択する。なお、距離差が所定閾値以下であるカメラ２が複数ある場合には、選択部３４は、距離差がより短いカメラ２を優先して選択してもよい。
切出部３５は、選択されたカメラ２が出力した背景画像及び物体画像を含む画像を、記憶部３３から取得する。切出部３５は、記憶部３３から取得された画像から、物体画像を切り出す。切出部３５は、選択されたカメラ２の向きと観察者５の視線方向とに基づいて、表示画面における物体画像の表示位置を決定してもよい。切出部３５は、選択されたカメラ２の配置情報と観察者５の配置情報と物体６の配置情報とに基づいて、物体仮位置の物体６を観察者実位置の観察者５から観察した場合における、表示画面上での物体光学像の位置及び範囲を算出する。切出部３５は、表示画面上での物体光学像の位置及び範囲を、表示画面における物体画像の表示位置と決定してもよい。出力部３６は、切り出された物体画像と表示位置情報とを、表示装置４に出力する。
図４は、表示画像の第１例を示す図である。表示装置４の画面は、物体６から表示装置４の画面に届いた光を透過させる。表示装置４の画面は、物体６の物体光学像を含む表示画像４０を表示する。物体実位置から観察者実位置までの距離Ｌ６５が例えば１２ｍである場合、観察者５は、観察者５から１２ｍ離れている物体６の物体光学像を、表示画像４０の中央に見ることができる。
図５は、カメラ画像の第１例を示す図であり、カメラ２−１が画像処理装置３ａに出力したカメラ画像２１である。カメラ画像２１は、カメラ２−１から距離Ｌ６１だけ離れている物体６の物体画像を、カメラ画像２１の中央よりも左領域に含む。カメラ画像２１では、観察者５に正対する物体６の面は、左に向いている。カメラ画像２１では、観察者５に正対する物体６の面は、ひし形に大きく歪んでいる。
図６は、カメラ画像の第２例を示す図であり、カメラ２−２が画像処理装置３ａに出力したカメラ画像２２である。カメラ画像２２は、カメラ２−２から距離Ｌ６２だけ離れている物体６の物体画像を、カメラ画像２２の中央よりも左領域に含む。カメラ画像２２では、実空間において観察者５に正対する物体６の面は、左に向いている。カメラ画像２２では、実空間において観察者５に正対する物体６の面は、ひし形に歪んでいる。
図７は、カメラ画像の第３例を示す図であり、カメラ２−３が画像処理装置３ａに出力したカメラ画像２３である。カメラ画像２３は、カメラ２−３から距離Ｌ６３だけ離れている物体６の物体画像を、カメラ画像２３の中央に含む。カメラ画像２３では、実空間において観察者５に正対する物体６の面は、左に向いている。カメラ画像２３では、実空間において観察者５に正対する物体６の面は、ひし形に歪んでいる。
図８は、カメラ画像の第４例を示す図であり、カメラ２−４が画像処理装置３ａに出力したカメラ画像２４である。カメラ画像２４は、カメラ２−４から距離Ｌ６４だけ離れている物体６の物体画像を、カメラ画像２４の中央に含む。カメラ画像２４では、実空間において観察者５に正対する物体６の面は、右に向いている。カメラ画像２４では、実空間において観察者５に正対する物体６の面は、ひし形に歪んでいる。
図９は、表示画像の第２例を示す図である。切出部３５は、選択部３４がカメラ２−２を選択した場合、選択されたカメラ２−２が出力した背景画像及び物体画像を含むカメラ画像２２から、切り出し位置情報に基づいて、物体６の物体画像を含む領域２２０を切り出す。切出部３５は、表示画面における物体画像の表示位置を、貼り付け位置情報に基づいて決定する。例えば、貼り付け位置情報が「中央」を表している場合、切出部３５は、表示画面における物体画像の表示位置を、表示装置４の画面の中央に決定する。出力部３６は、切り出された物体画像を含む領域２２０と、表示位置情報「中央」とを、表示装置４に出力する。表示装置４の画面は、画面の中央で物体光学像を隠すように、切り出された物体画像を含む領域２２０を表示する。これによって、表示装置４の画面は、物体６の物体光学像を表示する代わりに、切り出された物体画像を含む領域２２０を表示することができる。
図１０は、表示画像の第３例を示す図である。切出部３５は、選択部３４がカメラ２−３を選択した場合、選択されたカメラ２−３が出力した背景画像及び物体画像を含むカメラ画像２３から、物体６の物体画像を含む領域２３０を切り出す。切出部３５は、表示画面における物体画像の表示位置を、例えば、表示装置４の画面の中央に決定する。出力部３６は、切り出された物体画像を含む領域２３０と、表示位置情報「中央」とを、表示装置４に出力する。表示装置４の画面は、表示位置情報に基づいて画面の中央で物体光学像を隠すように、切り出された物体画像を含む領域２３０を表示する。これによって、表示装置４の画面は、物体６の物体光学像を表示する代わりに、切り出された物体画像を含む領域２３０を表示することができる。
次に、画像処理装置３ａの動作の例を説明する。
図１１は、画像処理装置３ａの動作の例を示すフローチャートである。画像取得部３０は、静止画像を複数のカメラ２から取得する（ステップＳ１０１）。変数決定部３２は、カメラ２の配置情報を操作部３１から取得する（ステップＳ１０２）。変数決定部３２は、カメラ２の配置情報に基づいて、カメラ２の配置に関する変数を決定する（ステップＳ１０３）。選択部３４は、優先情報を操作部３１から取得する（ステップＳ１０４）。選択部３４は、決定された変数と優先情報とに基づいてカメラ２−ｎを選択する（ステップＳ１０５）。切出部３５は、選択されたカメラから取得された静止画像から、物体画像を切り出す（ステップＳ１０６）。切出部３５は、表示画面における物体画像の表示位置を決定する（ステップＳ１０７）。出力部３６は、切り出された物体画像と表示位置情報とを、表示装置４に出力する（ステップＳ１０８）。
選択されたカメラ２から画像取得部３０が動画像を取得する場合について、選択されたカメラ２から画像取得部３０が静止画像を取得する場合との相違点を説明する。ステップＳ１０１において、画像取得部３０は、選択されたカメラ２から動画像を取得する。ステップＳ１０６において、切出部３５は、選択されたカメラ２から取得された動画像から、各フレーム画像を取得する。ステップＳ１０６において、切出部３５は、各フレーム画像から物体画像を切り出す。ステップＳ１０７において、切出部３５は、各フレーム画像において共通する表示位置となるように、物体画像の表示位置を決定する。ステップＳ１０８において、出力部３６は、フレーム画像の数の物体画像と、各フレーム画像において共通する表示位置情報とを、表示装置４に出力する。
以上のように、第１実施形態の画像処理装置３ａは、実空間に配置された物体６を撮像するように位置及び向きが定められた複数のカメラ２が実空間に配置され、表示装置４の画面に表示された画像の空間で移動されたように観察される物体６の静止画像又は動画像である物体画像を含む画像を出力するカメラ２−ｎを、カメラ２−１〜２−Ｎから選択する決定装置を備える。第１実施形態の決定装置は、選択部３４を備える。選択部３４は、カメラ実位置角度とカメラ実位置距離とのうち少なくとも一方に基づいてカメラ２−ｎを選択する。選択部３４は、カメラ実位置角度と距離差とのうち少なくとも一方に基づいてカメラ２−ｎを選択してもよい。これによって、第１実施形態の画像処理装置３ａは、実空間で物体が仮に移動されたとした場合に観察される物体の画像の見かけ上の大きさ又は向きと、表示画面に表示された画像の空間で仮想的に移動された物体の物体画像の見かけ上の大きさ又は向きとが異ならないようにすることが可能となる。第１実施形態の画像処理装置３ａは、観察者仮位置とカメラ実位置とが十分に近い場合には、物体画像の歪みを補正せずにカメラ画像をそのまま表示しても、歪みの違和感がない物体画像を表示できる。
（第２実施形態）
第２実施形態では、物体画像の向き及び大きさのうち少なくとも一方を画像処理装置が補正する点が、第１実施形態と相違する。第２実施形態では、第１実施形態との相違点についてのみ説明する。
図１２は、画像処理システム１ｂの構成の例を示す図である。画像処理システム１ｂは、カメラ２−１〜２−Ｎと、画像処理装置３ｂと、表示装置４とを備える。画像処理装置３ｂは、パーソナルコンピュータ装置、サーバ装置、スマートフォン端末、タブレット端末等の情報処理装置である。画像処理装置３ｂと表示装置４とは、別体でもよいし一体でもよい。画像処理装置３ｂは、カメラ２−ｎが出力した画像に画像処理を施す。画像処理装置３ｂは、画像取得部３０と、操作部３１と、変数決定部３２と、記憶部３３と、選択部３４と、切出部３５と、出力部３６と、補正部３７とを備える。
補正部３７は、切り出された物体画像の向き及び大きさのうち少なくとも一方を補正する。補正部３７は、切り出された物体画像の向き及び大きさのうち少なくとも一方を補正する場合、例えば、アフィン変換行列を用いたアフィン変換処理を、カメラ画像から切り出された物体画像及び領域に施す。アフィン変換行列は、回転、拡大又は縮小等の処理が施される領域を示す情報を含んでもよい。補正部３７は、切り出された物体画像の向き及び大きさのうち少なくとも一方を補正する。
補正部３７は、物体実位置の物体６を観察者仮位置から観察者５が見た場合における物体６の見かけ上の向きと表示画面における物体画像の見かけ上の向きとが一致するように、物体画像を回転する。例えば、補正部３７は、カメラ実位置角度に基づいて、物体画像を回転する。すなわち、補正部３７は、物体画像の歪みを補正する。
補正部３７は、物体実位置の物体６を観察者仮位置から観察者５が見た場合における物体６の見かけ上の大きさと表示画面における物体画像の見かけ上の大きさとが一致するように、物体画像を拡大又は縮小する。例えば、補正部３７は、物体仮位置６０から観察者実位置までの距離と物体実位置から観察者実位置までの距離との比に基づいて、物体画像を拡大又は縮小する。出力部３６は、物体画像の向き及び大きさのうち少なくとも一方が補正された物体画像を、表示装置４に出力する。
図１３は、表示画像の例を示す図である。表示装置４の画面は、表示位置情報に基づいて画面の中央で物体光学像を隠すように、向き及び大きさのうち少なくとも一方が補正された物体画像を含む領域を表示する。実空間において観察者５に正対する物体６の面は、図１３に示す表示画像４０でも観察者５に正対している。図１３では、物体実位置の物体６を観察者仮位置から観察者５が見た場合における物体６の見かけ上の大きさと、表示画像４０における物体画像の見かけ上の大きさとが、一致している。
これによって、表示装置４の画面は、物体６の物体光学像を表示する代わりに、向き及び大きさのうち少なくとも一方が補正された物体画像を表示することができる。観察者５は、図１３に示された表示画像４０を見た場合、実空間では静止している物体６が物体仮位置６０に移動したという拡張現実感（ＡＲ）や複合現実感（ＭＲ）を得ることができる。
以上のように、第２実施形態の画像処理装置３ｂは、第１実施形態の画像処理装置３ａと比較して、補正部３７を更に備える。補正部３７は、切り出された物体画像の向き及び大きさのうち少なくとも一方を補正する。出力部３６は、物体画像の向き及び大きさのうち少なくとも一方が補正された物体画像を、表示装置４に出力する。これによって、第２実施形態の画像処理装置３ｂは、実空間で物体が仮に移動されたとした場合に観察される物体の画像の見かけ上の大きさ又は向きと、表示画面に表示された画像の空間で仮想的に移動された物体の物体画像の見かけ上の大きさ又は向きとが異ならないようにすることが可能となる。
（第３実施形態）
第３実施形態では、画像処理装置がカメラを移動する点が、第２実施形態と相違する。第３実施形態では、第２実施形態との相違点についてのみ説明する。
図１４は、画像処理システム１ｃの構成の例を示す図である。画像処理システム１ｃは、カメラ２と、画像処理装置３ｃと、表示装置４とを備える。画像処理装置３ｃは、パーソナルコンピュータ装置、サーバ装置、スマートフォン端末、タブレット端末等の情報処理装置である。画像処理装置３ｃと表示装置４とは、別体でもよいし一体でもよい。画像処理装置３ｃは、カメラ２−ｎが出力した画像に画像処理を施す。画像処理装置３ｃは、画像取得部３０と、操作部３１と、変数決定部３２と、記憶部３３と、切出部３５と、出力部３６と、補正部３７と、配置決定部３８と、配置部３９とを備える。
配置決定部３８は、移動されるカメラ２の位置及び向きを決定する決定装置として機能する。配置決定部３８は、カメラ実位置角度とカメラ実位置距離とのうち少なくとも一方と優先情報とに基づいて、カメラ２の位置及び向きを決定する。配置決定部３８は、物体画像の向きを物体画像の大きさよりも優先する場合、カメラ実位置角度が所定角度以下であることを、カメラ実位置距離が所定距離以下であることよりも優先してカメラ２の位置及び向きを決定する。図２に示すカメラ２の配置の例では、配置決定部３８は、カメラ実位置角度が所定角度以下のＡ２であるカメラ２−２の位置及び向きを、配置されるカメラ２の位置及び向きとして決定する。なお、カメラ実位置角度が所定角度以下であるカメラ２が複数ある場合には、配置決定部３８は、カメラ実位置距離がより短いカメラ２の位置及び向きを優先して、配置されるカメラ２の位置及び向きとして決定してもよい。
配置決定部３８は、カメラ実位置角度と距離差とのうち少なくとも一方と優先情報とに基づいて、カメラ２−ｎを選択してもよい。配置決定部３８は、物体画像の大きさを物体画像の向きよりも優先する場合、カメラ実位置距離が所定距離以下であることを、カメラ実位置角度が所定角度以下であることよりも優先してカメラ２の位置及び向きを決定する。図２に示すカメラ２の配置の例では、配置決定部３８は、カメラ実位置距離が所定距離以下のＬ２５０であるカメラ２−２の位置及び向きを、配置されるカメラ２の位置及び向きとして決定する。なお、カメラ実位置距離が所定距離以下であるカメラ２が複数ある場合には、配置決定部３８は、カメラ実位置距離がより短いカメラ２の位置及び向きを優先して、配置されるカメラ２の位置及び向きとして選択してもよい。
配置決定部３８は、カメラ実位置角度と距離差とのうち少なくとも一方と優先情報とに基づいて、カメラ２−ｎを選択してもよい。配置決定部３８は、物体画像の向きを物体画像の大きさよりも優先する場合、カメラ実位置角度が所定角度以下であることを、距離差が所定閾値以下であることよりも優先してカメラ２の位置及び向きを決定する。図２に示すカメラ２の配置の例では、選択部３４は、カメラ実位置角度が所定角度以下のＡ２であるカメラ２−２の位置及び向きを、配置されるカメラ２の位置及び向きとして決定する。
配置決定部３８は、物体画像の大きさを物体画像の向きよりも優先する場合、距離差が所定閾値以下であることを、カメラ実位置角度が所定角度以下であることよりも優先してカメラ２の位置及び向きを決定する。図２に示すカメラ２の配置の例では、配置決定部３８は、距離差が所定閾値以下のＤ３であるカメラ２−３の位置及び向きを、配置されるカメラ２の位置及び向きとして決定する。なお、距離差が所定閾値以下であるカメラ２が複数ある場合には、配置決定部３８は、距離差がより短いカメラ２の位置及び向きを優先して、配置されるカメラ２の位置及び向きとして選択してもよい。
配置部３９は、決定された位置にカメラ２を移動する。配置部３９は、決定された向きにカメラ２を配置する。例えば、配置部３９は、モータ等のアクチュエータを駆動することによって、カメラ２を移動及び配置する。配置部３９は、位置センサの検出結果に基づいて、配置されたカメラ２の位置情報を検出してもよい。配置部３９は、加速度センサや方位センサの検出結果に基づいて、カメラ２の向き（姿勢）を検出してもよい。
図１５は、画像処理装置３ｃの動作の例を示すフローチャートである。ステップＳ２０１からステップＳ２０４までは、図１１のステップＳ１０１からステップＳ１０４までと同じである。配置部３９は、決定された変数と優先情報とに基づいてカメラ２を配置する（ステップＳ２０５）。画像取得部３０は、物体画像を含む静止画像又は動画像を、配置されたカメラ２から取得する（ステップＳ２０６）。ステップＳ２０７からステップＳ２０９までは、図１１のステップＳ１０６からステップＳ１０８までと同じである。
以上のように、第３実施形態の画像処理装置３ｃは、実空間に物体が配置されており、表示装置の画面に表示された画像の空間で移動されたように観察される物体の静止画像又は動画像である物体画像を含む画像を出力するカメラの位置及び向きを決定する決定装置を備える。第３実施形態の決定装置は、配置決定部３８を備える。配置決定部３８は、表示装置の画面に表示された物体画像を観察する観察者の仮の位置である観察者仮位置から物体の実際の位置である物体実位置までを結ぶ線とカメラの実際の位置であるカメラ実位置から物体実位置までを結ぶ線とが成す角度と、観察者仮位置からカメラ実位置までの距離とのうち少なくとも一方に基づいてカメラの位置及び向きを決定する。これによって、第３実施形態の画像処理装置３ｃは、実空間で物体が仮に移動されたとした場合に観察される物体の画像の見かけ上の大きさ又は向きと、表示画面に表示された画像の空間で仮想的に移動された物体の物体画像の見かけ上の大きさ又は向きとが異ならないようにすることが可能となる。
（第４実施形態）
第４実施形態では、観察者５と物体６とが異なる実空間に存在する点が、第１実施形態と相違する。第４実施形態では、第１実施形態との相違点についてのみ説明する。
以下、観察者５が存在する実空間を「第１空間」という。以下、物体６が存在する実空間を「第２空間」という。第１空間と第２空間とは、互いに隣接している異なる実空間でもよいし、互いに離れている異なる実空間でもよい。
第１空間は、例えば、実空間における野球場の小型模型（ミニチュア）である。野球場の小型模型は、例えば、実空間におけるテーブル上に置かれる。第２空間は、第１空間が野球場の小型模型である場合、例えば、実空間における原寸大の野球場である。原寸大の野球場では、野球の試合が行われていてもよい。第１空間が野球場の小型模型であり、第２空間が原寸大の野球場である場合、仮想空間は、例えば、第１空間及び第２空間の互いの座標系が一致するように第１空間及び第２空間の少なくとも一方の距離が縮尺補正されており、第２空間に存在する物体の物体画像が第１空間に重畳表示されている画面上の空間である。第２空間における原寸大の野球場に存在する物体６の物体画像は、第１空間における距離と第２空間における距離とに基づいて縮尺補正されることによって、野球場の小型模型において物体６が仮想的に移動するように観察される画像として表示装置４の画面に表示される。
第１空間は、例えば、実空間における原寸大の第１の野球場である。第２空間は、第１空間が原寸大の第１の野球場である場合、例えば、実空間における原寸大の第２の野球場である。画像取得部３０は、原寸大の第２の野球場において過去に行われた野球の試合の動画像を取得してもよい。第１空間が原寸大の第１の野球場であり、第２空間が原寸大の野球場である場合、仮想空間は、例えば、第１空間及び第２空間の互いの座標系が一致するように第１空間及び第２空間が原寸大のまま、第２空間に存在する物体の物体画像が第１空間に重畳表示されている画面上の空間である。第２空間における原寸大の野球場に存在する物体６の物体画像は、第１空間における原寸大の野球場において物体６が仮想的に移動するように観察される画像として表示装置４の画面に表示される。
図１６は、画像処理システム１ｄの構成の例を示す図である。画像処理システム１ｄは、カメラ２−１〜２−Ｎと、画像処理装置３ｄと、表示装置４とを備える。画像処理装置３ｄは、パーソナルコンピュータ装置、サーバ装置、スマートフォン端末、タブレット端末等の情報処理装置である。画像処理装置３ｄと表示装置４とは、別体でもよいし一体でもよい。画像処理装置３ｄは、カメラ２−ｎが出力した画像に画像処理を施す。画像処理装置３ｄは、画像取得部３０と、操作部３１と、変数決定部３２と、記憶部３３と、選択部３４と、切出部３５と、出力部３６と、座標処理部４１とを備える。
画像処理装置３ｄは、第１空間を撮像することが可能なカメラを更に備えてもよい。記憶部３３は、第１空間又は第２空間における所定の物体の配置を表す情報を記憶してもよい。例えば、記憶部３３は、第１空間又は第２空間における野球場の設計図を記憶してもよい。
図１７は、第１空間１０１での観察者５の配置の例を示す俯瞰図である。以下、第１空間及び第２空間において共通して存在する種類の物体を「共通物体」という。例えば、第１空間が野球場の小型模型であり、第２空間が原寸大の野球場である場合、共通物体は、ホームベース等のベースである。
図１７では、第１空間１０１は、野球場の小型模型である。第１共通物体７−１は、ホームベースの小型模型である。第２共通物体８−１は、１塁ベースの小型模型である。第３共通物体９−１は、２塁ベースの小型模型である。第４共通物体１０−１は、３塁ベースの小型模型である。第１共通物体７−１から第４共通物体１０−１までの各共通物体は、第１空間１０１において移動しなくてもよい。共通物体は、物体の一部分でもよい。共通物体の個数は、４個でなくてもよい。例えば、カメラ２の光軸方向が定められている場合、共通物体の個数は、３個以下でもよい。観察者５は、表示装置４の画面を透過した光によって、第１空間１０１を物体光学像として観察する。
図１８は、表示画像４２の例を示す図である。表示画像４２は、観察者５が第１空間１０１を観察している場合における、表示装置４の画面に表示された画像である。図１８では、第１空間は、一例として、図１７に示す第１空間１０１のような野球場の小型模型である。表示装置４は、微調整キー画像１５と、決定キー画像１６と、メニューキー画像１７とを、操作部３１の操作キーの画像として画面に表示する。
観察者５は、操作部３１を操作することによって、第１空間１０１における物体仮位置６０−１を決定する。第１空間１０１における物体仮位置６０−１は、観察者５以外によって決定されてもよい。例えば、第１空間１０１における物体仮位置６０−１は、外部装置によって決定されてもよい。
観察者５は、操作部３１を操作することによって、表示装置４の画面上で第１空間の原点（以下「第１原点」という。）の位置を指定する。例えば、観察者５は、第１空間１０１に存在する物体と第２空間１０２に存在する物体とで各空間における配置に共通点がある共通物体の位置を指定する。共通物体の配置は、例えば、野球場におけるホームベースと１塁ベースと２塁ベースと３塁ベースとの相対的な配置である。観察者５は、表示画像４２において、ホームベース、１塁ベース、２塁ベース、３塁ベースの順番に共通物体の画像を指でタッチして、各共通物体の位置を指定する。第１空間の第１原点は、例えば、最初にタッチされた第１共通物体７−１の位置である。観察者５は、表示画像４２において物体仮位置６０−１の位置を指でタッチして、物体仮位置６０−１の位置を指定してもよい。
表示装置４は、観察者５がメニューキー画像１７を押下操作した場合、表示画像４２に矢印画像１１〜１４を表示する。観察者５は、微調整キー画像１５を押下操作することによって表示画像４２において矢印画像１１を移動させて、表示画像４２における第１共通物体７−１の正確な指定位置を微調整（キャリブレーション）する。観察者５は、微調整キー画像１５を押下操作することによって表示画像４２において矢印画像１２を移動させて、表示画像４２における第２共通物体８−１の正確な指定位置を微調整する。観察者５は、微調整キー画像１５を押下操作することによって表示画像４２において矢印画像１３を移動させて、表示画像４２における第３共通物体９−１の正確な指定位置を微調整する。観察者５は、微調整キー画像１５を押下操作することによって表示画像４２において矢印画像１４−１を矢印画像１４−２の位置まで移動させて、表示画像４２における第４共通物体１０−１の正確な指定位置を微調整する。観察者５は、表示画像４２における各共通物体の正確な指定位置を決定する場合、決定キー画像１６を押下操作する。
操作部３１は、決定キー画像１６の押下操作を受け付けた場合、表示画像４２における各共通物体の位置情報（指定位置情報）を、座標処理部４１に出力する。操作部３１は、決定キー画像１６の押下操作を受け付けた場合、表示画像４２における物体仮位置６０−１の位置情報を、座標処理部４１に出力する。
図１９は、第２空間１０２での物体６及びカメラ２の配置の例を示す俯瞰図である。図１９では、第２空間１０２は、原寸大の野球場である。第１共通物体７−２は、原寸大のホームベースである。第２共通物体８−２は、原寸大の１塁ベースである。第３共通物体９−２は、原寸大の２塁ベースである。第４共通物体１０−２は、原寸大の３塁ベースである。第１共通物体７−２から第４共通物体１０−２までの各共通物体は、第２空間１０２において移動しない。共通物体は、物体の一部分でもよい。各カメラ２は、第２空間１０２を撮像する。
図１６に戻り、画像処理装置３ｄの構成の例の説明を続ける。座標処理部４１は、表示画像４２における各共通物体の位置情報を、操作部３１から取得する。例えば、座標処理部４１は、表示画像４２における第１共通物体７−１の位置情報を、第１原点の位置情報として取得する。座標処理部４１は、表示画像４２における物体仮位置６０−１の位置情報を、操作部３１から取得する。
座標処理部４１は、表示画像４２における各共通物体の位置情報に基づいて、第１空間１０１における第１共通物体７−１（第１原点）の位置を検出する。座標処理部４１は、表示画像４２における各共通物体の位置情報に基づいて、第１空間１０１における共通物体同士の距離を検出する。例えば、座標処理部４１は、第１空間１０１における第１共通物体７−１から第２共通物体８−１までの距離を検出する。例えば、座標処理部４１は、第１空間１０１における第１共通物体７−１から第３共通物体９−１までの距離を更に検出してもよい。例えば、座標処理部４１は、第１空間１０１における第１共通物体７−１から第４共通物体１０−１までの距離を更に検出してもよい。
座標処理部４１は、観察者５が決定キー画像１６を押下操作した場合、第１空間１０１の第１原点と、第１空間１０１の向きと、各共通物体同士の距離と、観察者実位置を基準とした各共通物体の位置の俯角とを検出する。第１空間１０１が野球場の小型模型である場合、座標処理部４１は、例えば、第１空間１０１の物体光学像に対する空間認識処理の結果に基づいて、第１空間１０１における第１原点の位置と、第１空間１０１の向きと、第１空間１０１における各共通物体同士の距離と、第１空間１０１における観察者実位置を基準とした各共通物体の位置の俯角とを検出する。
座標処理部４１は、例えば、ニューラルネットワークの学習結果を用いて空間認識処理を実行してもよい。座標処理部４１は、例えば、ホームベースの教師画像等を用いて空間認識を学習してもよい。
第１空間１０１が原寸大の野球場である場合、記憶部３３に記憶されている野球場の設計図は、第１空間１０１の各所に予め配置されたポジショントラッキング装置の位置を計測した結果を表す情報を含んでもよい。第１空間１０１が原寸大の野球場である場合、座標処理部４１は、例えば、ポジショントラッキング装置の位置を計測した結果に基づいて、第１空間１０１における第１原点の位置と、第１空間１０１の向きと、第１空間１０１における各共通物体同士の距離と、第１空間１０１における観察者実位置を基準とした各共通物体の位置の俯角とを検出する。
座標処理部４１は、第１空間１０１における第１共通物体７−１から物体仮位置６０−１までの距離を検出する。例えば、座標処理部４１は、第１空間１０１における第１共通物体７−１から物体仮位置６０−１までの距離を検出する。例えば、座標処理部４１は、第１空間１０１における第２共通物体８−１から物体仮位置６０−１までの距離を更に検出してもよい。例えば、座標処理部４１は、第１空間１０１における第３共通物体９−１から物体仮位置６０−１までの距離を更に検出してもよい。例えば、座標処理部４１は、第１空間１０１における第４共通物体１０−１から物体仮位置６０−１までの距離を更に検出してもよい。
座標処理部４１は、第２空間１０２における各共通物体の位置情報を、記憶部３３から取得する。例えば、座標処理部４１は、原寸大の野球場等である第２空間１０２の設計図として、第２空間１０２における各共通物体の位置情報を取得する。
座標処理部４１は、第２空間１０２における各共通物体の位置情報に基づいて、第２空間１０２の座標系の原点（以下「第２原点」という。）の位置を検出する。座標処理部４１は、第２空間１０２における各共通物体の位置情報に基づいて、第２空間１０２における共通物体同士の距離を検出する。例えば、座標処理部４１は、第２空間１０２における第１共通物体７−２から第２共通物体８−２までの距離を検出する。例えば、座標処理部４１は、第２空間１０２における第１共通物体７−２から第３共通物体９−２までの距離を更に検出してもよい。例えば、座標処理部４１は、第２空間１０２における第１共通物体７−２から第４共通物体１０−２までの距離を更に検出してもよい。
座標処理部４１は、観察者５が決定キー画像１６を押下操作した場合、第２空間１０２の第２原点と、第２空間１０２の向きと、各共通物体同士の距離と、所定位置を基準とした各共通物体の位置の俯角とを検出する。第２空間１０２が原寸大の野球場である場合、記憶部３３に記憶されている野球場の設計図は、第２空間１０２の各所に予め配置されたポジショントラッキング装置の位置を計測した結果を表す情報を含んでもよい。第２空間１０２が原寸大の野球場である場合、座標処理部４１は、例えば、ポジショントラッキング装置の位置を計測した結果に基づいて、第２空間１０２における第２原点の位置と、第２空間１０２の向きと、第２空間１０２における各共通物体同士の距離と、第２空間１０２における所定位置を基準とした各共通物体の位置の俯角とを検出する。
座標処理部４１は、第２原点を画面上で第１原点に一致させる。座標処理部４１は、第２空間の座標系の向きを第１空間の座標系の向きに一致させる。これらによって、座標処理部４１は、第１空間１０１の座標系の縮尺と第２空間１０２の座標系の縮尺とが同じである場合、第１空間１０１の座標系と第２空間１０２の座標系とを互いに変換することができる。
更に、座標処理部４１は、第１空間１０１の座標系の縮尺と第２空間１０２の座標系の縮尺とが異なる場合、第２空間１０２の座標系における距離と第１空間１０１の座標系における距離との比（距離比）を、共通物体の組ごとに検出する。すなわち、座標処理部４１は、第２空間１０２の座標系に対する第１空間１０１の座標系の縮尺を、共通物体の組ごとに検出する。例えば、座標処理部４１は、実空間の水平のｘ軸方向について、第１共通物体７−１から第２共通物体８−１までの距離と第１共通物体７−２から第２共通物体８−２までの距離との比を検出する。例えば、座標処理部４１は、実空間の水平のｙ軸方向について、第２共通物体８−１から第３共通物体９−１までの距離と第２共通物体８−２から第３共通物体９−２までの距離との比を検出してもよい。座標処理部４１は、各実空間のｚ軸方向（鉛直の上方向）について、第１空間１０１のｘｙ平面から第１空間１０１の所定の客席までの距離と第２空間１０２のｘｙ平面から第２空間１０２の所定の客席までの距離との比を検出してもよい。座標処理部４１は、第１空間１０１の座標系に対する第２空間１０２の座標系の縮尺を検出してもよい。距離比（縮尺）は、各実空間のｘｙｚの３軸で共通でもよいし、各実空間のｘｙｚの軸ごとに異なっていてもよい。これらによって、座標処理部４１は、第１空間１０１の座標系の縮尺と第２空間１０２の座標系の縮尺とが異なる場合でも、第１空間１０１の座標系と第２空間１０２の座標系とを互いに変換することができる。
座標処理部４１は、第１空間１０１の座標系と第２空間１０２の座標系とを対応付けた結果に基づいて、第２空間１０２における観察者仮位置５０を決定する。例えば、座標処理部４１は、第１空間１０１における第１共通物体７−１から物体仮位置６０−１までの距離と距離比とに基づいて、第２空間１０２における物体仮位置６０−２を決定する。座標処理部４１は、第２空間における物体仮位置６０−２に基づいて、第２空間１０２における観察者仮位置５０を決定する。
座標処理部４１は、第２空間１０２における観察者仮位置５０を、変数決定部３２に出力する。変数決定部３２は、第２空間における観察者仮位置５０に基づいて、図３に示すカメラ２の配置に関する変数を更新する。
観察者５は、第２空間１０２における観察者仮位置５０の近くに配置されているカメラ２が撮像した物体６の物体画像を表示装置４の画面の表示画像によって観察するので、物体６が移動したという拡張現実感や複合現実感を得ることができる。観察者５が拡張現実感や複合現実感を得ることができるのは、物体実位置から物体仮位置６０−２まで物体６が移動した場合に観察者５が見る画像と、物体実位置に配置されている物体６を観察者５が観察者仮位置５０から観察した場合に観察者５が見る画像とが、等価だからである。
図２０は、画像処理装置３ｄの動作の例を示すフローチャートである。座標処理部４１は、表示画像４２における各共通物体の位置情報を取得する（ステップＳ３０１）。座標処理部４１は、表示画像４２における物体仮位置の位置情報を取得する（ステップＳ３０２）。座標処理部４１は、第１空間１０１における共通物体同士の距離を検出する（ステップＳ３０３）。座標処理部４１は、第１空間１０１における各共通物体から物体仮位置６０−１までの距離を検出する（ステップＳ３０４）。
座標処理部４１は、第２空間１０２における各共通物体の位置情報を取得する（ステップＳ３０５）。座標処理部４１は、第２空間１０２における共通物体同士の距離を検出する（ステップＳ３０６）。座標処理部４１は、第１空間１０１における共通物体同士の距離と第２空間１０２における共通物体同士の距離との比（距離比）を、共通物体の組ごとに決定する（ステップＳ３０７）。座標処理部４１は、第１空間１０１における第１共通物体７−１（第１原点）から物体仮位置６０−１までの距離と距離比とに基づいて、第２空間１０２における物体仮位置６０−２を決定する（ステップＳ３０８）。座標処理部４１は、第２空間１０２における物体仮位置６０−２に基づいて、第２空間１０２における観察者仮位置５０を決定する（ステップＳ３０９）。
なお、第１空間は、野球場の小型模型でなくてもよく、例えば、サッカー場の小型模型でもよい。第１空間は、原寸大の野球場でなくてもよく、例えば、原寸大のサッカー場でもよい。同様に、第２空間は、原寸大のサッカー場でもよい。第１空間がサッカー場の小型模型である場合、図１８に示された表示画像４２は、ゴールポストが左右に配置されたサッカー場の小型模型を鉛直下方向に見下ろした場合の俯瞰図でもよい。第１空間が原寸大のサッカー場である場合、図１８に示された表示画像４２は、ゴールポストが左右に配置された原寸大のサッカー場を鉛直下方向に見下ろした場合の俯瞰図でもよい。
第１空間が原寸大のサッカー場である場合、原寸大のサッカー場を鉛直下方向に見下ろした場合の俯瞰図において、第１共通物体７−１は、ゴールラインの左下隅の部分でもよい。第２共通物体８−１は、ゴールラインの右下隅の部分でもよい。第３共通物体９−１は、ゴールラインの左上隅の部分でもよい。第４共通物体１０−１は、ゴールポストにおいて最も位置が高い枠の一部分でもよい。
座標処理部４１は、実空間の水平のｘ軸方向について、第１共通物体７−１から第２共通物体８−１までの距離と第１共通物体７−２から第２共通物体８−２までの距離との比を検出してもよい。座標処理部４１は、実空間の水平のｙ軸方向について、第２共通物体８−１から第３共通物体９−１までの距離と第２共通物体８−２から第３共通物体９−２までの距離との比を検出してもよい。座標処理部４１は、各実空間のｚ軸方向（鉛直の上方向）について、ｘｙ平面から第４共通物体１０−１までの距離とｘｙ平面から第４共通物体１０−２までの距離との比を検出してもよい。
以上のように、第４実施形態の画像処理装置３ｄは、座標処理部４１を備える。座標処理部４１は、第１空間１０１の座標系と第２空間１０２の座標系とを対応付けた結果に基づいて、第２空間１０２における観察者仮位置５０を決定する。
これによって、第４実施形態の画像処理装置３ｄは、観察者５と物体６とが異なる実空間に存在する場合でも、実空間で物体が仮に移動されたとした場合に観察される物体の画像の見かけ上の大きさ又は向きと、表示画面に表示された画像の空間で仮想的に移動された物体の物体画像の見かけ上の大きさ又は向きとが異ならないようにすることが可能となる。
なお、第１実施形態から第３実施形態までにおいて、画像処理装置３ａ〜３ｃは、座標処理部４１を更に備えてもよい。
（第５実施形態）
第５実施形態では、表示画面に表示されることになる物体画像の大きさを定める倍率に応じて画像処理装置がカメラを選択又は移動する点が、第１実施形態と相違する。第５実施形態では、第１実施形態との相違点についてのみ説明する。
図２１は、画像処理システム１ｅの構成の例を示す図である。画像処理システム１ｅは、カメラ２−１〜２−Ｎと、画像処理装置３ｅと、表示装置４とを備える。画像処理装置３ｅは、パーソナルコンピュータ装置、サーバ装置、スマートフォン端末、タブレット端末等の情報処理装置である。画像処理装置３ｅと表示装置４とは、別体でもよいし一体でもよい。画像処理装置３ｅは、カメラ２−ｎが出力した画像に画像処理を施す。画像処理装置３ｅは、画像取得部３０と、操作部３１と、変数決定部３２と、記憶部３３と、選択部３４ｅと、切出部３５と、出力部３６とを備える。画像処理装置３ｅは、配置部３９を更に備えてもよい。
物体６の所定方向の長さＷ０と、表示装置４の画面における物体画像の所定方向の長さＷｉとの関係は、式（１）のように表される。所定方向とは、例えば、ｘ軸方向、ｙ軸方向又はｚ軸方向である。
Ｗｉ＝ｆ／ｄ×Ｗ０ …（１）
ここで、ｆは、カメラ２が備えるレンズの焦点距離を表す。焦点距離ｆは、一定である。ｄは、カメラ２から物体６（被写体）までの距離を表す。Ｗ０は、物体６の所定方向の長さを表す。Ｗｉは、表示装置４の画面における物体画像の同一の所定方向の長さである。なお、式（１）の「Ｗ０」には、（ｆ／ｄ）以外の他の係数が更に乗算されてもよい。
選択部３４ｅは、カメラ２−１〜２−Ｎのうちから選択されているカメラ２から物体６までの距離ｄを検出する。選択部３４ｅは、画面における物体画像の所定方向の長さＷｉをＸ倍にすることを表す命令信号を、操作部３１から取得する。選択部３４ｅは、長さＷｉをＸ倍にすることを表す命令信号を取得した場合、物体６までの距離が（ｄ／Ｘ）であるカメラ２を選択する。Ｘは、倍率を表す。
選択部３４ｅは、例えば、観察者実位置から物体仮位置６０までの距離が観察者実位置から物体実位置までの距離の（１／Ｘ）倍である場合、画面における物体画像の所定方向の長さＷｉをＸ倍にすると決定してもよい。選択部３４ｅは、画面における物体画像の所定方向の長さＷｉをＸ倍にすると決定した場合、物体６までの距離が（ｄ／Ｘ）であるカメラ２を選択する。選択部３４ｅは、優先情報に基づいて、物体６までの距離が（ｄ／Ｘ）に近いカメラ２を選択してもよい。例えば、表示画像における物体画像の向きを物体画像の大きさよりも優先することを優先情報が表している場合、選択部３４ｅは、物体６までの距離が（ｄ／Ｘ）に近いカメラ２を選択してもよい。
選択部３４ｅは、画像処理装置３ｅが配置部３９を備えている場合、物体６までの距離が（ｄ／Ｘ）となる位置にカメラ２を配置してもよい。選択部３４ｅは、物体６を画角に含む向きでカメラ２を配置する。
図２２は、画像処理装置３ｅの動作の例を示すフローチャートである。選択部３４ｅは、カメラ２−１〜２−Ｎのうちから選択されているカメラ２から物体６までの距離ｄを検出する（ステップＳ４０１）。選択部３４ｅは、画面における物体画像の所定方向の長さＷｉをＸ倍にすることを表す命令信号を、操作部３１から取得する（ステップＳ４０２）。選択部３４ｅは、長さＷｉをＸ倍にすることを表す命令信号を取得した場合、物体６までの距離が（ｄ／Ｘ）であるカメラ２を選択する（ステップＳ４０３）。
以上のように、第５実施形態の画像処理装置３ｅは、選択部３４ｅを備える。選択部３４ｅは、選択部３４ｅが倍率に基づいてカメラ２を選択する場合、カメラ２から物体６までの距離が倍率（Ｘ）の逆数に応じて定まる距離（ｄ／Ｘ）の位置にあるカメラ２を選択する。
これによって、第５実施形態の画像処理装置３ｅは、表示画面に表示されることになる物体画像の大きさを定める倍率に応じて画像処理装置がカメラを選択又は移動する場合でも、実空間で物体が仮に移動されたとした場合に観察される物体の画像の見かけ上の大きさ又は向きと、表示画面に表示された画像の空間で仮想的に移動された物体の物体画像の見かけ上の大きさ又は向きとが異ならないようにすることが可能となる。
なお、第１実施形態において、画像処理装置３ａの選択部３４は、選択部３４ｅと同様の処理を更に実行してもよい。第２実施形態において、画像処理装置３ｂの選択部３４は、選択部３４ｅと同様の処理を更に実行してもよい。第３実施形態において、画像処理装置３ｃの配置決定部３８は、選択部３４ｅと同様の処理を更に実行してもよい。第４実施形態までにおいて、画像処理装置３ｄの選択部３４は、選択部３４ｅと同様の処理を更に実行してもよい。
上述した実施形態における画像処理システム、決定装置及び画像処理装置の少なくとも一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
本発明は、拡張現実感（ＡＲ）又は複合現実感（ＭＲ）を観察者に与える画像を出力する画像処理装置に適用可能である。
１ａ−１ｅ…画像処理システム、２…カメラ、３ａ−３ｅ…画像処理装置、４…表示装置、５…観察者、６…物体、７…第１共通物体、８…第２共通物体、９…第３共通物体、１０…第４共通物体、１１…矢印画像、１２…矢印画像、１３…矢印画像、１４…矢印画像、１５…微調整キー画像、１６…決定キー画像、１７…メニューキー画像、２０…光軸、２１…カメラ画像、２２…カメラ画像、２３…カメラ画像、２４…カメラ画像、３０…画像取得部、３１…操作部、３２…変数決定部、３３…記憶部、３４，３４ｅ…選択部、３５…切出部、３６…出力部、３７…補正部、３８…配置決定部、３９…配置部、４０…表示画像、４１…座標処理部、４２…表示画像、５０…観察者仮位置、５１…視線、５２…視野境界、６０…物体仮位置、１００…部屋、１０１…第１空間、１０２…第２空間、２２０…領域、２３０…領域

Claims (9)

  1. 実空間に配置された物体を撮像するように位置及び向きが定められた複数のカメラが実空間に配置され、表示装置の画面に表示された画像の空間で移動されたように観察される前記物体の静止画像又は動画像である物体画像を含む画像を出力する前記カメラを、複数の前記カメラから選択する決定装置であって、
    前記画面に表示された前記物体画像を観察する観察者の仮の位置である観察者仮位置から前記物体の実際の位置である物体実位置までを結ぶ線と前記カメラの実際の位置であるカメラ実位置から前記物体実位置までを結ぶ線とが成す角度と、前記観察者仮位置から前記カメラ実位置までの距離とに基づいて前記カメラを選択する選択部
    を備え、
    前記選択部は、前記物体画像の向きを前記物体画像の大きさよりも優先する場合、前記角度が所定角度以下であることを、前記距離が所定距離以下であることよりも優先して前記カメラを選択する、
    決定装置。
  2. 実空間に配置された物体を撮像するように位置及び向きが定められた複数のカメラが実空間に配置され、表示装置の画面に表示された画像の空間で移動されたように観察される前記物体の静止画像又は動画像である物体画像を含む画像を出力する前記カメラを、複数の前記カメラから選択する決定装置であって、
    前記画面に表示された前記物体画像を観察する観察者の仮の位置である観察者仮位置から前記物体の実際の位置である物体実位置までを結ぶ線と前記カメラの実際の位置であるカメラ実位置から前記物体実位置までを結ぶ線とが成す角度と、前記観察者仮位置から前記カメラ実位置までの距離とに基づいて前記カメラを選択する選択部
    を備え、
    前記選択部は、前記物体画像の大きさを前記物体画像の向きよりも優先する場合、前記距離が所定距離以下であることを、前記角度が所定角度以下であることよりも優先して前記カメラを選択する、
    決定装置。
  3. 実空間に配置された物体を撮像するように位置及び向きが定められた複数のカメラが実空間に配置され、表示装置の画面に表示された画像の空間で移動されたように観察される前記物体の静止画像又は動画像である物体画像を含む画像を出力する前記カメラを、複数の前記カメラから選択する決定装置であって、
    前記画面に表示された前記物体画像を観察する観察者の仮の位置である観察者仮位置から前記物体の実際の位置である物体実位置までを結ぶ線と前記カメラの実際の位置であるカメラ実位置から前記物体実位置までを結ぶ線とが成す角度と、前記観察者仮位置から前記物体実位置までの距離と前記カメラ実位置から前記物体実位置までの距離との差とに基づいて前記カメラを選択する選択部
    を備え、
    前記選択部は、前記物体画像の向きを前記物体画像の大きさよりも優先する場合、前記観察者仮位置から前記物体実位置までを結ぶ線と前記カメラ実位置から前記物体実位置までを結ぶ線とが成す角度が所定角度以下であることを、前記距離の差が所定閾値以下であることよりも優先して前記カメラを選択する、
    決定装置。
  4. 実空間に配置された物体を撮像するように位置及び向きが定められた複数のカメラが実空間に配置され、表示装置の画面に表示された画像の空間で移動されたように観察される前記物体の静止画像又は動画像である物体画像を含む画像を出力する前記カメラを、複数の前記カメラから選択する決定装置であって、
    前記画面に表示された前記物体画像を観察する観察者の仮の位置である観察者仮位置から前記物体の実際の位置である物体実位置までを結ぶ線と前記カメラの実際の位置であるカメラ実位置から前記物体実位置までを結ぶ線とが成す角度と、前記観察者仮位置から前記物体実位置までの距離と前記カメラ実位置から前記物体実位置までの距離との差とに基づいて前記カメラを選択する選択部
    を備え、
    前記選択部は、前記物体画像の大きさを前記物体画像の向きよりも優先する場合、前記距離の差が所定閾値以下であることを、前記角度が所定角度以下であることよりも優先して前記カメラを選択する、
    決定装置。
  5. 実空間に配置された物体を撮像するように位置及び向きが定められた複数のカメラが実空間に配置され、表示装置の画面に表示された画像の空間で移動されたように観察される前記物体の静止画像又は動画像である物体画像を含む画像を出力する前記カメラを、複数の前記カメラから選択する決定装置であって、
    倍率に基づいて前記カメラを選択する場合、前記カメラから前記物体までの距離が前記倍率の逆数に応じて定まる距離の位置にある前記カメラを選択する選択部を備える、
    決定装置。
  6. 前記観察者が存在する実空間である第１空間の座標系と前記物体が存在する実空間である第２空間の座標系とを対応付けた結果に基づいて、前記第２空間における前記観察者の仮の位置である観察者仮位置を決定する座標処理部と、
    前記第２空間における前記観察者仮位置に基づいて、前記カメラの配置に関する変数を更新する変数決定部と
    を更に備える、請求項１から請求項５のいずれか一項に記載の決定装置。
  7. 請求項１から請求項６のいずれか一項に記載の決定装置と、
    選択された前記カメラから、前記物体画像を含む画像を取得する画像取得部と、
    前記物体画像を含む画像から、前記物体画像を切り出す切出部と、
    切り出された前記物体画像を前記表示装置に出力する出力部と
    を備える画像処理装置。
  8. 切り出された前記物体画像の向き及び大きさのうち少なくとも一方を補正する補正部
    を更に備え、
    前記出力部は、前記物体画像の向き及び大きさのうち少なくとも一方が補正された前記物体画像を前記表示装置に出力する、請求項７に記載の画像処理装置。
  9. 請求項１から請求項６のいずれか一項に記載の決定装置としてコンピュータを機能させるための決定プログラム。
JP2017161552A 2017-02-06 2017-08-24 決定装置、画像処理装置及び決定プログラム Active JP6693920B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017019474 2017-02-06
JP2017019474 2017-02-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019217074A Division JP6737945B2 (ja) 2017-02-06 2019-11-29 決定装置、画像処理装置及び決定プログラム

Publications (2)

Publication Number Publication Date
JP2018129786A JP2018129786A (ja) 2018-08-16
JP6693920B2 true JP6693920B2 (ja) 2020-05-13

Family

ID=63173211

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017161552A Active JP6693920B2 (ja) 2017-02-06 2017-08-24 決定装置、画像処理装置及び決定プログラム
JP2019217074A Active JP6737945B2 (ja) 2017-02-06 2019-11-29 決定装置、画像処理装置及び決定プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019217074A Active JP6737945B2 (ja) 2017-02-06 2019-11-29 決定装置、画像処理装置及び決定プログラム

Country Status (1)

Country Link
JP (2) JP6693920B2 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001346200A (ja) * 2000-06-02 2001-12-14 Fuji Heavy Ind Ltd 画像切出し／表示システム
JP2005172851A (ja) * 2003-12-05 2005-06-30 Sony Corp 画像表示装置
JP2005286927A (ja) * 2004-03-30 2005-10-13 Konica Minolta Photo Imaging Inc 透過式頭部搭載表示装置

Also Published As

Publication number Publication date
JP6737945B2 (ja) 2020-08-12
JP2018129786A (ja) 2018-08-16
JP2020048210A (ja) 2020-03-26

Similar Documents

Publication Publication Date Title
JP6687204B2 (ja) 投影イメージ生成方法およびその装置、イメージピクセルと深度値との間のマッピング方法
CN108227914A (zh) 透明显示装置、使用其的控制方法及其控制器
US9268410B2 (en) Image processing device, image processing method, and program
CN103914876B (zh) 用于在3d地图上显示视频的方法和设备
US20140118557A1 (en) Method and apparatus for providing camera calibration
US11050997B2 (en) Dynamic display system capable of generating images corresponding to positions of users
WO2021097600A1 (zh) 一种隔空交互方法、装置和设备
CN107950019A (zh) 信息处理装置、信息处理方法和程序
JP7378243B2 (ja) 画像生成装置、画像表示装置および画像処理方法
JPWO2019069575A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP6708444B2 (ja) 画像処理装置および画像処理方法
WO2020262392A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN111091117B (zh) 用于二维全景图像的目标检测方法、装置、设备、介质
CN111161138B (zh) 用于二维全景图像的目标检测方法、装置、设备、介质
JP6737945B2 (ja) 決定装置、画像処理装置及び決定プログラム
US20230115736A1 (en) Interactive environment with virtual environment space scanning
WO2023278132A1 (en) Augmented reality eyewear with x-ray effect
JP2018129785A (ja) 決定装置、画像処理装置、決定方法及び決定プログラム
JP2018129784A (ja) 決定装置、画像処理装置、決定方法及び決定プログラム
JP2012191380A (ja) カメラ、画像変換装置、及び画像変換方法
US11928775B2 (en) Apparatus, system, method, and non-transitory medium which map two images onto a three-dimensional object to generate a virtual image
JP2019062302A (ja) 画像処理装置、画像表示装置及び画像処理プログラム
US20230316661A1 (en) Method for preventing the viewing of data regarded as confidential in a shared augmented reality environment and system of protection
CN108805804B (zh) 一种液晶电视中全景图片处理方法
TW202420241A (zh) 影像處理方法及電子裝置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200414

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200416

R150 Certificate of patent or registration of utility model

Ref document number: 6693920

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150