JP6246435B1 - 設置位置決定装置、設置位置決定方法及び設置位置決定プログラム - Google Patents

設置位置決定装置、設置位置決定方法及び設置位置決定プログラム Download PDF

Info

Publication number
JP6246435B1
JP6246435B1 JP2017539463A JP2017539463A JP6246435B1 JP 6246435 B1 JP6246435 B1 JP 6246435B1 JP 2017539463 A JP2017539463 A JP 2017539463A JP 2017539463 A JP2017539463 A JP 2017539463A JP 6246435 B1 JP6246435 B1 JP 6246435B1
Authority
JP
Japan
Prior art keywords
camera
installation position
virtual
specifying unit
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017539463A
Other languages
English (en)
Other versions
JPWO2017134987A1 (ja
Inventor
浩平 岡原
浩平 岡原
古木 一朗
一朗 古木
司 深澤
司 深澤
賢人 山▲崎▼
賢人 山▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6246435B1 publication Critical patent/JP6246435B1/ja
Publication of JPWO2017134987A1 publication Critical patent/JPWO2017134987A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

位置特定部(23)は、条件受付部(21)によって受け付けられたカメラ条件(41)に基づいて、領域受付部(22)によって受け付けられた対象領域(42)を撮影可能な各カメラの設置位置(45)を特定する。仮想映像生成部(24)は、特定された設置位置(45)に各カメラを設置した場合に、各カメラによってCG空間(43)を撮影した仮想撮影映像を生成し、生成された仮想撮影映像を俯瞰変換した上で合成して仮想合成映像(46)を生成する。表示部(25)は、生成された仮想合成映像(46)をディスプレイ(32)に表示する。

Description

この発明は、複数のカメラで撮影された映像を合成して対象範囲の映像を作成する場合における各カメラの設置位置を決定する技術に関する。
特許文献1〜3には、監視カメラの設置支援として、カメラからの仮想撮影映像をシミュレートするカメラ設置シミュレータが記載されている。このカメラ設置シミュレータは、監視カメラの設置対象施設の地図画像と車や障害物等の3次元モデルとを用いて、設置対象施設の3次元モデル空間を作成する。そして、このカメラ設置シミュレータは、その空間内の特定の位置に特定の姿勢でカメラを設置した場合の撮影可能範囲及び死角範囲と、撮影イメージとをシミュレートする。
特開2009−105802号公報 特開2009−239821号公報 特開2009−217115号公報
特許文献1〜3に記載されたカメラ設置シミュレータは、特定の位置及び姿勢でカメラを設置した場合の撮影範囲と見え方をシミュレートするものである。そのため、ユーザがある特定の領域を監視したい場合には、カメラの設置条件を変更しながら、対象領域をすべて撮影できる最適なカメラ設置位置を見つける必要があった。
また、特許文献1〜3に記載されたカメラ設置シミュレータは、単体のカメラを想定したものであり、複数のカメラ映像から合成映像を作成する際の、各カメラの最適な配置を決めることは考慮されていない。そのため、複数のカメラの映像を合成するとどのような映像が得られるかを知ることはできなかった。
この発明は、複数のカメラで撮影された映像を合成して、ユーザが望む対象領域の映像が得られる各カメラの設置位置を簡便に決定可能にすることを目的とする。
この発明に係る設置位置決定装置は、
カメラの台数を示すカメラ条件の入力を受け付ける条件受付部と、
前記条件受付部によって受け付けられた前記カメラ条件が示す台数以下の数のカメラで対象領域を撮影可能な各カメラの設置位置を特定する位置特定部と、
前記位置特定部によって特定された設置位置に前記各カメラを設置した場合に、前記各カメラによって仮想モデルを撮影した仮想撮影映像を生成し、生成された仮想撮影映像を俯瞰変換した上で合成して仮想合成映像を生成する仮想映像生成部と
を備える。
この発明は、カメラ条件が示す台数以下の数のカメラで対象領域を撮影可能な各カメラの設置位置が特定され、特定された設置位置に各カメラを設置した場合の仮想合成映像が生成される。そのため、ユーザは、カメラ条件を変更しながら仮想合成映像を確認するだけで、望む映像が得られる各カメラの設置位置を決定することができる。
実施の形態1に係る設置位置決定装置10の構成図。 実施の形態1に係る設置位置決定装置10の動作を示すフローチャート。 実施の形態1に係るCG空間43を上から見た上面図44を示す図。 実施の形態1に係る表示部25による表示例を示す図。 実施の形態1に係るステップS3のフローチャート。 実施の形態1に係るカメラ50の設置例を示す図。 実施の形態1に係るカメラ50の撮影可能範囲Hを示す図。 実施の形態1に係るカメラ50の撮影可能範囲Hを示す図。 実施の形態1に係る高さのある被写体を撮影した場合の伸びの説明図。 実施の形態1に係る利用範囲Hkの説明図。 実施の形態1に係るカメラ50の後方にいる被写体の説明図。 実施の形態1に係るカメラ50の後方にいる被写体の説明図。 実施の形態1に係るカメラ50の撮影可能範囲を上から見た図。 実施の形態1に係るカメラ50のy方向の設置例を示す図。 実施の形態1に係るステップS5のフローチャート。 実施の形態1に係る撮影面52の説明図。 実施の形態1に係る撮影面52での映像と平面に投影した映像とを示す図。 実施の形態1に係る俯瞰映像の切り捨て部分を示す図。 実施の形態1に係るαブレンディングの説明図。 変形例1に係る設置位置決定装置10の構成図。 変形例3に係る対象領域42が円形の領域である場合の説明図。 変形例3に係る対象領域42が円形の領域である場合の説明図。 変形例3に係るカメラ50が中心位置に配置された場合の説明図。 変形例3に係る対象領域42がL字型の領域である場合の説明図。 変形例3に係る対象領域42がL字型の領域である場合の説明図。 変形例4に係るカメラ50の配置の説明図。 変形例4に係るカメラ50の配置の説明図。 変形例4に係るカメラ50の配置の説明図。 変形例4に係るカメラ50の設置位置の特定方法の説明図。 変形例4に係るカメラ50の配置の説明図。 変形例4に係るカメラ50の配置の説明図。 変形例5に係る全天球カメラの説明図。 変形例5に係る全天球カメラの説明図。 変形例5に係る全天球カメラの配置の説明図。 実施の形態2に係る不可範囲47の説明図。 実施の形態2に係るカメラ50の設置位置の特定方法の説明図。 実施の形態2に係るカメラ50の設置位置の特定方法の説明図。 変形例6に係る対象領域42の例を示す図。 変形例6に係るカメラ50及び移動体カメラ53の設置位置の特定方法の説明図。 実施の形態3に係るカメラ50の設置位置の特定方法の説明図。 実施の形態3に係るカメラ50の設置位置の特定方法の説明図。
実施の形態1.
***構成の説明***
図1を参照して、実施の形態1に係る設置位置決定装置10の構成を説明する。
設置位置決定装置10は、コンピュータである。
設置位置決定装置10は、プロセッサ11と、記憶装置12と、入力インタフェース13と、表示インタフェース14とを備える。プロセッサ11は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
プロセッサ11は、プロセッシングを行うIC(Integrated Circuit)である。プロセッサ11は、具体的には、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)である。
記憶装置12は、メモリ121と、ストレージ122とを備える。メモリ121は、具体的には、RAM(Random Access Memory)である。ストレージ122は、具体的には、HDD(Hard Disk Drive)である。また、ストレージ122は、SD(Secure Digital)メモリカード、CF(CompactFlash)、NANDフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVDといった可搬記憶媒体であってもよい。
入力インタフェース13は、キーボード、マウス、タッチパネルといった入力装置31を接続する装置である。具体的には、入力インタフェース13は、USB(Universal Serial Bus)、IEEE1394、PS/2といったコネクタである。
表示インタフェース14は、ディスプレイ32を接続する装置である。具体的には、表示インタフェース14は、HDMI(登録商標)(High−Definition Multimedia Interface)、DVI(Digital Visual Interface)といったコネクタである。
設置位置決定装置10は、機能構成要素として、条件受付部21と、領域受付部22と、位置特定部23と、仮想映像生成部24と、表示部25とを備える。位置特定部23は、X位置特定部231と、Y位置特定部232とを備える。条件受付部21と、領域受付部22と、位置特定部23と、X位置特定部231と、Y位置特定部232と、仮想映像生成部24と、表示部25との各部の機能はソフトウェアにより実現される。
記憶装置12のストレージ122には、設置位置決定装置10の各部の機能を実現するプログラムが記憶されている。このプログラムは、プロセッサ11によりメモリ121に読み込まれ、プロセッサ11によって実行される。これにより、設置位置決定装置10の各部の機能が実現される。また、ストレージ122には、仮想合成映像46を得たい対象領域42を含む領域の地図データが記憶されている。
プロセッサ11によって実現される各部の機能の処理の結果を示す情報とデータと信号値と変数値は、メモリ121、又は、プロセッサ11内のレジスタ又はキャッシュメモリに記憶される。以下の説明では、プロセッサ11によって実現される各部の機能の処理の結果を示す情報とデータと信号値と変数値は、メモリ121に記憶されるものとして説明する。
プロセッサ11によって実現される各機能を実現するプログラムは、記憶装置12に記憶されているとした。しかし、このプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVDといった可搬記憶媒体に記憶されてもよい。
図1では、プロセッサ11は、1つだけ示されていた。しかし、プロセッサ11は、複数であってもよく、複数のプロセッサ11が、各機能を実現するプログラムを連携して実行してもよい。
***動作の説明***
図1から図19を参照して、実施の形態1に係る設置位置決定装置10の動作を説明する。
実施の形態1に係る設置位置決定装置10の動作は、実施の形態1に係る設置位置決定方法に相当する。また、実施の形態1に係る設置位置決定装置10の動作は、実施の形態1に係る設置位置決定プログラムの処理に相当する。
図1から図4を参照して、実施の形態1に係る設置位置決定装置10の動作概要を説明する。
図2に示すように、設置位置決定装置10の動作は、ステップS1からステップS7に分かれる。
<ステップS1:領域受付処理>
領域受付部22は、仮想合成映像46を得たい対象領域42の入力を受け付ける。
具体的には、領域受付部22は、地図データをストレージ122から読み出して、テクスチャマッピングを行う等して、2次元又は3次元のCG(Computer Graphics)空間43を生成する。領域受付部22は、図3に示すように、生成されたCG空間43を上から見た上面図44を、表示インタフェース14を介してディスプレイ32に表示する。そして、ユーザから入力装置31を介して上面図44内の領域が指定されることにより、領域受付部22は対象領域42を受け付ける。領域受付部22は、生成されたCG空間43及び受け付けた対象領域42をメモリ121に書き込む。
実施の形態1では、CG空間43はXYZ軸で表される3軸の空間とする。また、対象領域42は、XY軸で表される平面上のX軸及びY軸に平行な辺を持つ長方形であるとする。そして、対象領域42は、左上の座標値(x1、y1)と、X軸と平行なx方向の幅Wxと、Y軸と平行なy方向の幅Wyとによって指定されるとする。図3では、ハッチングで示された部分が対象領域42として指定されたとする。
<ステップS2:条件受付処理>
条件受付部21は、カメラ条件41の入力を受け付ける。
具体的には、ユーザから入力装置31を介して、設置するカメラ50の最大の台数2Nと、限界伸び率Kと、限界高さZhと、設置高さZsと、画角θと、解像度と、カメラ50の種類といった情報を示すカメラ条件41が入力され、条件受付部21は入力されたカメラ条件41を受け付ける。限界伸び率Kは、映像が俯瞰変換される際の被写体の伸び率(Q/P)の上限である(図9参照)。限界高さZhは、被写体の高さの上限である(図11、図12参照)。設置高さZsは、カメラ50が設置される高さの下限である(図7参照)。画角θは、カメラ50で撮影される映像に映る範囲を表す角度である(図7参照)。なお、後述するように、実施の形態1では、カメラ50を対向して設置する。そのため、カメラ台数は偶数となるので、カメラ50の最大の台数を2Nとしている。
実施の形態1では、条件受付部21は、表示インタフェース14を介して入力装置31に、GUI画面を表示して、カメラ条件41が示す各項目をユーザに選択させる等して入力させる。条件受付部21は、受け付けたカメラ条件41をメモリ121に書き込む。
条件受付部21は、カメラ種類については、カメラ50の種類の一覧を表示してユーザに選択させる。また、条件受付部21は、画角については、選択された種類のカメラ50の最大画角及び最小画角を表示して、最大画角と最小画角との間の画角を入力させる。
なお、設置高さZsは、カメラ50を設置可能な高さのうち、最も低い位置が指定されるものとする。カメラ50は、対象領域42付近に設置されたポールといったある程度高さのある場所に設置される。
<ステップS3:位置特定処理>
位置特定部23は、ステップS2で条件受付部21によって受け付けられたカメラ条件41が示す台数2N以下の数のカメラ50で対象領域42にいる限界高さZh以下の被写体を撮影可能な各カメラ50の設置位置45を特定する。位置特定部23は、ステップS5で仮想映像生成部24によって映像が俯瞰変換される際、対象領域42にいる限界高さZh以下の被写体の伸び率が限界伸び率K以下になる設置位置45を特定する。
<ステップS4:特定判定処理>
位置特定部23は、ステップS3で、設置位置45を特定できた場合には、処理をステップS5に進め、設置位置45を特定できない場合には、処理をステップS2に戻して、カメラ条件41を再入力させる。
設置位置45を特定できない場合とは、カメラ条件41が示す台数2N以下の数で対象領域42を撮影可能な設置位置45を特定できない場合と、被写体の伸び率が限界伸び率K以下になる設置位置45を特定できない場合とである。
<ステップS5:仮想映像生成処理>
仮想映像生成部24は、ステップS4で位置特定部23によって特定された設置位置45に各カメラ50を設置した場合に、各カメラ50によって仮想モデルを撮影した仮想撮影映像を生成する。そして、仮想映像生成部24は、生成された仮想撮影映像を俯瞰変換した上で合成して仮想合成映像46を生成する。
実施の形態1では、仮想モデルとして、ステップS1で生成されたCG空間43を用いる。
<ステップS6:表示処理>
表示部25は、ステップS5で仮想映像生成部24によって生成された仮想合成映像46を、表示インタフェース14を介してディスプレイ32に表示する。これにより、ユーザに、仮想合成映像46に基づき、得られる映像が望んだ状態であるか否かを確認させる。
具体的には、表示部25は、図4に示すように、ステップS5で生成された仮想合成映像46と、各カメラ50によって撮影された仮想撮影映像とを表示する。図4では、SYNTHETICの矩形領域には、仮想合成映像46が表示され、CAM1からCAM4の矩形領域には、各カメラ50の仮想撮影映像が表示される。表示ウィンドウ上に、被写体の限界伸び率K、利用する画角θ、設置高さZsといったカメラ条件41を変更可能な数値入力ボックス、もしくは、スライドバーを設けてもよい。これにより、ユーザがカメラ条件41を変更した際の設置位置45の変化や、仮想合成映像46の見え方の変化を簡単に確認することができる。
<ステップ7:品質判定処理>
ユーザの操作に従い、得られる映像が望んだ状態である場合には、処理が終了となり、得られる映像が望んだ状態でない場合には、処理がステップS2に戻され、カメラ条件41が再入力される。
図1及び図3から図14を参照して、実施の形態1に係るステップS3を説明する。
図5に示すように、ステップS3は、ステップS31からステップS32に分かれる。
実施の形態1では、図6に示すように、設置高さZsに、x方向に2台のカメラ50が対向して配置され、y方向に2台以上のカメラ50が並列に配置されるとする。対象領域42を示す長方形の短辺方向に2台のカメラ50が対向して配置され、長辺方向に2台以上のカメラ50が並列に配置されるようにすると、歪みの少ない映像が得られる。したがって、実施の形態1では、対象領域42を示す長方形の短辺方向をx方向、長辺方向をy方向とする。
ステップS3で特定される設置位置45は、X軸と平行なx方向の設置位置Xと、Y軸と平行なy方向の設置位置Yと、Z軸と平行なz方向の設置位置Zと、Z軸を回転軸とする回転角である姿勢yawと、Y軸を回転軸とする回転角である姿勢pitchと、X軸を回転軸とする回転角である姿勢rollとである。
実施の形態1では、各カメラ50の設置位置Zは、カメラ条件41に含まれる設置高さZsとする。また、姿勢yawは、x方向を0度とし、対向する2台のカメラ50のうち一方のカメラ50の姿勢yawを0度、他方のカメラ50の姿勢yawを180度とする。図6では、カメラ50A〜カメラ50Bの姿勢yawが0度であり、カメラ50C〜カメラ50Dの姿勢yawが180度である。また、各カメラ50の姿勢rollは、0度とする。
したがって、ステップS3では、残りの設置位置Xと、設置位置Yと、姿勢pitchとが特定される。以下、姿勢pitchを俯角αと呼ぶ。
<ステップS31:位置X特定処理>
位置特定部23のX位置特定部231は、対象領域42のx方向全体を撮影可能であり、かつ、少なくともカメラ50の前方にいる被写体の伸び率が限界伸び率K以下になる2台のカメラ50の設置位置X及び俯角αを特定する。
具体的には、X位置特定部231は、ステップS1で受け付けられた対象領域42と、ステップS2で受け付けられたカメラ条件41とをメモリ121から読み出す。その上で、X位置特定部231は、以下に説明する式4に示す範囲Hk以内で、かつ、式6を満たすように、カメラ50の撮影可能範囲Hのうち実際に利用する利用範囲Hkを決定する。そして、X位置特定部231は、対向する2台のカメラ50のうち、一方のカメラ50の設置位置Xを式7によって計算し、他方のカメラ50の設置位置Xを式8によって計算する。また、X位置特定部231は、数10及び数12によって示された上限と下限との間の角度を俯角αとして決定する。
X位置特定部231が設置位置X及び俯角αを特定する方法について詳細に説明する。
図7に示すように、設置位置Zsと画角θと俯角αとにおけるオフセットOとカメラ50の撮影可能範囲Hとは、式1によって表される。オフセットOは、カメラ50の真下の位置から撮影範囲の左端までの距離である。
(式1)
O=Zs・tan(π/2−α−θ/2)
H=Zs・tan(π/2−α+θ/2)−O
図7では、カメラ50は真下の位置を撮影できない場合を示していた。図8に示すように、カメラ50が真下の位置を撮影できる場合には、オフセットOとカメラ50の撮影可能範囲Hとは、式2によって表される。
(式2)
O=Zs・tan(π/2+α+θ/2)
H=Zs・tan(π/2−α+θ/2)+O
以下の説明では、カメラ50が真下の位置を撮影できる場合を想定して数2を用いて説明する。カメラ50が真下の位置を撮影できない場合には、数2に代えて、数1を用いればよい。
対象領域42のx方向は幅Wxである。そのため、対向する2台のカメラ50の撮影可能領域を全て利用する場合には、Wx=2Hとなるように俯角αを求めればよい。但し、図9に示すように、高さのある被写体を撮影する場合、ステップS5で映像が俯瞰変換される際、被写体が伸びてしまう。被写体の伸び率は、カメラ50の光軸51から離れるほど高くなる。伸び率が高くなると、見づらい映像になってしまう。
被写体の高さを考慮しなければ、限界伸び率Kとカメラ50の設置高さである設置位置Zsとから、撮影可能な範囲のうち、被写体の伸び率が限界伸び率K以下になる範囲Hkは、式3によって表される。
(式3)
Hk=K・Zs
さらに、被写体の高さを考慮すると、限界高さZh以下の被写体の伸び率が限界伸び率K以下になる範囲Hkは、式4によって表される。
(式4)
Hk=K(Zs−Zh)
また、被写体の高さを考慮すると、オフセットOとカメラ50の撮影可能範囲Hとは、式5によって表される。
(式5)
O=(Zs−Zh)tan(π/2+α+θ/2)
H=(Zs−Zh)tan(π/2−α+θ/2)+O
図10に示すように、X位置特定部231は、対向する2台のカメラ50の限界伸び率Kを同一にした場合、式4に示す範囲Hk以内で、かつ、式6を満たすように、カメラ50の撮影可能範囲Hのうち実際に利用する利用範囲Hkを決定する。
(式6)
Wx<2Hk+2O
このとき、式6の右辺が左辺よりもある程度大きくなるように利用範囲Hkを決定すると、対向する2台のカメラ50が一部重なった領域を撮影することになる。すると、映像を合成する際、αブレンディング処理といった重畳処理を適用でき、合成された映像がよりシームレスになる。
具体的には、X位置特定部231は、式4に示す範囲Hk以内で、かつ、式6を満たす値の範囲をディスプレイ32に表示して、ユーザから表示した範囲内の利用範囲Hkの入力を受け付けることにより、利用範囲Hkを決定する。あるいは、X位置特定部231は、式4に示す範囲Hk以内で、かつ、式6を満たす値のうち、対向する2台のカメラ50両方が撮影する重畳領域が基準幅になる値を利用範囲Hkとして決定する。基準幅とは、重畳処理である程度の効果を発揮するのに必要な幅である。
なお、利用範囲Hkを、式4に示す範囲Hk以内で、かつ、式6を満たすように決定することができない場合、カメラ条件41の下では、限界伸び率K以下で幅Wxの領域を撮影することができないことを意味する。したがって、この場合、ステップS4で位置特定部23は、設置位置45を特定できないため、処理をステップS2に戻すことになる。そして、ステップS2で、条件受付部21は、設置高さZsと、限界伸び率Kといった情報が変更されたカメラ条件41の入力を受け付ける。
そして、X位置特定部231は、対向する2台のカメラ50のうち、一方のカメラ50の設置位置Xを式7によって計算し、他方のカメラ50の設置位置Xを式8によって計算する。図6であれば、X位置特定部231は、カメラ50A〜50Bの設置位置Xを式7によって計算し、カメラ50C〜50Dの設置位置Xを式8によって計算する。
(式7)
=x1+1/2Wx−Hk
(式8)
=x1+1/2Wx+Hk
また、X位置特定部231は、俯角αを特定する。
ここで、俯角αは、カメラ50の真下の位置からカメラ50の前方に利用範囲Hkまで撮影可能範囲に入る必要があるので、式9が成立する。式9から得られる式10によって俯角αの上限が定められる。
(式9)
(Zs−Zh)tan(π/2−α+θ/2)>Hk
(式10)
α<(π+θ)/2−arctan(Hk/(Zs−Zh))
また、俯角αは、カメラ50の真下の位置まで撮影可能範囲に入る必要があるので、式11が成立する。式11から得られる式12によって俯角αの下限が定められる。
(式11)
(Zs−Zh)tan(π/2−α−θ/2)<(Wx/2−Hk
(式12)
α>(π−θ)/2−arctan(Wx/2−Hk/(Zs−Zh))
そこで、X位置特定部231は、数10及び数12によって示された上限と下限との間の角度を俯角αとして決定する。
具体的には、X位置特定部231は、数10及び数12によって示された上限と下限とをディスプレイ32に表示して、ユーザから表示した上限と下限との間の俯角αの入力を受け付けることにより、俯角αを決定する。あるいは、X位置特定部231は、数10及び数12によって示された上限と下限との間の角度のうち、中央の角度といった任意の角度を俯角αに決定する。
ここで、上記説明では、図11に示すように、対向するカメラ50の境界付近にいる被写体Tだけでなく、カメラ50の後方にいる被写体S,Uについても、限界高さZhまで撮影可能とする場合を説明した。しかし、図12に示すように、カメラ50の手前側にいる被写体S,Uについては、限界高さZhまで撮影可能としなくてもよい場合がある。この場合には、式13によって俯角αの下限が定められる。
(式13)
α>(π−θ)/2−arctan(Wx/2−Hk/Zs)
<ステップS32:位置Y特定処理>
位置特定部23のY位置特定部232は、対象領域42のy方向全体を撮影可能な設置位置Yを特定する。
具体的には、Y位置特定部232は、ステップS1で受け付けられた対象領域42と、ステップS2で受け付けられたカメラ条件41とをメモリ121から読み出す。その上で、Y位置特定部232は、以下に説明する式16によって、y方向の座標値y1からM台目のカメラ50の設置位置Yを計算する。
Y位置特定部232が設置位置Yを特定する方法について詳細に説明する。
図13に示すように、カメラ50それぞれの撮影可能範囲を上から見ると、カメラ50の後方側の底辺が幅W1、カメラ50の前方側の底辺が幅W2、高さHの台形になっている。そして、その台形の中に、ハッチングが付されて示された半径が利用範囲Hkの半円形である、伸び率が限界伸び率K以下の利用領域が含まれる。
カメラ50の水平解像度と垂直解像度との比をWθ:Hθとすると、撮影可能範囲の台形の縦横比は、式14のように表される。
(式14)
W1:H
=Wθ:Hθ(sinα+cosα/tan(α−θ/2))
=sin(α−θ/2):(Hθ(sinαsin(α−θ/2)+cosαcos(α−θ/2)))Wθ
=sin(α−θ/2):(Hθcos(θ/2))/Wθ
したがって、底辺W1は、式15となる。
(式15)
W1=((Wθsin(α−θ/2))/(Hθcos(θ/2)))H
Y位置特定部232は、図14に示すように、幅W1だけカメラ50の間隔を空けてy方向にカメラ50を並列に設置する。そこで、Y位置特定部232は、y方向に座標値y1からM台目のカメラ50の設置位置Yを式16によって計算する。
(式16)
=y1+((2M−1)W1)/2
図14であれば、Y位置特定部232は、カメラ50A,50Cの設置位置Yを式17によって計算し、カメラ50B,50Dの設置位置Yを式18によって計算する。
(式17)
=y1+W1/2
(式18)
=y1+(3・W1)/2
なお、カメラ条件41が示すカメラ50の最大の台数2Nで、幅Wy全体を撮影するためには、y方向に並列に設置される台数Nに幅W1を乗じたNW1が幅Wy以上となる必要がある。なお、カメラ50の台数は2Nであるが、x方向に2台のカメラ50が対向して配置されるので、y方向に並列に設置される台数はNである。NW1が幅Wy以上にならない場合には、ステップS4で位置特定部23は、設置位置45を特定できないため、処理をステップS2に戻すことになる。そして、ステップS2で、条件受付部21は、カメラ50の最大の台数2Nと、設置高さZsと、限界伸び率Kといった情報が変更されたカメラ条件41の入力を受け付ける。
上記説明では、対象領域42のy方向全体を撮影可能な設置位置Yが特定された。しかし、y方向についても、x方向と同様に、被写体の伸び率を限界伸び率K以下とする場合には、Y位置特定部232は、式16のW1を2Hkに置き換えて、設置位置Yを計算すればよい。この場合にも、y方向に並列に設置される台数Nに2Hkを乗じた2NHkが幅Wy以上とならない場合には、ステップS4で位置特定部23は、設置位置45を特定できないため、処理をステップS2に戻すことになる。
但し、この場合にも、対象領域42のうち、図14に示す領域47のように、4台のカメラ50の中央付近等に、伸び率が限界伸び率Kよりも高くなってしまう領域が発生する可能性がある。図14に示す、各カメラ50についての伸び率が限界伸び率K以下の利用領域が重なるように、設置位置X及び設置位置Yを調整することにより、伸び率が限界伸び率Kよりも高くなる領域を小さくすることができる。
Y位置特定部232は、N×W1が幅Wyよりも十分に広くなる場合、カメラ50が重畳して撮影する範囲が広くなるように設置位置Yを計算することができる。この場合、N台のカメラ50間で重畳するのはN−1箇所である。そのため、Y位置特定部232は、各カメラ50間の重畳する領域のy方向の長さLを、式19によって計算する。
(式19)
L=(W1×N−Wy)/(N−1)
そして、Y位置特定部232は、y方向に座標値y1から2台目以降のカメラ50について、M台目のカメラ50の設置位置Yを式20によって計算する。座標値y1から1台目のカメラ50については、設置位置Yは式16によって計算される。
(式20)
=y1+((2M−1)W1)/2−LM
なお、y方向についても被写体の伸び率を限界伸び率K以下とする場合には、Y位置特定部232は、式19及び式20のW1を2Hkに置き換えればよい。
図1及び図15から図19を参照して、実施の形態1に係るステップS5を説明する。
図15に示すように、ステップS5は、ステップS51からステップS53に分かれる。
<ステップS51:仮想撮影映像生成処理>
仮想映像生成部24は、ステップS3で位置特定部23によって特定された設置位置45に各カメラ50を設置した場合に、ステップS1で生成されたCG空間43を各カメラ50によって撮影した仮想撮影映像を生成する。
具体的には、仮想映像生成部24は、ステップS1で生成されたCG空間43をメモリ121から読み出す。そして、仮想映像生成部24は、各カメラ50について、ステップS3で特定された設置位置45の視点中心として、カメラ50の姿勢から導かれる光軸51方向のCG空間43を撮影した映像を、仮想撮影映像として生成する。仮想映像生成部24は、生成された仮想撮影映像をメモリ121に書き込む。
<ステップS52:俯瞰変換処理>
仮想映像生成部24は、ステップS51で生成された各カメラ50についての仮想撮影映像を俯瞰変換して、俯瞰映像を生成する。
具体的には、仮想映像生成部24は、ステップS51で生成された各カメラ50についての仮想撮影映像をメモリ121から読み出す。そして、仮想映像生成部24は、ホモグラフィ変換を利用して、ステップS51で生成された各仮想撮影映像を、カメラ50の撮影面からZ軸の座標値を0とした平面へ投影する。
図16に示すように、俯角αで定まる光軸51と垂直な面が撮影面52であり、仮想撮影映像はこの撮影面52の映像である。図17に示すように、仮想撮影映像は長方形の映像であるが、仮想撮影映像をZ軸の座標値を0とした平面に投影すると台形の映像になる。この台形の映像がカメラ50の撮影範囲を俯瞰した俯瞰映像になる。そこで、仮想映像生成部24は、長方形の仮想撮影映像が台形の俯瞰映像になるように、ホモグラフィ変換という行列変換を行う。仮想映像生成部24は、生成された俯瞰映像をメモリ121に書き込む。
なお、投影する平面はZ軸の座標値が0の平面に限らず、任意の高さの平面でよい。また、投影面の形状も、平面に限らず、曲面としてもよい。
<ステップS53:映像合成処理>
仮想映像生成部24は、ステップS52で生成された各カメラ50についての俯瞰映像を合成して仮想合成映像46を生成する。
具体的には、仮想映像生成部24は、ステップS52で生成された各カメラ50についての俯瞰映像をメモリ121から読み出す。図18に示すように、仮想映像生成部24は、各俯瞰映像について、x方向における利用範囲Hk外の部分、すなわち伸び率が限界伸び率Kを超えた部分を切り捨てる。つまり、仮想映像生成部24は、設置位置Xからx方向に前方の利用範囲Hkの範囲と、後方にオフセットOの範囲とだけを残し、残りを切り捨てる。図18では、ハッチング部分が切り捨てられる。そして、仮想映像生成部24は、各カメラ50についての残りの俯瞰映像で重畳する部分をαブレンディングといった重畳処理を行い、合成する。
図19に示すように、重畳部分にαブレンディングを行う場合には、x方向に対しては、XからXにかけてカメラ50Cの俯瞰映像のα値を1から0に徐々に減少させ、XからXにかけてカメラ50Aの俯瞰映像のα値を0から1に徐々に増加させてブレンドする。Xは、カメラ50Aのx方向における撮影領域の境界のx座標であり、Xは、カメラ50Cのx方向における撮影領域の境界のx座標である。y方向にも同様に、YからYにかけてカメラ50Cの俯瞰映像のα値を1から0に徐々に減少させ、YからYにかけてカメラ50Dの俯瞰映像のα値を0から1に徐々に増加させてブレンドする。Yは、カメラ50Dのy方向におけるカメラ50C側の撮影領域の境界のy座標であり、Yは、カメラ50Cのy方向におけるカメラ50D側の撮影領域の境界のy座標である。
そして、仮想映像生成部24は、合成された映像のうち、対象領域42部分だけを切り出して仮想合成映像46とする。仮想映像生成部24は、生成された仮想合成映像46をメモリ121に書き込む。
なお、重畳する部分がない場合には、重畳処理を行う必要はなく、各俯瞰映像を隣接させるだけで合成される。
また、仮想映像生成部24は、伸び率を限界伸び率K以下になるように設置位置Yを特定した場合には、各俯瞰映像について、y方向についても利用範囲Hk外の部分を切り捨てた上で、合成を行う。
***実施の形態1の効果***
以上のように、実施の形態1に係る設置位置決定装置10は、カメラ条件41が示す台数以下の数のカメラ50で対象領域42を撮影可能な各カメラ50の設置位置45を特定し、特定された設置位置45に各カメラ50を設置した場合の仮想合成映像46を生成する。そのため、ユーザは、カメラ条件41を変更しながら仮想合成映像46を確認するだけで、望む映像が得られる各カメラ50の設置位置45を決定することができる。
特に、実施の形態1に係る設置位置決定装置10は、被写体の高さも考慮し、対象領域42にいる限界高さZh以下の被写体を撮影することが可能な設置位置45を特定する。そのため、特定された設置位置45では、対象領域42にいる人の顔が撮影できない場合があるといったことがない。
また、実施の形態1に係る設置位置決定装置10は、俯瞰変換する際の被写体の伸びも考慮し、被写体の伸び率が限界伸び率K以下になる設置位置45を特定する。そのため、特定された設置位置45では、仮想合成映像46に映った被写体の伸び率が高く、見づらい場合があるといったことがない。
***他の構成***
<変形例1>
実施の形態1では、設置位置決定装置10の各部の機能がソフトウェアで実現された。しかし、変形例1として、設置位置決定装置10の各部の機能はハードウェアで実現されてもよい。この変形例1について、実施の形態1と異なる点を説明する。
図20を参照して、変形例1に係る設置位置決定装置10の構成を説明する。
各部の機能がハードウェアで実現される場合、設置位置決定装置10は、プロセッサ11と記憶装置12とに代えて、処理回路15を備える。処理回路15は、設置位置決定装置10の各部の機能及び記憶装置12の機能を実現する専用の電子回路である。
処理回路15は、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA(Gate Array)、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)が想定される。
各部の機能を1つの処理回路15で実現してもよいし、各部の機能を複数の処理回路15に分散させて実現してもよい。
<変形例2>
変形例2として、一部の機能がハードウェアで実現され、他の機能がソフトウェアで実現されてもよい。つまり、設置位置決定装置10の各部のうち、一部の機能がハードウェアで実現され、他の機能がソフトウェアで実現されてもよい。
プロセッサ11と記憶装置12と処理回路15とを、総称して「プロセッシングサーキットリー」という。つまり、各部の機能は、プロセッシングサーキットリーにより実現される。
<変形例3>
実施の形態1では、対象領域42は、長方形の領域であるとした。しかし、対象領域42は、長方形に限らず、他の形状の領域であってもよい。具体例としては、対象領域42は、円形の領域であってもよいし、L字型といった曲り角を有する形状の領域であってもよい。
図21及び図22を参照して、対象領域42が円形の領域である場合について説明する。
図21に示すように、対象領域42は、領域の中心位置(x1,y1)と、半径r1とによって指定される。
図21に示すように、複数のカメラ50が領域の中心位置に外側を向けて配置される。なお、領域の中心位置とは、中心付近の領域を含むある程度の範囲を持った領域である。又は、図22に示すように、複数のカメラ50が円周上に等間隔に中心側を向けて配置される。そして、指定されたカメラ50の台数で対象領域42を撮影できるように、カメラ50の高さ等が特定される。
なお、図21に示すように各カメラ50が領域の中心位置に配置された場合、図23に示すように、各カメラ50は、中心位置にいる限界高さZhの被写体が撮影できるように、俯角αが特定される。
図24及び図25を参照して、対象領域42がL字型の領域である場合について説明する。
図24に示すように、対象領域42は、各頂点の位置(x1,y1),...,(x6,y6)によって指定される。又は、対象領域42は、一部の頂点の位置と、頂点間の距離とによって指定される。
そして、図25に示すように、対象領域42が複数の長方形の領域に分割される。図25では、L字型の対象領域42が、(x1,y1)と、(x2,y2)と、(x7,y7)と、(x6,y6)とで表される長方形の領域と、(x5,y5)と、(x7,y7)と、(x3,y3)と、(x4,y4)とで表される長方形の領域との2つに分割されている。各長方形の領域を撮影できるように、各長方形の領域について実施の形態1と同じ手順でカメラ50の設置位置が特定される。
<変形例4>
実施の形態1では、図6に示すように、長方形の短辺方向に2台のカメラ50が対向して配置された。しかし、図26に示すように、長方形の短辺方向の中心位置に2台のカメラ50が、外側を向けて配置されてもよい。つまり、長方形の短辺方向の中心位置に2台のカメラ50が、背中合わせに配置されてもよい。あるいは、図27に示すように、長方形の長辺方向の中心位置に2台のカメラ50が、外側を向けて配置されてもよい。つまり、長方形の長辺方向の中心位置に2台のカメラ50が、背中合わせに配置されてもよい。
この場合、図23に示すように、各カメラ50は、カメラ50の真下、つまり短辺方向又は長辺方向の中心位置にいる限界高さZhの被写体が撮影できるように、俯角αが特定される。
このように、中心位置に背中合わせに2台のカメラ50が配置されることにより、2台のカメラ50の境界部分にいる被写体について、歪みの少ない合成映像を得ることが可能になる。
対象領域42が広く、2台のカメラ50を対向させて配置するだけでは、長方形の短辺方向全体を撮影できない場合がある。この場合には、図28に示すように、対向させる配置と、背中合わせにする配置とを組み合わせる。図28では、カメラ50Aとカメラ50Bとが対向しており、カメラ50Bとカメラ50Cとが背中合わせになっており、カメラ50Cとカメラ50Dとが対向している。これにより、長方形の短辺方向が長い場合にも、対象領域42全体を撮影することが可能である。
図29に示すように、各カメラ50の設置位置を特定する際には、2台のカメラ50を対向させて配置することにより撮影可能な範囲を1つのユニットとして特定する。そして、対象領域42全体を覆うように、特定されたユニットを並べることにより、必要なカメラ50の台数と、各カメラ50の設置位置とを特定することができる。
また、図30に示すように、長方形の4隅にそれぞれに、中心方向(対角方向)を向けてカメラ50が配置されてもよい。対象領域42によっては、カメラ50を設置できる場所が限られており、対象領域42の外側にしかカメラ50を設置できない場合がある。長方形の4隅にそれぞれにカメラ50が配置されることにより、対象領域42の外側から対象領域42全体を効率的に撮影可能にすることができる。
また、図31に示すように、長方形の中心位置に複数のカメラ50が外側を向けて配置されてもよい。対象領域42によっては、カメラ50を設置できる場所が限られており、できるだけ少ない箇所にカメラ50を配置しなければならない場合がある。例えば、カメラ50用のポールを立ててカメラ50を配置する場合、ポールの数をできるだけ少なくしたい。長方形の中心位置に複数のカメラ50が外側を向けて配置されることにより、1か所にカメラ50を配置して、対象領域42全体を効率的に撮影可能にすることができる。
<変形例5>
カメラ50として、周囲360度の範囲を撮影可能な全天球カメラを用いてもよい。カメラ50として全天球カメラを用いた場合、図32に示すように、カメラ50の設置位置を中心とする円形の領域が被写体の伸び率が限界伸び率K以下になる範囲になる。また、俯角αは、90度に固定された場合と同じである。水平解像度と垂直解像度との比は1:1になる。
図33に示すように、被写体の伸び率が限界伸び率K以下になる範囲の映像を用いる場合、合成映像を生成するために利用されるのは、被写体の伸び率が限界伸び率K以下になる範囲を示す円形の領域に内設する矩形の領域である。したがって、図34に示すように、この矩形の領域を1つのユニットとして、対象領域42全体を覆うように、特定されたユニットを並べることにより、必要なカメラ50の台数と、各カメラ50の設置位置とを特定することができる。
実施の形態2.
実施の形態2は、カメラ50を設置できない範囲が指定される点が実施の形態1と異なる。実施の形態2では、この異なる点について説明し、同一の点については説明を省略する。
***動作の説明***
図2のステップS2では、条件受付部21は、カメラ50を設置できない範囲である不可範囲47を示すカメラ条件41の入力を受け付ける。
不可範囲47が長方形の場合には、不可範囲47は、左上の座標値(xi,yi)と、X軸と平行なx方向の幅Wxiと、Y軸と平行なy方向の幅Wyiとによって指定される。また、不可範囲47が円形の場合には、不可範囲47は、円の中心の座標値(xi,yi)と、半径riとによって指定される。なお、これに限らず、式といった他の方法によって不可範囲47が指定されてもよい。また、不可範囲47は、長方形及び円形以外の形状であってもよい。
図2のステップS3では、位置特定部23は、まず、不可範囲47を撮影可能なカメラ50の設置位置45を特定する。
具体例としては、図35に示すように、長方形の対象領域42における一部の範囲が不可範囲47として指定されたとする。この場合、図36に示すように、不可範囲47の外における設置位置45であって、不可範囲47を撮影可能なカメラ50の設置位置45を特定する。
この際、設置位置X及び俯角αは、図5のステップS31と同じ処理により特定される。設置位置Yは、不可範囲47全体がちょうどカメラ50の撮影可能範囲に含まれる位置が特定される。図36では、不可範囲47のy方向の中間点から左側の範囲がカメラ50A1及びカメラ50A2により撮影され、中間点から右側の範囲がカメラ50B1及びカメラ50B2により撮影されるように、カメラ50A1及びメラ50A2と、カメラ50B1及びカメラ50B2との設置位置Yが特定される。より具体的には、カメラ50A1及びメラ50A2の設置位置Yは、式21によって特定され、カメラ50B1及びメラ50B2の設置位置Yは、式22によって特定される。なお、yhは、中間点のY座標である。
(式21)
=yh−W1/2
(式22)
=yh+W1/2
位置特定部23は、次に、残りのカメラ50の設置位置Yを特定する。残りのカメラ50とは、図37では、カメラ50C1及びカメラ50C2と、カメラ50D1及びカメラ50D2とである。
位置特定部23は、残りのカメラ50の設置位置Yを、既に特定された不可範囲47を撮影するカメラ50の設置位置Yを基準として特定する。図37では、不可範囲47の左側の範囲についての設置位置Yは、カメラ50A1及びメラ50A2の設置位置Yを基準として、式23により特定される。不可範囲47の右側の範囲についての設置位置Yは、カメラ50B1及びメラ50B2の設置位置Yを基準として、式24により特定される。
(式23)
=Y−((2M−1)W1)/2
(式24)
=Y+((2M−1)W1)/2
***実施の形態2の効果***
以上のように、実施の形態2に係る設置位置決定装置10は、カメラ50を設置できない範囲が指定された場合に、対象領域42を撮影可能な各カメラ50の設置位置45を特定できる。
屋内施設の天井には、空気調和機と火災報知器といった様々な備品が設置されている。そのため、カメラ50を設置できない場所が存在する。しかし、実施の形態2に係る設置位置決定装置10によれば、カメラ50を設置できない場所を避けた、カメラ50の適切な設置位置45を決定することが可能である。
<変形例6>
天井の無い部分にはカメラ50を設置することができない。したがって、天井の無い部分は不可範囲47となる。しかし、ドローンとバルーンといった飛翔する移動体にカメラ50を搭載した移動体カメラ53を用いてもよい。移動体カメラ53を飛ばすことが可能であれば、移動体カメラ53は天井の無い部分についても配置することが可能である。
具体例としては、屋外の競技場における天井の無い部分に、移動体カメラ53を配置することが可能である。屋外の競技場の場合、図38に示すように、屋外の競技場全体が対象領域42となり、対象領域42の中央部分が天井の無い部分になる。このように、天井のある部分と無い部分との両方がある対象領域42については、天井のある部分には、通常のカメラ50を設置し、天井の無い部分には移動体カメラ53を配置すればよい。これにより、対象領域42全体の俯瞰映像を生成するためのカメラ50及び移動体カメラ53の設置位置45を特定することができる。なお、移動体カメラ53については、飛ぶ高さをカメラの設置位置Zとすれば、カメラ50と同一の方法により設置位置45を特定することができる。
そこで、位置特定部23は、天井のある部分と無い部分とを分けて、設置位置45を特定する。その結果、図38の例では、図39のように、通常のカメラ50と移動体カメラ53との設置位置45が特定される。
移動体カメラ53を用いることにより、天井が無い部分にもカメラを配置することが可能になる。その結果、天井が無い部分についても解像度が高い映像を得ることが可能である。
実施の形態3.
実施の形態3は、既設カメラ54の撮影範囲55が指定される点が実施の形態1,2と異なる。実施の形態3では、この異なる点について説明し、同一の点については説明を省略する。
***動作の説明***
図2のステップS2では、条件受付部21は、既設カメラ54の撮影範囲55を示すカメラ条件41の入力を受け付ける。
既設カメラ54の撮影範囲55は、対象領域42と同様の方法により指定される。具体的には、既設カメラ54の撮影範囲55が長方形の場合には、既設カメラ54の撮影範囲55は、左上の座標値(xj,yj)と、X軸と平行なx方向の幅Wxjと、Y軸と平行なy方向の幅Wyjとによって指定される。実施の形態3では、既設カメラ54の撮影範囲55は長方形とする。
図2のステップS3では、位置特定部23は、図2のステップS1で指定された対象領域42から、カメラ条件41が示す既設カメラ54の撮影範囲55を除いた範囲を、新たな対象領域42に設定する。そして、位置特定部23は、新たに設定された対象領域42について、上述した実施の形態又は上述した変形例で説明した方法により、カメラ50の設置位置を特定する。
具体例としては、図40に示すように、対象領域42のうち、左下の一部の範囲が既設カメラ54の撮影範囲55となっている場合には、位置特定部23は、対象領域42から既設カメラ54の撮影範囲55を除いたL字型の領域を、新たな対象領域42に設定する。そして、位置特定部23は、変形例3で説明した方法により、L字型の対象領域42について、カメラ50の設置位置を特定する。その結果、例えば、図41に示すように、3台のカメラ50の設置位置が特定される。
図2のステップS5では、仮想映像生成部24は、各カメラ50及び既設カメラ54によって仮想モデルを撮影した仮想撮影映像を生成する。そして、仮想映像生成部24は、生成された仮想撮影映像を俯瞰変換した上で合成して仮想合成映像46を生成する。
図41の例であれば、仮想映像生成部24は、3台のカメラ50と、1台の既設カメラ54とによって仮想モデルを撮影した仮想撮影映像を生成し、仮想合成映像46を生成する。
***実施の形態3の効果***
以上のように、実施の形態3に係る設置位置決定装置10は、既設カメラ54を考慮した上で、新たに設置するカメラ50の設置位置45を特定することができる。これにより、既設カメラ54が存在する場合に、不要に多くのカメラ50を設置することなく、対象領域42全体を撮影可能なカメラ50の設置位置45を特定することができる。
10 設置位置決定装置、11 プロセッサ、12 記憶装置、13 入力インタフェース、14 表示インタフェース、15 処理回路、21 条件受付部、22 領域受付部、23 位置特定部、231 X位置特定部、232 Y位置特定部、24 仮想映像生成部、25 表示部、31 入力装置、32 ディスプレイ、41 カメラ条件、42 対象領域、43 CG空間、44 上面図、45 設置位置、46 仮想合成映像、47 不可範囲、50 カメラ、51 光軸、52 撮影面、53 移動体カメラ。

Claims (16)

  1. カメラの撮影条件を示すカメラ条件の入力を受け付ける条件受付部と、
    前記条件受付部によって受け付けられた前記カメラ条件に基づいて対象領域を撮影可能な各カメラの設置位置を特定する位置特定部と、
    前記位置特定部によって特定された設置位置に前記各カメラを設置した場合に、前記各カメラによって仮想モデルを撮影した仮想撮影映像を生成し、生成された仮想撮影映像を俯瞰変換した上で合成して仮想合成映像を生成する仮想映像生成部と
    を備える設置位置決定装置。
  2. 前記カメラ条件は、カメラの台数を示し、
    前記位置特定部は、前記カメラ条件が示す台数のカメラで対象領域を撮影可能な各カメラの設置位置を特定する
    請求項1に記載の設置位置決定装置。
  3. 前記カメラ条件は、限界高さを示し、
    前記位置特定部は、前記対象領域にいる前記限界高さ以下の被写体を撮影可能な前記設置位置を特定する
    請求項1又は2に記載の設置位置決定装置。
  4. 前記カメラ条件は、限界伸び率を示し、
    前記位置特定部は、前記仮想映像生成部によって前記仮想撮影映像が俯瞰変換される際、前記カメラの前方にいる前記限界高さ以下の被写体の伸び率が前記限界伸び率以下になる前記設置位置を特定する
    請求項3に記載の設置位置決定装置。
  5. 前記カメラ条件は、設置高さと、画角とを示し、
    前記位置特定部は、
    前記設置高さに設置された前記画角の2台のカメラをx方向に沿って対向させて設置した場合に、前記対象領域の前記x方向全体を撮影可能であり、かつ、前記x方向において前記被写体の伸び率が前記限界伸び率以下になる前記2台のカメラの前記x方向の設置位置X及び俯角を特定するX位置特定部と、
    前記X位置特定部によって特定された前記俯角及び前記設位置Xに各カメラを設置する場合に、前記対象領域の前記x方向と直行するy方向全体を撮影可能な前記y方向の設置位置Yを特定するY位置特定部と
    を備える請求項4に記載の設置位置決定装置。
  6. 前記X位置特定部は、前記対象領域の前記x方向の端部の座標x1と、前記対象領域の前記x方向の幅Wxと、前記被写体の伸び率が前記限界伸び率以下になる前記x方向の幅Hkとを用いて、前記2台のカメラの一方の設位置X1をX1=x1+(1/2)Wx−Hkにより特定し、他方の設置位置X2をX2=x1+(1/2)Wx+Hkにより特定する
    請求項5に記載の設置位置決定装置。
  7. 前記X位置特定部は、前記設置高さZと、前記限界高さZhと、前記画角θとを用いて、(π+θ)/2−arctan(Hk/(Z−Zh))>α、又は、(π+θ)/2−arctan(Hk/Z)>αであり、かつ、α>(π−θ)/2−arctan((Wx/2−Hk)/(Z―Zh))である前記俯角αを特定する
    請求項6に記載の設置位置決定装置。
  8. 前記Y位置特定部は、前記各カメラの水平解像度と垂直解像度との比をWθ:Hθとし、前記y方向に並べるカメラの台数をNとした場合に、前記対象領域の前記y方向の端部の座標y1と、前記カメラの前記x方向の撮影可能幅Hとを用いて、W1=((Wθsin(α−θ/2))/Hθcos(θ/2))Hとし、i=1,...,Nの各カメラの前記y方向の設置位置YiをYi=y1+((2i−1)/2)W1により特定する
    請求項7に記載の設置位置決定装置。
  9. 前記Y位置特定部は、前記y方向に並べるカメラの台数をNとした場合に、前記対象領域の前記y方向の端部の座標y1を用いて、i=1,...,Nの各カメラの前記y方向の設置位置YiをYi=y1+((2i−1)/2)2Hkにより特定する
    請求項7に記載の設置位置決定装置。
  10. 前記位置特定部は、前記台数で前記対象領域を撮影可能な前記設置位置を特定できない場合には、前記条件受付部に前記カメラ条件の再入力を受け付けさせる
    請求項に記載の設置位置決定装置。
  11. 前記位置特定部は、前記限界伸び率以下になる前記設置位置を特定できない場合には、前記条件受付部に前記カメラ条件の再入力を受け付けさせる
    請求項4に記載の設置位置決定装置。
  12. 前記カメラ条件は、カメラを設置できない不可範囲を示し、
    前記位置特定部は、前記不可範囲を除いた範囲において、前記対象領域を撮影可能な各カメラの設置位置を特定する
    請求項1に記載の設置位置決定装置。
  13. 前記カメラ条件は、既設カメラの撮影範囲を特定可能な範囲情報を示し、
    前記位置特定部は、前記対象領域のうち前記範囲情報が示す撮影範囲を除いた領域を撮影可能な各カメラの設置位置を特定する
    請求項1に記載の設置位置決定装置。
  14. 前記仮想映像生成部は、前記各カメラと、前記既設カメラとによって仮想モデルを撮影した仮想撮影映像を生成し、生成された仮想撮影映像を俯瞰変換した上で合成して仮想合成映像を生成する
    請求項13に記載の設置位置決定装置。
  15. カメラの撮影条件を示すカメラ条件の入力を受け付け、
    受け付けられた前記カメラ条件に基づいて対象領域を撮影可能な各カメラの設置位置を特定し、
    特定された前記設置位置に前記各カメラを設置した場合に、前記各カメラによって仮想モデルを撮影した仮想撮影映像を生成し、生成された仮想撮影映像を俯瞰変換した上で合成して仮想合成映像を生成する設置位置決定方法。
  16. カメラの撮影条件を示すカメラ条件の入力を受け付ける条件受付処理と、
    前記条件受付処理によって受け付けられた前記カメラ条件に基づいて対象領域を撮影可能な各カメラの設置位置を特定する位置特定処理と、
    前記位置特定処理によって特定された設置位置に前記各カメラを設置した場合に、前記各カメラによって仮想モデルを撮影した仮想撮影映像を生成し、生成された仮想撮影映像を俯瞰変換した上で合成して仮想合成映像を生成する仮想映像生成処理と
    をコンピュータに実行させる設置位置決定プログラム。
JP2017539463A 2016-02-04 2017-01-10 設置位置決定装置、設置位置決定方法及び設置位置決定プログラム Expired - Fee Related JP6246435B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPPCT/JP2016/053309 2016-02-04
PCT/JP2016/053309 WO2017134786A1 (ja) 2016-02-04 2016-02-04 設置位置決定装置、設置位置決定方法及び設置位置決定プログラム
PCT/JP2017/000512 WO2017134987A1 (ja) 2016-02-04 2017-01-10 設置位置決定装置、設置位置決定方法及び設置位置決定プログラム

Publications (2)

Publication Number Publication Date
JP6246435B1 true JP6246435B1 (ja) 2017-12-13
JPWO2017134987A1 JPWO2017134987A1 (ja) 2018-02-08

Family

ID=59500624

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017539463A Expired - Fee Related JP6246435B1 (ja) 2016-02-04 2017-01-10 設置位置決定装置、設置位置決定方法及び設置位置決定プログラム

Country Status (4)

Country Link
US (1) US20190007585A1 (ja)
JP (1) JP6246435B1 (ja)
GB (1) GB2560128B (ja)
WO (2) WO2017134786A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022259795A1 (ja) * 2021-06-10 2022-12-15 富士フイルム株式会社 カメラ角度決定装置、カメラ角度決定方法及びプログラム、撮影システム並びに被害判定システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006074260A (ja) * 2004-08-31 2006-03-16 Sumitomo Electric Ind Ltd 駐車場におけるカメラ設置条件の自動決定方法
JP2009239821A (ja) * 2008-03-28 2009-10-15 Toa Corp カメラ設置シミュレータプログラム
JP2010093713A (ja) * 2008-10-10 2010-04-22 Sony Corp 表示制御装置、表示制御方法及びプログラム
JP2013171079A (ja) * 2012-02-17 2013-09-02 Nec System Technologies Ltd 撮影支援装置、撮影支援方法、及びプログラム
JP2014241496A (ja) * 2013-06-11 2014-12-25 ソニー株式会社 情報処理装置、撮像装置、情報処理方法、及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05113745A (ja) * 1990-12-27 1993-05-07 Toshiba Lighting & Technol Corp カメラ運用シユミレーシヨン装置
JP4649050B2 (ja) * 2001-03-13 2011-03-09 キヤノン株式会社 画像処理装置、画像処理方法、及び制御プログラム
JP4990852B2 (ja) * 2008-07-31 2012-08-01 Kddi株式会社 3次元移動の自由視点映像生成システムおよび記録媒体
US20100182400A1 (en) * 2009-01-16 2010-07-22 World Golf Tour, Inc. Aligning Images
US9749823B2 (en) * 2009-12-11 2017-08-29 Mentis Services France Providing city services using mobile devices and a sensor network
JP5136703B2 (ja) * 2010-02-02 2013-02-06 富士通株式会社 カメラ設置位置評価プログラム、カメラ設置位置評価方法およびカメラ設置位置評価装置
US20120069218A1 (en) * 2010-09-20 2012-03-22 Qualcomm Incorporated Virtual video capture device
US20140327733A1 (en) * 2012-03-20 2014-11-06 David Wagreich Image monitoring and display from unmanned vehicle
KR101297294B1 (ko) * 2013-06-13 2013-08-14 이범수 카메라 제어용 맵 인터페이스 시스템
JP6126501B2 (ja) * 2013-09-03 2017-05-10 Toa株式会社 カメラ設置シミュレータ及びそのコンピュータプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006074260A (ja) * 2004-08-31 2006-03-16 Sumitomo Electric Ind Ltd 駐車場におけるカメラ設置条件の自動決定方法
JP2009239821A (ja) * 2008-03-28 2009-10-15 Toa Corp カメラ設置シミュレータプログラム
JP2010093713A (ja) * 2008-10-10 2010-04-22 Sony Corp 表示制御装置、表示制御方法及びプログラム
JP2013171079A (ja) * 2012-02-17 2013-09-02 Nec System Technologies Ltd 撮影支援装置、撮影支援方法、及びプログラム
JP2014241496A (ja) * 2013-06-11 2014-12-25 ソニー株式会社 情報処理装置、撮像装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
GB201808744D0 (en) 2018-07-11
WO2017134987A1 (ja) 2017-08-10
JPWO2017134987A1 (ja) 2018-02-08
US20190007585A1 (en) 2019-01-03
GB2560128B (en) 2019-12-04
WO2017134786A1 (ja) 2017-08-10
GB2560128A (en) 2018-08-29

Similar Documents

Publication Publication Date Title
CN106803884B (zh) 图像处理装置
JP7294396B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP4508049B2 (ja) 360°画像撮影装置
EP3534336B1 (en) Panoramic image generating method and apparatus
US11627251B2 (en) Image processing apparatus and control method thereof, computer-readable storage medium
KR20190125526A (ko) 사용자 움직임 정보에 기초하여 영상을 표시하기 위한 방법 및 장치
JP5521750B2 (ja) シミュレーションプログラム、シミュレーション装置及びシミュレーション方法
JP2011061511A (ja) 魚眼監視システム
US20210056662A1 (en) Image processing apparatus, image processing method, and storage medium
US8264589B2 (en) Display control apparatus, method of controlling display apparatus, and storage medium
CN110689476A (zh) 全景图像拼接方法及其装置、可读存储介质和电子设备
US11962946B2 (en) Image processing apparatus, display system, image processing method, and medium
CN110807413B (zh) 目标显示方法以及相关装置
JPWO2011096049A1 (ja) カメラ設置位置評価プログラム、カメラ設置位置評価方法およびカメラ設置位置評価装置
US11847735B2 (en) Information processing apparatus, information processing method, and recording medium
JP6246435B1 (ja) 設置位置決定装置、設置位置決定方法及び設置位置決定プログラム
KR101529820B1 (ko) 월드 좌표계 내의 피사체의 위치를 결정하는 방법 및 장치
CN113132708A (zh) 利用鱼眼相机获取三维场景图像的方法和装置、设备和介质
JP6563300B2 (ja) 自由視点画像データ生成装置および自由視点画像データ再生装置
US11189081B2 (en) Image generation apparatus, image generation method and storage medium
JP2016134765A (ja) 監視システム
WO2019163449A1 (ja) 画像処理装置、画像処理方法およびプログラム
JP2005333628A (ja) カメラ制御装置およびこれを用いた監視カメラシステム
JP2019146010A (ja) 画像処理装置、画像処理方法およびプログラム
JP2013143709A (ja) 画像表示装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171114

R150 Certificate of patent or registration of utility model

Ref document number: 6246435

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees