JP7130976B2 - 表示情報作成装置、撮影システムおよびプログラム - Google Patents

表示情報作成装置、撮影システムおよびプログラム Download PDF

Info

Publication number
JP7130976B2
JP7130976B2 JP2018020237A JP2018020237A JP7130976B2 JP 7130976 B2 JP7130976 B2 JP 7130976B2 JP 2018020237 A JP2018020237 A JP 2018020237A JP 2018020237 A JP2018020237 A JP 2018020237A JP 7130976 B2 JP7130976 B2 JP 7130976B2
Authority
JP
Japan
Prior art keywords
photographing
range
camera
imaging
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018020237A
Other languages
English (en)
Other versions
JP2019140459A (ja
Inventor
スレシュ ムラリ
真吾 内橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2018020237A priority Critical patent/JP7130976B2/ja
Priority to US16/261,592 priority patent/US11356632B2/en
Publication of JP2019140459A publication Critical patent/JP2019140459A/ja
Application granted granted Critical
Publication of JP7130976B2 publication Critical patent/JP7130976B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268Signal distribution or switching

Description

本発明は、表示情報作成装置、情報処理装置、撮影システム、プログラムに関する。
従来より、複数のカメラ等の撮影装置を用い、それぞれの撮影装置で撮影した画像を切り換えてスポーツ、ニュース等のコンテンツを提供する技術が存在する。
特許文献1には、内容解析モジュールは、監視下にある現場の3次元意味論的レイアウトを生成し、レンダリングモジュールは、複数のカメラからのビデオストリームと3次元意味論的レイアウトとを3次元没入型環境に統合し、ユーザナビゲーションインターフェースの複数の表示においてビデオストリームをレンダリングし、ユーザナビゲーションインターフェースは、複数の表示の各々の複数の視点から視点を選択すること、及び、オブジェクトの最良の視点を有する複数の表示において、表示の最大画面解像度で、ビデオストリームにおける移動オブジェクトを追跡すること、の少なくとも一方を、ユーザに実行させることが記載されている。
特開2007-80262号公報
複数の撮影装置により複数の画像を撮影し、ユーザがこれらの画像を切り換えることで、異なる撮影箇所や異なる撮影角度で撮影対象を見ることができる。
しかしながら、複数の画像について、撮影箇所や異なる撮影角度は画像を一見しただけではわかりづらいため、ユーザは、何れの画像を選択するべきかを判断をすることが困難である場合がある。
本発明は、複数の撮影装置により複数の画像を撮影したときでも、それぞれの撮影装置の撮影箇所や撮影角度を容易に把握することができ、画像の選択がより容易になる表示情報作成装置等を提供する。
請求項1に記載の発明は、複数の撮影装置について各撮影装置の撮影範囲の情報を取得する撮影範囲取得手段と、前記撮影範囲の情報を基に、当該撮影範囲を3次元空間中で見たときの当該撮影範囲の3次元配置を求める配置導出手段と、前記3次元配置を表示する表示装置に対する表示情報として、複数の前記撮影装置の位置とともに何れの当該撮影装置であるかを示すマークを含む情報を作成する作成手段と、を備える表示情報作成装置である。
請求項2に記載の発明は、前記作成手段は、前記撮影装置の視野角を表す線をさらに表示する表示情報を作成することを特徴とする請求項1に記載の表示情報作成装置である。
請求項3に記載の発明は、前記作成手段は、前記撮影装置が撮影した画像上に前記3次元配置を重畳させて前記表示情報を作成することを特徴とする請求項2に記載の表示情報作成装置である。
請求項4に記載の発明は、前記マークは、前記撮影装置が前記画像内に位置するか当該画像外に位置するかで異なる請求項3に記載の表示情報作成装置である。
請求項5に記載の発明は、前記マークは、前記撮影装置が前記画像外に位置するときは、当該画像外に位置する当該撮影装置の方向を指し示す請求項4に記載の表示情報作成装置である。
請求項に記載の発明は、複数の前記撮影装置のうち前記表示装置で前記3次元配置を表示する撮影装置を選択する選択手段をさらに備えることを特徴とする請求項1に記載の表示情報作成装置である。
請求項に記載の発明は、前記選択手段で選択した前記撮影装置が撮影した画像に切り換える切換手段をさらに備えることを特徴とする請求項に記載の表示情報作成装置である。
請求項8に記載の発明は、複数の撮影装置の撮影条件を取得する撮影条件取得手段と、前記撮影条件を基に、前記撮影装置の撮影範囲を求める撮影範囲導出手段と、前記撮影範囲の情報を基に、当該撮影範囲を3次元空間中で見たときの当該撮影範囲の3次元配置を求める配置導出手段と、前記3次元配置を表示する表示装置に対する表示情報として、複数の前記撮影装置の位置とともに何れの当該撮影装置であるかを示すマークを含む情報を作成する作成手段と、を備える撮影システムである。
請求項9に記載の発明は、コンピュータに、複数の撮影装置について各撮影装置の撮影範囲の情報を取得する撮影範囲取得機能と、前記撮影範囲の情報を基に、当該撮影範囲を3次元空間中で見たときの当該撮影範囲の3次元配置を求める配置導出機能と、前記3次元配置を表示する表示装置に対する表示情報として、複数の前記撮影装置の位置とともに何れの当該撮影装置であるかを示すマークを含む情報を作成する作成機能と、を実現させるためのプログラムである。
請求項1の発明によれば、複数の撮影装置により複数の画像を撮影したときでも、それぞれの撮影装置の撮影箇所や撮影角度を容易に把握することができ、画像の選択がより容易になる表示情報作成装置を提供することができる。また、撮影装置と撮影範囲との関係を具体的に把握することができる。
請求項2の発明によれば、撮影範囲についてさらに具体的に把握することができる。
請求項3の発明によれば、撮影装置が撮影した画像上で撮影範囲を具体的に把握することができる。
請求項の発明によれば、複数の撮影装置が撮影した画像の中から、ユーザが見たい画像を選ぶことができる。
請求項の発明によれば、ユーザが見たい画像を選択的に表示することができる。
請求項8の発明によれば、複数の撮影装置により複数の画像を撮影したときでも、それぞれの撮影装置の撮影箇所や撮影角度を容易に把握することができ、画像の選択がより容易になる撮影システムを提供することができる。また、撮影装置と撮影範囲との関係を具体的に把握することができる。
請求項9の発明によれば、複数の撮影装置により複数の画像を撮影したときでも、それぞれの撮影装置の撮影箇所や撮影角度を容易に把握することができ、画像の選択がより容易になる機能をコンピュータにより実現できる。また、撮影装置と撮影範囲との関係を具体的に把握することができる。
本実施の形態における撮影システムの構成例を示す図である。 本実施の形態におけるサーバおよび端末装置の機能構成例を表すブロック図である。 (a)~(c)は、作成手段が作成する表示情報を実際に表示装置の表示画面に表示した例について示した図である。 本実施形態におけるサーバの動作について説明したフローチャートである。 端末装置の動作の第1の実施形態について説明したフローチャートである。 (a)~(d)は、図5のステップ205において、表示装置に表示されるカメラの撮影範囲の3次元配置について示した図である。 端末装置の動作の第2の実施形態について説明したフローチャートである。 (a)~(d)は、表示装置の表示画面で表示される画面の一例を示した図である。 各々のカメラの撮影範囲を1つの画面で表示させた場合を示した図である。
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
<撮影システム全体の説明>
図1は、本実施の形態における撮影システム1の構成例を示す図である。
図示するように本実施の形態の撮影システム1は、複数のカメラ40の撮影範囲を求めるサーバ10と、表示情報を作成する端末装置20と、端末装置20で作成された表示情報を基に画像を表示する表示装置30と、予め定められた面S上の予め定められた範囲を撮影する複数のカメラ40とを備える。
サーバ10は、情報処理装置の一例であり、撮影システム1の全体の管理をするサーバコンピュータである。サーバ10は、詳しくは後述するが、カメラ40の撮影条件についての情報を収集し、これを基にカメラ40の撮影範囲を求める。
端末装置20は、表示情報作成装置の一例であり、例えば、所謂汎用のパーソナルコンピュータ(PC)である。そして、端末装置20は、OS(Operating System)による管理下において、各種アプリケーションソフトウェアを動作させることで、本実施の形態の情報の処理等が行われるようになっている。詳しくは後述するが、端末装置20は、カメラ40の撮影範囲を空間中で見たときの3次元配置を求め、これを表示する表示情報を作成する。
サーバ10や端末装置20は、演算手段であるCPU(Central Processing Unit)と、記憶手段であるメインメモリ及びHDD(Hard Disk Drive)とを備える。ここで、CPUは、OS(Operating System、基本ソフトウェア)やアプリケーションプログラム(応用ソフトウェア)等の各種ソフトウェアを実行する。また、メインメモリは、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、HDDは、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。
また情報処理装置10は、外部との通信を行なうための通信インタフェースや入力手段を備える。入力手段は、キーボードやマウス等で構成される。入力手段は、本実施の形態に関するアプリケーションソフトウェアの起動、終了や、ユーザが指示を入力するのに使用する。
表示装置30は、表示画面30aに画像を表示する。表示装置30は、例えばPC用の液晶ディスプレイ、液晶テレビあるいはプロジェクタなど、画像を表示する機能を備えたもので構成される。したがって、表示装置30における表示方式は、液晶方式に限定されるものではない。なお、図1に示す例では、表示装置30内に表示画面30aが設けられているが、表示装置30として例えばプロジェクタを用いる場合、表示画面30aは、表示装置30の外部に設けられたスクリーン等となる。
カメラ40は、撮影装置の一例であり、例えば、入射した光を収束する光学系と、光学系により収束された光を検出する撮像手段であるイメージセンサとを備える。
光学系は、単一のレンズまたは複数のレンズを組み合わせて構成される。光学系は、レンズの組み合わせおよびレンズ表面に施されたコーティング等により、各種の収差が除去されている。イメージセンサは、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を配列して構成される。
サーバ10および端末装置20は、例えば、ネットワークを介して接続されている。ネットワークは、例えば、LAN(Local Area Network)やインターネットである。
端末装置20および表示装置30は、例えば、DVI(Digital Visual Interface)を介して接続されている。なお、DVIに代えて、HDMI(登録商標)(High-Definition Multimedia Interface)やDisplayPort等を介して接続するようにしてもかまわない。
またサーバ10とカメラ40とは、例えば、USB(Universal Serial Bus)を介して接続されている。なお、USBに代えて、IEEE1394やRS-232C等を介して接続されていてもよい。ただしこれに限られるものではなく、無線LAN(Local Area Network)、ブルートゥース(Bluetooth)(登録商標)等の無線接続であってもよい。
このような撮影システム1の概略動作を説明する。
まず複数のカメラ40が、それぞれ撮影対象を撮影する。この撮影対象は、図1の例では、物を組み立てている作業の画像である。撮影した撮影情報は、サーバ10に送られ、保存される。サーバ10では、複数のカメラ40の撮影に関する情報を取得し、これによりそれぞれのカメラ40の撮影範囲を求める。そして端末装置20では、サーバ10で求められた撮影範囲を基に撮影範囲の3次元範囲を求める。さらに端末装置20は、この撮影範囲の3次元範囲を表示する表示情報を作成する。この表示情報は、表示装置30に送られ表示される。またユーザは、表示装置30に表示された画面を見て、端末装置20の入力手段を操作し、ユーザが見たい撮影範囲を撮影するカメラ40を選択することができる。これによりユーザが希望する撮影範囲で撮影された撮影対象の画像情報が、サーバ10からダウンロードされ、表示装置30に表示される。
<サーバ10および端末装置20の説明>
図2は、本実施の形態におけるサーバ10および端末装置20の機能構成例を表すブロック図である。なお図2では、サーバ10および端末装置20が有する種々の機能のうち本実施の形態に関係するものを選択して図示している。
図示するように本実施の形態のサーバ10は、カメラ40から画像情報を取得するサーバ側取得手段110と、カメラ40の撮影範囲を求める撮影範囲導出手段120と、カメラ40の視野角の範囲を求める視野角範囲導出手段130と、画像情報、撮影範囲および視野角の範囲を保存する保存手段140とを備える。
サーバ側取得手段110は、複数のカメラ40のそれぞれから撮影した画像の画像情報を取得する。またサーバ側取得手段110は、撮影条件取得手段の一例であり、複数のカメラ40の各々の撮影条件を取得する。「撮影条件」は、カメラ40により撮影するときに設定される事項である。本実施の形態の撮影条件は、空間条件と設定条件に分けられる。このうち空間条件は、カメラ40や撮影対象の3次元空間中の位置や角度である。具体的には、例えば、カメラ40、撮影対象、および撮影対象が配される面のそれぞれの位置や角度や、カメラ40と撮影対象との距離等が含まれる。また設定条件は、カメラ40に対して設定される設定値である。具体的には、カメラ40の焦点距離、レンズの口径、ズーム倍率、解像度等である。
サーバ側取得手段110は、これらの撮影条件をカメラ40から取得したり、ユーザが入力することで取得する。また撮影条件を予め保存手段140に保存しておき、保存手段140から取得するようにしてもよい。
撮影範囲導出手段120は、撮影条件を基に、カメラ40の撮影範囲を求める。このとき撮影範囲は、複数のカメラ40について共通する領域中の範囲となる。「共通する領域」は、複数のカメラ40について共通して撮影する領域であり、撮影対象が配される面である。撮影範囲が、平面上に配される場合、共通する領域は、この平面である。また撮影対象が図1のように、机上に配される場合は、机上の面Sとなる。
視野角範囲導出手段130は、複数のカメラ40の視野角の範囲を求める。カメラ40の視野角の範囲は、上述した撮影条件から求めることができる。
保存手段140は、サーバ側取得手段110が取得した画像情報を保存する。また保存手段140は、撮影範囲導出手段120が求めた撮影範囲、および視野角範囲導出手段130が求めた視野角の範囲を保存する。
また本実施の形態の端末装置20は、画像情報、撮影範囲、視野角の範囲等を取得する端末側取得手段210と、ユーザの指示を受付けるユーザ指示受付手段220と、撮影範囲の3次元配置を求める配置導出手段230と、3次元配置を表示するための表示情報を作成する作成手段240と、表示情報を出力する出力手段250とを備える。
端末側取得手段210は、サーバ10の保存手段140から画像情報を取得する。また端末側取得手段210は、撮影範囲取得手段の一例であり、保存手段140から複数のカメラ40について各カメラ40の撮影範囲の情報を取得する。さらに端末側取得手段210は、保存手段140からカメラ40の視野角の範囲を取得する。
ユーザ指示受付手段220は、詳しくは後述するが、ユーザの指示として、複数のカメラ40の何れを選択するかの指示を受け付ける。つまり複数のカメラ40の撮影範囲として何れを選択するかの指示を受け付ける。また詳しくは後述する撮影範囲の3次元配置について何れの位置から見るかどうかを選択する指示を受け付ける。
配置導出手段230は、撮影範囲の情報を基に、撮影範囲を3次元空間中で見たときの撮影範囲の3次元配置を求める。この3次元配置は、3次元空間中の何れかの箇所から見たときの撮影範囲の見え方を表すものである。配置導出手段230は、例えば、空間計算を行ない、空間中において、撮影範囲を、3Dモデルとして配置することで、3次元配置を求める。
作成手段240は、面Sを含む画像を表示する表示装置30に、各々の撮影範囲を表示するための各々の表示情報を、作成する。つまり、配置導出手段230が求めた、面S上における撮影範囲の3次元配置を表示する表示装置30に対する表示情報を作成する。この表示情報は、例えば、Webブラウザ上で動作するHTML5 canvasを使用することで作成することができる。
また作成手段は、表示情報として、付加表示情報をさらに作成する。「付加表示情報」は、撮影範囲について付加される情報である。さらに具体的には、撮影範囲について空間中の3次元配置の相対的位置を表すために付加される情報である。付加表示情報は、詳しくは後述するが、例えば、カメラ40の位置を表す情報、カメラ40の視野角を表す表示情報、実体の画像情報などである。
出力手段250は、作成手段240が作成した表示情報を表示装置30に出力する。これにより表示装置30では、カメラ40の撮影範囲の3次元配置が表示される。
<表示情報の説明>
図3(a)~(c)は、作成手段240が作成する表示情報を実際に表示装置30の表示画面30aに表示した例について示した図である。図3(a)~(c)のそれぞれは、3台のカメラ40についての表示情報を表示装置30に表示した例を示している。
このうち図3(a)は、作成手段240が作成したカメラ40の3次元配置を表示する表示情報を基に、3台のカメラ40のうちカメラIDが1のカメラ40aについて、撮影範囲R1の3次元配置を表示した場合を示している。この撮影範囲R1は、図示するように四角形状であり、予め定められた面S上の一部である。
そしてここでは、付加表示情報として、共通する領域である面Sを撮影範囲R1とともに背景として表示する表示情報を作成し、これを表示している。この場合、背景は、予め用意された図表として表示される。この図表は、図3(a)の例では、面Sを表す模式図である。「模式図」は、面Sやその周囲に配される物を模式化して表した図である。ここでは、模式図として面Sがメッシュ面として描画されている。また模式図は、ポリゴンで表した図などであってもよい。また背景を表す図表としては、これに限られるものではなく、例えば、面Sを表すレイアウト図であってもよい。「レイアウト図」は、面Sやその周囲に配される物の配置を表した図である。このレイアウト図は、例えば、地図や設計図などである。
またここでは、付加表示情報として、カメラ40aの位置を示す表示情報を作成し、カメラ40aの位置を表示した例を示している。なおここではカメラ40aの位置は、表示画面30aの外側であるため水滴状の形状のマークQ1によりカメラ40aの位置を示している。この場合、水滴の頂部Q2の向く方向にカメラ40aがあることを示している。即ちこの場合、マークQ1の上部にカメラ40aがあることを示している。
さらに作成手段240は、付加表示情報として、カメラ40aの視野角を表す表示情報を作成し、カメラ40aの視野角を表示した例を示している。ここでは、カメラ40aの視野角を、カメラ40aと撮影範囲R1の外縁とを結ぶ線L1で示している。線L1は、カメラ40aと、四角形状の撮影範囲R1の4つの角部(四隅)を結ぶ4本の点線として表示されている。
図3(b)は、3台のカメラ40のうちカメラIDが2のカメラ40bについて、予め定められた面S上における四角形状の撮影範囲R2の3次元配置を表示した場合を示している。さらにここではカメラ40bの位置の位置を表示するとともに、カメラ40bの視野角を、カメラ40bと四角形状の撮影範囲R2の4つの角部(四隅)を結ぶ4本の線L2で示している。この場合、カメラ40bの位置は、表示画面30a内であり、円形状のマークQ3によりカメラ40bの位置を示している。
同様に図3(c)は、3台のカメラ40のうちカメラIDが3のカメラ40cについて、予め定められた面S上における四角形状の撮影範囲R3の3次元配置を表示した場合を示している。そしてここではカメラ40cの位置の位置を表示するとともに、カメラ40cの視野角を、カメラ40cと四角形状の撮影範囲R3の4つの角部(四隅)を結ぶ4本の線L3で示している。またこの場合もカメラ40cの位置は、表示画面30aの外側であるため水滴状の形状のマークQ1によりカメラ40cの位置を示している。この場合、水滴の頂部Q2の向く方向にカメラ40cがあることを示し、マークQ1の右側にカメラ40cがあることを示している。
<撮影システムの動作の説明>
次に撮影システム1の動作の説明を行なう。
ここでは、まず撮影システム1のうちサーバ10の動作について説明する。なおここでは、カメラ40はN台あるものとする。
図4は、本実施形態におけるサーバ10の動作について説明したフローチャートである。
まずサーバ側取得手段110が、複数のカメラ40についての画像情報および撮影条件を取得する(ステップ101)。
そしてサーバ側取得手段110は、撮影条件を画像情報のメタデータとして関連付けをし、これらを保存手段140に保存する(ステップ102)。
次に撮影範囲導出手段120が、カメラIDがnのカメラ40について撮影条件を取得する(ステップ103)。なおnの初期値は、1である。
そして撮影範囲導出手段120は、撮影条件を基にカメラ40の撮影範囲を求める(ステップ104)。
さらに視野角範囲導出手段130が、撮影条件を基にカメラ40の視野角の範囲を求める(ステップ105)。
この撮影範囲および視野角の範囲は、保存手段140に保存される(ステップ106)。
そして撮影範囲導出手段120が、nがN未満であるか否かを判断する(ステップ107)。
その結果、nがN未満であった場合(ステップ107でYes)、撮影範囲導出手段120は、nに1を加え(ステップ108)、ステップ103に戻る。
対してnがN未満でなかった場合(ステップ107でNo)、一連の処理を終了する。
次に、撮影システム1のうち端末装置20の動作について説明する。
[第1の実施形態]
ここでは、まず端末装置20の動作の第1の実施形態について説明する。第1の実施形態では、ユーザがカメラ40をまず選択し、選択したカメラ40について撮影範囲を表示する場合について説明を行なう。
図5は、端末装置20の動作の第1の実施形態について説明したフローチャートである。
まず端末側取得手段210が、サーバ10の保存手段140から、複数のカメラ40についての撮影範囲および視野角の範囲を取得する(ステップ201)。
次にユーザ指示受付手段220が、何れのカメラ40を選択するかの選択情報を取得する(ステップ202)。「選択情報」は、ユーザが選択したカメラ40を表す情報である。選択情報は、例えば、カメラIDの情報である。
そして配置導出手段230が、撮影範囲の情報を基に、撮影範囲を空間中で見たときの3次元配置を求める(ステップ203)。
さらに作成手段240が、3次元配置を表示する表示装置30に対する表示情報を作成する(ステップ204)。
そして出力手段250が、作成手段240が作成した表示情報を表示装置30に送る(ステップ205)。その結果、表示装置30では、選択されたカメラ40の撮影範囲の3次元配置が表示される。
そしてこれを見たユーザがカメラ40の選択に問題がないと判断した場合は、例えば、図示しないOKボタン等を選択することで、端末側取得手段210が、サーバ10の保存手段140から選択されたカメラ40の画像情報を取得する(ステップ206)。
この画像情報は、出力手段250が、表示装置30に送る(ステップ207)。その結果、表示装置30では、選択されたカメラ40の画像が表示される。
また出力手段250は、画像情報が静止画であるか否か、または動画であってもそれが終了したか否かを判断する(ステップ208)。
そして画像情報が静止画ではなく、かつ動画であってもそれが終了していない場合(ステップ208でNo)、ステップ207に戻る。
対して、画像情報が静止画であるか、動画であってもそれが終了した場合(ステップ208でYes)、一連の処理を終了する。
図6(a)~(d)は、図5のステップ205において、表示装置30に表示されるカメラ40の撮影範囲の3次元配置について示した図である。
このうち図6(a)は、表示情報としてカメラIDが1のカメラ40aについての撮影範囲の3次元配置を表示した場合を示している。
図示するように、図3(a)と同様のカメラ40aの撮影範囲R1およびカメラ40aの視野角を表す線L1が表示されている。またここでは、付加表示情報として、カメラ40aの位置や、カメラ40aの視野角を表す線L1のみならず、背景として、共通する領域である面Sを実際に撮影した実体の画像Jとしている。そしてこのカメラ40aが撮影した画像である実体の画像J上にカメラ40aの撮影範囲R1の3次元配置を重畳させている。この実体の画像Jは、複数のカメラ40が共通で撮影する領域であり、撮影領域全体を見渡せる画像であることが好ましい。
図6(d)は、実体の画像Jを示している。この実体の画像Jは、撮影対象および撮影対象の周囲を撮影した画像である。この実体の画像Jは、複数のカメラ40のうちの何れかにより撮影された画像の画像とすることができる。その結果、ユーザは、撮影範囲R1の3次元配置の把握がさらに具体的になる。
また図6(b)は、表示情報としてカメラIDが2のカメラ40bについての撮影範囲の3次元配置を表示した場合を示している。
図6(b)についても図6(a)と同様に、カメラ40bの撮影範囲R2とともに、面S、カメラ40bの位置およびカメラ40bの視野角を表す線L2が表示されている。そして実体の画像Jをカメラ40bの撮影範囲R2の3次元配置と重畳させている。
そして図6(c)は、表示情報としてカメラIDが3のカメラ40cについての撮影範囲の3次元配置を表示した場合を示している。
図6(c)についても図6(a)と同様に、カメラ40cの撮影範囲R3とともに、面S、カメラ40cの位置およびカメラ40cの視野角を表す線L3が表示されている。そして実体の画像Jをカメラ40cの撮影範囲R3の3次元配置と重畳させている。
[第2の実施形態]
次に、端末装置20の動作の第2の実施形態について説明する。第2の実施形態では、まず複数のカメラ40の撮影範囲を表示し、それからユーザがカメラ40を選択する場合について説明を行なう。
図7は、端末装置20の動作の第2の実施形態について説明したフローチャートである。
まず端末側取得手段210が、サーバ10の保存手段140から、複数のカメラ40についての撮影範囲および視野角の範囲を取得する(ステップ301)。
次に配置導出手段230が、撮影範囲の情報を基に、複数のカメラ40について、撮影範囲を空間中で見たときの3次元配置を求める(ステップ302)。つまり使用されている全てのカメラ40について撮影範囲の3次元配置を求める。
そして作成手段240が、3次元配置を表示する表示装置30に対する表示情報を作成する(ステップ303)。
そして出力手段250が、作成手段240が作成した表示情報を表示装置30に送る(ステップ304)。その結果、表示装置30では、複数のカメラ40の撮影範囲の3次元配置が表示される。そしてこれを見たユーザがカメラ40の選択を行なう。
図8(a)~(d)は、このとき表示装置30の表示画面30aで表示される画面の一例を示した図である。
図示するように画像G1~画像G3には、図6(a)~図6(c)に図示した撮影範囲R1~R3が表示される。そして画像G1~画像G3のうち何れかをマウス等の入力手段でクリック等を行なうことにより選択すると、撮影範囲R1~R3の何れかの画像G4が表示される。ここでは、画像G1を選択してカメラ40aを選択し、カメラ40aにより撮影した撮影範囲R1における画像を画像G4として表示した例を示している。
この場合、画像G1~画像G3は、複数のカメラ40のうち表示装置30で3次元配置を表示するものカメラ40を選択する選択手段として機能する。また画像G4は、選択手段でが選択したカメラ40で撮影した画像に切り換える切換手段として機能する。
図7に戻り、ユーザ指示受付手段220は、ユーザが選択したカメラ40の選択情報を取得する(ステップ305)。
そして端末側取得手段210が、選択されたカメラ40の画像情報を、サーバ10の保存手段140から取得する(ステップ306)。以後のステップ307~ステップ308は、図6のステップ207~ステップ208と同様である。
この場合、ステップ304において、表示装置30に表示されるカメラ40の撮影範囲の3次元配置は、複数となる。つまり共通する領域である面Sに対し各々の撮影範囲をまとめて表示する。よって例えば、図6(a)~(c)に示した画面を並べて表示するようにすればよい。つまりこの場合、複数のカメラ40毎に複数の画面でそれぞれ3次元配置を表示する。これによりユーザは、それぞれのカメラ40の撮影範囲の比較を行ないやすくなる。
そしてここでは、各々のカメラ40の撮影範囲R1~R3を各々のカメラ40毎に複数の画面でそれぞれ表示する。即ち、複数の画面のそれぞれにおいて、共通する領域である面Sに対し、各々の撮影範囲のうち1つを重畳させて表示する。
なお複数のカメラ40について、それぞれの撮影範囲の3次元配置をまとめて表示する方法は、これに限られるものではない。
図9は、各々のカメラ40の撮影範囲R1~R4を1つの画面で表示させた場合を示した図である。この場合、共通する領域である面Sに対し、各々の撮影範囲R1~R4を重畳させて表示する。即ち、図示するように、カメラ40aの撮影範囲R1、カメラ40bの撮影範囲R2、カメラ40cの撮影範囲R3、およびカメラ40dの撮影範囲R4のそれぞれの3次元配置を1つの画面で重畳させて表示している。これによりユーザは、それぞれのカメラ40の撮影範囲の位置関係の差異についてより把握しやすくなる。
以上説明した形態によれば、複数のカメラ40により複数の画像を撮影したときでも、それぞれのカメラ40の撮影箇所や撮影角度を容易に把握することができ、画像の選択がより容易になる。
また以上説明した形態によれば、サーバ10と端末装置20とは、別々の装置として動作していたが、これらを統合し、1つの装置として動作させてもよい。
以上説明した撮影システム1は、例えば、カメラ40が防犯カメラであり、このカメラ40が撮影した画像を監視員であるユーザが画像を選択する場合に使用することができる。この場合、ユーザは、複数のカメラ40の撮影範囲の3次元配置を見て、監視したい領域を撮影領域とするカメラ40を選択する。
また例えば、製品の組立て工程を、種々の角度や撮影範囲からカメラ40により予め撮影して録画しておき、ユーザが、製品の組立て工程を学習や確認をしたい場合に使用することができる。この場合、ユーザは、複数のカメラ40の撮影範囲の3次元配置を見て、確認したい領域や角度等を撮影領域とするカメラ40を選択する。
<プログラムの説明>
ここで以上説明を行った本実施の形態におけるサーバ10が行なう処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。
よって本実施の形態でサーバ10が行なう処理は、コンピュータに、複数のカメラ40の各々の撮影条件を取得する撮影条件取得機能と、撮影条件を基に、カメラ40の撮影範囲を求める撮影範囲導出機能と、カメラ40の視野角の範囲を求める視野角範囲導出機能と、を実現させるためのプログラムとして捉えることができる。
同様に本実施の形態における端末装置20が行なう処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。
よって本実施の形態で端末装置20が行なう処理は、コンピュータに、複数のカメラ40について各カメラ40の撮影範囲の情報を取得する撮影範囲取得機能と、撮影範囲の情報を基に、撮影範囲を3次元空間中で見たときの撮影範囲の3次元配置を求める配置導出機能と、3次元配置を表示する表示装置30に対する表示情報を作成する作成機能と、を実現させるためのプログラムとして捉えることができる。
なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、CD-ROM等の記録媒体に格納して提供することも可能である。
以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
1…撮影システム、10…サーバ、20…端末装置、30…表示装置、40…カメラ、110…サーバ側取得手段、120…撮影範囲導出手段、130…視野角範囲導出手段、140…保存手段、210…端末側取得手段、220…ユーザ指示受付手段、230…配置導出手段、240…作成手段、250…出力手段

Claims (9)

  1. 複数の撮影装置について各撮影装置の撮影範囲の情報を取得する撮影範囲取得手段と、
    前記撮影範囲の情報を基に、当該撮影範囲を3次元空間中で見たときの当該撮影範囲の3次元配置を求める配置導出手段と、
    前記3次元配置を表示する表示装置に対する表示情報として、複数の前記撮影装置の位置とともに何れの当該撮影装置であるかを示すマークを含む情報を作成する作成手段と、
    を備える表示情報作成装置。
  2. 前記作成手段は、前記撮影装置の視野角を表す線をさらに表示する表示情報を作成することを特徴とする請求項1に記載の表示情報作成装置。
  3. 前記作成手段は、前記撮影装置が撮影した画像上に前記3次元配置を重畳させて前記表示情報を作成することを特徴とする請求項2に記載の表示情報作成装置。
  4. 前記マークは、前記撮影装置が前記画像内に位置するか当該画像外に位置するかで異なる請求項3に記載の表示情報作成装置。
  5. 前記マークは、前記撮影装置が前記画像外に位置するときは、当該画像外に位置する当該撮影装置の方向を指し示す請求項4に記載の表示情報作成装置。
  6. 複数の前記撮影装置のうち前記表示装置で前記3次元配置を表示する撮影装置を選択する選択手段をさらに備えることを特徴とする請求項1に記載の表示情報作成装置。
  7. 前記選択手段で選択した前記撮影装置が撮影した画像に切り換える切換手段をさらに備えることを特徴とする請求項に記載の表示情報作成装置。
  8. 複数の撮影装置の撮影条件を取得する撮影条件取得手段と、
    前記撮影条件を基に、前記撮影装置の撮影範囲を求める撮影範囲導出手段と、
    前記撮影範囲の情報を基に、当該撮影範囲を3次元空間中で見たときの当該撮影範囲の3次元配置を求める配置導出手段と、
    前記3次元配置を表示する表示装置に対する表示情報として、複数の前記撮影装置の位置とともに何れの当該撮影装置であるかを示すマークを含む情報を作成する作成手段と、
    を備える撮影システム。
  9. コンピュータに、
    複数の撮影装置について各撮影装置の撮影範囲の情報を取得する撮影範囲取得機能と、
    前記撮影範囲の情報を基に、当該撮影範囲を3次元空間中で見たときの当該撮影範囲の3次元配置を求める配置導出機能と、
    前記3次元配置を表示する表示装置に対する表示情報として、複数の前記撮影装置の位置とともに何れの当該撮影装置であるかを示すマークを含む情報を作成する作成機能と、
    を実現させるためのプログラム。
JP2018020237A 2018-02-07 2018-02-07 表示情報作成装置、撮影システムおよびプログラム Active JP7130976B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018020237A JP7130976B2 (ja) 2018-02-07 2018-02-07 表示情報作成装置、撮影システムおよびプログラム
US16/261,592 US11356632B2 (en) 2018-02-07 2019-01-30 Display-information generating apparatus, information processing apparatus, and imaging system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018020237A JP7130976B2 (ja) 2018-02-07 2018-02-07 表示情報作成装置、撮影システムおよびプログラム

Publications (2)

Publication Number Publication Date
JP2019140459A JP2019140459A (ja) 2019-08-22
JP7130976B2 true JP7130976B2 (ja) 2022-09-06

Family

ID=67476169

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018020237A Active JP7130976B2 (ja) 2018-02-07 2018-02-07 表示情報作成装置、撮影システムおよびプログラム

Country Status (2)

Country Link
US (1) US11356632B2 (ja)
JP (1) JP7130976B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008005450A (ja) 2006-06-20 2008-01-10 Kubo Tex Corp 3次元仮想空間を利用したビデオカメラのリアルタイム状態把握、制御の方法
JP2011130234A (ja) 2009-12-18 2011-06-30 Canon Inc 放送用カメラシステム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4899340B2 (ja) * 2004-08-02 2012-03-21 日産自動車株式会社 運転感覚調整装置及び運転感覚調整方法
US7944454B2 (en) 2005-09-07 2011-05-17 Fuji Xerox Co., Ltd. System and method for user monitoring interface of 3-D video streams from multiple cameras
JP2007101197A (ja) * 2005-09-30 2007-04-19 Nachi Fujikoshi Corp 物体探索装置,物体探索装置を備えるロボットシステム及び物体探索方法
US7777783B1 (en) 2007-03-23 2010-08-17 Proximex Corporation Multi-video navigation
US20110109747A1 (en) 2009-11-12 2011-05-12 Siemens Industry, Inc. System and method for annotating video with geospatially referenced data
JP5917037B2 (ja) * 2011-07-29 2016-05-11 キヤノン株式会社 被検体情報取得装置および被検体情報取得方法
CN107111906B (zh) * 2015-01-26 2020-01-21 凸版印刷株式会社 识别装置、识别方法、及包括识别程序的计算机可读介质
JP6624945B2 (ja) * 2016-01-21 2019-12-25 キヤノン株式会社 画像形成方法及び装置
JP7122694B2 (ja) * 2017-03-31 2022-08-22 パナソニックIpマネジメント株式会社 撮像システムおよび校正方法
WO2019021375A1 (ja) * 2017-07-25 2019-01-31 富士通株式会社 映像生成プログラム、映像生成方法および映像生成装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008005450A (ja) 2006-06-20 2008-01-10 Kubo Tex Corp 3次元仮想空間を利用したビデオカメラのリアルタイム状態把握、制御の方法
JP2011130234A (ja) 2009-12-18 2011-06-30 Canon Inc 放送用カメラシステム

Also Published As

Publication number Publication date
JP2019140459A (ja) 2019-08-22
US20190246059A1 (en) 2019-08-08
US11356632B2 (en) 2022-06-07

Similar Documents

Publication Publication Date Title
JP6029380B2 (ja) 画像処理装置、画像処理装置を具備する撮像装置、画像処理方法、及びプログラム
JP6482696B2 (ja) 表示制御装置、表示制御方法、およびプログラム
JP6849430B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6100089B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6167703B2 (ja) 表示制御装置、プログラム及び記録媒体
US20170041530A1 (en) Information processing apparatus and control method therefor
JP6787394B2 (ja) 情報処理装置、情報処理方法、プログラム
JP2014197824A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
US20090059094A1 (en) Apparatus and method for overlaying image in video presentation system having embedded operating system
JP2016144089A (ja) 画像処理装置およびその制御方法
JP2013009274A (ja) 画像処理装置および画像処理方法、プログラム
WO2013175980A1 (ja) 撮像装置、撮像装置の制御方法、および、記録媒体
WO2019107138A1 (ja) 表示制御装置、表示制御方法、およびプログラム
JP6234401B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
US9172860B2 (en) Computational camera and method for setting multiple focus planes in a captured image
JP7130976B2 (ja) 表示情報作成装置、撮影システムおよびプログラム
US20150146072A1 (en) Image focusing
JP2013255171A (ja) 画像配信装置及び画像表示装置
JP5744642B2 (ja) 画像処理装置および画像処理方法、プログラム。
KR20170055455A (ko) 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템 및 그가 적용된 tvi 장치
JP2014086899A (ja) 画像処理装置、画像処理方法およびプログラム。
JP4811249B2 (ja) 遠隔指示システム
WO2018235762A1 (ja) 表示制御装置、表示制御方法、およびプログラム
JP7431609B2 (ja) 制御装置及びその制御方法及びプログラム
KR102339825B1 (ko) 상황인식 장치 및 이의 영상 스티칭 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220726

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220808

R150 Certificate of patent or registration of utility model

Ref document number: 7130976

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150