JP7204351B2 - 表示制御装置、表示制御装置の制御方法、及び、プログラム - Google Patents

表示制御装置、表示制御装置の制御方法、及び、プログラム Download PDF

Info

Publication number
JP7204351B2
JP7204351B2 JP2018112723A JP2018112723A JP7204351B2 JP 7204351 B2 JP7204351 B2 JP 7204351B2 JP 2018112723 A JP2018112723 A JP 2018112723A JP 2018112723 A JP2018112723 A JP 2018112723A JP 7204351 B2 JP7204351 B2 JP 7204351B2
Authority
JP
Japan
Prior art keywords
image
display
imaging devices
imaging
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018112723A
Other languages
English (en)
Other versions
JP2019216363A (ja
Inventor
良樹 岩切
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018112723A priority Critical patent/JP7204351B2/ja
Priority to PCT/JP2019/021989 priority patent/WO2019239940A1/ja
Publication of JP2019216363A publication Critical patent/JP2019216363A/ja
Priority to US17/116,556 priority patent/US11528462B2/en
Application granted granted Critical
Publication of JP7204351B2 publication Critical patent/JP7204351B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/282Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2404Monitoring of server processing errors or hardware failure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/12Test circuits or failure detection circuits included in a display system, as permanent part thereof
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/025LAN communication management
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/20Details of the management of multiple sources of image data
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/22Detection of presence or absence of input display information or of connection or disconnection of a corresponding information source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、表示制御装置、表示制御装置の制御方法、及び、プログラムに関する。
従来、異なる位置に設置された複数の撮像装置により複数の方向から同期して被写体を撮影し、撮影により得られた複数の撮影画像(複数視点画像)を用いて仮想視点画像を生成する技術が提案されている。仮想視点画像は、撮像装置の設置位置に限定されない仮想的な視点における見えを表す画像である。
特許文献1には、一つ以上の画像に基づいて仮想視点操作者が好みの視点を選択し、画像と選択された視点の情報とから仮想視点画像を生成する技術が開示されている。また、特許文献1には、仮想視点操作者に好みの視点を選択させるためのUI(ユーザインターフェース)も開示されている。
特開2014-215828号公報
複数の装置から構成される種々のシステムにおいて、その構成要素となる装置の状態を表示することで、システム監視者にシステムの異常等の状態を知らせることができる。
しかしながら、例えば仮想視点画像を生成するために複数の撮像装置を有する撮像システムでは、撮像システムの状態によってシステム監視者が必要とする情報が異なり、撮像装置の状態を表示するだけでは不十分な場合がある。例えば、撮像装置の取り付け不良等によって撮像装置に振動が発生して場合、撮像装置管理者がこの撮像装置へ出向いて対処する必要がある。このため、複数の撮像装置の状態を適切に表示できるようにすることが望まれている。
本発明の表示制御装置は、撮像システムを構成する複数の撮像装置の状態を示す状態情報を取得する取得手段と、前記取得手段によって取得された前記状態情報に基づいて、前記複数の撮像装置の状態の表示形式を示す複数の画像種別から少なくとも一つの画像種別を決定する第1の決定手段と、前記取得手段によって取得された前記状態情報と前記第1の決定手段によって決定された画像種別とに基づいて、前記複数の撮像装置の状態を表示するよう制御する表示制御手段と、を有し、前記複数の画像種別には、少なくとも、前記複数の撮像装置のネットワーク接続構成を表示する形式の第1の画像種別と、前記複数の撮像装置の撮像パラメータの一覧を表示する形式の第2の画像種別と、が含まれ、前記第1の決定手段は、前記複数の撮像装置間においてネットワークエラーが発生している場合には、前記第1の画像種別に決定し、撮像装置のパラメータの異常が発生している場合には、前記第2の画像種別に決定する
本発明によれば、複数の撮像装置の状態を適切に表示できる。
撮像システムの構成の一例を示す図である。 撮像装置の配置の一例を示す図である。 情報表示装置のハードウェア構成の一例を示す図である。 情報表示装置の機能構成の一例を示す図である。 データ記憶部が保持するデータの一例を示す図である。 状態情報の一例を示す図である。 UIイメージ種別決定処理の一例を示すフローチャートである。 配線表示UI画像生成処理の一例を示すフローチャートである。 UI画像で表示する撮像装置アイコンの一例を示す図である。 配線表示UI画像の一例を示す図である。 パラメータ表示UI画像生成処理の一例を示すフローチャートである。 パラメータ表示UI画像の一例を示す図である。 実位置表示UI画像生成処理の一例を示すフローチャートである。 実位置表示UI画像の一例を示す図である。 状態情報の一例を示す図である。 配線表示UI画像の一例を示す図である。 パラメータ表示UI画像の一例を示す図である。 実位置表示UI画像の一例を示す図である。 情報表示装置の機能構成の一例を示す図である。 状態決定処理の一例を示すフローチャートである。 UIイメージ種別決定処理の一例を示すフローチャートである。 表示装置に表示される画面の一例を示す図である。
<第1の実施形態>
まず、第1の実施形態を説明する。本実施形態では、機器の異常内容に応じてUI(ユーザインターフェース)表示を切り替えて表示する例を説明する。本実施形態によって、異常が発生した機器の特定や異常の内容、影響範囲をシステム監視者が素早く理解することができる。
図1は、本実施形態の撮像システムの構成の一例を示す図である。本実施形態の撮像システムは、複数の撮像装置100-1、100-2、・・・100-mを有する撮像装置群100と、画像生成装置200と、情報表示装置300と、HUB400とを有する。各々の装置は、画像や制御情報を伝送するための伝送ケーブルを介して相互に通信可能に接続される。伝送ケーブルの具体例としては、Ethernet(登録商標)であるIEEE標準準拠のGbE(ギガビットイーサーネット)や10GbEが挙げられる。ただし、伝送ケーブルは、これらに限定されず、他の種別のケーブルであってもよい。また、各々の装置は無線通信を行ってもよい。
撮像装置群100は、m個の撮像装置(撮像装置100-1、100-2、・・・、100-m)を有する。以下、特定の撮像装置を示さない場合、撮像装置100-1、100-2、・・・、100-mを、撮像装置100-xと称する。ここで記載されるm、n(後述)、xは、整数値を示す。
相互に隣り合う位置にある撮像装置100-x同士(例えば、撮像装置100-1と撮像装置100-2)は、伝送ケーブルを介して相互に接続される。撮像装置100-xは、撮像画像や撮像装置100-xの状態情報を画像生成装置200及び情報表示装置300へ伝送する。状態情報については後述する。図1では、撮像装置100-1は、撮像装置100-2と相互に接続される。また、撮像装置100-2は、撮像装置100-1に加え、撮像装置100-2と隣り合う位置にある不図示のもう1つの撮像装置と相互に接続される。そして、撮像装置100-nは、撮像装置100-nと隣り合う位置にある不図示の撮像装置と相互に接続される。また、撮像装置100-nは、HUB400と相互に接続される。つまり、本実施形態のネットワークトポロジはデイジーチェーンである。本実施形態では、こうした接続グループが2つある。もう一つは、撮像装置100-(n+1)から撮像装置100-mまでの撮像装置であり、撮像装置100-(n+1)から撮像装置100-mまでの撮像装置も同様に接続される。接続グループの数は2つに限らず、1つでも3つ以上あってもよい。ネットワークトポロジは、環形(リング型)、メッシュ型、スター型、バス型、ツリー型でもよく、前述の様々な型の複合系でもよく、特に限定されない。
撮像装置100-xは、サッカー場等の競技場や特定の被写体を取り囲むように配置される。図2は、撮像装置100-xの配置の一例を示す図である。図2に示す例では、サッカー場等の競技場210の全て又は一部の範囲が複数の撮像装置100-xで撮像されるように、複数の撮像装置100-xが配置される。
複数の撮像装置100-xは、例えばデジタルカメラであり、外部の不図示の同期装置からの同期信号に基づき、同じタイミングで撮像を行う。撮像装置100-xにより撮像された画像は、伝送ケーブルを介して、HUB400を通り、画像生成装置200、及び、情報表示装置300に伝送される。撮像装置100-xは、静止画像を撮像するカメラであってもよく、動画像を撮像するカメラであってもよく、静止画像及び動画像の双方を撮像するカメラであってもよい。
画像生成装置200は、HUB400を介して撮像装置100-xと相互に接続される。画像生成装置200は、撮像装置100-xにより撮像された画像を蓄積する。画像生成装置200は、ユーザ端末の操作に基づいて仮想視点情報が入力された場合、複数の撮像装置100-xにより撮像された画像を用いて、仮想視点情報に対応した仮想視点画像を生成する。仮想視点情報は、位置情報と方向情報とを少なくとも含む。位置情報は、競技場210の中央等の所定位置に対する相対的な位置(例えば、所定位置を基準とした場合の、前後方向、左右方向、及び、上下方向の位置)を示す情報である。方向情報は、その所定位置からの向き(例えば、所定位置を原点とし、前後方向、左右方向、上下方向を軸とする3次元直交座標系での各軸からの角度)を示す情報である。
画像生成装置200は、例えば、サーバ装置であり、撮像装置100-xの画像を保存するデータベース機能や、撮像装置100-xの位置や向きに基づいて仮想視点画像を生成する画像処理機能を有する。画像生成装置200が用いるデータベースは、競技開始前の競技会場の場面等、予め被写体が存在しない状態の競技会場の場面を撮像した画像を、背景画像データとして予め保持する。
情報表示装置300は、HUB400を介して撮像装置100-xや画像生成装置200と相互に接続される。情報表示装置300は、撮像装置100-xにより撮像された撮像画像や撮像装置100-xの状態情報を受信し、後述する表示画面(表示部508)に表示する。また、画像生成装置200の状態情報も受信し、表示画面に表示する。情報表示装置300には、通常、監視者がつく。監視者は、表示画面に表示された撮像画像等を用いて撮像装置群100や画像生成装置200の状態を定常的に監視する。
HUB400は、撮像装置100-xからの撮像画像を、画像生成装置200及び情報表示装置300に分配する。
次に、図3を参照して、情報表示装置300の構成の一例について説明する。図3は、情報表示装置300のハードウェア構成の一例を示す図である。
情報表示装置300は、コントローラユニット301と操作ユニット310と表示装置311とを含む。
コントローラユニット301は、CPU302を有する。CPU302は、ROM303に格納されているブートプログラムによりOS(Operating System)を起動する。CPU302は、このOS上で、HDD(Hard Disk Drive)305に格納されているアプリケーションプログラムを実行する。CPU302は、アプリケーションプログラムの実行によって、図7、図8、図11、図13、図20、図21等の各種処理や図4、図19の各種機能等を実現する。CPU302の作業領域としてはRAM304が用いられる。HDD305は、アプリケーションプログラム等を格納する。HDD305は、記憶媒体の一例である。
CPU302は、システムバス309を介して、ROM303、RAM304、HDD305、操作部I/F306、表示部I/F307、及び、通信I/F308と相互に接続される。操作部I/F306は、操作ユニット310とのインタフェースである。操作部I/F306は、操作ユニット310によってシステム監視者により入力された情報をCPU302に送出する。操作ユニット310は、例えば、タッチパネル、マウス及びキーボードの少なくとも何れかを有する。表示部I/F307は、表示装置311に表示すべき画像データを表示装置311に対して出力する。表示装置311は、コンピュータディスプレイを有する。コンピュータディスプレイは、液晶パネル又は有機ELパネル等の表示パネル等である。通信I/F308は、伝送ケーブルに接続される。通信I/F308は、伝送ケーブルを介して、外部装置(ユーザ端末やHUB400)との間で情報の入出力を行う。図3で示した構成の全てが情報表示装置300において必須の構成とは限らない。例えば表示装置311は必須の構成ではない。情報表示装置300は、ケーブルやネットワークを介して接続された外部の表示装置に画像を表示させることも可能である。
図4は、情報表示装置300の機能構成の一例を示す図である。情報表示装置300は、データ記憶部501とデータ入力・読出部502とUI画像生成部503と状態取得部504と制御部505とユーザ入力部506と制御信号出力部507と表示部508とを有する。これらは、制御部505による制御の下、相互にデータを送受信することができる。図4のデータ記憶部501は図3のHDD305に対応する。図4のデータ入力・読出部502、UI画像生成部503、及び、制御部505は、図3のCPU302に対応する。図4の状態取得部504、及び、制御信号出力部507は、図3の通信I/F308に対応する。図4のユーザ入力部506は、図3の操作部I/F306と操作ユニット310に対応する。図4の表示部508は、表示部I/F307と表示装置311に対応する。以下、各部の構成の一例を詳細に説明する。
データ記憶部501は、UI画像生成部503がUIを表示するために必要なデータである撮影環境情報を保持する。撮影環境情報は、少なくとも以下の何れかを含む。
・競技場210のレイアウトデータ
・撮像装置100-xの識別情報
・撮像装置100-xの設置座標情報
・撮像装置100-xの接続先情報
・情報表示装置300の設置座標情報
・情報表示装置300の接続先情報
ここでの設置座標情報は、所定の位置(例えば、競技場210の中央)を原点とした場合のXYZ座標情報である。設置座標情報をXYZ情報とも呼ぶ。接続先情報は、伝送ケーブル(ネットワークケーブル)でどの機器と接続されているかを示す情報である。
図5は、撮影環境情報の内「競技場210のレイアウトデータ」を除くデータ例である。図5には、1台の情報表示装置300と16台の撮像装置100-xの情報が記されている。第1の実施形態の説明には、図5の例を使用する。図5の「Dev」は、装置の識別情報である。情報表示装置300の識別情報はCSである。CSは、制御局(Control Station)の頭文字を取った造語である。撮像装置100-xの識別情報は、2桁の数値からなる。図5の「X、Y、Z」は、情報表示装置300及び撮像装置100-xの設置位置を示す座標値である。図5の座標値の単位は、ミリメートルである。図5の「接続先」は、情報表示装置300及び撮像装置100-xのネットワークの接続先となる装置の識別情報である。例えば、図5では、情報表示装置300であるCSは、HUB400を経由して撮像装置100-01と撮像装置100-02と接続されていることを示す。
データ記憶部501は、情報表示装置300内にある必要はなく、外部の記憶装置にあってもよい。また、撮像装置100-xに関する情報を保持するデータ記憶部501は、各々の撮像装置100-x内にあってもよい。
データ入力・読出部502は、データ記憶部501から各種データを読出し、UI画像生成部503へ出力する。
UI画像生成部503は、データ入力・読出部502から取得したデータと状態取得部504から取得した状態情報とに基づいて、撮像装置100-xを監視するためのUI画像を生成する。UI画像は、複数の撮像装置100-xの状態を表示する画像である。状態情報、及び、UI画像例については後述する。UI画像生成部503は、生成したUI画像を表示イメージとして表示部508に出力して、UI画像を表示装置311に表示するよう制御する。
状態取得部504は、各々の各撮像装置100―xの状態情報を取得し、UI画像生成部503、及び、制御部505へ出力する。UI画像生成部503は、状態情報の変化を検出した場合は、生成したUI画像を更新する。図6は、複数の撮像装置100-xの状態を示す状態情報の一例である。図6の「Dev」は、撮像装置100-xの識別情報である。図6の「Iso」、「Iris」、「Shutter」は、撮像装置100-xに設定されているISO、アイリス、シャッタースピードの値であり、露出に関わる。図6の「Iso」、「Iris」、「Shutter」を露出設定値とも呼ぶ。露出設定値は、撮像パラメータの一例である。図6の「State」は、撮像装置100-xの状態を示す。「State」には、少なくとも以下の4つを含む複数の状態の何れかが設定される。
・Normal
・NW Err
・Vib
・Obstacle
「Normal」は、正常を示す。「NW Err」は、ネットワークエラーで、情報表示装置300と撮像装置100-xとの通信ができない状態を示す。ネットワークエラーの原因として、例えば、ネットワークケーブルが非接続、撮像装置100-xの電源がオフといったことが考えられる。「Vib」は、撮像装置100-xが振動していることを示す。撮像装置100-xが振動する原因として、設置時の取り付けの異常、撮像装置自体に外力がかかっているといったことが考えられる。「Obstacle」は、撮像映像内に障害物が映り込んでいる状態を示す。障害物として、観客の身体の一部、荷物等の物体、虫等が考えられる。
制御部505は、状態取得部504からの状態情報、又は、ユーザ入力部506からの操作情報に基づき、情報表示装置300の各部に制御指示を出す。例えば、制御部505は、状態取得部504から撮像装置100-xの状態情報を受信すると、撮像装置100-xの露出設定値や状態に基づいてUIイメージ種別を決定し、UI画像生成部503に出力する。UIイメージ種別は、UI画像の画像種別であり、複数の撮像装置100-xの状態の表示形式を示す。また、制御部505は、ユーザ入力部506からUIの切換指示を示す操作情報を取得すると、取得した情報に応じたUIイメージ種別を決定し、UI画像生成部503に出力する。UIイメージ種別は、少なくとも以下を含む。
・配線表示
・パラメータ表示
・実位置表示
配線表示は、配線表示UI画像の画像種別である。配線表示UI画像は、情報表示装置300と全ての撮像装置100-xのネットワーク接続構成を表示する画像である。
パラメータ表示は、パラメータ表示UI画像の画像種別である。パラメータ表示UI画像は、複数の撮像装置100-xの撮像パラメータである露出設定値の一覧を表示する画像である。
実位置表示は、実位置表示UI画像の種別である。実位置表示UI画像は、撮像装置100-xの機器自体がスタジアムのどの位置に設置してあるかを表示する画像であり、複数の撮像装置100-xが配置されている位置を地図上に表示する画像である。
UIイメージ種別のより具体的な決定処理、及び、各UI画像の詳細については後述する。
ユーザ入力部506は、操作ユニット310に入力された操作情報を受け付けて、制御部505に出力する。
制御信号出力部507は、制御部505からの制御信号を外部に出力する。出力先は例えば撮像装置100-xである。制御信号には、例えば、ズーム、フォーカス、アイリス、ISO、シャッタースピード、NDフィルタ切換がある。
表示部508は、フレームバッファ、及び、表示パネルを有する。表示部508は、UI画像生成部503から出力された表示イメージをフレームバッファに格納する(上書きする)。そして、表示部508は、フレームバッファに格納した表示イメージを所定のリフレッシュレートで読み出して表示装置311にて表示する。
(異常内容に応じたUIイメージ種別の決定方法)
図7は、状態取得部504から取得した状態情報に基づいて制御部505がUIイメージ種別を決定するUIイメージ種別決定処理の一例を示すフローチャートである。
S701において、制御部505は、状態取得部504から状態情報を取得する。
S702において、制御部505は、取得した状態情報に基づいて、撮像装置群100に含まれる撮像装置100-xの中に、ネットワークエラーが発生している撮像装置100-xがあるか否かを判定する。より具体的には、制御部505は、図6に示す状態情報の項目「State」が「NwErr」である撮像装置100-xがあるか否かを判定する。制御部505は、ネットワークエラーが発生している撮像装置100-xがあると判定した場合、処理をS703に進める。制御部505は、ネットワークエラーが発生している撮像装置100-xがないと判定した場合、処理をS704に進める。
S703において、制御部505は、複数のUIイメージ種別の中から配線表示を選択し、UI画像に使用するUIイメージ種別を配線表示に決定する。
S704において、制御部505は、取得した状態情報に基づいて、撮像装置群100に含まれる撮像装置100-xの中に、露出異常が発生している撮像装置100-xがあるか否かを判定する。制御部505は、次の何れかの場合に、露出異常が発生している撮像装置100-xがあると判定する。第1が、状態情報の項目「Iso」の値が、他の撮像装置100-xの「Iso」の値と異なる撮像装置100-xが1台以上ある場合である。第2が、状態情報の項目「Iris」の値が、他の撮像装置100-xの「Iris」の値と異なる撮像装置100-xが1台以上ある場合である。第3が、状態情報の項目「Shutter」の値が、他の撮像装置100-xの「Shutter」の値と異なる撮像装置100-xが1台以上ある場合である。制御部505は、露出異常が発生している撮像装置100-xがあると判定した場合、処理をS705に進める。制御部505は、露出異常が発生している撮像装置100-xがないと判定した場合、処理をS706に進める。露出異常は、撮像パラメータエラーの一例である。
S705において、制御部505は、複数のUIイメージ種別の中からパラメータ表示を選択し、UI画像に使用するUIイメージ種別をパラメータ表示に決定する。
S706において、制御部505は、複数のUIイメージ種別の中から実位置表示を選択し、UI画像に使用するUIイメージ種別を実位置表示に決定する。実位置表示が選択される条件は、全ての撮像装置100-xが正常であること、又は、図6に示す項目「State」が「Vib」又は「Obstacle」の撮像装置100-xがあること、である。
S702からS706の処理は、状態情報に基づいて、複数のUIイメージ種別から何れかのUIイメージ種別を決定する第1の決定処理の一例である。本実施形態では、制御部505は、撮像装置100-xのエラーの種別に基づいてUIイメージ種別を決定する。
S707において、制御部505は、決定したUIイメージ種別を表す情報をUI画像生成部503へ出力する。
(配線表示UI画像)
次に、UI画像生成部503が制御部505から取得したUIイメージ種別に応じてUI画像を生成する処理フロー、及び、UI画像の例について説明する。
まず、配線表示UI画像を生成する処理、及び、配線表示UI画像の例について説明する。図8は、配線表示UI画像を生成する処理である配線表示UI画像生成処理の一例を示すフローチャートである。図8の配線表示UI画像生成処理は、図7の処理でUI画像生成部503が制御部505からUIイメージ種別として配線表示を取得した場合に実行される。配線表示UI画像生成処理の各処理が実行される順序は、図8に示す順序に限定されない。図9は、UI画像で表示する撮像装置アイコンの一例である。図10は、配線表示UI画像の一例である。
S801において、UI画像生成部503は、情報表示装置300を表す矩形を描画する。本実施形態での描画は、UI画像用のメモリに図形等の情報を書き込むことでUI画像を生成することを表す。
S802において、UI画像生成部503は、撮影環境情報の接続先情報に基づいて、撮像装置群100に含まれる各々の撮像装置100-xの配線表示UI画像における配置位置を決定する。
S803において、UI画像生成部503は、S804又はS805でアイコンの描画が行われていない撮像装置100-xを一つ選択する。そして、UI画像生成部503は、状態取得部504から取得した状態情報に基づいて、選択した撮像装置100-xが異常状態であるか否かを判定する。UI画像生成部503は、選択した撮像装置100-xが異常状態であると判定した場合、処理をS804に進め、異常状態ではないと判定した場合、処理をS805に進める。撮像装置100-xが異常状態とは、選択した撮像装置100-xの図6に示す状態情報の項目「State」が「Normal」以外、又は、選択した撮像装置100-xの露出設定値が異常である場合である。露出設定値が異常とは、撮像装置100-xの「Iris」、「Iso」及び「Shutter」の少なくとも何れかが正常な値ではない場合のことである。「Iris」の正常な値は、例えば、状態情報の「Iris」の値として最も多く使用されている値である。「Iso」の正常な値は、例えば、状態情報の「Iso」の値として最も多く使用されている値である。「Shutter」の正常な値は、例えば、状態情報の「Shutter」の値として最も多く使用されている値である。「Iris」、「Iso」、「Shutter」の正常な値は、予め定められた値でもよい。
S804において、UI画像生成部503は、S803で選択した撮像装置100-xを表すアイコンとして図9(b)に示す異常用のアイコンを、S802で決定した配置位置に描画する。
S805において、UI画像生成部503は、S803で選択した撮像装置100-xを表すアイコンとして図9(a)に示す正常用のアイコンを、S802で決定した配置位置に描画する。
S806において、UI画像生成部503は、撮像装置群100に含まれる全ての撮像装置100-xを表すアイコンを描画したか否かを判定する。UI画像生成部503は、全ての撮像装置100-xを表すアイコンを描画したと判定した場合、処理をS807に進め、それ以外の場合、処理をS803に戻す。
S807において、UI画像生成部503は、識別情報を描画する。より具体的には、UI画像生成部503は、撮影環境情報の項目「Dev」を確認し、情報表示装置300の識別情報をS801で描画した矩形内に描画する。また、UI画像生成部503は、撮像装置群100に含まれる撮像装置100-xの識別情報を、S804、及び、S805で描画したアイコンの下に描画する。
S808において、UI画像生成部503は、撮影環境情報の接続先情報に基づいて、伝送ケーブルで接続される装置を表す矩形やアイコンを線で結ぶ。より具体的には、UI画像生成部503は、撮影環境情報の接続先情報に基づいて、情報表示装置300を示す矩形と、情報表示装置300に伝送ケーブルで接続された撮像装置100-xを示すアイコンと、を線で結ぶ。また、UI画像生成部503は、撮影環境情報の接続先情報に基づいて、伝送ケーブルで相互に接続される撮像装置100-xを示すアイコンを線で結ぶ。
以上説明した図8の各ステップの処理での描画によってUI画像生成部503が生成した配線表示UI画像の例を図10に示す。UI画像生成部503は、生成した配線表示UI画像を表示装置311に表示するよう制御する。
(パラメータ表示UI画像)
次に、パラメータ表示UI画像を生成する処理、及び、パラメータ表示UI画像の例について説明する。図11は、パラメータ表示UI画像を生成する処理であるパラメータ表示UI画像生成処理の一例を示すフローチャートである。図11のパラメータ表示UI画像生成処理は、図7の処理でUI画像生成部503が制御部505からUIイメージ種別としてパラメータ表示を取得した場合に実行される。パラメータ表示UI画像生成処理の各処理が実行される順序は、図11に示す順序に限定されない。図12は、パラメータ表示UI画像の一例である。
S1101において、UI画像生成部503は、全ての撮像装置100-xの露出情報及び状態情報を示すためのリストを作成する。UI画像生成部503が作成するリストは、撮影環境情報から検出した撮像装置数分の行があり、列には「Dev」、「Iso」、「Iris」、「Shutter」、「State」がある。
S1102において、UI画像生成部503は、撮影環境情報及び状態情報に基づいて、S1101で作成したリストに値を格納する。UI画像生成部503は、識別情報を表すリストの「Dev」を、データ入力・読出部502から取得した撮影環境情報の「Dev」に基づいて決定する。また、UI画像生成部503は、リストの「Iso」、「Iris」、「Shutter」、状態を表す「State」を、状態取得部504から取得した状態情報に基づいて決定する。
S1103において、UI画像生成部503は、図11の処理が開始してからS1103で異常状態か否かが判定されていない撮像装置100-xを一つ選択する。そして、UI画像生成部503は、状態取得部504から取得した状態情報に基づいて、選択した撮像装置100-xが異常状態であるか否かを判定する。UI画像生成部503は、選択した撮像装置100-xがS803で説明した異常状態であると判定した場合、処理をS1104に進め、異常状態ではないと判定した場合、処理をS1105に進める。
S1104において、UI画像生成部503は、S1103で選択した撮像装置100-xを示すリストの行を異常用セルにする。例えば、UI画像生成部503は、S1103で選択した撮像装置100-xを示すリストの行の各セルを赤色で塗りつぶす。
S1105において、UI画像生成部503は、撮像装置群100に含まれる全ての撮像装置100-xについて異常状態か否かがS1103で判定された場合、処理をS1106に進め、これ以外の場合、処理をS1103に戻す。
S1106において、UI画像生成部503は、パラメータ表示UI画像におけるリスト配置位置を決定する。
以上説明した図11の処理によってUI画像生成部503が生成したパラメータ表示UI画像の例を図12に示す。UI画像生成部503は、生成したパラメータ表示UI画像を表示装置311に表示するよう制御する。
(実位置表示UI画像)
次に、実位置表示UI画像を生成する処理、及び、実位置表示UI画像の例について説明する。図13は、実位置表示UI画像を生成する処理である実位置表示UI画像生成処理の一例を示すフローチャートである。図13の実位置表示UI画像生成処理は、図7の処理でUI画像生成部503が制御部505からUIイメージ種別として実位置表示を取得した場合に実行される。実位置表示UI画像生成処理の各処理が実行される順序は、図13に示す順序に限定されない。図14は、実位置表示UI画像の一例である。
S1301において、UI画像生成部503は、データ入力・読出部502から取得した競技場210のレイアウトデータを描画する。
S1302において、UI画像生成部503は、データ入力・読出部502から取得した撮影環境情報のXYZ情報に基づいて、情報表示装置300の配置位置を決定し、競技場210の中に情報表示装置300を描画する。
S1303において、UI画像生成部503は、データ入力・読出部502から取得した撮影環境情報のXYZ情報に基づいて、撮像装置群100に含まれる各々の撮像装置100-xの実位置表示UI画像における配置位置を決定する。
図13のS803からS808は、図8のS803からS808と同様である。ただし、図13のS804、S805では、撮像装置100-xの配置位置として、S1303で決定した配置位置を使用する。
以上説明した図13の各ステップの処理での描画によってUI画像生成部503が生成した実位置表示UI画像の例を図14に示す。UI画像生成部503は、生成した実位置表示UI画像を表示装置311に表示するよう制御する。
図8、図11、図13の処理で生成されたUI画像をUI画像生成部503が表示装置311に表示するよう制御する処理は、表示制御処理の一例である。表示制御処理は、状態情報と図7で決定されたUIイメージ種別とに基づいて、複数の撮像装置100-xの状態を表示するよう制御する処理である。本実施形態の表示制御処理では、UI画像生成部503は、状態情報に基づいて、図7の処理で決定されたUIイメージ種別の画像を使用して、複数の撮像装置100-xの状態を表示するよう制御する。
(異常に応じたUI表示切換の効果)
次に、撮像装置100-xの異常に応じたUI画像を切換表示の効果について説明する。図15は、異常発生時の状態情報の一例である。図15の例では、状態取得部504が取得した状態情報において、撮像装置100-11、13、15がネットワークエラーであることを示す。ただし、図5の撮影環境情報に示すように、本実施形態では、撮像装置100-xが数珠つなぎでネットワークケーブル接続されているため、撮像装置100-13、15の異常は撮像装置100-11が異常に影響されたものである。よって、対処すべき機器は撮像装置100-11である。
図16は、状態情報が図15に示す場合の配線表示UI画像の一例である。図17は、状態情報が図15に示す場合のパラメータ表示UI画像の一例である。図18は、状態情報が図15に示す場合の実位置表示UI画像の一例である。
図16の配線表示UI画像では、システム監視者は、ネットワークの数珠つなぎ接続が一目で分かる。更に、図16の配線表示UI画像では、システム監視者は、ネットワークの末端が全てエラーになっていることから、システム監視者は、撮像装置100-11の異常が原因であることが即確認できる。図17のパラメータ表示UI画像では、システム監視者は、ネットワークエラーが発生していることは検出できるが、接続構成が分からないので、異常の元となる撮像装置100-xの特定ができない。図18の実位置表示UI画像では、システム監視者は、結線を確認することで異常の元となる撮像装置100-xを特定することは可能だが、結線を辿る確認作業が手間であり、配線表示UI画像と比較すると間違いを犯す可能性も高くなる。
本実施形態では、ネットワークエラーが発生した場合、表示装置311に図16のような配線表示UI画像が表示される。したがって、システム監視者は、エラーとなった撮像装置100-xを短時間かつ正確に特定できる。
次に、撮像装置100-xの露出が異常であった場合について説明する。
情報表示装置300は、撮像装置100-xの露出設定を変更できる。より具体的には、まず、情報表示装置300のユーザ入力部506は、システム監視者等によって指定された撮像装置100-x、及び、この撮像装置100-xに対する露出に関する設定値を受け付ける。次に、制御信号出力部507は、指定された撮像装置100-xに、受け付けた設定値に基づいた制御信号を送信する。これにより、情報表示装置300は、撮像装置100-xの露出設定を変更できる。
したがって、撮像装置100-xの露出が異常の場合、この露出異常を素早く解決するには、異常の撮像装置100-xの特定、及び、Iso、Iris、Shutterの正しい設定値の検出を短時間で行うことにある。この目的に合致するUI画像は、図17のようなパラメータ表示UI画像である。
本実施形態では、露出異常が発生した場合、表示装置311に図17のようなパラメータ表示UI画像が表示される。したがって、システム監視者は、エラーとなった撮像装置100-xを素早く特定でき、露出の設定をすぐに変更することができる。
最後に、撮像装置100-xの振動を検知した場合、及び、撮像装置100-xの撮影映像に障害物を検知した場合について説明する。振動の要因として、撮像装置100-xの固定する部分の緩み(例えばネジ)や、足場の不安定さ、周辺の振動物の存在が挙げられる。また、撮影映像の障害物の要因として、撮像装置100-xの前にいる観客の身体の映り込み、物体の配置、虫等の飛翔体の映り込みが挙げられる。これらの異常に対処するには、作業者が異常を検出した撮像装置100-xが配置されている場所に行き、人手によって対応する必要がある。したがって、撮像装置100-xの振動を検知した場合、及び、撮像装置100-xの撮影映像に障害物を検知した場合、撮像装置100-xの実際の配置場所が短時間で理解できるUI画像が望ましい。この目的に合致するのが、図18のような実位置表示UI画像である。
本実施形態では、撮像装置100-xの振動を検知した場合、及び、撮像装置100-xの撮影映像に障害物を検知した場合、表示装置311に図18のような実位置表示UI画像が表示される。したがって、システム監視者は、異常の撮像装置100-xの実際の配置場所が素早く分かり、対処を効率的に行うことができる。
以上説明したように、本実施形態では、情報表示装置300は、撮像装置100-xの異常の内容に応じたUI画像を表示することで、複数の撮像装置100-xの状態を適切に表示できる。そして、システム監視者等は、異常が発生した機器の特定、異常の内容、異常の影響範囲を素早く理解できるとともに、異常に対する適切な対応を素早く行うことができる。なお、本実施形態では、異常の内容に応じて一つのUIイメージ種別が決定される例を示したが、必要に応じて、状態情報に基づいて決定されるUIイメージ種別は複数であってもよい。
<第2の実施形態>
次に、第2の実施形態を説明する。第2の実施形態では、撮像装置100-xの設置から撮影までのワークフローに応じてUI画像を切り替えて表示する例を説明する。本実施形態により、ワークフロー実施に好適なUIが表示され、効率良く作業することができる。
本実施形態のワークフローは、複数の撮像装置100-xを撮像システムで使用できるようにする工程を表す。より具体的には、本実施形態のワークフローは、全ての撮像装置100-xの設置から全ての撮像装置100-xが正常に撮像可能な状態にするまでの手順を表す。ワークフローでの作業の進捗状態として、以下の4つがあり、番号の順に遷移する。
1.ネットワーク確認状態
2.設置確認状態
3.露出確認状態
4.撮影可能状態
ネットワーク確認状態は、情報表示装置300と撮像装置100-xとをネットワーク接続する作業が行われていることを表す状態である。ネットワーク確認状態の場合、情報表示装置300は、後述のように、情報表示装置300と全ての撮像装置100-xとのネットワーク接続がされたか否かを確認する。情報表示装置300と全ての撮像装置100-xとのネットワーク接続が確認されると、ワークフローの進捗状態は、設置確認状態へ遷移する。ネットワーク確認状態は、複数の撮像装置100-xの設置から撮像装置100-xのネットワーク接続が正常になるまでの第1の状態の一例である。
設置確認状態は、撮像装置100-xの向きや画角の調整、及び、映像内に障害物がない状態にする作業が行われていることを表す状態である。例えば、設置確認状態での作業では、撮影目標物が撮影映像の中心にあるように撮像装置100-xの向きを調整することや、ズーム・フォーカスの調整、障害物の移動が実施される。設置確認状態での作業は、人の手で撮像装置100-xを調整する作業となる。設置確認状態の場合、情報表示装置300は、後述のように、設置確認状態での作業が完了したか否かを確認する。設置確認状態での作業が完了したことが確認されると、ワークフローの進捗状態は、露出確認状態へ遷移する。設置確認状態は、複数の撮像装置100-xのネットワーク接続が正常になってから複数の撮像装置100-xが正常に設置された状態になるまでの第2の状態の一例である。
露出確認状態は、全ての撮像装置100-xの露出設定値を同じ値にする作業が行われていることを表す状態である。露出確認状態の場合、情報表示装置300は、後述のように、全ての撮像装置100-xの露出設定値が同じ値になったか否かを確認する。露出設定値とは、より具体的には、Iso、Iris、Shutterの値である。全ての撮像装置100-xの露出設定値が同じ値になったことが確認されると、ワークフローの進捗状態は、撮影可能状態へ遷移する。露出確認状態は、複数の撮像装置100-xが正常に設置された状態になってから複数の撮像装置100-xの撮像パラメータが正常になるまでの第3の状態の一例である。
撮影可能状態は、撮像システムが撮影可能状態であることを表す状態である。撮影可能状態では、画像生成装置200は、撮像装置100-xが撮影した画像に基づいて、仮想視点画像の生成が可能となる。撮影可能状態は、複数の撮像装置100-xの撮像パラメータが正常であって複数の撮像装置100-xが撮像可能な第4の状態の一例である。
以下に記載する第2の実施形態の説明では、上記の第1の実施形態と共通する事項について説明を省略し、上記の第1の実施形態と異なる事項についての説明を行う。また、第2の実施形態の説明では、第1の実施形態と同様の構成要素については、第1の実施形態と同じ符号を付しており、その詳細な説明は省略する。
図19は、第2の実施形態の情報表示装置300の機能構成の一例を示す図である。情報表示装置300は、データ記憶部501とデータ入力・読出部502とワークフロー管理部1902とUI画像生成部1904と状態取得部1901と制御部1903とユーザ入力部506と制御信号出力部507と表示部508とを有する。これらは、制御部1903による制御の下、相互にデータを送受信することができる。図19のワークフロー管理部1902、制御部1903、UI画像生成部1904は、図3のCPU302に対応する。図19の状態取得部1901は、図3の通信I/F308に対応する。以下、各部の構成の一例を詳細に説明する。
状態取得部1901は、撮像装置群100に含まれる撮像装置100―xの状態情報を取得し、ワークフロー管理部1902、UI画像生成部1904、及び、制御部1903へ出力する。
ワークフロー管理部1902は、状態取得部1901から取得した状態情報に基づいてワークフローの進捗状態の管理を行い、ワークフローの進捗状態を更新した場合は制御部1903へワークフロー情報を出力する。
制御部1903は、ワークフロー管理部1902から取得したワークフローの進捗状態に基づいて、UIイメージ種別を決定し、UI画像生成部1904へUIイメージ種別情報を出力する。
UI画像生成部1904は、制御部1903から取得したUIイメージ種別情報と状態取得部504から取得した状態情報とに基づいて、撮像装置100-xを監視するためのUI画像を生成する。UI画像生成部503は、生成したUI画像を表示イメージとして表示部508に出力して、UI画像を表示装置311に表示する。
図20は、ワークフロー管理部1902が、状態取得部1901から取得した状態情報に基づいてワークフローの進捗状態を決定する状態決定処理の一例を示すフローチャートである。状態決定処理は、第2の決定処理の一例である。
S2001において、ワークフロー管理部1902は、状態取得部1901から状態情報を取得する。
S2002において、ワークフロー管理部1902は、HDD305やRAM304に保存したワークフローの現在の進捗状態を確認する。ワークフロー管理部1902は、ワークフローの現在の進捗状態がネットワーク確認状態の場合、処理をS2003に進める。ワークフロー管理部1902は、ワークフローの現在の進捗状態が設置確認状態の場合、処理をS2006に進める。ワークフロー管理部1902は、ワークフローの現在の進捗状態が露出確認状態の場合、処理をS2009に進める。ワークフロー管理部1902は、ワークフローの現在の進捗状態が撮影可能状態の場合、図20の処理を終了する。
S2003において、ワークフロー管理部1902は、S2001で取得した状態情報に基づいて、ネットワークエラーが発生している撮像装置100-xがあるか否かを判定する。より具体的には、ワークフロー管理部1902は、図6に示す状態情報の項目「State」が「NwErr」である撮像装置100-xがあるか否かを判定する。ワークフロー管理部1902は、ネットワークエラーが発生している撮像装置100-xがあると判定した場合、処理をS2004に進める。ワークフロー管理部1902は、ネットワークエラーが発生している撮像装置100-xがないと判定した場合、図20の処理を終了する。
S2004において、ワークフロー管理部1902は、ワークフローの進捗状態を設置確認状態に決定する。そして、ワークフロー管理部1902は、ワークフローの進捗状態を設置確認状態に変更して、HDD305やRAM304に保存する。
S2005において、ワークフロー管理部1902は、ワークフローの進捗状態が設置確認状態であることを表す情報を制御部1903に通知する。その後、ワークフロー管理部1902は、図20の処理を終了する。
S2006において、ワークフロー管理部1902は、S2001で取得した状態情報に基づいて、状態情報の項目「State」が「Normal」以外の撮像装置100-xがあるか否かを判定する。ワークフロー管理部1902は、「State」が「Normal」以外の撮像装置100-xがあると判定した場合、処理をS2007に進める。ワークフロー管理部1902は、「State」が「Normal」以外の撮像装置100-xがないと判定した場合、図20の処理を終了する。
S2007において、ワークフロー管理部1902は、ワークフローの進捗状態を露出確認状態に決定する。そして、ワークフロー管理部1902は、ワークフローの進捗状態を露出確認状態に変更して、HDD305やRAM304に保存する。
S2008において、ワークフロー管理部1902は、ワークフローの進捗状態が露出確認状態であることを表す情報を制御部1903に通知する。その後、ワークフロー管理部1902は、図20の処理を終了する。
S2009において、ワークフロー管理部1902は、S2001で取得した状態情報に基づいて、撮像装置群100に含まれる撮像装置100-xの露出設定値が全て同じか否かを判定する。より具体的には、ワークフロー管理部1902は、図6に示す項目「Iso」、「Iris」、「Shutter」ごとの撮像装置100-xの設定値が全て同じ場合、撮像装置群100に含まれる撮像装置100-xの露出設定値が全て同じと判定する。ワークフロー管理部1902は、撮像装置群100に含まれる撮像装置100-xの露出設定値が全て同じと判定した場合、処理をS2010に進め、それ以外の場合、図20の処理を終了する。
S2010において、ワークフロー管理部1902は、ワークフローの進捗状態を撮影可能状態に決定する。そして、ワークフロー管理部1902は、ワークフローの進捗状態を撮影可能状態に変更して、HDD305やRAM304に保存する。S2004、S2007、S2010の処理は、ワークフローの進捗状態を決定する決定処理の一例である。
S2011において、ワークフロー管理部1902は、ワークフローの進捗状態が撮影可能状態であることを表す情報を制御部1903に通知する。その後、ワークフロー管理部1902は、図20の処理を終了する。
(ワークフローに応じたUIイメージ種別の決定方法)
図21は、制御部1903が、ワークフロー管理部1902から取得したワークフロー情報に基づいてUIイメージ種別を決定するUIイメージ種別決定処理の一例を示すフローチャートである。
S2101において、制御部1903は、ワークフロー管理部1902からワークフローの現在の進捗状態を取得する。
S2102において、制御部1903は、ワークフローの現在の進捗状態がネットワーク確認状態であるか否かを判定する。制御部1903は、現在の進捗状態がネットワーク確認状態であると判定した場合、処理をS2103に進め、現在の進捗状態がネットワーク確認状態ではないと判定した場合、処理をS2104に進める。
S2103において、制御部1903は、複数のUIイメージ種別の中から配線表示を選択し、UI画像に使用するUIイメージ種別を配線表示に決定する。そして、制御部1903は、配線表示を表す情報をUI画像生成部503へ出力する。その後、制御部1903は、図21の処理を終了する。
S2104において、制御部1903は、ワークフローの現在の進捗状態が設置確認状態であるか否かを判定する。制御部1903は、現在の進捗状態が設置確認状態であると判定した場合、処理をS2105に進め、現在の進捗状態が設置確認状態ではないと判定した場合、処理をS2106に進める。
S2105において、制御部1903は、複数のUIイメージ種別の中から実位置表示を選択し、UI画像に使用するUIイメージ種別を実位置表示に決定する。そして、制御部1903は、実位置表示を表す情報をUI画像生成部503へ出力する。その後、制御部1903は、図21の処理を終了する。
S2106において、制御部1903は、ワークフローの現在の進捗状態が露出確認状態であるか否かを判定する。制御部1903は、現在の進捗状態が露出確認状態であると判定した場合、処理をS2107に進め、現在の進捗状態が露出確認状態ではないと判定した場合、処理をS2108に進める。
S2107において、制御部1903は、複数のUIイメージ種別の中からパラメータ表示を選択し、UI画像に使用するUIイメージ種別をパラメータ表示に決定する。そして、制御部1903は、パラメータ表示を表す情報をUI画像生成部503へ出力する。その後、制御部1903は、図21の処理を終了する。
S2108において、制御部1903は、複数のUIイメージ種別の中から全てのUIイメージ種別を選択し、UI画像に使用するUIイメージ種別を全表示に決定する。全表示は、配線表示、パラメータ表示、実位置表示の3つのUI画像を1画面内に表示することを表す。S2108が実行されるのは撮影可能状態であり、システム監視者は、あらゆる情報を網羅的に見ることができるUI表示となる。その後、制御部1903は、図21の処理を終了する。
図21の処理は、図20の処理によって決定された進捗状態に基づいて、複数のUIイメージ種別から何れかのUIイメージ種別を決定する第1の決定処理の一例である。
UI画像生成部1904は、制御部1903から取得したUIイメージ種別に基づいて、第1の実施形態と同様にUI画像を生成する。UIイメージ種別が全表示の場合、UI画像生成部1904は、1つの画面に、配線表示UI画像とパラメータ表示UI画像と実位置表示UI画像とを含んだUI画像を生成する。そして、UI画像生成部503は、生成したUI画像を表示装置311に表示するよう制御する。
以上説明したように本実施形態では、情報表示装置300は、撮像システムのワークフローの進捗状態に応じたUI画像を表示することで、複数の撮像装置100-xの状態を適切に表示できる。したがって、作業者は、撮影が開始できる状態まで効率良く作業を実施することができる。
<第3の実施形態>
次に、第3の実施形態を説明する。第3の実施形態では、撮像システムの状態を網羅的に表示しつつ、機器の異常内容に応じて優先的に表示すべき内容を強調して表示する例を説明する。第3の実施形態によって、撮像システム全体を俯瞰して監視しつつ、異常が発生した機器の特定や異常の内容、影響範囲をシステム監視者が素早く理解することができる。
以下に記載する第3の実施形態の説明では、上記の第1の実施形態と共通する事項について説明を省略し、上記の第1の実施形態と異なる事項についての説明を行う。また、第3の実施形態の説明では、第1の実施形態と同様の構成要素については、第1の実施形態と同じ符号を付しており、その詳細な説明は省略する。
本実施形態では、情報表示装置300はUI画像同時表示機能を搭載し、システム監視者の操作によってUI画像同時表示のオンオフを切り替える機能を有する。UI画像同時表示オンの場合、配線表示UI画像、実位置表示UI画像、パラメータ表示UI画像の3つのUI画像を1画面内に表示する。UI画像同時表示オフの場合は、配線表示UI画像、実位置表示UI画像、パラメータ表示UI画像の内の1つを表示するもので、第1の実施形態と同等である。UI画像同時表示オンの場合のUI画像の表示方法は、第1の表示方法の一例である。UI画像同時表示オフのUI画像の表示方法は、第2の表示方法の一例である。
制御部505は、ユーザ入力部506からの操作情報に基づき、UI画像同時表示オンオフを切り替える。制御部505がユーザ入力部506を介してUI画像同時表示のオン又はオフを受け付ける処理は、受付処理の一例である。
UI画像生成部503は、配線表示UI画像、実位置表示UI画像、パラメータ表示UI画像の3つのUI画像を1画面内に表示し、更にUI画像のサイズを変更し画面上に配置する機能を持つ。
(UIイメージ種別に応じた優先表示内容切換)
制御部505は、図7又は図21と同様の処理で、UIイメージ種別を決定して、制御部505に出力する。UI画像生成部503は、制御部505から取得したUIイメージ種別に基づいて、優先して表示すべきUI画像を決定し、決定したUI画像を他のUI画像より大きいサイズで配置して、表示装置311に表示する。
図22は、UI画像生成部503が制御部505からUIイメージ種別としてパラメータ表示を取得した場合に表示装置311に表示される画面の一例を示す図である。図22のような画面から、システム監視者は、まず、優先して露出調整すべき撮像装置100-xが判断でき、更にどの位置に設置された撮像装置100-xであるかを同時に確認することができる。図22のような画面が有用であるケースとして、例えば撮像装置100-xへの逆光が強く、露出の設定のみでは白飛びが対処できないケースがある。その際は撮像装置100-xの設置位置の移動や、レンズにフィルタを取り付けるといった、実際に撮像装置100-xへ出向いての作業を行う必要がある。この場合は、実際の撮像装置の100-xの配置位置も同時に理解できる方が効率良いので、システム監視者の操作により同時表示オンに設定することが望ましい。
以上説明したように、本実施形態では、情報表示装置300は、撮像システムの状態を網羅的に表示しつつ、機器の異常内容に応じて優先的に表示すべき内容を強調して表示することで、複数の撮像装置100-xの状態を適切に表示できる。本実施形態によって、システム監視者等は、撮像システム全体を俯瞰して監視しつつ、異常が発生した機器の特定、異常の内容、異常の影響範囲を素早く理解できる。
第3の実施形態では、情報表示装置300は、UI画像同時表示のオンオフを切り替えることができる。しかし、情報表示装置300は、常にUI画像同時表示がオンの状態になるように構成されていてもよい。また、優先して表示すべきUI画像として決定されるUI画像の種別は複数であってもよい。また、情報表示装置300は、全てのUI画像を同じ大きさで表示してもよい。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
例えば、情報表示装置300のハードウェア構成として、CPUは複数存在してもよく、複数のCPUが各装置のHDD等に記憶されているプログラムに基づき処理を実行するようにしてもよい。また、情報表示装置300のハードウェア構成として、CPUに替えてGPU(Graphics Processing Unit)を用いることとしてもよい。情報表示装置300の機能の一部は、情報表示装置300のハードウェアとして実装されてもよい。また、上記の実施形態を任意に組み合わせてもよい。
以上、上述した実施形態によれば、複数の撮像装置100-xの状態を適切に表示できる。
100-x 撮像装置
200 画像生成装置
300 情報表示装置
503 UI画像生成部
505 制御部

Claims (14)

  1. 撮像システムを構成する複数の撮像装置の状態を示す状態情報を取得する取得手段と、
    前記取得手段によって取得された前記状態情報に基づいて、前記複数の撮像装置の状態の表示形式を示す複数の画像種別から少なくとも一つの画像種別を決定する第1の決定手段と、
    前記取得手段によって取得された前記状態情報と前記第1の決定手段によって決定された画像種別とに基づいて、前記複数の撮像装置の状態を表示するよう制御する表示制御手段と、
    を有し、
    前記複数の画像種別には、少なくとも、前記複数の撮像装置のネットワーク接続構成を表示する形式の第1の画像種別と、前記複数の撮像装置の撮像パラメータの一覧を表示する形式の第2の画像種別と、が含まれ、
    前記第1の決定手段は、
    前記複数の撮像装置間においてネットワークエラーが発生している場合には、前記第1の画像種別に決定し、
    撮像装置のパラメータの異常が発生している場合には、前記第2の画像種別に決定する
    表示制御装置。
  2. 前記表示制御手段は、前記取得手段によって取得された前記状態情報に基づいて、前記第1の決定手段によって決定された画像種別の画像を使用して前記複数の撮像装置の状態を表示するよう制御する請求項1記載の表示制御装置。
  3. 前記表示制御手段は、前記取得手段によって取得された前記状態情報に基づいて、前記第1の決定手段によって決定された画像種別の画像が他の画像種別の画像より大きくなるように、前記複数の画像種別の画像を使用して、前記複数の撮像装置の状態を表示するよう制御する請求項1記載の表示制御装置。
  4. 前記複数の画像種別には、前記複数の撮像装置が配置されている位置を地図上に表示する形式の第3の画像種別が含まれる請求項1乃至何れか1項記載の表示制御装置。
  5. 前記第1の決定手段は、前記取得手段によって取得された前記状態情報が示すエラーの種別に基づいて、前記複数の画像種別から少なくとも一つの画像種別を決定する請求項1乃至何れか1項記載の表示制御装置。
  6. 前記取得手段によって取得された前記状態情報に基づいて、前記複数の撮像装置を前記撮像システムで使用できるようにする工程の進捗状態を決定する第2の決定手段を更に有し、
    前記第1の決定手段は、前記第2の決定手段によって決定された前記進捗状態に基づいて、前記複数の画像種別から少なくとも一つの画像種別を決定する請求項1乃至何れか1項記載の表示制御装置。
  7. 前記状態情報には、前記複数の撮像装置の設定値が含まれる請求項1乃至何れか1項記載の表示制御装置。
  8. 前記表示制御手段は、前記取得手段によって取得された前記状態情報と前記第1の決定手段によって決定された画像種別と撮影環境情報とに基づいて、前記複数の撮像装置の状態を表示するよう制御し、
    前記撮影環境情報には、前記複数の撮像装置の設置位置を示す座標値と前記複数の撮像装置のネットワークの接続先の情報とが含まれる請求項1乃至何れか1項記載の表示制御装置。
  9. 表示方法の指定を受け付ける受付手段を更に有し、
    前記受付手段によって第1の表示方法の指定が受け付けられた場合、前記表示制御手段は、前記取得手段によって取得された前記状態情報に基づいて、前記第1の決定手段によって決定された画像種別の画像を使用して前記複数の撮像装置の状態を表示するよう制御し、
    前記受付手段によって第2の表示方法の指定が受け付けられた場合、前記表示制御手段は、前記取得手段によって取得された前記状態情報に基づいて、前記第1の決定手段によって決定された画像種別の画像が他の画像種別の画像より大きくなるように、前記複数の画像種別の画像を使用して、前記複数の撮像装置の状態を表示するよう制御する請求項1乃至何れか1項記載の表示制御装置。
  10. 前記撮像システムは、前記複数の撮像装置によって撮像された撮像画像に基づいて、仮想視点画像を生成する請求項1乃至何れか1項記載の表示制御装置。
  11. 撮像システムを構成する複数の撮像装置の状態を示す状態情報を取得する取得ステップと、
    前記取得ステップによって取得された前記状態情報に基づいて、前記複数の撮像装置の状態の表示形式を示す複数の画像種別から少なくとも一つの画像種別を決定する決定ステップと、
    前記取得ステップによって取得された前記状態情報と前記決定ステップによって決定された画像種別とに基づいて、前記複数の撮像装置の状態を表示するよう制御する表示制御ステップと、
    を含み、
    前記複数の画像種別には、少なくとも、前記複数の撮像装置のネットワーク接続構成を表示する形式の第1の画像種別と、前記複数の撮像装置の撮像パラメータの一覧を表示する形式の第2の画像種別と、が含まれ、
    前記決定ステップは、
    前記複数の撮像装置間においてネットワークエラーが発生している場合には、前記第1の画像種別に決定し、
    撮像装置のパラメータの異常が発生している場合には、前記第2の画像種別に決定する
    表示制御装置の制御方法。
  12. 前記表示制御ステップでは、前記取得ステップによって取得された前記状態情報に基づいて、前記決定ステップによって決定された画像種別の画像を使用して前記複数の撮像装置の状態を表示するよう制御する請求項11記載の表示制御装置の制御方法。
  13. 前記表示制御ステップでは、前記取得ステップによって取得された前記状態情報に基づいて、前記決定ステップによって決定された画像種別の画像が他の画像種別の画像より大きくなるように、前記複数の画像種別の画像を使用して、前記複数の撮像装置の状態を表示するよう制御する請求項12記載の表示制御装置の制御方法。
  14. コンピュータを、請求項1乃至10何れか1項記載の表示制御装置の各手段として機能させるためのプログラム。
JP2018112723A 2018-06-13 2018-06-13 表示制御装置、表示制御装置の制御方法、及び、プログラム Active JP7204351B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018112723A JP7204351B2 (ja) 2018-06-13 2018-06-13 表示制御装置、表示制御装置の制御方法、及び、プログラム
PCT/JP2019/021989 WO2019239940A1 (ja) 2018-06-13 2019-06-03 表示制御装置、表示制御装置の制御方法、及び、プログラム
US17/116,556 US11528462B2 (en) 2018-06-13 2020-12-09 Display control apparatus, method for controlling display control apparatus, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018112723A JP7204351B2 (ja) 2018-06-13 2018-06-13 表示制御装置、表示制御装置の制御方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2019216363A JP2019216363A (ja) 2019-12-19
JP7204351B2 true JP7204351B2 (ja) 2023-01-16

Family

ID=68843369

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018112723A Active JP7204351B2 (ja) 2018-06-13 2018-06-13 表示制御装置、表示制御装置の制御方法、及び、プログラム

Country Status (3)

Country Link
US (1) US11528462B2 (ja)
JP (1) JP7204351B2 (ja)
WO (1) WO2019239940A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114339067A (zh) * 2021-11-15 2022-04-12 华能国际电力股份有限公司上海石洞口第二电厂 基于5g环境下的多通道图像及视频流同步与分布式处理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008131443A (ja) 2006-11-22 2008-06-05 Hitachi Ltd 監視システム、及び、その障害状況表示方法
JP2017152827A (ja) 2016-02-23 2017-08-31 ソニー株式会社 機器管理装置と機器管理方法およびプログラム
JP2017212591A (ja) 2016-05-25 2017-11-30 キヤノン株式会社 制御装置、制御方法、及び、プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5586254A (en) * 1992-02-13 1996-12-17 Hitachi Software Engineering Co., Ltd. System for managing and operating a network by physically imaging the network
JP4684317B2 (ja) * 2007-07-23 2011-05-18 三菱電機株式会社 列車内表示器管理システムおよび列車内表示器管理方法
JP2014215828A (ja) 2013-04-25 2014-11-17 シャープ株式会社 画像データ再生装置、および視点情報生成装置
US10110678B2 (en) * 2016-08-19 2018-10-23 Sony Corporation System and method for data communication based on image processing
JP6765917B2 (ja) * 2016-09-21 2020-10-07 キヤノン株式会社 探索装置及び、その撮像装置及び、探索方法
US20210121139A1 (en) * 2017-04-21 2021-04-29 Koninklijke Philips N.V. Pressure touch sensitive patient table for tomographic imaging

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008131443A (ja) 2006-11-22 2008-06-05 Hitachi Ltd 監視システム、及び、その障害状況表示方法
JP2017152827A (ja) 2016-02-23 2017-08-31 ソニー株式会社 機器管理装置と機器管理方法およびプログラム
JP2017212591A (ja) 2016-05-25 2017-11-30 キヤノン株式会社 制御装置、制御方法、及び、プログラム

Also Published As

Publication number Publication date
WO2019239940A1 (ja) 2019-12-19
JP2019216363A (ja) 2019-12-19
US11528462B2 (en) 2022-12-13
US20210092344A1 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
CN110546948B (zh) 显示控制设备、显示控制方法和存储介质
JP7494273B2 (ja) 表示制御装置、表示制御方法、およびプログラム
JP6786378B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6381265B2 (ja) 情報処理装置、表示方法、及びプログラム
US12238411B2 (en) Information processing apparatus, method, and non-transitory computer-readable storage medium
JP7462085B2 (ja) 情報処理装置、方法、及びプログラム
JP7204351B2 (ja) 表示制御装置、表示制御装置の制御方法、及び、プログラム
US11023999B2 (en) Image processing apparatus, information processing system, information processing method, and storage medium
JP2016012203A (ja) 表示装置、表示方法およびプログラム
JP2008294789A (ja) 遠隔指示システム及びサーバ装置
JP2014030070A (ja) 監視カメラ制御装置
CN115079712A (zh) 数据传输方法、无人机、地面站及无人机控制系统
JP6401480B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2023067619A (ja) カメラ制御装置およびカメラ制御方法、プログラム
US9883103B2 (en) Imaging control apparatus and method for generating a display image, and storage medium
JP6362090B2 (ja) ネットワークカメラのプリセット位置の表示方法
JP2024175919A (ja) 情報処理装置、情報処理装置の制御方法、プログラム、及び撮像システム
JP2017073717A (ja) 情報処理装置、情報処理方法、コンピュータプログラム及び記録媒体
JP2019075739A (ja) 情報処理装置、システム、情報処理方法及びプログラム
JP2019068389A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221228

R151 Written notification of patent or utility model registration

Ref document number: 7204351

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151