JP7204351B2 - 表示制御装置、表示制御装置の制御方法、及び、プログラム - Google Patents
表示制御装置、表示制御装置の制御方法、及び、プログラム Download PDFInfo
- Publication number
- JP7204351B2 JP7204351B2 JP2018112723A JP2018112723A JP7204351B2 JP 7204351 B2 JP7204351 B2 JP 7204351B2 JP 2018112723 A JP2018112723 A JP 2018112723A JP 2018112723 A JP2018112723 A JP 2018112723A JP 7204351 B2 JP7204351 B2 JP 7204351B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- imaging devices
- imaging
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2404—Monitoring of server processing errors or hardware failure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
- G09G2330/12—Test circuits or failure detection circuits included in a display system, as permanent part thereof
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/02—Networking aspects
- G09G2370/025—LAN communication management
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/20—Details of the management of multiple sources of image data
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/22—Detection of presence or absence of input display information or of connection or disconnection of a corresponding information source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
Description
しかしながら、例えば仮想視点画像を生成するために複数の撮像装置を有する撮像システムでは、撮像システムの状態によってシステム監視者が必要とする情報が異なり、撮像装置の状態を表示するだけでは不十分な場合がある。例えば、撮像装置の取り付け不良等によって撮像装置に振動が発生して場合、撮像装置管理者がこの撮像装置へ出向いて対処する必要がある。このため、複数の撮像装置の状態を適切に表示できるようにすることが望まれている。
まず、第1の実施形態を説明する。本実施形態では、機器の異常内容に応じてUI(ユーザインターフェース)表示を切り替えて表示する例を説明する。本実施形態によって、異常が発生した機器の特定や異常の内容、影響範囲をシステム監視者が素早く理解することができる。
図1は、本実施形態の撮像システムの構成の一例を示す図である。本実施形態の撮像システムは、複数の撮像装置100-1、100-2、・・・100-mを有する撮像装置群100と、画像生成装置200と、情報表示装置300と、HUB400とを有する。各々の装置は、画像や制御情報を伝送するための伝送ケーブルを介して相互に通信可能に接続される。伝送ケーブルの具体例としては、Ethernet(登録商標)であるIEEE標準準拠のGbE(ギガビットイーサーネット)や10GbEが挙げられる。ただし、伝送ケーブルは、これらに限定されず、他の種別のケーブルであってもよい。また、各々の装置は無線通信を行ってもよい。
相互に隣り合う位置にある撮像装置100-x同士(例えば、撮像装置100-1と撮像装置100-2)は、伝送ケーブルを介して相互に接続される。撮像装置100-xは、撮像画像や撮像装置100-xの状態情報を画像生成装置200及び情報表示装置300へ伝送する。状態情報については後述する。図1では、撮像装置100-1は、撮像装置100-2と相互に接続される。また、撮像装置100-2は、撮像装置100-1に加え、撮像装置100-2と隣り合う位置にある不図示のもう1つの撮像装置と相互に接続される。そして、撮像装置100-nは、撮像装置100-nと隣り合う位置にある不図示の撮像装置と相互に接続される。また、撮像装置100-nは、HUB400と相互に接続される。つまり、本実施形態のネットワークトポロジはデイジーチェーンである。本実施形態では、こうした接続グループが2つある。もう一つは、撮像装置100-(n+1)から撮像装置100-mまでの撮像装置であり、撮像装置100-(n+1)から撮像装置100-mまでの撮像装置も同様に接続される。接続グループの数は2つに限らず、1つでも3つ以上あってもよい。ネットワークトポロジは、環形(リング型)、メッシュ型、スター型、バス型、ツリー型でもよく、前述の様々な型の複合系でもよく、特に限定されない。
複数の撮像装置100-xは、例えばデジタルカメラであり、外部の不図示の同期装置からの同期信号に基づき、同じタイミングで撮像を行う。撮像装置100-xにより撮像された画像は、伝送ケーブルを介して、HUB400を通り、画像生成装置200、及び、情報表示装置300に伝送される。撮像装置100-xは、静止画像を撮像するカメラであってもよく、動画像を撮像するカメラであってもよく、静止画像及び動画像の双方を撮像するカメラであってもよい。
画像生成装置200は、例えば、サーバ装置であり、撮像装置100-xの画像を保存するデータベース機能や、撮像装置100-xの位置や向きに基づいて仮想視点画像を生成する画像処理機能を有する。画像生成装置200が用いるデータベースは、競技開始前の競技会場の場面等、予め被写体が存在しない状態の競技会場の場面を撮像した画像を、背景画像データとして予め保持する。
HUB400は、撮像装置100-xからの撮像画像を、画像生成装置200及び情報表示装置300に分配する。
情報表示装置300は、コントローラユニット301と操作ユニット310と表示装置311とを含む。
コントローラユニット301は、CPU302を有する。CPU302は、ROM303に格納されているブートプログラムによりOS(Operating System)を起動する。CPU302は、このOS上で、HDD(Hard Disk Drive)305に格納されているアプリケーションプログラムを実行する。CPU302は、アプリケーションプログラムの実行によって、図7、図8、図11、図13、図20、図21等の各種処理や図4、図19の各種機能等を実現する。CPU302の作業領域としてはRAM304が用いられる。HDD305は、アプリケーションプログラム等を格納する。HDD305は、記憶媒体の一例である。
・競技場210のレイアウトデータ
・撮像装置100-xの識別情報
・撮像装置100-xの設置座標情報
・撮像装置100-xの接続先情報
・情報表示装置300の設置座標情報
・情報表示装置300の接続先情報
ここでの設置座標情報は、所定の位置(例えば、競技場210の中央)を原点とした場合のXYZ座標情報である。設置座標情報をXYZ情報とも呼ぶ。接続先情報は、伝送ケーブル(ネットワークケーブル)でどの機器と接続されているかを示す情報である。
データ記憶部501は、情報表示装置300内にある必要はなく、外部の記憶装置にあってもよい。また、撮像装置100-xに関する情報を保持するデータ記憶部501は、各々の撮像装置100-x内にあってもよい。
UI画像生成部503は、データ入力・読出部502から取得したデータと状態取得部504から取得した状態情報とに基づいて、撮像装置100-xを監視するためのUI画像を生成する。UI画像は、複数の撮像装置100-xの状態を表示する画像である。状態情報、及び、UI画像例については後述する。UI画像生成部503は、生成したUI画像を表示イメージとして表示部508に出力して、UI画像を表示装置311に表示するよう制御する。
・Normal
・NW Err
・Vib
・Obstacle
・配線表示
・パラメータ表示
・実位置表示
パラメータ表示は、パラメータ表示UI画像の画像種別である。パラメータ表示UI画像は、複数の撮像装置100-xの撮像パラメータである露出設定値の一覧を表示する画像である。
実位置表示は、実位置表示UI画像の種別である。実位置表示UI画像は、撮像装置100-xの機器自体がスタジアムのどの位置に設置してあるかを表示する画像であり、複数の撮像装置100-xが配置されている位置を地図上に表示する画像である。
UIイメージ種別のより具体的な決定処理、及び、各UI画像の詳細については後述する。
制御信号出力部507は、制御部505からの制御信号を外部に出力する。出力先は例えば撮像装置100-xである。制御信号には、例えば、ズーム、フォーカス、アイリス、ISO、シャッタースピード、NDフィルタ切換がある。
表示部508は、フレームバッファ、及び、表示パネルを有する。表示部508は、UI画像生成部503から出力された表示イメージをフレームバッファに格納する(上書きする)。そして、表示部508は、フレームバッファに格納した表示イメージを所定のリフレッシュレートで読み出して表示装置311にて表示する。
図7は、状態取得部504から取得した状態情報に基づいて制御部505がUIイメージ種別を決定するUIイメージ種別決定処理の一例を示すフローチャートである。
S701において、制御部505は、状態取得部504から状態情報を取得する。
S702において、制御部505は、取得した状態情報に基づいて、撮像装置群100に含まれる撮像装置100-xの中に、ネットワークエラーが発生している撮像装置100-xがあるか否かを判定する。より具体的には、制御部505は、図6に示す状態情報の項目「State」が「NwErr」である撮像装置100-xがあるか否かを判定する。制御部505は、ネットワークエラーが発生している撮像装置100-xがあると判定した場合、処理をS703に進める。制御部505は、ネットワークエラーが発生している撮像装置100-xがないと判定した場合、処理をS704に進める。
S704において、制御部505は、取得した状態情報に基づいて、撮像装置群100に含まれる撮像装置100-xの中に、露出異常が発生している撮像装置100-xがあるか否かを判定する。制御部505は、次の何れかの場合に、露出異常が発生している撮像装置100-xがあると判定する。第1が、状態情報の項目「Iso」の値が、他の撮像装置100-xの「Iso」の値と異なる撮像装置100-xが1台以上ある場合である。第2が、状態情報の項目「Iris」の値が、他の撮像装置100-xの「Iris」の値と異なる撮像装置100-xが1台以上ある場合である。第3が、状態情報の項目「Shutter」の値が、他の撮像装置100-xの「Shutter」の値と異なる撮像装置100-xが1台以上ある場合である。制御部505は、露出異常が発生している撮像装置100-xがあると判定した場合、処理をS705に進める。制御部505は、露出異常が発生している撮像装置100-xがないと判定した場合、処理をS706に進める。露出異常は、撮像パラメータエラーの一例である。
S706において、制御部505は、複数のUIイメージ種別の中から実位置表示を選択し、UI画像に使用するUIイメージ種別を実位置表示に決定する。実位置表示が選択される条件は、全ての撮像装置100-xが正常であること、又は、図6に示す項目「State」が「Vib」又は「Obstacle」の撮像装置100-xがあること、である。
S702からS706の処理は、状態情報に基づいて、複数のUIイメージ種別から何れかのUIイメージ種別を決定する第1の決定処理の一例である。本実施形態では、制御部505は、撮像装置100-xのエラーの種別に基づいてUIイメージ種別を決定する。
S707において、制御部505は、決定したUIイメージ種別を表す情報をUI画像生成部503へ出力する。
次に、UI画像生成部503が制御部505から取得したUIイメージ種別に応じてUI画像を生成する処理フロー、及び、UI画像の例について説明する。
まず、配線表示UI画像を生成する処理、及び、配線表示UI画像の例について説明する。図8は、配線表示UI画像を生成する処理である配線表示UI画像生成処理の一例を示すフローチャートである。図8の配線表示UI画像生成処理は、図7の処理でUI画像生成部503が制御部505からUIイメージ種別として配線表示を取得した場合に実行される。配線表示UI画像生成処理の各処理が実行される順序は、図8に示す順序に限定されない。図9は、UI画像で表示する撮像装置アイコンの一例である。図10は、配線表示UI画像の一例である。
S802において、UI画像生成部503は、撮影環境情報の接続先情報に基づいて、撮像装置群100に含まれる各々の撮像装置100-xの配線表示UI画像における配置位置を決定する。
S805において、UI画像生成部503は、S803で選択した撮像装置100-xを表すアイコンとして図9(a)に示す正常用のアイコンを、S802で決定した配置位置に描画する。
S806において、UI画像生成部503は、撮像装置群100に含まれる全ての撮像装置100-xを表すアイコンを描画したか否かを判定する。UI画像生成部503は、全ての撮像装置100-xを表すアイコンを描画したと判定した場合、処理をS807に進め、それ以外の場合、処理をS803に戻す。
S808において、UI画像生成部503は、撮影環境情報の接続先情報に基づいて、伝送ケーブルで接続される装置を表す矩形やアイコンを線で結ぶ。より具体的には、UI画像生成部503は、撮影環境情報の接続先情報に基づいて、情報表示装置300を示す矩形と、情報表示装置300に伝送ケーブルで接続された撮像装置100-xを示すアイコンと、を線で結ぶ。また、UI画像生成部503は、撮影環境情報の接続先情報に基づいて、伝送ケーブルで相互に接続される撮像装置100-xを示すアイコンを線で結ぶ。
以上説明した図8の各ステップの処理での描画によってUI画像生成部503が生成した配線表示UI画像の例を図10に示す。UI画像生成部503は、生成した配線表示UI画像を表示装置311に表示するよう制御する。
次に、パラメータ表示UI画像を生成する処理、及び、パラメータ表示UI画像の例について説明する。図11は、パラメータ表示UI画像を生成する処理であるパラメータ表示UI画像生成処理の一例を示すフローチャートである。図11のパラメータ表示UI画像生成処理は、図7の処理でUI画像生成部503が制御部505からUIイメージ種別としてパラメータ表示を取得した場合に実行される。パラメータ表示UI画像生成処理の各処理が実行される順序は、図11に示す順序に限定されない。図12は、パラメータ表示UI画像の一例である。
S1102において、UI画像生成部503は、撮影環境情報及び状態情報に基づいて、S1101で作成したリストに値を格納する。UI画像生成部503は、識別情報を表すリストの「Dev」を、データ入力・読出部502から取得した撮影環境情報の「Dev」に基づいて決定する。また、UI画像生成部503は、リストの「Iso」、「Iris」、「Shutter」、状態を表す「State」を、状態取得部504から取得した状態情報に基づいて決定する。
S1105において、UI画像生成部503は、撮像装置群100に含まれる全ての撮像装置100-xについて異常状態か否かがS1103で判定された場合、処理をS1106に進め、これ以外の場合、処理をS1103に戻す。
S1106において、UI画像生成部503は、パラメータ表示UI画像におけるリスト配置位置を決定する。
以上説明した図11の処理によってUI画像生成部503が生成したパラメータ表示UI画像の例を図12に示す。UI画像生成部503は、生成したパラメータ表示UI画像を表示装置311に表示するよう制御する。
次に、実位置表示UI画像を生成する処理、及び、実位置表示UI画像の例について説明する。図13は、実位置表示UI画像を生成する処理である実位置表示UI画像生成処理の一例を示すフローチャートである。図13の実位置表示UI画像生成処理は、図7の処理でUI画像生成部503が制御部505からUIイメージ種別として実位置表示を取得した場合に実行される。実位置表示UI画像生成処理の各処理が実行される順序は、図13に示す順序に限定されない。図14は、実位置表示UI画像の一例である。
S1302において、UI画像生成部503は、データ入力・読出部502から取得した撮影環境情報のXYZ情報に基づいて、情報表示装置300の配置位置を決定し、競技場210の中に情報表示装置300を描画する。
S1303において、UI画像生成部503は、データ入力・読出部502から取得した撮影環境情報のXYZ情報に基づいて、撮像装置群100に含まれる各々の撮像装置100-xの実位置表示UI画像における配置位置を決定する。
図13のS803からS808は、図8のS803からS808と同様である。ただし、図13のS804、S805では、撮像装置100-xの配置位置として、S1303で決定した配置位置を使用する。
図8、図11、図13の処理で生成されたUI画像をUI画像生成部503が表示装置311に表示するよう制御する処理は、表示制御処理の一例である。表示制御処理は、状態情報と図7で決定されたUIイメージ種別とに基づいて、複数の撮像装置100-xの状態を表示するよう制御する処理である。本実施形態の表示制御処理では、UI画像生成部503は、状態情報に基づいて、図7の処理で決定されたUIイメージ種別の画像を使用して、複数の撮像装置100-xの状態を表示するよう制御する。
次に、撮像装置100-xの異常に応じたUI画像を切換表示の効果について説明する。図15は、異常発生時の状態情報の一例である。図15の例では、状態取得部504が取得した状態情報において、撮像装置100-11、13、15がネットワークエラーであることを示す。ただし、図5の撮影環境情報に示すように、本実施形態では、撮像装置100-xが数珠つなぎでネットワークケーブル接続されているため、撮像装置100-13、15の異常は撮像装置100-11が異常に影響されたものである。よって、対処すべき機器は撮像装置100-11である。
図16の配線表示UI画像では、システム監視者は、ネットワークの数珠つなぎ接続が一目で分かる。更に、図16の配線表示UI画像では、システム監視者は、ネットワークの末端が全てエラーになっていることから、システム監視者は、撮像装置100-11の異常が原因であることが即確認できる。図17のパラメータ表示UI画像では、システム監視者は、ネットワークエラーが発生していることは検出できるが、接続構成が分からないので、異常の元となる撮像装置100-xの特定ができない。図18の実位置表示UI画像では、システム監視者は、結線を確認することで異常の元となる撮像装置100-xを特定することは可能だが、結線を辿る確認作業が手間であり、配線表示UI画像と比較すると間違いを犯す可能性も高くなる。
本実施形態では、ネットワークエラーが発生した場合、表示装置311に図16のような配線表示UI画像が表示される。したがって、システム監視者は、エラーとなった撮像装置100-xを短時間かつ正確に特定できる。
情報表示装置300は、撮像装置100-xの露出設定を変更できる。より具体的には、まず、情報表示装置300のユーザ入力部506は、システム監視者等によって指定された撮像装置100-x、及び、この撮像装置100-xに対する露出に関する設定値を受け付ける。次に、制御信号出力部507は、指定された撮像装置100-xに、受け付けた設定値に基づいた制御信号を送信する。これにより、情報表示装置300は、撮像装置100-xの露出設定を変更できる。
したがって、撮像装置100-xの露出が異常の場合、この露出異常を素早く解決するには、異常の撮像装置100-xの特定、及び、Iso、Iris、Shutterの正しい設定値の検出を短時間で行うことにある。この目的に合致するUI画像は、図17のようなパラメータ表示UI画像である。
本実施形態では、露出異常が発生した場合、表示装置311に図17のようなパラメータ表示UI画像が表示される。したがって、システム監視者は、エラーとなった撮像装置100-xを素早く特定でき、露出の設定をすぐに変更することができる。
本実施形態では、撮像装置100-xの振動を検知した場合、及び、撮像装置100-xの撮影映像に障害物を検知した場合、表示装置311に図18のような実位置表示UI画像が表示される。したがって、システム監視者は、異常の撮像装置100-xの実際の配置場所が素早く分かり、対処を効率的に行うことができる。
次に、第2の実施形態を説明する。第2の実施形態では、撮像装置100-xの設置から撮影までのワークフローに応じてUI画像を切り替えて表示する例を説明する。本実施形態により、ワークフロー実施に好適なUIが表示され、効率良く作業することができる。
本実施形態のワークフローは、複数の撮像装置100-xを撮像システムで使用できるようにする工程を表す。より具体的には、本実施形態のワークフローは、全ての撮像装置100-xの設置から全ての撮像装置100-xが正常に撮像可能な状態にするまでの手順を表す。ワークフローでの作業の進捗状態として、以下の4つがあり、番号の順に遷移する。
1.ネットワーク確認状態
2.設置確認状態
3.露出確認状態
4.撮影可能状態
撮影可能状態は、撮像システムが撮影可能状態であることを表す状態である。撮影可能状態では、画像生成装置200は、撮像装置100-xが撮影した画像に基づいて、仮想視点画像の生成が可能となる。撮影可能状態は、複数の撮像装置100-xの撮像パラメータが正常であって複数の撮像装置100-xが撮像可能な第4の状態の一例である。
ワークフロー管理部1902は、状態取得部1901から取得した状態情報に基づいてワークフローの進捗状態の管理を行い、ワークフローの進捗状態を更新した場合は制御部1903へワークフロー情報を出力する。
制御部1903は、ワークフロー管理部1902から取得したワークフローの進捗状態に基づいて、UIイメージ種別を決定し、UI画像生成部1904へUIイメージ種別情報を出力する。
UI画像生成部1904は、制御部1903から取得したUIイメージ種別情報と状態取得部504から取得した状態情報とに基づいて、撮像装置100-xを監視するためのUI画像を生成する。UI画像生成部503は、生成したUI画像を表示イメージとして表示部508に出力して、UI画像を表示装置311に表示する。
S2001において、ワークフロー管理部1902は、状態取得部1901から状態情報を取得する。
S2002において、ワークフロー管理部1902は、HDD305やRAM304に保存したワークフローの現在の進捗状態を確認する。ワークフロー管理部1902は、ワークフローの現在の進捗状態がネットワーク確認状態の場合、処理をS2003に進める。ワークフロー管理部1902は、ワークフローの現在の進捗状態が設置確認状態の場合、処理をS2006に進める。ワークフロー管理部1902は、ワークフローの現在の進捗状態が露出確認状態の場合、処理をS2009に進める。ワークフロー管理部1902は、ワークフローの現在の進捗状態が撮影可能状態の場合、図20の処理を終了する。
S2004において、ワークフロー管理部1902は、ワークフローの進捗状態を設置確認状態に決定する。そして、ワークフロー管理部1902は、ワークフローの進捗状態を設置確認状態に変更して、HDD305やRAM304に保存する。
S2005において、ワークフロー管理部1902は、ワークフローの進捗状態が設置確認状態であることを表す情報を制御部1903に通知する。その後、ワークフロー管理部1902は、図20の処理を終了する。
S2007において、ワークフロー管理部1902は、ワークフローの進捗状態を露出確認状態に決定する。そして、ワークフロー管理部1902は、ワークフローの進捗状態を露出確認状態に変更して、HDD305やRAM304に保存する。
S2008において、ワークフロー管理部1902は、ワークフローの進捗状態が露出確認状態であることを表す情報を制御部1903に通知する。その後、ワークフロー管理部1902は、図20の処理を終了する。
S2011において、ワークフロー管理部1902は、ワークフローの進捗状態が撮影可能状態であることを表す情報を制御部1903に通知する。その後、ワークフロー管理部1902は、図20の処理を終了する。
図21は、制御部1903が、ワークフロー管理部1902から取得したワークフロー情報に基づいてUIイメージ種別を決定するUIイメージ種別決定処理の一例を示すフローチャートである。
S2101において、制御部1903は、ワークフロー管理部1902からワークフローの現在の進捗状態を取得する。
S2102において、制御部1903は、ワークフローの現在の進捗状態がネットワーク確認状態であるか否かを判定する。制御部1903は、現在の進捗状態がネットワーク確認状態であると判定した場合、処理をS2103に進め、現在の進捗状態がネットワーク確認状態ではないと判定した場合、処理をS2104に進める。
S2103において、制御部1903は、複数のUIイメージ種別の中から配線表示を選択し、UI画像に使用するUIイメージ種別を配線表示に決定する。そして、制御部1903は、配線表示を表す情報をUI画像生成部503へ出力する。その後、制御部1903は、図21の処理を終了する。
S2105において、制御部1903は、複数のUIイメージ種別の中から実位置表示を選択し、UI画像に使用するUIイメージ種別を実位置表示に決定する。そして、制御部1903は、実位置表示を表す情報をUI画像生成部503へ出力する。その後、制御部1903は、図21の処理を終了する。
S2107において、制御部1903は、複数のUIイメージ種別の中からパラメータ表示を選択し、UI画像に使用するUIイメージ種別をパラメータ表示に決定する。そして、制御部1903は、パラメータ表示を表す情報をUI画像生成部503へ出力する。その後、制御部1903は、図21の処理を終了する。
S2108において、制御部1903は、複数のUIイメージ種別の中から全てのUIイメージ種別を選択し、UI画像に使用するUIイメージ種別を全表示に決定する。全表示は、配線表示、パラメータ表示、実位置表示の3つのUI画像を1画面内に表示することを表す。S2108が実行されるのは撮影可能状態であり、システム監視者は、あらゆる情報を網羅的に見ることができるUI表示となる。その後、制御部1903は、図21の処理を終了する。
図21の処理は、図20の処理によって決定された進捗状態に基づいて、複数のUIイメージ種別から何れかのUIイメージ種別を決定する第1の決定処理の一例である。
次に、第3の実施形態を説明する。第3の実施形態では、撮像システムの状態を網羅的に表示しつつ、機器の異常内容に応じて優先的に表示すべき内容を強調して表示する例を説明する。第3の実施形態によって、撮像システム全体を俯瞰して監視しつつ、異常が発生した機器の特定や異常の内容、影響範囲をシステム監視者が素早く理解することができる。
以下に記載する第3の実施形態の説明では、上記の第1の実施形態と共通する事項について説明を省略し、上記の第1の実施形態と異なる事項についての説明を行う。また、第3の実施形態の説明では、第1の実施形態と同様の構成要素については、第1の実施形態と同じ符号を付しており、その詳細な説明は省略する。
制御部505は、ユーザ入力部506からの操作情報に基づき、UI画像同時表示オンオフを切り替える。制御部505がユーザ入力部506を介してUI画像同時表示のオン又はオフを受け付ける処理は、受付処理の一例である。
UI画像生成部503は、配線表示UI画像、実位置表示UI画像、パラメータ表示UI画像の3つのUI画像を1画面内に表示し、更にUI画像のサイズを変更し画面上に配置する機能を持つ。
制御部505は、図7又は図21と同様の処理で、UIイメージ種別を決定して、制御部505に出力する。UI画像生成部503は、制御部505から取得したUIイメージ種別に基づいて、優先して表示すべきUI画像を決定し、決定したUI画像を他のUI画像より大きいサイズで配置して、表示装置311に表示する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
例えば、情報表示装置300のハードウェア構成として、CPUは複数存在してもよく、複数のCPUが各装置のHDD等に記憶されているプログラムに基づき処理を実行するようにしてもよい。また、情報表示装置300のハードウェア構成として、CPUに替えてGPU(Graphics Processing Unit)を用いることとしてもよい。情報表示装置300の機能の一部は、情報表示装置300のハードウェアとして実装されてもよい。また、上記の実施形態を任意に組み合わせてもよい。
200 画像生成装置
300 情報表示装置
503 UI画像生成部
505 制御部
Claims (14)
- 撮像システムを構成する複数の撮像装置の状態を示す状態情報を取得する取得手段と、
前記取得手段によって取得された前記状態情報に基づいて、前記複数の撮像装置の状態の表示形式を示す複数の画像種別から少なくとも一つの画像種別を決定する第1の決定手段と、
前記取得手段によって取得された前記状態情報と前記第1の決定手段によって決定された画像種別とに基づいて、前記複数の撮像装置の状態を表示するよう制御する表示制御手段と、
を有し、
前記複数の画像種別には、少なくとも、前記複数の撮像装置のネットワーク接続構成を表示する形式の第1の画像種別と、前記複数の撮像装置の撮像パラメータの一覧を表示する形式の第2の画像種別と、が含まれ、
前記第1の決定手段は、
前記複数の撮像装置間においてネットワークエラーが発生している場合には、前記第1の画像種別に決定し、
撮像装置のパラメータの異常が発生している場合には、前記第2の画像種別に決定する
表示制御装置。 - 前記表示制御手段は、前記取得手段によって取得された前記状態情報に基づいて、前記第1の決定手段によって決定された画像種別の画像を使用して前記複数の撮像装置の状態を表示するよう制御する請求項1記載の表示制御装置。
- 前記表示制御手段は、前記取得手段によって取得された前記状態情報に基づいて、前記第1の決定手段によって決定された画像種別の画像が他の画像種別の画像より大きくなるように、前記複数の画像種別の画像を使用して、前記複数の撮像装置の状態を表示するよう制御する請求項1記載の表示制御装置。
- 前記複数の画像種別には、前記複数の撮像装置が配置されている位置を地図上に表示する形式の第3の画像種別が含まれる請求項1乃至3何れか1項記載の表示制御装置。
- 前記第1の決定手段は、前記取得手段によって取得された前記状態情報が示すエラーの種別に基づいて、前記複数の画像種別から少なくとも一つの画像種別を決定する請求項1乃至4何れか1項記載の表示制御装置。
- 前記取得手段によって取得された前記状態情報に基づいて、前記複数の撮像装置を前記撮像システムで使用できるようにする工程の進捗状態を決定する第2の決定手段を更に有し、
前記第1の決定手段は、前記第2の決定手段によって決定された前記進捗状態に基づいて、前記複数の画像種別から少なくとも一つの画像種別を決定する請求項1乃至4何れか1項記載の表示制御装置。 - 前記状態情報には、前記複数の撮像装置の設定値が含まれる請求項1乃至6何れか1項記載の表示制御装置。
- 前記表示制御手段は、前記取得手段によって取得された前記状態情報と前記第1の決定手段によって決定された画像種別と撮影環境情報とに基づいて、前記複数の撮像装置の状態を表示するよう制御し、
前記撮影環境情報には、前記複数の撮像装置の設置位置を示す座標値と前記複数の撮像装置のネットワークの接続先の情報とが含まれる請求項1乃至7何れか1項記載の表示制御装置。 - 表示方法の指定を受け付ける受付手段を更に有し、
前記受付手段によって第1の表示方法の指定が受け付けられた場合、前記表示制御手段は、前記取得手段によって取得された前記状態情報に基づいて、前記第1の決定手段によって決定された画像種別の画像を使用して前記複数の撮像装置の状態を表示するよう制御し、
前記受付手段によって第2の表示方法の指定が受け付けられた場合、前記表示制御手段は、前記取得手段によって取得された前記状態情報に基づいて、前記第1の決定手段によって決定された画像種別の画像が他の画像種別の画像より大きくなるように、前記複数の画像種別の画像を使用して、前記複数の撮像装置の状態を表示するよう制御する請求項1乃至8何れか1項記載の表示制御装置。 - 前記撮像システムは、前記複数の撮像装置によって撮像された撮像画像に基づいて、仮想視点画像を生成する請求項1乃至9何れか1項記載の表示制御装置。
- 撮像システムを構成する複数の撮像装置の状態を示す状態情報を取得する取得ステップと、
前記取得ステップによって取得された前記状態情報に基づいて、前記複数の撮像装置の状態の表示形式を示す複数の画像種別から少なくとも一つの画像種別を決定する決定ステップと、
前記取得ステップによって取得された前記状態情報と前記決定ステップによって決定された画像種別とに基づいて、前記複数の撮像装置の状態を表示するよう制御する表示制御ステップと、
を含み、
前記複数の画像種別には、少なくとも、前記複数の撮像装置のネットワーク接続構成を表示する形式の第1の画像種別と、前記複数の撮像装置の撮像パラメータの一覧を表示する形式の第2の画像種別と、が含まれ、
前記決定ステップは、
前記複数の撮像装置間においてネットワークエラーが発生している場合には、前記第1の画像種別に決定し、
撮像装置のパラメータの異常が発生している場合には、前記第2の画像種別に決定する
表示制御装置の制御方法。 - 前記表示制御ステップでは、前記取得ステップによって取得された前記状態情報に基づいて、前記決定ステップによって決定された画像種別の画像を使用して前記複数の撮像装置の状態を表示するよう制御する請求項11記載の表示制御装置の制御方法。
- 前記表示制御ステップでは、前記取得ステップによって取得された前記状態情報に基づいて、前記決定ステップによって決定された画像種別の画像が他の画像種別の画像より大きくなるように、前記複数の画像種別の画像を使用して、前記複数の撮像装置の状態を表示するよう制御する請求項12記載の表示制御装置の制御方法。
- コンピュータを、請求項1乃至10何れか1項記載の表示制御装置の各手段として機能させるためのプログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018112723A JP7204351B2 (ja) | 2018-06-13 | 2018-06-13 | 表示制御装置、表示制御装置の制御方法、及び、プログラム |
| PCT/JP2019/021989 WO2019239940A1 (ja) | 2018-06-13 | 2019-06-03 | 表示制御装置、表示制御装置の制御方法、及び、プログラム |
| US17/116,556 US11528462B2 (en) | 2018-06-13 | 2020-12-09 | Display control apparatus, method for controlling display control apparatus, and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018112723A JP7204351B2 (ja) | 2018-06-13 | 2018-06-13 | 表示制御装置、表示制御装置の制御方法、及び、プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019216363A JP2019216363A (ja) | 2019-12-19 |
| JP7204351B2 true JP7204351B2 (ja) | 2023-01-16 |
Family
ID=68843369
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018112723A Active JP7204351B2 (ja) | 2018-06-13 | 2018-06-13 | 表示制御装置、表示制御装置の制御方法、及び、プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11528462B2 (ja) |
| JP (1) | JP7204351B2 (ja) |
| WO (1) | WO2019239940A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114339067A (zh) * | 2021-11-15 | 2022-04-12 | 华能国际电力股份有限公司上海石洞口第二电厂 | 基于5g环境下的多通道图像及视频流同步与分布式处理方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008131443A (ja) | 2006-11-22 | 2008-06-05 | Hitachi Ltd | 監視システム、及び、その障害状況表示方法 |
| JP2017152827A (ja) | 2016-02-23 | 2017-08-31 | ソニー株式会社 | 機器管理装置と機器管理方法およびプログラム |
| JP2017212591A (ja) | 2016-05-25 | 2017-11-30 | キヤノン株式会社 | 制御装置、制御方法、及び、プログラム |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5586254A (en) * | 1992-02-13 | 1996-12-17 | Hitachi Software Engineering Co., Ltd. | System for managing and operating a network by physically imaging the network |
| JP4684317B2 (ja) * | 2007-07-23 | 2011-05-18 | 三菱電機株式会社 | 列車内表示器管理システムおよび列車内表示器管理方法 |
| JP2014215828A (ja) | 2013-04-25 | 2014-11-17 | シャープ株式会社 | 画像データ再生装置、および視点情報生成装置 |
| US10110678B2 (en) * | 2016-08-19 | 2018-10-23 | Sony Corporation | System and method for data communication based on image processing |
| JP6765917B2 (ja) * | 2016-09-21 | 2020-10-07 | キヤノン株式会社 | 探索装置及び、その撮像装置及び、探索方法 |
| US20210121139A1 (en) * | 2017-04-21 | 2021-04-29 | Koninklijke Philips N.V. | Pressure touch sensitive patient table for tomographic imaging |
-
2018
- 2018-06-13 JP JP2018112723A patent/JP7204351B2/ja active Active
-
2019
- 2019-06-03 WO PCT/JP2019/021989 patent/WO2019239940A1/ja not_active Ceased
-
2020
- 2020-12-09 US US17/116,556 patent/US11528462B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008131443A (ja) | 2006-11-22 | 2008-06-05 | Hitachi Ltd | 監視システム、及び、その障害状況表示方法 |
| JP2017152827A (ja) | 2016-02-23 | 2017-08-31 | ソニー株式会社 | 機器管理装置と機器管理方法およびプログラム |
| JP2017212591A (ja) | 2016-05-25 | 2017-11-30 | キヤノン株式会社 | 制御装置、制御方法、及び、プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019239940A1 (ja) | 2019-12-19 |
| JP2019216363A (ja) | 2019-12-19 |
| US11528462B2 (en) | 2022-12-13 |
| US20210092344A1 (en) | 2021-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110546948B (zh) | 显示控制设备、显示控制方法和存储介质 | |
| JP7494273B2 (ja) | 表示制御装置、表示制御方法、およびプログラム | |
| JP6786378B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP6381265B2 (ja) | 情報処理装置、表示方法、及びプログラム | |
| US12238411B2 (en) | Information processing apparatus, method, and non-transitory computer-readable storage medium | |
| JP7462085B2 (ja) | 情報処理装置、方法、及びプログラム | |
| JP7204351B2 (ja) | 表示制御装置、表示制御装置の制御方法、及び、プログラム | |
| US11023999B2 (en) | Image processing apparatus, information processing system, information processing method, and storage medium | |
| JP2016012203A (ja) | 表示装置、表示方法およびプログラム | |
| JP2008294789A (ja) | 遠隔指示システム及びサーバ装置 | |
| JP2014030070A (ja) | 監視カメラ制御装置 | |
| CN115079712A (zh) | 数据传输方法、无人机、地面站及无人机控制系统 | |
| JP6401480B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP2023067619A (ja) | カメラ制御装置およびカメラ制御方法、プログラム | |
| US9883103B2 (en) | Imaging control apparatus and method for generating a display image, and storage medium | |
| JP6362090B2 (ja) | ネットワークカメラのプリセット位置の表示方法 | |
| JP2024175919A (ja) | 情報処理装置、情報処理装置の制御方法、プログラム、及び撮像システム | |
| JP2017073717A (ja) | 情報処理装置、情報処理方法、コンピュータプログラム及び記録媒体 | |
| JP2019075739A (ja) | 情報処理装置、システム、情報処理方法及びプログラム | |
| JP2019068389A (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210609 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220628 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220809 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221129 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221228 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7204351 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |