JP7462085B2 - Information processing device, method, and program - Google Patents
Information processing device, method, and program Download PDFInfo
- Publication number
- JP7462085B2 JP7462085B2 JP2023018557A JP2023018557A JP7462085B2 JP 7462085 B2 JP7462085 B2 JP 7462085B2 JP 2023018557 A JP2023018557 A JP 2023018557A JP 2023018557 A JP2023018557 A JP 2023018557A JP 7462085 B2 JP7462085 B2 JP 7462085B2
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- information
- devices
- display
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 172
- 230000010365 information processing Effects 0.000 title claims description 70
- 230000008569 process Effects 0.000 claims description 151
- 238000003384 imaging method Methods 0.000 claims description 130
- 230000005856 abnormality Effects 0.000 claims description 53
- 238000009434 installation Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 description 62
- 238000004891 communication Methods 0.000 description 24
- 230000004044 response Effects 0.000 description 17
- 238000001514 detection method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000002159 abnormal effect Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 8
- 230000007704 transition Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 241000723353 Chrysanthemum Species 0.000 description 1
- 235000005633 Chrysanthemum balsamita Nutrition 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
本発明は、複数の機器を用いるシステムの設置・運用技術に関する。 The present invention relates to technology for installing and operating a system that uses multiple devices.
異なる位置に設置した複数の撮像装置により複数の方向から同期して被写体を撮像し、その撮像により得られた複数の撮像画像を用いて仮想視点画像を生成する技術が注目されている。仮想視点画像によれば、撮像装置の位置と異なる様々な視点での画像の視聴を可能とするため、ユーザに高臨場感を与えることができる。一方、仮想視点画像を生成するには、複数の撮像装置が使用されるため、単一の撮像装置による撮像と比較して煩雑かつ多数の処理手順を実行する必要がある。特許文献1には、仮想視点画像を観察する視点を容易に選択可能とするUI(ユーザインタフェース)が記載されている。
A technology that captures images of a subject from multiple directions synchronously using multiple imaging devices installed in different positions, and generates a virtual viewpoint image using the multiple captured images obtained by the imaging, is attracting attention. The virtual viewpoint image allows the user to view images from various viewpoints different from the positions of the imaging devices, and therefore provides the user with a high sense of realism. However, since multiple imaging devices are used to generate a virtual viewpoint image, it is necessary to execute a large number of complicated processing procedures compared to imaging using a single imaging device.
特許文献1に記載の技術では、用意された仮想視点画像を視聴する際の処理を簡素化することができるが、仮想視点画像を用意するための処理手順について言及されておらず、また、仮想視点画像を生成することができない状態についても想定されていない。このため、仮想視点画像の生成のため等のマルチカメラシステムを構成する複数の撮像装置やその他の装置の設営や撤去、運用などについては煩雑なままであり、作業員(ユーザ)の負担を軽減することはできないという課題があった。
The technology described in
本発明は、マルチカメラシステムの設置・運用におけるユーザ支援技術を提供する。 The present invention provides user assistance technology for installing and operating a multi-camera system.
本発明の一態様による情報処理装置は、複数の機器を含んで構成されるシステムにおける作業であって前記複数の機器の設置から三次元形状データの生成対象である被写体の撮像が開始される前までの間に実行される作業に関するワークフローに含まれる複数のプロセスの進捗状況について前記複数の機器の状態を示す情報を取得する取得手段と、前記ワークフローに含まれる前記複数のプロセスと、当該複数のプロセスのそれぞれの進捗状況を示す情報と、を含む画面を、表示装置に表示させる表示制御手段と、を有する。
An information processing device according to one aspect of the present invention has an acquisition means for acquiring information indicating the status of multiple devices regarding the progress of multiple processes included in a workflow relating to work in a system including multiple devices, the work being performed between installation of the multiple devices and before imaging of a subject for which three-dimensional shape data is to be generated begins, and a display control means for causing a display device to display a screen including the multiple processes included in the workflow and information indicating the progress of each of the multiple processes.
本発明によれば、マルチカメラシステムの設置・運用において適切にユーザを支援することができる。 The present invention can provide appropriate support to users in the installation and operation of a multi-camera system.
以下、図面を参照して、本発明の実施の形態について説明する。なお、以下の実施形態は本発明を実施する態様の一例に過ぎず、説明される装置構成や処理の流れは、適宜変更されうる。例えば、装置を構成する機能ブロックやハードウェアブロックは、説明される態様に限定されず、一部のブロックが省略され若しくは他のブロックが追加され、又は、一部のブロックが他のブロックと組み合わされて1つのブロックとして構成されうる。また、処理ステップの一部が省略され若しくは他のステップが追加され、複数の処理ステップが1つの処理ステップによって実行されてもよい。 Below, an embodiment of the present invention will be described with reference to the drawings. Note that the following embodiment is merely one example of how the present invention can be implemented, and the device configuration and processing flow described may be changed as appropriate. For example, the functional blocks and hardware blocks that make up the device are not limited to the described embodiment, and some blocks may be omitted or other blocks may be added, or some blocks may be combined with other blocks to form a single block. Also, some processing steps may be omitted or other steps may be added, and multiple processing steps may be executed by a single processing step.
ここで説明する実施形態では、仮想視点画像を生成するために複数の撮像装置が設置されるマルチカメラシステムを例として説明する。そして、このようなマルチカメラシステムの設営や撤去、運用等について、作業員等のユーザによって適切な処理が行われるように誘導するために、ユーザが実行すべき処理のガイドや誤った処理が行われた場合の警告などの情報をユーザに分かりやすく表示する。これにより、マルチカメラシステムを設営、撤去、運用等を行う際に、ユーザが手順を間違える等の不適切な処理が行われるのを防ぐことが可能となる。なお、マルチカメラシステムは、仮想視点画像の生成に用いられてもよいが、仮想視点画像の生成以外の用途で用いられるシステムであってもよい。ここで、本実施形態において、「画像」とは、静止画像と動画像(映像)を含む。また、以下で説明する撮像装置等の機材を、任意のシステムで用いられる任意の機材に置き換えることによって、多数の機材を用いて所定のサービスを提供する任意のシステムに対して、以下の議論を適用することができる。 In the embodiment described here, a multi-camera system in which multiple imaging devices are installed to generate a virtual viewpoint image is described as an example. Then, in order to guide a user such as a worker to perform appropriate processing when setting up, removing, or operating such a multi-camera system, information such as a guide to the processing that the user should perform and a warning when an incorrect processing is performed is displayed to the user in an easy-to-understand manner. This makes it possible to prevent the user from performing inappropriate processing such as making a mistake in the procedure when setting up, removing, or operating the multi-camera system. Note that the multi-camera system may be used to generate a virtual viewpoint image, but it may also be a system used for purposes other than generating a virtual viewpoint image. Here, in this embodiment, "image" includes a still image and a moving image (video). In addition, the following discussion can be applied to any system that provides a predetermined service using a large number of devices by replacing the equipment such as the imaging devices described below with any equipment used in any system.
図1に、本実施形態に係る情報表示システムの構成例を示す。本情報表示システムは、複数の撮像装置101-1~101-mを含んだ撮像装置群100と、HUB120と、仮想視点画像生成装置140と、情報処理装置160とを有する。各々の装置は、例えば、画像や制御情報を伝送するための伝送ケーブルを介して相互に通信可能に接続される。伝送ケーブルは、例えば、Ethernet(登録商標)規格に準拠したGbE(Gigabit Ethernet)や10GbEであるが、これらに限定されず、他の種別のケーブルが用いられてもよい。また、各々の装置は無線通信を行ってもよく、ケーブルによる有線通信が行われなくてもよいし、無線通信と有線通信とが並行して行われてもよい。
Figure 1 shows an example of the configuration of an information display system according to this embodiment. This information display system includes an
上述のように、撮像装置群100は、複数(m個)の撮像装置(撮像装置101-1~101-m)を含む。以下では、特定の撮像装置を指す必要がない場合には、これらの撮像装置を撮像装置101-xと呼ぶ。なお、mやxなど、101の後に付される値は整数である。相互に隣接する位置にある2つの撮像装置101-x(例えば、撮像装置101-1と撮像装置101-2)は、伝送ケーブルを介して相互に直接接続されうる。なお、この直接接続される2つの撮像装置101-xは、物理的に隣接している必要はなく、これらの2つの撮像装置101-xの間に、別の撮像装置101-xが配置されてもよい。例えば、複数の撮像装置が、それぞれ撮像対象(視点)が異なる点に設定された複数のグループに分類されてもよく、この場合に、グループ内の撮像装置101-xが直接接続され、異なるグループの撮像装置101-xが直接接続されないように構成されうる。撮像装置101-xは、撮像画像や情報処理装置160から受信した要求の処理結果を、仮想視点画像生成装置140および情報処理装置160へ伝送する。撮像装置101-2は、図1に示すように撮像装置101-1と接続されると共に、撮像装置101-1と反対側において隣接する不図示の撮像装置101-3と直接接続される。このようにして、撮像装置101-kは、2つの隣接する撮像装置である撮像装置101-(k-1)及び撮像装置101-(k+1)と直接接続されうる。なお、この接続における端部に位置する撮像装置(例えば撮像装置101-1)と、HUB120と直接接続する撮像装置(例えば撮像装置101-n)とについては、この限りでない。すなわち、これらの撮像装置は、2つの他の撮像装置と接続されるのではなく、1つの他の撮像装置と接続される。このように、複数の撮像装置101-xは、デイジーチェーン接続される。なお、複数の撮像装置101-xは、例えば上述のように撮像対象等によってグループ分けされ、グループごとにデイジーチェーン接続されうる。この場合、第1のグループに属する撮像装置101-xは、第1のグループと異なる第2のグループの撮像装置101-xと、HUB120を介さずには接続されないように構成されうる。図1の例では、このようなグループが2つ存在し、撮像装置101-1~撮像装置101-nまでのグループと、撮像装置101-(n+1)から撮像装置101-mまでのグループとに対して、それぞれ別個のデイジーチェーンが構成される。なお、この接続形態は一例に過ぎず、異なるグループの撮像装置が1つのデイジーチェーンによって接続されてもよい。また、図1では、グループの数が2つの場合の例を示しているが、グループ分けが行われずに全ての撮像装置が1つのデイジーチェーンを構成してもよいし、3つ以上のグループが設けられてもよい。また、複数の撮像装置101-x相互の接続は、デイジーチェーンの形式で行われなければならないわけではなく、環形(リング型)、メッシュ型、スター型、バス型、ツリー型、又はこれらの組み合わせ等の任意の形式で行われてもよい。また、グループ分けは、例えば物理的に近距離に配置された撮像装置が同じグループに属するようにするなど、この他の任意の基準によって行われてもよい。
As described above, the
撮像装置101-xは、一例において、サッカー場等の競技場や特定の被写体を取り囲むように配置される。図2は、撮像装置101-xの配置の一例を示す図である。図2の例では、サッカー場等の競技場の全てまたは一部の範囲が撮像されるように、複数の撮像装置101-xが配置される。 In one example, the imaging devices 101-x are arranged to surround a stadium such as a soccer field or a specific subject. FIG. 2 is a diagram showing an example of the arrangement of the imaging devices 101-x. In the example of FIG. 2, multiple imaging devices 101-x are arranged so that all or part of the range of a stadium such as a soccer field is captured.
図3に、撮像装置101-xの構成例を示す。撮像装置101-xは、カメラ301、レンズ302、雲台303、画像処理装置304を有する。カメラ301は、例えばデジタルカメラであり、装着されたレンズ302と協働して撮像を行い、画像データを生成する。また、カメラ301は、例えば、画像処理装置304とSDI(Serial Digital Interface)ケーブルで接続される。そして、カメラ301は、画像処理装置304から制御信号や同期信号を受信し、撮像によって得られた画像データを画像処理装置304へ送信する。カメラ301は、画像処理装置304から受信した同期信号に基づいて撮像を行う。なお、同期信号は、複数の撮像装置101-xが、同じタイミングで撮像を行うようにするための信号であり、これにより、全ての撮像装置101-xが同一の又は略同一のタイミングで撮像を行うことができる。なお、カメラ301と画像処理装置304との間のケーブルは、制御信号や同期信号、画像信号を送信可能である限りにおいて、SDIケーブル以外のケーブルであってもよい。雲台303は、カメラ301の気体の角度を調整する。また、雲台303は、例えば、画像処理装置304とシリアルケーブルで接続される。雲台303は、画像処理装置304からパン方向とチルト方向の角度データを受信し、受信した角度データに基づいて、カメラ301の機体の角度の調整を行う。なお、雲台303と画像処理装置304との間のケーブルは、角度データを送信可能である限りにおいて、シリアルケーブル以外のケーブルであってもよい。画像処理装置304は、情報処理装置160から制御信号を取得し、カメラ301やレンズ302、雲台303へ制御信号を出力する。また、画像処理装置304は、カメラ301から受信した撮像画像を、伝送ケーブルを介して仮想視点画像生成装置140へ送信する。さらに、画像処理装置304は、出力した制御信号の処理が正常に完了したか、異常で終了したかを示す制御応答信号を情報処理装置160へ送信する。
Figure 3 shows an example of the configuration of the imaging device 101-x. The imaging device 101-x has a
図1に戻り、仮想視点画像生成装置140は、HUB120に接続されており、HUB120を介して撮像装置101-xと通信可能に構成され、撮像装置101-xにより撮像された画像を蓄積する。仮想視点画像生成装置140は、例えば、蓄積した画像に基づいて、被写体や背景の三次元形状データを生成し、仮想視点画像の生成のための準備を行いうる。そして、仮想視点画像生成装置140は、ユーザ端末の操作によって仮想視点情報が入力された場合、複数の撮像装置101-xによって撮像された画像を用いて、入力された仮想視点情報に対応する仮想視点画像を生成する。ここで、仮想視点情報とは、位置情報と方向情報とが少なくとも含まれ、どの位置からどの方向を向いて被写体を観察するかを指定する情報である。位置情報は、競技場の中央などの所定位置に対する相対的な位置(例えば、所定位置を基準とした場合の、前後方向、左右方向、および左右方向の位置)を示す情報である。方向情報は、その所定位置からの向き(例えば、所定の方向を基準方向とし、前後方向、左右方向、上下方向を軸とする3次元直交座標系での各軸からの角度)を示す情報である。仮想視点画像生成装置140は、例えば、サーバ装置である。仮想視点画像生成装置140は、例えば、複数の撮像装置101-xのそれぞれによって撮像された画像を保存するデータベース機能と、それらの撮像装置101-xが配置された位置や撮像を行った向きの情報を管理する機能を有する。そして、仮想視点画像生成装置140は、その管理している情報に基づいて、保存した画像を用いて仮想視点画像を生成する画像処理機能を有する。なお、仮想視点画像生成装置140のデータベース機能は、競技の開始前の競技会場の場面など、被写体が存在しない状態の競技会場の場面が撮像された画像を、背景画像データとして予め保持しうる。
Returning to FIG. 1, the virtual viewpoint
情報処理装置160は、HUB120に接続され、HUB120を介して撮像装置101-xや仮想視点画像生成装置140と通信可能に構成される。情報処理装置160は、撮像装置101-xによって撮像された撮像画像や撮像装置101-xの状態情報を受信し、表示画面に表示するための処理を実行する。また、情報処理装置160は、仮想視点画像生成装置140の状態情報をも受信し、表示画面に表示するための処理を実行する。本システムの看視者は、情報処理装置160による処理によって表示画面に表示された撮像画像等を用いて、撮像装置群100や仮想視点画像生成装置140の状態を定常的に監視することができる。また、情報処理装置160は、システムの設置から撮像までで実行すべき作業を示すワークフローを表示し、その作業についての、完了、未完了、又は現在処理中等の処理の進捗状況の情報を表示するための処理を実行しうる。また、情報処理装置160は、完了した処理が正常な状態であるか異常な状態であるかを示す情報を表示するための処理を実行しうる。これらの表示内容については後述する。
The
HUB120は、撮像装置群100と、仮想視点画像生成装置140と、情報処理装置160との間の通信を中継する。HUB120は、例えば、複数の撮像装置101-xから出力された撮像画像を、仮想視点画像生成装置140と情報処理装置160とへ転送する。これにより、仮想視点画像生成装置140と情報処理装置160は、同一の撮像画像を取得することができる。
The
続いて、情報処理装置160の構成例について説明する。図4は、情報処理装置160のハードウェアの構成例を示す図である。情報処理装置160は、そのハードウェア構成として、例えば、コントローラユニット401、操作ユニット410、および表示装置420を含んで構成される。なお、情報処理装置160は、例えば操作ユニット410や表示装置420を含まずに構成されてもよい。例えば、情報処理装置160は、外付けのキーボード等の操作機器からユーザ操作を示すコマンドを受け付けて処理を実行し、外付けのディスプレイ等に画面表示させるための画面データを出力するように構成されてもよい。また、情報処理装置160は、ネットワーク上に配置されたサーバ等であってもよく、1つ以上の操作端末からネットワークを介して操作コマンドを受信し、1つ以上のディスプレイにネットワークを介して画面データを送信してもよい。
Next, an example of the configuration of the
コントローラユニット401は、例えば、CPU402、ROM403、RAM404、HDD405、操作部I/F406、表示部I/F407、及び通信I/F408を含んで構成される。なお、HDDはHard Disk Driveの頭字語であり、I/Fはインタフェースの略語である。CPU402、ROM403、RAM404、操作部I/F406、表示部I/F407、及び通信I/F408は、システムバス409を介して相互に接続される。
The
CPU402は、ROM403に格納されているブートプログラムにより、OS(Operating System)を起動する。そして、CPU402は、このOS上で、HDD405等に格納されているアプリケーションプログラムを実行する。CPU402は、アプリケーションプログラムの実行によって各種処理を実現する。RAM404は、CPU402の作業領域等として用いられる。HDD405は、上述のアプリケーションプログラムなどを格納する。
The
操作部I/F406は、操作ユニット410からユーザ操作を示す情報を受け付け、必要に応じて操作ユニット410に情報を出力することによりユーザ操作制御を行うインタフェースである。操作部I/F406は、操作ユニット410が受け付けたシステム監視者によるユーザ操作を示す情報を、操作ユニット410から取得し、その情報をCPU402に出力する。操作ユニット410は、例えば、マウスやキーボード等のユーザ操作を受け付ける機器によって構成される。ただし、これに限られず、ユーザのジェスチャや視線を検出するセンサや、操作子の動きを検出するセンサなど、ユーザ操作を受け付けることが可能な任意の機器が操作ユニット410として用いられてもよい。
The operation unit I/
表示部I/F407は、表示装置420に表示させるべき画像データを、表示装置420に対して出力し、必要に応じて表示装置420から情報を受け付けることにより画面表示制御を行うインタフェースである。表示装置420は、コンピュータディスプレイでありうる。なお、操作ユニット410と表示装置420は、例えば、タッチパネルディスプレイ等の1つの装置によって構成されてもよい。また、本実施形態では、情報提示が画面表示により行われるものとするが、音声出力や振動出力など様々な方法で情報提示が行われてもよい。この場合、表示部I/F407は、出力すべき音声データや振動パターンの情報を、外部のスピーカや振動子に対して出力しうる。
The display unit I/
通信I/F408は、例えば伝送ケーブルを介して、他の装置と接続して通信するためのインタフェースである。通信I/F408は、外部装置(例えばユーザ端末や、図1のHUB120及び情報処理装置160)との間で、通信により情報の入出力を行う。通信I/F408は、有線通信I/Fでありうるが、無線通信I/Fであってもよい。
The communication I/
図5に、情報処理装置160の機能構成例を示す。情報処理装置160は、データ記録部501、ユーザ入力部502、制御部503、通信部504、ワークフロー管理部505、UI画像生成部506、表示部507、及び、異常検出部508を有する。これらの機能部は、相互に論理的に接続され、制御部503による制御の下で、相互にデータを送受信することができる。なお、データ記録部501は、HDD405にデータを記録し、制御部503とワークフロー管理部505とUI画像生成部506は、CPU402の処理によって処理を行う。また、ユーザ入力部502は操作部I/F406によってユーザ入力を示す情報を取得し、通信部504は通信I/F408によって外部の装置と通信を行う。表示部507は、表示部I/F407を介して表示装置420に情報を表示させる。
FIG. 5 shows an example of the functional configuration of the
データ記録部501は、システムの設置から撮像に至るまでの手順や進捗状況を示すワークフロー定義情報を保持する。ワークフロー定義情報は、「ID」、「カテゴリ」、「プロセス」、及び「要求」の少なくともいずれかの情報を含む。ここで、「カテゴリ」は、設置から撮像までの手順をグルーピングした項目を示し、「プロセス」は、カテゴリに属する処理項目を示し、「要求」は、プロセスに対応する処理の詳細であって、情報処理装置160が撮像装置101-xへ要求する処理内容を示す。また、「ID」は、これらの項目の組み合わせに対して一意に割り当てられる識別情報であり、プロセスの実行順に対応するデータである。「ID」は、例えば、最初に実行すべきプロセスに対して「1」が割り当てられ、順に、「2」、「3」、…と増加する値でありうる。
The
図6に、ワークフロー定義情報の例を示す。本例におけるワークフロー定義情報は、撮像システムの設置から撮像に至るまでの14個の処理の内容と順序とを定義している。各処理が「プロセス」として定義され、1つの「カテゴリ」が1つ以上の「プロセス」のグループを含む。また、各「プロセス」には、情報処理装置160が撮像装置101-xへ要求する制御内容として、「要求」が定義されている。図6に示すように、本例のワークフロー定義情報は、「機器接続」、「同期」、「画角調整」、「露出調整」、「キャリブレーション(CAL)」カテゴリが定義されている。
Figure 6 shows an example of workflow definition information. The workflow definition information in this example defines the content and sequence of 14 processes from installation of the imaging system to imaging. Each process is defined as a "process," and one "category" includes a group of one or more "processes." In addition, for each "process," a "request" is defined as the control content that the
機器接続カテゴリに対しては、「カメラ」、「レンズ」、「雲台」を含んだプロセスのグループが定義されている。これらのプロセスは、撮像装置101-xのそれぞれについて、カメラ、レンズ、及び雲台が接続されているかを確認する処理である。本処理では、単に機器が存在していて接続されていることを確認する処理が実行されうるが、撮像装置101-xごとに機器の種別の確認等、他の処理が実行されてもよい。例えば、撮像システムにおいて複数種類のカメラが用いられる場合に、「撮像装置101-1に種別Aのカメラが接続されている」等の確認処理が実行されてもよい。また、撮像装置101-xごとに、機器のIDが確認されてもよい。例えば、撮像システムに用いられるカメラごとにユニークにシリアルIDが定義され、撮像装置101-1にID=001のカメラが接続されていることの確認が行われてもよい。仮想視点画像撮像システムは膨大な機器を扱うため、機材の管理は非常に重要である。これに対して、情報処理装置160は、これらのプロセスにより、機器の台数の確認や所望の機材が接続されているか否かを確認することができる。
For the device connection category, a group of processes including "camera", "lens", and "head" is defined. These processes are processes for checking whether a camera, lens, and head are connected to each of the imaging devices 101-x. In this process, a process for simply checking that the device exists and is connected may be executed, but other processes such as checking the type of device for each imaging device 101-x may be executed. For example, when multiple types of cameras are used in the imaging system, a checking process such as "a camera of type A is connected to the imaging device 101-1" may be executed. In addition, the ID of the device may be checked for each imaging device 101-x. For example, a unique serial ID may be defined for each camera used in the imaging system, and a check may be performed to check that a camera with ID=001 is connected to the imaging device 101-1. Since the virtual viewpoint image imaging system handles a huge number of devices, management of the equipment is very important. In response to this, the
同期カテゴリに対しては、「同期」のプロセスが定義されている。仮想視点画像を生成するためには、全ての撮像装置101-xのカメラ301が同期して撮像を行う必要がある。このため、情報処理装置160は、本プロセスによって、全ての撮像装置101-xの画像処理装置304へ同期信号出力要求を行い、多数のカメラ301が同期するための同期信号を出力させる。
For the synchronization category, a "synchronization" process is defined. To generate a virtual viewpoint image, the
画角調整カテゴリに対しては、「雲台角度」、「ズーム」、「フォーカス」を含んだプロセスのグループが定義されている。仮想視点画像を生成するためには、複数のカメラ301が同じ領域をボケなく撮像する必要がある。このため、情報処理装置160は、これらのプロセスにおいて、雲台の角度を調整することによってカメラの向きを指定し、ズーム調整によってカメラの撮像範囲を定め、フォーカス調整によってボケをなくすための要求信号を出力する。
For the angle of view adjustment category, a group of processes including "platform angle," "zoom," and "focus" is defined. To generate a virtual viewpoint image,
露出調整カテゴリに対しては、「ISO」、「アイリス」、「シャッター」、「ND」を含んだプロセスのグループが定義されている。仮想視点画像を生成するためには、全ての撮像装置101-xのカメラ301の撮像画像が同じ明度である必要がある。そのため、情報処理装置160は、これらのプロセスによって、露出に関する調整を要求する信号を出力する。
For the exposure adjustment category, a group of processes including "ISO", "Iris", "Shutter", and "ND" is defined. To generate a virtual viewpoint image, the images captured by the
キャリブレーション(CAL)カテゴリに対しては、「撮像」、「計算」、「設定」を含んだプロセスのグループが定義されている。仮想視点画像を生成するためには、全ての撮像装置101-xのカメラ301がどの位置にどのような向きで設置され、どのようなレンズ歪みを持っているかを管理する必要がある。この管理データを、以下では「CALパラメータ」と呼ぶ。CALパラメータは、全てのカメラ301によって同時刻に撮像を実行し、その撮像画像を解析して特徴点の位置を抽出して計算を行うことによって特定される。CALパラメータは、世界座標系で表された3次元点を画像上にマップする方法を利用して算出されうる。情報処理装置160は、算出したCALパラメータを用いて、全ての撮像装置101-xの画像処理装置304の設定を行う。
For the calibration (CAL) category, a group of processes including "imaging", "calculation", and "setting" is defined. In order to generate a virtual viewpoint image, it is necessary to manage the positions and orientations of the
なお、本例では14個のプロセスと5個のカテゴリが定義されているが、プロセスとカテゴリの個数及び内容については任意に設定可能であり、特に限定されない。例えば、上述の処理は、仮想視点画像を生成するシステムに関するものであるが、仮想視点画像と関係しないマルチカメラシステムが、その用途を果たすために必要なプロセス及びカテゴリが定義されてもよい。また、複数の撮像装置を用いることも必須ではなく、多数の機材を用いるシステムの設置や運用等のために、プロセスとカテゴリが定義されてもよい。なお、情報処理装置160は、データ記録部501を内包している必要はなく、データ記録部501は、情報処理装置160の外部の記録装置によって実現されてもよい。また、データ記録部501は、撮像装置101-xに関する情報を保持する部分について、各々の撮像装置101-x内に実装されてもよい。データ記録部501は、例えば撮像装置101-x及び情報処理装置160に機能ごとに分けて実装されるなど、複数の装置に分散して実装されてもよい。
In this example, 14 processes and 5 categories are defined, but the number and contents of the processes and categories can be set arbitrarily and are not particularly limited. For example, the above-mentioned processing is related to a system that generates a virtual viewpoint image, but a process and category necessary for a multi-camera system that is not related to a virtual viewpoint image to fulfill its purpose may be defined. In addition, it is not necessary to use multiple imaging devices, and processes and categories may be defined for the installation and operation of a system that uses a large number of devices. In addition, the
図5に戻り、ユーザ入力部502は、操作ユニット410によって受け付けられたユーザ操作の情報を受け付け、制御部503に出力する。
Returning to FIG. 5, the
制御部503は、情報処理装置160の各部に制御指示を出力する。例えば、制御部503は、ユーザ入力部502からの操作情報に基づいて、撮像装置101-xへの要求内容を決定し、通信部504へ要求内容を出力する。また、制御部503は、撮像に向けたシステムの進捗状況をUI(ユーザインタフェース)画面に表示させるために、ワークフロー管理部505に対しても同様に、要求内容を送信する。また、制御部503は、撮像装置101-xへ出力した要求の処理結果を示す要求応答情報を、通信部504を介して受信し、ワークフロー管理部505に対して、その要求応答情報を出力しうる。
The
通信部504は、制御部503からの要求情報を取得し、他の装置へ送信可能な信号形式へその要求情報を変換して、撮像装置101-xのそれぞれに対して送信する。また、通信部504は、撮像装置101-xのそれぞれから信号を受信してその信号に含まれる要求応答情報を抽出し、抽出した要求応答情報を制御部503へ出力する。また、通信部504は、撮像装置101-xのそれぞれから受信した信号から機器情報を取得して、その機器情報を異常検出部508へ出力する。ここで、機器情報は、撮像装置の設定値、外光センサ値、ジャイロセンサ値の少なくともいずれか等の情報を含みうる。
The
ワークフロー管理部505は、制御部503から要求情報及び要求応答情報を取得し、それらの情報に応じてワークフロー管理情報を更新し、その後に、更新したワークフロー管理情報をUI画像生成部506へ送信する。図7に、ワークフロー管理情報の一例を示す。ワークフロー管理情報は、プロセスごとの、未実行、実行中、正常終了、異常終了の4種類の状態のいずれの状態であるかを示す情報を含む。状態遷移については後述する。
The
UI画像生成部506は、ワークフロー管理部505から取得したワークフロー管理情報に基づいてUI画像を生成し、表示部507へ出力する。
The UI
表示部507は、UI画像生成部506から出力された表示イメージを、不図示のフレームバッファに上書きする。そして、表示部507は、フレームバッファに格納した表示イメージを所定のリフレッシュレートで読み出して、表示装置420に表示させる。
The
異常検出部508は、通信部504から機器情報を取得し、動作が異常な機器がないかを監視する。異常検出部508は、機器の異常発生を検出すると、ワークフロー管理部505へ異常通知を出力する。
The
(システムの設置・運用時の処理の流れの例)
続いて、情報処理装置160が実行する処理の流れの例について説明する。本処理では、情報処理装置160は、仮想視点画像を生成するために多数の撮像装置が設置されてから撮像が開始されるまでの手順をユーザがもれなく実行することを支援するためのUI画面を表示する。
(Example of process flow during system installation and operation)
Next, a description will be given of an example of a flow of a process executed by the
図8に、本処理の流れの例を示す。本処理は、例えばCPU402がHDD405に記憶されているプログラムを実行することによって実現されうる。なお、以下では、図5の機能構成を用いて処理の流れについて説明する。
Figure 8 shows an example of the flow of this process. This process can be realized, for example, by
本処理では、ワークフロー管理部505は、まず、データ記録部501からワークフロー定義情報を読み込み(S801)、ワークフロー管理情報を生成する。ワークフロー管理部505は、例えば、ワークフロー定義情報の中からカテゴリとプロセスの情報を抽出し、各プロセスの状態を「未実行」に設定して管理する。その後、ワークフロー管理部505は、作成したワークフロー管理情報をUI画像生成部506へ出力し、UI画像生成部506は、ワークフロー管理情報に基づいてワークフローUIを生成して表示する(S802)。なお、ワークフロー定義情報は、ユーザ操作によって手動入力されてもよい。また、複数のシステムに対応するワークフロー管理情報が事前に定義されてデータ記録部501に記録され、ワークフロー管理部505は、その複数のシステムの中からユーザによって選択されたシステムに対応するワークフロー定義情報を読み出してもよい。また、ワークフロー管理部505は、例えば所定のアプリケーションが起動されたことに応じて、そのアプリケーションに対応するワークフロー管理情報をデータ記録部501から読み出してもよい。また、情報処理装置160が所定のシステム専用である場合、ワークフロー管理部505は、情報処理装置160が起動したことによって、一切のユーザ操作を受け付けることなく、所定のワークフロー管理情報をデータ記録部501から読み出してもよい。
In this process, the
図9は、図6のワークフロー定義情報に基づいて、ワークフロー管理情報が生成された時点のワークフローUI表示の一例である。このワークフローUIはS802において初期表示される。図9の表示のうち、上段にはワークフローに含まれるカテゴリの情報が一覧表示されている。また、下段にはワークフローに含まれるプロセスの情報が一覧表示されており、これらのプロセスの情報は、そのプロセスが属するカテゴリの下部に表示されている。カテゴリの情報とプロセスの情報との間には、カテゴリの進捗状態を表示するステータスバー901が配置され、プロセスの情報の下部にはそのプロセスの進捗状態を表示するステータスバー902が配置される。これらのステータスバーによって、未実行/実行中/正常終了/異常終了の4状態が表現される。なお、ワークフローUIは、例えば初期表示においては、カテゴリのみ表示され、カテゴリが選択されたことに応じて、そのカテゴリに属するプロセスが表示されるようにしてもよい。すなわち、例えば、ユーザは、実行中のまま正常終了に移行しないカテゴリなどについては選択して状況を把握し、正常終了したカテゴリについては詳細を知る必要がない場合がある。このような場合に、表示を簡素化して、ユーザが状態を大まかに把握することを容易にすることができる。また、進捗状態の表示においては、図9のように、カテゴリやプロセスの名称を示す領域とは別個にステータスバー等の進捗状況を示す領域が用意されてもよいが、これに限られない。例えばカテゴリやプロセスを示す文字/枠の色/大きさの変更や点滅表示などが利用されてもよく、ユーザが状態を判断可能な表示が行われる限りにおいて、ステータスバー表示が用いられなくてもよい。
9 is an example of a workflow UI display at the time when workflow management information is generated based on the workflow definition information of FIG. 6. This workflow UI is initially displayed in S802. In the display of FIG. 9, the upper part displays a list of category information included in the workflow. In the lower part, information on processes included in the workflow is displayed in a list, and the information on these processes is displayed below the category to which the process belongs. Between the category information and the process information, a
図8に戻り、ワークフロー管理部505は、制御部503から要求情報が届くのを待ち受ける(S803)。ここでは、一例として、図7に示すワークフロー管理情報の例に基づいて、機器接続のレンズプロセスまで正常終了している進捗状況である場合について説明する。ワークフロー管理部505は、制御部503から要求情報を取得すると(S803でYES)、その時点で完了しているべきプロセスのうち「正常終了」以外(「未実行」、「実行中」、「異常終了」)のプロセスが存在するかを確認する(S804)。そして、ワークフロー管理部505は、正常終了状態でないプロセスが存在すると判定した場合(S804でYES)、警告UIを表示して(S805)、要求待ち状態(S803)へと遷移する。例えば、ワークフロー管理部505は、制御部503から同期設定の要求情報を取得した場合、ワークフロー管理情報によって現在の進捗を確認する。そして、ワークフロー管理部505は、雲台プロセスが「未実行」であることを検出すると、正常終了以外のプロセスが存在すると判定し、警告UIを表示するようにUI画像生成部506へ要求する。
Returning to FIG. 8, the
図10に、警告UI表示の一例を示す。情報処理装置160の操作者は、この警告UIを視認することにより、未完了のプロセスが存在することを認知することができる。これにより、作業者が、ワークフローの手順を漏れなく実行することが可能となる。なお、警告UIの表示内容は、未完了のプロセスがあることをユーザが認知できるものであれば、図10の内容に限定されない。また、この通知は、音声ガイダンスやビープ音といった音によって行われてもよく、UI表示によって行われる必要はない。
Figure 10 shows an example of a warning UI display. By visually checking this warning UI, the operator of the
一方、ワークフロー管理部505は、それまでに完了しているべきプロセスの全てが正常終了している場合(S804でNO)、要求情報に対応するプロセスの状態を実行中の状態へと変更する。そして、ワークフロー管理部505は、このプロセスについて実行中であることを表示するようにUI画像生成部506へ要求する(S806)。その後、ワークフロー管理部505は、制御部503から要求応答情報を受信するのを待ち受ける(S807)。ワークフロー管理部505は、要求応答情報を受信すると(S807でYES)、その要求応答情報に基づいて、S803の要求が正常終了したか否かを判定する(S808)。ワークフロー管理部505は、要求が正常終了したと判定した場合(S808でYES)、その要求に対応するプロセスの状態の情報を正常終了状態へと変更する。そして、ワークフロー管理部505は、そのプロセスについて「正常終了」したことを表示するようにUI画像生成部506へ要求する(S809)。一方、ワークフロー管理部505は、S803の要求が異常終了したと判定した場合(S808でNO)、その要求に対応するプロセスの状態の情報を異常終了状態へと変更する。この場合、ワークフロー管理部505は、そのプロセスが「異常終了」したことを表示するようにUI画像生成部506へ要求する(S810)。その後、ワークフロー管理部505は、カテゴリの表示を変更すべきか否かを判定する(S811)。そして、ワークフロー管理部505は、表示を変更すべきと判定した場合(S811でYES)は、要求に対応するカテゴリについて正常終了したことを表示するようにUI画像生成部506へ要求する(S812)。一方、ワークフロー管理部505は、カテゴリの表示を変更すべきでないと判定した場合(S811でNO)は、要求情報の待受け状態へと戻る。
On the other hand, if all of the processes that should have been completed by then have ended normally (NO in S804), the
図11(A)~図11(D)に、ワークフローUI表示の一例を示す。なお、図11(A)~図11(D)には、説明を簡単にするために、機器接続カテゴリのUI表示の例のみが図解されている。図11(A)は、レンズプロセスまで正常終了しており、雲台プロセスが未実行の進捗状況を示している。進捗状態が未実行の場合、ステータスバーは白色で表示される。図11(B)は、制御部503から雲台接続確認要求が取得された後に、雲台プロセスが実行中の進捗状況へと遷移した際の表示例である。進捗状態が実行中の場合、ステータスバーは、例えば第1の所定色(例えば灰色)の明滅表示となる。次に、図11(C)は、制御部503から取得された要求応答情報によってプロセスが異常終了したことが示されたことに応じて、雲台プロセスの進捗状況が異常終了へと遷移した場合の表示例を示している。進捗状態が異常終了となった場合、ステータスバーは、例えば第2の所定色(例えば赤色)で表示される。この表示により、情報処理装置160の操作者は、雲台接続ができなかったことを認識することができ、画像処理装置304と雲台303との間のケーブルが接続されているか、雲台の電源が入っているか等の対応をとることができる。図11(D)は、制御部503から取得された要求応答情報によってプロセスが正常終了したこと示されたことに応じて、雲台プロセスの進捗状況が正常終了へと遷移した場合の表示例を示している。進捗状態が正常終了となった場合、ステータスバーはカメラ等の正常終了状態となったプロセスのステータスバーと同色で表示される。また、カテゴリに属する全プロセスが正常終了状態であることをワークフロー管理部505が確認すると、UI画像生成部506は、正常終了状態を示すようにカテゴリのステータスバーの状態を変更しうる。なお、ステータスバーの表示については、上述のものに限定されず、バー(進捗状況を示すアイコン・領域)の色やサイズ、模様、アニメーションの少なくともいずれか等の任意の態様によって、進捗状況を区別可能に表示してもよい。
11(A) to 11(D) show an example of a workflow UI display. For the sake of simplicity, only an example of the UI display of the device connection category is illustrated in FIG. 11(A) to 11(D). FIG. 11(A) shows a progress status in which the lens process has been normally completed and the head process has not been executed. When the progress status is not executed, the status bar is displayed in white. FIG. 11(B) shows an example of a display when the head process transitions to a progress status in execution after a head connection confirmation request is acquired from the
情報処理装置160の操作者は、ワークフローUIの進捗状況を見て適切なプロセスを確認し、操作ユニット410を操作することにより、プロセスに対応する要求を実行しうる。一例において、操作ユニット410のキーボードの各キーに対してそれぞれ別個のプロセスが対応付けられ、ユーザは、選択対象のプロセスに対応するキーを押下することによって、そのプロセスに対応する要求を実行することができる。なお、この要求の実行は、キーボードのキー入力に限定されず、例えばワークフローUIの各プロセスの表示部分がボタンとなっており、ユーザがマウス操作によりそのボタンを押下することにより、そのプロセスの要求が実行されるようにしてもよい。また、情報処理装置160は、音声認識機能を有し、操作者の声による音声入力により、この要求を実行してもよい。これ以外にも、要求の実行の指示を受付可能な任意の方法が用いられてもよい。
The operator of the
なお、プロセスの進捗状況を、ユーザ入力によって任意に変更可能としてもよい。例えば、上述の説明では、露出調整を情報処理装置160が実行するワークフローとなっているが、カメラ301において直接設定されてもよく、この場合には、情報処理装置160からの設定が行われる必要がない。このとき、ユーザ入力によって露出調整のプロセスの進捗状況を全て正常終了へ遷移させることにより、露出調整処理をスキップすることができる。
The progress of the process may be arbitrarily changed by user input. For example, in the above description, the exposure adjustment is performed by the
以上のように、上述の処理では、情報処理装置160は、ワークフローUIによってプロセスの順序を表示すると共に、その進捗表示を容易に判別することができるように表示することで、ユーザによるシステムの設置・運用を効率的に支援することができる。ユーザは、このワークフローUIにより、次に実行すべき処理を容易に把握し、誤った操作を行うこと又は次に実行すべき処理の誤認が発生することを防ぐことができる。このため、ユーザは、表示されたプロセス順に沿ってプロセスに対応する要求を実行していくことにより、設置から撮像に向けた複雑な手順を、迷わずに、かつ、漏れなく実行することができ、システムを確実に稼働させることができるようになる。
As described above, in the above-mentioned process, the
(異常発生時の処理の流れの例)
次に、設置から撮像に向けて処理する最中に異常が発生した場合に、復旧に必要な処理を簡単に漏れなく実行するためのUIを表示する例を説明する。
(Example of processing flow when an abnormality occurs)
Next, an example will be described in which a UI is displayed for easily and completely executing the processes required for recovery when an abnormality occurs during the process from installation to image capture.
本処理のために、データ記録部501が記憶するワークフロー定義情報には、上述の情報に加えて、異常が影響を与えるプロセスに対して定義される以上内容の情報が含まれる。図12に、この場合のワークフロー定義情報の例を示す。本例では、図6と同様に14個のプロセスと5個のカテゴリが示されており、図6の情報に加えて、プロセスごとに、異常発生時に再度実行すべき処理を定義する異常情報を含んでいる。まず、各異常情報の詳細について説明する。
For this process, the workflow definition information stored in the
カメラ切断、レンズ切断、雲台切断は、撮像装置101-x内の画像処理装置304と各機器との接続が切断されたことを指す。これらの異常のことを以下では「切断異常」と総称する。切断異常は、機器接続カテゴリのプロセスに影響を及ぼすが、他のプロセスには影響を与えないため、機器接続カテゴリ内の各プロセスに対してのみ定義される。同期異常は、撮像装置101-x内の画像処理装置304から送出された同期信号がカメラ301へ届かないことや、同期信号の情報が誤っている状態であることを指す。同期異常は、同期プロセスに影響を及ぼすが、他のプロセスには影響を与えないため、同期カテゴリに対してのみ定義される。
A camera disconnection, lens disconnection, or tripod head disconnection refers to a disconnection between the
カメラ移動、ズームレンズ移動、フォーカスレンズ移動、機体振動は、総じて画角ずれ異常である。仮想視点画像を生成するためには、複数の撮像装置101-xが同じ空間領域を撮像する必要がある。このため、事前に複数の撮像装置101-xのそれぞれの位置やカメラ向き、焦点距離を、予め計算によって決定しておく必要がある。すなわち、画角調整は、撮像装置101-xを事前に求めた設置状態へ設定することを指し、一度設置した状態から設置状態がずれた場合は異常として検出される。カメラ移動は、例えば人の手によりカメラ301の姿勢が調整されることや、ボールなどの物体がカメラ301や雲台303に衝突したこと等の外力によりカメラ301が動いてしまったことを指す。ズームレンズ移動は、ズームレンズが移動することにより、焦点距離が変わり撮像範囲が変化したことを指す。フォーカスレンズ移動は、フォーカスレンズが移動することによりピントがずれたことを指す。機体振動は、雲台303の設置治具の取り付け不良や、雲台303とカメラ301と間の設置治具の取り付け不良により、カメラ301が微小に動いてしまっていることを指す。これらの画角ずれ異常は、画角調整カテゴリとキャリブレーションカテゴリの各プロセスに影響を及ぼすため、これらのカテゴリの両方に対して定義される。
Camera movement, zoom lens movement, focus lens movement, and aircraft vibration are generally abnormalities in the angle of view. In order to generate a virtual viewpoint image, it is necessary for multiple imaging devices 101-x to capture the same spatial area. For this reason, it is necessary to determine the positions, camera orientations, and focal lengths of the multiple imaging devices 101-x in advance by calculation. In other words, the angle of view adjustment refers to setting the imaging device 101-x to a previously determined installation state, and if the installation state deviates from the state once installed, it is detected as an abnormality. Camera movement refers to the movement of the
ISO値変動、アイリス値変動、シャッター値変動、NDフィルタ値変動、外光変化は、総じて露出異常である。仮想視点画像は、複数の撮像画像が合成されることにより作成されるため、露出の異なるカメラ301があると、仮想視点画像の品位が低下する。ISO値変動、アイリス値変動、シャッター値変動、NDフィルタ値変動は、少なくとも一部のカメラ301の設定値が他のカメラ301の設定値と異なっている状態であることを指す。外光変化は、会場の屋根の開閉や雲の移動による日照変化により周囲環境の明るさが変化することを指す。露出異常は、アイリス値変動以外は、露出調整プロセスにのみ影響を及ぼすため、露出調整プロセスに対してのみ定義される。一方、アイリス値変動は、被写界深度に影響を与えるためキャリブレーションプロセスに影響を及ぼすため、これらのカテゴリの両方に対して定義される。
ISO value fluctuation, iris value fluctuation, shutter value fluctuation, ND filter value fluctuation, and external light change are generally exposure anomalies. Because a virtual viewpoint image is created by combining multiple captured images, if there are
異常情報の定義内容は、異常検出部508の異常検出処理にも適用される。すなわち、異常検出部508は、撮像装置101-xにおける画像処理装置304と各機器との接続状態を監視しており、これらの切断を検出すると、切断異常の異常通知をワークフロー管理部505へ出力する。また、異常検出部508は、撮像装置101-x内で画像処理装置304からカメラ301へ出力する同期信号の状態を監視し、同期信号が正常でない状態を検出した場合に同期異常の異常通知をワークフロー管理部505へ出力する。また、異常検出部508は、撮像装置101-xのカメラ301に搭載されているジャイロセンサの値を取得し、カメラ301の姿勢変化を監視する。異常検出部508は、姿勢変化を検出した場合に、カメラ移動の異常通知をワークフロー管理部505へ出力する。また、異常検出部508は、撮像装置101-xのカメラ301の露出設定値を取得し、例えばISO値の変化を検出した場合に、ISO値変動の異常通知をワークフロー管理部505へ出力する。なお、異常の特定が可能な限りにおいて、上述の方法と異なる異常検出方法が用いられてもよい。また、異常情報の定義は任意に設定可能であり、上述の例に限定されない。
The definition of the abnormality information is also applied to the abnormality detection process of the
例えば上述のように異常が影響を及ぼすプロセスが定義され、異常が発生した場合にその異常に応じて定義されたプロセスが再度実行されることにより、異常状態から正常状態への復旧が可能となる。このため、情報処理装置160は、異常が検出された場合に、その異常に対応するカテゴリやプロセスの処理をユーザに通知して、そのプロセスに関する処理を実行するように促すためのUIを生成して表示するための処理を実行する。
For example, as described above, processes that are affected by an abnormality are defined, and when an abnormality occurs, the process defined in response to the abnormality is executed again, making it possible to recover from an abnormal state to a normal state. Therefore, when an abnormality is detected, the
図13は、このような処理のために、ワークフロー管理部505が異常発生通知を取得した際に実行する処理の流れの例を示している。ワークフロー管理部505は、例えば図8の処理と並行して又はシステムによってサービスを提供している間に、異常検出部508から異常通知が受信されたか否かの監視を行う(S1301)。ワークフロー管理部505は、異常通知を取得した場合(S1301でYES)、ワークフロー定義情報に記述されている異常情報を確認し、取得した異常が影響を与えるプロセスを確認する(S1302)。その後、ワークフロー管理部505は、取得した異常が影響を与えるプロセスについて、その進捗状態を「未実行」に変更する(S1303)。なお、更新されたワークフロー管理情報は、UI画像生成部506へ送信される。UI画像生成部506は、ワークフロー管理部505から取得したワークフロー管理情報に基づいてUI画像を生成し、表示部507は、そのUI画像を取得して表示装置420に表示させる。なお、異常通知が異常検出部508から取得する例を記載したが、制御部503から取得した制御内容に応じて、ワークフロー管理部505が異常を検出してもよい。
Figure 13 shows an example of the flow of processing executed when the
図14(A)及び図14(B)は、異常発生時のワークフローUI表示の例である。図14(A)の画面によって、キャリブレーションカテゴリ内の計算プロセスまで正常終了しており、設定プロセスを実行することにより、全ての処理が完了する状態であることが表示されている。この状況で、作業者がカメラにぶつかってしまうなどの要因によって、カメラ移動の異常が発生したとする。この場合、カメラ移動の異常が影響を及ぼすプロセスは、画角調整カテゴリとキャリブレーションカテゴリに属するプロセスである。このため、ワークフロー管理部505は、これらの影響を及ぼすプロセスの進捗状態を「未完了」に変更して、UI表示を更新させる。図14(B)は、この更新後のUI表示の例である。これにより、情報処理装置160の操作者は、画角調整カテゴリのプロセスとキャリブレーションカテゴリの完了していたプロセスが未完了となったことを認識することができる。そして、情報処理装置160の操作者が、これらの未完了のプロセスに応じた要求を再度実行するようにすることで、異常な状態から復旧するために必要な処理を簡単に漏れなく実行することができる。
14(A) and 14(B) are examples of workflow UI display when an abnormality occurs. The screen in FIG. 14(A) displays that the calculation process in the calibration category has been completed normally, and that all processing will be completed by executing the setting process. In this situation, assume that an abnormality in camera movement occurs due to a factor such as an operator bumping into the camera. In this case, the processes affected by the abnormality in camera movement are processes belonging to the angle of view adjustment category and the calibration category. Therefore, the
なお、本例では、発生した異常から復旧するために必要な処理がワークフロー定義情報に予め定義され、異常が発生した場合に、その異常に対応する処理の状態が未完了状態に変更されるが、これに限られない。例えば、異常から復旧するために必要な処理の選択が、AI(Artificial Intelligence)機械学習を用いて実行されてもよい。AIを用いることにより、学習の回数が増えるにつれて、復旧処理の確度が向上し、システムのロバスト性能を徐々に向上させることができる。また、復旧に必要な処理を特定可能な方法であれば、これらの方法と異なる方法が用いられてもよい。 In this example, the processing required to recover from an abnormality that has occurred is defined in advance in the workflow definition information, and when an abnormality occurs, the state of the processing corresponding to the abnormality is changed to an incomplete state, but this is not limited to this. For example, the selection of the processing required to recover from an abnormality may be performed using AI (Artificial Intelligence) machine learning. By using AI, the accuracy of the recovery processing improves as the number of learning times increases, and the robust performance of the system can be gradually improved. Also, a method other than these methods may be used as long as it is possible to identify the processing required for recovery.
上述の処理は、多数の機器を有するシステムにおいて有効であり、その多数の機器と通信可能に構成された情報処理装置が、上述のようにして、そのシステムを稼働させるための作業に関するワークフローの情報をUI表示させることができる。そして、情報処理装置は、多数の機器のうち、ワークフロー内の各プロセスに関与する機器と通信し、その機器が、システムの機能を果たすことができるような状態となっているかを確認し、その状態をUI表示において表示する。これにより、多数の機器を有するシステムにおける作業の順序を容易に把握し、設置及び運用を誤りなく進めることができる。 The above-mentioned process is effective in a system having a large number of devices, and an information processing device configured to be able to communicate with the large number of devices can display workflow information related to the work required to operate the system on a UI as described above. The information processing device then communicates with those devices involved in each process in the workflow, among the large number of devices, to check whether the devices are in a state in which they can perform the functions of the system, and displays that state on the UI display. This makes it easy to understand the order of work in a system having a large number of devices, and allows installation and operation to proceed without error.
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Other Embodiments
The present invention can also be realized by a process in which a program for implementing one or more of the functions of the above-described embodiments is supplied to a system or device via a network or a storage medium, and one or more processors in a computer of the system or device read and execute the program. The present invention can also be realized by a circuit (e.g., ASIC) that implements one or more of the functions.
100:撮像装置群、301:カメラ、302:レンズ、303:雲台、304:画像処理装置、160:情報表示装置、402:CPU、403:ROM、404:RAM、405:HDD、406:操作部I/F、407:表示部I/F、408:通信部、410:操作ユニット、420:表示装置、501:データ記録部、502:ユーザ入力部、503:制御部、504:通信部、505:ワークフロー管理部、506:UI画像生成部、507:表示部、508:異常検出部 100: imaging device group, 301: camera, 302: lens, 303: camera platform, 304: image processing device, 160: information display device, 402: CPU, 403: ROM, 404: RAM, 405: HDD, 406: operation unit I/F, 407: display unit I/F, 408: communication unit, 410: operation unit, 420: display device, 501: data recording unit, 502: user input unit, 503: control unit, 504: communication unit, 505: workflow management unit, 506: UI image generation unit, 507: display unit, 508: anomaly detection unit
Claims (17)
前記ワークフローに含まれる前記複数のプロセスと、当該複数のプロセスのそれぞれの進捗状況を示す情報と、を含む画面を、表示装置に表示させる表示制御手段と、
を有することを特徴とする情報処理装置。 an acquisition means for acquiring information indicating the status of a plurality of devices with respect to a progress status of a plurality of processes included in a workflow relating to a task in a system configured to include a plurality of devices, the task being executed from installation of the plurality of devices until before imaging of a subject for which three-dimensional shape data is to be generated is started;
a display control means for causing a display device to display a screen including the plurality of processes included in the workflow and information indicating a progress status of each of the plurality of processes ;
13. An information processing device comprising:
前記取得手段は、前記ユーザ操作に対応する前記プロセスについて前記複数の機器の状態を示す情報を取得する、
ことを特徴とする請求項1に記載の情報処理装置。 The method further comprises: receiving a user operation related to the process to be executed;
the acquiring means acquires information indicating states of the plurality of devices for the process corresponding to the user operation.
2. The information processing apparatus according to claim 1,
ことを特徴とする請求項2に記載の情報処理装置。 the display control means causes the display device to display a warning when the process corresponding to the user operation is not normally completed, the process being expected to be completed at the time of executing the process.
3. The information processing apparatus according to claim 2.
ことを特徴とする請求項1から3のいずれか1項に記載の情報処理装置。 the screen includes information indicating a category including one or more of the processes and a progress status of the category;
4. The information processing apparatus according to claim 1, wherein the information processing apparatus is a computer.
前記プロセスは、前記複数の撮像装置の接続、前記複数の撮像装置の同期、前記複数の撮像装置が撮像する画像の画角の調整、前記複数の撮像装置が撮像する画像の露出の調整、撮像装置のキャリブレーションの少なくともいずれかに関する、
ことを特徴とする請求項1から4のいずれか1項に記載の情報処理装置。 the plurality of devices includes a plurality of imaging devices;
The process relates to at least one of connection of the plurality of imaging devices, synchronization of the plurality of imaging devices, adjustment of the angle of view of the images captured by the plurality of imaging devices, adjustment of the exposure of the images captured by the plurality of imaging devices, and calibration of the imaging devices.
5. The information processing apparatus according to claim 1, wherein the information processing apparatus is a computer.
ことを特徴とする請求項1から5のいずれか1項に記載の情報処理装置。 the display control means causes the display device to display at least one of "not executed,""beingexecuted,""normallycompleted," and "abnormally completed" as the progress status of each of the plurality of processes;
6. The information processing apparatus according to claim 1,
ことを特徴とする請求項1から6のいずれか1項に記載の情報処理装置。 the display control means causes the display device to display the screen in which an area showing the progress status is prepared separately from information about the process;
7. The information processing apparatus according to claim 1,
ことを特徴とする請求項1から7のいずれか1項に記載の情報処理装置。 the display control means displays the progress status in a distinguishable manner by at least one of a color, a size, a pattern, and an animation of an area in which the progress status is displayed;
8. The information processing apparatus according to claim 1,
前記表示制御手段は、前記画面において、前記異常により影響を受ける前記プロセスが完了した後に前記通知を取得した場合、当該プロセスの前記進捗状況を示す情報を、当該プロセスが完了した状態を示す情報から当該プロセスが完了していない状態を示す情報に変更する、
ことを特徴とする請求項1から8のいずれか1項に記載の情報処理装置。 The acquisition means acquires a notification that an abnormality has occurred for each of the plurality of devices,
when the display control means receives the notification after the process affected by the abnormality is completed, the display control means changes the information indicating the progress of the process on the screen from information indicating that the process is completed to information indicating that the process is not completed.
9. The information processing apparatus according to claim 1,
ことを特徴とする請求項1から9のいずれか1項に記載の情報処理装置。 The method further includes: receiving a user operation for changing the progress status.
10. The information processing apparatus according to claim 1,
ことを特徴とする請求項1から10のいずれか1項に記載の情報処理装置。 The system is a system for generating a virtual viewpoint image.
11. The information processing apparatus according to claim 1,
ことを特徴とする請求項1から11のいずれか1項に記載の情報処理装置。 The system is a system for generating three-dimensional shape data of a subject .
12. The information processing apparatus according to claim 1,
複数の機器を含んで構成されるシステムにおける作業であって前記複数の機器の設置から三次元形状データの生成対象である被写体の撮像が開始される前までの間に実行される作業に関するワークフローに含まれる複数のプロセスの進捗状況について前記複数の機器の状態を示す情報を取得する取得工程と、
前記ワークフローに含まれる前記複数のプロセスと、当該複数のプロセスのそれぞれの進捗状況を示す情報と、を含む画面を、表示装置に表示させる表示制御工程と、
を有することを特徴とする方法。 A method executed by an information processing device, comprising:
an acquisition step of acquiring information indicating the status of a plurality of devices with respect to a progress status of a plurality of processes included in a workflow relating to a task in a system configured to include a plurality of devices and executed from installation of the plurality of devices until start of imaging of a subject for which three-dimensional shape data is to be generated;
a display control step of displaying, on a display device, a screen including the plurality of processes included in the workflow and information indicating a progress status of each of the plurality of processes;
The method according to claim 1, further comprising:
前記取得工程において、前記ユーザ操作に対応する前記プロセスについて前記複数の機器の状態を示す情報を取得する、
ことを特徴とする請求項13に記載の方法。 The method further includes the step of accepting a user operation related to the process to be executed,
In the acquiring step, information indicating states of the plurality of devices is acquired for the process corresponding to the user operation.
14. The method of claim 13.
ことを特徴とする請求項14に記載の方法。 In the display control step, when the process corresponding to the user operation is not normally completed, the process is displayed on the display device.
15. The method of claim 14.
ことを特徴とする請求項13から15のいずれか1項に記載の方法。 the screen includes information indicating a category including one or more of the processes and a progress status of the category;
16. The method according to any one of claims 13 to 15.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023018557A JP7462085B2 (en) | 2018-08-31 | 2023-02-09 | Information processing device, method, and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018163623A JP7227717B2 (en) | 2018-08-31 | 2018-08-31 | Information processing device, method, and program |
JP2023018557A JP7462085B2 (en) | 2018-08-31 | 2023-02-09 | Information processing device, method, and program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018163623A Division JP7227717B2 (en) | 2018-08-31 | 2018-08-31 | Information processing device, method, and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2023054061A JP2023054061A (en) | 2023-04-13 |
JP2023054061A5 JP2023054061A5 (en) | 2023-07-06 |
JP7462085B2 true JP7462085B2 (en) | 2024-04-04 |
Family
ID=69668777
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018163623A Active JP7227717B2 (en) | 2018-08-31 | 2018-08-31 | Information processing device, method, and program |
JP2023018557A Active JP7462085B2 (en) | 2018-08-31 | 2023-02-09 | Information processing device, method, and program |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018163623A Active JP7227717B2 (en) | 2018-08-31 | 2018-08-31 | Information processing device, method, and program |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7227717B2 (en) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006054503A (en) | 2004-08-09 | 2006-02-23 | Olympus Corp | Image generation method and apparatus |
JP2008276704A (en) | 2007-05-07 | 2008-11-13 | Canon Inc | Workflow management server and method |
JP2009181482A (en) | 2008-01-31 | 2009-08-13 | Fuji Television Network Inc | Image processing system and image processing method |
WO2011132552A1 (en) | 2010-04-22 | 2011-10-27 | コニカミノルタホールディングス株式会社 | Information processing device, program, information processing method, and information processing system |
WO2014013551A1 (en) | 2012-07-17 | 2014-01-23 | 株式会社クレオネットワークス | Workflow management device and workflow management method |
JP2016129430A (en) | 2016-03-29 | 2016-07-14 | 株式会社ニコン | Imaging apparatus, system, electronic apparatus, and program |
WO2016125366A1 (en) | 2015-02-05 | 2016-08-11 | 株式会社リコー | Image processing device, image processing system, and image processing method |
JP2017068763A (en) | 2015-10-01 | 2017-04-06 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing device and method for acquiring position information |
JP2017096725A (en) | 2015-11-20 | 2017-06-01 | キヤノン株式会社 | Information processor and information processing method |
WO2018070121A1 (en) | 2016-10-11 | 2018-04-19 | キヤノン株式会社 | Image processing system, image processing device, and control method |
JP2017211827A5 (en) | 2016-05-25 | 2019-06-27 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6808357B2 (en) | 2016-05-25 | 2021-01-06 | キヤノン株式会社 | Information processing device, control method, and program |
JP6833348B2 (en) | 2016-05-25 | 2021-02-24 | キヤノン株式会社 | Information processing device, image processing system, information processing device control method, virtual viewpoint image generation method, and program |
-
2018
- 2018-08-31 JP JP2018163623A patent/JP7227717B2/en active Active
-
2023
- 2023-02-09 JP JP2023018557A patent/JP7462085B2/en active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006054503A (en) | 2004-08-09 | 2006-02-23 | Olympus Corp | Image generation method and apparatus |
JP2008276704A (en) | 2007-05-07 | 2008-11-13 | Canon Inc | Workflow management server and method |
JP2009181482A (en) | 2008-01-31 | 2009-08-13 | Fuji Television Network Inc | Image processing system and image processing method |
WO2011132552A1 (en) | 2010-04-22 | 2011-10-27 | コニカミノルタホールディングス株式会社 | Information processing device, program, information processing method, and information processing system |
WO2014013551A1 (en) | 2012-07-17 | 2014-01-23 | 株式会社クレオネットワークス | Workflow management device and workflow management method |
WO2016125366A1 (en) | 2015-02-05 | 2016-08-11 | 株式会社リコー | Image processing device, image processing system, and image processing method |
JP2017068763A (en) | 2015-10-01 | 2017-04-06 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing device and method for acquiring position information |
JP2017096725A (en) | 2015-11-20 | 2017-06-01 | キヤノン株式会社 | Information processor and information processing method |
JP2016129430A (en) | 2016-03-29 | 2016-07-14 | 株式会社ニコン | Imaging apparatus, system, electronic apparatus, and program |
JP2017211827A5 (en) | 2016-05-25 | 2019-06-27 | ||
JP2017212593A5 (en) | 2016-05-25 | 2019-06-27 | INFORMATION PROCESSING APPARATUS, IMAGE PROCESSING SYSTEM, CONTROL METHOD OF INFORMATION PROCESSING APPARATUS, GENERATION METHOD OF VIRTUAL VIEWPOINT IMAGE, AND PROGRAM | |
WO2018070121A1 (en) | 2016-10-11 | 2018-04-19 | キヤノン株式会社 | Image processing system, image processing device, and control method |
Also Published As
Publication number | Publication date |
---|---|
JP2020036295A (en) | 2020-03-05 |
JP2023054061A (en) | 2023-04-13 |
JP7227717B2 (en) | 2023-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11627256B2 (en) | Information processing apparatus, method, and non-transitory computer-readable storage medium | |
JP7182865B2 (en) | Display control device, display control method, and program | |
CN110546948B (en) | Display control apparatus, display control method, and storage medium | |
JP6786378B2 (en) | Information processing equipment, information processing methods and programs | |
KR100268614B1 (en) | Video remote communication system | |
CN106454065B (en) | Information processing apparatus and control method thereof | |
CN108700912B (en) | Method and system for operating a device through augmented reality | |
US20180241967A1 (en) | Remote work assistance device, instruction terminal and onsite terminal | |
JP6381265B2 (en) | Information processing apparatus, display method, and program | |
US20220070365A1 (en) | Mixed reality image capture and smart inspection | |
JP2014222825A (en) | Video processing apparatus and video processing method | |
JP2019079144A (en) | Work support system, imaging device, wearable device, and work support method | |
CN115213890B (en) | Grabbing control method, grabbing control device, grabbing control server, electronic equipment and storage medium | |
JP7462085B2 (en) | Information processing device, method, and program | |
CN111553972B (en) | Method, apparatus, device and storage medium for rendering augmented reality data | |
US11528462B2 (en) | Display control apparatus, method for controlling display control apparatus, and storage medium | |
CN105100591B (en) | The system and method for the accurate long-range PTZ control of IP video camera | |
WO2021134575A1 (en) | Display control method and device | |
JP2015198408A (en) | Information processing device, information processing method, and program | |
CN109120886A (en) | A kind of complete picture fusion method, device and system | |
CN111565296B (en) | Memory, video monitoring system control method, system and equipment | |
JP7129283B2 (en) | Processing device, control method, and program | |
JP7121253B2 (en) | Information processing system, control method thereof, mobile terminal, mobile terminal control method, and program | |
JP2024033364A (en) | Worker assisting system | |
JP2021141533A (en) | Posture adjustment system and attitude adjustment method, image processing device and control method thereof, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230306 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230628 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240325 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7462085 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |