JP7224872B2 - システム及び情報処理方法 - Google Patents
システム及び情報処理方法 Download PDFInfo
- Publication number
- JP7224872B2 JP7224872B2 JP2018221305A JP2018221305A JP7224872B2 JP 7224872 B2 JP7224872 B2 JP 7224872B2 JP 2018221305 A JP2018221305 A JP 2018221305A JP 2018221305 A JP2018221305 A JP 2018221305A JP 7224872 B2 JP7224872 B2 JP 7224872B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- calibration
- information
- storage device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Generation (AREA)
Description
従来、オペレータが、仮想視点画像の生成に用いられる画像とカメラパラメータとの対応関係を管理し、どのようなカメラパラメータを用いるかを入力していた。
画像とその画像に対応する情報との管理を支援する技術には、特許文献1がある。特許文献1には、画像とその画像に対応する撮影場所の情報とを管理する技術が開示されている。
本発明では、適切に仮想視点画像を生成することを目的とする。
本実施形態では、生成システムは、仮想視点画像を生成するシステムである。
図1は、生成システムのシステム構成の一例を示す図である。生成システムは、録画制御装置100、録画装置210~260、カメラ310~360、キャリブレーション装置400、格納装置410、生成装置500を含む。
録画制御装置100と録画装置210~260それぞれとは、デイジーチェーン型のネットワークを介して、互いに通信可能に接続されている。このため、録画制御装置100には、録画装置210~260で録画された画像が伝送される。なお、録画制御装置100と録画装置210~260それぞれとは、スター型のネットワーク等の他のネットワークを介して、互いに通信可能に接続されることとしてもよい。
また、伝送される画像は、撮影画像であってもよいし、録画装置210~260内で処理された画像であってもよい。例えば、処理された画像は、オブジェクトを示す前景画像であってもよいし、オブジェクトとは異なる背景画像であってもよいし、それ以外の画像であってもよい。
また、録画制御装置100とキャリブレーション装置400、生成装置500それぞれとは、互いに通信可能に接続されている。また、格納装置410とキャリブレーション装置400、生成装置500それぞれとは、互いに通信可能に接続されている。また、録画装置210~260それぞれは、カメラ310~360それぞれと接続されている。
本実施形態では、生成システムは、6台のカメラ310~360と、各カメラに対応する6台の録画装置210~260と、を含むこととする。ただし、生成システムは、7台以上のカメラと、各カメラに対応する7台以上の録画装置と、を含むこととしてもよい。また、生成システムは、5台以下のカメラと、各カメラに対応する5台以下の録画装置と、を含むこととしてもよい。つまり、カメラの台数や録画装置の台数は、6台に限られない。また、カメラの台数と録画装置の台数は、同じでなくてもよい。
録画装置210~260それぞれは、カメラに取り付け可能な情報処理装置である。録画装置210~260それぞれは、カメラ310~360それぞれを制御する。録画装置210~260それぞれは、カメラ310~360それぞれにより撮影された画像を取得し、取得した画像を記憶部に記憶することで録画する。カメラ310~360それぞれは、撮像素子、レンズ等を含み、画像を撮影する撮影装置である。カメラ310~360それぞれは、撮影部の一例である。なお、録画装置とカメラは、一つの装置として構成されていてもよい。録画装置は、カメラで撮影された画像を処理してもよい。
仮想視点画像の生成には、カメラ310~360それぞれの位置姿勢、焦点距離等のカメラパラメータが用いられる。キャリブレーション装置400は、カメラ310~360それぞれについて、キャリブレーションを行い、カメラパラメータを求める。本実施形態では、キャリブレーションとは、カメラパラメータを調整する処理である。
生成装置500は、録画装置210~260それぞれから伝送される画像から、仮想視点画像を生成するPC、サーバ装置、タブレット装置等の情報処理装置である。生成装置500は、録画制御装置100を介して、録画装置210~260それぞれにより録画された画像を取得する。生成装置500は、仮想視点の位置及び方向を示す仮想視点情報を取得する取得手段を備える。仮想視点情報は、ユーザインターフェースを介してユーザから入力されるようにしてもよいし、例えば格納装置410に予め格納されたものでもよい。この取得手段は、録画装置210~260それぞれから伝送される画像も取得する。
録画制御装置100は、CPU110と、主記憶装置120と、補助記憶装置130と、ネットワークI/F140と、を含む。各要素は、システムバス150を介して、相互に通信可能に接続されている。
CPU110は、録画制御装置100を制御する中央演算装置である。主記憶装置120は、CPU110のワークエリアやデータの一時的な記憶領域として機能するRandom Access Memory(RAM)等の記憶装置である。補助記憶装置130は、各種プログラム、各種設定情報、カメラ310~360それぞれにより撮影された画像等を記憶する記憶装置である。補助記憶装置130は、例えば、Read Only Memory(ROM)、ハードディスクドライブ(HDD)、ソリッドステートドライブ(SSD)等である。ネットワークI/F140は、録画装置210~260それぞれ、キャリブレーション装置400、生成装置500等の外部の装置との間のネットワークを介した接続に用いられるインターフェースである。
CPU110が、補助記憶装置130に記憶されたプログラムにしたがって処理を実行することで、録画制御装置100の機能、図5、10、16で後述するフローチャートにおける録画制御装置100の処理等が実現される。
キャリブレーション装置400のCPUが、キャリブレーション装置400の補助記憶装置に記憶されたプログラムにしたがって処理を実行することで、キャリブレーション装置400の機能、図6、11で後述するフローチャートの処理等が実現される。
格納装置410のCPUが、格納装置410の補助記憶装置に記憶されたプログラムにしたがって処理を実行することで、図7、12で後述する格納装置410の機能、図13で後述するフローチャートの処理等が実現される。
生成装置500のCPUが、生成装置500の補助記憶装置に記憶されたプログラムにしたがって処理を実行することで、生成装置500の機能、図8で後述するフローチャートの処理等が実現される。
録画装置210は、CPU211と、主記憶装置212と、補助記憶装置213と、デバイスI/F214と、ネットワークI/F215と、を含む。各要素は、システムバス216を介して、相互に通信可能に接続されている。
CPU211は、録画装置210を制御する中央演算装置である。主記憶装置212は、CPU211のワークエリアやデータの一時的な記憶領域として機能するRAM等の記憶装置である。補助記憶装置213は、各種プログラム、各種設定情報、対応するカメラ(カメラ310)により撮影された画像等を記憶するROM、HDD、SSD等の記憶装置である。
デバイスI/F214は、カメラ310等の外部のデバイスとの接続に用いられるインターフェースである。ネットワークI/F215は、録画制御装置100、他の録画装置等の外部の装置との間のネットワークを介した接続に用いられるインターフェースである。
録画装置220~260それぞれのハードウェア構成は、図2(b)で説明した録画装置210のハードウェア構成と同様である。
録画装置220~260それぞれのCPUが、録画装置220~260それぞれの補助記憶装置に記憶されたプログラムにしたがって処理を実行することで、以下が実現される。即ち、録画装置220~260それぞれの機能、図5、10、16で後述するフローチャートにおける録画装置220~260それぞれの処理等が実現される。
S100において、生成システムは、カメラ310~360それぞれを用いて、カメラ310~360それぞれのキャリブレーション用の画像を撮影する。より具体的には、生成システムは、カメラ310~360それぞれを用いて、予め定められたマーカを撮影し、撮影したマーカの画像をキャリブレーション用の画像として取得する。生成システムは、撮影したキャリブレーション用の画像を用いて、カメラ310~360それぞれのキャリブレーションを行い、カメラ310~360それぞれのカメラパラメータを求める。
本実施形態では、生成システムは、カメラ310~360それぞれの位置姿勢が変更される度に、カメラ310~360それぞれのキャリブレーションを行い、カメラパラメータを求めることとする。そして、生成システムは、仮想視点画像を生成する際には、直前のカメラ310~360それぞれのキャリブレーションにより得られたカメラパラメータを用いる。
本実施形態の生成システムの処理の流れを図4に示す。図4が示すように、生成システムは、以下のような処理を行う。
生成システムは、キャリブレーション用の画像が撮影されると、撮影された画像に基づいて行われるキャリブレーションの識別情報であるキャリブレーションIDを決定する。そして、生成システムは、撮影されたキャリブレーション用の画像に対して、その画像を撮影したカメラの識別情報であるカメラIDと、決定したキャリブレーションIDと、を付加情報として付加する。カメラIDとキャリブレーションIDとの組は、カメラパラメータの識別情報の一例である。
生成システムは、仮想視点画像の生成のためにカメラ310~360により同期して撮影された画像それぞれに、その画像を撮影したカメラのカメラIDと、決定したキャリブレーションIDと、を付加する。
そして、生成システムは、これらの画像を用いて仮想視点画像を生成する際に、格納装置410から、これらの画像に付加されたキャリブレーションIDと対応付けられたカメラパラメータ群を取得する。生成システムは、取得したカメラパラメータ群から、カメラ310~360それぞれのカメラIDに対応するカメラパラメータを特定する。そして、生成システムは、特定したカメラ310~360それぞれのカメラパラメータに基づいて仮想視点画像を生成する。
まず、録画制御装置100の処理について説明する。
S201において、録画制御装置100のCPU110は、カメラ310~360それぞれのカメラIDを決定する。本実施形態では、CPU110は、カメラ310~360それぞれのカメラIDを、予め定められた値に決定する。そして、CPU110は、決定したカメラ310~360それぞれのカメラIDそれぞれを、録画装置210~260それぞれに送信する。本実施形態では、録画装置210~260それぞれは、固有のIPアドレスを有している。CPU110は、補助記憶装置130に予め記憶されたこれらのIPアドレスとカメラIDとの対応表の情報から、カメラ310~360それぞれのカメラIDを決定する。
本実施形態では、CPU110は、オペレータからの入力に基づいてキャリブレーションIDを取得することとする。ただし、CPU110は、他の方法で、キャリブレーションIDを取得してもよい。例えば、CPU110は、補助記憶装置130に記憶された過去に用いられたキャリブレーションIDを、実行予定のキャリブレーションのキャリブレーションIDとして取得してもよい。その場合、格納装置410は、格納しているキャリブレーションIDと対応付けられたカメラパラメータの情報を、そのカメラパラメータを用いた仮想視点画像の生成が全て完了した際に、削除することとする。
S203において、CPU110は、オペレータによる録画制御装置100の入力部への操作に基づいて、撮影開始の指示を受付け、撮影開始の指示を録画装置210~260それぞれに送信する。
S204において、CPU110は、オペレータによる録画制御装置100の入力部への操作に基づいて、撮影終了の指示を受付けると、撮影終了の指示を録画装置210~260それぞれに送信する。
S301において、CPU211は、S201で送信されたカメラIDを受信し、受信したカメラIDを、対応するカメラ310のカメラIDとして設定する。
S302において、CPU211は、S202で送信されたキャリブレーションIDを受信し、受信したキャリブレーションIDを、キャリブレーション装置400により実行予定のキャリブレーションのキャリブレーションIDとして設定する。
S304において、CPU211は、S203で送信された撮影開始の指示を受信し、カメラ310を用いて、カメラ310~360で同期した撮影を開始する。本実施形態では、CPU211は、カメラ310を用いて、まず、予め定められたマーカの画像をキャリブレーション用の画像として撮影し、その後に、仮想視点画像の生成に用いられる画像を撮影する。
S306において、CPU211は、S204で送信される撮影終了の指示を受信したか否かを判定する。CPU211は、撮影終了の指示を受信したと判定した場合、処理をS301に進め、撮影終了の指示を受信していないと判定した場合、処理をS304に進める。
以上のようにして、生成システムは、録画装置210~260で録画される画像に、カメラIDとキャリブレーションIDとを付加する。
S401において、キャリブレーション装置400のCPUは、録画制御装置100を介して、録画装置210~260それぞれから、カメラ310~360それぞれのキャリブレーション用の画像を取得する。
S402において、キャリブレーション装置400のCPUは、S401で取得した画像それぞれのExif領域から、カメラIDとカメラキャリブレーションIDとを取得する。
S403において、キャリブレーション装置400のCPUは、S401で取得したカメラ310~360それぞれにより撮影された画像それぞれを用いて、カメラ310~360それぞれのキャリブレーションを行う。本実施形態では、キャリブレーション装置400のCPUは、以下の参考文献1に開示された方法で、カメラ310~360それぞれのキャリブレーションを行う。
参考文献1:特開2005-351883号公報
S405において、キャリブレーション装置400のCPUは、S404でキャリブレーションIDと対応付けられたカメラパラメータ群を格納装置410に送信する。格納装置410のCPUは、S405で送信されたキャリブレーションIDと対応付けられたカメラパラメータ群を受信すると、受信したカメラパラメータ群を格納装置410の補助記憶装置に記憶する。
以上のようにして、生成システムは、カメラキャリブレーションIDと対応付けられたカメラパラメータを、格納装置410に格納する。
格納装置410は、制御部411を含む。
制御部411は、キャリブレーションIDと対応付けられたカメラパラメータ群を受信すると、受信したカメラパラメータ群と対応するキャリブレーションIDとの情報をカメラパラメータ表412に追加する。カメラパラメータ表412は、格納装置410の補助記憶装置に記憶されたキャリブレーションIDとカメラパラメータ群とを対応付けて記憶するテーブル型のデータである。格納装置410の補助記憶装置は、保持手段の一例である。制御部411によるカメラパラメータ表412に情報を追加する処理は、保持制御処理の一例である。カメラパラメータ表412は、カメラパラメータの識別情報と、カメラパラメータと、の対応を示す対応情報の一例である。
また、制御部411は、キャリブレーションIDを伴うカメラパラメータ群の要求を受信した場合、カメラパラメータ表412から、そのキャリブレーションIDに対応するカメラパラメータ群を取得し、取得したカメラパラメータ群を要求元に送信する。
S501において、生成装置500のCPUは、録画制御装置100を介して、録画装置210~260に録画された仮想視点画像生成用の画像を取得する。
S502において、生成装置500のCPUは、S501で取得した画像それぞれのExif領域から、カメラIDとキャリブレーションIDとを取得する。
S503において、生成装置500のCPUは、S502で取得したキャリブレーションIDを格納装置410に通知し、格納装置410に通知したキャリブレーションIDに対応するカメラパラメータ群を要求する。格納装置410の制御部411は、この要求に応じて、通知されたキャリブレーションIDに対応するカメラパラメータ群をカメラパラメータ表412から取得し、生成装置500に送信する。生成装置500のCPUは、送信されたカメラパラメータ群を取得する。
S505において、生成装置500のCPUは、S501で取得された画像と、S504で特定した各カメラのカメラパラメータと、に基づいて、仮想視点画像を生成する。
本実施形態では、生成システムが、キャリブレーションIDではなく撮影時刻情報を用いる処理について説明する。
本実施形態の生成システムのシステム構成は、実施形態1と同様である。生成システムの各要素のハードウェア構成は、実施形態1と同様である。
生成システムは、キャリブレーション用の画像が撮影されると、撮影時刻を特定する。そして、生成システムは、撮影されたキャリブレーション用の画像に対して、その画像を撮影したカメラの識別情報であるカメラIDと、特定した撮影時刻情報と、を付加する。
そして、生成システムは、キャリブレーション用の画像に基づいて、カメラ310~360それぞれのキャリブレーションを行い、カメラ310~360それぞれのカメラパラメータを決定する。生成システムは、決定したカメラ310~360のカメラパラメータを、キャリブレーション用の画像の撮影時刻情報と対応付けて格納装置410に格納する。
そして、生成システムは、これらの画像を用いて仮想視点画像を生成する際に、格納装置410から、これらの画像に付加された撮影時刻情報の時刻に最も近い、その時刻よりも過去の時刻を示す撮影時刻情報と対応付けられたカメラパラメータを取得する。そして、生成システムは、取得したカメラパラメータに基づいて仮想視点画像を生成する。
S201B、S203B、S204Bそれぞれの処理は、図5のS201、S203、S204それぞれの処理と同様の処理である。S301B、S303B、S304B、S306Bそれぞれの処理は、図5のS301、S303、S304、S306それぞれの処理と同様の処理である。
S305Bにおいて、CPU211は、カメラ310を用いた撮影の度に、撮影された画像に、S301で特定したカメラIDと、その画像の撮影時刻情報と、を付加情報として付加する。カメラIDと撮影時刻情報との組は、各カメラのカメラパラメータの識別情報の一例である。そして、CPU211は、付加情報を付加した画像を補助記憶装置213に記憶することで、録画する。
本実施形態では、録画装置220~260それぞれの処理は、図10のS301B、S303B~S306Bで説明した録画装置210の処理と同様の処理である。
S401B、S403Bそれぞれの処理は、図6のS401、S403それぞれの処理と同様の処理である。
S402Bにおいて、キャリブレーション装置400のCPUは、S401Bで取得した画像それぞれのExif領域から、カメラIDと撮影時刻情報とを取得する。
S404Bにおいて、キャリブレーション装置400のCPUは、S403でのキャリブレーションの結果に基づいて、カメラ310~360のカメラパラメータを取得する。キャリブレーション装置400のCPUは、カメラ310~360それぞれのカメラIDと、カメラ310~360それぞれのカメラパラメータと、を対応付けた情報をまとめてカメラパラメータ群とする。そして、キャリブレーション装置400のCPUは、カメラパラメータ群と、S402Bで取得した撮影時刻情報と、を対応付ける。
S405Bにおいて、キャリブレーション装置400のCPUは、S404Bで撮影時刻情報と対応付けられたカメラパラメータ群を格納装置410に送信する。格納装置410のCPUは、S405で送信された撮影時刻情報と対応付けられたカメラパラメータ群を受信すると、受信したカメラパラメータ群を格納装置410の補助記憶装置に記憶する。
格納装置410は、制御部411を含む。
制御部411は、撮影時刻情報と対応付けられたカメラパラメータ群を受信すると、受信したカメラパラメータ群と対応する撮影時刻情報との情報をカメラパラメータ表412に追加する。本実施形態のカメラパラメータ表412は、格納装置410の補助記憶装置に記憶された撮影時刻情報とカメラパラメータ群とを対応付けて記憶するテーブル型のデータである。
また、制御部411は、撮影時刻情報を伴うカメラパラメータ群の要求を受信した場合、カメラパラメータ表412から、その撮影時刻情報が示す時刻に最も近く、その時刻よりも過去の時刻を示す撮影時刻情報に対応するカメラパラメータ群を取得する。そして、制御部411は、取得したカメラパラメータ群を要求元に送信する。
本実施形態の生成装置500の処理は、図8の処理と比べるとS502、S503の処理が異なる。
S502において、生成装置500のCPUは、S501で取得した画像それぞれのExif領域から、カメラIDと撮影時刻情報とを取得する。
S503において、生成装置500のCPUは、S502で取得した撮影時刻情報を格納装置410に通知し、格納装置410に通知した撮影時刻情報に対応するカメラパラメータ群を要求する。格納装置410の制御部411は、この要求に応じて、通知された撮影時刻情報に対応するカメラパラメータ群をカメラパラメータ表412から取得し、生成装置500に送信する。生成装置500のCPUは、送信されたカメラパラメータ群を取得する。
制御部411は、S502で行われた撮影時刻情報を伴うカメラパラメータ群の要求を受信した場合、図13のフローチャートの処理を実行する。
S601Bにおいて、制御部411は、カメラパラメータ表412内の各行のデータを、対応する撮影時刻情報が示す時刻が遅いものから早いものの順番でソートする。
S602Bにおいて、制御部411は、カメラパラメータ群の要求に含まれる撮影時刻情報が示す時刻を特定する。
S603Bにおいて、制御部411は、格納装置410の主記憶装置に変数nを記憶し、値を1に初期化する。
S604Bにおいて、制御部411は、カメラパラメータ表412Bの先頭からn番目の行のデータに対応する撮影時刻情報が示す時刻が、カメラパラメータ群の要求に含まれる撮影時刻情報が示す時刻よりも過去であるか否かを判定する。制御部411は、カメラパラメータ表412Bの先頭からn番目の行のデータに対応する撮影時刻情報が示す時刻が、カメラパラメータ群の要求に含まれる撮影時刻情報が示す時刻よりも過去であると判定した場合、処理をS606Bに進める。制御部411は、カメラパラメータ表412Bの先頭からn番目の行のデータに対応する撮影時刻情報が示す時刻が、カメラパラメータ群の要求に含まれる撮影時刻情報が示す時刻以降であると判定した場合、処理をS604Bに進める。
S605Bにおいて、制御部411は、変数nの値に1を加える。
S606Bにおいて、制御部411は、カメラパラメータ表412Bの先頭からn番目の行のデータを、要求元に送信する。
本実施形態では、生成システムが、キャリブレーションIDではなく、カメラ310~360それぞれに備え付けられた電動雲台610~660それぞれの位置姿勢を示すプリセットIDを用いる処理について説明する。
本実施形態の生成システムのシステム構成は、実施形態1と同様である。生成システムの各要素のハードウェア構成は、実施形態1と同様である。
本実施形態では、カメラ310~360には、それぞれ電動雲台610~660が備え付けられている。
電動雲台610は、録画制御装置100からの録画装置210を介した向きの変更指示に応じて、カメラ310の向きを変更する電動式の雲台である。電動雲台610は、予め定められた向きを識別するプリセット値が指定されると、指定されたプリセット値に応じた向きにカメラ310の向きを変更する。即ち、録画制御装置100は、プリセット値を電動雲台610に指定することで、カメラ310の向きを変更できる。
電動雲台620~660それぞれは、電動雲台610と同様の雲台である。
本実施形態では、カメラ310~360それぞれ及び電動雲台610~660それぞれの位置は固定されているとする。そのため、カメラIDと電動雲台に指定されたプリセット値とが分かれば、対応するカメラの位置・姿勢のカメラパラメータが分かることとなる。そのため、電動雲台に指定されたプリセット値が変わらない限りこれらのカメラパラメータは、一定となる。
本実施形態の生成システムの処理の流れを図15に示す。図15が示すように、生成システムは、以下のような処理を行う。
生成システムは、キャリブレーション用の画像が撮影されると、撮影されたキャリブレーション用の画像に対して、その画像を撮影したカメラのカメラIDと、そのカメラに備え付けられた電動雲台に指定されたプリセット値と、を付加する。
そして、生成システムは、キャリブレーション用の画像に基づいて、カメラ310~360それぞれのキャリブレーションを行い、カメラ310~360それぞれのカメラパラメータを決定する。生成システムは、決定したカメラ310~360のカメラパラメータを、キャリブレーション用の画像に付加されたプリセット値と対応付けて格納装置410に格納する。
そして、生成システムは、これらの画像を用いて仮想視点画像を生成する際に、格納装置410から、これらの画像に付加されたプリセット値と対応付けられたカメラパラメータを取得する。そして、生成システムは、取得したカメラパラメータに基づいて仮想視点画像を生成する。
S201C、S203C、S204Cそれぞれの処理は、図5のS201、S203、S204それぞれの処理と同様の処理である。S301C、S303C、S304C、S306Cそれぞれの処理は、図5のS301、S303、S304、S306それぞれの処理と同様の処理である。
S202Cにおいて、CPU110は、電動雲台610のプリセット値を、録画装置210に送信する。
S305Cにおいて、CPU211は、カメラ310を用いた撮影の度に、撮影された画像に、S301で特定したカメラIDと、S302で電動雲台610に指定したプリセット値と、を付加情報として付加する。そして、CPU211は、付加情報を付加した画像を補助記憶装置213に記憶することで、録画する。
本実施形態では、録画装置220~260それぞれの処理は、図10のS301C~S306Cで説明した録画装置210の処理と同様の処理である。
S402において、キャリブレーション装置400のCPUは、S401で取得した画像それぞれのExif領域から、カメラIDとプリセット値とを取得する。
S404において、キャリブレーション装置400のCPUは、S403でのキャリブレーションの結果に基づいて、カメラ310~360のカメラパラメータを取得する。キャリブレーション装置400のCPUは、カメラ310~360それぞれのカメラIDと、カメラ310~360それぞれのカメラパラメータと、を対応付けた情報をまとめてカメラパラメータ群とする。そして、キャリブレーション装置400のCPUは、カメラパラメータ群と、S402で取得したプリセット値と、を対応付ける。
S405において、キャリブレーション装置400のCPUは、S404でプリセット値と対応付けられたカメラパラメータ群を格納装置410に送信する。格納装置410のCPUは、S405で送信されたプリセット値と対応付けられたカメラパラメータ群を受信すると、受信したカメラパラメータ群を格納装置410の補助記憶装置に記憶する。
制御部411は、プリセット値と対応付けられたカメラパラメータ群を受信すると、受信したカメラパラメータ群と対応する撮影時刻情報との情報をカメラパラメータ表412に追加する。本実施形態のカメラパラメータ表412は、格納装置410の補助記憶装置に記憶されたプリセット値とカメラパラメータ群とを対応付けて記憶するテーブル型のデータである。
また、制御部411は、プリセット値を伴うカメラパラメータ群の要求を受信した場合、そのプリセット値に対応するカメラパラメータ群を取得し、取得したカメラパラメータ群を要求元に送信する。
本実施形態の生成装置500の処理は、図8の処理と比べるとS502、S503の処理が異なる。
S502において、生成装置500のCPUは、S501で取得した画像それぞれのExif領域から、カメラIDとプリセット値とを取得する。
S503において、生成装置500のCPUは、S502で取得したプリセット値を格納装置410に通知し、通知したプリセット値に対応するカメラパラメータ群を要求する。格納装置410の制御部411は、この要求に応じて、通知されたプリセット値に対応するカメラパラメータ群をカメラパラメータ表412から取得し、生成装置500に送信する。生成装置500のCPUは、送信されたカメラパラメータ群を取得する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。例えば、上述した各実施形態を任意に組み合わせる等してもよい。
210 録画装置
400 キャリブレーション装置
Claims (10)
- カメラによる撮影に基づく画像と、仮想視点の位置及び方向を示す情報を取得する取得手段と、
取得された前記画像に対して、当該画像の撮影時における前記カメラのカメラパラメータを識別するための識別情報を付加する付加手段と、
前記識別情報に基づいて、予め格納装置に格納された前記カメラの複数のカメラパラメータであって、異なるタイミングごとに対応付けられた前記カメラの複数のカメラパラメータから、前記画像の撮影時における前記カメラのカメラパラメータを特定する特定手段と、
取得された前記画像と、取得された前記仮想視点の位置及び方向を示す情報と、特定されたカメラパラメータとに基づいて、仮想視点画像を生成する生成手段と、
を有するシステム。 - 前記付加手段は、前記画像に対して、前記カメラを識別する情報を含む前記識別情報を付加する請求項1記載のシステム。
- 前記付加手段は、前記画像に対して、前記カメラに行われたキャリブレーションを識別する情報を含む前記識別情報を付加する請求項1又は2記載のシステム。
- 前記キャリブレーションは、カメラのパラメータを決定する処理であることを特徴とする請求項3記載のシステム。
- 前記カメラの複数のカメラパラメータはそれぞれ、異なるタイミングで行われた前記キャリブレーションにより決定されることを特徴とする請求項4記載のシステム。
- 前記付加手段は、前記画像に対して、前記カメラに備え付けられた雲台の位置姿勢を識別する情報を含む前記識別情報を付加する請求項1又は2記載のシステム。
- 前記付加手段は、前記画像に対して、前記画像の撮影時刻の情報を含む前記識別情報を付加する請求項1又は2記載のシステム。
- 前記カメラパラメータは、カメラの位置、姿勢及び焦点距離の少なくとも一つを含む請求項1乃至7何れか1項記載のシステム。
- 前記カメラ前記識別情報ごとに、当該識別情報と前記カメラパラメータとが対応付けられた情報を保持手段に保持させる保持制御手段を、さらに有し、
前記特定手段は、前記識別情報と、前記保持手段に保持された情報に基づいて、前記画像の撮影時における前記カメラのカメラパラメータを特定する請求項1乃至8何れか1項記載のシステム。 - システムが実行する情報処理方法であって、
カメラによる撮影に基づく画像と、仮想視点の位置及び方向を示す情報を取得する取得ステップと、
取得された前記画像に対して、当該画像の撮影時における前記カメラのカメラパラメータを識別するための識別情報を付加する付加ステップと、
前記識別情報に基づいて、予め格納装置に格納された前記カメラの複数のカメラパラメータであって、異なるタイミングごとに対応付けられた前記カメラの複数のカメラパラメータから、前記画像の撮影時における前記カメラのカメラパラメータを特定する特定ステップと、
取得された前記画像と、取得された前記仮想視点の位置及び方向を示す情報と、特定されたカメラパラメータとに基づいて、仮想視点画像を生成する生成ステップと、
を含む情報処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018221305A JP7224872B2 (ja) | 2018-11-27 | 2018-11-27 | システム及び情報処理方法 |
JP2023016049A JP2023041954A (ja) | 2018-11-27 | 2023-02-06 | システム及び情報処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018221305A JP7224872B2 (ja) | 2018-11-27 | 2018-11-27 | システム及び情報処理方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023016049A Division JP2023041954A (ja) | 2018-11-27 | 2023-02-06 | システム及び情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020088639A JP2020088639A (ja) | 2020-06-04 |
JP7224872B2 true JP7224872B2 (ja) | 2023-02-20 |
Family
ID=70910148
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018221305A Active JP7224872B2 (ja) | 2018-11-27 | 2018-11-27 | システム及び情報処理方法 |
JP2023016049A Pending JP2023041954A (ja) | 2018-11-27 | 2023-02-06 | システム及び情報処理方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023016049A Pending JP2023041954A (ja) | 2018-11-27 | 2023-02-06 | システム及び情報処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7224872B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002142144A (ja) | 2000-10-31 | 2002-05-17 | Susumu Tsunoda | 遠隔制御監視装置及び遠隔制御監視方法 |
JP2015204512A (ja) | 2014-04-14 | 2015-11-16 | パナソニックIpマネジメント株式会社 | 情報処理装置、情報処理方法、カメラ、受信装置、受信方法 |
WO2018211570A1 (ja) | 2017-05-15 | 2018-11-22 | 富士通株式会社 | 映像生成プログラム、映像生成方法および映像生成装置 |
-
2018
- 2018-11-27 JP JP2018221305A patent/JP7224872B2/ja active Active
-
2023
- 2023-02-06 JP JP2023016049A patent/JP2023041954A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002142144A (ja) | 2000-10-31 | 2002-05-17 | Susumu Tsunoda | 遠隔制御監視装置及び遠隔制御監視方法 |
JP2015204512A (ja) | 2014-04-14 | 2015-11-16 | パナソニックIpマネジメント株式会社 | 情報処理装置、情報処理方法、カメラ、受信装置、受信方法 |
WO2018211570A1 (ja) | 2017-05-15 | 2018-11-22 | 富士通株式会社 | 映像生成プログラム、映像生成方法および映像生成装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2023041954A (ja) | 2023-03-24 |
JP2020088639A (ja) | 2020-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6141044A (en) | Method and system for coherent image group maintenance in memory | |
US5943093A (en) | Software driver digital camera system with image storage tags | |
WO1998014006A1 (en) | Method and system for controlled time-based image group formation | |
JP6914007B2 (ja) | 情報処理装置および情報処理方法 | |
WO1998013786A9 (en) | A method and system of grouping related images captured with a digital image capture device | |
WO1998013786A2 (en) | A method and system of grouping related images captured with a digital image capture device | |
JP2019087791A (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP2019036791A5 (ja) | 画像処理装置およびその制御方法、プログラム | |
JP7224872B2 (ja) | システム及び情報処理方法 | |
JP2013143592A (ja) | 情報処理装置、情報処理装置の情報処理方法およびプログラム | |
JP2017028585A5 (ja) | 撮影システム及びその制御方法、制御装置、コンピュータプログラム | |
JP2021048572A (ja) | デバイス、制御方法、及びプログラム | |
JP7170295B2 (ja) | 動物情報管理システム、及び、動物情報管理方法 | |
JP3302115B2 (ja) | 情報処理装置 | |
JP2007096532A (ja) | 画像蓄積装置及び画像蓄積システム | |
JP7427381B2 (ja) | 情報処理装置、システム、情報処理方法及びプログラム | |
JP2018201095A (ja) | 動体予測機能を有する撮像装置 | |
JP6418860B2 (ja) | 電子機器、制御方法およびプログラム | |
JP2020077997A (ja) | 画像処理装置、システム、情報処理方法及びプログラム | |
JP7357490B2 (ja) | 制御装置、制御方法、プログラム、および記憶媒体 | |
JP7437960B2 (ja) | 監視制御装置、監視制御方法、監視システム及びプログラム | |
JP2019080184A (ja) | データ提供装置、データ提供方法、及びプログラム | |
JP2017157956A (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
JP2023028152A5 (ja) | ||
JP2024080470A (ja) | 撮像装置、撮像装置の制御方法、プログラム、及び撮像システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220720 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230208 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7224872 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |