JP7204346B2 - 情報処理装置、システム、情報処理方法及びプログラム - Google Patents
情報処理装置、システム、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP7204346B2 JP7204346B2 JP2018107658A JP2018107658A JP7204346B2 JP 7204346 B2 JP7204346 B2 JP 7204346B2 JP 2018107658 A JP2018107658 A JP 2018107658A JP 2018107658 A JP2018107658 A JP 2018107658A JP 7204346 B2 JP7204346 B2 JP 7204346B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging device
- imaging
- coordinate system
- marker
- specified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 40
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000003384 imaging method Methods 0.000 claims description 457
- 239000003550 marker Substances 0.000 claims description 92
- 230000008859 change Effects 0.000 claims description 22
- 238000001514 detection method Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 description 119
- 238000000034 method Methods 0.000 description 37
- 239000011159 matrix material Substances 0.000 description 27
- 238000012544 monitoring process Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 24
- 238000004891 communication Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 12
- 230000007246 mechanism Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
- H04N23/662—Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
撮像装置には、大規模な公共機関や量販店における監視カメラとして等幅広い分野で利用され、様々な運用方法があるものがある。撮像装置には、運用形態に合わせるために様々な機能的特徴をもったものが存在する。撮像装置には、例えば、パン・チルトといった撮影方向を自在に変更できるものや、高倍率のズーム撮影が可能なもの、魚眼レンズを搭載し、広い範囲を一度に監視可能なもの(全方位カメラ)等が存在する。
また、複数の撮像装置を用いて監視等が行われる場合がある。例えば、全方位カメラは非常に広い視野角を持つ一方で、カメラから離れた場所では割り当てられた画素数が少なく、解像度が落ちてしまう。そのため、人の顔や車番等の詳細な情報を取得することには向いていない。そこを補うため、全方位カメラとパン・チルト・ズーム機能を持つカメラ(PTZカメラ)とを連携させる機能を持つ監視システムが特許文献1に開示されている。即ち、全方位カメラで広い範囲を一度に監視し、その映像中で特に注視すべき点はPTZカメラで拡大表示し、詳細情報を取得することを可能にするシステムである。このように複数の撮像装置を連携させる場合、撮像装置の設置の際に撮像装置間で連携を行うためのキャリブレーション作業を行う必要がある。
また、特許文献2には、既知のパターンを持つ物体を撮影することで、物体の位置、姿勢を測定する方法が開示されている。この方法によって、撮影した物体を基準としたカメラ位置、及び姿勢を推定する技術も知られている。
しかしながら、特許文献1では、撮像装置のセットアップ時に撮像装置間の連携のための制御LUTを構築する作業が必要となる。制御LUTを構築する方法としては、例えば、人の手によって画像を見比べ、対応点を入力する方法があるが、この方法ではセットアップ作業に多くの手間がかかり、人に係る負担が大きくなる。また、この方法で有効な制御LUTを構築するためには、第1の撮像装置と第2の撮像装置との撮影画角の大部分がオーバーラップしている必要がある。即ち、特許文献1の方法は、第1の撮像装置と第2の撮像装置との撮影画角の大部分がオーバーラップしている場合にしか適用できないため、実行できる状況には制限があった。
そこで本発明は、互いに連携する複数の撮像装置のセットアップ作業を、より軽負担に、より多くの状況において、実行できるようにすることを支援することを目的とする。
図1は、本実施形態の監視システムのシステム構成の一例を示す図である。本実施形態における監視システムは、撮像装置101、撮像装置102、クライアント装置103を含む。撮像装置101、撮像装置102、クライアント装置103は、ネットワーク104を介して、互いに通信可能に接続されている。
撮像装置101は、パン、チルト、ズーム機構を持つPTZ型の撮像装置であり、パン、チルト、ズームの駆動を行うことで、撮影方向を変更可能な撮像装置である。撮像装置102は、魚眼レンズ等の広角レンズを有する広角型の撮像装置である。
クライアント装置103は、撮像装置101、撮像装置102との間で、ネットワーク104を介した情報の入出力を行うパーソナルコンピュータ(PC)、サーバ装置、タブレット装置、スマートフォン等の情報処理装置である。ネットワーク104は、インターネット、LAN等のネットワークであり、撮像装置101、撮像装置102、クライアント装置103間の通信が可能であれば特に限られない。また、撮像装置101は、複数台設置されていてもよい。
撮像装置101は、撮像部201、画像処理部202、システム制御部203、パン駆動部204、チルト駆動部205、ズーム駆動部206、パンチルトズーム制御部207、空間情報処理部208、記憶部209、通信部210を含む。
撮像部201は、レンズ、撮像素子等を含む機構であり、レンズを介して撮像素子に入光した光から電気信号への変換を行うことで被写体の撮影を行う。
画像処理部202は、撮像部201によって変換された電気信号に画像処理、圧縮符号化処理を行い、画像データを生成し、システム制御部203へ送信するプロセッサである。
システム制御部203は、CPU、CPUのワークエリアとして機能するRandom Access Memory(RAM)等の主記憶装置を含み、撮像装置101を制御する制御装置である。システム制御部203は、通信部210を介して、画像処理部202により生成された画像データをクライアント装置103に送信する。また、システム制御部203は、通信部210を介してクライアント装置103等から受信したカメラ制御コマンドを解析し、コマンドに応じた処理を行う。例えば、システム制御部203は、画像処理部202に対して画質調整の設定や、パンチルトズーム制御部207に対してパン・チルト・ズーム動作の設定といった撮影パラメータ設定の指示を行う。
チルト駆動部205は、チルト動作を行うメカ駆動系、その駆動源のモータ、駆動部の角度を検出する角度センサを含む機構であり、モータを駆動させることで駆動系を駆動させ、撮像装置101の撮影方向をチルト方向に変化させる。
ズーム駆動部206は、フォーカスレンズ、ズームレンズの駆動部、モータ、ズームレンズの位置を検出するセンサを含む機構であり、モータを駆動されることによりズームレンズが光軸方向に移動して、撮像装置101の焦点距離を変更する。また、ズーム駆動部206は、モータを駆動させることでフォーカスレンズを光軸方向に移動させ、撮像装置101の焦点調節を行う。
パンチルトズーム制御部207は、システム制御部203から送信された指示信号に基づいて、パンチルトズーム動作をパン駆動部204、チルト駆動部205、ズーム駆動部206に指示する。また、パンチルトズーム制御部207は、システム制御部203からの要求に応じて、パン駆動部204、チルト駆動部205、ズーム駆動部206から、撮像装置101のパン角、チルト角、ズーム角を取得しシステム制御部203に送信する。
記憶部209は、画質調整のパラメータ、ネットワークの設定といった設定値、撮影された画像データ、各種プログラム等を記憶する記憶装置である。システム制御部203は、撮像装置101が再起動された場合でも、記憶部209に記憶された以前設定された値を用いて、撮像装置101を制御することができる。記憶部209は、例えば、Read Only Memory(ROM)、ハードディスクドライブ(HDD)、ソリッドステートドライブ(SSD)、フラッシュメモリ等である。
通信部210は、ネットワーク104を介した撮像装置102、クライアント装置103等の外部の装置との間の通信に用いられるインターフェースである。
システム制御部203が、記憶部209に記憶されたプログラムにしたがって処理を実行することで、撮像装置101の機能、図6のフローチャートの処理、図5、図10のフローチャートにおける撮像装置101の処理等が実現される。
撮像部211は、レンズ、撮像素子を含む機構であり、レンズを介して撮像素子に入光した光から電気信号への変換を行うことで被写体の撮影を行う。また、撮像部211は、半球状の視野角を有する広角レンズを含む。
画像処理部212は、撮像部211によって変換された電気信号に画像処理、圧縮符号化処理を行い、画像データを生成し、システム制御部213へ送信するプロセッサである。
システム制御部213は、CPU、CPUのワークエリアとして機能する主記憶装置を含み、撮像装置102を制御する制御装置である。システム制御部213は、通信部216を介して、画像処理部212により生成された画像データをクライアント装置103に送信する。また、システム制御部213は、通信部216を介してクライアント装置103等から受信したカメラ制御コマンドを解析し、コマンドに応じた処理を行う。例えば、システム制御部213は、画像処理部212に対して画質調整の設定等の撮影パラメータ設定の指示を行う。
記憶部215は、画質調整のパラメータ、ネットワークの設定といった設定値、各種プログラム等を記憶する記憶装置である。システム制御部213は、撮像装置102が再起動された場合でも、記憶部215に記憶された以前設定された値を用いて、撮像装置102を制御することができる。記憶部215は、例えば、ROM、HDD、SSD、フラッシュメモリ等である。
通信部216は、ネットワーク104を介した撮像装置101、クライアント装置103等の外部の装置との間の通信に用いられるインターフェースである。
システム制御部213が、記憶部215に記憶されたプログラムにしたがって処理を実行することで、撮像装置102の機能、図6のフローチャートの処理、図5、図10のフローチャートにおける撮像装置102の処理等が実現される。
表示部217は、液晶表示装置等の表示装置であり、撮像装置101、撮像装置102等から受信した画像データの表示を行う。また、表示部217は、撮像装置101、撮像装置102の制御に用いられるグラフィックユーザインターフェース(以下では、GUIとする)等を表示する。このGUIは、例えば、撮像装置101のズーム率の設定、パン・チルト方向の変更、撮像装置101、撮像装置102への撮像の指示等に用いられる。
入力部218は、キーボード、マウス、タッチパネル等の入力装置である。クライアント装置103のユーザは、入力部218を介してGUIを操作する。
通信部220は、ネットワーク104を介した撮像装置101、撮像装置102等の外部の装置との間の通信に用いられるインターフェースである。
記憶部221は、撮像装置101、撮像装置102のIPアドレス等の情報、ネットワークの設定の情報、各種プログラム等を記憶するROM、HDD、SSD、フラッシュメモリ等の記憶装置である。システム制御部219は、クライアント装置103が再起動された場合でも、記憶部221に記憶された以前設定された値を用いて、クライアント装置103を制御することができる。
画像処理部223は、各種の画像処理を実行するプロセッサである。例えば、画像処理部223は、各撮像装置から送信された画像をGUIとして表示部217に表示するための処理、入力部218を介した入力に基づいて画像上の座標を抽出する処理等の処理を実行する。クライアント装置103は、画像処理部223を含まずに、画像処理部223の処理を、システム制御部219を介して実行することとしてもよい。
システム制御部219が、記憶部221に記憶されたプログラムにしたがって処理を実行することで、クライアント装置103の機能、図9のフローチャートの処理、図5、10のフローチャートにおけるクライアント装置103の処理等が実現される。
撮像装置101は、撮像部201と画像処理部202とを用いてマーカ301を撮影し画像データを取得し、取得した画像データを、空間情報処理部208を介して解析する。これにより、撮像装置101は、マーカ301に基づいて定められた座標系における撮像装置101の位置を特定する。マーカ301に基づいて定められた座標系は、例えば、マーカ301に基づいて決定された点を原点とし、マーカ301の姿勢の変化に応じて姿勢が変化するよう定義された座標系である。以下では、マーカ301に基づいて定められた座標系を、マーカ座標系とする。
また、撮像装置102は、撮像部211と画像処理部212とを用いてマーカ301を撮影し、撮影した画像を、空間情報処理部214を介して解析する。これにより、撮像装置102は、マーカ座標系における撮像装置102の位置を特定する。
図4(b)は、マーカ座標系の一例を示す図である。図4(a)のチェスボード上のパターンにおける左上のコーナー(マス目の角)を原点OMとし、向かって右方向をXM軸方向、下方向をYM軸方向、奥方向をZM軸方向とする。本実施形態では、マーカ座標系は、OMを原点とし、この3つの軸で定義される座標系である。
ただし、図4で示したマーカ301のパターン、マーカ301を基準に定義される座標系は、あくまで一例である。マーカ301には、ハニカム模様等の他のパターンが描かれていることとしてもよい。また、マーカ301は、2次元マーカでなく立体的なマーカでもよい。また、マーカ301は、複数あってもよい。
S501において、システム制御部219は、ユーザによる入力部218を介した操作に基づいて、監視に用いられる撮像装置を、撮像装置101と撮像装置102とするという指定を受付ける。また、システム制御部219は、ユーザによる入力部218を介した操作に基づいて、撮像装置101と撮像装置102との位置関係の特定に用いられるマーカを、マーカ301にするという指定を受付ける。そして、システム制御部219は、監視システムのセットアップを開始する。
S502において、システム制御部219は、撮像装置101と撮像装置102とのそれぞれに対し、マーカ301を基準としたカメラ位置姿勢推定を指示するコマンドを送信する。この際、システム制御部219は、S501で指定を受付けたマーカ301の情報をコマンドと併せて送信する。
S503において、システム制御部203は、クライアント装置103から送信されたコマンドとマーカ301の情報とを受信し、マーカ301を基準とした撮像装置101の位置姿勢推定処理を実行する。この位置姿勢推定処理の詳細については、図6、7で後述する。
S504において、システム制御部203は、S503で実行した位置姿勢推定処理が成功したか否かを判定する。システム制御部203は、成功したと判定した場合、S505の処理に進み、失敗したと判定した場合、S506の処理に進む。
S505において、システム制御部203は、撮像装置101の位置姿勢推定処理が成功したことを示す成功通知をクライアント装置103に送信する。システム制御部203は、この成功通知と併せて、S503の処理で求めた撮像装置101の位置と姿勢との情報をクライアント装置103に送信する。以下では、位置と姿勢との情報を合せて、位置姿勢情報とする。
S506において、システム制御部203は、クライアント装置103に、撮像装置101の位置姿勢推定処理が失敗したことを示す失敗通知を送信する。
S507において、システム制御部213は、クライアント装置103から送信されたコマンドとマーカ301の情報とを受信し、マーカ301を基準とした撮像装置102の位置姿勢推定処理を実行する。この位置姿勢推定処理の詳細については、図6、7で後述する。
S508において、システム制御部213は、S507で実行した位置姿勢推定処理が成功したか否かを判定する。システム制御部213は、成功したと判定した場合、S509の処理に進み、失敗したと判定した場合、S510の処理に進む。
S509において、システム制御部213は、撮像装置102の位置姿勢推定処理が成功したことを示す成功通知をクライアント装置103に送信する。システム制御部213は、この成功通知と併せて、S507の処理で求めた撮像装置102の位置姿勢情報をクライアント装置103に送信する。
S510において、システム制御部213は、クライアント装置103に、撮像装置102の位置姿勢推定処理が失敗したことを示す失敗通知を送信する。
S511において、システム制御部219は、撮像装置101から、S505又はS506で送信された情報を受信する。また、システム制御部219は、撮像装置102から、S509又はS510で送信された情報を受信する。
S512において、システム制御部219は、S511で撮像装置101と撮像装置102との双方から位置姿勢推定処理の成功を示す成功通知を受信したか否かを判定する。システム制御部219は、S511で撮像装置101と撮像装置102との双方から位置姿勢推定処理の成功を示す成功通知を受信したと判定した場合、S514の処理に進む。また、システム制御部219は、S511で撮像装置101と撮像装置102との何れかから位置姿勢推定処理の失敗を示す失敗通知を受信したと判定した場合、S513の処理に進む。
S513において、システム制御部219は、撮像装置101と撮像装置102との位置関係の特定処理が失敗したことを示す失敗メッセージを表示部217に表示し、図5の処理を終了する。
S515において、システム制御部219は、S514で特定した位置関係を示す情報を撮像装置101と撮像装置102とに送信する。以下では、位置関係を示す情報を位置関係情報とする。
S516において、システム制御部203は、S515でクライアント装置103から送信された位置関係情報を受信し、記憶部209に格納する。
S517において、システム制御部213は、S515でクライアント装置103から送信された位置関係情報を受信し、記憶部215に格納する。
本実施形態では、S503、S507における位置姿勢推定処理は、撮像装置101と撮像装置102とのそれぞれにより、クライアント装置103からの指示に応じて行われることとした。しかし、クライアント装置103が、撮像装置101と撮像装置102とから送信された画像に基づいて、S503、S507と同様の位置姿勢推定処理を実行することとしてもよい。
S601において、システム制御部203(213)は、撮像部201(210)と画像処理部202(212)とを介して、周囲の環境を撮影し画像データを取得する。
S602において、システム制御部203(213)は、画像処理部202(212)を介して、クライアント装置103から送信されたマーカ301の情報に基づいて、S601で取得した画像データにマーカ301が写っているか否かを判定する。例えば、システム制御部203(213)は、S601で取得した画像データから、マーカ301を検知する処理を行い、検知できた場合、マーカ301が写っていると判定し、検知できなかった場合、マーカ301が写っていないと判定する。システム制御部203(213)は、S601で取得した画像データにマーカ301が写っていると判定した場合、S603の処理に進み、S601で取得した画像データにマーカ301が写っていないと判定した場合、S607の処理に進む。
S604において、システム制御部203(213)は、空間情報処理部208(214)を介して、S603で抽出した特徴点の座標に基づいて、撮像装置101(102)のマーカ301に基づいて定められたマーカ座標系における位置と姿勢との推定を行う。システム制御部203(213)は、例えば、特許文献2に開示されたアルゴリズムを用いて、撮像装置101(102)のマーカ座標系における位置と姿勢との推定を行う。
システム制御部203(213)は、マーカ座標系における撮像装置101(102)に基づいて定められた座標系の原点の位置と、座標系の姿勢と、を撮像装置101(102)の位置、姿勢として推定する。撮像装置101(102)に基づいて定められた座標系は、例えば、撮像装置101(102)に基づいて決定された点を原点として、撮像装置101(102)の姿勢の変化に合わせて姿勢(各座標軸の傾き)が変化する座標系である。システム制御部203(213)は、撮像装置101(102)に基づいて定められた座標系の一例である撮像部201(213)のレンズに基づいて定められた座標系の原点の位置と、座標系の姿勢と、を推定する。以下では、撮像装置のレンズに基づいて定められた座標系をレンズ座標系とする。
システム制御部203(213)は、撮像装置101(102)の位置を示す位置データとして、以下の式(1)で表されるように3次元の並進ベクトルTLのデータを取得する。式(1)のベクトルTLの各要素は、マーカ座標系における撮像装置101(102)上に予め定められた点の座標の座標値を示す。ベクトルTLは、マーカ座標系におけるマーカ座標系の原点から、撮像装置101(102)のレンズ座標系の原点までのベクトルである。
S606において、システム制御部203(213)は、位置姿勢推定処理が成功したことを示す成功フラグを返し(例えば、成功フラグの情報を記憶部209(215)に記憶し)、図6の処理を終了する。
S607において、システム制御部203(213)は、位置姿勢推定処理が失敗したことを示す失敗フラグを返す(例えば、成功フラグの情報を記憶部209(215)に記憶する)。
S504(S508)では、システム制御部203(213)は、例えば、記憶部209(215)に成功フラグが記憶されているか失敗フラグが記憶されているかに基づいて、位置姿勢推定処理が成功したか否かを判定することとなる。
まず、図7を用いて、撮像装置101の構造について説明する。図7(a)は、底面が地面に配置されている撮像装置101を、垂直方向真上から見た図である。図7(b)は、底面が地面に配置されている撮像装置101の側面図である。
ボトムケース701は、撮像装置101のハードウェア構成要素を格納するためのケースであり、撮像装置101の設置面に固定される。ターンテーブル702は、ボトムケース上で回転し、撮像装置101の撮影方向をパン方向に変化させるための機構である。支柱703は、カメラヘッド704を支える柱である。カメラヘッド704は、撮像部201が格納される部位である。パン駆動部204は、ボトムケース701に対して、ターンテーブル702を水平方向に回転させることで、撮像装置101の撮影方向をパン方向に変化させる。本実施形態では、パン駆動部204は、基準となる方向を0°として、ターンテーブル702を、左右方向に-175°から+175°まで回転することができる。
また、チルト駆動部205は、ターンテーブル702の上に備えられた支柱703におけるカメラヘッド704が固定された点を中心に、カメラヘッド704を垂直方向に回転することで、撮像装置101の撮影方向をチルト方向に変化させる。本実施形態では、チルト駆動部205は、カメラヘッド704を、水平方向0度から真上方向90度まで回転することができる。
撮像装置101のパン角をθとし、チルト角をφとする。この場合、S604の処理において用いられる撮像装置101のレンズ座標系は、例えば、以下のような座標系である。即ち、撮像部201のレンズの主点801を原点として、パン駆動の負方向に水平なXL軸、チルト駆動の正方向に水平なYL軸、レンズ光軸方向をZL軸によって定義される座標系である。
撮像装置101は、図3で説明したマーカ座標系から撮像装置101のレンズ座標系への変換方式を求めることで、マーカ座標系における撮像装置101の位置データ(TL)、姿勢データ(RL)を求めることとした。即ち、位置データTLは、マーカ座標系の原点OMからレンズ座標系の原点OLへの3次元並進ベクトルである。また、レンズ姿勢データRLは、マーカ座標系からレンズ座標系への変換を示す3×3の回転行列である。
そこで、本実施形態では、監視システムは、撮像装置101の位置姿勢を、撮像装置101のパンチルト駆動により変動しない座標系を用いて表すこととする。
撮像装置101のパン駆動軸、チルト駆動軸の交点802(OC)は、撮像装置101のパンチルト駆動により位置が変動しない。そのため、マーカ座標系の原点から原点OCまでのベクトルである撮像装置101の位置データは、撮像装置101のパン角θ、チルト角φに依存しないこととなる。
レンズの主点801から原点OCまでの距離dは、既知のデータとして記憶部209に記録されているものとする。また、カメラ座標系の座標軸を、XC軸、YC軸、ZC軸とする。ZC軸の方向は、撮像装置101のパン角θが0度、チルト角が+90度のときの光軸方向である。XC軸の方向は、撮像装置101のパン角θが-90度の方向である。YC軸の方向は、パン角θが-180度の方向である。
求められる撮像装置101の位置データは、マーカ座標の原点OMからカメラ原点OCへの並進ベクトルとなる。また、求められる撮像装置101の姿勢データはマーカ座標系から、カメラ座標系への回転行列となる。システム制御部203は、S605で、空間情報処理部208を介して、撮像装置101の位置データTCと姿勢データRCとを、レンズ位置データTL、レンズ姿勢データRL、パン角θ、チルト角φ、距離dを用いて求め直す。システム制御部203は、パン角θ、チルト角φを、パンチルトズーム制御部207に問い合わせることで取得することができる。
より具体的には、システム制御部203は、以下の式(3)を用いて、位置データTCを求める。
また、システム制御部203は、以下の式(4)を用いて、撮像装置101の姿勢データRCを求める。
システム制御部203は、このような処理により、パン角θ、チルト角φに依存しない撮像装置101の位置姿勢データを求めることができるため、後の処理の精度を向上できる。
本実施形態では、システム制御部203は、撮像装置101のパンチルト駆動により変動しない座標として、パン駆動軸とチルト駆動軸との交点を原点とする座標系を用いた。しかし、システム制御部203は、撮像装置101のパンチルト駆動により変動しない座標として、パン駆動軸とチルト駆動軸との交点以外の点を原点とする座標系を用いてもよい。例えば、システム制御部203は、ボトムケース701上に指定された点を原点とする座標系を用いることとしてもよい。
また、本実施形態では、撮像装置102は、パンチルト駆動ができない撮影方向が固定された撮像装置であるとした。しかし、撮像装置102は、パンチルト駆動ができ、撮影方向を変更可能な撮像装置であるとしてもよい。その場合、監視システムは、図7、8で説明した座標系と同様に、撮像装置102のパンチルト駆動で変動しない撮像装置102を基準に定められた撮像装置102のカメラ座標系を用いて、撮像装置102の位置姿勢を表すこととする。より具体的には、監視システムは、撮像装置102のカメラ座標系の原点の位置を撮像装置102の位置として、撮像装置102のカメラ座標系の傾きを撮像装置102の姿勢として用いることとなる。
本実施形態では、撮像装置101と撮像装置102との位置関係は、撮像装置101と撮像装置102とのうち基準となる一方の撮像装置に対する他方の撮像装置の位置姿勢データとして表されることとする。以下では、撮像装置101と撮像装置102とのうち基準となる一方の撮像装置を、基準撮像装置とする。
本実施形態では、システム制御部219は、撮像装置102を、基準撮像装置として定義する。システム制御部219は、図9の処理の開始前に、S505、S509で送信された撮像装置101、撮像装置102それぞれのマーカ座標系における位置データ(位置ベクトル)と、姿勢データ(姿勢行列)と、を取得している。
S901において、システム制御部219は、マーカ座標系における相対位置ベクトルを算出する。相対位置ベクトルは、基準撮像装置(撮像装置102)から見たときの他方の撮像装置(撮像装置101)の位置ベクトルである。マーカ座標系における撮像装置102の位置ベクトルをTBASE、マーカ座標系における撮像装置101の位置ベクトルをTPTZとすると、マーカ座標系における相対位置ベクトルTRMは、以下の式(5)のように求められる。そこで、システム制御部219は、式(5)を用いて相対位置ベクトルTRMを求める。
S902において、システム制御部219は、マーカ座標系における相対姿勢行列を求める。撮像装置102の姿勢行列をRBASE、撮像装置101の姿勢行列をRPTZとすると、マーカ座標系における相対姿勢行列RRMは以下の式(6)のように求められる。そこで、システム制御部219は、式(6)を用いて相対姿勢行列RRMを求める。
S903において、システム制御部219は、S901、S902で求めたマーカ座標系における相対位置ベクトルTRM、相対姿勢行列RRMを、基準撮像装置(撮像装置102)に基づいて定められた座標系で表すように座標変換を行う。以下では、基準撮像装置に基づいて定められた座標系を、基準カメラ座標系とする。基準カメラ座標系で表した相対位置ベクトルをTRとすると、TRは以下の式(7)で求められる。そこで、システム制御部219は、式(7)を用いて、基準カメラ座標系で表した相対位置ベクトルTRを求める。
S1001において、システム制御部219は、撮像装置101と撮像装置102とに対して、撮影した画像の送信の要求を示す要求コマンドを送信する。
S1002において、撮像装置102のシステム制御部213は、S1001で送信された要求コマンドを受け、撮像部201と画像処理部202とを介して画像を撮影し、撮影した画像をクライアント装置103に対して送信する処理を開始する。システム制御部213は、一度だけ画像を撮影し、撮影した画像をクライアント装置103に送信してもよいし、周期的に繰り返し画像を撮影し、撮影した画像をクライアント装置103に送信し続けることとしてもよい。
S1003において、撮像装置101のシステム制御部203は、S1001で送信された要求コマンドを受け、撮像部211と画像処理部212とを介して画像を撮影し、撮影した画像をクライアント装置103に対して送信する処理を開始する。システム制御部203は、一度だけ画像を撮影し、撮影した画像をクライアント装置103に送信してもよいし、周期的に繰り返し画像を撮影し、撮影した画像をクライアント装置103に送信し続けることとしてもよい。
S1005において、システム制御部219は、ユーザにより入力部218を介して指定された、クライアント装置103の表示部217に表示された撮像装置102の画像の領域を特定する。以下では、ここで特定された領域を、注目領域とする。
注目領域の指定方法には、表示部217に表示された映像上から注目したい場所をマウス等のポインティングデバイスで指定する方法等がある。この場合、注目領域として、矩形等の形式の領域が指定されることとしてもよいし、画像上の一点のみが指定されることとしてもよい。一点のみが指定された場合、システム制御部219は、例えば、画像内の指定された一点を中心とする予め定められた形式の領域を、注目領域として特定する。本実施形態では、画像内の一点のみが指定されるものとする。注目領域の指定に用いられるUserInterface(UI)については、図14で後述する。
S1006において、システム制御部219は、画像処理部223を介して、S1005で特定した注目領域の中心の点の画像上の座標(2次元データ)を抽出し、抽出した座標のデータを、撮像装置102に送信する。
S1008において、システム制御部213は、空間情報処理部214を介して、S1007で受信したデータが示す座標から、注目領域の中心点の空間上の座標を求める。注目領域の中心点の空間上の座標とは、撮像装置102のカメラ座標系における注目領域の座標を示す3次元のベクトルであるとする。注目領域の空間上の座標を求める処理の詳細については、図11、12で後述する。
S1009において、システム制御部213は、S1008で求めた注目領域の中心点の空間上の座標のデータをクライアント装置103に送信する。
S1010において、システム制御部219は、S1009で撮像装置102から送信されたカメラ座標系における注目領域の空間上の座標のデータを受信する。
S1011において、システム制御部219は、S1010で受信したデータが示す座標を、撮像装置101に送信する。本実施形態ではS1009~S1011において、撮像装置102により求められた注目領域の中心点の空間上の座標のデータは、クライアント装置103を介して、撮像装置101に送信されることとした。しかし、S1009で、撮像装置102のシステム制御部213は、S1008で求めた座標のデータを、直接、撮像装置101に送信することとしてもよい。
S1013において、システム制御部203は、空間情報処理部208を介して、S516で受信した情報が示す位置関係と、注目領域の中心点の空間上の座標(S1012で受信したデータが示す座標)と、に基づいて、パンチルト駆動する方向を求める。本実施形態では、撮像装置101と撮像装置102との位置関係を示すS516で受信した情報は、基準撮像装置(撮像装置102)に対する撮像装置101の位置姿勢の情報(例えば、TR、TRM、RR、RRM)である。システム制御部203は、例えば、S1012で受信したデータが示す座標を中心とする定められた領域を撮影できるようにするためのパンチルト駆動の方向を求める。S1013の処理の詳細については、図13で後述する。また、システム制御部203は、S1013では、注目領域の中心点の空間上の座標に基づいて、望ましいズーム角を求める処理を行ってもよい。
S1014において、システム制御部203は、パンチルトズーム制御部207を介して、S1013で求めた方向へのパンチルト駆動が可能であるか否かを判定する。撮像装置101のパンチルト駆動範囲は、パン駆動が-175度から+175度であり、チルト駆動が0度から+90度であるため、算出したパンチルト方向がこの範囲外であった場合はこの判定は偽となり、範囲内である場合は真となる。システム制御部203は、S1013で求めた方向へのパンチルト駆動が可能であると判定した場合、S1015の処理に進み、S1013で求めた方向へのパンチルト駆動が可能でないと判定した場合、図10の処理を終了する。
本実施形態では、S1008の処理、S1013の処理は、それぞれ撮像装置101、撮像装置102が、クライアント装置103からの指示に応じて行うこととした。しかし、クライアント装置103が各監視カメラからの配信映像に基づいて空間情報処理部222、画像処理部223を用いて撮像装置101のパンチルト方向を算出し、撮像装置101にパンチルト駆動の指示のみを行うこととしてもよい。
まず、図11を用いて、撮像装置102の構造の概略について説明する。図11(a)は、地面に水平に配置された撮像装置102を真上から見た図である。図11(b)は、撮像装置102の側面図である。図11(c)は、撮像装置102により撮影された画像の一例である。撮像装置102は、土台部1101とドーム部1102とを含む。ドーム部1102は、内部に撮像部211を含む。撮像部211は、視野角180度の非常に広角なレンズを含む。撮像装置102で撮像することで、図11(c)に示すように、Sピクセル四方の正方形の画像1104が得られる。正方形の画像1104は、180度の視野を画像上に投影した円形の視野領域1105と、円の外側の黒く塗りつぶされたマスク領域1106とを含む。正方形の画像1104上では、画像の左上を原点とし、右方向をXi軸、下方向をYi軸とする画像座標系が定義されることとする。
ここで、画像1104の視野領域1105内の任意のピクセルを選択し、画像上の座標を(Xj、Yj)とする。この座標は、撮像装置102から見たその座標に対応する画素に写っている被写体の方向に対応している。
また、撮像装置102の床からの高さHも既知のデータとすることができる。なぜならば、S504の処理にて、マーカ301を床に水平に設置していた場合、高さHは、マーカ座標系における撮像装置101の位置データが示すZM座標の絶対値に等しいからである。以上の条件より、VBASEは以下の式(13)で求めることができる。そこで、システム制御部213は、式(13)を用いて、VBASEを求める。
図13中の、撮像装置102から見た被写体1201へのベクトルVBASE、撮像装置102から撮像装置101への相対位置ベクトルTRは、S1013の処理の前に求められているとする。システム制御部203は、VBASEとTRとの差分をとることで、撮像装置102のカメラ座標系における撮像装置101から被写体1201へのベクトルVPTZ'を求める。システム制御部203は、以下の式(14)を用いて、VPTZ'を求める。
監視システムは、注目点の決定をトリガとして、図10の処理によって、撮像装置101の撮影方向を変更する。そして、撮像装置101は、撮影方向が変更された撮像条件の下で、撮像部211、画像処理部212によって画像を撮影し、通信部216を介して撮影した画像をクライアント装置103に送信する。クライアント装置103は、通信部220を介して画像を受信し、画像処理部223を介して、GUIのPTZ画像領域1402に合成し、GUIを表示部217に表示する。これによって、ユーザは容易に撮像装置101の撮影方向を変更し、撮影方向が変更された撮像装置101により撮影された画像を即座に確認することができる。
また、撮像装置101と撮像装置102とは、互いに共通の特徴点(マーカ301)を撮影できるように配置されていればよく、互いの画角の大部分がオーバーラップしている必要がない。即ち、監視システムは、特許文献1の場合よりも多くの状況において、セットアップ作業を支援することができる。
その後、監視システムは、決定した方向に撮影方向を変化させるように、撮像装置101に対してパンチルト駆動を行った。これにより、監視システムは、より軽負担に、より多くの状況において、撮像装置101の撮影方向を調整できる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。上述した各実施形態を任意に組み合わせてもよい。
102 撮像装置
103 クライアント装置
Claims (10)
- 第1撮像装置により撮影された画像に含まれるマーカの検出結果を用いて特定される前記第1撮像装置の位置と、撮影方向を変更可能な第2撮像装置により撮影された画像に含まれる前記マーカの検出結果を用いて特定される前記第2撮像装置の位置とに基づき、前記第1撮像装置と前記第2撮像装置との位置関係を特定する特定手段と、
前記特定手段により特定された前記第1撮像装置と前記第2撮像装置との位置関係と、前記第1撮像装置により撮影された画像内に指定された位置と、に基づいて、前記第2撮像装置の撮影方向を決定する決定手段と、を有し、
前記第2撮像装置の位置は、前記第2撮像装置の撮影方向が変更された場合であっても変化しない位置であって、前記第2撮像装置により撮影された画像に含まれる前記マーカの検出結果を用いて特定される前記第2撮像装置のレンズに基づく位置を、所定距離だけ補正することで特定される位置であることを特徴とする情報処理装置。 - 前記第1撮像装置の位置は、前記第1撮像装置のレンズに基づいて定められた座標系であるレンズ座標系の原点に対応し、
前記第2撮像装置の位置は、前記第2撮像装置の撮影方向によっては変化しない座標系であるカメラ座標系の原点に対応し、
前記特定手段は、前記マーカに基づいて定められた座標系であるマーカ座標系における前記レンズ座標系の原点の位置と、前記マーカ座標系における前記カメラ座標系の原点の位置と、前記マーカ座標系における前記レンズ座標系の姿勢と、前記マーカ座標系における前記カメラ座標系の姿勢と、に基づいて、前記第1撮像装置と前記第2撮像装置との位置関係を特定する請求項1に記載の情報処理装置。 - 前記第2撮像装置の前記撮影方向を、前記決定手段により決定された撮影方向に変更する変更手段を更に有する請求項1又は2に記載の情報処理装置。
- 前記第1撮像装置によって撮像された画像を表示する第1表示手段と、
前記第2撮像装置によって撮像された画像を表示する第2表示手段と、
前記第1表示手段によって表示された画像上の注目領域の指定を受付ける受付手段と、
を更に有し、
前記決定手段は、前記特定手段により特定された前記第1撮像装置と前記第2撮像装置との位置関係と、前記受付手段により受付けられた前記指定が示す位置と、に基づいて、前記第2の撮像装置の撮影方向を決定する請求項1乃至3何れか1項記載の情報処理装置。 - 前記検出手段により検出された特徴点に基づいて、前記第1の撮像装置と前記第2の撮像装置との少なくとも1つの床からの高さを取得する取得手段を更に有する請求項1乃至4何れか1項記載の情報処理装置。
- 前記所定距離は、予め記録された距離であることを特徴とする請求項1乃至5何れか1項記載の情報処理装置。
- 第1撮像装置により撮影された画像に含まれるマーカを検出する第1検出手段と、
撮影方向を変更可能な第2撮像装置により撮影された画像に含まれる前記マーカを検出する第2検出手段と、
前記第1検出手段の検出結果を用いて特定される前記第1撮像装置の位置と、前記第2検出手段の検出結果を用いて特定される前記第2撮像装置の位置と、に基づいて、前記第1撮像装置と前記第2撮像装置との位置関係を特定する特定手段と、
前記特定手段により特定された前記第1撮像装置と前記第2撮像装置との位置関係と、前記第1撮像装置により撮影された画像内に指定された位置と、に基づいて、前記第2撮像装置の撮影方向を決定する決定手段と、を有し、
前記第2撮像装置の位置は、前記第2撮像装置の撮影方向が変更された場合であっても変化しない位置であって、前記第2撮像装置により撮影された画像に含まれる前記マーカの検出結果を用いて特定される前記第2撮像装置のレンズに基づく位置を、所定距離だけ補正することで特定される位置であることを特徴とするシステム。 - 情報処理装置が実行する情報処理方法であって、
第1の撮像装置により撮影された画像に含まれるマーカの検出結果を用いて特定される前記第1撮像装置の位置と、撮影方向を変更可能な第2の撮像装置により撮影された画像に含まれる前記マーカの検出結果を用いて特定される前記第2撮像装置の位置とに基づき、前記第1撮像装置と前記第2撮像装置との位置関係を特定する特定ステップと、
前記特定ステップで特定された前記第1撮像装置と前記第2撮像装置との位置関係と、前記第1撮像装置により撮影された画像内に指定された位置と、に基づいて、前記第2撮像装置の撮影方向を決定する決定ステップと、を含み、
前記第2撮像装置の位置は、前記第2撮像装置の撮影方向が変更された場合であっても変化しない位置であって、前記第2撮像装置により撮影された画像に含まれる前記マーカの検出結果を用いて特定される前記第2撮像装置のレンズに基づく位置を、所定距離だけ補正することで特定される位置であることを特徴とする情報処理方法。 - システムが実行する情報処理方法であって、
第1撮像装置により撮影された画像に含まれるマーカを検出する第1検出ステップと、
撮影方向を変更可能な第2撮像装置により撮影された画像に含まれる前記マーカを検出する第2検出ステップと、
前記第1検出ステップにおける検出結果を用いて特定される前記第1撮像装置の位置と、前記第2検出ステップにおける検出結果を用いて特定される前記第2撮像装置の位置と、に基づいて、前記第1撮像装置と前記第2撮像装置との位置関係を特定する特定ステップと、
前記特定ステップで特定された前記第1撮像装置と前記第2撮像装置との位置関係と、前記第1撮像装置により撮影された画像内に指定された位置と、に基づいて、前記第2撮像装置の撮影方向を決定する決定ステップと、を含み、
前記第2撮像装置の位置は、前記第2撮像装置の撮影方向が変更された場合であっても変化しない位置であって、前記第2撮像装置により撮影された画像に含まれる前記マーカの検出結果を用いて特定される前記第2撮像装置のレンズに基づく位置を、所定距離だけ補正することで特定される位置であることを特徴とする情報処理方法。 - コンピュータを、請求項1乃至6何れか1項記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018107658A JP7204346B2 (ja) | 2018-06-05 | 2018-06-05 | 情報処理装置、システム、情報処理方法及びプログラム |
CN201910440764.5A CN110572564B (zh) | 2018-06-05 | 2019-05-24 | 信息处理设备、信息处理方法及存储介质 |
US16/428,689 US11132814B2 (en) | 2018-06-05 | 2019-05-31 | Information processing apparatus, information processing method, and storage medium |
EP19178050.1A EP3579190A1 (en) | 2018-06-05 | 2019-06-04 | Information processing apparatus, information processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018107658A JP7204346B2 (ja) | 2018-06-05 | 2018-06-05 | 情報処理装置、システム、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019211337A JP2019211337A (ja) | 2019-12-12 |
JP7204346B2 true JP7204346B2 (ja) | 2023-01-16 |
Family
ID=66810671
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018107658A Active JP7204346B2 (ja) | 2018-06-05 | 2018-06-05 | 情報処理装置、システム、情報処理方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11132814B2 (ja) |
EP (1) | EP3579190A1 (ja) |
JP (1) | JP7204346B2 (ja) |
CN (1) | CN110572564B (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020167517A (ja) * | 2019-03-29 | 2020-10-08 | ソニー株式会社 | 画像処理装置と画像処理方法とプログラムおよび撮像装置 |
CN112399033B (zh) * | 2019-08-14 | 2022-04-15 | 杭州海康威视数字技术股份有限公司 | 摄像机组件和监控摄像机 |
CN113822937B (zh) * | 2020-06-18 | 2024-01-26 | 中移(苏州)软件技术有限公司 | 一种图像校正方法、装置、设备及存储介质 |
JP7456911B2 (ja) | 2020-10-13 | 2024-03-27 | 株式会社日立製作所 | 情報処理システム及び情報処理装置 |
US11956537B2 (en) * | 2021-03-19 | 2024-04-09 | Casio Computer Co., Ltd. | Location positioning device for moving body and location positioning method for moving body |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010520565A (ja) | 2007-03-02 | 2010-06-10 | オーガニック・モーション | 三次元の物体を追跡記録するシステム及び方法 |
JP2011507714A (ja) | 2007-12-27 | 2011-03-10 | ライカ ジオシステムズ アクチェンゲゼルシャフト | 空間内において少なくとも1つのオブジェクトを最終姿勢に高精度で位置決めするための方法およびシステム |
JP2013527998A (ja) | 2010-03-19 | 2013-07-04 | ユニバーシティ−インダストリ コーポレーション グループ オブ キュン ヘ ユニバーシティ | 監視システム |
JP2013231607A (ja) | 2012-04-27 | 2013-11-14 | Sharp Corp | 校正器具表示装置、校正器具表示方法、校正装置、校正方法、校正システム及びプログラム |
JP2014520351A (ja) | 2011-07-08 | 2014-08-21 | レストレーション ロボティクス,インク. | カメラシステムの座標系の較正および変換 |
JP2016105577A (ja) | 2014-11-25 | 2016-06-09 | 日本放送協会 | カメラモデルパラメータ推定装置及びそのプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7444664B2 (en) * | 2004-07-27 | 2008-10-28 | Microsoft Corp. | Multi-view video format |
JP4859205B2 (ja) | 2005-02-04 | 2012-01-25 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US7884849B2 (en) * | 2005-09-26 | 2011-02-08 | Objectvideo, Inc. | Video surveillance system with omni-directional camera |
JP4861105B2 (ja) * | 2006-09-15 | 2012-01-25 | 株式会社エヌ・ティ・ティ・ドコモ | 空間掲示板システム |
US8488001B2 (en) * | 2008-12-10 | 2013-07-16 | Honeywell International Inc. | Semi-automatic relative calibration method for master slave camera control |
CN103780830B (zh) | 2012-10-17 | 2017-04-12 | 晶睿通讯股份有限公司 | 连动式摄影系统及其多摄影机的控制方法 |
-
2018
- 2018-06-05 JP JP2018107658A patent/JP7204346B2/ja active Active
-
2019
- 2019-05-24 CN CN201910440764.5A patent/CN110572564B/zh active Active
- 2019-05-31 US US16/428,689 patent/US11132814B2/en active Active
- 2019-06-04 EP EP19178050.1A patent/EP3579190A1/en not_active Withdrawn
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010520565A (ja) | 2007-03-02 | 2010-06-10 | オーガニック・モーション | 三次元の物体を追跡記録するシステム及び方法 |
JP2011507714A (ja) | 2007-12-27 | 2011-03-10 | ライカ ジオシステムズ アクチェンゲゼルシャフト | 空間内において少なくとも1つのオブジェクトを最終姿勢に高精度で位置決めするための方法およびシステム |
JP2013527998A (ja) | 2010-03-19 | 2013-07-04 | ユニバーシティ−インダストリ コーポレーション グループ オブ キュン ヘ ユニバーシティ | 監視システム |
JP2014520351A (ja) | 2011-07-08 | 2014-08-21 | レストレーション ロボティクス,インク. | カメラシステムの座標系の較正および変換 |
JP2013231607A (ja) | 2012-04-27 | 2013-11-14 | Sharp Corp | 校正器具表示装置、校正器具表示方法、校正装置、校正方法、校正システム及びプログラム |
JP2016105577A (ja) | 2014-11-25 | 2016-06-09 | 日本放送協会 | カメラモデルパラメータ推定装置及びそのプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2019211337A (ja) | 2019-12-12 |
US11132814B2 (en) | 2021-09-28 |
CN110572564A (zh) | 2019-12-13 |
CN110572564B (zh) | 2022-02-08 |
US20190371000A1 (en) | 2019-12-05 |
EP3579190A1 (en) | 2019-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7204346B2 (ja) | 情報処理装置、システム、情報処理方法及びプログラム | |
JP5740884B2 (ja) | 繰り返し撮影用arナビゲーション及び差異抽出のシステム、方法及びプログラム | |
US10297005B2 (en) | Method for generating panoramic image | |
JP5093053B2 (ja) | 電子カメラ | |
US20180139374A1 (en) | Smart and connected object view presentation system and apparatus | |
JP4914171B2 (ja) | 撮像装置の制御方法及びカメラシステム | |
CN112399033B (zh) | 摄像机组件和监控摄像机 | |
CN112839165B (zh) | 人脸跟踪摄像的实现方法、装置、计算机设备和存储介质 | |
US20220103751A1 (en) | Communication management apparatus, image communication system, communication management method, and recording medium | |
CN109104562B (zh) | 信息处理设备、信息处理方法和记录介质 | |
KR100585822B1 (ko) | 실시간 파노라마 비디오 영상을 이용한 감시 시스템 및 그시스템의 제어방법 | |
KR101452342B1 (ko) | 감시카메라 유닛 및 그 구동방법 | |
JPH118845A (ja) | パノラマ画像生成装置および方法 | |
US10089726B2 (en) | Image processing apparatus, image processing method, and storage medium, relating to generating an image corresponding to a predetermined three-dimensional shape by transforming a captured image | |
JP2015115851A (ja) | フォーカス制御装置およびフォーカス制御方法 | |
JP2020071854A (ja) | 画像処理装置、画像処理方法及びプログラム | |
KR20170055455A (ko) | 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템 및 그가 적용된 tvi 장치 | |
JP7237520B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2020198468A (ja) | 撮像装置、撮像方法及びプログラム | |
JP7059829B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6128966B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP2012244311A (ja) | カメラ遠隔制御装置およびカメラ遠隔制御方法 | |
KR102455297B1 (ko) | 수직선 벡터를 이용한 cctv 영상 보정 시스템과 이에 적용되는 장치 및 방법 | |
JP2023016580A (ja) | 撮像システム、撮像方法、及びコンピュータプログラム | |
JP2024082117A (ja) | 情報処理装置、撮像装置、撮像システム、方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210521 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220719 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221228 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7204346 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |