JP6073114B2 - ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステム - Google Patents
ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステム Download PDFInfo
- Publication number
- JP6073114B2 JP6073114B2 JP2012253089A JP2012253089A JP6073114B2 JP 6073114 B2 JP6073114 B2 JP 6073114B2 JP 2012253089 A JP2012253089 A JP 2012253089A JP 2012253089 A JP2012253089 A JP 2012253089A JP 6073114 B2 JP6073114 B2 JP 6073114B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- depth
- unit
- master
- gazing point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000013598 vector Substances 0.000 claims description 36
- 239000011159 matrix material Substances 0.000 claims description 27
- 238000013519 translation Methods 0.000 claims description 17
- 230000003287 optical effect Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Description
図8では、ロボットカメラMCの光軸βの上にある注視点を符号Qで図示した。
従来の多視点ロボットカメラシステムにおいて、注視点が被写体に重なるようにデプス調整を行う作業は、被写界深度が極めて浅い撮影環境で被写体にピントを合わせる作業とほぼ等価になる。
なお、図8では、図面を見やすくするため、スレーブカメラの図示を省略した(図3も同様)。
かかる構成によれば、ロボットカメラ制御装置は、マスターカメラのオートフォーカス機能を利用して、前方被写界深度及び後方被写界深度を取得する。
本願第1,3,4発明によれば、ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステムは、デプス入力範囲を前方被写界深度から後方被写界深度までの間に狭めるため、デプス調整の作業時間を短縮することができる。
[多視点ロボットカメラシステムの構成]
図1を参照し、本願発明の実施形態に係る多視点ロボットカメラシステム100の構成について、説明する。
図1に示すように、多視点ロボットカメラシステム100は、被写体の多視点映像を撮影するものであり、ロボットカメラ制御装置1と、マスターカメラMCと、スレーブカメラSC1,…,SCn(SC)とを備える。
また、スレーブカメラSCは、n台であることとする(但し、n≧1を満たす整数)。
なお、デプス値とは、マスターカメラMCから注視点までの距離を示す。
ここで、図2(b)に示すように、回転ダイヤル26を時計回りに回転させる程、エンコーダ27のエンコーダ値(移動操作の検出値)が増大する。そして、回転ダイヤル26に刻まれた指標26aが指標位置「△最大」に達したときに、エンコーダ27のエンコーダ値が最大となる。
一方、回転ダイヤル26を反時計回りに回転させる程、エンコーダ27のエンコーダ値が減少する。そして、回転ダイヤル26に刻まれた指標26aが指標位置「△最小」に達したときに、エンコーダ27のエンコーダ値が最小となる。
図4,図5を参照して、デプス操作部25によるデプス値の変化について、説明する(適宜図1,2参照)。
図4に示すように、カメラマンは、マスターカメラMCの撮影映像90を見ながら、マスターカメラMCが被写体αを捉えるようにパン・チルト操作部21及びズーム・アイリス操作部23を操作する。従って、マスターカメラMCの撮影映像90は、画面中央に被写体αが捉えられている。一方、スレーブカメラSCの撮影映像91は、被写体αが捉えられていない。
なお、ズーム・アイリス操作部23は、カメラマン以外が遠隔操作することもある。
この最大距離B及び最大検出値tmaxは、予め設定されている。
カメラキャリブレーション部30は、マスターカメラMC及びスレーブカメラSCのカメラパラメータ(Am,Rm,Tm,p0m,t0m,z0m,f0m,i0m,An,Rn,Tn,p0n,t0n,z0n,f0n,i0n)をカメラキャリブレーションにより算出して、メモリやハードディスク等の記憶装置(不図示)に格納するものである。
なお、添え字mがマスターカメラMCを示す。
参考文献「デジタル画像処理:財団法人 画像情報教育振興協会」
なお、回転行列R´rectmが請求項に記載の「マスターカメラにおける回転行列」に相当する。
なお、式(9)のベクトルe´xm,e´ymは、以後の計算に利用されない。
図6(a)の注視点Q1〜Q4は、マスターカメラMCの光軸βの上を移動する注視点について、時間t=1〜4での位置を示している。
前記したように、デプス操作部25がデプス値を非線形に変化(増減)させるため、注視点Q1〜Q4の単位時間あたりの移動距離は、マスターカメラMCから離れる程、広くなる。つまり、注視点Q1,Q2の距離よりも注視点Q2,Q3の距離が広くなり、注視点Q2,Q3の距離よりも注視点Q3,Q4の距離が広くなる。このため、時間t=1〜2におけるスレーブカメラSCの制御角度Aと、時間t=3〜4におけるスレーブカメラSCの制御角度Bとが、等しくなる。
つまり、指標26aが指標位置「Q1」に重なるとき、図6(a)の注視点Q1を指す。これと同様、指標26aが指標位置「Q2」に重なるときに図6(a)の注視点Q2を指し、指標26aが指標位置「Q3」に重なるときに図6(a)の注視点Q3を指し、指標26aが指標位置「Q4」に重なるときに図6(a)の注視点Q4を指す。
スレーブカメラ制御部601,…,60nは、スレーブカメラSC1,…,SCnを制御するものであり、パン・チルト制御部611,…,61n(61)と、フォーカス制御部631,…,63n(63)と、ズーム・アイリス制御部651,…,65n(65)とを備える。
なお、スレーブカメラ制御部601,…,60nは、スレーブカメラSC1,…,SCnに対応するように備えられており、全て同一構成である。
なお、“‖‖”はノルムを示す。
なお、e1,e2,e3は、それぞれ、単位ベクトルeCznのX軸、Y軸、Z軸成分を示す。
なお、E1,E2,E3は、それぞれ、ベクトルEznのX軸、Y軸、Z軸成分を示す。
図7を参照し、図1の多視点ロボットカメラシステム100の動作について、説明する(適宜図1参照)。
多視点ロボットカメラシステム100は、カメラキャリブレーション部30によって、マスターカメラMC及びスレーブカメラSCのカメラパラメータと、パン値と、チルト値と、ズーム値と、フォーカス値と、アイリス値とを算出し(ステップS1)、記憶装置に格納する(ステップ2)。
多視点ロボットカメラシステム100は、ズーム・アイリス操作部23によって、カメラマンの操作に応じたズーム値及びアイリス値を検出して、パン・チルト・ズーム・アイリス制御部41と、ズーム・アイリス制御部65とに出力する。
多視点ロボットカメラシステム100は、デプス値設定部10によって、マスターカメラMCから入力された被写界深度をデプス調整範囲に変換して、デプス操作部25に設定する。
多視点ロボットカメラシステム100は、デプス操作部25によって、デプス値設定部10が設定したデプス調整範囲内で、カメラマンの操作に応じてデプス値を出力する(ステップS3)。
多視点ロボットカメラシステム100は、フォーカス制御部43によって、デプス値に対応したフォーカス値を算出し、算出したフォーカス値をフォーカス制御信号に変換して、マスターカメラMCに出力する(ステップS4)。
多視点ロボットカメラシステム100は、注視点算出部50によって、式(10)のように、回転行列R´rectmに含まれるベクトルezmとデプス値kとの積に並進ベクトルTmを加算することで、注視点Qの世界座標Pを算出する(ステップS5)。
多視点ロボットカメラシステム100は、フォーカス制御部63によって、注視点Qに合焦するようにスレーブカメラSCのフォーカスを制御する。
多視点ロボットカメラシステム100は、ズーム・アイリス制御部65によって、ズーム値及びアイリス値に基づいて、スレーブカメラSCのズーム及びアイリスを制御する(ステップS6)。
多視点ロボットカメラシステム100は、マスターカメラMC及びスレーブカメラSCによって、撮影を行う(ステップS7)。
被写体にピントがあっている場合(ステップS8でYes)、多視点ロボットカメラシステム100は、処理を終了する。
本願発明の変形例1に係る多視点ロボットカメラシステム100Bは、デプス操作部25Bでデプス値を非線形に変化させない点が、前記した実施形態と異なる。
つまり、デプス操作部25Bは、前記した式(1)〜式(4)を用いずに、エンコーダ値から変換されたデプス値をそのまま、フォーカス制御部43と、注視点算出部40とに出力する。
以上のように、本願発明の変形例1に係る多視点ロボットカメラシステム100Bは、前記した実施形態と同様、デプス調整の作業時間を短縮することができる。
前記した実施形態では、デプス操作部25が回転ダイヤル26を備えることとして説明したが、本願発明は、これに限定されない。
例えば、デプス操作部25は、回転ダイヤル26の代わりにスライダを備えてもよい。
10,10A デプス値設定部(デプス入力範囲設定部)
20 操作インターフェース部
21 パン・チルト操作部(カメラ姿勢操作部)
23 ズーム・アイリス操作部
25,25B デプス操作部(デプス値入力部)
26 回転ダイヤル
27 エンコーダ
30 カメラキャリブレーション部
40 マスターカメラ制御部
41 パン・チルト・ズーム・アイリス制御部
43 フォーカス制御部
50 注視点算出部
60 スレーブカメラ制御部
61 パン・チルト制御部
63 フォーカス制御部
65 ズーム・アイリス制御部
100、100A,100B 多視点ロボットカメラシステム
MC マスターカメラ
SC スレーブカメラ
Claims (4)
- 複数台のロボットカメラのうち、予め設定された1台のロボットカメラであるマスターカメラの光軸上を移動可能な注視点に向くように、前記マスターカメラ以外のロボットカメラであるスレーブカメラの姿勢を制御するロボットカメラ制御装置であって、
前記マスターカメラのカメラ姿勢を操作するカメラ姿勢操作部と、
前記マスターカメラから前記注視点までの距離を示すデプス値が、所定のデプス入力範囲内で入力され、前記注視点が前記マスターカメラから離れる程、単位時間あたりの前記注視点の移動距離が長くなるように、入力された前記デプス値を非線形に変化させるデプス値入力部と、
被写体に合焦したときの前記マスターカメラの前方被写界深度から後方被写界深度までの範囲を、予め設定された被写界深度と前記デプス値との対応関係に基づいて、前記デプス入力範囲に変換して前記デプス値入力部に設定するデプス入力範囲設定部と、
カメラキャリブレーションを行ったときの前記マスターカメラのカメラ姿勢と、前記マスターカメラの外部パラメータである並進ベクトルとを、前記カメラキャリブレーションにより算出するカメラキャリブレーション部と、
前記カメラ姿勢操作部と前記カメラキャリブレーション部とのカメラ姿勢の差分に基づいて、前記マスターカメラにおける回転行列を算出し、算出した前記回転行列に含まれる奥行成分のベクトルと前記デプス値との積に前記並進ベクトルを加算することで、前記注視点の位置を算出する注視点算出部と、
前記注視点算出部が算出した注視点に向くように、前記スレーブカメラの姿勢を制御するスレーブカメラ制御部と、
を備えることを特徴とするロボットカメラ制御装置。 - 前記デプス入力範囲設定部は、前記マスターカメラから前記前方被写界深度及び前記後方被写界深度が入力されることを特徴とする請求項1に記載のロボットカメラ制御装置。
- 複数台のロボットカメラのうち、予め設定された1台のロボットカメラであるマスターカメラと、前記マスターカメラ以外のロボットカメラであるスレーブカメラと、前記マスターカメラの光軸上を移動可能な注視点に向くように前記スレーブカメラの姿勢を制御するロボットカメラ制御装置とを備える多視点ロボットカメラシステムであって、
前記ロボットカメラ制御装置が、
前記マスターカメラのカメラ姿勢を操作するカメラ姿勢操作部と、
前記マスターカメラから前記注視点までの距離を示すデプス値が、所定のデプス入力範囲内で入力され、前記注視点が前記マスターカメラから離れる程、単位時間あたりの前記注視点の移動距離が長くなるように、入力された前記デプス値を非線形に変化させるデプス値入力部と、
被写体に合焦したときの前記マスターカメラの前方被写界深度から後方被写界深度までの範囲を、予め設定された被写界深度と前記デプス値との対応関係に基づいて、前記デプス入力範囲に変換して前記デプス値入力部に設定するデプス入力範囲設定部と、
カメラキャリブレーションを行ったときの前記マスターカメラのカメラ姿勢と、前記マスターカメラの外部パラメータである並進ベクトルとを、前記カメラキャリブレーションにより算出するカメラキャリブレーション部と、
前記カメラ姿勢操作部と前記カメラキャリブレーション部とのカメラ姿勢の差分に基づいて、前記マスターカメラにおける回転行列を算出し、算出した前記回転行列に含まれる奥行成分のベクトルと前記デプス値との積に前記並進ベクトルを加算することで、前記注視点の位置を算出する注視点算出部と、
前記注視点算出部が算出した注視点に向くように、前記スレーブカメラの姿勢を制御するスレーブカメラ制御部と、
を備えることを特徴とする多視点ロボットカメラシステム。 - 複数台のロボットカメラのうち、予め設定された1台のロボットカメラであるマスターカメラの光軸上を移動可能な注視点に向くように、前記マスターカメラ以外のロボットカメラであるスレーブカメラの姿勢を制御するために、前記マスターカメラのカメラ姿勢を操作するカメラ姿勢操作部と、前記マスターカメラから前記注視点までの距離を示すデプス値が、所定のデプス入力範囲内で入力され、前記注視点が前記マスターカメラから離れる程、単位時間あたりの前記注視点の移動距離が長くなるように、入力された前記デプス値を非線形に変化させるデプス値入力部とを備えるコンピュータを、
被写体に合焦したときの前記マスターカメラの前方被写界深度から後方被写界深度までの範囲を、予め設定された被写界深度と前記デプス値との対応関係に基づいて、前記デプス入力範囲に変換して前記デプス値入力部に設定するデプス入力範囲設定部、
カメラキャリブレーションを行ったときの前記マスターカメラのカメラ姿勢と、前記マスターカメラの外部パラメータである並進ベクトルとを、前記カメラキャリブレーションにより算出するカメラキャリブレーション部、
前記カメラ姿勢操作部と前記カメラキャリブレーション部とのカメラ姿勢の差分に基づいて、前記マスターカメラにおける回転行列を算出し、算出した前記回転行列に含まれる奥行成分のベクトルと前記デプス値との積に前記並進ベクトルを加算することで、前記注視点の位置を算出する注視点算出部、
前記注視点算出部が算出した注視点に向くように、前記スレーブカメラの姿勢を制御するスレーブカメラ制御部、
として機能させるためのロボットカメラ制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012253089A JP6073114B2 (ja) | 2012-11-19 | 2012-11-19 | ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012253089A JP6073114B2 (ja) | 2012-11-19 | 2012-11-19 | ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014103491A JP2014103491A (ja) | 2014-06-05 |
JP6073114B2 true JP6073114B2 (ja) | 2017-02-01 |
Family
ID=51025647
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012253089A Active JP6073114B2 (ja) | 2012-11-19 | 2012-11-19 | ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6073114B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6450226B2 (ja) * | 2015-03-13 | 2019-01-09 | 日本放送協会 | カメラ制御装置及びそのプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4544282B2 (ja) * | 2007-09-14 | 2010-09-15 | ソニー株式会社 | データ処理装置、およびデータ処理方法、並びにプログラム |
JP5509044B2 (ja) * | 2010-11-22 | 2014-06-04 | 日本放送協会 | 多視点ロボットカメラシステム、多視点ロボットカメラ制御装置及びプログラム |
-
2012
- 2012-11-19 JP JP2012253089A patent/JP6073114B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014103491A (ja) | 2014-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102143456B1 (ko) | 심도 정보 취득 방법 및 장치, 그리고 이미지 수집 디바이스 | |
JP6551392B2 (ja) | 画像キャプチャに関する装置を制御するシステムおよび方法 | |
US9531938B2 (en) | Image-capturing apparatus | |
US9832362B2 (en) | Image-capturing apparatus | |
JP2015192697A (ja) | 制御装置および制御方法、並びに撮影制御システム | |
US10012982B2 (en) | System and method for focus and context views for telepresence and robotic teleoperation | |
JP2018106496A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN104853105B (zh) | 基于可控制镜头倾斜的摄像装置的三维快速自动对焦方法 | |
CN104950726B (zh) | 遥控行驶装置用的延时校正方法及其装置 | |
JP2013033247A (ja) | レンズ制御装置およびレンズ制御装置を備えた交換レンズ | |
JP2012114593A (ja) | 多視点ロボットカメラシステム、多視点ロボットカメラ制御装置及びプログラム | |
CN110291777B (zh) | 图像采集方法、设备及机器可读存储介质 | |
JP2017118318A (ja) | 撮像装置及び撮像方法 | |
JP2014027528A (ja) | 射影変換映像生成装置及びそのプログラム、並びに、多視点映像表現装置 | |
JP6700935B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
US9420161B2 (en) | Image-capturing apparatus | |
JP5223096B2 (ja) | 3d映像撮影制御システム、3d映像撮影制御方法、およびプログラム | |
JP6073114B2 (ja) | ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステム | |
JP2017028510A (ja) | 多視点映像生成装置及びそのプログラム、並びに、多視点映像生成システム | |
KR20160020828A (ko) | 비행 촬영 시스템 및 그 운용 방법 | |
JP2014103490A (ja) | ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステム | |
JP2015126402A (ja) | ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステム | |
JP5925109B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
US9083955B2 (en) | Three-dimensional image pickup system | |
WO2022041013A1 (zh) | 控制方法、手持云台、系统及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20140328 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151001 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160704 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160712 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160901 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170104 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6073114 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |