JP6677980B2 - パノラマビデオデータの処理装置、処理方法及び処理プログラム - Google Patents
パノラマビデオデータの処理装置、処理方法及び処理プログラム Download PDFInfo
- Publication number
- JP6677980B2 JP6677980B2 JP2015136346A JP2015136346A JP6677980B2 JP 6677980 B2 JP6677980 B2 JP 6677980B2 JP 2015136346 A JP2015136346 A JP 2015136346A JP 2015136346 A JP2015136346 A JP 2015136346A JP 6677980 B2 JP6677980 B2 JP 6677980B2
- Authority
- JP
- Japan
- Prior art keywords
- video data
- patch
- frame
- panoramic video
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 29
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000000034 method Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 6
- 230000006641 stabilisation Effects 0.000 description 6
- 238000011105 stabilization Methods 0.000 description 6
- 230000000087 stabilizing effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Description
図1は、本実施形態による処理装置の構成図であり、図2は、本実施形態よるパノラマビデオデータ安定化処理のフローチャートである。図1の記憶部1には、撮像装置で撮影した安定化処理前のパノラマビデオデータ(以下、単に、ビデオデータとも呼ぶ。)が格納される。なお、記憶部1に格納されているビデオデータで再生される動画は、N個のフレームからなるものとする。また、制御部8は、処理装置の全体を制御する。S10において、制御部8は、フレームのインデックスiを1に初期化する。S11において、パッチ選択部2は、記憶部1に記憶されているビデオデータのi番目のフレーム(以下、フレームIiと呼ぶ。)からパッチPiを選択する。本実施形態において、パッチPiとは、フレームIiの一部の領域の画像であり、パッチPiの大きさは、2次元(平面)画像と見做せる程度の大きさとする。なお、パッチPiの大きさを小さくし過ぎると、パッチPi内の特徴点の数が少なくなり過ぎるため、パッチPiの大きさは、2次元画像と見做せる程度の大きさで可能な限り大きくする。例えば、パッチPiとして、元のフレームの大きさの0.15倍程度の大きさを選択することができる。また、パッチPiとして選択するフレームIi内の位置は任意であるが、例えば、フレームIiの中央を含む様にする。これは、通常、フレームの中央付近に特徴点が多いからである。なお、最初のフレームI1のパッチP1についてはユーザが選択し、その後のフレームからのパッチ選択については、ユーザが選択した位置或いはその近傍にて行う構成であっても良い。
なお、sは任意のスカラー値である。
Δβi=360×ΔS/W
ここで、Wは、図6に示す様に、極座標における中心点O´を通る水平面内の円周である。なお、本実施形態では中心点O´を通る水平面内の円周をWとするが、中心点Oを通る水平面内の円周としても良い。或いは、中心点Oを通る水平面内の円周と中心点O´を通る水平面内の円周の平均値等をWとしても良い。さらには、中心点Oを通る水平面内の円周と中心点O´を通る水平面内の円周の小さい方の値以上であり、かつ、大きい方の値以下の任意の値をWとすることができる。
Δαi=360×ΔT/H
ここで、Hは、極座標における円周の半分の値である。これは、全周囲画像を平面座標で示す場合、そのV軸方向の長さは、円周の半分に基づきスケーリングされるからである。
Δγi=(a+b+c+d)/4
なお、α0、β0及びγ0は、所定の初期値である。データ変換部7は、S20で、k番目のフレームを(−αk、−βk、−γk)だけ回転させる様にデータ変換し、変換後のデータを記憶部1に保存する。これにより、各フレーム間の角度差が減少し、ブレを低減させることができる。変換後のビデオデータにより、ブレの少ない安定した動画像を再生することができる。
続いて第二実施形態について、第一実施形態との相違点を中心に説明する。第一実施形態においてデータ変換部7は、回転角度判定部6が判定した(Δαi,Δβi,Δγi)の総てを使用してビデオデータの変換を行った。しかしながら、フレームのピントが合っていないことや、大きなブレ等により(Δαi,Δβi,Δγi)に大きな誤差が含まれると、安定化処理の精度が劣化する。特に、k番目のフレーム回転角度(αk、βk、γk)は、上述した様に、(Δαi,Δβi,Δγi)の積算値であるため、あるところで誤差の大きな(Δαi,Δβi,Δγi)が生じると、その誤差は、それ以後の総てのフレームに波及してしまう。
よう懇願する次第であります。
第一実施形態においては、回転角度判定部6が判定した(Δαi,Δβi,Δγi)をそのまま使用して(αk、βk、γk)を求めていた。本実施形態では、(Δαi,Δβi,Δγi)をi=1から順に並べ、その波形をローパスフィルタによりフィルタする。そして、フィルタ後の、(Δαi,Δβi,Δγi)に基づき(αk、βk、γk)を求める。ローパスフィルタを行うことにより、急激な変化が緩和され変換後のビデオデータの安定性が向上する。
Claims (9)
- パノラマビデオデータの処理装置であって、
フレームの一部の領域であり2次元(平面)画像として見做せる大きさとして前記フレームの0.15倍の大きさの画像のパッチから特徴点を抽出する抽出手段と、
前記パッチの特徴点に対応する、前記フレームの次のフレームの画素を判定する判定手段と、
前記パッチの特徴点と、前記判定手段が判定した画素の位置に基づき、前記パッチを前記次のフレームに射影する射影行列を決定する決定手段と、
前記射影行列により前記パッチを射影した前記次のフレームの第1領域に基づき、前記フレームと前記次のフレームの角度差を判定する角度判定手段と、
前記角度判定手段が判定する、前記パノラマビデオデータの連続するフレーム間それぞれの角度差に基づき前記パノラマビデオデータを変換する変換手段と、
を備えていることを特徴とするパノラマビデオデータの処理装置。 - 前記パッチは、前記フレームの中央を含む画像である請求項1に記載のパノラマビデオデータの処理装置。
- 前記変換手段は、前記パノラマビデオデータの連続するフレーム間の角度差が減少する様に前記パノラマビデオデータを変換することを特徴とする請求項1又は2に記載のパノラマビデオデータの処理装置。
- 前記角度判定手段は、前記フレームと前記次のフレームの角度差として、互いに直交する第1方向、第2方向及び第3方向それぞれを回転軸とする3つの角度差を判定することを特徴とする請求項1から3のいずれか1項に記載のパノラマビデオデータの処理装置。
- 前記角度判定手段は、前記パッチ内の位置と前記第1領域の対応する位置との水平方向の距離に基づき前記第1方向を回転軸とする第1角度差を求め、前記パッチ内の位置と前記第1領域の対応する位置との垂直方向の距離に基づき前記第2方向を回転軸とする第2角度差を求め、前記パッチの各辺と前記第1領域の対応する辺との角度差に基づき前記第3方向を回転軸とする第3角度差を求めることを特徴とする請求項4に記載のパノラマビデオデータの処理装置。
- 前記角度判定手段は、前記パッチの形状を正方形とし、前記パッチの形状に対する前記第1領域の2つの対角線の長さの比に基づき前記角度差の信頼度の有無を判定し、
前記変換手段は、信頼度が無いと前記角度判定手段が判定した角度差を、前記パノラマビデオデータの変換に使用しないことを特徴とする請求項1から5のいずれか1項に記載のパノラマビデオデータの処理装置。 - 前記変換手段は、前記パノラマビデオデータの連続するフレーム間の角度差をローパスフィルタによりフィルタし、フィルタ後の角度差に基づき前記パノラマビデオデータを変換することを特徴とする請求項1から6のいずれか1項に記載のパノラマビデオデータの処理装置。
- パノラマビデオデータを処理装置で処理する処理方法であって、
フレームの一部の領域であり2次元(平面)画像として見做せる大きさとして前記フレームの0.15倍の大きさの画像のパッチから特徴点を抽出する抽出ステップと、
前記パッチの特徴点に対応する、前記フレームの次のフレームの画素を判定する画素判定ステップと、
前記パッチの特徴点と、前記判定ステップにおいて判定された画素の位置に基づき、前記パッチを前記次のフレームに射影する射影行列を決定する決定ステップと、
前記射影行列により前記パッチを射影した前記次のフレームの第1領域に基づき、前記フレームと前記次のフレームの角度差を判定する角度判定ステップと、
前記角度判定ステップにおいて判定された、前記パノラマビデオデータの連続するフレーム間それぞれの角度差に基づき前記パノラマビデオデータを変換する変換ステップと、
を含むことを特徴とするパノラマビデオデータの処理方法。 - 請求項1から7のいずれか1項に記載の処理装置としてコンピュータを機能させることを特徴とするパノラマビデオデータの処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015136346A JP6677980B2 (ja) | 2015-07-07 | 2015-07-07 | パノラマビデオデータの処理装置、処理方法及び処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015136346A JP6677980B2 (ja) | 2015-07-07 | 2015-07-07 | パノラマビデオデータの処理装置、処理方法及び処理プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017021430A JP2017021430A (ja) | 2017-01-26 |
JP2017021430A5 JP2017021430A5 (ja) | 2018-05-31 |
JP6677980B2 true JP6677980B2 (ja) | 2020-04-08 |
Family
ID=57889605
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015136346A Active JP6677980B2 (ja) | 2015-07-07 | 2015-07-07 | パノラマビデオデータの処理装置、処理方法及び処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6677980B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107135331B (zh) * | 2017-03-29 | 2019-12-03 | 北京航空航天大学 | 低空飞行场景的无人机视频稳定方法和装置 |
EP3518087A1 (en) * | 2018-01-29 | 2019-07-31 | Thomson Licensing | Method and network equipment for tiling a sphere representing a spherical multimedia content |
US10715725B2 (en) | 2018-04-02 | 2020-07-14 | Samsung Electronics Co., Ltd | Method and system for handling 360 degree image content |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004046573A (ja) * | 2002-07-12 | 2004-02-12 | Sanyo Electric Co Ltd | チルト角算出方法、円筒パノラマ画像合成方法、ならびに円筒パノラマ画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP4952363B2 (ja) * | 2007-05-01 | 2012-06-13 | カシオ計算機株式会社 | 画像処理装置、画像変換方法及びプログラム |
JP2012242821A (ja) * | 2011-05-16 | 2012-12-10 | Sony Mobile Communications Inc | 表示画像生成方法 |
JP6434209B2 (ja) * | 2013-12-20 | 2018-12-05 | 株式会社リコー | 画像生成装置、画像生成方法、およびプログラム |
-
2015
- 2015-07-07 JP JP2015136346A patent/JP6677980B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017021430A (ja) | 2017-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021208371A1 (zh) | 多摄变焦控制方法、装置、电子系统及存储介质 | |
CN106846409B (zh) | 鱼眼相机的标定方法及装置 | |
EP3198862B1 (en) | Image stitching for three-dimensional video | |
EP3007038B1 (en) | Interaction with three-dimensional video | |
US10970915B2 (en) | Virtual viewpoint setting apparatus that sets a virtual viewpoint according to a determined common image capturing area of a plurality of image capturing apparatuses, and related setting method and storage medium | |
US9161027B2 (en) | Method and apparatus for providing camera calibration | |
TWI535285B (zh) | Conference system, surveillance system, image processing device, image processing method and image processing program, etc. | |
JP5906028B2 (ja) | 画像処理装置、画像処理方法 | |
US20210227132A1 (en) | Method for tracking target in panoramic video, and panoramic camera | |
US20160286138A1 (en) | Apparatus and method for stitching panoramaic video | |
US20150177062A1 (en) | Information processing apparatus, information processing method, and storage medium | |
JP2018092580A5 (ja) | 画像処理装置および画像処理方法、プログラム | |
JP6677098B2 (ja) | 全天球動画の撮影システム、及びプログラム | |
JP5886242B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
US9619886B2 (en) | Image processing apparatus, imaging apparatus, image processing method and program | |
KR102551713B1 (ko) | 전자 장치 및 그 이미지 처리 방법 | |
CN108717704B (zh) | 基于鱼眼图像的目标跟踪方法、计算机装置及计算机可读存储介质 | |
WO2017185765A1 (zh) | 一种室内全景视频生成方法及装置 | |
US20140009503A1 (en) | Systems and Methods for Tracking User Postures to Control Display of Panoramas | |
US20140009570A1 (en) | Systems and methods for capture and display of flex-focus panoramas | |
JP6677980B2 (ja) | パノラマビデオデータの処理装置、処理方法及び処理プログラム | |
KR101324250B1 (ko) | 영상 처리를 통한 광축 오차 보상 방법 및 시스템, 광축 오차 보상 기능이 구현된 줌 카메라 | |
JP2020053774A (ja) | 撮像装置および画像記録方法 | |
JP6055223B2 (ja) | 射影変換映像生成装置及びそのプログラム、並びに、多視点映像表現装置 | |
WO2021168804A1 (zh) | 图像处理方法、图像处理装置和图像处理系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170202 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20170206 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170202 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180411 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190417 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190607 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200311 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200316 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6677980 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |