JP5918686B2 - 3d映像左右眼映像時間同期ずれ量算出装置及び方法及びプログラム - Google Patents
3d映像左右眼映像時間同期ずれ量算出装置及び方法及びプログラム Download PDFInfo
- Publication number
- JP5918686B2 JP5918686B2 JP2012258897A JP2012258897A JP5918686B2 JP 5918686 B2 JP5918686 B2 JP 5918686B2 JP 2012258897 A JP2012258897 A JP 2012258897A JP 2012258897 A JP2012258897 A JP 2012258897A JP 5918686 B2 JP5918686 B2 JP 5918686B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- video
- estimated
- calculating
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
入力された3D映像に含まれる前記左眼映像と前記右眼映像の内、一方の映像を基準映像とし、もう片方の映像を非基準映像とし、左右同期ずれ量を算出する該基準映像内のフレームを基準フレームとし、該基準フレームに対して左右同期ずれが発生したと判定される範囲に含まれる該非基準映像のフレーム(推定フレーム)の集合(推定フレーム群)を抽出し、該左右同期ずれが発生しなかった場合の該基準フレームと時間的に同期する該非基準映像内のフレーム(対応フレーム)の推定候補群とする3D映像信号入力手段と、
前記基準フレームと前記推定フレーム群を用いて、前記左右同期ずれ量を算出する左右同期ずれ量出力手段とを備え、
前記左右同期ずれ量出力手段は、
前記推定フレーム群に含まれる全ての前記推定フレームに対して該推定フレームと前記基準フレーム間の相違度の値を算出し、算出された値の集合を相違度群とする相違度算出手段と、
前記相違度群の中で最も値が低い前記相違度に対応する前記推定フレームを対応フレームとし、前記基準フレームのフレーム番号から前記対応フレームのフレーム番号を減算した値を前記左右同期ずれ量として算出する左右同期ずれ量算出手段とを備え、
前記相違度算出手段は、
前記基準フレームをユーザが設定するサイズ(N画素×M画素)の矩形ブロック(基準矩形ブロック)で分割し、相違度を算出する推定フレーム(対象フレーム)と矩形ブロックから基準矩形ブロック毎に動きベクトル(水平及び垂直方向のベクトルサイズ(単位は画素数)で構成される2次元ベクトル)を算出し、動きベクトルの垂直方向成分の2乗値の全基準矩形ブロックの平均を対象フレームの相違度として算出する手段を含む。
以下、図面と共に本発明の実施の形態を説明する。
・基準映像としたい左右いずれかの2D映像に対し、もう1方の2D映像が時間軸として過去(前方向)にずれる場合に、検知できる最大のずれ量(N:フレーム数);
・基準映像としたい左右いずれかの2D映像に対し、もう1方の2D映像が時間軸として未来(後方向)にずれる場合に、検知できる最大のずれ量(O:フレーム数);
・相違度算出時に算出する動きベクトルの水平方向の最大値(X:画素数);
・相違度算出時に算出する動きベクトルの垂直方向の最大値(Y:画素数);
が設定されている。なお、相違度算出時に動きベクトルを用いない場合は、X及びYの情報を記憶部3に保持しておく必要はない。また、これらの初期情報のすべてもしくは一部をユーザ入力とした場合は、ユーザ入力を伴う情報を記憶部3に保持しておく必要はない。本映像品質評価装置に入力された3D映像信号は、3D映像信号入力部1への入力とされる。
本実施の形態では、左眼映像と右眼映像の映像サイズが1920画素×1080画素の場合を扱うことを前提としており、これに従い、まず、図3に示すように、記憶部3に蓄積されている動きベクトル探索可能距離(X,Y)を参照し、画素位置(X,Y)と画素位置(1920−X,1080−Y)を対頂点とする長方形の範囲に対して、基準フレームを矩形ブロックに分割する。矩形ブロックのサイズは任意であるが、本実施の形態では8画素×8画素に設定する。また、矩形ブロックはオーバーラップしても構わないが、本実施の形態ではオーバーラップはしないこととする。
相違度算出方法(2)は、基準フレーム内の全ての矩形ブロックに対し、矩形ブロック毎に動きベクトルを抽出及び算出する処理までは上記の相違度(1)と同様であるが、相違度を全矩形ブロックに対する動きベクトルの水平・垂直成分の2乗和の平均値とする点において相違度算出方法(1)と異なる。
当該方法による相違度は、基準フレームと推定フレーム間の同じ画素位置(e.g. 輝度値、色差値)の差の合計値SSD( Sum of Squared Difference)として算出される。
当該方法による相違度は、基準フレームと基準フレーム間の同じ画素位置の差の2乗または絶対値の合計値SAD(Sum of Absolute Difference)として算出される。
当該算出方法による相違度は、基準フレームと推定フレームの同じ画素位置の画素値の乗算値の合計を、基準フレームの画素値の二乗和と推定フレームの画素値の二乗和の乗算値の平方根で除算した値NCC(Normalized Cross-Correlation)の符号を反転した値として算出される。
当該算出方法による相違度は、まず、基準フレームの各画素の画素値を基準フレームの画素値の平均値で減算し、推定フレームの各画素の画素値を推定フレームの全画素の画素値の平均値で減算する。相違度は減算後の基準フレームと推定フレームの同じ画素位置の画素値の乗算値の合計を、基準フレームの画素値の二乗和と推定フレームの画素値の二乗和の乗算値の平方根で除算した値ZNCC(Zero-mean Normalized Cross-Correlation)の符号を反転した値として算出される。
当該算出方法による相違度は、基準フレームと推定フレーム間の同じ画素位置の画素値(e.g. 輝度値、色差値)の差の標準偏差として算出される。
・左右同期ずれ量が正の場合:基準映像よりも非基準映像が未来方向にずれている;
・左右同期ずれ量が負の場合:基準映像よりも非基準映像が過去方向にずれている;
ことを意味する。また、ユーザの利便性を向上させるために、左右同期ずれ量を左右同期ずれ量の絶対値と左右同期ずれの方向の情報(左右同期ずれ量が0の場合はずれがないという情報)に変換して表示してもよい。
2 左右同期ずれ量出力部
3 記憶部
20 相違度算出部
21 左右同期ずれ量算出部
Claims (6)
- 左眼に提示する2D映像(左眼映像)と右眼に提示する2D映像(右眼映像)によって構成される3D映像を用いたサービスに対して該左眼映像と該右眼映像の時間的な同期ずれの量を算出する3D映像左右眼映像時間同期ずれ量算出装置であって、
入力された3D映像に含まれる前記左眼映像と前記右眼映像の内、一方の映像を基準映像とし、もう片方の映像を非基準映像とし、左右同期ずれ量を算出する該基準映像内のフレームを基準フレームとし、該基準フレームに対して左右同期ずれが発生したと判定される範囲に含まれる該非基準映像のフレーム(推定フレーム)の集合(推定フレーム群)を抽出し、該左右同期ずれが発生しなかった場合の該基準フレームと時間的に同期する該非基準映像内のフレーム(対応フレーム)の推定候補群とする3D映像信号入力手段と、
前記基準フレームと前記推定フレーム群を用いて、前記左右同期ずれ量を算出する左右同期ずれ量出力手段とを備え、
前記左右同期ずれ量出力手段は、
前記推定フレーム群に含まれる全ての前記推定フレームに対して該推定フレームと前記基準フレーム間の相違度の値を算出し、算出された値の集合を相違度群とする相違度算出手段と、
前記相違度群の中で最も値が低い前記相違度に対応する前記推定フレームを対応フレームとし、前記基準フレームのフレーム番号から前記対応フレームのフレーム番号を減算した値を前記左右同期ずれ量として算出する左右同期ずれ量算出手段とを備え、
前記相違度算出手段は、
前記基準フレームをユーザが設定するサイズ(N画素×M画素)の矩形ブロック(基準矩形ブロック)で分割し、相違度を算出する推定フレーム(対象フレーム)と矩形ブロックから基準矩形ブロック毎に動きベクトル(水平及び垂直方向のベクトルサイズ(単位は画素数)で構成される2次元ベクトル)を算出し、動きベクトルの垂直方向成分の2乗値の全基準矩形ブロックの平均を対象フレームの相違度として算出する手段を含む
ことを特徴とする3D映像左右眼映像時間同期ずれ量算出装置。 - 前記3D映像信号入力手段において、
前記基準フレームに対して左右同期ずれが発生したと判定される範囲は、ユーザが設定する前方向及び後方向それぞれの左右同期ずれの検出対象となるフレーム数(検出フレーム範囲)と該基準フレームのフレーム番号から算出される領域であって、該基準フレームのフレーム番号から前方向の検出フレーム範囲を減算したフレーム番号から、該基準フレームのフレーム番号に後方向の検出フレーム範囲を加算したフレーム番号までの領域を示す
ことを特徴とする請求項1記載の3D映像左右眼映像時間同期ずれ量算出装置。 - 前記相違度算出手段は、ブロックマッチング法もしくは勾配法を用いて前記動きベクトルを算出する手段を含む
ことを特徴とする請求項1又は2記載の3D映像左右眼映像時間同期ずれ量算出装置。 - 左眼に提示する2D映像(左眼映像)と右眼に提示する2D映像(右眼映像)によって構成される3D映像を用いたサービスに対して該左眼映像と該右眼映像の時間的な同期ずれの量を算出する3D映像左右眼映像時間同期ずれ量算出方法であって、
3D映像信号入力手段と、左右同期ずれ量出力手段とを有する装置において、
前記3D映像信号入力手段が、入力された3D映像に含まれる前記左眼映像と前記右眼映像の内、一方の映像を基準映像とし、もう片方の映像を非基準映像とし、左右同期ずれ量を算出する該基準映像内のフレームを基準フレームとし、該基準フレームに対して左右同期ずれが発生したと判定される範囲に含まれる該非基準映像のフレーム(推定フレーム)の集合(推定フレーム群)を抽出し、該左右同期ずれが発生しなかった場合の該基準フレームと時間的に同期する該非基準映像内のフレーム(対応フレーム)の推定候補群とする3D映像信号入力ステップと、
前記左右同期ずれ量出力手段が、前記基準フレームと前記推定フレーム群を用いて、前記左右同期ずれ量を算出する左右同期ずれ量出力ステップとを行い、
前記左右同期ずれ量出力ステップは、
前記推定フレーム群に含まれる全ての前記推定フレームに対して該推定フレームと前記基準フレーム間の相違度の値を算出し、算出された値の集合を相違度群とする相違度算出ステップと、
前記相違度群の中で最も値が低い前記相違度に対応する前記推定フレームを対応フレームとし、前記基準フレームのフレーム番号から前記対応フレームのフレーム番号を減算した値を前記左右同期ずれ量として算出する左右同期ずれ量算出ステップとを含み、
前記相違度算出ステップは、
前記基準フレームをユーザが設定するサイズ(N画素×M画素)の矩形ブロック(基準矩形ブロック)で分割し、相違度を算出する推定フレーム(対象フレーム)と矩形ブロックから基準矩形ブロック毎に動きベクトル(水平及び垂直方向のベクトルサイズ(単位は画素数)で構成される2次元ベクトル)を算出し、動きベクトルの垂直方向成分の2乗値の全基準矩形ブロックの平均を対象フレームの相違度として算出する
ことを特徴とする3D映像左右眼映像時間同期ずれ量算出方法。 - 前記3D映像信号入力ステップにおいて、
前記基準フレームに対して左右同期ずれが発生したと判定される範囲は、ユーザが設定する前方向及び後方向それぞれの左右同期ずれの検出対象となるフレーム数(検出フレーム範囲)と該基準フレームのフレーム番号から算出される領域であって、該基準フレームのフレーム番号から前方向の検出フレーム範囲を減算したフレーム番号から、該基準フレームのフレーム番号に後方向の検出フレーム範囲を加算したフレーム番号までの領域を示す
ことを特徴とする請求項4記載の3D映像左右眼映像時間同期ずれ量算出方法。 - コンピュータを、
請求項1乃至3のいずれか1項に記載の3D映像左右眼映像時間同期ずれ量算出装置の各手段として機能させるための3D映像左右眼映像時間同期ずれ量算出プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012258897A JP5918686B2 (ja) | 2012-11-27 | 2012-11-27 | 3d映像左右眼映像時間同期ずれ量算出装置及び方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012258897A JP5918686B2 (ja) | 2012-11-27 | 2012-11-27 | 3d映像左右眼映像時間同期ずれ量算出装置及び方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014107690A JP2014107690A (ja) | 2014-06-09 |
JP5918686B2 true JP5918686B2 (ja) | 2016-05-18 |
Family
ID=51028828
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012258897A Expired - Fee Related JP5918686B2 (ja) | 2012-11-27 | 2012-11-27 | 3d映像左右眼映像時間同期ずれ量算出装置及び方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5918686B2 (ja) |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003052056A (ja) * | 2001-08-07 | 2003-02-21 | Nippon Hoso Kyokai <Nhk> | 映像タイミング差検出方法、映像補正方法、映像タイミング差検出装置、映像補正装置及びそれらを用いた記録再生装置、受像機 |
-
2012
- 2012-11-27 JP JP2012258897A patent/JP5918686B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014107690A (ja) | 2014-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2477158B1 (en) | Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching | |
US8588514B2 (en) | Method, apparatus and system for processing depth-related information | |
US9916667B2 (en) | Stereo matching apparatus and method through learning of unary confidence and pairwise confidence | |
US10412462B2 (en) | Video frame rate conversion using streamed metadata | |
CN104519348B (zh) | 用于三维视频流的边缘形状加强的方法及设备 | |
Voronov et al. | Methodology for stereoscopic motion-picture quality assessment | |
JP2015220752A (ja) | ステレオソース映像の補正方法及びその装置 | |
CN108010059B (zh) | 电子防抖算法的性能分析方法及装置 | |
JP6173218B2 (ja) | 背景ピクセル拡張及び背景優先パッチマッチングを用いるマルチビューレンダリング装置及び方法 | |
JP2016201668A (ja) | 画像処理装置、画像処理方法およびプログラム | |
EP2887310A1 (en) | Method and apparatus for processing light-field image | |
US8718402B2 (en) | Depth generation method and apparatus using the same | |
EP2525324B1 (en) | Method and apparatus for generating a depth map and 3d video | |
CN104982032B (zh) | 3d图像数据分割的方法和装置 | |
JP2004356747A (ja) | 画像のマッチング方法および装置 | |
JP5918686B2 (ja) | 3d映像左右眼映像時間同期ずれ量算出装置及び方法及びプログラム | |
US8866824B2 (en) | Image processing method, image processing device, and display apparatus | |
KR101356427B1 (ko) | 스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 장치 및 방법 | |
KR20110025020A (ko) | 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법 | |
JP6516646B2 (ja) | 複数のカメラで撮影した画像から個々の被写体を識別する識別装置、識別方法及びプログラム | |
KR101481797B1 (ko) | 입체영상시스템에서 좌우영상의 프레임간 동기를 보정하기 위한 방법 및 그 장치 | |
Wei et al. | Iterative depth recovery for multi-view video synthesis from stereo videos | |
KR101150871B1 (ko) | 수평 변이 및 수평 변이에 기초한 스테레오 영상의 피로도 계산 방법 및 장치 | |
JP2013165306A (ja) | 立体映像表示装置 | |
JP2017005480A (ja) | 立体動画像処理装置、立体動画像処理方法、立体動画像処理プログラム、および記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160405 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160408 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5918686 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |