JP5977964B2 - 多視点映像フレーム内挿装置、方法及びプログラム - Google Patents
多視点映像フレーム内挿装置、方法及びプログラム Download PDFInfo
- Publication number
- JP5977964B2 JP5977964B2 JP2012052259A JP2012052259A JP5977964B2 JP 5977964 B2 JP5977964 B2 JP 5977964B2 JP 2012052259 A JP2012052259 A JP 2012052259A JP 2012052259 A JP2012052259 A JP 2012052259A JP 5977964 B2 JP5977964 B2 JP 5977964B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- motion
- interpolation
- input
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 27
- 239000013598 vector Substances 0.000 claims description 263
- 230000033001 locomotion Effects 0.000 claims description 248
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 238000003780 insertion Methods 0.000 claims description 2
- 230000037431 insertion Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 19
- 238000012545 processing Methods 0.000 description 19
- 238000012986 modification Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 12
- 238000011156 evaluation Methods 0.000 description 7
- 230000002194 synthesizing effect Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 4
- 230000003111 delayed effect Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Television Systems (AREA)
Description
実施例1の変形例として、多視点映像フレーム内挿装置1は、第一入力映像F0,F1の代わりに第一入力映像F1,F2を入力し、第二入力映像S0の代わりに第二入力映像S2を入力するようにしてもよい(後述する図14を参照)。この場合、視差推定手段11は、第一入力映像F2及び第二入力映像S2に基づいて視差ベクトルD2を推定し、動きベクトル推定手段13は、第一入力映像F1,F2に基づいて動きベクトル−V2を推定する。また、視差補償手段14は、視差ベクトルD2に従って動きベクトル−V2を視差補償し、動きベクトル−W2を生成し、動き補償手段15は、動きベクトル−W2に従って第二入力映像S2を動き補償し、出力内挿映像S1を生成する。
実施例2の変形例として、多視点映像フレーム内挿装置2は、第一入力映像F0,F1の代わりに第一入力映像F1,F2を入力し、第二入力映像S0の代わりに第二入力映像S2を入力するようにしてもよい(後述する図14を参照)。この場合、視差推定手段11は、第一入力映像F2及び第二入力映像S2に基づいて視差ベクトルD2を推定し、動きベクトル推定手段13は、第一入力映像F1,F2に基づいて動きベクトル−V2を推定する。また、動き補償手段21は、動きベクトル−V2に従って視差ベクトルD2を動き補償し、視差ベクトルE2を生成し、視差補償手段22は、視差ベクトルE2に従って第一入力映像F1を視差補償し、出力内挿映像S1を生成する。
実施例3,4の変形例1として、多視点映像フレーム内挿装置3,4は、多視点映像フレーム内挿装置1及び多視点映像フレーム内挿装置2を備え、映像合成手段34は、多視点映像フレーム内挿装置1により生成された第一内挿映像S1-1-1と、多視点映像フレーム内挿装置2により生成された第一内挿映像S1-1-2とを入力すると共に、第二動き補償手段33から第二内挿映像S1−2を入力するようにしてもよい。この場合、映像合成手段34は、第一内挿映像S1-1-1と第一内挿映像S1-1-2と第二内挿映像S1−2との平均を求める等して合成し、出力内挿映像S1を生成する。
11 視差推定手段
12 遅延手段
13 動きベクトル推定手段
14,22 視差補償手段
15,21 動き補償手段
31 第二遅延手段
32 第二動きベクトル推定手段
33 第二動き補償手段
34 映像合成手段
Claims (4)
- ある視点の第一入力映像と別の視点の第二入力映像とに基づいて、前記第二入力映像の内挿フレームを生成する多視点映像フレーム内挿装置であって、
前記第一入力映像と前記第二入力映像との間の視差ベクトルを推定する視差推定手段と、
前記第一入力映像の動きベクトルを推定する動き推定手段と、
前記動き推定手段により推定された動きベクトルに従って、前記視差推定手段により推定された視差ベクトルを動き補償する動き補償手段と、
前記動き補償手段により動き補償された視差ベクトルに従って、前記第一入力映像を視差補償し、前記第二入力映像の内挿フレームを生成する視差補償手段と、
を備えることを特徴とする多視点映像フレーム内挿装置。 - ある視点の第一入力映像と別の視点の第二入力映像とに基づいて、前記第二入力映像の内挿フレームを生成する多視点映像フレーム内挿装置であって、
前記第一入力映像と前記第二入力映像との間の視差ベクトルを推定する視差推定手段、前記第一入力映像の動きベクトルを推定する動き推定手段、前記視差推定手段により推定された視差ベクトルに従って、前記動き推定手段により推定された動きベクトルを視差補償する視差補償手段、及び前記視差補償手段により視差補償された動きベクトルに従って、前記第二入力映像を動き補償し、前記第二入力映像の内挿フレームを生成する動き補償手段を備える第1の多視点映像フレーム内挿装置、及び、請求項1に記載の多視点映像フレーム内挿装置のうちのいずれか一方または両方と、
前記第二入力映像の動きベクトルを、第二動きベクトルとして推定する第二動き推定手段と、
前記第二動き推定手段により推定された第二動きベクトルに従って、前記第二入力映像を動き補償し、前記第二入力映像の内挿フレームを生成する第二動き補償手段と、
前記第1の多視点映像フレーム内挿装置及び請求項1に記載の多視点映像フレーム内挿装置のうちのいずれか一方または両方により生成された内挿フレームと、前記第二動き補償手段により生成された内挿フレームとを合成し、合成後の内挿フレームを前記第二入力映像の新たな内挿フレームとして出力する映像合成手段と、
を備えることを特徴とする多視点映像フレーム内挿装置。 - ある視点の第一入力映像と別の視点の第二入力映像とに基づいて、前記第二入力映像の内挿フレームを生成する多視点映像フレーム内挿方法であって、
前記第一入力映像と前記第二入力映像との間の視差ベクトルを推定するステップと、
前記第一入力映像の動きベクトルを推定するステップと、
前記動きベクトルに従って前記視差ベクトルを動き補償し、動き補償した視差ベクトルを生成するステップと、
前記動き補償した視差ベクトルに従って前記第一入力映像を視差補償し、前記第二入力映像の内挿フレームを生成するステップと、
を有することを特徴とする多視点映像フレーム内挿方法。 - コンピュータを、請求項1または2に記載の多視点映像フレーム内挿装置として機能させるための多視点映像フレーム内挿プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012052259A JP5977964B2 (ja) | 2012-03-08 | 2012-03-08 | 多視点映像フレーム内挿装置、方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012052259A JP5977964B2 (ja) | 2012-03-08 | 2012-03-08 | 多視点映像フレーム内挿装置、方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013187777A JP2013187777A (ja) | 2013-09-19 |
JP5977964B2 true JP5977964B2 (ja) | 2016-08-24 |
Family
ID=49388840
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012052259A Active JP5977964B2 (ja) | 2012-03-08 | 2012-03-08 | 多視点映像フレーム内挿装置、方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5977964B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101966920B1 (ko) | 2012-07-10 | 2019-04-08 | 삼성전자주식회사 | 다시점 영상의 시차 정보를 이용하여 영상의 움직임을 추정하는 방법 및 장치 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
MX2008003375A (es) * | 2005-09-22 | 2008-03-27 | Samsung Electronics Co Ltd | Metodo para calcular vector de disparidad y metodo y aparato para codificar y descodificar pelicula de vision multiple utilizando el metodo de calculo de vector de disparidad. |
JP4780046B2 (ja) * | 2007-06-19 | 2011-09-28 | 日本ビクター株式会社 | 画像処理方法、画像処理装置及び画像処理プログラム |
JP2011223493A (ja) * | 2010-04-14 | 2011-11-04 | Canon Inc | 画像処理装置および画像処理方法 |
-
2012
- 2012-03-08 JP JP2012052259A patent/JP5977964B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013187777A (ja) | 2013-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101385514B1 (ko) | 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치 | |
JP5337218B2 (ja) | 立体画像変換装置、立体画像出力装置および立体画像変換方法 | |
US8803947B2 (en) | Apparatus and method for generating extrapolated view | |
KR101580284B1 (ko) | 중간 시점 영상 생성 장치 및 방법 | |
JP2005235211A (ja) | 中間時点の画像合成方法及びそれを適用した3dディスプレイ装置 | |
KR20090071624A (ko) | 이미지 개선 | |
JP2012506650A (ja) | 入力された三次元ビデオ信号を処理するための方法及びシステム | |
US8610707B2 (en) | Three-dimensional imaging system and method | |
JP2008518317A (ja) | 視差マップ | |
JP2012019513A (ja) | 2d画像を3d画像に変換するための方法および装置 | |
JP4892113B2 (ja) | 画像処理方法及び装置 | |
US20110122227A1 (en) | 3d image display apparatus and display method | |
JP5521608B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
US8330799B2 (en) | Image output apparatus and image output method | |
JP5977964B2 (ja) | 多視点映像フレーム内挿装置、方法及びプログラム | |
WO2012098974A1 (ja) | 画像処理装置および方法、画像表示装置および方法 | |
US9113140B2 (en) | Stereoscopic image processing device and method for generating interpolated frame with parallax and motion vector | |
US8976175B2 (en) | Depth estimation data generating device, computer readable recording medium having depth estimation data generating program recorded thereon, and pseudo-stereo image display device | |
JP4815004B2 (ja) | 多視点画像符号化装置 | |
JP2012004653A (ja) | 画像処理装置及びその制御方法 | |
Liu et al. | Deinterlacing of depth-image-based three-dimensional video for a depth-image-based rendering system | |
WO2012117462A1 (ja) | 立体映像処理装置および方法ならびに立体映像表示装置 | |
WO2011114745A1 (ja) | 映像再生装置 | |
TWI410120B (zh) | 三維成像系統及方法 | |
KR101323194B1 (ko) | 2차원 영상을 3차원으로 변환하는 장치 및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150202 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151015 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160630 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160725 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5977964 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R154 | Certificate of patent or utility model (reissue) |
Free format text: JAPANESE INTERMEDIATE CODE: R154 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5977964 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |