JP5610933B2 - 再生装置及びその制御方法 - Google Patents
再生装置及びその制御方法 Download PDFInfo
- Publication number
- JP5610933B2 JP5610933B2 JP2010197736A JP2010197736A JP5610933B2 JP 5610933 B2 JP5610933 B2 JP 5610933B2 JP 2010197736 A JP2010197736 A JP 2010197736A JP 2010197736 A JP2010197736 A JP 2010197736A JP 5610933 B2 JP5610933 B2 JP 5610933B2
- Authority
- JP
- Japan
- Prior art keywords
- eye image
- parallax
- adjustment
- playback
- right eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Description
しかしながら、そのような配慮がなされた立体動画像の場合でも、再生装置において早送り・巻き戻しといった特殊再生を行う際に、急激な視差の変動が発生してしまう虞がある。
しかしながら、上述した従来の技術では、特殊再生時に、平面表示に切り替えられるため、立体動画像としての特長が薄れてしまう。
以下、本発明の実施例1に係る立体動画像再生装置及びその制御方法について説明する。
図1は、本実施例に係る立体動画像再生装置の概略構成を示すブロック図である。
動画像蓄積部101は、表示する立体動画像を格納するストレージデバイスである。立体動画像は、視差のある左眼画像と右眼画像を含む動画像である。動画像蓄積部101としては、例えば、HDD(Hard Disk Drive)などの磁気ディスク、SDカード(Secure Digital memory card)(商標)などのメモリ、DVD(Digital Versatile Disk)(商
標)やBlu−rayディスク(商標)などの光ディスクなどが利用できる。
動画像デコード部103は、立体動画像の復号処理を行う。例えば、立体動画像は、MPEG(Motion Picture Expert Group)などで符号化されており、動画像デコード部1
03によって復号される。
再生速度検出部106は、操作指示信号に基づいて立体動画像の再生速度を検出し、視差決定部108に出力する。
PA=Lx−Rx (式1)
ここで、PAが正の値の場合は、対象物Aが表示画面に対してユーザ側に存在するように立体視されることを意味する。PAが負の値の場合は、対象物Aがユーザから見て表示画面より奥に存在するように立体視されることを意味する。
具体的には、視差決定部108は、調整前視差検出部107で取得された調整前視差と、再生速度検出部106で検出された再生速度とから、表示の際の視差(表示用視差)を決定し、視差制御部109に出力する。
視差制御部109は、視差決定部108で決定された表示用視差に従って、立体動画像の視差(調整前視差)を調整する。
被写体の奥行き方向の位置を示す情報を生成し、デプスマップに基づいて視差を調整してもよい。
次に、S302において、再生制御部105が、入力された操作指示信号が特殊再生を示す信号か否かを判定する。特殊再生は、再生速度が通常再生時の再生速度と異なる再生のことであり、例えば、一時停止、早送り再生、巻き戻し再生などである。
操作指示信号が特殊再生を示す信号であった場合には、S303へ進み、特殊再生を示す信号でなかった場合には、処理を終了する。
れ、2度押下された場合に4倍速の早送り再生が行われるとすると、早送りボタンが1度押下された場合はS=2、早送りボタンが2度押下された場合はS=4が検出される。
なお、調整前視差は、通常再生時に解析することにより予め取得されていてもよいし、特殊再生が指示された際に一定時間分の動画像データをデコードすることにより取得されてもよい。また、立体動画像に付随するメタデータに視差の情報が含まれる場合には、該情報を利用してもよい。
また、本実施例では、検出された再生速度が閾値よりも速い場合に、左眼画像と右眼画像の視差の変動を小さくすることができるため、視覚疲労をより低減することができる。
P’=P×β (式2)
Pr×S≦Plimitのとき β=1 (式3−1)
Pr×S>Plimitのとき β=a/S(<1) (式3−2)
ここで、Prは調整前視差の代表値(代表視差)、Plimitは立体動画像の視差量を調整するか否かの閾値、aは所定の定数である。調整前視差が画素単位や領域(被写体)単位の視差である場合には、それらの最大値や平均値を代表視差とすることができる。また、調整前視差が画像単位の視差である場合には、該調整前視差を代表視差とすることができる。但し、代表視差は、これらに限らず、調整前視差を用いて決定される値であればよい。また、代表視差は1フレーム毎に算出されてもよいし、複数フレーム毎に算出されてもよい。代表視差は、調整前視差検出部107にて検出された視差を用いて視差決定部108により決定される。
送りの速度と通常再生時の再生速度との差が小さくても視差を調整することができる。このような構成にすることにより、代表視差Prに応じて視覚疲労を低減することができる。なお、立体動画像の視差量を調整するか否かの判断は上記式3−1,3−2に示したものに限らない。例えば、単に再生速度Sの値のみで、立体動画像の視差量を調整するか否かの判断を行ってもよい。
例えば、再生速度毎の低下率βが対応付けられたテーブルを記憶し、該テーブルを用いて使用する低下率βを決定し、視差を調整してもよい。
また、再生速度毎の許容値を予め記憶し、調整後の視差の代表値が再生速度検出部106で検出された再生速度に応じて決定された許容値以下となるように低下率βを設定してもよい。具体的には、代表視差Prが検出された再生速度に対応する許容値を超えている場合に、許容値を代表視差Prで除算した値を低下率βとしてもよい。この場合、代表視差Pr以上の許容値の最低値に対応する再生速度が、視差を調整するか否かの閾値となる。
また、左眼画像と右眼画像の視差を位置によらず一律に同じ値だけ小さくしてもよい。例えば、左眼画像を右眼画像に対し相対的に水平方向にシフトすることにより、左眼画像と右眼画像の視差を小さくしてもよい。また、調整後の視差の代表値が検出された再生速度に応じて決定された許容値以下となるように、シフト量を設定してもよい。具体的には、許容値から代表視差Prを減算し、その結果(シフト量)を調整前視差Pに加算することにより表示用視差P’を決定してもよい。
そして、S308において、再生制御部105が、立体動画像が最後まで再生されたか、または、ユーザ操作等により再生が停止されたかを判断する。再生が継続される場合には、S302に戻る。
図4は、通常再生から2倍速再生(2倍速の早送り再生)、4倍速再生、8倍速再生と再生速度を変化させ、最後に通常再生に戻した場合の、視差およびPr×Sの変化を表す図である。図4(a)は時間経過に対する調整前視差P及び代表視差Prの変化を表すグラフである。図4(b)は時間経過に対するPr×Sの変化を表すグラフである。図4(c)は時間経過に対する表示用視差P’及び調整後の代表視差の変化を表すグラフである。単純化のため、調整前視差Pは周期的に変化しているものとする。また、図4は、所定期間内の調整前視差の最大値を代表視差とした場合の例である。
なお、本実施例では、再生速度の上昇に対して左眼画像と右眼画像の視差を単調に低下させるものとしたが、そのような構成でなくてもよい。例えば、3倍速再生と4倍速再生とでは、同じ低下率で視差を低下させてもよい。
なお、本実施例では、ユーザ操作によって再生速度が変更された場合に視差の調整を行うものとしたが、動画像再生装置が自動的に再生速度を変更する場合には、該変更に応じて視差の調整を行ってもよい。
以下、本発明の実施例2に係る立体動画像再生装置及びその制御方法について説明する。本実施例では、左眼画像と右眼画像の視差を検出(取得)せずに、調整する。また、本実施例では、左眼画像と右眼画像の視差を位置によらず一律に同じ値だけ小さくすることにより視差を調整する。具体的には、左眼画像を右眼画像に対し相対的に水平方向にシフトすることにより視差を調整する。
視差決定部508は、再生速度検出部106で検出された再生速度に応じてシフト量を決定し、視差制御部509に出力する。
視差制御部509は、視差決定部508で決定されたシフト量に従って、立体動画像の視差(調整前視差)を調整する。
S601〜S603の処理は、実施例1(図3)のS301〜303の処理と同様のため、説明は省略する。
具体的には、図7に示すように再生速度S毎にシフト量αが対応付けられたテーブルを用いて、シフト量を決定する。図7は、通常再生時の再生速度を視差を調整するか否かの閾値とした場合の例である。なお、シフト量の決定方法は、これに限らない。例えば、再生速度Sを変数とする関数を用いてシフト量を決定してもよい。
そして、S605において、視差制御部509は、左眼画像を右眼画像に対して相対的に水平方向にS604で決定されたシフト量だけシフトする。具体的には、図8に示すように、左眼画像と右眼画像を、それぞれ、視差を減らす方向にα/2だけシフトする(図8には、“立体動画像”として、左眼画像と右眼画像を重ねた画像も示している)。それにより、視差が調整され、調整前視差Pからシフト量αを減算した値が表示用視差P’となる。
そして、S607において、再生制御部105が、立体動画像が最後まで再生されたか、または、ユーザ操作等により再生が停止されたかを判断する。再生が継続される場合には、S602に戻る。
なお、本実施例では、左眼画像が右眼画像に対し水平方向にシフト量だけシフトされる。そのため、左眼画像や右眼画像の端が切れてしまう(表示装置で表示される領域(表示領域)外に画像がはみ出してしまう)。そこで、視差を調整することにより、左眼画像と右眼画像の少なくともいずれかが表示領域から外れる場合には、左眼画像と右眼画像を拡大し、立体視可能な領域を切り出して表示する。または、左眼画像と右眼画像を、表示領域内に収まるように縮小したり、左眼画像または右眼画像の切れてしまった部分を補間して表示したりしてもよい。
図9は、通常再生から2倍速再生、4倍速再生、8倍速再生と再生速度を変化させ、最後に通常再生に戻した場合の、視差の変化を表す図である。図9(a)は時間経過に対する調整前視差Pの変化を表すグラフである。図9(b)は時間経過に対する表示用視差P’の変化を示すグラフである。単純化のため、調整前視差Pは周期的に変化しているものとする。
108,508 視差決定部
109,509 視差制御部
110 動画像表示部
Claims (18)
- 視差のある左眼画像と右眼画像を含む立体動画像の再生速度を検出する検出手段と、
前記立体動画像に含まれる被写体毎に、前記左眼画像と前記右眼画像の視差を取得する取得手段と、
前記取得手段で取得された視差の代表値を決定する決定手段と、
前記決定手段で決定された代表値に基づいて、前記検出手段で検出された再生速度が閾値よりも速い場合に、前記左眼画像と前記右眼画像の視差の最大値を小さくする調整手段と、
前記調整手段で視差が調整された左眼画像と右眼画像から立体動画像を生成し、出力する生成手段と、
を有することを特徴とする再生装置。 - 前記調整手段は、前記検出手段で検出された速度が速いほど、前記左眼画像と前記右眼画像の視差の最大値を小さくする
ことを特徴とする請求項1に記載の再生装置。 - 前記調整手段は、前記左眼画像と前記右眼画像の視差を位置によらず一律に同じ値だけ小さくする
ことを特徴とする請求項1または2に記載の再生装置。 - 前記調整手段は、前記左眼画像と前記右眼画像の視差に前記検出手段で検出された再生速度を用いて決定された低下率を乗算することにより、調整後の視差を算出する
ことを特徴とする請求項1または2に記載の再生装置。 - 前記調整手段は、前記左眼画像を前記右眼画像に対し相対的に水平方向にシフトすることにより、前記左眼画像と前記右眼画像の視差を小さくする
ことを特徴とする請求項3に記載の再生装置。 - 前記調整手段は、前記代表値が大きいほど前記閾値を小さくする
ことを特徴とする請求項1〜5のいずれか1項に記載の再生装置。 - 前記調整手段は、調整後の視差の代表値が前記検出手段で検出された再生速度に応じて決定された許容値以下となるように低下率を設定する
ことを特徴とする請求項4に記載の再生装置。 - 前記調整手段は、調整後の視差の代表値が前記検出手段で検出された再生速度に応じて決定された許容値以下となるようにシフト量を設定する
ことを特徴とする請求項5に記載の再生装置。 - 前記調整手段で視差を調整することにより、前記左眼画像と前記右眼画像の少なくともいずれかが、前記立体動画像を表示する表示装置の表示領域から外れる場合に、前記左眼画像と前記右眼画像を、前記表示領域内に収まるように縮小する縮小手段を更に有する
ことを特徴とする請求項1〜8のいずれか1項に記載の再生装置。 - 視差のある左眼画像と右眼画像を含む立体動画像の再生速度を検出する検出ステップと、
前記立体動画像に含まれる被写体毎に、前記左眼画像と前記右眼画像の視差を取得する取得ステップと、
前記取得ステップで取得された視差の代表値を決定する決定ステップと、
前記決定ステップで決定された代表値に基づいて、前記検出された再生速度が閾値よりも速い場合に、前記左眼画像と前記右眼画像の視差の最大値を小さくする調整ステップと、
前記視差が調整された左眼画像と右眼画像から立体動画像を生成し、出力する生成ステップと、
を有することを特徴とする再生装置の制御方法。 - 前記調整ステップでは、前記検出ステップで検出された速度が速いほど、前記左眼画像と前記右眼画像の視差の最大値を小さくする
ことを特徴とする請求項10に記載の再生装置の制御方法。 - 前記調整ステップでは、前記左眼画像と前記右眼画像の視差を位置によらず一律に同じ値だけ小さくする
ことを特徴とする請求項10または11に記載の再生装置の制御方法。 - 前記調整ステップでは、前記左眼画像と前記右眼画像の視差に前記検出ステップで検出された再生速度を用いて決定された低下率を乗算することにより、調整後の視差を算出する
ことを特徴とする請求項10または11に記載の再生装置の制御方法。 - 前記調整ステップでは、前記左眼画像を前記右眼画像に対し相対的に水平方向にシフトすることにより、前記左眼画像と前記右眼画像の視差を小さくする
ことを特徴とする請求項12に記載の再生装置の制御方法。 - 前記調整ステップでは、前記代表値が大きいほど前記閾値を小さくする
ことを特徴とする請求項10〜14のいずれか1項に記載の再生装置の制御方法。 - 前記調整ステップでは、調整後の視差の代表値が前記検出ステップで検出された再生速度に応じて決定された許容値以下となるように低下率を設定する
ことを特徴とする請求項13に記載の再生装置の制御方法。 - 前記調整ステップでは、調整後の視差の代表値が前記検出ステップで検出された再生速度に応じて決定された許容値以下となるようにシフト量を設定する
ことを特徴とする請求項14に記載の再生装置の制御方法。 - 前記調整ステップで視差を調整することにより、前記左眼画像と前記右眼画像の少なくともいずれかが、前記立体動画像を表示する表示装置の表示領域から外れる場合に、前記左眼画像と前記右眼画像を、前記表示領域内に収まるように縮小する縮小ステップを更に有する
ことを特徴とする請求項10〜17のいずれか1項に記載の再生装置の制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010197736A JP5610933B2 (ja) | 2010-09-03 | 2010-09-03 | 再生装置及びその制御方法 |
US13/206,696 US9077967B2 (en) | 2010-09-03 | 2011-08-10 | Image reproduction apparatus and control method therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010197736A JP5610933B2 (ja) | 2010-09-03 | 2010-09-03 | 再生装置及びその制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012054877A JP2012054877A (ja) | 2012-03-15 |
JP2012054877A5 JP2012054877A5 (ja) | 2013-10-10 |
JP5610933B2 true JP5610933B2 (ja) | 2014-10-22 |
Family
ID=45770431
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010197736A Expired - Fee Related JP5610933B2 (ja) | 2010-09-03 | 2010-09-03 | 再生装置及びその制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9077967B2 (ja) |
JP (1) | JP5610933B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120120207A1 (en) * | 2009-12-28 | 2012-05-17 | Hiroaki Shimazaki | Image playback device and display device |
JP5473842B2 (ja) * | 2010-09-09 | 2014-04-16 | 三菱電機株式会社 | 映像再生方法及び装置、並びに映像表示方法及び装置、並びにプログラム及び記録媒体 |
JP5764895B2 (ja) * | 2010-09-28 | 2015-08-19 | ソニー株式会社 | 電子機器、再生システム、再生方法、プログラム |
JP5166571B2 (ja) | 2011-05-30 | 2013-03-21 | 株式会社東芝 | 電子機器、表示制御方法及び表示制御プログラム |
KR101888672B1 (ko) * | 2011-07-27 | 2018-08-16 | 엘지디스플레이 주식회사 | 입체영상 표시장치와 그 구동방법 |
CN103548348B (zh) * | 2012-03-26 | 2016-10-05 | 松下知识产权经营株式会社 | 立体影像处理装置以及立体影像处理方法 |
JP2017211694A (ja) * | 2016-05-23 | 2017-11-30 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN106961593A (zh) * | 2017-03-20 | 2017-07-18 | 河南师范大学 | 一种立体感觉可调的舒适型vr眼镜 |
JP6857147B2 (ja) * | 2018-03-15 | 2021-04-14 | 株式会社日立製作所 | 三次元画像処理装置、及び三次元画像処理方法 |
JP2022036353A (ja) * | 2018-12-28 | 2022-03-08 | ソニーグループ株式会社 | 画像処理装置および方法 |
KR20220155840A (ko) * | 2021-05-17 | 2022-11-24 | 삼성전자주식회사 | 관심 영역의 심도 정보를 생성하는 전자 장치 및 이의 동작 방법 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4393151B2 (ja) * | 2003-10-01 | 2010-01-06 | シャープ株式会社 | 画像データ表示装置 |
JP4755565B2 (ja) * | 2006-10-17 | 2011-08-24 | シャープ株式会社 | 立体画像処理装置 |
KR20110095128A (ko) * | 2008-11-18 | 2011-08-24 | 파나소닉 주식회사 | 특수재생을 고려한 재생장치, 집적회로, 재생방법 |
KR20110025123A (ko) * | 2009-09-02 | 2011-03-09 | 삼성전자주식회사 | 비디오 영상 배속 재생 방법 및 장치 |
JP2011109294A (ja) * | 2009-11-16 | 2011-06-02 | Sony Corp | 情報処理装置、情報処理方法、表示制御装置、表示制御方法、およびプログラム |
US20120120207A1 (en) * | 2009-12-28 | 2012-05-17 | Hiroaki Shimazaki | Image playback device and display device |
-
2010
- 2010-09-03 JP JP2010197736A patent/JP5610933B2/ja not_active Expired - Fee Related
-
2011
- 2011-08-10 US US13/206,696 patent/US9077967B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US9077967B2 (en) | 2015-07-07 |
JP2012054877A (ja) | 2012-03-15 |
US20120056990A1 (en) | 2012-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5610933B2 (ja) | 再生装置及びその制御方法 | |
US9094657B2 (en) | Electronic apparatus and method | |
EP2724542B1 (en) | Method and apparatus for generating a signal for a display | |
JP5529870B2 (ja) | 二次元/三次元再生モード決定方法、二次元/三次元再生モード決定装置及び記憶媒体 | |
JP4763822B2 (ja) | 映像信号処理装置及び映像信号処理方法 | |
US8515264B2 (en) | Information processing apparatus, information processing method, display control apparatus, display control method, and program | |
US20120086779A1 (en) | Image processing apparatus, image processing method, and program | |
US8824857B2 (en) | Method and apparatus for the varied speed reproduction of video images | |
AU2009329113A1 (en) | Method and device for overlaying 3D graphics over 3D video | |
JP5116498B2 (ja) | 映像処理装置及びその制御方法 | |
US9118895B2 (en) | Data structure, image processing apparatus, image processing method, and program | |
JP2011101230A (ja) | 表示制御装置、表示制御方法、プログラム、出力装置、および送信装置 | |
US20110279647A1 (en) | 3d video processing apparatus and 3d video processing method | |
US20120212589A1 (en) | Playback methods and playback apparatuses for processing multi-view content | |
JP5473842B2 (ja) | 映像再生方法及び装置、並びに映像表示方法及び装置、並びにプログラム及び記録媒体 | |
WO2012014489A1 (ja) | 映像信号処理装置及び映像信号処理方法 | |
JP2012028928A (ja) | 画像表示装置、画像表示システム、記録媒体及び画像表示方法 | |
JP2011114472A (ja) | 情報処理装置、情報処理方法、プログラム、表示制御装置、送信装置、および受信装置 | |
JP5337282B1 (ja) | 3次元画像生成装置および3次元画像生成方法 | |
US8582961B2 (en) | Electronic apparatus, reproduction system, reproduction method, and program | |
JP2011259012A (ja) | 立体画像再生装置及び立体画像再生方法 | |
JP2012090107A (ja) | 立体映像処理装置及びその制御方法 | |
JP5586403B2 (ja) | 映像データ送信装置及び映像データ送信方法 | |
JP2011234387A (ja) | 映像信号処理装置及び映像信号処理方法 | |
JP2013183323A (ja) | 立体映像表示装置、立体映像表示方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130827 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130827 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140304 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140408 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140805 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140902 |
|
LAPS | Cancellation because of no payment of annual fees |