JP5450908B1 - 立体映像処理装置および立体映像処理方法 - Google Patents

立体映像処理装置および立体映像処理方法 Download PDF

Info

Publication number
JP5450908B1
JP5450908B1 JP2013547053A JP2013547053A JP5450908B1 JP 5450908 B1 JP5450908 B1 JP 5450908B1 JP 2013547053 A JP2013547053 A JP 2013547053A JP 2013547053 A JP2013547053 A JP 2013547053A JP 5450908 B1 JP5450908 B1 JP 5450908B1
Authority
JP
Japan
Prior art keywords
video
unit
depth
difference
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013547053A
Other languages
English (en)
Other versions
JPWO2013145567A1 (ja
Inventor
弓子 加藤
剛 井上
順 小澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2013547053A priority Critical patent/JP5450908B1/ja
Application granted granted Critical
Publication of JP5450908B1 publication Critical patent/JP5450908B1/ja
Publication of JPWO2013145567A1 publication Critical patent/JPWO2013145567A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/144Processing image signals for flicker reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/356Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359Switching between monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

立体映像処理装置(1)は、ユーザによる、3次元映像のチャンネルの選択操作または3次元映像の早送り再生、巻き戻し再生、スキップあるいは頭だしのための操作である切り替え操作を検出する切り替え操作検出部(130)と、切り替え操作検出部(130)による切り替え操作の単位時間当たりの検出頻度を判定する頻度判定部(140)と、頻度判定部(140)が判定した単位時間当たりの検出頻度が所定頻度以上である場合に、3次元映像の切り替わりの前後における奥行きの差を減少させるための処理を行う映像処理部(150)とを備える。

Description

本発明は、3次元映像を出力する立体映像処理装置に関する。
3次元映像の視聴時において、3次元映像の被写体の奥行きの変化に対して、眼は追従して動作する。
特許文献1には、3次元映像内のシーンチェンジを検出して、シーンチェンジ時に奥行きを滑らかに遷移させることが記載されている。
特許文献2には、複数の映像コンテンツをマルチ画面に表示する場合に、ユーザが指定した映像コンテンツは3次元で表示し、ユーザが指定しない映像コンテンツは2次元で表示することが記載されている。
特開2010−258723号公報 特開2011−249859号公報
しかしながら、特許文献1に記載の方法では、3次元映像に対するユーザの操作によるシーンチェンジ(例えば、早送り、巻き戻し、番組切り替え)時には、奥行きを滑らかに遷移させることができない。
また、ユーザの操作によるスキップ再生の繰り返しあるいはザッピング動作により、シーンチェンジを高い頻度で繰り返すことは、3次元映像を視聴するユーザの視覚系への大きな負荷となりうる。
特許文献2の方法についても、マルチ画面中の選択画面を次々に切り替えていく場合には、異なる奥行きの3次元映像を次々表示していくことになり、ザッピングと同様にユーザの視覚系への大きな負荷となる。
このように、従来の方法では、ユーザの操作によりシーンチェンジが起こった場合に、3次元映像を視聴するユーザの眼の負荷が増加し、眼が疲労するという課題を有している。
本発明は、上述の課題を解決するためになされたものであり、ユーザの操作によりシーンチェンジが起こった場合のユーザの眼の疲労を防止する立体映像処理装置を提供することを目的とする。
上記目的を達成するために、本発明の一態様に係る立体映像処理装置は、ユーザによる、3次元映像のチャンネルの選択操作または3次元映像の早送り再生、巻き戻し再生、スキップあるいは頭だしのための操作である切り替え操作を検出する切り替え操作検出部と、前記切り替え操作検出部による前記切り替え操作の単位時間当たりの検出頻度を判定する頻度判定部と、前記頻度判定部が判定した前記単位時間当たりの検出頻度が所定頻度以上である場合に、3次元映像の切り替わりの前後における奥行きの差を減少させるための処理を行う処理部とを備える。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本発明の立体映像処理装置によると、ユーザの操作によりシーンチェンジが起こった場合のユーザの眼の疲労を防止することができる。
図1は、本発明の実施の形態1における立体映像表示装置の構成の一例を示すブロック図である。 図2は、本発明の実施の形態1における立体映像処理装置の詳細な構成の一例を示すブロック図である。 図3Aは、チャンネル変更記憶部が記憶するデータの構成の一例を示す図である。 図3Bは、時間間隔を説明する模式図である。 図4は、本発明の実施の形態1における立体映像処理装置の動作の一例を示すフローチャートである。 図5は、3次元表示の方式として裸眼式を採用する表示部の構成の一例を示す図である。 図6は、3次元表示の方式としてパッシブシャッタ方式を採用する表示部の構成の一例を示す図である。 図7は、3次元表示の方式としてアクティブシャッタ方式を採用する表示部の構成の一例を示す図である。 図8は、本発明の実施の形態1の変形例1に係る立体映像処理装置の構成を示すブロック図である。 図9は、立体映像処理装置の動作を示すフローチャートである。 図10は、本発明の実施の形態1の変形例2における立体映像表示装置の構成の一例を示すブロック図である。 図11Aは、映像情報蓄積部が蓄積する情報の一例を示す図である。 図11Bは、奥行き情報蓄積部が蓄積する情報の一例を示す図である。 図12は、本発明の実施の形態1の変形例2に係る立体映像処理装置の動作の一部を示すフローチャートである。 図13Aは、画面の分割例を示す図である。 図13Bは、奥行き情報蓄積部が蓄積する情報の一例を示す図である。 図14は、画面の分割例を示す図である。 図15Aは、奥行き情報蓄積部が蓄積する情報の一例を示す図である。 図15Bは、オブジェクト領域の一例を示す図である。 図15Cは、オブジェクト領域の一例を示す図である。 図16は、ザッピング時の視線の移動範囲の一例を示す図である。 図17は、本発明の実施の形態2における立体映像表示装置の構成の一例を示すブロック図である。 図18は、本発明の実施の形態2における立体映像処理装置の動作の一部を示すフローチャートである。
本発明の一態様に係る立体映像処理装置は、ユーザによる、3次元映像のチャンネルの選択操作または3次元映像の早送り再生、巻き戻し再生、スキップあるいは頭だしのための操作である切り替え操作を検出する切り替え操作検出部と、前記切り替え操作検出部による前記切り替え操作の単位時間当たりの検出頻度を判定する頻度判定部と、前記頻度判定部が判定した前記単位時間当たりの検出頻度が所定頻度以上である場合に、3次元映像の切り替わりの前後における奥行きの差を減少させるための処理を行う処理部とを備える。
この構成によると、ユーザによる切り替え操作に伴い、頻繁に3次元映像が切り替わる場合に、3次元映像の奥行き差を減少させることができる。このため、頻繁に3次元映像が切り替わった場合であっても、奥行きの変化に対する過度な眼の追従が防止される。よって、ユーザの操作により3次元映像の切り替わり(シーンチェンジ)が起こった場合のユーザの眼の疲労を防止することができる。
例えば、前記処理部は、前記3次元映像の映像情報に対して処理を行うことにより、前記奥行きの差を減少させても良い。
具体的には、前記処理部は、前記3次元映像の映像情報に対して、左眼用映像と右眼用映像との視差を縮小する処理を行うことにより、前記奥行きの差を減少させても良い。
また、前記処理部は、前記3次元映像に含まれる左眼用映像及び右眼用映像のうちいずれか一方の映像を前記ユーザに提示しても良い。
また、前記処理部は、前記3次元映像に含まれる右眼用映像が提示されている際には、前記ユーザが装着する3次元映像用ビューワーの右眼側のシャッタを開状態にし、かつ、前記3次元映像用ビューワーの左眼側のシャッタを閉状態にし、前記3次元映像に含まれる左眼用映像が提示されている際には、前記右眼側のシャッタを閉状態にし、かつ、前記左眼側のシャッタを開状態にするシャッタ調整部を備え、前記シャッタ調整部は、さらに、前記頻度判定部が判定した前記単位時間当たりの検出頻度が前記所定頻度以上である場合に、(i)前記右眼用映像が提示されている際には前記右眼側のシャッタおよび前記左眼側のシャッタを開状態にし、前記左眼用映像が提示されている際には前記3次元映像用ビューワーの前記右眼側のシャッタおよび前記左眼側のシャッタを閉状態にする、または、(ii)前記左眼用映像が提示されている際には前記3次元映像用ビューワーの前記右眼側のシャッタおよび前記左眼側のシャッタを開状態にし、前記右眼用映像が提示されている際には前記3次元映像用ビューワーの前記右眼側のシャッタおよび前記左眼側のシャッタを閉状態にしても良い。
また、上述の立体映像処理装置は、さらに、3次元映像の奥行き情報を蓄積している奥行き情報蓄積部を備え、前記処理部は、前記頻度判定部が判定した前記単位時間当たりの検出頻度が前記所定頻度以上である場合に、前記奥行き情報蓄積部に蓄積されている前記奥行き情報を参照し、前記切り替え操作に伴う3次元映像の切り替わりの前後において3次元映像の奥行きの差が所定差以上であるか否かを判定する奥行き調整判定部と、前記奥行き調整判定部が前記奥行きの差が前記所定差以上であると判定した場合に、前記奥行きの差を減少させるための処理を行う奥行き調整部とを含んでいても良い。
この構成によると、奥行きの差が所定差以上の場合のみ奥行きの差を減少させる処理を行うことができる。このため、シーンチェンジの前後での奥行きの差が少ない場合のように奥行きの差を減少させる必要がない場合に、不必要に奥行きの差を減少させる処理が行われるのを防止することができる。なお、奥行き調整部は、実施の形態においては2次元化処理部として具現化されている。
また、前記奥行き情報蓄積部は、3次元映像の表示画面を空間的に分割した複数の表示領域のそれぞれについて奥行き情報を蓄積しており、前記奥行き調整判定部は、前記頻度判定部が判定した前記単位時間当たりの検出頻度が前記所定頻度以上である場合に、前記奥行き情報蓄積部に蓄積されている表示領域ごとの前記奥行き情報を参照し、前記切り替え操作に伴う3次元映像の切り替わりの前後において3次元映像の奥行きの差が所定差以上であるか否かを表示領域ごとに判定し、前記奥行き調整部は、前記奥行き調整判定部がいずれかの表示領域において前記奥行きの差が前記所定差以上であると判定した場合に、前記奥行きの差を減少させるための処理を行っても良い。
シーンチェンジの前後ではユーザは画面のほぼ同じ位置を見続けていると考えられる。このため、表示領域毎に奥行きの差を判断することで、どの位置を見続けていたとしてもユーザが見続けている位置で奥行きが変化するか否かを判断することができる。よって、必要な場合にのみ奥行きの差を減少させる処理を行うことができる。
また、前記複数の表示領域は、3次元映像の表示画面の中央部ほど周辺部よりもより細かくなるように前記表示画面を分割することで得られても良い。
ユーザは、画面の周辺部よりも中央部をより多く眺めていると考えられる。このため、中央部をより細かく分割することで、より精度良くユーザが見続けている位置で奥行きが変化するか否かを判断することができる。
また、前記奥行き情報蓄積部は、3次元映像の表示画面の下部の表示領域の奥行き情報を蓄積しており、前記奥行き調整判定部は、前記頻度判定部が判定した前記単位時間当たりの検出頻度が前記所定頻度以上である場合に、前記奥行き情報蓄積部に蓄積されている前記下部の表示領域の前記奥行き情報を参照し、前記切り替え操作に伴う3次元映像の切り替わりの前後において3次元映像の奥行きの差が所定差以上であるか否かを判定し、前記奥行き調整部は、前記奥行き調整判定部が前記下部の表示領域において前記奥行きの差が前記所定差以上であると判定した場合に、前記奥行きの差を減少させるための処理を行っても良い。
ユーザがリモートコントローラ(以下、「リモコン」と言う)のボタン位置を確認しながらチャンネルを切り替える場合もある。このような場合には、ユーザの視線はリモコンと表示画面の下半分辺りを往復すると考えられる。このため、この構成によると、表示画面の下半分辺りにおいて奥行きが変化するか否かを判断することができる。よって、必要な場合にのみ奥行きの差を減少させる処理を行うことができる。
また、前記奥行き情報蓄積部は、3次元映像に含まれるオブジェクトごとに奥行き情報を蓄積しており、前記奥行き調整判定部は、前記頻度判定部が判定した前記単位時間当たりの検出頻度が前記所定頻度以上である場合に、前記奥行き情報蓄積部に蓄積されているオブジェクトごとの前記奥行き情報を参照し、前記切り替え操作に伴う3次元映像の切り替わりの前後において3次元映像の奥行きの差が所定差以上であるか否かをオブジェクト間で判定し、前記奥行き調整部は、前記奥行き調整判定部がいずれかのオブジェクト間において前記奥行きの差が前記所定差以上であると判定した場合に、前記奥行きの差を減少させるための処理を行っても良い。
一般的には、ユーザは3次元映像のオブジェクトに眼が追従するため、シーンチェンジの前後においても眼はオブジェクトに追従すると考えられる。このため、シーンチェンジの前後においてオブジェクト間で奥行きの変化が生じるか否かを判断することで、シーンチェンジがユーザの視覚系に負荷となるか否かを正確に判断することができる。
また、前記処理部は、さらに、前記切り替え操作検出部が検出した3次元映像のチャンネルの選択操作の履歴から、将来選択されるチャンネルを予測するチャンネル選択予測部を含み、前記奥行き調整判定部は、前記頻度判定部が判定した前記単位時間当たりの検出頻度が前記所定頻度以上である場合に、現在選択されているチャンネルの3次元映像と前記チャンネル選択予測部が予測した前記将来選択されるチャンネルの3次元映像との奥行きの差が前記所定差以上であるか否かを判定しても良い。
この構成によると将来選択されるであろうチャンネルの3次元映像と現在選択されているチャンネルの3次元映像との間の奥行きの差が大きい場合に、前もって奥行き差を減少させる処理を行うことができる。このため、ユーザが予測されたチャンネルを選択することによるシーンチェンジが起こった場合に、ユーザの視覚系に与える負荷を軽減することができる。
具体的には、前記チャンネル選択予測部は、前記切り替え操作検出部が検出した3次元映像のチャンネルの選択操作の履歴からチャンネルが昇順に選択されていると判断できる場合には、現在選択されているチャンネルの次に大きい番号のチャンネルを、将来選択されるチャンネルとして予測しても良い。
これにより、チャンネルが昇順に選択されている場合に、将来選択されるチャンネルを予測することができる。
また、前記チャンネル選択予測部は、前記切り替え操作検出部が検出した3次元映像のチャンネルの選択操作の履歴からチャンネルが降順に選択されていると判断できる場合には、現在選択されているチャンネルの次に小さい番号のチャンネルを、将来選択されるチャンネルとして予測しても良い。
これにより、チャンネルが降順に選択されている場合に、将来選択されるチャンネルを予測することができる。
また、前記切り替え操作検出部が検出する3次元映像のチャンネルの選択操作は、同一の表示画面の同一の表示領域上において3次元映像を時間的に切り替えて表示させるための操作であっても良い。
この構成によると、ユーザが見ている同一の表示画面の同一の表示領域上においてシーンチェンジが起こる場合のユーザの視覚系に与える負荷を軽減することができる。
また、上述の立体映像処理装置は、さらに、前記ユーザへ情報を出力する出力部を備え、前記出力部は、前記頻度判定部が判定した前記単位時間当たりの検出頻度が前記所定頻度以上である場合に、前記出力部より前記ユーザへ警告を出力しても良い。
また、上述の立体映像処理装置は、さらに、前記ユーザへ情報を出力する出力部と、前記ユーザによる操作入力を受け付ける操作受信部とを備え、前記出力部は、前記頻度判定部が判定した前記単位時間当たりの検出頻度が前記所定頻度以上である場合に、ユーザに対して奥行の差を減少させるための処理を行うか否かを問い合わせるための情報を出力しても良い。
また、上述の立体映像処理装置は、さらに、前記切り替え操作を行った第1のユーザとは異なる第2のユーザへ情報を出力する出力部を備え、前記出力部は、前記頻度判定部が判定した前記単位時間当たりの検出頻度が前記所定頻度以上である場合に、前記第2のユーザへ警告を出力しても良い。
また、上述の立体映像処理装置は、さらに、前記第2のユーザによる操作入力を受け付ける操作受信部を備え、前記出力部は、前記頻度判定部が判定した前記単位時間当たりの検出頻度が前記所定頻度以上である場合に、前記第2のユーザへ警告、あるいは奥行の差を減少させるための処理を行うか否かを問い合わせる情報を出力し、前記操作受信部が前記第2のユーザによる操作入力を受け付け、前記処理部は、前記操作受信部が受け付けた前記第2のユーザの操作入力に従って奥行の差を減少させるための処理を行っても良い。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、本発明の一態様に係る立体映像処理装置について、図面を参照しながら具体的に説明する。
(実施の形態1)
本実施の形態では、ユーザによる2つ以上の3次元映像(以下、単に「映像」ともいう)を切り替える操作を検出して、切り替え頻度が高い場合に、切り替え前後の映像の奥行き差を減少させる、画像処理を行う立体映像処理装置について説明する。なお、ユーザによる2つ以上の3次元映像を切り替える操作とは、本実施の形態ではチャンネル選択操作のことである。
図1は、実施の形態1における立体映像表示装置の構成を示す。
立体映像表示装置10は、映像情報蓄積部110と、操作入力部120と、立体映像処理装置1と、表示部160とを備える。
映像情報蓄積部110は、画面に表示する複数の3次元映像情報(以下、単に「3次元映像」という)を蓄積する記憶装置である。
操作入力部120は、ユーザの操作を入力するための機器であり、例えば、コントローラまたはリモコンである。操作入力部120は、有線または無線により立体映像処理装置1に接続される。
立体映像処理装置1は、操作入力部120を用いてユーザが入力した操作に従い、ユーザが選択したチャンネルの3次元映像を映像情報蓄積部110から取得し、取得した3次元映像を表示部160に出力する。
表示部160は、立体映像処理装置1から出力された3次元映像を画面(ディスプレイ)に表示する。
立体映像処理装置1は、操作受信部121と、切り替え操作検出部130と、頻度判定部140と、映像処理部150(処理部を構成する)と、出力部155とを含む。
操作受信部121は、3次元映像を視聴するユーザが入力した操作情報を、操作入力部120から受信する。
切り替え操作検出部130は、操作受信部121が操作入力部120から受信した操作情報に基づいて、ユーザによる映像を切り替える操作(以下、「切り替え操作」という)を検出する。なお、切り替え操作検出部130が検出する切り替え操作は、同一の表示画面の同一の表示領域上において3次元映像を時間的に切り替えて表示させるための操作である。
頻度判定部140は、単位時間当たりの映像の切り替え操作の頻度が、所定頻度以上であるか否かを判定する。
映像処理部150は、頻度判定部140の判定結果に基づいて、映像情報蓄積部110に蓄積された3次元映像に対して、奥行きの調整処理を行う。
出力部155は、映像処理部150により、奥行き調整処理が施された映像を、表示部160に出力する。
<ザッピング操作に基づく映像処理>
図2は、実施の形態1における、立体映像処理装置1の詳細な構成を示す。
本実施の形態における3次元映像の切り替え操作は、同一画面の同一領域上に表示されている3次元映像のチャンネルを順次変更するザッピング操作である。
立体映像処理装置1は、さらに、映像取得部180を含む。切り替え操作検出部130は、チャンネル変更検出部131を含む。頻度判定部140は、計時部141、チャンネル変更記憶部142、およびザッピング判定部144を含む。映像処理部150は、2次元化処理部151、計時部157、および3次元化判定部158を含む。
チャンネル変更検出部131は、ユーザが入力した切り替え操作に基づいて、チャンネル変更操作を検出する。検出されるチャンネル変更操作は、例えば、チャンネル変更操作が行なわれたことと操作結果のチャンネルとを示す。
計時部141と計時部157とは、時間を計測する。
チャンネル変更記憶部142は、チャンネル変更検出部131により検出されたチャンネル変更情報を検出した時刻における、直近のチャンネル変更からの時間間隔を記憶する。図3Aは、チャンネル変更記憶部142が記憶するデータの構成の一例を示す図である。図3Bは、時間間隔を説明する模式図である。図3Bの例では、チャンネル変更0からチャンネル変更4まで5回のチャンネル変更が行われたことを示している。チャンネル変更1の直近のチャンネル変更はチャンネル変更0である。チャンネル変更0が行われた時点からチャンネル変更1が行われた時点までの時間間隔は例えば827秒である。チャンネル変更2の直近のチャンネル変更はチャンネル変更1であり、チャンネル変更記憶部142は、チャンネル変更1の時点からチャンネル変更2の時点までの時間間隔2秒を記憶する。同様にチャンネル変更記憶部142は、チャンネル変更3、チャンネル変更4の時点での直近のチャンネル変更からの時間間隔を記憶する。チャンネル変更検出部131がチャンネル変更を検出する度に、計時部141は時間計測を開始して時間間隔を計測する。本実施の形態ではチャンネル変更記憶部142が記憶するデータ数は3までとする。
ザッピング判定部144は、単位時間当たりのチャンネル変更の回数からユーザの切り替え操作がザッピングであるか否かを判定する。
映像取得部180は、チャンネル変更検出部131により検出されたチャンネル変更操作に従って指定されたチャンネルの3次元映像情報を、外部(放送、再生装置等)から取得して映像情報蓄積部110に蓄積する。
2次元化処理部151は、ザッピング判定部144により、ユーザの切り替え操作がザッピング操作であると判定された場合、映像取得部180が取得した3次元映像情報を2次元映像情報に変換する2次元化処理を行う。
3次元化判定部158は、2次元化処理開始後の経過時間に基づき2次元化処理の停止の判定を行う。
出力部155は、2次元化処理部151により2次元化処理された映像情報を出力する。
尚、出力部155は、ザッピング判定部144によりユーザの切り替え操作がザッピング操作ではないと判定された場合は、映像情報蓄積部110に蓄積した3次元映像を出力する。
表示部160は、出力部155から取得した映像情報を画面上に表示する。
なお、本実施の形態ではチャンネル変更記憶部142は時間間隔を記憶するが、チャンネル変更操作を検出した時刻を記憶するものとし、ザッピング判定部144は、チャンネル変更記憶部142に記憶された時刻より時間間隔を計算するとしても良い。
図4は、立体映像処理装置1の動作を示すフローチャートである。図4に従って、立体映像処理装置1の処理手順を説明する。
立体映像処理装置1を含む立体映像表示装置10の電源が入ると、立体映像処理装置1は動作を開始する(S1010)。
操作受信部121は、操作入力部120から、3次元映像を視聴するユーザが操作入力部120に入力した操作情報を受信する(S1030)。
チャンネル変更検出部131は、ステップS1030で操作受信部121が受信した操作情報が、チャンネル変更操作を示すか否かを判定する(S1040)。
ステップS1030で操作受信部121が受信した操作情報がチャンネル変更操作を示す場合(S1040においてYes)、映像取得部180は、受信したチャンネル変更操作に従って、チャンネル変更操作に指定されたチャンネルの映像を外部より取得して、映像情報蓄積部110に蓄積する(S1050)。
ステップS1030で操作受信部121が受信した操作情報がチャンネル変更操作を示していない場合(S1040においてNo)、ステップS1030へ戻る。
計時部141は、チャンネル変更記憶部142に記憶されている直近のチャンネル変更操作から第1所定時間以上、例えば5秒以上が経過しているか否かを判断する(S1060)。
計時部141が直近のチャンネル変更操作から第1所定時間以上経過していないと判断した場合(S1060においてNo)、チャンネル変更記憶部142は、直近のチャンネル変更操作との時間間隔を記憶する(S1070)。例えば、図3Bに示すように、チャンネル変更2からチャンネル変更4のチャンネル変更操作に対する時間間隔がチャンネル変更記憶部142に記憶される。本実施の形態ではチャンネル変更記憶部142が記憶するデータ数は3までである。このため、チャンネル変更記憶部142がすでに3つのデータを記憶している場合には、最も古いデータを消去して当該の時間間隔を記憶する。チャンネル変更記憶部142が記憶するデータが3未満の場合には、記憶しているデータに当該の時間間隔を加えて記憶する。
計時部141が直近のチャンネル変更操作から第1所定時間以上経過していると判断した場合(S1060においてYes)、チャンネル変更記憶部142は、記憶しているチャンネル変更操作のすべてのデータを消去する(S1080)。
ステップS1070の後、ザッピング判定部144は、チャンネル変更記憶部142に、所定数以上、例えば3つ以上のチャンネル変更操作の時間間隔が記憶されているか否かを判断する(S1090)。
所定数以上のチャンネル変更操作の時間間隔が記憶されている場合(S1090においてYes)、ザッピング判定部144は、チャンネル変更記憶部142に記憶されているチャンネル変更操作の時間間隔から、単位時間当たりのチャンネル変更操作の頻度を計算する(S1100)。本実施の形態では単位時間当たりのチャンネル変更操作の頻度を、例えば、チャンネル変更操作の時間間隔の平均により求める。
所定数以上のチャンネル変更操作の時間間隔が記憶されていない場合(S1090においてNo)、ステップS1120へ進む。
ザッピング判定部144は、ステップS1100で計算したチャンネル変更操作の頻度が所定頻度以上であるか否かを判断する。ここでは、この判断として、ザッピング判定部144は、第2所定時間(例えば3秒)当たり1回以上のチャンネル変更操作があるか否かを判断する(S1110)。
ステップS1110においてチャンネル変更操作の頻度が所定頻度以上であると判断された場合(ステップS1110においてYes)、2次元化処理部151は、3次元映像を2次元映像に変換する2次元化処理を行う。つまり、2次元化処理部151は、3次元映像の右眼用または左眼用のどちらか一方の映像を選択する。
出力部155は、選択した映像を出力する。
表示部160は、ユーザの両眼に、選択した映像が見えるよう映像情報蓄積部110に蓄積された映像を表示する(S1130)。
なお、表示部160の動作については3次元映像の表示方式ごとに後述する。
ステップS1110においてチャンネル変更操作の頻度が所定頻度未満であると判断された場合(ステップS1110においてNo)、ステップS1120へ進む。
ステップS1120では、2次元化処理部151は、2次元化処理を行わず、出力部155は、映像情報蓄積部110に蓄積された3次元映像の左眼用映像および右眼用映像を出力する。表示部160は、左右の眼に対応する映像をユーザが対応する眼で見えるように、3次元映像を表示する(S1120)。
3次元化判定部158は、計時部157によって計時されたステップS1130実行時からの2次元化処理の継続時間を参照し、2次元化処理を停止するか否かを判定する(ステップS1140)。計時部157は、ステップS1130が実行されるごとに0から計時を開始する。すなわち、計時部157はチャンネル変更操作が行なわれる度に0から計時を開始する。したがって、ユーザが単位時間当たり所定頻度以上でチャンネル変更をし続ける場合には2次元化処理が継続される。また、ユーザが単位時間当たりのチャンネル変更の頻度を下げる、すなわちザッピングをやめると2次元化処理が停止されて3次元表示が行われる。
ステップS1140において2次元化処理の継続時間が第3所定時間(例えば5秒)以内の場合(ステップS1140においてYes)、ステップS1030へ進む。すなわち2次元化処理部151による2次元化処理はそのまま継続される。
ステップS1140において2次元化処理の継続時間が第3所定時間(例えば5秒)を超える場合(ステップS1140においてNo)、2次元化処理部151は2次元化処理を停止し、ステップS1120へ進む。
ステップS1120の実行後はステップS1030へ戻る。
図5に、3次元表示の方式として裸眼式を採用する表示部160の構成の一例を示す。
裸眼式では、ディスプレイ表面に設けたバリアまたは特殊なレンズを用いて光の方向を水平方向に調整することにより、ディスプレイを視聴するユーザに対して、右眼用映像が右眼に見え、左眼用映像が左眼に見えるようにする。
表示部160は、映像制御部161と、映像表示部162とを有する。
表示部160が裸眼式の表示方式であり、図5のような構成である場合、ステップS1130において、2次元化処理部151は、まず、右眼用または左眼用どちらか一方の映像を選択する。
次いで2次元化処理部151は、映像情報蓄積部110に蓄積された3次元映像の左右の映像を同じものにする。例えば、右眼用映像を選択した場合、2次元化処理部151は映像情報蓄積部110に蓄積された3次元映像の、左眼用映像を右眼用映像に入れ替え、右眼用映像と左眼用映像をまったく同じものにする。
2次元化処理部151は上記の2次元化処理を行った後、まったく同じ右眼用映像と左眼用映像を表示部160の映像制御部161に出力する。
映像制御部161は3次元表示時と同様、右眼用画像をスリットに分割して右眼用表示位置に表示し、左眼用画像をスリットに分割して左眼用表示位置に表示するための制御信号を生成する。
映像表示部162は、映像制御部161より出力された制御信号に従って、2次元化処理部151により処理され、出力部155から出力された映像を表示する。つまり、ユーザの左右の眼に同一の映像が表示され、ユーザは2次元映像を視聴することができる。
図6に、3次元表示の方式としてパッシブシャッタ方式を採用する表示部160の構成の一例を示す。
パッシブシャッタ方式では、ディスプレイを右眼用部分と左眼用部分とに分割して、そのそれぞれの表面に右眼用と左眼用の角度または方向の異なる偏光フィルタを設けている。また、右眼と左眼にディスプレイの偏光フィルタの角度または方向に対応した偏光シャッタを備えた専用のメガネを通して映像を視聴させることで、3次元表示を可能にする。
表示部160は、映像制御部261と、映像表示部262と、3次元専用メガネ30(3次元ビューワーを構成する)とを含み、3次元専用メガネ30は、シャッタ263を含む。
ステップS1130において、2次元化処理部151は、右眼用または左眼用どちらか一方の映像を選択する。映像情報蓄積部110に蓄積された3次元映像の右眼用映像および左眼用映像のうち、選択しなかった映像を選択した映像に入れ替えて、右眼用映像と左眼用映像を同一の映像にする。
2次元化処理部151は左右の映像が同一になった映像を映像制御部261に出力する。映像制御部261は3次元表示時と同様、左右の映像を各映像の表示領域に分割して表示する制御信号を生成する。
映像表示部262は映像制御部261より出力された制御信号に従って、2次元化処理部151により処理された映像を表示する。
ユーザは、装着した3次元専用メガネ30のシャッタ263を通して映像表示部262に表示された映像を視聴する。つまり、ユーザの左右の眼に同一の映像が表示され、ユーザは2次元映像を視聴することができる。
図7に、3次元表示の方式としてアクティブシャッタ方式を採用する表示部160の構成の一例を示す。
アクティブシャッタ方式では、ディスプレイに右眼用映像と左眼用映像とを交互に表示し、表示タイミングにあわせて専用メガネのシャッタを左右交互に開閉する。これにより、右眼用映像を表示しているタイミングでは右眼のシャッタが開けられ、ユーザは右眼でディスプレイを見る。また、左眼用映像を表示しているタイミングでは左眼のシャッタが開けられ、ユーザは左眼でディスプレイを見る。
左右の映像の切り替えを十分に早くすることで、ユーザは左右の映像を融合して立体視することができる。
図7に示すように、表示部160は、映像制御部361と、映像表示部362と、送信部363と、3次元専用メガネ30Aとを備える。映像制御部361は、左右の映像の表示タイミングと左右シャッタの開閉タイミングを制御する。映像表示部362は、映像制御部361の制御に従って、左右の映像を表示する。送信部363は、映像制御部361の制御信号(同期信号)を3次元専用メガネ30Aに送信する。
3次元専用メガネ30Aは、受信部364と、シャッタ制御部365と、シャッタ366とを含む。受信部364は、送信部363より送信された制御信号を受信する。シャッタ制御部365は、受信部364が受信した制御信号に基づいてシャッタ366の開閉タイミングを制御する。
このような構成の場合、ステップS1130で2次元化した映像を表示する方法は2種類ある。
第1の方法は、裸眼式あるいはパッシブシャッタ方式と同様に2次元化処理部151が映像情報蓄積部110に蓄積された3次元映像を左右同一の映像に入れ替える処理を行い、左右同一の映像を、3次元表示する際と同様に表示する方法である。
第2の方法は、2次元化処理部151が左右どちらの映像を表示するかを選択するのみで、映像制御部361が選択された方の映像を両眼で見るようシャッタ366の開閉タイミングを変更する方法である。
第1の方法では、ステップS1130において、2次元化処理部151は、右眼用映像および左眼用映像のどちらか一方の映像を選択して、映像情報蓄積部110に蓄積された3次元映像の右眼用映像および左眼用映像のうち、選択しなかった映像を選択した映像に入れ替えることで、右眼用映像と左眼用映像を同一の映像にする。
2次元化処理部151は、同一になった右眼用映像および左眼用映像を映像制御部361に出力する。映像制御部361は3次元表示時と同様、左右の映像を交互に表示する制御信号を生成し、さらに表示に同期して、左右のシャッタ366を切り替える同期信号を生成する。
映像表示部362は映像制御部361より出力された制御信号に従って、2次元化処理部151により処理された映像を表示する。
同時に、送信部363は、映像制御部361で生成された同期信号を3次元専用メガネ30Aに送信し、3次元専用メガネ30Aの受信部364がその同期信号を受信する。
シャッタ制御部365は、受信部364が受信した同期信号に従って、シャッタ366の開閉を制御する。
2次元化処理部151により左右の映像が同一のものになっているため、ユーザは右眼と左眼で順に同じ映像を見ることになり、2次元映像を視聴することになる。
第2の方法では、ステップS1130において、2次元化処理部151は、右眼用映像および左眼用映像のどちらか一方の映像を選択する。
ここでは、2次元化処理部151は、例えば右眼用映像を選択するものとする。2次元化処理部151は、選択結果を映像制御部361に出力する。
映像制御部361は3次元表示時と同様、左右の映像を交互に表示する制御信号を生成し、さらに表示に同期して、右眼と左眼の両方のシャッタが右眼用映像が表示されるタイミングに開き、左眼用映像が表示されるタイミングに閉じるように左右のシャッタを切り替える同期信号を生成する。
映像表示部362は3次元表示時と同様に左右の映像を交互に表示し、送信部363は映像制御部361が生成した同期信号を受信部364に送信する。
受信部364は受信した同期信号をシャッタ制御部365に出力し、シャッタ制御部365は同期信号に基づいてシャッタを同期して開閉する。これによりユーザが装着する3次元専用メガネ30Aのシャッタはどちらも右眼用画像が表示されているときのみ開放され、ユーザは右眼用画像のみを視聴する。
このように、複数の3次元映像に対してザッピングを行った際に2次元に変換して表示することで、ユーザによる切り替え操作による頻繁なシーンチェンジにより、奥行きの変化が頻繁に発生する、疲労しやすい映像を表示することなく、ユーザによる切り替え操作によって起るユーザの疲労を防止することができる。
つまり、ユーザによる切り替え操作に伴い、頻繁に3次元映像が切り替わる場合に、3次元映像の奥行き差を減少させることができる。このため、頻繁に3次元映像が切り替わった場合であっても、奥行きの変化に対する過度な眼の追従が防止される。よって、ユーザの操作により3次元映像の切り替わり(シーンチェンジ)が起こった場合のユーザの眼の疲労を防止することができる。
(実施の形態1の変形例1)
実施の形態1では、単位時間当たりのチャンネル変更操作が少なくとも4回行なわれないと3次元映像の奥行き調整処理(2次元映像化処理)が行われなかったが、本変形例では、チャンネル変更操作が2回しか行なわれない場合であっても奥行き調整処理を行うことができる立体映像処理装置について説明する。
図8は、チャンネル変更操作が2回しかない場合でも、奥行き調整処理を行う、実施の形態1の変形例1に係る立体映像処理装置の構成を示すブロック図である。
本変形例に係る立体映像処理装置1Aは、実施の形態1に係る立体映像処理装置1の構成において頻度判定部140の代わりに頻度判定部140Aを備えたものである。頻度判定部140Aは、頻度判定部140の構成からチャンネル変更記憶部142を除き、ザッピング判定部144の代わりにザッピング判定部144Aを備えたものである。
ザッピング判定部144Aは、直近のチャンネル変更操作から第1所定時間以上、例えば5秒以上が経過していなければ、ユーザによるチャンネル変更操作がザッピングであると判定する。
図9は、立体映像処理装置1Aの動作を示すフローチャートである。
このフローチャートは、図4に示した実施の形態1に係る立体映像処理装置1のフローチャートからステップS1070〜ステップS1110を除いたものである。以下、実施の形態1と異なる部分について説明する。
ザッピング判定部144Aは、計時部141で計時された直近のチャンネル変更操作からの現在検出されたチャンネル変更操作までの時間間隔が第1所定時間以上、例えば5秒以上経過しているか否かを判断する(S1060)。ザッピング判定部144Aは、上記時間間隔が5秒未満であればチャンネル変更操作がザッピングであると判断する。
直近のチャンネル変更操作からの時間間隔が第1所定時間未満である場合、つまりチャンネル変更操作がザッピングであると判断された場合(S1060においてNo)、2次元化処理部151は、3次元映像を2次元映像に変換する処理を行い、出力部155は、2次元化された映像を出力する。表示部160は、出力部155から出力された映像を表示する(S1130)。
直近のチャンネル変更操作からの時間間隔が第1所定時間以上である場合、つまりチャンネル変更操作がザッピングではないと判断された場合(S1060においてYes)、ステップS1120へ進む。ステップS1120では、2次元化処理部151は、2次元化の処理を行わず、出力部155は、映像情報蓄積部110に蓄積された3次元映像を出力し、表示部160は、3次元映像を表示する(S1120)。
このように、本変形例では単位時間当たりのチャンネル変更操作の頻度を計算することなく、直前のチャンネル変更操作から所定時間以内にチャンネル変更操作が行われているすべての場合に奥行き調整処理を行う。これにより、ザッピングにより早く対応して、シーンチェンジによるユーザの視覚系への負荷をより早く取り除くことができる。
(実施の形態1の変形例2)
実施の形態1では、ザッピングが行われた場合に、チャンネルの切り替えの前後での映像の奥行き差は考慮することなく、3次元映像の2次元化を行ったが、本変形例では、奥行き差が大きい場合にのみ3次元映像の2次元化を行う。
図10は、本変形例に係る立体映像表示装置の構成を示す図である。
立体映像表示装置10Bは、立体映像処理装置1Bと、映像取得部180と、映像情報蓄積部110と、奥行き情報蓄積部190と、表示部160とを備える。
立体映像処理装置1Bは、図1および図2に示す立体映像処理装置1の構成において、切り替え操作検出部130および映像処理部150の代わりに切り替え操作検出部130Bおよび映像処理部150Bをそれぞれ備える構成を有する。
切り替え操作検出部130Bは、チャンネル変更検出部131と、変更履歴記憶部132とを備える。映像処理部150Bは、チャンネル選択予測部152と、奥行き調整判定部154と、2次元化処理部151と、計時部157と、3次元化判定部158とを備える。図1および図2に共通の部分について同一の符号を付し、適宜説明を省略する。
変更履歴記憶部132はチャンネル変更検出部131が検出するチャンネル変更操作で指定されたチャンネルを記憶する。
チャンネル選択予測部152は、ユーザが次に選択するチャンネルを予測する。
奥行き調整判定部154は、現在表示している3次元映像の奥行きと予測したチャンネルの3次元映像の奥行きとから、奥行きの調整が必要かどうかを判定する。
なお、映像処理部150Bは、2次元化以外の方法で奥行きの変化を小さくする奥行き調整部を含んでいても良い。
奥行き情報蓄積部190については、以下に説明する。
図11Aおよび図11Bは、映像情報蓄積部110および奥行き情報蓄積部190がそれぞれ蓄積する情報の一例を示す。
映像情報蓄積部110は、チャンネルごとに、時刻、フレーム、およびフレームごとの右眼用画像と左眼用画像のデータを保持している。右眼用画像および左眼用画像は、右眼用映像および左眼用映像を構成する画像である。
奥行き情報蓄積部190は、時刻(フレーム)ごとに、表示可能なチャンネルと、そのチャンネルで表示される画像の奥行き情報を保持している。奥行き情報蓄積部190は、奥行き情報として、画像中の中心となるオブジェクトの奥行き位置である焦点位置の情報を保持している。ここでは、焦点位置は、ユーザの標準視聴位置(例えば、画面平面から画面の縦の長さの3倍の距離離れた位置)を0として、画面平面に向かう奥行き方向の軸上の距離をcmで示したものである。奥行き情報として、焦点距離以外に、画像中の平均奥行きや、画面中心点の奥行き等の距離情報を用いても良い。また、奥行き情報として、視差、すなわち左右画像の対応点間の距離等の情報を用いても良い。さらに、奥行き情報として、標準視聴位置におけるユーザモデル(標準瞳孔間距離を持つユーザを想定)の輻輳角等のユーザの眼球の動きの情報を用いても良い。なお、奥行き情報蓄積部190に蓄積される奥行き情報は、放送波から予め取得したものであっても良い。また、Blu−ray Disc(登録商標)などの記録媒体に3次元映像と共に記録されている奥行き情報を、奥行き情報蓄積部190に蓄積しても良い。
図12は、本変形例に係る立体映像処理装置1Bの動作の一部を示すフローチャートである。
ステップS1010からステップS1040と、ステップS1120からステップS1140については実施の形態1の図4と同様であるので説明を省略する。
以下、図4と図12に従って、立体映像処理装置1Bの動作を説明する。
ステップS1040で入力された切り替え操作がチャンネル変更操作であった場合(S1040においてYes)、変更履歴記憶部132はチャンネル変更操作により指定されたチャンネルを記憶する(ステップS2000)。
ステップS1040で入力された切り替え操作がチャンネル変更ではなかった場合(S1040においてNo)、ステップS1030へ戻る。
ステップS2000の後、計時部141は、チャンネル変更記憶部142に記憶されている直近のチャンネル変更操作から、第1所定時間以上経過しているか否かを判断する(S1060)。
計時部141が直近のチャンネル変更操作から第1所定時間以上経過していないと判断した場合(S1060においてNo)、チャンネル変更記憶部142は、直近のチャンネル変更操作との時間間隔を記憶する(S1070)。
計時部141が直近のチャンネル変更操作から第1所定時間以上経過していると判断した場合(S1060においてYes)、チャンネル変更記憶部142は、記憶しているチャンネル変更操作のすべてのデータを消去する(S1080)。
ステップS1070の後、ザッピング判定部144は、チャンネル変更記憶部142に、所定数以上、例えば3つ以上のチャンネル変更操作の時間間隔が記憶されているか否かを判断する(S1090)。
所定数以上のチャンネル変更操作の時間間隔が記憶されている場合(S1090においてYes)、ザッピング判定部144は、チャンネル変更記憶部142に記憶されているチャンネル変更操作の時間間隔から、単位時間当たりのチャンネル変更操作の頻度を計算する(S1100)。
所定数以上のチャンネル変更操作の時間間隔が記憶されていない場合(S1090においてNo)、ステップS1120へ進む。
ザッピング判定部144は、ステップS1100で計算したチャンネル変更操作の頻度が所定頻度以上であるか否かを判断する。ここでは、この判断として、ザッピング判定部144は、第2所定時間(例えば3秒)当たり1回以上のチャンネル変更操作があるか否かを判断する(S1110)。
ステップS1110においてチャンネル変更操作の頻度が所定頻度以上であると判断された場合(ステップS1110においてYes)、チャンネル選択予測部152は、チャンネル変更記憶部142に記憶されているチャンネル変更履歴より、次に選択されるチャンネルを予測する(S2010)。
つまり、チャンネル選択予測部152は、チャンネルが昇順で変更されているか降順で変更されているかを判断し、チャンネルが昇順で変更されている場合には、当該のチャンネルの次に大きい番号のチャンネルを次に選択されるチャンネルとして予測し、チャンネルが降順で変更されている場合には、当該のチャンネルの次に小さい番号のチャンネルを次に選択されるチャンネルとして予測する。なお、リモコンのチャンネルを降順に変更するためのボタン、または昇順に変更するためのボタンが押された場合には、チャンネルが降順に変更されている、または昇順に変更されていると判断することにより、次に選択されるチャンネルを予測しても良い。
チャンネル変更履歴が昇順あるいは降順のどちらにも分類されない場合は、チャンネル選択予測部152は、当該のチャンネルの次に大きい番号のチャンネルと当該のチャンネルの次に小さい番号のチャンネルとの両方を次に選択されるチャンネルとして予測する。
奥行き調整判定部154は、奥行き情報蓄積部190に蓄積されたデータから、現在表示されているチャンネルの奥行き情報である第1奥行き情報と、変更履歴記憶部132に記憶された当該のチャンネル変更操作により指示されたチャンネルの奥行き情報である第2奥行き情報と、ステップS2010で予測されたチャンネルの奥行き情報である第3奥行き情報とを取得する。奥行き調整判定部154は、第1奥行き情報と第2奥行き情報との差を示す奥行き指標を算出し、第2奥行き情報と第3奥行き情報との差を示す奥行き指標を算出する(S2020)。
例えば、第1奥行き情報と第2奥行き情報との差を示す第1奥行き指標は、以下の式1により算出され、第2奥行き情報と第3奥行き情報との差を示す第2奥行き指標は、以下の式2により算出される。
|L1−L2|/L1×L2 …(式1)
|L2−L3|/L2×L3 …(式2)
ただし、L1は第1奥行き情報であり、L2は第2奥行き情報であり、L3は第3奥行き情報である。
奥行き調整判定部154は、算出した第1奥行き指標および第2奥行き指標のいずれかが所定の値、例えば0.01以上であるか否かを判定する(S2030)。
いずれかの奥行き指標が0.01以上の場合(S2030でYes)、奥行き調整判定部154は、映像を2次元表示することを決定し、2次元化処理部151は、3次元映像の右眼用映像および左眼用映像のどちらか一方の映像を選択し、ユーザの両眼に選択した映像が見えるよう表示部160を制御して映像情報蓄積部110に蓄積された映像を表示する(S1130)。
ステップS2030においてどちらの指標も0.01未満の場合(S2030においてNo)、2次元化処理部151は2次元化の処理を行わず、表示部160は映像情報蓄積部110に蓄積された映像を3次元表示する(S1120)。
このように、立体映像処理装置1Bは、複数の3次元映像に対してザッピングを行った際に、チャンネルごとの奥行きを比較して、チャンネル変更による奥行きの変化が大きい場合に3次元映像を2次元に変換して表示する。これにより、ザッピング時に同じような奥行きの映像が続く場合には3次元表示を継続して各番組の状態をよりわかりやすくユーザに見せることができる。その一方で、ザッピングによる頻繁なシーンチェンジにより、奥行きの急峻な変化が頻繁に発生する場合には、奥行きを調整することにより、ユーザによる切り替え操作によって起るユーザの疲労を防止することができる。
つまり、この構成によると将来選択されるであろうチャンネルの3次元映像と現在選択されているチャンネルの3次元映像との間の奥行きの差が大きい場合に、前もって奥行き差を減少させる処理を行うことができる。このため、ユーザが予測されたチャンネルを選択することによるシーンチェンジが起こった場合に、ユーザの視覚系に与える負荷を軽減することができる。
なお、図10の映像処理部150には、チャンネル選択予測部152がなくても良い。その際には、奥行き調整判定部154は、選択しうるチャンネルあるいは再生映像コンテンツの候補のすべてについて、現在表示している映像の奥行き情報と、各チャンネルあるいは映像コンテンツ等の映像の奥行きとの比較を行う。奥行き調整判定部154は、例えば、所定の視差以上の奥行きの差が1つでもある場合には奥行き調整処理を行うものと判定する。
なお、奥行き調整判定部154は、奥行きを比較する複数のチャンネルについて、図11Bのように奥行き情報蓄積部190に蓄積された、同じ時点での各チャンネルの奥行きを比較したが、各チャンネルを表示する時間のずれにあわせて、チャンネルごとに表示する時間の奥行き情報を取得して比較するものとしても良い。
なお、実施の形態1、ならびに実施の形態1の変形例1および変形例2では、映像処理部150は奥行きの調整方法として3次元映像を2次元映像に変換する方法を用いたが、奥行きの差を小さくする処理であればこれ以外の方法であっても良い。
映像の処理により奥行の差を小さくする方法の一例としては、右眼用映像と左眼用映像との間の視差を調節する方法がある。視差の調節の方法については、3次元映像の切り替わりの前の映像及び後の映像のそれぞれについて、右眼用映像と左眼用映像との間の視差を小さくすることで、切り替わりの前の映像及び後の映像を2次元映像に近づけて表示する方法がある。また、映像表示中、最も手前のオブジェクトの奥行き位置を揃えるように2つの映像の奥行きの調整を行っても良い。
また、平均奥行きが等しくなるように奥行きの調整を行うとしても良い。
また、画面の中心の奥行きが等しくなるように奥行きの調整を行うとしても良い。
また、2つの映像のうち奥行きの幅の大きいものの奥行きの幅を縮めて奥行きの位置を揃える調整を行っても良い。
(実施の形態1の変形例3)
実施の形態1の変形例2では、奥行き調整判定部154が、奥行き情報蓄積部190に蓄積されている奥行き情報に基づいて、奥行き指標が0.01以上か否かを判定することにより、2次元化処理を実施するか否かを判定した。
本変形例においては、さらに、奥行き情報蓄積部190が、各フレームにおいて、領域ごとの奥行き情報を蓄積している。奥行き調整判定部154は、領域ごとに奥行き情報を比較するものとする。
一般に、チャンネルの切り替えを瞬時に行っている場合においては、ユーザの視点が大きく移動することなく、画面上の同じ位置を見ている可能性が高い。そのため、ユーザは、切り替えられた映像においても、画面上の同一領域において、奥行き情報を比較する必要がある。
本変形例においては、図13Aに示すように画面が16個の格子状に分割されており、奥行き情報蓄積部190は、図13Bに示すように、分割領域ごとに奥行き情報を蓄積している。
奥行き調整判定部154は、同一領域ごとにチャンネル間で奥行き情報を比較する。具体的には、奥行き調整判定部154は、領域ごとにチャンネル間で奥行きの最大値の差が所定の値以上か否かを判断する。いずれかの領域において最大値の差が所定の値より大きいときには、視聴者(ユーザ)の視覚において違和感を発生させる可能性があるため、2次元化処理部151で2次元処理を実施する。
シーンチェンジの前後ではユーザは画面のほぼ同じ位置を見続けていると考えられる。このため、表示領域毎に奥行きの差を判断することで、どの位置を見続けていたとしてもユーザが見続けている位置で奥行きが変化するか否かを判断することができる。よって、必要な場合にのみ奥行きの差を減少させる処理を行うことができる。
なお、図13Aの分割領域は、各領域で同じ面積の大きさとしている。しかしながら、ユーザは画面の中央部に対しては、画面の周辺部に比べて、より小さい範囲に注目している。そこで、図14のように画面の中央部分の奥行き情報に関しては、画面の周辺部より分割領域の数を増加させても良い。これにより、ユーザがよく視聴する領域に対して詳細に優先的に奥行き情報を比較することが可能になる。つまり、中央部をより細かく分割することで、より精度良くユーザが見続けている位置で奥行きが変化するか否かを判断することができる。
なお、本変形例においては、画面を領域に分割し、同一領域同士で奥行き情報の比較を行ったが、人、顔、車、窓のようなユーザが注目しやすいオブジェクトが映像中にある場合には、オブジェクトが占める領域の奥行き情報を比較しても良い。例えば、奥行き情報蓄積部190は、図15Aに示すように、オブジェクトごとの奥行き情報を蓄積していても良い。奥行き調整判定部154は、図15Bに示すように、現在表示しているチャンネルの画面に表示されるオブジェクトを含む領域であるオブジェクト領域Aと、変更するチャンネルの画面に表示されるオブジェクトを含む領域であるオブジェクト領域Bのオブジェクトごとの奥行き情報を抽出して、奥行き情報を比較するとしても良い。または、奥行き調整判定部154は、オブジェクト領域A、オブジェクト領域Bをそれぞれ特定して、図13Bのように分割された領域ごとの奥行き情報からオブジェクト領域の奥行き情報を取得して、奥行きを比較するとしても良い。これにより、ユーザが注目するオブジェクトの奥行きを調整することで、シーンチェンジによるユーザの視覚系への負荷を軽減することができる。
つまり、一般的には、ユーザは3次元映像のオブジェクトに眼が追従するため、シーンチェンジの前後においても眼はオブジェクトに追従すると考えられる。このため、シーンチェンジの前後においてオブジェクト間で奥行きの変化が生じるか否かを判断することで、シーンチェンジがユーザの視覚系に負荷となるか否かを正確に判断することができる。
なお、本変形例においては、奥行き情報を比較する場合に、領域ごとに比較を行っている。しかしながら、チャンネルを選択しながらザッピングを実施するときには、図16に示すように、ユーザは手元に保有しているリモコンのボタン位置を確認してから、チャンネルを切り替える場合が多い。よって、そのときには、画面の下の部分から中央部分について、奥行き情報を比較することが重要となる。特に、リモコンでチャンネルを切り替える際に、チャンネル番号の数字を上昇または下降させる操作ではなく、チャンネルの数字を直接入力する際には、ユーザの視線が一旦リモコンに移動してからその後に、表示画面の方に移動する。この場合には、ユーザの視線が表示画面の下から上に向けて移動する場合が多い。そこで、本変形例に示すように、領域ごとに奥行き情報を蓄積している場合には、比較する領域を指定して、その領域において、選択されたチャンネルの3次元情報との比較を行ってもよい。
このように、ユーザがリモコンのボタン位置を確認しながらチャンネルを切り替える場合もある。このような場合には、ユーザの視線はリモコンと表示画面の下半分辺りを往復すると考えられる。このため、この構成によると、表示画面の下半分辺りにおいて奥行きが変化するか否かを判断することができる。よって、必要な場合にのみ奥行きの差を減少させる処理を行うことができる。
(実施の形態2)
本実施の形態では、同一の3次元映像内において、映像のスキップ操作、早送り操作、巻き戻し操作および任意の時間位置への頭だし操作を含むユーザの操作を検出し、ユーザの操作に伴う映像の切り替え頻度が高い場合に、映像の切り替え前後の映像の奥行き差を減少させる、画像処理を行う立体映像処理装置について説明する。
図17は、実施の形態2における立体映像表示装置20の構成を示す図である。
立体映像表示装置20は、映像情報蓄積部110と、操作入力部120と、立体映像処理装置2と、表示部160とを備える。
立体映像処理装置2は、図1および図2に示した立体映像処理装置1の構成において、切り替え操作検出部130および頻度判定部140の代わりに、切り替え操作検出部230および頻度判定部240を用いたものである。図1および図2と同様の部分については同一の符号を付し適宜説明を省略する。
切り替え操作検出部230は、スキップ検出部231と、早送り検出部232と、巻き戻し検出部233とのうちの少なくとも一つの検出部を含む。なお、切り替え操作検出部230が検出する切り替え操作は、同一の表示画面の同一の表示領域上において3次元映像を時間的に切り替えて表示させるための操作である。
スキップ検出部231は、1つの映像の視聴時間位置を所定の時間間隔だけ移動させて映像を表示するスキップ操作を検出する。スキップ操作とは、例えば、CM(Commercial Message)を飛ばすために30秒後に視聴時間位置をジャンプさせて映像を表示する操作のことである。
早送り検出部232は、1つの映像を早送りして、視聴時間位置を任意の時間間隔だけ移動させて画像を表示する早送り操作を検出する。
巻き戻し検出部233は、1つの映像を巻き戻して、視聴時間位置を任意の時間間隔だけ移動させて映像を表示する巻き戻し操作を検出する。
本実施の形態2では、スキップ操作、早送り操作、巻き戻し操作、頭だし操作の総称をジャンプ操作とする。
頻度判定部240は、計時部141と、ジャンプ操作記憶部242と、判定部244とを含む。
計時部141は時間を計測する。
ジャンプ操作記憶部242は、ジャンプ操作間の時間間隔を蓄積する。
判定部244は、単位時間当たりのジャンプ操作の頻度からユーザのジャンプ操作によるシーンチェンジの頻度が所定の値を超えているかどうかを判定する。
図18は、実施の形態2に係る立体映像処理装置2の動作の一部を示すフローチャートである。
ステップS1010からステップS1030は、実施の形態1の図4と共通であるので説明を省略する。
ステップS1030の後、ステップS3040では、切り替え操作検出部230が、ジャンプ操作にあたる切り替え操作の入力が行われたか否かを判断する(S3040)。
ジャンプ操作の入力の判断は、スキップ検出部231、早送り検出部232、巻き戻し検出部233が行う。つまり、スキップ検出部231は、映像の視聴時間位置を所定の時間間隔移動させて表示するスキップ操作の入力を検出する。また、早送り検出部232は、映像を早送りした直後に表示する操作の入力を検出する。さらに、巻き戻し検出部233は、映像を巻き戻した直後に表示する操作の入力を検出する。
このように、スキップ、早送り直後の表示、巻き戻し直後の表示のいずれかのジャンプ操作が検出された場合は(S3040においてYes)、ステップS3050に進む。
ステップS3040で、ジャンプ操作が検出されなかった場合は(S3040でNo)、ステップS1030へ戻る。
計時部141は、ジャンプ操作記憶部242に記憶されている直近のジャンプ操作から第1所定時間以上、例えば5秒以上が経過しているか否かを判断する(S3050)。
計時部141が直近のジャンプ操作から第1所定時間以上経過していないと判断した場合(ステップS3050においてNo)、ジャンプ操作記憶部242は、当該のジャンプ操作とジャンプ操作が行われた時刻を記憶する(S3060)。
計時部141が直近のジャンプ操作から第1所定時間以上経過していると判断した場合(ステップS3050においてYes)、ジャンプ操作記憶部242は、記憶しているすべてのジャンプ操作に関するデータを消去し、当該のジャンプ操作と、計時部141から取得したジャンプ操作がおこなわれた時刻とを記憶する(S3070)。
ステップS3060の後、判定部244は、ジャンプ操作記憶部242に、所定数以上、例えば3つ以上のジャンプ操作のデータが記憶されているか否かを確認する(S3080)。
所定数以上のジャンプ操作のデータが記憶されている場合(S3080においてYes)、判定部244は、ジャンプ操作記憶部242に記憶されているジャンプ操作の単位時間当たりの頻度を計算する(S3090)。単位時間当たりの頻度は、例えば、記憶されているジャンプ操作のうち時刻が最も早いものと時刻が最も遅いものの間の時間間隔を求め、その時間間隔を、記憶されたジャンプ操作の回数で割ることにより算出される。
所定数以上のジャンプ操作のデータが記憶されていない場合(S3080でNo)、ステップS1120へ進む。
さらに、判定部244は、ステップS3090で計算したジャンプ操作の頻度が所定頻度以上であるか否かを判断する。ここでは、この判断として、判定部244は、第2所定時間(例えば3秒)当たり1回以上のジャンプ操作があるか否かを判断する(S3100)。
ステップS3100においてジャンプ操作の頻度が所定頻度以上であると判断された場合(ステップS3100においてYes)、映像処理部150は、3次元映像の奥行きを調整して、連続して表示する映像の奥行きを平滑化して表示する処理を行う(S3130)。
奥行きの調整処理は、例えば、映像中の最も手前のオブジェクトの奥行きを基準に2つの映像の奥行きの差を視差角0.8度以内に調整する処理である。
ステップS3100においてジャンプ操作の頻度が所定頻度未満であると判断された場合(ステップS3100においてNo)、ステップS1120へ進む。ステップS1120では、映像処理部150は奥行き調整処理を行わず、表示部160は映像情報蓄積部110に蓄積された映像を3次元で表示する(S1120)。
映像処理部150は、ステップS3130実行時からの奥行き調整処理の継続時間を参照し、奥行き調整処理を停止するか否かを判定する(ステップS3140)。ステップS3140の動作は実施の形態1の図4のステップS1140と同様である。ユーザが所定頻度以上でジャンプ操作をし続ける場合は奥行き調整処理が継続され、ユーザがジャンプ操作をやめると奥行き調整処理が停止される。
ステップS3140において奥行き調整処理の継続時間が第3所定時間(例えば5秒)以内の場合(ステップS3140においてYes)、ステップS1030へ進む。
ステップS3140において奥行き調整処理の継続時間が第3所定時間(例えば5秒)を超える場合(ステップS3140においてNo)、映像処理部150は奥行き調整処理を停止し、ステップS1120へ進む。
この構成によると、ユーザによるジャンプ操作に伴い、頻繁に3次元映像が切り替わる場合に、3次元映像の奥行き差を減少させることができる。このため、頻繁に3次元映像が切り替わった場合であっても、奥行きの変化に対する過度な眼の追従が防止される。よって、ユーザの操作により3次元映像の切り替わり(シーンチェンジ)が起こった場合のユーザの眼の疲労を防止することができる。
なお、実施の形態2ではジャンプ操作が単位時間当たり所定頻度以上行われた場合に奥行きの調整処理を行うとしたが、実施の形態1の変形例2と同様に、連続して表示する映像の奥行き情報を比較し、奥行きの差が所定差以上ある場合に奥行きの調整処理を行うとしても良い。
また、実施の形態2の切り替え操作検出部230は、頭だし操作検出部を備えていても良い。頭だし操作検出部は、映像の先頭または映像に含まれるシーンの切り替え位置に移動させて画像を表示する頭だし操作を検出する。
なお、映像の切り替え操作として、実施の形態1および実施の形態1の変形例1〜3ではチャンネルを変更するザッピングを検出し、実施の形態2では映像内の時間位置を移動するジャンプ操作を検出したが、ザッピングとジャンプ操作の両方を検出し、いずれの操作であっても連続して操作が行われ、単位時間当たりの操作頻度が所定頻度以上である場合には奥行きの調整処理を行うとしても良い。
なお、リモコンの早送りボタンまたは巻き戻しボタンが押された場合に、早送り再生または巻き戻し再生が行われる場合には、早送りボタンまたは巻き戻しボタンが1回でも押された時点で、奥行きの調整処理を行うとしても良い。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の立体映像処理装置などを実現するソフトウェアは、コンピュータに、立体映像処理方法を実行させるプログラムである。この立体映像処理方法は、ユーザによる、3次元映像のチャンネルの選択操作または3次元映像の早送り再生、巻き戻し再生、スキップ、あるいは頭だしのための操作である切り替え操作を検出する切り替え操作検出ステップと、前記切り替え操作検出ステップにおける前記切り替え操作の単位時間当たりの検出頻度を判定する頻度判定ステップと、前記頻度判定ステップで判定された前記単位時間当たりの検出頻度が所定頻度以上である場合に、3次元映像の切り替わりの前後における奥行きの差を減少させるための処理を行う映像処理ステップとを含む。
なお、上記各実施の形態において、立体映像処理装置はザッピングあるいはジャンプ操作である切り替え操作が連続して行われ、単位時間当たりの操作頻度が所定頻度以上である場合に奥行の調整処理を行うとしたが、ユーザへの警告を出力する出力部を備え、単位時間当たりの切り替え操作が所定頻度以上である場合に、出力部がユーザへ警告を出力するとしても良い。出力部は映像を提示する表示部や映像に伴う音響出力を行う音響出力部であっても良い。
また、単位時間当たりの切り替え操作が所定頻度以上である場合にユーザに対して奥行の差を減少させるための処理を行うか否かを問い合わせるものとしても良い。その際、操作受信部121が、ユーザが問い合わせに対して入力した操作情報を、操作入力部120から受信する。
警告あるいは問い合わせの提示により、奥行の調整を行う前に、ユーザに奥行の調整を行うことを知らせることができ、ユーザが映像の変化に戸惑うことがない。
なお、上記各実施の形態において、立体映像処理装置は切り替え操作が連続して行われ、単位時間当たりの操作頻度が所定頻度以上である場合に奥行の調整処理を行うとしたが、立体映像処理装置が、切り替え操作を行った第1のユーザとは異なる第2のユーザへ情報を出力する第2の出力部を備え、単位時間当たりの切り替え操作が所定頻度以上である場合に、第2の出力部は第2のユーザに対して警告を出力するとしても良い。例えば、第2の出力部は、第2のユーザの携帯端末にメールを送信することにより、警告を出力しても良い。
さらに、立体映像処理装置は、切り替え操作を行った第1のユーザとは異なる第2のユーザが行った操作入力を受信する第2の操作受信部を備え、第1のユーザが単位時間当たり所定頻度以上の切り替え操作を行った場合に、第2の出力部は第2のユーザへ警告あるいは奥行の差を減少させるための処理を行うか否かを問い合わせる情報を出力し、第2の操作受信部が受信する第2のユーザの操作入力に従って、立体映像処理装置は奥行の差を減少させるための処理を行うとしても良い。たとえば、第2のユーザが携帯端末に対して操作入力を行い、携帯端末が立体映像処理装置に操作入力を送信し、第2の操作受信部がその操作入力を受信するようにしても良い。
第2のユーザへの警告あるいは問い合わせ提示と第2のユーザによる操作入力に従って、立体映像処理装置が動作することにより、第1のユーザの眼にとって負荷の高い操作に対して、第2のユーザが第1のユーザの眼に対する負荷を下げる処置を行うことができる。例えば第1のユーザが幼児である場合、保護者等の大人が第2のユーザとなり、幼児の目への負荷を低減することができる。
以上、本発明の一つまたは複数の態様に係る立体映像処理装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
本発明にかかる立体映像処理装置は、3次元映像を視聴する画像表示システムであってユーザによりシーンチェンジ等の操作が可能なシステムに広く利用可能である。例えば、テレビ、コンピュータ、またはゲーム機器等に利用可能である。また、映像コンテンツを視聴するための機器のみならず、画像診断装置、内視鏡等の医療機器、手術もしくは乗り物等のシミュレーション機器または教育訓練用システム等に利用可能である。
1、1A、1B、2 立体映像処理装置
10、10B、20 立体映像表示装置
30、30A 3次元専用メガネ
110 映像情報蓄積部
120 操作入力部
121 操作受信部
130、130B、230 切り替え操作検出部
131 チャンネル変更検出部
132 変更履歴記憶部
140、140A、240 頻度判定部
141、157 計時部
142 チャンネル変更記憶部
144、144A ザッピング判定部
150、150B 映像処理部
151 2次元化処理部
152 チャンネル選択予測部
154 奥行き調整判定部
155 出力部
158 3次元化判定部
160 表示部
161、261、361 映像制御部
162、262、362 映像表示部
180 映像取得部
190 奥行き情報蓄積部
231 スキップ検出部
232 早送り検出部
233 巻き戻し検出部
242 ジャンプ操作記憶部
244 判定部
263、366 シャッタ
363 送信部
364 受信部
365 シャッタ制御部

Claims (20)

  1. ユーザによる、3次元映像のチャンネルの選択操作または3次元映像の早送り再生、巻き戻し再生、スキップあるいは頭だしのための操作である切り替え操作を検出する切り替え操作検出部と、
    前記切り替え操作検出部による前記切り替え操作の単位時間当たりの検出頻度を判定する頻度判定部と、
    前記頻度判定部が判定した前記単位時間当たりの検出頻度が所定頻度以上である場合に、3次元映像の切り替わりの前後における奥行きの差を減少させるための処理を行う処理部と
    を備える立体映像処理装置。
  2. 前記処理部は、前記3次元映像の映像情報に対して処理を行うことにより、前記奥行きの差を減少させる
    請求項1記載の立体映像処理装置。
  3. 前記処理部は、前記3次元映像の映像情報に対して、左眼用映像と右眼用映像との視差を縮小する処理を行うことにより、前記奥行きの差を減少させる
    請求項2記載の立体映像処理装置。
  4. 前記処理部は、前記3次元映像に含まれる左眼用映像及び右眼用映像のうちいずれか一方の映像を前記ユーザに提示する
    請求項1記載の立体映像処理装置。
  5. 前記処理部は、前記3次元映像に含まれる右眼用映像が提示されている際には、前記ユーザが装着する3次元映像用ビューワーの右眼側のシャッタを開状態にし、かつ、前記3次元映像用ビューワーの左眼側のシャッタを閉状態にし、前記3次元映像に含まれる左眼用映像が提示されている際には、前記右眼側のシャッタを閉状態にし、かつ、前記左眼側のシャッタを開状態にするシャッタ調整部を備え、
    前記シャッタ調整部は、さらに、前記頻度判定部が判定した前記単位時間当たりの検出頻度が前記所定頻度以上である場合に、(i)前記右眼用映像が提示されている際には前記右眼側のシャッタおよび前記左眼側のシャッタを開状態にし、前記左眼用映像が提示されている際には前記3次元映像用ビューワーの前記右眼側のシャッタおよび前記左眼側のシャッタを閉状態にする、または、(ii)前記左眼用映像が提示されている際には前記3次元映像用ビューワーの前記右眼側のシャッタおよび前記左眼側のシャッタを開状態にし、前記右眼用映像が提示されている際には前記3次元映像用ビューワーの前記右眼側のシャッタおよび前記左眼側のシャッタを閉状態にする
    請求項1記載の立体映像処理装置。
  6. さらに、
    3次元映像の奥行き情報を蓄積している奥行き情報蓄積部を備え、
    前記処理部は、
    前記頻度判定部が判定した前記単位時間当たりの検出頻度が前記所定頻度以上である場合に、前記奥行き情報蓄積部に蓄積されている前記奥行き情報を参照し、前記切り替え操作に伴う3次元映像の切り替わりの前後において3次元映像の奥行きの差が所定差以上であるか否かを判定する奥行き調整判定部と、
    前記奥行き調整判定部が前記奥行きの差が前記所定差以上であると判定した場合に、前記奥行きの差を減少させるための処理を行う奥行き調整部とを含む
    請求項1記載の立体映像処理装置。
  7. 前記奥行き情報蓄積部は、3次元映像の表示画面を空間的に分割した複数の表示領域のそれぞれについて奥行き情報を蓄積しており、
    前記奥行き調整判定部は、前記頻度判定部が判定した前記単位時間当たりの検出頻度が前記所定頻度以上である場合に、前記奥行き情報蓄積部に蓄積されている表示領域ごとの前記奥行き情報を参照し、前記切り替え操作に伴う3次元映像の切り替わりの前後において3次元映像の奥行きの差が所定差以上であるか否かを表示領域ごとに判定し、
    前記奥行き調整部は、前記奥行き調整判定部がいずれかの表示領域において前記奥行きの差が前記所定差以上であると判定した場合に、前記奥行きの差を減少させるための処理を行う
    請求項6記載の立体映像処理装置。
  8. 前記複数の表示領域は、3次元映像の表示画面の中央部ほど周辺部よりもより細かくなるように前記表示画面を分割することで得られる
    請求項7記載の立体映像処理装置。
  9. 前記奥行き情報蓄積部は、3次元映像の表示画面の下部の表示領域の奥行き情報を蓄積しており、
    前記奥行き調整判定部は、前記頻度判定部が判定した前記単位時間当たりの検出頻度が前記所定頻度以上である場合に、前記奥行き情報蓄積部に蓄積されている前記下部の表示領域の前記奥行き情報を参照し、前記切り替え操作に伴う3次元映像の切り替わりの前後において3次元映像の奥行きの差が所定差以上であるか否かを判定し、
    前記奥行き調整部は、前記奥行き調整判定部が前記下部の表示領域において前記奥行きの差が前記所定差以上であると判定した場合に、前記奥行きの差を減少させるための処理を行う
    請求項6記載の立体映像処理装置。
  10. 前記奥行き情報蓄積部は、3次元映像に含まれるオブジェクトごとに奥行き情報を蓄積しており、
    前記奥行き調整判定部は、前記頻度判定部が判定した前記単位時間当たりの検出頻度が前記所定頻度以上である場合に、前記奥行き情報蓄積部に蓄積されているオブジェクトごとの前記奥行き情報を参照し、前記切り替え操作に伴う3次元映像の切り替わりの前後において3次元映像の奥行きの差が所定差以上であるか否かをオブジェクト間で判定し、
    前記奥行き調整部は、前記奥行き調整判定部がいずれかのオブジェクト間において前記奥行きの差が前記所定差以上であると判定した場合に、前記奥行きの差を減少させるための処理を行う
    請求項6記載の立体映像処理装置。
  11. 前記処理部は、さらに、
    前記切り替え操作検出部が検出した3次元映像のチャンネルの選択操作の履歴から、将来選択されるチャンネルを予測するチャンネル選択予測部を含み、
    前記奥行き調整判定部は、前記頻度判定部が判定した前記単位時間当たりの検出頻度が前記所定頻度以上である場合に、現在選択されているチャンネルの3次元映像と前記チャンネル選択予測部が予測した前記将来選択されるチャンネルの3次元映像との奥行きの差が前記所定差以上であるか否かを判定する
    請求項6〜10のいずれか1項に記載の立体映像処理装置。
  12. 前記チャンネル選択予測部は、前記切り替え操作検出部が検出した3次元映像のチャンネルの選択操作の履歴からチャンネルが昇順に選択されていると判断できる場合には、現在選択されているチャンネルの次に大きい番号のチャンネルを、将来選択されるチャンネルとして予測する
    請求項11記載の立体映像処理装置。
  13. 前記チャンネル選択予測部は、前記切り替え操作検出部が検出した3次元映像のチャンネルの選択操作の履歴からチャンネルが降順に選択されていると判断できる場合には、現在選択されているチャンネルの次に小さい番号のチャンネルを、将来選択されるチャンネルとして予測する
    請求項11または12に記載の立体映像処理装置。
  14. 前記切り替え操作検出部が検出する3次元映像のチャンネルの選択操作は、同一の表示画面の同一の表示領域上において3次元映像を時間的に切り替えて表示させるための操作である
    請求項1〜13のいずれか1項に記載の立体映像処理装置。
  15. さらに、
    前記ユーザへ情報を出力する出力部を備え、
    前記出力部は、前記頻度判定部が判定した前記単位時間当たりの検出頻度が前記所定頻度以上である場合に、前記出力部より前記ユーザへ警告を出力する
    請求項1記載の立体映像処理装置。
  16. さらに、
    前記ユーザへ情報を出力する出力部と、
    前記ユーザによる操作入力を受け付ける操作受信部とを備え、
    前記出力部は、前記頻度判定部が判定した前記単位時間当たりの検出頻度が前記所定頻度以上である場合に、ユーザに対して奥行の差を減少させるための処理を行うか否かを問い合わせるための情報を出力する
    請求項1記載の立体映像処理装置。
  17. さらに、
    前記切り替え操作を行った第1のユーザとは異なる第2のユーザへ情報を出力する出力部を備え、
    前記出力部は、前記頻度判定部が判定した前記単位時間当たりの検出頻度が前記所定頻度以上である場合に、前記第2のユーザへ警告を出力する
    請求項1記載の立体映像処理装置。
  18. さらに、
    前記第2のユーザによる操作入力を受け付ける操作受信部を備え、
    前記出力部は、前記頻度判定部が判定した前記単位時間当たりの検出頻度が前記所定頻度以上である場合に、前記第2のユーザへ警告、あるいは奥行の差を減少させるための処理を行うか否かを問い合わせる情報を出力し、
    前記操作受信部が前記第2のユーザによる操作入力を受け付け、
    前記処理部は、前記操作受信部が受け付けた前記第2のユーザの操作入力に従って奥行の差を減少させるための処理を行う
    請求項17記載の立体映像処理装置。
  19. ユーザによる、3次元映像のチャンネルの選択操作または3次元映像の早送り再生、巻き戻し再生、スキップあるいは頭だしのための操作である切り替え操作を検出する切り替え操作検出ステップと、
    前記切り替え操作検出ステップにおける前記切り替え操作の単位時間当たりの検出頻度を判定する頻度判定ステップと、
    前記頻度判定ステップで判定された前記単位時間当たりの検出頻度が所定頻度以上である場合に、3次元映像の切り替わりの前後における奥行きの差を減少させるための処理を行う処理ステップと
    を含む立体映像処理方法。
  20. 請求項19に記載の立体映像処理方法をコンピュータに実行させるためのプログラム。
JP2013547053A 2012-03-26 2013-03-05 立体映像処理装置および立体映像処理方法 Active JP5450908B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013547053A JP5450908B1 (ja) 2012-03-26 2013-03-05 立体映像処理装置および立体映像処理方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012070291 2012-03-26
JP2012070291 2012-03-26
PCT/JP2013/001355 WO2013145567A1 (ja) 2012-03-26 2013-03-05 立体映像処理装置および立体映像処理方法
JP2013547053A JP5450908B1 (ja) 2012-03-26 2013-03-05 立体映像処理装置および立体映像処理方法

Publications (2)

Publication Number Publication Date
JP5450908B1 true JP5450908B1 (ja) 2014-03-26
JPWO2013145567A1 JPWO2013145567A1 (ja) 2015-12-10

Family

ID=49258888

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013547053A Active JP5450908B1 (ja) 2012-03-26 2013-03-05 立体映像処理装置および立体映像処理方法

Country Status (4)

Country Link
US (1) US9386292B2 (ja)
JP (1) JP5450908B1 (ja)
CN (1) CN103548348B (ja)
WO (1) WO2013145567A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201316196D0 (en) * 2013-09-11 2013-10-23 Piksel Inc Triggering an action in a computer device
CN106550265A (zh) * 2015-09-21 2017-03-29 晨星半导体股份有限公司 频点预测方法及应用该方法的图像处理装置
US20200275087A1 (en) * 2019-02-25 2020-08-27 Kazuhiro Asakura Computer-readable non-transitory storage medium, web server, and calibration method for interpupillary distance
CN110913278B (zh) * 2019-12-06 2022-04-08 深圳创维新世界科技有限公司 视频播放方法、显示终端及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005110121A (ja) * 2003-10-01 2005-04-21 Sharp Corp 画像データ表示装置
JP2010258723A (ja) * 2009-04-24 2010-11-11 Sony Corp 画像情報処理装置、撮像装置、画像情報処理方法およびプログラム
JP2011176541A (ja) * 2010-02-24 2011-09-08 Sony Corp 立体映像処理装置および方法、並びにプログラム
WO2011135760A1 (ja) * 2010-04-28 2011-11-03 パナソニック株式会社 立体映像処理装置及び立体映像処理方法
JP2011249859A (ja) * 2010-05-21 2011-12-08 Toshiba Corp 3d映像表示装置、3d映像表示方法
JP2012054877A (ja) * 2010-09-03 2012-03-15 Canon Inc 立体動画像再生装置及びその制御方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101619450B1 (ko) * 2009-01-12 2016-05-10 엘지전자 주식회사 뎁스 정보를 이용한 비디오 신호 처리 방법 및 장치
US8798160B2 (en) * 2009-11-06 2014-08-05 Samsung Electronics Co., Ltd. Method and apparatus for adjusting parallax in three-dimensional video
JP5397190B2 (ja) * 2009-11-27 2014-01-22 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP2011166285A (ja) * 2010-02-05 2011-08-25 Sony Corp 画像表示装置、画像表示観察システム及び画像表示方法
JP5641200B2 (ja) 2010-05-28 2014-12-17 ソニー株式会社 画像処理装置、画像処理方法および画像処理プログラムならびに記録媒体
US8537201B2 (en) * 2010-10-18 2013-09-17 Silicon Image, Inc. Combining video data streams of differing dimensionality for concurrent display

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005110121A (ja) * 2003-10-01 2005-04-21 Sharp Corp 画像データ表示装置
JP2010258723A (ja) * 2009-04-24 2010-11-11 Sony Corp 画像情報処理装置、撮像装置、画像情報処理方法およびプログラム
JP2011176541A (ja) * 2010-02-24 2011-09-08 Sony Corp 立体映像処理装置および方法、並びにプログラム
WO2011135760A1 (ja) * 2010-04-28 2011-11-03 パナソニック株式会社 立体映像処理装置及び立体映像処理方法
JP2011249859A (ja) * 2010-05-21 2011-12-08 Toshiba Corp 3d映像表示装置、3d映像表示方法
JP2012054877A (ja) * 2010-09-03 2012-03-15 Canon Inc 立体動画像再生装置及びその制御方法

Also Published As

Publication number Publication date
US20140078252A1 (en) 2014-03-20
CN103548348B (zh) 2016-10-05
JPWO2013145567A1 (ja) 2015-12-10
US9386292B2 (en) 2016-07-05
WO2013145567A1 (ja) 2013-10-03
CN103548348A (zh) 2014-01-29

Similar Documents

Publication Publication Date Title
US8487983B2 (en) Viewing area adjusting device, video processing device, and viewing area adjusting method based on number of viewers
EP2202991A2 (en) Stereoscopic image display apparatus and control method thereof
US20110316881A1 (en) Display device
JP5293500B2 (ja) 表示装置および制御方法
JP5343156B1 (ja) 検出装置、検出方法および映像表示装置
JP5134714B1 (ja) 映像処理装置
EP2426936B1 (en) Video reproduction apparatus and video reproduction method
JP5450908B1 (ja) 立体映像処理装置および立体映像処理方法
JP2012205267A (ja) 表示制御装置、表示制御方法、検出装置、検出方法、プログラム、及び表示システム
WO2012124150A1 (ja) 映像表示装置
JP2013051618A (ja) 映像処理装置および映像処理方法
JP5132804B1 (ja) 映像処理装置および映像処理方法
US20140092224A1 (en) Video processing apparatus and video processing method
JP5156116B1 (ja) 映像処理装置および映像処理方法
JP5117613B1 (ja) 映像処理装置および映像処理方法ならびに記憶媒体
JP5095851B1 (ja) 映像処理装置および映像処理方法
JP5156117B1 (ja) 映像処理装置および映像処理方法
US20130050442A1 (en) Video processing apparatus, video processing method and remote controller
EP2482560A2 (en) Video display apparatus and video display method
JP5433763B2 (ja) 映像処理装置および映像処理方法
JP2011139339A (ja) 立体画像表示装置
US20140119600A1 (en) Detection apparatus, video display system and detection method
JP5568116B2 (ja) 映像処理装置および映像処理方法
JP5433766B2 (ja) 映像処理装置および映像処理方法
JP2013055675A (ja) 映像処理装置および映像処理方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131225

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5450908

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150