JP5417356B2 - 映像処理装置、映像処理方法および立体映像表示装置 - Google Patents

Description

本開示は、映像処理装置、映像処理方法および立体映像表示装置に関する。

平面映像２枚で両眼視差が提示され、画面を中心に奥行き方向に立体像を再生する装置、立体（３次元）ディスプレイが開発されている。立体ディスプレイは、大きく分類すると、ディスプレイそのものを覗き込んだり、頭部に搭載するビュアー方式、左右の映像を分割して提示するために、特殊なメガネを用いるグラス方式（メガネ式）、観察時に特殊なメガネを必要としない裸眼方式（裸眼式）がある。メガネ式は、現在、立体映画の上映などに用いられている。

立体映像における立体感は、異なる２つの視点における映像の差などから奥行き感が計算される。代表的な奥行き手がかりとして、両眼視差と輻輳がある。両眼視差とは、左右の眼で得られる情報のずれのことであり、対象を注視した際の網膜の像は、注視点より離れた位置でずれを生じ、このずれの量（視差量）と奥行き方向の距離とが対応しているため、両眼視差を奥行き感に変換している。輻輳は対象に視線を交差させようとする両眼の動きのことであり、この動きの量と対象までの距離が対応していることから、立体知覚ができるといわれている。

立体ディスプレイにおいて、飛び出し量の多い映像や長時間の観察に対して、観察者が眼の疲労を訴えることがある。この主な原因としては、視覚系との不整合が考えられる。自然視の状態では、輻輳と調節の位置は常に１つの対象に固定されている。調節とは、対象にピントをあわせることを意味する。しかし、立体映像を観察している場合では、輻輳は立体像に働き、調節は画面上に固定されている。このように立体ディスプレイでは、視覚系の輻輳と調節の距離情報が異なるという問題が起こっていて、立体効果と視覚系の不整合が生じている。立体映像コンテンツを制作・表示する際には、このような視覚系への配慮をする必要がある。

ステレオカメラでの撮影情報（カメラ間隔とクロスポイントまでの距離）と表示装置情報（画面サイズ、視距離）に基づいて、視差量を設定し、立体感を調整することによって、画面サイズが異なる表示装置で再生しても自然な飛び出し量の立体映像を得ることができる技術が提案されている（例えば、特許文献１）。

特許第３９７８３９２号

上記目的を達成するために、本発明の一態様に係る立体映像表示装置は、検出部と、設定部と、生成部と、表示部とを備える。検出部は、表示映像に含まれる文字量を検出する。設定部は、前記検出された文字量に基づいて、前記表示映像を表示する際の立体感を制御する視差量を設定する。生成部は、前記視差量に従って、前記表示映像の立体感を調整した立体映像を生成する。表示部は、調整された前記立体映像を表示可能である。前記設定部は、前記検出された文字量が多いほど、前記立体映像を生成するための視差量を小さく設定する。

上記目的を達成するために、本発明の一態様に係る立体映像表示装置は、取得部と、設定部と、生成部と、表示部とを備える。取得部は、表示映像を解析して、前記表示映像の属性に関する属性情報を取得する。設定部は、前記表示映像を表示する際の立体感を制御するパラメータ情報を、前記属性情報に基づいて設定する。生成部は、前記パラメータ情報に従って、前記表示映像の立体感を調整した立体映像を生成する。表示部は、調整された前記立体映像を表示可能である。

第１の実施形態の表示装置を示す図。 記憶部が保持するテーブルの一例を示す図。 正規化の例を示す図。 視差量の調整方法の例を示す図。 第１の実施形態の映像処理装置を示す図。

図面を参照して、本発明の実施の形態を説明する。なお、互いに同様の動作をする構成や処理には共通の符号を付して、重複する説明は省略する。

各実施形態の立体表示装置は、立体表示を行うことが可能であれば眼鏡方式、裸眼方式の種々の方式のいずれであっても構わない。また、時分割方式や空間分離方式等のいずれであっても構わない。以下の実施形態では、眼鏡を用いたフレームシーケンシャルの時間分割方式で立体表示を行う２眼式ディスプレイに関して例示する。時間分割方式には、液晶シャッター眼鏡方式、偏光フィルタ眼鏡方式、ＲＧＢ波帯分割フィルタ眼鏡方式などがある。本実施形態では、液晶シャッター眼鏡方式の眼鏡を用いた時間分割方式について例示する。時間分割方式は、フィールドシーケンシャル、フレームシーケンシャルのどちらでも構わない。

（第１の実施形態）
図１は、本実施形態の表示装置２００を示す図である。映像が供給される方法は、種々の方法であって構わない。チューナーを介して、または光ディスクに記憶された情報の読み込みによって取得する等種々の方式であって構わない。

表示装置２００は、映像処理部１００と、表示部２１０を有する。表示装置２００に入力される表示映像は、テレビジョン放送によって送られるテレビ番組コンテンツや、ネット配信される映像コンテンツ等様々な映像コンテンツが含まれる。本実施形態では、表示映像と共に番組に関する情報が入力される。以下の実施形態では、ＶＢＩ（Vertical Blanking Interval）に重畳されたＥＰＧ（Electric Program Guide：電子番組表）が入力される場合について例示する。なお、番組に関する情報はこれに限られるものではなく、Ｇコード、インターネットから取得できる番組情報、または電子指紋などであってもよい。

表示部２１０は、映像コンテンツを、たとえば立体映像として表示を行う。なお、表示部２１０は立体映像の表示だけでなく、２次元画像を表示可能なものであってもよい。表示部２０１は、生成部１０４が生成した表示映像を表示する。

映像処理部１００は、映像コンテンツから、その表示映像の属性に関する属性情報を取得する取得部１０１と、表示映像を表示する際の立体感を制御するパラメータ情報を属性情報に基づいて設定する選択部１０２と、パラメータ情報が記憶された記憶部１０３と、映像コンテンツに対してパラメータ情報に従って表示映像の立体感を調整した映像を生成する生成部１０４を有する。

取得部１０１は、映像コンテンツおよびＥＰＧを含む放送受信信号を受け取ると、放送受信信号中のＥＰＧを抽出して、表示映像の番組に関する属性情報を取得する。属性情報として、例えば、番組のジャンル、放送時間帯、チャンネル、出演者、キーワードの情報を取得する。取得部１０１の詳細な構成については図２を用いて後述する。ＥＰＧ以外のＧコード、インターネットから取得できる番組情報、または電子指紋などが入力された場合には、それらの信号（放送受信信号）から、属性情報を取得しても構わない。ＥＰＧから属性情報を取得する場合、例えば、放送受信信号からスライサー（図示しない）によって抽出されたＥＰＧより、取得部１０１がジャンル、時間帯、チャンネル等の解析を行うことで番組に関する情報を取得する。取得した、番組に関する情報と対応する属性情報を求める。例えば、番組に関する情報（例えばタイトル、詳細情報に含まれるキーワード）と属性情報の対応付けをあらかじめ定めておくものであってもよい。

記憶部１０３には、属性情報と対応付けて、表示映像を表示する際のパラメータ情報が記憶されている。パラメータ情報として、本実施形態では視差量が記憶されている例について述べる。それ以外に、視域、視点数、飛び出し量等を記憶しておく構成であっても構わない。なお、記憶部１０３は、データを格納することが出来るものであれば、ＨＤＤ、ＣＤ−ＲＯＭ、ハードディスク、メモリカード、ＲＯＭ、パンチカード、テープ等のどのような方法であっても構わない。また、ネットワークを介して接続されるものであっても構わない。

選択部１０２は、表示映像の属性情報と対応して記憶部１０３に記憶されたパラメータ情報を選択し、パラメータ情報に設定する。本実施形態では、視差量の変換を行うためのパラメータ情報を生成部１０４に送る。

生成部１０４には、映像コンテンツとともにパラメータ情報が供給される。生成部１０４は、選択部１０３が設定したパラメータ情報に基づいて、表示映像の視差量を調整した立体映像を生成する。例えば、入力された映像が、立体映像の場合には、そのどちらか一方又は双方の視差量を調整する。また、外部からは１枚の２次元映像が供給されて、生成部１０４が当該２次元画像から奥行き値を推定することで両眼視差のある異なる視点の複数画像を生成する方法であっても構わない。その際には、選択部１０２が設定したパラメータ情報に従って立体映像は生成される。

図２は、記憶部１０３に記憶された属性情報と、パラメータ情報との対応を例示する図である。図２に示す例では、パラメータ情報として、最大視差量を設定するものを示す。図２（ａ）は、属性情報が番組のジャンルである例を示す。図２（ｂ）は、属性情報が放送時間帯である例を示す。図２（ｃ）は、属性情報がチャンネルである例を示す。選択部１０２は、記憶部１０３を参照し、ＥＰＧから抽出された属性情報（例えば放送番組のジャンル、時間帯、チャンネル等）と対応するパラメータ情報（例えば、最大視差量）を選択する。

図２（ａ）は、放送番組のジャンルと視差量を対応つけたテーブルである。例えば、子供向け番組や教育番組は子供が視聴する可能性が高いので、視差量は小さく設定することが望ましい。なぜなら、子供は大人に比べ眼間距離が狭いため、同じ視差量でも大人に比べ子供の方が立体感が大きくなるからである。図２（ｂ）は、放送時間帯と視差量を対応つけたテーブルである。時間帯によって、眼の疲労回復能力が異なることが知られている。一般的に夜は体全体の疲労蓄積により、眼の疲労回復能力も鈍いと報告されている。そのため、例えば夜の時間帯の番組に関しては、視差量を小さく設定することが望ましい。図２（ｃ）は、放送番組のチャンネルと視差量を対応付けたテーブルである。チャンネルによって、番組ジャンルの傾向があらわれると考えられる。そのため、チャンネルと視差量を対応つけるのも有効な方法である。

次に、図２で例示した最大視差量を用いた視差量設定方法について説明する。例えば、記憶部１０３には、画素ごとの相対的な視差量が保持されているとする。相対的な視差量とは、奥行き位置が画面位置である場合を視差量ゼロとした場合の視差量の大きさを示す。以下、画面位置よりも手前の場合の視差量を負の値、奥の場合の視差量を正の値で表して説明する。最大視差量は、飛び出し・奥行きの限界値を示している。例えば、最大視差量が１０の場合には、飛び出し限界位置の視差量は−１０、奥行き限界位置の視差量は＋１０となる。そして、相対最大視差量が最大視差量となるように、全体的に相対補正量を正規化する。図３は、正規化の前後で視差量の変化を例示する図である。記憶部１０３に保存する最大視差量は、手前側・奥側で等しい値とし絶対値を保存する構成について説明したが、手前側・奥側で異なった最大視差量を設定してもよい。

なお、記憶部１０３に保存するのは、最大視差量以外のものであっても構わない。

図４は、視差量の調整前後の奥行き位置の関係を示す図である。図４（ａ）は、番組情報にゲイン定数が対応付けられている例について述べる。ゲイン定数とは、画素毎に設定された視差量に対して積算する定数を意味する。ゲイン定数により、飛び出し・奥行き範囲を拡大もしくは縮小することができる。例えば、放送時間帯が夜の番組においては、ゲイン定数を１以下と設定することにより、全体的に飛び出し・奥行き感を弱めることが可能である。

図４（ｂ）は番組情報に対応づけてオフセット量を用いる例について示す。オフセット量とは、画素毎に設定された視差量に対して加算する定数を意味し、オフセット量により、飛び出し・奥行き範囲を前後にシフトさせることができる。例えば、飛び出させるよりも、奥まらせる方が、輻輳角が小さくなる。そのため、目が疲れにくいということが報告されている。そのため、放送時間帯が夜の番組においては、オフセット量を正の値で設定することにより、全体的に飛び出し・奥行き範囲を奥側にシフトさせることができる。

また、視差量をフレーム間で大きく変更することによって、目が疲れるということが報告されている。フレームごとに視差量テーブルで視差量を設定した後、フレーム間でそれら視差量が大きく変動する画素がないように、時間方向にフィルタをかけることによって、変動が小さくなるように調整を行うことが好ましい。

また、本実施形態では、番組情報と視差量の対応について、いくつかの例について述べたが、これら例だけに限定されるものではない。例えば、視聴環境や視聴者、視覚特性に基づき立体感を適宜補正するものであっても構わない。

（第２の実施形態）
本実施形態は、入力された信号に、属性情報として表示映像を立体表示させるか否かを指示する情報（以下、可否情報と記載）が重畳されている例について示す。これによって、例えば、放送番組の著作権による立体表示の承認の有無に基づき、立体表示を行うことが出来る。本実施形態の映像処理部は、図１の映像処理部１００と同様の構成のため図示は省略する。なお、記憶部１０３は設けられている必要はない。

取得部１０１は、入力された放送信号に重畳された放送番組の立体表示の可否情報を取得する。可否情報とは、例えば、その放送番組を立体映像として表示可能か否かを示す情報である。

選択部１０２は、取得部より得た可否情報をもとに、視差量を設定する。例えば、立体映像として表示不可の場合には、パラメータ情報として視差量をゼロに設定する。

生成部１０４は、視差量がゼロの場合には表示部２０１に２次元画像を送る。

映像処理部１００の動作を説明する。放送信号が入力されると、重畳されたＥＰＧ情報より放送番組の立体表示の可否情報を抽出し、その可否情報をもとに、もう１視点の映像を作成する際の視差量を設定する。

なお、本実施形態では、放送番組の著作権情報を取得するために、放送信号に重畳されたＥＰＧ情報を使用する例について述べたが、他の入力情報であっても構わない。例えば、放送信号に重畳されたフラグ情報や、インターネットから取得できる番組情報や、電子指紋などが挙げられる。

また、本実施形態では、著作権情報として立体映像としての表示ＯＫ／ＮＧかを示す情報の例について述べたが、この例だけに限定されるものではない。著作者が指定した立体感情報なども含まれる。

（第３の実施形態）
本実施形態では、放送番組の所定時間の映像を解析することによって、番組の属性情報を取得し、取得した属性情報に基づき視差量を設定する点が上記の各実施形態とは異なる。映像を解析するタイミングは、例えば放送番組の開始時、または視聴者がチャンネルを変更した時、またはその両方である。

図５は本実施形態の映像処理部３００を示す図である。

取得部３０１は、番組の所定時間の映像を解析することによって、番組のジャンルを推定する。

取得部３０１は、放送番組の開始タイミングを検出する番組開始検出部８０１と、視聴者がチャンネルを変更したタイミングを検出するチャンネル検出部８０２と、所定期間の映像を保持するフレームメモリ８０３と、所定フレーム分の映像から、放送番組の属性情報を解析する解析部８０４を有する。

チャンネル検出部８０２が、入力された信号から番組の開始、または／及び、チャンネルの変更を検出する。解析部８０４は、フレームメモリ８０３に保存されている所定期間の映像を解析し、放送番組の属性情報（例えばジャンル）を推定する。そして、推定されたジャンルに基づいて視差量テーブルを参照し、もう１視点の映像を作成する際の視差量を設定する。

解析方法としては、例えば映像中に含まれる文字量を検出する手法がある。字幕やテロップの部分は、一般的に視差量を小さくすることが望ましいという知見が報告されている。したがって、文字量の多い番組では、視差量を小さく設定することが望ましいと考えられる。

なお、本実施形態では、映像を解析した結果得られる被写体情報として、映像中の文字量を使用する例について述べたが、他の被写体の情報であっても構わない。

１００、３００ 映像処理部
２００ 表示装置
１０１、３０１ 取得部
１０２ 選択部
８０１ 番組開始検出部
８０２ チャンネル検出部
８０３ フレームメモリ
８０４ 解析部
１０３ 記憶部
１０４ 生成部

Claims (3)

1. 表示映像に含まれる文字量を検出する検出部と、
   前記検出された文字量に基づいて、前記表示映像を表示する際の立体感を制御する視差量を設定する設定部と、
   前記視差量に従って、前記表示映像の立体感を調整した立体映像を生成する生成部と、
   調整された前記立体映像を表示可能な表示部と、を備え、
   前記設定部は、前記検出された文字量が多いほど、前記立体映像を生成するための視差量を小さく設定することを特徴とする立体映像表示装置。
2. 表示映像に含まれる文字量を検出する検出部と、
   前記検出された文字量に基づいて、前記表示映像を表示する際の立体感を制御する視差量を設定する設定部と、
   前記視差量に従って、前記表示映像の立体感を調整した立体映像を生成する生成部と、を備え、
   前記設定部は、前記検出された文字量が多いほど、前記立体映像を生成するための視差量を小さく設定することを特徴とする映像処理装置。
3. 表示映像に含まれる文字量を検出するステップと、
   前記検出された文字量に基づいて、前記表示映像を表示する際の立体感を制御する視差量を設定するステップと、
   前記視差量に従って、前記表示映像の立体感を調整した立体映像を生成するステップと、を備え、
   前記視差量を設定するステップでは、前記検出された文字量が多いほど、前記立体映像を生成するための視差量を小さく設定すること特徴とする映像処理方法。

Images