JP6307213B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本技術は、画像処理装置、画像処理方法および当該方法をコンピュータに実行させるためのプログラムに関する。詳しくは、字幕を動画に合成する画像処理装置、画像処理方法および当該方法をコンピュータに実行させるためのプログラムに関する。

従来から、立体的に視認できるように動画を表示（すなわち、立体表示）する表示装置が用いられている。例えば、動画を構成する画像として視差のある左側画像および右側画像を撮像しておき、左側画像が左目に映り右側画像が右目に映るように、表示装置がそれらを表示することにより、動画を立体的に見せることができる。表示の際には、時分割で左右の画像を表示装置が交互に表示し、その切り替えタイミングに同期して、専用メガネが左右のシャッターを動作させるアクティブシャッターグラス方式などが用いられる。

上述のような表示装置において、動画にクローズドキャプションを合成する技術が提案されている（例えば、特許文献１参照。）。クローズドキャプションとは、表示装置が、字幕の表示、非表示などを制御することができるように動画と独立して生成された字幕である。これに対して、動画に合成された形式で供給され、表示装置が表示、非表示等を制御することができない字幕はオープンキャプションと呼ばれる。

表示装置がクローズドキャプションを合成する場合、そのクローズドキャプションも立体表示させることが考えられる。字幕の立体表示の際には、通常、字幕を表す平面的な字幕画像が生成され、その字幕画像は、２Ｄ−３Ｄ変換の技術を利用して、立体表示させるための画像に変換される。この２Ｄ−３Ｄ変換は、立体表示するための画像でないものを、立体表示させるための画像に変換する技術である。具体的には、平面的な通常の画像を水平方向において左右にずらして２枚の画像を生成し、それらの一方を左目に映すための左側画像とし、他方を右目に映すための右側画像とする手法が用いられる（例えば、特許文献２参照）。

特開２０１２−４６５４号公報 特許第３０８６５７７号

しかしながら、上述の従来技術では、字幕画像を立体表示させる場合に遠近感を強調することができない。特許文献２に記載の２Ｄ−３Ｄ変換では、平面的な画像を単にシフトさせているだけであり、このような手法を用いて平面的な字幕画像を立体表示させても、立体物が写った動画を立体表示した場合と比較して、字幕画像の遠近感が不足してしまう。このため、字幕画像を立体表示する場合は、その字幕画像の遠近感を強調することが望ましい。ところが、上述の従来技術では、画像の遠近感を変更する処理を行わないため、字幕画像を立体表示させる場合にこれらの技術を適用すると、遠近感が不足してしまうという問題がある。

本技術はこのような状況に鑑みて生み出されたものであり、字幕画像の遠近感を強調することを目的とする。

本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、立体主画像に合成される字幕情報を取得する字幕情報取得部と、上記字幕情報を立体表示させるための視差を取得する視差取得部と、上記視差に応じた表示位置に立体表示される立体字幕画像を上記字幕情報から生成する立体字幕画像生成部と、上記表示位置が手前側であるほど上記立体字幕画像が大きくなるように上記立体字幕画像を拡大または縮小する拡大縮小部とを具備する画像処理装置およびその画像処理方法ならびに当該方法をコンピュータに実行させるためのプログラムである。これにより、表示位置が手前側であるほど立体字幕画像が大きくなるように立体字幕画像が拡大または縮小されるという作用をもたらす。

また、この第１の側面において、上記拡大縮小部は、上記表示位置が所定の基準位置より手前側である場合には上記視差に応じて上記立体字幕画像を拡大し、上記表示位置が上記所定の基準位置より奥側である場合には上記視差に応じて上記立体字幕画像を縮小してもよい。これにより、表示位置が基準位置より手前側である場合には視差に応じて立体字幕画像が拡大され、奥側である場合には視差に応じて立体字幕画像が縮小されるという作用をもたらす。

また、この第１の側面において、上記拡大または縮小された立体字幕画像を上記立体主画像に合成する字幕合成部をさらに具備してもよい。これにより、拡大または縮小された立体字幕画像が立体主画像に合成されるという作用をもたらす。

また、この第１の側面において、上記字幕画像と当該字幕情報の視差および表示タイミングとを対応付けて保持するバッファと、上記表示タイミングにおいて当該表示タイミングに対応する上記字幕情報および上記視差を上記バッファから読み出して前記画像生成部に供給する制御部とをさらに具備し、前記字幕情報取得部は前記表示タイミングをさらに取得して当該表示タイミングに前記字幕情報に対応付けて前記バッファに保持させ、前記視差取得部は前記表示タイミングをさらに取得して当該表示タイミングに前記視差を対応付けて前記バッファに保持させてもよい。これにより、表示タイミングにおいて、その表示タイミングに対応する字幕情報および視差が画像生成部に供給されるという作用をもたらす。

また、この第１の側面において、上記拡大縮小部は、所定の補正係数に基づいて補正した拡大率または縮小率に従って上記立体字幕画像を拡大または縮小してもよい。これにより、所定の補正係数に基づいて補正した拡大率または縮小率に従って立体字幕画像が拡大または縮小されるという作用をもたらす。

また、この第１の側面において、上記字幕情報は、字幕を表わす画像または上記字幕を表わす文字列を含むこともできる。これにより、字幕画像に画像または文字列が含まれるという作用をもたらす。

本技術によれば、字幕画像の遠近感を強調することができるという優れた効果を奏し得る。

実施の形態における情報処理システムの一例を示す全体図である。 実施の形態における画像処理装置の一構成例を示すブロック図である。 実施の形態における動画ストリームの一構成例を説明するための図である。 実施の形態における字幕ストリームの一構成例を示す図である。 実施の形態における字幕ストリーム内のＰＥＳパケットのデータ構成の一例を示す図である。 実施の形態における字幕ストリーム内のＰＥＳパケットに格納されるデータの一例を示す図である。 実施の形態における字幕データバッファの一構成例を示す図である。 実施の形態における画像処理装置の動作の一例を示す図である。 実施の形態における視差を説明するための図である。 実施の形態における立体表示の方法の一例を示す図である。 実施の形態における遠近感を強調した立体字幕画像の一例を示す図である。

以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（視差に応じて立体字幕画像を拡大または縮小する例）
２．変形例（左側字幕画像を基準とした視差に応じて立体字幕画像を拡大または縮小する例）

＜１．第１の実施の形態＞
［情報処理システムの構成例］
図１は、実施の形態における情報処理システムの一例を示す全体図である。この情報処理システムは、受信装置１００、画像処理装置２００、および、表示装置３００を備える。

受信装置１００は、動画ストリームおよび字幕ストリームを受信するものである。この動画ストリームは、所定の放送規格に準拠して放送局などから配信された動画のデータである。放送規格としては、例えば、ＤＶＢ（Digital Video Broadcast）が使用される。この動画は、時系列に沿って表示される複数の画像を含む。また、この動画は、立体表示させるために作成された動画であり、動画内の画像の各々を以下、「立体主画像」と称する。立体主画像の各々は、視聴者の左目に映すための左側主画像と、右目に映すための右側主画像とを含む。

また、動画は、所定の符号化方式に従って必要に応じて符号化されている。符号化方式としては、例えば、ＭＰＥＧ（Moving Picture Expert Group）２−ＴＳ（Transport Stream）規格が用いられる。ＭＰＥＧ２−ＴＳにおいて、符号化された画像は、ＰＥＳ（Packetized Elementary Stream）パケットに格納され、それぞれの画像にはＰＴＳ（Presentation Time Stamp）が付与される。ＰＴＳは、再生出力の時刻管理情報であり、そのタイムスタンプが付与された画像をいつ再生出力するかを示す。

なお、受信装置１００は、アナログ放送を受信し、その放送波をＡ／Ｄ（Analog to Digital）変換することにより動画ストリームを生成してもよい。

受信装置１００が受信する字幕ストリームは、放送局などから配信された字幕に関するデータである。具体的には、字幕ストリームは、字幕データおよび視差を含む。字幕データは、例えば、字幕を表わす画像（以下「字幕画像」と称する。）や字幕を表わす文字列を含む。視差は、字幕を立体表示させるためのものである。具体的には、字幕データから左側字幕画像および右側字幕画像が生成された場合において、それらの画像の水平方向におけるずれが視差に該当する。この左側字幕画像および右側字幕画像からなる画像を以下、「立体字幕画像」と称する。字幕データおよび視差も必要に応じて符号化されてＰＥＳパケットに格納され、各々の字幕データおよび視差にはＰＴＳが付与される。このＰＴＳは字幕をいつ再生出力するかを示す時刻管理情報であり、動画と同期して字幕を再生するために用いられる。

字幕ストリームは、動画ストリームに多重化されて配信される。受信装置１００は、動画ストリームから字幕ストリームを分離し、分離後の動画ストリームおよび字幕ストリームを画像処理装置２００に供給する。なお、受信装置１００の代わりに、画像処理装置２００が字幕ストリームを分離してもよい。

画像処理装置２００は、動画ストリームおよび字幕ストリームに基づいて、動画に字幕を合成するものである。具体的には、画像処理装置２００は、字幕ストリームから、視差および字幕データを取得し、その視差に応じた位置に立体表示される立体字幕画像を字幕データから生成する。画像処理装置２００は、その立体字幕画像を動画に合成する。そして、画像処理装置２００は、立体字幕画像が合成された動画を表示装置３００に供給する。

なお、画像処理装置２００は、放送局などから配信された動画ストリームおよび字幕ストリームを受信装置１００から取得する構成としているが、動画記録装置などに記録された動画ストリームおよび字幕ストリームを画像処理装置２００が取得してもよい。

表示装置３００は、立体字幕画像が合成された動画を立体表示するものである。立体表示の方式としては、アクティブシャッターグラス方式、偏光表示方式や、視差バリア方式などが用いられる。

［画像処理装置の構成例］
図２は、画像処理装置２００の一構成例を示すブロック図である。この画像処理装置２００は、視差取得部２１０、字幕データ取得部２２０、復号部２３０、字幕データバッファ２４０、同期制御部２５０、立体字幕画像生成部２６０、拡大縮小部２７０、および、字幕画像合成部２８０を含む。

視差取得部２１０は、字幕ストリームから視差およびＰＴＳを取得するものである。具体的には、視差取得部２１０は、字幕ストリームにおけるＰＥＳパケットのヘッダからＰＴＳを取得し、そのＰＥＳパケットのペイロードから視差を取得する。視差取得部２１０は、同じＰＥＳパケットから取得したＰＴＳおよび視差を対応付けて字幕データバッファ２４０に保持させる。

字幕データ取得部２２０は、字幕ストリームから字幕データおよびＰＴＳを取得するものである。具体的には、字幕データ取得部２２０は、字幕ストリームにおけるＰＥＳパケットのヘッダからＰＴＳを取得し、そのＰＥＳパケットのペイロードから字幕データを取得する。視差取得部２１０は、同じＰＥＳパケットから取得したＰＴＳおよび字幕データを対応付けて字幕データバッファ２４０に保持させる。なお、字幕データ取得部２２０は、特許請求の範囲に記載の字幕情報取得部の一例である。

復号部２３０は、動画ストリームが符号化されている場合に、その動画ストリームを復号するものである。この復号部２３０は、動画ストリームの符号化方式と対応する復号方式に従って、動画ストリームを復号する。復号部２３０は、復号した動画ストリームを字幕画像合成部２８０に供給する。また、復号部２３０は、字幕ストリームからＰＴＳを取得して、同期制御部２５０に供給する。

同期制御部２５０は、動画の表示タイミングに同期して字幕データおよび視差を立体字幕画像生成部２６０に供給するものである。具体的には、同期制御部２５０は、復号部２３０が取得したＰＴＳを受け取り、そのＰＴＳに一致する値のＰＴＳが字幕データバッファ２４０に保持されているか否かを判断する。保持されていれば、同期制御部２５０は、そのＰＴＳと対応する字幕データおよび視差を字幕データバッファ２４０から読み出す。同期制御部２５０は、読み出した字幕データおよび視差を立体字幕画像生成部２６０に供給する。

立体字幕画像生成部２６０は、視差に応じた表示位置に立体表示するための立体字幕画像（左側字幕画像および右側字幕画像）を字幕データから生成するものである。具体的には、字幕データが字幕画像を含む場合には、立体字幕画像生成部２６０は、画像内において、その字幕画像を視差に応じて、視聴者から見て左方向にずらした画像と、右方向にずらした画像とを生成する。立体字幕画像生成部２６０は、これらの一方を左側字幕画像とし、他方を右側字幕画像とする。字幕データが、字幕を表わす文字列を含む場合は、立体字幕画像生成部２６０は、その文字列が描画された画像を字幕画像として生成し、その字幕画像を左右にずらして左側字幕画像および右側字幕画像を生成する。立体字幕画像生成部２６０は、生成した立体字幕画像を視差とともに拡大縮小部２７０に供給する。

拡大縮小部２７０は、立体字幕画像の表示位置が手前側であるほど、その立体字幕画像が大きくなるように立体字幕画像を拡大または縮小するものである。具体的には、拡大縮小部２７０は、次の式１を使用して、拡大率および縮小率を求める。
Ｓ＝１−（α／１００）×（Ｄ／Ｄｍ） 式１
式１において、Ｓは拡大率または縮小率である。αは、拡大率または縮小率を補正するための補正係数を百分率で表したものであり、「０」乃至「１００」（％）の値が設定される。視差取得部２１０において取得された視差Ｄのみに基づいて決定されたＳ（拡大率または縮小率）では、遠近感の不足が解消されないことや、逆に遠近感が強調されすぎることがあるため、その場合には、補正係数αを用いてＳが補正される。具体的には、遠近感が不足するとユーザが判断する場合にはより大きな補正係数αがユーザにより設定され、強調されすぎるとユーザが判断する場合にはより小さな補正係数がユーザにより設定される。視差Ｄは、段階数Ｄｍを基準として定義される視差であり、段階数Ｄｍは、手前側または奥側のそれぞれの範囲の視差を区分する段階数を示すものである。それぞれの範囲の視差Ｄを１２８段階で区分する場合、「１２８」が段階数Ｄｍとして使用され、視差Ｄとして「−１２８」乃至「１２７」の値が画像処理装置２００により取得される。取得された視差Ｄは、右側字幕画像を基準として左側字幕画像および右側字幕画像を水平方向にずらす量として用いられる。視差Ｄが負数である場合には、奥行き方向において、字幕画像が基準位置より手前側に立体表示され、視差Ｄが正数である場合には、字幕画像が基準位置より奥側に立体表示される。視差Ｄが「０」である場合には、字幕画像は基準位置に表示されるが、立体的には視認されない。この基準位置は、例えば、表示装置３００の表示面の位置に設定される。

式１により、視差Ｄが負数（すなわち、表示位置が手前側）である場合には、「１」より大きなＳが算出され、Ｓは拡大率として用いられる。一方、視差Ｄが正数（すなわち、表示位置が奥側）である場合には、「１」より小さなＳが算出され、Ｓは縮小率として用いられる。拡大縮小部２７０は、算出したＳに基づいて立体字幕画像を拡大または縮小して字幕画像合成部２８０に供給する。

字幕画像合成部２８０は、拡大または縮小された立体字幕画像を動画に合成するものである。字幕画像合成部２８０は、立体字幕画像を合成した動画ストリームを表示装置３００に供給する。

図３は、第１の実施の形態における動画ストリームの一構成例を示す図である。動画ストリームは、ＧＯＰ（Group Of Pictures）と呼ばれる単位で符号化されており、このＧＯＰ単位で復号部２３０において復号される。このＧＯＰは、符号化において基準となるＩ（Intra）ピクチャを少なくとも１枚含む画像の集合である。図３ａでは、１枚のＩピクチャと、４枚のＰ（Predirective）ピクチャと、１０枚のＢ（Bidirectionally predictive）ピクチャとの計１５枚の画像６１１によりＧＯＰ６１０を構成する様子が示されている。ここで、Ｉピクチャは、符号化において基準とされる画像である。Ｐピクチャは、時間的に先行するＩピクチャまたはＰピクチャとの差分を利用して符号化される画像である。Ｂピクチャは、時間的に前後両方向のＩピクチャまたはＰピクチャとの差分を利用して符号化される画像である。

ＧＯＰ内の１５枚の画像は、図３ｂに例示するように一部の順序が入れ替えられて符号化される。これは、ＭＰＥＧ規格における符号化方式の特徴に基づくものであり、復号の際に時間的に後続の画像を待つことを回避するためである。例えば、Ｂピクチャ（Ｂ５）を復号化するためにはＩピクチャ（Ｉ３）とＰピクチャ（Ｐ６）を参照する必要がある。このため、Ｂピクチャ（Ｂ５）を復号する時点で必要な画像データ（Ｉ３およびＰ６）が揃うように、図３ｂのような入れ替えをしなければならない。なお、このような画像６２１の順序関係を定義するために、Ｖ_ＰＣＫのパックヘッダにおいてＰＴＳ６２２およびＤＴＳ（Decoding Time Stamp）６２３というタイムスタンプが付与される。ＰＴＳ６２２は前述したように、再生出力の時刻管理情報であり、そのタイムスタンプが付与された単位画像をいつ再生出力するかを示す。一方、ＤＴＳ６２３は復号の時刻管理情報であり、そのタイムスタンプが付与された単位画像をいつ復号するかを示す。

符号化された各画像は、図３ｃに例示するように、それぞれ１つ以上のパックに収められる。パックとは、複数のＰＥＳパケットを連結してパックヘッダを付加したものである。例えば、Ｉピクチャ（Ｉ３）はＶ＿ＰＣＫ＿Ｉ３（５３０）として保持され、Ｂピクチャ（Ｂ１）はＶ＿ＰＣＫ＿Ｂ１（５３１）として保持される。そして、１個のＧＯＰ６１０を構成するＶ_ＰＣＫ５３０の集合においては、補助的なデータを含むＡＲＩ_ＰＣＫ５２０がＡ_ＰＣＫ５２０とともに多重化される。多重化されたパック群は、動画ストリームを構成する。

図４は、実施の形態における字幕ストリームの一構成例を示す図である。字幕ストリームは、動画ストリームとは独立したＰＥＳパケット群から構成される。このＰＥＳパケットは、字幕ストリームを構成するデータ（字幕データや視差など）を必要に応じて分割し、ヘッダを付加してパケット化したものである。字幕ストリームにおける各々のＰＥＳパケットは、パケットヘッダおよびペイロードを含む。パケットヘッダには、ＰＴＳなどが記載される。ペイロードには、ＰＴＳの示すタイミングで表示される字幕データや、その字幕データの視差が格納される。また、ペイロードには、字幕データが表示される領域の水平座標や垂直座標、字幕データが合成される主画像の構成（水平座標および垂直座標の範囲など）が格納される。

図５は、実施の形態における字幕ストリーム内のＰＥＳパケットのデータ構成の一例を示す図である。このＰＥＳパケットにおいては、例えば、ＤＶＢ（Digital Video Broadcasting）規格に従ってデータが記述される。ＤＶＢ規格において、ＰＥＳパケットのヘッダには、字幕ストリームの識別情報（Stream_id）、ＰＥＳパケット長（PES_packet_length）、および、字幕データのＰＴＳなどが記載される。また、字幕データがＰＥＳパケット内に配置されることを示すインジケータ（PES_alignment_indicator）が記載される。「PES_packet_data_byte」のフィールドには、ＰＥＳパケットのペイロード（「PES_data_field」内のデータ）が格納される。このペイロードには、「subtitle_segment()」のフィールドが設けられる。ＤＶＢ規格においては、字幕ストリームの構成要素のデータのそれぞれは「segment」と呼ばれる。それぞれの「segment」の詳細は、図５における「subtitle_segment()」のフィールドにおいて記述される。具体的には、「subtitle_segment()」には、「segment」の開始位置を特定するための情報（sync_byte）、「segment」の種類（segment_type）、その長さ（segment_length）、および、「segment」が用いられる主画像の識別情報（page_id）が記載される。また、「segment」のデータ自体は「segment_data_field」に格納される。「segment」の種類（segment_type）は、例えば、字幕データ、視差、字幕データの構成情報（表示される領域の水平座標や垂直座標など）、字幕データが合成される主画像の構成（水平座標および垂直座標の範囲など）である。

図６は、実施の形態におけるＰＥＳパケットに格納されるデータの一例を示す図である。前述したように、ＰＥＳパケットのペイロード内の「subtitle_segment()」には、「segment_type」や「segment_data_field()」と呼ばれる領域が設けられる。「segment_data_field()」には、字幕データや視差が格納される。図６ａに示すように、「segment_data_field()」に「segment」として字幕データが格納される場合には、「segment_type」のフィールドにおいて、「segment」が字幕データであることを示す「０ｘ１３」が記載される。また、図６ａに示すように、「segment_data_field()」に「segment」として視差が格納される場合には、「segment_type」のフィールドにおいて、「segment」が視差であることを示す「０ｘ１５」が記載される。

図７は、字幕データバッファ２４０の一構成例を示す図である。字幕データバッファ２４０には、ＰＴＳに対応付けて視差および字幕データが保持される。ＰＴＳが付与されたＰＥＳパケットから取得された視差は、そのＰＴＳに対応付けて字幕データバッファ２５０に保持される。また、ＰＴＳが付与されたＰＥＳパケットから取得された字幕データは、そのＰＴＳに対応付けて字幕データバッファ２４０に保持される。ＰＴＳが共通の字幕データおよび視差は、そのＰＴＳに対応付けて保持される。例えば、「ＰＴＳ＃１」に対応付けて「字幕データ＃１」と「１０」の視差とが保持される場合、「ＰＴＳ＃１」のタイミングにおいて、「字幕データ＃１」および「１０」が読み出される。そして、「字幕データ＃１」は、視差「１０」に応じた位置に立体表示される。

［画像処理装置の動作例］
図８は、実施の形態における画像処理装置２００の動作の一例を示す図である。この動作は、例えば、画像処理装置２００に動画ストリームおよび字幕ストリームが入力されたときに開始する。

画像処理装置２００における視差取得部２１０は、字幕ストリームからＰＴＳおよび視差を取得して字幕データバッファ２４０に保持させる（ステップＳ９０１）。また、字幕データ取得部２２０は、字幕ストリームから字幕データおよび視差を取得して字幕データバッファ２４０に保持させる（ステップＳ９０２）。同期制御部２５０は、動画ストリームから取得されたＰＴＳに対応する字幕データおよび視差を字幕データバッファ２４０から読み出す。そして、立体字幕画像生成部２６０は、読み出された字幕データから立体字幕画像を生成する（ステップＳ９０３）。

拡大縮小部２７０は、視差に応じて立体字幕画像を拡大または縮小する（ステップＳ９０４）。字幕画像合成部は、拡大または縮小された立体字幕画像を立体主画像に合成する（ステップＳ９０５）。ステップＳ９０５の後、画像処理装置２００はステップＳ９０１に戻る。

図９は、実施の形態における視差を説明するための図である。表示装置３００の表示面に表示される右側画像の基準の水平座標（例えば、中央の水平座標）をＸ_Ｒとし、左側画像の基準の水平座標をＸ_Ｌとする。水平座標は、視聴者から見て左側であるほど、値が小さいものとする。この場合において、例えば、Ｘ_ＲからＸ_Ｌを減じた値が視差Ｄとして用いられる。

ここで、左目と右目との間の距離をベース距離Ｂとし、視聴者から表示装置３００までの距離をｆとし、奥行き方向に立体的に視認される立体画像の表示位置をＺｐとする。このとき、右目、左目および立体画像の中心のなす三角形と、Ｘ_Ｒ、Ｘ_Ｌおよび立体画像の中心のなす三角形とは相似であるため、次の式２が成立する。
Ｄ：ｆ＝Ｂ：Ｚｐ 式２
式２により、Ｚｐに表示させるための視差Ｄが求められて、字幕ストリームにより配信される。Ｚｐに表示された位置では、字幕画像の遠近感が不足する場合には、式１により求められた拡大率または縮小率により、字幕画像が拡大または縮小される。その拡大率または縮小率による遠近感の程度は、式１における補正係数αを変更することにより調整される。

図１０は、実施の形態における立体表示の方法の一例を示す図である。図１０ａは、字幕画像を手前側に表示するための表示方法の一例を示す図である。水平方向において、右側字幕画像７０１の座標は視聴者から見て左側であり、左側字幕画像７０２の座標が視聴者から見て右側であるものとする。この場合において、視聴者の左目に左側字幕画像７０２が映り、右目に右側字幕画像７０１が映るように、表示装置３００がこれらの画像を表示すると、視聴者は、字幕画像８０１が手前側に表示されているように視認することができる。

図１０ｂは、基準位置に字幕画像を表示する表示方法の一例を示す図である。右側字幕画像７０１および左側字幕画像７０２の水平座標は変わらないものとする。この場合において、視聴者の左目に左側字幕画像７０２が映り、右目に右側字幕画像７０１が映るように、表示装置３００がこれらの画像を表示すると、表示装置３００の表示面（基準位置）に字幕画像８０１が表示されているように視認される。このときは、字幕画像８０１は、立体的に視認されない。

図１０ｃは、字幕画像を奥側に表示するための表示方法の一例を示す図である。水平方向において、右側字幕画像７０１の座標は視聴者から見て右側であり、左側字幕画像７０２の座標が視聴者から見て左側であるものとする。この場合において、視聴者の左目に左側字幕画像７０２が映り、右目に右側字幕画像７０１が映るように、表示装置３００がこれらの画像を表示すると、視聴者は、字幕画像８０１が奥側に表示されているように、立体的に視認することができる。

図１１は、実施の形態における遠近感を強調した立体字幕画像の一例を示す図である。図１１ａは、手前側に表示される立体字幕画像の一例を示す図である。この場合、画像処理装置２００は、視差に応じて立体字幕画像（７０１および７０２）を拡大する。これにより、視聴者が視認する字幕画像８０１の表示位置が手前側であるほど、字幕画像８０１が拡大されて立体表示される。

図１１ｂは、字幕画像を奥側に表示される立体字幕画像場合の一例を示す図である。この場合、画像処理装置２００は、視差に応じて立体字幕画像（７０１および７０２）を縮小する。これにより、視聴者が視認する字幕画像８０１の表示位置が奥側であるほど、字幕画像８０１が縮小されて立体表示される。

このように、本技術の実施の形態によれば、表示位置が手前側であるほど立体字幕画像が大きくなるように立体字幕画像を拡大または縮小することにより、字幕画像の遠近感を強調することができる。これにより、立体表示される動画において、２Ｄ−３Ｄ変換された字幕画像を合成する場合において、視聴者が字幕画像の遠近感の不足を感じることがなくなる。

＜２．変形例＞
変形例について説明する。第１の実施の形態においては、右側字幕画像を基準として視差Ｄを定義していた。しかし、これとは逆に左側字幕画像を基準として、左側字幕画像および右側字幕画像の水平方向におけるずれを視差Ｄとして用いてもよい。変形例の画像処理装置２００では、左側字幕画像を基準として視差を定義する点において上述の実施の形態と異なる。具体的には、図９に例示したようにＸ_ＲからＸ_Ｌを減じた値を視差Ｄとするのではなく、画処理装置２００は、Ｘ_ＬからＸ_Ｒを減じた値を視差Ｄとして用いる。この場合には、表示位置が手前側である場合に視差Ｄが正数となり、奥側である場合に視差Ｄが負数となる。このため、次の式２を使用してＳが算出される。
Ｓ＝１＋（α／１００）×（Ｄ／Ｄｍ） 式３
式３より、視差Ｄが正数である場合には、「１」より大きなＳ（拡大率）が算出され、視差Ｄが負数である場合には、「１」より小さなＳ（縮小率）が算出される。

なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。

なお、本技術は以下のような構成もとることができる。
（１）立体主画像に合成される字幕情報を取得する字幕情報取得部と、
前記字幕情報を立体表示させるための視差を取得する視差取得部と、
前記視差に応じた表示位置に立体表示される立体字幕画像を前記字幕情報から生成する立体字幕画像生成部と、
前記表示位置が手前側であるほど前記立体字幕画像が大きくなるように前記立体字幕画像を拡大または縮小する拡大縮小部と
を具備する画像処理装置。
（２）前記拡大縮小部は、前記表示位置が所定の基準位置より手前側である場合には前記視差に応じて前記立体字幕画像を拡大し、前記表示位置が前記所定の基準位置より奥側である場合には前記視差に応じて前記立体字幕画像を縮小する
前記（１）記載の画像処理装置。
（３）前記拡大または縮小された立体字幕画像を前記立体主画像に合成する字幕合成部をさらに具備する前記（１）または（２）記載の画像処理装置。
（４）前記字幕画像と当該字幕情報の視差および表示タイミングとを対応付けて保持するバッファと、
前記表示タイミングにおいて当該表示タイミングに対応する前記字幕情報および前記視差を前記バッファから読み出して前記画像生成部に供給する制御部と
をさらに具備し、
前記字幕情報取得部は前記表示タイミングをさらに取得して当該表示タイミングに前記字幕情報に対応付けて前記バッファに保持させ、
前記視差取得部は前記表示タイミングをさらに取得して当該表示タイミングに前記視差を対応付けて前記バッファに保持させる
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）前記拡大縮小部は、所定の補正係数に基づいて補正した拡大率または縮小率に従って前記立体字幕画像を拡大または縮小する
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）前記字幕情報は、字幕を表わす画像または前記字幕を表わす文字列を含む
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）字幕情報取得部が、立体主画像に合成される字幕情報を取得する字幕情報取得手順と、
視差取得部が、前記字幕情報を立体表示させるための視差を取得する視差取得手順と、
立体字幕画像生成部が、前記視差に応じた表示位置に立体表示される立体字幕画像を前記字幕情報から生成する立体字幕画像生成手順と、
拡大縮小部が、前記表示位置が手前側であるほど前記立体字幕画像が大きくなるように前記立体字幕画像を拡大または縮小する拡大縮小手順と
を具備する画像処理方法。
（８）字幕情報取得部が、立体主画像に合成される字幕情報を取得する字幕情報取得手順と、
視差取得部が、前記字幕情報を立体表示させるための視差を取得する視差取得手順と、
立体字幕画像生成部が、前記視差に応じた表示位置に立体表示される立体字幕画像を前記字幕情報から生成する立体字幕画像生成手順と、
拡大縮小部が、前記表示位置が手前側であるほど前記立体字幕画像が大きくなるように前記立体字幕画像を拡大または縮小する拡大縮小手順と
をコンピュータに実行させるためのプログラム。

１００ 受信装置
２００ 画像処理装置
２１０ 視差取得部
２２０ 字幕データ取得部
２３０ 復号部
２４０ 字幕データバッファ
２５０ 同期制御部
２６０ 立体字幕画像生成部
２７０ 拡大縮小部
２８０ 字幕画像合成部
３００ 表示装置

Claims (7)

1. 立体主画像に合成される字幕情報を取得する字幕情報取得部と、
   前記字幕情報を立体表示させるための視差を取得する視差取得部と、
   前記視差に応じた表示位置に立体表示される立体字幕画像を前記字幕情報から生成する立体字幕画像生成部と、
   前記取得された視差に可変の値である所定の補正係数を乗じた値に基づいて決定された比率により前記立体字幕画像を拡大または縮小する拡大縮小部と
   を具備する画像処理装置。
2. 前記拡大縮小部は、前記表示位置が所定の基準位置より手前側である場合には前記視差に応じて前記立体字幕画像を拡大し、前記表示位置が前記所定の基準位置より奥側である場合には前記視差に応じて前記立体字幕画像を縮小する
   請求項１記載の画像処理装置。
3. 前記拡大または縮小された立体字幕画像を前記立体主画像に合成する字幕合成部をさらに具備する請求項１記載の画像処理装置。
4. 前記字幕画像と当該字幕情報の視差および表示タイミングとを対応付けて保持するバッファと、
   前記表示タイミングにおいて当該表示タイミングに対応する前記字幕情報および前記視差を前記バッファから読み出して前記画像生成部に供給する制御部と
   をさらに具備し、
   前記字幕情報取得部は前記表示タイミングをさらに取得して当該表示タイミングに前記字幕情報に対応付けて前記バッファに保持させ、
   前記視差取得部は前記表示タイミングをさらに取得して当該表示タイミングに前記視差を対応付けて前記バッファに保持させる
   請求項１記載の画像処理装置。
5. 前記字幕情報は、字幕を表わす画像または前記字幕を表わす文字列を含む
   請求項１記載の画像処理装置。
6. 字幕情報取得部が、立体主画像に合成される字幕情報を取得する字幕情報取得手順と、
   視差取得部が、前記字幕情報を立体表示させるための視差を取得する視差取得手順と、
   立体字幕画像生成部が、前記視差に応じた表示位置に立体表示される立体字幕画像を前記字幕情報から生成する立体字幕画像生成手順と、
   拡大縮小部が、前記取得された視差に可変の値である所定の補正係数を乗じた値に基づいて決定された比率により前記立体字幕画像を拡大または縮小する拡大縮小手順と
   を具備する画像処理方法。
7. 字幕情報取得部が、立体主画像に合成される字幕情報を取得する字幕情報取得手順と、
   視差取得部が、前記字幕情報を立体表示させるための視差を取得する視差取得手順と、
   立体字幕画像生成部が、前記視差に応じた表示位置に立体表示される立体字幕画像を前記字幕情報から生成する立体字幕画像生成手順と、
   拡大縮小部が、前記取得された視差に可変の値である所定の補正係数を乗じた値に基づいて決定された比率により前記立体字幕画像を拡大または縮小する拡大縮小手順と
   をコンピュータに実行させるためのプログラム。
   

Images