JP5367031B2 - 情報処理方法、および情報処理装置 - Google Patents

Description

本発明は、情報処理方法、および情報処理装置に関する。

近年、民生用テレビの高性能化が進み、奥行きを持った３次元的な立体映像を提示することが可能な３次元テレビが普及してきている。また、ひとつのテレビを複数人で共有して、それぞれが異なる映像を同時に観賞することが可能なテレビも提案されている（特許文献１参照）。

特開２０１１−１９９１７号公報

立体的な映像を提示するための技術や、ひとつの画面を複数人で共有するための技術は種々存在し、そのような映像を提示するための表示パネルもまた、様々な方式が存在する。これらの映像の提示の仕方によっては、異なる映像が幾重にも重なって見える、いわゆる「クロストーク」と呼ばれる現象が出現する場合があり、視聴者に不快感を与える原因となりうる。

本発明はこのような状況を鑑みてなされたものであり、その目的は、テレビにおいて発生しうるクロストークを軽減させる技術を提供することにある。

上記課題を解決するために、本発明のある態様は映像表示方法である。この方法は、少なくとも２種類の映像を循環的に取得する映像選択ステップと、取得した映像を構成する画素の一部が空間的に間引かれるように単一色の画素で置換してマスクするためのマスクパターンを、取得した映像毎に選択するマスク決定ステップと、選択したマスクパターンをもとに、映像を構成する画素の一部を単一色の画素に置換して表示部に表示させる表示ステップとを含む。ここで前記マスク決定ステップは、ある映像に対するマスクパターンを選択する際、ひとつ前の映像に対するマスクパターンとは、単一色に置換しない画素の位置が異なるマスクパターンを選択する。

本発明の別の態様は映像再生装置である。この装置は、少なくとも２種類の映像を循環的に取得する映像選択部と、前記映像選択部が取得した映像を構成する画素の一部が空間的に間引かれるように単一色の画素で置換してマスクするためのマスクパターンを、取得した映像毎に選択する置換マスク決定部と、前記置換マスク決定部が選択したマスクパターンをもとに、前記映像選択部が取得した映像を構成する画素の一部を単一色の画素に置換して画像バッファに出力する映像置換部と、前記映像置換部が置換した映像を画像バッファから出力する映像出力部とを含む。ここで前記置換マスク決定部は、ある映像に対するマスクパターンを選択する際、ひとつ前の映像に対するマスクパターンとは、単一色に置換しない画素の位置が異なるマスクパターンを選択する。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、テレビにおいて発生しうるクロストークを軽減させる技術を提供することができる。

３次元空間における物体とその視差画像との関係を示す図である。 視差画像を利用したシャッター式の３次元映像表示システムの概観を示す図である。 シャッターめがねのシャッターのタイミングと、３次元テレビにおける視差画像の表示のタイミングとの関係を示す図である。 シャッターめがねを利用した画面共有システムの概観を示す図である。 実施の形態に係る情報処理装置の機能構成を模式的に示す図である。 二人のユーザがテレビを共有してそれぞれ異なる映像を視聴する場合の、画像バッファに格納される映像を時系列的に示した図である。 実施の形態に係る置換マスク決定部が選択するマスクパターンの一例を模式的に示す図である。 ＨＤＭＩ ｖ１．４ａにおける３次元映像関連の一群のフォーマットの規格を示す図である。 実施の形態に係る置換マスク決定部が選択するマスクパターンの別の例を模式的に示す図である。 マスクパターンの任意の位置の画素における単一色画素の出現の様子を示す図である。 実施の形態に係る置換マスク決定部が選択するマスクパターンのさらに別の例を模式的に示す図である。 テレビを共有して３つの映像を表示する場合のマスクパターンの一例を示す図である。 実施の形態に係る情報処理装置における処理手順を示すフローチャートである。 実施の形態に係る画面共有システムに用いられる機器の別の構成を模式的に示す図である。

［視差画像を用いた３次元映像］
図１は、３次元空間における物体とその視差画像との関係を示す図である。３次元空間において、オブジェクト２００と総称するオブジェクト２００ａ、オブジェクト２００ｂ、およびオブジェクト２００ｃの３つのオブジェクト２００を、カメラ２０２と総称する、オブジェクト２００に対して左側から撮像する左目用カメラ２０２ａと、オブジェクト２００に対して右側から撮像する右目用カメラ２０２ｂとで撮像する。図１においては、左目用カメラ２０２ａで撮像されたオブジェクト２００の映像および右目用カメラ２０２ｂで撮像されたオブジェクト２００の映像は、それぞれ２次元用のモニタ２０４と総称するモニタ２０４ａおよびモニタ２０４ｂに表示されている。

左目用カメラ２０２ａと右目用カメラ２０２ｂとは、異なる位置からオブジェクト２００を撮像しているため、モニタ２０４ａに写される映像とモニタ２０４ｂに写される映像とではオブジェクト２００の向きが異なる映像となる。このように、３次元空間におけるオブジェクト２００を異なる視点から見た場合の画像を「視差画像」という。人間の左右の目は６ｃｍ程度離れているため、左目から見える映像と右目から見える映像には視差が生じる。人間の脳は、左右の目で知覚した視差画像を、物体の奥行きを認識するためのひとつの情報として利用しているといわれている。そのため、左目で知覚される視差画像と右目で知覚される視差画像とをそれぞれの目に投影すると、人間は奥行きを持った立体映像として認識する。以下本明細書では、「立体映像」と「３次元映像」とを同じ意味で用いる。また、本明細書において「映像」とは、視覚で認識する「画像情報」と、聴覚で認識する「音声情報」とを含むものとする。

視差画像を利用して、人間に奥行きを持った映像を見せるための３次元テレビには様々な方式があるが、そのひとつの例として、左目用の視差画像と右目用の視差画像とを交互に時分割で表示する、シャッターめがねを利用したテレビについて説明する。図２は、視差画像を利用したシャッター式の３次元映像表示システム３００の概観を示す図である。３次元映像表示システム３００は、視差画像を表示する表示部であるテレビ２０６、視差画像を見るために利用するシャッターめがね２１０、およびテレビ２０６とシャッターめがね２１０との同期を取るめがね駆動信号発信部２０８を含む。

テレビ２０６は、左目用の視差画像と右目用の視差画像とを交互に時分割で提示する。めがね駆動信号発信部２０８は、テレビ２０６の視差画像の表示タイミングを赤外線等の制御信号として発信する。シャッターめがね２１０は、めがね駆動信号発信部２０８部から送信された制御信号を受信するための受信部（図示せず）を備えており、受信した制御信号に応じて左右のレンズにシャッターをかける。シャッターは、例えば既知の液晶シャッターの技術を用いることで実現できる。

具体的には、テレビ２０６が左目用の視差画像を表示する場合、シャッターめがね２１０はめがね駆動信号発信部２０８から右目のレンズのシャッターを閉じるべき旨の信号を受信する。シャッターめがね２１０は、受信した信号をもとに右目のレンズのシャッターを閉じることで、右目に入る映像が遮蔽される。これにより、テレビ２０６が左目用の視差画像を表示する場合、ユーザの左目にのみ左目用の視差画像が投影される。反対に、テレビ２０６が右目用の視差画像を表示する場合、シャッターめがね２１０が左目のレンズのシャッターを閉じることにより、ユーザの右目にのみ右目用の視差画像が投影される。

図３は、シャッターめがね２１０のシャッターのタイミングと、テレビ２０６における視差画像の表示のタイミングとの関係を示す図である。左目用視差画像２１２と総称する左目用視差画像２１２ａ、左目用視差画像２１２ｂ、および左目用視差画像２１２ｃと、右目用視差画像２１４と総称する右目用視差画像２１４ａ、右目用視差画像２１４ｂ、右目用視差画像２１４ｃとが、所定の間隔ｔ（例えば１／１２０秒間隔）で交互に表示される。

左目用視差画像２１２ａが表示されているとき、シャッターめがね２１０の左目のシャッターは開いており、右目用のシャッターは閉じている。図３においては、シャッターめがね２１０のシャッターが開状態の場合を「○」の記号、閉状態の場合を「×」の記号を用いて表現している。図３に示すように、テレビ２０６の視差画像の表示とシャッターめがね２１０のシャッターの開閉とを同期して、ユーザの左目には左目用視差画像２１２を、右目には右目用視差画像２１４を投影することにより、ユーザに奥行き感のある立体映像を提示することが可能となる。

［シャッターめがねを用いた画面共有］
図４は、シャッターめがね２１０を利用した画面共有システム４００の概観を示す図である。画面共有システム４００は、３次元映像表示システム３００と同様に、テレビ２０６、シャッターめがね２１０とを含み、画面共有システム４００はさらに情報処理装置１００を含む。詳細は後述するが、情報処理装置１００は上述のめがね駆動信号発信部２０８の機能も含む。

ユーザ２１６で総称するユーザ２１６ａおよびユーザ２１６ｂは、それぞれシャッターめがね２１０を装着してテレビ２０６を観賞する。ここでユーザ２１６ａが装着しているシャッターめがね２１０をシャッターめがね２１０ａとし、ユーザ２１６ｂが装着しているシャッターめがね２１０をシャッターめがね２１０ｂとする。情報処理装置１００は、ユーザ２１６ａが観賞する映像とユーザ２１６ｂが観賞する映像とを、テレビ２０６に交互に時分割で送信するとともに、いずれの映像を送信しているかを示す信号を制御信号として発信する。

シャッターめがね２１０ａは、受信した制御信号をもとにテレビ２０６に表示されている映像の種類を判断し、ユーザ２１６ａが観賞する映像が表示されるタイミングでシャッターめがね２１０ａの左目用および右目用のシャッターを開く。シャッターめがね２１０ａはまた、受信した制御信号をもとにテレビ２０６に表示されている映像の種類を判断し、ユーザ２１６ａが観賞する映像が表示されていないときは、シャッターめがね２１０ａの左目用および右目用のシャッターを閉じる。

シャッターめがね２１０ａの場合と同様に、シャッターめがね２１０ｂは、受信した制御信号をもとにテレビ２０６に表示されている映像の種類を判断し、ユーザ２１６ｂが観賞する映像が表示されるタイミングでシャッターめがね２１０ｂの左目用および右目用のシャッターを開く。シャッターめがね２１０ｂはまた、受信した制御信号をもとにテレビ２０６に表示されている映像の種類を判断し、ユーザ２１６ｂが観賞する映像が表示されていないときは、シャッターめがね２１０ｂの左目用および右目用のシャッターを閉じる。このように、シャッターめがね２１０を用いてテレビ２０６の画面を複数のユーザで共有する場合、シャッターめがね２１０は、テレビ２０６が映像のいずれか１種類が表示部に表示されているときにシャッターめがね２１０のシャッターを開く。

図示はしないが、実施の形態に係るシャッターめがね２１０には音声出力部としてイヤホンが搭載されており、シャッターめがね２１０を装着する各ユーザ２１６が鑑賞する映像に対応する音声情報を再生することができる。

［テレビの表示方式］
テレビ２０６の表示パネルとしては、プラズマを利用するＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）方式や液晶を利用するＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）方式、ＬＣＤの一方式であるマイクロポール方式など様々な方式があるが、本実施の形態では、テレビ２０６の表示パネルはＬＣＤ方式のパネルであることを前提として説明する。

ＬＣＤ方式の動作原理を述べる。ＬＣＤ方式は、電圧がかかるとその向きを変える液晶と呼ばれる分子を利用して実現される。ＬＣＤ方式は、液晶分子にかける電圧を変えることで液晶分子の方向を制御し、バックライト光の透過量を制御して画像を表示する。

ＬＣＤ方式の表示パネルにおいては、１ラインずつ走査をしながら映像の表示を更新することが一般的である。例えば３次元映像を表示する場合において、表示パネル２の１番上のラインから更新を開始して、表示パネルの１番下のラインに至るまで垂直方向に走査しながら画素の状態を更新する。このため、左右の視差画像を１枚ずつ交互に更新する場合、更新の途中で左右の視差画像が混合することになる。また、液晶の応答には時間を要するため、画素を更新すべき信号を受信してから実際に画素が更新するまでには時間差が生じる。

テレビ２０６で３次元映像を鑑賞する場合、シャッターめがね２１０において左目のシャッターを開く時に、左右の視差画像が混合していると、ユーザ２１６は正しく左目用の画像を左目で見ることができなくなる。右目についても同様である。またテレビ２０６の表示画面を複数のユーザ２１６が共有する場合、あるユーザ２１６が観賞すべき映像に別のユーザが観賞すべき映像が混合すると、ユーザ２１６は正しい映像を観賞することができず、不快感を与える原因となりうる。

［ＬＣＤ方式におけるクロストーク］
このように、テレビ２０６に本来表示されるべき映像に別の映像が混合して表示される現象を「クロストーク」という。クロストークは、ＬＣＤ方式の表示パネルで立体映像を表示したり、画面を共有したりする際に発生しやすいといわれている。

前述したように、ＬＣＤ方式においては液晶分子にかける電圧を変えることで液晶分子の方向を制御し、バックライト光の透過量を制御する。この液晶分子は比較的大きなものであり、液晶分子を動かすためには時間を要する。このため、液晶分子に所定の電圧をかけてから液晶分子が所望の向きに移動するまでにかかる応答時間は４〜１０ミリ秒程度であるといわれている。

液晶にかける電圧を高めることで応答速度を向上させる「オーバードライブ」という工夫もあるが、液晶分子に電圧がかかった状態の向きから電圧がオフである状態の向きに戻す際にはオーバードライブを利用することはできず、ＬＣＤ方式において応答速度の向上は困難な問題である。

シャッターめがねを利用したＬＣＤ方式のテレビ２０６において３次元映像を表示したり、画面共有をしたりする場合、異なる映像を時分割で表示する。このため、映像の切り替えに液晶分子の応答が追いつかず、本来表示されるべきでない画像が漏れ込むことが起こり得る。

［実施の形態に係る情報処理装置］
実施の形態に係る情報処理装置１００は、シャッターめがねを利用したＬＣＤ方式のテレビ２０６において異なる映像を時分割で表示する場合に発生しうるクロストークを軽減する。その概要は、映像を構成する各画素について、ある瞬間に映像を表示する場合に次の瞬間はグレイ画素等の単一色の画素を表示する。そしてその次の瞬間にはまた映像を表示するというように、映像の画素と単一色の画素とを周期的に変更しながら表示する。この変更周期の位相を、映像を構成する各画素で変えることにより、画素を間引いて単一色の画素に置換してマスクした映像を、映像を表示する画素の位置を周期的に変更しながら表示する。すなわち、映像を間引きながら画素単位で黒挿入方式のクロストークの軽減をする。グレイ画素としては、輝度値が０の黒色画素も含むものとする。

図５は、実施の形態に係る情報処理装置１００の機能構成を模式的に示す図である。情報処理装置１００は、映像再生部１０、映像選択部２０、送信部３０、映像解析部４０、映像出力部５０、置換マスク決定部６０、映像置換部７０、および画像バッファ８０を含む。

映像再生部１０は、複数の映像を再生する。このため映像再生部１０は第１再生部１２、第２再生部１４、および第Ｎ再生部１６をさらに含む。ここでＮは２以上の整数であり、同時に再生可能な映像の最大数を表す。具体的なＮの値は情報処理装置１００の処理能力や製造コスト、消費電力等を勘案して実験により定めればよい。映像再生部１０内の各再生部の例としては、ゲームを実行するＣＰＵ（Central Processing Unit）、ＭＰＥＧ４（Moving Picture Experts Group 4）等の符号化されたデータを復号するデコーダ、地上デジタルテレビのデコーダ等が挙げられる。

映像選択部２０は、映像再生部１０が出力した映像を循環的に取得する。映像選択部２０は、映像再生部１０から出力された映像が左目用の視差画像と右目用の視差画像とを含む立体映像である場合、左目用の視差画像と右目用の視差画像とをそれぞれ異なる映像として取得する。映像選択部２０はまた、映像再生部１０から出力された映像が音声情報を含む場合、音声情報も取得する。ここで映像選択部２０は、音声情報に関しては循環的ではなく連続的に取得する。図４に示すように、各ユーザ２１６はテレビ２０６を共有する一方で、音声情報を再生するイヤホンは各ユーザ２１６がそれぞれ固有に所持しているため、音声情報に関しては各ユーザは２１２は連続的に視聴することができるからである。

映像解析部４０は、映像選択部２０が取得した映像の種類を解析する。具体的には、映像解析部４０は、映像選択部２０が取得した映像が、映像再生部１０内のどの再生部が生成した映像であるかを解析する。映像解析部４０はまた、映像選択部２０が取得した映像が左目用の視差画像と右目用の視差画像とを含む立体映像であるか否かを解析し、立体映像である場合には、映像選択部２０が取得した映像が左目用の視差画像と右目用の視差画像とのいずれの視差画像であるかを解析する。

置換マスク決定部６０は、映像解析部４０が解析した結果をもとに、映像選択部２０が取得した映像を構成する画素の一部が空間的に間引かれるように単一色の画素で置換してマスクするためのマスクパターンを、取得した映像毎に選択する。ここで置換マスク決定部６０は、映像選択部２０が現在取得した映像に対するマスクパターンを選択する際、ひとつ前に映像選択部２０が取得した映像に対するマスクパターンとは単一色に置換しない画素の各位置が異なるマスクパターンを選択する。これにより、ある瞬間に映像を表示する画素は、次の瞬間には単一色の画素となり、その次の瞬間には別の映像を表示する画素となる。各画素についてある映像と別の映像とを表示する間に単一色の画素を挿入することにより、クロストークによる映像の混合を軽減することができる。マスクパターンおよびその選択の仕方についての詳細は後述する。

映像置換部７０は、置換マスク決定部６０が選択したマスクパターンをもとに、映像選択部２０が取得した映像を構成する画素の一部を単一色の画素に置換してマスクする。映像置換部７０は、マスクした映像を画像バッファ８０に出力する。映像出力部５０は、画像バッファに格納された映像置換部７０が置換した映像を、テレビ２０６に出力する。

送信部３０は、表示部であるテレビ２０６を観察するためにユーザ２１６が装着するシャッターめがね２１０のシャッターの開閉の制御に用いられる制御信号を、シャッターめがね２１０に送信する。送信部３０はまた、映像選択部２０が取得した映像の音声情報を、シャッターめがね２１０に送信する。このため送信部３０は、制御信号送信部３２と音声信号送信部３４とを含む。

制御信号送信部３２は、映像選択部２０が映像再生部１０から映像を取得するタイミングを、映像選択部２０から取得する。制御信号送信部３２はまた、映像解析部４０が解析した結果を取得する。これらの情報をもとに、制御信号送信部３２はシャッターめがね２１０のシャッターの開閉の制御に用いられる制御信号を生成し、シャッターめがね２１０に発信する。制御信号送信部３２が生成する制御信号は、具体的には、シャッターめがね２１０が表示部であるテレビ２０６による映像の表示と同期して、シャッターを開閉するためのタイミング信号である。

シャッターめがね２１０は、制御信号送信部３２から受信した制御信号をもとに、テレビ２０６に表示されている映像の種類を判断する。テレビ２０６に表示されている映像が、シャッターめがね２１０を装着しているユーザ２１６が視聴している映像である場合、シャッターめがね２１０は、ユーザ２１６が映像を視聴できるようにシャッターめがねのシャッターを開く。

例えば、あるユーザ２１６が視聴する映像が左目用の視差画像と右目用の視差画像とを含む立体映像である場合、シャッターめがね２１０は、制御信号をもとにテレビ２０６に表示されている映像が左目用の視差画像か右目用の視差画像かをさらに判断し、テレビ２０６に表示されている映像が左目用の視差画像のときにシャッターめがね２１０の左目のシャッターを開くとともに右目のシャッターを閉じる。同様に、シャッターめがね２１０はテレビ２０６に表示されている映像が右目用の視差画像のときに右目のシャッターを開くとともに左目のシャッターを閉じる。

音声信号送信部３４は、映像選択部２０が取得した映像が音声情報を含む場合、その映像を視聴するユーザ２１６が装着しているシャッターめがね２１０に音声情報を送信する。より具体的には、音声信号送信部３４はシャッターめがね２１０毎に異なる周波数の送信信号に音声情報を重畳して送信する。各シャッターめがね２１０は、送信信号の周波数をもとに再生すべき音声信号を受信し、イヤホンを用いて音声情報を再生する。

図５は、実施の形態に係る情報処理装置１００を実現するための機能構成を示しており、その他の構成は省略している。図５において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ、メインメモリ、その他のＬＳＩ（Large Scale Integration）で構成することができ、ソフトウェア的には、メインメモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

図６は、ふたりのユーザ２１６ａおよび２１２ｂが、テレビ２０６を共有してそれぞれ異なる映像Ｉ_１およびＩ_２を視聴する場合の、画像バッファ８０に格納される映像を時系列的に示した図である。時刻ｔ_１において、画像バッファ８０には映像Ｉ_１の１番目のフレームである映像Ｉ_１（１）が格納される。所定の間隔ｔ秒後の時刻ｔ_２においては、映像Ｉ_２の１番目のフレームである映像Ｉ_２（１）が格納される。時刻ｔ_２から秒後の時刻ｔ_２においては、画像バッファ８０には映像Ｉ_１の２番目のフレームである映像Ｉ_１（２）が格納される。このように、画像バッファ８０にはふたつの異なる映像Ｉ_１およびＩ_２が時分割で交互に格納される。この結果、表示部であるテレビ２０６には、ふたつの異なる映像Ｉ_１およびＩ_２が時分割で交互に表示される。ここでＩ_１（ｎ）は、映像Ｉ_１のｎ番目のフレームを表す。フレームの順番を指定しない場合は単にＩ_１と表す。映像Ｉ_２の場合も同様である。

図７は、実施の形態に係る置換マスク決定部６０が選択するマスクパターンの一例を模式的に示す図である。上述したとおり、置換マスク決定部６０は、映像選択部２０が映像を取得する毎にマスクパターンを選択する。図７は、映像を構成する画素を水平方向の格子状に交互にマスクするマスクパターンの例を示している。ここで置換マスク決定部６０は、偶数番目の水平ラインを単一色で置換するマスクパターンを映像Ｉ_１用のマスクパターンとして選択し、奇数番目の水平ラインを単一色で置換するマスクパターンを映像Ｉ_２用のマスクパターンとして選択する。

映像Ｉ_１を視聴するユーザ２１６ａは、オリジナルの映像Ｉ_１と比較して、垂直方向の解像度が半分となり輝度も半分となった映像Ｉ_１を視聴することになる。しかしながら、テレビ２０６に表示する際に映像Ｉ_１を構成する画素と映像Ｉ_２を構成する画素とが異なるため、互いに映像が混じること防止でき、クロストークを軽減することができる。映像Ｉ_２を視聴するユーザ２１６ｂにとっても同様である。

図７に示す例は、映像の垂直方向の解像度を下げることでクロストークを軽減する場合について説明した。しかしながら、映像の種類によっては、垂直方向の解像度が水平方向の解像度よりも低い傾向にある映像も存在する。

図８は、ＨＤＭＩ（High-Definition Multimedia Interface） ｖ１．４ａにおける３次元映像関連の一群のフォーマットの規格を示す図である。

図８（ａ）は、フレームパッキング（Ｆｒａｍｅ Ｐａｃｋｉｎｇ）のフォーマットを示す図である。フレームパッキングは、フルサイズの左目用の視差画像Ｌと右目用の視差画像Ｒとをひとつのフレームとして伝送するためのフォーマットである。具体的には、左目用の視差画像Ｌの下部に空白部２６２を挟んで右目用の視差画像Ｒを配置する。このため、描画の際に用いられる水平同期信号２６４は１枚の視差画像を描画する場合と同じであるが、垂直同期信号２６６は、視差画像の２枚分に空白部２６２を加えた長さとなる。

図８（ｂ）は、サイドバイサイド（Ｓｉｄｅ−ｂｙ−Ｓｉｄｅ）のフォーマットを示す図である。サイドバイサイドは、左目用の視差画像Ｌと右目用の視差画像Ｒとをそれぞれ水平方向の幅が半分となるまで縮小して結合し、フルサイズの１枚の画像と同一のサイズにして伝送するためのフォーマットである。フォーマットがサイドバイサイドであることを示す信号が、ＨＤＭＩの制御信号の一部として伝送される。

図８（ｃ）は、トップアンドボトム（Ｔｏｐ−ａｎｄ−Ｂｏｔｔｏｍ）のフォーマットを示す図である。トップアンドボトムは、左目用の視差画像Ｌと右目用の視差画像Ｒとをそれぞれ垂直方向の幅が半分となるまで縮小して結合し、フルサイズの１枚の画像と同一のサイズにして伝送するためのフォーマットである。フォーマットがトップアンドボトムであることを示す信号が、ＨＤＭＩの制御信号の一部として伝送される。

図８（ｃ）に示すトップアンドボトム方式のフォーマットでは、左目用の視差画像Ｌと右目用の視差画像Ｒとはともに、垂直方向の解像度がオリジナルの解像度の半分となる。トップアンドボトム方式のフォーマットで記録された映像を視聴するときに、図７に示すマスクパターンでクロストークを軽減すると、垂直方向の解像度がさらに低下して視聴者に違和感を与えることも起こりうる。そこで、図８（ｃ）に示す例のように垂直方向の解像度が水平方向の解像度よりも低い映像を視聴する場合には、図７に示すマスクパターンとは別のマスクパターンを用いるのが好ましい。

図９は、実施の形態に係る置換マスク決定部６０が選択するマスクパターンの別の例を模式的に示す図である。図９は、映像を構成する画素を垂直方向の格子状に交互にマスクするマスクパターンの例を示している。ここで置換マスク決定部６０は、偶数番目の垂直ラインを単一色で置換するマスクパターンを映像Ｉ_１用のマスクパターンとして選択し、奇数番目の垂直ラインを単一色で置換するマスクパターンを映像Ｉ_２用のマスクパターンとして選択する。

図９に示すマスクパターンでマスクされた映像Ｉ_１を視聴するユーザ２１６ａは、オリジナルの映像Ｉ_１と比較して、水平方向の解像度が半分となり輝度も半分となった映像Ｉ_１を視聴することになる。しかしながら、テレビ２０６に表示する際に映像Ｉ_１を構成する画素と映像Ｉ_２を構成する画素とが異なるため、互いに映像が混じること防止でき、クロストークを軽減することができる。映像Ｉ_２を視聴するユーザ２１６ｂにとっても同様である。図９に示すマスクパターンを、図８（ｃ）に示す例のように垂直方向の解像度が水平方向の解像度よりも低い映像を視聴する際に適用すると、垂直方向の解像度と水平方向の解像度とが近づくため、視聴者に与える違和感を軽減することができる。

このように、実施の形態に係る置換マスク決定部６０は、映像解析部４０による映像の解析結果を取得し、映像の垂直方向の解像度が水平方向の解像度よりも高い場合、映像の垂直方向に周期性を持つマスクパターンを選択し、取得した映像の垂直方向の解像度が水平方向の解像度よりも低い場合、映像の水平方向に周期性を持つマスクパターンを選択する。これにより、垂直方向の解像度と水平方向の解像度との乖離を起因として視聴者に与える違和感を軽減することができる。

図７および図９に示すマスクパターンはともに、任意の位置の画素に注目すると、単一色の画素で置換してマスクする場合とそうでない場合とが時系列的に交互に入れ替わる。図１０は、任意の位置の画素における単一色画素の出現の様子を示す図である。図１０に示すように、実施の形態に係る置換マスク決定部６０は、黒挿入方式のクロストークの軽減が画素単位で実現されるようにマスクパターンを選択する。単一色の画素で置換してマスクする場合とそうでない場合とが時系列的に交互に入れ替わると、ユーザ２１６は映像と単一色とが混合して観察されることになる。しかし、例えば単一色の画素がグレイ画素の場合、画素が混合されても映像が暗くなったように観測されだけであり、異なる構造を持った映像同士が混合されて観察されることは防止できる。

一方で、クロストークを軽減した結果、テレビ２０６に表示される映像が映像として破綻するのでは意味がない。例えば、映像Ｉ_１用のマスクパターンとして映像の左半分をマスクするマスクパターンを採用し、映像Ｉ_２用のマスクパターンとして映像の右半分をマスクするマスクパターンを採用したとする。この場合も図７および図９に示すマスクパターンと同様に、画素単位で見れば黒挿入方式のクロストークの軽減が実現できる。しかしながら、映像Ｉ_１は右半分のみがテレビ２０６に表示され、映像Ｉ_２は左半分のみがテレビ２０６に表示されることになり、映像として破綻してしまう。

このような状況を防止するためには、映像を構成する画素の一部が空間的に間引かれるように単一色の画素で置換されるようなマスクパターンを採用すればよい。映像を構成する画素が空間的に分散していれば、その映像の全体構造を視聴することが可能となるからである。映像中で単一色の画素で置換される画素が多い領域は、その映像を視聴するユーザにとって輝度の低い領域として観察される。そのため、映像全体として均一に間引かれるように、マスクパターンは周期性を持つ方が望ましい。例えば図７に示すマスクパターンは、置換される画素が垂直方向に周期的に出現するマスクパターンである。また、図９に示すマスクパターンは、置換される画素が水平方向に周期的に出現するマスクパターンである。

図１１は、実施の形態に係る置換マスク決定部６０が選択するマスクパターンのさらに別の例を模式的に示す図である。図１１に示す例は市松模様のマスクパターンであり、置換される画素が垂直方向にも水平方向にも周期的に出現するマスクパターンである。

以上、ふたりのユーザ２１６ａおよび２１２ｂが、テレビ２０６を共有してそれぞれ異なる映像Ｉ_１およびＩ_２を視聴する場合について主に説明した。以下では、ユーザ２１６の数がさらに増えた場合のマスクパターンについて説明する。

図１２は、テレビ２０６を共有して３つの映像を表示する場合のマスクパターンの一例を示す図である。図１２（ａ）は、図７に示すマスクパターンと同様である。単一色の画素で置換されない部分に、３つの映像Ａ、Ｂ、およびＣを時系列的に交互に割り当てて表示する。図１２（ａ）に示す方法は、テレビ２０６を共有する映像の数が増えても、各映像の解像度の低下率はふたつの映像で共有する場合と同じである。

図１２（ｂ）は、映像を表示する各画素が、３つの映像Ａ、Ｂ、およびＣのいずれかひとつのみを表示するマスクパターンである。言い換えると、映像の解像度を３つの映像Ａ、Ｂ、およびＣそれぞれに割り当てて表示する方法である。テレビ２０６を共有する映像の数が増加すると各映像の解像度が低下するものの、各画素はいずれかの映像のみを表示するため、図１２（ａ）に示す方法と比較してクロストークの軽減の能力が高い。

以上まとめると、実施の形態に係る置換マスク決定部６０が、ある映像に対するマスクパターンを選択する際、ひとつ前の映像に対するマスクパターンとは、単一色に置換しない画素の位置が異なるマスクパターンを選択すれば、映像のクロストークを軽減することができる。ここで、ある映像に対するマスクパターンは、ひとつ前の映像に対するマスクパターンと比較して、単一色に置換しない画素の全ての位置が異なることが好ましいが、単一色に置換しない画素の位置が同じとなる画素が含まれていてもよい。これは表示する映像の種類、望まれるクロストークの軽減の程度、輝度値の低下、共有する映像の数等を考慮して、実質的にクロストークが抑えられるように実験により定めればよい。

図１３は、実施の形態に係る情報処理装置１００における処理手順を示すフローチャートである。本フローチャートにおける処理は、例えば情報処理装置１００の電源が投入されたときに開始する。

映像選択部２０は、映像再生部１０から取得する映像を選択する（Ｓ１０）。映像選択部２０が取得した映像が音声情報を含む場合（Ｓ１２のＹ）、音声信号送信部３４はその音声情報をシャッターめがね２１０に送信する（Ｓ２６）。

シャッターめがね２１０は、音声信号送信部３４から送信された音声情報を受信する（Ｓ２８）。シャッターめがね２１０は、受信した音声情報がそのシャッターめがね２１０を装着しているユーザ２１６が視聴している映像に対応する音声情報であって再生すべき音声情報である場合（Ｓ３０のＹ）、シャッターめがね２１０に付随するイヤホンを用いて受信した音声情報を再生する（Ｓ３２）。取得した音声情報がそのシャッターめがね２１０を装着しているユーザ２１６が視聴している映像に対応する音声情報ではなく、再生すべき音声情報ではない場合（Ｓ３０のＮ）、シャッターめがね２１０はた音声情報を再生しない。

音声信号送信部３４が音声情報をシャッターめがね２１０に送信した後、あるいは取得した映像が音声情報を含まない場合（Ｓ１２のＮ）、映像解析部４０は映像選択部２０が選択した映像を解析する（Ｓ１４）。置換マスク決定部６０は、映像解析部４０の解析結果をもとに映像を置換するためのマスクパターンを決定する（Ｓ１６）。

映像置換部７０は、置換マスク決定部６０が決定したマスクパターンにしたがって、映像選択部２０が選択した映像を構成する画素の一部を単一色の画素で置換してマスクする（Ｓ１８）。制御信号送信部３２は、映像解析部４０の解析結果をもとに、シャッターめがね２１０がシャッターの開閉を制御するのに利用する制御信号をシャッターめがね２１０に送信する（Ｓ２０）。

シャッターめがね２１０は、制御信号送信部３２から送信された制御信号を受信する（Ｓ３４）。シャッターめがね２１０は、受信した制御信号にしたがってシャッターの開閉を制御する（Ｓ３６）。

映像出力部５０は、映像置換部７０が置換して画像バッファ８０に格納された映像を、表示部であるテレビ２０６に出力する（Ｓ２２）。映像再生部１０による映像の再生が継続する間（Ｓ２４のＮ）、ステップＳ１０に戻って上述の処理を継続する。映像再生部１０による映像の再生が終了すると（Ｓ２４のＹ）、本フローチャートにおける処理は終了する。

以上の構成による動作は以下のとおりである。ユーザ２１６が実施の形態に係る情報処理装置１００を利用して複数の異なる映像を再生すると、置換マスク決定部６０が映像解析部４０の解析結果をもとにクロストークを軽減するためのマスクパターンを決定する。映像置換部７０はマスクパターンにしたがって映像を構成する画素単位で黒挿入方式によるクロストークの軽減を実施するとともに、制御信号送信部３２は、シャッターめがね２１０がシャッターの開閉を制御するのに利用する制御信号を、ユーザ２１６が装着するシャッターめがね２１０に送信する。

以上説明したように、実施の形態に係る情報処理装置１００によれば、テレビにおいて発生しうるクロストークを軽減させる技術を提供することができる。

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

［実施の形態の変形例］
図１４は、実施の形態に係る画面共有システム４００に用いられる機器の別の構成を模式的に示す図である。本例における画面共有システム４００においては、情報処理装置１００a、情報処理装置１００ｂ、および情報処理装置１００ｃで示すように、複数の情報処理装置１００がテレビ２０６に接続されている。すなわち、テレビ２０６に複数の映像再生部１０が接続している構成である。

この場合、テレビ２０６が、図５における映像選択部２０、送信部３０、映像解析部４０、映像出力部５０、置換マスク決定部６０、映像置換部７０、および画像バッファ８０を含み、上述のクロストークの軽減を実施すればよい。

１０ 映像再生部、 ２０ 映像選択部、 ３０ 送信部、 ３２ 制御信号送信部、 ３４ 音声信号送信部、 ４０ 映像解析部、 ５０ 映像出力部、 ６０ 置換マスク決定部、 ７０ 映像置換部、 ８０ 画像バッファ、 １００ 情報処理装置，２０６ テレビ、 ２０８ 駆動信号発信部、 ２１０ シャッターめがね、 ４００ 画面共有システム。

Claims (9)

1. 少なくとも２種類の映像を循環的に取得する映像選択ステップと、
   取得した映像を構成する画素の一部が空間的に間引かれるように単一色の画素で置換してマスクするためのマスクパターンを、取得した映像毎に選択するマスク決定ステップと、
   選択したマスクパターンをもとに、映像を構成する画素の一部を単一色の画素に置換して表示部に表示させる表示ステップとを含み、
   前記マスク決定ステップは、ある映像に対するマスクパターンを選択する際、ひとつ前の映像に対するマスクパターンとは、単一色に置換しない画素の位置が異なるマスクパターンを選択することを特徴とする情報処理方法。
2. 前記マスク決定ステップは、取得した映像の解像度をもとにマスクパターンを決定することを特徴とする請求項１に記載の情報処理方法。
3. 前記マスク決定ステップは、取得した映像の垂直方向の解像度が水平方向の解像度よりも高い場合、映像の垂直方向に周期性を持つマスクパターンを選択し、取得した映像の垂直方向の解像度が水平方向の解像度よりも低い場合、映像の水平方向に周期性を持つマスクパターンを選択することを特徴とする請求項２に記載の情報処理方法。
4. 表示部を観察するためのシャッターめがねのシャッターの開閉の制御に用いられる制御信号をシャッターめがねに発信するステップをさらに含むことを特徴とする請求項１から３のいずれかに記載の情報処理方法。
5. 前記シャッターめがねは、前記制御信号をもとに表示部に表示されている映像の種類を判断して前記映像のいずれか１種類が表示部に表示されているときにシャッターめがねのシャッターを開くものであり、
   本情報処理方法はさらに、前記映像が音声情報を含む場合、前記シャッターめがねがシャッターを開くときに表示部に表示されている映像に対応する音声情報を、前記シャッターめがねに備えられた音声出力部に送信するステップとを含むことを特徴とする請求項４に記載の情報処理方法。
6. 前記映像が左目用の視差画像と右目用の視差画像とを含む立体映像である場合、前記シャッターめがねは、前記制御信号をもとに表示部に表示されている映像が左目用の視差画像か右目用の視差画像かをさらに判断し、表示部に表示されている映像が左目用の視差画像のときにシャッターめがねの左目のシャッターを開くとともに右目のシャッターを閉じ、表示部に表示されている映像が右目用の視差画像のときにシャッターめがねの右目のシャッターを開くとともに左目のシャッターを閉じることを特徴とする請求項４または５に記載の情報処理方法。
7. 前記単一色の画素は、所定の輝度値以下のグレイ画素であることを特徴とする請求項１から６のいずれかに記載の情報処理方法。
8. 少なくとも２種類の映像を循環的に取得する映像選択部と、
   前記映像選択部が取得した映像を構成する画素の一部が空間的に間引かれるように単一色の画素で置換してマスクするためのマスクパターンを、取得した映像毎に選択する置換マスク決定部と、
   前記置換マスク決定部が選択したマスクパターンをもとに、前記映像選択部が取得した映像を構成する画素の一部を単一色の画素に置換して画像バッファに出力する映像置換部と、
   前記映像置換部が置換した映像を画像バッファから出力する映像出力部とを含み、
   前記置換マスク決定部は、ある映像に対するマスクパターンを選択する際、ひとつ前の映像に対するマスクパターンとは、単一色に置換しない画素の位置が異なるマスクパターンを選択することを特徴とする情報処理装置。
9. 少なくとも２種類の映像を循環的に取得する映像選択機能と、
   取得した映像を構成する画素の一部が空間的に間引かれるように単一色の画素で置換してマスクするためのマスクパターンを、取得した映像毎に選択するマスク決定機能と、
   選択したマスクパターンをもとに、映像を構成する画素の一部を単一色の画素に置換して表示部に表示させる表示機能とを含み、
   前記マスク決定機能は、ある映像に対するマスクパターンを選択する際、ひとつ前の映像に対するマスクパターンとは、単一色に置換しない画素の位置が異なるマスクパターンを選択することをコンピュータに実現させることを特徴とするプログラム。

Images