JP5764895B2 - 電子機器、再生システム、再生方法、プログラム - Google Patents

Description

本発明は、立体動画を再生するための電子機器、再生システム、再生方法、プログラムに関する。

立体動画を再生する再生装置がある（特許文献１から３）。
特許文献１には、立体映像装置において、映像に付随する文字情報を立体的に表示するための表示位置情報を含む、文字情報の位置情報が記載されている。
特許文献２には、デジタル立体放送におけるテロップ表示装置において、テロップ情報に視差を付加することが記載されている。
特許文献３には、立体映像の立体度に基づきメニューの表示情報から、右目用表示情報と左目用表示情報とを生成することが記載されている。

特開平１１−２８９５５５号公報 特開平１０−３２７４３０号公報 特開２０１０−１３０４９５号公報

ところで、再生装置などの電子機器には、通常、動画を早送り再生する機能、動画を巻き戻し再生する機能がある。
そして、この早送り再生、巻き戻し再生などの特殊再生においては、再生される立体動画において、画像全体、画像中の表示物、画像の背景などの表示位置が奥行き方向に急激に変化する可能性がある。
再生対象の動画データが、通常再生において表示位置が奥行き方向へ急激な変化が生じないように作成されていたとしても、早送り、巻き戻しなどの間引き再生時では、表示位置が奥行き方向へ急激に変化する可能性がある。

このように再生装置などの電子機器では、立体動画の間引き再生において表示される画像などの表示位置が奥行き方向へ急激に変化しないようにすることが求められている。

本発明によれば、立体画像を構成する左目用ピクチャと右目用ピクチャとが連続し、当該左目用ピクチャと当該右目用ピクチャとは視聴者が短時間で読み取るために注視される画像を含み、当該注視される画像の奥行き情報を含む、映像データであって、当該映像データに含まれるイントラピクチャの表示時刻、同一時刻に表示される他のピクチャおよび前記注視される画像のリンク情報を示すインデックスを含む、映像データを、早送り再生または巻き戻し再生して、立体映像を再生する電子機器であって、
前記再生すべき映像データの選択、または、早送り再生、巻き戻し再生または通常再生または、再生速度のいずれかを指示する操作部と、
前記操作部からの前記指示に応じて、前記立体画像を構成する映像データを取得する映像データ取得部と、
前記操作部で指示された早送り再生、巻き戻し再生、または、通常再生に応じて、前記注視される画像のリンク情報を示すインデックスを参照して前記取得した映像データから、前記指示された再生に用いるイントラピクチャを選択する処理を反復して行う、選択部と、
を具備し、
前記選択部は前記操作部において早送り再生または巻き戻し再生が指示された場合、
ａ．直前に表示に選択したピクチャと時刻差の少ない候補ピクチャを少なくとも１つ選択する処理、
ｂ．前記選択した候補ピクチャの前記視聴者が短時間で読み取るために注視される画像の奥行きと、前記直前に表示に選択したピクチャの前記注視される画像の奥行きとの差が所定値以内である場合、前記直前に表示に選択したピクチャと時刻差の少ない候補ピクチャのうち時刻差の最も少ない候補ピクチャを次表示ピクチャとして選択する処理、
ｃ．前記選択した候補ピクチャの前記視聴者が短時間で読み取るために注視される画像の奥行きと、前記直前に表示に選択したピクチャの前記注視される画像の奥行きとの差が所定値以内でない場合、前記選択した候補ピクチャの前記視聴者が短時間で読み取るために注視される画像の奥行きと、前記直前に表示に選択したピクチャの前記注視される画像の奥行きとの差が所定値以内である次の候補ピクチャを選択するため、残りの候補ピクチャについて、上記ａ，ｂ，ｃの処理を反復する処理を行なう、
立体映像を再生する電子機器が提供される。

好ましくは、当該電子機器は、前記選択部において選択した候補ピクチャの視聴者が短時間で読み取るために注視される画像の奥行きと、直前に表示に使用したピクチャの前記視聴者が短時間で読み取るために注視される画像の奥行きとの差が所定値以内でない場合、直前に表示に使用したピクチャの奥行きから所定値だけ標準の奥行きに近づけた奥行きを次に表示に使用するピクチャの奥行きとする処理を行う、調整部を有する。

また本発明によれば、立体画像を構成する左目用ピクチャと右目用ピクチャとが連続し、当該左目用ピクチャと当該右目用ピクチャとは視聴者が短時間で読み取るために注視される画像を含み、当該注視される画像の奥行き情報を含む、映像データであって、当該映像データに含まれるイントラピクチャの表示時刻、同一時刻に表示される他のピクチャおよび前記注視される画像のリンク情報を示すインデックスを含む、映像データを、早送り再生または巻き戻し再生して、立体映像を再生する、画像再生システムであって、
表示装置と、
前記表示装置へ立体視用の動画を出力する再生装置と
を具備し、
当該再生装置は、
前記再生すべき映像データの選択、または、早送り再生、巻き戻し再生または通常再生または、再生速度のいずれかを指示する操作部と、
前記操作部からの前記指示に応じて、前記立体画像を構成する映像データを取得する映像データ取得部と、
前記操作部で指示された早送り再生、巻き戻し再生、または、通常再生に応じて、前記注視される画像のリンク情報を示すインデックスを参照して前記取得した映像データから、前記指示された再生に用いるイントラピクチャを選択する処理を反復して行う、選択部と、
を具備し、
前記選択部は前記操作部において早送り再生または巻き戻し再生が指示された場合、
ａ．直前に表示に選択したピクチャと時刻差の少ない候補ピクチャを少なくとも１つ選択する処理、
ｂ．前記選択した候補ピクチャの前記視聴者が短時間で読み取るために注視される画像の奥行きと、前記直前に表示に選択したピクチャの前記注視される画像の奥行きとの差が所定値以内である場合、前記直前に表示に選択したピクチャと時刻差の少ない候補ピクチャのうち時刻差の最も少ない候補ピクチャを次表示ピクチャとして選択する処理、
ｃ．前記選択した候補ピクチャの前記視聴者が短時間で読み取るために注視される画像の奥行きと、前記直前に表示に選択したピクチャの前記注視される画像の奥行きとの差が所定値以内でない場合、前記選択した候補ピクチャの前記視聴者が短時間で読み取るために注視される画像の奥行きと、前記直前に表示に選択したピクチャの前記注視される画像の奥行きとの差が所定値以内である次の候補ピクチャを選択するため、残りの候補ピクチャについて、上記ａ，ｂ，ｃの処理を反復する処理を行なう、
立体映像を再生する、画像再生システムが提供される。

また本発明によれば、立体画像を構成する左目用ピクチャと右目用ピクチャとが連続し、当該左目用ピクチャと当該右目用ピクチャとは視聴者が短時間で読み取るために注視される画像を含み、当該注視される画像の奥行き情報を含む、映像データであって、当該映像データに含まれるイントラピクチャの表示時刻、同一時刻に表示される他のピクチャおよび前記注視される画像のリンク情報を示すインデックスを含む、映像データを、早送り再生または巻き戻し再生して、立体映像を再生する電子機器を用いた画像再生方法であって、
前記再生すべき映像データの選択、または、早送り再生、巻き戻し再生または通常再生または、再生速度のいずれかを指示する操作部による前記指示に応じて、前記立体画像を構成する映像データを取得するステップと、
前記操作部で指示された早送り再生、巻き戻し再生、または、通常再生に応じて、前記注視される画像のリンク情報を示すインデックスを参照して前記取得した映像データから、前記指示された再生に用いるイントラピクチャを選択する処理を反復して行う、選択ステップと、
を有し、
前記選択ステップにおいて、前記操作部において早送り再生または巻き戻し再生が指示された場合、
ａ．直前に表示に選択したピクチャと時刻差の少ない候補ピクチャを少なくとも１つ選択する処理、
ｂ．前記選択した候補ピクチャの前記視聴者が短時間で読み取るために注視される画像の奥行きと、前記直前に表示に選択したピクチャの前記注視される画像の奥行きとの差が所定値以内である場合、前記直前に表示に選択したピクチャと時刻差の少ない候補ピクチャのうち時刻差の最も少ない候補ピクチャを次表示ピクチャとして選択する処理、
ｃ．前記選択した候補ピクチャの前記視聴者が短時間で読み取るために注視される画像の奥行きと、前記直前に表示に選択したピクチャの前記注視される画像の奥行きとの差が所定値以内でない場合、前記選択した候補ピクチャの前記視聴者が短時間で読み取るために注視される画像の奥行きと、前記直前に表示に選択したピクチャの前記注視される画像の奥行きとの差が所定値以内である次の候補ピクチャを選択するため、残りの候補ピクチャについて、上記ａ，ｂ，ｃの処理を反復する処理を行なう、
立体映像を再生する電子機器を用いた画像再生方法が提供される。

本発明によれば、映像データを早送り再生または巻き戻し再生して立体映像を再生する処理をコンピュータにおいて実行される、画像再生プログラムであって、再生すべき前記映像データは、画像立体画像を構成する左目用ピクチャと右目用ピクチャとが連続し、当該左目用ピクチャと当該右目用ピクチャとは視聴者が短時間で読み取るために注視される画像を含み、当該注視される画像の奥行き情報を含む、映像データであって、当該映像データに含まれるイントラピクチャの表示時刻、同一時刻に表示される他のピクチャおよび前記注視される画像のリンク情報を示すインデックスを含み、
当該プログラムは、
前記再生すべき映像データの選択、または、早送り再生、巻き戻し再生または通常再生または、再生速度のいずれかを指示する操作部による前記指示に応じて、前記立体画像を構成する映像データを取得する手順と、
前記操作部で指示された早送り再生、巻き戻し再生、または、通常再生に応じて、前記注視される画像のリンク情報を示すインデックスを参照して前記取得した映像データから、前記指示された再生に用いるイントラピクチャを選択する処理を反復して行う、選択手順と、
を有し、
前記選択手順において、
前記操作部において早送り再生または巻き戻し再生が指示された場合、
ａ．直前に表示に選択したピクチャと時刻差の少ない候補ピクチャを少なくとも１つ選択する処理、
ｂ．前記選択した候補ピクチャの前記視聴者が短時間で読み取るために注視される画像の奥行きと、前記直前に表示に選択したピクチャの前記注視される画像の奥行きとの差が所定値以内である場合、前記直前に表示に選択したピクチャと時刻差の少ない候補ピクチャのうち時刻差の最も少ない候補ピクチャを次表示ピクチャとして選択する処理、
ｃ．前記選択した候補ピクチャの前記視聴者が短時間で読み取るために注視される画像の奥行きと、前記直前に表示に選択したピクチャの前記注視される画像の奥行きとの差が所定値以内でない場合、前記選択した候補ピクチャの前記視聴者が短時間で読み取るために注視される画像の奥行きと、前記直前に表示に選択したピクチャの前記注視される画像の奥行きとの差が所定値以内である次の候補ピクチャを選択するため、残りの候補ピクチャについて、上記ａ，ｂ，ｃの処理を反復する処理を行なう、
画像再生プログラムが提供される。

本発明によれば、再生装置などの電子機器において、立体動画の間引き再生において表示される画像などの表示位置が奥行き方向へ急激に変化しないようにできる。

図１は、本発明の第１実施形態に係る再生システムの構成図である。 図２は、図１の再生装置のハードウェアブロック図である。 図３は、図２の再生装置において立体動画の再生のために取得される映像データの一例の説明図である。 図４は、図３の映像データによる立体視の説明図である。 図５は、間引き再生部のブロック図である。 図６は、次表示ピクチャについての候補選択処理のフローチャートである。 図７は、次表示ピクチャについての選択基準時刻の生成処理のフローチャートである。 図８は、次表示ピクチャの候補からの選択処理を示すフローチャートである。 図９は、次表示ピクチャについての立体映像化処理（奥行き調整処理）のフローチャートである。 図１０は、立体映像化処理（奥行き調整処理）の実行を開始した後の所定期間での立体映像化処理の要否判断処理を示すフローチャートである。 図１１は、間引き再生の一時停止（ポーズ）から通常再生への切り替えの際の立体映像化処理（奥行き調整処理）を示すフローチャートである。 図１２は、本発明の第２実施形態における次表示ピクチャについての候補からの選択処理を示すフローチャートである。 図１３は、本発明の第３実施形態における次表示ピクチャについての候補からの選択処理を示すフローチャートである。

以下、本発明の実施の形態を図面に関連付けて説明する。
説明は以下の順に行う。
１．第１実施形態（早送りまたは巻き戻しの間引き再生の際に、複数の候補画像データを選択し、さらにその複数の候補画像データから、選択基準の画像データを優先的に選択する再生システムの例。）
２．第２実施形態（複数の候補画像の表示位置の奥行き方向への変化および時間変動をスコア化し、スコアが最も小さい画像データを選択する再生システムの例。）
３．第３実施形態（表示位置の奥行き方向への変化が一定以下になる複数の候補画像データから、時間変動が最も少ない画像データを選択する再生システムの例。）

＜１．第１実施形態＞
［再生システム１の構成］
図１は、本発明の第１実施形態に係る再生システム１の構成図である。
図１の再生システム１は、再生装置２と、表示装置３とを有する。
再生装置２と表示装置３とは、たとえばＨＤＭＩ（High-Definition Multimedia Interface）ケーブルなどのＡＶ（Audio Visual）ケーブル４により接続される。
第１実施形態の再生装置２は、早送りまたは巻き戻しの間引き再生の際に、複数の候補ピクチャデータを選択し、さらにその複数の候補ピクチャデータから、選択基準のピクチャデータを優先的に選択する。

再生装置２は、たとえばブルーレイディスクなどの記録媒体の再生装置、ハードディスク再生装置である。
再生において、再生装置２は、記録媒体またはハードディスクに記録された動画の映像データ２１を取得し、立体動画を再生するための映像データ２１を生成する。
再生装置２は、早送りまたは巻き戻しの操作がなされた場合、その早送り速度または巻き戻し速度に応じてピクチャを間引いた映像データ２１を生成する。
早送りまたは巻き戻しなどの特殊再生の場合、再生装置２は、取得した映像データ２１の複数のピクチャから、間引き再生に使用するピクチャを選択し、選択した複数のピクチャによる映像データ２１を生成する。
再生装置２は、生成した映像データ２１をＡＶケーブル４から表示装置３へ出力する。

表示装置３は、たとえば液晶表示装置３、プロジェクタ式表示装置３である。
表示装置３は、ＡＶケーブル４から映像データ２１が入力されると、その映像を表示部５１に表示する。

これにより、図１の再生システム１は、再生装置２で再生された立体動画を、表示装置３に表示する。
早送りまたは巻き戻しなどの間引き再生では、再生装置２は、映像データ２１の複数のピクチャから一部を選択する。そして、表示装置３は、その選択した一部の複数のピクチャによる立体動画を表示する。

図２は、図１の再生装置２のハードウェアブロック図である。
図２の再生装置２は、コンピュータとして、ＣＰＵ（Central Processing Unit）１１、メモリ（ＭＥＭ）１２、ディスプレイインタフェース（ＤＩＳＰ＿Ｉ／Ｆ）１３、操作部（ＫＥＹ）１４を有する。また、再生装置２は、無線通信部（ＲＦ＿Ｉ／Ｆ）１５、タイマ（ＴＭＲ）１６、ネットワーク通信部（ＣＯＭ）１７、ディスクドライブ（Ｄ＿ＤＲＶ）１８、およびこれらを接続するシステムバス１９を有する。

メモリ１２は、たとえばハードディスクドライブ、ＲＯＭ、ＲＡＭを有する。
メモリ１２は、再生装置２の制御プログラムを記憶する。
また、メモリ１２は、映像データ２１を記憶してもよい。
メモリ１２は、映像データ２１をＣＰＵ１１へ出力する。

ディスクドライブ１８は、たとえばブルーレイディスク、ＤＶＤディスクなどの記録媒体から、映像データ２１を読み込む。ディスクドライブ１８は、挿入された記録媒体から、映像データ２１を読み込む。
ディスクドライブ１８は、映像データ２１をＣＰＵ１１へ出力する。

ネットワーク通信部１７は、たとえばＬＡＮ（Local Area Network）ケーブルが接続される。
ネットワーク通信部１７は、たとえばインターネット上のコンテンツサーバと通信し、映像データ２１を受信する。
ネットワーク通信部１７は、映像データ２１をＣＰＵ１１へ出力する。
ネットワーク通信部１７が受信した映像データ２１は、メモリ１２またはディスクドライブ１８に挿入された記録媒体に書き込まれる。

操作部１４は、たとえば再生装置２のハウジングのフロントパネルに設けられ、複数の操作キーを有する。
複数の操作キーには、映像データ２１の選択、再生、停止、一時停止、早送り、巻き戻しなどの機能が割り当てられる。また、操作部１４は、ジョグダイヤルなどの再生速度を調整する操作キーを有してもよい。
操作部１４は、操作された操作キーに対応する指示を、ＣＰＵ１１へ出力する。

無線通信部１５は、再生装置２用のリモートコントローラと無線通信する。
リモートコントローラは、複数の操作キーを有する。リモートコントローラの複数の操作キーには、映像データ２１の選択、再生、停止、一時停止、早送り、巻き戻しなどの機能が割り当てられる。
無線通信部１５は、リモートコントローラから操作された操作キーに対応する指示を受信し、ＣＰＵ１１へ出力する。

ディスプレイインタフェース１３は、ＡＶケーブル４が接続される。
ディスプレイインタフェース１３は、ＣＰＵ１１などから入力された映像データ２１をＡＶケーブル４へ出力する。

タイマ１６は、時間、時刻を計測する。
タイマ１６は、計測した時間、時刻を、ＣＰＵ１１へ出力する。

ＣＰＵ１１は、メモリ１２からプログラムを読み込んで実行する。
これにより、ＣＰＵ１１には、再生装置２の制御部２０が実現される。
制御部２０は、再生装置２の動作を制御する。

たとえば制御部２０には、操作部１４、無線通信部１５からシステムバス１９を通じて映像データ２１の再生指示が入力される。
制御部２０は、再生に係る映像データ２１をメモリ１２などから読み込む。
制御部２０は、取得した映像データ２１から、立体動画を再生するための映像データ２１を生成する。映像データ２１が圧縮化されている場合、制御部２０は、取得した映像データ２１をデコードする。
制御部２０は、生成した立体動画用の映像データ２１をディスプレイインタフェース１３へ出力する。

この他にもたとえば、制御部２０には、早送り再生または巻き戻しなどの間引き再生の指示が入力される。
制御部２０は、再生に係る映像データ２１をメモリ１２などから読み込む。
制御部２０は、間引き再生では、取得した映像データ２１の一部のピクチャ（たとえば後述するＩピクチャ）を選択してデコードし、立体動画を再生するための映像データ２１を生成する。
制御部２０は、生成した立体動画用の映像データ２１をディスプレイインタフェース１３へ出力する。

［間引き再生の説明］
図３は、図２の再生装置２において立体動画の再生のために取得される映像データ２１の一例の説明図である。
図３の映像データ２１は、たとえばメモリ１２、ブルーレイディスクに記録される。

再生装置２において映像データ２１には、たとえばＭＰＥＧ（Moving Picture Experts Group）２ Transport Stream、ＡＶＩ（Audio Video Interleaving）、ＭＰ４（MPEG4）などである。これらの映像データ２１では、動画データ、音声データなどのストリーミングデータが多重化されている。
映像データ２１の動画データは、複数のピクチャを有する。ピクチャには、Ｉピクチャ、Ｂピクチャ、Ｐピクチャがある。動画データは、映像データ２１において、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４／ＡＶＣなどのビデオ圧縮方式により圧縮されている。
図３の複数のピクチャは、通常再生において左側から順番に再生に利用される。
なお、圧縮記録されている映像データ２１において、図３の複数のピクチャは、必ずしも図３の左側からの順番である再生順に格納されているわけではない。たとえばフレーム間予測符号化されている場合、デコード順は表示順と異なる。
このため、映像データ２１は、インデックス情報として、Ｉピクチャについてのデータ内の格納位置、Ｉピクチャの表示時刻（再生順）、同一時刻に表示される映像と字幕２４へのリンク情報（ひも付け情報）などを有する。

また、図３の映像データ２１は、立体動画用のデータである。
このため、図３の映像データ２１は、左目用ピクチャ２２と、右目用ピクチャ２３とを有する。
１組の左目用ピクチャ２２と右目用ピクチャ２３とが再生されることにより、１個の立体画像が表示される。

図３の映像データ２１では、左目用ピクチャ２２と右目用ピクチャ２３とが分離されている。
また、表示装置３が通常の２倍以上の高いフレームレートの再生に対応している場合、通常の２Ｄ画像と同等のフレームレートで立体画像を再生できる。

図３の各ピクチャは、字幕２４を有する。
１組の左目用ピクチャ２２と右目用ピクチャ２３とでは、同じ字幕２４が、画像中の表示位置がずれている。
このように画像中の字幕２４などの表示オブジェクトの表示位置が左目用ピクチャ２２と右目用ピクチャ２３との間でずれている。
また、視聴者３２は、たとえば映像データ２１のフレームレート（ピクチャーレート）と同期する信号によりシャッタが制御される立体映像用メガネをかけて視聴する。
これにより、視聴者３２には立体動画が表示される。

図４は、１組の左目用ピクチャ２２と右目用ピクチャ２３とによる立体視の説明図である。
図４には、表示部５１のスクリーン３１と、視聴者３２の両眼とが図示されている。
スクリーン３１には、左目用ピクチャ２２の画像および右目用ピクチャ２３の画像が実際に表示される。
視聴者３２は、スクリーン３１と正対している。

また、図４では、スクリーン３１上に、表示オブジェクトである字幕「Ａ」についての左目用の表示位置と、右目用の表示位置とが図示されている。
左目用の表示位置は、スクリーン３１の画面中央より右側にある。
右目用の表示位置は、スクリーン３１の画面中央より左側にある。
この場合、視聴者３２は、たとえば左目で左目用ピクチャ２２の左目用の表示位置に表示された字幕「Ａ」を見た後、右目で右目用ピクチャ２３の右目用の表示位置に表示された字幕「Ａ」を見る。
これにより、視聴者３２には、字幕「Ａ」は、スクリーン３１手前の視線の交差位置３３に表示されているように認識される。
視聴者３２には、スクリーン３１手前に字幕「Ａ」が浮き出して見える。
この両眼視差の効果により画像、表示物、字幕２４などについて視認される表示位置がスクリーン３１の前後となり、視聴者３２には、立体的な動画が視認される。
左目と視線の交差位置とを結ぶ線分と、右目と視線の交差位置とを結ぶ線分とのなす角度は、視差角θと呼ばれる。

再生装置２の制御部２０は、操作部１４からの再生指示に基づいて、メモリ１２または記録媒体から立体動画用の映像データ２１を取得する。
制御部２０は、取得した映像データ２１の複数のピクチャデータを、取得する。
通常再生の場合、制御部２０は、複数のピクチャデータを記録された順番で取得する。制御部２０は、取得したピクチャデータをデコードして再生順に並べ替え、再生順に所定のフレームレートに対応する時間間隔で出力する。
間引き再生の場合、制御部２０は、インデックス情報に基づいて複数のＩピクチャデータを再生順に取得する。制御部２０は、取得したＩピクチャのデータをデコードして順番に出力する。
制御部２０から出力されたピクチャデータは、ディスプレイインタフェース１３およびＡＶケーブル４を通じて表示装置３に入力する。
表示装置３は、表示部５１に表示する画像を、入力された最新のピクチャデータにより更新する。

ところで、立体動画を再生する場合、その視差角θが時間的にまたは空間的に急激に変化すると、視聴者３２に生理的な影響を与える可能性がある。
このため、立体動画では、立体静止画と異なり単純に視差のみで生理的な影響の程度をはかることはできないが、視野角の時間的または空間的な変化は、好ましくは１度以内、可能な限り２度以内とするのが良いと考えられている。

また、動画において視野角の変化の影響は、単純な変化の大きさだけを考慮するのではなく、変化の割合（率）を考慮すべきであると考えられる。
たとえば立体静止画の視差角θは６０分から７０分の範囲内に収めればよいと考えられている。分は、１度の６０分の１の角度である。しかしながら、立体動画では、そのような角度範囲内であったとしても急激な変化により生理的な影響が生じる可能性がある。
この他にもたとえば、立体静止画では両眼視差が焦点深度内に収まっていれば視覚疲労の程度は平面画像の場合と変わらないと考えられる。しかしながら、立体動画では、その焦点深度内であっても画像などの表示位置が奥行き方向へある程度の回数または頻度で変動すれば、生理的な影響を与える可能性があると考えられる。

このため、ステレオグラム技術を用いた立体動画用の映像データ２１では、視聴者３２に生理的な影響を与えないように、複数のピクチャの画像を作り込むのが望ましい。
少なくとも字幕２４などの視聴者３２が注目する部分については、生理的な影響を与えないと考えられる程度に表示位置の奥行きへの変化を作り込むのが望ましい。
このため、立体動画用の映像データ２１は、ピクチャデータを順番に再生に用いる通常再生において表示位置の奥行きへの変化が抑えられるように作りこまれる。

しかしながら、このように生理的な影響を考慮して立体動画用の映像データ２１が作成されていたとしても、早送り再生や巻き戻し再生のようにピクチャを間引いて再生する場合には、単位時間あたりの奥行き方向への変化が急激になってしまう可能性がある。

なお、このような単位時間あたりの奥行き方向への変化を抑えるためには、間引き再生においては、左右のピクチャの一方のみを再生に用いることが考えられる。
しかしながら、このように左右のピクチャの一方のみを再生に用いた場合には、表示される映像は２Ｄ映像となり、本来の立体感を得ることができない。

［間引き再生機能の説明］
図５は、間引き再生部４０のブロック図である。
図５には、間引き再生部４０とともに、操作部１４、制御部２０、メモリ１２の映像データ２１、表示装置３の表示部５１が図示されている。

図５の間引き再生部４０は、ＣＰＵ１１がプログラムを読み込むことにより実現される。図５の間引き再生部４０は、制御部２０の一部または制御部２０とともに実現される。
図５の間引き再生部４０は、操作部１４から通常の再生が指示された場合と、操作部１４から早送り再生または巻き戻し再生が指示された場合とに利用される。

間引き再生部４０は、インデックス情報読込部４１、表示候補選択部４２、時刻差算出部４３、奥行き情報読込部４４、直前ピクチャ奥行き情報バッファ４５、次表示ピクチャ選択部４６、映像データ読込部４７、出力部４８を有する。
そして、図５の間引き再生部４０は、メモリ１２に記憶されている映像データ２１から、間引き再生において順次表示される映像のピクチャデータを１つずつ順番に選択する。

メモリ１２に記憶されている映像データ２１は、動画データとしての複数のピクチャデータとともに、字幕２４の情報、字幕２４の表示位置についての奥行き情報を有する。
字幕２４の情報は、たとえば動画、音声などと同様に、１つのコンテンツデータとして映像データ２１に含まれている。

インデックス情報読込部４１は、メモリ１２から、映像データ２１のインデックス情報を読み込む。
インデックス情報は、動画を構成するＩピクチャについてのデータ内の格納位置、Ｉピクチャの表示時刻（再生順）、同時に表示可能な映像または字幕２４へのリンク情報（所謂、ひも付け情報）などを有する。このリンク情報により、各ピクチャに、対応する字幕２４が関連付けられる。

表示候補選択部４２は、インデックス情報に基づいて、メモリ１２から、映像データ２１の複数のピクチャデータを選択する。
以下、表示候補選択部４２により選択されたピクチャデータを、候補ピクチャデータという。

時刻差算出部４３は、選択された複数の候補ピクチャデータの各々について、通常再生での再生時刻を演算する。

奥行き情報読込部４４は、メモリ１２から、字幕データの表示位置についての奥行き情報を読み込む。

直前ピクチャ奥行き情報バッファ４５は、直前に表示させた画像についての字幕２４の奥行き方向の表示位置情報を記憶する。
具体的には、直前ピクチャ奥行き情報バッファ４５は、出力部４８が表示部５１へ最後に出力したピクチャデータにリンクされている字幕２４の奥行き方向の表示位置情報を記憶する。

次表示ピクチャ選択部４６は、複数の候補ピクチャデータから、所定の選択処理により１つを選択する。
次表示ピクチャ選択部４６により選択されたピクチャデータは、表示部５１に次に表示される画像となる。

映像データ読込部４７は、メモリ１２から、次表示ピクチャ選択部４６により選択されたピクチャデータを読み込む。映像データ読込部４７は、読み込んだピクチャデータをデコードする。映像データ読込部４７は、デコードしたピクチャデータを出力する。

出力部４８は、映像データ読込部４７から出力されたピクチャデータを表示部５１へ出力する。
また、出力部４８は、必要に応じて、ピクチャデータによる立体映像化される画像全体、表示物、背景、字幕２４などの表示位置について奥行きを調整する。

［間引き再生の動作］
次に、図５の間引き再生部４０による間引き再生動作を説明する。
図５の間引き再生部４０は、メモリ１２に記憶されている映像データ２１から、間引き再生において順次表示される映像のピクチャデータを１つずつ順番に選択する。
操作部１４は、早送り機能または巻き戻し機能が割り当てられた操作キーの操作に基づいて、早送りまたは巻き戻しによる間引き再生を制御部２０に指示する。
制御部２０は、操作部１４の指示の入力に基づいて、図５の間引き再生部４０を起動する。

図６は、次表示ピクチャについての候補選択処理のフローチャートである。
図６の処理において、表示候補選択部４２は、まず、直前表示ピクチャの理想再生時刻と、指示された早送りまたは巻き戻し再生の速度とから、次表示ピクチャの理想再生時刻を算出する（ステップＳＴ１）。
直前表示ピクチャの理想再生時刻とは、指示された早送りまたは巻き戻し再生の速度に基づいて演算される直前表示ピクチャについての理想的な再生時刻をいう。
例えば、６０ｆｐｓのストリームにおいて、６０ピクチャに１ピクチャの割合でピクチャを選択し、そのピクチャを２ピクチャ時間毎に表示（保持）すると３０倍速となる。この場合、３０倍速表示するための理想時刻は１秒後となる。

次に、表示候補選択部４２は、インデックス情報におけるＩピクチャの表示順情報に基づいて、次表示ピクチャの理想再生時刻付近のＩピクチャを複数選択する（ステップＳＴ２）。
表示候補選択部４２は、たとえば次表示ピクチャの理想再生時刻に最も近い時刻のＩピクチャと、その前後のＩピクチャとを選択する。
これにより、表示候補選択部４２は、複数のＩピクチャを、候補ピクチャとして選択する。
表示候補選択部４２は、理想再生時刻に最も近い候補ピクチャデータを、間引き再生の指示速度に対応して選択される選択基準のピクチャデータとして選択し、かつ、その前後のピクチャデータを選択する。

表示候補選択部４２により複数のＩピクチャが候補ピクチャとして選択されると、時刻差算出部４３、奥行き情報読込部４４が動作する。
図７は、次表示ピクチャについての選択基準時刻の生成処理のフローチャートである。
時刻差算出部４３は、各候補ピクチャデータについて、次表示ピクチャの理想再生時刻との再生時刻の差を演算する（ステップＳＴ１１）。

次に、時刻差算出部４３は、演算した複数の候補ピクチャデータの時刻差情報を保存する（ステップＳＴ１２）。複数の時刻差情報は、たとえばメモリ１２に保存される。

また、奥行き情報読込部４４は、メモリ１２から、各候補ピクチャデータの字幕２４についての奥行き情報を読み込む。
次に、奥行き情報読込部４４は、複数の候補ピクチャデータの字幕２４の奥行き情報を保存する。複数の奥行き情報は、たとえばメモリ１２に保存される。

これにより、メモリ１２には、複数の候補ピクチャデータについての時刻差情報と、字幕２４の奥行き情報とが記憶される。
なお、時刻差情報と字幕２４の奥行き情報とは、メモリ１２において、候補ピクチャデータのインデックス番号毎に対応付けて記憶されてもよい。

図８は、次表示ピクチャの候補からの選択処理を示すフローチャートである。
メモリ１２に複数の候補ピクチャデータについての時刻差情報と字幕２４の奥行き情報とが記憶されると、次表示ピクチャ選択部４６は、次表示ピクチャを選択する。

次表示ピクチャ選択部４６は、まず、時刻差が最も少ない候補ピクチャデータを選択する（ステップＳＴ２１）。
そして、次表示ピクチャ選択部４６は、当該候補ピクチャデータの字幕２４の奥行き情報を取得し（ステップＳＴ２２）、直前に表示したピクチャデータにおける字幕２４の奥行きとの差を演算する（ステップＳＴ２３）。
直前に表示したピクチャデータにおける字幕２４の奥行き情報は、直前ピクチャ奥行き情報バッファ４５から読み込む。

次表示ピクチャ選択部４６は、字幕２４の奥行き差が所定値以内であるか否かを判断する（ステップＳＴ２４）。
字幕２４の奥行き差が所定値以内である場合、次表示ピクチャ選択部４６は、この時刻差が最も少ない候補ピクチャデータを、次に表示するピクチャデータとして選択する（ステップＳＴ２７）。

字幕２４の奥行き差が所定値以内でない場合、次表示ピクチャ選択部４６は、次の候補ピクチャについて検討を継続する。
具体的には、次表示ピクチャ選択部４６は、他の未処理の候補ピクチャが残っていて、かつ、ループ回数が所定の規定回数（たとえば４）以下であるか否かを判断する（ステップＳＴ２５）。
そして、このステップＳＴ２５の判断結果がＹｅｓ（はい）である場合、次表示ピクチャ選択部４６は、次に時刻差が小さい候補ピクチャを選択する（ステップＳＴ２６）。

次表示ピクチャ選択部４６は、次に時刻差が小さいものとして選択した当該候補ピクチャデータの字幕２４について奥行き差を演算し、所定値以内であるか否かを判断する（ステップＳＴ２２からＳＴ２４）。
字幕２４の奥行き差が所定値以内である場合、次表示ピクチャ選択部４６は、この次に時刻差が小さい候補ピクチャデータを、次に表示するピクチャデータとして選択する（ステップＳＴ２７）。
字幕２４の奥行き差が所定値以内でない場合、次表示ピクチャ選択部４６は、次の候補ピクチャについて検討を継続する。
次表示ピクチャ選択部４６は、ループ処理を継続する（ステップＳＴ２５、ＳＴ２６、ＳＴ２２〜２４）。

また、ステップＳＴ２５の判断結果がＮｏ（いいえ）である場合、次表示ピクチャ選択部４６は、時刻差が最も少ない候補ピクチャデータを、次に表示するピクチャデータとして選択する（ステップＳＴ２８）。
この場合、次表示ピクチャ選択部４６は、出力部４８に対して、本来の立体表示には不適切であることを通知する。

次表示ピクチャ選択部４６により次に表示するピクチャデータが選択されると、映像データ読込部４７は、メモリ１２から、そのピクチャデータを読み込む。
出力部４８は、映像データ読込部４７により読み込まれたピクチャデータを表示部５１へ出力する。
また、出力部４８は、次表示ピクチャ選択部４６から不適切の通知を受けている場合、当該ピクチャデータに基づいて表示される字幕２４などの奥行きを調整し、表示部５１へ出力する。
表示部５１は、新たに入力されたピクチャデータを表示する。
これにより、表示部５１の表示は、間引き再生による立体動画が表示される。
また、表示部５１は、直前ピクチャ奥行き情報バッファ４５に記憶されている奥行き情報を、新たに表示した字幕２４などの奥行き情報により更新する。

以上の間引き再生処理により、表示部５１には、操作部１４の指示に基づいて間引きされた立体動画が表示される。

［奥行き（表示位置）調整動作］
図９は、次表示ピクチャについての立体映像化処理（奥行き調整処理）のフローチャートである。立体映像化処理は、適切な奥行き変化の映像が得られない場合などにおいて実行される。
立体映像化処理では、画像全体、表示物、字幕２４などの奥行きの変化量が所定値以下となるように、次表示ピクチャの表示位置についての奥行きを調整する。
出力部４８は、たとえば次表示ピクチャ選択部４６から不適切の通知を受けている場合、次に表示するピクチャデータに基づいて表示される字幕２４などの奥行き調整処理を実行する。
字幕２４などの奥行き調整処理において、出力部４８は、まず、直前表示ピクチャの奥行きから、一定量だけ標準の奥行きに近づけた値を次表示ピクチャの奥行きとする（ステップＳＴ３１）。一定量はたとえば８０％である。
出力部４８は、たとえば直前ピクチャ奥行き情報バッファ４５から直前表示ピクチャの奥行きを読み込み、当該次表示ピクチャに適用する奥行きを決定する。
また、標準の奥行きとは、たとえば表示部５１のスクリーン３１上である。
図２の字幕２４が前回表示した字幕２４である場合、出力部４８は、図２の視線交差位置よりスクリーン３１側に所定割合で寄った位置を、当該次表示ピクチャの奥行きとして決定する。

次に、出力部４８は、次表示ピクチャの字幕２４などの表示位置が、決定した奥行きの表示位置となるように、次表示ピクチャの表示位置を調整する（ステップＳＴ３２）。
図３の映像データ２１では、左目用ピクチャ２２と右目用ピクチャ２３との一対の画像により、立体視画像が形成される。
このため、出力部４８は、次表示ピクチャの左右いずれか一方の画像を、求めた表示位置の立体映像になるように調整する。
出力部４８は、たとえば左目用ピクチャ２２から、その表示位置を図２の視線の中心寄りにシフトさせたピクチャデータを生成し、この生成した左目用ピクチャ２２のデータを出力する。
なお、この立体映像化処理における表示位置の調整は、たとえば左目用ピクチャ２２または右目用ピクチャ２３を平面と仮定して画像全体の表示位置を調整すればよい。
また、立体映像化処理における表示位置の調整は、左目用ピクチャ２２および右目用ピクチャ２３により手前側に存在するように表示される表示物についてのスクリーンに対する表示位置の差を小さく調整してもよい。また、背景側に存在するように表示される表示物についてのスクリーンに対する表示位置の差を小さく調整したりしてもよい。また、複数の物体がある場合には、その中で最も手前側または最も奥側に表示される表示物の表示位置のみを調整するようにしてもよい。

［奥行き（表示位置）調整動作の具体例］
ここで、毎秒３０フレームで、１５フレーム毎にＩピクチャを含む映像データ２１のストリームを仮定する。Ｉピクチャは０．５秒毎に発生する。
この場合、４つのＩピクチャに１つの割合でＩピクチャを選択し、それぞれのＩピクチャを６フレーム時間分でホールド（フリーズ表示）すると、再生時間２秒分の映像を０．２秒で表示することになる。この場合の早送り速度は１０倍である。

ここで、本来のＩピクチャの１つとなりのＩピクチャを選択する場合を考える。
再生時間１．５秒分の映像を０．２秒で再生（ホールド）する場合は、７．５倍速となる。
再生時間２．５秒分の映像を０．２秒で再生（ホールド）する場合は、１２．５倍速となる。
これらの早送りの変動幅は、２５%である。
この場合、表示候補選択部４２は、本来のＩピクチャと前後のＩピクチャとを選択する。
また、次表示ピクチャ選択部４６、この３個のＩピクチャから１つを選択する。
出力部４８は、選択されたＩピクチャデータを出力する。
また、出力部４８は、０．２秒に次に選択されたＩピクチャデータを出力する。

なお、上述した例では、各Ｉピクチャのホールド時間は、０．２秒に固定されているが、調整されてもよい。
たとえば選択したＩピクチャが１．５秒の再生時間である場合には、ホールド時間を０．１５秒としてもよい。
また、選択したＩピクチャが２．５秒の再生時間である場合には、ホールド時間を０．２５秒としてもよい。
これにより、全体的な早送り速度が変動しないようにできる。

以上の奥行き（表示位置）調整処理により、第１実施形態の表示部５１には、間引き再生における表示位置の奥行き方向への変化が所定の基準値以下となる立体動画が表示される。
よって、第１実施形態では、間引き再生において表示される立体動画では、単に選択基準のピクチャデータを順番に選択した場合に比べて表示位置の奥行き方向への変化が抑えられ、画像全体、表示物、字幕２４などの奥行きの急激な変化が生じ難くなる。
また、間引き再生では、直前に選択したピクチャデータの表示位置を基準として、表示位置の奥行き方向への変化量が所定範囲に収まる画像を選択することができない場合がある。
第１実施形態では、このような場合であっても、実際に間引き再生において表示される画像においては、表示位置の奥行き方向への変化量を所定範囲に収めることができる。

特に、第１実施形態では、選択基準のピクチャデータの表示位置に対する奥行きの変化量が所定値以内である場合には、選択基準のピクチャデータを選択し、それ以外の場合に、その前後で奥行き方向への変化量が所定値以内になるピクチャデータを選択する。
選択基準のピクチャデータを優先的に選択し、かつ、選択基準のピクチャデータとの時間差が小さいものを優先的に選択する。
よって、奥行き方向への変化が所定値範囲内であれば、間引き再生での再生速度の変動は、必要最小限に抑えられる。

また、第１実施形態では、字幕２４に着目し、この字幕２４の奥行きに基づいて判断している。
字幕２４は、視聴者３２が短時間に読み取るために注視される画像の部分である。
そして、立体動画における字幕２４は、その周囲に表示される背景や表示オブジェクトに埋没して見えたり、浮き上がって見えたりすると、字幕２４に視点を合わせ難い。
このため、立体動画において、字幕２４は、通常はその周囲に表示される背景や表示オブジェクトの表面に表示されるように表示位置が調整されている。
字幕２４の奥行き情報は、一般的にこのような特徴を有する。
よって、第１実施形態では、間引き再生において字幕２４の表示位置情報に基づいて字幕２４などの奥行きが急激に変化しないようにすることで、画像中の注視される字幕２４およびその周囲の部分について、画像の表示位置の奥行き方向への急激な変化を抑えることができる。

［画像、字幕２４などの奥行き調整処理を含む具体的な間引き再生処理の例］
間引き再生処理では、次表示ピクチャ選択部４６は、インデックス情報に基づいてメモリ１２に記憶されている映像データ２１からＩピクチャのデータを選択する際に、再生方向および間引き再生速度にしたがってＩピクチャを間引いて選択する。
次表示ピクチャ選択部４６により次に表示するＩピクチャのデータが選択されると、映像データ読込部４７は、メモリ１２から、そのＩピクチャのデータを読み込む。
出力部４８は、映像データ読込部４７により読み込まれたピクチャデータを表示部５１へ出力する。
この際、出力部４８は、間引き再生における奥行き方向での画像の表示位置の急激な変化を抑制するために、適宜図９の立体映像化処理を実行する。
また、出力部４８は、基本的に、ピクチャデータが選択される度に、立体映像化処理の要否を判断することになる。

そして、このように出力部４８が、ピクチャデータが選択される度に図９の立体映像化処理の要否を判断した場合、間引き再生において連続的に表示される複数の画像は、本来の奥行きにより表示されるピクチャデータと、立体映像化されたピクチャデータとが混在する可能性がある。
また、たとえば奥行きが調整された画像と、調整されていない本来の画像とが頻繁に切り替わる可能性がある。
このように間引き再生において連続的に再生される画像が、立体映像化された画像と、本来の画像との間で頻繁に切り替わる場合、視聴者３２に違和感を与えてしまう可能性がある。

そこで、出力部４８は、あるピクチャデータについて立体映像化処理を実行した場合、その後の所定期間のピクチャデータについては、図１０の判断処理に基づいて立体映像化処理を制御する。
図１０は、立体映像化処理の実行を開始した後の所定期間での立体映像化処理の要否判断処理を示すフローチャートである。
すなわち、図１０は、立体映像化された画像が表示されている場合に、その表示中に実行される立体映像化の要否を判断する処理である。

図１０において、出力部４８は、まず、次表示ピクチャが本来の立体映像として適切であるか否かを判断する（ステップＳＴ４１）。
出力部４８は、たとえば最後に表示させた画像（字幕２４など）の奥行きと新たに選択した画像（字幕２４など）の表示位置についての奥行き差が所定値以下である場合には、適切であると判断し、それ以外の場合には適切でないと判断する。

ステップＳＴ４１において「いいえ」と判断した場合、出力部４８は、選択していた次表示ピクチャの表示位置について奥行きを調整し、表示部５１へ出力する（ステップＳＴ４３）。
出力部４８は、たとえば画像全体、表示物、字幕２４などの奥行きの変化量が所定値以下となるように、次表示ピクチャの表示位置についての奥行きを調整する。
以下、この処理を、次表示ピクチャの立体映像化処理とよぶ。
その後、出力部４８は、更に次表示ピクチャが本来の立体映像として適切であるか否かを判断する（ステップＳＴ４１）。
出力部４８は、次表示ピクチャが本来の立体映像として適切なものとなるまで、ステップＳＴ４１およびＳＴ４３によるループ処理を繰り返す。

これに対して、次表示ピクチャが本来の立体映像として適切であり、ステップＳＴ４１において「はい」と判断した場合、出力部４８は、ループ回数が一定以上であるか否かを判断する（ステップＳＴ４２）。
ここで、このループ回数は、図１０の処理を開始した後のステップＳＴ４３およびＳＴ４１によるループ処理の回数を意味する。
そして、このループ回数による一定期間が経過する前は、出力部４８は、ステップＳＴ４２においてＮｏ（いいえ）と判断する。
出力部４８は、選択していた次表示ピクチャの表示位置について奥行きを調整し、表示部５１へ出力する（ステップＳＴ４３）。
よって、出力部４８は、ループ回数が一定以上になる所定の期間が経過するまでは、次表示ピクチャが本来の立体映像として適切なものであるとしても、その次表示ピクチャを立体映像化して出力する。

また、ループ回数が一定以上となる一定期間が経過し、かつ、次表示ピクチャが本来の立体映像として適切なものである場合、出力部４８は、ステップＳＴ４２においてＹｅｓ（はい）と判断する。
出力部４８は、選択していた次表示ピクチャデータを、そのまま表示部５１へ出力する（ステップＳＴ４４）。
これにより、表示部５１には、映像データ２１における本来の表示位置でピクチャデータが表示される。

このように出力部４８は、立体映像化された画像の表示中では図１０の要否判断処理を実行する。
このため、間引き再生により表示される立体映像において、表示される画像が立体映像化された画像に切り替わると、その後の所定の期間においては、立体映像化された画像のみが表示され、本来の画像が表示されなくなる。
よって、表示される画像が、立体映像化された画像と、本来の画像との間で頻繁に切り替わらなくなる。
その結果、第１実施形態では、間引き再生において一旦、立体映像化された画像の表示が開始されると、その後の一定の期間では本来の立体映像に切り替わらなくなる。このため、第１実施形態では、立体映像化された画像と本来の画像とが頻繁に切り替わることによる違和感を抑制することができる。

［間引き再生状態から通常再生への直接的な切り替え動作］
間引き再生状態から通常再生への切り替え動作は、操作部１４が、間引き再生処理中に、再生機能が割り当てられた操作キーの操作に基づいて、通常速度での再生を制御部２０に指示することにより開始される。
制御部２０は、この指示の入力に基づいて、図５の間引き再生部４０に通常の再生を実行させる。

通常の再生では、次表示ピクチャ選択部４６は、メモリ１２に記憶されている映像データ２１から、ピクチャデータを順番に選択する。
次表示ピクチャ選択部４６は、間引き再生処理により最後に選択したピクチャデータの次のピクチャデータから選択を開始する。
次表示ピクチャ選択部４６により次に表示するピクチャデータが選択されると、映像データ読込部４７は、メモリ１２から、そのピクチャデータを読み込む。
出力部４８は、映像データ読込部４７により読み込まれたピクチャデータを表示部５１へ出力する。

この間引き再生状態から通常再生への直接的な切り替え動作において、出力部４８は、図１０に示す立体映像化処理の要否判断処理を実行してもよい。
出力部４８は、たとえば間引き再生終了時の表示画像が立体映像化されたものである場合には、図１０に示す立体映像化処理の要否判断処理を実行するとよい。

この再生の切替時の立体映像化処理の要否判断処理において、出力部４８は、まず、次表示ピクチャが本来の立体映像として適切であるか否かを判断する（ステップＳＴ４１）。
次表示ピクチャが適切である場合、出力部４８は、ループ回数が一定以上であるか否かを判断する（ステップＳＴ４２）。
ここで、ループ回数は、間引き再生から通常再生に切り替わった後のステップＳＴ４３およびＳＴ４１による判定回数を意味する。
よって、ループ回数は、当該処理を実行する期間を規定することになる。
そして、この一定期間が経過する前は、出力部４８は、ステップＳＴ４２においてＮｏ（いいえ）と判断する。

ステップＳＴ４１またはＳＴ４２においていいえと判断した場合、出力部４８は、通常再生による次表示ピクチャの表示位置について奥行きを調整し、表示部５１へ出力する（ステップＳＴ４３）。
出力部４８は、たとえば表示位置の変化量が所定値以下となるように、通常再生による次表示ピクチャの表示位置について奥行きを調整する。

間引き再生から通常再生へ切り替わってから一定期間が経過すると、出力部４８は、ステップＳＴ４２においてＹｅｓ（はい）と判断する。
出力部４８は、通常再生による次表示ピクチャデータを、そのまま表示部５１へ出力する（ステップＳＴ４４）。
これにより、表示部５１には、映像データ２１における本来の表示位置でピクチャデータが表示される。

以上の間引き再生から通常再生への切り替え動作により、第１実施形態では、通常再生への切り替え直後に表示される映像の表示位置が急激に変化しないようにすることができる。
第１実施形態では、間引き再生から通常再生への切り替えが指示された直後に、通常再生から間引き再生への切り替えが指示される場合であっても、当該短期間の通常再生においては間引き再生における奥行き調整が継続されている。
よって、第１実施形態では、一連の切り替えの期間において間引き再生における奥行き調整が継続的に実行される。
第１実施形態では、通常再生と間引き再生との間での切替が繰り返されることに起因する、画像、表示物、字幕２４などの奥行きの急激な変化が発生し難くなる。
なお、間引き再生状態から通常再生への切り替え動作は、後述する図１１の処理を経由する処理としてもよい。すなわち、「間引き再生」から「通常再生」へ直接に切り替わるのではなく、「間引き再生」から「一時停止」へ切り替わり、その後、「一時停止」から「通常再生」へ切り替わってもよい。これにより、「通常再生」では、その再生開始直後から、本来の立体画像が表示されるようになる。
また、この「一時停止」を経由して切り替える場合においても、図１０の立体映像化処理の要否判断処理を実行してもよい。

［間引き再生の一時停止状態から通常再生への切り替え動作］
間引き再生中に、操作部１４から一時停止（ポーズ）の指示が入力されると、制御部２０は、間引き再生機能を一時停止する。
これにより、出力部４８から表示部５１への新たなピクチャデータの出力が一時停止する。
表示部５１は、出力部４８から最後に出力されたピクチャデータによる立体静止画を表示する。
このような間引き再生の一時停止（ポーズ）の中に、操作部１４は、再生機能が割り当てられた操作キーの操作に基づいて、通常速度での再生を制御部２０に指示する。
制御部２０は、この指示の入力に基づいて、図５の間引き再生部４０に通常の再生を実行させる。

図１１は、間引き再生の一時停止から通常再生への切り替えの際の立体映像化処理（奥行き調整処理）を示すフローチャートである。
図１１の立体映像化処理（奥行き調整処理）は、たとえば間引き再生の一時停止時に立体映像化された画像を表示している場合に、出力部４８により実行される。
出力部４８は、まず、一時停止状態で表示中の立体映像化された画像の表示位置を、本来の表示位置に一定分だけ近づけた値を次表示ピクチャの奥行きとする（ステップＳＴ５１）。
出力部４８は、映像データ読込部４７により読み込まれていたピクチャデータの表示位置を新たな表示位置に調整し、表示部５１へ出力する。

次に、次表示ピクチャ選択部４６は、出力部４８により新たに出力されたピクチャデータの表示位置について、本来の表示位置との差が所定値内であるか否かを判断する（ステップＳＴ５２）。
本来の表示位置との奥行き差が所定値以内でない場合、出力部４８は、表示中の立体映像化された画像の表示位置を、本来の表示位置に一定分だけ近づけた値を演算し、次表示ピクチャの奥行きとする（ステップＳＴ５３）。
出力部４８は、映像データ読込部４７により読み込まれていたピクチャデータの表示位置を新たな表示位置に調整し、表示部５１へ出力する（ステップＳＴ５４）。
そして、本来の表示位置との奥行き差が所定値以内になると、次表示ピクチャ選択部４６は、ステップＳＴ５２において奥行き差が所定値以内であると判断する。
次表示ピクチャ選択部４６は、メモリ１２に記憶されている映像データ２１から、次に表示するピクチャデータを選択する（ステップＳＴ５５）。
次表示ピクチャ選択部４６により次に表示するピクチャデータが選択されると、映像データ読込部４７は、メモリ１２から、そのピクチャデータを読み込む。
出力部４８は、映像データ読込部４７により読み込まれたピクチャデータを表示部５１へ出力する。
この場合、出力部４８は、新たに読み込まれたピクチャデータについて立体映像化処理を実行しないで表示部５１へ出力する。

以上の間引き再生の一時停止状態から通常再生への切り替え動作により、通常再生への切り替えの際に映像の表示位置が急激に変化しないようにすることができる。
間引き再生用の画像データを表示部５１に一時停止表示している最中に、通常再生への切り替えが指示されたとしても、切り替えの前後において急激な奥行きの変化が生じないようにできる。

＜２．第２実施形態＞
［再生システム１の構成および選択動作］
第２実施形態の再生システム１の構成および動作は、第１実施形態のものと同様である。このため、第２実施形態の各部については、第１実施形態と同一の符号を使用し、その説明を省略する。
第２実施形態では、複数の候補ピクチャデータの表示位置についての奥行き変化および時間変動をスコア化し、スコアが最も小さいピクチャデータを選択する。

図１２は、本発明の第２実施形態における次表示ピクチャについての候補からの選択処理を示すフローチャートである。
次表示ピクチャ選択部４６は、メモリ１２に複数の候補ピクチャデータについての時刻差情報と字幕２４の奥行き情報とが記憶されると、次表示ピクチャ選択部４６は、次表示ピクチャを選択する。
次表示ピクチャ選択部４６は、まず、複数の候補ピクチャデータから、時間差または表示位置の奥行き差が各々の上限値を超えるものを候補から除外する（ステップＳＴ６１）。

時間差の上限値は、主観的な評価による調整された値にすればよい。時間差の上限値は、たとえば２５％とすればよい。
また、民生機器では早送り速度としてそもそも数段階の速度しかないので、時間差の上限値は、２５％といった固定値（固定割合）としなくてもよい。
早送り速度毎の時間差の上限値をテーブル化してもよい。
また、無段階で早送り速度を変更できる放送用機器などの高級機種では、たとえば下記の演算式により、時間差の上限値を演算してもよい。
１０倍速では約２５％、１００倍速では８％となる。
（時間差の上限式）
時間差の上限値（％） ＝ ８０÷（早送り速度）^１／２

表示位置の奥行き差の上限値は、主観的な評価による調整された値にすればよい。
表示位置の奥行き差の上限値は、たとえば視差角θの変化量における上限値として２度とすればよい。
映像データ２１のフォーマットによっては、表示位置の奥行き量から視差角θの変化量への換算が必要になる。

次に、次表示ピクチャ選択部４６は、残りの候補ピクチャデータについて、スコアを演算する（ステップＳＴ６２）。
次表示ピクチャ選択部４６は、速度の変化量と、奥行き感の変化量との各々に重みをつけて、スコアを演算する。
たとえば次表示ピクチャ選択部４６は、以下のスコアの演算式に基づいて各候補ピクチャのスコアを演算する。
（スコアの演算式）
ペナルティ ＝間引き再生速度の変化率（％）＋１０×［視差角θの変化量（度）］^２
たとえば早送り速度の変化率が０％、視差角θの変化量が１度である場合、ペナルティは１０になる。
早送り速度の変化率が１０％、視差角θの変化量が０．５度である場合、ペナルティは１２．５になる。
早送り速度の変化率が２５％、視差角θの変化量が０．１度である場合、ペナルティは２５．１になる。

次に、次表示ピクチャ選択部４６は、演算したスコアが最小のピクチャを選択する（ステップＳＴ６３）。
次表示ピクチャ選択部４６により次に表示するピクチャデータが選択されると、映像データ読込部４７は、メモリ１２から、そのピクチャデータを読み込む。
出力部４８は、映像データ読込部４７により読み込まれたピクチャデータを表示部５１へ出力する。
また、出力部４８は、次表示ピクチャ選択部４６から不適切の通知を受けている場合、ピクチャデータにおける画像、表示物、字幕２４などの表示位置を調整し、表示部５１へ出力する。
表示部５１は、新たに入力されたピクチャデータを表示する。
これにより、表示部５１の表示は、間引き再生による立体動画が表示される。
また、表示部５１は、直前ピクチャ奥行き情報バッファ４５に記憶されている奥行き情報を更新する。

第２実施形態では、間引き再生の指示速度からの変化量が上限値を超えるものと、表示位置の奥行きの変化量が上限値を超えるものとを除いた残りの画像について、これらの変化量を評価し、これらの変化量が最も少ないと評価される候補画像データを選択している。
よって、第２実施形態では、極端な再生速度の変動や極端な奥行き変化を生じないようにすることができ、しかも、間引き再生される立体動画として、再生速度の変動が少なく、かつ、表示位置の奥行きの変化がより滑らかな動画を得ることができる。

＜３．第３実施形態＞
［再生システム１の構成および選択動作］
第３実施形態の再生システム１の構成および動作は、第１実施形態のものと同様である。このため、第３実施形態の各部については、第１実施形態と同一の符号を使用し、その説明を省略する。
第３実施形態では、表示位置の奥行き変化が一定以下になる複数の候補ピクチャデータから、時間変動が最も少ないピクチャデータを選択する。

図１３は、本発明の第３実施形態における次表示ピクチャについての候補からの選択処理を示すフローチャートである。

次表示ピクチャ選択部４６は、メモリ１２に複数の候補ピクチャデータについての時刻差情報と字幕２４の奥行き情報とが記憶されると、次表示ピクチャ選択部４６は、次表示ピクチャを選択する。
次表示ピクチャ選択部４６は、まず、複数の候補ピクチャデータから、表示位置の奥行き差がその上限値を超えるものを候補から除外する（ステップＳＴ７１）。
次に、次表示ピクチャ選択部４６は、残りの候補ピクチャデータから、速度の変化量が最小になるピクチャを選択する（ステップＳＴ７２）。

次表示ピクチャ選択部４６により次に表示するピクチャデータが選択されると、映像データ読込部４７は、メモリ１２から、そのピクチャデータを読み込む。
出力部４８は、映像データ読込部４７により読み込まれたピクチャデータを表示部５１へ出力する。
また、出力部４８は、次表示ピクチャ選択部４６から不適切の通知を受けている場合、ピクチャデータにおける画像、表示物、字幕２４などの表示位置を調整し、表示部５１へ出力する。
表示部５１は、新たに入力されたピクチャデータを表示する。
これにより、表示部５１の表示は、間引き再生による立体動画が表示される。
また、表示部５１は、直前ピクチャ奥行き情報バッファ４５に記憶されている奥行き情報を更新する。

第３実施形態では、表示位置の奥行きの変化量が上限値を超えるものとを除いた残りの画像について、間引き再生速度の変化量が最小となる候補画像データを選択している。
よって、第３実施形態では、間引き再生される立体動画の表示位置について急激な奥行き変化を生じないようにできる。
しかも、第３実施形態では、間引き再生における再生速度の変動を必要最小限に抑えることができる。

以上の各実施形態は、本発明の好適な実施形態の例であるが、本発明は、これに限定されるものではなく、発明の要旨を逸脱しない範囲において種々の変形または変更が可能である。

たとえば上記実施形態では、表示装置３は、再生装置２と別体である。
この他にもたとえば、表示装置３は、再生装置２と一体化されていてもよい。

上記実施形態では、取得された映像データ２１は、立体再生用の映像データ２１である。
この他にもたとえば、映像データ２１は、平面再生用の映像データ２１であってもよい。
この場合、選択した映像データ２１から、立体再生用のピクチャデータを生成すればよい。

上記実施形態では、メモリ１２に記憶されている映像データ２１は、字幕２４についての奥行き情報を有する。
この他にもたとえば、メモリ１２に記憶されることになる映像データ２１には、字幕２４についての奥行き情報が無いものがある。
この場合、映像データ２１をメモリ１２に記録する際に、映像データの字幕２４についての奥行き情報を奥行き情報生成部により生成して、メモリ１２に記憶すればよい。また、奥行き情報読込部４４は、この記録時に生成された奥行き情報を取得すればよい。
または、奥行き情報読込部４４などが、間引き再生時または通常再生時に、字幕２４についての奥行き情報を生成してもよい。

上記実施形態では、字幕２４の表示位置についての奥行き情報に基づいて、奥行きを調整している。この他にもたとえば、映像データ２１に字幕２４などについての視差情報を持たせ、この視差情報に基づいて間引き再生時の奥行きを判断し、調整してもよい。

１…再生システム、２…再生装置（電子機器）、３…表示装置、１４…操作部、１８…ディスクドライブ（取得部）、１７…ネットワーク通信部（取得部）、２１…映像データ、２２…左目用ピクチャ（画像データ）、２３…右目用ピクチャ（画像データ）、２４…字幕、４６…次表示ピクチャ選択部（選択部）、４８…出力部（奥行き調整部）

Claims (15)

1. 立体画像を構成する左目用ピクチャと右目用ピクチャとが連続し、当該左目用ピクチャと当該右目用ピクチャとは視聴者が短時間で読み取るために注視される画像を含み、当該注視される画像の奥行き情報を含む、映像データであって、当該映像データに含まれるイントラピクチャの表示時刻、同一時刻に表示される他のピクチャおよび前記注視される画像のリンク情報を示すインデックスを含む、映像データを、早送り再生または巻き戻し再生して、立体映像を再生する電子機器であって、
   前記再生すべき映像データの選択、または、早送り再生、巻き戻し再生または通常再生または、再生速度のいずれかを指示する操作部と、
   前記操作部からの前記指示に応じて、前記立体画像を構成する映像データを取得する映像データ取得部と、
   前記操作部で指示された早送り再生、巻き戻し再生、または、通常再生に応じて、前記注視される画像のリンク情報を示すインデックスを参照して前記取得した映像データから、前記指示された再生に用いるイントラピクチャを選択する処理を反復して行う、選択部と、
   を具備し、
   前記選択部は前記操作部において早送り再生または巻き戻し再生が指示された場合、
   ａ．直前に表示に選択したピクチャと時刻差の少ない候補ピクチャを少なくとも１つ選択する処理、
   ｂ．前記選択した候補ピクチャの前記視聴者が短時間で読み取るために注視される画像の奥行きと、前記直前に表示に選択したピクチャの前記注視される画像の奥行きとの差が所定値以内である場合、前記直前に表示に選択したピクチャと時刻差の少ない候補ピクチャのうち時刻差の最も少ない候補ピクチャを次表示ピクチャとして選択する処理、
   ｃ．前記選択した候補ピクチャの前記視聴者が短時間で読み取るために注視される画像の奥行きと、前記直前に表示に選択したピクチャの前記注視される画像の奥行きとの差が所定値以内でない場合、前記選択した候補ピクチャの前記視聴者が短時間で読み取るために注視される画像の奥行きと、前記直前に表示に選択したピクチャの前記注視される画像の奥行きとの差が所定値以内である次の候補ピクチャを選択するため、残りの候補ピクチャについて、上記ａ，ｂ，ｃの処理を反復する処理を行なう、
   立体映像を再生する電子機器。
2. 前記選択部は、
   前記ａ，ｂ，ｃの処理からなる反復処理の各反復処理における画像データの選択において、前記操作部から指示された再生操作が早送り再生または巻き戻し再生である間引き再生の再生速度に対応して選択される選択基準の画像データと、当該選択基準の画像データの少なくとも前または後の画像データとを候補ピクチャとして選択し、
   当該複数の候補ピクチャから、前記直前に表示に選択された直前選択画像（ピクチャ）との間で表示位置の奥行き方向への変化が少ない画像データを選択する、
   請求項１に記載の電子機器。
3. 前記選択部は、
   前記ａ，ｂ，ｃの処理からなる反復処理の各反復処理における画像データの選択において、
   前記複数の候補ピクチャの各々についての、各候補ピクチャを選択した場合の前記操作部から指示された再生操作が早送り再生または巻き戻し再生である間引き再生の再生速度からの変化量と、前記直前に表示に選択された直前選択画像（ピクチャ）との間で表示位置の奥行き方向への変化量との評価に基づいて、前記複数の候補ピクチャから再生すべき画像データを選択する、
   請求項２に記載の電子機器。
4. 当該電子機器は、前記選択部において選択した候補ピクチャの視聴者が短時間で読み取るために注視される画像の奥行きと、直前に表示に使用したピクチャの前記視聴者が短時間で読み取るために注視される画像の奥行きとの差が所定値以内でない場合、直前に表示に使用したピクチャの奥行きから所定値だけ標準の奥行きに近づけた奥行きを次に表示に使用するピクチャの奥行きとする処理を行う、調整部を有する、
   請求項１〜３のいずれかに記載の電子機器。
5. 前記選択部は、
   前記操作部から指示された早送り再生または巻き戻し再生のための間引き再生から通常再生への切り替え、または、通常再生から前記間引き再生への切り替え指示に基づいて、立体動画再生用に取得された前記間引き再生の再生速度に対応して選択される選択基準の複数の画像データからの画像データの選択を、前記間引き再生のための選択と通常再生のための選択との間で切り替え、
   前記調整部は、
   前記操作部から指示された早送り再生または巻き戻し再生である間引き再生から前記通常再生への切り替え指示の時から所定の期間において、前記選択部が通常再生用に選択した前記画像データについて、画像の表示位置についての奥行き調整を継続する、
   請求項４に記載の電子機器。
6. 前記調整部は、
   前記操作部の指示による前記早送り再生または巻き戻し再生のための間引き再生に用いる画像データの一時停止表示中に、前記操作部から指示された通常再生への切り替え指示に基づいて、一時停止表示されている前記画像を、当該画像が表示されている表示位置が当該画像データの本来の表示位置に近づくように更新し、
   前記選択部は、
   前記一時停止表示されている前記画像の表示位置が本来の表示位置に近づいた場合に、通常再生用の画像データの選択を開始する、
   請求項４または５に記載の電子機器。
7. 前記選択部は、
   各前記候補画像データについての表示位置の変化量を、各前記画像データの画像について前記視聴者が短時間で読み取るために注視される画像の表示位置に基づいて判断する、
   請求項１から６のいずれか一項記載の電子機器。
8. 前記視聴者が短時間で読み取るために注視される画像は、字幕である、
   請求項７に記載の電子機器。
9. 前記選択部は、
   前記ａ，ｂ，ｃの処理からなる反復処理の各反復処理の画像データの選択において、 前記間引き再生の再生速度に対応して選択される選択基準の画像データについての奥行き方向における表示位置の変化量が所定値以内である場合には、前記選択基準の画像データを選択し、
   前記選択基準の画像データについての表示位置の変化量が前記所定値より大きい場合には、前記間引き再生の速度の変化量の小さい順番で残りの候補画像データについての表示位置の変化量を評価し、当該順番において最初に表示位置の変化量が所定値以内になる候補ピクチャを選択する、
   請求項３に記載の電子機器。
10. 前記選択部は、
    前記ａ，ｂ，ｃの処理からなる反復処理の各反復処理の画像データの選択において、 前記複数の候補ピクチャから、前記早送り再生または巻き戻し再生のための間引き再生の再生速度の変化量および奥行き方向における表示位置の変化量のいずれか一方が各々の上限値を超える画像データを除き、
    前記除いた残りの各候補画像データについて、前記間引き再生の再生速度の変化量と、表示位置の変化量に起因する視差角の変化量とを評価し、
    前記評価したこれらの変化量が最も少ないと評価される候補ピクチャを選択する
    請求項３に記載の電子機器。
11. 前記選択部は、
    前記ａ，ｂ，ｃの処理からなる反復処理の各反復処理の画像データの選択において、 前記複数の候補ピクチャから、奥行き方向における表示位置の変化量に起因する視差角の変化量が上限値を越える画像データを除き、
    前記除いた残りの候補ピクチャから、前記早送り再生または巻き戻し再生のための間引き再生の速度の変化量が最小となる候補画像データを選択する、
    請求項３に記載の電子機器。
12. 前記映像データは、ＭＰＥＧ方式で符号化されている、
    請求項１〜１１のいずれかに記載の電子機器。
13. 立体画像を構成する左目用ピクチャと右目用ピクチャとが連続し、当該左目用ピクチャと当該右目用ピクチャとは視聴者が短時間で読み取るために注視される画像を含み、当該注視される画像の奥行き情報を含む、映像データであって、当該映像データに含まれるイントラピクチャの表示時刻、同一時刻に表示される他のピクチャおよび前記注視される画像のリンク情報を示すインデックスを含む、映像データを、早送り再生または巻き戻し再生して、立体映像を再生する、画像再生システムであって、
    表示装置と、
    前記表示装置へ立体視用の動画を出力する再生装置と
    を具備し、
    当該再生装置は、
    前記再生すべき映像データの選択、または、早送り再生、巻き戻し再生または通常再生または、再生速度のいずれかを指示する操作部と、
    前記操作部からの前記指示に応じて、前記立体画像を構成する映像データを取得する映像データ取得部と、
    前記操作部で指示された早送り再生、巻き戻し再生、または、通常再生に応じて、前記注視される画像のリンク情報を示すインデックスを参照して前記取得した映像データから、前記指示された再生に用いるイントラピクチャを選択する処理を反復して行う、選択部と、
    を具備し、
    前記選択部は前記操作部において早送り再生または巻き戻し再生が指示された場合、
    ａ．直前に表示に選択したピクチャと時刻差の少ない候補ピクチャを少なくとも１つ選択する処理、
    ｂ．前記選択した候補ピクチャの前記視聴者が短時間で読み取るために注視される画像の奥行きと、前記直前に表示に選択したピクチャの前記注視される画像の奥行きとの差が所定値以内である場合、前記直前に表示に選択したピクチャと時刻差の少ない候補ピクチャのうち時刻差の最も少ない候補ピクチャを次表示ピクチャとして選択する処理、
    ｃ．前記選択した候補ピクチャの前記視聴者が短時間で読み取るために注視される画像の奥行きと、前記直前に表示に選択したピクチャの前記注視される画像の奥行きとの差が所定値以内でない場合、前記選択した候補ピクチャの前記視聴者が短時間で読み取るために注視される画像の奥行きと、前記直前に表示に選択したピクチャの前記注視される画像の奥行きとの差が所定値以内である次の候補ピクチャを選択するため、残りの候補ピクチャについて、上記ａ，ｂ，ｃの処理を反復する処理を行なう、
    立体映像を再生する、画像再生システム。
14. 立体画像を構成する左目用ピクチャと右目用ピクチャとが連続し、当該左目用ピクチャと当該右目用ピクチャとは視聴者が短時間で読み取るために注視される画像を含み、当該注視される画像の奥行き情報を含む、映像データであって、当該映像データに含まれるイントラピクチャの表示時刻、同一時刻に表示される他のピクチャおよび前記注視される画像のリンク情報を示すインデックスを含む、映像データを、早送り再生または巻き戻し再生して、立体映像を再生する電子機器を用いた画像再生方法であって、
    前記再生すべき映像データの選択、または、早送り再生、巻き戻し再生または通常再生または、再生速度のいずれかを指示する操作部による前記指示に応じて、前記立体画像を構成する映像データを取得するステップと、
    前記操作部で指示された早送り再生、巻き戻し再生、または、通常再生に応じて、前記注視される画像のリンク情報を示すインデックスを参照して前記取得した映像データから、前記指示された再生に用いるイントラピクチャを選択する処理を反復して行う、選択ステップと、
    を有し、
    前記選択ステップにおいて、前記操作部において早送り再生または巻き戻し再生が指示された場合、
    ａ．直前に表示に選択したピクチャと時刻差の少ない候補ピクチャを少なくとも１つ選択する処理、
    ｂ．前記選択した候補ピクチャの前記視聴者が短時間で読み取るために注視される画像の奥行きと、前記直前に表示に選択したピクチャの前記注視される画像の奥行きとの差が所定値以内である場合、前記直前に表示に選択したピクチャと時刻差の少ない候補ピクチャのうち時刻差の最も少ない候補ピクチャを次表示ピクチャとして選択する処理、
    ｃ．前記選択した候補ピクチャの前記視聴者が短時間で読み取るために注視される画像の奥行きと、前記直前に表示に選択したピクチャの前記注視される画像の奥行きとの差が所定値以内でない場合、前記選択した候補ピクチャの前記視聴者が短時間で読み取るために注視される画像の奥行きと、前記直前に表示に選択したピクチャの前記注視される画像の奥行きとの差が所定値以内である次の候補ピクチャを選択するため、残りの候補ピクチャについて、上記ａ，ｂ，ｃの処理を反復する処理を行なう、
    立体映像を再生する電子機器を用いた画像再生方法。
15. 映像データを早送り再生または巻き戻し再生して立体映像を再生する処理をコンピュータにおいて実行される、画像再生プログラムであって、
    再生すべき前記映像データは、画像立体画像を構成する左目用ピクチャと右目用ピクチャとが連続し、当該左目用ピクチャと当該右目用ピクチャとは視聴者が短時間で読み取るために注視される画像を含み、当該注視される画像の奥行き情報を含む、映像データであって、当該映像データに含まれるイントラピクチャの表示時刻、同一時刻に表示される他のピクチャおよび前記注視される画像のリンク情報を示すインデックスを含み、
    当該プログラムは、
    前記再生すべき映像データの選択、または、早送り再生、巻き戻し再生または通常再生または、再生速度のいずれかを指示する操作部による前記指示に応じて、前記立体画像を構成する映像データを取得する手順と、
    前記操作部で指示された早送り再生、巻き戻し再生、または、通常再生に応じて、前記注視される画像のリンク情報を示すインデックスを参照して前記取得した映像データから、前記指示された再生に用いるイントラピクチャを選択する処理を反復して行う、選択手順と、
    を有し、
    前記選択手順において、
    前記操作部において早送り再生または巻き戻し再生が指示された場合、
    ａ．直前に表示に選択したピクチャと時刻差の少ない候補ピクチャを少なくとも１つ選択する処理、
    ｂ．前記選択した候補ピクチャの前記視聴者が短時間で読み取るために注視される画像の奥行きと、前記直前に表示に選択したピクチャの前記注視される画像の奥行きとの差が所定値以内である場合、前記直前に表示に選択したピクチャと時刻差の少ない候補ピクチャのうち時刻差の最も少ない候補ピクチャを次表示ピクチャとして選択する処理、
    ｃ．前記選択した候補ピクチャの前記視聴者が短時間で読み取るために注視される画像の奥行きと、前記直前に表示に選択したピクチャの前記注視される画像の奥行きとの差が所定値以内でない場合、前記選択した候補ピクチャの前記視聴者が短時間で読み取るために注視される画像の奥行きと、前記直前に表示に選択したピクチャの前記注視される画像の奥行きとの差が所定値以内である次の候補ピクチャを選択するため、残りの候補ピクチャについて、上記ａ，ｂ，ｃの処理を反復する処理を行なう、
    画像再生プログラム。

Images