JP5115151B2 - 情報提示装置及び情報提示方法 - Google Patents

Description

本発明は、例えば複数の表示装置を利用して情報を提示するのに好適な情報提示装置及び情報提示方法に関する。

従来、表示装置等で再生中の映像等から情報を効率よく取得しようとする場合、早回しでの再生等が行われる。早回しで再生することにより、単位時間内に取得可能な情報量を増やすことができるためである。ところが、早回しで再生した映像を視聴する場合には、ユーザ（視聴者）は必要な情報を取り逃すことも多い。

情報を取り逃してしまった場合には、再生位置を巻き戻す操作をすればよいが、取り逃しの度に巻き戻す操作を行う必要があり、手間がかかるという問題があった。また、このような操作は、かえって情報の取得効率を落としてしまうことになり兼ねない。

このため、再生する映像において、動きの多い場面では再生速度を落とし、動きの少ない場面では再生速度を上げるといったように、映像の特徴に応じて再生速度を自動的に調整することも行われている。

例えば特許文献１には、音声を含む映像の中の視覚的な特徴を検出し、この特徴に応じ自動的に再生速度を調整しながら、映像を再生することについて記載されている。
特開平１０−２４３３５１号公報

ところで、特許文献１に記載の手法では、動きの多い場面であっても映像の再生速度を上げて再生したい等のユーザのニーズには、応えることができないという問題があった。つまり、ユーザが映像の再生速度を落としたり上げたりしたい場面は、ユーザのそれぞれが置かれた状態やユーザの能力、嗜好によって異なるものであり、映像中の特徴に基づく調整のみでは、ユーザの多様なニーズに合った情報提供を行うことはできないという問題があった。

さらに、ユーザの状態や能力や嗜好に合わせて情報提供の量を最適化するには、まずユーザの状態や能力を計測する必要があるが、このようなデータの計測には、脳波計や心電図、ＮＩＲＳ（Near-Infrared Spectroscopy）等の大掛かりな装置を用いなければならない。すなわちコストがかさんでしまうため、情報提示システムの実現が難しい場合が多かった。

このような装置を用いずに、ユーザの状態や能力、嗜好等の内部状態を取得するには、これらの情報をユーザに自己申告させるという手法も考えられる。しかし、キー入力などの煩雑な操作をユーザに行わせるとなると、ユーザにかかる負担は増大し、そのことがかえって、ユーザの効率的な情報取得の妨げとなってしまうことが予想される。

本発明はかかる点に鑑みてなされたものであり、容易な手法で、ユーザに提供する情報の量を適応的に調整することを目的とする。

本発明は、再生速度が所定の速度に設定された映像から、文字情報を含む画像を抽出して複数の表示部のうちの第１の表示部に出力する文字情報抽出部と、与えられた変数に基づいて入力映像の再生速度を変換して、文字情報抽出部と第１の表示部以外の表示部に出力する再生速度変換部と、ユーザの視線の位置を検出する視線検出部で検出された視線の位置の変化に基づいて映像の再生速度を決定し、決定した再生速度に応じた変数を再生速度変換部に出力する再生速度決定部とを備え、再生速度変換部は、ユーザの視線の位置が、第１の表示部から他の表示部に移動した場合、映像の再生速度を遅くする変数を出力する。

ここでいう文字情報には、文字だけでなく図形等の情報も含まれる。

このようにしたことで、ユーザが視聴中の画面で文字情報を見逃してしまった場合などに、文字情報を確認しようとして視線を他の画面に移動させると、その移動が検出されて、映像の再生速度が調整されるようになる。

本発明によると、ユーザの視線の動きに応じて映像の再生速度が変更されるため、ユーザに提供される情報の量が適応的に調整されるようになる。

以下、本発明一実施の形態の例を、添付図面を参照して説明する。本実施の形態におけるシステムの構成例を、図１に示してある。図１に示したシステムは、画像や映像等を例えば２倍速等の再生速度で再生する再生装置１と、再生映像を表示する表示装置２Ｌ，２Ｒと、ユーザＵの視線Ｌ１の位置をユーザＵの目の位置によって検出する視線検出装置３とで構成される。表示装置２Ｌ，２Ｒ及び視線検出装置３は、ケーブル４によって再生装置１と接続してある。

表示装置２Ｌと２Ｒは横一列に並べて配置してあり、ユーザＵは、表示装置２Ｌと２Ｒの両画面の真ん中の位置で、どちらの画面に表示される映像も視聴可能な状態としてある。そして視線検出装置３で、ユーザＵが表示装置２Ｌと２Ｒのどちらの画面を視聴しているかの情報を取得できるようにしてある。

視線検出装置３は、ユーザＵの視線Ｌ１の位置を検出し、検出した結果を視線情報として再生装置１に送出する。視線検出装置３はユーザＵの視線Ｌ１の位置を検出する装置であり、例えばユーザＵと対面する位置等、ユーザＵの視線Ｌ１を検出しやすい位置に配置してある。

なお、本例においては、視線検出装置３として据え置き型の装置を用いるようにしたが、ユーザＵに着用させるタイプの視線検出用の眼鏡を用いるようにしてもよい。もしくは、遠方に設置した監視カメラによってユーザＵの視線Ｌ１の位置を検出させるようにしてもよい。もしくは、ユーザＵが映像視聴時に座る椅子として回転型の椅子を用いるようにし、その椅子に、座面の角度を取得可能なセンサを埋め込むことによってユーザＵの体の向きを検出し、検出した体の向きを視線方向と推定するようにしてもよい。又は、リモートコントロール装置等を用いて、ユーザＵに見ている画面を申告してもらうことにより、視線の向き情報を取得するようにしてもよい。

図１において、ユーザＵから見て左側に配置された表示装置２Ｌには、後述する再生装置１内の蓄積部３０から読み出した映像を表示してあるが、ユーザＵから見て右側に配置された表示装置２Ｒには、蓄積部３０から読み出した映像のうち、テロップが存在する画像のみを抽出して表示させてある。テロップとは、画面に表示された映像に挿入された文字や図形等を指す。

このような構成において、ユーザＵは、視聴中の表示装置２Ｌの画面に表示されたテロップを見落としてしまった場合には、テロップの情報が表示される表示装置２Ｒに視線を移動させるようになる。ユーザＵがテロップを読み切れなかったという状況は、映像の再生速度がユーザＵの情報取得能力に対して速すぎた、つまりユーザＵに対して提供される情報の量が多すぎた場合等に起こるものと想定される。反対に、ユーザＵの視線Ｌ１が左側の画面上に留まっている場合には、ユーザＵに対する情報の提供量が適切であるか、もしくは少ないということが想定される。

本例では、ユーザＵの視線Ｌ１が、テロップのみを表示する表示装置２Ｒ側に移動した場合には映像の再生速度を下げ、映像を表示している表示装置２Ｌ側に留まっている場合には映像の再生速度を上げるようにしてある。このような処理を行うことにより、ユーザＵに提供する情報（文字情報）の量を適応的に調整することができるようになる。

次に、システムの内部構成例について図２に示すブロック図を参照して説明する。再生装置１には、映像入力部１０と、符号化・復号処理部２０と、蓄積部３０と、再生速度決定部４０と、再生速度変換部５０と、情報処理部６０と、文字情報抽出部としてのテロップ抽出部８１とが含まれる。図２において、蓄積部３０に記録される記録映像は破線で示してあり、表示装置２Ｌ，２Ｒ上に再生される再生映像は一点鎖線で、データは実線で示してある。

映像入力部１０は、入力端子等を介して再生装置１内に映像信号を取り込み、信号レベルの変換処理を行う。符号化・復号処理部２０は、映像入力部１０から入力された映像信号を符号化し、記録映像として蓄積部３０に出力する処理を行う。又、蓄積部３０に蓄積された圧縮映像データを読み出して復号し、再生速度変換部５０に出力する処理を行う。符号化のレートは、映像入力部１０から入力された映像のフレームレートと同一のレートを用いるものとし、復号は、再生速度決定部４０から送信される再生速度Ｖｋ（単位：倍速）に基づいて行うようにしてある。そして再生速度変換部５０においては、現在の（その時点での）再生速度Ｖを、再生速度決定部４０から出力された再生速度Ｖｋに変換する処理が行われる。蓄積部３０は、例えばＨＤＤ（Hard Disc Drive）で構成してあり、符号化・復号処理部２０で符号化された映像を蓄積する。

再生速度決定部４０は、現在の再生速度Ｖを早めるための変数Ｐｉｎｃと、現在の再生速度Ｖを遅くするための変数Ｐｄｅｃを有しており、視線検出装置３から送信された視線情報の内容に応じて、変数Ｐｉｎｃと変数Ｐｄｅｃのいずれを適用するかを決定する。Ｐｉｎｃの値は、１より大きい値であればいずれの値でもよく、Ｐｄｅｃの値は、０より大きく１より小さい値であればいずれの値でもよい。本例では、変数Ｐｉｎｃとしては例えば１．２、変数Ｐｄｅｃとしては例えば０．８等の数値を用いるものとする。再生速度決定部４０は、いずれかの変数を現在の再生速度Ｖに乗算することで、再生速度Ｖｋを算出する。そして、算出した再生速度Ｖｋを、再生速度変換部５０に出力する。再生速度決定部４０の処理の詳細については、後述する。

再生速度変換部５０は、映像処理部５１と音声処理部５２とで構成される。映像処理部５１は、符号化・復号処理部２０から出力された映像の再生速度Ｖが、再生速度決定部４０から入力される再生速度Ｖｋになるように、再生速度を変換する処理を行う。そして再生速度が変換された映像を、情報処理部６０に供給する。音声処理部５２は、音声信号のうち無音の部分や音声的な特徴が連続した部分は削除する等の手法で、ピッチを変えることなく再生速度を変換する処理を行う。音声の再生速度変換の具体的な処理については、一例として特開２０００−９９０９７号公報に記載がある。再生速度変換部５０（映像処理部５１）の処理の詳細については後述する。

情報処理部６０は、映像中に含まれるテロップを抽出するテロップ抽出部６１を備える。情報処理部６０は、再生速度変換部５０から入力された映像と音声を２つに分岐させ、分岐させた一方を表示装置２Ｌに直接出力するとともに、分岐させたもう一方は、テロップ抽出部６１に出力する。テロップ抽出部６１は表示装置２Ｒと接続させてあり、テロップ抽出部６１で抽出したテロップを含む映像は、表示装置２Ｒに出力される。テロップ抽出部６１の処理の詳細については後述する。

次に、図３のフローチャートを参照して、再生速度決定部４０の処理の例について説明する。再生速度決定部４０の処理は、視線検出装置３から視線情報が入力される毎に行われるものであり、視線検出装置３における視線情報出力の周期は、ユーザＵが例えば１秒間隔等の任意の周期に設定可能であるものとする。図３において再生速度決定部４０は、視線検出装置３から送信された視線情報に基づいて、ユーザＵの視線Ｌ１が、左側に配置された表示装置２Ｌの画面上にあるか否かの判断を行う（ステップＳ１）。ユーザＵの視線Ｌ１が表示装置２Ｌの画面上にあると判断された場合には、その時点での再生速度Ｖに変数Ｐｉｎｃを乗算して再生速度Ｖｋを算出する（ステップＳ２）。Ｐｉｎｃが例えば１．２であり、再生速度Ｖが１倍速であった場合には、再生速度Ｖｋは１．２×１＝１．２倍速となる。つまり、ユーザＵの視線Ｌ１が表示装置２Ｌ上に留まっている場合には、ユーザＵの情報取得の能力にまだ余裕があると判断して、再生速度を早くする処理が行われる。なお、再生速度Ｖが１倍速の場合とは、蓄積部３０に記録された映像のフレームレートを保ったまま再生を行っている場合をいう。

ステップＳ１で、ユーザＵの視線Ｌ１が、左側に配置された表示装置２Ｌの画面上にはないと判断された場合にはステップＳ３に進み、視線Ｌ１が右側に配置された表示装置２Ｒの画面に移動したか否かの判断が行われる。視線検出装置３から出力される視線情報は、図示せぬメモリ等に履歴として記憶させてあるものとし、ここでは、視線検出装置３から出力された視線情報と、視線情報の履歴情報とを比較することにより、ユーザＵの視線Ｌ１の位置が前回の視線位置と比べて変化したか否かを判断する。前回の視線Ｌ１も右側の画面上にあった場合には“Ｎｏ”が選択され、処理は終了となる。

前回の視線Ｌ１の位置は表示装置２Ｌ上にあり、今回の視線Ｌ１の位置が表示装置２Ｒ上にある場合は、視線Ｌ１が右側の画面に移動したことを意味するため、ステップＳ３では“Ｙｅｓ”が選択される。そして次のステップＳ４で、その時点での再生速度Ｖに変数Ｐｄｅｃを乗算して再生速度Ｖｋを算出する処理が行われる。Ｐｄｅｃが０．８であり、その時点での再生速度Ｖが１倍速であった場合には、再生速度Ｖｋは０．８（Ｐｄｅｃ）×１（Ｖ）＝０．８倍速となる。ユーザＵの視線Ｌ１が右側に移動したということは、ユーザＵがテロップの見落としをしていると判断できる。つまり、ユーザＵは、情報の取得に対して余裕がない状況であるため、再生速度Ｖを遅くしてユーザＵに提供される情報の量を減らす処理が行われる。

次に、図４を参照して、再生速度変換部５０の処理例について説明する。図４（ａ）には、再生速度変換部５０に入力されるフレームを、時系列に左から順に並べた状態を示してあり、図４（ｂ）には、再生速度変換部５０から出力される各フレームを、同じく時系列に左から順に並べた状態を示してある。図４では、それぞれのフレームにｆ１〜ｆｎ（ｎは自然数）のフレーム番号を付与してある。

再生速度変換部５０に入力されるフレーム数は、再生速度Ｖｋ×ブロックサイズＢで求められる。ブロックサイズＢは、再生速度変換部５０のルーチンが実施される時間の間隔Ｔに、蓄積部３０に蓄積された映像のフレームレートｆｒを乗算することで算出される。例えば再生速度変換部５０のルーチンが実施される時間の間隔Ｔが１秒であり、蓄積部３０に蓄積された映像のフレームレートｆｒが３０ｆｐｓであった場合には、ブロックサイズＢは、１（Ｔ）×３０（Ｂ）＝３０（フレーム）となる。そして、再生速度Ｖｋが３であった場合には、再生速度変換部５０に入力されるフレーム数は、３０×３＝９０（フレーム）となる。

再生速度変換部５０に入力されるフレーム数とは、つまり符号化・復号処理部２０が蓄積部３０から抽出したフレーム数である。符号化・復号処理部２０は、再生速度決定部４０から入力された再生速度Ｖｋと、蓄積部３０に記録された映像のフレームレートｆｒと、再生速度変換部５０のルーチンが実施される時間の間隔Ｔを基に、蓄積部３０から抽出するフレーム数を算出する。そして、算出したフレーム数分だけ蓄積部３０からフレームを抽出して再生速度変換部５０に出力する。

図４（ａ）には、再生速度変換部５０に９０フレームの映像が入力された例を示してある。再生速度変換部５０では、取得したフレームをブロックサイズＢ以内に収めるよう、一定のサンプリング間隔でフレームを間引くことによって、再生速度の変換を行う。たとえばブロックサイズＢが３０である場合には、取得した９０フレームを３フレーム単位で間引いて、３０フレームとする処理を行う。図４（ｂ）には、３０フレームに間引きされた後のフレームを示してあり、間引きされた３０フレームが、符号化・復号処理部２０から入力されたフレームの中の、フレーム番号ｆ１、ｆ４、ｆ７、ｆ１０…ｆ８８で構成されていることを示してある。図４に示した例においては、このような処理を行うことにより、再生速度を３倍としている。この手法は、複雑な構成を用いることなく実現可能であるため、この手法を用いることでハードウェアの規模を抑えることができるようになる。

なお、図４に示した例では、符号化・復号処理部２０から入力されたフレームを一定のサンプリング間隔で間引くことによって、再生速度の変換を行う場合を示したが、フレームレート自体を変換することにより再生速度を変換するようにしてもよい。例えば、図５（ａ）に示した９０フレームのフレームレートを、３０ｆｐｓから９０ｆｐｓに変換することにより、図５（ｂ）に示したように、９０ｆｐｓのフレームレートの映像を９０フレーム分出力するようにしてもよい。このように処理することで、入力されたフレームのすべてが出力されるようになるため、出力映像におけるちらつきが少なくなり、高品質の映像を得ることができる。

もしくは、符号化・復号処理部２０から入力されたフレームのうち、情報量の多いフレームのみを抽出して再生用のフレームとすることで、速度変換を行うようにしてもよい。この場合の処理例を図６のフローチャートに示してある。図６に示した処理は、１秒間隔で行われるものとする（つまり、Ｔ＝１）。まず、符号化・復号処理部２０によって、再生速度Ｖｋ×ブロックサイズＢ分のフレームが蓄積部３０から取得され（ステップＳ２１）、次にフレーム番号ｆｘ（ｘは１からｎの間の所定の数を示す）のフレームにおいて、注目画素とその隣接画素との画素値の差を算出した上で、隣接画素との画素値の差が閾値Ｔｈ以上になる画素の総数Ｓｉを算出する（ステップＳ２２）。つまり、符号化・復号処理部２０から入力されたすべてのフレームにおいて、上述した画素の総数Ｓｉが算出されるようになる。

ステップＳ２１では、例えば再生速度Ｖｋが１．５、ブロックサイズが３０の場合には、１．５×４０＝４５フレームが取得される。よって、ステップＳ２２で処理されるフレーム番号は、ｆ１〜ｆ４５となる。ステップＳ２２で用いる閾値Ｔｈとしては、例えば５０等の数値を設定するものとする。

ステップＳ２２の処理は、ステップＳ２１で取得したすべてのフレームに対して行われるものであり、ステップＳ２３では、取得したすべてのフレームの処理が完了したか否かの判断を行う。すべてのフレームにおいて処理が完了したと判断された場合には、次に、隣接画素との画素値の差が閾値Ｔｈ以上になる画素の総数Ｓｉの大きいフレームをブロックサイズ分だけ抽出し、フレーム番号順に出力する処理を行う（ステップＳ２４）。

図７に、このような処理を行った場合の例を示してある。図７（ａ）には、再生速度変換部５０に入力された４５フレームを、フレーム番号の若い順に左から並べた状態を示してある。この４５フレームの中から、隣接画素との画素値の差が閾値Ｔｈ以上になる画素の総数であるＳｉが大きいフレームを、ブロックサイズである３０フレーム分だけ抽出し、フレーム番号順に並べた状態を、図７（ｂ）に示してある。図７（ｂ）には、再生速度変換部５０から出力される３０フレームが、フレーム番号ｆ２，ｆ３，ｆ５，ｆ７，ｆ９，ｆ１０…ｆ２５で構成されていることを示してある。

つまり、図６及び図７に示した方法によれば、情報量の多いフレームのみを抽出することにより、再生速度を早める（図６、図７の例では１．５倍）ことができる。またこのような処理によれば、入力フレームのうち、テロップ等の文字情報が多く含まれる可能性が高いフレームを残すことができるため、速度変換処理によって、ユーザが必要とする情報を削除してしまうようなことがなくなる。これにより、ユーザＵは効率的に情報を取得することができるようになる。

次に、図８を参照して、テロップ抽出部６１の処理の例について説明する。テロップ抽出部６１の処理は、映像を構成する各フレームがテロップ抽出部６１に入力される度に行われるものとする。図８において、テロップ抽出部６１はまず、入力されたフレームにおいて、注目画素とその隣接画素との画素値の差を算出した上で、隣接画素との画素値の差が閾値ｄｔｈ以上になる画素の総数Ｓを算出する（ステップＳ１１）。画素値を８ビット（２５６階調）で表現している場合には、閾値ｄｔｈとしては、例えば１００等の値を設定しておく。

次のステップＳ１２では、ステップＳ１１で算出した画素の総数Ｓが、閾値Ｓｔｈより大きいか否かの判断がされる。閾値Ｓｔｈは、１フレームを構成する総画素数の１０％程度の値を設定しておく。フレームのサイズが例えば７２０画素×４８０画素であった場合には、Ｓｔｈ=７２０×４８０×１０％＝３４５６０（画素）となる。なお、閾値ｄｈや閾値Ｓｔｈの値は、任意の値に設定可能であるものとする。

ステップＳ１１で算出された画素の総数Ｓが閾値Ｓｔｈより大きいと判断された場合には、入力されたフレームにはテロップが含まれていると判断し（ステップＳ１３）、表示装置２Ｒに出力するフレームを、入力された新しいフレームで上書きして出力する（ステップＳ１４）。

テロップ抽出部６１は、図示せぬメモリ等にフレームを蓄積しておき、入力されたフレームにおいてテロップが検出されるまでの間は、蓄積されたフレームを出力し続けるようにしてある。そしてステップＳ１４において、入力されたフレームにテロップが含まれると判断された場合には、蓄積されていたフレームが入力されたフレームで上書きされることにより、上書きされたフレーム（＝入力フレーム）が表示装置２Ｒに出力されるようになる。このようにすることにより、次の新しいテロップが検出されるまでの間は、表示装置２Ｒには古いテロップが表示されたままとなる。

ステップＳ１２で、画素の総数Ｓが閾値Ｓｔｈ以下であると判断された場合には、入力されたフレームにはテロップは含まれていないと判断し（ステップＳ１５）、前回出力したフレーム、つまり蓄積されているフレームをそのまま出力する（ステップＳ１６）。このような処理を行うことにより、テロップ抽出部６１に接続された表示装置２Ｒには、入力された映像のうちテロップを含む映像のみが表示されるようになる。一方表示装置２Ｌには、再生速度変換部５０から出力された映像が、テロップ抽出部６１を通さずにそのまま表示される。

なお、この例では、入力されたフレームにおいて、注目画素とその隣接画素との画素値の差を算出した上で、隣接画素との画素値の差が閾値ｄｔｈ以上になる画素の総数Ｓを算出することによって、テロップの有無を判断するように構成してあるが、この例に限られるものではない。例えば、映像等のコンテンツに付属されたメタデータに、表示画面の例えば下側１／５の領域はテロップを表示する領域であることを示す情報を記述しておき、テロップ抽出部６１（又は映像処理部５１）がこの情報を解析してテロップの有無を判断するようにしてもよい。このようにした場合には、映像中の当該領域に文字や図形等の情報がないときでも、テロップありと判断して表示装置２Ｒにテロップを含む映像を表示しておくことができる。また、メタデータを解析することによってコンテンツのシーン単位などでテロップの有無を判断できるようになれば、フレーム単位でテロップの有無を判断する必要がなくなる。さらに、入力された映像信号から表示画面の下側１／５の領域に相当する映像信号を抽出して表示装置２Ｒに出力することにより、表示装置２Ｒの画面にテロップだけを簡単に表示させることができる。

以上説明した本実施の形態の構成及び処理によると、ユーザＵに対して左側に配置された表示装置２Ｌ上には、蓄積部３０（図２参照）から読み出した映像が表示され、ユーザＵに対して右側に配置された表示装置２Ｒ上には、蓄積部３０から読み出された映像のうち、テロップを含む映像のみが表示される。このためユーザＵは、表示装置２Ｌの画面でテロップを見逃がしてしまった場合、図９に示したように、隣の表示装置２Ｒの画面に視線Ｌ１を移すことで、再びテロップを確認することができるようになる。

また、ユーザＵの視線Ｌ１が右側の表示装置２Ｒ上に移動した場合には、ユーザＵにおいて情報の取り逃しがあったものと推定して、表示装置２Ｌと２Ｒの両画面に表示する映像の再生速度Ｖを落とすようにしたため、単位時間内にユーザＵに提示されている情報の量が少なくなる。つまり、ユーザＵに提供される情報の量が、ユーザＵの情報取得能力に適したものに近づくようになる。

また、ユーザＵの視線Ｌ１が表示装置２Ｌの画面上に留まっている場合には、表示装置２Ｌと２Ｒの両画面に表示する映像の再生速度Ｖを上げるようにしてある。このため、ユーザＵによる情報の取り逃がしが発生していないような、ユーザＵの情報取得にまだ余裕がある状態では、単位時間内でユーザＵに提示される情報の量が増えるようになる。よって、ユーザＵに提供される情報の量が、ユーザＵの情報取得能力に適したものに近づくようになる。

また、ユーザＵの視線Ｌ１の動きで映像の提示量を調整する構成としてあるため、ユーザＵが自らの内部状態を通知するための特別な操作を行う必要が無くなる。よって、ユーザＵは、表示部２Ｌまたは２Ｒから提供される情報の取得に集中することができる。

なお、上述した実施の形態では、ユーザＵの視線Ｌ１が、映像を表示している側の画面上に一定の時間留まっている場合には、ユーザＵの情報取得にまだ余裕があるものとみなして映像の再生速度を上げる構成としてあるが、ユーザＵの視線Ｌ１が一定の時間特定の画面上に留まっている場合には再生速度を変えない構成としてもよい。

また、上述した実施の形態では、ユーザＵに対して左側の表示装置に映像を表示させ、右側の表示装置にテロップを含む映像のみを表示させるようにしたが、左右逆の構成としてもよい。つまり、ユーザＵに対して右側の表示装置に通常の映像を表示させ、左側の表示装置に、テロップを含む映像のみを表示させるようにしてもよい。

また、上述した実施の形態では、表示装置２Ｒにテロップが含む映像を表示させるようにしたが、テロップを含む情報であれば、動画であっても静止画であってもよい。もしくは、テロップのみを文字情報として画面全体もしくは画面の一部に表示させるようにしてもよい。

また、上述した実施の形態では、フレーム単位でテロップの有無を判断する例を挙げたが、複数のフレームにまたがるテロップを１つの意味のあるまとまりとみなして、テロップのあるまとまり分を巻き戻して表示装置２Ｒに表示させる構成に適用してもよい。このような構成にすれば、映像（時間の流れ）に合わせてテロップが一文字ずつ又はあるまとまり毎に表示される場合や、１つの長い文章がテロップとして画面の左側から右側等に移動するような場合にも、ユーザＵは表示装置２Ｒに視線Ｌ１を移すことで、見逃したテロップの内容を再度確認することができるようになる。

図１０に、この場合のテロップ抽出部６１の処理の例をフローチャートで示してある。図１０においてテロップ抽出部６１は、まず入力されたフレームにおいて、注目画素とその隣接画素との画素値の差を算出した上で、隣接画素との画素値の差が閾値ｄｔｈ以上になる画素の総数Ｓを算出する（ステップＳ２１）。ここで設定する閾値ｄｔｈの値は、図８における閾値ｄｔｈと同じ値（１００等）とする。次に、ステップＳ１１で算出した画素の総数Ｓが、閾値Ｓｔｈより大きいか否かの判断を行う（ステップＳ２２）。閾値Ｓｔｈの値も、図８における閾値Ｓｔｈと同じ値とする。よって、１フレームを構成する総画素数の１０％程度の値に設定しておく。ここまでは、図８のステップＳ１１〜１２と同じ処理を行っている。つまり、入力フレームにテロップが含まれているか否かの判断を、そのテロップが移動しているか否かを問わず行っている。

画素の総数Ｓが閾値Ｓｔｈ以下であると判断された場合には、入力されたフレームにはテロップは含まれていないと判断し（ステップＳ２３）、前回出力したフレーム、つまり蓄積されているフレームをそのまま出力する（ステップＳ２４）。画素の総数Ｓが閾値Ｓｔｈより大きいと判断された場合には、入力されたフレームにはテロップが含まれていると判断し（ステップＳ２５）、次に、入力フレームにおいて、隣接画素との画素値の差分がＴｔｈ以上になる画素を抽出する処理を行う（ステップＳ２６）。ここでは、画像中からエッジと思われる部分のみを抽出する処理を行っている。よって閾値Ｔｔｈの値としては、８０等の値を用いるようにする。

次に、ステップＳ２６で抽出された画素のみで構成される画像において、その下３分の１の領域を対象としてブロックマッチングによる動き検出を行い、動きベクトルを算出する（ステップＳ２７）。ここで、ブロックマッチングを行う対象を画像の下３分の１の領域に限定しているのは、この領域を、移動する形態のテロップの出現が予測される領域と設定しているためである。移動する形態のテロップは画面の下端に表示される場合が多いため、本例では、画像の下３分の１の領域をテロップの出現予測領域として設定している。なお、移動型テロップの出現予測領域として、画像の下３分の１以外の領域を設定するようにしてもよい。

そして、算出した動きベクトルの向きが、左向きであるか否かの判断を行う（ステップＳ２８）。動きベクトルの向きが右向きであった場合には、出力するフレームを入力されたフレームで更新して出力する処理を行う（ステップＳ２９）。通常、移動する形態のテロップは画面の右から左方向に移動するため、このようなテロップを含む画像であれば、検出される動きベクトルの向きも左向きとなるはずである。動きベクトルの方向が右向きであるということは、入力フレーム中に、移動型のテロップを構成する画素は含まれていないと判断できる。このため、テロップのひとまとまり分を抽出する処理は行わず、入力されたフレームを順次出力するようにしてある。

動きベクトルの向きが左向きであった場合には、次に、算出した動きベクトルの大きさと、過去Ｎフレームにおける動きベクトルの大きさとの差異が１０％以内であるか否かの判断を行う（ステップＳ３０）。ここでは、両方の動きベクトルにおける大きさの差異の度合いに基づいて、ステップＳ２６で抽出した画素で構成されるテロップの移動速度が、等速であるか否かの判断を行っている。

算出した動きベクトルの大きさと、過去Ｎフレームにおける動きベクトルの大きさとの差異が１０％以内であった場合には、テロップは等速移動しているものと判定する。そして、出力フレームを入力フレームで更新する間隔Ｔｆとして、（画面の横幅／動きベクトルのノルム）で求められる値を設定する（ステップＳ３１）。テロップ出現予測領域における動きベクトルを求めることで、１フレーム単位でのテロップの移動量が分かる。つまり、（画面の横幅／動きベクトルのノルム）で算出される値は、テロップが表示画面の右から左までの間を移動する時間となる。よってその時間間隔で、表示装置２Ｒの画面に表示させる画像を更新するようにしている。

次に、前回更新時、つまり出力フレームを入力フレームで更新して出力した時点から更新間隔Ｔｆが経過しているか否かの判断を行い（ステップＳ３２）、Ｔｆが経過している場合には、この時点で出力フレームを入力フレームで更新して出力する処理が行われる（ステップＳ２９）。更新間隔Ｔｆが経過していない場合には、処理がここで終了となる。このような処理を行うことにより、テロップの移動速度に応じて設定された更新間隔Ｔｆが経過する毎に、表示画面２Ｒに表示される画像（フレーム）が更新されるようになる。つまり、移動するタイプのテロップのひとまとまり分が、静止画像として表示装置２Ｒの画面上に表示されるようになる。

ステップＳ３０で、算出した動きベクトルの大きさと、過去Ｎフレームにおける動きベクトルの大きさとの差異が１０％より大きいと判断された場合には、ステップＳ２９に進み、出力するフレームを入力されたフレームで更新して出力する処理が行われる。つまり、この場合は、テロップは等速移動していないと判断されるため、テロップのひとまとまり分を抽出する処理は行わず、入力フレームを順次出力するようにする。

図１１に、表示装置２Ｒに表示される画面が、更新間隔Ｔｆ毎に更新される場合の表示例を示してある。図１１（ａ）には、表示装置２Ｌにおける画面表示の遷移の例を示してあり、図１１（ｂ）には、表示装置２Ｒにおける画面表示の遷移の例を示してある。図１１（ａ）には、表示装置２Ｌにおいて、テロップが右から左の方向に移動している様子を示してあり、一番上に示した画面、中央に示した画面、一番下に示した画面の順に、時間が経過している様子を示してある。図１１（ａ）の上段の画面には、「ＡＢＣＤＥＦＧＨＩＪＫＬＭＮＯ」という文字列で構成されるテロップのうち、「ＡＢＣＤＥ」の部分が表示されており、中段の画面には「ＦＧＨＩＪ」の部分が表示されており、下段の画面には「ＫＬＭＮＯ」の部分が示されている。

「ＡＢＣＤＥＦＧＨＩＪＫＬＭＮＯ」のテロップは、等速で移動しているものとすると、図１０のステップＳ３１、Ｓ３２、Ｓ２９の処理が行われる。これらの処理が行われることにより、表示装置２Ｒに表示される画像（テロップ）は、図１１（ｂ）に示したもののようになる。

図１０のステップＳ３１では、テロップが画面の右から左まで移動するまでの時間が更新間隔Ｔｆとして設定される。そしてステップＳ３２で、前回更新時から更新期間Ｔｆが経過したと判断された場合には、ステップＳ３０の判断で“Ｙｅｓ”が選択された入力フレームが、出力されるようになる。ここで出力されるフレームは、テロップの「ＡＢＣＤＥ」部分含むフレームとなるため、表示装置２Ｒでの表示は、図１１（ｂ）の上段に示したようになる。つまり、「ＡＢＣＤＥ」のテロップを含むフレーム（静止画像）が表示されるようになる。表示装置２Ｒでの表示の更新は、更新間隔Ｔｆ毎に行われる。よって、例えばテロップを構成する文字「Ａ」が画面の右端に出現してから、画面左端に移動して、図１１（ａ）に示したように「ＡＢＣＤＥ」が表示されるまでの間は、表示装置２Ｒの画面上に表示されるテロップは更新されない。

図１１（ｂ）の上段に示した画面が表示された時刻から更新間隔Ｔｆが経過すると、表示装置２Ｒの画面には図１１（ｂ）の中段に示したように「ＦＧＨＩＪ」のテロップを含む静止画が表示される。そして、図１１（ｂ）の中段に示した画面が表示された時刻から更新間隔Ｔｆが経過すると、表示装置２Ｒの画面には図１１（ｂ）の下段に示したように「ＫＬＭＮＯ」のテロップを含む静止画が表示される。

このような処理を行うことにより、画面上を移動する形態のテロップであっても、テロップのひとかたまり分が、ユーザの右側に設置した表示装置２Ｒに静止画像として再表示されるようになる。よってユーザは、表示装置２Ｌの画面上でテロップを見逃した場合にも、表示装置２Ｒ側に視線Ｌ１を移動させることで、見逃したテロップを再度確認することができるようになる。

なお、移動するタイプのテロップを表示装置２Ｒに再表示させる場合は、表示装置２Ｒの画面の表示内容が更新される頻度が高くなることが想定される。このため、図１２（ｂ）に示したように、複数のテロップ画像を合成して、１つの画像にテロップをリスト状に表示するようにしてもよい。この場合は、テロップ抽出部６１において、まずテロップが表示されている画面下段の領域を切り出す処理を行う。そして、更新間隔Ｔｆが経過する毎に、切り出した帯状の領域を画面上方に移動させ、新たに切り取られた帯状の領域を、移動させた領域の下の領域に並べて表示するようにする。

このような処理を行うことにより、図１２（ｂ）の上段の画面に示された「ＡＢＣＤＥ」のテロップが、更新間隔Ｔｆ経過後には、図１２（ｂ）の中段に示されたように、画面の中央部分に移動し、その下の領域に、新たに「ＦＧＨＩＪ」のテロップが表示されるようになる。図１２（ｂ）に示した状態からさらに更新間隔Ｔｆが経過すると、図１２（ｃ）に示したように、画面の上段には「ＡＢＣＤＥ」が表示され、中段には「ＦＧＨＩＪ」が表示され、下段には「ＫＬＭＮＯ」が表示されるようになる。

このような表示形態とすることで、表示装置２Ｒの画面上にテロップが長期間表示されるようになり、ユーザによるテロップの再確認が、より行いやすくなる。

また、上述した実施の形態では、表示装置２を横一列に並べた例を挙げたが、縦一列や斜め方向に一列等、他の形態で配列するようにしてもよい。

また、上述した実施の形態では、表示装置２を２台用いた例を挙げたが、３台や４台等の他の台数で情報提示装置を構成するようにしてもよい。

また、上述した実施の形態では、表示装置２を複数台用いた構成を例に挙げて説明したが、一台の表示装置２の画面を複数の表示領域に分割し、分割した各表示領域に対して映像を出力するようにしてもよい。

本発明の一実施の形態によるシステムの構成例を示す説明図である。 本発明の一実施の形態によるシステムの内部構成例を示すブロック図である。 本発明の一実施の形態による再生速度決定部の処理例を示すフローチャートである。 本発明の一実施の形態による再生速度変換部の処理例を示す説明図であり、（ａ）は入力フレームを示し、（ｂ）は出力フレームを示す。 本発明の一実施の形態による再生速度変換部の別の処理例を示す説明図であり、（ａ）は入力フレームを示し、（ｂ）は出力フレームを示す。 本発明の一実施の形態による情報の多いフレームを残す場合の処理例を示すフローチャートである。 本発明の一実施の形態による再生速度変換部の別の処理例を示す説明図であり、（ａ）は入力フレームを示し、（ｂ）は出力フレームを示す。 本発明の一実施の形態によるテロップ抽出部の処理例を示すフローチャートである。 本発明の一実施の形態によるテロップ確認時の動作の例を示す模式図である。 本発明の一実施の他の例によるテロップ抽出部の処理の例を示すフローチャートである。 本発明の一実施の他の例によるテロップの表示例を示す説明図である。 本発明の一実施の他の例によるテロップリストによるテロップの表示例を示す説明図である。

符号の説明

１…再生装置、２Ｌ、２Ｒ…表示装置、３…視線検出装置、１０…映像入力部、２０…符号化・復号処理部、３０…蓄積部、４０…再生速度決定部、５０…再生速度変換部、６…情報処理部、６１…テロップ抽出部

Claims (11)

1. 再生速度が所定の速度に設定された映像から、文字情報を含む映像を抽出して複数の表示部のうちの第１の表示部に出力する文字情報抽出部と、
   与えられた変数に基づいて入力映像の再生速度を変換して、前記文字情報抽出部と前記第１の表示部以外の表示部に出力する再生速度変換部と、
   ユーザの視線の位置を検出する視線検出部で検出された視線の位置の変化に基づいて前記映像の再生速度を決定し、前記決定した再生速度に応じた変数を前記再生速度変換部に出力する再生速度決定部とを備え、
   前記再生速度変換部は、前記ユーザの視線の位置が、前記第１の表示部から他の表示部に移動した場合、前記映像の再生速度を遅くする変数を出力する
   情報提示装置。
2. 請求項１記載の情報提示装置において、
   前記再生速度決定部は、前記視線検出部で検出された視線の位置が、前記他の表示部の画面上に留まっている場合、前記映像の再生速度を早くする変数を出力する
   情報提示装置。
3. 請求項１記載の情報提示装置において、
   前記再生速度決定部は、前記視線検出部で検出された視線の位置が、前記他の表示部の画面上に留まっている場合、前記映像の再生速度を変更しない
   情報提示装置。
4. 請求項１記載の情報提示装置において、
   前記文字情報抽出部は、入力される映像の各フレームにおいて、隣接画素との画素値の差が所定の値以上となる画素の総数を算出し、前記算出した総数が所定の値より大きい場合に、前記入力された映像に文字情報が含まれていると判断する
   情報提示装置。
5. 請求項４記載の情報提示装置において、
   前記文字情報抽出部は、
   前記入力された映像に文字情報が含まれている場合は、前記文字情報が所定の方向に所定の速度で移動しているか否かを判断し、前記文字情報が所定の方向に所定の速度で移動していると判断した場合には、前記文字情報の移動速度に応じて、前記文字情報を含む映像を前記表示部に出力する時間間隔を変化させる
   情報提示装置。
6. 請求項５記載の情報提示装置において、
   前記文字情報抽出部は、前記文字情報を含む映像を前記表示部に出力する周期を、前記表示部の画面の幅を前記文字情報の移動速度で除算して得られる値に設定する
   情報提示装置。
7. 請求項１記載の情報提示装置において、
   前記再生速度変換部は、前記入力映像を構成するフレームを所定の間隔で間引くことにより前記映像の再生速度を変換する
   情報提示装置。
8. 請求項１記載の情報提示装置において、
   前記再生速度変換部は、前記入力映像のフレームレートを変えることにより前記映像の再生速度を変換する
   情報提示装置。
9. 請求項１記載の情報提示装置において、
   前記再生速度変換部は、前記入力映像の各フレームにおける、隣接画素との画素値の差が所定の値以上となる画素の総数を算出し、前記算出した総数が大きいフレームから順番に所定フレーム数出力することにより、前記映像の再生速度を変換する
   情報提示装置。
10. 請求項１記載の情報提示装置において、
    前記表示部は、一つの画面を複数の領域に分割した場合の、分割されたそれぞれの領域である
    情報提示装置。
11. 再生速度が所定の速度に設定された映像から、文字情報を含む映像を抽出して複数の表示部のうちの第１の表示部に出力する手順と、
    与えられた変数に基づいて入力映像の再生速度を変換して、前記第１の表示部以外の表示部に出力する手順と、
    ユーザの視線の位置を検出する視線検出部で検出された視線の位置が、前記第１の表示部から他の表示部に移動した場合、前記映像の再生速度を遅くする変数を出力する手順とを備えた
    情報提示方法。

Images