JP6154531B1 - 表示装置、表示方法、及び表示プログラム - Google Patents

Abstract

【課題】ユーザ投稿情報の判読性を向上させながら、表示装置のリソース負荷の低減を図ることができる表示装置を提供すること。【解決手段】画像又は映像とユーザ投稿情報を表示可能な表示装置１４１であって、表示装置１４１の変位状態を検知する検知部１４３と、検知部１４３の検知結果に基づいてユーザ投稿情報の表示状態の補正を行う補正部１４４と、補正部１４４により補正されたユーザ投稿情報と、画像又は映像を重ね合わせて表示を行う表示部１４６を有する表示装置１４１である。【選択図】図１

Description

本発明は、ユーザ投稿情報を表示する表示装置、表示方法、及び表示プログラムに関する。

表示装置の傾きや振動などを検知して、その検知した信号に基づいて画面表示を補正することで、表示の傾きや振動によるブレを抑制し視認性を向上する方法が知られている。

しかし、画面表示全体を補正するためには計算負荷がかかるため、補正のために表示装置のリソースを多く消費する。

そこで特許文献１では、表示対象の大きさに応じて、例えば文字などが大きい場合にはブレ等の影響を受けにくいものとして補正を行わない制御を行うことで、表示装置のリソースの消費を抑制可能な技術が提案されている。

特開２０１２−１１８２１１号公報

しかしながら、表示対象が、画像や動画と文字を含む場合には、画像や動画は文字に比べてデータ量が多いため、その補正を行うには装置のリソースを多く消費する。

また、画像や動画と、ユーザ投稿情報などの文字情報を比較した場合、文字情報は傾きやブレによる影響により判読性が低下しやすい。

そのため、本発明では、表示装置のリソース負荷を抑えつつ、主に文字情報からなるユーザ投稿情報について、傾きやブレを補正し、ユーザ投稿情報の判読性を向上させることができる表示装置、表示方法、及び表示プログラムを提供することを目的とする。

第１の態様は、画像又は映像とユーザ投稿情報を表示可能な表示装置であって、表示装置の傾き及び／又はブレ状態を検知する検知部と、検知部の検知結果に基づいてユーザ投稿情報の表示状態の補正を行う補正部と、補正部により補正されたユーザ投稿情報と、画像又は映像を重ね合わせて表示を行う表示部とを有し、補正部は、傾き状態及び／又はブレ状態が所定の状態以上となる場合、表示装置に表示するユーザ投稿情報の量を増減させる表示装置である。

また、第２の態様は、第１の態様において、ユーザ投稿情報と重ね合わせられる画像又は映像は、検知部の検知結果に基づく表示位置の補正を行わない表示装置である。

また、第３の態様は、第１又は第２の態様において、表示状態の補正は、傾き状態を打ち消す動作である表示装置である。

また、第４の態様は、第１から第３のいずれかの態様において、表示状態の補正は、ブレ状態を軽減する動作である表示装置である。

また、第５の態様は、第１から第４のいずれかの態様において、ユーザ投稿情報は、表示装置の表示領域においてスクロールして表示される表示装置である。

また、第６の態様は、第１から第５のいずれかの態様において、検知部の検知結果に基づいて、ユーザ投稿情報の表示の有無を切り替える表示装置である。

また、第７の態様は、第１から第５のいずれかの態様において、ユーザ投稿情報は、画像又は動画に対するコメントである表示装置である。

また、第８の態様は、表示装置に、画像又は映像とユーザ投稿情報を表示する表示方法であって、検知部が、表示装置の傾き及び／又はブレ状態を検知する検知工程と、補正部が、検知工程の検知結果に基づいてユーザ投稿情報の表示位置の補正を行う補正工程と、表示部が、補正工程により補正されたユーザ投稿情報と、画像又は映像を表示装置に重ね合わせて表示を行う表示工程とを有する表示方法であって、補正部は、傾き状態及び／又はブレ状態が、所定の状態以上となる場合、表示装置に表示するユーザ投稿情報の量を増減させる表示方法である。

また、第９の態様は、表示装置に、画像又は映像とユーザ投稿情報を表示する表示プログラムであって、検知部が、表示装置の傾き及び／又はブレ状態を検知する検知工程と、補正部が、検知工程の検知結果に基づいてユーザ投稿情報の表示状態の補正を行う補正工程と、表示部が、補正工程により補正されたユーザ投稿情報と、画像又は映像を前記表示装置に重ね合わせて表示を行う表示工程とを電子計算機に実行させるための表示プログラムであって、傾き状態及び／又はブレ状態が、所定の状態以上となる場合、表示装置に表示するユーザ投稿情報の量を増減させる表示プログラムである。

上述の表示装置、表示方法、及び表示プログラムによれば、ユーザ投稿情報の判読性を向上させながら、表示装置のリソース負荷の低減を図ることができる。

実施形態に係る表示システムの構成を示す概略ブロック図である。 第１の実施形態に係る表示装置の傾きに応じた表示状態について説明するための図である。 第１の実施形態に係る表示装置の傾きに応じた表示状態について説明するための図である。 第１の実施形態に係る表示装置のブレに応じた表示状態について説明するための図である。 第１の実施形態に係る表示装置の動作について説明するためのフローチャートである。 第２の実施形態に係る表示装置のブレに応じた表示状態について説明するための図である。 第２の実施形態に係る表示装置の動作について説明するためのフローチャートである。 実施形態に係るコンピュータの構成を示す概略ブロック図である。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

（第１の実施形態）
＜構成＞
まず、図１を用いて本実施形態におけるユーザ投稿情報の表示を行う表示装置１４１を含む、表示システム１の構成及びその概要について説明する。なお、図１は、本実施形態の表示システム１のブロック図である。

本実施形態の表示システム１は、図１に示すように、動画配信サーバ１１１と、ユーザ投稿情報配信サーバ１２１と、表示装置１４１とが、例えばインターネットなどのネットワーク１３１に接続可能に構成されている。

動画配信サーバ１１１は、動画データを生成し、生成した動画データを所定のプロトコルによって複数の表示装置１４１に対してネットワーク１３１を介して配信する。動画配信サーバ１１１によって配信される動画データは、予め生成し保存されている動画データであっても良いし、生中継の映像を随時エンコードすることによって生成される動画データであっても良い。後者の場合、動画データはリアルタイムに視聴者に配信される。

ユーザ投稿情報配信サーバ１２１は、動画データに対して投稿されたユーザ投稿情報を、動画の配信を受けている表示装置１４１に、動画データに同期して配信する。ユーザ投稿情報は動画配信を受けている表示装置１４１から投稿されたものでも構わない。ユーザ投稿情報は、動画データに対する突っ込みや感想などのコメントであり、テキスト情報や、アイコンやスタンプ等の図形である。動画配信サーバ１１１と、ユーザ投稿情報配信サーバ１２１は、１つの装置やプロセッサで構成されていてもよいし、複数の装置やプロセッサで構成されていてもよい。さらに、動画配信サーバ１１１とユーザ投稿情報配信サーバ１２１は、物理的に一体の装置として構成されていてもよい。

次に、表示装置１４１の構成と動作について説明する。表示装置１４１は、スマートフォン、携帯電話、ＰＨＳ、コンピュータ、ゲーム装置、ＰＤＡ、携帯型ゲーム機、腕時計、スマートウォッチ、ヘッドマウントディスプレイ、画像生成装置等の情報処理装置であり、インターネット（ＷＡＮ）、ＬＡＮなどのネットワーク１３１を介して動画配信サーバ１１１やユーザ投稿情報配信サーバ１２１に接続可能な装置である。なお、表示装置１４１、動画配信サーバ１１１およびユーザ投稿情報配信サーバ１２１間の通信回線は、有線でもよいし無線でもよい。

また、表示装置１４１は、インストールされた専用のアプリケーションソフトウェアによって動画配信サーバ１１１やユーザ投稿情報配信サーバ１２１にアクセスしてもよい。また、動画配信サーバ１１１やユーザ投稿情報配信サーバ１２１、別途サーバが提供する動作環境（ＡＰＩ（アプリケーションプログラミングインタフェース）、プラットフォーム等）を利用して動画配信サーバ１１１やユーザ投稿情報配信サーバ１２１にアクセスしてもよい。

表示装置１４１は、通信部１４２と、検知部１４３と、補正部１４４と、制御部１４５と、表示部１４６とを備える。

通信部１４２は、ネットワーク１３１を介して動画配信サーバ１１１、ユーザ投稿情報配信サーバ１２１や他の表示装置１４１等と通信を行う通信インタフェースである。通信部１４２は、例えば動画配信サーバ１１１から配信される動画データを受信する。また、通信部１４２は、ユーザ投稿情報配信サーバ１２１から、ユーザ投稿情報の受信を行う。

検知部１４３は、重力センサとジャイロセンサと加速度センサ等から構成され、表示装置１４１の傾きや振動を検知し、検知情報として補正部１４４への出力を行う。各センサから出力された電圧等のアナログ値を検知部１４３内のＡ／Ｄコンバータでデジタル値に変換し、検知情報として補正部１４４への出力を行う。各センサとＡ／Ｄコンバータがモジュールとして一体化していても構わない。尚、検知部１４３は表示装置１４１の変位を検知できるものであれば他の種類のセンサを用いても構わない。

補正部１４４は、検知部１４３からの検知情報に基づいて、表示装置１４１の傾き状態やブレ状態の判別を行う。ブレ状態の判別は、加速度センサからの検知情報が周期的な変位をしていることや、その周波数成分が高いこと等から判別し、ブレが生じていることを判別する。そのため、表示装置１４１を一方向にゆっくりと移動させるような場合にはブレとしての判別は行わない。

また、補正部１４４は、傾き状態やブレ状態を補正するための補正値の演算を行う。例えば、検知情報から、重力方向を基準として、表示装置１４１に傾きが１５度生じていると認識することにより、表示部１４６に傾きが１５度生じていると算出する。そのため、その傾きを打ち消すように−１５度の角度を演算し、傾きにより生じる表示位置のずれを演算する。角度とずれの演算結果から、傾き補正値を演算する。演算は、表示画面の中心である表示領域基準を中心座標として、例えば回転行列を用いた座標変換により行う。また、ブレの場合には、表示部１４６の変位を打ち消す補正値を演算する。例えば、加速度センサからの検知情報により、Ｘ方向に１ｍｍの変位、Ｙ方向に０．５ｍｍの変位があったとされた場合、表示画面の中心である表示領域基準に対して表示位置をＸ方向に−１ｍｍ、Ｙ方向に−０．５ｍｍずらして表示するためのブレ補正値を演算する。これらの演算は、後述する表示部１４６でユーザ投稿情報が表示される際の表示のフレームレートの時間単位で行う。また、フレームレート以下の短時間内で演算を行った場合には、フレームレートの時間単位での積分値として各補正値を出力してもよい。また、傾き状態やブレ状態の補正の演算において、表示画面の中心である表示領域基準以外の任意の点を、中心座標や基準座標として使用してもよい。

さらに、補正部１４４は、制御部１４５から送信されるユーザ投稿情報の表示情報に、傾きや位置の変位を演算した補正値を加えて制御部１４５に送信する。

制御部１４５は、通信部１４２が受信したユーザ投稿情報を補正部１４４に送信する。そして、制御部１４５は、補正部１４４から、補正値が加えられた表示情報を含むユーザ投稿情報を受信する。制御部１４５は、補正されたユーザ投稿情報に、通信部１４２が受信した動画データを重畳した表示データを生成し、表示部１４６へ送信する。

表示部１４６は、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ等である。表示部１４６は、制御部１４５によって生成された動画データ及びユーザ投稿情報からなる表示データを表示する。

＜動作＞
本発明の第１の実施形態に係る表示装置１４１の表示状態について、図２から図４を用いて説明する。図２および図３は表示装置１４１に傾きが生じた場合の動作について示し、図４は表示装置１４１にブレが生じた場合の動作について示す。

図２（ａ）は、表示装置１４１に傾きが生じていない状態の表示装置１４１の表示画面１５１に動画とユーザ投稿情報が表示されている状態を示している。表示画面１５１は横長の状態である。表示画面１５１の中心である表示領域基準１５２は、演算上で使用する基準を図面に記している。又、図２（ａ）は、表示されている風景の動画に対して、この表示装置１４１のユーザや、他の表示装置等のユーザが投稿したユーザ投稿情報が、動画に重畳して表示される。ユーザ投稿情報は表示画面の右から左に流れるようにスクロールして表示される。図の下方が重力方向である。

図２（ｂ）は、表示装置１４１が重力方向下方に対して、左側に傾けた場合の状態を示している。ユーザ投稿情報は、表示装置１４１の傾きに対して、傾きを打ち消す方向に傾けて補正された状態で表示される。結果として、ユーザ投稿情報は、ユーザから見ると傾かず、重力方向に対して水平を維持して表示される。それに対して、動画は、表示装置１４１の傾きに従い、傾いて表示される。

傾きの状態により、傾き前の表示領域と傾き後の表示領域の差異が現れる。具体的には、図２（ｂ）において、領域Ａ、領域Ｂ、領域Ｃ，領域Ｄは、傾き前の表示領域に対して、ユーザ投稿情報を表示可能な領域として、新たに面積が増加している。領域Ｅ、領域Ｆ，領域Ｇ、領域Ｈは、傾き後にはユーザ投稿情報の表示可能な領域としては消失している。

図２（ｃ）は、図２（ｂ）から表示装置１４１の傾きが元に戻った状態である。動画及びユーザ投稿情報は時間の経過により左方向にスクロールし位置が変化しているが、ユーザ投稿情報の表示領域は、図２（ａ）の状態に戻る。

次に、図２における、ユーザ投稿情報の表示状態の代表的な動作について説明する。ユーザ投稿情報のうち、画面の上方に表示されている「いい景色だね〜」は図２（ａ）の状態では、左にスクロールをしても、まだ表示される領域にあるが、図２（ｂ）の状態では、表示が領域Ｅにかかるため、表示の一部が欠損する。しかし、図２（ｃ）の状態となることで、表示位置はスクロールしながら、再びすべてのユーザ投稿情報が表示される。

図２（ｂ）において、領域Ａは、傾き前の表示領域に対してユーザ投稿情報が表示可能な領域となった部分であり、この領域にユーザ投稿情報を表示することができる。そのため、表示装置１４１は、傾き状態に応じて、顔のマークのユーザ投稿情報を、表示対象のユーザ投稿情報として追加し、増加させることができる。顔のマークのユーザ投稿情報は、領域Ａに追加表示される。顔のマークのユーザ投稿情報は、左方向へスクロールされる。表示装置１４１の傾きが戻り、図２（ｃ）の状態になると、表示装置１４１は、傾き状態に応じて処理がなされ、表示されていた顔のマークのユーザ投稿情報は、表示対象のユーザ投稿情報から減じられ表示されない。領域Ｂも同様に、表示装置１４１は、図２（ｂ）の状態では、ユーザ投稿情報を追加表示し、図２（ｃ）の状態では追加されたユーザ投稿情報は表示しない。

画面の左方に表示されているユーザ投稿情報である「行きたいわ〜」は、ユーザ投稿情報が左にスクロールして表示され、表示可能な領域の外にユーザ投稿情報がかかるため、末尾の「たいわ〜」が表示される。また、領域Ｄは、表示可能な領域として、スクロールしたユーザ投稿情報が表示される。

次に表示装置１４１の表示画面１５１が縦長に表示されている状態から、表示装置１４１を傾けて表示画面１５１が横長に表示される状態になるまでの動作を図３を用いて説明をする。

図３（ａ）は、表示装置１４１に傾きが生じていない状態の表示装置１４１の表示画面１５１に動画とユーザ投稿情報が表示されている状態を示している。表示画面１５１は縦長の状態である。表示画面１５１の中心である表示領域基準１５２は、演算上で使用する基準を図面に記している。又、図３（ａ）は、表示されている風景の動画に対して、この表示装置１４１のユーザや、他の表示装置等のユーザが投稿したユーザ投稿情報が、動画に重畳して表示される。ユーザ投稿情報は表示画面の右から左に流れるようにスクロールして表示される。図の下方が重力方向である。

図３（ｂ）は、表示装置１４１が重力方向下方に対して、左側に傾けた場合の状態を示している。ユーザ投稿情報は、表示装置１４１の傾きに対して、傾きを打ち消す方向に傾けて補正された状態で表示される。結果として、ユーザ投稿情報は、ユーザから見ると傾かず、重力方向に対して水平を維持して表示される。それに対して、動画は、表示装置１４１の傾きに従い、傾いて表示される。

傾きの状態により、傾き前の表示領域と傾き後の表示領域の差異が現れる。具体的には、図３（ｂ）において、領域Ｉ、領域Ｊ、領域Ｋ，領域Ｌは、傾き前の表示領域に対して、ユーザ投稿情報を表示可能な領域として、新たに面積が増加している。領域Ｍ、領域Ｎ，領域Ｏ、領域Ｐは、傾き後にはユーザ投稿情報の表示可能な領域としては消失している。

図３（ｃ）は、表示装置１４１が重力方向下方に対して、図３（ｂ）に対してさらに左側に傾け、表示装置１４１が図３（ａ）の状態に対して９０度傾いた状態を示している。このとき、表示されている動画は、表示装置１４１で傾きと反対方向に９０度傾いて表示される。その結果として、表示装置１４１の表示画面１５２は、動画及びユーザ投稿情報の両方が重力方向に対して水平を維持して表示される。なお、動画を表示装置１４１で傾きと反対方向に９０度傾いて表示するタイミングは、表示装置１４１の傾き状態に応じて任意に設定することができ、図３（ｂ）の状態で、動画を表示装置１４１で傾きと反対方向に９０度傾いて表示させても構わない。その場合においても、ユーザ投稿情報は、傾きを打ち消す方向に傾けて補正された状態で表示され、重力方向に対して水平を維持して表示される。

次に、図３における、ユーザ投稿情報の表示状態の代表的な動作について説明する。ユーザ投稿情報のうち画面の上方に表示されているハートマークは、図３（ａ）の状態では、左にスクロールをしても、まだ表示をされる領域にある。しかし、ハートマークは、図３（ｂ）の状態では、表示が領域Ｍにかかるため、表示されない。さらに表示装置１４１をさらに傾け、図３（ｃ）の状態にすると、ハートマークは再度表示される。

図３（ｂ）において、領域Ｉは傾き前の表示領域に対してユーザ投稿情報を表示可能な領域となった部分であり、この領域にユーザ投稿情報を表示することができる。そのため傾き状態に応じて、顔のマークのユーザ投稿情報を、表示対象のユーザ投稿情報として追加し、増加させることができる。顔のマークのユーザ投稿情報は、領域Ｉに追加表示される。顔のマークのユーザ投稿情報は、左方向へスクロールして表示される。表示装置１４１は、表示装置１４１の傾きが戻り、図３（ｃ）の状態になると、傾き状態に応じて処理を行い、表示されていた顔のマークのユーザ投稿情報を、表示対象のユーザ投稿情報示から減じ表示しない。

以上のように、表示装置１４１は、傾き状態に応じて、ユーザ投稿情報の増減を行なう。

次に表示装置１４１にブレが生じた場合の動作について図４を用いて説明をする。

図４（ａ）は、表示装置１４１にブレが生じる前における、表示装置１４１の表示画面１５１に動画とユーザ投稿情報が表示されている状態を示している。表示画面１５１の中心である表示領域基準１５２は、演算上で使用する基準を図面に記している。

図４（ｂ）は、表示装置１４１に縦方向のブレと、横方向のブレが生じた場合を示している。点線で示した元の位置の状態と、実線で示した位置の状態との間でブレが生じている場合を示している。表示されている動画は、表示装置１４１のブレに伴ってブレが生じるが、表示されているユーザ投稿情報は、表示領域内でブレを打ち消す方向の位置に表示され、ユーザにとっては、ユーザ投稿情報はブレに影響されず表示され続けることとなる。

ユーザ投稿情報の表示領域は、ブレを打ち消すために表示画面１５１の領域に対して変位することになるため、領域Ｒは、ユーザ投稿情報の表示領域としては消失し、領域Ｑは表示領域としては増加する。図４（ａ）の画面情報に表示される「いい景色だね〜」のユーザ投稿情報は、図４（ｂ）において、ブレを打ち消された結果としての領域Ｒにかかるため、ブレが生じている間は表示がされない状態を生じる。そのような場合には領域Ｒに係るユーザ投稿情報については、ユーザにとって、表示のちらつきと見えるために、表示をさせないとすることもできる。図４（ｃ）のブレが収まった状態では、再度、「いい景色だね〜」のユーザ投稿情報を表示する。

以上、図２から図４を用いて、表示装置１４１に傾きとブレが生じた状態をそれぞれ説明したが、傾きとブレが同時に生じた場合には、それぞれの動作を同時に行い、傾きとブレの打ち消しを行う。

＜処理の流れ＞
次に、本発明の第１の実施形態に係る表示システム１における表示装置１４１の動作について、図５に示すフローチャートを参照しながら説明する。

ステップＳ１０１において、表示装置１４１は、ステップＳ１１３までの間、動画データの再生が終了するまでループを行う。

ステップＳ１０２において、通信部１４２は、動画配信サーバ１１１から配信される動画データと、ユーザ投稿情報配信サーバ１２１から配信されるユーザ投稿情報データを受信する。動画データは、動画配信サーバ１１１において、予め生成し保存されている動画データであっても良いし、生中継の映像を随時エンコードすることによって生成される動画データであっても良い。後者の場合、表示装置１４１は、動画データをリアルタイムに受信する。

ステップＳ１０３において、検知部１４３は、表示装置１４１の傾きや振動を検知し、検知情報を生成する。

ステップＳ１０４において、補正部１４４は、検知部１４３から出力される検知情報に基づいて、表示装置１４１の変位状態に傾き要素が含まれるか否かを判別する。傾きは、表示解像度との関係により、表示の補正を要さない程度の微小な傾きの場合は、傾きを無しと判別する。ブレ要素を有りと検知した場合には、ステップＳ１０５へ進み、ブレ要素を無しと検知した場合はステップＳ１０８へ進む。

ステップＳ１０５において、補正部１４４は、検知部１４３から出力される検知情報に基づいて、表示装置１４１の傾き状態が所定以上か否かを判別する。表示可能領域が追加される領域の面積は、傾き状態と表示画面１５１の面積から決定される。そのため、補正部１４４は、図２（ｂ）で示す領域Ａや領域Ｂの面積がユーザ投稿情報を表示するために必要な所定の面積以上となる傾き状態であるか否かを判別する。表示可能領域とは、ユーザ投稿情報をユーザに視認可能に表示することができる領域であり、ユーザ投稿情報の表示フォントサイズ等により変化する。傾き状態が所定以上である場合には、表示画面における領域は、傾きを生ずる前の表示領域に比較して、所定の表示面積の増減があったものとしてステップＳ１０６へ進む。所定の傾き状態に満たない場合には、傾きを生ずる前の表示領域に比較して、所定の表示面積の増減がなかったものとしてステップＳ１０７へ進む。

ステップＳ１０６において、制御部１４５は、表示可能領域が追加された領域に表示するためのユーザ投稿情報を追加する。これにより、制御部１４５は、当初表示されていなかったユーザ投稿情報を、追加された領域に表示可能なユーザ投稿情報として追加することができる。また、所定の傾きにより、表示可能領域が消失する領域に表示されるユーザ投稿情報を削除しても構わない。削除により、ステップＳ１１０でのユーザ投稿情報の表示位置の演算に要するリソースを減じることができるためである。

ステップＳ１０７において、補正部１４４は、表示装置１４１の傾きによる変位を打ち消すための傾き補正値の演算を行う。

ステップＳ１０８において、補正部１４４は、検知部１４３から出力される検知情報に基づいて、表示装置１４１の変位状態にブレ要素が含まれるか否かを判別する。ブレは周波数成分を持った変位であり、例えば、表示装置１４1をゆっくりと一方向へ動かした場合はブレとしては判別しない。ブレ要素を有りと判別した場合には、ステップＳ１０９へ進み、ブレ要素を無しと判別した場合はステップＳ１１０へ進む。

ステップＳ１０９において、補正部１４４は、表示装置１４１のブレによる表示位置の変位を打ち消すためのブレ補正値の演算を行う。

ステップＳ１１０において、補正部１４４は、ユーザ投稿情報の表示位置に対して、ステップＳ１０７で演算した傾き補正値と、ステップＳ１０９で演算したブレ補正値の値から、補正後のユーザ投稿情報の表示位置の演算を行う。

ステップＳ１１１において、制御部１４５は、ステップＳ１０２で受信した動画データに基づく動画と、補正されたユーザ投稿情報表示位置に表示されるユーザ投稿情報を重畳する。

ステップＳ１１２において、表示部１４６は、ステップＳ１１１で重畳された、動画とユーザ投稿情報の表示を行う。

ステップＳ１１３において、表示装置１４１は、再生している動画データの再生が終了するまで、ステップＳ１０２との間でループを行う。当該ループは、動画やユーザ投稿情報の表示におけるフレームレート以下の単位で行う。動画配信サーバ１１１からの動画データの配信と、ユーザ投稿情報配信サーバ１２１からのユーザ投稿情報の配信は、表示装置１４１において、当該ループが行われている間継続する。

＜効果の説明＞
以上のように、本発明の第１の実施形態に係る表示装置１４１は、表示装置１４１の傾きやブレに対して、再生される動画に対しては傾きやブレの補正を行わず、ユーザ投稿情報に対して傾きやブレの補正を行う。ＭＰＥＧ４からなる動画データに対して、その表示位置を演算により補正するためには表示装置１４１のリソースを多く要することになる。しかし、文字情報や、アイコン、スタンプといったユーザ投稿情報に対する傾きやブレの補正は動画に対する補正に比較して表示装置１４１のリソースを要しない。また、動画に比較して、ユーザ投稿情報の傾きやブレはユーザの視認性を悪化させるため、それらを補正することにより、ユーザ投稿情報の判読性を高めることができる。そのため、表示装置１４１は、傾きやブレの補正に係る演算に要するリソース負荷を抑制しながら、ユーザのユーザ投稿情報の判読性を高めることができる。また、表示装置１４１は、ユーザ投稿情報の表示領域の変化により、新たに表示するユーザ投稿情報を追加することで、判読性を維持しつつ、ユーザ投稿情報表示の情報量を増加させることもできる。

なお、本実施形態では、傾きによる表示領域の増加に対してユーザ投稿情報の追加を行ったが、ブレの程度によっては、ブレの補正により表示領域が追加された領域にユーザ投稿情報の追加を行っても構わない。

また、本実施形態では、ステップＳ１０５における、ユーザ投稿情報を表示するために必要な所定の面積以上となる傾き状態であるか否かの判別を、補正部１４４で行っているが、制御部１４５で行っても構わないし、当該判別を行う比較部を別途設けても構わない。また、補正部１４４、制御部１４５及び比較部が、物理的に一体に構成されていても構わない。また、本実施形態では、傾きを生ずる前の表示領域に比較して、ユーザ投稿情報を表示するために必要な所定の表示面積の増減があったものかどうかの判別を、傾き状態に基づいて判別しているが、ユーザ投稿情報の表示可能領域の表示面積自体を傾き前後の比較で行っても構わない。

また、本実施形態では、ユーザ投稿情報は表示画面内でスクロールして表示されているが、スクロールせずに静止して表示されていても構わない。

また、本実施形態では、表示領域の増加を判別しユーザ投稿情報の追加を行ったが、あらかじめ表示領域よりも広い仮想領域にユーザ投稿情報を配置し、補正により表示領域が変化した場合に、仮想領域のユーザ投稿情報を表示しても構わない。

また、本実施例では、動画データとユーザ投稿情報は、ネットワーク１３１を介して配信されたものであるが、配信された動画データやユーザ投稿情報を表示装置１４１内に記憶し、表示を行っても構わない。さらに、動画データやユーザ投稿情報は、表示装置１４１にあらかじめ記憶されていても構わない。

（第２の実施形態）
＜動作＞
本発明の第２の実施形態に係るユーザ投稿情報表示を行う表示装置１４１を含む、表示システム１の構成及びその概要は、第１の実施形態に示す図１と同等である。そのため、本発明の第２の実施形態に係る表示装置１４１の表示状態について、図６を用いて説明する。図６は表示装置１４１にブレが生じた場合の動作について示す。

図６（ａ）は、表示装置１４１にブレが生じていない状態の表示装置１４１の表示画面１５１に動画とユーザ投稿情報が表示されている状態を示している。表示されている風景の動画に対して、この表示装置１４１のユーザや、他の表示装置等のユーザが投稿したユーザ投稿情報が、動画に重畳して表示される。ユーザ投稿情報は表示画面の右から左に流れるようにスクロールして表示される。

図６（ｂ）、図６（ｃ）は、表示装置１４１に縦方向のブレと、横方向のブレが生じた場合を示している。点線で示した元の位置の状態と、実線で示した位置の状態との間でブレが生じている場合を示している。図６（ｂ）では、ブレによって表示されている動画は、表示装置１４１のブレに伴ってブレが生じるが、表示されているユーザ投稿情報は表示領域内でブレを打ち消す方向の位置に表示され、ユーザにとっては、ユーザ投稿情報はブレに影響されず表示され続ける。

図６（ｃ）は、図６（ｂ）の場合に比べて、表示装置１４１のブレ状態が激しい場合を示している。ブレ状態の激しさは、補正部１４４で判別される。ブレ状態が激しい場合は、表示領域に表示するユーザ投稿情報の量を減らす。図６（ｃ）では、「いい景色だね〜」、「行きたいわ〜」、「ここ行ったことある」というユーザ投稿情報は表示されていない。表示される「ここどこ？」、ハートマークや顔のマークは、ブレに対して補正して表示をされる。ユーザ投稿情報はブレに対して補正して表示がなされるが、ブレが激しい場合には、それに対する補正を行った場合でもユーザの判読性が低下する場合があるため、ユーザ投稿情報の量を減らすことによって、判読性の低下を抑制することができる。また、ユーザ投稿情報は、長い文字列や、特定ユーザのユーザ投稿情報を優先して非表示にすることができる。また、アイコンやスタンプといった、文字情報以外の判読性の低下をしにくいユーザ投稿情報を優先的に表示データとして残しても良い。

傾きの補正については第１の実施形態と同等の動作を行う。傾きとブレが同時に生じた場合には、それぞれの動作を同時に行い、傾きとブレの打ち消しを行う。

＜処理の流れ＞
次に、本発明の第２の実施形態に係る表示装置１４１の動作について、図７に示すフローチャートを参照しながら説明する。

ステップＳ２０１において、表示装置１４１は、ステップＳ２１３までの間、動画データの再生が終了するまでループを行う。

ステップＳ２０２において、通信部１４２は、動画配信サーバ１１１から配信される動画データと、ユーザ投稿情報配信サーバ１２１から配信される動画データに同期したユーザ投稿情報データを受信する。動画データは、動画配信サーバ１１１において、予め生成し保存されている動画データであっても良いし、生中継の映像を随時エンコードすることによって生成される動画データであっても良い。後者の場合、表示装置１４１は、動画データをリアルタイムに受信する。

ステップＳ２０３において、検知部１４３は、表示装置１４１の傾きや振動を検知し、検知情報を生成する。

ステップＳ２０４において、補正部１４４は、検知部１４３から出力される検知情報に基づいて、表示装置１４１の変位状態にブレ要素が含まれるか否かを判別する。ブレは周波数成分を持った変位であり、例えば、表示装置１４1をゆっくりと一方向へ動かした場合はブレとしては判別しない。ブレ要素を有りと判別した場合には、ステップＳ２０５へ進み、ブレ要素を無しと判別した場合はステップＳ２０８へ進む。

ステップＳ２０５において、補正部１４４は、ブレの状態が所定以上であるかを判別する。ブレの状態の判別は、ブレの変位の大きさや、ブレの周期振動により判別され、ブレの補正を行った場合でもユーザの判読性が低下するか否かにより判別の所定の値は決定される。補正部１４４が、ブレの状態を所定以上と判別した場合には、ステップＳ２０６に進む。補正部１４４が、ブレの状態を所定未満と判別した場合には、ステップＳ２０７へ進む。

ステップＳ２０６において、補正部１４４は、例えば長い文字列や、特定ユーザのユーザ投稿情報等の一部のユーザ投稿情報に対して、補正及び表示を行わないマスクフラグの付与を行う。

ステップＳ２０７において、補正部１４４は、表示装置１４１のブレによる変位を打ち消すためのブレ補正値の演算を行う。

ステップＳ２０８において、補正部１４４は、検知部１４３から出力される検知情報に基づいて、表示装置１４１の変位状態に傾き要素が含まれるか否かを判別する。傾きは、表示解像度との関係により、表示の補正を要さない程度の微小な傾きの場合は、傾きを無しと判別する。ブレ要素を有りと検知した場合には、ステップＳ２０９へ進み、ブレ要素を無しと検知した場合はステップＳ２１０へ進む。

ステップＳ２０９において、補正部１４４は、表示装置１４１の傾きによる変位を打ち消すための傾き補正値の演算を行う。この際、補正部１４４は、マスクフラグが付与されていないユーザ投稿情報に対して演算を行う。

ステップＳ２１０において、補正部１４４は、ユーザ投稿情報の表示位置に対して、ステップＳ２０５で演算したブレ補正値と、ステップＳ２０９で演算した傾き補正値の値から、補正後のユーザ投稿情報の表示位置の演算を行う。また、演算の結果から、ユーザ投稿情報の表示可能領域の演算を行う。

ステップＳ２１１において、制御部１４５は、ステップＳ２０２で受信した動画データに基づく動画と、補正されたユーザ投稿情報表示位置に表示されるユーザ投稿情報を重畳する。

ステップＳ２１２において、表示部１４６は、ステップＳ２１１で重畳された、動画とユーザ投稿情報の表示を行う。

ステップＳ２１３において、表示装置１４１は、再生している動画データの再生が終了するまで、ステップＳ２０２との間でループを行う。当該ループは、動画やユーザ投稿情報の表示におけるフレームレート以下の単位で行う。動画配信サーバ１１１からの動画データの配信と、ユーザ投稿情報配信サーバ１２１からのユーザ投稿情報の配信は、表示装置１４１において、当該ループが行われている間継続する。

＜効果の説明＞
以上のように、本発明の第２の実施形態に係る表示装置１４１は、表示装置１４１の傾きやブレに対して、再生される動画は傾きやブレの補正を行わず、ユーザ投稿情報に対して傾きやブレの補正を行い、さらに、ブレ状態に応じて表示を行うユーザ投稿情報を減らす。これにより、表示装置１４１は、特にブレの激しい状態では、補正を要するユーザ投稿情報を減らし、傾きやブレの補正に係る演算に要する表示装置１４１のリソース負荷をさらに抑制しながら、ユーザのユーザ投稿情報の判読性を高めることができる。

また、本実施例では、動画データとユーザ投稿情報は、ネットワーク１３１を介して配信されたものであるが、配信された動画データやユーザ投稿情報を表示装置１４１内に記憶し、表示を行っても構わない。さらに、動画データやユーザ投稿情報は、表示装置１４１にあらかじめ記憶されていても構わない。

（第３の実施形態）
第１の実施形態及び第２の実施形態において、検知部１４３からの検知情報に基づいて表示装置１４１の傾きやブレによるユーザ投稿情報の表示の補正について説明してきたが、本発明の第３の実施形態は、それに加えて、ユーザの意思によるユーザ投稿情報の表示の切り替えを行うことができる。

ユーザが表示装置１４１に対して、所定の動作を行うことで、その動作によって生じる検知部１４３の検知情報に基づいて、制御部１４５が検知情報の動作パターンを認識することができる。

ユーザの意思によらないブレのような動作パターンではなく、例えば、表示装置１４１を大きく３回振るというユーザの意思による動作パターンにより、制御部１４５がその動作パターンを認識し、表示装置１４１に対しての操作を受け付けることができる。そのため、片手で表示装置１４１を持ちながら動画を見るような場合に、表示画面に手を触れる必要がなく、例えば、ユーザ投稿情報の表示の有無の切り替えを行うことができる。ユーザ投稿情報の表示の有無の切り替えだけでなく、ユーザ投稿情報の内容の切り替えを行っても良い。

（プログラム）
図８は、コンピュータ３０１の構成を示す概略ブロック図である。コンピュータ３０１は、ＣＰＵ３０２、主記憶装置３０３、補助記憶装置３０４、インタフェース３０５を備える。

ここで、第１の実施形態に係る表示装置１４１を構成する各機能を実現するためのプログラムの詳細について説明する。

表示装置１４１は、コンピュータ３０１に実装される。そして、表示装置１４１の各構成要素の動作は、プログラムの形式で補助記憶装置３０４に記憶されている。ＣＰＵ３０２は、プログラムを補助記憶装置３０４から読み出して主記憶装置３０３に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ３０２は、プログラムに従って、上述した記憶部に対応する記憶領域を主記憶装置３０３に確保する。

当該プログラムは、具体的には、コンピュータ３０１に、表示装置の変位状態を検知する検知工程と、検知工程の検知結果に基づいてユーザ投稿情報の表示状態の補正を行う補正工程と、補正工程により補正されたユーザ投稿情報と、画像又は映像を前記表示装置に重ね合わせて表示を行う表示工程と、を電子計算機に実行させるための表示プログラムである。

なお、補助記憶装置３０４は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース３０５を介して接続される磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等が挙げられる。また、このプログラムがネットワークを介してコンピュータ３０１に配信される場合、配信を受けたコンピュータ３０１が当該プログラムを主記憶装置３０３に展開し、上記処理を実行しても良い。

また、当該プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、当該プログラムは、前述した機能を補助記憶装置３０４に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）
であっても良い。

以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。動画データは、ＭＥＰＧ４以外のフォーマットでも構わない。また、以上は、動画にユーザ投稿情報を重畳する例として説明してきたが、ＪＰＥＧやビットマップ等からなる静止画にユーザ投稿情報を重畳しても構わない。

また、主に手に持つことを想定した表示端末を元に説明してきたが、頭部に装着するヘッドマウントディスプレイにおいても適用できる。ヘッドマウントディスプレイに表示される拡張現実（ＡＲ）の画像におけるユーザ投稿情報に対して、頭のブレに対してユーザ投稿情報のみのブレの補正を行っても構わない。また、スマートウォッチ等の腕に装着される表示装置において、その表示部のユーザ投稿情報に対して、ブレや傾きの補正を行っても構わない。また、投影型の表示装置から投影される動画に対して、投影される動画に重畳されるユーザ投稿情報に対して、表示装置のブレや傾きの補正を行っても構わない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。

１…表示システム １１１…動画配信サーバ １２１…ユーザ投稿情報配信サーバ １３１…ネットワーク １４１…表示装置 １４１ａ…表示装置Ａ １４１ｂ…表示装置Ｂ １４１ｃ…表示装置Ｃ １４２…通信部 １４３…検知部 １４４…補正部 １４５…制御部 １４６…表示部 １５１…表示画面 １５２…表示領域基準 ３０１…コンピュータ ３０２…ＣＰＵ ３０３…主記憶装置 ３０４…補助記憶装置 ３０５…インタフェース

Claims (9)

1. 画像又は映像とユーザ投稿情報を表示可能な表示装置であって、
   前記表示装置の傾き及び／又はブレ状態を検知する検知部と、
   前記検知部の検知結果に基づいて前記ユーザ投稿情報の表示状態の補正を行う補正部と、
   前記補正部により補正されたユーザ投稿情報と、前記画像又は映像を重ね合わせて表示を行う表示部とを有し、
   前記補正部は、前記傾き状態及び／又はブレ状態が所定の状態以上となる場合、前記表示装置に表示する前記ユーザ投稿情報の量を増減させることを特徴とする表示装置。
2. 前記ユーザ投稿情報と重ね合わせられる前記画像又は映像は、前記検知部の検知結果に基づく表示位置の補正を行わないことを特徴とする請求項１に記載の表示装置。
3. 前記表示状態の補正は、前記傾き状態を打ち消す動作であることを特徴とする請求項１又は２に記載の表示装置。
4. 前記表示状態の補正は、前記ブレ状態を軽減する動作であることを特徴とする請求項１乃至３のいずれか一項に記載の表示装置。
5. 前記ユーザ投稿情報は、前記表示装置の表示領域においてスクロールして表示されることを特徴とする請求項１乃至４のいずれか一項に記載の表示装置。
6. 前記検知部の検知結果に基づいて、前記ユーザ投稿情報の表示の有無を切り替えることを特徴とする請求項１乃至５のいずれか一項に記載の表示装置。
7. 前記ユーザ投稿情報は、前記画像又は動画に対するコメントであることを特徴とする請求項１乃至６のいずれか一項に記載の表示装置。
8. 表示装置に、画像又は映像とユーザ投稿情報を表示する表示方法であって、
   検知部が、前記表示装置の傾き及び／又はブレ状態を検知する検知工程と、
   補正部が、前記検知工程の検知結果に基づいて前記ユーザ投稿情報の表示位置の補正を行う補正工程と、
   表示部が、前記補正工程により補正されたユーザ投稿情報と、前記画像又は映像を前記表示装置に重ね合わせて表示を行う表示工程とを有する表示方法であって、
   前記補正部は、前記傾き状態及び／又はブレ状態が、所定の状態以上となる場合、前記表示装置に表示する前記ユーザ投稿情報の量を増減させることを特徴とする表示方法。
9. 表示装置に、画像又は映像とユーザ投稿情報を表示する表示プログラムであって、
   前記表示装置の傾き及び／又はブレ状態を検知する検知工程と、
   前記検知工程の検知結果に基づいてユーザ投稿情報の表示状態の補正を行う補正工程と、
   前記補正工程により補正されたユーザ投稿情報と、画像又は映像を前記表示装置に重ね合わせて表示を行う表示工程とを電子計算機に実行させるための表示プログラムであって、
   前記傾き状態及び／又はブレ状態が、所定の状態以上となる場合、前記表示装置に表示する前記ユーザ投稿情報の量を増減させる表示プログラム。

Images