WO2019159239A1

WO2019159239A1 - 画像処理装置、表示画像生成方法、およびフォントのデータ構造

Info

Publication number: WO2019159239A1
Application number: PCT/JP2018/004930
Authority: WO
Inventors: 彰彦菅原; 大場　章男
Original assignee: Sony Interactive Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2018-02-13
Filing date: 2018-02-13
Publication date: 2019-08-22
Anticipated expiration: 2020-08-13
Also published as: JPWO2019159239A1; US11769469B2; US20210035530A1; JP6965374B2

Abstract

ユーザ操作に従い表示対象のコンテンツデータを取得し、表示画像の構成を決定する（Ｓ１０、Ｓ１２）。表示画像においてフォントを用いて描画する領域のうち、文字を微小量ずつ変位させる領域を決定する（Ｓ１４）。変位対象の文字については設定された変位規則に従い、時間経過とともに変位させながら描画し（Ｓ１６のＹ、Ｓ１８）、対象外の文字については基準位置に描画する（Ｓ１６のＮ、Ｓ２０）。全文字を描画したら表示画像を完成させ出力する（Ｓ２２、Ｓ２４）。表示終了までＳ１２からＳ２４の処理を繰り返す（Ｓ２６のＮ）。

Description

画像処理装置、表示画像生成方法、およびフォントのデータ構造

　本発明は、コンテンツの画像を表示するための画像処理装置、表示画像生成方法、およびそれに用いられるフォントのデータ構造に関する。

　近年、画像表示技術は進化の一途を辿り、携帯端末、タブレット、テレビ受像器、パーソナルコンピュータ、ウェアラブルディスプレイなどを用いて、様々な形態や状況で情報を確認したり、ゲームや動画などのコンテンツを楽しんだりできるようになってきた。特に表示装置は高解像度化が実現され、高精細な画像による表示が身近なものになっている。また人の視覚刺激の時間積分機能を利用して、像が移動する場合に、画素を間引いた画像を順に表示させることにより、ディスプレイの解像度より高い解像度で画像を知覚させる技術が提案されている（例えば引用文献１、非特許文献１参照）。

特開２００６－３３７７７１号公報

増井俊之、 PixelDoubler、 Interaction'99 講演論文集、情報処理学会、 March 1999

　表示装置やそれを用いるシーンが多様化することにより、同じソース画像をそれらの状況に応じて適切に表示させることが望まれている。例えば大画面の表示装置に表示させることで高い視認性を得ていた文字情報を、腕時計型のウェアラブル端末や携帯電話機に表示させる場合、文字を縮小したり、一度に表示させる情報を少なくしたりする対応が考えられるが、いずれにしても視認性が悪化する。文字が小さくなると、それを表すための表示画面の画素の数が少なくなり、文字を構成する線同士がつながって見える、いわゆる文字つぶれが生じたり、輪郭がギザギザに見えるジャギーが目立ったりして、さらに読みづらさが増す。

　本発明はこうした課題に鑑みてなされたものであり、その目的は、表示装置の解像度や表示対象の像の大きさが変化しても、視認性を確保できる技術を提供することにある。

　本発明のある態様は画像処理装置に関する。この画像処理装置は、表示画像に表すソース画像のデータと、あらかじめ作成された、表示画像平面に対する前記ソース画像の変位規則とを対応づけたデータを格納する記憶部と、変位規則に従いソース画像を変位させたうえ、当該ソース画像と表示画像平面との位置関係に基づき、表示画像の画素値を決定する変位制御部と、画素値が決定された表示画像のデータを出力する出力部と、を備えたことを特徴とする。

　本発明の別の態様は表示画像生成方法に関する。この表示画像生成方法は、ソース画像のデータと、あらかじめ作成された、表示画像平面に対するソース画像の変位規則とを対応づけたデータを格納するメモリから、表示画像の生成に用いるデータを読み出すステップと、変位規則に従いソース画像を変位させたうえ、当該ソース画像と表示画像平面との位置関係に基づき、表示画像の画素値を決定するステップと、画素値が決定された表示画像のデータを出力するステップと、を含むことを特徴とする。

　本発明のさらに別の態様はフォントのデータ構造に関する。このフォントのデータ構造は、文字の形状を表すデータと、画像処理装置が表示画像に文字を表す際、表示画像平面で当該文字を変位させるために参照する変位規則と、を文字ごとに対応づけたことを特徴とする。

　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置などの間で変換したものもまた、本発明の態様として有効である。

　本発明によると、表示装置の解像度や表示対象の像の大きさが変化しても、視認性を確保できる。

本実施の形態を適用できる画像表示の態様を例示する図である。本実施の形態で表示させるフォントデータと表示装置の画素の関係を模式的に示す図である。本実施の形態において、表示画像平面で文字を変位させる様子を模式的に示す図である。本実施の形態において文字を変位させることによる知覚上の効果を説明するための図である。本実施の形態において、変位する文字を目で追っている状態を考慮したときの、人の知覚の様子を説明するための図である。本実施の形態の画像処理装置の内部回路構成を示す図である。本実施の形態における画像処理装置の機能ブロックの構成を示す図である。本実施の形態においてフォントデータ記憶部に格納するフォントデータの構造例を示す図である。本実施の形態において、ビットマップのフォントデータを用いて表示画像の画素値を決定する手法の例を説明するための図である。本実施の形態において、２次元方向の文字の変位に対するフォント画像の参照範囲の変化例を模式的に示す図である。本実施の形態のうち、サンプリング点の分布を時間方向に分離する態様におけるサンプリングの様子を模式的に示す図である。本実施の形態において、表示画像のうちユーザが注視している領域に限定して文字を変位させる場合の、文字変位制御部の機能ブロックの構成を示す図である。本実施の形態において、表示画像のうち対象領域の文字を変位させる場合の画面の例を示す図である。本実施の形態の画像処理装置が、必要に応じて文字を変位させつつ表示画像を生成、出力する処理手順を示すフローチャートである。

　図１は、本実施の形態を適用できる画像表示の態様を例示している。図示する例は、画像処理装置１０と表示装置１６を一体的に備えた携帯端末８を示している。表示装置１６の画面の上面は、表示された画像に対するユーザのタッチ操作を受け付ける透明なタッチパッドを入力装置１４として備える。ただし本実施の形態における画像処理装置１０、入力装置１４、および表示装置１６の形態は図示するものに限らない。例えばそれらの装置を有線あるいは無線で接続した個別の装置としてもよい。あるいはこれらのうち２つの装置を、一体的に備えた１つの装置としてもよい。例えば表示装置１６を、ユーザが頭部に装着することにより眼前に画像を表示するヘッドマウントディスプレイ（以下、「ＨＭＤ」と表記する）とし、画像処理装置１０をＨＭＤに内蔵させてもよい。

　入力装置１４は、図示するタッチパッドのほか、ゲームコントローラ、キーボード、マウス、ジョイスティックなど、一般的な入力装置のいずれか、またはそれらの組み合わせによって実現してよい。あるいは入力装置１４は、音声を入力するマイクロフォンや実空間の様子を撮影する撮像装置であってもよい。入力装置１４は、ユーザが操作することにより、処理の開始、終了、機能やコンテンツの選択、各種コマンド入力などの要求を受け付け、画像処理装置１０に電気信号として供給する。

　表示装置１６は、画像処理装置１０が生成した画像を出力する一般的な装置である。例えば図示するような携帯端末やタブレット端末のディスプレイでもよいし、液晶テレビ、有機ＥＬテレビ、プラズマテレビ、ＰＣモニターなどでもよい。ＨＭＤやプロジェクタなどでもよい。なお表示装置１６をＨＭＤとする場合、ＨＭＤの内部に設けたモーションセンサを入力装置１４とし、頭部の動きをユーザ操作としてもよい。

　画像処理装置１０は、入力装置１４を介したユーザ操作などに応じて表示画像のデータを生成し、表示装置１６に出力する。ここで表示画像として示される情報の種類は特に限定されず、ユーザが求める機能やコンテンツの内容などによって適宜決定してよい。図の例では、ウェブサイトのページを表す画像６が表示対象であることを模式的に示している。この場合、画像処理装置１０は、当該ウェブサイトの管理サーバと通信を確立してＨＴＭＬなどマークアップ言語で表されたページのデータや画像のデータを取得する。

　そして取得したデータに従い、内部で保持するフォントのデータ、あるいは必要に応じてサーバから取得したフォントのデータを用いて文字情報を描画したうえ、その他の部品画像を配置することにより、画像６、あるいはその一部の画像を生成する。このような手法によれば、画面の大きさによって文字や部品画像を適切なサイズに調整したり、それらの配置や文章の折り返し位置を調整したりすることにより、ある程度の読みやすさを維持できる。一方、画面の解像度が低くなるほど、また画面のサイズが小さくなるほど、そのような調整によっても文字つぶれやジャギーにより視認性が悪化することが考えられる。

　そこで本実施の形態では、表示画像において表される文字を微小量変位させつづける、あるいは振動させることにより、人間の知覚上で文字の輪郭が明瞭に見えるようにし、視認性の悪化を軽減させる。なお上述したウェブサイトのページのように、フォントを用いて表示画像を生成する場合には、フォントを個別に変位させることができる。したがって画像６に表される１文字から全ての文字まで、変位対象の文字の数や位置は特に限定されない。

　一方、変位させる対象は文字単位でなくてもよい。例えば画像６全体、あるいはその一部の領域を微小量、変位させるようにしてもよい。つまり変位させる対象は文字に限らず、絵、図形、マークでもよいし、それらの組み合わせ、あるいはそれらを組み合わせてなる画像などでもよい。すなわちテクスチャマッピング技術におけるテクスチャのように、表示画像平面に対し変位や停止を制御できる画像であればその種類は限定されない。また、そのようなソース画像を用いて表す表示画像の種類や表示の目的も特に限定されない。以後、そのような表示対象を総じて「コンテンツ」と呼ぶ。また代表的な例として、文字フォントをソース画像とし、コンテンツの表示画像を生成する手法について説明する。

　図２は、本実施の形態で表示させるフォントデータと表示装置１６の画素の関係を模式的に示している。同図（ａ）は文字「Ａ」を表すフォントデータを示している。（ｂ）は当該フォントデータを表示装置１６の画面に表示させた状態を示している。この例は「ビットマップォント」を想定しており、（ａ）に示すように、（ｕ，ｖ）座標で定義される２次元配列の画素のうち、字の線として表す画素に、他の画素と異なる画素値を与えたデータ構造を有する。画像処理装置１０は当該フォントデータを用いて、表示装置１６の解像度に対応する画像平面に文字を表す。

　すなわち（ｂ）に示す、（ｘ、ｙ）座標で定義される表示画像平面の各画素に対応するｕｖ座標を求め、（ａ）に示すフォント画像における当該位置座標の画素値をサンプリングすることにより、表示画像の画素値を決定する。この処理は、コンピュータグラフィクスにおけるテクスチャマッピングに相当する。なおフォントデータとしては、線の端点や曲線の基準点など輪郭における特徴点の位置で文字を表現する「アウトラインフォント」も一般的である。アウトラインフォントを用いる場合、表示画像平面に仮想的に表した輪郭との内外判定により各画素の値を決定するラスタライズがなされる。この場合も文字を変位させることによる効果は同様となる。

　図３は、表示画像平面において文字を変位させる様子を模式的に示している。領域９０は、表示画像において文字「Ａ」を表す領域であり、周囲にはその他の文字や図形が表示されていてよい。画像処理装置１０は、領域９０に対応づける文字「Ａ」のフォント画像を、表示画像平面に対し所定速度で所定方向に変位させる。図の例では連続する３フレームにおいて、文字「Ａ」を左上に移動させることを、３つの「Ａ」で表している。なお図における３つの「Ａ」は、互いに異なる時刻に表示されることを示す目的で輝度を異ならせているが、実際には文字自体の態様は同じである。

　また図では、対応づけるフォント画像の移動量を誇張して示しているが、実際の移動量は１フレームあたり１画素未満の微小量とする。ウェブサイトのページのように通常は静止している文字の場合、領域９０において右下から左上への数画素分の変位と左上から右下への数画素分の変位を、複数フレームに渡って繰り返すように振動させることにより、ページ全体の構成には影響を与えないようにできる。なお変位の方向は縦、横、斜めのいずれでもよいし、それらを組み合わせたランダムな方向としてもよい。

　また同図では文字「Ａ」全体を変位させたが、文字の一部の線のみを変位させてもよい。例えば密度が高く文字つぶれが生じやすい線のみを変位させてもよい。定性的には変位させる方向において輪郭を明瞭に見せることができるため、選択した線の方向によって変位方向を決定してもよい。または文字を構成する線の全てを変位させる場合であっても、線によって変位させる方向を異ならせてもよい。

　図４は、文字を変位させることによる知覚上の効果を説明するための図である。同図上段の（ａ）は、文字を表すフォント画像と表示画像平面の位置関係の時間変化を示している。すなわち４×４画素の表示画像上の領域９４ａ、９４ｂ、９４ｃに対し、図２の（ａ）で示したようなフォント画像９２ａ、９２ｂ、９２ｃがこの順で移動しているとする。フォント画像９２ａ、９２ｂ、９２ｃは、文字の一部を示しており、例えば図３で示した文字「Ａ」を構成する斜め線の一部などである。

　画像処理装置１０は、表示画像上の４×４の画素のそれぞれについて、対応するフォント画像上のｕｖ座標を求めることにより、フォントデータ上の画素値を参照して、表示画像の画素値を決定する。同図中段の（ｂ）は、（ａ）に示した時間変化に対し、領域９４ａ、９４ｂ、９４ｃに画素値が与えられた様子を示している。図示するように、斜め線が左上に移動する動きが表示画像上でも表れる。ただし表示装置の解像度によっては、元のフォントデータより太い線となる。そのため、各フレームを静止画として見た場合は、元のフォントデータではなかった文字つぶれが発生したりジャギーが目立ったりすることがある。

　同図（ｃ）は、（ｂ）のように表示画像が変化した結果、それを見た人が知覚する画像の様子を示している。（ｂ）における領域９４ａから領域９４ｂへの変化では、白から黒に変化する画素、黒から白に変化する画素、黒のままの画素、白のままの画素、という４パターンの画素が存在する。領域９４ｂから領域９４ｃへの変化でも同様に、それらの４パターンの画素が存在する。

　人は短時間の視覚的刺激を時間積分で感じる特性を有するため、白から黒に変化する画素、黒から白に変化する画素は、原理的には灰色として認識される。黒のままの画素、白のままの画素は当然、黒あるいは白として認識されるため、人の知覚上では（ｃ）に示すように、線の中心では文字本来の色（図の例では黒）、周縁では背景色（図の例では白）とブレンドされた色となる。つまりこのような文字の変位により、線の中心軸近傍の色が強調される結果、文字つぶれやジャギーによる視認のしづらさを軽減させることができる。

　図５は、変位する文字を目で追っている状態を考慮したときの、人の知覚の様子を説明するための図である。同図は横軸を表示画像平面における横方向の位置とし、図４で示したような文字の一部、具体的には線幅を表す３画素の領域１０２ａ、１０２ｂ、１０２ｃ、１０２ｄが、時間経過に対し表示画像平面を左方向に移動していく様子を示している。人がその動きを目で追うとき、主に見ている領域が、注視領域１０４ａ、１０４ｂ、１０４ｃ、１０４ｄのように動くとする。

　つまり視線の速度ｖ２が文字の速度ｖ１からずれているとき、注視領域１０４ａ、１０４ｂ、１０４ｃ、１０４ｄの中央付近は定常的に文字と同じ色（図の例では灰色）が表れやすいのに対し、左端あるいは右端は背景色（図の例では白）が含まれやすい。図示する例は視線の速度を一定としているが、実際にはばらつきがあり、その場合でも同様の傾向となる。そのような注視領域１０４ａ、１０４ｂ、１０４ｃ、１０４ｄの色分布を時間積分して知覚した場合、線幅の中央部分は文字本来の色、周縁では背景色とブレンドされた色が認識される。また、文字本来の色で見える線の幅は、それを表す画素領域の境界、図示する例では３画素の間の２つの境界と関わりなく決まる。結果として知覚上、表示装置の解像度より高い解像度で線を認識させることができる。

　図６は画像処理装置１０の内部回路構成を示している。画像処理装置１０は、ＣＰＵ（Central Processing Unit）２２、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、表示装置１６へデータを出力する出力部３６、入力装置１４からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。

　ＣＰＵ２２は、記憶部３４に記憶されているオペレーティングシステムを実行することにより画像処理装置１０の全体を制御する。ＣＰＵ２２はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２からの描画命令に従って描画処理を行い、表示画像を図示しないフレームバッファに格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部３６に出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

　図７は、本実施の形態における画像処理装置１０の機能ブロックの構成を示している。同図に示す各機能ブロックは、ハードウェア的には、図６に示したＣＰＵ２２、ＧＰＵ２４、メインメモリ２６、出力部３６、入力部３８などの構成で実現でき、ソフトウェア的には、記録媒体などからメインメモリ２６にロードした、データ入力機能、データ保持機能、演算機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

　画像処理装置１０は、入力装置１４から入力情報を取得する入力情報取得部７２、表示対象のコンテンツのデータを取得する表示コンテンツ取得部７４、コンテンツを表した表示画像のデータを生成する表示画像生成部８２、表示画像に用いるフォントのデータを格納したフォントデータ記憶部７８、変位を制御しつつ文字を描画する文字変位制御部８０、および表示画像のデータを出力する出力部８４を含む。

　入力情報取得部７２は図６の入力部３８、ＣＰＵ２２などで実現され、ユーザ操作の内容を入力装置１４から取得する。ここでユーザ操作とは、実行する情報処理の内容や表示対象のコンテンツの選択、処理の開始／終了、実行している情報処理に対するコマンド入力など、一般的な情報処理でなされるものでよい。また入力情報取得部７２は、後述するようにユーザの注視点に係る情報や、ＨＭＤに内蔵されたモーションセンサの計測値などを適宜取得してよい。入力情報取得部７２は取得した情報を、表示コンテンツ取得部７４および文字変位制御部８０に適宜供給する。

　表示コンテンツ取得部７４は図６のＣＰＵ２２、メインメモリ２６、通信部３２などで実現され、表示対象のコンテンツのデータを取得する。例えば表示対象をウェブサイトのページとした場合、表示コンテンツ取得部７４は図示しないネットワークを介して管理サーバから当該ページのデータを取得する。あるいは表示コンテンツ取得部７４は、画像処理装置１０内部に格納されたコンテンツのデータを読み出してもよいし、表示画像を生成するためのプログラムを読み出してもよい。

　表示画像生成部８２は図６のＣＰＵ２２、ＧＰＵ２４、メインメモリ２６などで実現され、コンテンツの画像を生成する基本的な処理を実施する。すなわち表示画像生成部８２は、表示画像の平面を表したバッファメモリに、表示画像の全体構造を表し、フォントを用いない領域について、描画処理を実施したり部品画像をマッピングしたりする。またフォントを用いて文字を描画すべき領域については、文字変位制御部８０に、当該領域と文字を指定して描画処理を要求する。

　文字変位制御部８０は図６のＣＰＵ２２、ＧＰＵ２４、メインメモリ２６などで実現され、表示画像生成部８２が指定した領域について、フォントデータ記憶部７８に格納されたフォントデータを用いて文字を描画する。フォントデータ記憶部７８にはあらかじめ、各種の文字フォントと、その変位規則を対応づけて格納しておく。なおフォントデータは、図示しないネットワークを介してサーバから取得してもよい。文字変位制御部８０は、読み出したフォントに対し設定されている規則に従い文字の変位を制御する。

　この際、コンテンツにおいて設定されている規則に従い、表示画像の全ての文字を変位させるか、特定の領域のみ変位させるか、特定の文字あるいは字体のみ変位させるか、などを決定してもよい。また大画面での表示など、元々良好な視認性が保証されている状況では、変位処理自体を省略してもよい。文字変位制御部８０は、変位対象の文字については、フォントデータとして設定されている規則に従い、フレームごとに文字を微小量変位させる。

　厳密には、表示画像平面に対しフォントの画像をサブピクセルレベルでずらしていくことで表示画像の画素値に徐々に反映させる。変位対象でない文字については、一般的な手法で描画すればよい。表示画像生成部８２は、文字変位制御部８０が描画した文字を含め、生成した表示画像のデータを順次、出力部８４に出力する。出力部８４は図６のＣＰＵ２２、ＧＰＵ２４、メインメモリ２６、出力部３６などで実現され、表示画像生成部８２が生成した表示画像のデータを適切なタイミングで順次、表示装置１６に出力する。

　図８は、フォントデータ記憶部７８に格納するフォントデータの構造例を示している。フォントデータ１１０は、識別情報１１２、フォント形状１１４、および変位規則１１６を、文字ごとに対応づけたデータである。識別情報１１２は、文字の識別情報を表し、図示する例では「Ａ」、「Ｂ」、「Ｃ」など文字そのものとしているが、文字コードなど従来ある識別情報のいずれでもよい。フォント形状１１４は、文字本体の形状を表す。図示する例では「Ａ（画像）」、「Ｂ（画像」、「Ｃ（画像）」などと表記しているが、実際にはデータの記憶領域を示すアドレスや、文字の画像データそのものなどである。

　識別情報１１２とフォント形状１１４の対応づけは、従来のフォントデータと同様でよい。またフォント形状は上述のとおりビットマップ形式で表されてもアウトライン形式で表されてもよい。変位規則１１６は、変位速度、変位方向など文字の変位規則を具体的に表す。図示する例では「Ａ」の文字は、フレームごとに０．５画素分、画像平面のｘ軸から３０°をなす方向に変位させることを指定している。このように文字ごとに変位規則を設定することにより、線の密度や方向に応じて適切な変位方向や速度を設定できる。

　一方、全ての文字に共通とする変位規則については、別途設定し、文字変位制御部８０内部で保持しておく。また図示する例では「Ｃ」の文字は変位規則を設定していない。このように文字形状が比較的単純で、解像度や文字サイズによって視認性が変化しにくい文字については、変位処理を省略することにより処理の負荷を軽減できる。なお変位規則のデータ構造は図示するものに限らない。例えば上述のとおり、文字を構成する線ごとに、変位させるか否か、変位方向、変位速度を設定してもよい。

　また１文字を一方向に変位あるいは振動させるのみならず、縦、横、斜めなど１フレームあるいは数フレーム単位で別の方向へ変位させてもよい。例えばフレームごとに乱数を発生させ、それに対応する角度に変位させるようにしてもよい。さらに変位規則として設定する項目は、速度や角度のほか、振動させる場合の最大振幅や周波数などでもよい。図示するような構造のデータを、様々なフォントに対して設けることにより、同じ文字でも文字つぶれの生じやすさなどに応じて適切な変位を実現できる。

　ここでフォントの形状は既存のものに限らず、変位させることを前提として別途生成しておいてもよい。例えば変位させる方向において高い分解能で文字が視認され、実際の表示より線幅が狭く見えることを想定し、フォント上での線を太くしたり、他の線とのバランスを調整したりすることが考えられる。このような場合を含め変位規則の設定に当たっては、様々な解像度や文字サイズで実際に文字を変位させて、最も視認性がよい条件を導出しておくことが望ましい。

　これまで述べたように本実施の形態では、少なくとも表示画像上で文字を変位させることにより、表示装置の解像度や文字のサイズが小さい場合の視認性への影響を抑えることができる。その観点において、用いるフォントデータは、ビットマップフォントとアウトラインフォントのいずれでもよいが、特にビットマップフォントを用いた場合、サンプリング点の分布を工夫することにより、文字の輪郭をさらにはっきり見せることができる。

　図９は、ビットマップのフォントデータを用いて表示画像の画素値を決定する手法の例を説明するための図である。同図（ａ）、（ｂ）はどちらも、フォント画像５０と表示画像５２を側面から見た状態を模式的に示しており、各面において等間隔で示された太線が画素の境界を示している。フォント画像５０の画素が表示画像５２の画素より細かい場合、表示画像５２の１画素に、フォント画像５０の複数の画素が対応する。図示する例では、フォント画像５０の２つの画素５６ａ、５６ｂが、表示画像５２の１つの画素５４に対応している。

　ここでフォント画像５０の画素５６ａ、５６ｂの値をｐ１およびｐ２とすると、表示画像５２の画素５４の画素値Ｃを次のように決定できる。
　Ｃ＝（ｐ１＋ｐ２）／２
ただし上記は１次元での画素の対応のみを考慮している。図の奥行き方向を含めた２次元を考慮し、フォント画像５０の２×２＝４個の画素が、表示画像５２の画素５４に対応する場合、当該４つの画素値の平均値を、画素５４の画素値Ｃとする。

　あるいはフォント画像における周囲の画素を加味して、画素値Ｃを次のように求めてもよい。
　Ｃ＝ｐ０／４＋ｐ１／２＋ｐ２／４
ここでｐ０は、フォント画像の画素５６ａに隣接する画素である。ただしこの場合も、実際には図の奥行き方向を含めた２次元でフォント画像を参照し画素値の決定に用いる。すなわち表示画像の１つの画素に対し、それに対応するフォント画像上の位置を中心とした所定範囲に含まれる画素値を用いて畳み込み演算を行うことにより、表示画像の画素値を決定できる。

　このような手法によれば、文字の輪郭近傍の画素については、文字の色と背景色がブレンドされた画素値が得られる。結果として文字の輪郭がぼやけ、ジャギーを目立たせないようにできる。一方、上述した手法により文字を変位させて線を見やすくするためには、各フレームにおける文字の輪郭が背景に対し際立っていることが望ましい。そのため文字を変位させている期間は、同図（ｂ）に示すように、フォント画像の参照範囲を狭める。例えば、表示画像５２の画素５４に対応するフォント画像５０の２つの画素５６ａ、５６ｂのうち、画素５６ｂのみを参照し次のように画素値Ｃを決定する。
　Ｃ＝ｐ２

　ただし上述した効果は文字の移動方向のみに作用するため、当該移動方向において参照範囲を狭め、それと垂直な方向については、（ａ）のように文字が停止しているときと同様の参照範囲とする。なお図示する例では表示画像の１つの画素に、フォント画像のちょうど２つの画素が対応していたが、画素の対応関係は特に限定されない。すなわちフォントの縮小率にかかわらず、参照範囲と重みを規定した窓関数５８ａ、５８ｂを、文字の停止／変位によって切り替えたうえ、フォント画像の画素値の畳み込み演算を行えばよい。

　図１０は、２次元方向の文字の変位に対するフォント画像の参照範囲の変化例を模式的に示している。同図は表示画像の１画素に、フォント画像の４×４個の画素ブロックが対応する状況を想定しており、矢印で示す速度ベクトルで文字を変位させたときの参照範囲を、各画素ブロック内の円形または楕円形で示している。ただし当該円形、楕円形は、画素値の決定に用いるフォント画像の参照範囲を概念として表象するものであり、実際には黒丸で示すような離散的なサンプリング点を範囲に応じて決定する。

　まず文字を停止させているとき、画素ブロック２５０ａに円形で示すように、画素ブロックの中心から均等な範囲を参照する。これにより、表示画像上で文字の輪郭近傍に存在する画素は、文字の色と背景の色がブレンドされた色となる。表示画像に対し文字を横方向に変位させる場合、すなわち速度ベクトル（Ｖｘ，０）のときは、画素ブロック２５０ｂ、２５０ｃに楕円形で示すように、速度Ｖｘが大きいほど横方向の参照範囲がより狭まるようにする。表示画像に対し文字を縦方向に変位させる場合、すなわち速度ベクトル（０，Ｖｙ）のときは、画素ブロック２５０ｄ、２５０ｅに楕円形で示すように、速度Ｖｙが大きいほど縦方向の参照範囲がより狭まるようにする。

　表示画像に対し文字を斜め方向に変位させる場合、すなわち速度ベクトル（Ｖｘ，Ｖｙ）のときは、画素ブロック２５０ｆ、２５０ｇ、２５０ｈ、２５０ｉに楕円形で示すように、速度（Ｖｘ^２＋Ｖｙ^２）^１／２が大きいほど速度ベクトルと同方向の参照範囲がより狭まるようにする。なお移動速度の増加に対し参照範囲が小さくなれば、両者の具体的な関係は特に限定されず、例えば反比例でもよいし１次関数や指数関数などでもよい。

　このように文字の速度によってフォント画像の参照範囲を変化させると、低速時には背景色とのブレンドを、高速時には輪郭の明確性を優先でき、速度に応じた人の視覚特性に適合させることができる。なお文字の速度は文字自体の形状やサイズ以外に、他の文字との位置関係などによって最適値を決定してよい。また速度に応じて参照範囲を調整せず、変位させているときは常に、移動方向に所定割合だけ参照範囲を狭めるようにしてもよい。

　これまで述べた態様では、フォント画像上で１つまたは複数のサンプリング点を決定し、その画素値の加重平均をとることで、フレームごとに表示画像の画素値を決定した。一方、サンプリング点の分布を、連続したフレームに対し時間方向に分離することにより、文字を停止させている状態においても、視覚刺激の時間積分機能を利用して認識上でブレンドさせることが考えられる。図１１は、サンプリング点の分布を時間方向に分離する態様におけるサンプリングの様子を模式的に示している。

　図に示す３つの矩形はそれぞれ、各時刻ｔ０、ｔ１、ｔ２において表示画像の１画素に対応するフォント画像上の領域を示しており、例えばいずれも２×２個の画素からなるブロックで構成される。ただしフォント画像と表示画像の画素の境界がずれていても構わない。まず文字を停止させているとき（Ｖ＝０）、画素ブロック２９０ａの中心から等しい距離のサンプリング点を均等に設定する。図示する例では、画素ブロック２９０ａの中心と４頂点との中点Ａ、Ｂ、Ｃ、Ｄの４点をサンプリング点としている。

　このようにサンプリング点を４点とした場合、表示画像の４フレームを１単位とし、１単位の表示時間で、サンプリングした４つの画素値が順に表れるようにする。すなわち当該単位の最初のフレームにおいてサンプリング点Ａの画素値が、２番目、３番目、４番目のフレームにおいて、サンプリング点Ｂ、Ｃ、Ｄの画素値が、それぞれ表示画像の画素値として表れるようにする。すると１単位分のフレームの該当画素を見たユーザには、視覚刺激の時間積分機能によって、サンプリング点Ａ、Ｂ、Ｃ、Ｄの色がブレンドされて見える。文字が停止している限りは、同じサンプリング点の画素値を循環して読み出し、表示する。

　文字を変位させている場合は、図１０で示したのと同様、速度ベクトルの方向に参照範囲を縮小する。このとき画素ブロック２９０ｂ、２９０ｃに示すように、速度Ｖが大きいほど参照範囲がより狭まるようにサンプリング点の分布を調整する。そして停止させている場合と同様、４つのサンプリング点の画素値を、４フレームに渡って順に読み出し、フレームごとに個別に表示させることにより、１単位分のフレームを見たときに、認識上でブレンドされるようにする。

　この場合も、１フレームの表示画像上で、速度に応じた参照範囲の画素値を平均したときと同様の効果が得られる。また１フレームの１画素あたり、フォント画像の１つの画素値を読み出せばよいため、複数の画素値を同時に読み出し、演算するのと比較して処理の負荷を抑えることができる。さらに文字が停止しているか否かに関わらず、短時間に表された色の変化を時間積分して知覚する点で統一されるため、停止状態と変位状態の切り替えによる知覚的な不連続性がなくなる。

　なお図示する例では、フォント画像のサンプリング点を、表示画像の１画素当たり４つとしているが、本実施の形態をそれに限る趣旨ではない。１画素当たりのサンプリング点をＮ個とした場合、Ｎフレームが１単位となる。また、一度に読み出すフォント画像の画素値を複数とし、それらを平均して１フレームの画素値としてもよい。例えばフォント画像の２つの画素値を用いて表示画像の画素値を決定する場合、サンプリングしたＮ個の画素の値をＮ／２フレームで表せばよい。

　上述のように文字を変位させる対象は、表示画像全体としてもよいし一部の領域としてもよい。図１２は、表示画像のうちユーザが注視している領域に限定して文字を変位させる態様における、文字変位制御部８０の機能ブロックの構成を示している。この態様において文字変位制御部８０は、注視点検出部１２０、対象領域決定部１２４、および文字描画部１２６を備える。注視点検出部１２０は、画像処理装置１０と接続した図示しない注視点検出器から、ユーザが表示画面のどこを注視しているかを示す情報を所定のレートで取得する。

　注視点検出器は、眼球に照射した赤外線の反射を検出するなどして、人が見ている対象物のうち注視しているポイントを検出する一般的な装置である。例えば表示装置１６をＨＭＤとする場合、ＨＭＤの内部に注視点検出器を設けることが考えられる。またＨＭＤを装着したユーザの視線に応じた視野で画像を表示する態様においては、表示画像の中心がおよそ注視点であると推定できる。この場合、注視点検出部１２０の機能を省略できる。ただし表示装置１６をＨＭＤに限る趣旨ではなく、様々な形態で注視点を特定できることは、当業者には理解されるところである。

　対象領域決定部１２４は、表示画像において注視点から所定の範囲を、文字を変位させる対象領域として決定する。例えば画面上で注視点を中心とする所定サイズの円や矩形状の領域を対象領域とする。あるいは表示されている内容を踏まえ、注視点を含む記事や項目などを対象領域としてもよい。文字描画部１２６は、対象領域内の文字について設定に従う変位をさせ、その他の領域については停止させた状態で、各文字を描画する。このように文字を変位させる領域を限定的とすることで、ユーザが見ている部分については文字を明確に知覚させる一方、ユーザの認識上、影響のない領域については描画の回数を減らし、処理負荷を軽減させることができる。

　図１３は、表示画像のうち対象領域の文字を変位させる態様における画面の例を示している。表示画面１３０は、線で囲まれた複数の領域１３２ａ、１３２ｂ、１３２ｃのそれぞれに、ニュースの記事を表した構成を有する。これらの領域のうち領域１３２ｂ内にユーザの注視点があった場合、領域１３２ｂ内の文字を変位させる。なお図ではずれた字を重ねて表しているが、実際には上述のとおりフレームごとに微小量ずつ文字の表示位置をずらしていくのであり、ずれた字を同時に表示する趣旨ではない。

　この態様は表示の内容によって対象領域を決定する例である。なお注視点を検出する代わりに、入力装置１４を介してユーザが選択した領域を対象領域としてもよい。図示するように表示画像において領域が明確に分かれている場合は、ポインティングデバイスによる選択を受け付ければよい。なお対象領域内の文字は、フォントデータの設定に従いそれぞれ独立して変位させてもよいし、領域１３２ｂ全体を変位させてもよい。この場合、図８で示したフォントデータにおいて文字ごとに設定したような変位規則を、コンテンツデータにおいて、領域１３２ｂに対し設定しておけばよい。

　また文字の変位は、ユーザが気づかない程度の微小な振動でもよいし、当然認識されるような大きな動きとしてもよい。後者の場合、例えば画面の右端にあった領域１３２ｂが左端まで移動するような大きな変位としてもよい。大きな動きが不自然でない状況を意図的に作りだし、そのような演出の楽しさと文字の読みやすさを同時に達成するようにしてもよい。例えば表示画面１３０に、領域１３２ｂを動かす乗り物を表し、当該乗り物が左右に動くことにより領域１３２ｂが変位するようにしてもよい。図示する例はニュースの記事という、文字情報の表示であったが、ゲーム画面や仮想世界の表示において、文字列を表したオブジェクトを、読みやすさを意図して動かすようにしてもよい。

　次に、これまで述べた構成によって実現できる画像処理装置の動作について説明する。図１４は、本実施の形態の画像処理装置１０が、必要に応じて文字を変位させつつ表示画像を生成、出力する処理手順を示すフローチャートである。まず画像処理装置１０の表示コンテンツ取得部７４は、入力装置１４に対するユーザ操作に基づき、表示するコンテンツのデータを取得する（Ｓ１０）。

　次に表示画像生成部８２は、表示対象のコンテンツの内容を解釈したり処理したりして、表示画像の全体的な構成を決定する（Ｓ１２）。そしてフォントを用いて描画する領域については、文字変位制御部８０にその描画を要求する。文字変位制御部８０は、描画を要求された領域のうち、文字を変位させる対象領域を所定の基準により決定する（Ｓ１４）。対象領域は表示画像全体としてもよいし、注視点やユーザ操作などに応じた一部の領域でもよい。またＳ１４の前処理として文字変位制御部８０は、文字の変位処理を適用するか否かを、所定の基準により判定してもよい。

　本実施の形態では文字を変位させることにより、表示装置の解像度や表示させる文字のサイズなどによって文字つぶれやジャギーが発生するような状況でも読みやすさを維持する。換言すれば、大画面での表示や、画面が小さくても文字数が限定的で文字の縮小を抑えられる場合など、元々読みやすさが確保されている状況では、変位処理自体を省くことができる。またユーザの視力や、表示装置を見ている状況によっても、変位処理の必要／不必要を決定できる。

　変位処理を適用する判定基準として次のものが例示される。
１．表示装置１６の解像度が所定値以下
２．表示対象の文字の画面でのサイズが所定値以下
３．表示対象の文字を表す画素の数が所定値以下
４．ユーザから画面までの距離が所定値以上
５．ユーザの視力が所定値以下
６．画面の速度が０より大きい

　上記４の距離については、表示装置１６の画面近傍に撮像装置を設け、それで撮影したユーザの像の大きさなどからリアルタイムで推定してもよいし、通常状態での値をユーザが事前登録してもよい。５の視力についてもユーザが事前登録しておく。上記６は、ユーザが車中で携帯端末を見ているなど、画面自体が揺れている状況における文字の見にくさを想定している。この場合、文字変位制御部８０は端末内部のモーションセンサの検出値を取得することにより画面の速度を特定すればよい。

　上記基準は単独で適用してもよいし、２つ以上を組み合わせて、見づらさを多角的に評価してもよい。例えば複数の基準について実際の状況に応じたスコアをつけ、その合計スコアに基づき、文字の変位処理を実施するか否かを決定してもよい。このように必要に応じた変位処理の適用により、十分な視認性が得られているものが変位していることによって、却ってユーザに違和感を与えるようなことがなくなる。また描画処理の負荷を抑えられ、消費電力も節約できる。

　次に文字変位制御部８０は、フォントデータ記憶部７８から描画すべき文字のデータを読み出し、表示画像平面における描画先の領域に文字を描画する。ここで描画先が変位対象領域に含まれている場合は（Ｓ１６のＹ）、当該文字を表す領域のうち変位を前提とした位置に文字を描画する（Ｓ１８）。例えば文字を単振動させる場合、その中心など始点となる位置に文字を描画する。描画先が変位対象領域に含まれていない場合は（Ｓ１６のＮ）、当該描画先の領域の中央など基準位置に文字を描画する（Ｓ２０）。なお変位対象の文字も、初回の描画については変位させない文字と同様の基準位置に描画してもよい。文字変位制御部８０は、表示画像中、フォントを用いて描画する文字を全て描画し終えるまでＳ１６からＳ２０の処理を繰り返す（Ｓ２２のＮ）。

　全ての文字を描画し終えたら（Ｓ２２のＹ）、表示画像生成部８２は、それ以外の領域について適宜描画を実施して表示画像を完成させ、そのデータを、出力部８４を介して表示装置１６に出力する（Ｓ２４）。ユーザ操作などにより表示を終了させる必要がない期間は（Ｓ２６のＮ）、Ｓ１２～Ｓ２４の処理を繰り返し、表示終了のタイミングで全処理を終了させる（Ｓ２６のＹ）。なお変位させる文字を除き表示画像が静止している状態においては、Ｓ１２、Ｓ１４、Ｓ２０の処理は適宜省略し、Ｓ１８において変位対象の文字の領域のみ、データを更新すればよい。

　以上述べた本実施の形態によれば、表示画像において文字などの像を、フレームあたり画素領域より小さい微小量だけ変位させたり振動させたりすることにより、視覚刺激の時間積分機能を利用して線を見やすくする。例えば文字フォントに対し、文字全体または一部の線を変位させる規則を対応づけておく。これにより、フォントを用いたフレキシブルな表示を実現できると同時に、解像度や文字サイズの低下による見づらさ、読みづらさを軽減できる。

　また変位の有無や変位速度によって、フォント画像のサンプリングの範囲を調整して、表示画像の画素値を決定する。これにより変位させない文字については輪郭が背景とブレンドされ、変位させる場合は時間積分により輪郭がはっきり視認されるような表示を実現できる。さらに文字を変位させる対象を、注視点を含む領域など所定の基準で決定した領域に限定する。加えて文字の変位処理を適用するか否かを、表示装置の解像度、画面上での文字のサイズ、ユーザの視力、画面までの距離、画面の揺れなど、見づらさに影響を与える基準の少なくともいずれかに基づき決定する。これらのことにより、読みづらさに影響しない領域や状況で変位処理を実施することによる無駄を防ぎ、処理負荷の増大を回避できる。

　以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

　８　携帯端末、　１０　画像処理装置、　１４　入力装置、　１６　表示装置、　７２　入力情報取得部、　７４　表示コンテンツ取得部、　７８　フォントデータ記憶部、　８０　文字変位制御部、　８２　表示画像生成部、　８４　出力部、　１２０　注視点検出部、　１２４　対象領域決定部、　１２６　文字描画部。

　以上のように本発明は、画像表示装置、画像再生装置、ゲーム装置、パーソナルコンピュータ、携帯端末など各種情報処理装置や、それらのいずれかを含む情報処理システムなどに利用可能である。

Claims

　表示画像に表すソース画像のデータと、あらかじめ作成された、表示画像平面に対する前記ソース画像の変位規則とを対応づけたデータを格納する記憶部と、
　前記変位規則に従い前記ソース画像を変位させたうえ、当該ソース画像と表示画像平面との位置関係に基づき、表示画像の画素値を決定する変位制御部と、
　画素値が決定された表示画像のデータを出力する出力部と、
　を備えたことを特徴とする画像処理装置。
　前記記憶部は、前記変位規則として、表示画像の１フレームに対し１画素の領域より小さい変位を生じさせる規則を格納することを特徴とする請求項１に記載の画像処理装置。
　前記記憶部は、前記ソース画像のデータとして文字のフォントを表すデータを、前記変位規則と対応づけて格納し、
　前記変位制御部は、前記変位規則に従い、表示画像における文字を個別に変位させることを特徴とする請求項１または２に記載の画像処理装置。
　前記記憶部は、前記文字のフォントのうち、当該文字を構成する線ごとに前記変位規則を対応づけたデータを格納し、
　前記変位制御部は、前記変位規則に従い、前記線を個別に変位させることを特徴とする請求項３に記載の画像処理装置。
　前記記憶部は、前記変位規則として、表示画像平面に対する振動の規則を、前記ソース画像のデータと対応づけて格納し、
　前記変位制御部は、前記変位規則に従い、表示画像平面に対し前記ソース画像を振動させることを特徴とする請求項１から４のいずれかに記載の画像処理装置。
　前記変位制御部は、表示画像のうち所定の基準で選択した領域内で、前記変位規則に従った変位を実現させることを特徴とする請求項１から５のいずれかに記載の画像処理装置。
　前記変位制御部は、表示画像に対するユーザの注視点に係る情報を取得し、当該注視点を含む所定範囲の領域内で、前記変位規則に従った変位を実現させることを特徴とする請求項１から６のいずれかに記載の画像処理装置
　前記変位制御部は、表示画像を出力する表示装置の解像度、表示画像平面に対する前記ソース画像のサイズ、前記表示装置の画面とユーザとの距離、ユーザの視力、および前記表示装置の速度、の少なくともいずれかに基づき、前記変位規則に従った変位を実現させるか否かを判定することを特徴とする請求項１から７のいずれかに記載の画像処理装置。
　前記変位制御部は、表示画像の各画素値を決定するために参照する前記ソース画像上の範囲の形状を、当該ソース画像の変位の有無によって異ならせることを特徴とする請求項１から８のいずれかに記載の画像処理装置。
　前記変位制御部は、表示画像の各画素値を決定するために参照する前記ソース画像上の範囲を、当該ソース画像を変位させる方向において狭めることを特徴とする請求項１から９のいずれかに記載の画像処理装置。
　ソース画像のデータと、あらかじめ作成された、表示画像平面に対する前記ソース画像の変位規則とを対応づけたデータを格納するメモリから、表示画像の生成に用いるデータを読み出すステップと、
　前記変位規則に従い前記ソース画像を変位させたうえ、当該ソース画像と表示画像平面との位置関係に基づき、表示画像の画素値を決定するステップと、
　画素値が決定された表示画像のデータを出力するステップと、
　を含むことを特徴とする画像処理装置による表示画像生成方法。
　ソース画像のデータと、あらかじめ作成された、表示画像平面に対する前記ソース画像の変位規則とを対応づけたデータを格納するメモリから、表示画像の生成に用いるデータを読み出す機能と、
　前記変位規則に従い前記ソース画像を変位させたうえ、当該ソース画像と表示画像平面との位置関係に基づき、表示画像の画素値を決定する機能と、
　画素値が決定された表示画像のデータを出力する機能と、
　をコンピュータに実現させることを特徴とするコンピュータプログラム。
　画像処理装置が表示画像に文字を描画するために参照するフォントのデータ構造であって、
　表示画像平面に配置され、表示画像の各画素値を決定するために対応する位置の画素値が参照される、文字の形状を表す画像のデータと、前記画像処理装置が、前記配置を変位させるための規則を表した変位規則とを、文字ごとに対応づけたことを特徴とするフォントのデータ構造。