JP5168619B2 - 画像表示データ生成装置及び画像表示データ生成方法 - Google Patents

Description

本発明は、ディスプレイなどの表示装置に画像を表示させるための画像表示データを生成する画像表示データ生成装置及び画像表示データ生成方法に関するものである。

近年、スキャナの低価格化や、いわゆるｅ−文書法の施行などに伴って、グラフィックや紙文書をスキャナによって画像として読み込んで電子化することが広く行われるようになっている。グラフィックや紙文書を画像データファイルとして電子化することで、それらを少ないスペースで保管することができる。

しかしながら、画像データファイルの数が多くなると、ハードディスク等の記録媒体の中から、目的の画像データファイルを見つけ出すことが困難になる。

そこで、記録媒体の中に記録されている複数の画像データファイルにそれぞれ基づく画像を、サムネイルと呼ばれる縮小画像として一覧表示するファイル管理用のソフトウエアが広く出回るようになってきた。かかるソフトウエアによれば、ディスプレイに一覧表示されたサムネイルによって個々の画像を大雑把に判別することで、僅かにイメージとして残っている曖昧な記憶を頼りにして目的の画像データファイルを容易に見つけ出すことができる。画面に表示されているサムネイルが目的の画像であることを確信したユーザーは、そのサムネイルをマウスでクリックすることで、画像表示ソフトを起動させて画像の詳細をディスプレイに表示させることも可能である。

このようなサムネイル一覧表示を利用した装置としては、たとえば特許文献１に記載の情報探索装置が知られている。

特許第３６１４２３５号公報

ところが、従来のサムネイル一覧表示においては、一覧表示におけるどこからどこまでの範囲を確認済みなのかが解り難いため、スクロールの操作を誤るとサムネイルの確認作業が繁雑になってしまう。具体的には、画像データファイルの数が多い場合には、それらにそれぞれ対応する全てのサムネイルを同時に画面に表示することができない。このため、一覧における一部の領域のサムネイルだけが画面に表示されることになる。ユーザーは、必要に応じてマウスなどを操作して一覧中の表示領域をスクロールすることで、それまでは画面から外れていたサムネイルを表示させる。このスクロールの操作を誤って表示領域を高速で一気にスクロールしてしまうと、そのスクロールの間に画面上を高速で通過させてしまったサムネイルについては再確認する必要がある。この場合、表示領域を逆方向に一気にスクロールして誤操作前の状態に瞬時に戻すのが理想であるが、どの程度まで逆方向にスクロールすれば元に戻せるのかが解らない。このため、直前に見た覚えのあるサムネイルにたどり着くまで、逆方向にゆっくりとスクロールしながらサムネイルを１つずつ確認していくことになる。更に、その後も未確認のサムネイルを確認する必要がある場合には、スクロール方向を順方向に戻して未確認の領域まで表示領域を移す必要がある。この場合にも、どの程度までスクロールすれば未確認の領域にたどり着けるのかが解らないため、順方向にゆっくりとスクロールしていき、しばらくの間は既に確認済みのサムネイルを確認するという無駄な作業が発生してしまう。

本発明は、以上の背景に鑑みなされたものであり、その目的とするところは、次のような画像表示データ生成装置や画像表示データ生成方法を提供することである。即ち、一覧中の個々の画像について、確認済みであるか否かをユーザーに容易に判別してもらうことが可能な画像一覧イメージを生成することができる画像表示データ生成装置等である。

上記目的を達成するために、請求項１の発明は、複数の画像データファイルにそれぞれ基づく複数の画像を並べて配設した画像一覧イメージを構築するイメージ構築手段と、該画像一覧イメージの全領域又は一部領域を画像表示手段に表示させるための表示データを出力した後、該画像一覧イメージの全領域のうち、該画像表示手段の画面上での表示領域を移動させるためのスクロール操作がユーザーによってなされたことに基づいて、該画像一覧イメージの全領域のうち、該スクロール操作に応じた領域だけを該画面に表示させるための表示データを出力する表示データ出力手段とを備える画像表示データ生成装置において、上記スクロール操作によって上記表示領域が所定量だけ移動される毎に、上記画像一覧イメージに含まれる複数の画像のうち、該表示領域に存在している画像についてそれぞれ、画像中心と上記画像表示手段の画面中心位置との距離を算出し、算出結果に基づいて、ユーザーによる確認が行われたか否かを示す指標となる既視度を算出する既視度算出手段と、前記既視度が算出された画像についてそれぞれ、算出結果がそれまでの値よりも小さくない場合に該算出結果を新たな既視度として更新する手段と、前記既視度が算出された画像についてそれぞれ、前記既視度の算出結果に応じて該画像一覧イメージ内の画像を補正するイメージ補正手段とを設けたことを特徴とするものである。
また、請求項２の発明は、請求項１の画像表示データ生成装置において、上記画像一覧イメージに含まれる複数の画像のうち、上記表示領域に存在している画像についてそれぞれ、上記スクロール操作によって上記所定量だけ移動せしめられた後、次に上記所定量だけ移動せしめられるまでの時間を表示時間として２値のデータで算出し、算出結果が大きくなるほど上記既視度を大きくする処理を実施するように、上記既視度算出手段を構成するとともに、該既視度が大きくなるほど画像の補正の度合いを大きくする処理を実施するように、上記イメージ補正手段を構成したことを特徴とするものである。
また、請求項３の発明は、請求項１又は２の画像表示データ生成装置において、上記画像一覧イメージに含まれる複数の画像のうち、上記表示領域に存在している画像についてそれぞれ、上記既視度を算出する際に、表示倍率が大きくなるほど上記既視度の算出結果を大きくする処理を実施するように、上記既視度算出手段を構成するとともに、該既視度が大きくなるほど画像の補正の度合いを大きくする処理を実施するように、上記イメージ補正手段を構成したことを特徴とするものである。
また、請求項４の発明は、請求項１乃至３の何れかの画像表示データ生成装置において、上記画像一覧イメージとして、複数の上記画像のそれぞれに個別に対応する目印画像を、画像内又は画像周囲に付したものを構築するように上記イメージ構築手段を構成するとともに、上記既視度に応じて該目印を補正する処理を実施するように、上記イメージ補正手段を構成したことを特徴とするものである。
また、請求項５の発明は、請求項１乃至４の何れかの画像表示データ生成装置において、複数の上記画像データファイルと、それぞれの画像データファイルに対応する上記既視度とを関連付けて格納する画像データベースを構築するデータベース構築手段を設け、該画像データベースのデータに基づいて上記画像一覧イメージを構築するように、上記イメージ構築手段を構成したことを特徴とするものである。
また、請求項６の発明は、請求項５の画像表示データ生成装置において、ユーザーによる初期化操作に基づいて上記既視度を初期化するように、上記既視度算出手段を構成したことを特徴とするものである。
また、請求項７の発明は、複数の画像データファイルにそれぞれ基づく複数の画像を並べて配設した画像一覧イメージを構築するイメージ構築工程と、該画像一覧イメージの全領域又は一部領域を画像表示手段に表示させるための表示データを出力した後、該画像一覧イメージの全領域のうち、該画像表示手段の画面上での表示領域を移動させるためのスクロール操作がユーザーによってなされたことに基づいて、該画像一覧イメージの全領域のうち、該スクロール操作に応じた領域だけを該画面に表示させるための表示データを出力する表示データ出力工程とを実施する画像データ処理方法において、上記スクロール操作によって上記表示領域が所定量だけ移動される毎に、上記画像一覧イメージに含まれる複数の画像のうち、該表示領域に存在している画像についてそれぞれ、画像中心と上記画像表示手段の画面中心位置との距離を算出し、算出結果に基づいて、ユーザーによる確認が行われたか否かを示す指標となる既視度を算出する既視度算出工程と、前記既視度が算出された画像についてそれぞれ、算出結果がそれまでの値よりも小さくない場合に該算出結果を新たな既視度として更新する工程と、前記既視度が算出された画像についてそれぞれ、前記既視度の算出結果に応じて該画像一覧イメージ内の画像を補正するイメージ補正工程とを設けたことを特徴とするものである。

これらの発明においては、画像表示手段の画面における画像一覧イメージの表示領域を変えるためのスクロール操作に基づいて、画像一覧イメージに含まれる個々の画像についてそれぞれ、ユーザーによる確認がなされたか否かの指標となる既視度を算出する。そして、既視度に応じて画像一覧イメージ中の画像を補正することで、ユーザーによる確認がなされた可能性が高くなるほど、画像を目立ち易くしたり、逆に目立ち難くしたりすることが可能である。これにより、画像一覧イメージ内の個々の画像について、確認済みであるか否かをユーザーに容易に判別してもらうことができる。

以下、専用のファイル管理ソフトウエアのインストールにより、本発明を適用した画像表示データ生成装置としてパーソナルコンピュータ（以下、パソコンという）を機能させた場合を例にして、本発明の実施形態を説明する。
実施形態に係る画像表示データ生成装置は、近年、一般家庭への普及が急速に進んでいるスキャナ搭載型のＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｒｉｎｔｅｒ）のハードディスク内に記録された画像データファイルに基づいて、画像一覧イメージを生成することが可能になっている。

図１は、実施形態に係る画像表示データ生成装置１と、その周辺機器とを示すブロック図である。画像表示データ生成装置１には、入力手段たるキーボード１０１やマウス１０２が接続されており、これらがユーザーによって操作されることで、ユーザーからの指示を受け付ける。また、画像表示データ生成装置１には、画像表示手段たるディスプレイ１０３や、スキャナ搭載型のＭＦＰ１００なども接続されている。なお、ＭＦＰ１００は、図示しない記録媒体としてのハードディスクを内蔵しており、スキャナによって読み込んだ画像データをビットマップ形式、ＪＰＥＧ形式、ＧＩＦ形式などの画像データファイルとしてハードディスク内に記録する。

ユーザーがキーボード１０１やマウス１０２を操作して上述のソフトウエアを起動すると、画像表示データ生成装置１は、ネットワークケーブルを介してＭＦＰ１００に対してハードディスク内にアクセスして、そのファイル格納状況の情報を取得する。そして、ディスプレイ１０３に、そのファイル格納状況を表示させる。ユーザーは、ディスプレイ１０３の表示を参照しながら、ＭＦＰ１００のハードディスク内において、所望のファイルが格納されているディレクトリ（フォルダ）を指定する。ディレクトリが指定されると、画像表示データ生成装置１はネットワークケーブルを介してＭＦＰ１００に対して指定ディレクトリ内に格納されている画像データファイルの送信要求信号を送る。ＭＦＰ１００は、その送信要求信号に基づいて、指定ディレクトリ内に格納されている全ての画像データファイルを画像表示データ生成装置１に送る。

画像表示データ生成装置１は、ＭＦＰ１００から送られてきた全ての画像データファイルを、自らのハードディスク内のテンポラリファイル格納領域に記録する。そして、それらの画像データファイルにそれぞれ基づく画像を展開及び加工しながら、それぞれの画像をマトリクス状に並べた画像一覧イメージを構築する。そして、その画像一覧イメージの一部の領域をディスプレイ１０３に表示させる。

図２は、画像表示データ生成装置１によって構築される画像一覧イメージを示す模式図である。同図において、マトリクス状に並ぶ小さな矩形は、それぞれ個別の画像データファイルに基づいて生成された画像Ｉｃを示している。また、図中の太線ｆで囲まれた領域は、画像一覧イメージの全領域のうち、ディスプレイ１０３に表示される表示領域を示している。図示の例では、縦２個×横３個の６個の画像を含む表示領域になっているが、ユーザーの操作により、最大で縦４個×横６個の画像を含む表示領域とすることが可能である。表示領域の大きさは変わらないので、表示領域内の画像の個数が増えるほど、個々の画像はより低い解像度且つより低い倍率で表示される。

ユーザーは、キーボード１０１やマウス１０２を用いて、表示領域を縦方向や横方向にずらしたり、表示領域内の画像表示数を増減したり（画像の表示倍率を増減）する。具体的には、ユーザーは、マウス１０２を動かすことでディスプレイ１０３の画面中に表示されるマウスポインタを画面中で移動させることができる。また、マウス１０２を用いた周知のドラッグ操作（切替操作）により、表示領域を縦方向や横方向にずらす、即ち、縦方向や横方向のスクロールを行うことができる。また、マウス１０２のホイールを回転させることで（切替操作）、画像の表示倍率を増減（これに伴って画像の表示個数が増減）することができる。

図３は、画像表示データ生成装置１によって発揮される各機能を、各種の機器として捉えた場合における機器の接続状態を示すブロック図である。なお、画像表示データ生成装置１は、実際には、画像表示データを生成するための専用の装置として製造されているのではなく、パソコンが専用のソフトウエアを起動することで画像表示データ生成装置としての機能を発揮している。このため、実際には、パソコンのＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ハードディスクなどが、同図に示される各種の機器の役割を担っている。

同図において、図示しないＭＦＰから送られてきた複数の画像データファイルは、画像配置手段２に入力される。画像配置手段２は、それらの画像データファイルに基づいて複数の画像を展開及び加工しながら、得られた画像をマトリクス状に展開して、画像一覧イメージを構築する。即ち、イメージ構築手段として機能している。

表示位置決定手段３は、ユーザーの操作情報に基づいて、画像一覧イメージのディスプレイ画面上における表示領域を決定する。また、既視度算出手段５は、ユーザ−の操作情報に基づいて、画像一覧イメージに含まれる個々の画像についてそれぞれ、既視度を算出する。既視度とは、ユーザ−が既にその画像を確認した否かを多値的に示す指標である。画像一覧イメージにおいては、画像の個数が非常に多くなってくると、一覧の全領域のうち、どこからどこまでの範囲を確認済みであるのかについて、判断することが非常に困難になる。たとえディスプレイ１０３の画像に表示中の領域であっても、その表示領域内にある全ての画像を確認したのか否かでさえ、解らなくなることもある。そこで、各画像についてそれぞれ既視度を算出する。そして、加工手段４が、既視度算出手段５による既視度の算出結果に基づいて、各画像に対して後述するような補正を行うようになっている。

既視度算出手段５による既視度の算出は、次のようにして行われる。即ち、ディスプレイ１０３の画面上における表示領域の中心（矩形状の画面の重心）から、画像の中心までの距離ｄ［ｐｉｘｅｌ］、画像の拡大率ｚ［倍］、表示時間ｔ［秒］などに基づいて、既視度が算出される。拡大率ｚは、ディスプレイ１０３に最大で元の画像と等倍の画像が表示されることから、０〜１の範囲となる。また、表示時間ｔは、各画像についての累積的な表示時間ではなく、スクロール１回当たりの表示時間を２値のデータで示すものである。詳しくは、ワードプロセッサにおけるスクロールが行単位で行われるのが一般的であるように、この画像表示データ生成装置１のディスプレイ１０３における表示領域のスクロールも、例えば数十画素などといった所定の画素数の単位で行われる。このようなスクロールでも、短時間で連続して行われると、画面上を流れるようなスムーズな画像の移動が視認される。１回のスクロールが行われた直後に、表示時間ｔの計時が開始される。そして、計時結果が所定時間（例えば０．５秒）に達する前に次のスクロールが行われた場合には、表示時間ｔが０として取り扱われる。また、次のスクロールが行われる前に計時結果が所定時間に達した場合には、表示時間ｔが１として取り扱われる。

図４は、ディスプレイ１０３の画面と、距離ｄとの関係を示す模式図である。図示のように、距離ｄは、画面の中心から画像の中心（矩形の重心）までの長さであり、その単位はｐｉｘｅｌ［画素］となっている。画面の幅をＷとすると、既視度ｃは、次式のように求められる。

この式における右辺の第１項の値は、距離ｄが小さくなるほどプラス側に大きくなっていく。距離ｄは、画面の中心から画像の中心までの長さであるが、仮に画面の中心から画面の左右端までの長さとしてみると、右辺の第１項の値はゼロとなる。

一般に、ユーザーが注目する画面領域は、画像の中心付近であることが多い。このため、画面の中心付近で閲覧された画像は、ユーザーによって確認された可能性が高くなる。また、拡大率ｚが高くなるほど、表示領域内に表示される画像の数が少なくなるため、ユーザーによって確認された可能性が高くなる。２値データである表示時間ｔは、画像について、ユーザによって確認されたのか、それとも連続的なスクロールによって画面上を通過しただけなのかを示すことになる。

０又は１の値をとる表示時間ｔの判定基準となる所定時間として、デフォルトでは０．５秒が設定されているが、この所定時間は、パソコンに関する熟練度や好みなど、ユーザーの個人差に左右される数字なので、ユーザーによって設定変更が可能になっている。なお、既視度ｃの最大値は、２５５となる。また、既視度ｃは、表示領域内にある画像についてのみ算出される。その算出タイミングは、上述したように、１スクロール毎であるが、算出結果が、それまでの既視度ｃよりも小さい場合には、既視度ｃはそれまでの値のまま更新されないようになっている。

図５は、図３に示した画像配置手段２の内部機能を示すブロック図である。図示のように、画像配置手段２は、特徴量算出手段２ａや座標決定手段２ｂなどを有している。特徴量算出手段２ａは、入力された個々の画像データについて、画像の特徴を示すＮ次元の特徴量ベクトルを算出するものである。一例としては、画像の色情報、エッジ情報、及びテクスチャ情報の３つの特徴を３次元のベクトルとして算出する。

画像内の各画素の色情報は、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の三原色の階調をそれぞれ０〜２５５の２５６階調で示している。三原色の階調が何れも０である場合には、その画素の色は黒となる。また、三原色の階調が何れも２５５である場合には、その画素の色は白となる。このように、各画素には、ｓＲＧＢ表色系の三次元の色情報が割り当てられている。

特徴量算出手段２ａによるエッジ特徴量の算出は、次のようにして行われる。即ち、まず、画像内の画素マトリクスの各画素に対して、図６に示されるような３画素×３画素のフィルタリングマトリクスを用いて、たたみ込み積分を施す。画像内の注目画素に対して、図示のフィルタリングマトリクスにおける中心画素の値（４）を割り当てるとともに、その注目画素の周囲に存在する画素に対して、フィルタリングマトリクスの中心画素の周囲に存在する画素の値を割り当てるのである。このようなたたみ込み積分を画像全体に施して、エッジ画像を得る。その後、所定の閾値（例えば１２８）を用いて２値化する。次に画像全体を１０×１０の同サイズのブロックに等分して、それぞれの中で２値化の閾値を超えていた画素をカウントする、最後にブロックに含まれる全ての画素で除算する。これにより１００次元のベクトルが得られる。

特徴量算出手段２ａによる色特徴量の算出は、次のようにして行われる。即ち、まず、画像を次式に基づいてｓＲＧＢ表色系からＬａｂ表色系の色表現に変換する。

Ｄ６５光源を想定した場合、この式では、Ｘｎ＝９５、Ｙｎ＝１００、Ｚｎ＝１０９となる。このようにしてＬａｂ表色系に変換したら、次に、エッジ特徴量の算出と同様にして、画像を１０×１０のブロックに等分し、それぞれのブロックで平均Ｌａｂを得る。この結果、１００×３＝３００次元のベクトルが得られる。

特徴量算出手段２ａによるテクスチャ特徴量の算出には、周知の濃度共起行列が用いられる。濃度共起行列は、ある小領域において、図７に示すように、濃淡画像の明るさがｋの画素からδ（ｒ，θ）で示される相対位置に１の画素が出現する頻度をｐδ（ｒ，θ）とする。ｓＲＧＢ表色系の画像をグレー画像に変換し、その後、各画素を１６で割って余りを捨てることで１６の階調に量子化する。その後、１６の階調数をｍとして、次式に基づいて１６×１６次元の濃度共起行列を得る。

本実施形態では、δ（１，０）、δ（１，４５）、及びδ（１，９０）の三種類の濃度共起行列を得ているため、最終的に２５６×３＝７６８次元の特徴量ベクトルが得られる。濃度共起行列は画像の周波数情報の概略を示す特徴量であるため、テクスチャ特徴量の算出に用いることが可能である。なお、周波数情報の取得にはフーリエ変換を用いることが可能である。また、ＭＦＰに記憶されている画像データファイルがＪＰＥＧ方式で圧縮されているものであればＤｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍを用いることで、容易に周波数情報を得ることができる。

以上のようにして、最終的には１００＋３００＋７６８＝１１６８次元の特徴量ベクトルが得られる。なお、エッジ情報、色情報、テクスチャ情報は全く尺度の違う値になるため、それぞれのベクトルには個別の重み付けがなされることが望ましい。

座標決定手段２ｂは、個々の画像についてそれぞれ、事前に作成しておいたマトリクス状のマップと、特徴量算出手段２ａによって算出された特徴量とに基づいて、画像一覧イメージ内における位置を決定する。マップとは、画像一覧イメージの全体に対し、特定の大きさで区切られたグリッドの各交点に、特徴量と同じ次元のベクトルを関連づけて記憶したものである。座標決定手段２ｂは、特徴量算出手段２ａによって算出された特徴量ベクトルと最も近いベクトルに関連づけられたグリッドの交点の座標を、入力された画像の座標として出力する。

マップ記憶手段７には、上述のマップが記憶されている。このマップとしては、自己組織化マップが用いられている。複数の多値ベクトルを視覚的に理解しやすいようにマッピングする手法である。その詳細は、「Kohonen, T: Self-organized formation of topologically correct feature maps, Biological Cybernetics, 43:59-69, 1982」などに公開されている。概略を説明すると、まず、最終的な出力画像となる大きな画像を特定の大きさで区切りグリッドを作成する。また、様々な画像を入力し、それぞれ特徴量算出手段２ａと同様に特徴量を算出しておく。各グリッドの交点である各ノードには、入力ベクトルと同じ次元のベクトルＷｘｙｉ（以下、ノードの重みベクトルという）を割り当てる。Ｗｘｙｉに付されている添え字ｘ、ｙは、ノードの行、列を示している。また、添字ｉは、ベクトル固有の値を示している。各重みベクトルには、ランダムな値を入れておく。そして、画像から得られたベクトルに最も近い重みベクトルを持つノードを探す（ｓｔｅｐ１）。このとき、距離のとり方には様々な方法があるが、本実施形態では、ユークリッド距離を用いた。０番目の入力ベクトルに対して、Ｘ行Ｙ列目のノードが最も近かった場合。各ノードの重みベクトルに対し、次式で示される計算を行って重みベクトルを更新する（ｓｔｅｐ２）。

なお、この式において、αは学習率を示す変数であり、本実施形態ではα＝１００としている。

上述したｓｔｅｐ１とｓｔｅｐ２とを繰り返し収束するまで繰り返す。これにより、画像一覧イメージにおいて、互いに特徴量が近い画像はそれぞれ近くに配設され、特徴量が離れている画像同士は互いに遠く離れた位置に配設されることになる。よって、画像一覧イメージの各領域においては、類似した画像が集まっている。ユーザーは、所望する画像に近いと思われる画像を辿っていけば目的とする画像に近づくことができるため、無作為に一枚一枚の画像を確認するのに比べて、より効率的に画像を探索する事が可能となる。

先に図３に示した加工手段４は、画像一覧イメージに配設される個々の画像を、既視度ｃに基づいて補正する。画像が補整された後の画像一覧イメージの一例を図８に示す。画像一覧イメージに含まれる個々の画像Ｉｃは、図９に示すように、矩形状のオリジナル画像部Ｉａと、その周囲を縁状に覆う縁画像部Ｉｂとからなる。オリジナル画像部Ｉａは、画像データファイルに基づく画像がほぼそのままの状態で展開されたものである。縁画像部Ｉｂは、そのオリジナル画像部Ｉａの周囲を覆うように、画像配置手段２によって付加されたものである。

加工手段４は、既視度ｃに基づいて、縁画像部Ｉｂの色を変化させることで、画像Ｉｃを補正する。具体的には、既視度ｃが高くなるほど、縁画像部Ｉｂの色を濃いものに補正する。既視度ｃが初期値である場合には、縁画像部Ｉｂの色がかなり薄いものに設定されている。縁画像部Ｉｂの色として、グレースケール色を採用する場合には、０〜２５５の値をとる既視度ｃの各値に対して、グレースケール色の０〜２５５の階調を割り当てればよい。

図８に示したように、既視度ｃが大きい画像、即ち、ユーザーによって確認された可能性が高い画像は、縁画像部が暗く表示されるため、各画像Ｉｃの縁画像部に着目すれば、各画像Ｉｃについて、確認済みであるか否かを容易に判別することができる。これにより、画像一覧イメージ内のどこからどこまでの範囲を確認したのかについて、ユーザーは容易に認識することができる。

縁画像部Ｉｂの色表現としては、カラーを採用することが望ましい。例えば、既視度ｃを用いて縁画像部Ｉｂの色を次式に基づいて決定すれば、既視度ｃに応じて縁画像部Ｉｂの色相が変わることになるため、既に確認した画像とまだ確認していない画像との差異をより明瞭にすることができる。

１つの画像Ｉｃに対して、既視度ｃを１つずつ算出する例について説明したが、画素毎に既視度を算出して、画像Ｉｃ内における各画素の既視度の合計を画像Ｉｃの全体の既視度ｃとして求めてもよい。また、既視度ｃに応じて縁画像部Ｉｂの色を変化させる例について説明したが、オリジナルの画像そのものの色相を補正してもよい。更には、目印画像としての縁画像部Ｉｂに代えて、画像ファイル名をオリジナル画像部Ｉａの周囲にファイル名画像部として付し、既視度ｃに応じて、目印画像たるファイル名画像部の色や太さを補正してもよい。

画像表示データ生成装置１は、それぞれの画像データファイルのファイル名と、それらに対応する既視度ｃとを関連付けて格納する画像データベースを構築する図示しないデータベース構築を有している。ユーザーによってソフトウエアの起動を終了する旨の操作がなされると、データベース構築手段は、その時に表示されている各画像の既視度ｃに基づいてハードディスク内の画像データベースを更新する。その後、ハードディスク内のテンポラリファイル格納領域に記録していた各画像データファイルを削除する。

ソフトウエアが再び起動されると、画像表示データ生成装置１は、ＭＦＰ１００から送られてくる画像データファイルをテンポラリファイル格納領域に記憶した後、上述したようにして画像一覧イメージを作成する。その後すぐに、画像一覧イメージに含まれる全ての画像について、ハードディスク内の画像データベースに登録されているか否かを検索する。そして、登録されている場合には、その画像に対応する既視度ｃの初期値を、画像データベースに記録されている値に更新し、その値に応じて画像の縁画像部を補正する。このようにすることで、前回の画像一覧イメージに対するユーザーの閲覧履歴を、今回の画像一覧イメージに反映させるのである。

ソフト起動直後の画像一覧イメージにおいて、前回のイメージには含まれていなかった画像の縁画像部の色は、初期値の既視度ｃに対応する薄い色であるため、前回のイメージに含まれていた画像と容易に判別することができる。つまり、ＭＦＰ内に新たに登録された画像が、目立つのである。これにより、ユーザーは、新たにＭＦＰで読み込んだ画像を画像一覧イメージから容易に探し出すことができる。新たに登録された画像の周囲に存在する画像の既視度ｃが比較的小さい値であっても、即ち、新たに登録された画像の周囲の画像が、新たに登録された画像と判別し難い状態にあっても、それら画像の領域は、他の領域に比べて全体として薄くなっていて目立つ。このため、ユーザーは、色の薄い領域だけに着目することで、新たに登録された画像を容易に見つけ出すことができる。

前回の画像一覧イメージにおける個々の画像の既視度ｃを、ソフト起動直後の今回の画像一覧イメージに反映させたくない場合もある。前回の画像一覧イメージでは検索対象としていなかった場合などには、前回の既視度ｃが却って画像検索の妨げになることもあるからである。このような場合、ユーザーは、マウス操作などによって既視度ｃを初期化する旨の操作を行うことで、今回の画像一覧イメージにおける各画像の既視度ｃを初期化することができる。

次に、実施形態に係る画像表示データ生成装置１の変形例について説明する。
実施形態に係る画像表示データ生成装置では、画面の中心から画像の中心までの長さを距離ｄとして用いていたが、この変形例に係る画像表示データ生成装置１では、表１に示すように、状況に応じて、距離ｄの算出方法を切り替えるようになっている。

スクロールがなされておらず、且つ画面上のマウスポインタが停止している場合には、ユーザーが画面の中心付近に注目している可能性が高い。そこで、そのような場合には、実施形態と同様に、画面の中心から画像の中心までを距離ｄとして算出する。

一方、スクロールがなされていないにもかかわらず、マウスポインタが動いている場合には、ユーザーの視線は画像の中心ではなく、マウスポインタを追っている可能性が高い。そこで、このような場合には、表１に示すように、マウスポインタから画像の中心までを距離ｄとして算出する。

また一方、スクロールが行われていて且つマウスポインタが動いている場合、即ち、ドラッグ操作によってスクロールが行われている場合には、ユーザーの視線はマウスのポインタとは別の領域を追っている可能性が高い。例えばユーザーがドラッグ操作によって、表示領域を画面の右側に移そうとする場合、ユーザーの視線は、ドラッグ操作のためにマウスポインタの移動を開始させる時点まではマウスポインタを追っている。ところが、ドラッグ操作が始まると、移動して確認しようとした領域の方向へと視線が移る。このように画面が移動している場合、ユーザーは画面の端に注目していることが多い。そこで、スクロールが行われ且つマウスポインタが動いている場合には、表１に示すように、画面の端部から画像の中心までを距離ｄとして算出する。このように、ユーザーの操作状況に応じて距離ｄの算出方法を切り替えることで、距離ｄを１つの方法で算出する場合に
比べて、ユーザーの画像に対する注目度をより正確に既視度ｃに反映させることができる。

なお、文書画像にＯｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ（以下ＯＣＲ）と呼ばれる文字認識処理を施し、タイトルを抽出してファイル名へ設定したり、テキストの全文検索を可能にしたりと言った事が古くからなされていた。しかし、文書の取得環境が理想的な状態で有ってもＯＣＲの識別率は完全ではなく、一般に文字が大量に含まれる文書に於いてはかなりの数が間違いということになってしまう。例えば仮にＯＣＲの識別率が９８％であるとすると一般的な４００字詰め原稿用紙では８文字間違えてしまうことになる。更に、実際の識別率は文書の種類や撮影条件によって大幅に低下する。このため、検索ワードを含む文書に対して検索を行ってもヒットしないことも多い。更に、文書と雖も文字が殆ど含まれていない文書も数多く存在する。よって、画像一覧イメージによる画像の検索の方が、有利である。

また、帳票画像をサムネイルにて探索することを考えると、特定フォーマットの中に含まれる文字のみが異なるため、縮小画像における見た目は全て同じになってしまうことがある。この場合、従来のサムネイル表示では、ユーザーは、サムネイルの１つ１つを画像表示ソフトで開き、文字が確認できる大きさまで画像を拡大した後、画像表示ソフトを閉じるという操作を繰り返さなければならない。これに対し、実施形態に係る画像表示データ生成装置による画像一覧イメージによれば、目的の画像であるか否かの確証がもてない場合、とりあえずそれを画像表示ソフトで開くことをペンディングにして画面のスクロールを継続しても、注目した画像については既視度ｃをより高くしているため、他の画像を確認した後にスクロールを戻したとしても、ペンディングにしておいた画像を容易に見つけ出すことができる。

また、本発明は、ディスプレイ等の画像表示手段に画像を表示させるための画像表示データを生成する画像表示データ生成手段として、コンピュータを機能させるための、次のようなプログラムを記録した機械読み取り可能な記録媒体にも適用が可能である。即ち、複数の画像データファイルにそれぞれ基づく複数の画像を並べて配設した画像一覧イメージを構築するイメージ構築処理と、該画像一覧イメージの全領域又は一部領域を画像表示手段に表示させるための表示データを出力した後、該画像表示手段の画面での該画像一覧イメージの表示領域や表示倍率を切り替えるための切替操作がユーザーによってなされたことに基づいて、該画像一覧イメージの全領域のうち、該切替操作に応じた領域だけを画像表示手段に表示させるための表示データを出力する表示データ出力処理と、上記画像一覧イメージに含まれる複数の画像についてそれぞれ、上記切替操作に基づいて、ユーザーによる確認が行われたか否かを示す指標となる既視度を算出する既視度算出処理と、該既視度算出工程での算出結果に応じて、該画像一覧イメージ内の画像を補正するイメージ補正処理とを行う手段として、コンピュータを機能させるためのプログラムを記録している記録媒体である。

以上、実施形態に係る画像表示データ生成装置においては、画像一覧イメージ内の画像Ｉｃについて、画像表示手段たるディスプレイ１０３における表示時間ｔを、マウスによる表示領域の指定操作に基づいて算出し、算出結果が大きくなるほど画像Ｉｃにおける既視度ｃを大きくするように、既視度算出手段５を構成している。かかる構成では、画像の表示時間ｔが長くなるほど、その画像Ｉｃについてユーザーによって確認された可能性が高いと推定することで、ユーザーによる確認が行われたか否かを示す指標として、既視度ｃを機能させることができる。

また、画像一覧イメージ内の画像Ｉｃについて、ディスプレイ１０３における表示倍率である拡大率ｚを上記指定操作に基づいて算出し、算出結果が大きくなるほど画像Ｉｃにおける既視度ｃを大きくするように、既視度算出手段５を構成している。かかる構成では、拡大率ｚが大きくなるほど、その画像Ｉｃについてユーザーによって確認された可能性が高いと推定することで、ユーザーによる確認が行われたか否かを示す指標として、既視度ｃを機能させることができる。

また、画像一覧イメージ内の画像Ｉｃについて、ディスプレイ１０３の画面中心位置からの距離ｄを上記指定操作に基づいて算出し、算出結果が小さくなるほど既視度ｃを大きくするように、既視度算出手段５を構成している。かかる構成では、距離ｄが小さくなるほど、その画像Ｉｃについてユーザーによって確認された可能性が高いと推定することで、ユーザーによる確認が行われたか否かを示す指標として、既視度ｃを機能させることができる。

また、表示時間ｔ、拡大率ｚ、距離ｄの何れか１つだけを既視度ｃに反映させるのではなく、それらを組み合わせて反映させることで、既に確認されたか否かという定性的な判断ではなく、どの程度細かく確認されたのかという定量的な判断を行い得る指標として、既視度ｃを機能させることができる。

また、画像一覧イメージとして、複数の画像のそれぞれに個別に対応する目印画像たる縁画像部Ｉｂを、画像周囲に付したものを構築するようにイメージ構築手段を構成するとともに、既視度ｃに応じて縁画像部Ｉｂを補正するように、イメージ補正手段たる加工手段４を構成している。かかる構成では、縁画像部Ｉｂの変化に基づいて、ユーザーに対して既視度ｃを把握させることができる。

また、複数の上記画像データファイルと、それぞれの画像データファイルに対応する既視度ｃとを関連付けて格納する画像データベースを構築するデータベース構築手段を設け、画像データベースのデータに基づいて画像一覧イメージを構築するように、イメージ構築手段たる画像配置手段２を構成している。かかる構成では、前回の画像一覧イメージにおける個々の画像の既視度ｃを、今回の画像一覧イメージに反映させることができる。

また、ユーザーによる初期化操作に基づいて既視度ｃを初期化するように、既視度算出手段５を構成している。かかる構成では、前回の画像一覧イメージでは検索対象としていなかった画像を検索対象とする場合に、前回の既視度ｃが却って画像検索の妨げになってしまうといった事態を回避することができる。

また、変形例に係る画像表示データ生成装置においては、ディスプレイ１０３の画面におけるユーザーの指定箇所を指示するためのマウスポインタを画面に表示させるポインタ表示手段を設けている。そして、マウスポインタの動きに基づいて、既視度ｃの算出法を、画面中心位置からの画像の距離ｄに基づく算出法と、マウスポインタからの画像の距離に基づく算出法とで切り替えるように、既視度算出手段５を構成している。かかる構成では、距離ｄを１つの方法で算出する場合に比べて、ユーザーの画像に対する注目度をより正確に既視度ｃに反映させることができる。

実施形態に係る画像表示データ生成装置と、その周辺機器とを示すブロック図。 画像表示データ生成装置によって構築される画像一覧イメージを示す模式図。 画像表示データ生成装置によって発揮される各機能を、各種の機器として捉えた場合における機器の接続状態を示すブロック図。 ディスプレイの画面と、距離ｄとの関係を示す模式図。 画像配置手段の内部機能を示すブロック図。 フィルタリングマトリクスを示す模式図。 濃淡画像の明るさの相対位置を説明するための模式図。 画像を補正した後の画像一覧イメージを示す模式図。 画像一覧イメージ内の画像を拡大して示す模式図。

符号の説明

１：画像表示データ生成装置
２：画像配置手段（イメージ構築手段）
４：加工手段（表示データ出力手段、イメージ補正手段）
５：既視度算出手段

Claims (7)

1. 複数の画像データファイルにそれぞれ基づく複数の画像を並べて配設した画像一覧イメージを構築するイメージ構築手段と、該画像一覧イメージの全領域又は一部領域を画像表示手段に表示させるための表示データを出力した後、該画像一覧イメージの全領域のうち、該画像表示手段の画面上での表示領域を移動させるためのスクロール操作がユーザーによってなされたことに基づいて、該画像一覧イメージの全領域のうち、該スクロール操作に応じた領域だけを該画面に表示させるための表示データを出力する表示データ出力手段とを備える画像表示データ生成装置において、
   上記スクロール操作によって上記表示領域が所定量だけ移動される毎に、上記画像一覧イメージに含まれる複数の画像のうち、該表示領域に存在している画像についてそれぞれ、画像中心と上記画像表示手段の画面中心位置との距離を算出し、算出結果に基づいて、ユーザーによる確認が行われたか否かを示す指標となる既視度を算出する既視度算出手段と、
   前記既視度が算出された画像についてそれぞれ、算出結果がそれまでの値よりも小さくない場合に該算出結果を新たな既視度として更新する手段と、
   前記既視度が算出された画像についてそれぞれ、前記既視度の算出結果に応じて該画像一覧イメージ内の画像を補正するイメージ補正手段とを設けたことを特徴とする画像表示データ生成装置。
2. 請求項１の画像表示データ生成装置において、
   上記画像一覧イメージに含まれる複数の画像のうち、上記表示領域に存在している画像についてそれぞれ、上記スクロール操作によって上記所定量だけ移動せしめられた後、次に上記所定量だけ移動せしめられるまでの時間を表示時間として２値のデータで算出し、算出結果が大きくなるほど上記既視度を大きくする処理を実施するように、上記既視度算出手段を構成するとともに、該既視度が大きくなるほど画像の補正の度合いを大きくする処理を実施するように、上記イメージ補正手段を構成したことを特徴とする画像表示データ生成装置。
3. 請求項１又は２の画像表示データ生成装置において、
   上記画像一覧イメージに含まれる複数の画像のうち、上記表示領域に存在している画像についてそれぞれ、上記既視度を算出する際に、表示倍率が大きくなるほど上記既視度の算出結果を大きくする処理を実施するように、上記既視度算出手段を構成するとともに、該既視度が大きくなるほど画像の補正の度合いを大きくする処理を実施するように、上記イメージ補正手段を構成したことを特徴とする画像表示データ生成装置。
4. 請求項１乃至３の何れかの画像表示データ生成装置において、
   上記画像一覧イメージとして、複数の上記画像のそれぞれに個別に対応する目印画像を、画像内又は画像周囲に付したものを構築するように上記イメージ構築手段を構成するとともに、上記既視度に応じて該目印を補正する処理を実施するように、上記イメージ補正手段を構成したことを特徴とする画像表示データ生成装置。
5. 請求項１乃至４の何れかの画像表示データ生成装置において、
   複数の上記画像データファイルと、それぞれの画像データファイルに対応する上記既視度とを関連付けて格納する画像データベースを構築するデータベース構築手段を設け、該画像データベースのデータに基づいて上記画像一覧イメージを構築するように、上記イメージ構築手段を構成したことを特徴とする画像表示データ生成装置。
6. 請求項５の画像表示データ生成装置において、
   ユーザーによる初期化操作に基づいて上記既視度を初期化するように、上記既視度算出手段を構成したことを特徴とする画像表示データ生成装置。
7. 複数の画像データファイルにそれぞれ基づく複数の画像を並べて配設した画像一覧イメージを構築するイメージ構築工程と、該画像一覧イメージの全領域又は一部領域を画像表示手段に表示させるための表示データを出力した後、該画像一覧イメージの全領域のうち、該画像表示手段の画面上での表示領域を移動させるためのスクロール操作がユーザーによってなされたことに基づいて、該画像一覧イメージの全領域のうち、該スクロール操作に応じた領域だけを該画面に表示させるための表示データを出力する表示データ出力工程とを実施する画像データ処理方法において、
   上記スクロール操作によって上記表示領域が所定量だけ移動される毎に、上記画像一覧イメージに含まれる複数の画像のうち、該表示領域に存在している画像についてそれぞれ、画像中心と上記画像表示手段の画面中心位置との距離を算出し、算出結果に基づいて、ユーザーによる確認が行われたか否かを示す指標となる既視度を算出する既視度算出工程と、
   前記既視度が算出された画像についてそれぞれ、算出結果がそれまでの値よりも小さくない場合に該算出結果を新たな既視度として更新する工程と、
   前記既視度が算出された画像についてそれぞれ、前記既視度の算出結果に応じて該画像一覧イメージ内の画像を補正するイメージ補正工程とを設けたことを特徴とする画像データ処理方法。

Images