JP5517702B2 - 注目画像閲覧表示方法 - Google Patents

Description

本発明は、時間や所定の順番で作成または撮影された静止画像の中から注目する画像を登録して記録できる注目画像閲覧表示方法に関する。

近年、記憶容量の拡大に伴って、大量の画像データを格納することができる。このため、電子カメラで撮影する利用者は、短時間に大量の撮影を行い、これを記憶させることができる。また、画像診断装置においても、患者の身長方向に沿って所定の間隔で断層写真を撮影し、この大量の画像データを格納している。

これら所定の順番で撮影される大量の画像データは、徐々に変化する近似する画像データが大量に含まれており、これら近似する大量の画像データから必要な、あるいは注目する画像を検索することには大きな課題がある。

従来技術においては、ディスプレイに表示した画像の中から検索すべき画像に類似していると感じられる画像を検索者に選択させながら、検索対象の画像を有効に絞り込み、大量の画像の中から検索者の所望する画像を効率良く検索する画像検索システムが提案されている。

また、他の従来例では、可視領域決定部で決定した可視領域の画像を生成し、この可視画像をディスプレイで表示し、視点位置からある一定値以内に存在する可視領域内のオブジェクトを全て選び出し、その中からウインドウの中心に最も近いものを、情報を表示する選択オブジェクトとして決定することで、注目していない物を選択することがない情報検索システムが提案されている。

特開平９−２０４４４０号公報 特開平１１−２６７１１９号公報

前記従来例では、検索者の注目している注目属性値と、複数の画像の注目属性の属性値とから求められる注目属性値を計算して前記課題を解決しているものの、これらの具体例や検証結果がないため、果して有効な効果が得られるか不明である。また、他の従来例も視線位置を観察しなければならず、実用性に課題が残る。

そこで、本発明の目的とするところは、簡単な手法で時間や所定の順番で作成または撮影された静止画像の中から注目する画像を登録して記録できる注目画像閲覧表示方法を提供することにある。

本発明では、前記課題を解決するために、所定の順番で配列される静止画像を入力操作装置の送りと戻り操作の指示に基づいて表示装置に表示される検索ウインドウ内に順次表示し、これら検索ウインドウ内に表示される静止画像の表示回数または表示時間をカウントし、このカウントされた注目度数を検索ウインドウ内にグラフ形式で表示させるようにする。

本発明によれば、利用者が検索ウインドウで閲覧する静止画像の履歴操作に基づいて、利用者が注目する静止画像を記録しながら閲覧することができる。

情報処理装置の概略構成を示す装置ブロック図である。 検索ウインドウの画面図である。 静止画像データのデータ構成図である。 検索ウインドウ起動時の動作フロー図である。 閲覧時の動作フロー図である。

以下、図１から図５を参照して、この発明に係る検索画像閲覧表示システムを具体的に説明する。ここで、図１は発明に係る検索画像閲覧表示システムを実行する情報処理装置の概略構成を示す装置ブロック図である。図２は検索ウインドウの画面図である。図３は静止画像データのデータ構成図である。図４は検索ウインドウ起動時の動作フロー図である。図５は閲覧時の動作フロー図である。なお、同一の部位や方向などは同一符号を持って示し、重複した説明を省略する。

先ず、図１を参照して、この実施例に係る情報処理装置の概略構成を説明する。図１において、この実施例に係る検索画像閲覧表示システムは、極一般的な情報処理装置１に適用することができる。例えば、図１には、その代表的な情報処理装置の装置ブロック図を示している。この情報処理装置１は、各種の情報を表示することが可能な表示装置１０と、各種の動作プログラムや前記表示装置１０に表示する画面情報などの情報を格納した記憶装置１１と、文字情報の入力や詳細な操作指示を入力することが可能なキーボード１２と、前記表示装置１０に表示されるカーソル１３や操作メニューの操作指示を行う操作指示装置（マウス）１４と、この情報処理装置１の動作を統括的に制御する制御部１５とを含んで構成される。この実施例では、出力装置としての図示しないプリンタや、他の機器との接続やインターネットとの接続を可能とする通信装置や前記操作メニューの操作に基づいて動作する処理部を接続することができる。

また、この実施例では、操作指示装置１４として、左右一対の操作ボタン１６と所定の領域での画面スクロールを可能にするホイール１７とを備えた一般的な座標指示装置であるマウスを用いる。しかし、これに限定されるものでははく、ホイール１７のような所定の領域での画面スクロールを可能とする操作が可能であればよい。

そして、この実施例に係る検索画像閲覧表示システムの大きな特徴の１つは、所定の順番で配列される静止画像５０を操作指示装置１４の送りと戻り操作の指示に基づいて表示装置１０に表示される検索ウインドウ１００内の画像表示領域１１０に順次表示し、これら検索ウインドウ１００内に表示される静止画像５０の表示回数をカウントし、このカウントされた注目度数を検索ウインドウ１００内の表示履歴領域１２０にグラフ形式で表示させる点にある。

即ち、この実施例に係る情報処理装置１では、検索画像閲覧表示システムのプログラムをインストールして実行することができる。制御部１５は前記プログラムに基づいて、この検索画像閲覧表示システムを実行する。

制御部１５は、この検索画像閲覧表示システムが実行されると、図１に示すようなウインドウ１００を表示装置１０に表示する。このウインドウ１００は、閲覧する複数の静止画像５０を表示する画像表示領域１１０と、この画像表示領域１１０で表示される各静止画像５０の表示履歴を表示する表示履歴領域１２０が設けられている。

この実施例で対象とする静止画像データ６０は、所定の順番で配列される複数の静止画像５０の集合体である。例えば、静止画像データ６０としては、時間経過とともに電子カメラで撮影された静止画像データや、画像診断装置における被検者の断層画像データなどである。この実施例では、静止画像データ６０を、複数の静止画像５０と、この複数の静止画像５０を統括するリストデータ７０とから構成する。

これらの静止画像データ６０は、近似する静止画像５０が多数含まれている。例えば、電子カメラの撮影データは、同じ撮影場所で複数枚撮影したり、あるいは、同じアングルで多数撮影することがしばしばおこる。このような近似する静止画像５０が多数ある静止画像データ６０をそのまま記憶装置１１に格納していると、後で検索するのが大変である。一方、必要な静止画像５０だけを残して他の画像を捨てるのも課題が残る。

そこで、この検索画像閲覧表示システムでは閲覧する検索ウインドウ１００に画像表示領域１１０と表示履歴領域１２０とを設け、画像表示領域１１０に表示される静止画像５０の表示履歴を表示履歴領域１２０に残しながら閲覧するようにしている。

また、この検索画像閲覧表示システムでは、所定の順番で配列される静止画像５０を操作指示装置１４の送りと戻り操作の指示に基づいて画像表示領域１１０に順次表示することができる。この実施例では、操作指示装置（マウス）１４のホイール１７に送りと戻り操作を割り当てている。したがって、制御部１５は、カーソル１３が画像表示領域１１０におかれた状態で、ホイール１７の正回転または逆回転を受け付けて、画像表示領域１１０に表示される静止画像５０を上下あるいは左右方向にスクロールさせる。

また、制御部１５は、画像表示領域１１０に表示した各画像データ５０の表示回数をカウントして記憶装置１１の表示履歴データ３０に記録し、この記録内容に基づいて表示履歴グラフ１２１を生成し、これを表示履歴領域１２０に表示させる。この表示履歴グラフ１２１は、縦軸が静止画像データ６０の配列軸１２２、横軸が表示回数軸１２３で示される横棒グラフ形式で表示される。そして、制御部１５は、ホイール１７の操作を、この横棒グラフ形式に反映させる。

この実施例に係る検索画像閲覧表示システムによれば、操作者は、複数の静止画像５０が所定の順番で配列された静止画像データ６０を閲覧する場合、ホイール１７を操作して各静止画像５０を順次閲覧することとなるが、表示される静止画像５０が近似する場合、戻り操作や、送り操作を繰り返して、最良の静止画像５０を選定する。この実施例では、この戻り操作と送り操作の内容が表示履歴グラフ１２１の表示回数１２３に反映される。即ち、この表示回数１２３が大きいほど、選択に迷った、即ち注目される静止画像５０であることが分かる。

したがって、この実施例によれば、再度、この検索画像閲覧表示システムにより静止画像データ６０を閲覧した場合、以前の表示履歴が表示履歴グラフ１２１に反映されているので、注目する静止画像５０を簡単に認識することができる。

また、この実施の形態に係る検索画像閲覧表示システムの大きな特徴の他の１つは、画像表示領域１１０で表示される静止画像５０を表示履歴領域１２０に反映して表示させた点にある。即ち、制御部１５は、画像表示領域１１０に静止画像５０を表示すると、表示履歴グラフ１２１に表示される対応する静止画像５０（配列軸１２２）を強調表示させる。これにより、操作者は、表示履歴領域１２０を見ることにより、画像表示領域１１０に表示されている静止画像５０の所定の順番における位置を認識することができる。

また、この実施の形態に係る検索画像閲覧表示システムの大きな特徴の他の１つは、画像表示領域１１０で表示される静止画像５０の選択操作を受け付けて、その選択された操作を表示履歴グラフ１２１（配列軸１２２）に選択マーク１２４として表示させる点にある。この実施例では、制御部１５は、画像表示領域１１０にカーソル１３がおかれた状態で、操作ボタン１６の操作を受け付けて、この操作に基づいて選択マーク１２４を表示する。

この特徴的な構成によれば、表示回数１２３により注目された複数の静止画像５０の中で選択マーク１２４が復された特定の静止画像５０が選択されたことを認識することができる。

以下、図２から図５を参照して、この検索画像閲覧表示システムを更に詳細に説明する。

先ず、図２を参照して、検索画像閲覧表示システムの特徴的な検索ウインドウ１００を説明する。

図２において、この実施例に係る検索ウインドウ１００は、表示装置１０のディスクトップ上やプログラムファイルなどに配置される図示しない起動アイコンデを操作することで、制御部１５がディスクトップ上に表示するウインドウである。この検索ウインドウ１００は、最上部に、縮小や拡大あるいはプログラム停止などのアイコンが配置されるメインツルーバ１０４を配置し、その下方に、階層表示領域１８０と表示履歴領域１２０と画像表示領域１１０とを左右に並べて配置している。

階層表示領域１８０は、記憶装置１１に格納される静止画像データ６０のツリー構造の階層に合わせて分割表示されるものである。この実施例では、静止画像データ６０が第３階層に格納されているので、制御部１５は、階層表示領域１８０を３分割して、左側に第１階層領域１８１、その右側に第２階層領域１８２、その右側に第３階層領域１８３の領域を生成して、この領域に該当するデータフアイルのアイコン２００を表示させる。

ここで、制御部１５は、第１階層領域１８１で表示されるアイコンの１つが選択されると、その選択されたアイコン２００ａの第２階層領域に属するアイコン数２０１ａを、アイコン２００ａの近傍に表示する。同様に、第２階層領域１８２に属するアイコンの１つが選択されると、その選択されたアイコン２００ｂの第２階層領域１８２に属するアイコンの数２０１ｂを、アイコン２００ｂの近傍に表示する。

また、この実施例では、データ数もアイコン数２０１としてカウントする。したがって、第３階層領域１８３に属するアイコン（静止画像データ６０）の１つが選択されると、その選択されたアイコン２００ｃの第３階層領域１８３に属するデータ数（アイコン数２０１ｃ）を、アイコン２００ｃの近傍に表示する。

そして、この実施例に係る制御部１５は、階層表示領域１８０（第３階層領域１８３）のアイコンｃ（静止画像データ６０）が選択されると、本来の第４階層領域に代えて表示履歴領域１２０を表示する。この意味で、表示履歴領域１２０は、階層表示領域１８０の１つということができる。この表示履歴領域１２０は、前記したように、この静止画像データ６０に含まれる静止画像５０が、その所定の配列に合わせて、例えば、縦軸の配列軸１２２として上下に設定、配列され、横軸には、表示回数軸１２３が設定、配置される表示履歴グラフ１２１が表示される。即ち、表示履歴領域１２０には、配列軸１２２を縦軸、表示回数軸１２３を横軸とする横棒グラフの表示履歴グラフ１２１が表示される。

また、配列軸１２２に配列される静止画像５０は、選択操作により選択マーク１２４が近接表示される。更に各棒グラフとして表示される静止画像５０は、画像表示領域１１０に当該静止画像５０が表示されると、強調表示されるとともに、その画像データ名１２５が各棒グラフ上に表示される。

この実施例の画像表示領域１１０は、表示履歴領域１２０の右側に隣接して配置され、原則１つの静止画像５０を表示する。つまり、この画像表示領域１１０に表示される静止画像５０を数えて前記表示回数軸１２３に反映させる。また、この実施例では、静止画像５０の補足情報として、当該静止画像５０の属性データ、例えば、撮影時間や場所、あるいは、撮影者などを補足データ領域１１１に表示するとともに、静止画像５０の画像データ名１２５も表示する。

なお、この実施例では、画像表示領域１１０に原則として１つの静止画像５０するようにしているが、画像表示領域１１０を複数に分割し、この分割した領域に順次表示されるように複数の静止画像５０を表示したり、あるいは、スクロールに際し、画像表示領域１１０に複数の静止画像５０が同時に表示されるようにスクロール表示してもよい。この場合、主体となる表示領域を設定し、この主体となる表示領域が他の領域と区別されるようにする。

次に、図３を参照して、静止画像データ６０のデータ構成を説明する。ここで、図３は静止画像データ６０のデータ構成図である。

図３において、この実施例に係る静止画像データ６０は、複数の静止画像５０と、この複数の静止画像５０の各種データをまとめたリストデータ７０とを含んで構成される。制御部１５は、静止画像データ６０が選択されると、当該選択された静止画像データ６０リストデータ７０を読み込んで、このリストデータ７０に基づいて、表示したり、あるいは書き込みを行う。

複数の静止画像５０は、それぞれが独自の画像データ名１２５で識別され、特定のデータファイルに格納される。リストデータ７０は、複数の静止画像５０をリスト形式に格納するデータであり、１つの静止画像５０に対して、その画像データ５０の格納場所１２９と、特定の配列軸１２２に対応した複数の配列データ１２７と、各静止画像５０に対応した補足データ１２８などを含んで構成される。

配列データ１２７は、配列軸１２２に配列される順番を特定するためのものであり、この実施例では、第１配列データ１２７ａと第２配列データ１２７ｂが準備されている。この第１配列データ１２７は１個に特定することもできるし、設定により、更にその個数を拡張することができる。このシステムでは、表示する順番が重要であり、表示の順番が異なると、その表示回数はあまり意味を持たない。そこで、補足データ１２８に含まれる特定のデータをソートして、このソートで特定される順番を配列順序とすることができる。

配列データ１２７は、前記したソート名に対応する配列名１３０と、その配列名１３０における当該画像データ５０の配列順序１３１と、表示回数１３２と、選択の有無１３３を含んで構成される。ここで、配列名１３０は、表示履歴領域１２０に表示される表示履歴グラフ１２１の名前に対応し、配列順序１３１は配列軸１２２、表示回数１３２は表示回数軸１２３、選択の有無１３３は選択マーク１２４の表示の有無に対応する。

次に、図１から図３を参照しながら、図４と図５を基に、検索画像閲覧表示システムの動作フローを説明する。ここで、図４は動作起動時の動作フロー図である。図５は閲覧時の動作フロー図である。

図４において、この実施例の制御部１５は、図示しない起動アイコンが操作されると、図２の検索ウインドウ１００を表示する（ステップ３００）。ここで、起動時の検索ウインドウ１００は、第１階層領域１８１のアイコン２００しか表示していない。制御部１５は第１階層領域１８１のアイコン２００の１つが選択されるか否かを監視している（ステップ３０２）。そして、制御部１５は、１つのアイコン２００が選択されると、当該アイコン２００の階層を検索して（ステップ３０４）、下位階層（ｎ＋１）の有無を判定する（ステップ３０６）
そして、下位階層があれば、このシステムに対応するデータか否かを判定し（ステップ３０８）、対応するデータであれば、選択されたアイコン２００のデータ数（静止画像５０）を選択されたアイコン２００の近傍にアイコン数２０１として表示する（ステップ３１０）とともに、対応するリストデータ７０を読み込んで画像表示領域１１０と表示履歴領域１２０を生成し（ステップ３１２）、閲覧操作の指示を待機し（ステップ３１４）、その指示を実行する（ステップ３１６）。

一方、ステップ３０８において、選択されたアイコン２００が、このシステムに対応するデータでない場合は、下位階層の領域（第２階層領域１８２）を生成して（ステップ３２０）、この生成した下位階層（ｎ＋１）に検索したアイコン２００（フォルダやファイル）を表示する（ステップ３２２）とともに、選択されたアイコン２００ａ（第１階層領域１８１（ｎ）において）の近傍に検索されたアイコン数２０１ａを表示して（ステップ３２４）、ステップ３０２に移行させる。

次に、図５において、制御部１５は、表示履歴領域１２０の生成に当たり、リストデータ７０に登録された静止画像５０の数を配列軸１２２に割り当て、その配列順位１３１にしたがって静止画像５０を配列軸１２２に割り当てる（ステップ３５０）。そして、画像表示領域１１０には配列順位１３１の最初の静止画像５０とその画像データ名１２５及びあらかじめ設定される補足データ１２８を補足データ領域１１１に表示する（ステップ３５２）。

そして、制御部１５は、操作指示装置（マウス）１４の操作（ステップ３５４）と、操作ボタン１６の操作（ステップ６４）を監視している。先ず、制御部１５は、ホイール１７の所定量の変化、即ち、正回転（送り）及び逆回転（戻り）に対応して、画像表示領域１１０に表示される静止画像５０を切り替える（ステップ３５６）とともに、表示される静止画像５０に合わせて表示履歴グラフ１２１の所定の位置を強調表示し、かつ画像データ名１２５を表示する（ステップ３５８）。更に、リストデータ７０の各表示回数１３２の表示数を書換え（ステップ３６０）、かつ、その表示回数１３２に合わせて表示履歴グラフ１２１を更新する（ステップ３６２）。

また、制御部１５は、カーソル１３が画像表示領域１１０にある場合の操作ボタン１６の操作を監視し（ステップ３６４）、操作ボタン１６の操作があれば、リストデータ７０の選択の有無を、「有」「無」の順で順に書きかえる（ステップ３６６）とともに、有の場合は、選択マーク１２４を所定の位置に表示する（ステップ３６８）。

このように、この実施例では、利用者が検索ウインドウ１００で閲覧する静止画像５０の履歴操作に基づいて、利用者が注目する静止画像を記録し、これに基づいて検索することができる。特に、この実施例では、最初の閲覧の記録が、そのまま履歴情報として登録されるので、再度閲覧した場合、以前の表示履歴が表示履歴グラフ１２１に反映されているので、注目する静止画像５０を簡単に認識することができる。しかも、以前重要と判断した静止画像５０は選択マーク１２４が付されているので、容易に把握することができる。更に、これらの静止画像データ６０は、第三者に送付することで、送付された利用者は、送付者の閲覧履歴を表示履歴グラフ１２１や選択マーク１２４で知ることができるので、閲覧する際に便利である。

なお、この実施例では、画像表示領域１１０に表示される静止画像５０の表示回数を表示履歴グラフ１２１に反映させているが、表示時間を加算するようにしてもよい。

また、この実施例では、静止画像データでの利用を説明したが、動画像でも適用することができる。この場合、送りと戻り操作を手動でできるようにする。

１…情報処理装置、１０…表示装置、１１…記憶装置、１２…キーボード、１３…カーソル、１４…操作指示装置（マウス）、１５…制御部、１６…操作ボタン、１７…ホイール、
３０…履歴データ、５０…静止画像、６０…静止画像データ、７０…リストデータ、１００…検索ウインドウ、１０４…メインツルーバ、１１０…画像表示領域、１１１…補足データ領域、１２０…表示履歴領域、１２１…表示履歴グラフ、１２２…配列軸、１２３…表示回数軸、１２４…選択マーク、１２５…画像データ名、１２７…配列データ、１２８…補足データ、１２９…格納場所、１８０…階層表示領域、１８１…第１階層領域、１８２…第２階層領域、１８３…第３階層領域、２００…アイコン、２００ａ…アイコン、２０１ａ…アイコン数

Claims (1)

1. 各種の情報を表示することが可能な表示装置と、各種の動作プログラムや前記表示装置に表示する画面情報などの情報を格納した記憶装置と、文字情報の入力や詳細な操作指示を入力することが可能なキーボードと、前記表示装置に表示されるカーソルや操作メニューの操作指示を行う操作指示装置と、この情報処理装置の動作を統括的に制御する制御部とを含んで構成される情報処理装置に適用される注目画像閲覧表示方法であって、
   前記記憶装置に格納された画像データは、複数の静止画像と、この複数の静止画像を統括するリストデータとを含んで構成し、
   前記表示装置に、
   前記画像データをツリー構造の階層に合わせて分割表示した階層表示領域を表示し、
   前記階層表示領域内の対応するデータが選択された場合に、前記記憶装置に格納された所定の順番で配列される複数の棒グラフとして表示される静止画像を前記操作指示装置の送りと戻り操作の指示に基づいて、前記階層表示領域内に表示される表示履歴領域に順次表示し、
   前記操作の指示に基づいて選択された前記棒グラフとして表示される静止画像の前記静止画像を、画像表示領域に表示し、
   前記画像表示領域に表示される前記静止画像の表示回数をカウントし、このカウントされた表示回数を該表示履歴領域内に複数の棒グラフ形式で表示し、
   前記カウントした表示回数を前記リストデータに更新しながら、その表示回数を前記棒グラフに反映して表示させる
   ことを特徴とする注目画像閲覧表示方法。

Images