JP5073281B2 - 付箋表示処理装置および付箋表示処理方法 - Google Patents

Description

本発明は、付箋表示処理装置および付箋表示処理方法に関し、特に、付箋紙の画像を表示画面に表示する付箋表示処理装置および付箋表示処理方法に関する。

従来、読取った画像を表示する場合においては、画像の解像度または画像の画素数に基づいて、画像の表示サイズを決定していた。

ここで、特許文献１に記載のシステムは、メモ等をスキャナ等により光電変換して読取り、ページ内の複数の領域内の文字や項目の属性を認識し、認識された文字と項目の属性とを対応付けて記憶管理するものである。

特開平５−２１６９３２号公報

しかしながら、従来の方法においては、解像度・画素数によっては表示サイズが大きくなり過ぎ表示画面上を占領してしまい、一方、解像度・画素数によっては表示サイズが小さくなり過ぎ可読性を損なうという問題点を有していた。

また、従来の方法においては、読取った付箋紙の画像をデスクトップ画面等の表示画面上の適切な位置に表示させる手段を備えておらず、付箋紙の画像の表示のためにアイコン等の表示が隠れてしまうという問題を有していた。

特に、特許文献１に記載のシステムでは、メモ等の画像を読取って記憶管理できるものの、メモ等をどのように表示画面上に構成して表示させるかという手段がないという問題を有する。

本発明は、上記に鑑みてなされたもので、スキャナまたはデジカメなどの画像取得装置から取得したメモ（付箋紙）の画像を、コンピュータのデスクトップなどの表示画面に表示する際に、限りある表示画面の表示領域に効率よく、できるだけ多くの画像を自動的に表示させることができる付箋表示処理装置および付箋表示処理方法を提供することを目的とする。

このような目的を達成するため、本発明の付箋表示処理装置は、画像読取装置と表示装置に接続された、記憶装置と制御装置を少なくとも備えた付箋表示処理装置であって、上記制御装置は、上記画像読取装置を制御して付箋紙の画像を読取る画像読取手段と、上記表示装置の表示画面に表示されるべき上記画像の大きさを調整し、上記表示画面の表示されていない部分に上記画像が表示されるよう上記画像の位置を制御する表示制御手段と、を備えたことを特徴とする。

また、本発明の付箋表示処理装置は、上記記載の付箋表示処理装置において、上記表示制御手段は、上記画像読取手段によって読取られた上記画像の文字領域を判定し、判定された上記文字領域に基づいて上記画像の上記大きさを調整し、上記画像を拡大または縮小して表示されるよう制御する表示サイズ調整手段、を備えたこと特徴とする。

また、本発明の付箋表示処理装置は、上記記載の付箋表示処理装置において、上記表示サイズ調整手段は、読取られた上記画像の個々の文字を矩形で囲むことにより上記文字領域を判定し、上記矩形の面積に基づいて、上記画像の上記大きさを調整すること、を特徴とする。

また、本発明の付箋表示処理装置は、上記記載の付箋表示処理装置において、上記表示制御手段は、上記表示画面の表示領域を複数の区画に分画し、上記表示画面の表示されていない上記表示領域であって、上記調整された上記大きさを表示可能な一つまたは連続した複数の上記区画を検索することにより、上記表示画面に表示されるべき上記画像の上記位置を制御すること、を特徴とする。

また、本発明の付箋表示処理装置は、上記記載の付箋表示処理装置において、上記制御装置は、上記画像から文字情報を認識する文字認識手段、を更に備えたことを特徴とする。

また、本発明の付箋表示処理装置は、上記記載の付箋表示処理装置において、上記画像読取手段は、上記画像読取装置を制御して読取った上記画像の微分処理を行うことにより直線部分を検出し、検出された上記直線部分により構成される多角形のうち最も外側に位置するものを選択し、上記多角形内側の上記画像を抽出することによって、上記付箋紙の上記画像を読取ること、を特徴とする。

また、本発明の付箋表示処理装置は、上記記載の付箋表示処理装置において、上記表示制御手段は、利用者に上記画像の優先度を入力させるよう制御し、上記優先度または上記優先度の順位に応じて、上記画像が強調して表示されるよう制御する強調表示処理手段、を備えたことを特徴とする。

また、本発明の付箋表示処理装置は、上記記載の付箋表示処理装置において、上記表示制御手段は、上記利用者に上記画像に関する日時を指定させるよう制御し、上記指定された上記日時と現在の日時との期間に基づく猶予度に応じて、上記画像が強調して表示されるよう制御する強調表示処理手段、を備えたことを特徴とする。

また、本発明の付箋表示処理装置は、上記記載の付箋表示処理装置において、上記強調表示手段は、表示される上記画像の色、上記画像の枠の色、上記画像の上記文字の太さ、上記指定された上記日時の表示の点滅間隔、上記画像の点滅間隔、または上記指定された上記日時の表示の大きさ、太さ、もしくは色を変化させて表示されるよう制御すること、を特徴とする。

また、本発明の付箋表示処理装置は、上記記載の付箋表示処理装置において、上記画像の上記文字の上記太さを変化させる制御は、上記画像を２値化し、上記２値化された上記画像の黒ドットの周囲に複数の上記黒ドットを追加し、元の上記画像と重ね合わせる制御であること、を特徴とする。

また、本発明の付箋表示処理装置は、上記記載の付箋表示処理装置において、上記制御装置は、上記表示制御手段により上記表示画面に表示された上記画像について、上記利用者に上記画像に関するファイルを指定させ、当該画像と上記指定された上記ファイルをリンクさせるよう制御するリンク制御手段、を備えたことを特徴とする。

また、本発明の付箋表示処理装置は、上記記載の付箋表示処理装置において、上記制御装置は、上記利用者により上記画像情報の削除が指示された場合に、上記指示された上記画像情報を上記記憶装置の履歴保存用フォルダに移動させる履歴情報管理手段、を備えたことを特徴とする。

また、本発明の付箋表示処理方法は、画像読取装置と表示装置に接続された、記憶装置と制御装置を少なくとも備えた付箋表示処理装置において実行される付箋表示処理方法であって、上記制御装置において実行される、上記画像読取装置を制御して付箋紙の画像を読取る画像読取ステップと、上記表示装置の表示画面に表示されるべき上記画像の大きさを調整し、上記表示画面のうち表示されていない部分に上記画像が表示されるよう上記大きさの上記画像の位置を制御する表示制御ステップと、を含むことを特徴とする。

この発明によれば、スキャナやデジカメで取り込んだメモ画像などを自動的に表示画面の空きスペースに適切な大きさ（例えば、視認可能な最小サイズ）で表示させることができる。

以下に、本発明にかかる付箋表示処理装置、付箋表示処理方法およびプログラム並びに記録媒体の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

［本発明の概要］
以下、本発明の概要について説明し、その後、本発明の構成および処理等について詳細に説明する。図１は、本発明の基本原理を示す原理構成図である。

本発明は、概略的に、以下の基本的特徴を有する。すなわち、本発明における本付箋表示処理装置は、図１に示すように画像読取装置１１２と表示装置１１４に接続されて構成される。

そして、本発明の本付箋表示処理装置は、画像読取装置１１２を制御して付箋紙の画像を読取る。

ここで、本発明の本付箋表示処理装置は、画像読取装置１１２を制御して読取った画像の微分処理を行うことにより直線部分を検出し、検出された直線部分により構成される多角形のうち最も外側に位置するものを選択し、多角形内側の画像を抽出することによって、付箋紙の画像を読取るオートクロップ機能を実現するよう構成してもよい。

最後に、本発明の本付箋表示処理装置は、表示装置１１４の表示画面に表示されるべき画像の大きさを調整し、表示画面の表示されていない部分に画像が表示されるよう画像の位置を制御する。

ここで、大きさの調整は、読取られた画像の文字領域を判定し、判定された文字領域に基づいて画像の大きさを調整し、画像を拡大または縮小して表示されるよう制御するよう構成してもよい。また、文字領域の判定は、読取られた画像の個々の文字を矩形で囲むことにより文字領域を判定し、矩形の面積に基づいて、画像の大きさを調整してもよい。

また、ここで、位置の制御は、表示画面の表示領域を複数の区画に分画し、表示画面の表示されていない表示領域であって、調整された大きさを調整可能な一つまたは連続した複数の区画を検索することにより、表示画面に表示されるべき画像の位置を制御してもよい。

また、ここで、画像の表示制御においては、利用者に画像の優先度を入力させるよう制御し、優先度または優先度の順位に応じて、画像が強調して表示されるよう制御するよう構成してもよく、また、利用者に画像に関する日時を指定させるよう制御し、指定された日時と現在の日時との期間に基づく猶予度に応じて、画像が強調して表示されるよう制御してもよい。なお、具体的な強調表示の例については、後に詳細に説明する。

以上が本発明の概要である。ここで、本発明は、更に文字認識機能、リンク機能、またはログ機能を実現するよう構成されていてもよい。

［付箋表示処理装置の構成］
まず、本付箋表示処理装置の構成について説明する。図２は、本発明が適用される本付箋表示処理装置の構成の一例を示すブロック図であり、該構成のうち本発明に関係する部分のみを概念的に示している。図２に示すように、本付箋表示処理装置１００は、画像読取装置１１２と表示装置１１４に接続されて構成される。

図２において、付箋表示処理装置１００は、概略的に、付箋表示処理装置１００の全体を統括的に制御するＣＰＵ等の制御装置１０２、通信回線等に接続されるルータ等の通信装置（図示せず）に接続される通信制御インターフェース部１０４、画像読取装置１１２や表示装置１１４に接続される入出力制御インターフェース部１０８、および、各種のデータベースやテーブルなどを格納する記憶装置１０６を備えて構成されており、これら各部は任意の通信路を介して通信可能に接続されている。

記憶装置１０６に格納される各種のデータベースやテーブル（付箋画像ファイル１０６ａや履歴保存用フォルダ１０６ｂ等）は、固定ディスク装置等のストレージ手段であり、各種処理に用いる各種のプログラムやテーブル、ファイル、データベース等を格納する。

これら記憶装置１０６の各構成要素のうち、付箋画像ファイル１０６ａは、画像読取装置１１２を制御することにより読取られた画像を記憶する付箋画像記憶手段である。

また、履歴保存用フォルダ１０６ｂは、利用者により画像情報の削除が指示された場合に、履歴情報管理部１０２ｈの処理により移動された画像情報を記憶する履歴情報記憶手段である。

また、図２において、入出力制御インターフェース部１０８は、画像読取装置１１２や表示装置１１４の制御を行う。

ここで、画像読取装置１１２は、付箋紙１０等の原稿の画像を読取る画像読取手段（装置）である。具体的には、画像読取装置１１２として、スキャナの他、デジタルカメラ、カメラ機能付携帯電話等を用いてもよい。

また、表示装置１１４は、表示画面に画像を表示する表示手段（装置）である。具体的には、表示装置１１４として、モニタ（家庭用テレビを含む。）等を用いることができる。

また、図２において、制御装置１０２は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、各種の処理手順等を規定したプログラム、および所要データを格納するための内部メモリを有し、これらのプログラム等により、種々の処理を実行するための情報処理を行う。制御装置１０２は、機能概念的に、画像読取部１０２ａ、表示制御部１０２ｂ、文字認識部１０２ｆ、リンク制御部１０２ｇ、履歴情報管理部１０２ｈを備えて構成されている。

このうち、画像読取部１０２ａは、画像読取装置１１２を制御して付箋紙１０の画像を読取る画像読取手段である。ここで、画像読取部１０２ａは、画像読取装置１１２を制御して読取った画像の微分処理を行うことにより直線部分を検出し、検出された直線部分により構成される多角形のうち最も外側に位置するものを選択し、多角形内側の画像を抽出することによって、付箋紙１０の画像を読取るよう構成してもよい。また、画像読取部１０２ａは、選択された多角形の直線部分の傾きから画像を補正するよう構成してもよい。

また、図２に示すように、表示制御部１０２ｂは、表示装置１１４の表示画面に表示されるべき画像の大きさを調整し、表示画面の表示されていない部分に画像が表示されるよう画像の位置を制御する表示制御手段である。ここで、表示制御部１０２ｂは、図２に示すように、表示サイズ調整部１０２ｃ、表示位置制御部１０２ｄ、強調表示処理部１０２ｅを備えて構成されている。

このうち、表示サイズ調整部１０２ｃは、表示装置１１４の表示画面に表示されるべき画像の大きさを調整する表示サイズ調整手段である。ここで、表示サイズ調整部１０２ｃは、画像読取部１０２ａの処理により読取られた画像の文字領域を判定し、判定された文字領域に基づいて画像の大きさを調整し、画像を拡大または縮小して表示されるよう制御してもよい。また、表示サイズ調整部１０２ｃは、読取られた画像の個々の文字を矩形で囲むことにより文字領域を判定し、矩形の面積に基づいて、画像の大きさを調整してもよい。

また、表示位置制御部１０２ｄは、表示画面の表示されていない部分に画像が表示されるよう画像の位置を制御する表示位置制御手段である。ここで、表示位置制御部１０２ｄは、表示画面の表示領域を複数の区画に分画し、表示画面の表示されていない表示領域であって、表示サイズ調整部１０２ｃの処理により調整された大きさを調整可能な一つまたは連続した複数の区画を検索することにより、表示画面に表示されるべき画像の位置を制御してもよい。

また、強調表示処理部１０２ｅは、画像が強調して表示されるよう制御する強調表示処理手段である。ここで、強調表示処理部１０２ｅは、利用者に画像の優先度を入力させるよう制御し、優先度または優先度の順位（以下、「優先順位」と呼ぶ。）に応じて、画像が強調して表示されるよう制御してもよい。また、強調表示処理部１０２ｅは、利用者に画像に関する日時を指定させるよう制御し、指定された日時と現在の日時との期間に基づく猶予度に応じて、画像が強調して表示されるよう制御してもよい。ここで、強調表示処理部１０２ｅは、画像を強調して表示する方法として、表示される画像の色、画像の枠の色、画像の文字の太さ、指定された日時の表示の点滅間隔、画像の点滅間隔、または指定された日時の表示の大きさ、太さ、もしくは色を変化させて表示されるよう制御してもよい。また、ここで、強調表示処理部１０２ｅは、画像の文字の太さを変化させる処理として、画像を２値化し、２値化された画像の黒ドットの周囲に複数の黒ドットを追加し、元の画像と重ね合わせてもよい。

また、図２に示すように、文字認識部１０２ｆは、画像から文字情報を認識する文字認識手段である。

また、図２に示すように、リンク制御部１０２ｇは、表示制御部１０２ｂにより表示画面に表示された画像について、利用者に画像に関するファイルを指定させ、画像と指定されたファイルをリンクさせるよう制御するリンク制御手段である。

また、図２に示すように、履歴情報管理部１０２ｈは、利用者により画像情報の削除が指示された場合に、指示された画像情報を履歴保存用フォルダ１０６ｂに移動させ、利用者からの求めに応じて、履歴保存用フォルダ１０６ｂに格納された画像情報（履歴情報）を参照させるよう制御する履歴情報管理手段である。

以上が本付箋表示処理装置１００の構成である。ここで、本付箋表示処理装置１００は、ルータ等の通信装置および専用線等の有線または無線の通信回線を介して、ネットワーク３００に通信可能に接続されていてもよい。すなわち、本付箋表示処理装置１００は、概略的に付箋表示処理装置１００と、付箋紙の画像に関する外部データベースや付箋表示処理プログラム等の外部プログラム等を提供する外部システム２００とを、ネットワーク３００を介して通信可能に接続して構成されてもよい。

この場合、図２において、通信制御インターフェース部１０４は、付箋表示処理装置１００とネットワーク３００（またはルータ等の通信装置）との間における通信制御を行う。すなわち、通信制御インターフェース部１０４は、他の端末と通信回線を介してデータを通信する機能を有する。また、図２において、ネットワーク３００は、付箋表示処理装置１００と外部システム２００とを相互に接続する機能を有し、例えば、インターネット等である。また、ここで、外部システム２００は、ＷＥＢサーバやＡＳＰサーバ等として構成していてもよく、そのハードウェア構成は、一般に市販されるワークステーション、パーソナルコンピュータ等の情報処理装置およびその付属装置により構成していてもよい。また、外部システム２００の各機能は、外部システム２００のハードウェア構成中のＣＰＵ、ディスク装置、メモリ装置、入力装置、出力装置、通信制御装置等およびそれらを制御するプログラム等により実現される。

［付箋表示処理］
次に、このように構成された本実施の形態における本付箋表示処理装置１００の処理の一例について、以下に図２〜図２３を参照して詳細に説明する。ここで、図３は、本付箋表示処理装置１００における付箋表示処理の一例を示すフローチャートである。

図３に示すように、まず、画像読取部１０２ａは、画像読取装置１１２を制御して付箋紙１０の画像を読取る（ステップＳＡ−１）。ここで、本画像読取処理は、オートクロップ機能を実現する処理を行ってもよい（オートクロップ処理）。なお、オートクロップ機能を実現するための処理の詳細については後述する。

つぎに、表示制御部１０２ｂは、表示サイズ調整部１０２ｃの処理により、表示装置１１４の表示画面に表示されるべき画像の大きさを調整する（ステップＳＡ−２；表示サイズ調整処理）。

そして、表示制御部１０２ｂは、表示位置制御部１０２ｄの処理により、表示装置１１４の表示画面のうち表示されていない部分に、調整された大きさの画像が表示されるよう画像の位置を制御する（ステップＳＡ−３；表示位置制御処理）。

そして、表示制御部１０２ｂは、調整された大きさと位置に基づいて、付箋紙１０の画像が表示装置１１４の表示画面に表示されるよう制御する（ステップＳＡ−４）。ここで、表示制御部１０２ｂは、強調表示処理部１０２ｅの処理により、付箋紙１０に記載された文字等を強調して表示するよう構成してもよい。

以上が、本付箋表示処理装置１００における付箋表示処理の概要である。つぎに、本実施の形態における各処理の詳細について、以下に詳しく説明する。

［オートクロップ処理］
本付箋表示処理装置１００の本実施の形態において、画像読取処理は、読取った画像から付箋紙１０の画像のみを抽出するオートクロップ機能を実現する処理を行ってもよい。ここで、図４は、オートクロップ処理の一例を示すフローチャートである。

図４に示すように、まず、画像読取部１０２ａは、入出力制御インターフェース部１０８を介して画像読取装置１１２を制御することにより、読取り媒体（例えば、付箋紙１０）より広い領域の読み取りを行う（ステップＳＢ−１）。

つぎに、画像読取部１０２ａは、読取った画像の微分処理を行うことにより、色が変化する部分の強調を行う（ステップＳＢ−２）。

そして、画像読取部１０２ａは、強調された部分から直線部分を検出する（ステップＳＢ−３）。

そして、画像読取部１０２ａは、検出された直線部分の中から、最も外側の直線部分の４辺で構成される四角形（例えば、長方形）を選択する（ステップＳＢ−４）。

そして、画像読取部１０２ａは、選択された線の角度から傾き角度を検出する（ステップＳＢ−５）。

そして、画像読取部１０２ａは、画像全体を検出した傾き角度分、画像を回転させて、画像の傾きを補正する（ステップＳＢ−６）。

そして、画像読取部１０２ａは、選択された四角形（例えば、長方形）の内部の画像のみを付箋紙１０の画像として抽出する（ステップＳＢ−７）。

以上が、オートクロップ処理である、なお、検出する線は曲線でもよく、構成される図形は、四角形に限らず、付箋紙の形状に応じて、三角形、六角形、八角形等の多角形または円形でもよい。また、付箋紙の形状が長方形である場合で、選択された四角形の四隅が直角でないときは、画像読取部１０２ａは、四隅が直角となるよう画像を変形させる画像処理を行ってもよい。

［表示サイズ調整処理］
本実施の形態における表示サイズ調整処理の詳細について、図５および図６を参照して説明する。図５は、本実施の形態における本付箋表示処理装置１００の表示サイズ調整処理の一例を示す概念図である。また、図６は、本付箋表示処理装置１００における表示サイズ調整処理の一例を示すフローチャートである。

図６に示すように、まず、表示制御部１０２ｂは、表示装置１１４の表示画面に表示されるべき画像の大きさを調整するため、表示サイズ調整部１０２ｃの処理により、画像読取部１０２ａによって読取られた付箋紙１０の画像の個々の文字を矩形で囲むことにより文字領域を判定する（ステップＳＣ−１）。すなわち、図５に示すように、表示サイズ調整部１０２ｃは、付箋紙１０の画像（図５(i)）に書かれている個々の文字等を線分に接するように矩形で囲み、文字領域を判定する（図５(ii)）。

つぎに、表示制御部１０２ｂは、表示サイズ調整部１０２ｃの処理により、判定された文字領域に基づいて画像の大きさを調整する。すなわち、一例として図６に示すように、表示サイズ調整部１０２ｃは、文字等の「接触している線の集合体」の大きさ（例えば、矩形の面積）を測定する（ステップＳＣ−２）。そして、矩形の面積の平均を算出し（ステップＳＣ−３）、算出された面積の平均に基づいて、表示する拡大・縮小率を計算する（ステップＳＣ−４）。そして、計算した拡大・縮小率から画像の大きさ（画像サイズ）を調整する（ステップＳＣ−５）。

そして、表示制御部１０２ｂは、表示サイズ調整部１０２ｃの処理により調整された画像の大きさに従って、視認性を維持しながら、手書き文字等が大きい場合に、縮小して表示されるように制御し、逆に、手書き文字等が小さい場合に、拡大して表示されるよう制御する（図５(iii)）。ここで、上記処理において、表示サイズ調整部１０２ｃは、大きさを調整する代わりに画像の拡大率または縮小率のみを算出してもよい。また、表示サイズ調整部１０２ｃは、画像の大きさを調整した後、拡大率または縮小率を算出するよう構成してもよい。これにて、表示サイズ調整処理の説明を終了する。

［位置制御処理］
つづいて、位置制御処理の詳細について図７を参照して説明する。図７は、本実施の形態における本付箋表示処理装置１００の位置制御処理の一例を示す概念図である。

まず、表示制御部１０２ｂは、表示画面の表示されていない部分に画像が表示されるよう画像の位置を制御するため、図７に示すように、表示位置制御部１０２ｄの処理により、表示画面の表示領域を（例えば、格子状に）複数の区画に分画する。

そして、表示位置制御部１０２ｄは、複数の区画から、表示画面の表示されていない表示領域であって、表示サイズ調整部１０２ｃの処理により調整された大きさを調整可能な一つまたは連続した複数の区画を検索することにより、表示装置１１４の表示画面に表示されるべき画像の位置を制御する。ここで、表示位置制御部１０２ｄは、表示領域の検索において、表示サイズ調整部１０２ｃの処理により調整された大きさを表示可能な一つまたは連続した複数の区画を、右上の角から順に検索してもよい。また、表示位置制御部１０２ｄは、図７に示すように、デスクトップ画面上において、アイコンや他の付箋紙１０の画像が表示されていない部分を、表示画面の表示されていない表示領域として検索してもよい。

そして、表示制御部１０２ｂは、表示位置制御部１０２ｄの処理により調整された位置に、表示サイズ調整部１０２ｃの処理により調整された大きさで、画像読取部１０２ａの処理により読取った付箋紙１０の画像が表示装置１１４の表示画面に表示されるよう入出力制御インターフェース部１０８を制御する。これにて、位置制御処理が終了する。

［文字認識処理］
文字認識処理について説明する。すなわち、文字認識部１０２ｆは、読取った付箋紙１０の画像から文字情報を認識する。一例として、文字認識部１０２ｆは、ＯＣＲ（Optical Character Recognition）機能を実現するよう構成してもよい。これにより、表示制御部１０２ｂは、手書き文字が読みにくい場合に、手書き文字の代わりにテキストフォントで表示することができる。ここで、表示制御部１０２ｂは、手書き文字を文字情報として認識することにより、認識された文字情報をキーワードとして付箋紙１０の画像から直接的に検索を実効できるよう構成してもよい。これにより、表示画面に表示された付箋紙１０の画像を、Searchable Memo（検索可能な電子付箋）として実現することができる。

［強調表示処理］
つづいて、強調表示処理部１０２ｅの処理による強調表示処理の詳細について、図８〜図１８を参照して、以下に詳細に説明する。すなわち、強調表示処理の一例として実現される「リマインド機能」、強調表示処理の具体的処理の一例として「太らせ処理」、および、「優先順位」または「猶予度」に基づいた強調表示の具体例について、以下に順に説明する。

［リマインド機能］
まず、リマインド機能を実現するよう構成された強調表示処理の一例について、図８〜図１１を参照しながら説明する。図８は、強調表示処理の一例を示すフローチャートである。図９は、本実施の形態における本付箋表示処理装置１００の強調表示処理（リマインド機能）によって表示された画像の一例を示す図である。また、図１０は、画像上の手書き文字の太さを変化させる場合に行う画像処理の一例を示す概念図である。また、図１１は、画像の枠の色で指定日時までの猶予度を表現する場合の表示例を示す図である。

図８に示すように、まず、強調表示処理部１０２ｅは、利用者に画像の優先度または画像に関する日時（以下、「指定日時」と呼ぶ。）を入力／指定させるよう制御する（ステップＳＤ−１）。

そして、強調表示処理部１０２ｅは、図９に示すように、指定日時を画像の一部に表示されるよう制御する（ステップＳＤ−２）。

そして、強調表示処理部１０２ｅは、入力された優先度または優先順位に従って画像中の文字の太さを変更する（ステップＳＤ−３）。すなわち、一例として図１０に示すように、強調表示処理部１０２ｅは、優先順位が低い場合には、画像中の手書き文字をそのまま表示するよう制御し、優先順位が標準である場合には、画像中の手書き文字を太く表示するよう制御し、優先順位が高い場合には、画像中の手書き文字を更に太く表示するよう制御する。この太らせ処理の詳細については、後述する。

そして、図１１に示すように、強調表示処理部１０２ｅは、指定日時と現在日時との差が一定期間以内になったとき、猶予度が注意レベルであると判定し、画像の枠の色を注意色（例えば、オレンジ色）で表示されるよう制御する（ステップＳＤ−４）。

そして、図１１に示すように、強調表示処理部１０２ｅは、指定日時と現在日時との差が更に短い一定期間以内になったとき、猶予度が警告レベルであると判定し、画像の枠の色を警告色（例えば、赤色）で表示されるよう制御する（ステップＳＤ−５）。ここで、指定日時と現在日時との期間に基づく猶予度のレベルは、自由に設定することができ、例えば、期間が２４時間の場合に猶予度を注意レベルとし、期間が３時間の場合に猶予度を警告レベルと設定してもよい。また、注意色および警告色は自由に設定することができる。

［太らせ処理］
強調表示処理部１０２ｅの処理による太らせ処理を含む画像処理の詳細について、図１２を参照して詳述する。図１２は、太らせ処理を含む画像処理の一例を示すフローチャートである。

図１２に示すように、まず、強調表示処理部１０２ｅは、付箋紙１０の画像を２値化する（ステップＳＥ−１）。

つぎに、強調表示処理部１０２ｅは、２値化された画像に太らせ処理を実行する（ステップＳＥ−２）。すなわち、強調表示処理部１０２ｅは、２値化された画像の黒ドットの周囲に複数の黒ドットを追加する。具体的には、強調表示処理部１０２ｅは、優先順位が標準の場合には、２値化画像の黒ドットの周囲に１ドット分の層の黒ドットを追加する。また、強調表示処理部１０２ｅは、優先順位が高い場合には、２値化画像の黒ドットの周囲に２ドット分の層の黒ドットを追加する。他方、強調表示処理部１０２ｅは、優先順位が低い場合には、２値化画像の黒ドットの周囲に０ドット分の層の黒ドットを追加する。

そして、強調表示処理部１０２ｅは、太らせ処理をした画像と元の画像とを重ねて表示するよう制御する（ステップＳＥ−３）。これにより、画像中の手書き文字の太さを変更することができる。

［優先順位：指定日時の文字の太さ］
ここで、強調表示処理部１０２ｅは、優先順位に従った強調表示の処理として、表示する指定日時の文字の太さを変更するよう制御してもよい。ここで、図１３は、指定日時の太さで優先順位を表現する場合の表示例を示す図である。

すなわち、図１３に示すように、強調表示処理部１０２ｅは、優先順位が標準の場合に、表示する指定日時の文字を通常フォントで表し、優先順位が低い場合に、表示する指定日時の文字を細字フォントで表し、強調表示処理部１０２ｅは、優先順位が高い場合に、表示する指定日時の文字を太字フォントで表すよう制御する。

［猶予度：指定日時の文字の色］
また、強調表示処理部１０２ｅは、猶予度に応じた強調表示の処理として、表示する指定日時の文字の色を変化させるよう制御してもよい。図１４は、指定日時の文字の色で指定日時までの猶予度を表現する場合の表示例を示す図である。

すなわち、図１４に示すように、強調表示処理部１０２ｅは、猶予度が通常段階の場合に、表示する指定日時の文字の色を通常色（例えば、白黒のモノトーン）で表し、猶予度が注意段階の場合に、表示する指定日時の文字の色を注意色（例えば、オレンジ色）で表し、猶予度が警告段階の場合に、表示する指定日時の文字の色を警告色（例えば、赤色）で表されるよう制御する。

［優先順位：指定日時の文字の大きさ］
また、強調表示処理部１０２ｅは、優先順位に従った強調表示の処理として、表示する指定日時の文字の大きさを変更するよう制御してもよい。図１５は、指定日時の文字の大きさで優先順位を表現する場合の表示例を示す図である。

すなわち、図１５に示すように、強調表示処理部１０２ｅは、優先順位が標準の場合に、表示する指定日時の文字を通常の大きさのフォント（例えば、１２ポイント）で表し、優先順位が低い場合に、表示する指定日時の文字を小さいフォント（例えば、１０ポイント）で表し、優先順位が高い場合に、表示する指定日時の文字を大きいフォント（例えば、１４ポイント）で表すよう制御する。

［猶予度：指定日時の点滅間隔］
また、強調表示処理部１０２ｅは、猶予度に応じた強調表示の処理として、表示する指定日時の点滅間隔を変化させるよう制御してもよい。図１６は、表示される指定日時の点滅間隔で指定日時までの猶予度を表現する場合の表示例を示す図である。

すなわち、図１６に示すように、強調表示処理部１０２ｅは、猶予度が通常段階の場合に、表示する指定日時を常に点灯させ、猶予度が注意段階の場合に、表示する指定日時を２秒間隔で点滅させ、猶予度が警告段階の場合に、表示する指定日時を１秒間隔で点滅するよう制御する。ここで、猶予度に応じた点滅間隔は自由に設定することができる。

［猶予度：画像の点滅間隔］
また、強調表示処理部１０２ｅは、猶予度に応じた強調表示の処理として、表示する画像の点滅間隔を変化させるよう制御してもよい。図１７は、表示される画像の点滅間隔で指定日時までの猶予度を表現する場合の表示例を示す図である。

すなわち、図１７に示すように、強調表示処理部１０２ｅは、猶予度が通常段階の場合に、表示する画像を常に点灯させ、猶予度が注意段階の場合に、表示する画像を２秒間隔で点滅させ、猶予度が警告段階の場合に、表示する画像を１秒間隔で点滅するよう制御する。

［猶予度：画像の色］
また、強調表示処理部１０２ｅは、猶予度に応じた強調表示の処理として、表示する画像の色を変化させるよう制御してもよい。図１８は、表示される画像の色で指定日時までの猶予度を表現する場合の表示例を示す図である。

すなわち、図１８に示すように、強調表示処理部１０２ｅは、猶予度が通常段階の場合に、表示する画像の色を通常色（例えば、白黒のモノトーン）で表示させ、猶予度が注意段階の場合に、表示する画像の色を注意色（例えば、オレンジ色）で表示させ、猶予度が警告段階の場合に、表示する画像の色を警告色（例えば、赤色）で表示するよう制御する。ここで、通常色、注意色、および警告色は自由に設定することができる。

これにて、強調表示処理の詳細についての説明を終える。ここで、強調表示処理の具体例は、上記に限られず、強調表示処理部１０２ｅは、優先度（絶対値）もしくは優先順位（相対値）または猶予度もしくは猶予度の順位（例えば、期間の長短）に応じて、表示される画像の色、画像の枠の色、画像の文字等の太さや濃淡、指定日時の表示の点滅間隔、画像の点滅間隔、または指定日時の表示の大きさ、太さ、濃淡もしくは色等を変化させて表示されるよう制御してもよい。

［リンク制御処理］
リンク制御部１０２ｇの処理によるリンク制御処理について、図１９を参照しながら説明する。ここで、図１９は、リンク制御処理の一例を示す概念図である。

まず、図１９に示すように、リンク制御部１０２ｇは、表示制御部１０２ｂの処理により表示画面に表示された画像について、利用者に画像に関するファイルを指定させるよう制御する。ここで、具体例として、リンク制御部１０２ｇは、利用者に、リンクしたいファイルを表示画面の画像上にドラッグ・アンド・ドロップさせるよう制御してもよい。また、他の具体例として、利用者により表示画面の画像上でマウスを介して右クリック入力があった場合であって、利用者によりメニュー一覧から「リンクファイルを指定」が選択されたときに、リンク制御部１０２ｇは、ファイル一覧を表示して、利用者に、ファイル一覧からリンクしたいファイルを指定させるよう制御してもよい。

そして、リンク制御部１０２ｇは、利用者により指定されたファイルと画像とをリンクさせるよう制御する。具体的には、リンク制御部１０２ｇは、指定された画像情報に対応付けて、指定されたファイルの位置情報を付箋画像ファイル１０６ａに格納するよう制御する。ここで、リンク制御部１０２ｇは、リンクされたファイルのアイコンを表示画面に表示された画像の一部に表示されるよう制御してもよい。これにて、リンク制御処理の説明を終了する。

［履歴情報格納処理］
履歴情報管理部１０２ｈの処理による履歴情報格納処理について、図２０〜図２３を参照しながら説明する。ここで、図２０は、履歴情報格納処理の一例を示すフローチャートである。また、図２１は、履歴情報格納処理によって履歴保存用フォルダに格納された履歴情報（ログ情報）の一例を示す図である。また、図２２は、削除日時等と対応付けて格納する履歴情報処理の一例を示すフローチャートである。また、図２３は、履歴情報格納処理によって削除日時等と対応付けて履歴保存用フォルダに格納された履歴情報（ログ情報）の一例を示す図である。

図２０に示すように、まず、履歴情報管理部１０２ｈは、利用者により画像情報の削除が指示された場合に、指示された画像情報を履歴保存用フォルダ１０６ｂに移動させる。具体的には、一例として、利用者がマウスを操作して表示画面の画像上で右クリックを入力した場合であって、メニュー一覧から「付箋の削除」を選択した場合に（ステップＳＦ−１）、履歴情報管理部１０２ｈは、削除が指示された画像情報を付箋画像ファイル１０６ａから履歴保存用フォルダ１０６ｂに移動させる（削除が指示された画像は表示画面に表示されなくなる）（ステップＳＦ−２）。

これにより、本付箋表示処理装置１００は、ログ機能を実現することができる。すなわち、一例として図２１に示すように、利用者がスタートメニューから「付箋ファイルの履歴」を選択した場合に（ステップＳＦ−３）、履歴情報管理部１０２ｈは、履歴保存用フォルダ１０６ｂを参照して、格納された履歴情報（ログ情報）を表示するよう制御する（ステップＳＦ−４）。これにより、利用者は、図２１に示すような画面が表示されることにより、削除された画像の情報を確認することができる。

ここで、履歴情報管理部１０２ｈは、削除が指示された画像情報を作成日時または削除日時と対応付けて、履歴保存用フォルダ１０６ｂに格納するよう制御してもよい。

すなわち、図２２に示すように、利用者がマウスを操作して表示画面の画像上で右クリックを入力した場合であって、メニュー一覧から「付箋の削除」を選択した場合に（ステップＳＧ−１）、履歴情報管理部１０２ｈは、削除が指示された画像情報を付箋画像ファイル１０６ａから履歴保存用フォルダ１０６ｂに移動し、削除日時を対応付けて格納する（ステップＳＧ−２）。これにより、一例として、利用者がスタートメニューから「付箋ファイルの履歴」を選択した場合に（ステップＳＧ−３）、履歴情報管理部１０２ｈは、履歴保存用フォルダ１０６ｂを参照して、格納された履歴情報（ログ情報）と削除日時を対応付けて表示するよう制御する（ステップＳＧ−４）。利用者は、図２３に示すような画面（履歴確認専用画面）が表示されることにより、削除された画像の情報を削除日時と対応付けて確認することができる。ここで、履歴情報管理部１０２ｈは、作成日時と対応付けて格納するよう制御し、履歴確認専用画面を表示する場合に、作成日時と削除日時のいずれを対応付けて表示するか切り換える処理を行ってもよい。

［他の実施の形態］
さて、これまで本発明の実施の形態について説明したが、本発明は、上述した実施の形態以外にも、上記特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施の形態にて実施されてよいものである。

例えば、付箋表示処理装置１００がスタンドアローンの形態で処理を行う場合を一例に説明したが、付箋表示処理装置１００とは別筐体で構成されるクライアント端末からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却するように構成してもよい。

また、実施の形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。このほか、上記文献中や図面中で示した処理手順、制御手順、具体的名称、各処理の登録データや検索条件等のパラメータを含む情報、画面例、データベース構成については、特記する場合を除いて任意に変更することができる。

また、付箋表示処理装置１００に関して、図示の各構成要素は機能概略的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。

例えば、付箋表示処理装置１００の各装置が備える処理機能、特に制御装置１０２にて行われる各処理機能については、その全部または任意の一部を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および当該ＣＰＵにて解釈実行されるプログラムにて実現することができ、あるいは、ワイヤードロジックによるハードウェアとして実現することも可能である。尚、プログラムは、後述する記録媒体に記録されており、必要に応じて付箋表示処理装置１００に機械的に読取られる。すなわち、ＲＯＭまたはＨＤなどの記憶装置１０６などは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）として協働してＣＰＵに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、ＲＡＭにロードされることによって実行され、ＣＰＵと協働して制御部を構成する。

また、このコンピュータプログラムは、付箋表示処理装置１００に対して任意のネットワーク３００を介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。

また、本発明に係るプログラムを、コンピュータ読取り可能な記録媒体に格納することもできる。ここで、この「記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等の任意の「可搬用の物理媒体」、あるいは、ＬＡＮ、ＷＡＮ、インターネットに代表されるネットワークを介してプログラムを送信する場合の通信回線や搬送波のように、短期にプログラムを保持する「通信媒体」を含むものとする。

また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）に代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施の形態に示した各装置において記録媒体を読取るための具体的な構成、読取り手順、あるいは、読取り後のインストール手順等については、周知の構成や手順を用いることができる。

記憶装置１０６に格納される各種のデータベース等（付箋画像ファイル１０６ａや履歴保存用フォルダ１０６ｂ等）は、ＲＡＭ、ＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラムやテーブルやデータベースやウェブページ用ファイル等を格納する。

また、付箋表示処理装置１００は、既知のパーソナルコンピュータ、ワークステーション等の情報処理装置を接続し、該情報処理装置に本発明の方法を実現させるソフトウェア（プログラム、データ等を含む）を実装することにより実現してもよい。

更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じた任意の単位で、機能的または物理的に分散・統合して構成することができる。

以上詳述に説明したように、本発明によれば、スキャナやデジカメで取り込んだメモ画像などを自動的に表示画面の空きスペースに適切な大きさ（例えば、視認可能な最小サイズ）で表示させることができる、付箋表示処理装置、付箋表示処理方法、および、プログラム、並びに、記録媒体を提供することができる。

また、本発明によれば、文字認識機能、リンク機能、ログ機能等を備えたので、画像情報から簡単に検索、リンク、ログ管理、共有、メール等を行うことができる。

本発明の基本原理を示す原理構成図である。 本発明が適用される本付箋表示処理装置の構成の一例を示すブロック図である。 本付箋表示処理装置１００における付箋表示処理の一例を示すフローチャートである。 オートクロップ処理の一例を示すフローチャートである。 本実施の形態における本付箋表示処理装置１００の表示サイズ調整処理の一例を示す概念図である。 本付箋表示処理装置１００における表示サイズ調整処理の一例を示すフローチャートである。 本実施の形態における本付箋表示処理装置１００の位置制御処理の一例を示す概念図である。 強調表示処理の一例を示すフローチャートである。 本実施の形態における本付箋表示処理装置１００の強調表示処理（リマインド機能）によって表示された画像の一例を示す図である。 画像上の手書き文字の太さを変化させる場合に行う画像処理の一例を示す概念図である。 画像の枠の色で指定日時までの猶予度を表現する場合の表示例を示す図である。 太らせ処理を含む画像処理の一例を示すフローチャートである。 指定日時の太さで優先順位を表現する場合の表示例を示す図である。 指定日時の文字の色で指定日時までの猶予度を表現する場合の表示例を示す図である。 指定日時の文字の大きさで優先順位を表現する場合の表示例を示す図である。 表示される指定日時の点滅間隔で指定日時までの猶予度を表現する場合の表示例を示す図である。 表示される画像の点滅間隔で指定日時までの猶予度を表現する場合の表示例を示す図である。 表示される画像の色で指定日時までの猶予度を表現する場合の表示例を示す図である。 リンク制御処理の一例を示す概念図である。 履歴情報格納処理の一例を示すフローチャートである。 履歴情報格納処理によって履歴保存用フォルダに格納された履歴情報（ログ情報）の一例を示す図である。 削除日時等と対応付けて格納する履歴情報処理の一例を示すフローチャートである。 履歴情報格納処理によって削除日時等と対応付けて履歴保存用フォルダに格納された履歴情報（ログ情報）の一例を示す図である。

符号の説明

１０ 付箋紙
１００ 付箋表示処理装置
１０２ 制御装置
１０２ａ 画像読取部
１０２ｂ 表示制御部
１０２ｃ 表示サイズ調整部
１０２ｄ 表示位置制御部
１０２ｅ 強調表示処理部
１０２ｆ 文字認識部
１０２ｇ リンク制御部
１０２ｈ 履歴情報管理部
１０４ 通信制御インターフェース部
１０６ 記憶装置
１０６ａ 付箋画像ファイル
１０６ｂ 履歴保存用フォルダ
１０８ 入出力制御インターフェース部
１１２ 画像読取装置
１１４ 表示装置
２００ 外部システム
３００ ネットワーク

Claims (12)

1. 画像読取装置と表示装置に接続された、記憶装置と制御装置を少なくとも備えた付箋表示処理装置であって、
   上記制御装置は、
   上記画像読取装置を制御して付箋紙の画像を読取る画像読取手段と、
   上記表示装置の表示画面に表示されるべき上記画像の大きさを調整し、上記表示画面の表示されていない部分に上記画像が表示されるよう上記画像の位置を制御する表示制御手段と、
   を備え、
   上記表示制御手段は、
   上記画像読取手段によって読取られた上記画像の文字領域を判定し、判定された上記文字領域に基づいて上記画像の上記大きさを調整し、上記画像を拡大または縮小して表示されるよう制御する表示サイズ調整手段、
   を備えたこと特徴とする付箋表示処理装置。
2. 上記表示サイズ調整手段は、
   読取られた上記画像の個々の文字を矩形で囲むことにより上記文字領域を判定し、
   上記矩形の面積に基づいて、上記画像の上記大きさを調整すること、
   を特徴とする請求項１に記載の付箋表示処理装置。
3. 上記表示制御手段は、
   上記表示画面の表示領域を複数の区画に分画し、
   上記表示画面の表示されていない上記表示領域であって、上記調整された上記大きさを表示可能な一つまたは連続した複数の上記区画を検索することにより、上記表示画面に表示されるべき上記画像の上記位置を制御すること、
   を特徴とする請求項１または２に記載の付箋表示処理装置。
4. 上記制御装置は、
   上記画像から文字情報を認識する文字認識手段、
   を更に備えたことを特徴とする請求項１乃至３のいずれか一つに記載の付箋表示処理装置。
5. 上記画像読取手段は、
   上記画像読取装置を制御して読取った上記画像の微分処理を行うことにより直線部分を検出し、検出された上記直線部分により構成される多角形のうち最も外側に位置するものを選択し、上記多角形内側の上記画像を抽出することによって、上記付箋紙の上記画像を読取ること、
   を特徴とする請求項１乃至４のいずれか一つに記載の付箋表示処理装置。
6. 上記表示制御手段は、
   利用者に上記画像の優先度を入力させるよう制御し、上記優先度または上記優先度の順位に応じて、上記画像が強調して表示されるよう制御する強調表示処理手段、
   を備えたことを特徴とする請求項１乃至５のいずれか一つに記載の付箋表示処理装置。
7. 上記表示制御手段は、
   上記利用者に上記画像に関する日時を指定させるよう制御し、上記指定された上記日時と現在の日時との期間に基づく猶予度に応じて、上記画像が強調して表示されるよう制御する強調表示処理手段、
   を備えたことを特徴とする請求項１乃至５のいずれか一つに記載の付箋表示処理装置。
8. 上記強調表示手段は、
   表示される上記画像の色、上記画像の枠の色、上記画像の上記文字の太さ、上記指定された上記日時の表示の点滅間隔、上記画像の点滅間隔、または上記指定された上記日時の表示の大きさ、太さ、もしくは色を変化させて表示されるよう制御すること、
   を特徴とする請求項６または７に記載の付箋表示処理装置。
9. 上記画像の上記文字の上記太さを変化させる制御は、
   上記画像を２値化し、上記２値化された上記画像の黒ドットの周囲に複数の上記黒ドットを追加し、元の上記画像と重ね合わせる制御であること、
   を特徴とする請求項８の付箋表示処理装置。
10. 上記制御装置は、
    上記表示制御手段により上記表示画面に表示された上記画像について、上記利用者に上記画像に関するファイルを指定させ、当該画像と上記指定された上記ファイルをリンクさせるよう制御するリンク制御手段、
    を備えたことを特徴とする請求項１乃至９のいずれか一つに記載の付箋表示処理装置。
11. 上記制御装置は、
    上記利用者により上記画像情報の削除が指示された場合に、上記指示された上記画像情報を上記記憶装置の履歴保存用フォルダに移動させる履歴情報管理手段、
    を備えたことを特徴とする請求項１乃至１０のいずれか一つに記載の付箋表示処理装置。
12. 画像読取装置と表示装置に接続された、記憶装置と制御装置を少なくとも備えた付箋表示処理装置において実行される付箋表示処理方法であって、
    上記制御装置において実行される、
    上記画像読取装置を制御して付箋紙の画像を読取る画像読取ステップと、
    上記表示装置の表示画面に表示されるべき上記画像の大きさを調整し、上記表示画面のうち表示されていない部分に上記画像が表示されるよう上記大きさの上記画像の位置を制御する表示制御ステップと、
    を含み、
    上記表示制御ステップは、
    上記画像読取ステップにて読取られた上記画像の文字領域を判定し、判定された上記文字領域に基づいて上記画像の上記大きさを調整し、上記画像を拡大または縮小して表示されるよう制御することを特徴とする付箋表示処理方法。