JP6232906B2 - 画像処理装置及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置及び画像処理プログラムに関する。

従来の技術として、ディスプレイ上に貼られた付箋紙を電子化する画像処理装置が提案されている（例えば、特許文献１参照）。

特許文献１に開示された画像処理装置は、電子文書が表示されているディスプレイ上に貼られた付箋紙をカメラで撮像し、得られた画像情報を解析して画像情報のうち付箋紙に該当する部分を付箋紙画像情報として抽出するとともに、当該付箋紙画像情報を電子文書と関連付ける。また、画像処理装置は、予め定めた形状の付箋紙及び予め定めた形状のディスプレイを用いることにより、画像情報から付箋紙画像情報を抽出する。

特開２００１−１４３０３号公報

本発明の目的は、複数の付箋紙が貼られた貼付面を撮影した際の環境や条件に関わらず、撮影された画像情報から付箋紙部分の画像情報を抽出する画像処理装置及び画像処理プログラムを提供することにある。

本発明の一態様は、上記目的を達成するため、以下の画像処理装置及び画像処理プログラムを提供する。

［１］複数の付箋紙を含む画像情報から、前記付箋紙に用いられる色に対して、色空間上のあらかじめ用意した複数の閾値により画素の抽出を行う色抽出手段と、
前記複数の閾値のそれぞれについて、前記色抽出手段によって抽出された画素の集合である領域を切り出す領域切出手段と、
前記領域切出手段によって切り出された領域の数のみに基づいて前記複数の閾値から採用すべき閾値を決定する決定手段と、
前記決定手段によって決定された閾値で前記画像情報から付箋画像を切り出す付箋画像切出手段とを有する画像処理装置。

［２］前記決定手段は、前記領域切出手段によって切り出された領域の数が最大である閾値を前記採用すべき閾値とする前記［１］に記載の画像処理装置。

［３］前記領域切出手段は、前記領域として予め定められた形状に前記領域を切り出す前記［１］又は［２］に記載の画像処理装置。

［４］コンピュータを、
複数の付箋紙を含む画像情報から、前記付箋紙に用いられる色に対して、色空間上のあらかじめ用意した複数の閾値により画素の抽出を行う色抽出手段と、
前記複数の閾値のそれぞれについて、前記色抽出手段によって抽出された画素の集合である領域を切り出す領域切出手段と、
前記領域切出手段によって切り出された領域の数のみに基づいて前記複数の閾値から採用すべき閾値を決定する決定手段と、
前記決定手段によって決定された閾値で前記画像情報から付箋画像を切り出す付箋画像切出手段として機能させるための画像処理プログラム。

請求項１又は４に係る発明によれば、複数の付箋紙が貼られた貼付面を撮影した際の環境や条件に関わらず、撮影された画像情報から付箋紙部分の画像情報を抽出することができる。

請求項２に係る発明によれば、切り出された領域の数が最大である閾値を採用すべき閾値とすることができる。

請求項３に係る発明によれば、予め定められた形状に領域を切り出すことができる。

図１は、実施の形態に係る画像処理装置の構成の一例を示す概略図である。 図２は、画像処理装置の基本動作を説明するための概略図である。 図３（ａ）−（ｅ）は、画像処理装置の閾値決定動作を説明するための概略図である。 図４（ａ）−（ｅ）は、画像処理装置の付箋切出動作を説明するための概略図である。 図５は、画像処理装置の動作例を示すフローチャートである。

［実施の形態］
（画像処理装置の構成）
図１は、実施の形態に係る画像処理装置の構成の一例を示す概略図である。

画像処理装置１は、一例として、携帯電話やタブレット型ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の画像処理装置であって、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等から構成され、各部を制御するとともに、各種のプログラムを実行する制御部１０と、フラッシュメモリ等の記憶媒体から構成され情報を記憶する記憶部１１と、文字や画像等を表示する表示部１２と、画像処理装置１を操作するための操作部１３と、ネットワークを介して外部と通信する通信部１４と、レンズ及びＣＣＤ等から構成され撮像することで画像情報を生成する撮像部１５等を備える。

制御部１０は、後述する画像処理プログラム１１０を実行することで、画像情報取得手段１００、色空間変換手段１０１、色抽出手段１０２、２値化手段１０３、矩形切出手段１０４、閾値決定手段１０５及び付箋画像切出手段１０６等として機能する。

画像情報取得手段１００は、複数の付箋紙が貼られた貼付面を撮影した画像情報１１１を記憶部１１から取得する。なお、画像情報１１１は、撮像部１５により撮影されたものであってもよいし、通信部１４を介して外部から取得したものであってもよい。

色空間変換手段１０１は、画像情報１１１の色空間が、一例として、ＲＧＢだった場合に、ＨＳＶへと変換する。なお、色空間はＨＳＶに限らず、以下に説明する色抽出が良好に行えるものであれば他の色空間に変換してもよいし、変換せずにＲＧＢとしてもよい。

色抽出手段１０２は、色変換された画像情報１１１から予め定められた色（ピンク、黄色、水色）のそれぞれについて、閾値を満足する画素を抽出する。なお、閾値は、閾値情報１１２に予め複数設定され、複数の閾値のそれぞれについて画素を抽出する。

２値化手段１０３は、予め定められた色（ピンク、黄色、水色）のそれぞれについて、色抽出手段１０２が抽出した画素を「１」（白）とし、それ以外を「０」（黒）とすることで２値化する。

矩形切出手段１０４は、領域切出手段の一例であり、予め定められた色（ピンク、黄色、水色）のそれぞれについて、２値化手段１０３により「１」（白）とされた画素の集合である領域を、形状の一例として矩形の領域に切り出す。なお、矩形の領域に限らず、多角形の領域や曲線で構成された領域、任意の閉じた領域に切り出してもよい。また、付箋２ａ、２ｂ、２ｃ…の形状を予め登録しておき、当該登録された形状の領域に切り出してもよい。

閾値決定手段１０５は、予め定められた色（ピンク、黄色、水色）のそれぞれについて、矩形切出手段１０４により切り出された矩形の領域の数をカウントし、矩形の領域の数が最も多い閾値を採用すべき閾値に決定する。

付箋画像切出手段１０６は、予め定められた色（ピンク、黄色、水色）のそれぞれについて、画像情報１１１から、決定された閾値により切り出される矩形の領域の画像を付箋画像情報１１３として切り出す。

記憶部１１は、制御部１０を上述した各手段１０１−１０６として動作させる画像処理プログラム１１０、画像情報１１１、閾値情報１１２及び付箋画像情報１１３等を記憶する。

なお、画像処理装置１は、画像情報１１１を外部から通信部１４を介して取得する場合は、撮像部１５を省略してもよい。さらに、画像処理装置１は、表示部１２及び操作部１３を省略し、外部の端末から通信部１４を介して要求を受信し動作するサーバ装置であってもよい。

（画像処理装置の動作）
次に、本実施の形態の作用を、（１）基本動作、（２）閾値決定動作、（３）付箋切出動作に分けて説明する。

（１）基本動作
図２は、画像処理装置１の基本動作を説明するための概略図である。

図２に示すように、まず、利用者４は、例えばブレインストーミングのため、付箋２ａ、２ｂ、２ｃ…に書き込み等をし、ホワイトボード３の書き込み面を貼付面として付箋２ａ、２ｂ、２ｃ…を貼っていく。付箋２ａ、２ｂ、２ｃ…は、様々な形状が考えられるが、説明のため矩形状のものについて以下説明する。また、付箋２ａ、２ｂ、２ｃ…は、複数の大きさのものを用意してもよい。

次に、利用者４は、ブレインストーミングを終えると、付箋２ａ、２ｂ、２ｃ…の貼られたホワイトボード３の書き込み面を画像処理装置１の撮像部１５により撮影する。

画像処理装置１は、撮像部１５により撮影が実行されると、撮影した画像を画像情報１１１として記憶部１１に記憶する。

利用者４は、ホワイトボード３上に貼られた付箋２ａ、２ｂ、２ｃ…を後日利用するため、付箋２ａ、２ｂ、２ｃ…の電子化を画像処理装置１に要求する。つまり、画像情報１１１に撮影された付箋２ａ、２ｂ、２ｃ…の画像をそれぞれ切り出して付箋画像情報１１３とするよう要求する。

上記要求がなされた場合の画像処理装置１の動作について以下説明する。

（２）閾値決定動作
図５は、画像処理装置１の動作例を示すフローチャートである。また、図３（ａ）−（ｅ）は、画像処理装置１の閾値決定動作を説明するための概略図である。

まず、画像情報取得手段１００は、図３（ａ）に示すように、画像情報１１１の一例として画像情報１１１ａを記憶部１１から取得する（Ｓ１）。画像情報１１１ａは、ピンクの付箋２ｐ_１、２ｐ_２、２ｐ_３、黄色の付箋２ｙ_１、２ｙ_２、２ｙ_３、２ｙ_４、２ｙ_５、２ｙ_６、水色の付箋２ｂ_１、２ｂ_２、２ｂ_３が撮影されたものであるとする。

次に、色空間変換手段１０１は、画像情報１１１ａの色空間がＲＧＢだった場合に、ＨＳＶへと変換する（Ｓ２）。

次に、色抽出手段１０２は、色変換された画像情報１１１から予め定められた色（ピンク、黄色、水色）のそれぞれについて、閾値を満足する画素を抽出する。まず、閾値は、閾値情報１１２に予め複数設定された複数の閾値のうち、第１番目の閾値１ｐで画素を抽出する（Ｓ３）。以下、説明を簡単にするため、ピンクについて抽出する場合について述べる。

閾値１ｐは、図３（ｃ）に示すように、閾値が９０から１００の間に幅を持たせて設定されているものとする。なお、閾値１ｐは、ＨＳＶ空間の場合、Ｈ（色相）、Ｓ（彩度）、Ｖ（明度）のパラメータの最小値が０で最大値が２５５としたとき、Ｈ、Ｓ、Ｖのそれぞれについて幅を有するものであるが、図３（ｃ）の例では、説明を簡単にするためＨのパラメータの閾値だけ示している。

次に、２値化手段１０３は、図３（ｂ）に示すように、ピンクについて色抽出手段１０２が閾値１ｐに含まれるとして抽出した画素を「１」（白）とし、それ以外を「０」（黒）とすることで２値化する（Ｓ４）。

次に、矩形切出手段１０４は、図３（ｂ）に示すように、ピンクについて２値化手段１０３により「１」（白）とされた画素の領域を一例として矩形の領域１０４ａ_１及び１０４ａ_３（矩形１０４ａ）に切り出す（Ｓ５）。

次に、閾値決定手段１０５は、ピンクについて閾値１ｐで矩形切出手段１０４により切り出された矩形の領域の数を「２」とカウントする（Ｓ６）。

次に、色抽出手段１０２は、ピンクの閾値２ｐで画像情報１１１から画素を抽出する（Ｓ８）。閾値２ｐは、図３（ｅ）に示すように、閾値が９５から１０５の間に幅を持たせて設定されているものとする。

次に、２値化手段１０３は、図３（ｄ）に示すように、ピンクについて色抽出手段１０２が閾値２ｐに含まれるとして抽出した画素を「１」（白）とし、それ以外を「０」（黒）とすることで２値化する（Ｓ４）。

次に、矩形切出手段１０４は、図３（ｄ）に示すように、ピンクについて２値化手段１０３により「１」（白）とされた画素の領域を一例として矩形の領域１０４ｂ_１‐１０４ｂ_３（矩形１０４ｂ）に切り出す（Ｓ５）。

次に、閾値決定手段１０５は、ピンクについて閾値２ｐで矩形切出手段１０４により切り出された矩形の領域の数を「３」とカウントする（Ｓ６）。

上記したステップＳ３−Ｓ８は、２以上の複数の閾値について繰り返され、閾値決定手段１０５は、矩形数が最大となる閾値を採用する（Ｓ９）。なお、ピンクについては、矩形数が「３」であって最大である閾値２ｐが採用されたものとする。

上記した閾値の決定は、ピンク以外の各色（黄色、水色）についても実行されるものであり、黄色について閾値１ｙが採用され、水色について閾値３ｂが採用されたものとして、以下の付箋切出動作について説明する。

（３）付箋切出動作
図４（ａ）−（ｅ）は、画像処理装置１の付箋切出動作を説明するための概略図である。

矩形切出手段１０４は、図４（ａ）−（ｃ）に示す、各色（ピンク、黄色、水色）のそれぞれについて切り出した矩形１０４ｂ_ｐ、矩形１０４ａ_ｙ、矩形１０４ｃ_ｂを、図４（ｄ）に示すように合成して矩形１０４ａ_{ｐ＋ｙ＋ｂ}とする（Ｓ１０）。

次に、付箋画像切出手段１０６は、画像情報１１１ａから合成した矩形１０４ａ_{ｐ＋ｙ＋ｂ}の矩形の領域の画像をピンクの付箋画像情報１１３ｐ_１−１１３ｐ_３、黄色の付箋画像情報１１３ｙ_１−１１３ｙ_６、水色の付箋画像情報１１３ｂ_１−１１３ｂ_３として切り出す（Ｓ１１）。

［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。例えば、ピンクの付箋画像情報１１３ｐ_１−１１３ｐ_３、黄色の付箋画像情報１１３ｙ_１−１１３ｙ_６、水色の付箋画像情報１１３ｂ_１−１１３ｂ_３のそれぞれに対し、対応する付箋のホワイトボード３の書き込み面に対する相対的な位置情報、傾き情報、オリジナル画像の撮影日時などを付随情報として記録してもよい。

上記実施の形態では制御部１０の各手段１００〜１０６の機能をプログラムで実現したが、各手段の全て又は一部をＡＳＩＣ等のハードウエアによって実現してもよい。また、上記実施の形態で用いたプログラムをＣＤ−ＲＯＭ等の記録媒体に記憶して提供することもできる。また、上記実施の形態で説明した上記ステップの入れ替え、削除、追加等は本発明の要旨を変更しない範囲内で可能である。

１ 画像処理装置
２ 付箋
３ ホワイトボード
４ 利用者
１０ 制御部
１１ 記憶部
１２ 表示部
１３ 操作部
１４ 通信部
１５ 撮像部
１００ 画像情報取得手段
１０１ 色空間変換手段
１０２ 色抽出手段
１０３ ２値化手段
１０４ 矩形切出手段
１０５ 閾値決定手段
１０６ 付箋画像切出手段
１１０ 画像処理プログラム
１１１ 画像情報
１１２ 閾値情報
１１３ 付箋画像情報

Claims (4)

1. 複数の付箋紙を含む画像情報から、前記付箋紙に用いられる色に対して、色空間上のあらかじめ用意した複数の閾値により画素の抽出を行う色抽出手段と、
   前記複数の閾値のそれぞれについて、前記色抽出手段によって抽出された画素の集合である領域を切り出す領域切出手段と、
   前記領域切出手段によって切り出された領域の数のみに基づいて前記複数の閾値から採用すべき閾値を決定する決定手段と、
   前記決定手段によって決定された閾値で前記画像情報から付箋画像を切り出す付箋画像切出手段とを有する画像処理装置。
2. 前記決定手段は、前記領域切出手段によって切り出された領域の数が最大である閾値を前記採用すべき閾値とする請求項１に記載の画像処理装置。
3. 前記領域切出手段は、前記領域として予め定められた形状に前記領域を切り出す請求項１又は２に記載の画像処理装置。
4. コンピュータを、
   複数の付箋紙を含む画像情報から、前記付箋紙に用いられる色に対して、色空間上のあらかじめ用意した複数の閾値により画素の抽出を行う色抽出手段と、
   前記複数の閾値のそれぞれについて、前記色抽出手段によって抽出された画素の集合である領域を切り出す領域切出手段と、
   前記領域切出手段によって切り出された領域の数のみに基づいて前記複数の閾値から採用すべき閾値を決定する決定手段と、
   前記決定手段によって決定された閾値で前記画像情報から付箋画像を切り出す付箋画像切出手段として機能させるための画像処理プログラム。