JP5216828B2 - 画像処理装置、方法及びプログラム - Google Patents

Description

本発明の実施形態は、文字を含む画像、例えば雑誌や吊り広告などの撮影画像をカメラなどの画像取込装置でメモとして取り込むための画像処理装置に関する。

近年、デジタルカメラやカメラ機能付き携帯電話の性能向上、小型化、普及により手軽に撮影が可能となり、文書などの文字を含む被写体を簡単なメモとして撮影が行われている。このような撮影画像（すなわち、ビットマップ画像）が多く撮影され蓄積されてくると所望のビットマップ画像の取り出しが大変になることから、予めビットマップ画像に含まれる文字画像の文字認識を行い、この文字認識結果を検索に利用することがなされている。

そして、文字画像から文字列データを認識し、文字画像のサイズや文字色などの表示様態を用いて算出された文字列データの重要度を利用して検索精度を向上する、といったことが行われている。

一般に、ビットマップ画像に含まれる文字全てが検索に必要ではなく、ユーザが撮影する際に注目した箇所が重要である。ユーザが撮影する際に注目していない箇所に含まれる文字が検索に用いられることはユーザの意図に反していると考えられる。すなわち、ある検索クエリ文字列が与えられた際には、当該クエリ文字列が撮影時に注目した箇所に存在する画像が検索結果上位に出力されることが望ましいと考えられる。

しかし、上記重要度を用いた場合、撮影者によって注目する箇所は必ずしも視覚的印象が強い箇所ではない。例えば新聞には複数の記事があり、各記事の文字画像の表示様態には大きな差が無いことが多いが、ユーザは載っている記事のうちの一部のみを注目していることが多く、このような場合に対応できない。

特開２００７−０５８８１９号公報

文字を含む画像から、ユーザが注目する箇所を処理する画像処理装置を提供する。

実施形態の画像処理装置は、被写体の画像を取り込む取込部と、前記画像の文字領域を検出する検出部と、前記文字領域について文字認識精度を推定する推定部と、前記文字領域の前記文字認識精度に応じて前記画像に重畳表示する表示部を持つ。

本実施形態に係る画像撮影装置の概略構成図。 本実施形態に係る画像撮影全体のフローチャート。 本実施形態に係るビットマップ画像の文字領域のレイアウト解析結果の一例を示す図。 本実施形態に係るビットマップ画像の文字領域のレイアウト解析結果の一例を示す図。 図３のレイアウト解析結果の場合の文字領域情報の表現例を示す図。 文字認識精度推定部１３０のフローチャート。 文字認識精度情報の表現形式の一例を示す図。 文字領域が切れてしまっている不完全領域の一例を示す図。 不完全領域推定部１４０のフローチャート。 重畳表示部１５０の表示画面右下にある不完全領域の一例を示す図。 不完全領域情報の表現形式の一例を示す図。 取込画像上に認識精度の推定結果を重畳表示した第１の例を示す図。 図１２の各領域についての文字認識精度情報を示す図。 取込画像上に認識精度の推定結果を重畳表示した第２の例を示す図。 不完全領域情報の一例を示す図。 レイアウト指定部１６０による領域指定のフローチャート。 レイアウト指定部１６０の選択領域追加モードでの表示画面の一例を示す図。 レイアウト指定部１６０の新規領域追加モードでの表示画面の一例を示す図。 撮影時の重畳表示部１５０の画面状態の例を示す図。 撮影時の重畳表示部１５０の画面状態の例を示す図。

以下、本発明の実施の形態について図面を参照しながら説明する。

図１は、本実施形態に係る画像撮影装置１００の概略構成図である。画像撮影装置１００は、被写体のビットマップ画像を取り込む画像取込部１１０と、取り込んだビットマップ画像の文字領域を検出するレイアウト検出部１２０と、検出された各文字領域について被写体のビットマップ画像に含まれる文字の文字認識精度を推定する文字認識精度推定部１３０と、検出された各文字領域について、文字領域全体が画像取込部１１０の取り込み可能範囲内に収まっていない不完全領域であるか否かを推定する不完全領域推定部１４０と、文字認識精度推定部１３０から得られた各文字領域についての文字認識精度情報および不完全領域推定部１４０から得られた不完全領域情報を、被写体のビットマップ画像に重畳して表示する重畳表示部１５０と、レイアウト検出部１２０で検出された各文字領域を表示し、指定領域を選択できるＵＩ（ユーザーインターフェース）を持つレイアウト指定部１６０と、文字認識精度推定部１３０から得られた文字認識精度とレイアウト指定部１６０で選択された指定領域を入力として、この入力に応じて、例えば文字認識精度の推定値が所定のしきい値を超えたら、シャッターを切るためのシャッター信号を出力する撮影判断部１７０と、シャッター信号に応じてシャッターを切るシャッター部１８０と、文字認識精度推定部１３０から得られた文字認識精度情報および不完全領域推定部１４０から得られた不完全領域情報を入力とし、検索インデクスの重み付けを決定するインデクス重み付け部１９０と、検索インデクスと被写体のビットマップ画像を保存する画像ＤＢ（データベース）２００を備える。

図２は本実施形態に係る画像撮影全体のフローチャートである。本図に示す通り、画像取り込みから撮影の分岐まで繰り返し処理（Ｓ２１０〜Ｓ２８０）を行っており、レイアウト検出部１２０による文字領域情報や、文字認識精度推定部１３０による文字認識精度情報、不完全領域推定部１４０による不完全領域情報をその都度出力し、処理に用いる。

本実施形態では、繰り返し処理から始まる。この繰り返し処理の部分では、まず画像取込部１１０により画像を取り込み（Ｓ２１０）、レイアウト検出部１２０により取込画像の文字領域の推定を行なって文字領域情報を出力する（Ｓ２２０）。次に文字領域内情報抽出処理を行う（Ｓ２３０）。その中には文字認識精度推定部１３０によって推定した文字認識精度情報の出力と、不完全領域推定部１４０によって推定した不完全領域情報を出力する。次に、文字領域情報と文字認識精度情報と不完全領域情報を入力として、重畳表示部１５０により文字認識精度および不完全領域であるか否かを重畳表示する（Ｓ２４０）。次にレイアウト指定部１６０により指定領域を受け取り（Ｓ２５０）、文字認識精度情報と不完全領域情報と指定領域を入力として、撮影判断部１７０により自動撮影するか判断する（Ｓ２６０）。自動撮影するかの判断により自動撮影される場合には繰り返し処理の部分を抜ける。またユーザによる撮影操作があった場合にも繰り返し処理の部分を抜ける（Ｓ２７０のＹｅｓ）。繰り返し処理を抜けた後は、文字認識精度情報と不完全領域情報を入力として、インデクス重み付け部１９０により検索インデクスが生成され（Ｓ２９０）、取込画像と検索インデクスが画像DBに保存する（Ｓ３００）。

以下では、各機能ブロックについて詳細説明をする。

画像取込部１１０は被写体のビットマップ画像を取り込む機能を持つ。この段階で被写体には限定は無く、どのような画像でも取り込むことが可能である。本実施形態ではデジタルカメラのようにレンズを通してデジタルデータとして画像を取り込むことを想定しているが、必ずしもそのように限定されるものではない。例えば、動画の各フレームから画像を取り込んでも良いし、画像取込部１１０に接続された表示内容を操作可能な表示装置に表示されている画像の一部または全体をキャプチャして取り込んでも良い。

レイアウト検出部１２０は、画像取込部１１０が取り込んだビットマップ画像中に存在する文字領域を解析して取得する。図３は、本実施形態に係るビットマップ画像の文字領域のレイアウト解析結果の一例である。この例では、同程度の文字サイズで同フォントである文字のまとまりを矩形（領域１〜領域６）で取得している。なお、レイアウト解析結果は必ずしもこのように限定されるものではなく、例えば図４のように、文字が含まれる記事の領域単位で取得しても良い。この例では、同程度のサイズで同じデザインでまとまりとなっている領域を矩形で取得している。また、画像取込部１１０では取込画像に限定は無いため、文字画像が含まれない画像も入力されるが、このような画像が入力された場合、文字領域は一つも無いと出力される。

図５は、図３のレイアウト解析結果の場合の文字領域情報の表現例である。この例では、多角形の各頂点を左回りに並べて保持している。このように多角形の各頂点で表現することで、四角形に限らず複雑な形状の領域に対応が可能である。

文字認識精度推定部１３０は、レイアウト検出部１２０で得られた各文字領域内の文字画像について文字認識（OCR）を行った際の認識精度の予測値を算出する。当該予測値の算出例としては、既存のOCRが出力する各文字の認識結果の確度値の、平均や最低値などから算出する方法がある。当該装置内部では、実際にOCRを行っても良いが、ハードウェア資源の限定された環境に装置が搭載される場合にはOCRの実行が厳しいことも考えられる。この場合には、OCRを行った際の文字認識精度の予測値のみを算出しても構わない。

図６はOCRを行わずに文字認識精度を予測するフローチャートの例である。この例では、文字画像に文字認識精度を低減させる要因である、歪みやたわみ、照り返し、撮影時のボケやブレが存在する場合に所定の定数だけ精度予測値を下げ（Ｓ６３０〜Ｓ６８０）、最終的な精度予測値を算出する（Ｓ６９０）。

図７は出力される文字認識精度情報の表現形式の例である。OCRを行わずに文字認識精度を予測する場合には、同図のように簡単な形式で構わない。

このように、撮影前のプレビュー時に文字認識精度を予測し、プレビュー画面にフィードバック情報として重畳する。例えば、文字認識精度の予測値が所定のしきい値以下である場合はその領域に網掛け処理等をすることによって、文字認識精度の予測値が低いことをユーザに表示する。

不完全領域推定部１４０は、レイアウト検出部１２０で得られた各文字領域について、図８のように、文字領域それぞれについて、文字領域全体が取り込み可能範囲内に収まっていない不完全領域であるかを推定し、推定結果を出力する。

不完全領域であるかどうかを推定する方法はいくつか考えられる。例えば撮影可能範囲の端付近に未知語が多く存在する場合に不完全領域とすることで、不完全領域であるかどうかを推定することができる。未知語であるか判別するには、既知語リストを予め与えておき、リストに語が存在するか調べる方法がある。あるいは形態素解析処理を行なって調べる方法がある。

図９は形態素解析処理を行なって調べるフローチャートの一例である。まず文字領域の画像を取得し（Ｓ９１０）、取得した文字画像についてOCRを行い（Ｓ９２０）、OCRによって得られた認識結果に対して形態素解析を行い（Ｓ９３０）、撮影可能範囲枠に接した行折り返し箇所の前後あるいは折り返し箇所をまたがって存在する形態素を取得する（Ｓ９４０）。まず前述の行折り返し箇所の形態素の数n_allを取得し（Ｓ９５０）、さらにその中で未知語である形態素の数n_unkを取得する（Ｓ９６０）。n_unk / n_all が所定の閾値tより大きい場合に（Ｓ９７０のＹｅｓ）不完全領域と判定し（Ｓ９８０）、所定の閾値t以下である場合に完全領域と判定する（Ｓ９９０）。

図１０は、文字領域の右枠が領域全体から切れている不完全領域を含むビットマップ画像の一部の例である。形態素解析の結果、この図で指し示す「ＤＶり」、「ブルーコーダー」、「い」、「搭レイディスク」、「可ザリンク」、「ブルーレイディスクレ」といった各形態素が撮影可能領域の端で得られるが、これらは未知語である。同図で文章は１２行存在するが、そのうちの６行の折り返し箇所に未知語が存在することから、撮影可能範囲枠に接している箇所に未知語が存在する割合は0.5と求まる。この値を所定の閾値と比較し、閾値以上の時に不完全領域と判別する。

不完全領域であるかどうかを推定する別の方法として、特にハードウェア環境などの制約によりOCRが実行できない場合には、簡易的に、単に文字領域が撮影可能範囲枠に接している場合を、不完全領域としてもよい。

図１１は不完全領域情報の表現形式の例である。同図の通り本実施形態では各領域について不完全領域であるか否かを２値で表現している。

シャッター部１８０は、撮影実行の指示を入力とし、撮影を実行する。本実施形態ではデジタルカメラのように撮影の瞬間を指示することを想定しているが、必ずしもこのような構成に限定されるものではない。例えば動画からあるフレームを取り込む場合には、取り込むフレームの指示を入力とし、取り込みを実行する。

重畳表示部１５０は、レイアウト情報、文字認識精度情報、不完全領域情報を受け取り、レイアウト情報に従い文字領域を囲う枠線を取込画像上に重畳表示し、さらに文字認識精度の低い部分および不完全領域を暗く表示する。文字認識精度が所定の閾値以下である場合に暗く表示すれば良い。部分の輝度を何％下げるかは、予め指定しても良いし、ユーザに設定させても良い。あるいは、文字認識精度推定部１３０から受け取った文字認識精度情報にある、文字認識精度の予測値に正比例するよう決定しても良い。

図１２は取込画像上に認識精度の推定結果を重畳表示した一例である。取込画像は雑誌のビットマップ画像であり、文字領域の一部に照り返し部分がある。

図１３は、図１２の各領域についての文字認識精度情報を示す。この例では照り返し部分を含む領域の文字認識精度は低く、所定の閾値0.6に達していないことから、当該領域（領域１〜４）は暗く表示している。なお、文字画像の存在しない領域は暗く表示するか、明るく表示するかはどちらでも良く、暗く表示することで文字認識精度が良好な部分を目立たせても良いし、明るく表示することで文字認識精度が悪い部分を目立たせても良いし、ユーザに設定させても良い。

本実施形態では、文字認識精度の低い領域は暗く表示するが、文字認識精度の良し悪しが分かる形態であればどのような重畳表示方法でも良い。例えば、文字認識精度に応じて文字領域を囲む枠線の色を変更しても良いし、文字認識精度の予測値を直接表示しても良いし、具体的な認識結果を表示しても良い。

図１４は取込画像上に認識精度の推定結果を重畳した別の一例である。この例では取込画像が雑誌のビットマップ画像である点は図１２と同じであるが、文字領域のうち、全体が撮影可能枠内に収まっていない不完全領域（領域１、２、５）が存在する。文字領域が不完全領域であるかどうかは、不完全領域推定部１４０から不完全領域情報を受け取る。この例は、図１５に示される不完全領域情報を受け取り表示した結果である。図１４の右下の領域（領域５）は、照り返しがなく文字認識精度は良いが、不完全領域であるため暗く表示している。

レイアウト指定部１６０は、タッチパネルを備えた表示画面にレイアウト情報に従って文字画像の存在する領域を重畳表示するとともに、少なくとも精度良く文字認識して欲しい注目する領域を１つ以上選択させる。選択させる領域は１つでも良いし、複数でも良い。

図１６はレイアウト指定部１６０によって領域を１つ以上指定するまでのフローチャートである。同図が示す通り、領域を確定するまでに３つのモードが存在し、それぞれ、既に表示されている領域候補から注目する領域を選択する選択領域追加モード（Ｓ１６４０）、候補領域として表示されていない領域を指定する新規領域追加モード（Ｓ１６６０）、追加された候補領域から削除を行う候補領域削除モード（Ｓ１６８０）である。各モードの切り替えは、当該装置に接続されたボタンから操作させても良いし、タッチパネル画面上に切り替えメニューを表示して切り替えを受け付けても良い。選択領域を確定すると、新規領域をレイアウト検出部１２０に出力し、さらに選択領域と新規領域を撮影判断部１７０に出力する。指定領域の確定についても、当該装置に接続されたボタンから操作させても良いし、タッチパネル画面乗に確定メニューを表示して確定を受け付けても良い。

図１６で示されるレイアウト指定１６０による領域指定の処理の流れを説明する。まず取込画像に文字領域を緑色の枠線（図１７では便宜上、点線で表示）で重畳表示する（Ｓ１６１０）。次に、現在のモードが候補領域削除モードかどうか判別し（Ｓ１６２０）、該当しない場合は新規領域モードかどうか判別し（Ｓ１６３０）、どちらのモードでも無い場合は選択領域追加モードと判別する。選択領域追加モードでは、まずタッチパネルにより選択された領域を選択領域として候補に追加し（Ｓ１６４０）、次に当該領域の枠線の色を所定の色である赤（図１７では便宜上、太い実線で表示）に変更する（Ｓ１６５０）。新規領域指定モードでは、タッチパネルで囲んだ領域を新規領域として候補に追加し（Ｓ１６６０）、その際に当該領域の枠線を追加で重畳表示する（Ｓ１６７０）。候補領域削除モードでは、タッチパネルにより既に候補領域とされている中から削除する領域が選択されると、当該領域を候補から削除し（Ｓ１６８０）、重畳表示していた枠線も元の状態に戻す（Ｓ１６９０）。

図１７はレイアウト指定部１６０の選択領域追加モードでの表示画面の一例である。レイアウト情報に従って取込画像に重畳して文字領域を枠線で囲って重畳表示している。ユーザにタッチパネルの注目する領域をタッチさせることで１つ以上指定を受け取ることが可能である。なお、当該装置にはタッチパネルを使用しなくても良く、例えば装置に接続されたボタンを順次ボタンを押させることでどの領域を選択するか決定させても良い。また、候補領域削除モードでは、同様な操作をさせることで候補領域を削除する。

図１８はレイアウト指定部１６０の新規領域追加モードでの表示画面の一例である。本実施形態では同図のように、ユーザにタッチパネル上で指により指定したい領域を指で囲む動作により指定させる。囲む動作は、指によりタッチパネル上で一筆書きになぞる操作とする。なぞった経路の線が閉じている場合は、閉じられた領域を入力した領域とし、閉じていない場合は、なぞった経路の線の始点と終点を直線で繋いで閉じた領域を入力した領域とする。入力した当該領域を含む矩形領域で文字画像が存在するか解析を行い、もし発見された場合には発見した領域を候補に追加し、発見されない場合は文字が存在しないことを画面上に表示して通知する。

撮影判断部１７０は、レイアウト指定部１６０から受け取った指定領域についての文字認識精度と不完全領域情報を見ることで撮影を行うか判断し、撮影を行うと判断した場合はシャッター信号をシャッター部１８０に出力し自動的に撮影を行う。本実施形態では、指定領域の文字認識精度が良く、不完全領域ではない場合に撮影を行うと判断する。なお、この自動撮影は必ずしも前述の条件全てが必須ではなく、少なくとも、指定領域の文字認識精度が良いか、あるいは指定領域が不完全領域でなければ、自動撮影してもよい。

このように、撮影前のプレビュー時に、精度良く文字認識して欲しい箇所をユーザに指定させ、当該箇所の文字認識精度の予測値が所定のしきい値以上になるまで待ち、当該予測値がしきい値以上となった時に、自動的に撮影する。

なお、自動撮影機能は無効とし、ユーザに指定領域の文字認識精度が良い、あるいは指定領域が不完全領域でない旨を通知し、ユーザにシャッターを押させてもよい。

インデクス重み付け部１９０は、文字認識精度と不完全領域情報を受け取り、これらの情報からインデクスの重み付けを決定する。当該装置は、撮影時に認識精度が良くなるように撮影した領域は、撮影を行ったユーザが注目した領域であると考え、当該領域が検索結果の上位に来るようにするための装置である。なお、本実施形態では文字認識精度と不完全領域情報を受け取るが、さらにレイアウト指定部１６０にて得られる指定領域情報も合わせて受け取り、検索結果に反映させてもよい。

図１９および２０は、撮影時の重畳表示部１５０の画面状態の例である。被写体に「ABC」と「XYZ」という文字列が存在するので、これらを検索インデクスに登録する。

図１９の例では、登録する際に「ABC」という文字列自体は認識できるが「ABC」という文字列が存在する領域には照り返しがあり文字認識精度は低くなっていることから、この撮影画像に対する「ABC」という検索インデクスの重み付けは低くし、「XYZ」という検索インデクスの重み付けはそのままにする。

図２０の例では、「ABC」あるいは「XYZ」という文字列が存在する２つの文字領域は、どちらも文字認識精度は良い。しかし「XYZ」という文字列が存在する文字領域は文字領域の右側が撮影可能範囲で切れてしまっていることから、この撮影画像に対する「ABC」という検索インデクスはそのままにし、「XYZ」という検索インデクスの重み付けは低くする。これによって、検索クエリに「XYZ」が与えられた場合には、図１９の撮影画像が検索結果の上位に来るようになり、検索クエリに「ABC」が与えられた場合には、図２０の撮影画像が検索結果の上位に来るようになる。

このように、ユーザが撮影時に指定した箇所に検索クエリ文字列が存在する画像が検索結果上位に出力する。ユーザが撮影する際に注目していない箇所に含まれる文字が検索に用いられることはユーザの意図に反していると考えられることから、撮影時に文字認識精度の予測値が所定のしきい値に満たなかった箇所に存在した文字のインデックス重み付けを、検索クエリ生成時に低く設定する。これにより、ユーザが撮影した箇所により検索された画像が検索結果の上位に出力される。

本実施形態では、注目する領域に文字列が存在する場合には検索結果が上位に来るようにしていたが、必ずしもそのように限定されるものではなく、例えば注目されていない領域の文字列はインデクスを作成せず、検索結果で出力されないようにしても良い。

なお、本実施形態は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１００ 画像撮影装置
１１０ 画像取込部
１２０ レイアウト検出部
１３０ 文字認識精度推定部
１４０ 不完全領域推定部
１５０ 重畳表示部
１６０ レイアウト指定部
１７０ 撮影判断部
１８０ シャッター部
１９０ インデクス重み付け部
２００ 画像ＤＢ

Claims (7)

1. 被写体の画像を取り込む取込部と、
   前記画像の文字領域を複数検出する検出部と、
   前記文字領域それぞれについて文字認識精度を推定する推定部と、
   前記文字領域の前記文字認識精度が所定のしきい値以下の場合、当該文字領域に対して、前記文字認識精度が低いことを表示する表示部と、
   前記文字認識精度が低い前記文字領域以外の他の文字領域の文字列をインデクスに登録する登録部とを備える画像処理装置。
2. 前記表示部は、前記文字領域のうち、前記文字認識精度が低い領域を暗く表示することを特徴とする請求項１記載の画像処理装置。
3. 前記文字領域は、当該文字領域全体が前記取込部の取り込み可能範囲内に収まっていない不完全領域であるかを推定する不完全領域推定部をさらに備え、
   前記表示部は、前記文字領域が前記不完全領域の場合、当該文字領域に対して、前記不完全領域であることを表示することを特徴とする請求項１記載の画像処理装置。
4. 前記文字認識精度に基づいて撮影を行うか否かを判断する判断部をさらに備えることを特徴とする請求項１記載の画像処理装置。
5. 前記不完全領域であるか否かに基づいて撮影を行うか否かを判断する判断部をさらに備えることを特徴とする請求項３記載の画像処理装置。
6. 被写体の画像を取り込むステップと、
   前記画像の文字領域を複数検出するステップと、
   前記文字領域それぞれについて文字認識精度を推定するステップと、
   前記文字領域の前記文字認識精度が所定のしきい値以下の場合、当該文字領域に対して、前記文字認識精度が低いことを表示するステップと、
   前記文字認識精度が低い前記文字領域以外の他の文字領域の文字列をインデクスに登録するステップとを備える画像処理方法。
7. コンピュータを、
   被写体の画像を取り込む手段と、
   前記画像の文字領域を複数検出する手段と、
   前記文字領域それぞれについて文字認識精度を推定する手段と、
   前記文字領域の前記文字認識精度が所定のしきい値以下の場合、当該文字領域に対して、前記文字認識精度が低いことを表示する手段と、
   前記文字認識精度が低い前記文字領域以外の他の文字領域の文字列をインデクスに登録する手段として機能させるための画像処理プログラム。

Images