JP6613378B2 - モバイル端末、画像処理方法、および、プログラム - Google Patents

Description

本発明は、モバイル端末、画像処理方法、および、プログラムに関する。

従来から、画像のボケを検出する技術が開示されている。

ここで、撮影画像の被写体領域のボケもしくはブレを検出し、ユーザにより意図的にボケブレが表現された成功画像なのか、そうではない失敗画像なのかを評価する技術が開示されている（特許文献１を参照）。

特開２０１３−１２９０６号公報

しかしながら、従来の画像処理装置（特許文献１）においては、画像のボケ判定を、画像の向き補正に利用するものではないという問題点を有していた。

本発明は、上記問題点に鑑みてなされたもので、ユーザがモバイル端末にて撮影した原稿画像中のボケていない領域を用いて原稿画像の向き補正を行うことで、撮影時のデバイスの傾き等に起因する原稿画像の傾きを適切に補正することができるモバイル端末、画像処理方法、および、プログラムを提供することを目的とする。

このような目的を達成するため、本発明に係るモバイル端末は、撮影部の撮影による撮影画像の撮影画像データを取得する画像取得手段と、前記撮影画像に含まれる原稿画像を特定する原稿特定手段と、前記原稿画像における部分領域の部分領域画像データを取得する部分領域取得手段と、前記部分領域のボケを検出するボケ検出手段と、前記ボケに基づいて、前記部分領域を前記原稿画像の向きの識別を行う対象領域として設定する対象領域設定手段と、前記対象領域におけるコンテンツの向きを特定し、前記コンテンツの向きに基づいて、前記原稿画像の向きを特定する向き特定手段と、前記原稿画像の向きに基づいて、正立補正した前記原稿画像の補正後画像データを取得する向き補正手段と、を備えたことを特徴とする。

また、本発明に係る画像処理方法は、撮影部の撮影による撮影画像の撮影画像データを取得する画像取得ステップと、前記撮影画像に含まれる原稿画像を特定する原稿特定ステップと、前記原稿画像における部分領域の部分領域画像データを取得する部分領域取得ステップと、前記部分領域のボケを検出するボケ検出ステップと、前記ボケに基づいて、前記部分領域を前記原稿画像の向きの識別を行う対象領域として設定する対象領域設定ステップと、前記対象領域におけるコンテンツの向きを特定し、前記コンテンツの向きに基づいて、前記原稿画像の向きを特定する向き特定ステップと、前記原稿画像の向きに基づいて、正立補正した前記原稿画像の補正後画像データを取得する向き補正ステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、撮影部の撮影による撮影画像の撮影画像データを取得する画像取得ステップと、前記撮影画像に含まれる原稿画像を特定する原稿特定ステップと、前記原稿画像における部分領域の部分領域画像データを取得する部分領域取得ステップと、前記部分領域のボケを検出するボケ検出ステップと、前記ボケに基づいて、前記部分領域を前記原稿画像の向きの識別を行う対象領域として設定する対象領域設定ステップと、前記対象領域におけるコンテンツの向きを特定し、前記コンテンツの向きに基づいて、前記原稿画像の向きを特定する向き特定ステップと、前記原稿画像の向きに基づいて、正立補正した前記原稿画像の補正後画像データを取得する向き補正ステップと、をコンピュータに実行させることを特徴とする。

この発明によれば、ユーザがモバイルカメラで撮影した原稿画像に対し、原稿種、または、撮影時のデバイスの傾きにとらわれない向き補正を適切に行うことが可能となる。

図１は、本実施形態に係るモバイル端末の構成の一例を示すブロック図である。 図２は、本実施形態のモバイル端末における処理の一例を示すフローチャートである。 図３は、本実施形態における撮影画像の一例を示す図である。 図４は、本実施形態における向き特定処理の一例を示す図である。 図５は、本実施形態における向き補正処理の一例を示す図である。 図６は、本実施形態における部分領域取得処理の一例を示す図である。 図７は、本実施形態における部分領域取得処理の一例を示す図である。 図８は、本実施形態における部分領域取得処理の一例を示す図である。 図９は、本実施形態における撮影画像の一例を示す図である。 図１０は、本実施形態における原稿画像の一例を示す図である。 図１１は、本実施形態におけるボケ判定の一例を示す図である。 図１２は、本実施形態におけるボケ判定の一例を示す図である。 図１３は、本実施形態における向き補正処理の一例を示す概要図である。

以下に、本発明に係るモバイル端末、画像処理方法、および、プログラムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本発明が限定されるものではない。

［本実施形態の構成］
以下、本発明の実施形態に係るモバイル端末１００の構成の一例について図１を参照して説明し、その後、本実施形態の処理等について詳細に説明する。図１は、本実施形態に係るモバイル端末１００の構成の一例を示すブロック図である。

但し、以下に示す実施形態は、本発明の技術思想を具体化するためのモバイル端末１００を例示するものであって、本発明をこのモバイル端末１００に特定することを意図するものではなく、請求の範囲に含まれるその他の実施形態のモバイル端末１００にも等しく適用し得るものである。

また、本実施形態で例示するモバイル端末１００における機能分散の形態は以下に限られず、同様の効果や機能を奏し得る範囲において、任意の単位で機能的または物理的に分散・統合して構成することができる。

ここで、モバイル端末１００は、例えば、タブレット端末、携帯電話、スマートフォン、ＰＨＳ、ＰＤＡ、ノート型のパーソナルコンピュータ、または、メガネ型もしくは時計型などのウェアラブルコンピュータ等の可搬性を有する携帯型の情報処理装置であってもよい。

まず、図１に示すように、モバイル端末１００は、概略的に、制御部１０２と記憶部１０６と撮影部１１０と入出力部１１２とセンサ部１１４と通信部１１６とを備えて構成される。

ここで、図１では省略しているが、本実施形態において、更に、入出力部１１２と制御部１０２とを接続する入出力インターフェース部（図示せず）を備えていてもよい。これらモバイル端末１００の各部は任意の通信路を介して通信可能に接続されている。

ここで、通信部１１６は、有線通信および／または無線通信（ＷｉＦｉ（登録商標）等）によりＩＰデータを送受信するためのネットワークインターフェース（ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ）等）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、または、赤外線通信等によって無線通信を行うインターフェースであってもよい。

ここで、モバイル端末１００は、通信部１１６を用いて、ネットワークを介して外部装置と通信可能に接続されていてもよい。

また、センサ部１１４は、物理量を検出して別媒体の信号（デジタル信号）に変換する。ここで、センサ部１１４は、近接センサ、方角センサ、磁場センサ、直線加速センサ、輝度センサ、ジャイロセンサ、圧力センサ、重力センサ、加速度センサ、気圧センサ、および／または、温度センサ等を含んでいてもよい。

また、入出力部１１２は、データの入出力（Ｉ／Ｏ）を行う。ここで、入出力部１１２は、例えば、キー入力部、タッチパネル、コントロールパッド（例えば、タッチパッド、および、ゲームパッド等）、マウス、キーボード、および／または、マイク等であってもよい。

また、入出力部１１２は、アプリケーション等の表示画面を表示する表示部（例えば、液晶または有機ＥＬ等から構成されるディスプレイ、モニタ、または、タッチパネル等）であってもよい。

また、入出力部１１２は、音声情報を音声として出力する音声出力部（例えば、スピーカ等）であってもよい。また、入出力部（タッチパネル）１１２は、物理的接触を検出し、信号（デジタル信号）に変換するセンサ部１１４を含んでいてもよい。

また、撮影部１１０は、被写体（例えば、原稿等）を連続画像撮影（動画撮影）することで、連続（動画）の画像データ（フレーム）を取得する。例えば、撮影部１１０は、映像データを取得してもよい。また、撮影部１１０は、アンシラリデータを取得してもよい。

ここで、撮影部１１０は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、および／または、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を備えたカメラ等であってもよい。

また、撮影部１１０は、被写体を静止画撮影することで、静止画である撮影画像の撮影画像データを取得してもよい。ここで、撮影画像データは、非圧縮の画像データであってもよい。また、撮影画像データは、高解像度の画像データであってもよい。

ここで、高解像度とは、フルハイビジョン、４Ｋ解像度、または、スーパーハイビジョン（８Ｋ解像度）等であってもよい。また、撮影部１１０は、２４ｆｐｓまたは３０ｆｐｓ等で動画撮影してもよい。

記憶部１０６は、各種のデータベース、テーブル、および／または、ファイルなどを格納する。また、記憶部１０６は、各種アプリケーションプログラム（例えば、ユーザアプリケーション等）を記憶していてもよい。

また、記憶部１０６は、ストレージ手段であり、例えばＲＡＭ・ＲＯＭ等のメモリ、ハードディスクのような固定ディスク装置、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フレキシブルディスク、および／または、光ディスク等の有形の記憶装置、または、記憶回路を用いることができる。

また、記憶部１０６には、コントローラ等に命令を与え各種処理を行うためのコンピュータプログラム等が記録されている。

これら記憶部１０６の各構成要素のうち、辞書データファイル１０６ａは、辞書データを記憶する。ここで、辞書データは、各言語の文字、数字、および、記号等に関するデータであってもよい。

帳票データファイル１０６ｂは、特定の帳票の特徴データ、および、レイアウトデータを記憶する。ここで、特定の帳票は、運転免許証を含む各種免許証、パスポートを含む各種身分証明書、または、健康保険証等のレイアウトが既定である規定帳票であってもよい。

画像データファイル１０６ｃは、画像データ（フレーム等）を記憶する。ここで、画像データファイル１０６ｃは、撮影画像データ、原稿画像データ、部分領域画像データ、対象領域画像データ、および／または、補正後画像データを記憶していてもよい。

また、画像データファイル１０６ｃは、原稿画像、部分領域、および／または、対象領域等の位置データを記憶していてもよい。また、画像データファイル１０６ｃは、画像データに対応する文字データを記憶していてもよい。

また、画像データファイル１０６ｃは、映像データを記憶していてもよい。また、画像データファイル１０６ｃは、アンシラリデータを記憶していてもよい。

また、制御部１０２は、モバイル端末１００を統括的に制御するＣＰＵ、メニーコアＣＰＵ、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、および／または、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等を含む有形のコントローラ、または、制御回路から構成されてもよい。

制御部１０２は、制御プログラムと各種の処理手順等を規定したプログラムと所要データとを格納するための内部メモリを有し、これらプログラムに基づいて種々の処理を実行するための情報処理を行う。

ここで、制御部１０２は、機能概念的に、画像取得部１０２ａ、原稿特定部１０２ｂ、部分領域取得部１０２ｃ、ボケ検出部１０２ｄ、対象領域設定部１０２ｅ、帳票判定部１０２ｆ、向き特定部１０２ｇ、向き補正部１０２ｈ、および、画像表示部１０２ｉを備える。

画像取得部１０２ａは、画像データを取得する。ここで、画像取得部１０２ａは、撮影部１１０の撮影による撮影画像の撮影画像データを取得してもよい。

また、画像取得部１０２ａは、ボケ検出部１０２ｄにより所定の基準値以下のボケが検出されなかった場合、撮影部１１０の再度の撮影による撮影画像データを取得してもよい。また、画像取得部１０２ａは、非圧縮且つ高解像度の画像データを取得してもよい。

また、画像取得部１０２ａは、撮影部１１０による連続画像撮影または動画撮影を制御して、１コマに相当する画像データ（フレーム）を取得してもよい。また、画像取得部１０２ａは、撮影部１１０による静止画撮影を制御して、画像データを取得してもよい。

また、画像取得部１０２ａは、原稿画像データ、部分領域画像データ、対象領域画像データ、および／または、補正後画像データ等を取得してもよい。また、画像取得部１０２ａは、アンシラリデータを取得してもよい。

原稿特定部１０２ｂは、撮影画像に含まれる原稿画像を特定する。ここで、原稿は、矩形原稿であってもよい。また、原稿特定部１０２ｂは、撮影画像データから原稿画像の位置データを検出してもよい。

ここで、原稿特定部１０２ｂは、撮影画像データから原稿画像のコーナー座標（４点）を検出してもよい。また、原稿特定部１０２ｂは、撮影画像データから原稿画像のレイアウトを検出してもよい。

また、原稿特定部１０２ｂは、エッジ検出法、および／または、特徴点マッチング法を用いて、撮影画像データから原稿画像の位置データを検出し、原稿画像の位置データに基づいて、原稿画像を特定してもよい。

部分領域取得部１０２ｃは、原稿画像における部分領域の部分領域画像データを取得する。ここで、部分領域取得部１０２ｃは、原稿画像を分割した部分領域の部分領域画像データを取得してもよい。

また、部分領域取得部１０２ｃは、原稿画像の原稿画像データに対するラベリング処理により、原稿画像における文字を示す部分領域の部分領域画像データを取得してもよい。

ボケ検出部１０２ｄは、画像のボケを検出する。ここで、ボケ検出部１０２ｄは、部分領域のボケを検出してもよい。

対象領域設定部１０２ｅは、原稿画像の向きの識別を行う対象領域を設定する。ここで、対象領域設定部１０２ｅは、ボケに基づいて、部分領域を原稿画像の向きの識別を行う対象領域として設定してもよい。

また、対象領域設定部１０２ｅは、ボケ検出部１０２ｄにより所定の基準値以下のボケが検出された時点で、当該所定の基準値以下のボケが検出された部分領域を原稿画像の向きの識別を行う対象領域として設定してもよい。

また、対象領域設定部１０２ｅは、ボケ検出部１０２ｄにより検出されたボケを比較し、最もボケていない部分領域を原稿画像の向きの識別を行う対象領域として設定してもよい。

帳票判定部１０２ｆは、特定の帳票の特徴データに基づいて、原稿画像が特定の帳票に該当するか否かを判定する。

向き特定部１０２ｇは、原稿画像の向きを特定する。ここで、向き特定部１０２ｇは、対象領域におけるコンテンツの向きを特定し、コンテンツの向きに基づいて、原稿画像の向きを特定してもよい。

また、向き特定部１０２ｇは、帳票判定部１０２ｆにより原稿画像が特定の帳票に該当すると判定された場合、特定の帳票のレイアウトデータに基づいて、原稿画像の向きを特定してもよい。

また、向き特定部１０２ｇは、対象領域の対象領域画像データに対するラベリング処理により、対象領域における文字を示す文字領域を特定し、文字領域の文字領域データと辞書データとの比較に基づいて、文字領域における文字の向きを特定し、文字の向きに基づいて、原稿画像の向きを特定してもよい。

また、向き特定部１０２ｇは、対象領域の対象領域データと辞書データとの比較に基づいて、対象領域における文字の向きを特定し、文字の向きに基づいて、原稿画像の向きを特定してもよい。

向き補正部１０２ｈは、正立補正した原稿画像の補正後画像データを取得する。ここで、向き補正部１０２ｈは、原稿画像の向きに基づいて、正立補正した原稿画像の補正後画像データを取得してもよい。

画像表示部１０２ｉは、画像データを表示させる。ここで、画像表示部１０２ｉは、撮影画像データ、原稿画像データ、部分領域画像データ、対象領域画像データ、および／または、補正後画像データを表示させてもよい。

また、画像表示部１０２ｉは、画像データを入出力部１１２に表示させてもよい。また、画像表示部１０２ｉは、文字データを表示させてもよい。

［本実施形態の処理］
上述した構成のモバイル端末１００で実行される処理の一例について、図２から図１３を参照して説明する。図２は、本実施形態のモバイル端末１００における処理の一例を示すフローチャートである。

図２に示すように、まず、画像取得部１０２ａは、矩形原稿を被写体とした撮影部（カメラ）１１０による撮影を制御して、撮影部１１０の撮影による撮影画像の撮影画像データを取得する（ステップＳＡ−１）。

そして、原稿特定部１０２ｂは、エッジ検出法、および／または、特徴点マッチング法を用いて、撮影画像データから原稿画像の位置データを検出し、原稿画像の位置データに基づいて、撮影画像に含まれる原稿画像を特定する（ステップＳＡ−２）。

この時点で、画像表示部１０２ｉは、原稿特定部１０２ｂにより特定された原稿画像の原稿画像データを入出力部１１２に表示させることにより、ユーザに特定された原稿画像を確認させてもよい。

そして、帳票判定部１０２ｆは、帳票データファイル１０６ｂに記憶された特定の帳票の特徴データに基づいて、原稿画像が特定の帳票に該当するか否かを判定する（ステップＳＡ−３）。

そして、帳票判定部１０２ｆは、原稿画像が特定の帳票に該当すると判定した場合（ステップＳＡ−３：Ｙｅｓ）、処理をステップＳＡ−４に移行させる。

そして、向き特定部１０２ｇは、帳票データファイル１０６ｂに記憶された特定の帳票のレイアウトデータに基づいて、原稿画像の向きを特定する（ステップＳＡ−４）。

そして、向き補正部１０２ｈは、原稿画像の向きに基づいて、正立補正した原稿画像の補正後画像データを取得し（ステップＳＡ−５）、処理をステップＳＡ−１２に移行させる。

ここで、図３から図５を参照して、本実施形態における特定の帳票における向き補正処理の一例について説明する。図３は、本実施形態における撮影画像の一例を示す図である。図４は、本実施形態における向き特定処理の一例を示す図である。図５は、本実施形態における向き補正処理の一例を示す図である。

本実施形態においては、図３に示す撮影画像から矩形抽出することにより、図４に示す原稿画像を特定している。

そして、本実施形態においては、図４に示す運転免許証の原稿画像に対して、特徴Ａ（太枠で囲んだ部分）を抽出している。

そして、本実施形態においては、抽出した特徴と予めデータベース（帳票データファイル１０６ｂ）に登録してある帳票の特徴データとの整合性を判定することで、特定の帳票（運転免許証）であるか否かを判定している。

そして、本実施形態においては、特定の帳票であった場合、帳票種別情報を設定し、特定の帳票特有のレイアウトデータに基づいて、図５に示すように、原稿画像の向き補正を行っている。

図２に戻り、帳票判定部１０２ｆは、原稿画像が特定の帳票に該当しないと判定した場合（ステップＳＡ−３：Ｎｏ）、処理をステップＳＡ−６に移行させる。

そして、部分領域取得部１０２ｃは、原稿画像を分割した部分領域の部分領域画像データを取得する（ステップＳＡ−６）。

なお、部分領域取得部１０２ｃは、原稿画像の原稿画像データに対するラベリング処理により、原稿画像における文字を示す部分領域の部分領域画像データを取得してもよい。

ここで、図６から図８を参照して、本実施形態における部分領域取得処理の一例について説明する。図６から図８は、本実施形態における部分領域取得処理の一例を示す図である。

図６に示すように、本実施形態においては、単純に原稿画像を２×２の４分割に領域分割した部分領域の部分領域画像データを取得してもよい。

また、図７に示すように、本実施形態においては、単純に原稿画像を３×３の９分割に領域分割した部分領域の部分領域画像データを取得してもよい。

また、図８に示すように、本実施形態においては、二値化した原稿画像Ｂの原稿画像データに対してラベリング処理を行うことにより、文字単位（ラベル単位）まで領域分割した部分領域Ｃの部分領域画像データを取得してもよい。

図２に戻り、ボケ検出部１０２ｄは、部分領域のボケを検出する（ステップＳＡ−７）。ここで、ボケ検出部１０２ｄは、エッジ強度による判定方法等を用いて、部分領域のボケを検出してもよい。

ここで、図９および図１０を参照して、本実施形態におけるボケ発生の一例について説明する。図９は、本実施形態における撮影画像の一例を示す図である。図１０は、本実施形態における原稿画像の一例を示す図である。

モバイルカメラで原稿を撮影した場合、斜めからなど、多方向から撮影することがあるため、図９に示すような撮影画像となりやすい。

そのため、図９の撮影画像に含まれる原稿画像Ｄにおいては、図１０に示すように、撮影位置から近い領域Ｅではボケが発生しにくく、文字解像度が低下しにくいが、撮影位置から遠い原稿画像Ｄ中の領域Ｆではボケが発生しやすく、文字解像度が低下しやすい。

図２に戻り、ボケ検出部１０２ｄは、検出したボケが所定の基準値以下となる部分領域があるか否かを判定する（ステップＳＡ−８）。

そして、ボケ検出部１０２ｄは、検出したボケが所定の基準値以下となる部分領域がないと判定した場合（ステップＳＡ−８：Ｎｏ）、処理をステップＳＡ−１に移行させる。

一方、ボケ検出部１０２ｄは、検出したボケが所定の基準値以下となる部分領域があると判定した場合（ステップＳＡ−８：Ｙｅｓ）、処理をステップＳＡ−９に移行させる。

ここで、図１１および図１２を参照して、本実施形態におけるボケ判定の一例について説明する。図１１および図１２は、本実施形態におけるボケ判定の一例を示す図である。

図１１に示すように、本実施形態において、原稿画像のボケが基準値以下（ボケていない）という状態は、原稿画像がボケておらず、文字の視認性がよい状態である。

一方、図１２に示すように、本実施形態において、原稿画像のボケが基準値より大きい（ボケている）という状態は、原稿画像がボケていて、文字の視認性が悪い状態であり、撮影のリトライが必要となる。

図２に戻り、対象領域設定部１０２ｅは、所定の基準値以下のボケが検出された部分領域を原稿画像の向きの識別を行う対象領域として設定する（ステップＳＡ−９）。

例えば、対象領域設定部１０２ｅは、各部分領域のボケを順番に検出し、ボケが基準値以下（ボケていない）の領域を確認した時点で、その部分領域を対象領域として設定してもよい。

また、対象領域設定部１０２ｅは、各部分領域のボケを比較して最もボケていない領域を対象領域として設定してもよい。

そして、向き特定部１０２ｇは、対象領域におけるコンテンツの向きを特定し、コンテンツの向きに基づいて、原稿画像の向きを特定する（ステップＳＡ−１０）。

例えば、向き特定部１０２ｇは、対象領域に含まれるコンテンツである文字領域の文字領域データに対するラベリング処理、および、文字領域データと辞書データファイル１０６ａに記憶された辞書データとの比較により、コンテンツの向きを特定してもよい。

そして、向き補正部１０２ｈは、原稿画像の向きに基づいて、正立補正した原稿画像の補正後画像データを取得する（ステップＳＡ−１１）。

そして、向き補正部１０２ｈは、補正後画像データを画像データファイル１０６ｃに保存（格納）し（ステップＳＡ−１２）、処理を終了する。

更に、画像表示部１０２ｉは、向き補正部１０２ｈにより取得された原稿画像の補正後画像データを入出力部１１２に表示させることにより、ユーザに向き補正された原稿画像を確認させてもよい。

ここで、図１３を参照して、本実施形態における向き補正処理の概要の一例について説明する。図１３は、本実施形態における向き補正処理の一例を示す概要図である。

図１３に示すように、本実施形態においては、原稿を撮影し（ステップＳＢ−１）、撮影画像から原稿画像となる矩形抽出を行う（ステップＳＢ−２）。

そして、この時点で、本実施形態においては、切り出した原稿画像の原稿画像データを表示させ、ユーザに確認させる。なお、本実施形態においては、射影変換した原稿画像の原稿画像データを表示させてもよい。

そして、本実施形態においては、ユーザへ矩形抽出した原稿画像の表示を行った後、撮影した原稿が一般的な文書の場合、原稿画像を部分領域に２×２分割する（ステップＳＢ−３）。

そして、本実施形態においては、それぞれの部分領域のボケを検出し（ステップＳＢ−４）、ボケがある一定以下の部分領域を検出した時点でその部分領域を使い、向き補正を行い、向き補正後の原稿画像を保存し（ステップＳＢ−５）、処理を終了する。

ここで、もし、部分領域が白紙または文字数の候補が少ない場合、本実施形態においては、当該部分領域をボケ検出の対象とせずに、他の部分領域でボケ判定を行ってもよい。

一方、本実施形態においては、それぞれの部分領域のボケを検出し（ステップＳＢ−４）、４つ全ての部分領域のボケが、基準値より大きい（ボケている）場合（ステップＳＢ−６）、撮影自体をやり直す（リトライする）ため、処理をステップＳＢ−１に移行させる（ステップＳＢ−７）。

このように、本実施形態においては、画像中に含まれる原稿画像を検出し、原稿画像を分割し、分割した各領域のボケを検出し、よりボケの少ない領域を向き補正の対象領域として決定し、向き補正の対象領域から原稿画像の向き補正を行ってもよい。

また、本実施形態においては、原稿画像の特徴量による帳票判定を行い、特定の帳票（運転免許証または健康保険証等）の場合、その帳票種に特化した向き補正処理、および、処理後の画像データの保存を行ってもよい。

近年、スマートフォンまたはタブレット等のモバイル端末の普及に伴い、従来ではスキャナが利用されてきた業務が、カメラを有するモバイル端末を利用する業務に変化している。

これは、カメラによるスキャニングは場所を問わないこと、または、媒体の制限が無いことによる自由度が高いという利点があるからである。

一方、カメラ画像は、周辺の光量、撮影方向、および、撮影時の運動などの環境が安定しないことから、スキャナ画質と同等の画像を得ることが難しいという問題があった。

更に、従来の向き補正処理においては、原稿画像上部またはランダムな位置の文字を認識することで正しい原稿向きを判定していた。

しかしながら、一般的なカメラで原稿を撮影する場合、斜めを含む多方向から撮影されることがあるため、原稿画像にボケ領域が発生してしまい、向き補正処理の精度低下の原因となっていた。

そこで、本実施形態においては、スキャナ画質で行われていた画像処理を、モバイルカメラ画質にも対応できるようにしている。

［他の実施形態］
さて、これまで本発明の実施形態について説明したが、本発明は、上述した実施形態以外にも、請求の範囲に記載した技術的思想の範囲内において種々の異なる実施形態にて実施されてよいものである。

例えば、モバイル端末１００は、スタンドアローンの形態で処理を行ってもよく、クライアント端末（モバイル端末１００とは別筐体である）からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却するようにしてもよい。

また、実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。

このほか、明細書中および図面中で示した処理手順、制御手順、具体的名称、各処理の登録データもしくは検索条件等のパラメータを含む情報、画面例、または、データベース構成については、特記する場合を除いて任意に変更することができる。

また、モバイル端末１００に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。

例えば、モバイル端末１００の各装置が備える処理機能、特に制御部１０２にて行われる各処理機能については、その全部または任意の一部を、ＣＰＵおよび当該ＣＰＵにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。

なお、プログラムは、後述する、コンピュータに本発明に係る方法を実行させるためのプログラム化された命令を含む、一時的でないコンピュータ読み取り可能な記録媒体に記録されており、必要に応じてモバイル端末１００に機械的に読み取られる。すなわち、ＲＯＭまたはＨＤＤなどの記憶部１０６などには、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）と協働してＣＰＵに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、ＲＡＭにロードされることによって実行され、ＣＰＵと協働して制御部を構成する。

また、このコンピュータプログラムは、モバイル端末１００に対して任意のネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。

また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ＤＶＤ、および、Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ等の任意の「可搬用の物理媒体」を含むものとする。

また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳに代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。

記憶部１０６に格納される各種のデータベース等は、ＲＡＭもしくはＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および／または、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラム、テーブル、データベース、および／または、ウェブページ用ファイル等を格納してもよい。

また、モバイル端末１００は、既知のパーソナルコンピュータ等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成してもよい。また、モバイル端末１００は、該情報処理装置に本発明の方法を実現させるソフトウェア（プログラム、データ等を含む）を実装することにより実現してもよい。

更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。

以上のように、モバイル端末、画像処理方法、および、プログラムは、産業上の多くの分野、特にカメラで読み込んだ画像を扱う画像処理分野で実施することができ、極めて有用である。

１００ モバイル端末
１０２ 制御部
１０２ａ 画像取得部
１０２ｂ 原稿特定部
１０２ｃ 部分領域取得部
１０２ｄ ボケ検出部
１０２ｅ 対象領域設定部
１０２ｆ 帳票判定部
１０２ｇ 向き特定部
１０２ｈ 向き補正部
１０２ｉ 画像表示部
１０６ 記憶部
１０６ａ 辞書データファイル
１０６ｂ 帳票データファイル
１０６ｃ 画像データファイル
１１０ 撮影部
１１２ 入出力部
１１４ センサ部
１１６ 通信部

Claims (17)

1. 撮影部の撮影による撮影画像の撮影画像データを取得する画像取得手段と、
   前記撮影画像に含まれる原稿画像を特定する原稿特定手段と、
   前記原稿画像における部分領域の部分領域画像データを取得する部分領域取得手段と、
   前記部分領域のボケを検出するボケ検出手段と、
   前記ボケに基づいて、前記部分領域を前記原稿画像の向きの識別を行う対象領域として設定する対象領域設定手段と、
   前記対象領域におけるコンテンツの向きを特定し、前記コンテンツの向きに基づいて、前記原稿画像の向きを特定する向き特定手段と、
   前記原稿画像の向きに基づいて、正立補正した前記原稿画像の補正後画像データを取得する向き補正手段と、
   を備えたことを特徴とする、モバイル端末。
2. 特定の帳票の特徴データ、および、レイアウトデータを記憶する帳票データ記憶手段と、
   前記特徴データに基づいて、前記原稿画像が前記特定の帳票に該当するか否かを判定する帳票判定手段と、
   を更に備え、
   前記向き特定手段は、
   更に、前記帳票判定手段により前記原稿画像が前記特定の帳票に該当すると判定された場合、前記レイアウトデータに基づいて、前記原稿画像の向きを特定する、請求項１に記載のモバイル端末。
3. 辞書データを記憶する辞書データ記憶手段、
   を更に備え、
   前記向き特定手段は、
   前記対象領域の対象領域画像データに対するラベリング処理により、前記対象領域における文字を示す文字領域を特定し、前記文字領域の文字領域データと前記辞書データとの比較に基づいて、前記文字領域における前記文字の向きを特定し、前記文字の向きに基づいて、前記原稿画像の向きを特定する、請求項１または２に記載のモバイル端末。
4. 前記部分領域取得手段は、
   前記原稿画像を分割した前記部分領域の前記部分領域画像データを取得する、請求項１から３のいずれか一つに記載のモバイル端末。
5. 辞書データを記憶する辞書データ記憶手段、
   を更に備え、
   前記部分領域取得手段は、
   前記原稿画像の原稿画像データに対するラベリング処理により、前記原稿画像における文字を示す前記部分領域の前記部分領域画像データを取得し、
   前記向き特定手段は、
   前記対象領域の対象領域データと前記辞書データとの比較に基づいて、前記対象領域における前記文字の向きを特定し、前記文字の向きに基づいて、前記原稿画像の向きを特定する、請求項１または２に記載のモバイル端末。
6. 前記対象領域設定手段は、
   前記ボケ検出手段により所定の基準値以下の前記ボケが検出された時点で、当該所定の基準値以下のボケが検出された前記部分領域を前記原稿画像の向きの識別を行う前記対象領域として設定する、請求項１から５のいずれか一つに記載のモバイル端末。
7. 前記対象領域設定手段は、
   前記ボケ検出手段により検出された前記ボケを比較し、最もボケていない前記部分領域を前記原稿画像の向きの識別を行う前記対象領域として設定する、請求項１から５のいずれか一つに記載のモバイル端末。
8. 前記画像取得手段は、
   前記ボケ検出手段により所定の基準値以下の前記ボケが検出されなかった場合、前記撮影部の再度の撮影による撮影画像データを取得する、請求項１から５のいずれか一つに記載のモバイル端末。
9. 撮影部の撮影による撮影画像の撮影画像データを取得する画像取得ステップと、
   前記撮影画像に含まれる原稿画像を特定する原稿特定ステップと、
   前記原稿画像における部分領域の部分領域画像データを取得する部分領域取得ステップと、
   前記部分領域のボケを検出するボケ検出ステップと、
   前記ボケに基づいて、前記部分領域を前記原稿画像の向きの識別を行う対象領域として設定する対象領域設定ステップと、
   前記対象領域におけるコンテンツの向きを特定し、前記コンテンツの向きに基づいて、前記原稿画像の向きを特定する向き特定ステップと、
   前記原稿画像の向きに基づいて、正立補正した前記原稿画像の補正後画像データを取得する向き補正ステップと、
   を含むことを特徴とする、画像処理方法。
10. 記憶された特定の帳票の特徴データに基づいて、前記原稿画像が前記特定の帳票に該当するか否かを判定する帳票判定ステップ、
    を更に含み、
    前記向き特定ステップにて、
    更に、前記帳票判定ステップにて前記原稿画像が前記特定の帳票に該当すると判定された場合、記憶された特定の帳票のレイアウトデータに基づいて、前記原稿画像の向きを特定する、請求項９に記載の画像処理方法。
11. 前記向き特定ステップにて、
    前記対象領域の対象領域画像データに対するラベリング処理により、前記対象領域における文字を示す文字領域を特定し、前記文字領域の文字領域データと記憶された辞書データとの比較に基づいて、前記文字領域における前記文字の向きを特定し、前記文字の向きに基づいて、前記原稿画像の向きを特定する、請求項９または１０に記載の画像処理方法。
12. 前記部分領域取得ステップにて、
    前記原稿画像を分割した前記部分領域の前記部分領域画像データを取得する、請求項９から１１のいずれか一つに記載の画像処理方法。
13. 前記部分領域取得ステップにて、
    前記原稿画像の原稿画像データに対するラベリング処理により、前記原稿画像における文字を示す前記部分領域の前記部分領域画像データを取得し、
    前記向き特定ステップにて、
    前記対象領域の対象領域データと記憶された辞書データとの比較に基づいて、前記対象領域における前記文字の向きを特定し、前記文字の向きに基づいて、前記原稿画像の向きを特定する、請求項９または１０に記載の画像処理方法。
14. 前記対象領域設定ステップにて、
    前記ボケ検出ステップにて所定の基準値以下の前記ボケが検出された時点で、当該所定の基準値以下のボケが検出された前記部分領域を前記原稿画像の向きの識別を行う前記対象領域として設定する、請求項９から１３のいずれか一つに記載の画像処理方法。
15. 前記対象領域設定ステップにて、
    前記ボケ検出ステップにて検出された前記ボケを比較し、最もボケていない前記部分領域を前記原稿画像の向きの識別を行う前記対象領域として設定する、請求項９から１３のいずれか一つに記載の画像処理方法。
16. 前記画像取得ステップにて、
    前記ボケ検出ステップにて所定の基準値以下の前記ボケが検出されなかった場合、前記撮影部の再度の撮影による撮影画像データを取得する、請求項９から１３のいずれか一つに記載の画像処理方法。
17. 撮影部の撮影による撮影画像の撮影画像データを取得する画像取得ステップと、
    前記撮影画像に含まれる原稿画像を特定する原稿特定ステップと、
    前記原稿画像における部分領域の部分領域画像データを取得する部分領域取得ステップと、
    前記部分領域のボケを検出するボケ検出ステップと、
    前記ボケに基づいて、前記部分領域を前記原稿画像の向きの識別を行う対象領域として設定する対象領域設定ステップと、
    前記対象領域におけるコンテンツの向きを特定し、前記コンテンツの向きに基づいて、前記原稿画像の向きを特定する向き特定ステップと、
    前記原稿画像の向きに基づいて、正立補正した前記原稿画像の補正後画像データを取得する向き補正ステップと、
    をコンピュータに実行させるためのプログラム。

Images