JP6067040B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

近年、スマートフォンやタブレットＰＣといった高度な情報処理機能を持つ携帯端末が普及してきている。これらの携帯端末は、カメラを備え、撮影機能（カメラ機能）を有している。このような携帯端末のカメラ機能を用いて紙媒体の原稿を撮影し、携帯端末のメモリ上に画像データとして保存することが行われるようになってきた。
例えば特許文献１には、撮影画像を表示するときに、撮影時の撮影方向に応じた操作モードを設定する技術が開示されている。この技術は、撮影方向を示す方向情報と、被写体を撮影した撮影画像との対応付けに応じて画像表示する。そして、この技術は、表示した画像の表示変更操作に関する操作モードを設定する機能を備え、設定した操作モードに応じて変更操作に従った表示変更を行う。

特開２０１４−３６３２３号公報

上述したように特許文献１には、カメラの向きに応じて、そのカメラを操作するときの操作者向け画面を切り替える技術が開示されている。この技術により、操作者がカメラを動かして操作するときの操作画面の操作性を向上させている。例えばこの技術では、撮影の向きが確定するとそれに適した操作表示となり、その向きに応じて操作モードが決定される。しかしながら、特許文献１の図８のように、カメラの向き（上向き、下向き、横向きの３方向）のみを利用してモード（表示・処理）を切り替えると、画像の特性に適さない処理が行われることがあった。
本発明は、撮影対象を撮影した際の携帯端末装置の姿勢に応じて、撮影画像をより適切に処理することが可能な技術を提供することを目的とする。

そこで、本発明の情報処理装置は、撮像手段の姿勢情報を取得する取得手段と、前記撮像手段により撮像された画像の特徴量を抽出する抽出手段と、前記取得手段により取得された姿勢情報と前記抽出手段により抽出された特徴量に関する情報とを用いて、前記画像中に含まれる被写体を特定する特定手段と、前記特定手段により特定された被写体に応じた認識モードで前記画像中の被写体領域を認識する認識手段と、前記認識手段により認識された被写体領域を前記画像から切り出すことにより、前記被写体領域を含む前記画像を補正する補正手段と、を有する。

本発明によれば、撮影対象を撮影した際の携帯端末装置の姿勢に応じて、撮影画像をより適切に処理することが可能な技術を提供することができる。

システム構成の一例を示す図である。 携帯端末の外観の一例を示す図である。 携帯端末のハードウェア構成の一例を示す図である。 携帯端末のソフトウェア構成の一例を示す図である。 実施形態１における一連の処理の一例を示すフローチャートである。 撮影画像及び原稿領域の一例を示す図である。 携帯端末の傾きの一例を示す図である。 携帯端末の回転角の一例を示す図である。 携帯端末の回転方向及び回転角の説明図である。 携帯端末の移動方向及び移動量の説明図等である。 ホワイトボードを撮影した場合の撮影画像の一例を示す図である。 黒板を撮影した場合の撮影画像の一例を示す図である。 実施形態１の撮影対象認識処理の一例を示すフローチャートである。 原稿領域認識処理の一例を示すフローチャートである。 実施形態２の撮影対象認識処理の一例を示すフローチャートである。 実施形態２における一連の処理の一例を示すフローチャートである。 携帯端末に表示される表示画面の一例を示す図である。 実施形態４の撮影対象認識処理の一例を示すフローチャートである。

以下、本発明を実施するための形態について図面を用いて説明する。
＜実施形態１＞
図１は、本実施形態の情報処理システムにおけるシステム構成の一例を示す図である。ＬＡＮ１１０には、プリンタ１０３及び無線ルータ１０２が接続されている。また、ＬＡＮ１１０は、インターネット１２０に接続されており、サービスを提供しているサーバ装置（以下、サーバという）１２１ともインターネット１２０経由で接続されている。携帯端末装置（以下、携帯端末という）１０１、プリンタ１０３、サーバ１２１は、無線ルータ１０２及びＬＡＮ１１０を介して互いに通信可能に接続されており、撮影画像データ（以下、撮影画像という）や各種情報の送受信を行う。図１の例では、無線ルータ１０２、プリンタ１０３がＬＡＮ１１０に接続されているが、接続の形態はこれに限るものではなく、無線ルータ１０２、プリンタ１０３がサーバ１２１に接続可能であればどのような形態であってもよい。携帯端末１０１は、情報処理装置の一例である。

図２は、本実施形態で利用する携帯端末１０１の外観の一例を示す図である。携帯端末１０１には様々な種類が存在する。図２（ａ）は、携帯端末１０１の表面における外観の一例を示す図である。表面には、タッチパネルディスプレイ２０１、操作ボタン２０２がある。図２（ｂ）は、携帯端末１０１の裏面における外観の一例を示す図である。裏面には、カメラ２０３が配置されている。なお、本実施形態における携帯端末１０１は、カメラ機能を持つ端末であればどのような端末であってもよい。即ち、本実施形態における携帯端末１０１は、カメラ機能を有するスマートフォンや携帯電話でもよいし、通信機能を有するデジタルカメラでもよい。また、カメラ２０３には、オートフォーカス機構が搭載されており、コントラスト比や赤外線の送受信タイミング等によってピントの合った状態を自動的に検出する。これにより、カメラ２０３は、焦点距離や被写体距離を測定することができる。本実施形態で利用するオートフォーカス機構は、焦点距離や被写体距離を測定する方法の一例であり、焦点距離や被写体距離を測定することができるのであれば他の方法を用いてもよい。

図３は、携帯端末１０１のハードウェア構成の一例を示す図である。ＣＰＵ３０１は、データバス３１１を介して各部とデータをやり取りすることにより、携帯端末１０１全体の動作を制御する。より具体的に説明すると、ＣＰＵ３０１は、記憶部３０４やＲＯＭ３０３等に保存されているプログラムをＲＡＭ３０２にロードして実行することにより、後述する携帯端末１０１のソフトウェア構成及びフローチャートに係る処理（情報処理）を実現する。
記憶部３０４は、例えばフラッシュメモリであり、撮影画像やＣＰＵ３０１が実行する各種プログラムを保存する。データ送受信部３０５は、無線ＬＡＮコントローラを有し、無線ルータ１０２を介して、プリンタ１０３やサーバ１２１とのデータの送受信を実現する。撮像部３０６は、上述のカメラ２０３であり、被写体である原稿の撮影を行い、撮影画像を各部に送信する。なお、原稿についての詳細は後述するが、ここでは、紙媒体だけではなく、黒板やホワイトボード等の板書媒体等を含む撮影対象のことを原稿という。
表示部３０７は、上述のタッチパネルディスプレイ２０１を構成するディスプレイであり、カメラ機能を用いて原稿を撮影する際にライブビューによる表示を行ったり、後述する原稿領域の認識結果等の各種情報を表示したりする。操作部３０８は、上述のタッチパネルディスプレイ２０１を構成するタッチパネルや操作ボタン２０２であり、ユーザーからの操作を受け付けて各部へ操作情報を送信する。モーションセンサ（動作検知部）３１０は、３軸加速度センサ、電子コンパス、３軸角速度センサを搭載しており、携帯端末１０１の姿勢や移動を検知することができる。

図４は、携帯端末１０１のソフトウェア構成の一例を示す図である。撮影処理部６０１は、カメラ２０３がリアルタイムで取得している撮影画像をタッチパネルディスプレイ２０１上にプレビュー画像として表示する。また、撮影処理部６０１は、このプレビュー画像を定期的に更新する。更に、撮影処理部６０１は、ユーザーが携帯端末１０１を動かすことに応じて、プレビュー画像を変化させる。これにより、ライブビュー撮影が可能になる。撮影処理部６０１は、撮影が終了したら、撮像部３０６に保存しておいた撮影画像をＲＡＭ３０２に転送する。なお、撮影処理部６０１は、撮影画像を外部記憶装置に保存してから、ＲＡＭ３０２に転送するようにしてもよい。
端末姿勢検出部６０２は、モーションセンサ３１０で取得されたセンサ情報の解析を行い、携帯端末１０１の姿勢を検出する。詳細については、図５等を用いて後述する。原稿領域認識部６０３は、撮影画像中の原稿領域（被写体領域）を検出する。原稿領域の詳細については図６等を用いて後述するが、矩形領域であることを前提としている。原稿領域認識部６０３は、撮影画像中の最も外側の矩形領域を検出し、それを原稿領域として特定する。より具体的に説明すると、まず、原稿領域認識部６０３は、ノイズの影響を除去するために、原稿領域を検出するのに十分な解像度まで撮影画像を小さくする。なお、原稿領域を検出するのに要求される解像度は予め定められているものとする。原稿領域認識部６０３は、この縮小した撮影画像を用いて原稿領域を検出する。

次に、原稿領域認識部６０３は、原稿と原稿が置かれている台との間のエッジ（境界）、即ち、被写体領域と背景領域との間のエッジを検出するために、エッジ検出を行う。原稿領域認識部６０３は、例えば、エッジ検出として、Ｃａｎｎｙエッジ検出等の手法を利用する。エッジ検出の閾値は、固定の閾値を用いてもよいし、画像の明るさから原稿領域認識部６０３が自動的に算出するようにしてもよい。
画像補正部６０４は、撮影画像に対して濃度ムラや尖鋭性の補正、色の補正処理等を行う。画像保存部６０５は、撮影画像を圧縮、フォーマット化しながらＲＡＭ３０２に転送する。なお、画像保存部６０５は、撮影画像を外部記憶装置に保存してから、ＲＡＭ３０２に転送するようにしてもよい。ＵＩ表示処理部６０６は、撮影に関する表示、原稿領域の認識結果、後述する撮影画像中における撮影対象（被写体）の認識結果等をタッチパネルディスプレイ２０１に表示する。撮影対象認識部６０７は、撮影画像中の撮影対象を認識する。本実施形態では、撮影対象認識部６０７が撮影対象としてホワイトボード、黒板、紙を認識する場合を例に説明するが、撮影対象はこれに限るものではない。

図５は、本実施形態における携帯端末１０１が、撮影画像中の原稿領域を抽出し、抽出した原稿領域を画像処理する際の処理の一例を示すフローチャートである。原稿領域の詳細については図６等を用いて後述するが、例えば、紙を撮影したときに撮影画像中に映った紙の領域を原稿領域と呼ぶ。ホワイトボードが撮影対象の場合には、原稿領域は撮影画像中のホワイトボードの領域である。
Ｓ４０１において、撮影処理部６０１は、操作部３０８を介してユーザーから撮影の指示が入力されると、原稿を撮影する。なお、ここでいう原稿は、上述したホワイトボード、黒板、紙等の撮影対象のことである。Ｓ４０２において、端末姿勢検出部６０２は、モーションセンサ３１０のセンサ情報に基づいて携帯端末１０１の姿勢情報を取得する。モーションセンサ３１０のセンサ情報には、携帯端末１０１の角度と向きとに関する情報が含まれる。Ｓ４０２の処理の詳細については後述する。なお、Ｓ４０２の処理は、携帯端末１０１の姿勢情報を取得する取得処理の一例である。Ｓ４０３において、撮影対象認識部６０７は、撮影画像中における撮影対象の認識処理を行う。撮影対象認識処理は、例えば撮影対象がホワイトボードであるか、黒板であるか、紙であるか、プレゼンテーションが投影されているものなのか等を認識する処理である。Ｓ４０３の処理の詳細については後述する。なお、Ｓ４０３の処理は、撮影画像中の撮影対象を特定する特定処理の一例である。

Ｓ４０４において、原稿領域認識部６０３は、原稿領域の認識処理を行う。撮影画像中には撮影対象以外の背景領域が含まれているため、原稿領域認識部６０３は、撮影対象の原稿領域と背景領域との間のエッジ（境界）を認識して、原稿領域を認識する。また、原稿領域認識部６０３は、Ｓ４０３で認識された撮影対象に応じて、原稿領域の認識処理における処理のモード（認識モード）を切り替えて原稿領域を認識する。Ｓ４０４の処理の詳細については後述する。なお、Ｓ４０４の処理は、撮影画像中の原稿領域を認識する認識処理の一例である。Ｓ４０５において、原稿領域認識部６０３は、Ｓ４０４で認識した原稿領域に従って画像の切り出しを行う。
Ｓ４０６において、画像補正部６０４は、切り出した画像の台形補正を行う。台形補正については、周知の射影変換を用いることで実現することができる。変倍パラメータは、台形にゆがんでいる場合も考慮し、射影変換行列になる。画像補正部６０４は、射影変換行列を、図６に示す撮影画像中における原稿領域の４点の頂点情報（頂点１１０３、１１０４、１１０５、１１０６）と、出力画像の４隅の座標情報とから算出することが可能である。なお、図６には、撮影画像１１０１と原稿領域１１０２とが示されている。画像補正部６０４は、処理速度を優先する場合、アフィン変換行列や単純な変倍率を変倍パラメータとして算出してもよい。画像補正部６０４は、前記変倍パラメータを、出力画像サイズと撮影画像中の原稿領域のサイズとに基づいて算出可能である。ここで、算出する変倍パラメータは、撮影画像中の原稿領域が出力画像サイズに変倍されるようなパラメータである。
ユーザーは、操作部３０８に表示される画面を介して出力画像サイズを指示することができる。指示が可能な出力画像サイズとしては、例えば、Ａ４、Ａ５、Ｂ４、レターサイズ等があり、予めＲＯＭ３０３に設定をしておくことができる。例えば出力画像サイズがＡ４の用紙サイズである場合、出力画像サイズはＡ４となり、変倍パラメータは原稿領域の画像が出力画像サイズであるＡ４に変倍されるようなパラメータとなる。また、例えば出力サイズ設定がＡ４の用紙サイズの半分である場合、出力画像サイズはＡ５となり、変倍パラメータは原稿領域の画像が出力画像サイズであるＡ５に変倍されるような変倍率のパラメータとなる。なお、出力画像サイズは、原稿領域のアスペクト比から、Ａ系列の用紙を利用するのか、Ｂ系列の用紙を利用するのか、インチ系列の用紙を利用するのか等、紙種系列の切り替えが可能なようにしてもよい。

Ｓ４０７において、画像補正部６０４は、撮影画像の濃度ムラ補正を行い、原稿撮影時の光源や影による色ムラを補正する。まず、画像補正部６０４は、撮影時のノイズを除去するようなフィルタ処理を行い、その後、下地に載っている色を飛ばして紙の白を再現することができるような階調補正を行う。Ｓ４０８において、画像補正部６０４は、画像の鮮鋭化（鮮鋭性補正）、平滑化（平滑化補正）を行う。これは、周知のフィルタ処理等を行うことで実現が可能である。Ｓ４０９において、画像補正部６０４は、撮影画像に対して、カメラ固有の色空間から共通のＲＧＢ色空間への変換を行う（色補正）。ここでの色空間の変換は、予め定義付けられた３ｘ３のマトリクス演算によって行われる携帯端末１０１のカメラ色空間から、ｓＲＧＢといった測色的な共通ＲＧＢ色空間への変換であるものとする。なお、Ｓ４０６〜Ｓ４０９の処理は、画像の補正処理の一例である。
Ｓ４１０において、画像保存部６０５は、補正後の撮影画像の圧縮とフォーマット化とを行う。より具体的に説明すると、画像保存部６０５は、補正後の撮影画像を例えばＪＰＥＧ形式で圧縮して、そのＪＰＥＧデータを設定されたフォーマットのファイル形式（例えばＰＤＦ形式やＸＰＳ形式）に変換する。Ｓ４１１において、ＵＩ表示処理部６０６は、Ｓ４１０で生成されたファイルの保存を行う指示を受け付けるＵＩを表示する。例えば、ＵＩ表示処理部６０６は、ユーザーに対して保存を行うか否かを指示させるＵＩを表示する。Ｓ４１２において、画像保存部６０５は、設定された領域への保存処理を行う。保存される領域は、アプリケーションが予め指定した領域でもよいし、携帯端末１０１のＯＳが保有している画像を保存する領域でもよい。
以上が本実施形態における携帯端末１０１が実行する一連の処理の概要である。以下、Ｓ４０２〜Ｓ４０４の各処理の詳細について説明する。

（Ｓ４０２：携帯端末１０１の姿勢情報取得処理の詳細説明）
Ｓ４０２の詳細について、図７、８を用いて説明する。図７は、携帯端末１０１の傾きの一例を示す図である。図８は、携帯端末１０１の回転角の一例を示す図である。Ｓ４０２において、端末姿勢検出部６０２は、モーションセンサ３１０から取得した加速度情報に基づき、図７に示す携帯端末１０１の傾き１６０３に関する角度情報を取得する。なお、角度情報は、上述した携帯端末１０１の姿勢情報の一例である。角度情報は、図８（ａ）、（ｂ）に示す携帯端末１０１のタッチパネルディスプレイ２０１に表示される画面５０１の回転角５０４と、図７に示す携帯端末１０１の傾き１６０３とから算出される値である。携帯端末１０１の傾き１６０３は、タッチパネルディスプレイ２０１の画面垂直方向の軸を中心に携帯端末１０１を回転させたときの回転角を示したものである。
ここで、携帯端末１０１の上方向について説明する。携帯端末１０１の上下左右は、モーションセンサ３１０で定義されている上下左右に従う。モーションセンサ３１０は、携帯端末１０１の上下方向、左右方向、画面垂直方向の３軸を有し、それぞれの軸（方向）に対する加速度を検出することができる。実施形態１においては、ユーザーが携帯端末１０１を縦向きに保持した状態における、図８（ａ）の下辺５０６から上辺５０５に向かうベクトルを携帯端末１０１の上方向とする。
図８（ｂ）を用いて、画面５０１の回転角５０４について説明する。画面５０１の回転角５０４は、携帯端末１０１の上方向５０３を基準とし、画面５０１の上方向５０２が携帯端末１０１の上方向５０３に対して時計回りに何度回転しているかを示した値と定義する。図８（ｂ）においては、携帯端末１０１の上方向５０３を基準とし、画面５０１の上方向５０２が時計回りに９０度回転しているので、画面５０１の回転角５０４は９０度となる。一方、図８（ａ）においては、携帯端末１０１の上方向５０３と画面５０１の上方向５０２との向きが一致しているため、画面５０１の回転角５０４は０度となる。このようにして携帯端末１０１の姿勢情報が取得される。

次に、図７に示される携帯端末１０１の傾き１６０３の定義について説明する。実施形態１において、ユーザーは携帯端末１０１のタッチパネルディスプレイ２０１を操作し、図８（ａ）のように、タッチパネルディスプレイ２０１に画面５０１を表示する。ベクトル１６０１は、携帯端末１０１のタッチパネルディスプレイ２０１の面にモーションセンサ３１０で取得した重力加速度ベクトルを投影させたものである。ベクトル１６０２は、ベクトル１６０１と逆向きのベクトルである。携帯端末１０１の傾き１６０３は、ベクトル１６０２から時計回りに携帯端末１０１の上方向５０３へ回転するまでの角度である。
図９は、端末姿勢検出部６０２で検出する携帯端末１０１の回転方向及び回転角の説明図である。図９では、鉛直方向をＺ軸、水平で磁気北極方向をＹ軸、Ｚ軸及びＹ軸に直交する方向をＸ軸とした直交座標系を定義する。端末姿勢検出部６０２は、モーションセンサ３１０を介して、それぞれの軸を中心とした回転量を検出する。３軸それぞれ反時計回りの回転がプラス（＋）、時計回りの回転がマイナス（−）の回転量となる。
Ｘ軸周りの回転は傾斜角と呼ばれ、「−１８０度」〜「１７９度」の値を取る。携帯端末１０１のタッチパネルディスプレイ２０１を基準にして、上向き水平状態が「０度」、垂直状態が「９０度」、下向き水平状態が「−１８０度」及び「１７９度」、垂直倒立状態が「−９０度」となる。Ｙ軸周りの回転は回転角と呼ばれ、「−９０度」〜「９０度」の値を取る。携帯端末１０１のタッチパネルディスプレイ２０１を基準にして、水平状態が「０度」、右肩が上の状態が「９０度」、左肩が上の状態が「−９０度」となる。Ｚ軸周りの回転は方位角と呼ばれ、「０度」〜「３５９度」の値を取る。携帯端末１０１の短辺上面を基準にして、上面が北向きの状態が「０度」、東向きの状態が「９０度」、南向きの状態が「１８０度」、西向きの状態が「２７０度」となる。なお、図９に示すように、携帯端末１０１のタッチパネルディスプレイ２０１を上に向け、携帯端末１０１の短辺上面を北に向けて水平に保持した状態が回転角の基準状態（回転角、傾斜角、放射角がすべて「０度」）となる。端末姿勢検出部６０２は、この基準状態からの変化量を、携帯端末１０１の回転方向及び回転角として検出する。

図１０は、端末姿勢検出部６０２で検出する携帯端末１０１の移動方向及び移動量の説明図である。図１０（ａ）に示すように、携帯端末１０１の移動方向及び移動量を表す直交座標系を定義する。即ち、携帯端末１０１のタッチパネルディスプレイ２０１の法線方向をＺ軸、タッチパネルディスプレイ２０１の短辺方向をＸ軸、タッチパネルディスプレイ２０１の長辺方向をＹ軸と定義する。このように定義することで、ユーザーが携帯端末１０１の長辺が鉛直方向になるように保持した場合、Ｘ軸が左右方向、Ｙ軸が上下方向、Ｚ軸が前後方向となる。携帯端末１０１の移動方向は、Ｘ軸の左方向、Ｙ軸の下方向、Ｚ軸の手前方向をそれぞれプラス（＋）の移動方向とし、Ｘ軸の右方向、Ｙ軸の上方向、Ｚ軸の後方向をそれぞれマイナス（−）の移動方向とする。
図１０（ｂ）は、携帯端末１０１の姿勢が変化する際に端末姿勢検出部６０２がモーションセンサ３１０を介して検出する加速度値の一例を示す図である。検出される携帯端末１０１の加速度［ｍ／ｓ２］に基づいて、加速度の時間積分値が速度［ｍ／ｓ］、速度の時間積分値が移動量［ｍ］として取得される。このように、端末姿勢検出部６０２は、重力磁場を基準に定義された直交座標系における携帯端末１０１の回転角を取得することができる。また、端末姿勢検出部６０２は、携帯端末１０１を基準に定義された直交座標系に対する加速度値を得ることができる。これにより、端末姿勢検出部６０２は、携帯端末１０１の姿勢情報（垂直状態／水平状態、縦向き／横向き等）を検出することができる。

（Ｓ４０３：撮影対象認識処理の詳細説明）
Ｓ４０３において、撮影対象認識部６０７は、撮影画像中の撮影対象の認識処理を行う。ここでは、撮影対象を印字されている紙、ホワイトボード、黒板とした場合を例に説明する。図１１は、ホワイトボードを撮影した場合の撮影画像の一例を示す図である。図１１には、撮影領域７０１とホワイトボード領域７０２とが示されている。また、ホワイトボードには、文字７０３が記載されている。
撮影対象をホワイトボードと認識する処理の例として、撮影対象認識部６０７は、撮影領域７０１の中心７０４から予め設定された範囲の画像の色分布情報を取得する。なお、画像の色分布情報は、画像の特徴量情報の一例である。また、撮影画像から色分布情報を取得する処理は、撮影画像から特徴量情報を抽出する抽出処理の一例である。この処理は、周知のヒストグラムを取得する処理によって行うことが可能である。ホワイトボードは、背景面が白く、記載されている文字７０３の色も限られている。例えば、文字７０３の色は、黒、赤、青、緑と限定することができる。撮影対象認識部６０７は、ヒストグラムから、白、黒、赤、青、緑が他の色よりも強く出ている場合には、撮影対象がホワイトボードであると認識することができる。この他にも、ホワイトボード画像を登録しておき、画像認識によって撮影対象認識部６０７が撮影対象をホワイトボートと認識する方法等をとってもよい。

図１２は、黒板を撮影した場合の撮影画像の一例を示す図である。図１２には、撮影領域８０１と黒板領域８０２とが示されている。また、撮影領域８０１には、黒板領域８０２外に時計８０５が映っている。また、黒板には、文字８０３が記載されている。
撮影対象を黒板と認識する処理の例として、撮影対象認識部６０７は、撮影領域８０１の中心８０４から予め設定された範囲の画像の色分布情報を取得する。この処理は、周知のヒストグラムを取得する処理によって行うことが可能である。黒板は、背景面が黒、濃い緑であり、記載されている文字８０３の色も限られている。例えば、文字８０３の色は、白、赤、青、黄と限定することができる。撮影対象認識部６０７は、ヒストグラムから、黒、白、赤、青、黄が他の色よりも強く出ている場合には、撮影対象が黒板であると認識する。この他にも、黒板画像を登録しておき、画像認識によって撮影対象認識部６０７が撮影対象を黒板と認識をする方法等をとってもよい。
本実施形態では、ホワイトボード又は黒板と認識されなかった撮影対象を紙と認識することとする。また、撮影対象認識部６０７は、Ｓ４０２で取得された携帯端末１０１の姿勢情報を用いて、撮影対象の絞り込みを行うことができる。以下、より具体的に説明する。

例えば、Ｓ４０２で取得された携帯端末１０１の姿勢情報が、上述した図１０（ｂ）に示すようにＸ軸の値が０、Ｙ軸の値が０、Ｚ軸の値が１０であった場合、撮影対象認識部６０７は、撮影対象が紙であると認識する。また、携帯端末１０１の姿勢情報が図１０（ｂ）に示すようにＸ軸の値が０、Ｙ軸の値が１０、Ｚ軸の値が０であった場合、撮影対象認識部６０７は、撮影対象がホワイトボード、黒板又は壁に貼られている紙であると認識する。
図１３は、携帯端末１０１の姿勢情報を用いた撮影対象認識処理の一例を示すフローチャートである。なお、上述した図５と同様の処理については同じ付番とし、処理の説明を省略する。Ｓ１００２において、撮影対象認識部６０７は、姿勢情報から得られた角度が平面（鉛直方向に垂直な面）に対して設定された値以下であるか判定する。そして、撮影対象認識部６０７は、設定された値以下であると判定した場合、処理をＳ１００３に進め、設定された値以下でないと判定した場合、処理をＳ１００４に進める。ここでは、設定された値を４５度としている。この角度は、机の上等にあるものを撮影していると考えられる角度から設定された値である。机の上に置かれているものを撮影する場合には、携帯端末１０１の角度が大きくなるほど、撮影画像の奥と手前とで解像度が大きく異なってしまうことや、奥にある文字等の視認性が低下することが懸念される。これを避けるためには、携帯端末１０１の平面に対する角度をなるべく０度に近い状態で撮影することが望ましい。

携帯端末１０１の平面に対する角度が４５度以下の場合、Ｓ１００３において、撮影対象認識部６０７は、撮影対象を紙と認識する。一方、携帯端末１０１の平面に対する角度が４５度以下でない場合、Ｓ１００４において、撮影対象認識部６０７は、撮影対象をホワイトボードや黒板、壁に貼られている紙と認識する。なお、閾値となる角度の値は任意に設定可能であり、４５度の値に限定されるものではない。また、ここでは、撮影対象をホワイトボード、黒板、紙とした場合を例に説明したが、他にも液晶プロジェクタを使って壁に投影されているプレゼンテーション画面等を撮影対象とすることも可能である。
このようにして、角度が設定された値よりも大きくなった場合に想定される撮影対象を絞り込むことによって、より簡易、かつ、より高速に撮影対象の認識を行うことができる。また、撮影対象認識部６０７は、携帯端末１０１の角度に基づく絞り込みによって複数の撮影対象の候補を特定した場合、上述したように撮影画像から取得した色分布情報に基づいて一の撮影対象を特定するようにすることもできる。

（Ｓ４０４：原稿領域認識処理の詳細説明）
Ｓ４０４において、原稿領域認識部６０３は、原稿領域の外枠（ここでは四辺として説明する）を認識する処理を行う。原稿領域認識部６０３は、四辺を検出するために、エッジを見つけ、そのエッジを削除したり、つないだりすることによって辺としての検出を行っていく。この際、原稿領域認識部６０３は、Ｓ４０３で認識された撮影対象の種類に応じて、エッジ検出における処理のモードを切り替える。各撮影対象に応じてエッジ検出を行うためのエッジの強度や、輝度差を変更することにより、より良好な四辺検出が行えるようになる。即ち、原稿領域認識部６０３は、例えば撮影対象がホワイトボードであると認識された場合には、ホワイトボード用の四辺検出処理を行い、黒板であると認識された場合には、黒板用の四辺検出処理を行う。同様に、原稿領域認識部６０３は、撮影対象が紙であると認識された場合には、紙用の四辺検出処理を行う。なお、各撮影対象に応じた四辺検出の設定情報は、予め記憶部３０４等に保存されているものとする。

図１４は、原稿領域認識処理の一例を示すフローチャートである。なお、上述した図５と同様の処理については同じ付番とし、処理の説明を省略する。Ｓ９０２において、原稿領域認識部６０３は、Ｓ４０３での撮影対象の認識結果がホワイトボードであるか否か判定する。原稿領域認識部６０３は、撮影対象がホワイトボードであると判定した場合、処理をＳ９０３に進め、撮影対象がホワイトボードでないと判定した場合、処理をＳ９０４に進める。Ｓ９０３において、原稿領域認識部６０３は、上述したホワイトボード用の検出処理を行う。
Ｓ９０４において、原稿領域認識部６０３は、Ｓ４０３での撮影対象の認識結果が黒板であるか否か判定する。原稿領域認識部６０３は、撮影対象が黒板であると判定した場合、処理をＳ９０５に進め、撮影対象が黒板でないと判定した場合、処理をＳ９０６に進める。Ｓ９０５において、原稿領域認識部６０３は、上述した黒板用の検出処理を行う。Ｓ９０６において、原稿領域認識部６０３は、上述した紙用の検出処理を行う。
原稿領域認識部６０３は、撮影処理部６０１によって原稿が撮影されると、上述した図６に示すように撮影画像中における原稿領域の頂点を抽出する。図６には、撮影画像１１０１と原稿領域１１０２とが示されており、原稿領域１１０２は抽出された原稿領域の頂点１１０３、１１０４、１１０５、１１０６を結ぶ線分に囲まれた矩形領域である。矩形の原稿領域の頂点１１０３〜１１０６は、例えばダグラス・ポーカーの頂点抽出アルゴリズム等、公知の方法によって抽出可能である。

以上、本実施形態によれば、撮影対象を撮影した際の携帯端末１０１の姿勢に応じて、撮影画像をより適切に処理することができるようになる。より具体的には、携帯端末１０１の姿勢情報に基づいて撮影画像中の撮影対象を特定することで、撮影画像に見合う適切な原稿領域の認識及び画像処理を行うことができるようになる。また、本実施形態によれば、これらの処理がユーザーの煩雑な指示がなくても実現可能になる。

＜実施形態２＞
実施形態１では、携帯端末１０１の姿勢情報に基づいて撮影画像中の撮影対象を認識することで、撮影対象の認識をより容易、かつ、高速に実現することができる例について説明した。本実施形態では、撮影対象を認識する処理の優先度を考慮することにより、実施形態１よりも高速で撮影対象を認識する例について説明する。なお、実施形態２では、実施形態１との差分について主に説明する。
図１５は、本実施形態における撮影対象認識処理の一例を示すフローチャートである。なお、上述した図１３と同様の処理については同じ付番とし、処理の説明を省略する。Ｓ１００２において、撮影対象認識部６０７は、姿勢情報から得られた携帯端末１０１の画面垂直方向（ここでは、鉛直方向に垂直な面と平行な方向）に対する角度が４５度以下であると判定した場合、処理をＳ１２０１に進める。一方、撮影対象認識部６０７は、４５度以下でないと判定した場合、処理をＳ９０６に進める。Ｓ１２０１において、撮影対象認識部６０７は、携帯端末１０１の左右方向に対する角度が７０度から９０度までの範囲にあるか否かを判定し、前記範囲内であると判定した場合、Ｓ９０２以降で、ホワイトボード、黒板を認識するための処理を優先して行う。

携帯端末１０１の左右方向に対する角度が７０度から９０度までの場合における携帯端末１０１の姿勢は、上述した図８（ｂ）に示すように横向きになっている状態である。携帯端末１０１を横向きにして撮影する場合、撮影対象のアスペクト比が縦に比べて横の方が大きな値になっているものを撮影していると考えることができる。ホワイトボードや黒板は、アスペクト比が縦に比べて横の方が大きな値となるものが多く存在している。そのため、撮影対象認識部６０７は、携帯端末１０１の画面垂直方向（ここでは、鉛直方向に垂直な面と平行な方向）の向きに対して角度が４５度を超えていて、横向きになっている姿勢で撮影された場合の撮影対象をホワイトボード、黒板に絞る。このように、撮影対象を認識するための優先度を変えるようにしている。
携帯端末１０１の向きは、図８（ｂ）に示す向きを左右反転させた姿勢であっても上述したように携帯端末１０１が横向きになっていると認識して、同様に処理を行うことが可能である。また、例に示した７０度から９０度までという角度は一例であり、この角度に限定されるものではない。この角度は、任意に設定可能としてもよいし、予めＲＯＭ３０３に値を設定しておくようにしてもよい。この際、ＣＰＵ３０１は、例えば、操作部３０８を介したユーザー操作に応じて、ＲＯＭ３０３に値を設定するようにしてもよい。

以上、本実施形態によれば、携帯端末１０１の画面垂直方向に対する角度に加えて、左右方向に対する角度も考慮に加えることにより、撮影対象の認識処理の優先度を変えることができるため、より高速に認識処理ができるようになる。

＜実施形態３＞
実施形態２では、携帯端末１０１の画面垂直方向に対する角度と左右方向に対する角度との２つを使って、撮影対象の認識における優先度に反映させて撮影対象を認識する処理について説明した。本実施形態では、撮影対象の認識結果をユーザーに提示すると共に、認識結果の変更の有無についてユーザーからの指示を受け付ける設定画面を設け、その指示に従って処理を行う例について説明する。なお、実施形態３では、実施形態１との差分について主に説明する。
図１６は、実施形態３における一連の処理の一例を示すフローチャートである。なお、上述した図５と同様の処理については同じ付番とし、処理の説明を省略する。Ｓ１３０１において、ＵＩ表示処理部６０６は、Ｓ４０３で認識された撮影対象をユーザーに提示するための画面表示を行う。図１７は、Ｓ１３０１の処理で表示される表示画面（設定画面）の一例を示す図である。図１７に示される表示画面について、上述した図６に示される表示画面との差分について主に説明する。図１７（ａ）では、撮影画像１１０１中に撮影対象の認識結果を通知するメッセージ１４０１が示されている。また、図１７（ａ）では、例としてＳ４０３で撮影対象がホワイトボードと認識された場合における画面が表示されている。なお、Ｓ１３０１における処理は、設定画面表示処理の一例である。

ユーザーはこの表示画面を見ることにより、原稿領域の検出の結果を確認することができるだけでなく、撮影対象をホワイトボードとして処理が行われたこと、この後の画像補正がホワイトボード用のパラメータで処理されることを認識することができる。ＵＩ表示処理部６０６がボタン１４０２の押下を検知すると、Ｓ４０５以降の処理が行われる。図１７の例では、Ｓ４０５以降の処理が、ホワイトボードに適した処理で行われる。なお、ここでいう、適した処理とは、ホワイトボード用のパラメータに基づいて実行される画像補正等の処理のことである。ボタン１４０３は、撮影対象を紙へ変更するためのボタンである。ボタン１４０４は、撮影対象を黒板へ変更するためのボタンである。ボタン１４０３が押下された場合、原稿領域認識部６０３は、撮影対象を紙として再度Ｓ４０４における原稿領域認識処理を行う。そして、ＵＩ表示処理部６０６は、その結果に応じた画面を表示する。
図１７（ｂ）は、図１７（ａ）においてボタン１４０３が押下され、撮影対象を紙としてＳ４０４の原稿領域認識が行われた場合の表示画面の一例を示す図である。メッセージ１４１０は、ユーザーに指示された通り撮影対象を紙として処理したことを示すように、撮影対象の認識結果が紙である旨を表示している。ユーザーの指定により撮影対象を紙としたので、ＵＩ表示処理部６０６は、メッセージ１４１０における認識結果という表示を「原稿指定」等と表示するようにしてもよい。ボタン１４１１は、撮影対象をホワイトボードへ変更するためのボタンである。ユーザーは、ボタン１４１１の押下によって、撮影対象を再びホワイトボードに戻すように指示することができる。

本実施形態では、ＵＩ表示処理部６０６が、Ｓ４０４での原稿領域の認識結果が表示される画面において撮影対象の認識結果を表示するようにしたが、表示のタイミングや表示形態はこれに限るものではない。例えば、ＵＩ表示処理部６０６は、撮影対象の認識が行われた時点で認識結果を表示するようにしてもよいし、撮影対象の変更を受け付けることが可能な画面を表示するようにしてもよい。
以上、本実施形態によれば、携帯端末１０１の姿勢情報と撮影対象の認識結果とに基づいて処理を行うことに対して、ユーザーの確認や指示を簡単に受け付けることができるため、複雑なＵＩ操作を行うことなくユーザーの目的にあった処理の提供が可能になる。

＜実施形態４＞
実施形態１では、図１３で説明したフローチャートのように、携帯端末１０１の姿勢情報が示す角度が平面に対して４５度を超えていない場合には、撮影対象認識部６０７が撮影対象を紙として認識していた。しかし、携帯端末１０１の姿勢情報が示す角度が設定された値より小さく、携帯端末１０１が机と水平に近い状態であっても、撮影対象が紙とは限らない場合もある。例として、撮影対象が机に置かれたＡ４やＡ３サイズのホワイトボードや黒板である場合等が挙げられる。本実施形態は、このような場合にも適切に対応することができるように、撮影対象をユーザーに確認させる画面を表示する例について説明する。
図１８は、本実施形態における撮影対象認識処理の一例を示すフローチャートである。なお、上述した図１３と同様の処理については同じ付番とし、処理の説明を省略する。Ｓ１５０１において、ＵＩ表示処理部６０６は、撮影対象が紙であるかを確認させるための画面（確認画面）を表示する。Ｓ１５０２において、撮影対象認識部６０７は、Ｓ１５０１で表示された画面を介したユーザーの操作により撮影対象が紙である旨の指示を受け付けた場合、撮影対象を紙としてＳ１００３以降の処理を行う。一方、Ｓ１５０２で撮影対象認識部６０７が、撮影対象が紙でない旨の指示を受け付けた場合、Ｓ１５０３において、ＵＩ表示処理部６０６は、撮影対象の選択肢としてホワイトボード、黒板を選択可能に表示する。

Ｓ１５０４において、撮影対象認識部６０７は、Ｓ１５０３で表示された画面を介したユーザーの操作により撮影対象がホワイトボードである旨の指示を受け付けたか否かを判定する。撮影対象認識部６０７は、撮影対象がホワイトボードである旨の指示を受け付けたと判定した場合には、撮影対象をホワイトボードと認識してＳ１５０５以降の処理を行う。一方、撮影対象認識部６０７は、撮影対象がホワイトボードでない旨の指示を受け付けたと判定した場合には、撮影対象を黒板としてＳ１５０６以降の処理を行う。なお、Ｓ１５０１及びＳ１５０３の処理は、撮影対象の正否をユーザーに確認させる確認画面を表示する確認画面表示処理の一例である。
Ｓ１５０５において、撮影対象認識部６０７は、撮影対象をホワイトボードとして認識する。
一方、Ｓ１５０６において、撮影対象認識部６０７は、撮影対象を黒板として認識する。
以上、本実施形態によれば、携帯端末１０１の姿勢情報を用いながらユーザーに対して撮影対象を確認させる表示を行うことにより、ユーザーによる複雑な操作を必要とせず、ユーザーが撮影した撮影対象にあった処理を提供することが可能になる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
また、上述した実施形態１〜４では、携帯端末１０１が撮影画像を携帯端末１０１内で処理を行うものとして説明したが、処理の形態はこれに限るものではない。例えば、携帯端末１０１が撮影画像をサーバ１２１へ送信し、サーバ１２１が撮影画像に対して画像処理を施すような形態であってもよい。この場合、サーバ１２１は、情報処理装置の一例である。サーバ１２１は、ハードウェア構成として少なくともＣＰＵやメモリを有する。そして、サーバ１２１のＣＰＵがサーバ１２１のメモリに記憶されているプログラムに基づき処理を実行することによって、上述した実施形態で示されるような処理が実現される。

以上、上述した各実施形態によれば、撮影対象を撮影した際の携帯端末装置の姿勢に応じて、撮影画像をより適切に処理することが可能な技術を提供することができる。

以上、本発明の好ましい形態について詳述したが、本実施形態は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０１ 携帯端末装置、１０２ 無線ルータ、１０３ プリンタ、１１０ ＬＡＮ、１２０ インターネット、１２１ サーバ、６０１ 撮影処理部、６０２ 端末姿勢検出部、６０３ 原稿領域認識部、６０４ 画像補正部、６０５ 画像保存部、６０６ ＵＩ表示処理部、６０７ 撮影対象認識部

Claims (14)

1. 撮像手段の姿勢情報を取得する取得手段と、
   前記撮像手段により撮像された画像の特徴量を抽出する抽出手段と、
   前記取得手段により取得された姿勢情報と前記抽出手段により抽出された特徴量に関する情報とを用いて、前記画像中に含まれる被写体を特定する特定手段と、
   前記特定手段により特定された被写体に応じた認識モードで前記画像中の被写体領域を認識する認識手段と、
   前記認識手段により認識された被写体領域を前記画像から切り出すことにより、前記被写体領域を含む前記画像を補正する補正手段と、
   を有する情報処理装置。
2. 前記特定手段は、前記姿勢情報が示す前記撮像手段の角度に基づいて、前記被写体を特定する請求項１に記載の情報処理装置。
3. 前記特定手段は、前記撮像手段の鉛直方向に垂直な面に対する角度が予め定められた値以下である場合、前記被写体を紙媒体と特定し、前記角度が予め定められた値以下でない場合、前記被写体を板書媒体と特定する請求項２に記載の情報処理装置。
4. 前記特定手段は、前記撮像手段の鉛直方向に垂直な面に対する角度が予め定められた値以下である場合に前記被写体を紙媒体と特定すると共に、前記角度が予め定められた値以下でない場合であっても、前記撮像手段の左右方向に対する角度が予め定められた範囲を超えている場合にも前記被写体を紙媒体と特定する請求項２又は３に記載の情報処理装置。
5. 前記特定手段は、前記姿勢情報に基づいて特定した被写体が複数ある場合、前記抽出手段により抽出された特徴量情報に基づいて前記複数の被写体から一の被写体を特定する請求項１乃至４の何れか１項に記載の情報処理装置。
6. 前記抽出手段は、前記画像中の予め定められた範囲における色分布情報を前記特徴量として抽出する請求項１乃至５の何れか１項に記載の情報処理装置。
7. 前記認識手段は、前記特定手段により特定された被写体に応じて、前記画像中の被写体領域と背景領域との境界の認識モードを切り替えて前記被写体領域を認識する請求項１乃至６の何れか１項に記載の情報処理装置。
8. 前記取得手段は、動作検知手段から取得した加速度情報に基づいて算出した前記撮像手段の角度を示す角度情報を前記姿勢情報として取得する請求項１乃至７の何れか１項に記載の情報処理装置。
9. 前記特定手段により特定された被写体を提示すると共に、前記特定された被写体を変更する指示を受け付ける設定画面を表示する設定画面表示手段を更に有する請求項１乃至８の何れか１項に記載の情報処理装置。
10. 前記補正手段による画像補正の際に、前記特定された被写体の正否をユーザーに確認させる確認画面を表示する確認画面表示手段を更に有する請求項１乃至９の何れか１項に記載の情報処理装置。
11. 前記補正手段は、前記認識手段により認識された被写体領域を前記画像から切り出し、前記被写体領域に対する台形補正、前記画像に対する濃度ムラ補正、色補正、平滑化補正
    のうち少なくとも何れか１つを行う請求項１乃至１０の何れか１項に記載の情報処理装置。
12. 前記情報処理装置は、前記撮像手段を有する携帯端末装置である請求項１乃至１１の何れか１項に記載の情報処理装置。
13. 情報処理装置が実行する情報処理方法であって、
    撮像手段の姿勢情報を取得する取得ステップと、
    前記撮像手段により撮像された画像の特徴量を抽出する抽出ステップと、
    前記取得ステップで取得された姿勢情報と前記抽出ステップで抽出された特徴量に関する情報とを用いて、前記画像中に含まれる被写体を特定する特定ステップと、
    前記特定ステップで特定された被写体に応じた認識モードで前記画像中の被写体領域を認識する認識ステップと、
    前記認識ステップで認識された被写体領域を前記画像から切り出すことにより、前記被写体領域を含む前記画像を補正する補正ステップと、
    を含む情報処理方法。
14. コンピュータに、
    撮像手段の姿勢情報を取得する取得ステップと、
    前記撮像手段により撮像された画像の特徴量を抽出する抽出ステップと、
    前記取得ステップで取得された姿勢情報と前記抽出ステップで抽出された特徴量に関する情報とを用いて、前記画像中に含まれる被写体を特定する特定ステップと、
    前記特定ステップで特定された被写体に応じた認識モードで前記画像中の被写体領域を認識する認識ステップと、
    前記認識ステップで認識された被写体領域を前記画像から切り出すことにより、前記被写体領域を含む前記画像を補正する補正ステップと、
    を実行させるためのプログラム。

Images