JP4975679B2 - ノート型情報処理装置、および、射影変換パラメータ算出方法 - Google Patents

Description

本発明は、ノート型情報処理装置および射影変換パラメータ算出方法に関し、特に、本体部の少なくとも一部を撮影可能な画像撮影部を備えたノート型情報処理装置、および、その射影変換パラメータ算出方法に関する。

従来のＰＤＡ端末やラップトップ型ＰＣ等のノート型情報処理装置においては、一例として、ビジネスマン等のユーザが、環境の整ったオフィスの自席ではなく、例えば、会議の席や顧客訪問先や出張先のホテルなどの状況で、書類等の原稿をスキャンしたい場合、携帯型スキャナもしくはデジタルカメラを別途持参する必要がある。

ここで、携帯型スキャナを別途持参する場合には、一般的な市販のノート型情報処理装置は約１〜２ｋｇ、携帯型スキャナは約１．４ｋｇであるので、約３ｋｇ前後の重量になり、ユーザが持参するには負担が重い。また、ユーザは、スキャン時に、ノート型情報処理装置とスキャナの両方の設置面積を確保する必要がある。

従って、携帯スキャナを持参せずにデジタルカメラにて代用する局面は多いが、この場合、三脚等を用いずに原稿を真正面から撮影することは困難であるため、デジタルカメラで撮影された原稿を真正面から撮影したように変換する必要がある。

すなわち、ノートパソコンなどのノート型情報処理装置とデジタルカメラとを用いてイメージスキャナを代用する場合には、既存の射影変換技術により撮影時の視点の歪みを補正する技術を用いる必要がある。

ここで、従来から、ＯＨＰ（Ｏｖｅｒ ｈｅａｄ Ｐｒｏｊｅｃｔｏｒ）型の撮影装置などにおいて、原稿を正面方向から撮影したように射影変換するための射影変換パラメータを算出する技術がある。

例えば、特許文献１に記載のＯＨＰ型の撮影装置では、予め形状が既知である台座の外形の矩形（長方形）を基準多角形として、この矩形と台座画像の輪郭によって特定される矩形とを比較して、射影変換パラメータを求めている。

特開２００６−７４５１２号公報

しかしながら、従来の射影変換技術（特許文献１等）においては、射影変換パラメータの算出に用いる矩形（長方形）として、例えば、４隅が直角である矩形形状の台座を必要としており、また、台座の４隅が直角でなく矩形形状を有していない場合は、４隅が直角である矩形形状の図形を別途用意するか、台座の４隅の座標を検出できるようコーナーマーク等の頂点標識を台座上に描く等の必要があるという問題点を有していた。

本発明は、上記に鑑みてなされたもので、ノート型情報処理装置の本体部等に標準的に装備されたキーボード等の被写体をライブビュー等により撮影し、その画像から矩形を検出して射影変換パラメータを算出することにより、射影変換パラメータ算出用の矩形を別途用意することなく、効率的に射影変換パラメータを算出して射影変換を行い、撮影対象となる原稿をキーボード等の上に置くことにより正面方向から撮影された画像となるよう射影変換された静止画像を容易に取得することができるノート型情報処理装置および射影変換パラメータ算出方法を提供すること目的とする。

このような目的を達成するため、本発明のノート型情報処理装置は、画像撮影部と表示部とを少なくとも備えた蓋部、および、記憶部と制御部とを少なくとも備えた本体部から構成されるノート型情報処理装置であって、上記制御部は、上記画像撮影部の撮影範囲内に上記本体部の少なくとも一部を撮影したライブビューを上記表示部に表示するライブビュー表示手段と、上記ライブビュー表示手段により上記表示部に表示された上記ライブビューから、射影変換パラメータ算出用の矩形を検出する矩形検出手段と、上記矩形検出手段により検出された上記矩形の座標から射影変換パラメータを算出する射影変換パラメータ算出手段と、上記ライブビューに対して、上記射影変換パラメータ算出手段により算出された上記射影変換パラメータを用いて、正面方向から撮影されたライブビューとなるよう射影変換を行い、射影変換後の上記ライブビューから静止画像を取得し、当該静止画像を上記記憶部に格納する静止画像取得手段と、を備えたことを特徴とする。

また、本発明のノート型情報処理装置は、上記記載のノート型情報処理装置において、上記本体部は、タッチパットを更に備え、上記矩形検出手段は、上記射影変換パラメータ算出用の上記矩形として、上記タッチパットの少なくとも一部を検出することを特徴とする。

また、本発明のノート型情報処理装置は、上記記載のノート型情報処理装置において、上記本体部は、キーボード部を更に備え、上記矩形検出手段は、上記射影変換パラメータ算出用の上記矩形として、上記キーボード部の少なくとも一部を検出することを特徴とする。

また、本発明のノート型情報処理装置は、上記記載のノート型情報処理装置において、上記矩形検出手段は、上記射影変換パラメータ算出用の上記矩形として、上記キーボード部を構成する少なくとも１つのキートップの形状の少なくとも一部を検出することを特徴とする。

また、本発明のノート型情報処理装置は、上記記載のノート型情報処理装置において、上記本体部の上面に矩形の標識が表示されており、上記矩形検出手段は、上記射影変換パラメータ算出用の上記矩形として、上記標識の少なくとも一部を検出することを特徴とする。

また、本発明のノート型情報処理装置は、上記記載のノート型情報処理装置において、上記矩形検出手段は、上記射影変換パラメータ算出用の上記矩形として、上記本体部の外観の少なくとも一部を検出することを特徴とする。

また、本発明の射影変換パラメータ算出方法は、上記記載の射影変換パラメータ算出方法において、画像撮影部と表示部とを少なくとも備えた蓋部、および、記憶部と制御部とを少なくとも備えた本体部から構成されるノート型情報処理装置において実行される射影変換パラメータ算出方法であって、上記制御部において実行される、上記画像撮影部の撮影範囲内に上記本体部の少なくとも一部を撮影したライブビューを上記表示部に表示するライブビュー表示ステップと、上記ライブビュー表示ステップにて上記表示部に表示された上記ライブビューから、射影変換パラメータ算出用の矩形を検出する矩形検出ステップと、上記矩形検出ステップにて検出された上記矩形の座標から射影変換パラメータを算出する射影変換パラメータ算出ステップと、上記ライブビューに対して、上記射影変換パラメータ算出ステップにて算出された上記射影変換パラメータを用いて、正面方向から撮影されたライブビューとなるよう射影変換を行い、射影変換後の上記ライブビューから静止画像を取得し、当該静止画像を上記記憶部に格納する静止画像取得ステップと、を含むことを特徴とする。

また、本発明の射影変換パラメータ算出方法は、上記記載の射影変換パラメータ算出方法において、上記本体部は、タッチパットを更に備え、上記矩形検出ステップにおいて、上記射影変換パラメータ算出用の上記矩形として、上記タッチパットの少なくとも一部を検出することを特徴とする。

また、本発明の射影変換パラメータ算出方法は、上記記載の射影変換パラメータ算出方法において、上記本体部は、キーボード部を更に備え、上記矩形検出ステップにおいて、上記射影変換パラメータ算出用の上記矩形として、上記キーボード部の少なくとも一部を検出することを特徴とする。

また、本発明の射影変換パラメータ算出方法は、上記記載の射影変換パラメータ算出方法において、上記矩形検出ステップにおいて、上記射影変換パラメータ算出用の上記矩形として、上記キーボード部を構成する少なくとも１つのキートップの形状の少なくとも一部を検出することを特徴とする。

また、本発明の射影変換パラメータ算出方法は、上記記載の射影変換パラメータ算出方法において、上記本体部の上面に矩形の標識が表示されており、上記矩形検出ステップにおいて、上記射影変換パラメータ算出用の上記矩形として、上記標識の少なくとも一部を検出することを特徴とする。

また、本発明の射影変換パラメータ算出方法は、上記記載の射影変換パラメータ算出方法において、上記矩形検出ステップにおいて、上記射影変換パラメータ算出用の上記矩形として、上記本体部の外観の少なくとも一部を検出することを特徴とする。

この発明によれば、画像撮影部の撮影範囲内に本体部の少なくとも一部を撮影したライブビューを表示部に表示し、表示部に表示されたライブビューから、射影変換パラメータ算出用の矩形を検出し、検出された矩形の座標から射影変換パラメータを算出し、ライブビューに対して、算出された射影変換パラメータを用いて、正面方向から撮影されたライブビューとなるよう射影変換を行い、射影変換後のライブビューから静止画像を取得し、当該静止画像を記憶部に格納するので、射影変換パラメータ算出用の矩形を得るための台座や、コーナーマーク等の頂点標識を別途用意する必要はない。これにより、本発明は、ライブビュー内の特定の矩形の形状を検出して自動的かつ効率的に射影変換パラメータを算出し、本体部の上に置かれた書類などの原稿を正面方向から撮影された画像となるよう静止画像を取得することができるという効果を奏する。

また、この発明によれば、矩形検出において、射影変換パラメータ算出用の矩形として、タッチパットの少なくとも一部を検出するので、ノート型情報処理装置の本体部等に標準的に装備されたタッチパットの形状から矩形を検出して射影変換パラメータを算出することができる。これにより、本発明は、タッチパットを備えたノート型情報処理装置に対して射影変換パラメータ算出用の矩形を別途用意することなく、効率的に射影変換パラメータを算出することができるという効果を奏する。

また、この発明によれば、矩形検出において、射影変換パラメータ算出用の矩形として、キーボード部の少なくとも一部を検出するので、ノート型情報処理装置の本体部等に標準的に装備されたキーボード部の形状から矩形を検出して射影変換パラメータを算出することができる。これにより、本発明は、キーボード部を備えたノート型情報処理装置に対して射影変換パラメータ算出用の矩形を別途用意することなく、効率的に射影変換パラメータを算出することができるという効果を奏する。

また、この発明によれば、矩形検出において、射影変換パラメータ算出用の矩形として、キーボード部を構成する少なくとも１つのキートップの形状の少なくとも一部を検出するので、ノート型情報処理装置の本体部等に標準的に装備されたキーボード部のキートップの形状から矩形を検出して射影変換パラメータを算出することができる。これにより、本発明は、キーボード部を備えたノート型情報処理装置に対して射影変換パラメータ算出用の矩形を別途用意することなく、効率的に射影変換パラメータを算出することができるという効果を奏する。

また、この発明によれば、矩形検出において、射影変換パラメータ算出用の矩形として、標識の少なくとも一部を検出するので、ノート型情報処理装置の本体部等に表示される標識（例えば、標準的に本体部上に貼付された矩形のラベル（例えば、Ｗｉｎｄｏｗｓ（登録商標）ラベル）等を用いることができる。これにより、本発明は、ラベル等が表示されたノート型情報処理装置に対して射影変換パラメータ算出用の矩形を別途用意することなく、効率的に射影変換パラメータを算出することができるという効果を奏する。

また、この発明によれば、矩形検出において、射影変換パラメータ算出用の矩形として、本体部の外観の少なくとも一部を検出するので、射影変換パラメータ算出に用いる矩形に、本体部全体を用いることができる。これにより、本発明は、射影変換パラメータ算出用の矩形を別途用意することなく、効率的に射影変換パラメータを算出することができるという効果を奏する。

以下に、本発明にかかるノート型情報処理装置、射影変換パラメータ算出方法、およびプログラム並びに記録媒体の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

［本発明の概要］
以下、本発明の概要について説明し、その後、本発明の構成および処理等について図１を参照して詳細に説明する。図１は、本ノート型情報処理装置１００の構成の一例を示す概要図である。

本発明は、概略的に、以下の基本的特徴を有する。

まず、図１に示すように、本ノート型情報処理装置１００は、画像撮影部１１６と表示部１１４とを少なくとも備えた蓋部１、および、記憶部と制御部とを少なくとも備えた本体部２から構成される。本体部２は、タッチパット３と、少なくとも１つのキートップ５から構成されるキーボード部４とを備えており、本体部２の上面には矩形の標識６が表示されている。

そして、ノート型情報処理装置１００の制御部は、画像撮影部１１６の撮影範囲内に本体部２の少なくとも一部を撮影したライブビューを表示部１１４に表示する。

ここで、「ライブビュー」とは、画像撮影部の撮影範囲を調整するためにリアルタイムでユーザが確認することができるよう、表示部１１４に表示される画像撮影部により撮影された動画像等や静止画像等をいう。

そして、ノート型情報処理装置１００の制御部は、表示部１１４に表示されたライブビューから、射影変換パラメータ算出用の矩形（例えば、本体部２、タッチパット３、キーボード部４、キートップ５の形状、矩形の標識６等）を検出する。ここで、射影変換パラメータ算出用の矩形は、寸法が既知でなくともよく、矩形の形状を有していればよい。

ここで、ノート型情報処理装置１００の制御部は、射影変換パラメータ算出用の矩形として、タッチパット３の少なくとも一部を検出してもよい。また、ノート型情報処理装置１００の制御部は、射影変換パラメータ算出用の矩形として、キーボード部４の少なくとも一部を検出してもよい。また、ノート型情報処理装置１００の制御部は、射影変換パラメータ算出用の矩形として、キーボード部４を構成する少なくとも１つのキートップ５の形状の少なくとも一部を検出してもよい。また、ノート型情報処理装置１００の制御部は、射影変換パラメータ算出用の矩形として、標識６の少なくとも一部を検出してもよい。また、ノート型情報処理装置１００の制御部は、射影変換パラメータ算出用の矩形として、本体部２の外観の少なくとも一部を検出してもよい。

なお、ノート型情報処理装置１００の制御部は、いずれの矩形形状を射影変換パラメータ算出用に検出するか、予めユーザに指定させておくことも可能である。すなわち、ノート型情報処理装置１００の制御部は、表示部１１４に表示されたライブビューからユーザに射影変換パラメータ算出用の矩形（例えば、本体部２、タッチパット３、キーボード部４、キートップ５の形状、矩形の標識６等）を入力手段（タッチパット３やマウス等）を用いてユーザに指定させてもよい。

そして、ノート型情報処理装置１００の制御部は、検出された矩形（例えば、本体部２、タッチパット３、キーボード部４、キートップ５の形状、矩形の標識６等）の座標から射影変換パラメータを算出する。

そして、ノート型情報処理装置１００の制御部は、ライブビューに対して、算出された射影変換パラメータを用いて、正面方向から撮影されたライブビューとなるよう射影変換を行い、射影変換後のライブビューから、本体部２上に置かれた原稿の静止画像を取得し、当該静止画像を記憶部に格納する。

ここで、「原稿」とは、画像撮影部１１６による静止画像の撮影対象（被写体）の意味で用いており、書類などの平面的なものに限らず、立体的なものも含む。以上で、本発明の概要の説明を終える。

［ノート型情報処理装置１００の構成］
まず、本ノート型情報処理装置１００の構成について、図２〜図５を参照して詳細に説明する。

ここで、図２は、本ノート型情報処理装置１００の構成の一例を示す論理構成ブロック図であり、該構成のうち本発明に関係する部分のみを概念的に示している。また、図３および図４は、本実施の形態における射影変換の一例を示す図である。また、図５は、本実施の形態における射影変換前と射影変換後の画像の一例を示す図である。

図２に示すように、ノート型情報処理装置１００は、概略的に、少なくとも１つのキートップ５から構成されるキーボード部４とタッチパット３と表示部１１４と画像撮影部１１６と記憶部１０６と制御部１０２と入出力制御インターフェース部１０８と通信制御インターフェース部１０４とを備えて構成される。

図２において、制御部１０２は、ノート型情報処理装置１００の全体を統括的に制御するＣＰＵ等である。また、通信制御インターフェース部１０４は、通信回線等に接続されるルータ等の通信装置（図示せず）に接続されるインターフェースであり、入出力制御インターフェース部１０８は、少なくとも１つのキートップ５から構成されるキーボード部４とタッチパット３と表示部１１４と画像撮影部１１６とに接続されるインターフェースである。また、記憶部１０６は、各種のデータベースやテーブルなどを格納する装置である。これらノート型情報処理装置１００の各部は任意の通信路を介して通信可能に接続されている。更に、このノート型情報処理装置１００は、ルータ等の通信装置および専用線等の有線または無線の通信回線を介して、ネットワーク３００に通信可能に接続されている。

ここで、図２において、画像撮影部１１６は、撮影範囲内に本体部２の少なくとも一部を撮影したライブビュー用の動画像を撮影する機能を備え、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の電荷結合素子等から構成されるビデオカメラおよびデジタルカメラ等である。画像撮影部１１６は、ノート型情報処理装置１００に内蔵されていてもよい。また、画像撮影部１１６は、ノート型情報処理装置１００に取り外し可能に設置されていてもよく、ノート型情報処理装置１００から電力が供給されていてもよく、当該ノート型情報処理装置１００と通信可能に接続されていてもよい（例えば、ＵＳＢ接続されたＷＥＢカメラやデジタルカメラ等を画像撮影部１１６としてもよい）。また、画像撮影部１１６は、撮影方向を変更できるよう回転可能にノート型情報処理装置１００に設置されていてもよい。

また、ノート型情報処理装置１００は、画像撮影部１１６の撮影方向を変更するよう回転させた場合に回転角度を検出する回転角度センサ（図示せず）を更に備えていてもよい。また、ノート型情報処理装置１００は、少なくとも画像撮影部１１６が設置された蓋部１と、少なくともキーボード部４が設置された本体部２と、を備えて構成されていてもよく、本体部２に対する蓋部１のオープン角度を検出するオープン角度センサ（図示せず）と、画像撮影部１１６の回転角度を調整するモータ（図示せず）と、を更に備えていてもよい。回転角度センサやオープン角度センサは、画像撮影部１１６の回転角度γやノート型情報処理装置１００のオープン角度θを検出する機能を有し、例えば、角速度や角度等を検出するジャイロセンサ等である。また、モータは、画像撮影部１１６を回転させる機能を有する。

また、図２において、記憶部１０６は、各種のデータベースやテーブル（画像データベース１０６ａおよびパラメータテーブル１０６ｂ等）を格納し、固定ディスク装置等のストレージ手段である。例えば、記憶部１０６は、各種処理に用いる各種のプログラムやテーブルやファイルやデータベース等を格納する。

これら記憶部１０６の各構成要素のうち、画像データベース１０６ａは、各種の動画像や静止画像を格納する画像記憶手段であり、例えば、画像撮影部１１６が撮影したライブビューの動画像や、本体部２上に置かれた原稿の静止画像の他、制御部１０２による各種の画像処理（例えば、射影変換等）後の動画像や静止画像等を格納する。

また、パラメータテーブル１０６ｂは、制御部１０２により検出された矩形（例えば、本体部２、タッチパット３、キーボード部４、キートップ５の形状、矩形の標識６等）の座標から算出された射影変換パラメータを格納するパラメータ記憶手段である。

また、通信制御インターフェース部１０４は、ノート型情報処理装置１００とネットワーク３００（またはルータ等の通信装置）との間における通信制御を行う。すなわち、通信制御インターフェース部１０４は、他の端末と通信回線を介してデータを通信する機能を有する。また、通信制御インターフェース部１０４は、ノート型情報処理装置１００に取り外し可能に接続された画像撮影部１１６と通信回線を介してデータを通信する機能を有していてもよい。

また、入出力制御インターフェース部１０８は、少なくとも１つのキートップ５から構成されるキーボード部４やタッチパット３や表示部１１４や画像撮影部１１６の制御を行う。ここで、キーボード部４は、本体部２に設置されたキーボードに相当し、表示部１１４は、蓋部１に設置されたディスプレイ（モニタ）に相当する。

また、制御部１０２は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラムや、各種の処理手順等を規定したプログラム、および、所要データを格納するための内部メモリを有する。そして、制御部１０２は、これらのプログラム等により、種々の処理を実行するための情報処理を行う。制御部１０２は、機能概念的に、ライブビュー表示部１０２ａ、矩形検出部１０２ｂ、射影変換パラメータ算出部１０２ｃ、および、静止画像取得部１０２ｄを備えて構成されている。

このうち、ライブビュー表示部１０２ａは、画像撮影部１１６の撮影範囲内に本体部２の少なくとも一部を撮影したライブビューを表示部１１４に表示するライブビュー表示手段である。

また、矩形検出部１０２ｂは、ライブビュー表示部１０２ａにより表示部１１４に表示されたライブビューから、射影変換パラメータ算出用の矩形（例えば、本体部２、タッチパット３、キーボード部４、キートップ５の形状、矩形の標識６等）を検出する矩形検出手段である。

ここで、矩形検出部１０２ｂは、射影変換パラメータ算出用の矩形として、タッチパット３の少なくとも一部を検出してもよい。また、矩形検出部１０２ｂは、射影変換パラメータ算出用の矩形として、キーボード部４の少なくとも一部を検出してもよい。また、矩形検出部１０２ｂは、射影変換パラメータ算出用の矩形として、キーボード部４を構成する少なくとも１つのキートップ５の形状の少なくとも一部を検出してもよい。また、矩形検出部１０２ｂは、射影変換パラメータ算出用の矩形として、標識６（例えば、射影変換用に予め貼付した矩形のラベルや標準的に貼付された矩形のラベル（例えば、Ｗｉｎｄｏｗｓ（登録商標）ラベル）等）の少なくとも一部を検出してもよい。また、矩形検出部１０２ｂは、射影変換パラメータ算出用の矩形として、本体部２の外観の少なくとも一部を検出してもよい。

なお、矩形検出部１０２ｂは、いずれの矩形形状を射影変換パラメータ算出用に検出するか、予めユーザに指定させておくこともよい。すなわち、矩形検出部１０２ｂは、表示部１１４に表示されたライブビューからユーザに射影変換パラメータ算出用の矩形（例えば、本体部２、タッチパット３、キーボード部４、キートップ５の形状、矩形の標識６等）をタッチパット３やマウス等の任意の入力手段を用いてユーザに指定させてもよい。

また、射影変換パラメータ算出部１０２ｃは、矩形検出部１０２ｂにより検出された矩形（例えば、本体部２、タッチパット３、キーボード部４、キートップ５の形状、矩形の標識６等）の座標から射影変換パラメータを算出し、当該射影変換パラメータをパラメータテーブル１０６ｂに格納する射影変換パラメータ算出手段である。なお、射影変換パラメータ算出部１０２ｃが行う射影変換パラメータ算出処理の詳細については、以下の［射影変換パラメータ算出処理］にて後述する。

また、静止画像取得部１０２ｄは、ライブビュー表示部１０２ａにより表示部１１４に表示されたライブビューに対して、射影変換パラメータ算出部１０２ｃにより算出された射影変換パラメータを用いて、正面方向から撮影されたライブビューとなるよう射影変換を行い、射影変換後のライブビューから、本体部２上に置かれた原稿の静止画像を取得し、当該静止画像を画像データベース１０６ａに格納する静止画像取得手段である。

ここで、図３および図４を参照して、静止画像取得部１０２ｄで行う射影変換について説明する。

静止画像取得部１０２ｄで行う射影変換は、例えば、画像撮影部１１６で撮影した画像を射影の逆変換を用いて元の状態に復元することにより実行される。射影変換の一例について以下に説明する。まず、射影変換を行う際には、画像撮影部１１６で撮影した画像面である撮像面７０における画像の消失点を求める。例えば、撮像面７０における画像形状である撮像面形状７１が図３に示すような矩形（例えば、本体部２、タッチパット３、キーボード部４、キートップ５の形状、矩形の標識６等）の場合、消失点は、消失点Ｓ１と消失点Ｓ２との２ヶ所に求められる。なお、この消失点とは、所定の形状を射影した場合に、実際の形状では平行に形成される２つの直線の延長線同士が交わる点をいう。このように消失点を求めることにより、消失点に基づいて射影前の元の大きさや、射影変換を行う際のパラメータである射影変換パラメータ（ａ１１〜ａ３２）を求め、下記の［数１］より射影変換を行う。つまり、［数１］によって、射影変換前の座標（ｘ，ｙ，１）から射影変換後の座標（ｕ，ｖ，１）を求めることにより、射影変換を行う。

このように、射影変換前の座標である撮像面形状７１の座標を射影変換することにより、射影変換後の座標を求めて図４に示すように射影変換後の形状である射影変換後形状７５を求めることができる。この射影変換後形状７５は、画像撮影部１１６で撮像した実物を正面方向から見た形状、即ち、撮像した面を垂直方向に見た場合における形状である実物形状７６と相似の形状になっている。なお射影変換は、上述した技術の他、各種の従来技術を用いることができる。

ここで、図５を参照して、静止画像取得部１０２ｄで行う射影変換後の画像の一例について説明する。

図５に示すように、図５の上図は、ライブビュー表示部１０２ａにより表示部１１４に表示された、画像撮影部１１６の撮影範囲内に本体部２の少なくとも一部を撮影した射影変換後のライブビューを示している。また、図５の下図は、ライブビュー表示部１０２ａにより表示部１１４に表示された射影変換前のライブビューに対して、射影変換パラメータ算出部１０２ｃにより算出された射影変換パラメータを用いて、正面方向から撮影されたライブビューとなるよう射影変換を行った射影変換後のライブビューから取得した静止画像を示している。以上で、ノート型情報処理装置１００の構成の説明を終える。

［ノート型情報処理装置１００の処理］
次に、このように構成された本実施の形態における本ノート型情報処理装置１００の処理の静止画像取得処理の一例について、以下に図６および図７を参照して詳細に説明する。

［静止画像取得処理］
まず、静止画像取得処理の詳細について図６を参照して説明する。図６は、本実施の形態における本ノート型情報処理装置１００の静止画像取得処理の一例を示すフローチャートである。

そして、図６に示すように、ライブビュー表示部１０２ａは、画像撮影部１１６の撮影範囲内に本体部２の少なくとも一部を撮影したライブビューを表示部１１４に表示する（ステップＳＡ−１）。

そして、矩形検出部１０２ｂは、ライブビュー表示部１０２ａの処理により表示部１１４に表示されたライブビューから、射影変換パラメータ算出用の矩形（例えば、本体部２、タッチパット３、キーボード部４、キートップ５の形状、矩形の標識６等）を検出する（ステップＳＡ−２）。

ここで、矩形検出部１０２ｂは、射影変換パラメータ算出用の矩形として、タッチパット３の少なくとも一部を検出してもよい。また、矩形検出部１０２ｂは、射影変換パラメータ算出用の矩形として、キーボード部４の少なくとも一部を検出してもよい。また、矩形検出部１０２ｂは、射影変換パラメータ算出用の矩形として、キーボード部４を構成する少なくとも１つのキートップ５の形状の少なくとも一部を検出してもよい。また、矩形検出部１０２ｂは、射影変換パラメータ算出用の矩形として、標識６の少なくとも一部を検出してもよい。また、矩形検出部１０２ｂは、射影変換パラメータ算出用の矩形として、本体部２の外観の少なくとも一部を検出してもよい。

そして、射影変換パラメータ算出部１０２ｃは、矩形検出部１０２ｂの処理により検出された矩形（例えば、本体部２、タッチパット３、キーボード部４、キートップ５の形状、矩形の標識６等）の座標から射影変換パラメータを算出し、当該射影変換パラメータをパラメータテーブル１０６ｂに格納する（ステップＳＡ−３）。なお、本ステップＳＡ−３にて射影変換パラメータ算出部１０２ｃが行う射影変換パラメータ算出処理の詳細については、後述する［射影変換パラメータ算出処理］にて詳細に説明する。

そして、静止画像取得部１０２ｄは、ライブビュー表示部１０２ａの処理により表示部１１４に表示されたライブビューに対して、射影変換パラメータ算出部１０２ｃの処理により算出された射影変換パラメータを用いて、正面方向から撮影されたライブビューとなるよう上述のように射影変換を行い、射影変換後のライブビューから、本体部２上に置かれた原稿の静止画像を取得し、当該静止画像を画像データベース１０６ａに格納する（ステップＳＡ−４）。以上で、静止画像取得処理の説明を終える。

［射影変換パラメータ算出処理］
次に、上述のステップＳＡ−３にて射影変換パラメータ算出部１０２ｃが行う射影変換パラメータ算出処理の詳細について、図７を参照して説明する。図７は、本実施の形態における本ノート型情報処理装置１００の射影変換パラメータ算出処理の一例を示すフローチャートである。

まず、図７に示すように、射影変換パラメータ算出部１０２ｃは、画像撮影部１１６が撮影した動画等の撮影画像から矩形検出部１０２ｂの処理により検出された、射影変換パラメータ算出用の矩形（図３の撮像面形状７１）の座標（図３におけるｃ１（ｘ１，ｙ１）〜ｃ４（ｘ４，ｙ４））に基づいて、遠近法等の画法等で用いられる消失点を算出する（ステップＳＢ−１）。以下の［数２］に、射影変換パラメータ算出部１０２ｃの処理により算出された消失点Ｓ１とＳ２の座標を示す。

そして、射影変換パラメータ算出部１０２ｃは、ステップＳＢ−１にて算出された［数２］の消失点Ｓ１とＳ２の座標を用いて、以下の［数３］に代入することにより、３次元空間上の被写体の角度を示す消失線を算出し、そして、射影変換パラメータ算出部１０２ｃは、［数２］の消失点Ｓ１とＳ２の座標を用いて、以下の［数４］に代入することにより、焦点距離ｆ（図４における撮像面７０までの垂直距離ｆ）を算出する（ステップＳＢ−２）。

そして、射影変換パラメータ算出部１０２ｃは、ステップＳＢ−１およびステップＳＢ−２にて算出された消失点、消失線、焦点距離と、以下の透視変換式［数５］により、３次元空間上での矩形（図４の実物形状７６）の４隅の座標（図４におけるＣ１（Ｘ１，Ｙ１，Ｚ１）〜Ｃ４（Ｘ４，Ｙ４，Ｚ４））と縦横の長さを算出する（ステップＳＢ−３）。

そして、射影変換パラメータ算出部１０２ｃは、ステップＳＢ−１にて検出された射影変換前の座標（ｘ，ｙ，１）と、ステップＳＢ−３にて算出された射影変換後の座標（ｕ，ｖ，１）により、［数６］の射影変換パラメータ（ａ１１〜ａ３２）を算出する（ステップＳＢ−４）。なお射影変換パラメータ算出は、上述した技術の他、各種の従来技術を用いることができる。

このように、射影変換パラメータ算出部１０２ｃは、矩形検出部１０２ｂにより検出された矩形（例えば、本体部２、タッチパット３、キーボード部４、キートップ５の形状、矩形の標識６等）の座標から射影変換パラメータを算出し、当該射影変換パラメータをパラメータテーブル１０６ｂに格納する。以上で、射影変換パラメータ算出処理の説明を終える。

［他の実施の形態］
さて、これまで本発明の実施の形態について説明したが、本発明は、上述した実施の形態以外にも、上記特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施の形態にて実施されてよいものである。

例えば、ノート型情報処理装置１００がスタンドアローンの形態で処理を行う場合を一例に説明したが、ノート型情報処理装置１００とは別筐体で構成されるクライアント端末からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却するように構成してもよい。

また、実施の形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。

このほか、上記文献中や図面中で示した処理手順、制御手順、具体的名称、各処理の登録データや検索条件等のパラメータを含む情報、画面例、データベース構成については、特記する場合を除いて任意に変更することができる。

また、ノート型情報処理装置１００に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。

例えば、ノート型情報処理装置１００の各装置が備える処理機能、特に制御部１０２にて行われる各処理機能については、その全部または任意の一部を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および当該ＣＰＵにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。尚、プログラムは、後述する記録媒体に記録されており、必要に応じてノート型情報処理装置１００に機械的に読み取られる。すなわち、ＲＯＭまたはＨＤなどの記憶部１０６などは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）として協働してＣＰＵに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、ＲＡＭにロードされることによって実行され、ＣＰＵと協働して制御部１０２を構成する。

また、このコンピュータプログラムは、ノート型情報処理装置１００に対して任意のネットワーク３００を介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。

また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納することもできる。ここで、この「記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等の任意の「可搬用の物理媒体」、あるいは、ＬＡＮ、ＷＡＮ、インターネットに代表されるネットワーク３００を介してプログラムを送信する場合の通信回線や搬送波のように、短期にプログラムを保持する「通信媒体」を含むものとする。

また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）に代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施の形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。

記憶部１０６に格納される各種のデータベース等（画像データベース１０６ａおよびパラメータテーブル１０６ｂ等）は、ＲＡＭ、ＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、光ディスク等のストレージ手段であり、各種処理に用いる各種のプログラムやテーブルやデータベースや等を格納する。

また、ノート型情報処理装置１００は、既知のパーソナルコンピュータ、ワークステーション等の情報処理装置を接続し、該情報処理装置に本発明の方法を実現させるソフトウェア（プログラム、データ等を含む）を実装することにより実現してもよい。

更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

以上詳述に説明したように、本発明によれば、ノート型情報処理装置の本体部等に標準的に装備されたキーボード等の被写体から矩形を検出して射影変換パラメータを算出することにより、射影変換パラメータ算出用の矩形を別途用意することなく、効率的に射影変換パラメータを算出することができるノート型情報処理装置および射影変換パラメータ算出方法を提供することができ、情報処理分野などの様々な分野において極めて有用である。

本ノート型情報処理装置１００の構成の一例を示す概要図である。 本ノート型情報処理装置１００の構成の一例を示す論理構成ブロック図である。 本実施の形態における射影変換の一例を示す図である。 本実施の形態における射影変換の一例を示す図である。 本実施の形態における射影変換前と射影変換後の画像の一例を示す図である。 本実施の形態における本ノート型情報処理装置１００の静止画像取得処理の一例を示すフローチャートである。 本実施の形態における本ノート型情報処理装置１００の射影変換パラメータ算出処理の一例を示すフローチャートである。

符号の説明

１００ ノート型情報処理装置
１ 蓋部
２ 本体部
１０２ 制御部
１０２ａ ライブビュー表示部
１０２ｂ 矩形検出部
１０２ｃ 射影変換パラメータ算出部
１０２ｄ 静止画像取得部
１０４ 通信制御インターフェース部
１０６ 記憶部
１０６ａ 画像データベース
１０６ｂ パラメータテーブル
３ タッチパット
４ キーボート部
５−１〜５−ｎ キートップ
１０８ 入出力制御インターフェース部
１１４ 表示部
１１６ 画像撮影部
３００ ネットワーク

Claims (12)

1. 画像撮影部と表示部とを少なくとも備えた蓋部、および、記憶部と制御部とを少なくとも備えた本体部から構成されるノート型情報処理装置であって、
   上記制御部は、
   上記画像撮影部の撮影範囲内に上記本体部の少なくとも一部を撮影したライブビューを上記表示部に表示するライブビュー表示手段と、
   上記ライブビュー表示手段により上記表示部に表示された上記ライブビューから、射影変換パラメータ算出用の矩形を検出する矩形検出手段と、
   上記矩形検出手段により検出された上記矩形の座標から射影変換パラメータを算出する射影変換パラメータ算出手段と、
   上記ライブビューに対して、上記射影変換パラメータ算出手段により算出された上記射影変換パラメータを用いて、正面方向から撮影されたライブビューとなるよう射影変換を行い、射影変換後の上記ライブビューから静止画像を取得し、当該静止画像を上記記憶部に格納する静止画像取得手段と、
   を備えたことを特徴とする、ノート型情報処理装置。
2. 請求項１に記載のノート型情報処理装置において、
   上記本体部は、タッチパットを更に備え、
   上記矩形検出手段は、
   上記射影変換パラメータ算出用の上記矩形として、上記タッチパットの少なくとも一部を検出することを特徴とする、ノート型情報処理装置。
3. 請求項１に記載のノート型情報処理装置において、
   上記本体部は、キーボード部を更に備え、
   上記矩形検出手段は、
   上記射影変換パラメータ算出用の上記矩形として、上記キーボード部の少なくとも一部を検出することを特徴とする、ノート型情報処理装置。
4. 請求項３に記載のノート型情報処理装置において、
   上記矩形検出手段は、
   上記射影変換パラメータ算出用の上記矩形として、上記キーボード部を構成する少なくとも１つのキートップの形状の少なくとも一部を検出することを特徴とする、ノート型情報処理装置。
5. 請求項１に記載のノート型情報処理装置において、
   上記本体部の上面に矩形の標識が表示されており、
   上記矩形検出手段は、
   上記射影変換パラメータ算出用の上記矩形として、上記標識の少なくとも一部を検出することを特徴とする、ノート型情報処理装置。
6. 請求項１に記載のノート型情報処理装置において、
   上記矩形検出手段は、
   上記射影変換パラメータ算出用の上記矩形として、上記本体部の外観の少なくとも一部を検出することを特徴とする、ノート型情報処理装置。
7. 画像撮影部と表示部とを少なくとも備えた蓋部、および、記憶部と制御部とを少なくとも備えた本体部から構成されるノート型情報処理装置において実行される射影変換パラメータ算出方法であって、
   上記制御部において実行される、
   上記画像撮影部の撮影範囲内に上記本体部の少なくとも一部を撮影したライブビューを上記表示部に表示するライブビュー表示ステップと、
   上記ライブビュー表示ステップにて上記表示部に表示された上記ライブビューから、射影変換パラメータ算出用の矩形を検出する矩形検出ステップと、
   上記矩形検出ステップにて検出された上記矩形の座標から射影変換パラメータを算出する射影変換パラメータ算出ステップと、
   上記ライブビューに対して、上記射影変換パラメータ算出ステップにて算出された上記射影変換パラメータを用いて、正面方向から撮影されたライブビューとなるよう射影変換を行い、射影変換後の上記ライブビューから静止画像を取得し、当該静止画像を上記記憶部に格納する静止画像取得ステップと、
   を含むことを特徴とする、射影変換パラメータ算出方法。
8. 請求項７に記載の射影変換パラメータ算出方法において、
   上記本体部は、タッチパットを更に備え、
   上記矩形検出ステップにおいて、
   上記射影変換パラメータ算出用の上記矩形として、上記タッチパットの少なくとも一部を検出することを特徴とする、射影変換パラメータ算出方法。
9. 請求項７に記載の射影変換パラメータ算出方法において、
   上記本体部は、キーボード部を更に備え、
   上記矩形検出ステップにおいて、
   上記射影変換パラメータ算出用の上記矩形として、上記キーボード部の少なくとも一部を検出することを特徴とする、射影変換パラメータ算出方法。
10. 請求項９に記載の射影変換パラメータ算出方法において、
    上記矩形検出ステップにおいて、
    上記射影変換パラメータ算出用の上記矩形として、上記キーボード部を構成する少なくとも１つのキートップの形状の少なくとも一部を検出することを特徴とする、射影変換パラメータ算出方法。
11. 請求項７に記載の射影変換パラメータ算出方法において、
    上記本体部の上面に矩形の標識が表示されており、
    上記矩形検出ステップにおいて、
    上記射影変換パラメータ算出用の上記矩形として、上記標識の少なくとも一部を検出することを特徴とする、射影変換パラメータ算出方法。
12. 請求項７に記載の射影変換パラメータ算出方法において、
    上記矩形検出ステップにおいて、
    上記射影変換パラメータ算出用の上記矩形として、上記本体部の外観の少なくとも一部を検出することを特徴とする、射影変換パラメータ算出方法。

Images