JP6089722B2

JP6089722B2 - 画像処理装置、画像処理方法および画像処理プログラム

Info

Publication number: JP6089722B2
Application number: JP2013010425A
Authority: JP
Inventors: 厚憲茂木; 松田　高弘; 高弘松田; 村瀬　太一; 太一村瀬
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2013-01-23
Filing date: 2013-01-23
Publication date: 2017-03-08
Anticipated expiration: 2033-01-23
Also published as: US20140204120A1; JP2014143548A; US9405182B2

Description

本発明は、例えば、文書に対する情報提示に用いる画像処理装置、画像処理方法および画像処理プログラムに関する。

従来から、文書を読む手段として紙媒体を用いる方法が用いられている。一方、コンピュータの性能向上やインターネットの発達により、電子媒体の文書を読む機会も増加している。紙媒体を用いる利点として、大きなサイズで読むことが出来る、安価である、俯瞰することで文章全体が把握出来る、等の利点が挙げられる。一方、電子媒体を用いる利点として、インターネットの情報や動画などの動的に変化する情報を表示出来る、持ち運びが容易である、等の利点などが挙げられる。そこで、従来の紙媒体の利点を活かしつつ、電子媒体と連携することで、文書の利用価値を向上させるという新たなインターフェースが開発されている。

上述のインターフェースでは、任意の場所に固定されたカメラ、または自由に移動が可能なカメラを用いて、ユーザの眼前の紙媒体の文書を撮像して文書画像を取得した後、その文書に関連する付加情報を表示する機能が搭載されている。ここで、付加情報の表示を行う技術として、文書画像上または、投影した紙文書上に付加情報を重畳させて表示する拡張現実感（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ：ＡＲ）による情報提示方法が、近年提案されている。当該情報提示方法により、付加情報と文章画像上での表示位置とを関連付けることが可能となり、紙媒体と電子媒体を連携することが出来る。

更に、紙媒体に付加情報となる注釈情報などを重畳表示させ、ユーザが注釈情報に対してインタラクション操作を行うことで、ユーザの作業支援を実現させる為の技術も開発されている。例えば、紙媒体などの現実の物体に対して、プロジェクタを用いて、バーチャル画像となる付加情報を含む重畳画像を投影し、現実の物体に関連付けられた注釈などを提示する拡張現実技術が開示されている。また、ユーザの手の動きなどのジェスチャー検出を用いて、重畳画像とのインタラクション操作を実現するユーザインタフェース技術が開示されている。また、重畳画像の視認性確保のために、紙媒体に対して視認容易な位置に重畳画像を投影させる為に、コーナーと称される特徴的な輝度勾配を持つ場所の分布から文書領域を推定し、重畳画像の表示位置を規定する技術が開示されている。

鈴木ら、「プロジェクタを用いた情報投影による印刷文書へのインタラクティブ性の付加」電子情報通信学会、信学技報、ＰＲＭＵ２０１１−１１１、ｐｐ．６９−７４、２０１１

特開２０１２―０４３４００号公報

紙媒体に注釈情報を投影し、付加情報を含む重畳画像に対するインタラクション操作においては、利便性向上の為、更に視認性と操作性を向上させることが好ましい。本発明は、重畳画像に対するインタラクション操作において、視認性と操作性を向上させることが可能となる画像処理装置を提供することを目的とする。

１つの態様では、画像処理装置は、撮像された画像を取得する取得部と、取得した前記画像に含まれ、付加情報を含む重畳画像が重畳表示される第１対象物の投影面の平坦度に関する平坦度情報を前記画像に基づいて算出する算出部と、前記平坦度情報が所定の基準よりも平坦であることを示す位置に、前記重畳画像の表示位置を規定する規定部とを備える。

なお、本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成されるものである。また、上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。

本明細書に開示される画像処理装置では、重畳画像に対するインタラクション操作において視認性と操作性を向上させることが可能となる。

一つの実施形態による画像処理装置１の機能ブロック図である。一つの実施形態による画像処理装置１のハードウェア構成図である算出部４が算出する第１対象物の投影面の３次元直交座標のデータ構造の一例を示すテーブルである。（ａ）は、算出部４が算出する指先座標を含むデータ構造の一例を示すテーブルである。（ｂ）は、算出部４が算出する指先の深度を含むデータ構造の一例を示すテーブルである。算出部４が算出する、第２対象物となるユーザの指先の３次元直交座標のデータ構造の一例を示すテーブルである。抽出部５が抽出する特徴点ＩＤと、特徴点座標のデータ構造の一例を示すテーブルである。抽出部５が抽出する特徴点分布のデータ構造の一例を示すテーブルである。（ａ）は、表示候補領域にペン等の障害物が置かれている場合のｃｃの概念図である。（ｂ）は、表示候補領域にたわみが生じている場合のｃｃの概念図である。（ｃ）は、表示候補領域が本と本の間などの場所に存在する場合のｃｃの概念図である重畳画像の隠れによる不可視領域の概念図である。算出部４が算出する表示候補領域に関するデータ構造の一例を示すテーブルである。重畳画像の投影例を含む画像処理装置１の使用例を示す図である。実施例１の比較例となる重畳画像の投影例を示す図である。画像処理装置１による画像処理のフローチャートである。一つの実施形態による画像処理装置１として機能するコンピュータのハードウェア構成図である。

以下に、一つの実施形態による画像処理装置、画像処理方法及び画像処理プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例は、開示の技術を限定するものではない。

先ず、本発明者らの新たな検証により、紙媒体に注釈情報を投影し、付加情報を含む重畳画像に対するインタラクション操作において以下の新たな課題が見出された。上述の輝度勾配を持つ場所の分布から文書領域を推定する方法は、文書上にペンなどの障害物が存在する場合や、本などの厚みを有する文書を対象とする場合など、投影面に平坦ではない（凹凸領域が存在する）際に、平坦度が低い領域に重畳画像を投影する場合があることが、本発明者らの検証により明らかとなった。この場合、平坦な投影面に重畳画像を投影した場合と比較して、付加情報を含む重畳画像の視認性や、重畳画像に対するインタラクション（重畳画像の押下）の操作性が低下することになることが新たに見出された。この為、上述の通り、本発明は、重畳画像に対するインタラクション操作において、視認性と操作性を向上させることが可能となる画像処理装置を提供することを目的とする。

（実施例１）
図１は、一つの実施形態による画像処理装置１の機能ブロック図である。画像処理装置１は、撮像素子２、取得部３、算出部４、抽出部５、規定部６、投影部７、記憶部８を有する。なお、画像処理装置１は、図示しない通信部を有しており、通信回線を介して様々な外部装置と双方向にデータの送受信を行うことによりネットワークリソースを用いることが可能である。

撮像素子２は、例えば、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）カメラなどの撮像デバイスである。また、撮像素子２をＨＭＣ（ＨｅａｄＭｏｕｎｔｅｄＣａｍｅｒａ）として利用することも可能である。撮像素子２は、例えば、○○を撮像する。なお、撮像素子２は、必ずしも画像処理装置１に含まれる必要はない。例えば、画像処理装置１に設けられる図示しない通信部を用いて通信回線を介することによって、撮像素子２を画像処理装置１以外の外部装置に設けることも可能である。

取得部３は、例えば、ワイヤードロジックによるハードウェア回路である。また、取得部３は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。取得部３は、撮像素子２が撮像する画像を撮像素子２から受け取る。取得部３は、取得した画像を算出部４と抽出部５に出力する。なお、取得部３による取得処理の詳細については後述する。

算出部４は、例えば、ワイヤードロジックによるハードウェア回路である。また、算出部４は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。算出部４は、取得部３から画像を受け取り、当該画像に含まれる第１対象物または第２対象物の３次元直交座標や、第１対象物の投影面の平坦度に関する平坦度情報や利用可能度などを算出する。算出部４は、算出した平坦度情報や利用可能度などを規定部６へ出力する。なお、算出部４による算出処理の詳細については後述する。

抽出部５は、例えば、ワイヤードロジックによるハードウェア回路である。また、抽出部５は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。抽出部５は、画像を取得部３から受け取り、重畳画像を投影する対象となる表示候補領域を抽出する。抽出部５は、抽出した表示候補領域を算出部４または規定部６へ出力する。なお、抽出部５による抽出処理の詳細については後述する。

規定部６は、例えば、ワイヤードロジックによるハードウェア回路である。また、規定部６は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。規定部６は、算出部４が算出する平坦度情報や利用可能度ならびに抽出部５が抽出する表示候補領域などに基づいて、重畳画像の表示位置を規定する。規定部６は、重畳画像の表示位置を投影部７へ出力する。なお、規定部６の規定処理の詳細については後述する。

投影部７は、例えば、プロジェクタなどの表示デバイスである。投影部７は、例えば、付加情報を含む重畳画像を表示する。また、投影部７は、必ずしも画像処理装置１に含まれる必要はない。例えば、画像処理装置１に設けられる図示しない通信部を用いて通信回線を介することによって、投影部７を画像処理装置１以外の外部装置に設けることも可能である。投影部７は、重畳画像の表示位置を規定部６から受け取り、重畳画像を投影する。

記憶部８は、例えば、フラッシュメモリ（ｆｌａｓｈｍｅｍｏｒｙ）などの半導体メモリ素子、または、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）、光ディスクなどの記憶装置である。なお、記憶部８は、上記の種類の記憶装置に限定されるものではなく、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）であってもよい。記憶部８には、例えば、付加情報となる重畳画像等の各種データが必要に応じて記憶される。なお、記憶部８は、必ずしも画像処理装置１に含まれる必要はない。例えば当該各種データは、画像処理装置１に含まれる各機能部の図示しないキャッシュやメモリ等に記憶しても良い。また、画像処理装置１に設けられる図示しない通信部を用いて通信回線を介することによって、記憶部８を画像処理装置１以外の外部装置に設けることも可能である。

なお、画像処理装置１は、例えば、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）やＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）などの集積回路で構成しても良い。

図２は、一つの実施形態による画像処理装置１のハードウェア構成図である。図２に示される通り、投影部７は、設置面または地面と水平に設置され、少なくとも文字または図形を含む文書に付加情報を投影するための投影面を規定し、文書上に重畳画像を投影することが出来る。なお、説明の便宜上、文書上の投影面を文書投影面と称することとする。また、投影部７と、２台の撮像素子２は、例えば文書投影面の上方に、鉛直下向きの方向で設置される。２台の撮像素子２は、内部パラメータが等しく既知であり、互いの光軸が平行で、かつ、２台の撮像素子２が撮像する複数の画像中の任意の横軸が同一直線状上になる様に配置される、所謂平行ステレオ配置となる。撮像素子２により、文書投影面、文書の色情報、ならびに文書の深度、ユーザ指先の深度などの情報を含む画像が撮像されることになる。なお、２台の撮像素子２は、平行ステレオ配置を保った状態で可動させる配置にしても良い。これにより、例えば、文書の文字方向を任意の画像処理方法で推定し、文書の文字方向に平行に（換言すると、文字方向に垂直にならない様に）、平行ステレオ配置を保つことで文書の深度を高い精度で算出できる。また、投影部７により重畳画像が文書投影面上に投影される。ユーザは、任意の方向から指先を文書投影面上に提示し、投影された重畳画像に対してインタラクション操作を行う。なお、図２において、撮像素子２ならびに投影部７以外の図１に開示される各機能は、例えば、図示しないＡＳＩＣの集積回路により構成され、投影部７と同位置に配置されれば良い。

なお、図２に示す画像処理装置１の構成時点で、撮像素子２の撮像素子認識座標系と投影部７の投影部表示座標系の間の位置合わせ（キャリブレーション）は、予め実施されているものとする。また、画像処理装置１に使用開始後に、撮像素子２と投影部７の位置関係を変化させる場合は、キャリブレーションを、少なくとも一回実行すれば良い。ここで、具体的なキャリブレーションの方法の一例として、投影部７が投影する任意の投影画像を撮像素子２で撮像することで、画像処理装置１内部でキャリブレーションを実行する方法を説明する。なお、当該方法においては、２台の撮像素子２それぞれについて、キャリブレーションが実行される。

先ず、投影部７は、投影部表示座標系において、ある任意の座標値（ｘ_ｐ、ｙ_ｐ）に対して任意のマーカを投影する。当該マーカは、周囲の背景と区別しやすいような任意の色や形状を用いることが可能である。そして、撮像素子２は、所定の投影面に投影されたマーカを撮像する。続いて、画像処理装置１は、マーカを公知の任意の画像処理によって認識する。例えば、画像処理装置１は、投影部７がマーカとして円形の模様を投影した場合、「Kimmeら、“Finding circles by an array of accumulators”, Communications of the Association for Computing Machinery, #18, pp.120-122, 1975.」に開示される、ハフ円変換により円形状を認識することが出来る。ここで、画像処理装置１がマーカを認識した際の座標値を（ｘ_ｉ、ｙ_ｉ）とする。画像処理装置１は、上述の処理を、任意の場所で４点分繰り返す。画像処理装置１は、当該処理で得られた（ｘ_ｐ、ｙ_ｐ）に対応する（ｘ_ｉ、ｙ_ｉ）の組の４組から、３行３列のホモグラフィ行列Ｈの各成分を、８次元連立一次方程式を用いて算出する。なお、ホモグラフィとは、三次元空間上のある平面から別の平面への射影変換を表す行列である。実施例１においては、画像処理装置１は、撮像素子２の撮像素子座標平面と投影部７の投影部座標平面との対応付けを求める。画像処理装置１は、算出して求めたホモグラフィ行列を、例えば、記憶部８に保存しておくことで、重畳画像の投影時においてホモグラフィ行列を利用することが出来る。

（取得部３の画像取得処理）
図１の取得部３は、撮像素子２が撮像する画像を撮像素子２から受け取る。なお、実施例１においては、撮像素子２は、少なくとも２台ステレオ配置され、複数の撮像素子２は、同時または連続的に画像を撮像するものとする。また、撮像素子２が撮像する画像の解像度は、画像処理装置１の処理速度などに応じて任意の値を用いることが可能である。また、取得部３が取得する画像には、例えば、文字または図形を含む文書、または、ユーザの指先が含まれているものとする。なお、文字または図形を含む文書を第１対象物と称し、ユーザの指先を第２対象物と称しても良い。取得部３は取得した画像を算出部４と抽出部５へ出力する。

（算出部４の３次元直交座標と平坦度情報の算出処理）
図１の算出部４は、取得部３から画像を受け取る。算出部４は、画像処理装置１の処理開始時点、または、画像処理装置１の処理中に、画像から文書投影面の三次元形状、すなわち文書投影面の３次元直交座標を算出する。実施例１においては、算出部４は、コーナーなどの特徴的な模様が存在しない領域でも３次元直交座標を算出することが出来る様に、アクティブステレオ法と称される方法により文書投影面の３次元直交座標を算出する。アクティブステレオ法は、物体に対して投影部７により付加情報の一つとなる特定パターンを投影し、撮像素子２を介して投影した特定パターンの画素の変化を計測することで、物体の３次元直交座標を算出する方法である。

アクティブステレオ法には様々な種類があり、算出部４は、何れの種類を適用することが可能であるが、例えば、特公平３−５６４０２号公報に記載の空間コード法を用いることが出来る。算出部４は、空間コード法により、投影部７が複数回投影する、明暗をパターン化した特定パターンの全画素の座標をＩＤとして、投影パターンの画素の変化を算出する。その結果を用いることで、算出部４は、三角測量により投影部７が投影する特定パターンの各画素に対する深度（ｍ）を算出することが出来る。なお、投影部７の任意の基準点に対する各画素の座標と深度を用いることで、算出部４は、第１対象物となる文書の文書投影面の３次元直交座標を規定することが出来る。なお、各画素の座標の基準点は、例えば、取得部３が取得する画像の左上端と規定することが出来る。また、深度の基準点は、例えば、投影部７が設定される位置を基準点とすることが出来る。

図３は、算出部４が算出する第１対象物の投影面の３次元直交座標のデータ構造の一例を示すテーブルである。図３のテーブル３０に示される通り、文書投影面の３次元直交座標として、投影部７の任意の基準点に対する各画素の座標と、深度の座標が格納される。なお、テーブル３０は、算出部４の図示しないキャッシュまたはメモリに格納されても良いし、記憶部８に記憶されても良い。

算出部４は、取得部３から受け取った複数の画像に対して、第２対象物の３次元直交座標となる、ユーザの指先の位置の算出を行う。算出部４は、指先の位置を算出する方法として、例えば、特許第３８６３８０９号に開示される、画像処理による指先位置を推定する手法や、「山下ら、“３次元Active Appearance Model を用いた手形状認識”、画像の認識・理解シンポジウム、MIRU2012, IS3-70, 2012-08」に開示される、予め手の形状に関する学習データを保持しておき、現時刻で取得した画像と学習データの間の類似度を計算して指先形状を推定する方法など、様々な公知の方法を用いることが可能である。実施例１においては、説明の便宜上、算出部４は、上述の特許第３８６３８０９号に開示されている方法を用いるものとして以降の説明を行う。当該方法では、算出部４は、取得部３から受け取った画像から、例えば肌色の色成分部分を抜き出す（抽出する）ことで、手領域輪郭を抽出する。その後、算出部４は、手の本数を認識した上で手領域輪郭から指先座標の算出を行う。なお、算出部４は、肌色の色成分の抽出は、ＲＧＢ空間やＨＳＶ空間の適切な閾値調整を用いることが出来る。

図４（ａ）は、算出部４が算出する指先座標を含むデータ構造の一例を示すテーブルである。図４（ａ）のテーブル４０には、２台の撮像素子２のＩＤが格納される。また、テーブル４０には、例えば、ユーザが片手で指を広げた場合における、２台の撮像素子２それぞれが撮像する画像から算出される各指先の指先座標が、指先ＩＤと対応付けられて格納される。指先ＩＤは、例えば、横方向の座標の小さい順に付与されれば良い。なお、各指先画素の座標の基準点は、例えば、取得部３が取得する画像の左上端と規定することが出来る。また、テーブル４０は、算出部４の図示しないキャッシュまたはメモリに格納されても良いし、記憶部８に記憶されても良い。

続いて、算出部４は、ユーザの指先の深度算出を行う。実施例１においては、２台の撮像素子２（換言するとステレオカメラ）によるユーザの指先の深度算出について説明する。算出部４は、３次元空間となる３次元直交座標の任意の基準点に対する奥行方向の深度Ｚを、２台の撮像素子２の間の線分の長さ（基線長）をｂ、撮像素子２の焦点距離をｆ、左右の対応する二次元直交座標をそれぞれ（ｕ、ｖ）、（ｕ’、ｖ’）とすると、三角測量の原理により次式で算出することが出来る。
（数１）

算出部４は、上述の（数１）を用いて、指先となる各指の頂点部分の深度を算出する。なお、焦点距離ｆを算出するための撮像素子２の内部パラメータ推定には、例えば、「Zhangら、“A flexible new technique for camera calibration”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11), pp.1330-1334, 2000.」に開示されるキャリブレーション方法を用いることが出来る。

算出部４は、例えば、図２に示す通り、左右に複数配置される撮像素子２で横方向の座標の小さい順に、指先点にＩＤを付与し、同一ＩＤの指先点同士を対応点と見なし、それぞれの対応点について上述の（数１）に代入して深度Zを算出する。図４（ｂ）は、算出部４が算出する指先の深度を含むデータ構造の一例を示すテーブルである。図４（ｂ）のテーブル４１において、指先ＩＤは、図４（ａ）のテーブル４０の指先ＩＤと同一のＩＤが付与され、各指先ＩＤに対応する深度が格納される。なお、当該深度の基準点は、例えば、投影部７が設定される位置を基準点とすることが出来る。また、図４（ｂ）のテーブル４１は、算出部４の図示しないキャッシュまたはメモリに格納されても良いし、記憶部８に記憶されても良い。

算出部４は、図４（ａ）のテーブル４０と図４（ｂ）のテーブル４１のデータ構造を利用して、第２対象物となるユーザの指先の３次元直交座標を規定する。図５は、算出部４が算出する、第２対象物となるユーザの指先の３次元直交座標のデータ構造の一例を示すテーブルである。図５のテーブル５０において指先ＩＤと、深度は図４（ｂ）のテーブル４１のデータ構造と同一である。また、指先座標は、図４（ａ）のテーブル４０に開示される指先座標を各指先ＩＤ毎に平均した座標となる。なお、図５のテーブル５０において、指先座標の基準点は、例えば、取得部３が取得する画像の左上端と規定することが出来る。また、深度の基準点は、例えば、投影部７が設定される位置を基準点とすることが出来る。図５のテーブル５０は、算出部４の図示しないキャッシュまたはメモリに格納されても良いし、記憶部８に記憶されても良い。

（抽出部５による表示候補領域の抽出処理）
図１の抽出部５は、取得部３から画像を受け取り、重畳画像を投影する表示候補領域を抽出する。なお、抽出部５は、表示候補領域を抽出する場合に、必要に応じてユーザの指先の押下判定を実施しても良い。実施例１においては、抽出部５が、指先と文書投影面との接触を検知することで押下判定を実施する例を説明する。抽出部５は、算出部４が、画像処理装置１の処理開始時に算出する、上述のアクティブステレオ法による文書投影面の深度を予め取得しておき、指先の深度が文書投影面の深度に対する所定の閾値範囲内に収まっているときに押下されたことを検知することが出来る。なお、複数の指先の深度が閾値範囲内に収まっている場合は、抽出部５は、複数の指先が押下しているものとみなすことが出来る。

抽出部５は、少なくとも１本以上の指先が文書投影面に対して押下されたことを検出した場合、表示候補領域の抽出を行う。実施例１では、抽出部５は、例えば、「Liuら、“Embedded Media Markers: Marks on Paper that Signify Associated Media”, In proc. of IUI, pp.149-158, 2010.」に開示されているレイアウト解析手法を一部利用することで表示候補領域の抽出する方法を説明する。先ず、抽出部５は、投影部７が投影を実施する予定の重畳画像の大きさの取得を、例えば、記憶部８に記憶されている図示しないテーブルから実施する。なお、当該テーブルに格納される重畳画像の大きさは、具体的には、重畳画像を矩形状に近似した際の縦横長（ｐｉｘｅｌ）であり、例えば、（縦、横）＝（５０、６０）という値である。

続いて、抽出部５は、取得部３から取得した画像をグレースケール化する。次に、抽出部５は、当該グレースケール化した画像に対して、コーナー点の特徴点抽出を行う。抽出部５は、例えば、「Harrisら、“A Combined Corner and Edge Detector”, In proc. of the Alvey Vision Conference, pp.147-151, 1988.」に開示されるHarrisオペレータや、「Rostenら、“FASTER and better: A machine learning approach to corner detection”, IEEE Trans. Pattern Analysis and Machine Intelligence, vol.32, pp.105-119, 2008.」に開示されるＦＡＳＴなど、任意のコーナー点の特徴点抽出手法を用いることが出来る。図６は、抽出部５が抽出する特徴点ＩＤと、特徴点座標のデータ構造の一例を示すテーブルである。図６のテーブル６０に示す様に、抽出部５は、特徴点を抽出する毎に特徴点ＩＤを付与し、当該特徴点が抽出された特徴点座標と対応づける。なお、特徴点座標の原点となる基準点は、例えば、取得部３が取得する画像の左上端であれば良い。

次に、抽出部５は、特徴点分布計測を行う。抽出部５は、取得部３から取得する画像を、例えば、５（ｐｉｘｅｌ）四方のブロックに分解し、格子点Ｘと画像の任意の原点からなる矩形内に含まれる特徴点の個数Ｎｇ（Ｘ）を計測する。この場合、任意の矩形領域ＡＢＣＤ内に含まれる特徴点の数は、Ｎｇ（Ｃ）＋Ｎｇ（Ａ）−Ｎｇ（Ｂ）−Ｎｇ（Ｄ）となる。但し、基準点となる原点から最も近い点をＡとし、原点から最も遠い点をＣとする。抽出部５は、当該特徴点分布計測を全ての格子点Ｘについて繰り返す。図７は、抽出部５が抽出する特徴点分布のデータ構造の一例を示すテーブルである。図７のテーブル７０に示される通り、上述の任意の矩形領域ＡＢＣＤに対して、格子点ＩＤ（ｘ）が付与され、当該格子点ＩＤ（ｘ）に対応付けられて、格子点座標と特徴点数が格納される。なお、テーブル７０は、抽出部５の図示しないキャッシュまたはメモリに格納されても良いし、記憶部８に記憶されても良い。

次に、抽出部５は、表示候補領域探索を行う。抽出部５は、予め取得した重畳画像の大きさ領域について、取得部３から取得した画像の左上端から右下端まで上述のブロックおきにスライドさせ、それぞれの領域の特徴点数Ｎを計測し、所定の特徴点数閾値Ｎｔ（例えばＮｔ＝１０）以下となる場合、その矩形領域を表示候補領域と見なす。なお、特徴点数閾値Ｎｔを下回る表示候補領域が存在しなかった場合は、抽出部５は、特徴点数閾値Ｎｔを所定の一定数増加させて、再度表示候補領域が存在するか否かの判定を実施する。当該判定により、特徴点が画像全体に渡って多く分布する画像であっても、何れかの場所に重畳画像を表示することが可能となる。以上に説明した方法を用いて抽出部５は、表示候補領域を抽出することが出来る。

（算出部４の３次元直交座標と平坦度情報の算出処理）
算出部４は、表示候補領域の平坦度に基づく利用可能度の算出を実施する。算出部４は、抽出部５による表示候補領域探索により得られた表示候補領域それぞれについて、算出部４が算出する第１対象物の投影面の３次元直交座標と第２対象物の３次元直交座標などを用いて利用可能度ｐを、次式を用いて規定する。なお、利用可能度ｐ、は０以上１以下の範囲を持つ値であり、値が大きくなるほど重畳画像の表示に適していることを示す。
（数２）

上述の（数２）において、ｐ_ｔはコーナーの有無による重畳画像の視認性の項（換言すると、表示候補領域に含まれるコーナーの頻度に関する項）であり、次式で表現される。
（数３）

上述の（数３）から理解出来る通りｐ_ｔは、表示候補領域に含まれるコーナー数が少ないほど高い値となる。なお、（数３）において、αはコーナーの許容度を意味しており、画像処理装置１の適用用途に応じて適宜設定することが出来るが、例えば、α=２と設定することが出来る。

上述の（数２）において、ｐ_ｆは、ユーザの手領域と重畳画像の重複防止に関する項（換言すると、手領域への重畳画像の投影を防ぐ項）であり、次式で表現される。
（数４）

算出部４は、ｐ_ｆを算出する為に、算出部４が算出する上述の手領域輪郭を利用し、手領域を規定する。算出部４は、表示候補領域のピクセル数Ａ_ｓと、表示候補領域であり、かつ手領域である部分のピクセル数Ａ_ｓｆを計算し、上述の（数４）を用いてｐ_ｆを算出する。ｐ_ｆの項により、手のひらの様なコーナー点が存在しないが、投影には適さない領域への重畳画像の投影を防止することが出来る。

上述の（数２）において、ｐ_ｃは、文書投影面の平坦度に関する項（換言すると、文書投影面の表示候補領域における凹凸の程度を示した項）であり、次式で表現される。
（数５）

算出部４は、表示候補領域について、第１対象物の投影面の３次元直交座標からｃの値を計算することが出来る。なお、上述の（数５）において、ｃは、凹凸の頻度を表すｃ_ｃと、凹凸による重畳画像の隠れによる不可視領域の頻度を示すｃ_ｏとの線形和となっており、ｃ_ｃとｃ_ｏは、それぞれ操作性と視認性に影響を与えるものであるが、ｃ_ｃは特に操作性、ｃ_ｏは特に視認性に影響を与える。なお、上述の（数５）から理解出来る通り、ｃ_ｃやｃ_ｏの値が大きくなるにつれてｐ_ｃの値は小さくなり、利用可能度が減少する。なお、（数５）において、ｄ_ｉ、ｊは表示候補領域内の座標（ｉ、ｊ）における深度（ｍ）とし、Ｉ，Ｊを表示候補領域の横、縦のピクセル数とする。なお、ｃ_ｃの項を第１対象物の投影面の平坦度に関する平坦度情報と称しても良い。

上述の（数５）において、ｃ_ｃは表示候補領域内における隣接ピクセル間での深度の差分を表示候補領域全体に渡り合計した値である。ｃ_ｃが大きいと、凹凸が頻繁に存在することになり、平坦度が低くなる。凹凸の大きい領域への投影は、押下時の操作性や視認性の低下に起因する為、凹凸が大きい領域を避けるためにｃ_ｃの項を適用する。図８（ａ）は、表示候補領域にペン等の障害物が置かれている場合のｃ_ｃの概念図である。図８（ｂ）は、表示候補領域にたわみが生じている場合のｃ_ｃの概念図である。図８（ｃ）は、表示候補領域が本と本の間などの場所に存在する場合のｃ_ｃの概念図である。図８（ａ）ないし図８（ｃ）に示すグラフは、横軸に画像のｘ方向またはｙ方向、縦軸に投影部７の設置点に対する深度の分布例を示している。ｃ_ｃは、凹凸が多い程（平坦度が低い程）、大きい値を示す。

上述の（数５）において、ｃ_ｏは、重畳画像の隠れによる不可視領域に関係する深度の差分値ｄ_ｐを、表示候補領域全体に渡り合計した値である。ｄ_ｐは、画像の下方向を正としたときに、正方向に深度値が減少している時は、その深度値の絶対値、それ以外の時は０の値を取る。図９は、重畳画像の隠れによる不可視領域の概念図である。実施例１における画像処理装置１では、ユーザは投影部７の下方から指先を出してインタクティブ操作するものと想定している。この為、図９に示す通り、ユーザの視点の高さや角度に応じて、表示候補領域の凹凸の影響で重畳画像が隠れ、視認性が低下する場合がある。図９から理解出来る通り、重畳画像の隠れが生じるのは正方向に深度が減少している時である為、算出部４は、この時の深度の差分値を領域全体について足し合わせｃ_ｏの値を算出する。ｃ_ｏの値が大きいほど、隠れる領域の面積が大きいことを意味する。ここでβはｃ_ｃに関するｃ_ｏの影響度を意味しており、用途に応じて選択出来るが、通常β=２程度の値を用いる。

以上により、算出部４が算出するｃの値を用い、ｃと所定の任意の閾値θｃの大小によりｐ_ｃの値を決定することが出来る。なお、閾値θｃは、画像処理装置１の用途によって適宜変化させることが出来るが、例えば０．０１（ｍ）という値を使用することが出来る。
なお、ｐ_ｃの項を表示候補領域の基準点に対する分散と称し、閾値θｃを第１閾値と称しても良い。図１０は、算出部４が算出する表示候補領域に関するデータ構造の一例を示すテーブルである。図１０のテーブル１００には、表示候補領域ＩＤそれぞれについて、表示候補領域の左上端座標、含有特徴点数、利用可能度が格納されている。

（規定部６による重畳画像の表示位置の規定処理）
図１の規定部６は、重畳画像の表示位置の規定を実施する。規定部６は、図１０のテーブル１００に示される利用可能度や、上述の（数５）から算出される平坦度情報に基づいて重畳画像の表示位置を規定（複数の表示候補領域から一つの領域を規定）することが出来る。また、規定部６は、指先座標と、表示候補領域候補の間のユークリッド距離を計算し、ユークリッド距離が最小となる表示候補領域を表示位置と規定しても良い。規定部６は、上述の処理を用いて重畳画像の表示位置を規定し、当該重畳画像の表示位置を投影部７に出力する。

規定部６は、重畳画像の表示位置の規定後、重畳画像の表示状態決定を実施しても良い。即ち、規定部６は、文書の記載状態に応じて、重畳画像の表示状態（補色関係、文書の行の方向、文書の文字の大きさ）をユーザが可読し易い適切な状態に変化させても良い。補色関係については、表示候補領域の投影先の色情報と補色関係にある色を用いて重畳画像を表示する。また、文書の行の方向については、規定部６は、特開平１１−２１９４０７号公報に開示される方法により、予め行の方向を取得しておく。そして規定部６は、文書中の文字と重畳画像の文字の方向を一致させる。文字のサイズに関しては、例えば、特開平１１−２１９４０７号公報に開示される方法を用いて、表示候補領域の近傍に存在する文字の大きさを取得する。そして規定部６は、重畳画像の文字サイズは文書中の文字サイズ以上の値とし、重畳画像を表示する表示候補領域の領域を超過しないような値とする。なお、規定部６は、表示位置を規定した後、表示領域を一定程度拡大縮小して各領域での利用可能度を再計算して、利用可能度が最大の大きさに微調整することを実施しても良い。この様な処理を実施することで、重畳画像を適切な大きさで投影させることも可能となる為、重畳画像の内容に関する視認性低下を防止することが出来る。操作性の観点については、手に近い場所に重畳画像を投影することで、インタラクション操作に要する時間を削減することが出来る。また、重畳画像をインタラクション操作に適切なサイズで投影させるため、ユーザの押下等の操作ミスを減少させることが可能となる。

規定部６は、重畳画像の表示位置を投影部７に出力し、投影部７に対して当該表示位置への重畳画像の投影と、表示領域の更新を実行させる。また、規定部は、表示領域に関し、予め取得している撮像素子２の撮像素子認識座標系と投影部７の投影部表示座標系との間のホモグラフィ行列から、次式により重畳画像を投影する投影面の座標（換言すると重畳画像の表示位置となる平面直交座標）を決定する。例えば、（ｘ_ｓｒｃ、ｙ_ｓｒｃ）を撮像素子２の撮像素子認識座標系での表示位置の中心座標、（ｘ_ｄｓｔ、ｙ_ｄｓｔ）を投影部７の投影部表示座標系での表示位置の中心座標とする。また、次式において、ｈ_１１ないしｈ_３３までの各成分は、上述のキャリブレーションで得られているホモグラフィ行列の逆行列Ｈ＾−１である。
（数６）

図１１は、重畳画像の投影例を含む画像処理装置１の使用例を示す図である。図１１に示す様に、投影される重畳画像は、文書に対しインタラクティブ操作を実行したい領域を指先で指定した時の領域（選択済領域）に関する情報と、その領域に対して加えるインタラクティブ操作のメニュー領域の二種類が存在する。指先による操作で領域を指定する際は、領域の矩形の端点の部分で指先を文書が存在する面、すなわち、文書投影面で接触させ、接触させたまま指先を矩形のもう片方の端点まで動かし、端点に到達した時に指先を投影面から離す。接触しているか否か判定は、上述の抽出部５によるによる押下判定を用いれば良い。対象領域の指定中は、対象領域に関する重畳画像が表示されることになる。

上記の領域指定後、指先を使ったインタラクション操作を行うことの出来る重畳画像（メニュー領域）が表示される。ユーザは、指先により領域選択した文書の内容を画像で保存したい場合、メニューの中の「ＣＯＰＹ」という場所に指先を合わせ押下することで、選択領域の部分画像を、記憶部８に記憶することが出来る。

図１１に示される通り、ユーザによる選択済領域に対するインタラクション操作の為にメニュー領域の重畳画像を投影させる場合、実施例１を適用することで、文書領域やペンなど凹凸領域を避け、かつ、指先に一番近い表示候補領域に表示させることが可能となる。図１２は、実施例１の比較例となる重畳画像の投影例を示す図である。図１２に示す、比較例においては、特徴点のみから表示候補領域をランダムに規定して投影しているものとする。比較例の方法では、図１２に示す通り、重畳画像の投影領域として本の段差部が選択されることが有り得るが、この様な平坦性が低い領域は視認性や操作性が低下するため、重畳画像の表示位置には適していないことが理解出来る。

実施例１によれば、視認性かつ操作性を考慮して最適な場所に重畳画像を投影させることが可能となる。視認性の観点からは、文書領域でない領域に重畳画像を投影することで、文字や図などの文書と重畳画像の重複が防げ、文書と重畳画像双方の視認性が向上する。また、平坦度が低い領域に重畳画像を投影することで、凹凸による重畳画像の歪みの影響を低減出来る。加えて、平坦度が低いに重畳画像を投影することで、ユーザが自然に重畳画像を操作可能な対象であると認識することができ（アフォーダンスの活用）、操作性が向上する。

図１３は、画像処理装置１による画像処理のフローチャートである。取得部３は、撮像素子２が撮像する画像を撮像素子２から受け取る（ステップＳ１３０１）。なお、実施例１においては、撮像素子２は、少なくとも２台ステレオ配置され、複数の撮像素子２は、同時または連続的に画像を撮像するものとする。取得部３が取得する画像には、例えば、文字または図形を含む文書、または、ユーザの指先が含まれているものとする。なお、文字または図形を含む文書を第１対象物と称し、ユーザの指先を第２対象物と称しても良い。取得部３は取得した画像を算出部４と抽出部５へ出力する。

算出部４は、取得部３から画像を受け取り、上述の方法を用いて第１対象物の投影面の３次元直交座標と第２対象物の３次元直交座標を算出する（ステップＳ１３０２、Ｓ１３０３）。なお、算出部４が算出する第１対象物の投影面の３次元直交座標と第２対象物の３次元直交座標のデータ構造は、例えば、図３に示すテーブル３０と図５に示すテーブル５０となる。

抽出部５は、取得部３から画像を受け取り、上述のアクティブステレオ法を用いてユーザの指先の押下判定を実施する（ステップＳ１３０４）。抽出部５は、少なくとも１本以上の指先が文書投影面に対して押下されたことを検出した場合（ステップＳ１３０４−Ｙｅｓ）、表示候補領域の抽出を行う（ステップＳ１３０５）。抽出部５は、指先が文書投影面に対して押下されたことを検出しない場合（ステップＳ１３０４−Ｎｏ）は、画像処理を終了するか、前時刻において重畳画像を投影している場合は、そのまま投影を継続する。

算出部４は、表示候補領域の平坦度情報や利用可能度を上述の（数２）ないし（数５）を用いて算出する。算出部４が算出する利用可能度のデータ構造は、例えば、図１０に示すテーブル１００となる。

規定部６は、重畳画像の表示位置の規定を実施する（ステップＳ１３０７）。規定部８は、図１０のテーブル１００に示される利用可能度や、上述の（数５）から算出される平坦度情報に基づいて重畳画像の表示位置を規定（複数の表示候補領域から一つの領域を規定）する。規定部６は、重畳画像の表示位置を投影部７に出力する。

投影部７は、重畳画像を第１対象物の投影面に対して規定部６が規定する位置に投影する（ステップＳ１３０８）ことで、画像処理装置１は、図１３に示す画像処理を終了する。

（実施例２）
実施例１では複数の撮像素子２（ステレオカメラ）を用いた画像処理装置１の構成で実施例を説明したが、ステレオカメラの代わりにカメラ１台と深度センサー１台を用いる場合でも、本発明の実施は可能である為、実施例２において説明する。実施例２における画像処理装置１画像処理装置１のハードウェア構成図は、図２に示すハードウェア構成図の２つの撮像素子２の何れかを深度センサーに置換すれば実現可能の為、図示は省略する。深度センサーには、レーザー光の往復時間から深度を計測するＴＯＦ形式や、特定のパターンのレーザー光線を対象に照射した際の光のパターンの歪みを計測するパターン照射方式などがあり、実施例２では何れの方式を採用することが出来る。なお、撮像素子２と深度センサーは文書投影面の上方部に、鉛直下向きの方向で設置される。撮像素子２の内部パラメータは実施例１と同様に既知であり、深度センサーと撮像素子２の光軸は平行であり、画像中の横軸が同一直線状になるように配置される。なお、実施例２における画像処理装置１の機能ブロック図は図１と同様である。

実施例２においては、深度センサーを用いることで手領域輪郭と深度を算出することが出来る。算出部４は、距離画像と称される、深度センサーから取得されるデータを用いる。なお、距離画像は通常の二次元画像の色や濃淡の値の代わりに、深度センサーから対象物までの距離の値を持った画像である。実施例２では、画像処理の開始以前に学習過程が必要となる。当該学習過程では、例えば、図１の記憶部８に、図示しないデータベースに手の距離画像に関するテンプレートを多数記憶する。次に、それぞれの距離画像から、ユーザが手動で手領域の切り出しと指先座標の指定を実施する。手輪郭領域は一定の大きさに正規化され、記憶部８に保存される。実施例２においては、画像処理装置１は、一定のテンプレートが得られるまで上述の学習処理を繰り返す。

実施例２において、画像処理の開始後は、算出部４は、深度センサーから、現時刻における距離画像を取得する。その後、任意の倍率を有する窓を用いて距離画像を走査する。それぞれの窓では、窓中の距離画像と全てのテンプレートの間の類似度を計算し、最も類似度の高いテンプレートを選択するというテンプレートマッチングを行うことが出来る。なお、類似度の算出の一例として、ＳＳＤ（ＳｕｍｏｆＳｑｕａｒｅｄＤｉｆｆｅｒｅｎｃｅ）や、ＮＣＣ（ＮｏｒｍａｌｉｚｅｄＣｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）などが用いることが出来る。算出部４は、テンプレートマッチングによる最適なテンプレートの選択後、最適なテンプレート内に保持されている手指の位置情報を取得し、現在の距離画像で手指位置に対応する深度の値を取得する。当該処理で取得されるデータ構造は、図４（ｂ）に示すテーブル４１と同一となる。その他の処理は実施例１と同様の為、詳細な説明は省略する。

（実施例３）
図１４は、一つの実施形態による画像処理装置１として機能するコンピュータのハードウェア構成図である。図１４に示すように、画像処理装置１は、制御部９、主記憶部１０、補助記憶部１１、ドライブ装置１２、ネットワークＩ／Ｆ部１４、入力部１５、表示部１６を含む。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。

制御部９は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵである。また、制御部９は、主記憶部１０や補助記憶部１１に記憶されたプログラムを実行する演算装置であり、入力部１５や記憶装置からデータを受け取り、演算、加工した上で、表示部１６や記憶装置などに出力する。

主記憶部１０は、ＲＯＭやＲＡＭなどであり、制御部９が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶または一時保存する記憶装置である。

補助記憶部１１は、ＨＤＤなどであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

ドライブ装置１２は、記録媒体１３、例えばフレキシブルディスクからプログラムを読み出し、補助記憶部１１にインストールする。また、記録媒体１３に、所定のプログラムを格納し、この記録媒体１３に格納されたプログラムはドライブ装置１２を介して画像処理装置１にインストールされる。インストールされた所定のプログラムは、画像処理装置１により実行可能となる。

ネットワークＩ／Ｆ部１４は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、ＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）などのネットワークを介して接続された通信機能を有する周辺機器と画像処理装置１とのインターフェースである。

入力部１５は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部１６の表示画面上でキーの選択等を行うためのマウスやスライスパット等を有する。また、入力部１５は、ユーザが制御部９に操作指示を与えたり、データを入力したりするためのユーザインタフェースである。

表示部１６は、ＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）やＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）等により構成され、制御部９から入力される表示データに応じた表示が行われる。また、表示部１６として、図１に示す投影部７を適用することが可能である。

なお、上述した画像処理方法は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、上述した画像処理方法を実現することが出来る。

また、このプログラムを記録媒体１３に記録し、このプログラムが記録された記録媒体１３をコンピュータや携帯端末に読み取らせて、前述した画像処理を実現させることも可能である。なお、記録媒体１３は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることが出来る。

また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが出来る。また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することが出来る。

以上、説明した実施形態に関し、更に以下の付記を開示する。
（付記１）
撮像素子が撮像する第１対象物を含む画像を取得する取得部と、
付加情報を含む重畳画像が前記第１対象物に対して重畳表示される、前記第１対象物の投影面の平坦度に関する平坦度情報を前記画像から算出する算出部と、
前記平坦度情報に基づいて、前記重畳画像の表示位置を規定する規定部と、
を備えることを特徴とする画像処理装置。
（付記２）
前記第１対象物に対して所定の特徴量数に基づく表示候補領域を抽出する抽出部を更に備え、
前記規定部は、前記平坦度情報度と前記表示候補領域に基づいて、前記付加情報の表示位置を規定することを特徴とする付記１記載の画像処理装置。
（付記３）
前記取得部が取得する画像は、前記撮像素子が撮像する第２対象物を更に含み、
前記算出部は、前記画像から前記第１対象物の３次元直交座標と、前記第２対象物の３次元直交座標とを算出し、
前記規定部は、前記第１対象物の前記投影面の３次元直交座標から規定される前記平坦度情報と、前記第２対象物の３次元直交座標と、前記表示候補領域とに基づいて、前記表示位置となる平面直交座標を規定する
ことを特徴とする付記２記載の画像処理装置。
（付記４）
前記算出部は、前記第２対象物となるユーザの指先の３次元直交座標を、複数の前記画像に含まれる前記指先の座標と、前記３次元直交座標の基準点に基づいて算出することを特徴とする付記３記載の画像処理装置。
（付記５）
前記重畳画像を前記第１対象物に投影する投影部を更に備え、
前記算出部は、前記第１対象物となる文字または図形を含む、前記投影面の３次元直交座標を、複数の前記画像に含まれる重畳画像の画素の変化量に基づいて算出することを特徴とする付記１ないし付記４いずれか一つに記載の画像処理装置。
（付記６）
前記規定部は、前記第１対象物の前記投影面の３次元直交座標から規定される、複数の前記表示候補領域の前記基準点に対する分散に基づいて、前記平面直交座標を規定することを特徴とする付記３ないし付記５いずれか一つに記載の画像処理装置。
（付記７）
前記規定部は、複数の前記表示候補領域のうち、前記分散が第１閾値以下の前記表示候補領域を選択して、前記平面直交座標を規定することを特徴とする付記６に記載の画像処理装置。
（付記８）
前記規定部は、前記投影部と前記第２対象物の相対位置に基づいて、前記重畳画像の平面直交座標を規定することを特徴とする付記５記載の画像処理装置。
（付記９）
撮像素子が撮像する第１対象物を含む画像を取得し、
付加情報を含む重畳画像が前記第１対象物に対して重畳表示される、前記第１対象物の投影面の平坦度に関する平坦度情報を前記画像から算出し、
前記平坦度情報に基づいて、前記重畳画像の表示位置を規定する
ことを含むことを特徴とする画像処理方法。
（付記１０）
前記第１対象物に対して所定の特徴量数に基づく表示候補領域を抽出し、
前記規定することは、前記平坦度情報度と前記表示候補領域に基づいて、前記付加情報の表示位置を規定することを特徴とする付記９記載の画像処理方法。
（付記１１）
前記取得することが取得する画像は、前記撮像素子が撮像する第２対象物を更に含み、
前記算出することは、前記画像から前記第１対象物の３次元直交座標と、前記第２対象物の３次元直交座標とを算出し、
前記規定することは、前記第１対象物の前記投影面の３次元直交座標から規定される前記平坦度情報と、前記第２対象物の３次元直交座標と、前記表示候補領域とに基づいて、前記表示位置となる平面直交座標を規定する
ことを特徴とする付記１０記載の画像処理方法。
（付記１２）
前記算出することは、前記第２対象物となるユーザの指先の３次元直交座標を、複数の前記画像に含まれる前記指先の座標と、前記３次元直交座標の基準点に基づいて算出することを特徴とする付記１１記載の画像処理方法。
（付記１３）
前記重畳画像を前記第１対象物に投影し、
前記算出することは、前記第１対象物となる文字または図形を含む、前記投影面の３次元直交座標を、複数の前記画像に含まれる重畳画像の画素の変化量に基づいて算出することを特徴とする付記９ないし付記１２いずれか一つに記載の画像処理方法。
（付記１４）
前記規定することは、前記第１対象物の前記投影面の３次元直交座標から規定される、複数の前記表示候補領域の前記基準点に対する分散に基づいて、前記平面直交座標を規定することを特徴とする付記１１ないし付記１３いずれか一つに記載の画像処理方法。
（付記１５）
前記規定することは、複数の前記表示候補領域のうち、前記分散が第１閾値以下の前記表示候補領域を選択して、前記平面直交座標を規定することを特徴とする付記１４に記載の画像処理方法。
（付記１６）
前記規定することは、前記投影部と前記第２対象物の相対位置に基づいて、前記重畳画像の平面直交座標を規定することを特徴とする付記１３記載の画像処理方法。
（付記１７）
コンピュータに、
撮像素子が撮像する第１対象物を含む画像を取得し、
付加情報を含む重畳画像が前記第１対象物に対して重畳表示される、前記第１対象物の投影面の平坦度に関する平坦度情報を前記画像から算出し、
前記平坦度情報に基づいて、前記重畳画像の表示位置を規定する
ことを実行させることを特徴とする画像処理プログラム。

１画像処理装置
２撮像素子
３取得部
４算出部
５抽出部
６規定部
７投影部
８記憶部

Claims

撮像された画像を取得する取得部と、
取得した前記画像に含まれ、付加情報を含む重畳画像が重畳表示される第１対象物の投影面の平坦度に関する平坦度情報を前記画像に基づいて算出する算出部と、
前記平坦度情報が所定の基準よりも平坦であることを示す位置に、前記重畳画像の表示位置を規定する規定部と、
を備えることを特徴とする画像処理装置。
前記第１対象物に対して所定の特徴量数に基づく表示候補領域を抽出する抽出部を更に備え、
前記規定部は、前記平坦度情報と前記表示候補領域に基づいて、前記付加情報の表示位置を規定することを特徴とする請求項１記載の画像処理装置。
前記取得部が取得する画像は第２対象物を更に含み、
前記算出部は、前記画像から前記第１対象物の３次元直交座標と、前記第２対象物の３次元直交座標とを算出して、算出した前記第１対象物の３次元直交座標に基づいて前記平坦度情報を算出し、
前記規定部は、前記平坦度情報と、前記第２対象物の３次元直交座標と、前記表示候補領域とに基づいて、前記表示位置に対応する平面直交座標を規定する
ことを特徴とする請求項２記載の画像処理装置。
前記算出部は、前記第２対象物となるユーザの指先の３次元直交座標を、複数の前記画像に含まれる前記指先の座標と、前記３次元直交座標の基準点に基づいて算出することを特徴とする請求項３記載の画像処理装置。
前記重畳画像を前記第１対象物に投影する投影部を更に備え、
前記算出部は、前記第１対象物となる文字または図形を含む、前記投影面の３次元直交座標を、複数の前記画像に含まれる重畳画像の画素の変化量に基づいて算出することを特徴とする請求項１ないし請求項４いずれか一項に記載の画像処理装置。
前記規定部は、前記第１対象物の前記投影面の３次元直交座標から規定される、複数の前記表示候補領域の前記基準点に対する分散に基づいて、前記平面直交座標を規定することを特徴とする請求項４記載の画像処理装置。
前記規定部は、複数の前記表示候補領域のうち、前記分散が第１閾値以下の前記表示候補領域を選択して、前記平面直交座標を規定することを特徴とする請求項６に記載の画像処理装置。
前記重畳画像を前記第１対象物に投影する投影部を更に備え、
前記算出部は、前記第１対象物となる文字または図形を含む、前記投影面の３次元直交座標を、複数の前記画像に含まれる重畳画像の画素の変化量に基づいて算出し、
前記規定部は、前記投影部と前記第２対象物の相対位置に基づいて、前記重畳画像の平面直交座標を規定することを特徴とする請求項３記載の画像処理装置。
コンピュータが、
撮像された画像を取得し、
取得した前記画像に含まれ、付加情報を含む重畳画像が重畳表示される第１対象物の投影面の平坦度に関する平坦度情報を前記画像に基づいて算出し、
前記平坦度情報が所定の基準よりも平坦であることを示す位置に、前記重畳画像の表示位置を規定する
ことを含むことを特徴とする画像処理方法。
コンピュータに、
撮像された画像を取得し、
取得した前記画像に含まれ、付加情報を含む重畳画像が重畳表示される第１対象物の投影面の平坦度に関する平坦度情報を前記画像に基づいて算出し、
前記平坦度情報が所定の基準よりも平坦であることを示す位置に、前記重畳画像の表示位置を規定する
ことを実行させることを特徴とする画像処理プログラム。