JP6600113B1 - Ａｒ用の画像処理装置、画像処理システム及びプログラム - Google Patents

Abstract

【課題】ＡＲにおいて、オブジェクトを精度良く表示させる。【解決手段】画像処理装置は、オブジェクトを表示させる位置となる目印を示す目印画像を入力する目印画像入力部と、複数の時点で撮像して複数の入力画像を生成する撮像部と、それぞれの前記入力画像に対してフィルタ処理を行って第１画像を生成するフィルタ部と、前記第１画像における前記目印の特徴点を抽出する抽出部と、前記時点の変化に対して、前記特徴点を追跡する追跡部と、前記第１画像から、前記目印を含む範囲を切り出して第２画像を生成する切出部と、前記第２画像及び前記目印画像に基づいて、変換行列を生成する変換行列生成部と、前記変換行列に基づいて、前記入力画像に前記オブジェクトを合成して表示する表示部とを含む。【選択図】図３

Description

本発明は、ＡＲ用の画像処理装置、画像処理システム及びプログラムに関する。

ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、拡張現実）の技術により、撮像した画像等に、あらかじめ用意するオブジェクトを合成して表示する方法が知られている。

例えば、情報処理装置が、ＡＲにより、現実空間を示す画像に対して仮想オブジェクトを適切に重畳して表示する方法等が知られている。この方法では、まず、情報処理装置は、入力画像を意味的な領域に分割する。次に、情報処理装置は、直前のフレームの入力画像及び現在のフレームの入力画像に対してオプティカルフロー（Ｏｐｔｉｃａｌ Ｆｌｏｗ）を行う。このように、オプティカルフローを用いることで、情報処理装置は、実オブジェクトの次の移動を予測する。そして、情報処理装置は、仮想オブジェクトの表示領域を中心とする位置マップを作成する。次に、情報処理装置は、仮想オブジェクトの表示領域における表示領域内のスコアを重要度マップ等に基づいて総和計算する。このようにして、情報処理装置は、仮想オブジェクトを表示する位置を決定する。以上のような処理を行うことで、情報処理装置は、実オブジェクトの時間変化も考慮して仮想オブジェクトをより適切に表示させる。このような方法等が知られている（例えば、特許文献１等を参照）。

特開２０１６−９５５７９号公報

しかし、従来技術による方法では、オブジェクトを精度良く表示させるのが難しい場合がある。具体的には、ＡＲでは、画像処理装置は、あらかじめオブジェクトを表示させる目印となる文字、図形、記号、立体的形状、色彩又はこれらの組み合わせ（以下単に「目印」という。）に対して、オブジェクトを合成して表示する。すなわち、画像処理装置は、目印を示す画像をあらかじめ入力すること等で目印を認識し、目印を認識した位置等に基づいてオブジェクトを合成して表示する。これに対して、従来技術による方法では、目印に対して、オブジェクトが精度良く表示されない場合がある。

本発明は、上記課題に鑑み、ＡＲにおいて、オブジェクトを精度良く表示させる画像処理装置、画像処理システム及びプログラム等を提供することを目的とする。

上記課題に鑑み、本発明の一実施形態に係る画像処理装置等は、
オブジェクトを表示させる位置となる目印を示す目印画像を入力する目印画像入力部と、
複数の時点で撮像して複数の入力画像を生成する撮像部と、
それぞれの前記入力画像に対してフィルタ処理を行って第１画像を生成するフィルタ部と、
前記第１画像における前記目印の特徴点を抽出する抽出部と、
前記時点の変化に対して、前記特徴点を追跡する追跡部と、
前記第１画像から、前記目印を含む範囲を切り出して第２画像を生成する切出部と、
前記第２画像及び前記目印画像に基づいて、変換行列を生成する変換行列生成部と、
前記変換行列に基づいて、前記入力画像に前記オブジェクトを合成して表示する表示部と
を含み、
前記変換行列に基づいて、前記第２画像を変換して変換画像を生成し、
前記目印画像と前記変換画像を比較して前記変換画像に前記目印があると判断すると、前記表示部は、前記オブジェクト及び前記目印の両方を前記変換行列の逆行列でそれぞれ変換して合成する。

ＡＲにおいて、オブジェクトを精度良く表示させる画像処理装置、画像処理システム及びプログラム等を提供できる。

画像処理装置の使用例を示す概要図である。 画像処理装置のハードウェア構成例を示すブロック図である。 画像処理装置が行う画像処理方法の例を示すフローチャートである。 画像処理方法の処理結果例を示す図である。 フィルタの例を示す図である。 フィルタ処理の第１変形例を示す図である。 フィルタ処理の第２変形例を示す図である。 特徴点の抽出例を示す図である。 特徴点の追跡例を示す図である。 切り出し例を示す図である。 変換行列を生成する処理例を示す図である。 目印画像と変換画像の比較例及び比較結果の例を示す図である。 出力画像の生成例を示す図である。 画像処理装置の機能構成例を示す機能ブロック図である。

以下、添付する図面を参照しながら、本発明の一実施形態に係る具体例を説明する。なお、図面では、同一の構成には同一の符号を付し、重複する説明を省略する。

＜全体構成例＞
図１は、画像処理装置の使用例を示す概要図である。以下、図示するように、画像処理装置がスマートフォン１０である場合の例で説明する。スマートフォン１０のハードウェア構成等は後述する。

この例のように、ユーザＵＲは、スマートフォン１０を使用してＡＲ表示となる出力画像ＩＭＧＶを画面上等に表示させる。一方で、ユーザＵＲは、スマートフォン１０が有する撮像装置を用いて、被写体１１等を撮像する。なお、撮像は、シャッタを切る操作による静止画の形式でもよいし、連続して撮像する動画の形式でもよい。

以下、図示するようにスマートフォン１０で目印を有する被写体１１を撮像する場合を例に説明する。

＜画像処理装置のハードウェア構成例＞
図２は、画像処理装置のハードウェア構成例を示すブロック図である。例えば、画像処理装置は、図示するように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、以下「ＣＰＵ１０ＨＷ１」という。）、記憶装置１０ＨＷ２、インタフェース１０ＨＷ３、入出力装置１０ＨＷ４、通信装置１０ＨＷ５及び撮像装置１０ＨＷ６等を含むハードウェア構成である。

ＣＰＵ１０ＨＷ１は、演算装置及び制御装置の例である。すなわち、ＣＰＵ１０ＨＷ１は、プログラム等に基づいて、処理を実行するため、演算又はハードウェア資源の制御等を行う。

記憶装置１０ＨＷ２は、主記憶装置及び補助記憶装置等の例である。

インタフェース１０ＨＷ３は、有線又は無線によって、外部装置又は記録媒体等と接続する。

入出力装置１０ＨＷ４は、例えば、タッチパネル等である。すなわち、入出力装置１０ＨＷ４は、ユーザＵＲより操作を受け付ける入力装置である。また、入出力装置１０ＨＷ４は、画像又は処理結果等を出力する出力装置である。

通信装置１０ＨＷ５は、有線又は無線等により、ネットワークを介して外部装置とデータを送受信する装置である。例えば、通信装置１０ＨＷ５は、アンテナ及び電子回路等である。

撮像装置１０ＨＷ６は、例えば、光センサ及び光学部品等である。したがって、撮像装置１０ＨＷ６は、ユーザＵＲの操作等に基づいて撮像を行い、画像を生成する。

なお、ハードウェア構成は、図示するハードウェア構成に限られない。例えば、画像処理装置は、演算装置、制御装置、記憶装置、入力装置及び出力装置といった他のハードウェア資源を更に有する構成でもよい。一方で、撮像装置及び入出力装置等は、外部装置等でもよい。

また、画像処理装置は、他の種類の情報処理装置でもよい。例えば、画像処理装置は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット、又は、ＰＣとカメラの組み合わせ等といった情報処理装置でもよい。

＜画像処理方法の例＞
図３は、画像処理装置が行う画像処理方法の例を示すフローチャートである。

＜オブジェクト画像の入力例＞（ステップＳ１）
当該ステップでは、画像処理装置は、オブジェクト画像を入力する。以下、オブジェクトを示す画像を「オブジェクト画像ＩＭＧＯ」という。

オブジェクト画像ＩＭＧＯは、出力の際に、合成して表示するオブジェクトを示す画像である。オブジェクトは、例えば、３Ｄ画像、文字、図形、記号、立体的形状、色彩又はこれらの組み合わせ等である。すなわち、オブジェクトは、画像処理装置に画像で入力できる物体等であればよい。また、オブジェクトは、仮想的に表示させる物体等であるため、実在する必要はなく、ＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）又はグラフィックツール等の描画ソフトウェアで生成された仮想的な物体等でもよい。

また、オブジェクト画像ＩＭＧＯは、例えば、画像ファイル等の形式で入力される。例えば、オブジェクト画像ＩＭＧＯは、オブジェクトを撮像する、又は、オブジェクトを描画ソフトウェアで生成する等によって生成される。

＜目印画像の入力例＞（ステップＳ２）
当該ステップでは、画像処理装置は、目印画像を入力する。以下、目印を示す画像を「目印画像ＩＭＧＴ」という。

目印画像ＩＭＧＴは、オブジェクトを合成する際に、オブジェクトを表示する位置、姿勢及び範囲等を決める指標となる画像である。目印は、例えば、３Ｄ画像、文字、図形、記号、立体的形状、色彩又はこれらの組み合わせ等である。すなわち、目印は、画像処理装置に画像で入力できる物体等であればよい。また、目印は、画像において位置等が把握できれば良いため、実在する必要はなく、ＣＡＤ又はグラフィックツール等の描画ソフトウェアで生成された仮想的な物体等でもよい。

すなわち、目印は、いわゆるマーカと呼ばれる絵柄等である。

また、目印画像ＩＭＧＴは、例えば、画像ファイル等の形式で入力される。例えば、目印画像ＩＭＧＴは、目印が描かれた物体を撮像する、又は、目印を描画ソフトウェアで生成する等によって生成される。

＜撮像例＞（ステップＳ３）
当該ステップでは、画像処理装置は、撮像により画像を生成する。以下、撮像によって生成される画像を「入力画像ＩＭＧＩ」という。また、入力画像ＩＭＧＩは、画像処理装置が複数回、シャッタを切ることで、複数のフレームであるとする。以下、複数生成される入力画像ＩＭＧＩのうち、最近のフレームを「現フレーム」という場合がある。そして、現フレームより以前となるフレームを「前フレーム」という場合がある。以下の説明では、フレームレートが約１５ｆｐｓ（フレーム毎秒）乃至６０ｆｐｓ程度であるとする。そして、以下の例では「前フレーム」及び「現フレーム」が連続したフレームである場合を例に説明する。

なお、撮像は、フリッカー（Ｆｌｉｃｋｅｒ）対策として、照明が点灯する周波数の倍率からずれたフレームレートであるのが望ましい。具体的には、１５ｆｐｓ、３０ｆｐｓ又は６０ｆｐｓ等のフレームレートであると、６０Ｈｚ（ヘルツ）等の周波数と同期して撮像される可能性である。したがって、フレームレートは、０．１ｆｐｓ乃至０．５ｆｐｓ程度ずらした値に設定されるのが望ましい。

＜フィルタ処理例＞（ステップＳ４）
当該ステップでは、画像処理装置は、入力画像に対してフィルタ処理を行う。フィルタ処理の詳細及び変形例等は後述する。

以下、入力画像ＩＭＧＩに対してフィルタ処理を行うと生成される画像を「第１画像ＩＭＧ１」という。

＜特徴点の抽出例＞（ステップＳ５）
当該ステップでは、画像処理装置は、第１画像ＩＭＧ１に対して、特徴点を抽出する処理を行う。特徴点を抽出する処理の詳細は後述する。

以下、特徴点を抽出する処理によって、第１画像ＩＭＧ１から抽出される特徴点を「特徴点ＰＳ」という。なお、特徴点ＰＳは、１フレームの第１画像ＩＭＧ１から複数抽出されてもよい。

したがって、特徴点の抽出には、一般化ハフ変換等が用いられてもよい。つまり、特徴点は、点（すなわち、１画素分となる。）の単位でなく、円又は線のような複数の特徴点を集めた単位で抽出されてもよい。このような単位で抽出されると、画像処理装置は、より精度よく特徴点を抽出できる。

＜特徴点の追跡例＞（ステップＳ６）
当該ステップでは、画像処理装置は、抽出された特徴点を追跡する。特徴点を追跡する処理の詳細は後述する。以下、前フレームの第１画像（以下単に「前フレーム画像ＩＭＧ１１」という。）、及び、現フレームの第１画像（以下単に「現フレーム画像ＩＭＧ１２」という。）に同一の特徴点ＰＳがある場合を例に説明する。

＜目印を含む範囲の切り出し例＞（ステップＳ７）
当該ステップでは、画像処理装置は、目印を含む範囲を切り出して画像を生成する。以下、切り出して生成する画像を「第２画像ＩＭＧ２」という。切り出しの詳細は後述する。

＜第２画像及び目印画像に基づく変換行列の生成例＞（ステップＳ８）
当該ステップでは、画像処理装置は、第２画像及び目印画像に基づいて、変換行列を生成する。変換行列の具体例及び変換行列を生成する処理の詳細は後述する。

＜変換行列に基づく第２画像の変換例＞（ステップＳ９）
当該ステップでは、画像処理装置は、変換行列に基づいて、第２画像を変換する。以下、変換行列に基づく変換によって生成される画像を「変換画像ＩＭＧＣ」という。変換の詳細は後述する。

＜目印画像と変換画像の比較例＞（ステップＳ１０）
当該ステップでは、画像処理装置は、目印画像と変換画像を比較する。目印画像と変換画像を比較する処理の詳細は後述する。

＜目印があるか否かの判断例＞（ステップＳ１１）
当該ステップでは、画像処理装置は、目印画像及び変換画像の比較結果に基づいて、目印があるか否かを判断する。

そして、目印が画像内にあると判断すると（ステップＳ１１でＹＥＳに相当する。）、画像処理装置は、ステップＳ１２に進む。一方で、目印が画像内にないと判断すると（ステップＳ１１でＮＯに相当する。）、画像処理装置は、ステップＳ３に進む。

＜入力画像の目印の箇所へオブジェクトを合成して表示する例＞（ステップＳ１２）
当該ステップでは、画像処理装置は、入力画像の目印の箇所へオブジェクトを合成して表示する。以下、オブジェクトを合成した結果を示す画像、すなわち、出力される画像を「出力画像ＩＭＧＶ」という。出力画像ＩＭＧＶ及び合成等の具体例は詳細を後述する。

＜終了するか否かの判断例＞（ステップＳ１３）
当該ステップでは、画像処理装置は、終了するか否かを判断する。すなわち、画像処理装置は、設定又はスイッチ等に基づいて、次のフレームに進むか否かを判断する。

次に、終了すると判断すると（ステップＳ１３でＹＥＳに相当する。）、画像処理装置は、図示する画像処理方法を終了する。一方で、終了しないと判断すると（ステップＳ１３でＮＯに相当する。）、画像処理装置は、ステップＳ３に進む。

なお、図示する処理における各ステップは、連続して行われなくともよい。例えば、オブジェクト画像の入力及び目印画像の入力等は、一度行われ、画像が保存された場合には、以降に使い回されてもよい。すなわち、ステップＳ１及びステップＳ２等は、省略されてもよい。

また、画像処理方法は、図示する処理の順序に限られない。例えば、ステップＳ１及びステップＳ２は、並行、又は、図示する順序とは逆の順序等でもよい。

＜画像処理方法の処理結果例＞
図４は、画像処理方法の処理結果例を示す図である。図３に示す画像処理方法が行われると、例えば、図示するような処理結果となる。

出力画像ＩＭＧＶは、図示するように、入力画像ＩＭＧＩにおいて、目印がある箇所へオブジェクトを合成するようにして生成される。

まず、入力画像ＩＭＧＩに、第１被写体ＴＧ１、第２被写体ＴＧ２及び第３被写体ＴＧ３２という３つの被写体が写る場合の例とする。

また、この例では、ステップＳ１及びステップＳ２により、図示するような目印画像ＩＭＧＴ及びオブジェクト画像ＩＭＧＯが、画像処理装置にあらかじめ入力されるとする。すなわち、この例は、目印画像ＩＭＧＴが示す目印ＴＧ３１がある箇所へオブジェクト画像ＩＭＧＯが示すオブジェクトＴＧ４１を合成させて表示する設定となる。

入力画像ＩＭＧＩには、図示するように、オブジェクトＴＧ４１は、被写体としては存在しない。そこで、目印ＴＧ３１を認識した上で、画像処理装置は、ＡＲによりオブジェクトＴＧ４１を合成する。このようにすると、出力画像ＩＭＧＶ上では、画像処理装置は、オブジェクトＴＧ４１を表示できる。

具体的には、図示するような入力画像ＩＭＧＩ及び目印画像ＩＭＧＴである場合には、画像処理装置は、ステップＳ４乃至ステップＳ１０等を行うと、入力画像ＩＭＧＩに、目印が含まれていることを認識できる（ステップＳ１１でＹＥＳに相当する）。そのため、認識した目印ＴＧ３１を示す第３被写体ＴＧ３２に合わせて、画像処理装置は、オブジェクトＴＧ４１を合成できる（ステップＳ１２）。

図示するように、画像処理装置は、目印ＴＧ３１を精度良く認識できるため、入力画像ＩＭＧＩに、第１被写体ＴＧ１及び第２被写体ＴＧ２等の目印となる以外の物体等があっても、第３被写体ＴＧ３２のある箇所にオブジェクトＴＧ４１を合成できる。

また、図示する例は、目印ＴＧ３１と第３被写体ＴＧ３２の姿勢及び大きさが異なる例である。具体的には、第３被写体ＴＧ３２は、入力画像ＩＭＧＩにおいて、目印画像ＩＭＧＴが示す目印ＴＧ３１より大きく写っている。さらに、第３被写体ＴＧ３２は、目印画像ＩＭＧＴが示す目印ＴＧ３１に対して、いわゆるＰｉｔｃｈ角（図において、横方向を軸とした回転方向である。）がある姿勢で写っている。

このように、目印画像ＩＭＧＴに対して、いわゆるパースがある状態であっても、画像処理装置は、目印ＴＧ３１を精度良く認識できる。

また、第３被写体ＴＧ３２の姿勢及び大きさ等を認識できるため、図示するように、画像処理装置は、第３被写体ＴＧ３２の姿勢及び大きさに合わせて、オブジェクトＴＧ４１を変換して、変換オブジェクトＴＧ４２を表示させることができる。

＜各手順の詳細＞
画像処理方法における各手順は、例えば、以下のような処理である。

＜フィルタ処理及びフィルタ処理で用いられるフィルタの例＞
図５は、フィルタの例を示す図である。上記の画像処理方法におけるステップＳ４では、例えば、図示するようなフィルタを用いる。

図示する例は、フィルタを３×３とする例である。フィルタの各マスには、例えば、それぞれの画素値に対して乗じる乗数が、図示するような値で設定される。具体的には、画像処理装置は、入力画像が有するそれぞれの画素値に対して、中心となる画素（図では、「４１」の乗数が設定される位置にある画素となる。）の画素値を「４１」の乗数を乗じる計算を行う。同様に、画像処理装置は、中心となる画素の上下左右に隣接する画素（図では、「−１０」の乗数が設定される位置にある画素となる。）の画素値を「−１０」の乗数を乗じる計算を行う。そして、画像処理装置は、このように計算される計算結果を総和する。このような処理を画像におけるすべての画素に対して行う、すなわち、いわゆるラスタスキャンのように行うと、画像処理装置は、いわゆるシャープネスの効果を得た第１画像を生成できる。

なお、フィルタは、図示するような種類に限られない。例えば、乗数は、図示する以外の値が用いられてもよい。すなわち、乗数の値を図示する値から変更することで、シャープネスの強度が調整されてもよい。さらに、フィルタ処理は、複数回行われてもよい。すなわち、より強調する場合等には、シャープネス用のフィルタ等を用いて、フィルタ処理が２回以上行われてもよい。

また、フィルタは、３×３のサイズに限られず、５×５以上の大きいサイズのフィルタでもよい。

＜フィルタ処理の第１変形例＞
図６は、フィルタ処理の第１変形例を示す図である。上記の画像処理方法におけるステップＳ４は、例えば、図示する処理でもよい。図示するように、第１変形例では、ステップＳ４のフィルタ処理を第１フィルタ処理及び第２フィルタ処理の２段階とする。

＜第１フィルタ処理＞（ステップＳ４１）
当該ステップでは、画像処理装置は、ノイズを減らすためのフィルタ処理を行う。具体的には、画像処理装置は、例えば、メディアンフィルタ等を用いて第１フィルタ処理を行う。なお、フィルタは、ノイズを減らすフィルタであればよい。したがって、フィルタは、ローパスフィルタ等でもよい。

撮像によって生成される入力画像ＩＭＧＩには、ノイズとなる成分が入っている場合が多い。パターンマッチング等の処理では、このようなノイズとなる画素があると、ノイズの画素がマッチングされる等の現象が起きやすい。そのため、マッチング精度が悪くなる等の原因となる。そこで、ノイズを減らすフィルタを用いるフィルタ処理を行うと、フィルタ処理より後段の処理では、パターンマッチング等の認識精度を向上させることができる。

以下、入力画像ＩＭＧＩに対して第１フィルタ処理を行うことで生成される画像を「第３画像ＩＭＧ３」という。

＜第２フィルタ処理＞（ステップＳ４２）
当該処理では、画像処理装置は、ＲＧＢ色空間におけるＧ成分を強調させるためのフィルタ処理を行う。まず、第１フィルタ処理によって、第３画像ＩＭＧ３が生成されると、第３画像ＩＭＧ３は、ＲＧＢ色空間において、Ｒ成分（赤色の成分となる。）、Ｇ成分（緑色の成分となる。）、及び、Ｂ成分（青色の成分となる。）の３つのプレーンに分けることができる。

以下、第３画像ＩＭＧ３のＲ成分を示すプレーンを「Ｒ成分ＩＭＧ３Ｒ」という。同様に、第３画像ＩＭＧ３のＧ成分を示すプレーンを「Ｇ成分ＩＭＧ３Ｇ」という。さらに、第３画像ＩＭＧ３のＢ成分を示すプレーンを「Ｂ成分ＩＭＧ３Ｂ」という。なお、Ｒ成分ＩＭＧ３Ｒ、Ｇ成分ＩＭＧ３Ｇ及びＢ成分ＩＭＧ３Ｂは、例えば、画像と同様のデータ形式等である。したがって、Ｒ成分ＩＭＧ３Ｒ、Ｇ成分ＩＭＧ３Ｇ及びＢ成分ＩＭＧ３Ｂに対しては、他の画像と同様の方法でフィルタ処理等が可能である。

第２フィルタ処理は、Ｒ成分ＩＭＧ３Ｒ、Ｇ成分ＩＭＧ３Ｇ及びＢ成分ＩＭＧ３Ｂのうち、Ｇ成分ＩＭＧ３Ｇに対して行われるのが望ましい。

フィルタ処理（ステップＳ４）によって生成される第１画像ＩＭＧ１は、フィルタ処理より後段では、画像の比較、画像に写る被写体を認識する処理、特徴点の抽出及び追跡等の処理が行われる。このような処理では、エッジ成分又は輝度成分等を用いる場合が多い。輝度成分（以下「Ｙ成分」という。）は、ＲＧＢ成分からすると、例えば、下記（１）式又は下記（２）式のように計算される。

Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ （１）

Ｙ＝０．２１２６×Ｒ＋０．７１５２×Ｇ＋０．０７２２×Ｂ （２）

上記（１）式及び上記（２）式に示すように、Ｙ成分（上記（１）式及び上記（２）式における左辺「Ｙ」である。）は、ＲＧＢ成分からすると、Ｇ成分（上記（１）式及び上記（２）式における右辺「Ｇ」である。）の割合が５割乃至８割程度となる場合が多い。すなわち、Ｇ成分は、Ｙ成分に与える影響が大きい成分である。

そこで、第２フィルタ処理では、画像処理装置は、第１画像ＩＭＧ１において、Ｙ成分が際立つように、Ｇ成分ＩＭＧ３Ｇを強調するフィルタ処理を行う。例えば、画像処理装置は、Ｇ成分ＩＭＧ３Ｇに対してシャープネスフィルタ等を用いる処理を行う。このようにすると、画像処理装置は、Ｇ成分を強調した第１画像ＩＭＧ１を生成できる。

このように、Ｇ成分を強調した第１画像ＩＭＧ１又はＧ成分を強調した第１画像ＩＭＧ１に基づいて生成される画像に対して、画像の比較、画像に写る被写体を認識する処理、特徴点の抽出及び追跡等の処理が行われると、エッジ又は特徴点等がはっきりしているため、処理の精度を向上させることができる。

＜フィルタ処理の第２変形例＞
図７は、フィルタ処理の第２変形例を示す図である。上記の画像処理方法におけるステップＳ４は、例えば、図示する処理でもよい。第１変形例と比較すると、第２変形例は、第２フィルタ処理が、ＹＵＶ色空間で行われる点が異なる。以下、第１変形例と同一の構成には、同一の符号を付し、重複する説明を省略して異なる点を中心に説明する。

図示するように、第２変形例では、第３画像ＩＭＧ３は、ＹＵＶ色空間において、Ｙ成分（輝度の成分となる。）、Ｕ成分（Ｒ成分からＹ成分を除いた、いわゆるＣｒ成分となる。以下「Ｃｒ成分」という。）、及び、Ｖ成分（Ｂ成分からＹ成分を除いた、いわゆるＣｂ成分となる。以下「Ｃｂ成分」という。）の３つのプレーンに分けることができる。

したがって、入力画像ＩＭＧＩ等がＲＧＢ色空間のデータ形式である場合には、画像処理装置は、ＲＧＢのデータをＹＵＶのデータに変換する処理を行う。例えば、変換式は、ＰＡＬ（ｐｈａｓｅ ａｌｔｅｒｎａｔｉｎｇ ｌｉｎｅ）、ＳＥＣＡＭ（セカム）、ＩＴＵ−Ｒ ＢＴ．６０１、ＩＴＵ−Ｒ ＢＴ．７０９（１２５０／５０／２：１）、又は、ＩＴＵ−Ｒ ＢＴ．７０９（１１２５／６０／２：１）等で定められる変換式等が用いられる。

以下、第３画像ＩＭＧ３のＹ成分を示すプレーンを「Ｙ成分ＩＭＧ３Ｙ」という。同様に、第３画像ＩＭＧ３のＣｒ成分を示すプレーンを「Ｃｒ成分ＩＭＧ３ＣＲ」という。さらに、第３画像ＩＭＧ３のＣｂ成分を示すプレーンを「Ｃｂ成分ＩＭＧ３ＣＢ」という。なお、Ｙ成分ＩＭＧ３Ｙ、Ｃｒ成分ＩＭＧ３ＣＲ及びＣｂ成分ＩＭＧ３ＣＢは、例えば、画像と同様のデータ形式等である。したがって、Ｙ成分ＩＭＧ３Ｙ、Ｃｒ成分ＩＭＧ３ＣＲ及びＣｂ成分ＩＭＧ３ＣＢに対しては、他の画像と同様の方法でフィルタ処理等が可能である。

第２フィルタ処理は、Ｙ成分ＩＭＧ３Ｙ、Ｃｒ成分ＩＭＧ３ＣＲ及びＣｂ成分ＩＭＧ３ＣＢのうち、Ｙ成分ＩＭＧ３Ｙに対して行われるのが望ましい。

第１変形例と同様に、第２変形例のフィルタ処理（ステップＳ４）によって生成される第１画像ＩＭＧ１であっても、フィルタ処理より後段では、第１画像ＩＭＧ１に対して、画像の比較、画像に写る被写体を認識する処理、特徴点の抽出及び追跡等の処理が行われる。そのため、第１画像ＩＭＧ１は、Ｙ成分が強調されているのが望ましい。

そこで、図示するようなフィルタ処理を行うと、画像処理装置は、Ｙ成分を強調した第１画像ＩＭＧ１を生成できる。

このように、Ｙ成分を強調した第１画像ＩＭＧ１又はＹ成分を強調した第１画像ＩＭＧ１に基づいて生成される画像に対して、画像の比較、画像に写る被写体を認識する処理、特徴点の抽出及び追跡等の処理が行われると、エッジ又は特徴点等がはっきりしているため、処理の精度を向上させることができる。

また、ＹＵＶ４２２又はＹＵＶ４１１等のように、Ｕ成分、Ｖ成分又は両方の成分をＹ成分のデータより少なくしたデータ形式にすると、あまり画質を下げずに、データ容量を少なくできる。

そして、Ｕ成分及びＶ成分は、空間分解能が低い、すなわち、データがＹ成分より間引かれても、人の目における画質にはあまり影響しない場合が多い。そこで、Ｕ成分、Ｖ成分又は両方の成分に対して、画像処理装置は、更にローパスフィルタ等を用いる処理を行い、ノイズを減らす処理が行ってもよい。

なお、ＹＵＶ色空間は、ＹＣｂＣｒ色空間、ＹＰｂＰｒ色空間又はＬａｂ色空間等でもよい。すなわち、ＹＵＶの成分は、ＹＣｂＣｒ、ＹＰｂＰｒ又はＬａｂの成分であってもよい。

＜特徴点の抽出例＞
図８は、特徴点の抽出例を示す図である。上記の画像処理方法におけるステップＳ５は、例えば、図示するような処理である。

特徴点の抽出は、例えば、ＫＰＭ（Ｋｅｙ Ｐｏｉｎｔ Ｍａｔｃｈｉｎｇ）等で実現する。すなわち、あらかじめ入力される画像（以下「参照画像」という。）と同一のエッジ又は画素値等があると、画像処理装置は、特徴点として抽出する。そして、図示するように、第１画像ＩＭＧ１に対して、ＫＰＭ等の処理が行われると、特徴点ＰＳが抽出される。また、特徴点を抽出すると、画像処理装置は、以降の処理において、抽出されたそれぞれの特徴点ＰＳを認識できる。したがって、特徴点ＰＳを抽出すると、画像処理装置は、特徴点ＰＳの位置及び構成等に基づいて、目印等の第１画像ＩＭＧ１等に写る被写体を認識できる。そして、特徴点ＰＳの抽出結果により、以降の処理では、画像内に目印の有無又は目印の位置等を認識できる。

なお、特徴点の抽出は、ＡＫＡＺＥ（Ａｃｃｅｌｅｒａｔｅｄ ＫＡＺＥ Ｆｅａｔｕｒｅｓ）又はＯＲＢ（Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏｔａｔｅｄ ＢＲＩＥＦ）のアルゴリズムで抽出を行うのが望ましい。

ＡＫＡＺＥのアルゴリズムであると、画像処理装置は、低周波領域及び高周波領域等において、ＯＲＢ等より精度良く抽出ができる。

ＯＲＢのアルゴリズムであると、画像処理装置は、特徴点を抽出する処理の対象となる画像、すなわち、第１画像ＩＭＧ１が、参照画像に対して移動、回転、拡大縮小又はこれらの組み合わせがあっても、精度良く抽出ができる。すなわち、ＯＲＢのアルゴリズムを用いると、画像処理装置は、移動、回転又は拡大縮小等に対して高いロバスト性を確保できる。また、ＯＲＢのアルゴリズムであると、画像処理装置は、高速に処理できる。

なお、特徴点ＰＳは、上記以外の方法で抽出されてもよい。例えば、特徴点ＰＳは、エッジを抽出するフィルタ等で抽出されてもよい。

＜特徴点の追跡例＞
図９は、特徴点の追跡例を示す図である。上記の画像処理方法におけるステップＳ６は、例えば、図示するような処理である。

特徴点ＰＳの追跡は、例えば、オプティカルフロー等で実現する。以下、図示するように、第１画像が、前フレーム画像ＩＭＧ１１、現フレーム画像ＩＭＧ１２及び現フレームの次のフレーム画像（以下「次フレーム画像ＩＭＧ１３」という。）という順で撮像されたとする。

オプティカルフローを用いると、図示するように、特徴点ＰＳが前フレーム画像ＩＭＧ１１、現フレーム画像ＩＭＧ１２及び次フレーム画像ＩＭＧ１３の間でどのように移動しているかを追跡できる。したがって、目印の特徴点ＰＳを追跡すると、画像処理装置は、目印となる箇所を追跡できるため、精度良くオブジェクトを目印の位置に合成できる。

例えば、オプティカルフローは、Ｌｕｃａｓ−Ｋａｎａｄｅ法等で実現する。

なお、オプティカルフローの処理結果に基づいて、出力画像において、オブジェクトを出力するか否かが判断されてもよい。具体的には、オプティカルフローの処理結果に基づいて、目印の特徴点ＰＳを有する被写体が、画像が示す範囲外に移動した場合等がある。いわゆる被写体がフレームアウトした場合等である。このような場合には、画像処理装置は、オプティカルフローの処理結果に基づいて、オブジェクトを出力する等といったステップＳ７以降の処理を省略して次のフレーム（ステップＳ３）に進んでもよい。

＜切り出し例＞
図１０は、切り出し例を示す図である。上記の画像処理方法におけるステップＳ７は、例えば、図示するような処理である。以下、図４と同様の被写体が写る場合であって、目印画像も同様の画像である場合を例に説明する。なお、図示する例では、第１画像ＩＭＧ１には、フィルタ処理の結果を図面に反映せず、図４に示す入力画像ＩＭＧＩと同様の画像を第１画像ＩＭＧ１として説明する。

切り出しの処理では、画像処理装置は、第１画像ＩＭＧ１に写る第１被写体ＴＧ１、第２被写体ＴＧ２及び第３被写体ＴＧ３２の被写体のうち、第３被写体ＴＧ３２、すなわち、目印の特徴点を含む範囲を切り出して第２画像ＩＭＧ２を生成する。

すなわち、第２画像ＩＭＧ２は、例えば、目印の特徴点をすべて含む画像（マージンが設定されてもよい。）又は目印と認識される被写体の画素をすべて含むようなサイズに切り出すことで生成される。

図示するように、第２画像ＩＭＧ２は、第１画像ＩＭＧ１等と比較するとサイズが小さい。すなわち、第２画像ＩＭＧ２は、第１画像ＩＭＧ１等と比較すると画素が少ない画像である。また、第２画像ＩＭＧ２は、第１画像ＩＭＧ１等と比較すると第１被写体ＴＧ１等が写っていない画像である。したがって、以降の処理において、第２画像ＩＭＧ２を用いると、画像処理装置は、第１画像ＩＭＧ１等を用いる場合と比較して、画素数等が少ないため、計算コストを少なくできる、又は、高速にマッチングの処理を行うことができる。

＜変換行列を生成する処理及び変換行列に基づく変換例＞
図１１は、変換行列を生成する処理例を示す図である。上記の画像処理方法におけるステップＳ８及びステップＳ９は、例えば、図示するような処理である。

例えば、変換行列ＭＸ１は、図示するように、３行３列の行列である。そして、変換行列ＭＸ１は、図示するように、対象となる画像を射影変換させる行列である。

変換行列ＭＸ１を用いる変換を行うと、図示するように、第２画像ＩＭＧ２は、変換画像ＩＭＧＣとなる。変換画像ＩＭＧＣは、図示するように、目印画像ＩＭＧＴが示す被写体（すなわち、目印となる。）と、被写体がほぼ同じ大きさ及び姿勢等となるように変換された画像である。

以下、第２画像ＩＭＧ２は、第１特徴点ＰＳ１、第２特徴点ＰＳ２及び第３特徴点ＰＳ３の３つの特徴点が抽出されたとする。目印画像ＩＭＧＴにも、同様に第１特徴点ＰＳ１、第２特徴点ＰＳ２及び第３特徴点ＰＳ３の３つの特徴点があるとする。

そのため、目印画像ＩＭＧＴにおける第１特徴点ＰＳ１、第２特徴点ＰＳ２及び第３特徴点ＰＳ３が、第２画像ＩＭＧ２上のどこの画素に位置するかは、第２画像ＩＭＧ２において、第１特徴点ＰＳ１、第２特徴点ＰＳ２及び第３特徴点ＰＳ３をそれぞれ検索する等によって特定できる。したがって、画像処理装置は、第２画像ＩＭＧ２上の第１特徴点ＰＳ１、第２特徴点ＰＳ２及び第３特徴点ＰＳ３をどのように変換すると、目印画像ＩＭＧＴにおける第１特徴点ＰＳ１、第２特徴点ＰＳ２及び第３特徴点ＰＳ３の位置とほぼ同様の位置に変換できるかを計算できる。このような計算結果により、画像処理装置は、変換行列ＭＸ１を生成できる。すなわち、画像処理装置は、いわゆるホモグラフィ推定等によって、変換行列ＭＸ１を生成する。

次に、生成した変換行列ＭＸ１に基づいて、画像処理装置は、第２画像ＩＭＧ２を変換して変換画像ＩＭＧＣを生成する。

このように、画像処理装置は、変換行列ＭＸ１によって第２画像ＩＭＧ２を射影変換する。このような変換を行うと、図示するように、第２画像ＩＭＧ２に写る被写体を引き延ばす等によって、目印画像ＩＭＧＴと同じような状態の被写体にすることができる。このようにすると、比較等の処理において、第２画像ＩＭＧ２に写る目印は、目印画像ＩＭＧＴと同じような位置、大きさ及び姿勢等となる状態となる。そのため、目印画像ＩＭＧＴが示す目印に対して、拡大縮小、回転及びパース等があまりなく、ＯＲＢ又はＡＫＡＺＥ等のアルゴリズム等を用いるマッチング精度が高くできる。

＜目印画像と変換画像の比較例＞
図１２は、目印画像と変換画像の比較例及び比較結果の例を示す図である。上記の画像処理方法におけるステップＳ１０は、例えば、図示するような処理である。

図示するように、画像処理装置は、目印画像ＩＭＧＴと変換画像ＩＭＧＣを比較する。このように比較すると、画像処理装置は、変換画像ＩＭＧＣが目印の画像であるか否かを判断できる。

以下、図示するように、変換画像ＩＭＧＣには、４点の特徴点等である、第１点ＳＰ１、第２点ＳＰ２、第３点ＳＰ３及び第４点ＳＰ４等があるとする。そして、第１点ＳＰ１、第２点ＳＰ２、第３点ＳＰ３及び第４点ＳＰ４は、比較等の処理に特徴点画像ＩＭＧＳにおいて、座標が特定されているとする。

＜入力画像にオブジェクトを合成して出力画像を生成する例＞
図１３は、出力画像の生成例を示す図である。以下、説明のため、特徴点等が図示されている特徴点画像ＩＭＧＳを用いる場合を例に説明する。ただし、合成に用いる画像は、特徴点画像ＩＭＧＳのように、第１点ＳＰ１、第２点ＳＰ２、第３点ＳＰ３及び第４点ＳＰ４が図示されている必要はなく、第２画像ＩＭＧ２等でもよい。

まず、画像処理装置は、変換行列の逆行列を計算すると、逆行列の例である逆変換行列ＭＸ２を計算できる。

次に、画像処理装置は、逆変換行列ＭＸ２を用いて、特徴点画像ＩＭＧＳを射影変換する。このようにすると、図示するように、変換特徴点画像ＩＭＧＳ２を生成できる。

続いて、画像処理装置は、逆変換行列ＭＸ２を用いて、オブジェクト画像ＩＭＧＯを射影変換する。このようにすると、図示するように、変換オブジェクト画像ＩＭＧＯ２を生成できる。

上記のように、同じ行列である逆変換行列ＭＸ２を用いて、両方の変換を行うと、変換特徴点画像ＩＭＧＳ２及び変換オブジェクト画像ＩＭＧＯ２は、同じ変換によって生成される。そのため、変換特徴点画像ＩＭＧＳ２及び変換オブジェクト画像ＩＭＧＯ２では、目印及びオブジェクトが、同じような大きさ及び姿勢になりやすい。ゆえに、画像処理装置は、オブジェクトを目印に対してより自然な形となるように合成できる。

以上のように合成すると、画像処理装置は、例えば、図４のように、オブジェクトを目印のある箇所に精度良く合成した出力画像ＩＭＧＶを表示できる。

＜機能構成例＞
図１４は、画像処理装置の機能構成例を示す機能ブロック図である。例えば、画像処理装置は、図示するように、目印画像入力部１０Ｆ１と、撮像部１０Ｆ２と、フィルタ部１０Ｆ３と、抽出部１０Ｆ４と、追跡部１０Ｆ５と、切出部１０Ｆ６と、変換行列生成部１０Ｆ７と、表示部１０Ｆ８とを含む機能構成である。

また、図示するように、フィルタ部１０Ｆ３は、第１フィルタ部１０Ｆ３１及び第２フィルタ部１０Ｆ３２等を含む機能構成であるのが望ましい。

さらに、図示するように、画像処理装置は、再抽出部１０Ｆ９及び計算部１０Ｆ１０等を更に含む機能構成であるのが望ましい。以下、図示するような機能構成を例に説明する。

目印画像入力部１０Ｆ１は、オブジェクトを表示させる位置等となる目印を示す目印画像を入力する目印画像入力手順を行う。例えば、目印画像入力部１０Ｆ１は、インタフェース１０ＨＷ３等で実現する。

撮像部１０Ｆ２は、複数の時点で撮像して複数の入力画像を生成する撮像手順を行う。例えば、撮像部１０Ｆ２は、撮像装置１０ＨＷ６等で実現する。

フィルタ部１０Ｆ３は、それぞれの入力画像に対してフィルタ処理を行って第１画像を生成するフィルタ手順を行う。例えば、フィルタ部１０Ｆ３は、ＣＰＵ１０ＨＷ１等で実現する。

第１フィルタ部１０Ｆ３１は、入力画像に対して、メディアンフィルタ等を用いる第１フィルタ手順を行う。

第２フィルタ部１０Ｆ３２は、第１フィルタ部１０Ｆ３１が第１フィルタ処理手順を行うことで生成する第３画像に対して、ＲＧＢ色空間におけるＧ成分を強調するシャープネスフィルタを用いる第２フィルタ処理手順を行う。又は、第２フィルタ部１０Ｆ３２は、第１フィルタ部１０Ｆ３１が第１フィルタ処理手順を行うことで生成する第３画像に対して、ＹＵＶ色空間におけるＹ成分を強調するシャープネスフィルタを用いる第２フィルタ処理手順を行う。

抽出部１０Ｆ４は、第１画像における目印の特徴点を抽出する抽出手順を行う。例えば、抽出部１０Ｆ４は、ＣＰＵ１０ＨＷ１等で実現する。

追跡部１０Ｆ５は、時点の変化に対して、抽出部１０Ｆ４が抽出する特徴点を追跡する追跡手順を行う。例えば、追跡部１０Ｆ５は、ＣＰＵ１０ＨＷ１等で実現する。

切出部１０Ｆ６は、第１画像から、目印を含む範囲を切り出して第２画像を生成する切出手順を行う。例えば、切出部１０Ｆ６は、ＣＰＵ１０ＨＷ１等で実現する。

変換行列生成部１０Ｆ７は、第２画像及び目印画像に基づいて、変換行列を生成する変換行列生成手順を行う。例えば、変換行列生成部１０Ｆ７は、ＣＰＵ１０ＨＷ１等で実現する。

表示部１０Ｆ８は、変換行列に基づいて、入力画像にオブジェクトを合成して表示する表示手順を行う。例えば、表示部１０Ｆ８は、入出力装置１０ＨＷ４等で実現する。

再抽出部１０Ｆ９は、第２画像における特徴点を抽出する再抽出手順を行う。例えば、再抽出部１０Ｆ９は、ＣＰＵ１０ＨＷ１等で実現する。

計算部１０Ｆ１０は、再抽出部１０Ｆ９が抽出した特徴点に基づいて、撮像部１０Ｆ２の傾き及び目印までの距離を計算する計算手順を行う。例えば、計算部１０Ｆ１０は、ＣＰＵ１０ＨＷ１等で実現する。

＜まとめ＞
まず、画像処理装置は、ＡＲによって表示させるオブジェクトを示すオブジェクト画像を入力する。さらに、画像処理装置は、オブジェクトを表示させる位置等の目印を示す目印画像を入力する。このように、オブジェクト画像及び目印画像があらかじめ入力されると、画像処理装置は、目印を認識して、オブジェクトを表示させることができる。

次に、画像処理装置は、撮像により、オブジェクトを合成する対象となる入力画像を生成する。

例えば、フィルタ部１０Ｆ３は、図５に示すフィルタ等によってフィルタ処理を行う。なお、フィルタ部１０Ｆ３は、第１フィルタ部１０Ｆ３１及び第２フィルタ部１０Ｆ３２等によって、例えば、図６又は図７のように、Ｇ成分又はＹ成分を強調するようなフィルタ処理を行ってもよい。

そして、フィルタ部１０Ｆ３によるフィルタ処理によって第１画像が生成されると、画像処理装置は、目印が有する特徴点を例えば図８のように抽出する。続いて、画像処理装置は、例えば、図９に示すように、抽出した特徴点をフレーム間において追跡する。

次に、画像処理装置は、例えば、図１０に示すように、第１画像において、目印を含む範囲を切り出して第２画像を生成する。このようにすると、小さいサイズの画像を生成できる。そのため、以降の処理において、計算の対象となる画素を減らすことができ、計算コストを小さくできる。

さらに、画像処理装置は、例えば、図１１に示すように、目印画像及び第２画像において、同一とされる特徴点等を用いることで、変換行列を生成する。このように、変換行列を生成すると、画像処理装置は、変換行列による変換をすることで、図１２に示すように、変換画像に写る被写体と目印画像が示す目印を同じような大きさ及び姿勢等にして比較できる。そのため、入力画像において、撮像装置が傾いていたり、又は、被写体に対して距離があったりして目印を有する被写体が小さく入力画像に写る等したりしても、画像処理装置は、目印を精度良く認識できる。

また、変換行列に基づいて逆行列を生成すると、画像処理装置は、例えば、図１３に示すようにオブジェクトを入力画像に合成でき、自然なＡＲの表示を行うことができる。

なお、再抽出及び計算により、図１３等に示す合成とは別に処理を行ってもよい。例えば、再抽出は、抽出部１０Ｆ４と同様の方法等によって特徴点を抽出する。ただし、再抽出は、抽出部１０Ｆ４とは異なる画像を対象とする。そして、計算部１０Ｆ１０は、例えば、ＰｎＰにより、撮像部１０Ｆ２の傾き及び距離を推定する。すなわち、計算部１０Ｆ１０は、いわゆるカメラパラメータにおける「Ｒ」及び「ｔ」等を計算する。

つまり、「Ｒ」、すなわち、被写体が有する被写体に対して「Ｒｏｌｌ角」、「Ｐｉｔｃｈ角」（「Ｔｉｌｔ角」という場合もある。）及び「Ｙａｗ角」（「Ｐａｎ角」という場合もある。）等の角度がどの程度あるかを計算した結果があると、目印が入力画像において、画像処理装置は、どのような傾きを持って写るかが推定できる。

同様に、「ｔ」、すなわち、被写体が有する被写体に対してどの程度の距離があるかを計算した結果があると、目印が入力画像において、画像処理装置は、どのような大きさで写るかが推定できる。

このように、画像処理装置は、目印となる被写体及び撮像装置の間において、傾き及び距離が相対的にどのような関係にあるかをＰｎＰ等によって計算する。なお、傾き及び距離が計算できれば、計算方法は、ＰｎＰに限られない。

例えば、このようにして、入力画像における目印に対して、撮像部１０Ｆ２がどのような傾きであるか、かつ、撮像部１０Ｆ２が目印からどの程度離れているかの距離を計算するのが望ましい。このような計算結果があると、画像処理装置は、より精度良くオブジェクトを合成できる。

＜その他の実施形態＞
なお、画像処理装置及び画像処理システム等が有する各装置又は接続する外部装置は、１台の装置で実現されなくともよい。すなわち、各装置は、複数の装置で構成されてもよい。例えば、画像処理システムは、複数の情報処理装置又は撮像装置を有し、各処理を分散、並列又は冗長して行ってもよい。

なお、本発明に係る各処理の全部又は一部は、アセンブラ等の低水準言語又はオブジェクト指向言語等の高水準言語で記述され、コンピュータに画像処理方法を実行させるためのプログラムによって実現されてもよい。すなわち、プログラムは、画像処理装置及び画像処理システム等のコンピュータに各処理を実行させるためのコンピュータプログラムである。

したがって、プログラムに基づいて画像処理方法が実行されると、コンピュータが有する演算装置及び制御装置は、各処理を実行するため、プログラムに基づいて演算及び制御を行う。また、コンピュータが有する記憶装置は、各処理を実行するため、プログラムに基づいて、処理に用いられるデータを記憶する。

また、プログラムは、コンピュータが読み取り可能な記録媒体に記録されて頒布することができる。なお、記録媒体は、磁気テープ、フラッシュメモリ、光ディスク、光磁気ディスク又は磁気ディスク等のメディアである。さらに、プログラムは、電気通信回線を通じて頒布することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は、上記に説明した実施形態等に限定されるものではない。したがって、特許請求の範囲に記載された本発明の要旨の範囲内において、実施形態は、種々の変形又は変更が可能である。

１０ スマートフォン
１０Ｆ１ 目印画像入力部
１０Ｆ１０ 計算部
１０Ｆ２ 撮像部
１０Ｆ３ フィルタ部
１０Ｆ３１ 第１フィルタ部
１０Ｆ３２ 第２フィルタ部
１０Ｆ４ 抽出部
１０Ｆ５ 追跡部
１０Ｆ６ 切出部
１０Ｆ７ 変換行列生成部
１０Ｆ８ 表示部
１０Ｆ９ 再抽出部
１０ＨＷ１ ＣＰＵ
１０ＨＷ２ 記憶装置
１０ＨＷ３ インタフェース
１０ＨＷ４ 入出力装置
１０ＨＷ５ 通信装置
１０ＨＷ６ 撮像装置
１１ 被写体
ＩＭＧ１ 第１画像
ＩＭＧ２ 第２画像
ＩＭＧ３ 第３画像
ＩＭＧ３Ｙ Ｙ成分
ＩＭＧ３ＣＢ Ｃｂ成分
ＩＭＧ３ＣＲ Ｃｒ成分
ＩＭＧ３Ｒ Ｒ成分
ＩＭＧ３Ｇ Ｇ成分
ＩＭＧ３Ｂ Ｂ成分
ＩＭＧ１１ 前フレーム画像
ＩＭＧ１２ 現フレーム画像
ＩＭＧ１３ 次フレーム画像
ＩＭＧＣ 変換画像
ＩＭＧＩ 入力画像
ＩＭＧＯ オブジェクト画像
ＩＭＧＯ２ 変換オブジェクト画像
ＩＭＧＳ 特徴点画像
ＩＭＧＳ２ 変換特徴点画像
ＩＭＧＴ 目印画像
ＩＭＧＶ 出力画像
ＭＸ１ 変換行列
ＭＸ２ 逆変換行列
ＰＳ 特徴点
ＰＳ１ 第１特徴点
ＰＳ２ 第２特徴点
ＰＳ３ 第３特徴点
ＳＰ１ 第１点
ＳＰ２ 第２点
ＳＰ３ 第３点
ＳＰ４ 第４点
ＴＧ１ 第１被写体
ＴＧ２ 第２被写体
ＴＧ３１ 目印
ＴＧ３２ 第３被写体
ＴＧ４１ オブジェクト
ＴＧ４２ 変換オブジェクト
ＵＲ ユーザ

Claims (8)

1. オブジェクトを表示させる位置となる目印を示す目印画像を入力する目印画像入力部と、
   複数の時点で撮像して複数の入力画像を生成する撮像部と、
   それぞれの前記入力画像に対してフィルタ処理を行って第１画像を生成するフィルタ部と、
   前記第１画像における前記目印の特徴点を抽出する抽出部と、
   前記時点の変化に対して、前記特徴点を追跡する追跡部と、
   前記第１画像から、前記目印を含む範囲を切り出して第２画像を生成する切出部と、
   前記第２画像及び前記目印画像に基づいて、変換行列を生成する変換行列生成部と、
   前記変換行列に基づいて、前記入力画像に前記オブジェクトを合成して表示する表示部と
   を含み、
   前記変換行列に基づいて、前記第２画像を変換して変換画像を生成し、
   前記目印画像と前記変換画像を比較して前記変換画像に前記目印があると判断すると、前記表示部は、前記オブジェクト及び前記目印の両方を前記変換行列の逆行列でそれぞれ変換して合成する
   画像処理装置。
2. 前記フィルタ部は、
   前記入力画像に対して、メディアンフィルタを用いる第１フィルタ処理と、
   前記第１フィルタ処理で生成される第３画像に対して、ＲＧＢ色空間におけるＧ成分を強調するシャープネスフィルタを用いる第２フィルタ処理とを行って前記第１画像を生成し、
   前記抽出部は、
   前記Ｇ成分が強調された前記第１画像に基づいて抽出する
   請求項１に記載の画像処理装置。
3. 前記フィルタ部は、
   前記入力画像に対して、メディアンフィルタを用いる第１フィルタ処理と、
   前記第１フィルタ処理で生成される第３画像に対して、ＹＵＶ色空間におけるＹ成分を強調するシャープネスフィルタを用いる第２フィルタ処理とを行って前記第１画像を生成し、
   前記抽出部は、
   前記Ｙ成分が強調された前記第１画像に基づいて抽出する
   請求項１に記載の画像処理装置。
4. 前記抽出部は、
   ＡＫＡＺＥ又はＯＲＢのアルゴリズムで抽出する
   請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記変換行列は、
   前記第２画像における特徴点が、前記目印画像における特徴点と同一の位置となるように変換する行列である
   請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記第２画像における特徴点を抽出する再抽出部と、
   前記再抽出部が抽出した特徴点に基づいて、前記撮像部の傾き及び前記目印までの距離を計算する計算部と
   を更に含み、
   前記傾き及び前記距離に基づいて、前記表示部は、前記オブジェクトを合成する
   請求項１乃至５のいずれか１項に記載の画像処理装置。
7. オブジェクトを表示させる位置となる目印を示す目印画像を入力する目印画像入力部と、
   複数の時点で撮像して複数の入力画像を生成する撮像部と、
   それぞれの前記入力画像に対してフィルタ処理を行って第１画像を生成するフィルタ部と、
   前記第１画像における前記目印の特徴点を抽出する抽出部と、
   前記時点の変化に対して、前記特徴点を追跡する追跡部と、
   前記第１画像から、前記目印を含む範囲を切り出して第２画像を生成する切出部と、
   前記第２画像及び前記目印画像に基づいて、変換行列を生成する変換行列生成部と、
   前記変換行列に基づいて、前記入力画像に前記オブジェクトを合成して表示する表示部と
   を含み、
   前記変換行列に基づいて、前記第２画像を変換して変換画像を生成し、
   前記目印画像と前記変換画像を比較して前記変換画像に前記目印があると判断すると、前記表示部は、前記オブジェクト及び前記目印の両方を前記変換行列の逆行列でそれぞれ変換して合成する
   画像処理システム。
8. 画像処理装置に画像処理方法を実行させるためのプログラムであって、
   画像処理装置が、オブジェクトを表示させる位置となる目印を示す目印画像を入力する目印画像入力手順と、
   画像処理装置が、複数の時点で撮像して複数の入力画像を生成する撮像手順と、
   画像処理装置が、それぞれの前記入力画像に対してフィルタ処理を行って第１画像を生成するフィルタ手順と、
   画像処理装置が、前記第１画像における前記目印の特徴点を抽出する抽出手順と、
   画像処理装置が、前記時点の変化に対して、前記特徴点を追跡する追跡手順と、
   画像処理装置が、前記第１画像から、前記目印を含む範囲を切り出して第２画像を生成する切出手順と、
   画像処理装置が、前記第２画像及び前記目印画像に基づいて、変換行列を生成する変換行列生成手順と、
   画像処理装置が、前記変換行列に基づいて、前記入力画像に前記オブジェクトを合成して表示する表示手順と
   を実行させ、
   前記変換行列に基づいて、前記第２画像を変換して変換画像を生成し、
   前記目印画像と前記変換画像を比較して前記変換画像に前記目印があると判断すると、前記表示手順では、前記オブジェクト及び前記目印の両方を前記変換行列の逆行列でそれぞれ変換して合成する
   プログラム。