JP5986422B2 - オブジェクト抽出方法、オブジェクト抽出装置、及びオブジェクト抽出プログラム - Google Patents

Description

本発明は、オブジェクト抽出方法、オブジェクト抽出装置、及びオブジェクト抽出プログラムに係り、特にオブジェクトの抽出を高精度に行うためのオブジェクト抽出方法、オブジェクト抽出装置、及びオブジェクト抽出プログラムに関する。

従来では、クロマキー等の技術を用いて、撮影されたオブジェクト（例えば、人物や物体、文字情報等を含む）と、背景との色の違い等に着目して、オブジェクト部分の画像領域を抽出する手法が存在する。しかしながら、例えばオブジェクトと背景画像とが同一色である場合には、画像中からオブジェクトを適切に抽出することができなかった。

そこで、従来では、例えば２色からなる市松模様の背景の前で撮影を行い、色情報に加えて市松模様の領域情報を用いることで、背景と同一色を含む対象物（オブジェクト）を抽出する手法が存在する（例えば、非特許文献１参照）。また、従来では、ストライプ状の背景を用いた対象物抽出画像に対して動的輪郭モデルを利用することで、対象物の輪郭を抽出し、対象物と背景を制度よく領域分割する手法が存在する（例えば、非特許文献２参照）。

また、上述した従来手法は、オブジェクトと背景とが明らかに分かれている場合であって、背景に市松模様やストライプを濃く設定しておくことで、領域の抽出を行うことができる。

縣 弘樹，山下 淳，金子 透、「市松模様の背景を用いたクロマキーによる領域抽出」、社団法人 電子情報通信学会、信学技報ＣＳ２００５−６２，ＩＥ２００５−１１７（２００５−１２） 山下 淳，縣 弘樹，金子 透、「動的輪郭モデルを用いたストライプ状クロマキー」、映像情報メディア学会誌、Ｖｏｌ．６１，Ｎｏ、２，ｐｐ．１０１〜１０９（２００７）

ここで、例えば背景上にユーザが自由に絵を描いたり、予めメモリ等に記憶されている所定の画像を貼り付けるような画像編集やお絵描き用のソフトウェアやアプリケーション等の場合には、ユーザの手書き等により描かれたオブジェクトや所定の画像がその背景色の上に描写されることになる。また、上述したソフトウェア等で編集された画像を紙等の印刷媒体に印刷すると、背景とオブジェクトとの識別する電子的な情報がなくなった状態になる。そのため、そのような印刷媒体からオブジェクトのみを抽出するには、上述した従来手法のように、背景に市松模様やストライプを濃く設定しておくことが考えられる。

しかしながら、例えばユーザによって描写されたオブジェクト領域や画像領域に色を付けたとしても、色の濃さや透過率等によっては、背景に設定された濃い市松模様やストライプが、オブジェクト領域や画像領域の内部に表示されてしまう可能性がある。そのため、濃い市松模様やストライプを用いてオブジェクトを抽出できたとしても市松模様やストライプが視認できてしまう。

更に、従来では、市松模様やストライプは、単にオブジェクトの抽出のために用いられているだけであり、その種類に応じて抽出されたオブジェクトに対して幾つかの動作や処理等を行うような処理は存在していなかった。

本発明は、上述した課題に鑑みてなされたものであって、オブジェクトの抽出を高精度に行うためのオブジェクト抽出方法、オブジェクト抽出装置、及びオブジェクト抽出プログラムを提供することを目的とする。

上述した課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。

本発明は、取得した画像に含まれるオブジェクトを抽出するオブジェクト抽出装置において、前記画像を解析して非可視化情報の位置、内容を取得する画像解析手段と、前記画像解析手段により得られる非可視化情報に基づいて前記画像中に含まれるオブジェクトを抽出するオブジェクト抽出手段と、前記非可視化情報のパターンに対応させて前記オブジェクト抽出手段により抽出されたオブジェクトに対して所定の処理を行う非可視化情報対応処理手段と、前記非可視化情報対応処理手段により得られる画像を出力する出力手段とを有することを特徴とする。

また、本発明は、取得した画像に含まれるオブジェクトを抽出するオブジェクト抽出方法において、前記画像を解析して非可視化情報の位置、内容を取得する画像解析ステップと、前記画像解析ステップにより得られる非可視化情報に基づいて前記画像中に含まれるオブジェクトを抽出するオブジェクト抽出ステップと、前記非可視化情報のパターンに対応させて前記オブジェクト抽出ステップにより抽出されたオブジェクトに対して所定の処理を行う非可視化情報対応処理ステップと、前記非可視化情報対応処理ステップにより得られる画像を出力する出力ステップとを有することを特徴とする。

また、本発明は、コンピュータを、上述したオブジェクト抽出装置が有する各手段として機能させるためのオブジェクト抽出プログラムである。

なお、本発明の構成要素、表現又は構成要素の任意の組み合わせを、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造等に適用したものも本発明の態様として有効である。

本発明によれば、オブジェクトの抽出を高精度に行うことができる。

本実施形態におけるオブジェクト抽出装置の機能構成の一例を示す図である。 本実施形態におけるオブジェクト抽出処理が実現可能なハードウェア構成の一例を示す図である。 本実施形態におけるオブジェクト抽出処理手順の一例を示すフローチャートである。 高周波パターンの一例を示す図である。 フィルタリングの内容を説明するための図である。 従来手法と本実施形態を適用した場合のオブジェクトの抽出結果の一例を示す図である。 本実施形態における画像例とオブジェクトの動作例について説明するための図である。

＜本発明ついて＞
本発明では、例えば背景等に対し、非可視化情報を用いたストライプや市松模様等の模様を形成し、その背景上に描画したり貼り付けたオブジェクト等に対して、上述した非可視化情報を用いて高精度なオブジェクト抽出を実現する。なお、本実施形態では、ソフトウェアやアプリケーション等により非可視化情報が埋め込まれた背景上にオブジェクトを描画し、その描画した画像を印刷した印刷媒体（例えば、紙媒体）をカメラ等の撮像手段等を用いて撮影された画像情報や、背景画像に関するオブジェクトの電子的な位置情報等が存在しない画像情報等を用いて、その画像に含まれるオブジェクト部分を高精度に抽出する例を示すが、本実施形態においては、これに限定されるものではない。

更に、本発明では、上述した非可視化情報の模様の種類に応じて抽出されたオブジェクトに対する所定の動作や処理を行わせる。また、本発明では、背景色とも組み合わせてオブジェクトに対応する動作や処理を設定することができる。

なお、非可視化情報とは、例えば後述する高周波パターン等を用いて形成される情報であって、コンピュータを用いたソフトウェア上では解析でき、ユーザの目視（肉眼）では認識しにくい（又は認識できない）情報を意味する。また、オブジェクトとは、例えば人物、物体、文字情報等を含み、撮影された画像やユーザがソフトウェア上で描画したもの等も含まれる。

以下に、本発明におけるオブジェクト抽出方法、オブジェクト抽出装置、及びオブジェクト抽出プログラムを好適に実施した形態について、図面を用いて説明する。なお、以下に説明する画像には、映像の１フレーム（フレーム画像）も含むものとする。

＜オブジェクト抽出装置：機能構成例＞
ここで、本実施形態におけるオブジェクト抽出装置の機能構成例について図を用いて説明する。図１は、本実施形態におけるオブジェクト抽出装置の機能構成の一例を示す図である。

図１に示すオブジェクト抽出装置１０は、入力手段１１と、出力手段１２と、記憶手段１３と、画像取得手段１４と、画像解析手段１５と、オブジェクト抽出手段１６と、非可視化情報対応処理手段１７と、送受信手段１８と、制御手段１９とを有するよう構成されている。

入力手段１１は、ユーザ等からの画像取得処理や、画像解析処理、オブジェクト抽出処理、非可視化情報対応処理、送受信処理等の各種処理に対する指示の開始／終了等の入力、各種設定情報の入力等を受け付ける。なお、入力手段１１は、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の汎用のコンピュータであればキーボードやマウス等のポインティングデバイスからなり、携帯型端末やゲーム機器等であれば各操作ボタンやタッチパネル等からなる。また、入力手段１１は、例えばデジタルカメラ等の撮像手段等により撮影された画像や映像等を入力する機能も有する。なお、上述の撮像手段は、オブジェクト抽出装置１０内に設けられていてもよく、外部の機能構成であってもよい。

出力手段１２は、入力手段１１により入力された内容や、入力内容に基づいて実行された内容等の出力を行う。具体的には、出力手段１２は、取得した画像や、画像解析結果、オブジェクト抽出結果、非可視化情報対応処理結果等、オブジェクト抽出装置１０の各構成における処理の結果等の画面表示、設定画面表示、表示内容に対応する音声出力等を行う。なお、出力手段１２は、ディスプレイやスピーカ等からなる。

更に、出力手段１２は、プリンタ等の印刷機能を有していてもよく、上述の各出力内容を紙等の印刷媒体等に印刷して、ユーザ等に提供することもできる。

記憶手段１３は、本実施形態において必要となる各種情報やオブジェクト抽出処理の実行時、又は実行後の各種データ等を記憶する。具体的には、記憶手段１３は、例えば画像取得手段１４で取得される１又は複数の画像等を記憶する。また、記憶手段１３は、画像解析手段１５にて解析された結果や、オブジェクト抽出手段１６にて抽出されたオブジェクト、非可視化情報対応処理手段１７にて処理された結果、本実施形態を実行するための各種設定情報等を記憶する。また、記憶手段１３は、必要に応じて記憶されている各種情報を読み出すことができる。

画像取得手段１４は、オブジェクトを抽出する対象となる画像等を取得する。なお、画像等は、例えばカメラ等の撮像手段により得られる画像等であり、その画像は、単なる紙から取得した画像に限定されず、ポスターや写真、カード、シール、テレビ画面等を撮影して得られた画像等を含むが、これに限定されるものではない。また、画像取得手段１４は、送受信手段１８を介して通信ネットワーク上に接続される外部装置で撮影された画像や外部データベース等に記憶された画像等を取得することもでき、また、入力手段１１を介して実際にユーザ等がカメラ等で撮影した画像を取得することもできる。

画像解析手段１５は、画像取得手段１４にて取得した画像を解析して画像中に含まれる内容を解析する。具体的には、画像中のどの部分（例えば、位置、領域）にどのような非可視化情報が埋め込まれているかを解析する。なお、画像解析手段１５は、非可視化領域を抽出するために画像に対して所定のフィルタリング処理等を行う。また、画像解析手段１５は、画像の色情報（例えば、どの領域がどの色であるか等）を解析する。なお、上述した非可視化情報の例としては、例えば高周波パターンがあるが、これに限定されるものではない。高周波については、後述する。

オブジェクト抽出手段１６は、画像解析手段１５により得られる非可視化情報に基づいて、画像に含まれるオブジェクトを抽出する。具体的には、オブジェクト抽出手段１６は、例えば、非可視化情報の含まれていない領域をオブジェクト領域として抽出する。なお、オブジェクト領域は、画像中に１又は複数含まれているが、その全ての領域を抽出することができるが、これに限定されるものではない。

例えば、本実施形態では、画像に含まれるオブジェクトの中で一番大きい又は一番小さいオブジェクトのみを抽出してもよく、画像中の所定の位置（例えば、中央又は右側等）にあるオブジェクトを抽出してもよく、更に各オブジェクトの形状を比較し、所定の形状（例えば、矩形や円形）に近い形状のオブジェクトを抽出してもよい。なお、どのようなオブジェクトを抽出するかについては、予めユーザやソフトウェア作成者等により設定することができ、その設定された情報は、記憶手段１３に記憶され、オブジェクト抽出時に用いられる。

更に、オブジェクト抽出手段１６は、オブジェクト領域同士が重なっている場合には、例えば、全体を１つのオブジェクトとして抽出してもよく、また画像解析手段１５により解析された各オブジェクトに対する色情報に基づいて、所定の輝度差に基づいてそれぞれのオブジェクトを抽出してもよい。

また、非可視化情報対応処理手段１７は、画像取得手段１４により得られた非可視化情報の内容（模様や向き）等に対応させて、出力手段１２等により出力される画像に対して所定の処理を行う。例えば、非可視化情報対応処理手段１７は、オブジェクト抽出手段１６により抽出されたオブジェクトに対して、その周囲の非可視化情報の内容に基づいて、所定の動作を行わせた画像を生成し、出力手段１２等の画面に表示させる。なお、所定の動作とは、例えば、移動（例えば、画像の上下、左右等）、回転、拡大・縮小、縦振動、横振動、スイング、フェードイン、及びフェードアウトのうち、少なくとも１つの動作を意味するが、これに限定されるものではない。本実施形態では、例えばオブジェクトの動作パターンに応じて動作スピードを変えたり、オブジェクトの色を変えるといった処理を行ってもよい。また、複数の動作をさせる場合には、異なる動作を１つずつ連続して動作させてもよく、同時に動作させてもよい。また、動作する回数は、１回でもよく、複数回繰り返してもよい。

また、非可視化情報対応処理手段１７は、オブジェクト以外に対して画像処理を行ってもよい。例えば、非可視化情報対応処理手段１７は、背景の色を変えたり、背景を移動、回転、拡大・縮小、縦振動、及び横振動のうち、少なくとも１つの動作をさせる。また、非可視化情報対応処理手段１７は、非可視化情報に基づいて、音声（例えば、オブジェクトのセリフ、鳴声、ＢＧＭ等）を出力させてもよく、テロップや吹き出しのように所定の位置に文字等を表示させてもよい。

更に、非可視化情報対応処理手段１７は、オブジェクトの位置の背景色に対応させて所定の動作を行ってもよく、上述した非可視化情報の内容と背景色とを組み合わせて所定の動作をさせてもよい。また、非可視化情報対応処理手段１７は、得られた非可視化情報に基づいて、複数のオブジェクトに対して同一の処理をさせてもよく、複数のオブジェクトが連動する画像処理を行ってもよい。なお、連動する画像処理とは、例えば、オブジェクト同士が中央に移動してぶつかったり、交互に表示／非表示が切り替わったり、回転スピードが交互に変わるといった処理を示すが、これに限定されるものではない。

また、本実施形態では、オブジェクトを動作させる場合に、そのオブジェクトの周囲の非可視化情報の内容に対応させて処理の動作をさせているが、これに限定されるものではなく、例えば画像中のオブジェクトの数や種類等の組み合わせに対応させてオブジェクトに所定の動作をさせてもよい。

なお、背景画像に対してオブジェクトを移動させる場合には、今までオブジェクトにより表示されていなかった背景領域が表示されることになるが、その領域については、非可視化情報対応処理手段１７において、その領域の周囲にある今まで表示されていた背景画像の色情報等に基づいて、その背景領域を補間する処理を行う。したがって、本実施形態では、水色の背景上にあるオブジェクトを移動させる場合に、オブジェクトにより表示されていなかった背景領域については、上述した補間処理により水色が表示される。

送受信手段１８は、通信ネットワーク等を用いて接続可能な外部装置から撮影画像等や、本実施形態におけるオブジェクト抽出処理を実現するための実行プログラム等を取得するためのインタフェースである。また、送受信手段１８は、オブジェクト抽出装置１０内で得られた画像や処理結果等の各種情報を外部装置に送信することができる。

制御手段１９は、オブジェクト抽出装置１０の各構成部全体の制御を行う。具体的には、制御手段１９は、例えばユーザ等による入力手段１１からの指示等に基づいて、画像の取得や画像解析、オブジェクト抽出、非可視化情報対応処理等の各処理の制御等を行う。

本実施形態では、上述した画像に埋め込まれた非可視化情報に基づいて、高精度にオブジェクトを抽出することができる。また、本実施形態では、非可視化情報を用いて、取得されたオブジェクト等に対して付加価値性に優れた高精度な画像の提供を実現できる。

＜オブジェクト抽出装置１０：ハードウェア構成＞
ここで、上述したオブジェクト抽出装置１０においては、各機能をコンピュータに実行させることができる実行プログラム（オブジェクト抽出プログラム）を生成し、例えば汎用のパーソナルコンピュータ、サーバ、携帯型端末（例えば、スマートフォンや携帯電話機、ノート型ＰＣ、タブレット端末等）、ゲーム機器等にその実行プログラムをインストールすることにより、本発明におけるオブジェクト抽出処理及び非可視化情報認識処理等を実現することができる。ここで、本実施形態におけるオブジェクト抽出処理が実現可能なコンピュータのハードウェア構成例について図を用いて説明する。

図２は、本実施形態におけるオブジェクト抽出処理が実現可能なハードウェア構成の一例を示す図である。図２におけるコンピュータ本体には、入力装置２１と、出力装置２２と、ドライブ装置２３と、補助記憶装置２４と、メモリ装置２５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２６と、ネットワーク接続装置２７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。

入力装置２１は、ユーザ等が操作するキーボード及びマウス等のポインティングデバイスを有しており、ユーザ等からのプログラムの実行等、各種操作信号を入力する。また、入力装置２１は、カメラ等の撮像手段から撮影された画像を入力する画像入力ユニットを有していてもよい。

出力装置２２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、ＣＰＵ２６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。

ここで、本発明においてコンピュータ本体にインストールされる実行プログラムは、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリやＣＤ−ＲＯＭ等の可搬型の記録媒体２８等により提供される。プログラムを記録した記録媒体２８は、ドライブ装置２３にセット可能であり、記録媒体２８に含まれる実行プログラムが、記録媒体２８からドライブ装置２３を介して補助記憶装置２４にインストールされる。

補助記憶装置２４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムやコンピュータに設けられた制御プログラム等を記憶し、必要に応じて入出力を行うことができる。

メモリ装置２５は、ＣＰＵ２６により補助記憶装置２４から読み出された実行プログラム等を格納する。なお、メモリ装置２５は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等からなる。

ＣＰＵ２６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、及びメモリ装置２５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して、オブジェクト抽出における各処理を実現することができる。なお、プログラムの実行中に必要な各種情報等は、補助記憶装置２４から取得することができ、また実行結果等を格納することもできる。

ネットワーク接続装置２７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。

上述したようなハードウェア構成により、本発明におけるオブジェクト抽出処理を実行することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明におけるオブジェクト抽出処理を容易に実現することができる。

次に、オブジェクト抽出処理について具体的に説明する。

＜オブジェクト抽出処理手順＞
まず、本実施形態におけるオブジェクト抽出処理手順について説明する。図３は、本実施形態におけるオブジェクト抽出処理手順の一例を示すフローチャートである。

図３に示すオブジェクト抽出処理は、まずカメラ等の撮像手段により撮影されたオブジェクトを抽出する対象の画像を読み込み（Ｓ０１）、読み込んだ画像に対して非可視化領域を抽出するためにフィルタリングを行い（Ｓ０２）、その結果からオブジェクトを抽出する（Ｓ０３）。なお、Ｓ０２の処理では、Ｓ０１で取得した画像に対して、ローパスフィルタをかけたり、Ｓ０１で取得した画像から所定の画像を用いた差分画像を抽出してもよいが、これに限定されるものではない。なお、Ｓ０３の処理では、非可視化情報のない部分（領域）がオブジェクトとして抽出される。

次に、オブジェクト抽出処理は、Ｓ０２で得られるフィルタリング結果から、画像に含まれる非可視化情報のパターン（例えば、高周波パターン等）の判定を行い（Ｓ０４）、更に高周波パターンの周波数の内容を判定する（Ｓ０５）。ここで、高周波パターンの周波数とは、例えば高周波により形成された内容（例えば、模様等）が、横縞・縦縞等のストライプであるか、斜めのストライプ模様であるか、市松模様であるか等の情報を、周波数のパターンとして判定する。更に、Ｓ０５における判定は、例えば画像中のどの領域にどのパターンがあるか等の領域情報についても判定する。

次に、オブジェクト抽出処理は、Ｓ０５の処理で得られた高周波パターンの周波数判定結果に対応させてオブジェクトの動作パターンを決定する（Ｓ０６）。なお、Ｓ０６の処理では、例えば、周波数判定結果が得られた高周波パターン（非可視化情報）に囲まれたオブジェクトに対して、その高周波パターンに対応する所定の動作パターンを決定する。また、周波数判定結果（高周波パターン）に対応する動作パターンは、例えばソフトウェア作成者やユーザ等が予め設定しておき、そのデータを参照して周波数判定結果に対する動作パターンを決定する。

また、オブジェクト抽出処理は、周波数判定結果に基づいて動作パターンに対応する動作スピードを決定し（Ｓ０７）、決定した内容に基づいて、画像表示を行う（Ｓ０８）。

なお、上述の例では、非可視化情報として高周波パターンを用いたが、これに限定されるものではない。また、上述の例では、非可視化情報に基づいて、画像中に含まれるオブジェクトを動作させたが、本実施形態においてはこれに限定されるものではなく、例えば背景の色を変えたり、印刷処理をさせたり、印刷時にオブジェクトのみを印刷させたり、オブジェクトを印刷しなかったりする等の各種制御を行うこともできる。更に、本実施形態では、上述Ｓ０２の処理におけるフィルタリング処理と共に、背景の色情報を取得し、取得した色情報と非可視化情報とを組み合わせて、Ｓ０６の処理におけるオブジェクトの動作パターンを決定する処理を行ってもよい。

＜高周波について＞
ここで、上述した本実施形態における高周波について説明する。通常、周波数には時間についての周波数（時間周波数）と空間の位置についての周波数（空間周波数）があるが、本実施形態においては、特に断らない限りは空間周波数を意味する。空間周波数は、「単位長さに対する画素値の周期の逆数」と定義される。

つまり、本実施形態における高周波は、明部と暗部が周期的に繰り返した領域を意味する。本実施形態における周波数は、特に限定されるものではないが、例えば高周波部では０．２〜２［ｃｙｃｌｅ／画素］の範囲で設定されるが、これに限定されるものではない。

例えば、高周波部にて形成される所定の画素領域（例えば、４×４ピクセル等）は、明部と暗部が周期的に繰り返していればよく、例えば、縦縞、横縞、市松模様状等があげられる。また、そのときの明部と暗部の明度差は１０以上であればよく、好適なのは５０以上であり、更に好適なのは１００以上である。明度差は、予め固定値が設定しておいてもよく、背景の色やオブジェクトの内容等に応じて任意に変更することもできる。したがって、例えば明度の増減値を背景の明度から判断して決定することもできる。これにより、本実施形態では、背景の色やオブジェクトの内容等に応じて、より適切な非可視化情報を埋め込ませることができる。

ここで、背景画像に埋め込まれている高周波パターンについて説明する。高周波パターンは、背景の画像（グリッド）領域において、所定の模様が生成されている。例えば、横縞模様の高周波パターンが形成されている場合には、グリッドの偶数行の明度が高く、奇数行の明度は低い状態となっている。

＜高周波パターンの具体例＞
次に、高周波パターンの具体例について説明する。図４は、高周波パターンの一例を示す図である。本実施形態では、例えば予め設定された複数の高周波パターン（模様）からなる非可視化情報を背景画像に埋め込む。つまり、本実施形態では、例えば図４（ａ）〜（ｅ）の模様のうち、少なくとも１つが背景の所定の位置に埋め込まれる。なお、図４（ａ）は横ストライプの高周波パターンであり、図４（ｂ）は縦横ストライプの高周波パターンであり、図４（ｃ）は右下斜めストライプの高周波パターンであり、図４（ｄ）は左下斜めのストライプの高周波パターンであり、図４（ｅ）は、市松模様の高周波パターンである。これらの高周波パターンは、例えば背景色や背景内容（例えば、模様、風景、建物、人物等）、オブジェクトに動作させる内容等に基づいて設定される。

したがって、本実施形態では、オブジェクトの抽出時に、高周波パターンに基づいてオブジェクトを抽出することができると共に、オブジェクトに所定の動作をさせて表示することができる。

なお、本実施形態では、背景画像に高周波パターンを埋め込んでいるが、本発明においてはこれに限定されるものではなく、例えばオブジェクト領域のみに上述した高周波パターンを埋め込んでもよい。この場合には、高周波パターンを有する領域を抽出することで、オブジェクトの抽出を実現できる。しかしながら、オブジェクト領域に非可視化情報とはいえ高周波パターンが埋め込まれているのは好ましくはない。したがって、このような場合には、オブジェクトを抽出した後にそのオブジェクト領域内の高周波パターンを消去する処理を行ってからオブジェクトの表示を行うことが好ましい。

＜フィルタリング処理について＞
次に、上述したＳ０２の処理におけるフィルタリング処理について、具体的に説明する。本実施形態におけるフィルタリング処理とは、例えば、予め設定された縦方向ソベルフィルタ、横方向ソベルフィルタ、市松模様検出フィルタ等の各ローパスフィルタを全て適用し、その結果として得られる特徴点の数（例えば、高周波部分の面積、位置等）から高周波パターンを決定する。

ここで、図５は、フィルタリングの内容を説明するための図である。図５（ａ）は、縦ストライプ画像によるフィルタ適用例を示し、図５（ｂ）は、横ストライプ画像によるフィルタ適用例を示し、図５（ｃ）は、左下斜めストライプ画像によるフィルタ適用例を示す。

また、図５（ａ）〜（ｃ）において、上段は背景に埋め込まれた各ストライプ画像例を示し、中段は、一例として横方向ソベルフィルタを適用後の画像例を示し、下段は、一例として縦方向ソベルフィルタ適用後の画像例を示している。

本実施形態におけるフィルタリング処理では、同一のストライプでフィルタリングした場合には、ストライプの目立たない白っぽい画像となる。したがって、図５の例では、縦ストライプ画像には、縦方向ソベルフィルタを適用すると高周波パターンが消え（図５（ａ）下段）、横ストライプ画像には、横方向ソベルフィルタを適用すると高周波パターンが消える（図５（ｂ）中段）。更に、縦方向ソベルフィルタ、横方向ソベルフィルタを適用しても高周波パターンが残る場合には、図５（ｃ）に示すように、元画像は斜めストライプ画像の領域であると判定することができる。

なお、上述の例では、縦、横、左下斜めの各ストライプの判定例を示したが、本発明においては、これに限定されるものではなく、例えば右下斜めストライプや市松模様を含んでいる場合には、そのパターンに合わせたソベルフィルタを用いることで、上述したように、高周波パターンが消えた画像を取得することで、パターン判定を高精度に行うことができる。なお、フィルタリング処理の内容については、これに限定されるものではない。

ここで、本実施形態では、例えば画像の上半分に縦ストライプ、下半分に横ストライプが入った高周波画像を使用する場合に、具体的には以下のような処理を行う。

まず初めにオブジェクトを抽出する対象画像（撮影画像）に対して、例えば図５（ａ）〜（ｃ）示す３種類のフィルタを全て適用する。この３回の試行の中で、縦方向ソベルフィルタを適用した場合のみ、画像の上半分に多くの特徴点が得られる。また、フィルタ適用結果は、白黒の画像として得られ、特徴点部分のみが白色、それ以外の部分が黒色で表される。したがって、この場合には、画像の上半分が白色、下半分が黒色の画像が得られる。

このように、本実施形態では、この白色部分と黒色部分の面積（領域）に基づいて、どこに、どのような高周波パターンが埋め込まれているのかを認識することができる。また、この場合には、縦方向ソベルフィルタを用いて、結果画像の上半分に特徴点が多く得られるため、撮影画像の上半分縦ストライプが埋め込まれていることを認識することができる。また、同様に横方向ソベルフィルタを適用したときのみ、画像の下半分に特徴点が得られる場合には、画像の上半分に横ストライプが埋め込まれていることを認識することができる。

＜高周波パターンの判定＞
なお、上述したＳ０４の処理における高周波パターンの判定については、例えばどのストライプの方向（縦、横、または斜め）がどの領域にあるかといった位置情報や何種類の高周波パターンがどのように組み合わさっているかといった内容を判定し、その情報を用いて例えば同じ高周波パターン上でも、より左側にあるイラストは動作スピードをより早く、より右側にあるイラストは動作スピードをより遅くするといった動作をさせることができる。

＜従来手法と本実施形態を適用した場合のオブジェクトの抽出結果＞
次に、従来手法と本実施形態を適用した場合のオブジェクトの抽出結果について、図を用いて説明する。図６は、従来手法と本実施形態を適用した場合のオブジェクトの抽出結果の一例を示す図である。なお、図６（ａ）は、従来手法によりオブジェクト（図６の例では、ＵＳＢメモリ）を抽出した例を示し、図６（ｂ）は、本実施形態を適用した場合のオブジェクト抽出例を示している。

図６（ａ）に示す例では、ブルーバックのみを用いて画像３０−１に含まれるオブジェクト３１−１を抽出する例を示している。この場合、オブジェクトがブルーバックと同系色の場合には、誤り率が７４．４％にもなった。なお、誤り率は、「切り取られなかったピクセル数×１００／切り取る対象オブジェクト内のピクセル数」と定義した。

しかしながら、図６（ｂ）に示す本実施形態では、背景画像３０−２に高周波パターンを埋め込んだブルーバックを用いているため、上述した手法により抽出されたオブジェクト３１−２は、誤り率が３．８％と非常に低い数値で抽出することができた。

＜画像例とその動作について＞
ここで、本実施形態に適用される画像例と、その動作について説明する。図７は、本実施形態における画像例とオブジェクトの動作例について説明するための図である。なお、図７の例では、例えばＰＣ等の画面上に表示される画像に含まれるオブジェクトの動作例を示すものである。

図７（ａ）に示す画像４０には、一例として上半分の背景画像４１−１に空（水色）を示し、下半分の背景画像４１−２に地面（緑色）を示している。また、画像４０の上半分の水色部分には縦ストライプを埋め込み、下半分の緑色部分には横ストライプを埋め込む。

このような画像４０において、ユーザが、例えば画像４０の水色部分に白い雲のオブジェクト４２−１を描写し、画像４０の緑色部分に黄色い鳥のオブジェクト４２−２を描写したとする。この場合、上述したオブジェクトの抽出処理や非可視化情報対応処理により、例えば雲のオブジェクト４２−１は所定倍率で拡大・縮小の繰り返し表示を行い、鳥のオブジェクト４２−２は所定方向に直進（移動）するというような処理を行うことができる。

具体的には、画面上の画像４０において、図７（ｂ）に示すように、雲のオブジェクト４２−１は、同じ位置において所定の時間間隔で所定倍率の拡大と縮小を繰り返しながら表示される。また、鳥のオブジェクト４２−２は、予め設定された速度で左側に所定距離分だけ移動する。なお、移動時の速度は、一定でも可変でもよく、それらの組み合わせであってもよい。また、移動距離については、所定距離の移動だけに限定されず、例えば鳥のオブジェクト４２−２が画像４０からフレームアウトするような移動を行ってもよく、画像４０の端部で逆方向を向いて右側に移動するような処理を行ってもよい。なお、図７（ｂ）の例では、オブジェクト４２の動作前後の位置関係を説明する便宜上、背景画像４１にオブジェクト４２の残像が表示されているが、本実施形態においてはこれに限定されるものではなく、例えばオブジェクト４２を除く周囲の色情報を用いて補間された残像のない背景画像を表示してもよい。

また、本実施形態では、背景に埋め込まれる高周波パターン（非可視化情報）の数（種類）は、例えば背景に対応する紙や画面等のサイズ（大きさ）に対応させて設定することができる。例えば、Ａ４サイズの紙（シート）の場合は、最大４パターンほど組み合わせることができる。これは、アプリケーションとしてのお絵かきソフト等において、非可視化情報のパターンを４パターンより多くすると、背景全体に対する個々の非可視化情報の領域が狭くなり、一つ一つの絵（オブジェクト）をより狭いスペースに書かなければならなくなるためである。なお、本実施形態においては、これに限定されるものではなく、ユーザが任意にパターン数（種類）を設定してもよい。

また、オブジェクトは、背景に異なる高周波パターンにまたがらないように描写させる方が好ましいが、これに限定されるものではない。例えば、複数の高周波パターンにまたがった場合には、オブジェクトに対する動作処理を行わないか、又は各高周波パターンに対して設定された動作をさせるか、高周波パターンを組み合わせた新たな動作を行うことができる。なお、本実施形態では、複数の高周波パターンにまたがった場合でも高周波パターン以外をオブジェクトとしているため、オブジェクトの抽出は可能である。

なお、このような複数の高周波パターンは、例えば背景シートの作成時に埋め込む。例えば、背景シートの作成者が左半分のイラスト（オブジェクト）と右半分のイラスト（オブジェクト）とで動作を変えたい場合には、左半分と右半分に異なる高周波パターンを埋め込む。この作業は、シート作成者が手作業で行なってもよく、埋め込みをプログラムによって自動化することもできる。この場合、例えばＰＣ上で、高周波パターンの埋め込み領域と動作パターンを選択することで自動的に対応する高周波パターンが、選択した領域埋め込まれる。

また、本実施形態におけるオブジェクト抽出後の動作については、同じ高周波パターン（例えば、ストライプ等）でも鳥や雲等の形状や大きさ、色等によって、その動作内容を変えることもできる。また、ストライプ等の模様（パターン）が同一でも背景色が変わると、そのストライプと背景色との関係で、異なる動作をさせることができる。例えば、青色の縦ストライプは拡大・縮小、赤色の縦ストライプは回転等のように処理することができる。この場合、ユーザが描画した絵（オブジェクト）に動作を持たせるための判別対象はストライプだけではなく色も含まれることになる。

また、本実施形態では、例えばユーザが描画したオブジェクトを含む画像（例えば、図７（ａ））を紙媒体等に印刷し、印刷された紙媒体をカメラ（撮像手段）等で撮影することで得られる画像に対しても図７（ｂ）に示すようなオブジェクトの動作を行わせることができる。つまり、本実施形態では、紙等の印刷媒体に印刷された画像のように、オブジェクトに関するメタ情報が全く付加されていない画像であっても、適切にオブジェクトを抽出することができる。また、本実施形態では抽出したオブジェクト等に対して所定の動作を行わせることができる。

上述したように本発明によれば、オブジェクトの抽出を高精度に行うことができる。また、非可視化情報を用いて効率的に情報を取得して、付加価値性に優れた高精度な画像を提供することができる。

以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

１０ オブジェクト抽出装置
１１ 入力手段
１２ 出力手段
１３ 記憶手段
１４ 画像取得手段
１５ 画像解析手段
１６ オブジェクト抽出手段
１７ 非可視化情報対応処理手段
１８ 送受信手段
１９ 制御手段
２１ 入力装置
２２ 出力装置
２３ ドライブ装置
２４ 補助記憶装置
２５ メモリ装置
２６ ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）
２７ ネットワーク接続装置
２８ 記録媒体
３０，４０ 画像
３１，４２ オブジェクト
４１ 背景画像

Claims (9)

1. 取得した画像に含まれるオブジェクトを抽出するオブジェクト抽出装置において、
   前記画像を解析して非可視化情報の位置、内容を取得する画像解析手段と、
   前記画像解析手段により得られる非可視化情報に基づいて前記画像中に含まれるオブジェクトを抽出するオブジェクト抽出手段と、
   前記非可視化情報のパターンに対応させて前記オブジェクト抽出手段により抽出されたオブジェクトに対して所定の処理を行う非可視化情報対応処理手段と、
   前記非可視化情報対応処理手段により得られる画像を出力する出力手段とを有し、
   前記非可視化情報対応処理手段は、
   前記非可視化情報のパターンに基づいて、前記非可視化情報に囲まれたオブジェクトに対して所定の動作を行わせることを特徴とするオブジェクト抽出装置。
2. 取得した画像に含まれるオブジェクトを抽出するオブジェクト抽出装置において、
   前記画像を解析して非可視化情報の位置、内容を取得する画像解析手段と、
   前記画像解析手段により得られる非可視化情報に基づいて前記画像中に含まれるオブジェクトを抽出するオブジェクト抽出手段と、
   前記非可視化情報のパターンに対応させて前記オブジェクト抽出手段により抽出されたオブジェクトに対して所定の処理を行う非可視化情報対応処理手段と、
   前記非可視化情報対応処理手段により得られる画像を出力する出力手段とを有し、
   前記非可視化情報対応処理手段は、
   前記画像解析手段により得られる複数の非可視化情報の内容に基づいてオブジェクトに対する１又は複数の動作を行わせることを特徴とするオブジェクト抽出装置。
3. 前記非可視化情報は、背景画像又は前記オブジェクトの何れかに埋め込まれた高周波パターンであることを特徴とする請求項１又は２に記載のオブジェクト抽出装置。
4. 前記画像解析手段は、
   予め設定された複数のフィルタを用いて前記画像に対するフィルタリングを行い、フィルタリングされた各画像の関係から、前記画像に埋め込まれた非可視化情報のパターンを取得することを特徴とする請求項１乃至3の何れか1項に記載のオブジェクト抽出装置。
5. 取得した画像に含まれるオブジェクトを抽出するオブジェクト抽出方法において、
   前記画像を解析して非可視化情報の位置、内容を取得する画像解析ステップと、
   前記画像解析ステップにより得られる非可視化情報に基づいて前記画像中に含まれるオブジェクトを抽出するオブジェクト抽出ステップと、
   前記非可視化情報のパターンに対応させて前記オブジェクト抽出ステップにより抽出されたオブジェクトに対して所定の処理を行う非可視化情報対応処理ステップと、
   前記非可視化情報対応処理ステップにより得られる画像を出力する出力ステップとを有し、
   前記非可視化情報対応処理ステップは、
   前記非可視化情報のパターンに基づいて、前記非可視化情報に囲まれたオブジェクトに対して所定の動作を行わせることを特徴とするオブジェクト抽出方法。
6. 取得した画像に含まれるオブジェクトを抽出するオブジェクト抽出方法において、
   前記画像を解析して非可視化情報の位置、内容を取得する画像解析ステップと、
   前記画像解析ステップにより得られる非可視化情報に基づいて前記画像中に含まれるオブジェクトを抽出するオブジェクト抽出ステップと、
   前記非可視化情報のパターンに対応させて前記オブジェクト抽出ステップにより抽出されたオブジェクトに対して所定の処理を行う非可視化情報対応処理ステップと、
   前記非可視化情報対応処理ステップにより得られる画像を出力する出力ステップとを有し、
   前記非可視化情報対応処理ステップは、
   前記画像解析ステップにより得られる複数の非可視化情報の内容に基づいてオブジェクトに対する１又は複数の動作を行わせることを特徴とするオブジェクト抽出方法。
7. 前記非可視化情報は、背景画像又は前記オブジェクトの何れかに埋め込まれた高周波パターンであることを特徴とする請求項５又は６に記載のオブジェクト抽出方法。
8. 前記画像解析ステップは、
   予め設定された複数のフィルタを用いて前記画像に対するフィルタリングを行い、フィルタリングされた各画像の関係から、前記画像に埋め込まれた非可視化情報のパターンを取得することを特徴とする請求項５乃至７の何れか１項に記載のオブジェクト抽出方法。
9. コンピュータを、請求項１乃至４の何れか１項に記載のオブジェクト抽出装置が有する各手段として機能させるためのオブジェクト抽出プログラム。