JP4253029B2 - 画像処理方法 - Google Patents

Description

本発明は、ドットパターンの印刷された用紙やパネルを用いてディスプレイやプロジェクター画面上に表示される画像の加工・修正を行う技術に関する。

ディスプレイ画面やプロジェクタースクリーンに投影された画像を加工・修正する技術としては、マウスやタブレット等の座標入力補助装置を用いてパーソナルコンピュータ等の情報処理装置に保持された画像データの色や線図を修正することが一般的であった。

しかし、マウスやタブレットでは、画面を凝視しながらマウスやタブレット操作をしなければならず、手許での操作感覚が必ずしも画面上での位置指定に正確に反映されなかった。

すなわち、マウスやタブレットは、ＸＹ方向への移動量を画面上での移動量に変換して表示させるために、マウスの移動量に対して画面上のカーソルの移動量が小さすぎたり、あるいは大きすぎたりしてオペレータ（ユーザ）にとって違和感のある場合が多かった。

特に、画面上に顔画像を表示させてメークを施すように着色したり色補正を行うような場合や、地図上の領域を指定して処理を施すような場合にはマウスやタブレットでは正確な位置指定が難しいという問題があった。

本発明は、このような点に鑑みてなされたものであり、画面に表示された画像に対して正確な位置指定を行って画像データの加工・修正が可能な技術を提供することを技術的課題とする。

本発明の請求項１は、ディスプレイ装置に表示された画像に対して、ドットパターンの印刷された用紙上に前記画像を印刷して、当該ドットパターンを撮像手段で撮像して画像の位置を認識して画像に処理を施す画像処理方法であって、用紙にＸＹ座標を意味するドットパターンを印刷するステップと、前記ドットパターンの印刷された用紙に対して、ディスプレイ装置の画面に表示された画像を印刷するステップと、前記画像の印刷ステップにおいて、ディスプレイ装置上の画像の基準点を設定して当該基準点を目視可能なマークで前記画像とともに印刷するステップと、印刷された用紙のマークを撮像手段で撮像させて当該用紙上のマークの位置座標を前記画像の基準点と一致させるキャリブレーションを実行するステップと、前記用紙上に印刷された画像に対して撮像手段で画像処理を実行するステップとからなる画像処理方法である。

このように、ドットパターンが印刷された用紙にディスプレイ装置上の画像を印刷する際に、ディスプレイ装置上の画像の基準点を設定して当該基準点を目視可能なマークで前記画像とともに印刷することによって、当該マークを用いてキャリブレーション作業を行うことで、以後の用紙上での撮像手段（スキャナ）による選択入力と画像に対する処理に座標的なずれが生じることを防止できる。

請求項２は、ディスプレイ装置に表示された画像に対して、ドットパターンの印刷された用紙上に前記画像を印刷して、当該ドットパターンを撮像手段で撮像して画像の位置を認識して画像に処理を施す画像処理方法であって、用紙にＸＹ座標を意味するドットパターンを印刷するステップと、前記ドットパターンの印刷された用紙に対して、ディスプレイ装置の画面に表示された画像を印刷するステップと、前記用紙上の画像が印刷された所定領域で閉図形を描くように撮像手段で走査してマスク領域を指定するステップと、記憶手段に設定された前記画像領域に対応するマスクテーブルの前記マスクが設定された領域のフラグをセットするステップと、前記用紙のマスク領域のドットパターンを撮像手段で撮像するステップと、前記マスク領域のドットパターンを読み込んで、マスクテーブルを参照してマスクが設定された領域であるときに、前記マスクに対応した命令処理が定義されたマスク・処理命令対応テーブルを参照して、処理命令を実行するステップとからなる画像処理方法である。

このように、あらかじめドットパターンが印刷された用紙上にディスプレイ装置に表示される画像を印刷し、その画像上の任意の領域をマスク設定して、当該用紙上でマスク領域が撮像手段によって選択入力されたときには、マスクテーブルを参照して、それに関係付けられた処理、たとえばブラウザプログラムによるインターネット上の所定のアドレス（ＵＲＬ）へのアクセス等を実行処理できる。

請求項３は、ディスプレイ装置に表示された画像に対して、あらかじめドットパターンの印刷された用紙上に前記画像を印刷して、当該ドットパターンを撮像手段で撮像して画像の位置を認識して画像に処理を施す画像処理方法であって、あらかじめXY座標を意味するドットパターンが印刷された用紙に対して、ディスプレイ装置の画面に表示された画像を印刷するステップと、前記画像の印刷ステップにおいて、ディスプレイ装置上の画像の基準点を設定して当該基準点を目視可能なマークで前記画像とともに印刷するステップと、印刷された用紙のマークを撮像手段で撮像させて当該用紙上のマークの位置座標を前記画像の基準点と一致させるキャリブレーションを実行するステップと、前記用紙上に印刷された画像に対して撮像手段で画像処理を実行するステップとからなる画像処理方法である。

請求項４は、前記ディスプレイ装置に表示された画像とドットパターンが重畳印刷された前記用紙を光学読取手段で撮像して、前記ドットパターンに対応した画像処理を、前記ディスプレイ装置に表示された画像に対して行う画像処理方法であって、前記用紙は、前記画像処理のための命令コードおよび／または座標値がパターン化されたドットパターンがアイコン画像と重ね合わせて印刷されたコントローラ領域を有しており、前記コントローラ領域上のアイコン画像を順次光学読取手段で撮像することによって、画像処理のための筆を選択するステップと、同じくコントローラ領域上のアイコン画像を光学読取手段で撮像することによって、描画色を選択するステップと、前記コントローラ上で前記光学読取手段を走査させることによって、当該走査の軌跡に対応した描画処理をディスプレイ装置の画面上で行うステップとからなることを特徴とする、請求項１〜３のいずれかに記載の画像処理方法である。

請求項５は、前記画像処理は、撮像手段を前記用紙面に対して所定の動作を行わせることにより、前記用紙面に対応するディスプレイ装置に表示された画像領域の一部もしくは全部を指定し、該領域を２次元画像処理もしくは３次元変形させる処理である請求項１〜４のいずれかに記載の画像処理方法である。

このように、XY座標があらかじめ印刷された用紙をサプライ商品として供給し、この用紙にディスプレイ装置に表示された画像を印刷するとともに、当該画像を画像処理できるようにしてもよい。

ここで、撮像手段のグリッドグラインド動作、すなわち媒体面の鉛直線に対する撮像光軸の一定の傾きを維持した傾斜状態で鉛直線を中心に回転させることで、画像領域を変形させてもよい。そして、画像領域の変形とは、前記画像領域におけるZ方向への隆起状の変形、または−Z方向への陥没状の変形であってもよい（請求項６）。

請求項７は、前記画像処理は、前記画像上のモデリング処理であり、前記画像の所定の位置を指定して当該画像部位をＺ方向または−Ｚ方向に隆起状または陥没状に変形させる請求項５または６記載の画像処理方法である。

請求項８は、前記モデリング処理は、画像の所定形状にマスク設定を行い、当該マスク形状に沿って画像の当該部位をＺ方向または−Ｚ方向に伸張または隆起させる請求項７記載の画像処理方法である。

請求項９は、前記画像の基準点は少なくとも２カ所設けられており、前記マークもこれに対応して用紙上の２カ所以上の部位に印刷されることを特徴とする請求項１〜７のいずれかに記載の画像処理方法である。

このようにキャリブレーションを２カ所のマークで行うことによって、用紙上でのスキャナによる選択入力の際のＸＹ方向およびθ方向への角度のずれも抑止できる。なお、このようなキャリブレーションは３カ所以上のマークを用いてより精度を高めてもよい。

また、本発明の画像処理方法は、は、ディスプレイ装置に表示された画像に対して、ドットパターンの印刷された媒体を光学読取手段で撮像して前記ドットパターンに対応した画像処理を行う画像処理方法であって、前記画像処理のための命令コードまたは座標値がパターン化されたドットパターンがアイコン画像と重ね合わせて印刷された媒体としてのコントローラを有しており、前記コントローラ上のアイコン画像を順次光学読取手段で撮像することによって、画像処理のための筆を選択するステップと、同じくコントローラ上のアイコン画像を光学読取手段で撮像することによって、描画色を選択するステップと、前記コントローラ上を前記光学読取手段を走査させることによって、当該走査の軌跡に対応した描画処理をディスプレイ装置の画面上で行うステップとからなることを特徴とする。

本発明によれば、画面に表示された画像に対して、用紙上に印刷された画像上で正確な位置指定を行ってディスプレイ装置の画面上の画像データの加工・修正を容易に行うことができる。

＜ハードウエアブロック図＞
図１は、コンピュータとスキャナの構成を示すハードウエアブロック図である。

同図に示すように、パーソナルコンピュータは、中央処理装置（ＣＰＵ）を中心に、メインメモリ（ＭＭ）、バスで接続されたハードディスク装置（ＨＤ）、出力手段としての表示装置（ＤＩＳＰ）、入力手段としてのキーボード（ＫＢＤ）を有している。

そして、ＵＳＢインターフェース（ＵＳＢ Ｉ／Ｆ）を介して撮像手段としてのスキャナ（ＳＣＮ）が接続されている。

なお図示を省略してあるが、ディスプレイ装置（ＤＩＳＰ）の他に、出力装置として、プリンタ、スピーカ等が接続されている。

また、バス（ＢＵＳ）は、ネットワークインターフェース（ＮＷ Ｉ／Ｆ）を介してインターネット等の汎用ネットワーク（ＮＷ）に接続されており、電子地図データ、文字情報、画像情報、音声情報、動画情報、プログラム等が図示しないサーバよりダウンロード可能となっている。

ハードディスク（ＨＤ）内には、オペレーティングシステム（ＯＳ）とともに、本実施形態で用いられるドットパターンの解析プログラム等のアプリケーションプログラム、電子地図データ、文字情報、画像情報、音声情報、動画情報や各種テーブル等のデータが登録されている。

中央処理装置（ＣＰＵ）は、ハードディスク内のアプリケーションプログラムをバス（ＢＵＳ）およびメインメモリ（ＭＭ）を介して順次読み込んで実行処理するとともに、データを読み出してディスプレイ装置（ＤＩＳＰ）に出力表示することによって、本実施形態に説明する機能が実現されることになる。

スキャナ（ＳＣＮ）は、図示は省略するが、赤外線照射手段（赤色ＬＥＤ）とＩＲフィルタと、ＣＭＯＳセンサ、ＣＣＤセンサ等の光学撮像素子を備えており、媒体面に照射した照射光の反射光を撮像する機能を有している。ここで媒体面上のドットパターンはカーボンインクで印刷されており、ドットパターン以外の部分はノンカーボンインクで印刷されている。

このカーボンインクは赤外光を吸収する特性を有しているため、前記光学撮像素子での撮像画像では、ドットの部分のみ黒く撮影されることになる。

このようにして読み取ったドットパターンの撮像画像は、スキャナ（ＳＣＮ）内の中央処理装置（ＣＰＵ）によって解析されて座標値またはコード値に変換されて、ＵＳＢケーブルを介してパーソナルコンピュータに送信される。

パーソナルコンピュータの中央処理装置（ＣＰＵ）は、受信した座標値またはコード値を示すテーブルを参照して、これらに対応した電子地図データ、文字情報、画像情報、音声情報、動画情報がディスプレイ装置（ＤＩＳＰ）や図示しないスピーカから出力されるようになっている。

＜ドットパターンの説明 ＧＲＩＤ１＞
次に、本発明で用いるドットパターンについて図２〜図７を用いて説明する。

図２は本発明のドットパターンの一例であるＧＲＩＤ１を示す説明図である。

なお、これらの図において、縦横方向の格子線は説明の便宜のために付したものであり実際の印刷面には存在していない。ドットパターン１を構成するキードット２、情報ドット３、基準格子点ドット４等は撮像手段であるスキャナが赤外線照射手段を有している場合、当該赤外光を吸収する不可視インク又はカーボンインクで印刷されていることが望ましい。

図３はドットパターンの情報ドットおよびそれに定義されたデータのビット表示の一例を示す拡大図である。図４（ａ）、（ｂ）はキードットを中心に配置した情報ドットを示す説明図である。

本発明のドットパターンを用いた情報入出力方法は、ドットパターン１の生成と、そのドットパターン１の認識と、このドットパターン１から情報およびプログラムを出力する手段とからなる。すなわち、ドットパターン１をカメラにより画像データとして取り込み、まず、基準格子点ドット４を抽出し、次に本来基準格子点ドット４がある位置にドットが打たれていないことによってキードット２を抽出し、次に情報ドット３を抽出することによりデジタル化して情報領域を抽出して情報の数値化を図り、その数値情報より、このドットパターン１から情報およびプログラムを出力させる。たとえば、このドットパターン１から音声等の情報やプログラムを、情報出力装置、パーソナルコンピュータ、ＰＤＡまたは携帯電話等に出力させる。

本発明のドットパターン１の生成は、ドットコード生成アルゴリズムにより、音声等の情報を認識させるために微細なドット、すなわち、キードット２、情報ドット３、基準格子点ドット４を所定の規則に則って配列する。図２に示すように、情報を表すドットパターン１のブロックは、キードット２を基準に５×５の基準格子点ドット４を配置し、４点の基準格子点ドット４に囲まれた中心の仮想格子点５の周囲に情報ドット３を配置する。このブロックには任意の数値情報が定義される。なお、図２の図示例では、ドットパターン１のブロック（太線枠内）を４個並列させた状態を示している。ただし、ドットパターン１は４ブロックに限定されないことはもちろんである。

１つのブロックに１つの対応した情報およびプログラムを出力させ、または、複数のブロックに１つの対応した情報およびプログラムを出力させることができる。

基準格子点ドット４は、カメラでこのドットパターン１を画像データとして取り込む際に、そのカメラのレンズの歪みや斜めからの撮像、紙面の伸縮、媒体表面の湾曲、印刷時の歪みを矯正することができる。具体的には歪んだ４点の基準格子点ドット４を元の正方形に変換する補正用の関数（Ｘ_ｎ，Ｙ_ｎ）＝ｆ（Ｘｎ’，Ｙｎ’）を求め、その同一の関数で情報ドット３を補正して、正しい情報ドット３のベクトルを求める。

ドットパターン１に基準格子点ドット４を配置してあると、このドットパターン１をカメラで取り込んだ画像データは、カメラが原因する歪みを補正するので、歪み率の高いレンズを付けた普及型のカメラでドットパターン１の画像データを取り込むときにも正確に認識することができる。また、ドットパターン１の面に対してカメラを傾けて読み取っても、そのドットパターン１を正確に認識することができる。

キードット２は、図２に示すように、ブロックの四隅の角部にある４個の基準格子点ドット４を一定方向にずらして配置したドットである。このキードット２は、情報ドット３を表す１ブロック分のドットパターン１の代表点である。たとえば、ドットパターン１のブロックの四隅の角部にある基準格子点ドット４を上方に０．１ｍｍずらしたものである。情報ドット３がＸ，Ｙ座標値を表す場合に、キードット２を下方に０．１ｍｍずらした位置が座標点となる。ただし、この数値はこれに限定されずに、ドットパターン１のブロックの大小に応じて可変し得るものである。

情報ドット３は種々の情報を認識させるドットである。この情報ドット３は、キードット２を代表点にして、その周辺に配置すると共に、４点の基準格子点ドット４で囲まれた中心を仮想格子点５にして、これを始点としてベクトルにより表現した終点に配置したものである。たとえば、この情報ドット３は、基準格子点ドット４に囲まれ、図３（ａ）に示すように、その仮想格子点５から０．１ｍｍ離れたドットは、ベクトルで表現される方向と長さを有するために、時計方向に４５度ずつ回転させて８方向に配置し、３ビットを表現する。したがって、１ブロックのドットパターン１で３ビット×１６個＝４８ビットを表現することができる。

図３（ｂ）は、図２のドットパターンにおいて、１個の格子毎に２ビットを有する情報ドット３の定義の方法であり、＋方向および×方向にドットをずらして各２ビットの情報を定義している。これにより、本来４８ビットの情報を定義できるが、用途によって分割して３２ビット毎にデータを与えることができる。＋方向および×方向の組み合わせによって最大２^１６（約６５０００）通りのドットパターンフォーマットが実現できる。

なお、図示例では８方向に配置して３ビットを表現しているが、これに限定されずに、１６方向に配置して４ビットを表現することも可能であり、種々変更できることはもちろんである。

キードット２、情報ドット３または基準格子点ドット４のドットの径は、見栄えと、紙質に対する印刷の精度、カメラの解像度および最適なデジタル化を考慮して、０．０５ｍｍ程度が望ましい。

また、撮像面積に対する必要な情報量と、各種ドット２，３，４の誤認を考慮して基準格子点ドット４の間隔は縦・横０．５ｍｍ前後が望ましい。基準格子点ドット４および情報ドット３との誤認を考慮して、キードット２のずれは格子間隔の２０％前後が望ましい。

この情報ドット３と、４点の基準格子点ドット４で囲まれた仮想格子点５との間隔は、隣接する仮想格子点５間の距離の１５〜３０％程度の間隔であることが望ましい。情報ドット３と仮想格子点５間の距離がこの間隔より近いと、ドット同士が大きな塊と視認されやすく、ドットパターン１として見苦しくなるからである。逆に、情報ドット３と仮想格子点５間の距離がこの間隔より遠いと、隣接するいずれの仮想格子点５を中心にしてベクトル方向性を持たせた情報ドット３であるかの認定が困難になるためである。

たとえば，情報ドット３は、図４（ａ）に示すように、ブロック中心から時計回りでＩ_１からＩ_１６を配置する格子間隔は０．５ｍｍであり、２ｍｍ×２ｍｍで３ビット×１６＝４８ビットを表現する。

なお、ブロック内に個々に独立した情報内容を有し、かつ他の情報内容に影響されないサブブロックをさらに設けることができる。図４（ｂ）はこれを図示したものであり、４つの情報ドット３で構成されるサブブロック[Ｉ_１、Ｉ_２、Ｉ_３、Ｉ_４]、[Ｉ_５、Ｉ_６、Ｉ_７、Ｉ_８]、[Ｉ_９、Ｉ_１０、Ｉ_１１、Ｉ_１２]、[Ｉ_１３、Ｉ_１４、Ｉ_１５、Ｉ_１６]は各々独立したデータ（３ビット×４＝１２ビット）が情報ドット３に展開されるようになっている。このようにサブブロックを設けることにより、エラーチェックをサブブロック単位で容易に行うことができる。

情報ドット３のベクトル方向（回転方向）は、３０度〜９０度毎に均等に定めるのが望ましい。

図５は情報ドット３およびそこに定義されたデータのビット表示の例であり、他の形態を示すものである。

また、情報ドット３について基準格子点ドット４で囲まれた仮想格子点５から長・短の２種類を使用し、ベクトル方向を８方向とすると、４ビットを表現することができる。このとき、長い方が隣接する仮想格子点５間の距離の２５〜３０％程度、短い方は１５〜２０％程度が望ましい。ただし、長・短の情報ドット３の中心間隔は、これらのドットの径より長くなることが望ましい。

４点の基準格子点ドット４で囲まれた情報ドット３は、見栄えを考慮し、１ドットが望ましい。しかし、見栄えを無視し、情報量を多くしたい場合は、１ベクトル毎に、１ビットを割り当て情報ドット３を複数のドットで表現することにより、多量の情報を有することができる。たとえば、同心円８方向のベクトルでは、４点の格子ドット４に囲まれた情報ドット３で２^８の情報を表現でき、１ブロックの情報ドット１６個で２^１２８となる。

図６は情報ドットおよびそこに定義されたデータのビット表示の例であり、（ａ）はドットを２個、（ｂ）はドットを４個および（ｃ）はドットを５個配置したものを示すものである。

図７はドットパターンの変形例を示すものであり、（ａ）は情報ドット６個配置型、（ｂ）は情報ドット９個配置型、（ｃ）は情報ドット１２個配置型、（ｄ）は情報ドット３６個配置型の概略図である。

図２と図４に示すドットパターン１は、１ブロックに１６（４×４）の情報ドット３を配置した例を示している。しかし、この情報ドット３は１ブロックに１６個配置することに限定されずに、種々変更することができる。たとえば、必要とする情報量の大小またはカメラの解像度に応じて、情報ドット３を１ブロックに６個（２×３）配置したもの（ａ）、情報ドット３を１ブロックに９個（３×３）配置したもの（ｂ）、情報ドット３を１ブロックに１２個（３×４）配置したもの（ｃ）、または情報ドット３を１ブロックに３６個配置したもの（ｄ）がある。

次に、図８から図９は、ドットパターンとコード値とＸＹ座標との関係を示した説明図である。

図８（ｂ）に示すごとく、ドットパターンは、４×４個のブロック領域で構成されたドットパターンであり、このブロック内でＣ_１−０〜Ｃ_{３１−３０}に区画されている。各領域のドットコードフォーマットを示したものが図８（ａ）および図９である。

図８（ａ）は、コントローラ領域におけるドットコードフォーマットを示したものである。Ｃ_０〜Ｃ_１５にはオペレーションコード、Ｃ_１６〜Ｃ_２９にはコントローラＩＤ、Ｃ_３０〜Ｃ_３１にはパリティがそれぞれ登録されるようになっている。

また、図９は、ペーパータブレット等のＸＹ座標領域におけるドットコードフォーマットを示したものである。Ｃ_０〜Ｃ_７にはＹ座標、Ｃ_８〜Ｃ_１５にはＸ座標、Ｃ_１６〜Ｃ_２９にはペーパーＩＤ、Ｃ_３０〜Ｃ_３１にはパリティがそれぞれ登録されるようになっている。

このように、本ドットパターンでは、４×４個の格子領域中に、Ｘ座標、Ｙ座標とともに、それに対応するコード情報（コード値）を登録しておくことができる。

＜ドットパターンの説明 ディレクションドット＞
図１０〜図１１は、ドットパターンの他の一例について説明した図である。

図１０（ａ）および（ｂ）は、図２〜図７で説明したドットパターンにおいて、３×３＝９個の格子領域で構成されるブロックのドットパターンにおいて、特定の格子領域（ディレクション領域）だけ情報ドット３の配置方向を他の格子領域と変えることによって、ブロックの方向を定義したものである。

すなわち、図１０（ａ）において、左下の格子領域３４ａ、中央の格子領域３４ｂ、左下の格子領域３４ｃは中心から縦横方向に情報ドット３が配置され、その他の格子領域では中心から斜め方向に情報ドット３が配置されている。このように格子領域３４ａ、３４ｂ、３４ｃを配置することでこの格子領域を結ぶ三角形の形状、すなわち、底辺３４ａ、３４ｃに対する頂点３４ｂの関係から、当該ブロックが上向きであることが認識できる。

このように、ブロック内の情報ドット３の配置方向を変更した（中心から縦横方向に情報ドットを配置した）格子領域３４ａ、３４ｂ、３４ｃの配置関係（ここでは三角形）によってブロックの方向を定義することができる。これによって、ブロック中の全ての格子領域に情報ドット３を配置することができるため、キードットのために格子領域を犠牲にすることがなく、全ての格子領域に情報ドット３を配置することができる。

なお、図１０（ｂ）は、図１０（ａ）に示したブロックを縦横方向に２個ずつ連結したものである。

図１１（ａ）および（ｂ）は、図１０（ａ）および（ｂ）に対応した情報ドット３の配置状態を示す図である。

＜第１の実施形態 マスク指定方法＞
次に、図１２〜図１９を用いて、マスク領域を指定し、アドレスを対応付ける技術について説明する。

（ペーパーコントローラ）
図１２は、ドットパターンの印刷された用紙に対して、マスク領域を設定するためのペーパーコントローラを示している。ここで、当該用紙にはドットパターンと重畳してディスプレイ画面上の画像が印刷されているものとする。そして、この用紙とディスプレイ画像とはキャリブレーション作業が実行されているものとする。

キャリブレーションとは、ＸＹ座標を意味するドットパターンがあらかじめ印刷されたサプライ商品としての用紙が提供された場合に必要な作業である。

すなわち、あらかじめＸＹ座標が印刷された用紙にディスプレイ装置に表示された画像を印刷する場合、ディスプレイ装置上に表示された画像と用紙（ＸＹ座標）に印刷された画像との間にずれを生じるために、この調整値を算出しておく必要がある。これがキャリブレーションである。したがって、白紙の用紙に対して、ディスプレイ画像に表示された画像をドットパターンとともに印刷する場合には当初よりディスプレイ画像と印刷される画像とは一致しているため、キャリブレーション作業は不要となる。

キャリブレーションのためには、ＸＹ座標がドットパターンとして印刷された用紙に、表示装置に表示された画像を印刷する際に、当該画像と同時に図３１（ａ）および（ｃ）に示すようなキャリブレーションマークを印刷しておく。

実際のキャリブレーションでは、少なくとも２点のキャリブレーションマークを用いればよく、このキャリブレーションマークを順次スキャナで読み取ることにより行われる。その際に、読み取ったキャリブレーションマークをＸ，Ｙとした場合、実際の表示装置での位置はｘ＝ｆ（Ｘ）、ｙ＝ｆ（Ｙ）で計算することができる。

以後はこの計算式を用いて、用紙から読み取ったＸＹ座標値から算出したｘｙ座標値を用いればよい。

なお、キャリブレーションマークは３点以上として精度を高めてもよい。

このペーパーコントローラの各アイコン画像（四角形や三角形で示した各領域）にはそれぞれコード値がドットパターンとして印刷されており、スキャナでこれらのアイコン領域を撮像（タッチ）することによって、当該コード値がパーソナルコンピュータでコマンドに変換させてアプリケーションプログラムに引き渡されるようになっている。

たとえば、このペーパーコントローラでは、マスク作成処理を行うことができる。

まずユーザがこのペーパーコントローラの左半図に示されたマスク作成領域の「マスク作成開始」領域をスキャナで選択入力（撮像）すると、ディスプレイ装置の画面上には作成画面が開かれて表示される。ユーザは、作成したい形状のアイコン（たとえば、多角形や曲線等）をスキャナで選択入力（撮像）する。

次に、紙面上でマスク領域としたい印刷画像上の境界領域を走査してマスクを作成する。

なお、作成したマスクを移動させる場合は、「移動」を選択入力した後、移動先の位置に対応する紙面上の位置をスキャナで選択入力（撮像）する。

生成したマスクを左回転させるには「左回転」を、右回転させるには「右回転」を、それぞれスキャナで選択入力（撮像）する。また、生成したマスクを拡大させるには「拡大」を、縮小させるには「縮小」を、それぞれスキャナで選択入力（撮像）する。

また、ディスプレイ装置上で一つ前の画面に戻ってやり直したいときにはマスク作成領域の「一つ前に戻す」領域をスキャナで選択入力（撮像）する。マスクの作成を途中で中止する場合には「中止」をスキャナで選択入力（撮像）する。

最後に、マスクの作成が完了したら、「登録」をスキャナで選択入力（撮像）する。

なお、「削除」領域をスキャナで選択入力（撮像）すると「削除しますか？」とディスプレイ装置上に表示される。ここで、マスク作成領域の「はい」領域をスキャナで選択入力（撮像）すると、選択されたマスクが削除される。削除を行わない場合には、「いいえ」をスキャナで選択入力（撮像）する。

たとえば、このペーパーコントローラの左半図に示されたマスク作成領域の「マスク作成開始」アイコンをスキャナで撮像（タッチ）し、マスク領域とした図形（多角形や曲線等）を選択入力（撮像）した後、「ＵＲＬ コピー／リンク」領域の「コピー実行」アイコンをスキャナで撮像（タッチ）して、所望のインターネットアドレス（ＵＲＬ）を複写（コピー）する。次に、「コピー＆リンク実行／終了」アイコンをスキャナで選択入力（撮像）して前述で指定したマスク領域に前記ＵＲＬを関連付ける。これによって、以後は、用紙上のマスク領域をスキャナで選択入力（撮像）したときは、ブラウザプログラムがこれに関連付けられたＵＲＬにアクセスするようになる。

このようなマスク領域とＵＲＬのリンクは、ディスプレイ装置の画面上に表示されるパネルに表示されるようになっていてもよい。ディスプレイ装置の画面上に表示されるパネルに対しては、ペーパーコントローラの「パネル操作」領域の各アイコンをスキャナで選択入力（撮像）することによって、ＵＲＬのリンクを削除したり、パネル上のポインタを上下に移動させたり、パネル画面をスクロールさせることができるようになっている。

また、ペーパーコントローラの「Ｗｅｂ閲覧」領域の各アイコンをスキャナで選択入力（撮像）することによって、ブラウザプログラムの画面の移動（上下方向や過去の参照ページへのバック（戻り）やフォワード（進む）操作）や、スクロール操作が可能となっている。これらの操作は、各アイコン領域にコード値がドットパターンとして登録されており、このコード値をアプリケーションプログラムが解析して、ブラウザプログラムに対して割り込み処理を行うことによって実現可能である。

図１３は、ハードディスク装置に登録されたドットコード・処理命令対応テーブルの内容を示している。

当該テーブルは、図１２に示すペーパーコントローラに用いられるものである。ペーパーコントローラの各制御領域（ペーパーコントローラ用領域）には、ドットパターンが印刷されている。各ドットパターンにはドットコードが対応しており、ドットコードには処理命令（コマンド）が対応している。ドットパターンをスキャナで指定入力（撮像）したときに何らかの処理命令が実行されることになる。たとえば、マスク作成を指示したり、マスクの登録を指示したりすることになる。

次に、図１４〜図１９を用いて、マスク指定処理の具体例について説明する。

図１４は、マスク制作用ペーパータブレットを示した図である。まず、ディスプレイ装置の画面上に表示された画像を、あらかじめドットパターンが印刷された用紙上に印刷する。すると、図１５に示す如く、マスク制作用ペーパータブレットと、図形または文書が重畳印刷される。次に、キャリブレーション作業を実行し、用紙とディスプレイ装置の画面の位置関係を調整する。

次に、画像が印刷された用紙上において、図１２に示したペーパーコントローラを用いて、上述した操作により、マスク領域とした領域の外縁をスキャナで走査する。

たとえば、図１５の用紙の左上の車の図形を塗りつぶしたい場合、用紙上の車の図形の外縁に沿ってスキャナを走査する。このようにして走査された外縁にしたがって、ハードディスク装置（ＨＤ）内に設けられたマスクテーブル（図１６参照）には、この外縁に囲まれた領域内にマスクフラグが設定される。図１６において、マスクテーブル内にはマスク番号１のマスクフラグと、マスク番号２のマスクフラグとが設定されている。

アプリケーションプログラムは、このマスクテーブルを参照することによって、画像のどの部分を処理すればよいかがわかるようになっている。

図１７は、ハードディスク装置（ＨＤ）内に設定されるマスク・アドレス対応テーブルの内容である。

マスク・アドレス対応テーブルには、マスク番号に対応してアドレスが登録されるようになっている。たとえばマスク１にはインターネットアドレス（ＵＲＬ）が登録されており、マスク２にはローカルのドライブと実行ファイルが登録されている。このような登録は、上述した如く、ペーパーコントローラを用いてＵＲＬのコピー及びリンク操作を行うことによりなされる。

たとえば、スキャナでマスク１の領域が指定入力されたときには、ブラウザプログラムが起動し、このマスク・アドレス対応テーブルに登録されたインターネットアドレス（ＵＲＬ）にアクセスするようになっている。

また、スキャナでマスク２の領域が指定入力されたときには、ローカルのＣドライブの所定実行プログラム（たとえば画像処理プログラム等）が起動するようになっている。

図１８〜図１９は、マスク指定方法の他の実施例について説明する図である。

図１４〜図１７では、ディスプレイ装置の画面上に表示された画像を、マスク制作用ペーパータブレットに印刷した後に、マスクを指定していた。

本実施形態では、ユーザは、ディスプレイ装置の画面上で、マウス等を用いて画像の外縁を走査し、マスクを指定する。その後に印刷処理を行うと、図１８に示す如く、マスクを指定した領域のみドットパターンが印刷され、当該領域以外の領域には、ドットパターンが印刷されない。

これにより、必要な領域にのみドットパターンが印刷される。

図１９は、ハードディスク装置（ＨＤ）内に設定されるテーブルについて説明する図である。

図１９（ａ）は、マスク・ドットコード対応テーブルの内容である。

マスク・ドットコード対応テーブルには、マスク番号に対応してドットコードが登録されるようになっている。たとえばマスク１にはドットコード５４００１が登録され、マスク２にはドットコード５４００２が登録される。

図１９（ｂ）は、ドットコード・アドレス対応テーブルの内容である。

図１９（ａ）でドットコードが登録されると、ドットコードに対応したアドレスが登録される。アドレスは、ユーザが図１２のペーパーコントローラを用いてＵＲＬのコピー及びリンク操作を行うか、キーボードでアドレスを直接入力することにより登録される。

これにより、スキャナでマスク１の領域が指定入力されたときには、ブラウザプログラムが起動し、このドットコード・アドレス対応テーブルに登録されたインターネットアドレス（ＵＲＬ）にアクセスするようになっている。

また、スキャナでマスク２の領域が指定入力されたときには、ローカルのＣドライブの所定実行プログラム（たとえば画像処理プログラム等）が起動するようになっている。

＜第2の実施形態 モデリング＞
次に、図２０〜図３０を用いて、ディスプレイ装置上に表示された画像の一部の領域を指定して、その指定領域の範囲で画像を三次元処理したり着色、補正をするような画像修正、加工する場合のマスク加工技術について説明する。

＜モデリング用コントローラ＞
図２０は、マスク領域を作成し、その領域を三次元モデリングしたり、着色（ペイント）する場合のコントロール用の用紙（モデリング用コントローラ）を示したものである。

このモデリング用コントローラは上段、中段、下段に分割された領域にそれぞれ指示コマンドが印刷された領域が印刷されており、これらの領域には座標またはコードを意味するドットパターン（図示は省略）が印刷されている。したがって、スキャナでそれぞれの領域を指定入力（撮像）することにより、領域に印刷されたドットパターンが座標値またはコード値に変換された中央処理装置（ＣＰＵ）に読み込まれて、アプリケーションプログラムによってそれに対応する命令が実行されるようになっている。

上段のマスク作成指示領域には、マスク作成開始指示用領域（マスク作成開始）や、多角形、曲線、円等のマスク図形が指定可能となっている。

中段のモデリング作業指示領域には、マスク作成指示領域で指定されたマスク領域内でのモデリング処理を指示するようになっている。具体的には、地図等の画像データのＺ方向への三次元処理を意味しており、スキャナでポイントを指定した上下方向（Ｚ方向）へのモデリング処理が可能となっている。このときの三次元処理は各種の関数を用いて行うことが可能で、マスク領域全体をＺ方向に浮き上がらせたり、中心のみを釣鐘状に＋Ｚ方向に盛り上がらせたりする三次元モデリング処理が可能となっている。

なお、下段のペイント指示領域は、マスク領域に対する着色をスキャナで指示入力できるようになっている。

次に、図２０で説明したモデリング用コントローラを用いた、マスク作成、モデリング処理、ペイント処理の具体例を説明する。

（マスク作成）
まずユーザがモデリング用コントローラの「マスク作成開始」領域をスキャナで選択入力（撮像）すると、ディスプレイ装置の画面上には作成画面が開かれて表示される。ユーザは、作成したい形状のアイコン（たとえば、多角形や曲線等）をスキャナで選択入力（撮像）する。

次に、モデリング用コントローラの紙面上でマスク領域としたい印刷画像上の境界領域を走査してマスクを作成する。

なお、作成したマスクを移動させる場合は、「移動」を選択入力した後、移動先の位置に対応する紙面上の位置をスキャナで選択入力（撮像）する。

生成したマスクを左回転させるには「左回転」を、右回転させるには「右回転」を、それぞれスキャナで選択入力（撮像）する。また、生成したマスクを拡大させるには「拡大」を、縮小させるには「縮小」を、それぞれスキャナで選択入力（撮像）する。

また、ディスプレイ装置上で一つ前の画面に戻ってやり直したいときにはモデリング用コントローラの「一つ前に戻す」の領域をスキャナで選択入力（撮像）する。マスクの作成を途中で中止する場合には「中止」をスキャナで選択入力（撮像）する。

最後に、マスクの作成が完了したら、「登録」をスキャナで選択入力（撮像）する。

なお、「削除」領域をスキャナで選択入力（撮像）すると「削除しますか？」とディスプレイ装置上に表示される。ここで、モデリング用コントローラの「はい」の領域をスキャナで選択入力（撮像）すると、選択されたマスクが削除される。削除を行わない場合には、「いいえ」をスキャナで選択入力（撮像）する。

（モデリング）
ユーザは、「モデリング開始」アイコンをスキャナで選択入力（撮像）してモデリングを開始する。

次に、モデリングの方法を選択する。具体的には、「ポイント上・下」、「影響領域上・下」、「マスク領域 平面上・下」または「マスク領域 曲面上・下」のいずれかのアイコン（領域）をスキャナで選択入力（撮像）する。

次に、モデリングを行う位置を決定する。紙面上で隆起させたい位置をスキャナで選択入力（撮像）すると、ディスプレイ装置の画面上において、紙面上のスキャナで選択入力（撮像）した位置に最も近いメッシュの交点（ポイント）が点滅する。その際、モデリングの方法として「マスク領域 平面上・下」または「マスク領域 曲面上・下」が選択されている場合は、ポイントと共にマスクの輪郭が点滅する。

次に、モデリングを行う。ユーザは、「上げる」「下げる」の三角アイコンをスキャナで選択入力（撮像）し、メッシュを隆起させてモデリングする。隆起形状は、上記操作において選択されたモデリングの方法にしたがう。より高く隆起させたい場合、またはより深く陥没させたい場合にはスキャナで選択入力（撮像）の回数を多くして、たとえば紙面上をスキャナで連続的にタッピングする動作を行ってもよい。

図２１および図２２は、マスク形状とそれに対応したＺ方向への隆起形状のモデリング処理を示した図である。これらの図において左側の図形は、「マスク領域 曲面上・下」をスキャナで選択入力（撮像）して山状（釣鐘状）に隆起させたモデリング処理状態を示している。また、右側の図形は、「マスク領域 平面上・下」をスキャナで選択入力（撮像）してビルディングのように立方体状に隆起させたモデリング処理状態を示している。このとき、マスクの指定は、スキャナでマスク形状の内部のいずれか任意の点を指定すればよい。

なお、モデリング作業の途中で、一つ前の操作に戻ってやり直したいときは、「一つ前に戻す」を、モデリングを途中でやめる場合には、「中止」を、それぞれスキャナで選択入力（撮像）する。

所望の形状（隆起形状や陥没形状等）が形成されたら、「決定」をスキャナで選択入力（撮像）する。これにより、モデリングが確定する。

ところで、紙面上でスキャナを鉛直方向よりも傾けた場合には撮像領域内で傾けた方向で明暗の差ができるため、これをパーソナルコンピュータの画像認識プログラムによって認識することでスキャナを傾けた方向が認識できる。この原理を利用して、スキャナのグリッドグラインド動作、すなわち用紙面の鉛直線に対する撮像光軸の一定の傾きを維持した傾斜状態で鉛直線を中心に回転させること、つまり撮像光軸の傾斜状態の変化を認識することによって表示装置に表示された画像処理を指示することができる。

たとえば、スキャナを傾けた状態で撮像範囲を一定箇所にしながらスキャナの後端（図２３（ａ）では上端）を所定時間内で時計方向に回動させる（グラインド）ことによって、図２３（ｂ）に示すように、Ｚ方向に陥没させるモデリング処理を実行してもよい。

また、逆に、スキャナの後端（図２４（ａ）では上端）を所定時間内で反時計方向に回動させる（グラインド）ことによって、図２４（ｂ）に示すように、Ｚ方向に隆起させるモデリング処理を実行してもよい。

図２５〜図３０は、スキャナの傾きおよび回動を認識する方法について説明した図である。

図２５に示したように、スキャナの撮像画像の明暗を認識し、その明暗領域が撮像中心に対して変化したときに、中央処理装置は、スキャナが図２３〜図２４のように動作されたことを認識できる。

図２５は、スキャナの傾きと角度との関係を説明した図である。

紙面上のドットパターンは、紙面の縦方向と同方向に重畳印刷されている。（ａ）に示す如く、ドットパターンの向きと、スキャナ内のカメラの向きとがなす角度をαとする。また、（ｂ）に示す如く、ユーザがスキャナを傾けたときに、スキャナの傾きとカメラの向きとがなす角度をβとする。この場合に、ドットパターンの向きとスキャナの傾きとがなす角度γが、紙面に対してスキャナを傾けた角度となる。すなわち、角度γは、
γ＝α＋β
となる。

図２６から図２７は、上述したスキャナの動作において、スキャナの撮影画像の明暗および傾斜方向の算出方法について説明した図である。

スキャナ（撮像手段）の媒体面の鉛直方向に対する傾きについては、図２５（ｂ）に示すように、当該スキャナの撮像視野における明度の差で認識することが可能である。

スキャナの傾斜方向とは、図２５（ａ）に示す如く、スキャナと紙面とのなす角度をいう。ユーザがどの方向にスキャナを傾けたかは、以下の方法により求めることができる。

まず、キャリブレーションを行う。ここでのキャリブレーションとは、前述のディスプレイ装置の画面と用紙の座標値を整合させるキャリブレーションではなく、あくまでもスキャナと紙面の角度を調整するためのキャリブレーションを意味している。スキャナを紙面に対して垂直に立て、その場合の、図２６に示した、１〜４８のセルの明るさを測定する。図２６は、スキャナ周辺の領域である。このときの明るさをＢＬ０（ｉ）とする。ｉは、測定したセルの値であり、たとえば、２４番のセルの明るさは、ＢＬ０（２４）と表示する。

スキャナ内部には、ＬＥＤが２個設置されている。そのため、スキャナを紙面に対して垂直に立てていても、ＬＥＤ付近のセルとＬＥＤから離れた位置にあるセルとでは、明るさが異なる。そのため、キャリブレーションを行う。

次に、スキャナを傾けた場合の明るさを測定する。図２７（ａ）に示す如く、スキャナを一定方向に傾けた場合の、セル１からセル４８までの明るさを測定し、セルｉにおける明るさをＢＬ（ｉ）とする。そして、各セルにおけるＢＬ（ｉ）とＢＬ０（ｉ）との差分を計算する。そして、
Ｍａｘ（ＢＬ０（ｉ）−ＢＬ（ｉ））
を計算する。

スキャナを傾けた場合、傾けた方向と逆の方向が暗くなる。スキャナを傾けた方向にＬＥＤも傾くため、傾けた方向と逆方向では、ＬＥＤとの距離が遠くなるからである。したがって、図２７（ｂ）に示す如く、差分が最大値となるセルと逆方向が、スキャナを傾けた位置となる。

これにより、スキャナを傾けた方向が定まる。

次に、図２６〜図２７を用いて、キャリブレーションを行うことにより、傾斜方向および角度を決定する他の方法について説明する。

最初にキャリブレーションを行う。まず、スキャナを紙面に対して垂直に立て、図２６に示したセル１からセル４８の明るさを測定し、セルｉにおける明るさをＢＬ０（ｉ）とする。

次に、スキャナを４５°傾け、図２７に示す如くペン先を軸にして一周させる。この場合に、スキャナがセルｉの位置にきた場合の明るさをＢＬ４５（ｉ）とする。セル１からセル４８までのＢＬ４５（ｉ）を求める。以上の操作によりキャリブレーションが終了する。

次に、ユーザがスキャナを傾けた場合の、セル１からセル４８までの明るさを測定し、セルｉにおける明るさをＢＬ（ｉ）、ｉ＝１,ｎ（＝４８）とする。そして、

を求める。

ＢＬ０（ｉ）−ＢＬ４５（ｉ）は一定であるため、ＢＬ０（ｉ）−ＢＬ（ｉ）の値が最も大きいとき、すなわち、ＢＬ（ｉ）が最小となるときに、

は最大値となる。上述した如く、スキャナを傾けた方向と逆の方向が最も暗くなるため、この場合のセルｉの逆方向が、スキャナを傾けた方向となる。

また、スキャナを傾けた角度は、

となる。

なお、上述した式は、明るさに対して角度θが線形となることを想定しているが、厳密には、三角関数等で以下のように近似するとさらに精度を高めることができる。このようにすると、角度は

となる。

図２９は、フーリエ関数を用いて、傾斜方向を測定する方法である。

図２８に示す如く、１から８の８個のセルを測点とし、各セルの明るさを測定する。

サイン関数は、

で表される。すなわち、未知数は２個となる。

したがって、ｎ個の測点を有する場合には、離散したポイントがｎ個となるため、ｎ/２個のサイン関数の和を求め、これが解析中心から半径における明るさＢＬ（ｉ）となる。すなわち、

ただし、n=2m（nは測点の数）
で表される。

本実施例においては、測点が８個であるため、ｎ＝８である。したがって、４個のサイン関数の式を合成することにより、フーリエ級数のα１〜α４およびβ１〜β４を求める。そして、解析中心から半径における明るさＢＬ（ｉ）を、４個のサイン関数の和で表す。

上記式より、ＢＬ（ｉ）が最小値となる角度θが最も暗い位置であり、その１８０度反対の方向が、スキャナを傾けた方向となる。

図３０は、ｎ次方程式を解くことにより、傾斜方向を測定する方法である。

図３０のグラフは、ｎ次関数を示したものである。ｎ次関数を用いた場合、解析中心から半径における明るさＢＬ（ｉ）は、
ＢＬ（ｉ）＝α１（θ―β１）・α２（θ―β２）・・・・αｊ（θ―βｊ）
ただし、ｊ＝ｎ/２,ｎ＝２ｍ
で表される。

図２８に示す如く、本実施例においては、測点が８個であるため、８個の解を求める必要がある。１個の方程式には、αｊ,βjの２個の未知数が含まれているため、４個の方程式を解き、α１〜α４およびβ１〜β４を求める。

これにより、ＢＬ（ｉ）が最小値となる角度θを求める。角度θとなる位置が最も暗い位置であり、その１８０度反対の方向が、スキャナを傾けた方向となる。

なお、図２９および図３０による測定方法では、用紙の鉛直線に対するスキャナの傾きまでは測定できない。そこで、図２６〜図２７に示した測定方法と併用することにより、具体的に傾けた角度を測定することができる。

図２５に示したように、中央処理装置（ＣＰＵ）がスキャナの撮像画像の明暗を認識し、撮像画像の明暗が前記撮像中心に対して回転するように変化したときに、中央処理装置（ＣＰＵ）は、スキャナが回動されたことを判定する。

（ペイント）
ユーザは、ペイント機能により、メッシュ上に色を塗ったり、マスク領域内に模様や写真を貼り付けることができる。

まず、モデリング用コントローラの「ペイント開始」の領域をスキャナ（光学読取手段）で選択入力（撮像）する。

次に、「ペン」「スプレー」「筆」のいずれかを選択入力（撮像）して、筆の種類を決定する。

次に、筆のパラメータを決定する。筆の太さを決定する場合には「太さ」、ぼかしを決定する場合には「ぼかし」、透明感を決定する場合には「透明感」をそれぞれスキャナで選択入力（撮像）する。ここで、「上げる」「下げる」の三角アイコンをスキャナで選択入力（撮像）することにより筆のパラメータを変化させることができる。初期状態に戻すときは、「初期状態」をスキャナで選択入力（撮像）する。このようにして、筆のパラメータが決定したら、「決定」をスキャナで選択入力（撮像）する。

次に、カラーパレットで色を選択する。ユーザは、カラーパレット内の希望の色のパネルをスキャナで選択入力（撮像）する。

次に、描き方を選択する。

折れ線を描く場合には「直線」をスキャナで選択入力（撮像）し、スキャナで紙面上の位置を次々に移動させて紙面から離すと折れ線が描かれる。

曲線を描く場合には「曲線」をスキャナで選択入力（撮像）し、スキャナで紙面上の位置を次々に移動させて紙面から離すと自動的に曲線が描かれる。

マスク領域全体を塗りつぶす場合には、「マスク領域 塗りつぶし」をスキャナで選択入力（撮像）し、マスクが設定されている境界の内側領域に対応する紙面上の位置をスキャナで選択入力（撮像）すると、前記で選択された色でマスク内が着色される。

マスク領域に模様や写真を貼り付ける場合には、「模様」または「写真」をスキャナで選択入力（撮像）すると、モニタ上に模様や写真のリストが表示される。

ユーザは、三角アイコンをスキャナで選択入力（撮像）して、網掛け表示する模様、写真を選択する。ここで、使用する模様、写真が網掛け表示されたら「決定」をスキャナで選択入力（撮像）してその模様、写真を選択する。

次に、マスクが設定されている境界の内側領域に対応する紙面上の位置をスキャナで選択入力（撮像）すると、このマスク領域内に、前記で選択した模様または写真が貼り付けられる。

なお、ディスプレイ装置の画面上の一つ前の画面の操作に戻ってやり直したい場合にはモデリング用コントローラの「一つ前に戻す」をスキャナで選択入力（撮像）し、先に進みたい場合には「一つ先に進む」をスキャナで選択入力（撮像）する。

最後に、ペイントを終了する場合には、「終了」をスキャナで選択入力（撮像）する。

＜第３の実施形態 メークのシミュレーション＞
図３１〜３４は、本発明の一実施形態である、メーク・シミュレーションについて説明する図である。

あらかじめ前述のドットパターンが印刷された用紙を用意しておき、この用紙にディスプレイ装置（モニタ）上に表示された画像をスキャナを用いて修正・加工する方法について説明する。

図１で説明したハードディスク装置（ＨＤ）内のアプリケーションプログラムの1つとして化粧シミュレーションプログラムがインストールされている。この化粧シミュレーションプログラムは、ディスプレイ装置上に表示された顔画像（写真画像またはCG加工画像でもよい）に対して、化粧を施すシミュレーションを実行するものである。

本実施形態では、このシミュレーションのためのチークブラシやカラーパレットの選択を前記ドットパターンが印刷された用紙を用いて行うものである。

この用紙には同図（ｂ）に示すように、あらかじめ図２等で説明したドットパターンが印刷されている。

この実施形態では、用紙のドットパターンはＸＹ座標を意味するドットパターンが印刷されている。

この用紙を図示しない印刷装置（プリンタ）にセットし、図３１（ａ）に表示された顔の画像を印刷する。このとき、用紙の上半分には顔の画像が印刷され、下半分にはコントローラ画像（メークコントローラ）が印刷される（図３２参照）。このコントローラ画像は、「化粧品の種類」、「化粧ファイル」、「カラーパレット」、「お気に入り」等の入力を行うための指定領域が四角形状や三角形状の領域で印刷されている。この指定領域をスキャナで光学的に読み取ることによって、当該指定領域のドットパターンの座標またはコードを解析プログラムによって指示コマンドに変換してシミュレーションプログラムに引き渡すようになっている。

ここで、スキャナの化粧料等の選択入力をディスプレイ装置の画面に表示された顔画像に対して正確に反映させるために、画面と用紙の位置関係を一致させる必要がある。

この一致させるためのキャリブレーション作業は以下のようにして行う。

まず、用紙には、画像とともに、あらかじめディスプレイ装置上の画像の基準点が設定されており、当該基準点を目視可能なマーク（●で示されている）が前記画像とともに印刷される。このマークはディスプレイ装置の画面上にも表示されていてもよい。

このように印刷されたマークを用いてキャリブレーション作業を行う場合、まず、図３２の上半分に示された顔画像が印刷された用紙の中の、左上の●（黒丸）で示されたキャリブレーションボタン（マーク）をスキャナで指定（タッチ）する。

次に、右下の●（黒丸）、右上の●（黒丸）、左下の●（黒丸）の順番にスキャナで指定（タッチ）する。この４つのキャリブレーションボタンの指定（タッチ）によって、用紙上のキャリブレーションボタンのそれぞれの座標位置をシミュレーションプログラムに引き渡し、これをディスプレイ装置上の４カ所のキャリブレーションボタンの位置と一致させる。

このようなキャリブレーション作業によって、用紙上の座標位置とディスプレイ装置上の画像の位置関係が一致し、画面に表示された顔画像に対して正確な位置で、メークの処理が施せるようになる。

＜メーク用コントローラ＞
次に、図３２の下半図で説明した、メーク用コントローラを用いたメーク・シミュレーションプログラムによるシミュレーション手順を具体的に説明する。

まずユーザは、「メーク開始」をスキャナで選択入力（撮像）してメーク・シミュレーションを開始する。

次に、化粧ファイルを選択する。「選択」を選択入力すると、ディスプレイ装置上に、既に登録されたファイルの一覧が表示される。ユーザは上向きおよび下向きの三角アイコンを選択入力（撮像）して、網掛け表示する化粧ファイルを選択する。使用する化粧ファイルが網掛け表示されたら、スキャナで「決定」を選択入力（撮像）する。

次に、化粧品の種類を選択する。ここで、メーク・シミュレーションプログラムの化粧品の種類のデフォルト値は、チークブラシに設定されている。したがって、デフォルト値のチークブラシを選択する場合には次の操作に移行する。「口紅・紅筆」「アイシャドーブラシ」「マスカラ」「アイブロー」「アイライナー」を選択する場合には、希望する化粧品をスキャナで選択入力（撮像）する。

次に、筆の大きさ、ぼかし、透明感を決定する。筆の大きさを選択する場合には、「筆の大きさ」をスキャナで選択入力（撮像）し、大きくする場合には上向きの三角アイコンを、小さくする場合には、下向きの三角アイコンを選択入力（撮像）する。初期設定に戻す場合には「初期設定」をスキャナで選択入力（撮像）する。太さが決定したら、「決定」をスキャナで選択入力（撮像）する。ぼかし、透明感を決定する場合も、「ぼかし」「透明感」をスキャナで選択入力（撮像）し同様に決定する。

次に、メーク・シミュレーションを行う。まず、カラーパレットで色を選択する。ユーザは、希望の色のパネルをスキャナで選択入力（撮像）する。

なお、選択した色をお気に入りに登録する場合には、「登録」をスキャナで選択入力（撮像）するとその色が追加される。その化粧品の色が既に５色選ばれている場合は、変更したい番号をスキャナで選択入力（撮像）する。また、すでにお気に入りに登録してある色から選択する場合には、登録した化粧品の番号（たとえば、チークの１）をスキャナで選択入力（撮像）する。

化粧品の種類と色が決定したら、顔写真の化粧を施したい部分をスキャナで選択入力（撮像）すると、ディスプレイ装置上でメーク・シミュレーションが行われる。
メーク・シミュレーションを行った後で化粧前に戻ってやり直したいときは、「化粧前

」をスキャナで選択入力（撮像）する。一つ前のメーク画面に戻りたい場合には、「一つ前に戻る」をスキャナで選択入力（撮像）する。その後、先に進みたい場合には「一つ先に進む」をスキャナで選択入力（撮像）する。

次に、化粧ファイルを登録する。

メーク・シミュレーションが完了したら、化粧ファイルの「登録」をスキャナで選択入力（撮像）しファイルの登録を行うと、「上書きしますか？」とディスプレイ装置の画面上に表示される。ユーザは、「はい」「いいえ」のいずれかをスキャナで選択入力（撮像）して、上書きするかどうかを決定する。上書きしない場合には、「ファイルの名前を入力してください」と、ディスプレイ装置の画面に表示される。ユーザが任意のファイルを入力すると新たなファイルが作成される。

なお、登録を行ったときには、メーク後の画面だけでなくメークの過程も登録される。

最後に「メーク終了」をスキャナで選択入力（撮像）してメーク・シミュレーションを終了する。

なお、図３１の顔画像の加工・修正においては、ドットパターンでＸＹ座標を指定して着色や色補正を行う場合の基本技術のみを説明したが、このような場合にもたとえば唇の範囲、頬の範囲、髪の毛の範囲を指定してその色修正の影響が及ぶ範囲を指定することが好ましい。

この場合、画像上でマスク指定処理が必要となる。このマスク指定処理については、前述の実施形態と同様であるので説明は省略する。

図３３〜図３４は、メーク用コントローラの印刷方法についての、他の実施例について説明した図である。

図３３は、あらかじめコントローラが印刷されているものである。用紙の上半分には、あらかじめＸＹ座標値を意味するドットパターンが印刷されている。用紙の下半分には、コントローラが印刷されており、コントローラの各アイコンには、コード値を意味するドットパターンが重畳印刷されている。この用紙を図示しない印刷装置（プリンタ）にセットし、ディスプレイ装置上に表示された顔画像を印刷すると、ＸＹ座標を意味するドットパターンが印刷された領域に、顔画像が出力される。ユーザは、顔画像領域で、上述したキャリブレーションを行った後、メーク・シミュレーションを行う。

このように、あらかじめコントローラを印刷しておくことにより、ユーザが容易にメーク・シミュレーションを行うことが可能となる。また、メーク・シミュレーション用のコントローラに限らず、種々のコントローラを作成し、あらかじめ印刷しておくことが可能であるため、ユーザのニーズに合わせたコントローラを提供することが可能となる。

図３４は、白紙からメーク用コントローラを印刷するものである。ユーザは、ディスプレイ装置上に表示された顔画像の周辺、およびコントローラのアイコンの外線を、マウス等を用いて走査し、マスクを指定する。白紙を図示しない印刷装置（プリンタ）にセットし印刷処理を行うと、顔画像およびその周辺は、ＸＹ座標を意味するドットパターンと画像が重畳印刷され、コントローラの各アイコンは、コード値を意味するドットパターンと画像が重畳印刷されて出力される。この場合、キャリブレーション操作は不要であり、ユーザは、印刷後すぐにメーク・シミュレーションを行うことが可能である。

なお、上述した各実施形態における各種操作は、コントローラを用いず、ディスプレイ装置の画面の表面にドットパターンを印刷したシート等を貼付し、ディスプレイ装置の画面上の該当する位置を選択入力（撮像）することにより行ってもよい。

さらには、前記用紙の代わりに、ドットパターンを印刷したホワイトボードやスクリーン上にプロジェクターで画像を投影し、この投影された画像に対してスキャナによる走査を行いドットパターンに対応した処理を行うようにしてもよい。

本発明は、ディスプレイ装置の画面上の制御技術に利用できる。

図１は、本発明で用いるスキャナおよびコンピュータのシステム構成を示すブロック図である。
図２は、ドットパターンの一例を示す説明図である。
図３は、ドットパターンの情報ドットの一例を示す拡大図である。
図４は、情報ドットの配置を示す説明図である。
図５は、情報ドットおよびそこに定義されたデータのビット表示の例であり、他の形態を示すものである。
図６は、情報ドットおよびそこに定義されたデータのビット表示の例であり、（ａ）はドットを２個、（ｂ）はドットを４個および（ｃ）はドットを５個配置したものである。
図７は、ドットパターンの変形例を示すものであり、（ａ）は情報ドット６個配置型、（ｂ）は情報ドット９個配置型、（ｃ）は情報ドット１２個配置型、（ｄ）は情報ドット３６個配置型の概略図である。
図８は、コントローラ領域におけるドットコードフォーマットについて説明する図である。
図９は、ＸＹ座標領域におけるドットコードフォーマットについて説明する図である。
図１０は、図２から図７に示したドットパターンにおいて、情報ドットの配置の仕方を変更してブロックの方向を定義する説明図である。
図１１は、図２から図７に示したドットパターンにおいて、情報ドットの配置の仕方を変更してブロックの方向を定義する説明図であり、情報ドットの配置を示したものである。
図１２は、マスク作成・Ｗｅｂリンク用ペーパーコントローラについて示す説明図である。
図１３は、マスク指定処理に用いるドットコード・処理命令対応テーブルについて示す説明図である。
図１４は、マスク指定処理について示す説明図であり、マスク制作用ペーパータブレットについて説明する正面図である。
図１５は、マスク指定処理について示す説明図であり、マスクを指定する方法について示す図である。
図１６は、マスク指定処理に用いるマスクテーブルについて示す説明図である。
図１７は、マスク指定処理に用いるマスク・アドレス対応テーブルについて示す説明図である。
図１８は、マスク指定処理の他の実施形態について説明するための図である。
図１９は、マスク指定処理に用いるテーブルについて示す説明図であり、（ａ）はマスク・ドットコード対応テーブル、（ｂ）はドットコード・アドレス対応テーブルである。
図２０は、モデリング用コントローラについて示す説明図である。
図２１は、モデリング処理について示す説明図であり、用紙上にマスキングを行った状態を示す図である。
図２２は、モデリング処理について示す説明図であり、モデリングが行われた状態を示す図である。
図２３は、スキャナを回動させることによりモデリングを行う機能について示す説明図であり、（ａ）はスキャナの動作、（ｂ）はスキャナの動作により行われる処理について示す図である。
図２４は、スキャナを回動させることによりモデリングを行う機能について示す説明図であり、（ａ）はスキャナの動作、（ｂ）はスキャナの動作により行われる処理について示す図である。
図２５は、スキャナの向きおよび傾きを示した説明図である。
図２６は、スキャナの傾きにより各種操作を行う場合において、傾けた方向および角度を測定する方法を説明するための図である。
図２７は、スキャナの傾きにより各種操作を行う場合において、傾けた方向および角度を測定する方法を説明するための図である。
図２８は、スキャナの傾きにより各種操作を行う場合において、傾けた方向および角度を測定する方法を説明するための図である。
図２９は、スキャナの傾きにより各種操作を行う場合において、フーリエ関数を用いることにより傾けた方向を測定する方法を説明するための図である。
図３０は、スキャナの傾きにより各種操作を行う場合において、ｎ次方程式を用いることにより傾けた方向を測定する方法を説明するための図である。
図３１は、メーク・シミュレーションについて示す説明図であり、（ａ）はディスプレイ装置の画面上に表示される画像を示す図、（ｂ）は本実施形態に用いる用紙を示す図、（ｃ）は用紙に顔画像とコントローラを印刷した状態を示す図である。
図３２は、メーク・シミュレーションについて示す説明図であり、メーク用コントローラの具体例を示す図である。
図３３は、メーク・シミュレーションについて示す説明図であり、あらかじめドットパターンが印刷されたサプライ用紙を用いて顔画像を印刷する場合について説明した図である。
図３４は、メーク・シミュレーションについて示す説明図であり、白紙に、ドットパターンと画像を同時に印刷する場合について説明した図である。

符号の説明

１ ドットパターン
２ キードット
３ 情報ドット
４ 基準格子点ドット
５ 仮想格子点
ＣＰＵ 中央処理装置
ＭＭ メインメモリ
ＵＳＢ Ｉ／Ｆ ＵＳＢインターフェース
ＨＤ ハードディスク装置
ＤＩＳＰ ディスプレイ装置（表示手段）
ＫＢＤ キーボード
ＮＷ Ｉ／Ｆ ネットワークインターフェース
ＳＣＮ スキャナ

Claims (9)

1. ディスプレイ装置に表示された画像に対して、ドットパターンの印刷された用紙上に前記画像を印刷して、当該ドットパターンを撮像手段で撮像して画像の位置を認識して画像に処理を施す画像処理方法であって、
   用紙にＸＹ座標を意味するドットパターンを印刷するステップと、
   前記ドットパターンの印刷された用紙に対して、ディスプレイ装置の画面に表示された画像を印刷するステップと、
   前記画像の印刷ステップにおいて、ディスプレイ装置上の画像の基準点を設定して当該基準点を目視可能なマークで前記画像とともに印刷するステップと、
   印刷された用紙のマークを撮像手段で撮像させて当該用紙上のマークの位置座標を前記画像の基準点と一致させるキャリブレーションを実行するステップと、
   前記用紙上に印刷された画像に対して撮像手段で画像処理を実行するステップとからなる画像処理方法。
2. ディスプレイ装置に表示された画像に対して、ドットパターンの印刷された用紙上に前記画像を印刷して、当該ドットパターンを撮像手段で撮像して画像の位置を認識して画像に処理を施す画像処理方法であって、
   用紙にＸＹ座標を意味するドットパターンを印刷するステップと、
   前記ドットパターンの印刷された用紙に対して、ディスプレイ装置の画面に表示された画像を印刷するステップと、
   前記用紙上の画像が印刷された所定領域で閉図形を描くように撮像手段で走査してマスク領域を指定するステップと、
   記憶手段に設定された前記画像領域に対応するマスクテーブルの前記マスクが設定された領域のフラグをセットするステップと、
   前記用紙のマスク領域のドットパターンを撮像手段で撮像するステップと、
   前記マスク領域のドットパターンを読み込んで、マスクテーブルを参照してマスクが設定された領域であるときに、前記マスクに対応した命令処理が定義されたマスク・処理命令対応テーブルを参照して、処理命令を実行するステップとからなる画像処理方法。
3. ディスプレイ装置に表示された画像に対して、あらかじめドットパターンの印刷された用紙上に前記画像を印刷して、当該ドットパターンを撮像手段で撮像して画像の位置を認識して画像に処理を施す画像処理方法であって、
   あらかじめＸＹ座標を意味するドットパターンが印刷された用紙に対して、ディスプレイ装置の画面に表示された画像を印刷するステップと、
   前記画像の印刷ステップにおいて、ディスプレイ装置上の画像の基準点を設定して当該基準点を目視可能なマークで前記画像とともに印刷するステップと、
   印刷された用紙のマークを撮像手段で撮像させて当該用紙上のマークの位置座標を前記画像の基準点と一致させるキャリブレーションを実行するステップと、
   前記用紙上に印刷された画像に対して撮像手段で画像処理を実行するステップとからなる画像処理方法。
4. 前記ディスプレイ装置に表示された画像とドットパターンが重畳印刷された前記用紙を光学読取手段で撮像して、前記ドットパターンに対応した画像処理を、前記ディスプレイ装置に表示された画像に対して行う画像処理方法であって、
   前記用紙は、前記画像処理のための命令コードおよび／または座標値がパターン化されたドットパターンがアイコン画像と重ね合わせて印刷されたコントローラ領域を有しており、
   前記コントローラ領域上のアイコン画像を順次光学読取手段で撮像することによって、画像処理のための筆を選択するステップと、
   同じくコントローラ領域上のアイコン画像を光学読取手段で撮像することによって、描画色を選択するステップと、
   前記コントローラ上で前記光学読取手段を走査させることによって、当該走査の軌跡に対応した描画処理をディスプレイ装置の画面上で行うステップとからなることを特徴とす る、請求項１〜３のいずれかに記載の画像処理方法。
5. 前記画像処理は、撮像手段を前記用紙面に対して所定の動作を行わせることにより、前記用紙面に対応するディスプレイ装置に表示された画像領域の一部もしくは全部を指定し、該領域を２次元画像処理もしくは３次元変形させる処理である請求項１〜４のいずれかに記載の画像処理方法。
6. 前記所定の３次元変形のための動作は、撮像手段のグリッドグラインド動作、すなわち媒体面の鉛直線に対する撮像光軸の一定の傾きを維持した傾斜状態で鉛直線を中心に回転させることによって撮像光軸の傾斜状態の変化を認識し、画像領域の変形は、前記画像領域におけるＺ方向への隆起状の変形、または−Ｚ方向への陥没状の変形である請求項５記載の画像処理方法。
7. 前記画像処理は、前記画像上のモデリング処理であり、前記画像の所定の位置を指定して当該画像部位をＺ方向または−Ｚ方向に隆起状または陥没状に変形させる請求項５または６記載の画像処理方法。
8. 前記モデリング処理は、画像の所定形状にマスク設定を行い、当該マスク形状に沿って画像の当該部位をＺ方向または−Ｚ方向に伸張または隆起させる請求項７記載の画像処理方法。
9. 前記画像の基準点は少なくとも２カ所設けられており、前記マークもこれに対応して用紙上の２カ所以上の部位に印刷されることを特徴とする請求項１〜７のいずれかに記載の画像処理方法。

Images