WO2007089021A1

WO2007089021A1 - 画像処理方法

Info

Publication number: WO2007089021A1
Application number: PCT/JP2007/052064
Authority: WO
Inventors: Kenji Yoshida
Original assignee: Kenji Yoshida
Priority date: 2006-01-31
Filing date: 2007-01-31
Publication date: 2007-08-09
Also published as: CA2640579A1; KR20080080237A; US20160182767A1; CN101379460B; EP1983412A1; EP1983412A4; US8917426B2; US8368954B2; CA2640579C; CN101379460A; US20090059299A1; JPWO2007089021A1; JP4253029B2; US20130215438A1; US9716812B2; KR101048012B1

Abstract

　画面に表示された画像に対して正確な位置指定を行って画像データの加工・修正が可能な技術を提供する。ドットパターンの印刷された用紙上に前記画像を印刷する際に、ディスプレイ装置上の画像の基準点を設定して当該基準点を目視可能なマークで前記画像とともに印刷しておき、このマークを撮像手段で撮像して当該用紙上のマークの位置座標を前記画像の基準点と一致させるキャリブレーションを実行することによって、以後の用紙上での撮像手段による選択入力と画像に対する処理に座標的なずれが生じることを防止する。

Description

明細書画像処理方法技術分野

本発明は、ドットパターンの印刷された用紙やパネルを用いてディスプレイやプロジェクター画面上に表示される画像の加工 ·修正を行う技術に関する。背景技術

ディスプレイ画面やプロジェクタースクリーンに投影された画像を加ェ '修正する技術としては、，マウスやタブレツト等の座標入力補助装置を用、、てパーソナルコンピュータ等の情報処理装置に保持された画像データの色や線図を修正することが一般的であった。発明の開示

発明が解決しょうとする課題

し力し、マウスやタブレットでは、画面を凝視しながらマウスやタブレット操作をしなければならず、手許での操作感覚が必ずしも画面上での位置指定に正確に反映されなかった。

すなわち、マウスやタブレットは、 XY方向への移動量を画面上での移動量に変換して表示させるために、マウスの移動量に対して画面上のカーソルの移動量が小さすぎたり、あるいは大きすぎたりしてオペレータ（ュ一ザ）にとつて違和感のある場合が多かった。

特に、画面上に顔画像を表示させてメークを施すように着色したり色捕正を行うような場合や、地図上の領域を指定して処理を施すような場合にはマウスゃタブレットでは正確な位置指定が難しいという問題があつた。本発明は、このような点に鑑みてなされたものであり、画面に表示された画像に対して正確な位置指定を行って画像データの加工 ·修正が可能な技術を提供することを技術的課題とする。

課題を解決するための手段

本発明の請求項 1は、ディスプレイ装置に表示された画像に対して、ドットパターンの印刷された用紙上に前記画像を印刷して、当該ドットバタ一ンを撮像手段で撮像して画像の位置を認識して画像に処理を施す画像処理方法であって、用紙に XY座標を意味するドットパターンを印刷するステツプと、前記ドットパターンの印刷された用紙に対して、ディスプレイ装置の画面に表示された画像を印刷するステップと、前記画像の印刷ステップにおいて、ディスプレイ装置上の.画像の基準点を設定して当該基準点を目視可能なマークで前記画像とともに印刷するステップと、印刷された用紙のマークを撮像手段で撮像させて当該用紙上のマークの位置座標を前記画像の基準点と一致させるキャリブレーションを実行するステップと、前記用紙上に印刷された画像に対して撮像手段で画像処理を実行するステップとからなる画像処理方法である。

このように、ドットパターンが印刷された用紙にディスプレイ装置上の画像を印刷する際に、ディスプレイ装置上の画像の基準点を設定して当該基準点を目視可能なマークで前記画像とともに印刷することによって、当該マークを用いてキヤリブレーション作業を行うことで、以後の用紙上での撮像手段（スキャナ）による選択入力と画像に対する処理に座標的なずれが生じることを防止できる。

請求項 2は、ディスプレイ装置に表示された画像に対して、ドットパタ —ンの印刷された用紙上に前記画像を印刷して、当該ドットパターンを撮像手段で撮像して画像の位置を認識して画像に処理を施す画像処理方法であって、用紙に XY座標を意味するドットパターンを印刷するステップと、前記ドットパターンの印刷された用紙に対して、ディスプレイ装置の画面に表示された画像を印刷するステップと、前記用紙上の画像が印刷された所定領域を閉図形を描くように撮像手段で走査してマスク領域を指定するステップと、記憶手段に設定された前記画像領域に対応するマスクテ一ブルの前記マスクが設定された領域のフラグをセットするステップと、前記用紙のマスク領域のドットパターンを撮像手段で撮像するステップと、前記マスク領域のドットパターンを読み込んで、マスクテーブルを参照してマスクが設定された領域であるときに、前記マスクに対応した命令処理が定義されたマスク '処理命令対応テ一ブルを参照して、処理命令を実行するステップとからなる画像処理方法である。

このように、あらかじめドットパターンが印刷された用紙上にディスプレイ装置に表示される画像を印刷し、その画像上の任意の領域をマスク設定して、当該用紙上でマスク領域が撮像手段によって選択入力されたときには、マスクテーブルを参照して、それに関係付けられた処理、たとえばブラウザプログラムによるインターネット上の所定のアドレス（U R L) へのアクセス等を実行処理できる。請求項 3は、ディスプレイ装置に表示された画像に対して、あら力 >じめドットパターンの印刷された用紙上に前記画像を印刷して、当該ドットパターンを撮像手段で撮像して画像の位置を認識して画像に処理を施す画像処理方法であって、あらかじめ Y座標を意味するドットパターンが印刷された用紙に対して、ディスプレイ装置の画面に表示された画像を印刷するステップと、前記画像の印刷ステップにおいて、ディスプレイ装置上の画像の基準点を設定して当該基準点を目視可能なマークで前記画像とともに印刷するステップと、印刷された用紙のマークを撮像手段で撮像させて当該用紙上のマークの位置座標を前記画像の基準点と一致させるキヤリブレ一シヨンを実行するステップと、前記用紙上に印刷された画像に対して撮像手段で画像処理を実行するステップとからなる画像処理方法である。請求項 4は、ディスプレイ装置に表示された画像に対して、ドットバターンの印刷された媒体を光学読取手段で撮像して前記ドットパターンに対応した画像処理を行う画像処理方法であって、前記画像処理のための命令コードまたは座標値がパターン化されたドットパターンがアイコン画像と重ね合わせて印刷された媒体としてのコントローラを有しており、前記コントローラ上のアイコン画像を順次光学読取手段で撮像することによって、画像処理のための筆を選択するステップと、同じくコントローラ上のアイコン画像を光学読取手段で撮像することによって、描画色を選択するステップと、前記コントローラ上を前記光学読取手段を走査させることによつて、当該走査の軌跡に対応した描画処理をデイスプレイ装置の画面上で行うステップとからなる画像処理方法である。請求項 5は、前記画像処理は、撮像手段を前記用紙面に対して所定の動作を行わせることにより、前記用紙面に対応するディスプレイ装置に表示された画像領域の一部もしくは全部を指定し、該領域を 2次元画像処理もしくは 3次元変形させる処理である請求項 1〜 4のいずれかに記載の画像処理方法である。

このように、 XY座標があらかじめ印刷された用紙をサプライ商品として供給し、この用紙にディスプレイ装置に表示された画像を印刷するとともに、当該画像を画像処理できるようにしてもよい。

ここで、撮像手段のグリッドグラインド動作、すなわち媒体面の鉛直線に対する撮像光軸の一定の傾きを維持した傾斜状態で鉛直線を中心に回転させることで、画像領域を変形させてもよい。そして、画像領域の変形とは、前記画像領域における Z方向への隆起状の変形、または一 Z方向への陥没状の変形であってもよい（請求項 6 ) 。

請求項 7は、.前記画像処理は、前記画像上のモデリング処理であり、前記画像の所定の位置を指定して当該画像部位を Z方向または— Z方向に隆起状または陥没状に変形させる請求項 5または 6記載の画像処理方法である。

請求項 8は、前記モデリング処理は、画像の所定形状にマスク設定を行レ、、当該マスク形状に沿つて画像の当該部位を Z方向または一 Z方向に伸張または隆起させる請求項 7記載の画像処理方法である。

請求項 9は、前記画像の基準点は少なくとも 2力所設けられており、前記マークもこれに対応して用紙上の 2力所以上の部位に印刷されることを特徴とする請求項 1〜 7のいずれかに記載の画像処理方法である。このようにキヤリプレーシヨンを 2力所のマークで行うことによって、用紙上でのスキャナによる選択入力の際の X Y方向および 0方向への角度のずれも抑止できる。なお、このようなキャリブレーションは 3力所以上のマークを用いてより精度を高めてもよい。発明の効果

本発月によれば、画面に表示された画像に対して、用紙上に印刷された画像上で正確な位置指定を行ってディスプレイ装置の画面上の画像データの加工 ·修正を容易に行うことができる。図面の簡単な説明

図 1は、本発明で用いるスキャナおよびコンピュータのシステム構成を示すプロック図である。

図 2は、ドットパターンの一例を示す説明図である。

図 3は、ドットパターンの情報ドッ,トの一例を示す拡大図である。図 4は、情報ドットの配置を示す説明図である。

図 5は、情報ドットおよびそこに定義されたデータのビット表示の例であり、他の形態を示すものである。

図 6は、情報ドットおよびそこに定義されたデ一タのビット表示の例であり、（a ) はドットを 2個、（b ) はドットを 4個おょぴ（c ) はドットを 5個配置したものである。

図 7は、ドットパターンの変形例を示すものであり、（a ) は情報ドット 6個配置型、（ b ) は情報ドット 9個配置型、（ c ) は情報ドット 1 2 個配置型、（ d ) は情報ドット 3 6個配置型の概略図である。

図 8は、コントローラ領域におけるドットコ一ドフォ^ «マットについて説明する図である。

図 9は、 X Y座標領域におけるドットコードフォーマツトについて説明する図である。

図 1 0は、図 2から図 7に示したドットパターンにおいて、情報ドットの配置の仕方を変更してブロックの方向を定義する説明図である。

図 1 1は、図 2から図 7に示したドットパターンにおいて、情報ドットの配置の仕方を変更してプロックの方向を定義する説明図であり、情報ドットの配置を示したものである。

図 1 2は、マスク作成 · W e bリンク用ペーパーコントローラについて示す説明図である。 '

図 1 3は、マスク指定処理に用いるドットコード '処理命令対応テ一ブルについて示す説明図である。

図 1 4は、マスク指定処理について.示す説明図であり、マスク制作用ぺ一パータブレツトについて説明する正面図である。

図 1 5は、マスク指定処理について示す説明図であり、マスクを指定する方法について示す図である。

図 1 6は、マスク指定処理に用いるマスクテーブルについて示す説明図である。

図 1 7は、マスク指定処理に用いるマスク ·ァドレス対応テーブルについて示す説明図である。

図 1 8は、マスク指定処理の他の実施形態について説明するための図である。

図 1 9は、マスク指定処理に用いるテーブルについて示す説明図であり、

( a ) はマスク ' ドットコード対応テーブル、（b ) はドットコード 'ァドレス対応テーブルである。

図 2 0は、モデリング用コントローラについて示す説明図である。

図 2 1は、モデリング処理について示す説明図であり、用紙上にマスキングを行つた状態を示す図である。

図 2 2は、モデリング処理について示す説明図であり、モデリングが行われた状態を示す図である。

図 2 3は、スキャナを回動させることによりモデリングを行う機能について示す説明図であり、（a ) はスキャナの動作、（b ) はスキャナの動作により行われる処理について示す図である。

図 2 4は、スキャナを回動させることによりモデリングを行う機能について示す説明図であり、（a ) はスキャナの動作、（b ) はスキャナの動作により行われる処理について示す図.である。

図 2 5は、スキャナの向きおよび傾きを示した説明図である。

図 2 6は、スキャナの傾きにより各種操作を行う場合において、傾けた方向および角度を測定する方法を説明するための図である。

図 2 7は、スキャナの傾きにより各種操作を行う場合において、傾けた方向および角度を測定する方法を説明するための図である。

図 2 8は、スキャナの傾きにより各種操作を行う場合において、傾けた方向および角度を測定する方法を説明するための図である。

図 2 9は、スキャナの傾きにより各種操作を行う場合において、フーリェ関数を用いることにより傾けた方向を測定する方法を説明するための図である。

図 3 0は、スキャナの傾きにより各種操作を行う場合において、 n次方程式を用いることにより傾けた方向を測定する方法を説明するための図でめる ₀

図 3 1は、メーク .シミュレーションについて示す説明図であり、（a ) はディスプレイ装置の画面上に表示される画像を示す図、（b ) は本実施形態に用いる用紙を示す図、（c ) は用紙に顔画像とコントローラを印刷した状態を示す図である。

図 3 2は、メーク ' シミュレーションについて示す説明図であり、メ一ク用コントローラの具体例を示す図である。

図 3 3は、メーク · シミュレーションについて示す説明図であり、あらかじめドットパターンが印刷されたサプライ用紙を用いて顔画像を印刷する場合について説明した図である。

図 3 4は、メーク ' シミュレーションについて示す説明図であり、白紙に、ドットパターンと画像を同時に印刷する場合について説明した図である。

符号の説明

1 ドットパターン

2 キードット

3 情報ド、ッ卜

4 基準格子点ドット

5 仮想格子点 CPU 中央処理装置

MM メインメモリ

USB I/F USBインタ^"フェース

HD ハ一ドディスク装置

D I S P ディスプレイ装置（表示手段）

KBD キーボード

NW I / ネットワークインターフェース

S CN スキャナ発明を実施するための最良の形態

<ハードゥエアブ口ック図 >

図 1は、コンピュータとスキャナの構成を示すハードゥエアブ口ック図である。

同図に示すように、パーソナルコンピュータは、中央処理装置（CPU) を中心に、メインメモリ（MM) 、バスで接続されたハードディスク装置 (HD) 、出力手段としての表示装置（D I SP) 、入力手段としてのキ一ボード（KBD) を有している。

そして、 USBインターフェース（USB を介して撮像手段としてのスキャナ（SCN) が接続されている。

なお図示を省略してあるが、ディスプレイ装置（D I S P) の他に、出力装置として、プリンタ、スピーカ等が接続されている。

また、バス（BUS) は、ネットワークインターフェース（NW I / F) を介してインターネット等の汎用ネットワーク（NW) に接続されており、電子地図データ、文字情報、画像情報、音声情報、動画情報、プログラム等が図示しないサーバよりダウンロード可能となっている。

ハードディスク（HD) 内には、オペレーティングシステム（OS) とともに、本実施形態で用いられるドットパターンの解析プログラム等のァプリケーシヨンプログラム、電子地図データ、文字情報、画像情報、音声情報、動画情報や各種テーブル等のデータが登録されている。

中央処理装置（CPU) は、ハードディスク内のアプリケーションプログラムをバス（BUS) およびメインメモリ（MM) を介して順次読み込んで実行処理するとともに、データを読み出してディスプレイ装置（D I SP) に出力表示することによって、本実施形態に説明する機能が実現されることになる。

スキャナ（SCN) は、図示は省略するが、赤外線照射手段（赤色 LE D) と I Rフィルタと、 CMOSセンサ、 CCDセンサ等の光学撮像素子を備えており、. 媒体面に照射した照射光の反射光を撮像する機能を有している。ここで媒体面上のドットパターンはカーボンインクで印刷されており、ドットパターン以外の部分はノンカーボンインクで印刷されている。このカーボンインクは赤外光を吸収する特性を有しているため、前記光学撮像素子での撮像画像では、ドットの部分のみ黒く撮影されることになる。

このようにして読み取ったドットパターンの撮像画像は、スキャナ（S CN) 内の中央処理装置（CPU) によって解析されて座標値またはコード値に変換されて、 US Bケーブルを介してパーソナルコンピュータに送信される。パーソナルコンピュータの中央処理装置（C P U) は、受信した座標値またはコード値を示すテーブルを参照して、これらに対応した電子地図データ、文字情報、画像情報、音声情報、動画情報がディスプレイ装置（D I S P ) や図示しないスピーカから出力されるようになっている。

くドットパターンの説明 G R I D 1 >

次に、本発明で用いるドットパターンについて図 2〜図 7を用いて説明する。

図 2は本発明のドットパターンの一例である G R I D 1を示す説明図である。

なお、これらの図において、縦横方向の格子線は説明の便宜のために付したものであり実際の印刷面には存在していない。ドットパターン 1を構成するキードット 2、情報ドット 3、基準格子点ドット 4等は撮像手段であるスキャナが赤外線照射手段を有している場合、当該赤外光を吸収する不可視インク又はカーボンインクで印刷されていることが望ましい。図 3はドットパターンの情報ドッ卜およぴそれに定義されたデ一タのビット表示の一例を示す拡大図である。図 4 ( a ) 、 ( b ) はキードットを中心に配置した情報ドットを示す説明図である。

本発明のドットパターンを用いた情報入出力方法は、ドットパターン 1 の生成と、そのドットパターン 1の認識と、このドットパターン 1から情報およびプログラムを出力する手段とからなる。すなわち、ドットパターン 1をカメラにより画像データとして取り込み、まず、基準格子点ドット 4を抽出し、次に本来基準格子点ドット 4がある位置にドットが打たれていないことによってキードット 2を抽出し、次に情報ドット 3を抽出することによりデジタル化して情報領域を抽出して情報の数値化を図り、その数値情報より、このドットパターン 1から情報およびプログラムを出力させる。たとえば、このドットパターン 1から音声等の情報やプログラムを、情報出力装置、ソナルコンピュータ、 P D Aまたは携帯電話等に出力させる。

本発明のドットパターン 1の生成は、ドットコード生成アルゴリズムにより、音声等の情報を認識させるために微細なドット、すなわち、キードット 2、情報ドット 3、基準格子点ドット 4を所定の規則に則って配列する。図 2に示すように、情報を表すドットパターン 1のブロックは、キードット 2を基準に 5 X 5の基準格子点ドット 4を配置し、 4点の基準格子点ドット 4に囲まれた中心の仮想格子点 5の周囲に情報ドット 3を配置する。このブロックには任意の数値情^が定義される。なお、図 2の図示例では、ドットパターン 1のブロック（太線枠内）を 4個並列させた状態を示している。ただし、ドットパターン 1は 4ブロックに限定されないことはもちろんである。

1つのブロックに 1つの対応した情報おょぴプログラムを出力させ、または、複数のブロックに 1つの対応した情報およびプログラムを出力させることができる。

基準格子点ドット 4は、カメラでこのドットパターン 1を画像データとして取り込む際に、そのカメラのレンズの歪みや斜めからの撮像、紙面の伸縮、媒体表面の湾曲、印刷時の歪みを矯正することができる。具体的には歪んだ 4点の基準格子点ドット 4を元の正方形に変換する補正用の関数 (X _n， Y _n) = f (Χ _η ' ， Υ _η ' ) を求め、その同一の関数で情報ドット 3を補正して、正しい情報ドット 3のべクトルを求める。

ドットパターン 1に基準格子点ドット 4を配置してあると、このドットパターン 1をカメラで取り込んだ画像データは、カメラが原因する歪みを補正するので、歪み率の高いレンズを付けた普及型のカメラでドットパターン 1の画像データを取り込むときにも正確に認識することができる。また、ドットパターン 1の面に対してカメラを傾けて読み取っても、そのドットパターン 1を正確に認識することができる。

キードット 2は、図 2に示すように、ブロックの四隅の角部にある 4個の基準格子点ドット 4を一定方向にずらして配置したドットである。このキードット 2は、情報ドット 3を表す 1ブロック分のドットパターン 1の代表点である。たとえば、ドットパターン 1のプロックの四隅の角部にある基準格子点ドット 4を上方に 0 . 1 mmずらしたものである。情報ドット 3が X， Y座標値を表す場合に、キードット 2を下方に 0 . 1 mmずらした位置が座標点となる。ただし、この数値はこれに限定されずに、ドットパターン 1のプロックの大小に応じて可変し得るものである。

情報ドット 3は種々の情報を認、識させるドットである。この情報ドット 3は、キードット 2を代表点にして、その周辺に配置すると共に、 4点の基準格子点ドット 4で囲まれた中心を仮想格子点 5にして、これを始点としてベクトルにより表現した終点に配置したものである。たとえば、この情報ドット 3は、基準格子点ドット 4に囲まれ、図 3 ( a ) に示すように、その仮想格子点 5から 0 . 1 mm離れたドットは、べクトルで表現される方向と長さを有するために、時計方向に 4 5度ずつ回転させて 8方向に配置し、 3ビットを表現する。したがって、 1ブロックのドットパターン 1 で 3ビット X 1 6個 = 4 8ビットを表現することができる。

図 3 ( b ) は、図 2のドットパターンにおいて、 1個の格子毎に 2ビットを有する情報ドット 3の定義の方法であり、 +方向および X方向にドットをずらして各 2ビットの情報を定義している。これにより、本来 4 8ビットの情報を定義できるが、用途によって分割して 3 2ビット毎にデータを与えることができる。 +方向および X方向の組み合わせによって最大 2 ^{1 6} (約 6 5 0 0 0 ) 通りのドットパターンフォーマットが実現できる。なお、図示例では 8方向に配置して 3ビットを表現しているが、これに限定されずに、 1 6方向に配置して 4ビットを表現することも可能であり、種々変更できることはもちろんである。，

キードット 2、情報ドット 3または基準格子点ドット 4のドットの径は、見栄えと、紙質に対する印刷の精度、カメラの角军像度および最適なデジタル化を考慮して、 0 . 0 5 mm程度が望ましい。

また、撮像面積に対する必要な情報量と、各種ドット 2， 3， 4の誤認を考慮して基準格子点ドット 4の間隔は縦'横 0 . 5 mm前後が望ましい。基準格子点ドット 4および情報ドット 3との誤認を考慮して、キードッ.ト 2のずれは格子間隔の 2 0 %前後が望ましい。

この情報ドット 3と、 4点の基準格子点ドット 4で囲まれた仮想格子点 5との間隔は、隣接する仮想格子点 5間の距離の 1 5〜 3 0 %程度の間隔であることが望ましい。情報ドット 3と仮想格子点 5間の距離がこの間隔より近いと、ドット同士が大きな塊と視認されやすく、ドットパターン 1 として見苦しくなるからである。逆に、情報ドット 3と仮想格子点 5間の距離がこの間隔より遠いと、隣接する 1/、ずれの仮想格子点 5を中心にしてべクトル方向性を持たせた情報ドット 3であるかの認定が困難になるためである。

たとえば，情報ドット 3は、図 4 (a) に示すように、プロック中心から時計回りで Iェから I i ₆を配置する格子間隔は 0. 5 mmであり、 2 m mX 2 mmで 3ビット X 16 = 48ビットを表現する。

なお、ブロック内に個々に独立した情報内容を有し、かつ他の情報内容に影響されないサブブロックをさらに設けることができる。図 4 (b) はこれを図示したものであり、 4つの情報ドット 3で構成されるサブブロック [Iい I ₂、 I ₃、 I ₄]、 [I ₅、ヽ I ₇、 I ₈]、 [I ₉、 I ₁₀、 I iい I ₁₂]、 [I ₁₃、 I ₁₄、 I ₁₅、 I ₁₆]は各々独立したデータ（3ビット X4 = 12ビット）が情報ドット 3に展開されるようになっている。このようにサブブロックを設けることにより、エラーチェックをサブブロック単位で容易に行うことができる。

情報ドット 3のベクトル方向（回転方向）は、，30度〜 90度毎に均等に定めるのが望ましい。

図 5は情報ドット 3およびそこに定義されたデ一タのビット表示の例であり、他の形態を示すものである。

また、情報ドット 3について基準格子点ドット 4で囲まれた仮想格子点 5から長 ·短の 2種類を使用し、ベクトル方向を 8方向とすると、 4ビットを表現することができる。このとき、長い方が隣接する仮想格子点 5間の距離の 25〜 30 %程度、短い方は 15〜 20 %程度が望ましい。ただし、長 ·短の情報ドット 3の中心間隔は、これらのドットの径より長くなることが望ましい。 4点の基準格子点ドット 4で囲まれた情報ドット 3は、見栄えを考慮し、 1 ドットが望ましい。しかし、見栄えを無視し、情報量を多くしたい場合は、 1べクトル毎に、 1ビットを割り当て情報ドット 3を複数のドットで表現することにより、多量の情報を有することができる。たとえば、同心円 8方向のべクトルでは、 4点の格子ドット 4に囲まれた情報ドット 3で 2⁸の情報を表現でき、 1ブロックの情報ドット 1 6個で 2¹²⁸となる。図 6は情報ドットおよびそこに定義されたデータのビット表示の例であり、（a) はドットを 2個、（b) はドットを 4個および（c) はドットを 5個配置したものを示すものである。

図 7はドットパターンの変形例を示すものであり、（ a ) は情報ドット 6個配置型、（ b ) は情報ドット 9個配置型、（ c ) は情報ドット 1 2個配置型、（d) は情報ドット 36個配置型の概略図である。

図 2と図 4に示すドットパターン 1は、 1ブロックに 16 (4 X 4) の情報ドット 3を配置した例を示している。しかし、この情報ドット 3は 1 ブロックに 16個配置することに限定されずに、種々変更することができる。たとえば、必要とする情報量の大小またはカメラの解像度に応じて、情報ドット 3を 1ブロックに 6個（2 X 3) 配置したもの（a) 、情報ドット 3を 1プロックに 9個（3 X 3) 配置したもの（b) 、情報ドット 3 を 1ブロックに 1 2個（3 X 4) 配置したもの（c) 、または情報ドット 3を 1ブロックに 36個配置したもの（d) がある。

次に、図 8から図 9は、ドットパターンとコ一ド値と XY座標との関係を示した説明図である。

図 8 (b) に示すごとく、ドットパターンは、 4X4個のブロック領域で構成されたドットパターンであり、このプロック内で ―。〜 C₃₁一 ₃₀ に区画されている。各領域のドットコ一ドフォーマツトを示したものが図

8 (a) およぴ図 9である。

図 8 (a) は、コントローラ領域におけるドットコードフォーマットを示したものである。 C。〜C₁₅にはオペレーションコード、 C₁₆〜C₂₉にはコントローラ I D、 C₃₀〜C ₃ iにはパリティがそれぞれ登録されるようになっている。 .

また、図 9は、ペーパータブレット等の XY座標領域におけるドットコードフォーマットを示したものである。 C。〜C₇には Y座標、 C₈〜C₁₅ には X座標、 C₁₆〜C₂₉にはペーパー I D、 C₃。〜C₃₁にはパリティがそれぞれ登録されるようになっている。

このように、本ドットパターンでは、 4 X 4個の格子領域中に、 X座標、 Y座標とともに、それに対応するコード情報（コード値）を登録しておくことができる。.

くドットパターンの説明ディレクシヨンドット〉

図 10〜図 1 1は、ドットパターンの他の一例について説明した図である。

図 1 0 (a) および（b) は、図 2〜図 7で説明したドットパターンにおいて、 3 X 3 = 9個の格子領域で構成されるプロックのドットパターンにおいて、特定の格子領域（ディレクション領域）だけ情報ドット 3の配置方向を他の格子領域と変えることによって、プロックの方向を定義したものである。

すなわち、図 10 (a) において、左下の格子領域 34 a、中央の格子領域 34 b、左下の格子領域 34 cは中心から縦横方向に情報ドット 3が配置され、その他の格子領域では中心から斜め方向に情報ドット 3が配置されている。このように格子領域 34 a、 34 b、 34 cを配置することでこの格子領域を結ぶ三角形の形状、すなわち、底辺 34 a、 34 cに対す φ項点 34 bの関係から、当該ブロックが上向きであることが認識できる。

このように、ブロック内の情報ドット 3の配置方向を変更した（中心から縦横方向に情報ドットを配置した）格子領域 34 a、 34 b、 34 cの配置関係（ここでは三角形）によってプロックの方向を定義することができる。これによつて、ブロック中の全ての格子領域に情報ドット 3を配置することができるため、キードットのために格子領域を犠牲にすることがなく、全ての格子領域に情報ドット 3を配置することができる。

なお、図 10 (b) は、図 10 (a) に示したブロックを縦横方向に 2 個ずつ連結したものである。

図 1 1 (a) および（b) は、図 1.0 (a) および（b) に対応した情報ドット 3の配置状態を示す図である。

<第 1の実施形態マスク指定方法 >

次に、図 1 2〜図 1 9を用いて、マスク領域を指定し、アドレスを対応付ける技術について説明する。

(ぺ一/く一コントローラ)

図 12は、ドットパターンの印刷された用紙に対して、マスク領域を設定するためのペーパーコントローラを示している。ここで、当該用紙にはドットパターンと重畳してディスプレイ画面上の画像が印刷されているも 0

のとする。そして、この用紙とディスプレイ画像とはキャリブレーション作業が実行されているものとする。

キヤリブレーシヨンとは、 X Y座標を意味するドットパターンがあらかじめ印刷されたサプライ商品としての用紙が提供された場合に必要な作業である。

すなわち、あらかじめ X Y座標が印刷された用紙にディスプレイ装置に表示された画像を印刷する場合、ディスプレイ装置上に表示された画像と用紙（X Y座標）に印刷された画像との間にずれを生じるために、この調整値を算出しておく必要がある。これがキャリブレーションである。したがって、白紙の用紙に対して、ディスプレイ画像に表示された画像をドットパターンとともに印刷する場合には当初よりディスプレイ画像と印刷される画像とは一致しているため、キヤリブレーシヨン作業は不要となる。キャリブレーションのためには、 X Y座標がドットパターンとして印刷された用紙に、.表示装置に表示された画像を印刷する際に、当該画像と同時に図 3 1 ( a ) および（c ) に示すようなキャリブレーションマークを印刷しておく。

実際のキヤリブレーションでは、少なくとも 2点のキヤリプレーションマークを用いればよく、このキャリブレーションマークを順次スキャナで読み取ることにより行われる。その際に、読み取ったキャリブレーションマークを X , Yとした場合、実際の表示装置での位置は χ = ί (X) 、 y = f (Y) で計算することができる。

以後はこの計算式を用いて、用紙から読み取った Χ Υ座標値から算出した X y座標値を用いればよい。なお、キヤリブレーションマークは 3点以上として精度を高めてもよレ、。このペーパーコントローラの各アイコン画像（四角形や三角形で示した各領域）にはそれぞれコード値がドットパターンとして印刷されており、スキャナでこれらのアイコン領域を撮像（タツチ）することによって、当該コード値がパーソナルコンピュータでコマンドに変換させてアプリケーシヨンプログラムに引き渡されるようになつている。

たとえば、このペーパーコントローラでは、マスク作成処理を行うことができる。

まずユーザがこのペーパーコントローラの左半図に示されたマスク作成領域の「マスク作成開始」領域をスキャナで選択入力（撮像）すると、デイスプレイ装置の画面上には作成画面が開かれて表示される。ユーザは、作成したい形状のアイコン（たとえば、多角形や曲線等）をスキャナで選択入力（撮像）する。

次に、紙面上でマスク領域としたい印刷画像上の境界領域を走査してマスクを作成する。

なお、作成したマスクを移動させる場合は、' 「移動」を選択入力した後、移動先の位置に対応する紙面上の位置をスキャナで選択入力（撮像)する。生成したマスクを左回転させるには「左回転」を、右回転させるには「右回転」を、それぞれスキャナで選択入力（撮像）する。また、生成したマスクを拡大させるには「拡大」を、縮小させるには「縮小」を、それぞれスキャナで選択入力（撮像）する。

また、ディスプレイ装置上で一つ前の画面に戻つてやり直したいときにはマスク作成領域の「一つ前に戻す」領域をスキャナで選択入力（撮像）する。マスクの作成を途中で中止する場合には「中止」をスキャナで選択入力（撮像）する。

最後に、マスクの作成が完了したら、「登録」をスキャナで選択入力（撮像）する。

なお、「削除」領域をスキャナで選択入力（撮像）すると「削除します力、？」とディスプレイ装置上に表示される。ここで、マスク作成領域の「はレ、」領域をスキャナで選択入力（撮像）すると、選択されたマスクが削除される。削除を行わない場合には、「いいえ」をスキャナで選択入力（撮像）する。

たとえば、このペーパーコントローラの左半図に示されたマスク作成領域の「マスク作成開始」アイコンをスキャナで撮像（タツチ）し、マスク領域とした図形（多角形や曲線等）を選択入力（撮像）した後、「U R L コピ一 /リンク」領域の「コピー実行」アイコンをスキャナで撮像（タツチ）して、所望のインターネットアドレス（U R L ) を複写（コピー）する。次に、「コピー &リンク実行ノ終了」アイコンをスキャナで選択入力 (撮像）して前述で指定したマスク領域に前記 U R Lを関連付ける。これによって、以後は、用紙上のマスク領域をスキャナで選択入力（撮像）したときは、ブラゥザプログラムがこれに関連付けられた U R Lにアクセスするようになる。

このようなマスク領域と U R Lのリンクは、ディスプレイ装置の画面上に表示されるパネルに表示されるようになっていてもよい。ディスプレイ装置の画面上に表示されるパネルに対しては、ペーパーコントローラの「パネル操作」領域の各アイコンをスキャナで選択入力（撮像）することによつて、 U R Lのリンクを削除したり、パネル上のポインタを上下に移動させたり、パネル画面をスクロールさせることができるようになつている。また、ペーパーコントローラの「W e b閲覧」領域の各アイコンをスキャナで選択入力（撮像）することによって、ブラウザプログラムの画面の移動（上下方向や過去の参照ページへのバック（戻り）やフォワード（進む）操作）や、スクロール操作が可能となっている。これらの操作は、各アイコン領域にコード値がドットパターンとして登録されており、このコ一ド値をアプリケーションプログラムが解析して、ブラウザプログラムに対して割り込み処理を行うことによつて実現可能である。

図 1 3は、ハードディスク装置に登録されたドットコード '処理命令対応テープルの内容を示している。

当該テーブルは、図 1 2に示すペーパーコントローラに用いられるものである。ペーパーコントローラの各制御領域（ペーパーコントローラ用領域）には、ドットパターンが印刷されている。各ドットパターンにはドットコードが対応しており、ドットコードには処理命令（コマンド）が対応している。ドットパターンをスキャナで指定入力（撮像）したときに何らかの処理命令が実行されることになる。たとえば、マスク作成を指示したり、マスクの登録を指示したりすることになる。

次に、図 1 4〜図 1 9を用いて、マスク指定処理の具体例について説明する。

図 1 4は、マスク制作用ぺ一パータブレットを示した図である。まず、ディスプレイ装置の画面上に表示された画像を、あら力じめドットパターンが印刷された用紙上に印刷する。すると、図 1 5に示す如く、マスク制作用ペーパータブレットと、図形または文書が重畳印刷される。次に、キャリブレーシヨン作業を実行し、用紙とディスプレイ装置の画面の位置関係を調整する。

次に、画像が印刷された用紙上において、図 1 2に示したペーパーコントローラを用いて、上述した操作により、マスク領域とした領域の外縁をスキャナで走查する。

たとえば、図 1 5の用紙の左上の車の図形を塗りつぶしたい場合、用紙上の車の図形の外縁に沿ってスキャナを走査する。このようにして走査された外縁にしたがって、ハードディスク装置（HD) 内に設けられたマスクテーブル（図 1 6参照）には、この外縁に囲まれた領域内にマスクフラグが設定される。図 1 6において、マスクテーブル内にはマスク番号 1のマスクフラグと、マスク番号 2のマスクフラグとが設定されている。アプリケーションプログラムは、このマスクテーブルを参照することによって、画像のどの部分を処理すればよいかがわかるようになっている。図 1 7は、ハードディスク装置（HD) 内に設定されるマスク 'アドレス対応テーブルの内容である。

マスク 'ァドレス対応テーブルには、マスク番号に対応してァドレスが登録されるようになっている。たとえばマスク 1にはインターネットアドレス（U R L) が登録されており、マスク 2にはローカルのドライブと実行ファイルが登録されている。このような登録は、上述した如く、ぺーパ一コントローラを用いて U R Lのコピー及ぴリンク操作を行うことによりなされる。

たとえば、スキャナでマスク 1の領域が指定入力されたときには、ブラゥザプログラムが起動し、このマスク · ァドレス対応テーブルに登録されたインターネットアドレス（U R L) にアクセスするようになっている。また、スキャナでマスク 2の領域が指定入力されたときには、ローカルの Cドライブの所定実行プログラム（たとえば画像処理プログラム等）が起動するようになっている。

図 1 8〜図 1 9は、マスク指定方法の他の実施例について説明する図でめる。

図 1 4〜図 1 7では、ディスプレイ装置の画面上に表示された画像を、マスク制作用ペーパータブレットに印刷した後に、マスクを指定していた。本実施形態では、ユーザは、ディスプレイ装置の画面上で、マウス等を用いて画像の外縁を走査し、マスクを指定する。その後に印刷処理を行うと、図 1 8に示す如く、マスクを指定した領域のみドットパターンが印刷され、当該領域以外の領域には、ドットパターンが印刷されない。

これにより、.必要な領域にのみドットパターンが印刷される。

図 1 9は、ハードディスク装置（HD) 内に設定されるテーブルについて説明する図である。

図 1 9 ( a ) は、マスク · ドットコード対応テーブルの内容である。マスク ' ドットコード対応テーブルには、マスク番号に対応してドットコードが登録されるようになっている。たとえばマスク 1にはドットコ一ド 5 4 0 0 1が登録され、マスク 2にはドットコード 5 4 0 0 2が登録される。

図 1 9 ( b ) は、ドットコード ' ァドレス対応テーブルの内容である。図 1 9 ( a ) でドットコードが登録されると、ドットコードに対応したアドレスが登録される。アドレスは、ユーザが図 1 2のペーパーコント口ーラを用いて U R Lのコピー及びリンク操作を行う力キーボ一ドでァドレスを直接入力することにより登録される。

これにより、スキャナでマスク 1の領域が指定入力されたときには、ブラウザプログラムが起動し、このドットコード ' アドレス対応テーブルに登録されたインターネットアドレス（U R L ) にアクセスするようになつている。

また、スキャナでマスク 2の領域が指定入力されたときには、ローカルの Cドライブの所定実行プログラム（たとえば画像処理プログラム等）が起動するようになっている。

く第 2の実施形態モデリング >

次に、図 2 0〜図 3 0を用いて、ディスプレイ装置上に表示された画像の一部の領域を指定して、その指定領域の範囲で画像を三次元処理したり着色、補正をするような画像修正、加工する場合のマスク加工技術について説明する。

くモデリング用コントローラ >

図 2 0は、マスク領域を作成し、その領域を三次元モデリングしたり、着色（ペイント）する場合のコント口一ル用の用紙（モデリング用コントローラ）を示したものである。

このモデリング用コントローラは上段、中段、下段に分割された領域にそれぞれ指示コマンドが印刷された領域が印刷されており、これらの領域には座標またはコードを意味するドットパターン（図示は省略）が印刷されている。したがって、スキャナでそれぞれの領域を指定入力（撮像）することにより、領域に印刷されたドットパターンが座標値またはコード値に変換された中央処理装置（C P U) に読み込まれて、アプリケーションプログラムによってそれに対応する命令が実行されるようになっている。上段のマスク作成指示領域には、マスク作成開始指示用領域（マスク作成開始）や、多角形、曲線、円等のマスク図形が指定可能となっている。中段のモデリング作業指示領域には、マスク作成指示領域で指定されたマスク領域内でのモデリング処理を指示するようになっている。具体的には、地図等の画像データの Z方向への三次元処理を意味しており、スキヤナでポイントを指定した上下方向（Z方向）へのモデリング処理が可能となっている。このときの三次元処理は各種の関数を用いて行うことが可能で、マスク領域全体を Z方向に浮き上がらせたり、中心のみを釣鐘状に + Z方向に盛り上がらせたりする三次元モデリング処理が可能となっている。なお、下段のペイント指示領域は、マスク領域に対する着色をスキャナで指示入力できるようになつている。

次に、図 2 0で説明したモデリング用コントローラを用いた、マスク作成、モデリング処理、ペイント処理の具体例を説明する。

(マスク作成）

まずユーザがモデリング用コントローラの「マスク作成開始」領域をスキヤナで選択入力（撮像）すると、ディスプレイ装置の画面上には作成画面が開かれて表示される。ユーザは、作成したい形状のアイコン（たとえば、多角形や曲線等）をスキャナで選択入力（撮像）する。

次に、モデリング用コントローラの紙面上でマスク領域としたい印刷画像上の境界領域を走査してマスクを作成する。なお、作成したマスクを移動させる場合は、「移動」を選択入力した後、移動先の位置に対応する紙面上の位置をスキャナで選択入力（撮像)する。生成したマスクを左回転させるには「左回転」を、右回転させるには「右回転」を、それぞれスキャナで選択入力（撮像）する。また、生成したマスクを拡大させるには「拡大」を、縮小させるには「縮小」を、それぞれスキャナで選択入力（撮像）する。

また、ディスプレイ装置上で一つ前の画面に戻ってやり直したいときにはモデリング用コントローラの「一つ前に戻す」の領域をスキャナで選択入力（撮像）する。マスクの作成を途中で中止する場合には「中止」をスキヤナで選択入力（撮像）する。

なお、「削除」領域をスキャナで選択入力（撮像）すると「削除します力？」とディスプレイ装置上に表示される。ここで、モデリング用コントローラの「はい」の領域をスキャナで選択入力（撮像）すると、選択されたマスクが削除される。削除を行わない場合には、「いいえ」をスキャナで選択入力（撮像）する。

(モデリング）

ユーザは、「モデリング開始」アイコンをスキャナで選択入力（撮像）してモデリングを開始する。

次に、モデリングの方法を選択する。具体的には、「ポイント上'下」、「影響領域上'下」、「マスク領域平面上'下」または「マスク領域曲面上 '下」のいずれかのアイコン（領域）をスキャナで選択入力（撮像） 9

する。

次に、モデリングを行う位置を決定する。紙面上で隆起させたい位置をスキャナで選択入力（撮像）すると、ディスプレイ装置の画面上において、紙面上のスキャナで選択入力（撮像）した位置に最も近いメッシュの交点 (ポイント）が点滅する。その際、モデリングの方法として「マスク領域平面上 ·下」または「マスク領域曲面上 ·下」が選択されている場合は、ポイントと共にマスクの輪郭が点滅する。

次に、モデリングを行う。ユーザは、「上げる」「下げる」の三角アイコンをスキャナで選択入力（撮像）し、メッシュを隆起させてモデリングする。隆起形状は、上記操作において選択されたモデリングの方法にしたがう。より高く隆起させたい場合、またはより深く陥没させたい場合にはスキャナで選択入力（撮像）の回数を多くして、たとえば紙面上をスキヤナで連続的にタッピングする動作を行ってもょレ、。

図 2 1および図 2 2は、マスク形状とそれに対応した Z方向への隆起形状のモデリング処理を示した図である.。これらの図において左側の図形は、「マスク領域曲面上 '下」をスキャナで選択入力（撮像）して山状（釣鐘状）に隆起させたモデリング処理状態を示している。また、右側の図形は、「マスク領域平面上 '下」をスキャナで選択入力（撮像）してビノレデイングのように立方体状に隆起させたモデリング処理状態を示している。このとき、マスクの指定は、スキャナでマスク形状の内部のいずれか任意の点を指定すればよい。

なお、モデリング作業の途中で、一つ前の操作に戻ってやり直したいときは、「一つ前に戻す」を、モデリングを途中でやめる場合には、「中止」を、それぞれスキャナで選択入力（撮像）する。

所望の形状（隆起形状や陥没形状等）が形成されたら、「決定」をスキャナで選択入力（撮像）する。これにより、モデリングが確定する。ところで、紙面上でスキャナを鉛直方向よりも傾けた場合には撮像領域内で傾けた方向で明暗の差ができるため、これをパーソナルコンピュータの画像認識プログラムによつて認識することでスキャナを傾けた方向が認識できる。この原理を利用して、スキャナのグリッドグラインド動作、すなわち用紙面の鉛直線に対する撮像光軸の一定の傾きを維持した傾斜状態で鉛直線を中心に回転させること、つまり撮像光軸の傾斜状態の変化を認識することによって表示装置に表示された画像処理を指示することができる。

たとえば、スキヤナを傾けた状態で撮像範囲を一定箇所にしながらスキャナの後端（図 2 3 ( a ) では上端）を所定時間内で時計方向に回動させる（グラインド）ことによって、図 2 3 ( b ) に示すように、 Z方向に陥没させるモデリング処理を実行しても.よい。

また、逆に、スキャナの後端（図 2 4 ( a ) 'では上端）を所定時間内で反時計方向に回動させる（グラインド）ことによって、図 2 4 ( b ) に示すように、 Z方向に隆起させるモデリング処理を実行してもよい。

図 2 5〜図 3 0は、スキャナの傾きおよび回動を認識する方法について説明した図である。

図 2 5に示したように、スキャナの撮像画像の明暗を認識し、その明喑領域が撮像中心に対して変化したときに、中央処理装置は、スキャナが図 2 3〜図 2 4のように動作されたことを認識できる。図 2 5は、スキャナの傾きと角度との関係を説明した図である。

紙面上のドットパターンは、紙面の縦方向と同方向に重畳印刷されている。（a ) に示す如く、ドットパターンの向きと、スキャナ内のカメラの向きとがなす角度を αとする。また、（b ) に示す如く、ユーザがスキヤナを傾けたときに、スキャナの傾きとカメラの向きとがなす角度を /3とする。この場合に、ドットパターンの向きとスキャナの傾きとがなす角度 γ 、紙面に対してスキャナを傾けた角度となる。すなわち、角度 yは、 y— a + β

となる。

図 2 6から図 2 7は、上述したスキャナの動作において、スキャナの撮影画像の明暗および傾斜方向の算出方法について説明した図である。スキャナ（撮像手段）の媒体面の鉛直方向に対する傾きについては、図 2 5 ( b ) に示すように、当該スキャナの撮像視野における明度の差で認識することが可能である。

スキャナの傾斜方向とは、図 2 5 ( a ) に示す如く、スキャナと紙面とのなす角度をいう。ユーザがどの方向にスキャナを傾けたかは、以下の方法により求めることができる。

まず、キャリブレーションを行う。ここでのキャリブレーションとは、前$のディスプレイ装置の画面と用紙の座標値を整合させるキヤリブレーシヨンではなく、あくまでもスキャナと紙面の角度を調整するためのキヤリブレ一シヨンを意味している。スキャナを紙面に対して垂直に立て、その場合の、図 2 6に示した、 1〜4 8のセルの明るさを測定する。図 2 6 は、スキャナ周辺の領域である。このときの明るさを B L 0 ( i ) とする。 iは、測定したセルの値であり、たとえば、 24番のセルの明るさは、 B L0 (24) と表示する。

スキャナ内部には、 LEDが 2個設置されている。そのため、スキャナを紙面に対して垂直に立てていても、 LED付近のセルと LEDから離れた位置にあるセルとでは、明るさが異なる。そのため、キヤリブレーションを行う。

次に、スキャナを傾けた場合の明るさを測定する。図 27 (a) に示す如く、スキャナを一定方向に傾けた場合の、セル 1からセル 48までの明るさを測定し、セル iにおける明るさを B L ( i ) とする。そして、各セルにおける BL ( i ) と BLO (i) との差分を計算する。そして、 Ma X (BLO ( i ) -B L ( i ) )

を計算する。

スキャナを傾けた場合、傾けた方向と逆の方向が暗くなる。スキャナを傾けた方向に LEDも傾くため、傾けた方向と逆方向では、 LEDとの距離が遠くなるからである。したがって、図 27 (b) に示す如く、差分が最大値となるセルと逆方向が、スキャナを傾けた位置となる。

これにより、スキャナを傾けた方向が定まる。

次に、図 26〜図 27を用いて、キャリブレーションを行うことにより、傾斜方向および角度を決定する他の方法について説明する。

最初にキャリブレーションを行う。まず、スキャナを紙面に対して垂直に立て、図 26に示したセル 1からセル 48の明るさを測定し、セル iにおける明るさを BLO (i) とする。

次に、スキャナを 45° 傾け、図 27に示す如くペン先を軸にして一周させる。この場合に、スキャナがセル iの位置にきた場合の明るさを BL 4 5 ( i ) とする。セル 1からセル 48までの B L 45 ( i ) を求める。以上の操作によりキヤリブレーシヨンが終了する。

次に、ユーザがスキャナを傾けた場合の、セル 1からセル 4 8までの明るさを測定し、セル iにおける明るさを B L ( i ) i = 1 ,η ( 48) とする。そして、

Μ χ~-^———,i=Xn= \n(= 48)

BJIXi)- BIA5(i)

を求める。

B L 0 ( i) -B L 4 5 ( i ) は一定であるため、 B L O ( i ) — B L ( i ) の値が最も大きいとき、すなわち、 B L ( i ) が最小となるときに、 48)

は最大値となる。上述した如く、スキャナを傾けた方向と逆の方向が最も暗くなるため、' この場合のセル iの逆方向が、スキャナを傾けた方向となる。また、スキャナを傾けた角度は、 _{n AC} BU)(i)-BUS) , _{Λ f} „_m

BU)(i)-BU5(i)

となる。

なお、上述した式は、明るさに対して角度 0が線形となることを想定しているが、厳密には、三角関数等で以下のように近似するとさらに精度を高めることができる。このようにすると、角度は

となる。

図 2 9は、フーリエ関数を用いて、傾斜方向を測定する方法である。図 2 8に示す如く、 1から 8の 8個のセルを測点とし、各セルの明るさを測定する。

サイン関数は、

で表される。すなわち、未知数は 2個となる。

したがって、 n個の測点を有する場合には、離散したポイントが n個となるため、 n/ 2個のサイン関数の和を求め、これが解析中心から半径における明るさ B L ( i ) となる。すなわち、

ただし、 n=2m (nは測点の数)

で表さ tる。

本実施例においては、測点が 8個であるため、 n = 8である。したがつて、 4個のサイン関数の式を合成することにより、フーリエ級数の a l〜 ο; 4および /3 丄〜 4を求める。そして、解析中心から半径における明るさ B L ( i ) を、 4個のサイン関数の和で表す。

上記式より、 B L ( i ) が最小値となる角度 Θが最も暗い位置であり、その 1 8 0度反対の方向が、スキャナを傾けた方向となる。図 3 0は、 n次方程式を解くことにより、傾斜方向を測定する方法である。

図 3 0のグラフは、 n次関数を示したものである。 n次関数を用いた場合、解析中心から半径における明るさ B L ( i ) は、

B L ( i ) = a l ( θ~β 1) · α 2 (θ— )3 2) · · · < a j (Θ— β j )

ただし、 j =n/2,n = 2 m

で表される。

図 2 8に示す如く、本実施例においては、測点が 8個であるため、 8個の解を求める必要がある。 1個の方程式には、 a j，/3j の 2個の未知数が含まれているため、 4個の方程式を解き、ひ：！〜 α 4および |3 1〜0 4を求める。 '

これにより、 B L ( i ) が最小値となる角度 0を求める。角度 0となる位置が最も暗い位置であり、その 1 8 0度反対の方向が、スキャナを傾けた方向となる。

なお、図 2 9および図 3 0による測定方法では、用紙の鉛直線に対するスキャナの傾きまでは測定できない。そこで、図 2 6〜図 2 7に示した測定方法と併用することにより、具体的に傾けた角度を測定することができる。

図 2 5に示したように、中央処理装置（C PU) がスキャナの撮像画像の明暗を認識し、撮像画像の明暗が前記撮像中心に対して回転するように変化したときに、中央処理装置（C PU) は、スキャナが回動されたことを判定する。 (ペイント）

ユーザは、ペイント機能により、メッシュ上に色を塗ったり、マスク領域内に模様や写真を貼り付けることができる。

まず、モデリング用コントローラの「ペイント開始」の領域をスキャナ (光学読取手段）で選択入力（撮像）する。

次に、「ペン」「スプレー」「筆」のいずれかを選択入力（撮像）して、筆の種類を決定する。

次に、筆のパラメータを決定する。筆の太さを決定する場合には「太さ」、ぼかしを決定する場合には「ぼカゝし」、透明感を決定する場合には「透明感」をそれぞれスキャナで選択入力（撮像）する。ここで、「上げる」「下げる」の三角アイコンをスキャナで選択入力（撮像）することにより筆のパラメータを変化させることができる。初期状態に戻すときは、「初期状態」をスキャナで選択入力（撮像）する。このようにして、筆のパラメ一タが決定したら、「決定」をスキャナで選択入力 (撮像）する。

次に、カラーパレットで色を選択する。ユーザは、カラーパレット内の希望の色のパネルをスキャナで選択入力（撮像）する。

次に、描き方を選択する。

折れ線を描く場合には「直線」をスキャナで選択入力（撮像）し、スキャナで紙面上の位置を次々に移動させて紙面から離すと折れ線が描かれる。曲線を描く場合には「曲線」をスキャナで選択入力（撮像）し、スキヤナで紙面上の位置を次々に移動させて紙面から離すと自動的に曲線が描かれる。

マスク領域全体を塗りつぶす場合には、「マスク領域塗りつぶし」をスキャナで選択入力（撮像）し、マスクが設定されている境界の内側領域に対応する紙面上の位置をスキャナで選択入力（撮像）すると、前記で選択された色でマスク內が着色される。

マスク領域に模様や写真を貼り付ける場合には、「模様」または「写真」をスキャナで選択入力（撮像）すると、モニタ上に模様や写真のリストが表示される。

ユーザは、三角アイコンをスキャナで選択入力（撮像）して、網掛け表示する模様、写真を選択する。ここで、使用する模様、写真が網掛け表示されたら「決定」をスキャナで選択入力（撮像）してその模様、写真を選択する。

次に、マスクが設定されている境界の内側領域に対応する紙面上の位置をスキャナで選択入力（撮像）すると、このマスク領域内に、前記で選択した模様または写真が貼り付けられる。

なお、ディスプレイ装置の画面上の一つ前の画面の操作に戻ってやり直したい場合にはモデリング用コントローラの「一つ前に戻す」をスキャナで選択入力（撮像）し、先に進みたい場合には「一つ先に進む」をスキヤナで選択入力（撮像）する。

最後に、ペイントを終了する場合には、「終了」をスキャナで選択入力 (撮像）する。

く第 3の実施形態メークのシミュレーション >

図 3 1〜3 4は、本発明の一実施形態である、メーク · シミュレーションについて説明する図である。

あらかじめ前述のドットパターンが印刷された用紙を用意しておき、この用紙にディスプレイ装置（モニタ）上に表示された画像をスキャナを用いて修正 ·加工する方法について説明する。

図 1で説明したハードディスク装置（HD) 内のアプリケーションプログラムの 1つとして化粧シミュレーシヨンプログラムがィンストールされている。この化粧シミュレーションプログラムは、ディスプレイ装置上に表示された顔画像（写真画像または CG加工画像でもよい）に対して、化粧を施すシミュレーションを実行するものである。

本実施形態では、このシミュレーションのためのチークブラシや力ラ一パレツトの選択を前記ドットパターンが印刷された用紙を用いて行うものである。

この用紙には同図（b ) に示すように、あらかじめ図 2等で説明したドットパターンが印刷されている。

この実施形態では、用紙のドットパターンは X Y座標を意味するドットパターンが印刷されている。

この用紙を図示しない印刷装置（プリンタ）にセットし、図 3 1 ( a ) に表示された顔の画像を印刷する。このとき、'用紙の上半分には顔の画像が印刷され、下半分にはコントローラ画像（メークコントローラ）が印刷される（図 3 2参照）。このコントローラ画像は、「化粧品の種類」、「化粧ファイル」、「カラ一パレット」、「お気に入り」等の入力を行うための指定領域が四角形状や三角形状の領域で印刷されている。この指定領域をスキャナで光学的に読み取ることによって、当該指定領域のドットパターンの座標またはコードを解析プログラムによって指示コマンドに変換してシミュレーションプログラムに引き渡すようになつている。ここで、スキャナの化粧料等の選択入力をディスプレイ装置の画面に表示された顔画像に対して正確に反映させるために、画面と用紙の位置関係を一致させる必要がある。

この一致させるためのキヤリブレーシヨン作業は以下のようにして行う。まず、用紙には、画像とともに、あらかじめディスプレイ装置上の画像の基準点が設定されており、当該基準点を目視可能なマーク（·で示されている）が前記画像とともに印刷される。このマークはディスプレイ装置の画面上にも表示されていてもよい。

このように印刷されたマークを用いてキヤリブレーション作業を行う場合、まず、図 3 2の上半分に示された顔画像が印刷された用紙の中の、左上の拿（黒丸）で示されたキャリブレーションボタン（マーク）をスキヤナで指定（タツチ）する。

次に、右下の秦（黒丸）、右上の書（黒丸）、左下の翁（黒丸）の順番にスキャナで指定（タツチ）する。この 4つのキャリブレーションボタンの指定（タツチ）によって、用紙上のキャリブレーションボタンのそれぞれの座標位置をシミュレーシヨンプログラムに引き渡し、これをディスプレイ装置上の 4力所のキヤリブレーシヨンボタンの位置と一致させる。このようなキヤリブレーション作業によって、用紙上の座標位置とディスプレイ装置上の画像の位置関係が一致し、画面に表示された顔画像に対して正確な位置で、メークの処理が施せるようになる。

くメーク用コントローラ〉

次に、図 3 2の下半図で説明した、メーク用コントローラを用いたメーク ·シミュレーションプログラムによるシミュレーション手順を具体的に説明する。

まずユーザは、「メーク開始」をスキャナで選択入力（撮像）してメーク .シミュレーションを開始する。

次に、化粧ファイルを選択する。「選択」を選択入力すると、ディスプレイ装置上に、既に登録されたファイルの一覧が表示される。ユーザは上向きおよび下向きの三角アイコンを選択入力（撮像）して、網掛け表示する化粧ファイルを選択する。使用する化粧ファイルが網掛け表示されたら、スキャナで「決定」を選択入力（撮像）する。

次に、化粧品の種類を選択する。ここで、メーク 'シミュレーションプログラムの化粧品の種類のデフォルト値は、チークブラシに設定されている。したがって、デフォルト値のチークブラシを選択する場合には次の操作に移行する。「口紅 '紅筆」「アイシャドーブラシ」「マスカラ」「ァイブロー」「アイライナー」を選択する場合には、希望する化粧品をスキャナで選択入力（撮像）する。

次に、筆の大きさ、ぼかし、透明感を決定する。筆の大きさを選択する場合には、「筆の大きさ」をスキャナで選択入力（撮像）し、大きくする場合には上向きの三角アイコンを、小さくする場合には、下向きの三角ァイコンを選択入力（撮像）する。初期設定に戻す場合には「初期設定」をスキャナで選択入力（撮像）する。太さが決定したら、「決定」をスキヤナで選択入力（撮像）する。ぼ力し、透明感を決定する場合も、「ぼかし」「透明感」をスキャナで選択入力（撮像）し同様に決定する。

次に、メーク 'シミュレーションを行う。まず、カラ一パレットで色を選択する。ユーザは、希望の色のパネルをスキャナで選択入力（撮像）する。

なお、選択した色をお気に入りに登録する場合には、「登録」をスキヤナで選択入力（撮像）するとその色が追加される。その化粧品の色が既に

5色選ばれている場合は、変更したい番号をスキャナで選択入力（撮像）する。また、すでにお気に入りに登録してある色から選択する場合には、登録した化粧品の番号（たとえば、チークの 1 ) をスキャナで選択入力（撮像）する。

化粧品の種類と色が決定したら、顔写真の化粧を施したい部分をスキャナで選択入力（撮像）すると、ディスプレイ装置上でメーク 'シミュレ一シヨンが行われる。

メーク ·シミュレーシヨンを行った後で化粧前に戻ってやり直したいときは、「化粧前」をスキャナで選択入力（撮像）する。一つ前のメーク画面に戻りたい場合には、「一つ前に戻る」をスキャナで選択入力（撮像）する。その後、. 先に進みたい場合には「一つ先に進む」をスキャナで選択入力（撮像）する。

次に、化粧ファイルを登録する。

メーク .シミュレーションが完了したら、化粧ファイルの「登録」をスキヤナで選択入力（撮像）しファイルの登録を行うと、「上書きしますか？」とディスプレイ装置の画面上に表示される。ユーザは、「はい」「いいえ」のいずれかをスキャナで選択入力（撮像）して、上書きするかどうかを決定する。上書きしない場合には、「ファイルの名前を入力してください」と、ディスプレイ装置の画面に表示される。ユーザが任意のファイルを入力すると新たなファイルが作成される。なお、登録を行ったときには、メーク後の画面だけでなくメークの過程も登録される。

最後に「メーク終了」をスキャナで選択入力（撮像）してメーク 'シミュレーションを終了する。

なお、図 3 1の顔画像の加工 ·修正においては、ドットパターンで X Y 座標を指定して着色や色補正を行う場合の基本技術のみを説明したが、このような場合にもたとえば唇の範囲、頰の範囲、髪の毛の範囲を指定してその色修正の影響が及ぶ範囲を指定することが好ましい。

この場合、画像上でマスク指定処理が必要となる。このマスク指定処理については、前述の実施形態と同様であるので説明は省略する。

図 3 3〜図 3 4は、メーク用コントローラの印刷方法についての、他の実施例について説明した図である。 '

図 3 3は、あらかじめコントローラが印刷されているものである。用紙の上半分には、あらかじめ X Y座標値を意味するドットパターンが印刷されている。用紙の下半分には、コントローラが印刷されており、コント口一ラの各アイコンには、コード値を意味するドットパターンが重畳印刷されている。この用紙を図示しない印刷装置（プリンタ）にセットし、ディスプレイ装置上に表示された顔画像を印刷すると、 X Y座標を意味するドットパターンが印刷された領域に、顔画像が出力される。ユーザは、顔画像領域で、上述したキャリブレーションを行った後、メーク 'シミュレ一シヨンを行う。

このように、あらかじめコントローラを印刷しておくことにより、ュ一ザが容易にメーク ' シミュレーションを行うことが可能となる。また、メーク 'シミュレーション用のコントローラに限らず、種々のコントローラを作成し、あらかじめ印刷しておくことが可能であるため、ユーザのズに合わせたコントローラを提供することが可能となる。

図 3 4は、白紙からメーク用コントローラを印刷するものである。ユーザは、ディスプレイ装置上に表示された顔画像の周辺、およびコントローラのアイコンの外線を、マウス等を用いて走査し、マスクを指定する。白紙を図示しない印刷装置（プリンタ）にセットし印刷処理を行うと、顔画像およびその周辺は、 XY座標を意味するドットパターンと画像が重畳印刷され、コントローラの各アイコンは、コード値を意味するドットパターンと画像が重畳印刷されて出力される。この場合、キャリブレーション操作は不要であり、ユーザは、印刷後すぐにメーク ·シミュレーションを行うことが可能である。

なお、上述した各実施形態における各種操作は、コントローラを用いず、ディスプレイ装置の画面の表面にドットパターンを印刷したシート等を貼付し、ディスプレイ装置の画面上の該当する位置を選択入力（撮像）することにより行ってもよレ、。

さらには、前記用紙の代わりに、ドットパターンを印刷したホワイトボ一ドゃスクリーン上にプロジェクターで画像を投影し、この投影された画像に対してスキャナによる走査を行いドットパターンに対応した処理を行うようにしてもよい。産業上の利用可能性

本発明は、ディスプレイ装置の画面上の制御技術に利用できる

Claims

請求の範囲

1 . ディスプレイ装置に表示された画像に対して、ドットパターンの印刷された用紙上に前記画像を印刷して、当該ドットパターンを撮像手段で撮像して画像の位置を認識して画像に処理を施す画像処理方法であって、用紙に X Y座標を意味するドットパターンを印刷するステップと、前記ドットパターンの印刷された用紙に対して、ディスプレイ装置の画面に表示された画像を印刷するステップと、

前記画像の印刷ステップにおいて、ディスプレイ装置上の画像の基準点を設定して当該基準点を目視可能なマークで前記画像とともに印刷するステツプと、

印刷された用紙のマークを撮像手で撮像させて当該用紙上のマークの位置座標を前記画像の基準点と一致させるキヤリブレーシヨンを実行するステップと、 ·

前記用紙上に印刷された画像に対レて撮像手段で画像処理を実行するス . テツプとからなる画像処理方法。

2 . ディスプレイ装置に表示された画像に対して、ドットパターンの印刷された用紙上に前記画像を印刷して、当該ドットパターンを撮像手段で撮像して画像の位置を認識して画像に処理を施す画像処理方法であって、用紙に X Y座標を意味するドットパターンを印刷するステップと、前記ドットパターンの印刷された用紙に対して、ディスプレイ装置の画面に表示された画像を印刷するステップと、

前記用紙上の画像が印刷された所定領域を閉図形を描くように撮像手段で走査してマスク領域を指定するステップと、

記憶手段に設定された前記画像領域に対応するマスクテーブルの前記マスクが設定された領域のフラグをセットするステップと、

前記用紙のマスク領域のドットパターンを撮像手段で撮像するステップと、

前記マスク領域のドットパターンを読み込んで、マスクテーブルを参照してマスクが設定された領域であるときに、前記マスクに対応した命令処理が定義されたマスク ·処理命令対応テーブルを参照して、処理命令を実行するステップとからなる画像処理方法。

3 . ディスプレイ装置に表示された画像に対して、あらかじめドットパターンの印刷された用紙上に前記画像を印刷して、当該ドットパターンを撮像手段で撮像して画像の位置を認識して画像に処理を施す画像処理方法であって、

あらかじめ X Y座標を意味するドットパターンが印刷された用紙に対して、ディスプレイ装置の画面に表示された画像を印刷するステップと、前記画像の印刷ステップにおいて、ディスプレイ装置上の画像の基準点を設定して当該基準点を目視可能なマークで前記画像とともに印刷するステツプと、

印刷された用紙のマークを撮像手段で撮像させて当該用紙上のマークの位置座標を前記画像の基準点と一致させるキャリブレーションを実行するステップと、

前記用紙上に印刷された画像に対して撮像手段で面像処理を実行するステツプとからなる画像処理方法。

4 . ディスプレイ装置に表示された画像に対して、ドットパターンの印刷された媒体を光学読取手段で撮像して前記ドットパターンに対応した画像処理を行う画像処理方法であって、

前記画像処理のための命令コードまたは座標値がパターン化されたドットパターンがアイコン画像と重ね合わせて印刷された媒体としてのコントローラを有しており、

前記コントローラ上のアイコン画像を MM次光学読取手段で撮像することによって、画像処理のための筆を選択するステップと、

同じくコントローラ上のアイコン画像を光学読取手段で撮像することによって、描画色を選択するステップと、.

前記コントローラ上を前記光学読取手段を走査させることによって、当該走査の軌跡に対応した描画処理をデ'イスプレイ装置の画面上で行うステップと力らなる画像処理方法。

5 . 前記画像処理は、撮像手段を前記用紙面に対して所定の動作を行わせることにより、前記用紙面に対応す.るディスプレイ装置に表示された画像領域の一部もしくは全部を指定し、該領域を 2次元画像処理もしくは 3 次元変形させる処理である請求項 1〜4のいずれかに記載の画像処理方法。

6 . 前記所定の 3次元変形のための動作は、撮像手段のグリッドグラインド動作、すなわち媒体面の鉛直線に対する撮像光軸の一定の傾きを維持した傾斜状態で鉛直線を中心に回転させることによって撮像光軸の傾斜状態の変化を認識し、画像領域の変形は、前記画像領域における Z方向への隆起状の変形、または— Z方向への陥没状の変形である請求項 5記載の画像処理方法。

7 . 前記画像処理は、前記画像上のモデリング処理であり、前記画像の所定の位置を指定して当該画像部位を Z方向または— Z方向に隆起状または陥没状に変形させる請求項 5または 6記載の画像処理方法。

8 . 前記モデリング処理は、画像の所定形状にマスク設定を行い、当該マスク形状に沿って画像の当該部位を Z方向または一 Z方向に伸張または隆起させる請求項 7記載の画像処理方法。

9 . 前記画像の基準点は少なくとも 2力所設けられており、前記マークもこれに対応して用紙上の 2力所以上の部位に印刷されることを特徴とする請求項 1〜 7のいずれかに記載の画像処理方法。