JP3462986B2 - カメラ付きペン型入力装置 - Google Patents

カメラ付きペン型入力装置

Info

Publication number
JP3462986B2
JP3462986B2 JP24469098A JP24469098A JP3462986B2 JP 3462986 B2 JP3462986 B2 JP 3462986B2 JP 24469098 A JP24469098 A JP 24469098A JP 24469098 A JP24469098 A JP 24469098A JP 3462986 B2 JP3462986 B2 JP 3462986B2
Authority
JP
Japan
Prior art keywords
pen
camera
target
image
input device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP24469098A
Other languages
English (en)
Other versions
JP2000076415A (ja
Inventor
俊史 荒井
君吉 待井
晃洋 桂
英之 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Via Mechanics Ltd
Original Assignee
Hitachi Ltd
Hitachi Via Mechanics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd, Hitachi Via Mechanics Ltd filed Critical Hitachi Ltd
Priority to JP24469098A priority Critical patent/JP3462986B2/ja
Priority to US09/763,823 priority patent/US7006134B1/en
Priority to CN99810237A priority patent/CN1323427A/zh
Priority to KR10-2001-7002603A priority patent/KR100448038B1/ko
Priority to EP99937062A priority patent/EP1154377A1/en
Priority to PCT/JP1999/004391 priority patent/WO2000013141A1/ja
Publication of JP2000076415A publication Critical patent/JP2000076415A/ja
Application granted granted Critical
Publication of JP3462986B2 publication Critical patent/JP3462986B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/40—Circuit details for pick-up tubes

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、利用者が情報処理
装置の機能を簡単に呼び出すためのユーザインタフェー
ス手法および装置を実現するものである。特に、手持ち
可能な画像入力装置を用いた情報処理装置における、手
持ち画像入力装置の構成、および手持ち画像入力装置を
使用する際の利用者の特性を登録する方法に関する。
【０００２】
【従来の技術】カメラ付きペン型入力装置に関わる従来
の技術として、ACM PRESS発行，HUMANFACTORS IN COMPU
TING SYSTEMS、CHI 95 CONFERENCE COMPANION、２５６
頁から２５７頁に記載のＭＥＭＯ−ＰＥＮがある。ＭＥ
ＭＯ−ＰＥＮとは、小型カメラをペンの軸に埋め込み、
ペン先ごしにペン先の近傍を連続撮影することで、筆跡
を記録するものである。ＭＥＭＯ−ＰＥＮのカメラが撮
影する範囲は、筆跡の方向が判別するために必要なごく
狭い領域に限られている。
【０００３】ＭＥＭＯ−ＰＥＮでは、ペン軸にカメラが
埋め込まれているため、利用者が手で持つ場所よりも先
端の近くに光学系を配置しないと、利用者の手によって
カメラの視野を妨げられてしまう。このため、視野角が
広い光学系を用いたとしても、光学系を対象物（紙）か
ら離せる距離に限度があるため、カメラの視野を広く取
れないという問題がある。また、利用者が自然にペンを
保持した状態では、ペン軸が垂直から大きく傾くのが普
通であるため、ペン軸に埋め込まれたカメラで撮影され
た画像は、対象を斜めから見たものになってしまう。
【０００４】ＭＥＭＯ−ＰＥＮの機能は、利用者がＭＥ
ＭＯ−ＰＥＮで書いた筆跡を記録しておき、後に何らか
の情報処理装置の助けをかりて、筆跡を再生したり、文
字認識したりすることである。すなわち、筆跡データを
収集している最中、換言すれば利用者がＭＥＭＯ−ＰＥ
Ｎを利用している最中には、このカメラ付きペン型入力
装置を用いて、情報処理装置の機能を呼び出すといった
ユーザインタフェースが実行されることはない。したが
って、入力中の処理対象（筆跡）に対して適用する処理
の種類を、ペンによって指定したりすることはない。さ
らに、ＭＥＭＯ−ＰＥＮの場合は、ペン先と筆跡の位置
は常に一致しているため、入力対象（筆跡）とペン先の
位置関係を調整したりする必要はない。
【０００５】また、カメラ付きペン型入力装置に関わる
従来の技術として、ACM PRESS発行,HUMAN FACTORS IN C
OMPUTING SYSTEMS、CHI 97 CONFERENCE PROCEEDINGS、3
27頁から３３４頁に記載のPaperLink というシステムが
ある。PaperLink では、利用者が処理対象を入力するた
めの装置として、小型カメラを装着したペン型の入力装
置を用いる。小型カメラは、利用者が自然にペンを保持
した状態で、真上から対象（紙面）を見下ろすような位
置に設置されている。カメラの視野は、ペン先付近の数
cm四方を撮影できるように設定されている。撮影された
ペン先付近の画像は、情報処理装置に入力され、その内
容に応じて色々な処理が実行される。入力した対象が既
知のものであれば、それに応じた所定の処理が実行され
る。例えば、所定のファイルを開いて利用者に提示した
り、所定のプログラムが実行を開始したりする。また、
入力した対象が未知のものであれば、一時的に保存さ
れ、後に実行されるコマンドへの引数として使用された
りする。
【０００６】
【発明が解決しようとする課題】本発明が解決しようと
する課題は、小型カメラをペン状のものに装着し、画像
を用いて対象を入力する装置において、使い勝手を低下
させる事柄である。
【０００７】ＭＥＭＯ−ＰＥＮにおいて本発明で解決し
ようとする課題は、光学系まで含めたカメラがペン軸に
組み込まれているために、カメラに広い視野を持たせる
ことが困難であるという点である。
【０００８】また、上述のPaperLink に関しては、まず
ペン軸とカメラの中心軸が同一平面上になるように配置
されているため、自然な操作で縦長のパターンを指し示
すことができないという問題がある。
【０００９】さらにPaperLink の入力装置では、対象を
指し示す方法が一種類しかないため、処理対象と処理の
種類を同時に指定できない。
【００１０】またPaperLink のように、ペン先をカメラ
が上から見下ろすような構成では、利用者が指示対象と
ペン先を重ねてしまうと、ペン先によって指示対象が隠
されてしまい、正しく入力できないという状態になる。
【００１１】また、上記のようにペン先と指定対象を重
ねられないことから、対象の指示方法に利用者の好みを
反映させる必要が生じる。すなわち、カメラ付きペン型
入力装置においては、指示対象の位置とペン先の位置と
の間の関係は、利用者の指示方法の好みによって色々と
変わりうる。例えば横長の対象を利用者が指示する場
合、ある利用者は真中付近を指示するであろうし、別な
利用者は右下を指示するかも知れない。また、対象を指
し示す際のペンの傾きなども、利用者ごとに異なるであ
ろう。
【００１２】
【課題を解決するための手段】上記の課題を解決するた
め、本発明では、次のような手段を設ける。
【００１３】本発明では、カメラをペンに装着する際
に、カメラの中心軸をペンの中心の左右にずらして配置
する。利用者が縦長の対象を右側から指示する場合、す
なわち利用者が右手で対象指示する場合は、カメラをペ
ン軸よりも左側に設置する。これにより、ペン軸がカメ
ラと対象の間に入って邪魔になることがなくなる。逆
に、利用者が縦長の対象を左側から指示する場合、すな
わち利用者が左手で対象指示する場合は、カメラをペン
軸よりも右側に設置する。また、カメラを左右にずらし
て固定する代わりに、カメラが左右に０から９０度の範
囲で回転しながら、左右にずれるような構成にする。
【００１４】また、小型カメラまたは小型カメラを装着
したペンの部分に、指示された対象に適用する処理の種
類を指定するための処理指定装置を設ける。この処理指
定装置は、例えば多色ボールペンでペン先の色を切り替
えるための仕掛けのようなものである。利用者は、あら
かじめ処理指定装置により、所定の処理を設定しておけ
ば、処理対象指定と同時にその処理を起動することがで
きるようになる。処理指定装置は、ペン先の形状または
色を変更するものであってもよい。ペン先は対象を指し
示すための部分であるため、利用者は指示対象を視界に
捉えながら、処理の種類に対応するペン先の形状または
色をも同時に見ることができる。
【００１５】また、利用者に正しい対象指示方法を教示
する指示方法教示手段を設けるとともに、利用者の対象
指示方法が正しくないことを検出する不正指示検出手段
を設ける。不正指示検出手段は、例えば、検出された対
象の領域と、ペン先が写り込む領域が重なっていたこと
を検出したら、利用者の対象指示方法が正しくないと判
定できる。また、対象抽出に連続して所定の回数だけ失
敗した際に、利用者の対象指示方法が正しくないと判定
してもよい。
【００１６】さらに、利用者がカメラ付きペン型入力装
置を用いて対象指定する際の好みを設定するために、指
差補正手段を設ける。指差補正手段とは、一般のタブレ
ットディスプレイにおける視差補正手段とは異なり、カ
メラ付きペン型入力装置とそれによって指示される対象
の位置関係についての利用者の好みを登録する手段であ
る。
【００１７】
【発明の実施の形態】図１は、本発明を実施するための
ハードウェア構成の一例である。利用者は、小型のカメ
ラ１０１を装着したペン型の入力装置を用いて、情報処
理装置１０２にデータを入力したり、情報処理装置１０
２のコマンドを実行させたりできる。このようなカメラ
付きペン型入力装置を、以下の説明ではビデオペン１０
３と呼ぶ。利用者がビデオペン１０３で何かを指示する
と、ビデオペン１０３の先端に取り付けられているスイ
ッチ、すなわちペン先スイッチ１０４がＯＮの状態にな
る。情報処理装置１０２は、ペン先スイッチ１０４がＯ
Ｎになったことを検出すると、ビデオペン１０３のカメ
ラ１０１から画像を取り込み、その内容に応じて様々な
処理を実行する。例えば、画像から文書中の行を抜き出
し、それを文字認識しと辞書プログラムに渡し、結果を
ディスプレイ１０５に表示したりする。
【００１８】図２は、ビデオペン１０３の構造の一例を
示したものである。ペン軸２０１は、利用者が手で持つ
ための部分であり、その先端にペン先スイッチ１０４が
取り付けられている。ペン先スイッチ１０４の先端は例
えば棒状になっており、利用者がビデオペン１０３で対
象を指し示すと、その棒がペン軸２０１に押し込まれ、
電気的な接点をＯＮにするようになっている。ペン軸２
０１には、ビデオペン１０３先端部付近を撮影できるよ
うに、カメラ１０１が取り付けられる。カメラ１０１
は、カメラ保持部品２０２によって、ペン軸２０１に取
り付けられる。カメラ１０１は、利用者がペンを持つ要
領でビデオペン１０３を保持した時に、なるべく先端付
近を垂直に見下ろせるような位置に取り付けてある。カ
メラ１０１としては、市販されている小型ビデオカメラ
を用いることができる。４分の１インチの撮像素子を用
いた小型ビデオカメラは、断面は直径１cm以下の円形
で、長さは数cm程度である。また、ペン軸２０１は、通
常のペンと同様に、直径が１cm程度の断面が円の棒状の
ものである。
【００１９】図３は、図２に示したビデオペン１０３を
利用者が保持している時と同じ状態に立て、真上から見
下ろした場合を示している。この場合、カメラ１０１は
鉛直方向に配置されるので、断面形状と同じく円のよう
に見える。ここで注意すべき点は、ペン軸２０１とカメ
ラ１０１が同一平面状には配置されていないことであ
る。カメラ１０１は、ペン軸２０１が載っている平面よ
りも、左側上方にずらして設置されている。これは、ビ
デオペン１０３で縦書きの文書中の行を指し示す際に、
ペン軸２０１によって対象行が隠されてしまうのを防ぐ
ための配慮である。
【００２０】図４は、図２に示したビデオペン１０３
で、横書き文書中の行を撮影した画像の例である。ビデ
オペン１０３のペン先４０１は、画像の中心より、若干
右下に写っている。また、中央部には、利用者が指示し
た対象パターン４０２が撮影されている。
【００２１】また、図５は、同じく図２に示したビデオ
ペン１０３で、縦書き文書中の行を撮影した画像の例で
ある。ビデオペン１０３のペン先４０１は、図４の場合
と同じ所に写っている。これは、カメラ１０１とペン軸
２０１の位置関係が固定されているために当然のことで
ある。図５では、対象パターン５０１は、画像中心に上
下に写っている。この際、カメラ１０１がペン軸２０１
よりも左側にずらして設置されているため、ペン軸２０
１が邪魔をして縦書き文書中の対象パターン５０１を隠
してしまうことはない。
【００２２】図６は、左利き用のビデオペン１０３を構
成する際のカメラ１０１の設置方法を、図３と同様に示
した物である。図３に示したビデオペン１０３では、右
手で操作することを前提にし、縦長の対象を右手で右側
から指し示すことを想定しているが、左手で左側から縦
長の対象を指示するためには、カメラ１０１をペン軸２
０１よりも右側にずらして設置するようにすれば良い。
これにより、縦長の対象をビデオペン１０３で左側から
指示する場合でも、ペン軸２０１によって対象が隠され
てしまうことを防げる。
【００２３】図７は、カメラ１０１をペン軸２０１の中
心平面からどれだけずらせば良いかを示している。縦長
の対象をペン軸２０１で隠さないためには、カメラ１０
１で撮影される部分のペン軸２０１の太さ７０１の半分
以上ずらす必要がある。だたし、ペン先４０１の形状に
よっては、上記のずれ方よりも小さくても十分である。
例えばカメラ１０１の画像に入る範囲のペン先４０１
が、図８のような形状であった場合、ずれ方は０以上で
あればよい。したがって、カメラのずれ方は、カメラの
画像に入る範囲のペン軸２０１で、ペン軸２０１の中心
線よりも指示対象側に出ている部分の幅より大きくなる
ように調整すればよい。
【００２４】図９は、ビデオペン１０３の構造のもう一
つの例である。ペン軸２０１の部分は図２に示したもの
と同じであるが、カメラ１０１を取り付ける方法が異な
っている。
【００２５】図１０は、図９に示したビデオペン１０３
を利用者が保持している時と同じ状態に立て、真上から
見下ろした場合を示している。この場合は、図３の場合
と異なり、カメラ１０１はペン軸２０１と同一平面上に
配置されている。したがって、横長の対象を指示するた
めには問題はないが、縦長の対象、例えば縦書き文章の
行などを指し示すと、ペン軸が邪魔になってしまう。
【００２６】これを解決するために、図９に示すビデオ
ペン１０３では、カメラ１０１がペン軸２０１に対して
９０度回転しながら左側にずれるようになっている。図
１１は、カメラ１０１が回転して左側にずれた状態を上
から見下ろしている所である。カメラ保持部品２０２
が、途中から折れ曲がり、カメラ１０１を９０度回転さ
せるとともに、左側に振り出すような構造になってい
る。この状態では、縦長の対象を指す場合に、ペン軸２
０１が対象を隠してしまうことはない。
【００２７】図１２は、カメラ１０１が回転されておら
ず、図１０の状態にあるときに横長の対象を撮影した画
像の一例である。ペン先４０１が写り込む位置が、画像
中央の少し下である以外は、図４の場合とほとんど変化
はない。すなわち、横長の対象を指し示す際には、図２
に示したビデオペン１０３と、図９に示したビデオペン
１０３では、横長の対象を指し示す際にはほとんど差が
ないと言える。
【００２８】一方図１３は、カメラ１０１が図１１のよ
うになっている状態で、縦長の対象を指し示した際の画
像の一例である。この場合、カメラ１０１が９０度回転
しているため、ペン先４０１は、画像中心の左下側に写
り込む。また、縦長の対象は、画像の横方向に長くなる
ように写り込む。市販のビデオカメラで撮影された画像
は、一般的に横長であるから、この図９に示したビデオ
ペン１０３の構成では、縦長の対象を指示する際にも、
撮像素子の画素を有効に使えるという利点がある。
【００２９】すなわち、図２に示したビデオペン１０３
で縦長の対象を指示した際は、図４に示すように画像の
短辺の中に収まる対象しか入力できないが、図９に示す
ビデオペン１０３では、図１３のように画像の長辺に収
まる対象まで入力することができる。
【００３０】ただし、図９に示すビデオペン１０３で
は、縦長の対象を指す場合と、横長の対象を指す場合
で、利用者がカメラ１０１の配置を切り替えなくてはな
らないという欠点はある。したがって、カメラ１０１の
解像度および撮影範囲が十分に大きい時は、図２の構成
を用い、そうでない場合に図９の構成を用いることが望
ましい。
【００３１】なお、図９に示すビデオペン１０３の構成
では、カメラ１０１を右側にも振り出せるようにしてお
けば、縦長の対象を左側から指し示す場合にも対処でき
るようになるという利点もある。
【００３２】また、図９に示すビデオペン１０３では、
情報処理装置１０２が対象が横長なのか縦長なのかを判
定するのために、ビデオペン１０３のカメラ１０１が、
どこに設定されているかを読み取る必要が生じる。これ
は、カメラ保持部品２０２の状態を電気的に読み込める
ようにしても良いし、撮影された画像から判定するよう
にしても良い。すなわち、ペン先４０１が画像のどこに
写り込んでいるかを調べれば、カメラ１０１がどこにあ
るかを特定することができる。ペン先４０１が、図１２
のように画像の中央下側に写り込んでいれば、横長の対
象を撮影している場合である。また、ペン先４０１が、
図１３のように画像の左下側に写り込んでいれば、縦長
の対象を右側から指し示している場合である。同様に、
ペン先４０１が画像の右下側に写り込んでいれば、縦長
の対象を左側から指し示している場合である。
【００３３】ビデオペン１０３のペン軸２０１の部分
に、指示された対象に適用する処理の種類を指定するた
めの処理指定装置１４０１を設ける。この処理指定装置
1401は、例えば多色ボールペンでペンの色を切り替える
ための仕掛けのようなものである。図１４に、処理指定
装置１４０１の一例を示す。利用者は、起動したい処理
に対応した色を、ペン軸２０１の上端にある回転部分１
４０２を回すことで選択する。すると、選ばれた色に対
応する芯がペン先４０１から出てくる。
【００３４】利用者は、あらかじめ処理指定装置１４０
１により、所定の処理を設定しておけば、処理対象指定
と同時にその処理を起動することができるようになる。
処理指定装置１４０１は、ペン先４０１の形状または色
を変更するものであってもよい。ペン先４０１は対象を
指し示すための部分であるため、利用者は指示対象を視
界に捉えながら、処理の種類に対応するペン先４０１の
形状または色をも同時に見ることができる。
【００３５】処理指定装置の状態、すなわちどの芯が選
ばれているかを読み取るためには、例えば電気的な接点
を用いる構成が考えられる。この場合は例えば、ペン先
スイッチ４０１がＯＮになった時点で、処理指定装置１
４０１の状態を読み出すようにすればよい。
【００３６】また、ペン先４０１はカメラ１０１の視野
中にも入っているので、カメラ101からの画像を処理す
る際に、特別な電気的な信号を用いなくても、画像処理
により処理の種類を特定することも可能である。ペン先
４０１とカメラ１０１の位置関係は既知であるので、カ
メラ１０１からの入力画像中のどこにペン先４０１、特
に芯があるかはあらかじめ計算しておける。画像処理の
過程で、その位置にある色を調べれば、現在選択されて
いる処理の種類を容易に判別することが可能となる。
【００３７】本発明によるユーザインタフェース手法に
おいては、利用者はビデオペン103を用いて画像により
処理対象を情報処理装置１０２に入力する。したがって
利用者は、処理対象を正しく入力するためには、ビデオ
ペン１０３により正しい対象指定の方法を習得している
必要がある。すなわち、ビデオペン１０３のペン先４０
１で、対象を覆い隠してしまってはいけないし、ペン先
４０１と対象が離れすぎてもいけない。
【００３８】ところが、ビデオペン１０３を初めて使う
利用者は、図１５のように対象の上にペン先４０１を重
ねてしまいがちである。この状態は、ペン入力コンピュ
ータのように指示する対象がシステムによる表示物であ
り、ペンで指示したディスプレイ上の座標を入力する手
段を備えている場合には問題ない。しかし、本発明によ
るユーザインタフェース手法のように、ペン先４０１の
付近を上から撮影した画像から指示対象を抽出する場合
には、指示対象がペン先４０１で隠されてしまうことは
大きな問題である。
【００３９】上記のように、利用者が対象の上にペン先
４０１を重ねてしまった場合に対処するため、そのよう
な状態が起こったことを検出し、利用者に正しい指示方
法を教示する指し方教示手段が必要となる。
【００４０】ペン先４０１と指示対象が重なったこと
は、次のようにして検出できる。すなわち、対象として
抽出された領域と、ペン先４０１が写っているはずの領
域を比較し、両者が重なり部分を持てば、利用者が対象
とペン先４０１を重ねてしまったと判定すれば良い。図
１６は、対象として抽出された領域１６０１と、ペン先
４０１が写り込んだもの１６０２が重なりあっている場
合の一例である。ちなみに、ペン先４０１が写り込む領
域は、ペン軸２０１とカメラ１０１の位置関係が既知で
あるため、あらかじめ求めて置くことができる。上記の
ような方法で、利用者が対象の上にペン先４０１を重ね
てしまったことを検出したら、本ユーザインタフェース
手法では、対象の正しい指示方法を利用者に教示するた
めの教示画面を表示する。また、連続して所定の回数、
例えば３回対象抽出に失敗した場合は、指し方教示画面
を表示するようにしても良い。
【００４１】図１７は、上記の教示画面の一例であり、
情報処理装置１０２のディスプレイ１０５に表示され
る。指し方教示画面は、利用者に、指し示したい対象を
ペン先４０１で隠さず、横長の対象の場合は数mm下側
を、縦長の対象の場合は数mm右横を指すように教示して
いる。
【００４２】また、指し方教示画面には、後に説明する
指差補正手段を呼び出すための指差補正ボタン１７０１
が付いている。
【００４３】利用者がビデオペン１０３で対象を指示す
る場合、その指し示し方には人によって色々な違いがあ
る。例えば横長の対象を指示する場合、対象の中心の下
側を指す利用者もいるであろうし、対象の右下を指す利
用者もいるであろう。また、対象に対するペンの角度
も、利用者によって異なる。例えば横長の対象を指示す
る場合、対象の真下から指す利用者もいるであろうし、
対象の右下から指す利用者もいるであろう。さらに、指
示対象からペン先４０１までの距離も、利用者によって
異なるであろう。例えば横長の対象を指示する場合、対
象の下側すれすれを指す利用者もいるであろうし、対象
の下側１cm程度の場所を指す利用者もいるであろう。
【００４４】上で述べたような、利用者による対象の指
し方の違いは、利用者が指示した対象を抽出する際のパ
ラメータに反映させなければならない。また、場合によ
っては、ビデオペン１０３のペン軸２０１とカメラ１０
１の位置関係を調整する必要もあるかも知れない。そこ
で、本発明によるユーザインタフェース手法では、利用
者による指し方の違い（ここでは「指差」と呼ぶことに
する）を、あらかじめ登録するための手段を提供する。
この手段を、指差補正手段と呼ぶことにする。指差補正
手段は、本発明によるユーザインタフェース手法を初め
て起動する場合や、既に述べた指差補正ボタン１７０１
を押した時などに呼び出される。
【００４５】利用者は、指差補正手段を使って、例えば
次のようにして利用者の好みを登録できる。利用者が指
差補正手段を起動すると、ディスプレイ１０５に図１８
に示すようなメッセージが表示される。利用者はこのメ
ッセージに従い、図１９に示すような指差補正シート上
の対象をビデオペン１０３で指示する。指差補正シート
は、単なる紙に横長の対象が印刷されているものであ
る。その対象，標準パターン１９０１の形状と大きさ
は、あらかじめ情報処理装置１０２に登録されている。
【００４６】利用者が標準パターン１９０１をビデオペ
ン１０３で指示すると、入力画像として例えば図２０が
得られる。情報処理装置１０２は、この画像を画像処理
することで、利用者が対象に対してどの辺りをペン先４
０１で指示したか、指示した際のペン軸２０１の角度は
どれくらいのか、といった情報を読み取る。このように
して読み取られた利用者の対象指定に関する好みは、情
報処理装置１０２が入力画像から処理対象を抽出する際
の参考値として用いられる。
【００４７】本実施例では、対象と利用者が指した位置
の間の距離（対象最小距離）と、ビデオペン１０３の傾
き（標準傾き）を、利用者の好みとして登録するものと
する。それぞれの求め方については、後に情報処理装置
１０２の対象抽出部について述べる際に詳しく説明す
る。
【００４８】図２１は、本発明を実施するための全体構
成の一例で、情報処理装置１０２の内構成を具体的に図
示したものである。以下で、それぞれの構成要素の動作
を説明する。
【００４９】（１）ビデオペンインタフェース２１０１ 利用者がビデオペン１０３で、入力したい対象を指示す
ると、ビデオペン103先端に取り付けられたペン先スイ
ッチ１０４がＯＮになる。ビデオペンインタフェース２
１０１は、ペン先スイッチ１０４がＯＮになったことを
検出すると、カメラ１０１からの画像を１フレーム取り
込んで、二値化部２１０２に渡す。二値化部２１０２に
渡される画像は、例えば横３２０ドット，縦２４０ドッ
ト，一画素あたり２４ビットの色数をもつカラー画像で
ある。
【００５０】また、ビデオペンインタフェース２１０１
は、ビデオペン１０３に付けられた処理指定装置１４０
１の状態を読み込み、処理指定バッファ２１０３に書き
込む。処理指定バッファ２１０３に書き込まれるデータ
は、例えば処理指定装置1401で選ばれている芯の番号で
ある。ただし、番号が０である場合は、処理が何も指定
されていない状態であるとする。
【００５１】（２）二値化部２１０２ 二値化部２１０２は、入力された画像を二値画像に変換
し、その結果である二値画像を対象抽出部２１０４に渡
す。図２２は、二値化部２１０２から対象抽出部２１０
４に渡される二値画像の一例である。
【００５２】なお、処理指定装置１４０１の状態を電気
的な接点によって読み出せない構成になっている場合
は、入力画像の二値化に先立ち、芯が写っている領域の
色を調べ、それにより何色の芯が選ばれているかを判定
し、処理指定バッファ２１０３に選ばれていた芯の番号
を書き込む。
【００５３】（３）対象抽出部２１０４ 対象抽出部２１０４は、二値化部２１０２から渡された
二値画像から、処理対象を抽出する部分である。渡され
た二値画像には、対象以外に色々なものが写り込んでい
る。例えば、ペン先４０１も写り込んでいるし、対象の
近くに書かれていたものも写り込んでいるであろう。対
象抽出部２１０４の役割は、渡された二値画像から対象
だけを抜き出し、その画像を傾き補正部２１０５に渡す
ことである。
【００５４】利用者が対象を指し示す際の好みは、指差
補正バッファ２１１２に格納されている。指差補正バッ
ファ２１１２の内容は、例えば図２３に示すような値の
組、すなわち対象最小距離２３０１と標準傾き２３０２
の組である。対象最小距離２３０１は、利用者が標準パ
ターン１９０１を指示した際に、ペン先４０１を対象か
らどれくらい離したかを基準にして求められる。対象最
小距離２３０１は、例えば図２４中の線分Ｄの長さ（ド
ット数）と定めることができる。また、標準傾き２３０
２は、利用者がどれだけビデオペン１０３を傾けている
かを表す値であり、例えば図２４中の傾きＡの大きさと
定めることができる。対象最小距離２３０１の初期値は
例えば２０、標準傾き２３０２の初期値は例えば０であ
る。図２４の場合、対象最小距離２３０１は１８ドッ
ト、標準傾き２３０２は３２度である。
【００５５】対象抽出部２１０４が二値画像から対象を
抽出する処理は、図２５を用いて説明する。なお、以下
の説明では、画像中の座標系は左上が原点である。ま
た、説明に出てくる定数は、ＣＡＭＸが画像中でのペン
先４０１のＸ座標、ＣＡＭＹは同じくＹ座標、Ｄは対象
最小距離２３０１である。ＣＡＭＸ，ＣＡＭＹは、ペン
軸２０１とカメラ１０１の位置関係が既知であるため、
あらかじめ求めておける値であり、Ｄは上述のように指
差補正バッファ２１１２から読み出せる値である。
【００５６】まず対象抽出部２１０４は、ペン先４０１
の座標（ＣＡＭＸ，ＣＡＭＹ）からＤだけ上の点Ｓ（Ｃ
ＡＭＸ，ＣＡＭＹ−Ｄ）から、上に向かって対象の画素
を探して行く。すなわち、図２５の中の線分Ｌに沿っ
て、対象の画素を探して行く。この段階で、対象に属す
ると思われる画素が一つも見つからなければ、対象抽出
は失敗である。ここで見つかった対象の画素は、対象領
域として記憶される。
【００５７】次に対象抽出部２１０４は、対象領域の近
傍を調べ、対象領域から所定の距離以内にある画素を新
たに対象領域に取り込んで行く。所定の距離とは例えば
１０ドットである。この処理に伴い、対象領域は徐々に
拡張されて行く。対象抽出部２１０４は、それ以上取り
込める画素がなくなった時点で、この拡張処理を終え
る。この拡張処理が終わった時点で、対象領域として記
憶されていた画素の集まりを、利用者が指示した対象で
あると判定する。
【００５８】対象抽出部２１０４が対象を抽出し終えた
時点で、抽出された対象領域と、ペン先４０１が映り込
んでいる領域を比較し、両者が重なり部分を持つ場合
は、利用者が対象とペン先４０１を重ねてしまったもの
と判定できる。例えば、図１６のような場合である。し
たがってこのような場合は、利用者に指し方教示画面を
提示し、正しい対象指定方法を教示する。また、対象抽
出に連続して失敗した場合にも、利用者に指し方教示画
面を提示し、正しい対象指定方法を教示する。
【００５９】例えば、図２２に示した二値画像に上記の
方法を適用すると、図２６のようなパターンが対象とし
て抽出される。この抽出結果の画像は、傾き補正部２１
０５に渡される。
【００６０】（４）傾き補正部２１０５ 傾き補正部２１０５は、対象抽出部２１０４から渡され
た対象の画像から、対象の傾きを計算し、それを補正す
るためのものである。
【００６１】まず傾き補正部２１０５は、受け取った対
象の主軸の傾きを計算する。図２７中の角度Ｒが主軸の
傾きであり、この例の場合は−２８度である。これは、
カメラ１０１で撮影された画像中での対象の傾きであ
る。
【００６２】次に傾き補正部２１０５は、上で計算した
主軸の傾きと、指差補正バッファ２１１２中の標準傾き
の値を元に、対象が書かれていた紙に対する対象の傾き
を計算する。この傾きのことを、以下の説明では実傾き
と呼ぶことにする。具体的には、画像中での対象の傾き
と、標準傾きの値を足しあわせたものが、実傾きとな
る。本実施例の場合は、画像中での対象の傾きが−２８
度で標準傾きは３２度であるから、そこから求められる
実傾きの値は４度である。
【００６３】実傾きが０に近い範囲、例えば−４５度か
ら４５度の間にある場合は、傾き補正部２１０５は対象
が横長であったものと判定し、画像中での主軸の傾きが
０になるように、対象の画像を回転させる。したがって
先に上げた例の場合は、画像を−２８度だけ回転させる
ことになる。回転された後の対象の画像を図２８に示
す。逆に、実傾きが上記以外であった場合は、傾き補正
部２１０５は対象が縦長であったものと判定し、画像中
での主軸の傾きが９０度になるように、対象の画像を回
転させる。
【００６４】傾き補正部２１０５は、以上の処理が終わ
り、傾きが補正された対象の画像を、特徴抽出部２１０
６に渡す。また、傾きが補正された対象の画像を、対象
保持部に格納する。対象保持部に、画像を保持する場
合、既に保持されていた画像があれば、それは破棄され
る。
【００６５】（５）特徴抽出部２１０６ 特徴抽出部２１０６は、傾き補正部２１０５から送られ
てきた対象の画像から、特徴量を抽出するためのもので
ある。特徴量とは、例えば対象が含む画素数，外挿矩形
の大きさ，重心位置、などである。それらの特徴量は、
後に対象を識別するために使用される。特徴量の一例
を、図２９に示す。対象画素数ＰＩＸ−ＮＵＭ，対象外
挿幅ＢＯＸ−ＷＩＤＴＨ，対象外挿高さＢＯＸ−ＨＥＩ
ＧＨＴ，重心Ｘ座標ＣＯＧ−Ｘ，重心Ｙ座標ＣＯＧ−Ｙ
などが特徴量を構成している。それらの値はいずれも整
数値である。
【００６６】特徴抽出部２１０６により抽出された特徴
量は、対象認識部２１０７に渡される。
【００６７】（６）対象認識部２１０７ 対象認識部２１０７は、特徴抽出部２１０６から渡され
た特徴量を使って、現在処理中の対象が既に登録されて
いるものか否かを判定する部分である。
【００６８】対象認識部２１０７は、パターン辞書２１
１３に登録されている複数の特徴量と、特徴抽出部２１
０６から渡された特徴量を比較し、近い特徴量があるか
どうかを調べる。パターン辞書２１１３は、図３０に示
すように、それに含まれる項目数を保持する辞書項目数
領域と、０個以上のパターン辞書項目からなる。さらに
パターン辞書項目は、特徴量を保持する特徴量領域と、
対象識別番号領域からなる。本実施例では、対象識別番
号領域に格納される対象識別番号として、自然数値
（１，２，３，…）を用いるものとする。
【００６９】対象認識部２１０７は、パターン辞書２１
１３から、入力の特徴量と近い特徴量を持つパターン辞
書項目を探し出し、その項目の対象識別番号領域に格納
されていた対象識別番号を動作実行部２１０８に渡す。
入力の特徴量と近い特徴量を持つ登録パターンが見つか
らなかった時は、対象認識部２１０７は対象識別番号と
して−１を動作実行部２１０８に渡す。
【００７０】（７）動作実行部 動作実行部２１０８は、対象認識部２１０７から渡され
た対象識別番号に基づき、所定の処理を実行する部分で
ある。以下で、その処理内容を説明する。
【００７１】対象識別番号が−１であった場合、すなわ
ち入力対象が、既に登録されたパターンではなかった場
合、動作実行部２１０８は、対象保持部に格納されてい
る対象画像を読み出し、それをパターンバッファ２１０
９に格納する。この際、パターンバッフア２１０９に既
に格納されていた画像があれば、新たに格納される画像
はその右側に追加されるものとする。パターンバッファ
２１０９に蓄積された対象パターンは、後の処理で使用
されるまで保持される。
【００７２】また、対象識別番号が−１であった場合、
すなわち入力対象が、既に登録されたパターンではなか
った場合、動作実行部２１０８は、処理指定バッファに
保持されている芯の番号を読み出す。芯の番号が０であ
った場合は何もしないが、芯の番号が０でなかった場合
は、その番号に対応する動作を実行する。芯の番号と動
作は、処理テーブルによって対応付けられている。
【００７３】処理テーブルは、図３１に示すように、そ
れに含まれる項目数を保持する処理項目数領域と、０個
以上の処理指定項目からなる。処理指定項目は、芯の番
号を保持する状態領域と、その番号が設定されている時
に実行すべき動作を保持する処理指定領域からなる。動
作実行部２１０８は、処理指定バッファに格納されてい
る芯の番号が０でない場合、処理テーブルを使って、そ
の番号に対応する処理を調べ、それを実行する。
【００７４】一方、対象認識部２１０７から渡された対
象識別番号が−１で無かった場合、すなわち入力パター
ンが既に登録されているパターンであった場合、動作実
行部２１０８は、その対象識別番号にどのような動作が
対応付けられているかを動作テーブルを使って調べ、そ
の動作を実行する。
【００７５】動作テーブルは、図３２に示すように、そ
れに含まれる項目数を保持する動作項目数領域と、０個
以上の動作指定項目からなる。動作指定項目は、対象識
別番号を保持する対象番号領域と、その対象が検出され
た時に実行すべき動作を保持する動作領域からなる。
【００７６】動作実行部２１０８は、対象認識部２１０
７から与えられた対象識別番号と同じ番号を持つ動作指
定項目が動作テーブル中にあるか調べ、あればその動作
指定項目の動作領域を読み出して実行する。
【００７７】動作実行部２１０８が実行できる動作に
は、例えばＯＰＥＮ動作がある。動作実行部２１０８が
実行すべき動作がＯＰＥＮであった場合、動作実行部２
１０８はまず、パターンバッファ２１０９に格納されて
いるパターンを、ある決められた名前のパターン画像フ
ァイル（例えば“patterns.bmp”など）に格納する。次
に、動作名ＯＰＥＮに続いて格納されているファイル名
またはプログラム名を参照し、そのファイルを開いたり
プログラムを起動したりする。
【００７８】動作実行部２１０８により起動されたプロ
グラムは、パターン画像ファイルを読み込んで、任意の
処理に利用することができる。例えば、パターン画像フ
ァイルに格納されている画像を、文字列とみなして文字
認識を試みたりできる。また、動作実行部２１０８によ
り起動されたプログラムは、情報処理装置１０２の任意
の機能を利用できる。例えば、情報処理装置１０２に組
み込まれている百科事典プログラムの機能を呼び出した
り、地図プログラムの機能を呼び出したりできる。
【００７９】上記を組み合わせば、動作実行部２１０８
から起動されるプログラムとして、パターンバッファ２
１０９の内容を文字認識し、それを百科事典プログラム
に渡して調べた意味を表示させる、といったようなプロ
グラムを実現することができる。
【００８０】図３３は、本発明を実施するための情報処
理装置１０２のディスプレイ１０５に表示される画面の
一例である。利用者がビデオペン１０３で入力した画像
は、処理過程表示領域に表示される。処理過程表示領域
には、入力された画像を処理して行く過程も表示され
る。処理過程表示領域の右側は、システムメッセージ領
域である。ここには、情報処理装置１０２から利用者へ
のメッセージが表示される。画面の下側には、パターン
バッファ領域がある。パターンバッファ領域には、利用
者がビデオペン１０３で指し示した処理対象で、情報処
理装置１０２が一時的に保存しているものが表示され
る。
【００８１】
【発明の効果】本発明によれば、自然な操作で対象を入
力できる。また、利用者の操作数を大幅に減らせるとい
う利点がある。さらに、利用者が誤った対象指定方法を
繰り返して混乱してしまうことを防げる。
【図面の簡単な説明】
【図１】全体構成図である。
【図２】ビデオペンの構成図である。
【図３】上の構成図のビデオペンを上から見た図であ
る。
【図４】上の構成図のビデオペンで横書き文書中の行を
撮影した画像の一例である。
【図５】上の構成図のビデオペンで縦書き文書中の行を
撮影した画像の一例である。
【図６】左利用のビデオペンの構成を、上から見た図で
ある。
【図７】カメラをずらす量を定量的に説明する図であ
る。
【図８】カメラをずらす量が極端に少なくて済むペン先
形状の例である。
【図９】ビデオペンの構成図である。
【図１０】上の構成図のビデオペンを上から見た図（横
書き用の設定）である。
【図１１】上の構成図のビデオペンを上から見た図（縦
書き用の設定）である。
【図１２】横書き用の設定で、横長の対象を撮影した画
像の一例である。
【図１３】縦書き用の設定で、縦長の対象を撮影した画
像の一例である。
【図１４】処理指定装置の概観である。
【図１５】誤った対象指示の一例である。
【図１６】対象抽出後にペン先と対象が重なっているこ
とを検出した例である。
【図１７】指し方教示画面の一例である。
【図１８】指差補正手段が表示するメッセージの一例で
ある。
【図１９】指差補正のために用いるシートの一例であ
る。
【図２０】指差補正のために標準パターンを撮影した画
像の一例である。
【図２１】情報処理装置の内部構成である。
【図２２】二値画像の一例横長の対象を入力した場合の
例である。
【図２３】指差補正のための値の組みである。
【図２４】指差補正データを説明する図である。
【図２５】対象抽出を説明する図である。
【図２６】抽出された対象の画像の一例である。
【図２７】傾き補正を説明する図である。
【図２８】傾き補正後の対象の画像の一例である。
【図２９】特徴量の例である。
【図３０】パターン辞書の構造の一例を示す図である。
【図３１】処理テーブルの構造の一例を示す図である。
【図３２】動作テーブルの構造の一例を示す図である。
【図３３】情報処理装置の表示画面の一例である。
【符号の説明】
１０１…カメラ、１０２…情報処理装置、１０３…ビデ
オペン、１０４…ペン先スイッチ、１０５…ディスプレ
イ。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 桂 晃洋 茨城県日立市大みか町七丁目１番１号 株式会社 日立製作所 日立研究所内 (72)発明者 渡辺 英之 神奈川県海老名市上今泉2100番地 日立 精工株式会社内 (56)参考文献 特開 平８−101739（ＪＰ，Ａ) 特開 平４−129383（ＪＰ，Ａ) 特開 昭61−250784（ＪＰ，Ａ) Ｔｏｓｈｉｆｕｍｉ Ａｒａｉ、外２ 名，ＰａｐｅｒＬｉｎｋ：Ａ Ｔｅｃｈ ｎｉｑｕｅ ｆｏｒ Ｈｙｐｅｒｌｉｎ ｋｉｎｇ ｆｒｏｍ Ｒｅａｌ Ｐ，Ｈ ＵＭＡＮ ＦＡＣＴＯＲＳ ＩＮ ＣＯ ＭＰＵＴＩＮＧ ＳＹＳＴＥＭＳ，米 国，1997年，ｐ．327−334 (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 1/00

Claims (8)

    (57)【特許請求の範囲】
  1. 【請求項１】ペンと、前記ペンに取り付けられペン先を
    撮影するカメラと、前記カメラで撮影した画像の処理を
    行う情報処理装置とを有するカメラ付きペン型入力装置
    であって、 前記情報処理装置は、前記カメラで撮影された画像にお
    ける前記ペンの先端の位置によって、前記カメラで撮影
    された対象画像の向きを判定するカメラ付きペン型入力
    装置。
  2. 【請求項２】請求項１記載のカメラ付きペン型入力装置
    において、 前記カメラで撮影された画像の中心位置が前記ペンの先
    端よりも左側に位置するように、前記カメラが前記ペン
    に取り付けられているカメラ付きペン型入力装置。
  3. 【請求項３】請求項１記載のカメラ付きペン型入力装置
    において、 前記カメラで撮影された画像の中心位置が前記ペンの先
    端よりも右側に位置するように、前記カメラが前記ペン
    に取り付けられているカメラ付きペン型入力装置。
  4. 【請求項４】請求項１記載のカメラ付きペン型入力装置
    において、 前記カメラは前記ペンの軸に対して少なくとも０〜９０
    度の範囲で回転できるように前記ペンに取り付けられて
    いるカメラ付きペン型入力装置。
  5. 【請求項５】ペンと、複数の色ごとに前記ペンに取り付
    けられるペン先と、前記ペン先を撮影するカメラと、前
    記カメラで撮影した画像の処理を行う情報処理装置とを
    有するカメラ付きペン型入力装置であって、 前記情報処理装置は、前記カメラによって撮影された画
    像から処理をすべき対象を抽出すると共に、前記ペンに
    取り付けられたペン先の色に基づいて実行すべき処理を
    決定し、前記抽出した対象の処理を行う カメラ付きペン
    型入力装置。
  6. 【請求項６】ペンと、前記ペンに取り付けられペン先を
    撮影するカメラと、前記カメラで撮影した画像の処理を
    行う情報処理装置とを有するカメラ付きペン型入力装置
    であって、 前記情報処理装置は、前記カメラによって撮影された画
    像から抽出した対象と前記ペン先の位置を検出し、この
    検出結果に基づいてペンの指示を示す画面を表示するカ
    メラ付きペン型入力装置。
  7. 【請求項７】請求項６のカメラ付きペン型入力装置にお
    いて、 前記情報処理装置は、前記抽出した対象と前記ペン先が
    所定回数以上重なった画像を撮影した場合にペンの指示
    を示す画像を表示するカメラ付きペン型入力装置。
  8. 【請求項８】ペンと、前記ペンに取り付けられペン先を
    撮影するカメラと、前記カメラで撮影した画像の処理を
    行う情報処理装置とを有するカメラ付きペン型入力装置
    であって、 前記情報処理装置は、前記カメラによって撮影された標
    準パターンを抽出し、前記撮影された標準パターンと前
    記ペン先の位置関係を計測し、前記計測された結果に基
    づいて撮影された画像を補正して対象を抽出するカメラ
    付きペン型入力装置。
JP24469098A 1998-08-31 1998-08-31 カメラ付きペン型入力装置 Expired - Fee Related JP3462986B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP24469098A JP3462986B2 (ja) 1998-08-31 1998-08-31 カメラ付きペン型入力装置
US09/763,823 US7006134B1 (en) 1998-08-31 1999-08-12 Pen type input device with camera
CN99810237A CN1323427A (zh) 1998-08-31 1999-08-12 带摄象机的笔型输入装置
KR10-2001-7002603A KR100448038B1 (ko) 1998-08-31 1999-08-12 카메라부착 펜형 입력장치
EP99937062A EP1154377A1 (en) 1998-08-31 1999-08-12 Pen type input device with camera
PCT/JP1999/004391 WO2000013141A1 (fr) 1998-08-31 1999-08-12 Dispositif d'entree de type stylo equipe d'une camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP24469098A JP3462986B2 (ja) 1998-08-31 1998-08-31 カメラ付きペン型入力装置

Publications (2)

Publication Number Publication Date
JP2000076415A JP2000076415A (ja) 2000-03-14
JP3462986B2 true JP3462986B2 (ja) 2003-11-05

Family

ID=17122498

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24469098A Expired - Fee Related JP3462986B2 (ja) 1998-08-31 1998-08-31 カメラ付きペン型入力装置

Country Status (6)

Country Link
US (1) US7006134B1 (ja)
EP (1) EP1154377A1 (ja)
JP (1) JP3462986B2 (ja)
KR (1) KR100448038B1 (ja)
CN (1) CN1323427A (ja)
WO (1) WO2000013141A1 (ja)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6786420B1 (en) 1997-07-15 2004-09-07 Silverbrook Research Pty. Ltd. Data distribution mechanism in the form of ink dots on cards
US6618117B2 (en) 1997-07-12 2003-09-09 Silverbrook Research Pty Ltd Image sensing apparatus including a microcontroller
US6624848B1 (en) 1997-07-15 2003-09-23 Silverbrook Research Pty Ltd Cascading image modification using multiple digital cameras incorporating image processing
US7110024B1 (en) 1997-07-15 2006-09-19 Silverbrook Research Pty Ltd Digital camera system having motion deblurring means
US6879341B1 (en) 1997-07-15 2005-04-12 Silverbrook Research Pty Ltd Digital camera system containing a VLIW vector processor
US6948794B2 (en) 1997-07-15 2005-09-27 Silverbrook Reserach Pty Ltd Printhead re-capping assembly for a print and demand digital camera system
US6690419B1 (en) 1997-07-15 2004-02-10 Silverbrook Research Pty Ltd Utilising eye detection methods for image processing in a digital image camera
US20100008551A9 (en) * 1998-08-18 2010-01-14 Ilya Schiller Using handwritten information
US7268774B2 (en) * 1998-08-18 2007-09-11 Candledragon, Inc. Tracking motion of a writing instrument
AUPP702098A0 (en) 1998-11-09 1998-12-03 Silverbrook Research Pty Ltd Image creation method and apparatus (ART73)
US6816274B1 (en) * 1999-05-25 2004-11-09 Silverbrook Research Pty Ltd Method and system for composition and delivery of electronic mail
AUPQ056099A0 (en) * 1999-05-25 1999-06-17 Silverbrook Research Pty Ltd A method and apparatus (pprint01)
US6839453B1 (en) 2000-05-16 2005-01-04 The Upper Deck Company, Llc Method and apparatus for authenticating unique items such as sports memorabilia
KR100461769B1 (ko) * 2001-10-31 2004-12-14 삼성전자주식회사 외장형 카메라 렌즈 모듈이 장착된 스타일러스 및 이를채용한 무선 단말기
US7257255B2 (en) * 2001-11-21 2007-08-14 Candledragon, Inc. Capturing hand motion
US7102625B2 (en) * 2002-05-14 2006-09-05 Woods Peter N Note and sketch transcription device, system, and method
US7133563B2 (en) 2002-10-31 2006-11-07 Microsoft Corporation Passive embedded interaction code
US7430497B2 (en) * 2002-10-31 2008-09-30 Microsoft Corporation Statistical model for global localization
EP1956519B1 (en) * 2003-12-15 2011-11-02 Anoto AB A sensor boresight unit and a modular unit
US7826074B1 (en) 2005-02-25 2010-11-02 Microsoft Corporation Fast embedded interaction code printing with custom postscript commands
JP2006301941A (ja) * 2005-04-20 2006-11-02 Hitachi Maxell Ltd ペン型入力装置のフレーム構造、ペンのフレーム構造、電子ペンのフレーム構造および電子ペン
US7421439B2 (en) 2005-04-22 2008-09-02 Microsoft Corporation Global metadata embedding and decoding
US7400777B2 (en) 2005-05-25 2008-07-15 Microsoft Corporation Preprocessing for information pattern analysis
US7729539B2 (en) 2005-05-31 2010-06-01 Microsoft Corporation Fast error-correcting of embedded interaction codes
US7580576B2 (en) * 2005-06-02 2009-08-25 Microsoft Corporation Stroke localization and binding to electronic document
CN100346355C (zh) * 2005-07-08 2007-10-31 天津大学 基于压感笔等装置的三维毛笔模型与仿真方法
US7817816B2 (en) 2005-08-17 2010-10-19 Microsoft Corporation Embedded interaction code enabled surface type identification
TWI301590B (en) * 2005-12-30 2008-10-01 Ibm Handwriting input method, apparatus, system and computer recording medium with a program recorded thereon of capturing video data of real-time handwriting strokes for recognition
US7755026B2 (en) * 2006-05-04 2010-07-13 CandleDragon Inc. Generating signals representative of sensed light that is associated with writing being done by a user
US20080166175A1 (en) * 2007-01-05 2008-07-10 Candledragon, Inc. Holding and Using an Electronic Pen and Paper
JP4964210B2 (ja) * 2008-09-26 2012-06-27 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置の制御方法及びプログラム
US20100142856A1 (en) * 2008-12-10 2010-06-10 Shin Takeuchi Image reading apparatus, and reading method
US9576230B2 (en) 2010-07-06 2017-02-21 Marcelo Amaral Rezende Dot code pattern for absolute position and other information using an optical pen, process of printing the dot code, process of reading the dot code
KR101951228B1 (ko) 2012-10-10 2019-02-22 삼성전자주식회사 멀티 디스플레이 장치 및 그 촬상 방법
KR102083918B1 (ko) 2012-10-10 2020-03-04 삼성전자주식회사 멀티 디스플레이 장치 및 그 제어 방법
KR102061881B1 (ko) 2012-10-10 2020-01-06 삼성전자주식회사 멀티 디스플레이 장치 및 그 디스플레이 제어 방법
KR102063952B1 (ko) 2012-10-10 2020-01-08 삼성전자주식회사 멀티 디스플레이 장치 및 멀티 디스플레이 방법
KR20140046327A (ko) * 2012-10-10 2014-04-18 삼성전자주식회사 멀티 디스플레이 장치, 입력 펜, 멀티 디스플레이 장치의 제어 방법 및 멀티 디스플레이 시스템
KR101984683B1 (ko) 2012-10-10 2019-05-31 삼성전자주식회사 멀티 디스플레이 장치 및 그 제어 방법
US20150212647A1 (en) 2012-10-10 2015-07-30 Samsung Electronics Co., Ltd. Head mounted display apparatus and method for displaying a content
KR102083937B1 (ko) 2012-10-10 2020-03-04 삼성전자주식회사 멀티 디스플레이 장치 및 그 툴 제공 방법
DE102013200080A1 (de) * 2013-01-07 2014-07-10 Christian Walloth Stiftförmiges Handwerkzeug
KR102138277B1 (ko) * 2013-07-04 2020-07-28 삼성전자 주식회사 영상 인식 방법 및 이를 이용하는 장치
KR102022772B1 (ko) * 2017-09-25 2019-09-18 이준택 문자 인식용 영상 획득
EP3802022A1 (en) * 2018-06-08 2021-04-14 Bic Violex S.A. Smart shaving accessory

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0623983B2 (ja) * 1985-04-30 1994-03-30 富士通株式会社 歪補正装置
JP3251280B2 (ja) * 1990-09-20 2002-01-28 キヤノン株式会社 画像処理装置及び方法
JPH05233125A (ja) * 1991-09-09 1993-09-10 Fujitsu Ltd マルチメディア情報入力装置
US5774602A (en) * 1994-07-13 1998-06-30 Yashima Electric Co., Ltd. Writing device for storing handwriting
JPH08101739A (ja) * 1994-09-30 1996-04-16 Yashima Denki Co Ltd 記憶ペンユニット
JPH09146691A (ja) * 1995-11-17 1997-06-06 Hitachi Ltd 情報処理装置
US6839453B1 (en) * 2000-05-16 2005-01-04 The Upper Deck Company, Llc Method and apparatus for authenticating unique items such as sports memorabilia

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Ｔｏｓｈｉｆｕｍｉ Ａｒａｉ、外２名，ＰａｐｅｒＬｉｎｋ：Ａ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ Ｈｙｐｅｒｌｉｎｋｉｎｇ ｆｒｏｍ Ｒｅａｌ Ｐ，ＨＵＭＡＮ ＦＡＣＴＯＲＳ ＩＮ ＣＯＭＰＵＴＩＮＧ ＳＹＳＴＥＭＳ，米国，１９９７年，ｐ．３２７−３３４

Also Published As

Publication number Publication date
JP2000076415A (ja) 2000-03-14
CN1323427A (zh) 2001-11-21
KR100448038B1 (ko) 2004-09-08
EP1154377A1 (en) 2001-11-14
US7006134B1 (en) 2006-02-28
KR20010085741A (ko) 2001-09-07
WO2000013141A1 (fr) 2000-03-09

Similar Documents

Publication Publication Date Title
JP3462986B2 (ja) カメラ付きペン型入力装置
KR101292925B1 (ko) 촬상 대상물, 화상 처리 프로그램을 저장한 컴퓨터로 읽을 수 있는 기록 매체 및 화상 처리 방법
US6600834B1 (en) Handwriting information processing system with character segmentation user interface
GB2378073A (en) Paper document to computer interface.
KR101898202B1 (ko) 필기 인식을 위한 필기 입력 가이드 장치 및 방법
KR20020052217A (ko) 이미지 센서를 이용한 전자 기기
US5761340A (en) Data editing method and system for a pen type input device
CN107133615A (zh) 信息处理设备和信息处理方法
JP2000112599A (ja) 文書画像処理装置及び文書画像処理方法
JPH03214378A (ja) 文字認識装置
JP2001155139A (ja) カメラ付きペン型入力装置用記憶媒体
JP4500036B2 (ja) 画像投影表示装置、画像投影表示方法および画像投影表示プログラム
JP3131859B2 (ja) 情報認識装置
JP2003099196A (ja) 会議等支援用画像投影装置
JP3113747B2 (ja) 文字認識装置及び文字認識方法
JP2017199288A (ja) 画像処理装置、画像処理方法及びプログラム
JP6312488B2 (ja) 画像処理装置、画像処理方法及びプログラム
JPH11305910A (ja) メニュー選択方法及び装置
JPH0744650A (ja) 情報認識装置
JP3749810B2 (ja) 映像情報入力装置
JPH02193278A (ja) 画像処理装置
JP3001929B2 (ja) 図面認識装置及び図面認識方法
JP3177044B2 (ja) 文書作成装置
JPH117493A (ja) 文字認識処理装置
JPH06195519A (ja) 文字認識装置および文字認識方法

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030805

LAPS Cancellation because of no payment of annual fees