JP3749810B2 - 映像情報入力装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、映像情報入力技術および情報処理技術に関し、特に、利用者が手持ち操作にて簡便に映像や静止画等の情報を情報処理装置に取り込んだり、取り込んだ画像情報にて利用者が情報処理装置の機能を簡単に呼び出すためのユーザインタフェース技術等に適用して有効な技術に関する。
【０００２】
【従来の技術】
たとえば、カメラ付きペン型入力装置に関わる従来の技術として、ＡＣＭ ＰＲＥＳＳ発行，ＨＵＭＡＮ ＦＡＣＴＯＲＳ ＩＮ ＣＯＭＰＵＴＩＮＧ ＳＹＳＴＥＭＳ、ＣＨＩ ９５ ＣＯＮＦＥＲＥＮＣＥ ＣＯＭＰＡＮＩＯＮ、２５６頁から２５７頁に記載のＭＥＭＯ−ＰＥＮがある。ＭＥＭＯ−ＰＥＮとは、小型カメラをペンの軸に埋め込み、ペン先ごしにペン先の近傍を連続撮影することで、筆跡を記録するものである。ＭＥＭＯ−ＰＥＮのカメラが撮影する範囲は、筆跡の方向が判別するために必要なごく狭い領域に限られている。
【０００３】
ＭＥＭＯ−ＰＥＮでは、ペン軸にカメラが埋め込まれているため、利用者が手で持つ場所よりも先端の近くに光学系を配置しないと、利用者の手によってカメラの視野を妨げられてしまう。このため、視野角が広い光学系を用いたとしても、光学系を対象物（紙）から離せる距離に限度があるため、カメラの視野を広く取れないという問題がある。また、利用者が自然にペンを保持した状態では、ペン軸が垂直から大きく傾くのが普通であるため、ペン軸に埋め込まれたカメラで撮影された画像は、対象を斜めから見たものになってしまう。
【０００４】
ＭＥＭＯ−ＰＥＮの機能は、利用者がＭＥＭＯ−ＰＥＮで書いた筆跡を記録しておき、後に何らかの情報処理装置の助けをかりて、筆跡を再生したり、文字認識したりすることである。すなわち、筆跡データを収集している最中、換言すれば利用者がＭＥＭＯ−ＰＥＮを利用している最中には、このカメラ付きペン型入力装置を用いて、情報処理装置の機能を呼び出すといったユーザインタフェースが実行されることはない。したがって、入力中の処理対象（筆跡）に対して適用する処理の種類を、ペンによって指定したりすることはない。さらに、ＭＥＭＯ−ＰＥＮの場合は、ペン先と筆跡の位置は常に一致しているため、入力対象（筆跡）とペン先の位置関係を調整したりする必要はない。
【０００５】
また、カメラ付きペン型入力装置に関わる従来の技術として、ＡＣＭ ＰＲＥＳＳ発行，ＨＵＭＡＮ ＦＡＣＴＯＲＳ ＩＮ ＣＯＭＰＵＴＩＮＧ ＳＹＳＴＥＭＳ、ＣＨＩ ９７ ＣＯＮＦＥＲＥＮＣＥ ＰＲＯＣＥＥＤＩＮＧＳ、３２７頁から３３４頁に記載のＰａｐｅｒＬｉｎｋ というシステムがある。ＰａｐｅｒＬｉｎｋ では、利用者が処理対象を入力するための装置として、小型カメラを装着したペン型の入力装置を用いる。小型カメラは、利用者が自然にペンを保持した状態で、真上から対象（紙面）を見下ろすような位置に設置されている。カメラの視野は、ペン先付近の数ｃｍ四方を撮影できるように設定されている。撮影されたペン先付近の画像は、情報処理装置に入力され、その内容に応じて色々な処理が実行される。入力した対象が既知のものであれば、それに応じた所定の処理が実行される。例えば、所定のファイルを開いて利用者に提示したり、所定のプログラムが実行を開始したりする。また、入力した対象が未知のものであれば、一時的に保存され、後に実行されるコマンドへの引数として使用されたりする。
【０００６】
さらに、他の従来技術として、Ａｒａｉ，Ｔ．，Ａｕｓｔ，Ｄ．，Ｈｕｄｓｏｎ，Ｓ，Ｅ “ＰａｐｅｒＬｉｎｋ：Ａ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ Ｈｙｐｅｒｌｉｎｋｉｎｇ ｆｒｏｍ Ｒｅａｌ Ｐａｐｅｒ ｔｏ Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｅｎｔ” Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＣＨＩ’９７，３２７−３３４，１９９７．等の文献に記載されたビデオペンが知られている。
【０００７】
このビデオペンでは、ペン先が引き込み可能なカラーマーカペンのペン軸の途中に固定部材を介してビデオカメラを取り付け角度可変に斜めに固定し、カラーマーカペンのペン先を紙面に置いた筆記姿勢において、紙面上のペン先の近傍の画像を、ビデオカメラが利用者からみて斜め前方から撮影する構成としたものである。
【０００８】
また、カラーマーカペンのペン先は、ペン軸内に設けられたロッドを介してマイクロスイッチに連動する構成となっており、紙面にペン先を押しつけてペン軸内に押し込むことでマイクロスイッチを作動させ、ビデオカメラが撮影するペン先近傍の紙面画像を静止画としてパーソナルコンピュータ等に出力するものである。
【０００９】
【発明が解決しようとする課題】
上述の従来技術のビデオペンでは、マイクロスイッチを作動させるためにペン先をペン軸内に押し込む動作が必要なため、ペン軸の途中に固定されたビデオカメラは、この押し込み動作時に紙面に対して上下動し、焦点位置が変化するため入力画像の画質が低下する、という技術的課題がある。
【００１０】
さらに、ビデオカメラはペン先近傍の紙面の画像を紙面に対して斜め方向から撮影するため、得られた画像が歪みを持ち、マイクロスイッチの作動を契機に入力された静止画の画像認識等によるペーパーリンク操作等において補正が必要になる、という他の技術的課題もある。
【００１１】
さらに、ビデオペンは、ペン先近傍の紙面に焦点位置が固定されており、紙面以外の人物や風景等の画像は入力できず、これらの人物や風景等の画像入力には別のビデオカメラが必要になる、という技術的課題もある。
【００１２】
本発明の目的は、ペーパーリンク操作等において高い画質で静止画を入力することが可能な映像情報入力装置を提供することにある。
【００１３】
本発明の他の目的は、入力画像に対して補正が不要で、当該入力画像に基づく画像認識の精度を向上させることが可能な映像情報入力装置を提供することにある。
【００１４】
本発明の他の目的は、直近から遠方までの広い焦点範囲での多様な画像情報の入力が可能な映像情報入力装置を提供することにある。
【００１５】
本発明の他の目的は、紙面上の文字やパターン等の情報に連動した多様な情報処理が可能な映像情報入力装置を提供することにある。
【００１６】
【課題を解決するための手段】
本発明は、対象物の映像を入力するカメラ部と、カメラ部に接続された把持部と、入力装置の動作を制御するスイッチと、把持部に基端部が支持され先端部が対象物に当接されることによって対象物とカメラ部との距離を設定する焦点スティックと、を含む映像情報入力装置を提供する。
【００１７】
また、対象物の映像を入力するカメラ部と、カメラ部に接続された把持部と、入力装置の動作を制御するスイッチと、把持部に基端部が支持され先端部が対象物に当接されることによって対象物とカメラ部との距離を設定する焦点スティックとを含み、カメラ部および把持部の各々の軸は交差し、カメラ部の軸を把持部の軸に重ね合わせる方向に測った交差角が鋭角をなしている映像情報入力装置を提供する。
【００１８】
また、対象物の映像を入力するカメラ部と、カメラ部に接続された把持部と、入力装置の動作を制御するスイッチと、基端部が把持部に支持され先端部が対象物に当接されることによって対象物とカメラ部との距離を設定する焦点スティックとを含み、カメラ部および把持部の各々の軸は交差し、カメラ部の軸を把持部の軸に重ね合わせる方向に測った第１の交差角が鋭角をなし、カメラ部および焦点スティックの各々の軸は交差し、カメラ部の軸を焦点スティックの軸に重ね合わせる方向に測った第２の交差角が鋭角をなし、第１の交差角は第２の交差角よりも大きい映像情報入力装置を提供する。
【００１９】
また、本発明は、情報処理装置と、汎用シリアルインタフェースを介して情報処理部に接続され、対象物の映像を入力するカメラ部と、カメラ部に接続された把持部と、入力装置の動作を制御するスイッチとを含み、カメラ部は、紙面上の文字やパターンを撮り込むリンク・スティック・モードと、人物の顔等の近景を撮り込む近景モードと、風景等の遠景を撮り込む遠景モードと、のいずれでも動作可能な映像情報入力装置と、を含む情報処理システムを提供する。
【００２０】
また、上述の情報処理システムにおいて、情報処理装置は、映像情報入力装置から、スイッチの作動情報と取り込まれた静止画像情報から文字やパターンを認識し、文字やパターンの認識結果に対応した特定の動作を行うソフトウェアを備えた情報処理システムを提供する。
【００２１】
より具体的には、一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等の汎用シリアルインタフェースを備えたＣＣＤカメラ本体に、カメラレンズと紙面の焦点を一定に保てる専用のスティックと、文字やパターンをディジタルの静止画像として取り込むキャプチャ操作の実行契機等を与えるシャッターボタンを設け、紙面上の文字やパターンを撮る際は、スティックの先端を紙面に当て、レンズ光軸方向が紙面に垂直になる様に把持部を手で持つ。
【００２２】
そして撮り込んだ文字やパターンをキャプチャする際は、シャッタボタンを押す。この際、レンズの焦点モードをダイヤル式の焦点合わせリングを使用してリンクスティックモードにしておく。
【００２３】
次に、近景（人の顔を撮る）を撮る際は、レンズの焦点モードを近景にし、専用の焦点スティックは不要となるので、ＣＣＤカメラ本体に収納する。またカメラ本体を付属の専用のスタンドに納め立てて使用することもできる。
【００２４】
遠景を撮る際は、レンズの焦点モードを遠景にし、その他は近景時と同様に使用する。このことにより、従来は紙面の文字やパターンの取り込みから近景／遠景の取り込みに際して、各々毎にスキャナやビデオカメラ等を専用に用意することなく、ＣＣＤカメラ装置だけで、多様な画像撮り込みができる。
【００２５】
また、焦点スティックを介して紙面上にＣＣＤカメラ装置を固定した状態で静止画取り込みのシャッタボタン操作が行われるので、ＣＣＤカメラ装置の高さ位置が紙面に対して変化せず、安定に高い画質の静止画を取り込むことができる。
【００２６】
さらに、ＣＣＤカメラ装置の光軸方向を紙面に垂直に設定でき、取り込んだ静止画の補正等の必要もなくなる。
【００２７】
また、このような映像情報入力装置をパーソナルコンピュータ等の情報処理装置に接続した構成の情報処理システムでは、映像情報入力装置にて取り込まれた紙面上の文字やパターン等に基づいて、情報処理装置に情報検索やコマンドを自動実行させる等のペーパーリンク操作を簡便に実現することが可能になる。
【００２８】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照しながら詳細に説明する。
【００２９】
（実施の形態１）
図１は、本発明の一実施の形態である映像情報入力装置の構成の一例を示す側面図であり、図２は、その正面図、図３は、その平面図、図４は、その使用状態の一例を示す説明図、図５は、スタンドに載置した状態の斜視図である。
【００３０】
本実施の形態の映像情報入力装置１００は、たとえばＣＣＤカメラ等で構成されるカメラ部１０と、このカメラ部１０に一端が一体に接続された把持部２０と、把持部２０に一端が回動自在に支持され、当該把持部２０の内部に折り畳み収納可能な焦点スティック３０と、スイッチ４０と、把持部２０の他端部に接続されたＵＳＢ等のインタフェースケーブル５０とからなる。
【００３１】
カメラ部１０は、その内部にＣＣＤ等の撮像素子を内蔵したカメラ本体１１と、撮像素子に対して入力光を集光させるレンズ１２、および外部から回動されることでレンズ１２の撮像素子に対する光軸方向の位置を調整する焦点合わせリング１３からなる。
【００３２】
この焦点合わせリング１３は、本実施の形態の場合、３段階に回動位置が設定可能であり、レンズ１２を撮像素子から最も遠くに設定し、焦点スティック３０を当接させることによって距離が一定値に設定される直近の紙面９０等の位置に焦点を合わせるリンク・スティック・モードと、レンズ１２を撮像素子に最も近づけて遠い風景等に焦点を合わせる遠景モードと、その中間で、近傍の人物等に焦点を合わせる近景モード、の三つのモードが設定可能である。
【００３３】
ここで、本実施の形態の映像情報入力装置１００に特徴的な各部の位置関係の一例について説明する。
【００３４】
本実施の形態の映像情報入力装置１００では、カメラ部１０の中心軸（光軸）方向に対して、把持部２０の軸方向は、光軸を把持部２０の軸方向に重ね合わせる方向に測った交差角度θ１（図１）は鋭角となっている。
【００３５】
また、把持部２０から引き出されて使用状態の焦点スティック３０の軸方向は、カメラ部１０の中心軸（光軸）方向に対して、光軸を焦点スティック３０の軸方向に重ね合わせる方向に測った交差角度θ２（図１）は鋭角となっている。かつ、θ１とθ２の関係は、θ１＞θ２である。すなわち、本実施の形態の場合、９０度＞θ１＞θ２である。
【００３６】
これにより、把持部２０を、利用者の手９１が、筆記具を把持する姿勢で自然に保持した時、カメラ部１０は、レンズ１２（焦点合わせリング１３）を下向きにして紙面９０に対して正対する姿勢となる。また、焦点スティック３０の先端部は、上述のリンク・スティック・モードにて、後述のようにカメラ部１０による撮影範囲の視野内の下端中央部に写り、画像切り出し範囲等のポインタとなる。
【００３７】
これにより、カメラ部１０は紙面９０に正対して映像を取り込むことができ、後述のペーパーリンク動作等の画像認識において、傾斜画像を補正する等の余分な出力が不要になるとともに、正対画像による認識率の向上等を実現できる。
【００３８】
一方、スイッチ４０は、カメラ部１０と把持部２０の交差部位において、焦点スティック３０の取り付け位置と反対側に、真上に設定されている。また、このスイッチ４０の作動方向（押し込み方向）は、カメラ部１０の光軸と平行な方向である。
【００３９】
これにより、把持部２０を利用者の手９１が、筆記具を把持する姿勢で自然に保持した時、図４に例示されるように、利用者の手９１の第二指（人差し指）がスイッチ４０の真上に自然に乗る状態となる。この状態は、操作者の利き腕に関係なく実現される。さらに、スイッチ４０の動作方向は焦点スティック３０を紙面９０に押しつける方向に一致するので、スイッチ４０を作動させる際にカメラ部１０が光軸方向および光軸に交差する方向等に動くことがなく、焦点ブレによる静止画の画質低下の懸念がなく、高画質の静止画を取り込むことができ、後述のペーパーリンク動作等の画像認識において認識率の向上等を実現できる。
【００４０】
次に、本実施の形態の映像情報入力装置１００の作用の一例について説明する。
【００４１】
準備として、図４に示すように、把持部２０に繋がっているインタフェースケーブル５０のコネクタ５１（たとえばＵＳＢのＡタイプ）をパソコン本体等の情報処理装置１０２のＵＳＢコネクタ等のコネクタ部１０２ａに接続する。
【００４２】
まず、紙面上の文字やパターンを撮り込む際の実施形態について説明する。
【００４３】
映像情報入力装置１００の把持部２０を図４に示すように、手で持つ。折畳み式の焦点スティック３０を把持部２０から引き出す。次に焦点合わせリング１３をリンクスティックモードに合わせる。紙面９０に焦点スティック３０の先端部を当て、カメラ部１０の光軸が紙面９０に垂直になるようにする。撮り込みたい文字やパターンが撮れたらスイッチ４０を押し、キャプチャする。
【００４４】
図６に、このリンク・スティック・モードにてカメラ部１０から取り込まれるカメラ映像の撮像範囲の一例を示す。リンク・スティック・モードでは、紙面９０からレンズ１２までの焦点距離Ｍは、たとえば３7.５ｍｍである。画角は、縦３０ｍｍ、横４０ｍｍであり、各々の方向の解像度が、縦２４０ドット、横３２０ドットの静止画が得られる。また、画角の下端中央部には、焦点スティック３０のスティック先端３０ａの画像が映り込む。スティック先端３０ａの画像の画面内への縦方向の映り込み長さｄは、たとえば６〜7.５ｍｍである。
【００４５】
次に近景（自分の顔等）を撮り込む際の実施形態について説明する。
【００４６】
近景を撮る際は、カメラ部１０の焦点合わせリング１３（レンズ１２）の焦点モードを近景モードに合わせ、焦点スティック３０は不要となるので、把持部２０に収納する。また、必要に応じて、映像情報入力装置１００の把持部２０を図５に例示されるように、付属の専用のカメラスタンド６０に納め、机上等に立てて使用することもできる。
【００４７】
風景等の遠景を撮る際は、焦点合わせリング１３（レンズ１２）の焦点モードを遠景モードにし、その他は近景モード時と同様に使用する。
【００４８】
このように、従来は紙面の文字やパターンの取り込み、および近景／遠景の取り込みには２種類の入力デバイス（スキャナ／ＣＣＤカメラ等）を必要としていたが、本実施の形態の映像情報入力装置１００では、当該映像情報入力装置１００だけで、全ての多様な画像撮り込み操作ができる。
【００４９】
図７に、本実施の形態の映像情報入力装置１００における制御系の構成の一例を示す。
【００５０】
図７おいて、７１はＣＣＤ等の撮像素子、７２は、撮像素子７１にクロック等の信号を入力してを駆動するドライバ、７３は撮像素子７１の輝度やコントラスト等の撮像特性を制御する輝度／コントラスト調整部、７４はコントロール部であり、撮像素子７１から入力される画像信号を、所定の規格の映像信号に変換する操作や、全体の制御を行う。また、コントロール部７４は、リンク・スティック・モード、近景モード、遠景モードの各々において、異なるフォーマットの映像信号規格を用いることができる。
【００５１】
ＲＯＭ／ＲＡＭコントロール部７５はＲＯＭ７６およびＲＡＭ７７のアクセス制御を行う。
【００５２】
ＲＯＭ７６はフラッシュメモリ等で構成され、たとえば、撮像素子７１の動作制御に用いられる制御情報や、ＵＳＢ等の汎用シリアルインタフェースの企画で、接続デバイスの識別等に必要とされるディスクリプタ等の製品情報が格納される。
【００５３】
ＲＡＭ７７は、コントロール部７４による各種操作の作業領域として用いられるとともに、たとえば、撮像素子７１から輝度／コントラスト調整部７３を経て到来する画像データの変換処理等におけるバッファリング用のＦＩＦＯ（先入れ／先出しメモリ）として用いられる。
【００５４】
７８はハードウェアシャッタスイッチであり、スイッチ４０の押下を検出してコントロール部７４に伝達する動作を行う。なお、コントロール部７４は、ハードウェアシャッタスイッチ７８からの検出出力を、たとえば１ビットのスイッチＯＮ／ＯＦＦデータとして、所定の規格の映像信号フォーマットの末尾に付加して出力する動作を行う。このスイッチＯＮ／ＯＦＦデータをパーソナルコンピュータ等の情報処理装置側で参照することで、スイッチ４０の押下の契機を知って、静止画の切り出し等の動作を行う。
【００５５】
８０はインタフェース制御部であり、たとえばＵＳＢ等の汎用シリアルインタフェース制御を行う。このインタフェース制御部８０には、インタフェースケーブル５０が接続される。
【００５６】
７９は電源回路であり、インタフェースケーブル５０を介して外部から供給される電力を、上述の各動作部位に分配供給する動作を行う。
【００５７】
上述の図７の各構成要素は、たとえば図示しない一つまたは複数のＬＳＩ等にまとめて実装され、カメラ部１０および把持部２０の各々の内部に分散または集中して実装される。
【００５８】
上述の説明では、リンク・スティック・モード、近景／遠景モードの各モードの切替を焦点合わせリング１３の手動操作で行う場合を示したが、焦点スティック３０の把持部２０からの引き出し操作に連動させて自動化することも可能である。
【００５９】
以下、その一例を示す。すなわち、図８に例示されるように、把持部２０に回動自在に接続される焦点スティック３０の回動端部３０ｂに、スイッチ作動片３０ｃを設けるとともに、焦点スティック３０の引き出し位置において、スイッチ作動片３０ｃが当接されるモータ駆動スイッチ８１を設ける。また、焦点合わせリング１３には、当該焦点合わせリング１３を正逆方向に回動させるリング駆動モータ部８２を設ける。
【００６０】
そして、スイッチ作動片３０ｃによる焦点スティック３０の引き出し操作（すなわちリンク・スティック・モード設定操作）の検出を契機に、リング駆動モータ部８２作動させて、焦点合わせリング１３を自動的にリンク・スティック・モードの位置に回動させる動作、および焦点スティック３０の引き込み操作（すなわちリンク・スティック・モード以外の設定操作）の検出を契機に、リング駆動モータ部８２作動させて、焦点合わせリング１３を自動的にリンク・スティック・モード以外のの位置に回動させる動作、を行う。
【００６１】
図９に、上述のモード連動動作を実現するための構成要素を、前述の図７に追加して示す。
【００６２】
また、焦点合わせリング１３の動作のみならず、スイッチ４０（ハードウェアシャッタスイッチ７８）の動作をモードに連動させて制御することもできる。その構成例を図１０のブロック図に示す。
【００６３】
すなわち、図１０に例示されるように、図９のブロック図におけるハードウェアシャッタスイッチ７８と、コントロール部７４の間に、モータ駆動スイッチ８１の作動状態に応じて、ハードウェアシャッタスイッチ７８からコントロール部７４へのスイッチ４０の作動検出信号の入力を遮断するハードウェアシャッタスイッチＯＮ／ＯＦＦ回路８３を設ける。また、ハードウェアシャッタスイッチＯＮ／ＯＦＦ回路８３は、遮断信号８３ａをコントロール部７４に入力してハードウェアシャッタスイッチ７８が無効状態であることを知らせる。
【００６４】
そして、モータ駆動スイッチ８１がＯＦＦ、すなわち近景／遠景モードの時は、ハードウェアシャッタスイッチ７８からコントロール部７４へのスイッチ４０の作動検出信号の入力を遮断状態とし、逆に、リンク・スティック・モードでは、接続状態とする制御を自動的に行う。
【００６５】
近景／遠景モードの時は焦点スティック３０を用いないので、把持部２０を手持ちした状態でスイッチ４０を作動させると手ブレが発生しやすいので、その場合に、スイッチ４０の動作を無効にしておくことが有効となる。この設定状態は、遮断信号８３ａにてコントロール部７４が把握できるので、本映像情報入力装置１００が接続されている外部の情報処理装置側で、ソフトウェア的に静止画の切り出しタイミングを制御する。
【００６６】
以上のように、本実施の形態の映像情報入力装置１００によれば、ＣＣＤカメラ等のカメラ本体１１に設けられ、レンズ１２の可変焦点を可能にするダイヤル式の焦点合わせリング１３と、折畳み式の焦点スティック３０及びＨ／Ｗシャッターボタンとして機能するスイッチ４０を備えた構成とすることで、紙面９０上の文字やパターンのキャプチャから、近景／遠景の撮り込みまで幅広く映像を撮り込むことができる。また、本実施の形態の映像情報入力装置１００が１台で従来のＣＣＤカメラ装置とスキャナ装置の２台分の機能を実現できることから、コスト低減、設置面積低減等に有効である。
【００６７】
（実施の形態２）
次に、上述の本発明の映像情報入力装置１００を周辺機器として備えた情報処理システムの一例について説明する。
【００６８】
本実施の形態では、一例として、図１１に例示されるように、液晶ディスプレイ等のディスプレイ１０１を備えたパーソナルコンピュータ等の情報処理装置１０２に、ＵＳＢ等の汎用シリアルインタフェース対応のインタフェースケーブル５０を介して映像情報入力装置１００を接続した構成の情報処理システムについて説明する。
【００６９】
図１２は、本発明を実施するための全体構成の一例で、情報処理装置１０２の内構成を具体的に図示したものである。以下で、それぞれの構成要素の動作を説明する。
【００７０】
（１）ビデオペンインタフェース２１０１
利用者が焦点スティック３０で、入力したい対象を指示し、スイッチ４０をＯＮにする。ビデオペンインタフェース２１０１は、スイッチ４０がＯＮになったことを検出すると、映像情報入力装置１００からの画像を１フレーム取り込んで、二値化部２１０２に渡す。二値化部２１０２に渡される画像は、例えば横３２０ドット，縦２４０ドット，一画素あたり２４ビットの色数をもつカラー画像である。
【００７１】
（２）二値化部２１０２
二値化部２１０２は、入力された画像を二値画像に変換し、その結果である二値画像を対象抽出部２１０４に渡す。図１３は、二値化部２１０２から対象抽出部２１０４に渡される二値画像の一例である。
【００７２】
（３）対象抽出部２１０４
対象抽出部２１０４は、二値化部２１０２から渡された二値画像から、処理対象を抽出する部分である。渡された二値画像には、対象以外に色々なものが写り込んでいる。例えば、スティック先端３０ａも写り込んでいるし、対象の近くに書かれていたものも写り込んでいるであろう。対象抽出部２１０４の役割は、渡された二値画像から対象だけを抜き出し、その画像を傾き補正部２１０５に渡すことである。
【００７３】
利用者が対象を指し示す際の好みは、指差補正バッファ２１１２に格納されている。指差補正バッファ２１１２の内容は、例えば図１４に示すような値の組、すなわち対象最小距離２３０１と標準傾き２３０２の組である。対象最小距離２３０１は、利用者が標準パターン１９０１を指示した際に、スティック先端３０ａを対象からどれくらい離したかを基準にして求められる。対象最小距離２３０１は、
例えば図１５中の線分Ｄの長さ（ドット数）と定めることができる。また、標準傾き２３０２は、利用者がどれだけカメラ部１０を傾けているかを表す値であり、例えば図１５中の傾きＡの大きさと定めることができる。対象最小距離２３０１の初期値は例えば２０、標準傾き２３０２の初期値は例えば０である。
【００７４】
図１５の場合、対象最小距離２３０１は１８ドット、標準傾き２３０２は３２度である。
【００７５】
対象抽出部２１０４が二値画像から対象を抽出する処理は、図１６を用いて説明する。なお、以下の説明では、画像中の座標系は左上が原点である。また、説明に出てくる定数は、ＣＡＭＸが画像中でのスティック先端３０ａのＸ座標、ＣＡＭＹは同じくＹ座標、Ｄは対象最小距離２３０１である。ＣＡＭＸ，ＣＡＭＹは、焦点スティック３０とカメラ部１０の位置関係が既知であるため、あらかじめ求めておける値であり、Ｄは上述のように指差補正バッファ２１１２から読み出せる値である。
【００７６】
まず対象抽出部２１０４は、スティック先端３０ａの座標（ＣＡＭＸ，ＣＡＭＹ）からＤだけ上の点Ｓ（ＣＡＭＸ，ＣＡＭＹ−Ｄ）から、上に向かって対象の画素を探して行く。すなわち、図１６の中の線分Ｌに沿って、対象の画素を探して行く。
【００７７】
この段階で、対象に属すると思われる画素が一つも見つからなければ、対象抽出は失敗である。ここで見つかった対象の画素は、対象領域として記憶される。
【００７８】
次に対象抽出部２１０４は、対象領域の近傍を調べ、対象領域から所定の距離以内にある画素を新たに対象領域に取り込んで行く。所定の距離とは例えば１０ドットである。この処理に伴い、対象領域は徐々に拡張されて行く。対象抽出部２１０４は、それ以上取り込める画素がなくなった時点で、この拡張処理を終える。この拡張処理が終わった時点で、対象領域として記憶されていた画素の集まりを、利用者が指示した対象であると判定する。
【００７９】
対象抽出部２１０４が対象を抽出し終えた時点で、抽出された対象領域と、スティック先端３０ａが映り込んでいる領域を比較し、両者が重なり部分を持つ場合は、利用者が対象とスティック先端３０ａを重ねてしまったものと判定できる。例えば、図１６のような場合である。したがってこのような場合は、利用者に指し方教示画面を提示し、正しい対象指定方法を教示する。また、対象抽出に連続して失敗した場合にも、利用者に指し方教示画面を提示し、正しい対象指定方法を教示する。
【００８０】
例えば、図１３に示した二値画像に上記の方法を適用すると、図１７のようなパターンが対象として抽出される。この抽出結果の画像は、傾き補正部２１０５に渡される。
【００８１】
（４）傾き補正部２１０５
傾き補正部２１０５は、対象抽出部２１０４から渡された対象の画像から、対象の傾きを計算し、それを補正するためのものである。
【００８２】
まず傾き補正部２１０５は、受け取った対象の主軸の傾きを計算する。図１８中の角度Ｒが主軸の傾きであり、この例の場合は−２８度である。これは、カメラ部１０で撮影された画像中での対象の傾きである。
【００８３】
次に傾き補正部２１０５は、上で計算した主軸の傾きと、指差補正バッファ２１１２中の標準傾きの値を元に、対象が書かれていた紙に対する対象の傾きを計算する。この傾きのことを、以下の説明では実傾きと呼ぶことにする。具体的には、画像中での対象の傾きと、標準傾きの値を足しあわせたものが、実傾きとなる。本実施例の場合は、画像中での対象の傾きが−２８度で標準傾きは３２度であるから、そこから求められる実傾きの値は４度である。
【００８４】
実傾きが０に近い範囲、例えば−４５度から４５度の間にある場合は、傾き補正部２１０５は対象が横長であったものと判定し、画像中での主軸の傾きが０になるように、対象の画像を回転させる。したがって先に上げた例の場合は、画像を−２８度だけ回転させることになる。回転された後の対象の画像を図１９に示す。逆に、実傾きが上記以外であった場合は、傾き補正部２１０５は対象が縦長であったものと判定し、画像中での主軸の傾きが９０度になるように、対象の画像を回転させる。
【００８５】
傾き補正部２１０５は、以上の処理が終わり、傾きが補正された対象の画像を、特徴抽出部２１０６に渡す。また、傾きが補正された対象の画像を、対象保持部に格納する。対象保持部に、画像を保持する場合、既に保持されていた画像があれば、それは破棄される。
【００８６】
（５）特徴抽出部２１０６
特徴抽出部２１０６は、傾き補正部２１０５から送られてきた対象の画像から、特徴量を抽出するためのものである。特徴量とは、例えば対象が含む画素数，外挿矩形の大きさ，重心位置、などである。それらの特徴量は、後に対象を識別するために使用される。特徴量の一例を、図２０に示す。対象画素数ＰＩＸ−ＮＵＭ，対象外挿幅ＢＯＸ−ＷＩＤＴＨ，対象外挿高さＢＯＸ−ＨＥＩＧＨＴ，重心Ｘ座標ＣＯＧ−Ｘ，重心Ｙ座標ＣＯＧ−Ｙなどが特徴量を構成している。それらの値はいずれも整数値である。
【００８７】
特徴抽出部２１０６により抽出された特徴量は、対象認識部２１０７に渡される。
【００８８】
（６）対象認識部２１０７
対象認識部２１０７は、特徴抽出部２１０６から渡された特徴量を使って、現在処理中の対象が既に登録されているものか否かを判定する部分である。
【００８９】
対象認識部２１０７は、パターン辞書２１１３に登録されている複数の特徴量と、特徴抽出部２１０６から渡された特徴量を比較し、近い特徴量があるかどうかを調べる。パターン辞書２１１３は、図２１に示すように、それに含まれる項目数を保持する辞書項目数領域と、０個以上のパターン辞書項目からなる。さらにパターン辞書項目は、特徴量を保持する特徴量領域と、対象識別番号領域からなる。本実施例では、対象識別番号領域に格納される対象識別番号として、自然数値（１，２，３，…）を用いるものとする。
【００９０】
対象認識部２１０７は、パターン辞書２１１３から、入力の特徴量と近い特徴量を持つパターン辞書項目を探し出し、その項目の対象識別番号領域に格納されていた対象識別番号を動作実行部２１０８に渡す。入力の特徴量と近い特徴量を持つ登録パターンが見つからなかった時は、対象認識部２１０７は対象識別番号として−１を動作実行部２１０８に渡す。
【００９１】
（７）動作実行部
動作実行部２１０８は、対象認識部２１０７から渡された対象識別番号に基づき、所定の処理を実行する部分である。以下で、その処理内容を説明する。
【００９２】
対象識別番号が−１であった場合、すなわち入力対象が、既に登録されたパターンではなかった場合、動作実行部２１０８は、対象保持部に格納されている対象画像を読み出し、それをパターンバッファ２１０９に格納する。この際、パターンバッファ２１０９に既に格納されていた画像があれば、新たに格納される画像はその右側に追加されるものとする。パターンバッファ２１０９に蓄積された対象パターンは、後の処理で使用されるまで保持される。
【００９３】
また、対象識別番号が−１であった場合、すなわち入力対象が、既に登録されたパターンではなかった場合は何もしない。
【００９４】
処理テーブルは、図２２に示すように、それに含まれる項目数を保持する処理項目数領域と、０個以上の処理指定項目からなる。動作実行部２１０８は、処理テーブルを使って、対応する処理を調べ、それを実行する。
【００９５】
一方、対象認識部２１０７から渡された対象識別番号が−１で無かった場合、すなわち入力パターンが既に登録されているパターンであった場合、動作実行部２１０８は、その対象識別番号にどのような動作が対応付けられているかを動作テーブルを使って調べ、その動作を実行する。
【００９６】
動作テーブルは、図２３に示すように、それに含まれる項目数を保持する動作項目数領域と、０個以上の動作指定項目からなる。動作指定項目は、対象識別番号を保持する対象番号領域と、その対象が検出された時に実行すべき動作を保持する動作領域からなる。
【００９７】
動作実行部２１０８は、対象認識部２１０７から与えられた対象識別番号と同じ番号を持つ動作指定項目が動作テーブル中にあるか調べ、あればその動作指定項目の動作領域を読み出して実行する。
【００９８】
動作実行部２１０８が実行できる動作には、例えばＯＰＥＮ動作がある。動作実行部２１０８が実行すべき動作がＯＰＥＮであった場合、動作実行部２１０８はまず、パターンバッファ２１０９に格納されているパターンを、ある決められた名前のパターン画像ファイル（例えば" ｐａｔｔｅｒｎｓ．ｂｍｐ" など）に格納する。次に、動作名ＯＰＥＮに続いて格納されているファイル名またはプログラム名を参照し、そのファイルを開いたりプログラムを起動したりする。
【００９９】
動作実行部２１０８により起動されたプログラムは、パターン画像ファイルを読み込んで、任意の処理に利用することができる。例えば、パターン画像ファイルに格納されている画像を、文字列とみなして文字認識を試みたりできる。また、動作実行部２１０８により起動されたプログラムは、情報処理装置１０２の任意の機能を利用できる。例えば、情報処理装置１０２に組み込まれている百科事典プログラムの機能を呼び出したり、地図プログラムの機能を呼び出したりできる。
【０１００】
上記を組み合わせば、動作実行部２１０８から起動されるプログラムとして、パターンバッファ２１０９の内容を文字認識し、それを百科事典プログラムに渡して調べた意味を表示させる、といったようなプログラムを実現することができる。
【０１０１】
図２４は、本発明を実施するための情報処理装置１０２のディスプレイ１０１に表示される画面の一例である。利用者が映像情報入力装置１００で入力した画像は、処理過程表示領域に表示される。処理過程表示領域には、入力された画像を処理して行く過程も表示される。処理過程表示領域の右側は、システムメッセージ領域である。ここには、情報処理装置１０２から利用者へのメッセージが表示される。画面の下側には、パターンバッファ領域がある。パターンバッファ領域には、利用者が映像情報入力装置１００で指し示した処理対象で、情報処理装置１０２が一時的に保存しているものが表示される。
【０１０２】
以上本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【０１０３】
【発明の効果】
本発明の映像情報入力装置によれば、ペーパーリンク操作等において高い画質で静止画を入力することができる、という効果が得られる。
【０１０４】
本発明の映像情報入力装置によれば、入力画像に対して補正が不要で、当該入力画像に基づく画像認識の精度を向上させることができる、という効果が得られる。
【０１０５】
本発明の映像情報入力装置によれば、直近から遠方までの広い焦点範囲での多様な画像情報の入力ができる、という効果が得られる。
【０１０６】
本発明の映像情報入力装置によれば、紙面上の文字やパターン等の情報に連動した多様な情報処理ができる、という効果が得られる。
【図面の簡単な説明】
【図１】本発明の一実施の形態である映像情報入力装置の構成の一例を示す側面図である。
【図２】本発明の一実施の形態である映像情報入力装置の正面図である。
【図３】本発明の一実施の形態である映像情報入力装置の平面図である。
【図４】本発明の一実施の形態である映像情報入力装置の使用状態の一例を示す説明図である。
【図５】本発明の一実施の形態である映像情報入力装置をスタンドに載置した状態の斜視図である。
【図６】本発明の一実施の形態である映像情報入力装置のカメラ映像の撮像範囲の一例を示す説明図である。
【図７】本発明の一実施の形態である映像情報入力装置における制御系の構成の一例を示すブロック図である。
【図８】本発明の一実施の形態である映像情報入力装置の変形例を示す概念図である。
【図９】本発明の一実施の形態である映像情報入力装置の変形例における制御系の構成の一例を示すブロック図である。
【図１０】本発明の一実施の形態である映像情報入力装置の変形例における制御系の構成の一例を示すブロック図である。
【図１１】本発明の一実施の形態である情報処理システムの構成の一例を示す概念図である。
【図１２】情報処理装置の内部構成である。
【図１３】二値画像の一例横長の対象を入力した場合の例である。
【図１４】指差補正のための値の組みである。
【図１５】指差補正データを説明する図である。
【図１６】対象抽出を説明する図である。
【図１７】抽出された対象の画像の一例である。
【図１８】傾き補正を説明する図である。
【図１９】傾き補正後の対象の画像の一例である。
【図２０】特徴量の例である。
【図２１】パターン辞書の構造の一例を示す図である。
【図２２】処理テーブルの構造の一例を示す図である。
【図２３】動作テーブルの構造の一例を示す図である。
【図２４】情報処理装置の表示画面の一例である。
【符号の説明】
１０…カメラ部、１１…カメラ本体、１２…レンズ、１３…焦点合わせリング、２０…把持部、３０…焦点スティック、３０ａ…スティック先端、３０ｂ…回動端部、３０ｃ…スイッチ作動片、４０…スイッチ、５０…インタフェースケーブル、５１…コネクタ、６０…カメラスタンド、７１…撮像素子、７２…ドライバ、７３…輝度／コントラスト調整部、７４…コントロール部、７５…ＲＯＭ／ＲＡＭコントロール部、７６…ＲＯＭ、７７…ＲＡＭ、７８…ハードウェアシャッタスイッチ、７９…電源回路、８０…インタフェース制御部、８１…モータ駆動スイッチ、８２…リング駆動モータ部、８３…ハードウェアシャッタスイッチＯＮ／ＯＦＦ回路、８３ａ…遮断信号、９０…紙面、９１…操作者の手、１００…映像情報入力装置、１０１…ディスプレイ、１０２…情報処理装置、１０２ａ…コネクタ部、θ１…交差角度、θ２…交差角度。

Claims (1)

1. 対象物の映像を入力するカメラ部と、前記カメラ部に接続された把持部と、スイッチと、基端部が前記把持部に支持され先端部が前記対象物に当接されることによって前記対象物と前記カメラ部との距離を設定する焦点スティックとを含み、
   前記カメラ部および前記把持部の各々の軸は交差し、前記カメラ部の前記軸を前記把持部の前記軸に重ね合わせる方向に測った第１の交差角が鋭角をなし、
   前記カメラ部および前記焦点スティックの各々の軸は交差し、前記カメラ部の前記軸を前記焦点スティックの前記軸に重ね合わせる方向に測った第２の交差角が鋭角をなし、
   前記第１の交差角は前記第２の交差角よりも大きいことを特徴とする映像情報入力装置。

Images