JP3867512B2 - 画像処理装置および画像処理方法、並びにプログラム - Google Patents
画像処理装置および画像処理方法、並びにプログラム Download PDFInfo
- Publication number
- JP3867512B2 JP3867512B2 JP2001108353A JP2001108353A JP3867512B2 JP 3867512 B2 JP3867512 B2 JP 3867512B2 JP 2001108353 A JP2001108353 A JP 2001108353A JP 2001108353 A JP2001108353 A JP 2001108353A JP 3867512 B2 JP3867512 B2 JP 3867512B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- data
- imaging
- frame data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2509—Color coding
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/1434—Special illumination such as grating, reflections or deflections, e.g. for characters with relief
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/22—Character recognition characterised by the type of writing
- G06V30/228—Character recognition characterised by the type of writing of three-dimensional handwriting, e.g. writing in the air
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Description
【０００１】
【発明の属する技術分野】
本発明は撮影対象の形状計測をする画像処理装置および画像処理方法、並びにプログラムに関し、紙などに対するペンによる書き込み文字、模様等を撮影し、撮影画像の幾何変換を実施して、自然な入力文字分析、読み取り処理を実現する画像処理装置および画像処理方法、並びにプログラムに関する。
【０００２】
【従来の技術】
コンピュータなどの発展により、キーボード、マウス、タブレットなどさまざまな入力装置が開発されている。手書き文字の入力装置等には、例えば図３１に示すようなタブレットが広く普及している。
【０００３】
図３１のようなタブレット型の手書き入力装置においては、専用の入力装置が必要となる。いわゆる専用ペン３１０２と専用の入力装置３１０１を使用するために、紙に書くといった入力環境とはかけはなれる。また、普通の紙に文字を書き、その情報をパソコンなどに入力する場合は、スキャナやデジタルカメラなどに入力しなければならない。
【０００４】
特開平４−１２６４４７号には、２次元の撮像素子を用い、一次元のラインセンサを用いたフラットベット型のスキャナの解像度と同等の画像を得る構成が開示されている。すなわち、２次元撮像素子に距離入力手段を用いて、被写体の形状を算出し、幾何変換により、原稿情報をフラットなプレーン上に再現する手法を開示している。
【０００５】
さらに、特開平１１−１３６５６３号においては、自動焦点機構を有する結像光学系と、結像光学系を介して原稿画像を読み取る撮像素子とを有し、原稿画像の撮像面から撮像素子の中心まで（光軸）の距離を測定する測距センサと、原稿画像が設置されている面の水平面に対する角度情報を入力する原稿面角度入力手段と、測距センサの距離情報及び原稿面角度入力手段の角度情報により原稿の傾斜情報を検出して画像を読み取る構成を開示している。
【０００６】
また、特開平１１−１３６５６４号は、結像光学系と、結像光学系を介して原稿画像を読み取る撮像素子とを有し、原稿画像の撮像面の任意の３点から撮像素子までの各距離を測定する測距手段と、測距手段による３点の距離情報から撮像素子に対する原稿面の傾斜情報を検出して、撮像素子面に対する原稿面の傾斜状態を常時把握可能として高精度な画像を読み取る構成を開示している。
【０００７】
距離形状計測に関しては、特開平５−３３２７３７に開示されるような空間コード化法を用いた方法や、複数の撮像素子を備えたステレオ画像法などが一般的である。
【０００８】
【発明が解決しようとする課題】
手書き文字の入力、あるいは認識処理のためには、上述のような専用ペンと専用の入力装置からなるタブレット装置を用いるか、あるいは上述の距離計測手段を使用して原稿の傾斜状況を把握して画像を読み取った後、幾何変換（射影変換）により分析するといった手法があるが、上述の構成では、特別の距離測定手段を必要とし、装置が大掛かりになりコスト高になるという欠点がある。
【０００９】
本発明は、上述の問題点に鑑みてなされたものであり、簡易な構成で、距離計測を実行して、いわゆる実画像である輝度画像と、距離計測用の画像を並列して撮り込み、距離情報に基づく輝度画像分析により、入力文字の識別処理を実行する画像処理装置および画像処理方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明は上述の目的を達成するものであり、その第１の側面は、
パターンを投影する投光手段と、前記投光手段の光軸方向から輝度画像および投影パターン像を撮影する第１の撮像手段と、前記投光手段の光軸方向と異なる方向から前記投影パターン像を撮影する第２の撮像手段とを備え、前記第２の撮像手段の撮影した撮影パターンに基づいて第１の距離情報を生成する３次元画像撮像手段と、
前記第１の撮像手段により撮像された輝度画像を前記距離情報に基づいて幾何変換を実行する幾何変換手段と、
前記３次元画像撮像手段により時系列に撮り込まれるフレームデータの初期画像を初期フレームデータとして記憶する記憶手段と、
前記３次元画像撮像手段により時系列に撮り込まれるフレームデータ画像相互の比較処理を実行し、画像比較によって検出される加えられた情報が、書き加えられた情報であるか、書き加えられた情報でないノイズであるかを判断する処理を実行するフレームデータ比較手段と、
前記フレームデータ比較手段における前記初期フレームデータと、後続して撮り込まれるフレームデータとの比較結果に基づいて前記ノイズを消去した差分データのみを格納データとして抽出する画像処理手段と、
を有することを特徴とする画像処理装置にある。
【００１１】
さらに、本発明の画像処理装置の一実施態様において、前記投影パターンに対する第１の撮像手段による撮影パターンの変化量が所定値以上の領域について、該第１の撮像手段による撮影パターンに対応する新規コードを割り付け、前記新規コードに基づいて第２の撮像手段による撮影パターンから前記第１の距離情報を生成する構成を有することを特徴とする。
【００１２】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記３次元画像撮像手段により時系列に撮り込まれるフレームデータ画像相互の比較処理を実行するフレームデータ比較手段と、前記フレームデータ比較手段におけるフレームデータ画像相互の比較処理結果に基づいてフレームデータ画像からノイズデータ除去処理を実行する画像処理手段と、を有することを特徴とする。
【００１３】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記３次元画像撮像手段により時系列に撮り込まれるフレームデータ画像相互の比較処理を実行するフレームデータ比較手段と、前記フレームデータ比較手段におけるフレームデータ画像相互の比較処理結果に基づいてフレームデータ画像の画像位置変更処理を実行する画像処理手段と、を有することを特徴とする。
【００１５】
さらに、本発明の画像処理装置の一実施態様において、前記投光手段は不可視領域の光を発生する光源を有し、前記第１の撮像手段および前記第２の撮像手段は不可視領域の光を透過するフィルターおよび不可視領域の光を遮断するフィルターを有し、パターン投影画像と、輝度画像とを並列に撮り込む構成を有することを特徴とする。
【００１６】
さらに、本発明の画像処理装置の一実施態様において、前記投光手段による投影パターンに対する第１の撮像手段による撮影パターンの変化量が所定値未満の領域について、第１の撮像手段および第２の撮像手段より得られた各輝度情報の対応づけにより第２の距離情報を生成する構成としたことを特徴とする。
【００１７】
さらに、本発明の画像処理装置の一実施態様において、前記第２の撮像手段は、前記測定対象を異なる角度で撮像する複数の撮像手段によって構成され、該複数の第２の撮像手段の各々の撮影した投影パターンに基づいて距離情報を生成する構成としたことを特徴とする。
【００１８】
さらに、本発明の第２の側面は、
投光手段によりパターンを投影するパターン投光ステップと、
前記投光手段の光軸方向から第１の撮像手段により輝度画像および投影パターン像を撮影し、前記投光手段の光軸方向と異なる方向から第２の撮像手段により前記投影パターン像を撮影する撮像ステップと、
前記第２の撮像手段の撮影した撮影パターンに基づいて第１の距離情報を生成する距離情報生成ステップと、
前記第１の撮像手段により撮像された輝度画像を前記距離情報に基づいて幾何変換を実行する幾何変換ステップと、
前記撮像ステップにおいて時系列に撮り込まれるフレームデータの初期画像を初期フレームデータとして記憶手段に記憶する記憶ステップと、
前記撮像ステップにおいて時系列に撮り込まれるフレームデータ画像相互の比較処理を実行し、画像比較によって検出される加えられた情報が、書き加えられた情報であるか、書き加えられた情報でないノイズであるかを判断する処理を実行するフレームデータ比較ステップと、
前記フレームデータ比較ステップにおける前記初期フレームデータと、後続して撮り込まれるフレームデータとの比較結果に基づいて前記ノイズを消去した差分データのみを格納データとして抽出する画像処理ステップと、
を有することを特徴とする画像処理方法にある。
【００１９】
さらに、本発明の画像処理方法の一実施態様において、前記距離情報生成ステップは、前記投影パターンに対する第１の撮像手段による撮影パターンの変化量が所定値以上の領域について、該第１の撮像手段による撮影パターンに対応する新規コードを割り付け、前記新規コードに基づいて第２の撮像手段による撮影パターンから前記第１の距離情報を生成するステップを含むことを特徴とする。
【００２０】
さらに、本発明の画像処理方法の一実施態様において、前記撮像ステップにおいて時系列に撮り込まれるフレームデータ画像相互の比較処理を実行するフレームデータ比較ステップと、前記フレームデータ比較ステップにおけるフレームデータ画像相互の比較処理結果に基づいてフレームデータ画像からノイズデータ除去処理を実行する画像処理ステップと、を有することを特徴とする。
【００２１】
さらに、本発明の画像処理方法の一実施態様において、前記撮像ステップにおいて時系列に撮り込まれるフレームデータ画像相互の比較処理を実行するフレームデータ比較ステップと、前記フレームデータ比較ステップにおけるフレームデータ画像相互の比較処理結果に基づいてフレームデータ画像の画像位置変更処理を実行する画像処理ステップと、を有することを特徴とする。
【００２３】
さらに、本発明の画像処理方法の一実施態様において、前記パターン投光ステップは、前記光源を赤外光または紫外光を用いた不可視領域の光源として、パターン光を不可視領域光によって形成するステップであり、前記撮像ステップは、パターン投影画像と、輝度画像とを並列に撮り込むステップであることを特徴とする。
【００２４】
さらに、本発明の画像処理方法の一実施態様において、前記投光手段による投影パターンに対する第１の撮像手段による撮影パターンの変化量が所定値未満の領域について、第１の撮像手段および第２の撮像手段より得られた各輝度情報の対応づけにより第２の距離情報を生成するステップを有することを特徴とする。
【００２５】
さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法において、さらに、前記第２の撮像手段は、前記測定対象を異なる角度で撮像する複数の撮像手段によって構成され、該複数の第２の撮像手段の各々の撮影した投影パターンに基づいて距離情報を生成するステップを有することを特徴とする。
【００２６】
さらに、本発明の第３の側面は、
画像保持媒体に光を投光する投光手段と、
前記投光手段によって投光された前記画像保持媒体を撮影する撮像手段と、
前記撮像手段によって撮影された画像に基づいて輝度画像を取得する輝度画像取得手段と、
前記撮影された光から距離情報を取得する距離情報取得手段と、
前記距離情報取得手段において取得された距離情報に基づき前記輝度画像を幾何変換する幾何変換手段と、
前記幾何変換手段において幾何変換された輝度画像と、予め取得済みの輝度画像との画像比較処理を実行し、画像比較処理によって検出される加えられた情報が、書き加えられた情報であるか、書き加えられた情報でないノイズであるかを判断する処理を実行し、前記ノイズを消去した差分データを抽出する画像抽出手段と、
を有することを特徴とする画像処理装置にある。
【００２７】
さらに、本発明の画像処理装置の一実施態様において、前記画像保持媒体は、原稿、ホワイトボード、黒板、スクリーン、壁、またはスクリーン投影用シートのいずれかであることを特徴とする。
【００２８】
さらに、本発明の画像処理装置の一実施態様において、前記画像抽出手段において、処理対象となる予め取得済みの輝度画像は、前記幾何変換手段から先行して入力した先行フレーム画像であることを特徴とする。
【００２９】
さらに、本発明の画像処理装置の一実施態様において、前記画像抽出手段において、処理対象となる予め取得済みの輝度画像は、記憶手段に予め記憶された画像データであることを特徴とする。
【００３０】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、複数の帳票フォーマットデータを格納した帳票データベースと、前記幾何変換手段において幾何変換された輝度画像と、前記帳票データベースに格納されたフォーマット画像との照合処理を実行する帳票識別手段とを有し、前記画像抽出手段は、前記幾何変換手段において幾何変換された輝度画像と、前記帳票データベースに格納されたフォーマット画像との差異を抽出する処理を実行する構成であることを特徴とする。
【００３１】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記画像抽出手段の抽出した文字データを読み取り、コード値として置き換え可能な文字データに変換する文字変換処理構成を有することを特徴とする。
【００３２】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、登録ユーザによる筆跡履歴データを格納した認証情報データベースと、前記幾何変換手段において幾何変換された輝度画像を入力し、該入力画像と前記認証情報データベースに格納された筆跡履歴データとの照合処理を実行する認証処理手段と、を有することを特徴とする。
【００３３】
さらに、本発明の画像処理装置の一実施態様において、前記認証情報データベースには、登録ユーザの筆跡履歴データと署名形状データとが格納され、前記認証処理手段は、前記幾何変換手段において幾何変換された輝度画像を入力し、該入力画像と前記認証情報データベースに格納された筆跡履歴データとの照合処理を実行するとともに、署名形状データとの照合処理を実行する構成であることを特徴とする。
【００３４】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記幾何変換手段において距離情報に基づき前記輝度画像を幾何変換した画像を表示する表示手段を有することを特徴とする。
【００３５】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置において、画像保持媒体と前記撮像手段との距離が固定され、前記距離情報取得手段の取得した距離情報を格納する記憶手段を有し、前記幾何変換手段は前記記憶手段に記憶された距離情報に基づき前記輝度画像を幾何変換する構成であることを特徴とする。
【００３６】
さらに、本発明の第４の側面は、
画像保持媒体に光を投光する投光ステップと、
前記投光された前記画像保持媒体を撮影する撮像ステップと、
前記撮像ステップにおいて撮影された画像に基づいて輝度画像を取得する輝度画像取得ステップと、
前記撮影された光から距離情報を取得する距離情報取得ステップと、
前記距離情報取得ステップにおいて取得された距離情報に基づき前記輝度画像を幾何変換する幾何変換ステップと、
前記幾何変換ステップにおいて幾何変換された輝度画像と、予め取得済みの輝度画像との画像比較処理を実行し、画像比較処理によって検出される加えられた情報が、書き加えられた情報であるか、書き加えられた情報でないノイズであるかを判断する処理を実行し、前記ノイズを消去した差分データを抽出する画像抽出ステップと、
を有することを特徴とする画像処理方法にある。
【００３７】
さらに、本発明の画像処理方法の一実施態様において、前記画像保持媒体は、原稿、ホワイトボード、黒板、スクリーン、壁、またはスクリーン投影用シートのいずれかであることを特徴とする。
【００３８】
さらに、本発明の画像処理方法の一実施態様において、前記画像抽出ステップにおいて、処理対象となる予め取得済みの輝度画像は、前記幾何変換手段から先行して入力した先行フレーム画像であることを特徴とする。
【００３９】
さらに、本発明の画像処理方法の一実施態様において、前記画像抽出ステップにおいて、処理対象となる予め取得済みの輝度画像は、記憶手段に予め記憶された画像データであることを特徴とする。
【００４０】
さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法は、さらに、前記幾何変換ステップにおいて幾何変換された輝度画像と、複数の帳票フォーマットデータを格納した帳票データベースに格納されたフォーマット画像との照合処理を実行する帳票識別ステップを有し、前記画像抽出ステップは、前記幾何変換ステップにおいて幾何変換された輝度画像と、複数の帳票フォーマットデータを格納した帳票データベースに格納されたフォーマット画像との差異を抽出する処理を実行することを特徴とする。
【００４１】
さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法は、さらに、さらに、前記画像抽出ステップにおいて抽出した文字データを読み取り、コード値として置き換え可能な文字データに変換する文字変換処理ステップ、を有することを特徴とする。
【００４２】
さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法は、さらに、前記幾何変換ステップにおいて幾何変換された輝度画像を入力し、該入力画像と登録ユーザによる筆跡履歴データを格納した認証情報データベースに格納された筆跡履歴データとの照合処理を実行する認証処理ステップ、を有することを特徴とする。
【００４３】
さらに、本発明の画像処理方法の一実施態様において、前記認証情報データベースには、登録ユーザの筆跡履歴データと署名形状データとが格納され、前記認証処理ステップは、前記幾何変換ステップにおいて幾何変換された輝度画像を入力し、該入力画像と前記認証情報データベースに格納された筆跡履歴データとの照合処理を実行するとともに、署名形状データとの照合処理を実行することを特徴とする。
【００４４】
さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法は、さらに、前記幾何変換ステップにおいて距離情報に基づき前記輝度画像を幾何変換した画像を表示する表示ステップを有することを特徴とする。
【００４５】
さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法において、画像保持媒体と前記撮像手段との距離が固定され、前記距離情報取得手段の取得した距離情報を格納する記憶ステップを有し、前記幾何変換ステップは前記記憶ステップにおいて記憶された距離情報に基づき前記輝度画像を幾何変換することを特徴とする。
【００４６】
さらに、本発明の第５の側面は、
画像処理をコンピュータ・システム上で実行せしめるプログラムであって、前記プログラムは、
画像保持媒体に光を投光する投光ステップと、
前記投光された前記画像保持媒体を撮影する撮像ステップと、
前記撮像ステップにおいて撮影された画像に基づいて輝度画像を取得する輝度画像取得ステップと、
前記撮影された光から距離情報を取得する距離情報取得ステップと、
前記距離情報取得ステップにおいて取得された距離情報に基づき前記輝度画像を幾何変換する幾何変換ステップと、
前記幾何変換ステップにおいて幾何変換された輝度画像と、予め取得済みの輝度画像との画像比較処理を実行し、画像比較処理によって検出される加えられた情報が、書き加えられた情報であるか、書き加えられた情報でないノイズであるかを判断する処理を実行し、前記ノイズを消去した差分データを抽出する画像抽出ステップと、
を有することを特徴とするプログラムにある。
【００４７】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供されるコンピュータ・プログラムである。
【００４８】
このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。コンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の他の側面と同様の作用効果を得ることができるのである。
【００４９】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００５０】
【発明の実施の形態】
以下、図を用いて本発明の画像処理装置および画像処理方法の実施の形態を詳しく説明する。
【００５１】
本発明の画像処理装置は、異なる方向から撮影した画像を用いて撮影被写体の距離情報を取得し、取得した距離情報に基づいて被写体の距離情報を求め、求めた距離情報に基づいて撮影画像としての輝度画像により画像内の文字等の読み取りを実行するものである。
【００５２】
距離情報としての３次元形状を取得する手法には、アクティブ手法（Active vision）とパッシブ手法（Passive vision）がある。アクティブ手法は、（1）レーザ光や超音波等を発して、対象物からの反射光量や到達時間を計測し、奥行き情報を抽出するレーザー手法や、（2）スリット光などの特殊なパターン光源を用いて、対象表面パターンの幾何学的変形等の画像情報より対象形状を推定するパターン投影方法や、(3)光学的処理によってモアレ縞により等高線を形成させて、３次元情報を得る方法などがある。一方、パッシブ手法は、対象物の見え方、光源、照明、影情報等に関する知識を利用して、一枚の画像から３次元情報を推定する単眼立体視、三角測量原理で各画素の奥行き情報を推定する二眼立体視等がある。
【００５３】
一般的にアクティブ手法のほうが計測精度は高いが、投光手段の限界などにより、測定できるレンジが小さい場合が多い。一方、パッシブ手法は汎用的であり、対象に対する制約が少ない。本発明は、このアクティブ手法の３次元計測装置であるパターン投影法に関するものである。パターン投影法では、対象とする物体に基準となるパターン光を投影し、基準となるパターン光が投影された方向とは異なる方向から撮影を行う。撮影されたパターンは、物体の形状によって変形を受けたものとなる。観測された変形パターンと投影したパターンとの対応づけを行うことで、物体の3次元計測を行える。パターン投影法では、変形パターンと投影したパターンの対応づけにおいていかに誤対応を少なくし、かつ簡便に行うかが課題となる。そこで、様々なパターン投影の手法(空間パターンコード化、モアレ、色符号化)が提案されている。
【００５４】
代表的な空間コード化の一例は、例えばレーザ光源とレーザ光をスリット形に整形するレンズ系と、整形されたレーザ光を対象物に走査して照射するスキャンニング装置と対象物からの反射光を検出するカメラとこれらを制御する装置からなる。スキャンニング装置から走査されるレーザ光によって対象物上に、レーザ光が照射された部分と照射されていない部分とで縞模様が形成される。レーザ光の照射を異なる複数のパターンによって行うことで対象物上はＮ個の識別可能な部分に分割される。対象物を異なる位置からカメラで撮影した画像上の各画素が分割されたどの部分に含まれるかを判別することで対象物の形状を算出できる。
【００５５】
解像度を高くする為には複数回のレーザによるスキャンを行い、複数回のカメラによる撮影が必要となる。例えば、画面を２５６の領域に分割する為には8回の撮影が必要となる。そのため動きの早い物体の撮影は困難となり、更にスキャンを行う間は撮影系を確実に固定しておく必要があるので装置自体は簡便となっても手軽に撮影を行う事は難しい。
【００５６】
スリットの復元を容易に行い、更に1回でコード化されたパターンを投影する手段として空間パターンコード化法がある。これは、３値以上の濃淡、又は３色以上の色、又は濃淡と色の組み合わせによって３種類以上の階調領域を有し、該階調領域の境界線の交点において少なくとも３種類の階調領域が互いに接しているように配置した多値格子板パターンを具備し、該パターンを被測定対象物に投影して生じる投影像の交点に該交点で接する階調の種類と順序に応じた主コードを付与し、該主コードを、または交点の主コードとその周囲交点の主コードとを組み合わせた組み合わせコードを、交点の識別用の特徴コードとして付与する。しかし、この方式では撮影対象によってはコード化が崩れてしまい正しくコードの対応づけができなくなる場合がある。
【００５７】
本出願と同一出願人に係る特願平１０−１９１０６３号、(特開２０００−９４４２)、特願平１０−２４７７９６(特開２０００−６５５４２)では投光されたパターンをフィードバックし新たなコードを生成することで対象物に依存しない３次元画像撮影装置を提案した。この３次元画像撮影装置は、投光パターンを複数の強度や複数の波長によって符号化されたものを投影して実現する。その際に、投光パターンが被写体の輝度情報、素材などの影響によって変化し、３次元形状を算出する際に、エラーとなって適切な３次元形状が計測できない。そのために、上記３次元撮像装置は、投光素子と同光軸に配置をし、被写体情報による投光パターンの変化分をモニタし、再符号化を実施し、３次元形状を計測する。
【００５８】
まず、再コード化処理を用いた距離データの取得原理について説明する。再コード化処理を用いた距離データの取得を実行する３次元画像撮像装置の構成を表すブロック図を図１に示す。図２に光源と撮像素子の位置関係を示す。
【００５９】
図２に示すように、３次元形状測定装置は、３台のカメラ１０１〜１０３および投光器１０４を備える。各カメラの距離関係が揃うように、図示の距離Ｉ1、Ｉ2、Ｉ3は等しくされている。カメラ３，１０３と投光器１０４は、ハーフミラー１０５を用いて光軸が一致するように配置される。カメラ１，１０１、カメラ２，１０２は、カメラ３，１０３と投光器１０４の両側に、それらと光軸が異なるように配置される。中央の光軸と両側の光軸との距離が基線長Ｌである。
【００６０】
投光器１０４は、光源１０６と、マスクパターン１０７と、強度パターン１０８と、プリズム１０９とを有する。ここで光源１０６は、赤外もしくは紫外光を用いた不可視領域の光源を用いることができる。この場合、各カメラは図３に示すように構成される。すなわち、入射してきた光３１０は、プリズム３０１で２方向に分割され、一方は不可視領域（赤外あるいは紫外）透過フィルター３０２を通って撮像装置（例えばＣＣＤカメラ）３０３に入射し、他方は不可視領域（赤外と紫外）遮断フィルター３０４を通って撮像装置３０５に入射する。
【００６１】
また図２に示す光源１０６は、可視領域あるいは不可視領域に限定せず、撮像可能な波長帯の光源を用いてもよい。この場合、カメラ３，１０３においては、プログレッシブスキャンタイプのＣＣＤカメラを用い、カメラ１，１０１、カメラ２，１０２に関しては、特に構成はこだわらない。ただし、カメラ３，１０３との対応を考慮すれば、同じ構成のＣＣＤカメラが望ましい。光源１０６からパターンが投影され、３台のカメラ１〜３（１０１〜１０３）が同時に撮影を行う。そして各カメラは、フィルター３０４，３０５（図３参照）を通過した光を撮像装置３０３，３０５で得ることにより、画像の一括取得を行う。
【００６２】
図１を用いて３次元形状測定装置の構成を説明する。図示のように、カメラ１，１０１は、撮影して得た輝度情報を輝度値メモリ１２１に記憶し、撮影パターンをパターン画像メモリ１２２に記憶する。カメラ２，１０２は、同様に、輝度情報を輝度値メモリ１２３に記憶し、撮影パターンをパターン画像メモリ１２４に記憶する。カメラ３，１０３は、輝度情報を輝度値メモリ１２５に記憶し、撮影パターンをパターン画像メモリ１２６に記憶する。投光器１０４は、事前に作成したコード化されたパターンを後に参照する為に、各スリットを正方格子上のセルに分割してフレームメモリ１２７に格納している。
【００６３】
この記憶保持された撮影パターンおよび輝度情報を用いて、次のようにして３次元画像を得る。以下の操作は、カメラ１，１０１とカメラ３，１０３の組み合わせ、カメラ２，１０２とカメラ３，１０３の組み合わせの双方に共通なので、ここではカメラ１，１０１とカメラ３，１０３の組み合わせを例にとって説明する。
【００６４】
図１において、領域分割部１２８は、カメラ３，１０３で撮影された撮影パターンの領域分割を行う。そして、隣り合うスリットパターン間の強度差が閾値以下である領域については投光器からの光が届いてない領域１として抽出し、スリットパターン間の強度差が閾値以上である領域については領域２として抽出する。再コード化部１２９は、抽出された領域２について、パターン画像メモリ１２６に記憶された撮影パターンとフレームメモリ１２７に格納された投影パターンを用いて再コード化を行う。
【００６５】
図４は、再コード化を行う際のフローチャートである。まず、各スリットパターンをスリット幅毎に縦方向に分割し（ステップ１００１）、正方形のセルを生成する。生成された各セルについて強度の平均値をとり、平均値を各セルの強度とする（ステップ１００２）。画像の中心から順に、投影パターン及び撮影パターンの対応する各セル間の強度を比較し、対象物の反射率、対象物までの距離などの要因によってパターンが変化したためにセル間の強度が閾値以上異なるかどうかを判断する（ステップ１００３）。閾値以上異ならない場合は、撮影されたすべてのセルについて再コード化を終了する（ステップ１００７）。
【００６６】
閾値以上異なる場合は、新たな強度のセルかどうか判断する（ステップ１００４）。そして、新たな強度のセルのときは、新たなコードの生成、割り付けを行う（ステップ１００５）。また、新たな強度のセルでないときは、他に出現している部位と識別可能とするスリットパターンの並びを用いてコード化する（ステップ１００６）。これで、再コード化を終了する（ステップ１００７）。
【００６７】
図５はスリットパターンのコード化の例を示すもので、同図（ａ）はスリットの並びによってコード化された投影パターンであり、強度としてそれぞれ３（強）、２（中）、１（弱）が割り当てられている。同図（ｂ）においては、左から３つめのセルで強度が変化して新たなコードが出現したので、新たに０というコードを割り当てている。同図（ｃ）においては、左から３つめ上から２つめのセルに既存のコードが出現しているので、セルの並びから新たなコードとして、縦の並びを［２３２］、横の並びを［１３１］という具合に再コード化する。この再コード化は、対象の形状が変化に富む部位には２次元パターンなどの複雑なパターンを投光し、変化の少ない部位には簡単なパターンを投光しているのに等しい。この過程を繰り返し、全てのセルに対して一意なコードを割り付けることで再コード化を行う。
【００６８】
図６は、カメラ６０１〜６０３および投光器６０４を用いて、壁６０５の前に配置された板６０６にコード化されたパターンを投光する例を示す。ここでコード化されたパターンは、図７に示すスリットパターンである。このとき、カメラ６０１、カメラ６０２で得られる画像は、図８及び図９に示すように、それぞれ板６０６の影となる領域８０１、９０１が生ずる。本例では、板６０６の表面には新たにコード化されたパターンとして、図１０に示すようなスリットパターンが得られる。
【００６９】
次に図１に戻って説明する。カメラ１，１０１側のコード復号部１３０は、パターン画像メモリ１２２から投影パターンを抽出し、上述と同様にしてセルに分割する。そして、先に再コード化部１２９で再コード化されたコードを用いて各セルのコードを検出し、この検出したコードに基づいて光源からのスリット角θを算出する。図１１は空間コード化における距離の算出方法を示す図であり、各画素の属するセルのスリット角θとカメラ１で撮影された画像上のｘ座標とカメラパラメータである焦点距離Ｆと基線長Ｌとから、次の（数１）によって距離Ｚを算出する。
【００７０】
【数１】
Ｚ＝（Ｆ×Ｌ）／（ｘ＋Ｆ×ｔａｎθ） （数１）
【００７１】
この距離Ｚの算出は、カメラ２，１０２側のコード復号部１３１においても、同様に行われる。また、上述の領域１については次のようにして距離を算出する。領域１では、投光されたパターンによるパターン検出は行うことができないので、対応点探索部１３２において、カメラ１〜３の輝度値メモリ１２１、１２３、１２５から読み出された輝度情報を用いて視差を検出し、これに基づいて距離を算出する。領域１を除く領域に対しては、前述の操作により距離が算出されているので、領域１の距離の最小値が得られ、また対応づけ可能な画素も限定される。これらの制限を用いて、画素間の対応づけを行い視差ｄを検出し、カメラパラメータである画素サイズλを用いて、次の（数２）によって距離Ｚを算出する。
【００７２】
【数２】
Ｚ＝（Ｌ×Ｆ）／（λ×ｄ） （数２）
【００７３】
前述の手法でカメラ３，１０３とカメラ１，１０１の組み合わせによって得られた距離情報では、図８に示す板の影となる領域８０１の距離情報が検出できない。一方、カメラ３，１０３とカメラ２，１０２の組み合わせによって得られた距離情報では、図９に示す板の影となる領域９０１の距離情報が検出できない。しかし、図８に示す板の影となる領域８０１の距離情報が算出可能である。従って、図１の距離情報統合部１３３において、カメラ３，１０３とカメラ１，１０１の組で算出された距離情報およびカメラ３，１０３とカメラ２，１０２で算出された距離情報から、カメラ３の画像（図１２）のすべての画素に対する距離情報を取得する。以上の操作によって得られた距離情報を、例えばカメラ３の輝度画像に対応づけて３次元画像メモリに記憶することで３次元画像撮像を行う。
【００７４】
上述したような構成により、距離データを取得することが可能となる。本発明の画像処理装置は、上記手法によって取得される距離情報に基づいて撮影画像としての輝度画像により画像内の文字等の読み取りを実行するものである。
【００７５】
以下、距離情報の取得、輝度画像の取得により画像内の文字等の読み取りを実行する構成を応用した画像処理装置構成についての複数の実施例について説明する。
【００７６】
［実施例１］
まず、画像読み取りを実行する実施例１の構成について説明する。図１３は本実施例１に係る画像処理装置のブロック図を示す図である。本実施例の画像処理装置は、３次元画像撮像装置１３００、幾何変換手段１３０３、画像メモリＡ１３０４、フレームデータ比較手段１３０５、画像処理手段１３０６、画像メモリＢ１３０７を有する。
【００７７】
３次元画像撮像装置１３００は、上述した図１の構成を持つものであり、例えば再コード化による高精度な距離情報を生成する構成を持つ。上述したように、３次元画像撮像装置１３００は、例えばパターン画像から距離情報を取得する距離情報取得部１３０２と、パターンを除いた実画像としての輝度画像を取得する輝度情報取得部１３０１を有する。なお、以下で説明する各実施例においての距離情報取得処理構成は、パターン光を投影した再コード化法による距離情報取得構成を有するものに限らず、他の距離情報取得構成を適用してもよい。
【００７８】
幾何変換手段１３０３は、距離情報取得部１３０２によって取得される距離データに基づいて、輝度情報取得部１３０１の取得した輝度画像の幾何変換を行なう。幾何変換は、撮影対象の画像保持媒体としての原稿面の例えば複数の点、例えば端点位置を識別して、識別された複数点を撮像手段であるカメラから等距離になるような位置に補正する処理、すなわち、原稿を正面から撮影した画像状態に変換する処理を実行する。
【００７９】
幾何変換手段１３０３によって変換された輝度画像は、画像メモリＡ，１３０４に時系列のフレームデータとして順次格納される。さらに、フレームデータ比較手段１３０５は、画像メモリＡ，１３０４に格納されたフレームデータの比較処理を実行し、例えば画像の差分データをとる。
【００８０】
画像処理部１３０６は、フレームデータ比較手段１３０５によるフレームデータの比較処理データから、新たに付加されているデータのみを取り出す処理を実行したり、複数フレームに渡るデータからノイズと判断されるデータを取り除く処理等を実行し、不要部分を削除したデータを画像メモリＢ，１３０７に格納する。
【００８１】
画像メモリＢ，１３０７に格納されたデータは、必要に応じて、表示手段としてのモニタ、スクリーン、ホワイトボード、プリンタ、記憶手段等に出力される。
【００８２】
画像処理部１３０６と、フレームデータ比較手段１３０５による処理について説明する。ユーザが手書き入力を開始する意志を、パーソナルコンピュータなどにインプットする。次に、手書き入力する範囲を決定し、読み込みを開始する。この際、画像保持媒体としての原稿が白紙の場合にはなんの情報も書かれていない原稿情報をオリジナルデータとして画像メモリＡ，１３０４に初期フレームデータとして記憶する。また、表などのフォームデータであれば、まず、その画像の読み込みを行い、これを初期フレームデータとする。
【００８３】
ユーザが、ペンなどで、３次元画像撮像装置１３００によって撮影された状態において、情報を書き込むと、３次元画像撮像装置１３００は、画像を幾何変換し、画像メモリＡ，１３０４に格納する。フレームデータ比較手段１３０５は、格納されたデータの前後のフレームを比較し、差分データを取得する画像抽出手段として機能する。画像処理部１３０６は、初期フレームデータ上に新規に加えられた情報を画像メモリＢ，１３０７に格納する。
【００８４】
すなわち、事前に登録されている初期フレームデータ画像に、手書き等により情報を付加した物である場合は、事前に登録してある画像を指定し、その後、指定した画像を読み込み、画像の差分をとり、新たに付加されているデータを、新しいデータとして読み込む。
【００８５】
ユーザが、ペンなどで、３次元画像撮像装置１３００によって撮影された状態において、情報を書き込むと、３次元画像撮像装置１３００は、画像を幾何変換し、画像メモリＡ，１３０４に格納する。フレームデータ比較手段１３０５は、格納されたデータの前後のフレームを比較し、差分データを取得する。画像処理手段１３０６は、新規に加えられた情報のみを画像メモリＢ，１３０７に格納する。
【００８６】
また、フレームデータ比較手段１３０５は、何フレームかに渡って、画像を比較し、加えられた情報が、ペンなどによって新たに書き加えられた情報か、あるいは、ペンやユーザーの手のような書き加えられていない、いわばノイズであるかを判断する処理を実行する。ノイズであると判断された場合は、画像処理部１３０６は、その情報を消去し、書き加えられたデータのみデータとして画像メモリＢ，１３０７に格納する。ノイズデータとしての判断は、例えば初期フレームデータには表れないデータが初期フレームデータ以外のフレームデータに継続して表れるデータ、例えばペン、ユーザの手をノイズとして判定することによって実行される。
【００８７】
図１４に上述のノイズ情報除去処理の具体例を示す。図１４（ａ）は、紙等の原稿面に手書きにより文字を書き込んでいる状態を３次元画像撮像装置１３００によって撮り込み、画像メモリＡ，１３０４に格納された１フレーム画像データである。フレームデータ比較手段１３０５は、これらの画像データからペン、ユーザの手をノイズとして判定し、画像処理手段１３０６は、ノイズ処理を実行し、図１４（ｂ）に示すデータが画像メモリＢ，１３０７に格納される。
【００８８】
また、フレームデータ比較手段１３０５は、例えば原稿が移動した場合等についても検出し、原稿の位置データの移動に基づく差分データに基づいて、画像処理手段１３０６が画像回転等の画像位置修正処理を実行し前フレームデータと同一の角度、サイズでの原稿データを画像メモリＢ，１３０６に格納する。具体的には図１５（ａ）に示すような位置に原稿１５０１が置かれて、文字が書き込まれていた後、図１５（ｂ）のような位置に原稿が移動、回転した場合には、フレームデータ比較手段１３０５のフレームデータ比較処理により、原稿位置の移動が識別されて、画像処理手段１３０６が位置修正処理を実行し、例えばユーザによる手書き文字のみを画像メモリＢ，１３０７に格納することができる。
【００８９】
図１６に本発明の画像処理装置におけるデータ読み取り、データ格納処理の処理フローを示す。
【００９０】
ステップＳ１６０１において、読み取り範囲を指定する。これは、例えば、図１３示す３次元画像撮像装置１３００において撮影され、画像メモリＡ，１３０５に格納されるデータを画像メモリＢ１３０６を介してモニタに表示し、表示画像上において、読み取り範囲を任意に指定することができる。読み取り範囲として指定された領域の画像を初期フレームデータとして画像メモリＡ,画像メモリＢに格納し、フレームデータ比較用データ、格納データとする。
【００９１】
ステップＳ１６０２でデータの読み取りが開始され、ステップＳ１６０３において、新規撮り込み開始データであるかを判定し、新規撮り込み開始データでない場合は、ステップＳ１６０４において、蓄積画像データとの比較処理、すなわち、フレームデータ比較手段１３０５による画像データ比較が実行され、さらに、図１５を用いて説明した位置修正処理が実行され、その後、ステップＳ１６０５において、付加情報の抽出、読み込みが実行される。
【００９２】
ステップＳ１６０６，Ｓ１６０７では、フレームデータ比較手段１３０５は、何フレームかに渡って、画像を比較し、加えられた情報が、ペンなどによって新たに書き加えられた情報か、あるいは、ペンやユーザーの手のような書き加えられていない、いわばノイズであるかを判断する処理を実行する。ノイズであると判断された場合は、ステップＳ１６０８において、画像処理手段１３０６は、そのノイズ情報を消去する。
【００９３】
ステップＳ１６０９では、必要なデータのみが画像メモリＢ，１３０７に格納され、ステップＳ１６１０でデータ入力が終了したか否かを判定し、終了していない場合、すなわち新たな画像フレームが入力されている場合は、ステップＳ１６０３以降の処理を繰り返す。
【００９４】
本発明の画像処理装置のフレームデータ比較手段１３０５および画像処理手段１３０６の処理においては、例えば図１７に示すような処理が可能となる。図１７（ａ）に示すような文字「あい」の入力に次いで、図１７（ｂ）に示すように文字を囲むサークルが書き込まれたとき、画像メモリＡ１３０４に時系列にフレームデータを格納させ、異なるフレームデータの比較、および差分データの抽出により、図１７（ｃ）に示すように文字を除くサークルのみを抽出することが可能となる。
【００９５】
また、図１７（ｄ）のように原稿部を含む文字データから、図１７（ｅ）のように原稿部を除いた文字データのみを抽出することも可能となる。これは、３次元画像撮像装置により時系列に撮り込まれるフレームデータの初期画像を初期フレームデータとして記憶し、フレームデータ比較手段における初期フレームデータと、後続して撮り込まれるフレームデータとの比較結果に基づいて差分データのみを格納データとして抽出する処理によって実現される。
【００９６】
図１８，１９に本発明の画像処理装置の構成例を示す。図１８は、画像撮像部としての３次元画像撮像装置１８０２と、画像処理を実行する画像処理部としてのパーソナルコンピュータ（ＰＣ）１８０３を別体として構成し、双方をケーブルで接続した構成である。原稿１８０１に記録される文字等のデータは、３次元画像撮像装置１８０２によって輝度情報、パターン投影画像が取り込まれ、パーソナルコンピュータ（ＰＣ）１８０３によって画像処理がなされる。
【００９７】
また、図１９は、画像撮像部としての３次元画像撮像装置１９０２と、画像処理を実行する画像処理部としてのパーソナルコンピュータ（ＰＣ）１９０３を一体として構成した例である。原稿１９０１に記録される文字等のデータは、３次元画像撮像装置１９０２によって輝度情報、パターン投影画像が取り込まれ、パーソナルコンピュータ（ＰＣ）１９０３によって画像処理がなされる。なお、さらにコンパクトな携帯端末に撮像装置を組み込む構成としてもよい。
【００９８】
なお、本実施例１における距離情報の取得には、前述した再コード化法を適用することなく他の様々な手法によって距離情報を取得して取得した情報に基づいて処理を実行する構成としてもよい。再コード化法を適用しない手法の場合にはパターン光の投影を実行することは要請されない。
【００９９】
［実施例２］
次に、画像読み取りを実行する画像処理装置の実施例２の構成について説明する。本実施例２の構成を図２０に示す。図２０の構成は、先に説明した実施例１の構成に、帳票識別手段２００１と帳票データベース２００２とを付加した構成である。
【０１００】
３次元画像撮像装置１３００は、上述した図１の構成を持つものであり、例えば再コード化、あるいは他の既存の手法によって距離情報を生成する構成を持つ。上述した実施例１と同様、３次元画像撮像装置１３００は、例えばパターン画像から距離情報を取得する距離情報取得部１３０２と、実画像としての輝度画像を取得する輝度情報取得部１３０１を有する。
【０１０１】
幾何変換手段１３０３は、距離情報取得部１３０２によって取得される距離データに基づいて、輝度情報取得部１３０１の取得した輝度画像の幾何変換を行なう。幾何変換は、撮影対象の原稿面の例えば複数の点、例えば端点位置を識別して、識別された複数点を撮像手段であるカメラから等距離になるような位置に補正する処理、すなわち、原稿を正面から撮影した画像状態に変換する処理を実行する。
【０１０２】
幾何変換手段１３０３によって変換された輝度画像は、画像メモリＡ，１３０４に時系列のフレームデータとして順次格納される。さらに、フレームデータ比較手段１３０５は、画像メモリＡ，１３０４に格納されたフレームデータの比較処理を実行し、例えば画像の差分データをとる画像抽出手段として機能する。これらの処理は実施例１と同様である。
【０１０３】
実施例２においては、画像メモリＡ，１３０４に格納されるフレームデータを帳票識別手段２００１に出力する。帳票識別手段２００１は、入力画像と帳票データベース２００２の格納画像との比較処理を実行する。帳票データベース２００２には様々な帳票、例えば請求書、注文表、清算書などのフォーマットデータが格納され、画像メモリＡ，１３０４から入力される画像と比較を実行し、より一致度の高い帳票を選択する。画像メモリＡ，１３０４に格納されるフレームデータは、幾何変換手段１３０３によって原稿を正面から撮影した画像状態に変換されているので帳票識別手段２００１による比較処理は高精度に実行することができる。
【０１０４】
なお、画像データ自体を比較するのではなく、例えば帳票の一部にＩＤ、識別Ｎｏ、バーコード等の識別データを予め記録し、画像メモリＡ，１３０４に格納されるフレームデータから識別データを読み取り、読み取られた識別データに基づいて帳票データベース２００２から一致する帳票データを取得する構成としてもよい。この場合、帳票データベース２００２には、識別データと、帳票のフォーマットデータを対応付けて格納することが必要である。
【０１０５】
画像処理部１３０６は、帳票識別手段２００１によって識別された帳票のフォーマットデータを取得し、取得したフォーマットデータと、フレームデータ比較手段１３０５から入力されるフレームデータの比較処理データから、新たに付加されているデータ、すなわちユーザの書き込みデータを取り出す処理としての画像抽出処理を実行したり、複数フレームに渡るデータからノイズと判断されるデータを取り除く処理等を実行し、不要部分を削除したデータを画像メモリＢ，１３０７に格納する。
【０１０６】
画像メモリＢ，１３０７に格納されたデータは、必要に応じて、モニタ、プリンタ、記憶手段等に出力される。
【０１０７】
図２１に実施例２における書き込み用紙として適用可能な帳票の一例を示す。図２１に示す帳票は、様々な書き込み項目が決められた領域に設定された出張旅費請求書の例である。この出張旅費請求書も含め一般的な帳票は、紙などにプリントされている。ユーザーは、決められた枠の中に、自分の必要とする情報を書き込む。
【０１０８】
図２２に示すように、ユーザが帳票に書き込み作業を行おうとする場所、例えば、机上に帳票用紙をおき、帳票用紙のおかれた領域を例えば先に実施例１において説明した図１８、図１９同様の撮像構成を持つ画像読みとり装置で画像を読みとる。読みとった画像は、図２０の幾何変換手段１３０３において幾何変換処理がなされ、画像メモリＡ１３０４に格納される。
【０１０９】
画像メモリＡに格納された画像データは、帳票識別手段２００１に出力され、帳票データベース２００２の格納データとの照合処理が実行される。この照合処理は先にも説明したように画像データ同士の照合、あるいは識別データによる照合のいずれかの方法で実行される。照合処理の結果一致する帳票フォーマットが帳票データベース２００２から選択され、画像処理手段１３０６において、帳票データベースから提供されたフォーマットと、フレームデータ比較手段から出力されるフレームデータとの差分に基づいてユーザの書き込みデータの識別、抽出処理が実行される。
【０１１０】
画像処理手段１３０６は、新規に書き込まれた情報のみを画像メモリＢに出力する処理、あるいは帳票データベースから提供されたフォーマットと新規に書き込まれた情報とを併せた情報を出力する処理を選択的に実行できる。新規に書き込まれた情報のみを抽出したデータは、例えば図２３のようなデータとなる。
【０１１１】
さらに画像処理手段１３０６に、手書き文字を識別するＯＣＲ機能を備える構成とすることにより、手書き入力文字を識別して例えばテキストデータ等の文字データとして変換したデータを出力することも可能となる。この場合、画像処理手段１３０６は、帳票識別手段から入力した帳票フォーマットデータ上に変換文字データを書き込む処理を実行することにより、図２４に示すような清書されたデータの出力（表示、プリント、あるいはデータ転送など）を実行することが可能となる。
【０１１２】
また、画像処理手段１３０６において、帳票フォーマットの書き込み位置に応じたデータ識別処理を実行することにより、各書き込み位置毎のユーザ入力文字データをＯＣＲ機能での変換の後、データベースや表計算ソフトに取り込むことも可能になる。例えば図２５に示すような一定の項目のみを取り込んだ表を生成する処理が可能となる。
【０１１３】
例えば、保険の申し込み用紙などは、複数枚重なって用意され、カーボンコピーによって、複数枚に同じ情報をユーザが書き込む場合が多いが、通常は本人控えとして、一枚は控えに取り込み、他の用紙は、ＯＣＲなどの電算処理をするフォーム、販売店控えなどいくつかのフォームに分かれている。本実施例の手法によれば、記入した用紙は本人控えとしておき、上述の画像入力装置で取り込んだ画像を他の用途に使用することが出来る。
【０１１４】
［実施例３］
次に、画像読み取りを実行する画像処理装置の実施例３の構成について説明する。本実施例３の構成を図２６に示す。図２６の構成は、先に説明した実施例１の構成に、認証処理手段２６０１と認証情報データベース２６０２とを付加した構成である。
【０１１５】
本実施例３は、署名による個体認証をする際に適用する構成である。ユーザの署名を撮影し、書き込んだ署名情報の履歴に基づいて認証を行なう。また書き込み終わった署名の形状を記憶する。以上の、書き順、署名の形状を別途登録してある各々の個体のデータベースと比較して、個体認証を行うものである。
【０１１６】
図２６における３次元画像撮像装置１３００は、上述した図１の構成を持つものであり、例えば再コード化、あるいは他の既存の手法によって距離情報を生成する構成を持つ。上述した実施例１と同様、３次元画像撮像装置１３００は、例えばパターン画像から距離情報を取得する距離情報取得部１３０２と、実画像としての輝度画像を取得する輝度情報取得部１３０１を有する。
【０１１７】
幾何変換手段１３０３は、距離情報取得部１３０２によって取得される距離データに基づいて、輝度情報取得部１３０１の取得した輝度画像の幾何変換を行なう。幾何変換は、撮影対象の原稿面の例えば複数の点、例えば端点位置を識別して、識別された複数点を撮像手段であるカメラから等距離になるような位置に補正する処理、すなわち、原稿を正面から撮影した画像状態に変換する処理を実行する。
【０１１８】
幾何変換手段１３０３によって変換された輝度画像は、画像メモリＡ，１３０４に時系列のフレームデータとして順次格納される。さらに、フレームデータ比較手段１３０５は、画像メモリＡ，１３０４に格納されたフレームデータの比較処理を実行し、例えば画像の差分データをとる画像抽出手段として機能する。これらの処理は実施例１と同様である。
【０１１９】
実施例３においては、画像メモリＡ，１３０４に格納されるフレームデータを順次、認証処理手段２６０１に出力する。認証処理手段２６０１は、入力フレーム情報と、認証情報データベース２６０２に格納された画像との比較処理を実行する。認証情報データベース２６０２には、認証対象として登録されたユーザの署名データが格納されている。ユーザの署名データは、登録ユーザの実際の署名を撮影して取得されるデータであり、署名過程の各画像フレームデータを格納するとともに署名完了後の署名画像をユーザの識別子に対応させて格納したものである。
【０１２０】
認証処理手段２６０１は、画像メモリＡ，１３０４に格納されるフレームデータを順次受信し、認証情報データベース２６０２に格納された画像フレームに一致するものがあるか否かを判定する。なお、署名の前に予め識別ＩＤをユーザに入力させ、その識別ＩＤに対応するデータを認証情報データベース２６０２から取得してそのデータとの対比を行なう構成としてもよい。
【０１２１】
図２７に認証処理手段２６０１において実行される照合処理の具体例を示す。ここでは「山下」という署名を行なう場合について示している。登録されたユーザである山下さんの署名順序は図２７の左に示すフレームａ〜ｅの順に認証情報データベース２６０２に格納されている。なお、格納される画像フレームはフレームａ〜ｅの間にも多数存在する。
【０１２２】
認証処理手段２６０１は、画像メモリＡ，１３０４から受領する画像フレームデータをシーケンシャルに格納データと比較する。すべてが、格納データと一致すれば認証成立であり、格納データと異なるフレームが出現した場合には、認証が不成立となる。図２７の右側に示す認証不成立例１の画像が左側のフレームａ〜ｂ間に出現した場合には、筆跡順が登録ユーザとは異なることが明らかであり、登録ユーザ本人ではないと判定される。同様に認証不成立例２の画像が左側のフレームｂ〜ｄ間に出現した場合には、筆跡順が登録ユーザとは異なることが明らかであり、登録ユーザ本人ではないと判定される。同様に認証不成立例３の画像が左側のフレームｄ〜ｅ間に出現した場合には、筆跡順が登録ユーザとは異なることが明らかであり、登録ユーザ本人ではないと判定される。
【０１２３】
さらに、署名完了後の署名全体の形状データも認証情報データベース２６０２に格納され、認証処理手段２６０１は、署名完了後の画像を画像メモリＡ，１３０４から受領して、認証情報データベース２６０２に格納されたデータと比較しその照合を行なう。
【０１２４】
なお、上記説明においては、認証処理手段２６０１は、データを画像メモリＡ，１３０４から直接受領する構成として説明したが、フレームデータ比較手段１３０５において生成される前フレームとの差分データのみをフレームデータ比較手段１３０５から受領し、差分データに基づいて筆跡順序の照合を実行する構成としてもよい。
【０１２５】
［実施例４］
次に、画像読み取りを実行する画像処理装置の実施例４の構成について説明する。本実施例４の構成を図２８に示す。本実施例４は、プレゼンテーションや会議に使われるホワイトボードに書き込まれる文字等の情報を読み取る構成である。
【０１２６】
図２８において、画像保持媒体としてのホワイトボード２８０１には、マーカペン等の書き込み用具により文字、図形等がユーザによって書き込まれる。また、イレーザを使用して書き込まれた文字、図形等がユーザによって消去可能である。
【０１２７】
さらに、画像撮像部としての３次元画像撮像装置２８０２と、画像処理を実行する画像処理部としてのパーソナルコンピュータ（ＰＣ）２８０３を有する。３次元画像撮像装置２８０２とパーソナルコンピュータ（ＰＣ）２８０３は例えば通信ケーブルで接続され、データ転送可能な構成を持つ。ホワイトボード２８０１に記録される文字等のデータは、３次元画像撮像装置２８０２によって輝度情報、パターン投影画像が取り込まれ、パーソナルコンピュータ（ＰＣ）２８０３によって画像処理がなされる。
【０１２８】
３次元画像撮像装置２８０２およびパーソナルコンピュータ（ＰＣ）２８０３は、先の実施例１乃至３のいずれかの構成を持つ。すなわち、実施例１において説明した図１３、実施例２において説明した図２０、または実施例３において説明した図２６の構成を有する。
【０１２９】
３次元画像撮像装置２８０２は、実施例１他で説明した例えば図１３に示す距離情報を取得する距離情報取得部１３０１と、実画像としての輝度画像を取得する輝度情報取得部１３０２を有し、再コード化法、あるいはその他の手法による距離情報を生成する構成を持つ。
【０１３０】
パーソナルコンピュータ（ＰＣ）２８０３は、図１３の構成における幾何変換手段１３０３を有し、距離情報取得部１３０２によって取得される距離データに基づいて、輝度情報取得部１３０１の取得した輝度画像の幾何変換を行なう。幾何変換は、撮影対象のホワイトボード面の例えば複数の点、例えば端点位置を識別して、識別された複数点を撮像手段であるカメラから等距離になるような位置に補正する処理、すなわち、ホワイトボードを正面から撮影した画像状態に変換する処理を実行する。
【０１３１】
幾何変換手段によって変換された輝度画像は、パーソナルコンピュータ（ＰＣ）２８０３内に構成される図１３の画像メモリＡ，１３０４に時系列のフレームデータとして順次格納される。さらに、パーソナルコンピュータ（ＰＣ）２８０３内に構成されるフレームデータ比較手段１３０５は、画像メモリＡ，１３０４に格納されたフレームデータの比較処理を実行し、例えば画像の差分データをとる。
【０１３２】
パーソナルコンピュータ（ＰＣ）２８０３内に構成される画像処理部１３０６は、フレームデータ比較手段１３０５によるフレームデータの比較処理データから、新たに付加されているデータのみを取り出す処理を実行したり、複数フレームに渡るデータからノイズと判断されるデータを取り除く処理等を実行し、不要部分を削除したデータをパーソナルコンピュータ（ＰＣ）２８０３内に構成される画像メモリＢ，１３０７に格納する。
【０１３３】
画像メモリＢ，１３０７に格納されたデータは、必要に応じて、パーソナルコンピュータ（ＰＣ）２８０３に構成されるモニタ、外部接続されたプリンタ、記憶手段等に出力される。
【０１３４】
画像メモリＢ，１３０７に格納されたデータは、ＰＣ上のモニタ、スクリーン、あるいは他のホワイトボードなどに投影することも可能である。この場合の投影画像は、撮影対象となっているホワイトボード２８０１の画像を幾何変換手段１３０３によって正面から見た画像に変換した画像となるでので、視聴者にとって見やすい画像の提供が実現される。
【０１３５】
また、実施例２において説明した帳票識別手段２００１、帳票データベース２００２をパーソナルコンピュータ（ＰＣ）２８０３内に構成することで、例えばＯＨＰ２８０５を用いてホワイトボード２８０１上に映し出された帳票フォーマット上にユーザが書き込むデータについて、実施例２で説明したと同様の処理を実行することが可能となる。
【０１３６】
すなわち、帳票フォーマットを識別し、ユーザがホワイトボード２８０１上に映し出された帳票フォーマット上に書き込んだデータのみを抽出したり、抽出したデータをＯＣＲ機能により変換し、さらに所定の統計用データに埋め込む処理（図２５参照）や、あるいはＯＣＲにより変換した文字データをデータベースに格納した帳票フォーマットに併せて画像表示、プリント出力する処理（図２４参照）などが可能となる。
【０１３７】
また、実施例３において説明した認証処理手段２６０１、認証情報データベース２６０２をパーソナルコンピュータ（ＰＣ）２８０３内に構成することで、ユーザによるホワイトボード２８０１上への署名に基づく認証が可能となる。
【０１３８】
なお、これらの処理は、図２８に示すようにホワイトボード２８０１に直接書き込まれた文字、図形等を３次元画像撮像装置２８０２によって撮影してデータ処理を実行する構成に限らず、ホワイトボード２８０１にデータを投影するＯＨＰ２８０４、あるいはその他の投影機器によって投影されたホワイトボード２８０１上の像を３次元画像撮像装置２８０２によって撮影してデータ処理を行なう構成としてもよい。
【０１３９】
また、図２８に示すようにＯＨＰ２８０４のボード面を３次元画像撮像装置２８０２’によって撮影してデータ処理を実行する構成とすることも可能である。すなわち、画像保持媒体は、原稿、ホワイトボード、黒板、スクリーン、壁、またはスクリーン投影用シートなど様々な媒体が可能である。
【０１４０】
また、図２９に示すように、ホワイトボード２９０１にデータを投影するＯＨＰ２９０４、データ処理を実行するパーソナルコンピュータ（ＰＣ）２９０３を有する構成において、ＯＨＰ２９０４の撮像、投影部に３次元画像撮像装置２９０２を組み込む構成とすることで、機器の小型化が達成され、また３次元画像撮像装置２９０２と、撮影対象となるＯＨＰ２９０４のボード面との距離が固定され、安定したデータ処理が可能となる。
【０１４１】
［実施例５］
次に、画像読み取りを実行する画像処理装置の実施例５の構成について説明する。本実施例５の構成を図３０に示す。本実施例５も実施例４と同様、プレゼンテーションや会議に使われるホワイトボードに書き込まれる文字等の情報を読み取る構成である。
【０１４２】
図３０において、ホワイトボード３００１には、マーカペン等の書き込み用具により文字、図形等がユーザによって書き込まれる。また、イレーザを使用して書き込まれた文字、図形等がユーザによって消去可能である。
【０１４３】
さらに、画像撮像部としての３次元画像撮像装置３００２と、画像処理を実行する画像処理部としてのパーソナルコンピュータ（ＰＣ）３００３を有する。３次元画像撮像装置３００２とパーソナルコンピュータ（ＰＣ）３００３は例えば通信ケーブルで接続され、データ転送可能な構成を持つ。ホワイトボード３００１に記録される文字等のデータは、３次元画像撮像装置３００２によって輝度情報、パターン投影画像が取り込まれ、パーソナルコンピュータ（ＰＣ）３００３によって画像処理がなされる。
【０１４４】
３次元画像撮像装置３００２およびパーソナルコンピュータ（ＰＣ）３００３は、先の実施例１乃至３のいずれかの構成を持つ。すなわち、実施例１において説明した図１３、実施例２において説明した図２０、または実施例３において説明した図２６の構成を有する。
【０１４５】
実施例５の構成は、実施例４と異なり、ホワイトボード３００１と画像撮像部としての３次元画像撮像装置３００２との距離Ｌが固定されていることである。従って、距離計測処理は１度実行されればよく、計測された距離データを３次元画像撮像装置３００２、あるいはパーソナルコンピュータ（ＰＣ）３００３内のメモリに格納し、格納データによる処理が可能となる。従って、ユーザによる書き込みデータの処理時には、実施例１で述べているような不可視光源を使用せずに、可視領域の投光パターンを投影することが可能になる。
【０１４６】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１４７】
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１４８】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Ｒｅａｄ ＯｎｌｙＭｅｍｏｒｙ）に予め記録しておくことができる。あるいは、プログラムはフロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＭＯ（Ｍａｇｎｅｔｏ ｏｐｔｉｃａｌ）ディスク，ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【０１４９】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１５０】
【発明の効果】
以上、述べたように、本発明の画像処理装置および画像処理方法は、紙などに対するペンによる書き込み文字、模様等を撮影し、撮影画像の幾何変換を実施して、自然な入力文字分析、読み取り処理を実現するもので、簡易な構成で、距離計測を実行して、いわゆる実画像である輝度画像と、距離計測用の画像を並列して撮り込み、距離情報に基づく輝度画像分析により、入力文字の識別処理を効率的に実行することが可能となる。
【０１５１】
さらに、本発明の画像処理装置および画像処理方法は、時系列に撮り込む画像の比較処理を実行して、画像の変化の検出によるノイズ検出およびノイズ除去処理、さらに原稿位置修正が可能となるので、正確なデータの読み取りが可能となる。
【０１５２】
さらに、本発明の画像処理装置および画像処理方法は、撮影画像を幾何変換した輝度画像と、複数の帳票フォーマットデータを格納した帳票データベースに格納されたフォーマット画像との差異を抽出してユーザの書き込みデータを抽出したり、あるいは書き込みデータのテキストデータへの変換が可能となり、帳票処理の効率化が実現される。
【０１５３】
さらに、本発明の画像処理装置および画像処理方法は、登録ユーザによる筆跡履歴データを格納した認証情報データベースに格納された筆跡履歴データと幾何変換された輝度画像との照合処理により正確でかつ効率的な個人認証処理が実現される。
【０１５４】
さらに、本発明の画像処理装置および画像処理方法は、ホワイトボードなど表示機能を持つ書き込み可能な構成物上への書き込みデータに対する処理も可能であり、撮影画像を幾何変換により正面位置から観察したデータに容易に変換でき、変換データをモニタあるいはスクリーン、他のホワイトボードに対して再度ディスプレイする処理が可能となり、視覚的に優れた表示機能を提供することができる。
【図面の簡単な説明】
【図１】本発明の画像処理装置において使用される３次元形状計測装置の構成例を示すブロック図である。
【図２】本発明の画像処理装置において使用される３次元形状計測装置のカメラ構成例を示すブロック図である。
【図３】本発明の画像処理装置において使用される３次元形状計測装置の撮像構成を説明する図である。
【図４】本発明の画像処理装置において使用される３次元形状計測装置の処理フローを示す図である。
【図５】本発明の画像処理装置において使用される３次元形状計測装置の投影パターンのコード化の例を示す図である。
【図６】本発明の画像処理装置において使用される３次元形状計測装置の撮影構成例を示す図である。
【図７】本発明の画像処理装置において使用される３次元形状計測装置の投影パターン例を示す図である。
【図８】本発明の画像処理装置において使用される３次元形状計測装置のカメラ１で撮影されるスリットパターンの例を示す図である。
【図９】本発明の画像処理装置において使用される３次元形状計測装置のカメラ２で撮影されるスリットパターンの例を示す図である。
【図１０】本発明の画像処理装置において使用される３次元形状計測装置において新たにコード化されたスリットパターンの例を示す図である。
【図１１】本発明の画像処理装置において使用される３次元形状計測装置の空間コード化法による距離算出法を示す図である。
【図１２】本発明の画像処理装置において使用される３次元形状計測装置のカメラ３で撮影されるスリットパターンの例を示す図である。
【図１３】本発明の画像処理装置の構成を示すブロック図である。
【図１４】本発明の画像処理装置におけるノイズ除去処理の具体例を説明する図である。
【図１５】本発明の画像処理装置における位置修正処理の具体例を説明する図である。
【図１６】本発明の画像処理装置の処理フローを示す図である。
【図１７】本発明の画像処理装置における処理態様の例を示す図である。
【図１８】本発明の画像処理装置の構成例を示す図である。
【図１９】本発明の画像処理装置の構成例を示す図である。
【図２０】本発明の画像処理装置の第２実施例の構成を示す図である。
【図２１】本発明の画像処理装置の第２実施例に適用可能な帳票フォーマットの例を示す図である。
【図２２】本発明の画像処理装置の第２実施例における帳票フォーマットに対するデータの書き込み処理例を示す図である。
【図２３】本発明の画像処理装置の第２実施例におけるユーザ書き込みデータ抽出例を示す図である。
【図２４】本発明の画像処理装置の第２実施例におけるデータ出力例を示す図である。
【図２５】本発明の画像処理装置の第２実施例におけるデータ処理例を示す図である。
【図２６】本発明の画像処理装置の第３実施例の構成を示す図である。
【図２７】本発明の画像処理装置の第３実施例におけるデータ処理例を示す図である。
【図２８】本発明の画像処理装置の第４実施例の構成を示す図である。
【図２９】本発明の画像処理装置の第４実施例の変形例構成を示す図である。
【図３０】本発明の画像処理装置の第５実施例の構成を示す図である。
【図３１】従来のタブレット形の文字入力装置例を示す図である。
【符号の説明】
１０１ カメラ１
１０２ カメラ２
１０３ カメラ３
１０４ 投光器
１０５ ハーフミラー
１０６ 光源
１０７ マスクパターン
１０８ 強度パターン
１０９ プリズム
１２１，１２３，１２５ 輝度値メモリ
１２２，１２４，１２６ パターン画像メモリ
１２７ フレームメモリ
１２８ 領域分割部
１２９ 再コード化部
１３０，１３１ コード復号部
１３３ 距離情報の統合部
１３４ ３次元メモリ
３０１ プリズム
３０２，３０４ 透過フィルタ
３０３，３０５ 撮像装置
６０１，６０２，６０３ カメラ
６０４ 投光器
６０５ 壁
６０６ 板
８０１，９０１ 影領域
１３００ ３次元画像撮像装置
１３０１ 輝度情報取得部
１３０２ 距離情報取得部
１３０３ 幾何変換手段
１３０４ 画像メモリＡ
１３０５ フレームデータ比較手段
１３０６ 画像処理手段
１３０７ 画像メモリＢ
１５０１ 原稿
１８０１，１９０１ 原稿
１８０２，１９０２ ３次元画像撮像装置
１８０３，１９０３ パーソナルコンピュータ（ＰＣ）
２００１ 帳票識別手段
２００２ 帳票データベース
２６０１ 認証処理手段
２６０２ 認証情報データベース
２８０１ ホワイトボード
２８０２ ３次元画像撮像装置
２８０３ パーソナルコンピュータ（ＰＣ）
２８０４ ＯＨＰ
２９０１ ホワイトボード
２９０２ ３次元画像撮像装置
２９０３ パーソナルコンピュータ（ＰＣ）
２９０４ ＯＨＰ
３００１ ホワイトボード
３００２ ３次元画像撮像装置
３００３ パーソナルコンピュータ（ＰＣ）
３１０１ 入力装置
３１０２ 専用ペン
【発明の属する技術分野】
本発明は撮影対象の形状計測をする画像処理装置および画像処理方法、並びにプログラムに関し、紙などに対するペンによる書き込み文字、模様等を撮影し、撮影画像の幾何変換を実施して、自然な入力文字分析、読み取り処理を実現する画像処理装置および画像処理方法、並びにプログラムに関する。
【０００２】
【従来の技術】
コンピュータなどの発展により、キーボード、マウス、タブレットなどさまざまな入力装置が開発されている。手書き文字の入力装置等には、例えば図３１に示すようなタブレットが広く普及している。
【０００３】
図３１のようなタブレット型の手書き入力装置においては、専用の入力装置が必要となる。いわゆる専用ペン３１０２と専用の入力装置３１０１を使用するために、紙に書くといった入力環境とはかけはなれる。また、普通の紙に文字を書き、その情報をパソコンなどに入力する場合は、スキャナやデジタルカメラなどに入力しなければならない。
【０００４】
特開平４−１２６４４７号には、２次元の撮像素子を用い、一次元のラインセンサを用いたフラットベット型のスキャナの解像度と同等の画像を得る構成が開示されている。すなわち、２次元撮像素子に距離入力手段を用いて、被写体の形状を算出し、幾何変換により、原稿情報をフラットなプレーン上に再現する手法を開示している。
【０００５】
さらに、特開平１１−１３６５６３号においては、自動焦点機構を有する結像光学系と、結像光学系を介して原稿画像を読み取る撮像素子とを有し、原稿画像の撮像面から撮像素子の中心まで（光軸）の距離を測定する測距センサと、原稿画像が設置されている面の水平面に対する角度情報を入力する原稿面角度入力手段と、測距センサの距離情報及び原稿面角度入力手段の角度情報により原稿の傾斜情報を検出して画像を読み取る構成を開示している。
【０００６】
また、特開平１１−１３６５６４号は、結像光学系と、結像光学系を介して原稿画像を読み取る撮像素子とを有し、原稿画像の撮像面の任意の３点から撮像素子までの各距離を測定する測距手段と、測距手段による３点の距離情報から撮像素子に対する原稿面の傾斜情報を検出して、撮像素子面に対する原稿面の傾斜状態を常時把握可能として高精度な画像を読み取る構成を開示している。
【０００７】
距離形状計測に関しては、特開平５−３３２７３７に開示されるような空間コード化法を用いた方法や、複数の撮像素子を備えたステレオ画像法などが一般的である。
【０００８】
【発明が解決しようとする課題】
手書き文字の入力、あるいは認識処理のためには、上述のような専用ペンと専用の入力装置からなるタブレット装置を用いるか、あるいは上述の距離計測手段を使用して原稿の傾斜状況を把握して画像を読み取った後、幾何変換（射影変換）により分析するといった手法があるが、上述の構成では、特別の距離測定手段を必要とし、装置が大掛かりになりコスト高になるという欠点がある。
【０００９】
本発明は、上述の問題点に鑑みてなされたものであり、簡易な構成で、距離計測を実行して、いわゆる実画像である輝度画像と、距離計測用の画像を並列して撮り込み、距離情報に基づく輝度画像分析により、入力文字の識別処理を実行する画像処理装置および画像処理方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明は上述の目的を達成するものであり、その第１の側面は、
パターンを投影する投光手段と、前記投光手段の光軸方向から輝度画像および投影パターン像を撮影する第１の撮像手段と、前記投光手段の光軸方向と異なる方向から前記投影パターン像を撮影する第２の撮像手段とを備え、前記第２の撮像手段の撮影した撮影パターンに基づいて第１の距離情報を生成する３次元画像撮像手段と、
前記第１の撮像手段により撮像された輝度画像を前記距離情報に基づいて幾何変換を実行する幾何変換手段と、
前記３次元画像撮像手段により時系列に撮り込まれるフレームデータの初期画像を初期フレームデータとして記憶する記憶手段と、
前記３次元画像撮像手段により時系列に撮り込まれるフレームデータ画像相互の比較処理を実行し、画像比較によって検出される加えられた情報が、書き加えられた情報であるか、書き加えられた情報でないノイズであるかを判断する処理を実行するフレームデータ比較手段と、
前記フレームデータ比較手段における前記初期フレームデータと、後続して撮り込まれるフレームデータとの比較結果に基づいて前記ノイズを消去した差分データのみを格納データとして抽出する画像処理手段と、
を有することを特徴とする画像処理装置にある。
【００１１】
さらに、本発明の画像処理装置の一実施態様において、前記投影パターンに対する第１の撮像手段による撮影パターンの変化量が所定値以上の領域について、該第１の撮像手段による撮影パターンに対応する新規コードを割り付け、前記新規コードに基づいて第２の撮像手段による撮影パターンから前記第１の距離情報を生成する構成を有することを特徴とする。
【００１２】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記３次元画像撮像手段により時系列に撮り込まれるフレームデータ画像相互の比較処理を実行するフレームデータ比較手段と、前記フレームデータ比較手段におけるフレームデータ画像相互の比較処理結果に基づいてフレームデータ画像からノイズデータ除去処理を実行する画像処理手段と、を有することを特徴とする。
【００１３】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記３次元画像撮像手段により時系列に撮り込まれるフレームデータ画像相互の比較処理を実行するフレームデータ比較手段と、前記フレームデータ比較手段におけるフレームデータ画像相互の比較処理結果に基づいてフレームデータ画像の画像位置変更処理を実行する画像処理手段と、を有することを特徴とする。
【００１５】
さらに、本発明の画像処理装置の一実施態様において、前記投光手段は不可視領域の光を発生する光源を有し、前記第１の撮像手段および前記第２の撮像手段は不可視領域の光を透過するフィルターおよび不可視領域の光を遮断するフィルターを有し、パターン投影画像と、輝度画像とを並列に撮り込む構成を有することを特徴とする。
【００１６】
さらに、本発明の画像処理装置の一実施態様において、前記投光手段による投影パターンに対する第１の撮像手段による撮影パターンの変化量が所定値未満の領域について、第１の撮像手段および第２の撮像手段より得られた各輝度情報の対応づけにより第２の距離情報を生成する構成としたことを特徴とする。
【００１７】
さらに、本発明の画像処理装置の一実施態様において、前記第２の撮像手段は、前記測定対象を異なる角度で撮像する複数の撮像手段によって構成され、該複数の第２の撮像手段の各々の撮影した投影パターンに基づいて距離情報を生成する構成としたことを特徴とする。
【００１８】
さらに、本発明の第２の側面は、
投光手段によりパターンを投影するパターン投光ステップと、
前記投光手段の光軸方向から第１の撮像手段により輝度画像および投影パターン像を撮影し、前記投光手段の光軸方向と異なる方向から第２の撮像手段により前記投影パターン像を撮影する撮像ステップと、
前記第２の撮像手段の撮影した撮影パターンに基づいて第１の距離情報を生成する距離情報生成ステップと、
前記第１の撮像手段により撮像された輝度画像を前記距離情報に基づいて幾何変換を実行する幾何変換ステップと、
前記撮像ステップにおいて時系列に撮り込まれるフレームデータの初期画像を初期フレームデータとして記憶手段に記憶する記憶ステップと、
前記撮像ステップにおいて時系列に撮り込まれるフレームデータ画像相互の比較処理を実行し、画像比較によって検出される加えられた情報が、書き加えられた情報であるか、書き加えられた情報でないノイズであるかを判断する処理を実行するフレームデータ比較ステップと、
前記フレームデータ比較ステップにおける前記初期フレームデータと、後続して撮り込まれるフレームデータとの比較結果に基づいて前記ノイズを消去した差分データのみを格納データとして抽出する画像処理ステップと、
を有することを特徴とする画像処理方法にある。
【００１９】
さらに、本発明の画像処理方法の一実施態様において、前記距離情報生成ステップは、前記投影パターンに対する第１の撮像手段による撮影パターンの変化量が所定値以上の領域について、該第１の撮像手段による撮影パターンに対応する新規コードを割り付け、前記新規コードに基づいて第２の撮像手段による撮影パターンから前記第１の距離情報を生成するステップを含むことを特徴とする。
【００２０】
さらに、本発明の画像処理方法の一実施態様において、前記撮像ステップにおいて時系列に撮り込まれるフレームデータ画像相互の比較処理を実行するフレームデータ比較ステップと、前記フレームデータ比較ステップにおけるフレームデータ画像相互の比較処理結果に基づいてフレームデータ画像からノイズデータ除去処理を実行する画像処理ステップと、を有することを特徴とする。
【００２１】
さらに、本発明の画像処理方法の一実施態様において、前記撮像ステップにおいて時系列に撮り込まれるフレームデータ画像相互の比較処理を実行するフレームデータ比較ステップと、前記フレームデータ比較ステップにおけるフレームデータ画像相互の比較処理結果に基づいてフレームデータ画像の画像位置変更処理を実行する画像処理ステップと、を有することを特徴とする。
【００２３】
さらに、本発明の画像処理方法の一実施態様において、前記パターン投光ステップは、前記光源を赤外光または紫外光を用いた不可視領域の光源として、パターン光を不可視領域光によって形成するステップであり、前記撮像ステップは、パターン投影画像と、輝度画像とを並列に撮り込むステップであることを特徴とする。
【００２４】
さらに、本発明の画像処理方法の一実施態様において、前記投光手段による投影パターンに対する第１の撮像手段による撮影パターンの変化量が所定値未満の領域について、第１の撮像手段および第２の撮像手段より得られた各輝度情報の対応づけにより第２の距離情報を生成するステップを有することを特徴とする。
【００２５】
さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法において、さらに、前記第２の撮像手段は、前記測定対象を異なる角度で撮像する複数の撮像手段によって構成され、該複数の第２の撮像手段の各々の撮影した投影パターンに基づいて距離情報を生成するステップを有することを特徴とする。
【００２６】
さらに、本発明の第３の側面は、
画像保持媒体に光を投光する投光手段と、
前記投光手段によって投光された前記画像保持媒体を撮影する撮像手段と、
前記撮像手段によって撮影された画像に基づいて輝度画像を取得する輝度画像取得手段と、
前記撮影された光から距離情報を取得する距離情報取得手段と、
前記距離情報取得手段において取得された距離情報に基づき前記輝度画像を幾何変換する幾何変換手段と、
前記幾何変換手段において幾何変換された輝度画像と、予め取得済みの輝度画像との画像比較処理を実行し、画像比較処理によって検出される加えられた情報が、書き加えられた情報であるか、書き加えられた情報でないノイズであるかを判断する処理を実行し、前記ノイズを消去した差分データを抽出する画像抽出手段と、
を有することを特徴とする画像処理装置にある。
【００２７】
さらに、本発明の画像処理装置の一実施態様において、前記画像保持媒体は、原稿、ホワイトボード、黒板、スクリーン、壁、またはスクリーン投影用シートのいずれかであることを特徴とする。
【００２８】
さらに、本発明の画像処理装置の一実施態様において、前記画像抽出手段において、処理対象となる予め取得済みの輝度画像は、前記幾何変換手段から先行して入力した先行フレーム画像であることを特徴とする。
【００２９】
さらに、本発明の画像処理装置の一実施態様において、前記画像抽出手段において、処理対象となる予め取得済みの輝度画像は、記憶手段に予め記憶された画像データであることを特徴とする。
【００３０】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、複数の帳票フォーマットデータを格納した帳票データベースと、前記幾何変換手段において幾何変換された輝度画像と、前記帳票データベースに格納されたフォーマット画像との照合処理を実行する帳票識別手段とを有し、前記画像抽出手段は、前記幾何変換手段において幾何変換された輝度画像と、前記帳票データベースに格納されたフォーマット画像との差異を抽出する処理を実行する構成であることを特徴とする。
【００３１】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記画像抽出手段の抽出した文字データを読み取り、コード値として置き換え可能な文字データに変換する文字変換処理構成を有することを特徴とする。
【００３２】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、登録ユーザによる筆跡履歴データを格納した認証情報データベースと、前記幾何変換手段において幾何変換された輝度画像を入力し、該入力画像と前記認証情報データベースに格納された筆跡履歴データとの照合処理を実行する認証処理手段と、を有することを特徴とする。
【００３３】
さらに、本発明の画像処理装置の一実施態様において、前記認証情報データベースには、登録ユーザの筆跡履歴データと署名形状データとが格納され、前記認証処理手段は、前記幾何変換手段において幾何変換された輝度画像を入力し、該入力画像と前記認証情報データベースに格納された筆跡履歴データとの照合処理を実行するとともに、署名形状データとの照合処理を実行する構成であることを特徴とする。
【００３４】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記幾何変換手段において距離情報に基づき前記輝度画像を幾何変換した画像を表示する表示手段を有することを特徴とする。
【００３５】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置において、画像保持媒体と前記撮像手段との距離が固定され、前記距離情報取得手段の取得した距離情報を格納する記憶手段を有し、前記幾何変換手段は前記記憶手段に記憶された距離情報に基づき前記輝度画像を幾何変換する構成であることを特徴とする。
【００３６】
さらに、本発明の第４の側面は、
画像保持媒体に光を投光する投光ステップと、
前記投光された前記画像保持媒体を撮影する撮像ステップと、
前記撮像ステップにおいて撮影された画像に基づいて輝度画像を取得する輝度画像取得ステップと、
前記撮影された光から距離情報を取得する距離情報取得ステップと、
前記距離情報取得ステップにおいて取得された距離情報に基づき前記輝度画像を幾何変換する幾何変換ステップと、
前記幾何変換ステップにおいて幾何変換された輝度画像と、予め取得済みの輝度画像との画像比較処理を実行し、画像比較処理によって検出される加えられた情報が、書き加えられた情報であるか、書き加えられた情報でないノイズであるかを判断する処理を実行し、前記ノイズを消去した差分データを抽出する画像抽出ステップと、
を有することを特徴とする画像処理方法にある。
【００３７】
さらに、本発明の画像処理方法の一実施態様において、前記画像保持媒体は、原稿、ホワイトボード、黒板、スクリーン、壁、またはスクリーン投影用シートのいずれかであることを特徴とする。
【００３８】
さらに、本発明の画像処理方法の一実施態様において、前記画像抽出ステップにおいて、処理対象となる予め取得済みの輝度画像は、前記幾何変換手段から先行して入力した先行フレーム画像であることを特徴とする。
【００３９】
さらに、本発明の画像処理方法の一実施態様において、前記画像抽出ステップにおいて、処理対象となる予め取得済みの輝度画像は、記憶手段に予め記憶された画像データであることを特徴とする。
【００４０】
さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法は、さらに、前記幾何変換ステップにおいて幾何変換された輝度画像と、複数の帳票フォーマットデータを格納した帳票データベースに格納されたフォーマット画像との照合処理を実行する帳票識別ステップを有し、前記画像抽出ステップは、前記幾何変換ステップにおいて幾何変換された輝度画像と、複数の帳票フォーマットデータを格納した帳票データベースに格納されたフォーマット画像との差異を抽出する処理を実行することを特徴とする。
【００４１】
さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法は、さらに、さらに、前記画像抽出ステップにおいて抽出した文字データを読み取り、コード値として置き換え可能な文字データに変換する文字変換処理ステップ、を有することを特徴とする。
【００４２】
さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法は、さらに、前記幾何変換ステップにおいて幾何変換された輝度画像を入力し、該入力画像と登録ユーザによる筆跡履歴データを格納した認証情報データベースに格納された筆跡履歴データとの照合処理を実行する認証処理ステップ、を有することを特徴とする。
【００４３】
さらに、本発明の画像処理方法の一実施態様において、前記認証情報データベースには、登録ユーザの筆跡履歴データと署名形状データとが格納され、前記認証処理ステップは、前記幾何変換ステップにおいて幾何変換された輝度画像を入力し、該入力画像と前記認証情報データベースに格納された筆跡履歴データとの照合処理を実行するとともに、署名形状データとの照合処理を実行することを特徴とする。
【００４４】
さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法は、さらに、前記幾何変換ステップにおいて距離情報に基づき前記輝度画像を幾何変換した画像を表示する表示ステップを有することを特徴とする。
【００４５】
さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法において、画像保持媒体と前記撮像手段との距離が固定され、前記距離情報取得手段の取得した距離情報を格納する記憶ステップを有し、前記幾何変換ステップは前記記憶ステップにおいて記憶された距離情報に基づき前記輝度画像を幾何変換することを特徴とする。
【００４６】
さらに、本発明の第５の側面は、
画像処理をコンピュータ・システム上で実行せしめるプログラムであって、前記プログラムは、
画像保持媒体に光を投光する投光ステップと、
前記投光された前記画像保持媒体を撮影する撮像ステップと、
前記撮像ステップにおいて撮影された画像に基づいて輝度画像を取得する輝度画像取得ステップと、
前記撮影された光から距離情報を取得する距離情報取得ステップと、
前記距離情報取得ステップにおいて取得された距離情報に基づき前記輝度画像を幾何変換する幾何変換ステップと、
前記幾何変換ステップにおいて幾何変換された輝度画像と、予め取得済みの輝度画像との画像比較処理を実行し、画像比較処理によって検出される加えられた情報が、書き加えられた情報であるか、書き加えられた情報でないノイズであるかを判断する処理を実行し、前記ノイズを消去した差分データを抽出する画像抽出ステップと、
を有することを特徴とするプログラムにある。
【００４７】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供されるコンピュータ・プログラムである。
【００４８】
このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。コンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の他の側面と同様の作用効果を得ることができるのである。
【００４９】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００５０】
【発明の実施の形態】
以下、図を用いて本発明の画像処理装置および画像処理方法の実施の形態を詳しく説明する。
【００５１】
本発明の画像処理装置は、異なる方向から撮影した画像を用いて撮影被写体の距離情報を取得し、取得した距離情報に基づいて被写体の距離情報を求め、求めた距離情報に基づいて撮影画像としての輝度画像により画像内の文字等の読み取りを実行するものである。
【００５２】
距離情報としての３次元形状を取得する手法には、アクティブ手法（Active vision）とパッシブ手法（Passive vision）がある。アクティブ手法は、（1）レーザ光や超音波等を発して、対象物からの反射光量や到達時間を計測し、奥行き情報を抽出するレーザー手法や、（2）スリット光などの特殊なパターン光源を用いて、対象表面パターンの幾何学的変形等の画像情報より対象形状を推定するパターン投影方法や、(3)光学的処理によってモアレ縞により等高線を形成させて、３次元情報を得る方法などがある。一方、パッシブ手法は、対象物の見え方、光源、照明、影情報等に関する知識を利用して、一枚の画像から３次元情報を推定する単眼立体視、三角測量原理で各画素の奥行き情報を推定する二眼立体視等がある。
【００５３】
一般的にアクティブ手法のほうが計測精度は高いが、投光手段の限界などにより、測定できるレンジが小さい場合が多い。一方、パッシブ手法は汎用的であり、対象に対する制約が少ない。本発明は、このアクティブ手法の３次元計測装置であるパターン投影法に関するものである。パターン投影法では、対象とする物体に基準となるパターン光を投影し、基準となるパターン光が投影された方向とは異なる方向から撮影を行う。撮影されたパターンは、物体の形状によって変形を受けたものとなる。観測された変形パターンと投影したパターンとの対応づけを行うことで、物体の3次元計測を行える。パターン投影法では、変形パターンと投影したパターンの対応づけにおいていかに誤対応を少なくし、かつ簡便に行うかが課題となる。そこで、様々なパターン投影の手法(空間パターンコード化、モアレ、色符号化)が提案されている。
【００５４】
代表的な空間コード化の一例は、例えばレーザ光源とレーザ光をスリット形に整形するレンズ系と、整形されたレーザ光を対象物に走査して照射するスキャンニング装置と対象物からの反射光を検出するカメラとこれらを制御する装置からなる。スキャンニング装置から走査されるレーザ光によって対象物上に、レーザ光が照射された部分と照射されていない部分とで縞模様が形成される。レーザ光の照射を異なる複数のパターンによって行うことで対象物上はＮ個の識別可能な部分に分割される。対象物を異なる位置からカメラで撮影した画像上の各画素が分割されたどの部分に含まれるかを判別することで対象物の形状を算出できる。
【００５５】
解像度を高くする為には複数回のレーザによるスキャンを行い、複数回のカメラによる撮影が必要となる。例えば、画面を２５６の領域に分割する為には8回の撮影が必要となる。そのため動きの早い物体の撮影は困難となり、更にスキャンを行う間は撮影系を確実に固定しておく必要があるので装置自体は簡便となっても手軽に撮影を行う事は難しい。
【００５６】
スリットの復元を容易に行い、更に1回でコード化されたパターンを投影する手段として空間パターンコード化法がある。これは、３値以上の濃淡、又は３色以上の色、又は濃淡と色の組み合わせによって３種類以上の階調領域を有し、該階調領域の境界線の交点において少なくとも３種類の階調領域が互いに接しているように配置した多値格子板パターンを具備し、該パターンを被測定対象物に投影して生じる投影像の交点に該交点で接する階調の種類と順序に応じた主コードを付与し、該主コードを、または交点の主コードとその周囲交点の主コードとを組み合わせた組み合わせコードを、交点の識別用の特徴コードとして付与する。しかし、この方式では撮影対象によってはコード化が崩れてしまい正しくコードの対応づけができなくなる場合がある。
【００５７】
本出願と同一出願人に係る特願平１０−１９１０６３号、(特開２０００−９４４２)、特願平１０−２４７７９６(特開２０００−６５５４２)では投光されたパターンをフィードバックし新たなコードを生成することで対象物に依存しない３次元画像撮影装置を提案した。この３次元画像撮影装置は、投光パターンを複数の強度や複数の波長によって符号化されたものを投影して実現する。その際に、投光パターンが被写体の輝度情報、素材などの影響によって変化し、３次元形状を算出する際に、エラーとなって適切な３次元形状が計測できない。そのために、上記３次元撮像装置は、投光素子と同光軸に配置をし、被写体情報による投光パターンの変化分をモニタし、再符号化を実施し、３次元形状を計測する。
【００５８】
まず、再コード化処理を用いた距離データの取得原理について説明する。再コード化処理を用いた距離データの取得を実行する３次元画像撮像装置の構成を表すブロック図を図１に示す。図２に光源と撮像素子の位置関係を示す。
【００５９】
図２に示すように、３次元形状測定装置は、３台のカメラ１０１〜１０３および投光器１０４を備える。各カメラの距離関係が揃うように、図示の距離Ｉ1、Ｉ2、Ｉ3は等しくされている。カメラ３，１０３と投光器１０４は、ハーフミラー１０５を用いて光軸が一致するように配置される。カメラ１，１０１、カメラ２，１０２は、カメラ３，１０３と投光器１０４の両側に、それらと光軸が異なるように配置される。中央の光軸と両側の光軸との距離が基線長Ｌである。
【００６０】
投光器１０４は、光源１０６と、マスクパターン１０７と、強度パターン１０８と、プリズム１０９とを有する。ここで光源１０６は、赤外もしくは紫外光を用いた不可視領域の光源を用いることができる。この場合、各カメラは図３に示すように構成される。すなわち、入射してきた光３１０は、プリズム３０１で２方向に分割され、一方は不可視領域（赤外あるいは紫外）透過フィルター３０２を通って撮像装置（例えばＣＣＤカメラ）３０３に入射し、他方は不可視領域（赤外と紫外）遮断フィルター３０４を通って撮像装置３０５に入射する。
【００６１】
また図２に示す光源１０６は、可視領域あるいは不可視領域に限定せず、撮像可能な波長帯の光源を用いてもよい。この場合、カメラ３，１０３においては、プログレッシブスキャンタイプのＣＣＤカメラを用い、カメラ１，１０１、カメラ２，１０２に関しては、特に構成はこだわらない。ただし、カメラ３，１０３との対応を考慮すれば、同じ構成のＣＣＤカメラが望ましい。光源１０６からパターンが投影され、３台のカメラ１〜３（１０１〜１０３）が同時に撮影を行う。そして各カメラは、フィルター３０４，３０５（図３参照）を通過した光を撮像装置３０３，３０５で得ることにより、画像の一括取得を行う。
【００６２】
図１を用いて３次元形状測定装置の構成を説明する。図示のように、カメラ１，１０１は、撮影して得た輝度情報を輝度値メモリ１２１に記憶し、撮影パターンをパターン画像メモリ１２２に記憶する。カメラ２，１０２は、同様に、輝度情報を輝度値メモリ１２３に記憶し、撮影パターンをパターン画像メモリ１２４に記憶する。カメラ３，１０３は、輝度情報を輝度値メモリ１２５に記憶し、撮影パターンをパターン画像メモリ１２６に記憶する。投光器１０４は、事前に作成したコード化されたパターンを後に参照する為に、各スリットを正方格子上のセルに分割してフレームメモリ１２７に格納している。
【００６３】
この記憶保持された撮影パターンおよび輝度情報を用いて、次のようにして３次元画像を得る。以下の操作は、カメラ１，１０１とカメラ３，１０３の組み合わせ、カメラ２，１０２とカメラ３，１０３の組み合わせの双方に共通なので、ここではカメラ１，１０１とカメラ３，１０３の組み合わせを例にとって説明する。
【００６４】
図１において、領域分割部１２８は、カメラ３，１０３で撮影された撮影パターンの領域分割を行う。そして、隣り合うスリットパターン間の強度差が閾値以下である領域については投光器からの光が届いてない領域１として抽出し、スリットパターン間の強度差が閾値以上である領域については領域２として抽出する。再コード化部１２９は、抽出された領域２について、パターン画像メモリ１２６に記憶された撮影パターンとフレームメモリ１２７に格納された投影パターンを用いて再コード化を行う。
【００６５】
図４は、再コード化を行う際のフローチャートである。まず、各スリットパターンをスリット幅毎に縦方向に分割し（ステップ１００１）、正方形のセルを生成する。生成された各セルについて強度の平均値をとり、平均値を各セルの強度とする（ステップ１００２）。画像の中心から順に、投影パターン及び撮影パターンの対応する各セル間の強度を比較し、対象物の反射率、対象物までの距離などの要因によってパターンが変化したためにセル間の強度が閾値以上異なるかどうかを判断する（ステップ１００３）。閾値以上異ならない場合は、撮影されたすべてのセルについて再コード化を終了する（ステップ１００７）。
【００６６】
閾値以上異なる場合は、新たな強度のセルかどうか判断する（ステップ１００４）。そして、新たな強度のセルのときは、新たなコードの生成、割り付けを行う（ステップ１００５）。また、新たな強度のセルでないときは、他に出現している部位と識別可能とするスリットパターンの並びを用いてコード化する（ステップ１００６）。これで、再コード化を終了する（ステップ１００７）。
【００６７】
図５はスリットパターンのコード化の例を示すもので、同図（ａ）はスリットの並びによってコード化された投影パターンであり、強度としてそれぞれ３（強）、２（中）、１（弱）が割り当てられている。同図（ｂ）においては、左から３つめのセルで強度が変化して新たなコードが出現したので、新たに０というコードを割り当てている。同図（ｃ）においては、左から３つめ上から２つめのセルに既存のコードが出現しているので、セルの並びから新たなコードとして、縦の並びを［２３２］、横の並びを［１３１］という具合に再コード化する。この再コード化は、対象の形状が変化に富む部位には２次元パターンなどの複雑なパターンを投光し、変化の少ない部位には簡単なパターンを投光しているのに等しい。この過程を繰り返し、全てのセルに対して一意なコードを割り付けることで再コード化を行う。
【００６８】
図６は、カメラ６０１〜６０３および投光器６０４を用いて、壁６０５の前に配置された板６０６にコード化されたパターンを投光する例を示す。ここでコード化されたパターンは、図７に示すスリットパターンである。このとき、カメラ６０１、カメラ６０２で得られる画像は、図８及び図９に示すように、それぞれ板６０６の影となる領域８０１、９０１が生ずる。本例では、板６０６の表面には新たにコード化されたパターンとして、図１０に示すようなスリットパターンが得られる。
【００６９】
次に図１に戻って説明する。カメラ１，１０１側のコード復号部１３０は、パターン画像メモリ１２２から投影パターンを抽出し、上述と同様にしてセルに分割する。そして、先に再コード化部１２９で再コード化されたコードを用いて各セルのコードを検出し、この検出したコードに基づいて光源からのスリット角θを算出する。図１１は空間コード化における距離の算出方法を示す図であり、各画素の属するセルのスリット角θとカメラ１で撮影された画像上のｘ座標とカメラパラメータである焦点距離Ｆと基線長Ｌとから、次の（数１）によって距離Ｚを算出する。
【００７０】
【数１】
Ｚ＝（Ｆ×Ｌ）／（ｘ＋Ｆ×ｔａｎθ） （数１）
【００７１】
この距離Ｚの算出は、カメラ２，１０２側のコード復号部１３１においても、同様に行われる。また、上述の領域１については次のようにして距離を算出する。領域１では、投光されたパターンによるパターン検出は行うことができないので、対応点探索部１３２において、カメラ１〜３の輝度値メモリ１２１、１２３、１２５から読み出された輝度情報を用いて視差を検出し、これに基づいて距離を算出する。領域１を除く領域に対しては、前述の操作により距離が算出されているので、領域１の距離の最小値が得られ、また対応づけ可能な画素も限定される。これらの制限を用いて、画素間の対応づけを行い視差ｄを検出し、カメラパラメータである画素サイズλを用いて、次の（数２）によって距離Ｚを算出する。
【００７２】
【数２】
Ｚ＝（Ｌ×Ｆ）／（λ×ｄ） （数２）
【００７３】
前述の手法でカメラ３，１０３とカメラ１，１０１の組み合わせによって得られた距離情報では、図８に示す板の影となる領域８０１の距離情報が検出できない。一方、カメラ３，１０３とカメラ２，１０２の組み合わせによって得られた距離情報では、図９に示す板の影となる領域９０１の距離情報が検出できない。しかし、図８に示す板の影となる領域８０１の距離情報が算出可能である。従って、図１の距離情報統合部１３３において、カメラ３，１０３とカメラ１，１０１の組で算出された距離情報およびカメラ３，１０３とカメラ２，１０２で算出された距離情報から、カメラ３の画像（図１２）のすべての画素に対する距離情報を取得する。以上の操作によって得られた距離情報を、例えばカメラ３の輝度画像に対応づけて３次元画像メモリに記憶することで３次元画像撮像を行う。
【００７４】
上述したような構成により、距離データを取得することが可能となる。本発明の画像処理装置は、上記手法によって取得される距離情報に基づいて撮影画像としての輝度画像により画像内の文字等の読み取りを実行するものである。
【００７５】
以下、距離情報の取得、輝度画像の取得により画像内の文字等の読み取りを実行する構成を応用した画像処理装置構成についての複数の実施例について説明する。
【００７６】
［実施例１］
まず、画像読み取りを実行する実施例１の構成について説明する。図１３は本実施例１に係る画像処理装置のブロック図を示す図である。本実施例の画像処理装置は、３次元画像撮像装置１３００、幾何変換手段１３０３、画像メモリＡ１３０４、フレームデータ比較手段１３０５、画像処理手段１３０６、画像メモリＢ１３０７を有する。
【００７７】
３次元画像撮像装置１３００は、上述した図１の構成を持つものであり、例えば再コード化による高精度な距離情報を生成する構成を持つ。上述したように、３次元画像撮像装置１３００は、例えばパターン画像から距離情報を取得する距離情報取得部１３０２と、パターンを除いた実画像としての輝度画像を取得する輝度情報取得部１３０１を有する。なお、以下で説明する各実施例においての距離情報取得処理構成は、パターン光を投影した再コード化法による距離情報取得構成を有するものに限らず、他の距離情報取得構成を適用してもよい。
【００７８】
幾何変換手段１３０３は、距離情報取得部１３０２によって取得される距離データに基づいて、輝度情報取得部１３０１の取得した輝度画像の幾何変換を行なう。幾何変換は、撮影対象の画像保持媒体としての原稿面の例えば複数の点、例えば端点位置を識別して、識別された複数点を撮像手段であるカメラから等距離になるような位置に補正する処理、すなわち、原稿を正面から撮影した画像状態に変換する処理を実行する。
【００７９】
幾何変換手段１３０３によって変換された輝度画像は、画像メモリＡ，１３０４に時系列のフレームデータとして順次格納される。さらに、フレームデータ比較手段１３０５は、画像メモリＡ，１３０４に格納されたフレームデータの比較処理を実行し、例えば画像の差分データをとる。
【００８０】
画像処理部１３０６は、フレームデータ比較手段１３０５によるフレームデータの比較処理データから、新たに付加されているデータのみを取り出す処理を実行したり、複数フレームに渡るデータからノイズと判断されるデータを取り除く処理等を実行し、不要部分を削除したデータを画像メモリＢ，１３０７に格納する。
【００８１】
画像メモリＢ，１３０７に格納されたデータは、必要に応じて、表示手段としてのモニタ、スクリーン、ホワイトボード、プリンタ、記憶手段等に出力される。
【００８２】
画像処理部１３０６と、フレームデータ比較手段１３０５による処理について説明する。ユーザが手書き入力を開始する意志を、パーソナルコンピュータなどにインプットする。次に、手書き入力する範囲を決定し、読み込みを開始する。この際、画像保持媒体としての原稿が白紙の場合にはなんの情報も書かれていない原稿情報をオリジナルデータとして画像メモリＡ，１３０４に初期フレームデータとして記憶する。また、表などのフォームデータであれば、まず、その画像の読み込みを行い、これを初期フレームデータとする。
【００８３】
ユーザが、ペンなどで、３次元画像撮像装置１３００によって撮影された状態において、情報を書き込むと、３次元画像撮像装置１３００は、画像を幾何変換し、画像メモリＡ，１３０４に格納する。フレームデータ比較手段１３０５は、格納されたデータの前後のフレームを比較し、差分データを取得する画像抽出手段として機能する。画像処理部１３０６は、初期フレームデータ上に新規に加えられた情報を画像メモリＢ，１３０７に格納する。
【００８４】
すなわち、事前に登録されている初期フレームデータ画像に、手書き等により情報を付加した物である場合は、事前に登録してある画像を指定し、その後、指定した画像を読み込み、画像の差分をとり、新たに付加されているデータを、新しいデータとして読み込む。
【００８５】
ユーザが、ペンなどで、３次元画像撮像装置１３００によって撮影された状態において、情報を書き込むと、３次元画像撮像装置１３００は、画像を幾何変換し、画像メモリＡ，１３０４に格納する。フレームデータ比較手段１３０５は、格納されたデータの前後のフレームを比較し、差分データを取得する。画像処理手段１３０６は、新規に加えられた情報のみを画像メモリＢ，１３０７に格納する。
【００８６】
また、フレームデータ比較手段１３０５は、何フレームかに渡って、画像を比較し、加えられた情報が、ペンなどによって新たに書き加えられた情報か、あるいは、ペンやユーザーの手のような書き加えられていない、いわばノイズであるかを判断する処理を実行する。ノイズであると判断された場合は、画像処理部１３０６は、その情報を消去し、書き加えられたデータのみデータとして画像メモリＢ，１３０７に格納する。ノイズデータとしての判断は、例えば初期フレームデータには表れないデータが初期フレームデータ以外のフレームデータに継続して表れるデータ、例えばペン、ユーザの手をノイズとして判定することによって実行される。
【００８７】
図１４に上述のノイズ情報除去処理の具体例を示す。図１４（ａ）は、紙等の原稿面に手書きにより文字を書き込んでいる状態を３次元画像撮像装置１３００によって撮り込み、画像メモリＡ，１３０４に格納された１フレーム画像データである。フレームデータ比較手段１３０５は、これらの画像データからペン、ユーザの手をノイズとして判定し、画像処理手段１３０６は、ノイズ処理を実行し、図１４（ｂ）に示すデータが画像メモリＢ，１３０７に格納される。
【００８８】
また、フレームデータ比較手段１３０５は、例えば原稿が移動した場合等についても検出し、原稿の位置データの移動に基づく差分データに基づいて、画像処理手段１３０６が画像回転等の画像位置修正処理を実行し前フレームデータと同一の角度、サイズでの原稿データを画像メモリＢ，１３０６に格納する。具体的には図１５（ａ）に示すような位置に原稿１５０１が置かれて、文字が書き込まれていた後、図１５（ｂ）のような位置に原稿が移動、回転した場合には、フレームデータ比較手段１３０５のフレームデータ比較処理により、原稿位置の移動が識別されて、画像処理手段１３０６が位置修正処理を実行し、例えばユーザによる手書き文字のみを画像メモリＢ，１３０７に格納することができる。
【００８９】
図１６に本発明の画像処理装置におけるデータ読み取り、データ格納処理の処理フローを示す。
【００９０】
ステップＳ１６０１において、読み取り範囲を指定する。これは、例えば、図１３示す３次元画像撮像装置１３００において撮影され、画像メモリＡ，１３０５に格納されるデータを画像メモリＢ１３０６を介してモニタに表示し、表示画像上において、読み取り範囲を任意に指定することができる。読み取り範囲として指定された領域の画像を初期フレームデータとして画像メモリＡ,画像メモリＢに格納し、フレームデータ比較用データ、格納データとする。
【００９１】
ステップＳ１６０２でデータの読み取りが開始され、ステップＳ１６０３において、新規撮り込み開始データであるかを判定し、新規撮り込み開始データでない場合は、ステップＳ１６０４において、蓄積画像データとの比較処理、すなわち、フレームデータ比較手段１３０５による画像データ比較が実行され、さらに、図１５を用いて説明した位置修正処理が実行され、その後、ステップＳ１６０５において、付加情報の抽出、読み込みが実行される。
【００９２】
ステップＳ１６０６，Ｓ１６０７では、フレームデータ比較手段１３０５は、何フレームかに渡って、画像を比較し、加えられた情報が、ペンなどによって新たに書き加えられた情報か、あるいは、ペンやユーザーの手のような書き加えられていない、いわばノイズであるかを判断する処理を実行する。ノイズであると判断された場合は、ステップＳ１６０８において、画像処理手段１３０６は、そのノイズ情報を消去する。
【００９３】
ステップＳ１６０９では、必要なデータのみが画像メモリＢ，１３０７に格納され、ステップＳ１６１０でデータ入力が終了したか否かを判定し、終了していない場合、すなわち新たな画像フレームが入力されている場合は、ステップＳ１６０３以降の処理を繰り返す。
【００９４】
本発明の画像処理装置のフレームデータ比較手段１３０５および画像処理手段１３０６の処理においては、例えば図１７に示すような処理が可能となる。図１７（ａ）に示すような文字「あい」の入力に次いで、図１７（ｂ）に示すように文字を囲むサークルが書き込まれたとき、画像メモリＡ１３０４に時系列にフレームデータを格納させ、異なるフレームデータの比較、および差分データの抽出により、図１７（ｃ）に示すように文字を除くサークルのみを抽出することが可能となる。
【００９５】
また、図１７（ｄ）のように原稿部を含む文字データから、図１７（ｅ）のように原稿部を除いた文字データのみを抽出することも可能となる。これは、３次元画像撮像装置により時系列に撮り込まれるフレームデータの初期画像を初期フレームデータとして記憶し、フレームデータ比較手段における初期フレームデータと、後続して撮り込まれるフレームデータとの比較結果に基づいて差分データのみを格納データとして抽出する処理によって実現される。
【００９６】
図１８，１９に本発明の画像処理装置の構成例を示す。図１８は、画像撮像部としての３次元画像撮像装置１８０２と、画像処理を実行する画像処理部としてのパーソナルコンピュータ（ＰＣ）１８０３を別体として構成し、双方をケーブルで接続した構成である。原稿１８０１に記録される文字等のデータは、３次元画像撮像装置１８０２によって輝度情報、パターン投影画像が取り込まれ、パーソナルコンピュータ（ＰＣ）１８０３によって画像処理がなされる。
【００９７】
また、図１９は、画像撮像部としての３次元画像撮像装置１９０２と、画像処理を実行する画像処理部としてのパーソナルコンピュータ（ＰＣ）１９０３を一体として構成した例である。原稿１９０１に記録される文字等のデータは、３次元画像撮像装置１９０２によって輝度情報、パターン投影画像が取り込まれ、パーソナルコンピュータ（ＰＣ）１９０３によって画像処理がなされる。なお、さらにコンパクトな携帯端末に撮像装置を組み込む構成としてもよい。
【００９８】
なお、本実施例１における距離情報の取得には、前述した再コード化法を適用することなく他の様々な手法によって距離情報を取得して取得した情報に基づいて処理を実行する構成としてもよい。再コード化法を適用しない手法の場合にはパターン光の投影を実行することは要請されない。
【００９９】
［実施例２］
次に、画像読み取りを実行する画像処理装置の実施例２の構成について説明する。本実施例２の構成を図２０に示す。図２０の構成は、先に説明した実施例１の構成に、帳票識別手段２００１と帳票データベース２００２とを付加した構成である。
【０１００】
３次元画像撮像装置１３００は、上述した図１の構成を持つものであり、例えば再コード化、あるいは他の既存の手法によって距離情報を生成する構成を持つ。上述した実施例１と同様、３次元画像撮像装置１３００は、例えばパターン画像から距離情報を取得する距離情報取得部１３０２と、実画像としての輝度画像を取得する輝度情報取得部１３０１を有する。
【０１０１】
幾何変換手段１３０３は、距離情報取得部１３０２によって取得される距離データに基づいて、輝度情報取得部１３０１の取得した輝度画像の幾何変換を行なう。幾何変換は、撮影対象の原稿面の例えば複数の点、例えば端点位置を識別して、識別された複数点を撮像手段であるカメラから等距離になるような位置に補正する処理、すなわち、原稿を正面から撮影した画像状態に変換する処理を実行する。
【０１０２】
幾何変換手段１３０３によって変換された輝度画像は、画像メモリＡ，１３０４に時系列のフレームデータとして順次格納される。さらに、フレームデータ比較手段１３０５は、画像メモリＡ，１３０４に格納されたフレームデータの比較処理を実行し、例えば画像の差分データをとる画像抽出手段として機能する。これらの処理は実施例１と同様である。
【０１０３】
実施例２においては、画像メモリＡ，１３０４に格納されるフレームデータを帳票識別手段２００１に出力する。帳票識別手段２００１は、入力画像と帳票データベース２００２の格納画像との比較処理を実行する。帳票データベース２００２には様々な帳票、例えば請求書、注文表、清算書などのフォーマットデータが格納され、画像メモリＡ，１３０４から入力される画像と比較を実行し、より一致度の高い帳票を選択する。画像メモリＡ，１３０４に格納されるフレームデータは、幾何変換手段１３０３によって原稿を正面から撮影した画像状態に変換されているので帳票識別手段２００１による比較処理は高精度に実行することができる。
【０１０４】
なお、画像データ自体を比較するのではなく、例えば帳票の一部にＩＤ、識別Ｎｏ、バーコード等の識別データを予め記録し、画像メモリＡ，１３０４に格納されるフレームデータから識別データを読み取り、読み取られた識別データに基づいて帳票データベース２００２から一致する帳票データを取得する構成としてもよい。この場合、帳票データベース２００２には、識別データと、帳票のフォーマットデータを対応付けて格納することが必要である。
【０１０５】
画像処理部１３０６は、帳票識別手段２００１によって識別された帳票のフォーマットデータを取得し、取得したフォーマットデータと、フレームデータ比較手段１３０５から入力されるフレームデータの比較処理データから、新たに付加されているデータ、すなわちユーザの書き込みデータを取り出す処理としての画像抽出処理を実行したり、複数フレームに渡るデータからノイズと判断されるデータを取り除く処理等を実行し、不要部分を削除したデータを画像メモリＢ，１３０７に格納する。
【０１０６】
画像メモリＢ，１３０７に格納されたデータは、必要に応じて、モニタ、プリンタ、記憶手段等に出力される。
【０１０７】
図２１に実施例２における書き込み用紙として適用可能な帳票の一例を示す。図２１に示す帳票は、様々な書き込み項目が決められた領域に設定された出張旅費請求書の例である。この出張旅費請求書も含め一般的な帳票は、紙などにプリントされている。ユーザーは、決められた枠の中に、自分の必要とする情報を書き込む。
【０１０８】
図２２に示すように、ユーザが帳票に書き込み作業を行おうとする場所、例えば、机上に帳票用紙をおき、帳票用紙のおかれた領域を例えば先に実施例１において説明した図１８、図１９同様の撮像構成を持つ画像読みとり装置で画像を読みとる。読みとった画像は、図２０の幾何変換手段１３０３において幾何変換処理がなされ、画像メモリＡ１３０４に格納される。
【０１０９】
画像メモリＡに格納された画像データは、帳票識別手段２００１に出力され、帳票データベース２００２の格納データとの照合処理が実行される。この照合処理は先にも説明したように画像データ同士の照合、あるいは識別データによる照合のいずれかの方法で実行される。照合処理の結果一致する帳票フォーマットが帳票データベース２００２から選択され、画像処理手段１３０６において、帳票データベースから提供されたフォーマットと、フレームデータ比較手段から出力されるフレームデータとの差分に基づいてユーザの書き込みデータの識別、抽出処理が実行される。
【０１１０】
画像処理手段１３０６は、新規に書き込まれた情報のみを画像メモリＢに出力する処理、あるいは帳票データベースから提供されたフォーマットと新規に書き込まれた情報とを併せた情報を出力する処理を選択的に実行できる。新規に書き込まれた情報のみを抽出したデータは、例えば図２３のようなデータとなる。
【０１１１】
さらに画像処理手段１３０６に、手書き文字を識別するＯＣＲ機能を備える構成とすることにより、手書き入力文字を識別して例えばテキストデータ等の文字データとして変換したデータを出力することも可能となる。この場合、画像処理手段１３０６は、帳票識別手段から入力した帳票フォーマットデータ上に変換文字データを書き込む処理を実行することにより、図２４に示すような清書されたデータの出力（表示、プリント、あるいはデータ転送など）を実行することが可能となる。
【０１１２】
また、画像処理手段１３０６において、帳票フォーマットの書き込み位置に応じたデータ識別処理を実行することにより、各書き込み位置毎のユーザ入力文字データをＯＣＲ機能での変換の後、データベースや表計算ソフトに取り込むことも可能になる。例えば図２５に示すような一定の項目のみを取り込んだ表を生成する処理が可能となる。
【０１１３】
例えば、保険の申し込み用紙などは、複数枚重なって用意され、カーボンコピーによって、複数枚に同じ情報をユーザが書き込む場合が多いが、通常は本人控えとして、一枚は控えに取り込み、他の用紙は、ＯＣＲなどの電算処理をするフォーム、販売店控えなどいくつかのフォームに分かれている。本実施例の手法によれば、記入した用紙は本人控えとしておき、上述の画像入力装置で取り込んだ画像を他の用途に使用することが出来る。
【０１１４】
［実施例３］
次に、画像読み取りを実行する画像処理装置の実施例３の構成について説明する。本実施例３の構成を図２６に示す。図２６の構成は、先に説明した実施例１の構成に、認証処理手段２６０１と認証情報データベース２６０２とを付加した構成である。
【０１１５】
本実施例３は、署名による個体認証をする際に適用する構成である。ユーザの署名を撮影し、書き込んだ署名情報の履歴に基づいて認証を行なう。また書き込み終わった署名の形状を記憶する。以上の、書き順、署名の形状を別途登録してある各々の個体のデータベースと比較して、個体認証を行うものである。
【０１１６】
図２６における３次元画像撮像装置１３００は、上述した図１の構成を持つものであり、例えば再コード化、あるいは他の既存の手法によって距離情報を生成する構成を持つ。上述した実施例１と同様、３次元画像撮像装置１３００は、例えばパターン画像から距離情報を取得する距離情報取得部１３０２と、実画像としての輝度画像を取得する輝度情報取得部１３０１を有する。
【０１１７】
幾何変換手段１３０３は、距離情報取得部１３０２によって取得される距離データに基づいて、輝度情報取得部１３０１の取得した輝度画像の幾何変換を行なう。幾何変換は、撮影対象の原稿面の例えば複数の点、例えば端点位置を識別して、識別された複数点を撮像手段であるカメラから等距離になるような位置に補正する処理、すなわち、原稿を正面から撮影した画像状態に変換する処理を実行する。
【０１１８】
幾何変換手段１３０３によって変換された輝度画像は、画像メモリＡ，１３０４に時系列のフレームデータとして順次格納される。さらに、フレームデータ比較手段１３０５は、画像メモリＡ，１３０４に格納されたフレームデータの比較処理を実行し、例えば画像の差分データをとる画像抽出手段として機能する。これらの処理は実施例１と同様である。
【０１１９】
実施例３においては、画像メモリＡ，１３０４に格納されるフレームデータを順次、認証処理手段２６０１に出力する。認証処理手段２６０１は、入力フレーム情報と、認証情報データベース２６０２に格納された画像との比較処理を実行する。認証情報データベース２６０２には、認証対象として登録されたユーザの署名データが格納されている。ユーザの署名データは、登録ユーザの実際の署名を撮影して取得されるデータであり、署名過程の各画像フレームデータを格納するとともに署名完了後の署名画像をユーザの識別子に対応させて格納したものである。
【０１２０】
認証処理手段２６０１は、画像メモリＡ，１３０４に格納されるフレームデータを順次受信し、認証情報データベース２６０２に格納された画像フレームに一致するものがあるか否かを判定する。なお、署名の前に予め識別ＩＤをユーザに入力させ、その識別ＩＤに対応するデータを認証情報データベース２６０２から取得してそのデータとの対比を行なう構成としてもよい。
【０１２１】
図２７に認証処理手段２６０１において実行される照合処理の具体例を示す。ここでは「山下」という署名を行なう場合について示している。登録されたユーザである山下さんの署名順序は図２７の左に示すフレームａ〜ｅの順に認証情報データベース２６０２に格納されている。なお、格納される画像フレームはフレームａ〜ｅの間にも多数存在する。
【０１２２】
認証処理手段２６０１は、画像メモリＡ，１３０４から受領する画像フレームデータをシーケンシャルに格納データと比較する。すべてが、格納データと一致すれば認証成立であり、格納データと異なるフレームが出現した場合には、認証が不成立となる。図２７の右側に示す認証不成立例１の画像が左側のフレームａ〜ｂ間に出現した場合には、筆跡順が登録ユーザとは異なることが明らかであり、登録ユーザ本人ではないと判定される。同様に認証不成立例２の画像が左側のフレームｂ〜ｄ間に出現した場合には、筆跡順が登録ユーザとは異なることが明らかであり、登録ユーザ本人ではないと判定される。同様に認証不成立例３の画像が左側のフレームｄ〜ｅ間に出現した場合には、筆跡順が登録ユーザとは異なることが明らかであり、登録ユーザ本人ではないと判定される。
【０１２３】
さらに、署名完了後の署名全体の形状データも認証情報データベース２６０２に格納され、認証処理手段２６０１は、署名完了後の画像を画像メモリＡ，１３０４から受領して、認証情報データベース２６０２に格納されたデータと比較しその照合を行なう。
【０１２４】
なお、上記説明においては、認証処理手段２６０１は、データを画像メモリＡ，１３０４から直接受領する構成として説明したが、フレームデータ比較手段１３０５において生成される前フレームとの差分データのみをフレームデータ比較手段１３０５から受領し、差分データに基づいて筆跡順序の照合を実行する構成としてもよい。
【０１２５】
［実施例４］
次に、画像読み取りを実行する画像処理装置の実施例４の構成について説明する。本実施例４の構成を図２８に示す。本実施例４は、プレゼンテーションや会議に使われるホワイトボードに書き込まれる文字等の情報を読み取る構成である。
【０１２６】
図２８において、画像保持媒体としてのホワイトボード２８０１には、マーカペン等の書き込み用具により文字、図形等がユーザによって書き込まれる。また、イレーザを使用して書き込まれた文字、図形等がユーザによって消去可能である。
【０１２７】
さらに、画像撮像部としての３次元画像撮像装置２８０２と、画像処理を実行する画像処理部としてのパーソナルコンピュータ（ＰＣ）２８０３を有する。３次元画像撮像装置２８０２とパーソナルコンピュータ（ＰＣ）２８０３は例えば通信ケーブルで接続され、データ転送可能な構成を持つ。ホワイトボード２８０１に記録される文字等のデータは、３次元画像撮像装置２８０２によって輝度情報、パターン投影画像が取り込まれ、パーソナルコンピュータ（ＰＣ）２８０３によって画像処理がなされる。
【０１２８】
３次元画像撮像装置２８０２およびパーソナルコンピュータ（ＰＣ）２８０３は、先の実施例１乃至３のいずれかの構成を持つ。すなわち、実施例１において説明した図１３、実施例２において説明した図２０、または実施例３において説明した図２６の構成を有する。
【０１２９】
３次元画像撮像装置２８０２は、実施例１他で説明した例えば図１３に示す距離情報を取得する距離情報取得部１３０１と、実画像としての輝度画像を取得する輝度情報取得部１３０２を有し、再コード化法、あるいはその他の手法による距離情報を生成する構成を持つ。
【０１３０】
パーソナルコンピュータ（ＰＣ）２８０３は、図１３の構成における幾何変換手段１３０３を有し、距離情報取得部１３０２によって取得される距離データに基づいて、輝度情報取得部１３０１の取得した輝度画像の幾何変換を行なう。幾何変換は、撮影対象のホワイトボード面の例えば複数の点、例えば端点位置を識別して、識別された複数点を撮像手段であるカメラから等距離になるような位置に補正する処理、すなわち、ホワイトボードを正面から撮影した画像状態に変換する処理を実行する。
【０１３１】
幾何変換手段によって変換された輝度画像は、パーソナルコンピュータ（ＰＣ）２８０３内に構成される図１３の画像メモリＡ，１３０４に時系列のフレームデータとして順次格納される。さらに、パーソナルコンピュータ（ＰＣ）２８０３内に構成されるフレームデータ比較手段１３０５は、画像メモリＡ，１３０４に格納されたフレームデータの比較処理を実行し、例えば画像の差分データをとる。
【０１３２】
パーソナルコンピュータ（ＰＣ）２８０３内に構成される画像処理部１３０６は、フレームデータ比較手段１３０５によるフレームデータの比較処理データから、新たに付加されているデータのみを取り出す処理を実行したり、複数フレームに渡るデータからノイズと判断されるデータを取り除く処理等を実行し、不要部分を削除したデータをパーソナルコンピュータ（ＰＣ）２８０３内に構成される画像メモリＢ，１３０７に格納する。
【０１３３】
画像メモリＢ，１３０７に格納されたデータは、必要に応じて、パーソナルコンピュータ（ＰＣ）２８０３に構成されるモニタ、外部接続されたプリンタ、記憶手段等に出力される。
【０１３４】
画像メモリＢ，１３０７に格納されたデータは、ＰＣ上のモニタ、スクリーン、あるいは他のホワイトボードなどに投影することも可能である。この場合の投影画像は、撮影対象となっているホワイトボード２８０１の画像を幾何変換手段１３０３によって正面から見た画像に変換した画像となるでので、視聴者にとって見やすい画像の提供が実現される。
【０１３５】
また、実施例２において説明した帳票識別手段２００１、帳票データベース２００２をパーソナルコンピュータ（ＰＣ）２８０３内に構成することで、例えばＯＨＰ２８０５を用いてホワイトボード２８０１上に映し出された帳票フォーマット上にユーザが書き込むデータについて、実施例２で説明したと同様の処理を実行することが可能となる。
【０１３６】
すなわち、帳票フォーマットを識別し、ユーザがホワイトボード２８０１上に映し出された帳票フォーマット上に書き込んだデータのみを抽出したり、抽出したデータをＯＣＲ機能により変換し、さらに所定の統計用データに埋め込む処理（図２５参照）や、あるいはＯＣＲにより変換した文字データをデータベースに格納した帳票フォーマットに併せて画像表示、プリント出力する処理（図２４参照）などが可能となる。
【０１３７】
また、実施例３において説明した認証処理手段２６０１、認証情報データベース２６０２をパーソナルコンピュータ（ＰＣ）２８０３内に構成することで、ユーザによるホワイトボード２８０１上への署名に基づく認証が可能となる。
【０１３８】
なお、これらの処理は、図２８に示すようにホワイトボード２８０１に直接書き込まれた文字、図形等を３次元画像撮像装置２８０２によって撮影してデータ処理を実行する構成に限らず、ホワイトボード２８０１にデータを投影するＯＨＰ２８０４、あるいはその他の投影機器によって投影されたホワイトボード２８０１上の像を３次元画像撮像装置２８０２によって撮影してデータ処理を行なう構成としてもよい。
【０１３９】
また、図２８に示すようにＯＨＰ２８０４のボード面を３次元画像撮像装置２８０２’によって撮影してデータ処理を実行する構成とすることも可能である。すなわち、画像保持媒体は、原稿、ホワイトボード、黒板、スクリーン、壁、またはスクリーン投影用シートなど様々な媒体が可能である。
【０１４０】
また、図２９に示すように、ホワイトボード２９０１にデータを投影するＯＨＰ２９０４、データ処理を実行するパーソナルコンピュータ（ＰＣ）２９０３を有する構成において、ＯＨＰ２９０４の撮像、投影部に３次元画像撮像装置２９０２を組み込む構成とすることで、機器の小型化が達成され、また３次元画像撮像装置２９０２と、撮影対象となるＯＨＰ２９０４のボード面との距離が固定され、安定したデータ処理が可能となる。
【０１４１】
［実施例５］
次に、画像読み取りを実行する画像処理装置の実施例５の構成について説明する。本実施例５の構成を図３０に示す。本実施例５も実施例４と同様、プレゼンテーションや会議に使われるホワイトボードに書き込まれる文字等の情報を読み取る構成である。
【０１４２】
図３０において、ホワイトボード３００１には、マーカペン等の書き込み用具により文字、図形等がユーザによって書き込まれる。また、イレーザを使用して書き込まれた文字、図形等がユーザによって消去可能である。
【０１４３】
さらに、画像撮像部としての３次元画像撮像装置３００２と、画像処理を実行する画像処理部としてのパーソナルコンピュータ（ＰＣ）３００３を有する。３次元画像撮像装置３００２とパーソナルコンピュータ（ＰＣ）３００３は例えば通信ケーブルで接続され、データ転送可能な構成を持つ。ホワイトボード３００１に記録される文字等のデータは、３次元画像撮像装置３００２によって輝度情報、パターン投影画像が取り込まれ、パーソナルコンピュータ（ＰＣ）３００３によって画像処理がなされる。
【０１４４】
３次元画像撮像装置３００２およびパーソナルコンピュータ（ＰＣ）３００３は、先の実施例１乃至３のいずれかの構成を持つ。すなわち、実施例１において説明した図１３、実施例２において説明した図２０、または実施例３において説明した図２６の構成を有する。
【０１４５】
実施例５の構成は、実施例４と異なり、ホワイトボード３００１と画像撮像部としての３次元画像撮像装置３００２との距離Ｌが固定されていることである。従って、距離計測処理は１度実行されればよく、計測された距離データを３次元画像撮像装置３００２、あるいはパーソナルコンピュータ（ＰＣ）３００３内のメモリに格納し、格納データによる処理が可能となる。従って、ユーザによる書き込みデータの処理時には、実施例１で述べているような不可視光源を使用せずに、可視領域の投光パターンを投影することが可能になる。
【０１４６】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１４７】
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１４８】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Ｒｅａｄ ＯｎｌｙＭｅｍｏｒｙ）に予め記録しておくことができる。あるいは、プログラムはフロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＭＯ（Ｍａｇｎｅｔｏ ｏｐｔｉｃａｌ）ディスク，ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【０１４９】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１５０】
【発明の効果】
以上、述べたように、本発明の画像処理装置および画像処理方法は、紙などに対するペンによる書き込み文字、模様等を撮影し、撮影画像の幾何変換を実施して、自然な入力文字分析、読み取り処理を実現するもので、簡易な構成で、距離計測を実行して、いわゆる実画像である輝度画像と、距離計測用の画像を並列して撮り込み、距離情報に基づく輝度画像分析により、入力文字の識別処理を効率的に実行することが可能となる。
【０１５１】
さらに、本発明の画像処理装置および画像処理方法は、時系列に撮り込む画像の比較処理を実行して、画像の変化の検出によるノイズ検出およびノイズ除去処理、さらに原稿位置修正が可能となるので、正確なデータの読み取りが可能となる。
【０１５２】
さらに、本発明の画像処理装置および画像処理方法は、撮影画像を幾何変換した輝度画像と、複数の帳票フォーマットデータを格納した帳票データベースに格納されたフォーマット画像との差異を抽出してユーザの書き込みデータを抽出したり、あるいは書き込みデータのテキストデータへの変換が可能となり、帳票処理の効率化が実現される。
【０１５３】
さらに、本発明の画像処理装置および画像処理方法は、登録ユーザによる筆跡履歴データを格納した認証情報データベースに格納された筆跡履歴データと幾何変換された輝度画像との照合処理により正確でかつ効率的な個人認証処理が実現される。
【０１５４】
さらに、本発明の画像処理装置および画像処理方法は、ホワイトボードなど表示機能を持つ書き込み可能な構成物上への書き込みデータに対する処理も可能であり、撮影画像を幾何変換により正面位置から観察したデータに容易に変換でき、変換データをモニタあるいはスクリーン、他のホワイトボードに対して再度ディスプレイする処理が可能となり、視覚的に優れた表示機能を提供することができる。
【図面の簡単な説明】
【図１】本発明の画像処理装置において使用される３次元形状計測装置の構成例を示すブロック図である。
【図２】本発明の画像処理装置において使用される３次元形状計測装置のカメラ構成例を示すブロック図である。
【図３】本発明の画像処理装置において使用される３次元形状計測装置の撮像構成を説明する図である。
【図４】本発明の画像処理装置において使用される３次元形状計測装置の処理フローを示す図である。
【図５】本発明の画像処理装置において使用される３次元形状計測装置の投影パターンのコード化の例を示す図である。
【図６】本発明の画像処理装置において使用される３次元形状計測装置の撮影構成例を示す図である。
【図７】本発明の画像処理装置において使用される３次元形状計測装置の投影パターン例を示す図である。
【図８】本発明の画像処理装置において使用される３次元形状計測装置のカメラ１で撮影されるスリットパターンの例を示す図である。
【図９】本発明の画像処理装置において使用される３次元形状計測装置のカメラ２で撮影されるスリットパターンの例を示す図である。
【図１０】本発明の画像処理装置において使用される３次元形状計測装置において新たにコード化されたスリットパターンの例を示す図である。
【図１１】本発明の画像処理装置において使用される３次元形状計測装置の空間コード化法による距離算出法を示す図である。
【図１２】本発明の画像処理装置において使用される３次元形状計測装置のカメラ３で撮影されるスリットパターンの例を示す図である。
【図１３】本発明の画像処理装置の構成を示すブロック図である。
【図１４】本発明の画像処理装置におけるノイズ除去処理の具体例を説明する図である。
【図１５】本発明の画像処理装置における位置修正処理の具体例を説明する図である。
【図１６】本発明の画像処理装置の処理フローを示す図である。
【図１７】本発明の画像処理装置における処理態様の例を示す図である。
【図１８】本発明の画像処理装置の構成例を示す図である。
【図１９】本発明の画像処理装置の構成例を示す図である。
【図２０】本発明の画像処理装置の第２実施例の構成を示す図である。
【図２１】本発明の画像処理装置の第２実施例に適用可能な帳票フォーマットの例を示す図である。
【図２２】本発明の画像処理装置の第２実施例における帳票フォーマットに対するデータの書き込み処理例を示す図である。
【図２３】本発明の画像処理装置の第２実施例におけるユーザ書き込みデータ抽出例を示す図である。
【図２４】本発明の画像処理装置の第２実施例におけるデータ出力例を示す図である。
【図２５】本発明の画像処理装置の第２実施例におけるデータ処理例を示す図である。
【図２６】本発明の画像処理装置の第３実施例の構成を示す図である。
【図２７】本発明の画像処理装置の第３実施例におけるデータ処理例を示す図である。
【図２８】本発明の画像処理装置の第４実施例の構成を示す図である。
【図２９】本発明の画像処理装置の第４実施例の変形例構成を示す図である。
【図３０】本発明の画像処理装置の第５実施例の構成を示す図である。
【図３１】従来のタブレット形の文字入力装置例を示す図である。
【符号の説明】
１０１ カメラ１
１０２ カメラ２
１０３ カメラ３
１０４ 投光器
１０５ ハーフミラー
１０６ 光源
１０７ マスクパターン
１０８ 強度パターン
１０９ プリズム
１２１，１２３，１２５ 輝度値メモリ
１２２，１２４，１２６ パターン画像メモリ
１２７ フレームメモリ
１２８ 領域分割部
１２９ 再コード化部
１３０，１３１ コード復号部
１３３ 距離情報の統合部
１３４ ３次元メモリ
３０１ プリズム
３０２，３０４ 透過フィルタ
３０３，３０５ 撮像装置
６０１，６０２，６０３ カメラ
６０４ 投光器
６０５ 壁
６０６ 板
８０１，９０１ 影領域
１３００ ３次元画像撮像装置
１３０１ 輝度情報取得部
１３０２ 距離情報取得部
１３０３ 幾何変換手段
１３０４ 画像メモリＡ
１３０５ フレームデータ比較手段
１３０６ 画像処理手段
１３０７ 画像メモリＢ
１５０１ 原稿
１８０１，１９０１ 原稿
１８０２，１９０２ ３次元画像撮像装置
１８０３，１９０３ パーソナルコンピュータ（ＰＣ）
２００１ 帳票識別手段
２００２ 帳票データベース
２６０１ 認証処理手段
２６０２ 認証情報データベース
２８０１ ホワイトボード
２８０２ ３次元画像撮像装置
２８０３ パーソナルコンピュータ（ＰＣ）
２８０４ ＯＨＰ
２９０１ ホワイトボード
２９０２ ３次元画像撮像装置
２９０３ パーソナルコンピュータ（ＰＣ）
２９０４ ＯＨＰ
３００１ ホワイトボード
３００２ ３次元画像撮像装置
３００３ パーソナルコンピュータ（ＰＣ）
３１０１ 入力装置
３１０２ 専用ペン
Claims (35)
- パターンを投影する投光手段と、前記投光手段の光軸方向から輝度画像および投影パターン像を撮影する第１の撮像手段と、前記投光手段の光軸方向と異なる方向から前記投影パターン像を撮影する第２の撮像手段とを備え、前記第２の撮像手段の撮影した撮影パターンに基づいて第１の距離情報を生成する３次元画像撮像手段と、
前記第１の撮像手段により撮像された輝度画像を前記距離情報に基づいて幾何変換を実行する幾何変換手段と、
前記３次元画像撮像手段により時系列に撮り込まれるフレームデータの初期画像を初期フレームデータとして記憶する記憶手段と、
前記３次元画像撮像手段により時系列に撮り込まれるフレームデータ画像相互の比較処理を実行し、画像比較によって検出される加えられた情報が、書き加えられた情報であるか、書き加えられた情報でないノイズであるかを判断する処理を実行するフレームデータ比較手段と、
前記フレームデータ比較手段における前記初期フレームデータと、後続して撮り込まれるフレームデータとの比較結果に基づいて前記ノイズを消去した差分データのみを格納データとして抽出する画像処理手段と、
を有することを特徴とする画像処理装置。 - 前記投影パターンに対する第１の撮像手段による撮影パターンの変化量が所定値以上の領域について、該第１の撮像手段による撮影パターンに対応する新規コードを割り付け、前記新規コードに基づいて第２の撮像手段による撮影パターンから前記第１の距離情報を生成する構成を有することを特徴とする請求項１に記載の画像処理装置。
- 前記画像処理装置は、さらに、
前記３次元画像撮像手段により時系列に撮り込まれるフレームデータ画像相互の比較処理を実行するフレームデータ比較手段と、
前記フレームデータ比較手段におけるフレームデータ画像相互の比較処理結果に基づいてフレームデータ画像からノイズデータ除去処理を実行する画像処理手段と、
を有することを特徴とする請求項１または２に記載の画像処理装置。 - 前記画像処理装置は、さらに、
前記３次元画像撮像手段により時系列に撮り込まれるフレームデータ画像相互の比較処理を実行するフレームデータ比較手段と、
前記フレームデータ比較手段におけるフレームデータ画像相互の比較処理結果に基づいてフレームデータ画像の画像位置変更処理を実行する画像処理手段と、
を有することを特徴とする請求項１または２に記載の画像処理装置。 - 前記投光手段は不可視領域の光を発生する光源を有し、
前記第１の撮像手段および前記第２の撮像手段は不可視領域の光を透過するフィルターおよび不可視領域の光を遮断するフィルターを有し、パターン投影画像と、輝度画像とを並列に撮り込む構成を有することを特徴とする請求項１または２に記載の画像処理装置。 - 前記投光手段による投影パターンに対する第１の撮像手段による撮影パターンの変化量が所定値未満の領域について、第１の撮像手段および第２の撮像手段より得られた各輝度情報の対応づけにより第２の距離情報を生成する構成としたことを特徴とする請求項１または２に記載の画像処理装置。
- 前記第２の撮像手段は、前記測定対象を異なる角度で撮像する複数の撮像手段によって構成され、該複数の第２の撮像手段の各々の撮影した投影パターンに基づいて距離情報を生成する構成としたことを特徴とする請求項１または２に記載の画像処理装置。
- 投光手段によりパターンを投影するパターン投光ステップと、
前記投光手段の光軸方向から第１の撮像手段により輝度画像および投影パターン像を撮影し、前記投光手段の光軸方向と異なる方向から第２の撮像手段により前記投影パターン像を撮影する撮像ステップと、
前記第２の撮像手段の撮影した撮影パターンに基づいて第１の距離情報を生成する距離情報生成ステップと、
前記第１の撮像手段により撮像された輝度画像を前記距離情報に基づいて幾何変換を実行する幾何変換ステップと、
前記撮像ステップにおいて時系列に撮り込まれるフレームデータの初期画像を初期フレームデータとして記憶手段に記憶する記憶ステップと、
前記撮像ステップにおいて時系列に撮り込まれるフレームデータ画像相互の比較処理を実行し、画像比較によって検出される加えられた情報が、書き加えられた情報であるか、書き加えられた情報でないノイズであるかを判断する処理を実行するフレームデータ比較ステップと、
前記フレームデータ比較ステップにおける前記初期フレームデータと、後続して撮り込まれるフレームデータとの比較結果に基づいて前記ノイズを消去した差分データのみを格納データとして抽出する画像処理ステップと、
を有することを特徴とする画像処理方法。 - 前記画像処理方法において、
前記距離情報生成ステップは、
前記投影パターンに対する第１の撮像手段による撮影パターンの変化量が所定値以上の領域について、該第１の撮像手段による撮影パターンに対応する新規コードを割り付け、前記新規コードに基づいて第２の撮像手段による撮影パターンから前記第１の距離情報を生成するステップを含むことを特徴とする請求項８に記載の画像処理方法。 - 前記画像処理方法は、さらに、
前記撮像ステップにおいて時系列に撮り込まれるフレームデータ画像相互の比較処理を実行するフレームデータ比較ステップと、
前記フレームデータ比較ステップにおけるフレームデータ画像相互の比較処理結果に基づいてフレームデータ画像からノイズデータ除去処理を実行する画像処理ステップと、
を有することを特徴とする請求項８または９に記載の画像処理方法。 - 前記画像処理方法は、さらに、
前記撮像ステップにおいて時系列に撮り込まれるフレームデータ画像相互の比較処理を実行するフレームデータ比較ステップと、
前記フレームデータ比較ステップにおけるフレームデータ画像相互の比較処理結果に基づいてフレームデータ画像の画像位置変更処理を実行する画像処理ステップと、
を有することを特徴とする請求項８または９に記載の画像処理方法。 - 前記パターン投光ステップは、前記光源を赤外光または紫外光を用いた不可視領域の光源として、パターン光を不可視領域光によって形成するステップであり、前記撮像ステップは、パターン投影画像と、輝度画像とを並列に撮り込むステップであることを特徴とする請求項８または９に記載の画像処理方法。
- 前記画像処理方法は、さらに、
前記投光手段による投影パターンに対する第１の撮像手段による撮影パターンの変化量が所定値未満の領域について、第１の撮像手段および第２の撮像手段より得られた各輝度情報の対応づけにより第２の距離情報を生成するステップを有することを特徴とする請求項８または９に記載の画像処理方法。 - 前記画像処理方法において、さらに、
前記第２の撮像手段は、前記測定対象を異なる角度で撮像する複数の撮像手段によって構成され、該複数の第２の撮像手段の各々の撮影した投影パターンに基づいて距離情報を生成するステップを有することを特徴とする請求項８または９に記載の画像処理方法。 - 画像保持媒体に光を投光する投光手段と、
前記投光手段によって投光された前記画像保持媒体を撮影する撮像手段と、
前記撮像手段によって撮影された画像に基づいて輝度画像を取得する輝度画像取得手段と、
前記撮影された光から距離情報を取得する距離情報取得手段と、
前記距離情報取得手段において取得された距離情報に基づき前記輝度画像を幾何変換する幾何変換手段と、
前記幾何変換手段において幾何変換された輝度画像と、予め取得済みの輝度画像との画像比較処理を実行し、画像比較処理によって検出される加えられた情報が、書き加えられた情報であるか、書き加えられた情報でないノイズであるかを判断する処理を実行し、前記ノイズを消去した差分データを抽出する画像抽出手段と、
を有することを特徴とする画像処理装置。 - 前記画像保持媒体は、原稿、ホワイトボード、黒板、スクリーン、壁、またはスクリーン投影用シートのいずれかであることを特徴とする請求項１５に記載の画像処理装置。
- 前記画像抽出手段において、処理対象となる予め取得済みの輝度画像は、前記幾何変換手段から先行して入力した先行フレーム画像であることを特徴とする請求項１５に記載の画像処理装置。
- 前記画像抽出手段において、処理対象となる予め取得済みの輝度画像は、記憶手段に予め記憶された画像データであることを特徴とする請求項１５に記載の画像処理装置。
- 前記画像処理装置は、
複数の帳票フォーマットデータを格納した帳票データベースと、
前記幾何変換手段において幾何変換された輝度画像と、前記帳票データベースに格納されたフォーマット画像との照合処理を実行する帳票識別手段とを有し、
前記画像抽出手段は、前記幾何変換手段において幾何変換された輝度画像と、前記帳票データベースに格納されたフォーマット画像との差異を抽出する処理を実行する構成であることを特徴とする請求項１５に記載の画像処理装置。 - 前記画像処理装置は、
さらに、前記画像抽出手段の抽出した文字データを読み取り、コード値として置き換え可能な文字データに変換する文字変換処理構成を有することを特徴とする請求項１５に記載の画像処理装置。 - 前記画像処理装置は、さらに、
登録ユーザによる筆跡履歴データを格納した認証情報データベースと、
前記幾何変換手段において幾何変換された輝度画像を入力し、該入力画像と前記認証情報データベースに格納された筆跡履歴データとの照合処理を実行する認証処理手段と、
を有することを特徴とする請求項１５に記載の画像処理装置。 - 前記認証情報データベースには、登録ユーザの筆跡履歴データと署名形状データとが格納され、
前記認証処理手段は、前記幾何変換手段において幾何変換された輝度画像を入力し、該入力画像と前記認証情報データベースに格納された筆跡履歴データとの照合処理を実行するとともに、署名形状データとの照合処理を実行する構成であることを特徴とする請求項２１に記載の画像処理装置。 - 前記画像処理装置は、さらに、
前記幾何変換手段において距離情報に基づき前記輝度画像を幾何変換した画像を表示する表示手段を有することを特徴とする請求項１５に記載の画像処理装置。 - 前記画像処理装置において、画像保持媒体と前記撮像手段との距離が固定され、
前記距離情報取得手段の取得した距離情報を格納する記憶手段を有し、
前記幾何変換手段は前記記憶手段に記憶された距離情報に基づき前記輝度画像を幾何変換する構成であることを特徴とする請求項１５に記載の画像処理装置。 - 画像保持媒体に光を投光する投光ステップと、
前記投光された前記画像保持媒体を撮影する撮像ステップと、
前記撮像ステップにおいて撮影された画像に基づいて輝度画像を取得する輝度画像取得ステップと、
前記撮影された光から距離情報を取得する距離情報取得ステップと、
前記距離情報取得ステップにおいて取得された距離情報に基づき前記輝度画像を幾何変換する幾何変換ステップと、
前記幾何変換ステップにおいて幾何変換された輝度画像と、予め取得済みの輝度画像との画像比較処理を実行し、画像比較処理によって検出される加えられた情報が、書き加えられた情報であるか、書き加えられた情報でないノイズであるかを判断する処理を実行し、前記ノイズを消去した差分データを抽出する画像抽出ステップと、
を有することを特徴とする画像処理方法。 - 前記画像保持媒体は、原稿、ホワイトボード、黒板、スクリーン、壁、またはスクリーン投影用シートのいずれかであることを特徴とする請求項２５に記載の画像処理方法。
- 前記画像抽出ステップにおいて、処理対象となる予め取得済みの輝度画像は、前記幾何変換手段から先行して入力した先行フレーム画像であることを特徴とする請求項２５に記載の画像処理方法。
- 前記画像抽出ステップにおいて、処理対象となる予め取得済みの輝度画像は、記憶手段に予め記憶された画像データであることを特徴とする請求項２５に記載の画像処理方法。
- 前記画像処理方法は、さらに、
前記幾何変換ステップにおいて幾何変換された輝度画像と、複数の帳票フォーマットデータを格納した帳票データベースに格納されたフォーマット画像との照合処理を実行する帳票識別ステップを有し、
前記画像抽出ステップは、前記幾何変換ステップにおいて幾何変換された輝度画像と、複数の帳票フォーマットデータを格納した帳票データベースに格納されたフォーマット画像との差異を抽出する処理を実行するステップを含むことを特徴とする請求項２５に記載の画像処理方法。 - 前記画像処理方法は、さらに、
前記画像抽出ステップにおいて抽出した文字データを読み取り、コード値として置き換え可能な文字データに変換する文字変換処理ステップ、を有することを特徴とする請求項２５に記載の画像処理方法。 - 前記画像処理方法は、さらに、
前記幾何変換ステップにおいて幾何変換された輝度画像を入力し、該入力画像と登録ユーザによる筆跡履歴データを格納した認証情報データベースに格納された筆跡履歴データとの照合処理を実行する認証処理ステップ、
を有することを特徴とする請求項２５に記載の画像処理方法。 - 前記認証情報データベースには、登録ユーザの筆跡履歴データと署名形状データとが格納され、
前記認証処理ステップは、前記幾何変換ステップにおいて幾何変換された輝度画像を入力し、該入力画像と前記認証情報データベースに格納された筆跡履歴データとの照合処理を実行するとともに、署名形状データとの照合処理を実行することを特徴とする請求項３１に記載の画像処理方法。 - 前記画像処理方法は、さらに、
前記幾何変換ステップにおいて距離情報に基づき前記輝度画像を幾何変換した画像を表示する表示ステップを有することを特徴とする請求項２５に記載の画像処理方法。 - 前記画像処理方法において、
画像保持媒体と前記撮像手段との距離が固定され、
前記距離情報取得手段の取得した距離情報を格納する記憶ステップを有し、
前記幾何変換ステップは前記記憶ステップにおいて記憶された距離情報に基づき前記輝度画像を幾何変換することを特徴とする請求項２５に記載の画像処理方法。 - 画像処理をコンピュータ・システム上で実行せしめるプログラムであって、前記プログラムは、
画像保持媒体に光を投光する投光ステップと、
前記投光された前記画像保持媒体を撮影する撮像ステップと、
前記撮像ステップにおいて撮影された画像に基づいて輝度画像を取得する輝度画像取得ステップと、
前記撮影された光から距離情報を取得する距離情報取得ステップと、
前記距離情報取得ステップにおいて取得された距離情報に基づき前記輝度画像を幾何変換する幾何変換ステップと、
前記幾何変換ステップにおいて幾何変換された輝度画像と、予め取得済みの輝度画像との画像比較処理を実行し、画像比較処理によって検出される加えられた情報が、書き加えられた情報であるか、書き加えられた情報でないノイズであるかを判断する処理を実行し、前記ノイズを消去した差分データを抽出する画像抽出ステップと、
を有することを特徴とするプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001108353A JP3867512B2 (ja) | 2000-06-29 | 2001-04-06 | 画像処理装置および画像処理方法、並びにプログラム |
| US09/892,884 US6970600B2 (en) | 2000-06-29 | 2001-06-28 | Apparatus and method for image processing of hand-written characters using coded structured light and time series frame capture |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000-196051 | 2000-06-29 | ||
| JP2000196051 | 2000-06-29 | ||
| JP2001108353A JP3867512B2 (ja) | 2000-06-29 | 2001-04-06 | 画像処理装置および画像処理方法、並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002081922A JP2002081922A (ja) | 2002-03-22 |
| JP3867512B2 true JP3867512B2 (ja) | 2007-01-10 |
Family
ID=26594963
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001108353A Expired - Fee Related JP3867512B2 (ja) | 2000-06-29 | 2001-04-06 | 画像処理装置および画像処理方法、並びにプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6970600B2 (ja) |
| JP (1) | JP3867512B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106845473A (zh) * | 2015-12-03 | 2017-06-13 | 富士通株式会社 | 用于确定图像是否为带地址信息的图像的方法和装置 |
Families Citing this family (51)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100443678B1 (ko) * | 2001-09-29 | 2004-08-09 | 엘지전자 주식회사 | 영상내의 오브젝트 영역 추출방법 |
| EP1302891A1 (de) * | 2001-10-12 | 2003-04-16 | Siemens Aktiengesellschaft | Vorrichtung zum Erfassen und Darstellen von Bewegungen |
| DE10156040B4 (de) * | 2001-11-15 | 2005-03-31 | Océ Document Technologies GmbH | Verfahren, Vorrichtung und Computerprogramm-Produkt zum Entzerren einer eingescannten Abbildung |
| US6952046B2 (en) * | 2002-06-19 | 2005-10-04 | Foster-Miller, Inc. | Electronic and optoelectronic component packaging technique |
| US7415130B1 (en) * | 2002-10-30 | 2008-08-19 | Lockheed Martin Corporation | Mail image profiling and handwriting matching |
| US7203384B2 (en) * | 2003-02-24 | 2007-04-10 | Electronic Scripting Products, Inc. | Implement for optically inferring information from a planar jotting surface |
| JP2005064667A (ja) | 2003-08-08 | 2005-03-10 | Nec Viewtechnology Ltd | プロジェクション装置並びにプロジェクション方法 |
| US7110100B2 (en) * | 2003-11-04 | 2006-09-19 | Electronic Scripting Products, Inc. | Apparatus and method for determining an inclination of an elongate object contacting a plane surface |
| US7088440B2 (en) * | 2003-12-22 | 2006-08-08 | Electronic Scripting Products, Inc. | Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features |
| US7961909B2 (en) * | 2006-03-08 | 2011-06-14 | Electronic Scripting Products, Inc. | Computer interface employing a manipulated object with absolute pose detection component and a display |
| US7826641B2 (en) * | 2004-01-30 | 2010-11-02 | Electronic Scripting Products, Inc. | Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features |
| US9229540B2 (en) | 2004-01-30 | 2016-01-05 | Electronic Scripting Products, Inc. | Deriving input from six degrees of freedom interfaces |
| US8542219B2 (en) * | 2004-01-30 | 2013-09-24 | Electronic Scripting Products, Inc. | Processing pose data derived from the pose of an elongate object |
| US7023536B2 (en) * | 2004-03-08 | 2006-04-04 | Electronic Scripting Products, Inc. | Apparatus and method for determining orientation parameters of an elongate object |
| US20050207486A1 (en) * | 2004-03-18 | 2005-09-22 | Sony Corporation | Three dimensional acquisition and visualization system for personal electronic devices |
| JP4664125B2 (ja) * | 2004-11-30 | 2011-04-06 | 三菱樹脂株式会社 | 放吸熱器、及びその製造方法 |
| JP2008537190A (ja) * | 2005-01-07 | 2008-09-11 | ジェスチャー テック，インコーポレイテッド | 赤外線パターンを照射することによる対象物の三次元像の生成 |
| US20060238815A1 (en) * | 2005-04-21 | 2006-10-26 | The Boeing Company | Systems and methods of reproducing images onto surfaces |
| US8493628B2 (en) * | 2005-04-21 | 2013-07-23 | The Boeing Company | Reproduction of images onto surfaces |
| US7880719B2 (en) * | 2006-03-23 | 2011-02-01 | International Business Machines Corporation | Recognition and capture of whiteboard markups in relation to a projected image |
| JP4697087B2 (ja) * | 2006-08-09 | 2011-06-08 | 富士ゼロックス株式会社 | 画像処理装置 |
| US8016198B2 (en) * | 2007-10-09 | 2011-09-13 | Hewlett-Packard Development Company, L.P. | Alignment and non-alignment assist images |
| FR2923006B1 (fr) | 2007-10-29 | 2010-05-14 | Signoptic Technologies | Dispositif optique pour l'observation de details structurels millimetriques ou submillimetriques d'un objet a comportement speculaire |
| JP2010003198A (ja) * | 2008-06-23 | 2010-01-07 | Fuji Xerox Co Ltd | 文書管理システム、文書管理装置、プログラム |
| US8229228B2 (en) * | 2008-09-16 | 2012-07-24 | Robert Bosch Gmbh | Image analysis using a pre-calibrated pattern of radiation |
| US20100194861A1 (en) * | 2009-01-30 | 2010-08-05 | Reuben Hoppenstein | Advance in Transmission and Display of Multi-Dimensional Images for Digital Monitors and Television Receivers using a virtual lens |
| US20110019243A1 (en) * | 2009-07-21 | 2011-01-27 | Constant Jr Henry J | Stereoscopic form reader |
| KR100931520B1 (ko) * | 2009-08-11 | 2009-12-14 | (주)누리봄 | 위치 검출이 가능한 화상 표시 장치 |
| US20110145725A1 (en) * | 2009-12-11 | 2011-06-16 | Richard John Campbell | Methods and Systems for Attaching Semantics to a Collaborative Writing Surface |
| KR20110069958A (ko) * | 2009-12-18 | 2011-06-24 | 삼성전자주식회사 | 프로젝터 기능의 휴대 단말기의 데이터 생성 방법 및 장치 |
| US9754132B2 (en) | 2010-06-23 | 2017-09-05 | The Western Union Company | Multi-user device with information capture capabilities |
| US9141955B2 (en) * | 2010-06-23 | 2015-09-22 | The Western Union Company | Biometrically secured user input for forms |
| US8773464B2 (en) | 2010-09-15 | 2014-07-08 | Sharp Laboratories Of America, Inc. | Methods and systems for collaborative-writing-surface image formation |
| US8723920B1 (en) | 2011-07-05 | 2014-05-13 | 3-D Virtual Lens Technologies, Llc | Encoding process for multidimensional display |
| US9273955B2 (en) * | 2011-09-08 | 2016-03-01 | Intel Corporation | Three-dimensional data acquisition |
| US10528772B1 (en) | 2012-02-24 | 2020-01-07 | Socket Mobile, Inc. | Assisted aimer for optimized symbol scanning by a portable computing device having an integral camera |
| JP6112769B2 (ja) * | 2012-03-05 | 2017-04-12 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
| KR101976163B1 (ko) * | 2012-03-08 | 2019-05-31 | 주식회사 셀트라존 | 카메라와 하프미러를 이용한 바이오기기의 코드 인식 방법 및 시스템 |
| EP2866204B1 (en) * | 2012-06-21 | 2018-09-19 | LG Electronics Inc. | Apparatus and method for digital image processing |
| DE102013014561A1 (de) * | 2012-09-03 | 2014-03-27 | Mando Corporation | Antennenvorrichtung und radarvorrichtung zur verbesserung des antennenwirkungsgrads |
| CN104903680B (zh) * | 2012-11-07 | 2019-01-08 | 阿泰克欧洲公司 | 控制三维物体的线性尺寸的方法 |
| US9227323B1 (en) | 2013-03-15 | 2016-01-05 | Google Inc. | Methods and systems for recognizing machine-readable information on three-dimensional objects |
| US9025016B2 (en) * | 2013-03-15 | 2015-05-05 | Orcam Technologies Ltd. | Systems and methods for audible facial recognition |
| US9721304B1 (en) * | 2013-07-15 | 2017-08-01 | Liberty Mutual Insurance Company | Vehicle damage assessment using 3D scanning |
| DE102013111761B4 (de) * | 2013-10-25 | 2018-02-15 | Gerhard Schubert Gmbh | Verfahren und Scanner zum berührungslosen Ermitteln der Position und dreidimensionalen Form von Produkten auf einer laufenden Fläche |
| US11577159B2 (en) | 2016-05-26 | 2023-02-14 | Electronic Scripting Products Inc. | Realistic virtual/augmented/mixed reality viewing and interactions |
| JP2018136709A (ja) * | 2017-02-21 | 2018-08-30 | 三菱電機インフォメーションシステムズ株式会社 | データ入力装置、データ入力プログラム及びデータ入力システム |
| JP7091326B2 (ja) * | 2017-06-07 | 2022-06-27 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置および方法 |
| JP6553217B1 (ja) * | 2018-02-02 | 2019-07-31 | 三菱電機インフォメーションシステムズ株式会社 | データ入力装置、データ入力プログラム及びデータ入力システム |
| US11301063B2 (en) | 2018-07-18 | 2022-04-12 | John J. King, JR. | Smart pen device and method of implementing a smart pen device |
| WO2020230921A1 (ko) * | 2019-05-14 | 2020-11-19 | 엘지전자 주식회사 | 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 방법 및 이를 적용한 식별장치와 로봇 |
Family Cites Families (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4687326A (en) * | 1985-11-12 | 1987-08-18 | General Electric Company | Integrated range and luminance camera |
| JPH0813088B2 (ja) | 1990-09-18 | 1996-02-07 | 富士ゼロックス株式会社 | 画像読取装置 |
| JPH0816608B2 (ja) | 1991-03-15 | 1996-02-21 | 幸男 佐藤 | 形状計測装置 |
| US5201011A (en) * | 1991-11-19 | 1993-04-06 | Xerox Corporation | Method and apparatus for image hand markup detection using morphological techniques |
| US5436639A (en) * | 1993-03-16 | 1995-07-25 | Hitachi, Ltd. | Information processing system |
| US5668897A (en) * | 1994-03-15 | 1997-09-16 | Stolfo; Salvatore J. | Method and apparatus for imaging, image processing and data compression merge/purge techniques for document image databases |
| US5732227A (en) * | 1994-07-05 | 1998-03-24 | Hitachi, Ltd. | Interactive information processing system responsive to user manipulation of physical objects and displayed images |
| US6028672A (en) * | 1996-09-30 | 2000-02-22 | Zheng J. Geng | High speed three dimensional imaging method |
| DE69533074T2 (de) * | 1994-09-09 | 2004-09-16 | Xerox Corp. | Verfahren zum Interpretieren handgeschriebener schematischer Benutzerschittstellenbefehle |
| US5528290A (en) * | 1994-09-09 | 1996-06-18 | Xerox Corporation | Device for transcribing images on a board using a camera based board scanner |
| JPH08237407A (ja) * | 1994-12-09 | 1996-09-13 | Xerox Corp | 画像タイルの相対的なアラインメントを見当合わせすると共に透視歪みを修正するための方法 |
| US6044165A (en) * | 1995-06-15 | 2000-03-28 | California Institute Of Technology | Apparatus and method for tracking handwriting from visual input |
| JPH09284489A (ja) * | 1996-04-12 | 1997-10-31 | Minolta Co Ltd | 画像読取り装置 |
| US5764383A (en) * | 1996-05-30 | 1998-06-09 | Xerox Corporation | Platenless book scanner with line buffering to compensate for image skew |
| US5760925A (en) * | 1996-05-30 | 1998-06-02 | Xerox Corporation | Platenless book scanning system with a general imaging geometry |
| FR2756952B1 (fr) * | 1996-12-06 | 1999-06-25 | Itesoft | Systeme de reconnaissance de caracteres manuscrits |
| JPH10336439A (ja) * | 1997-05-28 | 1998-12-18 | Minolta Co Ltd | 画像読取り装置 |
| US6023534A (en) * | 1997-08-04 | 2000-02-08 | Xerox Corporation | Method of extracting image data from an area generated with a halftone pattern |
| JPH11136564A (ja) | 1997-10-31 | 1999-05-21 | Fuji Xerox Co Ltd | 撮像装置及び画像読取装置 |
| JP3856926B2 (ja) | 1997-10-31 | 2006-12-13 | 富士ゼロックス株式会社 | 撮像装置及び画像読取装置 |
| JP3422924B2 (ja) * | 1998-03-27 | 2003-07-07 | 富士通株式会社 | 文字認識装置、文字認識方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JP3384329B2 (ja) | 1998-06-22 | 2003-03-10 | 富士ゼロックス株式会社 | ３次元画像撮影装置 |
| US6125197A (en) * | 1998-06-30 | 2000-09-26 | Intel Corporation | Method and apparatus for the processing of stereoscopic electronic images into three-dimensional computer models of real-life objects |
| US6377700B1 (en) * | 1998-06-30 | 2002-04-23 | Intel Corporation | Method and apparatus for capturing stereoscopic images using image sensors |
| JP3482990B2 (ja) | 1998-08-18 | 2004-01-06 | 富士ゼロックス株式会社 | ３次元画像撮影装置 |
| JP2000105818A (ja) | 1998-09-28 | 2000-04-11 | Fuji Xerox Co Ltd | 画像読取装置 |
| JP3475849B2 (ja) * | 1999-04-16 | 2003-12-10 | 日本電気株式会社 | 文書画像取得装置および文書画像取得方法 |
| US6563948B2 (en) * | 1999-04-29 | 2003-05-13 | Intel Corporation | Using an electronic camera to build a file containing text |
| JP3714063B2 (ja) * | 1999-10-19 | 2005-11-09 | 富士ゼロックス株式会社 | ３次元形状計測装置 |
| US6750873B1 (en) * | 2000-06-27 | 2004-06-15 | International Business Machines Corporation | High quality texture reconstruction from multiple scans |
-
2001
- 2001-04-06 JP JP2001108353A patent/JP3867512B2/ja not_active Expired - Fee Related
- 2001-06-28 US US09/892,884 patent/US6970600B2/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106845473A (zh) * | 2015-12-03 | 2017-06-13 | 富士通株式会社 | 用于确定图像是否为带地址信息的图像的方法和装置 |
| CN106845473B (zh) * | 2015-12-03 | 2020-06-02 | 富士通株式会社 | 用于确定图像是否为带地址信息的图像的方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US6970600B2 (en) | 2005-11-29 |
| JP2002081922A (ja) | 2002-03-22 |
| US20020001029A1 (en) | 2002-01-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3867512B2 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
| US7103212B2 (en) | Acquisition of three-dimensional images by an active stereo technique using locally unique patterns | |
| JP5631025B2 (ja) | 情報処理装置、その処理方法及びプログラム | |
| US7822267B2 (en) | Enhanced object reconstruction | |
| US7609865B2 (en) | 3D fingerprint and palm print data model and capture devices using multi structured lights and cameras | |
| EP3468163B1 (en) | Intelligent internet high-definition scanner with laser correction | |
| US20110019243A1 (en) | Stereoscopic form reader | |
| JP7269874B2 (ja) | 複数の対象とする領域を独立的に処理する方法 | |
| US8050468B2 (en) | Fingerprint acquisition system | |
| JP2001194114A (ja) | 画像処理装置および画像処理方法、並びにプログラム提供媒体 | |
| CN107463659B (zh) | 物体搜索方法及其装置 | |
| CN107491744B (zh) | 人体身份识别方法、装置、移动终端和存储介质 | |
| CN107517346B (zh) | 基于结构光的拍照方法、装置及移动设备 | |
| US7463772B1 (en) | De-warping of scanned images | |
| Silvester et al. | A critical assessment of the potential for structure‐from‐motion photogrammetry to produce high fidelity 3D dental models | |
| JP2004524629A (ja) | 文書再構成用の構造光を含む単一画像ディジタル写真 | |
| Cutter et al. | Capture and dewarping of page spreads with a handheld compact 3D camera | |
| JP3965894B2 (ja) | 画像処理装置および画像処理方法 | |
| JP2004110804A (ja) | ３次元画像撮影装置及び方法 | |
| Brown et al. | Beyond 2D images: effective 3D imaging for library materials | |
| Liu et al. | Advanced fingerprint recognition: from 3D shape to ridge detail | |
| JP2003050110A (ja) | ３次元形状データ生成システム、３次元形状データ生成方法、プログラム、および記録媒体 | |
| JP2006058092A (ja) | ３次元形状測定装置および方法 | |
| Paar et al. | Photogrammetric fingerprint unwrapping | |
| JP3932776B2 (ja) | ３次元画像生成装置および３次元画像生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040908 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060403 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060627 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060821 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060919 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061002 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101020 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111020 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121020 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121020 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131020 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |