JP4490540B2 - 画像取込み装置 - Google Patents
画像取込み装置 Download PDFInfo
- Publication number
- JP4490540B2 JP4490540B2 JP2000036685A JP2000036685A JP4490540B2 JP 4490540 B2 JP4490540 B2 JP 4490540B2 JP 2000036685 A JP2000036685 A JP 2000036685A JP 2000036685 A JP2000036685 A JP 2000036685A JP 4490540 B2 JP4490540 B2 JP 4490540B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- instantaneous
- subject
- capturing
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Input (AREA)
- Image Processing (AREA)
- Facsimile Scanning Arrangements (AREA)
- Editing Of Facsimile Originals (AREA)
- Color Image Communication Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、複写機、スキャナ装置等の画像取込み装置に関するものである。
【０００２】
【従来の技術及び発明が解決しようとする課題】
最近は、複写機やスキャナ装置が普及し、広く使用されている。しかし、これら画像取込み装置は一次元画像センサを画像の画像取込み面に沿って移動させ、スキャン画像を取得することによって画像を取り込んでいるため、次のような問題点がある。
【０００３】
第１に、一次元画像センサが画像取込み面に沿って移動するための時間、すなわち、スキャンするための時間がかかるという問題点がある。
【０００４】
第２に、一次元画像センサがスキャンする間、画像に取込みたい紙、写真、本などの物体（以下、被写体という）を静止させる必要があるという問題点がある。
【０００５】
第３に、被写体が写真等の場合には、それを再現するには階調が少ないという問題点がある。これは、一次元画像センサ自身の問題ではなく、一次元画像センサの場合には取込みが一度しかできないために発生する問題点であり、また、画像の一部分で判断してしまうという問題点があるからである。
【０００６】
第４に、被写体が光沢のある原稿（例えば光沢紙、写真）の場合には反射が発生してしまい、その反射を画像として取り込んでしまうという問題点がある。
【０００７】
第５に、画像取込み面に被写体を置く構造であるため、厚みのある本が取りにくいという問題点がある。
【０００８】
第６に、被写体の位置を正確に合わせないないといけないが、被写体の画像位置合わせは不便であるという問題点がある。
【０００９】
そこで、本発明は上記問題点に鑑み、被写体の画像を迅速かつきれいに取り込むことができる画像取込み装置を提供するものである。
【００１０】
【課題を解決するための手段】
請求項１の発明は、ケースの上面に透明板よりなる画像取込み面を有し、前記ケース内部の底面に、レンズを含む光学装置を有した二次元画像センサを配し、前記ケースの内部に照明装置を配し、画像として取込みたい部分を下にした被写体を前記画像取込み面上に配し、前記被写体へ下方から前記照明装置によって光をあてて、前記二次元画像センサによって前記被写体の瞬時画像を取り込み、前記ケースの上方に、前記画像取込み面及び前記被写体を覆う板状のカバーを設け、前記カバーの下面に、前記光学装置のレンズキャリブレーションの補正を行うための発光体を設けたことを特徴とする画像取込み装置である。
【００１１】
請求項２の発明は、前記ケース内部に一次元画像センサを前記画像取込み面に沿って移動可能に配し、画像として取込みたい部分を下にした被写体を前記画像取込み面上に配し、前記被写体へ下方から前記照明装置によって光をあてて、前記一次元画像センサを移動させることによって前記被写体のスキャン画像を取込み、また、前記二次元画像センサによって前記被写体の瞬時画像を取込み、前記スキャン画像と前記瞬時画像を合成して前記被写体の画像を取得することを特徴とする請求項１記載の画像取込み装置である。
【００１２】
請求項３の発明は、前記二次元画像センサによって前記被写体の瞬時画像を取り込む場合に、前記光学装置の撮影条件、または、前記照明装置の光量等の照明条件を変化させて、前記二次元画像センサによって複数の瞬時画像を取込み、これら複数の瞬時画像を合成するか、または、最適な一枚を選択することによって、ダイナミックレンジの広い瞬時画像を取得することを特徴とする請求項１または２記載の画像取込み装置である。
【００１３】
請求項４の発明は、前記照明装置は、複数のライトが異なる位置に配された構成よりなり、前記二次元画像センサによって前記被写体の瞬時画像を取り込む場合に、前記複数のライトの点消灯状態または光量を変化させて、前記二次元画像センサによって複数の瞬時画像を取込み、これら複数の瞬時画像を合成するか、または、最適な一枚を選択することによって、前記ライトからの反射が少ない瞬時画像、または、陰の少ない瞬時画像を取得することを特徴とする請求項１または２記載の画像取込み装置である。
【００１４】
請求項５の発明は、前記二次元画像センサは、前記ケース内部に複数配され、前記複数の二次元画像センサによって前記被写体の瞬時画像をそれぞれ取込み、これら複数の瞬時画像に基づいて画像補正情報を算出し、この算出した画像補正情報に基づいて前記スキャン画像を補正することを特徴とする請求項２記載の画像取込み装置である。
【００１５】
請求項６の発明は、前記二次元画像センサは、カラーセンサであり、画像の色データとグレイレベルデータの対応関係データを記録したテーブルを有し、前記二次元画像センサによって前記被写体のカラーの瞬時画像を取込み、前記瞬時画像の色データを前記テーブルに記録された対応関係データに基づいてグレイレベルデータに変換することにより、前記カラーの瞬時画像からグレイレベルの瞬時画像を作成することを特徴とする請求項１または２記載の画像取込み装置である。
【００１７】
請求項７の発明は、前記二次元画像センサにより取得した瞬時画像、または、前記一次元画像センサで取得したスキャン画像を画像表示装置に表示することを特徴とする請求項１から６のいずれか一項に記載の画像取込み装置である。
【００１９】
請求項８の発明は、画像取込み前の瞬時画像、または、スキャン画像と、画像取込み後の瞬時画像、または、スキャン画像との差分処理を行うことにより、前記画像取り込み面、または、前記カバーの汚れを検出することを特徴とする請求項１から６のいずれか一項に記載の画像取込み装置である。
【００２０】
請求項９の発明は、前記ケースの画像取り込み面を下にして被写体に当て、前記瞬時画像、または、前記スキャン画像を取り込むことを特徴とする請求項１から８のいずれか一項に記載の画像取込み装置である。
【００２１】
【作 用】
請求項１の発明であると、二次元画像センサによって被写体の瞬時画像を取り込むため、その取込み時間を短縮することができる。また、二次元画像センサの光学装置のレンズキャリブレーションの補正を、カバーの下面に設けた発光体によって補正して、適切な瞬時画像を得ることができる。
【００２２】
請求項２の発明であると、一次元画像センサによって被写体のスキャン画像を取込み、二次元画像センサによって被写体の瞬時画像を取込み、これらを合成して被写体の画像を取得するため、スキャン画像で高解像度の画像を得て、二次元画像センサではダイナミックレンジの広い画像を得ることによって、その合成した画像は高解像度でかつダイナミックレンジの広い画像となる。
【００２３】
請求項３の発明であると、光学装置の撮影条件、または、照明装置の光量等の照明条件を変化させて、二次元画像センサによって複数の瞬時画像を取込み、これら複数の瞬時画像を合成するか、または、最適な１枚を選択することによってダイナミックレンジの広い瞬時画像を取得することができる。
【００２４】
請求項４の発明であると、複数のライトの点消灯状態または光量を変化させて、二次元画像センサによって複数の瞬時画像を取込み、これら複数の瞬時画像を合成するか、または、最適な１枚を選択することによって、光学装置のライトからの反射が少ない瞬時画像、または、影の少ない瞬時画像を取得することができる。
【００２５】
請求項５の発明であると、複数の二次元画像センサによって被写体の瞬時画像をそれぞれ取込み、これら複数の瞬時画像に基づいて画像補正情報を算出し、この算出した画像補正情報に基づいて一次元画像センサによって取り込んだスキャン画像を補正して、最適な被写体の画像を得ることができる。
【００２６】
請求項６の発明であると、予め画像の色データとグレイデータの対応関係データを記録したテーブルを用意しておき、二次元画像センサによって取り込んだカラーの瞬時画像を、テーブルに記録された対応関係データに基づいてグレイレベルデータの瞬時画像に変換して、最適なグレイレベルの瞬時画像を得ることができる。
【００２８】
請求項７の発明であると、画像を画像表示装置に表示されており、画像取り込み面に被写体がどの位置にあるかが、一目で利用者が判断できる。したがって、誤って歪んだまま画像を取込む心配がない。
【００３０】
請求項８の発明であると、画像取込み前の瞬時画像、または、スキャン画像と、画像取込み後の瞬時画像、または、スキャン画像との差分処理を行うことにより、前記画像取り込み面、または、前記カバーの汚れを検出する。そして、その検出した汚れを除去するか、検出したことを報知すればよい。
【００３１】
請求項９の発明であると、ケースの上下を逆にして、画像取り込み面を下にして被写体に当て、瞬時画像、または、スキャン画像を取り込むものである。
【００３２】
【発明の実施の形態】
以下、本発明の一実施例を図面に基づいて説明する。
【００３３】
［１．複写機１０の構造］
図１は、本実施例の画像取込み装置を適用した複写機１０の説明図である。
【００３４】
図１に示すように、複写機１０の上部は、画像取込み装置１２を配し、その下部は、画像取込み装置１２で取り込んだ画像を紙面に印刷する印刷装置１４である。
【００３５】
画像取込み装置１２は、四角形の筺体より構成されたケース１６より本体が構成され、このケース１６の上面は、透明なガラス板より構成された画像取込み面１８となっており、この上に被写体４０を載置する。
【００３６】
この画像取込み面１８の上面には、一端部がヒンジでケース１６と回動自在に接続された板状のカバー２０が配されている。
【００３７】
ケース１６の底面には、静止画像、または、動画像を撮影できる３つの二次元画像センサであるデジタルカメラ２２，２４，２６が配されている。これらデジタルカメラ２２，２４，２６は画像取込み面１８を撮影できるようにするために、シャッタ機構、絞り機構、レンズ機構等よりなる光学装置２２ａ，２４ａ，２６ａが設けられている。デジタルカメラ２２，２４，２６の撮像素子は、ＣＣＤ素子より構成され、高い解像度を有している。なお、撮像素子は、ＣＭＯＳセンサでもよい。また、これら光学装置２２ａ，２４ａ，２６ａは、ズーム機能を有し、必要があれば移動可能及び回転可能に配し、デジタルカメラのレンズキャリブレーションが調整可能なようにしておく。なお、「レンズキャリブレーション」とは、レンズ特性を考慮して「デジタルカメラの画像座標」と「画像画像取込み面の物理的な座標」との対応関係を求めること及び求めた対応関係をいう。
【００３８】
デジタルカメラ２２，２４，２６の間には、画像取込み面１８に配された被写体４０を照明するための照明装置２８，３０，３２，３４が配されている。照明装置２８，３０，３２，３４のランプ２８ａ，３０ａ，３２ａ，３４ａは、蛍光灯式、発熱式、放電式、フラッシュが適用できる。
【００３９】
ケース１６内部における画像取込み面１８の下方には、一次元画像センサ（以下、スキャンセンサという）３６が画像取込み面１８に沿って移動可能なように配されている。
【００４０】
また、ケース１６の外部には、液晶表示装置を有するモニター６０が設けられている。このモニター６０は、デジタルカメラ２２〜２６で撮影した画像や操作情報を表示する。
【００４１】
［２．画像取込み方法］
次に、上記構成の画像取込み装置１２によって画像を取り込む幾つかの方法を順番に説明していく。なお、本発明では、上面のみが透明となったケース１６内部の密閉された空間で画像を取得するために、他の部分からの入射する光の影響がなく、照明装置２８〜３４からの光だけで撮影するために、次から説明する画像処理が実現できる。
【００４２】
｛第１の方法｝
照明装置２８〜３４の点灯している個数を変えて光量を変化させたり、各照明装置２８〜３４の明るさを変化させて、それぞれの変化した状態でデジタルカメラ２２〜２６によって画像取込み面１８に配された被写体４０の画像（以下、瞬時画像という）を取り込む。この場合に、取り込まれた瞬時画像はそれぞれ明るさが異なるため、ダイナミックレンジの広い画像を得ることができる。
【００４３】
このように、画像取込み装置１２では、各照明装置２８〜３４の光量を変化させるだけで簡単にダイナミックレンジの広い画像を得ることができる。
【００４４】
そして、この方法の場合にはスキャンセンサ３６によってスキャン画像を取り込む必要はない。
【００４５】
なお、本明細書では、「瞬時画像」とは、二次元画像センサであるデジタルデジタルカメラで撮影した画像をいう。
【００４６】
また、このデジタルカメラ２２〜２６で撮影した瞬時画像は、モニター６０に常に表示されており、画像取り込み面１５に被写体４０がどの位置にあるかが、一目で利用者に判断できる。したがって、誤って歪んだまま画像を取り込む心配がない。なお、このモニター６０による表示は、下記の全ての方法においても行われているので、これら方法を確実に利用者は処理できる。
【００４７】
｛第２の方法｝
第２の方法は、複数の照明装置２８〜３４を順番に点灯することによって、各ランプ２８ａ〜３４ａの光によって起こる反射の影響を取り除いてデジタルカメラ２２〜２６によって被写体４０の瞬時画像を撮影する。
【００４８】
｛第３の方法｝
第３の方法は、スキャンセンサ３６によって高解像度のスキャン画像を取得し、デジタルカメラ２２〜２６によってダイナミックレンジの広い画像を取得して、これらを合成して最終的な被写体４０の画像を得る方法である。なお、「ダイナミックレンジ」とは、グレイレベルの変化の範囲のことを言い、明るさの変化の範囲に相当する。また、「グレイレベル」とは、画像の濃淡値のことであり明るさに相当する。
【００４９】
以下、順番にその方法を説明する。
【００５０】
（１） スキャンセンサ３６によって画像取込み面１８に載置された被写体４０の画像をスキャンして、スキャンセンサ３６によって被写体４０の二次元画像（スキャン画像）を取り込む。
【００５１】
（２） デジタルカメラ２２，２４，２６によって被写体４０の二次元画像（瞬時画像）を瞬時に取り込む。
【００５２】
このとき、第１の方法で説明したように、図２に示すように点灯する照明装置２８〜３４の光量を変化させて画像を取り込む。なお、光量を変化させるだけでなく、光学装置２８ａ〜３４ａのレンズの絞り、シャッター速度、ゲイン等の照明条件を変化させてもダイナミックレンジの広い瞬時画像を得る。
【００５３】
このことは、色の変化に対応することにもなる。つまり、露光量を変化させた画像を取り込んでおき、その後、画像の中で部分的に適切な露光量を決定することも可能である。
【００５４】
具体的には、ダイナミックレンジの広い画像を得る方法としては、前記したように光量の条件等を変化させて複数枚の瞬時画像を取得し、最も広いダイナミックレンジの画像を得る方法と、異なる条件で撮影した瞬時画像を１枚の画像に合成する方法がある。
【００５５】
この合成する方法としては、第１の瞬時画像のグレイレベルの０〜１２０を取り、第２の瞬時画像のグレイレベルの１２１〜２４０のデータを合成して、１枚のダイナミックレンジの広い瞬時画像を得ることが考えられる。
【００５６】
（３） 図３に示すように、瞬時画像とスキャン画像を合成する。
【００５７】
この合成する方法は、次の通りである。
【００５８】
（ａ）まず、２枚の画像の位置合わせを行う。
【００５９】
デジタルカメラ２２〜２６のデータは、レンズキャリブレーションの技術、すなわち、図３におけるレンズ特性の補正により、画像座標と画像取込み面の物理座標との対応関係が求められるため、その結果を利用して両方の画像の画像取込み面での物理的な位置合わせを行う。
【００６０】
（ｂ） そして、図３に示すように瞬時画像とスキャン画像とを合成する。この場合に、文字、線画等の空間周波数の高い領域はスキャン画像のデータを用い、空間周波数の低い領域（例えば、写真や絵画等のグレイレベルの画像）は瞬時画像のデータを用いる。なお、空間周波数は、画像のエッジ処理やスペクトル解析等により検出することができる。
【００６１】
（ｃ−１） ２枚の画像を重ねる第１の方法は、上記のそれぞれの領域を単純に１枚の画像の上に重ねる。この方法は、スキャン画像の得意な領域と瞬時画像の得意な領域をそれぞれつなぎ合わせて１枚の画像を得ることとなる。
【００６２】
（ｃ−２） ２枚の画像を重ねる第２の方法は、図４に示すように、取り込んだ画像がグレイレベル画像等の場合には、瞬時画像のデータ上にスキャン画像のデータを重ねて、画像の質を改善する方法である。なお、図４の合成した画像は、瞬時画像の輪郭部分が強調されていることを示している。
【００６３】
｛第４の方法｝
複数の照明装置と１個のデジタルカメラを用いて、被写体４０からの反射を防ぐ方法について説明する。例として、２個の照明装置３０，３２と１個のデジタルカメラ２４を用いて、被写体４０からの反射を防ぐ方法について説明する。
【００６４】
画像を取り込む場合に被写体４０に反射が起こる原因は、被写体４０の反射特性とデジタルカメラ、ランプの位置関係によるものである。
【００６５】
図５において、照明装置３０だけで照明した場合、照明装置３０が発光した光は、点Ａ付近で反射を起こしやすく、点Ｂでは反射を起こしにくい。そこで、点Ａの部分の画像は、照明装置３０でなく、照明装置３２だけで照明した場合の瞬時画像を用いる。逆に、点Ｂの部分の瞬時画像は照明装置３０で照明した場合の画像を用いる。
【００６６】
具体的には次のように行う。
【００６７】
（１） 照明装置３０を点灯した場合の瞬時画像と、照明装置３２を点灯した場合の瞬時画像の両方をデジタルカメラ２４で取り込む。
【００６８】
（２） 各画像のヒストグラム（横軸がグレイレベル、縦軸が頻度のグラフ）を求める。このとき、図６（ａ）のようにヒストグラムが一様に分布している場合には、その照明装置の画像を用いる。しかし、図６（ｂ）のようにヒストグラムがほぼ飽和している、あるいは、偏っている場合には、その部分は他の照明装置で取り込んだ瞬時画像を用いる。
【００６９】
（変更例１）
上の方法では、ある範囲のヒストグラムを調べているが、これ以外に、各画素毎のグレイレベルを調べて、その画素が飽和していればその画素に相当する他の照明装置でのグレイレベルで置き換えることもできる。
【００７０】
（変更例２）
デジタルカメラと照明装置の位置関係から反射が起こしやすい位置というものが予め知ることができるので、その部分は反射を発生しにくい照明装置での瞬時画像を用いるようにしてもよい。
【００７１】
（変更例３）
個々の照明装置の明るさを制御することも考えられる。この明るさの変化の例としては、照明装置３０，３２の両方を点灯した場合に最も明るく照明される。そして、どちらか一方を半分の光量で点灯した場合は照明の明るさに違いが生じる。したがって、これにより反射の状態を制御してもよい。
【００７２】
（変更例４）
被写体４０が本であって、画像取込み面１８に押さえつける場合には、照明の方向によって影が発生することがある。そのため、点灯する照明装置を変化させて複数枚の瞬時画像を取り込む。そして、取り込んだ瞬時画像の中で、図６に示すようなヒストグラムを描いてそのグレイレベルが均等な瞬時画像を採用する。すなわち、影できる部分には、図６においてグレイレベルの低い部分にピークが出ているので、その部分を他の瞬時画像で置き換えればよい。
【００７３】
｛第５の方法｝
複数のデジタルカメラ２２〜２６からの撮影範囲が重なる領域では、三次元計測を行うことが可能である。この方法を利用して取得する画像を補正して適切な画像を得る方法について説明する。
【００７４】
（三次元計測方法の主な流れ）
この方法においてはデジタルカメラ２２〜２６では時系列の動画像を取り込むものとする。そして、これら画像間では差分処理やオプティカルフローを求めている。
【００７５】
（１） 図７に示すように、画像取込み面１８に本５０を押しつけ、デジタルカメラ２２〜２６で画像を読み込ませる。このとき画像処理により特徴点（例えばエッジ）等を求める。次に、これらの特徴点を複数のデジタルカメラ２２〜２６の間での対応点とする。この対応点としては例えば図７の点Ａである。
【００７６】
（２） 連続して画像を取り込んでいるため、対応点が図７の点Ｂのように多少画像取込み面１８から外れたとしてもその対応点を追跡してその位置を測ることができる。
【００７７】
（３） その後、スキャンセンサ３６により高解像度の画像を読み込む。
【００７８】
（４） 上記の追跡している対応点の距離を基に、そのスキャン画像の歪み等を補正する。
【００７９】
このようにすることで従来、本５０をしっかり支えている必要があったが、デジタルカメラ２２〜２６では瞬間的に瞬時画像を取り込むので、本５０をずっと抑えている必要がない。また、本５０の文字の画像は、スキャンセンサ３６による高解像度のスキャン画像を用いるため、高解像度の画像を得ることができる。
【００８０】
（補正方法の簡単な説明）
次に、上記の（４）における追跡した瞬時画像でスキャン画像を補正する方法について、図８〜図１１に基づいて説明する。
【００８１】
画像取込み面１８に本５０が押しつけられた状態が図８に示す状態である。このときの文字が図９である場合に、それが図１０のように少し浮いた状態の時の文字が図１１に示す状態である。
【００８２】
文字「ＰＮ」に対応点（例えば、図９、図１１における○、△、□）を設定し、動画像処理によりそれらの対応点を追跡する。
【００８３】
この対応点を用いて文字「ＰＮ」の面の変化を調べる。すなわち、図１１の文字の面（図１１の太線部分）の方程式を求める。
【００８４】
スキャンセンサ３６により瞬時画像を取り込んだ後、この面の方程式の情報を用いて、スキャン画像の文字を補正する。
【００８５】
なお、上記説明では、平面で説明したが、曲面であっても対応点を増やせば、その曲面の補正を行うことができる。
【００８６】
（補正方法の詳細な説明）
さらに、補正をする場合の詳細な説明を図１７に基づいて説明する。
【００８７】
なお、この説明においては簡単化のために二次元で説明する。説明における座標軸は図１７に示すものとする。
【００８８】
（１） 本５０を押しつけた場合には、デジタルカメラ２４により、線分ａｂを検出する。この線分ａｂは上記の説明文の対応点等が相当する。
【００８９】
（２） 本５０が浮いた場合には、本５０がＸ軸（画像取込み面１８）から外れることになり線分ａｂが線分ａ′ｂ′となる。このときデジタルカメラ２４の画像の動画像処理やオプティカルフロー処理等により点ａ及び点ｂを追随しているため、点ａ′と点ｂ′の座標は計測できる。
【００９０】
（３） その後、スキャンセンサ３６での取込みを行う。スキャンセンサ３６でのスキャン画像で得られるのは、線分Ｐａ′−Ｐｂ′である。この線分Ｐａ′−Ｐｂ′は線分ａ′ｂ′をＸ軸に投影したものである。
【００９１】
（４） そこで補正として、線分Ｐａ′−Ｐｂ′をアフィン変換することにより線分ａｂを得ることができる。例えば、図１７では線分ａ′ｂ′と画像取込み面１８とのなす角度をθとすると、線分Ｐａ′−Ｐｂ′を１／ｃｏｓθだけ拡大すればよい。なお、アフィン変換とは、次のようなものである。
【００９２】
【数１】
ここで、Ａは変換行列（拡大縮小、回転、剪断、その他）を示し、上に矢印のついたａは平行移動ベクトルを示している。
【００９３】
｛第６の方法｝
カバー２０を開けて画像を取り込む際に問題となるのが原稿を抑えている手や指が写り込むことである。このため、上記の三次元計測の技術を用いて、画像取込み面１８から離れた物体（手）の画像を取り込まないようにすることができる。
【００９４】
図１２に示すように、画像取込み面１８に本５０を手５２で押さえている場合を考える。
【００９５】
本５０は画像取込み面１８に押さえつけられているが、手５２は画像取込み面１８から少し浮いた状態となっているので、この高さの違いを三次元計測により検出する。
【００９６】
デジタルカメラ２４の視線（実線）とデジタルカメラ２６の視線（実線）は画像取込み面１８上にある点Ａに対する視線である。すなわち、デジタルカメラ２４の瞬時画像は図１３に示すようなものであり、デジタルカメラ２６の瞬時画像は図１４に示すようなものである。
【００９７】
ここで、点Ｂに対する両デジタルカメラ２４，２６の視線（波線）に対する画像はデジタルカメラ２４では点Ａと点Ｂの画像座標が重なっているが、デジタルカメラ２６では点Ａと点Ｂの画像座標は一致していない。このことにより、点Ｂ（手５２に相当）の高さが画像取込み面１８とは異なることが判断できる。
【００９８】
つまり、画像取込み面１８上の各点に対するデジタルカメラ２４，２６の視線の組（すなわち画像座標の組）というものが事前にわかるため、その組に属さない点を除去することができる。
【００９９】
次に、この画像座標の組を除去する方法を図１５及び図１６に基づいて説明する。
【０１００】
図１５においてデジタルカメラ２４の画像の点Ｐ１〜Ｐ４とデジタルカメラ２６の画像の点Ｐ１〜Ｐ４のそれぞれの画像領域の相関性が高いか否かで画像座標の組を判断する。このとき、対応点探索を考える場合に探索範囲が狭いというメリットがある。
【０１０１】
この方法により画像取込み面１８にある被写体４０のみを取り込むことができる。
【０１０２】
（変更例）
スキャンセンサ３６とデジタルカメラ２２〜２６のデータからの三次元計測を行うこともできる。すなわち、スキャンセンサ３６は垂直方向の視線を持つものと考えられるので、デジタルカメラ２２〜２６の瞬時画像に高さ方向の違いが出る。
【０１０３】
さらに、スキャンセンサ３６を斜めに取り込む等により、より確実に三次元計測を行うことができる。
【０１０４】
｛第７の方法｝
本実施例の画像取込み装置１２では被写体４０の位置の補正を行うことができる。以下、その方法について説明する。
【０１０５】
（１） デジタルカメラ２２〜２６により動画像を取り込む。
【０１０６】
（２） 動画像間の差分処理を行うことで、画像取込み面１８上に置かれた原稿の存在及びその位置を検出する。
【０１０７】
（３） デジタルカメラ２２〜２６からのデータを基にして、スキャンセンサ３６により画像を取込むときに、原稿（被写体４０）の領域だけの画像を取得する。
【０１０８】
この方法であると被写体４０を画像取込み面１８の上に置く場合に、被写体４０と画像取込み面１８上の位置合わせを正確に行う必要がない。また、原稿の領域だけの画像を取得するために、カバー２０で画像取込み時に抑える必要もなくなる。
【０１０９】
（変更例）
照明装置２８〜３４を発光させると、その光が戻ってくるかどうかにより、その場所に被写体４０があるかどうかを判断してもよい。
【０１１０】
｛第８の方法｝
現在の黒白色の複写機等では、スキャンセンサで原稿からの光の反射強度の違いを感知し、それから色画像を表現している。
【０１１１】
そのため、本方法では、デジタルカメラ２２〜２６で被写体４０の色画像（瞬時画像）を取り込む。そして、予め準備した色データとグレイレベルのデータの対応テーブルに基づいて、前記取り込んだ色画像をグレイレベルの画像に置き換えて良好な色表現で画像を再現する。
【０１１２】
このとき、周囲の色のパターンにより、対応するグレイレベルを変化させる。例えば、赤と青等よく似た色が出た場合にはそれらの判別ができるようにグレイレベルを変化させることができる。
【０１１３】
｛第９の方法｝
上記各方法においてデジタルカメラ２２〜２６の光学装置２２ａ〜２６ａのレンズのレンズキャリブレーションを補正する方法を説明する。
【０１１４】
レンズ面に対し物理的な座標がわかってる模様（例えば、円、格子模様、その他）を置き、それをデジタルカメラ２２〜２６で取り込む。
【０１１５】
その後、模様の物理的な座標と対応する画像点との関係式を求めておく。
【０１１６】
最後に、これらに基づいてレンズキャリブレーションを調整すればよい。
【０１１７】
なお、上記の物理的な座標のわかっている模様として、カバー２０の下面に複数のＬＥＤ、または、ＥＬ等の発光体を設けて、それらを順に光らせることでレンズキャリブレーションの補正を行うこともできる。
【０１１８】
この場合には、カバー２０のパターンが通常の画像取込み動作の場合に障害にならず、また、発光体の発光パターンを変化することでレンズキャリブレーションの調整が容易となる。
【０１１９】
｛第１０の方法｝
画像取り込み面１８やカバーの下面２０には、使用により汚れが付いて、それが複写されることがある。
【０１２０】
そこで、複写機１０の使用前の瞬時画像、または、スキャン画像と、使用後の瞬時画像、または、スキャン画像とを比較して、差分処理を行うことにより、その汚れを発見することができる。
【０１２１】
この汚れを発見した場合には、汚れがあったことをブザーやランプで報知するか、その汚れを除く補正をして画像を作成してもよい。
【０１２２】
｛第１１の方法｝
原稿の画像を取り込む場合に、その原稿の裏面に文字や模様が描かれているときに（すなわち、両面印刷の場合）、照明により裏写りが起こる場合がある。また、複数枚の原稿が重なっているときに次のページの原稿が、照明により裏写りが起こる場合がある。そこで、この裏写りを除去する方法を説明する。
【０１２３】
デジタルカメラ２２から２６で瞬時画像を取得する場合に、照明装置２８から３４の明るさ条件を変化させて複数枚の瞬時画像を取り込む。そして、それらの瞬時画像の明度処理、平均化処理して変化分（差分処理など）を求めることにより、変化のあった部分を裏写り部分として、原稿の裏写りの情報を除去する。
【０１２４】
｛変更例１｝
カバー２０を透明にすることで、上方から原稿の位置が見え、その位置を容易に確認することができる。
【０１２５】
また、カバー２０を半透明にすることで原稿の位置を確認できるだけでなく、レンズキャリブレーション用の模様等を描くことも可能となる。
【０１２６】
｛変更例２｝
上記実施例では、画像取り込み装置１２のケース１６の上面にある画像取り込み面１８に被写体を載置したが、これに代えて、図１８に示すように、机の上などに被写体（本５０）を置き、その上に携帯型の画像取り込み装置１２のケース１６の画像取り込み面１８を下にして、本５０へ押しつけて、画像を取得してもよい。
【０１２７】
この変更例であると、本５０のような分厚い物でも簡単に画像を取得することができる。
【０１２８】
｛変更例３｝
上記実施例では、画像取り込み装置１２として複写機１０を例示したが、これに限らず、スキャナー装置、その他の画像を取り込む装置に適用できる。
【０１２９】
【発明の効果】
以上により本発明の画像取込み装置であると、二次元画像センサを用いることにより、迅速、かつ、きれいな瞬時画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の一実施例を示す複写機の説明図である。
【図２】ダイナミックレンジの拡大の状態を示す図面である。
【図３】スキャン画像と瞬時画像のデータの合成状態を示す図面である。
【図４】第２の合成方法のイメージ図である。
【図５】反射を除去する方法における画像取込み装置の説明図である。
【図６】（ａ）は反射が発生していない場合のヒストグラムであり、（ｂ）は反射が発生している場合のヒストグラムである。
【図７】本の画像を取り込む場合の画像取込み装置の説明図である。
【図８】同じく本を押しつけた状態の画像取込み装置の説明図である。
【図９】本を押しつけた状態のデジタルカメラの画像と文字と対応点の図である。
【図１０】本が浮いた状態の画像取込み装置の説明図である。
【図１１】本が浮いた状態のデジタルカメラの画像と文字と対応点の図である。
【図１２】本を手で押さえた状態の画像取込み装置の説明図である。
【図１３】デジタルカメラ２４の画像である。
【図１４】デジタルカメラ２６の画像である。
【図１５】画像取込み高さが異なる状態で画像を取り込む場合の画像取込み装置の説明図である。
【図１６】各デジタルカメラの画像である。
【図１７】三次元計測方法における補正方法を説明する図である。
【図１８】変更例２を示す説明図である。
【符号の説明】
１０ 複写機
１２ 画像取込み装置
１４ 印刷装置
１６ ケース
１８ 画像取込み面
２０ カバー
２２ デジタルカメラ
２４ デジタルカメラ
２６ デジタルカメラ
２８ 照明装置
３０ 照明装置
３２ 照明装置
３４ 照明装置
３６ スキャンセンサ
【発明の属する技術分野】
本発明は、複写機、スキャナ装置等の画像取込み装置に関するものである。
【０００２】
【従来の技術及び発明が解決しようとする課題】
最近は、複写機やスキャナ装置が普及し、広く使用されている。しかし、これら画像取込み装置は一次元画像センサを画像の画像取込み面に沿って移動させ、スキャン画像を取得することによって画像を取り込んでいるため、次のような問題点がある。
【０００３】
第１に、一次元画像センサが画像取込み面に沿って移動するための時間、すなわち、スキャンするための時間がかかるという問題点がある。
【０００４】
第２に、一次元画像センサがスキャンする間、画像に取込みたい紙、写真、本などの物体（以下、被写体という）を静止させる必要があるという問題点がある。
【０００５】
第３に、被写体が写真等の場合には、それを再現するには階調が少ないという問題点がある。これは、一次元画像センサ自身の問題ではなく、一次元画像センサの場合には取込みが一度しかできないために発生する問題点であり、また、画像の一部分で判断してしまうという問題点があるからである。
【０００６】
第４に、被写体が光沢のある原稿（例えば光沢紙、写真）の場合には反射が発生してしまい、その反射を画像として取り込んでしまうという問題点がある。
【０００７】
第５に、画像取込み面に被写体を置く構造であるため、厚みのある本が取りにくいという問題点がある。
【０００８】
第６に、被写体の位置を正確に合わせないないといけないが、被写体の画像位置合わせは不便であるという問題点がある。
【０００９】
そこで、本発明は上記問題点に鑑み、被写体の画像を迅速かつきれいに取り込むことができる画像取込み装置を提供するものである。
【００１０】
【課題を解決するための手段】
請求項１の発明は、ケースの上面に透明板よりなる画像取込み面を有し、前記ケース内部の底面に、レンズを含む光学装置を有した二次元画像センサを配し、前記ケースの内部に照明装置を配し、画像として取込みたい部分を下にした被写体を前記画像取込み面上に配し、前記被写体へ下方から前記照明装置によって光をあてて、前記二次元画像センサによって前記被写体の瞬時画像を取り込み、前記ケースの上方に、前記画像取込み面及び前記被写体を覆う板状のカバーを設け、前記カバーの下面に、前記光学装置のレンズキャリブレーションの補正を行うための発光体を設けたことを特徴とする画像取込み装置である。
【００１１】
請求項２の発明は、前記ケース内部に一次元画像センサを前記画像取込み面に沿って移動可能に配し、画像として取込みたい部分を下にした被写体を前記画像取込み面上に配し、前記被写体へ下方から前記照明装置によって光をあてて、前記一次元画像センサを移動させることによって前記被写体のスキャン画像を取込み、また、前記二次元画像センサによって前記被写体の瞬時画像を取込み、前記スキャン画像と前記瞬時画像を合成して前記被写体の画像を取得することを特徴とする請求項１記載の画像取込み装置である。
【００１２】
請求項３の発明は、前記二次元画像センサによって前記被写体の瞬時画像を取り込む場合に、前記光学装置の撮影条件、または、前記照明装置の光量等の照明条件を変化させて、前記二次元画像センサによって複数の瞬時画像を取込み、これら複数の瞬時画像を合成するか、または、最適な一枚を選択することによって、ダイナミックレンジの広い瞬時画像を取得することを特徴とする請求項１または２記載の画像取込み装置である。
【００１３】
請求項４の発明は、前記照明装置は、複数のライトが異なる位置に配された構成よりなり、前記二次元画像センサによって前記被写体の瞬時画像を取り込む場合に、前記複数のライトの点消灯状態または光量を変化させて、前記二次元画像センサによって複数の瞬時画像を取込み、これら複数の瞬時画像を合成するか、または、最適な一枚を選択することによって、前記ライトからの反射が少ない瞬時画像、または、陰の少ない瞬時画像を取得することを特徴とする請求項１または２記載の画像取込み装置である。
【００１４】
請求項５の発明は、前記二次元画像センサは、前記ケース内部に複数配され、前記複数の二次元画像センサによって前記被写体の瞬時画像をそれぞれ取込み、これら複数の瞬時画像に基づいて画像補正情報を算出し、この算出した画像補正情報に基づいて前記スキャン画像を補正することを特徴とする請求項２記載の画像取込み装置である。
【００１５】
請求項６の発明は、前記二次元画像センサは、カラーセンサであり、画像の色データとグレイレベルデータの対応関係データを記録したテーブルを有し、前記二次元画像センサによって前記被写体のカラーの瞬時画像を取込み、前記瞬時画像の色データを前記テーブルに記録された対応関係データに基づいてグレイレベルデータに変換することにより、前記カラーの瞬時画像からグレイレベルの瞬時画像を作成することを特徴とする請求項１または２記載の画像取込み装置である。
【００１７】
請求項７の発明は、前記二次元画像センサにより取得した瞬時画像、または、前記一次元画像センサで取得したスキャン画像を画像表示装置に表示することを特徴とする請求項１から６のいずれか一項に記載の画像取込み装置である。
【００１９】
請求項８の発明は、画像取込み前の瞬時画像、または、スキャン画像と、画像取込み後の瞬時画像、または、スキャン画像との差分処理を行うことにより、前記画像取り込み面、または、前記カバーの汚れを検出することを特徴とする請求項１から６のいずれか一項に記載の画像取込み装置である。
【００２０】
請求項９の発明は、前記ケースの画像取り込み面を下にして被写体に当て、前記瞬時画像、または、前記スキャン画像を取り込むことを特徴とする請求項１から８のいずれか一項に記載の画像取込み装置である。
【００２１】
【作 用】
請求項１の発明であると、二次元画像センサによって被写体の瞬時画像を取り込むため、その取込み時間を短縮することができる。また、二次元画像センサの光学装置のレンズキャリブレーションの補正を、カバーの下面に設けた発光体によって補正して、適切な瞬時画像を得ることができる。
【００２２】
請求項２の発明であると、一次元画像センサによって被写体のスキャン画像を取込み、二次元画像センサによって被写体の瞬時画像を取込み、これらを合成して被写体の画像を取得するため、スキャン画像で高解像度の画像を得て、二次元画像センサではダイナミックレンジの広い画像を得ることによって、その合成した画像は高解像度でかつダイナミックレンジの広い画像となる。
【００２３】
請求項３の発明であると、光学装置の撮影条件、または、照明装置の光量等の照明条件を変化させて、二次元画像センサによって複数の瞬時画像を取込み、これら複数の瞬時画像を合成するか、または、最適な１枚を選択することによってダイナミックレンジの広い瞬時画像を取得することができる。
【００２４】
請求項４の発明であると、複数のライトの点消灯状態または光量を変化させて、二次元画像センサによって複数の瞬時画像を取込み、これら複数の瞬時画像を合成するか、または、最適な１枚を選択することによって、光学装置のライトからの反射が少ない瞬時画像、または、影の少ない瞬時画像を取得することができる。
【００２５】
請求項５の発明であると、複数の二次元画像センサによって被写体の瞬時画像をそれぞれ取込み、これら複数の瞬時画像に基づいて画像補正情報を算出し、この算出した画像補正情報に基づいて一次元画像センサによって取り込んだスキャン画像を補正して、最適な被写体の画像を得ることができる。
【００２６】
請求項６の発明であると、予め画像の色データとグレイデータの対応関係データを記録したテーブルを用意しておき、二次元画像センサによって取り込んだカラーの瞬時画像を、テーブルに記録された対応関係データに基づいてグレイレベルデータの瞬時画像に変換して、最適なグレイレベルの瞬時画像を得ることができる。
【００２８】
請求項７の発明であると、画像を画像表示装置に表示されており、画像取り込み面に被写体がどの位置にあるかが、一目で利用者が判断できる。したがって、誤って歪んだまま画像を取込む心配がない。
【００３０】
請求項８の発明であると、画像取込み前の瞬時画像、または、スキャン画像と、画像取込み後の瞬時画像、または、スキャン画像との差分処理を行うことにより、前記画像取り込み面、または、前記カバーの汚れを検出する。そして、その検出した汚れを除去するか、検出したことを報知すればよい。
【００３１】
請求項９の発明であると、ケースの上下を逆にして、画像取り込み面を下にして被写体に当て、瞬時画像、または、スキャン画像を取り込むものである。
【００３２】
【発明の実施の形態】
以下、本発明の一実施例を図面に基づいて説明する。
【００３３】
［１．複写機１０の構造］
図１は、本実施例の画像取込み装置を適用した複写機１０の説明図である。
【００３４】
図１に示すように、複写機１０の上部は、画像取込み装置１２を配し、その下部は、画像取込み装置１２で取り込んだ画像を紙面に印刷する印刷装置１４である。
【００３５】
画像取込み装置１２は、四角形の筺体より構成されたケース１６より本体が構成され、このケース１６の上面は、透明なガラス板より構成された画像取込み面１８となっており、この上に被写体４０を載置する。
【００３６】
この画像取込み面１８の上面には、一端部がヒンジでケース１６と回動自在に接続された板状のカバー２０が配されている。
【００３７】
ケース１６の底面には、静止画像、または、動画像を撮影できる３つの二次元画像センサであるデジタルカメラ２２，２４，２６が配されている。これらデジタルカメラ２２，２４，２６は画像取込み面１８を撮影できるようにするために、シャッタ機構、絞り機構、レンズ機構等よりなる光学装置２２ａ，２４ａ，２６ａが設けられている。デジタルカメラ２２，２４，２６の撮像素子は、ＣＣＤ素子より構成され、高い解像度を有している。なお、撮像素子は、ＣＭＯＳセンサでもよい。また、これら光学装置２２ａ，２４ａ，２６ａは、ズーム機能を有し、必要があれば移動可能及び回転可能に配し、デジタルカメラのレンズキャリブレーションが調整可能なようにしておく。なお、「レンズキャリブレーション」とは、レンズ特性を考慮して「デジタルカメラの画像座標」と「画像画像取込み面の物理的な座標」との対応関係を求めること及び求めた対応関係をいう。
【００３８】
デジタルカメラ２２，２４，２６の間には、画像取込み面１８に配された被写体４０を照明するための照明装置２８，３０，３２，３４が配されている。照明装置２８，３０，３２，３４のランプ２８ａ，３０ａ，３２ａ，３４ａは、蛍光灯式、発熱式、放電式、フラッシュが適用できる。
【００３９】
ケース１６内部における画像取込み面１８の下方には、一次元画像センサ（以下、スキャンセンサという）３６が画像取込み面１８に沿って移動可能なように配されている。
【００４０】
また、ケース１６の外部には、液晶表示装置を有するモニター６０が設けられている。このモニター６０は、デジタルカメラ２２〜２６で撮影した画像や操作情報を表示する。
【００４１】
［２．画像取込み方法］
次に、上記構成の画像取込み装置１２によって画像を取り込む幾つかの方法を順番に説明していく。なお、本発明では、上面のみが透明となったケース１６内部の密閉された空間で画像を取得するために、他の部分からの入射する光の影響がなく、照明装置２８〜３４からの光だけで撮影するために、次から説明する画像処理が実現できる。
【００４２】
｛第１の方法｝
照明装置２８〜３４の点灯している個数を変えて光量を変化させたり、各照明装置２８〜３４の明るさを変化させて、それぞれの変化した状態でデジタルカメラ２２〜２６によって画像取込み面１８に配された被写体４０の画像（以下、瞬時画像という）を取り込む。この場合に、取り込まれた瞬時画像はそれぞれ明るさが異なるため、ダイナミックレンジの広い画像を得ることができる。
【００４３】
このように、画像取込み装置１２では、各照明装置２８〜３４の光量を変化させるだけで簡単にダイナミックレンジの広い画像を得ることができる。
【００４４】
そして、この方法の場合にはスキャンセンサ３６によってスキャン画像を取り込む必要はない。
【００４５】
なお、本明細書では、「瞬時画像」とは、二次元画像センサであるデジタルデジタルカメラで撮影した画像をいう。
【００４６】
また、このデジタルカメラ２２〜２６で撮影した瞬時画像は、モニター６０に常に表示されており、画像取り込み面１５に被写体４０がどの位置にあるかが、一目で利用者に判断できる。したがって、誤って歪んだまま画像を取り込む心配がない。なお、このモニター６０による表示は、下記の全ての方法においても行われているので、これら方法を確実に利用者は処理できる。
【００４７】
｛第２の方法｝
第２の方法は、複数の照明装置２８〜３４を順番に点灯することによって、各ランプ２８ａ〜３４ａの光によって起こる反射の影響を取り除いてデジタルカメラ２２〜２６によって被写体４０の瞬時画像を撮影する。
【００４８】
｛第３の方法｝
第３の方法は、スキャンセンサ３６によって高解像度のスキャン画像を取得し、デジタルカメラ２２〜２６によってダイナミックレンジの広い画像を取得して、これらを合成して最終的な被写体４０の画像を得る方法である。なお、「ダイナミックレンジ」とは、グレイレベルの変化の範囲のことを言い、明るさの変化の範囲に相当する。また、「グレイレベル」とは、画像の濃淡値のことであり明るさに相当する。
【００４９】
以下、順番にその方法を説明する。
【００５０】
（１） スキャンセンサ３６によって画像取込み面１８に載置された被写体４０の画像をスキャンして、スキャンセンサ３６によって被写体４０の二次元画像（スキャン画像）を取り込む。
【００５１】
（２） デジタルカメラ２２，２４，２６によって被写体４０の二次元画像（瞬時画像）を瞬時に取り込む。
【００５２】
このとき、第１の方法で説明したように、図２に示すように点灯する照明装置２８〜３４の光量を変化させて画像を取り込む。なお、光量を変化させるだけでなく、光学装置２８ａ〜３４ａのレンズの絞り、シャッター速度、ゲイン等の照明条件を変化させてもダイナミックレンジの広い瞬時画像を得る。
【００５３】
このことは、色の変化に対応することにもなる。つまり、露光量を変化させた画像を取り込んでおき、その後、画像の中で部分的に適切な露光量を決定することも可能である。
【００５４】
具体的には、ダイナミックレンジの広い画像を得る方法としては、前記したように光量の条件等を変化させて複数枚の瞬時画像を取得し、最も広いダイナミックレンジの画像を得る方法と、異なる条件で撮影した瞬時画像を１枚の画像に合成する方法がある。
【００５５】
この合成する方法としては、第１の瞬時画像のグレイレベルの０〜１２０を取り、第２の瞬時画像のグレイレベルの１２１〜２４０のデータを合成して、１枚のダイナミックレンジの広い瞬時画像を得ることが考えられる。
【００５６】
（３） 図３に示すように、瞬時画像とスキャン画像を合成する。
【００５７】
この合成する方法は、次の通りである。
【００５８】
（ａ）まず、２枚の画像の位置合わせを行う。
【００５９】
デジタルカメラ２２〜２６のデータは、レンズキャリブレーションの技術、すなわち、図３におけるレンズ特性の補正により、画像座標と画像取込み面の物理座標との対応関係が求められるため、その結果を利用して両方の画像の画像取込み面での物理的な位置合わせを行う。
【００６０】
（ｂ） そして、図３に示すように瞬時画像とスキャン画像とを合成する。この場合に、文字、線画等の空間周波数の高い領域はスキャン画像のデータを用い、空間周波数の低い領域（例えば、写真や絵画等のグレイレベルの画像）は瞬時画像のデータを用いる。なお、空間周波数は、画像のエッジ処理やスペクトル解析等により検出することができる。
【００６１】
（ｃ−１） ２枚の画像を重ねる第１の方法は、上記のそれぞれの領域を単純に１枚の画像の上に重ねる。この方法は、スキャン画像の得意な領域と瞬時画像の得意な領域をそれぞれつなぎ合わせて１枚の画像を得ることとなる。
【００６２】
（ｃ−２） ２枚の画像を重ねる第２の方法は、図４に示すように、取り込んだ画像がグレイレベル画像等の場合には、瞬時画像のデータ上にスキャン画像のデータを重ねて、画像の質を改善する方法である。なお、図４の合成した画像は、瞬時画像の輪郭部分が強調されていることを示している。
【００６３】
｛第４の方法｝
複数の照明装置と１個のデジタルカメラを用いて、被写体４０からの反射を防ぐ方法について説明する。例として、２個の照明装置３０，３２と１個のデジタルカメラ２４を用いて、被写体４０からの反射を防ぐ方法について説明する。
【００６４】
画像を取り込む場合に被写体４０に反射が起こる原因は、被写体４０の反射特性とデジタルカメラ、ランプの位置関係によるものである。
【００６５】
図５において、照明装置３０だけで照明した場合、照明装置３０が発光した光は、点Ａ付近で反射を起こしやすく、点Ｂでは反射を起こしにくい。そこで、点Ａの部分の画像は、照明装置３０でなく、照明装置３２だけで照明した場合の瞬時画像を用いる。逆に、点Ｂの部分の瞬時画像は照明装置３０で照明した場合の画像を用いる。
【００６６】
具体的には次のように行う。
【００６７】
（１） 照明装置３０を点灯した場合の瞬時画像と、照明装置３２を点灯した場合の瞬時画像の両方をデジタルカメラ２４で取り込む。
【００６８】
（２） 各画像のヒストグラム（横軸がグレイレベル、縦軸が頻度のグラフ）を求める。このとき、図６（ａ）のようにヒストグラムが一様に分布している場合には、その照明装置の画像を用いる。しかし、図６（ｂ）のようにヒストグラムがほぼ飽和している、あるいは、偏っている場合には、その部分は他の照明装置で取り込んだ瞬時画像を用いる。
【００６９】
（変更例１）
上の方法では、ある範囲のヒストグラムを調べているが、これ以外に、各画素毎のグレイレベルを調べて、その画素が飽和していればその画素に相当する他の照明装置でのグレイレベルで置き換えることもできる。
【００７０】
（変更例２）
デジタルカメラと照明装置の位置関係から反射が起こしやすい位置というものが予め知ることができるので、その部分は反射を発生しにくい照明装置での瞬時画像を用いるようにしてもよい。
【００７１】
（変更例３）
個々の照明装置の明るさを制御することも考えられる。この明るさの変化の例としては、照明装置３０，３２の両方を点灯した場合に最も明るく照明される。そして、どちらか一方を半分の光量で点灯した場合は照明の明るさに違いが生じる。したがって、これにより反射の状態を制御してもよい。
【００７２】
（変更例４）
被写体４０が本であって、画像取込み面１８に押さえつける場合には、照明の方向によって影が発生することがある。そのため、点灯する照明装置を変化させて複数枚の瞬時画像を取り込む。そして、取り込んだ瞬時画像の中で、図６に示すようなヒストグラムを描いてそのグレイレベルが均等な瞬時画像を採用する。すなわち、影できる部分には、図６においてグレイレベルの低い部分にピークが出ているので、その部分を他の瞬時画像で置き換えればよい。
【００７３】
｛第５の方法｝
複数のデジタルカメラ２２〜２６からの撮影範囲が重なる領域では、三次元計測を行うことが可能である。この方法を利用して取得する画像を補正して適切な画像を得る方法について説明する。
【００７４】
（三次元計測方法の主な流れ）
この方法においてはデジタルカメラ２２〜２６では時系列の動画像を取り込むものとする。そして、これら画像間では差分処理やオプティカルフローを求めている。
【００７５】
（１） 図７に示すように、画像取込み面１８に本５０を押しつけ、デジタルカメラ２２〜２６で画像を読み込ませる。このとき画像処理により特徴点（例えばエッジ）等を求める。次に、これらの特徴点を複数のデジタルカメラ２２〜２６の間での対応点とする。この対応点としては例えば図７の点Ａである。
【００７６】
（２） 連続して画像を取り込んでいるため、対応点が図７の点Ｂのように多少画像取込み面１８から外れたとしてもその対応点を追跡してその位置を測ることができる。
【００７７】
（３） その後、スキャンセンサ３６により高解像度の画像を読み込む。
【００７８】
（４） 上記の追跡している対応点の距離を基に、そのスキャン画像の歪み等を補正する。
【００７９】
このようにすることで従来、本５０をしっかり支えている必要があったが、デジタルカメラ２２〜２６では瞬間的に瞬時画像を取り込むので、本５０をずっと抑えている必要がない。また、本５０の文字の画像は、スキャンセンサ３６による高解像度のスキャン画像を用いるため、高解像度の画像を得ることができる。
【００８０】
（補正方法の簡単な説明）
次に、上記の（４）における追跡した瞬時画像でスキャン画像を補正する方法について、図８〜図１１に基づいて説明する。
【００８１】
画像取込み面１８に本５０が押しつけられた状態が図８に示す状態である。このときの文字が図９である場合に、それが図１０のように少し浮いた状態の時の文字が図１１に示す状態である。
【００８２】
文字「ＰＮ」に対応点（例えば、図９、図１１における○、△、□）を設定し、動画像処理によりそれらの対応点を追跡する。
【００８３】
この対応点を用いて文字「ＰＮ」の面の変化を調べる。すなわち、図１１の文字の面（図１１の太線部分）の方程式を求める。
【００８４】
スキャンセンサ３６により瞬時画像を取り込んだ後、この面の方程式の情報を用いて、スキャン画像の文字を補正する。
【００８５】
なお、上記説明では、平面で説明したが、曲面であっても対応点を増やせば、その曲面の補正を行うことができる。
【００８６】
（補正方法の詳細な説明）
さらに、補正をする場合の詳細な説明を図１７に基づいて説明する。
【００８７】
なお、この説明においては簡単化のために二次元で説明する。説明における座標軸は図１７に示すものとする。
【００８８】
（１） 本５０を押しつけた場合には、デジタルカメラ２４により、線分ａｂを検出する。この線分ａｂは上記の説明文の対応点等が相当する。
【００８９】
（２） 本５０が浮いた場合には、本５０がＸ軸（画像取込み面１８）から外れることになり線分ａｂが線分ａ′ｂ′となる。このときデジタルカメラ２４の画像の動画像処理やオプティカルフロー処理等により点ａ及び点ｂを追随しているため、点ａ′と点ｂ′の座標は計測できる。
【００９０】
（３） その後、スキャンセンサ３６での取込みを行う。スキャンセンサ３６でのスキャン画像で得られるのは、線分Ｐａ′−Ｐｂ′である。この線分Ｐａ′−Ｐｂ′は線分ａ′ｂ′をＸ軸に投影したものである。
【００９１】
（４） そこで補正として、線分Ｐａ′−Ｐｂ′をアフィン変換することにより線分ａｂを得ることができる。例えば、図１７では線分ａ′ｂ′と画像取込み面１８とのなす角度をθとすると、線分Ｐａ′−Ｐｂ′を１／ｃｏｓθだけ拡大すればよい。なお、アフィン変換とは、次のようなものである。
【００９２】
【数１】
【００９３】
｛第６の方法｝
カバー２０を開けて画像を取り込む際に問題となるのが原稿を抑えている手や指が写り込むことである。このため、上記の三次元計測の技術を用いて、画像取込み面１８から離れた物体（手）の画像を取り込まないようにすることができる。
【００９４】
図１２に示すように、画像取込み面１８に本５０を手５２で押さえている場合を考える。
【００９５】
本５０は画像取込み面１８に押さえつけられているが、手５２は画像取込み面１８から少し浮いた状態となっているので、この高さの違いを三次元計測により検出する。
【００９６】
デジタルカメラ２４の視線（実線）とデジタルカメラ２６の視線（実線）は画像取込み面１８上にある点Ａに対する視線である。すなわち、デジタルカメラ２４の瞬時画像は図１３に示すようなものであり、デジタルカメラ２６の瞬時画像は図１４に示すようなものである。
【００９７】
ここで、点Ｂに対する両デジタルカメラ２４，２６の視線（波線）に対する画像はデジタルカメラ２４では点Ａと点Ｂの画像座標が重なっているが、デジタルカメラ２６では点Ａと点Ｂの画像座標は一致していない。このことにより、点Ｂ（手５２に相当）の高さが画像取込み面１８とは異なることが判断できる。
【００９８】
つまり、画像取込み面１８上の各点に対するデジタルカメラ２４，２６の視線の組（すなわち画像座標の組）というものが事前にわかるため、その組に属さない点を除去することができる。
【００９９】
次に、この画像座標の組を除去する方法を図１５及び図１６に基づいて説明する。
【０１００】
図１５においてデジタルカメラ２４の画像の点Ｐ１〜Ｐ４とデジタルカメラ２６の画像の点Ｐ１〜Ｐ４のそれぞれの画像領域の相関性が高いか否かで画像座標の組を判断する。このとき、対応点探索を考える場合に探索範囲が狭いというメリットがある。
【０１０１】
この方法により画像取込み面１８にある被写体４０のみを取り込むことができる。
【０１０２】
（変更例）
スキャンセンサ３６とデジタルカメラ２２〜２６のデータからの三次元計測を行うこともできる。すなわち、スキャンセンサ３６は垂直方向の視線を持つものと考えられるので、デジタルカメラ２２〜２６の瞬時画像に高さ方向の違いが出る。
【０１０３】
さらに、スキャンセンサ３６を斜めに取り込む等により、より確実に三次元計測を行うことができる。
【０１０４】
｛第７の方法｝
本実施例の画像取込み装置１２では被写体４０の位置の補正を行うことができる。以下、その方法について説明する。
【０１０５】
（１） デジタルカメラ２２〜２６により動画像を取り込む。
【０１０６】
（２） 動画像間の差分処理を行うことで、画像取込み面１８上に置かれた原稿の存在及びその位置を検出する。
【０１０７】
（３） デジタルカメラ２２〜２６からのデータを基にして、スキャンセンサ３６により画像を取込むときに、原稿（被写体４０）の領域だけの画像を取得する。
【０１０８】
この方法であると被写体４０を画像取込み面１８の上に置く場合に、被写体４０と画像取込み面１８上の位置合わせを正確に行う必要がない。また、原稿の領域だけの画像を取得するために、カバー２０で画像取込み時に抑える必要もなくなる。
【０１０９】
（変更例）
照明装置２８〜３４を発光させると、その光が戻ってくるかどうかにより、その場所に被写体４０があるかどうかを判断してもよい。
【０１１０】
｛第８の方法｝
現在の黒白色の複写機等では、スキャンセンサで原稿からの光の反射強度の違いを感知し、それから色画像を表現している。
【０１１１】
そのため、本方法では、デジタルカメラ２２〜２６で被写体４０の色画像（瞬時画像）を取り込む。そして、予め準備した色データとグレイレベルのデータの対応テーブルに基づいて、前記取り込んだ色画像をグレイレベルの画像に置き換えて良好な色表現で画像を再現する。
【０１１２】
このとき、周囲の色のパターンにより、対応するグレイレベルを変化させる。例えば、赤と青等よく似た色が出た場合にはそれらの判別ができるようにグレイレベルを変化させることができる。
【０１１３】
｛第９の方法｝
上記各方法においてデジタルカメラ２２〜２６の光学装置２２ａ〜２６ａのレンズのレンズキャリブレーションを補正する方法を説明する。
【０１１４】
レンズ面に対し物理的な座標がわかってる模様（例えば、円、格子模様、その他）を置き、それをデジタルカメラ２２〜２６で取り込む。
【０１１５】
その後、模様の物理的な座標と対応する画像点との関係式を求めておく。
【０１１６】
最後に、これらに基づいてレンズキャリブレーションを調整すればよい。
【０１１７】
なお、上記の物理的な座標のわかっている模様として、カバー２０の下面に複数のＬＥＤ、または、ＥＬ等の発光体を設けて、それらを順に光らせることでレンズキャリブレーションの補正を行うこともできる。
【０１１８】
この場合には、カバー２０のパターンが通常の画像取込み動作の場合に障害にならず、また、発光体の発光パターンを変化することでレンズキャリブレーションの調整が容易となる。
【０１１９】
｛第１０の方法｝
画像取り込み面１８やカバーの下面２０には、使用により汚れが付いて、それが複写されることがある。
【０１２０】
そこで、複写機１０の使用前の瞬時画像、または、スキャン画像と、使用後の瞬時画像、または、スキャン画像とを比較して、差分処理を行うことにより、その汚れを発見することができる。
【０１２１】
この汚れを発見した場合には、汚れがあったことをブザーやランプで報知するか、その汚れを除く補正をして画像を作成してもよい。
【０１２２】
｛第１１の方法｝
原稿の画像を取り込む場合に、その原稿の裏面に文字や模様が描かれているときに（すなわち、両面印刷の場合）、照明により裏写りが起こる場合がある。また、複数枚の原稿が重なっているときに次のページの原稿が、照明により裏写りが起こる場合がある。そこで、この裏写りを除去する方法を説明する。
【０１２３】
デジタルカメラ２２から２６で瞬時画像を取得する場合に、照明装置２８から３４の明るさ条件を変化させて複数枚の瞬時画像を取り込む。そして、それらの瞬時画像の明度処理、平均化処理して変化分（差分処理など）を求めることにより、変化のあった部分を裏写り部分として、原稿の裏写りの情報を除去する。
【０１２４】
｛変更例１｝
カバー２０を透明にすることで、上方から原稿の位置が見え、その位置を容易に確認することができる。
【０１２５】
また、カバー２０を半透明にすることで原稿の位置を確認できるだけでなく、レンズキャリブレーション用の模様等を描くことも可能となる。
【０１２６】
｛変更例２｝
上記実施例では、画像取り込み装置１２のケース１６の上面にある画像取り込み面１８に被写体を載置したが、これに代えて、図１８に示すように、机の上などに被写体（本５０）を置き、その上に携帯型の画像取り込み装置１２のケース１６の画像取り込み面１８を下にして、本５０へ押しつけて、画像を取得してもよい。
【０１２７】
この変更例であると、本５０のような分厚い物でも簡単に画像を取得することができる。
【０１２８】
｛変更例３｝
上記実施例では、画像取り込み装置１２として複写機１０を例示したが、これに限らず、スキャナー装置、その他の画像を取り込む装置に適用できる。
【０１２９】
【発明の効果】
以上により本発明の画像取込み装置であると、二次元画像センサを用いることにより、迅速、かつ、きれいな瞬時画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の一実施例を示す複写機の説明図である。
【図２】ダイナミックレンジの拡大の状態を示す図面である。
【図３】スキャン画像と瞬時画像のデータの合成状態を示す図面である。
【図４】第２の合成方法のイメージ図である。
【図５】反射を除去する方法における画像取込み装置の説明図である。
【図６】（ａ）は反射が発生していない場合のヒストグラムであり、（ｂ）は反射が発生している場合のヒストグラムである。
【図７】本の画像を取り込む場合の画像取込み装置の説明図である。
【図８】同じく本を押しつけた状態の画像取込み装置の説明図である。
【図９】本を押しつけた状態のデジタルカメラの画像と文字と対応点の図である。
【図１０】本が浮いた状態の画像取込み装置の説明図である。
【図１１】本が浮いた状態のデジタルカメラの画像と文字と対応点の図である。
【図１２】本を手で押さえた状態の画像取込み装置の説明図である。
【図１３】デジタルカメラ２４の画像である。
【図１４】デジタルカメラ２６の画像である。
【図１５】画像取込み高さが異なる状態で画像を取り込む場合の画像取込み装置の説明図である。
【図１６】各デジタルカメラの画像である。
【図１７】三次元計測方法における補正方法を説明する図である。
【図１８】変更例２を示す説明図である。
【符号の説明】
１０ 複写機
１２ 画像取込み装置
１４ 印刷装置
１６ ケース
１８ 画像取込み面
２０ カバー
２２ デジタルカメラ
２４ デジタルカメラ
２６ デジタルカメラ
２８ 照明装置
３０ 照明装置
３２ 照明装置
３４ 照明装置
３６ スキャンセンサ
Claims (9)
- ケースの上面に透明板よりなる画像取込み面を有し、
前記ケース内部の底面に、レンズを含む光学装置を有した二次元画像センサを配し、
前記ケースの内部に照明装置を配し、
画像として取込みたい部分を下にした被写体を前記画像取込み面上に配し、
前記被写体へ下方から前記照明装置によって光をあてて、前記二次元画像センサによって前記被写体の瞬時画像を取り込み、
前記ケースの上方に、前記画像取込み面及び前記被写体を覆う板状のカバーを設け、前記カバーの下面に、前記光学装置のレンズキャリブレーションの補正を行うための発光体を設けたことを特徴とする画像取込み装置。 - 前記ケース内部に一次元画像センサを前記画像取込み面に沿って移動可能に配し、
画像として取込みたい部分を下にした被写体を前記画像取込み面上に配し、前記被写体へ下方から前記照明装置によって光をあてて、前記一次元画像センサを移動させることによって前記被写体のスキャン画像を取込み、
また、前記二次元画像センサによって前記被写体の瞬時画像を取込み、前記スキャン画像と前記瞬時画像を合成して前記被写体の画像を取得することを特徴とする請求項１記載の画像取込み装置。 - 前記二次元画像センサによって前記被写体の瞬時画像を取り込む場合に、前記光学装置の撮影条件、または、前記照明装置の光量等の照明条件を変化させて、前記二次元画像センサによって複数の瞬時画像を取込み、これら複数の瞬時画像を合成するか、または、最適な一枚を選択することによって、ダイナミックレンジの広い瞬時画像を取得することを特徴とする請求項１または２記載の画像取込み装置。
- 前記照明装置は、複数のライトが異なる位置に配された構成よりなり、
前記二次元画像センサによって前記被写体の瞬時画像を取り込む場合に、前記複数のライトの点消灯状態または光量を変化させて、前記二次元画像センサによって複数の瞬時画像を取込み、これら複数の瞬時画像を合成するか、または、最適な一枚を選択することによって、前記ライトからの反射が少ない瞬時画像、または、陰の少ない瞬時画像を取得することを特徴とする請求項１または２記載の画像取込み装置。 - 前記二次元画像センサは、前記ケース内部に複数配され、
前記複数の二次元画像センサによって前記被写体の瞬時画像をそれぞれ取込み、
これら複数の瞬時画像に基づいて画像補正情報を算出し、
この算出した画像補正情報に基づいて前記スキャン画像を補正することを特徴とする請求項２記載の画像取込み装置。 - 前記二次元画像センサは、カラーセンサであり、
画像の色データとグレイレベルデータの対応関係データを記録したテーブルを有し、
前記二次元画像センサによって前記被写体のカラーの瞬時画像を取込み、
前記瞬時画像の色データを前記テーブルに記録された対応関係データに基づいてグレイレベルデータに変換することにより、前記カラーの瞬時画像からグレイレベルの瞬時画像を作成することを特徴とする請求項１または２記載の画像取込み装置。 - 前記二次元画像センサにより取得した瞬時画像、または、前記一次元画像センサで取得したスキャン画像を画像表示装置に表示する
ことを特徴とする請求項１から６のいずれか一項に記載の画像取込み装置。 - 画像取込み前の瞬時画像、または、スキャン画像と、画像取込み後の瞬時画像、または、スキャン画像との差分処理を行うことにより、前記画像取り込み面、または、前記カバーの汚れを検出することを特徴とする請求項１から６のいずれか一項に記載の画像取込み装置。
- 前記ケースの画像取り込み面を下にして被写体に当て、前記瞬時画像、または、前記スキャン画像を取り込むことを特徴とする請求項１から８のいずれか一項に記載の画像取込み装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000036685A JP4490540B2 (ja) | 2000-02-15 | 2000-02-15 | 画像取込み装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000036685A JP4490540B2 (ja) | 2000-02-15 | 2000-02-15 | 画像取込み装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001229365A JP2001229365A (ja) | 2001-08-24 |
| JP4490540B2 true JP4490540B2 (ja) | 2010-06-30 |
Family
ID=18560697
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000036685A Expired - Fee Related JP4490540B2 (ja) | 2000-02-15 | 2000-02-15 | 画像取込み装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4490540B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050225812A1 (en) | 2004-04-08 | 2005-10-13 | Bledsoe J D | Two-dimensional CMOS sensor array to image documents and other flat objects |
| JP6692727B2 (ja) * | 2016-09-28 | 2020-05-13 | 相互印刷株式会社 | 網点スクリーンの作成方法、製版用刷版および印刷物 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6330061A (ja) * | 1986-07-23 | 1988-02-08 | Hitachi Ltd | 文書画像読取り装置 |
| JPH0380772A (ja) * | 1989-08-24 | 1991-04-05 | Fujitsu Ltd | 画像読取装置の基準面汚染検出方式 |
| JPH07121682A (ja) * | 1993-10-27 | 1995-05-12 | Sanyo Electric Co Ltd | 画像認識装置 |
| JPH07131796A (ja) * | 1993-10-29 | 1995-05-19 | Canon Inc | 画像合成装置 |
| JPH1093778A (ja) * | 1996-09-19 | 1998-04-10 | Minolta Co Ltd | 画像読取り装置 |
| JP2000013621A (ja) * | 1998-06-23 | 2000-01-14 | Sharp Corp | 画像変換方法 |
-
2000
- 2000-02-15 JP JP2000036685A patent/JP4490540B2/ja not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6330061A (ja) * | 1986-07-23 | 1988-02-08 | Hitachi Ltd | 文書画像読取り装置 |
| JPH0380772A (ja) * | 1989-08-24 | 1991-04-05 | Fujitsu Ltd | 画像読取装置の基準面汚染検出方式 |
| JPH07121682A (ja) * | 1993-10-27 | 1995-05-12 | Sanyo Electric Co Ltd | 画像認識装置 |
| JPH07131796A (ja) * | 1993-10-29 | 1995-05-19 | Canon Inc | 画像合成装置 |
| JPH1093778A (ja) * | 1996-09-19 | 1998-04-10 | Minolta Co Ltd | 画像読取り装置 |
| JP2000013621A (ja) * | 1998-06-23 | 2000-01-14 | Sharp Corp | 画像変換方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001229365A (ja) | 2001-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TW552791B (en) | Method and system for scanning an image using a look-down linear array scanner | |
| US9036223B2 (en) | Systems and methods for edge detection during an imaging operation | |
| US20120147224A1 (en) | Imaging apparatus | |
| JP2004101871A (ja) | 顕微鏡画像撮影装置 | |
| JPH03117965A (ja) | 原稿読み取り装置 | |
| JP2006338584A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び画像処理システム、並びに撮像装置 | |
| JPWO2019012858A1 (ja) | 撮像装置、画像生成方法、撮像システム | |
| TW475327B (en) | Scanner capable of detecting the border of the object to be scanned | |
| US20040218069A1 (en) | Single image digital photography with structured light for document reconstruction | |
| JP2001330915A (ja) | 立体画像撮影方法及び撮影補助具 | |
| MXPA06010076A (es) | Metodo y arreglo para formar la imagen de un objetivo bidimensional primordialmente. | |
| JP4490540B2 (ja) | 画像取込み装置 | |
| JP2010130181A (ja) | 画像取得装置 | |
| JP4133060B2 (ja) | 画像入力装置、画像入力方法、およびコンピュータ読み取り可能な記録媒体 | |
| RU2368091C2 (ru) | Система и способ сканирования и копирования | |
| JP2000125159A (ja) | 資料提示装置 | |
| WO2015140935A1 (ja) | オーバーヘッド型画像読取装置、画像処理方法、および、プログラム | |
| TW416214B (en) | Scanning device and recognition method capable of automatically identifying the range of object scanned | |
| JP2000092289A (ja) | 画像読取装置及び画像読取方法 | |
| KR100895622B1 (ko) | 화상형성장치 및 화상형성방법 | |
| JPH05219323A (ja) | 書籍読取方法および装置 | |
| JPH0443766A (ja) | 原稿読取装置 | |
| RU2298292C2 (ru) | Система и способ сканирования | |
| JP2003008841A (ja) | 画像入力装置 | |
| JP5673260B2 (ja) | 画像出力装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070131 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091202 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091215 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100121 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100316 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100402 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130409 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4490540 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140409 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |