JP4458720B2 - 画像入力装置およびプログラム - Google Patents
画像入力装置およびプログラム Download PDFInfo
- Publication number
- JP4458720B2 JP4458720B2 JP2001260396A JP2001260396A JP4458720B2 JP 4458720 B2 JP4458720 B2 JP 4458720B2 JP 2001260396 A JP2001260396 A JP 2001260396A JP 2001260396 A JP2001260396 A JP 2001260396A JP 4458720 B2 JP4458720 B2 JP 4458720B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- camera
- field
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、画像入力装置およびプログラムに関する。
【０００２】
【従来の技術】
従来、単一の被写体を撮影した解像度の不十分な複数枚の画像から高解像度の画像を得るための技術としては、大きく分けて２通りの手段が存在していた。
【０００３】
ひとつは、画像の部分部分を、一部重なりを持ちながら分割して撮影し、それぞれの画像をつなぎあわせる技術である。
【０００４】
もうひとつは、画像全体をサブピクセル単位でずらしながら複数枚の画像を撮影し、それぞれの画像を合成して解像度を向上させる技術である。
【０００５】
前者の例としては、例えば、特開2000-115639公報、特開2000-348159公報に開示のものがある。
【０００６】
特開2000-115639公報に開示の技術は、画像の一部に重なりのある複数の画像をつなぎあわせて高解像度の画像を得る場合に、カメラの姿勢等のパラメータを利用することで精度良く画像のつなぎあわせを行なうものである。
【０００７】
また、特開2000-348159公報に開示の技術は、画像の一部に重なりのある複数の画像をつなぎあわせて高解像度の画像を得る場合に、縮小画像をピラミッド状に配置してその間の移動量等を算出することで、精度良く画像のつなぎあわせを行なうものである。
【０００８】
後者の例としては、特開2000-217032公報、特開2000-224460公報に開示のものがある。かかる技術は、複数回シャッターを切ることにより、ほぼ同じ範囲を撮影した画像を複数枚取得し、サブピクセルレベルでの画素ずれを検出した後に、位置あわせを行ない、画像を合成することで、解像度／品質の高い画像を得るものである。
【０００９】
【発明が解決しようとする課題】
しかしながら、前記の画像をつなぎあわせる技術では、カメラの制御に手間がかかり、前記の画像を合成する技術では、カメラと原稿の間にある程度の距離を置く必要がある。そのため、複数台のカメラを固定して、得られた複数の画像から高解像度の画像を生成したい場合、前記のいずれの手段を用いても原稿を提示する位置の制約が多くなり、撮影を容易に行なうことを妨げる要因となるという不具合がある。
【００１０】
この発明の目的は、各カメラの視野に応じて高品質の画像を得るために最適な手法を選択することで、被写体の提示位置に対する制約を緩和して、ユーザの負担を低減することである。
【００１１】
この発明の目的は、各カメラの視野がそれぞれ被写体の全体を含んでいるときに高品質の画像を生成することである。
【００１２】
この発明の目的は、各カメラの視野がそれぞれ被写体の一部だけを含んでいるときに高品質の画像を生成することである。
【００１３】
この発明の目的は、画像の部分ごとに高品質の画像を生成することである。
【００１４】
この発明の目的は、各画像から画像の合成ができないときには、ユーザに再度の撮影を促すことである。
【００１５】
この発明の目的は、対応点により視野の判断を行なえるようにすることである。
【００１６】
この発明の目的は、対応点により被写体の全体が画像に含まれている、または、被写体の一部が画像に含まれていないと判断できるようにすることである。
【００１７】
【課題を解決するための手段】
請求項１に記載の発明は、被写体を撮影する複数のカメラと、前記複数のカメラの各カメラで撮影した各撮影画像に基づいて前記被写体に対する前記各カメラの視野を判断する視野判断手段と、前記視野判断手段の判断に応じて異なる手法を用い前記各撮影画像から前記被写体の単一の画像を生成する画像生成手段とを備え、前記画像生成手段は、前記視野判断手段により前記各カメラの視野がそれぞれ前記被写体の全体を含んでいると判断されたときには、前記各撮影画像を重ねあわせる手法により前記被写体の単一の画像を生成し、前記各カメラの視野がそれぞれ前記被写体の一部だけを含んでいると判断されたときには、前記各撮影画像をつなぎあわせる手法により前記被写体の単一の画像を生成するものである画像入力装置である。
【００１８】
したがって、各カメラの視野に応じて高品質の画像を得るために最適な手法を選択して画像を生成できるので、被写体の提示位置に対する制約を緩和して、ユーザの負担を低減することができる。また、各カメラの視野がそれぞれ被写体の全体を含んでいるときに高品質の画像を生成することができる。また、各カメラの視野がそれぞれ被写体の一部だけを含んでいるときに高品質の画像を生成することができる。
【００２５】
請求項２に記載の発明は、請求項１に記載の画像入力装置において、前記視野判断手段により前記被写体に対する前記各カメラの視野に重なり部分がないと判断したときは前記カメラと前記被写体とを前回の撮影のときより離して前記各カメラによる前記被写体に再撮影を行なうことを促すメッセージを報知する報知手段を備える。
【００２６】
したがって、各画像から画像の合成ができないときには、ユーザに再度の撮影を促すことができる。
【００２７】
請求項３に記載の発明は、請求項１又２に記載の画像入力装置において、前記視野判断手段は、前記各撮影画像の画像間の対応点を算出し、算出した対応点までの前記各カメラからの距離を三角測量の原理で求め、前記各カメラから前記算出した対応点までの求めた距離に基づいて、前記算出した対応点のうち前記各カメラに最も近い対応点までの距離をｘとした場合に、固定のしきい値αを用いて、前記ｘ及び前記固定のしきい値αと、前記各カメラから前記算出した対応点までの求めた距離との比較により、前記ｘから“ｘ＋α”までの範囲に含まれる距離を有する対応点を判断し、前記ｘから“ｘ＋α”までの範囲に含まれる距離を有する対応点が前記被写体の対応点の集合Ｓであると判断して前記各カメラの視野の判断を行なうものである。
【００２８】
したがって、対応点により視野の判断を行なうことができる。
【００２９】
請求項４に記載の発明は、請求項３に記載の画像入力装置において、前記視野判断手段は、前記被写体の対応点の集合Ｓが、それ以外の対応点の集合に囲まれているときには前記被写体の全体が画像に含まれていると判断し、そうでないときは前記被写体の一部が画像に含まれていないと判断するものである。
【００３０】
したがって、対応点により被写体の全体が画像に含まれている、または、被写体の一部が画像に含まれていないと判断することができる。
【００３１】
請求項５に記載の発明は、複数のカメラで被写体を撮影した各画像に基づいて前記被写体に対する前記各カメラの視野を判断する視野判断処理と、前記視野判断処理の判断に応じて異なる手法を用い前記各撮影画像から前記被写体の単一の画像を生成する画像生成処理と、をコンピュータに実行させるコンピュータに読取可能なプログラムであって、前記画像生成処理は、前記視野判断処理により前記各カメラの視野がそれぞれ前記被写体の全体を含んでいると判断されたときには、前記各撮影画像を重ねあわせる手法により前記被写体の単一の画像を生成し、前記各カメラの視野がそれぞれ前記被写体の一部だけを含んでいると判断されたときには、前記各撮影画像をつなぎあわせる手法により前記被写体の単一の画像を生成するものであるプログラムである。
【００３２】
したがって、各カメラの視野に応じて高品質の画像を得るために最適な手法を選択して画像を生成できるので、被写体の提示位置に対する制約を緩和して、ユーザの負担を低減することができる。また、各カメラの視野がそれぞれ被写体の全体を含んでいるときに高品質の画像を生成することができる。また、各カメラの視野がそれぞれ被写体の一部だけを含んでいるときに高品質の画像を生成することができる。
【００３９】
【発明の実施の形態】
この発明の一実施の形態について説明する。
【００４０】
図１は、この発明の一実施の形態である画像入力装置１の全体構成を示すブロック図である。図１に示すように、この画像入力装置１は、ＰＣなどのコンピュータであり、各種演算を行ない、画像入力装置１の各部を集中的に制御するＣＰＵ２と、各種のＲＯＭ、ＲＡＭからなる記憶装置であるメモリ３とが、バス４で接続されている。
【００４１】
バス４には、所定のインターフェイスを介して、ハードディスクなどの磁気記憶装置５と、マウス、キーボード等により構成される入力装置６と、表示装置７と、光ディスクなどの記憶媒体８を読み取る記憶媒体読取装置９と、複数台、この例では２台のデジタルカメラ１０，１１とが接続されている。
【００４２】
また、インターネットなどのネットワーク１２と通信を行なう所定の通信インターフェイス１３が接続されていてもよい。なお、記憶媒体８としては、ＣＤ，ＤＶＤなどの光ディスク、光磁気ディスク、フロッピーディスクなどの各種メディアを用いることができる。また、記憶媒体読取装置９は、具体的には記憶媒体８の種類に応じて光ディスク装置、光磁気ディスク装置、フロッピーディスク装置などが用いられる。
【００４３】
磁気記憶装置５には、この発明のプログラムを実現する画像入力プログラムが記憶されている。この画像入力プログラムは、記憶媒体８から記憶媒体読取装置９により読み取るか、あるいは、インターネットなどのネットワーク１２からダウンロードするなどして、磁気記憶装置５にインストールしたものである。このインストールにより画像入力装置１は動作可能な状態となる。なお、この画像入力プログラムは、特定のアプリケーションソフトの一部をなすものであってもよい。また、所定のＯＳ上で動作するものであってもよい。
【００４４】
図２は、画像入力装置１の外観の一例を示す正面図である。画像入力装置１は、本体２１と、本体２１に接続された入出力装置２２とからなる。入出力装置２２は、表示装置７と、この表示装置７の例えば上部の２角に設けられたデジタルカメラ１０，１１とからなる。図２において、表示装置７の画面は正面側を向いており、デジタルカメラ１０，１１は背面側を向いている。もちろん、デジタルカメラ１０，１１の位置や数はこれに限定されるものではない。
【００４５】
以下では、画像入力プログラムに基づいて画像入力装置１が行なう処理の内容について説明する。
【００４６】
図３は、２つのデジタルカメラ１０，１１の視野について説明する入出力装置２２の平面図である。各デジタルカメラ１０，１１の視野が想像線で示されている。前記した特開2000-217032公報に開示の技術を用いる場合は、被写体となる原稿全体が２つのデジタルカメラ１０，１１のいずれの視野（図４に斜線で示されている範囲内）にも含まれている必要があるので、原稿の中に２つのデジタルカメラ１０，１１の一方の視野だけに入る部分が含まれている場合（その範囲は図５に斜線で示されている）には、画像の品質向上が不完全に行われることになる。
【００４７】
一方、特開2000-348159号公報に開示されている技術を用いる場合には、２つのデジタルカメラ１０，１１のいずれの視野にも原稿全体が含まれてしまう場合（図４に斜線で示されている範囲内）、原稿画像のサイズを大きくできないので、実質的な解像度の向上を図ることができず、原稿の中に２つのデジタルカメラ１０，１１の一方の視野だけに入る部分が含まれている（その範囲は図５に斜線で示されている）ようにしなければならない。
【００４８】
そこで、この画像入力装置１では、例えば特開2000-217032公報に開示されているように複数の撮像画像を重ねあわせる手法と、例えば特開2000-348159号公報に開示されているように複数の撮像画像をつなぎあわせあわせる手法とを、原稿の位置に応じて使い分けることで、ユーザが原稿を提示する際の制限を少なくしようとするものである。
【００４９】
そのため、画像入力装置１は、具体的には図６のフローチャートに示す処理を行なう。すなわち、ユーザは被写体である原稿をデジタルカメラ１０，１１の前に提示したならば、入力装置６の操作により画像入力の実行を指示する。ＣＰＵ２は、入力装置６の操作により画像入力の実行が指示されたときは（ステップＳ１のＹ）、デジタルカメラ１０，１１により被写体の原稿を撮影する（ステップＳ２）。この際、出来る限りデジタルカメラ１０と１１とで同時に撮影することが望ましい。デジタルカメラ１０，１１でそれぞれ撮影されたデジタル画像データはそれぞれメモリ３に記憶する（ステップＳ３）。
【００５０】
そして、撮影した２枚の画像間の対応点算出と（ステップＳ４）、原稿全体が画像中に含まれているか否かの判断（ステップＳ８〜Ｓ１２）を行なう。
【００５１】
まず、２枚の画像間の対応点を算出する（ステップＳ４）。対応点の算出に関しては、従来から多くの手法が提案されているが、如何なる手法を用いても、あるいは、複数の手法を組みあわせて用いてもよい。対応点が算出されたならば（ステップＳ５のＹ）、それぞれの対応点までのデジタルカメラ１０，１１からの距離を三角測量の原理で求める（ステップＳ６）。ここで、対応点がまったく求まらない場合には（ステップＳ５のＮ）、原稿が図６に斜線で示すデジタルカメラ１０，１１の少なくとも１つの視野に入る範囲から外れた位置に提示されている場合であるので、原稿とデジタルカメラ１０，１１とを前回の撮影より離して再撮影するように指示するメッセージを表示装置７などによりユーザに対して報知する（ステップＳ７）。
【００５２】
本手法では、原稿は他の物体と比較して、最もデジタルカメラ１０，１１に近い位置に提示されているものとする。そこでデジタルカメラ１０，１１に最も近い対応点までの距離をｘとした場合に、“ｘ＋α（αは固定のしきい値）”の範囲にある対応点が原稿上の対応点の集合Ｓであるとする（ステップＳ８）。図７、図８に示す画像Ｐ中においては、Ｓは原稿上の対応点と判断される点を示し、Ｏは原稿以外の対応点と判断される点を示している。次にＳの外接多角形Ｌを算出し（ステップＳ９）、この外接多角形Ｌの全ての辺の外側にＳ以外の対応点が存在する場合（ステップＳ１０のＹ）、各画像中に原稿全体が含まれていると判断する（ステップＳ１１）。そうでないときは（ステップＳ１０のＮ）、各画像中には原稿の一部が含まれていないと判断する（ステップＳ１２）。
【００５３】
図７は外接多角形Ｌの全ての辺の外側にＳ以外の対応点が存在して、画像Ｐ中に原稿全体が含まれていると判断される場合を示している。この場合は、外接多角形Ｌの各辺の頂点から辺に直交する線分Ｈを画像Ｐの外側に引いたときに線分Ｈ、辺および画像Ｐの端とで囲まれた領域に必ず対応点Ｏが存在している。また、図８は、画像Ｐの片方で原稿の一部が含まれていない場合を示している。この場合は、線分Ｈ、辺および画像Ｐの端とで囲まれた領域で対応点Ｏが存在していないものが存在している。
【００５４】
２枚の画像間の対応点算出（ステップＳ４）と、原稿全体が画像中に含まれているか否かの判断（ステップＳ８〜Ｓ１２）とが終了したならば、この求めた原稿包含の有無の情報に基づいて画像の生成を行なう（ステップＳ１３，Ｓ１４）。
【００５５】
すなわち、２枚の画像中にそれぞれ原稿が完全に包含されていると判断されている場合には（ステップＳ１１）、画像の重ねあわせによる手法を用いて画像の生成を行ない（ステップＳ１３）、画像の品質を向上させる。図１０において、原稿Ｇの画像のうち矢印で示す全体部分が重なり部分である２つの画像を重ねあわせて画像を生成する。画像の重ねあわせについてもいくつかの手法が提案されているが、一例として特開2000-217032号公報に開示されている手法を用いることができる。
【００５６】
各画像中には原稿の一部が含まれていないと判断されている場合には（ステップＳ１２）、各画像の一部に重なりがあるので、画像のつなぎあわせによる手法を用いて画像の生成を行ない（ステップＳ１４）、実質の解像度の高い画像を得る。すなわち、図９において、原稿Ｇの画像のうち矢印で示す部分だけが重なり部分である２つの画像をつなぎあわせて画像を生成する。この手法に関してもいくつかの手段が従来から提案されているが、例えば特開2000-348159号公報に開示されているような手法を用いることができる。また、この際に画像の重なりのある部分についてのみ前記の画像の重ねあわせの手法を適用して画像の品質を向上させるようにしてもよい。
【００５７】
画像の生成（ステップＳ１３，Ｓ１４）が終了した後、処理の終了を表示装置７などによりユーザに対して報知して（ステップＳ１５）、処理を終了する。
【００５８】
以上説明した画像入力装置１によれば、各カメラ１０，１１の視野に応じて高品質の画像を得るために最適な手法を選択して（ステップＳ１０）画像を生成できるので（ステップＳ１３、Ｓ１４）、被写体である原稿の提示位置に対する制約を緩和して、ユーザの負担を低減することができる。
【００５９】
具体的には、各カメラ１０，１１の視野がそれぞれ原稿の全体を含んでいるときに（ステップＳ１０のＹ）高品質の画像を生成することができる（ステップＳ１３）。
【００６０】
また、各カメラ１０，１１の視野がそれぞれ被写体の一部だけを含んでいるときに（ステップＳ１０のＮ）高品質の画像を生成することができる（ステップＳ１４）。
【００６１】
さらに、各画像から画像の合成ができないときには（ステップＳ５のＮ）、ユーザに再度の撮影を促すことができる（ステップＳ７）。
【００６２】
なお、前記のように、画像の部分ごとに画像の重ねあわせ、画像のつなぎあわせを使い分けるときには、画像の部分ごとに高品質の画像を生成することができる。
【００６３】
【発明の効果】
本発明は、各カメラの視野に応じて高品質の画像を得るために最適な手法を選択して画像を生成できるので、被写体の提示位置に対する制約を緩和して、ユーザの負担を低減することができる。
【００６４】
また、本発明は、各カメラの視野がそれぞれ被写体の全体を含んでいるときに高品質の画像を生成することができる。
【００６５】
また、本発明は、各カメラの視野がそれぞれ被写体の一部だけを含んでいるときに高品質の画像を生成することができる。
【００６７】
また、本発明は、各画像から画像の合成ができないときには、ユーザに再度の撮影を促すことができる。
【００６８】
また、本発明は、対応点により視野の判断を行なうことができる。
【００６９】
また、本発明は、対応点により被写体の全体が画像に含まれている、または、被写体の一部が画像に含まれていないと判断することができる。
【図面の簡単な説明】
【図１】この発明の一実施の形態である画像入力装置の電気的な接続を示すブロック図である。
【図２】前記画像入力装置の正面図である。
【図３】前記画像入力装置の視野について説明する平面図である。
【図４】同平面図である。
【図５】同平面図である。
【図６】前記画像入力装置が行なう処理を説明するフローチャートである。
【図７】前記画像入力装置で画像の対応点を用いて行なう処理について説明する説明図である。
【図８】同説明図である。
【図９】前記画像入力装置の視野について説明する平面図である。
【図１０】同説明図である。
【符号の説明】
１ 画像入力装置
１０ カメラ
１１ カメラ
Ｓ 対応点
Ｏ 対応点
Ｐ 画像
Ｇ 被写体
【発明の属する技術分野】
この発明は、画像入力装置およびプログラムに関する。
【０００２】
【従来の技術】
従来、単一の被写体を撮影した解像度の不十分な複数枚の画像から高解像度の画像を得るための技術としては、大きく分けて２通りの手段が存在していた。
【０００３】
ひとつは、画像の部分部分を、一部重なりを持ちながら分割して撮影し、それぞれの画像をつなぎあわせる技術である。
【０００４】
もうひとつは、画像全体をサブピクセル単位でずらしながら複数枚の画像を撮影し、それぞれの画像を合成して解像度を向上させる技術である。
【０００５】
前者の例としては、例えば、特開2000-115639公報、特開2000-348159公報に開示のものがある。
【０００６】
特開2000-115639公報に開示の技術は、画像の一部に重なりのある複数の画像をつなぎあわせて高解像度の画像を得る場合に、カメラの姿勢等のパラメータを利用することで精度良く画像のつなぎあわせを行なうものである。
【０００７】
また、特開2000-348159公報に開示の技術は、画像の一部に重なりのある複数の画像をつなぎあわせて高解像度の画像を得る場合に、縮小画像をピラミッド状に配置してその間の移動量等を算出することで、精度良く画像のつなぎあわせを行なうものである。
【０００８】
後者の例としては、特開2000-217032公報、特開2000-224460公報に開示のものがある。かかる技術は、複数回シャッターを切ることにより、ほぼ同じ範囲を撮影した画像を複数枚取得し、サブピクセルレベルでの画素ずれを検出した後に、位置あわせを行ない、画像を合成することで、解像度／品質の高い画像を得るものである。
【０００９】
【発明が解決しようとする課題】
しかしながら、前記の画像をつなぎあわせる技術では、カメラの制御に手間がかかり、前記の画像を合成する技術では、カメラと原稿の間にある程度の距離を置く必要がある。そのため、複数台のカメラを固定して、得られた複数の画像から高解像度の画像を生成したい場合、前記のいずれの手段を用いても原稿を提示する位置の制約が多くなり、撮影を容易に行なうことを妨げる要因となるという不具合がある。
【００１０】
この発明の目的は、各カメラの視野に応じて高品質の画像を得るために最適な手法を選択することで、被写体の提示位置に対する制約を緩和して、ユーザの負担を低減することである。
【００１１】
この発明の目的は、各カメラの視野がそれぞれ被写体の全体を含んでいるときに高品質の画像を生成することである。
【００１２】
この発明の目的は、各カメラの視野がそれぞれ被写体の一部だけを含んでいるときに高品質の画像を生成することである。
【００１３】
この発明の目的は、画像の部分ごとに高品質の画像を生成することである。
【００１４】
この発明の目的は、各画像から画像の合成ができないときには、ユーザに再度の撮影を促すことである。
【００１５】
この発明の目的は、対応点により視野の判断を行なえるようにすることである。
【００１６】
この発明の目的は、対応点により被写体の全体が画像に含まれている、または、被写体の一部が画像に含まれていないと判断できるようにすることである。
【００１７】
【課題を解決するための手段】
請求項１に記載の発明は、被写体を撮影する複数のカメラと、前記複数のカメラの各カメラで撮影した各撮影画像に基づいて前記被写体に対する前記各カメラの視野を判断する視野判断手段と、前記視野判断手段の判断に応じて異なる手法を用い前記各撮影画像から前記被写体の単一の画像を生成する画像生成手段とを備え、前記画像生成手段は、前記視野判断手段により前記各カメラの視野がそれぞれ前記被写体の全体を含んでいると判断されたときには、前記各撮影画像を重ねあわせる手法により前記被写体の単一の画像を生成し、前記各カメラの視野がそれぞれ前記被写体の一部だけを含んでいると判断されたときには、前記各撮影画像をつなぎあわせる手法により前記被写体の単一の画像を生成するものである画像入力装置である。
【００１８】
したがって、各カメラの視野に応じて高品質の画像を得るために最適な手法を選択して画像を生成できるので、被写体の提示位置に対する制約を緩和して、ユーザの負担を低減することができる。また、各カメラの視野がそれぞれ被写体の全体を含んでいるときに高品質の画像を生成することができる。また、各カメラの視野がそれぞれ被写体の一部だけを含んでいるときに高品質の画像を生成することができる。
【００２５】
請求項２に記載の発明は、請求項１に記載の画像入力装置において、前記視野判断手段により前記被写体に対する前記各カメラの視野に重なり部分がないと判断したときは前記カメラと前記被写体とを前回の撮影のときより離して前記各カメラによる前記被写体に再撮影を行なうことを促すメッセージを報知する報知手段を備える。
【００２６】
したがって、各画像から画像の合成ができないときには、ユーザに再度の撮影を促すことができる。
【００２７】
請求項３に記載の発明は、請求項１又２に記載の画像入力装置において、前記視野判断手段は、前記各撮影画像の画像間の対応点を算出し、算出した対応点までの前記各カメラからの距離を三角測量の原理で求め、前記各カメラから前記算出した対応点までの求めた距離に基づいて、前記算出した対応点のうち前記各カメラに最も近い対応点までの距離をｘとした場合に、固定のしきい値αを用いて、前記ｘ及び前記固定のしきい値αと、前記各カメラから前記算出した対応点までの求めた距離との比較により、前記ｘから“ｘ＋α”までの範囲に含まれる距離を有する対応点を判断し、前記ｘから“ｘ＋α”までの範囲に含まれる距離を有する対応点が前記被写体の対応点の集合Ｓであると判断して前記各カメラの視野の判断を行なうものである。
【００２８】
したがって、対応点により視野の判断を行なうことができる。
【００２９】
請求項４に記載の発明は、請求項３に記載の画像入力装置において、前記視野判断手段は、前記被写体の対応点の集合Ｓが、それ以外の対応点の集合に囲まれているときには前記被写体の全体が画像に含まれていると判断し、そうでないときは前記被写体の一部が画像に含まれていないと判断するものである。
【００３０】
したがって、対応点により被写体の全体が画像に含まれている、または、被写体の一部が画像に含まれていないと判断することができる。
【００３１】
請求項５に記載の発明は、複数のカメラで被写体を撮影した各画像に基づいて前記被写体に対する前記各カメラの視野を判断する視野判断処理と、前記視野判断処理の判断に応じて異なる手法を用い前記各撮影画像から前記被写体の単一の画像を生成する画像生成処理と、をコンピュータに実行させるコンピュータに読取可能なプログラムであって、前記画像生成処理は、前記視野判断処理により前記各カメラの視野がそれぞれ前記被写体の全体を含んでいると判断されたときには、前記各撮影画像を重ねあわせる手法により前記被写体の単一の画像を生成し、前記各カメラの視野がそれぞれ前記被写体の一部だけを含んでいると判断されたときには、前記各撮影画像をつなぎあわせる手法により前記被写体の単一の画像を生成するものであるプログラムである。
【００３２】
したがって、各カメラの視野に応じて高品質の画像を得るために最適な手法を選択して画像を生成できるので、被写体の提示位置に対する制約を緩和して、ユーザの負担を低減することができる。また、各カメラの視野がそれぞれ被写体の全体を含んでいるときに高品質の画像を生成することができる。また、各カメラの視野がそれぞれ被写体の一部だけを含んでいるときに高品質の画像を生成することができる。
【００３９】
【発明の実施の形態】
この発明の一実施の形態について説明する。
【００４０】
図１は、この発明の一実施の形態である画像入力装置１の全体構成を示すブロック図である。図１に示すように、この画像入力装置１は、ＰＣなどのコンピュータであり、各種演算を行ない、画像入力装置１の各部を集中的に制御するＣＰＵ２と、各種のＲＯＭ、ＲＡＭからなる記憶装置であるメモリ３とが、バス４で接続されている。
【００４１】
バス４には、所定のインターフェイスを介して、ハードディスクなどの磁気記憶装置５と、マウス、キーボード等により構成される入力装置６と、表示装置７と、光ディスクなどの記憶媒体８を読み取る記憶媒体読取装置９と、複数台、この例では２台のデジタルカメラ１０，１１とが接続されている。
【００４２】
また、インターネットなどのネットワーク１２と通信を行なう所定の通信インターフェイス１３が接続されていてもよい。なお、記憶媒体８としては、ＣＤ，ＤＶＤなどの光ディスク、光磁気ディスク、フロッピーディスクなどの各種メディアを用いることができる。また、記憶媒体読取装置９は、具体的には記憶媒体８の種類に応じて光ディスク装置、光磁気ディスク装置、フロッピーディスク装置などが用いられる。
【００４３】
磁気記憶装置５には、この発明のプログラムを実現する画像入力プログラムが記憶されている。この画像入力プログラムは、記憶媒体８から記憶媒体読取装置９により読み取るか、あるいは、インターネットなどのネットワーク１２からダウンロードするなどして、磁気記憶装置５にインストールしたものである。このインストールにより画像入力装置１は動作可能な状態となる。なお、この画像入力プログラムは、特定のアプリケーションソフトの一部をなすものであってもよい。また、所定のＯＳ上で動作するものであってもよい。
【００４４】
図２は、画像入力装置１の外観の一例を示す正面図である。画像入力装置１は、本体２１と、本体２１に接続された入出力装置２２とからなる。入出力装置２２は、表示装置７と、この表示装置７の例えば上部の２角に設けられたデジタルカメラ１０，１１とからなる。図２において、表示装置７の画面は正面側を向いており、デジタルカメラ１０，１１は背面側を向いている。もちろん、デジタルカメラ１０，１１の位置や数はこれに限定されるものではない。
【００４５】
以下では、画像入力プログラムに基づいて画像入力装置１が行なう処理の内容について説明する。
【００４６】
図３は、２つのデジタルカメラ１０，１１の視野について説明する入出力装置２２の平面図である。各デジタルカメラ１０，１１の視野が想像線で示されている。前記した特開2000-217032公報に開示の技術を用いる場合は、被写体となる原稿全体が２つのデジタルカメラ１０，１１のいずれの視野（図４に斜線で示されている範囲内）にも含まれている必要があるので、原稿の中に２つのデジタルカメラ１０，１１の一方の視野だけに入る部分が含まれている場合（その範囲は図５に斜線で示されている）には、画像の品質向上が不完全に行われることになる。
【００４７】
一方、特開2000-348159号公報に開示されている技術を用いる場合には、２つのデジタルカメラ１０，１１のいずれの視野にも原稿全体が含まれてしまう場合（図４に斜線で示されている範囲内）、原稿画像のサイズを大きくできないので、実質的な解像度の向上を図ることができず、原稿の中に２つのデジタルカメラ１０，１１の一方の視野だけに入る部分が含まれている（その範囲は図５に斜線で示されている）ようにしなければならない。
【００４８】
そこで、この画像入力装置１では、例えば特開2000-217032公報に開示されているように複数の撮像画像を重ねあわせる手法と、例えば特開2000-348159号公報に開示されているように複数の撮像画像をつなぎあわせあわせる手法とを、原稿の位置に応じて使い分けることで、ユーザが原稿を提示する際の制限を少なくしようとするものである。
【００４９】
そのため、画像入力装置１は、具体的には図６のフローチャートに示す処理を行なう。すなわち、ユーザは被写体である原稿をデジタルカメラ１０，１１の前に提示したならば、入力装置６の操作により画像入力の実行を指示する。ＣＰＵ２は、入力装置６の操作により画像入力の実行が指示されたときは（ステップＳ１のＹ）、デジタルカメラ１０，１１により被写体の原稿を撮影する（ステップＳ２）。この際、出来る限りデジタルカメラ１０と１１とで同時に撮影することが望ましい。デジタルカメラ１０，１１でそれぞれ撮影されたデジタル画像データはそれぞれメモリ３に記憶する（ステップＳ３）。
【００５０】
そして、撮影した２枚の画像間の対応点算出と（ステップＳ４）、原稿全体が画像中に含まれているか否かの判断（ステップＳ８〜Ｓ１２）を行なう。
【００５１】
まず、２枚の画像間の対応点を算出する（ステップＳ４）。対応点の算出に関しては、従来から多くの手法が提案されているが、如何なる手法を用いても、あるいは、複数の手法を組みあわせて用いてもよい。対応点が算出されたならば（ステップＳ５のＹ）、それぞれの対応点までのデジタルカメラ１０，１１からの距離を三角測量の原理で求める（ステップＳ６）。ここで、対応点がまったく求まらない場合には（ステップＳ５のＮ）、原稿が図６に斜線で示すデジタルカメラ１０，１１の少なくとも１つの視野に入る範囲から外れた位置に提示されている場合であるので、原稿とデジタルカメラ１０，１１とを前回の撮影より離して再撮影するように指示するメッセージを表示装置７などによりユーザに対して報知する（ステップＳ７）。
【００５２】
本手法では、原稿は他の物体と比較して、最もデジタルカメラ１０，１１に近い位置に提示されているものとする。そこでデジタルカメラ１０，１１に最も近い対応点までの距離をｘとした場合に、“ｘ＋α（αは固定のしきい値）”の範囲にある対応点が原稿上の対応点の集合Ｓであるとする（ステップＳ８）。図７、図８に示す画像Ｐ中においては、Ｓは原稿上の対応点と判断される点を示し、Ｏは原稿以外の対応点と判断される点を示している。次にＳの外接多角形Ｌを算出し（ステップＳ９）、この外接多角形Ｌの全ての辺の外側にＳ以外の対応点が存在する場合（ステップＳ１０のＹ）、各画像中に原稿全体が含まれていると判断する（ステップＳ１１）。そうでないときは（ステップＳ１０のＮ）、各画像中には原稿の一部が含まれていないと判断する（ステップＳ１２）。
【００５３】
図７は外接多角形Ｌの全ての辺の外側にＳ以外の対応点が存在して、画像Ｐ中に原稿全体が含まれていると判断される場合を示している。この場合は、外接多角形Ｌの各辺の頂点から辺に直交する線分Ｈを画像Ｐの外側に引いたときに線分Ｈ、辺および画像Ｐの端とで囲まれた領域に必ず対応点Ｏが存在している。また、図８は、画像Ｐの片方で原稿の一部が含まれていない場合を示している。この場合は、線分Ｈ、辺および画像Ｐの端とで囲まれた領域で対応点Ｏが存在していないものが存在している。
【００５４】
２枚の画像間の対応点算出（ステップＳ４）と、原稿全体が画像中に含まれているか否かの判断（ステップＳ８〜Ｓ１２）とが終了したならば、この求めた原稿包含の有無の情報に基づいて画像の生成を行なう（ステップＳ１３，Ｓ１４）。
【００５５】
すなわち、２枚の画像中にそれぞれ原稿が完全に包含されていると判断されている場合には（ステップＳ１１）、画像の重ねあわせによる手法を用いて画像の生成を行ない（ステップＳ１３）、画像の品質を向上させる。図１０において、原稿Ｇの画像のうち矢印で示す全体部分が重なり部分である２つの画像を重ねあわせて画像を生成する。画像の重ねあわせについてもいくつかの手法が提案されているが、一例として特開2000-217032号公報に開示されている手法を用いることができる。
【００５６】
各画像中には原稿の一部が含まれていないと判断されている場合には（ステップＳ１２）、各画像の一部に重なりがあるので、画像のつなぎあわせによる手法を用いて画像の生成を行ない（ステップＳ１４）、実質の解像度の高い画像を得る。すなわち、図９において、原稿Ｇの画像のうち矢印で示す部分だけが重なり部分である２つの画像をつなぎあわせて画像を生成する。この手法に関してもいくつかの手段が従来から提案されているが、例えば特開2000-348159号公報に開示されているような手法を用いることができる。また、この際に画像の重なりのある部分についてのみ前記の画像の重ねあわせの手法を適用して画像の品質を向上させるようにしてもよい。
【００５７】
画像の生成（ステップＳ１３，Ｓ１４）が終了した後、処理の終了を表示装置７などによりユーザに対して報知して（ステップＳ１５）、処理を終了する。
【００５８】
以上説明した画像入力装置１によれば、各カメラ１０，１１の視野に応じて高品質の画像を得るために最適な手法を選択して（ステップＳ１０）画像を生成できるので（ステップＳ１３、Ｓ１４）、被写体である原稿の提示位置に対する制約を緩和して、ユーザの負担を低減することができる。
【００５９】
具体的には、各カメラ１０，１１の視野がそれぞれ原稿の全体を含んでいるときに（ステップＳ１０のＹ）高品質の画像を生成することができる（ステップＳ１３）。
【００６０】
また、各カメラ１０，１１の視野がそれぞれ被写体の一部だけを含んでいるときに（ステップＳ１０のＮ）高品質の画像を生成することができる（ステップＳ１４）。
【００６１】
さらに、各画像から画像の合成ができないときには（ステップＳ５のＮ）、ユーザに再度の撮影を促すことができる（ステップＳ７）。
【００６２】
なお、前記のように、画像の部分ごとに画像の重ねあわせ、画像のつなぎあわせを使い分けるときには、画像の部分ごとに高品質の画像を生成することができる。
【００６３】
【発明の効果】
本発明は、各カメラの視野に応じて高品質の画像を得るために最適な手法を選択して画像を生成できるので、被写体の提示位置に対する制約を緩和して、ユーザの負担を低減することができる。
【００６４】
また、本発明は、各カメラの視野がそれぞれ被写体の全体を含んでいるときに高品質の画像を生成することができる。
【００６５】
また、本発明は、各カメラの視野がそれぞれ被写体の一部だけを含んでいるときに高品質の画像を生成することができる。
【００６７】
また、本発明は、各画像から画像の合成ができないときには、ユーザに再度の撮影を促すことができる。
【００６８】
また、本発明は、対応点により視野の判断を行なうことができる。
【００６９】
また、本発明は、対応点により被写体の全体が画像に含まれている、または、被写体の一部が画像に含まれていないと判断することができる。
【図面の簡単な説明】
【図１】この発明の一実施の形態である画像入力装置の電気的な接続を示すブロック図である。
【図２】前記画像入力装置の正面図である。
【図３】前記画像入力装置の視野について説明する平面図である。
【図４】同平面図である。
【図５】同平面図である。
【図６】前記画像入力装置が行なう処理を説明するフローチャートである。
【図７】前記画像入力装置で画像の対応点を用いて行なう処理について説明する説明図である。
【図８】同説明図である。
【図９】前記画像入力装置の視野について説明する平面図である。
【図１０】同説明図である。
【符号の説明】
１ 画像入力装置
１０ カメラ
１１ カメラ
Ｓ 対応点
Ｏ 対応点
Ｐ 画像
Ｇ 被写体
Claims (5)
- 被写体を撮影する複数のカメラと、前記複数のカメラの各カメラで撮影した各撮影画像に基づいて前記被写体に対する前記各カメラの視野を判断する視野判断手段と、
前記視野判断手段の判断に応じて異なる手法を用い前記各撮影画像から前記被写体の単一の画像を生成する画像生成手段とを備え、
前記画像生成手段は、前記視野判断手段により前記各カメラの視野がそれぞれ前記被写体の全体を含んでいると判断されたときには、前記各撮影画像を重ねあわせる手法により前記被写体の単一の画像を生成し、前記各カメラの視野がそれぞれ前記被写体の一部だけを含んでいると判断されたときには、前記各撮影画像をつなぎあわせる手法により前記被写体の単一の画像を生成するものである画像入力装置。 - 前記視野判断手段により前記被写体に対する前記各カメラの視野に重なり部分がないと判断したときは前記カメラと前記被写体とを前回の撮影のときより離して前記各カメラによる前記被写体に再撮影を行なうことを促すメッセージを報知する報知手段を備える請求項１に記載の画像入力装置。
- 前記視野判断手段は、前記各撮影画像の画像間の対応点を算出し、算出した対応点までの前記各カメラからの距離を三角測量の原理で求め、前記各カメラから前記算出した対応点までの求めた距離に基づいて、前記算出した対応点のうち前記各カメラに最も近い対応点までの距離をｘとした場合に、固定のしきい値αを用いて、前記ｘ及び前記固定のしきい値αと、前記各カメラから前記算出した対応点までの求めた距離との比較により、前記ｘから“ｘ＋α”までの範囲に含まれる距離を有する対応点を判断し、前記ｘから“ｘ＋α”までの範囲に含まれる距離を有する対応点が前記被写体の対応点の集合Ｓであると判断して前記各カメラの視野の判断を行なうものである請求項１又は２に記載の画像入力装置。
- 前記視野判断手段は、前記被写体の対応点の集合Ｓが、それ以外の対応点の集合に囲まれているときには前記被写体の全体が画像に含まれていると判断し、そうでないときは前記被写体の一部が画像に含まれていないと判断するものである請求項３に記載の画像入力装置。
- 複数のカメラで被写体を撮影した各画像に基づいて前記被写体に対する前記各カメラの視野を判断する視野判断処理と、前記視野判断処理の判断に応じて異なる手法を用い前記各撮影画像から前記被写体の単一の画像を生成する画像生成処理と、をコンピュータに実行させるコンピュータに読取可能なプログラムであって、
前記画像生成処理は、前記視野判断処理により前記各カメラの視野がそれぞれ前記被写体の全体を含んでいると判断されたときには、前記各撮影画像を重ねあわせる手法により前記被写体の単一の画像を生成し、前記各カメラの視野がそれぞれ前記被写体の一部だけを含んでいると判断されたときには、前記各撮影画像をつなぎあわせる手法により前記被写体の単一の画像を生成するものであるプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001260396A JP4458720B2 (ja) | 2001-08-29 | 2001-08-29 | 画像入力装置およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001260396A JP4458720B2 (ja) | 2001-08-29 | 2001-08-29 | 画像入力装置およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003069879A JP2003069879A (ja) | 2003-03-07 |
| JP4458720B2 true JP4458720B2 (ja) | 2010-04-28 |
Family
ID=19087607
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001260396A Expired - Fee Related JP4458720B2 (ja) | 2001-08-29 | 2001-08-29 | 画像入力装置およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4458720B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4438063B2 (ja) | 2004-11-05 | 2010-03-24 | キヤノン株式会社 | 通信システム、通信装置、通信方法、及びプログラム |
| JP5238220B2 (ja) * | 2007-10-29 | 2013-07-17 | 株式会社東芝 | 解像度変換装置、方法およびプログラム |
| JP5147799B2 (ja) * | 2009-08-26 | 2013-02-20 | キヤノン株式会社 | 通信システム、通信装置、通信方法、及びプログラム |
| WO2012002157A1 (ja) * | 2010-06-28 | 2012-01-05 | 富士フイルム株式会社 | 立体視用画像撮影装置およびその制御方法 |
-
2001
- 2001-08-29 JP JP2001260396A patent/JP4458720B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003069879A (ja) | 2003-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10452945B2 (en) | Image generating device, electronic device, image generating method and recording medium | |
| WO2017000484A1 (zh) | 用于用户终端的全景图像生成方法和装置 | |
| US20050008254A1 (en) | Image generation from plurality of images | |
| JP4605458B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP4010754B2 (ja) | 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体 | |
| JP2005122320A (ja) | 撮影装置、その画像処理方法及びプログラム | |
| JP2007226643A (ja) | 画像処理装置 | |
| JP2004062565A (ja) | 画像処理装置及び方法並びにプログラム記憶媒体 | |
| KR101204888B1 (ko) | 디지털 촬영장치, 그 제어방법 및 이를 실행시키기 위한프로그램을 저장한 기록매체 | |
| JP4640032B2 (ja) | 画像合成装置、画像合成方法及びプログラム | |
| JP3983624B2 (ja) | 画像合成装置、画像合成方法、画像合成プログラム、および画像合成プログラムを記録した記録媒体 | |
| JP2007036359A (ja) | 画像合成装置、画像合成方法及びプログラム | |
| JP4458720B2 (ja) | 画像入力装置およびプログラム | |
| JP2009088710A (ja) | 撮影装置、撮影方法及び撮影プログラム | |
| WO2020209108A1 (ja) | 画像処理装置、３ｄモデル生成方法、およびプログラム | |
| JP5966657B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
| JP4148817B2 (ja) | パノラマ画像撮影装置及びパノラマ画像撮影方法 | |
| JP3983623B2 (ja) | 画像合成装置、画像合成方法、画像合成プログラム、および画像合成プログラムを記録した記録媒体 | |
| JP2001052152A (ja) | 画像合成方法、画像合成装置及び記憶媒体 | |
| WO2015198478A1 (ja) | 画像歪み補正装置、情報処理装置および画像歪み補正方法 | |
| JP6320165B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
| JPH10108003A (ja) | 画像合成装置および画像合成方法 | |
| JP2005275765A (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよびそのプログラムを記録した記録媒体 | |
| JP5623247B2 (ja) | 撮像装置及びその制御方法 | |
| JP2019146147A (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041004 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20051021 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070323 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20080111 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090724 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090825 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091026 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100202 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100209 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130219 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130219 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140219 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |