JP3730450B2 - 画像入力装置および画像入力方法 - Google Patents
画像入力装置および画像入力方法 Download PDFInfo
- Publication number
- JP3730450B2 JP3730450B2 JP23113899A JP23113899A JP3730450B2 JP 3730450 B2 JP3730450 B2 JP 3730450B2 JP 23113899 A JP23113899 A JP 23113899A JP 23113899 A JP23113899 A JP 23113899A JP 3730450 B2 JP3730450 B2 JP 3730450B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- divided
- photographed
- global
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Input (AREA)
- Processing Or Creating Images (AREA)
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、デジタルスチルカメラなど複数枚の静止画像を撮影する画像入力装置および画像入力方法に関し、特に、被写体の一部分ずつを互いに一部が重複し合うように撮影した複数枚の画像を張り合わせて被写体の全領域の合成画像を生成する技術に関する。
【０００２】
【従来の技術】
コンピュータ・ネットワークの急速な進歩とともにビジネスの在り方も多様化し、様々な局面で重要な情報をその場で取得する必要性が生じている。それに伴い、携帯型の入力装置を用いて平面状の文書や写真を簡便かつ高精度に入力することへの要求が高まっている。そこで従来から、デジタルスチルカメラのような画像入力装置を用いて、収集したい画像情報を迅速に入力・転送して仕事や娯楽に活用するということが行われている。
【０００３】
しかし、一般に上記の画像入力装置に使用されているＣＣＤ（charge coupled device）などの撮像素子の画素数は有限であるため、解像度不足が原因で必要とする品質の画像が得られないという不具合があった。
【０００４】
これに対して、画像入力装置の解像度不足を補うため、画像処理に工夫を凝らして高解像・高精細な画像を作成するという技術が開発されている。例えば、同一の被写体を複数枚撮影した画像を貼り合わせて１枚のパノラマ画像を合成することにより、画素数の制約を受けずに広い範囲に渡って十分な解像度を持つ画像を得るという従来技術がある。具体的には、被写体の奥行きを計測し、被写体が球面状（遠くの景色など）あるいは平面状とみなせる場合にはアフィン変換や射影変換のような幾何補正式を用いて、被写体の一部分を分割撮影した画像を貼り合わせる技術であり、これらの技術の概要は、例えば、『コンピュータビジョン−技術評論と将来展望−／松山隆司ほか／新技術コミュニケーションズ』に記載されている。かかる技術を用いて分割撮影した画像を貼り合わせるためには、互いの画像の一部が重なるようにして、被写体を分割撮影する必要がある。
【０００５】
しかし、ユーザが画像入力装置を手で持った状態で、分割撮影した互いの画像が重なる領域の大きさを適切にしながら被写体を分割撮影するのは大変困難である。
【０００６】
この点に鑑みて、特開平5-161050号公報においては、既に入力した画像と現在入力中の画像を、それぞれ間引きして縮小した画像を、表示部の隣接した部分に表示し、パノラマ画像を得る場合に現在の撮影位置が適切かどうかを確認できるというデジタル電子スチルカメラが開示されている。
【０００７】
また、特開平9-266561号公報においては、連続画像を作成するカメラにおいて、先に撮影した画像の一部をカメラの移動方向に応じて表示し、現在入力中の画像に並べて写し出して（例えばカメラが時計回りに回転した場合、先に撮影した画像の右端部分を予め決められた領域分だけ切り出して、カメラ背面に設けられた表示部の左端に写し出し、そのすぐ右隣に現在入力の画像を並べて表示する）、２枚の画像が繋がった状態でシャッタを押すと、合成した連続画像がパノラマメモリに保存されるというデジタルスチルカメラが開示されている。
【０００８】
さらに、特開平9-261520号公報には、撮影部の位置と姿勢とを測定し、その測定結果に基づいて以前に取り込まれた前画像と現在撮影されている撮影画像とのオーバーラップ量を算出する技術および撮影部から順次出力される動画像データに基づいて各撮影画像間の動き量を求め、この動き量を加算することにより前記前画像との間の動き量を算出して、前画像と現在撮影されている撮影画像とのオーバーラップ量を算出する発明が開示されている。
【０００９】
このほか特開平10-186551号公報においては、既に保存された分割画像（前画像）の一部の領域と、カメラ部により新たに受容した分割画像（現画像）の一部の領域をそれぞれ分割画像として記憶し、該２枚の分割画像を比較して、両者が一致した場合に分割画像を適正な方向の分割画像として入力する等の、所定の処理を行うという技術が開示されている。
【００１０】
【発明が解決しようとする課題】
しかし、前記特開平5-161050号公報に開示の技術においては、表示された低解像度の間引き画像を見て、ユーザが画像間の繋がりや重なりの大きさを確認するのは困難であり、特に文書のように被写体像が周期的かつ細かなテクスチャで構成されている場合には顕著である。
【００１１】
前記特開平9-261520号公報においては、直交する３軸上の位置と３軸回りの角度との６自由度情報により、撮影部の位置・姿勢を記述することが必要となるが、６自由度全ての情報を精度良く求めるためには種々の検出器が必要となり、装置が大掛かりになってしまうという不具合がある。また、動画像における動き量からオーバーラップ量を算出する場合には、前画像撮影時からカメラをゆっくり動かさなければ動画像における動き量検出が困難となるため、ユーザはカメラを慎重に操作しなければならないという制約を受ける。
【００１２】
前記特開平10-186551号公報に開示の技術においては、ユーザがカメラを保持した状態で、２枚の分割画像を一致させるには慎重なカメラ操作が要求され、撮影動作に制約を受ける。
【００１３】
この発明の目的は、簡易な手段により容易に撮影することができる画像入力装置および画像入力方法を提供することである。
【００１４】
この発明の別の目的は、次に撮影すべき分割画像の撮影範囲を直感的に知ることができる画像入力装置および画像入力方法を提供することである。
【００１５】
この発明の別の目的は、両分割画像間に適切な大きさの重なり領域があるか否かを容易に確認することができる画像入力装置および画像入力方法を提供することである。
【００１６】
この発明の別の目的は、今後分割画像を撮影する必要のある領域をすばやく確認することができる画像入力装置および画像入力方法を提供することである。
【００１７】
この発明の別の目的は、現在撮影している分割画像が適切か否かをすばやく確認することができる画像入力装置および画像入力方法を提供することである。
【００１８】
この発明の別の目的は、分割画像の重なり領域の大きさが適切か否かをすばやく確認することができる画像入力装置および画像入力方法を提供することである。
【００１９】
この発明の別の目的は、撮影する分割画像の大きさを適切にし、不要な分割画像を撮影しないようにすることができる画像入力装置および画像入力方法を提供することである。
【００２０】
【課題を解決するための手段】
請求項１に記載の発明は、被写体を撮影する撮影手段と、前記被写体の全体を撮像した大局画像を記憶する記憶手段と、前記被写体の任意の一部を撮影する場合に、撮影される前記被写体の任意の一部が、前記大局画像のいずれの領域に対応するのかを検出する検出手段と、前記検出手段の検出に基づいて、撮影される前記被写体の任意の一部を前記大局画像の対応する領域に前記大局画像とともに表示する表示手段とを有することを特徴とする画像入力装置である。
【００２１】
したがって、検出手段の検出に基づいて、撮影される被写体の任意の一部を大局画像の対応する領域に大局画像とともに表示されるため、ユーザが撮影しようとしている被写体の任意の一部が大局画像のいずれの領域に対応するのかを把握することが容易に可能となる。
【００２２】
請求項２に記載の発明は、請求項１に記載の画像入力装置において、前記記憶手段は、前記被写体の一部を撮影した画像を分割画像として記憶し、前記検出手段は、前記記憶手段に記憶されている分割画像が、前記大局画像のいずれの領域に対応するのかを検出し、前記表示手段は、前記検出手段の検出に基づいて、前記分割画像と、撮影される前記被写体の任意の一部とを、前記大局画像の対応する領域に前記大局画像とともに表示する。
【００２３】
したがって、すでに取得済みの分割画像と、撮影される被写体の任意の一部とを、大局画像の対応する領域に大局画像とともに表示されるため、次に撮影しようとしている被写体の撮影範囲が適切か否かをすばやく確認することができる。
【００２４】
請求項３に記載の発明は、請求項２に記載の画像入力装置において、撮影される前記被写体の任意の一部と、前記分割画像との重なり領域を検出する重なり領域検出手段をさらに備える。
【００２５】
したがって、撮影される被写体の任意の一部とすでに撮影した分割画像との重なり領域の大きさを検出することができる。
【００２６】
請求項４に記載の発明は、請求項３に記載の画像入力装置において、前記表示手段は、前記重なり領域検出手段で検出した重なり領域の大きさを表示する。
【００２７】
したがって、撮影される被写体の任意の一部とすでに撮影した分割画像との重なり領域の大きさを検出することができるため、重なり領域の大きさが適切か否かを確認することができる。
【００２８】
請求項５に記載の発明は、請求項４に記載の画像入力装置において、前記重なり領域検出手段で検出した重なり領域の大きさが所定値より大きい場合に、撮影される前記被写体の任意の一部が不適切である旨を報知する報知手段をさらに備える。
【００２９】
したがって、撮影される被写体の任意の一部とすでに撮影した分割画像との重なり領域が所定の不適切な状態にあることを知ることができるため、撮影する分割画像を適切にし、不要に重なり領域の大きい分割画像を撮影しないようにすることができる。
【００３０】
請求項６に記載の発明は、請求項１又は２に記載の画像入力装置において、前記検出手段において、撮影される前記被写体の任意の一部が、前記大局画像のいずれの領域に対応するのかを検出できない場合に、撮影される前記被写体の任意の一部が不適切である旨を報知する報知手段をさらに備える。
【００３１】
したがって、撮影される被写体の任意の一部がすでに撮影した大局画像のいずれの領域にも対応しない所定の不適切な状態にあることを知ることができるため、不要な分割画像を撮影しないようにすることができる。
【００３２】
請求項７に記載の発明は、被写体を撮影する撮影工程と、前記被写体の全体を撮像した大局画像を記憶する記憶工程と、前記被写体の任意の一部を撮影する場合に、撮影される前記被写体の任意の一部が、前記大局画像のいずれの領域に対応するのかを検出する検出工程と、前記検出工程による検出に基づいて、撮影される前記被写体の任意の一部を前記大局画像の対応する領域に前記大局画像とともに表示する表示工程とを有することを特徴とする画像入力方法である。
【００３３】
したがって、検出工程による検出に基づいて、撮影される被写体の任意の一部を大局画像の対応する領域に大局画像とともに表示されるため、ユーザが撮影しようとしている被写体の任意の一部が大局画像のいずれの領域に対応するのかを把握することが容易に可能となる。
【００３４】
請求項８に記載の発明は、請求項７に記載の画像入力方法において、前記記憶工程は、前記被写体の一部を撮影した画像を分割画像として記憶し、前記検出工程は、前記記憶工程により記憶されている分割画像が、前記大局画像のいずれの領域に対応するのかを検出し、前記表示工程は、前記検出工程による検出に基づいて、前記分割画像と、撮影される前記被写体の任意の一部とを、前記大局画像の対応する領域に前記大局画像とともに表示する。
【００３５】
したがって、すでに取得済みの分割画像と、撮影される被写体の任意の一部とを、大局画像の対応する領域に大局画像とともに表示されるため、次に撮影しようとしている被写体の撮影範囲が適切か否かをすばやく確認することができる。
【００３６】
請求項９に記載の発明は、請求項８に記載の画像入力方法において、撮影される前記被写体の任意の一部と、前記分割画像との重なり領域を検出する重なり領域検出工程をさらに備える。
【００３７】
したがって、撮影される被写体の任意の一部とすでに撮影した分割画像との重なり領域の大きさを検出することができる。
【００３８】
請求項１０に記載の発明は、請求項９に記載の画像入力方法において、前記表示工程は、前記重なり領域検出工程で検出した重なり領域の大きさを表示する。
【００３９】
したがって、撮影される被写体の任意の一部とすでに撮影した分割画像との重なり領域の大きさを検出することができるため、重なり領域の大きさが適切か否かを確認することができる。
【００４０】
請求項１１に記載の発明は、請求項１０に記載の画像入力方法において、前記重なり領域検出工程で検出した重なり領域の大きさが所定値より大きい場合に、撮影される前記被写体の任意の一部が不適切である旨を報知する報知工程をさらに備える。
【００４１】
したがって、撮影される被写体の任意の一部とすでに撮影した分割画像との重なり領域が所定の不適切な状態にあることを知ることができるため、撮影する分割画像を適切にし、不要に重なり領域の大きい分割画像を撮影しないようにすることができる。
【００４２】
請求項１２に記載の発明は、請求項７又は８に記載の画像入力方法において、前記検出工程において、撮影される前記被写体の任意の一部が、前記大局画像のいずれの領域に対応するのかを検出できない場合に、撮影される前記被写体の任意の一部が不適切である旨を報知する報知工程をさらに備える。
【００４３】
したがって、撮影される被写体の任意の一部がすでに撮影した大局画像のいずれの領域にも対応しない所定の不適切な状態にあることを知ることができるため、不要な分割画像を撮影しないようにすることができる。
【００４８】
【発明の実施の形態】
以下では、この発明の画像入力装置をデジタルスチルカメラに適用した各発明の実施の形態について説明する。図１に示すように、デジタルスチルカメラ１を用いて、先に被写体の全領域が画面枠内に収まるように撮影し、続いて前記被写体の一部分を、互いに一部が重複するように分割撮影するという例を用いて説明する。そして、先に撮影される画像を大局画像、後に分割撮影して得られる画像を分割画像と呼ぶ。
【００４９】
［発明の実施の形態１］
図２は、この発明の実施の形態１であるデジタルスチルカメラ１の電気的な接続を示すブロック図である。
【００５０】
図１に示すように、デジタルスチルカメラ１は、撮影手段２と、撮影手段２により得られた画像信号に所定の処理を施す信号処理手段３と、信号処理手段３の出力が供給されるメモリ制御手段４と、デジタルスチルカメラ１の各部を集中的に制御する主制御手段５と、インターフェース（以下Ｉ／Ｆと略す）６と、メモリ制御手段４の指令により画像信号を蓄積するフレームメモリ７と、Ｉ／Ｆ６を経由して画像信号を表示するディスプレイ８と、演算処理や信号処理に必要なデータ等を一時的に格納するなどの用途に使われる内部記憶手段９と、Ｉ／Ｆ６を経由して画像信号をはじめとする種々の信号の読み書きを行う外部記憶手段１０とを備えている。その他、撮影モードを切り替える撮影モード設定手段１１と、先に被写体の大局画像を撮影し、その後に分割画像を撮影するようユーザに指示する撮影指示手段１２とを備えている。
【００５１】
以下、各部の詳細を説明する。撮影手段２は、レンズ２１、絞り２２、シャッタ２３、撮像素子２４および前処理手段２５より構成されている。撮像素子２４には、例えばＣＣＤ（charge coupled device）が使用される。また前処理手段２５は、プリアンプやＡＧＣ（auto gain control）等のアナログ信号処理回路やＡ／Ｄ変換器を備えており、撮像素子２４より出力されたアナログ映像信号に対して増幅、クランプ等の前処理を施した後、上記アナログ映像信号をデジタル映像信号に変換する。
【００５２】
信号処理手段３は、デジタル信号処理プロセッサ（ＤＳＰプロセッサ）等により構成されており、撮影手段２により得られたデジタル映像信号に対して色分解、ホワイトバランス調整、γ補正等の種々の画像処理を施す。メモリ制御手段４は、こうして処理された画像信号をフレームメモリ７に格納し、逆にフレームメモリ７に格納された画像信号を読み出す。主制御手段５は、マイコンなどにより構成される。
【００５３】
フレームメモリ７は、少なくとも２枚の画像を格納可能であり、ＶＲＡＭ、ＳＲＡＭ、ＤＲＡＭ等で構成される。フレームメモリ７から読み出された画像信号の記録は、信号処理手段３において画像信号に対して画像圧縮等の信号処理を施した後、Ｉ／Ｆ６を介して内部記憶手段９や外部記憶手段１０に保存することによって行われる。フレームメモリ７などにより第１及び第２のメモリが構成される。
【００５４】
内部記憶手段９はフレームメモリ７と同様に、ＶＲＡＭ、ＳＲＡＭ、ＤＲＡＭ等により構成される。外部記憶手段１０は、ＩＣメモリカードや光磁気ディスク等が使用できるが、モデムカードやＩＳＤＮカードを利用して、ネットワークを経由して画像信号を直接遠隔地の記録媒体に送信するようにしてもよい。逆に、内部記憶手段９に記録された画像信号の読み出しは、Ｉ／Ｆ６を介して信号処理手段３に画像信号を送信し、信号処理手段３において画像伸張を施すことによって行われる。一方、外部記憶手段１０およびフレームメモリ７から読み出された画像信号の表示は、信号処理手段３において画像信号に対してＤ／Ａ変換や増幅等の信号処理を施した後、Ｉ／Ｆ６を介してディスプレイ８に送信することによって行われる。ディスプレイ８は、例えばデジタルスチルカメラ１の筐体に設けられた液晶表示装置より構成される。
【００５５】
撮影モード設定手段１１は、押しボタンスイッチやスライドスイッチ等により構成され、ユーザがスイッチを操作することにより、スナップ写真を撮影する通常撮影モードと、後の高解像画像作成に利用するために同一の被写体を分割撮影する分割撮影モードとを手動で切り替えることを可能とする。
【００５６】
撮影指示手段１２は、分割撮影モードが選択されている時にのみ起動され、分割撮影モードに設定されると、ユーザに対して１枚目は被写体の大局画像を撮影し、２枚目以降は被写体の分割画像を撮影するように指示する。
【００５７】
この指示を受けてユーザは、被写体像がデジタルスチルカメラ１の平行移動により殆ど変形しない遠距離の被写体に対しては、撮影手段２の光学系を広角側に設定して、被写体の全体像が画面枠内に入るように大局画像を撮影し、また撮影手段２の光学系を望遠側に設定することにより、高解像の分割画像を撮影すればよい。また、被写体像がデジタルスチルカメラ１の平行移動により変形する近距離の被写体に対しては、撮影手段２の光学系を広角側に設定するか撮影手段２を被写体から遠ざけて、被写体の全体像が画面枠内に入るように大局画像を撮影し、また撮影手段２の光学系を望遠側に設定するか撮影手段２を被写体に近づけることにより、高解像の分割画像を撮影すればよい。
【００５８】
撮影指示は、ディスプレイ８の画面に撮影手順を示すテキストをオーバーレイ表示させるもの、撮影手順を音声で知らせるという明示的なもの、また大局画像を撮影することが必要な場合には撮影手段２のレンズを最も広角側に強制的にシフトし、分割画像を撮影することが必要な場合には撮影手段２のレンズを望遠側に強制的にシフトするという暗示的なものなど、様々な形態をとることができる。
【００５９】
以上の手順で撮影された大局画像および分割画像は、ディスプレイ８において同時または時分割に表示される。また、撮影済の分割画像と撮影中の分割画像も同時または時分割に表示される。このように同時または時分割で画像を表示するには、ディスプレイ８の画面を２分割して、分割されて得られた一方の領域に大局画像または撮影中の分割画像を、他方の領域に撮影済の分割画像を表示するなどの形態をとればよい。また、時分割して表示するには、一定時間間隔毎に大局画像または撮影済みの分割画像と撮影済みの分割画像とを交互に表示すればよい。
【００６０】
図３は、撮影の一連の手順を示すフローチャートである。ここで、撮影モードは、分割撮影モードに予め設定されていると仮定する。図３に示すように、まず、被写体像を広範囲に撮影し、得られた画像を大局画像として保存する（ステップＳ１）。次に、大局画像よりも狭い撮影範囲で、前記被写体を撮影し、得られた画像を分割画像として保存する（ステップＳ４）。この処理の前段階で、すでに撮影済みの分割画像があるときは（ステップＳ２のＹ）、その撮影済みの分割画像と現在撮影中の分割画像とを同時または時分割でディスプレイ８に表示する（ステップＳ３）。ステップＳ４の後、前記大局画像と前記分割画像を同時または時分割で表示する（ステップＳ５）。分割撮影モードがOFFにならない限り分割画像の撮影を続行し（ステップＳ６のＹ）、ステップＳ２からステップＳ５の動作を繰り返す。分割撮影モードがOFFに切り替えられると、大局画像から最後に撮影された分割画像までの一連の画像を、同一被写体を撮影した１組の画像群として関連付けて保存して（ステップＳ７）、処理を終了する。ステップＳ３，Ｓ５により、この発明の表示手段を実現している。
【００６１】
以上説明したデジタルスチルカメラ１によれば、あらかじめ大局画像を撮影して、その画像をディスプレイ８に表示し、その表示画像を見ながら、各々の分割画像が対応する被写体の領域をすばやく確認しつつ分割画像を複数枚撮影することができるので、簡易な手段により容易に分割画像の撮影を行うことができる。
【００６２】
また、大局画像とすでに撮影した分割画像とを同時にまたは時分割でディスプレイ８に表示することができるので、次に撮影すべき分割画像の撮影範囲を直感的に知ることができる。
【００６３】
すでに撮影した分割画像と現在撮影中の分割画像とを同時にまたは時分割でディスプレイに表示することもできるので、この両分割画像間に適切な大きさの重なり領域があるか否かを容易に確認することができる。
【００６４】
なお、撮影された複数枚の分割画像は、張り合わせて被写体の全領域の合成画像を生成する。そのための具体的手段は、例えば、『コンピュータビジョン −技術評論と将来展望−／松山隆司ほか／新技術コミュニケーションズ』に記載されている。
【００６５】
［発明の実施の形態２］
図４は、この発明の実施の形態２であるデジタルスチルカメラ１の電気的な接続を示すブロック図である。
【００６６】
図４において、図２と同一符号の部材は、発明の実施の形態１のデジタルスチルカメラ１のものと同様の部材であるため、詳細な説明は省略する。このデジタルスチルカメラ１は、現在取り込まれている分割画像が先に撮影された大局画像においてどの領域に対応するかを検出する画像対応検出手段１３と、前記大局画像と前記分割画像の各々を変倍して、前記大局画像と前記分割画像の大きさを正規化する画像正規化手段１４と、既に撮影された被写体の領域を通知する撮影済み領域通知手段１５とを備えている。
【００６７】
画像対応検出手段１３は、図５に示すように、現在撮影中または撮影済みの各々の分割画像が、大局画像においてどの撮影範囲に相当するのかという対応関係を検出するものである。ここでは、分割画像と大局画像との濃度の相関演算を行い、上記対応関係を検出する方法について説明する。まず、図６のように、分割画像を、“（２Ｎ＋１）（２Ｐ＋１）”の大きさに変倍して、その濃淡パターンを抽出して相関窓を作成する。続いて、大局画像において該相関窓の濃淡パターンとほぼ一致する箇所を、相関演算により検出する。例えば、“（２Ｎ＋１）（２Ｐ＋１）”の変倍された分割画像と、大局画像における点（ｘ，ｙ）との相互相関値Ｓは、次式により計算される。
【００６８】
【数１】
【００６９】
したがって、相互相関値Ｓの最大値が予め定められた閾値以上である点を求めることにより、分割画像の中心座標（ｘc、ｙc）に対応する大局画像における座標（ｘ，ｙ）が求められるので、分割画像と大局画像との対応関係を検出することができる。検出された対応関係は，図５のように、「分割画像ａは大局画像において、画像座標（ｘ11、ｙ11）を左上頂点、（ｘ12、ｙ12）を右下頂点とする矩形領域に対応する、分割画像ｂは・・・」という形式で出力され、必要に応じて内部記憶手段９および外部記憶手段１０に記録される。
【００７０】
一般に、(1)式で示した相関演算による濃度マッチングは、対象となる２枚の画像における被写体像の大きさがほぼ同じでないと誤差を生じやすいことが知られている。画像正規化手段１４は、前記画像対応検出手段１３において分割画像と大局画像の対応関係を検出する前に、分割画像に写された被写体像の大きさと、大局画像に写された被写体像の大きさを正規化するものであり、例えば、図７に示すように、撮影パラメータ検出手段２６、被写体距離検出手段２７、拡大係数検出手段２８および画像変倍手段２９より構成される。
【００７１】
撮影パラメータ検出手段２６は、撮影手段２における焦点距離を検出するものであり、例えば、撮影手段２のレンズ位置をエンコーダで読み取ることにより実現される。被写体距離検出手段２７は、撮影手段２から被写体までの距離を検出するものであり、例えば、撮影手段２の焦点位置により前記距離を求めることができる。拡大係数検出手段２８は、撮影パラメータ検出手段２６の出力した焦点距離および被写体距離検出手段２７の出力した被写体までの距離をもとに、大局画像と分割画像の拡大係数をそれぞれ算出する。
【００７２】
この動作を図８に基づき説明する。大局画像は図８(a)のように、横方向の長さがＬである被写体を、焦点距離がｆ、被写体から撮影手段２の光学中心oまでの距離がＤの状態で撮影したと仮定する。また、分割画像は図８(b)のように、同一の被写体を、焦点距離がｆ´、被写体から撮影手段２の光学中心oまでの距離がＤ´'の状態で撮影したと仮定する。この時、撮影手段２の光学系が、図８のように中心射影モデルで表される場合、大局画像における被写体像の長さｌ、分割画像における被写体像の長さl´は、それぞれ以下のように計算することができる。
【００７３】
【数２】
【００７４】
したがって、大局画像と分割画像に写された被写体像の大きさを揃えるには、大局画像の拡大係数をｋ、分割画像の拡大係数をｋ´として、ｋとｋ´の比を次式のように定めればよい。
【００７５】
【数３】
【００７６】
(4)式により、大局画像および分割画像を撮影した時の焦点距離と被写体距離に基づいて、これらの画像における被写体像の大きさを正規化することができる。画像変倍手段２９は、(4)式で算出された拡大係数ｋ，ｋ´を用いて、大局画像と分割画像をそれぞれ変倍して拡大縮小処理を行う。変倍された画像は画像対応検出手段１３に送られ、画像対応検出手段１３において、先に説明した手順で、変倍された分割画像と変倍された大局画像との対応関係が検出される。
【００７７】
撮影済み領域通知手段１５は、画像対応検出手段１３の出力を受け取り、大局画像において既に分割撮影された領域（撮影済み領域）を検出する。例えば、画像対応検出手段１３より送られた、各分割画像が大局画像において対応する領域のＯＲ演算をすることにより、撮影済み領域を検出することができる。また撮影済み領域通知手段１５は、検出された撮影済み領域をディスプレイ８に表示するよう主制御手段５に信号を発し、それを受けて主制御手段５はＩ／Ｆ６を介して、図９に示すように、ディスプレイ８において、撮影済み領域を示す矩形状の枠線３０，３１を大局画像上にオーバーレイ表示する。
【００７８】
また、図１０に示すように、撮影済み領域通知手段１５の代わりに、未撮影領域通知手段１６を設けてもよい。未撮影領域通知手段１６は、画像対応検出手段１３の出力を受け取り、大局画像において未だ撮影されていない領域（未撮影領域）を検出する。例えば、画像対応検出手段１３より送られた、各分割画像が大局画像において対応する領域のＮＯＲ演算をすることにより、未撮影領域を検出することができる。また未撮影領域通知手段１６は、検出された未撮影領域をディスプレイ８に表示するよう主制御手段５に信号を発し、それを受けて主制御手段５はＩ／Ｆ６を介して、図１１に示すように、ディスプレイ８において、例えば枠線３０，３１にマスクをかけ、未撮影領域のみを明るく表示する。
【００７９】
ユーザは、撮影済み領域通知手段１５または未撮影領域通知手段１６により、既に撮影した被写体の領域や今後分割撮影すべき被写体の領域を確認し、分割撮影を続ける。この時、撮影手段２が入力した被写体像をディスプレイ８において映し出すと同時に、画像対応検出手段１３において、現在撮影している分割画像と前記大局画像との対応関係を検出する。そしてユーザが現在撮影している分割画像の撮影範囲を表示するよう指示すると（これを指示する手段は図示しない）、図１２に示すように、ディスプレイ８において、大局画像上に現在撮影している分割画像の撮影範囲を示す枠線３２を重畳表示すると便利である。すなわちディスプレイ８において、図１２に示す画面と、図９または図１１に示す画面とを切り替えることにより、ユーザは現在撮影している分割画像の撮影範囲が適切であるか否かを、直観的に判断することができる。
【００８０】
図１３は、撮影の一連の手順を示すフローチャートである。ここで、撮影モードは分割撮影モードに予め設定されていると仮定する。図１３に示すように、まず、被写体像を広範囲に撮影し、得られた画像を大局画像として保存する（ステップＳ１１）。次に、大局画像よりも狭い撮影範囲で、前記被写体を撮影し、得られた画像を分割画像として保存する（ステップＳ１２）。続いて(4)式に基づき、前記分割画像と前記大局画像を撮影した時の焦点距離および被写体距離を用いて、各々の画像における被写体像の大きさがほぼ同一になるよう変倍し（ステップＳ１３）、前記分割画像と前記大局画像との撮影範囲の対応関係を検出する（ステップＳ１４）。対応関係が検出されると、既に撮影された被写体の領域または未だ撮影していない被写体の領域を表示する（ステップＳ１５）。分割撮影モードがOFFにならない限り分割画像の撮影を続行し（ステップＳ１６）、ステップＳ２からステップＳ５の動作を繰り返す。分割撮影モードがOFFに切り替えられると、大局画像から最後に撮影された分割画像までの一連の画像を、同一被写体を撮影した１組の画像群として保存して（ステップＳ１７）、処理を終了する。ステップＳ１４により第１および第２の画像対応検出手段を実現し、ステップＳ１５により表示手段を実現している。
【００８１】
以上説明したデジタルスチルカメラ１によれば、すでに撮影された分割画像の領域またはそれ以外の領域を大局画像に対し重畳してディスプレイに表示するので、今後撮影する必要のある領域をすばやく確認することができる。
【００８２】
また、現在撮影中の分割画像の領域またはそれ以外の領域を大局画像に対し重畳してディスプレイ８に表示するので、現在撮影している分割画像が適切か否かをすばやく確認することができる。
【００８３】
［発明の実施の形態３］
図１４は、この発明の実施の形態３であるデジタルスチルカメラ１の電気的な接続を示すブロック図である。
【００８４】
図１４において、図４、図１０と同一符号の部材は、発明の実施の形態２のデジタルスチルカメラ１のものと同様の部材であるため、詳細な説明は省略する。このデジタルスチルカメラ１は、先に撮影した分割画像と現在撮影している分割画像とが重なり合う領域の大きさおよび位置を検出する重なり領域検出手段１７と、現在撮影している分割画像が不適切と判定した場合に警告を発する警告手段１８とを備えている。
【００８５】
重なり領域検出手段１７は、画像対応検出手段１３より各々の分割画像と大局画像との対応関係を示す情報を受け取り、その情報を基に現在撮影されている分割画像と先に撮影された各々の分割画像とが重なり合う領域を検出する。その動作を図１５に基づいて説明する。図１５(a)において、既に分割画像ａと分割画像ｂが保存されており、現在分割画像ｃを撮影していると仮定する。画像対応検出手段１３は図１５(b)のように、これら３枚の分割画像が大局画像において対応する領域を、大局画像における画像座標という形で出力する。その結果、大局画像における画像座標を基準にした、分割画像ｃが分割画像ａ、分割画像ｂと重なり合う領域はそれぞれ容易に検出できるが、さらに、重なり領域検出手段１７は、この重なり合う領域を、分割画像ｃを基準とした画像座標に変換する。図１６に示すように、大局画像の座標系をｘｙ座標系、分割画像ｃを基準の座標系をｕｖ座標系とすると、ｘｙ座標系における画像座標（ｘ、ｙ）とｕｖ座標系における画像座標 （ｕ、ｖ）との関係は、以下の変換式で表される。
【００８６】
【数４】
【００８７】
(5)式に示すａ〜ｃの３つの変数を算出するには、大局画像における座標と分割画像ｃにおける座標の関係が２組以上既知である必要があるが、分割画像ｃの四隅の座標は既知である。したがって、現在撮影している分割画像と既に撮影した分割画像との重なり領域を、現在撮影している分割画像を基準に検出することができる。検出された重なり領域は、例えば、図１７に示すように、ディスプレイ８において、既に撮影された領域を表す矩形状の枠線３３や、分割画像の大きさに対する重なり領域の割合を表すテキスト３４を、現在撮影している分割画像の上に重畳して表示することにより示される。
【００８８】
警告手段１８は、画像対応検出手段１３と重なり領域検出手段１７の出力を受け取り、現在撮影している分割画像が適切か否かを判定し、不適切と判定した場合に警告を発する。例えば、下記の事象が発生した時に、「現在撮影している分割画像は不適切である」という判定が下される。
(1)現在撮影している分割画像と、大局画像との対応関係が検出できない。
(2)現在撮影している分割画像と、先に撮影したある分割画像と重なり合う領域が大き過ぎる。
【００８９】
(1)は、画像対応検出手段１３において、例えば分割画像における被写体の見え方と、大局画像における被写体の見え方とが著しく異なるなどの要因で、(1)式に基づいて分割画像と大局画像との相関演算を行った結果、相関値が閾値に達しなかった場合に発生する。(2)は、前述した重なり領域検出手段１７の出力より容易に判定でき、例えば現在撮影されている分割画像と先に撮影したある分割画像との重なり領域の大きさが、画像面積の1/2以上ならば不適切と判定すればよい。警告手段１８の出力はディスプレイ８に送信され、ディスプレイ８の画面に警告の旨を示すテキストがオーバーレイ表示されるなどして、ユーザに分割画像を取り直すよう指示する。
【００９０】
図１８は、撮影の一連の手順を示すフローチャートである。撮影モードは分割撮影モードに予め設定されていると仮定する。図１８に示すように、まず、被写体像を広範囲に撮影し、得られた画像を大局画像として保存する（ステップＳ２１）。次に、大局画像よりも狭い撮影範囲で、前記被写体の分割画像を撮影する（ステップＳ２２）。続いて、前記分割画像と前記大局画像との撮影範囲の対応関係を検出すると共に（ステップＳ２３）、現在撮影している分割画像と先に撮影された各々分割画像とが重なり合う領域の大きさを検出して（ステップＳ２４）、その大きさをディスプレイ８に表示する（ステップＳ２５）。そして、現在撮影している画像が適切か否かを判定する（ステップＳ２６）。不適切と判定された場合には、分割画像を取り直すようユーザに警告を発し（ステップＳ２７）、適切と判定された場合には警告を発せず、分割画像撮影を続行させる。分割撮影モードがOFFにならない限り分割画像の撮影を続行し（ステップＳ２８）、ステップＳ２２からステップＳ２７の動作を繰り返す。分割撮影モードがOFFに切り替えられると、大局画像から最後に撮影された分割画像までの一連の画像を、同一被写体を撮影した１組の画像群として保存して（ステップＳ２９）、処理を終了する。ステップＳ２４により領域検出手段を実現し、ステップＳ２５により第１の報知手段を実現し、ステップＳ２７により第２の報知手段を実現している。
【００９１】
以上説明したデジタルスチルカメラ１によれば、現在撮影中の分割画像とすでに撮影した分割画像との重なり領域の大きさを知ることができるので、この両分割画像の重なり領域の大きさが適切か否かをすばやく確認することができる。
【００９２】
また、現在撮影中の分割画像とすでに撮影した分割画像との重なり領域が所定の不適切な状態にあることを知ることができるので、撮影する分割画像の大きさを適切にし、不要な分割画像を撮影しないようにすることができる。
【００９３】
なお、いうまでもなく、以上説明した各実施の形態の説明は本発明の実施の一例にすぎず、本発明を限定するものではない。例えば、前記の説明において、被写体を文書紙面として説明したが、被写体は風景、人物など別のものであってもよいことは言うまでもない。分割画像と大局画像との対応関係の検出の手段に関しては、前記説明以外の手段、例えば、分割画像において四隅の小領域の濃淡パターンを相関窓として切り出し、各々の相関窓を用いて大局画像において対応する領域を求めるなどの別の手段をとっても構わない。
【００９４】
また、冒頭の説明では、被写体の一部分を分割撮影した画像を貼り合わせる技術を応用例として挙げたが、この応用例以外にも適用できることは言うまでもない。例えば、各々の分割画像と被写体の全体像との位置の対応関係が必要な処理（画像の部分的な高解像化など）、および分割画像同士の位置関係や分割画像間の重なり領域が必要な処理（単眼カメラで捕らえた連続画像を用いた被写体の３次元形状復元など）にも適用可能である。
【００９５】
【発明の効果】
請求項１に記載の発明は、検出手段の検出に基づいて、撮影される被写体の任意の一部を大局画像の対応する領域に大局画像とともに表示されるため、ユーザが撮影しようとしている被写体の任意の一部が大局画像のいずれの領域に対応するのかを把握することが容易に可能となる。
【００９６】
請求項２に記載の発明は、請求項１に記載の画像入力装置において、すでに取得済みの分割画像と、撮影される被写体の任意の一部とを、大局画像の対応する領域に大局画像とともに表示されるため、次に撮影しようとしている被写体の撮影範囲が適切か否かをすばやく確認することができる。
【００９７】
請求項３に記載の発明は、請求項２に記載の画像入力装置において、撮影される被写体の任意の一部とすでに撮影した分割画像との重なり領域の大きさを検出することができる。
【００９８】
請求項４に記載の発明は、請求項３に記載の画像入力装置において、撮影される被写体の任意の一部とすでに撮影した分割画像との重なり領域の大きさを検出することができるため、重なり領域の大きさが適切か否かを確認することができる。
【００９９】
請求項５に記載の発明は、請求項４に記載の画像入力装置において、撮影される被写体の任意の一部とすでに撮影した分割画像との重なり領域が所定の不適切な状態にあることを知ることができるため、撮影する分割画像を適切にし、不要に重なり領域の大きい分割画像を撮影しないようにすることができる。
【０１００】
請求項６に記載の発明は、請求項１又は２に記載の画像入力装置において、撮影される被写体の任意の一部がすでに撮影した大局画像のいずれの領域にも対応しない所定の不適切な状態にあることを知ることができるため、不要な分割画像を撮影しないようにすることができる。
【０１０１】
請求項７に記載の発明は、検出工程による検出に基づいて、撮影される被写体の任意の一部を大局画像の対応する領域に大局画像とともに表示されるため、ユーザが撮影しようとしている被写体の任意の一部が大局画像のいずれの領域に対応するのかを把握することが容易に可能となる。
【０１０２】
請求項８に記載の発明は、請求項７に記載の画像入力方法において、すでに取得済みの分割画像と、撮影される被写体の任意の一部とを、大局画像の対応する領域に大局画像とともに表示されるため、次に撮影しようとしている被写体の撮影範囲が適切か否かをすばやく確認することができる。
【０１０３】
請求項９に記載の発明は、請求項８に記載の画像入力方法において、撮影される被写体の任意の一部とすでに撮影した分割画像との重なり領域の大きさを検出することができる。
【０１０４】
請求項１０に記載の発明は、請求項９に記載の画像入力方法において、撮影される被写体の任意の一部とすでに撮影した分割画像との重なり領域の大きさを検出することができるため、重なり領域の大きさが適切か否かを確認することができる。
【０１０５】
請求項１１に記載の発明は、請求項１０に記載の画像入力方法において、撮影される被写体の任意の一部とすでに撮影した分割画像との重なり領域が所定の不適切な状態にあることを知ることができるため、撮影する分割画像を適切にし、不要に重なり領域の大きい分割画像を撮影しないようにすることができる。
【０１０６】
請求項１２に記載の発明は、請求項７又は８に記載の画像入力方法において、撮影される被写体の任意の一部がすでに撮影した大局画像のいずれの領域にも対応しない所定の不適切な状態にあることを知ることができるため、不要な分割画像を撮影しないようにすることができる。
【図面の簡単な説明】
【図１】この発明の各実施の形態における大局画像と分割画像との関係を説明する説明図である。
【図２】この発明の実施の形態１にかかるデジタルスチルカメラの電気的な接続を示すブロック図である。
【図３】前記デジタルスチルカメラによる撮影の一連の手順を示すフローチャートであるである。
【図４】この発明の実施の形態２であるデジタルスチルカメラの電気的な接続を示すブロック図である。
【図５】前記デジタルスチルカメラで現在撮影中または撮影済みの各々の分割画像が、大局画像においてどの撮影範囲に相当するのかという対応関係を検出する処理の説明図である。
【図６】前記デジタルスチルカメラで現在撮影中または撮影済みの各々の分割画像が、大局画像においてどの撮影範囲に相当するのかという対応関係を検出する処理の説明図である。
【図７】前記デジタルスチルカメラの画像正規化手段の構成を示すブロック図である。
【図８】前記デジタルスチルカメラの拡大係数検出手段で大局画像と分割画像の拡大係数をそれぞれ算出する処理を説明する説明図である。
【図９】前記デジタルスチルカメラのディスプレイにおける撮影済み領域を示した大局画像の表示例を示す平面図である。
【図１０】この発明の実施の形態２であるデジタルスチルカメラの変形例の電気的な接続を示すブロック図である。
【図１１】前記デジタルスチルカメラのディスプレイにおける未撮影領域を示した大局画像の表示例を示す平面図である。
【図１２】前記デジタルスチルカメラのディスプレイにおける現在撮影している分割画像の撮影範囲を示した大局画像の表示例を示す平面図である。
【図１３】前記デジタルスチルカメラによる撮影の一連の手順を示すフローチャートである。
【図１４】この発明の実施の形態３であるデジタルスチルカメラの電気的な接続を示すブロック図である。
【図１５】前記デジタルスチルカメラで現在撮影されている分割画像と先に撮影された各々の分割画像とが重なり合う領域を検出する処理を説明する説明図である。
【図１６】前記デジタルスチルカメラで撮影された大局画像と分割画像との関係を説明する説明図である。
【図１７】前記デジタルスチルカメラで既に撮影された分割画像の領域を表す矩形状の枠線や、分割画像の大きさに対する重なり領域の割合を表すテキストを、現在撮影している分割画像の上に重畳してディスプレイに表示する表示例を示す平面図である。
【図１８】前記デジタルスチルカメラによる撮影の一連の手順を示すフローチャートである。
【符号の説明】
１ 画像入力装置
７ 第１および第２のメモリ
８ ディスプレイ
２４ 撮像素子
【発明の属する技術分野】
この発明は、デジタルスチルカメラなど複数枚の静止画像を撮影する画像入力装置および画像入力方法に関し、特に、被写体の一部分ずつを互いに一部が重複し合うように撮影した複数枚の画像を張り合わせて被写体の全領域の合成画像を生成する技術に関する。
【０００２】
【従来の技術】
コンピュータ・ネットワークの急速な進歩とともにビジネスの在り方も多様化し、様々な局面で重要な情報をその場で取得する必要性が生じている。それに伴い、携帯型の入力装置を用いて平面状の文書や写真を簡便かつ高精度に入力することへの要求が高まっている。そこで従来から、デジタルスチルカメラのような画像入力装置を用いて、収集したい画像情報を迅速に入力・転送して仕事や娯楽に活用するということが行われている。
【０００３】
しかし、一般に上記の画像入力装置に使用されているＣＣＤ（charge coupled device）などの撮像素子の画素数は有限であるため、解像度不足が原因で必要とする品質の画像が得られないという不具合があった。
【０００４】
これに対して、画像入力装置の解像度不足を補うため、画像処理に工夫を凝らして高解像・高精細な画像を作成するという技術が開発されている。例えば、同一の被写体を複数枚撮影した画像を貼り合わせて１枚のパノラマ画像を合成することにより、画素数の制約を受けずに広い範囲に渡って十分な解像度を持つ画像を得るという従来技術がある。具体的には、被写体の奥行きを計測し、被写体が球面状（遠くの景色など）あるいは平面状とみなせる場合にはアフィン変換や射影変換のような幾何補正式を用いて、被写体の一部分を分割撮影した画像を貼り合わせる技術であり、これらの技術の概要は、例えば、『コンピュータビジョン−技術評論と将来展望−／松山隆司ほか／新技術コミュニケーションズ』に記載されている。かかる技術を用いて分割撮影した画像を貼り合わせるためには、互いの画像の一部が重なるようにして、被写体を分割撮影する必要がある。
【０００５】
しかし、ユーザが画像入力装置を手で持った状態で、分割撮影した互いの画像が重なる領域の大きさを適切にしながら被写体を分割撮影するのは大変困難である。
【０００６】
この点に鑑みて、特開平5-161050号公報においては、既に入力した画像と現在入力中の画像を、それぞれ間引きして縮小した画像を、表示部の隣接した部分に表示し、パノラマ画像を得る場合に現在の撮影位置が適切かどうかを確認できるというデジタル電子スチルカメラが開示されている。
【０００７】
また、特開平9-266561号公報においては、連続画像を作成するカメラにおいて、先に撮影した画像の一部をカメラの移動方向に応じて表示し、現在入力中の画像に並べて写し出して（例えばカメラが時計回りに回転した場合、先に撮影した画像の右端部分を予め決められた領域分だけ切り出して、カメラ背面に設けられた表示部の左端に写し出し、そのすぐ右隣に現在入力の画像を並べて表示する）、２枚の画像が繋がった状態でシャッタを押すと、合成した連続画像がパノラマメモリに保存されるというデジタルスチルカメラが開示されている。
【０００８】
さらに、特開平9-261520号公報には、撮影部の位置と姿勢とを測定し、その測定結果に基づいて以前に取り込まれた前画像と現在撮影されている撮影画像とのオーバーラップ量を算出する技術および撮影部から順次出力される動画像データに基づいて各撮影画像間の動き量を求め、この動き量を加算することにより前記前画像との間の動き量を算出して、前画像と現在撮影されている撮影画像とのオーバーラップ量を算出する発明が開示されている。
【０００９】
このほか特開平10-186551号公報においては、既に保存された分割画像（前画像）の一部の領域と、カメラ部により新たに受容した分割画像（現画像）の一部の領域をそれぞれ分割画像として記憶し、該２枚の分割画像を比較して、両者が一致した場合に分割画像を適正な方向の分割画像として入力する等の、所定の処理を行うという技術が開示されている。
【００１０】
【発明が解決しようとする課題】
しかし、前記特開平5-161050号公報に開示の技術においては、表示された低解像度の間引き画像を見て、ユーザが画像間の繋がりや重なりの大きさを確認するのは困難であり、特に文書のように被写体像が周期的かつ細かなテクスチャで構成されている場合には顕著である。
【００１１】
前記特開平9-261520号公報においては、直交する３軸上の位置と３軸回りの角度との６自由度情報により、撮影部の位置・姿勢を記述することが必要となるが、６自由度全ての情報を精度良く求めるためには種々の検出器が必要となり、装置が大掛かりになってしまうという不具合がある。また、動画像における動き量からオーバーラップ量を算出する場合には、前画像撮影時からカメラをゆっくり動かさなければ動画像における動き量検出が困難となるため、ユーザはカメラを慎重に操作しなければならないという制約を受ける。
【００１２】
前記特開平10-186551号公報に開示の技術においては、ユーザがカメラを保持した状態で、２枚の分割画像を一致させるには慎重なカメラ操作が要求され、撮影動作に制約を受ける。
【００１３】
この発明の目的は、簡易な手段により容易に撮影することができる画像入力装置および画像入力方法を提供することである。
【００１４】
この発明の別の目的は、次に撮影すべき分割画像の撮影範囲を直感的に知ることができる画像入力装置および画像入力方法を提供することである。
【００１５】
この発明の別の目的は、両分割画像間に適切な大きさの重なり領域があるか否かを容易に確認することができる画像入力装置および画像入力方法を提供することである。
【００１６】
この発明の別の目的は、今後分割画像を撮影する必要のある領域をすばやく確認することができる画像入力装置および画像入力方法を提供することである。
【００１７】
この発明の別の目的は、現在撮影している分割画像が適切か否かをすばやく確認することができる画像入力装置および画像入力方法を提供することである。
【００１８】
この発明の別の目的は、分割画像の重なり領域の大きさが適切か否かをすばやく確認することができる画像入力装置および画像入力方法を提供することである。
【００１９】
この発明の別の目的は、撮影する分割画像の大きさを適切にし、不要な分割画像を撮影しないようにすることができる画像入力装置および画像入力方法を提供することである。
【００２０】
【課題を解決するための手段】
請求項１に記載の発明は、被写体を撮影する撮影手段と、前記被写体の全体を撮像した大局画像を記憶する記憶手段と、前記被写体の任意の一部を撮影する場合に、撮影される前記被写体の任意の一部が、前記大局画像のいずれの領域に対応するのかを検出する検出手段と、前記検出手段の検出に基づいて、撮影される前記被写体の任意の一部を前記大局画像の対応する領域に前記大局画像とともに表示する表示手段とを有することを特徴とする画像入力装置である。
【００２１】
したがって、検出手段の検出に基づいて、撮影される被写体の任意の一部を大局画像の対応する領域に大局画像とともに表示されるため、ユーザが撮影しようとしている被写体の任意の一部が大局画像のいずれの領域に対応するのかを把握することが容易に可能となる。
【００２２】
請求項２に記載の発明は、請求項１に記載の画像入力装置において、前記記憶手段は、前記被写体の一部を撮影した画像を分割画像として記憶し、前記検出手段は、前記記憶手段に記憶されている分割画像が、前記大局画像のいずれの領域に対応するのかを検出し、前記表示手段は、前記検出手段の検出に基づいて、前記分割画像と、撮影される前記被写体の任意の一部とを、前記大局画像の対応する領域に前記大局画像とともに表示する。
【００２３】
したがって、すでに取得済みの分割画像と、撮影される被写体の任意の一部とを、大局画像の対応する領域に大局画像とともに表示されるため、次に撮影しようとしている被写体の撮影範囲が適切か否かをすばやく確認することができる。
【００２４】
請求項３に記載の発明は、請求項２に記載の画像入力装置において、撮影される前記被写体の任意の一部と、前記分割画像との重なり領域を検出する重なり領域検出手段をさらに備える。
【００２５】
したがって、撮影される被写体の任意の一部とすでに撮影した分割画像との重なり領域の大きさを検出することができる。
【００２６】
請求項４に記載の発明は、請求項３に記載の画像入力装置において、前記表示手段は、前記重なり領域検出手段で検出した重なり領域の大きさを表示する。
【００２７】
したがって、撮影される被写体の任意の一部とすでに撮影した分割画像との重なり領域の大きさを検出することができるため、重なり領域の大きさが適切か否かを確認することができる。
【００２８】
請求項５に記載の発明は、請求項４に記載の画像入力装置において、前記重なり領域検出手段で検出した重なり領域の大きさが所定値より大きい場合に、撮影される前記被写体の任意の一部が不適切である旨を報知する報知手段をさらに備える。
【００２９】
したがって、撮影される被写体の任意の一部とすでに撮影した分割画像との重なり領域が所定の不適切な状態にあることを知ることができるため、撮影する分割画像を適切にし、不要に重なり領域の大きい分割画像を撮影しないようにすることができる。
【００３０】
請求項６に記載の発明は、請求項１又は２に記載の画像入力装置において、前記検出手段において、撮影される前記被写体の任意の一部が、前記大局画像のいずれの領域に対応するのかを検出できない場合に、撮影される前記被写体の任意の一部が不適切である旨を報知する報知手段をさらに備える。
【００３１】
したがって、撮影される被写体の任意の一部がすでに撮影した大局画像のいずれの領域にも対応しない所定の不適切な状態にあることを知ることができるため、不要な分割画像を撮影しないようにすることができる。
【００３２】
請求項７に記載の発明は、被写体を撮影する撮影工程と、前記被写体の全体を撮像した大局画像を記憶する記憶工程と、前記被写体の任意の一部を撮影する場合に、撮影される前記被写体の任意の一部が、前記大局画像のいずれの領域に対応するのかを検出する検出工程と、前記検出工程による検出に基づいて、撮影される前記被写体の任意の一部を前記大局画像の対応する領域に前記大局画像とともに表示する表示工程とを有することを特徴とする画像入力方法である。
【００３３】
したがって、検出工程による検出に基づいて、撮影される被写体の任意の一部を大局画像の対応する領域に大局画像とともに表示されるため、ユーザが撮影しようとしている被写体の任意の一部が大局画像のいずれの領域に対応するのかを把握することが容易に可能となる。
【００３４】
請求項８に記載の発明は、請求項７に記載の画像入力方法において、前記記憶工程は、前記被写体の一部を撮影した画像を分割画像として記憶し、前記検出工程は、前記記憶工程により記憶されている分割画像が、前記大局画像のいずれの領域に対応するのかを検出し、前記表示工程は、前記検出工程による検出に基づいて、前記分割画像と、撮影される前記被写体の任意の一部とを、前記大局画像の対応する領域に前記大局画像とともに表示する。
【００３５】
したがって、すでに取得済みの分割画像と、撮影される被写体の任意の一部とを、大局画像の対応する領域に大局画像とともに表示されるため、次に撮影しようとしている被写体の撮影範囲が適切か否かをすばやく確認することができる。
【００３６】
請求項９に記載の発明は、請求項８に記載の画像入力方法において、撮影される前記被写体の任意の一部と、前記分割画像との重なり領域を検出する重なり領域検出工程をさらに備える。
【００３７】
したがって、撮影される被写体の任意の一部とすでに撮影した分割画像との重なり領域の大きさを検出することができる。
【００３８】
請求項１０に記載の発明は、請求項９に記載の画像入力方法において、前記表示工程は、前記重なり領域検出工程で検出した重なり領域の大きさを表示する。
【００３９】
したがって、撮影される被写体の任意の一部とすでに撮影した分割画像との重なり領域の大きさを検出することができるため、重なり領域の大きさが適切か否かを確認することができる。
【００４０】
請求項１１に記載の発明は、請求項１０に記載の画像入力方法において、前記重なり領域検出工程で検出した重なり領域の大きさが所定値より大きい場合に、撮影される前記被写体の任意の一部が不適切である旨を報知する報知工程をさらに備える。
【００４１】
したがって、撮影される被写体の任意の一部とすでに撮影した分割画像との重なり領域が所定の不適切な状態にあることを知ることができるため、撮影する分割画像を適切にし、不要に重なり領域の大きい分割画像を撮影しないようにすることができる。
【００４２】
請求項１２に記載の発明は、請求項７又は８に記載の画像入力方法において、前記検出工程において、撮影される前記被写体の任意の一部が、前記大局画像のいずれの領域に対応するのかを検出できない場合に、撮影される前記被写体の任意の一部が不適切である旨を報知する報知工程をさらに備える。
【００４３】
したがって、撮影される被写体の任意の一部がすでに撮影した大局画像のいずれの領域にも対応しない所定の不適切な状態にあることを知ることができるため、不要な分割画像を撮影しないようにすることができる。
【００４８】
【発明の実施の形態】
以下では、この発明の画像入力装置をデジタルスチルカメラに適用した各発明の実施の形態について説明する。図１に示すように、デジタルスチルカメラ１を用いて、先に被写体の全領域が画面枠内に収まるように撮影し、続いて前記被写体の一部分を、互いに一部が重複するように分割撮影するという例を用いて説明する。そして、先に撮影される画像を大局画像、後に分割撮影して得られる画像を分割画像と呼ぶ。
【００４９】
［発明の実施の形態１］
図２は、この発明の実施の形態１であるデジタルスチルカメラ１の電気的な接続を示すブロック図である。
【００５０】
図１に示すように、デジタルスチルカメラ１は、撮影手段２と、撮影手段２により得られた画像信号に所定の処理を施す信号処理手段３と、信号処理手段３の出力が供給されるメモリ制御手段４と、デジタルスチルカメラ１の各部を集中的に制御する主制御手段５と、インターフェース（以下Ｉ／Ｆと略す）６と、メモリ制御手段４の指令により画像信号を蓄積するフレームメモリ７と、Ｉ／Ｆ６を経由して画像信号を表示するディスプレイ８と、演算処理や信号処理に必要なデータ等を一時的に格納するなどの用途に使われる内部記憶手段９と、Ｉ／Ｆ６を経由して画像信号をはじめとする種々の信号の読み書きを行う外部記憶手段１０とを備えている。その他、撮影モードを切り替える撮影モード設定手段１１と、先に被写体の大局画像を撮影し、その後に分割画像を撮影するようユーザに指示する撮影指示手段１２とを備えている。
【００５１】
以下、各部の詳細を説明する。撮影手段２は、レンズ２１、絞り２２、シャッタ２３、撮像素子２４および前処理手段２５より構成されている。撮像素子２４には、例えばＣＣＤ（charge coupled device）が使用される。また前処理手段２５は、プリアンプやＡＧＣ（auto gain control）等のアナログ信号処理回路やＡ／Ｄ変換器を備えており、撮像素子２４より出力されたアナログ映像信号に対して増幅、クランプ等の前処理を施した後、上記アナログ映像信号をデジタル映像信号に変換する。
【００５２】
信号処理手段３は、デジタル信号処理プロセッサ（ＤＳＰプロセッサ）等により構成されており、撮影手段２により得られたデジタル映像信号に対して色分解、ホワイトバランス調整、γ補正等の種々の画像処理を施す。メモリ制御手段４は、こうして処理された画像信号をフレームメモリ７に格納し、逆にフレームメモリ７に格納された画像信号を読み出す。主制御手段５は、マイコンなどにより構成される。
【００５３】
フレームメモリ７は、少なくとも２枚の画像を格納可能であり、ＶＲＡＭ、ＳＲＡＭ、ＤＲＡＭ等で構成される。フレームメモリ７から読み出された画像信号の記録は、信号処理手段３において画像信号に対して画像圧縮等の信号処理を施した後、Ｉ／Ｆ６を介して内部記憶手段９や外部記憶手段１０に保存することによって行われる。フレームメモリ７などにより第１及び第２のメモリが構成される。
【００５４】
内部記憶手段９はフレームメモリ７と同様に、ＶＲＡＭ、ＳＲＡＭ、ＤＲＡＭ等により構成される。外部記憶手段１０は、ＩＣメモリカードや光磁気ディスク等が使用できるが、モデムカードやＩＳＤＮカードを利用して、ネットワークを経由して画像信号を直接遠隔地の記録媒体に送信するようにしてもよい。逆に、内部記憶手段９に記録された画像信号の読み出しは、Ｉ／Ｆ６を介して信号処理手段３に画像信号を送信し、信号処理手段３において画像伸張を施すことによって行われる。一方、外部記憶手段１０およびフレームメモリ７から読み出された画像信号の表示は、信号処理手段３において画像信号に対してＤ／Ａ変換や増幅等の信号処理を施した後、Ｉ／Ｆ６を介してディスプレイ８に送信することによって行われる。ディスプレイ８は、例えばデジタルスチルカメラ１の筐体に設けられた液晶表示装置より構成される。
【００５５】
撮影モード設定手段１１は、押しボタンスイッチやスライドスイッチ等により構成され、ユーザがスイッチを操作することにより、スナップ写真を撮影する通常撮影モードと、後の高解像画像作成に利用するために同一の被写体を分割撮影する分割撮影モードとを手動で切り替えることを可能とする。
【００５６】
撮影指示手段１２は、分割撮影モードが選択されている時にのみ起動され、分割撮影モードに設定されると、ユーザに対して１枚目は被写体の大局画像を撮影し、２枚目以降は被写体の分割画像を撮影するように指示する。
【００５７】
この指示を受けてユーザは、被写体像がデジタルスチルカメラ１の平行移動により殆ど変形しない遠距離の被写体に対しては、撮影手段２の光学系を広角側に設定して、被写体の全体像が画面枠内に入るように大局画像を撮影し、また撮影手段２の光学系を望遠側に設定することにより、高解像の分割画像を撮影すればよい。また、被写体像がデジタルスチルカメラ１の平行移動により変形する近距離の被写体に対しては、撮影手段２の光学系を広角側に設定するか撮影手段２を被写体から遠ざけて、被写体の全体像が画面枠内に入るように大局画像を撮影し、また撮影手段２の光学系を望遠側に設定するか撮影手段２を被写体に近づけることにより、高解像の分割画像を撮影すればよい。
【００５８】
撮影指示は、ディスプレイ８の画面に撮影手順を示すテキストをオーバーレイ表示させるもの、撮影手順を音声で知らせるという明示的なもの、また大局画像を撮影することが必要な場合には撮影手段２のレンズを最も広角側に強制的にシフトし、分割画像を撮影することが必要な場合には撮影手段２のレンズを望遠側に強制的にシフトするという暗示的なものなど、様々な形態をとることができる。
【００５９】
以上の手順で撮影された大局画像および分割画像は、ディスプレイ８において同時または時分割に表示される。また、撮影済の分割画像と撮影中の分割画像も同時または時分割に表示される。このように同時または時分割で画像を表示するには、ディスプレイ８の画面を２分割して、分割されて得られた一方の領域に大局画像または撮影中の分割画像を、他方の領域に撮影済の分割画像を表示するなどの形態をとればよい。また、時分割して表示するには、一定時間間隔毎に大局画像または撮影済みの分割画像と撮影済みの分割画像とを交互に表示すればよい。
【００６０】
図３は、撮影の一連の手順を示すフローチャートである。ここで、撮影モードは、分割撮影モードに予め設定されていると仮定する。図３に示すように、まず、被写体像を広範囲に撮影し、得られた画像を大局画像として保存する（ステップＳ１）。次に、大局画像よりも狭い撮影範囲で、前記被写体を撮影し、得られた画像を分割画像として保存する（ステップＳ４）。この処理の前段階で、すでに撮影済みの分割画像があるときは（ステップＳ２のＹ）、その撮影済みの分割画像と現在撮影中の分割画像とを同時または時分割でディスプレイ８に表示する（ステップＳ３）。ステップＳ４の後、前記大局画像と前記分割画像を同時または時分割で表示する（ステップＳ５）。分割撮影モードがOFFにならない限り分割画像の撮影を続行し（ステップＳ６のＹ）、ステップＳ２からステップＳ５の動作を繰り返す。分割撮影モードがOFFに切り替えられると、大局画像から最後に撮影された分割画像までの一連の画像を、同一被写体を撮影した１組の画像群として関連付けて保存して（ステップＳ７）、処理を終了する。ステップＳ３，Ｓ５により、この発明の表示手段を実現している。
【００６１】
以上説明したデジタルスチルカメラ１によれば、あらかじめ大局画像を撮影して、その画像をディスプレイ８に表示し、その表示画像を見ながら、各々の分割画像が対応する被写体の領域をすばやく確認しつつ分割画像を複数枚撮影することができるので、簡易な手段により容易に分割画像の撮影を行うことができる。
【００６２】
また、大局画像とすでに撮影した分割画像とを同時にまたは時分割でディスプレイ８に表示することができるので、次に撮影すべき分割画像の撮影範囲を直感的に知ることができる。
【００６３】
すでに撮影した分割画像と現在撮影中の分割画像とを同時にまたは時分割でディスプレイに表示することもできるので、この両分割画像間に適切な大きさの重なり領域があるか否かを容易に確認することができる。
【００６４】
なお、撮影された複数枚の分割画像は、張り合わせて被写体の全領域の合成画像を生成する。そのための具体的手段は、例えば、『コンピュータビジョン −技術評論と将来展望−／松山隆司ほか／新技術コミュニケーションズ』に記載されている。
【００６５】
［発明の実施の形態２］
図４は、この発明の実施の形態２であるデジタルスチルカメラ１の電気的な接続を示すブロック図である。
【００６６】
図４において、図２と同一符号の部材は、発明の実施の形態１のデジタルスチルカメラ１のものと同様の部材であるため、詳細な説明は省略する。このデジタルスチルカメラ１は、現在取り込まれている分割画像が先に撮影された大局画像においてどの領域に対応するかを検出する画像対応検出手段１３と、前記大局画像と前記分割画像の各々を変倍して、前記大局画像と前記分割画像の大きさを正規化する画像正規化手段１４と、既に撮影された被写体の領域を通知する撮影済み領域通知手段１５とを備えている。
【００６７】
画像対応検出手段１３は、図５に示すように、現在撮影中または撮影済みの各々の分割画像が、大局画像においてどの撮影範囲に相当するのかという対応関係を検出するものである。ここでは、分割画像と大局画像との濃度の相関演算を行い、上記対応関係を検出する方法について説明する。まず、図６のように、分割画像を、“（２Ｎ＋１）（２Ｐ＋１）”の大きさに変倍して、その濃淡パターンを抽出して相関窓を作成する。続いて、大局画像において該相関窓の濃淡パターンとほぼ一致する箇所を、相関演算により検出する。例えば、“（２Ｎ＋１）（２Ｐ＋１）”の変倍された分割画像と、大局画像における点（ｘ，ｙ）との相互相関値Ｓは、次式により計算される。
【００６８】
【数１】
したがって、相互相関値Ｓの最大値が予め定められた閾値以上である点を求めることにより、分割画像の中心座標（ｘc、ｙc）に対応する大局画像における座標（ｘ，ｙ）が求められるので、分割画像と大局画像との対応関係を検出することができる。検出された対応関係は，図５のように、「分割画像ａは大局画像において、画像座標（ｘ11、ｙ11）を左上頂点、（ｘ12、ｙ12）を右下頂点とする矩形領域に対応する、分割画像ｂは・・・」という形式で出力され、必要に応じて内部記憶手段９および外部記憶手段１０に記録される。
【００７０】
一般に、(1)式で示した相関演算による濃度マッチングは、対象となる２枚の画像における被写体像の大きさがほぼ同じでないと誤差を生じやすいことが知られている。画像正規化手段１４は、前記画像対応検出手段１３において分割画像と大局画像の対応関係を検出する前に、分割画像に写された被写体像の大きさと、大局画像に写された被写体像の大きさを正規化するものであり、例えば、図７に示すように、撮影パラメータ検出手段２６、被写体距離検出手段２７、拡大係数検出手段２８および画像変倍手段２９より構成される。
【００７１】
撮影パラメータ検出手段２６は、撮影手段２における焦点距離を検出するものであり、例えば、撮影手段２のレンズ位置をエンコーダで読み取ることにより実現される。被写体距離検出手段２７は、撮影手段２から被写体までの距離を検出するものであり、例えば、撮影手段２の焦点位置により前記距離を求めることができる。拡大係数検出手段２８は、撮影パラメータ検出手段２６の出力した焦点距離および被写体距離検出手段２７の出力した被写体までの距離をもとに、大局画像と分割画像の拡大係数をそれぞれ算出する。
【００７２】
この動作を図８に基づき説明する。大局画像は図８(a)のように、横方向の長さがＬである被写体を、焦点距離がｆ、被写体から撮影手段２の光学中心oまでの距離がＤの状態で撮影したと仮定する。また、分割画像は図８(b)のように、同一の被写体を、焦点距離がｆ´、被写体から撮影手段２の光学中心oまでの距離がＤ´'の状態で撮影したと仮定する。この時、撮影手段２の光学系が、図８のように中心射影モデルで表される場合、大局画像における被写体像の長さｌ、分割画像における被写体像の長さl´は、それぞれ以下のように計算することができる。
【００７３】
【数２】
したがって、大局画像と分割画像に写された被写体像の大きさを揃えるには、大局画像の拡大係数をｋ、分割画像の拡大係数をｋ´として、ｋとｋ´の比を次式のように定めればよい。
【００７５】
【数３】
(4)式により、大局画像および分割画像を撮影した時の焦点距離と被写体距離に基づいて、これらの画像における被写体像の大きさを正規化することができる。画像変倍手段２９は、(4)式で算出された拡大係数ｋ，ｋ´を用いて、大局画像と分割画像をそれぞれ変倍して拡大縮小処理を行う。変倍された画像は画像対応検出手段１３に送られ、画像対応検出手段１３において、先に説明した手順で、変倍された分割画像と変倍された大局画像との対応関係が検出される。
【００７７】
撮影済み領域通知手段１５は、画像対応検出手段１３の出力を受け取り、大局画像において既に分割撮影された領域（撮影済み領域）を検出する。例えば、画像対応検出手段１３より送られた、各分割画像が大局画像において対応する領域のＯＲ演算をすることにより、撮影済み領域を検出することができる。また撮影済み領域通知手段１５は、検出された撮影済み領域をディスプレイ８に表示するよう主制御手段５に信号を発し、それを受けて主制御手段５はＩ／Ｆ６を介して、図９に示すように、ディスプレイ８において、撮影済み領域を示す矩形状の枠線３０，３１を大局画像上にオーバーレイ表示する。
【００７８】
また、図１０に示すように、撮影済み領域通知手段１５の代わりに、未撮影領域通知手段１６を設けてもよい。未撮影領域通知手段１６は、画像対応検出手段１３の出力を受け取り、大局画像において未だ撮影されていない領域（未撮影領域）を検出する。例えば、画像対応検出手段１３より送られた、各分割画像が大局画像において対応する領域のＮＯＲ演算をすることにより、未撮影領域を検出することができる。また未撮影領域通知手段１６は、検出された未撮影領域をディスプレイ８に表示するよう主制御手段５に信号を発し、それを受けて主制御手段５はＩ／Ｆ６を介して、図１１に示すように、ディスプレイ８において、例えば枠線３０，３１にマスクをかけ、未撮影領域のみを明るく表示する。
【００７９】
ユーザは、撮影済み領域通知手段１５または未撮影領域通知手段１６により、既に撮影した被写体の領域や今後分割撮影すべき被写体の領域を確認し、分割撮影を続ける。この時、撮影手段２が入力した被写体像をディスプレイ８において映し出すと同時に、画像対応検出手段１３において、現在撮影している分割画像と前記大局画像との対応関係を検出する。そしてユーザが現在撮影している分割画像の撮影範囲を表示するよう指示すると（これを指示する手段は図示しない）、図１２に示すように、ディスプレイ８において、大局画像上に現在撮影している分割画像の撮影範囲を示す枠線３２を重畳表示すると便利である。すなわちディスプレイ８において、図１２に示す画面と、図９または図１１に示す画面とを切り替えることにより、ユーザは現在撮影している分割画像の撮影範囲が適切であるか否かを、直観的に判断することができる。
【００８０】
図１３は、撮影の一連の手順を示すフローチャートである。ここで、撮影モードは分割撮影モードに予め設定されていると仮定する。図１３に示すように、まず、被写体像を広範囲に撮影し、得られた画像を大局画像として保存する（ステップＳ１１）。次に、大局画像よりも狭い撮影範囲で、前記被写体を撮影し、得られた画像を分割画像として保存する（ステップＳ１２）。続いて(4)式に基づき、前記分割画像と前記大局画像を撮影した時の焦点距離および被写体距離を用いて、各々の画像における被写体像の大きさがほぼ同一になるよう変倍し（ステップＳ１３）、前記分割画像と前記大局画像との撮影範囲の対応関係を検出する（ステップＳ１４）。対応関係が検出されると、既に撮影された被写体の領域または未だ撮影していない被写体の領域を表示する（ステップＳ１５）。分割撮影モードがOFFにならない限り分割画像の撮影を続行し（ステップＳ１６）、ステップＳ２からステップＳ５の動作を繰り返す。分割撮影モードがOFFに切り替えられると、大局画像から最後に撮影された分割画像までの一連の画像を、同一被写体を撮影した１組の画像群として保存して（ステップＳ１７）、処理を終了する。ステップＳ１４により第１および第２の画像対応検出手段を実現し、ステップＳ１５により表示手段を実現している。
【００８１】
以上説明したデジタルスチルカメラ１によれば、すでに撮影された分割画像の領域またはそれ以外の領域を大局画像に対し重畳してディスプレイに表示するので、今後撮影する必要のある領域をすばやく確認することができる。
【００８２】
また、現在撮影中の分割画像の領域またはそれ以外の領域を大局画像に対し重畳してディスプレイ８に表示するので、現在撮影している分割画像が適切か否かをすばやく確認することができる。
【００８３】
［発明の実施の形態３］
図１４は、この発明の実施の形態３であるデジタルスチルカメラ１の電気的な接続を示すブロック図である。
【００８４】
図１４において、図４、図１０と同一符号の部材は、発明の実施の形態２のデジタルスチルカメラ１のものと同様の部材であるため、詳細な説明は省略する。このデジタルスチルカメラ１は、先に撮影した分割画像と現在撮影している分割画像とが重なり合う領域の大きさおよび位置を検出する重なり領域検出手段１７と、現在撮影している分割画像が不適切と判定した場合に警告を発する警告手段１８とを備えている。
【００８５】
重なり領域検出手段１７は、画像対応検出手段１３より各々の分割画像と大局画像との対応関係を示す情報を受け取り、その情報を基に現在撮影されている分割画像と先に撮影された各々の分割画像とが重なり合う領域を検出する。その動作を図１５に基づいて説明する。図１５(a)において、既に分割画像ａと分割画像ｂが保存されており、現在分割画像ｃを撮影していると仮定する。画像対応検出手段１３は図１５(b)のように、これら３枚の分割画像が大局画像において対応する領域を、大局画像における画像座標という形で出力する。その結果、大局画像における画像座標を基準にした、分割画像ｃが分割画像ａ、分割画像ｂと重なり合う領域はそれぞれ容易に検出できるが、さらに、重なり領域検出手段１７は、この重なり合う領域を、分割画像ｃを基準とした画像座標に変換する。図１６に示すように、大局画像の座標系をｘｙ座標系、分割画像ｃを基準の座標系をｕｖ座標系とすると、ｘｙ座標系における画像座標（ｘ、ｙ）とｕｖ座標系における画像座標 （ｕ、ｖ）との関係は、以下の変換式で表される。
【００８６】
【数４】
(5)式に示すａ〜ｃの３つの変数を算出するには、大局画像における座標と分割画像ｃにおける座標の関係が２組以上既知である必要があるが、分割画像ｃの四隅の座標は既知である。したがって、現在撮影している分割画像と既に撮影した分割画像との重なり領域を、現在撮影している分割画像を基準に検出することができる。検出された重なり領域は、例えば、図１７に示すように、ディスプレイ８において、既に撮影された領域を表す矩形状の枠線３３や、分割画像の大きさに対する重なり領域の割合を表すテキスト３４を、現在撮影している分割画像の上に重畳して表示することにより示される。
【００８８】
警告手段１８は、画像対応検出手段１３と重なり領域検出手段１７の出力を受け取り、現在撮影している分割画像が適切か否かを判定し、不適切と判定した場合に警告を発する。例えば、下記の事象が発生した時に、「現在撮影している分割画像は不適切である」という判定が下される。
(1)現在撮影している分割画像と、大局画像との対応関係が検出できない。
(2)現在撮影している分割画像と、先に撮影したある分割画像と重なり合う領域が大き過ぎる。
【００８９】
(1)は、画像対応検出手段１３において、例えば分割画像における被写体の見え方と、大局画像における被写体の見え方とが著しく異なるなどの要因で、(1)式に基づいて分割画像と大局画像との相関演算を行った結果、相関値が閾値に達しなかった場合に発生する。(2)は、前述した重なり領域検出手段１７の出力より容易に判定でき、例えば現在撮影されている分割画像と先に撮影したある分割画像との重なり領域の大きさが、画像面積の1/2以上ならば不適切と判定すればよい。警告手段１８の出力はディスプレイ８に送信され、ディスプレイ８の画面に警告の旨を示すテキストがオーバーレイ表示されるなどして、ユーザに分割画像を取り直すよう指示する。
【００９０】
図１８は、撮影の一連の手順を示すフローチャートである。撮影モードは分割撮影モードに予め設定されていると仮定する。図１８に示すように、まず、被写体像を広範囲に撮影し、得られた画像を大局画像として保存する（ステップＳ２１）。次に、大局画像よりも狭い撮影範囲で、前記被写体の分割画像を撮影する（ステップＳ２２）。続いて、前記分割画像と前記大局画像との撮影範囲の対応関係を検出すると共に（ステップＳ２３）、現在撮影している分割画像と先に撮影された各々分割画像とが重なり合う領域の大きさを検出して（ステップＳ２４）、その大きさをディスプレイ８に表示する（ステップＳ２５）。そして、現在撮影している画像が適切か否かを判定する（ステップＳ２６）。不適切と判定された場合には、分割画像を取り直すようユーザに警告を発し（ステップＳ２７）、適切と判定された場合には警告を発せず、分割画像撮影を続行させる。分割撮影モードがOFFにならない限り分割画像の撮影を続行し（ステップＳ２８）、ステップＳ２２からステップＳ２７の動作を繰り返す。分割撮影モードがOFFに切り替えられると、大局画像から最後に撮影された分割画像までの一連の画像を、同一被写体を撮影した１組の画像群として保存して（ステップＳ２９）、処理を終了する。ステップＳ２４により領域検出手段を実現し、ステップＳ２５により第１の報知手段を実現し、ステップＳ２７により第２の報知手段を実現している。
【００９１】
以上説明したデジタルスチルカメラ１によれば、現在撮影中の分割画像とすでに撮影した分割画像との重なり領域の大きさを知ることができるので、この両分割画像の重なり領域の大きさが適切か否かをすばやく確認することができる。
【００９２】
また、現在撮影中の分割画像とすでに撮影した分割画像との重なり領域が所定の不適切な状態にあることを知ることができるので、撮影する分割画像の大きさを適切にし、不要な分割画像を撮影しないようにすることができる。
【００９３】
なお、いうまでもなく、以上説明した各実施の形態の説明は本発明の実施の一例にすぎず、本発明を限定するものではない。例えば、前記の説明において、被写体を文書紙面として説明したが、被写体は風景、人物など別のものであってもよいことは言うまでもない。分割画像と大局画像との対応関係の検出の手段に関しては、前記説明以外の手段、例えば、分割画像において四隅の小領域の濃淡パターンを相関窓として切り出し、各々の相関窓を用いて大局画像において対応する領域を求めるなどの別の手段をとっても構わない。
【００９４】
また、冒頭の説明では、被写体の一部分を分割撮影した画像を貼り合わせる技術を応用例として挙げたが、この応用例以外にも適用できることは言うまでもない。例えば、各々の分割画像と被写体の全体像との位置の対応関係が必要な処理（画像の部分的な高解像化など）、および分割画像同士の位置関係や分割画像間の重なり領域が必要な処理（単眼カメラで捕らえた連続画像を用いた被写体の３次元形状復元など）にも適用可能である。
【００９５】
【発明の効果】
請求項１に記載の発明は、検出手段の検出に基づいて、撮影される被写体の任意の一部を大局画像の対応する領域に大局画像とともに表示されるため、ユーザが撮影しようとしている被写体の任意の一部が大局画像のいずれの領域に対応するのかを把握することが容易に可能となる。
【００９６】
請求項２に記載の発明は、請求項１に記載の画像入力装置において、すでに取得済みの分割画像と、撮影される被写体の任意の一部とを、大局画像の対応する領域に大局画像とともに表示されるため、次に撮影しようとしている被写体の撮影範囲が適切か否かをすばやく確認することができる。
【００９７】
請求項３に記載の発明は、請求項２に記載の画像入力装置において、撮影される被写体の任意の一部とすでに撮影した分割画像との重なり領域の大きさを検出することができる。
【００９８】
請求項４に記載の発明は、請求項３に記載の画像入力装置において、撮影される被写体の任意の一部とすでに撮影した分割画像との重なり領域の大きさを検出することができるため、重なり領域の大きさが適切か否かを確認することができる。
【００９９】
請求項５に記載の発明は、請求項４に記載の画像入力装置において、撮影される被写体の任意の一部とすでに撮影した分割画像との重なり領域が所定の不適切な状態にあることを知ることができるため、撮影する分割画像を適切にし、不要に重なり領域の大きい分割画像を撮影しないようにすることができる。
【０１００】
請求項６に記載の発明は、請求項１又は２に記載の画像入力装置において、撮影される被写体の任意の一部がすでに撮影した大局画像のいずれの領域にも対応しない所定の不適切な状態にあることを知ることができるため、不要な分割画像を撮影しないようにすることができる。
【０１０１】
請求項７に記載の発明は、検出工程による検出に基づいて、撮影される被写体の任意の一部を大局画像の対応する領域に大局画像とともに表示されるため、ユーザが撮影しようとしている被写体の任意の一部が大局画像のいずれの領域に対応するのかを把握することが容易に可能となる。
【０１０２】
請求項８に記載の発明は、請求項７に記載の画像入力方法において、すでに取得済みの分割画像と、撮影される被写体の任意の一部とを、大局画像の対応する領域に大局画像とともに表示されるため、次に撮影しようとしている被写体の撮影範囲が適切か否かをすばやく確認することができる。
【０１０３】
請求項９に記載の発明は、請求項８に記載の画像入力方法において、撮影される被写体の任意の一部とすでに撮影した分割画像との重なり領域の大きさを検出することができる。
【０１０４】
請求項１０に記載の発明は、請求項９に記載の画像入力方法において、撮影される被写体の任意の一部とすでに撮影した分割画像との重なり領域の大きさを検出することができるため、重なり領域の大きさが適切か否かを確認することができる。
【０１０５】
請求項１１に記載の発明は、請求項１０に記載の画像入力方法において、撮影される被写体の任意の一部とすでに撮影した分割画像との重なり領域が所定の不適切な状態にあることを知ることができるため、撮影する分割画像を適切にし、不要に重なり領域の大きい分割画像を撮影しないようにすることができる。
【０１０６】
請求項１２に記載の発明は、請求項７又は８に記載の画像入力方法において、撮影される被写体の任意の一部がすでに撮影した大局画像のいずれの領域にも対応しない所定の不適切な状態にあることを知ることができるため、不要な分割画像を撮影しないようにすることができる。
【図面の簡単な説明】
【図１】この発明の各実施の形態における大局画像と分割画像との関係を説明する説明図である。
【図２】この発明の実施の形態１にかかるデジタルスチルカメラの電気的な接続を示すブロック図である。
【図３】前記デジタルスチルカメラによる撮影の一連の手順を示すフローチャートであるである。
【図４】この発明の実施の形態２であるデジタルスチルカメラの電気的な接続を示すブロック図である。
【図５】前記デジタルスチルカメラで現在撮影中または撮影済みの各々の分割画像が、大局画像においてどの撮影範囲に相当するのかという対応関係を検出する処理の説明図である。
【図６】前記デジタルスチルカメラで現在撮影中または撮影済みの各々の分割画像が、大局画像においてどの撮影範囲に相当するのかという対応関係を検出する処理の説明図である。
【図７】前記デジタルスチルカメラの画像正規化手段の構成を示すブロック図である。
【図８】前記デジタルスチルカメラの拡大係数検出手段で大局画像と分割画像の拡大係数をそれぞれ算出する処理を説明する説明図である。
【図９】前記デジタルスチルカメラのディスプレイにおける撮影済み領域を示した大局画像の表示例を示す平面図である。
【図１０】この発明の実施の形態２であるデジタルスチルカメラの変形例の電気的な接続を示すブロック図である。
【図１１】前記デジタルスチルカメラのディスプレイにおける未撮影領域を示した大局画像の表示例を示す平面図である。
【図１２】前記デジタルスチルカメラのディスプレイにおける現在撮影している分割画像の撮影範囲を示した大局画像の表示例を示す平面図である。
【図１３】前記デジタルスチルカメラによる撮影の一連の手順を示すフローチャートである。
【図１４】この発明の実施の形態３であるデジタルスチルカメラの電気的な接続を示すブロック図である。
【図１５】前記デジタルスチルカメラで現在撮影されている分割画像と先に撮影された各々の分割画像とが重なり合う領域を検出する処理を説明する説明図である。
【図１６】前記デジタルスチルカメラで撮影された大局画像と分割画像との関係を説明する説明図である。
【図１７】前記デジタルスチルカメラで既に撮影された分割画像の領域を表す矩形状の枠線や、分割画像の大きさに対する重なり領域の割合を表すテキストを、現在撮影している分割画像の上に重畳してディスプレイに表示する表示例を示す平面図である。
【図１８】前記デジタルスチルカメラによる撮影の一連の手順を示すフローチャートである。
【符号の説明】
１ 画像入力装置
７ 第１および第２のメモリ
８ ディスプレイ
２４ 撮像素子
Claims (12)
- 被写体を撮影する撮影手段と、
前記被写体の全体を撮像した大局画像を記憶する記憶手段と、
前記被写体の任意の一部を撮影する場合に、撮影される前記被写体の任意の一部が、前記大局画像のいずれの領域に対応するのかを検出する検出手段と、
前記検出手段の検出に基づいて、撮影される前記被写体の任意の一部を前記大局画像の対応する領域に前記大局画像とともに表示する表示手段と、
を有することを特徴とする画像入力装置。 - 前記記憶手段は、前記被写体の一部を撮影した画像を分割画像として記憶し、
前記検出手段は、前記記憶手段に記憶されている分割画像が、前記大局画像のいずれの領域に対応するのかを検出し、
前記表示手段は、前記検出手段の検出に基づいて、前記分割画像と、撮影される前記被写体の任意の一部とを、前記大局画像の対応する領域に前記大局画像とともに表示することを特徴とする請求項１に記載の画像入力装置。 - 撮影される前記被写体の任意の一部と、前記分割画像との重なり領域を検出する重なり領域検出手段をさらに備えることを特徴とする請求項２に記載の画像入力装置。
- 前記表示手段は、前記重なり領域検出手段で検出した重なり領域の大きさを表示することを特徴とする請求項３に記載の画像入力装置。
- 前記重なり領域検出手段で検出した重なり領域の大きさが所定値より大きい場合に、撮影される前記被写体の任意の一部が不適切である旨を報知する報知手段をさらに備えることを特徴とする請求項４に記載の画像入力装置。
- 前記検出手段において、撮影される前記被写体の任意の一部が、前記大局画像のいずれの領域に対応するのかを検出できない場合に、撮影される前記被写体の任意の一部が不適切である旨を報知する報知手段をさらに備えることを特徴とする請求項１又は２に記載の画像入力装置。
- 被写体を撮影する撮影工程と、
前記被写体の全体を撮像した大局画像を記憶する記憶工程と、
前記被写体の任意の一部を撮影する場合に、撮影される前記被写体の任意の一部が、前記大局画像のいずれの領域に対応するのかを検出する検出工程と、
前記検出工程による検出に基づいて、撮影される前記被写体の任意の一部を前記大局画像の対応する領域に前記大局画像とともに表示する表示工程と、
を有することを特徴とする画像入力方法。 - 前記記憶工程は、前記被写体の一部を撮影した画像を分割画像として記憶し、
前記検出工程は、前記記憶工程により記憶されている分割画像が、前記大局画像のいずれの領域に対応するのかを検出し、
前記表示工程は、前記検出工程による検出に基づいて、前記分割画像と、撮影される前記被写体の任意の一部とを、前記大局画像の対応する領域に前記大局画像とともに表示することを特徴とする請求項７に記載の画像入力方法。 - 撮影される前記被写体の任意の一部と、前記分割画像との重なり領域を検出する重なり領域検出工程をさらに備えることを特徴とする請求項８に記載の画像入力方法。
- 前記表示工程は、前記重なり領域検出工程で検出した重なり領域の大きさを表示することを特徴とする請求項９に記載の画像入力方法。
- 前記重なり領域検出工程で検出した重なり領域の大きさが所定値より大きい場合に、撮影される前記被写体の任意の一部が不適切である旨を報知する報知工程をさらに備えることを特徴とする請求項１０に記載の画像入力方法。
- 前記検出工程において、撮影される前記被写体の任意の一部が、前記大局画像のいずれの領域に対応するのかを検出できない場合に、撮影される前記被写体の任意の一部が不適切である旨を報知する報知工程をさらに備えることを特徴とする請求項７又は８に記載の画像入力方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23113899A JP3730450B2 (ja) | 1999-08-18 | 1999-08-18 | 画像入力装置および画像入力方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23113899A JP3730450B2 (ja) | 1999-08-18 | 1999-08-18 | 画像入力装置および画像入力方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001057652A JP2001057652A (ja) | 2001-02-27 |
| JP3730450B2 true JP3730450B2 (ja) | 2006-01-05 |
Family
ID=16918888
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23113899A Expired - Fee Related JP3730450B2 (ja) | 1999-08-18 | 1999-08-18 | 画像入力装置および画像入力方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3730450B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3889650B2 (ja) | 2002-03-28 | 2007-03-07 | 三洋電機株式会社 | 画像処理方法、画像処理装置、コンピュータプログラム、及び記録媒体 |
| JP2004135209A (ja) * | 2002-10-15 | 2004-04-30 | Hitachi Ltd | 広視野高解像度映像の生成装置及び方法 |
| JP2005295361A (ja) * | 2004-04-02 | 2005-10-20 | Casio Comput Co Ltd | 撮像装置及び撮像制御方法 |
| JP4260094B2 (ja) * | 2004-10-19 | 2009-04-30 | 富士フイルム株式会社 | ステレオカメラ |
| JP2010199971A (ja) * | 2009-02-25 | 2010-09-09 | Casio Computer Co Ltd | 撮像装置、撮像方法、及びプログラム |
| JP5732353B2 (ja) * | 2011-08-31 | 2015-06-10 | 株式会社キーエンス | 拡大観察装置、拡大観察方法および拡大観察プログラム |
| JP5438852B2 (ja) * | 2013-02-18 | 2014-03-12 | 株式会社キーエンス | マイクロスコープ |
| JP2014003715A (ja) * | 2013-09-27 | 2014-01-09 | Casio Comput Co Ltd | 撮像装置、撮像方法、及びプログラム |
| JP2021022828A (ja) * | 2019-07-26 | 2021-02-18 | キヤノンマーケティングジャパン株式会社 | 装置、制御方法、及びプログラム |
-
1999
- 1999-08-18 JP JP23113899A patent/JP3730450B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001057652A (ja) | 2001-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3695119B2 (ja) | 画像合成装置、及び画像合成方法を実現するプログラムを記録した記録媒体 | |
| JP3832895B2 (ja) | 画像合成装置及び画像合成システム | |
| JP4010754B2 (ja) | 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体 | |
| JP5096302B2 (ja) | 撮像装置 | |
| JP5106142B2 (ja) | 電子カメラ | |
| JPH114398A (ja) | デジタルワイドカメラ | |
| JP2002503893A (ja) | 仮想現実カメラ | |
| JPH1145332A (ja) | 画像変形装置および方法 | |
| US6809771B1 (en) | Data input apparatus having multiple lens unit | |
| JPH11112956A (ja) | 画像合成通信装置 | |
| JPH11211988A (ja) | 顕微鏡画像遠隔制御システム | |
| JP3730450B2 (ja) | 画像入力装置および画像入力方法 | |
| JP4565909B2 (ja) | カメラ | |
| JP2005045513A (ja) | 画像処理装置及び歪補正方法 | |
| CN110365910B (zh) | 一种自拍方法、装置及电子设备 | |
| US8665317B2 (en) | Imaging apparatus, imaging method and recording medium | |
| JP4169464B2 (ja) | 画像処理方法と画像処理装置及びコンピュータ読み取り可能な記録媒体 | |
| JP4001233B2 (ja) | パノラマ撮影方法およびその方法を利用可能な画像処理装置と画像撮像装置 | |
| JP2010045587A (ja) | カメラ装置、画像撮影支援装置、画像撮影支援方法、及び画像撮影支援プログラム | |
| JPH10320558A (ja) | キャリブレーション方法並びに対応点探索方法及び装置並びに焦点距離検出方法及び装置並びに３次元位置情報検出方法及び装置並びに記録媒体 | |
| JPH11298837A (ja) | 画像入力装置及び画像入力方法 | |
| JP2011055084A (ja) | 撮像装置及び電子機器 | |
| JPH1091790A (ja) | 三次元形状抽出方法及び装置並びに記憶媒体 | |
| JPH10304227A (ja) | 電子スチルカメラ | |
| JP2000228748A (ja) | 画像入力装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040317 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050523 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050531 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050801 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050620 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051004 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051006 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081014 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091014 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101014 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111014 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121014 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131014 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |