JPH09322060A - 撮像装置、画像合成装置及び画像合成システム - Google Patents

撮像装置、画像合成装置及び画像合成システム

Info

Publication number
JPH09322060A
JPH09322060A JP8133640A JP13364096A JPH09322060A JP H09322060 A JPH09322060 A JP H09322060A JP 8133640 A JP8133640 A JP 8133640A JP 13364096 A JP13364096 A JP 13364096A JP H09322060 A JPH09322060 A JP H09322060A
Authority
JP
Japan
Prior art keywords
image
images
confirmation
synthesizing
relative position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8133640A
Other languages
English (en)
Other versions
JP3832895B2 (ja
Inventor
Hideo Takiguchi
英夫 滝口
Kenji Hatori
健司 羽鳥
Kotaro Yano
光太郎 矢野
Tatsushi Katayama
達嗣 片山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP13364096A priority Critical patent/JP3832895B2/ja
Priority to US08/864,480 priority patent/US6243103B1/en
Publication of JPH09322060A publication Critical patent/JPH09322060A/ja
Application granted granted Critical
Publication of JP3832895B2 publication Critical patent/JP3832895B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)

Abstract

(57)【要約】 【課題】 電子カメラで撮影した複数の画像をコンピュ
ータ上でパノラマ合成を行う処理を自動的に行う。 【解決手段】 電子カメラ３０７はコンピュータからの
要求に応じて縮小した第１の確認画像を送り、これがデ
ィスプレイ３０２で表示される。次にカメラを動かして
最初の画像と一部が重なるようにし、そのときの第２の
確認画像を表示する。使用者は２つの確認画像の重なり
具合を適正にすることができる。次に上記各確認画像か
ら求めた相対位置に基づいて元の２つの画像をつなぎ合
わせて１枚のパノラマ合成画像を作成する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、電子カメラが撮影
したオーバーラップ部分を有する複数の画像をコンピュ
ータ上でつなぎ合わせて１枚のパノラマ画像を得る場合
等に用いて好適な撮像装置、画像合成装置及び両装置を
用いた画像合成システムに関するものである。
【０００２】
【従来の技術】画像の一部がオーバーラップしている複
数の画像をコンピュータ上で合成を行う処理を、一般的
にパノラマ合成と呼ぶ。これは、ワイドな画像を撮影し
て一枚の画像にしたいという要求からの処理といえる。
また電子カメラにおいては、銀塩カメラやスキャナと比
較した短所として、解像度の低さ（画素数の少なさ）が
指摘されている。この電子カメラで撮影された画像にと
ってのパノラマ画像合成は、ワイドな画像を撮るという
ことだけでなく、高解像度な画像を得る手段としても重
要である。具体的には一枚の紙の原稿や雑誌等を複数に
分けて撮影し、スキャナ並みの高解像度データを取得し
たり、また風景を複数に分割してワイドで高解像度に撮
影したりすることに威力を発揮する。
【０００３】一方、電子カメラをパーソナルコンピュー
タと接続し、電子カメラからの画像をコンピュータに取
り込むパノラマ合成システムもいくつか実現され、一般
的な価格で提供されている。このとき、両者を接続して
いるパラレルＩ／ＦやシリアルＩ／Ｆ等の伝送路の制約
で、フルサイズの画像をリアルタイムでコンピュータ上
に取り込むのは難しい。従って、画像サイズを小さなサ
イズに縮小して、この縮小画像をリアルタイムに近い間
隔でコンピュータ上に取り込み（以降，これを確認画像
の取り込みと呼ぶ）、実際に撮影したいシーンのときに
撮影ボタンを押すことで、フルサイズの静止画像を取得
する。
【０００４】
【発明が解決しようとする課題】複数の画像からパノラ
マ画像合成を行うときに、最も難しいのは両者の画像の
対応する画素を見つける処理（以降、対応点抽出処理と
呼ぶ）である。対応点が見つかれば、そこから両者の画
像の相対位置（オーバーラップ位置）がわかるので合成
を行うことができる。しかし、対応点の抽出処理には、
画像中に特徴点が少ない場合や、画像の複数の場所に類
似したパターンがある場合にはエラーを生じることがあ
り、完全に自動で実現するのは難しいのが現状である。
【０００５】本発明は上記の問題を解決するために成さ
れたものであり、撮像装置で撮像した複数の画像を用い
て自動的にパノラマ画像の作成を行うことを目的として
いる。
【０００６】
【課題を解決するための手段】請求項１の発明による撮
像装置においては、被写体を撮影して画像を得る撮像手
段と、上記画像を出力すると共に、画像合成装置からの
要求信号に応じて上記画像を縮小した第１、第２の確認
画像を作成し、これを上記画像合成装置に対して出力す
ると共に、元の第１、第２の画像信号を上記画像合成装
置に対して出力する信号処理手段とを設けている。
【０００７】請求項２の発明による画像合成装置におい
ては、撮像装置から撮影した画像を受信すると共に、要
求信号を出力して上記画像を縮小した確認画像を受信す
る受信手段と、上記受信手段が順次に受信した第１、第
２の確認画像の相対位置を検出して保持する検出手段
と、上記第１、第２の確認画像と対応して受信した元の
第１、第２の画像を上記検出保持した相対位置に基づい
て合成処理する合成処理手段とを設けている。
【０００８】請求項８の発明による画像合成システムに
おいては、被写体を撮影して画像を得る撮像手段と、上
記画像を出力すると共に、要求信号に応じて上記画像を
縮小した確認画像を作成して出力すると共に、元の画像
を出力する信号処理手段とを有する撮像装置と、上記要
求信号を出力して上記撮像装置から上記確認画像を受信
すると共に、上記撮影した画像を受信する受信手段と、
上記受信手段が順次に受信した第１、第２の確認画像の
相対位置を検出して保持する検出手段と、上記第１、第
２の確認画像と対応して受信した元の第１、第２の画像
を上記検出保持した相対位置に基づいて合成処理する合
成処理手段とを有する画像合成装置とを設けている。
【０００９】
【作用】請求項１の発明によれば、コンピュータ等の画
像合成装置の要求に応じて撮影した複数の画像をそれぞ
れ縮小して送出することで、コンピュータ側でこれを確
認画像として用い、オーバーラップ部分の検出等を行う
ことができ、また元の各画像を送り、上記検出に基づい
て各画像を合成する処理に寄与することができる。
【００１０】請求項２、８の発明によれば、画像合成装
置が撮像装置に要求して撮像した画像を縮小した第１、
第２の確認画像を送ってもらい、それらの相対位置を検
出し、検出された相対位置に基づいて元の各画像を取り
込んで合成することができる。
【００１１】
【発明の実施の形態】本実施の形態は、次の手順によ
り、電子カメラからの画像をコンピュータに取り込んで
パノラマ画像の作成を自動的に行うシステムである。最
初に使用者は電子カメラに確認画像を要求し、これに応
じて電子カメラは撮影した画像を縮小して確認画像を作
成してコンピュータに送る。使用者は確認画像を見なが
らコンピュータ画面上の撮影ボタンを押して第１の画像
を取り込む。これに応じて電子カメラは撮影した第１の
画像をコンピュータに送る。次に第１の画像にオーバー
ラップした第２の画像を得るために電子カメラの撮影箇
所を移動していくが、これに伴って移動する確認画像の
シフト方向とシフト量を検出し、第１の画像に対する相
対位置の追跡を行う。そして、使用者が撮影ボタンを押
した時点で第２の画像を取り込んで、第１の画像に対す
る相対位置を保持する。使用者が合成ボタンを押すこと
でパノラマ画像作成処理を開始し、上記相対位置情報を
元にしてオーバーラップ位置を求め合成を行う。
【００１２】このとき、第２の画像が撮影されるまでの
間、第２の確認画像は、第１の縮小画像の表示に対する
相対位置に表示することで、使用者にどれだけ、どの方
向にカメラを動かせばよいかを明示していく。さらに、
パノラマ画像合成に適したオーバーラップ位置になった
ときには、音や、表示で使用者に知らせる機構を持つ。
逆に、パノラマ画像合成をするにはオーバーラップ範囲
が狭すぎるときや、オーバーラップしていない状態にな
ったときも、音や、表示で使用者に知らせる機構も持
つ。
【００１３】図１はパーソナルコンピュータに接続され
る電子カメラの概略構成ブロック図を示す。図１におい
て、２００は撮影レンズ、２０２は絞り、２０４は絞り
２０２を開閉する絞り駆動回路、２０６は撮像素子、２
０８は撮像素子２０６の出力をデジタル信号に変換する
Ａ／Ｄ変換器、２１０は、バッファ・メモリ２１２を使
用して、測光、測色及び圧縮などの信号処理を行うデジ
タル信号処理回路（ＤＳＰ）である。
【００１４】２１４は撮影画像を最終的に記憶する大容
量のメモリ装置であり、例えば、磁気ディスク駆動装
置、光ディスク駆動装置、光磁気ディスク駆動装置、及
びＥＥＰＲＯＭやバッテリバックアップされたＤＲＡＭ
などからなる固体メモリ装置などからなる。固体メモリ
装置としてはいわゆるメモリカードが該当する。本実施
の形態では、メモリ装置２１４として、メモリ・カード
を想定している。２１６はＤＳＰ２１０の出力とメモリ
装置２１４とのインターフェースである。
【００１５】２１８は、撮像素子２０６、Ａ／Ｄ変換器
及びＤＳＰ２１０に、おのおのに必要なクロックや同期
信号を供給する同期信号発生回路（ＳＳＧ）、２２０は
全体を制御するシステム制御回路、２２２は電源電池、
２２４は電源スイッチ、２２６はシステム制御回路の指
令下に、各回路２０４〜２１８への電源供給を制御する
電源制御回路である。
【００１６】２２８はシャッタレリーズボタンの押し下
げ操作により閉じるスイッチである。システム制御回路
２２０はスイッチ２２８が閉じたことによって撮影（す
なわち、撮像素子２０６の露光及び読み出しなど）を実
行する。２３２は双方向パラレルインターフェース、Ｓ
ＣＳＩインターフェースなどによって構成される外部Ｉ
／Ｆであり、パーソナルコンピュータ２３４と接続され
る。
【００１７】図２は画像を撮影する際のフローチャート
である。スイッチ２２８がオンになると、絞り駆動回路
２０４を介して絞り２０２を制御し（ステップ３０
１）、撮像素子２０６を露光する（ステップ３０２）。
バッファ・メモリ２１２に給電する（ステップ３０
３）。撮像素子２０６の露光による電荷信号が読み出さ
れ、Ａ／Ｄ変換器２０８によりデジタル信号に変換さ
れ、ＤＳＰ２１０を介してバッファ・メモリ２１２に書
き込まれる（ステップ３０４）。この時、ＤＳＰ２１０
は、ガンマ補正及びニー補正を行い、ホワイトバランス
を調整し所定圧縮方式で圧縮し、これらの処理をしたデ
ジタルデータをバッファメモリ２１２に書き込む。そし
てメモリ装置２１４及びインターフェース２１６に給電
し、バッファメモリ２１２のデータをＤＳＰ２１０及び
インターフェース２１６を介してメモリ装置２１４に転
送する（ステップ３０５）。この転送の際に、データ圧
縮を行ってもよい。
【００１８】図３は本発明が実施されうるプラットフォ
ームであるパーソナルコンピュータシステムの構成例を
示す。図３において３０１はコンピュータシステム本
体、３０２はデータを表示するディスプレー、３０３は
代表的なポインティングデバイスであるマウス、３０４
はマウスボタン、３０５はキーボードである。３０７は
コンピュータに接続可能な電子カメラであり、これは３
０６で示す双方向パラレルインターフェースやＳＣＳＩ
インターフェース等の、高速で画像転送可能な汎用イン
ターフェースによって接続されると共に、三脚３０８に
設置されている。
【００１９】図４はソフトウェアとハードウェアを含む
パノラマ画像合成システムの構成を示す図である。図４
において、５０９はハードウェアであり、５０５はハー
ドウェア５０９の上で動作するオペレーティングシステ
ム（ＯＳ）であり、５０４はＯＳ５０５の上で動作する
アプリケーションソフトウェアである。なおハードウェ
ア５０９とＯＳ５０５を構成するブロックのうち構成用
件として当然含まれるが本発明の実施の形態を説明する
上で直接必要としないブロックに関しては図示していな
い。そのような図示していないブロックの例としてハー
ドウェアとしてはＣＰＵ、メモリ、ＯＳとしてはメモリ
管理システム等がある。
【００２０】５１５はファイルやデータを物理的に格納
するハードディスク、５０８はＯＳを構成するファイル
システムであり、アプリケーションソフトウェアがハー
ドウェアを意識せずにファイルの入出力が行えるように
する機能がある。５１４はファイルシステム５０８がハ
ードディスク５１５の読み書きを行うためのディスクＩ
Ｏインターフェースである。５０７はＯＳを構成する描
画管理システムであり、アプリケーションソフトウェア
がハードウェアを意識せずに描画が行えるようにする機
能がある。
【００２１】５１３は描画管理システム５０７がディス
プレー３０２に描画を行うためのビデオインターフェー
スである。５０６はＯＳを構成する入力デバイス管理シ
ステムであり、アプリケーションソフトウェアがハード
ウェアを意識せずにユーザの入力を受け取ることができ
るようにする機能がある。５１０は入力デバイス管理シ
ステム５０６がキーボード３０５の入力を受け取るため
のキーボードインターフェース、マウスインターフェー
ス５１２は入力デバイス管理システム５０６がマウス３
０３からの入力を受け取ることができるようにするため
のマウスインターフェースである。
【００２２】５１６は双方向インターフェースもしくは
ＳＣＳＩインターフェース等のインターフェースであ
り、電子カメラ３０７に接続され、入力デバイス管理シ
ステム５１０を通して画像データ等のやりとりを行うこ
とができる。５０１は画像データ管理システムであり、
５０２はカメラに対して縮小画像としての確認画像を要
求したり、撮影画像を取り込んだりするカメラ制御手段
である。５０３は確認画像の表示や、既にカメラから取
り込んで管理している画像データの表示を行うデータ表
示手段である。５１７はパノラマ画像合成システムであ
り、画像データ管理システム５０１から撮影した画像を
受け取り、パノラマ画像合成処理を行い、合成した画像
を画像データ管理システム５０１へ登録する。
【００２３】次に図５に本システムにおけるコンピュー
タ画面上のユーザインターフェースを示し、一連の操作
手順について概略説明する。最初に使用者は縮小された
第１の確認画像２３０２を見ながら、コンピュータ画面
上の撮影ボタン２３０４を押して第１の画像を撮影す
る。撮影された第１の画像２３０１は撮影画像表示画面
２３０７に表示される。次に、第１の画像２３０１にオ
ーバーラップした第２の画像を得るために三脚３０８を
動かして電子カメラ３０７の撮影箇所を移動していく
が、その間、撮影箇所の移動に伴って画面上を移動する
確認画像のシフト方向とシフト量を検出し、第１の画像
２３０１に対する相対位置の追跡を行う。この間第２の
確認画像２３０３は、第１の確認画像２３０２の表示と
の相対位置に合わせて表示されることで、使用者にどれ
だけ、どの方向にカメラを動かせばよいかを明示する。
そして使用者が撮影ボタン２３０４を押した時点で、第
２の撮影画像を取り込んで撮影画像表示画面２３０７に
表示し、第１の画像２３０１に対する相対位置を保持す
る。次に使用者が合成ボタン２３０５を押すことでパノ
ラマ画像作成処理を開始し、上記相対位置情報に基づい
てオーバーラップ位置を求め合成を行う。そして、その
結果のパノラマ合成画像２３０６が撮影画像表示画面２
３０７に表示される。尚、電子カメラ３０７を動かして
いるときに、パノラマ画像合成に適したオーバーラップ
位置になった場合（図５の右側の確認画像２３０２、２
３０３の状態）には、それを自動で検出し、音を出す
か、各画像２３０２、２３０３の枠を明るく表示する等
の方法により使用者に知らせる機構が設けられている。
【００２４】図６に、本発明の全体の手順を示すフロー
チャートを示す。ステップ２４０１で、合成開始ボタン
２３０５が押されたかのチェックを行い、押されたなら
ば合成すべき複数の画像を既に取得しているかのチェッ
クを行う。これがＮｏならば、ステップ２４０２で撮影
ボタンが押されたかのチェックを行う。これがＮｏなら
ば確認画像の取り込み手順に入る。
【００２５】まずステップ２４０３で電子カメラ３０７
に対して確認画像の取り込み要求を出す。ステップ２４
０４で確認画像データが送られてくるまで待ち、送られ
てきたならばステップ２４０５で確認画像データを取得
する。このとき既に取り込まれた第１の画像があるかど
うかをステップ２４０６でチェックを行い、Ｎｏであれ
ばステップ２４０７で所定の場所に確認データの表示を
行った後、またステップ２４０１に戻る。以上が初めて
画像を取り込む以前の処理の流れとなる。
【００２６】既に第１の画像がある場合には、ステップ
２４０６からステップ２４０８に進み、第１の画像との
相対位置を求める処理を行い、その結果の位置情報を保
持する。この詳細については後述する。そしてステップ
２４０９で上記位置情報に従って画像を表示するととも
に、その位置がパノラマ合成を行う上で適正な位置かど
うかのチェックを行う。これも詳細については後述す
る。以上で、第１の画像と第２の画像とが位置関係を明
示しながら表示を行う処理の流れとなる。
【００２７】次にステップ２４０２で撮影ボタン２３０
４が押されたことを検知したときには、まず、ステップ
２４１３でこの時点での相対位置情報を保持する。この
ときが初めての撮影画像の取り込み（第１の撮影画像の
取り込み）であれば、相対位置情報は（０，０）であ
り、第２の撮影画像の取り込みであれば、ステップ２４
０８で保持している位置情報を保持する。次にステップ
２４１０で電子カメラ３０７に対して撮影画像の取り込
みを要求を出す。ステップ２４１１で撮影画像データが
送られてくるまで待ち、送られてきたならばステップ２
４１２で撮影画像データを取得する。そしてステップ２
４１４で撮影画像データを撮影画像表示画面２３０７に
表示する。
【００２８】２４０１でＹｅｓのときは、ステップ２４
１５のパノラマ画像合成処理を行う。この詳細も後述す
る。そして、ステップ２４１６で結果の合成画像を撮影
画像表示画面２３０７に表示する。
【００２９】以上は合成する画像が２枚であることを前
提に説明したが、それより多い枚数の場合も、確認画像
の表示の部分（ステップ２４０８〜２４０９）と撮影画
像の取り込み部分（ステップ２４１０〜２４１４）の繰
り返しが増えるだけなので、以上と同様の手順で行うこ
とができる。
【００３０】図７に図６のステップ２４０８による第１
の画像との相対位置を求める処理について、その詳細を
説明するフローチャートを示し、図８にこの処理の動き
を示す説明図を示す。まず図８について説明する。２５
０１は既に撮影まで行われた第１の確認画像である。２
５０２は前回の第２の確認画像であり、第１の確認画像
２５０１の左上隅の座標を（０，０）としたときの相対
位置（ｘ，ｙ）を保持している。
【００３１】このとき、前回の確認画像２５０２から参
照パターン２５０４を切り出す。この例では位置の異な
る４つの参照パターン２５０４を切り出している。この
各参照パターン２５０４が今回の確認画像２５０５上の
各所定の範囲２５０６の中で最も一致する場所を探す。
一致条件としては、例えばパターンの画素値との差分を
とり、その総和の最も値の小さいところを一致した場所
とみなす。この例ではパターンごとに４つの差分の総和
の最小値が求められるが、その中で最小値が所定のしき
い値よりも大きいときは信頼性に欠けるので除き、残り
の場所情報から移動量（Δｘ，Δｙ）を求める。そし
て、先の相対位置（ｘ，ｙ）に（Δｘ，Δｙ）を加算す
ることで、新たな相対位置（ｘ，ｙ）が求まる。この状
態を今回の確認画像２６０７として示す。
【００３２】次に図７のフローチャートに従って上記の
内容を再度説明する。ステップ２６０１で前回の確認画
像をメモリ上から取得する。第１の確認画像を撮影し終
わた直後の時点では、前回の確認画像とは第１の確認画
像のことになる。それ以外は、第２の確認画像の前回取
得してある画像となる。ステップ２６０２で、この画像
から参照パターンを複数切り出す。図８の例では４つの
異なる位置の参照パターン２５０４を切り出すことにし
ている。次にステップ２６０３で今回の確認画像をメモ
リ上から取得し、ステップ２６０４で参照パターンが今
回の確認画像のサーチ範囲の中で最も一致する場所を探
す。ステップ２６０５で、一致した場所と参照パターン
を切り出した場所の差から移動量（Δｘ，Δｙ）を求め
る。このステップ２６０４と２６０５のより詳細なフロ
ーチャートを図９に示す。
【００３３】ステップ２７０１で変数ｍｉｎを十分大き
な値で初期化する。ここでは、参照パターンの画素数に
画素値の最大値２５５を掛けた値で初期化している。ス
テップ２７０２で、サーチ範囲のある部分と参照パター
ンとの間で対応する画素の差分の絶対値を取る。そして
これらの総和を求め変数Ｓｕｍに代入する。ステップ２
７０３でＳｕｍがｍｉｎより小さければ、Ｓｕｍをｍｉ
ｎに代入し、サーチ範囲の中の参照した位置をとってお
く。以上をサーチ範囲全ての部分に対して行うことによ
り、最終的にｍｉｎに最も一致したところの差分の総和
とその位置とが保持されている。
【００３４】ステップ２７０６でそのｍｉｎの値が所定
値以下かどうかをチェックする。所定値以下であれば信
頼できる結果であると判断する。ステップ２７０７で、
第１の確認画像中の参照パターンの切り出した位置と、
第２の確認画像中のサーチ範囲の中で求めた一致位置と
から、この参照パターンにおける移動量（Δｘｎ，Δｙ
ｎ）を求める。ステップ２７０６で所定値以上のときに
は信頼できない結果として、このときの移動量は以降で
使わない。
【００３５】以上の処理を全ての参照パターンについて
繰り返す。それが終わたらステップ２７０９で有効な移
動量（Δｘｎ，Δｙｎ）が少なくとも一つ以上あるかの
チェックを行う。もしなければ移動量の算出は不可能と
なり、ステップ２７１１で全ての処理を打ち切る。この
結果になる場合の原因は、電子カメラ３０７をパンする
スピードが速すぎることが考えられる。以上の処理に要
する時間から、カメラをパンするスピードに制約が生じ
る。従って使用者には対応できるスピード（ある程度ゆ
っくりのスピード）でカメラを動かして（パンして）も
らわなければならない。
【００３６】移動量（Δｘ，Δｙ）を求めるのに失敗し
たときには、カメラのパンが速すぎますという警告メッ
セージを出して全ての処理を終了する。ステップ２７０
９で有効な移動量（Δｘｎ，Δｙｎ）が少なくとも一つ
以上あったときには、ステップ２７１０で、これら（Δ
ｘｎ，Δｙｎ）の平均を求め、この平均を今回の確認画
像の移動量（Δｘ，Δｙ）とする。
【００３７】再び図７に戻って説明すると、ステップ２
６０６で、今までの移動量の値（ｘ，ｙ）に求めた（Δ
ｘ，Δｙ）を加算して、新しい移動量（ｘ，ｙ）にす
る。そしてステップ２６０７で、今まで使用した前回の
確認画像はもう不要なのでメモリ上から消去し、今回の
確認画像は次回に前回の確認画像となるので、そのまま
メモリ上にとっておく。
【００３８】以上で確認画像の追跡処理が終了する。確
認画像は、例えば１６０×１２０画素程度の小さなサイ
ズの画像である。これは、カメラのフレーミングを確認
するための画像（カメラのファインダとしての画像）で
ある。この理由から、できる限りリアルタイムに画像を
送りたいが、カメラ側の負荷とカメラとパソコンをつな
ぐＩ／Ｆの転送レートの制約、さらにパソコン側の表示
スピード等の問題により、フルサイズの画像を送出しパ
ソコンがそれを受け取って表示するというのは難しい。
そこで、リアルタイム性の方を重視することで、その分
画像のサイズは小さくなる。しかし確認画像の移動量を
検出するための上述した処理は高速で行う必要があるの
て、画像のサイズが小さい方が望ましい。これは参照パ
ターンのサイズを小さくでき、このパターンがサーチす
る範囲も狭くて済むからである。
【００３９】図１０に第２の確認画像の表示とパノラマ
合成をするのに適当な位置になっているのかのチェック
を行うフローチャートを示す。ステップ２８０１ではそ
の表示を行うが、第１の確認画像を固定した位置に表示
して、第２の確認画像を移動量（ｘ，ｙ）だけずらして
重ねて表示する。ステップ２８０２で、この移動量
（ｘ，ｙ）はパノラマ画像としてふさわしい位置かどう
かのチェックを行う。このときのふさわしいという基準
は、後述する対応点抽出に必要なオーバーラップ量は確
保して、かつできるだけワイドな画像を得る（つまりオ
ーバーラップする量が少ない）という条件で判断する。
本実施の形態では、画像の縦横各々の辺が１５％±５％
以内におさまっているときにふさわしいと判断する。こ
れを図１１に図示する。２９０１を第１の確認画像とす
ると、各々の辺が１５％±５％以内ということで、２９
０２で示す第２の確認画像が２９０３で示す範囲内に収
まるときにふさわしい位置と判断する。第２の確認画像
２９０２で適当（ふさわしい）と判断されたときには、
ステップ２８０３でピッという音と、ステップ２８０４
で第１の確認画像と第２の確認画像の枠を明るい色で表
示する。この音色や表示の方法は他の様々なものであっ
てよい。
【００４０】次に、ステップ２８０５で、逆にパノラマ
合成ができない位置になっているかどうかのチェックを
行う。パノラマ合成ができない位置とは、オーバーラッ
プ量が小さすぎて後述する対応点抽出処理に不都合が生
じる場合である。具体的には縦横どちらかの辺が１０％
未満のオーバーラップ量となってしまったとき（もちろ
ん、完全に離れてしまった場合も含める）に、パノラマ
合成ができないと判断する。このときはステップ２８０
６で、例えばピーッといった警告音を出す等、何らかの
表示を行う。使用者はこれらの音や表示で、オーバーラ
ップ量が狭すぎることを知り、もっとオーバーラップさ
せる方向にカメラを戻す操作を行うことになる。
【００４１】以上で、第２の確認画像の表示と、パノラ
マ合成をするのに適当な位置になっているのかのチェッ
クを行う処理が終了する。使用者はこのようにして第２
の確認画像を見ながら適当な位置になるようカメラを動
かし、図５の撮影ボタン２３０４を押すことで、第２の
撮影画像を取り込む。そして合成ボタン２３０５を押す
ことでパノラマ画像の作成処理が開始する。
【００４２】次に図６のステップ２４１５によるパノラ
マ画像合成処理について図１２のフローチャートと共に
より詳細な手順を説明する。まずステップ１３０１で、
前述の処理で求めた複数の画像の相対位置を取得する。
この状態での相対位置には、誤差が含まれるので、より
正確に一致するようにステップ１３０３の対応点を抽出
する処理を行う。次にステップ１３０５の合成パラメー
タ処理へ進む。ここでは、合成の際に用いる移動、拡大
（縮小）、回転のパラメータを、先の対応点の座標から
求める。次にステップ１３０６ではこれらパラメータを
もとに画像を合成する。
【００４３】次に上述各ステップ１３０１、１３０３、
１３０５、１３０６の詳細を説明する。最初にステップ
１３０１複数の画像の相対位置を取得する処理について
説明する。図１３にフローチャートを示す。先に求めた
移動量（ｘ，ｙ）は、確認画像における座標の相対位置
であるので、これをフルサイズ画像での座標値に変換す
る必要がある。そこでステップ３００１で（フル画像の
サイズ／確認画像のサイズ）によって拡大率ａを求め
る。そしてステップ３００２で（ｘ，ｙ）にこの拡大率
ａを掛けることでフルサイズ画像での相対位置（Ｘ，
Ｙ）を求める。
【００４４】この時点で求められた第１の画像に対する
第２の画像の相対位置（オーバーラップ位置）（Ｘ，
Ｙ）は、確認画像の座標での相対位置（ｘ，ｙ）を拡大
したことによる誤差を含んでいる。また実際は第２の画
像は、第１の画像を撮影したときに対して多少傾いて撮
影している可能性もある。しかし（ｘ，ｙ）では、この
傾いた量の情報は含まれていない。そこで、上記相対位
置（オーバーラップ位置）（Ｘ，Ｙ）は、だいたいの位
置が定められたという意味となるので、次に説明する対
応点抽出処理を用いてより正確に相対位置（オーバーラ
ップ位置）を求めていく。
【００４５】図１４に対応点抽出処理のフローチャート
を示し、図１５にそれを図示したものを示す。図１５
は、左と右の画像２枚の例を示す。画像の枚数が２枚よ
り大きいときは２枚の合成を何回か繰り返せばよいので
処理としては基本的に同じである。２００５、２００６
で示すエリアは、先に求められた相対位置から算出され
るオーバーラップするエリアである。画像中のエリア２
００５からエッジが所定値以上強い点を探し、そこを中
心として縦、横ｎ画素の矩形をテンプレート画像として
切り出す。これをテンプレート画像２００３とする。
【００４６】一方、右画像の対応するエリア２００６中
には、テンプレート画像２００３に対応する部分が存在
する。これを中心に所定量広げた範囲をサーチ範囲２０
０４とする。テンプレート画像２００３をサーチ範囲２
００４上に置いて画素単位でその差分をとる。この合計
が最小となるところをサーチ範囲上を１画素ずつずらし
て求める。サーチ範囲上を全てサーチした結果の最小値
が、所定値以下であれば、そのポイント同士（ｘ，ｙ）
と（ｘ′，ｙ′）を対応点のペアとして保持する。
【００４７】以上が処理の概要となるが、これを図１４
のフローチャートに沿ってもう一度説明する。まずステ
ップ１９０１でエッジ抽出画像を作成する。そしてステ
ップ１９０２で、このエッジ抽出画像の中のテンプレー
トを設定する範囲２００５からエッジが所定値以上強い
ポイントを探す。そしてそのポイントがあれば、ステッ
プ１９０３でそのポイントから縦横±ｎ画素ずつの矩形
で画像を切り出しテンプレート画像とする。次にステッ
プ１９０４で、そのポイントの位置から、右画像中のサ
ーチ範囲を設定する。そしてステップ１９０５で、サー
チ範囲中の画像とテンプレート画像を重ね合わせ、画素
単位で、画素値の差の絶対値をとりその合計を求める。
次にステップ１９０６でこの差分合計値が、それまでの
最小値かどうかをチェックし、そうであればステップ１
９０７でそのサーチ範囲中のポイントの座標と、その最
小値を保持する。
【００４８】以上をサーチ範囲全てに繰り返す。そして
ステップ１９０８でサーチ範囲全てについて処理したか
をチェックし、ステップ１９０９でその結果求められた
最小値が十分小さな値であるか（確かな対応点か）を、
所定値Ｌと比較して判断する。所定値Ｌより小さかった
場合は、ステップ１９１０で、対応点のリストにテンプ
レート画像を切り出したポイントの座標（ｘ，ｙ）と、
最小値が求められたポイントの座標（ｘ′，ｙ′）と、
その最小値の値を登録する。以上をステップ１９１１で
テンプレート設定範囲全部に対して行い、対応点抽出処
理を終了する。
【００４９】次に、図１２のステップ１３０５の合成パ
ラメータ設定処理について説明する。画像を２枚とした
ときに（２枚以上の合成の場合も２枚の合成の繰り返し
なので、まずは２枚で考えてよい）、そのずれは、ｘ，
ｙ方向の並進、回転、および拡大率の差で表すことがで
きる。よって対応する点（ｘ，ｙ）、（ｘ′，ｙ′）は
以下のように表せる。
【００５０】
【数１】
【００５１】ここで、θはＺ軸回りの回転角、Δｘ及び
Δｙは並進、ｍは倍率を示す。従ってパラメータＡ、
Ｂ、Ｃ、Ｄを求めることにより、この座標変換を表すこ
とができる。先の対応点抽出処理では、対応点（ｘ，
ｙ）、（ｘ′，ｙ′）の複数の組を取得した。これを最
小自乗法を用いて次のようにしてパラメータＡ、Ｂ、
Ｃ、Ｄを求める。 ε＝Σ［｛（Ａｘ＋Ｂｙ＋ｃ）−ｘ′｝2 ＋｛（−Ｂｘ＋Ａｙ＋Ｄ）−ｙ′｝ 2 ］→ｍｉｎ ………（２） の条件で、
【００５２】
【数２】
【００５３】を満たすパラメータＡ、Ｂ、Ｃ、Ｄを求め
る。 ここで、 Ｐ1 ＝Σｘ2 ＋Σｙ2 Ｐ2 ＝Σｘ Ｐ3 ＝Σｙ Ｐ4 ＝Σｘｘ′＋Σｙｙ′ Ｐ5 ＝Σｘｙ′−Σｘ′ｙ Ｐ6 ＝Σｘ′ Ｐ7 ＝Σｙ′ Ｐ8 ＝ｎ（相対点の数） とすると、パラメータＡ、Ｂ、Ｃ、Ｄは次のように表す
ことができる。 Ａ＝（Ｐ2 Ｐ6 ＋Ｐ3 Ｐ7 −Ｐ4 Ｐ8 ）／（Ｐ2 2＋Ｐ3 2−Ｐ1 Ｐ8 ） Ｂ＝（Ｐ3 Ｐ6 −Ｐ2 Ｐ7 ＋Ｐ5 Ｐ8 ）／（Ｐ2 2＋Ｐ3 2−Ｐ1 Ｐ8 ） Ｃ＝（Ｐ6 −Ｐ2 Ａ−Ｐ3 Ｂ）／Ｐ8 Ｄ＝（Ｐ7 −Ｐ3 Ａ＋Ｐ2 Ｂ）／Ｐ8 ………（４）
【００５４】このパラメータＰ1 からＰ8 を求め、上式
（４）に代入することによりパラメータＡ、Ｂ、Ｃ、Ｄ
を算出する。
【００５５】最後に図１２のステップ１３０６画像合成
処理について説明する。上記のようにしてすでにパラメ
ータＡ、Ｂ、Ｃ、Ｄは求められているので、次式 ｘ′＝Ａｘ＋Ｂｙ＋Ｃ ｙ′＝−Ｂｘ＋Ａｙ＋Ｄ ………（５） に代入すればよい。
【００５６】図１６にこれを図示したものを示す。画像
が左、右画像の場合、左画像の２倍の大きさを合成画像
２１０３として確保する。ここに、まず左画像をそのま
コピーしてくる。次に、合成画像の残り領域（ｘ，ｙ）
について、上式から対応する（ｘ′，ｙ′）を求める。
そして右画像の（ｘ′，ｙ′）の画素を（ｘ，ｙ）にコ
ピーする。これを合成画像の残りの領域全てに対して行
う。
【００５７】図１７に同様の内容をフローチャートに示
す。ステップ２２０１で、第１の画像（図１６での左画
像）の２倍の領域を合成画像領域として確保する。ステ
ップ２２０２で、第１の画像をこの合成画像領域に単純
にコピーする。ステップ２２０３で、合成画像の残りの
領域（ｘ，ｙ）について、上式から対応する（ｘ′，
ｙ′）を求める。ステップ２２０４で、（ｘ′，ｙ′）
は第２の画像（図１６での右画像）内にあるかどうかを
チェックし、あればステップ２２０５で（ｘ′，ｙ′）
の画素を（ｘ，ｙ）にコピーする。以上をステップ２２
０６で合成画像の残りの領域全てに対して繰り返し、処
理は終了する。以上により最終的なパノラマ合成画像を
作成することができる。
【００５８】
【発明の効果】以上説明したように、請求項１の発明に
よる撮像装置によれば、コンピュータ等からの要求に応
じて複数の縮小画像を確認画像として送ることにより、
コンピュータ側でそれらの相対位置を検出し、元の各画
像を合成する場合の処理に寄与することができる。
【００５９】請求項２、８の発明による画像合成装置及
び画像合成システムによれば、第１、第２の確認画像に
基づいて元の２つの画像の相対位置を求めて各画像を合
成する処理を確実に完全自動で行うことができる。
【００６０】また、第１、第２の確認画像を画面表示す
ることにより、使用者は確認画像を見ながら、各画像間
のオーバーラップ量を確認しながら画像位置を適切に定
めることができ、これにより、複数の画像が実はつなが
っていなかった等の失敗をすることなくパノラマ画像合
成に必要な複数の画像を撮影できる。
【００６１】さらに、パノラマ画像合成に適したオーバ
ーラップ位置になったときに音や表示で使用者に知らせ
るようにすることにより簡単に適正な位置での画像撮影
が可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態による電子カメラのブロッ
ク図である。
【図２】電子カメラの撮影時のフローチャートである。
【図３】本発明の実施の実施の形態による画像合成シス
テムの構成図である。
【図４】本発明の実施の形態による画像合成のシステム
のブロック図である。
【図５】本発明のユーザインターフェースを示す構成図
である。
【図６】本システムの全体の制御の流れを示すフローチ
ャートである。
【図７】カメラの動きに合わせて画像の相対位置を追跡
する処理のフローチャートである。
【図８】カメラの動きに合わせて画像の相対位置を追跡
する処理を説明する構成図である。
【図９】相対位置を算出する処理のフローチャートであ
る。
【図１０】確認画像の表示と適正位置かをチェックする
処理のフローチャートである。
【図１１】適正位置を説明する構成図である。
【図１２】パノラマ画像作成処理の全体の手順を示すフ
ローチャートである。
【図１３】相対位置の座標変換を示すフローチャートで
ある。
【図１４】対応点抽出処理のフローチャートである。
【図１５】対応点抽出処理でのテンプレート画像とマッ
チング範囲を示す構成図である。
【図１６】合成処理を示した構成図である。
【図１７】合成処理のフローチャートである。
【符号の説明】
２０６ 撮像素子 ２１０ ＤＳＰ ２１２ バッファメモリ ２１４ メモリ装置 ２２０ システム制御回路 ２３２ 外部Ｉ／Ｆ ３０１ コンピュータシステム本体 ３０２ ディスプレー ３０３ マウス ３０５ キーボード ３０６ 汎用インターフェース ３０７ 電子カメラ ５０４ アプリケーションソフトウェア ５０５ オペレーティングシステム ２３０１ 第１画像 ２３０２ 第１の確認画像 ２３０３ 第２の確認画像 ２３０４ 撮影ボタン ２３０５ 合成ボタン ２５０４ 参照パターン
───────────────────────────────────────────────────── フロントページの続き (72)発明者 片山 達嗣 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内

Claims (15)

    【特許請求の範囲】
  1. 【請求項１】 被写体を撮影して画像を得る撮像手段
    と、 上記画像を出力すると共に、画像合成装置からの要求信
    号に応じて上記画像を縮小した第１、第２の確認画像を
    作成し、これを上記画像合成装置に対して出力すると共
    に、元の第１、第２の画像信号を上記画像合成装置に対
    して出力する信号処理手段とを備えた撮像装置。
  2. 【請求項２】 撮像装置から撮影した画像を受信すると
    共に、要求信号を出力して上記画像を縮小した確認画像
    を受信する受信手段と、 上記受信手段が順次に受信した第１、第２の確認画像の
    相対位置を検出して保持する検出手段と、 上記第１、第２の確認画像と対応して受信した元の第
    １、第２の画像を上記検出保持した相対位置に基づいて
    合成処理する合成処理手段とを備えた画像合成装置。
  3. 【請求項３】 上記第１、第２の確認画像を画面表示す
    る表示手段を設けたことを特徴とする請求項２記載の画
    像合成装置。
  4. 【請求項４】 上記合成処理手段は、上記相対位置から
    上記第１、第２の画像のオーバーラップ部分を検出し、
    この検出されたオーバーラップ部分に基づいて上記第
    １、第２の画像をつなぎ合わせて合成することを特徴と
    する請求項２記載の画像合成装置。
  5. 【請求項５】 上記オーバーラップ部分が適正な範囲内
    にあるか否かを判断する判断手段を設けたことを特徴と
    する請求項４記載の画像合成装置。
  6. 【請求項６】 上記判断手段の判断結果を使用者に知ら
    せる報知手段を設けたことを特徴とする請求項５記載の
    画像合成装置。
  7. 【請求項７】 上記合成処理手段は、上記相対位置に基
    づく上記オーバーラップ部分の検出を行った後、上記第
    １、第２の画像の特徴パターンの一致を検出し、この検
    出に基づいてより正確なオーバーラップ部分を再度検出
    することを特徴とする請求項４記載の画像合成装置。
  8. 【請求項８】 被写体を撮影して画像を得る撮像手段
    と、上記画像を出力すると共に、要求信号に応じて上記
    画像を縮小した確認画像を作成して出力すると共に、元
    の画像を出力する信号処理手段とを有する撮像装置と、 上記要求信号を出力して上記撮像装置から上記確認画像
    を受信すると共に、上記撮影した画像を受信する受信手
    段と、上記受信手段が順次に受信した第１、第２の確認
    画像の相対位置を検出して保持する検出手段と、上記第
    １、第２の確認画像と対応して受信した元の第１、第２
    の画像を上記検出保持した相対位置に基づいて合成処理
    する合成処理手段とを有する画像合成装置とを備えた画
    像合成システム。
  9. 【請求項９】 上記第１、第２の確認画像を画面表示す
    る表示手段を設けたことを特徴とする請求項８記載の画
    像合成システム。
  10. 【請求項１０】 上記合成処理手段は、上記相対位置か
    ら上記第１、第２の画像のオーバーラップ部分を検出
    し、この検出されたオーバーラップ部分に基づいて上記
    第１、第２の画像をつなぎ合わせて合成することを特徴
    とする請求項８記載の画像合成システム。
  11. 【請求項１１】 上記オーバーラップ部分が適正な範囲
    内にあるか否かを判断する判断手段を設けたことを特徴
    とする請求項１０記載の画像合成システム。
  12. 【請求項１２】 上記判断手段の判断結果を使用者に知
    らせる報知手段を設けたことを特徴とする請求項１１記
    載の画像合成システム。
  13. 【請求項１３】 上記合成処理手段は、上記相対位置に
    基づく上記オーバーラップ部分の検出を行った後、上記
    第１、第２の画像の特徴パターンの一致を検出し、この
    検出に基づいてより正確なオーバーラップ部分を再度検
    出することを特徴とする請求項１０記載の画像合成シス
    テム。
  14. 【請求項１４】 上記撮像装置と上記画像合成装置と
    が、高速で画像転送可能な汎用インターフェースにより
    接続されていることを特徴とする請求項８記載の画像合
    成システム。
  15. 【請求項１５】 上記汎用インターフェースが双方向パ
    ラレルインターフェース又はＳＣＳＩインターフェース
    であることを特徴とする請求項１４記載の画像合成シス
    テム。
JP13364096A 1996-05-28 1996-05-28 画像合成装置及び画像合成システム Expired - Fee Related JP3832895B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP13364096A JP3832895B2 (ja) 1996-05-28 1996-05-28 画像合成装置及び画像合成システム
US08/864,480 US6243103B1 (en) 1996-05-28 1997-05-28 Panoramic image generation in digital photography

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP13364096A JP3832895B2 (ja) 1996-05-28 1996-05-28 画像合成装置及び画像合成システム

Publications (2)

Publication Number Publication Date
JPH09322060A true JPH09322060A (ja) 1997-12-12
JP3832895B2 JP3832895B2 (ja) 2006-10-11

Family

ID=15109552

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13364096A Expired - Fee Related JP3832895B2 (ja) 1996-05-28 1996-05-28 画像合成装置及び画像合成システム

Country Status (2)

Country Link
US (1) US6243103B1 (ja)
JP (1) JP3832895B2 (ja)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0942598A2 (en) * 1998-03-11 1999-09-15 Canon Kabushiki Kaisha Method and apparatus for panoramic imaging, control method therefor, and storage medium
JPH11259637A (ja) * 1998-03-06 1999-09-24 Canon Inc 画像合成装置、画像合成方法および記憶媒体
JP2009273024A (ja) * 2008-05-09 2009-11-19 Olympus Imaging Corp 撮像装置および撮像装置における撮像方法
JP2010130408A (ja) * 2008-11-28 2010-06-10 Keyence Corp 撮像装置
CN101750726A (zh) * 2008-12-12 2010-06-23 株式会社其恩斯 成像装置
JP2010141697A (ja) * 2008-12-12 2010-06-24 Keyence Corp 撮像装置
JP2010141700A (ja) * 2008-12-12 2010-06-24 Keyence Corp 撮像装置
JP2010141698A (ja) * 2008-12-12 2010-06-24 Keyence Corp 撮像装置
JP2010139890A (ja) * 2008-12-12 2010-06-24 Keyence Corp 撮像装置
JP2011259504A (ja) * 2011-09-16 2011-12-22 Keyence Corp 撮像装置
JP2011259502A (ja) * 2011-09-16 2011-12-22 Keyence Corp 撮像装置
JP2011259503A (ja) * 2011-09-16 2011-12-22 Keyence Corp 撮像装置
JP2012034392A (ja) * 2011-09-16 2012-02-16 Keyence Corp 撮像装置
JP2012044680A (ja) * 2011-09-16 2012-03-01 Keyence Corp 撮像装置
JP2013021707A (ja) * 2012-09-05 2013-01-31 Keyence Corp 撮像装置
JP2013021706A (ja) * 2012-09-05 2013-01-31 Keyence Corp 撮像装置
JP2013034208A (ja) * 2012-09-05 2013-02-14 Keyence Corp 撮像装置
JP2016134183A (ja) * 2015-01-19 2016-07-25 株式会社リコー 線形パノラマ画像連結のための画像取得ユーザインタフェース
JP2017097229A (ja) * 2015-11-26 2017-06-01 オリンパス株式会社 顕微鏡システムとその制御方法
JP2017102405A (ja) * 2015-12-04 2017-06-08 オリンパス株式会社 顕微鏡、画像貼り合わせ方法、プログラム
JP2021019228A (ja) * 2019-07-17 2021-02-15 キヤノン株式会社 撮像装置、コンピュータプログラムおよび記録媒体

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549681B1 (en) * 1995-09-26 2003-04-15 Canon Kabushiki Kaisha Image synthesization method
US6466701B1 (en) * 1997-09-10 2002-10-15 Ricoh Company, Ltd. System and method for displaying an image indicating a positional relation between partially overlapping images
US6611629B2 (en) * 1997-11-03 2003-08-26 Intel Corporation Correcting correlation errors in a composite image
US6704041B2 (en) * 1998-03-10 2004-03-09 Canon Kabushiki Kaisha Image processing method, apparatus and memory medium therefor
IL123738A0 (en) * 1998-03-19 1998-10-30 Banitt Shmuel Method for processing variable speed scenes for computer games
JPH11289515A (ja) * 1998-04-01 1999-10-19 Sony Corp 画像信号処理装置及び方法、画像信号記録装置及び方法並びに記録媒体
JP3707259B2 (ja) * 1998-09-10 2005-10-19 コニカミノルタフォトイメージング株式会社 画像合成方法及びこの方法を用いた画像合成装置
US7620909B2 (en) * 1999-05-12 2009-11-17 Imove Inc. Interactive image seamer for panoramic images
US6714680B1 (en) * 1999-06-02 2004-03-30 Fuji Photo Film Co., Ltd. Method and apparatus for image positioning processing
US6489989B1 (en) * 1999-09-15 2002-12-03 Electric Planet, Inc. System, method and article of manufacture for executing a video setup protocol
US6839466B2 (en) * 1999-10-04 2005-01-04 Xerox Corporation Detecting overlapping images in an automatic image segmentation device with the presence of severe bleeding
US6978051B2 (en) * 2000-03-06 2005-12-20 Sony Corporation System and method for capturing adjacent images by utilizing a panorama mode
IL139995A (en) 2000-11-29 2007-07-24 Rvc Llc System and method for spherical stereoscopic photographing
JP4731703B2 (ja) * 2001-02-22 2011-07-27 キヤノン株式会社 眼科装置
JP3539394B2 (ja) * 2001-03-26 2004-07-07 ミノルタ株式会社 画像処理装置、プログラムおよび記録媒体
US6947059B2 (en) * 2001-08-10 2005-09-20 Micoy Corporation Stereoscopic panoramic image capture device
US20030086002A1 (en) * 2001-11-05 2003-05-08 Eastman Kodak Company Method and system for compositing images
US7583293B2 (en) * 2001-12-06 2009-09-01 Aptina Imaging Corporation Apparatus and method for generating multi-image scenes with a camera
US7162102B2 (en) * 2001-12-19 2007-01-09 Eastman Kodak Company Method and system for compositing images to produce a cropped image
CN100468456C (zh) * 2003-10-13 2009-03-11 皇家飞利浦电子股份有限公司 通过数字照相机测量尺寸的方法
CN1922892B (zh) * 2003-12-26 2012-08-15 米科伊公司 多维成像装置、系统和方法
US7436438B2 (en) * 2004-03-16 2008-10-14 Creative Technology Ltd. Digital still camera and method of forming a panoramic image
US7646400B2 (en) * 2005-02-11 2010-01-12 Creative Technology Ltd Method and apparatus for forming a panoramic image
US7872665B2 (en) 2005-05-13 2011-01-18 Micoy Corporation Image capture and processing
KR100869952B1 (ko) * 2007-02-14 2008-11-24 삼성전자주식회사 파노라마 사진 촬영 방법 및 장치
US7986840B2 (en) 2007-04-13 2011-07-26 Apple Inc. Tracking workflow in manipulating media items
JP5116513B2 (ja) * 2008-03-10 2013-01-09 キヤノン株式会社 画像表示装置及びその制御方法
JP4623199B2 (ja) * 2008-10-27 2011-02-02 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
TWI395051B (zh) * 2008-12-31 2013-05-01 Altek Corp Panorama Image Automatic Shooting Method for Digital Camera
US8947502B2 (en) * 2011-04-06 2015-02-03 Qualcomm Technologies, Inc. In camera implementation of selecting and stitching frames for panoramic imagery
JP2011139282A (ja) * 2009-12-28 2011-07-14 Sony Corp 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2012105145A (ja) * 2010-11-11 2012-05-31 Canon Inc 画像処理装置、画像処理方法、及び、プログラム
US8957944B2 (en) 2011-05-17 2015-02-17 Apple Inc. Positional sensor-assisted motion filtering for panoramic photography
US9088714B2 (en) 2011-05-17 2015-07-21 Apple Inc. Intelligent image blending for panoramic photography
US9762794B2 (en) 2011-05-17 2017-09-12 Apple Inc. Positional sensor-assisted perspective correction for panoramic photography
US9247133B2 (en) 2011-06-01 2016-01-26 Apple Inc. Image registration using sliding registration windows
JP5965596B2 (ja) * 2011-07-27 2016-08-10 オリンパス株式会社 画像処理システム、情報処理装置及びプログラム
JP5996169B2 (ja) * 2011-07-27 2016-09-21 オリンパス株式会社 画像処理システム、情報処理装置及びプログラム
US9098922B2 (en) 2012-06-06 2015-08-04 Apple Inc. Adaptive image blending operations
US8902335B2 (en) * 2012-06-06 2014-12-02 Apple Inc. Image blending operations
US10306140B2 (en) 2012-06-06 2019-05-28 Apple Inc. Motion adaptive image slice selection
WO2014184956A1 (ja) 2013-05-17 2014-11-20 三菱電機株式会社 映像合成装置および方法
US9832378B2 (en) 2013-06-06 2017-11-28 Apple Inc. Exposure mapping and dynamic thresholding for blending of multiple images using floating exposure
TWI636425B (zh) * 2017-06-21 2018-09-21 晶睿通訊股份有限公司 介面運作方法及其手持裝置
EP3648050B1 (en) * 2017-06-28 2022-11-02 FUJIFILM Corporation Image compositing method, image compositing device, and recording medium
JP6790038B2 (ja) * 2018-10-03 2020-11-25 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2101838B (en) * 1981-04-20 1986-03-05 Canon Kk Image processing method and apparatus therefor
JPH07112255B2 (ja) * 1987-05-18 1995-11-29 富士写真フイルム株式会社 静止画記録装置
US5392388A (en) * 1992-12-04 1995-02-21 International Business Machines Corporation Method and system for viewing graphic images in a data processing system
KR940017747A (ko) * 1992-12-29 1994-07-27 에프. 제이. 스미트 영상 처리 디바이스
DE69411849T2 (de) * 1993-10-20 1999-03-04 Philips Electronics N.V., Eindhoven Verfahren zur Verarbeitung von Luminanzpegel in einem zusammengesetzten Bild und Bildverarbeitungssystem zur Anwendung dieses Verfahrens
JPH07152895A (ja) * 1993-11-29 1995-06-16 Canon Inc 画像処理方法及び装置
JP3556265B2 (ja) * 1994-03-04 2004-08-18 オリンパス株式会社 画像取扱装置及びカメラ
US5774754A (en) * 1994-04-26 1998-06-30 Minolta Co., Ltd. Camera capable of previewing a photographed image
JPH08115439A (ja) * 1994-10-13 1996-05-07 Canon Inc 画像データ処理装置及び画像再生装置
JP3347508B2 (ja) * 1995-02-24 2002-11-20 キヤノン株式会社 撮像画像処理装置および撮像画像処理方法

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11259637A (ja) * 1998-03-06 1999-09-24 Canon Inc 画像合成装置、画像合成方法および記憶媒体
EP0942598A2 (en) * 1998-03-11 1999-09-15 Canon Kabushiki Kaisha Method and apparatus for panoramic imaging, control method therefor, and storage medium
EP0942598A3 (en) * 1998-03-11 2002-09-25 Canon Kabushiki Kaisha Method and apparatus for panoramic imaging, control method therefor, and storage medium
US7136096B1 (en) 1998-03-11 2006-11-14 Canon Kabushiki Kaisha Image processing method and apparatus, control method therefor, and storage medium
JP2009273024A (ja) * 2008-05-09 2009-11-19 Olympus Imaging Corp 撮像装置および撮像装置における撮像方法
JP2010130408A (ja) * 2008-11-28 2010-06-10 Keyence Corp 撮像装置
CN101750726A (zh) * 2008-12-12 2010-06-23 株式会社其恩斯 成像装置
JP2010141697A (ja) * 2008-12-12 2010-06-24 Keyence Corp 撮像装置
JP2010141699A (ja) * 2008-12-12 2010-06-24 Keyence Corp 撮像装置
JP2010141700A (ja) * 2008-12-12 2010-06-24 Keyence Corp 撮像装置
JP2010141698A (ja) * 2008-12-12 2010-06-24 Keyence Corp 撮像装置
JP2010139890A (ja) * 2008-12-12 2010-06-24 Keyence Corp 撮像装置
US8451335B2 (en) 2008-12-12 2013-05-28 Keyence Corporation Imaging device
US8508587B2 (en) 2008-12-12 2013-08-13 Keyence Corporation Imaging device
JP2011259504A (ja) * 2011-09-16 2011-12-22 Keyence Corp 撮像装置
JP2012034392A (ja) * 2011-09-16 2012-02-16 Keyence Corp 撮像装置
JP2012044680A (ja) * 2011-09-16 2012-03-01 Keyence Corp 撮像装置
JP2011259503A (ja) * 2011-09-16 2011-12-22 Keyence Corp 撮像装置
JP2011259502A (ja) * 2011-09-16 2011-12-22 Keyence Corp 撮像装置
JP2013021707A (ja) * 2012-09-05 2013-01-31 Keyence Corp 撮像装置
JP2013021706A (ja) * 2012-09-05 2013-01-31 Keyence Corp 撮像装置
JP2013034208A (ja) * 2012-09-05 2013-02-14 Keyence Corp 撮像装置
JP2016134183A (ja) * 2015-01-19 2016-07-25 株式会社リコー 線形パノラマ画像連結のための画像取得ユーザインタフェース
JP2017188906A (ja) * 2015-01-19 2017-10-12 株式会社リコー 線形パノラマ画像連結のための画像取得ユーザインタフェース
JP2017097229A (ja) * 2015-11-26 2017-06-01 オリンパス株式会社 顕微鏡システムとその制御方法
JP2017102405A (ja) * 2015-12-04 2017-06-08 オリンパス株式会社 顕微鏡、画像貼り合わせ方法、プログラム
JP2021019228A (ja) * 2019-07-17 2021-02-15 キヤノン株式会社 撮像装置、コンピュータプログラムおよび記録媒体

Also Published As

Publication number Publication date
US6243103B1 (en) 2001-06-05
JP3832895B2 (ja) 2006-10-11

Similar Documents

Publication Publication Date Title
JP3832895B2 (ja) 画像合成装置及び画像合成システム
US7529430B2 (en) System and method for displaying an image indicating a positional relation between partially overlapping images
US6389179B1 (en) Image combining apparatus using a combining algorithm selected based on an image sensing condition corresponding to each stored image
JP3695119B2 (ja) 画像合成装置、及び画像合成方法を実現するプログラムを記録した記録媒体
US8077213B2 (en) Methods for capturing a sequence of images and related devices
JP5106142B2 (ja) 電子カメラ
EP0884897A1 (en) Digital panorama camera
US20030071904A1 (en) Image capturing apparatus, image reproducing apparatus and program product
CN102739961B (zh) 能够生成广角图像的图像处理装置
CN104365083A (zh) 图像处理装置、图像处理方法以及程序
CN102972035A (zh) 立体全景图像合成装置、多眼成像装置和立体全景图像合成方法
JPH09322040A (ja) 画像生成装置
JP2003179798A (ja) デジタルカメラ
JP3730450B2 (ja) 画像入力装置および画像入力方法
US20220224831A1 (en) Removal of image capture device from omnidirectional image created by stitching partial images
JP2001203919A (ja) デジタルカメラ
CN110365910B (zh) 一种自拍方法、装置及电子设备
JP4169464B2 (ja) 画像処理方法と画像処理装置及びコンピュータ読み取り可能な記録媒体
JP2001119625A (ja) 画像処理方法及びその装置
JP4148817B2 (ja) パノラマ画像撮影装置及びパノラマ画像撮影方法
JP3302236B2 (ja) パノラマ画像合成装置とパノラマ画像の作成方法
JPH11102007A (ja) 画像重複表示方法およびカメラ装置
JPH11298837A (ja) 画像入力装置及び画像入力方法
JPH11275393A (ja) 画像入力装置、画像入力方法、及び記録媒体
JP2020160773A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060718

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090728

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100728

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100728

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110728

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120728

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120728

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130728

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees