JP4354709B2 - ステッチ操作のための画像のアライメント - Google Patents

ステッチ操作のための画像のアライメント Download PDF

Info

Publication number
JP4354709B2
JP4354709B2 JP2003018671A JP2003018671A JP4354709B2 JP 4354709 B2 JP4354709 B2 JP 4354709B2 JP 2003018671 A JP2003018671 A JP 2003018671A JP 2003018671 A JP2003018671 A JP 2003018671A JP 4354709 B2 JP4354709 B2 JP 4354709B2
Authority
JP
Japan
Prior art keywords
fiducial mark
image
generator
capture device
fiducial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003018671A
Other languages
English (en)
Other versions
JP2003264733A (ja
Inventor
ガブリエル・ビゲッド−ダブ
マイケル・ジェイ・ジョンズ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HP Inc
Original Assignee
Hewlett Packard Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Co filed Critical Hewlett Packard Co
Publication of JP2003264733A publication Critical patent/JP2003264733A/ja
Application granted granted Critical
Publication of JP4354709B2 publication Critical patent/JP4354709B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/16Image acquisition using multiple overlapping images; Image stitching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/245Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、強化した画像キャプチャー方法および装置に関し、より詳細には、関連画像にフィデューシャルマーク(位置合わせの基準マークの総称)を配置して複数の関連画像のパノラマ画像へのステッチ操作を改良および自動化するために、画像キャプチャー装置においてフィデューシャルマークを使用することに関する。
【0002】
【従来の技術】
写真撮像法は、後に鑑賞および使用するための既知で広く使用されている画像キャプチャー技法である。デジタル写真撮像法(デジタル画像キャプチャー)は、比較的高解像度の電荷結合素子(CCD)アレイおよびそれに類似した機構などの、低価格の光電子変換デバイス、より強力かつエネルギー効率のよいマイクロプロセッサ、および小型で低価格のメモリデバイスにより可能になり、最近開発されたものである。一般に知られているように、デジタルカメラを使用する人への利点は、写真を取り込み、格納し、即座に見ることができること、その場で、または後でコンピュータシステムを使用して、格納した写真の欠陥を修正できること、同じような写真を消去して撮り直すことができること、および他者への写真のデジタル送信が簡単にできることである。この即時性および修正能力は、他者がアプリケーションプログラム(たとえば、RealViz S.A.により提供されるStitcher(登録商標)3.0)を生産し、提供するために刺激となった。これらのプログラムは、重複画像を結合してパノラマシーンにし、同時にそのパノラマシーン全体のレンズの歪み、色、および明度を修正する。ただし、これは重複が約30%以上である場合に限る。当然、パノラマシーンはデジタル映像技術を用いても作成できるが、これらのシーンは即座に提示できるものではなく、見るには時間がかかる。
【0003】
画像ステッチ操作アプリケーションプログラムは、位置合わせの目標となるような、重複シーンに現れている同一のオブジェクトの位置を見つけることができるかどうかに依存している。容易に見つけることができるオブジェクトが重複する範囲に含まれていないシーンは、ステッチ操作アルゴリズムにとって問題である。それゆえ、望ましくない痕跡を最終画像に残すことなくシーン間の関係を単純化する技術は、ステッチ操作された画像の速度および品質を大いに向上させるであろう。
【0004】
【発明が解決しようとする課題】
本発明の目的は、1つまたは複数の投射可能なフューデシャルマークを用いて、画像をステッチ操作してパノラマ画像を作成する装置および方法を提供する。
【0005】
【課題を解決するための手段】
複数のデジタル画像をステッチする操作を可能にする装置および方法は、フィデューシャルマークを生成し、対象シーンにそのフィデューシャルマークを投射することを含む。対象シーンの第1の部分は、第1の画像として取り込まれ、投射されたフィデューシャルマークを含む。対象シーンの第2の部分は、第2の画像として取り込まれ、投射されたフィデューシャルマークを含み、第1の部分のうちの少なくともフィデューシャルマークを含む部分と重複している。
【0006】
【発明の実施の形態】
位置決め可能な基準に結合された、デジタルカメラなどの進歩した画像キャプチャー装置は、フィデューシャルマーク生成器によってシーンに配置されたフィデューシャルマークを用いて、複数の関連画像のパノラマ画像へのステッチ操作を改良するとともに自動化する。このような構成は図1に示される。シーン101は、少なくとも2つの部分に分けてデジタルカメラ103から見え、2つの部分、すなわち部分Aおよび部分Bは、カメラの光学系およびユーザによるカメラの2つの視方向によりフレーム撮りされる。ユーザは最終的に、シーン部分Aおよびシーン部分Bのパノラマ写真の作成を望む。シーン重複を最小限にする必要があること、および重複シーンにおいて明瞭に認識可能なオブジェクトの必要であるというような、これまでのステッチ操作アプリケーションプログラムが直面していた困難を回避するために、基準マーク、すなわちフィデューシャルマークが、撮影中のシーンの重複領域に配置される。
【0007】
本発明の好ましい実施形態において、ユーザには、カメラ外部の三脚などの安定した支持体に取り付けられた外部フィデューシャルマーク生成デバイス105が提供される。フィデューシャルマーク生成デバイスは、カメラ本体に配置された制御ポート109に結合された制御ケーブル107を介して電源および制御情報を受け取る。フィデューシャルマーク生成デバイスは、所定の形状および色の1つまたは複数のマークを、ユーザにより選択されたシーンの1つまたは複数のオブジェクトに投射する。図1に示すように、フィデューシャルマークのうちの1つは「X」であり、別の1つは「O」である。進歩したシステムでは、「1」、「2」などの意味をなす文字または文字の集合になるように、フィデューシャルマークはユーザにより選択され、取り込まれたシーンについての格納されたデジタル表現におけるその存在に意味を与えるものとすることができる。いずれにせよ、「X」フィデューシャルマークはユーザによってシーン部分Bに重複するシーン部分Aの位置に配置され、したがって後で複数のシーンをステッチ操作するために用いることができる共通の基準マークを提供する。「O」フィデューシャルマークはシーンBの重複しない部分に配置されるが、第3の部分となる部分C(図示せず)がパノラマ合成画像に含まれることになる場合には、これを使用することが予想され得る。1つまたは複数の調整デバイス111は、フィデューシャルマーク生成デバイス上に配置され、フィデューシャルマーク生成デバイス自体を移動させることなく、別のシーンにフィデューシャルマークを移動させることを可能にする。
【0008】
フィデューシャルマーク生成器105に結合されたデジタルカメラ103、および別個のユーザーコンピュータシステム201のブロック図が図2に示される。選択されたシーンは、光学部203のレンズおよびシャッタによって、従来のデジタルカメラの方法で、電磁デジタル変換器(光デジタル変換器、electromagnetic to digital converter)205上でタイミング調節され焦点が合わされる。電磁デジタル交換器205は、好ましい実施形態では1600×1200ピクセルであり、公称100平方mmのエリアCCD基板である。電子「シャッタ」速度、ホワイトバランス、焦点、ピクセル走査速度、及び他の画像キャプチャーパラメータ、並びにユーザインタフェースおよびメモリ制御は、画像プロセッサまたはコントロール207によって実行される。さらに、画像プロセッサまたはコントロールは、制御ポート109およびケーブル107を介してフィデューシャルマーク生成器105とインタフェースし、かつフィデューシャルマーク生成器105を制御する。ユーザインタフェースは、シーン選択用に5cm(2インチ)のTFTカラーLCDビュワー209、ならびにシャッタ起動用および画像プロセッサまたはコントロールとのインタフェース用にユーザ制御要素211を含む。従来のUSB出力ポート213は、ユーザコンピュータシステムとインタフェースして、特に格納された画像をメモリ215からダウンロードすることを可能にするために備わる。IEEE 1394、Fast IrDAなどの付加的な出力および複合映像もまた、出力ポート213に拡張として備わる。好ましい実施形態において、メモリ215は32MbitのCompactFlash(登録商標)リムーバブル記憶素子である。
【0009】
好ましい実施形態のフィデューシャルマーク生成器105の概略断面図が図3に示される。従来の三脚または同等のスタンドに取り付けるための1/4−20UNC型ねじ山マウント(図示せず)を有するハウジング301内部には、2つのクラスIIIaの固体レーザ、303および305が収容され、これらは好ましい照明源(電磁放射源)としては、640〜650nmの波長で1〜5mWの出力電力を有する。(これらのレーザはアライメントを容易にするために低電力の可視赤色光を供給するものであり、眼に直接向けなければ比較的安全であるが、代替実施形態ではクラスII(1mW未満の出力電力)のレーザを使用することができる。)レーザは旋回部307および309にそれぞれ取り付けられ、調整デバイス111に機械的に結合されるため、ステッチ操作される複数のシーン内にある選択したターゲットにレーザを向けることができる。文字マスク311および313は、各レーザの出力に配置され、各レーザで投射されて特徴的なフィデューシャルマークを与えるものとなる。電源またはゲート回路315はケーブル107およびデジタルカメラ103に結合され、レーザの電源をオンオフするのに使用可能な電源および制御信号を受け取る。あるいは、電源はデジタルカメラとは別の供給源から供給される。フィデューシャルマーク生成器の簡略版では、レーザが1つだけハウジング301に配置され、固定された方向に向けられる。
【0010】
動作に際してデジタルカメラ103に電源が入ると、好ましい実施形態においては、図4のフローチャートに従って処理される。カメラCCDに合焦した画像は、401においてデジタル電気信号に変換される。403において、この電気信号表現は、ユーザがシーンにねらいを定めて準備するために、ビューワ209上でユーザに提示される。405において、デジタルカメラの画像プロセッサまたはコントロール207は制御ポート109をポーリングし、フィデューシャルマーク生成器105が電気的に存在しているかどうかを検出する。好ましい実施形態において、フィデューシャルマーク生成器の照明源は、常時「オン」状態に維持されてはおらず、ユーザが選択したシーン内の所望の位置にフィデューシャルマークを向けることができるように、ある期間、たとえば10秒間オンにされる。しかしながら、ユーザはフィデューシャルマーク生成器を常時オンにしておくように選択する場合があり、また、進歩したシステムにおいては、フィデューシャルマーク生成器により生成および投射された固有の文字に特定の意味を割り当てることを望む場合がある。いずれにせよ、407において、ユーザはフィデューシャルマーク生成器に関連する命令を入力し、409において、焦点、シャッタ速度などの画像調整命令を入力する。ユーザの準備ができてシャッタ制御ボタンを起動すると、411において、デジタルカメラはその起動操作を受け付け、「シャッタ」に制御電圧を印加し、フィデューシャルマーク生成器を起動して取り込まれるシーンにフィデューシャルマークを投射し(フィデューシャルマークがまだ起動されていない場合)、413において、画像を表す電気信号を格納する。シャッタは写真撮影用フィルムカメラにおいて通常見られるような従来の機械装置ではなく、簡単に言えば、CCDを電子的に制御電圧を印加して、取り込まれるシーンからの光子を受け取って電子パルスに変換させる電子スイッチである。デジタルカメラの中には、性能の向上のために機械的光遮断シャッタを採用するものもある。ユーザはカメラに、最後に格納された画像に関連した(かつ、それとステッチ操作される)別の画像が撮影されているはずであるという命令を提供する。415において、デジタルカメラは命令を受け取り、それに基づいて、別の関連画像があるか否かを判定する。別の関連画像がある場合、417において、最後に格納された画像とともにこの関係についての指標が格納され、最後の画像に次の画像を連結させる。次にユーザは続けて、フィデューシャルマーク生成器の位置決めを動かすことなく(そうすることによって画像間の投射されたフィデューシャルマークの位置を維持しながら)、次の画像を取り込むためにカメラの位置決めをし直し、次の画像を取り込むことができる。多数のフィデューシャルマーク生成および投射により、いくつかの画像を取り込むことができ、比較的簡単にステッチ操作することができる。その次の画像が最後の画像に関連しない場合には、ユーザは通常の画像取り込みを続けることができる。
【0011】
図5のフローチャートに示すように、ユーザは、複数の関連画像をステッチ操作することを望むと、デジタルカメラに制御電圧を印加し、カメラをコンピュータに結合し、関連画像の第1のセットの読み出しを行なう。本発明の好ましい実施形態において、ユーザのコンピュータにおいてステッチ操作処理が起動され、一連の画像がデジタルカメラからユーザのコンピュータにアップロードされる。当然、十分な処理能力を有するカメラの場合、ステッチ操作は別個のコンピュータの介在なしで行なうことができる。次に図5のフローチャートを参照すると、501において、一連の画像がデジタルカメラからコンピュータへアップロードされるのがわかる。503において、取り込まれた各画像で使用される1つまたは複数のフィデューシャルマークに関連する情報および特徴もまたアップロードされる。505において、ステッチ操作されパノラマ画像にされるべき複数の画像が、画像識別子およびそれぞれがパノラマ画像になる可能性のある、アップロードされ、確定された複数画像の総数によって識別される。フィデューシャルマークに関してかなりの数の情報(たとえば、形状、色、1つのパノラマ画像になる識別された画像のそれぞれにフィデューシャルマークがあるという事実)がすでに知られており、このような情報により画像におけるフィデューシャルマークの探索がはるかに簡単になるのが、本発明の特徴である。507において、ステッチ操作処理は、第1の識別された画像の第1のフィデューシャルマークの探索を続ける。探索は、米国特許第5,611,033号に記載されるものなど、いくつかの手段により達成され得るが、フィデューシャルマークの形状および色に関する詳細は既知であるため、探索処理は基本的に、格納された画像においてピクセルの正確な組み合わせを探すという処理である。いったんこの探索が首尾よく終了すると、発見されたフィデューシャルマークのピクセルの位置(location)が第1の画像との関連付けとともに格納される。509において、フィデューシャルマークが発見されたとすると、処理はパノラマについて次に識別された画像に移行する(フィデューシャルマークが発見されない場合には、エラーメッセージおよびオプションがユーザに提示される)。511において、第1の画像の探索と同様の方法で、第1の画像で発見されたのとほぼ同一のフィデューシャルマークが次の画像から探索される。発見されたフィデューシャルマークのピクセルの位置は、この第2の画像について格納される。513において、第2の画像に別の画像がステッチ操作されることがアップロードされたフィデューシャルマーク情報から確定された場合、第2の画像では次のフィデューシャルマークの形状または色が探索され、発見されたそのフィデューシャルマークのピクセルの位置もまた第2の画像とともに格納される。515において、全フィデューシャルマークの発見に成功すると、次の画像が探索され、517において、所与のパノラマの全画像が探索されるまで処理が続く。
【0012】
519において、パノラマ画像になるように画像が処理されると、ステッチ操作に必要な計算が続けられる。いくつかの技術が既知であり、好ましい実施形態においてこれらの技術が使用され、518において複数のフィデューシャルマークが画像ごとに一致する場合に画像が相互に関連付けられると、補正された画像の遠近感、初期画像色修正などを有するパノラマ画像が提供され得る。フィデューシャルマークの形状、サイズ、および色を知っていることにより、画像の重ね合わせが非常に簡略化される。これは、フィデューシャルマークが重なり合った基準マークだけでなく、画像サイズの比較(最もよく一致させるために画像を拡大または縮小できるように)、および画像回転情報を提供するからである。たとえば、前述の米国特許第5,611,033号に記載される技術、または米国特許第5,987,164号に記載される技術、または同様の技術を用いて、画像の向きを変え、画像のサイズを変更して、パノラマを作るのに申し分ないステッチ操作をすることができる。画像が処理およびステッチ操作されてパノラマ画像になると、521において、パノラマ画像が格納され、別のパノラマ画像についての第2の画像セットが処理され得る。
【0013】
当然のことながら、ユーザは、フィデューシャルマークをパノラマ画像の一部として残しておきたくはないであろう。したがって、好ましい実施形態において、フィデューシャルマークはステッチ操作のための画像処理519の一部として除去される。図6のフローチャートとして示されるサブルーチンは、ステップ519から呼び出され、601において、フィデューシャルマークの位置が再呼び出しされる。本発明の前述の特徴は、フィデューシャルマークについての情報が既知であることである。本発明のフィデューシャルマーク除去サブルーチンでは、デジタル写真における「赤目」の除去と類似の処理が実施される。このような処理は、たとえば、米国特許第6,016,354号、および同第6,009,209号に記載されている。置き換え用のピクセルを識別するという困難なタスクは、好ましい実施形態においてすでに達成されている。フィデューシャルマークのピクセルに隣接するピクセルの輝度および色は識別され、603において、フィデューシャルマークが背景の中に消えるように、フィデューシャルマークのピクセルを置き換えるために使用される。
【0014】
以下、本発明の実施の態様を示す。
[実施態様1]あるシーン中においてユーザが決定した位置へとフィデューシャルマークを投射するフィデューシャルマーク生成器と、
電磁デジタル画像信号変換器と、
メモリと、
少なくとも1つのユーザ制御要素と、
該フィデューシャルマーク生成器の存在を検出するよう前記フィデューシャルマーク生成器に結合されているプロセッサであって、前記電磁デジタル画像信号変換器と前記メモリとに結合されており、前記少なくとも1つのユーザ制御要素が起動されると、フィデューシャルマークを含む第1の画像表現を該メモリの第1の格納場所にデジタル信号へと変換して格納するものであるプロセッサと
を備えてなる、パノラマシーンを作成するようになされたデジタル画像キャプチャー装置。
【0015】
[実施態様2] 前記フィデューシャルマークを含む第2の画像表現を格納するための前記メモリ内の第2の格納場所と、
前記第1の画像表現および前記第2の画像表現の間の関係についての指標の格納部と
をさらに備える、実施態様1に記載のデジタル画像キャプチャー装置。
【0016】
[実施態様3] 出力ポートをさらに備え、それによって前記第1の画像表現および前記第2の画像表現が前記デジタル画像キャプチャー装置から送信される、実施態様2に記載のデジタル画像キャプチャー装置。
【0017】
[実施態様4] 前記プロセッサは、前記少なくとも1つのユーザ制御要素が起動されると前記フィデューシャルマーク生成器に制御電圧を印加するフィデューシャルマーク生成器起動部をさらに備えるものである、実施態様1に記載のデジタル画像キャプチャー装置。
【0018】
[実施態様5] 画像キャプチャーデバイスのためのフィデューシャルマーク生成装置であって、
投射可能な電磁信号を生成する照明源と、
該照明源に結合されて前記投射可能な電磁信号においてフィデューシャルマーク文字を作成するマスクと、
前記画像キャプチャーデバイスに結合されるようになされた前記照明源に電気的に結合されている電源制御回路と
を備えるフィデューシャルマーク生成装置。
【0019】
[実施態様6] 前記照明源および前記マスクが回転するようになされた旋回部をさらに備える実施態様5に記載のフィデューシャルマーク生成装置。
【0020】
[実施態様7] 前記電源制御回路は、前記制御ポートに結合された存在信号生成器をさらに備えるものである、実施態様5に記載のフィデューシャルマーク生成装置。
【0021】
[実施態様8] 前記電源制御回路は、前記制御ポートおよび前記照明源に結合されるゲート電源スイッチをさらに備えるものである、実施態様5に記載のフィデューシャルマーク生成装置。
【0022】
[実施態様9] 前記照明源は、ほぼ単色の電磁信号を生成するようになされた照明源をさらに備えるものである、実施態様5に記載のフィデューシャルマーク生成装置。
【0023】
[実施態様10] 前記マスクは、数字または英字の形状を有する開口部をさらに備えるものである、実施態様5に記載のフィデューシャルマーク生成装置。
【0024】
[実施態様11] フィデューシャルマーク生成器を用いてフィデューシャルマークを生成するステップと、
前記フィデューシャルマーク生成器を位置決めして、あるシーン中におけるユーザが決定した位置へと前記フィデューシャルマークを投射する投射するステップと、
第1の画像として、前記投射されたフィデューシャルマークを含む前記対象シーンの第1の部分をキャプチャーするステップと、
第2の画像として、前記投射されたフィデューシャルマークを含み、前記第1の部分のうち少なくとも前記フィデューシャルマークを含む部分に重複する、前記対象シーンの第2の部分をキャプチャーするステップと
を含んでなる、複数のデジタル画像のステッチ操作を可能にする方法。
【0025】
[実施態様12] 前記第1の画像の前記フィデューシャルマークと前記第2の画像の前記フィデューシャルマークとを一致させることによって、前記第1の画像および前記第2の画像を結合してステッチ操作された画像にするステップをさらに含む、実施態様11に記載の方法。
【0026】
[実施態様13] 前記第2の部分を取り込む前記ステップは、前記フィデューシャルマーク生成器を再位置決めせずに前記第2の部分を確定するために、画像キャプチャーデバイスを再位置決めするステップをさらに含むものである、実施態様11に記載の方法。
【0027】
[実施態様14] 前記生成するステップは、電磁放射源にある期間制御電圧を印加するステップを更に含むものである、実施態様11に記載の方法。
【0028】
[実施態様15] 前記第1の部分を取り込む前記ステップは、前記投射されたフィデューシャルマークが前記第1の部分に含まれるのに十分な時間だけ前記フィデューシャルマーク生成器に制御電圧を印加するステップをさらに含むものである、実施態様14に記載の方法。
【0029】
[実施態様16] 前記第2の部分を取り込む前記ステップは、前記投射されたフィデューシャルマークが前記第2の部分に含まれるのに十分な時間だけ前記フィデューシャルマーク生成器に制御電圧を印加するステップをさらに含むものである、実施態様15に記載の方法。
【0030】
[実施態様17] 前記取り込まれたフィデューシャルマークを前記ステッチ操作された画像から除去するステップをさらに含む実施態様11に記載の方法。
【0031】
[実施態様18] 前記フィデューシャルマークを生成する前記ステップは、ほぼ単色のフィデューシャルマークを生成するステップをさらに含むものである、実施態様11に記載の方法。
【0032】
[実施態様19] 前記フィデューシャルマークを生成する前記ステップは、数字または英字の形状を有するフィデューシャルマークを生成するステップをさらに含むものである、実施態様11に記載の方法。
【発明の効果】
このように、いくつかのシーンを取り込んで、複数のシーンをステッチ操作してパノラマにする装置および方法が図示および説明された。この装置および方法は、望ましくない痕跡を最終画像に残すことなく、シーン間の関係の確立を単純化する。
【図面の簡単な説明】
【図1】本発明に適応する環境の表現である。
【図2】本発明を採用し得るデジタルカメラ、フィデューシャルマーク生成器、およびコンピュータのブロック図である。
【図3A】本発明を採用し得るフィデューシャルマーク生成器の図である。
【図3B】図3Aのフィデューシャルマーク生成器の電力またはゲート機能の図である。
【図4】本発明において採用され得る画像キャプチャー処理のフローチャートである。
【図5】本発明において採用され得る画像ステッチ操作処理のフローチャートである。
【図6】本発明において図5の処理の一部として採用され得る、フィデューシャルマーク除去処理のフローチャートである。

Claims (18)

  1. 対象となる3次元のシーンにおけるユーザが決定した位置へと独立してフィデューシャルマークを投射するフィデューシャルマーク生成器と、
    デジタル画像信号変換器と、
    メモリと、
    少なくとも1つのユーザ制御要素と、
    該フィデューシャルマーク生成器の存在を検出するよう前記フィデューシャルマーク生成器に結合されているプロセッサであって、前記デジタル画像信号変換器と前記メモリとに結合されており、前記少なくとも1つのユーザ制御要素が起動されると、フィデューシャルマークを含む第1の画像表現を該メモリの第1の格納場所にデジタル信号へと変換して格納するものであるプロセッサと
    を備えてなる、パノラマシーンを作成するようになされたデジタル画像キャプチャー装置。
  2. 前記フィデューシャルマークを含む第2の画像表現を格納するための前記メモリ内の第2の格納場所と、
    前記第1の画像表現および前記第2の画像表現の間の関係についての指標の格納部と
    をさらに備える、請求項1に記載のデジタル画像キャプチャー装置。
  3. 出力ポートをさらに備え、それによって前記第1の画像表現および前記第2の画像表現が前記デジタル画像キャプチャー装置から送信される、請求項2に記載のデジタル画像キャプチャー装置。
  4. 前記プロセッサは、前記少なくとも1つのユーザ制御要素が起動されると前記フィデューシャルマーク生成器に制御電圧を印加するフィデューシャルマーク生成器起動部をさらに備えるものである、請求項1に記載のデジタル画像キャプチャー装置。
  5. 画像キャプチャーデバイスのためのフィデューシャルマーク生成装置であって、
    投射可能な信号を生成する照明源と、
    該照明源に結合されて前記投射可能な信号においてフィデューシャルマーク文字を作成するマスクと、
    前記照明源および前記マスクが回転する旋回部と、
    前記画像キャプチャーデバイスに結合された電源制御回路であって、前記照明源に電気的に結合されている電源制御回路と
    を備えるフィデューシャルマーク生成装置。
  6. 前記電源制御回路は、制御ポートに結合された存在信号生成器をさらに備えるものである、請求項5に記載のフィデューシャルマーク生成装置。
  7. 前記電源制御回路は、制御ポートおよび前記照明源に結合されるゲート電源スイッチをさらに備えるものである、請求項5に記載のフィデューシャルマーク生成装置。
  8. 前記照明源は、ほぼ単色の信号を生成するようになされた照明源をさらに備えるものである、請求項5に記載のフィデューシャルマーク生成装置。
  9. 前記マスクは、数字または英字の形状を有する開口部をさらに備えるものである、請求項5に記載のフィデューシャルマーク生成装置。
  10. 画像キャプチャー装置を用いて複数のデジタル画像のステッチ操作を可能にする方法であって、
    フィデューシャルマーク生成器を用いてフィデューシャルマークを生成するステップと、
    前記フィデューシャルマーク生成器を前記画像キャプチャー装置から独立して位置決めして、対象となる3次元のシーンにおけるユーザが決定した位置へと前記フィデューシャルマークを投射するステップと、
    第1の画像として、前記投射されたフィデューシャルマークを含む前記対象シーンの第1の部分をキャプチャーするステップと、
    第2の画像として、前記投射されたフィデューシャルマークを含み、前記第1の部分のうち少なくとも前記フィデューシャルマークを含む部分に重複する、前記対象シーンの第2の部分をキャプチャーするステップと
    を含んでなる、画像キャプチャー装置を用いて複数のデジタル画像のステッチ操作を可能にする方法。
  11. 前記第1の画像の前記フィデューシャルマークと前記第2の画像の前記フィデューシャルマークとを一致させることによって、前記第1の画像および前記第2の画像を結合してステッチ操作された画像にするステップをさらに含む、請求項10に記載の方法。
  12. 前記第2の部分を取り込む前記ステップは、前記フィデューシャルマーク生成器を再位置決めせずに前記第2の部分を確定するために、画像キャプチャーデバイスを再位置決めするステップをさらに含むものである、請求項10に記載の方法。
  13. 前記生成するステップは、電磁放射源にある期間制御電圧を印加するステップを更に含むものである、請求項10に記載の方法。
  14. 前記第1の部分を取り込む前記ステップは、前記投射されたフィデューシャルマークが前記第1の部分に含まれるのに十分な時間だけ前記フィデューシャルマーク生成器に制御電圧を印加するステップをさらに含むものである、請求項13に記載の方法。
  15. 前記第2の部分を取り込む前記ステップは、前記投射されたフィデューシャルマークが前記第2の部分に含まれるのに十分な時間だけ前記フィデューシャルマーク生成器に制御電圧を印加するステップをさらに含むものである、請求項14に記載の方法。
  16. 前記ステッチ操作された画像において発見されたフィデューシャルマークの位置が再呼び出しされるステップと、
    前記ステッチ操作された画像から得られた色で前記発見されたフィデューシャルマークを置き換えるステップと
    を含み、これによって、前記取り込まれたフィデューシャルマークを前記ステッチ操作された画像から除去する、請求項11に記載の方法。
  17. 前記フィデューシャルマークを生成する前記ステップは、ほぼ単色のフィデューシャルマークを生成するステップをさらに含むものである、請求項10に記載の方法。
  18. 前記フィデューシャルマークを生成する前記ステップは、数字または英字の形状を有するフィデューシャルマークを生成するステップをさらに含むものである、請求項10に記載の方法。
JP2003018671A 2002-01-28 2003-01-28 ステッチ操作のための画像のアライメント Expired - Fee Related JP4354709B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/059,796 US6978052B2 (en) 2002-01-28 2002-01-28 Alignment of images for stitching
US10/059796 2002-01-28

Publications (2)

Publication Number Publication Date
JP2003264733A JP2003264733A (ja) 2003-09-19
JP4354709B2 true JP4354709B2 (ja) 2009-10-28

Family

ID=27609897

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003018671A Expired - Fee Related JP4354709B2 (ja) 2002-01-28 2003-01-28 ステッチ操作のための画像のアライメント

Country Status (2)

Country Link
US (1) US6978052B2 (ja)
JP (1) JP4354709B2 (ja)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002236100A (ja) * 2001-02-09 2002-08-23 Hitachi Ltd 非破壊検査方法およびその装置
DE10259667B4 (de) * 2002-12-18 2004-09-16 Lfk-Lenkflugkörpersysteme Gmbh Verfahren zur Vergrößerung des Bildfeldes einer Focal-Plane-Array-Kamera
EP1439689A1 (de) * 2003-01-15 2004-07-21 Siemens Aktiengesellschaft Mobiltelefon mit einer Scan-Hilfe
US7119816B2 (en) * 2003-03-31 2006-10-10 Microsoft Corp. System and method for whiteboard scanning to obtain a high resolution image
JP4434624B2 (ja) * 2003-05-12 2010-03-17 キヤノン株式会社 撮像装置、撮像方法、コンピュータプログラム、及びコンピュータ読み取り可能な記憶媒体
WO2006004043A1 (ja) * 2004-07-07 2006-01-12 Nec Corporation 広視野画像入力方法及び装置
US7375745B2 (en) * 2004-09-03 2008-05-20 Seiko Epson Corporation Method for digital image stitching and apparatus for performing the same
WO2006033922A2 (en) * 2004-09-20 2006-03-30 Zircon Corporation Laser line projector with spherically rotatable support and level/plumb indicators for the support
US20060069591A1 (en) * 2004-09-29 2006-03-30 Razzano Michael R Dental image charting system and method
US7609290B2 (en) * 2005-01-28 2009-10-27 Technology Advancement Group, Inc. Surveillance system and method
US20070030396A1 (en) * 2005-08-05 2007-02-08 Hui Zhou Method and apparatus for generating a panorama from a sequence of video frames
JP5122737B2 (ja) * 2005-10-03 2013-01-16 株式会社名南製作所 木材の検査方法及び装置及びプログラム
US8125520B2 (en) * 2006-11-21 2012-02-28 Honeywell International Inc. System for establishing references for multi-image stitching
US7777943B2 (en) * 2007-03-01 2010-08-17 American Museum Of Natural History Astrometry and photometry with coronagraphs
US8200039B2 (en) * 2007-04-05 2012-06-12 Adobe Systems Incorporated Laying out multiple images
US7936915B2 (en) * 2007-05-29 2011-05-03 Microsoft Corporation Focal length estimation for panoramic stitching
US20100194851A1 (en) * 2009-02-03 2010-08-05 Aricent Inc. Panorama image stitching
JP5739351B2 (ja) 2009-03-11 2015-06-24 サクラ ファインテック ユー.エス.エー., インコーポレイテッド 自動合焦方法および自動合焦装置
US10139613B2 (en) 2010-08-20 2018-11-27 Sakura Finetek U.S.A., Inc. Digital microscope and method of sensing an image of a tissue sample
JP5651132B2 (ja) * 2011-01-11 2015-01-07 株式会社アドバンス 口腔内撮影表示システム
US8957944B2 (en) 2011-05-17 2015-02-17 Apple Inc. Positional sensor-assisted motion filtering for panoramic photography
US8600194B2 (en) 2011-05-17 2013-12-03 Apple Inc. Positional sensor-assisted image registration for panoramic photography
US9088714B2 (en) 2011-05-17 2015-07-21 Apple Inc. Intelligent image blending for panoramic photography
US9762794B2 (en) 2011-05-17 2017-09-12 Apple Inc. Positional sensor-assisted perspective correction for panoramic photography
US9247133B2 (en) 2011-06-01 2016-01-26 Apple Inc. Image registration using sliding registration windows
US9338447B1 (en) * 2012-03-14 2016-05-10 Amazon Technologies, Inc. Calibrating devices by selecting images having a target having fiducial features
US10306140B2 (en) 2012-06-06 2019-05-28 Apple Inc. Motion adaptive image slice selection
US9098922B2 (en) 2012-06-06 2015-08-04 Apple Inc. Adaptive image blending operations
US8902335B2 (en) 2012-06-06 2014-12-02 Apple Inc. Image blending operations
DE102012023623B4 (de) * 2012-11-28 2014-07-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum Zusammensetzen von Teilaufnahmen einer Oberfläche eines Objektes zu einer Gesamtaufnahme des Objektes und System zum Erstellen einer Gesamtaufnahme eines Objektes
DE102013203800B4 (de) 2013-03-06 2023-02-23 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren zum Prüfen von Werkstücken und Computerprogramm zur Durchführung eines derartigen Verfahrens
KR20140112909A (ko) * 2013-03-14 2014-09-24 삼성전자주식회사 파노라마 영상을 생성하는 전자 장치 및 방법
US9107578B2 (en) * 2013-03-31 2015-08-18 Gyrus Acmi, Inc. Panoramic organ imaging
DE102013103971A1 (de) 2013-04-19 2014-11-06 Sensovation Ag Verfahren zum Erzeugen eines aus mehreren Teilbildern zusammengesetzten Gesamtbilds eines Objekts
US9832378B2 (en) 2013-06-06 2017-11-28 Apple Inc. Exposure mapping and dynamic thresholding for blending of multiple images using floating exposure
US10007102B2 (en) 2013-12-23 2018-06-26 Sakura Finetek U.S.A., Inc. Microscope with slide clamping assembly
CN106157241A (zh) * 2015-04-22 2016-11-23 无锡天脉聚源传媒科技有限公司 一种全景图像拼接的方法及装置
US10582125B1 (en) * 2015-06-01 2020-03-03 Amazon Technologies, Inc. Panoramic image generation from video
CN106296580A (zh) * 2015-06-03 2017-01-04 无锡天脉聚源传媒科技有限公司 一种图像拼接的方法及装置
US11280803B2 (en) 2016-11-22 2022-03-22 Sakura Finetek U.S.A., Inc. Slide management system
EP3340611B1 (en) 2016-12-20 2020-07-29 Nokia Technologies Oy An apparatus and associated methods for virtual reality scene capture
US11176675B2 (en) 2017-02-01 2021-11-16 Conflu3Nce Ltd System and method for creating an image and/or automatically interpreting images
US11158060B2 (en) 2017-02-01 2021-10-26 Conflu3Nce Ltd System and method for creating an image and/or automatically interpreting images
CN111382222B (zh) * 2018-12-29 2023-08-22 北京四维图新科技股份有限公司 高精地图图幅数据接边方法和装置
CA3144811A1 (en) * 2019-07-09 2021-01-14 Pricer Ab Stitch images
CN113132717A (zh) * 2019-12-31 2021-07-16 华为技术有限公司 数据处理方法、终端和服务器
DE102021204033B3 (de) * 2021-04-22 2022-06-15 Carl Zeiss Meditec Ag Verfahren zum Betreiben eines Operationsmikroskops und Operationsmikroskop

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1819217A (en) * 1929-08-27 1931-08-18 Arthur C Watson Apparatus for producing visual effects
US4280135A (en) * 1979-06-01 1981-07-21 Schlossberg Howard R Remote pointing system
JP2917155B2 (ja) * 1989-12-18 1999-07-12 株式会社日立製作所 画像結合装置及び方法
US5185808A (en) * 1991-06-06 1993-02-09 Eastman Kodak Company Method for merging images
JP3011017B2 (ja) * 1994-04-28 2000-02-21 ブラザー工業株式会社 ファクシミリ装置
JP3192875B2 (ja) * 1994-06-30 2001-07-30 キヤノン株式会社 画像合成方法および画像合成装置
US5874722A (en) * 1994-07-19 1999-02-23 Spectra-Physics Scanning Systems, Inc. Compact scanner module mountable to pointing instrument
US5663806A (en) * 1995-10-03 1997-09-02 International Business Machines Corp. Non-destructive target marking for image stitching
US5982951A (en) * 1996-05-28 1999-11-09 Canon Kabushiki Kaisha Apparatus and method for combining a plurality of images
JP2907120B2 (ja) * 1996-05-29 1999-06-21 日本電気株式会社 赤目検出補正装置
US5823192A (en) * 1996-07-31 1998-10-20 University Of Pittsburgh Of The Commonwealth System Of Higher Education Apparatus for automatically positioning a patient for treatment/diagnoses
TW352415B (en) * 1996-12-26 1999-02-11 Fuji Photo Film Co Ltd Still camera
DE69816185T2 (de) 1997-06-12 2004-04-15 Hewlett-Packard Co. (N.D.Ges.D.Staates Delaware), Palo Alto Bildverarbeitungsverfahren und -vorrichtung
US6009209A (en) * 1997-06-27 1999-12-28 Microsoft Corporation Automated removal of red eye effect from a digital image
US6016354A (en) * 1997-10-23 2000-01-18 Hewlett-Packard Company Apparatus and a method for reducing red-eye in a digital image
US6278491B1 (en) 1998-01-29 2001-08-21 Hewlett-Packard Company Apparatus and a method for automatically detecting and reducing red-eye in a digital image

Also Published As

Publication number Publication date
US6978052B2 (en) 2005-12-20
JP2003264733A (ja) 2003-09-19
US20030142882A1 (en) 2003-07-31

Similar Documents

Publication Publication Date Title
JP4354709B2 (ja) ステッチ操作のための画像のアライメント
JP6192940B2 (ja) 撮影機器及び連携撮影方法
JP7023662B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
JPH09181966A (ja) 画像処理方法及び装置
JPH11355624A (ja) 撮影装置
JP2005269562A (ja) 撮影装置
JP2007201539A (ja) デジタルカメラ
JP5228354B2 (ja) ディジタルカメラ
JP2019033344A (ja) 画像処理装置、画像処理方法、及びプログラム
TWI229548B (en) Image pickup apparatus, photographing method, and storage medium recording photographing method
JP2002064738A (ja) 電子カメラ
JP2004078682A (ja) 表示制御装置、情報端末装置、表示制御プログラム
JP2022128489A (ja) 撮像装置
JP5013282B2 (ja) 撮像装置、及びプログラム
JP2004072570A (ja) 表示制御装置、情報端末装置、表示制御プログラム
JP2001045352A (ja) デジタルカメラ装置
JP4717867B2 (ja) 撮影装置及び撮影方法
JP2008015351A (ja) 撮像装置
JP2006313965A (ja) 撮影装置、撮影画像処理方法及びプログラム
JP2004187140A (ja) 資料提示装置
JP7051586B2 (ja) 撮像装置、撮像方法およびプログラム
JP2005026786A (ja) 画像撮影装置
JPS61177872A (ja) セルフモニタ付写真撮影装置
JP2004208281A (ja) 画像修正装置および撮像装置
JP2018011310A (ja) 撮影機器、連携撮影方法及び連携撮影プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051014

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20060113

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20060118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060406

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060907

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060922

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20061201

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090730

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120807

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130807

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130807

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130807

Year of fee payment: 4

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130807

Year of fee payment: 4

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130807

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees