JP4293053B2 - 撮像装置及び方法 - Google Patents

撮像装置及び方法 Download PDF

Info

Publication number
JP4293053B2
JP4293053B2 JP2004149679A JP2004149679A JP4293053B2 JP 4293053 B2 JP4293053 B2 JP 4293053B2 JP 2004149679 A JP2004149679 A JP 2004149679A JP 2004149679 A JP2004149679 A JP 2004149679A JP 4293053 B2 JP4293053 B2 JP 4293053B2
Authority
JP
Japan
Prior art keywords
image
imaging
range
reading
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2004149679A
Other languages
English (en)
Other versions
JP2005333396A (ja
Inventor
浩之 塩谷
光晴 大木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004149679A priority Critical patent/JP4293053B2/ja
Priority to US11/132,029 priority patent/US7724286B2/en
Publication of JP2005333396A publication Critical patent/JP2005333396A/ja
Application granted granted Critical
Publication of JP4293053B2 publication Critical patent/JP4293053B2/ja
Priority to US12/758,266 priority patent/US8264559B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/53—Constructional details of electronic viewfinders, e.g. rotatable or detachable
    • H04N23/531—Constructional details of electronic viewfinders, e.g. rotatable or detachable being rotatable or detachable
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Description

本発明は、撮影方向を順次変化させて撮像することにより複数の画像が貼りわされたパノラマ状の全体画像を生成する撮像装置及び方法、プログラム並びに記録媒体に関する。
従来より広く用いられている電子スチルカメラは、被写体を撮像することでレンズを通過した光を、ＣＣＤ等の固体撮像素子により画像信号に変換し、これを記録媒体に記録し、また記録した画像信号を再生することができる。また電子スチルカメラの多くは、撮像した静止画像を表示することができるモニタを備え、これまでに記録した静止画像のうち特定のものを選択して表示することができる。この電子スチルカメラにおいて、1回の撮影での撮影範囲はレンズの画角によって制限された狭い範囲のものとなり、レンズの画角を越えた広範囲の撮影できなかった。
このため、パノラマ状の画像を撮影するカメラシステムが近年において提案されている。このカメラシステムは、広い視野を複数のレンズで一度に撮影する多眼式と、単眼レンズを用いて撮影方向を順にシフトさせつつ個々の画像に分けて連続撮影する単眼式に分類される。
多眼式のカメラシステムは、通常のカメラとほぼ同様の操作でパノラマ状の全体画像を生成することができるという利点があるが、システム全体が高価になるという欠点がある。
これに対し、単眼式のカメラシステム（例えば、特許文献１参照）は、比較的安価であるが、連続撮影した個々の画像を継ぎ目が目立たないように接合して一枚の全体画像を生成すべく、撮影された画像間において互いに重複領域を持たせる画像処理技術が必須となる。しかしながら、この重複領域は、カメラの撮影方向を手動でシフトさせることにより大きく増減し、最悪の場合には、かかる重複領域自体が失われ、撮影自体が失敗する虞もある。
また、この単眼式のカメラシステムは、あくまで異なる時刻に撮影した画像をつなぎ合わせる性質上、連続撮影の結果取得される画像の境界付近に動被写体が写し出されている場合に、ズレ等の不連続部分が生じ、最終的に生成される全体画像において破綻をきたすという問題点もある。
このため、モータ付のターンテーブルを使用して機械的に撮影方向を変化させながら各画像を撮影する技術が提案されている（例えば、特許文献２参照。）。この先行技術では、三脚に固定された回転テーブルにカメラを取り付け、この回転テーブルをモータで少しずつ回転させながら撮影を繰り返すことにより、撮影方向のシフトを機械的に変更することができる。
即ち、三脚を使用してカメラシステムを固定し、カメラに取り付けられた回転テーブルを高精度なモータで回転させれば、撮影方向を自在に変更させることができる。しかしながら、ユーザ自身が手動で撮影方向の調整を望む場合や、モータの回転精度が悪い場合には、撮影方向を目標の方向へシフトさせる際に揺らぎが生じてしまう。その結果、撮影した画像をつなぎ合わせてパノラマ状の全体画像を作成する際に、互いの画像間で重複領域を作り出すことができなくなり、撮影自体が失敗してしまう虞もある。このため、予め重複領域を大きく見積もっておくことが望ましい。
またパノラマ画像を撮影する目的の下、単眼レンズを用いて広い撮影範囲を複数の画像に分けて撮像する撮影装置は、従来から提案されている。しかしながら、この従来の撮影装置では、コンスーマ用のデジタルカメラの商品性を維持しつつ、高品質なパノラマ撮影機能を低コストで実現することができなかった。
例えば特許文献２には、パノラマ画像を撮影する機能を備えたカメラと、そのカメラの撮像部を取り付けるための回転アダプタが開示されている。この回転アダプタは、撮像部を回転させるための駆動源としての役割を担うものであるが、実際にこれらを使用する際にいくつかの問題点がある。
第１の問題点は、その従来のカメラにおける質量のバランスがあまり考慮されていない点である。従来のカメラは、撮像部を回転動作させる機能をアダプタに担わせ、これを実装するため、カメラ本体そのものを回転動作させることになる。理想的には、レンズや撮像センサ等の一部の部品のみを回転動作させればよいが、従来のカメラでは、バッテリー等の重い部品が搭載されたカメラ本体そのものを回転動作させなければならず、モータや回転動作を支える各種部品のコストが高くなってしまう。また、カメラ本体を手で支えて撮影する場合、把持する部分が軽く、回転部分が重いので、質量のバランスが悪く持ち辛い。
第２の問題点は、その従来のカメラに対するボタン操作や表示画面の視認が困難になるという点である。即ち、回転動作するカメラ本体側にシャッタボタンを含む各種ボタンや表示部が備わっている。このようなカメラにおける撮像部の回動中にボタン操作をすることは、得られる画像のブレの原因になり撮影そのものが失敗してしまう虞がある。通常、レリーズを用いてブレを回避することも可能であるが、コンスーマのデジタルカメラでレリーズを用いることは一般的ではない。
また、表示部も撮像部の回転動作に伴って回転することになるため、ユーザはかかる表示部を常に追いながら状況の視確認をしなければならず、扱いづらい。
その他にも、パノラマ撮影時しか用いない使用頻度の少ない回転アダプタを持ち運ぶのは面倒であるし、カメラ本体に回転アダプタを常時装着したままでは、カメラシステム全体のコンパクト化を実現することができず、可搬性が悪いものになってしまう。
このため、パノラマ撮像時に使用する回転アダプタは、結果的に殆ど用いられることはなかった。
他の従来例としては、例えば特許文献３に示すように、固定した台にターンテーブルを備えて３６０°回転させながら撮影を実行し、パノラマ画像を作成する装置が開示されている。この装置は、パノラマ撮影に特化している。この装置は、３６０°の視野を連続的に撮影するためにカメラと後段の処理部とを接続するためのフォトカプラが使用されており、また回転角度を測定するための回転角度センサが使用されており、大がかりな構成になっている。
しかしながら、一般的なコンスーマのカメラにパノラマ撮影機能を付加するためにこれだけの構成を備えるとコストが増大してしまう。また、これら従来の装置は、三脚に設置し、外部のコンピュータに接続して使用する形態になっているため、コンスーマのカメラに対して一般的に要求される可搬性に乏しい。特に、通常の写真を撮影することが主目的のカメラに対して、この従来例の装置の如く大がかりな構成を持たせることは現実的ではない。
特開平１１４６３１７号公報 特開平６−２２５２０２号公報 特許第３３４８２８５号公報
しかしながら、かかる画像間の重複領域をシステム設計時において決定することは困難である。
なぜならば、当該重複領域を大きめに設定した場合には、一連の撮影工程で必要な画像データの転送量が増加してしまう。この画像データの転送レートには上限があるため、この転送量の増加に応じて撮影間隔をいきおい長くする必要性が生じ、ひいては総撮影時間が増加してしまう。総撮影時間の増加は、さらに動被写体の撮影を困難にさせるため、生成される全体画像の品質が大幅に低下してしまう。
これに対して、画像間の重複領域を小さめに設定した場合には、僅かな揺らぎにより、互いの画像間で重複領域を作り出すことができなくなり、撮影自体が失敗してしまう虞もある。
そこで本発明は、上述した問題点を解決するために案出されたものであり、その目的とするところは、ユーザ自身が手動で撮影方向の調整を望む場合や、モータの回転精度が悪い場合等のように、撮影方向の高精度なシフトが困難な場合であっても、良質のパノラマ状の合成画像を生成し得る撮像装置及び方法を提供することにある。
また、本発明は、上述した問題点を解決するために案出されたものであり、その目的とするところは、高品質なパノラマ撮影機能を備えた一般的なコンスーマ用のデジタルカメラを低コストで実現し得る撮像装置及び方法、プログラム並びに記録媒体を提供することにある。
本発明を適用した撮像装置は、上述した課題を解決するために、撮影範囲全体を写した画像である第1の画像を合成して生成する撮像装置において、撮影方向を順次変化させて撮影範囲の一部分を撮像面に撮像する撮像手段と、撮像手段により撮像面に撮像された画像の一部を構成する所定幅の第２の画像を読み出す読出手段と、読出手段による第２の画像の読み出し範囲を設定する設定手段と、第１の画像に対する第２の画像の相対位置を識別する相対位置識別手段と、読出手段により読み出された第２の画像を順次合成することにより、第１の画像を生成する合成手段とを備え、設定手段は、相対位置識別手段より識別された相対位置に基づいて、第２の画像における移動量を求め、当該移動量と読み出し範囲の幅とに基づき次に読み出すべき第２の画像の読み出し範囲を設定することを特徴とする。
本発明を適用した撮像装置は、上述した課題を解決するために、撮影範囲全体を写した画像である第1の画像を合成して生成する撮像装置において、撮影方向を順次変化させて撮影範囲の一部分を撮像面に撮像する撮像手段と、撮像手段により撮像面に撮像された画像の一部を構成する所定幅の第２の画像を読み出す読出手段と、読出手段による第２の画像の読み出し範囲を設定する設定手段と、第１の画像に対する第２の画像の相対位置を識別する相対位置識別手段と、読出手段により読み出された第２の画像を順次合成することにより、第１の画像を生成する合成手段と、撮像手段による撮影方向の変化を検出するための検出手段を備え、設定手段は、検出手段により検出された撮影方向の変化に応じて第２の画像における移動量を求め、当該移動量と読み出し範囲の幅とに基づき次に読み出すべき第２の画像の読み出し範囲を設定することを特徴とする。
本発明を適用した撮像装置は、上述した課題を解決するために、撮影範囲全体を写した画像である第1の画像を合成して生成する撮像装置において、撮影方向を順次変化させて撮影範囲の一部分を撮像面に撮像する撮像手段と、撮像手段により撮像された画像の一部を構成する所定幅の第２の画像を読み出す読出手段とを少なくとも有し、連結された回転軸を回転中心として撮像手段の撮影方向が順次変化するように回転可能な第１の筐体と、読出手段による第２の画像の読み出し範囲を設定する設定手段と、読出手段により読み出された第２の画像を順次合成することにより、第１の画像を生成する合成手段と、第１の画像に対する第２の画像の相対位置を識別する相対位置識別手段とを有する電子回路と、生成された合成画像を表示する表示手段と、回転軸を回転させるための駆動手段と、撮像手段における撮像開始並びに撮像終了の各タイミングを指定するための指定手段と、各構成要素を動作させるためのバッテリーと、回転軸を介して第１の筐体に連結され、ユーザの片手で把持可能な第２の筐体とを備え、第２の筐体は、電子回路と、表示手段と、駆動手段と、指定手段と、バッテリーのうち何れか１つ以上が設けられ、設定手段は、相対位置識別手段より識別された相対位置に基づいて、第２の画像における移動量を求め、当該移動量と読み出し範囲の幅とに基づき次に読み出すべき第２の画像の読み出し範囲を設定することを特徴とする。
本発明を適用した撮像方法は、上述した課題を解決するために、撮影範囲全体を写した画像である第1の画像を合成して生成する撮像方法において、撮影方向を順次変化させて撮影範囲の一部分を撮像面に撮像する撮像ステップと、撮像ステップにおいて撮像した画像の一部を構成する所定幅の第２の画像の読み出し範囲を設定し、これを読み出す読出ステップと、第１の画像に対する第２の画像の相対位置を識別する相対位置識別ステップと、読出手段により読み出された第２の画像を順次合成することにより、第１の画像を生成する合成ステップとを有し、読出ステップでは、相対位置識別手段より識別された相対位置に基づいて、第２の画像における移動量を求め、当該移動量と読み出し範囲の幅とに基づき次に読み出すべき第２の画像の読み出し範囲を設定することを特徴とする。
本発明を適用した撮像方法は、上述した課題を解決するために、撮影範囲全体を写した画像である第1の画像を合成して生成する撮像方法において、撮影方向を順次変化させて撮影範囲の一部分を撮像面に撮像する撮像ステップと、撮像ステップにおいて撮像した画像の一部を構成する所定幅の第２の画像の読み出し範囲を設定し、これを読み出す読出ステップと、第１の画像に対する上記第２の画像の相対位置を識別する相対位置識別ステップと、読出ステップにおいて読み出した第２の画像を順次合成することにより、第１の画像を生成する合成ステップと、撮影ステップにおける撮影方向の変化を検出する検出ステップとを有し、読出ステップでは、検出ステップにおいて検出した撮影方向の変化に応じて第２の画像における移動量を求め、当該移動量と読み出し範囲の幅とに基づき次に読み出すべき第２の画像の読み出し範囲を設定することを特徴とする。
本発明を適用したプログラムは、上述した課題を解決するために、撮影範囲全体を写した画像である第1の画像を合成して生成することをコンピュータに実行させるためのプログラムにおいて、撮影方向を順次変化させて撮影範囲の一部分を撮像面に撮像する撮像ステップと、撮像ステップにおいて撮像した画像の一部を構成する所定幅の第２の画像の読み出し範囲を設定し、これを読み出す読出ステップと、第１の画像に対する第２の画像の相対位置を識別する相対位置識別ステップと、読出ステップにおいて読み出した第２の画像を順次合成することにより、第１の画像を生成する合成ステップとを有し、読出ステップでは、相対位置識別ステップにおいて識別した相対位置に基づいて、第２の画像における移動量を求め、当該移動量と読み出し範囲の幅とに基づき次に読み出すべき第２の画像の読み出し範囲を設定することをコンピュータに実行させる。
本発明を適用したプログラムは、上述した課題を解決するために、撮影範囲全体を写した画像である第1の画像を合成して生成することをコンピュータに実行させるためのプログラムにおいて、撮影方向を順次変化させて撮影範囲の一部分を撮像面に撮像する撮像ステップと、撮像ステップにおいて撮像した画像の一部を構成する所定幅の第２の画像の読み出し範囲を設定し、これを読み出す読出ステップと、第１の画像に対する第２の画像の相対位置を識別する相対位置識別ステップと、読出ステップにおいて読み出した第２の画像を順次合成することにより、第１の画像を生成する合成ステップと、撮影ステップにおける撮影方向の変化を検出する検出ステップとを有し、読出ステップでは、検出ステップにおいて検出した撮影方向の変化に応じて第２の画像における移動量を求め、当該移動量と読み出し範囲の幅とに基づき次に読み出すべき第２の画像の読み出し範囲を設定することをコンピュータに実行させる。
本発明を適用した記録媒体は、上述した課題を解決するために、撮影範囲全体を写した画像である第1の画像を合成して生成することをコンピュータに実行させるためのプログラムが記録された記録媒体において、撮影方向を順次変化させて撮影範囲の一部分を撮像面に撮像する撮像ステップと、撮像ステップにおいて撮像した画像の一部を構成する所定幅の第２の画像の読み出し範囲を設定し、これを読み出す読出ステップと、第１の画像に対する第２の画像の相対位置を識別する相対位置識別ステップと、読出ステップにおいて読み出した第２の画像を順次合成することにより、第１の画像を生成する合成ステップとを有し、読出ステップでは、相対位置識別ステップにおいて識別した相対位置に基づいて、第２の画像における移動量を求め、当該移動量と読み出し範囲の幅とに基づき次に読み出すべき第２の画像の読み出し範囲を設定することをコンピュータに実行させるためのプログラムがコンピュータに読み取り可能に記録されている。
本発明を適用した記録媒体は、上述した課題を解決するために、撮影範囲全体を写した画像である第1の画像を合成して生成することをコンピュータに実行させるためのプログラムが記録された記録媒体において、撮影方向を順次変化させて上記撮影範囲の一部分を撮像面に撮像する撮像ステップと、撮像ステップにおいて撮像した画像の一部を構成する所定幅の第２の画像の読み出し範囲を設定し、これを読み出す読出ステップと、第１の画像に対する第２の画像の相対位置を識別する相対位置識別ステップと、読出ステップにおいて読み出した第２の画像を順次合成することにより、第１の画像を生成する合成ステップと、撮影ステップにおける撮影方向の変化を検出する検出ステップとを有し、読出ステップでは、検出ステップにおいて検出した撮影方向の変化に応じて第２の画像における移動量を求め、当該移動量と読み出し範囲の幅とに基づき次に読み出すべき第２の画像の読み出し範囲を設定することをコンピュータに実行させるためのプログラムがコンピュータに読み取り可能に記録されている。
本発明を適用した撮像装置では、第１の画像と第２の画像との相対的な位置関係を求めることにより、撮像部の回転状況を識別する。そして識別した回転状況に応じて、あくまで第２の画像の読み出し範囲の位置を変更することで、第1の画像と第２の画像との重複部分の喪失を防ぎつつ、連続撮影の結果取得される画像の境界付近に動被写体が写し出されている場合であっても、ズレ等の不連続部分が目立ちにくいパノラマ画像が撮影できる。また本発明では、撮像手段の撮影方向が順次変化するように回転可能な第１の筐体に加え、各種処理動作を実行することにより合成画像を生成するための電子回路、生成した合成画像を表示する表示手段、第１の筐体を回転させる駆動手段、撮像手段における撮像開始並びに撮像終了の各タイミングを指定するための指定手段、各構成要素を動作させるためのバッテリーのうち何れか１つ以上が設けられるユーザの片手で把持可能な第２の筐体により構成される。
これにより、撮影に最低限必要な部品を第１の筐体内部に実装することができ、回転部分の質量が軽くなるため、第１の筐体を支える部品やこれを回転駆動させるモータのコストを下げることができる。
以下、本発明を実施するための最良の形態について図面を参照しながら詳細に説明する。
本発明は、例えば図１に示すような撮像装置１に適用される。
この撮像装置１は、被写体を撮像する撮像部１０を備え、この撮像部１０は、被写体からの像光を結像させるためのレンズ１０ａと、レンズ１０ａを介して入射される像光を遮光するシャッタ羽根等により絞り量を調整する絞り駆動部１０ｂと、入力される被写体像に基づき電気的な撮像信号Ｃ１を生成するＣＭＯＳ(Complementary Metal-Oxide Semiconductor) イメージセンサ１１とを有している。
また、この撮像装置１は、ＣＭＯＳイメージセンサ１１により生成された撮像信号Ｃ１のばらつきを補償するためのＣＤＳ(Correlated Double Sampling)回路１２と、ＣＤＳ回路１２から供給される撮像信号Ｃ２をアナログ／デジタル変換処理するＡ／Ｄ変換部１３と、このＡ／Ｄ変換部１３から供給されるデジタル化された撮像信号Ｃ２としての画像データに所定の処理を施すディジタルシグナルプロセッサ（ＤＳＰ）１５と、接続されたＤＳＰ１５からの画像データを一時的に記憶する画像用ＲＡＭ１８と、接続されたＤＳＰ１５からの画像データを符号化するコーデック処理部１６と、このコーデック処理部１６から供給される画像データを格納するフラッシュメモリ等の不揮発性メモリ１７と、ＤＳＰ１５から供給される画像データに基づく画像をユーザに表示するための表示部４３と、接続された内部バス１４を介して撮像装置１全体を制御するためのＣＰＵ（Central Processing Unit）２１と、ＣＰＵ２１に接続されてなりユーザが各種操作を実行するための操作部２２と、ＣＰＵにそれぞれ接続されてなるモータ５１並びに露出計２６並びにフォトインターラプタ５２並びにジャイロセンサ５３と、ＤＳＰ１５から送られる制御信号に基づき、ＣＭＯＳイメージセンサ１１からＡ／Ｄ変換部１３に至るまでの信号処理系を制御するタイミングジェネレータ２３とを備えている。
撮像部１０は、ＣＰＵ２１からＤＳＰ１５並びにタイミングジェネレータ２３を介して供給された動作信号に基づき、自動絞り制御動作や自動焦点制御動作等を実行する。また、この撮像部１０は、ＣＰＵ２１によって制御されたモータ５１の動作に基づいて、撮影方向を水平、垂直方向へ調整し、また操作部２２を介して入力される絞り値に応じて、図示しないシャッタ羽根を開閉させることにより絞り量を調整する。
ＣＭＯＳイメージセンサ１１は、レンズ部１０ａ並びに絞り駆動部１０ｂを介して入射される被写体像を電気信号に変換した撮像信号Ｃ１を生成し、これをＣＤＳ回路１２へ出力する。なお、このＣＭＯＳイメージセンサ１１は、撮像面上に結像された被写体像のうち一部の領域を選択し、当該領域の画素値のみを効率よく読み出すことができる。
ＣＤＳ回路１２は、ＣＭＯＳイメージセンサ１１から供給される撮像信号Ｃ１の雑音を相関二重サンプリング回路を用いて除去し、或いはゲインを増幅させるための処理を施し、これを撮像信号Ｃ２としてＡ／Ｄ変換部１３へ出力する。Ａ／Ｄ変換部１３は、このＣＤＳ回路１２から供給される撮像信号Ｃ２をアナログ／デジタル変換処理し、これを配線５６ａを介してＤＳＰ１５へと出力する。ちなみに、このＣＤＳ回路１２及びＡ／Ｄ変換部１３における各動作タイミングは、一定のフレームレートで画像取り込みを継続すべく、タイミングジェネレータ２３により制御される。
ＤＳＰ１５は、画像処理を行うための信号処理用プロセッサである。Ａ／Ｄ変換部１３からの撮像信号Ｃ２で表される画像は、タイミングジェネレータ２３による制御の下、一定のフレームレートで構成されるストリームデータとしてＤＳＰ１５に供給され、画像用ＲＡＭ１８に一時的に格納される。ＤＳＰ１５は、この画像用ＲＡＭに格納される画像に対して、予めプログラムされた画像処理を施すための設定がなされている。画像用ＲＡＭ１８において画像処理された画像は、コーデック処理部１６と表示部４３の何れか、或いは双方へ送信される。
コーデック処理部１６は、ＤＳＰ１５から送信された画像につき、所定の方式でデータ量を圧縮する。ここでは、ＪＰＥＧ（Joint Photographic Experts Group）等の規格に基づいて圧縮符号化してもよい。
不揮発性メモリ１７は、例えば半導体メモリ,磁気記録媒体,光磁気記録媒体等で構成され、コーデック処理部１６において圧縮処理された画像データを所定のアドレスに記録するための媒体である。このメモリ１７を着脱自在な記録媒体として構成することにより、撮像した画像を他のＰＣ等に移し換えてこれを鑑賞し、又は各種検索や処理を実行することができる。
表示部４３は、図示しないＤ／Ａ変換部においてアナログ信号に変換され、さらに図示しないビデオエンコーダ部においてビデオ信号に変換された画像を表示する。この表示部４３は、ユーザ自身が撮像処理を実行しつつリアルタイムに撮影内容の確認ができるように、撮像装置１の筐体側面等に設けられる液晶表示素子等で構成してもよい。
ＣＰＵ２１は、内部バス１４を介して、実行すべき制御プログラムを格納する図示しないＲＯＭやデータの蓄積や展開等に使用する作業領域としての図示しないＤＲＡＭ等が接続され、撮像装置１全体を制御する中央演算ユニットとしての役割を担う。ＣＰＵ２１は、操作部２２から供給される操作信号Ｄ１や露出計２６から送信される明るさに関する情報に基づいて、動作信号を生成し、これをＤＳＰ１５，タイミングジェネレータ２３を介して撮像部１０へ送信する。
操作部２２は、撮影画角や撮影方向をユーザが自由に調整するため、或いは撮像部１０における絞り値や露出時間を自由に調整するためのキー等で構成される。この操作部２２は、ユーザにより入力された情報に応じた操作信号Ｄ１を生成し、ＣＰＵ２１へ送信する。さらに、この操作部２２は、シャッタボタン２２１を有し、ユーザによるシャッタボタン２２１の押圧入力操作に基づいて、撮像を開始又は停止する旨の操作信号Ｄ１を生成し、ＣＰＵ２１へ送信する。
露出計２６は、撮像部１０により撮像される対象の明るさを識別するためのセンサであり、この識別した明るさに関する情報をＣＰＵ２１へ送信する。
上述の如き構成からなる撮像装置１により撮像された被写体像は、ＣＭＯＳイメージセンサ１１において電気信号に変換されて撮像信号Ｃ１となり、ＣＤＳ回路１２により雑音を除去されて撮像信号Ｃ２となり、更にはＡ／Ｄ変換部１３においてアナログ／デジタル変換処理される。また、この撮像信号Ｃ２で示される画像は、ＤＳＰ１５を介して画像用ＲＡＭ１８に格納され、所定の画像処理が施された後、表示部４３において表示され、或いはコーデック処理部１６により符号化されてメモリ１７に記録されることになる。
モータ５１は、例えばステッピングモータ等のように、撮像部１０を旋回させるための駆動源として構成される。このモータ５１は、ＣＰＵ２１からの動作信号に応じて回転する。これにより、撮像部１０の撮影方向を水平方向、或いは垂直方向に変更することができる。
フォトインターラプタ５２は、撮像部１０の回転量が可動範囲内であるかどうかを識別するためのセンサであり、この識別した情報をＣＰＵ２１へ送信する。
ジャイロセンサ５３は、撮像部１０の撮影方向の変化を検出するためのセンサであり、その変化情報をＣＰＵ２１へ送信する。
この撮像装置１は、例えば図２に示すように、レンズ部１０ａを含む撮像部１０を介して被写体を撮像し、連結された回転軸を回転中心として図２中の矢印Ａ方向へ回転可能な第１の筐体３１と、第１の筐体３１の下側に配設され、ユーザの片手で把持可能な第２の筐体３２とを備えている。ちなみに、この第２の筐体３２には、シャッタボタン２２１と、撮像した画像をユーザ自身が視認するための表示部４３と、撮影対象の明るさを識別するための露出計２６とが配設されている。
図３は、この撮像装置１の内部構成を示している。この第１の筐体３１は、レンズ部１０ａと、絞り駆動部１０ｂ、ＣＭＯＳイメージセンサ１１と、少なくともＣＤＳ回路１２並びにＡ／Ｄ変換部１３を有する第１の電子回路４１とを備えている。
また、第２の筐体３２は、回転軸３８を介して第１の筐体３１に連結されてなり、この回転軸３８を回転させるためのモータ５１と、この回転軸３８の回転角を制御するためのフォトインターラプタ５２並びに遮蔽板５３と、この回転軸３８の回転動作に対して物理的な制限を加えるためのストッパー５４と、第２の筐体３２の上面に設けられた連結穴に挿設されてなり、上記回転軸３８を支持することにより円滑な回転動作を実現するためのベアリング５５と、撮像装置１の各構成要素を制御するための第２の電子回路４２と、各構成要素を動作させるためのバッテリー４４とを備えている。
第２の電子回路４２は、第１の電子回路４１との間で電気的な信号を送受信するための配線５６が接続されている。配線５６は少なくとも図１の配線５６ａと配線５６ｂからなり、第１の電子回路４１と第２の電子回路４２との間のデータの送受信を行うために設けられている。このデータの伝送はデジタルで行われることが好ましい。
ジャイロセンサ５３については、撮像部１０と同じ筐体である第1の筐体３１にある第1の電子回路４１に配置されることが望ましいが、第1の筐体３１の質量を軽くする目的で、第２の筐体３２にある第2の電子回路４２に配置することも技術的に可能である。また、ジャイロセンサ５３は本発明において必須ではないため、使用しない選択もある。
ちなみに、この第２の筐体３２は、上述した各構成要素に加えて、一般撮影モードと、パノラマ撮影モードとを切り換えるためのボタンや、一般的なデジタルカメラが有する各種ボタンが配設されている。
モータ５１は、供給された駆動パルスに応じた角速度で回転軸３８を回転させるステッピングモータ等で構成される。このモータ５１により回転させられる回転軸３８の一端側には第１の筐体３１が連結され、その中間にはストッパー５４が固着される。またこの回転軸３８の他端側には遮蔽板５３が固着されている。即ち、このモータ５１に基づく回転軸３８の回転動作に応じて第１の筐体３１が回転するとともに、遮蔽板５３並びにストッパー５４も同様に回転することになる。ちなみに、このモータ５１による回転軸３８の回転角度における相対的な変位は、モータ５１に与える駆動パルス数で検出することができる。
表示部４３は、共に図示しないＤ／Ａ変換部、ビデオエンコーダ部、を含み、第２の筐体３２側面に設けた液晶表示素子を介して生成した画像を表示する。この表示部４３は、回転軸３８により回転させられる第１の筐体３１と離間して設けられているため、回転軸３８の回転に支配されることなく、視認性を向上させることができる。
フォトインターラプタ５２は、発光体５２ａと受光体５２ｂとが上下に亘って設けられてなる。この受光体５２ｂは、発光体５２ａからの光信号を受光し続けることになるが、回転軸３８の回転に応じて遮蔽板５３がフォトインターラプタ５２付近まで回転されてきた場合には、かかる光信号が遮蔽板５３により遮蔽されることになる。即ち、この受光体５２ｂが受光する光信号の遮蔽状況から、回転軸３８の回転状況を識別することが可能となる。
なお、回転軸３８が可動範囲を超えて回転した場合には、この遮蔽板５３が光信号を遮蔽し、当該遮蔽に応じてモータ５１が停止するように構成してもよい。この図４は、フォトインターラプタ５２並びに遮蔽板５３を図３中のＢ方向から捉えたものである。この図４に示すように、可動範囲内においては、遮蔽板５３が受光体５２ｂにより受光される光信号を遮ることがないため、モータ５１が停止することなく、回転軸３８を自在に回転させることができる。これに対して、可動範囲を超えた場合には、遮蔽板５３が受光体５２ｂにより受光される光信号を遮ることになり、モータ５１が停止することになる。なお、この可動範囲を超えた場合には、さらにストッパー５４を介して第１の筐体３１の回転動作を物理的に抑え込むようにしてもよい。
このように、第２の筐体３２に対する第１の筐体３１の回転範囲を制限する仕組みを導入することにより、第１の筐体３１から第２の筐体３２へのデータの伝送を、フォトカプラを用いた特殊なジョイント部品を使用することなく、通常の可動部分で用いられるようなフレキシブルな配線素材を用いて実現することができる。
上述の構成からなる撮像装置１を用いるユーザは、第２の筐体３２を把持しつつ、撮影を行う。かかる場合において第２の筐体３２外部に設けられたシャッタボタン２２１を押圧することにより、上述した撮影開始のタイミング、撮影終了のタイミングを指定することができる。第２の筐体３２を片手で把持するユーザの指先に当たる箇所に、このシャッタボタン２２１を設けることにより、指先の小さな動きで撮影の開始及び終了を指示することができる。
従って、このような第２の筐体３２を片手で把持し、シャッタボタン２２１を押圧することにより、図５(a)に示す状態から、第１の筐体３１が徐々に回転し、図５(b)に示すように撮像部１０の撮影方向が変化する。また、このシャッタボタン２２１を更に押圧し続けることにより、図５(c)に示すように、第１の筐体３１が更に回転する結果、撮像部１０の撮影方向がさらに変化することになる。即ち、この第１の筐体３１は、連結された回転軸３８を回転中心として撮像部１０の撮影方向が順次変化するように回転可能となるように構成されてなる。
図６は、経過時間に対する第１の筐体３１の角度の関係を示している。この図６に示すように、モータ５１によりｔ秒間につき第１の筐体３１をｋ°回転させ、その次のｔ秒間で第１の筐体３１を完全停止させる。撮影は、この完全停止時に行うため、ブレのない良好が画像を撮像することができる。
ちなみに、この図３(c)に示す状態においてこのシャッタボタン２２１を押し続けた場合に、上述したフォトインターラプタ５２により、モータ５１の回転を抑制させた上で、この第１の筐体３１の回転を停止させる。更に、第１の筐体３１を反対方向へ向かって回転させるようにしてもよい。
ちなみに、この第２の筐体３２には、バッテリー４４やモータ５１等の質量の大きい部品や、多くの回路より構成される第２の電子回路４２が搭載されるのに対し、第１の筐体３１には、撮影に必要なレンズ部１０ａや、ＣＭＯＳイメージセンサ１１、第１の電子回路４１等のように比較的質量の小さい部品が搭載されている。即ち、この第１の筐体３１は、第２の筐体３２と比較して質量が軽くなるような構成とされている。これにより、第１の筐体３１を回転させる回転軸３８やベアリング５５等の部品、更にはモータ５１等への機械的負荷を軽減させ、製品全体のコストを低く抑え込むことが可能となり、高品質なパノラマ撮影機能を備えた一般的なコンスーマ用のデジタルカメラを低コストで実現することも可能となる。
次に、本発明を適用した撮像装置１における具体的な撮影方法につき説明をする。
この撮像装置１では、図７に示すような撮影対象につき、第１の筐体３１が有する撮影部１０の撮影方向を水平方向に順次シフトさせて撮像を行うことによりＣＭＯＳイメージセンサ１１の撮像面にそれぞれの画像を撮像する。次に、その撮像面に得られた画像の一部から所定幅の読み出し範囲にある部分画像（第２の画像）をそれぞれ読み出す。部分画像を読み出す際に、ＣＰＵ２１は、撮像面に撮像された画像の中からいかなる領域を読み出し範囲とするか設定することになる。これらの部分画像は、パノラマ状の合成画像を構成するために必要となる画像である。次に、これらの部分画像をお互いの重複領域が互いに重ね合うように接合し、合成画像を生成する。すでに生成された合成画像と新しく撮影した部分画像とを接合し新たな合成画像を生成するようにしても良い。ちなみに、これらの部分画像の重複領域につき互いに画素値が相関する相対変位を求めることにより、重ね合わせ時における位置合わせを精度よく行うことができる。
図８は、この撮像した撮影画像から部分画像を読み出す方法につき示している。レンズ部１０ａ並びに絞り駆動部１０ｂを介して入射される被写体像をＣＭＯＳイメージセンサ１１における撮像面上に結像させる。ちなみに撮像装置１では、結像された被写体像のうち図８(a)に示すように全ての領域の画素値を読み出し、これを画像用ＲＡＭ１８まで転送する方式Ａと、図８(b)に示すように一部のスリット状の範囲を選択し、当該範囲の画素値のみを効率よく読み出してこれを画像用ＲＡＭ１８まで転送する方式Ｂの２通りの方法で部分画像を読み出すができる。この方式Ｂは、上述した図７に示す撮影方法を含む概念であり、方式Ａと比較して読み出す画像データの面積が少なく、転送量そのものを小さくすることができる。
図９は、これら方式Ａ，Ｂにおける撮影時間に対する画素値の読み出し時間の関係を示している。即ち、転送量が少ないほど読み出し時間を短くすることができるため、単位時間あたりの撮影回数を増加させることが示されている。即ち、動被写体を撮影する際における不連続部分が原因の画質の劣化を抑える場合には、撮影間隔の短い方式Ｂを採用することにより、これを実現することができる。ちなみに、方式A、Bどちらを採用しても撮影範囲は同じであり総撮影面積は同じとなる。つまり、画像データのサイズや総転送量は両方式で同程度である。
特にこの方式Ｂでは、方式Ａと比較して一回の撮影毎のデータの転送量を小さく抑えることができるため、画像データが撮像面から読み出された時点で次の画像の撮像を行うことにより、撮影の時間間隔をいきおい短くすることができる。その結果、連続する部分画像の接合部分にまたがって動被写体が撮影された場合でも、撮影時間の差による動被写体の位置のずれを極力最小に抑えることができる。しかも、方式Ａ、方式Ｂともに総撮影面積は同じなので、画像データのサイズや総転送量は両方式で同程度になり、撮像装置１を含めたハードウェア全体のコストは両者間において大差がない。
次に、本発明を適用した撮像装置１において方式Ｂに基づき、部分画像を抽出し、合成画像を構成する手順につき説明をする。
先ず、撮影装置１は、ハードウェアの診断や初期化を行った後、図１０に示すステップＳ１へ移行し、各種撮影パラメータを計算する。このステップＳ１では、露出計２６により識別された明るさに関する情報を取得し、絞り値やシャッタ速度等の撮影パラメータを計算する。かかる場合には、先ず、撮影される対象の明るさＩを露出計２６を介して計測する。この明るさＩに関する情報は、ＣＰＵ２１へ送信されることになる。またＣＰＵ２１は、操作部２２から送られる操作信号Ｄ１を受け取る。この操作信号Ｄ１には、操作部２２を介してユーザより入力された絞り値Ａ、露出時間Ｓ等の何れか或いは全てのパラメータが含められる。ちなみにこの撮像装置１において、ユーザは、通常のカメラのマニュアルモードの様に、各撮影パラメータの値を撮影の意図に合わせて具体的な数値で指定することも可能であり、また通常のカメラの自動モードの様に、いくつかの撮影パラメータの値を変数として、ＣＰＵ２１自身にその決定を委ねることも可能である。その結果、各種撮影パラメータが決定される。
次にステップＳ２へ移行し、操作部２２におけるシャッタボタン２２１が押圧入力操作に基づく操作信号Ｄ１が生成されたか否かにより撮影開始タイミングを識別する。その結果、かかる操作信号Ｄ１の生成を識別することができた場合には、ステップＳ３へ移行する。これに対して、かかる操作信号Ｄ１の生成を識別することができなかった場合には、再びステップＳ１へ戻り、上述した処理を繰り返し実行する。
次に、ステップＳ３へ移行した場合において、撮像部１０は、ステップＳ１にて決定した撮影パラメータを用いて絞り駆動部１０ｂを調整するとともに画像の撮像を実行する。
次にステップＳ４へ移行し、モータ５１を駆動させ第１の筐体３１を第２の筐体３２に対して回転させることにより、撮像部１０による撮影方向を僅かに変化させる。この第１の筐体３１の回転量は、少なくとも連続して撮影された各部分画像間において互いに重複領域が生じるように調整される。この回転量は、撮像装置１の設計時において幾何学的な計算により予め求めておくこともできる。また、撮影時における撮像装置１全体の揺れ量を検出するための機能を実装しておくことにより、第１の筐体３１の回転量を動的に微調整するようしてもよい。 なお、このステップＳ４において、モータ５１の撮影ごとの回転量を小さく設定し、かつ単位時間当たりの撮影枚数を増加させて連続撮影を実行することにより、視差による歪みや動被写体を撮影することによる画像の不連続さを解消することができ、高画質な全体画像を合成することが可能となる。このような撮影を行うためには、モータ５１の断続的かつ高精度の制御が必要となるが、上述の如く、この第１の筐体３１は、第２の筐体３２と比較して質量が軽くなるような構成とされているため、これらを低コストで実現することが可能となる。なお、以下の手順においては、撮像部１０の撮影方向を水平方向へ変更させる例につき説明する。
次にステップＳ５へ移行し、ＣＭＯＳイメージセンサ１１から部分画像を読み出す。つまり、撮像面に撮像された被写体像がＣＭＯＳイメージセンサ１１において電気信号に変換され、撮像面の一部の読み出し範囲が選択され、当該領域の画素値が読み出されて撮像信号Ｃ１となる。またこの撮像信号Ｃ１は上述の如く順次撮像信号Ｃ２に変換され、ＤＳＰ１５に接続された画像用ＲＡＭ１８に格納される。この読み出し範囲は後述するステップＳ９にて撮影のたびに更新される。
次にステップＳ６へ移行し、上記ステップ５で新たに抽出し画像用ＲＡＭ１８に格納された部分画像と、先の撮影で抽出された部分画像からなる合成画像との相対変位を計算する位置合わせ処理を行う。この位置合わせ処理では、例えば合成画像と部分画像の相対位置をずらしながら相関値を求め、その値が最大となる位置を識別してこれを相対変位とする。ちなみに、この位置合わせ処理では、一般的に知られたLucas-Kanade法やブロックマッチング法等を用いて相対変位を求めるようにしてもよい。なお、部分画像と合成画像との相対変位を求める代わりに、先の撮影で抽出された部分画像と新たに抽出された部分画像との相対変位を求めても良い。両者は多くの場合において技術的に等価である。
次にステップＳ７へ移行し、上記部分画像を順次重ね合わせて接合した合成画像を構成する。合成画像は、図７に示すように、ＣＭＯＳイメージセンサ１１の撮像面に写し出される被写体の一部を構成する部分画像を互いに重ね合わせて接合する事により構成される。ちなみに、この各部分画像の重ね合わせの位置は、上述したステップＳ６における位置合わせ処理で求められた相対変位が考慮されることになる。部分画像を重ね合わせて接合する方法については、２枚の画像を滑らかに連結するいかなる技術を適用してもよく、例えばアルファブレンディング処理等を適用してもよい。
次にステップＳ８へ移行し、ＣＰＵ２１は、ステップＳ４において回転開始されたモータ５１が既に所定の回転動作を行い、完全停止したか否か確認する。その結果、モータ５１が完全に停止していれば、次のステップＳ９へ移行する。
ステップＳ９において、ＣＰＵ２１は、ＣＭＯＳイメージセンサ１１の撮像面に写し出される被写体の一部を構成する部分画像に対応する読み出し範囲を更新する。合成画像上に重ねあわせて接合される部分画像は、この読み出し範囲で指定される画像データであるが、上述したステップＳ６における位置あわせ処理において先に抽出された合成画像と新たに抽出された部分画像とがお互いに重複領域を持たない場合には、この位置合わせ処理が失敗し、その結果、撮影自体が失敗してしまう虞がある。このため、このステップＳ９において読み出し範囲を適切に設定することで、かかる撮影の失敗を防止する。この読み出し範囲を適切に設定するために以下の計算を行う。図１１は、ステップＳ９の詳細を示すものである。
先ずステップＳ１２に移行し、合成画像の座標系でのカメラ視野の移動量を予測する。この移動量の予測方法は、例えば、ある前回の撮影と前々回の撮影の間のカメラ視野の既知の移動量をνｋ−１とし、予測移動量をνｋとすると、予測移動量νｋを次の式（１）で求めてよい。
νｋ＝νｋ−１・・・・・・・・・・・・（１）
この既知の移動量νｋ−１を求める方法は、例えば、ステップＳ６の位置合わせ処理の結果より得られる相対変位に基づいた移動量として良い。また、さらに過去の一連の移動量νｋ−２，νｋ−３，・・・等を用いて、一般的に知られたデータの平滑化や予測を行うためのフィルタｆ（）を使用してもよい。
νｋ＝ｆ（νｋ−１，νｋ−２，νｋ−３，・・・）・・・・・・・・・（２）
なお、過去の移動量はν０＝Ｖ，νｋ−１＝Ｖ，νｋ−１＝Ｖ，・・・・・ (Ｖは好適な予想移動量)とステップＳ１にて初期化されているものとする。
さらに、予測移動量νｋを求める方法は上記に限らず、ジャイロセンサ５３の出力値に基づきこの予測移動量νｋを求めても良い。この場合も、上記と同様に一般的に知られたデータの平滑化や予測を行うためのフィルタを併用して使用しても良い。
なお、予測移動量を表す基準となる座標系は合成画像の座標系に限るものでない。例えば撮影毎に合成画像を合成する処理を行わずに部分画像をそのまま記録媒体に記録する場合もある。そのような場合においても、先の部分画像や新たに得られた部分画像などに関連した任意の座標系を基準として予測移動量を計算できることは明らかである。
次にステップＳ１３において、読み出し範囲の位置ｐｋを補正する。読み出し範囲の幅をＷとし、前回の撮影時の読み出し範囲の位置をｐｋ−１とすると、νｋの値に応じて条件分けを行い計算する。なお、ｐｋの値は、ステップＳ１にてｐｋ＝０に初期化されているものとする。
カメラ視野が右方向に移動していると予測される場合（０＜νｋ）は以下の計算式により読み出し範囲の位置ｐｋを補正する。
Ｗ＜νｋのとき： ｐｋ＝ｐｋ−νｋ＋Ｗ・・・・・・・（３）
０＜νｋ≦Ｗのとき： ｐｋ＝min（ｐｋ−νｋ＋Ｗ、０）・・・・・・（４）
図１２(a)は、Ｗ＜νｋのときにおける読み出し範囲の位置の式（３）に基づく補正例である。この場合、読み出し範囲の幅Ｗに対して予測移動量νｋが大きいため、読み出し範囲を左側に移動しないと合成画像の一部である先に抽出された部分画像Ｋ１と新たに抽出された部分画像Ｋ２との間に隙間が生じてしまうが、上記計算式により読み出し範囲の位置をｐｋ＝−νｋ＋Ｗに補正することにより、合成画像の一部である先に抽出された部分画像Ｋ１と新たに抽出された部分画像Ｋ２との間に隙間が生じる失敗を防ぐことが出来る。また、図１２(b)は、０＜νｋ≦Ｗのときにおける読み出し範囲の位置の式（４）に基づく補正例である。この場合、読み出し範囲の幅Ｗに対して予測移動量νｋが小さいため、上記計算式により読み出し範囲の位置ｐｋを補正して、すでに左側に移動された読み出し範囲を初期位置（ｐ０＝０）側に位置を戻すことが出来るため、読み出し範囲がＣＭＯＳイメージセンサ１１撮影面の外側にはみ出してしまう失敗を防ぐことが出来る。上記の式（３）（４）は要するに、予測移動量と読み出し範囲の幅との大小関係に基づいて読み出し範囲の位置を更新しているといえる。以上のように、上記の式（３）（４）により、カメラ視野が右方向に移動している場合において、先に抽出された合成画像と新たに抽出された部分画像との間に隙間が生じる失敗や、読み出し範囲がＣＭＯＳイメージセンサ１１の撮影面の外側にはみ出してしまう失敗を防ぐことが出来る。
また、カメラ視野が左方向に移動していると予測される場合（νｋ≦０）も同様に、以下の計算式により読み出し範囲の位置ｐｋを補正する。
−Ｗ＜νｋ≦０のとき： ｐｋ＝max（ｐｋ−１−νｋ−Ｗ、０）・・・・（５）
νｋ≦−Ｗのとき： ｐｋ＝ｐｋ−１−νｋ−Ｗ ・・・・・・・・（６）
上記の式（５）（６）により、カメラ視野が左方向に移動している場合においても、上記と同様に、先に抽出された合成画像と新たに抽出された部分画像との間に隙間が生じる失敗や、読み出し範囲がＣＭＯＳイメージセンサ１１の撮影面の外側にはみ出してしまう失敗を防ぐことが出来る。
なお、ＣＭＯＳイメージセンサ１１の撮影面の一部である読み出し範囲の幅はＷであると説明したが、実際のステップＳ５における読出し処理においては、読み出し範囲の幅を所定量ｅだけ拡張した幅Ｗ＋ｅを用いる。なぜなら、ステップＳ１３にて用いた予測移動量νｋは予測値であり、実際の利用環境における移動量はある程度の範囲で変動すると考えるのが適当である。実際の移動量がνｋ±ｅであると仮定すると、図１３に示すように、実際の移動量が最悪を想定してνｋ＋ｅ変動する場合においても、読み出し範囲の幅をＷ＋ｅに拡張することによって合成画像の一部である先に抽出された部分画像Ｋ３と新たに抽出された部分画像Ｋ４との間に隙間が生じる失敗を防ぐことが出来る。
以上がステップＳ９の詳細な動作である。このステップＳ９を行うことによって、モータ５１の回転ムラや手ブレ等により撮像部１０が右側或いは左側に回転しすぎた場合に、ステップＳ１２およびステップＳ１３からなるステップＳ９によって読み出し範囲を更新することにより、先に抽出された合成画像と新たに抽出された部分画像とがお互いに重複領域を持たない状況を防ぐ。つまり重複領域の喪失による撮影の失敗を防ぐことができる。
通常、モータ５１の回転ムラ等により撮像部１０の回転状態が変化した場合には、当該撮像部１０の撮影方向をモータ等を綿密に制御することによりこれを修正することになるが、そのような制御は制御系や機械系のコスト高につながる。本発明を適用した撮像装置１では、部分画像を抽出するための読み出し範囲を設け、この読み出し範囲の位置を上記の方法で識別した回転状況に応じて変更することで、低コストでより効率的に撮影の失敗を防止することができる。
次にステップＳ１０へ移行し、操作部２２におけるシャッタボタン２２１の押圧入力が継続しているか否か、操作信号Ｄ１を介して調べ、撮影終了のタイミングを識別する。その結果、未だ当該押圧入力操作が継続している場合には、撮影を継続させるべくステップＳ３へ戻り、被写体の撮像を繰り返す。これに対して、シャッタボタン２２１の押圧入力が終了しているものと識別した場合には、撮影の終了動作へ移行すべくステップＳ１１へ移行する。
ステップＳ１１では、合成したパノラマ状の合成画像の画像データをコーデック処理部１６で符号化し、これをメモリ１７へ格納する。
次に、本発明を適用した撮像装置１において方式Ｂに基づき、部分画像を抽出し、合成画像を構成する論理的な処理ブロックを図１４にて説明をする。この論理的な処理ブロックは図１のハードウェアにて図１０の動作手順が行われることにより概念的に得られる機能の構成を表すものである。
撮像処理部（撮像手段）６１は、ＣＭＯＳイメージセンサ１１により実装され、前述したステップＳ３により画像を撮像する。
読出し処理部（読出手段）６２は、ＣＭＯＳイメージセンサ１１からＤＳＰ１５までのハードウェアブロックおよびＤＳＰ１５が実行するプログラムにより実装され、前述したステップＳ５により読み出し範囲の設定処理部６７が読み出し範囲として指定した画像データ（部分画像）を撮像処理部６１から読出し部分画像記憶部６３に記憶する。
部分画像記憶部（第２の画像）６３は、画像用ＲＡＭ１８により実装され、部分画像を記憶する。
位置合わせ処理部（相対位置識別手段）６４は、ＤＳＰ１５が実行するプログラムにより実装され、前述したＳ６によって部分画像記憶部６３に記憶された部分画像と合成画像記憶部６６に記憶された合成画像との相対変位を求める。
合成処理部（合成手段）６５は、ＤＳＰ１５が実行するプログラムにより実装され、前述したステップＳ７により位置合わせ処理部６４が求めた相対変位を考慮して部分画像記憶部６３が記憶する部分画像と合成画像記憶部６６が記憶する合成画像を１つに合成し合成画像記憶部６６に新たな合成画像として記憶する。
合成画像記憶部（第１の画像）６６は、画像用ＲＡＭ１８により実装され、合成画像を記憶する。
読み出し範囲の設定処理部６７は、ＤＳＰ１５が実行するプログラムにより実装され、前述したステップＳ９により位置合わせ処理部６４が求めた相対変位に参考にしてカメラ視野の予測移動量を求め、読み出し範囲を更新する。
記録処理部６８は、コーデック処理部１６、不揮発性メモリ１７、ＤＳＰ１５、およびＤＳＰ１５が実行するプログラムにより実装される。記録処理部６８は、前述したステップＳ１１により合成画像の記録に適したＪＰＥＧ等の符号化処理を行い、符号化後のデータを不揮発性メモリ１７に記憶する。
以上の論理的な機能ブロックを構成するプログラムをＲＯＭに記録し撮影装置１に備えることで、ソフトウェアによる本発明の実施が可能になり、またかかるソフトウェアが記録された記録媒体にも本発明を適用することが可能となる。
最後に、本発明の特徴を繰り返して説明する。本発明を適用した撮像装置１では、モータ５１の精度が悪く回転ムラが生じる場合や、ユーザが撮像装置１を手持ちで操作しつつ撮影を行う場合等のように、撮像部１０の撮影方向が撮影空間に対して揺らぎがちになる状況において、読み出し範囲をこれに適応させて設定する。これにより、読み出し範囲の面積を余分に大きくすることなく、揺らぎによる合成画像と部分画像の重複領域の喪失を回避することができる。また、撮影間隔を短めに設定することで重ね合わせて接合される部分画像の時間的な連続性を向上させることができるため、動被写体に対しても好適なパノラマ状の合成画像を撮像することが可能となる。
なお、本発明を適用した撮像装置１では、読み出し範囲の設定を最適化する場合のみならず、予測移動量νｋに基づき撮像部１０の撮影方向の変化量を調整するようにしてもよい。かかる場合には、読み出し範囲の設定の最適化を手ブレ等に対する微調整とし、撮像部１０における撮影方向の調整をその粗調整としてもよい。
なお、上述した実施の形態では、撮影方向を水平方向へ移動させる場合を例に挙げて説明をしたが、かかる場合に限定されるものではなく、撮影方向を垂直方向へ移動させる場合においても本発明を同様に適用することができる。
また、第１の筐体３１と離間した第２の筐体３２にシャッタボタン２２１を搭載することにより、指先の小さな操作だけで撮影の開始、終了を指示することができる。また、第２の筐体３２に表示部４３を備えることにより、得られた画像の視認性を向上させることができる。
また、実際に回転する第１の筐体３１内部にレンズ部１０ａやＣＭＯＳイメージセンサ１１等のように撮影に最低限必要な部品を少なくとも実装することにより、回転部分の質量が軽くなるため、この第１の筐体３１における回転部分を支える部品やこれを回転駆動させるモータ５１のコストを下げることができる。またモータ５１等の駆動源となる部品をユーザにより把持される第２の筐体３２内に実装することにより、モータ５１の回転に伴う振動による影響を極力抑えることもできる。
またフォトインターラプタ５２を用いて、第１の筐体３１の回転範囲を制限することにより、回転部分とホールド部分間のデータ転送を通常の安価なフレキシブルな配線素材を用いて実現することができる。
また、本発明を適用した撮像装置１は、上述した実施の形態に限定されるものではなく、ＤＳＰ１５、ＣＰＵ２１、表示部４３、モータ５１、操作部２２（シャッタボタン２２１）、バッテリー４４のうち、何れか１つ以上が第２の筐体３２内に設けられていればよい。
なお、本発明では、さらに以下の撮影方法を組み合わせて構成してもよい。この撮影方法では、撮影方向を順次変化させて撮影範囲の一部を構成する画像を撮像面に撮像し、撮像ステップにおいて撮像した撮像面上の画像の一部を構成する所定の範囲の部分画像が互いに２枚以上の重複領域が生じるように読み出し、読み出した部分画像を順次重ね合わせることにより撮影範囲全体を表す合成画像を生成する。この２枚以上の重ね合わせ処理により、合成画像のノイズ成分を平均化することができ、生成すべきパノラマ状の全体画像の画質を向上させることができる。
この撮影方法と本発明とは、各撮影のタイミングに対するモータを回動させるタイミングが互いに異なるが、撮影方向を順次変化させて撮影範囲の一部を構成する画像を撮像面に撮像し、撮像ステップにおいて撮像した撮像面上の画像の一部を構成する所定の範囲の部分画像を互いに重複領域が生じるように読み出す部分においては共通しており、当該撮影方法の特徴である、読み出した画像を順次重ね合わせることにより撮影範囲全体を表す合成画像を生成することを本発明に適用出来るのは明らかである。すなわち、本発明においても、合成画像のノイズ成分を平均化することができ、生成すべきパノラマ状の全体画像の画質を向上させることができる。
本発明を適用したパノラマ画像の撮像装置の構成図につき説明するための図である。 第１の筐体と第２の筐体を有するパノラマ画像の撮像装置の外観につき説明するための図である。 シャッタボタンを押圧することにより第１の筐体を徐々に回転させる例につき説明するための図である。 本発明を適用した撮像装置の内部構成につき説明するための図である。 フォトインターラプタにより第１の筐体の回転を制御する方法につき説明するための図である。 第１の筐体と経過時刻との関係につき説明するための図である。 撮像面から読み出した部分画像を互いに重ね合わせつつ接合することにより、パノラマ状の合成画像を合成する例につき説明するための図である。 部分画像を読み出す方式につき説明するための図である。 方式Ａ，Ｂの撮影時間に対する画素値の読み出し時間の関係を示す図である。 本発明を適用した撮像装置において方式Ｂに基づき撮影する手順を示すフローチャートである。 ステップ9の読み出し範囲の更新の詳細な動作手順を示すフローチャートである。 読み出し範囲の補正例を示す図である。 予測移動量の揺らぎを考慮して読み出し範囲の幅を拡張した例につき説明するための図である。 本発明を適用した撮影装置において方式Ｂに基づき撮影するための論理的な機能ブロックの構成図につき説明するための図である。
符号の説明
１ 撮像装置、１０ 撮像部、１１ ＣＭＯＳイメージセンサ、１２ ＣＤＳ回路、１３ Ａ／Ｄ変換部、１４ 内部バス、１５ ＤＳＰ、１６ コーデック処理部、１７ 不揮発性メモリ、１８ 画像用ＲＡＭ、４３ 表示部、２１ ＣＰＵ、２２ 操作部、２３ タイミングジェネレータ、５１ モータ、２６ 露出計、５２ フォトインターラプタ、５３ ジャイロセンサ

Claims (22)

  1. 撮影範囲全体を写した画像である第1の画像を合成して生成する撮像装置において、
    撮影方向を順次変化させて上記撮影範囲の一部分を撮像面に撮像する撮像手段と、
    上記撮像手段により撮像面に撮像された画像の一部を構成する所定幅の第２の画像を読み出す読出手段と、
    上記読出手段による上記第２の画像の読み出し範囲を設定する設定手段と、
    上記第１の画像に対する上記第２の画像の相対位置を識別する相対位置識別手段と、
    上記読出手段により読み出された上記第２の画像を順次合成することにより、上記第１の画像を生成する合成手段とを備え、
    上記設定手段は、上記相対位置識別手段より識別された相対位置に基づいて、上記第２の画像における移動量を求め、当該移動量と読み出し範囲の幅とに基づき次に読み出すべき第２の画像の読み出し範囲を設定すること
    を特徴とする撮像装置。
  2. 上記設定手段は、上記移動量と上記読み出し範囲の幅との大小関係に基づいて、上記第２の画像における読み出し範囲の中心位置を設定すること
    を特徴とする請求項１記載の撮像装置。
  3. 上記撮像手段は、上記設定手段により求められた移動量に基づき、上記撮影方向の変化量を調整すること
    を特徴とする請求項１記載の撮像装置。
  4. 上記撮像手段は、上記読出手段により画像が読み出された時点で次の画像の撮像を行うこと
    を特徴とする請求項１記載の撮像装置。
  5. 撮影範囲全体を写した画像である第1の画像を合成して生成する撮像装置において、
    撮影方向を順次変化させて上記撮影範囲の一部分を撮像面に撮像する撮像手段と、
    上記撮像手段により撮像面に撮像された画像の一部を構成する所定幅の第２の画像を読み出す読出手段と、
    上記読出手段による上記第２の画像の読み出し範囲を設定する設定手段と、
    上記第１の画像に対する上記第２の画像の相対位置を識別する相対位置識別手段と、
    上記読出手段により読み出された上記第２の画像を順次合成することにより、上記第１の画像を生成する合成手段と、
    上記撮像手段による撮影方向の変化を検出するための検出手段とを備え、
    上記設定手段は、上記検出手段により検出された撮影方向の変化に応じて上記第２の画像における移動量を求め、当該移動量と読み出し範囲の幅とに基づき次に読み出すべき第２の画像の読み出し範囲を設定すること
    を特徴とする撮像装置。
  6. 上記設定手段は、上記移動量と上記読み出し範囲の幅との大小関係に基づいて、上記第２の画像における読み出し範囲の中心位置を設定すること
    を特徴とする請求項５記載の撮像装置。
  7. 上記撮像手段は、上記設定手段により求められた移動量に基づき、上記撮影方向の変化量を調整すること
    を特徴とする請求項５記載の撮像装置。
  8. 上記撮像手段は、上記読出手段により画像が読み出された時点で次の画像の撮像を行うこと
    を特徴とする請求項５記載の撮像装置。
  9. 撮影範囲全体を写した画像である第1の画像を合成して生成する撮像装置において、
    撮影方向を順次変化させて上記撮影範囲の一部分を撮像面に撮像する撮像手段と、上記撮像手段により撮像された画像の一部を構成する所定幅の第２の画像を読み出す読出手段とを少なくとも有し、連結された回転軸を回転中心として上記撮像手段の撮影方向が順次変化するように回転可能な第１の筐体と、
    上記読出手段による上記第２の画像の読み出し範囲を設定する設定手段と、上記読出手段により読み出された上記第２の画像を順次合成することにより、上記第１の画像を生成する合成手段と、上記第１の画像に対する上記第２の画像の相対位置を識別する相対位置識別手段とを有する電子回路と、
    生成された合成画像を表示する表示手段と、
    上記回転軸を回転させるための駆動手段と、
    上記撮像手段における撮像開始並びに撮像終了の各タイミングを指定するための指定手段と、
    上記各構成要素を動作させるためのバッテリーと、
    上記回転軸を介して上記第１の筐体に連結され、ユーザの片手で把持可能な第２の筐体とを備え、
    上記第２の筐体は、上記電子回路と、上記表示手段と、上記駆動手段と、上記指定手段と、上記バッテリーのうち何れか１つ以上が設けられ、
    上記設定手段は、上記相対位置識別手段より識別された相対位置に基づいて、上記第２の画像における移動量を求め、当該移動量と読み出し範囲の幅とに基づき次に読み出すべき第２の画像の読み出し範囲を設定すること
    を特徴とする撮像装置。
  10. 上記駆動手段は、上記回転軸の回転角を所定内に制限するための制御機構がさらに設けられていること
    を特徴とする請求項９記載の撮像装置。
  11. 撮影範囲全体を写した画像である第1の画像を合成して生成する撮像方法において、
    撮影方向を順次変化させて上記撮影範囲の一部分を撮像面に撮像する撮像ステップと、
    上記撮像ステップにおいて撮像した画像の一部を構成する所定幅の第２の画像の読み出し範囲を設定し、これを読み出す読出ステップと、
    上記第１の画像に対する上記第２の画像の相対位置を識別する相対位置識別ステップと、
    上記読出手段により読み出された上記第２の画像を順次合成することにより、上記第１の画像を生成する合成ステップとを有し、
    上記読出ステップでは、上記相対位置識別手段より識別された相対位置に基づいて、上記第２の画像における移動量を求め、当該移動量と読み出し範囲の幅とに基づき次に読み出すべき第２の画像の読み出し範囲を設定すること
    を特徴とする撮像方法。
  12. 上記読出ステップでは、上記移動量と上記読み出し範囲の幅との大小関係に基づいて、上記第２の画像における読み出し範囲の中心位置を設定すること
    を特徴とする請求項１１記載の撮像方法。
  13. 上記撮像ステップでは、上記相対位置識別ステップより識別された相対位置に基づき、上記撮影方向の変化量を調整すること
    を特徴とする請求項１１記載の撮像方法。
  14. 上記撮像ステップは、上記読出ステップにおいて画像が読み出された時点で次の画像の撮像を行うこと
    を特徴とする請求項１１記載の撮像方法。
  15. 撮影範囲全体を写した画像である第1の画像を合成して生成する撮像方法において、
    撮影方向を順次変化させて上記撮影範囲の一部分を撮像面に撮像する撮像ステップと、
    上記撮像ステップにおいて撮像した画像の一部を構成する所定幅の第２の画像の読み出し範囲を設定し、これを読み出す読出ステップと、
    上記第１の画像に対する上記第２の画像の相対位置を識別する相対位置識別ステップと、
    上記読出ステップにおいて読み出した上記第２の画像を順次合成することにより、上記第１の画像を生成する合成ステップと、
    上記撮影ステップにおける撮影方向の変化を検出する検出ステップとを有し、
    上記読出ステップでは、上記検出ステップにおいて検出した撮影方向の変化に応じて上記第２の画像における移動量を求め、当該移動量と読み出し範囲の幅とに基づき次に読み出すべき第２の画像の読み出し範囲を設定すること
    を特徴とする撮像方法。
  16. 上記読出ステップでは、上記移動量と上記読み出し範囲の幅との大小関係に基づいて、上記第２の画像における読み出し範囲の中心位置を設定すること
    を特徴とする請求項１５記載の撮像方法。
  17. 上記撮像ステップでは、上記相対位置識別ステップより識別された相対位置に基づき、上記撮影方向の変化量を調整すること
    を特徴とする請求項１５記載の撮像方法。
  18. 上記撮像ステップは、上記読出ステップにおいて画像が読み出された時点で次の画像の撮像を行うこと
    を特徴とする請求項１５記載の撮像方法。
  19. 撮影範囲全体を写した画像である第1の画像を合成して生成することをコンピュータに実行させるためのプログラムにおいて、
    撮影方向を順次変化させて上記撮影範囲の一部分を撮像面に撮像する撮像ステップと、
    上記撮像ステップにおいて撮像した画像の一部を構成する所定幅の第２の画像の読み出し範囲を設定し、これを読み出す読出ステップと、
    上記第１の画像に対する上記第２の画像の相対位置を識別する相対位置識別ステップと、
    上記読出ステップにおいて読み出した上記第２の画像を順次合成することにより、上記第１の画像を生成する合成ステップとを有し、
    上記読出ステップでは、上記相対位置識別ステップにおいて識別した相対位置に基づいて、上記第２の画像における移動量を求め、当該移動量と読み出し範囲の幅とに基づき次に読み出すべき第２の画像の読み出し範囲を設定すること
    をコンピュータに実行させるためのプログラム。
  20. 撮影範囲全体を写した画像である第1の画像を合成して生成することをコンピュータに実行させるためのプログラムにおいて、
    撮影方向を順次変化させて上記撮影範囲の一部分を撮像面に撮像する撮像ステップと、
    上記撮像ステップにおいて撮像した画像の一部を構成する所定幅の第２の画像の読み出し範囲を設定し、これを読み出す読出ステップと、
    上記第１の画像に対する上記第２の画像の相対位置を識別する相対位置識別ステップと、
    上記読出ステップにおいて読み出した上記第２の画像を順次合成することにより、上記第１の画像を生成する合成ステップと、
    上記撮影ステップにおける撮影方向の変化を検出する検出ステップとを有し、
    上記読出ステップでは、上記検出ステップにおいて検出した撮影方向の変化に応じて上記第２の画像における移動量を求め、当該移動量と読み出し範囲の幅とに基づき次に読み出すべき第２の画像の読み出し範囲を設定すること
    をコンピュータに実行させるためのプログラム。
  21. 撮影範囲全体を写した画像である第1の画像を合成して生成することをコンピュータに実行させるためのプログラムが記録された記録媒体において、
    撮影方向を順次変化させて上記撮影範囲の一部分を撮像面に撮像する撮像ステップと、
    上記撮像ステップにおいて撮像した画像の一部を構成する所定幅の第２の画像の読み出し範囲を設定し、これを読み出す読出ステップと、
    上記第１の画像に対する上記第２の画像の相対位置を識別する相対位置識別ステップと、
    上記読出ステップにおいて読み出した上記第２の画像を順次合成することにより、上記第１の画像を生成する合成ステップとを有し、
    上記読出ステップでは、上記相対位置識別ステップにおいて識別した相対位置に基づいて、上記第２の画像における移動量を求め、当該移動量と読み出し範囲の幅とに基づき次に読み出すべき第２の画像の読み出し範囲を設定すること
    をコンピュータに実行させるためのプログラムがコンピュータに読み取り可能に記録された記録媒体。
  22. 撮影範囲全体を写した画像である第1の画像を合成して生成することをコンピュータに実行させるためのプログラムが記録された記録媒体において、
    撮影方向を順次変化させて上記撮影範囲の一部分を撮像面に撮像する撮像ステップと、
    上記撮像ステップにおいて撮像した画像の一部を構成する所定幅の第２の画像の読み出し範囲を設定し、これを読み出す読出ステップと、
    上記第１の画像に対する上記第２の画像の相対位置を識別する相対位置識別ステップと、
    上記読出ステップにおいて読み出した上記第２の画像を順次合成することにより、上記第１の画像を生成する合成ステップと、
    上記撮影ステップにおける撮影方向の変化を検出する検出ステップとを有し、
    上記読出ステップでは、上記検出ステップにおいて検出した撮影方向の変化に応じて上記第２の画像における移動量を求め、当該移動量と読み出し範囲の幅とに基づき次に読み出すべき第２の画像の読み出し範囲を設定すること
    をコンピュータに実行させるためのプログラムがコンピュータに読み取り可能に記録された記録媒体。
JP2004149679A 2004-05-19 2004-05-19 撮像装置及び方法 Active JP4293053B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004149679A JP4293053B2 (ja) 2004-05-19 2004-05-19 撮像装置及び方法
US11/132,029 US7724286B2 (en) 2004-05-19 2005-05-18 Image pickup apparatus and image pickup method
US12/758,266 US8264559B2 (en) 2004-05-19 2010-04-12 Image pickup apparatus and image pickup method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004149679A JP4293053B2 (ja) 2004-05-19 2004-05-19 撮像装置及び方法

Publications (2)

Publication Number Publication Date
JP2005333396A JP2005333396A (ja) 2005-12-02
JP4293053B2 true JP4293053B2 (ja) 2009-07-08

Family

ID=35448432

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004149679A Active JP4293053B2 (ja) 2004-05-19 2004-05-19 撮像装置及び方法

Country Status (2)

Country Link
US (2) US7724286B2 (ja)
JP (1) JP4293053B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102098438A (zh) * 2009-12-15 2011-06-15 索尼公司 图像捕获装置和图像捕获方法
EP2339863A2 (en) 2009-12-24 2011-06-29 Sony Corporation Image Processing Apparatus, Image Capturing Apparatus, Image Processing Method, and Program

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050237631A1 (en) * 2004-04-16 2005-10-27 Hiroyuki Shioya Image pickup apparatus and image pickup method
JP4293053B2 (ja) * 2004-05-19 2009-07-08 ソニー株式会社 撮像装置及び方法
JP2006018663A (ja) * 2004-07-02 2006-01-19 Fujitsu Ltd 電流安定化回路、電流安定化方法、及び固体撮像装置
JP4618651B2 (ja) * 2004-09-23 2011-01-26 アギア システムズ インコーポレーテッド パノラマイメージ作成機能を有する移動通信デバイス
JP4683340B2 (ja) * 2006-07-26 2011-05-18 富士フイルム株式会社 撮影装置および撮影方法
JP5157116B2 (ja) * 2006-10-04 2013-03-06 カシオ計算機株式会社 撮影装置、合成画像作成方法及びプログラム
JP2008219428A (ja) * 2007-03-02 2008-09-18 Fujifilm Corp 撮像装置
JP5108877B2 (ja) * 2007-05-08 2012-12-26 パナソニック株式会社 表示装置
JP4964054B2 (ja) * 2007-07-31 2012-06-27 三洋電機株式会社 ディジタルカメラ
US20100283871A1 (en) * 2007-09-21 2010-11-11 Hiroshi Ishida Unnecessary Light Identification Method, Unnecessary Light Identification Device, and Imaging Device
US20090153913A1 (en) * 2007-12-18 2009-06-18 Butler Jr William Joseph Method For Providing Enhancement With An Imaging Apparatus
JP4862926B2 (ja) * 2008-04-03 2012-01-25 ソニー株式会社 再生制御装置及び再生制御方法並びにプログラム
US8350892B2 (en) 2008-05-20 2013-01-08 Sony Corporation Image pickup apparatus, image pickup method, playback control apparatus, playback control method, and program
JP4656216B2 (ja) 2008-09-04 2011-03-23 ソニー株式会社 撮像装置、画像処理装置、画像処理方法、プログラム及び記録媒体
JP2010136302A (ja) * 2008-12-08 2010-06-17 Sony Corp 撮像装置、撮像方法、およびプログラム
JP4618370B2 (ja) * 2008-12-08 2011-01-26 ソニー株式会社 撮像装置、撮像方法、およびプログラム
US8582810B2 (en) * 2009-01-28 2013-11-12 Bae Systems Plc Detecting potential changed objects in images
TW201122713A (en) * 2009-02-27 2011-07-01 Sony Corp Imaging device and imaging method
US10080006B2 (en) 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
JP2011130327A (ja) 2009-12-21 2011-06-30 Sony Corp 画像処理装置および方法、並びにプログラム
JP2011139282A (ja) * 2009-12-28 2011-07-14 Sony Corp 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2011155361A (ja) 2010-01-26 2011-08-11 Sony Corp 撮像装置、撮像制御方法、プログラム
JP5504915B2 (ja) 2010-01-26 2014-05-28 ソニー株式会社 撮像制御装置、撮像制御方法、プログラム
JP5533048B2 (ja) * 2010-03-08 2014-06-25 ソニー株式会社 撮像制御装置、撮像制御方法
US8896668B2 (en) 2010-04-05 2014-11-25 Qualcomm Incorporated Combining data from multiple image sensors
US9001227B2 (en) * 2010-04-05 2015-04-07 Qualcomm Incorporated Combining data from multiple image sensors
JP5492651B2 (ja) * 2010-04-27 2014-05-14 富士フイルム株式会社 撮影装置、パノラマ撮影方法
JP5724230B2 (ja) 2010-07-07 2015-05-27 ソニー株式会社 表示制御装置、表示制御方法、プログラム
KR101663321B1 (ko) 2010-07-30 2016-10-17 삼성전자주식회사 파노라마 사진 촬영 방법
JP2012151796A (ja) 2011-01-21 2012-08-09 Sony Corp 画像処理装置と画像処理方法およびプログラム
JP2012191486A (ja) 2011-03-11 2012-10-04 Sony Corp 画像合成装置と画像合成方法およびプログラム
KR101756839B1 (ko) * 2011-05-17 2017-07-11 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
JP2013013063A (ja) * 2011-06-03 2013-01-17 Panasonic Corp 撮像装置及び撮像システム
US20120320151A1 (en) * 2011-06-20 2012-12-20 Howard Unger Camera with automated panoramic image capture
JP2013034081A (ja) 2011-08-02 2013-02-14 Sony Corp 画像処理装置、その制御方法およびプログラム
TW201324023A (zh) * 2011-12-13 2013-06-16 Fih Hong Kong Ltd 全景拍照系統及方法
US9211134B2 (en) 2012-04-09 2015-12-15 Carefusion 2200, Inc. Wrist assembly for articulating laparoscopic surgical instruments
WO2014166521A1 (en) * 2013-04-09 2014-10-16 Huawei Technologies Co., Ltd. Mobile electronic device with a rotatable camera
KR101718309B1 (ko) * 2015-02-17 2017-03-22 서울과학기술대학교 산학협력단 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법
CN106464755B (zh) * 2015-02-28 2019-09-03 华为技术有限公司 自动调整摄像头的方法和电子设备
US9667848B2 (en) * 2015-04-22 2017-05-30 Qualcomm Incorporated Tiltable camera module
US10778910B2 (en) * 2017-03-22 2020-09-15 Humaneyes Technologies Ltd. System and methods for correcting overlapping digital images of a panorama
CN107277365B (zh) * 2017-07-24 2020-12-15 Tcl移动通信科技（宁波）有限公司 一种全景图像拍摄的方法、存储设备及移动终端
JP6778399B2 (ja) * 2017-08-17 2020-11-04 京セラドキュメントソリューションズ株式会社 画像読取装置、画像形成装置、画像読取方法及び画像読取プログラム
US11546451B2 (en) 2019-05-15 2023-01-03 Asustek Computer Inc. Electronic device
US11477385B2 (en) 2019-05-15 2022-10-18 Asustek Computer Inc. Electronic device with rotatable camera for protecting privacy
US11375125B2 (en) * 2019-05-15 2022-06-28 Asustek Computer Inc. Electronic device
KR102646344B1 (ko) * 2019-09-06 2024-03-12 삼성전자주식회사 이미지를 합성하기 위한 전자 장치 및 그의 동작 방법

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4947447A (en) * 1986-04-24 1990-08-07 Hitachi, Ltd. Method for data coding
US5003618A (en) * 1989-07-14 1991-03-26 University Of Pittsburgh Of The Commonwealth System Of Higher Education Automatic adaptive anisotropic digital filtering and biasing of digitized images
JP3348285B2 (ja) 1992-12-21 2002-11-20 恆明 日比 パノラマ撮影装置
JP3168443B2 (ja) 1993-01-27 2001-05-21 京セラ株式会社 パノラマ電子スチルカメラ
US6389179B1 (en) * 1996-05-28 2002-05-14 Canon Kabushiki Kaisha Image combining apparatus using a combining algorithm selected based on an image sensing condition corresponding to each stored image
DE69733233T2 (de) * 1996-09-11 2006-01-19 Canon K.K. Bildverarbeitung zur dreidimensionalen Wiedergabe von Bilddaten auf der Anzeige eines Bildaufnahmegeräts
US6133943A (en) * 1996-09-30 2000-10-17 Intel Corporation Method and apparatus for producing a composite image
US6278480B1 (en) * 1997-02-07 2001-08-21 Canon Kabushiki Kaisha Compound eye camera system
EP0862079B1 (en) * 1997-02-28 2002-12-18 Ricoh Company, Ltd. Digital camera having synchronized movement of lens and flash
JPH11205641A (ja) 1998-01-20 1999-07-30 Minolta Co Ltd 電子カメラ
JPH114398A (ja) * 1997-06-11 1999-01-06 Hitachi Ltd デジタルワイドカメラ
JPH1141509A (ja) 1997-07-16 1999-02-12 Minolta Co Ltd 撮像装置
US6639625B1 (en) * 1997-07-16 2003-10-28 Minolta Co., Ltd. Image sensing device
JPH1146317A (ja) 1997-07-28 1999-02-16 Sony Corp ビデオカメラ
US6009190A (en) * 1997-08-01 1999-12-28 Microsoft Corporation Texture map construction method and apparatus for displaying panoramic image mosaics
US6097854A (en) * 1997-08-01 2000-08-01 Microsoft Corporation Image mosaic construction system and apparatus with patch-based alignment, global block adjustment and pair-wise motion-based local warping
US6867801B1 (en) * 1997-09-03 2005-03-15 Casio Computer Co., Ltd. Electronic still camera having photographed image reproducing function
US6552744B2 (en) * 1997-09-26 2003-04-22 Roxio, Inc. Virtual reality camera
US6034716A (en) * 1997-12-18 2000-03-07 Whiting; Joshua B. Panoramic digital camera system
US6720997B1 (en) * 1997-12-26 2004-04-13 Minolta Co., Ltd. Image generating apparatus
JPH11355617A (ja) * 1998-06-05 1999-12-24 Fuji Photo Film Co Ltd 画像表示器付きカメラ
US6891561B1 (en) * 1999-03-31 2005-05-10 Vulcan Patents Llc Providing visual context for a mobile active visual display of a panoramic region
US7098914B1 (en) * 1999-07-30 2006-08-29 Canon Kabushiki Kaisha Image synthesis method, image synthesis apparatus, and storage medium
JP2001128051A (ja) * 1999-10-27 2001-05-11 Ricoh Co Ltd 撮像装置
US7064783B2 (en) * 1999-12-31 2006-06-20 Stmicroelectronics, Inc. Still picture format for subsequent picture stitching for forming a panoramic image
JP3849385B2 (ja) * 2000-02-03 2006-11-22 コニカミノルタホールディングス株式会社 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体
US6930703B1 (en) * 2000-04-29 2005-08-16 Hewlett-Packard Development Company, L.P. Method and apparatus for automatically capturing a plurality of images during a pan
JP3817119B2 (ja) * 2000-06-30 2006-08-30 株式会社リコー 画像入力装置
JP3539394B2 (ja) * 2001-03-26 2004-07-07 ミノルタ株式会社 画像処理装置、プログラムおよび記録媒体
JP2003060967A (ja) 2001-08-21 2003-02-28 Matsushita Electric Ind Co Ltd 撮像装置
JP3925299B2 (ja) * 2002-05-15 2007-06-06 ソニー株式会社 モニタリングシステムおよび方法
US7400782B2 (en) * 2002-08-28 2008-07-15 Arcsoft, Inc. Image warping correction in forming 360 degree panoramic images
US20050168589A1 (en) * 2004-01-30 2005-08-04 D. Amnon Silverstein Method and system for processing an image with an image-capturing device
US20050237631A1 (en) * 2004-04-16 2005-10-27 Hiroyuki Shioya Image pickup apparatus and image pickup method
JP4293053B2 (ja) * 2004-05-19 2009-07-08 ソニー株式会社 撮像装置及び方法
US7474848B2 (en) * 2005-05-05 2009-01-06 Hewlett-Packard Development Company, L.P. Method for achieving correct exposure of a panoramic photograph

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102098438A (zh) * 2009-12-15 2011-06-15 索尼公司 图像捕获装置和图像捕获方法
US8917313B2 (en) 2009-12-15 2014-12-23 Sony Corporation Image capturing apparatus and image capturing method
CN102098438B (zh) * 2009-12-15 2015-03-25 索尼公司 图像捕获装置和图像捕获方法
EP2339863A2 (en) 2009-12-24 2011-06-29 Sony Corporation Image Processing Apparatus, Image Capturing Apparatus, Image Processing Method, and Program
US8810629B2 (en) 2009-12-24 2014-08-19 Sony Corporation Image processing apparatus, image capturing apparatus, image processing method, and program

Also Published As

Publication number Publication date
US20050270385A1 (en) 2005-12-08
US7724286B2 (en) 2010-05-25
US20100253763A1 (en) 2010-10-07
JP2005333396A (ja) 2005-12-02
US8264559B2 (en) 2012-09-11

Similar Documents

Publication Publication Date Title
JP4293053B2 (ja) 撮像装置及び方法
JP5104918B2 (ja) 撮像装置及び撮像方法
JP4356621B2 (ja) 撮像装置及び撮像方法
TWI399977B (zh) 攝影裝置及程式
US8823814B2 (en) Imaging apparatus
JP2009284394A (ja) 撮像装置および撮像方法
JP2001223932A (ja) 撮像装置及びデジタルカメラ
JP2013229914A (ja) 撮像装置、画像再生装置、画像再生プログラム
JP2015194587A (ja) 画像データ処理装置、画像データ処理方法、画像歪み対応処理装置、画像歪み対応処理方法
JP2006020111A (ja) カメラ
JP2006293851A (ja) 画像合成装置及び方法、撮像装置並びに記録媒体
JP2011035752A (ja) 撮像装置
JP2007221711A (ja) センサユニット、及び、電子機器
WO2013031155A1 (ja) 撮像装置
JP5962974B2 (ja) 撮像装置、撮像方法、及びプログラム
JP2017085466A (ja) 撮像装置、及びその制御方法
WO2010131724A1 (ja) デジタルカメラ
JP2006295329A (ja) 画像処理装置、撮像装置、画像処理方法
JP5166966B2 (ja) カメラ装置、合成画像作成支援装置、合成画像作成支援方法、及び合成画像作成支援プログラム
JP2013121104A (ja) 電子カメラ
JP2011211260A (ja) パノラマ画像撮像装置及びそのパノラマ画像合成方法
JP4556745B2 (ja) 画像合成装置及び方法、並びに記録媒体
US20220303465A1 (en) Imaging apparatus
JP4575022B2 (ja) 撮像装置
JP2011135374A (ja) ３次元デジタルカメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060523

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090317

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090330

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120417

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120417

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120417

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130417

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130417

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140417

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250