JP4172512B2 - パノラマ撮像装置 - Google Patents

パノラマ撮像装置 Download PDF

Info

Publication number
JP4172512B2
JP4172512B2 JP2006234562A JP2006234562A JP4172512B2 JP 4172512 B2 JP4172512 B2 JP 4172512B2 JP 2006234562 A JP2006234562 A JP 2006234562A JP 2006234562 A JP2006234562 A JP 2006234562A JP 4172512 B2 JP4172512 B2 JP 4172512B2
Authority
JP
Japan
Prior art keywords
image
lens
angle
images
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006234562A
Other languages
English (en)
Other versions
JP2008060856A (ja
Inventor
良純 中尾
孝 豊田
康生 政木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Funai Electric Co Ltd
Original Assignee
Funai Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Funai Electric Co Ltd filed Critical Funai Electric Co Ltd
Priority to JP2006234562A priority Critical patent/JP4172512B2/ja
Priority to EP07016908A priority patent/EP1895345B1/en
Priority to DE602007005314T priority patent/DE602007005314D1/de
Priority to US11/846,806 priority patent/US20080068452A1/en
Priority to CNA2007101471558A priority patent/CN101135838A/zh
Publication of JP2008060856A publication Critical patent/JP2008060856A/ja
Application granted granted Critical
Publication of JP4172512B2 publication Critical patent/JP4172512B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • G02B3/0075Arrays characterized by non-optical structures, e.g. having integrated holding or alignment means
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B19/00Condensers, e.g. light collectors or similar non-imaging optics
    • G02B19/0004Condensers, e.g. light collectors or similar non-imaging optics characterised by the optical means employed
    • G02B19/0028Condensers, e.g. light collectors or similar non-imaging optics characterised by the optical means employed refractive and reflective surfaces, e.g. non-imaging catadioptric systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B19/00Condensers, e.g. light collectors or similar non-imaging optics
    • G02B19/0033Condensers, e.g. light collectors or similar non-imaging optics characterised by the use
    • G02B19/0076Condensers, e.g. light collectors or similar non-imaging optics characterised by the use for use with a detector
    • G02B19/008Condensers, e.g. light collectors or similar non-imaging optics characterised by the use for use with a detector adapted to collect light from a complete hemisphere or a plane extending 360 degrees around the detector
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/04Prisms
    • G02B5/045Prism arrays

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、パノラマ撮像装置に関する。
従来から、パノラマ撮像装置として魚眼レンズを用いて広角の被写角度の領域からの光を集光して撮像するものが知られている。
また、近年、撮像した画像をディジタル情報に変換して処理する技術の進歩に伴い、撮像領域を所定角度ずつずらして撮像された複数枚の画像を接合して1枚のパノラマ画像に再生するパノラマ撮像装置が種々開発されている。
上記撮像領域を所定角度ずつずらして撮像するための構成としては、大別して、1台の撮像装置内に複数のレンズ光学系が所定角度ずつずらして設けられ、それら複数のレンズ光学系によって形成される複数の像がそれぞれ個別の撮像素子によって撮像される構成と、1つのレンズ光学系が回動装置によって機械的に所定角度ずつ回動されるように構成され、所定角度の回動ごとに異なった領域が撮像される構成とがある。
一方、光学系によって形成される像を画像情報に変換する固体撮像素子において、固体撮像素子上に形成される像の読出し順序を制御することによって表示装置に90°又は270°回転された画像を高速で再生できる撮像機器が知られている(例えば、特許文献1参照)。
また、固体撮像素子からの読出しアドレスを逆順に変換する逆方向アドレス生成手段を備えることによって回路規模を大きくすることなく特殊な読出しモードを実現できる撮像デバイスが知られている(例えば、特許文献2参照)。
さらに、任意の領域における画素の読出し走査が行えるように、読出しアドレスを出力するデコーダに演算回路を介して走査開始アドレス情報と加、減数情報を入力できるように構成されたイメージセンサ(例えば、特許文献3参照)や、全体の画素領域を複数の小区画の画素領域に分割することによって画像品位を向上させる放射線撮像装置(例えば、特許文献4参照)が知られている。
特開2003−283792号公報 特開2004−274306号公報 特開2003−348460号公報 特開2002−369078号公報
ところで、上述の光学系に魚眼レンズを用いるパノラマ撮像装置では、得られる像の歪が大きく、得られた像をディジタル的に処理して正常なパノラマ画像に再生するためには複雑な処理工程が必要であるという問題がある。
また、撮像領域を所定角度ずつずらして撮像された複数枚の画像を接合して1枚のパノラマ画像に再生するパノラマ撮像装置(以下、画像接合型パノラマ撮像装置という)では、1台の撮像装置内に複数のレンズ光学系を設けなければならないとか、レンズ光学系を回動させるための装置を設けなければならないことから装置全体が嵩高になるといった問題がある。
そこで装置全体を嵩張らないようにするために、レンズ光学系において光の進行方向を変更可能なプリズム等の光学部材を採用する構成が想起されるが、この場合には光学部材の作用によって撮像素子上に形成される像がミラー反転され、ミラー反転された像を正常な像に変換しつつ1枚のパノラマ画像に再生する必要があるため、画像再生の処理工程が複雑化するといった問題が生じる。
そこで、本発明は、画像接合型パノラマ撮像装置において、装置全体を薄型で嵩張らないように構成することが可能であり、かつ所定角度ずつずらして個別に撮像された像をパノラマ画像に再生するための処理工程が複雑化することを抑制できるパノラマ撮像装置を提供することを目的とする。
上記目的を達成するために、請求項1の発明は、広角の被写角度から入射する光を、所定の被写角度ごとに集光して焦点平面に複数の像を形成させるレンズ光学系と、前記焦点平面に配置され前記レンズ光学系によって形成される複数の像を電子的な画像情報へ変換する撮像手段と、前記撮像手段によって変換された複数の像の画像情報を接合してパノラマ画像に再生する画像再生手段とを備えるパノラマ撮像装置において、前記レンズ光学系が、前記被写角度の正面領域から入射する光を受光し上下左右が反転した像を形成するセンタレンズと、該センタレンズと光軸が平行であって前記被写角度の左右領域から入射する光を受光し上下左右が反転した像を形成する左右のサイドレンズとが一平面上に配置された光学レンズアレイと、前記左右のサイドレンズの光入射側に設けられ、前記被写角度の左右領域から入射する光を、前記各サイドレンズの光軸に一致するようにミラー反射させて前記各サイドレンズへ案内する左右の直角プリズムを備え、前記撮像手段が、行列状に配置された単位画素から構成され、前記センタレンズにより形成される前記被写角度の正面領域の像(以下、正面領域の像という)と前記左右のサイドレンズにより形成される前記被写角度の左右領域の像(以下、左右領域の像という)とが前記単位画素の行方向に沿って、それぞれ中央とその左右に並んで形成されるアドレス読出し型固体撮像素子と、前記アドレス読出し型固体撮像素子からの読出し方向において、列方向については、前記正面領域の像と前記左右領域の像を、それぞれ前記センタレンズと前記サイドレンズによる上下反転の影響が解消される方向に読出し、行方向については、前記左右領域の像の前記直角プリズムによるミラー反射の影響が解消されるように、前記正面領域の像と前記左右領域の像とで読出し方向を逆転させて読出す読出し手段を備え、前記画像再生手段が、前記読出し手段によって読出される前記正面領域の像と前記左右領域の像をそのまま接合して広角のパノラマ画像に再生することを特徴とする。
請求項2の発明は、広角の被写角度から入射する光を、所定の被写角度ごとに集光して焦点平面に複数の像を形成させるレンズ光学系と、前記焦点平面に配置され前記レンズ光学系によって形成される複数の像を電子的な画像情報へ変換する撮像手段と、前記撮像手段によって変換された複数の像の画像情報を接合してパノラマ画像に再生する画像再生手段とを備えるパノラマ撮像装置において、前記レンズ光学系が、前記被写角度の正面領域から入射する光を受光するセンタレンズと、該センタレンズと光軸が平行であって前記被写角度の左右領域から入射する光を受光する左右のサイドレンズとが一平面上に配置された光学レンズアレイと、前記左右のサイドレンズの光入射側に設けられ、前記被写角度の左右領域から入射する光を、前記各サイドレンズの光軸に一致するようにミラー反射させて前記各サイドレンズへ案内する左右の光学部材を備え、前記撮像手段が、行列状に配置された単位画素から構成され、前記センタレンズにより形成される前記被写角度の正面領域の像(以下、正面領域の像という)と前記左右のサイドレンズにより形成される前記被写角度の左右領域の像(以下、左右領域の像という)とが前記単位画素の行又は列方向に沿って並んで形成されるアドレス読出し型固体撮像素子と、前記アドレス読出し型固体撮像素子上に形成される前記左右領域の像について、前記光学部材によるミラー反射の影響が解消されるように、前記正面領域の像と前記左右領域の像とでは、前記単位画素の行又は列方向に沿う読出し方向を逆転させて読出す読出し手段を備え、前記画像再生手段が、前記読出し手段によって読出される前記正面領域の像と前記左右領域の像をそのまま接合して広角のパノラマ画像に再生することを特徴とする。
請求項3の発明は、請求項2の発明において、前記光学部材が直角プリズムであることを特徴とする。
本発明によれば、レンズ光学系が、センタレンズとサイドレンズが一平面上に配置された光学レンズアレイと、被写角度の左右領域から入射する光をサイドレンズへ案内するプリズム等の光学部材とを備えるので、装置全体を薄型で嵩張らないように構成することができる。また、アドレス読出し型固体撮像素子上に形成される像の固体撮像素子からの読出しが、被写角度の左右領域の像について光学部材によるミラー反射の影響が解消されるように、正面領域の像と左右領域の像とでは読出し方向を逆転させて行われるので、画像再生手段は、読出される正面領域の像と左右領域の像をそのまま接合すればよい。従って、パノラマ画像に再生するための処理工程が複雑化することが抑制される。
以下、本発明の一実施形態に係るパノラマ撮像装置について、図1乃至図9を参照して説明する。本実施形態のパノラマ撮像装置1は、図1に示されるように、120°の被写角度から入射する光を集光して所定の焦点平面に結像させるレンズ光学系2と、レンズ光学系2の焦点平面に配置されレンズ光学系2によって結像される像を電子的な画像情報へ変換するアドレス読出し型固体撮像素子3(以下、固体撮像素子という)と、固体撮像素子3上に形成された像を後述する所定の順序で読出す水平走査回路21及び垂直走査回路22(読出し手段:図6参照)と、読出された画像情報をADコンバータ4を介してディジタル信号として取込むDSP5(Digital Signal Processor)と、DSP5に取込まれた画像情報に画像の接合等の処理を施してパノラマ画像に再生する画像再生用マイクロプロセッサ6(画像再生手段)と、画像再生用マイクロプロセッサ6によって再生された画像を表示する液晶パネル等の表示装置7を備える。
本実施形態のレンズ光学系2は、図1及び図2に示されるように光軸Lが互いに平行な3行3列の9個の光学レンズ8が1枚の透明基板9に片凸レンズとして一体的に形成された光学レンズアレイ11と、光学レンズアレイ11の光入射側において、左右の列の光学レンズ8にそれぞれ対向して配置された45°直角プリズム12とを備える。9個の光学レンズ8は、全て40°の画角を有する。光学レンズ8は、透明基板9に一体的に形成されたものではなく、支持ホルダによって2次元平面上に配列されたものであってもよい。
レンズ光学系2について、図3を参照してさらに詳細に説明する。光学レンズアレイ11は、基板13上に固定されたレンズホルダ14によって支持されており、レンズホルダ14の各光学レンズ8に対応する位置には絞り開口15が形成されている。また、45°直角プリズム12は、レンズホルダ14に固定されたプリズムホルダ16を介して支持されており、光学レンズアレイ11に対して所定の角度で傾斜して配置されている。
基板13上には固体撮像素子3が固定され、固体撮像素子3と光学レンズ8の間には、各光学レンズ8から出射して固体撮像素子3上に到達する光が互いに干渉しないように光軸L(図1参照)に直交する平面を区画する隔壁17が設けられている。また、固体撮像素子3の上面には赤外線カットフィルタ18が設けられている。
光学レンズアレイ11の中央の列の3個の光学レンズ8c(以下、センタレンズという)は、被写角度の正面略40°の領域から入射する光を直接受光し、左右の列の各3個の光学レンズ8s(以下、サイドレンズという)は、被写角度の左右のそれぞれ略40°の領域から入射する光を45°直角プリズム12を介して受光する。
45°直角プリズム12の光学レンズアレイ11に対する配置について、図4を参照してさらに具体的に説明する。45°直角プリズム12は、直角を挟む2つの辺12a、12cのうち外側向きの一辺12aから光が入射し、入射した光が斜辺12bによって反射されて他の一辺12cから出射するように配置されている。なお、本明細書においては、プリズムの光が入射する面、光が出射する面等を、光の進行経路を示す側面図と対比させて説明する都合上、「一辺」、「斜辺」等の用語を用いて示す。
具体的には、45°直角プリズム12は、図4に示されるように、サイドレンズ8sに対向する一辺12cが光学レンズアレイ11に対して25°の角度に傾斜するように配置され、斜辺12bが光学レンズアレイ11に対して70°の角度に傾斜するように配置される。これによって、センタレンズ8cから向かって正面方向への略40°の範囲(正面領域Zc)には、45°直角プリズムが存在せず、センタレンズ8cへ入射する光が遮られないように構成される。
また、45°直角プリズム12の直角を挟む2つの辺12a、12cのうち外側向きの一辺12aから入射する光のうち略40°の角度の範囲(左右領域Zs)の光がサイドレンズ8sによって集光され、固体撮像素子3上に像が形成される。
次に固体撮像素子3について、図1、図5及び図6を参照して説明する。本実施形態の固体撮像素子3は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサから構成され、多数配置された単位画素Pの行列が、図1に示されるように光学レンズアレイ11の光学レンズ8の行列と平行になるように配置される。
固体撮像素子3の単位画素Pの行に平行な辺には、図6に示されるように水平走査回路21(読出し手段)が備えられ、同じく単位画素Pの列に平行な辺には、垂直走査回路22(読出し手段)が備えられ、単位画素Pに電荷として蓄積される画像情報が、水平走査回路21及び垂直走査回路22によって後述する順序に従って読出される。
次に、固体撮像素子3上に形成される像について、図7を参照して説明する。いま、パノラマ撮像装置1の前方に、図7に示されるように120°の被写角度に亘って40°ごとの等間隔に「L」「C」「R」と表示された被写体Bが配置されている場合を想定する。この場合、中央の「C」(中央40°の領域Zc)の像は、センタレンズ8cによって上下及び左右が反転されて個体撮像素子3の中央の列に3個の個眼像(正面領域の像)として形成される。
中央列の個眼像についてさらに説明する。被写体「C」の像は、図7に示されるように、固体撮像素子3の背面(A側)から透視して見ると、上下左右が反転された像として現れるが、図5に示されるように、固体撮像素子3の正面から見ると、上下が反転された像として現れる。
また、左の「L」(左側40°の領域Zs)と右の「R」(右側40°の領域Zs)の像は、45°直角プリズム12によって左右反転(ミラー反射)された後にそれぞれサイドレンズ8sによって上下及び左右が反転されて固体撮像素子3の左右の列に各3個の個眼像(左右領域の像)として形成される。
左右列の個眼像についてさらに説明する。被写体「L」、「R」の像は、図7に示されるように、固体撮像素子3の背面(A側)から透視して見ると上下が反転された像として現れるが、図5に示されるように、固体撮像素子3の正面から見ると、「C」に対する左右位置が入れ替わると共に、上下及び左右が反転された像として現れる。
これら9個の個眼像が画像情報として読出され、画像再生用マイクロプロセッサ6によって各個眼像の側縁部(重なり部)同士が接合されて元の120°の画角のパノラマ画像WP(図9参照)に再生されるのであるが、固体撮像素子3を構成する単位画素Pからの画像情報の読出し順序が次に説明するようになっているので、固体撮像素子3から読出された各個眼像(「L」「C」「R」)は、読出されたままの状態で、「L」と「R」の「C」に対する左右位置の入れ替わりが解消されると共に、それぞれ上下及び左右の反転が解消された画像W(図8参照)になる。
水平走査回路21と垂直走査回路22によって制御される画素の読出し順序が、図5において矢印s1、s2、s3、s4・・で示される。なお、固体撮像素子3上における個眼像同士の境界が図5において太線Fで示され、行方向と列方向における順の読出し方向が図5においてそれぞれ矢印X、矢印Yで示される。
具体的な画素の読出し順序は、図5中のs1に示されるように、まず右下角の単位画素Pから読出しが開始されて固体撮像素子3の最下行に沿って個眼像「L」の左端まで順方向(X方向)に読出される。次に、s2に示されるように、読出し位置が個眼像「C」の左端へジャンプされ、個眼像「C」の左端の単位画素Pから固体撮像素子3の最下行に沿って個眼像「C」の右端まで逆方向(X反対方向)に読出される。次に、s3に示されるように、読出し位置が個眼像「R」の右端へジャンプされ、個眼像「R」の右端の単位画素Pから固体撮像素子3の最下行に沿って個眼像「R」の左端まで順方向(X方向)に読出される。
上記の順序で単位画素Pの最下行が読出された後、下から2行目についても同様に、図5のs4に示されるように、個眼像「L」について順方向に読出され、s5に示されるように個眼像「C」について逆方向に読出され、s6に示されるように、個眼像「R」について順方向に読出される。以後、同様に行方向の読出しが最上行まで繰返されて全ての単位画素Pから画像情報が読出される。
上記の順序で読出された画像情報は、読出された順序のままDSP5を介して画像再生用マイクロプロセッサ6に取込まれる。画像再生用マイクロプロセッサ6に取込まれた画像情報は、図8に示されるように、被写体「L」「C」「R」の像が正規の位置に配置され、かつ各像についての上下及び左右の反転が解消された画像Wになる。
従って、次に画像再生用マイクロプロセッサ6は、図8に示される画像Wのうち、例えば中段の画像情報に基づいて、像に不連続部分が生じないように各個眼像「L」「C」「R」の側縁部(重なり部)の位置及び幅を調整して接合するだけの比較的簡単な処理によって図9に示されるパノラマ画像WPを再生する。
なお、各個眼像「L」「C」「R」の側縁部(重なり部)は、各光学レンズ8が40°の画角を有し、各45°直角プリズム12が略40°の領域の入射光を集光するので、最小限の幅に抑えられる。
固体撮像素子3からの画像情報の読出しが、仮に上記の順序ではなく、個眼像「L」「C」「R」について全て順方向(X方向)であった場合には、画像再生用マイクロプロセッサ6が取込む画像情報は、中央の「C」の画像が左右反転された像になるので、画像再生用マイクロプロセッサ6は、取込んだ画像情報を別に設けられるバッファメモリ等に一旦記憶させた上で左右反転された像を正常な像に戻す処理を行わなければならず、メモリが余分に必要な上、所定角度ずつずらして個別に撮像された像をパノラマ画像WPに再生するための処理工程が複雑化する。
次に、上記画素の読出し順序を実現する具体的な回路について、図6を参照して説明する。説明を簡略化するために、固体撮像素子3は、6行6列に配置された36個の単位画素P11、P12、・・P66から構成されるものとする。そして、図5における右下の個眼像「L」は、図6における右下の4つの単位画素P55、P56、P65、P66によって形成されるものとする。
各単位画素P11、P12、・・P66は、行ごとに共通のゲート配線G1、G2、・・G6によって垂直走査回路22に接続され、列ごとに共通の信号配線H1、H2、・・H6に接続されている。各信号配線H1、H2、・・H6は、水平走査回路21からの信号によって導通・非導通が切替えられるスイッチング素子J1、J2、・・J6に接続されている。ゲート配線G1、G2、・・G6には、垂直走査回路22から所定の時間間隔でパルス電圧が印加され、図6における最下行のゲート配線G6から最上行のゲート配線G1へと順にパルス電圧が印加される。電圧が印加されたゲート配線G1、G2、・・G6と、スイッチング素子J1、J2、・・J6が導通された信号配線H1、H2、・・H6の交差する位置の単位画素P11、P12、・・P66に蓄積された電荷が該当の単位画素から信号配線H1、H2、・・H6を通じて信号(画像情報)として出力される。
そして、スイッチング素子は、水平走査回路21内に備えられたロジック回路によってスイッチング素子J6、スイッチング素子J5、スイッチング素子J3、スイッチング素子J4、スイッチング素子J2、スイッチング素子J1の順に導通されるように構成されている。従って、ゲート配線が、上記のようにゲート配線G6、ゲート配線G5、・・ゲート配線G1の順にパルス電圧を印加されることと相俟って、各単位画素Pの画像情報は、単位画素P66、単位画素P65、単位画素P63、単位画素P64、単位画素P62、単位画素P61、単位画素P56、単位画素P55、・・単位画素P11の順に読出される。これによって、上述の読出し順序(s1、s2、s3・・)が実現される。
なお、被写角度の左右領域から入射する光を、各サイドレンズ8sの光軸Lに一致するようにミラー反射させて案内する45°直角プリズム12は、60°−30°直角プリズム、正三角形プリズム等の他の種類のプリズム(光学部材)であってもよいし、複数枚のミラーが組合わされて像が反転される光学部材であってもよい。
また、本実施形態では、左右3個ずつのサイドレンズ8sに対してそれぞれ1個の45°直角プリズム12が設けられているが、左右3個のサイドレンズ8sのそれぞれに対して傾斜角度を異ならせて別々の45°直角プリズムが設けられ、それらの45°直角プリズムによって被写角度の左右領域Zsのうち個別に分割された別々の領域からの光が別々に集光されるように構成してもよい。
さらに、光学レンズアレイ11は、3行3列の光学レンズ8を備えるものに限られず、m行n列(但し、mは1以上の整数、nは3以上の整数)の光学レンズ8を備えるものであってもよい。
以上のように、本発明のパノラマ撮像装置1によれば、レンズ光学系2が、センタレンズ8cとサイドレンズ8sが一平面上に配置された光学レンズアレイ11と、被写角度の左右領域Zsから入射する光をサイドレンズ8sへ案内する直角プリズム12等の光学部材とを備えるので、装置全体を薄型で嵩張らないように構成することができる。また、固体撮像素子3上に形成される像の読出しが、被写角度の左右領域Zsの像について光学部材によるミラー反射の影響が解消されるように、正面領域Zcの像と左右領域Zsの像とでは読出し方向を逆転させて行われるので、画像再生用マイクロプロセッサ6は、読出される正面領域Zcの像と左右領域Zsの像をそのまま接合すればよい。従って、パノラマ画像WPに再生するための処理工程が複雑になることが抑制される。
本発明の一実施形態に係るパノラマ撮像装置の概略構成を示す図。 同パノラマ撮像装置におけるレンズ光学系の正面図。 同パノラマ撮像装置におけるレンズ光学系の側断面図。 同パノラマ撮像装置のレンズ光学系における光の進行経路を示す側面図。 同パノラマ撮像装置における固体撮像素子上に形成される正面領域及び左右領域の像を示す正面図。 同パノラマ撮像装置における固体撮像素子の回路構成を示す正面図。 同パノラマ撮像装置と略120°の被写角度に亘る被写体との関係を示す斜視図。 同パノラマ撮像装置における固体撮像素子から読出された画像情報を示す図。 同パノラマ撮像装置における画像再生用マイクロプロセッサによって再生されたパノラマ画像を示す図。
符号の説明
1 パノラマ撮像装置
2 レンズ光学系
3 固体撮像素子(アドレス読出し型固体撮像素子)
6 画像再生用マイクロプロセッサ(画像再生手段)
8c センタレンズ
8s サイドレンズ
11 光学レンズアレイ
12 45°直角プリズム(光学部材)
21 水平走査回路(読出し手段)
22 垂直走査回路(読出し手段)
L 光軸
P、P11、P12、・・P66 単位画素
WP パノラマ画像
X 行方向における順の読出し方向
Y 列方向における順の読出し方向
Zc 正面領域
Zs 左右領域

Claims (3)

  1. 広角の被写角度から入射する光を、所定の被写角度ごとに集光して焦点平面に複数の像を形成させるレンズ光学系と、
    前記焦点平面に配置され前記レンズ光学系によって形成される複数の像を電子的な画像情報へ変換する撮像手段と、
    前記撮像手段によって変換された複数の像の画像情報を接合してパノラマ画像に再生する画像再生手段とを備えるパノラマ撮像装置において、
    前記レンズ光学系が、
    前記被写角度の正面領域から入射する光を受光し上下左右が反転した像を形成するセンタレンズと、該センタレンズと光軸が平行であって前記被写角度の左右領域から入射する光を受光し上下左右が反転した像を形成する左右のサイドレンズとが一平面上に配置された光学レンズアレイと、
    前記左右のサイドレンズの光入射側に設けられ、前記被写角度の左右領域から入射する光を、前記各サイドレンズの光軸に一致するようにミラー反射させて前記各サイドレンズへ案内する左右の直角プリズムを備え、
    前記撮像手段が、
    行列状に配置された単位画素から構成され、前記センタレンズにより形成される前記被写角度の正面領域の像(以下、正面領域の像という)と前記左右のサイドレンズにより形成される前記被写角度の左右領域の像(以下、左右領域の像という)とが前記単位画素の行方向に沿って、それぞれ中央とその左右に並んで形成されるアドレス読出し型固体撮像素子と、
    前記アドレス読出し型固体撮像素子からの読出し方向において、列方向については、前記正面領域の像と前記左右領域の像を、それぞれ前記センタレンズと前記サイドレンズによる上下反転の影響が解消される方向に読出し、行方向については、前記左右領域の像の前記直角プリズムによるミラー反射の影響が解消されるように、前記正面領域の像と前記左右領域の像とで読出し方向を逆転させて読出す読出し手段を備え、
    前記画像再生手段が、
    前記読出し手段によって読出される前記正面領域の像と前記左右領域の像をそのまま接合して広角のパノラマ画像に再生することを特徴とするパノラマ撮像装置。
  2. 広角の被写角度から入射する光を、所定の被写角度ごとに集光して焦点平面に複数の像を形成させるレンズ光学系と、
    前記焦点平面に配置され前記レンズ光学系によって形成される複数の像を電子的な画像情報へ変換する撮像手段と、
    前記撮像手段によって変換された複数の像の画像情報を接合してパノラマ画像に再生する画像再生手段とを備えるパノラマ撮像装置において、
    前記レンズ光学系が、
    前記被写角度の正面領域から入射する光を受光するセンタレンズと、該センタレンズと光軸が平行であって前記被写角度の左右領域から入射する光を受光する左右のサイドレンズとが一平面上に配置された光学レンズアレイと、
    前記左右のサイドレンズの光入射側に設けられ、前記被写角度の左右領域から入射する光を、前記各サイドレンズの光軸に一致するようにミラー反射させて前記各サイドレンズへ案内する左右の光学部材を備え、
    前記撮像手段が、
    行列状に配置された単位画素から構成され、前記センタレンズにより形成される前記被写角度の正面領域の像(以下、正面領域の像という)と前記左右のサイドレンズにより形成される前記被写角度の左右領域の像(以下、左右領域の像という)とが前記単位画素の行又は列方向に沿って並んで形成されるアドレス読出し型固体撮像素子と、
    前記アドレス読出し型固体撮像素子上に形成される前記左右領域の像について、前記光学部材によるミラー反射の影響が解消されるように、前記正面領域の像と前記左右領域の像とでは、前記単位画素の行又は列方向に沿う読出し方向を逆転させて読出す読出し手段を備え、
    前記画像再生手段が、
    前記読出し手段によって読出される前記正面領域の像と前記左右領域の像をそのまま接合して広角のパノラマ画像に再生することを特徴とするパノラマ撮像装置。
  3. 前記光学部材が直角プリズムであることを特徴とする請求項2に記載のパノラマ撮像装置。
JP2006234562A 2006-08-30 2006-08-30 パノラマ撮像装置 Expired - Fee Related JP4172512B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2006234562A JP4172512B2 (ja) 2006-08-30 2006-08-30 パノラマ撮像装置
EP07016908A EP1895345B1 (en) 2006-08-30 2007-08-29 Panoramic imaging device
DE602007005314T DE602007005314D1 (de) 2006-08-30 2007-08-29 Vorrichtung für Panorama Aufnahmen
US11/846,806 US20080068452A1 (en) 2006-08-30 2007-08-29 Panoramic Imaging Device
CNA2007101471558A CN101135838A (zh) 2006-08-30 2007-08-30 全景成像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006234562A JP4172512B2 (ja) 2006-08-30 2006-08-30 パノラマ撮像装置

Publications (2)

Publication Number Publication Date
JP2008060856A JP2008060856A (ja) 2008-03-13
JP4172512B2 true JP4172512B2 (ja) 2008-10-29

Family

ID=38704966

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006234562A Expired - Fee Related JP4172512B2 (ja) 2006-08-30 2006-08-30 パノラマ撮像装置

Country Status (5)

Country Link
US (1) US20080068452A1 (ja)
EP (1) EP1895345B1 (ja)
JP (1) JP4172512B2 (ja)
CN (1) CN101135838A (ja)
DE (1) DE602007005314D1 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7630006B2 (en) * 1997-10-09 2009-12-08 Fotonation Ireland Limited Detecting red eye filter and apparatus using meta-data
US9769354B2 (en) 2005-03-24 2017-09-19 Kofax, Inc. Systems and methods of processing scanned data
KR101204888B1 (ko) * 2007-08-31 2012-11-26 삼성테크윈 주식회사 디지털 촬영장치, 그 제어방법 및 이를 실행시키기 위한프로그램을 저장한 기록매체
US7880807B2 (en) * 2007-12-26 2011-02-01 Sony Ericsson Mobile Communications Ab Camera system with mirror arrangement for generating self-portrait panoramic pictures
EP2182718A1 (en) * 2008-10-29 2010-05-05 Weistech Technology Co., Ltd. Multi-lens image sensor module
US9767354B2 (en) 2009-02-10 2017-09-19 Kofax, Inc. Global geographic information retrieval, validation, and normalization
US9576272B2 (en) 2009-02-10 2017-02-21 Kofax, Inc. Systems, methods and computer program products for determining document validity
JP2010263478A (ja) * 2009-05-08 2010-11-18 Olympus Imaging Corp カメラユニットおよびこれを用いるカメラシステム
GB2473636A (en) * 2009-09-18 2011-03-23 Sharp Kk Multiple view display comprising lenticular lens having regions corresponding to two different centres of curvature
CN102033410B (zh) * 2009-09-30 2013-11-20 鸿富锦精密工业(深圳)有限公司 拍摄系统
CN101980080B (zh) * 2010-09-19 2012-05-23 华为终端有限公司 共光心摄像机、图像处理方法及装置
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
CN102087358A (zh) * 2010-11-29 2011-06-08 电子科技大学 一种焦平面线阵无源毫米波成像系统
US8855375B2 (en) 2012-01-12 2014-10-07 Kofax, Inc. Systems and methods for mobile image capture and processing
US10146795B2 (en) 2012-01-12 2018-12-04 Kofax, Inc. Systems and methods for mobile image capture and processing
CN103595900A (zh) * 2012-08-15 2014-02-19 新普科技股份有限公司 影像撷取系统及其影像撷取方法
US9208536B2 (en) * 2013-09-27 2015-12-08 Kofax, Inc. Systems and methods for three dimensional geometric reconstruction of captured image data
US9355312B2 (en) 2013-03-13 2016-05-31 Kofax, Inc. Systems and methods for classifying objects in digital images captured using mobile devices
US20140316841A1 (en) 2013-04-23 2014-10-23 Kofax, Inc. Location-based workflows and services
JP2016518790A (ja) 2013-05-03 2016-06-23 コファックス, インコーポレイテッド モバイル装置を用いて取込まれたビデオにおけるオブジェクトを検出および分類するためのシステムおよび方法
JP6022428B2 (ja) * 2013-09-17 2016-11-09 日本電信電話株式会社 画像撮影装置及び画像撮影方法
WO2015073920A1 (en) 2013-11-15 2015-05-21 Kofax, Inc. Systems and methods for generating composite images of long documents using mobile video data
US9939619B1 (en) * 2014-07-24 2018-04-10 Hoyos Integrity Corporation Optical stack for panoramic optical device
US9760788B2 (en) 2014-10-30 2017-09-12 Kofax, Inc. Mobile document detection and orientation based on reference object characteristics
US10242285B2 (en) 2015-07-20 2019-03-26 Kofax, Inc. Iterative recognition-guided thresholding and data extraction
US10467465B2 (en) 2015-07-20 2019-11-05 Kofax, Inc. Range and/or polarity-based thresholding for improved data extraction
US9779296B1 (en) 2016-04-01 2017-10-03 Kofax, Inc. Content-based detection and three dimensional geometric reconstruction of objects in image and video data
US10803350B2 (en) 2017-11-30 2020-10-13 Kofax, Inc. Object detection and image cropping using a multi-detector approach
JP2020042228A (ja) * 2018-09-13 2020-03-19 キヤノン株式会社 撮像装置
CN111238392B (zh) * 2018-11-28 2021-11-02 Oppo(重庆)智能科技有限公司 承载体及电子设备的检测装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE1016033B (de) 1954-07-03 1957-09-19 Leitz Ernst Gmbh Vorrichtung zur Aufnahme oder Wiedergabe von Panoramabildern
US3113484A (en) 1963-07-29 1963-12-10 Baker George Apparatus for producing panoramic and panoramic stereoscopic images
DE3717906A1 (de) 1987-05-27 1988-12-08 Zeiss Carl Fa Weitwinkel-beobachtungsfenster
US6747702B1 (en) * 1998-12-23 2004-06-08 Eastman Kodak Company Apparatus and method for producing images without distortion and lateral color aberration
JP2002369078A (ja) * 2001-06-08 2002-12-20 Canon Inc 放射線撮像装置及びそれを用いた放射線撮像システム
JP2003283792A (ja) * 2002-03-22 2003-10-03 Ricoh Co Ltd 撮像機器及び画像データの変換方法
JP2003348460A (ja) * 2002-05-23 2003-12-05 Honda Motor Co Ltd イメージセンサ
JP4232485B2 (ja) * 2003-03-07 2009-03-04 ソニー株式会社 読出アドレス制御方法および装置、並びに半導体システムおよび撮像デバイス
JP4306341B2 (ja) * 2003-06-30 2009-07-29 カシオ計算機株式会社 画像撮影装置
JP2005051419A (ja) * 2003-07-31 2005-02-24 Kyocera Corp 携帯端末装置および撮像ユニット
DE102004003013B3 (de) * 2004-01-20 2005-06-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bilderfassungssystem und dessen Verwendung
JP4259541B2 (ja) 2006-04-18 2009-04-30 船井電機株式会社 パノラマ撮像装置
JP4396674B2 (ja) * 2006-08-11 2010-01-13 船井電機株式会社 パノラマ撮像装置

Also Published As

Publication number Publication date
CN101135838A (zh) 2008-03-05
EP1895345B1 (en) 2010-03-17
DE602007005314D1 (de) 2010-04-29
EP1895345A1 (en) 2008-03-05
US20080068452A1 (en) 2008-03-20
JP2008060856A (ja) 2008-03-13

Similar Documents

Publication Publication Date Title
JP4172512B2 (ja) パノラマ撮像装置
JP4396674B2 (ja) パノラマ撮像装置
JP4259541B2 (ja) パノラマ撮像装置
JP4650367B2 (ja) 動き検出用撮像装置
JP6027560B2 (ja) 自動追尾撮像装置
US20080239135A1 (en) Multi-eye image pickup device
JP2013201466A (ja) 立体画像撮像装置
WO2016190437A1 (ja) 撮像表示システム
WO2012132088A1 (ja) 撮像装置及び交換レンズ
JPH08334667A (ja) 2眼式光学系
JP7235646B2 (ja) 撮像装置
JP2006352757A (ja) 撮像装置
JP2006126852A (ja) ミラースキャン機能を有する電子撮像装置
JP2009053709A (ja) パノラマ撮像装置
JPH11220664A (ja) 画像入力方法、画像入力装置、電子カメラ
JPH11234577A (ja) 撮像素子の解像度を向上させるための光経路屈折板を備えた画像処理装置
JPH09214991A (ja) 撮像装置
JP2007189472A (ja) 撮像装置および撮像素子
JP2002290805A (ja) 高解像度化固体撮像デバイスカメラ装置
JP2003330133A (ja) 複眼式光学系
JPH09200590A (ja) 撮像装置
JP2000193888A (ja) 顕微鏡装置
JP2003202635A (ja) 撮像装置
JPH06253183A (ja) 撮像装置
JPH10206939A (ja) 撮像装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080722

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080804

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110822

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110822

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120822

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees