JP5869106B2 - ステレオカメラ及びステレオカメラシステム - Google Patents

ステレオカメラ及びステレオカメラシステム Download PDF

Info

Publication number
JP5869106B2
JP5869106B2 JP2014513403A JP2014513403A JP5869106B2 JP 5869106 B2 JP5869106 B2 JP 5869106B2 JP 2014513403 A JP2014513403 A JP 2014513403A JP 2014513403 A JP2014513403 A JP 2014513403A JP 5869106 B2 JP5869106 B2 JP 5869106B2
Authority
JP
Japan
Prior art keywords
stereo camera
imaging
distance
subject
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014513403A
Other languages
English (en)
Other versions
JPWO2013165006A1 (ja
Inventor
隆義 長谷川
隆義 長谷川
勝久 田中
勝久 田中
信 角田
信 角田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central Engineering Co Ltd
Original Assignee
Central Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central Engineering Co Ltd filed Critical Central Engineering Co Ltd
Priority to JP2014513403A priority Critical patent/JP5869106B2/ja
Publication of JPWO2013165006A1 publication Critical patent/JPWO2013165006A1/ja
Application granted granted Critical
Publication of JP5869106B2 publication Critical patent/JP5869106B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00193Optical arrangements adapted for stereoscopic vision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/14Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19641Multiple cameras having overlapping views on a single scene
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19647Systems specially adapted for intrusion detection in or around a vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Mechanical Engineering (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Measurement Of Optical Distance (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Description

本発明は、複数のカメラから取得した複数の画像の視差を処理して前方の被写体までの距離を算出し、あるいは立体画像を生成するステレオカメラに関する。
従来より、2個のカメラの光軸を所定の間隔(基線長)だけ離して配置し、該2個のカメラから取り入れた2つの画像の視差を処理することにより前方の被写体までの距離を導出するステレオカメラが知られている。このステレオカメラは、被写体までの距離を測定するための距離測定装置として車両等に搭載され、車間距離警報、障害物警報を発する衝突防止システムに利用されている。
また、近年、薄型テレビなどにおいて立体画像を表示する表示機器が普及してきている。さらに、ディジタルスチルカメラやビデオカメラなどの電子撮像素子を用いた電子情報機器においても、立体画像を撮影・記録可能なものが知られている。この場合は、固体撮像素子としてCMOSイメージセンサやCCDイメージセンサを用いたカメラを左右対称に2つ配置し、これらのカメラにより被写体を撮影し、得られた画像情報を立体視可能な映像データとして記録媒体に記録する。
上記のステレオカメラにおいては、同時に撮影した左右のカメラで生じる視差は、左右のカメラを水平方向に一定の距離dだけ離して配置することにより生じる。しかしながら、望遠系の撮影光学系を用いて撮影を行う場合には、左右の撮影画それぞれのオーバーラップ領域が少なくなり、充分な視差を得ることが困難な場合があった。この問題を回避するために、左右に配置された少なくとも一対の撮影光学系と、この一対の撮影光学系の光軸が成す輻輳角を、被写体距離情報に応じて制御するようにしたステレオカメラが一般的になってきている。
ところで、ステレオカメラにおいては上述のように、2個の撮影光学系を通過した被写体からの光を撮像素子上に結像させ、撮像素子から得られた画像信号を処理することで被写体までの距離を測定したり、立体画像を生成することが多い。しかしながら、撮像素子における撮像光学系の光軸から離れた領域(特に周辺部)においては撮像光学系の歪曲収差や像面収差の影響によって得られる画像信号の品質が低下する場合があった。その結果、距離測定の精度が低下したり立体画像の品質が低下するなどの不都合が生じる場合があった。
また、一般に基線長を長くすることで左右のカメラ間に生じる視差を大きくすることができ距離測定の精度を向上させることができる。このことから、上記のような距離測定の精度低下があった場合には、これを補うために基線長をある程度長くする必要があり、装置の小型化の妨げになる場合があった。さらに、撮像光学系の歪曲収差や像面収差を小さく抑えるためには撮像光学系自体を大型化する必要があり、この理由によっても装置の小型化が困難となる場合があった。
特開2012−53303号公報 特開2007−101662号公報 特開2005−278133号公報 特開2001−284564号公報 特開平7−95623号公報
本発明は、上記の従来技術の問題点に鑑みて案出されたものであり、その目的は、ステレオカメラによる距離測定の精度あるいは立体画像の品質を向上させること、または、ステレオカメラの装置を小型化することを可能とする技術を提供することである。
本発明は、光学系と撮像素子を有する撮像部を複数備え、この撮像部で取得した被写体の画像信号から、被写体までの距離を測定したり立体画像を生成するステレオカメラに関する。そして、撮像部における撮像素子の受光面を、当該撮像部における光学系の収差を補正するように光軸方向に湾曲させたことを最大の特徴とする。
より具体的には、光学系と該光学系を通過した光が結像する撮像素子とを有する撮像部を複数備え、
前記複数の撮像部によって所定の被写体を撮影することで取得した画像信号に基づいて、前記被写体までの距離を導出しまたは前記被写体を含んだ立体画像を生成するステレオカメラであって、
前記複数の撮像部の少なくとも一部における前記撮像素子の受光面を、該撮像素子上に被写体の画像を結像する前記光学系の収差を補正するように光軸方向に湾曲させたことを特徴とする。
ここで、前述のように、光学系で被写体の画像を撮像素子に結像させた場合、撮像素子の受光面における光軸近くの中央部は問題ないが、光軸から離れた撮像素子の周辺部では、光学系の収差によって焦点ボケや画像の歪曲が生じる場合があった。ステレオカメラにおいては、この収差が原因で距離測定の精度が低下したり立体画像の品質が低下したりする場合があった。
これに対し、本発明では通常平面から構成される撮像素子の受光面を光学系の収差を補正するように光軸方向に湾曲させることとした。これにより、撮像素子の受光面の全面において光学系の収差による焦点ボケや画像の歪曲などを抑制することが可能となる。その結果、ステレオカメラにおける距離測定の精度低下や立体画像の品質低下を抑制することが可能となる。また、基線長の長さを短縮でき、光学系自体の小型化を図れるので、装置の小型化を促進することが可能となる。
なお、ここで光学系の収差とは、光学系の像面が平面からずれる像面歪曲の他、歪曲収差、球面収差、非点収差など撮像素子の受光面を湾曲させることで抑制できる収差を全て含む。
また、本発明においては、前記複数の撮像部は、光軸が所定の輻輳角で交差するように配置されており、
前記被写体に応じて前記輻輳角を変更する代わりに、前記被写体に応じて前記撮像素子の受光面において前記画像信号を取得するための領域を変更するようにしてもよい。
ステレオカメラにおける複数の撮像部の光軸は輻輳角と呼ばれる交差角で交差するように配置される場合があるが、この輻輳角の大きさは、距離測定や立体画像の生成に影響を与える。例えば、輻輳角を形成する光軸の交点における被写体は、生成した立体画像の再生時にはスクリーン上にあると視認される被写体となる。
従来のステレオカメラにおいては各撮像部を機構的に回動させることによって輻輳角を変更していた。この場合、各撮像部を回動させるための機構を必要とし、ステレオカメラの装置構成を複雑化、大型化させる原因となっていた。これに対し、本発明においては、被写体に応じて輻輳角を変更する代わりに、被写体に応じて撮像素子の受光面において画像信号を取得するための領域を変更するようにした。
すなわち、各撮像部の光軸の交点における被写体は各撮像部の撮像素子の光軸上に結像する。これに対し、輻輳角を変更したと仮定した場合に光軸の新たな交点となるべき点における被写体の画像は撮像素子の光軸とは外れた領域に結像されることとなる。複数の撮像部においてこの光軸とは外れた領域の画像信号を取得することで、実際に各撮像部を回動などしなくとも輻輳角を変更したのと同等の効果を得ることが可能である(以下、この制御によって得られる実質的な輻輳角を実質輻輳角ともいう。)。
なお、各撮像部の撮像素子の受光面が平面であっても、同様の制御は可能ではあるが、その場合、撮像素子の受光面における周辺部を使用することになるので、光学系の収差の影響下での制御となり、距離測定の精度や立体画像の品質が実質輻輳角によっては低下するという不都合があった。これに対し、本発明においては撮像素子が光学系の収差を補正するように湾曲しているため、実質輻輳角の値に依らず距離測定の精度や立体画像の品質を維持することが可能である。
また、本発明においては、前記複数の撮像部における光学系のうち少なくとも一部を一体的に形成するようにしてもよい。すなわち、上記の発明においては、撮像部を回動などさせずに被写体に応じて前記撮像素子の受光面において前記画像信号を取得するための領域を変更することで、実質輻輳角を変更する。従って、各撮像部の光学系どうしの相対位置を変更する必要がない。この点を利用して、本発明では各撮像部の光学系の少なくとも一部を一体的に形成することにした。これによれば、装置構成をより簡略化することができ装置コストの低減を促進することが可能となる。
また、本発明においては、上述の一体的に形成された光学系を通過する光が結像する撮像素子を一体的に形成するようにしてもよい。そうすることで、装置構成をさらに簡略化することができ装置コストの低減を促進することが可能となる。
また、本発明は、上記のステレオカメラにおいて取得した前記画像信号に基づいて、所定の機器に入力された指令信号を判別する指令信号判別装置であってもよい。この指令信号判別装置は、ステレオカメラによって取得した画像に応じて指令の内容を判別し、当該指令をデジタル機器などに付与するための装置である。たとえば、スマートテレビ装置において装置前の視聴者の動きをステレオカメラによって撮影し、その動きに応じてチャンネル変更などの指令内容を判別する装置である。
このような指令判別装置に対し、上記のステレオカメラを適用すれば、より精度の高い距離測定および画像形成によって、指令判別の精度を向上することが可能である。また、指令判別の空間的範囲をより正確に限定可能であるので、範囲外の人の動きによって指令判別が影響を受けるなどの不都合も抑制することが可能である。
また、本発明においては、さらに、前記複数の撮像部を、その光軸どうしは光軸前方において交わらずに該複数の撮像部における光学系の画角が互いに重なるように保持する保持手段と、
前記複数の撮像部により撮影された前記画角が重なった部分における被写体の画像信号から該被写体までの距離を検知する測距手段と、
を備えるようにしてもよい。
この発明においては複数の撮像部を、光軸が前方で交わらないように、すなわち平行若しくは前方へ行くほど互いに離れるように、且つ、各撮像部の光学系の画角が重なるように保持する。そして、各撮像部の光学系の画角が重なった部分における被写体の画像信号からその被写体までの距離を検知する。
これによれば、複数の撮像部の各々の画角でカバーできるより広い範囲について監視機能を維持しつつ、画角の重なる範囲についてはステレオカメラとして距離測定や立体画像の生成を行うことができる。特に各撮像部の光学系として広角レンズを用いることでさらに広い画角に対して監視機能を維持し、ステレオカメラとして距離測定や立体画像の生成を行うことができる範囲を増加させることができる。
例えば、複数の光学系の画角は、各々135度より大きくしてもよい。これによれば、2つの撮像部を使用する場合は合計の画角を270度とすることが可能である。また、この場合は、前記保持手段は、2つの前記撮像部をその光軸どうしが、90度の角度を有するように保持してもよい。そうすれば、少なくとも全体の画角として、225度以上を確保可能である。また、ステレオカメラとして距離測定や立体画像の生成を行うことができる範囲として45度以上の範囲を確保することができる。
また、複数の光学系として画角180度の魚眼レンズを用い、保持手段が、2つの撮像部をその光軸どうしが、90度の角度を有するように保持した場合には、全体の画角を270度とすることができる。また、ステレオカメラとして距離測定や立体画像の生成を行うことができる範囲として90度の範囲を確保することができる。そうすれば、本発明に係るステレオカメラを90度の角部に設置した場合に、その角部の周囲270度全体を監視することができる。
また、本発明においては、前記保持手段は、前記複数の光学系の保持角度を変更することにより前記画角の重なり部分の大きさを変更可能としてもよい。そうすれば、ステレオカメラを取り付ける部分に応じて、監視可能な全体の画角及び、ステレオカメラとして距離測定や立体画像の生成が可能な角度範囲を調整することが可能である。
また、本発明は、上記のステレオカメラを複数備え、
前記複数のステレオカメラうちの少なくとも一つによって所定の被写体を撮影して画像信号を取得するとともに、該画像信号に基づいて、測定基準物から前記被写体までの距離を導出するステレオカメラシステムであって、
前記複数のステレオカメラは、前記測定基準物に該測定基準物から外側が撮影可能なように直接配置され、
前記複数のステレオカメラのうち二つ以上によって取得された画像信号を用いて前記測定基準物から前記被写体までの距離を導出することを特徴とするステレオカメラシステムであってもよい。
これによれば、測定基準物に複数のステレオカメラが直接配置され、そのうちの二つ以上によって測定基準物から被写体までの距離を測定する。従って、測定基準物におけるステレオカメラの間隔をそのまま基線長として距離測定を行うことができる。これによれば、ステレオカメラの間隔を大きく設定することにより基線長を大きくすることができ、複数のステレオカメラを用いて距離測定を行う場合の精度を向上することが可能である。
この場合、前記測定基準物は自動車とし、前記複数のステレオカメラが該自動車の四隅に配置されるようにしてもよい。また、前記測定基準物は住宅とし、前記複数のステレオカメラが該住宅の凸状の角部に配置されるようにしてもよい。そうすれば、測定基準物自体が大きいものであるので、ステレオカメラ間の距離を大きくすることができ、基線長を大きくすることができる。その結果、二つ以上のステレオカメラを用いた距離測定の精度を向上することができる。
また、本発明においては、前記複数のステレオカメラは、該複数のステレオカメラによって前記測定基準物の周囲の全方位について前記距離の測定が可能なように前記測定基準物に配置されるようにしてもよい。そうすれば、複数のステレオカメラを用いて、測定基準物の周囲の全方位について被写体までの距離測定が可能となる。
また、本発明においては、前記測定基準物と前記被写体との距離が所定距離以下である場合には前記複数のステレオカメラのうち一つを用いて前記測定基準物から前記被写体までの距離を導出するようにしてもよい。
すなわち、例えば測定開始時には二つ以上のステレオカメラを用いて前記測定基準物から前記被写体までの距離の測定をし、前記測定基準物と前記被写体との距離が所定距離以下であった場合、あるいは所定距離以下となった場合にはそれらのステレオカメラのうち、一つを用いて被写体までの距離の測定を続ける。
これによれば、通常は二つ以上のステレオカメラを用いてより広い範囲について距離の測定を継続しておき、被写体がある程度測定基準物に近づいた段階で、一つのステレオカメラを用いて集中的に被写体までの距離測定を行うことが可能となる。また、二つ以上のステレオカメラを用いて距離の測定をする場合、各ステレオカメラにおける一部の撮像部を用いて距離測定をすることが考えられるが、この場合は、より広い範囲について距離の測定が可能である反面、基線長の歪やゆらぎによって測定精度を確保しづらくなる場合がある。よって本発明によれば、このような場合は、被写体がある程度測定基準物に近づいた段階で、一つのステレオカメラを用いてより高い精度で距離測定を行うことが可能となる。
また、本発明は、複数のステレオカメラを備え、
前記複数のステレオカメラうちの少なくとも一つによって所定の被写体を撮影して画像信号を取得するとともに、該画像信号に基づいて、測定基準物から前記被写体までの距離を導出するステレオカメラシステムであって、
前記複数のステレオカメラは、前記測定基準物に該測定基準物から外側が撮影可能なように直接配置され、
前記複数のステレオカメラのうち二つ以上によって取得された画像信号を用いて前記測定基準物から前記被写体までの距離を導出することを特徴とするステレオカメラシステムであってもよい。
この場合も、前記測定基準物は自動車であり、前記複数のステレオカメラが該自動車の四隅に配置されるようにしてもよい。また、前記測定基準物は住宅であり、前記複数のステレオカメラが該住宅の凸状の角部に配置されるようにしてもよい。
また、前記複数のステレオカメラは、該複数のステレオカメラによって前記測定基準物の周囲の全方位について前記距離の測定が可能なように前記測定基準物に配置されるようにしてもよい。
また、前記測定基準物と前記被写体との距離が所定距離以下である場合には前記複数のステレオカメラのうち一つを用いて前記測定基準物から前記被写体までの距離を導出するようにしてもよい。
また、前記ステレオカメラは、画角が135度より大きい光学系と該光学系を通過した光が結像する撮像素子とを有する撮像部を二つ備え、前記二つの撮像部を、その光軸どうしが90度の角度を有するように保持する保持手段をさらに備えるようにしてもよい。
これによれば、少なくとも一つのステレオカメラの画角として、225度以上を確保することができ、一つのステレオカメラとして距離測定や立体画像の生成を行うことができる範囲として45度以上の範囲を確保することができる。そうすれば、より少ないステレオカメラで測定基準物の全周囲について前記距離の測定が可能とすることができる。また、被写体がある程度測定基準物に近づいた段階で、一つのステレオカメラを用いて、より広い角度範囲で被写体までの距離測定を行うことが可能となる。
なお、上記した本発明の課題を解決する手段については、可能なかぎり組み合わせて用いることができる。
本発明によれば、ステレオカメラによる距離測定の精度あるいは立体画像の品質を向上させることができ、または、ステレオカメラの装置を小型化することができる。
従来のステレオカメラの撮像系の概略構成を示す図である。 本発明の実施例1に係るステレオカメラの撮像系の概略構成を示す図である。 本発明の実施例1に係るステレオカメラの概略構成を示す図である。 本発明の実施例2に係るステレオカメラの撮像系の原理を説明するための図である。 本発明の実施例3に係るステレオカメラの撮像系の概略構成を示す図である。 本発明の実施例4に係るスマートテレビシステムの概略構成を示す図である。 一般的なステレオカメラによる距離測定の原理を説明するための図である。 一般的なステレオカメラにおいて広角レンズを用いた場合の問題点を説明するための図である。 広角レンズを用いたステレオカメラに対して本発明を適用した場合の効果について説明するための図である。 非平行の光軸を有するステレオカメラを使用する場合の視点変換について説明するための図である。 本発明の実施例5に係るステレオカメラの撮像系の概略構成を示す図である。 本発明の実施例5に係るステレオカメラの撮像系を組み込んだ内視鏡に組み込んだ態様を示す概略図である。 本発明の実施例5に係るステレオカメラの撮像系の概略構成の別の態様を示す図である。 本発明の実施例6に係るステレオカメラシステムの概略構成を示す図である。 本発明の実施例6に係るステレオカメラシステムの第2の態様の概略構成を示す図である。 本発明の実施例7に係るステレオカメラシステムの概略構成を示す図である。 本発明の実施例8に係るステレオカメラシステムの概略構成を示す図である。 本発明の実施例9に係るステレオカメラシステムの概略構成を示す図である。 本発明の実施例10に係るステレオカメラシステムの概略構成を示す図である。 本発明の実施例11に係るステレオカメラの撮像系をカプセルタイプの内視鏡に組み込んだ内視鏡システムの概略構成を示す図である。 本発明の実施例12に係るステレオカメラシステムの概略構成を示す図である。 本発明の実施例13に係るステレオカメラの撮像系の概略構成を示す図である。
以下に、図面を参照して本発明の実施の形態について説明する。
<実施例1>
図1は、従来のステレオカメラの撮像系100の基本構成を示している。図1においてステレオカメラは、光学系(レンズ系)と撮像素子を用いて被写体像を撮像するビデオカメラまたは電子スチルカメラであり、左側には左撮像系100a、右側に右撮像系100bという左右一対の撮像系を備えている。各撮像系には光軸に沿って可動の左レンズ系101a、右レンズ系101b及び、これらのレンズ系を通過した光が結像する左撮像素子102a、右撮像素子102bが設けられている。図1では左レンズ系101a及び右レンズ系101bはともに単一のレンズで表現されているが、レンズの数や種類は特に限定されない。また、図中の左撮像素子102a及び右撮像素子102bはCCDセンサであってもCMOSセンサであっても構わない。
また、図1において、左撮像系100aと右撮像系100bとは光軸が前方位置で交差するように、すなわち、左撮像系100aと右撮像系100bとは輻輳角θを有するように互いに傾斜して配置されている。さらに、左撮像系100aと右撮像系100bとは基線長dの間隔をあけて配置されている。f0は被写体までの距離である。なお、図中に破線で示すように、ステレオカメラの撮像系100においては左撮像系100aと右撮像系100bを機構的に回動させることが可能となっており、左撮像系100aと右撮像系100bを機構的に回動させることで互いの輻輳角θを変更することが可能となっている。
このステレオカメラの撮像系100を用いて、被写体までの距離測定を行うことや立体画像を生成することが可能である。例えば、ステレオカメラの撮像系100を用いて被写体までの距離測定を行う場合には、左撮像系100aと右撮像系100bによって撮像される被写体のずれ(視差)をステレオマッチング技術によって測定し、公知の三角測量の原理に基づいて距離を算出する。また、ステレオカメラの撮像系100を用いて立体画像を生成する場合には、再生時にスクリーン上に存在するように見える被写体(以下、基準被写体ともいう)で左撮像系100a及び右撮像系100bの光軸が交差するように輻輳角θを調整し、左撮像系100aと右撮像系100bによって被写体を撮影する。
そして、左撮像系100aと右撮像系100bによって撮影された画像を各々左右の眼で見た際には、得られる視差の大小により、基準被写体より近い被写体は近傍側に浮き出るように、基準被写体より遠い被写体は、遠方側に奥まったように見える。この原理を利用することで立体画像の生成が可能となる。
ところで、従来のステレオカメラの撮像系100においては、図1に示すように、左撮像素子102a、右撮像素子102bとしては平面状のものを用いていた。この場合は、左撮像素子102a、右撮像素子102bの受光面の光軸付近においては問題ないものの、受光面において光軸から離れ周辺部に向かうに従って、左レンズ系101a、右レンズ系101bの収差の影響が大きくなる傾向があった。例えば像面湾曲または歪曲収差について着目すると、左レンズ系101a、右レンズ系101bの像面が湾曲または歪曲することにより、受光面における左レンズ系101a、右レンズ系101bの光軸から離れるに従って、焦点ボケや像の歪みが生じる場合があった。
そして、このことにより、ステレオカメラの撮像系100による距離測定の精度が低下したり、立体画像の品質が低下したりする場合があった。これに対し、左レンズ系101a、右レンズ系101bの収差を抑制するためには、各レンズ系を大型化させる必要があった。また、距離測定については、図1に示した基線長dを大きくすれば、各レンズで撮影した画像の視差は大きくなるので、距離測定の精度を向上させることができるが、これによっても装置が大型化してしまう。このように、従来のステレオカメラの撮像系100において左レンズ系101a、右レンズ系101bの収差の影響を低減するためには装置が大型化してしまうという不都合があった。
そこで、本実施例においては、左撮像素子102a及び右撮像素子102bを、各々左レンズ系101a、右レンズ系101bの収差を補正すべく湾曲させることで、左撮像素子102a及び右撮像素子102bの受光面の周辺部における左レンズ系101a及び右レンズ系101bの収差の影響を抑制することとした。
図2には、本実施例における撮像部としてのステレオカメラの撮像系1を示す。図2におけるステレオカメラの撮像系1は、図中の左側には左撮像系1a、右側に右撮像系1bという左右一対の撮像系を備えている。各撮像系には光軸に沿って可動の左レンズ系2a及び右レンズ系2bと、左レンズ系2a及び右レンズ系2bを各々通過した光を結像させる左撮像素子3a及び右撮像素子3bが設けられている。図1に示した従来のステレオカメラの撮像系100との相違点は、左撮像素子3a及び右撮像素子3bの受光面が曲面によって形成されている点である。
左撮像素子3a及び右撮像素子3bを形成する曲面の形状は、左レンズ系2a及び右レンズ系2bの収差を考慮した像面形状に一致するように定められている。すなわち、左レンズ系2a及び右レンズ系2bを通過した光は、受光面における光軸付近か周辺部かに拘わらず、左撮像素子3a及び右撮像素子3bの受光面上に結像することになる。
曲面により形成される左撮像素子3a及び右撮像素子3bは、例えば、表面が左レンズ系2a及び右レンズ系2bの像面の形状と一致するようにセラミック等で形成された基材に、研磨により厚みを薄くした撮像素子チップを接着することにより作製してもよい。あるいは、セラミック等で形成された基材に、撮像素子チップの厚み方向の位置を規制する複数箇所の位置規制柱を設けておき、この位置規制柱に撮像素子チップを当接させた状態で接着固定してもよい。あるいは、基材において撮像素子チップの周辺部と中央部とを固定する部分を別部材により形成し、周辺部と中央部を固定する部材の光軸方向の相対位置を可変とすることで、撮像素子チップの曲面形状を調整可能としてもよい。その他、曲面により形成される左撮像素子3a及び右撮像素子3bの作製方法は特に限定されない。
図3には、本実施例におけるステレオカメラ10の概略構成を示す。ステレオカメラの撮像系1における左撮像素子3a及び右撮像素子3bによって得られた画像信号は、各々左増幅部4a、右増幅部4bにおいてノイズ除去された上で増幅される。そして、左増幅部4a及び右増幅部4bから出力されたアナログ画像信号は各々左ADコンバータ5a及び右ADコンバータ5bによってAD変換された後、信号処理部6に入力される。
信号処理部6においては、左撮像素子3a及び右撮像素子3bを駆動するためのセンサ駆動制御部8や、左レンズ系2a及び右レンズ系2bを光軸方向に移動させるレンズ駆動制御部9に対する駆動信号を発生させる。また、左ADコンバータ5a及び右ADコンバータ5bから出力されたデジタル信号から、距離測定の場合には被写体までの距離の演算を行い、立体画像生成の場合には、左目用及び右目用の画像を生成するための信号処理を行う。そして、画像処理部7においては、距離測定時には測定された距離の表示画像が生成され、立体画像生成の場合には、左目用及び右目用の画像を生成するための画像処理が行われる。
以上、説明したように、本実施例においてはステレオカメラの撮像系において、各撮像素子を各レンズ系の収差を補正するような曲面で形成したことにより、撮像素子の周辺部においても焦点ボケや歪曲のない高品質な画像に基づく画像信号を取得することが可能となった。よって、ステレオカメラによる距離測定における距離測定精度を向上させることが可能となり、また、より高品質な立体画像を生成することが可能となる。
さらに、撮像素子の周辺部に結像される被写体に対しても精度の高い距離測定が可能となったため、基線長をそれほど長くする必要がなく、また、収差の補正をレンズ系自体で行う必要性も低下した。その結果、ステレオカメラの小型化を促進することが可能となった。
<実施例2>
実施例1においては、左撮像系1a及び右撮像系1bの光軸により形成される輻輳角θについては、従来技術と同様に機構的に調整する例について説明したが、本実施例においては、左撮像素子3a及び右撮像素子3bの受光面において画像信号を取得する領域を変更することにより電気的に、輻輳角θを変更したのと等価な効果を得るようにした例について説明する。
図4は本実施例におけるステレオカメラの撮像系11を示している。本実施例におけるステレオカメラの撮像系11が左撮像系11aと右撮像系11bとを有し、左撮像系11a及び右撮像系11bが、各々左レンズ系12a及び右レンズ系12bと、左撮像素子13a及び右撮像素子13bとを備えている点は実施例1と同様である。
図4には、比較的遠方の物点OP1を基準被写体とした場合と、比較的近い物点OP2を基準被写体とした場合の、右レンズ系12bによる右撮像素子13bへの結像の状態を示している。物点OP1は左撮像系11aと右撮像系11bの光軸の交点に存在し、この場合の輻輳角はθ1となっている。従来は、このような状態から輻輳角をθ2に変更し、基準被写体をOP1からOP2に変更する場合には、左撮像系11a及び右撮像系11bを各々の光軸の交点が近づくように機構的に回動させ、光軸の交点を物点OP2に合致させるようにしていた。この場合、左撮像系11a及び右撮像系11bを回転させるモータなどの駆動源及び運動伝達機構が必要となるので、ステレオカメラの撮像系11が複雑化・大型化するとともにコストアップにも繋がっていた。
これに対し、本実施例では、各撮像素子の受光面において画像信号を取得する領域を変更することで、左撮像系11a及び右撮像系11bを機構的に回動させることなく、実質的に輻輳角を変更することを可能とした。ここで、図4中、右撮像素子131bは、物点OP1を基準被写体とした場合の右撮像素子を示し、右撮像素子132bは、物点OP2を基準被写体とした場合の右撮像素子を示しており両者は同一の撮像素子である。
実際には、物点OP1を基準被写体とした場合と、物点OP2を基準被写体とした場合とでは、右レンズ系12bの光軸方向の位置がレンズ駆動制御部9によって変えられ、このことで両方の場合に同一位置の右撮像素子13b上に像点が結像されるようになっている。図4においては簡単のため、右レンズ系12bは固定で、右撮像素子13bが動いたような図になっている。
図4において、物点OP1を基準被写体とした場合には、物点OP1から出た光はレンズ系12bを通過した後、右撮像素子131bにおける光軸との交点において結像し像点IP1を形成している。従って、物点OP1を基準被写体とした場合には、右撮像素子131bにおける中央部の例えば、破線で囲まれた領域における画像情報によって距離測定または立体画像の生成が行われる。
次に、基準被写体として物点OP2を選んだ場合、物点OP2から出た光はレンズ系12bを通過した後、右撮像素子132bの光軸との交点以外の点において結像し像点IP2を形成する。このとき、図4からも分かるように、物点OP1を基準被写体とした場合とは、右撮像素子13bにおける像点の位置が相対的に変化している。この場合には、像点IP2を中心とした破線で囲まれた領域の画像情報を用いて距離測定または立体画像の生成を行うようにする。このことにより、左撮像系11a及び右撮像系11bを機構的に回動させた場合と等価な効果を得ることが可能となる。
以上のように、本実施例においては、ステレオカメラの撮像系11の構成を簡略化・小型化が可能となり、さらに低コスト化を促進することが可能となる。
なお、このような電気的な輻輳角の変更は、図1に示したような従来のステレオカメラの撮像系100によっても実行することが可能である。しかしながら、従来のステレオカメラの撮像系100において電気的な輻輳角の変更を行った場合には、左撮像素子102a及び右撮像素子102bが平面により構成されているため、IP2やさらに周辺部側では左レンズ系101a及び右レンズ系101bの収差の影響で、距離測定の精度や立体画像の品質が全体的に低下してしまう。それに対し、本実施例においては右撮像素子13a及び左撮像素子13bは、左レンズ系12a及び右レンズ系12bの収差を補正するような曲面により構成されているため、輻輳角を電気的に変更しても距離測定の精度や立体画像の品質を高く維持することが可能となる。
<実施例3>
次に、本発明の実施例3について説明する。実施例2で説明したように、本発明において電気的な輻輳角の変更を採用した場合には、左撮像系と右撮像系とを機構的に回動させる必要はなくなる。そして、左右のレンズ系に、被写界深度の深い広角レンズ(あるいはパンフォーカスレンズ)を使った場合には、レンズ系のピント調整のための光軸方向の移動を省略することも可能である。そのような場合は、左右のレンズ系及び左右の撮像素子を全て一体化することが可能となる。本実施例においてはそのようなステレオカメラの一体化撮像系について説明する。
図5には、本実施例における一体化撮像系21について示す。図5(a)は一体化撮像系21の平面図、図5(b)は斜視図を示す。図5においては、左レンズ系22aと右レンズ系22bとは一体的に形成され、一体レンズ系22を構成している。この一体レンズ系22は左レンズ系22aと右レンズ系22bとを樹脂やガラス材料で一体成型によって形成してもよいし、左レンズ系22aと右レンズ系22bとを別に形成し、ホルダに接着などの方法で固定することによって形成してもよい。
また同様に本実施例では、左撮像素子23aと右撮像素子23bとは一体的に形成されることで一体撮像素子23を形成している。さらに一体レンズ系22及び一体撮像素子23は撮像系フレーム24に固定されている。このように、本実施例におけるステレオカメラの撮像系21においては、左右レンズ系、左右撮像素子がいずれも固定されており移動することを必要としない構成となっている。従って、ステレオカメラの構造を簡略化することができ信頼性を向上させることができるとともに、装置のコストダウンを促進することが可能となる。また、左右レンズ系、左右撮像素子の相対位置の精度を向上させることが可能となる。
なお、本実施例においては、例えば左レンズ系22aを通過した光をミラーで方向転換して右撮像素子23bの受光面に結像するようにしてもよい。そうすれば、一つの撮像素子によって左レンズ系22aと右レンズ系22bとを通過した光による画像情報を取得することができ、装置の簡略化、小型化及びコストダウンを促進することが可能になる。
また、本実施例においては、左右のレンズ系に、被写界深度の深い広角レンズ(あるいはパンフォーカスレンズ)を使い、ピント調整のための左右レンズ系と左右撮像素子の間の相対移動を省略した例について説明した。しかしながら、左右のレンズ系にピント調整不要の広角レンズ(あるいはパンフォーカスレンズ)を用いるのではなく、図3に示したレンズ駆動制御部9によってピント調整のための左右レンズ系と左右撮像素子の間の相対移動を行うようにしてもよい。この場合であっても、レンズ駆動制御部9によって一体レンズ系22のみの位置を調整すればよいので、左レンズ系22aと右レンズ系22bの位置を独立に調整する場合と比較して機構、制御ともに簡略化することが可能である。
<実施例4>
次に、本発明の実施例4について説明する。実施例4においては、本発明におけるステレオカメラをスマートテレビの情報入力装置として応用した例について説明する。ここでスマートテレビとは、テレビ放送に加えてインターネットにも接続して、インターラクティブな使い方を可能としたテレビ受像機である。また、スマートテレビにおいては、情報入力を人(使用者)の動きを利用して行うことが考えられている。
図6は、本実施例におけるスマートテレビシステム200の使用状態を示す平面図である。このスマートテレビシステム200においては、上から見て中央にステレオカメラ30が備えられている。また、ステレオカメラ30によって取得した画像情報が送られこの画像情報から入力の内容を判別する演算装置35を備えている。本実施例におけるステレオカメラ30は、図示しない左右レンズ系及び曲面から形成された左右撮像素子を有している点で実施例1で説明したステレオカメラと一致している。従って、距離測定の精度が高く使用者201のリアクションを精度良く認識することが可能である。また、左右撮像素子の受光面の周辺部においても左右レンズ系の収差の影響が出づらく、高い精度で距離測定を行うことが可能である。
その結果、図中202で示すようなより広い空間において使用者のリアクションの認識を精度よく行うことが可能となる。さらに、情報源として認識する使用者の居場所をより精密に設定することが可能であるので、部屋内に複数の使用者が存在する場合でも、より精度よく情報源としての使用者を認識することが可能である。その結果、例えばスマートテレビシステム200の作動が情報源以外の使用者のリアクションによって影響されるといった不都合を抑制することが可能である。なお、本実施例のスマートテレビシステム200において指令信号判別装置はステレオカメラ30及び、演算装置35を含んで構成される。
<実施例5>
次に、本発明の実施例5について説明する。本実施例においては、左右レンズ系のレンズとして180度の画角を有する魚眼レンズを用い、さらに2つの魚眼レンズを光軸が互いに90度の角度になるように固定したステレオカメラに対して本発明を適用した例について説明する。
ここで、本実施例におけるステレオカメラによって物体との距離を測定する原理について図7〜図10を用いて説明する。図7には、一般的な平面状の撮像素子を有する2つの撮像系である左撮像系600a及び、右撮像系600bを備えた距離測定用のステレオカメラの場合について示す。このようなステレオカメラでは、左撮像系600a及び右撮像系600bの2つの撮像系から得られた画像を比較して距離測定情報を取得する。従って、2つの撮像系により得られた重複した画像の類似性が重要となる。
2つの撮像系の左レンズ系601a及び右レンズ系601bの画角が比較的狭角の場合には各々のレンズ系における画像歪は少ないが、左レンズ系601a及び右レンズ系601bの画角が広角の場合には、左撮像素子602a及び右撮像素子602bにおける中心部(光軸中心)から離れた周辺部分については光学収差による画像歪が大きくなる。このため、2つの撮像系により得られた画像の類似性が劣化し、距離測定の精度の劣化や測定可能距離の縮小といった不都合を生じる場合がある。
図7に示すような、一般的な平面状の撮像素子を有する2つの撮像系を備えた距離測定用のステレオカメラでは、左撮像系600a及び右撮像系600bは、各々の光軸が平行になるように配置されることが多い。そして、距離測定対象である物体Oから左撮像系600aに入射される光は、左レンズ系601aを介して平面状の撮像素子602aの上に結像する。同様に、物体Oから右撮像系600bに入射される光は、右レンズ系601bを介して平面状の撮像素子602bの上に結像する。右撮像系600bに着目すると、平面状の撮像素子602bの上に結像した像の位置と、左撮像系600aに入射した光と平行な光が撮像素子602bの上に結像したと仮定した場合の像の位置との差が視差に相当する。
2つの撮像系における左レンズ系601aと右レンズ系601bの光軸間の距離を基線長D、左レンズ系601a及び右レンズ系601bの焦点距離をf、先述の視差をdとすると、左レンズ系601a及び右レンズ系601bから物体Oまでの距離Lは、数式(1)のように計算される。
[数1]
L=D・f/d・・・・・・(1)
次に、同様のステレオカメラの左撮像系610a及び右撮像系610bにおいて、左レンズ系611a及び右レンズ系611bとして広角レンズを用いた場合について考える。この場合には、図8に示すように、特に光軸中心から離れた物体Oからの光は、平面状の左撮像素子612a及び右撮像素子612bにおける中心部(光軸中心)から離れた場所に結像する。実際には、左レンズ系611a及び右レンズ系611bの画角内にある情報は、左撮像素子612a及び右撮像素子612bの上に結像するが、広がった情報が、光軸中心から離れるほど左撮像素子612a及び右撮像素子612bの上の少ない画素に集約されるため、解像度が大きく劣化する虞がある。また、その際、左撮像素子612a及び右撮像素子612bの端にいくほど、物体Oの像が大きく歪むため、視差算出に必要な画像の類似性も大きく劣化する虞がある。そして、これらの傾向は物体Oとは反対側、例えば図8における右撮像素子612bにおいて顕著になる。
一般的には、2つの撮像系の映像から視差を算出する方法として、ブロックマッチングという手法が利用されている。この手法では、2つの画像間の類似性を評価するために、比較する画像から所定の領域を切り出し、切り出された領域の撮像素子における位置を比較することにより画像の変位すなわち視差を求める。そのため、片側の撮像系の解像度が劣化したり、画像歪みが大きくなると画像の変位が算出できず、物体までの距離測定の精度が劣化したり距離測定が不能となるなどの不都合が生じる虞がある。
次に図9を用いて、本発明の湾曲センサを広角のレンズ系を備えた撮像系に適用した場合について説明する。ここでは、図8に示した平面状の左撮像素子612a及び右撮像素子612bに代えて、左レンズ系621a及び右レンズ系621bの光軸から離れた領域の光学収差を補正すべく湾曲した左撮像素子622a及び右撮像素子622bを配置した。これにより、物体Oからの光が左右撮像素子622a、622bにおける中心から離れた場所に結像した場合でも、光学歪を改善することができるので、狭角で実現しているステレオカメラと同等の距離測定の精度を得ることが可能となる。
なお、ステレオカメラにおいては、左右レンズ系として上記のような広角レンズを用い、さらに左右撮像系の光軸を互いに平行でなく、光軸が互いに前に行くほど離れるような角度をつけて配置することで、非常に大きな視野を得ることが可能となると考えられる。このような非平行の光軸を有するステレオカメラを使用する場合には、図10に示すように、左右撮像系の光軸が平行の場合に相当するように、左右撮像素子で得られた画像を視点変換し、視点変換後の左右撮像系による画像の重複部分から視差を求めることが可能である。なお、このような非平行の光軸を有するステレオカメラにおける画像の重複部分は各光軸から離れた領域となる場合が多い。従って、このようなステレオカメラの左右撮像素子として、光軸から離れた領域の光学収差を補正すべく湾曲した撮像素子を用いることで、左右撮像系の光軸が互いに平行な場合と同等またはそれ以上の、光学歪の改善効果と、距離測定の精度向上効果を得ることが可能となる。
このようなステレオカメラに湾曲センサを適用することで、視点変換及び画像歪補正のためデータ処理を簡略化することができ、情報処理装置(CPU)に対する付加を軽減することが可能になる。本実施例においては、上記のような特性を利用し、左右レンズ系として180度(または約180度)の画角を有する魚眼レンズを用い、さらに左右撮像系を光軸が互いに90度の角度になるように固定した。以下、本実施例についてさらに具体的に説明する。
図11には、本実施例におけるステレオカメラの撮像系41の概略構成について示す。図11(a)はステレオカメラの撮像系41を上から見た場合の概略構成図、図11(b)は使用状態を説明するための図である。
本実施例におけるステレオカメラの撮像系41は、左レンズ系42a及び右レンズ系42bとして、画角が180度の超広角レンズ(魚眼レンズ)を備えている。また、左レンズ系42a及び、右レンズ系42bをレンズの周辺部(リブ)を用いて保持するための左ホルダ44a、右ホルダ44bがレンズ保持部45に互いに90度の角度を有するように固定されている。また、左ホルダ44a及び右ホルダ44bの内部には左レンズ系42a及び右レンズ系42bの収差を補正するように曲面で形成された左撮像素子43a及び右撮像素子43bが設けられている。
ステレオカメラの撮像系41においては、180度の画角を有する左レンズ系42a及び右レンズ系42bが互いに光軸が90度の角度を有するように保持されているので、ステレオカメラの撮像系41全体として図11(b)に示すように270度の視野を有することが可能である。また、図11(b)における左レンズ系42a及び、右レンズ系42bの画角が重なる領域46(領域46は領域47も含む)において得られる画像情報から被写体までの距離を測定することが可能である。
さらに、本実施例では、左レンズ系42a及び右レンズ系42bの収差を補正するように曲面で形成された左撮像素子43a及び右撮像素子43bが設けられているので、左撮像素子43a及び右撮像素子43bの受光面の周辺部における収差の影響を低減することが可能である。よって、例えば図11(b)の領域47、48における画像の品質を向上させることができ、領域47、48における距離測定の精度を向上させることが可能である。
なお、本実施例におけるステレオカメラの撮像系41を設置するときには、例えば、90度の角度を有するような角部に設置するとよい。そうすれば、角部の周囲の全方位についての監視カメラとして利用することができる。また、そのうちの90度の角度について被写体までの距離測定を行うことができる。
また、本実施例においては、保持部45は、左レンズ系42a及び左撮像素子43aと、右レンズ系42b及び右撮像素子43bとの間の角度を変更可能に構成してもよい。そうすれば、ステレオカメラの撮像系41の設置場所や目的に応じて、監視可能な角度及び、距離測定可能な角度を調整することが可能となる。
また、本実施例においては、左レンズ系42a及び右レンズ系42bとして画角180度の魚眼レンズを用いた例について説明したが、左レンズ系42a及び右レンズ系42bの画角は180度には限られない。各々135度より大きい画角があれば、ステレオカメラの撮像系41として270度の視野を確保することができ、また、画角が重なる部分(距離測定が可能な部分)を確保することができる。もちろん、画角が180度より大きい魚眼レンズを用いても構わない。そうすれば、ステレオカメラの撮像系41として270度以上の視野を確保することができる。
図12には、本実施例のステレオカメラの撮像系41を内視鏡300に組み込んだ実施態様について示す。この態様では、内視鏡300の先端のカメラユニット301にステレオカメラの撮像系41が装着されている。ステレオカメラの撮像系41によって取得された画角270度の画像情報は、ケーブル302を介して患者外の図示しないメモリーに記録されたり、患者外の図示しないディスプレイに表示される。
この実施態様では、図12に示すように、内視鏡300の視野を大幅に広角化(270度)することが可能であるので、例えば図中の患部DPなど、従来であれば見逃す可能性が高かったような部位の異常をより確実に検知することが可能となる。また、領域46においては被写体(障害物)との間の距離測定ができるので、内視鏡300が蔵器500の壁面に衝突して臓器を損傷させる事故をより確実に防ぐことができる。また、病巣の位置や大きさの測定を行うことも可能である。
また、従来は、内視鏡による検査可能領域を増やすために、内視鏡の先端を屈曲可能にして内視鏡先端の向く方向を制御可能とする場合があったが、この実施態様によれば、内視鏡300の視野が充分に広いために内視鏡先端を屈曲させる機構を省略することが可能である。その結果、装置及び操作方法の簡略化が可能となる。また、ステレオカメラの撮像系41においては、図11で説明したように湾曲した撮像素子を使用しているので、内視鏡300の先端部分を小型化することが可能となっている。
なお、本実施例においては、左レンズ系42a及び右レンズ系42bとして単レンズの魚眼レンズを用いた例について説明したが、複数のレンズにより魚眼レンズユニットを形成し、これを左レンズ系及び右レンズ系として使用してもよいことは当然である。図13には、複数のレンズ群を筐体641a、641bに組み込むことで、画角が180度の魚眼レンズユニットを形成し、これを左レンズ系642a及び右レンズ系642bとした例について図示する。
<実施例6>
次に、本発明の実施例6について説明する。本実施例においては、実施例5で説明したステレオカメラの撮像系を複数台用いて、測定基準物としての対象物の全周について監視及び距離測定を行う応用例について説明する。
図14には、図11で説明したものと同様のステレオカメラの撮像系51〜54を自動車の四隅に配置したステレオカメラシステム50の概略構成を示す。このようにステレオカメラの撮像系51〜54を配置することで、自動車の周囲を全方位的に監視し、障害物に接近した場合には距離測定を行うことが可能である。
また、本実施例においては、特に自動車の四隅の領域(ハッチングで表示)については、4つの撮像系によって得られた画像情報を利用して距離測定を行うことが可能になる。例えば、図14において、領域55aは、撮像系54b、51a、51b、52aの4つの撮像系を用いて得られた画像情報を用いて距離測定が可能である。領域55cは、撮像系51b、52a、52b、53aの4つを用いて得られた画像情報を用いて距離測定が可能である。領域55eは、撮像系52b、53a、53b、54aの4つを用いて得られた画像情報を用いて距離測定が可能である。領域55gは、撮像系53b、54a、54b、51aの4つを用いて得られた画像情報を用いて距離測定が可能である。
従って、領域55a、55c、55e、55gについては、より多くの画像情報に基づいて距離測定を行うことが可能となり、あるいは、より有利な画像情報を選択して距離測定を行うことが可能となり、距離測定の精度をより高くすることが可能である。また、障害物によっていずれかの撮像系によって画像情報を取得することが困難になった場合にも、4つの撮像系のうちの画像情報取得が可能なものを用いて距離測定を継続することが可能となる。
また、図14において、領域55bは、撮像系51b、52aの2つを用いて得られた画像情報を用いて距離測定が可能である。領域55dは、撮像系52b、53aの2つを用いて得られた画像情報を用いて距離測定が可能である。領域55fは、撮像系53b、54aの2つを用いて得られた画像情報を用いて距離測定が可能である。領域55hは、撮像系54b、51aの2つを用いて得られた画像情報を用いて距離測定が可能である。
また、本実施例において、撮像系51b、52aを用いる場合、撮像系52b、53aを用いる場合、撮像系53b、54aを用いる場合、撮像系54b、51aを用いる場合は、自動車の横幅及び縦幅を基線長dとして利用できるので、非常に長い基線長を確保することが可能であり、距離測定の精度向上を図ることが可能となる。
図15には、図11で説明したものと同様のステレオカメラの撮像系61〜64を住宅の四隅に配置したステレオカメラシステム60の概略構成を示す。このようにステレオカメラの撮像系61〜64を配置することで、住宅の周囲を全方位的に監視し、不審者(不審物)が接近した場合には距離測定を行うことが可能である。
そして、本実施例においては、特に四隅の領域については、4つの撮像系によって得られた画像情報を利用して距離測定を行うことが可能になる。例えば、図15において、領域65aは、撮像系64b、61a、61b、62aの4つを用いて得られた画像情報を用いて距離測定が可能である。領域65cは、撮像系61b、62a、62b、63aの4つを用いて得られた画像情報を用いて距離測定が可能である。領域65eは、撮像系62b、63a、63b、64aの4つを用いて得られた画像情報を用いて距離測定が可能である。領域65gは、撮像系63b、64a、64b、61aの4つを用いて得られた画像情報を用いて距離測定が可能である。
従って、領域65a、65c、65e、65gについては、より多くの画像情報に基づいて距離測定を行うことが可能となり、あるいは、より有利な画像情報を選択して距離測定を行うことが可能となり、距離測定の精度をより高くすることが可能である。また、障害物によっていずれかの撮像系によって画像情報を取得することが困難になった場合にも、4つの撮像系のうちの画像情報取得が可能なものを用いて距離測定を継続することが可能となる。
また、図15において、領域65bは、撮像系61b、62aの2つを用いて得られた画像情報を用いて距離測定が可能である。領域65dは、撮像系62b、63aの2つを用いて得られた画像情報を用いて距離測定が可能である。領域65fは、撮像系63b、64aの2つを用いて得られた画像情報を用いて距離測定が可能である。領域65hは、撮像系64b、61aの2つを用いて得られた画像情報を用いて距離測定が可能である。
また、この態様において、撮像系61b、62aを用いる場合、撮像系62b、63aを用いる場合、撮像系63b、64aを用いる場合、撮像系64b、61aを用いる場合には、住宅の横幅及び縦幅を基線長dとして利用できるので、さらに長い基線長を確保することが可能である。
<実施例7>
次に、本発明の実施例7について説明する。本実施例においては、実施例5及び図11で説明したステレオカメラの撮像系を複数台用いて、測定基準物としての対象物の全周について監視及び距離測定を行う応用例の更に他の態様について説明する。
図16には、図11で説明したものと同様のステレオカメラの撮像系81〜84をオートバイの四隅に配置したステレオカメラシステム80の概略構成を示す。このようにステレオカメラの撮像系81〜84を配置することで、オートバイの周囲を全方位的に監視し、障害物に接近した場合には距離測定を行うことが可能である。
本実施例においても、特にオートバイの四隅の領域(ハッチングで表示)については、4つの撮像系によって得られた画像情報を利用して距離測定を行うことが可能になり、領域85a、85c、85e、85gについては、より多くの画像情報に基づいて距離測定を行うことが可能となり、あるいは、より有利な画像情報を選択して距離測定を行うことが可能となり、距離測定の精度をより高くすることが可能である。また、4つの撮像系のうち、いずれかにより測定対象(被写体)を撮像する際に障害物があったとしても、測定対象(被写体)を撮像可能な撮像系を選択して距離測定を行うことが可能となる。
なお、図11で示したように、本発明では、レンズ系の収差を補正するように湾曲した撮像素子を用いるためにステレオカメラの撮像系81〜84を小型化することが可能となっている。このことより、ステレオカメラの撮像系81〜84をオートバイのような対象物に搭載可能となっている。また、本発明では、レンズ系の収差を補正するように湾曲した撮像素子を用いるために距離測定の測定精度の向上が可能となっている。これにより、短い基線長による距離測定が可能となり、オートバイの幅を基線長とした場合でも正確な距離測定が可能となっている。
また、本発明をオートバイに適用した場合、例えば、ステレオカメラの撮像系81及び84を、オートバイのハンドルまたはハンドルと一体となって回動する部材に備え付けることにより、常にオートバイの前輪が向いている方向を中心にした前方の距離測定を行うことが可能となる。
なお、図16の例では、画像モニター86を備えており、ステレオカメラシステム80で取得した距離情報及び、周囲の画像を表示することが可能となっている。
<実施例8>
次に、本発明の実施例8について説明する。本実施例においても、実施例5及び図11で説明したステレオカメラの撮像系を複数台用いて、測定基準物としての対象物の全周について監視及び距離測定を行う応用例の更に他の態様について説明する。
図17には、図11で説明したものと同様のステレオカメラの撮像系91〜94をヘルメットの周囲に配置したステレオカメラシステム90の概略構成を示す。図17(a)にはこの場合のヘルメット96の斜視図、図17(b)にはヘルメット96の平面図及び、測定可能領域を示す。このようにステレオカメラの撮像系91〜94をヘルメット96の周囲に配置することで、ヘルメット96の着用者の周囲を全方位的に監視し、障害物に接近した場合には距離測定を行うことが可能である。
本実施例においても、特にヘルメット96の四隅の領域(ハッチングで表示)については、4つの撮像系によって得られた画像情報を利用して距離測定を行うことが可能になり、領域95a、95c、95e、95gについては、より多くの画像情報に基づいて距離測定を行うことが可能となり、あるいは、より有利な画像情報を選択して距離測定を行うことが可能となり、距離測定の精度をより高くすることが可能である。また、4つの撮像系のうち、いずれかにより測定対象(被写体)を撮像する際に障害物があったとしても、測定対象(被写体)を撮像可能な撮像系を選択して距離測定を行うことが可能となる。
なお、図11で示したように、本発明では、レンズ系の収差を補正するように湾曲した撮像素子を用いるためにステレオカメラの撮像系91〜94を小型化し、距離測定の測定精度を向上させること可能となっている。これにより、ヘルメット96への適用が可能となっている。
なお、本実施例では図17(a)に示すように、ヘルメット96内にスピーカ97a、97bが備えられており、ヘルメット96の着用者に障害物の方向や距離を警告音および音声によって報知することが可能になっている。なお、ヘルメット96は自動車、オートバイ、飛行機などの運輸装置に搭乗する際に着用するヘルメットであってもよいし、工事現場などで使用するものであってもよい。さらに、登山等の他、街を歩行する際に使用するものであっても構わない。ヘルメットとしての機能は目的に応じたものを用いればよい。また、街を歩行する際に使用するものの場合、不図示のスマートホンや携帯電話、タブレット端末で、ステレオカメラの撮像系91〜94で取得した画像情報を視認可能なようにしてもよい。
<実施例9>
次に、本発明の実施例9について説明する。本実施例においても、実施例5及び図11で説明したステレオカメラの撮像系を複数台用いて、測定基準物としての対象物の全周について監視及び距離測定を行う応用例の更に他の態様について説明する。
図18には、図11で説明したものと同様のステレオカメラの撮像系111及び112をスマートホン113の上端両側に配置したステレオカメラシステム110の概略構成を示す。このようにステレオカメラの撮像系111及び112をスマートホン113の周囲に配置することで、スマートホン113の使用者の前方及び側方の広い範囲について監視し、障害物に接近した場合には距離測定を行うことが可能である。
本実施例においても、特に前側斜め方向の領域(ハッチングで表示)については、3つの撮像系によって得られた画像情報を利用して距離測定を行うことが可能になる。例えば、図18において、領域115aは、撮像系111a、111b、112aの3つを用いて得られた画像情報を用いて距離測定が可能である。領域115cは、撮像系111b、112a、112bの3つを用いて得られた画像情報を用いて距離測定が可能である。従って、領域115a、115cについては、より多くの画像情報に基づいて距離測定を行うことが可能となり、あるいは、より有利な画像情報を選択して距離測定を行うことが可能となり、距離測定の精度をより高くすることが可能である。また、3つの撮像系のうち、いずれかにより測定対象(被写体)を撮像する際に障害物があったとしても、測定対象(被写体)を撮像可能な撮像系を選択して距離測定を行うことが可能となる。
なお、図11で示したように、本発明では、レンズ系の収差を補正するように湾曲した撮像素子を用いるためにステレオカメラの撮像系111及び112を小型化し、距離測定の測定精度を向上させること可能となっている。これにより、スマートホン113への適用が可能となっている。
本実施例においては、スマートホン113のアプリケーションとステレオカメラの撮像系111及び112との組み合わせによって、様々な使用態様を実現することが可能である。例えば、GPS情報やジャイロセンサからの情報に、ステレオカメラの撮像系111及び112による画像情報及び距離情報を追加することにより、街歩き用のナビゲーションシステムの精度を向上させることが可能となる。
また、例えば、ステレオカメラの撮像系111及び112による画像情報をスマートホン113のディスプレイの一部に表示することで、使用者の足元から頭上までの広範囲の画像を表示でき、スマートホン113を使用しながらも使用者が安全に歩行することができる。また、障害物との距離が所定距離以下になった際にはアラート表示をすることで、より安全な歩行が可能となる。
また、スマートホン113をそのまま距離測定装置として使用しても構わないし、超広角デジタルカメラとして使用しても構わない。
<実施例10>
次に、本発明の実施例10について説明する。本実施例においては、実施例5及び図11で説明したステレオカメラの撮像系2台を3Dカメラに組み込んだ例(以下、このカメラを球体視野角を可能にするという意味で3Dスフィアカメラともいう)について説明する。図19には、3Dカメラの左右のレンズ系として一対の魚眼レンズを組み込んだ3Dカメラ650と、実施例5及び図11で説明したステレオカメラの撮像系を2台、左右の撮像系として組み込んだ3Dスフィアカメラ660についての平面図及び視野について示す。
図19(a)は左撮像系651及び右撮像系652を備えた3Dカメラ650の平面図及び視野を示している。左撮像系651及び右撮像系652のレンズ系としては、各々画角が約180度の魚眼レンズが使用されている。また、図示していないが、左撮像系651及び右撮像系652における撮像素子としては、魚眼レンズの周辺部の光学収差を補正すべく湾曲された撮像素子が用いられている。図19(a)に示す3Dカメラ650においては、撮像素子の周辺部における画像の歪みを修正することができるので高品質の3D画像を得ることができる。一方で、3Dカメラ650においては、左撮像系651及び右撮像系652を合わせた視野は、やはり約180度であり、従来の魚眼レンズの視野(画角)を超えることはできていない。
一方、図19(b)に示す3Dスフィアカメラ660においては、合計360度に近い視野を得ることが可能である。また、3Dスフィアカメラ660において用いられている合計4つの撮像素子としては、いずれも対応する魚眼レンズの周辺部の光学収差を補正すべく湾曲したものが用いられている。よって、合計360度に近い視野について高品質な3D画像を得ることができる。また、これにより、人間の持つ視野角での画像表現が可能となる。
<実施例11>
図20には、図11で説明したものと同様のステレオカメラの撮像系121及び131をカメラユニット122の両端に装備したカプセルタイプの内視鏡システム120の概略構成を示す。ステレオカメラの撮像系121及び131の視野は各々270度であるので、内視鏡システム120の周囲の全方位に亘って画像情報を得ることが可能である。また、各レンズ系の画角が重なる領域126(領域127を含む)、136(領域137を含む)、146(領域128、138を含む)においては距離測定を行うことが可能である。そして、本実施例においても、各撮像系においてはレンズ系の収差を補正するように湾曲した撮像素子を使用しているので、ステレオカメラの撮像系121及び131を小型化できるとともに領域127、128、137、138における距離測定精度を向上させることができる。
ステレオカメラの撮像系121及び131によって取得された画角270度の画像情報は、通信によって患者の体外に配置された図示しない受信装置に送られメモリーに記録されるかディスプレイに表示される。あるいはカメラユニット122内部のメモリーに保存される。本実施例においては、内視鏡システム120の周囲の全方位に亘る画像情報を取得することが可能であるので、カプセルタイプの内視鏡システム120による異常部位の検知精度を向上することが可能となる。
<実施例12>
次に、本発明の実施例12について説明する。本実施例においては、実施例5及び図11で説明したステレオカメラの撮像系を測定基準物としての対象物の前後に配置して、対象物の略全周について監視及び距離測定を行う態様について説明する。
図21には、図11で説明したものと同様のステレオカメラの撮像系671及び672を自転車の前後に配置したステレオカメラシステム670の概略構成を示す。本実施例においては、自転車という幅の狭いものを対象物としているので、ステレオカメラの撮像系671を自転車前方に、撮像系672を自転車後方に配置することで、対象物の前後方向及び左右方向を全方位的に監視し、障害物に接近した場合には距離測定を行うことが可能となる。
本実施例のように、自転車等幅が狭い対象物において、前方の領域673aについては、前方に配置した撮像系671に備えられた左撮像系671a及び右撮像系671bによって得られた画像情報を利用して安定的に精度の良い距離測定を行うことが可能である。同様に、後方の領域673cについては、撮像系672に備えられた左撮像系672a及び右撮像系672bによって得られた画像情報を利用して、安定的に精度の良い距離測定を行うことが可能である。
また、自転車の前方に向かって右方向の領域673bについては、自転車には特に測定の障害となる部材などがないため、撮像系671の右撮像系671bと、撮像系672の左撮像系672aによって得られた画像情報を利用して距離測定が可能である。同様に、自転車の前方に向かって左方向の領域673dは、撮像系671の左撮像系671aと、撮像系672の右撮像系672bによって得られた画像情報を利用して距離測定が可能である。なお、図21においては、領域673b及び領域673dは狭小な領域に見えるが、自転車からの距離が遠くなるにつれて測定可能範囲が増加し十分な領域を測定することが可能である。
このように、本実施例においては、自転車のように幅の狭い対象物について、ステレオカメラを前後に配置し、各々のステレオカメラの左右撮像系から得られた情報に基づき、対象物の前後左右の全方位について距離測定を行うこととした。よって、より少ない数のステレオカメラによって、コストをかけずに、対象物の周囲の十分に広い領域について距離測定を行うことが可能となる。
<実施例13>
次に、本発明の実施例13について説明する。本実施例においては、ステレオカメラの撮像系を複数台用いて、測定基準物としての対象物の周囲の全方位について監視及び距離測定を行う応用例であって、被写体(測定対象物)の距離によって、距離測定に用いる撮像系を切り替える例について説明する。
図22には、本実施例におけるステレオカメラの撮像系71の概略構成について示す。図22(a)はステレオカメラの撮像系71を上から見た場合の概略構成図、図22(b)は使用状態を説明するための図である。
本実施例におけるステレオカメラの撮像系71の構成は、左撮像素子73a及び右撮像素子73bが、平面で形成されていることを除いて、図11で説明したステレオカメラの撮像系41の構成と同等である。本実施例では、このようなステレオカメラの撮像系71を、図14及び図15で説明したステレオカメラシステム50及び60に適用した。以下、本実施例について図14及び図15を用いて説明するが、ステレオカメラの撮像系51〜54、61〜64としては、ステレオカメラの撮像系71と同一のものが使用されていることを前提とする。
図14において、自動車の周囲の距離測定開始時には、ステレオカメラの撮像系51〜54の全てを用いて距離測定を行う。そして、例えば被写体(測定対象物)が自動車の前方であって、ある程度遠くに存在する場合には、撮像系54bと51aを用いて距離の測定を行う。その後、被写体(測定対象物)が自動車に接近し、55gの領域で且つ距離が所定値以下になった場合には距離測定を撮像系54aと54bを用いた測定に切り替える。同様に、被写体(測定対象物)が55aの領域で且つ距離が所定値以下になった場合には、距離測定を撮像系51aと51bを用いた測定に切り替える。
ここで、撮像系54aと54bを用いた測定や、撮像系51aと51bを用いた測定においては、基線長dは短いものの、撮像系どうしの位置精度が高いために、より正確な距離測定が可能となっている。
本実施例によれば、被写体(測定対象物)が自動車から比較的遠くに存在する場合には、自動車の周囲の全方位についての距離測定を行っておき、被写体(測定対象物)が自動車に近づいた段階で、より精度の高い距離測定に切り替えることが可能である。従って、より確実に比較的遠くに存在する障害物を検出することができるとともに、当該障害物が近づいた際には、より正確な距離測定を行うことで衝突回避に寄与することが可能となる。
なお、本実施例においては、被写体(測定対象物)が自動車の右横方向、左横方向、後方に存在する場合についての説明は省略するが、同様の距離測定が行われるものとする。
次に、図15において、住宅の周囲の距離測定開始時には、ステレオカメラの撮像系61〜64の全てを用いて距離測定を行う。そして、例えば被写体(測定対象物)が住宅の正面であって、ある程度遠くに存在する場合には、撮像系64bと61aを用いて距離の測定を行う。その後、被写体(測定対象物)が住宅に接近し、65gの領域で且つ距離が所定値以下になった場合には距離測定を撮像系64aと64bを用いた測定に切り替える。同様に、被写体(測定対象物)が65aの領域で且つ距離が所定値以下になった場合には、距離測定を撮像系61aと61bを用いた測定に切り替える。
この態様においては、不審者が住宅から比較的遠くに存在する場合には、住宅の周囲の全方位についての距離測定を行っておき、不審者が住宅に近づいた段階で、より精度の高い距離測定に切り替えることが可能である。従って、より確実に比較的遠くに存在する不審者を検出することができるとともに、当該不審者が住宅に近づいた際には、より正確な距離測定を行うことで不審者の侵入防止に寄与することが可能となる。
なお、この態様に関して、不審者が住宅の右横方向、左横方向、裏面に存在する場合については説明を省略するが、同様の距離測定が行われるものとする。
また、本実施例においては上述のように、図22に示すステレオカメラの撮像系71を利用することを前提として説明した。これは、本実施例におけるステレオカメラの撮像系は図11に示すような曲面を有する撮像素子を利用したものに限られないことを意味するものであって、本実施例におけるステレオカメラの撮像系として、ステレオカメラの撮像系41を用いることを除外したものではない。さらに、上記と同様の作用効果を示すものであれば他の構成のステレオカメラの撮像系を用いても構わない。
また、本実施例においては、ステレオカメラにおける撮像系として画角180度の魚眼レンズを用いた例について説明したが、撮像系のレンズ画角は180度には限られない。各々135度より大きい画角があれば、撮像系として270度の視野を確保することができ、また、画角が重なる部分(距離測定が可能な部分)を確保することができる。もちろん、画角が180度より大きい魚眼レンズを用いても構わない。
また、上記の全ての実施例においては、ステレオカメラ単体としては左右2つの撮像系を有する例について説明したが、撮像系の数は2つには限られない。3つ以上の撮像系を用いて被写体までの距離測定または立体画像の生成を行うステレオカメラに対して本発明を適用しても構わないことは当然である。
1、11、21・・・ステレオカメラの撮像系
1a、11a・・・左撮像系
1b、11b・・・右撮像系
2a、12a、22a、42a、72a・・・左レンズ系
2b、12b、22b、42b、72b・・・右レンズ系
3a、13a、23a、43a、73a・・・左撮像素子
3b、13b、23b、43b、73b・・・右撮像素子
10、30・・・ステレオカメラ
41、51〜54、61〜64、71・・・ステレオカメラの撮像系
50、60、80、90、110、120、670・・・ステレオカメラシステム
81〜84、91〜94・・・ステレオカメラの撮像系
111、112、121、131・・・ステレオカメラの撮像系
661、662、671、672・・・ステレオカメラの撮像系

Claims (16)

  1. 光学系と該光学系を通過した光が結像する撮像素子とを有する撮像部を複数備え、
    前記複数の撮像部によって所定の被写体を撮影することで取得した画像信号に基づいて、
    前記被写体までの距離を導出するステレオカメラであって、
    前記複数の撮像部の少なくとも一部における前記撮像素子の受光面を、該撮像素子上に被写体の画像を結像する前記光学系の像面の収差を補正するように光軸方向に湾曲させ、
    前記複数の撮像部を、その光軸どうしは光軸前方において交わらずに該複数の撮像部における光学系の画角が互いに重なるように保持する保持手段と、
    前記複数の撮像部により撮影された前記画角が重なった部分における被写体の画像信号から該被写体までの距離を検知する測距手段と、
    をさらに備え、
    前記複数の光学系の画角は、各々135度より大きく、
    前記保持手段は、二つの前記撮像部をその光軸どうしが、90度または、それを変更した角度を有するように保持することを特徴とするステレオカメラ。
  2. 前記複数の撮像部は、光軸が所定の輻輳角で交差するように配置されており、
    前記被写体に応じて前記輻輳角を変更する代わりに、前記被写体に応じて前記撮像素子の受光面において前記画像信号を取得するための領域を変更することを特徴とする請求項1に記載のステレオカメラ。
  3. 前記複数の撮像部における光学系のうち少なくとも一部を一体的に形成したことを特徴とする請求項1または2に記載のステレオカメラ。
  4. 前記一体的に形成された光学系を通過する光が結像する撮像素子を一体的に形成したことを特徴とする請求項3に記載のステレオカメラ。
  5. 請求項1から4のいずれか一項に記載のステレオカメラにおいて取得した前記画像信号に基づいて、所定の機器に入力された指令信号を判別する指令信号判別装置。
  6. 請求項1から5のいずれか一項に記載のステレオカメラを複数備え、
    前記複数のステレオカメラうちの少なくとも一つによって所定の被写体を撮影して画像信号を取得するとともに、該画像信号に基づいて、測定基準物から前記被写体までの距離を導出するステレオカメラシステムであって、
    前記複数のステレオカメラは、前記測定基準物に該測定基準物から外側が撮影可能なように直接配置され、
    前記複数のステレオカメラのうち二つ以上によって取得された画像信号を用いて前記測定基準物から前記被写体までの距離を導出することを特徴とするステレオカメラシステム。
  7. 前記測定基準物は自動車であり、前記複数のステレオカメラが該自動車の四隅に配置されたことを特徴とする請求項6に記載のステレオカメラシステム。
  8. 前記測定基準物は住宅であり、前記複数のステレオカメラが該住宅の凸状の角部に配置されたことを特徴とする請求項6に記載のステレオカメラシステム。
  9. 前記複数のステレオカメラは、該複数のステレオカメラによって前記測定基準物の周囲の全方位について前記距離の測定が可能なように前記測定基準物に配置されたことを特徴とする請求項6から8のいずれか一項に記載のステレオカメラシステム。
  10. 前記測定基準物と前記被写体との距離が所定距離以下である場合には前記複数のステレオカメラのうち一つを用いて前記測定基準物から前記被写体までの距離を導出することを特徴とする請求項6から9のいずれか一項に記載のステレオカメラシステム。
  11. 複数のステレオカメラを備え、
    前記複数のステレオカメラうちの少なくとも一つによって所定の被写体を撮影して画像信号を取得するとともに、該画像信号に基づいて、測定基準物から前記被写体までの距離を導出するステレオカメラシステムであって、
    前記複数のステレオカメラは、前記測定基準物に該測定基準物から外側が撮影可能なように直接配置され、
    前記複数のステレオカメラのうち二つ以上によって取得された画像信号を用いて前記測定基準物から前記被写体までの距離を導出することを特徴とするステレオカメラシステム。
  12. 前記測定基準物は自動車であり、前記複数のステレオカメラが該自動車の四隅に配置されたことを特徴とする請求項11に記載のステレオカメラシステム。
  13. 前記測定基準物は住宅であり、前記複数のステレオカメラが該住宅の凸状の角部に配置されたことを特徴とする請求項11に記載のステレオカメラシステム。
  14. 前記複数のステレオカメラは、該複数のステレオカメラによって前記測定基準物の全周囲について前記距離の測定が可能なように前記測定基準物に配置されたことを特徴とする請求項11から13のいずれか一項に記載のステレオカメラシステム。
  15. 前記測定基準物と前記被写体との距離が所定距離以下である場合には前記複数のステレオカメラのうち一つを用いて前記測定基準物から前記被写体までの距離を導出することを特徴とする請求項11から14のいずれか一項に記載のステレオカメラシステム。
  16. 前記ステレオカメラは、画角が135度より大きい光学系と該光学系を通過した光が結像する撮像素子とを有する撮像部を二つ備え、
    前記二つの撮像部を、その光軸どうしが90度の角度を有するように保持する保持手段
    をさらに備えることを特徴とする請求項11から15のいずれか一項に記載のステレオカメラシステム。
JP2014513403A 2012-05-01 2013-04-30 ステレオカメラ及びステレオカメラシステム Active JP5869106B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014513403A JP5869106B2 (ja) 2012-05-01 2013-04-30 ステレオカメラ及びステレオカメラシステム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012104371 2012-05-01
JP2012104371 2012-05-01
JP2014513403A JP5869106B2 (ja) 2012-05-01 2013-04-30 ステレオカメラ及びステレオカメラシステム
PCT/JP2013/062672 WO2013165006A1 (ja) 2012-05-01 2013-04-30 ステレオカメラ及びステレオカメラシステム

Publications (2)

Publication Number Publication Date
JPWO2013165006A1 JPWO2013165006A1 (ja) 2015-12-24
JP5869106B2 true JP5869106B2 (ja) 2016-02-24

Family

ID=49514405

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014513403A Active JP5869106B2 (ja) 2012-05-01 2013-04-30 ステレオカメラ及びステレオカメラシステム

Country Status (5)

Country Link
US (1) US20150124060A1 (ja)
EP (1) EP2846531A4 (ja)
JP (1) JP5869106B2 (ja)
CN (1) CN104272715A (ja)
WO (1) WO2013165006A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11143504B2 (en) 2015-11-16 2021-10-12 Sony Semiconductor Solutions Corporation Image capture device and image capture system

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9389677B2 (en) 2011-10-24 2016-07-12 Kenleigh C. Hobby Smart helmet
WO2013086246A1 (en) 2011-12-06 2013-06-13 Equisight Inc. Virtual presence model
JP6168879B2 (ja) * 2013-06-27 2017-07-26 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及びプログラム
CA2925865A1 (en) * 2013-10-04 2015-04-09 Honda Motor Co., Ltd. In-vehicle picture storage device for motorcycle
JP6398192B2 (ja) * 2013-12-27 2018-10-03 カシオ計算機株式会社 電子弦楽器及びプログラム
KR102384175B1 (ko) * 2015-07-29 2022-04-08 주식회사 만도모빌리티솔루션즈 차량의 카메라 장치
KR101832189B1 (ko) * 2015-07-29 2018-02-26 야마하하쓰도키 가부시키가이샤 이상화상 검출장치, 이상화상 검출장치를 구비한 화상 처리 시스템 및 화상 처리 시스템을 탑재한 차량
DE102015114016A1 (de) * 2015-08-24 2017-03-02 Huf Hülsbeck & Fürst Gmbh & Co. Kg Sensoreinrichtung zur optischen Erfassung von Betätigungsgesten
WO2017056268A1 (ja) * 2015-09-30 2017-04-06 株式会社小松製作所 作業車両
JP6623729B2 (ja) 2015-12-04 2019-12-25 株式会社ソシオネクスト 測距システム、移動体及び部品
WO2017149875A1 (ja) 2016-02-29 2017-09-08 ソニー株式会社 撮像制御装置、撮像装置及び撮像制御方法
US10633095B2 (en) 2016-04-04 2020-04-28 Panasonic Intellectual Property Management Co., Ltd. Imaging system, video processing system, and video processing method
SE541141C2 (en) * 2016-04-18 2019-04-16 Moonlightning Ind Ab Focus pulling with a stereo vision camera system
US10742878B2 (en) * 2016-06-21 2020-08-11 Symbol Technologies, Llc Stereo camera device with improved depth resolution
JP6822234B2 (ja) * 2017-03-15 2021-01-27 セイコーエプソン株式会社 プロジェクターシステム
CN107167077B (zh) * 2017-07-07 2021-05-14 京东方科技集团股份有限公司 立体视觉测量系统和立体视觉测量方法
KR101910288B1 (ko) * 2017-09-12 2018-10-22 (주)이즈미디어 듀얼 카메라모듈의 정렬 방법
US20200236338A1 (en) * 2017-09-28 2020-07-23 Koito Manufacturing Co., Ltd. Sensor system
US10437065B2 (en) * 2017-10-03 2019-10-08 Microsoft Technology Licensing, Llc IPD correction and reprojection for accurate mixed reality object placement
EP3486606A1 (de) * 2017-11-20 2019-05-22 Leica Geosystems AG Stereokamera und stereophotogrammetrisches verfahren
JP7104294B2 (ja) * 2017-12-18 2022-07-21 ミツミ電機株式会社 測距カメラ
KR20200122323A (ko) * 2018-02-17 2020-10-27 드림뷰, 인크. 멀티 센서를 사용하여 옴니 스테레오 비디오를 캡처하는 시스템 및 방법
JP6810106B2 (ja) * 2018-08-04 2021-01-06 浜井電球工業株式会社 客室led管型カメラシステム、それを利用した旅客室用照明・監視システム
CN112888623A (zh) * 2018-08-20 2021-06-01 印度摩托车国际有限公司 轮式车辆通知系统及方法
US11866042B2 (en) 2018-08-20 2024-01-09 Indian Motorcycle International, LLC Wheeled vehicle adaptive speed control method and system
KR101995344B1 (ko) * 2019-01-22 2019-07-02 김흥수 사각지역이 없는 듀얼 깊이 카메라 모듈
WO2022137233A1 (en) * 2020-12-23 2022-06-30 270 Surgical Ltd. Multi-camera endoscopes with maneuverable tips

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0795623A (ja) 1993-06-25 1995-04-07 Sanyo Electric Co Ltd 立体撮像装置
DE19845568A1 (de) * 1998-04-23 1999-10-28 Volkswagen Ag Vorrichtung zur Objekterfassung für Kraftfahrzeuge
JP4604307B2 (ja) 2000-01-27 2011-01-05 ソニー株式会社 撮像装置とその製造方法及びカメラシステム
JP2001312018A (ja) * 2000-04-28 2001-11-09 Riaruai:Kk 2枚組み画像および該画像を得るためのステレオカメラ
JP3297040B1 (ja) * 2001-04-24 2002-07-02 松下電器産業株式会社 車載カメラの画像合成表示方法及びその装置
DE10131196A1 (de) * 2001-06-28 2003-01-16 Bosch Gmbh Robert Vorrichtung zur Detektion von Gegenständen, Personen oder dergleichen
JP4046163B2 (ja) * 2003-05-27 2008-02-13 松下電器産業株式会社 撮像装置
JP2005278133A (ja) * 2003-07-03 2005-10-06 Fuji Photo Film Co Ltd 固体撮像装置および光学機器
WO2006018951A1 (ja) * 2004-08-18 2006-02-23 Olympus Corporation 画像生成方法および画像生成装置
JP2007101662A (ja) 2005-09-30 2007-04-19 Fujifilm Corp パノラマカメラ
JP2008286527A (ja) * 2007-05-15 2008-11-27 Panasonic Corp 複眼測距装置
JP2010258669A (ja) * 2009-04-23 2010-11-11 Fujifilm Corp 全方位撮像装置
JP5337658B2 (ja) * 2009-10-02 2013-11-06 株式会社トプコン 広角撮像装置及び測定システム
JP2011204118A (ja) * 2010-03-26 2011-10-13 Konica Minolta Opto Inc 三次元画像作成システムおよび三次元画像作成方法
JP2012015660A (ja) * 2010-06-29 2012-01-19 Fujifilm Corp 撮像装置及び撮像方法
JP2012032964A (ja) * 2010-07-29 2012-02-16 Olympus Imaging Corp 表示装置
US20120019528A1 (en) * 2010-07-26 2012-01-26 Olympus Imaging Corp. Display apparatus, display method, and computer-readable recording medium
JP2012053303A (ja) 2010-09-01 2012-03-15 Sharp Corp ステレオカメラ装置および電子情報機器

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11143504B2 (en) 2015-11-16 2021-10-12 Sony Semiconductor Solutions Corporation Image capture device and image capture system

Also Published As

Publication number Publication date
US20150124060A1 (en) 2015-05-07
CN104272715A (zh) 2015-01-07
EP2846531A1 (en) 2015-03-11
JPWO2013165006A1 (ja) 2015-12-24
WO2013165006A1 (ja) 2013-11-07
EP2846531A4 (en) 2015-12-02

Similar Documents

Publication Publication Date Title
JP5869106B2 (ja) ステレオカメラ及びステレオカメラシステム
JP6641470B2 (ja) ステレオカメラ及びステレオカメラの制御方法
JP6510551B2 (ja) 撮像光学系、撮像装置および距離測定システム
JP4673202B2 (ja) 画像入力装置
US10942439B2 (en) Real-time tracking for three-dimensional imaging
KR101824439B1 (ko) 모바일 스테레오 카메라 장치 및 그 촬영방법
US20090147126A1 (en) Image pickup apparatus
US20120249748A1 (en) Stereoscopic image pickup apparatus and stereoscopic image pickup method
WO2014208230A1 (ja) 座標算出装置及び方法、並びに画像処理装置及び方法
JP5455033B2 (ja) 距離画像入力装置と車外監視装置
CN110194173B (zh) 乘员监视装置
JP2010181826A (ja) 立体画像形成装置
JP2011149931A (ja) 距離画像取得装置
US20120242791A1 (en) 3-d video processing device and 3-d video processing method
JP7207038B2 (ja) 撮像装置、撮像光学系及び移動体
JPWO2019064399A1 (ja) 情報処理システムおよび対象物情報取得方法
JPH1066106A (ja) 複眼カメラシステム
JP2013044893A (ja) 複眼撮像装置及び距離画像取得装置
US20170351104A1 (en) Apparatus and method for optical imaging
JPWO2018110264A1 (ja) 撮像装置、及び撮像方法
JP2013092768A (ja) 立体撮影装置
JP2013044827A (ja) 撮像装置
KR100851576B1 (ko) 3안 광학장치
JP2011090166A (ja) ステレオ撮像装置
US11402740B2 (en) Real-time tracking for three-dimensional imaging

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160106

R150 Certificate of patent or registration of utility model

Ref document number: 5869106

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250