JP5923754B2 - ３次元撮像装置 - Google Patents

３次元撮像装置 Download PDF

Info

Publication number
JP5923754B2
JP5923754B2 JP2012552589A JP2012552589A JP5923754B2 JP 5923754 B2 JP5923754 B2 JP 5923754B2 JP 2012552589 A JP2012552589 A JP 2012552589A JP 2012552589 A JP2012552589 A JP 2012552589A JP 5923754 B2 JP5923754 B2 JP 5923754B2
Authority
JP
Japan
Prior art keywords
light
region
imaging
wavelength
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012552589A
Other languages
English (en)
Other versions
JPWO2013021542A1 (ja
Inventor
平本　政夫
政夫 平本
育規 石井
育規 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2013021542A1 publication Critical patent/JPWO2013021542A1/ja
Application granted granted Critical
Publication of JP5923754B2 publication Critical patent/JP5923754B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/02—Stereoscopic photography by sequential recording
    • G03B35/04—Stereoscopic photography by sequential recording with movement of beam-selecting members in a system defining two or more viewpoints
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/12—Stereoscopic photography by simultaneous recording involving recording of different viewpoint images in different colours on a colour film
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/214—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spectral multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本願は１つの光学系と１つの撮像素子を用いて視差画像を生成する単眼の３次元撮像技術に関する。
近年、ＣＣＤやＣＭＯＳ等の固体撮像素子（以下、「撮像素子」と称する場合がある。）を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の進歩により、固体撮像素子における画素構造の微細化が進んでいる。その結果、固体撮像素子の画素および駆動回路の高集積化が図られてきた。このため、僅かの年数で撮像素子の画素数が１００万画素程度から１０００万画素以上へと著しく増加している。さらに、撮像によって得られる画像の質も飛躍的に向上している。
一方、表示装置に関しては、薄型の液晶やプラズマによるディスプレイにより、場所を取らず、高解像度で高コントラストの表示が可能になり、高い性能が実現されている。このような映像の高品質化の流れは、２次元画像から３次元画像へと広がりつつある。昨今では、偏光メガネを必要とするが、高画質の３次元表示装置が開発され始めている。
３次元撮像技術に関して、単純な構成をもつ代表的な方式として、２つのカメラから構成される撮像系を用いて、右目用の画像および左目用の画像をそれぞれ取得するという方式がある。このような、いわゆる２眼撮像方式では、カメラを２つ用いるため、撮像装置が大型になり、コストも高くなり得る。そこで、１つのカメラを用いて視差を有する複数の画像（以下、「複数視点画像」と呼ぶことがある。）を取得する方式（単眼撮像方式）が研究されている。
例えば、特許文献１には、透過軸の方向が互いに直交する２枚の偏光板と回転する偏光フィルタとを用いた方式が開示されている。図１１は、当該方式による撮像系の構成を示す模式図である。この撮像装置は、０度偏光の偏光板１１、９０度偏光の偏光板１２、反射鏡１３、ハーフミラー１４、円形の偏光フィルタ１５、円形の偏光フィルタ１５を回転させる駆動装置１６、光学レンズ３、光学レンズ３により結像された像を取得する撮像装置２９を備えている。ここで、ハーフミラー１４は、偏光板１１を透過して反射鏡１３で反射された光を反射し、偏光板１２を透過した光を透過させる。以上の構成により、互いに離れた場所に配置された偏光板１１、１２をそれぞれ透過した光は、ハーフミラー１４、円形の偏光フィルタ１５、および光学レンズ３を経由して撮像装置２９に入射し、画像が取得される。この方式における撮像の原理は、円形の偏光フィルタ１５を回転させることにより、２枚の偏光板１１、１２のそれぞれに入射した光を別々のタイミングで捉え、視差を有する２つの画像を取得する、というものである。
しかしながら、上記方式では、円形の偏光フィルタ１５を回転させながら、時間分割によって異なる位置に対応する画像を撮像するため、視差を有する２つの画像を同時に取得できないという課題がある。その上、全入射光を偏光板１１、１２および偏光フィルタ１５で受けるため、撮像装置２９が受ける光の量（受光量）が５０％以上も低下するという課題もある。
上記の方式に対して、機械的駆動を用いることなく視差のある２つの画像を同時に取得する方式が特許文献２に開示されている。この方式による撮像装置は、２つの入射領域から入射する光を反射鏡によって集光し、２種類の偏光フィルタが交互に配列された撮像素子で受光することにより、機械的駆動を用いずに視差のある２つの画像を取得する。
図１２は、この方式における撮像系の構成を示す模式図である。この撮像系は、透過軸の方向が互いに直交する２つの偏光板１１、１２と、反射鏡１３と、光学レンズ３と、撮像素子２とを有する。撮像素子２は、その撮像面に、複数の画素１０と、画素に１対１に対応して配置された偏光フィルタ１７、１８とを備える。偏光フィルタ１７、１８は全画素上に交互に配列されている。ここで、偏光フィルタ１７、１８の透過軸の向きは、それぞれ偏光板１１、１２の透過軸の向きと一致している。
以上の構成により、入射光は偏光板１１、１２を透過し、反射鏡１３で反射され、光学レンズ３を通り、撮像素子１の撮像面に入射する。偏光板１１、１２をそれぞれ透過して撮像素子１に入射する光は、それぞれ偏光フィルタ１７、１８を透過してそれらに対向する画素で光電変換される。ここで、偏光板１１、１２をそれぞれ通って撮像素子１に入射する光によって形成される画像を、それぞれ右目用画像、左目用画像と呼ぶことにする。すると、右目用画像、左目用画像は、それぞれ偏光フィルタ１７、１８に対向する画素群から得られる。
このように、特許文献２に開示された方式では、特許文献１に開示された回転する円形の偏光フィルタを用いる代わりに、撮像素子の画素上に透過軸の方向が互いに直交する２種類の偏光フィルタが交互に配置される。これにより、特許文献１の方式に比べて解像度が１／２に低下するが、１つの撮像素子を用いて視差を有する右目用画像と左目用画像とを同時に得ることができる。しかしながら、この技術においても、特許文献１の技術と同様、入射光が偏光板および偏光フィルタを透過する際に光量が減少するため、撮像素子の受光量は大きく減少する。
撮像素子の受光量が低下するという問題に対して、視差を有する複数の画像と通常の画像とを１つの撮像素子で取得できる技術が特許文献３に開示されている。この技術によれば、視差を有する２つの画像の取得時と通常画像の取得時とで構成要素の一部を機械的に入れ替えることによって視差を有する２つの画像と通常画像とが１つの撮像素子によって取得される。視差を有する２つの画像を取得する際に光路上に２つの偏光フィルタが配置される点は特許文献２に開示された技術と同じである。一方、通常画像を取得する際には、偏光フィルタは機械的に光路から取り外される。このような機構を取り入れることにより、視差を有する複数の画像と光利用率の高い通常画像とを得ることができる。
上記の特許文献１〜３に開示された方式では、偏光板や偏光フィルタが用いられるが、他のアプローチとして、色フィルタが用いられる方式もある。例えば、色フィルタを用いて視差を有する２つの画像を同時に取得する方式が特許文献４に開示されている。図１３は、特許文献４に開示された撮像系を模式的に示す図である。撮像系は、レンズ３、レンズ絞り１９、透過波長域の異なる２つの色フィルタ２０ａ、２０ｂが配置された光束制限板２０、感光フィルム２１を備える。ここで、色フィルタ２０ａ、２０ｂは、例えば赤系統、青系統の光をそれぞれ透過させるフィルタである。
以上の構成により、入射光は、レンズ３、レンズ絞り１９、および光束制限板２０を透過し、感光フィルムに結像する。その際、光束制限板２０における２つの色フィルタ２０ａ、２０ｂでは、それぞれ赤系統、青系統の光だけが透過する。その結果、感光フィルム上にはこれらの２つの色フィルタをそれぞれ透過した光によるマゼンタ系統の色の像が形成される。ここで、色フィルタ２０ａ、２０ｂの位置が異なっているため、感光フィルム上に形成される像には視差が生じる。ここで、感光フィルムから写真を作り、赤色フィルムおよび青色フィルムがそれぞれ右目用および左目用として貼り付けられたメガネを使うと、奥行き感のある画像を見ることができる。このように、特許文献４に開示された技術によれば、２つの色フィルタを使って複数視点画像を作ることができる。
特許文献４に開示された技術は、感光フィルム上に結像させ、視差を有する複数の画像を作るものであるが、一方で、視差を有する画像を電気信号に変換して取得する技術が特許文献５に開示されている。図１４は、この技術における光束制限版を模式的に表す図である。この技術では、撮像光学系の光軸に垂直な平面上に、赤色光を透過するＲ領域２２Ｒ、緑色光を透過するＧ領域２２Ｇ、青色光を透過するＢ領域２２Ｂが設けられた光束制限版２２が用いられる。これらの領域を透過した光を赤用のＲ画素、緑用のＧ画素、青用のＢ画素を有するカラー撮像素子で受けることにより、各領域を透過した光による画像が取得される。
また、特許文献６にも、特許文献５と同様の構成を用いて視差を有する複数の画像を取得する技術が開示されている。図１５は、特許文献６に開示された光束制限板を模式的に示す図である。この技術でも、光束制限板２３に設けられたＲ領域２３Ｒ、Ｇ領域２３Ｇ、Ｂ領域２３Ｂを入射光が透過することにより視差のある画像を作ることができる。
特許文献７も同様に、光軸に対して対称的に配置された、互いに色の異なる一対のフィルタを用いて視差を有する複数の画像を生成する技術を開示している。一対のフィルタとして赤色のフィルタおよび青色のフィルタを利用することにより、赤色光を検知するＲ画素は赤フィルタを透過した光を観測し、青色光を検知するＢ画素は青フィルタを透過した光を観測する。赤フィルタと青フィルタとは位置が異なるため、Ｒ画素が受ける光の入射方向とＢ画素が受ける光の入射方向とは互いに異なる。その結果、Ｒ画素で観測される画像とＢ画素で観測される画像とは、互いに視点の異なる画像となる。これらの画像から画素ごとに対応点を求めることにより、視差量が算出される。算出された視差量とカメラの焦点距離情報とから、カメラから被写体までの距離が求められる。
特許文献８は、口径サイズが互いに異なる２枚の色フィルタが取り付けられた絞り、または色の異なる２枚の色フィルタが光軸に対して左右対称の位置に取り付けられた絞りを用いて取得した２つの画像から被写体の距離情報を求める技術を開示している。この技術では、口径サイズが互いに異なる赤および青の色フィルタをそれぞれ透過した光を観測する場合、色ごとに観測されるボケの程度が異なる。そのため、赤および青の色フィルタのそれぞれに対応する２つの画像は、被写体の距離によってボケの程度が異なる画像となる。これらの画像から対応点を求め、ボケの程度を比較することにより、カメラから被写体までの距離情報が得られる。一方、光軸に対して左右対称の位置に取り付けられた色の異なる２枚の色フィルタをそれぞれ透過した光を観測する場合、色ごとに観測される入射光の方向が異なる。そのため、赤および青の色フィルタのそれぞれに対応する２つの画像は、視差を有する画像となる。これらの画像から対応点を求め、対応点間の距離を求めることにより、カメラから被写体までの距離情報が得られる。
上記の特許文献４〜８に示された技術によれば、光束制限板にＲＧＢの色フィルタを配置することによって視差のある画像を生成することができる。しかしながら、光束制限板を用いるため、入射光量が減少する。また、視差の効果を高めるにはＲＧＢの色フィルタを互いに離れた位置に配置し、それらの面積を小さくする必要があるが、そのようにすると入射光量はさらに減少する。
以上の技術に対して、ＲＧＢの色フィルタが配置された絞りを用いて、視差を有する複数の画像と光量的に問題のない通常画像とを得ることができる技術が特許文献９に開示されている。この技術では、絞りを閉じた状態ではＲＧＢの色フィルタを透過した光だけが受光され、絞りを開いた状態ではＲＧＢの色フィルタ領域が光路から外されるため、入射光をすべて受けることができる。これにより、絞りを閉じた状態では視差のある画像を取得し、絞りを開いた状態では光利用率の高い通常画像を得ることができる。
特開昭６２−２９１２９２号公報 特開昭６２−２１７７９０号公報 特開２００１−０１６６１１号公報 特開平２−１７１７３７号公報 特開２００２−３４４９９９号公報 特開２００９−２７６２９４号公報 特開２０１０−３８７８８号公報 特開２０１０―７９２９８号公報 特開２００３−１３４５３３号公報
森上雄太、高木健、石井抱：視点変換アイリスによる実時間単眼ステレオシステム、第２７回日本ロボット学会学術講演会講演論文集、３Ｒ２−０６、２００９．
偏光を用いた従来技術でも、また色フィルタを用いた従来技術でも、複数視点画像は生成できるが、偏光板あるいは色フィルタによって撮像素子に入射する光の量が大幅に減少する。入射光量を確保するために、偏光領域または色フィルタ領域を光路上から外す機構を利用して光利用率の高い通常画像を得ることもできるが、そのような構成を採用しても複数視点画像自体の光利用率は低いという課題を有する。
本発明の実施形態は、上記課題に鑑み、偏光板よりも色フィルタの方が安価に作製できるという背景のもとに、色フィルタを用いて、光利用率の高い複数視点画像を取得し得る撮像技術を提供することを目的とする。
上記課題を解決するために、本発明の一態様による３次元撮像装置は、第１透光領域および第２透光領域を有する光透過部と、前記光透過部を透過した光を受けるように配置された撮像素子と、前記撮像素子の撮像面に像を形成する結像部と、前記撮像素子および前記光透過部を駆動する撮像駆動部とを備えている。前記第１透光領域は、青の波長域に含まれる第１波長域の光と、緑の波長域に含まれる第２波長域の光とを透過させる特性を有し、前記第２透光領域は、緑の波長域に含まれ前記第２波長域よりも波長の長い第３波長域の光と、赤の波長域に含まれる第４波長域の光とを透過させる特性を有している。前記撮像駆動部は、連続して少なくとも２回の撮像を行うように前記撮像素子を駆動するとともに、撮像ごとに前記第１透光領域の位置および前記第２透光領域の位置を入れ替えるように前記光透過部を駆動する。
上述の一般的かつ特定の態様は、システム、方法、およびコンピュータプログラムを用いて実装され、または、システム、方法およびコンピュータプログラムの組み合わせを用いて実現され得る。
本発明の実施形態によれば、従来技術と比較して、光利用率の高い複数視点画像を生成することができる。
実施形態１における撮像装置の構成を示すブロック図である。 実施形態１における透光板、光学レンズ、および撮像素子の概略構成を示す模式図である。 実施形態１における透光板の正面図である。 実施形態１における透光板の分光透過率特性を示す図である。 実施形態１における撮像素子の基本色構成を示す図である。 実施形態１における撮像素子の各色要素の分光透過率特性を示す図である。 実施形態１における透光板の回転を示す図である。 実施形態１の変形例における透光板の分光透過率特性の他の例を示す図である。 実施形態１の変形例における透光板の正面図である。 実施形態１の変形例における基本色構成を示す図である。 実施形態１の変形例における撮像素子の各色要素の分光透過率特性を示す図である。 実施形態１の変形例における透光板の構成を示す図である。 実施形態２における透光板の正面図である。 特許文献１における撮像系の構成図である。 特許文献２における撮像系の構成図である。 特許文献４における撮像系の構成図である。 特許文献５における光束制限板の外観図である。 特許文献６における光束制限板の外観図である。
（１）上記課題を解決するために、本発明の一態様による３次元撮像装置は、第１透光領域および第２透光領域を有する光透過部であって、前記第１透光領域は、青の波長域に含まれる第１波長域の光と、緑の波長域に含まれる第２波長域の光とを透過させる特性を有し、前記第２透光領域は、緑の波長域に含まれ前記第２波長域よりも波長の長い第３波長域の光と、赤の波長域に含まれる第４波長域の光とを透過させる特性を有している光透過部と、前記光透過部を透過した光を受けるように配置された撮像素子と、前記撮像素子の撮像面に像を形成する結像部と、連続して少なくとも２回の撮像を行うように前記撮像素子を駆動する撮像駆動部であって、撮像ごとに前記第１透光領域の位置および前記第２透光領域の位置を入れ替えるように前記光透過部を駆動する撮像駆動部とを備えている。
（２）項目（１）に記載の３次元撮像装置は、ある態様において、前記撮像素子から出力される画素信号に基づいて複数視点画像を生成する画像処理部をさらに備える
（３）項目（１）または（２）に記載の３次元撮像装置のある態様において、前記撮像素子は、撮像面上に２次元状に配列された複数の画素ブロックを有し、前記複数の画素ブロックの各々は、前記第１波長域の光を主に感知する第１画素と、前記第２波長域の光を主に感知する第２画素と、前記第３波長域の光を主に感知する第３画素と、前記第４波長域の光を主に感知する第４画素とを有している。
（４）項目（１）から（３）のいずれかに記載の３次元撮像装置のある態様において、前記第１透光領域および前記第２透光領域は、前記第１透光領域の分光透過率特性を示す関数と前記第２透光領域の分光透過率特性を示す関数との和が波長依存性を有しないように構成されている。
（５）項目（１）から（４）のいずれかに記載の３次元撮像装置のある態様において、前記光透過部は、さらに透明領域を有している。
（６）項目（１）から（５）のいずれかに記載の３次元撮像装置のある態様において、前記第２波長域は、５００ｎｍ以上５５０ｎｍ以下であり、前記第３波長域は、５５０ｎｍ以上６００ｎｍ以下である。
（７）項目（１）から（６）のいずれかに記載の３次元撮像装置のある態様において、前記撮像素子は、ベイヤー型の画素配列を有している。
（８）項目（１）から（７）のいずれかに記載の３次元撮像装置のある態様において、前記第１透光領域および前記第２透光領域は、前記光透過部の中心に対して対称に配置され、前記撮像駆動部は、前記光透過部の中心を軸として前記光透過部を１８０度回転させることにより、前記第１透光領域の位置および前記第２透光領域の位置を撮像ごとに入れ替える。
（９）本発明の一態様による画像処理装置は、第１透光領域および第２透光領域を有する光透過部であって、前記第１透光領域は、青の波長域に含まれる第１波長域の光と、緑の波長域に含まれる第２波長域の光とを透過させる特性を有し、前記第２透光領域は、緑の波長域に含まれ前記第２波長域よりも波長の長い第３波長域の光と、赤の波長域に含まれる第４波長域の光とを透過させる特性を有している光透過部と、前記光透過部を透過した光を受けるように配置された撮像素子と、前記撮像素子の撮像面に像を形成する結像部と、連続して少なくとも２回の撮像を行うように前記撮像素子を駆動する撮像駆動部であって、撮像ごとに前記第１透光領域の位置および前記第２透光領域の位置を入れ替えるように前記光透過部を駆動する撮像駆動部とを備えた３次元撮像装置から出力された信号に基づいて複数視点画像を生成する。
以下、添付の図面を参照しながら、本発明の具体的な実施形態を説明する。以下の説明において、複数の図にわたって共通または対応する構成要素には同一の符号を付している。以下の説明において、画像を示す情報または信号を、単に「画像」と呼ぶことがある。
（実施形態１）
図１は、本発明の第１の実施形態における撮像装置の全体構成を示すブロック図である。本実施形態の撮像装置は、デジタル式の電子カメラであり、撮像部１００と、撮像部１００で生成された信号に基づいて画像を示す信号（画像信号）を生成する信号処理部２００とを備えている。
撮像部１００は、撮像面上に配列された複数の光感知セルを備えるカラー固体撮像素子２ａ（以下、単に「撮像素子」と呼ぶ。）と、透過率の波長依存性（分光透過率特性）が互いに異なる２つの透光領域を有する透光板１（光透過部）と、撮像素子２ａの撮像面上に像を形成するための光学レンズ３と、赤外カットフィルタ４とを備えている。撮像部１００はまた、撮像素子２ａを駆動するための基本信号を発生するとともに撮像素子２ａからの出力信号を受信して信号処理部２００に送出する信号発生／受信部５と、信号発生／受信部５によって生成された基本信号に基づいて撮像素子２ａを駆動する素子駆動部６と、透光板２を回転させる回転駆動部９とを備えている。本実施形態では、信号発生／受信部５、素子駆動部６、および回転駆動部９の組み合わせが本発明における撮像駆動部として機能する。
撮像素子２ａは、典型的にはＣＣＤまたはＣＭＯＳセンサであり、公知の半導体製造技術によって製造される。信号発生／受信部５および素子駆動部６は、例えばＣＣＤドライバなどのＬＳＩから構成されている。回転駆動部９は、透光板２を回転させるモータを有し、素子駆動部６と連動して透光板２を、その中心を軸として回転させることができる。
信号処理部２００は、撮像部１００から出力された信号を処理して複数視点画像を生成する画像処理部７と、画像信号の生成に用いられる各種のデータを格納するメモリ３０と、生成した画像信号を外部に送出するインターフェース（ＩＦ）部８とを備えている。画像処理部７は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像信号生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。メモリ３０は、ＤＲＡＭなどによって構成される。メモリ３０は、撮像部１００から得られた信号を記録するとともに、画像処理部７によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、インターフェース部８を介して不図示の記録媒体や表示部などに送出される。
なお、本実施形態の撮像装置は、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。また、上記の構成は一例であり、本実施形態において、透光板１、撮像素子２ａ、画像処理部７以外の構成要素は、公知の要素を適宜組み合わせて用いることができる。
以下、撮像部１００の構成をより詳細に説明する。以下の説明において、図中に示すｘｙ座標を用いる。
図２は、撮像部１００における透光板１、レンズ３、および撮像素子２ａの配置関係を模式的に示す図である。図２では、透光板１、レンズ３、および撮像素子２ａ以外の構成要素の図示は省略されている。レンズ３は、複数のレンズ群から構成されたレンズユニットであり得るが、図２では簡単のため、単一のレンズとして描かれている。透光板１は、分光透過率特性が互いに異なる２つの透光領域１Ｌ、１Ｒを有し、入射光の少なくとも一部を透過させる。レンズ３は、公知のレンズであり、透光板１を透過した光を集光し、撮像素子２ａの撮像面２ｂに結像する。なお、図２に示す各構成要素の配置関係はあくまでも一例であり、本発明はこのような例に限られるものではない。例えば、レンズ３は、撮像面２ｂに像を形成できれば透光板１よりも撮像素子２ａから離れて配置されていてもよい。また、レンズ３と透光板１とが一体となって構成されていてもよい。
図３は、本実施形態における透光板１の正面図である。本実施形態における透光板１の形状は、レンズ３と同様、円形であるが、他の形状であってもよい。透光板１は、図の左側に位置する透光領域１Ｌと、図の右側に位置する透光領域１Ｒとに２分割されている。本実施形態では、領域１Ｌはシアン（Ｃｙ）の色フィルタ（以下、「Ｃｙフィルタ」）で構成され、領域１Ｒは黄（Ｙｅ）の色フィルタ（以下、「Ｙｅフィルタ」）で構成される。ただし、本実施形態におけるＣｙフィルタおよびＹｅフィルタは、通常のＣｙフィルタおよびＹｅフィルタとは異なり、緑（Ｇ）成分の光について、それぞれ長波長側または短波長側の光の透過率が低くなるように設計されている。すなわち、Ｃｙフィルタは、青（Ｂ）および短波長側の緑（Ｇ１）の波長域の光を主に透過させ、Ｙｅフィルタは、長波長側の緑（Ｇ２）および赤（Ｒ）の波長域の光を主に透過させるように設計されている。
図４は、透光領域１Ｒ、１Ｌの分光透過率特性の例を示す図である。図４において、横軸は入射光の波長λを、縦軸は光透過率を表している。ここで、約４００ｎｍ〜約５００ｎｍをＢの波長域、約５００ｎｍ〜約６００ｎｍをＧの波長域、約６００ｎｍ〜約７００ｎｍをＲの波長域と定義する。そして、Ｇの波長域のうち、約５００ｎｍ〜約５５０ｎｍをＧ１の波長域、約５５０ｎｍ〜約６００ｎｍをＧ２の波長域と定義する。なお、この定義はあくまで便宜上のものであり、どの波長域をどの色と定義するかは任意に定めてよい。図４に示すように、本実施形態におけるＣｙフィルタおよびＹｅフィルタは、ともにＧ成分の光を通常の約１／２しか透過させない。その結果、Ｃｙフィルタの分光透過率特性を示す関数とＹｅフィルタの分光透過率特性を示す関数の和は、ほぼ透明の分光透過率特性を示す関数になる。これにより透光板１による着色を防止することができる。
図５は、撮像素子２ａの撮像面２ｂに行列状に配列された複数の光感知セル６０の一部を示している。各光感知セル６０は、典型的にはフォトダイオードを含み、光電変換によって各々の受光量に応じた光電変換信号（画素信号）を出力する。光感知セル６０の各々に対向して光入射側に色フィルタ（色要素）が配置されている。
本実施形態における色フィルタ配列は、図５に示すように、２行２列を基本とする配列である。１行１列目が赤要素（Ｒ）、１行２列目が第１の緑要素（Ｇ１）、２行１列目が第２の緑要素（Ｇ２）、２行２列目は青要素（Ｂ）である。この配列は、所謂ベイヤー配列であるが、２つの緑要素の分光透過率特性が通常の緑要素の分光透過率特性とは異なっている。本実施形態において、Ｂ要素およびそれに対向する光感知セルを第１画素と呼ぶことがある。同様に、Ｇ１要素およびそれに対向する光感知セルを第２画素、Ｇ２要素およびそれに対向する光感知セルを第３画素、Ｒ要素およびそれに対向する光感知セルを第４画素と呼ぶことがある。撮像素子２ａは、図５に示すように、各々が第１〜第４画素を有する複数の画素ブロック４０が撮像面２ｂ上に２次元状に配列された構成を有している。
図６は、本実施形態における各色要素の分光透過率特性を示す図である。図６において、一点鎖線はＲ要素の透過率を、実線はＧ１要素およびＧ２要素の透過率を、二点鎖線はＢ要素の透過率を示している。本実施形態では、Ｇ１要素およびＧ２要素に特徴があり、Ｇ１要素の透過率のピークは青側（短波長側）にシフトし、Ｇ２要素の透過率のピークは赤側（長波長側）にシフトしている。また、Ｂ要素の透過率とＧ１要素の透過率とを加算した結果は、透光板１における透光領域１Ｌの分光透過率特性とほぼ同様の特性となる。同様に、Ｒ要素の透過率とＧ２要素の透過率とを加算した結果は、透光板１の透光領域１Ｒの分光透過特性とほぼ同様の特性となる。
このような構成により、本実施形態における第１〜第４画素は、それぞれＲ、Ｇ１、Ｇ２、Ｂの波長域の光を主に感知し、それらの波長域の光の強度に応じた光電変換信号を出力する。
透光板１における透光領域１Ｌ、１Ｒ、および撮像素子２ａの各要素は、例えば公知の顔料や誘電体多層膜等を用いて作製される。透光板１におけるＣｙフィルタはＢ光およびＧ１光のみを、ＹｅフィルタはＲ光およびＧ２光のみを透過させるように設計されていることが理想的であるが、図４に示すように、他の色の光の一部を透過させてもよい。同様に、Ｒ要素、Ｂ要素、Ｇ１要素、Ｇ２要素は、それぞれＲ光、Ｂ光、Ｇ１光、Ｇ２光のみを透過させるように設計されていることが理想的であるが、図６に示すように、他の色の光の一部を透過させてもよい。
以上の構成により、露光中に撮像装置に入射する光は、透光板１、レンズ３、赤外カットフィルタ４を通して撮像素子２ａの撮像面２ｂに結像され、各光感知セル６０によって光電変換される。各光感知セル６０によって出力された光電変換信号は、信号発生／受信部５を介して信号処理部２００に送出される。信号処理部２００における画像処理部７は、送られてきた信号に基づいて、２つの複数視点画像を生成する。
図７は、本実施形態における撮像時の透光板１の状態を模式的に表す図である。本実施形態における撮像装置は、透光板１を図７（ａ）、（ｂ）に示すように回転させて２回の撮像を行い、演算処理によって１対の複数視点画像を生成する。透光板１の回転は、例えば非特許文献１に記載されているように、透光板１にベルトを付け、モータでベルトを回転させることによって実現できる。回転駆動部９は、このような機構により、透光板１を回転させ、撮像素子２ａは、図７（ａ）、（ｂ）の各状態において画素信号を取得する。
このように、回転の前後で、Ｃｙフィルタの位置とＹｅフィルタの位置とは入れ替わる。本明細書では、図の左側の透光領域を１Ｌと表し、右側の透光領域を１Ｒと表す。よって、図７（ａ）に示す状態から１８０度回転した図７（ｂ）の状態では、透光領域１ＬにはＹｅフィルタが位置し、透光領域１ＲにはＣｙフィルタが位置することになる。
以下、透光板１を介して被写体を撮像したときの撮像装置の動作を説明する。ここで、撮像素子２ａの各画素信号について、Ｒ要素を透過し光電変換される光の強度を示す信号をＲｓ、Ｇ１要素を透過し光電変換される光の強度を示す信号をＧ１ｓ、Ｇ２要素を透過し光電変換される光の強度を示す信号をＧ２ｓ、Ｂ要素を透過し光電変換される光の強度を示す信号をＢｓで表す。但し、ｎ回撮像した場合、ｉ回目（ｉは１以上ｎ以下の整数）の各信号をＲｓ（ｉ）、Ｇ１ｓ（ｉ）、Ｇ２ｓ（ｉ）、Ｂｓ（ｉ）で表すことにする。なお、本実施形態ではｎ＝２であるが、ｎ≧３であってもよい。
まず、図７（ａ）に示す状態で１回目の撮像が行われる。このとき、Ｒ光およびＧ２光に関しては、透光板１の透光領域１Ｌよりも透光領域１Ｒの方が多くの光を透過させる。そのため、撮像素子２ａのＲ要素およびＧ２要素に対向する光感知セルから出力される画素信号は、透光領域１Ｌを透過した光による信号成分よりも透光領域１Ｒを透過した光による信号成分を多く含む。一方、Ｂ光およびＧ１光に関しては、透光板１の透光領域１Ｒよりも透光領域１Ｌの方が多くの光を透過させる。そのため、撮像素子２ａのＢ要素およびＧ１要素に対向する光感知セルから出力される画素信号は、透光領域１Ｒを透過した光による信号成分よりも透光領域１Ｌを透過した光による信号成分を多く含む。１回目の撮像で得られた画素信号は、信号発生／受信部５から画像処理部７に送られ、そこで画像信号が生成され、保持される。
次に、透光板１は、回転駆動部９によって図７（ａ）の状態から中心を軸として１８０度回転し、図７（ｂ）に示す状態になる。この状態で２回目の撮像が行われる。このとき、透光板１は上記とは逆の状態になる。したがって、撮像素子２ａのＲ要素およびＧ２要素に対向する光感知セルから出力される画素信号は、透光領域１Ｒを透過した光による信号成分よりも透光領域１Ｌを透過した光による信号成分を多く含む。一方、撮像素子２ａのＢ要素およびＧ１要素に対向する光感知セルから出力される画素信号は、透光領域１Ｌを透過した光による信号成分よりも透光領域１Ｒを透過した光による信号成分を多く含む。この場合も同様に、信号発生／受信部５から画像処理部７に画素信号が送られ、そこで画像信号が生成され、保持される。
以上の２回の撮像で得られる画素信号Ｒｓ（１）、Ｒｓ（２）、Ｇ１ｓ（１）、Ｇ１ｓ（２）、Ｇ２ｓ（１）、Ｇ２ｓ（２）、Ｂｓ（１）、Ｂｓ（２）から、信号演算によって複数視点画像が生成される。ここで、透光領域１Ｌ、１Ｒ、および撮像素子２ａ上の各色要素が完全透明であると仮定したときに、透光領域１Ｌ、１Ｒをそれぞれ透過して光電変換される光の強度を示す信号をＬ、Ｒと表す。すると、画素信号Ｒｓ（１）、Ｒｓ（２）、Ｇ１ｓ（１）、Ｇ１ｓ（２）、Ｇ２ｓ（１）、Ｇ２ｓ（２）、Ｂｓ（１）、Ｂｓ（２）と、信号Ｌ、Ｒとの関係は、以下の式１〜４で表される。但し、信号Ｌ、ＲにおけるＲ、Ｇ１、Ｇ２、Ｂ成分を、記号Ｌ、Ｒにそれぞれ添え字ｒ、ｇ１、ｇ２、ｂを付けて表すものとする。すると、Ｒ成分に関しては式１、Ｇ１成分に関しては式２、Ｇ２成分に関しては式３、Ｂ成分に関しては式４で表される。
Figure 0005923754
Figure 0005923754
Figure 0005923754
Figure 0005923754
ここで、式１〜式４の右辺の２行２列の行列の各要素は、透光板１の各透光領域を透過して撮像素子２ａの各色要素に対向する光感知セルに入射する光が感受する透過率の波長積分値で表される比例係数である。例えば、式１におけるｒＭ１１およびｒＭ１２は、１回目の撮像に関する係数であり、それぞれ以下の式５および式６で表される。
Figure 0005923754
Figure 0005923754
ここで、Ｋは比例定数であり、入射光の波長をλとして、透光板１のＣｙフィルタ、Ｙｅフィルタの分光透過率特性を、それぞれＣｙ（λ）、Ｙｅ（λ）と表し、撮像素子２ａのＲ要素の分光透過率特性をＲ（λ）と表し、その他のレンズ３、赤外カットフィルタ４、撮像素子２ａ自身を含む全ての要素の分光透過率特性をＯ（λ）と表している。ここで、積分記号の下に付されている記号「ｒ」は、積分演算がＲの波長域について行われることを表している。例えば上記の波長域の定義に従う場合、λ＝６００ｎｍ〜７００ｎｍの範囲で積分が行われる。
また、式１におけるｒＭ２１およびｒＭ２２は、２回目の撮像に関する係数であり、ｒＭ２１＝ｒＭ１２、ｒＭ２２＝ｒＭ１１である。本実施形態では、２回の撮像は短時間の間に連続して行われることから、２回の撮像の間に生じ得る入射光量の変化は無視している。そのため、上記の２つの等式が成立する。
式２〜式４の右辺の２行２列の行列要素についても、式５、６におけるＲ（λ）を、各色要素の分光透過率特性に置き換え、積分範囲をその色の波長域に変更するだけで、同様の計算により求めることができる。すなわち、ｇ１Ｍ１１、ｇ１Ｍ１２、ｇ２Ｍ１１、ｇ２Ｍ１２、ｂＭ１１、ｂＭ１２は、それぞれ以下の式７〜１２で表される。ここで、Ｇ１要素の分光透過率特性をＧ１（λ）、Ｇ２要素の分光透過率特性をＧ２（λ）、Ｂ要素の分光透過率特性をＢ（λ）とする。
Figure 0005923754
Figure 0005923754
Figure 0005923754
Figure 0005923754
Figure 0005923754
Figure 0005923754
ここで式７〜式１２における積分記号の下に付されている記号ｇ１、ｇ２、ｂは、積分演算がそれぞれＧ１、Ｇ２、Ｂの波長域について行われることを表している。例えば上記の波長域の定義に従う場合、式７、式８については、λ＝５００ｎｍ〜５５０ｎｍの範囲で、式９、式１０については、λ＝５５０ｎｍ〜６００ｎｍの範囲で、式１１、式１２については、λ＝４００ｎｍ〜５００ｎｍの範囲で積分が行われる。
また、２回目の撮像に関する係数については、Ｒ成分と同様、ｇ１Ｍ２１＝ｇ１Ｍ１２、ｇ１Ｍ２２＝ｇ１Ｍ１１、ｇ２Ｍ２１＝ｇ２Ｍ１２、ｇ２Ｍ２２＝ｇ２Ｍ１１、ｂＭ２１＝ｂＭ１２、ｂＭ２２＝ｂＭ１１が成立する。
なお、上記の説明では、各行列要素を求めるために、各色成分の波長域に限定した積分演算を行うこととしたが、このような方法に限定されるものではない。例えば、色フィルタ以外の構成要素の光透過率を表す関数Ｏ（λ）を、Ｂ、Ｇ１、Ｇ２、Ｒの色成分ごとに異なる関数とし、可視光の全波長域（例えば４００ｎｍ〜７００ｎｍ）について積分演算を行ってもよい。また、積分の中の関数Ｏ（λ）を除外して可視光の全波長域について積分演算を行った結果に、Ｏ（λ）による効果を考慮して定められた定数を掛けることによって各行列要素を求めてもよい。
画像処理部７は、式１〜式４における２行２列の行列の逆行列を各式の両辺に左から掛ける処理を行うことにより、透光板１の左側領域１Ｌを透過した光によって形成される画像を示す信号Ｌの各色成分と、右側領域１Ｒを透過した光によって形成される画像を示す信号Ｒの各色成分とを求める。信号Ｌの各色成分Ｌｒ、Ｌｇ１、Ｌｇ２、Ｌｂ、および信号Ｒの各色成分Ｒｒ、Ｒｇ１、Ｒｇ２、Ｒｂは、以下の式１３〜式１６に示す演算によって求められる。
Figure 0005923754
Figure 0005923754
Figure 0005923754
Figure 0005923754
画像処理部７は、さらに、以下の式１７および式１８に示す計算により、それらの輝度画像を構成する信号Ｌ、Ｒを生成する。
Figure 0005923754
Figure 0005923754
画像処理部７は、以上の信号演算処理を、図５に示す画素ブロック４０ごとに実行する。このようにして画素ブロック４０ごとに生成された信号Ｌ、Ｒの集合は、１対の複数視点画像として、画像インターフェース部８から出力される。
以上のように、本実施形態によれば、水平方向（ｘ方向）にＣｙフィルタ、Ｙｅフィルタを並べて配置した透光板１、および透過率が互いに異なる２種類のＧ要素が配置されたＢａｙｅｒ配列の撮像素子２ａを用いて、透光板１を１８０度回転させる前後で２回撮像が行われる。各色の信号に対して２×２の行列を用いた演算を行うことにより、複数視点画像を得ることができる。透光板１は補色光（Ｃｙ、Ｙｅ）を透過させるように設計されているので、従来技術による場合よりも光利用率が高く、感度的に良好なカラー複数視点画像を得ることができる。
なお、本実施形態における透光板１のＣｙフィルタおよびＹｅフィルタは、図４に示すように、分光透過率特性は異なるが、可視光の全波長域にわたる透過率の積分値がほぼ等しくなるように設計されている。しかし、ＣｙフィルタおよびＹｅフィルタは、このように設計されている必要はなく、一方のフィルタの透過率の積分値が他方のものよりも大きくなっていてもよい。例えば、図８Ａに示すように、緑光の透過率について、Ｃｙフィルタは約７０％の緑光を透過させ、Ｙｅフィルタは約３０％の緑光を透過させるように構成されていてもよい。ＣｙフィルタおよびＹｅフィルタの分光透過率特性がどのようなものであっても、その関数形が既知であれば、上記の信号処理によって複数視点画像を生成することができる。
また、本実施形態では、透光板１における透光領域１Ｌ、１Ｒには、ＣｙフィルタおよびＹｅフィルタが用いられるが、他の異なる色フィルタを用いてもよい。それらの色フィルタの分光透過率特性を加算した結果が透明に近い特性を有していれば、本実施形態と同様の効果を得ることができる。なお、本明細書において「透明」とは、可視光の任意の波長の光について、概ね８０％以上の透過率を有する特性を意味するものとする。また、ある態様では、２つの透光領域１Ｌ、１Ｒは、それらの分光透過率特性を示す関数の和が波長依存性を有しないように構成され得る。ここで、「波長依存性を有しない」とは、分光透過率特性を示す関数の可視光の波長域における最大値と最小値との比が、概ね０．８〜１．０の範囲に納まっている場合を意味するものとする。
さらに、透光板１における２つの透光領域１Ｌ、１Ｒは、透光板１を２分割するように構成されている必要はない。例えば、図８Ｂに示すように、透光板１の左側領域の一部を透光領域１Ｌとし、右側領域の一部を透光領域１Ｒとし、その他の領域は遮光性の部材で形成されていてもよい。このような構成を採用した場合、図３に示す構成に比べ、入射光量は低下するが、より顕著な視差情報を得ることができる。このような構成を採用する場合であっても、透光領域１Ｌ、１Ｒは、透光板１の中心に対して対称に配置され得る。また、２つの透光領域１Ｌ、１Ｒのサイズは必ずしも等しく設計されている必要はない。両者のサイズに差異があったとしても、その差異を信号処理によって補償することが可能である。
また、撮像素子２ａの色配置に関しても、本実施形態ではベイヤー型の配列が用いられるが、これに限定するものではない。例えば、図８Ｃに示すように２行目のＢ要素とＧ２要素とが入れ替わった配置であっても問題ない。また、撮像素子２ａの画素配列は図５に示す正方配列に限らず、ｘ軸およびｙ軸に対して斜め方向に画素が配列された斜交型の配列を採用してもよい。
さらに、撮像素子２ａの色要素に関して、第１のＧ要素および第２のＧ要素以外にＲ要素およびＢ要素を用いたが、これらに限定されるものではない。例えば、Ｒ要素の代わりにＲ光の透過率の高いマゼンタ要素を用い、Ｂ要素の代わりにＢ光の透過率の高いマゼンタ要素を用いても問題はない。むしろこれらの要素を用いた場合は光利用率をさらに高めることができるという効果を有する。また、Ｇ１要素およびＧ２要素の可視光の全波長域にわたる透過率の積分値が互いに異なっていてもよい。例えば、図８Ｄに示すように、Ｇ１要素の緑光に関する透過率を約７０％に設計し、Ｇ２要素の緑光に関する透過率を約３０％に設計してもよい。各要素の分光透過率特性が本実施形態におけるものとは異なっていたとしても、それらの関数形が既知であれば、上記と同様の信号処理が適用できる。
さらに、本実施形態では、撮像素子２ａの各画素ブロックにおける緑要素として、Ｇ１およびＧ２の２種類のフィルタが用いられるが、これらの代わりに、緑光の大部分を透過させる通常の緑要素を用いてもよい。その場合、通常のＢａｙｅｒ配列と全く同じ色要素の組み合わせとなり、式２および式３は、１つの式に集約される。
以上の実施形態では、回転駆動部９が透光板１を回転させることにより、２つの透光領域に配置された色フィルタの位置を互いに入れ替えるが、両色フィルタの入れ替えは、回転動作によらなくてもよい。例えば、図９に示すように、色フィルタを一方向にスライドさせることによって両色フィルタの位置を入れ替えてもよい。図９に示す透光板１には、３つの色フィルタが配置されたスライド板１ａが取り付けられ、スライド板１ａをスライドさせることによって透光領域１Ｌ、１Ｒの分光透過率特性を入れ替えることができる。図示される例では、スライド板１ａには、中央にＣｙフィルタ、両端にＹｅフィルタが配置されている。図９（ａ）に示すように、スライド板１ａがない状態では透光領域１Ｌ、１Ｒは透明である。図９（ｂ）に示すように、透光領域１Ｌの位置にＣｙフィルタが位置し、透光領域１Ｒの位置にＹｅフィルタが位置する状態で１回目の撮像が行われる。続いて、図９（ｃ）に示すように、透光領域１Ｌの位置にＹｅフィルタが位置し、透光領域１Ｒの位置にＣｙフィルタが位置する状態で２回目の撮像が行われる。このような構成を採用しても、本実施形態と同様の効果を得ることができる。
（実施形態２）
次に本発明の第２の実施形態を説明する。本実施形態と実施形態１との主な相違点は、透光板１の構成および画像処理部７の処理にある。以下、実施形態１との相違点を中心に説明し、共通する事項についての説明は省略する。
図１０は本実施形態における透光板１の正面図である。透光板１は円形であり、透光領域１Ｌ、１Ｒと、２つの透明領域Ｗとを有している。透光領域１Ｌ、１Ｒは、ｙ軸に対して対称的に配置されている。２つの透明領域Ｗは、ｘ軸に対して対称的に配置されている。透光領域１Ｌ、１Ｒ、および２つの透明領域Ｗの各々は、扇形の形状を有している。実施形態１と同様、透光領域１Ｌ、１Ｒには、それぞれＣｙフィルタ、Ｙｅフィルタが配置される。それらのフィルタの特性は、実施形態１のものと同一である。透明領域Ｗは、入射光（可視光）の大部分を波長によらず透過させる部材（例えばガラス、空気等）から構成される。透明領域Ｗの光透過率は、光利用率の観点から、高い値に設定され得る。透光領域１Ｌ、１Ｒの面積は、等しくなるように設計されている。
本実施形態では、透光板１以外の機器の構成、および２度撮影するという動作制御に関しては、実施形態１と同じであるが、画像処理部４における演算処理は異なる。
以下、本実施形態における演算処理の流れを説明する。まず、透光板１の透光領域１Ｌ、１Ｒ、および透明領域Ｗの各々を透過した光によって形成される被写体画像を、２種類の方法で表す。具体的には、画像信号をＲ成分、Ｇ１成分、Ｂ成分で表す第１の表式、およびＲ成分、Ｇ２成分、Ｂ成分で表す第２の表式の２種類の表式で表す。次に各々の表式について、透光板１の各領域に入射した光による画像を、各色成分の信号を用いて算出する。最後に、各色成分の信号同士を合成することによってカラーの複数視点画像を生成する。実際の各領域に入射する光による信号と色成分の信号との関係は、３×３の行列を用いた式で表される。ここで、透光板１の領域１Ｌ、１Ｒ、Ｗ、および撮像素子２ａの各色要素の全てが完全透明であると仮定した場合に透光領域１Ｌ、１Ｒ、および透明領域Ｗを透過する光によって形成される画像を示す信号を、それぞれＬ、Ｒ、Ｃで表す。また、それらの画像について、ｉ回目（ｉ＝１，２）の撮像に関する信号をそれぞれの記号に括弧書きの添え字ｉを付加して表す。すると、画素信号Ｒｓ（１）、Ｒｓ（２）、Ｇ１ｓ（１）、Ｇ１ｓ（２）、Ｇ２ｓ（１）、Ｇ２ｓ（２）、Ｂｓ（１）、Ｂｓ（２）と、画像信号Ｌ、Ｒ、Ｃとの関係は、第１回目の撮像については式１９、式２０で表され、第２回目の撮像については式２１、式２２で表される。
Figure 0005923754
Figure 0005923754
Figure 0005923754
Figure 0005923754
ここで、式１９〜２２における３行３列の行列の各要素は、透光板１の各領域を透過して撮像素子２ａの各色要素に対向する光感知セルに入射する光が感受する透過率の波長積分で表される比例係数である。例えば、式１９における３行３列の行列の各要素は、以下の式２３〜式３１に示す計算によって求められる。但し、これらの式におけるＫ’は比例係数で、Ｗ（λ）は透光板１のＷ領域の分光透過率特性を示す関数である。
Figure 0005923754
Figure 0005923754
Figure 0005923754
Figure 0005923754
Figure 0005923754
Figure 0005923754
Figure 0005923754
Figure 0005923754
Figure 0005923754
式１９と式２０あるいは式２１と式２２では、Ｇ１成分とＧ２成分に関係するパラメータのみ異なり、その他の色成分に関係するパラメータは同じである。式１９〜２２の各式において、右辺の３×３行列の逆行列を両辺に左から掛けると、以下の式３２〜式３５に示すように、各領域を透過した光による画像を得ることができる。但し、これらの式において右辺の３×３の行列は、式１９〜式２２における３×３行列の逆行列である。
Figure 0005923754
Figure 0005923754
Figure 0005923754
Figure 0005923754
画像処理部７は、式３２〜式３５に示す演算によって求めた２組のＬ１、Ｒ１、Ｃ１、Ｌ２、Ｒ２、Ｃ２に基づく演算により、複数視点画像を生成する。具体的には、例えば以下の手順により、複数視点画像を構成する輝度信号Ｌ、Ｒ、Ｃが生成される。まず、式３２におけるＬ１、式３３におけるＬ１、式３４におけるＬ２、式３４におけるＬ２の平均値をＬの輝度信号とする。同様に、Ｒ、Ｃについても、それぞれの信号の平均値を輝度信号とする。
・Ｌの輝度：｛(式32のＬ1)＋(式33のＬ1)＋(式34のＬ2)＋(式35のＬ2)｝／４
・Ｒの輝度：｛(式32のＲ1)＋(式33のＲ1)＋(式34のＲ2)＋(式35のＲ2)｝／４
・Ｃの輝度：｛(式32のＣ1)＋(式33のＣ1)＋(式34のＣ2)＋(式35のＣ2)｝／４
次に、色信号については、Ｌ、Ｒ、Ｃとも共通の信号を利用する。例えば、以下のようにＲ値、Ｇ値、Ｂ値を求める。
・Ｒ値：（Rs(1)＋Rs(2)）／２
・Ｇ値：（G1s(1)＋G2s(1)＋G1s(2)＋G2s(2)）／４
・Ｂ値：（Bs(1)＋Bs(2)）／２
続いて、これらのＲ、Ｇ、Ｂ値から、色差信号を作る。ここでは、ＮＴＳＣ方式に基づき、以下の色差信号Ｒ−ＹおよびＢ−Ｙを作る。
・R-Y＝0.7R−0.59G−0.11B
・B-Y＝−0..3R−0.59G＋0.89B
最後に、Ｌ、Ｒ、Ｃの各輝度信号をＹＬとして、Ｌ、Ｒ、Ｃそれぞれについて以下の演算により、Ｒ、Ｇ、Ｂ値を求める。
Ｒ＝（R-Y）＋YL
Ｂ＝（B-Y）＋YL
Ｇ＝（YL−0.3R−0.11B）／0.59
以上の演算により、カラー複数視点画像を生成することができる。なお、上記の方法は、複数視点画像の輝度情報を中心に生成し、色情報は付加的に重畳するという方法である。その理由は、人間の視覚は、輝度情報に対して敏感であるが、色情報に対しては相対的に敏感ではないという視覚上の特性を有しているためである。
以上のように、本実施形態によれば、水平方向（ｘ方向）にＣｙフィルタおよびＹｅフィルタを配置し、さらに透明領域Ｗを加えた透光板１と、透過率が互いに異なる２種類のＧ要素を用いたＢａｙｅｒ配列のカラー固体撮像素子とが用いられる。透光板１を１８０度回転させる前後で２回撮像し、各色の信号に対して３×３行列を用いた演算を行うことにより、複数視点画像を得ることができる。本実施形態では、透光板１は補色フィルタと透明部材で構成されるので、光利用率が高く、感度的に良好な複数視点画像を得ることができるという効果を奏する。
なお、本実施形態では、透光板１において、Ｃｙフィルタの領域、Ｙｅフィルタの領域、透明領域のサイズを等しくしたが、これに限定されるものではなく、それらの領域のサイズが異なっていても問題はない。
以上の実施形態では、撮像装置に内蔵された画像処理部７が画像処理を行うものとしたが、撮像装置とは独立した他の装置に当該画像処理を実行させてもよい。例えば、上記の各実施形態における撮像部１００を有する撮像装置によって取得した信号を、他の装置（画像処理装置）に読み込ませ、上記の信号演算処理を規定するプログラムを当該画像処理装置に内蔵されたコンピュータに実行させることによっても同様の効果を得ることができる。
本発明の実施形態にかかる３次元撮像装置は、固体撮像素子を用いたすべてのカメラに有効である。例えば、デジタルカメラやデジタルビデオカメラ等の民生用カメラや、産業用の固体監視カメラ等に利用できる。
１ 透光板
１Ｌ、１Ｒ 透光領域
２ 固体撮像素子
２ａ カラー固体撮像素子
３ 光学レンズ
４ 赤外カットフィルタ
５ 信号発生及び画像信号受信部
６ 素子駆動部
７ 画像処理部
８ 画像インターフェース部
９ 回転駆動部
１０ 画素
１１ ０度偏光の偏光板
１２ ９０度偏光の偏光板
１３ 反射鏡
１４ ハーフミラー
１５ 円形の偏光フィルタ
１６ 偏光フィルタを回転させる駆動装置
１７、１８ 偏光フィルタ
１９ レンズ絞り
２０、２２、２３ 光束制限板
２０ａ 赤系統の光を透過させる色フィルタ
２０ｂ 青系統の光を透過させる色フィルタ
２１ 感光フィルム
２２Ｒ、２３Ｒ 光束制限板のＲ光透過領域
２２Ｇ、２３Ｇ 光束制限板のＧ光透過領域
２２Ｂ、２３Ｂ 光束制限板のＢ光透過領域
２９ 撮像装置
３０ メモリ
４０ 画素ブロック
６０ 光感知セル
１００ 撮像部
２００ 信号処理部

Claims (9)

  1. 第１透光領域および第２透光領域を有する光透過部であって、前記第１透光領域には、青の波長域に含まれる第１波長域の光と、緑の波長域に含まれる第２波長域の光とを透過させる特性を有する第１の色フィルタが配置され、前記第２透光領域には、緑の波長域に含まれ前記第２波長域よりも波長の長い第３波長域の光と、赤の波長域に含まれる第４波長域の光とを透過させる特性を有する第２の色フィルタが配置されている光透過部と、
    前記光透過部を透過した光を受けるように配置された撮像素子と、
    前記撮像素子の撮像面に像を形成する結像部と、
    連続して少なくとも２回の撮像を行うように前記撮像素子を駆動する撮像駆動部であって、撮像ごとに前記第１透光領域の位置および前記第２透光領域の位置を入れ替えるように前記光透過部を駆動する撮像駆動部と、
    を備えている３次元撮像装置。
  2. 前記撮像素子から出力される画素信号に基づいて複数視点画像を生成する画像処理部をさらに備える、請求項１に記載の３次元撮像装置。
  3. 前記撮像素子は、撮像面上に２次元状に配列された複数の画素ブロックを有し、
    前記複数の画素ブロックの各々は、前記第１波長域の光を主に感知する第１画素と、前記第２波長域の光を主に感知する第２画素と、前記第３波長域の光を主に感知する第３画素と、前記第４波長域の光を主に感知する第４画素とを有している、請求項１または２に記載の３次元撮像装置。
  4. 前記第１透光領域および前記第２透光領域は、前記第１透光領域の分光透過率特性を示す関数と前記第２透光領域の分光透過率特性を示す関数との和が波長依存性を有しないように構成されている、請求項１から３のいずれかに記載の３次元撮像装置。
  5. 前記光透過部は、さらに透明領域を有している、請求項１から４のいずれかに記載の３次元撮像装置。
  6. 前記第２波長域は、５００ｎｍ以上５５０ｎｍ以下であり、前記第３波長域は、５５０ｎｍ以上６００ｎｍ以下である、請求項１から５のいずれかに記載の３次元撮像装置。
  7. 前記撮像素子は、ベイヤー型の画素配列を有している、請求項１から６のいずれかに記載の３次元撮像装置。
  8. 前記第１透光領域および前記第２透光領域は、前記光透過部の中心に対して対称に配置され、
    前記撮像駆動部は、前記光透過部の中心を軸として前記光透過部を１８０度回転させることにより、前記第１透光領域の位置および前記第２透光領域の位置を撮像ごとに入れ替える、請求項１から７のいずれかに記載の３次元撮像装置。
  9. 第１透光領域および第２透光領域を有する光透過部であって、前記第１透光領域には、青の波長域に含まれる第１波長域の光と、緑の波長域に含まれる第２波長域の光とを透過させる特性を有する第１の色フィルタが配置され、前記第２透光領域には、緑の波長域に含まれ前記第２波長域よりも波長の長い第３波長域の光と、赤の波長域に含まれる第４波長域の光とを透過させる特性を有する第２の色フィルタが配置されている光透過部と、
    前記光透過部を透過した光を受けるように配置された撮像素子と、
    前記撮像素子の撮像面に像を形成する結像部と、
    連続して少なくとも２回の撮像を行うように前記撮像素子を駆動する撮像駆動部であって、撮像ごとに前記第１透光領域の位置および前記第２透光領域の位置を入れ替えるように前記光透過部を駆動する撮像駆動部と、
    を備えた３次元撮像装置から出力された信号に基づいて複数視点画像を生成する画像処理装置。
JP2012552589A 2011-08-11 2012-07-04 ３次元撮像装置 Active JP5923754B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011175936 2011-08-11
JP2011175936 2011-08-11
PCT/JP2012/004315 WO2013021542A1 (ja) 2011-08-11 2012-07-04 ３次元撮像装置

Publications (2)

Publication Number Publication Date
JPWO2013021542A1 JPWO2013021542A1 (ja) 2015-03-05
JP5923754B2 true JP5923754B2 (ja) 2016-05-25

Family

ID=47668084

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012552589A Active JP5923754B2 (ja) 2011-08-11 2012-07-04 ３次元撮像装置

Country Status (4)

Country Link
US (1) US9161017B2 (ja)
JP (1) JP5923754B2 (ja)
CN (1) CN103052914B (ja)
WO (1) WO2013021542A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014230179A (ja) * 2013-05-24 2014-12-08 ソニー株式会社 撮像装置及び撮像方法
JP6173065B2 (ja) * 2013-06-21 2017-08-02 オリンパス株式会社 撮像装置、画像処理装置、撮像方法及び画像処理方法
JP2016102733A (ja) * 2014-11-28 2016-06-02 株式会社東芝 レンズ及び撮影装置
CN107636533A (zh) * 2015-06-03 2018-01-26 奥林巴斯株式会社 摄像装置、内窥镜装置以及摄像方法
US10178363B2 (en) * 2015-10-02 2019-01-08 Invensas Corporation HD color imaging using monochromatic CMOS image sensors integrated in 3D package
JP6699897B2 (ja) * 2016-11-11 2020-05-27 株式会社東芝 撮像装置、自動制御システム及びシステム
WO2019123600A1 (ja) * 2017-12-21 2019-06-27 オリンパス株式会社 撮像装置
CN112135066B (zh) * 2019-06-24 2022-02-25 北京地平线机器人技术研发有限公司 调整摄像装置的入射光强度的装置、方法、介质和设备
CN113823757B (zh) * 2021-09-18 2024-08-16 成都京东方光电科技有限公司 显示面板及显示装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL80994A0 (en) 1985-12-24 1987-03-31 Ling William Method and moving film camera for recording colour images
GB8531773D0 (en) * 1985-12-24 1986-02-05 Ling W Recording & reproduction of stereoscopic images
JPH0748878B2 (ja) 1986-03-19 1995-05-24 日本放送協会 立体画像撮像表示システム
JPS62291292A (ja) 1986-06-11 1987-12-18 Sharp Corp 撮像装置
JPH02171737A (ja) 1988-12-26 1990-07-03 Minolta Camera Co Ltd ステレオカメラ用撮影レンズ
US7683926B2 (en) * 1999-02-25 2010-03-23 Visionsense Ltd. Optical device
JP3863319B2 (ja) 1999-06-29 2006-12-27 富士フイルムホールディングス株式会社 視差画像撮像装置及びカメラ
US6807295B1 (en) 1999-06-29 2004-10-19 Fuji Photo Film Co., Ltd. Stereoscopic imaging apparatus and method
US6788338B1 (en) * 2000-11-20 2004-09-07 Petko Dimitrov Dinev High resolution video camera apparatus having two image sensors and signal processing
JP2002344999A (ja) 2001-05-21 2002-11-29 Asahi Optical Co Ltd ステレオ画像撮像装置
US7061534B2 (en) * 2001-08-31 2006-06-13 Pentax Corporation Three-dimensional image capturing device
JP3869702B2 (ja) 2001-10-30 2007-01-17 ペンタックス株式会社 ステレオ画像撮像装置
US7057654B2 (en) * 2002-02-26 2006-06-06 Eastman Kodak Company Four color image sensing apparatus
US20040125205A1 (en) * 2002-12-05 2004-07-01 Geng Z. Jason System and a method for high speed three-dimensional imaging
JP4078551B2 (ja) * 2003-08-08 2008-04-23 ミネベア株式会社 カラーホイール、その製造方法、およびそれを備えた分光装置並びに画像表示装置
US20050237487A1 (en) * 2004-04-23 2005-10-27 Chang Nelson L A Color wheel assembly for stereoscopic imaging
KR100913173B1 (ko) * 2005-07-05 2009-08-19 삼성모바일디스플레이주식회사 3ｄ 그래픽 처리장치 및 이를 이용한 입체영상 표시장치
JP2007017536A (ja) * 2005-07-05 2007-01-25 Ricoh Co Ltd プロジェクタ装置
JP4984634B2 (ja) 2005-07-21 2012-07-25 ソニー株式会社 物理情報取得方法および物理情報取得装置
JP2007317750A (ja) * 2006-05-23 2007-12-06 Matsushita Electric Ind Co Ltd 撮像装置
US20070177004A1 (en) * 2006-06-08 2007-08-02 Timo Kolehmainen Image creating method and imaging device
US7690795B2 (en) * 2006-10-06 2010-04-06 Hewlett-Packard Development Company, L.P. Projector/camera system
JP2008177191A (ja) * 2007-01-16 2008-07-31 Matsushita Electric Ind Co Ltd 固体撮像装置およびそれを用いたカメラ
JP2009276294A (ja) 2008-05-16 2009-11-26 Toshiba Corp 画像処理方法
JP5099704B2 (ja) 2008-08-06 2012-12-19 独立行政法人産業技術総合研究所 高さを測定する方法及び高さ測定装置
GB2463480A (en) 2008-09-12 2010-03-17 Sharp Kk Camera Having Large Depth of Field
CN102144395A (zh) * 2009-06-10 2011-08-03 Lg电子株式会社 高速搜索模式中的立体图像再现方法和使用该方法的立体图像再现装置
US8908958B2 (en) * 2009-09-03 2014-12-09 Ron Kimmel Devices and methods of generating three dimensional (3D) colored models
US9036004B2 (en) 2010-01-05 2015-05-19 Panasonic Intellectual Property Management Co., Ltd. Three-dimensional image capture device

Also Published As

Publication number Publication date
CN103052914B (zh) 2016-09-28
CN103052914A (zh) 2013-04-17
JPWO2013021542A1 (ja) 2015-03-05
US9161017B2 (en) 2015-10-13
US20130147926A1 (en) 2013-06-13
WO2013021542A1 (ja) 2013-02-14

Similar Documents

Publication Publication Date Title
JP5923754B2 (ja) ３次元撮像装置
JP5227368B2 (ja) ３次元撮像装置
JP5421365B2 (ja) ３次元撮像装置
JP5879549B2 (ja) ライトフィールド撮像装置、および画像処理装置
US20120112037A1 (en) Three-dimensional imaging device
JP5903670B2 (ja) ３次元撮像装置、画像処理装置、画像処理方法および画像処理プログラム
JP5927570B2 (ja) ３次元撮像装置、光透過部、画像処理装置、およびプログラム
JP5995084B2 (ja) ３次元撮像装置、撮像素子、光透過部、および画像処理装置
JP5507362B2 (ja) ３次元撮像装置および光透過板
JP5406163B2 (ja) ３次元撮像装置および画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160311

R151 Written notification of patent or utility model registration

Ref document number: 5923754

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151