JP5577772B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP5577772B2
JP5577772B2 JP2010058304A JP2010058304A JP5577772B2 JP 5577772 B2 JP5577772 B2 JP 5577772B2 JP 2010058304 A JP2010058304 A JP 2010058304A JP 2010058304 A JP2010058304 A JP 2010058304A JP 5577772 B2 JP5577772 B2 JP 5577772B2
Authority
JP
Japan
Prior art keywords
exposure
frame
shutter
liquid crystal
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010058304A
Other languages
English (en)
Other versions
JP2011191556A (ja
Inventor
真一郎 田尻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010058304A priority Critical patent/JP5577772B2/ja
Priority to CN2011100561144A priority patent/CN102193269A/zh
Priority to US13/047,398 priority patent/US8860826B2/en
Publication of JP2011191556A publication Critical patent/JP2011191556A/ja
Application granted granted Critical
Publication of JP5577772B2 publication Critical patent/JP5577772B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/02—Stereoscopic photography by sequential recording
    • G03B35/04—Stereoscopic photography by sequential recording with movement of beam-selecting members in a system defining two or more viewpoints
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B9/00—Exposure-making shutters; Diaphragms
    • G03B9/08—Shutters

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、例えば３次元表示に利用される視差画像の取得に好適な撮像装置に関する。
従来、様々な撮像装置が提案され、開発されている。例えば、撮像レンズと、左右に領域分割され、分割された領域毎に開閉を選択的に切り替え可能なシャッターとを備えた撮像装置が提案されている（例えば、特許文献１〜３参照）。これによれば、シャッターの左右の各領域における開閉を時分割で交互に切り替えることで、透過光路を切り替え、１つの撮像光学系で左右の各視点から撮影したかのような２種類の画像（左視点画像および右視点画像）を時分割で取得することができる。これらの左視点画像および右視点画像を、何らかの手段を用いて人間の眼に提示することにより、人間はその画像に立体感を感じることができる。
特開昭４９−０８７２２３号公報 特開２００２−３４０５６号公報 特表平９−５０５９０６号公報 特開平１０−２７１５３４号公報 特開２０００−１３７２０３号公報
上記のように１台で左右の視点画像を取得可能な撮像装置は、静止画を対象としたものが多い。動画を撮影するものも提案されている（例えば、特許文献１，２参照）が、これらの撮像装置はいずれも、イメージセンサとして、露光および信号読み出しを面順次に行ういわゆるグローバルシャッタータイプのＣＣＤ（Charge Coupled Device）を使用したものである。
ところが、近年では、ＣＣＤよりも、低コスト、低消費電力および高速処理化を実現可能なＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサが主流になってきている。このＣＭＯＳセンサは、上記のようなＣＣＤと異なり、露光および信号読み出しを線順次に行う、いわゆるローリングシャッタータイプのイメージセンサである。上記ＣＣＤでは、各フレームにおいて画面全体が同時刻に一括して撮影されるのに対し、このＣＭＯＳセンサでは、例えば画面の上部から下部に向けて線順次で駆動されるため、各フレームではライン毎に、露光期間や読み出しタイミングに時間的なずれが生じる。
そのため、上記のようなシャッターにより光路を切り替えながら撮影する撮像装置において、ＣＭＯＳセンサを使用すると、シャッターの各領域の開期間と対応するフレームの露光期間とに時間的なずれが生じる。この結果、各フレームでは、シャッターの右領域の透過光と左領域の透過光とが混在して受光され（左右のクロストークが生じ）、複数視点の画像（ここでは左右の視点画像）を精度良く取得できないという問題があった。このように視点画像間においてクロストークを生じると、左右の視差量が低減するため、所望の立体感を得にくく（平面的な画像として認識され易く）なってしまう。
本発明はかかる問題点に鑑みてなされたもので、その目的は、線順次駆動型の撮像素子を用いて、複数の視点画像を精度良く取得することが可能な撮像装置を提供することにある。
本発明の第１の撮像装置は、撮像レンズと、複数の領域に分割され、領域毎に開状態および閉状態が切り替え制御されるシャッターと、線順次駆動される複数の受光画素を含むと共に複数のフレームからなる撮像画像を取得する撮像素子と、シャッターにおける各領域の開閉を切り替えると共に、撮像素子における露光および信号の読み出しを制御する制御部とを備えたものである。制御部は、撮像素子における複数の受光画素の露光開始を一括して行うと共に、露光終了および読み出しを線順次で行い、かつ第１のフレームの開始時刻に応じて、シャッターの第１の領域を閉状態から開状態へ切り替えると共に他の領域を閉状態とし、１フレーム期間経過時刻に応じて、第１の領域を開状態から閉状態へ切り替えると共に１ライン目から信号の読み出しを開始し、第２のフレームの開始時刻に応じて、シャッターの第２の領域を閉状態から開状態へ切り替えると共に他の領域を閉状態とし、１フレーム期間経過時刻に応じて、第２の領域を開状態から閉状態へ切り替えると共に１ライン目から信号の読み出しを開始する。
本発明の第２の撮像装置は、撮像レンズと、複数の領域に分割され、領域毎に開状態および閉状態が切り替え制御される液晶シャッターと、線順次駆動される複数の受光画素を含むと共に、複数のフレームからなる撮像画像を取得する撮像素子と、液晶シャッターにおける各領域の開閉を切り替えると共に、撮像素子における露光および信号の読み出しを制御する制御部とを備えたものである。制御部は、撮像素子を駆動して、少なくとも第１のフレームと、第１のフレームの露光終了以降に露光が開始された第２のフレームとをそれぞれ取得し、第１のフレームの露光期間に対応して液晶シャッターの第１の領域を開状態、他の領域を閉状態にそれぞれ制御し、第２のフレームの露光期間に対応して液晶シャッターの第２の領域を開状態、他の領域を閉状態にそれぞれ制御し、第１および第２のフレームのそれぞれにおいて、フレーム開始時刻に１ライン目の露光を開始させ、かつ１ライン目の露光開始前に、液晶シャッターの１の領域を閉状態から開状態へ切り替える。
本発明の第３の撮像装置は、撮像レンズと、複数の領域に分割され、領域毎に開状態および閉状態が切り替え制御される液晶シャッターと、線順次駆動される複数の受光画素を含むと共に、複数のフレームからなる撮像画像を取得する撮像素子と、液晶シャッターにおける各領域の開閉を切り替えると共に、撮像素子における露光および信号の読み出しを制御する制御部とを備えたものである。制御部は、撮像素子を駆動して、少なくとも第１のフレームと、第１のフレームの露光終了以降に露光が開始された第２のフレームとをそれぞれ取得し、第１のフレームの露光期間に対応して液晶シャッターの第１の領域を開状態、他の領域を閉状態にそれぞれ制御し、第２のフレームの露光期間に対応して液晶シャッターの第２の領域を開状態、他の領域を閉状態にそれぞれ制御し、第１および第２のフレームのそれぞれにおいて、フレーム期間開始後に１ライン目の露光を開始させ、かつ１ライン目の露光開始前に、液晶シャッターの１の領域を開状態から閉状態へ切り替える。
尚、シャッターにおける「開状態」とは光の透過状態を示し、「閉状態」とは遮光状態を示す。
本発明の第１ないし第３の撮像装置では、制御部が、撮像素子において、少なくとも第１のフレームと、その第１のフレームの露光終了以降に露光開始となった第２のフレームとをそれぞれ取得する。換言すると、第１のフレーム後のフレームであって、第１のフレームの全ライン分の読み出しが終了する前に露光開始となるフレーム（第１および第２のフレーム間の中間フレーム）は無効フレームとして読み出しを行わないか、またはその後の処理を行わないようにする。これにより、撮像素子における信号読み出しを線順次で行う場合（各フレームにおいて、露光期間等にライン毎の時間的ずれが生じる場合）であっても、各フレーム（有効フレーム）では、シャッターの各領域のうちそのフレームに対応する領域の透過光のみを受光し易くなる。
本発明の第１ないし第３の撮像装置によれば、制御部が、少なくとも第１のフレームと、その第１のフレームの露光終了以降に露光開始となった第２のフレームとをそれぞれ取得する。これにより、各フレームでは、シャッターの各領域の透過光同士が混ざって受光される現象、いわゆるクロストークの発生を抑制できる。よって、線順次駆動型の撮像素子を用いて、複数の視点画像を精度良く取得することが可能となる。
本発明の第１の実施の形態に係る撮像装置の全体構成を表すブロック図である。 図１に示した撮像装置における視点画像取得の原理（光路分割なし）を説明するための模式図である。 図１に示した撮像装置における視点画像取得の原理（右光路）を説明するための模式図である。 図１に示した撮像装置における視点画像取得の原理（左光路）を説明するための模式図である。 比較例１に係るイメージセンサおよびシャッターの駆動タイミング図であり、（Ａ）は露光期間および読み出し、（Ｂ）はシャッターの右領域および左領域における開閉切り替えを表す。 比較例２に係るイメージセンサおよびシャッターの駆動タイミング図であり、（Ａ）は露光期間および読み出し、（Ｂ）はシャッターの右領域および左領域における開閉切り替えを表す。 本発明の第１の実施形態に係るイメージセンサおよびシャッターの駆動タイミング図であり、（Ａ）露光期間および読み出し、（Ｂ）はシャッターの右領域および左領域における開閉切り替えを表す。 液晶シャッターの平面構成を表す模式図であり、（Ａ）は左領域を開（右領域を閉）、（Ｂ）は右領域を開（左領域を閉）とした場合を示す。 図８に示した液晶シャッターの左右領域の境界付近の断面図である。 変形例１に係るイメージセンサおよびシャッターの駆動タイミング図であり、（Ａ）は露光期間および読み出し、（Ｂ）は低温時のシャッターの右領域および左領域における開閉切り替え、（Ｃ）は高温時のシャッターの右領域および左領域における開閉切り替えを表す。 変形例１に係る液晶シャッターの（Ａ）高温時と（Ｂ）低温時における応答特性を表す模式図である。 変形例２に係るイメージセンサおよびシャッターの駆動タイミング図であり、（Ａ）は露光期間および読み出し、（Ｂ）シャッターの右領域および左領域における開閉切り替えを表す。 変形例３に係るイメージセンサおよびシャッターの駆動タイミング図であり、（Ａ）は露光期間および読み出し、（Ｂ）シャッターの右領域および左領域における開閉切り替えを表す。 変形例４に係るイメージセンサおよびシャッターの駆動タイミング図であり、（Ａ）は露光期間および読み出し、（Ｂ）シャッターの右領域および左領域における開閉切り替えを表す。 変形例５に係るイメージセンサおよびシャッターの駆動タイミング図であり、（Ａ）は露光期間および読み出し、（Ｂ）は低温時のシャッターの右領域および左領域における開閉切り替え、（Ｃ）は高温時のシャッターの右領域および左領域における開閉切り替えを表す。 変形例５に係る液晶シャッターの（Ａ）高温時と（Ｂ）低温時における応答特性を表す模式図である。 本発明の第２の実施形態に係るイメージセンサおよびシャッターの駆動タイミング図であり、（Ａ）露光期間および読み出し、（Ｂ）はシャッターの右領域および左領域における開閉切り替えを表す。 変形例６に係るイメージセンサおよびシャッターの駆動タイミング図であり、（Ａ）は露光期間および読み出し、（Ｂ）は低温時のシャッターの右領域および左領域における開閉切り替え、（Ｃ）は高温時のシャッターの右領域および左領域における開閉切り替えを表す。 変形例７に係るイメージセンサおよびシャッターの駆動タイミング図であり、（Ａ）は露光期間および読み出し、（Ｂ）シャッターの右領域および左領域における開閉切り替えを表す。 変形例８に係るイメージセンサおよびシャッターの駆動タイミング図であり、（Ａ）は露光期間および読み出し、（Ｂ）は低温時のシャッターの右領域および左領域における開閉切り替え、（Ｃ）は高温時のシャッターの右領域および左領域における開閉切り替えを表す。 変形例９に係る液晶シャッターの透過率変化を表したものである。 動画撮影時の左視点画像および右視点画像の一例を表す模式図である。 画像処理例１（モーションブラー処理）を説明するための模式図である。 動画撮影時の左視点画像および右視点画像の一例を表す模式図である。 画像処理例２（画像補間処理）を説明するための模式図である。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。尚、説明は以下の順序で行う。

１．第１の実施の形態（露光開始および露光終了を線順次で行う場合の例）
２．変形例１（遮光状態から透過状態への遷移時に応答速度がより遅くなる特性を有する液晶シャッターを使用した例）
３．変形例２（シャッターの閉から開への切り替えタイミングを早めた例）
４．変形例３（シャッターの閉から開、開から閉への各切り替え、露光終了の各タイミングを早めた例）
５．変形例４（露光開始タイミングを遅らせた例）
６．変形例５（透過状態から遮光状態への遷移時に応答速度がより遅くなる特性を有する液晶シャッターを使用した例）
７．第２の実施の形態（グローバルリセット機能により、露光開始を一括して行う例）
８．変形例６（遮光状態から透過状態への遷移時に応答速度がより遅くなる特性を有する液晶シャッターを使用した例）
９．変形例７（シャッターの閉から開への切り替えタイミングを早めた例）
１０．変形例８（透過状態から遮光状態への遷移時に応答速度がより遅くなる特性を有する液晶シャッターを使用した例）
１１．変形例９（駆動シーケンスの切り替えによってシャッター制御を行う例）
１２．画像処理例１（モーションブラー処理の例）
１３．画像処理例２（画像補間処理の例）
＜第１の実施の形態＞
［撮像装置１の全体構成］
図１は、本発明の第１の実施の形態に係る撮像装置（撮像装置１）の全体構成を表したものである。この撮像装置１は、被写体の撮像画像（静止画または動画）として複数の視点画像（ここでは、左右の視点画像）を取得するものであり、撮像レンズ１０ａ，１０ｂ、シャッター１１、イメージセンサ１２、信号処理／記憶部１３および制御部２０を備えている。
撮像レンズ１０ａ，１０ｂは、被写体を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズが用いられている。この撮像レンズ１０ａ，１０ｂは、ここでは、シャッター１１の光入射側に撮像レンズ１０ａ、光出射側に撮像レンズ１０ｂをそれぞれ配置しているが、レンズの枚数や位置はこれに限定されるものではない。但し、シャッター１１は、理想的には撮像レンズ１０ａ，１０ｂの瞳面あるいは絞りの位置に配置されることが望ましい。
シャッター１１は、イメージセンサ１２へ向かう光線の光路を切り替えるためのものであり、複数の領域に分割されると共に、その分割された領域毎に開状態（透光状態）および閉状態（遮光状態）を切り替え制御されるものである。ここでは、シャッター１１が、左右２つの領域１１Ｒ，１１Ｌを有しており、これら領域１１Ｒ，１１Ｌ毎に、光線の透過率制御（具体的には透過状態（開状態）および遮断状態（閉状態）の切り替え）が可能となっている。領域１１Ｒ，１１Ｌでは、開状態および閉状態が時分割で交互に入れ替わるように制御される。シャッター１１は、上記のような光路分割（光路切り替え）が可能なものであれば、特に限定されず、機械式のシャッターであってもよいし、例えば液晶シャッターのような電気式のシャッターであってもよい。
イメージセンサ１２は、撮像レンズ１０ａ，１０ｂおよびシャッター１１を透過した光に基づいて受光信号を出力する光電変換素子である。このイメージセンサ１２は、例えばマトリクス状に配置された複数のフォトダイオード（受光画素）を有するものであり、これら複数のフォトダイオードから線順次で信号の読み出しを行う、ローリングシャッタータイプの撮像素子（例えば、ＣＭＯＳ）である。本実施の形態では、詳細は後述するが、このイメージセンサ１２において露光開始および露光終了が線順次でなされるようになっている。尚、本明細書において、露光開始とは蓄電（電荷蓄積）開始、露光終了とは蓄電終了をそれぞれ意味するものとし、露光開始から露光終了までの期間（露光期間）は電荷蓄積期間に相当するものとする。また、このイメージセンサ１２の受光面側には、例えば所定のカラー配列を有するＲ，Ｇ，Ｂのカラーフィルタ（図示せず）が配設されていてもよい。
信号処理／記憶部１３は、イメージセンサ１２から出力された撮像データに対し各種信号処理（画像処理を含む）を施すと共に、撮像データを記憶させる各種メモリを含むものである。
制御部２０は、例えばマイクロコンピュータ等であり、シャッター１１、イメージセンサ１２および信号処理／記憶部１３をそれぞれ制御するものである。具体的には、制御部２０は、シャッター１１の領域１１Ｒ，１１Ｌの開閉をそれぞれ時分割で切り替える制御を行い、開閉切り替えのタイミング制御信号をシャッター１１へ領域１１Ｒ，１１Ｌ毎に出力する。制御部２０は、また、イメージセンサ１２における露光動作および信号の読み出し動作を制御し、例えばフレーム毎の露光開始、露光終了および信号読み出し等の各タイミング制御信号をイメージセンサ１２へ出力するものである。これらのシャッター１１およびイメージセンサ１２に対する各タイミング制御信号は、詳細は後述するが、各フレームの露光期間に対応して領域１１Ｒ，１１Ｌが開状態となるように設定されている。
［第１の実施の形態の作用］
（１．撮像装置１の基本動作）
上記のような撮像装置１では、被写体からの光は、撮像レンズ１０ａ、シャッター１１および撮像レンズ１０ｂを順に透過し、イメージセンサ１２へ到達する。イメージセンサ１２では、制御部２０の制御により、受光光線に基づく撮像データが取得され、信号処理／記憶部１３に出力される。信号処理／記憶部１３は、各種信号処理部を有しており、入力された撮像データに対し、所定の信号処理、例えば、並べ替え処理、欠陥補正処理、デモザイク処理等を施すことにより、左右の視点画像を生成する。
（２．視点画像取得の原理）
次に、図２〜図４を参照して、左右の視点画像取得の原理について説明する。但し、図２〜図４は、撮像装置１における撮像レンズ１０ａ，１０ｂ、シャッター１１およびイメージセンサ１２を上面側からみた図である。
図２に示したように、シャッター１１の領域１１Ｒ，１１Ｌの両方を開いた状態（左右の光路分割を行わない状態）では、同軸上において互いに異なる位置にある３つの被写体のイメージセンサ１２への映り方は、次のようになる。但し、被写体としては、撮影レンズ１０ａ，１０ｂのピント面Ｓ１にある人物Ａ１と、人物Ａ１よりも奥（撮像レンズ１０ａと反対側）にある遠景物（山）Ｂ１と、人物Ａ１の手前（撮像レンズ１０ａ側）にある近景物（花）Ｃ１を例に挙げる。このように、人物Ａ１に撮像レンズ１０ａ，１０ｂのピントが合っている状態では、この人物Ａ１は、例えばセンサ面Ｓ３上の中央に結像する。一方、ピント面Ｓ１から外れた位置にある遠景物Ｂ１は、センサ面Ｓ３の手前（撮像レンズ１０ｂ側）に結像し、近景物Ｃ１は、センサ面Ｓ３の奥（撮像レンズ１０ｂと反対側）に結像する。即ち、センサ面Ｓ３には、人物Ａ１がフォーカスした像（Ａ２）、遠景物Ｂ１および近景物Ｃ１はデフォーカスしたぼやけた像（Ｂ２，Ｃ２）となって映る。
このような位置関係にある３つの被写体に対し、光路を左右で切り替えた場合、センサ面Ｓ３への映り方は、次のように変化する。まず、制御部２０が、シャッター１１の領域１１Ｒを開状態、領域１１Ｌを閉状態となるように制御した場合、図３に示したように、撮影レンズ１０ａ，１０ｂ間の瞳面Ｓ２において、光路の右側半分が透過光路となり、左側半分は遮光される。この場合、ピント面Ｓ１にある人物Ａ１に関しては、左側を遮光されていても（光路が右側半分のみに切り替わっても）、光路分割のない上記場合と同様、センサ面Ｓ３上に結像する。ところが、ピント面Ｓ１から外れた位置にある遠景物Ｂ１および近景物Ｃ１については、センサ面Ｓ３上においてデフォーカスしたそれぞれの像が、互いに逆の方向（ｚ１，ｚ２）に移動したような像（Ｂ２'，Ｃ２'）として映る。これにより、イメージセンサ１２では、右視点画像に対応する撮像データが取得される。
一方、制御部２０が、シャッター１１の領域１１Ｌを開状態、領域１１Ｒを閉状態となるように制御した場合、図４に示したように、撮影レンズ１０ａ，１０ｂ間の瞳面Ｓ２において、光路の左側半分が透過光路となり、右側半分は遮光される。この場合も、ピント面Ｓ１にある人物Ａ１は、センサ面Ｓ３上に結像し、ピント面Ｓ１から外れた位置にある遠景物Ｂ１および近景物Ｃ１は、センサ面Ｓ３上において互いに逆の方向（ｚ３，ｚ４）に移動したような像（Ｂ２"，Ｃ２"）として映る。但し、これらの移動方向ｚ３，ｚ４は、領域１１Ｒを開状態とした場合の移動方向ｚ１，ｚ２とそれぞれ逆向きとなる。これにより、イメージセンサ１２では、左視点画像に対応する撮像データが取得される。
上記のように、撮像装置１では、１台で複数の視点画像（ここでは、左右の視点画像）を取得することができる。また、被写体のうちピントが合っているもの以外は、光路が切り替わると、その結像位置にずれが生じるが、この結像位置のずれは、左右の視点画像間において視差を生じさせる。このような視差を有する左右の視点画像を、例えば立体視用のディスプレイで時分割表示すると共に、各画像の表示切り替えに同期して左右の開閉制御がなされるシャッター眼鏡を介して人間の眼に提示することにより、人間はその画像に立体感を感じることができる。
（３．シャッター１１およびイメージセンサ１２の駆動動作）
続いて、上記のようなシャッター１１の開閉切り替え動作、イメージセンサ１２の露光および読み出し動作について、比較例（比較例１，２）を挙げて詳細に説明する。図５に、比較例１に係るイメージセンサ（ＣＣＤ）およびシャッターの駆動タイミング、図６に、比較例２に係るイメージセンサ（ＣＭＯＳ）およびシャッターの駆動タイミングをそれぞれ示す。図７には、本実施の形態に係るイメージセンサ（ＣＭＯＳ）およびシャッターの駆動タイミングを示す。但し、各図において（Ａ）はイメージセンサにおける露光期間および読み出し、（Ｂ）はシャッターの右領域および左領域における開閉切り替えを表す。尚、以下では、右視点画像に対応するフレームをフレームＲまたはフレームＲ１、左視点画像に対応するフレームをフレームＬまたはフレームＬ１として説明する。また、本明細書において、フレーム期間ｆｒは、動画としての１フレーム期間を２分割にした期間に相当するものであり（２ｆｒ＝動画としての１フレーム期間）である。また、（Ａ）図において斜線部分は、ライン毎の露光（露出）期間を模式的に表したものである。
（比較例１）
ＣＣＤをイメージセンサとして用いた比較例１では、面順次で画面一括駆動されるため、図５（Ａ）に示したように、各フレームＲ，Ｌでは、画面全体において露光期間ＴL，ＴRに時間的なずれがなく、信号の読み出し（Read）も同時刻になされている。このため、比較例１では、シャッターにおける右側の領域１００Ｒと左側の領域１００Ｌとの開閉切り替えは、図５（Ｂ）に示したようにすればよい。即ち、フレームＲの露光期間ＴRでは、領域１００Ｒが開（OPEN）状態（領域１００Ｌが閉（CLOSE）状態）となるように、フレームＬの露光期間ＴLでは、領域１００Ｌが開状態（領域１００Ｒが閉状態）となるように切り替えを行う。具体的には、フレームＲの露光開始時刻（フレームＬの露光終了時刻）に同期して、領域１００Ｒが開、領域１００Ｌが閉となり、フレームＲの露光終了時刻（フレームＬの露光開始時刻）に同期して、領域１００Ｒが閉、領域１００Ｌが開となるような制御がなされる。即ち、比較例１では、領域１００Ｒの開期間Ｔ100(Ｒ)および領域１００Ｌの開期間Ｔ100(Ｌ)はそれぞれ、フレーム期間ｆｒに等しく、ここでは露光期間ＴL，ＴRにも等しくなっている。
（比較例２）
ところが、イメージセンサとして、例えばローリングシャッタータイプのＣＭＯＳセンサを用いた場合、上記ＣＣＤの場合と異なり、例えば画面の上部から下部に向けて線順次で駆動がなされる。即ち、図６（Ａ）に示したように、各フレームＲ，Ｌでは、露光開始および露光終了のタイミングや信号読み出し（Read）のタイミングがライン毎に異なる。このため、画面内の位置によって、露光期間ＴL，ＴRに時間的なずれが生じる。従って、上記比較例１と同様のタイミングで、シャッターの開閉を切り替えると、各フレームＲ，Ｌにおいて、１フレーム全体（全ライン）の露光が終了する前に、透過光路が切り替わってしまう。この結果、各フレームＲ，Ｌでは、領域１００Ｒ，１００Ｌの各透過光が混ざって受光され、クロストークが発生する（図６（Ｂ））。例えば、フレームＲでは、本来、画面全域において領域１００Ｒの透過光のみを受光することが理想的であるのに対し、実際には、画面の上部側でのみ領域１００Ｒの透過光が受光され、画面の下部側では領域１００Ｌの透過光が受光されることとなる。このように、１フレームにおいて左右両方の光線が混在するクロストークが生じると、上述した複数の視点画像間における視差量が低減する（平面的な画像に近づく）、あるいは画面の上部側と下部側とで立体感が異なる等、所望の立体感を得にくくなってしまう。
（第１の実施の形態における特徴的動作）
これに対し本実施の形態では、図７（Ａ）に示したように、制御部２０が、時間的に連続するフレームのうち、ある時刻に取得されるフレーム（フレームＲ１）と、このフレームＲ１の全ライン分の読み出し（Read(R)）終了以降（露光終了以降）に１ライン目の露光が開始されたフレームＬ１とをそれぞれ有効フレームとして取得する。換言すると、フレームＲ１後のフレームであって、フレームＲ１の全ライン分の読み出しが終了する前（全ライン分の露光が終了する前）に露光開始となるフレーム（フレームＲ１，Ｌ１間のフレームＸ）は、無効フレームとする。このフレームＸは、例えば、読み出し（Read(0)）後、信号処理／記憶部１３において、各種信号処理部へ出力しないようにするか、あるいは読み出し（Read(0)）自体を行わないようにすればよい。また、図７（Ｂ）に示したように、シャッター１１の領域１１Ｒ，１１Ｌの開期間ＴOPEN(R)，ＴOPEN(L)を、例えばフレーム期間ｆｒの２倍の長さとなるように、シャッター１１を切り替え制御する。尚、ここでは、フレーム期間ｆｒと露光期間ＴL，ＴRは等しくなっている。このように、本実施の形態では、１フレーム分が間引かれたフレームＲ１，Ｌ１，…を有効フレームとし、シャッター１１の開期間ＴOPEN(R)，ＴOPEN(L)をフレーム期間ｆｒの２倍に設定する。
具体的には、制御部２０が、フレームＲ１の開始時刻において、例えば画面上部の１ライン目から、画面下部の最終ラインまで順次、露光を開始させる。その後、１フレーム期間（ｆｒ）経過時刻において、１ライン目から最終ラインまでの露光を順次終了させると共に、１ライン目から最終ラインまでの信号の読み出し（Read(R)）を順次行う。一方、制御部２０は、上記フレームＲ１の開始時刻において、シャッター１１の領域１１Ｒを閉状態から開状態へ切り替える。その後、フレーム期間ｆｒの２倍の期間経過時刻（フレームＬ１の開始時刻）において、領域１１Ｒを開状態から閉状態、領域１１Ｌを閉状態から開状態へ切り替える。フレームＬ１についても同様で、その開始時刻において、１ライン目の露光を開始すると共に領域１１Ｌを閉状態から開状態へ切り替え、この後、１フレーム期間（ｆｒ）経過時刻において、１ライン目の露光終了および読み出し（Read(L)）を行う。その後、２フレーム期間（２ｆｒ）経過時刻（次のフレームＲ２（図示せず）開始時刻）において、領域１１Ｌを開状態から閉状態、領域１１Ｒを閉状態から開状態へ切り替える。
これにより、左右の領域１１Ｒ，１１Ｌの各透過光が混ざって受光されたフレーム（フレームＸ）が排除される。また、各フレームＲ１の全ライン分の露光期間ＴRにおいて、シャッター１１の開閉が切り替わることがない（領域１１Ｒが開状態、領域１１Ｌが閉状態のまま維持される）ため、フレームＲ１では、領域１１Ｒの透過光のみに基づく撮像データが取得される。同様に、フレームＬ１においても、領域１１Ｌの透過光のみに基づく撮像データが取得される。これにより、イメージセンサ１２における信号読み出しを線順次で行う場合（各フレームにおいて、露光期間等にライン毎の時間的ずれが生じる場合）であっても、クロストークの低減された右視点画像および左視点画像が生成される。
尚、シャッター１１における領域分割数（光路分割数）は、２つに限らず３つ以上であってもよい。３つ以上であっても、シャッター１１の領域１１Ｒ，１１Ｌの開期間はフレーム周期ｆｒの２倍でよい。但し、領域１１Ｒ，１１Ｌの閉期間は、領域分割数をｎ（ｎは２以上の整数）とした場合、フレーム期間ｆｒの２（ｎ−１）倍となる。例えば、左右２つの視点画像を取得する場合（本実施の形態）では、各領域１１Ｒ，１１Ｌの開期間がそれぞれ２ｆｒとなり、３つの視点画像を取得する場合では、シャッターを分割する３つの領域の各開期間が２ｆｒ、各閉期間が４ｆｒとなる。また、ここでは、領域１１Ｒ，１１Ｌの開期間を、フレーム期間ｆｒの２倍としたが、必ずしも２倍である場合に限定されない。例えば、詳細は後述するが、グローバルリセット機能を用いる場合や、露光期間自体をフレーム期間ｆｒよりも短く設定する場合、駆動タイミングを早めたり遅くしたりする場合等においては、２倍未満となる場合あるいは２倍よりも大きくなる場合もあり得る。
以上のように、本実施の形態では、制御部２０が、時間的に連続するフレームのうちフレームＲ１と、このフレームＲ１の露光終了以降に露光開始となったフレームＬ１とをそれぞれ有効フレームとして取得することにより、フレームＲ１，Ｌ１において、領域１１Ｒ，１１Ｌの各透過光が混入する現象、クロストークの発生を抑制できる。よって、線順次駆動されるイメージセンサ、例えばＣＭＯＳセンサを用いて、複数の視点画像を精度良く取得することが可能となる。これは特に、複数の視点画像を動画として撮影する場合に有効である。このようなＣＭＯＳセンサを用いることにより、ＣＣＤを用いる場合に比べ低コスト、低消費電力かつ高速処理を実現するシステム構築が可能となる。
＜第１の実施の形態の変形例＞
次に、上記第１の実施の形態におけるシャッターおよびイメージセンサの他の駆動例（変形例１〜５）について説明する。以下の変形例１〜５の駆動例は、上記第１の実施の形態と同様、撮像装置１において、制御部２０がシャッター１１およびイメージセンサ１２を駆動する際のタイミング制御に関するものである。但し、変形例１〜５では、シャッター１１として、特に以下のような液晶シャッターを用いた場合に特有の駆動例に関するものである。
（液晶シャッターの構成）
図８は、液晶シャッターとしてのシャッター１１の平面構成を模式的に表したものであり、（Ａ）は領域１１Ｌを開（領域１１Ｒを閉）、（Ｂ）は領域１１Ｒを開（領域１１Ｌを閉）とした場合を示す。このように、シャッター１１は、例えば円形の平面形状を左右に分割する２つの領域１１Ｒ，１１Ｌを有している。図９は、シャッター１１の領域１１Ｒ，１１Ｌの境界付近の断面図である。
シャッター１１は、ガラス等よりなる基板１０１，１０６間に液晶層１０４が封止されると共に、基板１０１の光入射側に偏光子１０７Ａ、基板１０６の光出射側に検光子１０７Ｂがそれぞれ貼り合わせられたものである。基板１０１と液晶層１０４との間には電極が形成され、この電極が複数（ここでは、領域１１Ｒ，１１Ｌに対応する２つ）のサブ電極１０２Ａに分割されている。これら２つのサブ電極１０２Ａは、個別に電圧を供給できるようになっている。そのような基板１０１に対向する基板１０６には、領域１１Ｒ，１１Ｌに共通の電極１０５が設けられている。サブ電極１０２Ａと液晶層１０４との間には配向膜１０３Ａ、電極１０５と液晶層１０４との間には配向膜１０３Ｂがそれぞれ形成されている。サブ電極１０２Ａおよび電極１０５はそれぞれ、例えばＩＴＯ（Indium Tin Oxide；酸化インジウムスズ）であり、液晶層１０４は、例えばＳＴＮ（Super-twisted Nematic）、ＴＮ（Twisted Nematic）、ＯＣＢ（Optical Compensated Bend）、ＦＬＣ（Ferroelectric Liquid Crystal）等の各種表示モードの液晶を含むものである。偏光子１０７Ａおよび検光子１０７Ｂはそれぞれ、所定の偏光を選択的に透過させるものであり、例えばクロスニコルまたはパラレルニコルの状態となるように配置されている。
このような構造により、サブ電極１０２Ａおよび電極１０５を通じて液晶層１０４に電圧を印加すると、その印加電圧の大きさおよび印加時間に応じて、液晶層１０４の透過率を変化させることができる。即ち、シャッター１１として液晶シャッターを用いることで、電圧制御によりシャッター１１の開状態および閉状態を切り替えることができる。また、その電圧印加のための電極を、個別駆動が可能な２つのサブ電極１０２Ａに分割することで、領域１１Ｒ，１１Ｌ毎に透光状態および遮光状態を交互に切り替え可能となる。但し、このような液晶シャッターは、動作環境（例えば温度）により応答速度が異なることが知られており、例えば、高温時には応答速度が速く、低温時には応答速度が遅くなるのが一般的である。また、その応答特性は、透過時と遮光時との間で異なっていることが多い。
このように、液晶シャッターの応答特性は、環境に応じて変化し易いものであるため、後述のようにその応答特性に応じたタイミング制御または駆動シーケンス制御を行う場合には、応答特性を直接的または間接的に検出することが望ましい。例えば、間接的に検出する場合には、撮像装置１内に、シャッター１１の温度もしくはその周辺環境の温度を検出可能な温度センサを設けておく。温度センサから出力されたシャッター１１の温度情報に基づいて、シャッター１１の応答特性を予測することができる。
＜変形例１＞
図１０は、変形例１に係るイメージセンサおよびシャッターの駆動タイミングを表したものであり、（Ａ）はイメージセンサにおける露光期間および読み出し、（Ｂ）は低温時のシャッターの開閉切り替え、（Ｃ）は高温時のシャッターの開閉切り替えを示す。図１１は、変形例１に係るシャッターの（Ａ）高温時および（Ｂ）低温時における各応答特性を表したものである。
本変形例では、例えば低温時において透過状態から遮光状態への応答はそれほど遅れず（特性ｄ１）、遮光状態から透過状態への応答は顕著に遅れる（特性ｄ２）ような液晶シャッターが用いられている。換言すると、シャッター１１が、遮光状態から透過状態への遷移時において、透過状態から遮光状態への遷移時よりも応答速度が遅くなる特性を有している。このような応答特性を有する液晶シャッターとしては、例えばＳＴＮモードの液晶を用いると共に、偏光子および検光子をクロスニコルの状態で配置させたものが挙げられる。
このような液晶シャッターを用いることで、図１０（Ａ），（Ｂ）に示したように、低温時には、領域１１Ｒ，１１Ｌの閉状態から開状態への切り替えに際して、特性ｄ２により、各フレームＲ１，Ｌ１において、画面上部側の明るさ（受光量）が低下する時間（Ｄａ）が発生する。結果として、画面の上部側と下部側で明るさが異なってしまうことになるが、この場合には、信号処理／記憶部１３による後の画像処理において、例えばシェーディング補正を行い、画面全体の明るさを均一化すればよい。一方、領域１１Ｒ，１１Ｌの開状態から閉状態への切り替えに際しては、特性ｄ１により、クロストークが生じる時間（Ｃｔ）は僅かで済む（画面上端の一部および下端の一部でのみクロストークが生じる）。従って、本変形例においても、上記比較例２に比べ、クロストークを低減することができ、上記第１の実施の形態とほぼ同等の効果を得ることができる。
＜変形例２＞
図１２は、変形例２に係るイメージセンサおよびシャッターの駆動タイミングを表したものであり、（Ａ）はイメージセンサにおける露光期間および読み出し、（Ｂ）は低温時のシャッターの開閉切り替えを示す。
本変形例においても、上記変形例１と同様、例えば低温時において透過状態から遮光状態への応答はそれほど遅れず（特性ｄ１）、遮光状態から透過状態への応答は顕著に遅れる（特性ｄ２）液晶シャッターを用いる。但し、本変形例では、シャッター１１の領域１１Ｒ，１１Ｌの閉状態から開状態への切り替えタイミングを早める。換言すると、フレーム開始時刻（ここでは、露光開始のタイミングと等しい）ｔ(s)よりも前のタイミングｔ１において、領域１１Ｒ，１１Ｌの閉状態から開状態への切り替えを行う。これにより、上記変形例１に比べ、クロストークの生じる時間（Ｃｔ）は若干増大するものの、明るさが低下する時間を削減することができる。従って、液晶シャッターを用いて光路切り替えを行う場合において、クロストークよりも明るさが重要視されるようなアプリケーションに対して特に有用である。
＜変形例３＞
図１３は、変形例３に係るイメージセンサおよびシャッターの駆動タイミングを表したものであり、（Ａ）はイメージセンサにおける露光期間および読み出し、（Ｂ）は低温時のシャッターの開閉切り替えを示す。
本変形例においても、上記変形例１と同様、例えば低温時において透過状態から遮光状態への応答はそれほど遅れず（特性ｄ１）、遮光状態から透過状態への応答は顕著に遅れる（特性ｄ２）液晶シャッターを用いる。また、上記変形例２と同様、シャッター１１の領域１１Ｒ，１１Ｌの閉状態から開状態への切り替えタイミングを、フレーム開始時刻ｔ(s)よりも前のタイミングｔ１に早める。但し、本変形例では、更に、領域１１Ｒ，１１Ｌの開状態から閉状態への切り替えタイミングを早めると共に、露光終了のタイミングを早める。換言すると、開状態から閉状態への切り替えを、その次のフレーム開始時刻ｔ(s)よりも前のタイミングｔ２において行うと共に、フレーム期間終了のタイミングｔ(e)よりも前のタイミングｔ３において１ライン目の露光を終了する。このため、本変形例では、各フレームＲ１，Ｌ１における露光期間ＴR２，ＴL２は、フレーム期間ｆｒよりも短く設定されている。
このような駆動タイミングによっても、上記第１の実施の形態および上記変形例２とほぼ同等の効果を得ることができる。また、領域１１Ｒ，１１Ｌの開状態から閉状態への切り替えタイミングと、露光終了のタイミングとの両方を早めることで、フレームＲ１，Ｌ１との間で生じ易いクロストークを回避することができる。
＜変形例４＞
図１４は、変形例４に係るイメージセンサおよびシャッターの駆動タイミングを表したものであり、（Ａ）はイメージセンサにおける露光期間および読み出し、（Ｂ）は低温時のシャッターの開閉切り替えを示す。
本変形例においても、上記変形例１と同様、例えば低温時において透過状態から遮光状態への応答はそれほど遅れず（特性ｄ１）、遮光状態から透過状態への応答は顕著に遅れる（特性ｄ２）液晶シャッターを用いる。但し、本変形例では、露光開始のタイミングを遅くする。換言すると、フレーム開始時刻ｔ(s)よりも後のタイミングｔ４において１ライン目の露光を開始する。このため、本変形例では、各フレームＲ１，Ｌ１における露光期間ＴR３，ＴL３は、フレーム期間ｆｒよりも短く設定されている。このような駆動タイミングによっても、上記第１の実施の形態とほぼ同等の効果を得ることができる。また、画面上部側において明るさが低下する時間（Ｄａ）が生じるものの、フレームＲ１，Ｌ１との間で生じ易いクロストークを回避することができる。
尚、上記変形例２〜４で説明したタイミング制御以外にも、液晶シャッターの応答特性や、クロストークおよび明るさの各観点から、様々なタイミング制御が可能である。例えば、シャッターの開閉タイミングを早めるだけでなく、逆に遅くするようにしたり、露光開始および露光終了の両方のタイミングを変更したりしてもよい。
＜変形例５＞
図１５は、変形例５に係るイメージセンサおよびシャッターの駆動タイミングを表したものであり、（Ａ）はイメージセンサにおける露光期間および読み出し、（Ｂ）は低温時のシャッターの開閉切り替え、（Ｃ）は高温時のシャッターの開閉切り替えを示す。図１６は、変形例５に係るシャッターの（Ａ）高温時および（Ｂ）低温時における各応答特性を表したものである。
本変形例では、例えば低温時において遮光状態から透過状態への応答はそれほど遅れず（特性ｄ３）、透過状態から遮光状態への応答は顕著に遅れる（特性ｄ４）ような液晶シャッターが用いられている。換言すると、シャッター１１が、透過状態から遮光状態への遷移時において、遮光状態から透過状態への遷移時よりも応答速度が遅くなる特性を有している。このような応答特性を有する液晶シャッターとしては、例えばＳＴＮモードの液晶を用いると共に、偏光子および検光子をパラレルニコルの状態で配置させたものが挙げられる。
このような液晶シャッターを用いることで、図１５（Ａ），（Ｂ）に示したように、低温時には、クロストークが発生すると共に明るさが増す時間（Ｃｔ，Ｂｒ）が生じる。結果として、画面の上部側と下部側で明るさが異なってしまうことになるが、この場合には、信号処理／記憶部１３による後の画像処理において、例えばシェーディング補正を行い、画面全体の明るさを均一化すればよい。本変形例では、若干のクロストークが生じるものの、受光量を稼ぐことができるため、クロストーク低減よりも明るさが重要視されるようなアプリケーションに対して有用である。
尚、上記変形例５においても、上記変形例２〜４で説明したように、クロストークおよび明るさの各観点からシャッターの開閉切り替えや露光開始および露光終了の各タイミングを早めたり、遅くしたりする手法を適用可能である。
＜第２の実施の形態＞
図１７は、本発明の第２の実施の形態に係るイメージセンサおよびシャッターの駆動タイミングを表したものであり、（Ａ）はイメージセンサにおける露光期間および読み出し、（Ｂ）は低温時のシャッターの開閉切り替えを示す。本実施の形態における駆動動作は、上記第１の実施の形態と同様、撮像装置１において、制御部２０がシャッター１１およびイメージセンサを駆動する際のタイミング制御に関するものである。但し、本実施の形態では、イメージセンサにおける機能が上記第１の実施の形態と異なっている。
本実施の形態のイメージセンサは、上記第１の実施の形態のイメージセンサ１２と同様、マトリクス状に配置された複数のフォトダイオードから線順次で信号の読み出しを行う、ローリングシャッタータイプの撮像素子（例えば、ＣＭＯＳ）である。但し、本実施の形態のイメージセンサには、グローバルリセット機能が付加されており、所定のタイミングで蓄積電荷をリセットする（蓄積電荷の無い状態にする）ようになっている。このグローバルリセット機能により、ローリングシャッタータイプのＣＭＯＳセンサ等においても、露光開始を画面一括して行うことができる。
例えば、制御部２０は、図１７（Ａ）に示したように、フレームＲ１の開始時刻においてグローバルリセットＧＲを実行することにより、一斉に露光開始となる。その後、１フレーム期間（ｆｒ）経過時刻において１ライン目を露光終了とすると共に、１ライン目から読み出し（Read(R)）を開始する。一方、図１７（Ｂ）に示したように、上記グローバルリセットＧＲの実行タイミング（フレームＲ１の開始時刻）に同期して、シャッター１１の領域１１Ｒを閉状態から開状態へ切り替える。この後、１フレーム期間（ｆｒ）経過時刻において、領域１１Ｒを開状態から閉状態へ切り替える。そして、フレームＲ１の全ライン分の読み出し（Read(R)）の終了時刻（フレームＬ１の開始時刻）において、再びグローバルリセットＧＲを実行すると共に、シャッター１１の領域１１Ｌを閉状態から開状態へ切り替え、上記フレームＲ１と同様にしてフレームＬ１の露光および読み出し（Read(L)）を行う。但し、各フレームＲ１，Ｌ１の読み出し期間ＴRead(R)，ＴRead(L)の間は、シャッター１１の領域１１Ｌ，１１Ｒのいずれも閉状態としておく。これにより、フレームＲ１，Ｌ１を有効フレームとして取得する。
即ち、本実施の形態では、グローバルリセット機能を利用して露光開始を一括して行い、領域１１Ｒ（領域１１Ｌ）の開状態から閉状態への切り替えにより、実質的な露光終了を一括して行うようにしている。尚、実際には、シャッターの閉状態への切り替え後の読み出し期間ＴRead(R)，ＴRead(L)においても、各ラインでは読み出しが完了するまで、露光が継続することになるが、この期間中は、シャッターの全領域が閉じているので、蓄積電荷は生じない。これにより、各フレームにおける実質的な露光期間ＴR，ＴLに、時間的なずれが生じず、画面全体が同時刻に撮影される。勿論、左右のクロストークが発生することもない。よって、線順次駆動型のイメージセンサを使用しつつも、面順次駆動型のイメージセンサを用いた場合と同様のゆがみのない映像を撮影可能となる。これは、被写体が高速移動する場合にも適用可能である。従って、上記第１の実施の形態と同等またはそれ以上の効果を得ることができる。
＜第２の実施の形態の変形例＞
次に、上記第２の実施の形態におけるシャッターおよびイメージセンサの他の駆動例（変形例６〜８）について説明する。以下の変形例６〜８の駆動例は、上記第２の実施の形態と同様、撮像装置１において、制御部２０がシャッター１１と、グローバルリセット機能を有するイメージセンサ１２とを駆動する際のタイミング制御に関するものである。また、但し、変形例６〜８の駆動例では、シャッター１１として、上記第１の実施の形態の変形例において説明した液晶シャッターを用いた場合に特有の駆動動作に関するものである。
＜変形例６＞
図１８は、変形例１０に係るイメージセンサおよびシャッターの駆動タイミングを表したものであり、（Ａ）はイメージセンサにおける露光期間および読み出し、（Ｂ）は低温時のシャッターの開閉切り替え、（Ｃ）は高温時のシャッターの開閉切り替えを示す。
本変形例では、上記変形例１と同様、例えば低温時において透過状態から遮光状態への応答はそれほど遅れず（特性ｄ１）、遮光状態から透過状態への応答は顕著に遅れる（特性ｄ２）液晶シャッターを用いる。このような液晶シャッターを用いることにより、図１８（Ａ），（Ｂ）に示したように、低温時には、領域１１Ｒ，１１Ｌの閉状態から開状態への切り替えに際して、特性ｄ２により、各フレームＲ１，Ｌ１のうち、露光期間中に受光量が低下する時間（Ｄａ）が発生する。ところが、上記第２の実施の形態で説明したように、グローバルシャッター機能により露光期間に時間的なずれが生じないため、画面の一部ではなく全体が均一に暗くなる。このため、撮影画像の明るさにむらが生じることはなく、シェーディング補正等を行う必要はない。尚、領域１１Ｒ，１１Ｌの開状態から閉状態への切り替えに際し、特性ｄ１により、各フレームＲ１，Ｌ１では露光期間の延長（Ｂｄ）が僅かに生じるが、これは、画面の上端と他の領域との明るさが僅かに異なるだけであるので、実用上問題とならない。
このように、グローバルリセット機能を利用した場合には、シャッター１１として応答特性が変化し易い液晶シャッターを用いた場合であっても、ほとんどクロストークが発生することがないので、システムとして温度変化への対応を別途行わなくても精度良く視点画像を撮影することができる。
＜変形例７＞
図１９は、変形例７に係るイメージセンサおよびシャッターの駆動タイミングを表したものであり、（Ａ）はイメージセンサにおける露光期間および読み出し、（Ｂ）は低温時のシャッターの開閉切り替えを示す。
本変形例においても、上記変形例１，６と同様、例えば低温時において透過状態から遮光状態への応答はそれほど遅れず（特性ｄ１）、遮光状態から透過状態への応答は顕著に遅れる（特性ｄ２）液晶シャッターを用いる。但し、本変形例では、シャッター１１の領域１１Ｒ，１１Ｌの閉状態から開状態への切り替えタイミングを早める。換言すると、フレーム開始時期（ここでは、露光開始およびグローバルリセットＧＲの各タイミングと等しい）ｔ(s)よりも前のタイミングｔ１において、領域１１Ｒ，１１Ｌの閉状態から開状態への切り替えを行う。これにより、上記変形例６に比べ、クロストークの発生する時間（Ｃｔ）は生じるものの、明るさが低下する時間を削減することができる。従って、液晶シャッターを用いて光路切り替えを行う場合において、クロストーク低減よりも明るさが重要視されるようなアプリケーションに対して特に有用である。
＜変形例８＞
図２０は、変形例８に係るイメージセンサおよびシャッターの駆動タイミングを表したものであり、（Ａ）はイメージセンサにおける露光期間および読み出し、（Ｂ）は低温時のシャッターの開閉切り替え、（Ｃ）は高温時のシャッターの開閉切り替えを示す。
本変形例では、上記変形例５と同様、例えば低温時において遮光状態から透過状態への応答はそれほど遅れず（特性ｄ３）、透過状態から遮光状態への応答は顕著に遅れる（特性ｄ４）液晶シャッターを用いる。このような液晶シャッターを用いることで、図２０（Ａ），（Ｂ）に示したように、低温時には、領域１１Ｒ，１１Ｌの開状態から閉状態への切り替えに際し、特性ｄ４により、露光期間の延長（Ｂｄ）が生じる。その結果、画面の上部から下部にかけてグラデーションがかかったように、一方が明るくなる。尚、これは、シェーディング補正を行うことで均一化してもよい。また、領域１１Ｒ，１１Ｌの閉状態から開状態への切り替えに際し、特性ｄ３により、各フレームＲ１，Ｌ１では受光量が低下する時間（Ｄａ）が僅かに生じるが、これは、画面に明るさのむらを生じさせる程のものではないので、実用上問題とならない。また、上記変形例６と同様、ほとんどクロストークが発生することがないので、システムとして温度変化への対応を別途行わなくても精度良く視点画像を撮影することができる。
尚、液晶シャッターを用いると共にグローバルリセット機能を利用する場合にも、上記駆動例に限らず、クロストークおよび明るさの各観点からシャッターの開閉切り替えおよび露光開始（グローバルリセット）の各タイミングを早くまたは遅くしてもよい。
＜変形例９＞
上記変形例１〜８では、シャッター１１として液晶シャッターを用いた場合において、その応答特性に応じたタイミング制御について説明したが、例えば次のように駆動シーケンスを制御するようにしてもよい。ここで、図２１に、液晶シャッターにおける透過率変化（応答特性）について示す。液晶シャッターは、前述のように電圧制御によってその透過率を変化させるが、具体的には、開状態（透過状態）および閉状態（遮光状態）がそれぞれ時分割で交互に繰り返されるようなシーケンスの電圧で駆動される。本変形例では、制御部２０が液晶シャッターの駆動シーケンスを複数保持しており、応答速度やオープン時平均透過率が所望の値となるように、液晶シャッターの応答特性に応じて、それら駆動シーケンスの切り替えを行う。尚、オープン時平均透過率とは、シャッターの開閉を周期的に繰り返す駆動状態における開期間での透過率の平均値である。
例えば、低温時等、応答速度が低下している場合には、応答速度を上げるような駆動シーケンスの電圧を液晶シャッターに印加し、逆に高温時等、応答速度が十分に速い場合には、オープン時平均透過率を上げるような駆動シーケンスの電圧を印加する。そのような駆動シーケンスの数は２つ（２段階切り替え）であってもよいし、３つ以上の多段階切り替えとしてもよい。また、前述のように、応答特性を何らかの検出手段によって検出し、その結果に応じた駆動シーケンスを選択することで、様々な環境下において液晶シャッターに最適な動作を行わせることが可能となる。これにより、複数の視点画像において、クロストークの発生を抑えたり、あるいは明るさを増大させることができ、上記変形例１〜８で説明したようなタイミング制御による場合と、ほぼ同等の効果を得ることができる。
＜画像処理例＞
次に、上述したような複数の視点画像を取得するための撮像装置１において、好適な画像処理例について説明する。特に、撮影対象が連続的な動きを伴う動画（フレームＲ１，Ｌ１を時分割で交互に繰り返し取得する場合）である場合に有効な処理を挙げる。また、これらの画像処理は、例えば制御部２０の制御に基づいて、信号処理／記憶部１３が行う。
（１．モーションブラー処理）
図２２は、通常の動画フレームレートで撮影した画像（元画像Ｆ：Ｆ１，Ｆ２，Ｆ３，…）と、これに対応する左視点画像（Ｌ：Ｌ１，Ｌ２，Ｌ３，…）および右視点画像（Ｒ：Ｒ１，Ｒ２，Ｒ３，…）の一例を時間軸に沿って並べたものである。撮像装置１では、左視点画像（Ｌ）および右視点画像（Ｒ）が時分割で交互に取得されるため、左視点画像（Ｌ）および右視点画像（Ｒ）では、元画像（Ｆ）における１フレーム（１フィールド）分を時間的に間引いたような画像群となる。
このため、動きの遅い被写体であれば特に問題は生じないが、動きの早い被写体の場合には、いわゆるジャーキネス（パラパラと見える現象）が目立ってしまう。このようなジャーキネスは、眼精疲労を招く要因となるため、排除されることが望ましい。そこで、例えば、次のようなモーションブラー処理を行うとよい。即ち、まず、記憶された左視点画像（Ｌ：Ｌ１，Ｌ２，Ｌ３，…）および右視点画像（Ｒ：Ｒ１，Ｒ２，Ｒ３，…）を、図２２に示したように左視点画像のみの画像列と、右視点画像のみの画像列とにそれぞれ並べ替える。その後、例えば図２３に示したように、各画像列（ここでは左視点画像の列を挙げる）において、例えば画像Ｌ２に着目し、その時間的に前後の画像Ｌ１，Ｌ３に基づいて、画像Ｌ２の面内における被写体の動きベクトルＶを算出する。画像Ｌ１〜Ｌ３において、算出した動きベクトルＶの方向に沿って被写体の像をぼかすことにより、モーションブラー処理後の左視点画像（Ｌａ：Ｌａ１，Ｌａ２，Ｌａ３，…）を生成する。これにより、動きの早い被写体を撮影する場合であっても、ジャーキネスの影響を低減することができる。モーションブラー処理としては、この他にも、例えば画像Ｌ１〜Ｌ３の比重を変えて（例えば画像Ｌ１を１００、画像Ｌ２，Ｌ３を５０）、これらをブレンディングする手法なども挙げられる。
（２．画像補間処理）
図２４は、左視点画像（Ｌ：Ｌ１，Ｌ２，…）および右視点画像（Ｒ：Ｒ１，Ｒ２，…）の一例を時間軸に沿って並べたものある。撮像装置１では、左視点画像（Ｌ）と右視点画像（Ｒ）が時分割で交互に取得されるため、実際には、左視点画像（Ｌ）の各画像と右視点画像（Ｒ）の各画像が、互いに同時刻に撮影されたものではない。このため、例えば、動きのある被写体を撮影した場合、左視点画像および右視点画像を、フレームシーケンシャルタイプのディスプレイを用いて左右交互に順次出力するのであれば問題はないが、これらを同時に出力する場合には、不自然な立体感となってしまう。これは、左右の視点画像間において、視差による被写体像の変化と、動きによる被写体像の変化とが、明確に分離されないことに起因する。
そこで、図２５に示したように、左視点画像および右視点画像のそれぞれの画素列において、時間的に前後する１つ以上の画像の情報に基づいて各画像間の画像（補間画像）を生成する画像補間処理を行う。具体的には、画像Ｌ１および画像Ｌ２の情報に基づいて、その間に補間画像Ｌ１２を生成する。同様に、前後の画像情報に基づいて、補間画像Ｌ２３および補間画像Ｒ０１，Ｒ１２をそれぞれ生成する。この画像補間処理は、映像の記録前に行って、撮影した画像と共に記録するようにしてもよい。また、撮影した画像のみを記録しておき、表示時に補間画像を生成してもよい。これにより、視差による被写体像の変化と、動きによる被写体像の変化とを分離することができ、左右の視点画像を同時に表示した場合にも違和感が生じなくなる。
以上、実施の形態および変形例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されるものではなく、種々の変形が可能である。例えば、上記実施の形態等では、シャッター１１として液晶シャッターを用い、左右２つの領域に分割して光路切り替えを行う場合を例に挙げて説明したが、３つ以上に分割して、３つ以上の多視点画像を取得するようにしてもよい。
１…撮像装置、１０ａ，１０ｂ…撮像レンズ、１１…シャッター、１１Ｒ…領域（右側シャッター）、１１Ｌ…領域（左側シャッター）、１２…イメージセンサ、１３…信号処理／記憶部、２０…制御部、Ｒ１…フレーム（右視点画像）、Ｌ１…フレーム（左視点画像）、ＴR，ＴL…露光期間、ＴOPEN(R)，ＴOPEN(L)…シャッター開期間。

Claims (19)

  1. 撮像レンズと、
    複数の領域に分割され、前記領域毎に開状態および閉状態が切り替え制御されるシャッターと、
    線順次駆動される複数の受光画素を含むと共に、複数のフレームからなる撮像画像を取得する撮像素子と、
    前記シャッターにおける各領域の開閉を切り替えると共に、前記撮像素子における露光および信号の読み出しを制御する制御部とを備え、
    前記制御部は、
    前記撮像素子を駆動して、少なくとも第１のフレームと、前記第１のフレームの露光終了以降に露光が開始された第２のフレームとをそれぞれ取得し、
    前記撮像素子における前記複数の受光画素の露光開始を一括して行うと共に、露光終了および読み出しを線順次で行い、かつ
    前記第１のフレームの開始時刻に応じて、前記シャッターの第１の領域を閉状態から開状態へ切り替えると共に他の領域を閉状態とし、１フレーム期間経過時刻に応じて、前記第１の領域を開状態から閉状態へ切り替えると共に１ライン目から信号の読み出しを開始し、
    前記第２のフレームの開始時刻に応じて、前記シャッターの第２の領域を閉状態から開状態へ切り替えると共に他の領域を閉状態とし、１フレーム期間経過時刻に応じて、前記第２の領域を開状態から閉状態へ切り替えると共に１ライン目から信号の読み出しを開始する
    撮像装置。
  2. 前記シャッターは、液晶シャッターである
    請求項１に記載の撮像装置。
  3. 前記液晶シャッターは、透光状態から遮光状態へ遷移する場合よりも、遮光状態から透光状態へ遷移する場合に応答速度が遅くなる特性を有する
    請求項２に記載の撮像装置。
  4. 前記液晶シャッターは、遮光状態から透光状態へ遷移する場合よりも、透光状態から遮光状態へ遷移する場合に応答速度が遅くなる特性を有する
    請求項２に記載の撮像装置。
  5. 前記制御部は、前記液晶シャッターの応答特性に応じて、各フレームの露光開始および露光終了のタイミング、前記液晶シャッターにおける開閉の切り替えタイミング、前記液晶シャッターへの駆動シーケンスのうち少なくとも１つを制御する
    請求項２に記載の撮像装置。
  6. 前記制御部は、各フレームにおいて、
    フレーム開始時刻に１ライン目の露光を開始させ、
    前記１ライン目の露光開始前に、前記シャッターの１の領域を閉状態から開状態へ切り替える
    請求項５に記載の撮像装置。
  7. 前記制御部は、各フレームにおいて、
    １フレーム期間終了前に１ライン目の露光を終了し、
    前記１の領域の開状態から閉状態への切り替えを、全ラインの露光終了後で、かつ次のフレームの１ライン目の露光開始前に行う
    請求項６に記載の撮像装置。
  8. 前記制御部は、各フレームにおいて、
    フレーム期間開始後に１ライン目の露光を開始させ、
    前記１ライン目の露光開始前に、前記シャッターの１の領域を開状態から閉状態へ切り替える
    請求項５に記載の撮像装置。
  9. 前記液晶シャッターの応答速度を検出する検出部を有する
    請求項５に記載の撮像装置。
  10. 前記検出部は、温度センサを含む
    請求項９に記載の撮像装置。
  11. 前記シャッターは、第１および第２の領域として左右に光路を分割する２つの領域を有し、
    前記制御部は、前記第１および第２のフレームとして左視点画像および右視点画像を取得する
    請求項１に記載の撮像装置。
  12. 前記制御部は、前記左視点画像および前記右視点画像を時分割で交互に繰り返し取得する
    請求項１１に記載の撮像装置。
  13. 前記制御部は、複数の左視点画像および右視点画像のそれぞれに対し、モーションブラー処理を施す
    請求項１２に記載の撮像装置。
  14. 前記制御部は、複数の左視点画像において時間的に前後の関係にある１つ以上の左視点画像同士、および複数の右視点画像において時間的に前後の関係にある１つ以上の右視点画像同士を用いて、補間画像を生成する
    請求項１２に記載の撮像装置。
  15. 撮像レンズと、
    複数の領域に分割され、前記領域毎に開状態および閉状態が切り替え制御される液晶シャッターと、
    線順次駆動される複数の受光画素を含むと共に、複数のフレームからなる撮像画像を取得する撮像素子と、
    前記液晶シャッターにおける各領域の開閉を切り替えると共に、前記撮像素子における露光および信号の読み出しを制御する制御部とを備え、
    前記制御部は、
    前記撮像素子を駆動して、少なくとも第１のフレームと、前記第１のフレームの露光終了以降に露光が開始された第２のフレームとをそれぞれ取得し、
    前記第１のフレームの露光期間に対応して前記液晶シャッターの第１の領域を開状態、他の領域を閉状態にそれぞれ制御し、前記第２のフレームの露光期間に対応して前記液晶シャッターの第２の領域を開状態、他の領域を閉状態にそれぞれ制御し、
    前記第１および第２のフレームのそれぞれにおいて、フレーム開始時刻に１ライン目の露光を開始させ、かつ前記１ライン目の露光開始前に、前記液晶シャッターの１の領域を閉状態から開状態へ切り替える
    撮像装置。
  16. 前記制御部は、前記第１および第２のフレームのそれぞれにおいて、
    １フレーム期間終了前に１ライン目の露光を終了し、
    前記一の領域の開状態から閉状態への切り替えを、全ラインの露光終了後で、かつ次のフレームの１ライン目の露光開始前に行う
    請求項１５に記載の撮像装置。
  17. 前記制御部は、前記撮像素子における前記複数の受光画素の露光開始、露光終了および読み出しを線順次で行う
    請求項１５に記載の撮像装置。
  18. 前記制御部は、前記撮像素子における前記複数の受光画素の露光開始を一括して行い、露光終了および読み出しを線順次で行う
    請求項１５に記載の撮像装置。
  19. 撮像レンズと、
    複数の領域に分割され、前記領域毎に開状態および閉状態が切り替え制御される液晶シャッターと、
    線順次駆動される複数の受光画素を含むと共に、複数のフレームからなる撮像画像を取得する撮像素子と、
    前記液晶シャッターにおける各領域の開閉を切り替えると共に、前記撮像素子における露光および信号の読み出しを制御する制御部とを備え、
    前記制御部は、
    前記撮像素子を駆動して、少なくとも第１のフレームと、前記第１のフレームの露光終了以降に露光が開始された第２のフレームとをそれぞれ取得し、
    前記第１のフレームの露光期間に対応して前記液晶シャッターの第１の領域を開状態、他の領域を閉状態にそれぞれ制御し、前記第２のフレームの露光期間に対応して前記液晶シャッターの第２の領域を開状態、他の領域を閉状態にそれぞれ制御し、
    前記第１および第２のフレームのそれぞれにおいて、フレーム期間開始後に１ライン目の露光を開始させ、かつ前記１ライン目の露光開始前に、前記液晶シャッターの１の領域を開状態から閉状態へ切り替える
    撮像装置。
JP2010058304A 2010-03-15 2010-03-15 撮像装置 Expired - Fee Related JP5577772B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010058304A JP5577772B2 (ja) 2010-03-15 2010-03-15 撮像装置
CN2011100561144A CN102193269A (zh) 2010-03-15 2011-03-08 图像摄取装置
US13/047,398 US8860826B2 (en) 2010-03-15 2011-03-14 Image pickup apparatus that acquires a plurality of viewpoint images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010058304A JP5577772B2 (ja) 2010-03-15 2010-03-15 撮像装置

Publications (2)

Publication Number Publication Date
JP2011191556A JP2011191556A (ja) 2011-09-29
JP5577772B2 true JP5577772B2 (ja) 2014-08-27

Family

ID=44559621

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010058304A Expired - Fee Related JP5577772B2 (ja) 2010-03-15 2010-03-15 撮像装置

Country Status (3)

Country Link
US (1) US8860826B2 (ja)
JP (1) JP5577772B2 (ja)
CN (1) CN102193269A (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5594067B2 (ja) * 2010-11-02 2014-09-24 ソニー株式会社 画像処理装置および画像処理方法
JP2012119738A (ja) * 2010-11-29 2012-06-21 Sony Corp 情報処理装置、情報処理方法およびプログラム
DE102011106453A1 (de) * 2011-07-04 2013-01-10 Carl Zeiss Ag Verfahren und Vorrichtung zum zeitsequentiellen Aufnehmen dreidimensionaler Bilder
WO2013031348A1 (ja) * 2011-08-30 2013-03-07 富士フイルム株式会社 撮像装置
CN102724406A (zh) * 2012-06-26 2012-10-10 北京中电兴发科技有限公司 一种实现cmos抓拍摄像机全局快门功能的方法
JP5351311B1 (ja) * 2012-06-29 2013-11-27 株式会社ソニー・コンピュータエンタテインメント 立体映像観察デバイスおよび透過率制御方法
JP6017322B2 (ja) * 2013-01-11 2016-10-26 富士フイルム株式会社 固体撮像装置
JP6255726B2 (ja) * 2013-06-14 2018-01-10 カシオ計算機株式会社 表示補助装置、表示システム、表示方法及びプログラム
US9525814B2 (en) * 2014-10-12 2016-12-20 Himax Imaging Limited Automatic focus searching using focal sweep technique
US20160150224A1 (en) * 2014-11-25 2016-05-26 Electronics And Telecommunications Research Institute Device and method for generating super multi-viewpoint image
JP6895837B2 (ja) * 2017-07-25 2021-06-30 三菱電機株式会社 表示装置
CN110278367B (zh) * 2018-03-14 2021-11-19 厦门歌乐电子企业有限公司 基于拍摄装置的人眼检测方法、系统、设备及其介质
JP2019195123A (ja) * 2018-05-01 2019-11-07 オリンパス株式会社 内視鏡装置、内視鏡装置の制御方法、制御プログラム、および記録媒体

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9324047D0 (en) 1993-11-23 1994-01-12 Watts Jonathan Image detecting apparatus
JP3988215B2 (ja) * 1997-07-17 2007-10-10 株式会社ニコン 撮像装置
JP2000137203A (ja) * 1998-11-02 2000-05-16 Mitsui Chemicals Inc 立体画像撮影装置
US7116352B2 (en) * 1999-02-25 2006-10-03 Visionsense Ltd. Capsule
JP2002027499A (ja) * 2000-07-03 2002-01-25 Canon Inc 撮像装置及びその制御方法
JP2002034056A (ja) 2000-07-18 2002-01-31 Scalar Corp 立体視用画像の撮像装置、立体視用画像の撮像方法
JP2004233600A (ja) * 2003-01-30 2004-08-19 Canon Inc 立体撮影装置
JP4748787B2 (ja) * 2004-11-11 2011-08-17 キヤノン株式会社 撮像装置及びその制御方法
JP2007028337A (ja) * 2005-07-19 2007-02-01 Canon Inc 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP2008076609A (ja) * 2006-09-20 2008-04-03 Fujitsu Ltd 立体動画像記録装置
JP2008092251A (ja) * 2006-10-02 2008-04-17 Pentax Corp デジタルカメラ
EP2498667A4 (en) * 2009-11-13 2017-12-27 California Institute of Technology Stereo imaging miniature endoscope with single imaging chip and conjugated multi-bandpass filters
JP5428787B2 (ja) * 2009-11-13 2014-02-26 株式会社Ｊｖｃケンウッド 立体映像撮像装置および立体映像撮像方法
JP2011109418A (ja) * 2009-11-17 2011-06-02 Victor Co Of Japan Ltd 立体映像撮像装置および立体映像撮像方法
TW201207549A (en) * 2010-08-12 2012-02-16 Hon Hai Prec Ind Co Ltd Three-dimensional imaging module
CN102685392A (zh) * 2011-03-07 2012-09-19 精工爱普生株式会社 数码相机及其快门动作推断方法

Also Published As

Publication number Publication date
CN102193269A (zh) 2011-09-21
US20110221925A1 (en) 2011-09-15
US8860826B2 (en) 2014-10-14
JP2011191556A (ja) 2011-09-29

Similar Documents

Publication Publication Date Title
JP5577772B2 (ja) 撮像装置
JP5594067B2 (ja) 画像処理装置および画像処理方法
JP5556448B2 (ja) 撮像装置
US9699440B2 (en) Image processing device, image processing method, non-transitory tangible medium having image processing program, and image-pickup device
US9210344B2 (en) Display control device
CN102256051B (zh) 摄影装置、显示定时控制电路
JP2009159067A (ja) 撮像表示方法および撮像表示装置
JP2012015863A5 (ja)
CN102291529A (zh) 摄影装置以及定时控制电路
CN103370943A (zh) 成像装置和成像方法
JP4869218B2 (ja) 撮像表示装置
CN113259546B (zh) 图像获取装置和图像获取方法
US20100103276A1 (en) Split aperture capture of rangemap for 3d imaging
JP2011244377A (ja) 撮像装置、ならびに画像処理装置、画像処理方法および画像処理プログラム
JP7023412B2 (ja) 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
WO2013031348A1 (ja) 撮像装置
JP5874473B2 (ja) 電子カメラ
JP2002112290A (ja) 眼鏡型ディスプレイ装置
US10567662B2 (en) Imaging device and control method therefor using shift direction calculation
JP6036784B2 (ja) 画像処理装置、画像処理方法および画像処理プログラムならびに記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130301

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140610

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140623

LAPS Cancellation because of no payment of annual fees