JP3897079B2 - 視差画像入力装置及び撮像装置 - Google Patents
視差画像入力装置及び撮像装置 Download PDFInfo
- Publication number
- JP3897079B2 JP3897079B2 JP18648399A JP18648399A JP3897079B2 JP 3897079 B2 JP3897079 B2 JP 3897079B2 JP 18648399 A JP18648399 A JP 18648399A JP 18648399 A JP18648399 A JP 18648399A JP 3897079 B2 JP3897079 B2 JP 3897079B2
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- imaging
- unit
- imaging unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Image Input (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、複数の視点から見た画像を取り込む視差画像入力装置及び撮像装置に関する。
【０００２】
【従来の技術】
従来、被測定物体の３次元形状や奥行き情報を非接触に測定する方法として、レンズ焦点法、単眼視、ステレオ法、動画像等の受動的な方法や、光レーダ法、アクティブステレオ法、照度差ステレオ法、モアレ法、干渉法等の能動的な方法が知られている。
【０００３】
ステレオ法は、三角測量の原理を応用し、被測定物体を異なる位置（視点）から撮影して得られた複数の画像から、被測定物体の形状を測定する方法である。このステレオ法では、まず、被測定物体を異なる位置から撮影して複数の画像を取得する。次いで、１の画像中の所定の点（領域）に対応する他の画像の点（領域）を検出する処理、いわゆる対応点決定（マッチング）処理を行う。この対応点決定処理はステレオ法の最も重要な処理である。この対応点決定処理の方法としては、画像の相関を用いる方法等が提案されている。これらの詳細は、「コンピュータビジョン：技術論評と将来展望、（株）新技術コミュニケーションズ、１９９８、ＩＳＢＮ４−９１５８５１−１７−６」の「第８章 ステレオ視」に詳しく記載されている。この文献には、対応点決定処理の方法は、画像の所定の領域を使ってマッチングする「area-based matching」と、画像からエッジ等を検出し、当該エッジの形状を使ってマッチングする「feature-based matching」とに大別されるといった内容が記述されている。
【０００４】
次いで、複数の視差画像間での対応する点の位置の差である視差（disparity）量を求め、三角測量の原理に基づいて、当該視差量を使うことにより所定の被写体までの距離を算出する。ここで、例えば、複数の視点の光軸が交差する場合においては、視点間隔、視点位置から視点の光軸が交差する点（視差光軸交差点）までの距離、視点位置から被写体までの距離、視差量の４つの要素は、簡単な関係式で表せる。視点間隔及び視点位置から視点光軸交差点までの距離は、予め設定することができ、規定の値とすることができる。また、視差量は視差画像から算出することができる。このため、前記関係式により視点位置から被写体までの距離を求めることができる。
【０００５】
図１は、上記したステレオ法を実施する従来例に係る視差画像入力装置の構成を示す図である。視差画像入力装置１００は、レンズ１０２と、シャッター部１０４と、ＣＣＤ（charge coupled device）１０６と、視差画像記憶部１０８と、奥行検出部１１０と、制御部１１２とを有する。
レンズ１０２は外界からの光を集める。シャッター部１０４は、視点となる開閉自在な開閉部１０４Ａ、１０４Ｂを有している。シャッター部１０４の開閉部１０４Ａ又は１０４Ｂは制御部１１２の制御によりいずれか一方が開くようになっている。ＣＣＤ１０６は、自己の受光面上に結ばれた複数の視点からの外界の画像を取り込む。
【０００６】
視差画像記憶部１０８はＣＣＤ１０６により取り込まれた画像データを記憶する。奥行検出部１１０は、視差画像記憶部１０８に記憶された複数の画像同士の対応点を検出し、当該対応点間の視差量を検出し、対応点に該当する被写体までの距離を検出する。制御部１１２は、各部を制御する。例えば、シャッター部１０４の開閉部１０４Ａ、１０４Ｂの開閉を制御する。
【０００７】
視差画像入力装置１００において、制御部１１２が一方の開閉部１０４Ａ又は１０４Ｂを開ける。これにより、レンズ１０２及び、開いている一方の開閉部１０４Ａ又は１０４Ｂを介して、外界の像がＣＣＤ１０６に結ばれる。ＣＣＤ１０６は、結ばれた像の画像を取り込んで、視差画像記憶部１０８に記憶する。次いで、制御部１１２が他方の開閉部１０４Ａ又は１０４Ｂのみを開ける。これにより、レンズ１０２及び、開いている開閉部１０４Ａ又は１０４Ｂを介して、外界の像がＣＣＤ１０６に結ばれる。ＣＣＤ１０６は、結ばれた像を取り込んで、視差画像記憶部１０８に記憶する。次いで、奥行検出部１１０がこれら視差画像記憶部１０８に記憶された異なる視点から見た外界の画像に基づいて、画像同士の対応点を検出し、当該対応点間の視差量を検出し、当該対応点の被写体までの距離を検出する。
【０００８】
【発明が解決しようとする課題】
ところで、ＣＣＤ１０６で取り込まれたデジタル画像データの最小単位はＣＣＤ１０６の画素により定まる。このため、対応点決定処理により得られる視差量は、一般に１画素を単位とした整数値（１画素、２画素等）となる。この視差量は、離散的なサンプリングによって発生する丸め誤差を含んでいるので、本来の視差量を正確に表していない。このため、当該視差量に基づいて算出される被写体までの距離の値に対して、当該丸め誤差の影響が生じてしまうという問題が生じる。
【０００９】
図２は、視差画像により検出される視差量及び奥行き位置を説明する図である。
図２（Ａ）は、２つの視点及び各被写体Ａ〜Ｆの奥行き位置を示し、図２（Ｂ）は、視差量と奥行き位置とを説明する図である。図２（Ａ）に示すように、視点から遠い順に、被写体Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆが存在し、これらの中の被写体Ｂが視点の焦点位置（focus）に存在している。
【００１０】
これら被写体Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆに対する２つの視点から見た画像に発生する視差量は、実際には、それぞれ、−０．３pixel、０．０pixel、０．３pixel、０．７pixel、１．３pixel、１．６pixelである。しかしながら、図２（Ｂ）に示すように、デジタル画像データを使用した対応点決定処理によると、被写体Ａ、Ｂ、Ｃについては、視差量０pixelと検出され、被写体Ｄ、Ｅについては、視差量１pixelと検出され、被写体Ｆについては、視差量２pixelと検出される。このため、被写体Ａ、Ｂ、Ｃまでの距離は、当該視差量０pixelに基づいて算出され、実際には異なる位置にある被写体が、同じ奥行き位置にあると扱われてしまう問題が生じる。
【００１１】
このような問題を解決するためには、丸め誤差を無視できる程度にサンプリングを高密度にする必要があった。しかしながら、高密度なサンプリングを行うためには、画素が細かい高価な撮像素子や、画像スキャナー等が必要となり、コストが大きくなるという問題が生じる。また、高密度なサンプリングによって得られる画像データの量は膨大になるために、対応点決定処理等の処理時間の増大し、画像データを記憶するために必要な記憶容量が増大するという問題がある。
そこで本発明は、上記の課題を解決しつつ、外界の被写体の奥行き位置の分解能を効果的に向上することのできる視差画像入力装置及び撮像装置を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【００１２】
【課題を解決するための手段】
上記目的を達成するために、本発明の第１の形態に係る視差画像入力装置は、複数の視点から見た外界の画像を取得する視差画像入力装置であって、複数の視点から見た外界の画像を結ぶ視差用結像部と、視差用結像部により結ばれた画像を取得する視差用撮像部とを有し、視差用結像部は、複数の視点を結ぶ視差方向に対する結像倍率を視差方向と垂直な方向に対する結像倍率より高くする視差用光学系を有することを特徴とする。
【００１３】
視差用結像部は、視差用光学系を複数有し、当該視差用光学系は前記複数の視点中の少なくとも２つの視点から見た外界の画像をそれぞれ結ばせるようにしてもよい。また、視差用結像部は、視点となる複数の開口を有するシャッター部を有し、視差用撮像部は、シャッター部の開口を介して結ばれる外界の像を撮像するようにしてもよい。
【００１４】
視差用撮像部は、光電変換素子であってもよい。光電変換素子は、複数の視点を結ぶ視差方向の画素数が、視差方向とほぼ垂直な方向の画素数より多くてもよい。視差用撮像部により取り込まれた画像に基づいて外界の所定の被写体までの距離を示す奥行き情報を検出する奥行検出部を更に備えるようにしてもよい。視差用撮像部は、光化学反応部材を設置する設置部を有してもよい。
【００１５】
本発明の第１の形態に係る撮像装置は、所望の外界を撮像する撮像装置であって、外界の画像を結ぶ光学系と、光学系により結ばれた画像を撮像する撮像部と、 複数の視点から見た外界の画像を結ぶ視差用結像部と、視差用結像部により結ばれた画像を取得する視差用撮像部とを有し、視差用結像部は、複数の視点を結ぶ視差方向に対する結像倍率を視差方向と垂直な方向に対する結像倍率より高くする視差用光学系を有することを特徴とする。
【００１６】
視差用撮像部により撮像された複数の視点から見た画像に基づいて、外界の所定の被写体までの距離に対応する奥行き情報を検出する奥行検出部を更に備えるようにしてもよい。奥行検出部により検出された奥行き情報に基づいて、光学系又は撮像部を制御する制御部を更に備えるようにしてもよい。視差用撮像部により撮像された複数の視点から見た画像と、撮像部により撮像された画像とを対応付けて記憶する記憶部を更に備えるようにしてもよい。撮像部は、光電変換素子であってよく、また、光化学反応部材を設置する設置部を有するようにしてもよい。なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。
【００１７】
【発明の実施の形態】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図３は、本発明の第１の実施形態に係る視差画像入力装置を含む撮像装置１０の一例としてのデジタルカメラの構成を示す。ここで、デジタルカメラには、画像を一枚毎に撮像するカメラだけでなく、画像を連続して撮像するビデオカメラ等が含まれる。撮像装置１０は、光学系２４と、撮像部の一例としてのＣＣＤ２６と、記憶部２８と、視差用結像部１４、視差用撮像部１６、視差画像記憶部１８、奥行検出部２０、及び奥行記憶部２２を有する視差画像入力装置１２と、制御部３０とを備える。
【００１８】
光学系２４は、外界からの光を集めることにより、ＣＣＤ２６の受光面上に外界の被写体の画像を結ぶ。ＣＣＤ２６は、受光面上に結ばれた画像を画像データに変換する。記憶部２８は、ＣＣＤ２６によって変換された画像データを記憶する。
【００１９】
視差用結像部１４は、複数の視点から見た外界の画像を視差用撮像部１６の受光面上に結ぶ。視差用撮像部１６は、視差用結像部１４により結ばれた画像を画像データに変換する。視差画像記憶部１８は、視差用撮像部１６により変換された画像データを記憶する。奥行検出部２０は、視差画像記憶部１８に記憶された画像に基づいて、外界の所定の被写体について対応点決定処理を行うことにより視差量を求め、当該視差量に基づいて奥行き位置（奥行き情報）を検出する。対応点決定処理は、従来より知られている技術であるので説明を省略する。また、視差量に基づいて奥行き位置を検出する処理は、従来より知られている三角測量の原理に基づいて行うことができるのでここでは説明を省略する。
【００２０】
奥行記憶部２２は、奥行検出部２０により検出された被写体の奥行き位置を記憶する。制御部３０は、奥行記憶部２２に記憶されている被写体の奥行き位置に基づいて、光学系２４のフォーカスや、ＣＣＤ２６による撮像動作等を制御する。ここで、記憶部２８、視差画像記憶部１８、及び奥行記憶部２２は、それぞれ、撮像装置１０内に常設されているＲＡＭ（Random Access Memory）、フラッシュメモリであってもよく、また、撮像装置１０に対して着脱可能な、例えば、フロッピーディスク、ＭＤ（Mini Disk）、スマートメディア等の記録媒体であってもよい。
【００２１】
次に、撮像装置１０の動作を説明する。撮像装置１０において、視差用結像部１４が複数の視点から見た外界の画像を視差用撮像部１６の受光面上に結び、視差用撮像部１６が受光面上に結ばれた画像を画像データに変換し、視差画像記憶部１８が視差用撮像部１６により変換された画像データを記憶する。次いで、奥行検出部２０が視差画像記憶部１８に記憶された画像に基づいて、対応点決定処理により外界の所定の被写体についての視差量を検出し、当該視差量に基づいて当該被写体についての奥行き位置を検出し、奥行記憶部２２が検出された当該被写体の奥行き位置を記憶する。
【００２２】
次いで、制御部３０が奥行記憶部２２に記憶されている被写体の奥行き位置に基づいて、光学系２４及びＣＣＤ２６を制御する。これにより、光学系２４が外界からの光を集め、ＣＣＤ２６の受光面上に外界の被写体の画像を結ぶ。そして、ＣＣＤ２６が自己の受光面上に結ばれた画像を画像データに変換し、記憶部２８がＣＣＤ２６によって変換された画像データを記憶する。このとき、記憶部２８は、自己が記憶する画像データと、当該画像データを取り込むに際して、視差用撮像部１６により取り込まれて視差画像記憶部１８に記憶された複数の視点からの画像と、当該複数の視点からの画像により算出されて奥行記憶部２２に記憶されている被写体の奥行き位置とを対応付ける対応付け情報も記憶する。これにより、後に、画像データと、当該画像データに関する複数の視点からの画像と、当該画像データに含まれている被写体の奥行き情報とを対応付けて利用することができる。
【００２３】
図４は、本発明の第１の実施形態に係る視差用結像部１４及び視差用撮像部１６の構成を示す図である。視差用結像部１４は、視差用光学系の一例としての凹シリンドリカルレンズ１４Ａと、凸シリンドリカルレンズ１４Ｂと、凸球面レンズ１４Ｃとの組を複数（図では、２組）有する。この各組がそれぞれ異なる視点から見た外界の像を各視差用撮像部１６上に結ぶ。
【００２４】
凹シリンドリカルレンズ１４Ａ及び凸シリンドリカルレンズ１４Ｂは、主に、複数の視点を結ぶ方向（視差方向）に対して垂直な方向に外界からの光の幅を縮小する。凸球面レンズ１４Ｃは、凹シリンドリカルレンズ１４Ａ及び凸シリンドリカルレンズ１４Ｂを透過した光を視差用撮像部１６の受光面上で結像させる。凹シリンドリカルレンズ１４Ａ、凸シリンドリカルレンズ１４Ｂ、及び凸球面レンズ１４Ｃは、視差方向に対する結像倍率を視差方向と垂直な方向に対する結像倍率より高くして外界の画像を視差用撮像部１６に結ぶ、いわゆるアナモルフィックな光学系である。視差用撮像部１６は、例えば、光電変換素子の一例としてのＣＣＤで構成されており、視差方向の画素数が視差方向に直行する方向の画素数より多くなっている。
【００２５】
図５は、本発明の第１の実施形態に係る視差用結像部１４により視差用撮像部１６に結ばれる画像を説明する図である。図５（Ａ）は、従来の視差用撮像部に結ばれる画像を示し、図５（Ｂ）は、本発明に係る視差用撮像部１６に結ばれる画像を示す。図５（Ａ）に示すように、従来は外界の画像が視差方向及び視差方向と垂直な方向に対して、それぞれ等しい倍率で結ばれていた。これに対して、本発明の視差用撮像部１６に結ばれる画像は、図５（Ｂ）に示すように視差方向に対する結像倍率が視差方向と垂直な方向に対する結像倍率より高い。
【００２６】
これにより、視差が発生する視差方向については、各画素が取り込むべき外界の範囲を細かくすることができる。このため、視差方向に発生する視差量をより詳細に決定することができ、ひいては、より詳細に被写体の奥行き位置を検出することができる。また、視差方向と垂直な方向については、比較的少ない画素数で画像を取り込むことができので、視差用撮像部１６に要求される画素数少なく、且つ視差用撮像部１６のサイズを小さく抑えることができる。これにより、撮像装置１０の装置サイズを小さくすることができる。また、視差用撮像部１６の画素数を少なくでき、処理において扱うデータ量を抑えることができるので、処理時間を短縮することができる。更に、詳細に被写体の奥行き位置を検出できるので、当該奥行き位置に基づいた制御によって、例えば、光学系２４におけるフォーカスの精度を高めることができ、取り込む画像の質を向上することができる。
【００２７】
図６は、本発明の第１の実施形態に係る視差用結像部１４及び視差用撮像部１６の他の構成を示す図である。ここで、図４に示す視差用結像部１４及び視差用撮像部１６と同一な機能要素には、同一符号を付して重複する説明を省略する。視差用結像部１４は、一組の凹シリンドリカルレンズ１４Ａ、凸シリンドリカルレンズ１４Ｂ及び凸球面レンズ１４Ｃと、シャッター部１４Ｄを有する。シャッター部１４Ｄは、視点となる開口部の一例としての開閉自在な複数の開閉部１５Ａ、１５Ｂを有する。シャッター部１４Ｄは、凹シリンドリカルレンズ１４Ａ、凸シリンドリカルレンズ１４Ｂ及び凸球面レンズ１４Ｃを有する光学系の主点位置、例えば、視点方向についての主点位置、或いは主点位置の近傍に配置することが望ましい。
【００２８】
この構成では、図示しないシャッター駆動部がいずれか一方の開閉部１５Ａ又は１５Ｂを開ける。これにより、凹シリンドリカルレンズ１４Ａ、凸シリンドリカルレンズ１４Ｂ、凸球面レンズ１４Ｃ、及び開いている開閉部１５Ａ又は１５Ｂを介して視差用撮像部１６の受光面上に外界の像が結ばれる。そして、視差用撮像部１６が結ばれた像を取り込む。次いで、シャッター駆動部が前記一方の開閉部１５Ａ又は１５Ｂを閉じ、他方の開閉部１５Ａ又は１５Ｂを開ける。これにより、凹シリンドリカルレンズ１４Ａ、凸シリンドリカルレンズ１４Ｂ、凸球面レンズ１４Ｃ、及び開いている開閉部１５Ａ又は１５Ｂを介して視差用撮像部１６の受光面上に外界の像が結ばれる。そして、視差用撮像部１６が結ばれた像を取り込む。このようにして、異なる視点からの画像を視差用撮像部１６が取り込む。この構成においても、上記同様な効果を得ることができる。
【００２９】
また、この構成では、次のようにすることもできる。すなわち、開閉部１５Ａ及び１５Ｂの両方を同時に開けておき、凹シリンドリカルレンズ１４Ａ、凸シリンドリカルレンズ１４Ｂ、凸球面レンズ１４Ｃ、及び開閉部１５Ａ及び１５Ｂを介して視差用撮像部１６の受光面上に外界の像を結ばせることにより、これら異なる視点から見た画像が含まれる一枚の画像を視差用撮像部１６に取り込ませるようにしてもよい。この場合には、奥行検出部２０は、当該一枚の画像中の所定の範囲或いは形状について、当該画像との相関を取ればよく、相関を取った場合の相関度が最も高い部分に基づいて視差量を検出することができる。この構成においても、上記同様な効果を得ることができる。
【００３０】
図７は、本発明の第２の実施形態に係る視差画像入力装置を含む撮像装置の一例としての銀塩カメラの構成を示す。ここで、図３に示す撮像装置１０と同一な機能要素には、同一符号を付して重複する説明を省略する。撮像装置４０は、光学系３２と、絞り部３３と、シャッター部３４と、撮像部及び設置部の一例としてのフィルム部３６と、制御部３８と、視差画像入力装置１２とを有する。
【００３１】
光学系３２は、例えば、複数のレンズで構成され、外界からの光を集めることにより、フィルム部３６のフィルムの表面に外界の被写体の画像を結ぶ。絞り部３３は、光学系３２内において透過する光の一部を絞る。これにより、光学系３２による色収差、球面収差等を除去する。シャッター部３４は、光学系３２を透過する光のフィルム部３６側への通過を制御する動作（シャッター動作）を行う。フィルム部３６は、光化学反応部材の一例としてのフィルムを設置する。フィルムは、ベースとなる部材に、照射された光に応じて化学変化するフォトレジスト（感光剤）が塗布されたものである。制御部３８は、奥行記憶部２２に記憶された奥行き位置に基づいて、光学系３２のフォーカス位置、絞り部３３の絞り量、シャッター部３４のシャッター動作等の制御を行う。
【００３２】
次に、本撮像装置４０の動作を説明する。本撮像装置において、視差用結像部１４が、複数の視点から見た外界の画像を視差用撮像部１６の受光面上に結び、視差用撮像部１６が結ばれた画像を画像データに変換し、視差画像記憶部１８が視差用撮像部１６により変換された画像データを記憶する。次いで、奥行検出部２０が視差画像記憶部１８に記憶された画像に基づいて、対応点決定処理により外界の所定の被写体の視差量を算出し、当該視差量に基づいて奥行き位置を検出し、奥行記憶部２２が検出された被写体の奥行き位置を記憶する。
【００３３】
次いで、奥行記憶部２２に記憶されている被写体の奥行き位置に基づいて制御部３８が、光学系３２のフォーカス、絞り部３３の絞り量を変更する。更に、制御部３８が被写体の奥行き位置に基づいてシャッタ動作のスピードを決定し、当該スピードに従ってシャッター部３４にシャッター動作を行わせる。これにより、光学系３２及び絞り部３３がフィルム部３６に設置されたフィルムの表面上に外界の被写体の画像を結ぶ。この結果、結ばれた画像に応じてフィルム部３６のフィルムのフォトレジストが感光する。本撮像装置４０の視差画像入力装置１２は、上記した第１の実施形態に係る撮像装置の視差画像入力装置と同様な構成をしているので、上記第１の実施形態と同様な効果を得ることがきる。
【００３４】
図８は、本発明の第３の実施形態に係る視差画像入力装置の構成を示す図である。ここで、図３に示す撮像装置１０と同一な機能要素には、同一符号を付して重複する説明を省略する。視差画像入力装置６０は、筐体６２と、駆動部６４とを有する。筐体６２は、視差用結像部１４と、視差用撮像部１６と、視差画像記憶部１８と、奥行検出部２０と、奥行記憶部２２とを有する。駆動部６４は、異なる視点から見た外界の画像を取り込むべく、筐体６２を移動する。筐体６２の移動方法としては、視差用結像部１４の光軸を平行に維持して筐体６２を移動させる方法であってもよく、視差用結像部１４の光軸が常に所定の点を向くように維持して筐体６２を駆動させる方法であってもよい。
【００３５】
図９は、本発明の第３の実施形態に係る視差用結像部１４及び視差用撮像部１６の構成を示す図である。ここで、図４に示す視差用結像部１４及び視差用撮像部１６と同一な機能要素には、同一符号を付して重複する説明を省略する。視差用結像部１４は、一組の凹シリンドリカルレンズ１４Ａと、凸シリンドリカルレンズ１４Ｂと、凸球面レンズ１４Ｃとを有する。本撮像装置によると、所定の位置に筐体６２がある状態で、凹シリンドリカルレンズ１４Ａ、凸シリンドリカルレンズ１４Ｂ、及び凸球面レンズ１４Ｃが、外界の画像を視差用撮像部１６の受光面上に結び、視差用撮像部１６が結ばれた画像を画像データに変換し、視差画像記憶部１８が視差用撮像部１６により変換された画像データを記憶する。
【００３６】
次いで、駆動部６４が筐体６２を前記位置と異なる位置に移動させ、凹シリンドリカルレンズ１４Ａ、凸シリンドリカルレンズ１４Ｂ、及び凸球面レンズ１４Ｃが、外界の画像を視差用撮像部１６の受光面上に結び、視差用撮像部１６が結ばれた画像を画像データに変換し、視差画像記憶部１８が視差用撮像部１６により変換された画像データを記憶する。これによって、異なった複数の視点からの外界の画像を獲得することができる。この後、奥行検出部２０が視差画像記憶部１８に記憶された画像に基づいて、対応点決定処理により外界の所定の被写体の視差量を決定し、更に、当該視差量に基づいて奥行き位置を検出し、奥行記憶部２２が検出された被写体の奥行き位置を記憶する。
【００３７】
視差用画像入力装置６０によると、視差用撮像部１６には視差方向に対する結像倍率が視差方向と垂直な方向に対する結像倍率より高い外界の画像が結ばれる。したがって、視差が発生する視差方向については、各画素が取り込むべき外界の範囲を細かくすることができる。このため、視差方向に発生する視差量をより詳細に決定することができ、奥行検出部２０がより詳細に被写体の奥行き位置を検出することができる。また、視差方向と垂直な方向については、比較的少ない画素数で画像を取り込むことができので、視差用撮像部１６に要求される画素数を抑えることができるとともに、視差用撮像部１６の視差方向と垂直な方向のサイズを抑えることができる。これにより、視差用画像入力装置６０の装置サイズを小さくすることができる。
【００３８】
図１０は、本発明の第４の実施形態に係る視差画像入力装置を含む撮像装置の一例としての内視鏡装置の構成を示す。内視鏡装置は、人間の体腔内の画像を取り込むための装置である。ここで、図３に示す撮像装置１０と同一な機能要素には、同一符号を付して重複する説明を省略する。内視鏡装置７０は、挿入部７２Ａと、本体部７２Ｂとを有する内視鏡７２と、記憶部２８と、表示装置７６と、視差画像記憶部１８と、奥行検出部２０と、奥行記憶部２２とを有する。
【００３９】
本体部７２Ｂは、光学系２４と、ＣＣＤ２６と、視差用結像部１４と、視差用撮像部１６とを有する。挿入部７２Ａは、人間の体腔内に挿入される部位であり、２組のリレーレンズ系７４を有する。各リレーレンズ系７４は、挿入部７２Ａの先端部から観察される外界からの光を光学系２４又は視差用結像部１４へと透過させる。表示装置７６は、記憶部２８に記憶された画像データを表示する。
【００４０】
内視鏡装置７０において、一方のリレーレンズ系７４が外界の光を視差用結像部１４に導き、他方のリレーレンズ系７４が外界の光を光学系２４に導く。視差用結像部１４が、リレーレンズ系７４を介して導かれた外界の光により、複数の視点からの外界の画像を視差用撮像部１６の受光面上に結び、視差用撮像部１６が結ばれた画像を画像データに変換し、視差画像記憶部１８が視差用撮像部１６により変換された画像データを記憶する。
【００４１】
次いで、奥行検出部２０が視差画像記憶部１８に記憶された画像に基づいて、対応点決定処理により外界の所定の被写体の奥行き位置を検出し、奥行記憶部２２が検出された被写体の奥行き位置を記憶する。一方、光学系２４が、リレーレンズ系７４を介して導かれた外界の光を集めることにより、ＣＣＤ２６の受光面上に外界の被写体の画像を結び、ＣＣＤ２６が自己の受光面上に結ばれた画像を画像データに変換し、記憶部２８がＣＣＤ２６によって変換された画像データを記憶する。次いで、表示装置７６が記憶部２８に記憶された画像データに基づいて画像を表示する。
【００４２】
内視鏡装置７０によると、視差用撮像部１６には視差方向に対する結像倍率が視差方向と垂直な方向に対する結像倍率より高い外界の画像が結ばれる。したがって、視差が発生する視差方向について、各画素が取り込むべき外界の範囲を細かくすることができる。このため、視差方向に発生する視差量をより詳細に決定することができ、奥行検出部２０がより詳細に被写体の奥行き位置を検出することができる。また、視差方向と垂直な方向については、比較的少ない画素数で画像を取り込むことができので、視差用撮像部１６に要求される画素数を抑えることができるとともに、視差用撮像部１６の視差方向と垂直な方向のサイズを抑えることができる。
【００４３】
本発明は上記の実施形態に限定されるものではなく、種々の変形が可能である。例えば、上記の実施形態では、視差用光学系として、凹シリンドリカルレンズ１４Ａ、凸シリンドリカルレンズ１４Ｂ及び凸球面レンズ１４Ｃを用いていたが、本発明はこれに限られず、複数の視点を結ぶ視差方向に対する結像倍率を視差方向と垂直な方向に対する結像倍率より高くして視点から見た画像を結ぶ光学系であればよい。
【００４４】
また、上記した第４の実施形態では、本体部７２に、光学系２４と、ＣＣＤ２６と、視差用結像部１４と、視差用撮像部１６とを備えるようにしたが、本発明はこれに限られず、例えば、光学系２４と、ＣＣＤ２６と、視差用結像部１４と、視差用撮像部１６とを挿入部７２Ａの先端側に備えるようにしてもよく、要は、内視鏡装置７０内であれば、各機能要素をどこに備えてもよい。
【００４５】
上記実施の形態では、視差用撮像部１６として、ＣＣＤを用いていたが、本発明はこれに限られず、視差用撮像部１６に、例えば、光化学反応部材の一例としてもフィルムを設置する設置部を備え、設置部に設置されたフィルムにより画像を撮像するようにしてもよい。このようにすると、フィルムを現像し、フィルムに取り込まれた複数の視点からの画像を、例えばフィルムスキャナ等でデジタル画像データとして取り込む場合に、フィルムスキャナの視差方向の各画素が取り込むべき外界の範囲を細かくすることができる。これにより、複数の視点からの画像に基づいて、視差方向に発生する視差量を詳細に決定することができ、被写体の奥行き位置を詳細に検出することができる。
【００４６】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることができることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００４７】
【発明の効果】
上記説明から明らかなように、本発明によれば、外界における奥行き位置の分解能を向上する視差画像を容易に取り込むことができる。
【図面の簡単な説明】
【図１】 従来例に係る視差画像入力装置の構成を示す図である。
【図２】 視差画像により検出される視差量を説明する図である。
【図３】 本発明の第１の実施形態に係る視差画像入力装置を含む撮像装置の構成を示す図である。
【図４】 本発明の第１の実施形態に係る視差用結像部及び視差用撮像部の構成を示す図である。
【図５】 本発明の第１の実施形態に係る視差用撮像部に結ばれる画像を説明する図である。
【図６】 本発明の第１の実施形態に係る視差用結像部及び視差用撮像部の他の構成を示す図である。
【図７】 本発明の第２の実施形態に係る視差画像入力装置を含む撮像装置の構成を示す図である。
【図８】 本発明の第３の実施形態に係る視差画像入力装置の構成を示す図である。
【図９】 本発明の第３の実施形態に係る視差用結像部及び視差用撮像部の構成を示す図である。
【図１０】 本発明の第４の実施形態に係る視差画像入力装置を含む撮像装置の構成を示す図である。
【符号の説明】
１０ ４０ ５０ 撮像装置 １２ ６０ 視差画像入力装置
１４ 視差用結像部 １６ 視差用撮像部
１８ 視差画像記憶部 ２０ 奥行検出部
２２ 奥行記憶部 ２４ ３２ 光学系
２６ ＣＣＤ ２８ 記憶部
３０ ３８ 制御部 ３３ 絞り部
３４ シャッター部 ３６ フィルム部
６２ 筐体 ６４ 駆動部
７０ 内視鏡装置 ７２ 内視鏡
７４ リレーレンズ系 ７６ 表示装置
【発明の属する技術分野】
本発明は、複数の視点から見た画像を取り込む視差画像入力装置及び撮像装置に関する。
【０００２】
【従来の技術】
従来、被測定物体の３次元形状や奥行き情報を非接触に測定する方法として、レンズ焦点法、単眼視、ステレオ法、動画像等の受動的な方法や、光レーダ法、アクティブステレオ法、照度差ステレオ法、モアレ法、干渉法等の能動的な方法が知られている。
【０００３】
ステレオ法は、三角測量の原理を応用し、被測定物体を異なる位置（視点）から撮影して得られた複数の画像から、被測定物体の形状を測定する方法である。このステレオ法では、まず、被測定物体を異なる位置から撮影して複数の画像を取得する。次いで、１の画像中の所定の点（領域）に対応する他の画像の点（領域）を検出する処理、いわゆる対応点決定（マッチング）処理を行う。この対応点決定処理はステレオ法の最も重要な処理である。この対応点決定処理の方法としては、画像の相関を用いる方法等が提案されている。これらの詳細は、「コンピュータビジョン：技術論評と将来展望、（株）新技術コミュニケーションズ、１９９８、ＩＳＢＮ４−９１５８５１−１７−６」の「第８章 ステレオ視」に詳しく記載されている。この文献には、対応点決定処理の方法は、画像の所定の領域を使ってマッチングする「area-based matching」と、画像からエッジ等を検出し、当該エッジの形状を使ってマッチングする「feature-based matching」とに大別されるといった内容が記述されている。
【０００４】
次いで、複数の視差画像間での対応する点の位置の差である視差（disparity）量を求め、三角測量の原理に基づいて、当該視差量を使うことにより所定の被写体までの距離を算出する。ここで、例えば、複数の視点の光軸が交差する場合においては、視点間隔、視点位置から視点の光軸が交差する点（視差光軸交差点）までの距離、視点位置から被写体までの距離、視差量の４つの要素は、簡単な関係式で表せる。視点間隔及び視点位置から視点光軸交差点までの距離は、予め設定することができ、規定の値とすることができる。また、視差量は視差画像から算出することができる。このため、前記関係式により視点位置から被写体までの距離を求めることができる。
【０００５】
図１は、上記したステレオ法を実施する従来例に係る視差画像入力装置の構成を示す図である。視差画像入力装置１００は、レンズ１０２と、シャッター部１０４と、ＣＣＤ（charge coupled device）１０６と、視差画像記憶部１０８と、奥行検出部１１０と、制御部１１２とを有する。
レンズ１０２は外界からの光を集める。シャッター部１０４は、視点となる開閉自在な開閉部１０４Ａ、１０４Ｂを有している。シャッター部１０４の開閉部１０４Ａ又は１０４Ｂは制御部１１２の制御によりいずれか一方が開くようになっている。ＣＣＤ１０６は、自己の受光面上に結ばれた複数の視点からの外界の画像を取り込む。
【０００６】
視差画像記憶部１０８はＣＣＤ１０６により取り込まれた画像データを記憶する。奥行検出部１１０は、視差画像記憶部１０８に記憶された複数の画像同士の対応点を検出し、当該対応点間の視差量を検出し、対応点に該当する被写体までの距離を検出する。制御部１１２は、各部を制御する。例えば、シャッター部１０４の開閉部１０４Ａ、１０４Ｂの開閉を制御する。
【０００７】
視差画像入力装置１００において、制御部１１２が一方の開閉部１０４Ａ又は１０４Ｂを開ける。これにより、レンズ１０２及び、開いている一方の開閉部１０４Ａ又は１０４Ｂを介して、外界の像がＣＣＤ１０６に結ばれる。ＣＣＤ１０６は、結ばれた像の画像を取り込んで、視差画像記憶部１０８に記憶する。次いで、制御部１１２が他方の開閉部１０４Ａ又は１０４Ｂのみを開ける。これにより、レンズ１０２及び、開いている開閉部１０４Ａ又は１０４Ｂを介して、外界の像がＣＣＤ１０６に結ばれる。ＣＣＤ１０６は、結ばれた像を取り込んで、視差画像記憶部１０８に記憶する。次いで、奥行検出部１１０がこれら視差画像記憶部１０８に記憶された異なる視点から見た外界の画像に基づいて、画像同士の対応点を検出し、当該対応点間の視差量を検出し、当該対応点の被写体までの距離を検出する。
【０００８】
【発明が解決しようとする課題】
ところで、ＣＣＤ１０６で取り込まれたデジタル画像データの最小単位はＣＣＤ１０６の画素により定まる。このため、対応点決定処理により得られる視差量は、一般に１画素を単位とした整数値（１画素、２画素等）となる。この視差量は、離散的なサンプリングによって発生する丸め誤差を含んでいるので、本来の視差量を正確に表していない。このため、当該視差量に基づいて算出される被写体までの距離の値に対して、当該丸め誤差の影響が生じてしまうという問題が生じる。
【０００９】
図２は、視差画像により検出される視差量及び奥行き位置を説明する図である。
図２（Ａ）は、２つの視点及び各被写体Ａ〜Ｆの奥行き位置を示し、図２（Ｂ）は、視差量と奥行き位置とを説明する図である。図２（Ａ）に示すように、視点から遠い順に、被写体Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆが存在し、これらの中の被写体Ｂが視点の焦点位置（focus）に存在している。
【００１０】
これら被写体Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆに対する２つの視点から見た画像に発生する視差量は、実際には、それぞれ、−０．３pixel、０．０pixel、０．３pixel、０．７pixel、１．３pixel、１．６pixelである。しかしながら、図２（Ｂ）に示すように、デジタル画像データを使用した対応点決定処理によると、被写体Ａ、Ｂ、Ｃについては、視差量０pixelと検出され、被写体Ｄ、Ｅについては、視差量１pixelと検出され、被写体Ｆについては、視差量２pixelと検出される。このため、被写体Ａ、Ｂ、Ｃまでの距離は、当該視差量０pixelに基づいて算出され、実際には異なる位置にある被写体が、同じ奥行き位置にあると扱われてしまう問題が生じる。
【００１１】
このような問題を解決するためには、丸め誤差を無視できる程度にサンプリングを高密度にする必要があった。しかしながら、高密度なサンプリングを行うためには、画素が細かい高価な撮像素子や、画像スキャナー等が必要となり、コストが大きくなるという問題が生じる。また、高密度なサンプリングによって得られる画像データの量は膨大になるために、対応点決定処理等の処理時間の増大し、画像データを記憶するために必要な記憶容量が増大するという問題がある。
そこで本発明は、上記の課題を解決しつつ、外界の被写体の奥行き位置の分解能を効果的に向上することのできる視差画像入力装置及び撮像装置を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【００１２】
【課題を解決するための手段】
上記目的を達成するために、本発明の第１の形態に係る視差画像入力装置は、複数の視点から見た外界の画像を取得する視差画像入力装置であって、複数の視点から見た外界の画像を結ぶ視差用結像部と、視差用結像部により結ばれた画像を取得する視差用撮像部とを有し、視差用結像部は、複数の視点を結ぶ視差方向に対する結像倍率を視差方向と垂直な方向に対する結像倍率より高くする視差用光学系を有することを特徴とする。
【００１３】
視差用結像部は、視差用光学系を複数有し、当該視差用光学系は前記複数の視点中の少なくとも２つの視点から見た外界の画像をそれぞれ結ばせるようにしてもよい。また、視差用結像部は、視点となる複数の開口を有するシャッター部を有し、視差用撮像部は、シャッター部の開口を介して結ばれる外界の像を撮像するようにしてもよい。
【００１４】
視差用撮像部は、光電変換素子であってもよい。光電変換素子は、複数の視点を結ぶ視差方向の画素数が、視差方向とほぼ垂直な方向の画素数より多くてもよい。視差用撮像部により取り込まれた画像に基づいて外界の所定の被写体までの距離を示す奥行き情報を検出する奥行検出部を更に備えるようにしてもよい。視差用撮像部は、光化学反応部材を設置する設置部を有してもよい。
【００１５】
本発明の第１の形態に係る撮像装置は、所望の外界を撮像する撮像装置であって、外界の画像を結ぶ光学系と、光学系により結ばれた画像を撮像する撮像部と、 複数の視点から見た外界の画像を結ぶ視差用結像部と、視差用結像部により結ばれた画像を取得する視差用撮像部とを有し、視差用結像部は、複数の視点を結ぶ視差方向に対する結像倍率を視差方向と垂直な方向に対する結像倍率より高くする視差用光学系を有することを特徴とする。
【００１６】
視差用撮像部により撮像された複数の視点から見た画像に基づいて、外界の所定の被写体までの距離に対応する奥行き情報を検出する奥行検出部を更に備えるようにしてもよい。奥行検出部により検出された奥行き情報に基づいて、光学系又は撮像部を制御する制御部を更に備えるようにしてもよい。視差用撮像部により撮像された複数の視点から見た画像と、撮像部により撮像された画像とを対応付けて記憶する記憶部を更に備えるようにしてもよい。撮像部は、光電変換素子であってよく、また、光化学反応部材を設置する設置部を有するようにしてもよい。なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。
【００１７】
【発明の実施の形態】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図３は、本発明の第１の実施形態に係る視差画像入力装置を含む撮像装置１０の一例としてのデジタルカメラの構成を示す。ここで、デジタルカメラには、画像を一枚毎に撮像するカメラだけでなく、画像を連続して撮像するビデオカメラ等が含まれる。撮像装置１０は、光学系２４と、撮像部の一例としてのＣＣＤ２６と、記憶部２８と、視差用結像部１４、視差用撮像部１６、視差画像記憶部１８、奥行検出部２０、及び奥行記憶部２２を有する視差画像入力装置１２と、制御部３０とを備える。
【００１８】
光学系２４は、外界からの光を集めることにより、ＣＣＤ２６の受光面上に外界の被写体の画像を結ぶ。ＣＣＤ２６は、受光面上に結ばれた画像を画像データに変換する。記憶部２８は、ＣＣＤ２６によって変換された画像データを記憶する。
【００１９】
視差用結像部１４は、複数の視点から見た外界の画像を視差用撮像部１６の受光面上に結ぶ。視差用撮像部１６は、視差用結像部１４により結ばれた画像を画像データに変換する。視差画像記憶部１８は、視差用撮像部１６により変換された画像データを記憶する。奥行検出部２０は、視差画像記憶部１８に記憶された画像に基づいて、外界の所定の被写体について対応点決定処理を行うことにより視差量を求め、当該視差量に基づいて奥行き位置（奥行き情報）を検出する。対応点決定処理は、従来より知られている技術であるので説明を省略する。また、視差量に基づいて奥行き位置を検出する処理は、従来より知られている三角測量の原理に基づいて行うことができるのでここでは説明を省略する。
【００２０】
奥行記憶部２２は、奥行検出部２０により検出された被写体の奥行き位置を記憶する。制御部３０は、奥行記憶部２２に記憶されている被写体の奥行き位置に基づいて、光学系２４のフォーカスや、ＣＣＤ２６による撮像動作等を制御する。ここで、記憶部２８、視差画像記憶部１８、及び奥行記憶部２２は、それぞれ、撮像装置１０内に常設されているＲＡＭ（Random Access Memory）、フラッシュメモリであってもよく、また、撮像装置１０に対して着脱可能な、例えば、フロッピーディスク、ＭＤ（Mini Disk）、スマートメディア等の記録媒体であってもよい。
【００２１】
次に、撮像装置１０の動作を説明する。撮像装置１０において、視差用結像部１４が複数の視点から見た外界の画像を視差用撮像部１６の受光面上に結び、視差用撮像部１６が受光面上に結ばれた画像を画像データに変換し、視差画像記憶部１８が視差用撮像部１６により変換された画像データを記憶する。次いで、奥行検出部２０が視差画像記憶部１８に記憶された画像に基づいて、対応点決定処理により外界の所定の被写体についての視差量を検出し、当該視差量に基づいて当該被写体についての奥行き位置を検出し、奥行記憶部２２が検出された当該被写体の奥行き位置を記憶する。
【００２２】
次いで、制御部３０が奥行記憶部２２に記憶されている被写体の奥行き位置に基づいて、光学系２４及びＣＣＤ２６を制御する。これにより、光学系２４が外界からの光を集め、ＣＣＤ２６の受光面上に外界の被写体の画像を結ぶ。そして、ＣＣＤ２６が自己の受光面上に結ばれた画像を画像データに変換し、記憶部２８がＣＣＤ２６によって変換された画像データを記憶する。このとき、記憶部２８は、自己が記憶する画像データと、当該画像データを取り込むに際して、視差用撮像部１６により取り込まれて視差画像記憶部１８に記憶された複数の視点からの画像と、当該複数の視点からの画像により算出されて奥行記憶部２２に記憶されている被写体の奥行き位置とを対応付ける対応付け情報も記憶する。これにより、後に、画像データと、当該画像データに関する複数の視点からの画像と、当該画像データに含まれている被写体の奥行き情報とを対応付けて利用することができる。
【００２３】
図４は、本発明の第１の実施形態に係る視差用結像部１４及び視差用撮像部１６の構成を示す図である。視差用結像部１４は、視差用光学系の一例としての凹シリンドリカルレンズ１４Ａと、凸シリンドリカルレンズ１４Ｂと、凸球面レンズ１４Ｃとの組を複数（図では、２組）有する。この各組がそれぞれ異なる視点から見た外界の像を各視差用撮像部１６上に結ぶ。
【００２４】
凹シリンドリカルレンズ１４Ａ及び凸シリンドリカルレンズ１４Ｂは、主に、複数の視点を結ぶ方向（視差方向）に対して垂直な方向に外界からの光の幅を縮小する。凸球面レンズ１４Ｃは、凹シリンドリカルレンズ１４Ａ及び凸シリンドリカルレンズ１４Ｂを透過した光を視差用撮像部１６の受光面上で結像させる。凹シリンドリカルレンズ１４Ａ、凸シリンドリカルレンズ１４Ｂ、及び凸球面レンズ１４Ｃは、視差方向に対する結像倍率を視差方向と垂直な方向に対する結像倍率より高くして外界の画像を視差用撮像部１６に結ぶ、いわゆるアナモルフィックな光学系である。視差用撮像部１６は、例えば、光電変換素子の一例としてのＣＣＤで構成されており、視差方向の画素数が視差方向に直行する方向の画素数より多くなっている。
【００２５】
図５は、本発明の第１の実施形態に係る視差用結像部１４により視差用撮像部１６に結ばれる画像を説明する図である。図５（Ａ）は、従来の視差用撮像部に結ばれる画像を示し、図５（Ｂ）は、本発明に係る視差用撮像部１６に結ばれる画像を示す。図５（Ａ）に示すように、従来は外界の画像が視差方向及び視差方向と垂直な方向に対して、それぞれ等しい倍率で結ばれていた。これに対して、本発明の視差用撮像部１６に結ばれる画像は、図５（Ｂ）に示すように視差方向に対する結像倍率が視差方向と垂直な方向に対する結像倍率より高い。
【００２６】
これにより、視差が発生する視差方向については、各画素が取り込むべき外界の範囲を細かくすることができる。このため、視差方向に発生する視差量をより詳細に決定することができ、ひいては、より詳細に被写体の奥行き位置を検出することができる。また、視差方向と垂直な方向については、比較的少ない画素数で画像を取り込むことができので、視差用撮像部１６に要求される画素数少なく、且つ視差用撮像部１６のサイズを小さく抑えることができる。これにより、撮像装置１０の装置サイズを小さくすることができる。また、視差用撮像部１６の画素数を少なくでき、処理において扱うデータ量を抑えることができるので、処理時間を短縮することができる。更に、詳細に被写体の奥行き位置を検出できるので、当該奥行き位置に基づいた制御によって、例えば、光学系２４におけるフォーカスの精度を高めることができ、取り込む画像の質を向上することができる。
【００２７】
図６は、本発明の第１の実施形態に係る視差用結像部１４及び視差用撮像部１６の他の構成を示す図である。ここで、図４に示す視差用結像部１４及び視差用撮像部１６と同一な機能要素には、同一符号を付して重複する説明を省略する。視差用結像部１４は、一組の凹シリンドリカルレンズ１４Ａ、凸シリンドリカルレンズ１４Ｂ及び凸球面レンズ１４Ｃと、シャッター部１４Ｄを有する。シャッター部１４Ｄは、視点となる開口部の一例としての開閉自在な複数の開閉部１５Ａ、１５Ｂを有する。シャッター部１４Ｄは、凹シリンドリカルレンズ１４Ａ、凸シリンドリカルレンズ１４Ｂ及び凸球面レンズ１４Ｃを有する光学系の主点位置、例えば、視点方向についての主点位置、或いは主点位置の近傍に配置することが望ましい。
【００２８】
この構成では、図示しないシャッター駆動部がいずれか一方の開閉部１５Ａ又は１５Ｂを開ける。これにより、凹シリンドリカルレンズ１４Ａ、凸シリンドリカルレンズ１４Ｂ、凸球面レンズ１４Ｃ、及び開いている開閉部１５Ａ又は１５Ｂを介して視差用撮像部１６の受光面上に外界の像が結ばれる。そして、視差用撮像部１６が結ばれた像を取り込む。次いで、シャッター駆動部が前記一方の開閉部１５Ａ又は１５Ｂを閉じ、他方の開閉部１５Ａ又は１５Ｂを開ける。これにより、凹シリンドリカルレンズ１４Ａ、凸シリンドリカルレンズ１４Ｂ、凸球面レンズ１４Ｃ、及び開いている開閉部１５Ａ又は１５Ｂを介して視差用撮像部１６の受光面上に外界の像が結ばれる。そして、視差用撮像部１６が結ばれた像を取り込む。このようにして、異なる視点からの画像を視差用撮像部１６が取り込む。この構成においても、上記同様な効果を得ることができる。
【００２９】
また、この構成では、次のようにすることもできる。すなわち、開閉部１５Ａ及び１５Ｂの両方を同時に開けておき、凹シリンドリカルレンズ１４Ａ、凸シリンドリカルレンズ１４Ｂ、凸球面レンズ１４Ｃ、及び開閉部１５Ａ及び１５Ｂを介して視差用撮像部１６の受光面上に外界の像を結ばせることにより、これら異なる視点から見た画像が含まれる一枚の画像を視差用撮像部１６に取り込ませるようにしてもよい。この場合には、奥行検出部２０は、当該一枚の画像中の所定の範囲或いは形状について、当該画像との相関を取ればよく、相関を取った場合の相関度が最も高い部分に基づいて視差量を検出することができる。この構成においても、上記同様な効果を得ることができる。
【００３０】
図７は、本発明の第２の実施形態に係る視差画像入力装置を含む撮像装置の一例としての銀塩カメラの構成を示す。ここで、図３に示す撮像装置１０と同一な機能要素には、同一符号を付して重複する説明を省略する。撮像装置４０は、光学系３２と、絞り部３３と、シャッター部３４と、撮像部及び設置部の一例としてのフィルム部３６と、制御部３８と、視差画像入力装置１２とを有する。
【００３１】
光学系３２は、例えば、複数のレンズで構成され、外界からの光を集めることにより、フィルム部３６のフィルムの表面に外界の被写体の画像を結ぶ。絞り部３３は、光学系３２内において透過する光の一部を絞る。これにより、光学系３２による色収差、球面収差等を除去する。シャッター部３４は、光学系３２を透過する光のフィルム部３６側への通過を制御する動作（シャッター動作）を行う。フィルム部３６は、光化学反応部材の一例としてのフィルムを設置する。フィルムは、ベースとなる部材に、照射された光に応じて化学変化するフォトレジスト（感光剤）が塗布されたものである。制御部３８は、奥行記憶部２２に記憶された奥行き位置に基づいて、光学系３２のフォーカス位置、絞り部３３の絞り量、シャッター部３４のシャッター動作等の制御を行う。
【００３２】
次に、本撮像装置４０の動作を説明する。本撮像装置において、視差用結像部１４が、複数の視点から見た外界の画像を視差用撮像部１６の受光面上に結び、視差用撮像部１６が結ばれた画像を画像データに変換し、視差画像記憶部１８が視差用撮像部１６により変換された画像データを記憶する。次いで、奥行検出部２０が視差画像記憶部１８に記憶された画像に基づいて、対応点決定処理により外界の所定の被写体の視差量を算出し、当該視差量に基づいて奥行き位置を検出し、奥行記憶部２２が検出された被写体の奥行き位置を記憶する。
【００３３】
次いで、奥行記憶部２２に記憶されている被写体の奥行き位置に基づいて制御部３８が、光学系３２のフォーカス、絞り部３３の絞り量を変更する。更に、制御部３８が被写体の奥行き位置に基づいてシャッタ動作のスピードを決定し、当該スピードに従ってシャッター部３４にシャッター動作を行わせる。これにより、光学系３２及び絞り部３３がフィルム部３６に設置されたフィルムの表面上に外界の被写体の画像を結ぶ。この結果、結ばれた画像に応じてフィルム部３６のフィルムのフォトレジストが感光する。本撮像装置４０の視差画像入力装置１２は、上記した第１の実施形態に係る撮像装置の視差画像入力装置と同様な構成をしているので、上記第１の実施形態と同様な効果を得ることがきる。
【００３４】
図８は、本発明の第３の実施形態に係る視差画像入力装置の構成を示す図である。ここで、図３に示す撮像装置１０と同一な機能要素には、同一符号を付して重複する説明を省略する。視差画像入力装置６０は、筐体６２と、駆動部６４とを有する。筐体６２は、視差用結像部１４と、視差用撮像部１６と、視差画像記憶部１８と、奥行検出部２０と、奥行記憶部２２とを有する。駆動部６４は、異なる視点から見た外界の画像を取り込むべく、筐体６２を移動する。筐体６２の移動方法としては、視差用結像部１４の光軸を平行に維持して筐体６２を移動させる方法であってもよく、視差用結像部１４の光軸が常に所定の点を向くように維持して筐体６２を駆動させる方法であってもよい。
【００３５】
図９は、本発明の第３の実施形態に係る視差用結像部１４及び視差用撮像部１６の構成を示す図である。ここで、図４に示す視差用結像部１４及び視差用撮像部１６と同一な機能要素には、同一符号を付して重複する説明を省略する。視差用結像部１４は、一組の凹シリンドリカルレンズ１４Ａと、凸シリンドリカルレンズ１４Ｂと、凸球面レンズ１４Ｃとを有する。本撮像装置によると、所定の位置に筐体６２がある状態で、凹シリンドリカルレンズ１４Ａ、凸シリンドリカルレンズ１４Ｂ、及び凸球面レンズ１４Ｃが、外界の画像を視差用撮像部１６の受光面上に結び、視差用撮像部１６が結ばれた画像を画像データに変換し、視差画像記憶部１８が視差用撮像部１６により変換された画像データを記憶する。
【００３６】
次いで、駆動部６４が筐体６２を前記位置と異なる位置に移動させ、凹シリンドリカルレンズ１４Ａ、凸シリンドリカルレンズ１４Ｂ、及び凸球面レンズ１４Ｃが、外界の画像を視差用撮像部１６の受光面上に結び、視差用撮像部１６が結ばれた画像を画像データに変換し、視差画像記憶部１８が視差用撮像部１６により変換された画像データを記憶する。これによって、異なった複数の視点からの外界の画像を獲得することができる。この後、奥行検出部２０が視差画像記憶部１８に記憶された画像に基づいて、対応点決定処理により外界の所定の被写体の視差量を決定し、更に、当該視差量に基づいて奥行き位置を検出し、奥行記憶部２２が検出された被写体の奥行き位置を記憶する。
【００３７】
視差用画像入力装置６０によると、視差用撮像部１６には視差方向に対する結像倍率が視差方向と垂直な方向に対する結像倍率より高い外界の画像が結ばれる。したがって、視差が発生する視差方向については、各画素が取り込むべき外界の範囲を細かくすることができる。このため、視差方向に発生する視差量をより詳細に決定することができ、奥行検出部２０がより詳細に被写体の奥行き位置を検出することができる。また、視差方向と垂直な方向については、比較的少ない画素数で画像を取り込むことができので、視差用撮像部１６に要求される画素数を抑えることができるとともに、視差用撮像部１６の視差方向と垂直な方向のサイズを抑えることができる。これにより、視差用画像入力装置６０の装置サイズを小さくすることができる。
【００３８】
図１０は、本発明の第４の実施形態に係る視差画像入力装置を含む撮像装置の一例としての内視鏡装置の構成を示す。内視鏡装置は、人間の体腔内の画像を取り込むための装置である。ここで、図３に示す撮像装置１０と同一な機能要素には、同一符号を付して重複する説明を省略する。内視鏡装置７０は、挿入部７２Ａと、本体部７２Ｂとを有する内視鏡７２と、記憶部２８と、表示装置７６と、視差画像記憶部１８と、奥行検出部２０と、奥行記憶部２２とを有する。
【００３９】
本体部７２Ｂは、光学系２４と、ＣＣＤ２６と、視差用結像部１４と、視差用撮像部１６とを有する。挿入部７２Ａは、人間の体腔内に挿入される部位であり、２組のリレーレンズ系７４を有する。各リレーレンズ系７４は、挿入部７２Ａの先端部から観察される外界からの光を光学系２４又は視差用結像部１４へと透過させる。表示装置７６は、記憶部２８に記憶された画像データを表示する。
【００４０】
内視鏡装置７０において、一方のリレーレンズ系７４が外界の光を視差用結像部１４に導き、他方のリレーレンズ系７４が外界の光を光学系２４に導く。視差用結像部１４が、リレーレンズ系７４を介して導かれた外界の光により、複数の視点からの外界の画像を視差用撮像部１６の受光面上に結び、視差用撮像部１６が結ばれた画像を画像データに変換し、視差画像記憶部１８が視差用撮像部１６により変換された画像データを記憶する。
【００４１】
次いで、奥行検出部２０が視差画像記憶部１８に記憶された画像に基づいて、対応点決定処理により外界の所定の被写体の奥行き位置を検出し、奥行記憶部２２が検出された被写体の奥行き位置を記憶する。一方、光学系２４が、リレーレンズ系７４を介して導かれた外界の光を集めることにより、ＣＣＤ２６の受光面上に外界の被写体の画像を結び、ＣＣＤ２６が自己の受光面上に結ばれた画像を画像データに変換し、記憶部２８がＣＣＤ２６によって変換された画像データを記憶する。次いで、表示装置７６が記憶部２８に記憶された画像データに基づいて画像を表示する。
【００４２】
内視鏡装置７０によると、視差用撮像部１６には視差方向に対する結像倍率が視差方向と垂直な方向に対する結像倍率より高い外界の画像が結ばれる。したがって、視差が発生する視差方向について、各画素が取り込むべき外界の範囲を細かくすることができる。このため、視差方向に発生する視差量をより詳細に決定することができ、奥行検出部２０がより詳細に被写体の奥行き位置を検出することができる。また、視差方向と垂直な方向については、比較的少ない画素数で画像を取り込むことができので、視差用撮像部１６に要求される画素数を抑えることができるとともに、視差用撮像部１６の視差方向と垂直な方向のサイズを抑えることができる。
【００４３】
本発明は上記の実施形態に限定されるものではなく、種々の変形が可能である。例えば、上記の実施形態では、視差用光学系として、凹シリンドリカルレンズ１４Ａ、凸シリンドリカルレンズ１４Ｂ及び凸球面レンズ１４Ｃを用いていたが、本発明はこれに限られず、複数の視点を結ぶ視差方向に対する結像倍率を視差方向と垂直な方向に対する結像倍率より高くして視点から見た画像を結ぶ光学系であればよい。
【００４４】
また、上記した第４の実施形態では、本体部７２に、光学系２４と、ＣＣＤ２６と、視差用結像部１４と、視差用撮像部１６とを備えるようにしたが、本発明はこれに限られず、例えば、光学系２４と、ＣＣＤ２６と、視差用結像部１４と、視差用撮像部１６とを挿入部７２Ａの先端側に備えるようにしてもよく、要は、内視鏡装置７０内であれば、各機能要素をどこに備えてもよい。
【００４５】
上記実施の形態では、視差用撮像部１６として、ＣＣＤを用いていたが、本発明はこれに限られず、視差用撮像部１６に、例えば、光化学反応部材の一例としてもフィルムを設置する設置部を備え、設置部に設置されたフィルムにより画像を撮像するようにしてもよい。このようにすると、フィルムを現像し、フィルムに取り込まれた複数の視点からの画像を、例えばフィルムスキャナ等でデジタル画像データとして取り込む場合に、フィルムスキャナの視差方向の各画素が取り込むべき外界の範囲を細かくすることができる。これにより、複数の視点からの画像に基づいて、視差方向に発生する視差量を詳細に決定することができ、被写体の奥行き位置を詳細に検出することができる。
【００４６】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることができることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００４７】
【発明の効果】
上記説明から明らかなように、本発明によれば、外界における奥行き位置の分解能を向上する視差画像を容易に取り込むことができる。
【図面の簡単な説明】
【図１】 従来例に係る視差画像入力装置の構成を示す図である。
【図２】 視差画像により検出される視差量を説明する図である。
【図３】 本発明の第１の実施形態に係る視差画像入力装置を含む撮像装置の構成を示す図である。
【図４】 本発明の第１の実施形態に係る視差用結像部及び視差用撮像部の構成を示す図である。
【図５】 本発明の第１の実施形態に係る視差用撮像部に結ばれる画像を説明する図である。
【図６】 本発明の第１の実施形態に係る視差用結像部及び視差用撮像部の他の構成を示す図である。
【図７】 本発明の第２の実施形態に係る視差画像入力装置を含む撮像装置の構成を示す図である。
【図８】 本発明の第３の実施形態に係る視差画像入力装置の構成を示す図である。
【図９】 本発明の第３の実施形態に係る視差用結像部及び視差用撮像部の構成を示す図である。
【図１０】 本発明の第４の実施形態に係る視差画像入力装置を含む撮像装置の構成を示す図である。
【符号の説明】
１０ ４０ ５０ 撮像装置 １２ ６０ 視差画像入力装置
１４ 視差用結像部 １６ 視差用撮像部
１８ 視差画像記憶部 ２０ 奥行検出部
２２ 奥行記憶部 ２４ ３２ 光学系
２６ ＣＣＤ ２８ 記憶部
３０ ３８ 制御部 ３３ 絞り部
３４ シャッター部 ３６ フィルム部
６２ 筐体 ６４ 駆動部
７０ 内視鏡装置 ７２ 内視鏡
７４ リレーレンズ系 ７６ 表示装置
Claims (13)
- 複数の視点から見た外界の画像を取得する視差画像入力装置であって、
前記複数の視点から見た前記外界の画像を結ぶ視差用結像部と、
前記視差用結像部により結ばれた前記画像を二次元画像として取り込む視差用撮像部と
を有し、
前記視差用結像部は、
前記複数の視点を結ぶ視差方向に対する結像倍率を前記視差方向と垂直な方向に対する結像倍率より高くする視差用光学系
を有することを特徴とする視差画像入力装置。 - 前記視差用結像部は、
前記視差用光学系を複数有し、当該視差用光学系は前記複数の視点中の少なくとも２つの視点から見た前記外界の画像をそれぞれ結ばせる
ことを特徴とする請求項１に記載の視差画像入力装置。 - 前記視差用結像部は、前記視点となる複数の開口を有するシャッター部を有し、
前記視差用撮像部は、前記シャッター部の前記開口を介して結ばれる外界の像を取り込む
ことを特徴とする請求項１に記載の視差画像入力装置。 - 前記視差用撮像部は、光電変換素子である
ことを特徴とする請求項１乃至３のいずれかに記載の視差画像入力装置。 - 前記光電変換素子は、前記複数の視点を結ぶ視差方向の画素数が、前記視差方向とほぼ垂直な方向の画素数より多い
ことを特徴とする請求項４に記載の視差画像入力装置。 - 前記視差用撮像部により取り込まれた前記画像に基づいて前記外界における所定の被写体までの距離を示す奥行き情報を検出する奥行検出部を
更に備えることを特徴とする請求項４又は５に記載の視差画像入力装置。 - 前記視差用撮像部は、光化学反応部材を設置する設置部を有する
ことを特徴とする請求項１乃至３のいずれかに記載の視差画像入力装置。 - 所望の外界を撮像する撮像装置であって、
前記外界の画像を結ぶ光学系と、
前記光学系により結ばれた前記画像を撮像する撮像部と、
複数の視点から見た前記外界の画像を結ぶ視差用結像部と、
前記視差用結像部により結ばれた前記画像を二次元画像として取得する視差用撮像部と
を有し、
前記視差用結像部は、
前記複数の視点を結ぶ視差方向に対する結像倍率を前記視差方向と垂直な方向に対する結像倍率より高くする視差用光学系
を有することを特徴とする撮像装置。 - 前記視差用撮像部により撮像された複数の視点から見た前記画像に基づいて、前記外界の所定の被写体までの距離に対応する奥行き情報を検出する奥行検出部を
更に備えることを特徴とする請求項８に記載の撮像装置。 - 前記奥行検出部により検出された奥行き情報に基づいて、前記光学系又は前記撮像部を制御する制御部を
更に備えたことを特徴とする請求項９に記載の撮像装置。 - 前記視差用撮像部により撮像された複数の視点から見た画像と、前記撮像部により撮像された前記画像とを対応付けて記憶する記憶部
を更に備えることを特徴とする請求項８乃至１０のいずれかに記載の撮像装置。 - 前記撮像部は、光電変換素子である
ことを特徴とする請求項８乃至１１のいずれかに記載の撮像装置。 - 前記撮像部は、光化学反応部材を設置する設置部を有する
ことを特徴とする請求項８乃至１１のいずれかに記載の撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18648399A JP3897079B2 (ja) | 1999-06-30 | 1999-06-30 | 視差画像入力装置及び撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18648399A JP3897079B2 (ja) | 1999-06-30 | 1999-06-30 | 視差画像入力装置及び撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001012915A JP2001012915A (ja) | 2001-01-19 |
| JP3897079B2 true JP3897079B2 (ja) | 2007-03-22 |
Family
ID=16189287
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18648399A Expired - Fee Related JP3897079B2 (ja) | 1999-06-30 | 1999-06-30 | 視差画像入力装置及び撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3897079B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101139661B1 (ko) | 2004-08-20 | 2012-05-15 | 소니 주식회사 | 촬상 장치 및 촬상 방법 |
| JP4645358B2 (ja) * | 2004-08-20 | 2011-03-09 | ソニー株式会社 | 撮像装置および撮像方法 |
| JP5985488B2 (ja) * | 2010-10-18 | 2016-09-06 | リーチ３ディ メディカル エルエルシーＲｅａｃｈ３Ｄ Ｍｅｄｉｃａｌ Ｌｌｃ． | ステレオ光学系 |
| WO2012068137A1 (en) | 2010-11-15 | 2012-05-24 | Medivision, Inc. | Stereoscopic relay optics |
| JP6031755B2 (ja) * | 2011-12-14 | 2016-11-24 | ソニー株式会社 | 立体画像撮像装置 |
| CN107040699B (zh) * | 2016-02-03 | 2019-11-26 | 台湾东电化股份有限公司 | 摄影装置 |
-
1999
- 1999-06-30 JP JP18648399A patent/JP3897079B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001012915A (ja) | 2001-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5757674A (en) | Three-dimensional position detecting apparatus | |
| CN102227746B (zh) | 立体图像处理装置、方法和立体成像设备 | |
| EP1956831B1 (en) | Focus adjusting device, image pickup apparatus, and focus adjustment method | |
| US8810629B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and program | |
| US6807295B1 (en) | Stereoscopic imaging apparatus and method | |
| US20120147150A1 (en) | Electronic equipment | |
| US20070189750A1 (en) | Method of and apparatus for simultaneously capturing and generating multiple blurred images | |
| JP4364464B2 (ja) | デジタルカメラ撮像装置 | |
| CN109951638A (zh) | 摄像头防抖系统、方法、电子设备和计算机可读存储介质 | |
| JP3112485B2 (ja) | 立体電子スチルカメラ | |
| JPH10142490A (ja) | 環境認識装置及びカメラ | |
| JP2012500506A (ja) | カメラおよびカメラの制御方法 | |
| CN111213364A (zh) | 拍摄设备的控制方法、拍摄设备的控制装置及拍摄设备 | |
| JP3897079B2 (ja) | 視差画像入力装置及び撮像装置 | |
| JP4354096B2 (ja) | 撮像装置 | |
| JP3998863B2 (ja) | 奥行検出装置及び撮像装置 | |
| CN105335959A (zh) | 成像装置快速对焦方法及其设备 | |
| JP2001016612A (ja) | 視差画像撮像装置及び視差画像撮像方法 | |
| JP2008089811A (ja) | 撮像装置及びその制御方法 | |
| JP2001012944A (ja) | 視差画像入力装置及び撮像装置 | |
| JP2005287878A (ja) | 生体判別装置および認証装置ならびに生体判別方法 | |
| JP2001012927A (ja) | 視差画像入力装置及び撮像装置 | |
| JP2001012916A (ja) | 視差画像入力装置及び撮像装置 | |
| JP4085720B2 (ja) | デジタルカメラ | |
| JP5420034B2 (ja) | 撮像装置、その制御方法、プログラム及び記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040909 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060327 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060815 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060919 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061205 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061212 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061212 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110105 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110105 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120105 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120105 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130105 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130105 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140105 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |