JP4971532B1 - 立体画像撮影装置および内視鏡 - Google Patents

立体画像撮影装置および内視鏡 Download PDF

Info

Publication number
JP4971532B1
JP4971532B1 JP2012504217A JP2012504217A JP4971532B1 JP 4971532 B1 JP4971532 B1 JP 4971532B1 JP 2012504217 A JP2012504217 A JP 2012504217A JP 2012504217 A JP2012504217 A JP 2012504217A JP 4971532 B1 JP4971532 B1 JP 4971532B1
Authority
JP
Japan
Prior art keywords
light
subject
image
polarization
polarization plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012504217A
Other languages
English (en)
Other versions
JPWO2012073413A1 (ja
Inventor
克洋 金森
政夫 平本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2012504217A priority Critical patent/JP4971532B1/ja
Application granted granted Critical
Publication of JP4971532B1 publication Critical patent/JP4971532B1/ja
Publication of JPWO2012073413A1 publication Critical patent/JPWO2012073413A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096Optical elements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00193Optical arrangements adapted for stereoscopic vision
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00194Optical arrangements adapted for three-dimensional imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/18Stereoscopic photography by simultaneous viewing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

偏光面制御素子106は、偏光板と液晶素子から構成されており、電圧により非偏光を任意の偏光面の直線偏光と変換できる。同期装置112は、偏光面制御素子106に偏光面回転の指示を送り照明の偏光面を回転させ被写体に照射すると同時に撮像素子110に撮影開始信号を送って映像を取得し、これを複数回実施する。撮像映像の信号は映像信号線111を経由して画像処理プロセッサ108に送られる。そこで左右の偏光開口と中心に位置する非偏光部と通過する画像である各LL、RR、CC画像を分離生成し、左右視差画像を生成して立体表示部122に送る。
【選択図】図1

Description

本発明は、撮像素子によって取得される2次元輝度画像で得られる情報を超えた表面凹凸情報や高精細画像を生成できる立体画像撮影装置および内視鏡に関する。
内視鏡は、粘膜で覆われた生体の臓器の壁表面に対して照明光を照射して撮像する。このような内視鏡の分野では、臓器の壁表面の微細な凹凸を観察するため、被写体の奥行きに関する情報を抽出することが重要である。また、手術用の内視鏡の分野では、手術情景を立体的に把握したいという課題がある。そこで、従来、立体内視鏡の技術が開発されてきた。立体内視鏡は、通常、異なる位置から被写体を見た複数視点画像を取得するためにレンズと撮像素子がそれぞれ2組必要になる「2眼システム」を採用している。2眼システムによれば、同一の被写体から、視差のある複数視点画像(例えば左目画像と右目画像)を同時に取得できるため、複数視点画像から被写体の立体形状に関する情報を得ることが可能になる。しかし、2眼システムには、2個の撮像素子の特性を完全に合致させることが難しいという欠点がある。そこで、たとえば特許文献1に開示されているように、複数視点画像を取得するために、レンズと撮像素子をそれぞれ1個だけ使う「単眼システム」の技術が注目されている。
図16(a)、(b)は、従来の立体内視鏡の構成を示す。図16(a)は、この立体内視鏡の全体構成を模式的に示す図であり、図16(b)は、その一部を上方から視た模式的断面図である。
図16(a)に示されるように、この従来技術の内視鏡は、レンズ1307とCCD1308を用いる通常カラー画像撮像系のほかに複数視点画像を取得するための撮像系(視差撮像系)を有している。視差撮像系では、光学結像部1301と撮像部1303との間に光通過部1302を配置している。光通過部1302は、図16(b)に示すように、左右に配置された2つの開口1304a、1304bを有し、各々を透過した光が複数視点画像を生成する。通常は交互に開口1304a、1304bを開閉することによって左右の複数視点画像を得るのであるが、本技術では、2つの開口1304a、1304bからの光を画像処理によって分離することで2種の画像の時間ずれをなくしている。そのために開口1304aに垂直方向の偏光透過軸を有する偏光フィルタを付加し、開口1304bに水平方向の偏光透過軸を有する偏光フィルタを付加している。
撮像部1303は、偏光モザイクフィルタ1305と撮像素子1306を組み合わせて用いる。偏光モザイクフィルタ1305は、垂直方向に偏光透過軸を有する偏光フィルタ1305aと水平方向に偏光透過軸を有する偏光フィルタ1305bとが空間的に交互に分布した構成を有している。左右2箇所の開口1304a、1304bからの光は、偏光フィルムにより偏光方向が直交する光となる。このため、開口1304a、1304bを透過した光(偏光)は、それぞれ、偏光モザイクフィルタ1305のうちの対応する偏光透過軸を有する部分に入射する。こうして、偏光フィルタ1305aにカバーされる画素の信号と、偏光フィルタ1305bにカバーされる画素の信号とに基づいて、開口1304a、1304bを透過した光の輝度を検出することができ、2種の複数視点画像を得ることができる。
特開2001−16611号公報 特開平11−313242号公報 米国特許出願公開第2009/0079982号明細書
Nicolas Lefaudeux, et.al.:"Compact and robust linear Stokes polarization camera",Proc. SPIE, Vol. 6972, 69720B, Polarization: Measurement, Analysis, and Remote Sensing VIII(2008);
しかし従来の技術では、以下の課題があった。すなわち光通過部には左右の開口以外の部分には遮光部があるため光量を有効に使えず、得られる画像の感度が悪いという課題があった。照明光の無い暗黒の体腔内をカラーでしかも奥行き深くまで撮像する内視鏡の分野では光量が少ないことが致命的となる。このため、開口部以外を遮光してしまう従来の単眼立体内視鏡は実用的な技術になりにくかった。
本発明の主な目的は、被写体の表面凹凸に関する3次元情報を取得できる実用的な立体画像撮影装置および内視鏡を提供することにある。
本発明の立体画像撮影装置は、偏光面の角度が異なる2種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、前記2種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像する撮像部と、画像処理部とを備え、前記撮像部は、前記偏光照明光源によって照明された前記被写体からの戻り光を結像するレンズと、前記レンズによって結像された像から光電変換によって画素信号を生成する撮像素子と、前記撮像素子から離間して配置され、前前記被写体からの戻り光を透過する入射光透過部であって、透明領域と少なくとも1つの偏光フィルタ領域とを有する入射光透過部とを有し、前記2種類以上の直線偏光の各々によって前記被写体が照射されているときに前記撮像素子が生成した前記画素信号に基づいて、前記画像処理部は、前記透明領域と前記少なくとも1つの偏光フィルタ領域の各々を透過した光によって形成される複数視点画像を生成する。
ある実施形態において、前記偏光照明部は、偏光面の角度が異なる3種類以上の直線偏光を、順次、被写体に照射し、前記撮像部は、前記3種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像し、前記入射光透過部は、各々の偏光透過軸の方向が0°より大きく90°よりも小さな角度αを形成するように配置された複数の偏光フィルタ領域を有している。
ある実施形態において、前記偏光照明部は、非偏光の光を、偏光面変換素子を透過させることによって偏光面が3種類以上に順次変化する直線偏光を照射する。
ある実施形態において、前記入射光透過部における前記複数の偏光フィルタ領域は、前記レンズの光軸に対して左右に配置された左側フィルタ領域および右側フィルタ領域を含む。
ある実施形態において、前記画像処理部は、偏光面の角度が異なる3種類以上の直線偏光が被写体を照射しているときに得られる前記画素信号に基づいて、前記入射光透過部の前記左側フィルタ領域を透過した光によって形成される左側画像と、前記入射光透過部の前記右側フィルタ領域を透過した光によって形成される右側画像とを形成する。
ある実施形態において、偏光面の角度が基準方向に対してθ1°である第1の直線偏光を前記偏光照明部が前記被写体に照射しているときに前記撮像素子が生成した画素信号をIθ1、偏光面の角度が前記基準方向に対してθ2°である第2の直線偏光を前記偏光照明部が前記被写体に照射しているときに前記撮像素子が生成した画素信号をIθ2、偏光面の角度が前記基準方向に対してθ3°である第3の直線偏光を前記偏光照明部が前記被写体に照射しているときに前記撮像素子が生成した画素信号をIθ3とするとき、前記画像処理部は、画素信号Iθ1、Iθ2、Iθ3を用いる演算を行うことにより、前記複数視点画像の各々を生成する。
ある実施形態において、前記入射光透過部における前記透明領域と前記偏光フィルタ領域は、それぞれ、前記レンズの光軸に対して左右に配置されている。
ある実施形態において、前記撮像部は、前記撮像素子として、モノクロ撮像素子またはカラー撮像素子を有している。
本発明の内視鏡は、偏光面の角度が異なる2種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、前記2種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像する撮像部とを備え、前記撮像部は、前記偏光照明部によって照明された前記被写体からの戻り光を結像するレンズと、前記レンズによって結像された像から光電変換によって画素信号を生成する撮像素子と、前記撮像素子から離間して配置され、前前記被写体からの戻り光を透過する入射光透過部であって、透明領域と少なくとも1つの偏光フィルタ領域とを有する入射光透過部とを有する。
本発明の立体画像撮影装置によれば、偏光面を回転して撮影された複数画像からの演算処理により、複数視点画像を得ることができる。このため、遮光部は不要となり光量を無駄にすることが無い。本発明の好ましい実施形態によれば、画像間の演算だけで感度は低いが視差のある画像と、視差はないが感度上問題のないカラー画像がタイミングのずれ無しに得られることになる。
本発明の実施形態1に関する立体画像撮影装置の構成を示す図 偏光面制御素子の動作を示す図 (a)は、入射光透過部の構造を示す平面図、(b)は、その断面図 (a)および(b)は、撮像素子における光感知セル配置例を示す図 偏光面角度の定義図 (a)および(b)は、滑らかな平坦な表面にほぼ垂直に入射した偏光の反射の様子を示す図 フレネル理論による入射角と反射率の関係を示す図 入射光透過部から偏光フィルタが取り除かれた仮想的状態を示す図 偏光フィルタが無い状態における入射光透過部の各領域を透過する光を示す図 (a)は、透過軸の角度差についてα=45°の関係が成り立つ2つの偏光フィルタが実装された入射光透過部を示す平面図、(b)は、偏光照明の偏光面の角度ΨIを示す図 入射光透過部の各領域を透過する光を示す図 画像処理プロセッサの処理の流れを示すフローチャート 表示部に表示された画像LL,RR,CCと観察メガネの動作を示す図 (a)および(b)は、本発明の実施形態2に関する立体視と通常視の期間を示す図 (a)は、本発明の実施形態2における入射光透過部の構成を示す平面図、(b)は、偏光照明の偏光面の角度ΨIを示す図 (a)は、従来の技術に関する立体内視鏡の構成図、(b)は、その一部を示す断面図
(実施形態1)
図1は、本発明の実施形態1における立体画像撮影装置の全体構成を模式的に示す図である。本立体画像撮影装置は、内視鏡101と制御装置102とを備える。内視鏡101は、撮像素子110を有する先端部113、ライトガイド105および映像信号線111を有する挿入部103を備えている。現実の挿入部103は、図面に示されているよりも左右に長く、フレキシブルに曲がり得る構造を有し得る。ライトガイド105は曲がった状態でも光を伝達することができる。
制御装置102には、光源104、画像処理プロセッサ108、および同期装置112が含まれる。制御装置102から出力される画像信号は、表示画像処理部121を経由して立体表示部122に出力される。立体表示部122に出力された画像は、観察メガネ123を利用して医師などが観察する。
光源104から発した白色非偏光の光は、ライトガイド105を経由して先端部113の偏光面制御素子106に導かれる。
図2は、偏光面制御素子106の構成を示す。
偏光面制御素子106は、液晶を用いた偏光面を回転させることが可能なデバイスである。その構成例は、特許文献2、3ならびに非特許文献1等に既に開示されている。偏光面制御素子106は、たとえば強誘電性液晶と、偏光フィルム、1/4波長板などを組み合わせた電圧印加型液晶デバイスで構成され得る。偏光面制御素子106は、光源104で発生し、ライトガイド105を通過した非偏光の光を、任意の偏光角度に偏光面を有する直線偏光へと変換する。図1には、被写体に照射される光の偏光方向115と、被写体からの戻り光の偏光方向116とが模式的に示される。後述するように、被写体での反射に際して偏光方向が保持されるため、偏光方向115、116は一致する。
同期装置112は、偏光面制御素子106に偏光面回転の指示を送って照明の偏光面を回転させる。この偏光照明は、照明レンズ107を通って被写体に照射される。同期装置112は同時に撮像素子110に撮影開始信号を送って映像を取得し、以上の処理を複数回実施する。
本実施形態の撮像系は、偏光面が0°状態203で第1の画像を撮像し、偏光面が45°状態204で第2の画像を撮像し、偏光面が90°状態205で第3の画像を撮像するように動作する。偏光面の角度は任意に設定でき、この3種類に限るものではない。撮像素子が高感度である場合、照明の照度が高い場合には露光時間が短縮できるので、回転角をより細かく設定できる。
偏光面の回転に要する時間は、上記文献によれば、動作速度は20(ms)程度の遅いものから40〜100(μsec)程度の高速型まで存在する。高速型の液晶を用いてかつこの時間での撮像が可能な程度まで撮像素子の感度を上げれば、3方向の偏光回転を実施して撮影しても、動画映像の撮影に十分な性能を持たせることが可能である。また画像処理は最低3フレーム単位の画像撮像について実施されるが、処理をパイプライン処理にすることで実際かかる処理時間を1フレーム時間内に収めることが可能である。
被写体からの戻り光は、撮影レンズ109を透過した後、撮像素子110から離れて配置された入射光透過部120を通過して撮像素子110上に結像する。入射光透過部120の構成および機能については、後述する。撮像素子110は、モノクロ撮像素子、あるいはカラーモザイクを有する単板カラー撮像素子であってよい。撮像映像の信号は、映像信号線111を経由して画像処理プロセッサ108に到達する。
画像プロセッサ108は、撮像された複数の画像から、画像処理により、画像CCと左視点画像LLと右視点画像RRとを生成する。これらの画像は、表示画像処理部121によって処理されて、立体画像表示部122に表示される。立体画像表示部122に表示された画像は、観察メガネ123などを用いて立体画像として観察される。この立体画像表示部122には、左右の複数視点画像を表示する既存の立体表示ディスプレイを使うことができる。
図3は入射光透過部120を示す図である。図3(a)は、撮像素子110の側から入射光透過部120を見たときの入射光透過部120の平面図である。図3(b)は、入射光透過部120の断面を示す図である。図3(a)に示されるように、入射透過部120は、光学的に透明な透明領域Cと、偏光フィルタが付加された左右の偏光フィルタ領域LおよびRとから構成されている。撮像素子110から見て左側のフィルタ領域Lに付加された偏光フィルタの透過軸と、右側のフィルタ領域Rに付加された偏光フィルタの透過軸との間には、一定の角度差αが(0°<α<90°)与えられている。
図1に示す例において、入射光透過部120は、撮影レンズ109と撮像素子110との間に配置されているが、入射光透過部120の位置は、この例に限定されない。入射光透過部120は、被写体と撮影レンズ109との間に配置されてもよい。また、入射光透過部120は、撮影レンズ120と一体化されていてもよい。
入射光透過部120は、撮像素子110から離れている。撮像素子110から入射光透過部120までの距離は、撮影レンズ109から入射光透過部120までの距離の方よりも長い。
入射光透過部120の典型例は、例えばガラス板などから形成された透明基板と、この透明基板の所定領域に張り付けられた一対の偏光フィルタとを備えている。この場合、透明基板のうち、偏光フィルタが張り付けられていない領域が、透明領域Cとして機能する。入射光透過部120の他の例は、一対の偏光フィルタと、偏光フィルタを保持する部材とから構成され得る。この場合、透明領域Cは、空気から構成されていてもよい。
本発明では、被写体を偏光照明で照らすため、被写体からの戻り光も偏光している。戻り光の一部は、入射光透過部120の透明領域Cを透過し、残りの一部は偏光フィルタ領域Lまたは偏光フィルタ領域Rを透過する。
図4(a)および(b)は、それぞれ、撮像素子110の撮像面の構成例を示す図である。図4(a)に示すように撮像面には、複数の光感知セル(フォトダイオード)が行および列状(X−Y方向)に規則的に配列されている。カラー撮像の場合には、図4(b)に示すようにRGB3種の波長の光を透過するカラーモザイクフィルタが設置される。個々の光感知セルは、光電変換により、入射した光の量に応じて電気信号を生成する。この部分は一般的な単板カラー撮像素子を用いることができる。このように撮像素子110としては、従来のカラー輝度画像用のものを利用できる。本実施形態では、照明光を直線偏光として、その偏光面を回転させながら撮像することによって被写体の表面情報を取得することが可能になる。
図5は、偏光照明における偏光面の角度ΨIの定義を示す図である。撮像側から被写体に向かって仮想的な焦点面であるX−Y座標系を設定している。偏光面の角度ΨIは、X軸の方向を0°として図5に示すように定義するものとする。角度ΨIが反射において保存される場合には、反射光の偏光面の角度と入射光の偏光面の角度は同一となる。偏光面の角度ΨIを増加または減少させていくと、180°の周期で同一の偏光状態が繰り返される。すなわち、偏光面の角度ΨIを変数とする関数は、180°の周期を有する周期関数である。なお、本明細書において、偏光照明における偏光面の角度ΨIを、「入射偏光面角度」と称する場合がある。
図1から明らかなように、照明レンズ107の光軸と撮影レンズ109の光軸は略等しい。これは内視鏡での観察時に被写体上になるべく影を発生させないためである。
なお、内視鏡の通常の使い方では、非偏光を被写体に照射したい場合が多い。本発明では、例えば上記第1の画像から第3の画像までの別々の偏光画像を加算することによって非偏光の平均輝度画像を生成することができる。本発明者らの実験によると、偏光面の角度ΨIが等間隔の複数の偏光を被写体に照射したときの戻り光の画像を加算すると、偏光の効果が打ち消されるため、結果的に非偏光照明を用いたのと同様の効果が得られることが判明している。
次に偏光照明の偏光面を回転した時の入射光透過部120の偏光フィルタ領域および透明領域を透過した光の輝度について説明する。
図6は、入射角がゼロに近い偏光Lが、滑らかな平坦な表面に入射したときの戻り光Vをカメラで観測する様子を示している。図6(a)、(b)では、入射する偏光の偏光面が90°異なっているが、戻り光の直線偏光状態はほぼ入射光の状態と同一となる。これは以下の理由による。
図7は、フレネル理論による鏡面反射率の入射角依存性を示すグラフで横軸が入射角、縦軸がフレネル反射率を示す。屈折率はn=1.8を想定した。
垂直入射とみなせる0°〜15°付近の入射角度は、範囲701に相当する。グラフから読み取れるように、この範囲701では、P波もS波も反射率がほぼ同一である。したがって、偏光がほぼ垂直に表面に入射した場合には、表面に対するP波とS波という偏光の区別が無くなって同じ挙動で反射する。なお、この事実は、屈折率n=1.4〜2.0の自然物体において、広く成立する。
以上のように滑らかな表面に対して偏光が、ほぼゼロ度の入射角度で入射し、それが1回反射して観測される場合、偏光照明の偏光面の角度ΨIはそのまま観測される戻り光の偏光の角度になる。したがって、観測される側では入射してくる偏光のΨIの値を既知とすることができる。
図8は、図3の入射光透過部120から偏光フィルタを取り除いた状態を模式的に示す図である。被写体のある点からの戻り光を構成する光線のうち、領域L、領域R、および領域Cを透過した光線は、撮影レンズの働きにより、結像面上の一点に集まる。言い換えると、撮像面上の特定画素で観測される輝度Iは、領域L、領域R、および領域Cの各々を通過して撮像面上に生じた像の特定画素における輝度である。領域L、領域R、および領域Cの各々を通過した光線による輝度を、それぞれ、IL、IR、ICのとすると、撮像面上の特定画素で観測される輝度Iは、輝度IL、IR、ICの和になる。
Figure 0004971532
図9は、ある画素について、被写体からの戻り光が、偏光フィルタの無い状態における入射光透過部120の領域L、領域C、および領域Rを透過する様子を模式的に示す図である。偏光フィルタが無い場合、領域L、領域C、および領域Rを透過した光の輝度は、式1で示されるように3つの領域を透過してきた光の輝度の単純な合計値になる。実際の入射光透過部120の領域Lおよび領域Rには、それぞれ、透過軸の方向が異なる偏光フィルタが付加されている。このため、偏光フィルタを透過する光の量は、入射光(被写体からの戻り光)の偏光方向と偏光フィルタの透過軸との角度に依存して変化することになる。なお、図6および図7を参照して説明したように、被写体の平坦面で反射した光の偏光方向は、被写体を照明する光の偏光方向に一致している。このため、偏光照明の偏光面の角度を制御すれば、入射光透過部120に入射する光(被写体からの戻り光)の偏光面を調整することができる。
図10(a)は、フィルタ領域Lにおける偏光フィルタの透過軸の角度を0°、フィルタ領域Rにおける偏光フィルタの透過軸の角度を45°に設定した入射光透過部を示している。透過軸の角度についても、図5に示す角度ΨIと同様に定義する。この例では、左右の偏光フィルタの透過軸の角度差αは45°である。図10(b)は、被写体を照射する照明光の偏光面の角度を示しており、これは、被写体からの戻り光の偏光面の角度に相当している。図10(a)に示される偏光フィルタの配置は、一例に過ぎない。フィルタ領域Lにおける偏光フィルタの透過軸の角度は、0°以外の角度に設定しても、以下に説明することが成立する。
ここで、偏光フィルタの透過軸と、その偏光フィルタに入射する直線偏光の軸とが一致した場合の透過率をTpとする。Tpは、0<Tp<1を満足する。また、透明領域Cの透過率を理想的に1とする。角度ΨIを有する直線偏光で被写体を照明しているときに、入射光透過部120の領域L、R、Cを透過して観測される光の仮想的な輝度を、それぞれ、IFLΨI、IFRΨI、ICΨIとする。IFLΨI、IFRΨI、ICΨIは、それぞれ、以下の式2で表される。
Figure 0004971532
実際に観測される輝度IΨIは、入射光透過部120の領域L、R、Cの各々を透過してきた光が合成されたものの輝度であるため、以下の式3で表される。
Figure 0004971532
図11は、ある画素について、被写体からの戻り光が入射光透過部120の領域L、領域C、および領域Rを透過する様子を模式的に示す図である。レンズの働きにより、被写体からの戻り光は、領域L、R、Cの各々を透過した後、撮像面上に収束し、合成される。
たとえば0、45、90度の異なる3つの偏光角ΨIの直線偏光で、順次、被写体を照明しながら、3つの画像を撮像すると、各画素の輝度について、次の連立方程式を得る。
Figure 0004971532
ここで、I0はΨI=0°のときに観測される輝度、I45はΨI=45°のときに観測される輝度、I90はΨI=90°のときに観測される輝度である。これらの輝度は、撮像素子110の各画素から得られる画素信号に相当している。
式4を行列で表現すると、以下の式5が得られる。
Figure 0004971532
ここで行列Mの行列式は、以下の式6で表される。
Figure 0004971532
したがって、αが以下の式7で表される範囲にあれば、|M|が非0になるので、逆行列M-1が存在することになる。
Figure 0004971532
逆行列M-1が存在すれば、以下の式8により、I0、I45、I90から輝度IL、IR、ICが算出される。
Figure 0004971532
なお、α=90°では、行列Mの行列式=0となって解が得られない。たとえば、0、Ψ1、Ψ2という任意の偏光照射角の組み合わせの場合、式(6)は以下のようになるからである。
Figure 0004971532
このことからαが90°以外の角であることは本発明の必要条件である。この点、一対の偏光フィルタが有する偏光透過軸を直交させる多くの偏光利用のシステムとは構成上大きく異なる。
なお、今回は未知数の数と同じ数の偏光照明角を用いたが、より多くの偏光照明角にて観測し、逆行列を用いずに最小2乗法的に連立方程式を解いてもかまわない。たとえば偏光回転角を0°,45°、90°、135°の4種類を用いてもかまわない。
Figure 0004971532
以前の(式6)では、行列Mの行列式が非ゼロであることからMの階数=3である。そこで、Mに1行を付け加えて新たに作られた4×3行列Hの階数も3であることが結論でき、HとHの転置行列を乗算するとその結果の3×3行列の階数=3であり、逆行列が存在する。そこで、以下の式のように最小2乗解を求めることができる。
Figure 0004971532
次に、図12を参照して、画像処理プロセッサ108における画像処理の例を説明する。図12は、画像処理プロセッサ108における画像処理の流れを示すフローチャートである。
前述したように、ステップS1001において、照明光の偏光面を変えながら撮影する。次に、ステップS1002において、逆行列を算出する。ステップS1003において、複数画像から左右の複数視点画像LL、RR、および通常画像CCを生成する。このように、本発明では、簡単な画素値演算で複数視点画像LLとRRを作成することができる。言い換えると、画像処理により、偏光フィルタ領域を透過した光と透明領域を透過した光とを分離できる。
表示画像処理部121では、画像LLと画像RRを立体視用の表示画像に変換する。たとえば、高速でLL画像とRR画像とを切り替えて表示させる。この際、通常画像CCは表示をオン・オフのいずれでもかまわない。
図13は、複数視点画像LL、RRと通常画像CCとを、表示部に交互に表示することにより立体視と通常視とを適宜切り替えて観察している様子を示す。立体表示部122には、期間T1の間にはLL画像のみが提示され(状態1101)、次の期間T2の間にはRR画像のみが提示され(状態1102)、次の期間T3の間にはCC画像のみが提示される(状態1103)。この映像は偏光フィルタ板などを透過させることによって直線または円偏光の光1107として発光する。観察者は液晶シャッタなどから構成される観察メガネ123をかけてこれを観察する。観察メガネの液晶シャッタは、立体表示部122に同期して偏光1107に対してオープン(透過)とクローズ(遮断)を繰り返す。すなわち、期間T1の間はL液晶シャッタがオープンでR液晶シャッタがクローズ(状態1104)となる。期間T2の間はL液晶シャッタがクローズでR液晶シャッタがオープン(状態1105)となる。期間T3の間はL液晶シャッタ、R液晶シャッタともにオープン(状態1106)となる。短時間に期間T1と期間T2を繰り返すことによって人間の視覚系では立体視が成立する。
図14は、時間軸上で期間T1,T2,T3の組み合わせを示す図である。図14(a)は、立体視期間と通常視期間が切り替えられる場合を示している。内視鏡への適用では、通常視期間を利用して従来のカラー画像の観察を実施し、たとえば胃内部の全体的なスクリーニング観察を行う。この場合はカメラと照明が胃壁から遠距離(約50mm以上)に位置するため、照明光を有効に使う必要があり、明るい感度のよいCC画像を用いて観察する。そして一旦病変部を発見した場合には、患部に接近(たとえば5mm以下)するため、照明光が十分明るくなりその結果、左右の小面積の偏光フィルタ領域LおよびRを透過した光による感度が低下した画像でも、十分観察が容易になる。そのため、立体視に切り替えて病変部の凹凸を詳細に観察するという両方の特性を生かした使い方ができる。動作としては立体視期間には、期間T1と期間T2が繰り返され、通常視は期間T3だけが継続するようにする。
図14(b)は、立体視と通常視が混合している場合を示している。この例では、期間T1,T2,T3が交互に繰り返される。この場合は、立体視の期間には光量が低下し感度低下が発生していることから、期間T1と期間T2を期間T3に比べて若干長めにしてもよい。
表示画像処理部121はさらに追加の処理を行ってもよい。たとえば画像CCは視差を示す画像ではないが、複数視点画像と類似している箇所も有り得る。このため、類似している場所は複数視点画像に画像CCを加えることにより、感度の高い複数視点画像LL及びRRを生成することもできる。
以上の処理によって内視鏡で臓器の壁の表面の凹凸を立体視できる。このため、本実施形態によれば、内視鏡の欠点の1つである表面凹凸の観察が困難である、という課題を解決することができる。
上記の実施形態では、偏光フィルタ領域の個数は2であるが、本発明における偏光フィルタ領域の個数は3個以上であってもよい。また、各偏光フィルタの位置は、水平方向にシフトしている必要はなく、垂直方向および/または斜め方向にシフトしていても、複数視点画像は得られる。そのような複数視点画像が得られれば、被写体表面の凹凸に関する3次元情報または視差画像を求めることが可能である。
(第2の実施形態)
次に、図15を参照して本発明の第2の実施形態を説明する。図15(a)は、本発明の第2の実施形態における入射光透過部120を示す平面図である。本実施形態の立体画像撮影装置が図1で示す基本構成から異なる部分は、入射光透過部120の部分のみである。本実施形態の入射光透過部120では、透明領域CLが左側に設定され、1つの偏光フィルタ領域Rが右側に設置されることで複数視点画像の取得には、より簡単な構成を有している。入射する偏光照明は、図15(b)に示すように、偏光面の角度を0°と45°の2種として2枚の画像を撮像すればよい。透明領域を透過した光の輝度をICL、偏光フィルタ領域を透過した光の輝度をIRとして、照明偏光角度が0°と45°における観測輝度をそれぞれI0、I45とすると、実施形態の1と同様に、以下の式が成立する。
Figure 0004971532
これを解くと、以下の式が得られる。
Figure 0004971532
なお、この実施形態では、照明の偏光回転角を他の角度に設定してもよい。行列Aの行列式は、以下の式14で表される。
Figure 0004971532
したがって、Ψは、たとえば0°と90°でもよい。
この第2の実施形態では、レンズを通る光を、入射光透過部を用いて2分割するだけなので構成が簡素になる利点がある。左右の画像の光量が異なり、そのままでは立体視が困難な場合も考えられるが、図14を参照しながら説明したように、人間への提示期間の長さを変えて略等しい輝度にて観察することも可能であるし、画像処理によって輝度補正をかけることも可能である。
以上述べたように本発明の好ましい実施形態では、入射光透過部120に遮光部が無いので、単眼で立体視が可能な明るい複数視点画像を得ることができる。また、偏光面が回転する偏光照明と少なくとも1つの偏光フィルタを使うことにより、従来技術で利用されていたような偏光撮像素子が不要となり、通常のカラー輝度撮像素子を使うことができる。このため、従来の技術のような解像度低下が発生しない利点がある。
演算により、偏光フィルタ領域を透過した光から透明領域を透過した光を分離できるため、従来の通常レンズを用いた撮像系と同様の通常のカラー観察も同時に可能となる。このため、従来の技術のように撮像光学系が2重に必要になることもない。すなわち本実施形態の内視鏡は、立体視のための視差画像の取得と従来の輝度画像撮像の両方を1つの動作モードにて同時に取得することができるという大きな利点がある。
本発明は、医療用内視鏡、皮膚科、歯科、内科、外科などのメディカル用途のカメラ、工業用内視鏡、指紋撮像装置、表面検査装置など被写体の表面凹凸の観察、検査、認識を必要とする画像処理分野に広く適用可能である。
101 内視鏡
102 制御装置
103 挿入部
104 光源
105 ライトガイド
106 偏光面制御素子
107 照明レンズ
108 画像処理プロセッサ
109 撮影レンズ
110 撮像素子
111 映像信号線
112 同期装置
113 先端部
115 照射される偏光
116 戻り光の偏光
120 入射光透過部
121 表示画像処理部
122 立体表示部
123 観察メガネ
124 被写体表面
CC 通常画像
LL 左視差画像
RR 右視差画像

Claims (9)

  1. 偏光面の角度が異なる2種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、
    前記2種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像する撮像部と、
    画像処理部と、
    を備え、
    前記撮像部は、
    前記偏光照明光源によって照明された前記被写体からの戻り光を結像するレンズと、
    前記レンズによって結像された像から光電変換によって画素信号を生成する撮像素子と、
    前記撮像素子から離間して配置され、前記被写体からの戻り光を透過する入射光透過部であって、透明領域と少なくとも1つの偏光フィルタ領域とを有する入射光透過部と、
    を有し、
    前記2種類以上の直線偏光の各々によって前記被写体が照射されているときに前記撮像素子が生成した前記画素信号に基づいて、前記画像処理部は、前記透明領域と前記少なくとも1つの偏光フィルタ領域の各々を透過した光によって形成される複数視点画像を生成する、立体画像撮影装置。
  2. 前記偏光照明部は、偏光面の角度が異なる3種類以上の直線偏光を、順次、被写体に照射し、
    前記撮像部は、前記3種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像し、
    前記入射光透過部は、各々の偏光透過軸の方向が0°より大きく90°よりも小さな角度αを形成するように配置された複数の偏光フィルタ領域を有している、請求項1に記載の立体画像撮影装置。
  3. 前記偏光照明部は、非偏光の光を、偏光面変換素子を透過させることによって偏光面が3種類以上に順次変化する直線偏光を照射する請求項2に記載の立体画像撮影装置。
  4. 前記入射光透過部における前記複数の偏光フィルタ領域は、前記レンズの光軸に対して左右に配置された左側フィルタ領域および右側フィルタ領域を含む請求項2または3に記載の立体画像撮影装置。
  5. 前記画像処理部は、偏光面の角度が異なる3種類以上の直線偏光が被写体を照射しているときに得られる前記画素信号に基づいて、前記入射光透過部の前記左側フィルタ領域を透過した光によって形成される左側画像と、前記入射光透過部の前記右側フィルタ領域を透過した光によって形成される右側画像とを形成する、請求項4に記載の立体画像撮影装置。
  6. 偏光面の角度が基準方向に対してθ1°である第1の直線偏光を前記偏光照明部が前記被写体に照射しているときに前記撮像素子が生成した画素信号をIθ1、偏光面の角度が前記基準方向に対してθ2°である第2の直線偏光を前記偏光照明部が前記被写体に照射しているときに前記撮像素子が生成した画素信号をIθ2、偏光面の角度が前記基準方向に対してθ3°である第3の直線偏光を前記偏光照明部が前記被写体に照射しているときに前記撮像素子が生成した画素信号をIθ3とするとき、
    前記画像処理部は、画素信号Iθ1、Iθ2、Iθ3を用いる演算を行うことにより、前記複数視点画像の各々を生成する、請求項1から5のいずれかに記載の立体画像撮影装置。
  7. 前記入射光透過部における前記透明領域と前記偏光フィルタ領域は、それぞれ、前記レンズの光軸に対して左右に配置されている請求項1に記載の立体画像撮影装置。
  8. 前記撮像部は、前記撮像素子として、モノクロ撮像素子またはカラー撮像素子を有している請求項1に記載の立体画像撮影装置。
  9. 前記偏光照明部および前記撮像部は内視鏡を構成し、前記内視鏡は前記画像処理部に接続されている、請求項1から8のいずれかに記載された立体画像撮影装置。
JP2012504217A 2010-12-01 2011-09-20 立体画像撮影装置および内視鏡 Active JP4971532B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012504217A JP4971532B1 (ja) 2010-12-01 2011-09-20 立体画像撮影装置および内視鏡

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010268281 2010-12-01
JP2010268281 2010-12-01
JP2012504217A JP4971532B1 (ja) 2010-12-01 2011-09-20 立体画像撮影装置および内視鏡
PCT/JP2011/005292 WO2012073413A1 (ja) 2010-12-01 2011-09-20 立体画像撮影装置および内視鏡

Publications (2)

Publication Number Publication Date
JP4971532B1 true JP4971532B1 (ja) 2012-07-11
JPWO2012073413A1 JPWO2012073413A1 (ja) 2014-05-19

Family

ID=46171391

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012504217A Active JP4971532B1 (ja) 2010-12-01 2011-09-20 立体画像撮影装置および内視鏡

Country Status (4)

Country Link
US (1) US9215966B2 (ja)
JP (1) JP4971532B1 (ja)
CN (1) CN102742259B (ja)
WO (1) WO2012073413A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5974658B2 (ja) 2012-06-19 2016-08-23 ソニー株式会社 撮像装置
JP5740559B2 (ja) * 2012-11-30 2015-06-24 パナソニックIpマネジメント株式会社 画像処理装置および内視鏡
JP6265988B2 (ja) * 2013-07-04 2018-01-24 オリンパス株式会社 内視鏡装置
DE102013109005A1 (de) * 2013-08-20 2015-02-26 Khs Gmbh Vorrichtung und Verfahren zur Identifikation von Codierungen unter Folie
JP6454489B2 (ja) * 2014-07-10 2019-01-16 オリンパス株式会社 観察システム
JP6807546B2 (ja) * 2016-11-15 2021-01-06 パナソニックIpマネジメント株式会社 画像形成装置
CN106725250A (zh) * 2017-01-09 2017-05-31 清华大学深圳研究生院 一种头端调制的内窥偏振成像系统及测量方法
JP2019015706A (ja) * 2017-07-11 2019-01-31 ソニーセミコンダクタソリューションズ株式会社 撮像装置及びモニタリング装置
US10365554B1 (en) 2018-04-04 2019-07-30 Intuitive Surgical Operations, Inc. Dynamic aperture positioning for stereo endoscopic cameras
CN110929691B (zh) * 2019-12-11 2022-12-06 中国科学院长春光学精密机械与物理研究所 一种冰层检测方法、装置、设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0990241A (ja) * 1995-09-20 1997-04-04 Terumo Corp 内視鏡
JP2001016611A (ja) * 1999-06-29 2001-01-19 Fuji Photo Film Co Ltd 視差画像撮像装置及びカメラ
JP2009246840A (ja) * 2008-03-31 2009-10-22 Fujifilm Corp 撮像装置
JP2010104424A (ja) * 2008-10-28 2010-05-13 Fujifilm Corp 撮像システムおよび撮像方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5424535A (en) * 1993-04-29 1995-06-13 The Boeing Company Optical angle sensor using polarization techniques
JP3278521B2 (ja) * 1994-01-28 2002-04-30 松下電器産業株式会社 背面投写型画像表示装置
US5649897A (en) * 1994-11-02 1997-07-22 Terumo Kabushiki Kaisha Endoscope apparatus for compensating for change in polarization state during image transmission
JPH11313242A (ja) 1998-04-28 1999-11-09 Nippon Hoso Kyokai <Nhk> 撮像用光学機器および撮像装置
US6807295B1 (en) * 1999-06-29 2004-10-19 Fuji Photo Film Co., Ltd. Stereoscopic imaging apparatus and method
JP3955616B2 (ja) * 2005-09-01 2007-08-08 松下電器産業株式会社 画像処理方法、画像処理装置及び画像処理プログラム
JP2009544228A (ja) * 2006-07-18 2009-12-10 ザ・トラスティーズ・オブ・ザ・ユニバーシティ・オブ・ペンシルバニア 偏光を使用した、重複キャストシャドウ成分の分離およびコントラスト強調、ならびに陰影内の標的検出
US8004675B2 (en) * 2007-09-20 2011-08-23 Boss Nova Technologies, LLC Method and system for stokes polarization imaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0990241A (ja) * 1995-09-20 1997-04-04 Terumo Corp 内視鏡
JP2001016611A (ja) * 1999-06-29 2001-01-19 Fuji Photo Film Co Ltd 視差画像撮像装置及びカメラ
JP2009246840A (ja) * 2008-03-31 2009-10-22 Fujifilm Corp 撮像装置
JP2010104424A (ja) * 2008-10-28 2010-05-13 Fujifilm Corp 撮像システムおよび撮像方法

Also Published As

Publication number Publication date
US20120206571A1 (en) 2012-08-16
JPWO2012073413A1 (ja) 2014-05-19
CN102742259A (zh) 2012-10-17
US9215966B2 (en) 2015-12-22
WO2012073413A1 (ja) 2012-06-07
CN102742259B (zh) 2016-07-06

Similar Documents

Publication Publication Date Title
JP4971532B1 (ja) 立体画像撮影装置および内視鏡
JP5053468B2 (ja) 立体画像撮影装置および内視鏡
US10247866B2 (en) Imaging device
JP6260006B2 (ja) 撮像装置、並びにそれを用いた撮像システム、電子ミラーシステムおよび測距装置
CN103513440B (zh) 成像设备
JP6156787B2 (ja) 撮影観察装置
JP5450826B2 (ja) 画像処理装置
JP6010895B2 (ja) 撮像装置
JP2012143363A (ja) 画像処理装置
JP5740559B2 (ja) 画像処理装置および内視鏡
WO2013161485A1 (ja) 電子内視鏡、画像処理装置、電子内視鏡システム及び立体視用画像生成方法
Kagawa et al. Deep-focus compound-eye camera with polarization filters for 3D endoscopes
JP2007108626A (ja) 立体映像生成システム
JP2003290131A (ja) 立体内視鏡
JP6160749B2 (ja) 内視鏡用アダプタ
KR20140005418A (ko) 내시경 및 내시경 시스템
JP2015058090A (ja) 内視鏡
WO2017064746A1 (ja) 撮像装置、内視鏡装置及び撮像方法
KR20090000476A (ko) 하나의 렌즈계를 구비하는 입체 현미경

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120313

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120405

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150413

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4971532

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150