JP7508208B2 - 撮像装置、撮像装置の制御方法、プログラム - Google Patents

撮像装置、撮像装置の制御方法、プログラム Download PDF

Info

Publication number
JP7508208B2
JP7508208B2 JP2019171573A JP2019171573A JP7508208B2 JP 7508208 B2 JP7508208 B2 JP 7508208B2 JP 2019171573 A JP2019171573 A JP 2019171573A JP 2019171573 A JP2019171573 A JP 2019171573A JP 7508208 B2 JP7508208 B2 JP 7508208B2
Authority
JP
Japan
Prior art keywords
imaging device
electromagnetic wave
subject
imaging
surface position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019171573A
Other languages
English (en)
Other versions
JP2021047377A (ja
Inventor
文昭 水谷
潤 伊庭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019171573A priority Critical patent/JP7508208B2/ja
Priority to PCT/JP2020/028539 priority patent/WO2021053969A1/ja
Publication of JP2021047377A publication Critical patent/JP2021047377A/ja
Priority to US17/675,822 priority patent/US20220171259A1/en
Application granted granted Critical
Publication of JP7508208B2 publication Critical patent/JP7508208B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00Prospecting or detecting by optical means
    • G01V8/005Prospecting or detecting by optical means operating with millimetre waves, e.g. measuring the black losey radiation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/02Details
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3581Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using far infrared light; using Terahertz radiation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00Prospecting or detecting by optical means
    • G01V8/10Detecting, e.g. by using light barriers
    • G01V8/12Detecting, e.g. by using light barriers using one transmitter and one receiver
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/34Systems for automatic generation of focusing signals using different areas in a pupil plane
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/03Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05Combinations of cameras with electronic flash apparatus; Electronic flash units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Toxicology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Focusing (AREA)
  • Stroboscope Apparatuses (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Description

本発明は、撮像装置、撮像装置の制御方法、プログラムに関する。
テラヘルツ波は、典型的には0.3THz以上30THz以下の範囲のうち、任意の周波数帯域の成分を有する電磁波である。ミリ波は、典型的には30GHz以上300GHz以下の範囲のうち、任意の周波数帯域の成分を有する電磁波である。これらの周波数帯には、生体分子や樹脂をはじめとする様々な物質の構造や状態に由来する特徴的な吸収が多く存在する。また、これらの電磁波は、可視光や赤外光と比較して波長が長いため、散乱の影響を受け難く、多くの物質に対し強い透過性を有している。また、このような特徴によって、X線に代替する安全な透過イメージング技術などへの応用が期待され、公共の場所でのボディチェックや監視カメラなどの秘匿物の検査技術への応用が検討されている。また、昨今、移動体にナイフなどの危険物が持ち込まれることが防犯上の大きな問題であり、人などの被写体における危険物である秘匿物を検出する技術が強く求められている。
テラヘルツ波を利用した検査技術としては、特許文献1には、壁などからテラヘルツ波を照射する方法が記載されている。また、特許文献2には、異なる波長の照明光を組み合わせて、検査領域の検出を有利に実行することができる処理システムの記載がある。
特開2006-234587号公報 特開2018-156586号公報
ここで、秘匿物を検出するための透過イメージングを行うカメラ装置の検出精度を上げるためには、カメラ装置から秘匿物までの距離情報に基づき合焦させるフォーカシングが必要である。しかし、被写体の衣服などに遮られた秘匿物に対する透過光であるテラヘルツ波やミリ波を用いてフォーカシングを行う場合には、検出される信号のコントラストや信号強度が低いため、合焦の高精度化が難しく、合焦させるまでに時間を要する。
そこで本発明は、透過イメージングにおいて、被写体の焦点位置調整を高速かつ高精度に実現する技術を提供することを目的とする。
本発明の第1の態様は、
撮像装置であって、
第1の電磁波よりも波長の短い第2の電磁波を受信することによって、被写体の表面位置を検出する検出手段と、
前記被写体に照射された前記第1の電磁波を集光する合焦手段と、
前記表面位置に基づいた位置に合焦するように前記合焦手段を制御する制御手段と、
前記合焦手段によって集光された前記第1の電磁波によって前記被写体の内部を撮像する撮像手段と、
を有し、
前記制御手段は、前記検出手段が検出した前記表面位置よりも前記撮像装置から所定の距離離れた前記被写体の内部に合焦するように前記合焦手段を制御し、
前記所定の距離は、0よりも大きな値であることを特徴とする撮像装置である。
本発明の第2の態様は、
被写体において反射した第1の電磁波を集光する合焦手段を有する撮像装置の制御方法であって、
前記第1の電磁波よりも波長の短い第2の電磁波を受信することによって、前記被写体の表面位置を検出する検出ステップと、
前記検出ステップで検出した前記表面位置よりも前記撮像装置から所定の距離離れた前記被写体の内部に合焦するように前記合焦手段を制御する制御ステップと、
前記合焦手段によって集光された前記第1の電磁波によって前記被写体の内部を撮像する撮像ステップと、
を有し、
前記所定の距離は、0よりも大きな値であることを特徴とする撮像装置の制御方法である。
本発明によれば、透過イメージングにおいて、被写体の焦点位置調整を高速かつ高精度に実現する技術を提供することができる。
実施形態1に係る撮像装置を示す図である。 実施形態1に係る撮像動作を示すフローチャートである。 実施形態2に係る撮像装置を説明する図である。 実施形態2および変形例1に係る撮像動作を示すフローチャートである。 実施形態3に係る撮像装置を説明する図である。 実施形態4に係る撮像装置を示す図である。 実施形態4に係る撮像動作を示すフローチャートである。
以下、添付の図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わされてもよい。さらに、添付の図面においては、同一の参照番号を付し、重複した説明は省略する。
なお、以下では、テラヘルツ波(0.3THz以上30THz以下の範囲の電磁波)またはミリ波(30GHz以上300GHz以下の範囲の電磁波)を用いた秘匿物の判定(検査)について説明する。ここで、テラヘルツ波とミリ波は、どちらも透過イメージング技術が検討されているが、テラヘルツ波はミリ波と比較して波長が短いため測定分解能が高い。したがって、ミリ波よりも詳細な透過画像が求められる場合には、テラヘルツ波の利用が有効である。また、電波法では、0.275GHz以下の周波数帯は、利用目的に応じて細かく割り当てが行われている。さらに、ミリ波帯は、天体観測にも使用される帯域であるため、出力できる電界強度に強い制限を設けられている。結果として、現在では、高出力のミリ波源を用いた装置は組み難い。一方、テラヘルツ波は、ミリ波よりも高い出力の光源を用いることができること、利用可能な周波数の選択性が高いこと、波長が短いため装置全体も小さくできることが期待できる。
テラヘルツ波源およびテラヘルツ波検出素子として、比較的扱いが容易であり、かつ小規模な半導体素子を用いるものがある。例えば、テラヘルツ波源には、量子カスケードレーザー(Quantum Cascade Laser:QCL)、共鳴トンネルダイオード(Resonant Tunnelin g Diode:RTD)などが用いられる。また、検出器には、MEMS(Micro Electro Mechanical
Systems)型の熱検出器(ボロメータ)、ショットキーバリアダイオード(Schottky Barrier Diode:SBD)などが用いられる。
<実施形態1>
以下では、実施形態1に係る撮像装置1001について図面を参照して説明する。本実施形態では、撮像装置1001は、被写体1002において反射した第2の光20(第2の電磁波)によって撮像における合焦の処理を行う。その後、撮像装置1001は、被写体1002に対して第1の光10(第1の電磁波)を照射することによって画像を取得して、被写体1002における秘匿物の有無を判定(検査)する。ここで、第1の光10は、テラヘルツ波またはミリ波である。また、秘匿物とは、検査の対象の物体(検査対象物)であり、例えば、人の目では被写体1002が有しているか否かを判定できない物体である。
[撮像装置の概略]
図1は、本実施形態の撮像装置1001の概略図である。撮像装置1001は、検出部101、照射部102、フォーカスレンズ103、制御部104、撮像部105を有する。なお、図1の例では、被写体1002は、衣服202の内部に秘匿物200を有している。また、被写体1002の表面の位置を、表面位置201とする。本実施形態では、表面位置201は、衣服202の表面の位置である。
検出部101は、被写体1002において反射した第2の光20を受信し、被写体1002における表面位置201を検出する。ここで、第2の光20は、第1の光10よりも波長の短い(周波数の高い)電磁波であり、可視光または赤外光である。可視光とは、典型的には、波長が380nm~800nm程度の電磁波である。赤外光(赤外線)とは、典型的には、波長が800nm~1mm程度の電磁波である。なお、第2の光20は、自然界において日常に発生するものであるため、本実施形態では、撮像装置1001によって被写体1002に第2の光20を照射する処理は行わない。なお、撮像装置1001は、被写体1002に対して第2の光20を照射する機能部を有していてもよい。撮像装置1001は、1つの検出部101を有していてもよいし、2以上の検出部101を有していてもよい。
照射部102は、第1の光10を被写体1002に照射する。照射部102の光源には、各点光源として、共鳴トンネルダイオードのような半導体素子型発生素子や光スイッチングや差周波光を利用する光励起型発生素子が適用できる。大気とのインピーダンス整合やテラヘルツ波の発生効率改善のため、光源はそれぞれアンテナ構造を有していることが望ましい。アンテナの大きさは、照射する波長と同程度の大きさに設計されるとよい。
なお、撮像装置1001が、1つの照射部102を有する構成であってもよいし、2つ以上の照射部102を有する構成であってもよい。人体の皮膚構造は、数十μmから数百μmの凹凸を有している。これに対し、テラヘルツ波の波長は、数十μmから数百μmであり、皮膚構造と同じか、大きな値を示す。このため、被写体に人体が含まれる場合、テラヘルツ波を用いたイメージングは、可視光に代表される散乱光イメージングではなく、正反射光イメージングである。より詳細には、人体の皮膚構造はテラヘルツ波に対して滑らかな反射物であるとみなすことができるため、人体が有する曲面に対するテラヘルツ波の入射位置によって、テラヘルツ波の正反射光の方向が決定できる。そのため、照射部102による入射角度によっては、撮像部105まで十分な反射光が届かない場合があるので、秘匿物200の形状を推定する情報を増やすために照射部102を増やすことは有効である。
フォーカスレンズ103は、被写体1002において反射した第1の光10を集光する合焦部である。図1においてフォーカスレンズ103は、1つの光学素子しか記載していないが、複数の光学素子から構成されていてもよい。
制御部104は、検出部101が検出した被写体1002の表面位置201に第1の光10が合焦(フォーカス)するように、フォーカスレンズ103を位置制御する。
撮像部105は、フォーカスレンズ103が集光した第1の光10によって被写体1002を撮像する。また、撮像部105は、さらに、被写体1002において秘匿物200が存在するか否かの判定を実施する。なお、当該判定は、撮像部105とは異なる機能部である判定部(CPU)などが実行してもよい。
ここで、被写体1002において衣服202の内側に秘匿物200が存在する場合、第1の光10は、衣服202の繊維を透過し、例えば金属などの秘匿物200により反射される。また、秘匿物200が特定の物質(例えば、爆発物であるRDX(トリメチレントリ ニトロアミン))である場合は、特定の波長(例えば0.8THz付近のテラヘルツ波)を吸収するために反射波が変化する。これらの反射光は、フォーカスレンズ103によって集光されて、撮像部105が撮像して画像処理を行うことによって、秘匿物200が存在するか否かの判定ができる。また、画像処理が行われたテラヘルツ波像、もしくはミリ波像は、モニタ部などにおいて表示されてもよい。
図1では、制御部104、照射部102、検出部101はそれぞれ固定され一体化しているが、撮像装置1001は、これらの構成の相対位置や姿勢を検出するセンサを有していてもよい(不図示)。センサを有する場合には、被写体1002の動きにあわせて、照射部102、検出部101の位置や姿勢が変化すると、変化した後の位置や姿勢を考慮して、制御部104はフォーカスレンズ103の位置を制御してもよい。
[撮像装置の撮像動作]
本実施形態に係る撮像装置1001の撮像動作のフローチャートを図2に示す。なお、本フローチャートの処理の開始時点において、照射部102は、第1の光10を被写体1002に照射している。
S301において、検出部101は、被写体1002において反射した第2の光20を受信する。第2の光20は、第1の光10よりも波長の短い可視光や赤外光である。第2の光20は波長が短いため、第1の光10を用いる場合よりも、取得する画像の解像度や光軸方向の分解能を高くすることができる。このため、第1の光10を用いる場合よりも、第2の光20を用いる場合の方が、精度が高くかつ素早く合焦が可能である。例えば、可視光には、太陽光が利用できる。
S302において、検出部101は、受信した第2の光20を用いて、合焦動作をすることにより表面位置201を検出する。なお、合焦動作には、例えば、一般的なカメラのオートフォーカスシステムを採用することができる。なお、赤外センサによって表面位置201を検出してもよい。
S303において、制御部104は、第1の光10を用いる撮像において、表面位置201に合焦するようにフォーカスレンズ103の位置を制御する。
S304において、撮像部105は、第1の光10によって被写体1002を撮像する。なお、撮像部105は、撮像した画像を、不図示の記憶部に記憶する。撮像部105は、衣服202の内側に金属やセラミックなどの秘匿物200が存在すれば、第1の光10の反射波から、秘匿物200の画像を得ることができる。したがって、撮像部105は、第1の光10を撮像処理することにより、秘匿物200の形状を検出することができる。
S305において、撮像部105は、撮影した画像に基づき、秘匿物200が存在する
か否かを判定する。秘匿物200の有無に関して、信号強度や事前に取得したデータを基準に判定されるだけでなく、機械学習モデルにより輪郭から危険物として推定できる形状を基準に判定がされてもよい。秘匿物200の有無の判定には、AI(人工知能)が利用されえる。より具体的には、AI(人工知能)技術の一例であるディープラーニングが行われた識別器が撮像部105に組み込まれ、識別器によって特徴情報が抽出され、秘匿物200の有無の判定が行われる。なお、S305における判定は、撮像部105が実施する必要はなく、例えば、S304において撮像(取得)された画像をユーザが見て、秘匿物200の有無の判定を行ってもよい。
なお、第1の光10は、テラヘルツ波、もしくはミリ波と呼ばれる30GHz以上30THz以下の周波数範囲のうち、任意の周波数帯域を有するか、或いは単一の周波数でありえる。被写体1002が人体を含む場合には、1THzまで高い周波数の電磁波が透過性を衣服202が有する。このため、秘匿物200の検査などに用いる場合には、日本における現在の電波法において割り当てのない0.275THz以上1THz以下の周波数範囲が第1の光10に好適である。
さらに、第2の光20が可視光である場合には、第1の光10によって撮像したテラヘルツ波やミリ波の透過画像と、可視光によって撮像した画像とをモニタ部(表示部)に重ねて表示(もしくは並べて表示)することもできる。この表示により、ユーザは、検査結果として透過画像と可視画像の両方を見て検査をすることもできる。第2の光20が赤外光の場合も、可視光の場合と同様に、2つの画像を表示することで精度の高い検査が可能である。なお、一定の透過性を有する赤外線によるサーモビュアーの画像と組み合わせて、秘匿物200の検査をしてもよい。
また、本実施形態において、第1の光10をテラヘルツ波またはミリ波とし、第2の光20を可視光または赤外光としたが、これには限らない。つまり、第2の光20の波長が第1の光10の波長よりも短ければ本実施形態は適用可能である。例えば、第1の光10が赤外光であり、第2の光が可視光であってもよい。
以上により、合焦精度の高い第2の光から検出した表面位置に基づいて、被写体に対して透過性を有する第1の光の合焦位置を決めることによって、精度の高い焦点位置合わせが高速で実現できる。このため、撮像した画像から秘匿物の形状を推定し易くなり、ボディチェックや監視カメラなどの秘匿物の検査の精度を高めることができる。
<実施形態2>
実施形態2に係る撮像装置1001について図3を参照して説明する。本実施形態では、実施形態1よりも、秘匿物の検査をより高精度にする撮像装置1001を説明する。なお、撮像装置1001の構成は、実施形態1の場合と同様である。
本実施形態に係る撮像装置1001において、図3(A)が示すように、検出部101は、第2の光20を受信して、被写体1002の表面位置201を検出する。制御部104は、図3(B)が示すように、表面位置201よりも撮像装置1001から所定距離Lだけ離れた位置に合焦するように、フォーカスレンズ103の位置を制御する。所定距離Lとは、本実施形態では0よりも大きな値であり、被写体1002の衣服202の厚みを考慮した、表面位置201から被写体1002の内側にある秘匿物200までの距離である。例えば、制御部104は、表面位置201から5~30mm離れた位置に合焦させる。
[撮像装置の撮像動作]
本実施形態に係る撮像装置1001の撮像動作のフローチャートを図4(A)に示す。
本フローチャートの処理では、S403のみ、図2が示すフローチャートの処理と異なるため、S403の処理のみ詳細に説明する。
S403において、制御部104は、S302にて検出部101が検出した表面位置201よりも撮像装置1001から所定距離L離れた位置(所定の距離離れた位置)に合焦するように、フォーカスレンズ103の位置を制御する。なお、合焦する位置は、フォーカスレンズ103と表面位置201とを結んだ直線上に位置する。ここで、所定距離Lは、例えば、ユーザによって予め設定された値である。
以上により、第1の光を被写体の表面位置で合焦させた場合よりも、秘匿位置に近い位置で合焦させることにより、反射した第1の光を効果的に集光できるため精度の高い撮像が可能になり、秘匿物の検査の精度を高めることができる。
[変形例1]
なお、実施形態2に係る撮像装置1001では、合焦位置を決定するための所定距離Lは、予め設定されているものとした。しかし、表面位置201から秘匿物200までの距離が想定できない場合には、撮像装置1001は、上述の所定距離Lを変更することによって合焦位置を変更しながら、複数回、第1の光10による撮像をしてもよい。そして、撮像部105は、撮像した複数の画像の中から、コントラストなど信号強度が最も大きい画像が撮像されたときの合焦位置を、秘匿物200が存在しえる位置と判定してもよい。
(撮像装置の撮像動作)
本変形例に係る撮像装置1001の撮像動作のフローチャートを図4(B)に示す。本フローチャートの処理では、S506~S508のみが、図4(A)が示すフローチャートの処理と異なるため、S506~S508の処理のみを詳細に説明する。なお、本フローチャートの開始時点において、所定距離Lは0に設定されているものとする。つまり、最初のS403の処理が行われる場合には、制御部104は、表面位置201に合焦するようにフォーカスレンズ103の位置を制御する。
S506において、撮像部105は、第1の光10による被写体2001の撮像を再度行うか否かを判定する。撮像部105は、例えば、ユーザが予め設定した回数、撮像が実行されたか否かによって、再度撮像するか否かを判定する。または、例えば、撮像部105は、S305における秘匿物200の判定に相当する処理を行い、秘匿物200が存在しないと判定された場合には、再度撮像すると判定する。S506において、再度の撮像を行うと判定された場合には、S507に遷移して、それ以外の場合にはS508に遷移する。
S507において、制御部104は、所定距離Lの値を変更する。ここでは、例えば、制御部104は、現在の所定距離Lに所定の数値を加えたり、または、現在の所定距離Lを所定倍にする。例えば、最初にS507に遷移した場合のS507の処理前の所定距離Lは0であるが、S507において制御部104は、所定距離Lを0より大きな値にして、S507に遷移するごとに所定距離Lの値を大きくする。
S508において、撮像部105は、撮像した複数の画像に基づき、秘匿物200の判定(検査)に用いる画像を取得する。例えば、撮像部105は、得られた複数の画像を比較して、当該複数の画像の中から秘匿物200の判定(検査)に用いる画像を選択する。選択の基準として、コントラストや輝度を用いてもよいし、事前に秘匿物200を撮像したデータを取得しておき、そのデータを基準に選択(マッチング)してもよい。また、S508において、撮像部105は、撮像した複数の画像を加算処理(合成)して、秘匿物200の有無を判定するための画像を生成してもよい。
本変形例によれば、表面位置から秘匿物の位置までの距離が想定できない場合においても、実施形態2と同様により精度の高い合焦が実現できる。このため、より精度の高い秘匿物の検査が可能になる。
<実施形態3>
実施形態3に係る撮像装置1001について図5を用いて説明する。実施形態3に係る撮像装置1001は、被写体2001を追尾(追跡)することによって、動いている被写体2001に対する秘匿物200の有無の判定を可能にする。なお、図5において、被写体2001に対して上方に撮像装置1001を配置しているが、撮像装置1001は、被写体2001と同じ高さや下方に配置されてもよく、被写体2001から目視できない構造物中に設置してもよい。
検出部101は、第2の光20として可視光もしくは赤外光を用い、既存のカメラのオートフォーカスシステムや、監視システムなどで利用されている技術を適用し、被写体1002の自動追尾や画角の制御を行う。これによって、検出部101は、被写体1002が移動している場合も、第2の光20を再度受信して、表面位置201を更新(検出)し続けることが可能である。検出部101は、オートフォーカスシステムにおいて、検出した可視光の信号におけるコントラストと位相差の少なくともいずれかを用いた方式によって表面位置を検出することができる。また、第2の光20として赤外光を用いる場合には、撮像装置1001は、赤外光を照射する第2の照射部(不図示)を有してもよい。検出部101は、位相差検出方式、TОF方式(Time Of Flight方式)、三角測距方式などの測距方式のいずれかの方式を選択して表面位置201を検出してもよい。
制御部104は、検出部101が表面位置201を検出(更新)するごとに、表面位置201に基づいてフォーカスレンズ103の位置を制御する。また、表面位置201に、第1の光10が照射されるように、表面位置201が検出されるごとに、照射部102は照射位置を変更(更新)してもよい。
第1の光10による撮像がされることによって、秘匿物200、もしくは秘匿物200として疑わしい物が存在すると判定された場合、被写体1002が移動してしまうと再度の撮像が難しいため当該判定の正誤が確認できない。そこで、秘匿物200の存在が疑わしいと判定された場合には、検出部101が表面位置201を追尾し、第1の光10による撮像を続けることによって、精度の高い検査が可能となる。
例えば、被写体1002として人を想定した場合には、駅の改札口や空港の搭乗口、イベントの入場ゲートなどに撮像装置1001が設置されることが好適である。これらの施設では、一方向に移動するなど、人が決められた動きをする場所があるためである。決められた動きをする場所があれば人の移動範囲が限られるため、撮像装置1001が第1の光10を照射する範囲や第2の光20を受信する範囲や画像処理すべき領域が限定できるため、処理を高速化できる。また、実施形態3によると、被写体1002は立ち止まる必要がないため、検査を受ける場合の被写体1002の負担を軽減できる。
<実施形態4>
実施形態4に係る撮像装置1001について図6を参照して説明する。撮像装置1001は、照射部102から照射される第1の光10を収束させて、第1の光10を被写体1002に照射する照明光学系を有する。
照明光学系は、結像機能を有した光学素子である。照明光学系は、図6(A)にあるレンズのような、第1の光10を透過する透過型の照明光学系107であっても、図6(B
)にあるミラーのような第1の光10を反射する反射型の照明光学系108であってもよい。図6(A)および図6(B)では、1枚の光学素子によって照明光学系を構成しているが、複数のレンズ、もしくはミラーを組み合わせて構成してもよい。また、照明光学系がレンズを含む場合には、使用するテラヘルツ波に対する損失が小さい材料を使用するとよい。例えば、レンズには、ポリテトラフルオロエチレンや高密度ポリエチレン(High Density Polyethylene)が使用できる。
照射部102には、第1の光10の出力を高めるため、複数の光源を設置する。光源は、同一平面に複数並べてもよいし、曲面をもたせて複数並べてもよい。照明光学系は、それぞれの光源から照射された第1の光10を収束させる。
図6(A)が示すように、照明光学系に対して透過型光学素子を用いた場合には、照射部102と照明光学系107と被写体1002とが同軸上に配置される。このため配置が容易であり、設置スペースを小さく小型化できる。
一方、図6(B)が示すように、照明光学系に対してミラーである反射型の光学素子を用いることもできる。反射型の光学素子は、透過型の光学素子に比べ大型化が容易であるため、照射部102の光源から受光する面積を大きくすることが容易であり、収束させる光量を増やし易い。
[撮像装置の撮像動作]
本実施形態に係る撮像装置1001の撮像動作のフローチャートを図7に示す。本フローチャートの処理では、S609のみが、図4(B)が示すフローチャートの処理と異なるため、S609の処理のみを詳細に説明する。なお、本フローチャートの開始時点において、所定距離Lは0に設定されているものとする。つまり、最初のS403の処理が行われる場合には、制御部104は、表面位置201に合焦するようにフォーカスレンズ103の位置を制御する。また、最初のS609の処理が行われる場合には、照明光学系は、表面位置201に第1の光10を収束させる。
S609において、照明光学系の姿勢、もしくは位置が制御されて、照明光学系は、表面位置201より撮像装置1001から所定距離L離れた位置に第1の光10を収束させる。なお、当該制御は、例えば、撮像装置1001における不図示の位置制御部によって行われる。
このように第1の光が収束されることによって、撮像部に届く第1の光の信号強度を高めることができるため、撮像した画像から秘匿物の判定をより高精度に行うことができる。
なお、各実施形態におけるフローチャートの各処理は、撮像装置1001におけるCPU(不図示)などが、記憶部(不図示)に記憶されたプログラムに基づいて、検出部101や撮像部105などの各機能部を制御することによって実現できる。
なお、上記の各実施形態の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。2つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。1つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。1つの機能部の2つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ASIC、FPGA、DSPなどのハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリ(記憶媒体)とを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行すること
により実現されてもよい。
(その他の実施形態)
本発明は、上記の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
1001:撮像装置、1002:被写体、101:検出部、103:フォーカスレンズ、104:制御部、105:撮像部、200:秘匿物

Claims (19)

  1. 撮像装置であって、
    第1の電磁波よりも波長の短い第2の電磁波を受信することによって、被写体の表面位置を検出する検出手段と、
    前記被写体に照射された前記第1の電磁波を集光する合焦手段と、
    前記表面位置に基づいた位置に合焦するように前記合焦手段を制御する制御手段と、
    前記合焦手段によって集光された前記第1の電磁波によって前記被写体の内部を撮像する撮像手段と、
    を有し、
    前記制御手段は、前記検出手段が検出した前記表面位置よりも前記撮像装置から所定の距離離れた前記被写体の内部に合焦するように前記合焦手段を制御し、
    前記所定の距離は、0よりも大きな値であることを特徴とする撮像装置。
  2. 前記第1の電磁波は、テラヘルツ波またはミリ波であることを特徴とする請求項1に記載の撮像装置。
  3. 前記第2の電磁波は、可視光または赤外光であることを特徴とする請求項2に記載の撮像装置。
  4. 前記被写体の内部に検査対象物を有するか否かの判定をする判定手段をさらに有し、
    前記撮像手段は、前記判定に用いる画像を取得する、
    ことを特徴とする請求項1から3のいずれか1項に記載の撮像装置。
  5. 前記制御手段は、前記表面位置に基づいて、それぞれ異なる位置に合焦するように複数回、前記合焦手段を制御し、
    前記撮像手段は、前記第1の電磁波によって、当該合焦する位置が異なる複数回の撮像をして、撮像した複数の画像から前記判定に用いる画像を選択する、
    ことを特徴とする請求項4に記載の撮像装置。
  6. 前記制御手段は、前記表面位置に基づいて、それぞれ異なる位置に合焦するように複数回、前記合焦手段を制御し、
    前記撮像手段は、前記第1の電磁波によって、当該合焦する位置が異なる複数回の撮像をして、撮像した複数の画像を合成することによって前記判定に用いる画像を生成する、
    ことを特徴とする請求項4に記載の撮像装置。
  7. 前記制御手段は、前記第1の電磁波により前記被写体の内部が撮像された画像に前記検査対象物が含まれていないと判定された場合には、前記表面位置に基づいた位置から前記合焦する位置を変更し、
    前記撮像手段は、前記合焦する位置が変更された場合には、再度、前記合焦手段によって集光された前記第1の電磁波によって前記被写体の内部を撮像する、
    ことを特徴とする請求項4に記載の撮像装置。
  8. 前記検出手段は、前記被写体を追尾することによって前記表面位置を更新し、
    前記制御手段は、更新された前記表面位置に基づいた位置に合焦するように前記合焦手段を制御する、
    ことを特徴とする請求項1から7のいずれか1項に記載の撮像装置。
  9. 前記第2の電磁波は、可視光であり、
    前記検出手段は、検出した前記可視光のコントラストと位相差との少なくともいずれかを用いた方式によって前記表面位置を検出する、
    ことを特徴とする請求項1から8のいずれか1項に記載の撮像装置。
  10. 前記第2の電磁波は、赤外光であり、
    前記検出手段は、前記赤外光を用いた位相差検出方式とTОF方式と三角測距方式のうちいずれかの方式によって前記表面位置を検出する、
    ことを特徴とする請求項1から8のいずれか1項に記載の撮像装置。
  11. 前記第1の電磁波を前記被写体に照射する照射手段をさらに有する、
    ことを特徴とする請求項1から10のいずれか1項に記載の撮像装置。
  12. 前記照射手段から照射される前記第1の電磁波を収束させて、前記第1の電磁波を前記被写体に照射させる照明光学系をさらに有する、
    ことを特徴とする請求項11に記載の撮像装置。
  13. 前記照明光学系は、前記第1の電磁波を透過する透過型の光学系である、
    ことを特徴とする請求項12に記載の撮像装置。
  14. 前記照明光学系は、前記第1の電磁波を反射する反射型の光学系である、
    ことを特徴とする請求項12に記載の撮像装置。
  15. 前記照明光学系は、前記表面位置または、前記表面位置よりも前記撮像装置から所定の距離離れた位置に前記第1の電磁波を収束させ、
    前記所定の距離は、0よりも大きな値である、
    ことを特徴とする請求項12から14のいずれか1項に記載の撮像装置。
  16. 前記第1の電磁波は、30GHz以上30THz以下の周波数範囲に含まれる電磁波である、
    ことを特徴とする請求項1から15のいずれか1項に記載の撮像装置。
  17. 前記第1の電磁波は、0.275THz以上1THz以下の周波数範囲に含まれる電磁波である、
    ことを特徴とする請求項16に記載の撮像装置。
  18. 被写体において反射した第1の電磁波を集光する合焦手段を有する撮像装置の制御方法であって、
    前記第1の電磁波よりも波長の短い第2の電磁波を受信することによって、前記被写体の表面位置を検出する検出ステップと、
    前記検出ステップで検出した前記表面位置よりも前記撮像装置から所定の距離離れた前記被写体の内部に合焦するように前記合焦手段を制御する制御ステップと、
    前記合焦手段によって集光された前記第1の電磁波によって前記被写体の内部を撮像する撮像ステップと、
    を有し、
    前記所定の距離は、0よりも大きな値であることを特徴とする撮像装置の制御方法。
  19. 請求項18に記載の制御方法の各ステップをコンピュータに実行させるためのプログラム。
JP2019171573A 2019-09-20 2019-09-20 撮像装置、撮像装置の制御方法、プログラム Active JP7508208B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019171573A JP7508208B2 (ja) 2019-09-20 2019-09-20 撮像装置、撮像装置の制御方法、プログラム
PCT/JP2020/028539 WO2021053969A1 (ja) 2019-09-20 2020-07-22 撮像装置、撮像装置の制御方法、プログラム
US17/675,822 US20220171259A1 (en) 2019-09-20 2022-02-18 Imaging apparatus, method for controlling imaging apparatus, and non-transitory computer readable storage

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019171573A JP7508208B2 (ja) 2019-09-20 2019-09-20 撮像装置、撮像装置の制御方法、プログラム

Publications (2)

Publication Number Publication Date
JP2021047377A JP2021047377A (ja) 2021-03-25
JP7508208B2 true JP7508208B2 (ja) 2024-07-01

Family

ID=74876260

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019171573A Active JP7508208B2 (ja) 2019-09-20 2019-09-20 撮像装置、撮像装置の制御方法、プログラム

Country Status (3)

Country Link
US (1) US20220171259A1 (ja)
JP (1) JP7508208B2 (ja)
WO (1) WO2021053969A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2023058265A1 (ja) * 2021-10-04 2023-04-13

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006234587A (ja) 2005-02-25 2006-09-07 Canon Inc 電磁波イメージングシステム
JP2011214874A (ja) 2010-03-31 2011-10-27 Sony Corp イメージング装置およびイメージング装置におけるフォーカシング方法
WO2012073722A1 (ja) 2010-12-01 2012-06-07 コニカミノルタホールディングス株式会社 画像合成装置
JP2016035394A (ja) 2014-08-01 2016-03-17 パイオニア株式会社 テラヘルツ波撮像装置及びテラヘルツ波撮像方法
WO2017141746A1 (ja) 2016-02-19 2017-08-24 ソニー株式会社 撮像装置、撮像制御方法、およびプログラム
CN109655931A (zh) 2018-12-29 2019-04-19 清华大学 毫米波/太赫兹波成像设备及对人体或物品的检测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61112112A (ja) * 1984-11-07 1986-05-30 Hitachi Ltd 自動焦点調節装置
JP3303128B2 (ja) * 1998-04-15 2002-07-15 東京大学長 複数画像を用いる画像処理方法およびそれに用いる複数画像同時撮像型カメラ装置
JP2005043408A (ja) * 2003-07-22 2005-02-17 Fuji Photo Film Co Ltd オートフォーカスカメラ
US7378658B2 (en) * 2005-09-20 2008-05-27 Coherent, Inc. Security portal with THz trans-receiver
US10345224B2 (en) * 2014-10-08 2019-07-09 Riken Optical response measuring device and optical response measuring method
US9395296B1 (en) * 2015-02-20 2016-07-19 The United States Of America, As Represented By The Secretary Of The Army Two-dimensional optical spot location using a one-dimensional detector array
US10900788B2 (en) * 2018-12-03 2021-01-26 Sidharth ANANTHA Wearable navigation system for the visually impaired

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006234587A (ja) 2005-02-25 2006-09-07 Canon Inc 電磁波イメージングシステム
JP2011214874A (ja) 2010-03-31 2011-10-27 Sony Corp イメージング装置およびイメージング装置におけるフォーカシング方法
WO2012073722A1 (ja) 2010-12-01 2012-06-07 コニカミノルタホールディングス株式会社 画像合成装置
JP2016035394A (ja) 2014-08-01 2016-03-17 パイオニア株式会社 テラヘルツ波撮像装置及びテラヘルツ波撮像方法
WO2017141746A1 (ja) 2016-02-19 2017-08-24 ソニー株式会社 撮像装置、撮像制御方法、およびプログラム
CN109655931A (zh) 2018-12-29 2019-04-19 清华大学 毫米波/太赫兹波成像设备及对人体或物品的检测方法

Also Published As

Publication number Publication date
JP2021047377A (ja) 2021-03-25
WO2021053969A1 (ja) 2021-03-25
US20220171259A1 (en) 2022-06-02

Similar Documents

Publication Publication Date Title
CN106353834B (zh) 一种太赫兹成像系统及太赫兹安检装置
US20220066065A1 (en) Portable terahertz security inspection apparatus
KR102195525B1 (ko) 레이저 거리 측정 및 조명
CN103575654B (zh) 一种提高太赫兹扫描成像速度的方法和系统
US7763868B2 (en) Object information acquisition apparatus and object information acquisition method
KR101702380B1 (ko) THz 빔 스캔을 이용한 고속 3차원 영상 탐지 장치
JP2008151618A (ja) テラヘルツ波を用いた対象物の情報取得装置及び方法
JP2017075945A (ja) 連続波THzビームスキャンを用いた高速三次元映像検出装置
JP6276736B2 (ja) 物質識別装置
TWI640760B (zh) 郵件檢測裝置及郵件檢測方法
JP2013181929A (ja) 測定装置及び方法、トモグラフィ装置及び方法
JP2017208595A (ja) 監視システム
EP3674742B1 (en) Electromagnetic wave detection device, program, and electromagnetic wave detection system
KR102043881B1 (ko) 대면적 고속 물체 검사 장치
JP7508208B2 (ja) 撮像装置、撮像装置の制御方法、プログラム
CN206114926U (zh) 一种太赫兹成像系统及太赫兹安检装置
WO2021070428A1 (ja) 撮影装置
CN211348663U (zh) 一种自动跟踪扫描快速通道式太赫兹安检设备
EP2980561A1 (en) Imaging system
KR102043880B1 (ko) 고분해능 검사 장치용 광헤드 및 링빔을 이용한 고분해능 검사 장치
CN110879216B (zh) 多分幅阴影诊断方法
CN111257960A (zh) 一种自动跟踪扫描快速通道式太赫兹安检设备
CN113126176A (zh) 太赫兹波安检系统及方法
US11808699B2 (en) Imaging system
KR101584128B1 (ko) 시료 집합체 및 이를 이용한 광학 상수 측정 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230710

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231128

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20231205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240619

R150 Certificate of patent or registration of utility model

Ref document number: 7508208

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150