JP7351345B2 - 画像生成装置、画像生成方法、及びプログラム - Google Patents

画像生成装置、画像生成方法、及びプログラム Download PDF

Info

Publication number
JP7351345B2
JP7351345B2 JP2021553879A JP2021553879A JP7351345B2 JP 7351345 B2 JP7351345 B2 JP 7351345B2 JP 2021553879 A JP2021553879 A JP 2021553879A JP 2021553879 A JP2021553879 A JP 2021553879A JP 7351345 B2 JP7351345 B2 JP 7351345B2
Authority
JP
Japan
Prior art keywords
subject
dimensional image
image
dimensional
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021553879A
Other languages
English (en)
Other versions
JPWO2021079517A1 (ja
JPWO2021079517A5 (ja
Inventor
正行 有吉
一峰 小倉
達哉 住谷
慎吾 山之内
ナグマ サムリーン カーン
俊之 野村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021079517A1 publication Critical patent/JPWO2021079517A1/ja
Publication of JPWO2021079517A5 publication Critical patent/JPWO2021079517A5/ja
Application granted granted Critical
Publication of JP7351345B2 publication Critical patent/JP7351345B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/887—Radar or analogous systems specially adapted for specific applications for detection of concealed objects, e.g. contraband or weapons
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04—Systems determining the presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/04—Display arrangements
    • G01S7/06—Cathode-ray tube displays or other two dimensional or three-dimensional displays
    • G01S7/10—Providing two-dimensional and co-ordinated display of distance and direction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V3/00—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation
    • G01V3/12—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation operating with electromagnetic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Geology (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Processing (AREA)

Description

本発明は、画像生成装置、画像生成方法、及びプログラムに関する。
空港などの施設において、特定の物品の持ち込みを規制することがある。このような施設においては、施設に通じる通路又は施設への入場口において、人の所持品を検査する場合が多い。この検査に関連する技術として、特許文献１に記載の装置がある。この装置は、人に対して３方向からマイクロ波を照射し、これらのマイクロ波の反射波を解析することにより、画像を生成する。
米国特許出願公開第２０１６／０２１６３７１号明細書
人に照射した電磁波の反射波を解析すると、人などの被検体及びその被検体の付随物（例えば人の所持物）の３次元形状を推定することができる。一方、複数の被検体を効率よく検査するためには、付随物を効率よく人に認識させる必要がある。
本発明の目的は、電磁波を照射してその反射波を解析することにより、被検体及びその被検体の付随物の３次元形状を推定する場合において、付随物を効率よく人に認識させる
ことにある。
・本開示における第１の画像生成装置は、
被検体が通過する領域に、波長が３０マイクロメートル以上１メートル以下の電磁波を照射する送信手段と、
前記電磁波が前記被検体によって反射された反射波を受信し、受信した反射波から中間周波数信号であるＩＦ信号を生成する受信手段と
を有する照射装置とともに使用され、
前記照射装置から、前記被検体のうち前記電磁波が照射された部分から前記照射装置までの距離及び前記照射装置を基準としたときの当該部分の角度を特定するための前記ＩＦ信号を取得する取得手段と、
前記ＩＦ信号を処理することにより、前記被検体及び前記被検体の付随物の３次元形状を示す３次元位置情報を生成するＩＦ信号処理手段と、
前記３次元位置情報を処理することにより、少なくとも、前記被検体及び前記付随物を第１方向から見たときの２次元画像である第１の２次元画像と、前記被検体及び前記付随物を第２方向から見たときの２次元画像である第２の２次元画像を生成し、前記第１の２次元画像及び前記第２の２次元画像を表示手段に表示させる画像生成手段と、
を備え、
前記画像生成手段は、
前記３次元位置情報を用いて前記被検体の一部である基準点を設定し、
前記基準点を基準に前記３次元位置情報を第１部分情報および第２部分情報に分割し、
前記第１部分情報を処理することにより前記第１の２次元画像を生成し、かつ、前記第２部分情報を処理することにより前記第２の２次元画像を生成する。
・本開示における第２の画像生成装置は、
被検体が通過する領域に、波長が３０マイクロメートル以上１メートル以下の電磁波を照射する送信手段と、
前記電磁波が前記被検体によって反射された反射波を受信し、受信した反射波から中間周波数信号であるＩＦ信号を生成する受信手段と
を有する照射装置とともに使用され、
前記照射装置から、前記被検体のうち前記電磁波が照射された部分から前記照射装置までの距離及び前記照射装置を基準としたときの当該部分の角度を特定するための前記ＩＦ信号を取得する取得手段と、
前記ＩＦ信号を処理することにより、前記被検体及び前記被検体の付随物の３次元形状を示す３次元位置情報を生成する処理手段と、
前記３次元位置情報を処理することにより、少なくとも、前記被検体及び前記付随物を第１方向から見たときの２次元画像である第１の２次元画像と、前記被検体及び前記付随物を第２方向から見たときの２次元画像である第２の２次元画像を生成し、前記第１の２次元画像及び前記第２の２次元画像を表示手段に表示させる画像生成手段と、
を備え、
前記画像生成手段は、
前記３次元位置情報のうち、前記第１方向からみたときに前記付随物と重なる部分を特定し、当該部分のうち前記被検体及び前記付随物以外の領域を、他のデータで上書きし、
前記上書き後の前記３次元位置情報を用いて前記第１の２次元画像を生成する。
・本開示における第１の画像生成方法は、
コンピュータが行う画像生成方法であって、
前記コンピュータは、照射装置とともに使用され、
前記照射装置は、被検体が通過する領域に、波長が３０マイクロメートル以上１メートル以下の電磁波を照射し、前記電磁波が前記被検体によって反射された反射波を受信し、受信した反射波から中間周波数信号であるＩＦ信号を生成し、
前記コンピュータが、
前記照射装置から、前記被検体のうち前記電磁波が照射された部分から前記照射装置までの距離及び前記照射装置を基準としたときの当該部分の角度を特定するための前記ＩＦ信号を取得し、
前記ＩＦ信号情報を処理することにより、前記被検体及び前記被検体の付随物の３次元形状を示す３次元位置情報を生成し、
前記３次元位置情報を処理することにより、少なくとも、前記被検体及び前記付随物を第１方向から見たときの２次元画像である第１の２次元画像と、前記被検体及び前記付随物を第２方向から見たときの２次元画像である第２の２次元画像を生成し、
前記第１の２次元画像及び前記第２の２次元画像を表示手段に表示させることを含み、
前記第１の２次元画像及び前記第２の２次元画像を生成することは、
前記３次元位置情報を用いて前記被検体の一部である基準点を設定し、
前記基準点を基準に前記３次元位置情報を第１部分情報および第２部分情報に分割し、
前記第１部分情報を処理することにより前記第１の２次元画像を生成し、かつ、前記第２部分情報を処理することにより前記第２の２次元画像を生成することを含む。
・本開示における第２の画像生成方法は、
コンピュータが行う画像生成方法であって、
前記コンピュータは、照射装置とともに使用され、
前記照射装置は、被検体が通過する領域に、波長が３０マイクロメートル以上１メートル以下の電磁波を照射し、前記電磁波が前記被検体によって反射された反射波を受信し、受信した反射波から中間周波数信号であるＩＦ信号を生成し、
前記コンピュータが、
前記照射装置から、前記被検体のうち前記電磁波が照射された部分から前記照射装置までの距離及び前記照射装置を基準としたときの当該部分の角度を特定するための前記ＩＦ信号を取得し、
前記ＩＦ信号を処理することにより、前記被検体及び前記被検体の付随物の３次元形状を示す３次元位置情報を生成し、
前記３次元位置情報を処理することにより、少なくとも、前記被検体及び前記付随物を第１方向から見たときの２次元画像である第１の２次元画像と、前記被検体及び前記付随物を第２方向から見たときの２次元画像である第２の２次元画像を生成し、
前記第１の２次元画像及び前記第２の２次元画像を表示手段に表示させることを含み、
前記第１の２次元画像及び前記第２の２次元画像を生成することは、
前記３次元位置情報のうち、前記第１方向からみたときに前記付随物と重なる部分を特定し、当該部分のうち前記被検体及び前記付随物以外の領域を、他のデータで上書きし、
前記上書き後の前記３次元位置情報を用いて前記第１の２次元画像を生成することを含む。
・本開示における第１のプログラムは、
照射装置とともに使用されるコンピュータで実行されるプログラムであって、
前記照射装置は、被検体が通過する領域に、波長が３０マイクロメートル以上１メートル以下の電磁波を照射し、前記電磁波が前記被検体によって反射された反射波を受信し、受信した反射波から中間周波数信号であるＩＦ信号を生成し、
前記コンピュータに、
前記照射装置から、前記被検体のうち前記電磁波が照射された部分から前記照射装置までの距離及び前記照射装置を基準としたときの当該部分の角度を特定するための前記ＩＦ信号を取得する機能と、
前記ＩＦ信号を処理することにより、前記被検体及び前記被検体の付随物の３次元形状を示す３次元位置情報を生成する機能と、
前記３次元位置情報を処理することにより、少なくとも、前記被検体及び前記付随物を第１方向から見たときの２次元画像である第１の２次元画像と、前記被検体及び前記付随物を第２方向から見たときの２次元画像である第２の２次元画像を生成する機能と、
前記第１の２次元画像及び前記第２の２次元画像を表示手段に表示させる機能と、
を持たせ、
前記第１の２次元画像および前記第２の２次元画像を生成する機能は、
前記３次元位置情報を用いて前記被検体の一部である基準点を設定し、
前記基準点を基準に前記３次元位置情報を第１部分情報および第２部分情報に分割し、
前記第１部分情報を処理することにより前記第１の２次元画像を生成し、かつ、前記第２部分情報を処理することにより前記第２の２次元画像を生成する。
・本開示における第２のプログラムは、
照射装置とともに使用されるコンピュータで実行されるプログラムであって、
前記照射装置は、被検体が通過する領域に、波長が３０マイクロメートル以上１メートル以下の電磁波を照射し、前記電磁波が前記被検体によって反射された反射波を受信し、受信した反射波から中間周波数信号であるＩＦ信号を生成し、
前記コンピュータに、
前記照射装置から、前記被検体のうち前記電磁波が照射された部分から前記照射装置までの距離及び前記照射装置を基準としたときの当該部分の角度を特定するための前記ＩＦ信号を取得する機能と、
前記ＩＦ信号を処理することにより、前記被検体及び前記被検体の付随物の３次元形状を示す３次元位置情報を生成する機能と、
前記３次元位置情報を処理することにより、少なくとも、前記被検体及び前記付随物を第１方向から見たときの２次元画像である第１の２次元画像と、前記被検体及び前記付随物を第２方向から見たときの２次元画像である第２の２次元画像を生成する機能と、
前記第１の２次元画像及び前記第２の２次元画像を表示手段に表示させる機能と、
を持たせ、
前記第１の２次元画像および前記第２の２次元画像を生成する機能は、
前記３次元位置情報のうち、前記第１方向からみたときに前記付随物と重なる部分を特定し、当該部分のうち前記被検体及び前記付随物以外の領域を、他のデータで上書きし、
前記上書き後の前記３次元位置情報を用いて前記第１の２次元画像を生成する。
本発明によれば、電磁波を照射してその反射波を解析することにより、被検体及びその被検体の付随物の３次元形状を推定する場合において、付随物を効率よく人に認識させることができる。
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
実施形態に係る画像処理装置の使用環境を説明する図である。 照射装置の機能構成の一例を示す図である。 画像処理装置の機能構成の一例を示す図である。 画像処理装置のハードウエア構成を例示するブロック図である。 画像処理装置の画像生成部が行う処理の一例を示すフローチャートである。 画像生成部が生成する２次元画像の第１例を説明するための図である。 ２次元画像の生成方法の第１例を示す図である。 ２次元画像の生成方法の第１例を示す図である。 ２次元画像の生成方法の第２例を示す図である。 基準点の算出例を示す図である。 画像生成部が、生成した２次元画像の少なくとも一つに対して行う処理の第１例を示す図である。 画像生成部が、生成した２次元画像の少なくとも一つに対して行う処理の第２例を示す図である。
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
図１は、実施形態に係る画像処理装置２０の使用環境を説明する図である。画像処理装置２０は、照射装置１０及び表示装置３０とともに使用される。
照射装置１０は、通行人などの被検体に電磁波を照射し、この電磁波が被検体によって反射された反射波を受信する。さらに照射装置１０は、受信した反射波を中間周波数帯に周波数変換する事で中間周波数信号（ＩＦ信号）を生成する。
照射装置１０が照射する電磁波として、布（例えば衣服）を透過するが被検体そのもの（例えば人体）や被検体の付随物では反射される波長を有する電磁波を用いる事が望ましい。一例として、電磁波はマイクロ波やミリ波あるいはテラヘルツ波であり、波長が３０マイクロメートル以上１メートル以下である。なお、図１において、照射装置が電磁波を照射する面の水平方向がｘ方向、垂直方向（上下方向）がｙ方向であり、電磁波を照射する方向がｚ方向である。すなわち、被検体からみると移動する方向が概ねｘ方向であり、上下方向がｙ方向であり、被検体の移動方向に概ね直交する方向がｚ方向である。
なお、図１に示す例において、照射装置１０は被検体の通路に対してほぼ平行（すなわちほぼ１８０°）に配置されているが、照射装置１０は通路に対して１８０°以外の角度を有するように（すなわち斜めに）配置されていてもよい。
画像処理装置２０は、照射装置１０からＩＦ信号を取得し、このＩＦ信号を処理することにより、被検体の少なくとも一部分の３次元形状を示す３次元位置情報を生成する。３次元位置情報は、被検体のうち電磁波が照射された部分（反射点）から照射装置１０までの距離、及び、照射装置１０（例えば受信部１３０が有するアンテナ）を基準とした時の反射点の角度、のそれぞれを特定するための情報を含んでいる。３次元位置情報によって特定される距離は、例えば後述する送信部１１０が有する送信アンテナから対象部分までの距離であってもよいし、受信部１３０が有する受信アンテナから対象部分までの距離であってもよいし、これらの平均値であってもよい。
なお、３次元位置情報は、各位置における反射波の強度の情報も含んでいるのが好ましい。被検体が付随物（例えば所持物）を有している場合、３次元位置情報は、付随物の少なくとも一部分の３次元形状を特定するための情報にもなる。
被検体に付随物がある場合、３次元位置情報が示す３次元形状は、この付随物の少なくとも一部分の３次元形状も含んでいる。画像処理装置２０は、この３次元位置情報を処理することにより、少なくとも第１の２元画像及び第２の２次元画像を生成する。第１の２次元画像は、被検体（付随物がある場合は付随物も含む：以下同様）を第１方向から見たときの２次元画像である。第２の２次元画像は、被検体を第２方向から見たときの２次元画像である。そして画像処理装置２０は、これらの２次元画像を表示装置３０に表示させる。
また、画像処理装置２０は、表示装置３０に被検体の３次元画像も表示させる。この際、画像処理装置２０は、３次元画像を所定の向きにすることができる。言い換えると、画像処理装置２０は、例えばユーザ入力に従って３次元画像を所定の向きとなるように回転させることができる。
図２は、照射装置１０の機能構成の一例を示す図である。本図に示す例において、照射装置１０は、送信部１１０、制御部１２０、受信部１３０、及びデータ転送部１４０を有している。
送信部１１０は、被検体が通過する領域（以下、照射領域と記載）に向けて電磁波を照射する。送信部１１０は、例えば全方向性のアンテナを有している。送信部１１０は、電磁波の周波数を一定の範囲で変更することができる。送信部１１０は、制御部１２０によって制御されている。なお、制御部１２０は、受信部１３０も制御している。
受信部１３０は、被検体による反射波を受信する。受信部１３０は、受信した反射波を中間周波数帯に周波数変換する事で中間周波数信号（ＩＦ信号）を生成する。制御部１２０は、受信部１３０における中間周波数帯を適切な値に設定する制御を行う。
本図に示す例において、照射装置１０はさらに可視光撮像部１５０を有している。可視光撮像部１５０は、制御部１２０によって制御されており、可視光による被検体の画像である可視光画像を生成する。可視光撮像部１５０は制御部１２０によって制御されている。そして制御部１２０は、可視光撮像部１５０による撮像タイミングと、送信部１１０による照射タイミングを同期させる。ここでの同期には、同一時刻の場合のほかに、一定の時間差を持っている場合も含まれる。可視光撮像部１５０は、例えば被検体を横から撮影する方向、すなわち図１におけるｚ方向を向いている。ただし可視光撮像部１５０の向きはこれに限定されない。
データ転送部１４０は、受信部１３０において生成されたＩＦ信号を取得し画像処理装置２０に出力する。さらにデータ転送部１４０は、送信時の時刻又はＩＦ信号を生成した時刻（以下、時刻情報と記載）も画像処理装置２０に出力する事が望ましい。さらにデータ転送部１４０は、可視光撮像部１５０が生成した可視光画像も画像処理装置２０に出力する。
図３は、画像処理装置２０の機能構成の一例を示す図である。画像処理装置２０は、少なくとも取得部２１０、ＩＦ信号処理部２２０、及び画像生成部２３０を有している。取得部２１０は照射装置１０からＩＦ信号を取得する。ＩＦ信号処理部２２０は、ＩＦ信号の処理により被検体からの反射強度の３次元位置情報を生成する。すなわち３次元位置情報を生成する際、ＩＦ信号処理部２２０は、照射装置１０から反射点までの距離とともに、反射波の到来角度（すなわち上記した反射点の角度）を算出する。画像生成部２３０は、被検体からの反射強度の３次元分布の情報から少なくとも第１の２次元画像及び第２の２次元画像を生成し、これらの２次元画像を表示装置３０に表示させる。画像生成部２３０による２次元画像の生成処理の詳細については、他の図を用いて後述する。
画像生成部２３０は、２次元画像を表示装置３０に表示させる際、これらの２次元画像と同時に／又は異なるタイミングで、照射装置１０の可視光撮像部１５０が生成した可視光画像を表示装置３０に表示させてもよい。さらに画像生成部２３０は、照射装置１０から被検体までの距離を表示装置３０に表示させてもよい。この際、画像生成部２３０は、２次元画像の所定の位置が選択された場合（例えばカーソルによる選択が行われた場合）、当該位置の距離情報（又は照射装置１０から被検体までの距離）を表示装置３０に表示させてもよい。
また画像生成部２３０は、反射強度の３次元分布の情報を表示してもよい。ここで画像生成部２３０は、この３次元分布の情報を処理することにより被検体の３次元画像を生成し、この３次元画像を表示装置３０に表示させてもよい。
本図に示す画像処理装置２０は、さらに入力部２４０及び記憶部２５０を有している。
入力部２４０は、ユーザからの入力を取得する。この入力は、例えば第１の方向（すなわち第１の２次元画像の方向）及び第２の方向（すなわち第２の２次元画像の方向）を指定する情報を含んでいる。なお、第１の方向及び第２の方向がデフォルトで設定されており、かつこのデフォルトの方向を使用する場合、入力部２４０は、この入力を取得しなくてもよい。
また画像生成部２３０が表示装置３０に被検体の３次元画像を表示させる場合、入力部２４０は、３次元画像の向きを示す情報を取得する。そして画像生成部２３０は、入力部２４０が取得した向きの３次元画像を生成して表示装置３０に表示させる。
記憶部２５０は、画像処理装置２０が取得した情報及び生成した情報を記憶している。一例として、記憶部２５０は３次元位置情報を記憶する。照射装置１０からＩＦ信号とともに時刻情報が送信された場合、記憶部２５０は、３次元位置情報に紐づけて、その３次元位置情報の生成に用いられたＩＦ信号に対応する時刻情報も記憶している。
また画像生成部２３０は、３次元位置情報又は２次元画像を処理することにより、付随物の種類（例えば所持物の種類）を特定することもできる。この場合、記憶部２５０は、３次元位置情報に紐づけて、その３次元位置情報に含まれる付随物の種類も記憶する。
そして画像生成部２３０は、例えば入力部２４０から入力された情報に従って記憶部２５０から３次元位置情報を読み出す。そして画像生成部２３０は、読み出した３次元位置情報を用いて第１の２次元画像及び第２の２次元画像を生成して表示装置３０に表示させる。
また、記憶部２５０は、３次元位置情報と共に所定の情報（例えば画像生成部２３０が生成した２次元画像、付随物の有無及びその種類の少なくとも一つ）を記憶することもできる。この場合、画像生成部２３０は、例えば入力部２４０から入力された情報に従って記憶部２５０からこの所定の情報を読み出して統計処理し、この統計処理の結果を表示装置３０に表示させる。統計処理の結果の一例は、例えば第１の日時から第２の日時までの間に検出された付随物の量、又は付随物の種類別の量である。
図４は、画像処理装置２０のハードウエア構成を例示するブロック図である。画像処理装置２０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。
バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。
プロセッサ１０２０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。
メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。
ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は画像処理装置２０の各機能（例えば取得部２１０、ＩＦ信号処理部２２０、及び画像生成部２３０）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス１０４０は各種記憶部（例えば記憶部２５０）としても機能する。
入出力インタフェース１０５０は、画像処理装置２０と各種入出力機器（例えば入力部２４０）とを接続するためのインタフェースである。
ネットワークインタフェース１０６０は、画像処理装置２０をネットワーク上の他の装置（例えば照射装置１０）に接続するためのインタフェースである。ただしネットワークインタフェース１０６０は用いられないことも有る。
図５は、画像処理装置２０の画像生成部２３０が行う処理の一例を示すフローチャートである。まず画像生成部２３０は、入力部２４０を介して、画像生成部２３０が生成すべき２次元画像の方向の指定を取得する（ステップＳ１０）。ここで指定される方向には、上記した第１の方向及び第２の方向が含まれる。なお、ここで方向が指定されないことも有る。この場合、画像生成部２３０は、デフォルトで指定されている方向を用いる。
次いで画像生成部２３０は、ＩＦ信号処理部２２０が生成した被検体からの反射強度の３次元位置情報を処理することにより、複数の２次元画像を生成する（ステップＳ２０）。そして画像生成部２３０は、生成した２次元画像を表示装置３０に出力して表示させる（ステップＳ３０）。
図６は、画像生成部２３０が生成する２次元画像の第１例を説明するための図である。本図に示す例において、画像生成部２３０は、被検体が移動する方向から見た画像（第１の２次元画像の一例）、被検体の移動方向とは逆方向から見た画像（第２の２次元画像の一例）、被検体を横から見た画像、及び被検体を照射装置１０側から見た画像（例えば第３の２次元画像）を生成することができる。なお、画像生成部２３０は、被検体を上方から見た２次元画像を生成することもできる。被検体が人であり、付随物が当該人の所持物である場合、第１の２次元画像及び第２の２次元画像をこのような向き（例えば背中から写した方向及び正面から写した方向）にすると、表示装置３０を見た人は、人が所持している所持物の形状を認識しやすくなる。
図７及び図８は２次元画像の生成方法の第１例を示す図である。図７は第１の２次元画像の生成方法を示しており、図８は第２の２次元画像の生成方法を示している。本図に示す例において、画像生成部２３０は、ＩＦ信号処理部２２０が生成した被検体からの反射強度の３次元位置情報に基づいて、被検体の一部である基準点を設定し、この基準点を基準に３次元位置情報を第１部分情報および第２部分情報に分割する。そして画像生成部２３０は、第１部分情報を処理することにより第１の２次元画像を生成し、かつ、第２部分情報を処理することにより第２の２次元画像を生成する。
例えば、図７及び８に示す例において、第１の２次元画像は被検体が移動する方向から見た画像であり、第２の２次元画像はそれとは逆方向から見た画像である。言い換えると、第１方向は被検体が移動する方向であり、第２方向は第１方向とは逆方向である。
そして画像生成部２３０は、被検体の３次元形状の特定部分を基準点とする。例えば画像生成部２３０は、３次元形状のうち、最も強度が高かった反射波に対応する部分を基準点としてもよい。もしくは、画像生成部２３０は３次元の被検体反射強度の重心を基準点としてもよいし、３次元の被検体反射強度がある閾値を超える部分における中心点を基準点としてもよい。
そしてこの基準点を通る線を、基準線とする。そして、画像生成部２３０は、３次元位置情報を、第１方向すなわち被検体が移動する方向において基準線より後に位置する情報（すなわち基準点より後に位置する情報）である第１部分情報と、残りの部分の情報（すなわち第１方向において基準点より前に位置する情報）である第２部分情報とにわける。
そして画像生成部２３０は、第１部分情報を用いて第１の２次元画像を生成し、第２部分情報を用いて第２の２次元画像を生成する。このようにすると、第１の２次元画像を生成するときに第２部分情報（すなわち第２の２次元画像を構成する部分の情報）が入り込むことがなくなり、その結果、第１の２次元画像の画質が向上する。同様に、第２の２次元画像を生成するときに第１部分情報が入り込むことがなくなり、その結果、第２の２次元画像の画質が向上する。
図９は２次元画像の生成方法の第２例を示す図である。本図に示す例において、画像生成部２３０は、３次元位置情報のうち、第１の方向からみたときに付随物と重なる部分を特定し、当該部分のうち被検体及び付随物以外の領域（図９においてハッチングを有する以外の領域）を、他のデータ（例えば０値）で上書きする。そして画像生成部２３０は、上書き後の３次元位置情報を用いて第１の２次元画像及び第２の２次元画像を生成する。このようにすると、２次元画像を生成するときにノイズが入る可能性は少なくなる。よって、２次元画像の画質は向上する。
なお、図９を用いて説明した処理において、画像生成部２３０は、第１の方向からみたときに付随物と重なる部分のうち、付随物以外の領域を他のデータで置き換えてもよい。さらに画像生成部２３０は、第１の方向からみたときに付随物及び被検体の少なくとも一方と重なる部分を特定し、当該部分のうち被検体及び付随物以外の領域（図９においてハッチングを有する領域）を、他のデータ（例えば０値）で上書きしてもよい。
また、画像生成部２３０は、図９に示した例と同様な処理を行うことにより、他の方向（例えばｙ軸に平行な方向及び／又はｚ軸に平行な方向）から見たときに付随物と重なる部分を特定し、当該部分のうち被検体及び付随物以外の領域を、他のデータ（例えば０値）で上書きしてもよい。この場合も、画像生成部２３０は、上書き後の３次元位置情報を用いて第１の２次元画像及び第２の２次元画像を生成する。
図１０は、基準点の算出方法の一例を示すフローチャートである。本図に示す例において、画像生成部２３０は、まず、３次元位置情報を処理することにより、ｘ方向の位置別に、その位置を通るｙｚ平面における反射波の最大強度ｈを抽出する（ステップＳ２２２）。ステップＳ２２２により、ｘ方向の位置ｘを定義域、反射波の最大強度ｈを値域とした関数ｈ（ｘ）を定義できる。
次いで、画像生成部２３０は、ステップ２２２で得たｘ方向の位置別の最大強度ｈ（ｘ）を用いて、被検体からの反射と推定するための閾値を決定する（ステップＳ２２４）。閾値の決定法の一例として、ステップＳ２２２で得た関数ｈ（ｘ）の最大値と最小値の平均値を、閾値としてもよい。
次いで、画像生成部２３０は、この閾値より大きい値を示す領域を、被検体の領域と推定する（ステップＳ２２６）。
次いで、画像生成部２３０は、推定した被検体の領域について、反射強度に基づいた重みづけを行うことにより、ｘ方向における基準点を決定する（ステップＳ２２８）。
なお、画像生成部２３０は、以下のようにして２次元画像を生成してもよい。まず、３次元位置情報を投影すべき方向、すなわち生成すべき２次元画像の視線の方向（例えば第１の方向又は第２の方向）を設定する。そして、設定した投影方向を用いて、３次元位置情報を構成する複数の画素（以下、３次元の画素と記載）を、２次元画像を構成する各画素（以下、２次元の画素と記載）に割り当てる。一例として画像生成部２３０は、３次元の画素のうち、設定した投影方向から見たときに互いに重なる画素を、同一の２次元の画素に割り当てる。そして、２次元画像を構成する画素別に、割り当てられた３次元位置情報の画素の最大値を特定し、特定した最大値を、２次元画像を構成する画素の値にする。
図１１は、画像生成部２３０が、生成した２次元画像の少なくとも一つ（例えば第１の２次元画像及び第２の２次元画像の少なくとも一方）に対して行う処理の第１例を示す図である。本図に示す処理は、付随物を見やすくするための処理である。まず画像生成部２３０は、２次元画像のうち付随物の領域を特定する（ステップＳ２０２）。例えば画像生成部２３０は、被検体及び付随物を含む２次元画像または３次元画像を入力として機械学習させた検出結果を用いて、付随物の位置を領域する。そして画像生成部２３０は、２次元画像または３次元画像のうち付随物以外の領域に対して、解像度を下げる処理を行う。これにより、処理後画像が生成される（ステップＳ２０４）。この処理の一例は、平滑化処理であり、各画素の値を、当該画素の値及びその近傍の画素の値の平均値に置き換える処理である。
なお画像生成部２３０は、付随物についても、検出器が出力する確度に基づいて平滑化処理を加えてもよい。例えば、確度が高い場合には平滑化処理を行わない事が望ましい。一方、確度が低い場合には、平滑化処理を行う事が望ましい。
画像生成部２３０は、生成した処理後画像を表示装置３０に表示させる。
図１２は、画像生成部２３０が、生成した２次元画像の少なくとも一つ（例えば第１の２次元画像及び第２の２次元画像の少なくとも一方）に対して行う処理の第２例を示す図である。本図に示す処理も、付随物を見やすくするための処理である。まず画像生成部２３０は、２次元画像のうち付随物の領域を特定する（ステップＳ２１２）。そして画像生成部２３０は、２次元画像のうち付随物以外の領域の画素を、他のデータに置き換える。他のデータは、例えば特定の色（例えば白色）を示すデータである。これにより、付随物が切り出された処理後画像が生成される（ステップＳ２１４）。この場合、２次元画像には被検体の情報が含まれなくなるため、被検体が人の場合にその人の個人情報を保護することができる。
なお、図１１及び図１２に示す例において、画像生成部２３０は、処理前の画像とともに処理後画像を表示装置３０に表示させてもよいし、処理後画像のみを表示装置３０に表示させてもよい。また画像生成部２３０は、入力部２４０からの入力に従って、処理前の２次元画像を表示装置３０に表示させる第１モードと、処理後画像を表示装置３０に表示させる第２モードとを切り替えてもよい。このようにすると、処理前の２次元画像を見たい場合にはその画像を見ることができ、また、処理後画像を見たい場合もその画像を見ることができる。
以上、図面を参照して本発明の実施形態について、照射装置が電磁波を照射する面を基準としたｘ軸、ｙ軸、ｚ軸を参照して本発明を例示したが、必ずしもこのｘ軸、ｙ軸、ｚ軸を基準軸とする必要はなく、線形独立な３つのベクトルで表現される任意の３軸を用いて、本発明の実施形態と同様の処理を実施してもよい。
以上、本実施形態によれば、画像処理装置２０は、照射装置１０が生成したＩＦ信号を用いて被検体及びその付随物の３次元形状を示す３次元位置情報を生成する。そして画像処理装置２０は、３次元位置情報を用いて、複数の方向から見た２次元画像を生成することができる。このため、付随物が良く見える方向からの２次元画像を生成できるため、付随物を効率よく人に認識させることができる。
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．被検体が通過する領域に、波長が３０マイクロメートル以上１メートル以下の電磁波を照射する送信手段と、
前記電磁波が前記被検体によって反射された反射波を受信し、受信した反射波から中間周波数信号であるＩＦ信号を生成する受信手段と
を有する照射装置とともに使用され、
前記照射装置から、前記被検体のうち前記電磁波が照射された部分から前記照射装置までの距離及び前記照射装置を基準としたときの当該部分の角度を特定するための前記ＩＦ信号を取得する取得手段と、
前記ＩＦ信号を処理することにより、前記被検体及び前記被検体の付随物の３次元形状を示す３次元位置情報を生成する処理手段と、
前記３次元位置情報を処理することにより、少なくとも、前記被検体及び前記付随物を第１方向から見たときの２次元画像である第１の２次元画像と、前記被検体及び前記付随物を第２方向から見たときの２次元画像である第２の２次元画像を生成し、前記第１の２次元画像及び前記第２の２次元画像を表示手段に表示させる画像生成手段と、
を備える画像生成装置。
２．上記１に記載の画像生成装置において、
前記画像生成手段は、
前記３次元位置情報を用いて前記被検体の一部である基準点を設定し、
前記基準点を基準に前記３次元位置情報を第１部分情報および第２部分情報に分割し、
前記第１部分情報を処理することにより前記第１の２次元画像を生成し、かつ、前記第２部分情報を処理することにより前記第２の２次元画像を生成する、画像生成装置。
３．上記２に記載の画像生成装置において、
前記第１方向は前記被検体が移動する方向であり、
前記第２方向は前記第１方向とは逆方向であり、
前記画像生成手段は、
前記ＩＦ信号を処理することにより、前記反射波の強度を生成し、
前記反射波の強度を用いて基準点を設定するとともに、当該基準点を通る基準線を設定し、
前記第１方向において前記基準線より後に位置する部分を前記第１部分情報とし、前記第１方向において前記基準線より前に位置する部分を前記第２部分情報とする、画像生成装置。
４．上記１～３のいずれか一項に記載の画像生成装置において、
前記画像生成手段は、
前記３次元位置情報のうち、前記第１方向からみたときに前記付随物と重なる部分を特定し、当該部分のうち前記被検体及び前記付随物以外の領域を、他のデータで上書きし、
前記上書き後の前記３次元位置情報を用いて前記第１の２次元画像を生成する画像生成装置。
５．上記１～４のいずれか一項に記載の画像生成装置において、
前記画像生成手段は、前記第１の２次元画像及び前記第２の２次元画像の少なくとも一方において、前記被検体のうち前記付随物以外の領域の解像度を、前記付随物の解像度よりも下げることにより、処理後画像を生成し、前記処理後画像を前記表示手段に表示させる画像生成装置。
６．上記１～４のいずれか一項に記載の画像生成装置において、
前記画像生成手段は、前記第１の２次元画像及び前記第２の２次元画像の少なくとも一方に対し、前記付随物を切り出した処理後画像を生成し、前記処理後画像を前記表示手段に表示させる画像生成装置。
７．上記５又は６に記載の画像生成装置において、
前記画像生成手段は、前記表示手段に前記少なくとも一方を表示させる第１モードと、前記表示手段に前記処理後画像を表示させる第２モードと、を有している画像生成装置。
８．コンピュータが行う画像生成方法であって、
前記コンピュータは、照射装置とともに使用され、
前記照射装置は、被検体が通過する領域に、波長が３０マイクロメートル以上１メートル以下の電磁波を照射し、前記電磁波が前記被検体によって反射された反射波を受信し、受信した反射波から中間周波数信号であるＩＦ信号を生成し、
前記コンピュータが、
前記照射装置から、前記被検体のうち前記電磁波が照射された部分から前記照射装置までの距離及び前記照射装置を基準としたときの当該部分の角度を特定するための前記ＩＦ信号を取得し、
前記ＩＦ信号を処理することにより、前記被検体及び前記被検体の付随物の３次元形状を示す３次元位置情報を生成し、
前記３次元位置情報を処理することにより、少なくとも、前記被検体及び前記付随物を第１方向から見たときの２次元画像である第１の２次元画像と、前記被検体及び前記付随物を第２方向から見たときの２次元画像である第２の２次元画像を生成し、
前記第１の２次元画像及び前記第２の２次元画像を表示手段に表示させる、画像生成方法。
９．上記８に記載の画像生成方法において、
前記コンピュータは、
前記３次元位置情報を用いて前記被検体の一部である基準点を設定し、
前記基準点を基準に前記３次元位置情報を第１部分情報および第２部分情報に分割し、
前記第１部分情報を処理することにより前記第１の２次元画像を生成し、かつ、前記第２部分情報を処理することにより前記第２の２次元画像を生成する、画像生成方法。
１０．上記９に記載の画像生成方法において、
前記第１方向は前記被検体が移動する方向であり、
前記第２方向は前記第１方向とは逆方向であり、
前記コンピュータは、
前記ＩＦ信号を処理することにより、前記反射波の強度を生成し、
前記反射波の強度を用いて前記基準点を設定するとともに、当該基準点を通る基準線を設定し、
前記第１方向において前記基準線より後に位置する部分を前記第１部分情報とし、前記第１方向において前記基準線より前に位置する部分を前記第２部分情報とする、画像生成方法。
１１．上記８～１０のいずれか一項に記載の画像生成方法において、
前記コンピュータは、
前記３次元位置情報のうち、前記第１方向からみたときに前記付随物と重なる部分を特定し、当該部分のうち前記被検体及び前記付随物以外の領域を、他のデータで上書きし、
前記上書き後の前記３次元位置情報を用いて前記第１の２次元画像を生成する画像生成方法。
１２．上記８～１１のいずれか一項に記載の画像生成方法において、
前記コンピュータは、前記第１の２次元画像及び前記第２の２次元画像の少なくとも一方において、前記被検体のうち前記付随物以外の領域の解像度を、前記付随物の解像度よりも下げることにより、処理後画像を生成し、前記処理後画像を前記表示手段に表示させる画像生成方法。
１３．上記８～１１のいずれか一項に記載の画像生成方法において、
前記コンピュータは、前記第１の２次元画像及び前記第２の２次元画像の少なくとも一方に対し、前記付随物を切り出した処理後画像を生成し、前記処理後画像を前記表示手段に表示させる画像生成方法。
１４．上記１２又は１３に記載の画像生成方法において、
前記コンピュータは、前記表示手段に前記少なくとも一方を表示させる第１モードと、前記表示手段に前記処理後画像を表示させる第２モードと、を有している画像生成方法。
１５．照射装置とともに使用されるコンピュータで実行されるプログラムであって、
前記照射装置は、被検体が通過する領域に、波長が３０マイクロメートル以上１メートル以下の電磁波を照射し、前記電磁波が前記被検体によって反射された反射波を受信し、受信した反射波から中間周波数信号であるＩＦ信号を生成し、
前記コンピュータに、
前記照射装置から、前記被検体のうち前記電磁波が照射された部分から前記照射装置までの距離及び前記照射装置を基準としたときの当該部分の角度を特定するための前記ＩＦ信号を取得する機能と、
前記ＩＦ信号を処理することにより、前記被検体及び前記被検体の付随物の３次元形状を示す３次元位置情報を生成する機能と、
前記３次元位置情報を処理することにより、少なくとも、前記被検体及び前記付随物を第１方向から見たときの２次元画像である第１の２次元画像と、前記被検体及び前記付随物を第２方向から見たときの２次元画像である第２の２次元画像を生成する機能と、
前記第１の２次元画像及び前記第２の２次元画像を表示手段に表示させる機能と、
を持たせるプログラム。
１６．上記１５に記載のプログラムにおいて、
前記コンピュータに、
前記３次元位置情報を用いて前記被検体の一部である基準点を設定する機能と、
前記基準点を基準に前記３次元位置情報を第１部分情報および第２部分情報に分割する機能と、
前記第１部分情報を処理することにより前記第１の２次元画像を生成し、かつ、前記第２部分情報を処理することにより前記第２の２次元画像を生成する機能と、
を持たせるプログラム。
１７．上記１６に記載のプログラムにおいて、
前記第１方向は前記被検体が移動する方向であり、
前記第２方向は前記第１方向とは逆方向であり、
前記コンピュータに、
前記ＩＦ信号を処理することにより、前記反射波の強度を生成する機能と、
前記反射波の強度を用いて前記基準点を設定するとともに、当該基準点を通る基準線を設定する機能と、
前記第１方向において前記基準線より後に位置する部分を前記第１部分情報とし、前記第１方向において前記基準線より前に位置する部分前記第２部分情報とする機能と、
を持たせるプログラム。
１８．上記１５～１７のいずれか一項に記載のプログラムにおいて、
前記コンピュータに、
前記３次元位置情報のうち、前記第１方向からみたときに前記付随物と重なる部分を特定し、当該部分のうち前記被検体及び前記付随物以外の領域を、他のデータで上書きする機能と、
前記上書き後の前記３次元位置情報を用いて前記第１の２次元画像を生成する機能と、
を持たせるプログラム。
１９．上記１５～１８のいずれか一項に記載のプログラムにおいて、
前記コンピュータに、前記第１の２次元画像及び前記第２の２次元画像の少なくとも一方において、前記被検体のうち前記付随物以外の領域の解像度を、前記付随物の解像度よりも下げることにより、処理後画像を生成し、前記処理後画像を前記表示手段に表示させる機能を持たせるプログラム。
２０．上記１５～１８のいずれか一項に記載のプログラムにおいて、
前記コンピュータに、前記第１の２次元画像及び前記第２の２次元画像の少なくとも一方に対し、前記付随物を切り出した処理後画像を生成し、前記処理後画像を前記表示手段に表示させる機能を持たせるプログラム。
２１．上記１９又は２０に記載のプログラムにおいて、
前記コンピュータに、前記表示手段に前記少なくとも一方を表示させる第１モードと、前記表示手段に前記処理後画像を表示させる第２モードと、を持たせるプログラム。
１０ 照射装置
２０ 画像処理装置
３０ 表示装置
１１０ 送信部
１２０ 制御部
１３０ 受信部
１４０ データ転送部
１５０ 可視光撮像部
２１０ 取得部
２２０ ＩＦ信号処理部
２３０ 画像生成部
２４０ 入力部
２５０ 記憶部

Claims (11)

  1. 被検体が通過する領域に、波長が３０マイクロメートル以上１メートル以下の電磁波を照射する送信手段と、
    前記電磁波が前記被検体によって反射された反射波を受信し、受信した反射波から中間周波数信号であるＩＦ信号を生成する受信手段と
    を有する照射装置とともに使用され、
    前記照射装置から、前記被検体のうち前記電磁波が照射された部分から前記照射装置までの距離及び前記照射装置を基準としたときの当該部分の角度を特定するための前記ＩＦ信号を取得する取得手段と、
    前記ＩＦ信号を処理することにより、前記被検体及び前記被検体の付随物の３次元形状を示す３次元位置情報を生成する処理手段と、
    前記３次元位置情報を処理することにより、少なくとも、前記被検体及び前記付随物を第１方向から見たときの２次元画像である第１の２次元画像と、前記被検体及び前記付随物を第２方向から見たときの２次元画像である第２の２次元画像を生成し、前記第１の２次元画像及び前記第２の２次元画像を表示手段に表示させる画像生成手段と、
    を備え、
    前記画像生成手段は、
    前記３次元位置情報を用いて前記被検体の一部である基準点を設定し、
    前記基準点を基準に前記３次元位置情報を第１部分情報および第２部分情報に分割し、
    前記第１部分情報を処理することにより前記第１の２次元画像を生成し、かつ、前記第２部分情報を処理することにより前記第２の２次元画像を生成する、画像生成装置。
  2. 請求項１に記載の画像生成装置において、
    前記第１方向は前記被検体が移動する方向であり、
    前記第２方向は前記第１方向とは逆方向であり、
    前記画像生成手段は、
    前記ＩＦ信号を処理することにより、前記反射波の強度を生成し、
    前記反射波の強度を用いて前記基準点を設定するとともに、当該基準点を通る基準線を設定し、
    前記第１方向において前記基準線より後に位置する部分を前記第１部分情報とし、前記第１方向において前記基準線より前に位置する部分を前記第２部分情報とする、画像生成装置。
  3. 請求項１又は２に記載の画像生成装置において、
    前記画像生成手段は、
    前記３次元位置情報のうち、前記第１方向からみたときに前記付随物と重なる部分を特定し、当該部分のうち前記被検体及び前記付随物以外の領域を、他のデータで上書きし、
    前記上書き後の前記３次元位置情報を用いて前記第１の２次元画像を生成する画像生成装置。
  4. 被検体が通過する領域に、波長が３０マイクロメートル以上１メートル以下の電磁波を照射する送信手段と、
    前記電磁波が前記被検体によって反射された反射波を受信し、受信した反射波から中間周波数信号であるＩＦ信号を生成する受信手段と
    を有する照射装置とともに使用され、
    前記照射装置から、前記被検体のうち前記電磁波が照射された部分から前記照射装置までの距離及び前記照射装置を基準としたときの当該部分の角度を特定するための前記ＩＦ信号を取得する取得手段と、
    前記ＩＦ信号を処理することにより、前記被検体及び前記被検体の付随物の３次元形状を示す３次元位置情報を生成する処理手段と、
    前記３次元位置情報を処理することにより、少なくとも、前記被検体及び前記付随物を第１方向から見たときの２次元画像である第１の２次元画像と、前記被検体及び前記付随物を第２方向から見たときの２次元画像である第２の２次元画像を生成し、前記第１の２次元画像及び前記第２の２次元画像を表示手段に表示させる画像生成手段と、
    を備え、
    前記画像生成手段は、
    前記３次元位置情報のうち、前記第１方向からみたときに前記付随物と重なる部分を特定し、当該部分のうち前記被検体及び前記付随物以外の領域を、他のデータで上書きし、
    前記上書き後の前記３次元位置情報を用いて前記第１の２次元画像を生成する画像生成装置。
  5. 請求項１～４のいずれか一項に記載の画像生成装置において、
    前記画像生成手段は、前記第１の２次元画像及び前記第２の２次元画像の少なくとも一方において、前記被検体のうち前記付随物以外の領域の解像度を、前記付随物の解像度よりも下げることにより、処理後画像を生成し、前記処理後画像を前記表示手段に表示させる画像生成装置。
  6. 請求項１～４のいずれか一項に記載の画像生成装置において、
    前記画像生成手段は、前記第１の２次元画像及び前記第２の２次元画像の少なくとも一方に対し、前記付随物を切り出した処理後画像を生成し、前記処理後画像を前記表示手段に表示させる画像生成装置。
  7. 請求項５又は６に記載の画像生成装置において、
    前記画像生成手段は、前記表示手段に前記少なくとも一方を表示させる第１モードと、前記表示手段に前記処理後画像を表示させる第２モードと、を有している画像生成装置。
  8. コンピュータが行う画像生成方法であって、
    前記コンピュータは、照射装置とともに使用され、
    前記照射装置は、被検体が通過する領域に、波長が３０マイクロメートル以上１メートル以下の電磁波を照射し、前記電磁波が前記被検体によって反射された反射波を受信し、受信した反射波から中間周波数信号であるＩＦ信号を生成し、
    前記コンピュータが、
    前記照射装置から、前記被検体のうち前記電磁波が照射された部分から前記照射装置までの距離及び前記照射装置を基準としたときの当該部分の角度を特定するための前記ＩＦ信号を取得し、
    前記ＩＦ信号を処理することにより、前記被検体及び前記被検体の付随物の３次元形状を示す３次元位置情報を生成し、
    前記３次元位置情報を処理することにより、少なくとも、前記被検体及び前記付随物を第１方向から見たときの２次元画像である第１の２次元画像と、前記被検体及び前記付随物を第２方向から見たときの２次元画像である第２の２次元画像を生成し、
    前記第１の２次元画像及び前記第２の２次元画像を表示手段に表示させることを含み、
    前記第１の２次元画像及び前記第２の２次元画像を生成することは、
    前記３次元位置情報を用いて前記被検体の一部である基準点を設定し、
    前記基準点を基準に前記３次元位置情報を第１部分情報および第２部分情報に分割し、
    前記第１部分情報を処理することにより前記第１の２次元画像を生成し、かつ、前記第２部分情報を処理することにより前記第２の２次元画像を生成することを含む、画像生成方法。
  9. コンピュータが行う画像生成方法であって、
    前記コンピュータは、照射装置とともに使用され、
    前記照射装置は、被検体が通過する領域に、波長が３０マイクロメートル以上１メートル以下の電磁波を照射し、前記電磁波が前記被検体によって反射された反射波を受信し、受信した反射波から中間周波数信号であるＩＦ信号を生成し、
    前記コンピュータが、
    前記照射装置から、前記被検体のうち前記電磁波が照射された部分から前記照射装置までの距離及び前記照射装置を基準としたときの当該部分の角度を特定するための前記ＩＦ信号を取得し、
    前記ＩＦ信号を処理することにより、前記被検体及び前記被検体の付随物の３次元形状を示す３次元位置情報を生成し、
    前記３次元位置情報を処理することにより、少なくとも、前記被検体及び前記付随物を第１方向から見たときの２次元画像である第１の２次元画像と、前記被検体及び前記付随物を第２方向から見たときの２次元画像である第２の２次元画像を生成し、
    前記第１の２次元画像及び前記第２の２次元画像を表示手段に表示させることを含み、
    前記第１の２次元画像及び前記第２の２次元画像を生成することは、
    前記３次元位置情報のうち、前記第１方向からみたときに前記付随物と重なる部分を特定し、当該部分のうち前記被検体及び前記付随物以外の領域を、他のデータで上書きし、
    前記上書き後の前記３次元位置情報を用いて前記第１の２次元画像を生成することを含む、画像生成方法。
  10. 照射装置とともに使用されるコンピュータで実行されるプログラムであって、
    前記照射装置は、被検体が通過する領域に、波長が３０マイクロメートル以上１メートル以下の電磁波を照射し、前記電磁波が前記被検体によって反射された反射波を受信し、受信した反射波から中間周波数信号であるＩＦ信号を生成し、
    前記コンピュータに、
    前記照射装置から、前記被検体のうち前記電磁波が照射された部分から前記照射装置までの距離及び前記照射装置を基準としたときの当該部分の角度を特定するための前記ＩＦ信号を取得する機能と、
    前記ＩＦ信号を処理することにより、前記被検体及び前記被検体の付随物の３次元形状を示す３次元位置情報を生成する機能と、
    前記３次元位置情報を処理することにより、少なくとも、前記被検体及び前記付随物を第１方向から見たときの２次元画像である第１の２次元画像と、前記被検体及び前記付随物を第２方向から見たときの２次元画像である第２の２次元画像を生成する機能と、
    前記第１の２次元画像及び前記第２の２次元画像を表示手段に表示させる機能と、
    を持たせ、
    前記第１の２次元画像および前記第２の２次元画像を生成する機能は、
    前記３次元位置情報を用いて前記被検体の一部である基準点を設定し、
    前記基準点を基準に前記３次元位置情報を第１部分情報および第２部分情報に分割し、
    前記第１部分情報を処理することにより前記第１の２次元画像を生成し、かつ、前記第２部分情報を処理することにより前記第２の２次元画像を生成する、プログラム。
  11. 照射装置とともに使用されるコンピュータで実行されるプログラムであって、
    前記照射装置は、被検体が通過する領域に、波長が３０マイクロメートル以上１メートル以下の電磁波を照射し、前記電磁波が前記被検体によって反射された反射波を受信し、受信した反射波から中間周波数信号であるＩＦ信号を生成し、
    前記コンピュータに、
    前記照射装置から、前記被検体のうち前記電磁波が照射された部分から前記照射装置までの距離及び前記照射装置を基準としたときの当該部分の角度を特定するための前記ＩＦ信号を取得する機能と、
    前記ＩＦ信号を処理することにより、前記被検体及び前記被検体の付随物の３次元形状を示す３次元位置情報を生成する機能と、
    前記３次元位置情報を処理することにより、少なくとも、前記被検体及び前記付随物を第１方向から見たときの２次元画像である第１の２次元画像と、前記被検体及び前記付随物を第２方向から見たときの２次元画像である第２の２次元画像を生成する機能と、
    前記第１の２次元画像及び前記第２の２次元画像を表示手段に表示させる機能と、
    を持たせ、
    前記第１の２次元画像および前記第２の２次元画像を生成する機能は、
    前記３次元位置情報のうち、前記第１方向からみたときに前記付随物と重なる部分を特定し、当該部分のうち前記被検体及び前記付随物以外の領域を、他のデータで上書きし、
    前記上書き後の前記３次元位置情報を用いて前記第１の２次元画像を生成する、プログラム。
JP2021553879A 2019-10-25 2019-10-25 画像生成装置、画像生成方法、及びプログラム Active JP7351345B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/042030 WO2021079517A1 (ja) 2019-10-25 2019-10-25 画像生成装置、画像生成方法、及びプログラム

Publications (3)

Publication Number Publication Date
JPWO2021079517A1 JPWO2021079517A1 (ja) 2021-04-29
JPWO2021079517A5 JPWO2021079517A5 (ja) 2022-07-13
JP7351345B2 true JP7351345B2 (ja) 2023-09-27

Family

ID=75620599

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021553879A Active JP7351345B2 (ja) 2019-10-25 2019-10-25 画像生成装置、画像生成方法、及びプログラム

Country Status (3)

Country Link
US (1) US20220366614A1 (ja)
JP (1) JP7351345B2 (ja)
WO (1) WO2021079517A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000111635A (ja) 1998-08-04 2000-04-21 Japan Radio Co Ltd ３次元レ―ダ装置
WO2005084027A1 (ja) 2004-02-26 2005-09-09 Olympus Corporation 画像生成装置、画像生成プログラム、及び画像生成方法
JP2007532907A (ja) 2004-04-14 2007-11-15 セイフビュー・インコーポレーテッド 強化された監視被写体撮像
JP2017508949A (ja) 2013-11-19 2017-03-30 アプステック システムズ ユーエスエー エルエルシー 能動マイクロ波装置及び検出方法
JP2017223575A (ja) 2016-06-16 2017-12-21 日本信号株式会社 物体検出装置
JP2018146257A (ja) 2017-03-01 2018-09-20 株式会社東芝 危険物検知装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5022062A (en) * 1989-09-13 1991-06-04 American Science And Engineering, Inc. Automatic threat detection based on illumination by penetrating radiant energy using histogram processing
US7405692B2 (en) * 2001-03-16 2008-07-29 Battelle Memorial Institute Detecting concealed objects at a checkpoint
US8350747B2 (en) * 2004-04-14 2013-01-08 L-3 Communications Security And Detection Systems, Inc. Surveillance with subject screening
US7205926B2 (en) * 2004-04-14 2007-04-17 Safeview, Inc. Multi-source surveillance system
IL186884A (en) * 2007-10-24 2014-04-30 Elta Systems Ltd Object simulation system and method
ATE553397T1 (de) * 2008-12-30 2012-04-15 Sony Corp Kameraunterstütztes abtastabbildungssystem und mehrfachaspekt-abbildungssystem
DE102013218555A1 (de) * 2013-07-18 2015-01-22 Rohde & Schwarz Gmbh & Co. Kg System und Verfahren zur Ausleuchtung und Abbildung eines Objekts
MX361149B (es) * 2014-03-07 2018-11-28 Rapiscan Systems Inc Detectores de banda ultra ancha.
US10499021B2 (en) * 2017-04-11 2019-12-03 Microsoft Technology Licensing, Llc Foveated MEMS scanning display

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000111635A (ja) 1998-08-04 2000-04-21 Japan Radio Co Ltd ３次元レ―ダ装置
WO2005084027A1 (ja) 2004-02-26 2005-09-09 Olympus Corporation 画像生成装置、画像生成プログラム、及び画像生成方法
JP2007532907A (ja) 2004-04-14 2007-11-15 セイフビュー・インコーポレーテッド 強化された監視被写体撮像
JP2017508949A (ja) 2013-11-19 2017-03-30 アプステック システムズ ユーエスエー エルエルシー 能動マイクロ波装置及び検出方法
JP2017223575A (ja) 2016-06-16 2017-12-21 日本信号株式会社 物体検出装置
JP2018146257A (ja) 2017-03-01 2018-09-20 株式会社東芝 危険物検知装置

Also Published As

Publication number Publication date
JPWO2021079517A1 (ja) 2021-04-29
US20220366614A1 (en) 2022-11-17
WO2021079517A1 (ja) 2021-04-29

Similar Documents

Publication Publication Date Title
US11379948B2 (en) Mixed reality system with virtual content warping and method of generating virtual content using same
US8089396B2 (en) System and method for volume visualization in ultra-wideband radar
US20130107010A1 (en) Surface segmentation from rgb and depth images
CN108805946B (zh) 用于为二维超声图像绘阴影的方法和系统
US9123139B2 (en) Ultrasonic image processing with directional interpolation in order to increase the resolution of an image
JP6688618B2 (ja) 医用画像処理装置及び医用画像診断装置
CN109791692A (zh) 使用来自感兴趣区域的不同视角的多个图像进行计算机辅助检测以提高检测准确度
US20110292179A1 (en) Imaging system and method
CN113160328B (zh) 一种外参标定方法、系统、机器人和存储介质
JP2012252697A (ja) ボリューム・レンダリングした画像内の３ｄカーソルの深さを示すための方法及びシステム
US11967094B2 (en) Detecting device, information processing device, detecting method, and information processing program
JP2008259699A (ja) 画像処理方法および装置並びにプログラム
US20230245396A1 (en) System and method for three-dimensional scene reconstruction and understanding in extended reality (xr) applications
JP7351345B2 (ja) 画像生成装置、画像生成方法、及びプログラム
JP2006081771A (ja) 電磁波を用いた生物体に関する情報の推定方法および装置
EP4258221A2 (en) Image processing apparatus, image processing method, and program
CN116977911A (zh) 基于注意力机制的目标检测模型及其训练方法、目标检测方法
CN112515705B (zh) 用于投影轮廓启用的计算机辅助检测的方法和系统
JPWO2018056129A1 (ja) 情報処理装置、情報処理方法、および記憶媒体
JP6741154B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7435824B2 (ja) レーダ装置、イメージング方法、およびプログラム
Bremner et al. Impact of resolution, colour, and motion on object identification in digital twins from robot sensor data
WO2021079518A1 (ja) 対象物検出装置、対象物検出方法、及びプログラム
Hahne Real-time depth imaging
CN109602430A (zh) 骨科射线成像机

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220414

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230828

R151 Written notification of patent or utility model registration

Ref document number: 7351345

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151