JPWO2020246288A1 - 画像処理装置、画像処理プログラム及び画像処理方法 - Google Patents

画像処理装置、画像処理プログラム及び画像処理方法 Download PDF

Info

Publication number
JPWO2020246288A1
JPWO2020246288A1 JP2021524766A JP2021524766A JPWO2020246288A1 JP WO2020246288 A1 JPWO2020246288 A1 JP WO2020246288A1 JP 2021524766 A JP2021524766 A JP 2021524766A JP 2021524766 A JP2021524766 A JP 2021524766A JP WO2020246288 A1 JPWO2020246288 A1 JP WO2020246288A1
Authority
JP
Japan
Prior art keywords
subject
posture
image
feature
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021524766A
Other languages
English (en)
Other versions
JP7128356B2 (ja
Inventor
達哉 海野
憲一郎 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mayekawa Manufacturing Co
Original Assignee
Mayekawa Manufacturing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mayekawa Manufacturing Co filed Critical Mayekawa Manufacturing Co
Publication of JPWO2020246288A1 publication Critical patent/JPWO2020246288A1/ja
Application granted granted Critical
Publication of JP7128356B2 publication Critical patent/JP7128356B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A22—BUTCHERING; MEAT TREATMENT; PROCESSING POULTRY OR FISH
    • A22C—PROCESSING MEAT, POULTRY, OR FISH
    • A22C17/00—Other devices for processing meat or bones
    • A22C17/0073—Other devices for processing meat or bones using visual recognition, X-rays, ultrasounds, or other contactless means to determine quality or size of portioned meat
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V5/00—Prospecting or detecting by the use of ionising radiation, e.g. of natural or induced radioactivity
    • G01V5/20—Detecting prohibited goods, e.g. weapons, explosives, hazardous substances, contraband or smuggled objects
    • G01V5/22—Active interrogation, i.e. by irradiating objects or goods using external radiation sources, e.g. using gamma rays or cosmic rays
    • G01V5/226—Active interrogation, i.e. by irradiating objects or goods using external radiation sources, e.g. using gamma rays or cosmic rays using tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G01N23/046—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material using tomography, e.g. computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Analytical Chemistry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Zoology (AREA)
  • Pulmonology (AREA)
  • Food Science & Technology (AREA)
  • Medical Informatics (AREA)
  • Wood Science & Technology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

画像処理装置は、所定の姿勢と所定の形状を取る被写体を描出している画像、所定の姿勢との関係が既知である第一姿勢と、所定の形状との関係が既知である第一形状とを取る被写体を描出している第一参照画像及び所定の姿勢と異なる第二姿勢と、所定の形状と異なる第二形状との少なくとも一方を取る被写体を描出している第二参照画像を取得し、画像に描出されている被写体の特徴を示す特徴データ及び第一参照画像に描出されている被写体の特徴を示す第一参照データを抽出し、第二参照画像に描出されている被写体の特徴を示す第二参照データを抽出し、第一参照データを使用して第一参照画像において特徴データにより示される特徴が位置する箇所を特定し、第一姿勢と第二姿勢との関係及び第一形状と第二形状との関係の少なくとも一方を使用して第二姿勢と、第二形状との少なくとも一方を取る被写体において特徴データにより示される特徴が位置する箇所を特定する。

Description

本発明は、画像処理装置、画像処理プログラム及び画像処理方法に関する。
近年、被写体を立体的に描出している立体画像と、当該被写体を描出している画像とを組み合わせて使用する技術が様々な分野で活用されている。例えば、特許文献１には、放射線透過画像において検査位置の透過像の位置を特定するステップと、透過像の位置から３次元画像における検査位置を特定するステップとを有する技術が開示されている。
特開２０１９−０６０８０８号公報
しかし、特許文献１に係る技術は、被検査体である基板を保持した基板保持部と検出器とを放射線発生器に対して相対移動させて透過画像を複数取得し、これらの透過画像の全てに共通するパターンやマークの像の再構成画像上における位置を特定して検査面画像を決定している。つまり、特許文献１に係る技術は、複数の透過画像に共通するパターンやマークの像が無い限り、検査面画像を決定することができない。
一方、例えば、食品加工の分野では、食品加工ラインのレイアウト、生産効率等に関する制約から、被写体の画像を撮像し、被写体にロボットアームによる搬送、カット等の処理を施した後、当該画像を使用することが要求されることがある。ところが、当該処理により被写体の姿勢及び形状の少なくとも一方が変化することがあるため、当該画像を使用し得ないことがある。
そこで、本発明は、被写体の姿勢及び形状の少なくとも一方が変化する前に撮像された画像を被写体の姿勢及び形状の少なくとも一方が変化した後でも使用可能にすることができる画像処理装置、画像処理プログラム及び画像処理方法を提供することを課題とする。
（１）上記課題を解決するために、本発明の一態様に係る画像処理装置は、所定の姿勢と所定の形状を取る被写体を描出している画像、前記所定の姿勢との関係が既知である第一姿勢と、前記所定の形状との関係が既知である第一形状とを取る前記被写体を描出している第一参照画像及び前記所定の姿勢と異なる第二姿勢と、前記所定の形状と異なる第二形状との少なくとも一方を取る前記被写体を描出している第二参照画像を取得する取得部と、前記画像に描出されている前記被写体の特徴を示す特徴データを抽出し、前記第一参照画像に描出されている前記被写体の特徴を示す第一参照データを抽出し、前記第二参照画像に描出されている前記被写体の特徴を示す第二参照データを抽出し、前記第一参照データを使用して前記第一参照画像において前記特徴データにより示される特徴が位置する箇所を特定し、前記第一参照データから導出される前記被写体の前記第一姿勢と前記第二参照データから導出される前記被写体の前記第二姿勢との関係及び前記第一参照データから導出される前記被写体の前記第一形状と前記第二参照データから導出される前記被写体の前記第二形状との関係の少なくとも一方を使用して前記第二姿勢と、前記第二形状との少なくとも一方を取る前記被写体において前記特徴データにより示される特徴が位置する箇所を特定する特定部と、を備える。
（２）上記（１）の態様に係る画像処理装置において、前記特定部は、前記第一参照データを使用して前記第一姿勢を特定する処理及び前記第二参照データを使用して前記第二姿勢を特定する処理の少なくとも一方を実行してもよい。
（３）上記（２）の態様に係る画像処理装置において、前記特定部は、前記被写体に所定の処理が施されても前記被写体における位置が一定のままである特徴を示す前記第一参照データ及び前記被写体に前記所定の処理が施されても前記被写体における位置が一定のままである特徴を示す前記第二参照データの少なくとも一方を抽出してもよい。
（４）上記（２）又は（３）のいずれか一つの態様に係る画像処理装置において、前記特定部は、第一直線の上に位置する二つの第一特徴点及び前記第一直線の上に位置する点と異なる前記第一特徴点を示す前記第一参照データを抽出する処理及び第二直線の上に位置する二つの第二特徴点及び前記第二直線の上に位置する点と異なる前記第二特徴点を示す前記第二参照データを抽出する処理の少なくとも一方を実行してもよい。
（５）上記課題を解決するために、本発明の一態様に係る画像処理プログラムは、コンピュータに、所定の姿勢と所定の形状を取る被写体を描出している画像、前記所定の姿勢との関係が既知である第一姿勢と、前記所定の形状との関係が既知である第一形状とを取る前記被写体を描出している第一参照画像及び前記所定の姿勢と異なる第二姿勢と、前記所定の形状と異なる第二形状との少なくとも一方を取る前記被写体を描出している第二参照画像を取得する取得機能と、前記画像に描出されている前記被写体の特徴を示す特徴データを抽出し、前記第一参照画像に描出されている前記被写体の特徴を示す第一参照データを抽出し、前記第二参照画像に描出されている前記被写体の特徴を示す第二参照データを抽出し、前記第一参照データを使用して前記第一参照画像において前記特徴データにより示される特徴が位置する箇所を特定し、前記第一参照データから導出される前記被写体の前記第一姿勢と前記第二参照データから導出される前記被写体の前記第二姿勢との関係及び前記第一参照データから導出される前記被写体の前記第一形状と前記第二参照データから導出される前記被写体の前記第二形状との関係の少なくとも一方を使用して前記第二姿勢と、前記第二形状との少なくとも一方を取る前記被写体において前記特徴データにより示される特徴が位置する箇所を特定する特定機能と、を実現させる。
（６）上記課題を解決するために、本発明の一態様に係る画像処理方法は、所定の姿勢と所定の形状を取る被写体を描出している画像、前記所定の姿勢との関係が既知である第一姿勢と、前記所定の形状との関係が既知である第一形状とを取る前記被写体を描出している第一参照画像及び前記所定の姿勢と異なる第二姿勢と、前記所定の形状と異なる第二形状との少なくとも一方を取る前記被写体を描出している第二参照画像を取得する取得ステップと、前記画像に描出されている前記被写体の特徴を示す特徴データを抽出し、前記第一参照画像に描出されている前記被写体の特徴を示す第一参照データを抽出し、前記第二参照画像に描出されている前記被写体の特徴を示す第二参照データを抽出し、前記第一参照データを使用して前記第一参照画像において前記特徴データにより示される特徴が位置する箇所を特定し、前記第一参照データから導出される前記被写体の前記第一姿勢と前記第二参照データから導出される前記被写体の前記第二姿勢との関係及び前記第一参照データから導出される前記被写体の前記第一形状と前記第二参照データから導出される前記被写体の前記第二形状との関係の少なくとも一方を使用して前記第二姿勢と、前記第二形状との少なくとも一方を取る前記被写体において前記特徴データにより示される特徴が位置する箇所を特定する特定ステップと、を含む。
本発明によれば、被写体の姿勢及び形状の少なくとも一方が変化する前に撮像された画像を被写体の姿勢及び形状の少なくとも一方が変化した後でも使用可能にすることができる。
本発明の実施形態に係る食品加工ラインの一例を示す図である。 本発明の実施形態に係る画像処理装置の機能的な構成の一例を示す図である。 本発明の実施形態に係るＸ線画像から抽出された特徴点及び第一立体画像から抽出された第一特徴点の一例を示す図である。 本発明の実施形態に係る第二立体画像から抽出された第二特徴点の一例を示す図である。 本発明の実施形態に係る被写体及び当該被写体の特徴を描出しているＸ線画像の一例を示す図である。 本発明の実施形態に係る被写体及び当該被写体の特徴を描出している第一立体画像の一例を示す図である。 本発明の実施形態に係る被写体及び当該被写体の特徴を描出している第二立体画像の一例を示す図である。 図７に示した被写体において特徴データにより示される特徴が位置する箇所の一例を示す図である。 本発明の実施形態に係る被写体及び当該被写体の特徴を描出している第二立体画像の一例を示す図である。 図９に示した被写体において特徴データにより示される特徴が位置する箇所の一例を示す図である。 本発明の実施形態に係る画像処理装置が実行する処理の一例を示すフローチャートである。
図１から図１０を参照しながら、実施形態に係る画像処理装置について説明する。図１は、本発明の実施形態に係る食品加工ラインの一例を示す図である。図１に示すように、食品加工ライン１は、ベルトコンベア１１と、ベルトコンベア１２と、ベルトコンベア１３と、Ｘ線撮像装置２０と、第一立体画像撮像装置２１と、第二立体画像撮像装置２２と、多関節ロボット３１と、多関節ロボット３２とを備える。以下の説明では、被写体Ｐが恥骨、尾骨及びヒトの骨盤に相当する寛骨を含む豚もも肉である場合を例に挙げて説明する。
ベルトコンベア１１、ベルトコンベア１２及びベルトコンベア１３は、いずれもベルトを回転させ被写体Ｐを搬送する。また、ベルトコンベア１１、ベルトコンベア１２及びベルトコンベア１３は、いずれも必要に応じてベルトを停止させることにより、被写体Ｐの搬送を停止させる。ベルトコンベア１１及びベルトコンベア１３は、被写体Ｐを真っ直ぐ搬送するベルトコンベアである。一方、ベルトコンベア１２は、被写体Ｐが搬送される方向を９０度変化させるベルトコンベアである。
Ｘ線撮像装置２０は、ベルトコンベア１１で被写体Ｐを搬送中に、姿勢が変わらない状態で被写体ＰにＸ線を照射し、被写体ＰのＸ線画像を撮像する。Ｘ線撮像装置２０は、Ｘ線管及びＸ線検出器を備える。Ｘ線画像は、所定の姿勢及び所定の形状を取る被写体Ｐを描出している画像の一例であり、少なくとも被写体Ｐに含まれる肉及び骨を描出している。また、Ｘ線画像は、Ｘ線撮像装置２０の内部又は外部に設けられている記憶媒体に格納される。Ｘ線画像の使用方法は、後述する。また、Ｘ線撮像装置２０には、Ｘ線の漏洩を防ぎ、作業員や周囲に配置されている設備を防護するために設けられたＸ線遮蔽設備が付帯している。
第一立体画像撮像装置２１は、ベルトコンベア１１上で静止し、Ｘ線撮像装置２０によりＸ線画像が撮像される姿勢と同一の姿勢及び同一の形状を取る被写体Ｐを立体的に描出する第一立体画像を撮像する。第一立体画像は、所定の姿勢との関係が既知である第一姿勢及び所定の形状との関係が既知である第一形状を取る被写体を描出している第一参照画像の一例である。また、第一立体画像は、例えば、各画素にＸ軸方向の奥行きを示すグレースケールが割り当てられている画像、各画素にＹ軸方向の奥行きを示すグレースケールが割り当てられている画像及び各画素にＺ軸方向の奥行きを示すグレースケールが割り当てられている画像を含む。ここで言うＸ軸、Ｙ軸及びＺ軸は、いずれも三次元座標を規定する座標軸である。第一立体画像は、第一立体画像撮像装置２１、Ｘ線撮像装置２０の内部又は外部に設けられている記憶媒体に格納される。第一立体画像の使用方法は、後述する。
被写体Ｐは、Ｘ線撮像装置２０によるＸ線画像の撮像及び第一立体画像撮像装置２１による第一立体画像の撮像が完了した後、ベルトコンベア１１及びベルトコンベア１２により搬送させ、ベルトコンベア１３上に載置される。
ベルトコンベア１３に載置された被写体Ｐの姿勢は、Ｘ線撮像装置２０によるＸ線画像の撮像及び第一立体画像撮像装置２１による第一立体画像の撮像が実行されている場合における被写体Ｐの姿勢と異なる。なぜなら、被写体Ｐの姿勢は、ベルトコンベア１１、ベルトコンベア１２又はベルトコンベア１３に搬送される際の振動、ベルトコンベア１１とベルトコンベア１２との継ぎ目又はベルトコンベア１２とベルトコンベア１３との継ぎ目を乗り越える際の振動により変化するからである。
第二立体画像撮像装置２２は、ベルトコンベア１３上に載置された被写体Ｐを立体的に描出する第二立体画像を撮像する。また、第二立体画像撮像装置２２は、多関節ロボット３１及び多関節ロボット３２の少なくとも一方による処理を一時的に停止させた状態で第二立体画像を撮像する。第二立体画像は、上述した所定の姿勢と異なる第二姿勢及び上述した所定の形状と異なる第二形状の少なくとも一方を取る被写体Ｐを描出している第二参照画像の一例である。また、第二立体画像は、例えば、上述した第一立体画像と同様、各画素にＸ軸方向の奥行きを示すグレースケールが割り当てられている画像、各画素にＹ軸方向の奥行きを示すグレースケールが割り当てられている画像及び各画素にＺ軸方向の奥行きを示すグレースケールが割り当てられている画像を含む。また、第二立体画像は、Ｘ線画像が撮像された場所と異なる場所で撮像されている。第二立体画像の使用方法は、後述する。
多関節ロボット３１は、例えば、垂直多関節型ロボットであり、先端に被写体Ｐを把持するために使用されるハンドが取り付けられている。多関節ロボット３２は、例えば、垂直多関節型ロボットであり、先端に被写体Ｐに含まれる肉をカットするために使用されるナイフが取り付けられている。多関節ロボット３１は、被写体Ｐを把持したり、移動させたりすることにより、被写体Ｐの位置及び姿勢を適宜調整する。多関節ロボット３２は、被写体Ｐの位置及び姿勢が調整された状態で被写体Ｐに含まれる肉をカットし、被写体Ｐから尾骨や寛骨を除去する。多関節ロボット３１及び多関節ロボット３２は、例えば、後述する画像処理装置１００により特定される第二立体画像内での特徴点の位置に基づいて、これらの処理を実行する。
図２は、本発明の実施形態に係る画像処理装置の機能的な構成の一例を示す図である。図２に示すように、画像処理装置１００は、取得部１０１と、特定部１０２とを備える。
画像処理装置１００が有する機能の少なくとも一部、取得部１０１及び特定部１０２は、回路部（circuitry）を含むハードウェアがソフトウェアプログラムを実行することにより実現される。ここで言うハードウェアは、例えば、ＣＰＵ（Central Processing Unit）、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）である。また、上述したプログラムは、記憶媒体を備える記憶装置に格納されている。ここで言う記憶媒体は、例えば、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、ＲＯＭ（Read Only Memory）、ＤＶＤ（Digital Versatile Disc）である。さらに、上述したプログラムは、画像処理装置１００が有する機能の一部を実現する差分プログラムであってもよい。
取得部１０１は、所定の姿勢及び所定の形状を取る被写体Ｐを描出している画像を取得する。また、取得部１０１は、所定の姿勢との関係が既知である第一姿勢及び所定の形状との関係が既知である第一形状を取る被写体を描出している第一参照画像を取得する。例えば、取得部１０１は、所定の姿勢と同一の姿勢及び所定の形状と同一の形状を取る被写体Ｐを立体的に描出している第一立体画像を取得する。さらに、取得部１０１は、所定の姿勢と異なる第二姿勢及び所定の形状と異なる第二形状の少なくとも一方を取る被写体を描出している第二参照画像を取得する。例えば、取得部１０１は、所定の姿勢と異なる姿勢を取る被写体Ｐを立体的に描出している第二立体画像を取得する。ここで言う所定の姿勢は、例えば、Ｘ線撮像装置２０によるＸ線画像の撮像及び第一立体画像撮像装置２１による第一立体画像の撮像が実行されている場合における被写体Ｐの姿勢である。
図３は、本発明の実施形態に係るＸ線画像から抽出された特徴点及び第一立体画像から抽出された第一特徴点の一例を示す図である。特定部１０２は、Ｘ線画像に描出されている被写体Ｐの特徴を示す特徴データを抽出する。例えば、特定部１０２は、Ｘ線画像に描出されている被写体Ｐ上の特徴点を示す特徴データを抽出する。ここで言う特徴点は、例えば、Ｘ線画像に描出されている被写体Ｐの骨Ｂと肉Ｎとの境界の形状の特徴を表している点である。特定部１０２は、例えば、図３に示した点Ｆ１１、点Ｆ１２、点Ｆ１３、点Ｆ１４及び点Ｆ１５を特徴点として示す特徴データを抽出する。なお、特定部１０２がＸ線画像から特徴データを抽出する手段は、特に限定されない。
また、特定部１０２は、第一参照画像に描出されている被写体Ｐの特徴を示す第一参照データを抽出する。例えば、特定部１０２は、第一立体画像に描出されている被写体Ｐ上の第一特徴点を示す第一参照データを抽出する。ここで言う第一特徴点は、第一直線の上に位置する二つの点及び第一直線の上に位置する点と異なる点であり、被写体Ｐの表面に位置する点である。また、第一特徴点は、被写体Ｐに所定の処理、例えば、多関節ロボット３１及び多関節ロボット３２により実行される処理が施されても被写体Ｐにおける特徴点との位置関係が一定である点であることが好ましい。このような点の例として、尾骨切断面の端部に位置する点、恥骨の切断面の端部に位置する点が挙げられる。特定部１０２は、例えば、図３に示した点Ｃ１１、点Ｃ１２及び点Ｃ１３を第一特徴点として示す第一参照データを抽出する。なお、特定部１０２が第一立体画像から第一参照データを抽出する手段は、特に限定されない。
次に、特定部１０２は、第一参照データを使用して第一参照画像において特徴データにより示される特徴が位置する箇所を特定する。例えば、特定部１０２は、第一特徴点を使用して第一立体画像における特徴点の位置を特定する。次に、特定部１０２は、図３に示した点Ｃ１１を原点とし、点Ｃ１１から点Ｃ１２に向かう座標軸を第一軸Ａ１１とし、点Ｃ１１から点Ｃ１３に向かう座標軸を第二軸Ａ１２とする。また、特定部１０２は、第一軸Ａ１１、第二軸Ａ１２及び第三軸Ａ１３が右手系を形成するように第三軸Ａ１３を決定する。そして、特定部１０２は、第一軸Ａ１１、第二軸Ａ１２及び第三軸Ａ１３により規定される三次元座標における点Ｆ１１、点Ｆ１２、点Ｆ１３、点Ｆ１４及び点Ｆ１５各々の座標を算出する。
特定部１０２は、第一参照データから導出される被写体Ｐの第一姿勢を特定する。具体的には、特定部１０２は、図３に示した点Ｃ１１、点Ｃ１２及び点Ｃ１３を示す第一参照データを使用して第一立体画像により示される被写体Ｐの姿勢を特定する。また、特定部１０２は、第一参照データから導出される被写体Ｐの第一形状を特定する。例えば、特定部１０２は、第一参照画像にエッジ検出を施して検出された被写体Ｐの輪郭を被写体Ｐの第一形状として特定する。
図４は、本発明の実施形態に係る第二立体画像から抽出された第二特徴点の一例を示す図である。特定部１０２は、第二参照画像に描出されている被写体Ｐの特徴を示す第二参照データを抽出する。例えば、特定部１０２は、第二立体画像に描出されている被写体Ｐ上の第二特徴点を示す第二参照データを抽出する。ここで言う第二特徴点は、第二直線の上に位置する二つの点及び第二直線の上に位置する点と異なる点であり、被写体Ｐの表面に位置する点である。また、第二特徴点は、第一特徴点と同様、被写体Ｐに所定の処理、例えば、多関節ロボット３１及び多関節ロボット３２により実行される処理が施されても被写体Ｐにおける特徴点との位置関係が一定である点であることが好ましい。特定部１０２は、例えば、図４に示した点Ｃ２１、点Ｃ２２及び点Ｃ２３を第二特徴点として示す第二参照データを抽出する。なお、特定部１０２が第二立体画像から第二参照データを抽出する手段は、特に限定されない。
また、特定部１０２は、図４に示した点Ｃ２１を原点とし、点Ｃ２１から点Ｃ２２に向かう座標軸を第一軸Ａ２１とし、点Ｃ２１から点Ｃ２３に向かう座標軸を第二軸Ａ２２とする。また、特定部１０２は、第一軸Ａ２１、第二軸Ａ２２及び第三軸Ａ２３が右手系を形成するように第三軸Ａ２３を決定する。
特定部１０２は、第二参照データから導出される被写体Ｐの第二姿勢を特定する。具体的には、特定部１０２は、図４に示した点Ｃ２１、点Ｃ２２及び点Ｃ２３を示す第二参照データを使用して第二立体画像により示される被写体Ｐの姿勢を特定する。また、特定部１０２は、第二参照データから導出される被写体Ｐの第二形状を特定する。例えば、特定部１０２は、第二参照画像にエッジ検出を施して検出された被写体Ｐの輪郭を被写体Ｐの第二形状として特定する。
そして、特定部１０２は、第二姿勢及び第二形状の少なくとも一方を取る被写体Ｐにおいて特徴データにより示される特徴が位置する箇所を特定する。この時、特定部１０２は、第一参照データから導出される被写体Ｐの第一姿勢と第二立体画像から導出される被写体Ｐの第二姿勢との関係及び第一参照データから導出される被写体Ｐの第一形状と第二参照データから導出される被写体Ｐの第二形状との関係の少なくとも一方を使用する。また、この場合に特定部１０２により特定される箇所は、第二参照画像上の位置であってもよいし、第二姿勢及び第二形状の少なくとも一方を取る被写体を撮像したＸ線画像上の位置であってもよい。
例えば、特定部１０２は、第一軸Ａ１１、第二軸Ａ１２及び第三軸Ａ１３により規定される三次元座標系と第一軸Ａ２１、第二軸Ａ２２及び第三軸Ａ２３により規定される三次元座標系との対応関係を導出する。そして、特定部１０２は、当該対応関係を使用して図３に示した点Ｆ１１、点Ｆ１２、点Ｆ１３、点Ｆ１４及び点Ｆ１５各々を図４に示した第一軸Ａ２１、第二軸Ａ２２及び第三軸Ａ２３により規定される三次元座標上の点Ｆ２１、点Ｆ２２、点Ｆ２３、点Ｆ２４及び点Ｆ２５に変換する。点Ｆ２１、点Ｆ２２、点Ｆ２３、点Ｆ２４及び点Ｆ２５は、多関節ロボット３１及び多関節ロボット３２が上述した処理を実行する際の基準となる。
次に、特徴データにより示される被写体Ｐの特徴、第一参照データにより示される被写体Ｐの特徴、第二参照データにより示される被写体Ｐの特徴及び第二姿勢及び第二形状の少なくとも一方を取る被写体Ｐにおいて特徴データにより示される特徴が位置する箇所の一例について説明する。
図５は、本発明の実施形態に係る被写体及び当該被写体の特徴を描出しているＸ線画像の一例を示す図である。図５に示した被写体は、骨と、当該骨の周りに付いている肉を含んでいる。図５に示した点Ａ、点Ｊ、点Ｃ、点Ｄ、点Ｅ、点Ｆ、点Ｇ、点Ｈ、点Ｎ８、点Ｃ５、点Ｃ４、点Ｎ７及び点Ｃ１は、いずれも特徴データにより示される特徴点の一例である。
図６は、本発明の実施形態に係る被写体及び当該被写体の特徴を描出している第一立体画像の一例を示す図である。図６に示した第一立体画像は、図５に示した被写体と同じであり、当該被写体と同一の姿勢及び同一の形状を取る被写体の三次元的な外形を描出している画像である。図６に示した点ｃ１、点ｃ４、点ｃ５、点ｎ７及び点ｎ８は、いずれも第一参照データにより示される第一特徴点の一例であり、被写体の表面上に位置する骨の断面上の点である。
図７は、本発明の実施形態に係る被写体及び当該被写体の特徴を描出している第二立体画像の一例を示す図である。図７に示した第二立体画像は、図５及び図６に示した被写体と同じであり、当該被写体と異なる姿勢及び異なる形状を取る被写体の三次元的な外形を描出している画像である。図７に示した点ｃ1、点ｃ４、点ｃ５、点ｎ７及び点ｎ８は、いずれも第二参照データにより示される第二特徴点の一例であり、被写体の表面上に位置する骨の断面上の点である。
また、図７に示した点ｃ1、点ｎ７及び点ｎ８は、それぞれ三つの特徴点を使用した特徴ベースマッチングにより図６に示した点ｃ1、点ｎ７及び点ｎ８と対応付けられている。そして、これら三つの点の対応関係は、図６に示した第一立体画像に描出されている被写体の姿勢及び形状と、図７に示した第二立体画像に描出されている被写体の姿勢及び形状との関係を決定付けている。なお、特徴ベースマッチングは、複数の画像からエッジ、角等の特徴を抽出し、これらの特徴の関係から複数の画像間でのマッチングを実行する技術である。
図８は、図７に示した被写体において特徴データにより示される特徴が位置する箇所の一例を示す図である。図８に示した画像は、図７に示した被写体と同じであり、当該被写体と同一の姿勢及び同一の形状を取る被写体を描出しているＸ線画像である。図８に示した点Ａ、点Ｊ、点Ｃ、点Ｄ、点Ｅ、点Ｆ、点Ｇ、点Ｈ、点Ｎ８、点Ｃ５、点Ｃ４、点Ｎ７及び点Ｃ１は、それぞれ図５に示した点Ａ、点Ｊ、点Ｃ、点Ｄ、点Ｅ、点Ｆ、点Ｇ、点Ｈ、点Ｎ８、点Ｃ５、点Ｃ４、点Ｎ７及び点Ｃ１と同じ点である。
図９は、本発明の実施形態に係る被写体及び当該被写体の特徴を描出している第二立体画像の一例を示す図である。図９に示した第二立体画像は、図５及び図６に示した被写体と同じであり、当該被写体と異なる姿勢及び異なる形状を取る被写体の三次元的な外形を描出している画像である。ただし、図９に示した第二立体画像に描出されている被写体は、図７に示した第二立体画像に描出されている被写体よりも図５に示した被写体からの姿勢の変化及び形状の変化が大きい。図９に示した点ｃ４、点ｃ５及び点ｃ８は、いずれも第二参照データにより示される第二特徴点の一例であり、被写体の表面上に位置する骨の断面上の点である。
また、図９に示した点ｃ４、点ｃ５及び点ｃ８は、それぞれ三つの特徴点を使用した特徴ベースマッチングにより図６に示した点ｃ４、点ｃ５及び点ｃ８と対応付けられている。そして、これら三つの点の対応関係は、図６に示した第一立体画像に描出されている被写体の姿勢及び形状と、図９に示した第二立体画像に描出されている被写体の姿勢及び形状との関係を決定付けている。
図１０は、図９に示した被写体において特徴データにより示される特徴が位置する箇所の一例を示す図である。図１０に示した画像は、図９に示した被写体と同じであり、当該被写体と同一の姿勢及び同一の形状を取る被写体を描出しているＸ線画像である。図１０に示した点Ａ、点Ｊ、点Ｃ、点Ｄ、点Ｅ、点Ｆ、点Ｇ、点Ｈ、点Ｎ８、点Ｃ５、点Ｃ４、点Ｎ７及び点Ｃ１は、それぞれ図５に示した点Ａ、点Ｊ、点Ｃ、点Ｄ、点Ｅ、点Ｆ、点Ｇ、点Ｈ、点Ｎ８、点Ｃ５、点Ｃ４、点Ｎ７及び点Ｃ１と同じ点である。
次に、図１１を参照しながら、実施形態に係る画像処理装置が実行する処理の一例を説明する。図１１は、本発明の実施形態に係る画像処理装置が実行する処理の一例を示すフローチャートである。なお、画像処理装置１００は、図１１に示した処理を多関節ロボット３１及び多関節ロボット３２による処理が実行される前に実行する。また、画像処理装置１００は、多関節ロボット３１及び多関節ロボット３２による処理を一時的に停止させて図１１に示した処理を実行してもよい。
ステップＳ１０において、取得部１０１は、Ｘ線画像、第一参照画像及び第二参照画像を取得する。
ステップＳ２０において、特定部１０２は、Ｘ線画像に描出されている被写体Ｐの特徴を示す特徴データを抽出する。
ステップＳ３０において、特定部１０２は、第一参照画像に描出されている被写体Ｐの特徴を示す第一参照データを抽出する。
ステップＳ４０において、特定部１０２は、第一参照データを使用して第一参照画像において特徴データにより示される特徴が位置する箇所を特定する。
ステップＳ５０において、特定部１０２は、第二参照画像に描出されている被写体Ｐの特徴を示す第二参照データを抽出する。
ステップＳ６０において、特定部１０２は、第一参照データから導出される被写体Ｐの第一姿勢と第二参照データから導出される被写体Ｐの第二姿勢との関係及び第一参照データから導出される被写体Ｐの第一形状と第二参照データから導出される被写体Ｐの第二形状との関係の少なくとも一方を使用して第二姿勢及び第二形状の少なくとも一方を取る被写体において特徴データにより示される特徴が位置する箇所を特定する。
以上、実施形態に係る画像処理装置１００について説明した。画像処理装置１００は、画像に描出されている被写体Ｐから特徴データを抽出し、第一参照画像に描出されている被写体Ｐから第一参照データを抽出し、第二参照画像に描出されている被写体Ｐから第二参照データを抽出する。画像処理装置１００は、第一参照データを使用して第一参照画像において特徴データにより示される特徴が位置する箇所を特定する。そして、画像処理装置１００は、被写体Ｐの第一姿勢と被写体Ｐの第二姿勢との関係及び被写体Ｐの第一形状と被写体Ｐの第二形状との関係の少なくとも一方を使用して第二姿勢及び第二形状の少なくとも一方を取る被写体Ｐにおいて特徴データにより示される特徴が位置する箇所を特定する。
また、画像処理装置１００は、第一参照データを使用して第一参照画像に描出されている被写体Ｐの第一姿勢を特定し、第二参照画像に描出されている被写体Ｐの第二姿勢を特定する。さらに、画像処理装置１００は、第一直線の上に位置する二つの第一特徴点及び第一直線の上に位置する点と異なる第一特徴点を示す第一参照データを抽出し、第二直線の上に位置する二つの第二特徴点及び第二直線の上に位置する点と異なる第二特徴点を示す第二参照データを抽出する。
したがって、画像処理装置１００は、被写体Ｐの姿勢及び形状の少なくとも一方が変化する前に撮像された画像を被写体の姿勢及び形状の少なくとも一方が変化した後でも使用可能にすることができる。また、これにより、画像処理装置１００は、食品加工ライン１に適用された場合、食品加工ライン１のレイアウトの自由度を向上させることができる。すなわち、画像処理装置１００は、Ｘ線撮像装置やＸ線を遮蔽する設備の数を削減したりすることができる。
また、画像処理装置１００は、被写体Ｐに所定の処理が施されても被写体Ｐにおける位置が一定のままである第一特徴点を抽出し、被写体Ｐに所定の処理が施されても被写体Ｐにおける位置が一定のままである第二特徴点の少なくとも一方を抽出する。したがって、画像処理装置１００は、被写体Ｐに所定の処理が施され、被写体Ｐの形状、位置、姿勢等が変化しても、第一特徴点や第二特徴点をより正確に抽出し、第一特徴点や第二特徴点を使用する処理をより正確に実行することができる。
なお、上述した実施形態では、画像処理装置１００が所定の姿勢及び所定の形状を取る被写体Ｐを描出しているＸ線画像から特徴データを抽出する場合を例に挙げたが、これに限定されない。画像処理装置１００は、Ｘ線撮像装置２０を使用して撮像したＸ線画像ではなく、例えば、Ｘ線ＣＴ（Computed Tomography）装置を使用して被写体Ｐを撮像したＣＴ画像又は磁気共鳴イメージング（ＭＲＩ：Magnetic Resonance Imaging）装置を使用して被写体Ｐを撮像したＭＲＩ画像から特徴データを抽出してもよい。或いは、画像処理装置１００は、被写体Ｐを撮像した超音波画像、赤外線画像、マイクロ波画像、紫外線画像又はテラヘルツ画像から特徴データを抽出してもよい。
また、特徴データが抽出される画像を撮像するＸ線撮像装置２０等の撮像装置は、被写体Ｐの姿勢及び形状の少なくとも一方が変化する場所が当該画像を撮像する場所と異なる場合であっても、食品加工ライン１上の一箇所のみに設置されていることが好ましい。なぜなら、食品加工ライン１は、このような撮像装置が複数設置された場合、全体の管理コストが増加してしまい、画像を生成する処理負荷が増加するため、生産効率が低下してしまうからである。
また、このような撮像装置が放射線を出力する場合、食品加工ライン１は、多関節ロボット３１、多関節ロボット３２等のロボット等に使用されているアクチュエータが放射線により意図しない動作をしてしまうことを避けるため、放射線を遮蔽する設備を必要とする。このため、食品加工ライン１は、当該設備を設置するスペースを確保する必要に迫られ、当該設備の管理コストが全体の管理コストに加算されてしまう。さらに、放射線を遮蔽する設備が鉛等、食品への混入を避ける必要がある物質を含む場合、食品加工ライン１は、当該設備を設置することが困難になる。
また、上述した実施形態では、第一立体画像が撮像される場所と第二立体画像が撮像される場所とが異なる場合を例に挙げたが、これに限定されない。すなわち、第一立体画像が撮像される場所と第二立体画像が撮像される場所とが同じであってもよい。
また、上述した実施形態では、第一立体画像が第一立体画像撮像装置２１により撮像され、第二立体画像が第二立体画像撮像装置２２により撮像される場合を例に挙げたが、これに限定されない。すなわち、第一立体画像及び第二立体画像は、同一の撮像装置により撮像されてもよい。
また、上述した実施形態では、特徴データが被写体Ｐ上の特徴点を示すデータである場合を例に挙げたが、これに限定されない。例えば、特徴データは、Ｘ線画像に描出されている被写体Ｐ上に位置する特徴的な領域である特徴領域、被写体Ｐの特徴的な形状である特徴形状を示すデータであってもよい。
また、上述した実施形態では、第一参照データが被写体Ｐ上の第一特徴点を示すデータである場合を例に挙げたが、これに限定されない。例えば、第一参照データは、第一参照画像に描出されている被写体Ｐ上に位置する特徴的な領域である第一特徴領域、被写体Ｐの特徴的な形状である第一特徴形状を示すデータであってもよい。
また、上述した実施形態では、第二参照データが被写体Ｐ上の第二特徴点を示すデータである場合を例に挙げたが、これに限定されない。例えば、第二参照データは、第二参照画像に描出されている被写体Ｐ上に位置する特徴的な領域である第二特徴領域、被写体Ｐの特徴的な形状である第二特徴形状を示すデータであってもよい。
また、上述した実施形態では、第一参照画像が第一立体画像である場合を例に挙げて説明したが、これに限定されない。すなわち、第一参照画像は、被写体Ｐを立体的に描出している第一立体画像以外の画像であってもよい。
また、上述した実施形態では、第二参照画像が第二立体画像である場合を例に挙げて説明したが、これに限定されない。すなわち、第二参照画像は、被写体Ｐを立体的に描出している第二立体画像以外の画像であってもよい。
また、上述した実施形態では、第一立体画像及び第二立体画像に特徴ベースマッチングを適用して第一特徴点と第二特徴点とを対応付ける場合を例に挙げて説明したが、これに限定されない。画像処理装置１００は、第一立体画像及び第二立体画像に領域ベースマッチングを適用して第一特徴点と第二特徴点とを対応付けてもよい。領域ベースマッチングは、複数の画像間で類似している領域を探索し、当該領域を使用して複数の画像をマッチングさせる技術である。
以上、本発明の実施形態について図面を参照しながら説明した。ただし、画像処理装置１００は、上述した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形、置換、組み合わせ又は設計変更を加えることができる。
１００…画像処理装置、１０１…取得部、１０２…特定部

Claims (6)

  1. 所定の姿勢と所定の形状を取る被写体を描出している画像、前記所定の姿勢との関係が既知である第一姿勢と、前記所定の形状との関係が既知である第一形状とを取る前記被写体を描出している第一参照画像及び前記所定の姿勢と異なる第二姿勢と、前記所定の形状と異なる第二形状との少なくとも一方を取る前記被写体を描出している第二参照画像を取得する取得部と、
    前記画像に描出されている前記被写体の特徴を示す特徴データを抽出し、前記第一参照画像に描出されている前記被写体の特徴を示す第一参照データを抽出し、前記第二参照画像に描出されている前記被写体の特徴を示す第二参照データを抽出し、前記第一参照データを使用して前記第一参照画像において前記特徴データにより示される特徴が位置する箇所を特定し、前記第一参照データから導出される前記被写体の前記第一姿勢と前記第二参照データから導出される前記被写体の前記第二姿勢との関係及び前記第一参照データから導出される前記被写体の前記第一形状と前記第二参照データから導出される前記被写体の前記第二形状との関係の少なくとも一方を使用して前記第二姿勢と、前記第二形状との少なくとも一方を取る前記被写体において前記特徴データにより示される特徴が位置する箇所を特定する特定部と、
    を備える画像処理装置。
  2. 前記特定部は、前記第一参照データを使用して前記第一姿勢を特定する処理及び前記第二参照データを使用して前記第二姿勢を特定する処理の少なくとも一方を実行する、
    請求項１に記載の画像処理装置。
  3. 前記特定部は、前記被写体に所定の処理が施されても前記被写体における位置が一定のままである特徴を示す前記第一参照データ及び前記被写体に前記所定の処理が施されても前記被写体における位置が一定のままである特徴を示す前記第二参照データの少なくとも一方を抽出する、
    請求項２に記載の画像処理装置。
  4. 前記特定部は、第一直線の上に位置する二つの第一特徴点及び前記第一直線の上に位置する点と異なる前記第一特徴点を示す前記第一参照データを抽出する処理及び第二直線の上に位置する二つの第二特徴点及び前記第二直線の上に位置する点と異なる前記第二特徴点を示す前記第二参照データを抽出する処理の少なくとも一方を実行する、
    請求項２又は請求項３に記載の画像処理装置。
  5. コンピュータに、
    所定の姿勢と所定の形状を取る被写体を描出している画像、前記所定の姿勢との関係が既知である第一姿勢と、前記所定の形状との関係が既知である第一形状とを取る前記被写体を描出している第一参照画像及び前記所定の姿勢と異なる第二姿勢と、前記所定の形状と異なる第二形状との少なくとも一方を取る前記被写体を描出している第二参照画像を取得する取得機能と、
    前記画像に描出されている前記被写体の特徴を示す特徴データを抽出し、前記第一参照画像に描出されている前記被写体の特徴を示す第一参照データを抽出し、前記第二参照画像に描出されている前記被写体の特徴を示す第二参照データを抽出し、前記第一参照データを使用して前記第一参照画像において前記特徴データにより示される特徴が位置する箇所を特定し、前記第一参照データから導出される前記被写体の前記第一姿勢と前記第二参照データから導出される前記被写体の前記第二姿勢との関係及び前記第一参照データから導出される前記被写体の前記第一形状と前記第二参照データから導出される前記被写体の前記第二形状との関係の少なくとも一方を使用して前記第二姿勢と、前記第二形状との少なくとも一方を取る前記被写体において前記特徴データにより示される特徴が位置する箇所を特定する特定機能と、
    を実現させる画像処理プログラム。
  6. 所定の姿勢と所定の形状を取る被写体を描出している画像、前記所定の姿勢との関係が既知である第一姿勢と、前記所定の形状との関係が既知である第一形状とを取る前記被写体を描出している第一参照画像及び前記所定の姿勢と異なる第二姿勢と、前記所定の形状と異なる第二形状との少なくとも一方を取る前記被写体を描出している第二参照画像を取得する取得ステップと、
    前記画像に描出されている前記被写体の特徴を示す特徴データを抽出し、前記第一参照画像に描出されている前記被写体の特徴を示す第一参照データを抽出し、前記第二参照画像に描出されている前記被写体の特徴を示す第二参照データを抽出し、前記第一参照データを使用して前記第一参照画像において前記特徴データにより示される特徴が位置する箇所を特定し、前記第一参照データから導出される前記被写体の前記第一姿勢と前記第二参照データから導出される前記被写体の前記第二姿勢との関係及び前記第一参照データから導出される前記被写体の前記第一形状と前記第二参照データから導出される前記被写体の前記第二形状との関係の少なくとも一方を使用して前記第二姿勢と、前記第二形状との少なくとも一方を取る前記被写体において前記特徴データにより示される特徴が位置する箇所を特定する特定ステップと、
    を含む画像処理方法。
JP2021524766A 2019-06-07 2020-05-25 画像処理装置、画像処理プログラム及び画像処理方法 Active JP7128356B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019107026 2019-06-07
JP2019107026 2019-06-07
PCT/JP2020/020532 WO2020246288A1 (ja) 2019-06-07 2020-05-25 画像処理装置、画像処理プログラム及び画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2020246288A1 true JPWO2020246288A1 (ja) 2021-10-21
JP7128356B2 JP7128356B2 (ja) 2022-08-30

Family

ID=73652847

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021524766A Active JP7128356B2 (ja) 2019-06-07 2020-05-25 画像処理装置、画像処理プログラム及び画像処理方法

Country Status (7)

Country Link
US (1) US20220130070A1 (ja)
EP (1) EP3933760A4 (ja)
JP (1) JP7128356B2 (ja)
CN (1) CN113574367A (ja)
BR (1) BR112021017003A2 (ja)
CA (1) CA3130916A1 (ja)
WO (1) WO2020246288A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021102276A1 (en) 2019-11-22 2021-05-27 Ossianix, Inc. Bbb-shuttling-vnars conjugated to neurotrophic agonist antibodies to treat neurodegenerative diseases and conditions
EP4388001A1 (en) 2021-08-17 2024-06-26 Ossianix, Inc. Deimmunized vnar domains and scaffolds

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100056898A1 (en) * 2005-06-13 2010-03-04 Mckenna David R Objective Methods of Estimating Age of Animals and Carcasses
WO2013136994A1 (ja) * 2012-03-13 2013-09-19 株式会社前川製作所 骨付き食肉のｘ線画像撮影装置及び方法、並びに、該装置を備える骨付き食肉の脱骨システム
US20150332464A1 (en) * 2014-05-19 2015-11-19 Occipital, Inc. Methods for automatic registration of 3d image data
CN108090877A (zh) * 2017-11-29 2018-05-29 深圳慎始科技有限公司 一种基于图像序列的rgb-d相机深度图像修复方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3862681B2 (ja) * 2003-08-29 2006-12-27 キヤノン株式会社 Ｘ線画像撮影装置
DE10346026B4 (de) * 2003-10-02 2011-01-05 Advanced Micro Devices, Inc., Sunnyvale Verfahren zum Steuern der Herstellung leitender Strukturen in einer dielektrischen Schicht eines Mikrostrukturbauteils
JP4549093B2 (ja) * 2004-04-12 2010-09-22 キヤノン株式会社 画像処理装置及びその方法、プログラム
US8391581B2 (en) * 2007-12-27 2013-03-05 Omron Corporation X-ray inspecting apparatus and X-ray inspecting method
JP4771186B2 (ja) * 2008-06-20 2011-09-14 国立大学法人静岡大学 移動量抽出装置及びプログラム、画像補正装置及びプログラム並びに記録媒体
WO2010027391A2 (en) * 2008-08-27 2010-03-11 California Institute Of Technology Method and device for high-resolution three-dimensional imaging which obtains camera pose using defocusing
JP6007178B2 (ja) * 2010-09-03 2016-10-12 カリフォルニア インスティテュート オブ テクノロジー ３次元撮像システム
KR101993384B1 (ko) * 2012-10-24 2019-06-26 삼성전자주식회사 환자의 자세 변화에 따른 의료 영상을 보정하는 방법, 장치 및 시스템
JP6676023B2 (ja) 2017-09-28 2020-04-08 株式会社サキコーポレーション 検査位置の特定方法及び検査装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100056898A1 (en) * 2005-06-13 2010-03-04 Mckenna David R Objective Methods of Estimating Age of Animals and Carcasses
WO2013136994A1 (ja) * 2012-03-13 2013-09-19 株式会社前川製作所 骨付き食肉のｘ線画像撮影装置及び方法、並びに、該装置を備える骨付き食肉の脱骨システム
US20150332464A1 (en) * 2014-05-19 2015-11-19 Occipital, Inc. Methods for automatic registration of 3d image data
CN108090877A (zh) * 2017-11-29 2018-05-29 深圳慎始科技有限公司 一种基于图像序列的rgb-d相机深度图像修复方法

Also Published As

Publication number Publication date
CA3130916A1 (en) 2020-12-10
WO2020246288A1 (ja) 2020-12-10
EP3933760A4 (en) 2022-12-07
US20220130070A1 (en) 2022-04-28
CN113574367A (zh) 2021-10-29
EP3933760A1 (en) 2022-01-05
BR112021017003A2 (pt) 2022-01-04
JP7128356B2 (ja) 2022-08-30

Similar Documents

Publication Publication Date Title
US10154820B2 (en) Method and apparatus for navigating CT scan with a marker
US9715739B2 (en) Bone fragment tracking
WO2020246288A1 (ja) 画像処理装置、画像処理プログラム及び画像処理方法
CN109124662B (zh) 肋骨中心线检测装置及方法
US10445904B2 (en) Method and device for the automatic generation of synthetic projections
US20160007973A1 (en) Sensor coordinate calibration in an ultrasound system
CN110634554A (zh) 脊椎影像注册方法
EP4301229B1 (en) Image-based planning of tomographic scan
JP6677256B2 (ja) 読影支援プログラム、断面画像生成装置及び断面画像生成方法
JP5888681B2 (ja) 形状抽出方法及び形状抽出システム
Verim et al. Anatomical comparison and evaluation of human proximal femurs modeling via different devices and FEM analysis
Liu et al. SIFT algorithm-based 3D pose estimation of femur
JP2008142535A (ja) 準拠枠登録システム及び方法
JP6256124B2 (ja) 画像処理装置、およびプログラム
Thies et al. Automatic orientation estimation of inertial sensors in C-Arm CT Projections
Chougule et al. Three dimensional point cloud generations from CT scan images for bio-cad modeling
CN107280699A (zh) 标记方法和计算机化断层扫描设备
US9974511B2 (en) Medical imaging apparatus and medical imaging method
EP4125031A1 (en) Method and systems for removing anti-scatter grid artifacts in x-ray imaging
EP4128145B1 (en) Combining angiographic information with fluoroscopic images
Chougule et al. Conversions of CT scan images into 3D point cloud data for the development of 3D solid model using B-Rep scheme
Żorski Quaternion-based determination of 3D objects orientation
Moore et al. Computed Tomography Image-Based Kinematic Analysis: An Overview
Meena Automatic Bone Segmentation from X-ray Images…
Mu et al. Segmentation of knee joints in x-ray images using decomposition-based sweeping and graph search

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220818

R150 Certificate of patent or registration of utility model

Ref document number: 7128356

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150