JP7358890B2 - 物体質感計測装置 - Google Patents

物体質感計測装置 Download PDF

Info

Publication number
JP7358890B2
JP7358890B2 JP2019181398A JP2019181398A JP7358890B2 JP 7358890 B2 JP7358890 B2 JP 7358890B2 JP 2019181398 A JP2019181398 A JP 2019181398A JP 2019181398 A JP2019181398 A JP 2019181398A JP 7358890 B2 JP7358890 B2 JP 7358890B2
Authority
JP
Japan
Prior art keywords
texture
tactile
detection
detection unit
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019181398A
Other languages
English (en)
Other versions
JP2021056157A (ja
Inventor
崇 平松
良隆 桑田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2019181398A priority Critical patent/JP7358890B2/ja
Priority to CN202010465959.8A priority patent/CN112683854A/zh
Priority to US16/885,289 priority patent/US11734843B2/en
Publication of JP2021056157A publication Critical patent/JP2021056157A/ja
Application granted granted Critical
Publication of JP7358890B2 publication Critical patent/JP7358890B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/251Fusion techniques of input or preprocessed data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Force Measurement Appropriate To Specific Purposes (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、物体質感計測装置に関する。
特許文献1には、複数のセンサの出力情報に対応した複数の仮想情報を生成する情報生成部と、情報生成部が生成した複数の仮想情報を用いて人工知能装置を学習させる学習支援部と、複数の仮想情報を用いて学習後の人工知能装置の動作の検証を行う検証支援部とを備えた機械学習支援装置が提案されている。
また、特許文献2には、ユーザに触力覚で提示する仮想空間上の仮想物体に対応する実物体の硬さ情報を計測するための表面硬さ計測装置において、実物体の3次元形状を計測する3次元形状計測手段と、3次元形状計測手段により得られる3次元形状情報から実物体の表面における予め設定された位置毎の変位を計測する変位計測手段と、変位計測手段により得られる変位の比率又は変位量から実物体の計測した位置毎の粘弾性インピーダンスを推定し、推定された粘弾性インピーダンスにより実物体の所定位置毎の硬さ情報を取得する計測制御手段と、を備えることが提案されている。
特開2017-204276号公報 特開2013-531022号公報
画像から視覚的質感を推定する技術と画像から触覚的質感を推定する技術があるが、それぞれの質感を個別に検出するため、それぞれの位置の対応がとれなかった。そこで、本発明は、視覚的質感及び触覚的質感の各々を位置の対応をとりながら計測可能な物体質感計測装置を提供することを目的とする。
請求項1に記載の物体質感計測装置は、物体の視覚的質感を検出する視覚検出部と、前記物体の触覚的質感を検出する触覚検出部と、前記視覚検出部及び前記触覚検出部の各々を前記物体に対して相対的に移動させながら、前記視覚検出部及び前記触覚検出部の各々の検出結果を取得する取得部と、前記物体に対する前記視覚検出部及び前記触覚検出部の各々の相対的な移動距離を検知する検知部と、前記視覚検出部と前記触覚検出部の物理的に異なる検出位置を合わせるために、前記検知部の検知結果に基づいて、前記視覚検出部の検出結果と前記触覚検出部の検出結果の各々の検出位置を合わせる補正を行う計測位置補正部と、前記計測位置補正部の補正結果に基づいて、検出位置を合わせた、前記視覚検出部の検出結果と前記触覚検出部の検出結果の対応付けを行う対応付け処理部と、を含む。
請求項2に記載の発明は、請求項1に記載の発明において、前記視覚検出部及び前記触覚検出部の各々を前記物体に対して相対的に移動させる移動部を更に含む。
請求項3に記載の発明は、請求項1又は請求項2に記載の発明において、前記相対的に移動させる方向が予め定めた方向とされている。
請求項4に記載の発明は、請求項1又は請求項2に記載の発明において、前記検知部は、前記物体に対する前記視覚検出部及び前記触覚検出部の各々の相対的な移動距離及び移動方向の各々を検知する
請求項5に記載の発明は、請求項1~4の何れか1項に記載の発明において、前記触覚検出部は、前記物体の表面の触覚的質感を表す複数種類の表面情報を検出する複数種類のセンサを含む。
請求項6に記載の発明は、請求項5に記載の発明において、前記複数種類のセンサは、前記物体に接触して前記物体の表面の触覚的質感を表す表面情報を検出するセンサ、及び前記物体に非接触で前記物体の表面の触覚的質感を表す表面情報を検出するセンサを含む。
請求項7に記載の発明は、請求項1~6の何れか1項に記載の発明において、前記視覚検出部は、前記物体からの鏡面反射光及び拡散反射光の各々を検出することにより前記視覚的質感を検出する。
請求項8に記載の発明は、請求項7に記載の発明において、前記視覚検出部は、前記物体に光を照射する単一の光源と、前記光源から照射されて前記物体で反射された鏡面反射光を受光する位置に設けられて前記物体の表面を撮像する第1撮像部と、前記光源から照射されて前記物体で反射された拡散反射光を受光する位置に設けられて前記物体の表面を撮像する第2撮像部と、を含む。
請求項9に記載の発明は、請求項7に記載の発明において、前記視覚検出部は、物体からの反射光を受光する位置に設けられて前記物体の表面を撮像する単一の撮像部と、前記撮像部に対して前記物体からの鏡面反射光を入射する位置に設けられて前記物体に光を照射する第1光源と、前記撮像部に対して前記物体からの拡散反射光を入射する位置に設けられて前記物体に光を照射する第2光源と、を含む。
請求項10に記載の物体質感計測装置は、プロセッサを備え、前記プロセッサは、物体の視覚的質感を検出する視覚検出部を前記物体に対して相対的に移動させながら前記視覚的質感を検出する第1処理、前記物体の触覚的質感を検出する触覚検出部を前記物体に対して相対的に移動させながら前記触覚的質感を検出する第2処理、前記物体に対する前記視覚検出部及び前記触覚検出部の各々の相対的な移動距離を検知し、前記視覚検出部と前記触覚検出部の物理的に異なる検出位置を合わせるために、前記移動距離の検知結果に基づいて、前記視覚検出部の検出結果と前記触覚検出部の検出結果の各々の検出位置を合わせる補正を行い、補正結果に基づいて、検出位置を合わせた、前記視覚検出部の検出結果と前記触覚検出部の検出結果の対応付けを行う第3処理を行う。
請求項1に記載の物体質感計測装置によれば、視覚的質感及び触覚的質感の各々を位置の対応をとりながら計測可能な物体質感計測装置を提供できる。
請求項2に記載の発明によれば、視覚検出部及び触覚検出部の各々を物体に対して相対的に移動させる手間を省くことができる。
請求項3に記載の発明によれば、視覚検出部及び触覚検出部の各々の検出結果を単に取得する場合に比べて、視覚検出部及び触覚検出部の各々の検出位置の対応を精度良くとることが可能となる。
請求項4に記載の発明によれば、視覚検出部及び触覚検出部の各々の検出結果を単に取得する場合に比べて、視覚検出部及び触覚検出部の各々の検出位置の対応を精度良くとることが可能となる。
請求項5に記載の発明によれば、1種類の表面情報を検知する場合に比べて、詳細な触覚的質感を検出することが可能となる。
請求項6に記載の発明によれば、同時に同じ位置の2種類の触覚的質感を検出することが可能となる。
請求項7に記載の発明によれば、物体の反射特性を視覚的質感として検出することが可能となる。
請求項8に記載の発明によれば、鏡面反射と拡散反射を同時に撮像することが可能となる。
請求項9に記載の発明によれば、単一の撮像部で鏡面反射と拡散反射を撮像することが可能となる。
請求項10に記載の物体質感計測装置によれば、視覚的質感及び触覚的質感の各々を位置の対応をとりながら計測可能な物体質感計測装置を提供できる。
本実施形態に係る物体質感計測装置の概略構成を示す図である。 本実施形態に係る物体質感計測装置の制御系の構成を示すブロック図である。 本実施形態に係る物体質感計測装置の制御部で行われる処理の流れの一例を示すフローチャートである。 本実施形態に係る物体質感計測装置の計測結果の利用例を示す図である。 本実施形態に係る物体質感計測装置の変形例の概略構成を示す図である。
以下、図面を参照して本実施形態の一例を詳細に説明する。図1は、本実施形態に係る物体質感計測装置の概略構成を示す図である。
本実施形態に係る物体質感計測装置10は、光源12、イメージセンサ14、16、及びフォースセンサ18を備えている。物体質感計測装置10は、物体の質感を計測する対象となる対象物20に対して相対的に移動しながら物体の質感の計測を行う。本実施形態では、物体質感計測装置10を図1の矢印X方向に沿って移動しながら、対象物20を計測する。なお、光源12及びイメージセンサ14、16は視覚検出部に対応し、イメージセンサ14は第2撮像部に対応し、イメージセンサ16は第1撮像部に対応する。また、フォースセンサ18は触覚検出部に対応する。
物体質感計測装置10は、対象物20の表面特性を光学的に読み取り、その読取結果を表す画像情報を生成すると共に、対象物20の表面の状態を計測し、その計測結果を表す表面情報を生成する。物体質感計測装置10が生成する画像情報には、拡散反射光に基づく拡散反射画像情報と鏡面反射光に基づく鏡面反射画像情報とが含まれる。
対象物20は、本実施形態では平面物体として説明するが、平面に限るものではなく、3次元の対象物としてもよい。
物体質感計測装置10は、図示する各部の構成を紙面に垂直な方向に対して予め決められた幅で配置されている。この方向は、物体質感計測装置10の主走査方向となり、図中矢印Xが示す方向は、物体質感計測装置10の副走査方向となる。
光源12は、対象物20の表面の視覚的質感を計測するための光を対象物20に照射する。光源12は、対象物20の計測面に対して入射角度45度で光を照射する位置に設けられている。光源12の一例としては、蛍光ランプや希ガス蛍光ランプ(キセノン蛍光ランプ等)等の白色光を適用する。また、光源12は、白色のLEDを主走査方向に複数配列し、拡散板などを用いて主走査方向の輝度分布を均一化したものであってもよい。
イメージセンサ14、16は、例えば、ラインセンサやエリアセンサ等が適用され、対象物20の反射特性(例えば、BRDF:Bidirectional Reflectance Distribution)を対象物20の視覚的質感として検出する。イメージセンサ14、16は、光源12から照射されて、対象物20で反射された光が入射され、入射された光に応じた画像信号を生成する。本実施形態では、イメージセンサ14は、対象物20の法線方向に設けられ、光源12から対象物20に照射された光の拡散反射光が入射される。一方、イメージセンサ16は、対象物20の法線方向に対して45度の方向に設けられ、光源から対象物20に照射された光の鏡面反射光が入射される。イメージセンサ14、16は、例えば、CCD(Charge Coupled Device)リニアイメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の光電変換素子で構成され、受光した光をその強弱を表す信号に変換する。また、イメージセンサ14、16は、カラーフィルタを備え、対象物20の色を表す画像情報を生成する。イメージセンサ14は、拡散反射光を受光して得られた拡散反射画像情報を出力する。一方、イメージセンサ16は、鏡面反射光を受光して得られた鏡面反射画像情報を出力する。
フォースセンサ18は、対象物20に接触しながら対象物20に対して相対的に移動することにより、対象物20の表面の滑らかさや、凹凸、硬さ等を表す表面情報を触覚的質感として検出する。フォースセンサ18は、主走査方向に沿って複数配列されている。なお、触覚検出部の一例として、対象物20に接触して検出するフォースセンサ18を挙げて説明するが、これに限るものではない。例えば、対象物20に非接触で検出する超音波センサや、表面抵抗センサなどを適用してもよい。また、基準装置となるヤング率測定装置との相関及び校正がとれているセンサであれば、何れのセンサでもよい。或いは、これら複数種類のセンサを組み合わせて設けてもよい。例えば、対象物20に接触して検出するセンサと非接触で検出するセンサを組み合わせて同じ位置の複数種類の表面情報を同時に検出してよい。
次に、本実施形態に係る物体質感計測装置10の制御系の構成について説明する。図2は、本実施形態に係る物体質感計測装置10の制御系の構成を示すブロック図である。
物体質感計測装置10は、光源12、イメージセンサ14、16、フォースセンサ18、移動部22、検知部としての移動距離検知部24、制御部26、及び格納部32を備えており、システムバス34にそれぞれ電気的に接続されている。
移動部22は、対象物20を計測する際に、物体質感計測装置10を対象物20に対して相対的に移動させる。例えば、モータ等のアクチュエータを含み、アクチュエータを駆動することにより、物体質感計測装置10を対象物20に対して相対的に移動させる。
移動距離検知部24は、対象物20に対する物体質感計測装置10の移動距離を検知する。例えば、ロータリーエンコーダ等により移動距離を検知してもよいし、イメージセンサ14によって得られる画像情報から移動距離を検知してもよい。
制御部26は、プロセッサの一例としてのCPU(Central Processing Unit)、ROM(Read Only Memory)、及びRAM(Random Access Memory)を含むコンピュータで構成されている。CPUは、物体質感計測装置10の全体の動作を司る。RAMは、CPUによる各種プログラムの実行時のワークエリア等として用いられる。ROMは、各種制御プログラムや各種パラメータ等が予め記憶される。本実施形態では、ROMに記憶されたプログラムをCPUが実行することにより、計測位置補正部28及び対応付け処理部30の機能を実行する。なお、計測位置補正部28及び対応付け処理部30は処理部に対応する。
計測位置補正部28は、対象物20に対して、イメージセンサ14、16のそれぞれの検出位置と、フォースセンサ18の検出位置とが物理的に異なるので、それぞれの位置の対応を合わせるために、移動距離検知部24の検知結果に基づいて計測位置を合わせる補正を行う。本実施形態では、フォースセンサ18が計測した位置は、物体質感計測装置10が予め定めた距離の移動が行われた後に、イメージセンサ14、16によって計測される。そこで、フォースセンサ18の計測が行われてから予め定めた距離の移動を検知したときのイメージセンサ14、16の検出結果を対象物20の同一位置の計測結果として補正することにより、イメージセンサ14、16の計測位置をフォースセンサ18の計測位置に合わせる補正を行う。これにより、視覚的質感と触覚的質感が同時に計測されたことになる。
対応付け処理部30は、計測位置補正部28の補正結果に基づいて、対象物20の同じ位置を測定したイメージセンサ14、16の計測結果の画像情報と、フォースセンサ18の計測結果の表面情報の対応付けを行う。
格納部32は、対応付け処理部30によって対応付けされた画像情報と表面情報を格納する。格納部32は、例えば、HDD(hard disk drive)を適用してもよいし、フラッシュメモリ等の不揮発性のメモリを適用してもよい。
続いて、本実施形態に係る物体質感計測装置10の制御部26で行われる具体的な処理について説明する。図3は、本実施形態に係る物体質感計測装置10の制御部26で行われる処理の流れの一例を示すフローチャートである。なお、図3の処理は、例えば、図示しないスタートボタン等が操作されて対象物20の計測開始が指示された場合に開始する。
ステップ100では、制御部26が、光源12を点灯すると共に、移動部22を駆動して計測を開始してステップ102へ移行する。これにより、物体質感計測装置10を対象物20に対して相対的に移動して視覚的質感と触覚的質感の計測を開始する。
ステップ102では、制御部26が、フォースセンサ18の検出結果を取得してステップ102へ移行する。すなわち、フォースセンサ18から表面情報を取得する。なお、ステップ102の処理は、第2処理に対応する。
ステップ104では、制御部26が、イメージセンサ14、16の検出結果を取得してステップ106へ移行する。すなわち、イメージセンサ14から拡散反射画像情報を取得し、イメージセンサ16から鏡面反射画像情報を取得する。なお、ステップ104の処理は、第1処理に対応する。また、ステップ102及びステップ104の処理は、取得部に対応する。
ステップ106では、制御部26が、イメージセンサ14、16の検出結果とフォースセンサ18の検出結果とを対応付けてステップ108へ移行する。具体的には、対象物20に対して、イメージセンサ14、16のそれぞれの検出位置と、フォースセンサ18の検出位置とが物理的に異なるので、それぞれの検出位置を合わせるために、移動距離検知部24の検知結果に基づいて検出位置を合わせる補正を行う。そして、対応付け処理部30が、計測位置補正部28の補正結果に基づいて、対象物の同じ位置を検出した、イメージセンサ14、16の検出結果の画像情報とフォースセンサ18の検出結果の表面情報とを対応付ける。なお、ステップ106の処理は、第3処理に対応する。
ステップ108では、制御部26が、対応付け結果を格納部32に格納してステップ110へ移行する。
ステップ110では、制御部26が、計測終了か否かを判定する。該判定は、例えば、図示しない停止ボタン等が操作されて対象物20の計測終了が指示されたか否かを判定する。該判定が否定された場合にはステップ102に戻って上述の処理を繰り返し、判定が肯定されたところで一連の処理を終了する。
このように処理を行うことで、イメージセンサ14、16によって検出された拡散反射画像情報及び鏡面反射画像が視覚的質感の計測結果として得られ、フォースセンサ18によって検出された表面情報が触覚的質感の計測結果として得られる。また、視覚的質感の計測結果と触覚的質感の計測結果との測定位置を合わせる補正を行って対応付けが行われる。すなわち、視覚的質感及び触覚的質感の各々を位置の対応をとりながら計測が行われることになる。
物体質感計測装置10の計測結果は、例えば、図4に示すように、機械学習部36に入力して視覚的質感と触覚的質感とを同時に深層学習等を行うことで、例えば、撮影画像から視覚的質感と触覚的質感とを再現する装置での再現を行うサービス等に応用される。
なお、上記の実施形態では、対象物20に対して物体質感計測装置10を移動する例を説明したが、これに限るものではなく、物体質感計測装置10に対して対象物20を移動してもよい。
また、上記の実施形態では、移動部22を備えて、物体質感計測装置10を対象物20に対して相対的に移動させる構成としたが、これに限るものではない。例えば、移動部22は省略して、物体質感計測装置10または対象物20を手動で移動する形態としてもよい。
また、上記の実施形態では、物体質感計測装置10と物体との相対的に移動する移動方向が決まっている場合を例に挙げて説明したが、これに限るものではない。例えば、移動方向が任意の場合や、手動で移動させる場合には、視覚的質感の計測結果と触覚的質感の計測結果を対応させるために、移動方向を検知する必要がある。そこで、移動方向が任意の場合や、手動で移動させる場合には、例えば、移動距離検知部24が更に移動方向も検知して、計測位置補正部28が、移動距離検知部24によって検知された移動距離と移動方向に基づいて計測位置を合わせる補正を行えばよい。
また、上記の実施形態では、対象物20の法線方向に対して光源12を45度の入射角で光を照射する位置に設け、イメージセンサ14を対象物20の法線方向に設け、イメージセンサ16を対象物20の法線方向に対して45度の方向に設けたが、これに限るものではない。イメージセンサ14が拡散反射光を受光し、イメージセンサ16が鏡面反射光を受光する位置であれば、光源12、及びイメージセンサ14、16の配置は何れの位置でもよい。
また、上記の実施形態では、光源12と、イメージセンサ14、16によって拡散反射画像情報と鏡面反射画像情報を視覚的質感の計測結果として得る例を説明したが、構成はこれに限定されるものではない。例えば、図5に示す物体質感計測装置11のように、第1光源としての光源12、第2光源としての光源13、及び撮像部としてのイメージセンサ16を備える構成としてもよい。この場合、光源12及びイメージセンサ16は、上記の実施形態と同様に配置し、光源13は、対象物20の法線方向に配置する。そして、2回の読取りを行うことにより、拡散反射画像情報と鏡面反射画像情報を得る。すなわち、光源12のみを点灯してイメージセンサ16の検出結果を得ることで鏡面反射画像情報を得る。一方、光源13のみを点灯してイメージセンサ16の検出結果を得ることで拡散反射画像情報を得る。
また、上記の実施形態では、計測位置補正部28を備えたが、計測の分解能や、視覚的質感の計測位置と触覚的質感の計測位置等によっては、移動距離検知部24及び計測位置補正部28は省略した構成としてもよい。
また、上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ(例えばCPU: Central Processing Unit、等)や、専用のプロセッサ(例えばGPU: Graphics Processing Unit、ASIC: Application Specific Integrated Circuit、FPGA: Field Programmable Gate Array、プログラマブル論理デバイス、等)を含むものである。
また、上記各実施形態におけるプロセッサの動作は、1つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。
また、上記の実施形態に係る制御部26で行われる処理は、ソフトウエアで行われる処理としてもよいし、ハードウエアで行われる処理としてもよいし、双方を組み合わせた処理としてもよい。また、制御部26で行われる処理は、プログラムとして記憶媒体に記憶して流通させるようにしてもよい。
また、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。
10、11 物体質感計測装置
12、13 光源
14、16 イメージセンサ
18 フォースセンサ
20 対象物
22 移動部
24 移動距離検知部
26 制御部
28 計測位置補正部
30 対応付け処理部
32 格納部

Claims (10)

  1. 物体の視覚的質感を検出する視覚検出部と、
    前記物体の触覚的質感を検出する触覚検出部と、
    前記視覚検出部及び前記触覚検出部の各々を前記物体に対して相対的に移動させながら、前記視覚検出部及び前記触覚検出部の各々の検出結果を取得する取得部と、
    前記物体に対する前記視覚検出部及び前記触覚検出部の各々の相対的な移動距離を検知する検知部と、
    前記視覚検出部と前記触覚検出部の物理的に異なる検出位置を合わせるために、前記検知部の検知結果に基づいて、前記視覚検出部の検出結果と前記触覚検出部の検出結果の各々の検出位置を合わせる補正を行う計測位置補正部と、
    前記計測位置補正部の補正結果に基づいて、検出位置を合わせた、前記視覚検出部の検出結果と前記触覚検出部の検出結果の対応付けを行う対応付け処理部と、
    を含む物体質感計測装置。
  2. 前記視覚検出部及び前記触覚検出部の各々を前記物体に対して相対的に移動させる移動部を更に含む請求項1に記載の物体質感計測装置。
  3. 記相対的に移動させる方向が予め定めた方向とされた請求項1又は請求項2に記載の物体質感計測装置。
  4. 前記検知部は、前記物体に対する前記視覚検出部及び前記触覚検出部の各々の相対的な移動距離及び移動方向の各々を検知する請求項1又は請求項2に記載の物体質感計測装置。
  5. 前記触覚検出部は、前記物体の表面の触覚的質感を表す複数種類の表面情報を検出する複数種類のセンサを含む請求項1~4の何れか1項に記載の物体質感計測装置。
  6. 前記複数種類のセンサは、前記物体に接触して前記物体の表面の触覚的質感を表す表面情報を検出するセンサ、及び前記物体に非接触で前記物体の表面の触覚的質感を表す表面情報を検出するセンサを含む請求項5に記載の物体質感計測装置。
  7. 前記視覚検出部は、前記物体からの鏡面反射光及び拡散反射光の各々を検出することにより前記視覚的質感を検出する請求項1~6の何れか1項に記載の物体質感計測装置。
  8. 前記視覚検出部は、前記物体に光を照射する単一の光源と、前記光源から照射されて前記物体で反射された鏡面反射光を受光する位置に設けられて前記物体の表面を撮像する第1撮像部と、前記光源から照射されて前記物体で反射された拡散反射光を受光する位置に設けられて前記物体の表面を撮像する第2撮像部と、を含む請求項7に記載の物体質感計測装置。
  9. 前記視覚検出部は、物体からの反射光を受光する位置に設けられて前記物体の表面を撮像する単一の撮像部と、前記撮像部に対して前記物体からの鏡面反射光を入射する位置に設けられて前記物体に光を照射する第1光源と、前記撮像部に対して前記物体からの拡散反射光を入射する位置に設けられて前記物体に光を照射する第2光源と、を含む請求項7に記載の物体質感計測装置。
  10. プロセッサを備え、前記プロセッサは、
    物体の視覚的質感を検出する視覚検出部を前記物体に対して相対的に移動させながら前記視覚的質感を検出する第1処理、前記物体の触覚的質感を検出する触覚検出部を前記物体に対して相対的に移動させながら前記触覚的質感を検出する第2処理、前記物体に対する前記視覚検出部及び前記触覚検出部の各々の相対的な移動距離を検知し、前記視覚検出部と前記触覚検出部の物理的に異なる検出位置を合わせるために、前記移動距離の検知結果に基づいて、前記視覚検出部の検出結果と前記触覚検出部の検出結果の各々の検出位置を合わせる補正を行い、補正結果に基づいて、検出位置を合わせた、前記視覚検出部の検出結果と前記触覚検出部の検出結果の対応付けを行う第3処理を行う物体質感計測装置。
JP2019181398A 2019-10-01 2019-10-01 物体質感計測装置 Active JP7358890B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019181398A JP7358890B2 (ja) 2019-10-01 2019-10-01 物体質感計測装置
CN202010465959.8A CN112683854A (zh) 2019-10-01 2020-05-28 物体质感测量装置
US16/885,289 US11734843B2 (en) 2019-10-01 2020-05-28 Object texture measurement device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019181398A JP7358890B2 (ja) 2019-10-01 2019-10-01 物体質感計測装置

Publications (2)

Publication Number Publication Date
JP2021056157A JP2021056157A (ja) 2021-04-08
JP7358890B2 true JP7358890B2 (ja) 2023-10-11

Family

ID=75163603

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019181398A Active JP7358890B2 (ja) 2019-10-01 2019-10-01 物体質感計測装置

Country Status (3)

Country Link
US (1) US11734843B2 (ja)
JP (1) JP7358890B2 (ja)
CN (1) CN112683854A (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004145456A (ja) 2002-10-22 2004-05-20 Canon Inc 情報出力装置
JP2004212088A (ja) 2002-12-27 2004-07-29 Kose Corp 毛髪のつや測定器具
JP2007315790A (ja) 2006-05-23 2007-12-06 Toyota Motor Corp 塗膜の耐擦り傷性評価方法
JP2009020108A (ja) 2007-07-10 2009-01-29 Korea Inst Of Science & Technology 質感測定装置及びその方法
JP2011242293A (ja) 2010-05-19 2011-12-01 Hanshin Expressway Engineering Co Ltd 道路検査方法及び道路検査車両
JP2018105792A (ja) 2016-12-27 2018-07-05 株式会社 資生堂 化粧料の質感を測定する方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3703062B2 (ja) * 1998-03-05 2005-10-05 オムロン株式会社 路面状態検出用センサと同センサを用いた路面状態検出装置及び同センサを備えた凍結防止剤散布車両と道路パトロールカー
US6925414B2 (en) * 2003-03-14 2005-08-02 Eastman Kodak Company Apparatus and method of measuring features of an article
KR20080029676A (ko) * 2006-09-29 2008-04-03 한국전자통신연구원 접촉 감각 정보 제공 장치
KR101531117B1 (ko) 2010-07-14 2015-06-23 에프. 호프만-라 로슈 아게 Pi3k p110 델타에 대해 선택적인 퓨린 화합물, 및 사용 방법
JP5608007B2 (ja) 2010-08-09 2014-10-15 日本放送協会 表面硬さ計測装置、触力覚提示装置、表面硬さ計測プログラム、及び触力覚提示プログラム
TWI486631B (zh) * 2014-01-24 2015-06-01 Quanta Comp Inc 頭戴式顯示裝置及其控制方法
US9581437B2 (en) * 2014-08-29 2017-02-28 Apre Instruments, Llc Interferometric non-contact optical probe and measurement
JP6604832B2 (ja) 2015-12-02 2019-11-13 池上通信機株式会社 機械学習支援装置
CN107369149B (zh) 2016-05-11 2020-09-08 富士通株式会社 目标物体的检测装置及方法
JP6803971B2 (ja) * 2017-03-27 2020-12-23 富士フイルム株式会社 視覚触覚統合呈示装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004145456A (ja) 2002-10-22 2004-05-20 Canon Inc 情報出力装置
JP2004212088A (ja) 2002-12-27 2004-07-29 Kose Corp 毛髪のつや測定器具
JP2007315790A (ja) 2006-05-23 2007-12-06 Toyota Motor Corp 塗膜の耐擦り傷性評価方法
JP2009020108A (ja) 2007-07-10 2009-01-29 Korea Inst Of Science & Technology 質感測定装置及びその方法
JP2011242293A (ja) 2010-05-19 2011-12-01 Hanshin Expressway Engineering Co Ltd 道路検査方法及び道路検査車両
JP2018105792A (ja) 2016-12-27 2018-07-05 株式会社 資生堂 化粧料の質感を測定する方法

Also Published As

Publication number Publication date
US20210097705A1 (en) 2021-04-01
US11734843B2 (en) 2023-08-22
CN112683854A (zh) 2021-04-20
JP2021056157A (ja) 2021-04-08

Similar Documents

Publication Publication Date Title
JP6291562B2 (ja) 有向性のプローブ処理による、三次元スキャナにおける多経路干渉の診断および排除
JP6355710B2 (ja) 非接触型光学三次元測定装置
TWI635252B (zh) 使用二維影像處理檢查三維物體的系統及方法
JP4580983B2 (ja) レンジ検査のための測定装置および方法
TWI416065B (zh) 原木的三維形狀測量裝置及方法
TWI420081B (zh) 測距系統及測距方法
JP2007206797A (ja) 画像処理方法および画像処理装置
JP5728699B2 (ja) 表面検査装置、表面検査方法および表面検査プログラム
CN112393681B (zh) 提供三维成像的图像数据中的强度峰值位置的方法和设备
TW201024701A (en) A lens test apparatus and a method thereof
JP7358890B2 (ja) 物体質感計測装置
JP4215220B2 (ja) 表面検査方法及び表面検査装置
FI126498B (en) Optical measurement system
JP2008175604A (ja) 光変位センサー及びそれを用いた変位測定装置
JP4430680B2 (ja) 3次元寸法計測装置及び3次元寸法計測プログラム
JP6508763B2 (ja) 表面検査装置
JP5296490B2 (ja) 被検査体の検査装置
TWM532575U (zh) 取像裝置
JP5129689B2 (ja) 印刷はんだ検査装置、及び印刷はんだ検査方法
JP2009186216A (ja) 3次元形状測定装置
JP2017187938A (ja) 棒材の計数装置及び棒材の計数方法
JP2023028574A (ja) 部材計測装置、部材計測方法、及び部材計測プログラム
JP2005331299A (ja) 肉厚検査装置および方法
JPH08327338A (ja) 3次元形状測定装置
JP2002031509A (ja) 面取り寸法測定方法および測定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220922

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230911

R150 Certificate of patent or registration of utility model

Ref document number: 7358890

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150