JP6793791B2 - リアルタイム溶接可視化および支援を向上させるためのhdr画像取込みおよび表示システム - Google Patents

リアルタイム溶接可視化および支援を向上させるためのhdr画像取込みおよび表示システム Download PDF

Info

Publication number
JP6793791B2
JP6793791B2 JP2019142413A JP2019142413A JP6793791B2 JP 6793791 B2 JP6793791 B2 JP 6793791B2 JP 2019142413 A JP2019142413 A JP 2019142413A JP 2019142413 A JP2019142413 A JP 2019142413A JP 6793791 B2 JP6793791 B2 JP 6793791B2
Authority
JP
Japan
Prior art keywords
welding
image
optical path
environment
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019142413A
Other languages
English (en)
Other versions
JP2020189332A (ja
Inventor
徳之 金平
徳之 金平
千春 山岡
千春 山岡
忠久 津山
忠久 津山
直彦 布施
直彦 布施
敦 本摩
敦 本摩
デイビッド・ベレンズ
マイケル・ピアセンティーノ
ホーイツェン・ヴァン・デル・ワル
デイビッド・ゼーン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SRI International Inc
Original Assignee
SRI International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SRI International Inc filed Critical SRI International Inc
Priority to CN202010441583.7A priority Critical patent/CN111988533B/zh
Publication of JP2020189332A publication Critical patent/JP2020189332A/ja
Application granted granted Critical
Publication of JP6793791B2 publication Critical patent/JP6793791B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/361Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00Arc welding or cutting
    • B23K9/095Monitoring or automatic control of welding parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00Arc welding or cutting
    • B23K9/095Monitoring or automatic control of welding parameters
    • B23K9/0953Monitoring or automatic control of welding parameters using computing means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00Arc welding or cutting
    • B23K9/095Monitoring or automatic control of welding parameters
    • B23K9/0956Monitoring or automatic control of welding parameters using sensing means, e.g. optical
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00Arc welding or cutting
    • B23K9/32Accessories
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00Arc welding or cutting
    • B23K9/32Accessories
    • B23K9/321Protecting means
    • B23K9/322Head protecting means
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/24Use of tools
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/001Constructional or mechanical details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Plasma & Fusion (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Optics & Photonics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Arc Welding Control (AREA)

Description

分野
本原則の実施形態は、概して、溶接環境に関し、より特定的には、リアルタイム溶接可視化および支援を向上させるための方法、装置およびシステムに関する。
背景
現在まで、多くの溶接プロセスは手作業で実行されている。しかしながら、製造業および建設業などの溶接関連の産業界では、経験豊富で熟練した溶接工の不足が顕著になってきている。なぜなら、従来のような指導者による溶接工のトレーニングに長い期間がかかることに加えて、引退する労働人口が急激に増加しており、これが、このような経験豊富で熟練した溶接工の不足の原因とみなされ得る。
完全自動化またはロボットによる対策は、経験豊富で熟練した溶接工の不足に取組むための一つの方法である。しかしながら、自動化されたデバイスまたはロボット型デバイスは費用が比較的高くなる可能性があり、機器の設定および分解が煩雑となる可能性があるため、効率が低下するおそれがある。加えて、自動化されたデバイスまたはロボット型デバイスが適合し得ない分野も存在している。
米国特許第9918018号明細書
溶接支援を行うように設計された現在のいくつかのシステムにおいては、たとえば溶接環境の、さまざまなダイナミックレンジを有する複数の画像を提供するためにフィルタが用いられているが、フィルタは、さほど長持ちせず、またはさほど正確でもなく、早期に消耗する可能性があるので、頻繁に交換する必要がある。加えて、それらおよび他のシステムにおいては、カメラによって取込まれた複数の画像は、たとえば溶接環境の、広いダイナミックレンジを有する画像/映像を生成するために単に合成されるだけである。しかしながら、複数のカメラ画像を単純に合成しただけでは、画像の各々の詳細が失われる可能性がある。たとえば、2018年3月13日付でビーソン(Beeson)に対して発行された米国特許第9,918,018号は、たとえば溶接環境の、さまざまなダイナミックレンジを有する複数の画像を提供するためのフィルタを用いる、溶接用途で使用されるディスプレイのためのダイナミックレンジ拡張方法およびシステムを開示するとともに、単に、広いダイナミックレンジを有する画像/映像を生成するためにさまざまなカメラによって取込まれた複数の画像を合成することを開示しているに過ぎない。米国特許第9,918,018号の発明には、上述のような欠陥がある。
概要
リアルタイム溶接可視化および支援を向上させるための方法、装置およびシステムの実施形態がこの明細書中に開示されている。
本原則に従ったいくつかの実施形態においては、溶接環境におけるリアルタイム溶接可視化を向上させるための装置は、ビームスプリッタを含む。当該ビームスプリッタは、溶接環境からの入射光を、異なる光レベルを有する少なくとも第1の光路および第2の光路に分割する。当該少なくとも第1の光路および第2の光路は各々、それぞれの撮像センサを含む。当該装置はさらに、制御部を含む。当該制御部は、当該少なくとも第1の光路および第2の光路における当該それぞれの撮像センサから複数の画像を受取って、当該複数の画像を融合して、左眼用融合画像および右眼用融合画像を作成する。当該装置はさらに、ディスプレイアセンブリを含む。当該ディスプレイアセンブリは、当該装置のユーザの左眼の位置に当該左眼用融合画像を表示し、当該装置の当該ユーザの右眼の位置に当該右眼用融合画像を表示する。
本原則に従ったいくつかの実施形態においては、当該装置はさらに、左眼用撮像アセンブリおよび右眼用撮像アセンブリを含み得る。当該左眼用撮像アセンブリおよび当該右眼用撮像アセンブリの各々は少なくとも1つのビームスプリッタを含む。当該少なくとも1つのビームスプリッタは、当該溶接環境からの入射光を、異なる光レベルを有する少なくとも第1の光路および第2の光路に分割する。当該少なくとも第1の光路および第2の光路は各々、それぞれの撮像センサを含む。当該左眼用撮像アセンブリにおいて取込まれた複数の画像が当該装置のユーザの左眼の位置において融合されて表示されるとともに、当該右眼用撮像アセンブリにおいて取込まれた複数の画像が当該装置のユーザの右眼の位置において融合されて表示されて、当該溶接環境の3次元表示が提供される。
本原則に従ったいくつかの実施形態においては、溶接環境におけるリアルタイム溶接可視化を向上させるための方法は、着用可能な溶接装置において、少なくとも1つのビームスプリッタを用いて、当該溶接環境からの入射光を、異なる光レベルを有する少なくとも第1の光路および第2の光路に分割するステップと、当該少なくとも第1の光路および第2の光路の各々において、撮像センサを用いてそれぞれの分割された光の複数の画像を取得するステップと、当該左眼用撮像アセンブリおよび当該右眼用撮像アセンブリの当該少なくとも第1の光路および第2の光路の当該それぞれの撮像センサからの複数の画像を融合して、左眼用融合画像および右眼用融合画像を作成するステップと、当該着用可能な溶接装置のユーザの左眼の位置におけるディスプレイ上に当該左眼用融合画像を表示し、当該着用可能な溶接装置の当該ユーザの右眼の位置におけるディスプレイ上に当該右眼用融合画像を表示するステップとを含む。
本原則に従ったいくつかの実施形態においては、当該方法はさらに、左眼用撮像アセンブリおよび右眼用撮像アセンブリの各々における少なくとも1つのビームスプリッタを用いて、当該溶接環境からの入射光を、異なる光レベルを有する少なくとも第1の光路および第2の光路に分割するステップと、当該装置の当該ユーザの左眼の位置において当該左眼用撮像アセンブリにおいて取込まれた複数の画像を融合して表示し、当該ユーザの右眼の位置において当該右眼用撮像アセンブリにおいて取込まれた複数の画像を融合して表示して、当該溶接環境の3次元表示を提供するステップとを含む。
本原則に従ったいくつかの実施形態においては、溶接環境におけるリアルタイム溶接可視化および支援を向上させるための方法は、ビームスプリッタを用いて、入射光を第1の光路と第2の光路とに分割するステップを含む。当該第1の光路は分割された光のごく一部分を有するとともに当該第2の光路は分割された光の大部分を有する。当該方法はさらに、当該第1の光路において、高f値レンズを用いて、当該ビームスプリッタからの当該分割された光の当該ごく一部分を集束させるステップと、ニュートラルデンシティフィルタを用いて、当該高f値レンズからの当該集束された光をフィルタリングするステップと、第1のカメラを用いて、当該ニュートラルデンシティフィルタからの当該フィルタリングされた光の複数の画像を取得するステップとを含む。いくつかの実施形態においては、当該方法はさらに、当該第2の光路において、低f値レンズを用いて、当該ビームスプリッタからの当該分割された光の当該大部分を集束させるステップと、第2のカメラを用いて当該低f値レンズからの当該光の複数の画像を取得するステップとを含む。当該方法はさらに、当該第1のカメラからの画像と当該第2のカメラからの画像とを融合させるステップと、当該融合された画像のうち少なくとも一部分を左眼用表示画像および右眼用表示画像として表示するステップとを含む。
本原則に従った他の実施形態およびさらなる実施形態を以下に記載する。
本原則についての上述された特徴が詳細に理解され得るように、上述のように簡潔に要約された当該原則についてのより詳細な説明が、実施形態を参照することによって得られるであろう。実施形態のうちのいくつかは添付の図面に示されている。しかしながら、添付の図面が本原則に従った代表的な実施形態だけを例示するものであり、このため、その範囲を限定するものと解釈されるべきではなく、本原則が同様に有効な他の実施形態にも適用され得ることに留意されたい。
本原則の第1の実施形態に従った、リアルタイム溶接可視化および支援を向上させるための高度化された溶接マスク/ヘルメットシステムを示す高レベルブロック図である。 本原則の第2の実施形態に従った、3次元撮像能力を有する、リアルタイム溶接可視化および支援を向上させるための高度化された溶接マスク/ヘルメットシステムを示す高レベルブロック図である。 本原則の一実施形態に従った、図1の高度化された溶接マスク/ヘルメットシステムのマスク/ヘルメットの内部を示す高レベルブロック図である。 本原則の一実施形態に従った、図1の溶接マスク/ヘルメットシステムにおいて使用するのに適した撮像アセンブリを示す高レベルブロック図である。 本原則の一実施形態に従った、高度化された溶接マスク/ヘルメットシステムによって取込まれた溶接環境の画像を描写する図である。 本原則の一実施形態に従った、たとえば、溶接マスク/ヘルメットシステムの左眼用撮像アセンブリおよび右眼用撮像アセンブリのうちの少なくとも一方の第1の光路において第1の撮像センサによって取込まれた溶接スパークを含む溶接環境のソース画像を示す図である。 本原則の一実施形態に従った、図5Aのソース画像から生成された2値化飽和マスクを示す図である。 本原則の一実施形態に従った、制御部を収容するためのベルトアセンブリと、制御ユニットに電力供給するためのバッテリとを示す高レベルブロック図である。 本原則の一実施形態に従った、図1Aおよび図1Bの溶接マスク/ヘルメットシステムにおいて使用するのに適した制御部を示す高レベルブロック図である。 本原則の一実施形態に従った、リアルタイム溶接可視化を向上させるための方法を示すフロー図である。 本原則の立体/3次元の実施形態に従った、リアルタイム溶接可視化を向上させるための方法900を示すフロー図である。
理解し易くするために、図に共通する同一の要素を示すのに、可能な限り、同じ参照番号を用いている。図は縮尺通りではなく、明瞭にするために単純化されている場合もある。一実施形態の要素および特徴が、さらなる記載のない他の実施形態においても有益に組込まれ得ることが企図されている。
詳細な説明
本原則の実施形態は、概して、リアルタイム溶接可視化および支援を向上させるための方法、装置およびシステムに関する。本原則の概念はさまざまな変更例および代替的形態で実施可能であって、それらの具体的な実施形態が、添付の図面において例示のために示されており、以下において詳細に記載されている。本原則の概念を開示された特定の形態に限定するよう意図されていないことが理解されるはずである。逆に、本原則および添付の特許請求の範囲と整合性のある変更例、同等例および代替例をすべて包含するように意図されている。たとえば、本原則の実施形態は、主として特定の溶接環境において特有の構成要素を有する特有の溶接マスク/ヘルメットシステムに関して記載されることとなるが、このような教示は限定としてみなされるべきではない。本原則に従った実施形態は、本原則の概念の範囲内で、実質的に如何なる溶接環境においても実質的に如何なる溶接マスク/ヘルメット内においても実現することができる。
本原則に従った実施形態は、カメラ、音響マイクロフォン、赤外線センサ、サーマルカメラ、加速度計およびGPS装置を含むがこれらに限定されない、1つまたは複数のセンサと一体化された溶接マスク/ヘルメットを含む溶接マスク/ヘルメットシステムを提供する。加えて、溶接マスク/ヘルメットは、通信手段を含み得るとともに、1つまたは複数の外部センサからデータを受取り得る。さまざまな実施形態においては、センサ情報は、溶接マスク/ヘルメット内において一体化され得るスクリーン上に表示することができるとともに、いくつかの実施形態においては、溶接マスク/ヘルメットのバイザー部分内において一体化することができる。
本原則に従ったさまざまな実施形態においては、溶接ヘルメット/マスクシステムにおいては、溶接環境からの入射光は、さまざまな光レベルを有する少なくとも2つの光路(すなわち複数の光路)に分割される。少なくとも2つの光路の各々においては、さまざまな光レベルの光がそれぞれの撮像センサによって取込まれて、異なる露光レベルを有する溶接環境の画像/映像ストリームが作成される。すなわち、いくつかの実施形態においては、異なる光レベルを有する異なる光路を用いて、溶接環境の複数の画像フレームが取得される。溶接環境のうちの暗いシーンの詳細および明るいシーンの詳細は、ビームスプリッタを用いること、異なるf値レンズを用いること、または、光路のうちのいくつかまたはすべてにおいて異なるニュートラルデンシティフィルタを配置することにより、光路の各々における光レベルに差異を生じさせることによって取得することができる。立体映像を必要とするいくつかの実施形態においては、左眼用撮像アセンブリおよび右眼用撮像アセンブリの各々において、溶接環境からの入射光が、さまざまな光レベルを有する少なくとも2つの光路(すなわち複数の光路)に分割される。左眼用撮像アセンブリおよび右眼用撮像アセンブリの各々における少なくとも2つの光路の各々においては、さまざまな光レベルを有する光がそれぞれの撮像センサによって取込まれて、異なる露光レベルを有する溶接環境の画像/映像ストリームが作成される。
有利には、本原則に従った溶接ヘルメット/マスクシステムのアーキテクチャのおかげで、溶接環境の複数の画像フレームを同時に取得することができるが、各々のフレームの輝度は、ビームスプリッタ、f値レンズのうちの少なくとも1つによって、またはニュートラルデンシティフィルタによって、差異を生じさせられる。このような構成要素は本原則に従って、それぞれの撮像センサによって取得される光エネルギの量を制御するように実現される。
加えて、または代替的には、いくつかの実施形態においては、少なくとも1つの撮像センサは、異なる光レベルで複数の画像を取得するために、異なるフレームレートで溶接環境の複数の画像を取得するように構成され得る。たとえば、いくつかの実施形態においては、少なくとも1つの撮像センサは、より高いフレームレートで溶接環境の複数の画像を取得するように構成され得る。いくつかの実施形態においては、撮像センサは、表示レートの2倍以上で実行可能であり、画像フレームの各々はさまざまな露光時間で構成することができ、このため、高露光時間を必要とする暗いシーン、および低露光時間を必要とする明るいシーンを順々に取得することができる。このような実施形態においては、複数の画像フレームは同時に取込まれないが、これら画像フレームは表示レートの少なくとも2倍以上で取得されるので、溶接システムにおいて空間的差異を無視することができる。
左眼用撮像アセンブリおよび右眼用撮像アセンブリの各々を含む立体/3次元機能を含む実施形態に関する、少なくとも2つの光路または少なくとも4つの光路の撮像センサによって取込まれたそれぞれの画像は、たとえば制御部のプロセッサによって融合されて、溶接環境の融合された左眼用画像および右眼用画像となる。溶接環境の融合された左眼用画像および右眼用画像は、溶接環境のさまざまな露光画像/映像ストリームの各々についての詳細を含む。融合された左眼用画像は、本原則のヘルメット/マスクシステムのユーザの左眼に提示されるように左眼用ディスプレイ上に表示される。融合された右眼用画像は、本原則のヘルメット/マスクシステムのユーザの右眼に提示されるように右眼用ディスプレイ上に表示される。
いくつかの実施形態においては、溶接環境からの光は、少なくとも1つの対応するビームスプリッタによって、異なる光レベルを有する少なくとも2つの光路に分割される。他のいくつかの実施形態においては、溶接環境からの光は、2つ以上の対応するビームスプリッタによって、異なる光レベルを有する複数の光路に分割される。光路の各々における分割された光は、光路の各々におけるそれぞれの撮像センサに対して垂直に方向付けることができる。有利には、本原則に従った溶接マスクヘルメット/マスクシステムのアーキテクチャ、具体的には、ビームスプリッタ、異なる光レベルを有する複数の光路およびそれぞれ対応する撮像センサの配置は、視差をもたらさない高ダイナミックレンジ可視化および映像取得システムを提供する。加えて、いくつかの実施形態においては、本原則に従った溶接マスクヘルメット/マスクシステムのアーキテクチャ、具体的には、左眼用撮像アセンブリおよび右眼用撮像アセンブリのそれぞれの撮像センサは、有利には、別個の左眼用画像および右眼用画像を提供して、溶接環境の3三次元表示をもたらすことにより、奥行き感覚を最適化する。
本原則に従ったいくつかの実施形態はさらに、本原則の高度化された溶接マスク/ヘルメットシステムのユーザに対して溶接の支援を提供する。すなわち、いくつかの実施形態においては、情報および画像は、溶接工が溶接を実施するのを支援するために、ディスプレイ上に提示される少なくとも音声および画像の形式で、本原則の高度化された溶接マスク/ヘルメットシステムのユーザに対して提示することができる。
図1Aは、本原則の一実施形態に従った、高度化された溶接マスク/ヘルメットシステム100を示す高レベルブロック図である。図1の高度化された溶接マスク/ヘルメットシステム100は、例示的には、溶接マスク/ヘルメット120および制御部130を含む。図1の溶接マスク/ヘルメット120は、例示的には、撮像アセンブリ122およびオプションのセンサ126を含む。図1はさらに、溶接動作を実行するための溶接機器および付属品を含む遠隔の溶接ステーション140を示す。図1Aにおいては、高度化された溶接マスク/ヘルメットシステム100が単一のセンサ126(たとえばオプションのセンサ)を含むものとして示されており、オプションのセンサ126が溶接マスク/ヘルメット120上に装着されるものとして示されているが、本原則に従った他の実施形態においては、溶接マスク/ヘルメットシステムは、(以下においてさらに詳細に記載される)2つ以上のセンサを含み得る。この場合、いくつかのセンサは、溶接マスク/ヘルメット120上に装着することができ、他のセンサは別個の構成要素を含み得る。
図1Bは、本原則の第2の立体/3次元の実施形態に従った、高度化された溶接マスク/ヘルメットシステム100の高レベルブロック図を示す。図1Bの高度化された溶接マスク/ヘルメットシステム160は、例示的には、溶接マスク/ヘルメット120および制御部130を含む。図1Bの溶接マスク/ヘルメット120は、例示的には、左眼用撮像アセンブリ172、右眼用撮像アセンブリ174およびオプションのセンサ186を含む。図1Bはさらに、溶接動作を実行するための溶接機器および付属品を含む遠隔の溶接ステーション140を示す。図1Bにおいては、高度化された溶接マスク/ヘルメットシステム160が単一のセンサ186(たとえば、オプションのセンサ)を含むものとして示されており、オプションのセンサ186が溶接マスク/ヘルメット120上に装着されるものとして示されているが、本原則に従った他の実施形態においては、溶接マスク/ヘルメットシステムは、(以下においてさらに詳細に記載される)2つ以上のセンサを含み得る。この場合、いくつかのセンサは、溶接マスク/ヘルメット120上に装着することができ、他のセンサは別個の構成要素を含み得る。
図2は、本原則の一実施形態に従った、図1Aおよび図1Bの高度化された溶接マスク/ヘルメットシステム100/160のマスク/ヘルメット120の内側を示す高レベルブロック図である。図2に示されるように、マスク/ヘルメット120は、マスク/ヘルメット120のユーザに対して、画像、映像ストリームならびにデータおよび情報を表示するためのディスプレイ150を内部に含み得る。図2の実施形態においては、マスク/ヘルメット120のディスプレイ150は、マスク/ヘルメット120の内部に装着された頭部装着型ディスプレイ(head mounted display:HMD)150を含む。いくつかの実施形態においては、HMD150は、HMD150の左側ディスプレイと右側ディスプレイとの間の距離および傾斜に関するユーザの要求を満たすために調整可能なディスプレイポジショニングを含む。図2に示されるように、マスク/ヘルメット120のディスプレイ150は、ユーザの左眼の位置に第1の表示手段(たとえば、ディスプレイ)151と、ユーザの右眼の位置に第2の表示手段(たとえば、ディスプレイ)152とを含み得る。
図3は、本原則の一実施形態に従った、図1Aの溶接マスク/ヘルメットシステム100および図1Bの溶接マスク/ヘルメットシステム160において撮像アセンブリ122として用いるか、または、立体/3次元実施形態において左眼用撮像アセンブリ172および右眼用撮像アセンブリ174として用いるのに適した撮像アセンブリ300の高レベルブロック図を示す。図3の撮像アセンブリ300は、例示的には、第1のカメラレンズ305、第2のカメラレンズ310、ビームスプリッタ315、オプションのフィルタ320、第1のカメラ350、および第2のカメラ360(例示的には、プリント回路基板カメラ)を含む。
図3の撮像アセンブリ300の実施形態においては、溶接環境からの入射光が、ビームスプリッタ315によって、例示的には2つの光路に分割される。図3の実施形態のビームスプリッタ315は、例示的には、ビームスプリッタを含む。ビームスプリッタは、入射光を、光の大部分を含む第1の光路311と、光のごく一部分を含む第2の光路312とに分割する。たとえば、図3の実施形態の撮像アセンブリ300においては、ビームスプリッタ315は、60%を反射させ40%を透過させるビームスプリッタであり得る。すなわち、図3の撮像アセンブリ300の実施形態においては、入射光の40%が、ビームスプリッタ315内を通り第1の光路311に沿って第1のカメラレンズ305にまで進み、入射光の60%が、右側に反射されて第2の光路312に沿って第2のカメラレンズ310に至る。そのため、図3の撮像アセンブリ300においては、2つの光路311および312の各々は異なる光レベルを含む。
図3の撮像アセンブリ300の実施形態においては、第1のカメラレンズ305は例示的には高f値レンズ、例示的にはf/6レンズを含み、第2のカメラレンズ310は例示的には低f値カメラレンズ、例示的にはf/2レンズを含む。図3の実施形態においては、第1のf/6カメラレンズ305は、ビームスプリッタ315から40%の透過光を受取って集束させ、第2のf/2カメラレンズ310は、ビームスプリッタ315から60%の反射光を受取って集束させる。図3の実施形態においては、異なるf値のカメラレンズ305および310がさらに、2つの光路311および312における光レベルを区別する。
図3の撮像アセンブリ300の実施形態においては、第1の光路311において、第1の高f値カメラレンズ305によって集束された40%の光は、オプションのフィルタ320(例示的には、ニュートラルデンシティフィルタ)によってフィルタリングされ得る。図3の実施形態においては、オプションのフィルタ320はさらに、2つの光路311および312における光レベルに差をつける。
図3の撮像アセンブリ300の実施形態においては、オプションのフィルタ320によってフィルタリングされた集束光の40%が第1のカメラ350によって取込まれて撮像されるとともに、第2のレンズ310によって集束された光の60%が第2のカメラ360によって取込まれて撮像されることで、2つの異なる光レベルを有する溶接環境の画像/映像ストリームが作成される。
たとえば、図3の撮像アセンブリ300においては、第1のカメラ350は第2のカメラ360よりもはるかに少ない光を収集する。なぜなら、ビームスプリッタ315は入射光の40%しか第1のカメラ350に透過させないからであり、かつ、オプションのフィルタ320(例示的には、1.2NDフィルタ)は約9%の光しか第1のカメラ350にまで届かせることができないからである。加えて、図3の撮像アセンブリ300においては、第1のカメラ350に向けられるべき光を収集する第1のカメラレンズ305は、例示的には、f/6レンズであって、図3の撮像アセンブリ300において例示的にはf/2レンズである第2のカメラレンズ310の約8分の1の光を受取る。
図3の撮像アセンブリ300の実施形態は、例示的には、溶接環境からの入射光を2つの光路、すなわち、分割された光の大部分を含む第1の光路311と分割された光のごく一部分を含む第2の光路312とに分割するビームスプリッタと、低f値レンズと、高f値レンズと、フィルタとを含むが、例示される実施形態は限定的なものとみなされるべきでない。図3の撮像アセンブリ300は、少なくとも1つの撮像アセンブリの実施形態を示すように意図されたものであって、当該少なくとも1つの撮像アセンブリは1つ以上のビームスプリッタを含む。当該1つ以上のビームスプリッタは、明るいシーン詳細および暗いシーン詳細がともに、いくつかの実施形態において同時に取得されることを可能にする、2つのそれぞれの露光レベルを有する溶接環境の画像/映像ストリームを作成する、視差なしの高ダイナミックレンジ映像取得システムを提供するために、入射光をさまざまな光レベルを有する少なくとも2つの光路に分割する。本原則の他の実施形態においては、溶接環境からの入射光を、1つ以上のビームスプリッタによって異なる光レベルを有する複数の光路に分割することができ、最終的に、本原則に従った複数のそれぞれの露光レベルを有する溶接環境の画像/映像ストリームを作成して、明るい光レベルのシーン詳細、暗い光レベルのシーン詳細、および中間の光レベルのシーン詳細がいずれも、いくつかの実施形態においては同時に取得されることを可能にする。
加えて、または代替的には、上述のとおり、本原則に従ったいくつかの実施形態においては、少なくとも1つの撮像センサ(たとえばカメラ)は、より高いフレームレートで溶接環境の複数画像を取得するように構成され得る。このような実施形態においては、撮像センサは、表示レートの2倍以上で実行可能であり、画像フレームの各々は異なる露光時間で構成され得るので、高露光量時間を必要とする暗いシーン、および低い露光時間を必要とする明るいシーンを取得することができる。このような実施形態においては、非常に暗いシーンと非常に明るいシーンとの間の光レベルを有する溶接環境のシーンも取得することができるように、溶接環境の複数の画像を複数倍のフレームレートでさまざまな露光時間をかけて取得することができる。
上述の実施形態に従うと、図3の撮像アセンブリ300などの本原則の各撮像アセンブリにおいては、2つの撮像センサ(たとえば、カメラ350およびカメラ360)によって取込まれた映像ストリームが制御部130に伝達される。制御部130において、映像ストリームが、融合技術を用いて左眼用画像/映像ストリームおよび右眼用画像/映像ストリームに合成される。本原則に従ったいくつかの実施形態においては、カリフォルニア州(California)のメンローパーク(Menlo Park)にあるエス・アール・アイ・インターナショナル(SRI International)による、4つの映像のストリームを融合させるためのラプラシアンピラミッド融合(Laplacian Pyramid Fusion)技術が実現されている。ラプラシアンピラミッド融合技術は、この明細書中において引用により援用されている、「コントラスト正規化を用いたマルチスケール・マルチカメラ適応融合(MULTI-SCALE MULTI-CAMERA ADAPTIVE FUSION WITH CONTRAST NORMALIZATION)」と題されてエス・アール・アイ・インターナショナルに譲渡された米国特許第8,411,938号の主題である。
いくつかの実施形態においては、融合された映像ストリームにより、結果として、当初から4つの別個の映像ストリームにある詳細をすべて保持しつつ、コンピュータモニタまたは頭部装着型ディスプレイなどのディスプレイ上に8ビット出力ストリームを表示させることが可能となる。すなわち、たとえば溶接アークおよび当該溶接アーク付近の物体についての極めて明るい詳細、極端に暗い詳細たとえば溶接環境の背景、ならびに、中間の明るさを有する画像が、融合された出力において保持される。
たとえば、図4は、本原則の一実施形態に従った、高度化された溶接マスク/ヘルメットシステムによって取込まれた溶接環境の画像を描写している。図4の実施形態においては、本原則の一実施形態に従った高度化された溶接マスク/ヘルメットシステムによって取込まれた画像において、溶接トーチ406、溶接ワイヤ404、溶接アーク402、溶接パドル408、溶接スパーク410、凝固したばかりの溶接の白熱しているビード412、冷却してもはや白熱していない溶接のビード414、溶接サンプル416、および溶接環境の背景418が、すべて、HMD150などのディスプレイ上で同時に視認可能であるとともに、本原則の高度化された溶接マスク/ヘルメットシステムのユーザによって視認可能であることは明らかである。
いくつかの実施形態においては、画像融合プロセスは初めに、各々のソース画像を、画像のピラミッドと称されるマルチ空間・マルチ帯域画像に分解する。ピラミッドにおける各々の画像は狭い周波数帯域に対応する。画像融合は、すべてのソース画像間で1画素ごとおよび1帯域ごとに最適な特徴を選択する選択規則を実施する。局所的選択は、顕著な特徴の強度、ソース画像からの画素の信頼度に基づいている。たとえば、ソース画像における区域が飽和すると、またはノイズで一杯になると、その区域における画素の信頼度がゼロになり、次いで、帯域ごとに対応する位置において特徴を選択する際に、飽和度およびノイズに関する画素が選択されなくなる。選択プロセスは、1帯域毎に1つの画像を出力して、1周波数帯域毎に最適な特徴を維持する。このため、これらの帯域化された画像は融合されたピラミッドを形成する。最後に、融合されたピラミッドを単一の融合された画像に復元するために、分解が参照されるのに応じて、逆のプロセスが実行される。この融合された画像は、ソース画像の各々からの最適で有効な局所構造を含む。
図1B〜図3を再び参照すると、本原則に従ったいくつかの立体/3次元の実施形態においては、左眼用撮像アセンブリ172の出力ストリームが溶接マスク/ヘルメット120のユーザの左眼で視認可能となるように、左眼用撮像アセンブリ172の出力ストリームが図1の高度化された溶接マスク/ヘルメットシステム100の溶接マスク/ヘルメット120のHMD150上に表示される。同様に、本原則に従ったいくつかの実施形態においては、右眼用撮像アセンブリ174の出力ストリームが溶接マスク/ヘルメット120のユーザの右眼で視認可能となるように、右眼用撮像アセンブリ174の出力ストリームが図1の高度化された溶接マスク/ヘルメットシステム100の溶接マスク/ヘルメット120のHMD150上に表示される。本原則に従ったいくつかの代替的な実施形態においては、溶接マスク/ヘルメット120のディスプレイは、ユーザの適切な眼で視認されるように適切な位置にストリームを表示させる単一のディスプレイを含む。本原則に従った他のいくつかの実施形態においては、溶接マスク/ヘルメット120のディスプレイは、ユーザの各々の眼のための専用のディスプレイを含む。
本原則に従った溶接マスク/ヘルメット120のユーザの特定の眼に対して表示するための画像/映像ストリームの取込みおよび割当てに特化することで、結果として、ユーザのために正確な立体(たとえば3D)可視化が実現される。現実的な奥行き感覚を維持するために、本原則に従ったいくつかの実施形態においては、左眼用撮像アセンブリ172および右眼用撮像アセンブリ174は、その位置関係を人間の溶接工の眼球の間隔に近づけるように、図1Bの溶接マスク/ヘルメットシステム160の溶接マスク/ヘルメット120上に物理的に装着されて方向付けられる。
本原則に従った溶接マスク/ヘルメットシステムのいくつかの実施形態においては、溶接中、具体的には、溶接アークが生じている間、図3の撮像アセンブリ300などの各々の撮像アセンブリにおいて、溶接環境の複数の画像は、ビームスプリッタ315、高f値の第1のカメラレンズ305およびフィルタ320を通じて第1のカメラ350によって取得される。より一般的には、極めて明るい間、溶接環境の画像/映像ストリームは、最終的により高い光強度を含む光路における成分よりもはるかに低い光強度を含む光路における成分を用いて取得される。逆に、比較的より暗い間、具体的には、溶接アークが生じていない間、溶接環境の画像は、第2のカメラ360によってビームスプリッタ315を通じて取得される。より一般的には、暗い間、画像/映像ストリームは、最終的により低い光強度を含む光路における成分よりもはるかに高い光強度を含む光路における成分を用いて取得される。
本原則に従った図1Aの溶接マスク/ヘルメットシステム100および図1Bの溶接マスク/ヘルメットシステム160のアーキテクチャと、具体的には、撮像アセンブリ300のビームスプリッタ315ならびに第1のカメラ350および第2のカメラ360の配置とが、溶接環境のための視差なしの高ダイナミックレンジ映像取得システムを提供する。
加えて、有利には、本原則の実施形態に従った図1Aの溶接マスク/ヘルメットシステム100および図1Bの溶接マスク/ヘルメットシステム160のアーキテクチャのおかげで、ユーザは、溶接環境における極めて明るい間および極めて暗い間の両方において、溶接マスク/ヘルメットシステム100/160の溶接マスク/ヘルメット120を着用し続けることができるとともに、溶接環境の明瞭な画像を見ることもできる。より具体的には、図1から図3を再び参照すると、本原則に従ったいくつかの実施形態においては、図1Aの溶接マスク/ヘルメットシステム100と、図1Bの溶接マスク/ヘルメットシステム160とは、溶接マスク/ヘルメット120上に装着することができる光センサ126/186を含み得る。いくつかの実施形態においては、光センサ126/186は、溶接環境における明るい間(すなわち、溶接アークが生じているとき)を検知し、溶接環境における明るさの存在を示す信号を制御部130に伝達する。他のいくつかの実施形態においては、オプションの光センサ126/186は、溶接環境における暗い間(すなわち、溶接アークが生じていないとき)を検知し、溶接環境における暗さの存在を示す信号を制御部130に伝達する。
光センサ126/186から信号を受信すると、制御部130は、受信した信号に基づいて、どの撮像センサ(たとえば、第1のカメラ350または第2のカメラ360)から取込まれた画像/映像ストリームを溶接マスク/ヘルメット120のディスプレイ上に表示するべきかを判断する。たとえば、上述のように、いくつかの実施形態においては、溶接環境における極めて明るい間、オプションの光センサから受信した信号に応じて、制御部130は、第1のカメラ350によって取込まれた映像のストリームをユーザのそれぞれの眼に対する溶接マスク/ヘルメット120のディスプレイ上に表示させる。逆に、上述のように、いくつかの実施形態においては、溶接環境における極めて暗い間、オプションの光センサから受信した信号に応じて、制御部130は、第2のカメラ360によって取込まれた映像ストリームをユーザのそれぞれの眼に対する溶接マスク/ヘルメット120のディスプレイ上に表示させる。
代替的には、または加えて、本原則に従ったいくつかの実施形態においては、第1のカメラ350および第2のカメラ360のうち少なくとも1つによって取込まれた信号は、たとえば、どのカメラ(たとえば、第1のカメラ350または第2のカメラ360)から取込まれた映像ストリームを溶接マスク/ヘルメット120のディスプレイ上に表示するべきかを制御部130によって判断することによって、実現することができる。たとえば、4つのカメラのいずれか(たとえば、第1のカメラ350および第2のカメラ360)から取込まれた映像ストリームが溶接環境における明るさの存在を示している場合、4つのカメラの各々の取込まれた映像のストリームにアクセスする制御部130は、(より少ない光を収集する)第1のカメラ350によって取込まれた映像ストリームをユーザのそれぞれの眼に対する溶接マスク/ヘルメット120のディスプレイ上に表示させる。逆に、4つのカメラ(たとえば、第1のカメラ350および第2のカメラ360)の取込まれた映像ストリームが溶接環境における暗さの存在を示している場合、制御部130は、第2のカメラ360によって取込まれた映像ストリームを、ユーザのそれぞれの眼に対する溶接マスク/ヘルメット120のディスプレイ上に表示させる。
本原則に従ったいくつかの実施形態においては、たとえば、アーク溶接によって溶接環境において生成されるスパークは、映像ストリームに表示させないようにすることができる。より具体的には、カメラ(たとえば、第1のカメラ350および第2のカメラ360)のうちの1つによって取込まれた1つの画像または複数の画像において明らかなスパークは、たとえば、取込まれた映像ストリームを処理する際に制御部130によって識別することができる。制御部130において、複数の画像のうちスパークを含む部分(たとえば画素)を画像から除去することができる。たとえば、本原則に従ったいくつかの実施形態においては、スパークを含むカメラ画素の信号を除去することができるとともに、周囲画素/隣接画素からの信号の平均をこれらの除去された信号と置換えることができる。
たとえば、図5Aおよび図5Bは、本原則の一実施形態に従ったスパーク除去プロセスを描写している。図5Aは、本原則に従った、溶接マスク/ヘルメットシステムの第1の光路において、たとえば、第1の撮像センサによって取込まれた溶接スパークを含む溶接環境の第1のソース画像を示す。図5Aおよび図5Bの実施形態においては、図5Bに示される2値化飽和マスクが、図5Aのソース画像から生成される。次いで、個々のスパークがマスク画像から検出され、各々のスパークの面積が計算される。予め定められた閾サイズ値に基づいて、溶接環境の背景および溶接トーチ先端の溶融部に対応するソース画像における飽和領域が2値化飽和マスクから除外される。次いで、スパーク付近の値が決定される。たとえば、いくつかの実施形態においては、各々のスパークについての輪郭は2成分マスク画像における形態的動作に応じて拡大される。画像におけるスパークの輪郭に沿った値が蓄積され、1スパーク当たりの平均輪郭値が計算される。次いで、各々のスパークの画素値が、計算された平均値と置換される。
本原則に従ったいくつかの実施形態においては、撮像センサ(たとえば、第1のカメラ350および第2のカメラ360)のうちの少なくとも1つは、少なくとも1つの近赤外線(near infrared:NIR)カメラを含む。このような実施形態においては、本原則に従った溶接マスク/ヘルメットシステムは、溶接環境が煙で満たされていても、溶接環境の明瞭な画像を提供することができる。
図1Aおよび図1Bを再び参照すると、本原則に従ったいくつかの実施形態においては、溶接マスク/ヘルメットシステム100/160のオプションのセンサ126/186は、低分解能の赤外線カメラまたは熱センサなどの少なくとも1つの温度センサを含み得る。すなわち、溶接時に検出することが特に重要なパラメータは、実際に溶解している部分における温度だけではなく周囲の材料における熱分布でもある。温度を検知するための少なくとも1つの赤外線カメラ126/186または熱センサを含む溶接マスク/ヘルメットシステム100/160の実施形態においては、少なくとも1つの赤外線カメラまたは熱センサ126/186は、溶接環境における実際に溶融している部分の温度、および周囲の材料における熱分布をも検知することができる。少なくとも1つの赤外線カメラまたは熱センサ126/186によって収集されたデータは制御部130に伝達される。制御部130は、温度データを、任意の態様で溶接マスク/ヘルメット120のHMD150上に表示させることができる。たとえば、いくつかの実施形態においては、温度データは、ヒートマップまたは上述のいずれかの組合せによって、溶接および周辺区域を表わす画像に示されているさまざまな温度範囲をさまざまに色付けすることによって、数値データとして図で表示することができる。
いくつかの実施形態においては、温度情報は、溶接環境の画像もしくは映像ストリームのディスプレイ上の専用部分上に、または、溶接環境の画像もしくは映像ストリームのディスプレイの外側に、表示することができる。
本原則に従ったいくつかの実施形態においては、オプションのセンサ126/186は、いずれかのセンサに関連付けて少なくともこの明細書中に記載されている本原則の溶接マスク/ヘルメットシステムのユーザに対して情報を提供して溶接の支援を提供するのに用いられるべきそれぞれの情報を制御部130に提供するための、カメラ、音響マイクロフォン、赤外線センサ、サーマルカメラ、加速度計およびGPS装置のうち少なくとも1つを含み得る。
本原則に従ったさまざまな実施形態においては、図1Aおよび図1Bの溶接マスク/ヘルメットシステム100/160の制御部130は、ユーザが、たとえば溶接ステーション140を介して、溶接マスク/ヘルメットシステム100および溶接環境と対話することを可能にし得る。たとえば、いくつかの単純な実施形態においては、制御部130は、溶接環境および溶接ステーション140に関する情報の表示をHMD150を介してユーザに提示させることができる。たとえば、いくつかの実施形態においては、一体型のまたは外部の熱センサを用いて、溶接されている物体の温度を監視することができるとともに、制御部130は、たとえば、所望の溶接を達成できるように溶接工が溶接手順またはパラメータを変更する方法を決定できるようにするために、熱画像が溶接環境の映像ストリーム画像上に重ねられると、HMD150上にこのような情報を表示させることができる。たとえば、溶接工は溶接されている物体の温度に応じて特定の部位における休止時間を調整することができる。溶接工に対して表示することができるとともに溶接工によって調整することができる他の溶接パラメータは、溶接ワイヤの送り速度、溶接ワイヤの位置、溶接トーチの位置、溶接トーチに関連付けられた電源の電流または電圧などを含み得るが、これらに限定されない。
本原則に従ったいくつかの実施形態においては、制御部130は、溶接ステーション140と通信して、たとえば、HMD150を介して溶接マスク/ヘルメットシステム100/160のユーザに対して少なくともこのようなパラメータを表示するための溶接環境のパラメータを決定することができる。いくつかの実施形態においては、制御部130は、USBもしくはHDMI(登録商標)などの有線接続によって溶接ステーション140と通信することができるか、または、代替的には、もしくは加えて、制御部130は、Bluetooth(登録商標)もしくはWi−Fiなどの無線接続によって溶接ステーション140と通信することができる。溶接パラメータなどのこのような情報がたとえばHMD150上に表示されると、溶接工は、所望の溶接を達成することができるように溶接手順またはパラメータを変更する方法を決定することができる。
本原則に従ったいくつかの実施形態においては、カメラ(たとえば、第1のカメラ350および第2のカメラ360)のうち少なくとも1つによって取込まれた溶接プロセスの画像/映像ストリームは、たとえば制御部130によって、制御部130のメモリまたは外部メモリに記録させることができる。溶接の品質は制御部130において溶接の記録画像を分析することによって判断することができる。たとえば、いくつかの実施形態においては、記録された溶接プロセスおよび/または完了した溶接部の画像は、制御部130において、適切な溶接プロセスまたは完了した溶接部がどのようなものであるべきかを示すものとして保存されている画像と比較することができる。溶接品質に関するデータは、機械学習、溶接品質に関するフィードバックの提供および報告を含むがこれらに限定されないさまざまな目的のために、または、溶接を必要に応じてやり直すために、用いることができる。溶接品質に関して提供されるフィードバックは、本原則の実施形態に従った溶接マスク/ヘルメットシステムのディスプレイ上でユーザに対して提供することができる。ユーザは、所望の溶接を達成することができるように溶接手順またはパラメータを変更するために、このようなフィードバックを用いることができる。
図1Aの溶接マスク/ヘルメットシステム100および図1Bの溶接マスク/ヘルメットシステム160などの溶接マスク/ヘルメットシステムのいくつかの実施形態においては、拡張現実は、溶接工/ユーザが実施する溶接の改善を支援するために用いることができる。たとえば、溶接手順の開始前に、制御部130は、溶接がそれに沿って実施されるべき経路を、溶接工が視認できるように、たとえばHMD150上に表示させることができる。溶接のための経路は、たとえば制御部130または他の制御部によって、溶接の幾何学的形状についての知識、含まれている材料の材質特性、このような溶接の経路について記憶された知識、および、以前の同様の溶接から得られた知識に基づいて、計算することができる。
溶接中、決定された経路は、溶接がなされるべき溶接環境の画像/映像ストリームの区域上にわたって、溶接工/ユーザに対して表示することができる。溶接工による溶接の映像ストリームは、溶接プロセス中に溶接工が決定された経路に追従しているかどうかを判断するために、制御部130によって監視され得る。事前に計算された経路からのずれがあると判断される場合、警告を溶接工に対して、たとえばHMD150上で視覚的刺激の形で与えることができる。
本原則に従ったいくつかの実施形態においては、図1Aの溶接マスク/ヘルメットシステム100および図1Bの溶接マスク/ヘルメットシステム160はさらに、少なくとも制御部130を収容するためのアセンブリと、制御部130に電力を供給するための電源とを含み得る。たとえば、図6は、本原則の一実施形態に従った、制御部130を収容するためのベルトアセンブリ600と制御部に電力を供給するためのバッテリ610とを示す高レベルブロック図である。図6のベルトアセンブリ600は、バッテリ610を保持するための区画620と、締結具(図示せず)によって制御部130をベルトアセンブリ600に取付けるための締結孔(例示的には、4つの締結孔、まとめて630とする)とを含む。図6のベルトアセンブリ600はさらに、溶接工が、ベルト(図示せず)を用いて、たとえば溶接工の腰にベルトアセンブリ600を固定することができるように、ベルト(図示せず)をベルトアセンブリ600に固定するためのベルトスロット(例示的には、4つのベルトスロット、まとめて640とする)を含む。
図7は、本原則の一実施形態に従った、図1Aの溶接マスク/ヘルメットシステム100および図1Bの溶接マスク/ヘルメットシステム160において用いられるのに適した制御部130の高レベルブロック図を示す。いくつかの実施形態においては、制御部130は、さまざまな実施形態においてプロセッサ実行可能プログラム命令722(たとえば、プロセッサ710によって実行可能なプログラム命令)として本原則の方法を実現するように構成され得る。
図7の実施形態においては、制御部130は、入出力(input/output:I/O)インターフェイス730を介してシステムメモリ720に連結された1つ以上のプロセッサ710a〜710nを含む。制御部130はさらに、I/Oインターフェイス730に連結されたネットワークインターフェイス740と、カーソル制御デバイス760、キーボード770およびディスプレイ780などの1つ以上の入出力デバイス750とを含む。さまざまな実施形態においては、構成要素はいずれも、システムが上述のユーザ入力を受信するために利用することができる。さまざまな実施形態においては、ユーザインターフェイスが生成されてディスプレイ780上に表示され得る。場合によっては、いくつかの実施形態が制御部130の単一のインスタンスを用いて実現され得る一方で、他の実施形態においては、複数のこのようなシステムまたは制御部130を構成する複数のノードがさまざまな実施形態のうちの別々の部分またはインスタンスをホストするように構成され得ることが企図されている。たとえば、一実施形態においては、いくつかの要素は、制御部130のうち、他の要素を実現するノードとは異なる1つ以上のノードによって実現することができる。別の例においては、複数のノードが分散された態様で制御部130を実現することができる。
さまざまな実施形態においては、制御部130は、パーソナルコンピュータシステム、デスクトップコンピュータ、ラップトップ、ノートブック、タブレットもしくはネットブックコンピュータ、メインフレームコンピュータシステム、ハンドヘルド型コンピュータ、ワークステーション、ネットワークコンピュータ、カメラ、セットトップボックス、モバイルデバイス、コンシューマデバイス、ビデオゲームコンソール、ハンドヘルド型ビデオゲームデバイス、アプリケーションサーバ、記憶装置、さらにはスイッチ、モデム、ルータなどの周辺機器、または、一般的な任意のタイプのコンピューティングデバイスもしくは電子デバイスを含むがこれらに限定されない、さまざまなタイプのデバイスのうちのいずれであってもよい。
さまざまな実施形態においては、制御部130は、1つのプロセッサ710を含むユニプロセッサシステム、または、いくつか(たとえば2個、4個、8個または他の好適な数)のプロセッサ710を含むマルチプロセッサシステムであってもよい。プロセッサ710は命令を実行することができる如何なる好適なプロセッサであってもよい。たとえば、さまざまな実施形態においては、プロセッサ710は、さまざまな命令セットアーキテクチャ(instruction set architecture:ISA)のいずれかを実現する汎用または埋込み型のプロセッサであってもよい。マルチプロセッサシステムにおいては、プロセッサ710の各々は、一般に、必ずしもそうである必要はないが、同じISAを実現し得る。
システムメモリ720は、プロセッサ710によってアクセス可能なプログラム命令722および/またはデータ732を格納するように構成され得る。さまざまな実施形態においては、システムメモリ720は、スタティックランダムアクセスメモリ(static random-access memory:SRAM)、シンクロナスダイナミックRAM(synchronous dynamic RAM:SDRAM)、不揮発性/フラッシュタイプメモリ、または他の任意のタイプのメモリなどの任意の好適なメモリ技術を用いて実現され得る。図示される実施形態においては、上述の実施形態の要素のうちのいずれかを実現するプログラム命令およびデータは、システムメモリ720内に格納することができる。他の実施形態においては、プログラム命令および/またはデータは、さまざまなタイプのコンピュータアクセス可能媒体上で、または、システムメモリ720もしくは制御部130とは別個の同様の媒体上で、受信、送信または格納することができる。
一実施形態においては、I/Oインターフェイス730は、プロセッサ710と、システムメモリ720と、ネットワークインターフェイス740もしくは入出力デバイス750などの他の周辺インターフェイスを含むデバイスにおけるいずれかの周辺デバイスとの間のI/Oトラフィックを調整するように構成することができる。いくつかの実施形態においては、I/Oインターフェイス730は1つの構成要素(たとえばシステムメモリ720)からのデータ信号を別の構成要素(たとえばプロセッサ710)が使用するのに適したフォーマットに変換するために、必要な任意のプロトコル、タイミングまたは他のデータ変換を実行することができる。いくつかの実施形態においては、I/Oインターフェイス730は、たとえば、周辺機器相互接続(peripheral component interconnect:PCI)バス規格またはユニバーサルシリアルバス(universal serial bus:USB)規格の変形例などの、さまざまなタイプの周辺バスを介して取付けられたデバイスのためのサポートを含み得る。いくつかの実施形態においては、I/Oインターフェイス730の機能が、たとえば、ノースブリッジおよびサウスブリッジなどの2つ以上の別個の構成要素に分割され得る。また、いくつかの実施形態においては、システムメモリ720に対するインターフェイスなどのI/Oインターフェイス730の機能のうちのいくつかまたはすべては、プロセッサ710に直接組込むことができる。
ネットワークインターフェイス740は、制御部130と1つ以上の外部システムなどのネットワーク(たとえばネットワーク790)に取付けられた他のデバイスとの間で、または制御部130のノード間で、データを交換することを可能にするように構成され得る。さまざまな実施形態においては、ネットワーク790は、ローカルエリアネットワーク(local area network:LAN)(たとえば、イーサネット(登録商標)もしくは企業ネットワーク)、ワイドエリアネットワーク(wide area network:WAN)(たとえば、インターネット)、無線データネットワーク、他のいくつかの電子データネットワーク、またはそれらのいくつかの組合せを含むがこれらに限定されない1つ以上のネットワークを含み得る。さまざまな実施形態においては、ネットワークインターフェイス740は、任意の好適なタイプのイーサネットネットワークなどの有線もしくは無線の一般的なデータネットワークを介して、たとえば、デジタルファイバ通信ネットワークを介して、ファイバチャネルSANなどのストレージエリアネットワークを介して、または、他の任意の好適なタイプのネットワークおよび/もしくはプロトコルを介して、通信をサポートすることができる。
入出力デバイス750は、いくつかの実施形態においては、1つ以上のディスプレイ端子、キーボード、キーパッド、タッチパッド、走査デバイス、音声認識デバイスもしくは光学認識デバイス、または1つ以上のコンピュータシステムによってデータを入力するかもしくはアクセスするのに適した他の任意のデバイスを含み得る。複数の入出力デバイス750は制御部130に存在していてもよく、または、制御部130のさまざまなノード上に分散されていてもよい。いくつかの実施形態においては、同様の入出力デバイスは、制御部130と別個であってもよく、ネットワークインターフェイス740などを介して、有線接続または無線接続によって制御部130の1つ以上のノードと対話し得る。
いくつかの実施形態においては、例示される制御部130は、(以下に記載される)図8および図9のフローチャートによって示される方法などの上述の方法および動作のいずれをも実現することができる。他の実施形態においては、さまざまな要素およびデータが含まれ得る。
当業者であれば、制御部130が単に例示的なものであって実施形態の範囲を限定するように意図されたものではないことを認識するだろう。特に、コンピュータシステムおよびデバイスは、コンピュータ、ネットワークデバイス、インターネットアプライアンス、PDA、無線電話、ポケットベルなどを含むさまざまな実施形態の示された機能を実行することができるハードウェアまたはソフトウェアの如何なる組合せをも含み得る。制御部130はまた、例示されていない他のデバイスに接続することができるか、または、代わりに、独立型のシステムとして動作することができる。加えて、例示された構成要素によって提供される機能は、いくつかの実施形態においては、より少数の構成要素で組合わせることができるか、または追加の構成要素に分散させることができる。同様に、いくつかの実施形態においては、例示される構成要素のうちのいくつかの機能が提供されない可能性もあり、および/または、他の追加の機能が利用可能となり得る。
本原則に従ったいくつかの実施形態においては、ユーザが少なくとも制御部130と対話することおよび溶接環境のパラメータを制御することを可能にするユーザインターフェイスは、制御部130によって提供され得る。いくつかの実施形態においては、ユーザインターフェイスは、図1Aの高度化された溶接マスク/ヘルメットシステム100および図1Bの高度化された溶接マスク/ヘルメットシステム160などの本原則の高度化された溶接マスク/ヘルメットシステムのディスプレイ上に提示されるメニュー形式のアプリケーションとして実現することができるとともに、少なくとも制御部130の1つ以上の入出力デバイスは、本原則の高度化された溶接マスク/ヘルメットシステムのユーザとユーザインターフェイスとの間に対話を提供するために用いることができる。いくつかの実施形態においては、少なくとも制御部130を収容するためのアセンブリ、たとえば、図6のベルトアセンブリ600、および制御部130に電力を供給するための電源のボタンまたは他の制御デバイスは、本原則の高度化された溶接マスク/ヘルメットシステムのユーザとユーザインターフェイスとの間に対話を提供するように実現することができる。
図8は、本原則の一実施形態に従った、リアルタイム溶接可視化を向上させるための方法800のフロー図を示す。方法800は802から始まり、802においては、本原則の実施形態に従った高度化された溶接マスク/ヘルメットシステムなどの着用可能な溶接装置において、ビームスプリッタを用いて、溶接環境における入射光が、異なる光レベルを有する少なくとも第1の光路および第2の光路に分割される。方法800は804に進み得る。
804において、第1の光路および第2の光路の各々におけるそれぞれの分割された光の複数の画像が、それぞれの撮像センサを用いて取得される。方法800は806に進み得る。
806において、少なくとも第1の光路および第2の光路のそれぞれの撮像センサからの複数の画像が融合されて、左眼用融合画像および右眼用融合画像が作成される。方法800は808に進み得る。
808において、左眼用融合画像が着用可能な溶接装置のユーザの左眼の位置に表示され、右眼用融合画像が着用可能な溶接装置のユーザの右眼の位置に表示されることで、溶接環境の高ダイナミックレンジ表示が提供されて、奥行き感覚が最適化される。方法800が終了され得る。
いくつかの実施形態においては、方法800は、溶接環境における検知された光レベルを示す信号に応じて、どの撮像センサからの画像を表示すべきかを判断するステップを含み得る。
いくつかの実施形態においては、方法800は、着用可能な溶接装置のユーザが溶接環境において溶接を実施するのを支援するための情報および画像のうち少なくとも1つを表示するステップを含み得る。この場合、情報は、少なくとも、溶接環境における少なくとも1つの温度、溶接ワイヤの送り速度、溶接ワイヤの位置、溶接トーチの位置、溶接トーチに関連付けられた電源の電流または電圧、休止時間、のうち少なくとも1つを含む溶接環境の溶接パラメータを含む。さらに、画像は、溶接環境の画像上に重ねられた熱画像、および、溶接がそれに沿って実行される溶接環境の画像上に重ねられた経路、のうち少なくとも1つを含む拡張現実画像を含む。
いくつかの実施形態においては、方法800は、少なくとも上述のプロセスを用いて溶接環境の少なくとも1つの画像からスパークを除去するステップを含み得る。
いくつかの実施形態においては、方法800は、少なくとも溶接環境の動作パラメータを決定するために溶接ステーションと通信するステップを含み得る。
いくつかの実施形態においては、方法800は、撮像センサによって取込まれた溶接プロセスを記録するステップを含み得る。この場合、記録された溶接プロセスはトレーニングのために用いることができる。
いくつかの実施形態においては、方法800は、撮像センサによって取込まれた溶接プロセスの画像を評価して、溶接品質に関するフィードバックをユーザに提供するステップを含み得る。
いくつかの実施形態においては、方法800は、さまざまな露光量を有する溶接環境の複数の画像を作成するためにさまざまなフレームレートで溶接環境の複数の画像を取得するように撮像センサを構成するステップを含み得る。
図9は、本原則の立体/3次元の実施形態に従ったリアルタイム溶接可視化を向上させるための方法900のフロー図を示す。方法900は902から開始される。902において、左眼用撮像アセンブリおよび右眼用撮像アセンブリの各々において、ビームスプリッタを用いて、溶接環境からの入射光が、異なる光レベルを有する少なくとも第1の光路および第2の光路に分割される。方法900は904に進み得る。
904において、少なくとも第1の光路および第2の光路の各々において、それぞれの撮像センサを用いて、それぞれの分割された光の複数の画像が取得される。方法900は906に進み得る。
906において、左眼用撮像アセンブリおよび右眼用撮像アセンブリの少なくとも第1の光路および第2の光路のそれぞれの撮像センサからの複数の画像が融合されて、左眼用融合画像および右眼用融合画像が作成される。方法900は908に進み得る。
908において、着用可能な溶接装置のユーザの左眼の位置に左眼用融合画像を表示し、着用可能な溶接装置のユーザの右眼の位置に右眼用融合画像を表示して、溶接環境の高ダイナミックレンジ3次元表示を提供することで、奥行き感覚を最適化する。方法900が終了され得る。
当業者であれば、さまざまなアイテムが使用中にメモリ内またはストレージ上に格納されるものとして例示されているがこれらのアイテムまたはこれらの部分がメモリ管理およびデータ保全性の目的でメモリと他の記憶装置との間でやり取りすることができることも認識するだろう。代替的には、他の実施形態においては、ソフトウエアコンポーネントのうちのいくつかまたはすべては、別のデバイス上のメモリにおいて実行することができ、相互コンピュータ通信を介して例示されたコンピュータシステムと通信することができる。システム構成要素またはデータ構造のうちのいくつかまたはすべてはまた、適切なドライブ(そのさまざまな例が上述されている)によって読取られるようにコンピュータアクセス可能媒体または携帯可能な物品上に(たとえば命令または構造化データとして)格納することもできる。いくつかの実施形態においては、制御部130とは別個のコンピュータアクセス可能媒体上に格納された命令は、ネットワークおよび/もしくは無線リンクなどの通信媒体を介して伝達される伝送媒体または電気信号、電磁気信号もしくはデジタル信号などの伝送信号を介して、制御部130に伝達することができる。さまざまな実施形態はさらに、コンピュータアクセス可能媒体上で、または通信媒体を介して、上述の説明に従って実現される命令および/またはデータを受信、送信または格納することを含み得る。概して、コンピュータアクセス可能媒体は、ストレージ媒体またはメモリ媒体、たとえば、磁気媒体または光学媒体、たとえば、ディスクまたはDVD/CD−ROM、揮発性媒体または不揮発性媒体、たとえばRAM(たとえば、SDRAM、DDR、RDRAM、SRAMなど)、およびROMなどを含み得る。
この明細書中に記載される方法は、さまざまな実施形態においてソフトウェア、ハードウェアまたはそれらの組合せで実現されてもよい。加えて、方法の順序は変更することができ、さまざまな要素を追加したり、再整理したり、組合わせたり、省いたり、または変更したりすることができる。この明細書中に記載されるすべての例は、非限定的な態様で提示されている。この開示の利益を有する当業者にとって明らかであり得るように、さまざまな変形および変更が可能である。実施形態に従った実現例が特定の実施形態の文脈において記載されてきた。これらの実施形態は、例示的なものとして意図されており、限定するものとして意図されていない。多くの変形例、変更例、追加例および改善例が実現可能である。したがって、この明細書中に単一の例として記載されている構成要素のために複数の例を提供することができる。さまざまな構成要素間、さまざまな動作間、およびさまざまなデータストア間の境界はいくらか任意であって、特定の動作が特定の具体的な構成の文脈において例示されている。機能の他の割当ても予見されており、添付の特許請求の範囲内に収まり得る。例示的な構成において別個の構成要素として示されている構造および機能は、構造または構成要素を組合わせたものとして実現することができる。これらおよび他の変形例、変更例、追加例および改善例は、添付の特許請求の範囲において規定されている実施形態の範囲内に収まり得る。
上述の記載においては、本開示をより充分に理解できるようにするために、多数の具体的な詳細、例およびシナリオが述べられている。しかしながら、このような具体的な詳細なしでも開示の実施形態を実施できることが認識されるだろう。さらに、このような例およびシナリオは例示のために提供されるものであって、如何なる形であっても開示を限定するように意図されたものではない。当業者であれば、記載された説明で、不適当な実験を行なわなくても適切な機能を実現することができるはずである。
明細書中において「実施形態」等と参照される場合、これは、上述の実施形態が特定の特徴、構造または特性を含み得るが、すべての実施形態が必ずしも特定の特徴、構造または特性を含み得るものではないことを示している。このような語句は必ずしも同じ実施形態を参照しているとは限らない。さらに、特定の特徴、構造または特性が一実施形態に関連付けて記載されている場合、明示的に示されているかどうかに関わらず、他の実施形態に関連するこのような特徴、構造または特性に影響を及ぼすことは当業者の知識の範囲内であると考えられる。
当該開示に従った実施形態は、ハードウェア、ファームウェア、ソフトウェアまたはそれらの如何なる組合せでも実現することができる。実施形態はまた、1つ以上のプロセッサによって読取られて実行され得る1つ以上の機械読取可能な媒体を用いて格納された命令として実現することができる。機械読取り可能な媒体は、マシン(たとえば、制御部または1つ以上の制御部上で実行される「仮想マシン」)によって読取り可能な形式で情報を記憶または送信するための如何なるメカニズムをも含み得る。たとえば、機械読取り可能な媒体は、揮発性メモリまたは不揮発性メモリの如何なる好適な形態をも含み得る。
この明細書中において規定されるモジュール、データ構造などは、説明を容易にするために規定されており、いずれかの特定の実現例の詳細が必要となることを示唆することを意図したものではない。たとえば、上述のモジュールおよび/またはデータ構造のいずれも、特定の設計または実現例によって必要とされ得るように、コンピュータコードまたはデータのサブモジュール、サブプロセスまたは他のユニットに組合わせるかまたは分割することができる。
添付の図面においては、説明を容易にするために模式的な要素の具体的な配置または順序が示され得る。しかしながら、このような要素の具体的な順序または配置は、特定の順序、処理のシーケンスまたはプロセスの分離がすべての実施形態において必要となることを示唆するように意図されたものではない。概して、命令ブロックまたはモジュールを表すのに用いられる模式的な要素は、機械読取可能な命令の任意の好適な形態を用いて実現することができるとともに、各々このような命令は、如何なる好適なプログラミング言語、ライブラリ、アプリケーションプログラミングインターフェイス(application-programming interface:API)および/または他のソフトウェア開発ツールもしくはフレームワークを用いて実現することができる。同様に、データまたは情報を表わすのに用いられる模式的な要素は、任意の好適な電子的配置またはデータ構造を用いて実現することができる。さらに、要素間のいくつかの接続、関係または関連付けは、開示を不明瞭するのを避けるために添付の図面において簡略化されているかまたは図示されていない可能性がある。
本開示は、例示的なものと見なされるべきであって特徴を限定するものと見なされるべきではなく、本開示のガイドラインの範囲内に収まるすべての変更例および変形例の保護が所望されている。
本原則の実施形態は、溶接環境におけるリアルタイム溶接可視化を向上させるための装置を含む。当該装置はビームスプリッタを含む。当該ビームスプリッタは、溶接環境からの入射光を、異なる光レベルを有する少なくとも第1の光路および第2の光路に分割する。当該少なくとも第1の光路および第2の光路は各々、それぞれの撮像センサを含む。当該装置はさらに、制御部を含む。当該制御部は、当該少なくとも第1の光路および第2の光路におけるそれぞれの撮像センサの各々からの複数の画像を受取って、当該複数の画像を融合して、左眼用融合画像および右眼用融合画像を作成する。当該装置はさらに、ディスプレイアセンブリを含む。当該ディスプレイアセンブリは、装置のユーザの左眼の位置に左眼用融合画像を表示し、装置のユーザの右眼の位置に右眼用融合画像を表示する。
当該装置はさらに、左眼用撮像アセンブリおよび右眼用撮像アセンブリを含み得る。左眼用撮像アセンブリおよび右眼用撮像アセンブリの各々は、少なくとも1つのビームスプリッタを含む。少なくとも1つのビームスプリッタは、溶接環境からの入射光を、異なる光レベルを有する少なくとも第1の光路および第2の光路に分割する。当該少なくとも第1の光路および第2の光路は各々、それぞれの撮像センサを含む。当該左眼用撮像アセンブリにおいて取込まれた複数の画像は、当該装置のユーザの左眼の位置において融合されて表示され、当該右眼用撮像アセンブリにおいて取込まれた複数の画像は、当該装置のユーザの右眼の位置において融合されて表示されて、溶接環境の3次元表示を提供する。
いくつかの実施形態においては、当該装置は、溶接環境における光レベルを検知するための少なくとも1つのフォトセンサを含み得るとともに、制御部は、少なくとも1つのフォトセンサおよび撮像センサのうち少なくとも1つ、のうちの少なくとも1つから受信した信号に基づいて、どの撮像センサからの画像を表示すべきかを判断する。受信された信号は、溶接環境における検知された光レベルを示す。
加えて、または代替的には、いくつかの実施形態においては、当該装置はさらに、溶接環境における温度を検知するための少なくとも1つの温度センサを含み得る。このような実施形態などにおいては、制御部は、溶接環境における検知された温度を示すとともに少なくとも1つの温度センサから伝達された信号に応じて、溶接環境における検知された温度を示すメッセージをディスプレイアセンブリ上に表示させる。
いくつかの実施形態においては、当該装置においては、溶接環境の表示は、進行中の溶接のアーク、溶接ワイヤ、溶接トーチの先端、溶接されたばかりの溶融金属のパドル、凝固したばかりの溶接の白熱しているビード、冷却しておりもはや白熱していない溶接のビード、溶接されるべきサンプルの領域、および、溶接区域を囲む背景領域、についての複数の画像を同時に表示することを含む。同時の表示には、進行中の溶接のアーク、溶接ワイヤ、溶接トーチの先端、溶接されたばかりの溶融金属のパドル、凝固したばかりの溶接の白熱しているビード、冷却しておりもはや白熱していない溶接のビード、溶接されるべきサンプルの領域、および、溶接区域を囲む背景領域、についての複数の画像の個々の表示の詳細のすべてが含まれる。
加えて、または代替的には、いくつかの実施形態においては、当該装置において、制御部は、溶接の実施を支援するための情報を、ディスプレイアセンブリ上に表示させる。このような実施形態などにおいては、溶接の実施を支援するための情報は、制御部によって生成される画像および溶接環境の溶接パラメータのうち少なくとも1つを含む。
代替的には、または加えて、当該装置において、制御部は、溶接環境における溶接プロセスを記録するためのメモリを含み得る。さらに、いくつかの実施形態においては、本原則に従った装置は、煙が存在している溶接環境の撮像を可能にするための少なくとも1つの近赤外線撮像センサを含み得る。
少なくともいくつかの実施形態においては、当該装置の少なくとも2つの光路の撮像センサは、プリント回路基板カメラを含む。代替的には、または加えて、当該装置は、少なくとも第1の光路と第2の光路との間の光レベルをさらに区別するために、少なくとも第1の光路および第2の光路のうちの少なくとも1つにおいて、ニュートラルデンシティフィルタおよびカメラレンズのうち少なくとも1つを含み得る。
本原則の実施形態は、溶接環境におけるリアルタイム溶接可視化を向上させるための方法を含む。当該方法は、着用可能な溶接装置において、少なくとも1つのビームスプリッタを用いて、当該溶接環境からの入射光を、異なる光レベルを有する少なくとも第1の光路および第2の光路に分割するステップと、当該少なくとも第1の光路および第2の光路の各々において、撮像センサを用いてそれぞれの分割された光の複数の画像を取得するステップと、左眼用撮像アセンブリおよび右眼用撮像アセンブリの当該少なくとも第1の光路および第2の光路のそれぞれの撮像センサからの複数の画像を融合して、左眼用融合画像および右眼用融合画像を作成するステップと、当該着用可能な溶接装置のユーザの左眼の位置におけるディスプレイ上に当該左眼用融合画像を表示し、当該着用可能な溶接装置の当該ユーザの右眼の位置におけるディスプレイ上に当該右眼用融合画像を表示するステップとを含む。
代替的には、または加えて、いくつかの実施形態においては、左眼用撮像アセンブリおよび右眼用撮像アセンブリの各々における少なくとも1つのビームスプリッタを用いて、溶接環境からの入射光が、異なる光レベルを有する少なくとも第1の光路および第2の光路に分割される。当該左眼用撮像アセンブリにおいて取込まれた複数の画像が当該装置のユーザの左眼の位置において融合されて表示され、当該右眼用撮像アセンブリにおいて取込まれた複数の画像が当該ユーザの右眼の位置において融合されて表示されて、溶接環境の3次元表示が提供される。
いくつかの実施形態においては、当該方法はさらに、当該溶接環境における検知された光レベルを示す信号に応じて、どの撮像センサからの画像を表示すべきかを判断するステップを含み得る。
いくつかの実施形態においては、当該方法はさらに、着用可能な溶接装置のユーザが溶接環境において溶接を実施するのを支援するための情報および画像のうち少なくとも1つを表示するステップを含み得る。この場合、情報は、少なくとも、溶接環境における少なくとも1つの温度、溶接ワイヤの送り速度、溶接ワイヤの位置、溶接トーチの位置、溶接トーチに関連付けられた電源の電流または電圧、休止時間、のうち少なくとも1つを含む、溶接環境の溶接パラメータを含む。さらに、画像は、溶接環境の画像上に重ねられた熱画像、および、溶接がそれに沿って実行される溶接環境の画像上に重ねられた経路、のうち少なくとも1つを含む拡張現実画像を含む。
本原則のいくつかの実施形態に従うと、当該方法は、当該溶接環境の少なくとも1つの画像からスパークを除去するステップを含み得るとともに、代替的には、または加えて、少なくとも当該溶接環境の動作パラメータを決定するために溶接ステーションと通信するステップを含み得る。
いくつかの実施形態においては、トレーニングまたは他の目的のために、当該方法は、撮像センサによって取込まれた溶接プロセスを記録するステップを含み得る。このような実施形態および他の実施形態においては、当該方法は、撮像センサによって取込まれた溶接プロセスの複数の画像を評価して、溶接品質に関するフィードバックをユーザに提供するステップを含み得る。
本原則に従ったいくつかの実施形態においては、当該方法は、さまざまな露光量を有する溶接環境の複数の画像を作成するためにさまざまなフレームレートで溶接環境の複数の画像を取得するように撮像センサを構成するステップを含み得る。
本原則に従った実施形態は、溶接環境におけるリアルタイム溶接可視化および支援を向上させるための方法を含む。当該方法は、ビームスプリッタを用いて、入射光を第1の光路と第2の光路とに分割するステップを含み、当該第1の光路は分割された光のごく一部分を含み、当該第2の光路は分割された光の大部分を含む。当該方法はさらに、第1の光路において、高f値レンズを用いて、当該ビームスプリッタからの分割された光のごく一部分を集束させるステップと、ニュートラルデンシティフィルタを用いて、高f値レンズからの集束された光をフィルタリングするステップと、第1のカメラを用いて、ニュートラルデンシティフィルタからのフィルタリングされた光の複数の画像を取得するステップとを含む。いくつかの実施形態においては、当該方法はさらに、第2の光路において、低f値レンズを用いて、当該ビームスプリッタからの分割された光の大部分を集束させるステップと、第2のカメラを用いて低f値レンズからの光の複数の画像を取得するステップと、第1のカメラからの画像と第2のカメラからの画像とを融合させるステップと、融合された画像のうち少なくとも一部分を左眼用表示画像および右眼用表示画像として表示するステップとを含む。
代替的には、溶接環境におけるリアルタイム溶接可視化および支援を向上させるための方法は、左眼用撮像アセンブリおよび右眼用撮像アセンブリの各々において、ビームスプリッタを用いて入射光を第1の光路と第2の光路とに分割するステップを含み、当該第1の光路は分割された光のごく一部分を含み、当該第2の光路は分割された光の大部分を含む。当該方法はさらに、当該第1の光路において、高f値レンズを用いて、当該ビームスプリッタからの分割された光のごく一部分を集束させるステップと、ニュートラルデンシティフィルタを用いて、高f値レンズからの集束された光をフィルタリングするステップと、第1のカメラを用いて、ニュートラルデンシティフィルタからのフィルタリングされた光の複数の画像を取得するステップとを含む。いくつかの実施形態においては、当該方法はさらに、当該第2の光路において、低f値レンズを用いて、当該ビームスプリッタからの分割された光の大部分を集束させるステップと、第2のカメラを用いて低f値レンズからの光の複数の画像を取得するステップとを含み得る。当該方法はさらに、左眼用撮像アセンブリおよび右眼用撮像アセンブリの第1のカメラからの画像と第2のカメラからの画像とを融合させるステップと、当該融合された画像のうち少なくとも一部分を左眼用表示画像および右眼用表示画像として表示するステップとを含み得る。
100 溶接マスク/ヘルメットシステム、120 溶接マスク/ヘルメット、122 撮像アセンブリ、126 光センサ、130 制御部、160 溶接マスク/ヘルメットシステム、186 光センサ。

Claims (18)

  1. 溶接環境におけるリアルタイム溶接可視化を向上させるための装置であって、
    ビームスプリッタを備え、前記ビームスプリッタは、前記溶接環境からの入射光を、異なる光レベルを有する少なくとも第1の光路および第2の光路に分割し、前記少なくとも第1の光路および第2の光路は各々、それぞれの撮像センサを含み、前記装置はさらに、
    制御部を備え、前記制御部は、前記少なくとも第1の光路および第2の光路における前記それぞれの撮像センサから複数の画像を受取って、前記複数の画像を融合して、左眼用融合画像および右眼用融合画像を作成し、前記装置はさらに、
    ディスプレイアセンブリを備え、前記ディスプレイアセンブリは、前記装置のユーザの左眼の位置に前記左眼用融合画像を表示し、前記装置の前記ユーザの右眼の位置に前記右眼用融合画像を表示し、前記装置はさらに、
    前記溶接環境における光レベルを検知するための少なくとも1つのフォトセンサをさらに備え、前記制御部は、前記少なくとも1つのフォトセンサおよび前記撮像センサのうちの少なくとも1つ、のうちの少なくとも1つから受信された信号に基づいて、どの撮像センサからの画像を表示すべきかを判断し、前記受信された信号は、前記溶接環境における検知された光レベルを示す、装置。
  2. 左眼用撮像アセンブリおよび右眼用撮像アセンブリを備え、前記左眼用撮像アセンブリおよび前記右眼用撮像アセンブリの各々は、
    少なくとも1つの前記ビームスプリッタを含み
    前記左眼用撮像アセンブリにおいて取込まれた複数の画像が融合されて、前記装置の前記ユーザの前記左眼の前記位置において表示され、前記右眼用撮像アセンブリにおいて取込まれた複数の画像が融合されて、前記装置の前記ユーザの前記右眼の前記位置において表示されて、前記溶接環境の3次元表示を提供する、請求項1に記載の装置。
  3. 前記溶接環境における温度を検知するための少なくとも1つの温度センサをさらに備える、請求項1に記載の装置。
  4. 前記制御部は、前記温度センサから伝達された信号に応じて、前記溶接環境における検知された温度を示す情報を前記ディスプレイアセンブリ上に表示させる、請求項に記載の装置。
  5. 前記溶接環境の前記複数の画像を表示することは、進行中の溶接のアーク、溶接ワイヤ、溶接トーチ、溶接されたばかりの溶融金属のパドル、凝固したばかりの溶接の白熱しているビード、冷却しておりもはや白熱していない溶接のビード、溶接されるべきサンプルの領域、および、溶接区域を囲む背景領域、についての複数の画像の同時表示を含み、
    前記同時表示は、進行中の溶接の前記アーク、前記溶接ワイヤ、前記溶接トーチの先端、溶接されたばかりの溶融金属の前記パドル、凝固したばかりの前記溶接の前記白熱しているビード、冷却しておりもはや白熱していない前記溶接の前記ビード、溶接されるべき前記サンプルの前記領域、前記溶接区域を囲む前記背景領域、についての複数の画像の個々の表示についての詳細のすべてを含む、請求項1に記載の装置。
  6. 前記制御部は、溶接の実施を支援するための情報を、前記ディスプレイアセンブリ上に表示させる、請求項1に記載の装置。
  7. 溶接の実施を支援するための前記情報は、前記制御部によって生成される画像および前記溶接環境の溶接パラメータのうち少なくとも1つを含む、請求項に記載の装置。
  8. 前記制御部は、前記溶接環境における溶接プロセスを記録するためのメモリを備える、請求項1に記載の装置。
  9. 煙が存在している前記溶接環境の撮像を可能にするための少なくとも1つの近赤外線撮像センサをさらに備える、請求項1に記載の装置。
  10. 前記撮像センサはプリント回路基板カメラを含む、請求項1に記載の装置。
  11. 前記少なくとも第1の光路および第2の光路の間の光レベルに差異を生じさせるために、前記少なくとも第1の光路および第2の光路のうち少なくとも1つにおいて、ニュートラルデンシティフィルタおよびカメラレンズのうち少なくとも1つをさらに備える、請求項1に記載の装置。
  12. 溶接環境におけるリアルタイム溶接可視化を向上させるための方法であって、
    着用可能な溶接装置において、
    少なくとも1つのビームスプリッタを用いて、前記溶接環境からの入射光を、異なる光レベルを有する少なくとも第1の光路および第2の光路に分割するステップと、
    前記少なくとも第1の光路および第2の光路の各々において、撮像センサを用いて、それぞれの分割された光の複数の画像を取得するステップと、
    前記少なくとも第1の光路および第2の光路の前記それぞれの撮像センサからの前記複数の画像を融合して、左眼用融合画像および右眼用融合画像を作成するステップと、
    前記着用可能な溶接装置のユーザの左眼の位置におけるディスプレイ上に前記左眼用融合画像を表示し、前記着用可能な溶接装置の前記ユーザの右眼の位置におけるディスプレイ上に前記右眼用融合画像を表示するステップと
    前記溶接環境における検知された光レベルを示す信号に応じて、どの撮像センサからの画像を表示すべきかを判断するステップとを含む、方法。
  13. 前記分割するステップは、左眼用撮像アセンブリおよび右眼用撮像アセンブリの各々において、少なくとも1つのビームスプリッタを用いて、前記溶接環境からの前記入射光を、異なる光レベルを有する少なくとも第1の光路および第2の光路に分割するステップを含み
    前記取得するステップは、前記左眼用撮像アセンブリおよび前記右眼用撮像アセンブリの各々において、撮像センサを用いて、前記少なくとも第1の光路および第2の光路の各々における複数の画像を取得するステップを含み
    前記作成するステップは、前記左眼用撮像アセンブリおよび前記右眼用撮像アセンブリの各々の前記少なくとも第1の光路および第2の光路の前記それぞれの撮像センサからの複数の画像を融合して、左眼用融合画像および右眼用融合画像を作成するステップを含み
    前記表示するステップは、前記着用可能な溶接装置のユーザの左眼の位置において前記左眼用融合画像を表示し、前記着用可能な溶接装置の前記ユーザの右眼の位置において前記右眼用融合画像を表示するステップを含む、請求項12に記載の方法。
  14. 前記着用可能な溶接装置の前記ユーザが前記溶接環境において溶接を実施するのを支援するための情報および画像のうち少なくとも1つを表示するステップをさらに含み、
    前記情報は、少なくとも、前記溶接環境における少なくとも1つの温度、溶接ワイヤの送り速度、溶接ワイヤの位置、溶接トーチの位置、前記溶接トーチに関連付けられた電源の電流または電圧、および休止時間、のうち少なくとも1つを含む前記溶接環境の溶接パラメータを含み、
    前記画像は、前記溶接環境の画像上に重ねられた熱画像、および、溶接がそれに沿って実行される前記溶接環境の画像上に重ねられた経路、のうち少なくとも1つを含む拡張現実画像を含む、請求項12に記載の方法。
  15. 前記溶接環境の少なくとも1つの画像からスパークを除去するステップをさらに含む、請求項12に記載の方法。
  16. 前記溶接環境の少なくとも動作パラメータを決定するために溶接ステーションと通信するステップをさらに含む、請求項12に記載の方法。
  17. 前記撮像センサによって取込まれた溶接プロセスの複数の画像を評価して、溶接品質に関するフィードバックをユーザに提供するステップをさらに含む、請求項12に記載の方法。
  18. さまざまな露光量を有する前記溶接環境の複数の画像を作成するために、さまざまなフレームレートで前記溶接環境の複数の画像を取得するように前記撮像センサを構成するステップをさらに含む、請求項12に記載の方法。
JP2019142413A 2019-05-23 2019-08-01 リアルタイム溶接可視化および支援を向上させるためのhdr画像取込みおよび表示システム Active JP6793791B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010441583.7A CN111988533B (zh) 2019-05-23 2020-05-22 焊接辅助方法及装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/421,022 2019-05-23
US16/421,022 US11122257B2 (en) 2019-05-23 2019-05-23 HDR image capture and display system for enhanced real-time welding visualization and assistance

Publications (2)

Publication Number Publication Date
JP2020189332A JP2020189332A (ja) 2020-11-26
JP6793791B2 true JP6793791B2 (ja) 2020-12-02

Family

ID=73453302

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019142413A Active JP6793791B2 (ja) 2019-05-23 2019-08-01 リアルタイム溶接可視化および支援を向上させるためのhdr画像取込みおよび表示システム

Country Status (2)

Country Link
US (1) US11122257B2 (ja)
JP (1) JP6793791B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102304919B1 (ko) * 2019-09-24 2021-09-27 주식회사 오토스윙 용접 정보 제공 장치
US11736787B2 (en) * 2020-04-14 2023-08-22 Selene Photonics, Inc. Digital display welding mask with long-exposure image capture
US11554440B2 (en) 2020-04-14 2023-01-17 Selene Photonics, Inc. Digital display welding mask with HDR imaging
US11856175B2 (en) 2020-04-14 2023-12-26 Selene Photonics, Inc. Welding mask with light field image capture and display
US20220258267A1 (en) * 2021-02-15 2022-08-18 Illinois Tool Works Inc. Helmet based weld tracking systems
US11922644B2 (en) 2022-02-11 2024-03-05 Illinois Tool Works Inc. Calibration procedures for helmet based weld tracking systems
CN114692677B (zh) * 2022-03-07 2023-07-28 电子科技大学 一种基于多目标特征选择的焊接缺陷识别方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2528095B2 (ja) * 1986-03-19 1996-08-28 オリンパス光学工業株式会社 溶接監視装置
US4850712A (en) * 1988-02-01 1989-07-25 Caterpillar Inc. Method and system for determining surface profile information
US7658891B1 (en) * 1997-11-21 2010-02-09 Barnes Ronald L Air purification and decontamination for hazmat suits
JP3962782B1 (ja) * 2006-08-11 2007-08-22 国立大学法人 岡山大学 半田付けの検査方法、半田接合方法、及び半田接合装置
JP2009125790A (ja) * 2007-11-27 2009-06-11 Kobe Steel Ltd アーク溶接の監視装置
US9380273B1 (en) * 2009-10-02 2016-06-28 Rockwell Collins, Inc. Multiple aperture video image enhancement system
US20170173720A1 (en) * 2009-10-13 2017-06-22 Lincolng Global, Inc. Welding helmet with heads up display and voice command
US8908054B1 (en) * 2011-04-28 2014-12-09 Rockwell Collins, Inc. Optics apparatus for hands-free focus
US20180071854A1 (en) * 2011-05-16 2018-03-15 Lincoln Global, Inc. Achieving high dynamic range in a dual-spectrum digital imaging welding helmet
US9073138B2 (en) * 2011-05-16 2015-07-07 Lincoln Global, Inc. Dual-spectrum digital imaging welding helmet
DE102011104550B4 (de) * 2011-06-17 2014-04-30 Precitec Kg Optische Messvorrichtung zur Überwachung einer Fügenaht, Fügekopf und Laserschweißkopf mit der selben
US20160214200A1 (en) * 2015-01-23 2016-07-28 Illinois Tool Works Inc. User Configuration of Image Capture and Display in a Welding Vision System
US9666160B2 (en) * 2015-03-26 2017-05-30 Illinois Tool Works Inc. Control of mediated reality welding system based on lighting conditions
US10363632B2 (en) * 2015-06-24 2019-07-30 Illinois Tool Works Inc. Time of flight camera for welding machine vision
US9918018B2 (en) * 2016-04-04 2018-03-13 Illinois Tool Works Inc. Dynamic range enhancement systems and methods for use in welding applications

Also Published As

Publication number Publication date
US20200374510A1 (en) 2020-11-26
JP2020189332A (ja) 2020-11-26
US11122257B2 (en) 2021-09-14

Similar Documents

Publication Publication Date Title
JP6793791B2 (ja) リアルタイム溶接可視化および支援を向上させるためのhdr画像取込みおよび表示システム
JP6252849B2 (ja) 撮像装置および方法
US9927948B2 (en) Image display apparatus and image display method
CN107980153B (zh) 提供与焊接操作相关联的视觉信息的方法和装置
CN103687687B (zh) 双光谱数字成像焊接头盔
JP5423287B2 (ja) 撮像装置
CN106488181B (zh) 显示控制装置、显示控制方法以及记录介质
JP6525809B2 (ja) 焦点検出装置及びその制御方法
CN106648075B (zh) 一种虚拟现实设备的控制方法及虚拟现实设备
JP2016219991A (ja) 画像処理装置及びその制御方法、並びにプログラム
JP2009171428A (ja) デジタルカメラ装置および電子ズームの制御方法およびプログラム
CN106027917B (zh) 摄像设备及其控制方法
CN111988533B (zh) 焊接辅助方法及装置
JP6526749B2 (ja) 眼鏡ケース切削ラインデータ作成方法および眼鏡ケース切削ラインデータ作成装置
US10917566B2 (en) Optimum situation determination imaging method and device for performing the method
JP2005311983A (ja) 画像処理装置
JP2016123637A (ja) 画像処理装置、画像処理方法及びプログラム
JP2013074428A (ja) 自分撮り判断装置、撮像装置、プログラム及び自分撮り判断方法
US20230179860A1 (en) Image processing device, imaging device, method of controlling image processing device, and storage medium
WO2022153692A1 (ja) 制御装置及び制御方法
JP5640466B2 (ja) デジタルカメラ
JP5775620B2 (ja) 画像処理装置、撮像装置、制御方法及びプログラム
JP6200262B2 (ja) 撮像装置及びその制御方法
JP2014049960A (ja) 撮像装置、その制御方法及びプログラム
KR20230161764A (ko) 용접 영상 처리 방법 및 그 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200811

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201013

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201110

R150 Certificate of patent or registration of utility model

Ref document number: 6793791

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250