JP7452296B2 - 計測用録画システム、および、計測用録画方法 - Google Patents

計測用録画システム、および、計測用録画方法 Download PDF

Info

Publication number
JP7452296B2
JP7452296B2 JP2020115201A JP2020115201A JP7452296B2 JP 7452296 B2 JP7452296 B2 JP 7452296B2 JP 2020115201 A JP2020115201 A JP 2020115201A JP 2020115201 A JP2020115201 A JP 2020115201A JP 7452296 B2 JP7452296 B2 JP 7452296B2
Authority
JP
Japan
Prior art keywords
recording
information
video
recorded video
recorded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020115201A
Other languages
English (en)
Other versions
JP2022012987A (ja
Inventor
益飛 北邨
裕尚 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Priority to JP2020115201A priority Critical patent/JP7452296B2/ja
Priority to US17/365,556 priority patent/US11496653B2/en
Publication of JP2022012987A publication Critical patent/JP2022012987A/ja
Application granted granted Critical
Publication of JP7452296B2 publication Critical patent/JP7452296B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • H04N5/12Devices in which the synchronising signals are only operative if a phase difference occurs between synchronising and synchronised scanning devices, e.g. flywheel synchronising
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/06Diagnosis, testing or measuring for television systems or their details for recorders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Description

本発明は、計測用録画システム、および、計測用録画方法に関し、特に、複数の異なる映像を各々録画する録画装置を備える計測用録画システム、および、計測用録画方法に関する。
従来、計測情報画像と検査対象物画像とを記憶(録画)する航空機検査支援装置が知られている(たとえば、特許文献1参照)。
上記特許文献1に記載の航空機検査支援装置は、検査対象物の検査を行う計測器の計測器側表示部の計測情報画像を撮像する撮像部を備える。また、上記特許文献1に記載の航空機検査支援装置は、検査対象物を含む、検査作業者の視界に対応する領域を検査対象物画像として撮像する撮像部を備える。そして、この航空機検査支援装置は、2つの異なる撮像部によって撮像された計測情報画像と、検査対象物画像とを関連付けて記憶する。
国際公開第2020/079780号
しかしながら、上記特許文献1には記載されていないが、異なる2つ(複数)の撮像部よって撮像された複数の画像(映像)を関連付けて記憶する場合に、記憶された複数の映像に時間軸の同期ずれが含まれる場合がある。すなわち、複数の映像を同時に記憶(録画)するために、同一のタイミングにおいて複数の映像を録画するための指令を行った場合にも、複数の映像の各々を録画するための処理に要する時間にばらつきがあることに起因して、録画された複数の映像に時間軸の同期ずれが含まれる場合がある。このため、録画された複数の映像において、映像の開始時間(開始タイミング)がずれている場合がある。その場合には、再生される映像のタイミングがずれるため、再生された映像同士を同一のタイミングで見比べることができない。そのため、異なる複数の撮像部によって撮影された複数の映像を、同一のタイミングにおける指令に基づいて録画する場合に、タイミングを揃えて録画された映像を再生することが望まれている。
この発明は、上記のような課題を解決するためになされたものであり、この発明の1つの目的は、異なる複数の撮像部によって撮影された複数の映像を録画する場合に、タイミングを揃えて再生可能なように録画することが可能な計測用録画システム、および、計測用録画方法を提供することである。
上記目的を達成するために、この発明の第1の局面における計測用録画システムは、映像を撮影するとともに撮影された映像情報を送信する複数の撮像部と、複数の撮像部のうちの第1の撮像部からの第1映像情報に基づいて計測器の計測情報を含む第1録画映像を録画する第1録画部と、複数の撮像部のうちの第2の撮像部からの第2映像情報に基づいて計測器によって測定された検査対象物を含む第2録画映像を録画する第2録画部とを含む録画装置と、を備え、録画装置は、第1録画部によって録画される第1録画映像と第2録画部によって録画される第2録画映像との時間軸の同期ずれを補正するためのタイミング情報を測定するとともに、測定されたタイミング情報に基づいて、第1録画映像と第2録画映像との開始タイミングを揃えるように同期ずれを補正するように構成されている。
この発明の第2の局面における計測用録画システムは、映像を撮影するとともに撮影された映像情報を送信する複数の撮像部と、複数の撮像部のうちの第1の撮像部からの第1映像情報に基づいて第1録画映像を録画する第1録画部と、複数の撮像部のうちの第2の撮像部からの第2映像情報に基づいて第2録画映像を録画する第2録画部とを含む録画装置と、を備え、録画装置は、第1録画部によって録画される第1録画映像と第2録画部によって録画される第2録画映像との時間軸の同期ずれを補正するためのタイミング情報を測定するとともに、測定されたタイミング情報に基づいて、第1録画映像と第2録画映像との開始タイミングを揃えるように同期ずれを補正するように構成されており、録画装置は、時間の経過を測定することによって時間を示すタイミング情報を測定するタイマー部を含み、タイマー部によって測定されたタイミング情報に基づいて、同期ずれを補正するように構成されている。
この発明の第3の局面における計測用録画システムは、映像を撮影するとともに撮影された映像情報を送信する複数の撮像部と、複数の撮像部のうちの第1の撮像部からの第1映像情報に基づいて第1録画映像を録画する第1録画部と、複数の撮像部のうちの第2の撮像部からの第2映像情報に基づいて第2録画映像を録画する第2録画部とを含む録画装置と、を備え、録画装置は、第1録画部によって録画される第1録画映像と第2録画部によって録画される第2録画映像との時間軸の同期ずれを補正するためのタイミング情報を測定するとともに、測定されたタイミング情報に基づいて、第1録画映像と第2録画映像との開始タイミングを揃えるように同期ずれを補正するように構成されており、タイミング情報は、第1録画部から出力され、第1録画映像の録画を開始するための準備が完了したことを示す第1準備完了情報と、第2録画部から出力され、第2録画映像の録画を開始するための準備が完了したことを示す第2準備完了情報とを含み、録画装置は、第1準備完了情報と第2準備完了情報とに基づいて、同期ずれを補正するように構成されている。
この発明の第4の局面における計測用録画システムは、映像を撮影するとともに撮影された映像情報を送信する複数の撮像部と、複数の撮像部のうちの第1の撮像部からの第1映像情報に基づいて第1録画映像を録画する第1録画部と、複数の撮像部のうちの第2の撮像部からの第2映像情報に基づいて第2録画映像を録画する第2録画部とを含む録画装置と、を備え、録画装置は、第1録画部によって録画される第1録画映像と第2録画部によって録画される第2録画映像との時間軸の同期ずれを補正するためのタイミング情報を測定するとともに、測定されたタイミング情報に基づいて、第1録画映像と第2録画映像との開始タイミングを揃えるように同期ずれを補正するように構成されており、第1の撮像部および第2の撮像部は、第1の撮像部からの第1映像情報と、第2の撮像部からの第2映像情報との時間軸のずれを補正するために、時間情報を取得可能な基準対象を同一のタイミングにおいて撮影するように構成されており、録画装置は、第1の撮像部が基準対象を撮影した第1基準画像と、第2の撮像部が基準対象を撮影した第2基準画像とに基づいて、第1映像情報と第2映像情報との時間軸のずれを示すタイミング情報を測定するとともに、測定されたタイミング情報に基づいて、同期ずれを補正するように構成されている。
この発明の第の局面における計測用録画方法は、録画装置により、複数の撮像部のうちの第1の撮像部によって撮影された第1映像情報に基づいて計測器の計測情報を含む第1録画映像を録画するステップと、第1録画映像の録画と共通の録画装置により、複数の撮像部のうちの第2の撮像部によって撮影された第2映像情報に基づいて計測器によって測定された検査対象物を含む第2録画映像を録画するステップと、録画される第1録画映像と録画される第2録画映像との時間軸の同期ずれを補正するためのタイミング情報を測定するステップと、測定されたタイミング情報に基づいて、第1録画映像と第2録画映像との開始タイミングを揃えるように同期ずれを補正するステップと、を備える。
上記第1~第4の局面における計測用録画システムと、上記第の局面における計測用録画方法とでは、録画される第1録画映像と録画される第2録画映像との時間軸の同期ずれを補正するためのタイミング情報を測定する。これにより、測定されたタイミング情報に基づいて、録画される第1録画映像と録画される第2録画映像との時間軸の同期ずれの大きさを測定することができる。そのため、第1録画映像と第2録画映像との時間軸の同期ずれの大きさに基づいて、同期ずれを解消するように映像を補正することができる。その結果、異なる複数の撮像部によって撮影された複数の映像を録画する場合に、タイミングを揃えて再生可能なように録画することができる。また、録画装置によって、録画される第1録画映像と録画される第2録画映像との時間軸の同期ずれを補正するためのタイミング情報が測定されるため、複数の撮像部が、撮影した映像に時間軸の情報を付与するタイムコード機能を有していない場合にも、録画装置がタイミング情報を測定することによって、録画される映像の同期ずれを容易に補正することができる。その結果、タイミングを揃えて再生可能なように容易に録画することができる。また、タイムコード機能を用いずにタイミングを揃えて再生可能なように録画することができるため、タイムコード機能を用いるために予め複数の撮像部同士の時間軸の同期を行う必要がなく、タイミングを揃えて再生可能なように録画するために要する作業負担を軽減することができる。
第1実施形態による計測用録画システムの構成を示した模式図である。 第1実施形態による計測用録画システムの全体構成を説明するためのブロック図である。 第1実施形態による録画映像について説明するための図である。 第1実施形態による録画装置の制御処理について説明するための図である。 第1実施形態による同期ずれの補正について説明するための図である。 第1実施形態による計測用録画方法について説明するための図(フローチャート)である。 第2実施形態による計測用録画システムの全体構成を説明するためのブロック図である。 第2実施形態による同期ずれの補正について説明するための図である。 第3実施形態による計測用録画システムの全体構成を説明するためのブロック図である。 第3実施形態による同期ずれの補正について説明するための図である。
以下、本発明を具体化した実施形態を図面に基づいて説明する。
[第1実施形態]
図1~図5を参照して、本発明の第1実施形態による計測用録画システム100の構成について説明する。
(計測用録画システムの構成)
第1実施形態による計測用録画システム100は、図1に示すように、検査対象物102の近傍において、計測器110を用いて検査対象物102に対する検査作業を行う検査作業者101に対する支援を行う装置として構成されている。具体的には、検査対象物102は、航空機の部品であり、航空機の胴体を構成する複数枚のプレートを接合するためのリベット102aよびリベット102aの近傍のプレートの部分102bである。すなわち、検査対象物102は、リベット締結部およびリベット締結部の近傍である。なお、検査対象物102の近傍とは、たとえば、検査作業者101が検査対象物102に対して後述する計測プローブ112を接触させることが可能な位置(検査対象物102にアクセス可能な位置)の範囲を意味するものとして記載している。具体的には、検査対象物102の近傍とは、たとえば、検査対象物102と、検査対象物102に対向する作業位置(足場部分)とを含む領域である。
複数のリベット102a同士の間隔は、たとえば、約1~約数インチである。図1に示すように、複数のリベット102aは、プレート上に行列状に配置されている。これにより、航空機1機当たりには、数万個のリベット102aが設けられている。また、この検査では、リベット102aの疲労状態およびプレートの部分102bにリベット穴から亀裂が発生していないか等を、全てのリベット102aについて、計測器110を用いて検査される。また、検査作業者101は、たとえば、航空機の胴体に沿って設けられた足場の上に乗った状態で、検査を行う。
計測器110は、図1に示すように、計測器側表示部111と、計測プローブ112とを含む。計測器110は、計測プローブ112を用いた検査対象物102に対する検査によって計測情報を取得する。計測器110は、たとえば、渦電流探傷装置、または、超音波探傷装置として構成されている。また、計測器110は、検査を行っている検査作業者101とは離間した位置に設置される。
計測器側表示部111は、計測器本体の一側面に設けられている。また、計測器側表示部111は、たとえば、ブラウン管、液晶ディスプレイ、針と目盛りとの組み合わせ、または、表示灯のいずれかとして構成されている。そして、計測器側表示部111は、計測プローブ112からの計測信号を計測情報として表示するように構成されている。計測情報は、計測器110によって測定された検査対象物102の計測結果(検査結果)である。たとえば、計測情報は、波形、数値、針の振れ位置、または、表示灯の点灯として構成される。
計測プローブ112は、計測器110本体とケーブル112aを介して接続されており、計測信号を計測器110本体に伝達するように構成されている。計測プローブ112は、検査対象物102を検査するために検査作業者101によって保持(把持)される。計測プローブ112は、たとえば、ペン型に構成されている。
図2に示すように、第1実施形態による計測用録画システム100は、複数の撮像部(撮像部1および撮像部2)と、録画装置3とを備える。なお、撮像部1は、特許請求の範囲における「第1の撮像部」の一例である。また、撮像部2は特許請求の範囲における「第2の撮像部」の一例である。
第1実施形態では、複数の撮像部(撮像部1および撮像部2)は、映像を撮影するとともに、撮影された映像情報(映像情報E1および映像情報E2)(図4参照)を送信する。なお、映像情報E1は、特許請求の範囲における「第1映像情報」および「計測器映像情報」の一例である。また、映像情報E2は、特許請求の範囲における「第2映像情報」および「検査対象物映像情報」の一例である。
第1実施形態では、撮像部1は、計測器110によって測定された検査対象物102に関する計測情報を表示する計測器側表示部111を撮影する。具体的には、撮像部1は、検査作業者101によって検査対象物102に対する検査が行われることによって計測器110の計測器側表示部111に表示される計測情報を視認可能なように、計測器側表示部111を撮影する。撮像部1は、たとえば、カメラ、または、光検出素子と光学部品(ミラー、レンズ、および、フィルタなど)との組み合わせにより構成されている。
また、撮像部1は、計測器110に対する相対位置が固定されている。たとえば、撮像部1は、結合部材(ジョイント)などのアーム状の固定部材によって、計測器110の計測器側表示部111に対向する位置(正面)に配置される。すなわち、第1実施形態では、撮像部1は、検査作業を行っている検査作業者101とは離間した位置に設置される。
また、第1実施形態では、撮像部1は、計測器110の計測器側表示部111を撮影することによって取得された映像情報E1を、後述する録画装置3に送信するように構成されている。撮像部1は、無線LAN、Bluetooth(登録商標)およびRFタグに用いられる近距離無線通信、および、その他の赤外線通信などによる無線接続によって、録画装置3と通信可能に構成されている。撮像部1は、撮影された映像情報E1を、デジタル信号の無線信号として送信する。映像情報E1は、動画情報として連続的に録画装置3に送信される。
第1実施形態では、撮像部2は、検査作業者101による検査が行われている状態の検査対象物102を撮影する。すなわち、検査作業者101によって検査が行われる際の検査作業の様子を撮像するように構成されている。したがって、撮像部2は、計測情報が取得された際の検査対象物102と、計測情報が取得された際に検査対象物102に対してどのように検査作業が行なわれたかということとを合わせて確認可能なように、検査対象物102を撮影する。具体的には、撮像部2は、計測プローブ112の検査対象物102に対する角度および位置などが確認可能なように、検査対象物102を撮影するように構成されている。撮像部2は、たとえば、カメラ、または、光検出素子と光学部品(ミラー、レンズ、および、フィルタなど)との組み合わせにより構成されている。
また、撮像部2は、検査作業者101に携帯または装着可能に構成されている。具体的には、撮像部2は、検査作業者101の頭部に装着されており、いわゆる、ウェアラブルカメラとして構成されている。すなわち、撮像部2は、検査作業を行っている検査作業者101の視界に対応する領域を、撮影する。
また、第1実施形態では、撮像部2は、検査対象物102を撮影することによって取得された映像情報E2を、後述する録画装置3に送信するように構成されている。撮像部1は、USBケーブルなどの機器間接続用インターフェースおよび有線LANなどの通信用インターフェースなどによる有線接続によって、録画装置3と通信可能に構成されている。そして、撮像部2は、撮影された映像情報E2を、デジタル信号の有線信号として録画装置3に送信する。映像情報E2は、映像情報E1と同様に、動画情報として連続的に録画装置3に送信される。
〈録画装置について〉
第1実施形態では、録画装置3は、撮像部1からの映像情報E1に基づく録画映像R1(図3参照)と、撮像部2からの映像情報E2に基づく録画映像R2(図3参照)とを記憶(録画)するように構成されている。なお、録画映像R1は、特許請求の範囲における「第1録画映像」の一例である。また、録画映像R2は、特許請求の範囲における「第2録画映像」の一例である。
録画装置3は、図1に示すように、検査作業者101により携帯(保持)または装着されるように構成されている。録画装置3は、たとえば、タブレット端末(タブレット型コンピュータ)または、スマートフォンなどの携帯情報端末である。また、図2に示すように、録画装置3は、記憶部31と、通信部32と、タッチパネル33と、制御部34とを含む。
記憶部31は、フラッシュメモリなどの不揮発性メモリを含む記憶装置により構成されている。たとえば、記憶部31は、SDカード(登録商標)として構成されている。また、記憶部31は、制御部34を機能させるためのプログラムを記憶する。また、記憶部31は、後述する制御部34の制御によって、録画映像R1と録画映像R2とを記憶する。
通信部32は、撮像部1および撮像部2と通信可能に構成されている。たとえば、通信部32は、USBケーブルなどの機器間接続用インターフェース、有線LANなどの通信用インターフェースを含む。また、通信部32は、無線LAN、Bluetooth(登録商標)やRFタグに用いられる近距離無線通信、その他の赤外線通信などによる通信が可能な無線通信モジュールを含む。通信部32は、撮像部1からの映像情報E1と、撮像部2からの映像情報E2とを受信可能に構成されている。
タッチパネル33は、録画装置3を動作させるための検査作業者101による入力操作を受け付けるように構成されている。すなわち、タッチパネル33は、制御部34を動作させるための入力操作を受け付ける。たとえば、タッチパネル33は、図3に示すように、タッチパネル33に表示されている録画ボタン33aが検査作業者101によって押下される(録画ボタン33aの領域が触れられる)ことに基づいて、録画映像R1と録画映像R2との録画を開始させる録画操作を受け付ける。なお、タッチパネル33(録画ボタン33a)は、特許請求の範囲における「録画操作部」の一例である。
また、タッチパネル33は、後述する制御部34による制御によって、記憶部31に記憶された画像(映像)を表示可能に構成されている。具体的には、タッチパネル33は、制御部34による制御によって、記憶部31に記憶されている録画映像R1と録画映像R2とを表示(再生)する。
制御部34は、録画装置3の各部の制御を行なうように構成されている。制御部34は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ROM(Read Only Memory)およびRAM(Random Access Memory)などを含む。制御部34は、所定のプログラムを実行することにより、録画装置3の各部の制御を行う。また、制御部34は、所定のプログラムを実行することにより、録画映像R1および録画映像R2を記憶(録画)するための制御を行う。
また、制御部34は、図2に示すように、機能的な構成として、第1受信部34a、第2受信部34b、録画指令部34c、第1録画部34d、第2録画部34e、タイマー部34f、編集処理部34g、および、記憶処理部34hを含む。すなわち、制御部34は、プログラムを実行することによって、第1受信部34a、第2受信部34b、録画指令部34c、第1録画部34d、第2録画部34e、タイマー部34f、編集処理部34g、および、記憶処理部34hとして機能する。なお、図2では、制御部34を機能ブロックとして図示しているが、この例に限られない。すなわち、制御部34の各部をそれぞれ別個のハードウェア(ソフトウェア)として構成してもよいし、1つのハードウェア(ソフトウェア)として構成してもよい。
(録画装置の制御部による制御処理について)
図4に示すように、録画装置3によって録画される録画映像R1および録画映像R2は、映像の開始されるタイミングに時間軸の同期ずれが発生する。第1実施形態では、録画装置3は、録画される録画映像R1と録画される録画映像R2との開始タイミングを揃えるように時間軸の同期ずれを補正するように構成されている。
第1受信部34aは、通信部32を介して撮像部1からの映像情報E1を取得する。第1受信部34aは、動画情報として連続的に送信される映像情報E1を、連続的に取得する。また、第2受信部34bは、第1受信部34aと同様に、通信部32を介して撮像部2からの映像情報E2を取得する。第2受信部34bは、第1受信部34aと同様に、動画情報として連続的に送信される映像情報E2を、連続的に取得する。
録画指令部34cは、第1録画部34dおよび第2録画部34eに録画を開始させるための録画指令を出力する。具体的には、録画指令部34cは、検査作業者101によるタッチパネル33の録画ボタン33aに対する入力操作に基づいて、第1録画部34dおよび第2録画部34eに録画を開始させるための録画指令を出力する。
第1実施形態では、第1録画部34dは、映像情報E1に基づいて録画映像R1を録画する。具体的には、第1録画部34dは、録画指令部34cからの録画指令を取得するとともに、録画指令が取得されたことに基づいて録画映像R1の録画を開始する。
また、第1実施形態では、第1録画部34dは、第1準備完了情報S1をタイマー部34fに出力するとともに、録画映像R1の録画を開始するように構成されている。すなわち、第1録画部34dは、録画指令に基づいて録画映像R1の録画を準備するための制御処理を開始し、録画映像R1の録画を開始するための準備が完了したタイミングにおいて、準備の完了を示す第1準備完了情報S1をタイマー部34fに出力するとともに、録画映像R1の録画を開始する。
第2録画部34eは、第1録画部34dと同様に、映像情報E2に基づいて録画映像R2を録画する。また、第2録画部34eは、第1録画部34dと同様に、録画映像R2の録画を開始するための準備が完了したタイミングにおいて、第2準備完了情報S2をタイマー部34fに出力するとともに、録画映像R2の録画を開始するように構成されている。
第1実施形態では、タイマー部34fは、第1録画部34dによって録画される録画映像R1と第2録画部34eによって録画される録画映像R2との時間軸の同期ずれを補正するためのタイミング情報Tを測定する。具体的には、タイマー部34fは、時間の経過を測定することによって時間を示すタイミング情報Tを測定する。
タイミング情報Tは、たとえば、第1録画部34dが録画を開始するタイミングを示す第1開始タイミングT1を含む。また、第1開始タイミングT1は、第1録画部34dによる第1準備完了情報S1が取得されたタイミングを示す。同様に、タイミング情報Tは、第2録画部34eが録画を開始するタイミングを示す第2開始タイミングT2を含む。また、第2開始タイミングT2は、第2録画部34eによる第2準備完了情報S2が取得されたタイミングを示す。
第1実施形態では、編集処理部34gは、測定されたタイミング情報Tに基づいて、録画映像R1と録画映像R2との開始タイミングを揃えるように同期ずれを補正する。具体的には、編集処理部34gは、第1開始タイミングT1と第2開始タイミングT2との差分に基づいて、録画映像R1と録画映像R2との同期ずれを補正するように構成されている。
詳細には、編集処理部34gは、タイマー部34fによって第1準備完了情報S1が測定された第1開始タイミングT1の時間と、タイマー部34fによって第2準備完了情報S2が測定された第2開始タイミングT2の時間との差分を測定する。そして、編集処理部34gは、測定された第1開始タイミングT1と第2開始タイミングT2との差分に基づいて、録画映像R1と録画映像R2との同期ずれを測定する。
図5に示すように、第1実施形態では、編集処理部34gは、タイミング情報Tに基づいて、録画された録画映像R1と録画された録画映像R2との少なくとも一方から同期ずれに対応する時間分の映像を切り取ることによって同期ずれを補正するように構成されている。具体的には、編集処理部34gは、録画映像R1と録画映像R2とのうちの開始されたタイミングが早い方に対して、取得された差分に基づいて映像を切り取る(トリミングする)処理を行う。たとえば、録画映像R1の開始タイミングが、録画映像R2の開始タイミングよりも1秒早い場合には、編集処理部34gによって、タイミング情報Tに基づいて同期ずれの大きさが1秒であると測定される。そして、早い方の録画映像R1の開始時点から、1秒後の時点までの映像が切り取られる。これにより、録画映像R1の開始タイミングと、録画映像R2の開始タイミングとが、同一のタイミングとなるように補正される。
なお、編集処理部34gは、開始タイミングを揃えることに加えて、遅い方の録画映像R2の終了時点の1秒前の時点から終了時点までの映像を切り取ることによって、補正された録画映像R1と、補正された録画映像R2とが、同一のタイミングで終了するように補正するように構成されていてもよい。また、録画装置3を、録画指令部34cから第1録画部34dおよび第2録画部34eに対して、同一のタイミングにおいて終了指令を出力させることによって、録画された録画映像R1および録画映像R2が同一のタイミングで終了するように構成してもよい。
第1実施形態では、記憶処理部34hは、編集処理部34gによって同期ずれが補正された状態の録画映像R1と録画映像R2とを関連付けて記憶部31に記憶させる。具体的には、記憶処理部34hは、録画映像R1と録画映像R2との開始時間のタイミングが同期された状態で、録画映像R1と録画映像R2とを関連付けて記憶する。ここで、「関連付け」とは、たとえば、記憶部31に記憶された録画映像R1と録画映像R2とを再生させる場合に、対応する録画映像R1と録画映像R2とを判別可能にするための情報が、録画映像R1と録画映像R2とに付与された状態で記憶させることである。たとえば、記憶される録画映像R1および録画映像R2のヘッダ情報に関連付けを示す情報が含まれていてもよい。また、録画映像R1および録画映像R2とは別個に、録画映像R1および録画映像R2が関連付けられていることを示す情報を記憶部31に記憶させるようにしてもよい。
上記のように、第1実施形態による計測用録画システム100では、タイマー部34fによって時間を示すタイミング情報Tを測定することによって、録画指令に基づく第1録画部34dおよび第2録画部34eの制御処理の遅延の差異に起因する時間軸の同期ずれを補正するように構成されている。
(録画装置による計測用録画方法に関する制御処理)
次に、図6を参照して、第1実施形態による計測用録画方法に関する制御処理フローについて説明する。なお、第1実施形態による計測用録画方法に関する制御処理は、録画装置3の制御部34によって行われる。
まず、ステップ401において、タッチパネル33の録画ボタン33aに対する入力操作が受け付けられたか否かが判断される。タッチパネル33の録画ボタン33aに対する入力操作が受け付けられたと判断された場合には、録画指令部34cから第1録画部34dおよび第2録画部34eに対して録画指令が出力される。そして、ステップ402およびステップ404に進む。
ステップ402では、録画指令が取得され、撮像部1によって撮影された映像情報E1に基づいて録画映像R1が録画される。具体的には、計測器110によって測定された検査対象物102に関する計測情報を表示する計測器側表示部111を撮影することによって取得された映像情報E1に基づいて、録画映像R1が録画される。また、録画映像R1の録画が開始されたタイミングにおいて、第1準備完了情報S1が出力される。
次に、ステップ403において、録画される録画映像R1と録画される録画映像R2との時間軸の同期ずれを補正するためのタイミング情報Tが取得される。具体的には、第1準備完了情報S1に基づいて、第1開始タイミングT1が測定される。そして、ステップ406に進む。
ステップ404では、録画指令が取得され、撮像部2によって撮影された映像情報E2に基づいて録画映像R2が録画される。具体的には、検査作業者101による検査が行われている状態の検査対象物102を撮影することによって取得された映像情報E2に基づいて、録画映像R2が録画される。また、録画映像R2の録画が開始されたタイミングにおいて、第2準備完了情報S2が出力される。
次に、ステップ405において、録画される録画映像R1と録画される録画映像R2との時間軸の同期ずれを補正するためのタイミング情報Tが測定される。具体的には、第2準備完了情報S2に基づいて、第2開始タイミングT2が測定される。そして、ステップ406に進む。
ステップ406では、測定されたタイミング情報Tに基づいて、録画映像R1と録画映像R2との開始タイミングを揃えるように同期ずれが補正される。具体的には、第1開始タイミングT1と第2開始タイミングT2との差分に基づいて、同期ずれの大きさが測定される。そして、測定された同期ずれの大きさに基づいて、録画映像R1と録画映像R2とのうちの開始タイミングが早い方から、同期ずれの大きさに対応する時間分の映像を切り取ることによって、録画映像R1と録画映像R2との同期ずれが補正される。
(第1実施形態の効果)
第1実施形態では、以下のような効果を得ることができる。
第1実施形態の計測用録画システム100は、上記のように、録画される録画映像R1(第1録画映像)と録画される録画映像R2(第2録画映像)との時間軸の同期ずれを補正するためのタイミング情報Tを測定する。これにより、測定されたタイミング情報Tに基づいて、録画される録画映像R1と録画される録画映像R2との時間軸の同期ずれの大きさを測定することができる。そのため、録画映像R1と録画映像R2との時間軸の同期ずれの大きさに基づいて、同期ずれを解消するように映像を補正することができる。その結果、異なる複数の撮像部(撮像部1および撮像部2)によって撮影された複数の映像を録画する場合に、タイミングを揃えて再生可能なように録画することができる。また、録画装置3によって、録画される録画映像R1と録画される録画映像R2との時間軸の同期ずれを補正するためのタイミング情報Tが測定されるため、複数の撮像部(撮像部1および撮像部2)が、撮影した映像に時間軸の情報を付与するタイムコード機能を有していない場合にも、録画装置3がタイミング情報Tを測定することによって、録画される映像の同期ずれを容易に補正することができる。その結果、タイミングを揃えて再生可能なように容易に録画することができる。また、タイムコード機能を用いずにタイミングを揃えて再生可能なように録画することができるため、タイムコード機能を用いるために予め複数の撮像部(撮像部1および撮像部2)同士の時間軸の同期を行う必要がなく、タイミングを揃えて再生可能なように録画するために要する作業負担を軽減することができる。
また、第1実施形態では、以下のように構成したことによって、更なる効果が得られる。
すなわち、第1実施形態では、映像情報E1(第1映像情報)は、計測器110によって測定された検査対象物102に関する計測情報を表示する計測器側表示部111を撮影することによって取得された計測器映像情報を含み、映像情報E2(第2映像情報)は、検査作業者101による検査が行われている状態の検査対象物102を撮影することによって取得された検査対象物映像情報を含み、録画装置3は、映像情報E1(計測器映像情報)に基づいて録画される録画映像R1(第1録画映像)と、映像情報E2(検査対象物映像情報)に基づいて録画される録画映像R2(第2録画映像)との開始タイミングを揃えるように同期ずれを補正するように構成されている。このように構成すれば、映像情報E1に基づいて録画される録画映像R1と、映像情報E2に基づいて録画される録画映像R2との同期ずれが補正されるので、録画映像R1に含まれる計測器側表示部111の画像と、録画映像R2に含まれる検査対象物102の画像との時間軸の同期ずれを補正することができる。そのため、検査作業者101によって検査が行われている状態の検査対象物102を撮影した画像と、計測器110によって測定された検査対象物102に関する計測情報が表示されている計測器側表示部111の表示を撮影した画像との同期のずれを補正することができる。これにより、検査作業者101の検査対象物102に検査を行うタイミングと、検査作業者101の検査による計測器110の計測情報の表示されるタイミングとが同期されるように、録画映像R1および録画映像R2を補正することができる。その結果、検査作業者101による検査の様子と取得される計測情報との同期ずれが補正されるため、検査作業者101の検査の様子と、検査作業者101の検査によって取得された計測情報とのタイミングが揃えられた状態で録画することができる。
また、検査対象物102の検査を行う場合には、広範囲の検査を行うために、計測器110の検査端子(計測プローブ112)などを移動させながら検査対象物102を検査する。そのため、検査が行われている検査対象物102を撮影した画像と、計測情報が表示されている計測器側表示部111の表示を撮影した画像との同期がずれている場合には、表示されている計測情報に対応する検査対象物102の正しい位置を確認することが困難となる。これに対して、第1実施形態では、録画装置3を、映像情報E1(計測器映像情報)に基づいて録画される録画映像R1(第1録画映像)と、映像情報E2(検査対象物映像情報)に基づいて録画される録画映像R2(第2録画映像)との開始タイミングを揃えるように同期ずれを補正するように構成する。このように構成すれば、検査が行われている検査対象物102を撮影した画像に基づいて録画される録画映像R2と、計測情報が表示されている計測器側表示部111の表示を撮影した画像に基づいて録画される録画映像R1との同期ずれが補正されるため、タイミングを揃えて再生可能なように録画映像R1および録画映像R2を録画することができる。そのため、広範囲の検査を行う場合にも、計測情報に対応する検査対象物102を精度よく確認することができる。
また、第1実施形態では、撮像部1(第1の撮像部)は、検査作業者101とは離間した位置に設置され、撮像部2(第2の撮像部)は、検査作業者101に携帯または装着可能に構成されている。このように構成すれば、計測情報を表示する計測器側表示部111が検査作業者101と離間した位置に設置されている場合にも、検査作業者101と離間した位置に設置されている撮像部1によって、計測器110の計測器側表示部111に表示された計測情報を撮影することができる。そのため、計測器110と検査対象物102とが離間した位置に設置されている場合にも、検査作業者101が検査を行っている検査対象物102を撮影した映像と、計測情報を撮影した映像とを、同期ずれを補正することによってタイミングを揃えて再生可能なように録画することができる。また、撮像部2が検査作業者101に携帯または装着可能に構成されているので、検査作業者101が移動しながら検査対象物102を検査する場合にも、検査作業者101の移動に合わせて撮像部2を移動させることなく、映像情報E2(検査対象物映像情報)を取得することができる。そのため、検査作業者101の移動に合わせて撮像部2を移動させるための作業が検査作業者101にとって負担となることを抑制することができる。
また、第1実施形態では、録画装置3は、録画映像R1(第1録画映像)と録画映像R2(第2録画映像)との開始タイミングを揃えるように同期ずれを補正するとともに、同期ずれが補正された状態の録画映像R1と録画映像R2とを関連付けて記憶するように構成されている。このように構成すれば、開始タイミングを揃えるように同期ずれが補正された状態の録画映像R1と録画映像R2とを関連付けて記憶することができるので、撮像部1によって撮影された映像と撮像部2によって撮影された映像との両方を、タイミングを揃えながら容易に同時に再生することができる。そのため、同一のタイミングにおいて撮影された2つの異なる映像を、時間軸を揃えながら容易に見比べることができる。また、録画映像R1と録画映像R2とが、補正された状態で記憶されているため、記憶された録画映像R1と録画映像R2とを再生する場合に、同期ずれを補正する制御処理を行わずにタイミングを揃えて再生することができる。このため、記憶された録画映像R1と録画映像R2とをタイミングを揃えて再生する場合に、同期ずれを補正するための制御処理を行うことに起因する処理負担を抑制することができる。
また、第1実施形態では、録画装置3は、時間の経過を測定することによって時間を示すタイミング情報Tを測定するタイマー部34fを含み、タイマー部34fによって測定されたタイミング情報Tに基づいて、同期ずれを補正するように構成されている。このように構成すれば、タイマー部34fによって時間の経過を測定することができるので、時間を示すタイミング情報Tを容易に測定することができる。そのため、録画映像R1(第1録画映像)と録画映像R2(第2録画映像)との同期のずれの具体的な大きさ(時間の長さ)をタイマー部34fによって測定されたタイミング情報Tに基づいて容易に取得することができる。その結果、タイマー部34fによって測定されたタイミング情報Tに基づいて同期ずれを容易に補正することができるため、タイミングを揃えて再生可能なように録画映像R1および録画映像R2を容易に録画することができる。
また、第1実施形態では、第1録画部34dおよび第2録画部34eは、第1録画部34dおよび第2録画部34eに録画を開始させるための録画指令に基づいて、録画映像R1(第1録画映像)および録画映像R2(第2録画映像)の録画を開始するように構成されており、録画装置3は、録画指令に基づいて録画された録画映像R1と、録画指令に基づいて録画された録画映像R2との時間軸の同期ずれを補正するように構成されている。ここで、第1録画部34dが録画指令に基づいて録画映像R1を録画するための制御処理に要する時間と、第2録画部34eが録画指令に基づいて録画映像R2を録画するための制御処理に要する時間とが異なる場合がある。この場合に、録画映像R1の録画が開始されるタイミングと、録画映像R2の録画が開始されるタイミングとに差異が含まれるため、録画された録画映像R1と録画された録画映像R2とに同期ずれが含まれる。これに対して、第1実施形態では、録画装置3を、録画指令に基づいて録画された録画映像R1と、録画指令に基づいて録画された録画映像R2との時間軸の同期ずれを補正するように構成する。このように構成すれば、録画指令に基づいて録画された録画映像R1と録画映像R2とに同期ずれが含まれる場合にも、時間軸の同期ずれを補正することができる。そのため、録画指令に基づいて録画を開始するための制御処理に要する時間に差異がある場合にも、録画装置3によって同期ずれを容易に補正することができるので、タイミングを揃えて再生可能なように録画映像R1および録画映像R2を容易に録画することができる。
また、第1実施形態では、タイミング情報Tは、第1録画部34dが録画を開始するタイミングを示す第1開始タイミングT1と、第2録画部34eが録画を開始するタイミングを示す第2開始タイミングT2とを含み、録画装置3は、第1開始タイミングT1と第2開始タイミングT2との差分に基づいて同期ずれを補正するように構成されている。このように構成すれば、タイマー部34fによって、第1開始タイミングT1および第2開始タイミングT2を測定することができるので、タイマー部34fによって測定された第1開始タイミングT1と第2開始タイミングT2との差分に基づいて、録画映像R1と録画映像R2との同期ずれの具体的な大きさを容易に測定することができる。そのため、タイマー部34fが測定したタイミング情報Tに基づいて、録画映像R1と録画映像R2との具体的な同期ずれの大きさを容易に測定することができる。その結果、測定された同期ずれの大きさに基づいて、タイミングを揃えて再生可能なように録画映像R1および録画映像R2を容易に録画することができる。
また、第1実施形態では、第1録画部34dおよび第2録画部34eに録画を開始させる操作を受け付けるタッチパネル33(録画操作部)をさらに備え、録画装置3は、タッチパネル33に対する入力操作に基づいて録画指令を出力し、録画指令に基づいて録画された録画映像R1(第1録画映像)と、録画指令に基づいて録画された録画映像R2(第2録画映像)との時間軸の同期ずれを補正するように構成されている。このように構成すれば、検査作業者101は、タッチパネル33に対する操作によって、第1録画部34dおよび第2録画部34eの録画の開始を容易に行うことができる。そのため、タッチパネル33に対する操作によって、録画の開始を容易に行うことができるとともに、録画される録画映像R1と録画映像R2とを、タイミングを揃えて再生可能なように容易に録画することができる。
また、第1実施形態では、録画装置3は、タイマー部34fによって測定されたタイミング情報Tに基づいて、録画された録画映像R1(第1録画映像)と録画された録画映像R2(第2録画映像)との少なくとも一方から同期ずれに対応する時間分の映像を切り取ることによって同期ずれを補正するように構成されている。ここで、録画映像R1と録画映像R2とのうちの録画の開始されたタイミングが遅い方の映像に対して同期ずれに対応する時間分の空白映像を挿入することによって同期ずれを補正する場合には、映像を切りとることによって同期ずれを補正する場合に比べて、制御処理の負担が大きくなる。また、空白映像を挿入することによって同期ずれを補正した場合には、補正された映像の開始時点に空白映像が挿入されているため、録画内容を視認する場合に空白映像の時間分待機する必要がある。これらの点に対して、第1実施形態では、録画された録画映像R1と録画された録画映像R2との少なくとも一方から同期ずれに対応する時間分の映像を切り取ることによって同期ずれを補正するように構成されている。このように構成すれば、空白時間を挿入することによって同期ずれを補正する場合と異なり、制御処理の負担が大きくなることを抑制することができる。また、補正された映像の開始時点から撮影された映像を視認することができるので、空白映像の時間分待機することによる検査作業者101の作業負担を軽減することができる。
また、第1実施形態では、タイミング情報Tは、第1録画部34dから出力され、録画映像R1(第1録画映像)の録画を開始するための準備が完了したことを示す第1準備完了情報S1と、第2録画部34eから出力され、録画映像R2(第2録画映像)の録画を開始するための準備が完了したことを示す第2準備完了情報S2とを含み、録画装置3は、第1準備完了情報S1と第2準備完了情報S2とに基づいて、同期ずれを補正するように構成されている。このように構成すれば、第1録画部34dおよび第2録画部34eからの第1準備完了情報S1および第2準備完了情報S2に基づいて、第1録画部34dによる録画の準備のための制御処理が完了したタイミングと第2録画部34eによる録画の準備のための制御処理が完了したタイミングとを容易に測定することができる。そのため、第1録画部34dにおける制御処理に要する時間と、第2録画部34eにおける制御処理に要する時間との間に差異がある場合にも、第1録画部34dからの第1準備完了情報S1と、第2録画部34eからの第2準備完了情報S2とに基づいて、第1録画部34dによる制御処理に要する時間と第2録画部34eによる制御処理に要する時間との差異を容易に測定することができる。その結果、第1準備完了情報S1と第2準備完了情報S2とに基づいて、録画映像R1と録画映像R2との時間軸の同期ずれをより容易に補正することができるので、タイミングを揃えて再生可能なように録画映像R1および録画映像R2をより容易に録画することができる。
また、第1実施形態では、第1録画部34dは、第1準備完了情報S1を出力するとともに、録画映像R1(第1録画映像)の録画を開始するように構成されており、第2録画部34eは、第2準備完了情報S2を出力するとともに、録画映像R2(第2録画映像)の録画を開始するように構成されており、録画装置3は、第1準備完了情報S1と第2準備完了情報S2とに基づいて、第1準備完了情報S1が取得されたタイミングと第2準備完了情報S2が取得されたタイミングとの差分に基づいて同期ずれを補正するように構成されている。このように構成すれば、第1録画部34dの制御による第1準備完了情報S1を測定することによって、録画映像R1の録画開始されたタイミングを測定することができるとともに、第2録画部34eの制御による第2準備完了情報S2を測定することによって、録画映像R2の録画開始されたタイミングを測定することができる。そのため、録画映像R1および録画映像R2の録画が開始されたタイミングを測定するための構成を新たに設けることなく、第1録画部34dおよび第2録画部34eによる制御に基づく第1準備完了情報S1および第2準備完了情報S2を測定することによって、録画映像R1および録画映像R2が開始されたタイミングを容易に測定することができる。その結果、第1録画部34dからの第1準備完了情報S1と、第2録画部34eからの第2準備完了情報S2とを測定することによって、容易に同期ずれを補正することができるため、タイミングを揃えて再生可能なように録画映像R1および録画映像R2を容易に録画することができる。
(第1実施形態による計測用録画方法の効果)
第1実施形態の計測用録画方法では、以下のような効果を得ることができる。
第1実施形態の計測用録画方法では、上記のように、録画される録画映像R1(第1録画映像)と録画される録画映像R2(第2録画映像)との時間軸の同期ずれを補正するためのタイミング情報Tを測定する。これにより、測定されたタイミング情報Tに基づいて、録画される録画映像R1と録画される録画映像R2との時間軸の同期ずれの大きさを測定することができる。そのため、録画映像R1と録画映像R2との時間軸の同期ずれの大きさに基づいて、同期ずれを解消するように映像を補正することができる。その結果、異なる複数の撮像部(撮像部1および撮像部2)によって撮影された複数の映像を録画する場合に、タイミングを揃えて再生可能なように録画することが可能な計測用録画方法を提供することができる。また、録画装置3によって、録画される録画映像R1と録画される録画映像R2との時間軸の同期ずれを補正するためのタイミング情報Tが測定されるため、複数の撮像部(撮像部1および撮像部2)が、撮影した映像に時間軸の情報を付与するタイムコード機能を有していない場合にも、録画装置3がタイミング情報Tを測定することによって、録画される映像の同期ずれを容易に補正することができる。その結果、タイミングを揃えて再生可能なように容易に録画することができる。また、タイムコード機能を用いずにタイミングを揃えて再生可能なように録画することができるため、タイムコード機能を用いるために予め複数の撮像部(撮像部1および撮像部2)同士の時間軸の同期を行う必要がなく、タイミングを揃えて再生可能なように録画するために要する作業負担を軽減することができる。
また、第1実施形態では、録画映像R1(第1録画映像)を録画するステップは、計測器110によって測定された検査対象物102に関する計測情報を表示する計測器側表示部111を撮影することによって取得された計測器映像情報を含む映像情報E1(第1映像情報)に基づいて、録画映像R1を録画するステップであり、録画映像R2(第2録画映像)を録画するステップは、検査作業者101による検査が行われている状態の検査対象物102を撮影することによって取得された検査対象物映像情報を含む映像情報E2(第2映像情報)に基づいて、録画映像R2を録画するステップである。このように構成すれば、映像情報E1に基づいて録画される録画映像R1と、映像情報E2に基づいて録画される録画映像R2との同期ずれが補正されるので、録画映像R1に含まれる計測器側表示部111の画像と、録画映像R2に含まれる検査対象物102の画像との時間軸の同期ずれを補正することができる。そのため、検査作業者101によって検査が行われている状態の検査対象物102を撮影した画像と、計測器110によって測定された検査対象物102に関する計測情報が表示されている計測器側表示部111の表示を撮影した画像との同期のずれを補正することができる。これにより、検査作業者101の検査対象物102に検査を行うタイミングと、検査作業者101の検査による計測器110の計測情報の表示されるタイミングとが同期されるように、録画映像R1および録画映像R2を補正することができる。その結果、検査作業者101による検査の様子と取得される計測情報との同期ずれが補正されるため、検査作業者101の検査の様子と、検査作業者101の検査によって取得された計測情報とのタイミングが揃えられた状態で録画することができる。
また、検査対象物102の検査を行う場合には、広範囲の検査を行うために、計測器110の検査端子(計測プローブ112)などを移動させながら検査対象物102を検査する。そのため、検査が行われている検査対象物102を撮影した画像と、計測情報が表示されている計測器側表示部111の表示を撮影した画像との同期がずれている場合には、表示されている計測情報に対応する検査対象物102の正しい位置を確認することが困難となる。この点に対して、第1実施形態では、録画装置3を、映像情報E1(計測器映像情報)に基づいて録画される録画映像R1(第1録画映像)と、映像情報E2(検査対象物映像情報)に基づいて録画される録画映像R2(第2録画映像)との開始タイミングを揃えるように同期ずれを補正するように構成する。このように構成すれば、検査が行われている検査対象物102を撮影した画像に基づいて録画される録画映像R1と、計測情報が表示されている計測器側表示部111の表示を撮影した画像に基づいて録画される録画映像R2との同期ずれが補正されるため、タイミングを揃えて再生可能なように録画映像R1および録画映像R2を録画することができる。そのため、広範囲の検査を行う場合にも、計測情報に対応する検査対象物102を精度よく確認することができる。
[第2実施形態]
図7および図8を参照して、第2実施形態による計測用録画システム200の構成について説明する。この第2実施形態は、録画指令に基づいて録画を開始するように構成した第1実施形態とは異なり、第1準備完了情報S201および第2準備完了情報S202が測定されたことに基づいて録画を開始するように構成されている。なお、図中において、上記第1実施形態と同様の構成の部分には、同一の符号を付して図示するとともに説明を省略する。
(第2実施形態による計測用録画システムの構成)
図7に示すように、第2実施形態による計測用録画システム200は、録画装置203を備える。録画装置203は、第1実施形態による録画装置3と同様に、映像情報E1および映像情報E2に基づいて録画映像R1および録画映像R2を録画する。そして、録画装置203は、録画映像R1と録画映像R2との開始タイミングを揃えるように同期ずれを補正する。
第2実施形態では、録画装置203は、制御部234を含む。制御部234は、機能的な構成として、録画指令部234cと、第1録画部234dと、第2録画部234eとを含む。すなわち、制御部234は、プログラムを実行することによって、録画指令部234c、第1録画部234d、第2録画部234eとして機能する。
図8に示すように、第2実施形態では、録画装置203は、第1準備完了情報S201と第2準備完了情報S202とを含むタイミング情報T200を測定するとともに、タイミング情報T200が測定されたことに基づいて第1録画部234dおよび第2録画部234eに録画を開始させるための録画指令を出力することによって、同期ずれを補正するように構成されている。
録画指令部234cは、第1録画部234dおよび第2録画部234eに対して、録画を開始するための準備を行わせるための準備指令を出力する。具体的には、録画指令部234cは、検査作業者101によるタッチパネル33の録画ボタン33aに対する入力操作に基づいて、第1録画部234dおよび第2録画部234eに録画を開始するための準備を行わせるための準備指令を出力する。
第1録画部234dは、録画指令部234cからの準備指令に基づいて、録画映像R1を録画するための準備を行う。具体的には、第1録画部234dは、準備指令を取得したことに基づいて、録画を開始させることが可能な状態(準備完了の状態)となるように制御処理を行う。そして、第1録画部234dは、録画の準備が完了した場合、録画映像R1の録画を開始するための準備の完了を示す第1準備完了情報S201を、録画指令部234cに出力する。
また、第2録画部234eも同様に、録画指令部234cからの準備指令に基づいて録画映像R2を録画するための準備を行う。そして、第2録画部234eは、録画の準備が完了した場合、録画映像R2の録画を開始するための準備の完了を示す第2準備完了情報S202を、録画指令部234cに出力する。
そして、録画指令部234cは、第1録画部234dおよび第2録画部234eから録画を開始するための準備が完了したことを示すタイミング情報T200(第1準備完了情報S201および第2準備完了情報S202)が出力されたことを測定する。そして、録画指令部234cは、タイミング情報T200に基づいて、第1録画部234dおよび第2録画部234eに録画を開始させるための録画指令を出力する。
すなわち、タイミング情報Tが、録画が開始された時間(タイミング)を示す情報であった第1実施形態と異なり、第2実施形態では、タイミング情報T200は、録画を開始するための準備が完了したことを示す情報(第1準備完了情報S201および第2準備完了情報S202)である。
上記のように、録画装置203は、録画を開始する準備が完了している状態の第1録画部234dおよび第2録画部234eに対して録画指令を出力することによって、録画映像R1および録画映像R2の録画を、遅延なく同一のタイミングにおいて開始させる。すなわち、第2実施形態による計測用録画システム200では、録画を開始させるタイミングを示すタイミング情報T200を測定することによって、遅延なく同一のタイミングにおいて録画映像R1および録画映像R2の両方の録画を開始させ、時間軸の同期ずれを補正するように構成されている。
なお、第2実施形態のその他の構成については、第1実施形態と同様である。
(第2実施形態の効果)
第2実施形態では、以下のような効果を得ることができる。
第2実施形態では、録画装置203は、第1準備完了情報S201と第2準備完了情報S202とを含むタイミング情報T200を測定するとともに、タイミング情報T200が測定されたことに基づいて第1録画部234dおよび第2録画部234eに録画を開始させるための録画指令を出力することによって、同期ずれを補正するように構成されている。ここで、撮像部1および撮像部2の種類(機種)、または、映像情報E1および映像情報E2の通信形態(有線または無線)などが異なる場合に、録画を開始させる録画指令を取得した時点から録画の準備が完了する時点までの制御処理に要する時間が、第1録画部234dと第2録画部234eとの間において異なる。これに対して、第2実施形態では、録画装置203を、第1準備完了情報S201と第2準備完了情報S202とを含むタイミング情報T200を測定するとともに、タイミング情報T200が測定されたことに基づいて第1録画部234dおよび第2録画部234eに録画を開始させるための録画指令を出力することによって、同期ずれを補正するように構成する。このように構成すれば、撮像部1および撮像部2の種類(機種)、または、映像情報E1および映像情報E2の通信形態などが異なる場合にも、タイミング情報T200が測定されたことに基づいて、第1録画部234dおよび第2録画部234eの両方において録画の準備が完了した状態において録画を開始させるための録画指令を出力させることができる。そのため、第1録画部234dおよび第2録画部234eにおいて録画準備の制御処理に要する時間が異なることに起因して、第1録画部234dおよび第2録画部234eの録画開始のタイミングがずれることを抑制することができる。その結果、第1録画部234dおよび第2録画部234eにおいて録画準備の制御処理に要する時間が異なる場合にも、タイミングを揃えて再生可能なように録画映像R1および録画映像R2を録画することができる。
なお、第2実施形態のその他の効果は、上記第1実施形態と同様である。
[第3実施形態]
図9~図10を参照して、第3実施形態による計測用録画システム300の構成について説明する。この第3実施形態は、第1録画部34dおよび第2録画部34eの制御処理の遅延の差異に起因する同期ずれを補正するように構成した第1実施形態とは異なり、撮像部301および撮像部302からの信号の遅延の差異に起因する同期ずれを補正するように構成されている。なお、図中において、上記第1実施形態と同様の構成の部分には、同一の符号を付して図示するとともに説明を省略する。
(第3実施形態による計測用録画システムの構成)
図9に示すように、第3実施形態による計測用録画システム300は、撮像部301と、撮像部302と、録画装置303と、基準時間表示器304とを備える。なお、撮像部301は、特許請求の範囲における「第1の撮像部」の一例である。また、撮像部302は、特許請求の範囲における「第2の撮像部」の一例である。また、基準時間表示器304は、特許請求の範囲における「基準対象」の一例である。
第3実施形態による計測用録画システム300は、第1実施形態による計測用録画システム100と同様に、タイマー部34fによって時間を示すタイミング情報Tを測定することによって、録画指令に基づく第1録画部34dおよび第2録画部34eの制御処理の遅延の差異に起因する時間軸の同期ずれを補正するように構成されている。
すなわち、撮像部301は、第1実施形態による撮像部1と同様に、映像情報E1を送信する。また、撮像部302は、第1実施形態による撮像部2と同様に、映像情報E2を送信する。また、録画装置303は、第1実施形態による録画装置3と同様に、映像情報E1および映像情報E2に基づいて、第1録画部34dおよび第2録画部34eによって録画映像R1および録画映像R2を録画する。そして、録画装置303は、録画映像R1および録画映像R2の時間軸の同期ずれを、編集処理部34gによって補正する。そして、録画装置303は、同期ずれが補正された状態の録画映像R1および録画映像R2を記憶処理部34hによって関連付けて記憶するように構成されている。
そして、第3実施形態による計測用録画システム300では、第1録画部34dおよび第2録画部34eの制御処理の遅延の差異に起因する時間軸の同期ずれを補正することに加えて、撮像部301および撮像部302の各々からの映像情報E1および映像情報E2の時間軸のずれを補正するように構成されている。
具体的には、図10に示すように、第3実施形態では、撮像部301および撮像部302は、撮像部301からの映像情報E1と、撮像部302からの映像情報E2との時間軸のずれを補正するために、時間情報を取得可能な基準時間表示器304を同一のタイミングにおいて撮影する。そして、撮像部301および撮像部302は、映像情報E1と映像情報E2との時間軸のずれを補正するために、それぞれ、基準時間表示器304を撮影した基準画像C1を含む映像情報E1と、基準画像C2を含む映像情報E2とを録画装置303に送信する。なお、基準画像C1は、特許請求の範囲における「第1基準画像」の一例である。また、基準画像C2は、特許請求の範囲における「第2基準画像」の一例である。
また、第3実施形態では、録画装置303は、撮像部301が基準時間表示器304を撮影した基準画像C1と、撮像部302が基準時間表示器304を撮影した基準画像C2とに基づいて、映像情報E1と映像情報E2との時間軸のずれを示すタイミング情報T300を測定するとともに、測定されたタイミング情報T300に基づいて、同期ずれを補正するように構成されている。
第3実施形態では、基準時間表示器304は、映像情報E1と映像情報E2との時間軸のずれを補正するために、時間情報を取得可能に構成されている。具体的には、基準時間表示器304は、基準となる基準時間を表示する。基準時間表示器304は、たとえば、ストップウォッチ、または、デジタル表示式の時計などである。
〈録画装置の制御部の構成〉
図9に示すように、録画装置303は、制御部334を含む。制御部334は、機能的な構成として、基準解析部334iを含む。すなわち、制御部334は、プログラムを実行することによって、基準解析部334iとして機能する。
基準解析部334iは、たとえば、録画装置303の起動時に、撮像部301からの映像情報E1と撮像部302からの映像情報E2との時間軸のずれを補正するように構成されている。なお、基準解析部334iは、検査作業者101によるタッチパネル33に対する入力操作に基づいて、映像情報E1と映像情報E2との時間軸のずれを補正する制御を行うように構成されていてもよい。
基準解析部334iは、撮像部301および撮像部302からの映像情報E1および映像情報E2に基づいて、基準画像C1および基準画像C2を取得する。具体的には、検査作業者101によって、同一のタイミングにおいて基準時間表示器304を撮影可能なように、撮像部301および撮像部302が設置される。そして、基準解析部334iは、第1受信部34aを介して取得される映像情報E1および第2受信部34bを介して取得される映像情報E2から、同一のタイミングにおいて基準画像C1および基準画像C2を取得する。すなわち、基準解析部334iは、連続的に取得されている映像情報E1および映像情報E2から、静止画像としての基準画像C1および基準画像C2を、同一のタイミングにおいて取得する。
そして、基準解析部334iは、取得された基準画像C1および基準画像C2に対して画像処理を行う。基準解析部334iは、たとえば、光学文字認識(OCR:Optical character recognition)によって、基準画像C1および基準画像C2に含まれる基準時間表示器304の画像から、撮像部301および撮像部302によって撮影された基準時間表示器304が表示していた時間を取得する。そして、基準解析部334iは、基準画像C1および基準画像C2の各々から取得された時間の差分をタイミング情報T300として取得することによって、基準画像C1の映像情報E1が撮影されたタイミングと、基準画像C2の映像情報E2が撮影されたタイミングとの時間軸のずれを測定する。
たとえば、図10に示すように、基準時間表示器304が「00:29.17」を表示しているタイミングにおいて、基準解析部334iは、第1受信部34aおよび第2受信部34bが受信している映像情報E1および映像情報E2から基準画像C1および基準画像C2を取得する。そして、基準解析部334iは、取得された基準画像C1に対して画像処理を行うことによって、基準画像C1が撮影されたタイミングとして「00:29.14」を基準画像C1の時間情報として取得する。同様に、基準解析部334iは、取得された基準画像C2に対して画像処理を行うことによって、基準画像C2が撮影されたタイミングとして「00:28.89」を基準画像C1の時間情報として取得する。そして、基準解析部334iは、基準画像C1および基準画像C2の画像処理の結果に基づいて、基準画像C1と基準画像C2との時間軸のずれを示すタイミング情報T300(補正値)として、「00:00.25」を取得する。すなわち、基準解析部334iは、撮像部301からの映像情報E1と撮像部302からの映像情報E2との時間軸のずれとして「00:00.25」を測定する。
第3実施形態では、録画装置303は、基準解析部334iによって取得されたタイミング情報T300に基づいて、撮像部301からの映像情報E1と撮像部302からの映像情報E2との時間軸のずれを補正することによって、録画される録画映像R1と録画される録画映像R2との時間軸の同期ずれが発生することを抑制するように、録画映像R1および録画映像R2を補正する。
たとえば、録画装置303は、取得された補正値(タイミング情報T300)に基づいて、第1録画部34dまたは第2録画部34eが録画を開始させるタイミングを補正する。また、録画装置303は、取得された補正値(タイミング情報T300)に基づいて、第1受信部34aまたは第2受信部34bが映像情報E1または映像情報E2を取得するタイミングを補正するように構成されていてもよい。また、録画装置303は、取得された補正値(タイミング情報T300)に基づいて、編集処理部34gが録画映像R1および録画映像R2の同期ずれの補正を行うように構成されていてもよい。
なお、第3実施形態のその他の構成については、第1実施形態と同様である。
(第3実施形態の効果)
第3実施形態では、以下のような効果を得ることができる。
第3実施形態では、撮像部301(第1の撮像部)および撮像部302(第2の撮像部)は、撮像部301からの映像情報E1(第1映像情報)と、撮像部302からの映像情報E2(第2映像情報)との時間軸のずれを補正するために、時間情報を取得可能な基準時間表示器304(基準対象)を同一のタイミングにおいて撮影するように構成されており、録画装置303は、撮像部301が基準時間表示器304を撮影した基準画像C1(第1基準画像)と、撮像部302が基準時間表示器304を撮影した基準画像C2(第2基準画像)とに基づいて、映像情報E1と映像情報E2との時間軸のずれを示すタイミング情報T300を測定するとともに、測定されたタイミング情報T300に基づいて、同期ずれを補正するように構成されている。ここで、撮像部301と撮像部302とにおいて、種類の差異、または、録画装置303に対する通信形態の差異などに起因して、録画装置303が取得する撮像部301からの映像情報E1と、撮像部302からの映像情報E2とに時間軸のずれが含まれる場合がある。この場合には、映像情報E1に基づく録画映像R1(第1録画映像)と映像情報E2に基づく録画映像R2(第2録画映像)とが、タイミングがずれて録画される。これに対して、第3実施形態では、録画装置303を、撮像部301が基準時間表示器304を撮影した基準画像C1と、撮像部302が基準時間表示器304を撮影した基準画像C2とに基づいて、映像情報E1と映像情報E2との時間軸のずれを示すタイミング情報T300を測定するとともに、測定されたタイミング情報T300に基づいて、同期ずれを補正するように構成する。このように構成すれば、時間情報を取得可能な基準時間表示器304を撮影することによって、撮像部301が基準画像C1を撮影したタイミングと、撮像部302が基準画像C2を撮影したタイミングとを容易に測定することができる。そのため、基準画像C1および基準画像C2に基づいて、映像情報E1と映像情報E2との時間軸のずれを示すタイミング情報T300を容易に測定することができるので、撮像部301からの映像情報E1と、撮像部302からの映像情報E2との時間軸のずれを容易に補正することができる。その結果、撮像部301からの映像情報E1と、撮像部302からの映像情報E2とに時間軸のずれが含まれる場合にも、タイミングを揃えて再生可能なように録画映像R1および録画映像R2を録画することができる。
また、第3実施形態では、基準対象は、撮像部301(第1の撮像部)からの映像情報E1(第1映像情報)と、撮像部302(第2の撮像部)からの映像情報E2(第2映像情報)との時間軸のずれを補正するための基準時間を表示する基準時間表示器304を含み、録画装置303は、撮像部301が基準時間表示器304を撮影した基準画像C1(第1基準画像)と、撮像部302が基準時間表示器304を撮影した基準画像C2(第2基準画像)とを取得するとともに、取得された基準画像C1と基準画像C2とに対して画像処理を行うことによって、映像情報E1が撮影されたタイミングと映像情報E2が撮影されたタイミングとの時間軸のずれを測定するように構成されている。このように構成すれば、基準時間を表示する基準時間表示器304を撮影することによって、基準画像C1が撮影されたタイミングと、基準画像C2が撮影されたタイミングとを容易に測定することができる。また、撮影された基準画像C1と基準画像C2とに対して画像処理を行うことによって、基準画像C1が撮影されたタイミングと、基準画像C2が撮影されたタイミングとの具体的な時間の差分を容易に測定することができる。そのため、測定された具体的な時間の差分に基づいて、第1受信部34aが取得した映像情報E1と第2受信部34bが取得した映像情報E2とのずれの大きさを容易に測定することができるので、測定されたずれの大きさに基づいて同期ずれを容易に補正することができる。その結果、撮像部301からの映像情報E1と、撮像部302からの映像情報E2とに時間軸のずれが含まれる場合にも、タイミングを揃えて再生可能なように録画映像R1および録画映像R2をより容易に録画することができる。
なお、第3実施形態のその他の効果は、上記第1および第2実施形態と同様である。
[変形例]
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更(変形例)が含まれる。
たとえば、上記第1~第3実施形態では、第1映像情報は、計測器によって測定された検査対象物に関する計測情報を表示する計測器側表示部を撮影することによって取得され、第2映像情報は、検査作業者による検査が行われている状態の検査対象物を撮影することによって取得される例を示したが、本発明はこれに限られない。たとえば、第1映像情報と第2映像情報との両方が、検査作業者による検査が行われている状態の検査対象物を撮影することによって取得されるように構成されていてもよい。また、第1映像情報および第2映像情報を、風景および人物などを撮影することによって取得されるように構成してもよい。
また、上記第1~第3実施形態では、第1の撮像部は、検査作業者とは離間した位置に設置され、第2の撮像部は、検査作業者に携帯または装着可能に構成されている例を示したが、本発明はこれに限られない。たとえば、第1の撮像部および第2の撮像部の両方が、検査作業者に携帯または装着可能に構成されていてもよい。また、第1の撮像部および第2の撮像部の両方が、検査作業者とは離間した位置に設置されていてもよい。
また、上記第1~第3実施形態では、録画装置は、第1録画映像と第2録画映像との開始タイミングを揃えるように同期ずれを補正するとともに、同期ずれが補正された状態の第1録画映像と第2録画映像とを関連付けて記憶するように構成されている例を示したが、本発明はこれに限られない。たとえば、第1録画映像と第2録画映像とを、同期ずれが補正された状態で関連付けて記憶しないようにしてもよい。すなわち、同期ずれが補正された状態の第1録画映像と第2録画映像とを、関連付けて送信するようにしてもよい。
また、上記第1~第3実施形態では、第1録画部および第2録画部に録画を開始させる操作を受け付ける録画操作部を備える例を示したが、本発明はこれに限られない。たとえば、録画操作部を備えず、検査の判定結果が取得されたことに基づいて、第1録画部および第2録画部に録画を開始させる制御を行なうように構成されていてもよい。
また、上記第1および第3実施形態では、録画された第1録画映像と録画された第2録画映像との一方から同期ずれに対応する時間分の映像を切り取ることによって同期ずれを補正するように構成されている例を示したが、本発明はこれに限られない。たとえば、第1録画映像と第2録画映像との両方から、同期ずれを解消するように所定の時間分の映像を切り取ることによって、同期ずれを補正するように構成されていてもよい。
また、上記第2実施形態では、録画装置は、第1準備完了情報と第2準備完了情報とを含むタイミング情報を測定するとともに、タイミング情報が測定されたことに基づいて第1録画部および第2録画部に録画を開始させるための録画指令を出力することによって、同期ずれを補正するように構成されている例を示したが、本発明はこれに限られない。たとえば、第1録画部および第2録画部に準備指令を出力するとともに、第1準備完了情報と第2準備完了情報とを取得せずに、準備指令が出力された時点から、準備が完了するまでの所定の時間分経過した後に、録画指令を出力するように構成されていてもよい。すなわち、タイミング情報を、準備が完了するまでの所定の時間分待機させるための時間情報としてもよい。
また、上記第1および第3実施形態では、第1開始タイミングは、第1録画部による第1準備完了情報が取得されたタイミングであり、第2開始タイミングは、第2録画部による第2準備完了情報が取得されたタイミングである例を示したが、本発明はこれに限られない。たとえば、第1録画部による実際に第1録画映像の録画が開始されたタイミングを第1開始タイミングとしてもよい。また、第2開始タイミングについても同様に、第2録画部による実際に第2録画映像の録画が開始されたタイミングを第2開始タイミングとしてもよい。
また、上記第3実施形態では、第1の撮像部および第2の撮像部は、第1の撮像部からの第1映像情報と、第2の撮像部からの第2映像情報との時間軸のずれを補正するために、時間情報を取得可能な基準対象を同一のタイミングにおいて撮影するように構成されている例を示したが、本発明はこれに限られない。たとえば、第1の撮像部と第2撮像部とが別個の基準対象を撮影してもよい。すなわち、共通の時間情報を取得可能な異なる2つの基準対象(たとえば、時間設定が揃えられた2つの時計など)を、第1の撮像部と第2撮像部とが別個に撮影するようにしてもよい。
また、上記第3実施形態では、基準対象は、第1の撮像部からの第1映像情報と、第2の撮像部からの第2映像情報との時間軸のずれを補正するための基準時間を表示する基準時間表示器を含む例を示したが、本発明はこれに限られない。たとえば、第1の撮像部と第2の撮像部とを、時間を表示させず瞬間的に発光するフラッシュライトを基準対象として撮影するようにしてもよい。
この場合には、録画装置は、瞬間的に発光するフラッシュライトを同一のタイミングにおいて撮影した第1の撮像部および第2の撮像部から、第1映像情報および第2映像情報を取得するとともに、動画像としての第1基準画像および第2基準画像を取得する。そして、録画装置は、動画像としての第1基準画像および第2基準画像に画像処理を行うことによって、第1基準画像におけるフラッシュライトの発光のタイミングと第2基準画像におけるフラッシュライトのタイミングのずれを測定する。動画像におけるタイミングのずれは、たとえば、タイマー部によって測定される時間情報に基づいて測定される。そして、録画装置は、測定されたフラッシュライトのタイミングのずれを、第1映像情報と第2映像情報との時間軸のずれを示すタイミング情報として取得する。また、フラッシュライトは、一定の間隔で点滅させるようにしてもよい。
また、上記第1~第3実施形態では、録画指令に基づいて、録画指令が出力された時点から取得されている映像情報の録画が開始される(録画するための処理が開始される)例を示したが、本発明はこれに限られない。たとえば、録画装置は、第1受信部および第2受信部が受信した映像情報を一時的に(たとえば、5秒間分)記憶させる一時記憶部を備え、録画指令に基づいて、一時記憶部に記憶されている映像情報を遡って記憶するように構成されていてもよい。
また、上記第1~第3実施形態では、録画装置は、検査作業者に携帯または装着される例を示したが、本発明はこれに限られない。たとえば、録画装置は、検査作業者の近傍(たとえば、足元)に設置されていてもよい。また、録画装置は、検査対象物に固定されるように設置されてもよい。
また、上記第1~第3実施形態では、第1の撮像部は、無線接続によって第1映像情報を送信し、第2の撮像部は、有線接続によって第2映像情報を送信するように構成されている例を示したが、本発明はこれに限られない。たとえば、第1の撮像部および第2の撮像部の両方が、有線接続によって第1映像情報および第2映像情報を送信してもよい。また、第1の撮像部および第2の撮像部の両方が、無線接続によって第1映像情報および第2映像情報を送信してもよい。
また、上記第1~第3実施形態では、記憶部が録画装置に含まれる例を示したが、本発明はこれに限られない。たとえば、記憶部を、録画装置に外付けするように、ケーブルを配して録画装置に連結されるようにしてもよい。また、記憶部を録画装置と離間した位置に設けるとともに、通信部を介して、録画された映像を送信することによって記憶部に記憶させるようにしてもよい。
また、上記第1~第3実施形態では、2つの撮像部によって撮影された映像情報に基づいて、2つの録画映像を録画するとともに、録画された2つの録画映像の同期ずれを補正する例を示したが、本発明はこれに限られない。たとえば、3つ以上の撮像部からの映像情報に基づいて、3つ以上の録画映像を録画するとともに、録画された3つ以上の録画映像の時間軸の同期ずれを補正するようにしてもよい。
また、上記第1~第3実施形態では、録画装置が航空機の検査を行う場合に用いられる例を示したが、本発明はこれに限られない。たとえば、録画装置を、橋梁および建造物などの欠陥検査に用いられるように構成してもよい。
また、上記第3実施形態では、第1映像情報と第2映像情報との時間軸のずれを補正する構成と、第1録画部および第2録画部による第1録画映像および第2録画映像の録画の制御処理の同期ずれを補正する構成との両方を備える例を示したが、本発明はこれに限られない。たとえば、第1映像情報と第2映像情報との時間軸のずれを補正する構成を備えるとともに、第1録画部および第2録画部による第1録画映像および第2録画映像の録画の制御処理の同期ずれを補正する構成を備えないように構成されていてもよい。
[態様]
上記した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。
(項目1)
映像を撮影するとともに撮影された映像情報を送信する複数の撮像部と、
前記複数の撮像部のうちの第1の撮像部からの第1映像情報に基づいて第1録画映像を録画する第1録画部と、前記複数の撮像部のうちの第2の撮像部からの第2映像情報に基づいて第2録画映像を録画する第2録画部とを含む録画装置と、を備え、
前記録画装置は、前記第1録画部によって録画される前記第1録画映像と前記第2録画部によって録画される前記第2録画映像との時間軸の同期ずれを補正するためのタイミング情報を測定するとともに、測定された前記タイミング情報に基づいて、前記第1録画映像と前記第2録画映像との開始タイミングを揃えるように前記同期ずれを補正するように構成されている、計測用録画システム。
(項目2)
前記第1映像情報は、計測器によって測定された検査対象物に関する計測情報を表示する計測器側表示部を撮影することによって取得された計測器映像情報を含み、
前記第2映像情報は、検査作業者による検査が行われている状態の前記検査対象物を撮影することによって取得された検査対象物映像情報を含み、
前記録画装置は、前記計測器映像情報に基づいて録画される前記第1録画映像と、前記検査対象物映像情報に基づいて録画される前記第2録画映像との開始タイミングを揃えるように前記同期ずれを補正するように構成されている、項目1に記載の計測用録画システム。
(項目3)
前記第1の撮像部は、前記検査作業者とは離間した位置に設置され、
前記第2の撮像部は、前記検査作業者に携帯または装着可能に構成されている、項目2に記載の計測用録画システム。
(項目4)
前記録画装置は、前記第1録画映像と前記第2録画映像との開始タイミングを揃えるように前記同期ずれを補正するとともに、前記同期ずれが補正された状態の前記第1録画映像と前記第2録画映像とを関連付けて記憶するように構成されている、項目1~3のいずれか1項に記載の計測用録画システム。
(項目5)
前記録画装置は、時間の経過を測定することによって時間を示す前記タイミング情報を測定するタイマー部を含み、前記タイマー部によって測定された前記タイミング情報に基づいて、前記同期ずれを補正するように構成されている、項目1~4のいずれか1項に記載の計測用録画システム。
(項目6)
前記第1録画部および前記第2録画部は、前記第1録画部および前記第2録画部に録画を開始させるための録画指令に基づいて、前記第1録画映像および前記第2録画映像の録画を開始するように構成されており、
前記録画装置は、前記録画指令に基づいて録画された前記第1録画映像と、前記録画指令に基づいて録画された前記第2録画映像との時間軸の前記同期ずれを補正するように構成されている、項目5に記載の計測用録画システム。
(項目7)
前記タイミング情報は、前記第1録画部が録画を開始するタイミングを示す第1開始タイミングと、前記第2録画部が録画を開始するタイミングを示す第2開始タイミングとを含み、
前記録画装置は、前記第1開始タイミングと前記第2開始タイミングとの差分に基づいて前記同期ずれを補正するように構成されている、項目6に記載の計測用録画システム。
(項目8)
前記第1録画部および前記第2録画部に録画を開始させる操作を受け付ける録画操作部をさらに備え、
前記録画装置は、前記録画操作部に対する入力操作に基づいて前記録画指令を出力し、前記録画指令に基づいて録画された前記第1録画映像と、前記録画指令に基づいて録画された前記第2録画映像との時間軸の前記同期ずれを補正するように構成されている、項目6または7に記載の計測用録画システム。
(項目9)
前記録画装置は、前記タイマー部によって測定された前記タイミング情報に基づいて、録画された前記第1録画映像と録画された前記第2録画映像との少なくとも一方から前記同期ずれに対応する時間分の映像を切り取ることによって前記同期ずれを補正するように構成されている、項目5~8のいずれか1項に記載の計測用録画システム。
(項目10)
前記タイミング情報は、前記第1録画部から出力され、前記第1録画映像の録画を開始するための準備が完了したことを示す第1準備完了情報と、前記第2録画部から出力され、前記第2録画映像の録画を開始するための準備が完了したことを示す第2準備完了情報とを含み、
前記録画装置は、前記第1準備完了情報と前記第2準備完了情報とに基づいて、前記同期ずれを補正するように構成されている、項目1~9のいずれか1項に記載の計測用録画システム。
(項目11)
前記録画装置は、前記第1準備完了情報と前記第2準備完了情報とを含む前記タイミング情報を測定するとともに、前記タイミング情報が測定されたことに基づいて前記第1録画部および前記第2録画部に録画を開始させるための録画指令を出力することによって、前記同期ずれを補正するように構成されている、項目10に記載の計測用録画システム。
(項目12)
前記第1録画部は、前記第1準備完了情報を出力するとともに、前記第1録画映像の録画を開始するように構成されており、
前記第2録画部は、前記第2準備完了情報を出力するとともに、前記第2録画映像の録画を開始するように構成されており、
前記録画装置は、前記第1準備完了情報と前記第2準備完了情報とに基づいて、前記第1準備完了情報が取得されたタイミングと前記第2準備完了情報が取得されたタイミングとの差分に基づいて前記同期ずれを補正するように構成されている、項目10に記載の計測用録画システム。
(項目13)
前記第1の撮像部および前記第2の撮像部は、前記第1の撮像部からの前記第1映像情報と、前記第2の撮像部からの前記第2映像情報との時間軸のずれを補正するために、時間情報を取得可能な基準対象を同一のタイミングにおいて撮影するように構成されており、
前記録画装置は、前記第1の撮像部が前記基準対象を撮影した第1基準画像と、前記第2の撮像部が前記基準対象を撮影した第2基準画像とに基づいて、前記第1映像情報と前記第2映像情報との時間軸のずれを示す前記タイミング情報を測定するとともに、測定された前記タイミング情報に基づいて、前記同期ずれを補正するように構成されている、項目1~12のいずれか1項に記載の計測用録画システム。
(項目14)
前記基準対象は、前記第1の撮像部からの前記第1映像情報と、前記第2の撮像部からの前記第2映像情報との時間軸のずれを補正するための基準時間を表示する基準時間表示器を含み、
前記録画装置は、前記第1の撮像部が前記基準時間表示器を撮影した前記第1基準画像と、前記第2の撮像部が前記基準時間表示器を撮影した前記第2基準画像とを取得するとともに、取得された前記第1基準画像と前記第2基準画像とに対して画像処理を行うことによって、前記第1映像情報が撮影されたタイミングと前記第2映像情報が撮影されたタイミングとの時間軸のずれを測定するように構成されている、項目13に記載の計測用録画システム。
(項目15)
複数の撮像部のうちの第1の撮像部によって撮影された第1映像情報に基づいて第1録画映像を録画するステップと、
前記複数の撮像部のうちの第2の撮像部によって撮影された第2映像情報に基づいて第2録画映像を録画するステップと、
録画される前記第1録画映像と録画される前記第2録画映像との時間軸の同期ずれを補正するためのタイミング情報を測定するステップと、
測定された前記タイミング情報に基づいて、前記第1録画映像と前記第2録画映像との開始タイミングを揃えるように同期ずれを補正するステップと、を備える、計測用録画方法。
(項目16)
前記第1録画映像を録画するステップは、計測器によって測定された検査対象物に関する計測情報を表示する計測器側表示部を撮影することによって取得された計測器映像情報を含む前記第1映像情報に基づいて、前記第1録画映像を録画するステップであり、
前記第2録画映像を録画するステップは、検査作業者による検査が行われている状態の前記検査対象物を撮影することによって取得された検査対象物映像情報を含む前記第2映像情報に基づいて、前記第2録画映像を録画するステップである、項目15に記載の計測用録画方法。
1、301 撮像部(第1の撮像部)
2、302 撮像部(第2の撮像部)
3、203、303 録画装置
33 タッチパネル(録画操作部)
34d、234d 第1録画部
34e、234e 第2録画部
34f タイマー部
100、200、300 計測用録画システム
101 検査作業者
102 検査対象物
110 計測器
111 計測器側表示部
304 基準時間表示器(基準対象)

Claims (16)

  1. 映像を撮影するとともに撮影された映像情報を送信する複数の撮像部と、
    前記複数の撮像部のうちの第1の撮像部からの第1映像情報に基づいて計測器の計測情報を含む第1録画映像を録画する第1録画部と、前記複数の撮像部のうちの第2の撮像部からの第2映像情報に基づいて前記計測器によって測定された検査対象物を含む第2録画映像を録画する第2録画部とを含む録画装置と、を備え、
    前記録画装置は、前記第1録画部によって録画される前記第1録画映像と前記第2録画部によって録画される前記第2録画映像との時間軸の同期ずれを補正するためのタイミング情報を測定するとともに、測定された前記タイミング情報に基づいて、前記第1録画映像と前記第2録画映像との開始タイミングを揃えるように前記同期ずれを補正するように構成されている、計測用録画システム。
  2. 前記第1映像情報は、前記計測器によって測定された前記検査対象物に関する前記計測情報を表示する計測器側表示部を撮影することによって取得された計測器映像情報を含み、
    前記第2映像情報は、検査作業者による検査が行われている状態の前記検査対象物を撮影することによって取得された検査対象物映像情報を含み、
    前記録画装置は、前記計測器映像情報に基づいて録画される前記第1録画映像と、前記検査対象物映像情報に基づいて録画される前記第2録画映像との開始タイミングを揃えるように前記同期ずれを補正するように構成されている、請求項1に記載の計測用録画システム。
  3. 前記第1の撮像部は、前記検査作業者とは離間した位置に設置され、
    前記第2の撮像部は、前記検査作業者に携帯または装着可能に構成されている、請求項2に記載の計測用録画システム。
  4. 前記録画装置は、前記第1録画映像と前記第2録画映像との開始タイミングを揃えるように前記同期ずれを補正するとともに、前記同期ずれが補正された状態の前記第1録画映像と前記第2録画映像とを関連付けて記憶するように構成されている、請求項1~3のいずれか1項に記載の計測用録画システム。
  5. 映像を撮影するとともに撮影された映像情報を送信する複数の撮像部と、
    前記複数の撮像部のうちの第1の撮像部からの第1映像情報に基づいて第1録画映像を録画する第1録画部と、前記複数の撮像部のうちの第2の撮像部からの第2映像情報に基づいて第2録画映像を録画する第2録画部とを含む録画装置と、を備え、
    前記録画装置は、前記第1録画部によって録画される前記第1録画映像と前記第2録画部によって録画される前記第2録画映像との時間軸の同期ずれを補正するためのタイミング情報を測定するとともに、測定された前記タイミング情報に基づいて、前記第1録画映像と前記第2録画映像との開始タイミングを揃えるように前記同期ずれを補正するように構成されており、
    前記録画装置は、時間の経過を測定することによって時間を示す前記タイミング情報を測定するタイマー部を含み、前記タイマー部によって測定された前記タイミング情報に基づいて、前記同期ずれを補正するように構成されている、計測用録画システム。
  6. 前記第1録画部および前記第2録画部は、前記第1録画部および前記第2録画部に録画を開始させるための録画指令に基づいて、前記第1録画映像および前記第2録画映像の録画を開始するように構成されており、
    前記録画装置は、前記録画指令に基づいて録画された前記第1録画映像と、前記録画指令に基づいて録画された前記第2録画映像との時間軸の前記同期ずれを補正するように構成されている、請求項5に記載の計測用録画システム。
  7. 前記タイミング情報は、前記第1録画部が録画を開始するタイミングを示す第1開始タイミングと、前記第2録画部が録画を開始するタイミングを示す第2開始タイミングとを含み、
    前記録画装置は、前記第1開始タイミングと前記第2開始タイミングとの差分に基づいて前記同期ずれを補正するように構成されている、請求項6に記載の計測用録画システム。
  8. 前記第1録画部および前記第2録画部に録画を開始させる操作を受け付ける録画操作部をさらに備え、
    前記録画装置は、前記録画操作部に対する入力操作に基づいて前記録画指令を出力し、前記録画指令に基づいて録画された前記第1録画映像と、前記録画指令に基づいて録画された前記第2録画映像との時間軸の前記同期ずれを補正するように構成されている、請求項6または7に記載の計測用録画システム。
  9. 前記録画装置は、前記タイマー部によって測定された前記タイミング情報に基づいて、録画された前記第1録画映像と録画された前記第2録画映像との少なくとも一方から前記同期ずれに対応する時間分の映像を切り取ることによって前記同期ずれを補正するように構成されている、請求項5~8のいずれか1項に記載の計測用録画システム。
  10. 映像を撮影するとともに撮影された映像情報を送信する複数の撮像部と、
    前記複数の撮像部のうちの第1の撮像部からの第1映像情報に基づいて第1録画映像を録画する第1録画部と、前記複数の撮像部のうちの第2の撮像部からの第2映像情報に基づいて第2録画映像を録画する第2録画部とを含む録画装置と、を備え、
    前記録画装置は、前記第1録画部によって録画される前記第1録画映像と前記第2録画部によって録画される前記第2録画映像との時間軸の同期ずれを補正するためのタイミング情報を測定するとともに、測定された前記タイミング情報に基づいて、前記第1録画映像と前記第2録画映像との開始タイミングを揃えるように前記同期ずれを補正するように構成されており、
    前記タイミング情報は、前記第1録画部から出力され、前記第1録画映像の録画を開始するための準備が完了したことを示す第1準備完了情報と、前記第2録画部から出力され、前記第2録画映像の録画を開始するための準備が完了したことを示す第2準備完了情報とを含み、
    前記録画装置は、前記第1準備完了情報と前記第2準備完了情報とに基づいて、前記同期ずれを補正するように構成されている、計測用録画システム。
  11. 前記録画装置は、前記第1準備完了情報と前記第2準備完了情報とを含む前記タイミング情報を測定するとともに、前記タイミング情報が測定されたことに基づいて前記第1録画部および前記第2録画部に録画を開始させるための録画指令を出力することによって、前記同期ずれを補正するように構成されている、請求項10に記載の計測用録画システム。
  12. 前記第1録画部は、前記第1準備完了情報を出力するとともに、前記第1録画映像の録画を開始するように構成されており、
    前記第2録画部は、前記第2準備完了情報を出力するとともに、前記第2録画映像の録画を開始するように構成されており、
    前記録画装置は、前記第1準備完了情報と前記第2準備完了情報とに基づいて、前記第1準備完了情報が取得されたタイミングと前記第2準備完了情報が取得されたタイミングとの差分に基づいて前記同期ずれを補正するように構成されている、請求項10に記載の計測用録画システム。
  13. 映像を撮影するとともに撮影された映像情報を送信する複数の撮像部と、
    前記複数の撮像部のうちの第1の撮像部からの第1映像情報に基づいて第1録画映像を録画する第1録画部と、前記複数の撮像部のうちの第2の撮像部からの第2映像情報に基づいて第2録画映像を録画する第2録画部とを含む録画装置と、を備え、
    前記録画装置は、前記第1録画部によって録画される前記第1録画映像と前記第2録画部によって録画される前記第2録画映像との時間軸の同期ずれを補正するためのタイミング情報を測定するとともに、測定された前記タイミング情報に基づいて、前記第1録画映像と前記第2録画映像との開始タイミングを揃えるように前記同期ずれを補正するように構成されており、
    前記第1の撮像部および前記第2の撮像部は、前記第1の撮像部からの前記第1映像情報と、前記第2の撮像部からの前記第2映像情報との時間軸のずれを補正するために、時間情報を取得可能な基準対象を同一のタイミングにおいて撮影するように構成されており、
    前記録画装置は、前記第1の撮像部が前記基準対象を撮影した第1基準画像と、前記第2の撮像部が前記基準対象を撮影した第2基準画像とに基づいて、前記第1映像情報と前記第2映像情報との時間軸のずれを示す前記タイミング情報を測定するとともに、測定された前記タイミング情報に基づいて、前記同期ずれを補正するように構成されている、計測用録画システム。
  14. 前記基準対象は、前記第1の撮像部からの前記第1映像情報と、前記第2の撮像部からの前記第2映像情報との時間軸のずれを補正するための基準時間を表示する基準時間表示器を含み、
    前記録画装置は、前記第1の撮像部が前記基準時間表示器を撮影した前記第1基準画像と、前記第2の撮像部が前記基準時間表示器を撮影した前記第2基準画像とを取得するとともに、取得された前記第1基準画像と前記第2基準画像とに対して画像処理を行うことによって、前記第1映像情報が撮影されたタイミングと前記第2映像情報が撮影されたタイミングとの時間軸のずれを測定するように構成されている、請求項13に記載の計測用録画システム。
  15. 録画装置により、複数の撮像部のうちの第1の撮像部によって撮影された第1映像情報に基づいて計測器の計測情報を含む第1録画映像を録画するステップと、
    前記第1録画映像の録画と共通の前記録画装置により、前記複数の撮像部のうちの第2の撮像部によって撮影された第2映像情報に基づいて前記計測器によって測定された検査対象物を含む第2録画映像を録画するステップと、
    録画される前記第1録画映像と録画される前記第2録画映像との時間軸の同期ずれを補正するためのタイミング情報を測定するステップと、
    測定された前記タイミング情報に基づいて、前記第1録画映像と前記第2録画映像との開始タイミングを揃えるように同期ずれを補正するステップと、を備える、計測用録画方法。
  16. 前記第1録画映像を録画するステップは、前記計測器によって測定された前記検査対象物に関する前記計測情報を表示する計測器側表示部を撮影することによって取得された計測器映像情報を含む前記第1映像情報に基づいて、前記第1録画映像を録画するステップであり、
    前記第2録画映像を録画するステップは、検査作業者による検査が行われている状態の前記検査対象物を撮影することによって取得された検査対象物映像情報を含む前記第2映像情報に基づいて、前記第2録画映像を録画するステップである、請求項15に記載の計測用録画方法。
JP2020115201A 2020-07-02 2020-07-02 計測用録画システム、および、計測用録画方法 Active JP7452296B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020115201A JP7452296B2 (ja) 2020-07-02 2020-07-02 計測用録画システム、および、計測用録画方法
US17/365,556 US11496653B2 (en) 2020-07-02 2021-07-01 Measurement recording system and measurement recording method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020115201A JP7452296B2 (ja) 2020-07-02 2020-07-02 計測用録画システム、および、計測用録画方法

Publications (2)

Publication Number Publication Date
JP2022012987A JP2022012987A (ja) 2022-01-18
JP7452296B2 true JP7452296B2 (ja) 2024-03-19

Family

ID=79167348

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020115201A Active JP7452296B2 (ja) 2020-07-02 2020-07-02 計測用録画システム、および、計測用録画方法

Country Status (2)

Country Link
US (1) US11496653B2 (ja)
JP (1) JP7452296B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004032012A (ja) 2002-06-21 2004-01-29 Sony Corp 多視点画像記録装置、および多視点画像フレーム同期処理方法、並びにコンピュータ・プログラム
WO2020080480A1 (ja) 2018-10-17 2020-04-23 株式会社島津製作所 航空機検査支援装置および航空機検査支援方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3295204B2 (ja) 1993-12-27 2002-06-24 キヤノン株式会社 動画再生方法
EP0631441B1 (en) 1993-06-22 2000-02-09 Canon Kabushiki Kaisha Image processing apparatus
US9804577B1 (en) * 2010-10-04 2017-10-31 The Boeing Company Remotely operated mobile stand-off measurement and inspection system
JP6662063B2 (ja) * 2016-01-27 2020-03-11 ヤマハ株式会社 収録データ処理方法
GB201718236D0 (en) * 2017-11-03 2017-12-20 Sensumco Ltd Systems and methods for estimating emotional states
AU2018422752A1 (en) * 2018-05-10 2020-12-03 Axon Enterprise, Inc. Systems and methods for cross-redaction
US11100717B2 (en) * 2019-10-25 2021-08-24 7-Eleven, Inc. System and method for presenting a virtual store shelf that emulates a physical store shelf

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004032012A (ja) 2002-06-21 2004-01-29 Sony Corp 多視点画像記録装置、および多視点画像フレーム同期処理方法、並びにコンピュータ・プログラム
WO2020080480A1 (ja) 2018-10-17 2020-04-23 株式会社島津製作所 航空機検査支援装置および航空機検査支援方法

Also Published As

Publication number Publication date
US11496653B2 (en) 2022-11-08
US20220006923A1 (en) 2022-01-06
JP2022012987A (ja) 2022-01-18

Similar Documents

Publication Publication Date Title
JP4896621B2 (ja) 視野計
US9146106B2 (en) Laser receiver using a smart device
WO2018158812A1 (ja) 点検支援装置、点検支援方法および記録媒体
US20090096909A1 (en) Information processing apparatus, remote indication system, and computer readable medium
CN112703156B (zh) 航空器检查辅助装置和航空器检查辅助方法
JP6105180B1 (ja) 作業支援装置、作業支援方法及びプログラム
CN107373892B (zh) 一种三维脚型扫描仪的准确站位自动监测提示系统、方法
JP7452296B2 (ja) 計測用録画システム、および、計測用録画方法
JP2007155357A (ja) 直径計測方法又は直径計測装置
WO2014101803A1 (zh) 红外选择装置和红外选择方法
JP5626825B2 (ja) 時刻表示装置、時刻表示方法、時刻表示プログラム
WO2018158815A1 (ja) 点検支援装置、点検支援方法および記録媒体
JP6608708B2 (ja) 外観検査装置、外観検査方法及び該外観検査装置に用いるコントローラで実行することが可能なコンピュータプログラム
WO2021156916A1 (ja) 検査支援システムおよび検査支援方法
JPWO2020145004A1 (ja) 撮影ガイド装置
JP7357554B2 (ja) 同期制御装置、同期制御装置の制御方法、システム
JPH0634779B2 (ja) 眼測定装置
CN112813749B (zh) 钢轨位移观测仪
JP7163824B2 (ja) サーバ装置、評価方法及び評価プログラム
JP2024052436A (ja) 配筋結果表示システム
JP6354123B2 (ja) 撮像装置及び画像整列装置
JP2023013867A (ja) 情報処理システム及び情報処理方法
JPWO2019073906A1 (ja) プログラム、情報処理システム、ストレス評価方法、ストレス評価システム、コンピュータプログラム、記録媒体
JP2020146200A (ja) 画像処理装置、画像閲覧装置および画像処理システム
JPH0898804A (ja) 角膜形状測定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221101

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240219

R151 Written notification of patent or utility model registration

Ref document number: 7452296

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151