JP6692867B2 - 構造物の内部を確認するためのシステムおよび方法 - Google Patents
構造物の内部を確認するためのシステムおよび方法 Download PDFInfo
- Publication number
- JP6692867B2 JP6692867B2 JP2018167948A JP2018167948A JP6692867B2 JP 6692867 B2 JP6692867 B2 JP 6692867B2 JP 2018167948 A JP2018167948 A JP 2018167948A JP 2018167948 A JP2018167948 A JP 2018167948A JP 6692867 B2 JP6692867 B2 JP 6692867B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- panel
- computer
- mobile terminal
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 14
- 238000012423 maintenance Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
- B64F5/00—Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/0069—Engineering, e.g. mechanical, electrical design
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Educational Administration (AREA)
- General Engineering & Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Computer Hardware Design (AREA)
- Educational Technology (AREA)
- Manufacturing & Machinery (AREA)
- Transportation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
パネルの開け閉めには数十分という時間がかかり、パネルの開け間違いは整備時間を延長させるという問題につながっていた。
しかしながら、特許文献1には、パネルの開け間違いを防止する技術は開示されていない。
コンピュータと、
前記コンピュータに接続される移動端末と、
構造物を撮影し、撮影した画像を前記コンピュータに送信するカメラと、
を有し、
前記カメラは、パネルが装着された状態の前記構造物を撮影し、第1の画像を生成し、所定のパネルが取り外された状態の前記構造物を撮影し、第2の画像を生成するように構成され、
前記コンピュータは、前記第1の画像および前記第2の画像を合成し、第3の画像を生成し、前記第3の画像を前記移動端末に送信するように構成され、
前記移動端末は、前記第3の画像を表示するように構成され、
前記第3の画像では、前記所定のパネルが半透明で、前記所定のパネルの内側の部品が透けて見えている。
ことが好ましい。
ことが好ましい。
カメラにより、パネルが装着された状態の構造物を撮影し、第1の画像を生成し、所定のパネルが取り外された状態の前記構造物を撮影し、第2の画像を生成し、前記第1の画像および前記第2の画像をコンピュータに送信し、
前記コンピュータにより、前記第1の画像および前記第2の画像を合成し、第3の画像を生成し、前記第3の画像を移動端末に送信し、
前記移動端末により、前記第3の画像を表示し、
前記第3の画像では、前記所定のパネルが半透明で、前記所定のパネルの内側の部品が透けて見えている。
システム100は、コンピュータ10と、コンピュータ10に接続される移動端末20と、航空機等の構造物を撮影し、撮影した画像をコンピュータ10に送信するカメラ30と、を有する。
コンピュータ10は、サーバ、パーソナルコンピュータ等であり、CPU等の演算処理部11と、半導体メモリ等の記憶部12と、ネットワークインタフェース等の通信部13と、キーボードおよびディスプレイ等の入出力部14と、を有する。
移動端末20は、携帯電話、スマートフォン、PDA、VRゴーグル、パーソナルコンピュータ等であり、航空機整備士が整備中に携帯するものである。
カメラ30は、任意のデジタルカメラである。ただし、カメラ30が、360度カメラまたは他の広角カメラ(魚眼カメラ等)である場合、被写体である構造物の周りで360度にわたって撮影できるため好ましい。
図2では、コンピュータ10と移動端末20とは、インターネット等のネットワークnetを介して接続されているが、両者はUSB等で接続されてもよい。
また、コンピュータ10と移動端末20とカメラ30とは、図2のように別体の構成でもよいが、一体の構成であってもよい。
図3(a)は、カメラ30により撮影された第1の画像であり、第1の画像では、航空機の機体は、パネルが装着された状態で撮影されている。説明の便宜上、第1の画像は、「JAL」というペイントが施された4枚のパネルおよび2枚の無地のパネルを含むが、第1の画像は、任意数のパネルを含むことができ、航空機の機体の任意の箇所のパネルを撮影したものとすることができる。
図3(b)は、第1の画像と同じ位置でカメラ30により撮影された第2の画像であり(定点撮影)、第2の画像は、中央上部の1枚のパネルが取り外された状態で撮影されたものである。中央上部の1枚のパネルの内側には、確認対象(整備対象)の部品x(例えば、アクチュエータ)が存在しており、第2の画像には、この部品xが写っている。
コンピュータ10の演算処理部11は、第1の画像および第2の画像を合成し(重ね合わせ)、図3(c)に示す第3の画像を生成する。第3の画像では、中央上部以外の5枚のパネルは、第1の画像および第2の画像のパネルと同一であり、中央上部の1枚のパネルは、半透明である。すなわち、中央上部の1枚のパネルは、第1の画像および第2の画像を合成することにより、パネルの文字(ALの一部)が見えていると同時に、パネルの内側の部品xも透けて見えている。
なお、第1の画像および第2の画像を合成する技術、すなわち、第1の画像および第2の画像において中央上部の1枚のパネルを半透明にして、重ね合わせる技術は、任意の周知技術を用いることができる。
移動端末20は、第3の画像を表示し、航空機整備士は、この第3の画像により、部品xがどのパネルの内側に存在しているのかを容易に確認することができる。
図4(a)に示すように、航空機整備士は、移動端末20のタッチパネル上で矢印方向にスワイプすると、図4(b)に示すように、部品xを中央に表示させることができる。また、航空機整備士は、移動端末20のタッチパネル上でピンチアウトおよびピンチインをすることにより、部品xを拡大・縮小することもできる。
このように、航空機整備士は、第3の画像を指で自由に動かすことができる。
航空機整備士は、実際の航空機の機体の前で、航空機の機体を参照しながら移動端末20を操作することができるので、航空機の機体の所望のパネルと、移動端末20上に表示された第3の画像内の当該パネルと、を容易に照合することができる。
図5(a)に示すように、第3の画像上にスライドバーを表示させ、航空機整備士は、このスライドバーを左右にスライドすることにより、図5(b)に示すように、確認対象の部品xの外側のパネルの透過率を自由に変化させることができる。
また、航空機整備士が、第3の画像上で部品xをタップすると、部品xに関する情報、例えば、整備マニュアル、過去に部品xを整備した際の不具合事例等を表示させることもできる。
また、上記実施形態では、構造物が航空機の機体である場合を例に説明してきたが、構造物は、航空機の機体に限定されるものではなく、本発明は、確認対象の部品がパネルで覆われて外側から視認できないあらゆる構造物、例えば、船舶、電車、プラントも対象とする。
また、上記実施形態では、本発明のシステムおよび方法は、航空機整備士が整備中に用いるものとして説明してきたが、本発明のシステムおよび方法は、整備以外の用途、例えば、設計または開発段階に用いることもできる。
12 記憶部
13 通信部
14 入出力部
10 コンピュータ
20 移動端末
30 カメラ
100 システム
x 部品
Claims (6)
- コンピュータと、
前記コンピュータに接続される移動端末と、
構造物を撮影し、撮影した画像を前記コンピュータに送信するカメラと、
を有するシステムであって、
前記カメラは、パネルが装着された状態の前記構造物を撮影し、第1の画像を生成し、所定のパネルが取り外された状態の前記構造物を撮影し、第2の画像を生成するように構成され、
前記コンピュータは、前記第1の画像および前記第2の画像を重ね合わせて合成し、第3の画像を生成し、前記第3の画像を前記移動端末に送信するように構成され、
前記移動端末は、前記第3の画像を表示するように構成され、
前記第3の画像では、前記所定のパネルが半透明で、前記所定のパネルの内側の部品が透けて見えている、
システム。 - 前記カメラは、360度カメラである、
請求項1に記載のシステム。 - 前記構造物は、航空機の機体である、
請求項1または2に記載のシステム。 - カメラにより、パネルが装着された状態の構造物を撮影し、第1の画像を生成し、所定のパネルが取り外された状態の前記構造物を撮影し、第2の画像を生成し、前記第1の画像および前記第2の画像をコンピュータに送信し、
前記コンピュータにより、前記第1の画像および前記第2の画像を重ね合わせて合成し、第3の画像を生成し、前記第3の画像を移動端末に送信し、
前記移動端末により、前記第3の画像を表示し、
前記第3の画像では、前記所定のパネルが半透明で、前記所定のパネルの内側の部品が透けて見えている、
方法。 - 前記第3の画像は、平面画像である、
請求項1から3のいずれかに記載のシステム。 - 前記第3の画像は、平面画像である、
請求項4に記載の方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018167948A JP6692867B2 (ja) | 2018-09-07 | 2018-09-07 | 構造物の内部を確認するためのシステムおよび方法 |
EP19195602.8A EP3620392B1 (en) | 2018-09-07 | 2019-09-05 | System and method for inspecting interior of structure |
US16/563,066 US10855956B2 (en) | 2018-09-07 | 2019-09-06 | System and method for inspecting interior of structure |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018167948A JP6692867B2 (ja) | 2018-09-07 | 2018-09-07 | 構造物の内部を確認するためのシステムおよび方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020042414A JP2020042414A (ja) | 2020-03-19 |
JP6692867B2 true JP6692867B2 (ja) | 2020-05-13 |
Family
ID=67902317
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018167948A Active JP6692867B2 (ja) | 2018-09-07 | 2018-09-07 | 構造物の内部を確認するためのシステムおよび方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10855956B2 (ja) |
EP (1) | EP3620392B1 (ja) |
JP (1) | JP6692867B2 (ja) |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3946676B2 (ja) * | 2003-08-28 | 2007-07-18 | 株式会社東芝 | 撮影画像処理装置及びその方法 |
JP5385096B2 (ja) | 2009-10-30 | 2014-01-08 | 川崎重工業株式会社 | 航空機整備支援システム |
CA2824665C (en) * | 2011-01-11 | 2016-11-01 | Nobuchika Urakabe | Intraoral video camera and display system |
WO2013114848A1 (ja) * | 2012-01-31 | 2013-08-08 | パナソニック株式会社 | 画像処理装置及び画像処理方法 |
US20150369909A1 (en) * | 2014-06-19 | 2015-12-24 | Imperium, Inc. | Image sensor for large area ultrasound mapping |
FR3023948B1 (fr) * | 2014-07-21 | 2017-12-22 | Airbus Operations Sas | Procede d'aide a la maintenance d'un aeronef par realite augmentee. |
US9298010B2 (en) * | 2014-08-08 | 2016-03-29 | Marissa J. Sundquist | Wearable optical display with audio functionality |
CN106688227B (zh) * | 2014-09-11 | 2019-06-18 | 富士胶片株式会社 | 多摄像装置、多摄像方法 |
JP6494413B2 (ja) * | 2015-05-18 | 2019-04-03 | 三菱電機株式会社 | 画像合成装置及び画像合成方法及び画像合成プログラム |
FR3056966B1 (fr) * | 2016-10-04 | 2018-10-05 | Safran Electrical & Power | Procede de localisation de defaut dans des harnais electriques |
EP4234113A3 (en) * | 2017-02-27 | 2023-10-18 | Lebo Robotics, Inc. | Method for performing maintenance on a wind turbine blade |
JP7023662B2 (ja) * | 2017-10-04 | 2022-02-22 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム |
-
2018
- 2018-09-07 JP JP2018167948A patent/JP6692867B2/ja active Active
-
2019
- 2019-09-05 EP EP19195602.8A patent/EP3620392B1/en active Active
- 2019-09-06 US US16/563,066 patent/US10855956B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP3620392B1 (en) | 2022-03-02 |
JP2020042414A (ja) | 2020-03-19 |
EP3620392A1 (en) | 2020-03-11 |
US10855956B2 (en) | 2020-12-01 |
US20200084420A1 (en) | 2020-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3090947B1 (en) | Airplane cabin panoramic view system | |
CN105474622B (zh) | 用于产生全对焦图像的方法和设备 | |
JP6627935B2 (ja) | 情報処理装置、情報処理方法、および情報処理プログラム | |
US20190228500A1 (en) | Information processing method, information processing device, and program | |
US9177369B2 (en) | Image deformation apparatus and method of controlling operation of same | |
US20220058724A1 (en) | Digital model optimization responsive to orientation sensor data | |
KR20180060818A (ko) | 가상현실 기반의 시설관리 플랫폼 구축 시스템 | |
US10748000B2 (en) | Method, electronic device, and recording medium for notifying of surrounding situation information | |
JP2016012168A (ja) | 情報共有化システム | |
US9848168B2 (en) | Method, synthesizing device, and system for implementing video conference | |
JP2015146113A (ja) | 表示プログラムおよび表示装置 | |
JP2020153873A (ja) | 診断処理装置、診断システム、診断処理方法、及びプログラム | |
JP6692867B2 (ja) | 構造物の内部を確認するためのシステムおよび方法 | |
JP2018173924A (ja) | 画像出力プログラム、画像出力方法および画像出力装置 | |
JP2024014682A (ja) | ブロックオブジェクトの設計図を出力する方法 | |
JP2016181751A (ja) | 遠隔作業支援システム | |
KR20220124676A (ko) | 부동산 정보 제공방법 및 그를 위한 어플리케이션 | |
CN102215338B (zh) | 摄影设备 | |
CN114338874A (zh) | 电子设备的图像显示方法、图像处理电路和电子设备 | |
CN114077364A (zh) | 信息处理装置、信息处理方法及计算机可读介质 | |
KR102533480B1 (ko) | 이사 견적 제공 방법 및 시스템 | |
EP4016464A1 (en) | Apparatus, system, method, and carrier means | |
JP2019140530A (ja) | サーバ装置、表示装置、映像表示システム、及び映像表示方法 | |
JP5172794B2 (ja) | ビデオコミュニケーションシステム、方法およびプログラム | |
TWI522726B (zh) | 資訊產生與分享方法,及其相關裝置與電腦程式產品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180907 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200330 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200415 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6692867 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |