JP7305224B1 - クラウドサービス用３ｄマニュアルを２ｄインタラクティブビデオに変換する方法および装置 - Google Patents

クラウドサービス用３ｄマニュアルを２ｄインタラクティブビデオに変換する方法および装置 Download PDF

Info

Publication number
JP7305224B1
JP7305224B1 JP2022072229A JP2022072229A JP7305224B1 JP 7305224 B1 JP7305224 B1 JP 7305224B1 JP 2022072229 A JP2022072229 A JP 2022072229A JP 2022072229 A JP2022072229 A JP 2022072229A JP 7305224 B1 JP7305224 B1 JP 7305224B1
Authority
JP
Japan
Prior art keywords
manual
annotations
video
annotation
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022072229A
Other languages
English (en)
Other versions
JP2023129180A (ja
Inventor
チョ・グンシク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inha Industry Partnership Institute
Original Assignee
Inha Industry Partnership Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inha Industry Partnership Institute filed Critical Inha Industry Partnership Institute
Application granted granted Critical
Publication of JP7305224B1 publication Critical patent/JP7305224B1/ja
Publication of JP2023129180A publication Critical patent/JP2023129180A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/60—Creating or editing images; Combining images with text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/20—Editing of three-dimensional [3D] images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—Three-dimensional [3D] animation
    • G06T13/205—Three-dimensional [3D] animation driven by audio data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—Two-dimensional [2D] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422—Technical drawings; Geographical maps
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Processing Or Creating Images (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computer Security & Cryptography (AREA)
  • Input From Keyboards Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】クラウドサービス用３Ｄマニュアルを２Ｄインタラクティブビデオに変換するための方法および装置を提供する。【解決手段】本開示のビデオ変換方法は、アノテーションを自動認識し、自動認識されなかったアノテーションに対してビデオエディタによって微調整を実行し、３Ｄマニュアルを２Ｄインタラクティブビデオに変換するためのファイルを生成する段階、ファイルを利用して３Ｄマニュアルを該当の２Ｄマニュアルと連結する段階、２Ｄマニュアルの作業指示書に基づいて人工知能知識を抽出して処理する段階、人工知能知識、デジタルツイン、および３Ｄマニュアルのアノテーションに基づいて命令を実行するために音声要請を処理するためのニューラルネットワーク作業と言語的推論を実行し、使用者に視覚および音声フィードバックを送信することで要請された作業の処理および完了を通知する段階を含む。【選択図】図３

Description

本発明は、クラウドサービス用３Ｄマニュアルを２Ｄインタラクティブビデオに変換する方法および装置に関する。
航空機のような複雑な技術のマニュアルは、高度化された専門家がアノテーションを必要とするビデオのための専用ビデオアノテーションツールを利用してアノテーションを作成するか、非専門家がテキストを画面に配置するだけの単純なレベルのアノテーションを作成する。このとき作成されるアノテーションのほとんどは、固定された位置からの動きがない、静的なアノテーションで作成される。さらに、このようなアノテーションは、ビデオを視聴する使用者に一方的に提供される形態であるとか、動きのない静的なテキストまたはイメージ形態だけが提供されたり、使用者との相互作用は可能であるが単に他の映像あるいはウェブサイトへの接続リンクだけが提供されたりするレベルに留まっている。
例えば、特許文献１（２０１１年１０月５日）には、テキスト情報を利用して所定の場面の状況に関する場面状況情報を生成する技術が開示されている。
このように、提供されるビデオのテキストまたはイメージで構成されたアノテーションが一方的に提供される場合、使用者はこれと相互作用することができないし、予め作成されたアノテーションに追加で必要な情報の提供を受けたり追加したりすることができない。
このような単純形態のアノテーションは、提供されるアノテーションから多様な情報を得たり相互作用したいというユーザ要求があるにもかかわらず、一方的に静的に表示されるだけであったり、相互作用は可能であるが単にリンクを提供するレベルで提供されているため、ユーザの立場では、多様な情報取得および追加作業のために画面から離れて別のアクションを追加で行わなければならないという煩わしさが頻繁に発生していた。
例えば、現在までは、航空機のような複雑な技術のマニュアルは、分解組立に必要な指示書（Ｉｎｓｔｒｕｃｔｉｏｎｓ）や紙を基盤とする２Ｄ設計図（ｅｎｇｉｎｅｅｒｉｎｇ ｄｒａｗｉｎｇ）を参照して、現実世界の３次元機械部品と照らし合わせながら作業を行ってきた。２Ｄマニュアルが紙基盤であることから、現実世界の物理的機械や部品番号などのマッチが難しく、理解するまでに時間がかかることから、作業効率が上がらないだけでなくミスも発生しやすかった。
韓国登録特許第１０－１０７２３４７号公報
本発明が達成しようとする技術的課題は、クラウドサービス用３Ｄマニュアルを２Ｄインタラクティブビデオに変換する方法および装置を提供することにあり、より詳細には、航空機のような複雑な３Ｄマニュアルに対してＸＲ（ｅＸｔｅｎｄｅｄ Ｒｅａｌｉｔｙ）技術を利用して実際の機械のデジタルツイン（ｄｉｇｉｔａｌ ｔｗｉｎ）を３次元で生成し、該当の画面上に分解組立に必要な指示書、アニメーション、および２Ｄ設計図を追加で提供するための方法および装置を提供することにある。
一側面において、本発明で提案するクラウドサービス用３Ｄマニュアルを２Ｄインタラクティブビデオに変換する方法は、学習部により、クラウドサービス用３Ｄマニュアルのアノテーションに対するラベリング作業および前記アノテーションを認識するための機械学習を実行する段階、前記アノテーションを自動認識し、自動認識されなかったアノテーションに対してビデオエディタによって微調整を実行し、３Ｄマニュアルを２Ｄインタラクティブビデオに変換するためのファイルを生成する段階、２Ｄマニュアル連結部により、前記ファイルを利用して３Ｄマニュアルを該当の２Ｄマニュアルと連結する段階、知識管理部により、前記２Ｄマニュアルの作業指示書に基づいて人工知能知識を抽出して処理する段階、および神経言語音声実行部により、前記人工知能知識、デジタルツイン、および３Ｄマニュアルのアノテーションに基づいて命令を実行するために音声要請を処理するためのニューラルネットワーク作業と言語的推論を実行し、使用者に視覚および音声フィードバックを送信することで要請された作業の処理および完了を通知する段階を含む。
前記学習部により、クラウドサービス用３Ｄマニュアルのアノテーションに対するラベリング作業および前記アノテーションを認識するための機械学習を実行する段階は、前記３Ｄマニュアルのアノテーション個体の位置を座標系で示し、前記アノテーションの位置を自動認識するように３Ｄマニュアルのアノテーションに対するラベリング作業を実行し、ラベリング後に客体感知モデルを利用してビデオ上の客体に関する該当のアノテーションを自動認識するために機械学習を実行する。
前記アノテーションを自動認識し、自動認識されなかったアノテーションに対してビデオエディタによって微調整を実行し、３Ｄマニュアルを２Ｄインタラクティブビデオに変換するためのファイルを生成する段階は、ビデオエディタによってアノテーションの位置および形態を調整した後、アノテーションの持続時間を調整して自動認識されなかったアノテーションを調整し、自動認識されたアノテーションは、客体情報、部品情報、次の作業および前の作業への移動のためのマーク、部品の位置、関連ビデオ、注意および警告ボタンを含む相互作用のための作業リストを示す。
前記２Ｄマニュアル連結部により、前記ファイルを利用して３Ｄマニュアルを該当の２Ｄマニュアルと連結する段階は、ビデオ上の２Ｄドローイング位置、個体ラベル名、相互作用のための境界枠の開始時間および終了時間、ビデオフレームの境界枠の位置を含む前記ファイルを利用して３Ｄマニュアルを該当の２Ｄマニュアルと連結し、ビデオ上のアノテーションがクリックされる場合、該当の相互作用を実行するようにする。
また他の側面において、本発明で提案するクラウドサービス用３Ｄマニュアルを２Ｄインタラクティブビデオに変換するための装置は、クラウドサービス用３Ｄマニュアルのアノテーションに対するラベリング作業および前記アノテーションを認識するための機械学習を実行する学習部、前記アノテーションを自動認識し、自動認識されなかったアノテーションに対して微調整を実行し、３Ｄマニュアルを２Ｄインタラクティブビデオに変換するためのファイルを生成するビデオエディタ、前記ファイルを利用して３Ｄマニュアルを該当の２Ｄマニュアルと連結する２Ｄマニュアル連結部、前記２Ｄマニュアルの作業指示書に基づいて人工知能知識を抽出して処理する知識管理部、および前記人工知能知識、デジタルツイン、および３Ｄマニュアルのアノテーションに基づいて命令を実行するために音声要請を処理するためのニューラルネットワーク作業と言語的推論を実行し、使用者に視覚および音声フィードバックを送信することで要請された作業の処理および完了を通知する神経言語音声実行部を含む。
本発明の実施形態に係るクラウドサービス用３Ｄマニュアルを２Ｄインタラクティブビデオに変換する方法および装置は、航空機のような複雑な３Ｄマニュアルに対してＸＲ（ｅＸｔｅｎｄｅｄ Ｒｅａｌｉｔｙ）技術を利用して実際の機械のデジタルツイン（ｄｉｇｉｔａｌ ｔｗｉｎ）を３次元で生成し、該当の画面上に分解組立に必要な指示書、アニメーション、および２Ｄ設計図を追加で提供することができる。
本発明の一実施形態に係る３Ｄマニュアルと従来技術に係る２Ｄマニュアルを示した図である。 本発明の一実施形態における、クラウドサービス用３Ｄマニュアルを２Ｄインタラクティブビデオに変換するための装置の構成を示した図である。 本発明の一実施形態における、クラウドサービス用３Ｄマニュアルを２Ｄインタラクティブビデオに変換するための方法を説明するためのフローチャートである。 本発明の一実施形態における、アノテーション個体の位置を示す過程を説明するための図である。 本発明の一実施形態における、アノテーションに対するラベリング作業過程を説明するための図である。 本発明の一実施形態における、機械学習過程を説明するための図である。 本発明の一実施形態における、自動客体感知モデルの使用例を示した図である。 本発明の一実施形態における、３Ｄマニュアルを該当の２Ｄマニュアルと連結する過程を説明するための図である。 本発明の一実施形態における、相互作用のための３Ｄマニュアルアセットの構造を示した図である。 本発明の一実施形態における、自動で構造化されたファイルを示した図である。
以下、本発明の実施形態について、添付の図面を参照しながら詳しく説明する。
図１は、本発明の一実施形態に係る３Ｄマニュアルと従来技術に係る２Ｄマニュアルを示した図である。
図１（ａ）は、従来技術に係る２Ｄマニュアルを示した図であり、図１（ｂ）は、本発明の一実施形態に係る３Ｄマニュアルを示した図である。
図１（ａ）に示すように、現在までは、航空機のような複雑な技術マニュアルは、分解組立に必要な指示書（Ｉｎｓｔｒｕｃｔｉｏｎｓ）１１０および紙を基盤とした２Ｄ設計図（ｅｎｇｉｎｅｅｒｉｎｇ ｄｒａｗｉｎｇ）１２０を参照して、現実世界の３次元の機械部品と照らし合わせながら作業が行われてきた。このような方法は、２Ｄマニュアルが紙基盤のであることから、現実世界の物理的機械や部品番号などのマッチが難しく、理解するまでに時間がかかることから、作業効率が上がらないだけでなくミスも発生しやすかった。
本発明で提案する３Ｄマニュアルは、ＸＲ（ｅＸｔｅｎｄｅｄ Ｒｅａｌｉｔｙ）技術を利用して実際の機械のデジタルツイン（ｄｉｇｉｔａｌ ｔｗｉｎ）を３次元で生成し、その画面上に分解組立に必要な指示書、アニメーション、および２Ｄ設計図を追加で提供することができる。
図１（ｂ）に示すように、３Ｄバーチャル（ｖｉｒｔｕａｌ）機械１３０上には、作業指示書１５０、これに必要なパート（ｐａｒｔ）番号、および各種２Ｄ設計図１４０が表示されてよい。
本発明の実施形態によると、メタバース空間の３Ｄコンテンツとマニュアルを組み合わせて３Ｄ上で作業者が作業する視野の観点からビデオを生成することで、各種２Ｄ設計図と作業者が必要とする情報をワンクリック（ｏｎｅ－ｃｌｉｃｋ）で提供することができる。
本発明の実施形態によると、航空機メンテナンスマニュアルが含まれた３Ｄコンテンツをクラウドからダウンロードするのにかかる時間を減らすために、３Ｄアニメーションとアノテーションの特定の時点を保存して３Ｄマニュアルと完全に等しいインタラクティブビデオ（ｉｎｔｅｒａｃｔｉｖｅ ｖｉｄｅｏ）を生成する。
ここで、インタラクティブビデオとは、動画関連情報を提供するためにクリック可能な個体を提供する動画の類型であって、部品の設計図を示し、必要なツール（Ｔｏｏｌ）の使用方法を提示し、次の作業指示書に移動するなどの手順的情報を簡単な言語やジェスチャで提供することができる。このようなインタラクティブビデオからは、ビデオの個体に関する情報を得ることができ、航空機マニュアルの指針に関する詳細情報をクリックして認知することができ、個体をクリックしてビデオと相互作用することができる。
図２は、本発明の一実施形態における、クラウドサービス用３Ｄマニュアルを２Ｄインタラクティブビデオに変換するための装置の構成を示した図である。
本発明で提案する３Ｄマニュアルを２Ｄインタラクティブビデオに変換する装置は、３ＤマニュアルをＸＲ（ｅＸｔｅｎｄｅｄ Ｒｅａｌｉｔｙ）技術を利用して実際の機械のデジタルツイン（ｄｉｇｉｔａｌ ｔｗｉｎ）を３次元で生成し、この画面上に分解組立に必要な指示書、アニメーション、および２Ｄ設計図を追加で提供することができる。混合現実における高価な航空機を含む複雑な機械類訓練や教育システムは、機械類の整備訓練、教育、および広報のためのメタバース混合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ：ＭＲ）において、デジタルツインとともに機械部品の装着および脱着のためのマニュアルの提供と、このアニメーション形態のシミュレーションを実行して使用者の視野に提供することができる。このようなＳａａＳモデルのサービスのために、デジタルツインは、膨大なコンピュータグラフィックデータと膨大なマニュアルなどのデータがクラウド基盤のサービスを通じて提供されなければならない。しかし、デジタルツインの膨大なコンピュータグラフィックデータやテキストマニュアル、２Ｄ設計図などをクラウドからクライアント側にダウンロードするためには相対的に多くの時間がかかるため、リアルタイム性が問題となる。
本発明では、３Ｄマニュアルの効率的なダウンロードサービスのために、特定の部品の装着および脱着のための視覚的観点において３Ｄマニュアルをインタラクティブビデオに変換し、クラウド基盤で効率的にサービスを提供する方案を提示する。
提案するクラウドサービス用３Ｄマニュアルを２Ｄインタラクティブビデオに変換するための装置２００は、学習部２１０、ビデオエディタ２２０、２Ｄマニュアル連結部２３０、知識管理部２４０、および神経言語音声実行部２５０を含む。
本発明の実施形態に係る学習部２１０は、クラウドサービス用３Ｄマニュアルのアノテーションに対するラベリング作業と、前記アノテーションを認識するための機械学習を実行する。
本発明の実施形態に係る学習部２１０は、３Ｄマニュアルのアノテーション個体の位置を座標系で示し、前記アノテーションの位置を自動認識するように３Ｄマニュアルのアノテーションに対するラベリング作業を実行する。ラベリング後、客体感知モデルを利用して、ビデオ上の客体に関する該当のアノテーションを自動認識するために機械学習を実行する。
本発明の実施形態に係るビデオエディタ２２０は、アノテーションを自動認識し、自動認識されなかったアノテーションに対して微調整を実行し、３Ｄマニュアルを２Ｄインタラクティブビデオに変換するためのファイルを生成する。
本発明の実施形態に係るビデオエディタ２２０は、アノテーションの位置および形態をビデオエディタによって調整した後、アノテーションの持続時間を調整して自動認識されなかったアノテーションを調整する。
本発明の実施形態に係るビデオエディタ２２０は、自動認識されたアノテーションは、客体情報、部品情報、次の作業および前の作業への移動のためのマーク、部品の位置、関連ビデオ、注意および警告ボタンを含む相互作用のための作業リストを示す。
本発明の実施形態に係る２Ｄマニュアル連結部２３０は、ファイルを利用して３Ｄマニュアルを該当の２Ｄマニュアルと連結する。
本発明の実施形態に係る２Ｄマニュアル連結部２３０は、ビデオ上の２Ｄドローイング位置、個体ラベル名、相互作用のための境界枠の開始時間および終了時間、ビデオフレームの境界枠の位置を含む前記ファイルを利用して３Ｄマニュアルを該当の２Ｄマニュアルと連結し、ビデオ上のアノテーションがクリックされる場合、該当の相互作用を実行するようにする。
本発明の実施形態に係る知識管理部２４０は、２Ｄマニュアルの作業指示書に基づいて人工知能知識を抽出して処理する。
本発明の実施形態に係る神経言語音声実行部２５０は、人工知能知識、デジタルツイン、および３Ｄマニュアルのアノテーションに基づいて命令を実行するために音声要請を処理するためのニューラルネットワーク作業と言語的推論を実行し、使用者に視覚および音声フィードバックを送信することで要請された作業の処理および完了を通知する。
図３は、本発明の一実施形態における、クラウドサービス用３Ｄマニュアルを２Ｄインタラクティブビデオに変換するための方法を説明するためのフローチャートである。
クラウドサービス用３Ｄマニュアルを２Ｄインタラクティブビデオに変換するための方法は、学習部により、クラウドサービス用３Ｄマニュアルのアノテーションに対するラベリング作業および前記アノテーションを認識するための機械学習を実行する段階３１０、前記アノテーションを自動認識し、自動認識されなかったアノテーションに対してビデオエディタによって微調整を実行し、３Ｄマニュアルを２Ｄインタラクティブビデオに変換するためのファイルを生成する段階３２０、２Ｄマニュアル連結部により、前記ファイルを利用して３Ｄマニュアルを該当の２Ｄマニュアルと連結する段階３３０、知識管理部により、前記２Ｄマニュアルの作業指示書に基づいて人工知能知識を抽出して処理する段階３４０、および神経言語音声実行部により、前記人工知能知識、デジタルツイン、および３Ｄマニュアルのアノテーションに基づいて命令を実行するために音声要請を処理するためのニューラルネットワーク作業と言語的推論を実行し、使用者に視覚および音声フィードバックを送信することで要請された作業の処理および完了を通知する段階３５０を含む。
段階３１０で、学習部により、クラウドサービス用３Ｄマニュアルのアノテーションに対するラベリング作業および前記アノテーションを認識するための機械学習を実行する。
先ず、３Ｄマニュアルのアノテーション個体の位置を座標系で示し、前記アノテーションの位置を自動認識するように３Ｄマニュアルのアノテーションに対するラベリング作業を実行する。ラベリング後、客体感知モデルを利用して、ビデオ上の客体に関する該当のアノテーションを自動認識するために機械学習を実行する。
段階３２０で、アノテーションを自動認識し、自動認識されなかったアノテーションに対してビデオエディタによって微調整を実行し、３Ｄマニュアルを２Ｄインタラクティブビデオに変換するためのファイルを生成する。
本発明の実施形態によると、アノテーションの位置および形態をビデオエディタによって調整した後、アノテーションの持続時間を調整して自動認識されなかったアノテーションを調整してよい。
本発明の実施形態によって自動認識されたアノテーションは、客体情報、部品情報、次の作業および前の作業への移動のためのマーク、部品の位置、関連ビデオ、注意および警告ボタンを含む相互作用のための作業リストを示してよい。
段階３３０で、２Ｄマニュアル連結部により、前記ファイルを利用して３Ｄマニュアルを該当の２Ｄマニュアルと連結する。
本発明の実施形態によると、ビデオ上の２Ｄドローイング位置、個体ラベル名、相互作用のための境界枠の開始時間および終了時間、ビデオフレームの境界枠の位置を含む前記ファイルを利用して３Ｄマニュアルを該当の２Ｄマニュアルと連結し、ビデオ上のアノテーションがクリックされる場合、該当の相互作用を実行するようにしてよい。
段階３４０で、知識管理部により、前記２Ｄマニュアルの作業指示書に基づいて人工知能知識を抽出して処理する。
段階３５０で、神経言語音声実行部により、前記人工知能知識、デジタルツイン、および３Ｄマニュアルのアノテーションに基づいて命令を実行するために音声要請を処理するためのニューラルネットワーク作業と言語的推論を実行し、使用者に視覚および音声フィードバックを送信することで要請された作業の処理および完了を通知する。
図４～１０を参照しながら、本発明の実施形態に係るクラウドサービス用３Ｄマニュアルを２Ｄインタラクティブビデオに変換する過程についてさらに詳しく説明する。
図４は、本発明の一実施形態における、アノテーション個体の位置を示す過程を説明するための図である。
図４を参照すると、アノテーション個体の位置４１０が座標系４４０で示されている。本発明の実施形態によると、主に、作業指示書に表示された部品の位置を座標系に表示する。表示しようとするアノテーション個体のクラスネーム４３０およびアノテーションデータ４４０を利用して座標系４４０で示してよい。アノテーションデータ４４０は、例えば、アノテーション個体の左上角のＸ座標、左上角のＹ座標、四角形の幅、および四角形の高さなどの情報を含んでよい。
図５は、本発明の一実施形態における、アノテーションに対するラベリング作業過程を説明するための図である。
本発明の実施形態に係る学習部により、クラウドサービス用３Ｄマニュアルのアノテーションに対するラベリング作業と、前記アノテーションを認識するための機械学習を実行してよい。先ず、ビデオ形態で録画された３Ｄマニュアルでアノテーションの位置５１１、５１２、５１３、５１４、５１５を学習させてアノテーションの位置を自動認識するようにしてよい。
本発明の実施形態に係るラベリング作業は、ビデオにアノテーションを追加するのに使用されるＰｙｔｈｏｎ基盤のアノテーションツールにより、ラベルが指定された２００以上のクラスを利用して各個体に対するラベルが指定されてよい。
図６は、本発明の一実施形態における、機械学習過程を説明するための図である。
本発明の実施形態によると、ラベリング後、アノテーションの実測資料（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）となるデータに基づいて、機械学習モデルを適用して部品の認識のためのアノテーションを自動認識してよい。
本発明の実施形態に係る客体感知モデルとして１００Ｅｐｏｃｈを使用してよく、入力イメージをＳ×Ｓグリッドに分ける。個体の中心が格子セルに含まれれば、該当の格子セルが該当の個体を感知する役割をするようになる。このような機械学習により、アノテーションの位置をより正確に把握してラベリングを実行することができる。この後、ビデオエディタによってビデオの整列およびアップロードを実行する。
本発明の実施形態に係るビデオエディタは、自動認識によってアノテーションされるべきリストを提示する。例えば、客体情報、部品情報、次の作業および前の作業への移動のためのマーク、部品の位置、関連ビデオ、注意および警告ボタンなどの相互作用のための作業リストを提示してよい。
このとき、アノテーションに対する１００％の自動認識は難しいため、本発明の実施形態に係るビデオエディタによってアノテーションの位置を調整する。
図７は、本発明の一実施形態における、自動客体感知モデルの使用例を示した図である。
本発明の実施形態に係るビデオエディタは、自動認識を実行する前にビデオのサンプルの間隔を調整するために、オンラインまたはオフラインビデオ編集器（例えば、Ｐｉｘｅｒ、Ａｄｏｂｅ、ｖｉｍｅｏ）を使用してよい。
アノテーションの位置と形状をビデオエディタによって調整した後、アノテーションの持続時間などを調整することで誤ったアノテーションを調整してよい。例えば、アノテーションツールを長方形に調整し、再生／一時停止をコントロールして編集したアノテーションを保存してよい。この後、ｊｓｏｎ形式のファイルでアノテーションを出力してよく、出力されたアノテーションの個体情報を確認してよい。アノテーションのリストは、ラベル、客体の類型、アノテーション開始時間（Ｓ）、アノテーション終了時間（Ｅ）などを含んでよい。
このように、本発明の実施形態に係るビデオエディタによって誤ったアノテーションを手動で変更して生成されたｊｓｏｎファイルを保存してよい。
図７を参照すると、３Ｄマニュアルを該当の２Ｄマニュアルと連結するためのページ７１０が示されている。本発明の実施形態に係る２Ｄマニュアル連結部によって生成されたｊｓｏｎファイルを利用して３Ｄマニュアルを該当の２Ｄマニュアルと連結する過程について、図８を参照しながらさらに詳しく説明する。
図８は、本発明の一実施形態における、３Ｄマニュアルを該当の２Ｄマニュアルと連結する過程を説明するための図である。
図８を参照すると、ビデオ上の２Ｄドローイング位置８１０、個体ラベル名８２０、相互作用のための境界枠の開始時間および終了時間８３０、およびビデオフレームの境界枠の位置８４０が示されている。例えば、＜ＨＴＭＬ＞を使用して客体名と相互作用アセット（ａｓｓｅｔ）をともに連結して相互作用を実行してよい。
図８のコンテンツ（Ｃｏｎｔｅｎｔｓ）部分８５０は、アノテーションがクリックされた場合に連結されるＡｓｓｅｔ（例えば、マニュアルの特定のページおよび参照部品番号の表示など）を示している。
図９は、本発明の一実施形態における、相互作用のための３Ｄマニュアルアセットの構造を示した図である。
図９に示すように、航空機整備マニュアル９１０上で「Ｕｐｐｅｒｌｏｃｋ ｌｉｎｋ」がクリックされる場合、２Ｄ設計図９２０で該当の「Ｕｐｐｅｒｌｏｃｋ ｌｉｎｋ」をマークして示してよい。
図１０は、本発明の一実施形態における、自動で構造化されたファイルを示した図である。
上述したように、自動認識およびアノテーション調整を完了すれば、構造化されたＪＳＯＮファイルが自動で生成される。生成されたファイルには、客体名１０１０、時間範囲１０２０、および境界枠１０３０などの情報が含まれてよい。
このように、本発明で提案する３Ｄマニュアルは、ＸＲ（ｅＸｔｅｎｄｅｄ Ｒｅａｌｉｔｙ）技術を利用して実際の機械のデジタルツイン（ｄｉｇｉｔａｌ ｔｗｉｎ）を３Ｄで生成し、その画面上に分解組立に必要な指示書、アニメーション、および２Ｄ設計図を追加で提供することができる。
混合現実における高価の航空機を含む複雑な機械類訓練や教育システムは、機械類の整備訓練、教育、および広報のためのメタバース混合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ：ＭＲ）において、デジタルツインとともに機械部品の装着および脱着のためのマニュアルの提供と、このアニメーション形態のシミュレーションを実行して使用者の視野に提供することができる。
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者であれば、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置（ｖｉｒｔｕａｌ ｅｑｕｉｐｍｅｔｎ）、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。前記コンピュータ読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでよい。前記媒体に記録されるプログラム命令は、実施形態のために特別に設計されて構成されたものであってもよいし、コンピュータソフトウェアの当業者に公知な使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例は、コンパイラによって生成されるもののような機械語コードだけではなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードを含む。
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。
２００：
２１０：学習部
２２０：ビデオエディタ
２３０：２Ｄマニュアル連結部
２４０：知識管理部
２５０：神経言語音声実行部

Claims (8)

  1. 学習部により、クラウドサービス用３Ｄマニュアルのアノテーションに対するラベリング作業および前記アノテーションを認識するための機械学習を実行する段階、
    前記アノテーションを自動認識し、自動認識されなかったアノテーションに対してビデオエディタによって微調整を実行し、３Ｄマニュアルを２Ｄインタラクティブビデオに変換するためのファイルを生成する段階、
    ２Ｄマニュアル連結部により、前記ファイルを利用して３Ｄマニュアルを該当の２Ｄマニュアルと連結する段階、
    知識管理部により、前記２Ｄマニュアルの作業指示書に基づいて人工知能知識を抽出して処理する段階、および
    神経言語音声実行部により、前記人工知能知識、デジタルツイン、および３Ｄマニュアルのアノテーションに基づいて命令を実行するために音声要請を処理するためのニューラルネットワーク作業と言語的推論を実行し、使用者に視覚および音声フィードバックを送信することで要請された作業の処理および完了を通知する段階
    を含む、ビデオ変換方法。
  2. 前記学習部により、クラウドサービス用３Ｄマニュアルのアノテーションに対するラベリング作業および前記アノテーションを認識するための機械学習を実行する段階は、
    前記３Ｄマニュアルのアノテーション個体の位置を座標系で示し、前記アノテーションの位置を自動認識するように３Ｄマニュアルのアノテーションに対するラベリング作業を実行し、ラベリング後、客体感知モデルを利用して、ビデオ上の客体に関する該当のアノテーションを自動で認識するために機械学習を実行する、
    請求項１に記載のビデオ変換方法。
  3. 前記アノテーションを自動認識し、自動認識されなかったアノテーションに対してビデオエディタによって微調整を実行し、３Ｄマニュアルを２Ｄインタラクティブビデオに変換するためのファイルを生成する段階は、
    アノテーションの位置および形態をビデオエディタによって調整した後、アノテーションの持続時間を調整して自動認識されなかったアノテーションを調整し、
    自動認識されたアノテーションは、客体情報、部品情報、次の作業および前の作業への移動のためのマーク、部品の位置、関連ビデオ、注意および警告ボタンを含む相互作用のための作業リストを示す、
    請求項１に記載のビデオ変換方法。
  4. 前記２Ｄマニュアル連結部により、前記ファイルを利用して３Ｄマニュアルを該当の２Ｄマニュアルと連結する段階は、
    ビデオ上の２Ｄドローイング位置、個体ラベル名、相互作用のための境界枠の開始時間および終了時間、ビデオフレームの境界枠の位置を含む前記ファイルを利用して３Ｄマニュアルを該当の２Ｄマニュアルと連結し、ビデオ上のアノテーションがクリックされる場合、該当の相互作用を実行するようにする、
    請求項１に記載のビデオ変換方法。
  5. クラウドサービス用３Ｄマニュアルのアノテーションに対するラベリング作業および前記アノテーションを認識するための機械学習を実行する学習部、
    前記アノテーションを自動認識し、自動認識されなかったアノテーションに対して微調整を実行し、３Ｄマニュアルを２Ｄインタラクティブビデオに変換するためのファイルを生成するビデオエディタ、
    前記ファイルを利用して３Ｄマニュアルを該当の２Ｄマニュアルと連結する２Ｄマニュアル連結部、
    前記２Ｄマニュアルの作業指示書に基づいて人工知能知識を抽出して処理する知識管理部、および
    前記人工知能知識、デジタルツイン、および３Ｄマニュアルのアノテーションに基づいて命令を実行するために音声要請を処理するためのニューラルネットワーク作業と言語的推論を実行し、使用者に視覚および音声フィードバックを送信することで要請された作業の処理および完了を通知する神経言語音声実行部
    を含む、ビデオ変換装置。
  6. 前記学習部は、
    前記３Ｄマニュアルのアノテーション個体の位置を座標系で示し、前記アノテーションの位置を自動認識するように３Ｄマニュアルのアノテーションに対するラベリング作業を実行し、ラベリング後、客体感知モデルを利用して、ビデオ上の客体に関する該当のアノテーションを自動で認識するために機械学習を実行する、
    請求項５に記載のビデオ変換装置。
  7. 前記ビデオエディタは、
    アノテーションの位置および形態をビデオエディタによって調整した後、アノテーションの持続時間を調整して自動認識されなかったアノテーションを調整し、
    自動認識されたアノテーションは、客体情報、部品情報、次の作業および前の作業への移動のためのマーク、部品の位置、関連ビデオ、注意および警告ボタンを含む相互作用のための作業リストを示す、
    請求項５に記載のビデオ変換装置。
  8. 前記２Ｄマニュアル連結部は、
    ビデオ上の２Ｄドローイング位置、個体ラベル名、相互作用のための境界枠の開始時間および終了時間、ビデオフレームの境界枠の位置を含む前記ファイルを利用して３Ｄマニュアルを該当の２Ｄマニュアルと連結し、ビデオ上のアノテーションがクリックされる場合、該当の相互作用を実行するようにする
    請求項５に記載のビデオ変換装置。
JP2022072229A 2022-03-02 2022-04-26 クラウドサービス用３ｄマニュアルを２ｄインタラクティブビデオに変換する方法および装置 Active JP7305224B1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220026672A KR102438743B1 (ko) 2022-03-02 2022-03-02 클라우드 서비스용 3d 매뉴얼을 2d 인터랙티브 비디오로 변환하는 방법 및 장치
KR10-2022-0026672 2022-03-02

Publications (2)

Publication Number Publication Date
JP7305224B1 true JP7305224B1 (ja) 2023-07-10
JP2023129180A JP2023129180A (ja) 2023-09-14

Family

ID=83061904

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022072229A Active JP7305224B1 (ja) 2022-03-02 2022-04-26 クラウドサービス用３ｄマニュアルを２ｄインタラクティブビデオに変換する方法および装置

Country Status (7)

Country Link
US (1) US12271988B2 (ja)
JP (1) JP7305224B1 (ja)
KR (1) KR102438743B1 (ja)
CN (1) CN116708932A (ja)
DE (1) DE102022129437A1 (ja)
FR (1) FR3133260A1 (ja)
GB (1) GB2616328B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12380715B2 (en) * 2022-12-21 2025-08-05 Target Brands, Inc. Image data annotation and model training platform
KR102964598B1 (ko) * 2024-02-14 2026-05-13 주식회사 증강지능 혼합현실 기반에서의 3d객체와 어노테이션 메타정보의 융합 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003085579A (ja) 2001-09-10 2003-03-20 Hitachi Constr Mach Co Ltd 電子マニュアルのデータ作成方法、マニュアル印刷物の作成方法、電子マニュアル表示装置、電子マニュアルデータ構造を記録する記録媒体
JP2008507007A (ja) 2004-06-17 2008-03-06 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング 車両及び他の複雑な装置用の双方向マニュアル、システム及び方法
US20160147728A1 (en) 2014-11-26 2016-05-26 Autodesk, Inc. Dynamic content interface
US20190268473A1 (en) 2016-12-01 2019-08-29 TechSee Augmented Vision Ltd. Methods and systems for providing interactive support sessions
US20200094992A1 (en) 2018-09-24 2020-03-26 The Boeing Company System and method for converting technical manuals for augmented reality
CN111400822A (zh) 2020-03-12 2020-07-10 沪东中华造船(集团)有限公司 一种用于spd系统的三维作业指导书自动生成系统和方法
KR102272997B1 (ko) 2020-05-06 2021-07-05 신윤승 차량용 블랙박스의 설치작업 관리 시스템
JP2022505092A (ja) 2018-10-19 2022-01-14 インハ インダストリー パートナーシップ インスティテュート ビデオメタデータと台本データを活用したビデオコンテンツ統合メタデータ自動生成方法およびシステム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7117135B2 (en) * 2002-05-14 2006-10-03 Cae Inc. System for providing a high-fidelity visual display coordinated with a full-scope simulation of a complex system and method of using same for training and practice
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
KR101072347B1 (ko) 2009-05-14 2011-10-12 인하대학교 산학협력단 동영상 상황정보 어노테이션 방법 및 장치
US20130044192A1 (en) * 2011-08-17 2013-02-21 Google Inc. Converting 3d video into 2d video based on identification of format type of 3d video and providing either 2d or 3d video based on identification of display device type
US20150310751A1 (en) * 2014-04-24 2015-10-29 Indu Tolia Augmented reality assisted education content creation and management
US10049668B2 (en) * 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
KR101964282B1 (ko) * 2015-12-22 2019-04-01 연세대학교 산학협력단 3d 모델을 활용한 2d 영상 학습 데이터 생성 시스템 및 그 생성방법
US11153277B2 (en) * 2016-10-24 2021-10-19 Mission Secure, Inc. Security system, device, and method for internet of things networks
US11240567B2 (en) * 2016-10-25 2022-02-01 Aether Media, Inc. Video content switching and synchronization system and method for switching between multiple video formats
US10878851B2 (en) * 2017-08-18 2020-12-29 BON2 Media Services LLC Embedding interactive content into a shareable online video
US20200104028A1 (en) * 2018-08-22 2020-04-02 Nitin Vats Realistic gui based interactions with virtual gui of virtual 3d objects
WO2020056041A1 (en) * 2018-09-11 2020-03-19 Pointivo, Inc. Improvements in data acquistion, processing, and output generation for use in analysis of one or a collection of physical assets of interest
KR102051889B1 (ko) * 2018-12-05 2019-12-06 주식회사 증강지능 스마트 글래스에서 ２ｄ 데이터를 기반으로 ３ｄ 증강현실을 구현하는 방법 및 시스템
US11010896B2 (en) * 2018-12-17 2021-05-18 Bodygram, Inc. Methods and systems for generating 3D datasets to train deep learning networks for measurements estimation
US11204966B2 (en) * 2019-02-01 2021-12-21 EMC IP Holding Company LLC Contextual image-assisted search
US11270060B2 (en) * 2019-03-15 2022-03-08 Ricoh Company, Ltd. Generating suggested document edits from recorded media using artificial intelligence
KR20210050701A (ko) * 2019-10-29 2021-05-10 (주)뉴젠아이엔에스 디지털 트윈 기술을 통한 ar 원격정비 지원 시스템
US20210358490A1 (en) * 2020-05-18 2021-11-18 Nvidia Corporation End of speech detection using one or more neural networks
KR20220026672A (ko) 2020-08-26 2022-03-07 (주)빅쏠 사용자 데이터 분석에 기반한 신용/체크 카드 랭킹 및 추천 방법
CN112464814A (zh) * 2020-11-27 2021-03-09 北京百度网讯科技有限公司 视频处理方法、装置、电子设备及存储介质
KR102341294B1 (ko) * 2020-12-08 2021-12-21 믹스비전 주식회사 인터렉티브 콘텐츠 제공 방법 및 장치
KR102356914B1 (ko) * 2021-05-14 2022-02-08 주식회사 인피닉 메타데이터 자동 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN113986165B (zh) * 2021-10-09 2024-04-26 上海瑾盛通信科技有限公司 显示控制方法、电子装置及可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003085579A (ja) 2001-09-10 2003-03-20 Hitachi Constr Mach Co Ltd 電子マニュアルのデータ作成方法、マニュアル印刷物の作成方法、電子マニュアル表示装置、電子マニュアルデータ構造を記録する記録媒体
JP2008507007A (ja) 2004-06-17 2008-03-06 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング 車両及び他の複雑な装置用の双方向マニュアル、システム及び方法
US20160147728A1 (en) 2014-11-26 2016-05-26 Autodesk, Inc. Dynamic content interface
US20190268473A1 (en) 2016-12-01 2019-08-29 TechSee Augmented Vision Ltd. Methods and systems for providing interactive support sessions
US20200094992A1 (en) 2018-09-24 2020-03-26 The Boeing Company System and method for converting technical manuals for augmented reality
JP2022505092A (ja) 2018-10-19 2022-01-14 インハ インダストリー パートナーシップ インスティテュート ビデオメタデータと台本データを活用したビデオコンテンツ統合メタデータ自動生成方法およびシステム
CN111400822A (zh) 2020-03-12 2020-07-10 沪东中华造船(集团)有限公司 一种用于spd系统的三维作业指导书自动生成系统和方法
KR102272997B1 (ko) 2020-05-06 2021-07-05 신윤승 차량용 블랙박스의 설치작업 관리 시스템

Also Published As

Publication number Publication date
US20230245370A1 (en) 2023-08-03
DE102022129437A1 (de) 2023-09-07
KR102438743B1 (ko) 2022-08-31
US12271988B2 (en) 2025-04-08
FR3133260A1 (en) 2023-09-08
CN116708932A (zh) 2023-09-05
JP2023129180A (ja) 2023-09-14
GB2616328A (en) 2023-09-06
GB2616328B (en) 2024-05-08
GB202216976D0 (en) 2022-12-28

Similar Documents

Publication Publication Date Title
US10467792B1 (en) Simulating communication expressions using virtual objects
US12394327B2 (en) Augmented reality and virtual reality systems
Dorozhkin et al. Coupling of interactive manufacturing operations simulation and immersive virtual reality
KR20200138074A (ko) 머신-러닝과 크라우드-소싱된 데이터 주석을 통합하기 위한 시스템 및 방법
CN103984818A (zh) 基于Flex技术的AUV设计流程可视化建模方法
US20250094137A1 (en) Visual Programming Platform Featuring Machine Learning for Automated Code Development
CN114676786B (zh) 标注模板生成方法、数据标注方法和装置
EP4086855A1 (en) Time-line based object tracking annotation
KR102438743B1 (ko) 클라우드 서비스용 3d 매뉴얼을 2d 인터랙티브 비디오로 변환하는 방법 및 장치
US20250181939A1 (en) Techniques for automatically generating on-demand answers to questions about software applications featured in learning videos
Skreinig et al. Immersive authoring by demonstration of industrial procedures
Li et al. Instruction manual for product assembly process based on augmented visualization
CN115239850A (zh) 一种适配开发的线性图标管理方法和装置
CN121304921A (zh) 一种动态事件场景重现方法、系统及电子设备
TWI694377B (zh) 行動原生應用程式開發平台
CN118192947B (zh) 一种冶金运维系统数字孪生体的可视化页面的构建方法
JP2024513665A (ja) カメラを含むシステムを較正する方法、システム、プログラム
CN112233208B (zh) 机器人状态处理方法、装置、计算设备和存储介质
CN119848370A (zh) Web页面自动化操作处理方法及装置
Mourtzis et al. Design and development of a G-Code generator for CNC machine tools based on augmented reality (AR)
JP7346638B2 (ja) 画像データの修正方法、修正装置、電子機器、記憶媒体、コンピュータプログラムおよび自動運転車両
CN115982490A (zh) 一种元素渲染方法、装置、设备及计算机可读存储介质
US20260141652A1 (en) Digital twin with real-time feedback and representation of real-life systems with mixed reality
US20250258885A1 (en) Ai-powered webpage building system and method
Fu et al. Edge computing driven scene-aware intelligent augmented reality for manual assembly

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230621

R150 Certificate of patent or registration of utility model

Ref document number: 7305224

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250