TWI806778B - 加強即時與近即時視訊中資料擷取與傳輸合規性之預測式視野與提示技術 - Google Patents

加強即時與近即時視訊中資料擷取與傳輸合規性之預測式視野與提示技術 Download PDF

Info

Publication number
TWI806778B
TWI806778B TW111136377A TW111136377A TWI806778B TW I806778 B TWI806778 B TW I806778B TW 111136377 A TW111136377 A TW 111136377A TW 111136377 A TW111136377 A TW 111136377A TW I806778 B TWI806778 B TW I806778B
Authority
TW
Taiwan
Prior art keywords
camera
objects
predicted
fov
pointing
Prior art date
Application number
TW111136377A
Other languages
English (en)
Other versions
TW202318856A (zh
Inventor
馬修 Ｊ 塔西
約翰 Ａ 科利安德羅
艾倫 馬約爾加
Original Assignee
美商雷神公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商雷神公司 filed Critical 美商雷神公司
Publication of TW202318856A publication Critical patent/TW202318856A/zh
Application granted granted Critical
Publication of TWI806778B publication Critical patent/TWI806778B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Color Television Systems (AREA)

Abstract

為了防止擷取及傳輸排外的資料，一攝影機當前的位姿及運動被使用來為該攝影機在一或多個未來幀上預測一位姿及預測的FOV。該預測的位姿及預測的FOV被使用來產生提示，以對一允許的物件執行一對準條件或以防止擷取一不允許的物件。如果該等提示失敗，則產生一中斷以防止擷取在該視訊信號中不允許的物件並可停用該攝影機。該預測的FOV可防止排外資料進入該視訊信號並到達電路或在該攝影機的下游被處理。這可被即時或近即時地實現。

Description

加強即時與近即時視訊中資料擷取與傳輸合規性之預測式視野與提示技術
發明領域
本發明涉及視訊的擷取及處理以在即時或近即時的私有、限制性或安全環境中強制執行資料擷取與傳輸合規性。
發明背景
攝影機技術在當今世界越來越普遍。例如，諸如頭戴式相機、機器人控制相機、半自主或自主機器人、蜂巢式電話、桌上型或台式電腦、近眼顯示器及手持遊戲系統之類的裝置可能包括相機及相關聯的軟體以啟用視訊擷取、顯示及傳輸。這些裝置正被使用來提供即時或近即時的單向或雙向視訊通訊。當有意地或無意地擷取、儲存、顯示或傳輸不應被擷取、儲存、顯示或傳輸的視訊時，就會存在隱私及安全性問題。個人、公司或國家的隱私可能會受到侵犯，有可能是非法的。在某些限制性的環境中，諸如軍事或公司專有或安全的環境中，存在有嚴格的控制來管理那些可被擷取、儲存、顯示或傳輸的視覺資訊。
為了要限制非所欲的視訊擷取或傳輸，一些現有的系統在視訊被擷取時對其進行監控。這些系統使用人工處理、人工智慧(AI)、運算演算法、或它們的一種組合來識別出有問題的視覺資訊(例如一個人的臉或一公司的專有資訊)然後從該視訊檔案資料中刪除或模糊該資訊。這些系統甚至可以關閉該記錄裝置以防止進一步擷取有問題的資訊。然而，該等現有系統描述的都是擷取、儲存、以及處理該有問題的資訊。由於有問題的資料被儲存(儘管有時候只是暫時性的)及處理，資料外洩風險仍然存在，因此這些系統無法滿足某些安全或限制環境的要求。從該視訊檔案中刪除或模糊資訊所需的該處理使得這些系統與需要即時或近即時視訊擷取及傳輸的應用並不兼容。
在針對個人使用者、公司或國家的各種應用中，強制即時或近即時之資料擷取與傳輸合規性的視訊擷取可能會是需要的。此類應用可能包括但不侷限於檢查/程序審查、供應商品質管理、內部審計、設備或系統故障排除、工廠運營、工廠協作、驗證及確認、設備維修及升級、在設備或系統上的訓練。在這些應用中，可能需要擷取並單向或雙向地傳輸包括有問題的資訊或即時或近即時的局部場景視訊以促進高效及有效的通訊。作為一種特殊的情況，可以在一擴增實境環境中實現資料及擷取及傳輸合規性。
擴增實境(AR)係指產生二維或三維(3D)的視訊圖形或其他的媒體使得它們可被疊加在該環境中的周圍物件上並與該等周圍物件被顯示。具有一獨特且易於識別之簽名的人造「標記」又稱「來源」可被放置在該使用者上、在該物件上或在該場景中並被使用於各種的目的。這些標記已被使用來識別出及定位特定的物件、觸發電腦產生媒體的顯示或確定該使用者的該位置及位姿。
在某些視訊或AR環境中，諸如一遠端維修或檢查，一主要來自該客戶的問題並且該問題正因攝影機行業推動最大化FOV而被加劇，就是該正被擷取及傳輸或局部查看之該視訊的該使用者(現場技術人員或專家，但主要是現場技術人員)可能會有意或無意地遠離該感興趣的物件，並擷取了不應被擷取或傳輸之該場景另一部分的視訊。客戶要求、行業法規、國家安全或國家特定法律可能需要某種程度的資料擷取與傳輸合規性，以避免無意或有意的廣泛FOV傳輸。當前的技術包括用一布料或防水布對該感興趣物件周圍的區域進行實體地覆蓋以防止在該視訊信號中的擷取、機械式地縮小該FOV、或在傳輸之前隔離該視訊並讓具有一安全許可的領域專家在擷取後審查及編輯該視訊信號。這些都是耗時的活動。更常見且成本更高的是將該考慮中的設備移至一專門的安全空間，諸如一空的車庫或掛物工具使得在該現場中沒有多餘的物品。在許多的情況下，移除設備、實體覆蓋或擷取後編輯不是不足以滿足該等合規性要求，就是在一近即時互動的情況下實現起來不切實際且成本高昂。在某些情況下，出於國家安全及ITAR(國際武器貿易條例)的原因，有些國家法律會阻止任何類型的擷取後編輯。
標題為「Field of View (FOV) and Key Code Limited Augmented Reality to Enforce Data Capture and Transmission Compliance」的美國專利第10,403,046號及第10,679,425號公開了在該攝影機指向方向與該場景中一標記之間強制執行一對準條件以避免在一即時互動的情況下擷取排外的資料。這個的達成可例如藉由判定該攝影機指向方向是否滿足對該局部場景中一標記的一對準條件使得該攝影機FOV係位於在該標記周圍之一使用者定義允許的FOV內。一分開的感測器可被使用來檢測在一感測器FOV內該標記的存在性以滿足該對準條件。該相機或感測器FOV可被減少以創建一緩衝區以提供額外的保證即該相機FOV不會偏離到該允許的FOV之外。如果不滿足該對準條件，則控制該攝影機以把位於一使用者定義允許FOV之外之該攝影機FOV的至少一部分排除擷取到該視訊信號中。例如，這可以藉由關閉該攝影機或縮小其FOV來完成。標記也可被使用作為一故障保險，以確保在該場景一特別敏感區域中的影像既不會被擷取也不會被傳輸。如果該分開的感測器檢測到這些標記，則該攝影機將被關閉。該系統可以提示該使用者，例如，「綠色」表示滿足該對準條件、「黃色」表示技術人員的眼睛開始游移、以及「紅色」表示違反該對準條件並禁用該相機。在該系統中，使用一分開的感測器來強制執行該對準條件並檢測在敏感區域中的其他標記係專門為更嚴格的環境所設計的，在這種環境中，合規性要求該場景或被標記物件的部分不能被該攝影機本身所擷取(檢測到)，更不用說輸出到該視訊信號中以及用在需要即時或近即時互動的環境中了。
發明概要
以下係本發明的一概要以便提供對本發明某些方面的一基本理解。本概要並非旨在指出本發明的關鍵或關鍵要素或描繪本發明的範圍。其唯一目的係以一簡化的形式呈現本發明的一些概念，來作為一更詳細描述及隨後呈現之該等限定請求項的一前奏。
本發明提供了一種用於預測一攝影機該FOV的方法，以提供對即時及近即時視訊之資料擷取與傳輸合規性的強化。
為了提供即時或近即時視訊之資料擷取與傳輸合規性的強化，本發明預測該攝影機之一未來的FOV以識別出不允許的物件並提示或控制該攝影機以防止在該視訊信號中擷取它們。該預測的FOV還可被使用來強制執行該攝影機對一允許物件的一對準條件。
在一實施例中，使用諸如一3D相機、雷射雷達(LIDAR)或聲納的一3D感測器產生包括有一或多個物件之該局部場景的一個三維地面實況圖。在該地面實況圖中該等物件的一或多個被識別為不允許的並且可能是允許的。2D或3D模型可被使用來表示該等已識別出之允許的及不允許的物件。一攝影機在該局部場景中的一指向方向上以一幀率在一相機視野(CFOV)內擷取一視訊信號。該系統針對一當前的幀確定包括有該攝影機在該局部場景中一位置及一方向的一位姿，並從該當前幀的該位姿及該攝影機之速度及加速度的測量值來計算用於一或多個未來幀之一預測的位姿及預測的FOV(PFOV)。該等一或多個預測的FOV與該地面實況圖進行比較以識別出及定位不允許的及可能為允許的物件。如果識別出一不允許的物件，則控制該攝影機以防止擷取不允許的物件並把它們包含在該視訊信號之該等一或多個未來的幀中。
在某些實施例中，可以產生一提示以變更該攝影機指向方向以防止擷取不允許的物件並把它們包含在該視訊信號之一或多個未來的幀中。在產生該提示之後，該預測的FOV被更新以判定該經更新之預測的FOV是否包括該不允許的物件。如果該提示未能防止在該經更新之預測的FOV中擷取該不允許的物件，則控制該攝影機以防止擷取不允許的物件並把其包含在該視訊信號中。因此，不允許的物件不會進入到該視訊信號中，因此不會到達與該攝影機相連接之下游電路、處理或一網路。
在不同的實施例中，物件可以基於其他的屬性來被定義及被不允許，而不是僅僅基於它們的內容。例如，任何被識別為與該攝影機的距離太近或太遠的物件都可以被指定為不允許的。進入該局部場景之一物件的該運動速率(例如，速度及加速度)可被定義為一物件並且如果該運動速率超過一最大值的話，則該物件係不允許的。此外，該攝影機的該運動速率(例如，速度及加速度)可被定義為物件並且如果該運動速率超過一最大值的話，則該物件係不允許的。
在不同的實施例中，該攝影機被訓練在一允許的物件上並且遠離不允許的物件。該感測器及物件識別處理器識別出及定位允許的物件。該系統判定該相機的指向方向是否滿足對該等允許物件中之一個的一對準條件。如果不是的話，則該系統產生一提示以變更該攝影機指向方向以強制執行該對準條件。如果該提示未能強制執行該對準條件，則停用該攝影機。該地面實況圖可被使用來驗證識別出之允許的物件
在不同的實施例中，該攝影機指向方向由使用者運動(例如一頭戴式攝影機)、一使用者控制的手動機械手(例如一機械臂)或一全自動手動機械手(例如一AI控制的機械臂或半自主或自主機器人)來被從動或控制。例如，可以向該使用者呈現一音訊、視訊或振動提示以在擷取該不允許的物件之前把該使用者的頭部從該不允許的物件轉移開或在違反該對準條件之前把該使用者的頭部轉回到該允許的物件。類似地，可以向該機械臂的該使用者呈現一提示以在擷取該不允許的物件之前將該相機轉移開或轉回到該允許的物件。在一全自動的系統中，該提示可能會超馳該系統並致使該相機指向轉移開該不允許的物件或朝向到該允許的物件。
在不同的實施例中，該攝影機可被控制以防止以各種不同的方式擷取不允許的物件。該攝影機可被機械式地控制以變更其指向方向、被光學地控制以縮小該CFOV或在該不允許的物件到達該檢測器陣列之前模糊它(例如變更該f/#)、變更該局部場景的照明以導致該感測器的致盲、或電氣地控制來中斷電源、禁用該檢測器陣列的電化學層、禁用在該ROIC中的放大器或A/D轉換器、或有選擇性地關閉在該不允許物件上的像素。
從以下結合該等附圖之較佳實施例的詳細說明，本發明的這些及其他特徵及優點對於本領域的習知技藝者來說將變得顯而易見，其中：
較佳實施例之詳細說明 在針對個人使用者、公司或國家的各種應用中，強制執行即時或近即時之資料擷取與傳輸合規性的視訊擷取可能會是需要的。此類應用可能包括但不侷限於檢查/程序審查、供應商品質管理、內部審計、設備或系統故障排除、工廠運營、工廠協作、驗證及確認、設備維修及升級、在設備或系統上的訓練。在這些應用中，可能需要擷取並單向或雙向地傳輸包括有問題資訊的或即時或近即時的局部場景視訊以促進高效及有效的通訊。作為一種特殊的情況，可以在一擴增實境環境中實現資料擷取與傳輸合規性。該攝影機指向方向由使用者運動(例如一頭戴式攝影機或手持式攝影機)、一使用者控制的手動機械手(例如一機械臂)或一全自動手動機械手(例如一AI控制的機械臂或半自主或自主機器人)來被從動或被控制。
本發明係針對這些及其他類似的應用，在這些應用中，客戶要求、行業法規、國家安全或國家特定法律可能需要某種程度的資料擷取與傳輸合規性。在某些情況下，合規性可能要求場景的一部分或被特定標記的物件不能被包括在由該攝影機所輸出的該視訊信號中供顯示或傳輸。在其他更為嚴格的環境中，合規性可能要求該場景的一部分或被標記物件不能被儲存在該相機的記憶體晶片中，更不用說被輸出到該視訊信號中了。該記憶體晶片可以只是一記憶體晶片，也可以是包括該永久記憶體的一視訊顯示器或視訊傳輸晶片。該所需的合規性程度可以由許多不同的因素來決定，並且可以在該視訊信號的擷取及顯示或傳輸之間或甚至在其期間中做變更。
本發明預測攝影機的一FOV以識別出不允許的物件並控制該攝影機以防止擷取不允許的物件並把它們包含在該視訊信號之該等一或多個未來的幀中。該預測的FOV還可被使用來強制執行該攝影機對一允許物件的一對準條件。提示可被使用來提醒在該攝影機指向方向中的一修正，以在擷取一不允許的物件發生之前防止它，或在該對準條件被丟失之前強制執行它。如果該等提示未能引起修正動作，則該攝影機被控制以防止擷取不允許的物件或懲罰該對準條件的失去。因此，不允許的物件不會進入該視訊信號，因此不會到達該攝影機可能被連接到之下游電路、處理或一視訊網路。這可以以即時或近即時被實現，或可更慢地被實現如果該應用並不要求要有以一延遲線路或被定位在該攝影機的ROIC與記憶體晶片之間暫時記憶體晶片這種效能的話。例如，對於大多數的使用者可接受的最慢視訊幀率約為24幀/秒(fps)，或大約為42毫秒(ms)。大多數的使用者通常可以接受小於42 ms的時間延遲。一快速攝影機為120 fps或大約8 ms。在這些幀率下，一單一幀的延遲肯定是即時的。該預測的FOV可被利用來對在該視訊信號中一單張影像或一影像序列強制執行資料擷取與傳輸合規性。
現在參考圖1，在一實施例中，諸如一副視訊護目鏡或一手持單元(例如一平板電腦或手機)之類的一視訊擷取、顯示及傳輸裝置 10具有受控於技術人員運動的一指向方向 12(例如，現場技術人員 14正在查看或指向該單元的地方)。裝置 10包括一感測器 16(例如一3D相機、雷射雷達、聲納)其被組配成在一感測器FOV 18內擷取在指向方向 12周圍之一感測到的信號以識別出及定位物件，以及一攝影機 20(例如一2D或3D CMOS、CCD或SWIR相機)其被組配成擷取在一相機FOV 22內在指向方向 12周圍及在該感測器FOV 18內的光以形成一視訊信號。感測器 16被使用來產生一局部場景的一3D地面實況圖 24，其中特定物件 26及 28被指出為允許的而特定物件 30及 32被指出為不允許的。該等物件可以在該地面實況圖中被表示為真實的感測器資料或為電腦所產生的模型。
在該實例中，現場技術人員 16可能在一製造設施內四處走動以確認某些物件的存在及位置、修理或維護某些物件或使用某些物件。這些物件可以被認為是「允許的」物件。該技術人員甚至可被指示或被提示要把該指向方向 12保持在一指定的物件上以執行一特定的任務(例如，驗證、維修、使用)。該現場技術人員 16可以擷取、顯示及傳輸「允許的」物件。該現場技術人員 16不能擷取「不允許的」物件在記憶體中，更不用說顯示或傳輸「不允許的」物件。
構成允許或不允許物件的條件可能取決於該應用、在該局部場景中的該物件類型、該現場技術人員、主管及任何遠端工作人員的該等權限、以及對排外資料及傳輸合規性所施加之任何特定的限制。這個資訊可被儲存在該裝置中。該裝置處理該感測到的信號以檢測及定位物件並判定它們是允許的還是不允許的物件。在該局部場景及地面實況圖中的背景可預設為允許的或不允許的。移動進入到該場景中但不在該地面實況圖中的物件被適當地不允許，直到被識別出並被標記為允許的為止。類似地，未被識別出的物件被適當地不允許，直到被識別出並被標記為允許的為止。物件不僅基於它們的內容，還可以基於其他屬性來被定義及不允許。例如，任何被指出為距該攝影機距離太近(＜最小距離)或太遠(＞最大距離)的物件都可以被指定為不允許的。該攝影機或進入該局部場景之物件的運動速率(例如，速度及加速度)可被定義為一物件並且如果該運動速率超過一最大值則該物件係不允許的。該裝置把識別出的物件與該地面實況圖進行比較，以驗證它是否是同一物件、允許的或不允許的以及該位置，從而大大地提昇了該物件識別的該準確度及可信度。
為了防止擷取及傳輸排外的資料，用於該攝影機之一或多個預測的相機FOV 35被使用來識別出不允許的物件並控制該攝影機中斷及停止影像被傳輸進入到形成該視訊信號的一記憶體晶片 34中。例如，如果該當前相機FOV 22及該等一或多個預測的相機FOV 35兩者的該指向方向 12都滿足對允許物件 26的一對準條件(例如，在一優選視線(LOS)之幾度之內的指向)以執行某個任務並且不包括任何不允許的物件 30或 32，由該攝影機所擷取之該等影像被傳輸到記憶體晶片 34，在該記憶體晶片 34它們被形成為該視訊信號，該視訊信號可被顯示給該現場技術人員或被傳輸到一遠端位置(例如，儲存或顯示給其他遠端使用者)。
如果兩個條件都被滿足，則該裝置可以產生一正面的提示(例如綠色「良好」)以加強該使用者對該允許物件的聚焦。如果該使用者的指向開始偏離一允許的物件或朝向一不允許的物件但尚未違反任一個條件，則該裝置可以產生一提醒提示(例如黃色「向左移動」)以採取修正措施。如果該使用者的指向方向已經變更到該違反該對準條件或是即將擷取到一不允許物件的點，則該裝置可以控制該攝影機以防止擷取不允許的物件並把其包含在該視訊信號中或停用該相機並發出一中斷提示(例如紅色「停用攝影機」)。
如果違反任何一個條件，或當不滿足該對準條件時該裝置發出一「中斷」 36其控制該攝影機以防止擷取包括有不允許物件的該視訊信號。對於違反該對準條件的情況，通常藉由中斷該攝影機的電源、停用該檢測器陣列或ROIC之該電化學頂層或是藉由把該攝影機指向一完全不同的方向來關閉該攝影機。對於移動而擷取一不允許物件的違規，除了這些選項之外，還可以控制該攝影機以光學方式縮小該相機FOV或選擇性地模糊該相機FOV的某些部分(例如變更該f/#)、變更該場景照明以導致該感測器的致盲、或選擇性地關閉或模糊在該檢測器上與該不允許的物件相對應的像素。
相同的方法可被應用到指向該攝影機之一遠端使用者控制的機械臂或使用一攝影機作為其視覺系統一部分之一完全自主的機器人。在該機械臂的情況下，「時間延遲」可以確保受保護的資料不會被擷取並傳輸到該使用者所在之遠端站點或其他地方。在一完全自主機器人的情況下，「時間延遲」可以確保受保護的資料不會被機器人擷取及使用或被傳輸到其他地方。
該方法可被應用到僅存在允許物件或僅存在不允許物件的應用及局部場景。
現在參考圖2、3及4，在一實施例中，一視訊擷取及顯示裝置 100包括一攝影機 102、一感測器 104及一中斷處理器 106以控制該攝影機來防止不允許的物件 132被擷取到該視訊信號中並對允許的物件 130強制執行一對準條件。裝置 100被耦合到諸如一使用者、機械臂、機器人等等的一「平台」 107，其控制該裝置的該指向方向。
感測器 104包括一3D感測器 124諸如一3D相機、雷射雷達或聲納以及一物件識別處理器 126以沿著一指向方向 110在一感測器FOV (SFOV) 128內擷取一感測到的信號以形成一個三維地面實況圖 127其中一或多個允許或不允許的物件被識別出。該等識別出的物件可由該感測到的信號或一電腦產生的模型來被表示。如稍後將被討論的，該感測器還可被使用來確定該相機位姿。感測器 104與視訊處理器 144或視訊擷取及顯示裝置 100之任何其他電路或網路下游分隔開，該攝影機可被連接到該視訊處理器 144或視訊擷取及顯示裝置 100之任何其他電路或網路下游以散佈該視訊信號。
攝影機 102在該局部場景中的一指向方向 110上擷取在一相機視場(CFOV) 108內的光 。該攝影機包括一電源 111 、用以在該CFOV內收集光的光學裝置 112 、用以感測及整合光以形成把光子轉換為電子之一影像的一檢測器陣列 114、用以以一幀率讀出影像序列的一讀出積體電路(ROIC) 116，其包括一放大器及一A/D轉換器、以及用以儲存該影像序列以形成一視訊信號 120的 一記憶體晶片 118。
該中斷處理器 106針對一當前的幀1 59確定一位姿 158，其包括有該攝影機在該局部場景內的一位置及一方向。這個的完成可以透過使用一陀螺儀 150來測量該攝影機的6個DOF位姿(例如x、y、z及圍繞x、y、z軸的旋轉)或者藉由把針對該當前幀在該感測器FOV 128中該感測到的信號與地面實況圖 127進行匹配。中斷處理器 106從該當前幀的該位姿及由一運動感測器 152所提供之針對該攝影機的速度及加速度的測量值，適當地在6個DOF中計算用於一或多個未來幀 163之一預測的位姿 160及預測的FOV(PFOV) 162。該中斷處理器 106把一或多個預測的FOV 162與該地面實況圖進行比較，以識別出及定位不允許的物件 132，以及可能是允許的物件 130。
由於該系統的該預測性質，中斷處理器 106可以產生一提示 140以變更該攝影機指向方向以防止擷取不允許的物件並把它們包含在該視訊信號的該等一或多個未來的幀中而無需控制或關閉該攝影機。提示 140被組配成在該攝影機向該不允許的物件移動發生之前搶先移動它。在產生該提示之後，該中斷處理器更新該等一或多個預測的FOV以判定該經更新之預測的FOV是否包括該不允許的物件。如果該提示未能防止在該經更新之預測的FOV中擷取不該允許的物件，則該中斷處理器 106發出該中斷 136以控制該視訊來防止擷取該不允許的物件並把其包含在該視訊信號中。
如果該攝影機被訓練在允許的物件 130上並且遠離不允許的物件 132，則該中斷處理器 106判定該相機之當前及預測的指向方向是否滿足對於該等允許物件中之一個的一對準條件。如果不是的話，則該系統產生一提示 140以改變該攝影機指向方向以強制執行該對準條件。如果該提示未能強制執行該對準條件，則停用該攝影機。失去該對準條件並不一定意味著該相機將擷取到一不允許的物件。但是，如果該攝影機偏離該允許的物件並且該提示未能修正該問題，則至少暫時地關閉該攝影機可有效的訓練該平台來保持對於該允許物件的該正確對準以執行該在眼前的任務。為了更有效地訓練本地或遠端使用者或機器人，該攝影機被關閉的該時間長度可能會有所不同。
在不同的實施例中，物件可以基於其他的屬性來被定義及不允許，而不是僅僅基於它們的內容。例如，任何被識別為與該攝影機的距離太近或太遠的物件都可以被指定為不允許的。該攝影機的該運動速率(例如，速度及加速度)可被定義為一物件並且如果該運動速率超過一最大值的話，則該物件係不允許的。
一視訊處理器 144處理視訊信號 120以形成供一顯示器 148或傳輸用的視訊輸出信號 146 。如果沒有檢測到不允許的物件，則該等視訊輸出信號 146將會是正常的視訊信號。如果發出一中斷，則該視訊輸出信號 146可能在電源被中斷時不接收視訊信號、可能在該ROIC被停用時接收一空白或有雜訊的視訊信號、或者可能接收一視訊信號其中對應於該不允許物件的像素會被刪除或被模糊化。
現在參考圖5，確定該攝影機之6DOF位姿的一種方法係使用與一攝影機 204共享一指向方向 202的一感測器 200。如在這個實例中所示，一對3D感測器 202被定位在攝影機 204的任一側以提供一感測器FOV 206，該感測器FOV 206包圍並被對準一相機FOV 208。在攝影機 204的操作及控制期間，感測器 202擷取一3D感測到的信號並在感測器FOV 206中形成一自我產生的圖 210。該中斷處理器把該3D感測到的信號與一3D地面實況圖 212(由該等相同的感測器所產生)進行匹配以確定該攝影機之該當前幀的一位姿 214 。可以採用一同時定位及映射(SLAM)演算法(或類似的演算法)來進行自我定位，並且隨後，該自我產生的圖 210被參考並與該地面實況圖 212對準以確定精確的位置及方向。
在一AR環境中，該攝影機的該指向係從屬於現場技術人員的運動(例如，在護目鏡的情況下技術人員的頭部或在一手持裝置情況下技術人員的手部)。在距離該技術人員一手臂遠的一局部場景中，在一物件之一FOV內一視訊信號被擷取。該技術人員從在一遠端位置的一專家處接收用於操作該物件的手勢，這些手勢被顯示並被疊加在該視訊信號上以創建一擴增實境來指導該使用者操作該物件。在不同的實現方式中，當一專家對由該技術人員的攝影機即時擷取並傳輸到該遠端現場位置的視訊信號查看並做出回應時、當一專家與該物件的一複製進行即時互動時或者當一專家藉由回應一視訊或與該物件之一複製進行互動來離線地產生「罐裝的」指令時，該等手勢被提供。
該擔憂係該技術人員可能有意或無意地遠離該感興趣的物件，並擷取了不應被擷取或傳輸之該場景或物件另一部分的視訊。本發明提供了一種系統及方法用於自動地並在技術人員/客戶/主管(「使用者」)控制下控制該攝影機在這一種受限制的AR環境中，用以排除一場景的部分來針對資料擷取與傳輸合規性而不會干擾指導該技術人員操作該物件的該等AR疊加。
考圖6及圖7，一AR系統 310的一實施例包括一視訊擷取、顯示及傳輸裝置 312，諸如一副視訊護目鏡或一手持單元(例如平板電腦或手機)，其指向方向 314係從動於技術人員運動(例如，現場技術人員 316正在查看或指向該單元的位置)。現場技術人員 316操縱在一局部場景 320中的一物件 318以例如在該物件上執行維護或接收有關於如何操作該物件的指令。在此實例中，物件 318係一檢修門並且該局部場景包括一拖拉機。該檢修門是一「允許的」物件。為了說明的目的，該客艙 319係一「不允許的」物件。
裝置 312包括擷取一感測到信號的一3D感測器 313(例如一3D相機、雷射雷達或聲納)以及一攝影機 315 ，該攝影機 315擷取在局部現場場景 320中物件 318的影像並通過一通訊鏈路 328或網路傳輸一視訊信號 326到可能在一不同國家中的一遠端站點。感測器 313及該感測到的信號與通訊鏈路 328或該網路分隔開。視訊信號 326在一電腦工作站 332上被呈現給一專家 330，該電腦工作站 332配備有一裝置 334以擷取該專家的手勢。專家 330用他/她的手(或經由一工具)操縱在該視訊中的該物件以執行該任務。裝置 334擷取該等手勢，其被轉換為動畫式的手勢 336並通過通訊鏈路 328被傳回給使用者316，在使用者 316處它們被顯示並被疊加在該顯示器上。除了該等手勢之外或代替該等手勢，專家 330可以提供音訊、文字或其他媒體形式的指令以支援該AR環境 。該AR環境本身係以在該遠端及本地電腦系統 332及 312以及一伺服器 346上的應用軟體 340及設置檔案 342及 344來被實現。
根據本發明，該AR系統或方法判定該本地視訊擷取及顯示裝置 312的該指向方向 314是否滿足對允許物件 318的一對準條件 350 。對準條件 350把該相機指向方向 314關聯到對於該允許物件的一視線(LOS) 355。該等兩者必須維持在一指定的未對準 357內，以對於該允許物件 318的一角度或距離來被給出。該未對準 357可以是固定的，例如正負5度，由該使用者來設置。
一或多位技術人員/客戶、主管或專家鍵碼 360被使用來識別出該技術人員/主管/專家、定義該允許物件的配對並指定定義該對準條件 350的容錯。一鍵碼允許該現場技術人員/客戶/主管或一專家來控制該攝影機以防止該現場技術人員在該場景中擷取及/或傳輸違反客戶或國家政策或法律要求的資料。該鍵碼可以允許該碼的持有者經由例如透過一GUI來指定允許或不允許的物件，或者可以為一給定的局部場景或任務預載那些選擇。為了建立該對準條件，一使用者可以指定一24英寸的距離，這會創建一半徑為24英寸的圓，該圓圍繞對該允許物件的LOS。或者，該使用者可為指向方向指定一正/負5度的未對準，其對於該標稱臂長的工作距離，可能會創建例如一半徑為12英寸的圓。替代指定一距離或角度或除了指定一距離或角度之外，該使用者可以在該場景中指定並放置圍繞該允許物件的附加標記(不允許的物件)，其定義了該對準條件的外邊界或容錯。該視訊擷取及顯示裝置 312的啟動將需要與至少該識別出的允許物件成功的配對。可以在該遠端位置處向該現場技術人員提供另一個專家控制的鍵碼，以確保在該遠端位置沒有不合規的資料被發送及接收。該鍵碼在該現場技術人員的AR系統中被強制執行。除了距離之外，該鍵碼還可以預先填充一組已知的允許或不允許的形狀。
3D感測器 313擷取在一感測器FOV 354內一感測到的信號以產生一3D地面實況圖，其中該允許的物件 318及不允許的物件 319被指出及定位 。攝影機 315擷取在一相機FOV 356內的光，該光被讀出並作為影像被儲存在該記憶體晶片中，在該記憶體晶片該等影像被形成為該視訊信號。該中斷處理器為該當前的幀更新該攝影機的該位姿，為用於未來幀針之一或多個預測的相機FOV 361計算一預測的位姿 359並把那些預測的相機FOV與該地面實況圖進行比較，以識別出及定位允許的物件 318或不允許的物件 319。一中斷處理器使用例如該檢測到之感測到的信號或陀螺儀測量來判定該指向方向 314是否滿足對該允許物件 318的該對準條件 350以及該攝影機的FOV 356或預測的相機FOV 361是否包括或不久將包括該不允許的物件 319。
有關於滿足對該允許物件 318的該對準條件，只要該技術人員朝該允許物件 318的該方向上看，該允許的物件被擷取在該感測器FOV 356中並且該對準條件被滿足(綠色「良好」)因此使得該相機能夠擷取影像並形成該視訊信號。當該技術人員的眼睛(相機)開始游移時，該允許的物件接近該對準條件 350的邊緣(黃色「向左修正」或「向右修正」)因此導致發出一提示(音訊、視訊、振動)來提醒該技術人員使他或她維持聚焦於該允許的物件 318以及手頭的任務。該相機仍保持啟用狀態並擷取視訊以進行傳輸及顯示。如果該技術人員的LOS游移太遠，則該預測的相機FOV 361失去與允許物件 318的配對，因此違反該對準條件 350並導致該攝影機被禁用並發出一提示(紅色，「停用相機」)。禁用該攝影機的時間長度可被控制以「訓練」該技術人員把他或她的注意力集中在該允許的物件上。
有關於防止在該視訊信號中不允許物件 319的擷取 ，如果在該預測的相機FOV 361中擷取了不允許的物件 319 ，則可以在發出一中斷來控制該攝影機之前發出類似的提示，使得包含有不允許物件 319之任何的相機影像不被傳輸到該記憶體晶片並因此不被包括在該視訊信號中，其包括有中斷對該攝影機的供電、禁用在該探測器陣列中的該頂部電化學層或禁用該ROIC。可以向該技術人員發出一提示，例如紅色「停用相機」或類似的提示以通知該技術人員有關於該不允許的物件的該違規並提示技術人員要變更他或她的LOS。
雖然本發明的一些說明性的實施例已被展示並進行了描述，但本領域的習知技藝者將可想到許多變化及替代的實施例。在不脫離如所附請求項中所限定之本發明精神及範圍的情況下，這樣子的變化及替代實施例可被設想並被做出。
10,312:視訊擷取,顯示及傳輸裝置/裝置 12,110,202,314:指向方向 14,316:現場技術人員 16,104,200:感測器 18,128,206,354:感測器FOV 20,102,204,315:攝影機 22,108,208,356:相機FOV 24,127:3D地面實況圖 26,28,130,210,318:允許的物件 30,32,132,216,319:不允許的物件 34,118:記憶體晶片 35,162,361:預測的相機FOV 36:中斷 100: 視訊擷取及顯示裝置 106:中斷處理器 107:平台 111:電源 112:光學裝置 114:檢測器陣列 116:ROIC 120,206,326:視訊信號 124:3D感測器 126,313:物件識別處理器 134:幀 136:中斷 138:後續幀 140:提示 142:時間延遲 144:視訊處理器 146:視訊輸出信號 148:顯示器 150:陀螺儀 152:運動感測器 158,214:位姿 159:當前的幀 160,359:預測的位姿 163:未來的幀 212:自我產生的圖 310:AR系統 320:局部場景 330:專家 332:電腦工作站 334:裝置 336:動畫式的手勢 328:通訊鏈路 340:應用軟體 342,344:設置檔案 346:伺服器 350:對準條件 355:視線(LOS) 357:未對準 360:鍵碼
圖1係一系統的一圖示，其中該攝影機之一預測的FOV提供了對即時及近即時視訊之資料擷取與傳輸合規性之預測式提示及強化； 圖2係用以強制執行即時及近即時視訊之資料擷取與傳輸合規性的一視訊擷取及傳輸裝置之一實施例的一方塊圖； 圖3係包括有允許及不允許物件的該局部場景之一個三維地面實況圖的一圖示，比對其在該預測的FOV中識別出及定位物件； 圖4係形成一視訊信號之一擷取影像幀序列的一圖示，其中該預測的FOV被使用來在包含有一不允許物件的影像幀被擷取在該視訊信號中之前發出一中斷； 圖5係一感測器自生成圖的一圖示，其參考對齊該地面實況圖以確定該6 DOF位姿；以及 圖6及7係一擴增實境(AR)系統之一實施例的圖示，其中該攝影機之一預測的FOV提供了對一允許物件之一對準條件的預測式提示及強化並防止擷取不允許的物件。
10:視訊擷取,顯示及傳輸裝置/裝置 12:指向方向 14:現場技術人員 16:感測器 18:感測器FOV 20:攝影機 22:相機FOV 24:3D地面實況圖 26,28:允許的物件 30,32:不允許的物件 34:記憶體晶片 35:預測的相機FOV 36:中斷

Claims (20)

  1. 一種防止從一視訊信號中擷取及傳輸在一局部場景中排外資料的方法，該方法包含有： 產生包括有一或多個物件之該局部場景的一地面實況圖； 把在該地面實況圖中的一或多個物件識別為不允許的； 使用一攝影機在該局部場景中的一指向方向上以一幀率擷取在一相機視場(CFOV)內的一視訊信號； 針對一當前的幀確定包括有該攝影機在該局部場景中之一位置及一方向的一位姿； 接收該攝影機之指向方向之速度及加速度的測量值； 從用於該當前幀的該位姿與速度及加速度的該等測量值計算用於一或多個未來幀之一或多個預測的FOV (PFOV)； 把該等一或多個PFOV與該地面實況圖進行比較以識別出及定位不允許的物件；以及 如果識別出一不允許的物件，則控制該攝影機以防止擷取不允許的物件並把它們包含在該視訊信號之該等一或多個未來的幀中。
  2. 如請求項1之方法，其中該地面實況圖係三維的；其更包含有： 使用一感測器來產生該局部場景的該三維地面實況圖。
  3. 如請求項2之方法，其中該感測器係一3D攝影機、雷射雷達(LIDAR)或聲納中之一者。
  4. 如請求項2之方法，其中該地面實況圖包括該等不允許物件中至少一者之一電腦產生的2D或3D模型。
  5. 如請求項2之方法，其更包含有： 使用該感測器沿著該指向方向在一個三維感測器FOV (SFOV)內擷取一感測到的信號； 把在該三維感測器FOV內之該感測到的信號與該三維地面實況圖進行比較以確定用於該當前幀的該位姿。
  6. 如請求項2之方法，其更包含有： 把該視訊信號散佈到一網路；以及 把該感測器與該網路分隔開。
  7. 如請求項1之方法，其更包含有： 測量一進入該局部場景之物件或該攝影機相對於該局部場景的一運動速率；以及 如果該測量到的運動速率超過一最大值，則停用該攝影機。
  8. 如請求項1之方法，其中在該攝影機上的一陀螺儀確定用於該當前幀的該位姿。
  9. 如請求項1之方法，其中如果識別出一不允許的物件， 產生一提示以變更該攝影機指向方向以防止擷取不允許的物件並把它們包含在該視訊信號之一或多個未來的幀中； 在產生該提示之後，更新該預測的FOV以判定該經更新之預測的FOV是否包括該不允許的物件； 如果該提示未能防止在該經更新之預測的FOV中擷取該不允許的物件，則控制該攝影機以防止擷取不允許的物件並把其包含在該視訊信號中。
  10. 如請求項9之方法，其中一使用者、一使用者控制的機器人或一自主機器人中之一者會回應於該提示以變更該攝影機指向方向。
  11. 如請求項1之方法，其中在該地面實況圖中該等物件的一或多者為允許的，其更包含有： 判定該當前的及一預測的指向方向是否滿足對一允許物件的一對準條件； 如果該當前的或預測的指向方向都不滿足該對準條件，則產生一提示來變更該攝影機指向方向以強制執行該對準條件； 在產生該提示之後，更新該當前的及預測的指向方向以判定它們是否滿足對該允許物件的該對準條件；以及 如果該提示未能強制執行該對準條件，則停用該攝影機。
  12. 如請求項11之方法，其中該局部場景係一擴增實境(AR)環境，其更包含有： 從一遠端位置接收與該允許的物件相關之以音訊、文字、或視訊媒體為形式的指令；以及 顯示該等指令到該視訊信號並向一使用者顯示一擴增實境以指導該使用者； 其中該攝影機的該指向方向係從屬於使用者運動； 其中該提示提醒該使用者要變更該使用者的指向方向以強制執行該對準條件。
  13. 如請求項1之方法，其中該攝影機包括具有一電化學層用以感測及整合光以形成一影像的一檢測器陣列、具有一放大器及一A/D轉換器用以以一幀率讀出一影像序列的一讀出積體電路(ROIC)、以及用以儲存該影像序列以形成該視訊信號的一記憶體晶片，其中控制該攝影機以防止擷取不允許的物件的步驟包含以下的一或多者， 機械式地控制該攝影機來變更該指向方向； 光學式地控制該攝影機以縮小該CFOV或模糊化該不允許的物件；以及 電氣地控該攝影機以中斷電源、禁用該電化學層、放大器或A/D轉換器或選擇性地關閉在該不允許物件上的像素。
  14. 如請求項1之方法，其中該攝影機包括一檢測器陣列，該檢測器陣列具有一電化學層以感測及整合光以形成一影像，其中控制該攝影機以防止擷取不允許的物件的該步驟包含禁用該電化學層。
  15. 如請求項1之方法，其中控制該攝影機以防止擷取不允許的物件的該步驟包含選擇性地關閉在該不允許物件上的像素。
  16. 一種防止從一視訊信號中擷取及傳輸在一局部場景中排外資料的方法，該方法包含有： 產生包括有一或多個物件之該局部場景的一地面實況圖； 把在該地面實況圖中的一或多個物件識別為不允許的； 使用一攝影機在該局部場景中之一指向方向上以一幀率擷取在一相機視場(CFOV)內的一視訊信號； 針對一當前的幀確定包括有該攝影機在該局部場景中的一位置及一方向的一位姿； 接收該攝影機之指向方向之速度及加速度的測量值； 從用於該當前幀的該位姿與速度及加速度的該等測量值計算用於一或多個未來幀之一或多個預測的指向方向及預測的FOV (PFOV)； 把該PFOV與該地面實況圖進行比較以識別出及定位不允許的物件；以及 如果識別出一不允許的物件，則產生一第一提示來變更該攝影機指向方向以防止擷取不允許的物件並把它們包含在該視訊信號之該等一或多個未來的幀中。
  17. 如請求項16之方法，其中該地面實況圖包括一或多個允許的物件，其更包含有： 在產生該提示之後，更新該預測的FOV以判定該經更新之預測的FOV是否包括該不允許的物件； 如果該第一提示未能防止在該經更新之預測的FOV中擷取該不允許的物件，則控制該攝影機以防止擷取不允許的物件並把其包含在該視訊信號中。
  18. 如請求項16之方法，其中該地面實況圖包括一或多個允許的物件，其更包含有： 判定該當前的及預測的指向方向是否滿足對一允許物件的一對準條件； 如果該當前的或預測的指向方向都不滿足該對準條件，則產生一第二提示來變更該攝影機指向方向以強制執行該對準條件； 在產生該第一提示或該第二提示之後，更新該當前的及預測的指向方向及預測的FOV以判定它們是否滿足對該允許物件的該對準條件以及該經更新之預測的FOV是否包括該不允許的物件；以及 如果該第一提示或該第二提示未能強制執行該對準條件或防止擷取該不允許的物件，則停用該攝影機。
  19. 一種防止從一視訊信號中擷取及傳輸在一局部場景中排外資料的方法，該方法包含有： 產生包括有一或多個物件之該局部場景的一地面實況圖； 把在該地面實況圖中該等物件的一或多個識別為允許的； 使用一攝影機在該局部場景中之一指向方向上以一幀率擷取在一相機視場(CFOV)內的一視訊信號； 針對一當前的幀確定包括有該攝影機在該局部場景中的一位置及一方向的一位姿； 接收該攝影機之指向方向之速度及加速度的測量值； 從用於該當前幀的該位姿與速度及加速度的該等測量值計算用於一或多個未來幀之一或多個預測的指向方向； 判定該當前的及預測的指向方向是否滿足對一允許物件的一對準條件；以及 如果該當前或預測的指向未能滿足該對準條件，則產生一第一提示以變更該攝影機指向的方向以強制執行該對準條件。
  20. 如請求項19之方法，其更包含有： 在產生該第一提示之後，更新該當前的及預測的指向方向以判定它們是否滿足對該允許物件的該對準條件；以及 如果該第一提示未能強制執行該對準條件，則停用該攝影機。
TW111136377A 2021-10-21 2022-09-26 加強即時與近即時視訊中資料擷取與傳輸合規性之預測式視野與提示技術 TWI806778B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/507,111 US11696011B2 (en) 2021-10-21 2021-10-21 Predictive field-of-view (FOV) and cueing to enforce data capture and transmission compliance in real and near real time video
US17/507,111 2021-10-21

Publications (2)

Publication Number Publication Date
TW202318856A TW202318856A (zh) 2023-05-01
TWI806778B true TWI806778B (zh) 2023-06-21

Family

ID=84359945

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111136377A TWI806778B (zh) 2021-10-21 2022-09-26 加強即時與近即時視訊中資料擷取與傳輸合規性之預測式視野與提示技術

Country Status (4)

Country Link
US (1) US11696011B2 (zh)
AU (1) AU2022370570A1 (zh)
TW (1) TWI806778B (zh)
WO (1) WO2023069527A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11792499B2 (en) 2021-10-21 2023-10-17 Raytheon Company Time-delay to enforce data capture and transmission compliance in real and near real time video

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160026253A1 (en) * 2014-03-11 2016-01-28 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9313391B1 (en) * 2014-08-14 2016-04-12 Amazon Technologies, Inc. Camera interfaces for electronic devices
US20160273908A1 (en) * 2015-03-17 2016-09-22 Lenovo (Singapore) Pte. Ltd. Prevention of light from exterior to a device having a camera from being used to generate an image using the camera based on the distance of a user to the device
US20170213079A1 (en) * 2014-04-04 2017-07-27 International Business Machines Corporation Head mounted video and touch detection for healthcare facility hygiene

Family Cites Families (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3304249A1 (de) 1982-02-10 1983-08-18 Canon K.K., Tokyo Bildaufnahme-einrichtung
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US6970183B1 (en) 2000-06-14 2005-11-29 E-Watch, Inc. Multimedia surveillance and monitoring system including network configuration
JP2000092473A (ja) 1998-09-11 2000-03-31 Matsushita Electric Ind Co Ltd 映像監視装置
JP2000228741A (ja) 1999-02-05 2000-08-15 Fuji Photo Optical Co Ltd 雲台制御システム
US6356437B1 (en) 1999-03-29 2002-03-12 Siemens Dematic Postal Automation, L.P. System, apparatus and method for providing a portable customizable maintenance support instruction system
US7126558B1 (en) 2001-10-19 2006-10-24 Accenture Global Services Gmbh Industrial augmented reality
DE10159610B4 (de) 2001-12-05 2004-02-26 Siemens Ag System und Verfahren zur Erstellung einer Dokumentation von Arbeitsvorgängen, insbesondere im Umfeld Produktion, Montage, Service oder Wartung
GB2411229B (en) 2003-07-22 2006-04-12 Hitachi Int Electric Inc Object tracking method and object tracing apparatus
US8427538B2 (en) 2004-04-30 2013-04-23 Oncam Grandeye Multiple view and multiple object processing in wide-angle video camera
JP4206488B2 (ja) 2004-07-08 2009-01-14 日本電信電話株式会社 画像処理装置、撮影システム、画像処理方法、画像処理プログラム、および、記録媒体
JP4677269B2 (ja) 2005-04-08 2011-04-27 キヤノン株式会社 情報処理方法およびシステム
US20080030575A1 (en) 2006-08-03 2008-02-07 Davies Paul R System and method including augmentable imagery feature to provide remote support
US8749343B2 (en) 2007-03-14 2014-06-10 Seth Cirker Selectively enabled threat based information system
JP2008258823A (ja) 2007-04-03 2008-10-23 Canon Inc 画像処理装置、画像処理方法、プログラム、記憶媒体
WO2010094065A1 (en) 2009-02-17 2010-08-26 Jumbuck Entertainment Limited Augmented reality system and method
JP2011097238A (ja) 2009-10-28 2011-05-12 Nec Corp プライバシー保護画像加工機能を有する端末装置、その方法及びそのプログラム
US8566020B2 (en) * 2009-12-01 2013-10-22 Nokia Corporation Method and apparatus for transforming three-dimensional map objects to present navigation information
US8478071B2 (en) * 2009-12-16 2013-07-02 Nvidia Corporation System and method for constructing a motion-compensated composite image
DE102010037744B3 (de) 2010-09-23 2011-12-08 Sick Ag Optoelektronischer Sensor
DE102010042063B4 (de) 2010-10-06 2021-10-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen von aufbereiteten Bilddaten über ein Umfeld eines Fahrzeugs
US9810549B2 (en) 2011-01-06 2017-11-07 University Of Utah Research Foundation Systems, methods, and apparatus for calibration of and three-dimensional tracking of intermittent motion with an inertial measurement unit
JP5875453B2 (ja) 2012-04-19 2016-03-02 キヤノン株式会社 自動追尾装置
US8761448B1 (en) 2012-12-13 2014-06-24 Intel Corporation Gesture pre-processing of video stream using a markered region
US9336629B2 (en) 2013-01-30 2016-05-10 F3 & Associates, Inc. Coordinate geometry augmented reality process
JP6393986B2 (ja) 2013-12-26 2018-09-26 セイコーエプソン株式会社 頭部装着型表示装置、画像表示システム、および、頭部装着型表示装置の制御方法
US9852545B2 (en) 2014-02-11 2017-12-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
WO2015170409A1 (ja) 2014-05-09 2015-11-12 日立マクセル株式会社 撮像装置及び撮像システム
JP2017523817A (ja) 2014-05-09 2017-08-24 ザ・チルドレンズ・ホスピタル・オブ・フィラデルフィアＴｈｅ Ｃｈｉｌｄｒｅｎ’Ｓ Ｈｏｓｐｉｔａｌ Ｏｆ Ｐｈｉｌａｄｅｌｐｈｉａ 可搬型外科手術の方法、システムおよび装置
CN112651288B (zh) 2014-06-14 2022-09-20 奇跃公司 用于产生虚拟和增强现实的方法和系统
US10602054B2 (en) 2014-09-12 2020-03-24 Microsoft Technology Licensing, Llc Video capture with privacy safeguard
US9179105B1 (en) 2014-09-15 2015-11-03 Belkin International, Inc. Control of video camera with privacy feedback
JP6356552B2 (ja) 2014-09-16 2018-07-11 東芝メモリ株式会社 情報処理装置
CN105574467A (zh) 2014-10-09 2016-05-11 多媒体影像解决方案有限公司 用于具有人物辨识的相机的隐私
JP6501501B2 (ja) 2014-11-12 2019-04-17 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム
JP2018503416A (ja) 2014-11-18 2018-02-08 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ユーザガイダンスシステム及び方法、拡張現実デバイスの使用
JP6540108B2 (ja) 2015-03-09 2019-07-10 富士通株式会社 画像生成方法、システム、装置、及び端末
US10440348B2 (en) 2015-03-24 2019-10-08 University Of Florida Research Foundation, Inc. Optical privatizing device, system and method of use
US11301685B2 (en) 2015-04-02 2022-04-12 Sportsmedia Technology Corporation Automatic determination and monitoring of vehicles on a racetrack with corresponding imagery data for broadcast
US9760801B2 (en) 2015-05-12 2017-09-12 Lawrence Livermore National Security, Llc Identification of uncommon objects in containers
EP4375631A2 (en) * 2015-05-29 2024-05-29 Rebellion Photonics, Inc. Hydrogen sulfide imaging system
US10600015B2 (en) 2015-06-24 2020-03-24 Karl Storz Se & Co. Kg Context-aware user interface for integrated operating room
US10089790B2 (en) 2015-06-30 2018-10-02 Ariadne's Thread (Usa), Inc. Predictive virtual reality display system with post rendering correction
WO2017027338A1 (en) 2015-08-07 2017-02-16 Pcms Holdings, Inc. Apparatus and method for supporting interactive augmented reality functionalities
WO2017047688A1 (ja) 2015-09-17 2017-03-23 株式会社日立国際電気 落下物検知追跡システム
CN105301669B (zh) 2015-12-04 2019-01-04 同方威视技术股份有限公司 安检设备和射线探测方法
JP2017108263A (ja) 2015-12-09 2017-06-15 富士通株式会社 端末、位置関係算出プログラムおよび位置関係算出方法
US10614288B2 (en) 2015-12-31 2020-04-07 Cerner Innovation, Inc. Methods and systems for detecting stroke symptoms
US10531137B1 (en) * 2015-12-31 2020-01-07 Mayfonk Athletic Llc Athletic telemetry system
CN105847243B (zh) 2016-03-18 2021-02-26 北京小米移动软件有限公司 访问智能摄像头的方法及装置
WO2017177019A1 (en) 2016-04-08 2017-10-12 Pcms Holdings, Inc. System and method for supporting synchronous and asynchronous augmented reality functionalities
US10142410B2 (en) 2016-04-29 2018-11-27 Raytheon Company Multi-mode remote collaboration
JP2017208771A (ja) 2016-05-20 2017-11-24 株式会社東芝 情報処理装置、及び、画像形成装置
JP2017211766A (ja) 2016-05-24 2017-11-30 株式会社Ｓｃｒｅｅｎホールディングス 画像処理システム、画像処理プログラム、および画像処理方法
CN106228544B (zh) 2016-07-14 2018-11-06 郑州航空工业管理学院 一种基于稀疏表示和标签传播的显著性检测方法
JP6853494B2 (ja) 2016-09-05 2021-03-31 日本電気株式会社 ドライブレコーダ
US20180092698A1 (en) 2016-10-04 2018-04-05 WortheeMed, Inc. Enhanced Reality Medical Guidance Systems and Methods of Use
JPWO2018101227A1 (ja) 2016-11-29 2019-10-31 シャープ株式会社 表示制御装置、ヘッドマウントディスプレイ、表示制御装置の制御方法、および制御プログラム
KR102626304B1 (ko) * 2016-12-06 2024-01-18 삼성전자주식회사 콘텐츠 출력 방법 및 이를 지원하는 전자 장치
US10755428B2 (en) 2017-04-17 2020-08-25 The United States Of America, As Represented By The Secretary Of The Navy Apparatuses and methods for machine vision system including creation of a point cloud model and/or three dimensional model
WO2018195475A1 (en) 2017-04-20 2018-10-25 Saysearch, Inc. Communication sessions between computing devices using dynamically customizable interaction environments
US10963931B2 (en) 2017-05-12 2021-03-30 Wookey Search Technologies Corporation Systems and methods to control access to components of virtual objects
US10282551B2 (en) 2017-05-12 2019-05-07 Linden Research, Inc. Systems and methods to control publication of user content in a virtual world
US10777018B2 (en) 2017-05-17 2020-09-15 Bespoke, Inc. Systems and methods for determining the scale of human anatomy from images
US10122825B1 (en) 2017-07-27 2018-11-06 Global Tel*Link Corporation Systems and methods for providing a visual content gallery within a controlled environment
JP7009834B2 (ja) 2017-08-23 2022-01-26 株式会社デンソー 収集システム及びセンタ
EP3684512A4 (en) 2017-09-21 2021-06-09 Becton, Dickinson and Company EXTENDED REALITY DEVICES FOR DETECTING HAZARDOUS POLLUTION
US10403046B2 (en) * 2017-10-20 2019-09-03 Raytheon Company Field of view (FOV) and key code limited augmented reality to enforce data capture and transmission compliance
US10674972B1 (en) 2018-10-03 2020-06-09 ADANI Systems, Inc. Object detection in full-height human X-ray images
US10922936B2 (en) 2018-11-06 2021-02-16 Cerner Innovation, Inc. Methods and systems for detecting prohibited objects
US10706637B2 (en) 2018-11-21 2020-07-07 Best Apps, Llc Computer aided systems and methods for creating custom products
US10969595B2 (en) 2018-11-30 2021-04-06 International Business Machines Corporation In-vehicle content display apparatus
DE112019006484T5 (de) 2018-12-28 2021-10-21 Nvidia Corporation Detektion von abständen zu hindernissen in autonomen maschinenanwendungen
US11106930B2 (en) 2019-06-14 2021-08-31 International Business Machines Corporation Classifying compartments at security checkpoints by detecting a shape of an object
US11292481B2 (en) * 2019-09-11 2022-04-05 GM Global Technology Operations LLC Method and apparatus for multi vehicle sensor suite diagnosis
US11887088B2 (en) 2020-01-22 2024-01-30 Salesforce, Inc. Smart moderation and/or validation of product and/or service details in database systems
JP2021118499A (ja) 2020-01-29 2021-08-10 株式会社Ｊｖｃケンウッド 記録制御装置、記録制御方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160026253A1 (en) * 2014-03-11 2016-01-28 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US20170213079A1 (en) * 2014-04-04 2017-07-27 International Business Machines Corporation Head mounted video and touch detection for healthcare facility hygiene
US9313391B1 (en) * 2014-08-14 2016-04-12 Amazon Technologies, Inc. Camera interfaces for electronic devices
US20160273908A1 (en) * 2015-03-17 2016-09-22 Lenovo (Singapore) Pte. Ltd. Prevention of light from exterior to a device having a camera from being used to generate an image using the camera based on the distance of a user to the device

Also Published As

Publication number Publication date
US20230131642A1 (en) 2023-04-27
TW202318856A (zh) 2023-05-01
US11696011B2 (en) 2023-07-04
WO2023069527A1 (en) 2023-04-27
AU2022370570A1 (en) 2024-05-02

Similar Documents

Publication Publication Date Title
KR102395939B1 (ko) 데이터 캡처 및 전송 컴플라이언스를 실행하기 위한 시야 및 키 코드 제한된 증강 현실
TWI806778B (zh) 加強即時與近即時視訊中資料擷取與傳輸合規性之預測式視野與提示技術
US11120692B2 (en) Systems and methods for preventing damage to unseen utility assets
US20220021847A1 (en) System and method for remote observation in a non-networked production facility
CN110096972A (zh) 数据保护方法、装置及系统
TW202318855A (zh) 強化即時與近即時視訊中資料擷取與傳輸合規性之時間延遲技術
KR20240069770A (ko) 실시간 및 거의 실시간 비디오에서 데이터 캡처 및 전송 규정 준수를 적용하기 위한 예측 시야(fov) 및 큐
US20230262316A1 (en) Single camera time-delay to enforce data transmission compliance in real and near real time video
US11700448B1 (en) Computer/human generation, validation and use of a ground truth map to enforce data capture and transmission compliance in real and near real time video of a local scene
KR20240069769A (ko) 실시간 및 거의 실시간 비디오에서 데이터 캡처 및 전송 규정 준수를 적용하기 위한 시간-지연
KR102377988B1 (ko) 로봇과의 협업 보조 방법 및 장치
CN117872974A (zh) 一种基于数字化的生产系统、方法、装置及物联网
KR102555386B1 (ko) 스마트 안전모 및 그 동작 방법
KR102184397B1 (ko) 인공신경망을 이용한 로봇 작업의 위험 상황을 제어하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
KR20240045677A (ko) 로봇과의 안전한 협업 보조 방법 및 장치
KR20170098524A (ko) 이동 플랫폼용 자율 이송 방법 및 이동 플랫폼용 자율 이송 장치