KR102625014B1 - 가려진 물체의 조작 도움 - Google Patents

가려진 물체의 조작 도움 Download PDF

Info

Publication number
KR102625014B1
KR102625014B1 KR1020190032707A KR20190032707A KR102625014B1 KR 102625014 B1 KR102625014 B1 KR 102625014B1 KR 1020190032707 A KR1020190032707 A KR 1020190032707A KR 20190032707 A KR20190032707 A KR 20190032707A KR 102625014 B1 KR102625014 B1 KR 102625014B1
Authority
KR
South Korea
Prior art keywords
refueling
aircraft
refueling boom
receptacle
boom
Prior art date
Application number
KR1020190032707A
Other languages
English (en)
Other versions
KR20190128988A (ko
Inventor
메릴 크램블릿 로버트
Original Assignee
더 보잉 컴파니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 더 보잉 컴파니 filed Critical 더 보잉 컴파니
Publication of KR20190128988A publication Critical patent/KR20190128988A/ko
Application granted granted Critical
Publication of KR102625014B1 publication Critical patent/KR102625014B1/ko

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D39/00—Refuelling during flight
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D39/00—Refuelling during flight
    • B64D39/06—Connecting hose to aircraft; Disconnecting hose therefrom
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C19/00—Aircraft control not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D43/00—Arrangements or adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D39/00—Refuelling during flight
    • B64D39/02—Means for paying-in or out hose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Abstract

시스템이 제공된다. 시스템은 피급유 항공기를 급유하기 위한 리셉터클을 갖춘 피급유 항공기의 이미지를 얻기 위해 급유 항공기 상에 카메라를 포함한다. 시스템은 또한 카메라에 관한 피급유 항공기의 방향 및 위치를 결정하고, 급유 항공기의 급유 붐 및 리셉터클의 이격 거리 및 각각의 위치를 결정하기 위해 급유 항공기 상에 프로세서를 포함한다. 또한, 프로세서는 급유 붐 및 리셉터클을 갖춘 피급유 항공기의 3D 모델의 측면 투시도의 디스플레이를 발생시킨다. 측면 투시도의 디스플레이는 리셉터클의 현재 위치에 대한 급유 붐의 현재 위치를 나타내고, 급유 항공기의 오퍼레이터가 리셉터클로 급유 붐을 관찰하여 안내할 수 있게 한다.

Description

가려진 물체의 조작 도움{AIDING MANEUVERING OF OBSCURED OBJECTS}
본 발명은 일반적으로 가려진 물체(obscured objects)의 조작을 돕는 것에 관한 것으로, 특히 가려진 물체의 3D 모델을 이용하여 가려진 물체의 조작을 돕는 것에 관한 것이다.
시야각(viewing angle)이 중간 물체에 의해 가려지게 되기 때문에 또는 관심있는 장면에 대한 명확한 LOS(line-of-sight)를 갖는 관찰자의 정확한 위치를 찾아내는 것이 불가능하기 때문에, 사람의 시야나 카메라를 이용하여 장면의 직접 보기(direct view)는 때로는 불가능하다. 때때로 사람은 가려지게 되거나 용이하게 볼 수 없는 물체를 공간적으로 조작하려고 시도할 수 있다. 하나의 해결책은 인위적으로 장면 가시성(scene visibility)과 정보 컨텐츠(information content)를 강화하기 위해 합성(synthetic) 또는 향상된 비전 시스템(enhanced-vision systems)을 이용한다. 그러나, 이러한 해결책은 모델-기반 장면 발생(model-based scene generation)의 제약받지 않는 특성을 이용하지 않고 일반적으로 센서로부터의 이미지 내의 정보 컨텐츠의 단순한 향상으로 제한된다. 다른 해결책은 로봇틱 서보-시스템(robotic servo-systems)에서의 물체의 조작에서 도움을 주도록 비전 가이디드 로봇틱스 시스템(vision-guided robotics systems)을 이용한다. 마찬가지로, 이러한 해결책은 장면에서 물체의 3D 모델의 지식을 통해 얻은 이점을 활용하지 않는다.
따라서, 상기 논의된 문제점 중 적어도 몇몇 및 다른 가능한 문제점을 고려한 시스템 및 방법을 갖는 것이 바람직할 것이다.
본 발명의 예시적 구현은 가려진 물체의 조작을 돕는 것에 관한 것이다. 예시적 구현은 오퍼레이터가 장면에서 물체의 3D 모델을 이용하여 시각화를 동적으로 발생시키는 것에 의해 실시간으로 장면에서 가려진 물체를 관찰하는 것을 가능하게 할 수 있다. 예시적 구현은 그렇지 않으면 관찰하는 것이 불가능할 수 있는 3D 공간에서의 상호작용을 시각화하기 위한 능력을 갖는, 급유 항공기(refueling aircraft) 또는 공중급유기 붐(tanker boom)과 같은, 액츄에이터의 오퍼레이터를 제공할 수 있다. 또한, 예시적 구현은 그렇지 않으면 주목받지 못하는 충돌의 표시(indication of collisions)를 제공할 수 있다. 더욱이, 예시적 구현은 툴링(tooling)의 조작이 요구되지만 직접적으로 볼 수 없는 경우를 위한 제조 또는 서비스에서 이용될 수 있다.
따라서, 본 발명은 제한없이 이하의 예시적 구현을 포함한다.
몇몇 예시적 구현은, 급유 항공기의 급유 붐의 조작을 돕기 위한 시스템으로, 시스템이: 피급유 항공기를 급유하기 위한 리셉터클을 갖춘 피급유 항공기의 이미지를 얻도록 구성된 급유 항공기 상의 카메라와; 카메라에 결합되고, 적어도, 피급유 항공기의 이미지 상의 지점으로부터, 포즈 추정 알고리즘 및 피급유 항공기의 이미지 상의 지점과 피급유 항공기의 3D 모델 상의 대응하는 지점 사이의 알려진 관계를 이용하여 카메라에 관한 피급유 항공기의 방향 및 위치를 결정하고; 피급유 항공기의 방향 및 위치를 기초로, 급유 항공기의 급유 붐 및 피급유 항공기의 리셉터클의 이격 거리 및 각각의 위치를 결정하며; 급유 붐과 리셉터클의 이격 거리 및 각각의 위치를 이용하여, 급유 항공기의 디스플레이 장치 상에, 급유 붐의 3D 모델과 리셉터클을 갖춘 피급유 항공기의 3D 모델의 측면 투시도이고, 급유 붐과 나란히 위치된 가상 카메라의 관점으로부터, 리셉터클의 현재 위치에 대한 급유 붐의 현재 위치를 나타내는, 디스플레이를 발생시키도록; 구성된, 급유 항공기 상의 프로세서;를 구비하여 구성되고, 리셉터클의 현재 위치에 대한 급유 붐의 현재 위치를 나타내는 측면 투시도의 디스플레이는 급유 항공기 상의 오퍼레이터가 리셉터클로 급유 붐을 관찰하여 안내할 수 있도록 하는 것을 특징으로 하는 급유 항공기의 급유 붐의 조작을 돕기 위한 시스템을 제공한다.
어느 상기 예시적 구현, 또는 상기 예시적 구현의 어느 조합의 시스템의 몇몇 예시적 구현에 있어서, 디스플레이를 발생시키도록 구성된 프로세서는 급유 붐 및 리셉터클의 이격 거리와 각각의 위치를 기초로 급유 붐의 3D 모델 및 피급유 항공기의 3D 모델의 위치를 검색하여 방향지우도록 구성되는 것을 포함한다.
어느 상기 예시적 구현, 또는 상기 예시적 구현의 어느 조합의 시스템의 몇몇 예시적 구현에 있어서, 디스플레이를 발생시키도록 구성되는 프로세서가 급유 붐과 피급유 항공기 사이의 충돌의 지점을 나타내는 측면 투시도 상에 표시를 오버레이하도록 구성되는 것을 포함한다.
어느 상기 예시적 구현, 또는 상기 예시적 구현의 어느 조합의 시스템의 몇몇 예시적 구현에 있어서, 시스템은 급유 붐의 3D 모델과 피급유 항공기의 3D 모델을 포함하는 저장 장치를 더 구비한다.
어느 상기 예시적 구현, 또는 상기 예시적 구현의 어느 조합의 시스템의 몇몇 예시적 구현에 있어서, 급유 항공기의 급유 붐의 각각의 위치는 급유 붐의 위치를 포함하고, 이격 거리 및 각각의 위치를 결정하도록 구성된 프로세서는 급유 붐 상의 하나 이상의 센서를 이용하여 급유 붐의 위치를 결정하도록 구성되는 것을 포함한다.
어느 상기 예시적 구현, 또는 상기 예시적 구현의 어느 조합의 시스템의 몇몇 예시적 구현에 있어서, 측면 투시도의 디스플레이는 급유 항공기 상의 오퍼레이터가 리셉터클로 급유 붐의 팁을 관찰하여 안내할 수 있도록 한다.
몇몇 예시적 구현은, 급유 항공기의 급유 붐의 조작을 돕기 위한 방법으로, 방법이: 급유 항공기 상의 카메라에 의해, 피급유 항공기를 급유하기 위한 리셉터클을 갖춘 피급유 항공기의 이미지를 얻는 단계와; 급유 항공기 상의 프로세서에 의해; 피급유 항공기의 이미지 상의 지점으로부터, 포즈 추정 알고리즘 및 피급유 항공기의 이미지 상의 지점과 피급유 항공기의 3D 모델 상의 대응하는 지점 사이의 알려진 관계를 이용하여 카메라에 관한 피급유 항공기의 방향 및 위치를 결정하는 단계; 피급유 항공기의 방향 및 위치를 기초로, 급유 항공기의 급유 붐 및 피급유 항공기의 리셉터클의 이격 거리 및 각각의 위치를 결정하는 단계; 급유 붐과 리셉터클의 이격 거리 및 각각의 위치를 이용하여, 급유 항공기의 디스플레이 장치 상에, 급유 붐의 3D 모델과 리셉터클을 갖춘 피급유 항공기의 3D 모델의 측면 투시도이고, 급유 붐과 나란히 위치된 가상 카메라의 관점으로부터, 리셉터클의 현재 위치에 대한 급유 붐의 현재 위치를 나타내는, 디스플레이를 발생시키는 단계;를 포함하고, 리셉터클의 현재 위치에 대한 급유 붐의 현재 위치를 나타내는 측면 투시도의 디스플레이는 급유 항공기 상의 오퍼레이터가 리셉터클로 급유 붐을 관찰하여 안내할 수 있도록 하는 것을 특징으로 하는 급유 항공기의 급유 붐의 조작을 돕기 위한 방법을 제공한다.
몇몇 예시적 구현은, 급유 항공기의 급유 붐의 조작을 돕기 위한 컴퓨터 판독가능 저장 매체로서, 컴퓨터 판독가능 저장 매체는 비-일시적이고 프로세서에 의한 실행에 응답하여 컴퓨터 시스템이 적어도: 급유 항공기 상의 카메라로부터 피급유 항공기를 급유하기 위한 리셉터클을 갖춘 피급유 항공기의 이미지를 얻고; 피급유 항공기의 이미지 상의 지점으로부터, 포즈 추정 알고리즘 및 피급유 항공기의 이미지 상의 지점과 피급유 항공기의 3D 모델 상의 대응하는 지점 사이의 알려진 관계를 이용하여 카메라에 관한 피급유 항공기의 방향 및 위치를 결정하고; 피급유 항공기의 방향 및 위치를 기초로, 급유 항공기의 급유 붐 및 피급유 항공기의 리셉터클의 이격 거리 및 각각의 위치를 결정하고; 급유 붐과 리셉터클의 이격 거리 및 각각의 위치를 이용하여, 급유 항공기의 디스플레이 장치 상에, 급유 붐의 3D 모델과 리셉터클을 갖춘 피급유 항공기의 3D 모델의 측면 투시도이고, 급유 붐과 나란히 위치된 가상 카메라의 관점으로부터, 리셉터클의 현재 위치에 대한 급유 붐의 현재 위치를 나타내는, 디스플레이를 발생시키고; 리셉터클의 현재 위치에 대한 급유 붐의 현재 위치를 나타내는 측면 투시도의 디스플레이는 급유 항공기 상의 오퍼레이터가 리셉터클로 급유 붐을 관찰하여 안내할 수 있도록 하는, 그 내에 저장된 컴퓨터 판독가능 프로그램 코드를 갖춘 것을 특징으로 하는 급유 항공기의 급유 붐의 조작을 돕기 위한 컴퓨터 판독가능 저장 매체를 제공한다.
본 발명의 이들 및 다른 특징, 측면 및 이점은 이하에서 간략히 설명되는 첨부된 도면과 함께 이하의 상세한 설명을 읽음으로써 명백해질 것이다. 본 발명은, 이러한 특징 또는 엘리먼트가 여기서 설명된 특정 실시 예에서 명시적으로 조합되거나 다른 방식으로 인용되는지의 여부에 관계없이, 본 발명에서 설명하는 2, 3, 4 또는 그 이상의 특징 또는 엘리먼트의 소정의 조합을 포함한다. 본 발명은 전체적으로 읽혀지도록 의도되어, 소정의 측면 및 예시적 구현에서, 본 발명의 개별적인 특징 또는 엘리먼트는 본 발명의 문맥이 명백하게 달리 지시되지 않는 한 결합가능한 것으로 간주되어야 한다.
따라서, 본 과제 해결수단은 본 발명의 몇몇 측면의 기본적인 이해를 제공하기 위해 몇몇 예시적 구현을 요약하기 위한 목적만으로 제공됨을 이해할 것이다. 따라서, 상기 설명된 예시적 구현은 단지 예일 뿐으로, 어떠한 방식으로도 본 발명의 범위 또는 사상을 좁히도록 해석되어서는 안됨을 이해할 것이다. 다른 예시적 구현, 측면 및 이점은, 몇몇 설명된 예시적 구현의 원리를 예로서 예시하는 첨부 도면들과 관련하여 취해진 이하의 상세한 설명으로부터 명백해질 것이다.
도 1a는 본 발명의 예시적 구현에 따른 시스템을 이용하는 예시적 급유 항공기(refueling aircraft) 및 급유를 받고 있는 항공기(receiving aircraft)를 예시한다
도 1b는 본 발명의 예시적 구현에 따른 시스템을 예시한다.
도 2는 다양한 예시적 구현 예에 따른 급유 붐(refueling boom)의 3D 모델과 리셉터클(receptacle)을 갖춘 피급유 항공기(receiver aircraft)의 3D 모델의 측면 투시도의 디스플레이를 예시한다.
도 3은 다양한 예시적 구현에 따른 급유 붐과 피급유 항공기 사이에서 충돌의 지점을 나타내는 측면 투시도의 디스플레이를 예시한다.
도 4는 다양한 예시적 구현에 따른 시스템의 구성을 예시한다.
도 5는 다양한 예시적인 구현 예에 따른 급유 항공기의 급유 붐의 조작을 돕는 방법의 다양한 동작을 예시하는 플로우차트이다.
도 6은 몇몇 예시적 구현에 따른 장치를 예시한다.
본 발명의 전부가 아닌 몇몇 구현이 도시되는 첨부 도면을 참조하여 본 발명의 몇몇 구현이 이하 더욱 완전하게 설명될 것이다. 실제로, 본 발명의 다양한 구현은 많은 다른 형태로 실시될 수 있고 여기서 설명된 구현으로 한정되는 것으로 해석되어서는 안되며; 오히려, 이들 예시적 구현이 제공되어 본 발명이 철저하고 완전하게 될 것이고, 본 발명의 범위를 당업자에게 완전히 전달할 것이다. 예컨대, 달리 지시되지 않는 한, 제1, 제2 등으로 언급된 것은 특정 순서를 암시하는 것으로 해석되어서는 안된다. 또한, 무엇인가가 다른 것 위에 있는 것으로 설명될 수 있고 (달리 명시되지 않는 한) 아래에 있을 수도 있고, 그 반대일 수도 있으며; 마찬가지로, 어떤 것의 왼쪽에 있는 것으로 설명된 것이 대신 오른쪽에 있을 수도 있고, 그 반대일 수도 있다. 동일한 도면 부호는 전체에 걸쳐 동일한 엘리먼트를 지칭한다.
본 발명의 예시적 구현은 일반적으로 가려진 물체의 조작을 돕는 것에 관한 것으로, 특히 가려진 물체의 3D 모델을 이용하여 가려진 물체의 조작을 돕는 것에 관한 것이다.
도 1a는 본 발명의 예시적 구현에 따른 시스템을 이용하는 예시적 급유 항공기(refueling aircraft) 및 급유를 받고 있는 항공기(receiving aircraft)를 예시한다. 도시된 바와 같이, 급유 항공기(11)는 급유 붐(12; refueling boom)을 통해 급유를 받고 있는 항공기(10)를 급유하고 있다. 급유 붐의 조작을 돕기 위한 (이하의 도 1b에 개시된) 시스템은 급유 항공기 에 있을 수 있다.
도 1b는 본 발명의 예시적 구현에 따른, 급유 항공기의 급유 붐의 조작을 돕기 위한 시스템(100)을 예시한다. 시스템은 여기서 간단히 "시스템"으로 언급될 수 있다.
시스템(100)은 하나 이상의 기능 또는 동작을 수행하기 위한 다수의 다른 서브시스템(각각 개별 시스템) 중 어는 것을 포함한다. 도시된 바와 같이, 몇몇 예에서, 시스템은 카메라(101), 급유 항공기 디스플레이 서브시스템(110)(여기서 "서브시스템"으로 또한 언급됨) 및 디스플레이 장치(106) 중 하나 이상을 포함한다. 또한 도시된 바와 같이, 급유 항공기 디스플레이 서브시스템은 포즈 추정 모듈(102; pose estimation module), 3D 물체 모델(103; 3D object models), 방향 모듈(104; orientation module) 및 렌더링 모듈(105; rendering module)을 포함할 수 있다. 카메라, 서브시스템 및 디스플레이 장치는 함께 배치되거나 서로에 대해 직접 결합되고, 또는 몇몇 예에서는 하나 이상의 컴퓨터 네트워크를 가로질러 서로 통신할 수 있다. 더욱이, 시스템의 일부로서 도시되었음에도 불구하고, 포즈 추정 모듈, 3D 물체 모델, 방향 모듈, 또는 렌더링 모듈 중 어느 하나 이상은 다른 서브시스템의 어느 것에 관계하는 것 없이 개별 시스템으로서 기능하거나 동작할 수 있음이 이해되어야 한다. 또한, 시스템은 도 1b에 도시된 것 외에 하나 이상의 부가 또는 대체 서브시스템을 포함할 수 있음을 이해해야 한다.
몇몇 예에 있어서, 급유 항공기의 카메라(101)는 피급유 항공기를 급유하기 위한 리셉터클을 갖춘 피급유 항공기의 이미지를 얻도록 구성된다. 일례에 있어서, 피급유 항공기는 비행 중일 수 있고, 급유 항공기는 급유 붐을 통해 피급유 항공기를 급유하기 위한 임무를 수행하기 위해 비행 중일 수 있다. 카메라는 이미지 캡쳐(image capture)에 의해 이미지를 얻을 수 있고, 서브시스템(110)은 카메라로부터 이미지를 얻을 수 있다.
카메라(101)로부터 이미지를 얻은 후, 몇몇 예에서, 급유 항공기 디스플레이 서브시스템(110) 또는 특히 그 포즈 추정 모듈(102)은, 피급유 항공기의 이미지 상의 지점으로부터, 포즈 추정 알고리즘(pose estimation algorithm) 및 피급유 항공기의 이미지 상의 지점과 피급유 항공기의 3D 모델 상의 대응하는 지점 간의 알려진 관계 이용하여 카메라에 대한 피급유 항공기의 방향 및 위치를 결정하도록 구성된다. 일례에 있어서, 피급유 항공기의 3D 모델은 3D 물체 모델(103)에 저장된다.
몇몇 예에 있어서, 피급유 항공기의 방향 및 위치를 기초로, 방향 모듈 (104)은 급유 항공기의 급유 붐 및 피급유 항공기의 리셉터클의 이격 거리(separation distance) 및 각각의 위치를 결정하도록 구성된다. 몇몇 예에 있어서, 급유 항공기의 급유 붐의 각각의 위치는 급유 붐의 위치를 포함하고, 방향 모듈은 급유 붐 상의 하나 이상의 위치 센서를 이용하여 급유 붐의 위치를 결정하도록 구성된다. 일례에 있어서, 방향 모듈은 급유 붐과 피급유 항공기 사이의 충돌의 지점을 결정하도록 구성된 간섭 계산 모듈(1041; interference calculation module)을 포함한다.
몇몇 예에 있어서, 렌더링 모듈(105)은 급유 붐 및 리셉터클의 이격 거리 및 각각의 위치를 이용하여 급유 항공기의 디스플레이 장치(106) 상에서 디스플레이를 발생시키도록 구성된다. 디스플레이는 리셉터클을 갖춘 피급유 항공기의 3D 모델 및 연료 급유 붐의 3D 모델의 측면 투시도를 예시하고, 급유 붐과 나란히 위치된 가상 카메라의 관점으로부터, 리셉터클의 현재 위치에 대한 급유 붐의 현재 위치를 예시한다. 리셉터클의 현재 위치에 관한 급유 붐의 현재 위치를 예시하는 측면 투시도의 디스플레이는 급유 항공기의 오퍼레이터가 리셉터클로 급유 붐을 관찰하여 안내할 수 있게 한다.
몇몇 예에 있어서, 시스템(100)은 급유 붐의 3D 모델 및 피급유 항공기의 3D 모델을 포함하는 저장 장치를 더 구비한다. 일례에 있어서, 저장 장치(storage device)는 (도 6의 아래쪽에 도시 된바와 같은) 메모리 일 수 있거나 별도의 저장 장치일 수 있다. 저장 장치는 3D 물체 모델(103)을 저장할 수 있다. 포즈 추정 모듈(102) 및 방향 모듈(104)은 저장 장치로부터 급유 붐의 3D 모델 및 피급유 항공기의 3D 모델을 검색할 수 있다.
디스플레이를 발생시키기 위해, 몇몇 예에 있어서, 렌더링 모듈(105)은 리셉터클 및 급유 붐의 각각의 위치 및 이격 거리를 기초로 피급유 항공기의 3D 모델과 급유 붐의 3D 모델의 위치를 검색하여 방향지우도록 구성된다. 몇몇 예에서, 렌더링 모듈은 급유 붐과 피급유 항공기 사이의 충돌의 지점을 나타내는 측면 투시도 상에 표시(indicia)를 오버레이(overlay)하도록 구성된다.
상기 설명한 바와 같이, 렌더링 모듈(105)은 급유 항공기의 오퍼레이터가 리셉터클로 급유 붐을 관찰하여 안내할 수 있도록 디스플레이를 발생시킬 수 있다. 몇몇 예에 있어서, 측면 투시도의 디스플레이는 급유 항공기의 오퍼레이터가 리셉터클로 급유 붐의 팁(tip)을 관찰하여 안내할 수 있게 한다.
도 2는 다양한 예시적 구현에 따른, 시스템(100)의 렌더링 모듈(105)에 의해 발생된 리셉터클(202)을 갖춘 급유 붐(211)의 3D 모델 및 피급유 항공기(201)의 3D 모델의 측면 투시도의 디스플레이(200)를 예시한다. 도 2는 급유 항공기의 급유 붐과 피급유 항공기 간의 상호작용의 시각화의 예를 예시한다. 본 예에 있어서, 인간 또는 자동화 시스템일 수 있는 급유 항공기의 오퍼레이터는 급유 붐의 팁(212)을 피급유 항공기 상의 리셉터클로 안내하기 위해 시도하고 있다. 급유 붐 그 자체는 오퍼레이터의 관점으로부터 팁을 가릴 수 있다. 다른 예에 있어서, 팁은 완만한 각도(shallow angle)에서 관찰될 수 있다. 완만한 각도에서의 가려짐(obscurity) 또는 관점(viewpoint)은 팁과 리셉터클 사이의 정렬을 어렵게 할 수 있다.
일례에 있어서, 도 2의 디스플레이(200)는 합성 관점(synthetic viewpoint)으로부터의 측면 투시도의 연출을 나타낸다. 측면 투시도는 리셉터클(202)의 현재 위치에 관한 급유 붐(211)의 현재 위치를 예시하는 장면을 포함한다. 도 2에 도시된 장면에 있어서, 장면의 모든 물체(예컨대, 리셉터클을 갖춘 피급유 항공기(201) 및 팁(212)을 갖춘 급유 붐)는 3D 모델에 의해 표현된다. 급유 붐의 위치는 지시된 관절 위치(commanded articulation positions)에 대한 지식으로부터 추론되거나 급유 붐 상의 센서에 의해 측정될 수 있다. 부가적인 힘이 급유 붐을 편향시키는 경우에, 이미지 처리는 급유 붐 또는 팁(212)의 위치의 추정을 개선하기 위해 급유 붐의 구조 상의 특정 지점을 식별하는데 이용될 수 있다. 피급유 항공기는 위치가 센서에 의해 직접 측정되지 않을 수 있는 물체일 수 있다. 대신, 피급유 항공기의 위치는 급유 항공기 상의 카메라(101)에 의해 얻어진 이미지를 기초로 측정될 수 있다. 예컨대, 6D 공간(예컨대, 3D 위치 및 3D 방향)에서의 피급유 항공기의 방향, 또는 포즈는 측정된 이미지 좌표 또는 이미지의 지점 상에서 동작하는 포즈 추정 알고리즘을 이용하여 결정될 수 있다. 측정된 이미지 좌표 또는 지점은 피급유 항공기의 3D 모델 상에서 대응하는 알려진 지점을 갖는다.
일례에 있어서, 디스플레이(200)는 렌더링 모듈(105)에 의해 발생되고 급유 항공기의 디스플레이 장치(106) 상에 디스플레이되는 합성 이미지일 수 있다. 디스플레이는 급유 붐(211)의 3D 모델 및 리셉터클(202)을 갖춘 피급유 항공기(201)의 3D 모델의 측면 투시도를 예시한다. 측면 투시도의 디스플레이는 급유 항공기 상의 오퍼레이터가 리셉터클로 급유 붐을 관측하여 안내할 수 있게 한다. 즉, 급유 붐과 나란히 위치된 가상 카메라가 있으면 측면 투시도가 생성되어 측면 투시도를 캡쳐한다. 도 2에 도시 된 바와 같이, 급유 항공기의 오퍼레이터의 관점으로부터 가려질 수 있는 급유 붐의 팁(212)이 급유 항공기의 디스플레이 장치 상에서 디스플레이된 디스플레이(합성 이미지)에서 보여질 수 있다.
도 3은 다양한 실시 예에 따른, 시스템(100)의 렌더링 모듈(105)에 의해 발생된 급유 붐(211)과 피급유 항공기(201) 사이의 충돌 지점을 나타내는 측면 투시도의 디스플레이(300)를 예시한다. 상기한 바와 같이, 몇몇 예에 있어서, 렌더링 모듈(105)은 급유 붐과 피급유 항공기 사이의 충돌 지점을 나타내는 측면 투시도 상에 표시를 오버레이하도록 구성된다. 도 3은 충돌 지점(301 및 302)을 나타내기 위해 주석이 달린 표시(annotated indicia)를 포함하는 디스플레이를 나타낸다. 충돌 지점은 팁(212)과 피급유 항공기 또는 리셉터클(202) 사이의 실제 또는 잠재적인 충돌 또는 접촉(예컨대, 스크래치(scratches))을 나타낼 수 있다. 일례에 있어서, 급유 붐과 피급유 항공기 간의 충돌은 6D 공간(예컨대, 3D 위치 및 3D 방향)에서의 그들의 방향을 기초로 간섭 계산 모듈(1041)에 의해 계산될 수 있다. 충돌은 급유 붐과 피급유 항공기 사이에서 접촉이 발생했거나 발생하려고 하는 것을 오퍼레이터에게 경고하기 위해 디스플레이될 수 있다.
일례에 있어서, 디스플레이(200 또는 300)는 합성 시각화(synthetic visualization)를 제공할 수 있고, 시스템(100)은 실시간으로 또는 프로세서의 속도에 의해서만 제한되는 작은 처리 지연으로 충돌 경고를 계산하여 제공할 수 있다.
도 4는 다양한 예시적인 구현에 따른 시스템(100)의 아키텍처(400)를 예시한다. 도시된 바와 같이, 복수의 물체, 예컨대 물체(401, 402 및 403)는 장면에 존재할 수 있는 물체이다. 물체(401) 및 물체(402)는 각각의 위치 센서(404 및 405)를 가질 수 있다. 센서(404 및 405)는 물체(401 및 402)에 부착되어 각각의 물체(401 및 402)의 위치를 직접 측정할 수 있다. 일례에 있어서, 물체(401 및 402)는 각각의 급유 붐(211) 및 팁(212)일 수 있다.
물체(403)는 센서를 통해 직접 측정되지 않을 수 있다. 대신, 물체의 위치는 급유 항공기 상의 (카메라(101)에 대응하는) 카메라(406)에 의해 얻어진 이미지를 기초로 간접적으로 측정될 수 있다. 이미지는 포즈 추정 알고리즘을 이용하여 (포즈 추정 모듈(102)에 대응하는) 포즈 추정 모듈(407)을 통해 분석될 수 있다. 포즈 추정 모듈은 알려진 3D 관계를 갖춘 이미지의 특징 지점의 장소를 발견 할 수 있고, 물체의 자세(attitude), 방향 및 위치(포즈)를 계산하도록 관계를 이용할 수 있다. 일례에 있어서, 물체는 리셉터클(202)을 갖춘 피급유 항공기(201)일 수 있다.
일례에 있어서, 물체(401, 402 및 403)의 직접 또는 간접적으로 측정된 위치 데이터는 (방향 모듈(104)에 대응하는) 방향 모듈(409)로 보내진다. 방향 모듈은 (3D 물체 모델(103)에 대응하는) 3D 물체 모델(408)로부터 물체(401, 402 및 403)의 3D 모델을 검색할 수 있다. 3D 물체 모델은 장면에 나타날 것으로 예상될 수 있는 알려진 물체의 3D 모델을 포함할 수 있다. 방향 모듈은 위치 데이터로부터 물체의 위치, 방향 및 자세를 측정하고 이 정보를 물체의 적절한 3D 모델과 연관시킬 수 있다. 방향 모듈은 위치 데이터를 기초로 물체의 이격 거리 및 각각의 위치를 결정할 수 있다. 일례에 있어서, 방향 모듈은 (간섭 계산 모듈(1041)에 대응하는) 간섭 계산 모듈(410)이 충돌 경고 또는 인디케이터(indicator)가 발생될 수 있는 물체 간의 공간 중첩(spatial overlap)(간섭;interference)을 결정하도록 할 수 있다.
일례에 있어서, (렌더링 모듈(105)에 대응하는) 렌더링 모듈(411)은 물체 (401, 402 및 403)의 3D 모델을 그들의 측정된 위치 및 방향으로 렌더링하여 외부적으로 정의된 관점(412)으로부터 장면의 합성 이미지를 생성할 수 있다. 일례에 있어서, 오퍼레이터는 임의로 관점을 선택할 수 있다. 합성 이미지는 사람이 볼 수 있도록 (디스플레이(106)에 대응하는) 디스플레이(413) 상에 제공될 수 있다. 따라서, 렌더링 모듈은 임의의 관점으로부터 장면의 합성 표현을 렌더링할 수 있다. 렌더링 모듈은 렌더링 하드웨어 또는 소프트웨어를 포함할 수 있다. 여기서 이용되는 바와 같이, 용어 모듈은 하나 이상의 기능을 수행하도록 동작하는 하드웨어 시스템 및/또는 소프트웨어 모듈을 포함할 수 있다. 예컨대, 포즈 추정 모듈, 방향 추정 모듈 및 렌더링 모듈은 컴퓨터 프로세서, 컨트롤러, 또는 이전에 설명된 기능 및 예컨대, 컴퓨터 메모리와 같은 유형(tangible) 및 비-일시적 컴퓨터 판독 가능 저장 매체(non-transitory computer readable storage medium) 상에 저장된 명령를 기초로, 이하 도 5의 플로우차트를 달성하기 위한 동작을 수행하는 다른 로직-기반 장치(logic-based device)를 포함할 수 있다. 대안적으로, 포즈 추정 모듈, 방향 추정 모듈, 렌더링 모듈 및 시스템은 장치의 고정 배선 논리(hard-wired logic)를 기초로 동작을 수행하는 고정 배선 장치를 포함할 수 있다. 첨부된 도면에서 설명된 모듈 및 도시된 플로우차트는 소프트웨어 명령 및 하드웨어 로직, 하드웨어가 동작을 수행하도록 지시하는 소프트웨어, 또는 이들의 조합를 기초로 동작하는 하드웨어를 나타낼 수 있다.
일례에 있어서, 렌더링 모듈(411)은 물체(401, 402 및 403)의 실제 측정된 위치 및 방향에 의해 구동될 수 있고, 가상 장면 및 충돌 경고를 발생시키기 위한 엔진으로서 기능할 수 있다. 물체의 추정된 위치 및 방향은 합성 장면의 실시간 업데이트를 제공하기 위해 렌더링 모듈에 의해 입력으로 이용될 수 있다. 물체의 추정된 위치 및 방향은 또한 두 표면이 공간에서 얼마나 가깝게 있는지의 인디케이터로서 이용될 수 있고, 두 표면이 충돌할 때 경고를 제공하기 위해 이용될 수 있다. 렌더링 모듈은 수동으로 물체를 조작하기 위해 시도할 수 있는 사람 관찰자에게 실시간 이미지를 제공할 수 있다. 일례에 있어서, 장면의 물체가 알려지지 않았지만 제한된 가능성의 세트로부터 있는 것이라면, 부가 이미지 프로세싱이 물체 사이에서 식별하고 구별하도록 시스템(100)에 의해 수행될 수 있다.
도 5는 다양한 예시적 구현에 따른, 급유 항공기의 급유 붐(211)의 조작을 돕는 방법(500)의 다양한 동작을 예시하는 플로우차트이다. 도시된 바와 같이, 블록(501)에서, 방법(500)은, 급유 항공기 상의 카메라(101)에 의해, 피급유 항공기를 급유하기 위한 리셉터클(202)을 갖춘 피급유 항공기(201)의 이미지를 얻는 것을 포함한다.
블록(502)에서, 방법(500)은, 피급유 항공기(201)의 이미지 상의 지점으로부터, 포즈 추정 알고리즘 및 피급유 항공기의 이미지 상의 지점과 피급유 항공기의 3D 모델 상의 대응하는 지점 간의 알려진 관계를 이용하여 카메라(101)에 대한 피급유 항공기의 방향 및 위치를 결정하는 것을 포함한다. 블록(503)에서, 방법은, 피급유 항공기의 방향 및 위치를 기초로, 급유 항공기의 급유 붐(211) 및 피급유 항공기의 리셉터클(202)의 이격 거리 및 각각의 위치를 결정하는 것을 포함한다.
블록(504)에서, 방법(500)은, 급유 붐(211) 및 리셉터클(202)의 이격 거리 및 각각의 위치를 이용하여, 급유 항공기의 디스플레이 장치(106) 상에 디스플레이를 발생시키는 것을 포함하고, 디스플레이는 리셉터클을 갖춘 피급유 항공기(201)의 3D 모델 및 급유 붐의 3D 모델의 측면 투시도로서, 급유 붐과 나란히 위치된 가상 카메라의 관점으로부터 리셉터클의 현재 위치에 대한 급유 붐의 현재 위치를 예시한다. 몇몇 예에 있어서, 리셉터클의 현재 위치에 대한 급유 붐의 현재 위치를 예시하는 측면 투시도의 디스플레이는 급유 항공기 상의 오퍼레이터가 급유 붐을 리셉터클로 관찰하여 안내할 수 있게 한다.
본 발명의 예시적 구현에 따르면, 급유 항공기 디스플레이 서브시스템(110) 및 그 포즈 추정 모듈(102), 3D 물체 모델(103), 방향 모듈(104) 및 렌더링 모듈(105)은 다양한 수단에 의해 구현될 수 있다. 이들 수단은 하드웨어 단독, 또는 컴퓨터 판독가능 저장 매체로부터의 하나 이상의 컴퓨터 프로그램의 지시 하에서의 하드웨어를 포함할 수 있다. 몇몇 예에 있어서, 하나 이상의 장치는 여기에 도시되고 설명된 급유 항공기 디스플레이 서브시스템(110)으로서 기능하거나 구현하도록 구성될 수 있다. 하나 이상의 장치를 포함하는 예에 있어서, 각각의 장치는 유선 또는 무선 네트워크 등을 매개로 직접적으로 또는 간접적으로 다수의 다른 방식으로 서로 연결되거나 통신할 수 있다.
도 6은 몇몇 예시적 구현에 따른 장치(600)를 도시한다. 일반적으로, 본 발명의 예시적인 구현의 장치는 하나 이상의 고정식 또는 휴대용 전자 장치를 구비, 포함 또는 내장할 수 있다. 적절한 전자 장치의 예는 스마트폰, 태블릿 컴퓨터, 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크스테이션 컴퓨터, 서버 컴퓨터 등을 포함한다. 장치는 예컨대, 메모리(602)(예컨대, 저장 장치)에 연결된 프로세서(601)(예컨대, 처리 회로)와 같은 다수의 구성요소 각각의 하나 이상을 포함할 수 있다. 몇몇 예에서, 장치(600)는 급유 항공기 디스플레이 서브시스템 (110)을 구현한다.
프로세서(601)는 단독으로 또는 하나 이상의 메모리와 조합하여 하나 이상의 프로세서로 구성될 수 있다. 프로세서는 일반적으로, 예컨대 데이터, 컴퓨터 프로그램 및/또는 다른 적절한 전자 정보와 같은 정보를 처리할 수 있는 컴퓨터 하드웨어의 소정 부분이다. 프로세서는 집적 회로 또는 다수 상호연결된 집적 회로 (더욱 일반적으로 때로는 "칩"이라고 불리는 집적 회로)로 패키징될 수 있는 전자 회로의 집합으로 구성된다. 프로세서는, 프로세서 상에 저장될 수 있거나 그렇지 않으면 (동일 또는 다른 장치의) 메모리(602)에 저장될 수 있는, 컴퓨터 프로그램을 실행하도록 구성될 수 있다.
프로세서(601)는 특정 구현 예에 따라 다수의 프로세서, 멀티-코어 프로세서(multi-core processor) 또는 몇몇 다른 형태의 프로세서일 수 있다. 더욱이, 프로세서는 메인 프로세서가 단일 칩 상에 하나 이상의 2차 프로세서(secondary processors)와 함께 존재하는 다수의 이종 프로세서 시스템을 이용하여 구현될 수 있다. 또 다른 예시적인 예로서, 프로세서는 동일한 형태의 다수 프로세서를 포함하는 대칭 다중-프로세서 시스템(symmetric multi-processor system)일 수 있다. 또 다른 예에 있어서, 프로세서는 하나 이상의 ASIC, FPGA 등으로 실시되거나 그렇지 않으면 포함할 수 있다. 따라서, 프로세서가 하나 이상의 기능을 수행하기 위해 컴퓨터 프로그램을 실행할 수 있음에도 불구하고, 다양한 예의 프로세서가 컴퓨터 프로그램의 도움없이 하나 이상의 기능을 수행할 수 있다. 어느 경우에 있어서도, 프로세서는 본 발명의 예시적 구현에 따른 기능 또는 동작을 수행하도록 적절하게 프로그래밍될 수 있다.
메모리(602)는 일반적으로 데이터, 컴퓨터 프로그램(예컨대, 컴퓨터 판독가능 프로그램 코드(603)) 및/또는 일시적 기반 및/또는 영구적 기반의 어느 한쪽의 다른 적절한 정보와 같은 정보를 저장할 수 있는 컴퓨터 하드웨어의 소정의 부분이다. 메모리는 휘발성 및/또는 비휘발성 메모리를 포함할 수 있고, 고정되거나 제거가능할 수 있다. 적절한 메모리의 예는 RAM(random access memory), ROM(read-only memory), 하드 드라이브, 플래시 메모리, 썸 드라이브(thumb drive), 제거가능 컴퓨터 디스켓, 광학 디스크, 자기 테이프 또는 상기의 몇몇 조합을 포함한다. 광학 디스크는 CD-ROM(compact disk-read only memory), CD-R/W(compact disk-read/write), DVD 등을 포함할 수 있다. 다양한 예에 있어서, 메모리는 컴퓨터 판독가능 저장 매체로 지칭될 수 있다. 컴퓨터 판독가능 저장 매체는 정보를 저장할 수 있는 비-일시적인 장치이고, 한 장소에서 다른 장소로 정보를 전달할 수 있는 전자 일시적 신호와 같은 컴퓨터 판독가능한 전송 매체와 구별가능하다. 여기에 개시된 컴퓨터 판독가능 매체는 일반적으로 컴퓨터 판독가능 저장 매체 또는 컴퓨터 판독가능 전송 매체를 지칭할 수 있다.
메모리(602)에 부가하여, 프로세서(601)는 또한 정보를 디스플레이, 전송 및/또는 수신하기 위한 하나 이상의 인터페이스에 연결될 수 있다. 인터페이스는 통신 인터페이스(604) (예컨대, 통신 유닛) 및/또는 하나 이상의 이용자 인터페이스를 포함할 수 있다. 통신 인터페이스는 다른 장치(들), 네트워크(들) 등에 대해 정보를 전송 및/또는 수신하도록 구성될 수 있다. 통신 인터페이스는 물리적(유선) 및/또는 무선 통신 링크에 의해 정보를 전송 및/또는 수신하도록 구성될 수 있다. 적절한 통신 인터페이스의 예는 네트워크 인터페이스 컨트롤러(NIC; network interface controller), WNIC(wireless NIC) 등을 포함한다.
이용자 인터페이스는 디스플레이(606) 및/또는 하나 이상의 이용자 입력 인터페이스(605)(예컨대, 입력/출력 유닛)를 포함할 수 있다. 디스플레이는 이용자에게 정보를 제공하거나 디스플레이하도록 구성될 수 있고, 그 적절한 예는 액정 디스플레이(LCD), 발광 다이오드 디스플레이(LED), 플라즈마 디스플레이 패널(PDP) 등을 포함한다. 이용자 입력 인터페이스는 유선 또는 무선일 수 있고, 처리, 저장 및/또는 디스플레이와 같은 이용자로부터 장치로 정보를 수신하도록 구성될 수 있다. 이용자 입력 인터페이스의 적절한 예는 마이크로폰, 이미지 또는 비디오 캡쳐 장치, 키보드 또는 키패드, 조이스틱, (터치 스크린으로부터 분리되거나 통합된) 터치-감응형 표면(touch-sensitive surface), 생체 센서(biometric sensor) 등을 포함한다. 이용자 인터페이스는 프린터, 스캐너 등과 같은 주변 기기와 통신하기 위한 하나 이상의 인터페이스를 더 포함할 수 있다. 몇몇 예에 있어서, 이용자 인터페이스는 GUI(106)를 포함한다.
상기한 바와 같이, 프로그램 코드 명령은 메모리에 저장될 수 있고, 여기서 설명된 시스템, 서브시스템, 툴 및 이들 각각의 엘리먼트의 기능을 구현하도록, 이에 의해 프로그램된 프로세서에 의해 실행될 수 있다. 알 수 있는 바와 같이, 소정의 적절한 프로그램 코드 명령이 특정 기계를 생산하기 위해 컴퓨터 판독가능 저장 매체로부터 컴퓨터 또는 다른 프로그램가능 장치 상으로 로딩될 수 있어, 특정 기계가 여기서 특정된 기능을 구현하기 위한 수단이 된다. 이들 프로그램 코드 명령은 또한 그에 의해 제조의 특정 기계 또는 특정 물품을 발생시키기 위한 특정 방식으로 기능하도록 컴퓨터, 프로세서 또는 다른 프로그램가능 장치를 지시할 수 있는 컴퓨터 판독가능 저장 매체에 저장될 수 있다. 컴퓨터 판독가능 저장 매체에 저장된 명령은 제조 물품을 생산할 수 있고, 제조 물품은 여기서 설명된 기능을 구현하기 위한 수단이 된다. 컴퓨터, 프로세서 또는 다른 프로그램가능 장치 상에서 수행되어지거나 그에 의해 수행되는 동작을 실행하도록 컴퓨터, 프로세서 또는 다른 프로그램가능 장치를 구성하기 위해 프로그램 코드 명령은 컴퓨터 판독가능 저장 매체로부터 검색되어 컴퓨터, 프로세서 또는 다른 프로그램가능 장치에 로딩될 수 있다.
프로그램 코드 명령의 검색, 로딩 및 실행은 한번에 하나의 명령이 검색되고, 로딩되며, 실행되도록 순차적으로 수행될 수 있다. 몇몇 예시적 구현에 있어서, 검색, 로딩 및/또는 실행은 다수 명령이 함께 검색, 로딩 및/또는 실행되도록 병렬로 수행될 수 있다. 프로그램 코드 명령의 실행은 컴퓨터, 프로세서 또는 다른 프로그램가능 장치에 의해 실행되는 명령이 여기에 개시된 기능을 구현하기 위한 동작을 제공하도록 컴퓨터 구현 프로세스를 생산할 수 있다.
프로세서에 의한 명령의 실행, 또는 컴퓨터 판독가능 저장 매체의 명령의 저장은 특정 기능을 수행하기 위한 동작의 조합을 지원한다. 이러한 방식에 있어서, 장치(600)는 프로세서(601) 및 프로세서에 결합된 컴퓨터 판독가능 저장 매체 또는 메모리(602)를 포함할 수 있고, 프로세서는 메모리에 저장된 컴퓨터 판독가능 프로그램 코드(603)를 실행하도록 구성된다. 또한, 하나 이상의 기능 및 기능의 조합이 특정 기능을 수행하는 특수 목적 하드웨어 기반 컴퓨터 시스템 및/또는 프로세서, 또는 특수 목적 하드웨어 및 프로그램 코드 명령의 조합에 의해 구현될 수 있음을 이해할 것이다.
본 발명의 예시적 구현은 상기한 바와 같이 급유 항공기의 급유 붐의 조작을 돕기 위한 즉각적인 응용을 발견할 수 있다. 본 발명의 예시적 구현은 물체 상호작용의 직접적인 관점이 바람직하지만 달성이 불가능한 소정의 상황에도 적용될 수 있다. 적절한 물체 포즈 추정기와 결합된, 본 발명의 예시적 구현은, 예컨대 유도로(taxiway) 상의 다수 항공기의 장소를 시각화하고 충돌 회피를 돕도록 그들의 근접성(proximity)을 계산하는데 이용될 수 있다. 다른 예에 있어서, 본 발명의 예시적 구현은 위성 상에서 작업을 수행할 필요가 있는 로봇 암을 조작하기 위해 이용될 수 있다.
더욱이, 본 발명은 이하의 항목에 따른 실시 예를 구비한다 :
항목 1. 급유 항공기의 급유 붐(211)의 조작을 돕기 위한 시스템(100)으로, 시스템이:
피급유 항공기를 급유하기 위한 리셉터클(202)을 갖춘 피급유 항공기(201)의 이미지를 얻도록(501) 구성된 급유 항공기 상의 카메라(101)와;
카메라에 결합되고, 적어도
피급유 항공기의 이미지 상의 지점으로부터, 포즈 추정 알고리즘 및 피급유 항공기의 이미지 상의 지점과 피급유 항공기의 3D 모델 상의 대응하는 지점 사이의 알려진 관계를 이용하여 카메라에 관한 피급유 항공기의 방향 및 위치를 결정하고(502);
피급유 항공기의 방향 및 위치를 기초로, 급유 항공기의 급유 붐 및 피급유 항공기의 리셉터클의 이격 거리 및 각각의 위치를 결정하며(503);
급유 붐과 리셉터클의 이격 거리 및 각각의 위치를 이용하여, 급유 항공기의 디스플레이 장치(106) 상에, 급유 붐의 3D 모델과 리셉터클을 갖춘 피급유 항공기의 3D 모델의 측면 투시도이고, 급유 붐과 나란히 위치된 가상 카메라의 관점으로부터, 리셉터클의 현재 위치에 대한 급유 붐의 현재 위치를 나타내는, 디스플레이(200, 300)를 발생시키도록(504); 구성된, 급유 항공기 상의 프로세서(601);를 구비하여 구성되고,
리셉터클의 현재 위치에 대한 급유 붐의 현재 위치를 나타내는 측면 투시도의 디스플레이는 급유 항공기 상의 오퍼레이터가 리셉터클로 급유 붐을 관찰하여 안내할 수 있도록 하는 것을 급유 항공기의 급유 붐(211)의 조작을 돕기 위한 시스템(100).
항목 2. 항목 1의 시스템(100)으로, 디스플레이(200, 300)를 발생시키도록 구성된 프로세서(601)는 급유 붐 및 리셉터클(202)의 이격 거리와 각각의 위치를 기초로 급유 붐(211)의 3D 모델 및 피급유 항공기(201)의 3D 모델의 위치를 검색하여 방향지우도록 구성되는 것을 포함한다.
항목 3. 항목 1의 시스템(100)으로, 디스플레이(200, 300)를 발생시키도록 구성되는 프로세서가 급유 붐(211)과 피급유 항공기(201) 사이의 충돌의 지점(301)을 나타내는 측면 투시도 상에 표시를 오버레이하도록 구성되는 것을 포함한다.
항목 4. 항목 1의 시스템(100)으로, 급유 붐(211)의 3D 모델과 피급유 항공기(201)의 3D 모델을 포함하는 저장 장치(602)를 더 구비한다.
항목 5. 항목 1의 시스템(100)으로, 급유 항공기의 급유 붐(211)의 각각의 위치는 급유 붐의 위치를 포함하고, 이격 거리 및 각각의 위치를 결정하도록 구성된 프로세서(601)는 급유 붐 상의 하나 이상의 센서 (404, 405)를 이용하여 급유 붐의 위치를 결정하도록 구성되는 것을 포함한다.
항목 6. 항목 1의 시스템(100)으로, 측면 투시도의 디스플레이(200, 300)는 급유 항공기 상의 오퍼레이터가 리셉터클(202)로 급유 붐(211)의 팁(212)을 관찰하여 안내할 수 있도록 한다.
항목 7. 급유 항공기의 급유 붐(211)의 조작을 돕기 위한 방법(100)으로, 방법이:
급유 항공기 상의 카메라(101)에 의해, 피급유 항공기를 급유하기 위한 리셉터클(202)을 갖춘 피급유 항공기(201)의 이미지를 얻는 단계(501)와; 급유 항공기 상의 프로세서(601)에 의해;
피급유 항공기의 이미지 상의 지점으로부터, 포즈 추정 알고리즘 및 피급유 항공기의 이미지 상의 지점과 피급유 항공기의 3D 모델 상의 대응하는 지점 사이의 알려진 관계를 이용하여 카메라에 관한 피급유 항공기의 방향 및 위치를 결정하는 단계(502);
피급유 항공기의 방향 및 위치를 기초로, 급유 항공기의 급유 붐 및 피급유 항공기의 리셉터클의 이격 거리 및 각각의 위치를 결정하는 단계(503);
급유 붐과 리셉터클의 이격 거리 및 각각의 위치를 이용하여, 급유 항공기의 디스플레이 장치(106) 상에, 급유 붐의 3D 모델과 리셉터클을 갖춘 피급유 항공기의 3D 모델의 측면 투시도이고, 급유 붐과 나란히 위치된 가상 카메라의 관점으로부터, 리셉터클의 현재 위치에 대한 급유 붐의 현재 위치를 나타내는, 디스플레이(200, 300)를 발생시키는 단계(504);를 포함하고,
리셉터클의 현재 위치에 대한 급유 붐의 현재 위치를 나타내는 측면 투시도의 디스플레이는 급유 항공기 상의 오퍼레이터가 리셉터클로 급유 붐을 관찰하여 안내할 수 있도록 하는 급유 항공기의 급유 붐(211)의 조작을 돕기 위한 방법(500).
항목 8. 항목 7의 방법(500)으로, 디스플레이(200, 300)를 발생시키는 단계는 급유 붐 및 리셉터클(202)의 이격 거리와 각각의 위치를 기초로 급유 붐(211)의 3D 모델 및 피급유 항공기(201)의 3D 모델의 위치를 검색하여 방향지우는 단계를 포함한다.
항목 9. 항목 7의 방법(500)으로, 디스플레이(200, 300)를 발생시키는 단계는 급유 붐(211)과 피급유 항공기(201) 사이의 충돌의 지점(301)을 나타내는 측면 투시도 상에 표시를 오버레이하는 단계를 포함한다.
항목 10. 항목 7의 방법(500)으로, 저장 장치(602)로부터 급유 붐(211)의 3D 모델과 피급유 항공기(201)의 3D 모델을 검색하는 단계를 더 포함한다.
항목 11. 항목 7의 방법(500)으로, 급유 항공기의 급유 붐(211)의 각각의 위치는 급유 붐의 위치를 포함하고, 이격 거리 및 각각의 위치를 결정하는 단계는 급유 붐 상의 하나 이상의 센서 (404, 405)를 이용하여 급유 붐의 위치를 결정하는 단계를 포함한다.
항목 12. 항목 7의 방법(500)으로, 측면 투시도의 디스플레이(200, 300)는 급유 항공기 상의 오퍼레이터가 리셉터클(202)로 급유 붐(211)의 팁(212)을 관찰하여 안내할 수 있도록 한다.
항목 13. 급유 항공기(211)의 급유 붐의 조작을 돕기 위한 컴퓨터 판독가능 저장 매체(602)로서, 컴퓨터 판독가능 저장 매체는 비-일시적이고 프로세서(601)에 의한 실행에 응답하여 컴퓨터 시스템(110)이 적어도:
급유 항공기 상의 카메라(101)로부터 피급유 항공기를 급유하기 위한 리셉터클(202)을 갖춘 피급유 항공기(201)의 이미지를 얻고;
피급유 항공기의 이미지 상의 지점으로부터, 포즈 추정 알고리즘 및 피급유 항공기의 이미지 상의 지점과 피급유 항공기의 3D 모델 상의 대응하는 지점 사이의 알려진 관계를 이용하여 카메라에 관한 피급유 항공기의 방향 및 위치를 결정하고(502);
피급유 항공기의 방향 및 위치를 기초로, 급유 항공기의 급유 붐 및 피급유 항공기의 리셉터클의 이격 거리 및 각각의 위치를 결정하고(503);
급유 붐과 리셉터클의 이격 거리 및 각각의 위치를 이용하여, 급유 항공기의 디스플레이 장치(106) 상에, 급유 붐의 3D 모델과 리셉터클을 갖춘 피급유 항공기의 3D 모델의 측면 투시도이고, 급유 붐과 나란히 위치된 가상 카메라의 관점으로부터, 리셉터클의 현재 위치에 대한 급유 붐의 현재 위치를 나타내는, 디스플레이(200, 300)를 발생시키고(504);
리셉터클의 현재 위치에 대한 급유 붐의 현재 위치를 나타내는 측면 투시도의 디스플레이는 급유 항공기 상의 오퍼레이터가 리셉터클로 급유 붐을 관찰하여 안내할 수 있도록 하는, 그 내에 저장된 컴퓨터 판독가능 프로그램 코드(603)를 갖춘 급유 항공기의 급유 붐(211)의 조작을 돕기 위한 컴퓨터 판독가능 저장 매체(602).
항목 14. 항목 13의 컴퓨터 판독가능 저장 매체(602)로서, 컴퓨터 시스템(110)은 급유 붐 및 리셉터클(202)의 이격 거리와 각각의 위치를 기초로 급유 붐(211)의 3D 모델 및 피급유 항공기(201)의 3D 모델의 위치를 검색하여 방향지우도록 하는 것을 포함한다.
항목 15. 항목 13의 컴퓨터 판독가능 저장 매체(602)로서, 디스플레이(200, 300)를 발생시키도록 하는 컴퓨터 시스템(110)이 급유 붐(211)과 피급유 항공기(201) 사이의 충돌의 지점(301)을 나타내는 측면 투시도 상에 표시를 오버레이하도록 하는 것을 포함한다.
항목 16. 항목 13의 컴퓨터 판독가능 저장 매체(602)로서, 컴퓨터 시스템(110)이 저장 장치(602)로부터 급유 붐(211)의 3D 모델과 피급유 항공기(201)의 3D 모델을 더욱 검색하도록 된다.
항목 17. 항목 13의 컴퓨터 판독가능 저장 매체(602)로서, 급유 항공기의 급유 붐(211)의 각각의 위치는 급유 붐의 위치를 포함하고, 이격 거리 및 각각의 위치를 결정하도록 된 컴퓨터 시스템(110)은 급유 붐 상의 하나 이상의 센서(404, 405)를 이용하여 급유 붐의 위치를 결정하도록 된다.
항목 18. 항목 13의 컴퓨터 판독가능 저장 매체(602)로서, 측면 투시도의 디스플레이(200, 300)는 급유 항공기 상의 오퍼레이터가 리셉터클(202)로 급유 붐(211)의 팁(212)을 관찰하여 안내할 수 있도록 한다.
여기서 설명된 많은 변형 및 다른 구현은 상기 설명 및 관련 도면에서 제시된 교시의 이점을 갖춘 본 발명이 속하는 기술 분야의 당업자에게 자명하다. 따라서, 본 발명은 개시된 특정 구현으로 한정되지 않고 변형 및 다른 구현이 첨부된 청구항의 범위 내에 포함되는 것으로 의도된다. 더욱이, 상기한 설명 및 관련 도면은 엘리먼트 및/또는 기능의 소정의 예시적 조합의 문맥에서 예시적 구현을 설명함에도 불구하고, 엘리먼트 및/또는 기능의 여러 조합이 첨부된 청구항의 범위로부터 벗어나는 것 없이 대안적인 구현에 의해 제공될 수 있다. 이와 관련하여, 예컨대, 앞에서 명시적으로 설명한 것 이외의 엘리먼트 및/또는 기능의 여러 조합 역시 첨부된 청구항의 몇몇에서 설명되어질 수 있는 바와 같이 고려될 수 있다. 특정 용어가 여기서 채택되었음에도 불구하고, 그들은 제한적인 목적이 아닌 일반적이고 기술적인 의미로만 이용된다.

Claims (12)

  1. 급유 항공기의 급유 붐(211)의 조작을 돕기 위한 시스템(100)으로, 시스템이:
    피급유 항공기를 급유하기 위한 리셉터클(202)을 갖춘 피급유 항공기(201)의 이미지를 얻도록(501) 구성된 급유 항공기 상의 카메라(101)와;
    카메라에 결합되고, 적어도,
    피급유 항공기의 이미지 상의 지점으로부터, 포즈 추정 알고리즘 및 피급유 항공기의 이미지 상의 지점과 피급유 항공기의 3D 모델 상의 대응하는 지점 사이의 알려진 관계를 이용하여 카메라에 관한 피급유 항공기의 방향 및 위치를 결정하고(502);
    피급유 항공기의 방향 및 위치를 기초로, 급유 항공기의 급유 붐 및 피급유 항공기의 리셉터클의 이격 거리 및 각각의 위치를 결정하며(503);
    급유 붐과 리셉터클의 이격 거리 및 각각의 위치를 이용하여, 급유 항공기의 디스플레이 장치(106) 상에, 급유 붐의 3D 모델과 리셉터클을 갖춘 피급유 항공기의 3D 모델의 측면 투시도이고, 급유 붐과 나란히 위치된 가상 카메라의 관점으로부터, 리셉터클의 현재 위치에 대한 급유 붐의 현재 위치를 나타내는, 디스플레이(200, 300)를 발생시키도록(504); 구성된, 급유 항공기 상의 프로세서(601);를 구비하여 구성되고,
    리셉터클의 현재 위치에 대한 급유 붐의 현재 위치를 나타내는 측면 투시도의 디스플레이는 급유 항공기 상의 오퍼레이터가 리셉터클로 급유 붐을 관찰하여 안내할 수 있도록 하고,
    디스플레이(200, 300)를 발생시키도록 구성된 프로세서(601)는 급유 붐 및 리셉터클(202)의 이격 거리와 각각의 위치를 기초로 급유 붐(211)의 3D 모델 및 피급유 항공기(201)의 3D 모델의 위치를 검색하여 방향을 결정하도록 구성되는 것을 특징으로 하는 급유 항공기의 급유 붐(211)의 조작을 돕기 위한 시스템(100).
  2. 삭제
  3. 제1항에 있어서,
    디스플레이(200, 300)를 발생시키도록 구성되는 프로세서가 급유 붐(211)과 피급유 항공기(201) 사이의 충돌의 지점(301)을 나타내는 측면 투시도 상에 표시를 오버레이하도록 구성되는 것을 포함하는 것을 특징으로 하는 급유 항공기의 급유 붐(211)의 조작을 돕기 위한 시스템(100).
  4. 제1항에 있어서,
    급유 붐(211)의 3D 모델과 피급유 항공기(201)의 3D 모델을 포함하는 저장 장치(602)를 더 구비하는 것을 특징으로 하는 급유 항공기의 급유 붐(211)의 조작을 돕기 위한 시스템(100).
  5. 제1항에 있어서,
    급유 항공기의 급유 붐(211)의 각각의 위치는 급유 붐의 위치를 포함하고, 이격 거리 및 각각의 위치를 결정하도록 구성된 프로세서(601)는 급유 붐 상의 하나 이상의 센서 (404, 405)를 이용하여 급유 붐의 위치를 결정하도록 구성되는 것을 포함하는 것을 특징으로 하는 급유 항공기의 급유 붐(211)의 조작을 돕기 위한 시스템(100).
  6. 제1항에 있어서,
    측면 투시도의 디스플레이(200, 300)는 급유 항공기 상의 오퍼레이터가 리셉터클(202)로 급유 붐(211)의 팁(212)을 관찰하여 안내할 수 있도록 하는 것을 특징으로 하는 급유 항공기의 급유 붐(211)의 조작을 돕기 위한 시스템(100).
  7. 급유 항공기의 급유 붐(211)의 조작을 돕기 위한 방법(100)으로, 방법이:
    급유 항공기 상의 카메라(101)에 의해, 피급유 항공기를 급유하기 위한 리셉터클(202)을 갖춘 피급유 항공기(201)의 이미지를 얻는 단계(501)와; 급유 항공기 상의 프로세서(601)에 의해;
    피급유 항공기의 이미지 상의 지점으로부터, 포즈 추정 알고리즘 및 피급유 항공기의 이미지 상의 지점과 피급유 항공기의 3D 모델 상의 대응하는 지점 사이의 알려진 관계를 이용하여 카메라에 관한 피급유 항공기의 방향 및 위치를 결정하는 단계(502);
    피급유 항공기의 방향 및 위치를 기초로, 급유 항공기의 급유 붐 및 피급유 항공기의 리셉터클의 이격 거리 및 각각의 위치를 결정하는 단계(503);
    급유 붐과 리셉터클의 이격 거리 및 각각의 위치를 이용하여, 급유 항공기의 디스플레이 장치(106) 상에, 급유 붐의 3D 모델과 리셉터클을 갖춘 피급유 항공기의 3D 모델의 측면 투시도이고, 급유 붐과 나란히 위치된 가상 카메라의 관점으로부터, 리셉터클의 현재 위치에 대한 급유 붐의 현재 위치를 나타내는, 디스플레이(200, 300)를 발생시키는 단계(504);를 포함하고,
    리셉터클의 현재 위치에 대한 급유 붐의 현재 위치를 나타내는 측면 투시도의 디스플레이는 급유 항공기 상의 오퍼레이터가 리셉터클로 급유 붐을 관찰하여 안내할 수 있도록 하고,
    디스플레이(200, 300)를 발생시키는 단계는 급유 붐 및 리셉터클(202)의 이격 거리와 각각의 위치를 기초로 급유 붐(211)의 3D 모델 및 피급유 항공기(201)의 3D 모델의 위치를 검색하여 방향을 결정하는 단계를 포함하는 것을 특징으로 하는 급유 항공기의 급유 붐(211)의 조작을 돕기 위한 방법(500).
  8. 삭제
  9. 제7항에 있어서,
    디스플레이(200, 300)를 발생시키는 단계는 급유 붐(211)과 피급유 항공기(201) 사이의 충돌의 지점(301)을 나타내는 측면 투시도 상에 표시를 오버레이하는 단계를 포함하는 것을 특징으로 하는 급유 항공기의 급유 붐(211)의 조작을 돕기 위한 방법(500).
  10. 제7항에 있어서,
    저장 장치(602)로부터 급유 붐(211)의 3D 모델과 피급유 항공기(201)의 3D 모델을 검색하는 단계를 더 포함하는 것을 특징으로 하는 급유 항공기의 급유 붐(211)의 조작을 돕기 위한 방법(500).
  11. 제7항에 있어서,
    급유 항공기의 급유 붐(211)의 각각의 위치는 급유 붐의 위치를 포함하고, 이격 거리 및 각각의 위치를 결정하는 단계는 급유 붐 상의 하나 이상의 센서(404, 405)를 이용하여 급유 붐의 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 급유 항공기의 급유 붐(211)의 조작을 돕기 위한 방법(500).
  12. 제7항에 있어서,
    측면 투시도의 디스플레이(200, 300)는 급유 항공기 상의 오퍼레이터가 리셉터클(202)로 급유 붐(211)의 팁(212)을 관찰하여 안내할 수 있도록 하는 것을 특징으로 하는 급유 항공기의 급유 붐(211)의 조작을 돕기 위한 방법(500).
KR1020190032707A 2018-05-09 2019-03-22 가려진 물체의 조작 도움 KR102625014B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/974,931 2018-05-09
US15/974,931 US10882635B2 (en) 2018-05-09 2018-05-09 Aiding maneuvering of obscured objects

Publications (2)

Publication Number Publication Date
KR20190128988A KR20190128988A (ko) 2019-11-19
KR102625014B1 true KR102625014B1 (ko) 2024-01-12

Family

ID=66476425

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190032707A KR102625014B1 (ko) 2018-05-09 2019-03-22 가려진 물체의 조작 도움

Country Status (6)

Country Link
US (1) US10882635B2 (ko)
EP (1) EP3566949B1 (ko)
JP (1) JP7234026B2 (ko)
KR (1) KR102625014B1 (ko)
CN (1) CN110466787A (ko)
BR (1) BR102019007626A2 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11459116B2 (en) 2020-06-24 2022-10-04 The Boeing Company Virtual laser pointer as a point of contact indicator for machine learning assisted aerial refueling or other targeting
US11900633B2 (en) 2021-01-27 2024-02-13 The Boeing Company Vehicle pose determination systems and methods
US20220258875A1 (en) * 2021-02-15 2022-08-18 The Boeing Company Feature detection for automated air-to-air refueling (a3r)
CN115131993B (zh) * 2022-06-17 2023-07-21 中航西安飞机工业集团股份有限公司 一种空中受油过程中两机相对位置测算和校准方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030209633A1 (en) * 2002-05-10 2003-11-13 Thal German Von Distance measuring using passive visual means

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5530650A (en) * 1992-10-28 1996-06-25 Mcdonnell Douglas Corp. Computer imaging system and method for remote in-flight aircraft refueling
FR2705082B1 (fr) 1993-05-12 1995-08-04 Aerospatiale Système de ravitaillement en vol.
US6898302B1 (en) * 1999-05-21 2005-05-24 Emory University Systems, methods and computer program products for the display and visually driven definition of tomographic image planes in three-dimensional space
US7298291B2 (en) * 2005-07-29 2007-11-20 The Boeing Company Graphical symbology apparatus for use in an airborne refueling system
EP2231476A1 (en) * 2007-12-21 2010-09-29 The Boeing Company Aircraft command and control system
US7980512B1 (en) * 2008-06-13 2011-07-19 The Boeing Company System and method for displaying aerial refueling symbology
US10380469B2 (en) 2012-07-18 2019-08-13 The Boeing Company Method for tracking a device in a landmark-based reference system
US9227735B2 (en) 2013-04-11 2016-01-05 The Boeing Company Aerial refueling system and method
CN104015931B (zh) * 2014-04-22 2015-04-15 西安交通大学 一种无人机自动加油盲区视觉定位测控方法、系统及实验平台
JP6407663B2 (ja) * 2014-10-30 2018-10-17 日立建機株式会社 作業支援画像生成装置、及びそれを備えた作業機械の操縦システム
US10086955B2 (en) 2015-10-23 2018-10-02 The Boeing Company Pattern-based camera pose estimation system
ES2584554B2 (es) 2015-11-30 2017-06-13 Defensya Ingeniería Internacional, S.L. Sistema de detección de punta de la pértiga y boca de receptáculo, automatización progresiva del repostaje aéreo con botalón y procedimiento de repostaje
DE102016108966B4 (de) * 2016-05-13 2017-11-30 Technische Universität München Visuell-haptischer Sensor für 6D-Kraft/Drehmoment
CN106428583A (zh) * 2016-10-14 2017-02-22 北京蓝天多维科技有限公司 空中加油中的受油机末端引导与记录装置
US10388029B1 (en) * 2017-09-07 2019-08-20 Northrop Grumman Systems Corporation Multi-sensor pose-estimate system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030209633A1 (en) * 2002-05-10 2003-11-13 Thal German Von Distance measuring using passive visual means

Also Published As

Publication number Publication date
US10882635B2 (en) 2021-01-05
KR20190128988A (ko) 2019-11-19
CN110466787A (zh) 2019-11-19
EP3566949B1 (en) 2021-04-07
JP2020012810A (ja) 2020-01-23
US20190344902A1 (en) 2019-11-14
JP7234026B2 (ja) 2023-03-07
BR102019007626A2 (pt) 2019-11-26
EP3566949A1 (en) 2019-11-13

Similar Documents

Publication Publication Date Title
KR102625014B1 (ko) 가려진 물체의 조작 도움
US11220002B2 (en) Robot simulation device
US9987744B2 (en) Generating a grasp pose for grasping of an object by a grasping end effector of a robot
US10489651B2 (en) Identifying a position of a marker in an environment
CN112652016B (zh) 点云预测模型的生成方法、位姿估计方法及其装置
US20170372139A1 (en) Augmented reality robotic system visualization
US10825217B2 (en) Image bounding shape using 3D environment representation
US11209277B2 (en) Systems and methods for electronic mapping and localization within a facility
US10776943B2 (en) System and method for 3D association of detected objects
US10105847B1 (en) Detecting and responding to geometric changes to robots
US20200122331A1 (en) Visual annotations in simulated robot environments
EP3330928A1 (en) Image generation device, image generation system, and image generation method
CN112184914A (zh) 目标对象三维位置的确定方法、装置和路侧设备
US10593223B2 (en) Action evaluation apparatus, action evaluation method, and computer-readable storage medium
WO2021244187A1 (en) Method for tracking head mounted display device and head mounted display system
JP2024502523A (ja) 位置特定方法および装置、コンピュータ装置、ならびにコンピュータ可読ストレージ媒体
EP4024346A1 (en) Fuel receptacle and boom tip position and pose estimation for aerial refueling
US20220291679A1 (en) Information processing device, information processing method, information processing program, and control device
Suzuki et al. A vision system with wide field of view and collision alarms for teleoperation of mobile robots
US20230052765A1 (en) Information processing apparatus, information processing system, non-transitory computer readable medium, and information processing method
US11354896B2 (en) Display device, display method, and computer program
US20230226688A1 (en) Robot programming
WO2023032321A1 (ja) 情報処理装置、情報処理方法及びプログラム
Colombo et al. Object Detection Systems Informing Users of Guardian Space Dangers Through Haptic Displays
KR20230078148A (ko) 데이터셋 구축 시스템 및 데이터 구축 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant