WO2013009040A3 - 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법 - Google Patents

3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법 Download PDF

Info

Publication number
WO2013009040A3
WO2013009040A3 PCT/KR2012/005362 KR2012005362W WO2013009040A3 WO 2013009040 A3 WO2013009040 A3 WO 2013009040A3 KR 2012005362 W KR2012005362 W KR 2012005362W WO 2013009040 A3 WO2013009040 A3 WO 2013009040A3
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
user
dimensional coordinate
manipulation
virtual touch
Prior art date
Application number
PCT/KR2012/005362
Other languages
English (en)
French (fr)
Other versions
WO2013009040A2 (ko
Inventor
김석중
Original Assignee
Kim Seok-Joong
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kim Seok-Joong filed Critical Kim Seok-Joong
Priority to CN201280034529.4A priority Critical patent/CN103688236B/zh
Priority to EP12811473.3A priority patent/EP2733585B1/en
Priority to US14/232,310 priority patent/US9367138B2/en
Publication of WO2013009040A2 publication Critical patent/WO2013009040A2/ko
Publication of WO2013009040A3 publication Critical patent/WO2013009040A3/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C23/00—Non-electrical signal transmission systems, e.g. optical systems
    • G08C23/04—Non-electrical signal transmission systems, e.g. optical systems using light waves, e.g. infrared
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/91—Remote control based on location and proximity

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)

Abstract

본 발명은 원격지에서 사용자의 움직임(제스처)을 통한 가상터치를 이용하여 전자기기의 구동조작을 디스플레이 장치의 유무와 상관없이 기존 리모컨을 이용하여 구동 조작되는 모든 전자기기에 적용되어 제어할 수 있는 원격 조작 장치 및 방법을 제공하기 위한 것으로서, 영상 촬영을 통해 수신한 영상을 이용하여 사용자 신체 및 전자기기의 3차원 좌표 데이터를 추출하는 3차원 좌표 산출부와, 상기 3차원 좌표 산출부에서 추출된 전자기기의 3차원 좌표 데이터를 이용하여 전자기기의 공간위치 정보 및 기기제품 정보를 인식하고, 사용자와 전자기기 간의 일직선상에 대응되는 방향 정보를 기반으로 사용자와 전자기기와의 가상 터치를 위한 가상의 접점 영역을 생성하는 전자기기 검출부와, 상기 3차원 좌표 산출부에서 산출된 사용자 신체의 3차원 좌표 데이터를 이용하여 전자기기의 구동 조작을 위한 가상 터치 위치 및 위치 변화를 산출하고, 산출된 가상 터치 위치 변화를 기반으로 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 사용자 검출부와, 상기 사용자 검출부에서 생성된 명령코드가 입력되면, 해당되는 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 신호를 송신하는 전자기기 구동 제어부와, 상기 전자기기의 제조사, 모델명을 포함하는 기기제품 정보, 기기제품별 구동 조작에 적용되는 프로토콜 정보, 전자기기별 조작방법 정보를 저장하는 전자기기 정보 데이터베이스(DB)를 포함하여 구성되는데 있다.
PCT/KR2012/005362 2011-07-11 2012-07-06 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법 WO2013009040A2 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201280034529.4A CN103688236B (zh) 2011-07-11 2012-07-06 利用三维模拟电子设备的虚拟触摸的远程操作装置及方法
EP12811473.3A EP2733585B1 (en) 2011-07-11 2012-07-06 Remote manipulation device and method using a virtual touch of a three-dimensionally modeled electronic device
US14/232,310 US9367138B2 (en) 2011-07-11 2012-07-06 Remote manipulation device and method using a virtual touch of a three-dimensionally modeled electronic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110068383A KR101235432B1 (ko) 2011-07-11 2011-07-11 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법
KR10-2011-0068383 2011-07-11

Publications (2)

Publication Number Publication Date
WO2013009040A2 WO2013009040A2 (ko) 2013-01-17
WO2013009040A3 true WO2013009040A3 (ko) 2013-03-07

Family

ID=47506668

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/005362 WO2013009040A2 (ko) 2011-07-11 2012-07-06 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법

Country Status (5)

Country Link
US (1) US9367138B2 (ko)
EP (1) EP2733585B1 (ko)
KR (1) KR101235432B1 (ko)
CN (1) CN103688236B (ko)
WO (1) WO2013009040A2 (ko)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101334585B1 (ko) * 2012-05-29 2013-12-05 주식회사 브이터치 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치 및 방법
WO2014143867A1 (en) * 2013-03-15 2014-09-18 Springs Window Fashions, Llc Window covering motorized lift and control system motor and operation
KR101488947B1 (ko) * 2013-03-15 2015-02-06 삼성중공업(주) 사진 계측 장치 및 방법
CN104298340B (zh) * 2013-07-15 2017-12-26 联想(北京)有限公司 控制方法和电子设备
EP3050260A2 (en) * 2013-09-24 2016-08-03 Fibar Group S.A. Touch-less swipe control
US9207780B2 (en) * 2014-01-27 2015-12-08 Fuji Xerox Co., Ltd. Systems and methods for hiding and finding digital content associated with physical objects via coded lighting
KR101533319B1 (ko) 2014-02-22 2015-07-03 주식회사 브이터치 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법
CN103901781B (zh) * 2014-04-22 2017-01-11 深圳市奥贝尔电子有限公司 一种联网在线遥控模拟系统和联网在线遥控模拟方法
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US10268321B2 (en) 2014-08-15 2019-04-23 Google Llc Interactive textiles within hard objects
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
CN104346920A (zh) * 2014-10-28 2015-02-11 河海大学 一对多遥控装置识别遥控对象的方法及一对多遥控装置
US9823764B2 (en) * 2014-12-03 2017-11-21 Microsoft Technology Licensing, Llc Pointer projection for natural user input
KR20160111220A (ko) * 2015-03-16 2016-09-26 엘지전자 주식회사 전기제품, 전기제품의 펌웨어 업데이트 방법 및 네트워크 시스템
KR102011992B1 (ko) 2015-04-30 2019-08-19 구글 엘엘씨 타입-애그노스틱 rf 신호 표현들
JP6427279B2 (ja) 2015-04-30 2018-11-21 グーグル エルエルシー ジェスチャの追跡および認識のための、ｒｆに基づいた微細動作追跡
CN107430443B (zh) 2015-04-30 2020-07-10 谷歌有限责任公司 基于宽场雷达的手势识别
CN106462323B (zh) * 2015-05-22 2019-08-27 习得智交互软件开发公司 显示平面要素的属性的方法及其装置
KR101653795B1 (ko) 2015-05-22 2016-09-07 스튜디오씨드코리아 주식회사 평면 요소의 속성을 표시하는 방법 및 그 장치
CN105045140B (zh) * 2015-05-26 2019-01-01 深圳创维－Rgb电子有限公司 智能控制受控设备的方法和装置
US9693592B2 (en) 2015-05-27 2017-07-04 Google Inc. Attaching electronic components to interactive textiles
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
US10817065B1 (en) * 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
CN105487705B (zh) * 2015-11-20 2019-08-30 努比亚技术有限公司 移动终端、输入处理方法及用户设备
KR102401641B1 (ko) * 2016-01-08 2022-05-25 엘지전자 주식회사 모바일 디바이스 및 모바일 디바이스의 제어방법
EP3443187A4 (en) 2016-04-15 2019-11-27 Spectrum Brands, Inc. COMPLETE WIRELESS LOCK WITH INTEGRATED INLET ANGLE DETECTION (AOA)
US10492302B2 (en) 2016-05-03 2019-11-26 Google Llc Connecting an electronic component to an interactive textile
WO2017200570A1 (en) 2016-05-16 2017-11-23 Google Llc Interactive object with multiple electronics modules
US10285456B2 (en) 2016-05-16 2019-05-14 Google Llc Interactive fabric
KR101937823B1 (ko) 2016-10-24 2019-01-14 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US10579150B2 (en) 2016-12-05 2020-03-03 Google Llc Concurrent detection of absolute distance and relative movement for sensing action gestures
CN106873300B (zh) * 2016-12-30 2019-12-24 北京光年无限科技有限公司 面向智能机器人的虚拟空间投影方法和装置
CN108665480A (zh) * 2017-03-31 2018-10-16 满景资讯股份有限公司 三维侦测装置的操作方法
KR102463712B1 (ko) 2017-11-24 2022-11-08 현대자동차주식회사 가상 터치 인식 장치 및 그의 인식 오류 보정 방법
US10608439B2 (en) * 2018-01-19 2020-03-31 Air Cool Industrial Co., Ltd. Ceiling fan with gesture induction function
CN110096133A (zh) * 2018-01-30 2019-08-06 鸿富锦精密工业(武汉)有限公司 红外手势识别装置及方法
CN109871123B (zh) * 2019-01-21 2022-08-16 广东精标科技股份有限公司 一种基于手势或眼神控制的教学方法
KR102225342B1 (ko) * 2019-02-13 2021-03-09 주식회사 브이터치 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020025198A (ko) * 2000-05-17 2002-04-03 요트.게.아. 롤페즈 타켓을 위치시키는 방법 및 장치, 이미지 처리기, 그리고타켓 및 타켓 포인트 식별 방법
KR20090050567A (ko) * 2007-11-16 2009-05-20 전자부품연구원 Ｔｏｆ 카메라를 이용한 로봇의 물체 자세 인식 방법
KR20100129629A (ko) * 2009-06-01 2010-12-09 엘지전자 주식회사 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치
KR20110037053A (ko) * 2009-10-05 2011-04-13 (주)휴비드씨엔에스 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE571702T1 (de) * 1992-05-26 1994-04-28 Takenaka Corp Handzeige-Eingabegerät und Wandcomputereinheit.
JP3749369B2 (ja) * 1997-03-21 2006-02-22 株式会社竹中工務店 ハンドポインティング装置
JP3795647B2 (ja) * 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
US6147678A (en) * 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
US6531999B1 (en) * 2000-07-13 2003-03-11 Koninklijke Philips Electronics N.V. Pointing direction calibration in video conferencing and other camera-based system applications
KR20020021803A (ko) 2002-03-05 2002-03-22 백수곤 하나 이상의 이차원 이미지로부터 삼차원 모델을 만드는방법
JP2004040445A (ja) 2002-07-03 2004-02-05 Sharp Corp ３ｄ表示機能を備える携帯機器、及び３ｄ変換プログラム
KR100537518B1 (ko) * 2004-01-27 2005-12-19 삼성전자주식회사 공간에서 클릭 동작에 따른 포인팅 위치 조절 방법 및이를 위한 공간형 입력 장치
US7893920B2 (en) * 2004-05-06 2011-02-22 Alpine Electronics, Inc. Operation input device and method of operation input
EP1851750A4 (en) * 2005-02-08 2010-08-25 Oblong Ind Inc SYSTEM AND METHOD FOR CONTROL SYSTEM BASED ON GESTURES
US7728825B2 (en) * 2005-03-22 2010-06-01 Microsoft Corporation Targeting in a stylus-based user interface
KR20070066382A (ko) 2005-12-22 2007-06-27 주식회사 팬택 두 대의 카메라를 이용한 3차원 이미지 생성 방법 및 이를구현하는 카메라 단말기
US9075441B2 (en) * 2006-02-08 2015-07-07 Oblong Industries, Inc. Gesture based control using three-dimensional information extracted over an extended depth of field
KR100818171B1 (ko) 2006-06-09 2008-04-03 한국과학기술원 손 지시의 3차원 위치 인식 시스템 및 방법
US8542323B2 (en) * 2007-12-21 2013-09-24 Sony Corporation Touch sensitive wireless navigation device for remote control
CN101504728B (zh) * 2008-10-10 2013-01-23 深圳泰山在线科技有限公司 一种电子设备的遥控系统及其遥控方法
US9256282B2 (en) * 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
US8693724B2 (en) * 2009-05-29 2014-04-08 Microsoft Corporation Method and system implementing user-centric gesture control
US8593402B2 (en) * 2010-04-30 2013-11-26 Verizon Patent And Licensing Inc. Spatial-input-based cursor projection systems and methods
EP2421251A1 (en) * 2010-08-17 2012-02-22 LG Electronics Display device and control method thereof
KR101151962B1 (ko) * 2011-02-16 2012-06-01 김석중 포인터를 사용하지 않는 가상 터치 장치 및 방법
US20120268424A1 (en) * 2011-04-20 2012-10-25 Kim Taehyeong Method and apparatus for recognizing gesture of image display device
WO2013009815A2 (en) * 2011-07-13 2013-01-17 Simon Solotko Methods and systems for social overlay visualization

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020025198A (ko) * 2000-05-17 2002-04-03 요트.게.아. 롤페즈 타켓을 위치시키는 방법 및 장치, 이미지 처리기, 그리고타켓 및 타켓 포인트 식별 방법
KR20090050567A (ko) * 2007-11-16 2009-05-20 전자부품연구원 Ｔｏｆ 카메라를 이용한 로봇의 물체 자세 인식 방법
KR20100129629A (ko) * 2009-06-01 2010-12-09 엘지전자 주식회사 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치
KR20110037053A (ko) * 2009-10-05 2011-04-13 (주)휴비드씨엔에스 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법

Also Published As

Publication number Publication date
KR101235432B1 (ko) 2013-02-22
EP2733585A4 (en) 2015-01-14
KR20130007813A (ko) 2013-01-21
CN103688236A (zh) 2014-03-26
US9367138B2 (en) 2016-06-14
WO2013009040A2 (ko) 2013-01-17
EP2733585B1 (en) 2018-09-12
EP2733585A2 (en) 2014-05-21
US20140184499A1 (en) 2014-07-03
CN103688236B (zh) 2017-03-22

Similar Documents

Publication Publication Date Title
WO2013009040A3 (ko) 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법
KR101978740B1 (ko) 원격조종시스템 및 그 제어방법
US10001833B2 (en) User input system for immersive interaction
WO2018097223A1 (ja) ロボット制御システム、機械制御システム、ロボット制御方法、機械制御方法、および記録媒体
US9430698B2 (en) Information input apparatus, information input method, and computer program
CN102508546B (zh) 一种3d虚拟投影及虚拟触摸的用户交互界面及实现方法
CN103529944B (zh) 一种基于Kinect的人体动作识别方法
CN103977539B (zh) 颈椎康复保健辅助训练系统
WO2012111998A3 (ko) 포인터를 사용하지 않는 가상 터치 장치
CN107030692B (zh) 一种基于感知增强的机械手遥操作方法及系统
CN104317403A (zh) 一种用于手语识别的可穿戴设备
WO2019024577A1 (zh) 基于多感知数据融合的人机自然交互系统
CN205068294U (zh) 机器人人机交互装置
KR20090113084A (ko) 휴머노이드 로봇의 움직임 제어 시스템 및 그 방법
WO2017021902A1 (en) System and method for gesture based measurement of virtual reality space
CN105302021A (zh) 人机协作再制造中控制机器人运动的穿戴式手势控制装置
JP6150429B2 (ja) ロボット制御システム、ロボット、出力制御プログラムおよび出力制御方法
CN112106004A (zh) 信息处理装置、信息处理方法和程序
WO2012165882A3 (ko) 재활 운동 장치, 착용형 통신 장치 및 이를 응용한 응용 시스템 및 방법
CN113103230A (zh) 一种基于处置机器人遥操作的人机交互系统及方法
KR20130049152A (ko) 입체 인터랙션 시스템 및 입체 인터랙션 방법
KR20110137587A (ko) 공간 입출력 인터페이싱 장치 및 방법
EP4276591A1 (en) Interaction method, electronic device, and interaction system
Seo et al. Remote data acquisition and touch-based control of a mobile robot using a smart phone
CN103425433A (zh) 智能化人机界面系统及其控制方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12811473

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2012811473

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14232310

Country of ref document: US