KR102475254B1 - 획득, 등록 및 멀티미디어 관리를 위한 시스템 및 방법 - Google Patents

획득, 등록 및 멀티미디어 관리를 위한 시스템 및 방법 Download PDF

Info

Publication number
KR102475254B1
KR102475254B1 KR1020197017710A KR20197017710A KR102475254B1 KR 102475254 B1 KR102475254 B1 KR 102475254B1 KR 1020197017710 A KR1020197017710 A KR 1020197017710A KR 20197017710 A KR20197017710 A KR 20197017710A KR 102475254 B1 KR102475254 B1 KR 102475254B1
Authority
KR
South Korea
Prior art keywords
module
multimedia
data
user
acquisition
Prior art date
Application number
KR1020197017710A
Other languages
English (en)
Other versions
KR20190107001A (ko
Inventor
누노 안투네스
루벤 마르쿠에스
조세 안투네스
Original Assignee
누노 안투네스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PT109855A external-priority patent/PT109855A/pt
Priority claimed from GB1702664.2A external-priority patent/GB2559789A/en
Application filed by 누노 안투네스 filed Critical 누노 안투네스
Publication of KR20190107001A publication Critical patent/KR20190107001A/ko
Application granted granted Critical
Publication of KR102475254B1 publication Critical patent/KR102475254B1/ko

Links

Images

Classifications

    • H04N5/2251—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H04N5/23218—
    • H04N5/23299—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00212—Electrical control of surgical instruments using remote controls
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00367—Details of actuation of instruments, e.g. relations between pushing buttons, or the like, and activation of the tool, working tip, or the like
    • A61B2017/00398—Details of actuation of instruments, e.g. relations between pushing buttons, or the like, and activation of the tool, working tip, or the like using powered actuators, e.g. stepper motors, solenoids
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B25/00—Eyepieces; Magnifying glasses
    • G02B25/02—Eyepieces; Magnifying glasses with means for illuminating object viewed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Robotics (AREA)
  • Acoustics & Sound (AREA)
  • Studio Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Eyeglasses (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Accessories Of Cameras (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

본원 발명은 획득, 등록 및 멀티미디어 관리의 시스템 및 방법에 관한 것이다. 본원 발명의 멀티미디어 시스템은 데이터 획득 모듈(A), 멀티미디어 글래스와 같은, 멀티미디어 데이터 획득을 위한, 기능을 제어하고, 획득된 멀티미디어 데이터인 멀티미디어 데이터를 기록, 저장, 관리 및/또는 공유, 전송 및/또는 스트리밍하기 위한 데이터 프로세싱 유닛을 포함하는 컴퓨터화 모듈(B), 멀티미디어 데이터 획득 모듈을 컴퓨터화 모듈에 연결하기 위한 적어도 하나의 연결 모듈(C)을 포함한다. 선택적으로, 시스템은 멀티미디어 데이터 프로세싱 모듈(D) 및 컴퓨터화 모듈(B) 및/또는 주변 장치에 연결하기 위한 추가 연결 모듈(C)를 더 포함할 수 있다. 본원 발명의 더 나아간 실시예에 있어서, 그것은 멀티미디어 데이터 프로세싱 모듈(D)로 설명되고, 멀티미디어 데이터 라이브러리(ML) 뿐만 아니라, 데이터 프로세싱, 저장, 기록, 프로세싱, 편집 및 멀티미디어의 관리를 위한 유닛을 포함한다. 본원 발명은 멀티미디어 디바이스 분야에 속하고, 매뉴얼 디테일, 전문적, 레크레이셔널 범위의 활동을 기록할 필요가 있는 영역에 적용될 수 있다.

Description

획득, 등록 및 멀티미디어 관리를 위한 시스템 및 방법
본원 발명은 획득, 등록 및 멀티미디어 관리의 시스템 및 방법에 관한 것이다. 멀티미디어 디바이스 영역의 일부로, 본원 발명은 매뉴얼 디테일링의 활동을 기록할 필요가 있는 곳에 대한 콘텍스트(context), 전문적이거나 레크리에이션(recreational) 관점의 적용에 유용하고, 기록은 예술의 보급(dissemination)에 있어 효과적이다. 의약, 교육, 보안, 군사, 공학 및 공예 활동과 같은 분야에 강조될 수 있다. 따라서, 본원 발명은 기록, 관리 및 교육 도구(tools)의 새로운 방법 생성에 유용하다.
종래 기술에 있어서, 획득, 등록 및/또는 멀티미디어 관리를 위한 시스템이 존재하는 것으로 알려져 있고, 직업적 또는 레크리에이션 수준에 이용될 수 있다. 글래스(스마트 글래스로도 알려진)를 포함하는 멀티미디어 시스템은, US2016/0286115, W02014/197109, US2015/0009309 and CN203551883에 설명된 것들과 같이 이미 알려져 있다.
이러한 대부분의 시스템은 빌트인(built-in) 이미지 캡쳐 카메라를 구비한 스마트 글래스, 특정한 기능을 개발하기 위해 특정될 수 있는, 및 획득된 이미지를 프로젝션 디바이스로 전송하는 트랜스미터를 포함한다.
US2016/0286115은 카메라, 전송을 위한 수단(means), 구성요소를 포함하는 멀티미디어 시스템을 개시하고, 상기 카메라는 프론트뷰(front field of view)로부터 이미지를 캡쳐하고, 상기 전송을 위한 수단은 그러한 이미지(윈도우 또는 상기 모니터의 일부에 디스플레이되는)를 모바일 디바이스의 모니터로 전송하고, 상기 구성요소는 상기 카메라를 프론트뷰와 함께 정렬하는데, 모바일 디바이스 또는 헤드 또는 유저의 눈(eye)의 각도 포지션과 독립적인(independent) 방식으로, 균형추(counterweight)를 이행하거나, 몇몇 액티브(active) 메커니즘에 의해 수행된다. 그것은 또한 이어폰 또는 스피커를 구비한 오디오 시스템의 통합을 언급한다. 더욱이, 자동 커맨드, 또는 유저에 의해 주어지는 형태(form)(관심 객체에 포커싱 하기 위한), 카메라가 이미지 캡쳐를 시작하거나 종료하도록 하기 위한 것도 개시되지 않는다. 게다가, 어안(fish eye) 타입 렌즈의 이용 및 기록을 위한 스크린의 일부의 선택은 개시된다. 이러한 선택은 이미지의 중심에 대한 거리에 따른 가변 레졸루션(resolution)을 야기하는 제한(limitation)을 가지고, 기록된 이미지의 모든 영역이 자세한 기록에 유용하다는 것을 의미하지는 않고, 대신에 모터를 이용한다. 요약하면, 이 문헌은 단지 컨셉(conceptual) 디바이스를 개시할 뿐, 즉, 이러한 구성요소들이 디바이스 내에 어떻게 통합될 것인지 및 그러한 글래스 제조의 기저(underlying)를 이루는 기술적인 어려움을 어떻게 극복할 것인지, 다시 말해서 의약 분야(복강경 수술(laparoscopic surgery) 등)의 이용을 위해 캡쳐된 이미지의 정확도를 다루는, 외과의사 및 살균(sterilized) 장치 간의 인터랙션 등은 개시하지 않는다. 게다가, 이러한 시스템은 카메라에 의해 캡쳐된 이미지를 스크린에 제공하므로, 유저는 디스플레이되는 이미지만 볼 수 있다. 이는 개시된 시스템이 본원 발명 중 하나와 동일한 방법으로 이용될 수 없도록 하는데, 그 이유는 유저는 디바이스의 스크린을 통해 보기 때문이다.
문헌 W02014/197109는 적외선 이미지를 투명 디스플레이 스크린에 투사(project)하는 글래스를 개시하고, 상기 투명(transparent) 디스플레이 스크린은 입체(stereoscopic) 비디오 카메라 디바이스를 포함하고, 입체 비디오 카메라 디바이스는 바람직하게는 적외선 이미지를 서라운드(surrounding) 환경으로부터 각각 캡쳐하는 적어도 2개의 챔버(chamber) 및 투사하는 투사 시스템을 포함하고,
(i) 제1 적외선 이미지는 좌안(left eye)의 뷰필드의 투명 파트 상에 있고, (ii) 제2 이미지는 우안(right eye)의 뷰필드의 투명 파트 상에 있다. 이러한 글래스는, 자연(natural) 비전이 유지되는 동안, 유저가 저광도(low light) 조건(이를테면 나이트 비전)에서 서라운드 환경을 보도록 한다. 이를 목적으로, 카메라는, 매뉴얼 또는 제안되는 전자 매커니컬(electromechanical) 조정 시스템을 통해 정렬(align)될 수 있고, 2개의 챔버의 수렴(convergence) 또는 발산(divergence)을 변화시키고, 그렇게 함으로써, 캡쳐된 이미지를 스크린의 투명 뷰파인더 상에 투사할 때, 다양한 깊이(depth)의 3차원 효과(그것들이 객체들을 향해 다른 거리에서 움직이는 동안, 눈의 움직임이 유사(analogous)한 효과)가 있다. 그러나, 이미지 캡쳐를 위한 버티컬(vertical) 조정은 언급되지 않는다. 또한, 음성 제어(voice control)를 위한 메커니즘이 제공되지 않는다. 그러므로, 이 시스템은 발명 중 하나와 매우 다르고, 동일한 목적을 위해 이용될 수 없다.
US2014/221785(구글 테크. 홀딩스 LLC)는 메시징 디바이스를 개시하는데, 상기 디바이스는 스마트 글래스일 수 있고, 손이나 손가락 제스쳐의 검출에 의해 소셜 미디어 모드로 진입하고, 유저를 인증(authenticate)하고, 발화(spoken) 메시지를 소셜 미디어 텍스트 메시지로 변환한다. 그러므로, 상기 디바이스는 제스처 감지 메커니즘, 마이크로폰, 상기 음성 메시지를 텍스트 메시지로 변환하여 디스플레이 상에 나타내기 위한 애플리케이션을 포함한다. 상기 문헌은 멀티미디어 데이터의 획득을 위한 음성에 의해 제어되는 조정 가능한(adjustable) 비디오 카메라를 개시하지 않는다. 다시, 상기 디바이스는 본원 발명 중 하나와 매우 다르고, 동일한 목적을 위해 이용될 수 없다.
US2013/437854(GoPro 인크.)는 시스템 및 프로세스를 개시하는데, 상기 시스템과 프로세스는 적어도 2개의 카메라로부터의 2D-이미지로부터의 비디오를 위한 3D-이미지를 생성한다. 상기 시스템은 본원 발명의 디바이스와 카메라를 구비한 스마트 글래스라는 특징만을 공유한다.
멀티미디어 시스템은 의학 목적으로 이용될 수 있는 글래스를 포함하고, W02016/195401 Al, W02016/190607 A1 및 W02016/182090 A1에 개시되어 있다.
문헌 W02016/195401 A1은, 광학 기반 헤드 마운트 디스플레이(HMD) 및 한 세트(set)의 적어도 3개의 표면 또는 환자의 신체 내에 마운트된, 무선으로 상기 HMD로 데이터를 전송하는 센서를 포함하는 시스템을 개시한다. HMD는 수술 중 의사(physician)에게 도움(assistance)을 제공할 수 있는 글래스에 포함되고, 환자 신체의 외과 뷰(surgeon view)에 상기 센서 세트에 따라 획득되는 3D 데이터를 오버랩(overlap)한다.
문헌 W02016/190607 A1은 이미지 디스플레이 디바이스가 구비된 글래스, 이미지 프로세싱 모듈, 이미지 캡쳐를 위한 카메라, 상기 이미지 프로세싱 모듈로 획득된 이미지를 전송하기 위한 통신(communication) 유닛, 근적외선(near infrared; NIR) 내의 분광(spectroscopy) 모듈 및 NIR에 의해 캡쳐된 이미지를 상기 이미지 프로세싱 모듈로 전송하기 위한 통신 모듈을 포함하는 멀티미디어 시스템을 개시한다. 이 시스템은 형광(fluorescence) 이미지를 생성하고, 따라서 외과의사가 수술되는 영역의 형광 이미지를, 실시간으로, 중첩(superimpose)할 수 있도록 하고, 따라서 외과 수술을 수행하는 동안 실시간으로 병환(pathology)의 진전을 확인하도록 할 수 있다.
문헌 W02016/182090는 글래스-타입 터미널, 이미지 디스플레이 유닛, 포토그래픽(photographic) 카메라, 외부 환경에 대해 유저의 눈(시선)을 각각 캡쳐하기 위한 센서, 및 객체(object)를 구체화(specify)하기 위해 유저의 눈을 분석하기 위한 제어 유닛을 포함하는, 멀티미디어 시스템을 개시한다.
최근, 대부분의 기능적 멀티미디어 글래스 또는 스마트 글래스는, 이미지 획득 탄력성(flexibility), 유저 인터랙션의 용이함, 데이터 전송 및 자율성(autonomy)이라는 점에 있어서, Pivothead®에 의해 마케팅된다. 이것들은 콧등(nasal bridge)에 위치한 비디오 카메라를 구비하고, 이 카메라는 고정된 뷰포인트(point of view)를 가진다. 유저 및 디바이스 간의 인터랙션은, 글래스 프래임의 배면(rear face) 상에 위치한 LED들을 통해, 터치 및 상태 인디케이션(indication)에 의해 만들어진다.
해당 기술 분야에서, 액티브하게 카메라 뷰포인트를 변경하여, 유저의 뷰포인트와 매치(유저의 음성에 응답하여 조정을 수행하고, 거기에서(therein) 수행된 작업을 정교하고 정확하게 기록하도록)시키려는 시도한 멀티미디어 글래스는 알려진 바 없다.
유저의 요구에 부응하기 위한, 다른 기록 모드의 자동 인식(핸드(hand) 기록 모드 및 풍경 모드 등) 역시 해당 기술 분야의 상기 스마트 글래스에 의해 제공되지 않는다.
또한, 종래 기술에서는, 상기 기록이 이루어지기 이전에, 얼굴을 인식하고, 그것들을 실시간으로 커버 업(cover up)하는 검열(censorship) 메커니즘이 알려져 있지 않다.
다른 측면에 있어서, 실시간으로 장면(footage)의 영역이나 뷰포인트 영역을 실시간으로 시그널링하도록 하는 메커니즘을 가진 현존하는 디바이스는 없다.
추가적으로, 유저의 음성 또는 제스처 커맨드에 응답하여 카메라의 뷰포인트에 대한 조정을, 시작, 정지시키고, 모션 픽쳐 캡쳐를 재시작하고, 스틸 이미지 캡쳐(포토그래피) 또는 북마크를 추가하도록 하는 멀티미디어 글래스는 종래 기술에 존재하지 않는다.
따라서, 획득, 등록 및 멀티미디어 데이터를 관리하는 시스템 및 방법을 개발이 기대되고, 이는 전문적이거나 레크레이셔널한 환경에서 이용될 수 있다.
본원 발명은 획득, 등록 및 멀티미디어 관리의 시스템 및 방법에 관한 것이다.
본원 발명의 멀티미디어 시스템은 데이터 획득 모듈(바람직하게는 멀티미디어 글래스, 또한 스마트 글래스로도 지칭되고, 멀티미디어 데이터 획득을 위한), 데이터 프로세싱 유닛(기능을 제어하고, 획득된 멀티미디어 데이터를 기록, 저장, 관리 및/또는 공유하기 위한)을 포함하는, 컴퓨터화 모듈, 데이터 획득 모듈을 컴퓨터화 모듈과 연결하고, 멀티미디어 데이터를 공유, 전송 및/또는 스트리밍하기 위한, 적어도 하나의, 연결 모듈을 포함한다.
선택적으로, 상기 멀티미디어 시스템은 멀티미디어 데이터를 저장, 기록, 프로세싱, 편집, 관리, 공유, 전송 및/또는 스트리밍 하기 위한 멀티미디어 데이터 프로세싱 모듈 및, 데이터 획득 모듈 및/또는 컴퓨터화 모듈에 연결하기 위한, 적어도 하나의, 추가적인 연결 모듈을 더 포함할 수 있다.
본원 발명의 멀티미디어 시스템은 멀티미디어 데이터 라이브러리를 더 포함할 수 있다.
따라서, 제1 양상에 있어서, 본원 발명은 멀티미디어를 획득, 등록하고, 관리하는 시스템과 관한 것으로, 이는 청구항 1에 따른다.
데이터 획득 모듈(A)의 이용은, 멀티미디어 글래스(카메라의 뷰포인트를 변화시켜 유저의 뷰포인트와 매치시키는), 디로컬라이즈(delocalized) 컴퓨터화 모듈(B)와 협업(in association with)하여, 현존하는 대안들(프로세싱 및 글래스 프레임 내의 에너지 저장을 통합하는)과 비교할 때 더 좋은 성능과 자율성을 가지고, 멀티미디어 기록과 크게 구별되고(differentiate), 더 높은 프로세싱 파워 및 자율성에 의해 지원된다. 이러한 기록들은 멀티미디어 데이터 프로세싱 모듈(D) 내에서 편집, 관리, 목록화(catalogued) 및 저장될 수 있고, 그러한 기록들의 액세스 및 협의를 더 용이하게 이끌어 내고, 개개인(individual) 및 공유 가능한 미디어 라이브러리의 생성을 이끌어 낸다.
이러한 글래스는 터치 인터페이스 없이, 조정 가능한(adjustable) 뷰포인트를 구비하여 동작할 수 있고, 이 디바이스가 그것이 환경의 다른 요구(demand)에 적절한 응답을 가지도록 허용하는 더 큰 융통성(versatility)을 제공한다. 필름 영역의 시그널링 메커니즘으로서의 점등 디바이스의 우선적인(preferential) 이용은, 관련된 기록 영역의 경계(demarcation)를 허용한다.
인체공학(ergonomics)을 포함하지 않고도, 더 많은 기능 및 자율성을 허용하기 위해서는, 모든 계산적 부하(computational load) 및 에너지 저장은 더 많은 볼륨이 적용될 수 있는 글래스 프레임의 외부에서 이루어져야 한다.
본원 발명은, 데이터 프로세싱 모듈(D)을 포함하는 멀티미디어 시스템에 관한 것으로 청구항 2에 따르고, 멀티미디어 라이브러리(ML)를 저장할 수 있고, 및/또는 적어도 하나의 주변 장치(P)를 포함하는 것은, 청구항 3에 따른다.
멀티미디어 데이터 프로세싱 모듈의 이용은(예를 들면, 컴퓨터에 내장된 것) 큰 규모의 데이터를 관리, 저장 공유할 수 있도록 하고, 프로세싱 유닛에 비해 더 용이하고 더 좋은 성능을 가져온다.
멀티미디어 라이브러리의 존재(existence)는 유저가 커스터마이즈(customize)하도록 하고, 저장된 콘텐츠(개인화된(personalized) 방식으로 태그(tag)되고 목록화된)에 빠르고 쉽게 하여 액세스 하도록 한다.
마지막으로, 본원 발명은 멀티미디어 획득, 등록, 관리에 관한 방법과 더 관련되고, 이는 청구항 15에 따른다.
본원 발명의 멀티미디어 데이터 획득 및 기록 방법은, 확실한(certain) 뷰포인트로부터 이미지를 캡쳐하도록 하고, 동적이 될 수 있고, 유저의 뷰포인트와 매칭되고, 그것에 등록에 더 큰 정확도를 제공하고, 멀티미디어 정보의 의도치 않은 손실을 최소화한다. 또한, 이는 선택적으로, 기능을 제어하고, 획득된 멀티미디어 데이터를 기록, 저장, 관리 및/또는 공유하기 위한, 데이터 프로세싱 유닛을 포함하는 컴퓨터화 모듈 및/또는 멀티미디어 데이터 프로세싱 모듈로 곧바로 전달(directed)될 수 있고, 그것들이 선택적으로 그리고 객관적으로 저장, 관리, 편집 및 공유되도록 할 수 있다.
도 1: 본원 발명의 멀티미디어 시스템의 개념도로, 그중 (A)는 적어도 하나의 데이터 획득 모듈을 나타내고, (B)는 적어도 하나의 컴퓨터화 모듈을 나타내고, (C1)은 적어도 하나의 모듈(A) 및 적어도 하나의 모듈(B) 사이의 적어도 하나의 연결 모듈을 나타낸다.
도 2: 본원 발명의 바람직한 실시예의 개념도로서, 그중 (A)는 데이터 획득 모듈, (B)는 컴퓨터화 모듈, (C1)은 모듈 (A) 및 모듈 (B) 사이의 연결의 모듈을 의미하고, (D)는 적어도 하나의 멀티미디어 데이터 프로세싱의 모듈을 나타내고, (C2)는 적어도 하나의 모듈(B)와 적어도 하나의 모듈(D) 사이의 적어도 하나의 연결 모듈을 나타내고, (P)는 적어도 하나의 주변 장치를 나타내는데(예를 들어, 동일하게 또는 별도로(differentially), 모니터, 프린터, 다른 모듈(D) 및/또는 원격 제어 디바이스일수 있는), (ML)은 적어도 하나의 멀티미디어 라이브러리를 나타낸다.
도 3: 본원 발명의 바람직한 실시예를 나타내는 것으로, 그중 멀티미디어 데이터 획득 모듈(A)은 멀티미디어 글래스 디바이스이고:
(1)은 글래스의 프레임을 나타내고,
(2)는 사운드 기반 피드백 시스템(예를 들면, 본 트랜스듀서 등)을 나타내고,
(3)은 멀티미디어 글래스의 템플릿 중 하나를 나타낸다.
도 4: 멀티미디어 글래스의 가능한 구성요소들을 나타내는 것으로, 본원 발명의 바람직한 실시예에 따르면,
1은 프레임을 나타내고,
4는 프론트 세트의 커버를 나타내고,
5는 기록 상태의 시그널링 메커니즘을 나타내고,
6은 카메라, 및 카메라의 뷰포인트를 식별하는 점등 메커니즘이 구비된 동력화(motorized) 플랫폼을 나타내고,
7은 글래스의 몸체의 측벽(rear wall)을 나타내고,
8은 플랫폼-도킹(docking) 모터를 나타내고,
9는 상기 플랫폼의 회전축과 일치하는 힌지(hinging) 메커니즘을 나타내고,
10은 글래스의 좌측 렌즈를 나타내고,
11은 글래스의 우측 렌즈를 나타내고,
12는 글래스의 좌비(left nose) 패드를 나타내고,
13은 글래스의 우비(right nose) 패드를 나타내고,
14는 카메라를 보호하는 커버를 나타낸다.
도 5: 도 5는 도 5.1 내지 도 5.6으로 나누어지고, 본원 발명의 바람직한 실시예 중 하나에 따른, 몇몇 가능한 멀티미디어 라이브러리의 인터페이스를 나타낸다.
제1 양상에 있어서, 본원 발명은 멀티미디어 획득, 등록 및 멀티미디어 관리의 멀티미디어 시스템에 관한 것이다.
1. 멀티미디어 시스템
본원 발명(도 1)의 멀티미디어 시스템은, 멀티미디어 데이터 획득을 위한, 적어도 하나의 데이터 획득 모듈(A), 기능을 제어, 적어도 하나의 모듈(A)에 의해 획득된 멀티미디어 데이터의 멀티미디어 데이터를 기록, 저장, 관리 및/또는 공유, 전송 및/또는 스트리밍하기 위한, 데이터 프로세싱 유닛을 포함하는, 적어도 하나의 컴퓨터화 모듈(B), 적어도 하나의 멀티미디어 데이터 획득 모듈(A)을 적어도 하나의 컴퓨터화 모듈(B)과 연결하기 위한, 적어도 하나의 연결 모듈(C1)을 포함한다.
선택적으로(optionally), 상기 시스템은 적어도 하나의 멀티미디어 데이터 프로세싱 모듈(D) (멀티미디어 데이터를 저장, 기록, 프로세싱, 편집, 관리 및/또는 공유하기 위한), 적어도 하나의 연결 모듈(C2)(도 2와 같이, 적어도 하나의 멀티미디어 데이터 프로세싱 모듈(D)를 적어도 하나의 컴퓨터화 모듈(B)에 연결하기 위한)을 더 포함할 수 있다.
선택적으로, 상기 시스템은 하나 또는 그 이상의 주변 장치(P) 및 적어도 하나의 연결 모듈(C3)(적어도 하나 또는 그 이상의 상기 주변 장치(P)를 적어도 하나의 컴퓨터화 모듈(B) 및/또는 적어도 하나의 멀티미디어 데이터 프로세싱 모듈(D)에 연결하기 위한)을 더 포함할 수 있고, 이 또한 도 2에 도시되어 있다.
본원 발명의 범위에 있어서, 주변 장치(P)는 예를 들어 동일하거나 구분되는 모니터, 키보드, 프린터, 원격 제어 디바이스 및/또는 원격 서버일 수 있다.
바람직한 실시예에 있어서, 본원 발명의 멀티미디어 시스템은,
- 멀티미디어 데이터 획득을 위한, 적어도 하나의 데이터 획득 모듈(A);
- 기능을 제어하고, 적어도 하나의 데이터 획득 모듈(A)에 의해 획득된 멀티미디어 데이터의 멀티미디어 데이터를 기록, 저장, 관리 및/또는 공유, 전송 및/또는 스트리밍하기 위한, 데이터 프로세싱 유닛을 구비한, 적어도 하나의 컴퓨터화 모듈(B);
- 적어도 하나의 멀티미디어 데이터 획득 모듈(A)을 적어도 하나의 컴퓨터화 모듈(B)에 연결하기 위한, 적어도 하나의 연결 모듈(C1);
- 멀티미디어 데이터를 저장, 기록, 프로세싱, 편집 및 관리하고, 및/또는 멀티미디어 데이터를 공유하기 위한, 적어도 하나의 멀티미디어 데이터 프로세싱 모듈(D);
- 적어도 하나의 모듈(D)을 적어도 하나의 컴퓨터화 모듈(B)에 연결하기 위한, 적어도 하나의 연결 모듈(C2); 및/또는
- 하나 또는 그 이상의 주변 장치(모니터, 키보드, 프린터 및/또는 원격 제어 디바이스 등);
- 상기 하나 또는 그 이상의 주변 장치(P)를, 연결 모듈(C3)을 통해, 적어도 하나의 컴퓨터화 모듈(B) 및/또는 적어도 하나의 멀티미디어 데이터 프로세싱 모듈(D)에 연결시키기 위한, 적어도 하나의 추가적인 연결 모듈(C3)을 포함한다.
바람직한 실시예에 따른, 본원 발명의 멀티미디어 시스템은,
- 멀티미디어 데이터 획득을 위한, 데이터 획득 모듈(A)로서의 본원 발명의 적어도 하나의 멀티미디어 글래스; 및/또는
- 기능을 제어하고, 적어도 하나의 모듈(A)에 의해 획득된 멀티미디어 데이터의 멀티미디어 데이터를 기록, 저장, 관리 및/또는 공유, 전송 및/또는 스트리밍하기 위한, 데이터 프로세싱 유닛을 포함하는, 본원 발명의 적어도 하나의 컴퓨터화 모듈(B)(상기 모듈(B)는 터치 스크린 및 전력원으로서의 배터리를 포함하고, 상기 데이터 프로세싱 유닛은 사람의 식별을 차단 및/또는 방지하는 기능이 구비된 컴퓨터 비전 알고리즘을 포함함);
- 적어도 하나의 데이터 획득 모듈(A)을 적어도 하나의 컴퓨터화 모듈(B)에 연결시키기 위한 적어도 하나의 연결 모듈(C1)(상기 연결(C1)은 Y-형(shape) 케이블 연결임)을 포함한다.
보다 바람직한 실시예에 있어서, 본원 발명의 멀티미디어 시스템은,
- 멀티미디어 데이터 획득을 위한, 데이터 획득 모듈(A)로서의 본원 발명의 적어도 하나의 멀티미디어 글래스; 및/또는
- 기능을 제어하고, 적어도 하나의 데이터 획득 모듈(A)에 의해 획득된 멀티미디어 데이터의 멀티미디어 데이터를 기록, 저장, 관리 및.또는 공유, 전송 및/또는 스트리밍하기 위한, 데이터 프로세싱 유닛을 포함하는, 적어도 하나의 컴퓨터화 모듈(B)(상기 모듈(B)는 터치 스크린 및 전력원으로서의 배터리를 포함하고, 상기 데이터 프로세싱 유닛은 사람의 식별을 차단 및/또는 방지하는 기능을 구비한 컴퓨터 비전 알고리즘을 포함함);
- 적어도 하나의 멀티미디어 데이터 획득 모듈(A)을 적어도 하나의 컴퓨터화 모듈(B)과 연결시키기 위한 적어도 하나의 연결 모듈(C1)(상기 연결(C1)은 Y-형 케이블 연결임);
- 멀티미디어 데이터를 저장, 기록, 프로세싱, 편집, 관리 및/또는 공유하기 위한 적어도 하나의 멀티미디어 데이터 프로세싱 모듈(D) 및, 적어도 하나의 데이터 저장 유닛(플로피 디스크, DVD, 블루-레이, CD, ROM, PROM, EPROM, EEPROM 및/또는 플래시 메모리 등 전자적으로 독출 가능한 제어 신호를 포함하고, 프로그래밍 가능한 컴퓨터 시스템과 협동 가능함);
- 적어도 하나의 컴퓨터화 모듈(B)을 적어도 하나의 모듈(D)에 연결시키는 적어도 하나의 연결 모듈(C2); 및/또는
- 하나 또는 그 이상의 주변 장치(모니터, 키보드, 프린터, 원격 제어 디바이스 및/또는 원격 서버 등);
- 적어도 하나의 컴퓨터화 모듈(B), 및/또는 적어도 하나의 멀티미디어 데이터 프로세싱 모듈(D)을 적어도 하나 또는 그 이상의 상기 주변 장치(P)로 연결하기 위한, 적어도 하나의 연결 모듈(C3)을 포함한다.
가장 바람직한 실시예에 있어서, 본원 발명의 멀티미디어 시스템은,
- 멀티미디어 데이터 획득을 위한, 데이터 획득 모듈(A)로서의 본원 발명의 적어도 하나의 멀티미디어 글래스;
- 기능을 제어하고, 적어도 하나의 데이터 획득 모듈(A)로부터 획득된 멀티미디어 데이터의 멀티미디어 데이터를 기록, 저장, 관리 및/또는 공유, 전송 및/또는 스트리밍하기 위한, 데이터 프로세싱 유닛을 구비한, 본원 발명의 적어도 하나의 컴퓨터화 모듈(B)(상기 모듈(B)은 터치 스크린 및 전력원으로서의 배터리를 포함하고, 상기 데이터 프로세싱 유닛은 사람의 식별을 차단 및/또는 방지하는 기능을 구비한 컴퓨터 비전 알고리즘을 포함함);
- 멀티미디어 데이터를 저장, 기록, 프로세싱, 편집, 관리 및/또는 공유하기 위한, 적어도 하나의 멀티미디어 데이터 프로세싱 모듈(D), 및 적어도 하나의 데이터 저장 유닛(플로피 디스크, DVD, 블루-레이, CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리 등과 같이, 전기적으로 독출 가능한 제어 신호를 포함하고, 프로그래밍 가능한 컴퓨터 시스템과 협동 가능함);
- 적어도 하나의 컴퓨터화 모듈(B)를 적어도 하나의 모듈(D)에 연결하기 위한, 적어도 하나의 연결 모듈(C2); 및/또는
- 하나 또는 그 이상의 주변 장치(모니터, 키보드, 프린터, 및/또는 원격 제어 디바이스);
- 상기 하나 또는 그 이상의 주변 장치(P)를 적어도 하나의 컴퓨터화 모듈(B), 및/또는 적어도 하나의 멀티미디어 데이터 프로세싱 모듈(D)과 연결하기 위한, 적어도 하나의 연결 모듈(C3)을 포함한다.
자세히 설명된 시스템의 모듈의 다른 조합과, 아래에서 위와 같이 명시적으로 설명되지 않는 것들도 본원 발명의 범위에 속한다.
2. 데이터 획득 모듈(A)
데이터 획득 모듈(A)은 멀티미디어 데이터(우선, 기록을 위해 컴퓨터화 모듈(B)로 전송되거나 스트리밍되는 이미지 및 사운드 등) 획득에 책임이 있다. 본원 발명에서, 데이터 획득 모듈(A)은 멀티미디어 기록을 매우 다르게 캡쳐할 수 있다.
본원 발명의 바람직한 실시예에 있어서, 상기 데이터 획득 모듈(A)은 통합된 카메라, 스피커, 마이크로폰이 구비된 멀티미디어 글래스 디바이스이다.
보다 바람직한 실시예에 있어서, 데이터 획득 모듈(A)은 본원 발명에 따른 멀티미디어 글래스(도 3에 도시된 예와 같이)이다. 이러한 멀티미디어 글래스 또는 스마트 글래스는, 프레임(1) 및 렌즈(10, 11) 외에도, 정적 및/또는 동적 이미지를 캡쳐할 수 있는, 적어도 하나의 카메라(하나 또는 그 이상의 모터를 포함하는, 상기 카메라는 카메라가 그것의 포지션 앵글을 글래스 프레임 및 렌즈에 비례하도록 변화시키는), 적어도 하나의 스피커 및 마이크로폰을 포함하는 오디오 시스템, 적어도 하나의 관성 센서, 카메라의 기록 상태를 시그널링 및/또는 카메라의 포인트뷰의 식별을 위한, 적어도 하나의 점등 디바이스, 적어도 하나의 연결 모듈(C1), 및 선택적으로 전력원(power source)을 포함한다.
보다 바람직한 본원 발명의 실시예에 있어서, 멀티미디어 글래스는 적어도 하나의 카메라, 적어도 하나의 모터(8), 및 이동 가능한 플랫폼(6) 상에 위치한, 적어도 하나의 점등 디바이스를 포함하고, 상기 플랫폼은, 컴퓨터화 모듈(B)에 연결될 때 상기 카메라 위치 앵글을 수동으로 또는 자동으로 조정할 수 있다.
가장 바람직한 실시예에 있어서, 멀티미디어 글래스는 본 트랜스듀서-타입 스피커(2)가 구비된 오디오-시스템을 더 포함한다.
더 바람직한 실시예에 있어서, 멀티미디어 글래스는(앞서 언급한 플랫폼 또는 그것의 외부에 포함되는), 적어도 하나의 점등 시그널링 디바이스(5 및 6)(예를 들어 LED)도 포함할 수 있고, 이는 기록 상태 및/또는 점등 디바이스를 시그널링하기 위한 것이고, 카메라의 뷰포인트의 식별을 위한 것이다.
보다 바람직한 실시예에 있어서, 멀티미디어 글래스는(앞서 언급한 플랫폼 또는 그것의 외부에 포함되는), 상기 점등 시그널링 디바이스로부터의 점등의 포커싱 각도를 변경시킬 수 있고, 카메라의 뷰필드를 줌인-줌아웃 할 수 있는 광학 메커니즘도 포함할 수 있다.
보다 바람직한 실시예에 있어서, 멀티미디어 글래스는, 글래스의 보호 렌즈의 뒤에 마운트되는 내부 렌즈가 구비된 김서림 방지 매커니즘을 포함한다. 얇은 공기 레이어는, 보호 렌즈 및 김서림 방지 렌즈 사이에 포함되고, 이 효과를 위해 접착 물질을 렌즈의 모서리에 이용한다. 보호 렌즈 뒤에 마운트되는 김서림 방지 렌즈가 더 따뜻해지므로, 그러한 매커니즘과 함께, 보호 렌즈 상에 내뿜어지는(exhaled) 수증기(water vapour)의 응결(condensation)이 지연되거나 완전히 방지된다.
따라서, 가장 바람직한 실시예에 있어서, 본원 발명의 멀티미디어 글래스는,
- 방향성 있는(orientable) 동력화(motorized) 플랫폼(6)(도시되지 않았으나, 비디오 카메라를 구비하고, 정적 또는 동적 이미지를 캡쳐하기 위한), 모터(8)(세트의 포지션을 조정하도록 하는), (도시되지 않음) 각각의 유저에 의해 이용될 때, 글래스의 방향을 결정하고, 자동적으로 카메라의 뷰포인트를 미리 설정된 파라미터로 조정하는, 관성 센서;
- 점등 시그널링 디바이스로부터 점등의 포커싱 앵글을 변화시킬 수 있고, 카메라의 뷰필드의 줌인-줌아웃을 수행할 수 있는 광학 매커니즘;
- 마이크로폰이 구비된 오디오 시스템(도4에 도시되지 않음)(유저의 음성을 캡쳐하고, 상기 유저가, 기록 포지션에 관한 인스트럭션[기록 모드의 시작 및 정지, 카메라의 뷰포인트를 사인하는 점등 디바이스의 온오프(turn on and turn off), 비디오에 음성 하이라이트를 추가하는 것 등]을 줌으로써, 컴퓨터화 모듈(B)을 거쳐 스마트 글래스 디바이스와 인터랙트하도록 함);
- 그러한 렌즈에 내뿜어지는 수증기의 응결을 방지하는 김서림 방지 매커니즘을 구비한 렌즈(유저가 더 깨끗한 시야를 확보하도록 함)를 포함한다.
매커니즘과 같은 스피커(오디오 시스템의 일부로서)는 컴퓨터화 모듈(B)로부터 유저에게 피드백(마이크로폰을 거쳐 주어진 인스트럭션을 따르는)을 주고, 어떤 커맨드(command)가 뒤에 실행될 것인지 확인하여, 예기치 않고 원치 않는 커맨드가 발생하지 않도록 방지한다. 오디오 시스템(바람직하게는 마이크로폰 및 본 트랜스듀서-타입 스피커(2)를 이용하는)은 구어(verbal) 커뮤니케이션의 방법을 생성할 수 있다.
2.1 멀티미디어 글래스:
본원 발명의 멀티미디어 글래스(도 3에 도시되어 있고, 위에서 부분적으로 이미 언급한)는, 데이터 획득 모듈(A)로서 동작(act)하는 것으로, 멀티미디어 데이터를 획득하고, 상기 데이터를 컴퓨터화 모듈(B)로 전송할 수 있다.
바람직하게는, 경량(lightweight) 물질로 구축(built with)되고, 인체공학적으로 설계되어 장기간(long-term period) 동안 이용되는 것으로, 이러한 글래스는 멀티미디어, 비디오 및 오디오 기록 디바이스를 포함하고, 바람직하게는 콧등(부)(nasal bridge)를 포함한다. 또한, 이러한 글래스는 적어도 부분적으로 방수 또는 방수벽 필름으로 코팅될 수 있다.
바람직하게는, 관자놀이(temple)(3)의 한쪽 끝 말단(distal)은 작은 스피커(2)에 위치하여, 착용자의 관자놀이 뼈의 꼭지 돌기(mastoid apophysis)와 접촉될 때, 바람직하게는 뼈(bone) 전도(conduction) 경로(pathway)를 이용하여 컴퓨터화 모듈(B)로부터 정보를 전송한다. 멀티미디어 글래스 상의 관성 센서가 포함되도록 제공될 수도 있는데, 바람직하게는 관자놀이(3)의 한쪽 끝 말단에 위치한다. 이 센서는 유저의 헤드의 포지션을 식별하기 위한 것으로, 멀티미디어 글래스(예를 들어, 핸드 기록 모드 또는 풍경 기록 모드 등)를 이용한 적용 가능한 모드 간에 자동적으로 전환(switch)하도록 한다.
케이블 연결을 위한 형태(forms) 및/또는 통로(passage)의 경로(paths)를 지원(support)하는 것은 글래스의 프레임에 제공될 수 있다(예를 들어 상기 멀티미디어 글래스를 컴퓨터화 모듈(B)에 연결시키기 위해).
추가적으로, 멀티미디어 글래스는, 충분한 에너지를 전력으로 제공하기 위한 배터리도 포함할 수 있다(예를 들어, 하나 또는 그 이상의 점등 디바이스로서, LEDs 등).
멀티미디어 글래스는 멀티미디어 데이터 획득 구성요소를 지원(support) 또는 포함하거나, 및/또는 유저와 컴퓨터화 모듈(B) 사이의 인터랙션을 용이하게 하는 플랫폼(6)을 더 포함할 수 있다.
2.2 렌즈:
멀티미디어 글래스의 렌즈(10, 11)는, 태스크(task)의 실행 중, 멀티미디어 획득을 위해서 뿐만 아니라, 셀프-보호 및 비전 결함(deficits) 교정을 위해, 교정(corrective) 렌즈를 필요로 하는 유저가 이러한 멀티미디어 글래스(A)를 이용하는 것을 허용하도록 커스터마이즈(customized)될 수 있다. 렌즈(10, 11)는 바람직하게는 멀티미디어 글래스의 프레임(1) 상에 위치한 피팅(fitting) 위치 상에 놓여진다. 내부 렌즈를 구비한 김서림 방지 매커니즘은, 글래스의 보호 렌즈 뒤에 마운트될 수 있다. 내부 렌즈의 모서리 상에 접착 물질을 이용하고, 보호 렌즈와 김서림 방지 렌즈 사이에 얇은 공기 레이어가 포함된다.
2.3 카메라:
비디오 카메라는 바람직하게는 콧등(부)(nasal bridge)에 위치하고, 이상적으로는 이동 가능한 플랫폼(6) 상에서 점등 디바이스로서 동일한 방향을 가지고, 모터(8)에 종속적이고(dependent), 카메라의 각도 포지션을 변화(틸트(tile) 및/또는 등)할 수 있도록 제공한다.
카메라의 포지션은 보이스 커맨드 및/또는 제스처를 통해 조정될 수 있고, 유저가 그의 것과 매치되도록 카메라의 뷰포인트를 조정하는 것을 허용한다. 이러한 커맨드는 그것이 컴퓨터화 모듈(B)과 터치 요구 없이 인터랙트 가능하도록 하여, 다양한 인스트럭션이 모든 카메라 기능을 탐색(explore)하도록 허용한다.
2.4 플랫폼:
멀티미디어 글래스의 콧등(부)(nasal bridge)내에서, 캡쳐 디바이스에는 바람직하게는 플랫폼(6)(그것에 포함된 모터(8)로 인해 이동 가능한)가 있다. 이 플랫폼은 비디오 카메라 및 적어도 하나의 점등 디바이스(예를 들면, LED)도 포함할 수 있다. 바람직하게는 그렇게 플랫폼에 위치한 것은 점등 시그널링 디바이스로부터 빛의 포커싱 각도를 변화시킬 수 있고, 카메라의 뷰필드를 줌인-줌아웃 할 수 있는 광학 매커니즘이다.
2.5 점등 디바이스:
멀티미디어 글래스는 하나 또는 그 이상의 점등 디바이스를 포함할 수 있다. 이것들은 글래스 프레임(1) 및/또는 플랫폼(6) 내에 포함될 수 있다. 바람직하게는, 점등 디바이스들 중 하나는 동일한 플랫폼(6) 내에서 및 동일한 각도에서 카메라로서 마운트되는 LED이고, 카메라의 뷰포인트를 식별하는 기능을 가진다(즉, 스포트라이트는 촬영(filming)/포토그래핑 영역의 위치를 나타냄).
본원 발명의 다른 선호되는 실시예에 있어서, 명확히 가시적인(visible) 시그널링 점등 디바이스(5)의 위치로, 바람직하게는 LED이고, 글래스 프레임(1)의 측면(lateral) 및 프론트 사이드 내이고, 기록 모드를 시그널링하는 기능을 포함하고, 멀티미디어 데이터 획득이 진행 중이다.
가장 선호되는 본원 발명의 실시예에 있어서, 스마트 글래스는 앞서 언급한 점등 디바이스의 적어도 각각을 포함한다.
2.6 모터:
모터(8)는 바람직하게는 글래스의 콧등(nasal bridge)에 위치하고, 플랫폼(6)에 카메라와 점등 디바이스가 함께 커플링되고, 멀티미디어 기록 세트의 방향을 정의한다. 이 모터는 이 모듈(플랫폼, 카메라 및 점등 디바이스)에 이동 능력을 부여(confer)하고, 음성 및/또는 제스처 인스트럭션을 통해 제어되고, 수동 조정을 필요로 하지 않는다. 그러나, 수동 조정도 가능하다.
2.7 마이크로폰:
바람직하게는, 멀티미디어 글래스(A)의 콧등, 코뼈(nasal bone)의 인접 영역은 마이크로폰에 위치한다. 마이크로폰은 적합한(suitable) 필름으로 코팅되어, 물이 새지 않거나(watertight) 습기에 저항성을 가질 수 있다. 마이크로폰은, 유저에 의해, 음성 인스트럭션을 컴퓨터화 모듈로 전송하는 기능을 구비하고, 기능 및/또는 필요한 글래스(A)의 세팅을 조정한다. 이는 구어(verbal) 커뮤니케이션 방식의 생성도 허용한다.
2.8 스피커:
바람직하게는, 스피커(2)는 관자놀이 뼈(temporal bone)의 꼭지 프로세스(mastoid process)와 접촉하고, 컴퓨터화 모듈로부터, 유저에게, 소리(sound)의 골전도 경로(bone conduction pathway, bone conduction)를 이용하여 정보를 전송한다(컴퓨터화 모듈러부터, 유저에게). 그것은 구어 커뮤니케이션의 한 가지 방식도 용이하게 한다.
2.9 관성 센서:
이 센서는 바람직하게는 글래스의 관자놀이(temple)(3) 중 하나에 마운트되고, 유저의 헤드의 포지션을 식별하도록 허용하고, 대안적으로, 바람직하게는 자동적으로, 이용될 검열(censorship) 방법을 조정하는 데이터 캡쳐링 세트(플랫폼, 카메라 및 점등 디바이스)의 이용의 프리셋 모드는, 적용 가능할 때마다, 민감한 데이터의 캡쳐를 제한한다. 이는 이미지 안정화 시스템 생성에 이용될 수 있다.
2.10 연결 모듈(C1):
데이터 획득 모듈(A)은 적어도 하나의, 데이터 프로세서와 연결되는 형태(적어도, 상기 수신된 멀티미디어 데이터를 수신, 저장, 기록, 관리, 공유, 전송 및/또는 스트리밍하도록 허용하는)를 포함할 필요가 있다.
이 연결은 케이블, Wi-Fi, 블루투스, 적외선, 및/또는 데이터 획득 모듈(A)에 의해 획득된 데이터를 데이터 프로세서로 발송, 공유, 전송 및/또는 스트리밍하도록 하는 다른 임의의 형태(예를 들면, 컴퓨터화 모듈(B)의 데이터 프로세싱 유닛)를 통해 이루어질 수 있다.
본원 발명의 바람직한 실시예에 있어서, 연결 모듈(C)은 컴퓨터화 모듈(B)에 대한 연결(C1)을 포함한다.
더 바람직한 실시예에 있어서, 컴퓨터화 모듈(B)은, 본원 발명의 컴퓨터화 모듈(B)과 같다.
글래스(A) 및 컴퓨터화 모듈(B) 사이의 연결은 케이블을 통해 수행될 수 있고, 연결 보안 및 데이터 프라이버시(privacy)를 높일 수 있다. 전자 케이블은 바람직하게는 글래스의 관자놀이(3)를 통해 지나간다.
바람직하게는, 2세트의 프레임의 케이블 리브(leave), 글래스의 각각의 관자놀이(temple)(3)의 하나의 말단, Y-형 방법(Y-형 케이블 커넥션이라 지칭되는)에서 재결합되어, 관자놀이(3)의 끝으로부터 고정된 거리에 있다. 게다가, 유저는 슬라이딩 디바이스가 Y-형 케이블을 가로질러 관자놀이 접촉면에 각각 존재하는 2개 케이블의 거리를 더 줄이도록 하고, 갑작스러운 이동이나 글래스의 자연적인 낙하 같은 포지션 동안 유저 헤드 상에 글래스가 더 안전하게 고정되도록 하는 장점을 제공한다.
3. 컴퓨터화 모듈(B)
3.1 프로세싱 유닛:
컴퓨터화 모듈(B)은 적어도 하나의 데이터 획득 모듈(A)의 기능을 제어하고, 데이터 획득 모듈(A)에 의해 획득된 멀티미디어 데이터를, 기록, 저장, 관리 및/또는 공유, 전송 및/또는 스트리밍 하기 위한, 터치 스크린 및/또는 키보드, 및 전력원 및/또는 전력원에 대한 연결을 포함한다.
상기 컴퓨터화 모듈(B)은 데이터 획득 모듈(A) 및/또는 그것의 터치 스크린 및/또는 키보드를 거쳐 유저에 의해 제공되는 인스트럭션에 반응할 수 있고, 그것은 네트워크를 거쳐 인증된 사람에 의해 원격(인트라넷 및/또는 인터넷 등)으로 제어될 수 있다.
컴퓨터화 모듈(B)은 적어도 하나의 멀티미디어 데이터 획득 모듈(A)에 연결하기 위한, 적어도 하나의 연결 모듈(C1)도 포함할 수 있다.
컴퓨터화 모듈(B)은 상기 컴퓨터화 모듈(B)을 적어도 하나의 멀티미디어 데이터 프로세싱 모듈(D)에 연결하기 위한, 적어도 하나의 연결 모듈(C2), 및/또는 컴퓨터화 모듈(B)을 적어도 하나 또는 그 이상의 주변 장치(P)에 연결하기 위한, 적어도 하나의 연결 모듈(C3)을 더 포함할 수 있다.
컴퓨터화 모듈(B)은 바람직하게는, 전력원으로서의 배터리를 포함하여, 상기 컴퓨터화 모듈(B) 및 바람직하게는 데이터 획득 모듈(A)에 전력을 공급한다. 이 배터리는 충전될 수 있고, 전력 공급 소켓에 연결되는 동안에도 컴퓨터화 모듈(B)이 휴대 가능하거나, 운반 가능하도록 전력을 공급할 수 있다.
컴퓨터화 모듈(B)의 데이터 프로세싱 유닛은 적어도 하나의 데이터 획득 모듈(A)의 기능을 제어하도록 한다(특히, 모션 픽쳐 캡쳐, 스틸 이미지 캡쳐(포토그래피) 또는 관심있는 지점의 북마크 등의 시작, 정지, 재시작).
본원 발명의 바람직한 실시예에 있어서, 컴퓨터화 모듈(B)의 데이터 프로세싱 유닛은 컴퓨터 비전 알고리즘을 포함하고, 이는 예를 들어, 얼굴 검출 시스템(사람의 식별을 방지하거나 차단하는 기능을 구비한)으로 식별 가능한 사람과 관련된 민감한 데이터가 캡쳐되는 것을 방지한다.
3.2 스크린:
컴퓨터화 모듈(B)은 스크린(유저와 그것의 데이터 프로세싱 유닛 간의 매뉴얼 인터페이스 모드를 생성하는 바람직한 기능을 가지고, 캡쳐된 멀티미디어 콘텐츠의 뷰를 가능하게 하는)도 포함할 수 있다.
이 스크린은 바람직하게는 촉각(tactile) 또는 터치 스크린이고, 컴퓨터화 모듈(B)의 전면 페이스(front face)에 위치할 수 있다.
본원 발명의 다른 실시예에 있어서, 스크린은 촉각이 아니고, 이 대안에 있어서, 유저에 의한 인스트럭션 인풋은 키보드(컴퓨터화 모듈(B)에 포함될 수 있거나 그 인스트럭션 인풋은 원격으로 수행될 수 있는)를 통해 달성될 수 있다.
다른 바람직한 실시예에 있어서, 컴퓨터화 모듈(B)은 터치 스크린을 포함하고, 원격으로 동작할 가능성도 있다.
컴퓨터화 모듈(B)은 용기(encasement) 또는 필름에 의해 더 코팅될 수 있는데, 이는 바람직하게는 방수 또는 물이 새지 않도록 한다. 컴퓨터화 모듈(B)은 보안 및/또는 프라이버시 목적을 위한 봉인(seal)을 더 포함할 수 있다.
3.3 연결 모듈(C1)(C2)(C3):
컴퓨터화 모듈(B)은, 데이터 획득 모듈(A)에 대한(예를 들어, 연결(C1)), 적어도 하나의 멀티미디어 데이터 프로세싱 모듈(D)에 대한(예를 들어, 상기 멀티미디어 데이터 프로세싱 모듈(D)이 상기 수신된 멀티미디어 데이터를 저장, 기록, 관리, 공유, 전송 및/또는 스트리밍(C2)하도록 하는) 연결의 한 형태를 형성할 필요가 있다. 나아가, 그것은, 예를 들어 적어도 하나의 주변 장치(P)에 연결하기 위한, 연결 모듈도 포함할 수 있다.
연결 타입(C1)은 이미 상술한 바 있다.
연결 타입(C2) 및 (C3)은, 연결 타입(C1)와 같이, 케이블, Wi-Fi, 블루투스, 적외선 및/또는 임의의 다른 형태의 연결 수단에 의해 수행될 수 있다.
연결 타입(C2)은 컴퓨터화 모듈(B)이 적어도 하나의 데이터 획득 모듈(A)에 의해 획득되고, 적어도 하나의 컴퓨터화 모듈(B)에 포함된 멀티미디어 데이터를, 적어도 하나의 멀티미디어 데이터 프로세싱 모듈(D) 및/또는 적어도 하나의 주변 장치(P)로 발송하도록 할 수 있다.
연결 모듈(C3)은 컴퓨터화 모듈(B)이 멀티미디어 데이터를, 적어도 하나의 멀티미디어 데이터 프로세싱 모듈(D) 및/또는 적어도 하나의 주변 장치(P)로 발송 및/또는 수신, 공유, 전송 및/또는 스트리밍하도록 할 수 있다.
선택적으로, 컴퓨터화 모듈(B)은 하나 또는 그 이상의 주변 장치(P)(외부 컴퓨터, 모니터, 프린터, 및/또는 다른 멀티미디어 데이터 프로세싱 모듈(D) 등)에 대한 하나 또는 그 이상의 연결(C3)을 포함할 수 있다.
바람직하게는, 연결 타입(C2) 및 (C3)은 무선 전송(Wi-Fi, 적외선 및/또는 블루투스)에 의해 형성된다.
4. 연결 모듈(C)
본원 발명의 시스템은, 적어도 하나의 데이터 획득 모듈(A)로부터 적어도 하나의 컴퓨터화 모듈(B)에 대한 적어도 하나의 연결 형태(예를 들어, 타입(C1)의 연결)를 포함할 필요가 있다.
바람직하게는, 본원 발명의 시스템은 2개 타입의 연결을 포함한다: (i) 타입(C1)의 연결로, 데이터 획득 모듈(A) 및 컴퓨터화 모듈(B) 사이의 멀티미디어 데이터의 전송을 허용하고, (ii) 다른 타입(C2)의 연결로, 컴퓨터화 모듈(B) 및 멀티미디어 프로세싱 모듈(D) 사이의 멀티미디어 데이터를 공유, 전송 및/또는 스트리밍하기 위한 것이다.
선택적으로, 본원 발명은 다른 연결 타입(iii)을 더 포함할 수 있다(예를 들어, 연결 타입(C3)으로, 임의의 상기 모듈(A, B 또는 D) 사이에서 적어도 하나 또는 그 이상의 주변 장치(P)(예를 들어, 외부 모니터, 원격 제어 디바이스, 프린터, 원격 서버, 등)로 멀티미디어 데이터를 공유, 전송 및/또는 스트리밍할 수 있도록 함).
본원 발명의 범위 내에서, 멀티미디어 데이터의 전송은 상기 데이터를 수신, 발송, 공유 및/또는 스트리밍하는 것도 의미한다.
이러한 연결들은, 케이블, Wi-Fi, 블루투스, 적외선 또는 상기 모듈들 간에 멀티미디어 데이터를 발송, 수신, 전송, 공유 및/또는 스트리밍하도록 허용하는 임의의 형태의 연결을 거쳐, 형성될 수 있다.
5. 멀티미디어 데이터 프로세싱 모듈(D)
프로세싱 모듈(D)은, 멀티미디어 데이터를 저장, 기록, 프로세싱, 편집, 관리 및/또는 공유하는 데이터 프로세싱 유닛을 포함한다. 본원 발명의 범위 내에서, 상기 멀티미디어 데이터 프로세싱 모듈(D)은, 예를 들어, 원격 서버, 컴퓨터, 휴대 가능하거나 운반 가능한 컴퓨터, 랩탑, 노트북, 태블릿 또는 멀티미디어 데이터를 저장, 프로세싱, 관리, 편집 및/또는 공유할 수 있는 임의의 다른 디바이스일 수 있다.
멀티미디어 데이터 프로세싱 모듈(D)은, 상기 멀티미디어 데이터 프로세싱 모듈(D)을 적어도 하나의 컴퓨터화 모듈(B)에 연결하기 위한, 컴퓨터화 모듈(B)에 대한 적어도 하나의, 연결형태(C2) 및/또는 상기 멀티미디어 데이터 프로세싱 모듈(D)을 적어도 하나의 주변 장치(P)(예를 들어, 모니터, 키보드, 원격 제어 디바이스, 프린터, 원격 서버 등)에 연결하기 위한 적어도 하나의 연결 모듈(C3)도 포함할 수 있다.
추가적으로, 멀티미디어 데이터 프로세싱 모듈(D)은 획득, 등록 및/또는 멀티미디어 관리의 방법을 수행하기 위한 컴퓨터 프로그램을 포함하고, 그 프로그램은,
적어도 하나의 데이터 획득 모듈(A)로부터 멀티미디어 데이터를 획득하는 단계 a);
적어도 하나의 모듈(A)에 의해 획득된 데이터를, 연결 모듈(C1)을 통해, 적어도 하나의 컴퓨터화 모듈(B)로 발송(sending), 전송(transmitting) 및/또는 스트리밍하는 단계 b);
연결 모듈(C2)을 통해, 적어도 하나의 컴퓨터화 모듈(B)로부터, 적어도 하나의 프로세싱 모듈(D)로 상기 데이터를 발송, 공유, 전송 및/또는 스트리밍하는 단계 c);
수신된 멀티미디어 데이터를, 적어도 하나의 프로세싱 모듈(D) 및/또는 전기적으로 독출 가능한 제어 신호를 구비한, 플로피 디스크, DVD, 블루-레이, CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리와 같은, 프로그래밍 가능한(programmable) 컴퓨터 시스템과 협동(cooperating) 가능한 데이터 저장 유닛 내에서 저장, 등록, 프로세싱, 편집 및/또는 관리하는 단계 d);
연결 모듈(C3) 및/또는 적어도 하나의 다른 프로세싱 모듈(D)을 통해, 상기 멀티미디어 데이터를, 적어도 하나의 주변 장치(P)로 선택적으로(optionally) 공유, 전송 및/또는 스트리밍하는 단계 e);
멀티미디어 데이터 라이브러리(ML)를 선택적으로(optionally) 생성하는 단계 f)를 포함한다.
멀티미디어 데이터 프로세싱 모듈(D)은 적어도 하나의 데이터 저장 유닛(플로피 디스크, DVD, 블루-레이, CD, ROM, PROM, EPROM, EEPROM 및/또는 플래시 메모리와 같이 전기적으로 독출 가능한 제어 신호를 구비하고, 프로그래밍 가능한 컴퓨터 시스템과 협동 가능한)도 포함할 수 있다.
선택적으로, 멀티미디어 데이터 프로세싱 모듈(D)은, 적어도 하나의 데이터 획득 모듈(A)에 의해 개별적으로 획득되는 멀티미디어 데이터를 구비한, 멀티미디어 데이터 라이브러리(ML)를 더 포함한다.
6. 멀티미디어 데이터 라이브러리(ML)
본원 발명의 멀티미디어 데이터 라이브러리(ML)는 멀티미디어 데이터(종래에 지원되거나 및/또는 디지털 지원되는, 예를 들어, 플로피 디스크, DPD, 블루-레이, CD, ROM, PROM, EPROM, EEPROM 및/또는 플래시 메모리 등과 같은 데이터 저장 유닛에 기록되는, 리더(reader) 및/또는 멀티미디어 데이터 프로세서에 의해 전기적으로 독출되는 것에 민감하고, 바람직하게는 멀티미디어 데이터 획득 모듈(A)(바람직하게는, 본원 발명의 멀티미디어 글래스에 따라 기록하는 멀티미디어 이벤트로부터 획득된 멀티미디어 데이터를 포함)를 포함한다.
본원 발명의 바람직한 실시예에 있어서, 멀티미디어 데이터는 간섭(intervene) 주제의 식별을 방지 및/또는 차단하기 위한 것으로, 식별 차단은 얼굴의 식별 방지 및/또는 차단, 음성의 식별 방지 및/또는 차단, 그 중 다른 것을 포함한다.
다른 바람직한 실시예에 있어서, 멀티미디어 데이터 라이브러리(ML)는 다른 알려진 수단(예를 들어, 유저 패스워드 및/또는 서버 패스워드 및/또는 라이브러리 내에 소개된 메타데이터의 수도(pseudo-) 보호기법(anonymization))에 의해 보호되는 보안으로, 제한된 액세스를 가진다.
이에 불구하고, 전체 콘텐츠, 또는 하나 또는 그 이상의 네트워크 멤버 또는 상기 라이브러리(ML)에 대한 액세스 권한을 구비한 미리-정의된 커뮤니티에 따른 멀티미디어 데이터 라이브러리(ML)의 선택된 일부가 공유될 수 있다.
7. 획득, 등록 및 멀티미디어 관리 방법
본원 발명의 획득, 등록 및/또는 멀티미디어 관리 방법은 아래 단계를 포함한다.
상기 타입 멀티미디어 글래스의 적어도 하나의 모듈(A)로부터 멀티미디어 데이터를 획득(상기 획득은 적어도 하나의 컴퓨터화 모듈(B)에 의해 제어됨)하는 단계 a);
적어도 하나의 모듈(A)에 의해 획득된 데이터를, 적어도 하나의 연결 모듈(C1)을 통해 적어도 하나의 컴퓨터화 모듈(B)로 발송, 전송 및/또는 스트리밍, 전송 및/또는 스트리밍하는 단계 b);
선택적으로(optionally), 적어도 하나의 연결 모듈(C2)을 거쳐, 상기 데이터를 적어도 하나의 컴퓨터화 모듈(B)로부터 적어도 하나의 프로세싱 모듈(D)로 발송, 공유, 전송 및/또는 스트리밍하는 단계 c);
선택적으로(optionally), 수신된 멀티미디어 데이터를 적어도 하나의 프로세싱 모듈(D) 및/또는 전기적으로 독출 가능한 제어 신호를 구비한, 플로피 디스크, DVD, 블루-레이 CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리와 같은, 프로그래밍 가능한 컴퓨터 시스템과 협동 가능한 데이터 저장 유닛 내에서 등록, 프로세싱, 편집 및/또는 관리하는 단계 d);
선택적으로(optionally), 연결 모듈(C3)을 통해, 상기 멀티미디어 데이터를 적어도 하나의 모듈(D)로부터 적어도 하나의 주변 장치(P) 및/또는 적어도 하나의 다른 프로세싱 모듈(D)로 공유, 전송 및/또는 스트리밍하는 단계 e); 및/또는
선택적으로(optionally), 멀티미디어 라이브러리(ML)를 생성하는 단계 f).
본원 발명의 바람직한 실시예에 있어서, 데이터 획득 모듈(A)은 섹션 2에서 설명된 멀티미디어 글래스이다.
다른 바람직한 실시예에 있어서, 컴퓨터화 모듈(B)은 섹션 3에서 설명된 것 중 하나이다.
본원 발명의 다른 바람직한 실시예에 있어서, 연결 모듈(C1), (C2) 및/또는 (C3)은 섹션 4에서 설명된 것이다.
다른 바람직한 실시예에 있어서, 멀티미디어 프로세싱 모듈(D)은 섹션 5에서 설명된 것 중 하나이다.
다른 바람직한 실시예에 있어서, 멀티미디어 데이터 라이브러리(ML)은 섹션 6에서 설명된 것 중 하나이다.
가장 바람직한 실시예에 있어서, 본원 발명의 방법은 위에서 설명한 바람직한 실시예의 둘 또는 그 이상의 조합을 포함한다.
예시
예시 1: 복강경 검사법(laparoscopy) 동안의 멀티미디어 데이터 획득 및 등록 방법
이 예시에 있어서, 본원 발명의 멀티미디어 시스템은 도 3에 도시된 것과 같이, 데이터 획득 모듈(A)로서의 스마트 글래스 유닛, 컴퓨터화 모듈(B) 및 멀티미디어 데이터 프로세싱 모듈(D)을 포함한다.
헤드에 마운트되는 데이터 획득 모듈(A)과 함께, 유저는 아래를 수행할 수 있다:
1. 이용에 의해 기록을 시작한다;
a. 음성 커맨드, 미리 정의되고 개인화된 활성화(activation) 표현(기록을 시작하기 위한 의도를 나타내는 적절한 커맨드에 따르는)에 따른 시작, 및/또는
b. 터치스크린 인터페이스, 컴퓨터화 모듈(B)에 위치함.
2. 기록 중인 프리-셋 모드를 변경, 그것이 이미 활성화된 경우(예를 들어, 복강경 절차 동안) 단순히 중립적 위치의 헤드를 구비함으로써, 복강경 스크린을 향하여, 컴퓨터화 모듈(B)은 헤드의 기울어짐(inclination)에 대한 정보를 획득할 수 있고, 데이터 획득 모듈(A)에 마운트되는 관성 센서를 이용함으로써, 그리고, 설정 가능한(configurable) 시간 이후, 카메라의 방향이 예측 가능한 외과의사의 뷰포인트와 매치되도록 할 수 있다;
3. 기록 중 북마크를 추가함으로써, 프로세싱 모듈(D)은 자동적으로 기록 중인 데이터의 관심 포인트를 식별할 수 있다. 이러한 북마크는, 미리 정의되고 개인화된 활성화 표현을 이용함으로써, 음성 커맨드(북마크 추가 의도 및 그것의 각각의 숫자를 나타내는 적절한 커맨드를 따른다)에 더해질 수 있다;
4. 오디오 피드백(컴퓨터화 모듈(B)로부터의)은 항상(every time) 유저에게 주어지고, 음성 커맨드는 커맨드 이후 오해석(misunderstanding)을 방지하도록 활성화(피드백에 따라 발생하는 커맨드에 관한 유저 정보의 제공에 의해)된다.
복강경 절차 동안, 효과적으로 등록되는 관심 영역은, 복강경 모니터(P)를 포함(contain)해야 한다. 이미지의 경계는 어둡게 될 수 있거나, 모니터(P)만을 포함한 디지털 줌을 이용함으로써 완전히 제거될 수 있다.
컴퓨터 비전 알고리즘(관성 센서를 거치는)은, 유저가 목 근육을 이완(relax)하고, 의도치 않게 카메라의 뷰포인트를 변경할 때, 민감한 데이터(예를 들면, 얼굴)에 대해 감지 중인 영역을 여전히 도울 수 있다.
민감한 데이터를 포함하는 환경에서 기록할 때(본원의 예시의 경우로서), 유저는 미리 정의되거나 개인화된 활성화 코드 또는 표현을 이용함으로써 음성 커맨드(기록 종료 의도를 나타내는 적절한 커맨드를 따름)에 따라 기록을 종료해야 한다.
예시 2: 개복수술(laparotomy) 동안의 멀티미디어 데이터 획득 및 등록 방법
이 예시에 있어서, 멀티미디어 시스템은 앞서 언급한 것과 같은 동일한 모듈을 포함한다.
헤드에 위치한 데이터 획득 모듈(A)과 함께, 유저는 아래를 수행할 수 있다:
1. 아래 둘 중 하나에 의해 기록을 시작한다;
a. 음성 커맨드, 미리 정의되거나 개인화된, 기록을 시작하라는 커맨드에 따른 활성화 문장을 통해, 및/또는
b. 컴퓨터화 모듈(B) 내의 터치스크린 인터페이스를 이용함으로써.
2. 활성화된 경우(예를 들어, 복강경 수술 동안 단순히 헤드를 아래로 기울여, 수술 지역으로 향하도록 기울임으로써), 기록 중인 프리-셋 모드를 변경한다. 글래스 내에 어셈블(assembled)된 관성 센서를 통해, 컴퓨터화 모듈(B)은 헤드의 방향을 획득하고, 설정 가능한(configurable) 시간 이후(예를 들면 5초), 카메라는 아래를 향해 틸트(tilt)하여, 외과의사의 시선을 따라 이동한다.
3. 비디오 기록에 대한 북마크 추가는, 가장 관련된 부분(나중에 멀티미디어 데이터 프로세싱 모듈(D)의 비디오 편집기에 의해 독출될 수 있는)을 기록된 장면 상에 더 쉽게 위치하도록 한다. 이러한 마커는 음성 커맨드(연관된 숫자를 구비한 북마크를 생성하려는 의도를 나타내는 특정한 커맨드에 따라 미리 정해지거나 개인화된, 활성화 문장을 이용)와 함께 추가될 수 있다;
4. 오디오 피드백(컴퓨터화 모듈(B)로부터의)은 항상 유저에게 주어지고, 음성 커맨드(피드백에 따라 발생하는 커맨드에 관한 유저 정보의 제공에 의해)는 커맨드 이후 오해석을 방지하도록, 활성화된다.
이러한 프리-셋 모드 동작 내에서, 카메라의 기록 영역 내에 얼굴이 있을 수 있다. 이것이 발생하면, 얼굴 검출 알고리즘은 그것들을 검출하여, 수술실 내의 외과의사 및 스탭(staff)과 관련된 프라이버시를 보호한다. 기록을 종료하기 위해, 외과의사는 미리 정의되고 개인화된 활성화 코드 또는 표현(기록을 정지시키는 커맨드에 따르는)이 구비된 음성 커맨드를 발행(issue)할 수 있다.
예시 3: 장인(artisan) 작업, 수리, 또는 다른 수작업 동안 멀티미디어 데이터 획득 및 등록을 위한 방법
유저의 헤드에 위치한 글래스와 함께, 유저는 아래를 수행할 수 있다:
1. 아래에 의해 기록을 시작한다.
a. 음성 커맨드를 이용함으로써, 미리 정의되고 개인화된 활성화 문장(기록을 시작하기 위한 커맨드에 따름)을 이용함으로써, 및/또는
b. 컴퓨터화 모듈(B) 내에 위치한 터치스크린 인터페이스를 이용함으로써,
2. 카메라의 방향을, 점차적으로, 변화시켜, 아래에 의해 작업 영역이 포커스 되도록:
a. 음성 명령, 미리 정해지고 개인화된 활성화 문장(기대되는 이동을 나타내는 커맨드에 따름), 및/또는
b. 컴퓨터화 모듈(B) 내에 위치한 터치스크린 인터페이스를 이용함으로써,
유저는 컴퓨터화 모듈(B) 내에 위치한 스크린을 봄(look)으로써 또는 점등 매커니즘에 의해 조명(illuminate)되는 영역을 알림(acknowledge)으로써 포커싱되는 영역 상에 피드백을 받을 수 있다.
3. 비디오 기록에 북마크(비디오 편집기에 의해 다음 스테이지에서 독출될 수 있는)를 추가하여, 비디오의 관련된 부분이 적시에(in time) 위치하는 것이 용이하도록 만든다. 이러한 마커는 아래에 의해 삽입될 수 있다:
a. 음성 커맨드, 미리 정의되고 개인화된 활성화 코드 또는 표현(특정한 커맨드에 따르는)을 이용함, 및/또는
b. 컴퓨터화 모듈(B) 내의 터치스크린 인터페이스를 이용함.
상기 유저는 음성 커맨드(미리 정의되고 개인화된 활성화 문장으로, 커맨드에 따르는)를 이용하거나, 터치스크린 인터페이스를 이용하여 그의 기록을 종료해야 한다.
예시 4: 이전의 예시와 유사하게, 원격 위치(스트리밍)로 콘텐츠를 무선으로 전송하는 방법:
유저는 아래를 통해 기록 중 무선으로 콘텐츠를 전송할 수 있다:
1. 컴퓨터화 모듈(B)에 의해 생성되고 관리되는 무선 네트워크를 이용함으로써, 이는 특히 컨퍼런스와 같이 로컬 네트워크 내에서 실시간으로 콘텐츠가 공유되는 곳에서 완벽하다. 이러한 기능을 이용하기 위해, 유저는 이름과 네트워크 비밀번호(컴퓨터화 모듈(B)의 스크린에 위치한)를 알고 있어야 하고, 및/또는
2. 원격 위치로 인터넷을 전송함으로써. 이 특징을 가능케 하기 위해, 유저는 컴퓨터화 모듈(B)이 연결되는 곳에서, 네트워크의 관리자와 접촉해야 하고, 공공 주소(public address)를 준비하여 관심 있는 사람들과 공유함으로써, 그들은 독출(read) 스트림 콘텐츠로 준비된 임의의 멀티미디어 클라이언트 내의 콘텐츠를 가시화(visualize)할 수 있다. 선택적으로(Optionally), 유저는 송출되는(broadcasted) 콘텐츠를 보기 위해 인증(authenticate)될 필요가 있다.
예시 5: 멀티미디어 데이터 라이브러리(ML)을 생성, 편집, 관리하기 위한 방법:
비디오 프로세싱 소프트웨어(도 5.4)는 유저가 대부분의 관련된 기록(기록 도중 삽입된 북마크에 의해 용이해지는 프로세스)의 세그먼트(segment)를 선택할 수 있도록 하고, 그것들을 수도-익명화(pseudo-anonymized)되고, 인증 후에만 액세스 가능한 포맷으로 암호화(encrypted) 삽입된 메타데이터와 함께 저장할 수 있다.
유저는 패스워드에 따라 인증을 시작하고, 이상적으로는, 그의 모바일폰에 수신되는 코드를 이용하여 2차 (two-factor) 인증한다. 의과 수술을 기록하기 위해 의사에 의해 이용되는 경우, 카드 리더와 함께, 유저는, 그의 의과 증명에 따라 인증할 수도 있다.
컴퓨터화 모듈(B)에 따라 멀티미디어 데이터 프로세싱 모듈(D)에 연결되고, 유저는 인증 이후, 할 수 있다.
1. 아래에 의해 생성된 기록의 라이브러리를 브라우징:
a. 하나 또는 그 이상의 연관된 메타데이터(도 5.5)에 의한 기록을 검색함, 및/또는
b. 가급적 저장된 모든 메타데이터를 준비(organize)하는 테이블을 쿼리함.
2. 라이브러리(도 5.2)로 새로운 기록을 가져오고, 그것과 연관된 메타데이터를 특정함(도 5.3). 외과 등록의 범위 내에서, 이러한 메타데이터는 환자의 이름, 수술 절차, 수술 날짜, 위치, 관찰 등을 포함할 수 있다.
예시 6: 수술실 내에서 이용되기 위한 이상적인 스마트 글래스가 구비된 멀티미디어 시스템
웨어러블 헤드 마운티드 디바이스(HMD)는 글래스 프레임(도 3)(이하에서 모듈(A)라 함)을 포함하고, 컴퓨터화 모듈(모듈 B)에 연결되고, 한 쌍의 케이블 어셈블리를 통해, Y-형 내에서 서로 연결되고, 유저의 헤드의 뒤쪽에서, 디바이스를 이용하는 동안 견고성 및 안전성을 추가하기 위한 것이다. 아래의 세부 단락은 글래스 내의 특정한 특징들을 참조한다.
6.1: 모듈 A는 회전 플랫폼(6)에 마운트된 콧등 내에 위치한 카메라를 포함한다.
6.2: 모듈 A는 카메라로서, 동일한 플랫폼(6) 상에 마운트된 LED 등(light)을 포함하여, 그것의 뷰필드를 조명(illuminate)하고, 기록되고 있는 영역에 대해 유저에게 피드백을 준다.
6.3: 모듈 A는 카메라 및 등(light)이 마운트되는 플랫폼 뒤에 동력화(8) 시스템을 구비하여, 그것이 수직 및 수평으로 회전하도록 한다.
6.4: 모듈 A는 광학 매커니즘을 포함하여, LED로부터 점등의 포커싱 각도를 변화시키고, 카메라의 뷰필드를 줌인-줌아웃한다.
6.5: 모듈 A는 프레임의 몸체의 전면(front face) 내에 마운트된 상태 LED(5)를 포함하여, 왼쪽 단(end) 및 오른쪽 단으로, 디바이스의 기록 상태에 대해 다른 사람들에게 피드백을 준다.
6.6: 모듈 A는 프레임(2)의 오른쪽 팔(right arm)의 후면(back side) 내에, 오른쪽 귀(right ear) 뒤에, 위치한 뼈전도 트랜스듀서(BCT)를 포함하고, 관자놀이 뼈의 꼭지 프로세스와 접촉하도록 한다. 이는, 프라이버시를 획득하는 것이 달성(achieve) 가능하지 않은 정규 스피커를 이용하는 동안, 외부 이도(auditory canal)을 자유롭게 한다. 이러한 매커니즘과 함께, 이 디바이스를 이용하는 동안, 수술실 내의 커뮤니케이션에 대해 간섭이 존재하지 않게 된다.
6.7: 모듈 A는 우 또는 좌(right or left) 카메라에 마운트된 마이크로폰을 포함한다.
6.8: 모듈 A는 전면에 포지션된 관성 센서를 포함하고, 마이크로폰 옆에 있고, 글래스 프레임의 기울임을 검출하여, 결과적으로 유저의 헤드의 기울임을 검출한다.
6.9: 모듈 A는 유저의 눈 전면에 보호 렌즈(10, 11)를 포함한다. 유저가 시야 교정이 필요한 경우, 이러한 렌즈들은 그것을 그들에 포함한다.
6.10: 모듈 A는 보호 렌즈 뒤에 마운트된 김서림 방지 렌즈를 포함한다.
6.11: 모듈 B는 유저가 디바이스와 인터랙트(세팅을 정의, 기록을 시작하고 정지, 미리보기, 등)할 수 있는 터치스크린을 포함한다.
6.12: 모듈 B는, 최대 12시간까지, 디바이스의 모든 시스템에 전력을 공급하는 배터리를 포함한다.
6.13: 모듈 B는 저장, 기록된 미디어의 프로세싱 및 디바이스의 많은 하드웨어 서브시스템을 제어하는 것을 책임지는 프로세싱 유닛을 포함한다.
6.14: 모듈 B는 Wi-Fi 네트워크 및/또는 블루투스 기술을 이용하는 다른 디바이스와 연결할 수 있고, 기록 중인 미디어를 스트리밍할 수 있다.
예시 7: 외부 파워 공급을 이용하는 스마트 글래스가 구비된 멀티미디어 시스템
예시 6에 설명된 것과 동일한 일반적인 특징을 포함하는 것으로, 상기 디바이스는 모듈 B 및 전력원(전기 플러그 또는 발전기, 무한히(indefinitely) 확장되는 디바이스의 정상(normal) 자율(autonomy) 등, 소스에서 전력이 적용 가능한 한)과 연결되는 전기 케이블에 의해 전력을 공급 받는다.
예시 8: 허리(waist)에 운반되는 저볼륨(reduced volume)을 구비한 스마트 글래스를 구비한 멀티미디어 시스템
예시 6과 동일한 설명을 포함하는 것으로, 모듈 B의 프로세싱 유닛은 모듈 A로, 프레임의 팔(arm) 중 하나로 이동되고, 모듈 B의 터치스크린은 폐기(discarded)되고, 그리고 상기 2개의 케이블, 프레임의 각각의 팔(arm)으로부터 탈출(exiting)하는 하나는, 이제 배터리로부터 전력만을 운반(carry)하고, 모듈 B가 이전에 있었던 곳에 위치하고, 더 가볍고 더 작은 모듈 B를 허용하고, 더 가볍고 더 얇은 케이블이 디바이스의 프레임으로부터 탈출한다.
예시 9: 외부 전력 공급 및 허리(waist)에 운반되는 것이 없는 스마트 글래스를 구비한 멀티미디어 시스템
예시 8에 설명된 것과 동일한 특징을 포함하는 것으로, 배터리는 다른 전력원(전기 플러그 또는 발전기, 무한히 확장되는 디바이스의 정상 자율 등)에 의해 대체되고, 소스에서 전력이 가용한 한, 모듈 B의 필요를 완전히 제거한다.
예시 10: 입(mouth) 근처의 마이크로폰을 구비한 스마트 글래스를 구비한 멀티미디어 시스템
예시 6에 설명된 것과 동일한 특징을 포함하는 것으로, 상기 마이크로폰은 입 근처에 위치하고, 적용 가능하고 착탈 가능한 빔(beam) 상에 마운트되고, 기록 및 인식을 위한 더 고품질의 음성 캡쳐를 허용하지만, 몇몇 종류의 마스크 및 다른 얼굴(facial)의 보호(유저가 이용을 요구할 수도 있는)의 종류와 호환되지 않는 단점이 있다.
예시 10: BCT 대신 이어폰을 이용하는 스마트 글래스를 구비한 멀티미디어 시스템
예시 6에 설명된 것과 동일한 특징을 포함하는 것으로, BCT는 이어폰으로 대체되어, 자유 이도(auditory canal)가 유저의 작업에 결정적이지 않은 곳에서 상황을 조정한다.
예시 11: 광학 줌이 없는 스마트 글래스를 구비한 멀티미디어 시스템
예시 6에 설명된 것과 동일한 특징을 포함하는 것으로, 광학 매커니즘이 존재하지 않음으로 하여, LED의 빛의 포커싱 각도가 고정되고, 임의의 카메라 줌 동작이 디지털로 수행된다.
예시 11: 김서림 방지 시야 교정 렌즈를 포함한 스마트 글래스를 구비한 멀티미디어 시스템
예시 6에 설명된 것과 동일한 특징을 포함하는 것으로, 임의의 시야 교정은, 보호 렌즈 대신, 김서림 방지 렌즈에 채용된다.
예시 12: 카메라의 수직 동력화(motorization) 및 LED 플랫폼만을 포함한 스마트 글래스를 구비한 멀티미디어 시스템
예시 6에 설명된 것과 동일한 특징을 포함하는 것으로, 카메라 및 led 플랫폼 뒤의 동력화된 시스템은, 플랫폼을 단지 수직으로 회전시킬 수 있다.
예시 13: 카메라의 수평 동력화 및 LED 플랫폼만을 포함한 스마트 글래스를 구비한 멀티미디어 시스템
예시 6에 설명된 것과 동일한 특징을 포함하는 것으로, 카메라 및 led 플랫폼 뒤의 동력화된 시스템은, 플랫폼을 단지 수평으로 회전시킬 수 있다.

Claims (15)

  1. 획득, 등록(registration) 및 멀티미디어 관리를 위한 멀티미디어 시스템에 있어서,
    멀티미디어 데이터 획득을 위한, 적어도 하나의 데이터 획득 모듈(A),
    기능을 제어하고, 적어도 하나의 모듈(A)에 의해 획득된 멀티미디어 데이터를 기록, 저장, 관리 및/또는 공유, 전송 및/또는 스트리밍(streaming)하기 위한 데이터 프로세싱(processing) 유닛을 포함하는, 적어도 하나의 컴퓨터화 모듈(B) 및,
    상기 멀티미디어 데이터 획득 모듈(A)을 상기 컴퓨터화 모듈(B) 및/또는 적어도 하나의 멀티미디어 데이터 프로세싱 모듈(D), 및/또는 적어도 하나의 주변 장치(peripheral device)(P)와 연결하기 위한, 적어도 하나의 연결 모듈(C1)
    을 포함하고,
    그 중,
    - 상기 데이터 획득 모듈(A)은 멀티미디어 글래스(glasses) 디바이스로,
    - 프레임(1) 및 렌즈(10, 11),
    - 정적 및/또는 동적 이미지를 캡쳐할 수 있는, 다른 기록 모드의 인식(recognition)을 가진, 카메라(6)(상기 카메라가 그것의 각도를 글래스 프레임(1) 및 렌즈(10, 11)에 비례하도록(relative to) 변화시키고, 그것의 뷰포인트를 변화시켜 유저의 뷰포인트와 매치시키도록 하고, 모션 픽쳐 캡쳐, 스틸(still) 이미지 캡쳐(photography)를 시작, 정지 및 재시작하는 것을 시그널링하거나, 유저의 제스처- 또는 음성-커맨드의 구동(actuation)에 응답한 오디오 피드백을 통해 북마크를 추가하는, 적어도 하나의 모터(8)에 부착됨),
    - 점등 시그널링 디바이스로부터 빛의 포커싱 각도를 변화시킬 수 있고, 카메라의 뷰필드를 줌인-줌아웃할 수 있는, 광학 매커니즘 및
    - 유저의 음성을 캡쳐하기 위한, 타입 뼈전도 트랜스듀서(type bone conducting transducer)(2)의 마이크로폰 및 스피커를 포함하는 오디오 시스템(상기 유저가, 컴퓨터화 모듈(B)를 거쳐, 기록 중인 포지션에 관한 인스트럭션을 줌으로써, 상기 스마트 글래스 디바이스와 인터랙트(기록 모드의 시작 및 정지, 카메라의 뷰포인트를 시그널하는 점등 디바이스를 온오프(turn in and turn off)하도록 허용하고, 비디오에 대한 음성 하이라이트를 추가하고, 스피커는 마이크로폰을 거쳐 주어진 인스트럭션에 따라 상기 컴퓨터화 모듈(B)로부터 유저에 대해 피드백을 제공하고, 이후에 어떤 커맨드가 실행되는지 확인함),
    - 유저의 헤드의 포지션을 식별하고, 글래스의 적용 가능한 모드들 간에 자동적으로 전환(switch)하도록 하는, 적어도 하나의 관성(inertial) 센서,
    - 카메라(6)의 기록 상태를 시그널링 하기 위한 제1 점등 디바이스(5) 및 기록의 뷰포인트의 식별을 위한 제2 점등 디바이스,
    - 연결 모듈(C1); 및
    - 컴퓨터화 모듈(B)은 기능을 제어하고, 데이터 획득 모듈(A)에 의해 획득된 데이터를 기록, 저장, 관리 및/또는 공유, 전송 및/또는 스트리밍하기 위한 데이터 프로세싱 유닛을 포함하고, 상기 모듈(B)는,
    - 데이터 획득 모듈(A)을 경유 및/또는 그것의 터치스크린 및/또는 키보드를 거쳐, 상기 유저에 의해 제공된 상기 인스트럭션들에 대해 반응(react)할 수 있고, 네트워크를 거쳐, 인증(authenticate)된 개인(person)에 의해, 원격으로 제어될 수 있고, 그리고
    - 적어도 하나의 데이터 획득 모듈(A)의 기능을 제어(특히, 모션 픽쳐 캡쳐, 스틸 이미지 캡쳐(photography)의 시작, 정지, 재시작)하거나, 관심 지점을 북마킹함,
    상기 모듈(B)는,
    - 사람의 식별을 방지하거나 차단하는 기능을 구비한, 식별 가능한 사람과 관련된 민감한 데이터를 캡쳐하지 않도록 하고, 기록이 만들어지기 전, 실시간으로 검출된 얼굴을 커버하는, 얼굴 검출 시스템을 위한 컴퓨터 비전 알고리즘;
    - 상기 컴퓨터화 모듈(B)을 상기 멀티미디어 데이터 획득 모듈(A)과 연결하기 위한, 적어도 하나의 연결 모듈(C1), 상기 컴퓨터화 모듈(B)을 적어도 하나의 멀티미디어 데이터 프로세싱 모듈(D), 및/또는 적어도 하나의 주변 장치(P)와 연결하기 위한 연결 모듈(C2)을 포함하는,
    획득, 등록 및 멀티미디어 관리를 위한 멀티미디어 시스템.
  2. 제1항에 있어서,
    멀티미디어 데이터를 저장, 기록, 프로세싱, 편집, 관리 및/또는 공유, 전송 및/또는 스트리밍하기 위한, 적어도 하나의 멀티미디어 데이터 프로세싱 모듈(D)을 더 포함하는,
    획득, 등록 및 멀티미디어 관리를 위한 멀티미디어 시스템.
  3. 제1항 또는 제2항에 있어서,
    적어도 하나의 주변 장치(P)를 더 포함하는,
    획득, 등록 및 멀티미디어 관리를 위한 멀티미디어 시스템.
  4. 제1항에 있어서,
    상기 모듈(A)은 상기 렌즈의 제거 및 교체를 위한 시스템을 포함하는,
    획득, 등록 및 멀티미디어 관리를 위한 멀티미디어 시스템.
  5. 제1항에 있어서,
    상기 모듈(A)은 방수 또는 방수벽(water barrier) 코팅을 포함하는,
    획득, 등록 및 멀티미디어 관리를 위한 멀티미디어 시스템.
  6. 제1항에 있어서,
    상기 모듈(A)은 김서림 방지(anti-fog) 메커니즘을 포함하고,
    상기 김서림 방지 메커니즘은 글래스의 보호 렌즈 뒤에 마운트된 (mounted) 내부 렌즈를 구비하고, 상기 보호 렌즈와 상기 김서림 방지 렌즈 사이에 포함된 얇은 공기 레이어를 구비하고, 접착 물질(adhesive material)을 상기 김서림 방지 렌즈의 모서리(edge)에 이용하는,
    획득, 등록 및 멀티미디어 관리를 위한 멀티미디어 시스템.
  7. 제1항에 있어서,
    모듈(A) 및 모듈(B) 사이의 연결 모듈(C1)은 Y-케이블 연결인,
    획득, 등록 및 멀티미디어 관리를 위한 멀티미디어 시스템.
  8. 제1항에 있어서,
    상기 컴퓨터화 모듈(B)은 휴대 가능하거나(portable) 운반 가능한(transportable) 자율적(autonomous) 에너지원(source of energy)을 포함하는,
    획득, 등록 및 멀티미디어 관리를 위한 멀티미디어 시스템.
  9. 제8항에 있어서,
    상기 전력원(power source)은 배터리인,
    획득, 등록 및 멀티미디어 관리를 위한 멀티미디어 시스템.
  10. 제1항에 있어서,
    상기 컴퓨터화 모듈(B)은 터치 스크린을 포함하는,
    획득, 등록 및 멀티미디어 관리를 위한 멀티미디어 시스템.
  11. 제2항에 있어서,
    상기 프로세싱 모듈(D)은,
    멀티미디어 데이터를 저장, 기록, 프로세싱, 편집, 관리 및/또는 공유, 전송 및/또는 스트리밍하기 위한 데이터 프로세싱 유닛, 및
    상기 멀티미디어 데이터 프로세싱 모듈(D)을 적어도 하나의 컴퓨터화 모듈(B)에 연결시키기 위한, 적어도 하나의 연결 모듈(C2), 및/또는
    상기 프로세싱 모듈(D)을 적어도 하나의 주변 장치(P)에 연결하기 위한 적어도 하나의 연결 모듈(C3) 및
    획득, 등록 및/또는 멀티미디어 관리 방법을 수행하기 위한 컴퓨터 프로그램
    을 포함하고,
    상기 프로그램은,
    적어도 하나의 데이터 획득 모듈(A)로부터 멀티미디어 데이터를 획득하는 단계 a);
    적어도 하나의 모듈(A)에 의해 획득된 데이터를, 연결 모듈(C1)을 통해, 적어도 하나의 컴퓨터화 모듈(B)로 발송(sending), 전송(transmitting) 및/또는 스트리밍하는 단계 b);
    상기 데이터를 적어도 하나의 컴퓨터화 모듈(B)로부터, 연결 모듈(C2)을 통해, 적어도 하나의 프로세싱 모듈(D)로 발송, 공유, 전송 및/또는 스트리밍하는 단계 c);
    수신된 멀티미디어 데이터를, 적어도 하나의 프로세싱 모듈(D) 및/또는 전기적으로 독출 가능한 제어 신호를 구비한, 플로피 디스크, DVD, 블루-레이, CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리와 같은, 프로그래밍 가능한(programmable) 컴퓨터 시스템과 협동(cooperating) 가능한 데이터 저장 유닛 내에서 저장, 등록, 프로세싱, 편집 및/또는 관리하는 단계 d);
    선택적으로(optionally) 상기 멀티미디어 데이터를, 연결 모듈(C3) 및/또는 적어도 하나의 다른 프로세싱 모듈(D)을 통해, 적어도 하나의 다른 주변 장치(P)로 공유, 전송 및/또는 스트리밍하는 단계 e);
    선택적으로(optionally) 멀티미디어 데이터 라이브러리(ML)를 생성하는 단계 f)
    를 포함하는,
    획득, 등록 및 멀티미디어 관리를 위한 멀티미디어 시스템.
  12. 제11항에 있어서,
    상기 프로세싱 모듈(D)은 멀티미디어 라이브러리(ML)를 포함하고, 상기 멀티미디어 라이브러리는, 플로피 디스크, DVD, 블루-레이, CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리와 같이 전기적으로 독출 가능한 제어 신호를 구비하는 데이터 저장 유닛에 기록되는 멀티미디어 데이터를 구비하고, 프로그래밍 가능한 컴퓨터 시스템 및/또는 멀티미디어 데이터 프로세서와 협동 가능하고, 바람직하게는 적어도 하나의 멀티미디어 데이터 획득 모듈(A), 바람직하게는 상기 본원 발명의 멀티미디어 글래스에 의한 멀티미디어 이벤트를 기록한 것으로부터 획득된 멀티미디어 데이터를 구비한,
    획득, 등록 및 멀티미디어 관리를 위한 멀티미디어 시스템.
  13. 획득, 등록 및 멀티미디어 관리를 위한 방법에 있어서,
    상기 방법은,
    상기 타입 멀티미디어 글래스의 적어도 하나의 모듈(A)로부터 멀티미디어 데이터를 획득(적어도 하나의 컴퓨터화 모듈(B)에 의해 제어되는)하는 단계 a);
    여기에서, 상기 모듈(A)는 아래를 포함함:
    - 프레임(1) 및 렌즈(10, 11),
    - 정적 및/또는 동적 이미지를 캡쳐할 수 있는, 다른 기록 모드의 인식(recognition)을 가진, 카메라(6)(상기 카메라가 그것의 각도를 글래스 프레임(1) 및 렌즈(10, 11)에 비례하도록(relative to) 변화시키고, 그것의 뷰포인트를 변화시켜 유저의 뷰포인트와 매치시키도록 하고, 모션 픽쳐 캡쳐, 스틸(still) 이미지 캡쳐(photography)를 시작, 정지 및 재시작하는 것을 시그널링하거나, 유저의 제스처- 또는 음성-커맨드의 구동(actuation)에 응답한 오디오 피드백을 통해 북마크를 추가하는, 적어도 하나의 모터(8)에 부착됨),
    - 점등 시그널링 디바이스로부터 빛의 포커싱 각도를 변화시킬 수 있고, 카메라의 뷰필드를 줌인-줌아웃할 수 있는, 광학 매커니즘,
    - 유저의 음성을 캡쳐하기 위한, 타입 뼈전도 트랜스듀서(type bone conducting transducer)(2)의 마이크로폰 및 스피커를 포함하는 오디오 시스템(상기 유저가, 컴퓨터화 모듈(B)를 거쳐, 기록 중인 포지션에 관한 인스트럭션을 줌으로써, 상기 스마트 글래스 디바이스와 인터랙트(기록 모드의 시작 및 정지, 카메라의 뷰포인트를 시그널하는 점등 디바이스를 온오프(turn in and turn off)하도록 허용하고, 비디오에 대한 음성 하이라이트를 추가하고, 스피커는 마이크로폰을 거쳐 주어진 인스트럭션에 따라 상기 컴퓨터화 모듈(B)로부터 유저에 대해 피드백을 제공하고, 이후에 어떤 커맨드가 실행되는지 확인함),
    - 유저의 헤드의 포지션을 식별하고, 글래스의 적용 가능한 모드들 간에 자동적으로 전환(switch)하도록 하는, 적어도 하나의 관성(inertial) 센서,
    - 카메라(6)의 기록 상태를 시그널링 하기 위한 제1 점등 디바이스(5) 및 기록의 뷰포인트의 식별을 위한 제2 점등 디바이스,
    적어도 하나의 모듈(A)에 의해 획득된 데이터를, 적어도 하나의 연결 모듈(C1)을 통해 적어도 하나의 컴퓨터화 모듈(B)로 발송, 전송 및/또는 스트리밍하는 단계 b);
    선택적으로(optionally) 적어도 하나의 연결 모듈(C2)을 거쳐, 적어도 하나의 컴퓨터화 모듈(B)로부터 획득되는 데이터를 적어도 하나의 프로세싱 모듈(D)로 발송, 공유, 전송 및/또는 스트리밍하는 단계 c);
    수신된 멀티미디어 데이터를 적어도 하나의 프로세싱 모듈(D) 및/또는 전기적으로 독출 가능한 제어 신호를 구비한, 플로피 디스크, DVD, 블루-레이 CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리와 같은, 프로그래밍 가능한 컴퓨터 시스템과 협동 가능한 데이터 저장 유닛 내에서 등록, 프로세싱, 편집 및/또는 관리하는 단계 d);
    선택적으로(optionally) 연결 모듈(C3)을 통해, 상기 멀티미디어 데이터를 적어도 하나의 모듈(D)로부터 적어도 하나의 주변 장치(P) 및/또는 적어도 하나의 다른 프로세싱 모듈(D)로 공유, 전송 및/또는 스트리밍하는 단계 e)
    를 포함하는,
    획득, 등록 및 멀티미디어 관리를 위한 방법.
  14. 제13항에 있어서,
    단계 f)의 상기 멀티미디어 라이브러리(ML)는 제한적 액세스(restricted access)를 가지고, 디지털 포맷인,
    획득, 등록 및 멀티미디어 관리를 위한 방법.
  15. 멀티미디어 글래스 디바이스(A)에 있어서,
    - 프레임(1) 및 렌즈(10, 11),
    - 정적 및/또는 동적 이미지를 캡쳐할 수 있고, 다른 기록 모드의 인식을 가진 것으로, 적어도 하나의 모터(카메라가 그것의 각도를 글래스 프레임(1) 및 렌즈(10, 11)와 비례하도록(relative to) 변화시키고, 그것의 뷰포인트를 변화시켜 유저의 뷰포인트를 매치시키도록 하고, 모션 픽쳐 캡쳐, 스틸 이미지 캡쳐(photography)를 시작, 정지 및 재시작하도록 시그널링하거나, 유저의 제스처- 또는 음성-커맨드의 구동에 응답한 오디오 피드백을 통해 북마크를 추가하는)에 부착되는 카메라(6),
    - 점등 시그널링 디바이스로부터의 빛의 포커싱 각도를 변화시킬 수 있고, 카메라의 뷰필드를 줌인-줌아웃 할 수 있는, 광학 매커니즘,
    - 마이크로폰 및 타입 뼈전도(bone conducting) 트랜스듀서(유저의 음성을 캡쳐하기 위함)의 스피커를 포함하는 오디오 시스템(상기 유저가 기록 중인 포지션에 관한 인스트럭션을 줌으로써(기록 모드의 시작 및 정지, 카메라의 뷰포인트를 시그널링하는 점등 디바이스의 온오프(turn in and turn off) 등), 컴퓨터화 모듈(B)을 거쳐 스마트 글래스 디바이스와 인터랙트하도록 하고, 비디오에 음성 하이라이트를 추가하고, 스피커는 마이크로폰을 거쳐 주어진 인스트럭션에 따라 컴퓨터화 모듈(B)로부터 피드백을 유저에게 제공하고, 이후에 어떤 커맨드가 실행되는지 확인),
    - 글래스의 적용 가능한 모드들 사이에서 자동적으로 전환하도록 하는, 유저 헤드의 포지션을 식별하는, 적어도 하나의 관성 센서,
    - 카메라의 기록 상태를 시그널링하기 위한 제1 점등 디바이스 및 기록의 뷰포인트의 식별을 위한 제2 점등 디바이스, 및
    - 연결 모듈(C1)을 포함하는,
    멀티미디어 글래스 디바이스.
KR1020197017710A 2017-01-13 2018-01-14 획득, 등록 및 멀티미디어 관리를 위한 시스템 및 방법 KR102475254B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
PT109855 2017-01-13
PT109855A PT109855A (pt) 2017-01-13 2017-01-13 Sistema e método de aquisição, de registo e de gestão multimédia
GB1702664.2 2017-02-19
GB1702664.2A GB2559789A (en) 2017-02-19 2017-02-19 System and method of acquisition, registration and multimedia management
PCT/IB2018/050226 WO2018130995A1 (en) 2017-01-13 2018-01-14 System and method of acquisition, registration and multimedia management

Publications (2)

Publication Number Publication Date
KR20190107001A KR20190107001A (ko) 2019-09-18
KR102475254B1 true KR102475254B1 (ko) 2022-12-12

Family

ID=61094553

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197017710A KR102475254B1 (ko) 2017-01-13 2018-01-14 획득, 등록 및 멀티미디어 관리를 위한 시스템 및 방법

Country Status (15)

Country Link
US (1) US10911720B2 (ko)
EP (1) EP3563190B1 (ko)
JP (1) JP7075404B2 (ko)
KR (1) KR102475254B1 (ko)
CN (1) CN110100199B (ko)
AU (1) AU2018208055B2 (ko)
BR (1) BR112019011991A2 (ko)
CA (1) CA3045600A1 (ko)
CL (1) CL2019001838A1 (ko)
IL (1) IL267108A (ko)
MX (1) MX2019008342A (ko)
MY (1) MY194754A (ko)
RU (1) RU2019125375A (ko)
WO (1) WO2018130995A1 (ko)
ZA (1) ZA201903625B (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI680308B (zh) * 2017-11-03 2019-12-21 宏達國際電子股份有限公司 頭戴式顯示裝置
JP7015475B2 (ja) * 2018-03-16 2022-02-15 株式会社リコー 光走査装置、画像投写装置及び移動体
CN109274914A (zh) * 2018-11-06 2019-01-25 北京智能决策医疗科技有限公司 一种基于ar眼镜的自动化手术记录整理的方法及系统
US11297224B2 (en) * 2019-09-30 2022-04-05 Snap Inc. Automated eyewear device sharing system
CN112243111A (zh) * 2020-11-05 2021-01-19 西安航空职业技术学院 一种可穿戴投影设备
CN114594617A (zh) * 2020-11-20 2022-06-07 成食科技股份有限公司 智能眼镜
US11934974B2 (en) * 2021-10-05 2024-03-19 Bank Of America Corporation Intelligent integrated remote reporting system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130042296A1 (en) * 2011-08-09 2013-02-14 Ryan L. Hastings Physical interaction with virtual objects for drm
US20160182826A1 (en) * 2014-12-23 2016-06-23 PogoTec, Inc. Wireless camera systems and methods

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130158368A1 (en) 2000-06-16 2013-06-20 Bodymedia, Inc. System for monitoring and managing body weight and other physiological conditions including iterative and personalized planning, intervention and reporting capability
US20020038226A1 (en) 2000-09-26 2002-03-28 Tyus Cheryl M. System and method for capturing and archiving medical multimedia data
DE10251933B4 (de) * 2002-11-08 2006-12-14 Ludwig-Maximilians-Universität München (Körperschaft des öffentlichen Rechts) Aufnahmevorrichtung für die kopfgestützte Bilderfassung und Verfahren zur Steuerung der Aufnahmevorrichtung
CN100350792C (zh) * 2004-04-14 2007-11-21 奥林巴斯株式会社 摄像装置
JP4720358B2 (ja) * 2005-08-12 2011-07-13 ソニー株式会社 記録装置、記録方法
JP2008139733A (ja) * 2006-12-05 2008-06-19 Seiko Epson Corp 製品とその製造方法
US7370991B1 (en) 2006-12-18 2008-05-13 Ellis-Fant Wanda J Voice-controlled surgical lighting assembly
US8976086B2 (en) * 2010-12-03 2015-03-10 Esight Corp. Apparatus and method for a bioptic real time video system
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US20150009309A1 (en) 2011-07-08 2015-01-08 Google Inc. Optical Frame for Glasses and the Like with Built-In Camera and Special Actuator Feature
JP2014165706A (ja) * 2013-02-26 2014-09-08 Sony Corp 信号処理装置および記憶媒体
US9729767B2 (en) 2013-03-22 2017-08-08 Seiko Epson Corporation Infrared video display eyewear
CN203551883U (zh) 2013-06-21 2014-04-16 湖北九洲农信科技有限公司 基于语音控制的智能音视频眼镜
US10609267B2 (en) * 2014-07-23 2020-03-31 Orcam Technologies Ltd. Systems and methods for analyzing advertisement effectiveness using wearable camera systems
TWI645230B (zh) * 2014-08-03 2018-12-21 帕戈技術股份有限公司 穿戴式照相機系統與用於將照相機系統或其他電子裝置附接至穿戴式製品之設備及方法
JP6620417B2 (ja) * 2015-05-12 2019-12-18 セイコーエプソン株式会社 表示装置およびその制御方法、並びにコンピュータープログラム
US9804669B2 (en) * 2014-11-07 2017-10-31 Eye Labs, Inc. High resolution perception of content in a wide field of view of a head-mounted display
US10073516B2 (en) * 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display
US10169535B2 (en) * 2015-01-16 2019-01-01 The University Of Maryland, Baltimore County Annotation of endoscopic video using gesture and voice commands
JP6576639B2 (ja) * 2015-01-16 2019-09-18 ミラマサービスインク 電子眼鏡および電子眼鏡の制御方法
US20160324580A1 (en) 2015-03-23 2016-11-10 Justin Esterberg Systems and methods for assisted surgical navigation
US20160286115A1 (en) * 2015-03-23 2016-09-29 Mark M. Levy Front field of view camera for mobile device
CN205318021U (zh) * 2015-12-07 2016-06-15 上海翊视皓瞳信息科技有限公司 分离式可穿戴智能视觉增强设备
CN105487261B (zh) 2016-01-26 2016-09-07 京东方科技集团股份有限公司 一种用于眼镜中的多角度拍照设备和包括该设备的眼镜
CN106095108B (zh) * 2016-06-22 2019-02-05 华为技术有限公司 一种增强现实反馈方法及设备
CN106155311A (zh) * 2016-06-28 2016-11-23 努比亚技术有限公司 Ar头戴设备、ar交互系统及ar场景的交互方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130042296A1 (en) * 2011-08-09 2013-02-14 Ryan L. Hastings Physical interaction with virtual objects for drm
US20160182826A1 (en) * 2014-12-23 2016-06-23 PogoTec, Inc. Wireless camera systems and methods

Also Published As

Publication number Publication date
JP7075404B2 (ja) 2022-05-25
ZA201903625B (en) 2021-07-28
AU2018208055B2 (en) 2022-09-01
CN110100199A (zh) 2019-08-06
US10911720B2 (en) 2021-02-02
CN110100199B (zh) 2022-06-14
EP3563190A1 (en) 2019-11-06
WO2018130995A1 (en) 2018-07-19
RU2019125375A (ru) 2021-02-15
MX2019008342A (es) 2019-09-09
BR112019011991A2 (pt) 2020-04-14
EP3563190B1 (en) 2024-03-27
JP2020509522A (ja) 2020-03-26
CL2019001838A1 (es) 2019-11-29
CA3045600A1 (en) 2018-07-19
MY194754A (en) 2022-12-15
KR20190107001A (ko) 2019-09-18
AU2018208055A1 (en) 2019-06-20
IL267108A (en) 2019-08-29
US20200029050A1 (en) 2020-01-23

Similar Documents

Publication Publication Date Title
KR102475254B1 (ko) 획득, 등록 및 멀티미디어 관리를 위한 시스템 및 방법
EP3029550B1 (en) Virtual reality system
CN110622500B (zh) 成像设备和成像方法
JP6244313B2 (ja) タブレットコンピュータによって制御されるカメラシステム
TWI617279B (zh) 資訊處理裝置、資訊處理方法、及資訊處理系統
US9122321B2 (en) Collaboration environment using see through displays
US9341866B2 (en) Spectacles having a built-in computer
US20140104396A1 (en) Apparatus and method for streaming live images, audio and meta-data
US10063773B2 (en) Photographing apparatus, photographing method and computer-readable storage medium storing photographing program of photographing apparatus
JP2005218103A (ja) 顔の特徴を表示する装置
KR20160000741A (ko) 글래스 타입 단말기 및 이의 제어방법
KR20200073487A (ko) 카메라 기반의 혼합현실 글래스 장치 및 혼합현실 디스플레이 방법
CN112444996A (zh) 具有张紧调节的头戴式设备
JP2009010987A (ja) 電子カメラ
US20190265787A1 (en) Real world interaction utilizing gaze
JP2008017501A (ja) 電子カメラ
US11644894B1 (en) Biologically-constrained drift correction of an inertial measurement unit
CN114207557A (zh) 虚拟和物理相机的位置同步
JP2007104036A (ja) 表示装置
KR20190015903A (ko) 3차원 카메라와 헤드 마운트 디스플레이를 이용한 수술 녹화 및 중계 시스템
KR102253768B1 (ko) 의료영상 리코딩 시스템 및 리코딩 로봇의 제어 방법
GB2559789A (en) System and method of acquisition, registration and multimedia management
JP2023081882A (ja) 補助レンズを備える電子デバイスシステム
JP2020202481A (ja) リモートカメラシステム、制御システム、制御方法、及び制御プログラム
CN117158000A (zh) 两个音频通道上的声源的离散双声道空间化

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right