KR20140068431A - 스마트 글래스 기반 영상 처리 장치 및 방법 - Google Patents

스마트 글래스 기반 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20140068431A
KR20140068431A KR1020120135912A KR20120135912A KR20140068431A KR 20140068431 A KR20140068431 A KR 20140068431A KR 1020120135912 A KR1020120135912 A KR 1020120135912A KR 20120135912 A KR20120135912 A KR 20120135912A KR 20140068431 A KR20140068431 A KR 20140068431A
Authority
KR
South Korea
Prior art keywords
image
user
smart glass
related information
extracting
Prior art date
Application number
KR1020120135912A
Other languages
English (en)
Other versions
KR101995958B1 (ko
Inventor
김귀훈
유웅식
배재휘
안상우
권오형
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120135912A priority Critical patent/KR101995958B1/ko
Priority to US14/035,803 priority patent/US9460351B2/en
Publication of KR20140068431A publication Critical patent/KR20140068431A/ko
Application granted granted Critical
Publication of KR101995958B1 publication Critical patent/KR101995958B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/19621—Portable camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145—Handheld terminals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

스마트 글래스 기반의 영상 처리 장치가 제공된다. 상기 스마트 글래스 기반의 영상 처리 장치는 스마트 글래스로부터 수신한 제1 영상에서, 사용자가 관찰하고자 하는 제1 대상을 추출하여 제2 영상으로 생성하는 추출부와, 상기 제1 대상에 연관된 관련정보를 수집하는 정보 수집부 및 상기 사용자의 설정에 기초하여, 상기 제2 영상 및 상기 제1 대상에 연관된 관련정보 중 적어도 하나를 제3 영상으로 재구성하는 영상 생성부를 포함할 수 있다.

Description

스마트 글래스 기반 영상 처리 장치 및 방법{APPARATUS AND METHOD FOR IMAGE PROCESSING BASED ON SMART GLASS}
스마트 글래스 혹은 스마트 디바이스 활용 기술에 연관되며, 보다 특정하게는 스마트 글래스(혹은 스마트 디바이스)를 이용하여 영상을 인식하고 특별한 목적에 맞게 영상을 재구성하여 표현하는 장치 및 방법에 연관된다.
TV 및 디바이스 기술은 멀티미디어 수요자의 요구를 반영하여 급속도로 발전하고 있다. 특히, TV 기술은 종래의 아날로그 TV 시스템에서 표준 화질 TV(SDTV)와 고화질 TV(HDTV)로, 나아가 디지털 TV(DTV)로 발전을 거듭하고 있다. 또한, 고화질 TV의 발전과 함께, 고화질 영상을 제공하는 미디어 매체(예를 들어, Blue-ray Disc(BD))와 이를 재생할 수 있는 미디어 플레이어(예를 들어, BD 플레이어) 등의 새로운 디바이스들 또한 등장하고 있다.
최근, TV에서도 인터넷 기능을 제공함에 따라, 사용자는 TV를 통해서도 멀티미디어 및 멀티캐스트를 이용할 수 있게 되었으며, 이러한 기능은 EPG(Electronic Program Guide) 서비스를 통해 구현될 수 있다.
인터넷의 급속한 보급과 함께, 네트워크 카메라를 이용한 원격 감시 서비스의 제공 또한 가능해졌으며, 원격 감시 시스템은 영상을 전송하는 네트워크 카메라와 영상의 수신 및 네트워크 카메라를 조정하는 주 관리장비로 구성된다. 네트워크 카메라는 촬영되는 영상을 네트워크를 경유하여 주 관리 장비로 전송하고, 주 관리장비는 복수의 네트워크 카메라 각각으로부터의 영상 전송의 시작 및 종료를 관리하며, 영상 전송 중에는 전송되는 영상을 수신하여 사용자가 해당 영상을 확인할 수 있도록 제공한다.
그러나, 종래의 원격 영상 전송과 달리, 원격 관리자의 감시 대상에 대한 정확하고 세밀한 통제와, 보다 편리하게 카메라 장치를 제어할 수 있는 방법이 요구된다.
일측에 따르면, 스마트 글래스로부터 수신한 제1 영상에서, 사용자가 관찰하고자 하는 제1 대상을 추출하여 제2 영상으로 생성하는 추출부와, 상기 제1 대상에 연관된 관련정보를 수집하는 정보 수집부 및 상기 사용자의 설정에 기초하여, 상기 제2 영상 및 상기 제1 대상에 연관된 관련정보 중 적어도 하나를 제3 영상으로 재구성하는 영상 생성부를 포함하는 스마트 글래스 기반의 영상 처리 장치가 제공된다.
일실시예에 따르면, 상기 제1 대상은 상기 사용자가 관찰하고자 하는 특정 인물이나 객체, 이벤트, 음성, 동작, 시간 구간 중 적어도 하나를 포함할 수 있다.
일실시예에 따르면, 상기 제1 영상은 상기 사용자의 시선에 대응되도록 촬영된 영상일 수 있다.
일실시예에 따르면, 상기 제2 영상은, 상기 제1 대상 부분에 대하여는 제1 해상도 이상의 화질로, 상기 제1 대상을 제외한 나머지 부분에 대하여는 상기 제1 해상도 미만의 화질로 생성될 수 있다.
일실시예에 따르면, 상기 추출부는, 상기 사용자의 특정 동작을 인식하는 동작 인식부를 더 포함하며, 상기 사용자의 특정 동작과 연관된 정보를 상기 사용자에 제공할 수 있다.
일실시예에 따르면, 상기 영상 생성부는, 상기 제1 대상과 연관된 과거 영상을 상기 제3 영상과 비교하여 제공하는 비교부를 더 포함할 수 있다.
일실시예에 따르면, 상기 영상 생성부는, 상기 제1 대상에 연관된 관련정보에 기초하여, 상기 관련정보의 카테고리 별 영상을 추천할 수 있다.
일실시예에 따르면, 상기 제3 영상은 그래픽이나 캐릭터 중 적어도 하나를 이용하여 부가정보를 포함할 수 있다.
일실시예에 따르면, 상기 스마트 글래스는, 360도 시야각 카메라 또는 깊이 카메라를 포함하며, 인터넷에 연결될 수 있다.
다른 일측에 따르면, 스마트 글래스로부터 제1 영상을 수신하여, 상기 제1 영상으로부터 사용자가 관찰하고자 하는 제1 대상을 추출하는 단계와, 상기 추출된 제1 대상을 제2 영상으로 생성하는 단계와, 상기 제1 대상에 연관된 관련정보를 수집하는 단계 및 상기 사용자의 설정에 기초하여, 상기 제2 영상 및 상기 제1 대상에 연관된 관련정보 중 적어도 하나를 제3 영상으로 재구성하는 단계를 포함하는 스마트 글래스 기반의 영상 처리 방법이 제공된다.
일실시예에 따르면, 상기 제1 대상은 상기 사용자가 관찰하고자 하는 특정 인물이나 객체, 이벤트, 음성, 동작, 시간 구간 중 적어도 하나를 포함할 수 있다.
일실시예에 따르면, 상기 제1 영상은 상기 사용자의 시선에 대응되도록 촬영된 영상일 수 있다.
일실시예에 따르면, 상기 제2 영상은, 상기 제1 대상 부분에 대하여는 제1 해상도 이상의 화질로, 상기 제1 대상을 제외한 나머지 부분에 대하여는 상기 제1 해상도 미만의 화질로 생성될 수 있다.
다른 일측에 따르면, 스마트 글래스로부터 수신한 제1 영상에서, 사용자가 관찰하고자 하는 제1 대상을 추출하여 제2 영상으로 생성하는 단계와, 상기 제1 대상에 연관된 관련정보를 수집하는 단계, 및 상기 사용자의 설정에 기초하여, 상기 제2 영상 및 상기 제1 대상에 연관된 관련정보 중 적어도 하나를 제3 영상으로 재구성하고, 상기 제3 영상의 일측에 상기 제1 대상과 연관된 과거 영상을 비교하여 제공하는 단계를 포함하는 스마트 글래스 기반의 영상 처리 장치 방법이 제공된다.
또다른 일측에 따르면, 스마트 글래스로부터 수신한 제1 영상에서, 사용자가 관찰하고자 하는 제1 대상을 추출하여 제2 영상으로 생성하는 단계와, 상기 제1 대상에 연관된 관련정보를 수집하는 단계 및 사용자의 설정에 기초하여, 상기 제2 영상 및 상기 제1 대상에 연관된 관련정보 중 적어도 하나를 포함하고, 상기 제1 대상에 연관된 관련정보의 카테고리 별 추천 영상을 일측에 포함하여 제3 영상으로 재구성하는 단계를 포함하는 스마트 글래스 기반의 영상 처리 장치 방법이 제공된다.
도 1은 일실시예에 따른 스마트 글래스 기반의 영상 처리 장치를 도시하는 블록도이다.
도 2는 일실시예에 따른 스마트 글래스를 이용한 서비스 개념도이다.
도 3은 일실시예에 따른 스마트 글래스 기반의 특정 대상 인식 및 표현 기능을 설명하는 도면이다.
도 4는 일실시예에 따른 스마트 글래스 기반의 타임머신 슬로우 모션 기능을 설명하는 도면이다.
도 5는 일실시예에 따른 스마트 글래스 기반의 싱크로나이즈드 멀티플 피팅 기능을 설명하는 도면이다.
도 6은 일실시예에 따른 스마트 글래스 기반의 가상 공존형 원격 투어 기능을 설명하는 도면이다.
도 7은 일실시예에 따른 스마트 글래스 기반의 Invisible Viewing 기능을 보여주는 도면이다.
도 8은 일실시예에 따른 스마트 글래스 기반의 Invisible Viewing 기능을 보여주는 도면이다.
도 9는 일실시예에 따른 스마트 글래스 기반의 Invisible Viewing 기능을 보여주는 도면이다.
도 10은 일실시예에 따른 스마트 글래스 기반의 영상 처리 방법을 나타내는 흐름도이다.
이하에서, 일부 실시예들을, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례, 새로운 기술의 출현 등에 따라 달라질 수 있다.
또한 특정한 경우는 이해를 돕거나 및/또는 설명의 편의를 위해 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세한 그 의미를 기재할 것이다. 따라서 아래 설명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 명세서 전반에 걸친 내용을 토대로 이해되어야 한다.
명세서 전체에서 제1 영상은 스마트 글래스로부터 수신한 영상 중 사용자가 관찰하고자 하는 특정 대상을 포함하는 영상을 의미한다.
또한, 명세서 전체에서 제1 대상은 사용자가 관찰하고자 하는 특정 대상을 의미하는 것으로, 특정 인물에 한정되지 않으며, 특정 건물이나, 물건, 장소 등 다양한 인식 대상을 포함한다.
명세서 전체에서 제2 영상은 스마트 글래스로부터 수신한 상기 제1 영상에서 상기 제1 대상을 인식하고, 이를 추출하여 생성된 영상을 의미한다.
또한, 명세서 전체에서 제3 영상은 상기 제1 대상과 관련하여 상기 사용자의 설정에 따라 재구성된 영상을 의미하며, 실시예에 따라 다양한 방식으로 구성될 수 있다.
그리고, 명세서 전체에서 제1 해상도는 상기 제1 대상에 대한 포커싱 기준이 되는 임계값으로, 상기 제2 영상 또는 상기 제3 영상의 효율적 전송을 위해 상기 제1 대상 부분에 적용될 수 있다.
도 1은 일실시예에 따른 스마트 글래스 기반의 영상 처리 장치(100)를 도시하는 구성도이다.
상기 스마트 글래스 기반의 영상 처리 장치(100)는 추출부(110), 정보 수집부(120), 및 영상 생성부(130)로 구성될 수 있다.
상기 추출부(110)는 스마트 글래스로부터 수신한 제1 영상에서, 사용자가 관찰하고자 하는 제1 대상을 추출하여 제2 영상으로 생성할 수 있다.
상기 제1 영상은 상기 스마트 글래스로부터 수신한 복수 개의 영상 중 사용자가 관찰하고자 하는 특정 대상을 포함하는 영상을 의미하는 것으로, 상기 사용자의 시선에 대응되도록 촬영된 영상일 수 있다.
상기 제1 대상은 상기 사용자가 관찰하고자 하는 특정 대상을 의미하는 것으로, 특정 인물이나 객체, 이벤트, 음성, 동작, 시간 구간 중 적어도 하나를 포함할 수 있다.
상기 제2 영상은 상기 제1 영상에서 상기 제1 대상을 인식하고, 이를 추출하여 생성된 영상을 의미하며, 상기 제1 대상 부분에 대하여는 제1 해상도 이상의 고화질로, 상기 제1 대상을 제외한 나머지 부분에 대하여는 상기 제1 해상도 미만의 저화질로 생성될 수 있다.
여기서, 상기 제1 해상도는 상기 제1 대상에 대한 포커싱 기준이 되는 임계값으로 이해될 수 있으며, 상기 제2 영상 또는 제3 영상의 효율적 전송을 위해 상기 제1 대상 부분에 적용될 수 있다.
상기 추출부(110)는 상기 사용자의 특정 동작을 인식하는 동작 인식부를 더 포함할 수 있으며, 상기 사용자의 특정 동작과 연관된 정보를 상기 사용자에게 제공할 수 있다.
상기 정보 수집부(120)는 상기 제1 대상에 연관된 관련정보를 수집할 수 있다.
상기 제1 대상에 연관된 관련정보는, 상기 제1 대상에 대한 기본 프로파일 정보 등의 정적 정보는 물론, 실시간 정보검색을 통해 획득한 동적 정보 또한 포함될 수 있다.
상기 영상 생성부(130)는 상기 사용자의 설정에 기초하여, 상기 제2 영상 및 상기 제1 대상에 연관된 관련정보 중 적어도 하나를 제3 영상으로 재구성할 수 있다.
상기 영상 생성부(130)는 상기 제1 대상과 연관된 과거 영상을 상기 제3 영상과 비교하여 제공하는 비교부를 더 포함할 수 있다.
또한, 상기 영상 생성부(130)는 상기 제1 대상과 연관된 관련정보에 기초하여, 상기 관련정보의 카테고리 별 영상을 상기 제3 영상과 함께 추천하여 제공할 수 있다. 이 경우, 상기 관련정보의 카테고리 별 영상은 상기 제3 영상의 일측에 포함되는 방식으로 제공될 수 있다.
상기 제3 영상은 상기 제1 대상과 관련하여 상기 사용자의 설정에 따라 재구성된 영상을 의미하며, 실시예에 따라 다양한 방식으로 구성될 수 있다.
또한, 상기 제3 영상은 그래픽이나 캐릭터 중 적어도 하나를 이용하여 부가정보를 포함할 수 있다.
상기 스마트 글래스는 360도 시야각 카메라나 깊이 카메라와 같이, 상기 사용자의 시선에 대응하여 다양한 각도의 영상을 획득할 수 있는 장치를 포함하며, 일반적으로 사용되는 카메라 장치 외에, 안경이나 거울, 창문 등에 응용될 수 있다.
도 2는 일실시예에 따른 스마트 글래스를 이용한 서비스 개념도이다.
도 2를 참조하면, 스마트 글래스(혹은 스마트 글래스가 장착된 스마트 디바이스)를 착용한 사용자는 스마트 글래스 서비스 플랫폼과의 통신을 통해 여러 실시예에 따른 다양한 방식의 스마트 글래스 기반의 서비스를 제공받을 수 있다.
상기 스마트 글래스 기반의 영상 처리 장치(100)는 상기 스마트 글래스 서비스 플랫폼 상에서 구현되며, 일실시예에 따른 서비스 내용에 따라 가상 공존형 투어 서버, 특정대상 인식 및 표현 서버, Invisible Viewing 서버, 타임머신 슬로모션 서버 등 다양한 방식으로 구현될 수 있다.
각 실시예에 따른 다양한 방식의 스마트 글래스를 이용한 서비스 내용은 도 3 내지 도 9에서 후술한다.
상기 사용자의 스마트 글래스는 일반적으로 사용되는 카메라 장치 외에, 투시형(See-through) 또는 암막형(See-closed) 안경이나 거울, 창문 등에 응용될 수 있으며, 360도 시야각 카메라나 깊이 카메라와 같이, 상기 사용자의 시선에 대응하여 다양한 각도의 영상을 획득할 수 있는 장치를 포함할 수 있다.
또한, 상기 사용자의 스마트 글래스는 서비스 내용에 따라 원격지의 다른 사용자의 스마트 글래스와의 통신으로 다양한 영상 및 정보를 주고받을 수 있다.
일실시예에 따르면, 상기 스마트 글래스 서비스 플랫폼은 클라우드 형태로 가상 공존형 투어 서버, 특정대상 인식 및 표현 서버, Invisible Viewing 서버, 타임머신 슬로모션 서버 등 다양한 서비스 서버를 포함하여 구성될 수 있다.
도 3은 일실시예에 따른 스마트 글래스 기반의 특정 대상 인식 및 표현 기능을 설명하는 도면이다.
상기 스마트 글래스 기반의 영상 처리 장치(100)는 스마트 글래스 서비스 플랫폼 상에 구현되어, 특정 대상 인식 및 표현 서비스를 제공할 수 있다.
상기 추출부(110)는 사용자의 스마트 글래스로부터 제1 영상(310)을 수신하고, 상기 제1 영상(310)에서 사용자가 관찰하고자 하는 제1 대상을 추출하여 제2 영상을 생성할 수 있다.
상기 정보 수집부(120)가 상기 제1 대상에 연관된 관련정보를 수집하면, 상기 영상 생성부(130)는 상기 제2 영상 및 상기 제1 대상에 연관된 관련정보 중 적어도 하나를 포함하여 제3 영상(320)으로 재구성할 수 있다.
특정 대상 인식 및 표현 서비스의 경우, 스마트 글래스를 통해 과거에 본 적이 있거나 유명한 인물이나 대상을 인식하고, 이에 대한 정보를 사용자에 제공할 수 있다.
이 경우, 특정 대상(제1 대상)은 이전에 본 적이 있는 사람이나 유명인물 등의 특정 인물을 비롯하여, 특정 건물이나 장소, 객체, 이벤트, 음성, 동작, 시간 구간 중 적어도 하나를 포함할 수 있다.
또한, 상기 제1 대상의 수는 단수에 한정되지 않고, 복수 개의 제1 대상에 대한 영상 처리 또한 가능하다.
상기 제1 대상에 연관된 관련정보는, 상기 제1 대상에 대한 기본 프로파일 정보 등의 정적 정보는 물론, 실시간 정보검색을 통해 획득한 동적 정보 또한 포함될 수 있다.
도 4는 일실시예에 따른 스마트 글래스 기반의 타임머신 슬로우 모션 기능을 설명하는 도면이다.
상기 스마트 글래스 기반의 영상 처리 장치(100)는 스마트 글래스 서비스 플랫폼 상에 구현되어, 타임머신 슬로우 모션 서비스를 제공할 수 있다.
타임머신 슬로우 모션 서비스의 경우, 사용자 주변에서 순식간에 지나가 버린 장면을 슬로우 모션으로 다시 천천히 상세하게 반복 재생하여 제공할 수 있다.
상기 추출부(110)는 사용자의 스마트 글래스로부터 스포츠 경기 장면이나 자동차 사고에 대한 제1 영상(410)을 수신하고, 상기 제1 영상(410)에서 사용자가 관찰하고자 하는 제1 대상을 추출하여 제2 영상을 생성할 수 있다.
타임머신 슬로우 모션 서비스에서, 상기 제1 대상은 상기 제1 영상에 대한 특정 시간 구간이나 이벤트, 음성 중 적어도 하나로 설정될 수 있다.
상기 정보 수집부(120)가 상기 제1 대상에 연관된 관련정보를 수집하면, 상기 영상 생성부(130)는 상기 제2 영상 및 상기 제1 대상에 연관된 관련정보 중 적어도 하나를 포함하여 제3 영상(420)으로 재구성할 수 있다.
상기 사용자는 스마트 글래스로부터 획득한 상기 제1 영상(410) 중 다시 관찰하고자 하는 제1 대상과 관련하여 타임머신 슬로우 모션(속도 조절 재생)으로 재구성된 상기 제3 영상(420)을 획득함으로써, 타임머신 슬로우 모션 서비스를 제공받을 수 있다.
이 경우, 음성인식을 이용한 상기 슬로우 모션 시작 이벤트 설정이나 상기 사용자가 원하는 특정 이벤트에 대한 자동 생성 및 인덱싱 기능 또한, 상기 제3 영상에 함께 포함되어 생성될 수 있다.
도 5는 일실시예에 따른 스마트 글래스 기반의 싱크로나이즈드 멀티플 피팅 기능을 설명하는 도면이다.
상기 스마트 글래스 기반의 영상 처리 장치(100)는 스마트 글래스 서비스 플랫폼 상에 구현되어, 싱크로나이즈드 멀티플 피팅 서비스를 제공할 수 있다.
상기 추출부(110)는 사용자의 스마트 글래스로부터 제1 영상(510)을 수신하고, 상기 제1 영상(510)에서 사용자가 관찰하고자 하는 제1 대상을 추출하여 제2 영상을 생성할 수 있다.
상기 정보 수집부(120)가 상기 제1 대상에 연관된 관련정보를 수집하면, 상기 영상 생성부(130)는 상기 제2 영상 및 상기 제1 대상에 연관된 관련정보 중 적어도 하나를 포함하여 제3 영상(520)으로 재구성할 수 있다.
싱크로나이즈드 멀티플 피팅 서비스의 경우, 사용자가 스마트 글래스가 설치된 거울을 통해 현재 보유하고 있는 옷의 목록을 검색하고, 이에 대한 정보를 사용자에 제공할 수 있다.
이 경우, 상기 제1 대상은 상기 사용자의 현재 모습이나, 보유하고 있는 옷의 목록으로 설정할 수 있으며, 현재 계절이나 날씨 정보에 따른 과거 영상이나 추천 목록 또한 가능하다.
일실시예에 따라, 상기 영상 생성부(130)는 상기 스마트 글래스가 설치된 거울을 통해 현재 입고 있는 옷과 다른 옷을 입은 모습을 쉽게 비교할 수 있도록 동일한 패턴으로 움직이는 피팅 영상을 상기 사용자에 제공할 수도 있다.
또한, 상기 영상 생성부(130)는 상기 제1 대상과 연관된 관련정보에 기초하여, 상기 관련정보의 카테고리 별 영상을 상기 제3 영상과 함께 추천하여 제공할 수 있다. 이 경우, 상기 관련정보의 카테고리 별 영상은 상기 제3 영상의 일측에 포함되는 방식으로 제공될 수 있다.
도 6은 일실시예에 따른 스마트 글래스 기반의 가상 공존형 원격 투어 기능을 설명하는 도면이다.
상기 스마트 글래스 기반의 영상 처리 장치(100)는 스마트 글래스 서비스 플랫폼 상에 구현되어, 가상 공존형 원격 투어 서비스를 제공할 수 있다.
가상 공존형 원격 투어 서비스의 경우, 원격지(제2 장소)에서 스마트 글래스로 촬영된 영상을 현지(제1 장소)에서 동일하게 바라볼 수 있도록 하는 것으로, 제1 장소의 사용자가 마치 제2 장소의 원격지에 있는 것과 같은 효과를 줄 수 있다.
상기 추출부(110)는 사용자의 스마트 글래스로부터 제1 영상(610)을 수신하고, 상기 제1 영상(610)에서 사용자가 관찰하고자 하는 제1 대상을 추출하여 제2 영상을 생성할 수 있다.
가상 공존형 원격 투어 서비스에서, 상기 제1 영상은 원격지(제2 장소)에 대하여 상기 사용자의 시선에 대응되도록 촬영된 영상이며, 상기 제1 대상은 원격지의 풍경이나 특정 장면일 수 있다.
또한, 상기 제2 영상은 상기 제1 영상에서 상기 제1 대상을 인식하고, 이를 추출하여 생성된 영상으로, 상기 제1 대상 부분에 대하여는 제1 해상도 이상의 고화질로, 상기 제1 대상을 제외한 나머지 부분에 대하여는 상기 제1 해상도 미만의 저화질로 생성될 수 있다.
여기서, 상기 제1 해상도는 상기 제1 대상에 대한 포커싱 기준이 되는 임계값으로 이해될 수 있으며, 상기 제2 영상 또는 제3 영상의 효율적 전송을 위해 상기 제1 대상 부분에 적용될 수 있다.
상기 정보 수집부(120)가 상기 제1 대상에 연관된 관련정보를 수집하면, 상기 영상 생성부(130)는 상기 제2 영상 및 상기 제1 대상에 연관된 관련정보 중 적어도 하나를 포함하여 제3 영상(620)으로 재구성할 수 있다.
이 경우, 제1 장소 및 제2 장소의 사용자 스마트 글래스 간 증강현실 공유 기능을 위해, 상기 제3 영상은 사용자 별 캐릭터를 이용하여 동작이나 표정을 표현하거나, 그래픽을 이용한 네비게이션, 말풍선 등의 부가정보를 제공할 수 있다.
도 7 내지 도 9는 일실시예에 따른 스마트 글래스 기반의 Invisible Viewing 기능을 보여주는 도면이다.
상기 스마트 글래스 기반의 영상 처리 장치(100)는 스마트 글래스 서비스 플랫폼 상에 구현되어, Invisible Viewing 서비스를 제공할 수 있다.
스마트 글래스 기반의 Invisible Viewing 서비스는 복수 개의 스마트 글래스(또는 카메라)를 이용하여 평소에 볼 수 없는 시점을 볼 수 있도록, 특정 대상에 대한 다양한 시점의 영상을 제공한다.
도 7은 일실시예에 따른 스마트 글래스 기반의 Invisible Viewing 기능 중 blocked barrier 반대편 물체(object) 표현 기능을 나타내고 있다.
상기 추출부(110)는 사용자 스마트 글래스 1로부터 획득한 제1 영상(710)에서 제1 대상을 추출하여 제2 영상으로 생성하고, 상기 정보 수집부(120)는 상기 제1 대상에 연관된 관련정보를 수집할 수 있다.
이 때, 상기 제1 대상에 연관된 관련정보는 상기 제1 대상을 촬영 중인 타 사용자(사용자 스마트 글래스 2)로부터 획득한 다른 방향의 영상일 수 있다.
상기 영상 생성부(130)는 상기 제2 영상 및 상기 제1 대상에 연관된 관련정보 중 적어도 하나를 포함하여 제3 영상(720)으로 재구성할 수 있으며, 상기 제3 영상(720)은 도 7의 사용자 글래스 3에 제공될 수 있다.
상기 제3 영상(720)은 상기 사용자의 시점에 대응하도록 영상 합성 처리 및 객체 표현이 가능하다.
도 7에서, 상기 제1 영상(710) 내의 사람에 의해 가려진 시점은, 별도의 팝업창으로 표시되어 barrier는 반투명으로, barrier 반대편 객체는 선명하게 표현하는 방식으로 제3 영상(720)과 같이 제공될 수 있다.
이를 테면, 학교에서는 앞의 키 큰 학생이나 선생님에게 가려진 칠판을 볼 수 있고, 회의 시에 목업 제품을 사용자 방향뿐만 아니라 반대쪽이나 측면에서 볼 수 있으며, 평상시 쉽게 볼 수 없는 방향에 대한 장면을 관찰할 수 있다.
도 8은 일실시예에 따른 스마트 글래스 기반의 Invisible Viewing 기능 중 물체의 360도 viewing(invisible part) 표현 기능을 보여주는 도면이다.
상기 추출부(110)는 사용자 스마트 글래스 1로부터 획득한 제1 영상(810)에서 사용자가 관찰하고자 하는 제1 대상을 추출하여 제2 영상으로 생성하고, 상기 정보 수집부(120)는 상기 제1 대상에 연관된 관련정보를 수집할 수 있다.
이 때, 상기 제1 대상에 연관된 관련정보는 상기 제1 대상을 촬영 중인 타 사용자(사용자 스마트 글래스 2 또는 3)로부터 획득한 다른 방향의 영상일 수 있다.
상기 영상 생성부(130)는 사용자 설정에 기초하여, 상기 제2 영상 및 상기 제1 대상에 연관된 관련정보 중 적어도 하나를 포함하여 제3 영상(720)으로 재구성할 수 있으며, 상기 제3 영상(720)은 도 8의 사용자 글래스 1 내지 3 각각에 제공될 수 있다.
도 8에서, 상기 제1 영상(810) 내의 객체(제1 대상)에 대하여, 각 사용자의 설정에 따라 상기 객체의 invisible part인 측면이나 후면, 내부 등을 표현하여 제3 영상(820)과 같이 제공될 수 있다.
상기 제1 대상이 가상 현실로 표현 가능한 경우에는, 미리 생성된 정보를 이용하여 상기 제3 영상에 표현할 수도 있다.
도 9는 일실시예에 따른 스마트 글래스 기반의 Invisible Viewing 기능 중 사용자 중심(user-centric)의 360도 파노라마 표현 기능을 보여주는 도면이다.
상기 추출부(110)는 사용자의 스마트 글래스로부터 제1 영상(910)을 수신하고, 상기 제1 영상(910)에서 사용자가 관찰하고자 하는 제1 대상을 추출하여 제2 영상을 생성할 수 있다.
이 때, 상기 제1 영상(910)은 상기 사용자를 중심으로 360도 방향에 대한 영상이며, 상기 제1 대상은 상기 사용자 중심의 360도 방향에 대한 풍경이나 특정 장면일 수 있다.
상기 추출부(110)는 상기 사용자의 스마트 글래스의 시각이 90도인 경우에는 제1 측 내지 제4 측에 대한 4개의 제1 영상(910)을, 상기 스마트 글래스의 시각이 120도인 경우에는 제1 측 내지 제3 측에 대한 3개의 제1 영상을 획득할 수 있다.
상기 정보 수집부(120)가 상기 제1 대상에 연관된 관련정보를 수집하면, 상기 영상 생성부(130)는 상기 제2 영상 및 상기 제1 대상에 연관된 관련정보 중 적어도 하나를 포함하여 제3 영상(920)으로 재구성할 수 있다.
도 9에서, 사용자를 중심으로 (360도 방향의)제1 측 내지 제4측에 대한 4개의 영상을 포함하는 상기 제1 영상(910)에 대하여, 상기 사용자 시점에 대응하도록 파노라마 영상을 재구성하여 제3 영상(920)과 같이 제공될 수 있다.
도 10은 일실시예에 따른 스마트 글래스 기반의 영상 처리 방법을 나타내는 흐름도이다.
단계 1010에서는, 상기 추출부(110)가 스마트 글래스로부터 제1 영상을 수신하여, 상기 제1 영상으로부터 사용자가 관찰하고자 하는 제1 대상을 추출할 수 있다.
상기 제1 영상은 상기 스마트 글래스로부터 수신한 복수 개의 영상 중 사용자가 관찰하고자 하는 특정 대상을 포함하는 영상을 의미하는 것으로, 상기 사용자의 시선에 대응되도록 촬영된 영상일 수 있다.
상기 제1 대상은 상기 사용자가 관찰하고자 하는 특정 대상을 의미하는 것으로, 특정 인물이나 객체, 이벤트, 음성, 동작, 시간 구간 중 적어도 하나를 포함할 수 있다.
단계 1020에서는, 상기 추출부(110)가 상기 추출된 제1 대상을 제2 영상으로 생성할 수 있다.
상기 제2 영상은 상기 제1 영상에서 상기 제1 대상을 인식하고, 이를 추출하여 생성된 영상을 의미하며, 상기 제1 대상 부분에 대하여는 제1 해상도 이상의 고화질로, 상기 제1 대상을 제외한 나머지 부분에 대하여는 상기 제1 해상도 미만의 저화질로 생성될 수 있다.
여기서, 상기 제1 해상도는 상기 제1 대상에 대한 포커싱 기준이 되는 임계값으로 이해될 수 있으며, 상기 제2 영상 또는 제3 영상의 효율적 전송을 위해 상기 제1 대상 부분에 적용될 수 있다.
단계 1020에서는, 상기 사용자의 특정 동작을 인식하고, 상기 사용자의 특정 동작과 연관된 정보를 상기 사용자에게 제공할 수도 있다.
단계 1030에서는, 상기 정보 수집부(120)가 상기 제1 대상에 연관된 관련정보를 수집할 수 있다.
상기 제1 대상에 연관된 관련정보는, 상기 제1 대상에 대한 기본 프로파일 정보 등의 정적 정보는 물론, 실시간 정보검색을 통해 획득한 동적 정보 또한 포함될 수 있다.
단계 1040에서는, 상기 영상 생성부(130)가 상기 사용자의 설정에 기초하여, 상기 제2 영상 및 상기 제1 대상에 연관된 관련정보 중 적어도 하나를 제3 영상으로 재구성할 수 있다.
상기 제3 영상은 상기 제1 대상과 관련하여 상기 사용자의 설정에 따라 재구성된 영상을 의미하며, 실시예에 따라 다양한 방식으로 구성될 수 있다.
또한, 상기 제3 영상은 그래픽이나 캐릭터 중 적어도 하나를 이용하여 부가정보를 포함할 수 있다.
상기 스마트 글래스는 360도 시야각 카메라나 깊이 카메라와 같이, 상기 사용자의 시선에 대응하여 다양한 각도의 영상을 획득할 수 있는 장치를 포함하며, 일반적으로 사용되는 카메라 장치 외에, 안경이나 거울, 창문 등에 응용될 수 있다.
다른 실시예에 따라, 상기 스마트 글래스 기반의 영상 처리 방법은 상기 제1 대상과 연관된 과거 영상을 비교하는 방식으로 제공될 수 있다.
이 경우, 상기 추출부(110)는 스마트 글래스로부터 수신한 제1 영상에서 사용자가 관찰하고자 하는 제1 대상을 추출하여 제2 영상으로 생성할 수 있다.
또한, 상기 정보 수집부(120)는 상기 제1 대상에 연관된 관련 정보를 수집할 수 있다.
상기 사용자의 설정에 기초하여, 상기 영상 생성부(130)는 상기 제2 영상 및 상기 제1 대상에 연관된 관련정보 중 적어도 하나를 제3 영상으로 재구성하고, 상기 제3 영상의 일측에 상기 제1 대상과 연관된 과거 영상을 비교하여 제공할 수 있다.
또다른 실시예에 따라, 상기 스마트 글래스 기반의 영상 처리 방법은 상기 제1 대상과 연관된 관련정보에 기초하여 관련 영상을 추천하는 방식으로 제공될 수 있다.
이 경우, 상기 추출부(110)는 스마트 글래스로부터 수신한 제1 영상에서 사용자가 관찰하고자 하는 제1 대상을 추출하여 제2 영상으로 생성할 수 있다.
또한, 상기 정보 수집부(120)는 상기 제1 대상에 연관된 관련 정보를 수집할 수 있다.
그리고 상기 영상 생성부(130)는 상기 사용자의 설정에 기초하여, 상기 제2 영상 및 상기 제1 대상에 연관된 관련정보 중 적어도 하나를 포함하고, 상기 제1 대상에 연관된 관련정보의 카테고리 별 추천 영상을 일측에 포함하여 제3 영상으로 재구성할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 스마트 글래스로부터 수신한 제1 영상에서, 사용자가 관찰하고자 하는 제1 대상을 추출하여 제2 영상으로 생성하는 추출부;
    상기 제1 대상에 연관된 관련정보를 수집하는 정보 수집부; 및
    상기 사용자의 설정에 기초하여, 상기 제2 영상 및 상기 제1 대상에 연관된 관련정보 중 적어도 하나를 제3 영상으로 재구성하는 영상 생성부
    를 포함하는 스마트 글래스 기반의 영상 처리 장치.
  2. 제1항에 있어서,
    상기 제1 대상은, 상기 사용자가 관찰하고자 하는 특정 인물이나 객체, 이벤트, 음성, 동작, 시간 구간 중 적어도 하나를 포함하는 스마트 글래스 기반의 영상 처리 장치.
  3. 제1항에 있어서,
    상기 제1 영상은, 상기 사용자의 시선에 대응되도록 촬영된 영상인 스마트 글래스 기반의 영상 처리 장치.
  4. 제1항에 있어서,
    상기 제2 영상은, 상기 제1 대상 부분에 대하여는 제1 해상도 이상의 화질로, 상기 제1 대상을 제외한 나머지 부분에 대하여는 상기 제1 해상도 미만의 화질로 생성되는 스마트 글래스 기반의 영상 처리 장치.
  5. 제1항에 있어서,
    상기 추출부는, 상기 사용자의 특정 동작을 인식하는 동작 인식부를 더 포함하며,
    상기 사용자의 특정 동작과 연관된 정보를 상기 사용자에게 제공하는 스마트 글래스 기반의 영상 처리 장치.
  6. 제1항에 있어서,
    상기 영상 생성부는, 상기 제1 대상과 연관된 과거 영상을 상기 제3 영상과 비교하여 제공하는 비교부를 더 포함하는 스마트 글래스 기반의 영상 처리 장치.
  7. 제1항에 있어서,
    상기 영상 생성부는, 상기 제1 대상에 연관된 관련정보에 기초하여, 상기 관련정보의 카테고리 별 영상을 추천하는 스마트 글래스 기반의 영상 처리 장치.
  8. 제1항에 있어서,
    상기 제3 영상은, 그래픽이나 캐릭터 중 적어도 하나를 이용하여 부가정보를 포함하는 스마트 글래스 기반의 영상 처리 장치.
  9. 제1항에 있어서,
    상기 스마트 글래스는, 360도 시야각 카메라 또는 깊이 카메라를 포함하며, 인터넷에 연결되는 스마트 글래스 기반의 영상 처리 장치.
  10. 스마트 글래스로부터 제1 영상을 수신하여, 상기 제1 영상으로부터 사용자가 관찰하고자 하는 제1 대상을 추출하는 단계;
    상기 추출된 제1 대상을 제2 영상으로 생성하는 단계;
    상기 제1 대상에 연관된 관련정보를 수집하는 단계; 및
    상기 사용자의 설정에 기초하여, 상기 제2 영상 및 상기 제1 대상에 연관된 관련정보 중 적어도 하나를 제3 영상으로 재구성하는 단계
    를 포함하는 스마트 글래스 기반의 영상 처리 방법.
  11. 제10항에 있어서,
    상기 제1 대상은, 상기 사용자가 관찰하고자 하는 특정 인물이나 객체, 이벤트, 음성, 동작, 시간 구간 중 적어도 하나를 포함하는 스마트 글래스 기반의 영상 처리 방법.
  12. 제10항에 있어서,
    상기 제1 영상은, 상기 사용자의 시선에 대응되도록 촬영된 영상인 스마트 글래스 기반의 영상 처리 방법.
  13. 제10항에 있어서,
    상기 제2 영상은, 상기 제1 대상 부분에 대하여는 제1 해상도 이상의 화질로, 상기 제1 대상을 제외한 나머지 부분에 대하여는 상기 제1 해상도 미만의 화질로 생성되는 스마트 글래스 기반의 영상 처리 장치 방법.
  14. 스마트 글래스로부터 수신한 제1 영상에서, 사용자가 관찰하고자 하는 제1 대상을 추출하여 제2 영상으로 생성하는 단계;
    상기 제1 대상에 연관된 관련정보를 수집하는 단계; 및
    상기 사용자의 설정에 기초하여, 상기 제2 영상 및 상기 제1 대상에 연관된 관련정보 중 적어도 하나를 제3 영상으로 재구성하고, 상기 제3 영상의 일측에 상기 제1 대상과 연관된 과거 영상을 비교하여 제공하는 단계
    를 포함하는 스마트 글래스 기반의 영상 처리 장치 방법.
  15. 스마트 글래스로부터 수신한 제1 영상에서, 사용자가 관찰하고자 하는 제1 대상을 추출하여 제2 영상으로 생성하는 단계;
    상기 제1 대상에 연관된 관련정보를 수집하는 단계; 및
    사용자의 설정에 기초하여, 상기 제2 영상 및 상기 제1 대상에 연관된 관련정보 중 적어도 하나를 포함하고, 상기 제1 대상에 연관된 관련정보의 카테고리 별 추천 영상을 일측에 포함하여 제3 영상으로 재구성하는 단계
    를 포함하는 스마트 글래스 기반의 영상 처리 장치 방법.
KR1020120135912A 2012-11-28 2012-11-28 스마트 글래스 기반 영상 처리 장치 및 방법 KR101995958B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120135912A KR101995958B1 (ko) 2012-11-28 2012-11-28 스마트 글래스 기반 영상 처리 장치 및 방법
US14/035,803 US9460351B2 (en) 2012-11-28 2013-09-24 Image processing apparatus and method using smart glass

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120135912A KR101995958B1 (ko) 2012-11-28 2012-11-28 스마트 글래스 기반 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140068431A true KR20140068431A (ko) 2014-06-09
KR101995958B1 KR101995958B1 (ko) 2019-07-03

Family

ID=50772952

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120135912A KR101995958B1 (ko) 2012-11-28 2012-11-28 스마트 글래스 기반 영상 처리 장치 및 방법

Country Status (2)

Country Link
US (1) US9460351B2 (ko)
KR (1) KR101995958B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9493125B2 (en) 2014-10-17 2016-11-15 Hyundai Motor Company Apparatus and method for controlling of vehicle using wearable device
KR20200111408A (ko) * 2019-03-19 2020-09-29 한국전자기술연구원 360 vr 인터랙티브 중계를 위한 사용자 인터페이스 및 방법

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104679384A (zh) * 2015-01-29 2015-06-03 深圳市中兴移动通信有限公司 界面显示控制方法及装置
CN104936000A (zh) * 2015-05-29 2015-09-23 联想(北京)有限公司 一种信息处理方法及电子设备
US9984550B2 (en) * 2016-05-24 2018-05-29 International Business Machines Corporation Smart garment that communicates at least one parameter to a receiver
WO2018036456A1 (zh) * 2016-08-22 2018-03-01 大辅科技（北京）有限公司 追踪识别视频图像中的商品并展示商品信息的方法和装置
KR102296139B1 (ko) 2017-03-22 2021-08-30 후아웨이 테크놀러지 컴퍼니 리미티드 가상 현실 이미지를 송신하는 방법 및 장치
CN107105065A (zh) * 2017-06-15 2017-08-29 闻泰通讯股份有限公司 Vr远程控制方法、装置及系统
CN109802931B (zh) 2017-11-17 2021-08-06 腾讯科技（深圳）有限公司 一种通信处理方法、终端及存储介质
CN109168017A (zh) * 2018-10-16 2019-01-08 深圳市三叶虫科技有限公司 一种基于智能眼镜的视频直播互动系统及直播互动方式
CN110121046B (zh) * 2019-05-08 2020-10-23 山东国电发电工程有限公司 一种灵活扩展的视频监控系统及方法
US11340701B2 (en) * 2019-12-16 2022-05-24 Nvidia Corporation Gaze determination using glare as input
US20210365673A1 (en) * 2020-05-19 2021-11-25 Board Of Regents, The University Of Texas System Method and apparatus for discreet person identification on pocket-size offline mobile platform with augmented reality feedback with real-time training capability for usage by universal users
US11551197B2 (en) * 2021-01-01 2023-01-10 Bank Of America Corporation Smart-glasses based contactless automated teller machine (“ATM”) transaction processing
US11556912B2 (en) 2021-01-28 2023-01-17 Bank Of America Corporation Smartglasses-to-smartglasses payment systems
US11734665B2 (en) 2021-02-08 2023-08-22 Bank Of America Corporation Card-to-smartglasses payment systems
CN112883883A (zh) * 2021-02-26 2021-06-01 北京蜂巢世纪科技有限公司 信息提示方法、装置、介质、眼镜及程序产品
US11816221B2 (en) 2021-04-22 2023-11-14 Bank Of America Corporation Source code vulnerability scanning and detection smart glasses
US11797708B2 (en) 2021-05-06 2023-10-24 Bank Of America Corporation Anomaly detection in documents leveraging smart glasses
US11650798B2 (en) 2021-05-28 2023-05-16 Bank Of America Corporation Developing source code leveraging smart glasses

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090018926A1 (en) * 2007-07-13 2009-01-15 Divina Buehlman Web-based virtual clothing coordinator including personal mannequin with customer-directed measurements, image modification and clothing
US20090116766A1 (en) * 2007-11-06 2009-05-07 Palo Alto Research Center Incorporated Method and apparatus for augmenting a mirror with information related to the mirrored contents and motion
WO2011106798A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040175764A1 (en) * 2003-01-06 2004-09-09 Hiroto Nishiyama Image processing apparatus, image processing program, recording medium, and image processing method
US8982109B2 (en) * 2005-03-01 2015-03-17 Eyesmatch Ltd Devices, systems and methods of capturing and displaying appearances
KR101028130B1 (ko) 2008-07-01 2011-04-12 박태수 실시간 원격 영상 전송 시스템
KR101000859B1 (ko) 2009-05-25 2010-12-13 연세대학교 산학협력단 어안렌즈를 이용한 ｈｄｒｉ파노라마 영상 생성장치 및 방법
US9788017B2 (en) * 2009-10-07 2017-10-10 Robert Laganiere Video analytics with pre-processing at the source end
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
GB201102794D0 (en) * 2011-02-17 2011-03-30 Metail Ltd Online retail system
EP2732761A1 (en) * 2012-11-14 2014-05-21 Hill-Rom Services, Inc. Augmented reality system in the patient care environment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090018926A1 (en) * 2007-07-13 2009-01-15 Divina Buehlman Web-based virtual clothing coordinator including personal mannequin with customer-directed measurements, image modification and clothing
US20090116766A1 (en) * 2007-11-06 2009-05-07 Palo Alto Research Center Incorporated Method and apparatus for augmenting a mirror with information related to the mirrored contents and motion
WO2011106798A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9493125B2 (en) 2014-10-17 2016-11-15 Hyundai Motor Company Apparatus and method for controlling of vehicle using wearable device
KR20200111408A (ko) * 2019-03-19 2020-09-29 한국전자기술연구원 360 vr 인터랙티브 중계를 위한 사용자 인터페이스 및 방법

Also Published As

Publication number Publication date
US20140146178A1 (en) 2014-05-29
US9460351B2 (en) 2016-10-04
KR101995958B1 (ko) 2019-07-03

Similar Documents

Publication Publication Date Title
KR101995958B1 (ko) 스마트 글래스 기반 영상 처리 장치 및 방법
US11523103B2 (en) Providing a three-dimensional preview of a three-dimensional reality video
CN109416931A (zh) 用于视线跟踪的装置和方法
CN106598229B (zh) 一种虚拟现实场景的生成方法、设备及虚拟现实系统
US10681341B2 (en) Using a sphere to reorient a location of a user in a three-dimensional virtual reality video
US11151791B2 (en) R-snap for production of augmented realities
CN105959666A (zh) 一种虚拟现实系统中分享3d影像的方法和装置
EP3547672A1 (en) Data processing method, device, and apparatus
US11032535B2 (en) Generating a three-dimensional preview of a three-dimensional video
US20190347864A1 (en) Storage medium, content providing apparatus, and control method for providing stereoscopic content based on viewing progression
EP3096517A1 (en) Wearable smart glasses
WO2016167160A1 (ja) データ生成装置および再生装置
WO2021015035A1 (ja) 画像処理装置、画像配信システム、および画像処理方法
US11592906B2 (en) Ocular focus sharing for digital content
US9767564B2 (en) Monitoring of object impressions and viewing patterns
CN113875227A (zh) 信息处理设备、信息处理方法和程序
KR20130067855A (ko) 시점 선택이 가능한 3차원 가상 콘텐츠 동영상을 제공하는 장치 및 그 방법
KR101856632B1 (ko) 화자의 위치를 기반으로 한 자막 디스플레이 방법 및 이러한 방법을 수행하는 장치
KR102576977B1 (ko) 대화형 교육 서비스를 제공하는 전자 장치 및 그 동작 방법
CN110910508B (zh) 一种图像显示方法、装置和系统
US11189047B2 (en) Gaze based rendering for audience engagement
CN114915798A (zh) 实时视频生成方法、多摄像头直播方法及装置
CN106774869B (zh) 一种实现虚拟现实的方法、装置及虚拟现实头盔
CN105630170B (zh) 一种信息处理方法及电子设备
KR20210029523A (ko) 3d 가상현실 영상에서 객체를 표시하는 방법 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant