KR20120119725A - 비디오 객체 탐색 장치, 비디오 객체 변형 장치 및 그 방법 - Google Patents

비디오 객체 탐색 장치, 비디오 객체 변형 장치 및 그 방법 Download PDF

Info

Publication number
KR20120119725A
KR20120119725A KR1020110037877A KR20110037877A KR20120119725A KR 20120119725 A KR20120119725 A KR 20120119725A KR 1020110037877 A KR1020110037877 A KR 1020110037877A KR 20110037877 A KR20110037877 A KR 20110037877A KR 20120119725 A KR20120119725 A KR 20120119725A
Authority
KR
South Korea
Prior art keywords
video
video object
sensing
interactive
unit
Prior art date
Application number
KR1020110037877A
Other languages
English (en)
Other versions
KR101804848B1 (ko
Inventor
유병인
최창규
한재준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110037877A priority Critical patent/KR101804848B1/ko
Priority to US13/416,595 priority patent/US9700788B2/en
Publication of KR20120119725A publication Critical patent/KR20120119725A/ko
Application granted granted Critical
Publication of KR101804848B1 publication Critical patent/KR101804848B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A63F2300/695—Imported photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8094—Unusual game types, e.g. virtual cooking

Abstract

비디오 객체 탐색 장치, 비디오 객체 변형 장치 및 그 방법이 개시된다. 본 발명의 일실시예에 따른 비디오 객체 탐색 장치에 따르면, 사용자는 기존의 비디오를 단순 시청하던 것과 달리, 사용자의 동작/자세를 이용하여 비디오를 탐색할 수 있다. 또한 사용자는 마우스나 터치 등의 기존 입력 방식 대신 몸의 동작을 이용해 비디오를 조작할 수 있어, 비디오 시청에 있어서 높은 몰입감을 가질 수 있다. 또한, 본 발명의 일실시예에 따른 비디오 객체 변형 장치에 따르면, 사용자는 인터렉티브 비디오와 자신의 동작의 차이점을 인지할 수 있다. 또한, 사용자는 인터렉티브 비디오와 자신의 동작의 차이점이 반영된 비디오를 제공 받을 수 있다.

Description

비디오 객체 탐색 장치, 비디오 객체 변형 장치 및 그 방법{Video Object Detecting Apparatus, Video Object Deforming Apparatus and Method thereof}
본 발명의 실시예들은 비디오 객체 탐색 장치 및 비디오 객체 변형 장치에 관한 것으로서, 보다 구체적으로는 인터렉티브 비디오의 비디오 객체를 탐색, 변형할 수 있는 장치에 관한 것이다.
최근 사용자의 몸 동작을 센싱하여 사용자 인터페이스를 제어하는 기술에 대한 연구 및 개발이 가속화되고 있다. 그러나 현재의 동작 센싱 기술은 일반적으로 그래픽 기반의 게임 입력 수단이나 전자기기의 리모콘을 대체하는 UI 조작에 한정되어 있다.
2007년 전세계 영화산업시장의 규모는 극장 매출 27,403백만 달러, 홈비디오 55,837백만 달러, 온라인 2,664백만 달러로 총 합계 85,904백만 달러이다. 지역별로는 미국 33,717백만 달러, 서유럽 22,238백만 달러이다.
이는 2007년 전세계 게임시장의 규모인 86,418백만 달러(아케이드: 35,837백만달러, PC: 3,042백만달러, 콘솔: 37,415백만달러, 온라인: 7,155백만달러, 모바일: 2,969백만 달러)와 동등한 수준으로서, 향후 몸 동작에 기반한 사용자 인터페이스 기술이 현재의 그래픽 기반 게임을 입력수단을 넘어서 인터렉티브 비디오(Interactive Video)를 제어하기 위한 UI 기술로서 적극 활용될 가능성을 보여 준다. 여기에 뮤직비디오 및 음악방송 시장, 건강 비디오 시장을 더하면 인터렉티브 비디오를 제어하기 위한 기술 가치의 중요성은 더욱 증대 된다.
그러나 2D/3D 객체(Object)를 실시간 렌더링 엔진에 의해 표현(representation)하는 그래픽을 기반으로 하는 기술은, 동작 센싱과 같은 새로운 양상(modality)에 의한 인터렉티브 컨텐츠(interactive contents)를 제작하기에 손쉬운 특성이 있어서, 동작 인식 기술이 급격히 확산된 반면에, 2D/3D 카메라(camera)를 이용해 정해진 씬(scene)을 촬영한 후, 후작업(보정, 편집등)을 통하여 정해진 순서(sequence)에 따라 재생(playback)하는 방식인 현재의 비디오 컨텐츠(video contents)의 경우, 인터렉티브 비디오(interactive video)를 제작/감상하기 위한 혁신적인 기술개발이 있어야만 비로소 사용자의 자연스러운 동작과 같은 양상(modality)의 비디오 컨텐츠(video contents)를 감상하는데 활용 될 수 있다.
따라서, 본 명세서에서는 인터렉티브 비디오를 활용할 수 있는 새로운 비디오 객체 탐색, 변형 장치에 대해서 설명한다.
본 발명의 일실시예에 따른 비디오 객체 탐색 장치는, 사용자에 대하여 센싱한 센싱 영상으로부터 센싱 객체(Sensing Object)를 검색(Retrieval)하고, 인터렉티브 비디오(Interactive Video)로부터 비디오 객체(Video Object)를 검색하는 객체 검색부; 상기 센싱 객체 및 상기 비디오 객체 사이의 유사도(Similarity)를 연산하는 연산부; 및 상기 인터렉티브 비디오로부터 상기 유사도가 가장 큰 프레임(Frame)을 추출하는 프레임 추출부를 포함한다.
본 발명의 일실시예에 따른 비디오 객체 탐색 장치는 인터렉티브 비디오(Interactive Video)로부터 비디오 객체(Video Object)를 검색하는 객체 검색부; 사용자로부터 입력되는 상기 비디오 객체를 제어하기 위한 제어점(Control Point)의 위치를 트래킹(Tracking)하는 트래킹부; 상기 비디오 객체의 ID 및 상기 제어점의 위치에 기반하여, 상기 비디오 객체의 모멘트(Moment) 및 상기 제어점의 위치의 차이(Difference)를 연산하는 연산부; 및 상기 인터렉티브 비디오로부터 상기 연산된 차이가 가장 작은 프레임(Frame)을 추출하는 프레임 추출부를 포함한다.
본 발명의 일실시예에 따른 비디오 객체 변형 장치는, 사용자에 대하여 센싱한 센싱 영상으로부터 센싱 객체(Sensing Object)를 검색(Retrieval)하고, 인터렉티브 비디오(Interactive Video)로부터 비디오 객체(Video Object)를 검색하는 객체 검색부; 상기 센싱 객체에 대한 객체 형상(Object Shape) 및 상기 비디오 객체에 대한 깊이 영상 사이의 차이를 연산하는 연산부; 및 상기 연산된 차이에 기반하여, 차이 맵(Difference Map)을 생성하는 생성부를 포함한다.
본 발명의 일실시예에 따른 비디오 객체 탐색 방법은, 사용자에 대하여 센싱한 센싱 영상으로부터 센싱 객체(Sensing Object)를 검색(Retrieval)하고, 인터렉티브 비디오(Interactive Video)로부터 비디오 객체(Video Object)를 검색하는 단계; 상기 센싱 객체 및 상기 비디오 객체 사이의 유사도(Similarity)를 연산하는 단계; 및 상기 인터렉티브 비디오로부터 상기 유사도가 가장 작은 프레임(Frame)을 추출하는 단계를 포함한다.
본 발명의 일실시예에 따른 비디오 객체 탐색 방법은, 인터렉티브 비디오(Interactive Video)로부터 비디오 객체(Video Object)를 검색하는 단계; 사용자로부터 입력되는 상기 비디오 객체를 제어하기 위한 제어점(Control Point)의 위치를 트래킹(Tracking)하는 단계; 상기 비디오 객체의 ID 및 상기 제어점의 위치에 기반하여, 상기 비디오 객체의 모멘트(Moment) 및 상기 제어점의 위치 사이의 차이(Difference)를 연산하는 단계; 및 상기 인터렉티브 비디오로부터 상기 연산된 차이가 가장 작은 프레임(Frame)을 추출하는 단계를 포함한다.
본 발명의 일실시예에 따른 비디오 객체 변형 방법은, 사용자에 대하여 센싱한 센싱 영상으로부터 센싱 객체(Sensing Object)를 검색(Retrieval)하고, 인터렉티브 비디오(Interactive Video)로부터 비디오 객체(Video Object)를 검색하는 단계; 상기 센싱 객체에 대한 객체 형상(Object Shape) 및 상기 비디오 객체에 대한 깊이 영상 사이의 차이를 연산하는 단계; 및 상기 연산된 차이에 기반하여, 차이 맵(Difference Map)을 생성하는 단계를 포함한다.
본 발명의 일실시예에 따른 비디오 객체 탐색 장치에 따르면, 사용자는 기존의 비디오를 단순 시청하던 것과 달리, 사용자의 동작/자세를 이용하여 비디오를 탐색할 수 있다. 또한 사용자는 마우스나 터치 등의 기존 입력 방식 대신 몸의 동작을 이용해 비디오를 조작할 수 있어, 비디오 시청에 있어서 높은 몰입감을 가질 수 있다.
또한, 본 발명의 일실시예에 따른 비디오 객체 변형 장치에 따르면, 사용자는 인터렉티브 비디오와 자신의 동작의 차이점을 인지할 수 있다. 또한, 사용자는 인터렉티브 비디오와 자신의 동작의 차이점이 반영된 비디오를 제공 받을 수 있다.
도 1은 본 발명의 일실시예에 따른 인터렉티브 비디오를 처리하는 시스템을 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 인터렉티브 비디오를 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 비디오 객체 탐색 장치의 구성을 나타내는 도면이다.
도 4는 본 발명의 또 다른 일실시예에 따른 비디오 객체 탐색 장치의 구성을 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따른 비디오 객체 변형 장치의 구성을 나타내는 도면이다.
도 6은 본 발명의 일실시예에 따른 비디오 객체 탐색 방법을 나타내는 흐름도이다.
도 7은 본 발명의 일실시예에 따른 비디오 객체 탐색 방법을 나타내는 흐름도이다.
도 8은 본 발명의 일실시예에 따른 비디오 객체 변형 방법을 나타내는 흐름도이다.
이하에서, 본 발명에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 인터렉티브 비디오를 처리하는 시스템을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 인터렉티브 비디오를 처리하는 시스템은 비디오 객체 탐색 장치(110) 및 비디오 객체 변형 장치(120)를 포함할 수 있다.
본 발명의 일실시예에 따른 비디오 객체 탐색 장치(110)는, 사용자에 대하여 센싱(Sensing)한 센싱 영상(Sensing Image)(101) 및 인터렉티브 비디오(Interactive Video)(102)를 입력 받아, 사용자의 동작, 자세와 가장 유사한 비디오 객체(Video Object)를 포함하는 프레임(Frame)을 탐색(Exploration)할 수 있다. 예를 들어, 사용자가 요가에 대한 인터렉티브 비디오를 재생하는 경우로서, 사용자가 특정한 요가 자세를 취하는 경우, 본 발명의 일실시예에 따른 비디오 객체 탐색 장치(110)는 사용자가 취한 특정한 요가 자세와 유사한 요가 자세를 취하는 객체(사람)가 포함된 비디오 프레임을 탐색하여, 비디오 재생 장치(130)로 출력할 수 있다. 따라서, 사용자는 요가에 대한 인터렉티브 비디오 중에서 자신이 원하는 동작에 대한 부분을 탐색하고 재생할 수 있다.
센싱 영상(101)은, 카메라, 모션 센서 등을 포함하는 센서(Sensor)를 이용하여, 사용자의 동작, 자세 등을 촬영한 영상(Video)일 수 있다. 센싱 객체(Sensing Object)는 센싱 영상(101)에 포함되는 사용자를 나타내는 객체일 수 있다.
인터렉티브 비디오(102)는 색상 영상을 촬영할 수 있는 색상 카메라(Color Camera) 및 깊이 영상을 촬영할 수 있는 깊이 카메라(Depth Camera) 중 적어도 하나를 이용하여 객체(Object)를 촬영한 영상일 수 있다. 비디오 객체(Video Object)는 인터렉티브 비디오(102)에 포함되는 사람, 물건 등의 객체일 수 있다.
인터렉티브 비디오(102)에 대해서는 도 2를 참조하여 뒤에서 상세히 설명한다.
본 발명의 일실시예에 따른 비디오 객체 변형 장치(120)는, 센싱 영상(Sensing Image)(101) 및 인터렉티브 비디오(102)를 입력 받아, 사용자와 비디오 객체 사이의 차이를 생성하거나, 생성된 차이를 이용하여 비디오 객체를 변형할 수 있다. 예를 들어, 사용자가 요가에 대한 인터렉티브 비디오를 재생하는 경우, 본 발명의 일실시예에 따른 비디오 객체 변형 장치(120)는 사용자의 요가 자세와 재생되고 있는 인터렉티브 비디오의 요가 자세의 차이점을 비디오 재생 장치(130)를 통하여 사용자에게 제공할 수 있다. 따라서, 사용자는 자신의 요가 자세의 잘못된 점을 파악하고, 자세를 수정할 수 있다. 또한, 일실시예에 따른 비디오 객체 변형 장치(120)는 생성된 자세의 차이점을 이용하여 비디오 객체를 변형하고, 변형된 비디오 객체를 비디오 재생 장치(130)를 통하여 사용자에게 제공할 수 있다.
본 발명의 일측에 따르면, 비디오 객체 탐색 장치(110) 및 비디오 객체 변형 장치(120)는 개별적 또는 병렬적으로 제공될 수 있다.
도 2는 본 발명의 일실시예에 따른 인터렉티브 비디오를 나타내는 도면이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 인터렉티브 비디오는 적어도 하나의 색상 영상을 포함한다.
예를 들어, 인터렉티브 비디오는 프레임 t(201)에서 요가 자세를 취하고 있는 비디오 객체(사람)를 포함하는 색상 영상(210)을 n개 포함할 수 있다.
본 발명의 일측에 따르면, 인터렉티브 비디오는 적어도 하나의 깊이 영상(220)을 더 포함할 수 있다.
본 발명의 또 다른 일측에 따르면, 인터렉티브 비디오는 비디오 객체를 스켈레톤(Skeleton) 형태로 나타내는 비디오 객체 스켈레톤(Video Object Skeleton)(230)을 적어도 하나 더 포함할 수 있다.
본 발명의 또 다른 일측에 따르면, 인터렉티브 비디오는 비디오 객체의 형상을 나타내는 비디오 객체 형상(Video Object Shape)(240)을 적어도 하나 더 포함할 수 있다.
도 3은 본 발명의 일실시예에 따른 비디오 객체 탐색 장치의 구성을 나타내는 도면이다.
도 3을 참조하면, 본 발명의 일실시예에 따른 비디오 객체 탐색 장치(300)는 객체 검색부(310), 연산부(320) 및 프레임 추출부(330)를 포함할 수 있다.
객체 검색부(310)는 사용자(301)에 대하여 센싱한 센싱 영상(302)으로부터 센싱 객체(Sensing Object)를 검색(Retrieval)할 수 있다. 자세히 설명하면, 객체 검색부(310)는 센싱 영상(302)으로부터 사용자(301)를 나타내는 객체를 검색할 수 있다.
실시예에 따라서는, 객체 검색부(310)는 모델(Model)에 기반하여 트래킹(Tracking) 방법을 이용하여, 센싱 영상(302)으로부터 센싱 객체를 검색할 수 있다.
실시예에 따라서는, 객체 검색부(310)는 센싱 영상(302)으로부터 센싱 객체를 스켈레톤 형태의 센싱 객체 스켈레톤으로 검색할 수 있다. 또 다른 실시예에 따라서는, 객체 검색부(310)는 센싱 영상(302)으로부터 센싱 객체를 형상을 나타내는 센싱 객체 형상으로 검색할 수 있다.
객체 검색부(310)는 인터렉티브 비디오(303)로부터 비디오 객체(Video Object)를 검색(Retrieval)할 수 있다. 자세히 설명하면, 객체 검색부(310)는 인터렉티브 비디오(303)로부터 사람, 물건 등의 객체를 검색할 수 있다.
실시예에 따라서는, 객체 검색부(310)는 모델(Model)에 기반하여 트래킹(Tracking) 방법을 이용하여, 인터렉티브 비디오(303)로부터 비디오 객체를 검색할 수 있다.
실시예에 따라서는, 객체 검색부(310)는 인터렉티브 비디오(303)로부터 비디오 객체를 스켈레톤 형태의 비디오 객체 스켈레톤으로 검색할 수 있다. 또 다른 실시예에 따라서는, 객체 검색부(310)는 인터렉티브 비디오(303)로부터 비디오 객체를 형상을 나타내는 비디오 객체 형상으로 검색할 수 있다.
연산부(320)는 센싱 객체 및 비디오 객체 사이의 유사도(Similarity)를 연산할 수 있다.
프레임 추출부(330)는 인터렉티브 비디오(303)로부터 유사도가 가장 큰 프레임(Frame)(304)을 추출할 수 있다. 따라서, 프레임 추출부(330)는 인터렉티브 비디오(303)에서 사용자(301)와 가장 유사한 비디오 객체가 포함된 프레임(304)을 추출할 수 있다.
일실시예에 따른 프레임 추출부(330)는 추출된 프레임을 비디오 재생 장치로 출력할 수 있고, 비디오 재생 장치는 추출된 프레임(304)을 재생할 수 있다.
이하, 본 발명의 일실시예에 따른 객체 검색부(310)가 센싱 객체를 센싱 객체 스켈레톤으로 검색하고, 비디오 객체를 비디오 객체 스켈레톤으로 검색한 경우의 비디오 객체 탐색 장치(300)의 동작에 대해서 상세히 설명한다.
일실시예에 따른 객체 검색부(310)는 센싱 영상(302)으로부터 센싱 객체를 센싱 객체 스켈레톤으로 검색할 수 있다.
이 때, 검색된 센싱 객체 스켈레톤은 수식 1과 같은 위치를 갖는 n 개의 조인트를 포함할 수 있다.
수식 1
Figure pat00001
또한, 객체 검색부(310)는 인터렉티브 비디오(303)로부터 비디오 객체를 비디오 객체 스켈레톤으로 검색할 수 있다.
이 때, 인터렉티브 비디오(303)의 라이프타임 T(Lifetime T)에 속하는 각각의 프레임 t는 수식 2와 같이 나타날 수 있다.
수식 2
Figure pat00002
이 때, 일실시예에 따른 인터렉티브 비디오(303)의 프레임 t에 저장된 비디오 객체 스켈레톤은 수식 3과 같은 위치를 갖는 n 개의 조인트(Joint)를 포함할 수 있다.
수식 3
Figure pat00003
일실시예에 따른 연산부(320)는 수식 4를 이용하여, 센싱 객체 및 비디오 객체 사이의 유사도(Similarity)를 연산할 수 있다.
수식 4
Figure pat00004
일실시예에 따른 프레임 추출부(330)는, 수식 5와 같이, 수식 4의 D(t) 값이 최소가 되는 프레임을 유사도가 가장 큰 프레임(Frame)(304)으로 추출할 수 있다.
수식 5
Figure pat00005

도 4는 본 발명의 또 다른 일실시예에 따른 비디오 객체 탐색 장치의 구성을 나타내는 도면이다.
도 4를 참조하면, 본 발명의 일실시예에 따른 비디오 객체 탐색 장치(400)는 객체 검색부(410), 트래킹부(420), 연산부(430) 및 프레임 추출부(440)를 포함할 수 있다.
객체 검색부(410)는 인터렉티브 비디오(Interactive Video)로부터 비디오 객체(Video Object)를 검색할 수 있다. 실시예에 따라서는, 각각의 비디오 객체는 고유의 식별자(ID)를 포함할 수 있다.
트래킹부(420)는 사용자(401)로부터 입력되는 비디오 객체를 제어하기 위한 제어점(Control Point)(402)의 위치를 트래킹(Tracking)할 수 있다.
실시예에 따라서는, 손, 얼굴, 발과 같은 대표적인 인체의 바디 파트(Body Part)가 제어점(402)으로 설정될 수 있다.
연산부(430)는 제어점(402)에 대응하는 비디오 객체(403)의 ID 및 제어점(402)의 위치에 기반하여, 비디오 객체(402)의 모멘트(Moment) 및 제어점(402)의 위치의 차이(Difference)를 연산할 수 있다.
프레임 추출부(440)는 인터렉티브 비디오(404)로부터 연산된 차이가 가장 작은 프레임(Frame)을 추출할 수 있다.
따라서, 사용자(401)가 제어점(402)을 이용하여 인터렉티브 비디오(404)의 비디오 객체(402)를 움직이고자 하는 경우, 본 발명의 일실시예에 따른 비디오 객체 탐색 장치(400)는 비디오 객체(402)와 가장 유사한 프레임을 검색할 수 있다.
이하, 본 발명의 일실시예에 따른 객체 검색부(410)가 비디오 객체를 비디오 객체 스켈레톤으로 검색한 경우의 비디오 객체 탐색 장치(400)의 동작에 대해서 상세히 설명한다.
일실시예에 따른 객체 검색부(410)는 인터렉티브 비디오(404)로부터 비디오 객체를 비디오 객체 스켈레톤으로 검색할 수 있다.
일실시예에 따른 트래킹부(420)는 비디오 객체 스켈레톤에서 사용자(301)의 손에 대응하는 조인트(Joint)를 검색할 수 있다. 또한, 트래킹부(420)는 검색된 조인트를 제어점(Control Point)(402)의 위치로 트래킹(Tracking)할 수 있다.
본 발명의 일측에 따르면, 비디오 객체 스켈레톤의 모멘트(Moment)는 수식 6과 같이 나타날 수 있다.
수식 6
Figure pat00006
연산부(430)는 제어점(402)에 대응하는 비디오 객체 스켈레톤의 ID 및 제어점(402)의 위치에 기반하여, 비디오 객체 스켈레톤의 모멘트(Moment) 및 제어점(402)의 위치의 차이(Difference)를 연산할 수 있다.
프레임 추출부(440)는, 수식 7과 같이, 인터렉티브 비디오(404)로부터 연산된 차이가 가장 작은 프레임(Frame)을 추출할 수 있다.
수식 7
Figure pat00007
이 때, p: 제어점(402)의 위치
도 5는 본 발명의 일실시예에 따른 비디오 객체 변형 장치의 구성을 나타내는 도면이다.
도 5를 참조하면, 본 발명의 일실시예에 따른 비디오 객체 변형 장치(500)는 객체 검색부(510), 연산부(520) 및 생성부(530)를 포함한다.
객체 검색부(510)는 사용자(501)에 대하여 센싱한 센싱 영상(502)으로부터 센싱 객체(Sensing Object)를 검색(Retrieval)할 수 있다. 자세히 설명하면, 객체 검색부(510)는 센싱 영상(502)으로부터 사용자(501)를 나타내는 객체를 검색할 수 있다.
실시예에 따라서는, 객체 검색부(510)는 모델(Model)에 기반하여 트래킹(Tracking) 방법을 이용하여, 센싱 영상(502)으로부터 센싱 객체를 검색할 수 있다.
실시예에 따라서는, 객체 검색부(510)는 센싱 영상(502)으로부터 센싱 객체를 스켈레톤 형태의 센싱 객체 스켈레톤으로 검색할 수 있다. 또 다른 실시예에 따라서는, 객체 검색부(510)는 센싱 영상(502)으로부터 센싱 객체를 형상을 나타내는 센싱 객체 형상으로 검색할 수 있다.
객체 검색부(510)는 인터렉티브 비디오(505)로부터 비디오 객체(Video Object)를 검색(Retrieval)할 수 있다. 자세히 설명하면, 객체 검색부(510)는 인터렉티브 비디오(505)로부터 사람, 물건 등의 객체를 검색할 수 있다.
실시예에 따라서는, 객체 검색부(510)는 모델(Model)에 기반하여 트래킹(Tracking) 방법을 이용하여, 인터렉티브 비디오(505)로부터 비디오 객체를 검색할 수 있다.
실시예에 따라서는, 객체 검색부(510)는 인터렉티브 비디오(505)로부터 비디오 객체를 스켈레톤 형태의 비디오 객체 스켈레톤으로 검색할 수 있다. 또 다른 실시예에 따라서는, 객체 검색부(510)는 인터렉티브 비디오(505)로부터 비디오 객체를 형상을 나타내는 비디오 객체 형상으로 검색할 수 있다.
연산부(520)는 센싱 객체에 대한 객체 형상(Object Shape) 및 비디오 객체에 대한 깊이 영상 사이의 차이를 연산할 수 있다.
생성부(530)는 연산된 차이에 기반하여, 차이 맵(Difference Map)을 생성할 수 있다. 따라서, 생성된 차이 맵은 비디오 객체와 센싱 객체 사이의 차이를 보여줄 수 있다.
본 발명의 일측에 따르면, 비디오 객체 변형 장치(500)는 분할부(540), 데이터 베이스(550) 및 변형부(560)를 더 포함할 수 있다.
분할부(540)는 비디오 객체에 대한 깊이 영상에 기반하여, 비디오 객체에 대한 색상 영상(Color Image)으로부터 색상 비디오 객체(Color Video Object)를 분할(Segment)할 수 있다.
데이터 베이스(550)는 3차원 가변 객체 모델(3D Morphable Object Model)을 저장할 수 있다.
변형부(560)는 생성된 차이 맵, 분할된 색상 비디오 객체 및 데이터 베이스(550)에 저장된 3차원 가변 객체 모델에 기반하여, 비디오 객체를 변형(Deformation)할 수 있다.
본 발명의 일측에 따르면, 변형부(560)는 데이터 베이스(550)에 저장된 3차원 가변 객체 모델에 색상 비디오 객체를 텍스처링(Texturing)할 수 있다. 또한, 변형부(560)는 생성된 차이 맵에 기반하여, 텍스처링된 3차원 가변 객체 모델에 대하여 3차원 모델 변형(3D Model Deformation)을 수행할 수 있다. 또한, 변형부(560)는 3차원 모델 변형이 수행된 3차원 가변 객체 모델을 2차원 영상으로 투사(Projection)하여 비디오 객체를 변형할 수 있다.
본 발명의 일측에 따르면, 비디오 객체 변형 장치(500)는 합성부(570)를 더 포함할 수 있다.
합성부(570)는 인터렉티브 비디오(505)에 변형된 비디오 객체를 합성할 수 있다. 따라서, 사용자(501)는 변형이 되지 않은 오리지날 비디오 객체(Original Video Object)(503)뿐만 아니라, 사용자(501)와 오리지날 비디오 객체(503) 사이의 차이점이 반영되어 변형된 비디오 객체(504)를 제공 받을 수 있다.
도 6은 본 발명의 일실시예에 따른 비디오 객체 탐색 방법을 나타내는 흐름도이다.
도 6을 참조하면, 본 발명의 일실시예에 따른 비디오 객체 탐색 방법은 센싱 영상으로부터 센싱 객체를 검색하고, 인터렉티브 비디오로부터 비디오 객체를 검색할 수 있다(610).
일실시예에 따른 비디오 객체 탐색 방법은 사용자에 대하여 센싱한 센싱 영상으로부터 센싱 객체(Sensing Object)를 검색(Retrieval)할 수 있다. 자세히 설명하면, 비디오 객체 탐색 방법은 센싱 영상으로부터 사용자를 나타내는 객체를 검색할 수 있다.
실시예에 따라서는, 비디오 객체 탐색 방법은 모델(Model)에 기반하여 트래킹(Tracking) 방법을 이용하여, 센싱 영상으로부터 센싱 객체를 검색할 수 있다.
실시예에 따라서는, 비디오 객체 탐색 방법은 센싱 영상으로부터 센싱 객체를 스켈레톤 형태의 센싱 객체 스켈레톤으로 검색할 수 있다. 또 다른 실시예에 따라서는, 비디오 객체 탐색 방법은 센싱 영상으로부터 센싱 객체를 형상을 나타내는 센싱 객체 형상으로 검색할 수 있다.
비디오 객체 탐색 방법은 인터렉티브 비디오로부터 비디오 객체(Video Object)를 검색(Retrieval)할 수 있다. 자세히 설명하면, 비디오 객체 탐색 방법은 인터렉티브 비디오로부터 사람, 물건 등의 객체를 검색할 수 있다.
실시예에 따라서는, 비디오 객체 탐색 방법은 모델(Model)에 기반하여 트래킹(Tracking) 방법을 이용하여, 인터렉티브 비디오로부터 비디오 객체를 검색할 수 있다.
실시예에 따라서는, 비디오 객체 탐색 방법은 인터렉티브 비디오로부터 비디오 객체를 스켈레톤 형태의 비디오 객체 스켈레톤으로 검색할 수 있다. 또 다른 실시예에 따라서는, 비디오 객체 탐색 방법은 인터렉티브 비디오로부터 비디오 객체를 형상을 나타내는 비디오 객체 형상으로 검색할 수 있다.
비디오 객체 탐색 방법은 센싱 객체 및 비디오 객체 사이의 유사도(Similarity)를 연산할 수 있다(620).
비디오 객체 탐색 방법은 인터렉티브 비디오로부터 유사도가 가장 큰 프레임(Frame)을 추출할 수 있다(630). 따라서, 비디오 객체 탐색 방법은 인터렉티브 비디오에서 사용자와 가장 유사한 비디오 객체가 포함된 프레임을 추출할 수 있다.
일실시예에 따른 비디오 객체 탐색 방법은 추출된 프레임을 비디오 재생 장치로 출력할 수 있고, 비디오 재생 장치는 추출된 프레임을 재생할 수 있다.
이하, 본 발명의 일실시예에 따른 비디오 객체 탐색 방법이 센싱 객체를 센싱 객체 스켈레톤으로 검색하고, 비디오 객체를 비디오 객체 스켈레톤으로 검색한 경우의 비디오 객체 탐색 방법의 동작에 대해서 상세히 설명한다.
일실시예에 따른 비디오 객체 탐색 방법은 센싱 영상으로부터 센싱 객체를 센싱 객체 스켈레톤으로 검색할 수 있다.
이 때, 검색된 센싱 객체 스켈레톤은 수식 1-2과 같은 위치를 갖는 n 개의 조인트를 포함할 수 있다.
수식 1-2
Figure pat00008
또한, 비디오 객체 탐색 방법은 인터렉티브 비디오로부터 비디오 객체를 비디오 객체 스켈레톤으로 검색할 수 있다.
이 때, 인터렉티브 비디오의 라이프타임 T(Lifetime T)에 속하는 각각의 프레임 t는 수식 2-2와 같이 나타날 수 있다.
수식 2-2
Figure pat00009
이 때, 일실시예에 따른 인터렉티브 비디오의 프레임 t에 저장된 비디오 객체 스켈레톤은 수식 3-2과 같은 위치를 갖는 n 개의 조인트(Joint)를 포함할 수 있다.
수식 3-2
Figure pat00010
일실시예에 따른 비디오 객체 탐색 방법은 수식 4-2를 이용하여, 센싱 객체 및 비디오 객체 사이의 유사도(Similarity)를 연산할 수 있다.
수식 4-2
Figure pat00011
일실시예에 따른 비디오 객체 탐색 방법은, 수식 5-2와 같이, 수식 4-2의 D(t) 값이 최소가 되는 프레임을 유사도가 가장 큰 프레임(Frame)으로 추출할 수 있다.
수식 5-2
Figure pat00012

도 7은 본 발명의 일실시예에 따른 비디오 객체 탐색 방법을 나타내는 흐름도이다.
도 7을 참조하면, 본 발명의 일실시예에 따른 비디오 객체 탐색 방법은 인터렉티브 비디오(Interactive Video)로부터 비디오 객체(Video Object)를 검색할 수 있다(710). 실시예에 따라서는, 각각의 비디오 객체는 고유의 식별자(ID)를 포함할 수 있다.
비디오 객체 탐색 방법은 사용자로부터 입력되는 비디오 객체를 제어하기 위한 제어점(Control Point)의 위치를 트래킹(Tracking)할 수 있다(720).
실시예에 따라서는, 손, 얼굴, 발과 같은 대표적인 인체의 바디 파트(Body Part)가 제어점으로 설정될 수 있다.
비디오 객체 탐색 방법은 제어점에 대응하는 비디오 객체의 ID 및 제어점의 위치에 기반하여, 비디오 객체의 모멘트(Moment) 및 제어점의 위치의 차이(Difference)를 연산할 수 있다(730).
비디오 객체 탐색 방법은 인터렉티브 비디오로부터 연산된 차이가 가장 작은 프레임(Frame)을 추출할 수 있다(740).
따라서, 사용자가 제어점을 이용하여 인터렉티브 비디오의 비디오 객체를 움직이고자 하는 경우, 본 발명의 일실시예에 따른 비디오 객체 탐색 방법은 비디오 객체와 가장 유사한 프레임을 검색할 수 있다.
이하, 본 발명의 일실시예에 따른 비디오 객체 탐색 방법이 비디오 객체를 비디오 객체 스켈레톤으로 검색한 경우의 비디오 객체 탐색 방법의 동작에 대해서 상세히 설명한다.
일실시예에 따른 비디오 객체 탐색 방법은 인터렉티브 비디오로부터 비디오 객체를 비디오 객체 스켈레톤으로 검색할 수 있다.
일실시예에 따른 비디오 객체 탐색 방법은 비디오 객체 스켈레톤에서 사용자의 손에 대응하는 조인트(Joint)를 검색할 수 있다. 또한, 비디오 객체 탐색 방법은 검색된 조인트를 제어점(Control Point)의 위치로 트래킹(Tracking)할 수 있다.
본 발명의 일측에 따르면, 비디오 객체 스켈레톤의 모멘트(Moment)는 수식 6-2과 같이 나타날 수 있다.
수식 6-2
Figure pat00013
비디오 객체 탐색 방법은 제어점에 대응하는 비디오 객체 스켈레톤의 ID 및 제어점의 위치에 기반하여, 비디오 객체 스켈레톤의 모멘트(Moment) 및 제어점의 위치의 차이(Difference)를 연산할 수 있다.
비디오 객체 탐색 방법은, 수식 7-2과 같이, 인터렉티브 비디오로부터 연산된 차이가 가장 작은 프레임(Frame)을 추출할 수 있다.
수식 7-2
Figure pat00014
이 때, p: 제어점의 위치
도 8은 본 발명의 일실시예에 따른 비디오 객체 변형 방법을 나타내는 흐름도이다.
도 8을 참조하면, 본 발명의 일실시예에 따른 비디오 객체 변형 방법은 센싱 영상으로부터 센싱 객체를 검색하고, 인터렉티브 비디오로부터 비디오 객체를 검색할 수 있다(810).
비디오 객체 변형 방법은 사용자에 대하여 센싱한 센싱 영상으로부터 센싱 객체(Sensing Object)를 검색(Retrieval)할 수 있다. 자세히 설명하면, 비디오 객체 변형 방법은 센싱 영상으로부터 사용자를 나타내는 객체를 검색할 수 있다.
실시예에 따라서는, 비디오 객체 변형 방법은 모델(Model)에 기반하여 트래킹(Tracking) 방법을 이용하여, 센싱 영상으로부터 센싱 객체를 검색할 수 있다.
실시예에 따라서는, 비디오 객체 변형 방법은 센싱 영상으로부터 센싱 객체를 스켈레톤 형태의 센싱 객체 스켈레톤으로 검색할 수 있다. 또 다른 실시예에 따라서는, 비디오 객체 변형 방법은 센싱 영상으로부터 센싱 객체를 형상을 나타내는 센싱 객체 형상으로 검색할 수 있다.
비디오 객체 변형 방법은 인터렉티브 비디오로부터 비디오 객체(Video Object)를 검색(Retrieval)할 수 있다. 자세히 설명하면, 비디오 객체 변형 방법은 인터렉티브 비디오로부터 사람, 물건 등의 객체를 검색할 수 있다.
실시예에 따라서는, 비디오 객체 변형 방법은 모델(Model)에 기반하여 트래킹(Tracking) 방법을 이용하여, 인터렉티브 비디오로부터 비디오 객체를 검색할 수 있다.
실시예에 따라서는, 비디오 객체 변형 방법은 인터렉티브 비디오로부터 비디오 객체를 스켈레톤 형태의 비디오 객체 스켈레톤으로 검색할 수 있다. 또 다른 실시예에 따라서는, 비디오 객체 변형 방법은 인터렉티브 비디오로부터 비디오 객체를 형상을 나타내는 비디오 객체 형상으로 검색할 수 있다.
비디오 객체 변형 방법은 센싱 객체에 대한 객체 형상(Object Shape) 및 비디오 객체에 대한 깊이 영상 사이의 차이를 연산할 수 있다(820).
비디오 객체 변형 방법은 연산된 차이에 기반하여, 차이 맵(Difference Map)을 생성할 수 있다(830). 따라서, 생성된 차이 맵은 비디오 객체와 센싱 객체 사이의 차이를 보여줄 수 있다.
본 발명의 일측에 따르면, 비디오 객체 변형 방법은 색상 영상으로부터 색상 비디오 객체를 분할하는 단계 및 비디오 객체를 변형(Deformation)하는 단계를 더 포함할 수 있다.
일실시예에 따른 비디오 객체 변형 방법은 비디오 객체에 대한 깊이 영상에 기반하여, 비디오 객체에 대한 색상 영상(Color Image)으로부터 색상 비디오 객체(Color Video Object)를 분할(Segment)할 수 있다(840).
또한, 비디오 객체 변형 방법은 생성된 차이 맵, 분할된 색상 비디오 객체 및 데이터 베이스에 저장된 3차원 가변 객체 모델에 기반하여, 비디오 객체를 변형(Deformation)할 수 있다(850).
본 발명의 일측에 따르면, 비디오 객체 변형 방법은 데이터 베이스에 저장된 3차원 가변 객체 모델에 색상 비디오 객체를 텍스처링(Texturing)할 수 있다. 또한, 비디오 객체 변형 방법은 생성된 차이 맵에 기반하여, 텍스처링된 3차원 가변 객체 모델에 대하여 3차원 모델 변형(3D Model Deformation)을 수행할 수 있다. 또한, 비디오 객체 변형 방법은 3차원 모델 변형이 수행된 3차원 가변 객체 모델을 2차원 영상으로 투사(Projection)하여 비디오 객체를 변형할 수 있다.
본 발명의 일측에 따르면, 비디오 객체 변형 방법은 인터렉티브 비디오에 변형된 비디오 객체를 합성하는 단계를 더 포함할 수 있다(860).
따라서, 사용자는 변형이 되지 않은 오리지날 비디오 객체(Original Video Object)뿐만 아니라, 사용자와 오리지날 비디오 객체 사이의 차이점이 반영되어 변형된 비디오 객체를 제공 받을 수 있다.
본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
101: 센싱 영상
110: 비디오 객체 탐색 장치
120: 비디오 객체 변형 장치
130: 비디오 재생 장치

Claims (12)

  1. 사용자에 대하여 센싱한 센싱 영상으로부터 센싱 객체를 검색하고, 인터렉티브 비디오로부터 비디오 객체를 검색하는 객체 검색부;
    상기 센싱 객체 및 상기 비디오 객체 사이의 유사도를 연산하는 연산부; 및
    상기 인터렉티브 비디오로부터 상기 유사도가 가장 큰 프레임을 추출하는 프레임 추출부
    를 포함하는 비디오 객체 탐색 장치.
  2. 인터렉티브 비디오로부터 비디오 객체를 검색하는 객체 검색부;
    사용자로부터 입력되는 상기 비디오 객체를 제어하기 위한 제어점의 위치를 트래킹하는 트래킹부;
    상기 비디오 객체의 ID 및 상기 제어점의 위치에 기반하여, 상기 비디오 객체의 모멘트 및 상기 제어점의 위치의 차이를 연산하는 연산부; 및
    상기 인터렉티브 비디오로부터 상기 연산된 차이가 가장 작은 프레임을 추출하는 프레임 추출부
    를 포함하는 비디오 객체 탐색 장치.
  3. 사용자에 대하여 센싱한 센싱 영상으로부터 센싱 객체를 검색하고, 인터렉티브 비디오로부터 비디오 객체를 검색하는 객체 검색부;
    상기 센싱 객체에 대한 객체 형상 및 상기 비디오 객체에 대한 깊이 영상 사이의 차이를 연산하는 연산부; 및
    상기 연산된 차이에 기반하여, 차이 맵을 생성하는 생성부
    를 포함하는 비디오 객체 변형 장치.
  4. 제3항에 있어서,
    상기 깊이 영상에 기반하여, 상기 비디오 객체에 대한 색상 영상으로부터 색상 비디오 객체를 분할하는 분할부;
    3차원 가변 객체 모델을 저장하는 데이터 베이스; 및
    상기 차이 맵, 상기 색상 비디오 객체 및 상기 3차원 가변 객체 모델에 기반하여, 상기 비디오 객체를 변형하는 변형부
    를 더 포함하는 비디오 객체 변형 장치.
  5. 제4항에 있어서,
    상기 변형부는
    상기 3차원 가변 객체 모델에 상기 색상 비디오 객체를 텍스처링하고,
    상기 차이 맵에 기반하여, 상기 텍스처링된 3차원 가변 객체 모델에 대하여 3차원 모델 변형을 수행하며,
    상기 3차원 모델 변형이 수행된 3차원 가변 객체 모델을 2차원 영상으로 투사하여 상기 비디오 객체를 변형하는 비디오 객체 변형 장치.
  6. 제4항에 있어서,
    상기 인터렉티브 비디오에 상기 변형된 비디오 객체를 합성하는 합성부
    를 더 포함하는 비디오 객체 변형 장치.
  7. 사용자에 대하여 센싱한 센싱 영상으로부터 센싱 객체를 검색하고, 인터렉티브 비디오로부터 비디오 객체를 검색하는 단계;
    상기 센싱 객체 및 상기 비디오 객체 사이의 유사도를 연산하는 단계; 및
    상기 인터렉티브 비디오로부터 상기 유사도가 가장 작은 프레임을 추출하는 단계
    를 포함하는 비디오 객체 탐색 방법.
  8. 인터렉티브 비디오로부터 비디오 객체를 검색하는 단계;
    사용자로부터 입력되는 상기 비디오 객체를 제어하기 위한 제어점의 위치를 트래킹하는 단계;
    상기 비디오 객체의 ID 및 상기 제어점의 위치에 기반하여, 상기 비디오 객체의 모멘트 및 상기 제어점의 위치 사이의 차이를 연산하는 단계; 및
    상기 인터렉티브 비디오로부터 상기 연산된 차이가 가장 작은 프레임을 추출하는 단계
    를 포함하는 비디오 객체 탐색 방법.
  9. 사용자에 대하여 센싱한 센싱 영상으로부터 센싱 객체를 검색하고, 인터렉티브 비디오로부터 비디오 객체를 검색하는 단계;
    상기 센싱 객체에 대한 객체 형상 및 상기 비디오 객체에 대한 깊이 영상 사이의 차이를 연산하는 단계; 및
    상기 연산된 차이에 기반하여, 차이 맵을 생성하는 단계
    를 포함하는 비디오 객체 변형 방법.
  10. 제9항에 있어서,
    상기 깊이 영상에 기반하여, 상기 비디오 객체에 대한 색상 영상으로부터 색상 비디오 객체를 분할하는 단계; 및
    상기 차이 맵, 상기 색상 비디오 객체 및 데이터 베이스에 저장된 3차원 가변 객체 모델에 기반하여, 상기 비디오 객체를 변형하는 단계
    를 더 포함하는 비디오 객체 변형 방법.
  11. 제10항에 있어서,
    상기 인터렉티브 비디오에 상기 변형된 비디오 객체를 합성하는 단계
    를 더 포함하는 비디오 객체 변형 방법.
  12. 제7항 내지 제11항 중 어느 한 항의 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
KR1020110037877A 2011-04-22 2011-04-22 비디오 객체 탐색 장치, 비디오 객체 변형 장치 및 그 방법 KR101804848B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110037877A KR101804848B1 (ko) 2011-04-22 2011-04-22 비디오 객체 탐색 장치, 비디오 객체 변형 장치 및 그 방법
US13/416,595 US9700788B2 (en) 2011-04-22 2012-03-09 Video object detecting apparatus, video object deforming apparatus, and methods thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110037877A KR101804848B1 (ko) 2011-04-22 2011-04-22 비디오 객체 탐색 장치, 비디오 객체 변형 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20120119725A true KR20120119725A (ko) 2012-10-31
KR101804848B1 KR101804848B1 (ko) 2017-12-06

Family

ID=47021049

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110037877A KR101804848B1 (ko) 2011-04-22 2011-04-22 비디오 객체 탐색 장치, 비디오 객체 변형 장치 및 그 방법

Country Status (2)

Country Link
US (1) US9700788B2 (ko)
KR (1) KR101804848B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170058301A (ko) * 2015-11-18 2017-05-26 브라보 아이디어스 디지털 코., 엘티디. 비디오 파일내에서의 표적 오브젝트를 식별하는 방법

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101410410B1 (ko) * 2011-12-21 2014-06-27 주식회사 케이티 체감형 학습 장치 및 방법
US20140356823A1 (en) * 2013-05-29 2014-12-04 Marc Frans Theeuwes Meditation device
US20140357939A1 (en) * 2013-05-29 2014-12-04 Marc Frans Theeuwes Meditation Device
CN103336953B (zh) * 2013-07-05 2016-06-01 深圳市中视典数字科技有限公司 一种基于体感设备动作评判的方法
US20170076629A1 (en) * 2015-09-14 2017-03-16 Electronics And Telecommunications Research Institute Apparatus and method for supporting choreography
JP6615723B2 (ja) * 2016-09-07 2019-12-04 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および対象物認識方法
US11003264B2 (en) * 2016-09-07 2021-05-11 Chui Woo Lee Device, method and program for generating multidimensional reaction-type image, and method and program for reproducing multidimensional reaction-type image
US10622017B1 (en) * 2017-06-23 2020-04-14 Hipsync Inc. Apparatus, a system, and a method of dynamically generating video data
JP7027753B2 (ja) * 2017-09-20 2022-03-02 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
US10558844B2 (en) * 2017-12-18 2020-02-11 Datalogic Ip Tech S.R.L. Lightweight 3D vision camera with intelligent segmentation engine for machine vision and auto identification
CN110427800A (zh) * 2019-06-17 2019-11-08 平安科技（深圳）有限公司 视频物体加速检测方法、装置、服务器及存储介质

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
KR100305591B1 (ko) * 1998-07-22 2001-11-30 오길록 관절점기반동작정보를사용한동영상검색방법
JP2000048044A (ja) * 1998-07-30 2000-02-18 Nippon Telegr & Teleph Corp <Ntt> マルチメディア情報提供方法及びシステム及びマルチメディア情報提供プログラムを格納した記憶媒体
KR100605050B1 (ko) * 1999-09-08 2006-07-26 주식회사 팬택앤큐리텔 인간의 3차원 자세 검색방법 및 장치
JP2001109894A (ja) * 1999-10-12 2001-04-20 Toshiba Corp 画像情報認識装置および画像情報認識方法および画像情報認識プログラムを記憶した媒体
KR20010073916A (ko) 2000-01-22 2001-08-03 곽해섭 실시간 영상맵핑 장치 및 방법
US6600475B2 (en) 2001-01-22 2003-07-29 Koninklijke Philips Electronics N.V. Single camera system for gesture-based input and target indication
KR100446936B1 (ko) 2001-03-26 2004-09-01 주식회사 메이힐 사용자 행동을 반영한 영상처리방법
KR20030065620A (ko) 2002-01-30 2003-08-09 대한민국(전남대학교총장) 가상게임시스템의 동작인식장치 및 방법
US9177387B2 (en) 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
KR20050082559A (ko) 2004-02-19 2005-08-24 주식회사 소니컴퓨터 엔터테인먼트 코리아 댄스 학습 시스템, 이를 이용한 인터넷 커뮤니티 서비스시스템과 인터넷 커뮤니티 서비스 방법, 댄스 학습 방법및 상기 방법들을 실행하는 프로그램을 기록한 컴퓨터로읽을 수 있는 기록매체
KR100813936B1 (ko) 2006-04-14 2008-03-14 텔미정보통신 주식회사 동영상의 동적 피사체 추출 및 영상합성 서비스 방법
JP5114871B2 (ja) * 2006-05-31 2013-01-09 沖電気工業株式会社 映像提供装置
JP2007328459A (ja) * 2006-06-06 2007-12-20 Sega Corp 画像処理用のプログラム、プログラムを記録したコンピュータ読み取り可能な記録媒体、画像処理装置、画像処理方法
KR100863055B1 (ko) 2007-02-23 2008-10-13 프림포주식회사 영상분석에 기반한 태권도 학습시스템
US8358840B2 (en) * 2007-07-16 2013-01-22 Alexander Bronstein Methods and systems for representation and matching of video content
CN103442201B (zh) * 2007-09-24 2018-01-02 高通股份有限公司 用于语音和视频通信的增强接口
US7970176B2 (en) * 2007-10-02 2011-06-28 Omek Interactive, Inc. Method and system for gesture classification
EP2229672A4 (en) * 2007-12-21 2014-01-22 Sony Comp Entertainment Us SYSTEM FOR INSERTING IMITATION OF DELIVERY IN A SCENE AND PROVIDING AN EVALUATION THEREOF
US20110021273A1 (en) * 2008-09-26 2011-01-27 Caroline Buckley Interactive music and game device and method
US8405706B2 (en) 2008-12-17 2013-03-26 Microsoft Corporation Visual feedback for natural head positioning
CA2748037C (en) * 2009-02-17 2016-09-20 Omek Interactive, Ltd. Method and system for gesture recognition
US8428311B2 (en) * 2009-02-25 2013-04-23 Honda Motor Co., Ltd. Capturing and recognizing hand postures using inner distance shape contexts
US8755569B2 (en) * 2009-05-29 2014-06-17 University Of Central Florida Research Foundation, Inc. Methods for recognizing pose and action of articulated objects with collection of planes in motion
US20100302138A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Methods and systems for defining or modifying a visual representation
US9087125B2 (en) * 2009-08-10 2015-07-21 Pixel Forensics, Inc. Robust video retrieval utilizing video data
US8202161B2 (en) * 2009-10-23 2012-06-19 Disney Enterprises, Inc. Virtual game instructor
KR20110076458A (ko) * 2009-12-29 2011-07-06 엘지전자 주식회사 디스플레이 장치 및 그 제어방법
US9268404B2 (en) * 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
US8457353B2 (en) * 2010-05-18 2013-06-04 Microsoft Corporation Gestures and gesture modifiers for manipulating a user-interface
US8749557B2 (en) * 2010-06-11 2014-06-10 Microsoft Corporation Interacting with user interface via avatar
US20110306397A1 (en) * 2010-06-11 2011-12-15 Harmonix Music Systems, Inc. Audio and animation blending
US8428357B2 (en) * 2010-12-07 2013-04-23 Movement Training Systems Llc Systems and methods for performance training
WO2012126103A1 (en) * 2011-03-23 2012-09-27 Mgestyk Technologies Inc. Apparatus and system for interfacing with computers and other electronic devices through gestures by using depth sensing and methods of use

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170058301A (ko) * 2015-11-18 2017-05-26 브라보 아이디어스 디지털 코., 엘티디. 비디오 파일내에서의 표적 오브젝트를 식별하는 방법

Also Published As

Publication number Publication date
KR101804848B1 (ko) 2017-12-06
US20120268609A1 (en) 2012-10-25
US9700788B2 (en) 2017-07-11

Similar Documents

Publication Publication Date Title
KR20120119725A (ko) 비디오 객체 탐색 장치, 비디오 객체 변형 장치 및 그 방법
US11470303B1 (en) Two dimensional to three dimensional moving image converter
US10902676B2 (en) System and method of controlling a virtual camera
US9349218B2 (en) Method and apparatus for controlling augmented reality
KR101263686B1 (ko) 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법
CN105474213B (zh) 用于创建可操纵视图的系统及方法
US20160110453A1 (en) System and method for searching choreography database based on motion inquiry
US20140285517A1 (en) Display device and method to display action video
KR101491760B1 (ko) 무대 가상 현실 제공 장치 및 방법
KR20120099814A (ko) 증강현실 컨텐츠 서비스 시스템과 장치 및 그 방법
KR101977893B1 (ko) 영상컨텐츠 적용 디지털액터의 운용방법
KR101267247B1 (ko) 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법
CN113792646A (zh) 舞蹈动作辅助生成方法、装置及跳舞设备
Feng et al. Motion capture data retrieval using an artist’s doll
US11908058B2 (en) Character animations in a virtual environment based on reconstructed three-dimensional motion data
KR101295862B1 (ko) 증강 현실 영상을 제공하는 노래방 장치 및 그 방법
JP5047102B2 (ja) ３次元動画像再生装置及び付加情報検索方法とプログラム
Pantuwong A tangible interface for 3D character animation using augmented reality technology
KR101530355B1 (ko) 모션 캡쳐 데이터를 검색하는 검색 방법 및 시스템
KR102635477B1 (ko) 증강현실 기반의 공연 콘텐츠 제공장치 및 방법
Lin 3d character animation synthesis from 2d sketches
JP2015052904A (ja) 動画選択装置、動画選択方法とプログラム
WO2021085105A1 (ja) 情報処理装置、提案装置、情報処理方法および提案方法
Sun et al. Eventfulness for Interactive Video Alignment
WO2023170744A1 (ja) 画像処理装置、画像処理方法、および記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right