KR102059056B1

KR102059056B1 - Method and apparatus for embedding haptic to video media

Info

Publication number: KR102059056B1
Application number: KR1020180009169A
Authority: KR
Inventors: 류철; 김선규
Original assignee: 동국대학교 산학협력단; 택추얼센스 주식회사
Priority date: 2018-01-25
Filing date: 2018-01-25
Publication date: 2019-12-26
Also published as: KR20190090466A

Abstract

동영상 미디어에 햅틱을 적용하는 방법 및 그 장치가 개시된다. 햅틱 적용 방법은, (a) 미디어 콘텐츠내에서 객체의 움직임 정보를 분석하여 상기 객체가 배경 또는 다른 객체와 충돌하는 프레임을 추출하는 단계; 및 (b) 상기 추출된 프레임이 재생될 위치에 햅틱(haptic) 기능을 적용하는 단계를 포함한다. A method and apparatus for applying haptic to moving picture media are disclosed. The haptic application method includes: (a) analyzing a motion information of an object in media content to extract a frame in which the object collides with a background or another object; And (b) applying a haptic function to the position where the extracted frame is to be played.

Description

Method and apparatus for applying haptic to video media {Method and apparatus for embedding haptic to video media}

본 발명은 객체의 움직임 정보를 이용하여 동영상 미디어에 햅틱을 적용할 수 있는 방법 및 그 장치에 관한 것이다. The present invention relates to a method and apparatus for applying a haptic to moving image media using motion information of an object.

햅틱이란 촉각을 통해 진동하는 힘과 운동감을 느끼게 하는 기술을 말한다. 대표적인 예로 휴대폰의 진동모드와 커피전문점이나 패스트푸드점의 진동벨을 들 수 있다. 그러나 앞서 언급한 사례에서 햅틱 기능은 단순한 알림 기능으로 사용될 뿐, 그 이외의 기능은 수행하지 않는다. 하지만 이 햅틱 기능을 동영상에 제공할 경우, 사용자로 하여금 더 흥미로운 경험을 이끌어낼 수 있고 사실감을 얻을 수 있게 할 수 있다.Haptics are technologies that let you feel the power and movement of vibration through your senses. Representative examples include vibration mode of mobile phones and vibration bells of coffee shops and fast food restaurants. However, in the aforementioned case, the haptic function is used as a simple notification function and does not perform other functions. But if you provide this haptic feature to your video, it can make your experience more interesting and real.

실례로 세계적인 햅틱 솔루션 전문 기업인 Immersion에서 실시한 필드테스트 결과에 의하면, 햅틱이 적용된 미디어는 사용자 경험을 훨씬 더 강화하는 경향이 있는 것으로 조사되었다. 이 조사에서 사용자들은 햅틱이 적용된 영화 예고편을 시청할 때, 그렇지 않은 경우보다 50% 이상 높은 몰입도와 만족도를 보인 것으로 조사되었다.For example, field tests conducted by Immersion, a global haptic solutions company, show that haptic media tends to enhance the user experience even further. In this survey, users watched haptic trailers more than 50% more immersed and satisfied than otherwise.

또한, 게임에 적용된 햅틱의 경우, 리서치 결과에 따르면 모바일 게임 사용자들의 56%가 햅틱이 적용된 게임을 더 선호하는 것으로 나타났다.In the case of haptics applied to games, research results show that 56% of mobile game users prefer haptic games.

두 리서치 결과를 통해 햅틱 기술은 소리나 영상으로 전달하기 어려운 감성적인 느낌의 전달이 가능하며 특히 비디오와 같은 콘텐츠와 결합할 경우, 훨씬 높은 정도의 몰입감을 줄 수 있음을 확인할 수 있다.The two research results show that haptic technology can deliver emotional feelings that are difficult to convey as sound or video, and can be much more immersive, especially when combined with content such as video.

종래 기술로서, 동영상에 햅틱 기능을 연동하여 제공하기 위해 사운드 스트림 분석으로 나타난 파형을 분석하여 햅틱 기능을 제공하는 기술 등이 존재하였으나, 동영상에서 사운드 스트림은 동영상 데이터와는 별개의 데이터인 바 동기가 맞지 않는 경우에는 햅틱 기능이 잘못 적용되거나 부자연스러워지는 등의 문제점이 있었다.As a conventional technology, there have been technologies for providing a haptic function by analyzing a waveform represented by sound stream analysis to provide a haptic function in a video. However, in a video, a sound stream is a separate data from the video data. If not, there was a problem that the haptic function is incorrectly applied or unnatural.

본 발명은 객체의 움직임 정보를 이용한 햅틱 구현 방법 및 그 장치를 제공하기 위한 것이다. The present invention is to provide a haptic implementation method and apparatus using the motion information of the object.

본 발명은 동영상, 애니메이션과 같은 미디어 콘텐츠에서 객체가 낙하하여 바닥이나 벽에 닿는 프레임을 판별하여 햅틱 기능을 적용함으로써, 흥미를 유발하고 사실감 있게 미디어를 재생하여 학습이나 놀이 효과를 높일 수 있는 객체의 움직임 정보를 이용한 햅틱 구현 방법 및 그 장치를 제공하기 위한 것이다. The present invention is to determine the frame that the object falls from the media content such as video, animation, and the like to reach the floor or the wall and apply the haptic function, thereby causing the interest and realistic playback of the media to enhance the learning or play effect of the object It is to provide a haptic implementation method and apparatus using the motion information.

본 발명의 일 측면에 따르면, 객체의 움직임 정보를 이용한 햅틱 구현 방법 및 그 장치를 제공하기 위한 것이다. According to an aspect of the present invention, there is provided a haptic implementation method and apparatus using motion information of an object.

본 발명의 일 실시예에 따르면, (a) 미디어 콘텐츠내에서 객체의 움직임 정보를 분석하여 상기 객체가 배경 또는 다른 객체와 충돌하는 프레임을 추출하는 단계; 및 (b) 상기 추출된 프레임에 햅틱(haptic)을 적용하는 단계를 포함하는 객체의 움직임 정보를 이용한 햅틱 구현 방법이 제공될 수 있다. According to an embodiment of the present invention, (a) analyzing the motion information of the object in the media content to extract a frame in which the object collides with the background or another object; And (b) applying a haptic to the extracted frame. A haptic implementation method using motion information of an object may be provided.

상기 (a) 단계는, 객체의 움직임 예측(motion estimation)을 통해 움직임 정보를 도출하는 단계-상기 움직임 정보는 모션 벡터임; 및 상기 객체의 모션 벡터 방향이 변하는 변곡점 위치의 프레임을 추출하는 단계를 포함할 수 있다.Step (a) may include: deriving motion information through motion estimation of an object, wherein the motion information is a motion vector; And extracting a frame at an inflection point position at which the motion vector direction of the object changes.

프레임을 추출하는 단계는, 상기 객체의 모션 벡터 방향이 제1 방향으로 변하는 변곡점 위치의 프레임을 추출할 수 있다.The extracting of the frame may include extracting a frame at an inflection point position in which the motion vector direction of the object changes in the first direction.

상기 (a) 단계는, 객체 추적 알고리즘을 통해 상기 객체를 추적하며, 상기 추출된 프레임들 중 상기 객체의 모양이 변화되는 시점의 프레임을 선별하여 추출할 수 있다. In the step (a), the object is tracked through an object tracking algorithm, and the extracted frames may be selected and extracted at the time when the shape of the object is changed.

상기 객체 추적 알고리즘은 CAMshift 또는 Meanshift일 수 있다. The object tracking algorithm may be CAMshift or Meanshift.

상기 (b) 단계는, 상기 모션 벡터의 방향이 제1 방향으로 변하는 변곡점 위치의 모션 벡터값과 상기 모션 벡터의 방향이 제2 방향으로 변하는 변곡점 위치의 모션 벡터값과의 차이값을 이용하여 햅틱 강도를 조절하여 햅틱 기능을 적용할 수 있다.In the step (b), the haptic is generated by using a difference value between a motion vector value of an inflection point position where the direction of the motion vector changes in a first direction and a motion vector value of an inflection point position where the direction of the motion vector changes in a second direction. You can apply the haptic function by adjusting the intensity.

본 발명의 다른 실시예에 따르면, (a) 객체 추적 알고리즘을 이용하여 미디어 콘텐츠내에서 객체를 추적하는 단계; (b) 상기 객체 추적 결과를 이용하여 상기 객체가 배경 또는 다른 객체와 충돌하는 프레임을 추출하는 단계; 및 (c) 상기 추출된 프레임에 햅틱(haptic)을 적용하는 단계를 포함하는 햅틱 적용 방법이 제공될 수 있다. According to another embodiment of the invention, (a) tracking an object in media content using an object tracking algorithm; (b) extracting a frame in which the object collides with a background or another object using the object tracking result; And (c) applying a haptic to the extracted frame.

상기 (b) 단계는, 상기 객체 추적 결과 객체의 모양이 변하는 시점의 프레임을 추출할 수 있다. In the step (b), it is possible to extract a frame at the point of time when the shape of the object changes the object tracking result.

본 발명의 다른 측면에 따르면, 객체의 움직임 정보를 이용하여 햅틱을 적용할 수 있는 햅틱 적용 장치가 제공될 수 있다.According to another aspect of the present invention, a haptic application device that can apply the haptic using the motion information of the object can be provided.

본 발명의 일 실시예에 따르면, 미디어 콘텐츠내에서 객체의 움직임 정보를 분석하는 움직임 예측부; 상기 객체의 움직임 정보를 이용하여 상기 객체가 배경 또는 다른 객체와 충돌하는 프레임을 추출하는 프레임 추출부; 및 상기 추출된 프레임에 햅틱 기능을 적용하는 햅틱 적용부를 포함하는 햅틱 적용 장치가 제공될 수 있다. According to one embodiment of the invention, the motion prediction unit for analyzing the motion information of the object in the media content; A frame extracting unit extracting a frame in which the object collides with a background or another object using motion information of the object; And a haptic application unit that applies a haptic function to the extracted frame.

상기 프레임 추출부는, 상기 모션 벡터의 방향이 지정된 방향으로 변하는 변곡점 위치의 프레임들을 추출할 수 있다. The frame extractor may extract frames of an inflection point position in which the direction of the motion vector changes in a specified direction.

객체 추적 알고리즘을 이용하여 상기 객체를 추적하는 객체 추적부를 더 포함하되, 상기 프레임 추출부는, 상기 객체의 모양이 변화되는 시점의 프레임을 선별하여 추출할 수도 있다. An object tracking unit may further include an object tracking unit that tracks the object using an object tracking algorithm. The frame extractor may select and extract a frame at a point in time at which the shape of the object changes.

본 발명의 다른 실시예에 따르면, 객체 추적 알고리즘을 이용하여 미디어 콘텐츠내의 객체를 추적하는 객체 추적부; 상기 객체 추적 결과를 이용하여 상기 객체가 배경 또는 다른 객체와 충돌하는 프레임을 추출하는 프레임 추출부; 및 상기 추출된 프레임에 햅틱 기능을 적용하는 햅틱 적용부를 포함하는 햅틱 적용 장치가 제공될 수 있다.According to another embodiment of the present invention, an object tracking unit for tracking an object in media content using an object tracking algorithm; A frame extracting unit extracting a frame in which the object collides with a background or another object using the object tracking result; And a haptic application unit that applies a haptic function to the extracted frame.

상기 프레임 추출부는, 상기 객체의 모양이 변화되는 시점의 프레임을 선별하여 추출할 수 있다. The frame extractor may select and extract a frame at a time point at which the shape of the object changes.

본 발명의 일 실시예에 따른 햅틱 적용 방법 및 그 장치를 제공함으로써, 객체의 움직임 정보를 이용하여 햅틱을 적용할 수 있다. By providing a haptic application method and apparatus according to an embodiment of the present invention, it is possible to apply the haptic using the motion information of the object.

본 발명은 동영상, 애니메이션과 같은 미디어 콘텐츠에서 객체가 낙하하여 바닥이나 벽에 닿는 프레임을 판별하여 햅틱 기능을 적용함으로써, 흥미를 유발하고 사실감 있게 미디어를 재생하여 학습이나 놀이 효과를 높일 수 있다. The present invention can increase the learning or play effect by inducing interest and realistically playing the media by applying a haptic function by identifying a frame falling from the media content such as a video or animation and touching the floor or the wall.

도 1은 본 발명의 일 실시예에 따른 동영상 미디어에 햅틱을 적용하는 방법을 나타낸 순서도.
도 2는 본 발명의 일 실시예에 따른 객체의 움직임 정보를 이용하여 선별된 프레임들을 예시한 도면.
도 3은 본 발명의 일 실시예에 따른 객체 추적 알고리즘에 따른 객체 모양 변화를 설명하기 위해 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 햅틱 적용 장치의 내부 구성을 도시한 도면.1 is a flowchart illustrating a method of applying haptic to video media according to an embodiment of the present invention.
2 is a diagram illustrating frames selected using motion information of an object according to an embodiment of the present invention.
3 is a view illustrating an object shape change according to an object tracking algorithm according to an exemplary embodiment of the present invention.
4 is a diagram illustrating an internal configuration of a haptic application device according to an embodiment of the present invention.

본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. As used herein, the singular forms "a", "an" and "the" include plural forms unless the context clearly indicates otherwise. In this specification, terms such as “consisting of” or “comprising” should not be construed as necessarily including all of the various components or steps described in the specification, and some of the components or some steps It should be construed that it may not be included or may further include additional components or steps. In addition, the terms "... unit", "module", etc. described in the specification mean a unit for processing at least one function or operation, which may be implemented in hardware or software or a combination of hardware and software. .

본 발명은 미디어 콘텐츠에서 공과 같은 객체가 벽이나 바닥에 닿는 상황에서 햅틱 기능(효과)을 연계하여 제공함으로써 사용자에게 사실감 있고 흥미로운 미디어 콘텐츠를 제공할 수 있다. 이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다. The present invention can provide realistic and interesting media content to the user by providing a haptic function (effect) in a situation where an object such as a ball touches a wall or floor in the media content. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 동영상 미디어에 햅틱을 적용하는 방법을 나타낸 순서도이며, 도 2는 본 발명의 일 실시예에 따른 객체의 움직임 정보를 이용하여 선별된 프레임들을 예시한 도면이고, 도 3은 본 발명의 일 실시예에 따른 객체 추적 알고리즘에 따른 객체 모양 변화를 설명하기 위해 도시한 도면이다. 1 is a flowchart illustrating a method of applying a haptic to video media according to an embodiment of the present invention, and FIG. 2 is a diagram illustrating frames selected using motion information of an object according to an embodiment of the present invention. 3 is a diagram illustrating an object shape change according to an object tracking algorithm according to an exemplary embodiment of the present invention.

단계 110에서 햅틱 적용 장치(100)는 미디어 콘텐츠를 프레임 단위로 저장한다. 여기서, 미디어 콘텐츠는 동영상일 수도 있으며 애니메이션일 수도 있다. 본 명세서에서는 이해와 설명의 편의를 도모하기 위해 미디어 콘텐츠가 동영상인 것을 가정하여 이를 중심으로 설명하나 미디어 콘텐츠는 하나 이상의 장면(또는 프레임)을 포함하는 콘텐츠인 경우 제한 없이 적용될 수 있다.In operation 110, the haptic application device 100 stores the media content in units of frames. Here, the media content may be a video or an animation. In the present specification, for the convenience of understanding and description, the media content is described as a moving picture based on the assumption that the media content is one or more scenes (or frames).

단계 115에서 햅틱 적용 장치(100)는 미디어 콘텐츠에서 객체의 움직임 정보를 이용하여 객체가 배경 또는 다른 객체와 충돌하는 프레임을 판별하여 추출한다. In operation 115, the haptic application apparatus 100 determines and extracts a frame in which the object collides with the background or another object by using the motion information of the object in the media content.

예를 들어, 햅틱 적용 장치(100)는 프레임별로 객체의 움직임 예측을 통해 객체가 배경 또는 다른 객체와 충돌하는 시점의 프레임들을 추출한다.For example, the haptic application device 100 extracts frames at the time when the object collides with the background or another object through the motion prediction of the object for each frame.

햅틱 적용 장치(100)는 프레임 단위로 객체의 움직임 예측(motion estimation)을 수행할 수 있다. 움직임 예측은 이미 공지된 바와 같이, 현재 프레임에서 특정 객체가 이전 프레임(보다 상세하게 레퍼런스 프레임)의 어느 곳에서 왔는지를 찾는 과정으로, 일반적으로 모션 벡터를 도출하여 이를 기반으로 움직임 예측을 수행할 수 있다.The haptic application device 100 may perform motion estimation of an object in units of frames. As is already known, motion prediction is a process of finding where a specific object comes from a previous frame (more specifically, a reference frame) in the current frame. Generally, motion prediction can be performed based on the motion vector. have.

따라서, 햅틱 적용 장치(100)는 프레임 단위로 객체의 모션 벡터값을 각각 도출할 수 있다. 이어, 객체의 모션 벡터의 방향이 변화되는 시점의 프레임을 선별할 수 있다.Accordingly, the haptic application device 100 may derive the motion vector value of the object in units of frames. Subsequently, a frame at a time point at which the direction of the motion vector of the object is changed may be selected.

예를 들어, 객체가 농구공이라고 가정하기로 한다. 농구공이 바닥이나 벽에 닿는 경우를 가정하면, 농구공은 복수회 바운스 동작을 반복하며 멈추게 된다. 이때, 농구공은 공중에 떠 있는 경우와 바닥에서 튕기는 경우 각각 모션 벡터의 방향이 변화하게 된다. 농구공이 공중에 떠 있는 경우에는 배경이나 다른 객체와 부딪치는 상황이 아니므로, 햅틱 기능이 적용될 필요가 없다. For example, suppose the object is a basketball. Assuming the basketball touches the floor or wall, the basketball will stop repeating the bounce action multiple times. In this case, when the basketball is floating in the air and bounces off the floor, the direction of the motion vector is changed. If the basketball is in the air, it does not collide with the background or other objects, so the haptic function does not need to be applied.

따라서, 햅틱 적용 장치(100)는 각 프레임에 대해 객체의 모션 벡터를 각각 계산한 후 객체의 모션 벡터의 방향이 변화되는 시점(즉, 변곡점)의 프레임을 추출하되, 모션 벡터의 방향이 지정된 방향으로 변화되는 시점(아래에서 위로 변화되는 시점)의 프레임만을 선별적으로 추출할 수 있다. Therefore, the haptic application device 100 calculates the motion vector of the object for each frame and extracts the frame at the point of time (that is, the inflection point) where the direction of the motion vector of the object is changed, but the direction of the motion vector is specified. Only the frames of the viewpoints changed to (the viewpoint changed from bottom to top) can be selectively extracted.

도 2에는 미디어 콘텐츠에서 객체에 대한 움직임 예측을 통해 객체의 모션 벡터의 방향이 아래에서 위로 바뀌는 순간의 프레임을 추출한 예시도이다. FIG. 2 illustrates an example of extracting a frame at a moment when a direction of a motion vector of an object is changed from bottom to top through motion prediction of an object in media content.

다른 예를 들어, 햅틱 적용 장치(100)는 객체 추적 알고리즘을 통해 객체의 모양이 변화되는 시점을 인식하여 객체의 모양이 변화되는 시점의 프레임을 추출할 수도 있다. 이때, 햅틱 적용 장치(100)는 CAMshift 또는 Meanshift 알고리즘을 객체 추적 알고리즘으로 이용할 수 있다. For another example, the haptic application apparatus 100 may recognize a time point when the shape of the object changes through the object tracking algorithm and extract a frame at the time point when the shape of the object changes. In this case, the haptic application device 100 may use the CAMshift or Meanshift algorithm as the object tracking algorithm.

CAMshift 또는 Meanshift 알고리즘과 같은 객체 추적 알고리즘은 관심 영역(ROI)내의 객체를 추적할 수 있다. CAMshift 또는 Meanshift 알고리즘은 데이터 집합의 특징점, 색상 밀도 분포를 기반으로 초기 설정한 관심 영역(ROI)내의 객체를 추적할 수 있다. 즉, CAMshift 또는 Meanshift 알고리즘은 윈도우 내에서 특징점이나 색상 밀도가 높은 곳을 찾은 후 해당 지점을 중심으로 윈도우를 재설정하는 방식으로 객체를 추적할 수 있다.Object tracking algorithms, such as the CAMshift or Meanshift algorithm, can track objects within the region of interest (ROI). The CAMshift or Meanshift algorithm may track an object in a region of interest (ROI) that is initially set based on a feature point and a color density distribution of a data set. In other words, the CAMshift or Meanshift algorithm can find objects with high feature points or color densities within the window, and then track the objects by resetting the window around the points.

일반적으로, CAMshift 알고리즘은 Meanshift 알고리즘에 비해 연산적이 적어 객체 추적 속도가 빠르게 객체의 모양 변화나 회전 등에 강점이 있다. 따라서, 본 발명의 일 실시예에서는 CAMshift 알고리즘을 이용하여 객체를 추적하여 객체의 모양 변화를 있는지를 판별할 수 있다. In general, the CAMshift algorithm has less computational power than the Meanshift algorithm, so the object tracking speed is faster, and the CAMshift algorithm has advantages in shape change and rotation. Therefore, in an embodiment of the present invention, the object may be tracked using the CAMshift algorithm to determine whether the object has a shape change.

도 3은 객체 추적 결과를 도시한 도면이다. 도 3의 (a)는 객체가 공중에 떠 있는 상태이며, 도 3의 (b)는 객체가 바닥에 튕기는 상황을 추적한 것이다. 3 is a diagram illustrating an object tracking result. Figure 3 (a) is an object floating in the air, Figure 3 (b) is tracking the situation that the object bounces on the floor.

도 3의 (b)에서 보여지는 바와 같이, 객체의 모양이 변화했을 때 변화한 모양을 따라 탐색 윈도우의 모양이 변하는 것을 알 수 있다. 따라서, 본 발명의 일 실시예에 따른 햅틱 적용 장치(100)는 추적중인 객체가 벽이나 바닥에 닿아서 모양이 변화하는 순간의 프레임을 추출할 수 있다. As shown in (b) of FIG. 3, it can be seen that the shape of the search window changes according to the changed shape when the shape of the object changes. Therefore, the haptic application apparatus 100 according to an embodiment of the present invention may extract a frame at the moment when the shape of the object being tracked changes to the wall or the floor.

상술한 바와 같이, 햅틱 적용 장치(100)는 객체 추적을 통해 모션 벡터의 방향 변화가 있는 프레임을 추출한 뒤 추출된 프레임 내의 객체 형태의 변화가 있는 프레임만을 선별적으로 추출할 수 있다. 이와 같이, 객체의 움직임 예측과 객체 추적 알고리즘을 모두 이용하여 객체가 충돌하는 시점(프레임)을 추출함으로써 객체가 충돌하는 시점을 보다 정확하게 추출할 수 있는 이점이 있다. As described above, the haptic application apparatus 100 may extract a frame having a change in the direction of a motion vector through object tracking and selectively extract only a frame having a change in the shape of an object in the extracted frame. As such, there is an advantage in that the point of collision of the object can be extracted more accurately by extracting the point of collision of the object (frame) by using both the motion prediction and the object tracking algorithm of the object.

그러나, 구현 방법에 따라 햅틱 적용 장치(100)는 객체의 움직임 예측 또는 객체 추적 알고리즘만으로도 객체가 배경 또는 다른 객체와 충돌하는 시점을 검출할 수도 있다. However, according to an implementation method, the haptic application apparatus 100 may detect a time when an object collides with a background or another object only by using an object motion prediction or object tracking algorithm.

햅틱 적용 장치(100)는 객체의 움직임 예측에 따른 모션 벡터의 방향을 기반으로 햅틱 기능을 적용할 프레임들을 선별한 후 객체 추적 알고리즘과의 연동을 통해 객체의 모양이 변화하는 시점의 프레임들에 대해서만 햅틱 기능을 적용하도록 구현할 수도 있다.The haptic application device 100 selects frames to which the haptic function is to be applied based on the direction of the motion vector according to the motion estimation of the object, and then links only the frames when the shape of the object changes through linkage with the object tracking algorithm. It can also be implemented to apply a haptic function.

다만, 햅틱 적용 장치(100)는 객체가 마지막으로 바닥에 닿는 순간(즉, 움직임 이후 정지하는 상황)을 인식하기 위해, 객체가 마지막으로 바닥에 닿는 프레임과 그 이후의 복수의 프레임을 이용하여 정지한 상황인지를 판별한다. 예를 들어, 햅틱 적용 장치(100)는 객체가 정지하는 경우(즉, 마지막으로 바닥에 닿는 프레임) 객체 추적 알고리즘을 적용하는 경우 객체의 모양 변화를 감지할 수 없다. 따라서, 햅틱 적용 장치(100)는 그 이후의 복수의 프레임을 이용하여 모션 벡터값의 변화 여부를 판단하여 정지한 상황인지를 판별할 수 있다. However, the haptic application device 100 stops using the frame on which the object finally touches the floor and a plurality of frames thereafter in order to recognize the last moment when the object touches the floor (that is, the situation of stopping after the movement). Determine if this is the situation. For example, the haptic application device 100 may not detect a change in the shape of an object when the object is applied to the object tracking algorithm when the object is stationary (ie, the last frame touching the floor). Accordingly, the haptic application device 100 may determine whether the situation is stopped by determining whether the motion vector value has changed using a plurality of frames thereafter.

단계 120에서 햅틱 적용 장치(100)는 추출된 프레임에 동기화하여 햅틱 기능을 적용한다. 즉, 햅틱 적용 장치(100)는 추출된 프레임에 햅틱 기능을 적용할 수 있다. In operation 120, the haptic application device 100 applies a haptic function in synchronization with the extracted frame. That is, the haptic application device 100 may apply a haptic function to the extracted frame.

또한, 햅틱 적용 장치(100)는 객체의 움직임 정보(모션 벡터)를 이용하여 햅틱 강도를 조절할 수도 있다. 예를 들어, 햅틱 적용 장치(100)는 객체의 모션 벡터의 방향이 제1 방향으로 변하는 변곡점 위치의 모션 벡터값과 모션 벡터의 방향이 제2 방향으로 변하는 변곡점 위치의 모션 벡터값과의 차이값을 이용하여 햅틱 강도를 조절할 수도 있다. In addition, the haptic application apparatus 100 may adjust the haptic intensity using motion information (motion vector) of the object. For example, the haptic application apparatus 100 may determine a difference between a motion vector value of an inflection point position where the direction of the motion vector of the object changes in the first direction and a motion vector value of an inflection point position where the direction of the motion vector changes in the second direction. You can also adjust the haptic strength using.

예를 들어, 공이 낙하하여 바운스 되는 동작을 가정하면, 최초 바운스되는 시점과 두번째 바운스 되는 시점을 비교하면 공의 최고점 위치가 날라지게 된다. 따라서, 햅틱 적용 장치(100)는 객체의 움직임 정보를 기반으로 변곡점간의 차이를 도출한 후 이를 기반으로 햅틱 강도를 다르게 적용할 수도 있다. For example, assuming that the ball falls and bounces, when the first bounce and the second bounce are compared, the position of the highest point of the ball is carried away. Therefore, the haptic application device 100 may derive the difference between the inflection points based on the motion information of the object and apply the haptic strength differently based on the difference.

추출된 프레임이 직접적으로 사용자가 햅틱 기능을 적용하는 경우, TSComposer와 같은 햅틱 편집 프로그램과 연동되어 추출된 프레임이 재생되는 위치에 햅틱 기능을 적용할 수도 있다. When the user directly applies the haptic function to the extracted frame, the haptic function may be applied to a position at which the extracted frame is played in cooperation with a haptic editing program such as TSComposer.

도 4는 본 발명의 일 실시예에 따른 햅틱 적용 장치의 내부 구성을 개략적으로 도시한 블록도이다. 4 is a block diagram schematically illustrating an internal configuration of a haptic application device according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 일 실시예에 따른 햅틱 적용 장치(100)는 움직임 예측부(410), 프레임 추출부(415), 객체 추적부(420), 햅틱 적용부(425), 디스플레이부(430), 메모리(435) 및 프로세서(440)를 포함하여 구성된다. Referring to FIG. 4, the haptic application apparatus 100 according to an embodiment of the present invention may include a motion predictor 410, a frame extractor 415, an object tracker 420, a haptic applier 425, and a display. The unit 430 includes a memory 435 and a processor 440.

움직임 예측부(410)는 미디어 콘텐츠내에서 객체의 움직임 정보를 분석한다.The motion predictor 410 analyzes the motion information of the object in the media content.

예를 들어, 움직임 예측부(410)는 현재 프레임과 레퍼런스 프레임과의 움직임 예측을 통해 객체의 움직임 정보를 분석할 수 있다. 이는 이미 전술한 바와 동일하므로 중복되는 설명은 생략하기로 한다. 여기서, 움직임 정보는 모션 벡터일 수 있다.For example, the motion predictor 410 may analyze motion information of the object through motion prediction between the current frame and the reference frame. Since this is the same as already described above, redundant description will be omitted. Here, the motion information may be a motion vector.

프레임 추출부(415)는 객체의 움직임 정보를 이용하여 객체가 배경 또는 다른 객체와 충돌하는 프레임을 추출하기 위한 수단이다. 또한, 프레임 추출부(415)는 객체 추적부(420)의 객체 추적 결과를 이용하여 객체의 모양이 변하는 순간의 프레임을 추출할 수도 있다. The frame extractor 415 is a means for extracting a frame in which an object collides with a background or another object using motion information of the object. Also, the frame extractor 415 may extract a frame at the moment when the shape of the object changes by using the object tracking result of the object tracker 420.

이는 이미 도 1을 참조하여 설명한 바와 동일하므로 중복되는 설명은 생략하기로 한다. Since this is the same as already described with reference to FIG. 1, redundant descriptions will be omitted.

객체 추적부(420)는 미디어 콘텐츠에서 객체를 추적하기 위한 수단이다. 예를 들어, 객체 추적부(420)는 객체 추적 알고리즘을 이용하여 객체를 추적할 수 있다. 객체 추적부(420)는 CAMshift 또는 Meanshift를 이용하여 객체를 추적할 수 있다. The object tracker 420 is a means for tracking an object in media content. For example, the object tracking unit 420 may track an object using an object tracking algorithm. The object tracker 420 may track the object using CAMshift or Meanshift.

햅틱 적용부(425)는 추출된 프레임에 동기화하여 햅틱 기능을 적용하기 위한 수단이다. 햅틱 적용부(425)는 추출된 프레임이 재생될 위치에 햅틱 기능을 적용할 수 있다. 또한, 햅틱 적용부(425)는 객체의 움직임 정보를 이용하여 적용되는 햅틱 강도를 다르게 조정할 수도 있다.The haptic applier 425 is a means for applying a haptic function in synchronization with the extracted frame. The haptic application unit 425 may apply a haptic function to the position where the extracted frame is to be played. In addition, the haptic applier 425 may adjust the applied haptic intensity differently using the motion information of the object.

디스플레이부(430)는 미디어 콘텐츠를 시각적으로 출력하기 위한 수단이다. 예를 들어, 디스플레이부(430)는 액정화면(LCD)일 수 있다.The display unit 430 is a means for visually outputting the media content. For example, the display unit 430 may be a liquid crystal display (LCD).

메모리(435)는 본 발명의 일 실시예에 따른 객체의 움직임 정보에 기반하여 햅틱 기능을 적용하기 위해 필요한 다양한 알고리즘, 이 과정에서 파생되는 다양한 정보들을 저장한다.The memory 435 stores various algorithms necessary to apply the haptic function based on the motion information of the object according to an embodiment of the present invention, and various information derived from this process.

프로세서(440)는 본 발명의 일 실시예에 따른 햅틱 적용 장치(100)의 내부 구성 요소들(예를 들어, 움직임 예측부(410), 프레임 추출부(415), 객체 추적부(420), 햅틱 적용부(425), 디스플레이부(430), 메모리(435) 등)을 제어하기 위한 수단이다. The processor 440 may include internal components (eg, the motion predictor 410, the frame extractor 415, the object tracker 420) of the haptic application apparatus 100 according to an embodiment of the present invention. The haptic application unit 425, the display unit 430, the memory 435, etc.).

본 발명의 실시 예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Apparatus and method according to an embodiment of the present invention is implemented in the form of program instructions that can be executed by various computer means may be recorded on a computer readable medium. Computer-readable media may include, alone or in combination with the program instructions, data files, data structures, and the like. The program instructions recorded on the computer readable medium may be those specially designed and constructed for the present invention, or may be known and available to those skilled in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks such as floppy disks. Hardware devices specially configured to store and execute program instructions such as magneto-optical media and ROM, RAM, flash memory and the like. Examples of program instructions include machine code, such as produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like.

상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far, the present invention has been described with reference to the embodiments. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

Claims

(a) extracting a frame in which the object collides with a background or another object by analyzing motion information of the object in media content; And (b) applying a haptic function to a position at which the extracted frame is to be played.
Step (a) may include: deriving motion information through motion estimation of an object, wherein the motion information is a motion vector; And extracting a frame of an inflection point position at which the motion vector direction of the object is changed.

delete

According to claim 1,
Extracting the frame,
And extracting a frame at an inflection point position at which the motion vector direction of the object changes in a first direction.

According to claim 1,
In step (a),
An object tracking algorithm tracks the object and selects and extracts a frame at a point in time when the shape of the object is changed among the extracted frames.

The method of claim 4, wherein
And the object tracking algorithm is CAMshift or Meanshift.

According to claim 1,
In step (b),
The haptic function is adjusted by adjusting a haptic intensity using a difference value between a motion vector value of an inflection point position where the direction of the motion vector changes in a first direction and a motion vector value of an inflection point position where the direction of the motion vector changes in a second direction. Haptic application method, characterized in that applying.

delete

A computer-readable recording medium having recorded thereon a program code for performing the method according to any one of claims 1, 3, 4, 5, and 6.

A motion predictor for analyzing motion information of an object in media content, wherein the motion information is a motion vector; A frame extracting unit extracting a frame in which the object collides with a background or another object using motion information of the object; And a haptic application unit which applies a haptic function to a position at which the extracted frame is to be played.
The frame extractor extracts the frames at the inflection point positions where the direction of the motion vector changes in a specified direction.

delete