KR101695638B1 - 인터렉티브 컨텐츠의 제어 방법 및 이를 이용한 사용자 인터페이스 장치 - Google Patents

인터렉티브 컨텐츠의 제어 방법 및 이를 이용한 사용자 인터페이스 장치 Download PDF

Info

Publication number
KR101695638B1
KR101695638B1 KR1020110070972A KR20110070972A KR101695638B1 KR 101695638 B1 KR101695638 B1 KR 101695638B1 KR 1020110070972 A KR1020110070972 A KR 1020110070972A KR 20110070972 A KR20110070972 A KR 20110070972A KR 101695638 B1 KR101695638 B1 KR 101695638B1
Authority
KR
South Korea
Prior art keywords
length
user
comparison
joint
detecting
Prior art date
Application number
KR1020110070972A
Other languages
English (en)
Other versions
KR20130010278A (ko
Inventor
이재호
남승우
박지영
김희권
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020110070972A priority Critical patent/KR101695638B1/ko
Priority to US13/550,801 priority patent/US20130021245A1/en
Publication of KR20130010278A publication Critical patent/KR20130010278A/ko
Application granted granted Critical
Publication of KR101695638B1 publication Critical patent/KR101695638B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 목적은 사용자의 동작에 따라 인터렉티브 컨텐츠를 제어하기 위한 인터렉티브 컨텐츠의 제어 방법 및 이를 이용한 사용자 인터페이스 장치를 제공하는 것이다. 상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 인터렉티브 컨텐츠의 제어 방법은, 사용자의 골격정보를 기반으로 사용자의 동작에 따라 인터렉티브 컨텐츠를 제어하기 위한 기준이 되는 기준길이를 검출하는 단계, 상기 골격정보를 기반으로 비교길이를 검출하는 단계 및 상기 기준길이와 상기 비교길이를 비교한 결과에 따라 인터렉티브 컨텐츠를 제어하는 단계를 포함한다. 본 발명에 의하면, 사용자의 동작에 따라 변화하는 골격정보를 기반으로 인터렉티브 컨텐츠를 제어함으로써, 종래 키보드, 마우스, 터치스크린 등으로 컨텐츠를 제어하는 것에 비하여 보다 실감나는 사용자 인터페이스 환경을 제공할 수 있는 장점이 있다.

Description

인터렉티브 컨텐츠의 제어 방법 및 이를 이용한 사용자 인터페이스 장치{Control method of interactive content and user interface apparatus using the same}
본 발명은 사용자 인터페이스에 관한 것으로, 더욱 상세하게는 사용자의 동작에 따라 인터렉티브 컨텐츠를 제어하기 위한 인터렉티브 컨텐츠의 제어 방법 및 이를 이용한 사용자 인터페이스 장치에 관한 것이다.
사용자 인터페이스(User Interface)는 사용자와 시스템간의 상호작용이 원활하게 이루어지도록 돕는 장치나 소프트웨어를 말하며, 사용자 인터페이스는 크게 문자 방식 사용자 인터페이스, 메뉴 방식 사용자 인터페이스, 그래픽 사용자 인터페이스로 분류된다. 최근 이러한 인터페이스 장치로 터치스크린(Touch Screen)이 주로 사용되고 있으며, 터치스크린은 사용자의 터치를 통해 사용자와 시스템간의 상호작용이 일어나도록 한다.
그러나 사용자가 스포츠, 레이싱 게임등의 체감형 컨텐츠, 즉 인터렉티브 컨텐츠를 사용하는 경우에 단순히 터치를 통해 컨텐츠를 제어하는 터치스크린을 인터페이스 장치로 사용하면, 인터렉티브 컨텐츠를 실감나게 활용할 수 없는 문제점이 있었다. 예를 들어, 인터렉티브 컨텐츠의 하나인 권투 게임의 경우에 실제 사용자 주먹의 움직임에 따라 컨텐츠가 제어되어야 실감나게 활용할 수 있으나, 단순히 터치스크린의 터치를 통해 컨텐츠를 제어하면 컨텐츠를 실감나게 활용할 수 없는 문제점이 있었다.
이러한 문제점을 해결하기 위하여, '깊이 센서 방식의 공간 터치 무선단말기, 이의 데이터 처리방법 및 스크린 장치(특허공개번호 2010-0075282)'가 출원되었으나, 이는 소정의 가상공간 내에서만 사용자의 동작을 감지할 수 있고 소정의 가상공간 외에서는 사용자의 동작을 감지할 수 없으므로, 컨텐츠를 제어할 수 있는 사용자의 동작이 제한되어 인터렉트브 컨텐츠를 보다 실감나게 활용할 수 없는 문제점이 있었다.
본 발명의 목적은 사용자의 동작에 따라 인터렉티브 컨텐츠를 제어하기 위한 인터렉티브 컨텐츠의 제어 방법을 제공하는 것이다.
본 발명의 다른 목적은 사용자의 동작에 따라 인터렉티브 컨텐츠를 제어하기 위한 사용자 인터페이스 장치를 제공하는 것이다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 인터렉티브 컨텐츠의 제어 방법은, 사용자의 골격정보를 기반으로 사용자의 동작에 따라 인터렉티브 컨텐츠를 제어하기 위한 기준이 되는 기준길이를 검출하는 단계, 상기 골격정보를 기반으로 비교길이를 검출하는 단계 및 상기 기준길이와 상기 비교길이를 비교한 결과에 따라 인터렉티브 컨텐츠를 제어하는 단계를 포함한다.
상기 기준길이를 검출하는 단계는, 사용자의 신체 이미지 정보를 검출하는 단계, 검출한 상기 신체 이미지 정보를 기반으로 사용자의 골격정보를 검출하는 단계, 상기 검출한 골격정보에서 적어도 하나의 기준관절 및 상기 기준관절에 연결된 적어도 두개의 기준뼈를 추출하는 단계 및 상기 기준관절의 일단에 연결된 제1 기준뼈의 길이와 상기 기준관절의 타단에 연결된 제2 기준뼈의 길이를 더한 값을 기준길이로 검출하는 단계를 더 포함할 수 있다.
상기 비교길이를 검출하는 단계는, 상기 기준관절의 일단에 연결된 제1 기준뼈의 단부와 상기 기준관절의 타단에 연결된 제2 기준뼈의 단부를 잇는 직선의 길이를 비교길이로 검출할 수 있다.
상기 기준길이와 상기 비교길이를 비교한 결과에 따라 인터렉티브 컨텐츠를 제어하는 단계는, 상기 기준길이와 상기 비교길이의 길이를 비교하는 단계 및 비교한 결과 상기 비교길이가 상기 기준길이보다 길거나 동일한 경우, 사용자의 동작에 대응하는 명령에 따라 인터렉티브 컨텐츠를 제어하는 단계를 더 포함할 수 있다.
상술한 본 발명의 다른 목적을 달성하기 위한 본 발명의 일 측면에 따른 사용자 인터페이스 장치는, 사용자의 동작에 대응하는 명령에 따라 제어되는 인터렉티브 컨텐츠가 표시되는 디스플레이부, 사용자의 동작에 따른 신체 이미지 정보를 검출하는 센서부 및 상기 센서부에서 검출한 상기 신체 이미지 정보를 기반으로 골격정보를 검출하고, 상기 골격정보를 기반으로 기준길이 및 비교길이를 검출하고, 상기 기준길이와 상기 비교길이의 길이를 비교하여 그 결과에 따라 상기 디스플레이부에 표시되는 인터렉티브 컨텐츠를 제어하는 인터페이스부를 포함한다.
상기 사용자 인터페이스 장치는, 상기 인터페이스부와 통신망을 통해 연결되어 사용자의 동작에 대응하는 명령에 따라 제어되는 인터렉티브 컨텐츠가 표시되는 휴대용 단말기를 더 포함하되, 상기 휴대용 단말기에 표시되는 인터렉티브 컨텐츠는 상기 인터페이스부에 의해 제어될 수 있다.
상기 휴대용 단말기는, 사용자의 요청에 따라 인터렉티브 컨텐츠를 제어하기 위한 제어신호를 상기 인터페이스부에 송출하고, 상기 제어신호를 기반으로 상기 인터페이스부에 의해 제어되는 인터렉티브 컨텐츠를 표시하는 기능을 더 포함할 수 있다.
상기 인터페이스부는, 상기 골격정보에서 적어도 하나의 기준관절 및 상기 기준관절에 연결된 적어도 두개의 기준뼈를 추출하여 상기 기준관절의 일단에 연결된 제1 기준뼈의 길이와 상기 기준관절의 타단에 연결된 제2 기준뼈의 길이를 더한 값을 기준길이로 검출하고, 상기 기준관절의 일단에 연결된 제1 기준뼈의 단부와 상기 기준관절의 타단에 연결된 제2 기준뼈의 단부를 잇는 직선의 길이를 비교길이로 검출할 수 있다.
상기 인터페이스부는, 상기 비교부에서 비교한 결과 상기 비교길이가 상기 기준길이보다 길거나 동일한 경우, 사용자의 동작에 대응하는 명령에 따라 인터렉티브 컨텐츠를 제어할 수 있다.
본 발명에 의하면, 사용자의 동작에 따라 변화하는 골격정보를 기반으로 인터렉티브 컨텐츠를 제어함으로써, 종래 키보드, 마우스, 터치스크린 등으로 컨텐츠를 제어하는 것에 비하여 보다 실감나는 사용자 인터페이스 환경을 제공할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 인터렉티브 컨텐츠의 제어 방법을 도시한 흐름도이다.
도 2는 검출된 신체 이미지 정보를 도시한 도면이다.
도 3은 검출된 골격정보를 도시한 도면이다.
도 4는 사람의 골격을 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 사용자 인터페이스 장치의 구성을 도시한 블럭도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 인터렉티브 컨텐츠의 제어 방법을 도시한 흐름도로, 인터렉티브 컨텐츠 제어 방법은 사용자의 골격정보를 기반으로 사용자의 동작에 따라 인터렉티브 컨텐츠를 제어하기 위한 기준이 되는 기준길이를 검출하는 단계(100), 상기 골격정보를 기반으로 비교길이를 검출하는 단계(200) 및 상기 기준길이와 상기 비교길이를 비교한 결과에 따라 인터렉티브 컨텐츠를 제어하는 단계(300)를 포함한다.
또한, 본 발명의 일 실시예에 따른 인터렉티브 컨텐츠의 제어 방법은 도 5에 도시된 사용자 인터페이스 장치에서 실행된다.
단계 100은 사용자의 골격정보를 기반으로 사용자의 동작에 따라 인터렉티브 컨텐츠를 제어하기 위한 기준이 되는 기준길이를 검출하는 단계로, 사용자의 신체 이미지 정보를 검출하는 단계(110), 검출한 상기 신체 이미지 정보를 기반으로 사용자의 골격정보를 검출하는 단계(120), 상기 검출한 골격정보에서 적어도 하나의 기준관절 및 상기 기준관절에 연결된 적어도 두개의 기준뼈를 추출하는 단계(130) 및 상기 기준관절의 일단에 연결된 제1 기준뼈의 길이와 상기 기준관절의 타단에 연결된 제2 기준뼈의 길이를 더한 값을 기준길이로 검출하는 단계(140)를 더 포함하는 것을 특징으로 한다.
단계 110은 사용자의 신체 이미지 정보를 검출하는 단계로, 신체 이미지 정보는 센서부(20, 도 5)에서 검출되며 검출된 신체 이미지 정보는 도 2에 도시된 바와 같다. 즉, 신체 이미지 정보는 사용자의 외형을 말하는 것으로, 이때 사용자의 신체 이미지(Image) 정보만을 검출하거나, 사용자의 신체 동영상(video) 정보를 검출하고 검출한 신체 동영상(video) 정보 내에서 신체 이미지(Image) 정보를 검출할 수 있다.
또한, 사용자의 동작에 대응하는 명령에 따라 인터렉티브 컨텐츠가 제어되므로, 단계 110에서는 인터렉티브 컨텐츠를 제어하는 명령에 대응하는 사용자의 동작에 대한 신체 이미지 정보를 검출한다. 예를 들어, 사용자의 팔 동작에 대응하는 명령에 따라 인터렉티브 컨텐츠가 제어되는 경우에 사용자의 팔이 포함된 신체 이미지 정보를 검출하고, 사용자의 다리 동작에 대응하는 명령에 따라 인터렉티브 컨텐츠가 제어되는 경우에 사용자의 다리가 포함된 신체 이미지 정보를 검출한다.
단계 120은 단계 110에서 검출한 신체 이미지 정보를 기반으로 골격정보를 검출하는 단계로, 골격정보는 이미지 처리부(31, 도 5)에서 검출되며 검출된 골격정보는 도 3에 도시된 바와 같다.
도 2와 도 3을 참조하여 골격정보를 검출하는 과정에 대하여 상세하게 설명하면, 먼저 단계 110에서 검출한 신체 이미지 정보가 신체의 어느 부분에 해당하는지 분석하고, 이때 신체 이미지 정보의 전체적인 외형을 기준으로 신체의 어느 부분에 해당하는지 분석할 수 있다. 도 2를 분석하면 신체 이미지 정보가 사람의 상체를 나타내는 것을 알 수 있고, 분석한 결과에 따라 사람의 상체에 대한 골격정보를 검출한다. 이때, 도 4와 같은 사람의 기본 골격정보가 데이터베이스(미도시)에 미리 저장되어 있는 경우, 신체 이미지 정보가 사람의 상체를 나타내는 것으로 분석되면 데이터베이스(미도시)에 저장된 사람의 기본 골격정보 중에서 신체 이미지 정보에 대응하는 상체 골격정보를 추출하고, 추출한 상체 골격정보를 신체 이미지 정보의 비율과 동작상태에 맞도록 수정하고, 수정한 골격정보를 단계 120에서 검출한 골격정보로 한다. 이때, 골격정보를 도 3과 같이 개략적으로 나타낼 수도 있다.
또한, 단계 120에서 골격정보를 검출하는 방법은 상술한 설명에 한정되지 아니하며 다양한 방법으로 골격정보를 검출할 수 있다.
단계 130은 단계 120에서 검출된 골격정보를 기준으로 기준관절 및 기준관절에 연결된 기준뼈를 추출하는 단계로, 기준관절 및 기준뼈는 이미지 처리부(31, 도5)에서 추출된다. 여기에서 기준관절 및 기준뼈란 인터렉티브 컨텐츠를 제어하는 명령에 대응하는 사용자의 동작에 관련된 관절 및 뼈를 의미한다. 예를 들어, 사용자의 팔 동작에 대응하는 명령에 따라 인터렉티브 컨텐츠가 제어되는 경우에 기준관절은 해당 팔의 팔꿈치를 의미하고 기준뼈는 해당 팔의 팔꿈치에 연결된 뼈를 의미한다.
또한, 단계 130은 단계 120에서 검출된 골격정보에서 먼저 적어도 하나의 기준관절을 추출하고 추출한 기준관절에 연결된 적어도 두 개의 기준뼈를 추출한다. 도 3을 기준으로 상세하게 설명하면, 먼저 팔꿈치에 해당하는 기준관절을 추출하고, 팔꿈치로부터 어깨로 연장되어 형성된 하나의 기준뼈를 추출하고, 팔꿈치로부터 손목으로 연장되어 형성된 하나의 기준뼈를 추출한다. 또한, 단계 130에서 추출되는 기준관절 및 기준관절에 연결된 기준뼈는 상술한 설명에 한정되지 아니한다.
단계 140은 단계 130에서 추출된 기준관절 및 기준뼈를 기반으로 기준길이를 검출하는 단계로, 기준길이는 이미지 처리부(31, 도 5)에서 검출된다. 도 3을 기준으로 상세하게 설명하면, 기준관절의 일단에 연결된 제1 기준뼈의 길이(L1)를 검출하고 기준관절의 타단에 연결된 제2 기준뼈의 길이(L2)를 검출하고, 제1 기준뼈의 길이(L1)와 제2 기준뼈의 길이(L2)를 더하여 기준길이를 검출한다.
단계 200은 단계 130에서 추출한 기준관절 및 기준뼈를 기준으로 비교길이를 검출하는 단계로, 비교길이는 이미지 처리부(31, 도5)에서 검출된다. 도 3을 기준으로 상세하게 설명하면, 기준관절의 일단에 연결된 제1 기준뼈의 단부와 기준관절의 타단에 연결된 제2 기준뼈의 단부를 잇는 직선의 길이(L3)를 비교길이로 검출한다.
단계 300은 기준길이와 비교길이를 비교한 결과에 따라 인터렉티브 컨텐츠를 제어하는 단계로, 상기 기준길이와 상기 비교길이의 크기를 길이하는 단계(310) 및 비교한 결과 상기 비교길이가 상기 기준길이보다 길거나 동일한 경우, 사용자의 동작에 대응하는 명령에 따라 인터렉티브 컨텐츠를 제어하는 단계(320)를 더 포함하는 것을 특징으로 한다.
단계 310은 단계 100에서 검출된 기준길이와 단계 200에서 검출된 비교길이의 길이를 비교하는 단계로, 기준길이와 비교길이의 길이 비교는 분석부(32, 도 5)에서 이루어 진다. 즉, 단계 300은 비교길이가 기준길이 보다 길거나 동일한지 여부를 판단하는 단계로, 도 3을 기준으로 상세하게 설명하면 기준관절(즉, 팔꿈치)이 접혀있는 경우에 비교길이(L3)는 기준길이(L1+L2) 보다 작고 기준관절(즉, 팔꿈치)가 펴져있는 경우에는 비교길이(L3)는 기준길이(L1+L2)와 동일한 값을 가지므로, 이를 바탕으로 하여 기준길이와 비교길이의 크기를 비교한다. 이때, 비교길이(L3)가 기준길이(L1+L2) 보다 길거나 같으면 다음 단계로 단계 320을 거치고, 비교길이(L3)가 기준길이(L1+L2) 보다 짧으면 다음 단계로 단계 100을 거친다.
단계 320은 단계 310에서 비교한 결과에 따라 인터렉티브 컨텐츠를 제어하는 단계로, 인터렉티브 컨텐츠의 제어는 제어부(33, 도5)에서 이루어 진다. 단계 320은 단계 310에서 비교한 결과 비교길이가 기준길이 보다 길거나 동일한 경우에 사용자의 동작에 대응하는 명령에 따라 인터렉티브 컨텐츠를 제어한다. 예를 들어, 사용자가 팔을 펴는 동작을 하는 경우에 인터렉티브 컨텐츠의 소정 부분을 선택하는 명령을 송출하도록 설정된 경우, 단계 310에서 비교한 결과 비교길이(L3)가 기준길이(L1+L2) 보다 길거나 동일하면 인터렉티브 컨텐츠의 소정 부분을 선택하는 명령을 송출하고, 송출한 명령에 따라 인터렉티브 컨텐츠가 제어된다.
이상 본 발명의 일 실시예인 인터렉티브 컨텐츠의 제어 방법에 대하여 상세하게 설명하였다. 이하 본 발명의 일 실시예인 사용자 인터페이스 장치의 구성을 상세하게 설명한다.
도 5는 본 발명의 일 실시예에 따른 사용자 인터페이스 장치의 구성을 도시한 블럭도로, 사용자 인터페이스 장치는 사용자의 동작에 대응하는 명령에 따라 제어되는 인터렉티브 컨텐츠가 표시되는 디스플레이부(10) 사용자의 동작에 따른 신체 이미지 정보를 검출하는 센서부(20) 및 상기 센서부(20)에서 검출한 상기 신체 이미지 정보를 기반으로 골격정보를 검출하고, 상기 골격정보를 기반으로 기준길이 및 비교길이를 검출하고, 상기 기준길이와 상기 비교길이의 길이를 비교하여 그 결과에 따라 상기 디스플레이부(10)에 표시되는 인터렉티브 컨텐츠를 제어하는 인터페이스부(30)를 포함한다.
또한, 사용자 인터페이스 장치는 상기 인터페이스부(30)와 통신망을 통해 연결되어 사용자의 동작에 대응하는 명령에 따라 제어되는 인터렉티브 컨텐츠가 표시되는 휴대용 단말기(40)를 더 포함하되, 상기 휴대용 단말기(40)에 표시되는 인터렉티브 컨텐츠는 상기 인터페이스부(30)에 의해 제어되는 것을 특징으로 한다.
또한, 휴대용 단말기(40)는, 사용자의 요청에 따라 인터렉티브 컨텐츠를 제어하기 위한 제어신호를 상기 인터페이스부(30)에 송출하고, 상기 제어신호를 기반으로 상기 인터페이스부(30)에 의해 제어되는 인터렉티브 컨텐츠를 표시하는 기능을 더 포함할 수 있다.
디스플레이부(10)는 사용자의 동작에 대응하는 명령에 따라 제어되는 인터렉티브 컨텐츠가 표시되며, 인터렉티브 컨텐츠를 제어하는 명령은 인터페이스부(30)로부터 송출된다.
센서부(20)는 사용자의 동작에 따른 신체 이미지 정보를 검출하는 것으로, 사용자의 신체 이미지(Image) 정보만을 검출할 수 있고, 사용자의 신체 동영상(video) 정보를 검출하고 검출한 신체 동영상(video) 정보 내에서 신체 이미지(Image) 정보를 검출할 수도 있으며, 센서부(20)에서 검출된 신체 이미지 정보는 인터페이스부(30)의 이미지 처리부(31)로 제공된다. 또한, 센서부(20)로 2D 카메라, 3D 카메라 등을 사용할 수 있다.
또한, 사용자의 동작에 대응하는 명령에 따라 인터렉티브 컨텐츠가 제어되므로, 센서부(20)는 인터렉티브 컨텐츠를 제어하는 명령에 대응하는 사용자의 동작에 대한 신체 이미지 정보를 검출한다. 예를 들어, 사용자의 팔 동작에 대응하는 명령에 따라 인터렉티브 컨텐츠가 제어되는 경우에 사용자의 팔이 포함된 신체 이미지 정보를 검출하고, 사용자의 다리 동작에 대응하는 명령에 따라 인터렉티브 컨텐츠가 제어되는 경우에 사용자의 다리가 포함된 신체 이미지 정보를 검출한다.
인터페이스부(30)는 이미지 처리부(31), 분석부(32) 및 제어부(33)를 포함할 수 있으며, 이미지 처리부(31)는 센서부(20)에서 검출된 신체 이미지 정보를 기반으로 골격정보를 검출하고, 검출한 골격정보를 기반으로 기준관절 및 기준뼈를 검출하고, 검출한 기준관절 및 기준뼈를 기반으로 기준길이 및 비교길이를 검출한다.
도 2와 도 3을 참조하여 골격정보를 검출하는 과정에 대하여 상세하게 설명하면, 먼저 센서부(20)에서 검출한 신체 이미지 정보가 신체의 어느 부분에 해당하는지 분석하고, 이때 신체 이미지 정보의 전체적인 외형을 기준으로 신체의 어느 부분에 해당하는지 분석할 수 있다. 도 2를 분석하면 신체 이미지 정보가 사람의 상체를 나타내는 것을 알 수 있고, 분석한 결과에 따라 사람의 상체에 대한 골격정보를 검출한다. 이때, 도 4와 같은 사람의 기본 골격정보가 데이터베이스(미도시)에 미리 저장되어 있는 경우, 신체 이미지 정보가 사람의 상체를 나타내는 것으로 분석되면 데이터베이스(미도시)에 저장된 사람의 기본 골격정보 중에서 신체 이미지 정보에 대응하는 상체 골격정보를 추출하고, 추출한 상체 골격정보를 신체 이미지 정보의 비율과 동작상태에 맞도록 수정하고, 수정한 골격정보를 이미지 처리부(31)에서 검출한 골격정보로 한다. 이때, 골격정보를 도 3과 같이 개략적으로 나타낼 수도 있다.
또한, 이미지 처리부(31)에서 골격정보를 검출하는 과정은 상술한 설명에 한정되지 아니하며 다양한 방법으로 골격정보를 검출할 수 있다.
또한, 이미지 처리부(31)는 검출된 골격정보에서 적어도 하나의 기준관절을 추출하고 추출한 기준관절에 연결된 적어도 두 개의 기준뼈를 추출한다. 여기에서 기준관절 및 기준뼈란 인터렉티브 컨텐츠를 제어하는 명령에 대응하는 사용자의 동작에 관련된 관절 및 뼈를 의미하다. 예를 들어, 사용자의 팔 동작에 대응하는 명령에 따라 인터렉티브 컨텐츠가 제어되는 경우에 기준관절은 해당 팔의 팔꿈치를 의미하고 기준뼈는 해당 팔의 팔꿈치에 연결된 뼈를 의미한다. 도 3을 기준으로 상세하게 설명하면, 먼저 팔꿈치에 해당하는 기준관절을 추출하고, 팔꿈치로부터 어깨로 연장되어 형성된 하나의 기준뼈를 추출하고, 팔꿈치로부터 손목으로 연장되어 형성된 하나의 기준뼈를 추출한다. 또한, 이미지 처리부(31)에서 추출되는 기준관절 및 기준관절에 연결된 기준뼈는 상술한 설명에 한정되지 아니한다.
또한, 이미지 처리부(31)는 추출한 기준관절 및 기준뼈를 기반으로 기준길이를 검출한다. 도 3을 기준으로 상세하게 설명하면, 기준관절의 일단에 연결된 제1 기준뼈의 길이(L1)를 검출하고 기준관절의 타단에 연결된 제2 기준뼈의 길이(L2)를 검출하고, 제1 기준뼈의 길이(L1)와 제2 기준뼈의 길이(L2)를 더하여 기준길이를 검출한다.
또한, 이미지 처리부(31)는 추출한 기준관절 및 기준뼈를 기준으로 비교길이를 검출한다. 도 3을 기준으로 상세하게 설명하면, 기준관절의 일단에 연결된 제1 기준뼈의 단부와 기준관절의 타단에 연결된 제2 기준뼈의 단부를 잇는 직선의 길이(L3)를 비교길이로 검출한다. 또한, 이미지 처리부(31)에서 검출된 기준길이 및 비교길이는 분석부(32)에 제공된다.
분석부(32)는 이미지 처리부(31)에서 검출된 기준길이와 비교길이의 길이를 비교한다. 도 3을 기준으로 상세하게 설명하면, 기준관절(즉, 팔꿈치)이 접혀있는 경우에 비교길이(L3)는 기준길이(L1+L2) 보다 작고 기준관절(즉, 팔꿈치)가 펴져있는 경우에는 비교길이(L3)는 기준길이(L1+L2)와 동일한 값을 가지므로, 이를 바탕으로 하여 기준길이와 비교길이의 길이를 비교하고, 비교한 결과를 제어부(33)에 제공한다.
제어부(33)는 분석부(32)에서 비교한 결과에 따라 디스플레이부(10)에 표시되는 인터렉티브 컨텐츠를 제어한다. 즉, 비교길이가 기준길이 보다 길거나 동일한 경우에 사용자의 동작에 대응하는 명령에 따라 인터렉티브 컨텐츠를 제어한다. 예를 들어, 사용자가 팔을 펴는 동작을 하는 경우에 인터렉티브 컨텐츠의 소정 부분을 선택하도록 설정된 경우, 분석부(32)에서 비교한 결과 비교길이(L3)가 기준길이(L1+L2) 보다 길거나 동일하면 인터렉티브 컨텐츠의 소정 부분을 선택한다.
휴대용 단말기(40)는 인터페이스부(30)와 통신망을 통해 연결되어 사용자의 동작에 대응하는 명령에 따라 제어되는 인터렉티브 컨텐츠가 표시되며, 휴대용 단말기(40)에 표시되는 인터렉티브 컨텐츠는 인터페이스부(30)에 의해 제어된다. 또한, 휴대용 단말기(40)로, 스마트폰, 테블릿, PDA 등 통신 가능한 모든 단말기를 사용할 수 있다.
또한, 휴대용 단말기(40)는 사용자의 동작에 대응하는 명령을 기반으로 인터페이스부(30)가 제어하는 인터렉티브 컨텐츠를 표시할 뿐만 아니라, 사용자의 요청에 따라 인터렉티브 컨텐츠를 제어하기 위한 제어신호를 인터페이스부(30)에 송출하고, 제어신호를 기반으로 인터페이스부(30)에 의해 제어되는 인터렉티브 컨텐츠를 표시하는 기능을 더 포함할 수 있다. 이때, 제어신호는 휴대용 단말기(40)에 구비된 물리적 인터페이스 장치(예를 들어, 키패드, 터치스크린 등)를 사용하여 발생시킬 수 있으며, 또한 상술한 설명과 같이 휴대용 단말기(40)에 구비된 카메라를 통해 검출한 신체 이미지 정보를 기반으로 골격정보를 검출하고, 골격정보를 기반으로 기준길이 및 비교길이를 검출하고, 기준길이와 비교길이를 비교한 결과에 따른 제어신호를 발생시킬 수 있다.
또한, 인터페이스부(30)는 휴대용 단말기(40)로부터 제공받은 제어신호에 따라 휴대용 단말기(40)에 표시되는 인터렉티브 컨텐츠를 제어할 뿐만 아니라, 디스플레이부(10)에 표시되는 인터렉티브 컨텐츠를 제어할 수 있다. 즉, 사용자의 요청에 따라 휴대용 단말기(40)에서 인터페이스부(30)로 송출된 제어신호는 휴대용 단말기(40)에 표시되는 인터렉티브 컨텐츠와 디스플레이부(30)에 표시되는 인터렉티브 컨텐츠를 동시에 제어할 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10 : 디스플레이부
20 : 센서부
30 : 인터페이스부
31 : 이미지 처리부
32 : 분석부
33 : 제어부
40 : 휴대용 단말기

Claims (9)

  1. 사용자의 골격정보를 기반으로 사용자의 동작에 따라 인터렉티브 컨텐츠를 제어하기 위한 기준이 되는 기준길이를 검출하는 단계;
    상기 골격정보를 기반으로 기준관절에 연결된 적어도 두 개의 기준뼈 말단을 잇는 직선의 길이를 지시하는 비교길이를 검출하는 단계; 및
    상기 기준길이와 상기 비교길이를 비교한 결과에 따라 인터렉티브 컨텐츠를 제어하는 단계를 포함하는 인터렉티브 컨텐츠의 제어 방법.
  2. 제1항에 있어서, 상기 기준길이를 검출하는 단계는,
    사용자의 신체 이미지 정보를 검출하는 단계;
    검출한 상기 신체 이미지 정보를 기반으로 사용자의 골격정보를 검출하는 단계;
    상기 검출한 골격정보에서 적어도 하나의 기준관절 및 상기 기준관절에 연결된 적어도 두 개의 기준뼈를 추출하는 단계; 및
    상기 기준관절의 일단에 연결된 제1 기준뼈의 길이와 상기 기준관절의 타단에 연결된 제2 기준뼈의 길이를 더한 값을 기준길이로 검출하는 단계를 더 포함하는 것을 특징으로 하는 인터렉티브 컨텐츠의 제어 방법.
  3. 제2항에 있어서, 상기 비교길이를 검출하는 단계는,
    상기 기준관절의 일단에 연결된 제1 기준뼈의 단부와 상기 기준관절의 타단에 연결된 제2 기준뼈의 단부를 잇는 직선의 길이를 비교길이로 검출하는 것을 특징으로 하는 인터렉티브 컨텐츠의 제어 방법.
  4. 제1항 내지 제3항 중 어느 하나에 있어서, 상기 기준길이와 상기 비교길이를 비교한 결과에 따라 인터렉티브 컨텐츠를 제어하는 단계는,
    상기 기준길이와 상기 비교길이의 길이를 비교하는 단계; 및
    비교한 결과 상기 비교길이가 상기 기준길이보다 길거나 동일한 경우, 사용자의 동작에 대응하는 명령에 따라 인터렉티브 컨텐츠를 제어하는 단계를 더 포함하는 것을 특징으로 하는 인터렉티브 컨텐츠의 제어 방법.
  5. 사용자의 동작에 대응하는 명령에 따라 제어되는 인터렉티브 컨텐츠가 표시되는 디스플레이부;
    사용자의 동작에 따른 신체 이미지 정보를 검출하는 센서부; 및
    상기 센서부에서 검출한 상기 신체 이미지 정보를 기반으로 골격정보를 검출하고, 상기 골격정보를 기반으로 사용자의 동작에 따라 인터렉티브 컨텐츠를 제어하기 위한 기준이 되는 기준길이 및 기준관절에 연결된 두 개의 기준뼈 말단을 잇는 직선의 길이를 지시하는 비교길이를 검출하고, 상기 기준길이와 상기 비교길이의 길이를 비교하여 그 결과에 따라 상기 디스플레이부에 표시되는 인터렉티브 컨텐츠를 제어하는 인터페이스부를 포함하는 사용자 인터페이스 장치.
  6. 제5항에 있어서, 상기 사용자 인터페이스 장치는,
    상기 인터페이스부와 통신망을 통해 연결되어 사용자의 동작에 대응하는 명령에 따라 제어되는 인터렉티브 컨텐츠가 표시되는 휴대용 단말기를 더 포함하되,
    상기 휴대용 단말기에 표시되는 인터렉티브 컨텐츠는 상기 인터페이스부에 의해 제어되는 것을 특징으로 하는 사용자 인터페이스 장치.
  7. 제6항에 있어서, 상기 휴대용 단말기는,
    사용자의 요청에 따라 인터렉티브 컨텐츠를 제어하기 위한 제어신호를 상기 인터페이스부에 송출하고, 상기 제어신호를 기반으로 상기 인터페이스부에 의해 제어되는 인터렉티브 컨텐츠를 표시하는 기능을 더 포함하는 것을 특징으로 하는 사용자 인터페이스 장치.
  8. 제5항 또는 제7항에 있어서, 상기 인터페이스부는,
    상기 골격정보에서 적어도 하나의 기준관절 및 상기 기준관절에 연결된 적어도 두 개의 기준뼈를 추출하여 상기 기준관절의 일단에 연결된 제1 기준뼈의 길이와 상기 기준관절의 타단에 연결된 제2 기준뼈의 길이를 더한 값을 기준길이로 검출하고, 상기 기준관절의 일단에 연결된 제1 기준뼈의 단부와 상기 기준관절의 타단에 연결된 제2 기준뼈의 단부를 잇는 직선의 길이를 비교길이로 검출하는 것을 특징으로 하는 사용자 인터페이스 장치.
  9. 제8항에 있어서, 상기 인터페이스부는,
    상기 비교길이가 상기 기준길이보다 길거나 동일한 경우, 사용자의 동작에 대응하는 명령에 따라 인터렉티브 컨텐츠를 제어하는 것을 특징으로 하는 사용자 인터페이스 장치.
KR1020110070972A 2011-07-18 2011-07-18 인터렉티브 컨텐츠의 제어 방법 및 이를 이용한 사용자 인터페이스 장치 KR101695638B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110070972A KR101695638B1 (ko) 2011-07-18 2011-07-18 인터렉티브 컨텐츠의 제어 방법 및 이를 이용한 사용자 인터페이스 장치
US13/550,801 US20130021245A1 (en) 2011-07-18 2012-07-17 Interactive content control method and user interface apparatus using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110070972A KR101695638B1 (ko) 2011-07-18 2011-07-18 인터렉티브 컨텐츠의 제어 방법 및 이를 이용한 사용자 인터페이스 장치

Publications (2)

Publication Number Publication Date
KR20130010278A KR20130010278A (ko) 2013-01-28
KR101695638B1 true KR101695638B1 (ko) 2017-01-13

Family

ID=47555429

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110070972A KR101695638B1 (ko) 2011-07-18 2011-07-18 인터렉티브 컨텐츠의 제어 방법 및 이를 이용한 사용자 인터페이스 장치

Country Status (2)

Country Link
US (1) US20130021245A1 (ko)
KR (1) KR101695638B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111803327B (zh) * 2020-07-02 2022-09-09 山东康盛医疗器械有限公司 基于人体部位检测的骨骼拉伸系统以及相应终端
KR102366102B1 (ko) * 2021-08-20 2022-02-24 주식회사 조이펀 3차원 캐릭터 기반 실감형 인터렉티브 운동 컨텐츠 제공 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008065368A (ja) 2006-09-04 2008-03-21 Kyushu Institute Of Technology ステレオ画像を利用した物体の位置および姿勢認識システム、物体の位置および姿勢認識方法、およびこの方法を実行するプログラム
US20100277470A1 (en) 2009-05-01 2010-11-04 Microsoft Corporation Systems And Methods For Applying Model Tracking To Motion Capture
US20100302138A1 (en) 2009-05-29 2010-12-02 Microsoft Corporation Methods and systems for defining or modifying a visual representation

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5767861A (en) * 1994-08-11 1998-06-16 Kabushiki Kaisha Sega Enterprises Processing apparatus and method for displaying a moving figure constrained to provide appearance of fluid motion
KR100426313B1 (ko) * 2001-12-28 2004-04-06 한국전자통신연구원 영상 제작에서 관절형 객체 자세 변경 방법
US8253746B2 (en) * 2009-05-01 2012-08-28 Microsoft Corporation Determine intended motions
KR101307341B1 (ko) * 2009-12-18 2013-09-11 한국전자통신연구원 동적 개체 모션 캡쳐 방법 및 그 장치
US20110221755A1 (en) * 2010-03-12 2011-09-15 Kevin Geisner Bionic motion
US8523667B2 (en) * 2010-03-29 2013-09-03 Microsoft Corporation Parental control settings based on body dimensions
US8457353B2 (en) * 2010-05-18 2013-06-04 Microsoft Corporation Gestures and gesture modifiers for manipulating a user-interface
US8749557B2 (en) * 2010-06-11 2014-06-10 Microsoft Corporation Interacting with user interface via avatar

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008065368A (ja) 2006-09-04 2008-03-21 Kyushu Institute Of Technology ステレオ画像を利用した物体の位置および姿勢認識システム、物体の位置および姿勢認識方法、およびこの方法を実行するプログラム
US20100277470A1 (en) 2009-05-01 2010-11-04 Microsoft Corporation Systems And Methods For Applying Model Tracking To Motion Capture
US20100302138A1 (en) 2009-05-29 2010-12-02 Microsoft Corporation Methods and systems for defining or modifying a visual representation

Also Published As

Publication number Publication date
US20130021245A1 (en) 2013-01-24
KR20130010278A (ko) 2013-01-28

Similar Documents

Publication Publication Date Title
US10511778B2 (en) Method and apparatus for push interaction
US20170361216A1 (en) Method and system incorporating real environment for virtuality and reality combined interaction
CN110456907A (zh) 虚拟画面的控制方法、装置、终端设备及存储介质
CN104914989B (zh) 姿势辨识装置以及姿势辨识装置的控制方法
KR20140107062A (ko) 자세 훈련 시스템 및 자세 훈련 시스템의 동작방법
KR102241414B1 (ko) 머신 러닝 모델을 이용한 특정 움직임에 대한 피드백을 제공하는 전자 장치 및 그 동작 방법
KR102021851B1 (ko) 가상현실 환경에서의 사용자와 객체 간 상호 작용 처리 방법
CN110298309A (zh) 基于图像的动作特征处理方法、装置、终端及存储介质
CN105912102B (zh) 一种信息处理方法和电子设备
JP2020141806A (ja) 運動評価システム
WO2023040449A1 (zh) 利用健身动作触发客户端操作指令
KR101695638B1 (ko) 인터렉티브 컨텐츠의 제어 방법 및 이를 이용한 사용자 인터페이스 장치
WO2013114988A1 (ja) 情報表示装置、情報表示システム、情報表示方法およびプログラム
CN108983956B (zh) 体感交互方法及装置
WO2022137450A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN117083633A (zh) 动作改善装置、动作改善方法、动作改善程序以及动作改善系统
KR20150044243A (ko) 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치 및 방법
Thakar et al. Hand gesture controlled gaming application
KR20220052450A (ko) 골프 스윙 연습 보조 방법 및 장치
Li et al. Fitness coach: Design and implementation of a smart mirror based on automatic image recognition and action model comparison
CN114225388B (zh) 机器人游戏系统和游戏方法
CN107085467A (zh) 一种手势识别方法及装置
CN105975058A (zh) 虚拟现实一体机的控制方法及装置
KR20110068512A (ko) 3차원 공간 입출력 장치 및 방법
AU2021463303A1 (en) Electronic apparatus and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant