KR20230057036A - 모션인식 기반의 콘텐츠 제공 장치 - Google Patents

모션인식 기반의 콘텐츠 제공 장치 Download PDF

Info

Publication number
KR20230057036A
KR20230057036A KR1020210140979A KR20210140979A KR20230057036A KR 20230057036 A KR20230057036 A KR 20230057036A KR 1020210140979 A KR1020210140979 A KR 1020210140979A KR 20210140979 A KR20210140979 A KR 20210140979A KR 20230057036 A KR20230057036 A KR 20230057036A
Authority
KR
South Korea
Prior art keywords
motion
user
content
output
providing device
Prior art date
Application number
KR1020210140979A
Other languages
English (en)
Inventor
최주용
Original Assignee
주식회사 뉴토
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 뉴토 filed Critical 주식회사 뉴토
Priority to KR1020210140979A priority Critical patent/KR20230057036A/ko
Publication of KR20230057036A publication Critical patent/KR20230057036A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

모션인식 기반의 콘텐츠 제공 장치가 제공된다. 본 발명의 몇몇 실시예에 따른 콘텐츠 제공 장치는 사용자로부터 터치 입력을 수신하고, 출력 이미지를 디스플레이하는 터치스크린, 사용자의 모션을 인식하는 모션인식 센서부, 터치스크린에 의해 출력되는 적어도 하나의 콘텐츠를 저장하는 메모리 및 터치 입력에 기초하여 출력 콘텐츠를 결정하고, 사용자의 모션에 기초하여 출력 이미지를 결정하는 프로세서를 포함하되, 프로세서는 사용자의 모션에서 기정의된 관절 및 뼈에 대한 타겟 포인트의 모션 정보를 추출하고, 타겟 포인트의 위치 정보에 기초하여 출력 이미지를 결정할 수 있다.

Description

모션인식 기반의 콘텐츠 제공 장치{CONTENT PROVIDING DEVICE BASED ON MOTION RECOGNITION}
본 발명은 콘텐츠 제공 장치에 관한 것으로, 더욱 상세하게는 센서부에 의해 획득되는 사용자의 모션 정보에 기초하여 출력되는 콘텐츠를 결정하고, 가상 오브젝트 및 가상 프레임을 통해 입체감을 향상시킨 모션인식 기반의 콘텐츠 제공 장치에 관한 것이다.
최근 센서 기술의 발달에 따라 사용자의 움직임(모션)을 인식하여 이로부터 사용자 명령을 추출하고 해당 명령에 따른 동작을 수행하는 제어기술이 활발하게 연구되어 프로젝터, 디스플레이 등을 이용하여 객체에 영상을 투사하는 기법과 함께 사용되고 있다.
이와 관련하여 키넥트 센서 등을 통해 사용자의 손동작을 감지하고, 이에 기초하여 VR(Virtual Reality) 영상을 포함하는 콘텐츠 제공 화면을 출력하는 콘텐츠 서비스 시스템이 국내공개특허공보 공개번호 제2018-0071492호로 제안된 바 있다.
다만, 상기의 문헌은 실제로 사용자가 물체를 응시하는 신체부위(예를 들어, 눈, 얼굴, 상체)가 아닌 손 동작에 기초하여 명령을 생성하고, 단순히 특정 물체에 대한 2차원 이미지(영상)을 제공함으로써 사용자 중심의 상호교감 효과가 떨어진다는 한계가 존재한다.
국내공개특허공보 공개번호 제2018-0071492호 (2018.06.28. 공개)
본 발명이 해결하고자 하는 기술적 과제는 사용자의 모션에서 타겟 포인트를 추출하고, 이에 기초하여 콘텐츠의 출력 이미지를 결정함으로써 정확도 및 인터랙티브 효과가 향상된 콘텐츠 제공 장치를 제공하는 것이다.
또한, 가상의 오브젝트 및 가상의 프레임을 출력 콘텐츠와 함께 디스플레이함으로써, 입체감 및 인터랙티브 효과가 향상된 콘텐츠 제공 장치를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 해당 기술 분야의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 몇몇 실시예에 따른 콘텐츠 제공 장치는 사용자로부터 터치 입력을 수신하고, 출력 이미지를 디스플레이하는 터치스크린, 사용자의 모션을 인식하는 모션인식 센서부, 터치스크린에 의해 출력되는 적어도 하나의 콘텐츠를 저장하는 메모리 및 터치 입력에 기초하여 출력 콘텐츠를 결정하고, 사용자의 모션에 기초하여 출력 이미지를 결정하는 프로세서를 포함할 수 있다.
몇몇 실시예에 따라, 프로세서는 사용자의 모션에서 기정의된 관절 및 뼈에 대한 타겟 포인트의 모션 정보를 추출하고, 타겟 포인트의 위치 정보에 기초하여 출력 이미지를 결정할 수 있다.
몇몇 실시예에 따라, 타겟 포인트는 상기 사용자의 좌우 견관절, 쇄골, 경추 및 두개골을 포함할 수 있다.
이 때, 프로세서는 타겟 포인트를 각각의 기준 위치와 비교하고, 비교 결과에 기초하여 출력 이미지를 결정할 수 있다.
몇몇 실시예에 따라, 출력 이미지는 출력 콘텐츠가 표시되는 메인 영역, 메인 영역의 상측, 하측, 좌측, 우측 중 적어도 하나의 영역에 배치되는 가상 프레임 및 메인 영역과 적어도 일부분이 중첩되는 가상 오브젝트를 포함할 수 있다.
이 때, 프로세서는 타겟 포인트의 위치 정보에 기초하여 메인 영역, 가상 프레임 및 가상 오브젝트의 위치를 결정할 수 있다.
이 때, 타겟 포인트는 사용자의 좌우 견관절, 쇄골, 경추 및 두개골을 포함할 수 있다.
본 발명의 다른 실시예에 따른 콘텐츠 제공 장치는 사용자로부터 터치 입력을 수신하고, 출력 이미지를 디스플레이하는 터치스크린, 사용자의 모션을 인식하는 모션인식 센서부 터치스크린에 의해 출력되는 적어도 하나의 콘텐츠를 저장하는 메모리 및 터치 입력에 기초하여 출력 콘텐츠를 결정하고, 사용자의 모션에 기초하여 상기 출력 이미지를 결정하는 프로세서를 포함하되, 출력 이미지는 출력 콘텐츠가 표시되는 메인 영역, 메인 영역의 상측, 하측, 좌측, 우측 중 적어도 하나의 영역에 배치되는 가상 프레임 및 메인 영역과 적어도 일부분이 중첩되는 가상 오브젝트를 포함할 수 있다.
이 때, 프로세서는 사용자의 모션에 기초하여 메인 영역, 가상 프레임 및 가상 오브젝트의 위치를 결정할 수 있다.
몇몇 실시예에 따라, 사용자의 모션이 기정의된 기준 위치보다 좌측 또는 우측으로 이동한 경우 출력 콘텐츠의 좌우 각도를 변경하고, 가상 프레임의 좌측 및 우측 영역의 길이를 변경할 수 있다.
몇몇 실시예에 따라, 사용자의 모션이 기준 위치보다 상측 또는 하측으로 이동한 경우 출력 콘텐츠의 상하 각도를 변경하고, 가상 프레임의 상측 및 하측 영역의 길이를 변경할 수 있다.
몇몇 실시예에 따라, 프로세서는 사용자의 모션이 기준 위치보다 좌측 또는 우측으로 이동한 경우 가상 오브젝트가 회전하도록 제어할 수 있다.
몇몇 실시예에 따라, 프로세서는 사용자의 모션이 기준 위치보다 모션인식 센서부와의 거리가 가까워지는 전측 또는 모션인식 센서부와의 거리가 멀어지는 후측으로 이동한 경우 가상 오브젝트가 크기가 변경되도록 제어할 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
도 1은 본 발명의 몇몇 실시예에 따른 모션인식 기반의 콘텐츠 제공 장치를 설명하기 위한 블록도이다.
도 2는 콘텐츠 제공 장치의 각 구성을 설명하기 위한 도면이다.
도 3 및 도 4는 본 발명의 몇몇 실시예에 따른 콘텐츠 제공 장치의 동작을 설명하기 위한 순서도이다.
도 5a 내지 도 6b는 본 발명의 몇몇 실시예에 따라, 타겟 포인트에 기초하여 출력 이미지를 디스플레이하는 동작을 설명하기 위한 도면이다.
도 7은 본 발명의 몇몇 실시예에 따른 콘텐츠 제공 장치의 동작을 설명하기 위한 순서도이다.
도 8은 모션인식 센서부에 의해 인식되어 결정되는 사용자의 위치정보를 설명하기 위한 도면이다.
도 9a 내지 도 9i는 도 8의 각각의 영역에 사용자가 위치한다고 판단되는 경우의 출력 이미지를 예시적으로 표현한 도면이다.
도 10a 및 도 10b는 사용자가 전측 또는 후측으로 이동하였다고 판단되는 경우의 출력 이미지를 예시적으로 표현한 도면이다.
이하, 본 발명의 다양한 실시예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다.
이하에서, 도 1 내지 도 10b를 참조하여 본 발명의 몇몇 실시예에 따른 모션인식 기반의 콘텐츠 제공 장치 및 그 동작을 설명한다.
도 1은 본 발명의 몇몇 실시예에 따른 모션인식 기반의 콘텐츠 제공 장치를 설명하기 위한 블록도이다.
도 1을 참조하면, 본 발명의 몇몇 실시예에 따른 콘텐츠 제공 장치(1000)는 터치스크린(1100), 모션인식 센서부(1200), 메모리(1300), 프로세서(1400) 및 데이터 버스(1500)를 포함할 수 있다.
터치스크린(1100)은 사용자로부터 터치 입력(TOUCH_IN)을 수신하고, 출력 이미지(IMAGE_OUT)를 디스플레이하도록 구현될 수 있다. 예를 들어, 터치 입력(TOUCH_IN)을 수신하도록 터치 센서, 터치 패널 등을 구비하고, 영상을 출력하는 PC의 모니터, TV, 키오스크 등 이미지를 출력하는 모든 종류의 장치로 구현될 수 있다. 몇몇 실시예에 따라, 터치스크린(1100)은 외벽에 고정되어 설치될 수 있고, 사용자로부터 물리적인 터치 입력(TOUCH_IN)을 수신하여 콘텐츠의 지역, 시간, 계절, 날씨 등 콘텐츠의 선택 정보를 획득하고, 프로세서(1400)의 제어에 따라 출력 이미지(IMAGE_OUT)를 출력할 수 있다.
모션인식 센서부(1200)는 터치스크린(1100)의 주변 또는 터치스크린(1100)의 상부, 하부, 일측, 타측 중 어느 한 부위에 구비될 수 있고, 모션인식 센서부(1200)의 전방에 위치한 사용자의 모션을 인식할 수 있다. 몇몇 실시예에 따라, 모션인식 센서부(1200)는 좌우측 35도의 범위 안에 위치하는 사용자의 모션을 센싱할 수 있다. 몇몇 실시예에 따라, 모션인식 센서부(1200)는 모션인식 센서부(1200)로부터의 거리가 50cm 내지 380cm 범위에 위치하는 사용자의 모션을 인식하도록 구현될 수 있다. 다만, 이는 예시적인 것으로 모션인식 센서부(1200)가 인식할 수 있는 사용자의 위치 및 범위는 변경하여 적용될 수 있음은 물론이다.
메모리(1300)는 터치스크린(1100)의 주변 또는 터치스크린(1100)과 일체로 구현될 수 있고, 콘텐츠 제공 장치(1000)에 의해 출력될 수 있는 적어도 하나의 콘텐츠를 저장할 수 있다. 예를 들어, 메모리(1300)에 저장되는 콘텐츠는 서로 다른 지역, 위치, 시간 등에 촬영된 이미지, 영상 등의 콘텐츠일 수 있다.
프로세서(1400)는 터치스크린(1100)의 주변 또는 터치스크린(1100)과 일체로 구현될 수 있고, 터치스크린(1100)에 의해 획득된 터치 입력(TOUCH_IN) 및 모션인식 센서부(1200)에 의해 획득된 사용자 모션(MOTION_USER)에 기초하여, 터치스크린(1100)으로 출력되는 출력 이미지(IMAGE_OUT)를 결정할 수 있다. 프로세서(1400)의 동작에 관하여는 이하에서 상세히 후술한다.
도 2는 콘텐츠 제공 장치의 각 구성을 설명하기 위한 도면이고, 도 3 및 도 4는 본 발명의 몇몇 실시예에 따른 콘텐츠 제공 장치의 동작을 설명하기 위한 순서도이다.
도 2 및 도 3을 참조하면, 본 발명의 몇몇 실시예에 따른 콘텐츠 제공 장치(1000)는 터치 입력(TOUCH_IN)에 기초하여 출력 콘텐츠(CONTENT_OUT)를 결정하고, 사용자 모션(MOTION_USER)에 기초하여 출력 이미지(IMAGE_OUT)를 결정하여 출력할 수 있다. 이 때, 출력 이미지(IMAGE_OUT)는 출력 콘텐츠(CONTENT_OUT)가 표시되는 메인 영역(AREA_Main), 메인 영역(AREA_Main)의 주위에 표시되는 가상 프레임(FRAME_VT) 및 메인 영역(AREA_Main)과 적어도 일부가 중첩되어 표시되는 가상 오브젝트(OBJECT_VT)를 포함할 수 있다. 메인 영역(AREA_Main), 가상 프레임(FRAME_VT) 및 가상 오브젝트(OBJECT_VT)가 출력되는 실시예는 도 7 이하를 참조하여 후술하도록 한다.
S1100 단계에서, 터치스크린(1100)에서 사용자로부터 터치 입력(TOUCH_IN)을 수신할 수 있다. 터치스크린(1100)에는 사용자에게 출력 가능한 적어도 하나의 콘텐츠, 콘텐츠에 적용되는 계절, 날씨, 시간 등에 대한 선택 화면이 제공될 수 있고, 터치 입력(TOUCH_IN)은 상기의 정보 중 선택되는 적어도 하나의 정보를 포함할 수 있다.
S1200 단계에서, 터치 입력(TOUCH_IN)에 기초하여 출력 콘텐츠(CONTENT_OUT)가 결정될 수 있다. 터치스크린(1100)에 의해 획득된 터치 입력(TOUCH_IN)에 대한 터치 데이터(DT_TOUCH)가 프로세서(1400)로 제공될 수 있고, 이 때 터치 데이터(DT_TOUCH)는 터치 입력(TOUCH_IN)에 포함된 사용자의 선택 정보가 포함될 수 있다. 프로세서(1400)는 터치 데이터(DT_TOUCH)에 포함되는 콘텐츠 정보에 기초하여 출력 콘텐츠(CONTENT_OUT)를 결정하고, 메모리(1300)로부터 출력 콘텐츠(CONTENT_OUT)를 독출(read)할 수 있다. 이 때, 출력 콘텐츠(CONTENT_OUT)는 사용자에 의해 입력된 터치 입력(TOUCH_IN)에 포함되는 선택 콘텐츠일 수 있다. 몇몇 실시예에 따라, 터치 입력(TOUCH_IN)에 포함되는 콘텐츠의 종류뿐만 아니라, 콘텐츠에 적용되는 계절, 날씨, 시간 등에 대한 정보가 출력 콘텐츠(CONTENT_OUT)에 포함될 수 있다.
S1300 단계에서, 모션인식 센서부(1200)에 의해 사용자 모션(MOTION_USER)이 인식될 수 있다.
S1400 단계에서, 사용자 모션(MOTION_USER)에 기초하여 출력 이미지(IMAGE_OUT)를 결정할 수 있다. 몇몇 실시예에 따라, 프로세서(1400)는 모션인식 센서부(1200)로부터 사용자 모션 데이터(DT_MOTION)를 수신하고, 이에 기초하여 출력 이미지(IMAGE_OUT)를 결정할 수 있다. 즉, 사용자의 터치 입력(TOUCH_IN)에 기초하여 출력 콘텐츠(CONTENT_OUT)를 결정하고, 출력 콘텐츠(CONTENT_OUT)가 디스플레이되는 방식, 형태 등을 결정하여 최종 출력 이미지(IMAGE_OUT)를 결정할 수 있다. 이 때, 출력 이미지(IMAGE_OUT)는 모션 데이터(DT_MOTION)에 기초하여 결정될 수 있다.
S1500 단계에서, 결정된 출력 이미지(IMAGE_OUT)를 출력할 수 있다. 몇몇 실시예에 따라, 프로세서(1400)는 결정된 출력 콘텐츠(CONTENT_OUT), 분석된 모션 데이터(DT_MOTION)에 기초하여 콘텐츠의 종류, 디스플레이되는 방향, 각도, 가상 프레임(FRAME_VT)의 위치, 가상 오브젝트(OBJECT_VT)의 위치 등을 결정할 수 있고, 상기의 정보를 포함하는 출력 데이터(DT_OUT)를 터치스크린(1100)으로 전달할 수 있고, 터치스크린(1100)은 출력 데이터(DT_OUT)에 포함되는 출력 이미지(IMAGE_OUT)를 디스플레이할 수 있다.
도 5a 내지 도 6b는 본 발명의 몇몇 실시예에 따라, 타겟 포인트에 기초하여 출력 이미지를 디스플레이하는 동작을 설명하기 위한 도면이다.
도 4, 도 5a 및 도 6b를 참조하면, 사용자 모션(MOTION_USER)에 기초하여 출력 이미지(IMAGE_OUT)를 결정하는 단계(S1400)는, 변경 사용자 모션(MOTION(MOD)_USER)에서 변경 타겟 포인트(TP1' 내지 TP6')의 모션 정보를 추출하는 단계(S1410) 및 변경 타겟 포인트(TP1' 내지 TP6')의 모션 정보에 기초하여 출력 이미지(IMAGE_OUT)를 결정하는 단계(S1420)을 포함할 수 있다.
S1410 단계에서, 변경 사용자 모션(MOTION(MOD)_USER)에서 변경 타겟 포인트(TP1' 내지 TP6')의 모션 정보를 추출할 수 있다. 예를 들어, 도 5a에 도시된 바와 같이, 사용자의 기준 타겟 포인트(TP1 내지 TP6)에 대한 정보는 최초 사용자의 센싱 데이터(기준 사용자 모션(MOTION(REF)_USER))에 기초하여 메모리에 저장될 수 있다. 타겟 포인트는 기정의된 특정 관절 및 특정 뼈를 포함할 수 있다. 예를 들어, 타겟 포인트는 사용자의 좌우 견관절(KP1, KP2), 쇄골의 양단(KP3, KP4), 경추(KP5) 및 두개골(KP6)로 설정될 수 있다. 다만, 이는 예시적인 것으로 획득할 수 있는 사용자의 다양한 신체부위가 타겟 포인트로 설정되어 구현될 수 있음은 물론이다.
S1420 단계에서, 프로세서(1400)는 기준 타겟 포인트(TP1 내지 TP6)와 모션인식 센서부(1200)에 의해 추가 센싱된 변경 타겟 포인트(TP1' 내지 TP6')를 비교하고, 비교 결과에 기초하여 출력 이미지(IMAGE_OUT)를 결정할 수 있다. 예를 들어, 프로세서(1400)는 각 타겟 포인트의 위치 변화에 기초하여 출력 이미지(IMAGE_OUT)를 결정할 수 있다. 다른 예로서, 프로세서(1400)는 각 타겟 포인트의 평균 위치 변화값에 기초하여 출력 이미지(IMAGE_OUT)를 결정할 수 있다. 또다른 예로서, 프로세서(1400)는 각각의 타겟 포인트에 서로 다른 가중치를 부여하고, 가중치가 적용된 변화량 연산에 기초하여 출력 이미지(IMAGE_OUT)를 결정할 수 있다.
예를 들어, 도 6a 및 도 6b에 도시된 바와 같이, 변경 사용자 모션(MOTION(MOD)_USER)이 기준 사용자 모션(MOTION(REF)_USER)과 비교하여 좌측 상부로 이동되었다고 판단되는 경우, 기준 사용자 모션(MOTION(REF)_USER)에 대응되는 출력 콘텐츠(CONTENT_OUT)보다 우측 및 하부로 더 많은 영역이 보이도록 결정될 수 있다. 즉, 변경 사용자 모션(MOTION(MOD)_USER)이 기준 사용자 모션(MOTION(REF)_USER)과 비교하여 좌측으로 이동되었다면 사용자가 콘텐츠의 우측 이미지를 보고싶은 것으로 판단하고, 상부로 이동되었다면 사용자가 콘텐츠의 하부 이미지를 보고싶은 것으로 판단할 수 있고, 이에 대응되는 출력 콘텐츠(CONTENT_OUT)를 출력할 수 있다.
본 발명의 몇몇 실시예에 따라, 타겟 포인트(TP)에 따라 출력 콘텐츠(CONTENT_OUT)가 출력되는 위치 등을 변경한 출력 이미지(IMAGE_OUT)를 결정함으로써 정확도 높은 사용자 위치를 판단하고, 사용자 반응에 대응하는 화면을 출력하여 인터랙티브 효과가 향상된 콘텐츠를 제공할 수 있다.
도 7은 본 발명의 몇몇 실시예에 따른 콘텐츠 제공 장치의 동작을 설명하기 위한 순서도이고, 도 8은 모션인식 센서부에 의해 인식되어 결정되는 사용자의 위치정보를 설명하기 위한 도면이고, 도 9a 내지 도 9i는 도 8의 각각의 영역에 사용자가 위치한다고 판단되는 경우의 출력 이미지를 예시적으로 표현한 도면이다.
도 9a에 도시된 바와 같이, 터치스크린(1100)에 의해 출력되는 출력 이미지(IMAGE_OUT)는 출력 콘텐츠(CONTENT_OUT)가 표시되는 메인 영역(AREA_Main), 메인 영역(AREA_Main)의 상측, 하측, 좌측, 우측 중 적어도 하나의 영역에 배치되는 가상 프레임(FRAME_VT) 및 메인 영역(AREA_Main)과 적어도 일부분이 중첩되는 가상 오브젝트(OBJECT_VT)를 포함할 수 있다.
가상 프레임(FRAME_VT) 및 가상 오브젝트(OBJECT_VT)는 착시효과를 일으키도록 구현되는 구성으로, 사용자의 위치에 따라 가상 프레임(FRAME_VT) 및/또는 가상 오브젝트(OBJECT_VT)의 위치, 길이, 두께, 크기, 방향 등을 다르게 적용함으로써 화면 상의 출력 콘텐츠(CONTENT_OUT)가 실제로 이동 또는 회전하는 듯한 효과를 사용자에게 줄 수 있다. 예를 들어, 도시된 바와 같이, 가상 오브젝트(OBJECT_VT)는 도넛 형상으로 구현되어 출력 콘텐츠(CONTENT_OUT)와 일부가 중첩되도록 구현될 수 있다. 다만, 이는 예시적인 것으로 가상 오브젝트(OBJECT_VT) 및 가상 프레임(FRAME_VT)의 모양, 위치 등은 다양하게 구현될 수 있다.
도 7을 참조하면, 도 3의 출력 이미지(IMAGE_OUT)를 결정하는 단계(S1400)는, 사용자 모션(MOTION_USER)에 기초하여 메인 영역(AREA_Main), 가상 프레임(FRAME_VT) 및 가상 오브젝트(OBJECT_VT)의 위치를 결정하는 단계(S1450) 및 메인 영역(AREA_Main), 가상 프레임(FRAME_VT) 및 가상 오브젝트(OBJECT_VT)를 포함하는 출력 이미지(IMAGE_OUT)를 결정하는 단계(S1460)를 포함할 수 있다.
S1450 단계에서, 사용자 모션(MOTION_USER)을 분석하여 위치를 결정할 수 있다. 예를 들어, 도 8에 도시된 바와 같이, 모션인식 센서부(1200)에서 센싱된 사용자의 위치를 9개의 영역으로 구분하고, 사용자 모션(MOTION_USER)의 분석 결과에 기초하여 사용자가 위치하는 영역을 결정할 수 있다. 이 때, 1번 영역이 기준 사용자 모션(MOTION(REF)_USER), 즉 기준이 되는 사용자의 위치일 수 있다.
예를 들어, 사용자가 최초 센싱된 기준 사용자 모션(MOTION(REF)_USER)의 경우, 도 8의 1번 영역에 해당할 수 있고, 이때 출력되는 출력 이미지(IMAGE_OUT)는 도 9a에 도시된 출력 이미지일 수 있다. 즉, 변경 사용자 모션(MOTION(MOD)_USER)과 기준 사용자 모션(MOTION(REF)_USER)이 변화가 없는 경우, 출력 이미지(IMAGE_OUT)의 가상 프레임(FRAME_VT)은 메인 영역(AREA_Main)의 좌측, 우측, 상측 및 하측 영역을 포함하고, 좌측 및 우측의 두께는 동일하게 출력되고, 상측 및 하측의 두께는 동일하게 출력될 수 있다.
몇몇 실시예에 따라, 변경 사용자 모션(MOTION(MOD)_USER)이 기준 사용자 모션(MOTION(REF)_USER)보다 좌측 또는 우측으로 이동한 것으로 분석되는 경우, 출력 콘텐츠(CONTENT_OUT)의 좌우 각도를 변경하고, 가상 프레임(FRAME_VT)의 좌측 및 우측 영역의 길이(두께)를 변경할 수 있다.
예를 들어, 변경 사용자 모션(MOTION(MOD)_USER)이 도 8의 5번 영역으로 분석되는 경우, 도 9e와 같이 출력 콘텐츠(CONTENT_OUT)는 최초 출력 콘텐츠보다 우측 콘텐츠가 더 많이 보이도록 영상을 렌더링하고, 좌측 가상 프레임(FRAME_VT)의 두께는 줄이고, 우측 가상 프레임(FRAME_VT)의 두께를 늘리도록 결정할 수 있다. 반대로, 변경 사용자 모션(MOTION(MOD)_USER)이 도 8의 6번 영역으로 분석되는 경우, 도 9f와 같이 출력 콘텐츠(CONTENT_OUT)는 최초 출력 콘텐츠보다 좌측 콘텐츠가 더 많이 보이도록 영상을 렌더링하고, 우측 가상 프레임(FRAME_VT)의 두께는 줄이고, 좌측 가상 프레임(FRAME_VT)의 두께를 늘리도록 결정할 수 있다.
몇몇 실시예에 따라, 변경 사용자 모션(MOTION(MOD)_USER)이 기준 사용자 모션(MOTION(REF)_USER)보다 상측 또는 하측으로 이동한 것으로 분석되는 경우, 출력 콘텐츠(CONTENT_OUT)의 상하 각도를 변경하고, 가상 프레임(FRAME_VT)의 상측 및 하측 영역의 길이(두께)를 변경할 수 있다.
예를 들어, 변경 사용자 모션(MOTION(MOD)_USER)이 도 8의 3번 영역으로 분석되는 경우, 즉 변경 사용자 모션(MOTION(MOD)_USER)이 기준 사용자 모션(MOTION(REF)_USER)보다 상측에 위치된다고 판단되는 경우, 도 9c와 같이 출력 콘텐츠(CONTENT_OUT)는 최초 출력 콘텐츠보다 하측 콘텐츠가 더 많이 보이도록 이미지를 렌더링하고, 상측 가상 프레임의 두께는 줄이고, 하측 가상 프레임의 두께를 늘리도록 결정할 수 있다. 반대로, 변경 사용자 모션(MOTION(MOD)_USER)이 도 8의 8번 영역으로 분석되는 경우, 도 9h와 같이 출력 콘텐츠(CONTENT_OUT)는 최초 출력 콘텐츠보다 상측 콘텐츠가 더 많이 보이도록 이미지를 렌더링하고, 하측 가상 프레임의 두께는 줄이고, 상측 가상 프레임의 두께를 늘리도록 결정할 수 있다.
마찬가지로, 변경 사용자 모션(MOTION(MOD)_USER)이 좌측상부(도 8의 2번 영역), 우측 상부(도 8의 4번 영역), 좌측 하부(도 8의 7번 영역) 및 우측 하부(도 8의 9번 영역)으로 분석되는 경우, 출력 이미지(IMAGE_OUT)는 각각 도 9b, 도 9d, 도 9g 및 도 9i와 같이 구현될 수 있다. 결정되는 동작은 상술한 도 9의 3, 5, 6, 8번 영역과 동일하게 적용될 수 있는 바, 구체적인 설명은 생략한다.
몇몇 실시예에 따라, 프로세서(1400)는 변경 사용자 모션(MOTION(MOD)_USER)이 기준 사용자 모션(MOTION(REF)_USER)보다 좌측 또는 우측으로 이동했다고 판단되는 경우, 가상 오브젝트(OBJECT_VT)가 회전하여 출력되도록 제어할 수 있다. 즉, 사용자가 좌측 또는 우측으로 회전하는 경우 출력 콘텐츠(CONTENT_OUT)가 우측 또는 좌측 영역이 더 많이 보이도록 변경됨에 동시에 가상 오브젝트(OBJECT_VT)의 회전 효과를 부여함으로써, 더욱 실감나는 콘텐츠를 사용자에게 제공할 수 있다.
도 10a 및 도 10b는 사용자가 전측 또는 후측으로 이동하였다고 판단되는 경우의 출력 이미지를 예시적으로 표현한 도면이다.
도 10a를 참조할 때, 기준 사용자 모션(MOTION(REF)_USER)에 대응하는 출력 이미지(IMAGE_OUT)가 도 9a에 도시된 출력 이미지(IMAGE_OUT)라고 가정할 때, 모션인식 센서부(1200)에 의해 센싱된 변경 사용자 모션(MOTION(MOD)_USER)이 기준 사용자 모션(MOTION(REF)_USER)보다 모션인식 센서부(1200)와의 거리가 가까워지는 경우, 프로세서(1400)는 출력 콘텐츠(CONTENT_OUT)의 출력되는 각도가 더 넓은 각도를 가지도록 제어하여 더 넓은 범위의 배경을 사용자에게 적용하고, 가상 프레임(FRAME_VT)의 두께(길이)가 감소하도록 제어하고, 가상 오브젝트(OBJECT_VT)의 크기가 커지도록 제어할 수 있다. 즉, 사용자가 터치스크린(1100)(또는, 모션인식 센서부(1200))에 가까이 접근한다면 더 자세히 또는 더 넓은 범위의 이미지를 보고 싶은 것으로 판단하고, 출력 콘텐츠(CONTENT_OUT)의 범위를 넓게 제어함과 동시에 가상 프레임(FRAME_VT)을 최소화하여 출력 콘텐츠(CONTENT_OUT)가 출력되는 메인 영역(AREA_Main)의 크기를 증가시키고, 가상 오브젝트(OBJECT_VT)의 크기를 증가시킴으로써 더 가까이 보고 있다는 인터랙티브 효과를 제공할 수 있다.
반대로, 도 10b를 참조할 때, 모션인식 센서부(1200)에 의해 센싱된 변경 사용자 모션(MOTION(MOD)_USER)이 기준 사용자 모션(MOTION(REF)_USER)보다 모션인식 센서부(1200)와의 거리가 멀어지는 경우, 프로세서(1400)는 출력 콘텐츠(CONTENT_OUT)의 출력되는 각도가 더 좁은 각도를 가지도록 제어하고, 가상 프레임(FRAME_VT)의 두께(길이)가 증가하도록 제어하고, 가상 오브젝트(OBJECT_VT)의 크기가 작아지도록 제어할 수 있다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시 예들로 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나","A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나" 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시 예들은 기기(machine)(예: 장치(1000)) 의해 읽을 수 있는 저장 매체(storage medium)에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어로서 구현될 수 있다. 예를 들면, 기기(예: 장치(1000))의 프로세서(예: 프로세서(1400))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시 예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
1000: 콘텐츠 제공 장치 1100: 터치스크린
1200: 모션인식 센서부 1300: 메모리
1400: 프로세서 1500: 데이터 버스

Claims (9)

  1. 사용자로부터 터치 입력을 수신하고, 출력 이미지를 디스플레이하는 터치스크린;
    상기 사용자의 모션을 인식하는 모션인식 센서부;
    상기 터치스크린에 의해 출력되는 적어도 하나의 콘텐츠를 저장하는 메모리; 및
    상기 터치 입력에 기초하여 출력 콘텐츠를 결정하고, 상기 사용자의 모션에 기초하여 상기 출력 이미지를 결정하는 프로세서를 포함하되,
    상기 프로세서는,
    상기 사용자의 모션에서 기정의된 관절 및 뼈에 대한 타겟 포인트의 모션 정보를 추출하고,
    상기 타겟 포인트의 위치 정보에 기초하여 상기 출력 이미지를 결정하는,
    모션인식 기반의 콘텐츠 제공 장치.
  2. 청구항 1에 있어서,
    상기 타겟 포인트는 상기 사용자의 좌우 견관절, 쇄골, 경추 및 두개골을 포함하는,
    모션인식 기반의 콘텐츠 제공 장치.
  3. 청구항 2에 있어서,
    상기 프로세서는 상기 타겟 포인트를 각각의 기준 위치와 비교하고, 비교 결과에 기초하여 상기 출력 이미지를 결정하는,
    모션인식 기반의 콘텐츠 제공 장치.
  4. 청구항 1에 있어서,
    상기 출력 이미지는 상기 출력 콘텐츠가 표시되는 메인 영역, 상기 메인 영역의 상측, 하측, 좌측, 우측 중 적어도 하나의 영역에 배치되는 가상 프레임 및 상기 메인 영역과 적어도 일부분이 중첩되는 가상 오브젝트를 포함하고,
    상기 프로세서는,
    상기 타겟 포인트의 위치 정보에 기초하여 상기 메인 영역, 상기 가상 프레임 및 상기 가상 오브젝트의 위치를 결정하는,
    모션인식 기반의 콘텐츠 제공 장치.
  5. 청구항 4에 있어서,
    상기 타겟 포인트는 상기 사용자의 좌우 견관절, 쇄골, 경추 및 두개골을 포함하는,
    모션인식 기반의 콘텐츠 제공 장치.
  6. 사용자로부터 터치 입력을 수신하고, 출력 이미지를 디스플레이하는 터치스크린;
    상기 사용자의 모션을 인식하는 모션인식 센서부;
    상기 터치스크린에 의해 출력되는 적어도 하나의 콘텐츠를 저장하는 메모리; 및
    상기 터치 입력에 기초하여 출력 콘텐츠를 결정하고, 상기 사용자의 모션에 기초하여 상기 출력 이미지를 결정하는 프로세서를 포함하되,
    상기 출력 이미지는 상기 출력 콘텐츠가 표시되는 메인 영역, 상기 메인 영역의 상측, 하측, 좌측, 우측 중 적어도 하나의 영역에 배치되는 가상 프레임 및 상기 메인 영역과 적어도 일부분이 중첩되는 가상 오브젝트를 포함하고,
    상기 프로세서는,
    상기 사용자의 모션에 기초하여 상기 메인 영역, 상기 가상 프레임 및 상기 가상 오브젝트의 위치를 결정하는,
    모션인식 기반의 콘텐츠 제공 장치.
  7. 청구항 6에 있어서,
    상기 프로세서는,
    상기 사용자의 모션이 기정의된 기준 위치보다 좌측 또는 우측으로 이동한 경우 상기 출력 콘텐츠의 좌우 각도를 변경하고, 상기 가상 프레임의 좌측 및 우측 영역의 길이를 변경하고,
    상기 사용자의 모션이 상기 기준 위치보다 상측 또는 하측으로 이동한 경우 상기 출력 콘텐츠의 상하 각도를 변경하고, 상기 가상 프레임의 상측 및 하측 영역의 길이를 변경하는,
    모션인식 기반의 콘텐츠 제공 장치.
  8. 청구항 7에 있어서,
    상기 프로세서는,
    상기 사용자의 모션이 상기 기준 위치보다 좌측 또는 우측으로 이동한 경우 상기 가상 오브젝트가 회전하도록 제어하는,
    모션인식 기반의 콘텐츠 제공 장치.
  9. 청구항 7에 있어서,
    상기 프로세서는,
    상기 사용자의 모션이 상기 기준 위치보다 상기 모션인식 센서부와의 거리가 가까워지는 전측 또는 상기 모션인식 센서부와의 거리가 멀어지는 후측으로 이동한 경우 상기 가상 오브젝트가 크기가 변경되도록 제어하는,
    모션인식 기반의 콘텐츠 제공 장치.
KR1020210140979A 2021-10-21 2021-10-21 모션인식 기반의 콘텐츠 제공 장치 KR20230057036A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210140979A KR20230057036A (ko) 2021-10-21 2021-10-21 모션인식 기반의 콘텐츠 제공 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210140979A KR20230057036A (ko) 2021-10-21 2021-10-21 모션인식 기반의 콘텐츠 제공 장치

Publications (1)

Publication Number Publication Date
KR20230057036A true KR20230057036A (ko) 2023-04-28

Family

ID=86143145

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210140979A KR20230057036A (ko) 2021-10-21 2021-10-21 모션인식 기반의 콘텐츠 제공 장치

Country Status (1)

Country Link
KR (1) KR20230057036A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180071492A (ko) 2016-12-20 2018-06-28 주식회사 엘시스 키넥트 센서를 이용한 실감형 콘텐츠 서비스 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180071492A (ko) 2016-12-20 2018-06-28 주식회사 엘시스 키넥트 센서를 이용한 실감형 콘텐츠 서비스 시스템

Similar Documents

Publication Publication Date Title
US11275480B2 (en) Dynamic interactive objects
US11099637B2 (en) Dynamic adjustment of user interface
TWI534654B (zh) 用於在一頭部安裝裝置上選擇一擴充實境物件之方法及電腦可讀媒體與用於選擇一擴充實境物件之頭部安裝裝置
CN105612478B (zh) 用户接口程序化的缩放
US9165381B2 (en) Augmented books in a mixed reality environment
US9348411B2 (en) Object display with visual verisimilitude
US8179366B2 (en) Systems and methods for using a movable object to control a computer
US8388146B2 (en) Anamorphic projection device
US20140118255A1 (en) Graphical user interface adjusting to a change of user's disposition
US20110164032A1 (en) Three-Dimensional User Interface
US20110234481A1 (en) Enhancing presentations using depth sensing cameras
US20130328925A1 (en) Object focus in a mixed reality environment
WO2014140827A2 (en) Systems and methods for proximity sensor and image sensor based gesture detection
US10825217B2 (en) Image bounding shape using 3D environment representation
US20210271883A1 (en) Methods and apparatus for projecting augmented reality enhancements to real objects in response to user gestures detected in a real environment
KR20190101827A (ko) 디스플레이를 통해 표시된 제 1 콘텐트에 대해 제 2 콘텐트를 외부 객체의 움직임에 따라 제공하기 위한 전자 장치 및 그의 동작 방법
KR101647969B1 (ko) 사용자 시선을 검출하기 위한 사용자 시선 검출 장치 및 그 방법과, 그 방법을 실행하기 위한 컴퓨터 프로그램
US20060119574A1 (en) Systems and methods for using a movable object to control a computer
KR20230057036A (ko) 모션인식 기반의 콘텐츠 제공 장치
KR101682215B1 (ko) 가상현실 vr 웹툰의 제공 장치 및 방법
KR101687986B1 (ko) 모션 인식을 활용한 영상 매핑 방법
KR102313759B1 (ko) 공간 인식을 이용한 입체영상 제어 방법 및 이를 이용한 상품광고용 입체영상 디스플레이 장치
KR20200031256A (ko) 미러 디스플레이를 이용한 콘텐츠 디스플레이 장치 및 그 방법
KR20190142857A (ko) 미러 디스플레이를 이용한 게임 장치 및 그 방법
WO2023001816A1 (en) Augmented reality virtual camera

Legal Events

Date Code Title Description
E902 Notification of reason for refusal