KR20230110032A

KR20230110032A - 디스플레이 장치 및 그 동작 방법

Info

Publication number: KR20230110032A
Application number: KR1020220006043A
Authority: KR
Inventors: 김형래
Original assignee: 삼성전자주식회사
Priority date: 2022-01-14
Filing date: 2022-01-14
Publication date: 2023-07-21
Also published as: WO2023136419A1

Abstract

개시된 실시예는 디스플레이 장치에 관한 것으로, 카메라, 디스플레이, 하나 이상의 인스트럭션들을 저장하는 메모리, 및 메모리에 저장된 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고, 프로세서는, 카메라에 의해 촬영된 영상을 분석하여, 영상에 포함된 여유 공간을 검출하고, 검출된 여유 공간에 기초하여, 여유 공간에서 수행 가능한 운동 동작을 결정하고, 결정된 운동 동작에 기초하여, 운동 컨텐츠를 제공하도록 디스플레이를 제어하는 디스플레이 장치가 개시된다.

Description

디스플레이 장치 및 그 동작 방법{Display device and operating method for the same}

다양한 실시예들은 디스플레이 장치 및 그 동작 방법에 관한 것이다. 더욱 상세하게는 홈 트레이닝 서비스를 제공하는 디스플레이 장치 및 그 동작 방법에 관한 것이다.

최근 언택트 시대에 맞춰 다양한 홈 트레이닝 시스템이 등장하고 있다. 이전에는 단순히 홈 트레이닝 동영상을 제공하고, 사용자가 이를 따라하게 하는 것에 반하여, 현재는 AI 기술 기반으로 사용자의 운동 성향을 분석하여 적절한 운동 코스를 제공하거나, 사용자의 체형 등을 분석하여 적절한 운동 코스를 제공하는 등의 서비스가 활발하게 출시되고 있다.

한편, 기존의 홈 트레이닝 서비스의 경우, 사용자의 운동 성향이나 체형 등만을 고려하여, 운동을 가이드하고, 사용자가 운동하는 주변 환경은 고려하지 않는다. 일반적으로 홈 트레이닝은 대부분 실내에서 시행하게 되며, 실내에는 여러가지 물건, 예를 들어, 소파, 테이블, 아이들 장난감 등이 존재하게 된다. 이러한 환경에서 홈 트레이닝을 시행하는 경우, 공간의 제약으로 인하여, 서비스에 의해 가이드되는 운동을 따라할 수 없는 경우가 발생하게 되며, 사용자가 주변 물건에 부딪혀 부상을 당할 수도 있다.

다양한 실시예들은, 사용자 주변의 여유 공간을 고려하여, 운동 컨텐츠를 제공하거나, 사용자가 운동 동작을 수행하기 위해 필요한 여유 공간을 추가로 확보하도록 유도하는 가이드 정보를 제공하는 디스플레이 장치 및 그 동작 방법을 제공할 수 있다.

일 실시예에 따른 디스플레이 장치는, 카메라, 디스플레이, 하나 이상의 인스트럭션들을 저장하는 메모리, 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고, 상기 프로세서는, 상기 카메라에 의해 촬영된 영상을 분석하여, 상기 영상에 포함된 여유 공간을 검출하고, 상기 검출된 여유 공간에 기초하여, 상기 여유 공간에서 수행 가능한 운동 동작을 결정하고, 상기 결정된 운동 동작에 기초하여, 운동 컨텐츠를 제공하도록 상기 디스플레이를 제어할 수 있다.

일 실시예에 따른 프로세서는, 운동 어플리케이션을 실행시키는 입력 또는 운동 코스를 선택하는 사용자 입력에 기초하여, 상기 카메라가 촬영을 수행하도록 제어할 수 있다.

일 실시예에 따른 프로세서는, 운동 코스를 선택하는 사용자 입력을 수신하고, 상기 사용자 입력에 기초하여, 선택된 운동 코스에 포함되는 운동 동작들 중 상기 검출된 여유 공간에서 수행 가능한 운동 동작을 결정할 수 있다.

일 실시예에 따른 프로세서는, 상기 카메라에 의해 촬영된 영상에서 상기 사용자를 검출하고, 상기 사용자가 검출되는 것에 기초하여, 상기 영상에서 상기 사용자 주변의 상기 여유 공간을 검출할 수 있다.

일 실시예에 따른 프로세서는, 뉴럴 네트워크를 이용하여, 상기 촬영된 영상에 포함되는 상기 여유 공간을 검출할 수 있다.

일 실시예에 따른 프로세서는, 상기 검출된 여유 공간에서 수행 가능한 운동 동작이 존재하지 않거나, 상기 수행 가능한 운동 동작들의 개수가 기 설정된 개수보다 작은 경우, 추가로 필요한 공간을 확보하도록 하는 가이드 화면을 표시하도록 상기 디스플레이를 제어할 수 있다.

일 실시예에 따른 가이드 화면은, 상기 카메라에 의해 촬영된 실제 공간을 나타내는 영상에 상기 검출된 여유 공간과 추가로 필요한 공간이 표시되는 영상을 포함할 수 있다.

일 실시예에 따른 프로세서는, 상기 검출된 여유 공간에서 수행 가능한 운동 동작이 존재하지 않거나, 상기 수행 가능한 운동 동작들의 개수가 기 설정된 개수보다 작은 경우, 상기 카메라가 일정한 주기로 촬영을 수행하도록 제어하고, 상기 카메라에 의해 일정한 주기로 촬영된 영상에서 검출된 여유 공간이 상기 추가로 필요한 공간을 포함하는 경우, 상기 운동 컨텐츠를 재생할 수 있다.

일 실시예에 따른 프로세서는, 상기 결정된 운동 동작을 포함하는 운동 코스를 결정하고, 상기 결정된 운동 코스에 대한 정보를 표시하도록 상기 디스플레이를 제어할 수 있다.

일 실시예에 따른 프로세서는, 상기 카메라에 의해 촬영된 사용자 영상을 수신하고, 상기 사용자 영상에 기초하여, 상기 사용자의 체형 정보를 획득하고, 상기 사용자의 체형 정보에 기초하여, 운동 코스를 선택하며, 상기 선택된 운동 코스에 포함되는 운동 동작들 중 상기 검출된 여유 공간에서 수행 가능한 운동 동작을 결정할 수 있다.

일 실시예에 따른 프로세서는, 상기 운동 컨텐츠를 출력하도록 상기 디스플레이를 제어하고, 상기 운동 컨텐츠가 출력되는 동안 상기 카메라에 의해 촬영된 사용자 영상을 수신하고, 상기 사용자 영상에 기초하여, 상기 사용자의 자세 또는 동작을 분석하고, 상기 사용자의 자세 또는 동작에 대한 분석 결과에 기초하여, 코칭 정보를 제공할 수 있다.

일 실시예에 따른 디스플레이 장치의 동작 방법은, 카메라에 의해 촬영된 영상을 수신하는 단계, 상기 영상에 포함된 여유 공간을 검출하는 단계, 상기 검출된 여유 공간에 기초하여, 상기 여유 공간에서 수행 가능한 운동 동작을 결정하는 단계, 및 상기 결정된 운동 동작에 기초하여, 운동 컨텐츠를 제공하는 단계를 포함할 수 있다.

일 실시예에 따른 디스플레이 장치는 사용자 주변의 여유 공간을 검출하고, 검출된 여유 공간에 기초하여 홈 트레이닝 서비스를 제공할 수 있다. 이에 따라, 사용자 주변의 여유 공간이 충분하지 않은 경우에도 사용자에게 보다 적합한 운동 컨텐츠를 제공할 수 있으며, 사용자의 부상 등을 방지할 수 있다.

도 1은 일 실시예에 따른 디스플레이 장치를 나타내는 도면이다.
도 2는 디스플레이 장치의 동작 방법을 나타내는 흐름도이다.
도 3은 일 실시예에 따른 여유 공간을 검출하는 기능을 수행하는 모듈의 동작을 나타내는 도면이다.
도 4는 일 실시예에 따른 디스플레이 장치에 표시되는 사용자 인터페이스 화면의 일 예를 나타내는 도면이다.
도 5는 일 실시예에 따른 디스플레이 장치의 동작 방법을 나타내는 흐름도이다.
도 6은 일 실시예에 따른 디스플레이 장치에 표시되는 가이드 화면의 일 예를 나타내는 도면이다.
도 7은 일 실시예에 따른 디스플레이 장치의 동작 방법을 나타내는 흐름도이다.
도 8은 일 실시예에 따른 가이드 화면의 일 예를 나타내는 도면이다.
도 9는 일 실시예에 따른 디스플레이 장치의 동작 방법을 나타내는 흐름도이다.
도 10은 일 실시예에 따른 디스플레이 장치가 수행 가능한 운동 동작들에 대한 정보를 제공하는 화면의 일 예를 나타내는 도면이다.
도 11은 일 실시예에 따른 디스플레이 장치의 동작 방법을 나타내는 흐름도이다.
도 12는 일 실시예에 따른 운동 코스 선택 화면의 일 예를 나타내는 도면이다.
도 13은 일 실시예에 따른 디스플레이 장치의 동작을 설명하기 위한 도면이다.
도 14는 일 실시예에 따른 디스플레이 장치가 운동 컨텐츠가 재생될 때, 사용자의 동작을 홈 트레이닝 서비스를 제공하는 방법을 나타내는 흐름도이고, 도 15는 도 14의 설명에 참조되는 도면이다.
도 16은 일 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.
도 17은 일 실시예에 따른 홈 트레이닝 서비스 제공 시스템을 나타내는 도면이다.
도 18은 다른 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

또한, 'A, B, 및 C 중 적어도 하나'라는 기재는 'A', 'B', 'C', 'A 및 B', 'A 및 C', 'B 및 C', 및 'A, B, 및 C' 중 어느 하나가 될 수 있음을 의미한다.

아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

개시된 실시예들에서 "사용자"라는 용어는 디스플레이 장치(100)의 기능 또는 동작을 제어하는 사람을 의미할 수 있다. 또는, 디스플레이 장치(100)에 표시되는 컨텐츠를 시청하는 시청자를 포함할 수 있으며, 관리자 또는 설치 기사를 포함할 수 있다.

또한, 개시된 실시예들에서, '영상(image)' 또는 '픽처'는 정지영상, 복수의 연속된 정지영상(또는 프레임)으로 구성된 동영상, 또는 비디오를 나타낼 수 있다.

도 1은 일 실시예에 따른 디스플레이 장치를 나타내는 도면이다.

도 1을 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 TV일 수 있으나, 이는 일 실시예에 불과하며, 디스플레이를 포함하는 다양한 형태로 구현될 수 있다. 예를 들어, 디스플레이 장치(100)는, 휴대폰, 태블릿 PC, 디지털 카메라, 캠코더, 노트북 컴퓨터(laptop computer), 데스크탑, 전자책 단말기, 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 착용형 장치(wearable device) 등과 같은 다양한 형태의 전자 장치로 구현될 수 있다. 또한, 디스플레이 장치(100)는 고정된 위치에 배치되는 고정형 전자 장치 또는 휴대 가능한 형태를 갖는 이동형 전자 장치일 수 있으며, 디지털 방송 수신이 가능한 디지털 방송 수신기일 수 있다. 특히, 실시예들은 TV와 같이 디스플레이가 대형인 디스플레이 장치에서 용이하게 구현될 수 있으나, 이에 한정되는 것은 아니다.

디스플레이 장치(100)는 평면(flat) 디스플레이 장치뿐만 아니라, 곡률을 가지는 화면인 곡면(curved) 디스플레이 장치 또는 곡률을 조정 가능한 가변형(flexible) 디스플레이 장치로 구현될 수 있다. 디스플레이 장치(100)의 출력 해상도는 예를 들어, HD(High Definition), Full HD, Ultra HD, 또는 Ultra HD 보다 더 선명한 해상도를 포함할 수 있다.

일 실시예에 따른 디스플레이 장치(100)는 홈 트레이닝 서비스를 제공할 수 있다. 홈 트레이닝 서비스는 사용자(10)가 디스플레이 장치(100)를 통하여 재생되는 컨텐츠를 시청하면서 컨텐츠에 포함되는 운동 동작들을 따라하도록 하기 위한 서비스를 의미할 수 있다. 예를 들어, 디스플레이 장치(100)는 운동 동작들을 가이드 하는 영상 컨텐츠 또는 동영상 컨텐츠를 재생 또는 출력할 수 있으며, 사용자(10)는 디스플레이 장치(100)를 통해 재생 또는 출력되는 영상 컨텐츠 또는 동영상 컨텐츠에 의해 가이드 되는 운동 동작들을 따라할 수 있다.

일 실시예에 따른 홈 트레이닝 서비스는 '홈 피트니스(home fitness) 서비스', '홈 짐(home gym) 서비스', '퍼스널 트레이닝(personal traning) 서비스' 등으로 호칭될 수 있으나, 이에 한정되지 않는다.

이러한, 홈 트레이닝 서비스는 디스플레이 장치(100)에 설치된 홈 트레이닝 어플리케이션을 통하여 제공될 수 있다. 홈 트레이닝 어플리케이션은 홈 트레이닝 서비스를 실행하는 적어도 하나의 인스트럭션 또는 프로그램으로 구현될 수 있다. 홈 트레이닝 어플리케이션은 디스플레이 장치(100)의 생산 시에 디스플레이 장치(100)의 프로세서 또는 내부 메모리에 설치 및 저장될 수 있다. 또는, 홈 트레이닝 어플리케이션은 외부에서 제작되어 디스플레이 장치(100)로 배포될 수 있다. 구체적으로 홈 트레이닝 어플리케이션은 어플리케이션 스토어 등의 전자 마켓 또는 디스플레이 장치(100)의 제조사를 통해 전자적으로 배포될 수 있다.

홈 트레이닝 어플리케이션은 사용자(10)의 요청 또는 설정에 따라서 실행될 수 있다. 예를 들어, 디스플레이 장치(100)는 홈 트레이닝 어플리케이션의 실행을 요청하는 사용자 입력을 수신할 수 있다. 디스플레이 장치(100)는 홈 트레이닝 어플리케이션 실행 요청이 수신되면, 홈 트레이닝 어플리케이션을 실행하고, 홈 트레이닝 서비스를 제공할 수 있다.

도 1에 도시된 바와 같이, 일 실시예에 따른 디스플레이 장치(100)는 트레이너가 운동 동작을 수행하는 영상을 표시할 수 있으며, 사용자(10)는 영상을 시청하면서, 운동 동작을 따라할 수 있다. 이때, 사용자 주변 공간의 상태에 따라, 사용자(10)는 트레이너가 수행하는 운동 동작을 따라할 수 없는 경우가 발생할 수 있다. 예를 들어, 트레이너가 영상에서 누워서 하는 운동 동작을 수행하는 경우, 사용자 주변의 여유 공간이 충분하지 않으면, 누워서 하는 운동 동작을 따라할 수 없게 된다.

이에 따라, 일 실시예에 따른 디스플레이 장치(100)는 사용자 주변의 여유 공간을 고려하여, 운동 컨텐츠를 제공하거나, 공간 확보에 대한 가이드 정보를 제공할 수 있다.

일 실시예에 따른 디스플레이 장치(100)는 카메라(110)를 포함하거나, 카메라(110)와 무선 또는 유선으로 연결될 수 있다. 디스플레이 장치(100)는 카메라(110)를 이용하여, 사용자(10)가 운동하는 공간(50)을 촬영할 수 있다.

디스플레이 장치(100)는 카메라(110)에 의해 촬영된 영상을 분석하여, 영상에 포함되는 여유 공간을 검출하고, 검출된 여유 공간에 기초하여, 여유 공간에서 수행 가능한 하나 이상의 운동 동작들을 결정할 수 있다. 디스플레이 장치(100)는 결정된 운동 동작들에 기초하는 운동 컨텐츠를 사용자(10)에게 제공할 수 있다.

예를 들어, 디스플레이 장치(100)는 검출된 여유 공간이 좁은 경우, 일어서서 하는 운동 동작들이 포함된 운동 컨텐츠를 제공할 수 있으며, 반면에 여유 공간이 넓은 경우, 일어서서 하는 동작들 뿐만 아니라 누워서 하는 동작들이 포함된 운동 컨텐츠를 제공할 수 있다. 다만, 이에 한정되지 않는다.

또한, 디스플레이 장치(100)는 여유 공간에서 수행 가능한 운동 동작이 없거나 수행 가능한 운동 동작들의 개수가 기 설정된 개수보다 적은 경우, 사용자(10)에게 필요한 공간을 추가로 확보하도록 하는 가이드 정보를 제공할 수 있다. 사용자는 디스플레이 장치(100)에 의해 제공된 가이드 정보를 참고하여, 운동에 필요한 공간을 확보할 수 있다.

이에 따라, 일 실시예에 따른 디스플레이 장치(100)는 사용자 주변의 여유 공간을 고려하여, 운동 가이드 영상을 제공하거나, 공간 확보에 대한 가이드 정보를 제공할 수 있어, 사용자에게 적합한 홈 트레이닝 서비스를 제공할 수 있으며, 운동 시 발생할 수 있는 부상을 방지할 수 있다.

이하, 도면들을 참조하여 일 실시예에 따른 디스플레이 장치(100)가 사용자 주변의 여유 공간에 기초하여, 운동 컨텐츠를 제공하거나, 공간 확보에 대한 가이드 정보를 제공하는 방법에 대해서 자세히 설명하기로 한다.

도 2는 디스플레이 장치의 동작 방법을 나타내는 흐름도이다.

도 2를 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 카메라에 의해 촬영된 영상을 수신할 수 있다(S210).

예를 들어, 디스플레이 장치(100)는 카메라를 포함하거나, 카메라와 무선 또는 유선으로 연결될 수 있다. 디스플레이 장치(100)는 카메라를 이용하여, 기 설정된 범위의 공간을 촬영한 영상을 획득할 수 있다. 이때, 카메라의 위치 및 화각에 따라 촬영되는 공간의 위치와 크기가 결정될 수 있으며, 촬영되는 공간은 디스플레이 장치(100)의 전면에 위치한 공간일 수 있으나, 이에 한정되지 않는다. 또한, 디스플레이 장치(100)는 복수의 카메라들을 이용하여, 공간을 촬영한 영상을 획득할 수 있다.

디스플레이 장치(100)는 홈 트레이닝 어플리케이션 실행 입력 또는 운동 코스를 선택하는 사용자 입력에 기초하여, 공간을 촬영할 수 있다. 또한, 디스플레이 장치(100)는 카메라에 의해 촬영되는 영상에서 사용자를 검출하고, 사용자가 검출되면, 사용자의 주변 공간을 촬영한 영상을 획득할 수 있다. 다만, 이에 한정되지 않는다.

디스플레이 장치(100)는 영상을 분석하여, 영상에 포함되는 여유 공간을 검출할 수 있다(S220).

디스플레이 장치(100)는 saliency 검출 방법을 이용하여, 영상에 포함되는 여유 공간을 검출할 수 있다. 또는, 딥 뉴럴 네트워크(DNN: Deep Neural Network)를 기반으로 하는 Single Shot Detection(SSD) 방법, 뎁스 추정(depth estimation) 방법 등을 이용하여, 영상에 포함되는 객체들을 검출하고, 검출된 객체에 기초하여, 영상에 포함되는 여유 공간을 검출할 수 있다. 또는, 디스플레이 장치(100)는 영상을 세그멘테이션하고, 세그멘테이션된 영역들에 기초하여, 여유 공간을 검출할 수 있다. 다만, 이에 한정되지 않으며, 디스플레이 장치(100)는 다양한 공지의 방법들을 이용하여, 영상에 포함되는 여유 공간을 검출할 수 있다.

디스플레이 장치(100)는 검출된 여유 공간에 기초하여, 검출된 여유 공간에서 수행 가능한 하나 이상의 운동 동작들을 결정할 수 있다(S230).

일 실시예에 따른 홈 트레이닝 서비스는 복수의 운동 코스들에 대응하는 복수의 운동 컨텐츠들을 제공할 수 있다. 여기서, 운동 코스는 하나 이상의 운동 동작들을 포함하며, 포함되는 운동 동작들 각각을 기 설정된 횟수만큼 반복하도록 구성된 일련의 운동 과정을 의미할 수 있다. 예를 들어, 운동 코스는 하체 강화 코스, 상체 강화 코스, 복근 강화 코스, 다이어트 코스, 스트레칭 코스, 유산소 코스, 근력 코스 등을 포함할 수 있다. 다만, 이에 한정되지 않는다.

또한, 각 운동 코스들은 다양한 운동 동작들을 포함할 수 있다. 예를 들어, 하체 강화 코스는 스쿼트 동작, 런지 동작, 플랭크 동작들을 포함할 수 있으며, 복근 강화 코스는 크런치 동작, 플랭크 동작, 레그레이즈 동작들을 포함할 수 있다. 다만, 이에 한정되지 않는다.

일 실시예에 따른 디스플레이 장치(100)는 선택된 운동 코스에 포함된 운동 동작들 중 검출된 여유 공간에서 수행 가능한 운동 동작들을 결정할 수 있다.

예를 들어, 하체 강화 코스가 선택된 경우, 디스플레이 장치(100)는 검출된 여유 공간의 위치, 크기 등에 기초하여, 하체 강화 코스에 포함된 스쿼트 동작, 런지 동작, 플랭크 동작들 각각을 수행할 수 있는 지 결정할 수 있다.

일 실시예에 따른 디스플레이 장치(100)는 수행 가능한 것으로 결정된 운동 동작에 기초하여, 운동 컨텐츠를 제공할 수 있다. 예를 들어, 하체 강화 코스에 포함된 운동 동작들 중 검출된 여유 공간에서 스쿼트 동작과 런지 동작만 수행 가능하고, 플랭크 동작을 수행하기에 공간이 부족한 경우, 디스플레이 장치(100)는 스쿼트 동작과 런지 동작을 가이드하는 영상들을 포함하는 운동 컨텐츠를 제공할 수 있다.

또는, 운동 코스가 선택되지 않은 경우, 디스플레이 장치(100)는 복수의 운동 코스들 중 검출된 여유 공간에서 수행 가능한 운동 동작들만 포함하는 운동 코스를 선택하여, 선택된 운동 코스에 대응하는 운동 컨텐츠를 사용자에게 제공할 수 있다.

운동 컨텐츠는 해당 운동 코스에 포함되는 운동 동작들을 가이드하는 영상, 운동 동작들의 이름, 운동 동작의 효과에 대한 정보, 운동 동작의 수행 횟수 정보, 운동 동작의 수행 시간 정보 등을 제공할 수 있다. 다만, 이에 한정되지 않는다.

도 3은 일 실시예에 따른 여유 공간을 검출하는 기능을 수행하는 모듈의 동작을 나타내는 도면이다. 여유 공간을 검출하는 기능을 수행하는 모듈은 도 1에 도시된 디스플레이 장치의 일부에 포함될 수 있다.

도 3을 참조하면, 일 실시예에 따른 여유 공간 검출 모듈(310)은 카메라에 의해 촬영된 영상(320)에 포함되는 여유 공간(330)을 검출할 수 있도록 하는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다.

일 실시예에 따른 여유 공간은 사용자가 운동 동작을 수행하기 위한 공간을 의미하므로, 영상(320)에 포함되는 공간들 중 바닥에 위치하는 빈 공간 또는 영역을 의미할 수 있으나, 이에 한정되지 않는다.

여유 공간 검출 모듈(310)은 saliency 검출 방법을 이용하여, 영상(320)에 포함되는 여유 공간(330)을 검출할 수 있다. 또는, 여유 공간 검출 모듈(310)은 딥 뉴럴 네트워크(DNN: Deep Neural Network)를 기반으로 하는 Single Shot Detection(SSD) 방법, 뎁스 추정(depth estimation) 방법 등을 이용하여, 영상(320)에 포함되는 객체들을 검출하고, 검출된 객체에 기초하여, 영상(320)에 포함되는 여유 공간(330)을 검출할 수 있다. 또는, 여유 공간 검출 모듈(310)는 영상(320)을 세그멘테이션하고, 세그멘테이션된 영역들에 기초하여, 여유 공간(330)을 검출할 수 있다. 다만, 이에 한정되지 않으며, 여유 공간 검출 모듈(310)는 다양한 공지의 방법들을 이용하여, 영상(320)에 포함되는 여유 공간(330)을 검출할 수 있다.

도 4는 일 실시예에 따른 디스플레이 장치에 표시되는 사용자 인터페이스 화면의 일 예를 나타내는 도면이다.

일 실시예에 따른 디스플레이 장치(100)는 홈 트레이닝 서비스에서 제공되는 복수의 운동 코스들 중 어느 하나를 선택할 수 있다. 예를 들어, 디스플레이 장치(100)는 사용자 입력에 기초하여 운동 코스를 선택하거나, 사용자의 운동 이력이나 사용자의 체형 정보에 기초하여, 자동으로 운동 코스를 선택할 수 있다. 다만, 이에 한정되지 않는다.

운동 코스가 선택되면, 디스플레이 장치(100)는 카메라에 의해 촬영된 영상에 기초하여, 여유 공간을 검출할 수 있다. 이에 대해서는 도 3을 참조하여 자세히 설명하였으므로 동일한 설명은 생략하기로 한다.

디스플레이 장치(100)는 검출된 여유 공간에서, 선택된 운동 코스에 포함되는 운동 동작들이 수행 가능한지를 결정할 수 있다. 예를 들어, 운동 코스 1이 선택된 경우, 디스플레이 장치(100)는 검출된 여유 공간에서 운동 코스 1에 포함되는 운동 동작들이 수행 가능한지를 판단하여, 동작 1, 동작 3, 동작 5가 가능한 것으로 결정할 수 있다.

디스플레이 장치(100)는 검출된 여유 공간에서 수행 가능한 동작 1, 동작 3, 동작 5로 구성된 운동 컨텐츠를 재생할 것인지를 묻는 메시지(410)를 화면에 표시할 수 있다. 또한, 디스플레이 장치(100)는 다른 운동 코스를 선택할 수 있는 오브젝트(420)를 화면에 표시할 수 있다.

이에 따라, 사용자는 동작 1, 동작 3, 동작 5로 구성되는 운동 컨텐츠를 재생하거나, 다른 운동 코스를 선택할 수 있다.

도 5는 일 실시예에 따른 디스플레이 장치의 동작 방법을 나타내는 흐름도이다.

도 5를 참조하면, 디스플레이 장치(100)는 운동 코스를 선택할 수 있다(S510).

일 실시예에 따른 디스플레이 장치(100)는 홈 트레이닝 서비스를 제공할 수 있으며, 홈 트레이닝 서비스는 복수의 운동 코스들을 제공할 수 있다. 디스플레이 장치(100)는 복수의 운동 코스들 중 어느 하나를 선택하는 사용자 입력을 수신하여, 운동 코스를 선택할 수 있다.

또한, 디스플레이 장치(100)는 사용자 입력 이외에도 사용자의 운동 이력, 사용자의 체형 정보에 기초하여, 사용자에게 적절한 운동 코스를 자동으로 선택할 수 있다. 다만, 이에 한정되지 않는다.

일 실시예에 따른 디스플레이 장치(100)는 운동 코스가 선택되면, 카메라에 의해 촬영된 영상을 수신할 수 있다(S520).

디스플레이 장치(100)는 촬영된 영상에서 사용자를 검출할 수 있다(S530). 영상에서 사용자를 검출하는 동작은 컴퓨터 비젼(computer vision) 기술, AI(Artificial Intelligence) 객체 인식, 기계 학습(machine learning) 기술 등을 이용하여 수행될 수 있다.

디스플레이 장치(100)는 촬영된 영상에서 사용자가 검출되면, 영상을 분석하여, 사용자 주변의 여유 공간을 검출할 수 있다(S540).

디스플레이 장치(100)는 컴퓨터 비젼(computer vision) 기술, AI(Artificial Intelligence) 객체 인식, 기계 학습(machine learning) 기술 등을 이용하여, 여유 공간을 검출할 수 있다. 구체적으로, 디스플레이 장치(100)는 도 3에서 설명한 바와 같이, saliency 검출 방법, 딥 뉴럴 네트워크(DNN: Deep Neural Network)를 기반으로 하는 Single Shot Detection(SSD) 방법, 뎁스 추정(depth estimation) 방법 등을 이용하여, 여유 공간을 검출할 수 있다.

디스플레이 장치(100)는 선택된 운동 코스에 포함되는 운동 동작들 중 검출된 여유 공간에서 수행 가능한 운동 동작들을 결정할 수 있다(S550). 이때, 디스플레이 장치(100)는 선택된 운동 코스에 포함되는 운동 동작들이 모두 수행 가능한 경우, 선택된 운동 코스에 대응하는 운동 컨텐츠를 재생할 수 있다(S570).

반면에, 디스플레이 장치(100)는 선택된 운동 코스에 포함되는 운동 동작들 중 일부 운동 동작들만 수행 가능한 경우, 수행 가능한 운동 동작들의 개수가 기 설정된 개수 이상인지를 판단할 수 있다(S580).

수행 가능한 운동 동작들의 개수가 기 설정된 개수 이상인 경우, 디스플레이 장치(100)는 수행 가능한 운동 동작들을 제공하는 운동 컨텐츠를 재생할 수 있다.

반면에, 수행 가능한 운동 동작들의 개수가 기 설정된 개수보다 작은 경우, 디스플레이 장치는 공간 확보를 위한 가이드 화면을 표시할 수 있다(S590).

일 실시예에 따른 가이드 화면은 사용자가 운동 동작에 필요한 공간을 추가적으로 확보하도록 가이드하는 정보를 포함할 수 있다. 예를 들어, 가이드 화면은, 카메라에 의해 촬영된 실제 공간을 나타내는 영상에 현재 검출된 여유 공간과 추가로 필요한 공간이 표시되는 영상을 포함할 수 있다. 이에 대해서는 도 6을 참조하여, 자세히 설명하기로 한다.

도 6은 일 실시예에 따른 디스플레이 장치에 표시되는 가이드 화면의 일 예를 나타내는 도면이다.

도 6을 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 운동 동작을 수행하기 위해 필요한 공간에 대한 정보를 포함하는 가이드 화면(610)을 표시할 수 있다.

디스플레이 장치(100)는 검출된 여유 공간에서 선택된 운동 코스에 포함되는 운동 동작들을 수행 가능한지를 결정하고, 수행 가능한 운동 동작이 없거나, 수행 가능한 동작들의 개수가 기 설정된 개수보다 작은 경우, 도 6에 도시된 바와 같이, 가이드 화면(610)을 표시할 수 있다.

일 실시예에 따른 가이드 화면(610)은 카메라에 의해 실제 촬영된 제1 영상(620)을 포함할 수 있으며, 제1 영상(620)에는 검출된 여유 공간을 나타내는 제1 영역(630)과 운동 동작을 수행하기 위해 필요한 공간을 나타내는 제2 영역(640)이 표시될 수 있다.

또한, 일 실시예에 따른 가이드 화면(610)은 공간 확보를 완료했음을 입력하는 제1 오브젝트(650) 및 다른 운동 코스를 선택하기 위한 제2 오브젝트(660)를 포함할 수 있다.

예를 들어, 사용자는 제1 영상(620)에 표시된 제2 영역(640)을 보고, 여유 공간을 추가로 확보한 후, 제1 오브젝트(650)를 선택하는 입력을 할 수 있다. 디스플레이 장치(100)는 제1 오브젝트(650)를 선택하는 입력을 수신하면, 선택된 운동 코스에 대응하는 운동 컨텐츠를 재생할 수 있다.

또는, 디스플레이 장치(100)는 제1 오브젝트(650) 선택 입력을 수신하면, 카메라에 의해 촬영된 영상을 획득하여, 여유 공간을 다시 검출할 수 있다. 디스플레이 장치(100)는 다시 검출된 여유 공간에 기초하여, 운동 컨텐츠를 재생하거나, 추가적인 가이드 화면을 표시할 수 있다.

또한, 디스플레이 장치(100)는 제2 오브젝트(660)를 선택하는 입력을 수신하면, 새로운 운동 코스를 선택하기 위한 메뉴 화면을 표시하거나, 검출된 여유 공간에 기초하여, 수행 가능한 동작들을 포함하는 운동 코스에 대한 정보를 표시할 수 있다.

도 7은 일 실시예에 따른 디스플레이 장치의 동작 방법을 나타내는 흐름도이다.

도 7을 참조하면, 디스플레이 장치(100)는 가이드 화면을 표시할 수 있다(S710). 도 7의 710 단계(S710)는 도 5의 590 단계(S590)에 대응된다.

예를 들어, 일 실시예에 따른 디스플레이 장치(100)는 검출된 여유 공간에서 선택된 운동 코스에 포함되는 동작들을 수행 가능한지를 결정하고, 수행 가능한 운동 동작이 없거나, 수행 가능한 동작들의 개수가 기 설정된 개수보다 적은 경우, 가이드 화면을 표시할 수 있다.

도 8은 일 실시예에 따른 가이드 화면의 일 예를 나타내는 도면이다.

도 8을 참조하면, 일 실시예에 따른 가이드 화면(810)은 사용자에게 현재 선택된 운동 코스에 포함되는 운동 동작들을 수행하기 위해서는 여유 공간이 더 필요함을 알리는 메시지를 포함할 수 있다.

또한, 가이드 화면(810)은 가이드 화면(810)의 표시 종료까지의 시간 (820)을 포함할 수 있다. 예를 들어, 가이드 화면(810)에 표시된 시간(820)이 00:00이되면, 가이드 화면(810)의 표시가 종료될 수 있다.

또한, 가이드 화면(810)은 다른 운동 코스를 선택하기 위한 오브젝트(830)를 포함할 수 있다.

다시, 도 7을 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 가이드 화면이 표시되면, 카메라에 의해 촬영된 영상을 수신할 수 있다(S720).

디스플레이 장치(100)는 촬영된 영상을 분석하여, 여유 공간을 검출할 수 있다(S730). 이에 대해서는, 도 3에서 자세히 설명하였으므로 구체적인 설명은 생략하기로 한다.

디스플레이 장치(100)는 선택된 운동 코스에 포함되는 운동 동작들 중 검출된 여유 공간에서 수행 가능한 운동 동작들을 결정할 수 있다(S740).

디스플레이 장치(100)는 수행 가능한 운동 동작들의 개수가 기 설정된 개수 이상인 경우, 선택된 운동 코스에 대응하는 운동 컨텐츠를 재생하거나, 수행 가능한 운동 동작들을 제공하는 운동 컨텐츠를 재생할 수 있다(S760).

반면에, 디스플레이 장치(100)는 수행 가능한 운동 동작들의 개수가 기 설정된 개수보다 작은 경우, 다시 카메라에 의해 촬영된 영상을 수신할 수 있다(S720).

디스플레이 장치(100)는 검출된 여유 공간에서 수행 가능한 운동 동작들의 개수가 기 설정된 개수 이상이 되거나, 가이드 화면(810)의 표시가 종료되거나, 가이드 화면(810)에 포함된 오브젝트(830)의 선택 입력을 수신할 때까지 720 단계(S720), 730 단계(S730), 740 단계(S740) 및 750 단계(S750)를 일정 주기로 반복할 수 있다.

도 9는 일 실시예에 따른 디스플레이 장치의 동작 방법을 나타내는 흐름도이다.

도 9를 참조하면, 디스플레이 장치(100)는 가이드 화면을 표시할 수 있다(S910). 도 9의 910 단계(S910)는 도 5의 590 단계(S590)에 대응된다.

일 실시예에 따른 가이드 화면은, 사용자가 필요한 공간을 추가로 확보하도록 가이드하는 정보를 포함하며, 도 6 또는 도 8에 도시된 가이드 화면일 수 있다. 다만, 이에 한정되지 않는다.

디스플레이 장치(100)는 가이드 화면이 표시되면, 카메라에 의해 촬영된 영상을 수신할 수 있다(S920).

디스플레이 장치(100)는 촬영된 영상을 분석하여, 여유 공간을 검출할 수 있다(S930). 이에 대해서는, 도 3에서 자세히 설명하였으므로 구체적인 설명은 생략하기로 한다.

또한, 디스플레이 장치(100)는 선택된 운동 코스에 포함되는 운동 동작들 중 검출된 여유 공간에서 수행 가능한 운동 동작들을 결정하고, 수행 가능한 것으로 결정된 운동 동작들에 대한 정보를 표시할 수 있다(S940). 이에 대해서는 도 10을 참조하여 자세히 설명하기로 한다.

도 10은 일 실시예에 따른 디스플레이 장치가 수행 가능한 운동 동작들에 대한 정보를 제공하는 화면의 일 예를 나타내는 도면이다.

도 10을 참조하면, 디스플레이 장치(100)는 선택된 운동 코스에 포함되는 운동 동작들의 리스트(1010)를 표시할 수 있다. 예를 들어, 리스트는 운동 동작들 각각을 나타내는 아이템을 포함할 수 있다. 디스플레이 장치(100)는 리스트에서, 수행 가능한 운동 동작을 나타내는 아이템은 제1 색상으로, 수행 가능하지 않은 운동 동작을 나타내는 아이템은 제2 색상으로 표시할 수 있다.

또한, 디스플레이 장치(100)는 실제 촬영된 제1 영상(1020)을 표시할 수 있으며, 제1 영상(1020)에서 현재 검출된 여유 공간을 나타내는 영역(1030)을 표시할 수 있다.

또한, 디스플레이 장치(100)는 운동 컨텐츠를 재생하기 위한 운동 시작 오브젝트(1040)를 표시할 수 있다.

다시 도 9를 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 운동 시작 오브젝트(1040)를 선택하는 입력이 수신될 때까지, 920 단계(S920), 930 단계(S920), 940 단계(S920) 및 950 단계(S920)를 반복적으로 수행할 수 있다.

예를 들어, 디스플레이 장치(100)는 다시 카메라에 의해 촬영된 영상을 수신하고, 영상을 분석함으로써, 여유 공간을 검출하고, 검출된 여유 공간에서 수행 가능한 운동 동작들을 결정할 수 있다.

도 10에 도시된 바와 같이, 제1 영역(1030)에 대응하는 여유 공간이 검출된 경우, 동작 1, 동작 3, 및 동작 5가 수행 가능하며, 동작 2 및 동작 4는 수행할 수 없다. 반면에, 제2 영역(1050)에 대응하는 여유 공간이 검출된 경우, 동작 1 내지 동작 5가 모두 수행 가능하게 된다.

이와 같이, 일 실시예에 따른 디스플레이 장치(100)는 사용자에 의해 추가적으로 확보된 여유 공간을 실시간으로 검출하여, 수행 가능한 운동 동작들에 대한 정보를 제공할 수 있다.

다시 도 9를 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 운동 시작 오브젝트(1040)를 선택하는 입력이 수신되면, 현재 수행 가능한 운동 동작들을 제공하는 운동 컨텐츠를 재생할 수 있다.

예를 들어, 도 10에 도시된 바와 같이, 제1 리스트(1010)가 표시된 상태에서, 운동 시작 오브젝트를 선택하는 입력을 수신하면, 디스플레이 장치(100)는 동작 1, 동작 3 및 동작 5를 제공하는 운동 컨텐츠를 재생할 수 있다.

또는, 제2 리스트(1060)가 표시된 상태에서 운동 시작 오브젝트를 선택하는 입력을 수신하면, 디스플레이 장치(100)는 동작 1 내지 동작 5를 제공하는 운동 컨텐츠를 재생할 수 있다.

도 11은 일 실시예에 따른 디스플레이 장치의 동작 방법을 나타내는 흐름도이다.

도 11을 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 카메라에 의해 촬영된 영상을 수신할 수 있다(S1110).

또한, 디스플레이 장치(100)는 카메라에 의해 촬영되는 영상에서 사용자를 검출하고(S1120), 사용자가 검출되면, 영상을 분석하여, 영상에 포함되는 여유 공간을 검출할 수 있다(S1130).

일 실시예에 따른 디스플레이 장치(100)는 검출된 여유 공간에 기초하여, 검출된 여유 공간에서 수행 가능한 하나 이상의 운동 동작들을 결정할 수 있다(S1140).

디스플레이 장치(100)는 수행 가능한 운동 동작들의 개수가 기 설정된 개수 이상인지를 판단할 수 있다(S1150).

디스플레이 장치(100)는 수행 가능한 운동 동작들의 개수가 기 설정된 개수 이상인 경우, 수행 가능한 운동 동작들만을 포함하는 운동 코스를 결정하고, 결정된 운동 코스에 대한 정보를 표시할 수 있다(S1160).

운동 코스에 대한 정보는, 운동 코스의 명칭, 운동 코스에 대응하는 운동 컨텐츠, 운동 코스에 포함되는 운동 동작들에 대한 정보, 운동 코스를 수행하기 위해 소요 시간 정보 등을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 디스플레이 장치(100)는 1120 단계(S1120)에서 검출된 사용자의 체형 정보나 운동 이력 등에 기초하여, 운동 코스 추천 정보를 제공할 수 있다.

디스플레이 장치(100)는 운동 코스를 선택하는 입력을 수신하면(S1170), 선택된 운동 코스에 대응하는 운동 컨텐츠를 재생할 수 있다(S1180).

반면에, 디스플레이 장치(100)는 검출된 여유 공간에서 수행 가능한 운동 동작이 없거나, 수행 가능한 동작들의 개수가 기 설정된 개수보다 작은 경우, 운동 동작을 수행하기 위해 필요한 공간에 대한 정보를 포함하는 가이드 화면을 표시할 수 있다(S1190).

도 12는 일 실시예에 따른 운동 코스 선택 화면의 일 예를 나타내는 도면이다.

도 12를 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 운동 코스를 선택하기 위한 운동 코스 선택 화면(1210)을 표시할 수 있다.

운동 코스 선택 화면(1210)은 홈 트레이닝 서비스에서 제공하는 복수의 운동 코스들에 대한 정보를 포함할 수 있다. 예를 들어, 운동 코스의 명칭, 운동 코스에 대한 정보는, 운동 코스를 나타내는 대표 이미지(예를 들어, 운동 코스 동영상의 썸네일 이미지 등), 운동 코스에 필요한 공간에 대한 정보, 운동 코스에 포함되는 운동 동작들에 대한 정보, 운동 코스를 수행하기 위해 소요 시간 정보, 운동 코스의 효과 정보 등을 포함할 수 있으며, 이에 한정되지 않는다.

일 실시예에 따른 디스플레이 장치(100)는 운동 코스에 포함되는 운동 동작들을 수행하기 위해 필요한 공간에 대한 정보를 제공할 수 있다.

예를 들어, 운동 코스 선택 화면(1210)은 복수의 운동 코스들 각각에 대응하는 필요 공간 보기 오브젝트(1220)를 포함할 수 있다.

디스플레이 장치(100)는 운동 코스 선택 화면(1210)에 포함된 필요 공간 보기 오브젝트(1220)를 선택하는 입력을 수신하면, 해당 운동 코스에 포함되는 운동 동작들을 수행하기 위해 필요한 공간에 대한 정보를 표시할 수 있다.

예를 들어, 도 12에 도시된 바와 같이, 운동 코스 1에 대응하는 필요 공간 보기 오브젝트가 선택되면, 디스플레이 장치(100)는 운동 코스 1에 포함되는 운동 동작들을 수행하기 위해 필요한 공간을 나타내는 영상을 팝업 창(1230)으로 표시할 수 있다. 이때, 팝업 창(1230)에 표시되는 영상은 카메라에 의해 촬영되는 실제 영상일 수 있으며, 운동 코스 1에 포함되는 운동 동작들을 수행하기 위해 필요한 공간에 대응하는 영역(1240)이 영상에 표시될 수 있다. 다만, 이에 한정되지 않는다.

도 13은 일 실시예에 따른 디스플레이 장치의 동작을 설명하기 위한 도면이다.

도 13을 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 카메라(110)에 의해 촬영된 영상을 수신할 수 있다. 디스플레이 장치(100)는 카메라(110)를 이용하여, 기 설정된 범위의 공간을 촬영한 영상을 획득할 수 있으며, 도 13에 도시된 바와 같이, 디스플레이 장치(100)의 전면에 위치한 공간(1310)을 촬영한 영상을 획득할 수 있다.

디스플레이 장치(100)는 촬영되는 영상에서 운동 도구나 운동 기구를 검출할 수 있다. 예를 들어, 디스플레이 장치(100)는 컴퓨터 비젼(computer vision) 기술, AI(Artificial Intelligence) 객체 인식, 기계 학습(machine learning) 기술 등을 이용하여, 운동 도구나 운동 기구를 검출할 수 있다. 디스플레이 장치(100)는 촬영된 영상에서 필라테스 링, 짐 볼, 폼롤러 등의 운동 도구를 검출할 수 있다.

디스플레이 장치(100)는 검출된 운동 도구에 기초하여, 운동 코스를 결정할 수 있다. 예를 들어, 디스플레이 장치(100)는 홈 트레이닝 서비스에서 제공하는 복수의 운동 코스들 중 검출된 운동 도구나 운동 기구를 이용하는 운동 동작이 포함된 운동 코스를 결정하고, 결정된 운동 코스에 대한 정보를 표시할 수 있다. 운동 코스에 대한 정보는, 운동 코스의 명칭, 운동 코스에 대응하는 운동 컨텐츠, 운동 코스에 포함되는 운동 동작들에 대한 정보, 운동 코스를 수행하기 위해 소요 시간 정보 등을 포함할 수 있으나, 이에 한정되지 않는다.

예를 들어, 디스플레이 장치(100)는 복수의 운동 코스들 중 짐볼(1330)을 이용한 동작을 포함하는 운동 코스 1에 대응하는 운동 컨텐츠(1350)와 폼롤러(1340)를 이용한 운동 동작을 포함하는 운동 코스 2에 대응하는 운동 컨텐츠(1360)를 표시할 수 있다.

디스플레이 장치(100)는 디스플레이에 표시된 운동 컨텐츠들 중 어느 하나를 선택하는 입력(예를 들어, '시작하기' 오브젝트를 선택하는 입력)을 수신하면, 선택된 운동 컨텐츠를 재생할 수 있다.

이에 따라, 일 실시예에 따른 디스플레이 장치(100)는 사용자의 주변 공간에 존재하는 운동 도구나 운동 기구 등을 인식하여, 인식된 운동 도구나 운동 기구를 이용하여 수행할 수 있는 운동 동작을 포함하는 운동 코스를 사용자에게 제공할 수 있다.

도 14는 일 실시예에 따른 디스플레이 장치가 운동 컨텐츠가 재생될 때, 사용자의 동작을 홈 트레이닝 서비스를 제공하는 방법을 나타내는 흐름도이고, 도 15는 도 14의 설명에 참조되는 도면이다.

일 실시예에 따른 디스플레이 장치(100)는 운동 컨텐츠를 재생할 수 있다. 여기서, 운동 컨텐츠는 운동 동작을 표현하는 동영상 컨텐츠일 수 있다. 예를 들어, 도 15에 도시된 바와 같이, 운동 컨텐츠는 트레이너가 운동 동작을 수행하는 내용을 포함할 수 있으며, 디스플레이 장치(100)는 운동 동작을 나타내는 영상들을 실시간으로 표시 또는 출력함으로써, 해당 동영상 컨텐츠를 재생할 수 있다.

동영상 컨텐츠가 재생되는 동안에, 사용자(1510)는 디스플레이를 통해 출력되는 동영상 컨텐츠를 시청하고, 운동 동작을 따라할 수 있다. 도 15에서는 운동 동작을 수행하는 트레이너가 실제 사람인 것으로 도시하였으나, 이에 한정되지 않으며, 캐릭터나 아바타 등의 가상 인물일 수 있다.

도 14를 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 운동 컨텐츠를 재생하는 동안에, 카메라(110)에 의해 촬영된 영상을 수신할 수 있다(S1410). 이때, 디스플레이 장치(100)는 운동 컨텐츠를 시청하면서 운동 동작을 따라하는 사용자(1510)에 대한 영상을 획득할 수 있다.

디스플레이 장치(100)는 획득한 영상에서 사용자를 검출하고(S1420), 검출된 사용자의 자세 또는 동작을 분석할 수 있다(S1430).

디스플레이 장치(100)는 사용자의 자세 또는 동작을 분석한 결과에 기초하여, 사용자에게 피드백을 제공할 수 있다(S1440).

디스플레이 장치(100)는 사용자의 자세 또는 동작을 코칭(coaching)하기 위한 정보를 출력할 수 있다. 예를 들어, 디스플레이 장치(100)는 코칭 정보를 사용자가 시각적으로 인식할 수 있도록 디스플레이를 통해 표시하거나, 사용자가 청각적으로 인식할 수 있도록 스피커를 통해 출력할 수 있다.

디스플레이 장치(100)는 운동 동작을 따라하는 사용자의 자세 또는 동작에 대한 정확도를 나타내는 정보를 출력할 수 있다. 예를 들어, 디스플레이 장치()는 디스플레이를 통해 사용자의 자세의 정확도를 점수로 표시하거나, bad, good, excellent 등과 같은 메시지로 표시할 수 있다.

또는, 디스플레이 장치(100)는 운동 동작을 따라하는 사용자의 자세 중 수정되어야 하는 부분에 대한 정보 등을 출력할 수 있다. 예를 들어, 디스플레이 장치(100)는 도 15에 도시된 바와 같이, '팔을 더 벌려 주세요' 등과 같은 메시지(1520)를 디스플레이를 통해 표시하거나, 스피커를 통해 출력할 수 있다. 다만, 이에 한정되지 않는다.

디스플레이 장치(100)는 운동 컨텐츠의 재생이 종료될 때까지 1410 단계(S1410), 1420 단계(S1420), 1430 단계(S1430), 1440 단계(S1440), 1450 단계(S1450)를 반복하면서, 사용자에게 홈 트레이닝 서비스를 제공할 수 있다.

도 16은 일 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.

도 16을 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 카메라(110), 프로세서(120), 메모리(130), 및 디스플레이(140)를 포함할 수 있다.

일 실시예에 따른 카메라(110)는 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 획득할 수 있다. 예를 들어, 카메라(110)는 카메라 인식 범위에 포함되는 공간에 대한 영상을 획득할 수 있으며, 인식 범위에 존재하는 사용자에 대한 영상을 획득할 수 있다. 카메라(110)를 통해 캡쳐된 영상은 프로세서(120)또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있으며, 프로세서(120)는 영상을 분석함으로써, 사용자를 검출하거나, 영상에 포함된 여유 공간을 검출할 수 있다. 카메라(110)는 디스플레이 장치(100)의 구성 태양에 따라 2개 이상이 포함될 수도 있다.

일 실시예에 따른 프로세서(120)는 디스플레이 장치(100)의 전반적인 동작 및 디스플레이 장치(100)의 내구 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다.

프로세서(120)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다. 또한, 프로세서(120)는 복수의 프로세서를 포함할 수 있다. 예를 들어, 프로세서(120)는 메인 프로세서(main processor, 도시되지 아니함) 및 슬립 모드(sleep mode)에서 동작하는 서브 프로세서(sub processor, 도시되지 아니함)로 구현될 수 있다.

또한, 프로세서(120)는 CPU(Cetral Processing Unit), GPU (Graphic Processing Unit) 및 VPU(Video Processing Unit) 중 적어도 하나를 포함할 수 있다. 또는, 실시예에 따라, CPU, GPU 및 VPU 중 적어도 하나를 통합한 SoC(System On Chip) 형태로 구현될 수 있다.

일 실시예에 따른 메모리(130)는 디스플레이 장치(100)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다.

또한, 메모리(130)에 저장되는 프로그램은 하나 이상의 인스트럭션들을 포함할 수 있다. 메모리(130)에 저장된 프로그램(하나 이상의 인스트럭션들) 또는 어플리케이션은 프로세서(120)에 의해 실행될 수 있다.

일 실시예에 따라 도 3에 여유 공간 검출 기능을 수행하는 모듈이 프로그램으로 구성되는 경우, 메모리(130)는 도 3에 도시된 여유 공간 검출 모듈을 저장할 수 있다.

일 실시예에 따른 프로세서(120)는 카메라를 이용하여, 기 설정된 범위의 공간을 촬영한 영상을 획득할 수 있다. 또한, 프로세서(120)는 홈 트레이닝 어플리케이션 실행 입력 또는 운동 코스를 선택하는 사용자 입력에 기초하여, 카메라에 의해 촬영되는 영상을 획득할 수 있다. 프로세서(120)는 카메라에 의해 촬영되는 영상에서 사용자를 검출하고, 사용자가 검출되면, 사용자의 주변 공간을 촬영한 영상을 획득할 수 있다.

프로세서(120)는 획득된 영상을 분석하여, 영상에 포함되는 여유 공간을 검출할 수 있다. 프로세서(120)는 saliency 검출 방법을 이용하여, 영상에 포함되는 여유 공간을 검출할 수 있다. 또는, 프로세서(120)는 딥 뉴럴 네트워크(DNN: Deep Neural Network)를 기반으로 하는 Single Shot Detection(SSD) 방법, 뎁스 추정(depth estimation) 방법 등을 이용하여, 영상에 포함되는 객체들을 검출하고, 검출된 객체에 기초하여, 영상에 포함되는 여유 공간을 검출할 수 있다. 또는, 프로세서(120)는 영상을 세그멘테이션하고, 세그멘테이션된 영역들에 기초하여, 여유 공간을 검출할 수 있다. 다만, 이에 한정되지 않으며, 프로세서(120)는 다양한 공지의 방법들을 이용하여, 영상에 포함되는 여유 공간을 검출할 수 있다.

프로세서(120)는 검출된 여유 공간에 기초하여, 검출된 여유 공간에서 수행 가능한 하나 이상의 운동 동작들을 결정할 수 있다. 프로세서(120)는 선택된 운동 코스에 포함된 운동 동작들 중 검출된 여유 공간에서 수행 가능한 운동 동작들을 결정할 수 있다. 예를 들어, 하체 강화 코스가 선택된 경우, 프로세서(120)는 검출된 여유 공간의 위치, 크기 등에 기초하여, 하체 강화 코스에 포함된 스쿼트 동작, 런지 동작, 플랭크 동작들 각각을 수행할 수 있는 지 결정할 수 있다.

프로세서(120)는 수행 가능한 것으로 결정된 운동 동작에 기초하여, 운동 컨텐츠를 제공할 수 있다. 예를 들어, 하체 강화 코스에 포함된 운동 동작들 중 검출된 여유 공간에서 스쿼트 동작과 런지 동작만 수행 가능하고, 플랭크 동작을 수행하기에 공간이 부족한 경우, 프로세서(120)는 스쿼트 동작과 런지 동작을 가이드하는 영상들을 포함하는 운동 컨텐츠를 재생 또는 출력할 수 있다.

또는, 프로세서(120)는 운동 코스가 선택되지 않은 경우, 복수의 운동 코스들 중 검출된 여유 공간에서 수행 가능한 운동 동작들만 포함하는 운동 코스를 선택하여, 선택된 운동 코스에 대응하는 운동 컨텐츠를 재생 또는 출력할 수 있다.

프로세서(120)는 선택된 운동 코스에 포함되는 운동 동작들 중 수행 가능한 운동 동작들의 개수가 기 설정된 개수보다 작은 경우, 공간 확보를 위한 가이드 화면을 표시하도록 디스플레이(140)를 제어할 수 있다.

일 실시예에 따른 가이드 화면은 사용자가 운동 동작에 필요한 공간을 추가적으로 확보하도록 가이드하는 정보를 포함할 수 있다. 예를 들어, 가이드 화면은, 카메라에 의해 촬영된 실제 공간을 나타내는 영상에 현재 검출된 여유 공간과 추가로 필요한 공간이 표시되는 영상을 포함할 수 있다.

일 실시예에 따른 프로세서(120)는 수행 가능한 운동 동작들에 대한 정보를 출력하도록 디스플레이(140)를 제어할 수 있다. 프로세서(120)는 수행 가능한 운동 동작들을 포함하는 운동 코스에 대한 정보를 표시하도록 디스플레이(140)를 제어할 수 있다.

한편, 프로세서(120)는 운동 컨텐츠를 재생하는 동안에, 카메라(110)에 의해 촬영된 사용자 영상을 획득할 수 있다. 프로세서(120)는 획득한 영상에서 사용자를 검출하고, 검출된 사용자의 자세 또는 동작을 분석할 수 있다. 또한, 프로세서(120)는 사용자의 자세 또는 동작을 분석한 결과에 기초하여, 사용자에게 피드백을 제공할 수 있다.

일 실시예에 따른 디스플레이(140)는, 프로세서(120)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 제어 신호 등을 변환하여 구동 신호를 생성한다. 디스플레이(140)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display)등으로 구현될 수 있으며, 또한, 3차원 디스플레이(3D display)로 구현될 수 있다. 또한, 디스플레이(140)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.

일 실시예에 따른 디스플레이(140)는 운동 컨텐츠 영상을 표시하거나 운동에 필요한 공간을 확보하도록 하는 가이드 화면을 표시할 수 있다. 또는, 운동 동작을 따라하는 사용자의 자세 또는 동작에 대한 피드백 정보를 표시할 수 있다.

도 17은 일 실시예에 따른 홈 트레이닝 서비스 제공 시스템을 나타내는 도면이다.

도 17을 참조하면, 일 실시예에 따른 홈 트레이닝 서비스 제공 시스템은 카메라 장치(1710) 및 디스플레이 장치(1720)를 포함할 수 있다. 카메라 장치(1710)와 디스플레이 장치(1720)는 유무선 통신을 통하여 연결될 수 있다.

일 실시예에 따른 카메라 장치(1710)는 카메라를 포함하는 전자 장치일 수 있다. 예를 들어, 카메라 장치(1710)는 디지털 카메라, 캠코더, 휴대폰, 태블릿 PC 등과 같은 다양한 형태의 전자 장치로 구현될 수 있다.

또한, 디스플레이 장치(1720)는 디스플레이를 포함하는 전자 장치일 수 있다.

일 실시예에 따른 카메라 장치(1710)는 디스플레이 장치(1720)와 별개의 장치로 디스플레이 장치(1720)에 설치된 형태일 수도 있다.

일 실시예에 따른 카메라 장치(1710)는 이미지 센서를 통해 정지 영상 또는 동영상 등의 화상 프레임을 획득할 수 있으며, 예를 들어, 카메라 장치(1710)는 카메라 인식 범위에 포함되는 공간(1730)에 대한 영상을 획득할 수 있다. 카메라 장치(1710)는 획득한 영상을 유무선 통신을 통해 디스플레이 장치(1720)로 전송할 수 있다. 디스플레이 장치(1720)는 카메라 장치(1710)로부터 수신한 영상을 분석함으로써, 사용자를 검출하거나 여유 공간을 검출할 수 있다.

또는, 일 실시예에 따른 카메라 장치(1710)는 프로세서 및 메모리를 포함할 수 있으며, 카메라 장치(1710)는 도 16의 디스플레이 장치(100)의 프로세서(120)에서 수행되는 동작들 중 일부를 수행할 수 있다. 예를 들어, 카메라 장치(1710)는 카메라 장치(1710)에서 획득된 영상을 분석함으로써, 여유 공간을 검출하거나 사용자를 검출할 수 있다. 카메라 장치(1710)는 검출 결과를 유무선 통신을 통해 디스플레이 장치(1720)로 전송할 수 있다.

이에 따라, 디스플레이 장치(1720)는 디스플레이 장치(1720)에서 영상 분석을 통해 검출된 여유 공간 또는 카메라 장치(1710)로부터 수신한 여유 공간 검출 결과에 기초하여, 검출된 여유 공간에서 수행 가능한 하나 이상의 운동 동작들을 결정할 수 있다. 검출된 여유 공간에서 수행 가능한 하나 이상의 운동 동작들을 결정하는 동작에 대해서는 도 1 내지 도 16에서 자세히 설명하였으므로, 구체적인 설명은 생략하기로 한다.

또는, 일 실시예에 따른 카메라 장치(1710)는 카메라 장치(1710)에서 영상 분석을 통해 검출된 여유 공간에 기초하여, 검출된 여유 공간에서 수행 가능한 하나 이상의 운동 동작들을 결정할 수 있다. 카메라 장치(1710)는 수행 가능한 것으로 결정된 운동 동작에 대한 정보를 유무선 통신을 통해 디스플레이 장치(1720)로 전송할 수 있다. 디스플레이 장치(1720)는 카메라 장치(1710)로부터 수신한 결정된 운동 동작에 대한 정보를 기초로 운동 컨텐츠를 재생 또는 출력하거나, 공간 확보를 위한 가이드 화면을 표시할 수 있다. 결정된 운동 동작에 대한 정보를 기초로 운동 컨텐츠를 재생 또는 출력하거나, 공간 확보를 위한 가이드 화면을 표시하는 동작에 대해서는 도 1 내지 도 16에서 자세히 설명하였으므로, 구체적인 설명은 생략하기로 한다.

도 18은 다른 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.

도 18을 참조하면, 도 18의 디스플레이 장치(1100)는 도 1 내지 도 16을 참조하여 설명한 디스플레이 장치(100)의 일 실시예일 수 있다.

도 18을 참조하면, 일 실시예에 따른 디스플레이 장치(1800)는, 튜너부(1840), 프로세서(1810), 디스플레이부(1820), 통신부(1850), 감지부(1830), 입/출력부(1870), 비디오 처리부(1880), 오디오 처리부(1885), 오디오 출력부(1860), 메모리(1890), 전원부(1895)를 포함할 수 있다.

도 18의 카메라부(1832)는 도 16의 카메라(110)에 도 18의 프로세서(1810)는, 도 16의 프로세서(120)에 도 18의 메모리(1890)는 도 16의 메모리(130)에, 도 18의 디스플레이부(1820)는 도 16의 디스플레이(140)에, 대응하는 구성이다. 따라서, 앞에서 설명한 내용과 동일한 내용은 생략하기로 한다.

일 실시예에 따른 튜너부(1840)는 유선 또는 무선으로 수신되는 방송 신호를 증폭(amplification), 혼합(mixing), 공진(resonance)등을 통하여 많은 전파 성분 중에서 방송 수신 장치(100)에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 방송 신호는 오디오(audio), 비디오(video) 및 부가 정보(예를 들어, EPG(Electronic Program Guide))를 포함한다.

튜너부(1840)는 지상파 방송, 케이블 방송, 위성 방송, 인터넷 방송 등과 같이 다양한 소스로부터 방송 신호를 수신할 수 있다. 튜너부(1840)는 아날로그 방송 또는 디지털 방송 등과 같은 소스로부터 방송 신호를 수신할 수도 있다.

통신부(1850)는 외부 장치 또는 서버와 데이터 또는 신호를 송수신할 수 있다. 예를 들어, 통신부(1850)는 와이- 파이(Wi-Fi) 모듈, 블루투스 모듈, 적외선 통신 모듈 및 무선 통신 모듈, LAN 모듈, 이더넷(Ethernet) 모듈, 유선 통신 모듈 등을 포함할 수 있다. 이때, 각 통신 모듈은 적어도 하나의 하드웨어 칩 형태로 구현될 수 있다.

와이 파이 모듈, 블루투스 모듈은 각각 Wi-Fi 방식, 블루투스 방식으로 통신을 수행한다. 와이 파이 모듈이나 블루투스 모듈을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하고, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 모듈은 지그비(zigbee), 3G(3^rdGeneration), 3GPP(3^rd Generation Partnership Project), LTE(Long Term Evolution), LTE-A(LTE Advanced), 4G(4^th Generation), 5G(5^th Generation) 등과 같은 다양한 무선 통신 규격에 따라 통신을 수행하는 적어도 하나의 통신 칩을 포함할 수 있다.

감지부(1830)는 사용자의 음성, 사용자의 영상 또는 사용자의 인터랙션을 감지하며, 마이크(1831), 카메라부(1832) 및 광 수신부(1833)를 포함할 수 있다.

마이크(1831)는 사용자의 발화(utterance)된 음성을 수신한다. 마이크(1831)는 수신된 음성을 전기 신호로 변환하여 프로세서(1810)로 출력할 수 있다. 사용자 음성은 예를 들어, 디스플레이 장치(1800)의 메뉴 또는 기능에 대응되는 음성을 포함할 수 있다.

카메라부(1832)는 카메라 인식 범위에서 제스처를 포함하는 사용자의 모션에 대응되는 영상(예를 들어, 연속되는 프레임)을 수신할 수 있다. 프로세서(1810)는 수신된 모션의 인식 결과를 이용하여 디스플레이 장치(1800)에 표시되는 메뉴를 선택하거나 모션 인식 결과에 대응되는 제어를 할 수 있다.

광 수신부(1833)는 외부의 제어 장치에서부터 수신되는 광 신호(제어 신호를 포함)를 디스플레이부(1820)의 베젤의 광창(도시되지 아니함) 등을 통해 수신한다. 광 수신부(1833)는 제어 장치로부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광 신호를 수신할 수 있다. 수신된 광 신호로부터 프로세서(1810)의 제어에 의해 제어 신호가 추출될 수 있다.

프로세서(1810)는 디스플레이 장치(1800)의 전반적인 동작 및 영상 처리 장치(1800)의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 프로세서(1810)는 사용자의 입력이 있거나 기 설정되어 저장된 조건을 만족하는 경우, 메모리(1890)에 저장된 OS(Operation System) 및 다양한 애플리케이션을 실행할 수 있다.

프로세서(1810)는 디스플레이 장치(1800)의 외부에서부터 입력되는 신호 또는 데이터를 저장하거나, 디스플레이 장치(1800)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램(RAM), 디스플레이 장치(1800)의 제어를 위한 제어 프로그램이 저장된 롬(ROM) 및 프로세서(Processor)를 포함할 수 있다.

비디오 처리부(1880)는, 디스플레이 장치(1800)가 수신한 비디오 데이터에 대한 처리를 수행한다. 비디오 처리부(1180)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.

오디오 처리부(1885)는 오디오 데이터에 대한 처리를 수행한다. 오디오 처리부(1885)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 한편, 오디오 처리부(1885)는 복수의 컨텐츠에 대응되는 오디오를 처리하기 위해 복수의 오디오 처리 모듈을 구비할 수 있다.

오디오 출력부(1860)는 프로세서(1810)의 제어에 의해 튜너부(1840)를 통해 수신된 방송 신호에 포함된 오디오를 출력한다. 오디오 출력부(1860)는 통신부(1850) 또는 입/출력부(1870)를 통해 입력되는 오디오(예를 들어, 음성, 사운드)를 출력할 수 있다. 또한, 오디오 출력부(1860)는 프로세서(1810)의 제어에 의해 메모리(1890)에 저장된 오디오를 출력할 수 있다. 오디오 출력부(1860)는 스피커, 헤드폰 출력 단자 또는 S/PDIF(Sony/Philips Digital Interface: 출력 단자 중 적어도 하나를 포함할 수 있다.

입/출력부(1870)는, 디스플레이 장치(1800)의 외부에서부터 비디오(예를 들어, 동영상 등), 오디오(예를 들어, 음성, 음악 등) 및 부가 정보(예를 들어, EPG 등) 등을 수신한다. 입출력 인터페이스는 HDMI (High-Definition Multimedia Interface), MHL(Mobile High-Definition Link), USB(Universal Serial Bus), DP(Display Port), 썬더볼트(Thunderbolt), VGA(Video Graphics Array) 포트, RGB 포트, D-SUB(D-subminiature), DVI(Digital Visual Interface), 컴포넌트 잭(component jack), PC 포트(PC port) 중 어느 하나를 포함할 수 있다.

전원부(1895)는 프로세서(1810)의 제어에 의해 디스플레이 장치(1800) 내부의 구성 요소들로 외부의 전원 소스에서부터 입력되는 전원을 공급한다. 또한, 전원부(1895)는 프로세서(1810)의 제어에 의해 디스플레이 장치(1800) 내부에 위치하는 하나 또는 둘 이상의 배터리(도시되지 아니함)에서부터 출력되는 전원을 내부의 구성 요소들에게 공급할 수 있다.

메모리(1890)는 프로세서(1810)의 제어에 의해 디스플레이 장치(1800)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 메모리(1890)는 도시되지 아니한 방송 수신 모듈, 채널 제어 모듈, 볼륨 제어 모듈, 통신 제어 모듈, 음성 인식 모듈, 모션 인식 모듈, 광 수신 모듈, 디스플레이 제어 모듈, 오디오 제어 모듈, 외부 입력 제어 모듈, 전원 제어 모듈, 무선(예를 들어, 블루투스)으로 연결되는 외부 장치의 전원 제어 모듈, 음성 데이터베이스(DB), 또는 모션 데이터베이스(DB)를 포함할 수 있다. 메모리(1890)의 도시되지 아니한 모듈들 및 데이터 베이스는 디스플레이 장치(1800)에서 방송 수신의 제어 기능, 채널 제어 기능, 볼륨 제어 기능, 통신 제어 기능, 음성 인식 기능, 모션 인식 기능, 광 수신 제어 기능, 디스플레이 제어 기능, 오디오 제어 기능, 외부 입력 제어 기능, 전원 제어 기능 또는 무선(예를 들어, 블루투스)으로 연결되는 외부 장치의 전원 제어 기능을 수행하기 위하여 소프트웨어 형태로 구현될 수 있다. 프로세서(1810)는 메모리(1890)에 저장된 이들 소프트웨어를 이용하여 각각의 기능을 수행할 수 있다.

한편, 도 16 및 도 18에 도시된 디스플레이 장치(100, 1800)의 블록도는 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 디스플레이 장치(100, 1800)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.

일 실시예에 따른 디스플레이 장치의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

또한, 개시된 실시예들에 따른 디스플레이 장치의 동작 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.

컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 전자 장치의 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 SW 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.

컴퓨터 프로그램 제품은, 서버 및 클라이언트 장치로 구성되는 시스템에서, 서버의 저장매체 또는 클라이언트 장치의 저장매체를 포함할 수 있다. 또는, 서버 또는 클라이언트 장치와 통신 연결되는 제3 장치(예, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 클라이언트 장치 또는 제3 장치로 전송되거나, 제3 장치로부터 클라이언트 장치로 전송되는 S/W 프로그램 자체를 포함할 수 있다.

이 경우, 서버, 클라이언트 장치 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 클라이언트 장치 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.

예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 클라이언트 장치가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.

이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims

디스플레이 장치에 있어서,
카메라;
디스플레이;
하나 이상의 인스트럭션들을 저장하는 메모리; 및
상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고,
상기 프로세서는,
상기 카메라에 의해 촬영된 영상을 분석하여, 상기 영상에 포함된 여유 공간을 검출하고,
상기 검출된 여유 공간에 기초하여, 상기 여유 공간에서 수행 가능한 운동 동작을 결정하고,
상기 결정된 운동 동작에 기초하여, 운동 컨텐츠를 제공하도록 상기 디스플레이를 제어하는, 디스플레이 장치.
제1항에 있어서,
상기 프로세서는,
운동 어플리케이션을 실행시키는 입력 또는 운동 코스를 선택하는 사용자 입력에 기초하여, 상기 카메라가 촬영을 수행하도록 제어하는, 디스플레이 장치.
제1항에 있어서,
상기 프로세서는,
운동 코스를 선택하는 사용자 입력을 수신하고,
상기 사용자 입력에 기초하여, 선택된 운동 코스에 포함되는 운동 동작들 중 상기 검출된 여유 공간에서 수행 가능한 운동 동작을 결정하는, 디스플레이 장치.
제1항에 있어서,
상기 프로세서는,
상기 카메라에 의해 촬영된 영상에서 상기 사용자를 검출하고,
상기 사용자가 검출되는 것에 기초하여, 상기 영상에서 상기 사용자 주변의 상기 여유 공간을 검출하는, 디스플레이 장치.
제1항에 있어서,
상기 프로세서는,
뉴럴 네트워크를 이용하여, 상기 촬영된 영상에 포함되는 상기 여유 공간을 검출하는, 디스플레이 장치.
제1항에 있어서,
상기 프로세서는,
상기 검출된 여유 공간에서 수행 가능한 운동 동작이 존재하지 않거나, 상기 수행 가능한 운동 동작들의 개수가 기 설정된 개수보다 작은 경우, 추가로 필요한 공간을 확보하도록 하는 가이드 화면을 표시하도록 상기 디스플레이를 제어하는 디스플레이 장치.
제6항에 있어서,
상기 가이드 화면은,
상기 카메라에 의해 촬영된 실제 공간을 나타내는 영상에 상기 검출된 여유 공간과 추가로 필요한 공간이 표시되는 영상을 포함하는, 디스플레이 장치.
제6항에 있어서,
상기 프로세서는,
상기 검출된 여유 공간에서 수행 가능한 운동 동작이 존재하지 않거나, 상기 수행 가능한 운동 동작들의 개수가 기 설정된 개수보다 작은 경우, 상기 카메라가 일정한 주기로 촬영을 수행하도록 제어하고,
상기 카메라에 의해 일정한 주기로 촬영된 영상에서 검출된 여유 공간이 상기 추가로 필요한 공간을 포함하는 경우, 상기 운동 컨텐츠를 재생하는 디스플레이 장치.
제1항에 있어서,
상기 프로세서는,
상기 결정된 운동 동작을 포함하는 운동 코스를 결정하고,
상기 결정된 운동 코스에 대한 정보를 표시하도록 상기 디스플레이를 제어하는, 디스플레이 장치.
제1항에 있어서,
상기 프로세서는,
상기 카메라에 의해 촬영된 사용자 영상을 수신하고,
상기 사용자 영상에 기초하여, 상기 사용자의 체형 정보를 획득하고,
상기 사용자의 체형 정보에 기초하여, 운동 코스를 선택하며,
상기 선택된 운동 코스에 포함되는 운동 동작들 중 상기 검출된 여유 공간에서 수행 가능한 운동 동작을 결정하는, 디스플레이 장치.
제1항에 있어서,
상기 프로세서는,
상기 운동 컨텐츠를 출력하도록 상기 디스플레이를 제어하고,
상기 운동 컨텐츠가 출력되는 동안 상기 카메라에 의해 촬영된 사용자 영상을 수신하고,
상기 사용자 영상에 기초하여, 상기 사용자의 자세 또는 동작을 분석하고,
상기 사용자의 자세 또는 동작에 대한 분석 결과에 기초하여, 코칭 정보를 제공하는, 디스플레이 장치.
디스플레이 장치의 동작 방법에 있어서,
카메라에 의해 촬영된 영상을 수신하는 단계;
상기 영상에 포함된 여유 공간을 검출하는 단계;
상기 검출된 여유 공간에 기초하여, 상기 여유 공간에서 수행 가능한 운동 동작을 결정하는 단계; 및
상기 결정된 운동 동작에 기초하여, 운동 컨텐츠를 제공하는 단계를 포함하는, 디스플레이 장치의 동작 방법.
제12항에 있어서,
상기 카메라에 의해 촬영된 영상을 수신하는 단계는,
운동 어플리케이션을 실행시키는 입력 또는 운동 코스를 선택하는 사용자 입력에 기초하여, 상기 카메라에 의해 촬영을 수신하는 단계를 포함하는, 디스플레이 장치의 동작 방법.
제12항에 있어서,
상기 동작 방법은,
운동 코스를 선택하는 사용자 입력을 수신하는 단계를 더 포함하고,
상기 여유 공간에서 수행 가능한 운동 동작을 결정하는 단계는,
상기 사용자 입력에 기초하여, 선택된 운동 코스에 포함되는 운동 동작들 중 상기 검출된 여유 공간에서 수행 가능한 운동 동작을 결정하는 단계를 포함하는, 디스플레이 장치의 동작 방법.
제12항에 있어서,
상기 동작 방법은,
상기 카메라에 의해 촬영된 영상에서 상기 사용자를 검출하는 단계를 더 포함하고,
상기 여유 공간을 검출하는 단계는,
상기 사용자가 검출되는 것에 기초하여, 상기 영상에서 상기 사용자 주변의 상기 여유 공간을 검출하는 단계를 포함하는, 디스플레이 장치의 동작 방법.
제12항에 있어서,
상기 여유 공간을 검출하는 단계는,
뉴럴 네트워크를 이용하여, 상기 촬영된 영상에 포함되는 상기 여유 공간을 검출하는 단계를 포함하는, 디스플레이 장치의 동작 방법.
제12항에 있어서,
상기 동작 방법은,
상기 검출된 여유 공간에서 수행 가능한 운동 동작이 존재하지 않거나, 상기 수행 가능한 운동 동작들의 개수가 기 설정된 개수보다 작은 경우, 추가로 필요한 공간을 확보하도록 하는 가이드 화면을 표시하는 단계를 더 포함하는 디스플레이 장치의 동작 방법.
제17항에 있어서,
상기 가이드 화면은,
상기 카메라에 의해 촬영된 실제 공간을 나타내는 영상에 상기 검출된 여유 공간과 추가로 필요한 공간이 표시되는 영상을 포함하는, 디스플레이 장치의 동작 방법.
제17항에 있어서,
상기 동작 방법은,
상기 검출된 여유 공간에서 수행 가능한 운동 동작이 존재하지 않거나, 상기 수행 가능한 운동 동작들의 개수가 기 설정된 개수보다 작은 경우, 상기 카메라가 일정한 주기로 촬영을 수행하는 단계를 더 포함하고,
상기 운동 컨텐츠를 제공하는 단계는,
상기 카메라에 의해 일정한 주기로 촬영된 영상에서 검출된 여유 공간이 상기 추가로 필요한 공간을 포함하는 경우, 상기 운동 컨텐츠를 재생하는 단계를 포함하는 디스플레이 장치의 동작 방법.
제12항에 있어서,
상기 동작 방법은,
상기 결정된 운동 동작을 포함하는 운동 코스를 결정하는 단계; 및
상기 결정된 운동 코스에 대한 정보를 표시하는 단계를 더 포함하는 디스플레이 장치의 동작 방법.
제12항에 있어서,
상기 동작 방법은,
상기 카메라에 의해 촬영된 사용자 영상을 수신하는 단계;
상기 사용자 영상에 기초하여, 상기 사용자의 체형 정보를 획득하는 단계; 및
상기 사용자의 체형 정보에 기초하여, 운동 코스를 선택하는 단계를 더 포함하고,
상기 여유 공간에서 수행 가능한 운동 동작을 결정하는 단계는,
상기 선택된 운동 코스에 포함되는 운동 동작들 중 상기 검출된 여유 공간에서 수행 가능한 운동 동작을 결정하는 단계를 포함하는, 디스플레이 장치의 동작 방법.
제12항에 있어서,
상기 운동 컨텐츠를 제공하는 단계는,
상기 운동 컨텐츠를 출력하는 단계를 포함하고,
상기 동작 방법은,
상기 운동 컨텐츠가 출력되는 동안 상기 카메라에 의해 촬영된 사용자 영상을 수신하는 단계;
상기 사용자 영상에 기초하여, 상기 사용자의 자세 또는 동작을 분석하는 단계; 및
상기 사용자의 자세 또는 동작에 대한 분석 결과에 기초하여, 코칭 정보를 제공하는 단계를 더 포함하는 디스플레이 장치의 동작 방법.
제12항의 방법을 수행하도록 하는 프로그램이 저장된 하나 이상의 컴퓨터로 읽을 수 있는 기록매체.