KR20240028868A - 디스플레이 장치 및 그의 동작 방법 - Google Patents

Abstract

디스플레이 장치 및 그 동작 방법이 개시된다. 개시된 디스플레이 장치는, 디스플레이, 통신부, 하나 이상의 인스트럭션을 포함하는 메모리, 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 영상 통화를 위해 카메라에 의해 촬영된 영상 영역에서 송출 영역과 제스쳐 인식 영역을 식별하고, 상기 송출 영역에 대응하는 영상을 영상 통화 서비스 제공을 위해 영상 통화 상대방 디스플레이 장치로 전송하도록 상기 통신부를 제어하고, 상기 제스쳐 인식 영역에 대응하는 영상에서 제스쳐 인식을 수행하고, 인식된 제스쳐에 대응하는 기능을 수행한다.

Description

디스플레이 장치 및 그의 동작 방법 {Display apparatus and operating method thereof}

개시된 실시예는 영상 통화 서비스를 제공할 수 있는 디스플레이 장치 및 그 동작 방법에 관한 것으로, 좀더 구체적으로는, 영상 통화 서비스를 제공하는 동안 보다 효과적으로 제스쳐 인식 기능을 수행할 수 있도록 하는 디스플레이 장치 및 그 동작 방법에 관한 것이다.

유무선의 통신 네트워크 및 통신 기술이 발달됨에 따라서, 전자 장치 간의 영상 통화 서비스의 이용이 증가하고 있다. 구체적으로, 전자 장치 간의 영상 통화 서비스는, 원격지에 위치하는 서로 다른 사용자들이 비 대면으로 상호 통신하기 위해서 널리 이용되고 있다.

구체적으로, 영상 통화 서비스를 위해서, 일 전자 장치와 다른 전자 장치는 유무선 통신 네트워크를 통하여 상호 연결될 수 있다. 여기서, 전자 장치는 영상 통화 화면을 제공할 수 있도록 디스플레이를 포함하며 유무선의 통신 네트워크에 접속하여 원격지에 있는 다른 전자 장치와 통신을 수행할 수 있는 모든 전자 장치가 될 수 있다. 예를 들어, 전자 장치로는, 노트북, 넷북 또는 태블릿 PC 등과 같은 휴대용 컴퓨터, 스마트 폰 또는 PDA와 같은 휴대용 단말기, TV, 디지털 TV 등을 예로 들 수 있다.

복수개의 전자 장치들, 예를 들어, 제1 전자 장치 및 제2 전자 장치 간의 영상 통화가 수행되는 경우, 제1 전자 장치는 제1사용자에 대한 이미지를 획득하고, 획득된 이미지를 제2 전자 장치로 전송한다. 또한, 제2 전자 장치는 제2사용자에 대한 이미지를 획득하고, 획득된 이미지를 제1 전자 장치로 전송한다. 그에 따라서, 제1 전자 장치 및 제2 전자 장치 각각은 제1 사용자 및 제2 사용자에 대한 이미지를 포함하는 영상 통화 화면을 디스플레이 한다. 그러면, 제1 사용자 및 제2 사용자 각각은, 원격지에서 상대방에 대한 이미지를 보면서 통화를 할 수 있다.

개시된 실시예는 영상 통화 서비스를 제공할 수 있는 디스플레이 장치 및 그의 동작 방법의 제공을 목적으로 한다.

구체적으로, 개시된 실시예는 영상 통화 서비스를 제공하는 동안 제스쳐 인식 기능을 보다 효과적으로 수행할 수 있는 디스플레이 장치 및 그의 동작 방법의 제공을 목적으로 한다.

일 실시예에 따른 디스플레이 장치는, 디스플레이, 통신부, 하나 이상의 인스트럭션을 포함하는 메모리, 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함할 수 있다.

일 실시예에 따라 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 영상 통화를 위해 카메라에 의해 촬영된 영상 영역에서 송출 영역과 제스쳐 인식 영역을 식별할 수 있다.

일 실시예에 따라 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 송출 영역에 대응하는 영상을 영상 통화 서비스 제공을 위해 영상 통화 상대방 디스플레이 장치로 전송하도록 상기 통신부를 제어할 수 있다.

일 실시예에 따라 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 제스쳐 인식 영역에 대응하는 영상에서 제스쳐 인식을 수행하고, 인식된 제스쳐에 대응하는 기능을 수행할 수 있다.

일 실시예에 따른 디스플레이 장치의 동작 방법은, 영상 통화를 위해 카메라에 의해 촬영된 영상 영역에서 송출 영역과 제스쳐 인식 영역을 식별하는 동작을 포함할 수 있다.

일 실시예에 따른 디스플레이 장치의 동작 방법은, 상기 송출 영역에 대응하는 영상을 영상 통화 서비스 제공을 위해 영상 통화 상대방 디스플레이 장치로 전송하는 동작을 포함할 수 있다.

일 실시예에 따른 디스플레이 장치의 동작 방법은, 상기 제스쳐 인식 영역에 대응하는 영상에서 제스쳐 인식을 수행하고, 인식된 제스쳐에 대응하는 기능을 수행하는 동작을 포함할 수 있다.

일 실시예에 따른 기록 매체는, 디스플레이 장치의 동작 방법을 수행하도록 하는 프로그램이 저장된 하나 이상의 컴퓨터로 읽을 수 있는 기록 매체를 포함할 수 있다.

개시된 실시예에 따른 디스플레이 장치 및 그의 동작 방법은 영상 통화 서비스를 제공하면서 제스쳐 인식 기능을 수행할 수 있다.

구체적으로, 개시된 실시예에 따른 디스플레이 장치 및 그의 동작 방법은 제스쳐 인식 기능을 수행하면서도 영상 통화 서비스를 효과적으로 제공할 수 있다.

구체적으로, 개시된 실시예에 따른 디스플레이 장치 및 그의 동작 방법은 제스쳐 인식하는 사용자의 신체 일부가 영상 통화 화면에 보여지지 않게 함으로써 사용자의 만족도를 높일 수 있다.

본 발명은, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 쉽게 이해될 수 있으며, 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1은 일 예에 따라 두개의 디스플레이 장치에 의해 영상 통화 서비스를 제공하는 방법을 설명하기 위한 참고도이다.
도 2는 개시된 실시예들에 따라 디스플레이 장치에 의해 영상 통화 서비스를 제공하는 동안 영상 통화 화면에 방해를 주지 않고 제스쳐 인식 기능을 수행하는 것을 가능하게 하는 방법을 설명하기 위한 참고도이다.
도 3은 일 실시예에 따라 영상 통화 기능을 수행하는 시스템의 일 예를 나타낸다.
도 4는 개시된 실시예에 따른 디스플레이 장치의 세부적인 블록도이다.
도 5는 개시된 실시예에 따른 디스플레이 장치의 동작 방법을 나타내는 일 흐름도이다.
도 6은 일 실시예에 따라 영상 통화를 위해 촬영한 사용자의 이미지에서 송출 영역을 인식하는 방법을 설명하기 위한 참고도이다.
도 7은 일 실시예에 따라 디스플레이 장치가 영상 통화를 위해 촬영한 사용자의 이미지에서 식별된 송출 영역과 제스쳐 인식 영역을 이용하여 동작하는 방법을 설명하기 위한 참고도이다.
도 8은 일 실시예에 따라 제스쳐 인식 영역을 결정하는 방법의 일 예를 설명하기 위한 참고도이다.
도 9는 일 실시예에 따라 제스쳐 인식 영역을 손 검출에 의해 결정하는 방법의 일 예를 설명하기 위한 참고도이다.
도 10은 일 실시예에 따라 제스쳐 인식 영역을 조정하는 방법을 설명하기 위한 참고도이다.
도 11은 일 실시예에 따라 디스플레이 장치에서 영상 통화 서비스와 제스쳐 인식 기능을 제공하는 동안 줌인 입력에 대응하는 동작을 수행하는 방법의 흐름도의 일 예이다.
도 12는 일 실시예에 따라 줌 타입이 광학 줌인 인 경우에 데이터 처리 장치의 동작 방법을 설명하기 위한 참고도이다.
도 13은 일 실시예에 따라 줌 타입이 디지털 줌인 인 경우에 데이터 처리 장치의 동작 방법을 설명하기 위한 참고도이다.
도 14는 일 실시예에 따라 디스플레이 장치가 두개의 카메라를 포함하는 경우의 동작 방법을 설명하기 위한 참고도이다.
도 15는 일 실시예에 따라 영상 통화 서비스 제공하는 동안 또한 제스쳐 인식 기능을 제공할 수 있는 디스플레이 장치의 사용자 인터페이스의 일 예를 나타낸다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 또한, 도면 전체에 있어서, 동일한 구성에 대하여는 동일한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 명세서에서 다양한 곳에 등장하는 "실시예에서", "개시된 실시예에서", "일부 실시예에서" 또는 "일 실시예에서" 등의 어구는 반드시 모두 동일한 실시예를 가리키는 것은 아니다.

일부 실시예는 기능적인 박스 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 박스들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 박스들은 하나 이상의 프로세서 또는 마이크로프로세서들에 의해 구현되거나, 의도하는 기능을 수행하기 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 박스들은 다양한 프로그래밍 또는 스크립트 언어로 구현될 수 있다. 기능 박스들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 모듈 및 구성등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.

또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.

또한, 'A, B, 및 C 중 적어도 하나'라는 기재는 'A', 'B', 'C', 'A 및 B', 'A 및 C', 'B 및 C', 및 'A, B, 및 C' 중 어느 하나가 될 수 있음을 의미한다.

개시된 실시예는, 디스플레이 장치 및 그의 동작 방법이다. 구체적으로, 개시된 실시예는, 복수개의 전자 장치들 간에 영상 통화가 요청될 때, 멀티뷰 화면을 출력하던 디스플레이 장치가 영상 통화 요청을 처리하는 동작 방법 및 그를 수행하는 디스플레이 장치에 대한 것이다.

개시된 실시예에서, 영상 통화 서비스를 제공할 수 있는 전자 장치는 영상 통화 화면을 디스플레이 하는 디스플레이를 포함하며, 유무선의 통신 네트워크에 접속하여 원격지에 있는 다른 전자 장치와 통신을 수행할 수 있는 모든 전자 장치가 될 수 있다. 또한, 전자 장치는 디스플레이를 포함하여 영상 통화 서비스를 제공할 수 있는 컴퓨팅 장치로, 매우 다양한 형태로 존재할 수 있다. 예를 들어, 전자 장치는 웨어러블 디바이스, 스마트 폰, PDA(personal digital assistant), 미디어 플레이어, 태블릿 PC, 랩탑 컴퓨터, 미디어 플레이어, TV, 디지털 TV, 스마트 TV, 디지털 간판(digital signage), 디지털 표지판 등을 예로 들 수 있으며, 이에 한정되지 않는다. 이하에서는, 설명의 편의 상, 개시된 실시예에 따라 영상 통화 서비스를 제공할 수 있는 전자 장치를 '디스플레이 장치'로 칭하도록 한다.

이하에는 첨부되는 도면들에 있어서, 디스플레이 장치가 TV 인 경우를 예로 들어 도시 및 설명하였다. 또한, 첨부된 도면들에 있어서, 동일한 구성 요소는 동일한 도면 기호를 이용하여 도시하였다. 또한, 상세한 설명 전체적으로, 동일한 구성은 동일한 용어로 기재하였다.

이하에서는, 첨부된 도면들을 참조하며, 개시된 실시예에 따른 디스플레이 장치 및 그의 동작 방법을 상세히 설명하도록 한다.

도 1은 일 예에 따라 두개의 디스플레이 장치에 의해 영상 통화 서비스를 제공하는 방법을 설명하기 위한 참고도이다.

도 1을 참조하면, 두개의 디스플레이 장치, 제1디스플레이 장치 100 및 제2디스플레이 장치 200는 영상 통화 어플리케이션을 이용하여 영상 통화 서비스를 제공할 수 있다. 어플리케이션(application)은 서비스, 기능, 또는 특정 동작을 수행하는 프로그램 또는 프로세서를 의미할 수 있다. 구체적으로, 어플리케이션은 서비스, 기능, 또는 특정 동작을 수행하는 적어도 하나의 인스트럭션으로 형성될 수 있다. 개시된 실시예에서, 영상 통화 서비스, 기능 또는 동작들을 수행하는 어플리케이션을 영상 통화 어플리케이션 이라 칭할 수 있다.

개시된 실시예에서, 영상 통화는 서로 원격지에 위치하는 복수의 사용자들 각각이 복수개의 전자 장치들을 통하여 화면으로 상대방의 얼굴을 보면서 통화를 하는 것을 의미한다. 또한, 개시된 실시예에서 언급되는 '영상 통화'는 화상 회의, 비대면 통신, 비대면 교육 등과 같이 원격지에 위치하는 사용자들이 서로에 대한 이미지를 제공받으면서 통신을 수행하는 모든 분야에 응용될 수 있으며, 서로 원격에 위치하는 복수의 사용자들이 상대방에 대한 이미지를 보면서 통신을 수행하는 경우를 모두 지칭할 수 있다. 여기서, 영상 통화 화면에 포함되는 이미지들은, 꼭 영상 통화를 이용하는 사용자의 얼굴일 필요는 없으며, 영상 통화를 이용하는 사용자가 위치한 환경을 나타내는 이미지, 또는 사용자가 제공하는 이미지 등이 될 수도 있을 것이다.

일반적으로, 영상 통화는 서로 다른 두 개의 전자 장치 간에 수행될 수 있다. 또는, 상호 원격지에 위치하는 3명 이상의 사용자들이 3개 이상의 전자 장치를 통하여 영상 통화를 수행할 수 도 있다.

이하에서는, 상호 원격에 위치하는 두 개의 전자 장치를 통하여 일 사용자(이하, '사용자')와 다른 사용자(이하, '상대방')가 영상 통화를 하는 경우를 예로 들어 설명 및 도시하도록 한다. 여기서, 사용자는 한 명의 사람을 지칭하는 것이 아니며 복수가 될 수 있으며, 상대방 또한 복수가 될 수 있다.

도 1을 참조하면, 원격지에 위치하는 전자 장치들인 제1 디스플레이 장치 100와 제2 디스플레이 장치 200 간에 영상 통화가 수행될 수 있다. 또한, 영상 통화는, 3G, 4G, 또는 5G 등과 같은 통신 네트워크를 이용하여 영상 통화에 필요한 데이터를 송수신함으로써 수행될 수 있다. 또는, 영상 통화는 통신사의 통화 서비스를 통하여 수행될 수 있다. 또한, 영상 통화는 서비스 제공자의 서버를 통하여 제공되는 소정 어플리케이션(예를 들어, 영상 통화 어플리케이션, 비대면 통신 어플리케이션, 화상 교육 어플리케이션, 화상 회의 어플리케이션 등)을 통하여 수행될 수 있다.

도 1을 포함하여 이하에서는, 사용자의 전자 장치는 디스플레이 장치 100이며, 사용자와 영상 통화를 하고자 하는 상대방의 전자 장치를 상대방 디스플레이 장치 200 라 칭하도록 한다. 또는 사용자의 전자 장치는 단순히 제1 디스플레이 장치 그리고 상대방의 전자 장치는 제2디스플레이 장치로 언급될 수도 있다. 또한, 디스플레이 장치 100의 사용자를 그냥 사용자로, 사용자와 영상 통화를 하고자 하는 상대방을 상대방 사용자로 언급하기로 한다. 또한 사용자와 상대방 사용자를 각각 제1사용자, 제2사용자로 언급할 수 있을 것이다. 또한, 도 1에서는 사용자의 전자 장치와 상대방의 전자 장치로서 디스플레이 장치를 예로 들었지만, 스마트 폰 등 다양한 전자 장치의 형태가 될 수 있다.

도 1을 참조하면, 디스플레이 장치 100는 원격지에 위치하는 상대방의 전자 장치인 상대방 디스플레이 장치 200과 영상 통화를 수행할 수 있다. 디스플레이 장치 100는 자체의 통화 기능 또는 비대면 통신을 위한 어플리케이션을 수행하여 영상 통화를 수행할 수 있다. 전술한 바와 같이, 디스플레이 장치 100는 자체의 영상 통화 서비스 기능을 이용하여, 상대방 디스플레이 장치 200와 직접 영상 통화를 수행할 수 있다.

개시된 실시예에서, 디스플레이 장치 100는 상대방 디스플레이 장치 200로 영상 통화 요청을 전송하거나 상대방 디스플레이 장치 200는 디스플레이 장치 100로 영상 통화 요청을 전송할 수 있다. 예를 들어, 디스플레이 장치 100의 사용자는 영상 통화를 하고 싶은 경우, 디스플레이 장치 100의 영상 통화 서비스를 제공하는 어플리케이션, 프로그램 또는 메뉴를 선택하는 사용자 입력을 디스플레이 장치 100로 입력할 수 있다. 그러면, 디스플레이 장치 100는 사용자 입력에 근거하여 영상 통화 요청이 수신되는 것으로 인식할 수 있다.

영상 통화가 개시되면, 영상 통화를 수행하는 디스플레이 장치 100와 상대방 디스플레이 장치 200는 영상 통화 화면을 디스플레이 할 수 있다. 예를 들어, 사용자의 디스플레이 장치 100는 상대방 사용자에 대한 이미지를 메인 화면 11에 포함시키고, 사용자에 대한 이미지를 서브 화면 12에 포함시켜 영상 통화 화면 10을 디스플레이할 수 있다. 또한, 영상 통화 화면 10은 영상 통화를 제어하기 위한 메뉴들을 더 포함할 수 있다. 또한, 상대방 디스플레이 장치 200의 디스플레이는 사용자의 이미지를 메인 화면 21에 포함시키고, 상대방 사용자의 이미지를 서브 화면 22으로 포함시키는 영상 통화 화면 20을 디스플레이 할 수 있다. 또한, 영상 통화 화면 20은 영상 통화를 제어하기 위한 메뉴들을 더 포함할 수 있다. 예를 들어, 디스플레이 장치 100에서 영상 통화 요청을 개시하는 경우 디스플레이 장치 100의 카메라 162는 사용자를 촬영하여 사용자의 이미지를 상대방 디스플레이 장치 200로 전송하고, 영상 통화 요청을 수신한 상대방 디스플레이 장치 200는 카메라 262를 이용하여 상대방 사용자를 촬영하고 상대방 사용자의 이미지를 디스플레이 장치 100로 전송할 수 있다. 전술한 바와 같이, 영상 통화 화면 10, 20는 영상 통화 서비스를 이용하는 사용자와 상대방 각각에 대한 이미지들을 포함하며, 영상 통화 화면 10, 20에 대응되는 영상 신호는 소정 해상도를 갖는 영상 신호가 될 수 있다.

이와 같이 디스플레이 장치 100의 사용자와 상대방 디스플레이 장치 200의 의 상대방 사용자 사이에서 영상 통화가 이루어지는 동안, 사용자가 디스플레이 장치 100에서 제스쳐 인식 기능을 사용하는 경우, 사용자는 제스쳐 인식 기능을 이용하기 위해 손을 이용하여 다양한 제스쳐를 취해볼 수 있다. 제스쳐 인식 기능은 사용자가 손 등을 포함하여 신체 일부를 이용하여 제스쳐를 취하면 디스플레이 장치 100가 사용자의 제스쳐를 인식하고, 인식된 제스쳐에 매핑된 기능을 수행하는 것을 말할 수 있다. 따라서, 사용자는 특정한 제스쳐를 취함으로써 대응하는 특정한 기능이 트리거되게 할 수 있다. 예를 들어, 사용자는 두개의 손가락으로 X자 표시를 만드는 제스쳐를 취함으로써 영상 통화 서비스 기능 중 예를 들어 음소거 기능을 동작시키도록 할 수 있다. 이와 같이 사용자가 제스쳐 인식 기능을 위해 다양하게 취해보는 제스쳐 23까지 포함하는 영상 신호는 상대방 디스플레이 장치 200로 전송되어 상대방 디스플레이 장치 200의 메인 화면 21에 그대로 표시되게 된다. 따라서 상대방 디스플레이 장치 200의 상대방 사용자는 이러한 불필요한 제스쳐 23까지 보게 됨으로써 영상 통화 화면 20을 볼 때 산만한 느낌을 주어 대화 집중을 방해하거나 불편감까지 느끼게 될 수 있다. 또한 사용자 로서도 영상 통화 내용과는 관련없는 자신의 제스쳐가 상대방 사용자에게 보이는 것을 원치 않을 수 있다. 따라서 본 개시된 실시예들은 이러한 불필요함과 사용자의 불편함을 감소시키기 위해 영상 통화 화면에 제스쳐 인식을 위한 부분이 포함되지 않도록 하는 방안을 제시하고자 한다.

도 2는 개시된 실시예들에 따라 디스플레이 장치에 의해 영상 통화 서비스를 제공하는 동안 영상 통화 화면에 방해를 주지 않고 제스쳐 인식 기능을 수행하는 것을 가능하게 하는 방법을 설명하기 위한 참고도이다.

도 2를 참조하면, 디스플레이 장치 100와 상대방 디스플레이 장치 200가 영상 통화 기능을 수행하는 동안 사용자 15는 영상 통화 기능 또는 그 외 다른 기능을 제어하기 위해 제스쳐 인식 기능을 이용할 수 있다. 사용자 15는 제스쳐 인식 기능의 트리거를 위해 미리 정해진 제스쳐를 취할 수 있으며 디스플레이 장치 100의 카메라 162는 사용자 15의 상반신에 대한 이미지를 촬영할 수 있다. 카메라 162에 의해 촬영된 사용자 15의 상반신에 대한 이미지는 사용자 15의 얼굴 뿐만 아니라 제스쳐를 취하는 손까지 포함될 수 있다.

실시예들에 따라 디스플레이 장치 100는 카메라 162에 의해 획득된 영상에서 적어도 일부를 송출 영역으로 식별하고 송출 영역을 제외한 적어도 일부를 비송출 영역으로 식별할 수 있다. 송출 영역은 영상 통화 기능을 위해 상대방 디스플레이 장치 200로 전송되는 부분을 나타낼 수 있고 비송출 영역은 상대방 디스플레이 장치 200로 전송되지 않는 부분을 나타낼 수 있다. 상대방 디스플레이 장치 200로 전송되는 부분인 송출 영역은, 사용자 15의 얼굴을 중심으로 한 영역으로서 사용자가 제스쳐를 취하는 신체 일부, 예를 들어, 손과 팔의 일부는 포함되지 않을 수 있다. 디스플레이 장치 100는 비송출 영역에서 제스쳐 인식을 수행할 수 있다. 디스플레이 장치 100는 비송출 영역 전체를 대상으로 제스쳐 인식을 수행할 수도 있고 또는 비송출 영역 중 적어도 일부를 제스쳐 인식 영역으로 결정하고, 결정된 제스쳐 인식 영역에서 제스쳐 인식을 수행할 수도 있다.

이와 같이 디스플레이 장치 100의 카메라 162가 촬영한 사용자 15의 영상 중 사용자의 제스쳐가 보이지 않는 일부의 영상만을 상대방 디스플레이 장치 200로 제공함으로써, 상대방 디스플레이 장치 200는 사용자 15의 제스쳐가 포함되지 않는 사용자 15의 영상을 메인 화면 24에 출력할 수 있게 된다. 따라서, 상대방 사용자 25는 상대방 디스플레이 장치 200를 통해서 영상 통화 서비스를 이용할 때 사용자 15의 불필요한 제스쳐를 볼 필요가 없으므로 영상 통화에 방해받음 없이 영상 통화 서비스를 이용할 수 있게 된다.

도 3은 일 실시예에 따라 영상 통화 기능을 수행하는 시스템의 일 예를 나타낸다.

도 3을 참조하면, 시스템은 디스플레이 장치 100, 상대방 디스플레이 장치 200, 및 서버 300를 포함할 수 있다.

디스플레이 장치 100는 사용자의 요청에 따라서 이미지나 데이터를 표시할 수 있는 장치로서, 통신부 110, 디스플레이 120, 메모리 130, 프로세서 140, 카메라 162를 포함할 수 있다.

통신부 110는 적어도 하나의 외부 전자 장치, 서버, 및/또는 방송국 등과의 통신을 수행할 수 있다. 여기서, 적어도 하나의 외부 전자장치는 상대방 디스플레이 장치 200 및/또는 커넥팅 단자를 통하여 연결 가능한 외부 저장 매체 등이 될 수 있다.

구체적으로, 통신부 110는 다양한 데이터 소스(source)로부터 수신되는 데이터를 수신할 수 있다. 예를 들어, 통신부 110는 복수개의 컨텐트들을 수신할 수 있다. 구체적으로, 통신부 110는, 방송국, 인터넷 서버, 컨텐트 제공자 서버 등으로부터 복수개의 컨텐트들 각각에 대응되는 복수개의 영상 신호를 수신할 수 있다. 예를 들어, 복수개의 영상 신호 각각은, 방송 스트림 신호, 전송 스트림(TS: Transport stream), 또는 동영상 스트리밍 신호 등이 될 수 있다. 통신부 110의 구성은 이하에서 도 4를 참조하여 상세히 설명한다.

디스플레이 120는 이미지를 화면 상으로 출력한다. 구체적으로, 디스플레이 120는 비디오 데이터를 사용자가 시각적으로 인식할 수 있도록, 내부적으로 포함되는 디스플레이 패널(미도시)을 통하여, 비디오 데이터에 대응되는 이미지를 출력할 수 있다. 여기서, 비디오 데이터는 디코딩된 영상 신호에 대응될 수 있다.

개시된 실시예에서, 디스플레이 120는 영상 통화 화면을 출력할 수 있다. 또한 디스플레이 120는 PIP (Picture In Picture) 형식으로 크기가 서로 다른 메인 화면과 서브 화면에 영상 통화 화면을 출력할 수 있다. 이때 서브 화면은 메인 화면의 위에 오버레이될 수 있다.

디스플레이 120는 디스플레이 장치 100에서 처리된 이미지나 데이터를 출력할 수 있다.

카메라 162는 카메라 인식 범위에서 외부의 환경이나 제스처를 포함하는 사용자의 모션에 대응되는 영상(예를 들어, 연속되는 프레임)을 캡쳐할 수 있다.

메모리 130는, 프로세서 140의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 디스플레이 장치 100로 입력되거나 디스플레이 장치 100로부터 출력되는 데이터를 저장할 수 있다. 또한, 메모리 130는 디스플레이 장치 100의 동작에 필요한 데이터들을 저장할 수 있다.

메모리 130는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

프로세서 140는 디스플레이 장치 100의 전반적인 동작을 제어한다. 예를 들어, 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 본 개시서에 기재된 디스플레이 장치 100의 기능을 수행할 수 있다.

본 개시의 실시예에서, 프로세서 140는 내부적으로 구비되는 메모리에 하나 이상의 인스트럭션을 저장하고, 내부적으로 구비되는 메모리에 저장된 하나 이상의 인스트럭션을 실행하여 디스플레이 장치의 동작들이 수행되도록 제어할 수 있다. 즉, 프로세서 140는 프로세서 140의 내부에 구비되는 내부 메모리 또는 메모리 130에 저장된 적어도 하나의 인스트럭션 또는 프로그램을 실행하여 소정 동작을 수행할 수 있다.

일 실시예에 따라 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 영상 통화 서비스를 위해 사용자 15의 이미지를 촬영하도록 카메라 162를 제어할 수 있다.

일 실시예에 따라 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 카메라 162를 통해 촬영된 사용자 15의 이미지를 상대방 디스플레이 장치 200로 전송하도록 통신부 110를 제어할 수 있다.

일 실시예에 따라 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 영상 통화 서비스를 위해 상대방 사용자 25의 이미지를 수신하도록 통신부 110를 제어할 수 있다.

일 실시예에 따라 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 영상 통화 서비스를 위해 통신부 110에 의해 수신된 상대방 사용자 25의 이미지를 영상 통화 화면의 메인 화면에 출력하고, 카메라 162를 통해 획득된 사용자 15의 이미지를 영상 통화 화면의 서브 화면에 출력하도록 디스플레이 120를 제어할 수 있다. 다만, 영상 통화 화면에 상대방 사용자 25의 이미지가 메인 화면으로, 사용자 15의 이미지가 서브 화면으로 표시될 필요는 없고, 사용자 15의 이미지와 상대방 사용자 25의 이미지는 두개의 분할 화면에 동일한 크기로 표시될 수도 있을 것이다.

일 실시예에 따라 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 영상 통화를 위해 카메라에 의해 촬영된 영상 영역에서 송출 영역과 제스쳐 인식 영역을 식별할 수 있다.

일 실시예에 따라 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 송출 영역에 대응하는 영상을 영상 통화 서비스 제공을 위해 영상 통화 상대방 디스플레이 장치로 전송하도록 상기 통신부를 제어할 수 있다.

일 실시예에 따라 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 제스쳐 인식 영역에 대응하는 영상에서 제스쳐 인식을 수행하고, 인식된 제스쳐에 대응하는 기능을 수행할 수 있다.

일 실시예에 따라 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 영상 영역의 미리 정해진 위치에서 상기 제스쳐 인식 영역을 결정할 수 있다.

일 실시예에 따라 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 영상 영역에서 사용자의 손을 검출하고, 상기 손이 검출된 영역에 기반하여 상기 제스쳐 인식 영역을 결정할 수 있다.

일 실시예에 따라 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 제스쳐 인식 영역을 조정할 수 있도록 하는 사용자 인터페이스를 제공하고, 상기 사용자 인터페이스를 통한 사용자 입력에 따라 상기 제스쳐 인식 영역의 조정을 수행할 수 있다.

일 실시예에 따라 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 영상 통화 서비스를 제공하는 동안 미리 정해진 이벤트에 따라 상기 제스쳐 인식을 수행하고, 상기 미리 정해진 이벤트는, 제스쳐 인식 기능을 선택하는 사용자 입력 또는 상기 영상 영역에서 임계치를 초과하는 움직임 검출 중 적어도 하나를 포함할 수 있다.

일 실시예에 따라 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 영상 통화 서비스 제공 중 제스쳐 인식 기능을 제공하는 동안, 줌 인 기능이 실행됨에 따라, 광학 줌인의 경우, 제스쳐 인식 기능이 종료됨을 안내하는 메시지를 출력할 수 있다.

일 실시예에 따라 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 영상 통화 서비스 제공 중 제스쳐 인식 기능을 제공하는 동안, 줌 인 기능이 실행됨에 따라, 디지털 줌인의 경우, 상기 송출 영역에 대응하는 영상을 확대하여 상기 영상 통화 상대방 디스플레이 장치로 전송하도록 상기 통신부를 제어하고, 상기 제스쳐 인식 영역에 대응하는 영상에서 제스쳐 인식을 수행하고, 인식된 제스쳐에 대응하는 기능을 수행할 수 있다.

일 실시예에 따라 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 영상 통화 서비스 제공 중 제스쳐 인식 기능을 제공하는 동안, 줌 인 기능이 실행됨에 따라, 영상 통화를 위해 상기 영상을 촬영하는 상기 일반 카메라를 확대 영상을 촬영하기 위해 상기 줌 카메라로 전환할 수 있다.

일 실시예에 따라 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 사용자에게 이용가능한 제스쳐를 안내하기 위해 하나 이상의 제스쳐 및 각 제스쳐에 대응하는 기능을 안내하는 제스쳐 가이드를 제공할 수 있다.

일 실시예에 따라 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 영상 통화 서비스를 제공하는 동안 미리 정해진 이벤트에 따라 상기 제스쳐 인식을 종료할 수 있다. 여기서, 상기 미리 정해진 이벤트는, 제스쳐 인식 기능을 종료하는 제스쳐 인식, 또는 상기 제스쳐 인식 기능의 종료를 선택하는 사용자 입력 중 적어도 하나를 포함할 수 있다.

한편, 도 3에 도시된 디스플레이 장치 100의 블록도는 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 디스플레이 장치 100의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 예를 들어, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분화되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.

상대방 디스플레이 장치 200는 통신부 210, 디스플레이 220, 메모리 230, 카메라 262, 프로세서 240을 포함할 수 있다. 그러나, 상대방 디스플레이 장치 200는, 도시된 구성요소보다 많은 구성요소에 의해 구현될 수 있으며, 전술한 예에 한정되지 않는다.

통신부 210는 다양한 통신 기술을 이용하여 외부 장치와 통신할 수 있다.

디스플레이 220는 상대방 디스플레이 장치 200에서 처리된 이미지나 데이터를 출력할 수 있다.

카메라 262는 카메라 인식 범위에서 외부의 환경이나 제스처를 포함하는 사용자의 모션에 대응되는 영상(예를 들어, 연속되는 프레임)을 캡쳐할 수 있다.

메모리 230는, 프로세서 240의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 전자 장치 200으로 입력되거나 전자 장치 200로부터 출력되는 데이터를 저장할 수 있다.

메모리 230는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

프로세서 240는 전자 장치 200의 전반적인 동작을 제어한다. 예를 들어, 프로세서 240는, 메모리 230에 저장된 하나 이상의 인스트럭션을 실행함으로써, 본 개시서에 기재된 상대방 디스플레이 장치 200의 기능을 수행할 수 있다.

본 개시의 실시예에서, 프로세서 240는 내부적으로 구비되는 메모리에 하나 이상의 인스트럭션을 저장하고, 내부적으로 구비되는 메모리에 저장된 하나 이상의 인스트럭션을 실행하여 전술한 동작들이 수행되도록 제어할 수 있다. 즉, 프로세서 240는 프로세서 240의 내부에 구비되는 내부 메모리 또는 메모리 230에 저장된 적어도 하나의 인스트럭션 또는 프로그램을 실행하여 소정 동작을 수행할 수 있다.

일 실시예에 따라 프로세서 240는, 메모리 230에 저장된 하나 이상의 인스트럭션을 실행함으로써, 영상 통화 서비스를 위해 상대방 사용자 25의 이미지를 촬영하도록 카메라 262를 제어할 수 있다.

일 실시예에 따라 프로세서 240는 메모리 230에 저장된 하나 이상의 인스트럭션을 실행함으로써 카메라 262를 통해 촬영된 상대방 사용자 25의 이미지를 디스플레이 장치 100로 전송하도록 통신부 210를 제어할 수 있다.

일 실시예에 따라 프로세서 240는, 메모리 230에 저장된 하나 이상의 인스트럭션을 실행함으로써, 영상 통화 서비스를 위해 사용자 15의 이미지를 수신하도록 통신부 210를 제어할 수 있다.

일 실시예에 따라 프로세서 240는, 메모리 230에 저장된 하나 이상의 인스트럭션을 실행함으로써, 영상 통화 서비스를 위해 수신된 사용자 15의 이미지를 영상 통화 화면의 메인 화면에 출력하고, 통신부 210를 통해 수신된 상대방 사용자 25의 이미지를 영상 통화 화면의 서브 화면에 출력하도록 디스플레이 220를 제어할 수 있다. 다만, 영상 통화 화면에 사용자 15의 이미지가 메인 화면으로, 상대방 사용자 25의 이미지가 서브 화면으로 표시될 필요는 없고, 사용자 15의 이미지와 상대방 사용자 25의 이미지는 두개의 분할 화면에 동일한 크기로 표시될 수도 있을 것이다.

상대방 디스플레이 장치 200는 프로세서와 메모리를 포함하여 기능을 수행하는 어떠한 형태의 장치도 될 수 있다. 상대방 디스플레이 장치 200는 고정형 또는 휴대형 장치가 될 수 있다. 예를 들어, 상대방 디스플레이 장치 200는, 데스크탑, 랩탑, 태블릿과 같은 컴퓨터, 텔레비전, 셋탑박스, 스마트폰, 셀룰러폰, 게임 플레이어, 음악 플레이어, 비디오 플레이어, 의료 장비, 가전 제품 등 다양한 전자 장치를 포함할 수 있다.

한편, 도 3에 도시된 상대방 디스플레이 장치 200의 블록도는 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 상대방 디스플레이 장치 200의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 예를 들어, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분화되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.

도 4는 개시된 실시예에 따른 디스플레이 장치의 세부적인 블록도이다. 도 4에 도시된 디스플레이 장치 100는 도 4에 도시된 디스플레이 장치 100에 동일 대응될 수 있다. 따라서, 디스플레이 장치 100를 설명하는데 있어서, 도 5에서와 중복되는 설명은 생략한다.

도 4를 참조하면, 디스플레이 장치 100는 튜너부 105, 통신부 110, 디스플레이 120, 비디오 처리부 125, 메모리 130, 프로세서 140, 오디오 출력부 150, 감지부 160, 오디오 처리부 170, 입/출력부 180, 사용자 입력부 190를 포함할 수 있다.

튜너부 105는 유선 또는 무선으로 수신되는 방송 신호를 증폭(amplification), 혼합(mixing), 공진(resonance)등을 통하여 많은 전파 성분 중에서 디스플레이 장치 100에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 방송 신호는 오디오(audio), 비디오(video) 및 부가 정보(예를 들어, EPG(Electronic Program Guide))를 포함한다.

튜너부 105는 사용자 입력(예를 들어, 외부의 제어 장치(미도시), 예를 들어, 원격 제어기(remote controller)로부터 수신되는 제어 신호, 예컨대, 채널 번호 입력, 채널의 업다운(up-down) 입력 및 EPG 화면에서 채널 입력)에 따라 채널 번호(예를 들어, 케이블 방송 506번)에 대응되는 주파수 대역에서 방송 신호를 수신할 수 있다.

튜너부 105는 지상파 방송, 케이블 방송, 위성 방송, 인터넷 방송 등과 같이 다양한 소스로부터 방송 신호를 수신할 수 있다. 튜너부 105는 아날로그 방송 또는 디지털 방송 등과 같은 소스로부터 방송 신호를 수신할 수도 있다. 튜너부 105를 통해 수신된 방송 신호는 디코딩(decoding, 예를 들어, 오디오 디코딩, 비디오 디코딩 또는 부가 정보 디코딩)되어 오디오, 비디오 및/또는 부가 정보로 분리된다. 분리된 오디오, 비디오 및/또는 부가 정보는 프로세서 140의 제어에 의해 메모리 130에 저장될 수 있다.

튜너부 105는 디스플레이 장치 100와 일체형(all-in-one)으로 구현되거나 또는 디스플레이 장치 100와 전기적으로 연결되는 튜너부를 가지는 별개의 장치(예를 들어, 셋탑박스(set-top box, 미도시), 입/출력부 180에 연결되는 튜너부(미도시))로 구현될 수 있다.

통신부 110는 적어도 하나의 유선 또는 무선 통신 네트워크를 통해서 외부 전자 장치(미도시)와 통신을 수행한다. 개시된 실시예에서, 통신부 110는 상대방 디스플레이 장치 200과 통신할 수 있다. 또한, 통신부 110는 상대방 디스플레이 장치 200과 소정 데이터를 송수신하기 위해서 서버 (예를 들어, 도 4에 도시된 서버 300)와 통신을 수행할 수 있다. 또한, 통신부 110는 컨텐트 제공 서버, 인터넷 서버 등과 통신을 수행할 수 있다.

통신부 110는 통신 네트워크를 통하여 외부 장치(예를 들어, 상대방 디스플레이 장치 200, 또는 서버(미도시) 중 적어도 하나)와 통신할 수 있다. 구체적으로, 통신부 110는 적어도 하나의 통신 모듈, 통신 회로 등을 포함하는 형태로 형성될 수 있으며, 통신 모듈 및/또는 통신 회로를 통하여 외부 장치와 데이터를 송수신할 수 있다.

구체적으로, 통신부 110는 블루투스, 와이파이, BLE(Bluetooth Low Energy), NFC/RFID, 와이파이 다이렉트(Wifi Direct), UWB, 또는 ZIGBEE 등의 통신 규격에 따른 통신을 수행하는 적어도 하나의 근거리 통신 모듈 111를 포함할 수 있다.

또한, 통신부 110는 원거리 통신 규격에 따라서 원거리 통신을 지원하기 위한 서버와 통신을 수행하는 원거리 통신 모듈 112를 더 포함할 수 있다. 구체적으로, 통신부 110는 인터넷 통신을 위한 네트워크를 통하여 통신을 수행하는 원거리 통신 모듈을 포함할 수 있다. 또한, 통신부 110는 3G, 4G, 및/또는 5G 등의 통신 규격에 따르는 통신 네트워크를 포함할 수 있다.

통신부 110는 프로세서 140의 제어에 의해 외부 전자 장치(미도시)와 통신을 수행할 수 있다. 프로세서 140는 통신부 110를 통해 연결된 외부 장치로 컨텐츠를 송/수신, 외부 장치에서부터 어플리케이션(application)을 다운로드 하거나 또는 웹 브라우징을 할 수 있다. 구체적으로, 통신부 110는 네트워크에 접속하여 외부 장치(미도시)에서 컨텐츠를 수신할 수 있다.

디스플레이 120는 소정 화면을 디스플레이 한다. 구체적으로, 프로세서 140의 제어에 의해 튜너부를 통해 수신된 방송 신호에 포함된 비디오를 화면에 표시할 수 있다. 또한, 디스플레이 120는 통신부 110 또는 입/출력부 180를 통해 입력되는 컨텐츠(예를 들어, 동영상)를 표시할 수 있다.

또한, 디스플레이 120는 프로세서 140의 제어에 의해 메모리 130에 저장된 영상을 출력할 수 있다. 또한, 디스플레이 120는 음성 인식에 대응되는 음성 인식 태스크를 수행하기 위한 음성 UI(User Interface: 예를 들어, 음성 명령어 가이드를 포함하는) 또는 모션 인식에 대응되는 모션 인식 태스크를 수행하기 위한 모션 UI(예를 들어, 모션 인식을 위한 사용자 모션 가이드를 포함)를 표시할 수 있다.

비디오 처리부 125는 비디오 데이터에 대한 이미지를 처리를 수행할 수 있다. 구체적으로, 비디오 처리부 125는 디스플레이 장치 100가 수신한 비디오 데이터, 예를 들어, 영상 신호에 대한 처리를 수행할 수 있다. 비디오 처리부 125에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.

메모리 130는 적어도 하나의 인스트럭션을 저장할 수 있다. 또한, 메모리 130는 프로세서 140가 실행하는 적어도 하나의 인스트럭션을 저장하고 있을 수 있다. 또한, 메모리 130는 프로세서 140가 실행하는 적어도 하나의 프로그램을 저장하고 있을 수 있다. 또한, 메모리 130는 소정 서비스를 제공하기 위한 어플리케이션을 저장하고 있을 수 있다. 예를 들어, 메모리 130는 영상 통화 어플리케이션을 저장하고 있을 수 있다.

구체적으로, 메모리 130는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

오디오 입출력부 150는 사용자가 청각적으로 인식할 수 있는 오디오를 출력하거나, 오디오를 감지 및/또는 수신할 수 있다. 구체적으로, 오디오 입출력부 150는 오디오 출력부 151 및 오디오 입력부 152를 포함할 수 있다.

오디오 출력부 151는 프로세서 140의 제어에 따라서 오디오를 출력한다.

구체적으로, 오디오 출력부 151는 통신부 110를 통해 입력되는 오디오(예를 들어, 음성, 사운드)를 출력할 수 있다.

개시된 실시예에서, 프로세서 140는 영상 통화 모드 동안에 영상 통화의 상대방인 상대방 디스플레이 장치 200로부터 수신되는 오디오가 오디오 출력부 151를 통하여 출력되도록 제어할 수 있다.

오디오 출력부 151는 프로세서 140의 제어에 의해 튜너부를 통해 수신된 방송 신호에 포함된 오디오를 출력한다. 오디오 출력부 151는 통신부 110 또는 입/출력부 180를 통해 입력되는 오디오(예를 들어, 음성, 사운드)를 출력할 수 있다. 또한, 오디오 출력부 151는 프로세서 140의 제어에 의해 메모리 130에 저장된 오디오를 출력할 수 있다.

또한, 오디오 출력부 151는 프로세서 140의 제어에 의해 메모리 130에 저장된 오디오를 출력할 수 있다. 오디오 출력부 151는 스피커, 헤드폰 출력 단자 또는 S/PDIF(Sony/Philips Digital Interface) 출력 단자 중 적어도 하나를 포함할 수 있다. 오디오 출력부 151는 스피커, 헤드폰 출력 단자 및 S/PDIF(Sony/Philips Digital Interface) 출력 단자의 조합을 포함할 수 있다.

오디오 입력부 152는 오디오를 수신한다. 구체적으로, 오디오 입력부 152는 외부의 음향 신호인 오디오를 입력 받아 전기적인 음성 데이터로 처리하는 마이크(구체적으로, 마이크로폰) 를 포함할 수 있다. 예를 들어, 오디오 입력부 152에 포함되는 마이크는 외부 장치 또는 화자, 예를 들어, 영상 통화 중인 사용자로부터 음향 신호를 수신할 수 있다. 또한, 오디오 입력부 152에 포함되는 마이크는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.

개시된 실시예에서, 프로세서 140의 제어에 따라서 오디오 입력부 152은 영상 통화 모드 동안에, 사용자의 음성을 포함하는 음향 신호를 수신하고, 수신된 음향 신호에서 잡음을 제거하여 사용자의 음성이 인식되도록 처리할 수 있다.

오디오 처리부 170는 오디오 데이터에 대한 처리를 수행한다. 오디오 처리부 170에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 한편, 오디오 처리부 170는 복수의 컨텐츠에 대응되는 오디오를 처리하기 위해 복수의 오디오 처리 모듈을 구비할 수 있다.

카메라 162는 이미지 센서를 포함하여, 영상 통화 모드 또는 촬영 모드에서 이미지 센서를 통해 정지 영상 또는 동영상 등의 영상 프레임을 얻을 수 있다. 개시된 실시예에서, 카메라 162는 영상 통화 요청의 수신에 근거하여 활성화 될 수 있다. 그에 따라서, 활성화 된 카메라 162는 영상 통화를 요청한 사용자에 대한 이미지를 획득하기 위한 촬영을 수행할 수 있다.

구체적으로, 카메라 162는 설정된 FPS(Frame per second)에 따라서 소정 시간 간격으로 영상 프레임을 획득할 수 있다. 예를 들어, 카메라 162는 1초에 30장의 영상 프레임을 획득할 수 있다. 따라서, 카메라 162에서 획득되는 제1 이미지는 연속적으로 획득 및 갱신되는 이미지들의 집합 또는 이미지들 각각을 의미할 수 있다.

일 실시예에 따라 디스플레이 장치 100는 하나의 카메라를 포함할 수 있다.

일 실시예에 따라 디스플레이 장치 100는 서로 다른 위치에 배치되는 복수개의 카메라를 포함할 수 있을 것이다. 디스플레이 장치 100가 복수개의 카메라를 포함하는 경우, 디스플레이 장치 100는 자체 설정 또는 사용자 입력에 근거하여, 영상 통화를 위하여 사용자는 복수개의 카메라들 중 어느 하나를 선택할 수 있다.

또한, 사용자에 대한 이미지를 획득하기 위한 카메라는 디스플레이 장치 100 내에 포함되는 형태가 아닌, 디스플레이 장치 100와 별도로 구비될 수 있다. 예를 들어, 디스플레이 장치 100의 전면을 촬영할 수 있도록, 디스플레이 장치 100의 일 측면 또는 인접하여 배치되는 외장 카메라가 될 수 있다. 이 경우, 외장 카메라와 디스플레이 장치100는 유무선의 신호 선을 통하여 연결될 수 있으며, 외장 카메라는 디스플레이 장치 100의 제어에 따라서 영상 통화의 사용자에 대한 이미지를 획득할 수 있다.

이하에서는 설명의 편의 상, 영상 통화를 위하여 사용자에 대한 영상을 획득하기 위한 카메라가 디스플레이 장치 100 내에 포함되는 형태로 구비되는 경우를 예로 들어 도시 및 설명하도록 한다.

입/출력부 180는 다양한 포맷의 입력 데이터를 수신할 수 있다. 여기서, 입/출력부 180를 통하여 수신되는 데이터들의 포맷은 RGBA, YUV 포멧 등을 가질 수 있다. 또한 입/출력부 180는 다양한 포맷을 갖는 복수의 입력 데이터(구체적으로, 이미지 소스)들을 수신할 수 있다.

입/출력부 180는 프로세서 140의 제어에 의해 디스플레이 장치 100의 외부에서부터 비디오(예를 들어, 동영상 등), 오디오(예를 들어, 음성, 음악 등) 및 부가 정보(예를 들어, EPG 등) 등을 수신한다. 입/출력부 180는 HDMI 포트(High-Definition Multimedia Interface port, 181), 컴포넌트 잭(component jack, 182), PC 포트(PC port, 183), 및 USB 포트(USB port, 184) 중 하나를 포함할 수 있다. 입/출력부 180는 HDMI 포트 181, 컴포넌트 잭 182, PC 포트 183, 및 USB 포트 184의 조합을 포함할 수 있다.

입/출력부 180의 구성 및 동작은 본 발명의 실시예에 따라 다양하게 구현될 수 있다는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다.

사용자 입력 인터페이스 190는 디스플레이 장치 100를 제어하기 위한 사용자 입력을 수신할 수 있다. 예를 들어, 사용자 인터페이스 100는 사용자로부터 영상 통화 요청을 수신할 수 있다.

사용자 입력 인터페이스 190는 사용자의 터치를 감지하는 터치 패널, 사용자의 푸시 조작을 수신하는 버튼, 사용자의 회전 조작을 수신하는 휠, 키보드(key board), 및 돔 스위치 (dome switch) 등을 포함하는 사용자 입력 디바이스를 포함할 수 있으나 이에 제한되지 않는다.

또한, 사용자 입력 인터페이스 190는 음성 인식을 위한 음성 인식 장치로서 예를 들어, 마이크를 포함할 수 있으며, 음성 인식 장치는 사용자의 음성 명령 또는 음성 요청을 수신할 수 있다. 그에 따라서, 프로세서 140는 음성 명령 또는 음성 요청에 대응되는 동작이 수행되도록 제어할 수 있다.

또한, 사용자 입력 인터페이스 190는 모션 감지 센서(미도시)를 포함할 수도 있다. 예를 들어, 모션 감지 센서(미도시)는 디스플레이 장치 100의 움직임을 감지하고, 감지된 움직임을 사용자 입력으로 수신할 수 있다. 또한, 전술한 음성 인식 장치(미도시) 및 모션 감지 센서(미도시)는 사용자 입력 인터페이스 190 내에 포함되는 형태가 아니라, 사용자 입력 인터페이스 190와는 독립적인 모듈로 디스플레이 장치 100 내에 포함될 수 있을 것이다.

또한, 사용자 입력 인터페이스 190는 원격 제어 장치(remote controller) 등을 통하여 사용자 입력을 수신할 수 있다. 이 경우, 사용자 입력 인터페이스 190는 원격 제어 장치(미도시)로부터 사용자 입력에 대응되는 신호를 수신하기 위한 통신 모듈을 포함할 수 있다. 예를 들어, 원격 제어 장치(미도시)가 사용자 입력에 대응되는 IR 신호를 전송하는 경우, 사용자 인터페이스 190는 IR 신호를 수신할 수 있는 광수신 모듈을 포함할 수 있을 것이다.

감지부 160는 사용자의 음성, 사용자의 영상 또는 사용자의 인터랙션을 감지한다.

마이크 161는 사용자의 발화(utterance)된 음성을 수신한다. 마이크 161는 수신된 음성을 전기 신호로 변환하여 프로세서 140로 출력할 수 있다. 사용자 음성은 예를 들어, 디스플레이 장치 100의 메뉴 또는 기능에 대응되는 음성을 포함할 수 있다. 예를 들어, 마이크 161의 인식 범위는 마이크 161에서부터 사용자 위치까지 4 m 이내를 권장하며, 마이크 161의 인식 범위는 사용자 목소리의 크기와 주변 환경(예를 들어, 스피커 소리, 주변 소음)에 대응하여 달라질 수 있다.

마이크 161는 디스플레이 장치 100와 일체형 또는 분리형으로 구현될 수 있다. 분리된 마이크 161는 통신부 110 또는 입/출력부 180를 통해 디스플레이 장치 100와 전기적으로 연결될 수 있다.

디스플레이 장치 100의 성능 및 구조에 따라 마이크 161가 제외될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.

카메라부 162는 카메라 인식 범위에서 제스처를 포함하는 사용자의 모션에 대응되는 영상(예를 들어, 연속되는 프레임)을 수신한다. 예를 들어, 카메라부 162의 인식 범위는 카메라부 162에서부터 사용자까지 0.1 ~ 5 m 이내 거리가 될 수 있다. 사용자 모션은 예를 들어, 사용자의 얼굴, 표정, 손, 주먹, 손가락과 같은 사용자의 신체 일부분 또는 사용자 일부분의 모션 등을 포함할 수 있다. 카메라부 162는 프로세서140의 제어에 따라 수신된 영상을 전기 신호로 변환하여 프로세서 140로 출력할 수 있다.

카메라부 162는 렌즈 및 이미지 센서로 구성될 수 있다. 카메라부 162는 복수의 렌즈와 이미지 프로세싱을 이용하여 광학 줌(optical zoom) 또는 디지털 줌(digital zoom)을 지원할 수 있다. 카메라부 162의 인식 범위는 카메라의 각도 및 주변 환경 조건에 따라 다양하게 설정될 수 있다. 카메라부 162가 복수개의 카메라로 구성되는 경우, 복수의 카메라를 이용하여 3차원 정지 이미지 또는 3차원 모션을 수신할 수 있다. 일 실시예에 따라 카메라부 162는 일반 카메라와 줌 카메라 등 두개 이상의 카메라를 포함할 수도 있다.

카메라부 162는 디스플레이 장치 100와 일체형 또는 분리형으로 구현될 수 있다. 분리된 카메라부 162를 포함하는 별도의 장치(미도시)는 통신부 110 또는 입/출력부 180를 통해 디스플레이 장치 100와 전기적으로 연결될 수 있다.

디스플레이 장치 100의 성능 및 구조에 따라 카메라부 162가 제외될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.

광 수신부 163는 외부의 제어 장치에서부터 수신되는 광 신호(제어 신호를 포함)를 디스플레이 120의 베젤의 광창 등을 통해 수신한다. 광 수신부 163는 제어 장치로부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광 신호를 수신할 수 있다. 수신된 광 신호로부터 프로세서 140의 제어에 의해 제어 신호가 추출될 수 있다.

프로세서 140는 디스플레이 장치 100의 전반적인 동작 및 디스플레이 장치 100의 내부 구성요소들(미도시)사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 프로세서 140는 사용자의 입력이 있거나 기 설정되어 저장된 조건을 만족하는 경우, 프로세서 140는 메모리 130에 저장된 OS(Operation System) 및 다양한 애플리케이션을 실행할 수 있다.

프로세서(미도시)는 비디오에 대응되는 그래픽 처리를 위한 그래픽 프로세서(Graphic Processing Unit, 미도시)를 포함할 수 있다. 그래픽 처리부(미도시)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부는 감지부(미도시)를 통해 감지된 사용자 인터랙션을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 디스플레이 120의 디스플레이 영역 내에 표시된다.

서버 300는 디스플레이 장치 100 및 상대방 디스플레이 장치 200과 무선 통신 네트워크를 통하여 상호 통신할 수 있다.

예를 들어, 서버 300는 영상 통화 또는 영상 통화 서비스를 제공하거나, 영상 통화 서비스에 필요한 통신을 지원하는 서버가 될 수 있다. 예를 들어, 디스플레이 장치 100 및 상대방 디스플레이 장치 200가 3G, 4G, 5G 등과 같은 이동 통신 네트워크를 통하여 연결되며, 디스플레이 장치 100와 상대방 디스플레이 장치 200 간에 영상 통화를 수행할 수 있다. 이 경우, 서버 300는 3G, 4G, 5G 등과 같은 통신 규격에 따른 이통 통신을 지원하는 통신 서버가 될 수 있다.

또한, 디스플레이 장치 100과 상대방 디스플레이 장치 200가 인터넷 통신 네트워크로 연결될 수 있다. 그리고, 디스플레이 장치 100과 상대방 디스플레이 장치 200가, 장치 내의 영상 통화 서비스를 제공하는 어플리케이션을 통하여, 영상 통화를 수행할 수 있다. 그러면, 디스플레이 장치 100과 상대방 디스플레이 장치 200가 상호간은 상기 어플리케이션을 통하여 영상 통화를 수행할 수 있을 것이다. 이 경우, 서버 300는 영상 통화 서비스 제공하는 어플리케이션을 지원하는 서버가 될 수 있을 것이다. 구체적으로, 서버 300는 어플리케이션을 제작 및/또는 배포하는 사용자의 서버가 될 수 있다.

전술한 바와 같이, 서버 300의 통신 중계를 이용하여, 전술한 영상 통화 수행에 필요한 동작들이 수행될 수 있다. 도 3에서는 서버 300의 통신 중계 동작이 도시되지 않았으나, 서로 다른 두 장치들 간의 데이터 또는 신호를 송수신하는데 있어서, 전술한 서버 300의 통신 중계 동작이 포함될 수 있다. 구체적으로, 서버 300는 영상 통화 서비스의 실행을 지원하기 위해서, 데이터 또는 신호의 전달을 담당할 수 있다.

예를 들어, 서버 300는 디스플레이 장치 100에서 생성된 사용자 영상 신호를 상대방 디스플레이 장치 200로 전송하는 중계 동작을 수행할 수 있다. 또한, 서버 300는 영상 통화 서비스를 수행하기 위해서 이용되는 각종 데이터 및 신호를 디스플레이 장치 100 및 상대방 디스플레이 장치 200로 전송 또는 전달할 수 있다.

이하의 설명에 있어서, 일 장치(예를 들어, 디스플레이 장치 100)에서 다른 장치(예를 들어, 상대방 디스플레이 장치 200)로 소정 데이터 또는 신호를 전송하였다고 기재하더라도, 이는 일 장치(예를 들어, 디스플레이 장치 100)에서 다른 장치(예를 들어, 상대방 디스플레이 장치 200)로 소정 데이터 또는 신호를 직접 전송되는 경우뿐만 아니라, 서버 300의 통신 중계를 통하여 일 장치(예를 들어, 디스플레이 장치 100)에서 다른 장치(예를 들어, 상대방 디스플레이 장치 200)로 소정 데이터 또는 신호를 전송되는 것을 포함한다고 할 것이다.

이하에서는, 도 5 내지 도 15를 참조하여, 개시된 실시예에 따른 디스플레이 장치 100를 통하여 수행되는 동작들을 상세하게 설명하도록 한다.

도 5는 개시된 실시예에 따른 디스플레이 장치의 동작 방법을 나타내는 일 흐름도이다. 또한, 도 5에 도시된 디스플레이 장치의 동작 방법은 개시된 실시예에 따른 디스플레이 장치 100를 통하여 수행되는 동작들의 흐름을 나타낸다.

동작 510에서, 디스플레이 장치 100는 영상 통화를 위해 카메라에 의해 촬영된 영상 영역에서 송출 영역과 비송출 영역을 식별할 수 있다.

일 실시예에 따라 디스플레이 장치 100는 상대방 디스플레이 장치 100와 영상 통화 기능을 수행할 수 있다. 구체적으로, 디스플레이 장치 100와 상대방 디스플레이 장치 100 중 어느 일방에 의해 영상 통화 요청이 이루어지고 영상 통화 요청에 대해서 수락이 이루어짐으로써 영상 통화 기능이 수행될 수 있다. 영상 통화 요청은 사용자 인터페이스를 통하여 입력되는 사용자 입력에 기반할 수 있다. 예를 들어, 디스플레이 장치 100의 사용자는 친구와 영상 통화를 하기를 원할 수 있다. 그러면, 사용자는 디스플레이 장치 100의 사용자 인터페이스를 통하여 영상 통화를 요청하는 사용자 입력을 입력할 수 있다. 그러면, 프로세서 140는 사용자 입력에 근거하여 영상 통화 요청이 수신된 것으로 인식할 수 있다. 또는, 영상 통화 요청은 디스플레이 장치 100의 사용자와 영상 통화를 하기를 원하는 상대방의 디스플레이 장치에서 수신될 수 있다. 즉, 영상 통화 요청은, 디스플레이 장치 100의 사용자 또는 상대방 디스플레이 장치 200의 상대방 사용자 중 적어도 한 명의 요청에 따라서 수신될 수 있다.

영상 통화 기능 수행에 따라, 디스플레이 장치 100는 디스플레이 장치 100의 사용자의 영상을 촬영하여 사용자의 이미지를 상대방 디스플레이 장치 200로 전송하고, 또한 디스플레이 장치 100는 영상 통화 상대방인 상대방 사용자의 상대방 디스플레이 장치 200으로부터 상대방 사용자의 이미지를 수신할 수 있다.

디스플레이 장치 100는 영상 통화 기능 수행하는 동안 디스플레이에 영상 통화 상대방 디스플레이 장치 200로부터 수신한 상대방 사용자의 이미지와, 사용자의 이미지를 표시할 수 있다. 예를 들어 디스플레이 장치 100는 상대방 사용자의 이미지를 메인 화면에, 사용자의 이미지를 서브 화면에 표시할 수 있다. 또는 디스플레이 장치 100는 상대방 사용자의 이미지와 사용자의 이미지를 동일한 크기의 화면에 표시할 수도 있다.

일 실시예에 따라 디스플레이 장치 100는 영상 통화 화면을 위해 카메라를 이용하여 사용자의 영상을 촬영할 수 있다. 일 실시예에 따라 디스플레이 장치 100는 영상 통화를 위해 카메라에 의해 촬영된 영상 영역에서 송출 영역과 비송출 영역을 식별할 수 있다. 송출 영역은 상대방 디스플레이 장치 200로 전송을 위해 식별된 영역을 말하는 것으로, 주로 사용자의 얼굴을 포함하는 상반신 부분을 포함할 수 있다. 비송출 영역은 영상 통화를 위해 카메라에 의해 촬영된 영상 영역 중에서 상대방 디스플레이 장치로 전송을 위한 송출 영역을 제외한 영역이 될 수 있다.

일 실시예에 따라 디스플레이 장치 100는 영상 통화를 위해 카메라에 의해 촬영된 영상 영역 중에서 미리 정해진 위치에서 송출 영역과 비송출 영역을 식별할 수 있다. 예를 들어, 영상 통화를 위해 카메라에 의해 촬영된 영상 영역은 사용자의 얼굴을 포함하는 상반신 부분을 포함할 수 있다. 디스플레이 장치 100는 이러한 영상 영역 중에서 경험상 사용자의 얼굴을 포함하는 부분의 위치를 미리 결정할 수 있고 이와 같이 미리 결정된 위치에서 송출 영역을 식별하고, 영상 영역 중에서 송출 영역을 제외한 부분을 비송출 영역으로 식별할 수 있다.

일 실시예에 따라 디스플레이 장치 100는 영상 통화를 위해 카메라에 의해 촬영된 영상 영역 중에서 얼굴을 검출하고 얼굴이 검출된 영역을 기준으로 송출 영역과 비송출 영역을 식별할 수 있다. 예를 들어, 디스플레이 장치 100는 영상 영역 중에서 다양한 오브젝트 검출 기술에 의해 사용자의 얼굴을 검출하고, 얼굴 검출 영역 이나 얼굴 검출 영역 주변의 일부 영역까지 포함하는 영역을 송출 영역으로 식별하고, 영상 영역 중에서 송출 영역을 제외한 부분을 비송출 영역으로 식별할 수 있다. 다양한 오브젝트 검출 기술은 예를 들어, 룰 베이스 검출 또는 인공 지능 기반 오브젝트 검출 기술을 포함할 수 있다.

일 실시예에 따라 디스플레이 장치 100는 영상 통화를 위해 카메라에 의해 촬영된 영상 영역 중에서 손을 검출하고 손이 검출된 영역으로 기준으로 송출 영역과 비송출 영역을 식별할 수 있다. 예를 들어, 디스플레이 장치 100는 영상 영역 중에서 다양한 오브젝트 검출 기술에 의해 사용자의 손을 검출하고, 손 검출 영역 이나 손 검출 영역 주변의 일부 영역까지 포함하는 영역을 비송출 영역으로 식별하고, 영상 영역 중에서 비송출 영역을 제외한 부분을 송출 영역으로 식별할 수 있다. 다양한 오브젝트 검출 기술은 예를 들어, 룰 베이스 검출 또는 인공 지능 기반 오브젝트 검출 기술을 포함할 수 있다.

동작 520에서, 디스플레이 장치 100는 송출 영역에 대응하는 영상을 영상 통화 서비스 제공을 위해 상대방 디스플레이 장치 200로 전송할 수 있다.

구체적으로 디스플레이 장치 100는 송출 영역에 대응하는 영상을 상대방 디스플레이 장치 200로 전송하도록 통신부를 제어할 수 있다. 이와 같이 영상 통화 서비스 제공을 위해 촬영한 영상에서 얼굴을 기준으로 한 영역 또는 제스쳐를 취할 수 있는 손이 제외되도록 송출 영역을 식별하고 이러한 송출 영역에 대응하는 영상을 상대방 디스플레이 장치 200로 전송함으로써 상대방 디스플레이 장치 200의 디스플레이에 표시되는 영상 통화 화면에서 사용자의 손 제스쳐가 보여지는 것을 방지할 수 있다.

동작 530에서, 디스플레이 장치 100는 비송출 영역의 적어도 일부인 제스쳐 인식 영역에 대응하는 영상에서 제스쳐 인식을 수행하고 인식된 제스쳐에 대응하는 기능을 수행할 수 있다.

일 실시예에 따라 디스플레이 장치 100는 비송출 영역의 적어도 일부를 제스쳐 인식 영역으로 결정할 수 있다. 디스플레이 장치 100는 비송출 영역 전체를 제스쳐 인식 영역으로 결정할 수 있다. 디스플레이 장치 100는 비송출 영역의 적어도 일부를 제스쳐 인식 영역으로 결정할 수 있다.

일 실시예에 따라 디스플레이 장치 100는 비송출 영역 중에서 미리 정해진 위치에서 제스쳐 인식 영역을 결정할 수 있다.

일 실시예에 따라 디스플레이 장치 100는 비송출 영역중에서 다양한 오브젝트 검출 기술에 의해 사용자의 손을 검출하고, 손 검출 영역 이나 손 검출 영역 주변의 일부 영역까지 포함하는 영역을 제스쳐 인식 영역으로 결정할 수 있다. 다양한 오브젝트 검출 기술은 예를 들어, 룰 베이스 검출 또는 인공 지능 기반 오브젝트 검출 기술을 포함할 수 있다.

일 실시예에 따라 디스플레이 장치 100는 결정된 제스쳐 인식 영역에서 제스쳐 인식 동작을 수행할 수 있다. 제스쳐 인식은 디스플레이 장치 100가 획득된 영상을 분석하여 사용자에 의해 수행되는 미리 정해진 움직임을 인식하고 식별하는 것을 말한다. 디스플레이 장치 100는 제스쳐 인식 영역에 대응하는 영상을 전처리하여 특징점을 찾고, 특징점에 기반하여 인식된 움직임을 제스쳐 데이터베이스에 저장된 각 제스쳐와 비교함으로써 유사성 측정을 하고, 움직임이 비교된 데이터베이스 제스쳐에 대한 임계값보다 더 큰 유사성 측정값을 갖는 제스쳐를 식별함으로써 제스쳐 인식 동작을 수행할 수 있다.

일 실시예에 따라 디스플레이 장치 100는 제스쳐 인식 동작에 의해 결정된 제스쳐에 대응하는 기능을 수행할 수 있다.

디스플레이 장치 100는 제스쳐 인식 동작에 의해 결정된 제스쳐에 대응하는 미리 정해진 기능을 수행할 수 있다. 미리 정해진 기능은 영상 통화 기능을 제어하는 하나 이상의 기능일 수도 있고 또는 그외 일반적인 디스플레이 장치의 제어를 위한 하나 이상의 기능일 수도 있다. 예를 들어 손 제스쳐는 펼친 손가락의 개수에 대응하는 제스쳐를 포함할 수 있다. 예를 들어, 하나의 손가락을 펴는 제스쳐, 두개의 손가락을 펴는 제스쳐, 세 개의 손가락을 펴는 제스쳐, 네 개의 손가락을 펴는 제스쳐, 다섯개의 손가락을 펴는 제스쳐를 포함할 수 있다. 손 제스쳐는 엄지 손가락과 검지 손가락 끝을 붙여서 OK 사인을 만드는 제스쳐를 포함할 수 있다. 또는 손 제스쳐는, 손가락 2개로 X 자 형태를 만드는 제스쳐를 포함할 수 있다. 손 제스쳐는 손 자체의 움직임을 이용한 제스쳐를 포함할 수 있다. 주먹을 쥐는 제스쳐, 손을 흔드는 제스쳐, 손을 수직으로 이동시키는 제스쳐, 손을 수평으로 이동시키는 제스쳐를 포함할 수 있다.

각 제스쳐에 매핑되는 기능은 다양하게 결정될 수 있다. 예를 들어, 각 제스쳐에 매핑되는 기능은 영상 통화 기능을 제어하는 기능 또는 디스플레이 장치를 일반적으로 제어하는 기능을 포함할 수 있다. 영상 통화 기능을 제어하는 기능은, 예를 들어, 영상 통화 종료, 음소거 기능, 영상 통화를 음성통화로 전환하는 기능, 영상 통화 화면의 확대 기능, 영상 통화 화면의 축소 기능 등 다양하게 포함할 수 있다. 디스플레이 장치를 일반적으로 제어하는 기능은, 예를 들어 볼륨을 높이는 기능을 포함할 수 있다.

이상 설명한 바와 같이 영상 통화 하는 동안 제스쳐 인식 기능을 사용하는 경우, 상대방 디스플레이 장치 200로 보내져서 상대방 디스플레이 장치 200에 표시되는 영상에는 사용자의 제스쳐를 보이지 않게 할 수 있으므로, 제스쳐를 하는 사용자나 상대방 사용자는, 사용자의 제스쳐 움직임에 의해 방해받지 않고 영상 통화에 집중할 수 있게 된다.

도 6은 일 실시예에 따라 영상 통화를 위해 촬영한 사용자의 이미지에서 송출 영역을 인식하는 방법을 설명하기 위한 참고도이다.

도 6을 참조하면, 디스플레이 장치 100는 영상 통화를 위해 촬영한 사용자의 이미지 600에서 송출 영역 610과 비송출 영역 620을 식별할 수 있다. 송출 영역 610은 영상 통화 화면을 위해 상대방 디스플레이 장치 200로 전송될 영역을 말하고 비송출 영역 620은 사용자의 제스쳐 인식을 수행하는 대상이 되는 영역을 포함하는 영역을 말한다.

일 실시예에 따라 디스플레이 장치 100는 영상 통화를 위해 촬영한 사용자의 이미지 600에서 송출 영역 610과 비송출 영역 620을 다양한 방식으로 식별할 수 있다. 통상 영상 통화를 수행하는 사용자는 디스플레이 장치 100의 카메라가 사용자를 촬영할 수 있도록 디스플레이 장치 100의 전면에서 의자 등에 앉은 상태로 있을 것이므로 카메라는 많은 경우에 사용자의 허리 윗부분의 상반신 이미지를 촬영할 것이다. 따라서 영상 통화를 위해 촬영한 사용자의 이미지 600는 통상 사용자의 상반신을 포함하고 있을 수 있다. 이러한 경험적인 데이터에 근거하여 디스플레이 장치 100는 사용자의 이미지 600에서 상위 몇 퍼센트 부분, 예를 들어 상위 60 퍼센트 부분을 송출 영역 610 으로 하고 나머지 영역을 비송출 영역 620으로 식별할 수 있을 것이다. 또는 디스플레이 장치 100는 사용자의 이미지 600에서 하위 몇 퍼센트 부분, 예를 들어 하위 30 퍼센트 부분을 비송출 영역 620으로 식별할 수 있을 것이다.

일 실시예에 따라 디스플레이 장치 100는 영상 통화를 위해 촬영한 사용자의 이미지 600에서 식별된 비송출 영역 620에서 제스쳐 인식 영역 621을 결정할 수 있다.

일 예에 따라 디스플레이 장치 100는 비송출 영역 620 전체를 제스쳐 인식 영역 621로 결정할 수 있다.

일 예에 따라 디스플레이 장치 100는 비송출 영역 620 중에서 일부 영역을 제스쳐 인식 영역 621로 결정할 수 있다. 예를 들어, 디스플레이 장치 100는 비송출 영역 620 중에서 사용자의 손이 위치하는 것으로 예상되는 영역을 제스쳐 인식 영역 621로 결정할 수 있다.

일 실시예에 따라 디스플레이 장치 100는 영상 통화를 위해 촬영한 사용자의 이미지 600에서 직접적으로 사용자의 손을 검출하는 동작을 수행하여 사용자의 손이 검출된 부분을 제스쳐 인식 영역 621로 결정할 수도 있을 것이다.

도 7은 일 실시예에 따라 디스플레이 장치가 영상 통화를 위해 촬영한 사용자의 이미지에서 식별된 송출 영역과 제스쳐 인식 영역을 이용하여 동작하는 방법을 설명하기 위한 참고도이다.

도 7을 참조하면, 디스플레이 장치 100는 카메라를 이용하여 촬영된 사용자의 이미지 600에서 식별된 송출 영역 610에 대응하는 영상을 통신부를 이용하여 상대방 디스플레이 장치 200로 전송할 수 있다. 그러면 상대방 디스플레이 장치 200는 디스플레이 장치 100로부터 수신한 송출 영역 610에 대응하는 영상을 디스플레이에 표시할 수 있다. 상대방 디스플레이 장치 200는 상대방 디스플레이 장치 200의 사용자인 상대방 사용자의 이미지 611를 디스플레이 일부에 출력할 수 있다.

디스플레이 장치 100는 사용자의 이미지 610에서 식별된 제스쳐 인식 영역 621에 대응하는 영상을 이용하여 제스쳐 인식 동작을 수행하고, 제스쳐 인식 동작에 의해 인식된 제스쳐에 대응하는 기능에 따라 디스플레이 장치 100를 제어할 수 있다. 이때 디스플레이 장치 100는 상대방 디스플레이 장치 200로부터 수신한 상대방 사용자의 이미지 710를 디스플레이에 출력할 수 있다. 또한 디스플레이 장치 100는 디스플레이 장치 100의 사용자의 이미지 711를 디스플레이의 일부에 출력할 수 있다. 또한 이때 디스플레이 장치 100의 사용자로 하여금 사용자의 손이 제스쳐 인식 영역 712에 들어와 있음을 보여주기 위해 또는 제스쳐 인식에 사용되는 사용자의 손이 제스쳐 인식 영역 712에서 벗어나지 않도록 사용자에게 안내를 하기 위해 제스쳐 인식 영역 712에 경계선 등의 시각적 효과를 부여할 수 있다.

도 8은 일 실시예에 따라 제스쳐 인식 영역을 결정하는 방법의 일 예를 설명하기 위한 참고도이다.

도 8을 참조하면, 디스플레이 장치 100는 영상 통화를 위해 카메라를 이용하여 촬영한 사용자의 이미지 600에서 미리 정해진 위치에서 제스쳐 인식 영역 621을 식별할 수 있다.

예를 들어 디스플레이 장치 100는 사용자의 이미지 600의 하단에서 일정 거리 h 만큼 의 영역을 제스쳐 인식 영역 621로 식별할 수 있다.

예를 들어 디스플레이 장치 100는 사용자의 이미지 600의 하위 몇 퍼센트의 영역, 예를 들어 하위 40 퍼센트의 영역을 제스쳐 인식 영역 621로 식별할 수 있다.

도 9는 일 실시예에 따라 제스쳐 인식 영역을 손 검출에 의해 결정하는 방법의 일 예를 설명하기 위한 참고도이다.

도 9를 참조하면, 디스플레이 장치 100는 영상 통화를 위해 카메라를 이용하여 촬영한 사용자의 이미지 600에서 손을 검출함으로써 제스쳐 인식 영역 621을 식별할 수 있다.

사용자의 제스쳐는 대체로 손과 팔의 일부를 이용하여 이루어 질 것이므로, 디스플레이 장치 100는 사용자의 이미지 600에서 사용자의 손과 팔의 적어도 하나를 검출함으로써 제스쳐 인식 영역 621을 식별할 수 있다.

디스플레이 장치 100는 사용자의 이미지 600에서 오브젝트 검출 기술에 의해 사용자의 손을 검출함으로써 손 검출 영역 910을 획득할 수 있다. 사용자는 손을 이용하여 제스쳐를 취할 때 실제 검출된 손의 위치에서 일정 거리 상하 좌우로 이동할 것이므로 이러한 이동 가능 거리 등을 고려하여 손 검출 영역 910을 가로 나 세로 로 보다 확장하여 제스쳐 인식 영역을 결정할 수 있다. 예를 들어, 디스플레이 장치 100는 손 검출 영역 910으로부터 가로로 v1 만큼 세로로 h1 만큼 확장함으로써 제스쳐 인식 영역 911을 결정할 수 있다.

디스플레이 장치 100는 영상 통화를 위해 카메라를 이용하여 촬영한 사용자의 이미지 600에서 얼굴을 검출함으로써 송출 영역을 식별할 수 있다.

디스플레이 장치 100는 사용자의 이미지 600에서 오브젝트 검출 기술에 의해 사용자의 얼굴을 검출함으로써 얼굴 검출 영역 920을 획득할 수 있다. 예를 들어, 디스플레이 장치 100는 얼굴 검출 영역 920으로부터 가로로 v2 만큼 세로로 h2 만큼 확장함으로써 제스쳐 인식 영역 921을 결정할 수 있다.

도 10은 일 실시예에 따라 제스쳐 인식 영역을 조정하는 방법을 설명하기 위한 참고도이다.

도 10을 참조하면, 디스플레이 장치 100는 영상 통화를 위해 촬영된 사용자의 이미지 600에서 제스쳐 인식 영역 1010을 결정할 수 있다. 또한 일 실시예에 따라 디스플레이 장치 100는 이와 같이 결정된 제스쳐 인식 영역 1010을 조정할 수 있도록 하는 사용자 입력을 수신할 수 있는 사용자 입력 인터페이스를 제공할 수 있다. 처음에 결정된 제스쳐 인식 영역 1010이 사용자 관점에서는 자신이 제스쳐를 취하는데 너무 크거나 너무 좁다고 생각할 수 있으므로 이러한 제스쳐 인식 영역 1010을 조정할 수 있게 하기 위함이다. 예를 들어 디스플레이 장치 100는 제스쳐 인식 영역 1010을 커서 1000를 이용하여 확장하거나 축소함으로써 조정가능하게 제공하고, 사용자가 커서 1000를 이용하여 제스쳐 인식 영역 1010을 조정하는 사용자 입력을 입력하면 디스플레이 장치 100는 사용자 입력에 따라 제스쳐 인식 영역 1010이 확대되거나 축소되도록 조정될 수 있다.

도 11은 일 실시예에 따라 디스플레이 장치에서 영상 통화 서비스와 제스쳐 인식 기능을 제공하는 동안 줌인 입력에 대응하는 동작을 수행하는 방법의 흐름도의 일 예이다.

도 11을 참조하면, 동작 1110부터 동작 1130 까지는 도 5의 동작 510 부터 530 까지와 동일하므로 설명은 생략하기로 한다.

동작 1140에서, 디스플레이 장치 100는 줌 인 (zoom in) 기능 실행을 요청하는 사용자 입력을 수신할 수 있다.

줌 인은 이미지를 확대하여 보여주는 것으로, 광학 줌을 이용한 줌인과 디지털 줌인이 있다.

일 실시예에 따라 디스플레이 장치 100는 줌인 기능을 요청하는 사용자 입력에 따라 줌 인 기능을 실행할 수 있다. 사용자는 줌인 기능 요청을 위한 다양한 사용자 인터페이스를 이용하여 줌인 명령을 입력할 수 있거나 또는 제스쳐 인식 기능을 이용하여 줌인 기능에 대응하는 제스쳐를 취함으로써 줌인 명령을 입력할 수 있다.

동작 1150에서, 디스플레이 장치 100는 줌인 기능 실행을 위해 줌 타입을 식별할 수 있다.

줌 인에는 광학적인 방법으로 처리하는 광학 줌인과 소프트웨어적으로 처리하는 디지털 줌인 이 있다.

광학 줌을 이용한 줌인 (zoom in)은, 광학계의 일부를 광축 방향으로 이동시켜서 초점 거리를 연속적으로 바꿀 수 있는 줌 렌즈를 이용하여, 줌 렌즈의 초점 거리를 조절하여 피사체에 접근하여 가는 것처럼 보이도록 촬영하는 기법을 말하는 것으로, 렌즈의 초점 거리를 조절함으로써 피사체가 프레임에서 확대될 수 있다.

디지털 줌인 (digital zoom in)은, 촬영한 화상 데이터의 일부 화면을 디지털 처리 방식으로 확대 표시하여 줌 효과를 얻는 것으로 렌즈의 하드웨어를 변경하지 않고 소프트웨어적으로 간단하게 줌 효과를 얻을 수 있으나 전체 화면 중 한정된 일부 정보만을 확대 표시하는 것이므로 화질은 떨어질 수 있다.

디스플레이 장치 100는 디스플레이 장치 100가 실행할 수 있는 줌 타입이 무엇인지를 판단하고, 판단에 따라 줌 타입이 광학 줌인 인 경우에는 동작 1160으로 진행하고, 줌 타입이 디지털 줌인 경우에는 동작 1170으로 진행할 수 있다.

동작 1160에서, 디스플레이 장치 100는 줌 타입이 광학 줌 인 인 경우에 초점 거리가 조절되도록 줌 렌즈를 제어하여 사용자의 확대된 영상을 획득하고, 획득된 영상을 상대방 디스플레이 장치 100로 전송할 수 있다.

동작 1170에서, 디스플레이 장치 100는 제스쳐 인식 기능이 종료됨을 안내하는 메시지를 출력할 수 있다. 도 12를 참조하여 동작 1160 및 동작 1170을 설명한다.

도 12는 일 실시예에 따라 줌 타입이 광학 줌인 인 경우에 데이터 처리 장치의 동작 방법을 설명하기 위한 참고도이다.

도 12를 참조하면, 디스플레이 장치 100는 영상 통화 기능을 실행하는 동안 카메라를 이용하여 사용자의 이미지 1200를 촬영할 수 있다. 이와 같이 촬영하고 있는 상태에서 디스플레이 장치 100가 줌인을 요청하는 사용자 입력에 따라 줌 타입을 확인하고 줌 타입이 광학 줌인 경우에, 줌 렌즈의 초점거리를 조절하여 피사체인 사용자가 프레임에서 확대될 수 있도록 할 수 있다. 따라서 디스플레이 장치 100는 사용자의 모습이 확대된 영상 1211을 얻을 수 있다. 이와 같이 줌인 기능을 실행하는 경우에는 한정된 프레임에서 사용자의 모습이 확대되기 때문에 영상 1211에서는 사용자의 손이 담겨지지 않을 수 있다. 따라서 디스플레이 장치 100는 확대 영상 1211에 대해서 제스쳐 인식 영역을 검출하지 못할 수 있다.

디스플레이 장치 100는 확대 영상 1211에서 별도로 제스쳐 인식 영역을 식별하기 어렵기 때문에 확대 영상 1211에서 송출 영역이나 비송출 영역을 식별하지 않고, 확대 영상 1211 그대로를 영상 통화 상대방 디스플레이 장치 200로 전송할 수 있다. 상대방 디스플레이 장치 200는 디스플레이 장치 100로부터 수신된 확대 영상 1211을 디스플레이에 출력할 수 있다.

디스플레이 장치 100는 확대 영상 1211에서 별도로 제스쳐 인식 영역을 식별하기 어렵기 때문에 제스쳐 인식을 수행할 수 없다. 따라서 디스플레이 장치 100는 제스처 인식 수행 불가로 결정하고, 이를 사용자에게 통지하기 위해 디스플레이에 제스쳐 인식 기능을 종료하는 알림을 출력할 수 있다. 예를 들어 디스플레이 장치 100는 <제스쳐 인식 기능을 종료합니다> 와 같은 메시지 1020를 출력할 수 있다.

일 예에 따라 광학 줌인에 따라 줌인을 하는 경우에도 그 줌인 정도에 따라서 사용자의 손이 확대 영상에 포함되게 될 수도 있다. 따라서 디스플레이 장치 100는 줌인 값이 미리 정해진 임계치 즉, 사용자의 손이 확대 영상에 포함될 수 있는 정도의 임계치를 넘으면, 즉, 줌인에 의해 확대 영상에 사용자의 손이 보여지지 않을 정도라면, 디스플레이 장치 100는 도 11의 동작 1160 및 동작 1170을 수행할 수 있다. 반면, 디스플레이 장치 100는 줌인 값이 미리 정해진 임계치 즉, 사용자의 손이 확대 영상에 포함될 수 있는 정도의 임계치를 넘지 않으면, 즉 줌인에 의해 확대 영상에 사용자의 손이 보여진다면, 디스플레이 장치 100는 동작 1110 내지 동작 1130에서와 같은 제스쳐 인식 기능을 수행할 수 있을 것이다.

다시 도 11로 돌아가서, 동작 1150에서 디스플레이 장치 100가 줌 타입 판단 결과 디지털 줌인 경우에는 동작 1170으로 진행할 수 있다.

동작 1170에서, 디스플레이 장치 100는 영상 통화를 위해 카메라에 의해 촬영된 영상을 확대하여 확대된 영상을 상대방 디스플레이 장치 200로 전송할 수 있다. 디지털 줌인 의 경우에는, 사용자의 영상을 렌즈를 이용하여 광학적으로 확대시키는 것이 아니라, 촬영된 영상을 소프트웨어적으로 확대 처리하는 것이다. 일 실시예에 따라 디스플레이 장치 100는 촬영된 영상 전체를 소프트웨어적으로 확대하여 확대된 영상을 상대방 디스플레이 장치 200로 전송할 수 있다. 일 실시예에 따라 디스플레이 장치 100는 촬영된 영상 영역 중 송출 영역을 소프트웨어적으로 확대하여 확대된 영상을 상대방 디스플레이 장치 200로 전송할 수 있다.

동작 1180에서, 디스플레이 장치 100는 비송출 영역의 적어도 일부인 제스쳐 인식 영역에 대응하는 영상에서 제스쳐 인식을 수행하고 인식된 제스쳐에 대응하는 기능을 수행할 수 있다.

디지털 줌인은 카메라에 의해 촬영된 영상을 소프트웨어적으로 처리하는 것이기 때문에, 디지털 줌인 실행 이후 카메라에 의해 촬영된 영상 자체는 디지털 줌인 실행 전에 카메라에 의해 촬영된 영상과 동일하다. 따라서 디스플레이 장치 100는 카메라에 의해 촬영된 영상에서 비송출 영역의 적어도 일부인 제스쳐 인식 영역에 대응하는 영상에서 제스쳐 인식을 수행하고 인식된 제스쳐에 대응하는 기능을 수행할 수 있다. 도 13을 참조하여 동작 1180 및 동작 1190을 설명한다.

도 13은 일 실시예에 따라 줌 타입이 디지털 줌인 인 경우에 데이터 처리 장치의 동작 방법을 설명하기 위한 참고도이다.

도 13을 참조하면, 디스플레이 장치 100는 영상 통화 기능을 실행하는 동안 카메라를 이용하여 사용자의 영상 1300를 촬영할 수 있다. 이와 같이 촬영하고 있는 상태에서 디스플레이 장치 100가 줌인을 요청하는 사용자 입력에 따라 줌 타입을 확인하고 줌 타입이 디지털 줌인 인 경우에, 디스플레이 장치 100는 사용자의 영상 1300 중 송출 영역 1301에 대응하는 영상을 소프트웨어적으로 확대하여 확대 영상 1311을 얻을 수 있다. 디지털 줌인의 경우 줌 렌즈를 이용하는 방식이 아니고 소프트웨어적으로 처리하는 것이므로 카메라가 촬영하는 사용자의 영상 1300는 디지털 줌인 실행 전에 카메라가 촬영하는 영상과 동일하다. 그리고 디스플레이 장치 100는 확대 영상 1311을 상대방 디스플레이 장치 200로 전송하여 디지털 줌인에 의해 확대된 영상 1311이 상대방 디스플레이 장치 200의 디스플레이에 표시되게 할 수 있다. 다만 이때 디지털 줌인에 의해 확대된 영상 1311은 촬영된 사용자의 영상 1300의 일부를 단순히 프레임의 크기를 확대시키는 처리를 하여 얻어지는 것이기 때문에, 확대 전의 원래의 영상 1300보다 해상도는 많이 떨어질 수 있다.

또한 디스플레이 장치 100는 사용자의 영상 1300에서 제스쳐 인식 영역 1302를 식별하고, 식별된 제스쳐 인식 영역 1302에 대응하는 영상에 대해서 제스쳐 인식을 수행할 수 있다. 그리고 디스플레이 장치 100는 제스쳐 인식 수행 결과 인식된 제스쳐에 대응하는 기능을 수행할 수 있다.

도 14는 일 실시예에 따라 디스플레이 장치가 두개의 카메라를 포함하는 경우의 동작 방법을 설명하기 위한 참고도이다.

도 14를 참조하면, 디스플레이 장치 100는 두개의 카메라, 줌 렌즈가 없는 일반 카메라 162a와 줌 렌즈를 포함하는 줌 카메라 162b를 포함할 수 있다.

일 실시예에 따라 디스플레이 장치 100는 영상 통화 서비스 제공을 위해 일반 카메라 162a를 이용하여 사용자를 촬영하여 사용자의 영상 1400를 얻을 수 있다. 디스플레이 장치 100는 사용자의 영상 1400 중에서 식별된 송출 영역에 대응하는 영상 1410을 상대방 디스플레이 장치 200로 전송하여 영상 통화 화면으로 표시되게 하고, 사용자의 영상 1400 중에서 식별된 제스쳐 인식 영역에 대응하는 영상 1420에 대해서 제스쳐 인식을 수행하여, 제스쳐를 인식하고, 인식된 제스쳐에 대응하는 기능을 수행할 수 있다.

이와 같이 동작하는 동안 줌인을 요청하는 사용자 입력을 수신한 경우, 디스플레이 장치 100는 디스플레이 장치 100는 일반 카메라 162a를 이용하여 사용자를 계속 촬영할 뿐만 아니라 줌 카메라 162b를 이용하여 사용자를 촬영할 수 있다. 줌 카메라 162b는 줌 렌즈의 초점 거리를 조절함으로써 피사체인 사용자가 확대된 영상 1430을 얻을 수 있다. 따라서 디스플레이 장치 100는 사용자의 줌인 실행 요청에 대응해서 줌 카메라 162b를 통해 획득된 확대된 영상 1430을 상대방 디스플레이 장치 200로 전송할 수 있다. 그리고, 제스처 인식 동작은, 일반 카메라 162a를 통해 획득된 사용자의 영상 1400으로부터 제스쳐 인식 영역을 식별하고 식별된 제스쳐 인식 영역에 대응하는 영상 1420에 대해서 제스쳐 인식을 수행하여, 제스쳐를 인식하고, 인식된 제스쳐에 대응하는 기능을 수행할 수 있다.

이와 같이 디스플레이 장치 100가 두개의 카메라 즉 일반 카메라와 줌 카메라를 구비하는 경우에는, 영상 통화 서비스를 제공하면서 제스쳐 인식 기능을 또한 제공하는 경우에, 줌인 실행을 요청하는 사용자 입력에 따라 줌인을 실행하는 경우에도 상대방 디스플레이 장치 200로 전송하는 사용자의 영상의 화질을 떨어뜨리지 않으면서 또한 제스쳐 인식 기능을 제공할 수 있다.

도 15는 일 실시예에 따라 영상 통화 서비스 제공하는 동안 또한 제스쳐 인식 기능을 제공할 수 있는 디스플레이 장치의 사용자 인터페이스의 일 예를 나타낸다.

도 15를 참조하면, 디스플레이 장치 100는 디스플레이의 메인 화면에는 상대방 디스플레이 장치 200로부터 수신한 상대방 사용자의 이미지 1530을 표시하고, 디스플레이의 서브 화면에는 디스플레이 장치 100의 카메라를 이용하여 촬영한 사용자의 이미지 1540를 표시할 수 있다.

또한, 디스플레이 장치 100는 영상 통화 서비스를 제공하는 동안 영상 통화 기능의 제어를 위한 사용자 인터페이스 1520를 제공할 수 있다. 영상 통화 기능의 제어를 위한 사용자 인터페이스 1520는 음소거 아이콘 1521, 음성 통화 아이콘 1522, 및 영상 통화 아이콘 1523을 포함할 수 있다.

또한 디스플레이 장치 100는 제스쳐 인식 기능을 제공하는 경우 사용자에게 이용될 수 있는 제스쳐와 그에 대응하는 기능을 안내하기 위해 제스쳐 가이드 1510를 표시할 수 있다. 제스쳐 가이드 1510은 디스플레이 장치 100의 제스쳐 인식 기능에서 이용가능한 하나 이상의 제스쳐와 각 제스쳐에 대응하는 기능에 대한 정보를 포함할 수 있다. 도 15를 참조하면 제스쳐 가이드 1510은, 제1제스쳐에 대응하여 제1기능, 제2제스쳐에 대응하여 제2기능, 제3제스쳐에 대응하여 제3 기능이 제공됨을 안내하고 있다.

제스쳐 인식 기능에서 이용될 수 있는 제스쳐는 다양한 제스쳐를 포함할 수 있다. 구체적으로 제스쳐는, 손을 이용한 제스쳐, 손가락을 이용한 제스쳐, 손과 팔을 이용한 제스쳐 등을 포함할 수 있다. 예를 들어, 제스쳐는, 손을 흔드는 제스쳐, 주먹을 쥐는 제스쳐, 손을 상하로 이동시키는 제스쳐, 손을 좌우로 이동시키는 제스쳐, 손가락 한 개를 펴는 제스쳐, 손가락 두 개를 펴는 제스쳐, 손가락 세개를 펴는 제스쳐, 손가락 네개를 펴는 제스쳐, 손가락 다섯개를 펴는 제스쳐, 손가락 2개를 X 자 모양으로 만드는 제스쳐, 엄지와 검지 손가락으로 OK 사인을 만드는 제스쳐 등 다양한 제스쳐를 포함할 수 있다.

각 제스쳐에 대응해서 매핑되는 기능은 예를 들어 영상 통화 기능의 제어를 위한 기능, 일반적인 디스플레이 장치의 제어 기능 등을 포함할 수 있다. 영상 통화 기능의 제어를 위한 기능은 음소거 기능, 영상 통화를 음성 통화로 전환하는 기능, 음성 통화를 영상 통화로 전환하는 기능, 또는 사용자 자신의 영상을 보이지 않게 숨기는 기능, 줌인 기능, 줌아웃 기능 등을 포함할 수 있다. 일반적인 디스플레이 장치의 제어 기능은, 예를 들어 디스플레이 장치의 볼륨을 조정하는 기능 등을 포함할 수 있다.

일 실시예에 따라 디스플레이 장치 100가 영상 통화 서비스를 제공하는 경우에도 만약 제스쳐 인식 기능이 실행되지 않는 다면 디스플레이 장치 100는 카메라를 이용하여 촬영된 사용자의 영상에서 송출 영역과 제스쳐 인식 영역을 식별할 필요는 없을 것이다. 따라서 이경우 디스플레이 장치 100는 카메라를 이용하여 촬영된 영상을 그대로 상대방 디스플레이 장치 200로 전송할 수 있다.

일 실시예에 따라 디스플레이 장치 100가 영상 통화 서비스를 제공하는 경우 만약 제스쳐 인식 기능 실행 없이 동작 하다가 제스쳐 인식 기능의 실행을 요청하는 사용자 입력을 수신할 수 있다. 이러한 제스쳐 인식 기능의 실행을 요청하는 사용자 입력에 따라, 디스플레이 장치 100는 카메라를 이용하여 촬영된 사용자의 영상에서 송출 영역과 제스쳐 인식 영역을 식별하는 동작을 포함하여, 이상 본 개시서에서 설명된 바와 같은 동작을 수행할 수 있다.

전술한 바와 같이, 개시된 실시예는, 영상 통화 서비스를 제공하는 동안 제스쳐 인식 기능을 제공하는 경우 사용자의 제스쳐에 의해 사용자들간의 영상 통화가 방해받지 않도록 영상을 처리하여 출력함으로써, 사용자의 만족도 및 사용자의 편리성이 높아질 수 있다.

본 개시의 일 실시예에 따른 디스플레이 장치의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 또한, 본 개시의 실시예는, 디스플레이 장치의 동작 방법을 실행하는 명령어들을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체가 될 수 있다.

상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

여기서, 장치로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.

일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 디스플레이 장치의 동작 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 장치로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 장치로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

구체적으로, 개시된 실시예에 디스플레이 장치의 동작 방법을 수행하도록 하는 프로그램이 저장된 기록매체를 포함하는 컴퓨터 프로그램 제품으로 구현될 수 있다.

이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (19)

1. 디스플레이 장치 (100)에 있어서,
   디스플레이 (120),
   통신부 (110),
   하나 이상의 인스트럭션을 포함하는 메모리 (130), 및
   상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서 (140)를 포함하고,
   상기 프로세서 (140)는 상기 하나 이상의 인스트럭션을 실행함으로써,
   영상 통화를 위해 카메라에 의해 촬영된 영상 영역에서 송출 영역과 제스쳐 인식 영역을 식별하고,
   상기 송출 영역에 대응하는 영상을 영상 통화 서비스 제공을 위해 영상 통화 상대방 디스플레이 장치로 전송하도록 상기 통신부 (110)를 제어하고,
   상기 제스쳐 인식 영역에 대응하는 영상에서 제스쳐 인식을 수행하고, 인식된 제스쳐에 대응하는 기능을 수행하는, 디스플레이 장치.
2. 제1항에 있어서,
   상기 프로세서 (140)는 상기 하나 이상의 인스트럭션을 실행함으로써,
   상기 영상 영역의 미리 정해진 위치에서 상기 제스쳐 인식 영역을 검출하는, 디스플레이 장치.
3. 제1항에 있어서,
   상기 프로세서 (140)는 상기 하나 이상의 인스트럭션을 실행함으로써,
   상기 영상 영역에서 사용자의 손을 검출하고, 상기 손이 검출된 영역에 기반하여 상기 제스쳐 인식 영역을 결정하는, 디스플레이 장치.
4. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 프로세서 (140)는 상기 하나 이상의 인스트럭션을 실행함으로써,
   상기 제스쳐 인식 영역을 조정할 수 있도록 하는 사용자 인터페이스를 제공하고,
   상기 사용자 인터페이스를 통한 사용자 입력에 따라 상기 제스쳐 인식 영역의 조정을 수행하는, 디스플레이 장치.
5. 제1항 내지 제4항 중 어느 한 항에 있어서,
   상기 프로세서 (140)는 상기 하나 이상의 인스트럭션을 실행함으로써,
   상기 영상 통화 서비스를 제공하는 동안 미리 정해진 이벤트에 따라 상기 제스쳐 인식을 수행하고,
   상기 미리 정해진 이벤트는, 제스쳐 인식 기능을 선택하는 사용자 입력 또는 상기 영상 영역에서 임계치를 초과하는 움직임 검출 중 적어도 하나를 포함하는, 디스플레이 장치.
6. 제1항 내지 제5항 중 어느 한 항에 있어서,
   상기 프로세서 (140)는 상기 하나 이상의 인스트럭션을 실행함으로써,
   상기 영상 통화 서비스 제공 중 제스쳐 인식 기능을 제공하는 동안, 줌 인 기능이 실행됨에 따라,
   광학 줌인의 경우, 제스쳐 인식 기능이 종료됨을 안내하는 메시지를 출력하는, 디스플레이 장치.
7. 제1항 내지 제5항 중 어느 한 항에 있어서,
   상기 프로세서 (140)는 상기 하나 이상의 인스트럭션을 실행함으로써,
   상기 영상 통화 서비스 제공 중 제스쳐 인식 기능을 제공하는 동안, 줌 인 기능이 실행됨에 따라,
   디지털 줌인의 경우, 상기 송출 영역에 대응하는 영상을 확대하여 상기 영상 통화 상대방 디스플레이 장치로 전송하도록 상기 통신부를 제어하고, 상기 제스쳐 인식 영역에 대응하는 영상에서 제스쳐 인식을 수행하고, 인식된 제스쳐에 대응하는 기능을 수행하는, 디스플레이 장치.
8. 제1항 내지 제7항 중 어느 한 항에 있어서,
   상기 카메라 (162)는 일반 카메라와 줌 카메라를 포함하고,
   상기 프로세서 (140)는 상기 하나 이상의 인스트럭션을 실행함으로써,
   상기 영상 통화 서비스 제공 중 제스쳐 인식 기능을 제공하는 동안, 줌 인 기능이 실행됨에 따라,
   영상 통화를 위해 상기 영상을 촬영하는 상기 일반 카메라를 확대 영상을 촬영하기 위해 상기 줌 카메라로 전환하는, 디스플레이 장치.
9. 제1항 내지 제8항 중 어느 한 항에 있어서,
   상기 프로세서 (140)는 상기 하나 이상의 인스트럭션을 실행함으로써,
   사용자에게 이용가능한 제스쳐를 안내하기 위해 하나 이상의 제스쳐 및 각 제스쳐에 대응하는 기능을 안내하는 제스쳐 가이드를 제공하는, 디스플레이 장치.
10. 디스플레이 장치 (100)의 동작 방법에 있어서,
    영상 통화를 위해 카메라에 의해 촬영된 영상 영역에서 송출 영역과 제스쳐 인식 영역을 식별하는 동작,
    상기 송출 영역에 대응하는 영상을 영상 통화 서비스 제공을 위해 영상 통화 상대방 디스플레이 장치로 전송하는 동작, 및
    상기 제스쳐 인식 영역에 대응하는 영상에서 제스쳐 인식을 수행하고, 인식된 제스쳐에 대응하는 기능을 수행하는 동작을 포함하는, 디스플레이 장치의 동작 방법.
11. 제10항에 있어서,
    상기 영상 영역의 미리 정해진 위치에서 상기 제스쳐 인식 영역을 식별하는 동작을 더 포함하는, 디스플레이 장치의 동작 방법.
12. 제10항에 있어서,
    상기 영상 영역에서 사용자의 손을 검출하고, 상기 손이 검출된 영역에 기반하여 상기 제스쳐 인식 영역을 결정하는 동작을 더 포함하는, 디스플레이 장치의 동작 방법.
13. 제10항 내지 제12항 중 어느 한 항에 있어서,
    상기 제스쳐 인식 영역을 조정할 수 있도록 하는 사용자 인터페이스를 제공하는 동작, 및
    상기 사용자 인터페이스를 통한 사용자 입력에 따라 상기 제스쳐 인식 영역의 조정을 수행하는 동작을 더 포함하는, 디스플레이 장치의 동작 방법.
14. 제10항 내지 제13항 중 어느 한 항에 있어서,
    상기 영상 통화 서비스를 제공하는 동안 미리 정해진 이벤트에 따라 상기 제스쳐 인식을 수행하는 동작을 더 포함하고,
    상기 미리 정해진 이벤트는, 제스쳐 인식 기능을 선택하는 사용자 입력 또는 상기 영상 영역에서 임계치를 초과하는 움직임 검출 중 적어도 하나를 포함하는, 디스플레이 장치의 동작 방법.
15. 제10항 내지 제14항 중 어느 한 항에 있어서,
    상기 영상 통화 서비스 제공 중 제스쳐 인식 기능을 제공하는 동안, 줌 인 기능이 실행됨에 따라, 광학 줌인의 경우, 제스쳐 인식 기능이 종료됨을 안내하는 메시지를 출력하는 동작을 더 포함하는, 디스플레이 장치의 동작 방법.
16. 제10항 내지 제14항 중 어느 한 항에 있어서,
    상기 영상 통화 서비스 제공 중 제스쳐 인식 기능을 제공하는 동안, 줌 인 기능이 실행됨에 따라, 디지털 줌인의 경우, 상기 송출 영역에 대응하는 영상을 확대하여 상기 영상 통화 상대방 디스플레이 장치로 전송하고, 상기 제스쳐 인식 영역에 대응하는 영상에서 제스쳐 인식을 수행하고, 인식된 제스쳐에 대응하는 기능을 수행하는 동작을 더 포함하는, 디스플레이 장치의 동작 방법.
17. 제10항 내지 제16항 중 어느 한 항에 있어서,
    상기 카메라는 일반 카메라와 줌 카메라를 포함하고,
    상기 영상 통화 서비스 제공 중 제스쳐 인식 기능을 제공하는 동안, 줌 인 기능이 실행됨에 따라, 영상 통화를 위해 상기 영상을 촬영하는 상기 일반 카메라를 확대 영상을 촬영하기 위해 상기 줌 카메라로 전환하는 동작을 더 포함하는, 디스플레이 장치의 동작 방법.
18. 제10항 내지 제17항 중 어느 한 항에 있어서,
    사용자에게 이용가능한 제스쳐를 안내하기 위해 하나 이상의 제스쳐 및 각 제스쳐에 대응하는 기능을 안내하는 제스쳐 가이드를 제공하는 동작을 더 포함하는, 디스플레이 장치의 동작 방법.
    
19. 제10항 내지 제18항 중 어느 한 항의 방법을 수행하도록 하는 프로그램이 저장된 하나 이상의 컴퓨터로 읽을 수 있는 기록 매체.
    

Images