KR20190107623A

KR20190107623A - 사이니지 장치 및 이의 동작 방법

Info

Publication number: KR20190107623A
Application number: KR1020190108404A
Authority: KR
Inventors: 이근상; 이준민; 김영만; 이인호
Original assignee: 엘지전자 주식회사
Priority date: 2019-09-02
Filing date: 2019-09-02
Publication date: 2019-09-20
Also published as: US20200020259A1

Abstract

5G 환경에서, 터치 외에, 음성 인식이 가능한 사이니지 장치 및 이의 동작 방법이 개시된다. 본 발명의 일 실시예에 따른 사이니지 장치는 음성을 인식하는 사이니지 장치로서, 디스플레이 패널의 양쪽 측면에 각각 설치된 좌측 마이크 그룹 및 우측 마이크 그룹과, 상기 디스플레이 패널을 기준으로 설정된 거리 내에 위치하는 사용자를 감지하고, 상기 사용자의 위치를 확인하는 감지부와, 상기 사용자의 위치에 기초하여, 상기 좌측 마이크 그룹 및 상기 우측 마이크 그룹에 대한 배치를 각각 조정하는 조정부를 포함하고, 상기 좌측 마이크 그룹 및 상기 우측 마이크 그룹 각각은, 상기 디스플레이 패널과 상대적으로 가까운 거리에 위치하는 제1 마이크 및 상기 디스플레이 패널과 상대적으로 먼 거리에 위치하는 제2 마이크를 포함할 수 있다.

Description

사이니지 장치 및 이의 동작 방법{SIGNAGE APPARATUS AND METHOD FOR OPERATING THEREOF}

본 발명은 터치(touch) 외에, 음성 인식이 가능한 사이니지 장치 및 이의 동작 방법에 관한 것이다.

사이니지 장치는 공공 장소(예컨대, 지하철 내)나 또는 상업 공간(예컨대, 쇼핑몰)에 설치되어, 다양한 콘텐츠, 상업 광고 등을 제공하는 매체이다.

이러한 사이니지 장치는 초기에 단순한 대형 전광판, 지하철이나 버스 내의 LCD 동영상, 역사 내 PDP 광고 및 DID(Digital Information Display) 등이 주를 이루었다.

최근의 사이니지 장치는 단순한 정보의 제공 및 광고의 노출 기능을 넘어서, 터치패드 기술과 초고속 인터넷 기술 등에 힘입어 일반 대중들의 참여를 유도할 수 있는 양방향 커뮤니케이션(interactive communication)을 가능케 하는 방향으로 진화하였다.

한편, 사용자는 사이니지 장치 이용시, 터치 인식 방식을 통해 원하는 정보를 검색할 수 있으나, 스마트 기기(예컨대, 스마트 폰, 인공지능 스피커 등)에서의 음성 활용도 및 사용 빈도가 높아짐에 따라, 음성 서비스에 대한 편리함을 느끼게 되어, 사이니지 장치 이용시에도, 음성 인식 방식을 활용하고자 하는 요구가 증가하고 있다.

한편, 선행기술 1은 음향을 감지하고, 상기 감지된 음향으로부터 키워드를 생성한 후, 상기 키워드에 대응하는 광고 콘텐츠를 표시하는 사이니지 장치를 개시하고 있다. 또한, 선행기술 2는 입력된 음성데이터에 매칭되는 컨텐츠를 표시하는 사이니지 장치를 개시하고 있다.

그러나, 선행기술 1 및 선행기술 2는 사이니지 장치에서, 음성을 인식하고, 인식한 음성에 관한 컨텐츠를 제공할 수는 있으나, 주변 소음 또는 각 사용자 마다 위치가 상이 함에 따라, 사용자의 음성을 정확히 인식하는 데에는 한계가 있다.

따라서, 사용자의 음성을 정확히 인식하여, 사용자가 원하는 서비스 정보를 제공할 수 있는 기술이 필요하다.

선행기술 1: 한국 공개특허공보 제10-2017-0130244호 선행기술 2: 한국 공개특허공보 제10-2016-0027576호

본 발명의 일 실시예는, 디스플레이 패널의 양쪽 측면에 각각 설치된 좌측 마이크 그룹 내 제1,2 마이크 및 우측 마이크 그룹 내 1,2 마이크에 대한 배치를, 사용자의 위치에 기초하여 조정하고, 상기 조정된 좌측 마이크 그룹 및 우측 마이크 그룹을 통해 각각 획득한 주변 소리로부터, 신호 처리 과정(예컨대, T-F(Time Frequency) 변환, 음원 분리, 빔포밍(beamforming), 잡음 제거)을 통해, 음질이 개선된 음성 신호를 추출 함으로써, 음성을 정확히 인식할 수 있는 사이니지 장치 및 방법을 제공하는데 목적이 있다.

본 발명의 일 실시예는, 디스플레이 패널의 양쪽 측면에 좌측 마이크 그룹으로서, 제1 지향성 마이크를 설치하고, 우측 마이크 그룹으로서, 제2 지향성 마이크를 설치 함으로써, 이격 거리가 필요한 무지향성의 제1,2 마이크를 설치할 때 보다, 마이크가 설치되는 공간을 줄임에 따라 사이니지 장치의 너비를 감소시킬 수 있고, 제1 및 제2 지향성 마이크를 통해 획득한 주변 소리로부터 음성 신호를 추출하는 신호 처리 과정을 단순화시키면서도, 사용자의 음성을 정확히 인식하는 것을 목적으로 한다.

또한, 본 발명의 일 실시예는, 디스플레이 패널로부터 사용자의 위치까지의 거리(즉, 발화거리) 및 디스플레이 패널의 너비 중 적어도 하나의 정보에 기초하여, 디스플레이 패널의 양쪽 측면에 설치된 마이크에 대한 배치를 조정 함으로써, 사용자의 위치가 매번 변하거나, 디스플레이 패널의 너비가 다양하게 제작되더라도, 사용자의 음성을 정확히 인식하는 것을 목적으로 한다.

본 발명의 일 실시예는, 디스플레이 패널의 양쪽 측면에 각각 설치된 좌측 마이크 그룹 및 우측 마이크 그룹과, 상기 디스플레이 패널을 기준으로 설정된 거리 내에 위치하는 사용자를 감지하고, 상기 사용자의 위치를 확인하는 감지부와, 상기 사용자의 위치에 기초하여, 상기 좌측 마이크 그룹 및 상기 우측 마이크 그룹에 대한 배치를 각각 조정하는 조정부를 포함하고, 상기 좌측 마이크 그룹 및 상기 우측 마이크 그룹 각각은, 상기 디스플레이 패널과 상대적으로 가까운 거리에 위치하는 제1 마이크 및 상기 디스플레이 패널과 상대적으로 먼 거리에 위치하는 제2 마이크를 포함하는, 사이니지 장치일 수 있다.

본 발명의 일 실시예는, 상기 조정부가, 설정된 간격으로 이격되어 동일한 높이에 설치된, 상기 제1 마이크 및 상기 제2 마이크를 연결하여 제1 가상 선을 생성하고, 상기 제1 가상 선의 중심과 상기 사용자의 위치를 연결하여 제2 가상 선을 생성하며, 상기 제1 가상 선과 상기 제2 가상 선이 직각이 되도록, 상기 제1 마이크와 상기 제2 마이크의 배치를 조정하는, 사이니지 장치일 수 있다.

본 발명의 일 실시예는, 상기 조정부가, 상기 제1 마이크와 상기 제2 마이크의 배치 조정에 따라, 상기 디스플레이 패널의 측면 방향과 상기 제1 가상 선이 이루는 배치 각도를 결정하되, 상기 디스플레이 패널의 너비가 넓을수록 상기 배치 각도를 크게 결정하고, 상기 디스플레이 패널로부터 상기 사용자의 위치까지의 거리가 멀수록 상기 배치 각도를 작게 결정하는, 사이니지 장치일 수 있다.

본 발명의 일 실시예는, 상기 제1 마이크 및 제2 마이크가, 무지향성 마이크인, 사이니지 장치일 수 있다.

본 발명의 일 실시예는, 상기 좌측 마이크 그룹 및 우측 마이크 그룹 각각의 제1 마이크를 통해 획득한 시간 영역의 제1 주변 소리, 및 상기 좌측 마이크 그룹 및 우측 마이크 그룹 각각의 제2 마이크를 통해 획득한 시간 영역의 제2 주변 소리를 주파수 영역으로 변환하는 변환부를 더 포함하는, 사이니지 장치일 수 있다.

본 발명의 일 실시예는, 상기 주파수 영역으로 변환된 각각의 제1 주변 소리를 입력받고, 상기 입력된 각각의 제1 주변 소리로부터 제1 음성 신호와 상기 제1 음성 신호를 제외한 나머지 신호로 분리하는 제1 음원 분리부와, 상기 주파수 영역으로 변환된 각각의 제2 주변 소리를 입력받고, 상기 입력된 각각의 제2 주변 소리로부터 제2 음성 신호와 상기 제2 음성 신호를 제외한 나머지 신호로 분리하는 제2 음원 분리부를 더 포함하는, 사이니지 장치일 수 있다.

본 발명의 일 실시예는, 상기 제1 음원 분리부에서 분리된 제1 음성 신호와 상기 제2 음원 분리부에서 분리된 제2 음성 신호를, 상기 사용자의 위치에 기초하여 빔포밍하는 빔포밍부를 더 포함하는, 사이니지 장치일 수 있다.

본 발명의 일 실시예는, 상기 빔포밍부에서 출력되는 음성 신호에서 잡음을 제거하는 잡음 제거부를 더 포함하는, 사이니지 장치일 수 있다.

본 발명의 일 실시예는, 상기 좌측 마이크 그룹은 제1 지향성 마이크이고, 상기 우측 마이크 그룹은 제2 지향성 마이크이며, 상기 조정부가, 상기 제1 지향성 마이크 및 상기 제2 지향성 마이크의 각 방향이, 상기 사용자의 위치에 향하도록 상기 제1 및 제2 지향성 마이크를 조정하는, 사이니지 장치일 수 있다.

본 발명의 일 실시예는, 상기 제1 지향성 마이크 및 상기 제2 지향성 마이크를 통해 각각 획득한 시간 영역의 주변 소리를 주파수 영역으로 변환하는 변환부와, 상기 주파수 영역으로 변환된 각각의 주변 소리로부터 음성 신호와 상기 음성 신호를 제외한 나머지 신호로 분리하는 음원 분리부와, 상기 음성 신호에서 잡음을 제거하는 잡음 제거부를 더 포함하는, 사이니지 장치일 수 있다.

본 발명의 일 실시예는, 상기 디스플레이 패널을 통해 상기 사용자로부터 터치(touch)를 입력받거나, 또는 상기 좌측 마이크 그룹 및 상기 우측 마이크 그룹을 통해, 획득한 주변 소리로부터 상기 사용자의 음성 신호가 추출되면, 상기 터치 또는 상기 음성 신호에 대응하는 서비스 정보를 메모리로부터 검색하여, 상기 디스플레이 패널을 통해 제공하는 제어부를 더 포함하는, 사이니지 장치일 수 있다.

본 발명의 일 실시예는, 상기 터치가 입력되는 시점과 상기 음성 신호가 추출되는 시점 간의 차이가, 설정된 시간 미만일 경우, 상기 제어부가, 상기 터치를 무시하고, 상기 음성 신호에 대응하는 서비스 정보를 제공하는, 사이니지 장치일 수 있다.

본 발명의 일 실시예는, 음성을 인식하는 사이니지 장치의 동작 방법으로서, 디스플레이 패널을 기준으로 설정된 거리 내에 위치하는 사용자를 감지하고, 상기 사용자의 위치를 확인하는 단계와, 상기 사용자의 위치에 기초하여, 상기 디스플레이 패널의 양쪽 측면에 각각 설치된 좌측 마이크 그룹 및 우측 마이크 그룹에 대한 배치를 각각 조정하는 단계를 포함하고, 상기 좌측 마이크 그룹 및 상기 우측 마이크 그룹 각각은, 상기 디스플레이 패널과 상대적으로 가까운 거리에 위치하는 무지향성의 제1 마이크 및 상기 디스플레이 패널과 상대적으로 먼 거리에 위치하는 무지향성의 제2 마이크를 포함하는, 사이니지 장치의 동작 방법일 수 있다.

본 발명의 일 실시예는, 상기 조정하는 단계가, 설정된 간격으로 이격되어 동일한 높이에 설치된, 상기 제1 마이크 및 상기 제2 마이크를 연결하여 제1 가상 선을 생성하는 단계와, 상기 제1 가상 선의 중심과 상기 사용자의 위치를 연결하여 제2 가상 선을 생성하는 단계와, 상기 제1 가상 선과 상기 제2 가상 선이 직각이 되도록, 상기 제1 마이크와 상기 제2 마이크의 배치를 조정하는 단계를 포함하는, 사이니지 장치의 동작 방법일 수 있다.

본 발명의 일 실시예는, 상기 조정하는 단계가, 상기 제1 마이크와 상기 제2 마이크의 배치 조정에 따라, 상기 디스플레이 패널의 측면 방향과 상기 제1 가상 선이 이루는 배치 각도를 결정하는 단계를 더 포함하고, 상기 배치 각도를 결정하는 단계가, 상기 디스플레이 패널의 너비가 넓을수록 상기 배치 각도를 크게 결정하고, 상기 디스플레이 패널로부터 상기 사용자의 위치까지의 거리가 멀수록 상기 배치 각도를 작게 결정하는 단계를 포함하는, 사이니지 장치의 동작 방법일 수 있다.

본 발명의 일 실시예는, 상기 배치를 각각 조정하는 단계 이후, 상기 좌측 마이크 그룹 및 우측 마이크 그룹 각각의 제1 마이크를 통해 획득한 시간 영역의 제1 주변 소리, 및 상기 좌측 마이크 그룹 및 우측 마이크 그룹 각각의 제2 마이크를 통해 획득한 시간 영역의 제2 주변 소리를 주파수 영역으로 변환하는 단계를 더 포함하는, 사이니지 장치의 동작 방법일 수 있다.

본 발명의 일 실시예는, 상기 주파수 영역으로 변환된 각각의 제1 주변 소리로부터 제1 음성 신호와 상기 제1 음성 신호를 제외한 나머지 신호로 분리하는 단계와, 상기 주파수 영역으로 변환된 각각의 제2 주변 소리로부터 제2 음성 신호와 상기 제2 음성 신호를 제외한 나머지 신호로 분리하는 단계를 더 포함하는, 사이니지 장치의 동작 방법일 수 있다.

본 발명의 일 실시예는, 상기 제1 음성 신호와 상기 제2 음성 신호를, 상기 사용자의 위치에 기초하여 빔포밍하는 단계와, 상기 빔포밍된 결과로서 출력되는 음성 신호에서 잡음을 제거하는 단계를 더 포함하는, 사이니지 장치의 동작 방법일 수 있다.

본 발명의 일 실시예는, 상기 좌측 마이크 그룹은 제1 지향성 마이크이고, 상기 우측 마이크 그룹은 제2 지향성 마이크일 경우, 상기 제1 지향성 마이크 및 상기 제2 지향성 마이크의 각 방향이, 상기 사용자의 위치에 향하도록 상기 제1 및 제2 지향성 마이크를 조정하는 단계를 더 포함하는, 사이니지 장치의 동작 방법일 수 있다.

본 발명의 일 실시예는, 상기 제1 지향성 마이크 및 상기 제2 지향성 마이크를 통해 각각 획득한 시간 영역의 주변 소리를 주파수 영역으로 변환하는 단계와, 상기 주파수 영역으로 변환된 각각의 주변 소리로부터 음성 신호와 상기 음성 신호를 제외한 나머지 신호로 분리하는 단계와, 상기 음성 신호에서 잡음을 제거하는 단계를 더 포함하는, 사이니지 장치의 동작 방법일 수 있다.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램이 저장된 컴퓨터로 판독 가능한 기록매체가 더 제공될 수 있다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.

본 발명에 의하면, 디스플레이 패널의 양쪽 측면에 각각 설치된 좌측 마이크 그룹 내 제1,2 마이크 및 우측 마이크 그룹 내 1,2 마이크에 대한 배치를, 사용자의 위치에 기초하여 조정하고, 상기 조정된 좌측 마이크 그룹 및 우측 마이크 그룹을 통해 각각 획득한 주변 소리로부터, 신호 처리 과정(예컨대, T-F 변환, 음원 분리, 빔포밍, 잡음 제거)을 통해, 음질이 개선된 음성 신호를 추출 함으로써, 음성을 정확히 인식할 수 있다.

본 발명에 따르면, 디스플레이 패널의 양쪽 측면에 좌측 마이크 그룹으로서, 제1 지향성 마이크를 설치하고, 우측 마이크 그룹으로서, 제2 지향성 마이크를 설치 함으로써, 이격 거리가 필요한 제1,2 마이크를 설치할 때 보다, 마이크가 설치되는 공간을 줄임에 따라 사이니지 장치의 너비를 감소시킬 수 있고, 제1 및 제2 지향성 마이크를 통해 획득한 주변 소리로부터 음성 신호를 추출하는 신호 처리 과정을 단순화시키면서도, 사용자의 음성을 정확히 인식할 수 있다.

또한, 본 발명에 의하면, 디스플레이 패널로부터 사용자의 위치까지의 거리(즉, 발화거리) 및 디스플레이 패널의 너비 중 적어도 하나의 정보에 기초하여, 디스플레이 패널의 양쪽 측면에 설치된 마이크에 대한 배치를 조정 함으로써, 사용자의 위치가 매번 변하거나, 디스플레이 패널의 너비가 다양하게 제작되더라도, 사용자의 음성을 정확히 인식할 수 있다.

도 1은 본 발명의 일 실시예에 따른 사이니지 장치, 사용자 단말, 서버 및 이들을 서로 연결하는 네트워크를 포함하는 사이니지 장치의 구동 환경의 예시도이다.
도 2는 본 발명의 일 실시예에 따른 사이니지 장치의 구성을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 사이니지 장치 내 음성 인식부의 구성에 대한 일례를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 사이니지 장치 내 마이크 배치에 대한 일례를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 사이니지 장치에서 음성을 처리하는 과정에 대한 일례를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 사이니지 장치 내 음성 인식부의 구성에 대한 다른 일례를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 사이니지 장치 내 마이크 배치에 대한 다른 일례를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 사이니지 장치에서 음성을 처리하는 과정에 대한 일례를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 사이니지 장치에서 서비스 정보를 제공하는 일례를 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 사이니지 장치의 동작 방법을 나타내는 흐름도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 일 실시예에 따른 사이니지 장치, 사용자 단말, 서버 및 이들을 서로 연결하는 네트워크를 포함하는 사이니지 장치의 구동 환경의 예시도이다.

도 1을 참조하면, 사이니지 장치의 구동 환경(100)은 사이니지 장치(110), 사용자 단말(120), 서버(130) 및 네트워크(140)를 포함할 수 있다.

사이니지(signage) 장치(110)는 예컨대, 다양한 장소(예컨대, 터미널, 관공서, 버스 정류장, 백화점, 지하철, 공항, 호텔, 병원, 영화관, 식당, 쇼핑몰, 상점 등 유동 인구가 많거나, 사람들이 일정 시간 머무르는 장소)에 설치될 수 있으며, 사용자로부터 검색 명령을 수신하면, 상기 검색 명령에 대응하는 서비스 정보(예컨대, 날씨, 교통, 광고, 주변에 관한 관광지, 맛집, 은행, 병원, 결제 등에 관한 정보)를 제공할 수 있다. 예컨대, 사이니지 장치(110)는 디스플레이 패널을 통해 사용자로부터 터치를 입력받거나, 또는 사용자로부터 음성 신호를 획득하면, 상기 터치 또는 음성 신호에 대응하는 서비스 정보를 제공할 수 있다. 상기 음성 신호 획득 시, 사이니지 장치(110)는 디스플레이 패널의 양쪽 측면에 설치된 마이크를 이용하여, 주변 소리를 획득할 수 있으며, 상기 획득한 주변 소리로부터 사용자의 음성 신호를 추출할 수 있다.

사이니지 장치(110)는 터치(또는, 음성 신호)에 대응하는 서비스 정보를 내부 메모리에서 검색하여 디스플레이 패널을 통해 제공하거나, 또는 터치(또는, 음성 신호)에 대응하는 서비스 정보를 서버(130)에 요청하고, 상기 요청에 대한 응답으로서 서버(130)로부터 수신한 서비스 정보를 디스플레이 패널을 통해 제공할 수 있다.

또한, 사이니지 장치(110)는 사용자 단말(120)로부터의 서비스 정보 요청에 연동하여, 네트워크를 통해 사용자 단말(120)에 제공 함으로써, 사용자가 서비스 정보를 기억하거나, 별도로 메모할 필요없이, 상기 제공된 서비스 정보를 쉽게 활용할 수 있게 한다.

사용자 단말(120)은 사용자가 소지한 단말로서, 예컨대, 스마트폰, 노트북, 태블릿 PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱, 미디어 플레이어, 전자책 단말기, 디지털방송용 단말기, 네비게이션, MP3 플레이어, 디지털 카메라, 가전기기 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다. 또한, 사용자 단말(120)은 통신 기능 및 데이터 프로세싱 기능을 구비한 시계, 안경, 헤어 밴드 및 반지 등의 웨어러블 단말기일 수 있다. 사용자 단말(120)은 상술한 내용에 제한되지 아니하며, 웹 브라우징이 가능한 단말기는 제한 없이 차용될 수 있다.

서버(130)는 각종 인공 지능 알고리즘을 적용하는데 필요한 빅데이터와, 상기 빅테이터에 기초하여 다양한 서비스 정보를 제공하는 데이터베이스 서버일 수 있다. 서버(130)는 사이니지 장치(110)로부터 상기 터치 또는 상기 음성 신호에 대응하는 서비스 정보가 요청되면, 상기 터치 및 음성 신호를 분석하고, 인공 지능 알고리즘을 이용하여, 상기 분석 결과와 연관된 서비스 정보를 획득하며, 상기 획득한 서비스 정보를 사이니지 장치(110)에 제공할 수 있다.

여기서, 인공 지능(artificial intelligence, AI)은, 인간의 지능으로 할 수 있는 사고, 학습, 자기계발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보기술의 한 분야로, 컴퓨터가 인간의 지능적인 행동을 모방할 수 있도록 하는 것을 의미할 수 있다.

또한, 인공 지능은 그 자체로 존재하는 것이 아니라, 컴퓨터 과학의 다른 분야와 직간접적으로 많은 관련을 맺고 있다. 특히 현대에는 정보기술의 여러 분야에서 인공 지능적 요소를 도입하여, 그 분야의 문제 풀이에 활용하려는 시도가 매우 활발하게 이루어지고 있다.

머신 러닝(machine learning)은 인공 지능의 한 분야로, 컴퓨터에 명시적인 프로그램 없이 배울 수 있는 능력을 부여하는 연구 분야를 포함할 수 있다. 구체적으로 머신 러닝은, 경험적 데이터를 기반으로 학습을 하고 예측을 수행하고 스스로의 성능을 향상시키는 시스템과 이를 위한 알고리즘을 연구하고 구축하는 기술이라 할 수 있다. 머신 러닝의 알고리즘들은 엄격하게 정해진 정적인 프로그램 명령들을 수행하는 것이라기보다, 입력 데이터를 기반으로 예측이나 결정을 이끌어내기 위해 특정한 모델을 구축하는 방식을 취할 수 있다.

네트워크(140)는 사이니지 장치(110), 사용자 단말(120) 및 서버(130)를 연결하는 수행할 수 있다. 이러한 네트워크(140)는 예컨대 LANs(local area networks), WANs(Wide area networks), MANs(metropolitan area networks), ISDNs(integrated service digital networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 또한 네트워크(140)는 근거리 통신 및/또는 원거리 통신을 이용하여 정보를 송수신할 수 있다. 여기서 근거리 통신은 블루투스(bluetooth), RFID(radio frequency identification), 적외선 통신(IrDA, infrared data association), UWB(ultra-wideband), ZigBee, Wi-Fi(Wireless fidelity) 기술을 포함할 수 있고, 원거리 통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 기술을 포함할 수 있다.

네트워크(140)는 허브, 브리지, 라우터, 스위치 및 게이트웨이와 같은 네트워크 요소들의 연결을 포함할 수 있다. 네트워크(140)는 인터넷과 같은 공용 네트워크 및 안전한 기업 사설 네트워크와 같은 사설 네트워크를 비롯한 하나 이상의 연결된 네트워크들, 예컨대 다중 네트워크 환경을 포함할 수 있다. 네트워크(140)에의 액세스는 하나 이상의 유선 또는 무선 액세스 네트워크들을 통해 제공될 수 있다. 더 나아가 네트워크(140)는 사물 등 분산된 구성 요소들 간에 정보를 주고받아 처리하는 IoT(Internet of Things, 사물인터넷) 망 및/또는 5G 통신을 지원할 수 있다.

도 2는 본 발명의 일 실시예에 따른 사이니지 장치의 구성을 도시한 도면이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 사이니지 장치(200)는 디스플레이 패널(210), 음성 인식부(220), 제어부(230), 메모리(240) 및 통신부(250)를 포함할 수 있다.

디스플레이 패널(210)은 입력 또는 출력 인터페이스 기능을 수행할 수 있으며, 예컨대, 사용자로부터 터치를 입력받으면, 제어부(230)의 제어에 따라 상기 터치에 대응하는 서비스 정보를 출력할 수 있다. 또한, 디스플레이 패널(210)은 예컨대, 음성 인식부(220)를 통해 음성 신호가 인식되면, 제어부(230)의 제어에 따라 상기 음성 신호에 대응하는 서비스 정보를 출력할 수 있다.

음성 인식부(220)는 소리 입력부(221), 감지부(222), 조정부(223) 및 신호 처리부(224)를 포함할 수 있다.

소리 입력부(221)는 디스플레이 패널(210)의 양쪽 측면에, 각각 배치된 마이크(예컨대, 복수의 무지향성 마이크, 또는 하나의 지향성 마이크)를 포함할 수 있다. 여기서, 소리 입력부(221)는 예컨대, 사이니지 장치(200)의 프레임 내부에 위치하되, 주변소리를 보다 잘 획득할 수 있도록 소리 입력부(221) 내 마이크의 일부가 외부에 노출될 수 있다. 또한, 소리 입력부(221)는 예컨대, 사이니지 장치(200)의 프레임 내부에 위치할 수 있으나, 이에 한정되지 않고, 사이니지 장치(200)의 프레임 외부에 위치할 수도 있다.

감지부(222)는 디스플레이 패널(210)을 기준으로 설정된 거리 내에 위치하는 사용자를 감지하고, 상기 사용자의 위치를 확인할 수 있다.

조정부(223)는 소리 입력부(221) 내 마이크를 상기 사용자의 위치 방향으로 조정할 수 있다.

신호 처리부(224)는 조정된 소리 입력부(221) 내 마이크를 통해 주변 소리를 획득하고, 상기 주변 소리로부터 음성 신호를 분리할 수 있다. 이때, 음성 신호는 키워드, 문장 등을 포함할 수 있다.

제어부(230)는 사용자로부터 검색 명령(또는, 정보 요청 명령)을 수신하는 방법으로서, 디스플레이 패널(210)을 통해 사용자로부터 터치를 입력받는 터치 인식 방식 및 음성 인식부(220)를 통해 사용자로부터 음성 신호를 획득하는 음성 인식 방식을 사용할 수 있다. 이때, 제어부(230)는 검색 명령을 수신하는 방법으로서, 디폴트(default)로 음성 인식 방식을 설정할 수 있으나, 이에 한정되지 않는다. 예컨대, 제어부(230)는 디폴트로, 터치 인식 방식을 설정하거나, 또는 음성 인식 방식과 터치 인식 방식을 모두 설정할 수도 있다.

이러한, 제어부(230)는 디스플레이 패널(210)을 통해 사용자로부터 터치를 입력받거나, 또는 음성 인식부(220)를 통해 음성 신호를 획득하면, 입력된 터치 또는 획득된 음성 신호에 대응하는 서비스 정보(예컨대, 날씨, 교통, 광고, 주변에 관한 관광지, 맛집, 은행, 병원, 결제 등에 관한 정보 등)를 메모리(240)로부터 검색하거나, 또는 통신부(250)를 통해 서버로부터 획득하여 디스플레이 패널(210)을 통해 제공할 수 있다. 예컨대, 제어부(230)는 음성 인식부(220)를 통해 획득된 음성 신호가 '주변 맛집 정보를 알려줘'이면, 사용자의 위치를 기준으로 설정된 범위에 위치하는 맛집 정보를 메모리(240)로부터 검색하거나, 또는 통신부(250)를 통해 서버로부터 획득하여 디스플레이 패널(210)을 통해 제공할 수 있다.

제어부(230)는 검색 명령을 수신하는 방법으로서, 음성 인식 방식과 터치 인식 방식을 모두 사용하는 경우, 상기 터치가 입력되는 시점과 상기 음성 신호가 추출되는 시점 간의 차이가, 설정된 시간 미만이면, 설정된 기준(예컨대, 설정된 우선순위가 높은 인식 방식)에 따라 터치 또는 음성 신호에 대응하는 서비스 정보를 제공할 수 있다.

제어부(230)는 예컨대, 음성 인식 방식이 터치 인식 방식 보다 우선순위가 높게 설정된 경우, 상기 터치가 입력되는 시점과 상기 음성 신호가 추출되는 시점 간의 차이가, 설정된 시간(예컨대, 1초) 미만이면, 상기 터치를 무시하고, 상기 음성 신호에 대응하는 서비스 정보를 제공할 수 있다.

또한, 제어부(230)는 통신부(250)를 통해, 상기 서비스 정보를 사용자가 소지하는 사용자 단말에 제공 함으로써, 상기 서비스 정보를 쉽게 활용할 수 있게 한다. 이때, 제어부(230)는 예컨대, 근거리 통신 또는 이동통신 네트워크를 통해, 사용자 단말의 식별정보(예컨대, 사용자 단말의 제품번호, 사용자 단말의 전화번호)를 수신할 수 있으며, 상기 식별정보를 이용하여 사용자 단말을 인식하고, 인식된 사용자 단말로 상기 서비스 정보를 제공할 수 있다.

한편, 제어부(230)는 다른 일례로서, 소리 입력부(221) 내 마이크의 배치(예컨대, 설정된 배치 각도, 조정 각도)가 고정되면, 고정된 마이크에 대응하는 사용자의 위치에 대한 정보를 출력부(도시하지 않음)(예컨대, 디스플레이 패널, 스피커, 또는 레이저빔)를 통해 제공할 수 있다. 이때, 제어부(230)는 예컨대, 스피커를 통해 사용자의 현재 위치를 이동(발화거리를 조정하도록 위치를 이동시킴)하도록 안내하거나, 또는 레이저빔을 통해 가장 적합한 위치를 표시할 수 있다.

또한, 제어부(230)는 신호 처리부(224)에서 음성 신호를 정확히 추출할 수 없는 경우(예컨대, 음성 신호의 세기가 설정치(또는, 주변 잡음의 세기) 보다 작을 경우, 또는 발음이 정확하지 않음에 따라, 음성 신호를 식별할 수 없을 경우), 출력부를 통해, 음성을 크게 말하도록 하거나, 또는 정확한 발음의 음성을 말하도록 안내할 수 있다.

메모리(240)는 다양한 서비스 정보를 저장할 수 있다. 이러한 메모리(240)는 제어부(230)의 제어에 따라, 서버로부터 획득되는 서비스 정보에 기초하여, 주기적으로 업데이트될 수 있다.

통신부(250)는 제어부(230)의 제어에 따라, 서버 또는 사용자 단말과 통신할 수 있다.

도 3은 본 발명의 일 실시예에 따른 사이니지 장치 내 음성 인식부의 구성에 대한 일례를 도시한 도면이다.

도 3을 참조하면, 음성 인식부(300)는 소리 입력부(310), 감지부(320), 조정부(330) 및 신호 처리부(340)를 포함할 수 있다.

소리 입력부(310)는 예컨대, 좌측 마이크 그룹 및 우측 마이크 그룹을 포함할 수 있다. 이때, 좌측 마이크 그룹 및 우측 마이크 그룹은 디스플레이 패널의 양쪽 측면에 배치될 수 있다. 여기서, 상기 좌측 마이크 그룹 및 상기 우측 마이크 그룹 각각은, 상기 디스플레이 패널과 상대적으로 가까운 거리에 위치하는 제1 마이크 및 상기 디스플레이 패널과 상대적으로 먼 거리에 위치하는 제2 마이크를 포함할 수 있다. 여기서, 제1 마이크 및 제2 마이크는 무지향성 마이크일 수 있다. 또한, 제1 마이크 및 제2 마이크는 설정된 거리(예컨대, 6㎝) 만큼 이격될 수 있으며, 디스플레이 패널의 동일한 높이에 설치될 수 있다.

또한, 상기 좌측 마이크 그룹 및 상기 우측 마이크 그룹 각각은 두 개의 제1,2 마이크를 포함하고 있으나, 이에 한정되지 않으며 그 이상의 마이크를 포함할 수도 있다.

감지부(320)는 디스플레이 패널을 기준으로 설정된 거리 내에 위치하는 사용자를 감지하고, 상기 사용자의 위치(예컨대, 디스플레이 패널과의 거리, 방향 등)를 확인할 수 있다.

조정부(330)는 상기 사용자의 위치에 기초하여, 상기 좌측 마이크 그룹 및 상기 우측 마이크 그룹에 대한 배치를 각각 조정할 수 있다. 이때, 조정부(330)는 먼저, 설정된 간격으로 이격되어 동일한 높이에 설치된, 상기 제1 마이크 및 상기 제2 마이크를 연결하여 제1 가상 선을 생성하고, 상기 제1 가상 선의 중심과 상기 사용자의 위치를 연결하여 제2 가상 선을 생성할 수 있다. 이때, 조정부(330)는 상기 제1 가상 선과 상기 제2 가상 선이 직각이 되도록, 상기 제1 마이크와 상기 제2 마이크의 배치를 조정 함으로써, 제1 및 제2 마이크의 배치가 조정되기 전(예컨대, 제1 및 제2 마이크가 디스플레이 패널의 측면 방향(또는, 수평방향)으로 나란히 배치된 경우) 보다, 사용자의 위치 변이에 따른 위상차를 보정할 수 있다.

조정부(330)는 상기 제1 마이크와 상기 제2 마이크의 배치 조정에 따라, 상기 디스플레이 패널의 측면 방향과 상기 제1 가상 선이 이루는 배치 각도를 결정하되, 상기 디스플레이 패널의 너비가 넓을수록 상기 배치 각도를 크게 결정하고, 상기 디스플레이 패널로부터 상기 사용자의 위치까지의 거리가 멀수록 상기 배치 각도를 작게 결정할 수 있다.

조정부(330)에 의해 배치가 조정된, 소리 입력부(310) 내 좌측 마이크 그룹 및 우측 마이크 그룹은 주변 소리를 획득할 수 있다. 이때, 좌측 마이크 그룹 내 제1 마이크 및 우측 마이크 그룹 내 제1 마이크는 사용자의 음성 신호가 포함된 주변 소리를 동시에 획득할 수 있다. 또한, 좌측 마이크 그룹 내 제2 마이크 및 우측 마이크 그룹 내 제2 마이크는 사용자의 음성 신호가 포함된 주변 소리를 동시에 획득할 수 있다.

신호 처리부(340)는 배치가 조정된 소리 입력부(310) 내 좌측 마이크 그룹 및 우측 마이크 그룹을 통해 주변 소리를 획득하고, 상기 주변 소리로부터 음성을 분리할 수 있다. 이러한 신호 처리부(340)는 변환부(341), 제1 음원 분리부(342), 제2 음원 분리부(343), 빔포밍부(344) 및 잡음 제거부(345)를 포함할 수 있다.

변환부(341)는 상기 좌측 마이크 그룹 및 상기 우측 마이크 그룹 각각의 제1 마이크를 통해 획득한 시간 영역의 제1 주변 소리를 주파수 영역으로 변환할 수 있다. 또한, 변환부(341)는 상기 좌측 마이크 그룹 및 상기 우측 마이크 그룹 각각의 제2 마이크를 통해 획득한 시간 영역의 제2 주변 소리를 주파수 영역으로 변환할 수 있다.

제1 음원 분리부(342)는 변환부(341)로부터 상기 주파수 영역으로 변환된 각각의 제1 주변 소리를 입력받고, 상기 입력된 각각의 제1 주변 소리로부터 제1 음성 신호와 상기 제1 음성 신호를 제외한 나머지 신호로 분리 함으로써, 주변 잡음을 제거할 수 있다.

제2 음원 분리부(343)는 변환부(341)로부터 상기 주파수 영역으로 변환된 각각의 제2 주변 소리를 입력받고, 상기 입력된 각각의 제2 주변 소리로부터 제2 음성 신호와 상기 제2 음성 신호를 제외한 나머지 신호로 분리 함으로써, 주변 잡음을 제거할 수 있다.

즉, 제1 음원 분리부(342) 및 제2 음원 분리부(343)는 예컨대, 듀얼채널 암묵 분리부일 수 있으며, 특성이 비슷한 신호들을 한 그룹으로 할당하고, 특성이 비슷하지 않은 나머지 신호를 다른 그룹으로 할당 함으로써, 주변 신호로부터 음성 신호와 나머지 신호를 분리하여, 주변 신호에서 주변 잡음을 1차로 제거할 수 있다.

빔포밍부(344)는 제1 음원 분리부(342)에서 분리된 제1 음성 신호와 상기 제2 음원 분리부에서 분리된 제2 음성 신호를, 상기 사용자의 위치에 기초하여 빔포밍할 수 있다. 예컨대, 빔포밍부(344)는 사용자의 위치에 기초하여, 제1 음성 신호 및 제2 음성 신호에 대해 사용자의 위치 방향으로의 신호의 세기를 그대로 유지하고, 사용자의 위치 방향과 상이한 방향으로의 신호의 세기를 감소시켜, 음성 신호를 출력 함으로써, 제1 음성 신호 및 제2 음성 신호에 대해, 제1 음원 분리부(342) 및 제2 음원 분리부(343)에서 미쳐 제거하지 못한 주변 잡음을 2차로 제거할 수 있다.

잡음 제거부(345)는 빔포밍부(344)에서 출력되는 음성 신호에서 잡음을 제거 함으로써, 빔포밍부(344)에서 제거하지 못한 주변 잡음을 3차로 제거할 수 있다.

따라서, 신호 처리부(340)는 제1,2 음원 분리부(342, 343), 빔포밍부(344) 및 잡음 제거부(345)를 통해, 3번에 걸쳐 주변 잡음을 제거하여, 음질이 개선된 음성 신호를 추출 함으로써, 음성을 정확히 인식할 수 있다.

한편, 신호 처리부(340)는 제1,2 음원 분리부(342, 343) 다음에, 빔포밍부(344)를 배치하여 포함하고 있으나, 이에 한정되지 않고, 제1,2 음원 분리부(342, 343) 전에, 빔포밍부(344)를 배치하여 포함할 수 있다. 즉, 제1,2 음원 분리부(342, 343) 및 빔포밍부(344)의 배치 순서가 서로 변경되어도 무방하다.

도 4는 본 발명의 일 실시예에 따른 사이니지 장치 내 마이크 배치에 대한 일례를 도시한 도면이다. 여기서, 도 4는 사이니지 장치를 위에서 아래로 내려다 본 도면이다.

도 4를 참조하면, 사이니지 장치는 예컨대, 디스플레이 패널(400)의 정면에 위치하는 사용자가 감지되면, 사용자의 위치를 확인하고, 디스플레이 패널(400)의 양쪽 측면에 각각 설치된 좌측 마이크 그룹(410) 및 우측 마이크 그룹(420)에 대한 배치를 조정할 수 있다.

이때, 사이니지 장치는 좌측 마이크 그룹(410) 및 우측 마이크 그룹(420) 각각에 대해, 설정된 간격으로 이격되어 동일한 높이에 설치된, 제1 마이크(410-1, 420-1) 및 제2 마이크(410-2, 420-2)를 연결하여 제1 가상 선(430-1, 430-2)을 생성할 수 있다. 구체적으로, 사이니지 장치는 제1 좌측 마이크 그룹(410) 내 제1 마이크_#1(410-1)와 제2 마이크_#1(410-2)를 연결하여, 제1 가상 선_#1(430-1)을 생성하고, 우측 마이크 그룹(420) 내 제1 마이크_#2(420-1)와 제2 마이크_#2(420-2)를 연결하여, 제1 가상 선_#2(430-2)을 생성할 수 있다.

사이니지 장치는 제1 가상 선_#1(430-1)의 중심과 상기 사용자의 위치를 연결하여 제2 가상 선_#1(440-1)을 생성하고, 제1 가상 선_#2(430-2)의 중심과 상기 사용자의 위치를 연결하여 제2 가상 선_#2(440-2)를 생성할 수 있다.

이때, 사이니지 장치는 제1 가상 선과 제2 가상 선이 직각이 되도록, 제1 마이크와 제2 마이크의 배치를 조정할 수 있다. 즉, 사이니지 장치는 제1 가상 선_#1(430-1)과 제2 가상 선_#1(440-1)이 직각이 되도록, 좌측 마이크 그룹(410) 내 제1 마이크_#1(410-1)와 제2 마이크_#1(410-2)의 배치를 조정할 수 있다. 또한, 사이니지 장치는 제1 가상 선_#2(430-2)와 제2 가상 선_#2(440-2)이 직각이 되도록, 우측 마이크 그룹(420) 내 제1 마이크_#2(420-1)와 제2 마이크_#2(420-2)의 배치를 조정할 수 있다.

사이니지 장치는 제1 마이크(410-1, 420-1) 및 제2 마이크(410-2, 420-2)의 배치 조정에 따라, 디스플레이 패널(400)의 측면 방향(450-1, 450-2)과 제1 가상 선(430-1, 430-2)이 이루는 배치 각도(Q)를 결정할 수 있다. 즉, 사이니지 장치는 제1 마이크(410-1, 420-1) 및 제2 마이크(410-2, 420-2)의 배치 조정에 따라, 디스플레이 패널(400)의 측면 방향(450-1)과 제1 가상 선_#1(430-1)이 이루는 배치 각도(460-1)를 결정하고, 디스플레이 패널(400)의 측면 방향(450-2)과 제1 가상 선_#2(430-2)이 이루는 배치 각도(460-2)를 결정할 수 있다.

이때, 사이니지 장치는 디스플레이 패널(400)의 너비(w)가 넓을수록 배치 각도(460-1, 460-2)를 크게 결정하고, 상기 디스플레이 패널로부터 상기 사용자의 위치까지의 거리(d)가 멀수록 배치 각도(460-1, 460-2)를 작게 결정할 수 있다. 여기서, 배치 각도는 [수학식 1]에 의해 나타낼 수 있다.

여기서,

는 배치 각도이고,

는 디스플레이 패널 너비이며,

는 발화거리(예컨대, 50∼70㎝)이다.

도 5는 본 발명의 일 실시예에 따른 사이니지 장치에서 음성을 처리하는 과정에 대한 일례를 설명하기 위한 도면이다.

도 5를 참조하면, 사이니지 장치는 사용자의 발화 음성을 인식하기 위해, 디스플레이 패널(500)의 양쪽 측면에 각각 설치된 좌측 마이크 그룹(510) 및 우측 마이크 그룹(520)를 통해 획득되는 주변 소리로부터 음성을 추출하는 신호 처리부(530)를 포함할 수 있다.

신호 처리부(530)는 예컨대, T-F(Time Frequency) 변환부(540), 제1 듀얼채널 암묵 분리부(550-1), 제2 듀얼채널 암묵 분리부(550-2), 빔포밍부(560) 및 잡음 제거부(570)를 포함할 수 있다.

T-F 변환부(540)는 좌측 마이크 그룹(510) 내 제1 마이크(510-1)를 통해 획득한 시간 영역의 제1 주변 소리_#1 및 우측 마이크 그룹(520) 내 제1 마이크(520-1)를 통해 획득한 시간 영역의 제1 주변 소리_#2를 주파수 영역으로 변환할 수 있다. 또한, T-F 변환부(540)는 좌측 마이크 그룹(510) 내 제2 마이크(510-2)를 통해 획득한 시간 영역의 제2 주변 소리_#1 및 우측 마이크 그룹(520) 내 제2 마이크(520-2)를 통해 획득한 시간 영역의 제2 주변 소리_#2를 주파수 영역으로 변환할 수 있다.

제1 듀얼채널 암묵 분리부(550-1)는 주파수 영역으로 변환된 제1 주변 소리_#1 및 제1 주변 소리_#2를 입력받고, 상기 입력된 제1 주변 소리_#1 및 제1 주변 소리_#2부터 제1 음성 신호와 제1 음성 신호를 제외한 나머지 신호로 분리할 수 있다.

제2 듀얼채널 암묵 분리부(550-2)는 주파수 영역으로 변환된 제2 주변 소리_#1 및 제2 주변 소리_#2를 입력받고, 상기 입력된 제2 주변 소리_#1 및 제2 주변 소리_#2부터 제2 음성 신호와 제2 음성 신호를 제외한 나머지 신호로 분리할 수 있다.

빔포밍부(560)는 제1 듀얼채널 암묵 분리부(550-1)에서 분리된 제1 음성 신호와 제2 듀얼채널 암묵 분리부(550-2)에서 분리된 제2 음성 신호를 상기 사용자의 위치에 기초하여 빔포밍할 수 있다.

잡음 제거부(570)는 빔포밍부(560)에서 출력되는 음성 신호(빔포밍된 음성 신호)에서 잡음을 제거하여, 음질이 개선된 음성 신호를 출력할 수 있다.

도 6은 본 발명의 일 실시예에 따른 사이니지 장치 내 음성 인식부의 구성에 대한 다른 일례를 도시한 도면이다.

도 6을 참조하면, 음성 인식부(600)는 소리 입력부(610), 감지부(620), 조정부(630) 및 신호 처리부(640)를 포함할 수 있다.

소리 입력부(610)는 예컨대, 좌측 마이크 그룹으로서, 제1 지향성 마이크를 포함하고, 우측 마이크 그룹으로서, 제2 지향성 마이크를 포함할 수 있다. 이때, 제1 지향성 마이크 및 제2 지향성 마이크는 디스플레이 패널의 양쪽 측면에 하나씩 배치 됨에 따라, 이격 거리가 필요한 무지향성의 제1,2 마이크를 설치할 때 보다, 마이크가 설치되는 공간을 줄임에 따라 사이니지 장치의 너비를 감소시킬 수 있게 한다.

감지부(620)는 디스플레이 패널을 기준으로 설정된 거리 내에 위치하는 사용자를 감지하고, 상기 사용자의 위치를 확인할 수 있다.

조정부(630)는 제1 지향성 마이크 및 제2 지향성 마이크의 각 방향이, 사용자의 위치에 향하도록 상기 제1 및 제2 지향성 마이크를 조정할 수 있다.

조정부(630)에 의해 배치가 조정된, 소리 입력부(310) 내 제1 지향성 마이크 및 제2 지향성 마이크는 주변 소리를 획득할 수 있다. 이때, 제1 지향성 마이크 및 제2 지향성 마이크는 사용자의 음성 신호가 포함된 주변 소리를 동시에 획득할 수 있다. 또한, 제1 지향성 마이크 및 제2 지향성 마이크는 특정 방향(예컨대, 사용자의 위치 방향)으로부터의 소리를 그대로 획득할 수 있으며, 특정 방향과 상이한 방향으로부터의 소리를 상대적으로 적게 획득 함으로써, 빔포밍 효과를 얻을 수 있다. 따라서, 신호 처리부(640)는 제1 지향성 마이크 및 제2 지향성 마이크를 통해 획득한 주변 소리 처리시, 빔포밍 과정을 생략할 수 있다.

신호 처리부(640)는 방향이 조정된 소리 입력부(610) 내 제1 지향성 마이크 및 제2 지향성 마이크를 통해 주변 소리를 획득하고, 상기 주변 소리로부터 음성을 분리할 수 있다. 이러한 신호 처리부(640)는 변환부(641), 음원 분리부(642) 및 잡음 제거부(643)를 포함할 수 있다.

변환부(641)는 제1 지향성 마이크 및 제2 지향성 마이크 각각을 통해 획득한 시간 영역의 주변 소리를 주파수 영역으로 변환할 수 있다.

음원 분리부(642)는 상기 주파수 영역으로 변환된 각각의 주변 소리로부터 음성 신호와 상기 음성 신호를 제외한 나머지 신호로 분리할 수 있다.

잡음 제거부(643)는 상기 음성 신호에서 잡음을 제거할 수 있다.

도 7은 본 발명의 일 실시예에 따른 사이니지 장치 내 마이크 배치에 대한 다른 일례를 도시한 도면이다. 여기서, 도 7은 사이니지 장치를 위에서 아래로 내려다 본 도면이다.

도 7을 참조하면, 사이니지 장치는 (a)에 도시된 바와 같이, 예컨대, 디스플레이 패널(700)의 정면에 위치하는 사용자가 감지되면, 사용자의 위치를 확인하고, 디스플레이 패널(700)의 양쪽 측면에 각각 배치된 제1 지향성 마이크(710) 및 제2 지향성 마이크(720)의 각 방향이 사용자의 위치에 향하도록 제1 지향성 마이크(710) 및 제2 지향성 마이크(720)를 조정할 수 있다.

사이니지 장치는 사용자의 위치에 향하도록 제1 지향성 마이크(710) 및 제2 지향성 마이크(720)를 조정 함에 따라, 디스플레이 패널(700)의 측면 방향(730-1)과 제1 지향성 마이크(710)가 이루는 조정 각도(740-1) 및 디스플레이 패널(700)의 측면 방향(730-2)과 제2 지향성 마이크(720)가 이루는 조정 각도(740-2)를 결정할 수 있다. 이때, 사이니지 장치는 상기 디스플레이 패널(700)의 너비가 넓을수록 조정 각도(740-1, 740-2)를 작게 결정하고, 상기 디스플레이 패널로부터 상기 사용자의 위치까지의 거리(발화거리)가 멀수록 조정 각도(740-1, 740-2)를 크게 결정할 수 있다.

이때, 제1 지향성 마이크(710) 및 제2 지향성 마이크(720)는 (b)에 도시된 바와 같은, 빔패턴을 이용하여 특정 방향(예컨대, O°방향, 사용자의 위치 방향)으로부터의 소리를 그대로 획득할 수 있으며, 특정 방향과 상이한 방향으로부터의 소리를 상대적으로 적게 획득할 수 있다.

도 8은 본 발명의 일 실시예에 따른 사이니지 장치에서 음성을 처리하는 과정에 대한 일례를 설명하기 위한 도면이다.

도 8을 참조하면, 사이니지 장치는 사용자의 발화 음성을 인식하기 위해, 디스플레이 패널(800)의 양쪽 측면에 각각 배치된 제1 지향성 마이크(810) 및 제2 지향성 마이크(820)를 통해 획득되는 주변 소리로부터 음성을 추출하는 신호 처리부(830)를 포함할 수 있다.

신호 처리부(830)는 예컨대, T-F(Time Frequency) 변환부(840), 듀얼채널 암묵 분리부(850), 및 잡음 제거부(860)를 포함할 수 있다.

T-F 변환부(840)는 제1 지향성 마이크(810)를 통해 획득한 시간 영역의 주변 소리_#1 및 제2 지향성 마이크(820)를 통해 획득한 시간 영역의 주변 소리_#2를 주파수 영역으로 변환할 수 있다.

듀얼채널 암묵 분리부(850)는 주파수 영역으로 변환된 주변 소리_#1 및 주변 소리_#2를 입력받고, 상기 입력된 주변 소리_#1 및 주변 소리_#2부터 음성 신호와 상기 음성 신호를 제외한 나머지 신호로 분리할 수 있다.

잡음 제거부(860)는 듀얼채널 암묵 분리부(850)로부터 출력되는 음성 신호에서 잡음을 제거하여, 개선된 음성 신호를 출력할 수 있다.

도 9는 본 발명의 일 실시예에 따른 사이니지 장치에서 서비스 정보를 제공하는 일례를 설명하기 위한 도면이다.

도 9를 참조하면, 사이니지 장치(900)는 예컨대, 공공 장소나 또는 상업 공간에 설치될 수 있으며, 사용자로부터 검색 명령을 수신하면, 상기 검색 명령에 대응하는 서비스 정보(예컨대, 날씨, 교통, 관광지, 맛집, 은행, 병원, 광고 등에 관한 정보)를 제공할 수 있다. 이러한 사이니지 장치(900)는 상기 검색 명령을 수신하는 방법으로서, 디스플레이 패널을 통해 사용자로부터 터치를 입력받는 터치 인식 방식 및 음성 인식부를 통해 사용자로부터 음성 신호를 획득하는 음성 인식 방식을 사용할 수 있다.

상기 음성 신호 획득 시, 사이니지 장치(900)는 디스플레이 패널의 양쪽 측면에 각각 설치된 무지향성의 복수의 마이크(910, 920) 또는 지향성 마이크(도시하지 않음)를 이용하여, 주변 소리를 획득할 수 있으며, 상기 획득한 주변 소리로부터 사용자의 음성 신호를 추출할 수 있다.

사이니지 장치(900)는 사용자로부터 검색 명령을 수신하는 방법으로서, 디폴트(default)로 음성 인식 방식을 설정할 수 있으나, 이에 한정되지 않는다. 예컨대, 사이니지 장치(900)는 디폴트로, 터치 인식 방식을 설정하거나, 또는 음성 인식 방식과 터치 인식 방식을 모두 설정할 수도 있다.

사이니지 장치(900)는 디폴트로, 터치 인식 방식이 설정된 경우, 음성 인식 버튼(930)이 입력되면, 검색 명령을 수신하는 방법으로서, 상기 터치 인식 방식을 음성 인식 방식으로 대체하거나, 또는 터치 인식 방식과 음성 인식 방식을 모두 사용할 수 있다. 반면, 사이니지 장치(900)는 디폴트로, 음성 인식 방식이 설정된 경우, 터치 버튼(도시하지 않음)이 입력되면, 검색 명령을 수신하는 방법으로서, 상기 음성 인식 방식을 터치 인식 방식으로 대체하거나, 또는 음성 인식 방식과 터치 인식 방식을 모두 사용할 수 있다.

또한, 사이니지 장치(900)는 검색 명령을 수신하는 방법으로서, 음성 인식 방식과 터치 인식 방식을 모두 사용하는 경우, 상기 터치가 입력되는 시점과 상기 음성 신호가 추출되는 시점 간의 차이가, 설정된 시간 미만이면, 설정된 기준(예컨대, 설정된 우선순위가 높은 인식 방식)에 따라 터치 또는 음성 신호에 대응하는 서비스 정보를 제공할 수 있다. 예컨대, 사이니지 장치(900)는 음성 인식 방식이 터치 인식 방식 보다 우선순위가 높게 설정된 경우, 상기 터치를 무시하고, 상기 음성 신호에 대응하는 서비스 정보를 제공할 수 있다.

도 10은 본 발명의 일 실시예에 따른 사이니지 장치의 동작 방법을 나타내는 흐름도이다.

도 10을 참조하면, 단계 S1010에서, 사이니지 장치는 디스플레이 패널을 기준으로 설정된 거리 내에 위치하는 사용자를 감지하고, 상기 사용자의 위치를 확인할 수 있다.

단계 S1020에서, 사이니지 장치는 상기 사용자의 위치에 기초하여, 상기 디스플레이 패널의 양쪽 측면에 설치된 좌측 마이크 그룹 및 우측 마이크 그룹의 배치를 각각 조정할 수 있다. 여기서, 상기 좌측 마이크 그룹 및 상기 우측 마이크 그룹 각각은 상기 디스플레이 패널과 상대적으로 가까운 거리에 위치하는 무지향성의 제1 마이크 및 상기 디스플레이 패널과 상대적으로 먼 거리에 위치하는 무지향성의 제2 마이크를 포함할 수 있다.

마이크 배치 조정시, 사이니지 장치는 먼저, 설정된 간격으로 이격되어 동일한 높이에 설치된, 상기 제1 마이크 및 상기 제2 마이크를 연결하여 제1 가상 선을 생성하고, 상기 제1 가상 선의 중심과 상기 사용자의 위치를 연결하여 제2 가상 선을 생성할 수 있다. 이때, 사이니지 장치는 상기 제1 가상 선과 상기 제2 가상 선이 직각이 되도록, 상기 제1 마이크와 상기 제2 마이크의 배치를 조정할 수 있다.

이때, 사이니지 장치는 상기 제1 마이크와 상기 제2 마이크의 배치 조정에 따라, 상기 디스플레이 패널의 측면 방향과 상기 제1 가상 선이 이루는 배치 각도를 결정할 수 있다. 여기서, 사이니지 장치는 상기 디스플레이 패널의 너비가 넓을수록 상기 배치 각도를 크게 결정하고, 상기 디스플레이 패널로부터 상기 사용자의 위치까지의 거리가 멀수록 상기 배치 각도를 작게 결정할 수 있다.

단계 S1030에서, 사이니지 장치는 배치가 조정된 좌측 마이크 그룹 및 우측 마이크 그룹을 통해 시간 영역의 제1 주변 소리 및 제2 주변 소리를 획득할 수 있다. 이때, 사이니지 장치는 상기 좌측 마이크 그룹 및 우측 마이크 그룹 각각의 제1 마이크를 통해 시간 영역의 제1 주변 소리를 획득하고, 상기 좌측 마이크 그룹 및 우측 마이크 그룹 각각의 제2 마이크를 통해 시간 영역의 제2 주변 소리를 획득할 수 있다.

단계 S1040에서, 사이니지 장치는 시간 영역의 제1 주변 소리 및 시간 영역의 제2 주변 소리를 주파수 영역으로 변환할 수 있다.

단계 S1050에서, 사이니지 장치는 주파수 영역으로 변환된 제1 주변 소리 및 제2 주변 소리로부터 각각 제1 음성 신호와 제2 음성 신호를 분리할 수 있다. 이때, 사이니지 장치는 상기 주파수 영역으로 변환된 각각의 제1 주변 소리로부터 제1 음성 신호와 상기 제1 음성 신호를 제외한 나머지 신호로 분리하고, 상기 주파수 영역으로 변환된 각각의 제2 주변 소리로부터 제2 음성 신호와 상기 제2 음성 신호를 제외한 나머지 신호로 분리할 수 있다.

단계 S1060에서, 사이니지 장치는 상기 제1 음성 신호와 상기 제2 음성 신호를, 상기 사용자의 위치에 기초하여 빔포밍하고, 상기 빔포밍된 결과로서 출력되는 음성 신호에서 잡음을 제거하여, 음질이 개선된 음성 신호를 추출할 수 있다.

이후, 사이니지 장치는 상기 추출된 음성 신호에 대응하는 서비스 정보를 메모리로부터 검색하거나, 또는 서버로부터 수신하여, 디스플레이 패널을 통해 제공할 수 있다. 또한, 사이니지 장치는 디스플레이 패널을 통해 사용자로부터 터치를 입력받을 수 있으며, 상기 터치가 입력되는 시점과 상기 음성 신호가 추출되는 시점 간의 차이가, 설정된 시간 미만일 경우, 상기 터치를 무시하고, 상기 음성 신호에 대응하는 서비스 정보를 제공할 수 있다.

한편, 사이니지 상기 좌측 마이크 그룹은 제1 지향성 마이크이고, 상기 우측 마이크 그룹은 제2 지향성 마이크일 경우, 상기 제1 지향성 마이크 및 상기 제2 지향성 마이크의 각 방향이, 상기 사용자의 위치에 향하도록 상기 제1 및 제2 지향성 마이크를 조정할 수 있다.

이후, 사이니지 장치는 상기 제1 지향성 마이크 및 상기 제2 지향성 마이크를 통해 각각 획득한 시간 영역의 주변 소리를 주파수 영역으로 변환하고, 상기 주파수 영역으로 변환된 각각의 주변 소리로부터 음성 신호와 상기 음성 신호를 제외한 나머지 신호로 분리한 후, 상기 음성 신호에서 잡음을 제거할 수 있다.

이상 설명된 본 발명에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.

한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.

본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.

본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

200: 사이니지 장치
210: 디스플레이 패널
220: 음성 인식부
230: 제어부
240: 메모리
250: 통신부

Claims

음성을 인식하는 사이니지 장치로서,
디스플레이 패널의 양쪽 측면에 각각 설치된 좌측 마이크 그룹 및 우측 마이크 그룹;
상기 디스플레이 패널을 기준으로 설정된 거리 내에 위치하는 사용자를 감지하고, 상기 사용자의 위치를 확인하는 감지부; 및
상기 사용자의 위치에 기초하여, 상기 좌측 마이크 그룹 및 상기 우측 마이크 그룹에 대한 배치를 각각 조정하는 조정부를 포함하고,
상기 좌측 마이크 그룹 및 상기 우측 마이크 그룹 각각은, 상기 디스플레이 패널과 상대적으로 가까운 거리에 위치하는 제1 마이크 및 상기 디스플레이 패널과 상대적으로 먼 거리에 위치하는 제2 마이크를 포함하는,
사이니지 장치.
제1항에 있어서,
상기 조정부는,
설정된 간격으로 이격되어 동일한 높이에 설치된, 상기 제1 마이크 및 상기 제2 마이크를 연결하여 제1 가상 선을 생성하고,
상기 제1 가상 선의 중심과 상기 사용자의 위치를 연결하여 제2 가상 선을 생성하며,
상기 제1 가상 선과 상기 제2 가상 선이 직각이 되도록, 상기 제1 마이크와 상기 제2 마이크의 배치를 조정하는,
사이니지 장치.
제2항에 있어서,
상기 조정부는,
상기 제1 마이크와 상기 제2 마이크의 배치 조정에 따라, 상기 디스플레이 패널의 측면 방향과 상기 제1 가상 선이 이루는 배치 각도를 결정하되,
상기 디스플레이 패널의 너비가 넓을수록 상기 배치 각도를 크게 결정하고, 상기 디스플레이 패널로부터 상기 사용자의 위치까지의 거리가 멀수록 상기 배치 각도를 작게 결정하는,
사이니지 장치.
제1항에 있어서,
상기 제1 마이크 및 제2 마이크는,
무지향성 마이크인,
사이니지 장치.
제1항에 있어서,
상기 좌측 마이크 그룹 및 우측 마이크 그룹 각각의 제1 마이크를 통해 획득한 시간 영역의 제1 주변 소리, 및
상기 좌측 마이크 그룹 및 우측 마이크 그룹 각각의 제2 마이크를 통해 획득한 시간 영역의 제2 주변 소리를 주파수 영역으로 변환하는 변환부를 더 포함하는,
사이니지 장치.
제5항에 있어서,
상기 주파수 영역으로 변환된 각각의 제1 주변 소리를 입력받고, 상기 입력된 각각의 제1 주변 소리로부터 제1 음성 신호와 상기 제1 음성 신호를 제외한 나머지 신호로 분리하는 제1 음원 분리부; 및
상기 주파수 영역으로 변환된 각각의 제2 주변 소리를 입력받고, 상기 입력된 각각의 제2 주변 소리로부터 제2 음성 신호와 상기 제2 음성 신호를 제외한 나머지 신호로 분리하는 제2 음원 분리부를 더 포함하는,
사이니지 장치.
제6항에 있어서,
상기 제1 음원 분리부에서 분리된 제1 음성 신호와 상기 제2 음원 분리부에서 분리된 제2 음성 신호를, 상기 사용자의 위치에 기초하여 빔포밍하는 빔포밍부를 더 포함하는,
사이니지 장치.
제7항에 있어서,
상기 빔포밍부에서 출력되는 음성 신호에서 잡음을 제거하는 잡음 제거부를 더 포함하는,
사이니지 장치.
제1항에 있어서,
상기 좌측 마이크 그룹은 제1 지향성 마이크이고, 상기 우측 마이크 그룹은 제2 지향성 마이크이며,
상기 조정부는,
상기 제1 지향성 마이크 및 상기 제2 지향성 마이크의 각 방향이, 상기 사용자의 위치에 향하도록 상기 제1 및 제2 지향성 마이크를 조정하는,
사이니지 장치.
제9항에 있어서,
상기 제1 지향성 마이크 및 상기 제2 지향성 마이크를 통해 각각 획득한 시간 영역의 주변 소리를 주파수 영역으로 변환하는 변환부;
상기 주파수 영역으로 변환된 각각의 주변 소리로부터 음성 신호와 상기 음성 신호를 제외한 나머지 신호로 분리하는 음원 분리부; 및
상기 음성 신호에서 잡음을 제거하는 잡음 제거부를 더 포함하는,
사이니지 장치.
제1항에 있어서,
상기 디스플레이 패널을 통해 상기 사용자로부터 터치(touch)를 입력받거나, 또는 상기 좌측 마이크 그룹 및 상기 우측 마이크 그룹을 통해, 획득한 주변 소리로부터 상기 사용자의 음성 신호가 추출되면,
상기 터치 또는 상기 음성 신호에 대응하는 서비스 정보를 메모리로부터 검색하여, 상기 디스플레이 패널을 통해 제공하는 제어부를 더 포함하는,
사이니지 장치.
제11항에 있어서,
상기 터치가 입력되는 시점과 상기 음성 신호가 추출되는 시점 간의 차이가, 설정된 시간 미만일 경우,
상기 제어부는,
상기 터치를 무시하고, 상기 음성 신호에 대응하는 서비스 정보를 제공하는,
사이니지 장치.
음성을 인식하는 사이니지 장치의 동작 방법으로서,
디스플레이 패널을 기준으로 설정된 거리 내에 위치하는 사용자를 감지하고, 상기 사용자의 위치를 확인하는 단계; 및
상기 사용자의 위치에 기초하여, 상기 디스플레이 패널의 양쪽 측면에 각각 설치된 좌측 마이크 그룹 및 우측 마이크 그룹에 대한 배치를 각각 조정하는 단계를 포함하고,
상기 좌측 마이크 그룹 및 상기 우측 마이크 그룹 각각은, 상기 디스플레이 패널과 상대적으로 가까운 거리에 위치하는 무지향성의 제1 마이크 및 상기 디스플레이 패널과 상대적으로 먼 거리에 위치하는 무지향성의 제2 마이크를 포함하는,
사이니지 장치의 동작 방법.
제13항에 있어서,
상기 조정하는 단계는,
설정된 간격으로 이격되어 동일한 높이에 설치된, 상기 제1 마이크 및 상기 제2 마이크를 연결하여 제1 가상 선을 생성하는 단계;
상기 제1 가상 선의 중심과 상기 사용자의 위치를 연결하여 제2 가상 선을 생성하는 단계; 및
상기 제1 가상 선과 상기 제2 가상 선이 직각이 되도록, 상기 제1 마이크와 상기 제2 마이크의 배치를 조정하는 단계를 포함하는,
사이니지 장치의 동작 방법.
제14항에 있어서,
상기 조정하는 단계는,
상기 제1 마이크와 상기 제2 마이크의 배치 조정에 따라, 상기 디스플레이 패널의 측면 방향과 상기 제1 가상 선이 이루는 배치 각도를 결정하는 단계를 더 포함하고,
상기 배치 각도를 결정하는 단계는,
상기 디스플레이 패널의 너비가 넓을수록 상기 배치 각도를 크게 결정하고, 상기 디스플레이 패널로부터 상기 사용자의 위치까지의 거리가 멀수록 상기 배치 각도를 작게 결정하는 단계를 포함하는,
사이니지 장치의 동작 방법.
제13항에 있어서,
상기 배치를 각각 조정하는 단계 이후,
상기 좌측 마이크 그룹 및 우측 마이크 그룹 각각의 제1 마이크를 통해 획득한 시간 영역의 제1 주변 소리, 및
상기 좌측 마이크 그룹 및 우측 마이크 그룹 각각의 제2 마이크를 통해 획득한 시간 영역의 제2 주변 소리를 주파수 영역으로 변환하는 단계를 더 포함하는,
사이니지 장치의 동작 방법.
제16항에 있어서,
상기 주파수 영역으로 변환된 각각의 제1 주변 소리로부터 제1 음성 신호와 상기 제1 음성 신호를 제외한 나머지 신호로 분리하는 단계; 및
상기 주파수 영역으로 변환된 각각의 제2 주변 소리로부터 제2 음성 신호와 상기 제2 음성 신호를 제외한 나머지 신호로 분리하는 단계를 더 포함하는,
사이니지 장치의 동작 방법.
제17항에 있어서,
상기 제1 음성 신호와 상기 제2 음성 신호를, 상기 사용자의 위치에 기초하여 빔포밍하는 단계; 및
상기 빔포밍된 결과로서 출력되는 음성 신호에서 잡음을 제거하는 단계를 더 포함하는,
사이니지 장치의 동작 방법.
제13항에 있어서,
상기 좌측 마이크 그룹은 제1 지향성 마이크이고, 상기 우측 마이크 그룹은 제2 지향성 마이크일 경우,
상기 제1 지향성 마이크 및 상기 제2 지향성 마이크의 각 방향이, 상기 사용자의 위치에 향하도록 상기 제1 및 제2 지향성 마이크를 조정하는 단계를 더 포함하는,
사이니지 장치의 동작 방법.
제19항에 있어서,
상기 제1 지향성 마이크 및 상기 제2 지향성 마이크를 통해 각각 획득한 시간 영역의 주변 소리를 주파수 영역으로 변환하는 단계;
상기 주파수 영역으로 변환된 각각의 주변 소리로부터 음성 신호와 상기 음성 신호를 제외한 나머지 신호로 분리하는 단계; 및
상기 음성 신호에서 잡음을 제거하는 단계를 더 포함하는,
사이니지 장치의 동작 방법.