KR20140144410A

KR20140144410A - 음향신호를 위한 빔포밍 방법 및 장치

Info

Publication number: KR20140144410A
Application number: KR1020130066257A
Authority: KR
Inventors: 김수형; 김현수; 신승혁
Original assignee: 삼성전자주식회사
Priority date: 2013-06-11
Filing date: 2013-06-11
Publication date: 2014-12-19
Also published as: KR102150013B1; US20140362253A1; US9516241B2

Abstract

본 개시의 다양한 실시 예들에 대해서 기술된 바, 한 실시 예에 따르면, 음향신호를 획득하기 위한 빔포밍 방법 및 장치에 관한 것으로, 전자장치에서 음향을 획득하는 방법은, 음향을 획득하기 위한 빔포밍을 적용할 적어도 하나의 객체를 선택하는 동작과, 상기 선택된 적어도 하나의 객체와 거리측정을 위한 센서 사이의 제1 거리를 측정하는 동작과, 상기 제1 거리를 기반으로, 상기 선택된 적어도 하나의 객체와 복수의 마이크로폰 사이의 제2 거리를 계산하는 동작과, 그리고 상기 객체와 상기 마이크로폰 사이의 제2 거리에 대응하는 시간지연(Time-delay) 또는 위상지연(Phase-delay)을 이용하여, 음향 빔포밍을 위한 가중치를 결정하는 동작을 포함할 수 있다. 다른 다양한 실시예들이 가능하다.

Description

음향신호를 위한 빔포밍 방법 및 장치{BEAMFORMING METHOD AND APPARATUS FOR SOUND SIGNAL}

본 개시의 다양한 실시 예들은 전자장치를 이용하여 음원 신호를 선택적으로 증폭시키는 기술에 관한 것으로, 더욱 상세하게는 상기 전자장치에서 빔포밍(Beamforming) 기법을 이용하여 음향신호를 획득하는 방법 및 장치에 관한 것이다.

휴대용 단말기(portable terminal), 이동 단말기(mobile terminal), 그리고 스마트폰 같은 전자장치에, 전화통화, 음성녹음, 그리고 동영상 리코딩 같은 기능들이 보편적으로 제공되고 있다. 전화통화, 음성녹음, 그리고 동영상 리코딩 같은 기능들을 지원하기 위해, 상기 전자장치에, 소리를 전기신호로 변화하는 마이크로폰(microphone)이 필수적으로 포함된다.

한편, 스마트폰 같은 전자장치의 경우에, 전화통화를 위한 마이크로폰과 동영상 리코딩을 위한 마이크로폰 등 다수의 마이크로폰이 배열되어 사용되고 있다.

사용자가 다수의 음원 중 특정 음원 만을 전자장치를 통해 입력하고자 할 때, 상기 전자장치의 마이크로폰의 위치가 음성신호가 입력되는 방향을 향해 지향성을 형성한다면, 주위의 환경에서 발생하는 소음의 입력을 배제할 수 있을 것이다.

마이크로폰 배열을 통해 입력되는 음성신호에 대해 잡음을 제거하기 위한 소프트웨어적 처리를 수행하게 되면 소프트웨어 처리에 따라 마이크로폰 배열로부터 특정 방향으로 빔을 형성할 수 있다. 이와 같이 마이크로폰 배열을 이용하여 빔을 형성해서 마이크로폰으로부터 원하는 방향으로 지향성을 나타내도록 하는 목적으로 빔포밍 기술이 이용되고 있다.

빔포밍 기술을 통해 사용자의 음성이 발생하는 방향으로 지향성이 형성되면, 그 빔 외부의 방향들로부터 입력되는 음성신호에 대응하는 에너지는 감쇄되며, 관심 있는 방향으로부터 입력되는 음성신호는 선택적으로 획득될 수 있다. 마이크로폰 배열은 이러한 빔포밍 기술을 사용하여 실내의 컴퓨터 팬 소음, TV 소리와 같은 주변 잡음 및 가구 및 벽과 같은 사물로부터 반사되어 나오는 반향파들의 부분을 억제할 수 있다. 예컨대, 마이크로폰 배열은 빔포밍 기술을 사용하여 관심 방향의 빔으로부터 발생하는 음성신호들에 대해 더 높은 SNR(signal to noise ratio)을 얻을 수 있다. 따라서, 빔포밍은 "빔"을 음원에 포인팅하고 다른 방향들로부터 입력되는 모든 신호를 억제하는 공간 필터링(spatial filtering)에서 중요한 역할을 할 수 있다.

하지만, 종래의 빔포밍 기술은 미리 알고 있는 음원의 방향에 대하여 신호를 강화 또는 감쇄시킬 수 있는 선형필터를 구성하여 입력신호에 인가하는 방법으로서, 마이크로폰 배열을 이용한 시스템에 널리 활용되고 있으나, 음성신호의 위치 및 방향에 따라 성능에 영향을 받게 되는 문제점이 있다.

본 개시의 다양한 실시 예는 다수의 마이크로폰을 포함하는 전자장치에서, 전화통화, 음성녹음, 또는 동영상 리코딩시 주변에서 다양한 소음이 발생되는 환경에서 원하는 음원을 획득하는 방법 및 장치를 제공할 수 있다.

본 개시의 다양한 실시 예는 다수의 마이크로폰을 포함하는 전자장치에서, 전화통화, 음성녹음, 또는 동영상 리코딩시 원하는 객체로부터의 음원을 선택하는 방법 및 장치를 제공할 수 있다.

본 개시의 다양한 실시 예는 특정 객체와 거리측정을 위한 이미지센서 사이의 거리를 이용하여, 상기 특정 객체와 빔포밍을 위한 마이크로폰 사이의 거리를 측정하는 방법 및 장치를 제공할 수 있다.

본 개시의 다양한 실시 예는 듀얼 이미지 센서를 포함하는 전자장치에서 원하는 객체의 음원을 선택하여 동영상을 리코딩하는 방법 및 장치를 제공할 수 있다.

본 개시의 다양한 실시 예는 이미지 센서를 포함하는 착용형 장치(wearable device)에서 원하는 객체의 음원을 선택하여 동영상을 리코딩하는 방법 및 장치를 제공할 수 있다.

상기한 목적들을 달성하기 위한 본 개시의 다양한 실시 예에 따른 전자장치에서 음향을 획득하는 방법에 있어서, 음향을 획득하기 위한 빔포밍을 적용할 적어도 하나의 객체를 선택하는 동작; 상기 선택된 적어도 하나의 객체와 거리측정을 위한 센서 사이의 제1 거리를 측정하는 동작; 상기 제1 거리를 기반으로, 상기 선택된 적어도 하나 이상의 객체와 복수의 마이크로폰 사이의 제2 거리를 계산하는 동작; 상기 객체와 상기 마이크로폰 사이의 제2 거리에 대응하는 시간지연(Time-delay) 또는 위상지연(Phase-delay)을 이용하여, 음향 빔포밍을 위한 가중치를 결정하는 동작을 포함할 수 있다.

또한, 상기 방법은, 상기 객체의 위치 변화를 감지하여, 상기 객체와 상기 거리측정을 위한 센서 사이의 제1 거리를 재측정하는 동작; 상기 재측정된 제1 거리를 기반으로, 상기 객체와 상기 복수의 마이크로폰 사이의 제2 거리를 계산하는 동작; 상기 객체와 상기 마이크로폰 사이의 제2 거리에 대응하는 시간지연 또는 위상지연을 이용하여, 음향 빔포밍을 위한 가중치를 재결정하는 동작을 더 포함할 수 있다.

또한, 상기 적어도 하나 이상의 객체를 선택하는 동작은 예컨대, 디스플레이 영상에서 사용자 터치 입력, 얼굴인식, 입술 움직임 검출, 입술인식, 호버링을 이용한 객체 선택, 안구 인식을 통한 객체 선택 또는 음성인식 중 하나에 의해 선택되는 것을 포함할 수 있다.

또한, 상기 특정방향으로부터 음향을 획득하기 위한 빔포밍은 예컨대, 동영상 리코딩, 음성녹음, 사진촬영, 게임 중 음향획득 또는 전화통화 중 어느 하나일 때 수행되는 것을 포함할 수 있다.

또한, 동영상 리코딩, 음성녹음, 사진촬영, 게임 중 음향획득 또는 전화통화 중 절전모드로 인해 디스플레이 꺼짐(display off)이 발생하더라도, 선택된 객체를 추적하여 음향 빔포밍이 수행될 수 있다.

또한, 상기 음향 빔포밍을 위한 가중치를 결정하는 동작은 예컨대, GSC(Generalized Side-lobe Canceller) 방식 또는 LCMV(Linearly Constrained Minimum Variance) 방식 중 하나에 의해 수행될 수 있다.

또한, 상기 거리측정을 위한 센서는 예컨대, 3차원 이미지센서, 3차원 깊이센서, 또는 거리측정센서 중 적어도 하나인 것을 포함할 수 있다.

또한, 상기 선택된 적어도 하나 이상의 객체와 거리측정을 위한 센서 사이의 제1 거리는 상기 3차원 깊이 센서 또는 상기 3차원 이미지 센서를 이용한 거리측정 방식 예컨대, 복수의 이미지 센서를 활용한 스테레오 방식, 깊이 카메라(depth camera)를 활용한 TOF(Time of Flight) 방식, 패턴화된 빛을 조사하여 이미지의 굴곡이나 이동 정도를 판단하여 거리를 측정하는 구조광(structured light) 방식 중 적어도 하나에 의해 측정될 수 있다.

상기 3차원 깊이 센서 또는 상기 3차원 이미지 센서를 이용한 거리측정시 깊이 지도(Depth-map) 기반으로 객체와의 거리 또는 각도가 측정될 수 있다.

상기한 목적들을 달성하기 위한 본 개시의 다양한 실시 예에 따른 듀얼 카메라를 포함하는 전자장치에서 사진촬영 또는 동영상 리코딩시 오디오를 위한 빔포밍을 수행하는 방법에 있어서, 제1 또는 제2 이미지센서로부터 제1 영상과 제2 영상을 획득하는 동작; 상기 제1 영상으로부터 제1 이미지 센서와의 거리측정을 위한 객체를 선택하는 동작; 상기 제1 이미지센서와 상기 객체 사이의 제1 거리를 이용하여 적어도 둘 이상의 마이크로폰과 상기 객체 사이의 제2 거리를 계산한 후, 상기 제1 이미지센서의 방향으로 빔포밍을 수행하는 동작; 상기 제1 영상 또는 상기 제2 영상과 함께 상기 제1 이미지센서의 방향으로 빔포밍된 음향신호를 리코딩하여 저장하는 동작을 포함할 수 있다.

또한, 상기 방법에서, 상기 제1 이미지센서의 방향으로 빔포밍을 수행하는 동작은, 상기 객체와 상기 마이크로폰 사이의 제2 거리에 대응하는 시간지연 또는 위상지연을 이용하여, 음향 빔포밍을 위한 가중치를 결정하는 동작; 상기 음향 빔포밍을 위한 가중치를 각각 마이크로폰에 적용하여 빔을 형성하여 음향을 수신하는 동작을 포함할 수 있다.

또한, 상기 객체는 상기 전자장치의 사용자인 것을 포함할 수 있다.

상기한 목적들을 달성하기 위한 본 개시의 다양한 실시 예에 따른 듀얼 카메라를 포함하는 전자장치에서 사진촬영 또는 동영상 리코딩시 오디오를 위한 빔포밍을 수행하는 방법에 있어서, 제1 또는 제2 이미지센서로부터 제1 영상과 제2 영상을 획득하는 동작; 제1 방향 또는 제2 방향으로 음향 빔포밍을 수행하는 동작; 상기 제1 영상 또는 상기 제2 영상과 함께 상기 제1 방향 또는 상기 제2 방향으로 빔포밍된 음향신호를 리코딩하여 저장하는 동작을 포함하되, 상기 제1 방향은 상기 제1 이미지센서의 방향이고, 상기 제2 방향은 상기 제2 이미지센서의 방향인 것을 포함할 수 있다.

상기한 목적들을 달성하기 위한 본 개시의 다양한 실시 예에 따른 음향을 획득하는 전자장치는 음향을 획득하기 위한 빔포밍을 적용할 적어도 하나의 객체를 선택하는 사용자 인터페이스부와, 상기 선택된 적어도 하나 이상의 객체와 거리측정을 위한 센서 사이의 제1 거리를 측정하고, 상기 제1 거리를 기반으로, 상기 선택된 적어도 하나의 객체와 복수의 마이크로폰 사이의 제2 거리를 계산하고, 상기 객체와 상기 마이크로폰 사이의 제2 거리에 대응하는 시간지연(Time-delay) 또는 위상지연(Phase-delay)을 이용하여, 음향 빔포밍을 위한 가중치를 결정하는 프로세서를 포함할 수 있다.

또한, 상기 프로세서는, 상기 객체의 위치 변화를 감지하여, 상기 객체와 상기 거리측정을 위한 센서 사이의 제1 거리를 재측정하고, 상기 재측정된 제1 거리를 기반으로, 상기 객체와 상기 복수의 마이크로폰 사이의 제2 거리를 계산하고, 상기 객체와 상기 마이크로폰 사이의 제2 거리에 대응하는 시간지연 또는 위상지연을 이용하여, 음향 빔포밍을 위한 가중치를 재결정한다.

또한, 상기 적어도 하나 이상의 객체는, 디스플레이 영상에서 사용자 터치 입력, 얼굴인식, 입술 움직임 검출, 입술인식, 호버링을 활용한 객체 선택, 안구 인식을 통한 객체 선택 또는 음성인식 중 하나에 의해 선택될 수 있다.

또한, 상기 특정방향으로부터 음향을 획득하기 위한 빔포밍은 예컨대, 동영상 리코딩, 음성녹음, 사진촬영, 게임 중 음향획득 또는 전화통화 중 어느 하나일 때 수행될 수 있다.

또한, 상기 음향 빔포밍을 위한 가중치는 예컨대, GSC(Generalized Side-lobe Canceller) 방식 또는 LCMV(Linearly Constrained Minimum Variance) 방식 중 하나에 의해 결정될 수 있다.

또한, 상기 거리측정을 위한 센서는 삼차원 이미지센서, 삼차원 깊이센서, 또는 거리측정센서 중 적어도 하나일 수 있다.

또한, 상기 선택된 적어도 하나 이상의 객체와 거리측정을 위한 센서 사이의 제1 거리는 상기 3차원 깊이 센서 또는 상기 3차원 이미지 센서를 이용한 거리측정 방식 예컨대, 복수의 이미지 센서를 활용한 스테레오 방식, 깊이 카메라(Depth-Camera)를 활용한 TOF(Time of Flight) 방식, 패턴화된 빛을 조사하여 이미지의 굴곡이나 이동 정도를 판단하여 거리를 추출하는 구조광(structured light) 방식 중 하나에 의해 측정될 수 있다.

상기 3차원 깊이 센서 또는 3차원 이미지 센서를 이용한 거리측정시 깊이 지도(Depth-map) 기반으로 객체와의 거리 또는 각도가 측정될 수 있다.

상기한 목적들을 달성하기 위한 본 개시의 다양한 실시 예에 따른 사진촬영 또는 동영상 리코딩시 오디오를 위한 빔포밍을 수행하는 듀얼 카메라를 포함하는 전자장치는, 제1 또는 제2 이미지센서로부터 제1 영상과 제2 영상을 획득하고, 상기 제1 영상으로부터 제1 이미지 센서와의 거리측정을 위한 객체를 선택하고, 상기 제1 이미지센서와 상기 객체 사이의 제1 거리를 이용하여 복수의 마이크로폰과 상기 객체 사이의 제2 거리를 계산한 후, 상기 제1 이미지센서의 방향으로 빔포밍을 수행하고, 상기 제1 영상 또는 상기 제2 영상과 함께 상기 제1 이미지센서의 방향으로 빔포밍된 음향신호를 리코딩하여 저장하는 프로세서를 포함할 수 있다.

또한, 상기 프로세서는, 상기 제1 이미지센서의 방향으로 빔포밍을 수행하기 위해, 상기 객체와 상기 마이크로폰 사이의 제2 거리에 대응하는 시간지연 또는 위상지연을 이용하여, 음향 빔포밍을 위한 가중치를 결정하고, 상기 음향 빔포밍을 위한 가중치를 각각 마이크로폰에 적용하여 빔을 형성하여 음향을 수신하는 것을 포함할 수 있다.

또한, 상기 객체는 상기 전자장치의 사용자일 수 있다.

상기한 목적들을 달성하기 위한 본 개시의 다양한 실시 예에 따른 사진촬영 또는 동영상 리코딩시 오디오를 위한 빔포밍을 수행하는 듀얼 카메라를 포함하는 전자장치는 제1 또는 제2 이미지센서로부터 제1 영상과 제2 영상을 획득하고, 제1 방향 또는 제2 방향으로 음향 빔포밍을 수행하고, 상기 제1 영상 또는 상기 제2 영상과 함께 상기 제1 방향 또는 상기 제2 방향으로 빔포밍된 음향신호를 리코딩하여 저장하도록 제어하는 프로세서를 포함하되, 상기 제1 방향은 상기 제1 이미지센서의 방향이고, 상기 제2 방향은 상기 제2 이미지센서의 방향인 것을 포함할 수 있다.

상술한 바와 같이, 전화통화, 음성녹음, 또는 동영상 리코딩시 음원 추출을 원하는 객체를 선택하고, 상기 객체와 이미지센서 사이의 거리를 측정하고, 상기 객체와 복수의 마이크로폰 사이의 거리를 측정하여 빔포밍을 수행함으로써, 음향신호를 획득하기 위한 빔포밍 성능을 향상시킬 수 있습니다.

도 1은 다양한 실시 예에 따른 마이크로폰 배열을 이용하여 원하는 음원을 수신하고 원치 않는 음원을 감쇄시키는 빔포밍 예시도이다.
도 2는 다양한 실시 예에 따른 다수 마이크로폰을 포함하는 전자장치에서 음향신호를 획득하기 위한 빔포밍을 수행하기 위한 흐름도이다.
도 3은 다양한 실시 예에 따른 음향신호를 획득하기 위한 빔포밍의 객체를 선택하는 사용자 인터페이스 예시도이다.
도 4는 다양한 실시 예에 따른 전자장치에서 수평 등간격으로 2개의 마이크로폰이 실장된 구조 및 거리 계산 방법에 대한 도면이다.
도 5는 다양한 실시 예에 따른 전자장치에서 수평 비등간격으로 2개의 마이크로폰이 실장된 구조 및 거리 계산 방법에 대한 도면이다.
도 6은 다양한 실시 예에 따른 전자장치에서 수평 등간격으로 4개의 마이크로폰이 실장된 구조 및 거리 계산 방법에 대한 도면이다.
도 7은 다양한 실시 예에 따른 전자장치에서 수직 등간격으로 2개의 마이크로폰이 실장된 구조 및 거리 계산 방법에 대한 도면이다.
도 8은 다양한 실시 예에 따른 전자장치에서 수평 등간격으로 2개, 수직 등간격으로 2개의 마이크로폰이 실장된 구조 및 거리 계산 방법에 대한 도면이다.
도 9는 다양한 실시 예에 따른 빔포밍을 수행하기 위한 GSC(Generalized Sidelobe Canceller) 블록 다이어그램이다.
도 10은 다양한 실시 예에 따른 듀얼 카메라를 포함하는 전자장치에서 동영상 리코딩시 오디오를 위한 빔포밍을 수행하는 예시도이다.
도 11은 본 개시의 다양한 실시 예에 따른 듀얼 카메라를 포함하는 전자장치에서 동영상 리코딩시 오디오를 위한 빔포밍을 수행하는 흐름도이다.
도 12는 본 개시의 다양한 실시 예에 따른 듀얼 카메라를 포함하는 전자장치에서 동영상 리코딩시 오디오를 위한 빔포밍을 수행하는 흐름도이다.
도 13은 본 개시의 다양한 실시 예에 따른 전자 장치의 구성도이다.
도 14(a) 내지 도 14(c)는 본 개시의 다양한 실시 예에 따른 스테레오 방식의 거리측정 예시도이다.
도 15(a) 내지 도 15(b)는 본 개시의 다양한 실시 예에 따른 구조광 방식의 거리측정 예시도이다.
도 16(a) 내지 도 16(b)는 본 개시의 다양한 실시 예에 따른 TOF 방식의 거리측정 예시도이다.

이하 본 개시의 다양한 실시 예를 첨부된 도면의 참조와 함께 상세히 설명한다. 그리고, 본 개시을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략할 것이다. 그리고 후술되는 용어들은 본 개시에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

이하, 본 개시의 다양한 실시 예는 복수의 마이크로폰을 포함하는 전자장치에서 예컨대, 통화, 녹음, 또는 동영상 리코딩시 주변의 다양한 소음으로부터 원하는 음원을 선택적으로 획득하는 방법 및 장치에 관해 설명하기로 한다.

특히, 본 개시의 한 실시 예에 따르면, 거리측정을 위한 센서로부터 선택된 객체까지의 제1 거리를 측정하고 측정된 제1 거리를 기반으로 각각의 마이크로폰까지의 지연(Delay)(또는 제2 거리)을 계산하여, 계산된 지연을 필터 및 음원 보정 알고리즘 등에 적용하여 음원을 선택적으로 획득할 수 있다.

더하여, 본 개시의 다양한 실시 예는 듀얼 이미지 센서를 포함하는 전자장치에서 원하는 객체의 음원을 선택하여 동영상을 리코딩하는 방법 및 장치를 설명하기로 한다.

도 1은 다양한 실시 예에 따른 마이크로폰 배열을 기반으로 원하는 음원을 수신하고 원하지 않는 음원을 감쇄시키는 빔포밍 예를 도시하고 있다.

상기 도 1을 참조하면, 다수의 마이크로폰(101_1 내지 101_n)이 등간격 또는 비등간격으로 배열을 구성될 수 있다. 또한, 마이크로폰 배열(100)은 예컨대 스마트폰, 비디오 캠코더 같은 전자장치 내부에 포함될 수 있다.

상기 도 1을 참조하면, 마이크로폰 배열(100)을 통해 각각 수신된 음성신호 및 잡음신호로부터 미리 설정된 방향(또는, 원하는 방향)(110)의 음원(130)에서 발생된 음향 신호만을 선택하여 출력하고 미리 설정되지 아니한 방향의 음원(120, 140)에서 발생된 음향 신호는 제거될 수 있다.

특정방향으로 빔을 형성하는 빔포밍(Beamforming) 기법은 크게 입력 정보의 사용 유무에 따라 고정 빔포밍과 적응 빔포밍으로 구분된다. 고정 빔포밍의 대표적인 예는 DSB(Delay and Sum Beamforming)으로 각 채널당 입력신호들의 시간지연을 보상하여 목적신호에 대해 위상 정합을 시키는 방식이다. 그밖에 LMS(Least Mean Square) 방식과 Dolph-Chebyshev 방식이 있다. 하지만, 상기 고정 빔포밍은 빔포머의 가중치가 신호의 위치와 주파수, 그리고 채널간의 간격에 의해 고정되기 때문에 신호 환경에 적응적이지 못하여 그 성능에 한계가 있을 수 있다.

반면, 상기 적응 빔포밍은 신호환경에 따라 빔포머의 가중치가 변하도록 설계되어 있다. 대표적인 적응 빔포밍 방식으로 GSC(Generalized Side-lobe Canceller)와 LCMV(Linearly Constrained Minimum Variance) 방식이 있다. GSC 방식은 고정 빔포밍과 목적신호 차단행렬, 그리고 다중 간섭제거기로 구성될 수 있다. 상기 목적신호 차단행렬에서는 입력신호들을 이용하여 음성신호를 차단하고 잡음신호만을 출력한다. 상기 목적신호 차단행렬에서 출력된 잡음신호들을 이용하여 다중 간섭제거기에서는 이미 잡음이 한번 제거된 고정 빔포밍의 출력신호에 재차 잡음을 제거할 수 있다.

도 2는 다양한 실시 예에 따른 다수 마이크로폰을 포함하는 전자장치에서 음향신호를 획득하기 위한 빔포밍을 수행하기 위한 흐름도를 도시하고 있다.

상기 도 2를 참조하면, 200동작에서, 전자장치는 내부 마이크로폰 배열을 통해 빔포밍을 적용할 적어도 하나의 객체를 선택할 수 있다. 상기 빔포밍이 적용될 객체는 음향신호를 발생하는 주체로써, 예컨대 상기 전자장치의 사용자, 제3자, 동물, 기계 또는 주변의 사물이 될 수 있다. 한편, 빔포밍을 적용할 객체 선택은 예컨대 사진촬영, 동영상 리코딩, 음성녹음, 또는 전화통화 등의 동작 전에 또는 동작 중에 수행될 수 있다.

여기서, 상기 빔포밍이 적용될 객체는 상기 전자장치에 포함된 이미지 센서를 통해 획득된 영상을 통해 선택되거나 음성인식을 통해 선택될 수 있다. 예를 들어, 하기 도 3을 참조하면, 디스플레이 영상 내 적어도 하나의 객체가 호버링 또는 터치를 통해 선택될 수 있다. 다른 실시 예에서, 디스플레이 영상 내 특정 얼굴을 인식하여, 자동으로 선택할 수도 있다. 또 다른 실시 예에서, 디스플레이 영상 내 사람 입술의 움직임을 인식 또는 입술 인식(lip recognition)하여, 자동으로 선택할 수도 있다. 예컨대, 얼굴인식은 특정사람을 추적하여 상기 특정 사람을 기준으로 빔포밍이 수행될 수도 있고, 사람입술의 움직임을 인식하는 것은, 말하는 사람을 추적하여 상기 말하는 사람을 기준으로 빔포밍이 수행될 수도 있으며, 입술인식(lip recognition)은 얼굴 중 입술을 인식하여 객체의 소리가 발생되는 입술 부분까지 정확한 거리 측정을 통해 빔포밍 성능을 향상 시킬 수도 있다.

또 다른 실시 예에서는, 음성인식을 통해, 기등록된 음성에 대응하는 음성이 입력될 때, 상기 입력 음성에 대응하는 객체가 선택될 수 있다. 예컨대, 특정음성이 입력될 시, 특정음성에 대응하는 객체의 위치 또는 방향을 검출하여, 특정음성에 대응하는 객체로 빔을 형성할 수도 있다.

또 다른 실시 예에서는, 음성인식, 얼굴인식 그리고 입술인식이 결합하여, 객체가 선택될 수 있다. 예를 들어, 디스플레이 영상 내 특정사람을 인식하고, 상기 특정사람의 입술 움직임을 추적하여, 빔포밍이 수행될 수 있다.

202동작에서, 전자장치는 거리측정을 위한 센서를 이용하여 상기 선택된 객체와 상기 거리측정을 위한 센서 사이의 제1 거리를 측정할 수 있다. 상기 거리측정을 위한 센서는 적외선 거리측정 센서 또는 초음파 거리측정 센서 또는 영상들로부터 3차원 정보를 획득하는 3차원 깊이센서(3D depth sensors) 또는 3차원 이미지 센서 중 하나일 수 있다.

상기 3차원 깊이 센서 또는 상기 3차원 이미지 센서를 이용한 거리측정 방식은 예컨대, 복수의 이미지 센서를 활용한 스테레오 방식(하기 도 14 참조), 깊이 카메라(Depth-Camera)를 활용한 TOF(Time of Flight) 방식(하기 도 16 참조), 패턴화된 빛을 조사하여 이미지의 굴곡이나 이동 정도를 판단하여 거리를 추출하는 구조광(structured light) 방식 등이 이용될 수 있다(하기 도 15 참조). 상기 스테레오 방식, 상기 TOF 방식 및 상기 구조광 방식은 깊이맵(depth map)을 기반으로 객체와 센서 또는 객체와 카메라 사이의 거리 및 이미지 중심을 기준으로 각도를 추출할 수 있다. 여기서, 깊이맵(depth map)을 기반으로 객체와 센서 또는 객체와 카메라 사이의 거리 및 이미지 중심을 기준으로 각도를 추출하는 알고리즘은 다양한 거리측정 및 각도측정 알고리즘을 통해 구현될 수 있으며, 어느 하나의 거리측정 및 각도측정 알고리즘에 제한되지 않는다.

상기 스테레오 방식은 인간의 두 눈과 같이 한 쌍의 카메라 혹은 그 이상의 카메라로부터 들어오는 영상을 이용하여 환경/물체의 삼차원 형태를 측정하는 방법으로, 예컨대, 두 개 이상의 이미지 센서를 이용하여 이미지 센서의 위상차이를 이용한 거리측정 방법이고, 상기 TOF 방식은 물체에 의해 반사되어 오는 돌아오는 시간차에 기반한 거리측정 방법이고, 상기 구조광 방식은 패턴화된 빛을 조사하여 이미지의 굴곡이나 시프트(Shift) 정도를 판단하여 거리를 추출하는 방법이다.

하지만, 본 발명에 따른 다양한 실시 예는, 스테레오 방식, TOF 방식, 구조광 방식을 위한 상기 3차원 깊이 센서 또는 상기 3차원 이미지 센서에 제한되지 않으며, 객체까지 거리를 측정할 수 있는 다양한 방식의 이미지 센서, 거리 측정 센서 등이 모두 이용될 수 있다.

이후, 204동작에서 전자장치는 상기 측정된 제1 거리를 이용하여, 상기 선택된 객체와 마이크로폰 사이의 제2 거리 또는 시간지연(또는 위상지연)을 계산할 수 있다. 상기 측정된 제1 거리를 이용한 제2 거리는 본 개시의 하나의 실시 예(하기 도 4 내지 도 8)에 따라서 측정될 수 있으며 실시 예 이외의 마이크로폰이 실장된 구조에서도 본 개시의 실시 예에 기반하여 제2 거리를 계산할 수 있으며 본 개시의 도 4 내지 도 8의 측정방법에 한정되지 않는다.

이후, 206동작에서 전자장치는 상기 선택된 객체와 마이크로폰 사이의 제2 거리에 대응하는 시간지연 또는 위상지연을 기반으로, 성능향상을 위한 필터(Filter) 및 보정 알고리즘, 예를 들어, GSC와 LCMV 방식 같은 적응 빔포밍 방식을 적용하여, 빔포밍을 수행할 수 있다. 예를 들어, 하기 도 9는 GSC 블록 다이어그램을 도시하고 있다. 하지만, 본 개시의 다양한 실시 예들은 하기 도 9는 GSC 블록 다이어그램에 제한되지 않으며, 다양한 성능향상을 위한 필터(Filter) 및 보정 알고리즘에 적용할 수 있다.

즉, 206동작에서 전자장치는 계산된 제2 거리에 대응하는 시간지연 또는 위상지연을 기반으로, 해당 필터 또는 보정 알고리즘을 적용하여, 선택된 객체로부터의 음향신호를 획득할 수 있다.

이후, 208동작에서 전자장치는 빔포밍되어 수신된 객체의 음향신호를 메모리에 저장하거나 또는 네트워크를 통해 전송(325)할 수 있다. 예컨대, 빔포밍되어 마이크로폰을 통해 입력된 음향신호는 각 동작 모드(예컨대, 전화통화, 음성녹음, 동영상 리코딩)의 설정에 따라 상기 전자장치 내부 메모리에 저장되거나, 상기 전자장치의 통신모듈을 통해 네트워크로 전송될 수 있다.

이후, 210동작에서 빔포밍 기능이 종료될 시, 빔포밍 기능을 종료하고, 반면 빔포밍 기능이 종료되지 않을 시, 202동작으로 되돌아간다. 예컨대, 빔포밍 기능이 종료되기 전까지, 선택된 객체와 거리측정을 위한 센서(예컨대, 3차원 이미지 센서, 거리 측정 센서 등) 사이의 거리가 주기적으로 또는 비주기적으로 추적되어 측정될 수 있으며, 측정된 제1 거리를 이용하여 선택된 객체와 마이크로폰 사이의 시간지연 또는 위상지연이 계산되어, 필터 및 보정 알고리즘에 적용될 수 있다.

도 3은 본 발명에 따른 빔포밍 객체를 선택하는 사용자 인터페이스 예를 도시하고 있다.

상기 도 3의 (a)을 참조하면, 전자장치(350)에서 이미지 센서를 통해 영상이 디스플레이에 표시되고, 사용자에 의해 영상으로부터 하나의 객체(300)가 터치될 수 있다. 다른 실시 예에서, 디스플레이 영상 내 특정 얼굴(300)을 인식하여, 자동으로 선택할 수도 있다. 또 다른 실시 예에서, 디스플레이 영상 내 사람 입술의 움직임을 인식하여, 자동으로 선택할 수도 있다. 또 다른 실시 예에서는, 음성인식을 통해, 기등록된 음성에 대응하는 음성이 입력될 때, 상기 입력 음성에 대응하는 객체가 선택될 수 있다. 예컨대, 특정음성이 입력될 시, 특정음성에 대응하는 객체의 위치 또는 방향을 검출하여, 특정음성에 대응하는 객체로 빔을 형성할 수도 있다. 또 다른 실시 예에서는, 음성인식, 얼굴인식 그리고 입술인식이 결합하여, 객체가 선택될 수 있다. 예를 들어, 디스플레이 영상 내 특정사람을 인식하고, 상기 특정사람의 입술 움직임을 추적하여 빔포밍이 수행될 수 있다.

상기 도 3의 (b)을 참조하면, 전자장치(350)에서 이미지 센서를 통해 영상이 디스플레이에 표시되고, 사용자에 의해 영상으로부터 둘 이상의 객체(310, 320)가 터치를 통해 선택될 수 있다. 다른 실시 예에서, 디스플레이 영상 내 둘 이상의 특정 얼굴(310, 320)을 인식하여, 자동으로 선택할 수도 있다. 또 다른 실시 예에서, 디스플레이 영상 내 둘 이상의 사람 입술 또는 입술의 움직임을 인식하여, 자동으로 선택할 수도 있다. 또 다른 실시 예에서는, 음성인식을 통해 기등록된 음성에 대응하는 음성이 입력될 때 상기 입력 음성에 대응하는 둘 이상의 객체가 선택될 수 있다. 즉, 둘 이상의 특정음성이 입력될 시, 특정음성에 대응하는 객체의 위치 또는 방향을 검출하여, 둘 이상의 특정음성에 대응하는 객체로 멀티 빔을 형성할 수도 있다. 또 다른 실시 예에서는, 음성인식, 얼굴인식 그리고 입술인식이 결합하여, 둘 이상의 객체가 선택될 수 있다. 예를 들어, 디스플레이 영상 내 둘 이상의 특정사람을 인식하고, 상기 둘 이상의 특정사람의 입술 또는 입술 움직임을 추적하여, 멀티 빔포밍이 수행될 수 있다.

상기 도 3 (a), (b)는 단일 객체 선택과 다수 객체 선택에 대한 사용자 인터페이스로써, 얼굴인식, 입술움직임 인식, 음성인식, 또는 터치 같은 사용자 제스처에 의해 객체가 선택될 수 있고, 동영상 촬영시 또는 정지영상 촬영시 음성녹음이 필요한 경우에 빔포밍이 수행되거나, 음성녹음, 음성통화, 동영상 통화 등의 환경에서도 원하는 소리를 획득할 수 있다.

하기 도 4 내지 하기 도 8은 전자장치에서 거리측정을 위한 센서 및 다수의 마이크로폰의 배치와 객체와 마이크로폰 사이의 거리 계산을 위한 방법을 도시하고 있다.

도 4는 본 발명의 실시 예에 따른 전자장치에서 수평 등간격으로 2개의 마이크로폰이 실장된 구조 및 거리 계산 방법을 도시하고 있다.

상기 도 4(a)는, 전자장치(400)에 거리측정 센서(410)와 복수의 마이크로폰(421,422)이 수평 등간격으로 배치된 도면이고, 상기 도 4(b)는 상기 도 4 (a)에서 하나의 객체가 선택된 경우 상기 선택된 객체와 마이크로폰(421,422) 사이의 거리 계산을 위한 도면이고, 상기 도 4(c)는 상기 도 4(a)에서 두 개의 객체가 선택된 경우 상기 선택된 객체와 마이크로폰(421,422) 사이의 거리 계산을 위한 도면이다.

상기 도 4(b)에서, 하나의 객체와 마이크로폰(421,422) 사이의 거리는 하기 <수학식 1>을 참조하면 계산될 수 있다.

여기서, r1은 객체와 제1 마이크로폰 사이의 거리이고, r은 객체와 거리측정을 위한 센서 사이의 거리이고, x는 제1 마이크로폰과 제2 마이크로폰 사이의 거리이고, φ는 거리 r에 대응하는 선분과 마이크로폰과 거리측정을 위한 센서 사이의 거리에 대응하는 선분이 이루는 각도이다.

상기 도 4(c)에서, 두 개의 객체와 마이크로폰(421,422) 사이의 거리는 하기 <수학식 2>을 참조하면 계산될 수 있다.

여기서, r1은 제1 객체와 제1 마이크로폰 사이의 거리이고, r2는 제1 객체와 제2 마이크로폰 사이의 거리이고, p은 제1 객체와 거리측정을 위한 센서 사이의 거리이고, x는 제1 마이크로폰과 제2 마이크로폰 사이의 거리이고, φ는 거리 p에 대응하는 선분과 마이크로폰과 거리측정을 위한 센서 사이의 거리에 대응하는 선분이 이루는 각도이다. 그리고, r3은 제2 객체와 제1 마이크로폰 사이의 거리이고, r4는 제2 객체와 제2 마이크로폰 사이의 거리이고, u은 제2 객체와 거리측정을 위한 센서 사이의 거리이고, x는 제1 마이크로폰과 제2 마이크로폰 사이의 거리이고, θ는 거리 u에 대응하는 선분과 마이크로폰과 거리측정을 위한 센서 사이의 거리에 대응하는 선분이 이루는 각도이다.

도 5는 본 발명의 실시 예에 따른 전자장치에서 수평 비등간격으로 2개의 마이크로폰이 실장된 구조 및 거리 계산 방법을 도시하고 있다.

상기 도 5(a)는, 전자장치(500)에 거리측정 센서(510)와 복수의 마이크로폰(521,522)이 수평 비등간격으로 배치된 도면이고, 상기 도 5(b)는 상기 도 5(a)에서 하나의 객체가 선택된 경우 상기 선택된 객체와 마이크로폰(521,522) 사이의 거리 계산을 위한 도면이다.

상기 도 5(b)에서, 하나의 객체와 마이크로폰(521,522) 사이의 거리는 하기 <수학식 3>을 참조하면 계산될 수 있다.

여기서, r1은 객체와 제1 마이크로폰 사이의 거리이고, r은 객체와 거리측정을 위한 센서 사이의 거리이고, a는 제1 마이크로폰과 거리측정을 위한 센서 사이의 거리이고, b는 제2 마이크로폰과 거리측정을 위한 센서 사이의 거리이고, φ는 거리 r에 대응하는 선분과 마이크로폰과 거리측정을 위한 센서 사이의 거리에 대응하는 선분이 이루는 각도이다.

도 6은 본 발명의 실시 예에 따른 전자장치에서 수평 등간격으로 4개의 마이크로폰이 실장된 구조 및 거리 계산 방법을 도시하고 있다.

상기 도 6(a)은, 전자장치(600)에 거리측정 센서(610)와 복수의 마이크로폰(621,622, 623, 624)이 수평 등간격으로 배치된 도면이고, 상기 도 6(b)은 상기 도 6(a)에서 하나의 객체가 선택된 경우 상기 선택된 객체와 마이크로폰(621,622, 623, 624) 사이의 거리 계산을 위한 도면이고, 상기 도 6(c)은 상기 도 6(a)에서 두 개의 객체가 선택된 경우 상기 선택된 객체와 마이크로폰(621,622, 623, 624) 사이의 거리 계산을 위한 도면이다.

상기 도 6(b)에서, 하나의 객체와 마이크로폰(621,622, 623, 624) 사이의 거리는 하기 <수학식 4>을 참조하면 계산될 수 있다.

여기서, r1은 제1 객체와 제1 마이크로폰 사이의 거리이고, r2는 제1 객체와 제2 마이크로폰 사이의 거리이고, r3은 제1 객체와 제3 마이크로폰 사이의 거리이고, r4는 제1 객체와 제4 마이크로폰 사이의 거리이고, r은 제1 객체와 거리측정을 위한 센서 사이의 거리이고, x는 제1 마이크로폰과 제2 마이크로폰 사이의 거리이고, φ는 거리 r에 대응하는 선분과 마이크로폰과 거리측정을 위한 센서 사이의 거리에 대응하는 선분이 이루는 각도이다.

상기 도 6(c)에서, 두 개의 객체와 마이크로폰(621,622, 623, 624) 사이의 거리는 하기 <수학식 5>과 같이 계산될 수 있다.

여기서, r1은 제1 객체와 제1 마이크로폰 사이의 거리이고, r2는 제1 객체와 제2 마이크로폰 사이의 거리이고, r3은 제1 객체와 제3 마이크로폰 사이의 거리이고, r4는 제1 객체와 제4 마이크로폰 사이의 거리이고, p은 제1 객체와 거리측정을 위한 센서 사이의 거리이고, u은 제2 객체와 거리측정을 위한 센서 사이의 거리이고, x는 제1 마이크로폰과 제2 마이크로폰 사이의 거리이고, φ는 거리 p에 대응하는 선분과 마이크로폰과 거리측정을 위한 센서 사이의 거리에 대응하는 선분이 이루는 각도이고, θ는 거리 u에 대응하는 선분과 마이크로폰과 거리측정을 위한 센서 사이의 거리에 대응하는 선분이 이루는 각도이다.

도 7은 본 발명의 실시 예에 따른 전자장치에서 수직 등간격으로 2개의 마이크로폰이 실장된 구조 및 거리 계산 방법을 도시하고 있다.

상기 도 7(a)은, 전자장치(700)에 거리측정 센서(710)와 복수의 마이크로폰(721,722)이 수직 등간격으로 배치된 도면이고, 상기 도 7(b)은 상기 도 7(a)에서 하나의 객체가 선택된 경우 상기 선택된 객체와 마이크로폰(721,722) 사이의 거리 계산을 위한 도면이다.

상기 도 7(b)에서, 하나의 객체와 마이크로폰(721,722) 사이의 거리는 하기 <수학식 6>을 참조하면 계산될 수 있다.

여기서, r1은 객체와 제1 마이크로폰 사이의 거리이고, r은 객체와 거리측정을 위한 센서 사이의 거리이고, y는 제1 마이크로폰과 제2 마이크로폰 사이의 거리이고, φ는 거리 r에 대응하는 선분과 마이크로폰과 거리측정을 위한 센서 사이의 거리에 대응하는 선분이 이루는 각도이다.

도 8은 본 발명의 실시 예에 따른 전자장치에서 수평 등간격으로 2개, 수직 등간격으로 2개의 마이크로폰이 실장된 구조 및 거리 계산 방법을 도시하고 있다.

상기 도 8(a)은, 전자장치(800)에 거리측정 센서(810)와 마이크로폰(821,822)이 수평 등간격으로 배치되고, 거리측정 센서(810)와 마이크로폰(831,832)이 수직 등간격으로 배치된 도면이고, 상기 도 8(b)은 상기 도 8(a)에서 하나의 객체가 선택된 경우 상기 선택된 객체와 마이크로폰(821,822, 831, 832) 사이의 거리 계산을 위한 도면이고, 상기 도 8(c)은 상기 도 8(a)에서 두 개의 객체가 선택된 경우 상기 선택된 객체와 마이크로폰(821,822, 831, 832) 사이의 거리 계산을 위한 도면이다.

상기 도 8(b)에서, 하나의 객체와 마이크로폰(821,822, 831, 832) 사이의 거리는 하기 <수학식 7>을 참조하면 계산될 수 있다.

여기서, rx1은 제1 객체와 제1 마이크로폰 사이의 거리이고, rx2는 제1 객체와 제2 마이크로폰 사이의 거리이고, ry1은 제1 객체와 제3 마이크로폰 사이의 거리이고, ry2는 제1 객체와 제4 마이크로폰 사이의 거리이고, r은 제1 객체와 거리측정을 위한 센서 사이의 거리이고, x는 제1 마이크로폰과 제2 마이크로폰 사이의 거리이고, y는 제3 마이크로폰과 제4 마이크로폰 사이의 거리이고, φ는 거리 r에 대응하는 선분과 마이크로폰과 거리측정을 위한 센서 사이의 거리에 대응하는 선분이 이루는 각도이다.

상기 도 8(c)에서, 두 개의 객체와 복수의 마이크로폰(821,822, 831, 832) 사이의 거리는 하기 <수학식 8>을 참조하면 계산될 수 있다.

여기서, rx1은 제1 객체와 제1 마이크로폰 사이의 거리이고, rx2는 제1 객체와 제2 마이크로폰 사이의 거리이고, ry1은 제1 객체와 제3 마이크로폰 사이의 거리이고, ry2는 제1 객체와 제4 마이크로폰 사이의 거리이고, p은 제1 객체와 거리측정을 위한 센서 사이의 거리이고, u는 제2 객체와 거리측정을 위한 센서 사이의 거리이고, x는 제1 마이크로폰과 제2 마이크로폰 사이의 거리이고, y는 제3 마이크로폰과 제4 마이크로폰 사이의 거리이고, φ는 거리 p에 대응하는 선분과 마이크로폰과 거리측정을 위한 센서 사이의 거리에 대응하는 선분이 이루는 각도이고, θ는 거리 u에 대응하는 선분과 마이크로폰과 거리측정을 위한 센서 사이의 거리에 대응하는 선분이 이루는 각도이다.

도 9는 본 발명의 실시 예에 따른 빔포밍을 수행하기 위한 GSC(Generalized Side-lobe Canceller) 블록 다이어그램을 도시하고 있다.

상기 도 9를 참조하면, GSC는 고정 빔포밍과 목적신호 차단행렬, 그리고 다중 간섭제거기로 구성될 수 있다.

서로 다른 위상을 갖는 목적신호인 4개의 신호를 생성하기 위해, 4개의 마이크로폰 출력들은 시간 지연되어 조향(time-delayed steered)될 수 있다. 이때, 4개 신호들은 차단행렬로 전송된다. 상기 차단행렬에서는 입력신호들을 이용하여 음성신호를 차단하고 잡음신호만을 출력할 수 있다. 차단행렬은 적응적으로 잡음을 제거 해야하므로 다수의 필터(FIR1, FIR2, FIR3)로 잡음을 전달할 수 있다. 여기서, 각 필터의 필터 가중치는 LMS(least mean square) 알고리즘에 의해 결정될 수 있다.

상기 목적신호 차단행렬에서 출력된 잡음신호들을 이용하여 다중 간섭 제거기에서는 이미 잡음이 한번 제거된 고정 빔포밍의 출력신호에 재차 잡음을 제거할 수 있다.

상술한 바와 같이, 선택된 객체와 마이크로폰 사이 거리에 대응하는 시간지연 또는 위상지연은 GSC 내에서 빔포밍을 위한 가중치를 결정하거나 잡음을 제거할 때 이용될 수 있다. 하지만, 필터 및 성능 보정 알고리즘은 본 발명에서 개시한 GSC 이외에 다양한 방법으로 구현 가능하다.

본 발명의 실시 예에 따른 전자장치는 그 제1 면 (예: 전면부, 좌측부, 또는 하단부) 또는 제2 면 (예: 후면부, 우측부, 또는 상단부) 각각에 대응하는 (예: 해당 면의 방향에 있는 이미지를 포착하는) 복수 개의 이미지 센서들을 포함할 수 있다. 예를 들면, 전면부에 대응하는 이미지센서를 이용하여 사용자의 신체 부위(예컨데, 사용자의 얼굴)를 촬영하고 후면부에 대응하는 이미지 센서를 이용하여 배경을 촬영할 수 있다.

도 10(a) 내지 (c)는 본 발명의 실시 예에 따른 듀얼 카메라를 포함하는 전자장치에서 동영상 리코딩 시 오디오를 위한 빔포밍을 수행하는 예를 도시하고 있다.

도 10의 (a) 내지 (c)는 본 발명의 실시 예에 따른 듀얼 카메라를 포함한 휴대용 단말기에서 듀얼 리코딩을 도시하고 있다.

도 10의 (a)을 참조하면, 전자장치의 전면부 및 후면부에 카메라가 배치되어 있으며, 전면부에 배치된 카메라(1020)를 이용하여 사용자 영상을 리코딩할 수 있고(1030), 후면부에 배치된 카메라(1010)를 이용하여 배경 영상을 리코딩할 수 있다(1040). 이때, 카메라(1020)와 카메라(1010)를 이용하여, 리코딩을 수행할 시, 제1 마이크로폰(1014) 또는 제2 마이크로폰(1012)을 통해, 오디오도 영상과 함께 녹음될 수 있다. 실시 예에 따라, 제1 마이크로폰(1014) 또는 제2 마이크로폰(1012)은 전자장치의 하단과 상단에 위치할 수 있지만, 제1 마이크로폰(1014) 또는 제2 마이크로폰(1012)의 위치는 전자장치의 하단과 상단에 제한되지 않으면, 다양하게 위치할 수 있다.

도 10의 (b)을 참조하면, 후면부에 배치된 카메라(1010)로 획득되는 배경 영상(1050)과 전면부에 배치된 카메라(1020)로 획득되는 사용자 영상(1060)을 PIP(Picture In Picture) 기능을 이용하여 배경 영상(1050)과 사용자 영상(1060)을 한 화면에 디스플레이할 수 있다. PIP 기능은 본 화면과 별도로 작은 화면을 동시에 표시할 수 있는 기능으로써, 배경 영상(1050)은 모화면이 되고, 사용자 영상(1060)은 PIP가 된다. 이때, 사용자 영상(1060)은 배영 영상 내에 다양하게 배치될 수 있다. 또한, 다양한 실시 예들에 따르면서, 사용자 영상(1060)이 모화면이 되고 배경 영상(1050)이 PIP가 될 수도 있다.

이때, 제1 마이크로폰(1014)과 제2 마이크로폰(1012)을 이용하여, 빔포밍이 수행될 수 있다. 예를 들어, 전면부의 카메라(1020) 방향으로부터의 제2 음향 신호(1041)(예컨대, 배경소리)이 도 10 (b)의 영상과 같이 리코딩되거나 후면부에 배치된 카메라(1010) 방향으로부터의 제1 음향신호(1031)(예컨대, 사용자 음성)이 도 10 (b)의 영상과 같이 리코딩될 수 있다.

도 10의 (c)을 참조하면, 후면부에 배치된 카메라(1010)로 획득되는 배경 영상(1050)을 한 화면에 디스플레이할 수 있다. 이때, 전면부에 배치된 카메라(1020)로 획득되는 사용자 영상(1030)은 제1 마이크로폰(1014) 및 제2 마이크로폰(1012)과 함께, 빔포밍에 이용될 수 있다. 예를 들어, 전면부에 배치된 카메라(1020)로 획득되는 사용자 영상(1030)은 사용자와 거리측정을 위한 센서 사이의 거리측정에 이용될 수 있으며, 사용자와 거리측정을 위한 센서 사이의 제1 거리는 제1 마이크로폰(1014) 또는 제2 마이크로폰(1012)과 사용자 사이의 제2 거리를 계산하는데 이용될 수 있다. 그리고, 제2 거리는 빔포밍을 수행하여, 제1 음향신호(1031) 또는 제2 음향신호(1041)를 획득하는데 이용될 수 있다.

따라서, 빔포밍을 통해 획득된 제1 음향신호(1031) 또는 제2 음향신(1041)은 후면부에 배치된 카메라(1010)로 획득되는 배경 영상(1050)과 함께 리코딩될 수 있다.

도 11은 본 개시의 실시 예에 따른 듀얼 카메라를 포함하는 전자장치에서 동영상 리코딩시 오디오를 위한 빔포밍을 수행하는 흐름도를 도시하고 있다.

상기 도 11을 참조하면, 1101동작에서 전자장치는 제1 또는 제2 이미지센서로부터 제1 영상과 제2 영상을 획득하고, 1103단계에서 획득한 제1 영상으로부터 제1 이미지센서와 사용자 사이의 거리측정을 위한 객체(예컨대, 제1 영상에 포함된 사용자)를 선택할 수 있다.

이후, 1105 동작에서, 전자장치는 제1 이미지센서와 사용자 사이의 거리를 이용하여, 마이크로폰과 사용자 사이의 거리를 계산한 후, 사용자 방향 또는 제1 이미지 센서 방향으로 음향 빔포밍을 수행할 수 있다.

이후, 1107동작에서 제1 영상 또는 제2 영상과 함께 사용자 방향 또는 제1 이미지센서 방향으로 빔포밍된 음향신호를 리코딩하여 저장할 수 있다.

도 12는 본 개시의 실시 예에 따른 듀얼 카메라를 포함하는 전자장치에서 동영상 리코딩 시 오디오 빔포밍을 수행하는 흐름도를 도시하고 있다.

상기 도 12를 참조하면, 1201동작에서 전자장치는 제1 또는 제2 이미지센서로부터 제1 영상과 제2 영상을 획득하고, 1203동작에서 제1 방향 또는 제2 방향으로 음향 빔포밍을 수행할 수 있다.

이후, 1205동작에서 제1 영상 또는 제2 영상과 함께 제1 방향 또는 제2 방향으로 빔포밍된 음향신호를 리코딩하여 저장할 수 있다.

도 13은 본 개시의 다양한 실시 예에 따른 전자장치의 구성도를 도시하고 있다.

전자장치(1300)는, 휴대용 단말기(portable terminal), 이동 단말기(mobile terminal), 이동 패드(mobile pad), 미디어 플레이어(media player), 태블릿 컴퓨터(tablet computer), 핸드헬드 컴퓨터(handheld computer) 또는 PDA(Personal Digital Assistant), 서버, 퍼스널 컴퓨터, 착용형 장치(wearable device) 등과 같은 장치일 수 있다. 또한, 이러한 장치들 중 두 가지 이상의 기능을 결합한 장치를 포함하는 임의의 전자장치일 수도 있다.

전자장치(1300)는 통신부(1310), 사용자 인터페이스부(1335), 센싱부(1340), 제어부(1350), 및 메모리(1360)를 포함할 수 있다. 상기 사용자 인터페이스부(1335)는 출력부(1320) 및 사용자 입력부(1330)를 포함할 수 있다. 상기 센싱부(1340)는 제1 이미지센서(1341), 제2 이미지센서(1342), 거리측정센서(1343), 마이크로폰(1344), 및 모션센서(1345)를 포함할 수 있다.

제1 이미지센서(1341) 또는 제2 이미지센서(1342)는 사진 및 비디오 클립 리코딩과 같은 카메라 기능을 수행할 수 있다. 또한, 다른 실시 예에서, 제1, 제2 이미지센서(1341, 1342)는 전자장치와 별도로 분리되어 예컨대, NFC(Near Field Communication), Bluetooth, BLE(Bluetooth Low Energy), 3G Network, 4G Network 또는 WiFi Direct 등 무선연결을 이용하여 전자장치와 연결될 수도 있다. 더 자세하게는, 제1 이미지센서(1341)는 전자장치의 후면에 위치하고 제2 이미지센서(1342)는 전자장치의 전면에 위치할 수 있다. 더하여, 도시하지 않았지만, 전자장치는 광학부, 신호처리부 등을 더 포함하여 구성될 수 있다. 상기 광학부는 메커 셔터(mecha-shutter), 모터 및 액추에이터에 의해 구동될 수도 있으며, 상기 액추에이터에 의해 주밍(zooming) 및 포커싱(focusing) 등의 동작을 수행할 수도 있다. 상기 광학부는 주변의 이미지를 촬영하며, 이미지센서는 상기 광학부에 의해 촬영되는 이미지를 감지하여 전기적인 신호로 변환할 수 있다. 여기서 상기 이미지 센서는 CMOS(Complementary Metal Oxide Semiconductor) 또는 CCD(Charged Coupled Device) 센서가 될 수 있으며, 고해상도의 이미지 센서가 될 수 있다.

다양한 실시 예에서, 제1 이미지센서(1341) 또는 제2 이미지센서(1342)는 스테레오 방식, TOF 방식, 또는 구조광 방식의 거리측정에 이용되는 3차원 깊이센서일 수 있다. 상기 스테레오 방식, 상기 TOF 방식 및 상기 구조광 방식은 깊이맵(depth map)을 기반으로 객체와 센서 또는 객체와 카메라 사이의 거리 및 이미지 중심을 기준으로 각도를 추출할 수 있다. 여기서, 깊이맵(depth map)을 기반으로 객체와 센서 또는 객체와 카메라 사이의 거리 및 이미지 중심을 기준으로 각도를 추출하는 알고리즘은 다양한 거리측정 및 각도측정 알고리즘을 통해 구현될 수 있으며, 어느 하나의 거리측정 및 각도측정 알고리즘에 제한되지 않는다.

거리측정센서(1343)는 피측정물에 지향성을 갖는 적외선, 초음파 또는 전자기파를 송신하여 피측정물로부터의 반사파를 수신하기까지의 시간을 측정하여 거리를 측정할 수 있다.

마이크로폰(1344)은 음성 인식, 음성 복제, 디지털 레코딩(recording) 및 전화통화 기능과 같은 오디오 스트림의 입력을 담당할 수 있다. 예컨대, 마이크로폰(1344)은 음성신호를 전기신호로 변환할 수 있다. 본 개시의 실시 예에서, 복수의 마이크로폰(1344)은 마이크로폰 배열을 구성할 수 있으며, 상기 도 1을 참조하면 마이크폰 배열을 통해 빔포밍이 수행될 수 있다.

모션 센서(1345)는 방향을 감지하는 지자기센서와 움직임을 감지하는 가속도 센서나 자이로 센서로 구성될 수 있다.

사용자 인터페이스부(1335)는 사용자 기기의 여러 가지 사용 모드(예컨대, 동영상 촬영, 영상통화, 음성녹음, 음성통화, 음성정보를 포함하는 정지영상 촬영등)에서 마이크로폰을 이용한 빔포밍 필요 시 사용자 입력에 따라 마이크로폰 빔포밍할 대상을 적어도 하나 이상 선택할 수 있다.

사용자 인터페이스부(1335)는 선택된 객체의 마이크로폰 빔포밍 설정 이후, 상기 객체를 자동으로 추적(Tracking)하여 거리측정을 위한 센서(예컨대, 3차원 깊이센서(1341, 1342) 또는 거리측정 센서(1343) 등)와 상기 선택된 객체 사이의 제1 거리 및 마이크로폰(1344)과 상기 선택된 객체 사이 제2 거리(또는 시간지연 또는 위상지연)를 연산, 보정하면서 지속적으로 객체를 추적하여 디스플레이할 수 있다.

출력부(1320)는 오디오 신호 또는 비디오 신호 또는 진동 신호의 출력을 위하여 디스플레이부(1321), 음향 출력부(1322) 및 진동 모터(1323) 등이 포함될 수 있다. 디스플레이부(1321)는 전자장치(1300)에서 처리되는 정보를 출력할 수 있다. 예를 들어, 디스플레이부(1321)는, 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시할 수 있다. 디스플레이부(1321)는 빔포밍 사용시 선택 및 설정된 객체를 추적하는 사용자 인터페이스를 디스플레이할 수 있다.

한편, 디스플레이부(1321)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 터치 스크린은 출력부(1320)의 기능 이외에 사용자 입력부(1330)의 기능을 수행하는 장치로 사용될 수 있다. 디스플레이부(1321)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 전자장치(1300)의 구현 형태에 따라 전자장치(1300)는 디스플레이부(1321)를 2개 이상 포함할 수도 있다. 이때, 2개 이상의 디스플레이부(1321)는 힌지(hinge) 등을 이용하여 마주보게 배치될 수 있다.

음향 출력부(1322)는 통신부(1310)로부터 수신되거나 메모리(1360)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력부(1322)는 음향 빔포밍을 통해 획득되어 저장된 콘텐츠 음원 및 음성 통화나 영상통화 등을 통해 실시간 스트림밍되는 콘텐츠 음원의 음향 신호를 출력할 수 있다. 또한, 음향 출력부(1322)는 전자장치(1300)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력할 수 있다. 이러한 음향 출력부(1322)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.

진동 모터(1323)는 진동 신호를 출력할 수 있다. 진동 모터(1323)는 가이드가 설정된 아이콘에 대한 사용자 입력이 수신되는 경우 촉각 피드백으로서 진동 신호를 출력할 수 있다. 또한, 진동 모터(1323)는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 진동 모터(1323)는 터치 스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다. 여기서, 촉각 피드백으로 진동 신호와 같은 햅틱 효과를 제공하기 위해 진동 모터(1323)와 함께, 또는 진동 모터(1323)를 대신하여 EAP(Electro Active Polymer), 피에조(Piezo) 등이 구성될 수도 있다.

사용자 입력부(1330)는 가이드 설정 모드에서 가이드 설정을 위한 사용자 입력을 수신할 수 있다. 사용자 입력부(1330)는 사용자 입력에 따라 아이콘을 지정하거나, 가이드로 제공될 콘텐츠를 지정할 수 있다.

사용자 입력부(1330)는, 사용자가 전자장치(1300)를 제어하기 위한 데이터를 입력하는 수단을 의미할 수 있다. 예를 들어, 사용자 입력부(1330)에는 소프트웨어 모듈 또는 물리적 기구 및 회로로 구현되는 버튼, 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(접촉식 정전 용량 방식, 전자기 유도 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다. 또한, 앞서 설명한 바와 같이 디스플레이부(1321)과 터치 패드가 결합하여 터치 스크린으로 구성될 수도 있다. 또한, 터치 스크린이 정전 용량 방식 또는 전자기 유도 방식의 터치 패드를 포함하여 구성되는 경우, 터치 스크린은 정전 용량 방식 또는 전자기 유도 방식의 펜(Pen)과 같은 액세서리를 통한 사용자 입력을 수신할 수도 있다.

통신부(1310)는 근거리통신부(1311), 이동통신부(1312) 그리고 방송수신부(1313)를 포함하여, 통신 기능을 수행할 수 있다. 예를 들어, 통신 프로세서(1352)의 제어하에 RF 신호를 기저대역 신호로 변환하여 통신 프로세서(1352)로 제공하거나 통신 프로세서(1352)로부터의 기저대역 신호를 RF 신호로 변환하여 송신할 수 있다. 여기서, 통신 프로세서(1352)는 다양한 통신방식에 기저대역신호를 처리할 수 있다. 예를 들어, 통신방식은, 이들에 한정하지는 않지만, GSM(Global System for Mobile Communication) 통신방식, EDGE(Enhanced Data GSM Environment) 통신방식, CDMA(Code Division Multiple Access) 통신방식, W-CDMA(W-Code Division Multiple Access) 통신방식, LTE(Long Term Evolution) 통신방식, OFDMA(Orthogonal Frequency Division Multiple Access) 통신방식, Wi-Fi(Wireless Fidelity) 통신방식, WiMax 통신방식 또는/및 Bluetooth 통신방식을 포함할 수 있다.

애플리케이션 프로세서(1351)는 여러 가지의 소프트웨어 프로그램을 실행하여 전자장치를 위한 여러 기능을 수행하고 통신 프로세서(1352)는 음성 통신 및 데이터 통신을 위한 처리 및 제어를 수행할 수 있다. 또한, 이러한 통상적인 기능에 더하여, 프로세서(1351, 1352)는 메모리(1360)에 저장되어 있는 특정한 소프트웨어 모듈(명령어 세트)을 실행하여 그 모듈에 대응하는 특정한 여러 가지의 기능을 수행하는 역할도 할 수 있다. 예컨대, 프로세서(1351, 1352)는 메모리(1360)에 저장된 소프트웨어 모듈들과 연동하여 본 개시의 다양한 실시 예에 따른 음향신호를 획득하기 위한 빔포밍 방법을 수행할 수 있다.

예를 들어, 애플리케이션 프로세서(1351)는, 내부 마이크로폰 배열을 통해 빔포밍을 적용할 적어도 하나의 객체를 선택할 수 있다. 여기서, 상기 빔포밍이 적용될 객체는 상기 전자장치에 포함된 이미지 센서를 통해 획득된 영상을 통해 선택되거나 음성인식을 통해 선택될 수 있다. 예를 들어, 하기 도 3을 참조하면, 디스플레이 영상 내 적어도 하나의 객체가 선택될 수 있다. 다른 실시 예에서, 디스플레이 영상 내 특정 얼굴을 인식하여, 자동으로 선택할 수도 있다. 또 다른 실시 예에서, 디스플레이 영상 내 사람 입술 또는 입술의 움직임을 인식하여, 자동으로 선택할 수도 있다. 예컨대, 얼굴인식은 특정사람을 추적하여 상기 특정 사람을 기준으로 빔포밍이 수행될 수 있고, 사람입술의 움직임을 인식하는 것은, 말하는 사람을 추적하여 상기 말하는 사람을 기준으로 빔포밍이 수행될 수 있으며, 입술인식(lip recognition)은 얼굴 중 입술을 인식하여 객체의 소리가 발생되는 입술 부분까지 정확한 거리 측정을 통해 빔포밍 성능을 향상 시킬 수도 있다. 또 다른 실시 예에서는, 음성인식을 통해, 기등록된 음성에 대응하는 음성이 입력될 때, 상기 입력 음성에 대응하는 객체가 선택될 수 있다. 예컨대, 특정음성이 입력될 시, 특정음성에 대응하는 객체의 위치 또는 방향을 검출하여, 특정음성에 대응하는 객체로 빔을 형성할 수도 있다. 또 다른 실시 예에서는, 음성인식, 얼굴인식 그리고 입술인식이 결합하여, 특정 객체가 선택될 수 있다. 예를 들어, 디스플레이 영상 내 특정사람을 인식하고, 상기 특정사람의 입술 움직임을 추적하여, 빔포밍이 수행될 수 있다.

또한, 애플리케이션 프로세서(1351)는, 거리측정을 위한 센서를 이용하여 상기 선택된 객체와 상기 거리측정을 위한 센서 사이의 제1 거리를 측정할 수 있고, 상기 측정된 제1 거리를 이용하여, 상기 선택된 객체와 마이크로폰 사이의 제2 거리 또는 시간지연(또는 위상지연)을 계산할 수 있고, 상기 측정된 제1 거리를 이용한 제2 거리는 본 개시의 하나의 실시 예(하기 도 4 내지 도 8)에 따라서 측정될 수 있으며, 상기 선택된 객체와 마이크로폰 사이의 제2 거리에 대응하는 시간지연 또는 위상지연을 기반으로, 성능향상을 위한 필터(Filter) 및 보정 알고리즘, 예를 들어, GSC와 LCMV 방식 같은 적응 빔포밍 방식을 적용하여, 빔포밍을 수행할 수 있고, 계산된 제2 거리에 대응하는 시간지연 또는 위상지연을 기반으로, 해당 필터 또는 보정 알고리즘을 적용하여, 선택된 객체로부터의 음향신호를 획득할 수 있고, 빔포밍되어 수신된 객체의 음향신호를 메모리에 저장하거나 또는 네트워크를 통해 전송할 수 있다.

다른 실시 예에서, 애플리케이션 프로세서(1351)는, 제1 또는 제2 이미지센서로부터 제1 영상과 제2 영상을 획득하고, 획득된 제1 영상으로부터 제1 이미지센서와 사용자 사이의 거리측정을 위한 객체(예컨데, 제1 영상에 포함된 사용자)를 선택하고, 제1 이미지센서와 사용자 사이의 거리를 이용하여, 마이크로폰과 사용자 사이의 거리를 계산한 후, 사용자 방향 또는 제1 이미지 센서 방향으로 음향 빔포밍을 수행하고, 제1 영상 또는 제2 영상과 함께 사용자 방향 또는 제1 이미지센서 방향으로 빔포밍된 음향신호를 리코딩하여 저장할 수 있다.

또 다른 실시 예에서, 애플리케이션 프로세서(1351)는, 제1 또는 제2 이미지센서로부터 제1 영상과 제2 영상을 획득하고, 1203단계에서 제1 방향 또는 제2 방향으로 음향 빔포밍을 수행하고, 제1 영상 또는 제2 영상과 함께 제1 방향 또는 제2 방향으로 빔포밍된 음향신호를 리코딩하여 저장할 수 있다.

메모리(1360)는 UI 모듈(1361), 센싱모듈(1362), 터치스크린모듈(1363), 애플리케이션모듈(1364) 같은 소프트웨어를 저장할 수 있다. 소프트웨어 구성요소는 운영 체제(operating system) 소프트웨어 모듈, 통신 소프트웨어 모듈, 그래픽 소프트웨어 모듈, 사용자 인터페이스 소프트웨어 모듈 및 터치스크린 모듈, 카메라 소프트웨어 모듈, 하나 이상의 애플리케이션 소프트웨어 모듈 등을 포함할 수 있다. 또한, 소프트웨어 구성요소인 모듈은 명령어들의 집합으로 표현할 수 있으므로, 모듈을 명령어 세트(instruction set)라고 표현하기도 할 수 있다. 모듈은 또한 프로그램으로 표현하기도 할 수 있다.

운영 체제 소프트웨어는 일반적인 시스템 동작(system operation)을 제어하는 여러 가지의 소프트웨어 구성요소를 포함할 수 있다. 이러한 일반적인 시스템 작동의 제어는, 예를 들면, 메모리 관리 및 제어, 저장 하드웨어(장치) 제어 및 관리, 전력 제어 및 관리 등을 의미할 수 있다. 이러한 운영 체제 소프트웨어는 여러 가지의 하드웨어(장치)와 소프트웨어 구성요소(모듈) 사이의 통신을 원활하게 하는 기능도 수행할 수 있다.

통신 소프트웨어 모듈은, 통신부(1310)를 통해 컴퓨터, 서버 및/또는 휴대용 단말기 등 다른 전자 장치와 통신을 가능하게 할 수 있다. 그리고, 통신 소프트웨어 모듈은, 해당 통신방식에 해당하는 프로토콜 구조로 구성된다.

그래픽 소프트웨어 모듈은 터치스크린 상에 그래픽을 제공하고 표시하기 위한 여러 가지 소프트웨어 구성요소를 포함할 수 있다. 그래픽(graphics)이란 용어는 텍스트(text), 웹 페이지(web page), 아이콘(icon), 디지털 이미지(digital image), 비디오(video), 애니메이션(animation) 등을 포함하는 의미로 사용될 수 있다.

UI 모듈(1361)은 사용자 인터페이스에 관련한 여러 가지 소프트웨어 구성요소를 포함할 수 있다. 사용자 인터페이스의 상태가 어떻게 변경되는지 또는 사용자 인터페이스 상태의 변경이 어떤 조건에서 이루어지는지 등에 대한 내용을 포함할 수 있다. 센싱 모듈(1362)은 센서관련 프로세스 및 기능들을 가능하게 하는 센서 관련 소프트웨어 구성요소를 포함하고, 터치스크린 모듈(1363)은 터치스크린 관련 프로세스 및 기능들을 가능하게 하는 터치스크린 관련 소프트웨어 구성요소를 포함할 수 있다.

애플리케이션 모듈(1364)은 웹브라우저(browser), 이메일(email), 인스턴트 메시지(instant message), 워드 프로세싱(word processing), 키보드 에뮬레이션(keyboard emulation), 어드레스 북(address book), 접촉 리스트(touch list), 위젯(widget), 디지털 저작권 관리(DRM, Digital Right Management), 음성 인식(voice recognition), 음성 복제, 위치 결정 기능(position determining function), 위치기반 서비스(location based service) 등을 포함할 수 있다. 메모리(1360)는 위에서 기술한 모듈 이외에 추가적인 모듈(명령어들)을 포함할 수 있다. 또는, 필요에 따라, 일부의 모듈(명령어들)을 사용하지 않을 수 있다.

다양한 실시 예에서, 애플리케이션 모듈은 음향신호를 획득하기 위한 빔포밍을 위한 명령어들(상기 도 2, 상기 도 11 그리고 상기 도 12 참조)을 포함할 수 있다.

예를 들어, 애플리케이션 모듈은, 내부 마이크로폰 배열을 통해 빔포밍을 적용할 적어도 하나의 객체를 선택할 수 있고, 거리측정을 위한 센서를 이용하여 상기 선택된 객체와 상기 거리측정을 위한 센서 사이의 제1 거리를 측정할 수 있고, 상기 측정된 제1 거리를 이용하여, 상기 선택된 객체와 마이크로폰 사이의 제2 거리 또는 시간지연(또는 위상지연)을 계산할 수 있고, 상기 측정된 제1 거리를 이용한 제2 거리는 본 개시의 하나의 실시 예(하기 도 4 내지 도 8)에 따라서 측정될 수 있으며, 상기 선택된 객체와 마이크로폰 사이의 제2 거리에 대응하는 시간지연 또는 위상지연을 기반으로, 성능향상을 위한 필터(Filter) 및 보정 알고리즘, 예를 들어, GSC와 LCMV 방식 같은 적응 빔포밍 방식을 적용하여, 빔포밍을 수행할 수 있고, 계산된 제2 거리에 대응하는 시간지연 또는 위상지연을 기반으로, 해당 필터 또는 보정 알고리즘을 적용하여, 선택된 객체로부터의 음향신호를 획득할 수 있고, 빔포밍되어 수신된 객체의 음향신호를 메모리에 저장하거나 또는 네트워크를 통해 전송할 수 있는 명령어를 포함할 수 있다.

다른 실시 예에서, 애플리케이션 모듈은, 제1 또는 제2 이미지센서로부터 제1 영상과 제2 영상을 획득하고, 획득한 제1 영상으로부터 제1 이미지센서와 사용자 사이의 거리측정을 위한 객체(예컨대, 제1 영상에 포함된 사용자)를 선택하고, 제1 이미지센서와 사용자 사이의 거리를 이용하여, 마이크로폰과 사용자 사이의 거리를 계산한 후, 사용자 방향 또는 제1 이미지 센서 방향으로 음향 빔포밍을 수행하고, 제1 영상 또는 제2 영상과 함께 사용자 방향 또는 제1 이미지센서 방향으로 빔포밍된 음향신호를 리코딩하여 저장하는 명령어를 포함할 수 있다.

또 다른 실시 예에서, 애플리케이션 모듈은, 제1 또는 제2 이미지센서로부터 제1 영상과 제2 영상을 획득하고, 1203단계에서 제1 방향 또는 제2 방향으로 음향 빔포밍을 수행하고, 제1 영상 또는 제2 영상과 함께 제1 방향 또는 제2 방향으로 빔포밍된 음향신호를 리코딩하여 저장하는 명령어를 포함할 수 있다.

도 14(a) 내지 도 14(c)는 본 개시의 다양한 실시 예에 따른 스테레오 방식의 거리측정 예를 도시하고 있다.

도 14(a)를 참조하면, 스테레오 방식은 인간의 두 눈과 같이 한 쌍의 카메라(1400, 1410) 혹은 그 이상의 카메라로부터 들어 오는 영상을 이용하여 객체의 삼차원 형태를 측정하는 방법이다.

예를 들어, 삼차원 거리 측정은 삼각 측량으로 이루어지며, 임의의 베이스라인 b(제1 카메라와 제2 카메라 사이의 거리)를 가진 두 카메라에서 영상(1420, 1430)을 획득하고 두 영상에서 같은 지점을 찾았을 때, 알고 있는 초점거리(f)가 주어지면 하기 <수학식 9>을 참조하여 깊이(depth) 또는 거리가 결정될 수 있다. 여기서, 영상(1420)은 제1 카메라(1400)를 통해 획득된 영상이고, 영상(1430)은 제2 카메라(1410)를 통해 획득된 영상이다.

여기서, b는 제1 카메라와 제2 카메라 사이의 기준 거리이고, f는 초점거리이고, d는 디스패리티(disparity)로써, 왼쪽 영상의 한 점의 위치에 비해 오른쪽 영상의 대응점 위치의 차이를 나타낸다.

도 14(b)을 참조하면, d1은 제1 카메라(1400)를 통해 획득된 영상(1420)에서 깊이와 매칭 포인트 사이의 거리이고, d2은 제2 카메라(1410)를 통해 획득된 영상(1430)에서 깊이와 매칭 포인트 사이의 거리이고, 디스패리티(d)는

으로 정의된다. 매칭 포인트는 좌우 영상에서 동일한 지점을 가리키는 점이다.

상기 <수학식 9>를 참조하여 깊이(depth)가 결정될 때, 제1 영상(1420)과 제2 영상(1430)은 다양한 스테레오 매칭(stereo matching) 기법에 따라, 도 14(c)와 같이 깊이(depth)에 대응하는 색깔로 매핑되어 나타날 수 있다. 이하 깊이지도(Depth Map)(1440)라 칭하다. 예컨대, 깊이 지도는 영상 내의 객체들 사이에 대한 3차원 거리 차이를 나타내는 지도로써, 각 픽셀마다 0부터 255 사이의 값으로 표현될 수 있으며, 깊이가 높은 값(흰색)을 가질 수록 카메라와 객체 사이의 거리가 가까워질 수 있다.

도 15(a) 와 도 15(b)는 본 개시의 다양한 실시 예에 따른 구조광 방식의 거리측정 예를 도시하고 있다.

도 15(a)를 참조하면, 구조광을 이용한 깊이지도 획득 시스템으로써, 먼저 프로젝터(1500)를 통해 패턴 영상을 깊이지도(depth map) 획득을 원하는 객체(1530)에 조사한다. 이후 해당하는 장면을 카메라(1510)로 촬영한다. 이때 해당 장면의 깊이의 변화에 따라 프로젝터(1500)로 조사한 패턴(1540)과 카메라(1510)로 촬영된 영상면(1512)에서의 패턴(1513)이 다른 모습을 나타내게 될 수 있다. 이 두 패턴(1540, 1513)의 관계를 통하여 장면의 3차원 위치가 추정될 수 있다.

이때, 여러 종류의 패턴이 이용될 수 있다. 예컨대, black&white 패턴과 gray scale이나 컬러 패턴으로 나눌 수 있다. 이 분류의 기준은 동적인 물체에 대한 깊이지도 획득의 가능 여부이다. 먼저 black&white 패턴은 이진패턴으로 실험방법이 간단하고 쉽게 고해상도의 깊이지도를 얻을 수 있는 장점이 있다. 하지만 한 장면에 대해서 연속적으로 많은 패턴을 조사해야 한다는 단점 때문에 움직이는 물체가 아닌 고정된 장면에 대해서만 깊이지도를 얻을 수 있다. 이진패턴이 아닌 다른 분류인 gray scale이나 컬러 패턴을 사용하는 경우에는 한 장면에 대해 필요한 패턴 영상의 수가 줄어들게 되어 움직이는 물체에 대해서도 깊이지도를 얻을 수 있다.

예컨대, 구조광 방식은 도 15(b)를 참조하여 패턴영상을 연속적으로 투영하고 카메라를 통해 구조광이 투영된 장면의 영상을 획득함으로써 3차원 위치(예: 깊이지도)를 추정할 수 있다.

도 16(a) 내지 도 16(b)는 본 개시의 다양한 실시 예에 따른 TOF(Time of Flight) 방식의 거리측정 예를 도시하고 있다.

도 16(a)을 참조하면, TOF 방식은 신호가 측정대상물 표면에서 반사되어 돌아오는 시간(t)을 측정하여 빛의 속도(c)와 곱해서 거리를 계산하는 방식이다.

예를 들어, TOF 기반 Depth 카메라(1600)는 신호발생기(1605) 및 검출기(1610)를 포함하여 구성될 수 있으며, 신호발생기(1605)는 레이저 또는 적외선 광원(1620)을 발생시켜 측정대상물(1640) 표면에 발사할 수 있다. 그리고, 검출기(1610)는 상기 신호발생기(1605)로부터 발사된 레이저 또는 적외선 광원이 반사되어(1630) 돌아오는 시간 또는 위상차를 측정할 수 있다.

TOF 방식은 펄스 신호를 방출하여 측정 범위 내에 있는 물체들로부터의 반사 펄스 신호들이 수신기에 도착하는 시간을 측정하여 거리를 측정하는 방식과, 특정 주파수를 가지고 연속적으로 변조되는 레이저 빔을 방출하고 측정 범위 내에 있는 물체로부터 반사되어 되돌아 오는 신호의 위상 변화량을 측정하여 시간 및 거리를 계산하는 방식으로 구분될 수 있다. 도 16(b)는 반사되지 않은 신호(1620)와 반사된 신호(1630) 사이의 위상시프트를 나타내고 있다.

한편, 스테레오 방식, 구조광 방식 또는 TOF 방식에 의해 깊이지도(depth map)이 결정될 수 있으며, 깊이지도에 기반하여 객체와 거리 측정 이외에도 이미지의 중심을 기준으로 하는 각도 또는 객체의 속도 등을 계산할 수도 있다.

본 개시의 청구항 및/또는 명세서에 기재된 실시 예들에 따른 방법들은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합의 형태로 구현될(implemented) 수 있다.

소프트웨어로 구현하는 경우, 하나 이상의 프로그램(소프트웨어 모듈)을 저장하는 컴퓨터 판독 가능 저장 매체가 제공될 수 있다. 컴퓨터 판독 가능 저장 매체에 저장되는 하나 이상의 프로그램은, 전자 장치(device) 내의 하나 이상의 프로세서에 의해 실행 가능하도록 구성된다(configured for execution). 하나 이상의 프로그램은, 전자 장치로 하여금, 본 개시의 청구항 및/또는 명세서에 기재된 실시 예들에 따른 방법들을 실행하게 하는 명령어(instructions)를 포함할 수 있다.

이러한 프로그램(소프트웨어 모듈, 소프트웨어)은 랜덤 액세스 메모리 (random access memory), 플래시(flash) 메모리를 포함하는 불휘발성(non-volatile) 메모리, 롬(ROM, Read Only Memory), 전기적 삭제가능 프로그램가능 롬(EEPROM, Electrically Erasable Programmable Read Only Memory), 자기 디스크 저장 장치(magnetic disc storage device), 컴팩트 디스크 롬(CD-ROM, Compact Disc-ROM), 디지털 다목적 디스크(DVDs, Digital Versatile Discs) 또는 다른 형태의 광학 저장 장치, 마그네틱 카세트(magnetic cassette)에 저장될 수 있다. 또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 또한, 각각의 구성 메모리는 다수 개 포함될 수도 있다.

또한, 전자 장치에 인터넷(Internet), 인트라넷(Intranet), LAN(Local Area Network), WLAN(Wide LAN), 또는 SAN(Storage Area Network)과 같은 통신 네트워크, 또는 이들의 조합으로 구성된 통신 네트워크를 통하여 접근(access)할 수 있는 부착 가능한(attachable) 저장 장치(storage device)에 저장될 수 있다. 이러한 저장 장치는 외부 포트를 통하여 전자 장치에 접속할 수 있다.

또한, 통신 네트워크상의 별도의 저장장치가 휴대용 전자 장치에 접속할 수도 있다.

한편 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

1100: 제어기 1101: 인터페이스,
1102: 애플리케이션 프로세서 1103: 통신 프로세서,
1140: RF 처리기, 1170: 확장 메모리.

Claims

음향을 획득하기 위한 빔포밍을 적용할 적어도 하나의 객체를 선택하는 동작;
상기 선택된 적어도 하나의 객체와 거리측정을 위한 센서 사이의 제1 거리를 측정하는 동작;
상기 제1 거리를 기반으로, 상기 선택된 적어도 하나의 객체와 복수의 마이크로폰 사이의 제2 거리를 계산하는 동작;
상기 객체와 상기 마이크로폰 사이의 제2 거리에 대응하는 시간지연(Time-delay) 또는 위상지연(Phase-delay)을 이용하여, 음향 빔포밍을 위한 가중치를 결정하는 동작을 포함하는 전자장치의 동작 방법.
제1항에 있어서,
상기 객체의 위치의 변화를 감지하여, 상기 객체와 상기 거리측정을 위한 센서 사이의 제1 거리를 재측정하는 동작;
상기 재측정된 제1 거리를 기반으로, 상기 객체와 상기 복수의 마이크로폰 사이의 제2 거리를 계산하는 동작;
상기 객체와 상기 마이크로폰 사이의 제2 거리에 대응하는 시간지연 또는 위상지연을 이용하여, 음향 빔포밍을 위한 가중치를 재결정하는 동작을 더 포함하는 방법.
제1항에 있어서,
상기 적어도 하나의 객체를 선택하는 동작은,
디스플레이 영상에서 사용자 터치 입력, 얼굴인식, 입술 움직임 검출, 또는 입술인식 음성인식 중 적어도 하나에 의해 선택되는 것을 포함하는 방법.
제1항에 있어서,
상기 음향을 획득하기 위한 빔포밍은 동영상 리코딩, 음성녹음, 사진촬영, 게임 중 음향획득 또는 전화통화 중 적어도 하나일 때 수행되는 것을 포함하는 방법.
제1항에 있어서,
상기 음향 빔포밍을 위한 가중치를 결정하는 동작은,
GSC(Generalized Sidelobe Canceller) 방식 또는 LCMV(Linearly Constrained Minimum Variance) 방식 중 하나에 의해 수행되는 것을 포함하는 방법.
제1항에 있어서,
상기 거리측정을 위한 센서는 3차원 이미지센서, 3차원 깊이센서, 또는 거리측정센서 중 적어도 하나인 것을 포함하는 방법.
제1항에 있어서,
상기 선택된 적어도 하나의 객체와 거리측정을 위한 센서 사이의 제1 거리는 상기 3차원 깊이 센서 또는 상기 3차원 이미지 센서를 이용한 거리측정 방식인 스테레오 방식, TOF(Time of Flight) 방식, 구조광(structured light) 방식 중 적어도 하나에 의해 측정되는 것을 포함하는 방법.
제1 또는 제2 이미지센서로부터 제1 영상과 제2 영상을 획득하는 동작;
상기 제1 영상으로부터 제1 이미지 센서와의 거리측정을 위한 객체를 선택하는 동작;
상기 제1 이미지센서와 상기 객체 사이의 제1 거리를 이용하여 복수의 마이크로폰과 상기 객체 사이의 제2 거리를 계산한 후, 상기 제1 이미지센서의 방향으로 빔포밍을 수행하는 동작;
상기 제1 영상 또는 상기 제2 영상과 함께 상기 제1 이미지센서의 방향으로 빔포밍된 음향신호를 리코딩하여 저장하는 동작을 포함하는 전자장치의 동작 방법.
제8항에 있어서,
상기 제1 이미지센서의 방향으로 빔포밍을 수행하는 동작은,
상기 객체와 상기 마이크로폰 사이의 제2 거리에 대응하는 시간지연 또는 위상지연을 이용하여, 음향 빔포밍을 위한 가중치를 결정하는 동작;
상기 음향 빔포밍을 위한 가중치를 각각 마이크로폰에 적용하여 빔을 형성하여 음향을 수신하는 동작을 포함하는 방법.
제8항에 있어서,
상기 객체는 상기 전자장치의 사용자인 것을 특징으로 하는 방법.
제1 또는 제2 이미지센서로부터 제1 영상과 제2 영상을 획득하는 동작;
제1 방향 또는 제2 방향으로 음향 빔포밍을 수행하는 동작;
상기 제1 영상 또는 상기 제2 영상과 함께 상기 제1 방향 또는 상기 제2 방향으로 빔포밍된 음향신호를 리코딩하여 저장하는 동작을 포함하되,
상기 제1 방향은 상기 제1 이미지센서의 방향이고, 상기 제2 방향은 상기 제2 이미지센서의 방향인 것을 포함하는 전자장치의 동작 방법.
전자장치에 있어서,
음향을 획득하기 위한 빔포밍을 적용할 적어도 하나 이상의 객체를 선택하는 기능적으로 연결된 사용자인터페이부와,
상기 선택된 적어도 하나의 객체와 거리측정을 위한 센서 사이의 제1 거리를 측정하고, 상기 제1 거리를 기반으로, 상기 선택된 적어도 하나의 객체와 복수의 마이크로폰 사이의 제2 거리를 계산하고, 상기 객체와 상기 마이크로폰 사이의 제2 거리에 대응하는 시간지연(Time-delay) 또는 위상지연(Phase-delay)을 이용하여, 음향 빔포밍을 위한 가중치를 결정하는 기능적으로 연결된 프로세서를 포함하는 전자장치.
제12항에 있어서,
상기 기능적으로 연결된 프로세서는,
상기 객체의 위치의 변화를 감지하여, 상기 객체와 상기 거리측정을 위한 센서 사이의 제1 거리를 재측정하고,
상기 재측정된 제1 거리를 기반으로, 상기 객체와 상기 복수의 마이크로폰 사이의 제2 거리를 계산하고,
상기 객체와 상기 마이크로폰 사이의 제2 거리에 대응하는 시간지연 또는 위상지연을 이용하여, 음향 빔포밍을 위한 가중치를 재결정하는 것을 포함하는 전자장치.
제12항에 있어서,
상기 적어도 하나의 객체는,
기능적으로 연결된 디스플레이 영상에서 사용자 터치 입력, 얼굴인식, 입술 움직임 검출, 입술입식 또는 음성인식 중 적어도 하나에 의해 선택되는 것을 포함하는 전자장치.
제12항에 있어서,
상기 음향을 획득하기 위한 빔포밍은 동영상 리코딩, 음성녹음, 사진촬영, 게임 중 음향획득 또는 전화통화 중 적어도 하나일 때 수행되는 것을 포함하는 전자장치.
제12항에 있어서,
상기 음향 빔포밍을 위한 가중치는,
GSC(Generalized Sidelobe Canceller) 방식 또는 LCMV(Linearly Constrained Minimum Variance) 방식 중 하나에 의해 결정되는 것을 포함하는 전자장치.
제12항에 있어서,
상기 거리측정을 위한 센서는 3차원 이미지센서, 3차원 깊이센서, 또는 거리측정센서 중 적어도 하나인 것을 포함하는 전자장치.
제12항에 있어서,
상기 선택된 적어도 하나 이상의 객체와 거리측정을 위한 센서 사이의 제1 거리는 상기 3차원 깊이 센서 또는 상기 3차원 이미지 센서를 이용한 거리측정 방식인 스테레오 방식, TOF(Time of Flight) 방식, 구조광(structured light) 방식 중 적어도 하나에 의해 측정되는 것을 포함하는 전자장치.
전자장치에 있어서,
제1 또는 제2 이미지센서로부터 제1 영상과 제2 영상을 획득하고,
상기 제1 영상으로부터 제1 이미지 센서와의 거리측정을 위한 객체를 선택하고,
상기 제1 이미지센서와 상기 객체 사이의 제1 거리를 이용하여 복수의 마이크로폰과 상기 객체 사이의 제2 거리를 계산한 후, 상기 제1 이미지센서의 방향으로 빔포밍을 수행하고,
상기 제1 영상 또는 상기 제2 영상과 함께 상기 제1 이미지센서의 방향으로 빔포밍된 음향신호를 리코딩하여 저장하는 기능적으로 연결된 프로세서를 포함하는 전자장치.
제19항에 있어서,
상기 프로세서는,
상기 제1 이미지센서의 방향으로 빔포밍을 수행하기 위해,
상기 객체와 상기 마이크로폰 사이의 제2 거리에 대응하는 시간지연 또는 위상지연을 이용하여, 음향 빔포밍을 위한 가중치를 결정하고,
상기 음향 빔포밍을 위한 가중치를 각각 마이크로폰에 적용하여 빔을 형성하여 음향을 수신하는 것을 포함하는 전자장치.
제19항에 있어서,
상기 객체는 상기 전자장치의 사용자인 것을 특징으로 하는 전자장치.
전자장치에서,
제1 또는 제2 이미지센서로부터 제1 영상과 제2 영상을 획득하고,
제1 방향 또는 제2 방향으로 음향 빔포밍을 수행하고,
상기 제1 영상 또는 상기 제2 영상과 함께 상기 제1 방향 또는 상기 제2 방향으로 빔포밍된 음향신호를 리코딩하여 저장하는 기능적으로 연결된 프로세서를 포함하되,
상기 제1 방향은 상기 제1 이미지센서의 방향이고, 상기 제2 방향은 상기 제2 이미지센서의 방향인 것을 포함하는 전자장치.