KR20130054569A - 머리 위치에 따른 3차원 음향 구현장치 및 그 방법 - Google Patents

머리 위치에 따른 3차원 음향 구현장치 및 그 방법 Download PDF

Info

Publication number
KR20130054569A
KR20130054569A KR1020110120026A KR20110120026A KR20130054569A KR 20130054569 A KR20130054569 A KR 20130054569A KR 1020110120026 A KR1020110120026 A KR 1020110120026A KR 20110120026 A KR20110120026 A KR 20110120026A KR 20130054569 A KR20130054569 A KR 20130054569A
Authority
KR
South Korea
Prior art keywords
image
dimensional
module
face
user
Prior art date
Application number
KR1020110120026A
Other languages
English (en)
Inventor
이상헌
손명규
김병민
이장우
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020110120026A priority Critical patent/KR20130054569A/ko
Publication of KR20130054569A publication Critical patent/KR20130054569A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Abstract

본 발명은 머리 위치에 따른 3차원 음향 구현장치 및 방법에 관한 것으로, 사용자의 머리 움직임에 따라 적응적으로 또한 영상디스플레이가 있는 전체적인 구성위치와 상관적으로 3D 음향을 재생함으로써 사용자에서 영상과 병합하여 보다 몰입감을 줄 수 있고 또한, 2차원 영상과 3차원 깊이 카메라를 사용하여 입력된 3차원 영상을 통하여 얼굴의 깊이 정보를 이용한 쓰레드홀딩 기법과 2D의 텍스쳐 정보를 이용하여 빠르게 실시간으로 얼굴의 코, 눈 등 각 콤포넌트의 ROI를 설정할 수 있다.

Description

머리 위치에 따른 3차원 음향 구현장치 및 그 방법{APPARATUS AND THE METHOD FOR IMPLEMENTATION 3D SOUND ACCORDING TO HEAD POSE}
본 발명은 머리 위치에 따른 3차원 음향 구현장치 및 그 방법에 관한 것으로, 더욱 상세하게는 머리 자세(head pose)를 인식함으로써 디스플레이 영상에 따른 가상의 음원 위치를 조정하여 3차원 입체 음향을 보다 더 정확하게 구현하기 위한 머리 위치에 따른 3차원 음향 구현장치 및 그 방법에 관한 것이다.
기존의 3D 사운드를 재생할 수 있는 헤드폰은 음원의 위치를 사용자를 기준으로 가상으로 고정시켜 신호처리 알고리즘을 이용해 제작하였다. 사용자가 헤드폰을 낀 채 머리를 상, 하, 좌, 우로 돌려도 처음 가상적인 음원의 위치를 정하여 신호처리를 하였기 때문에 사용자의 귀에 들리는 소리는 똑같다.
종래의 이런 기술로 제작된 3D 사운드 헤드폰을 TV와 같은 영상디스플레이 시스템과 같이 이용할 때, 사용자가 머리를 돌리더라도 헤드폰을 끼고 있기 때문에 똑같은 멀티채널 사운드가 재생되었다.
사용자들은 3D 사운드 헤드폰을 착용하고 영상디스플레이시스템에서 영상을 시청할 때, 멀티 채널 사운드는 영상 디스플레이 시스템을 기준으로 Front, left, right, rear channel이 형성되기를 기대하나, 종래 기술에서는 앞에서도 기술한 바와 같이 사용자가 헤드폰을 낀 채 머리를 돌리면 머리를 기준으로 음원들의 가상위치가 형성되어 있기 때문에 몰입감이 떨어지는 문제점이 있었다.
한국등록특허 제10-0903490호(2009년06월10일)에는 컴퓨터와 인간과의 인터페이스(Human Computer Interface)가 시각도형의 위치인 그래픽 사용자인터페이스 환경에서, 스테레오 비전 센서로 사용자의 얼굴특징점을 인식측량하여 사용권한이 있는 사용자를 인식하고, 얼굴의 위치와 자세를 판별하여 사용자의 시선과 관심시점 등을 구하여, 시각도형을 자동으로 표시하고, 스테레오스코픽 디스플레이의 해상도를 조절하고, 주파수반응효과 3D 오디오시스템을 구동함으로써 3차원적 시각과 청각효과를 제공하게 되어 현실감을 높이며, 업무효율을 높이도록 한 인간친화형 컴퓨터입출력 시스템이 개시되었다.
이러한 종래기술은, 영상카메라를 통해 사용자의 얼굴과 머리 부분의 영상을취득하고, 사용자의 얼굴특징점 좌표측정수단을 통해 사용자 양귀의 위치좌표를 입체 음향 시스템에 입력하도록 하였으나, 스테레오 카메라를 통해 사용자의 얼굴, 귀의 좌표를 측정하기 때문에 정확한 3D 음향의 구현이 어렵고, 3D 얼굴인식 프로세스를 빠르게 처리할 수 없는 문제점이 있다.
한국등록특허 제10-0903490호(2009년06월10일)
본 발명은 상술한 종래기술의 문제점을 극복하기 위한 것으로서, 2차원 영상 및 3차원 영상을 칼리브레이션하고, ROI(range of motion:관심영역)를 설정한 후 3차원 깊이 정보를 이용하여 인식된 머리 자세에 따라 디스플레이 영상에 따른 가상의 음원 위치를 조정하여 3차원 입체 음향을 보다 더 정확하게 구현하는 머리 위치에 따른 3차원 음향 구현장치 및 그 방법를 제공하는 데에 그 목적이 있다.
상기 목적을 달성하기 위해 본 발명에 따른 머리 위치에 따른 3차원 음향 구현장치는, 영상 디스플레이; 사용자 얼굴의 2차원 영상을 입력하는 2차원 영상 입력 모듈; 사용자 얼굴의 3차원 깊이 영상을 입력하는 3차원 깊이 영상 입력 모듈; 상기 2차원 영상 및 상기 3차원 깊이 영상을 칼리브레이션(calibration)하는 2차원 영상 및 3차원 영상 칼리브레이션 모듈; 상기 2차원 영상으로부터 사용자의 얼굴을 검출하는 2차원 영상 얼굴 검출 모듈; 상기 검출된 사용자 얼굴의 깊이 정보를 이용한 쓰레드홀딩(thresholding)기법과, 상기 검출된 사용자 얼굴의 2차원 텍스쳐(texture) 정보를 이용하여 코, 눈, 귀 등의 각 콤포넌트(component)의 ROI(range of motion:관심영역)를 설정하는 얼굴 콤포넌트 ROI 설정 모듈; 상기 3차원 깊이 정보를 이용하여 사용자 머리 자세(head pose)를 인식하는 머리 자세 인식 모듈; 상기 머리 자세에 따른 가상 음원 위치를 정합하는 가상 음원 위치 정합 모듈; 및 상기 정합된 가상 음원 위치에 따라 헤드폰을 통하여 3차원 음향을 재생하는 3차원 음향 재생 모듈을 포함하는 것을 특징으로 한다.
본 발명에 따른 머리 위치에 따른 3차원 음향 구현방법은, 사용자 얼굴의 2차원 영상을 입력하는 2차원 영상 입력 단계; 사용자 얼굴의 3차원 깊이 영상을 입력하는 3차원 깊이 영상 입력 단계; 상기 2차원 영상 및 상기 3차원 깊이 영상을 칼리브레이션(calibration)하는 2차원 영상 및 3차원 영상 칼리브레이션 단계; 상기 2차원 영상으로부터 사용자의 얼굴을 검출하는 2차원 영상 얼굴 검출 단계; 상기 검출된 사용자 얼굴의 깊이 정보를 이용한 쓰레드홀딩(thresholding)기법과, 상기 검출된 사용자 얼굴의 2차원 텍스쳐(texture) 정보를 이용하여 코, 눈, 귀 등의 각 콤포넌트(component)의 ROI(range of motion:관심영역)를 설정하는 얼굴 콤포넌트 ROI 설정 단계; 상기 3차원 깊이 정보를 이용하여 사용자 머리 자세(head pose)를 인식하는 머리 자세 인식 단계; 상기 머리 자세에 따른 가상 음원 위치를 정합하는 가상 음원 위치 정합 단계; 및 상기 정합된 가상 음원 위치에 따라 헤드폰을 통하여 3차원 음향을 재생하는 3차원 음향 재생 단계을 포함하는 것을 다른 특징으로 한다.
상기와 같이 구성된 본 발명에 따른 머리 위치에 따른 3차원 음향 구현장치 및 그 방법에 의하면, 사용자의 머리 움직임에 따라 적응적으로 또한 영상디스플레이가 있는 전체적인 구성위치와 상관적으로 3D 음향을 재생함으로써 사용자에서 영상과 병합하여 보다 몰입감을 줄 수 있는 효과가 있다.
또한, 2차원 영상과 3차원 깊이 카메라를 사용하여 입력된 3차원 영상을 통하여 얼굴의 깊이 정보를 이용한 쓰레드홀딩(Thresholding) 기법과 2D의 텍스쳐(Texture) 정보를 이용하여 빠르게 실시간으로 얼굴의 코, 눈 등 각 콤포넌트(component)의 ROI를 설정할 수 있는 효과도 있다.
도 1은 본 발명에 따른 머리 위치에 따른 3차원 음향 구현장치를 나타낸 블록 구성도.
도 2는 본 발명에 따른 머리 위치에 따른 3차원 음향 구현방법을 나타낸 제어 순서도.
이하, 본 발명을 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명에 따른 머리 위치에 따른 3차원 음향 구현장치를 나타낸 블록 구성도이다.
도시된 바와 같이, 본 발명에 따른 머리 위치에 따른 3차원 음향 구현장치는 영상 디스플레이(10), 2차원 영상 입력 모듈(20), 3차원 깊이 영상 입력 모듈(30), 2차원 영상 및 3차원 영상 칼리브레이션 모듈(40), 2차원 영상 얼굴 검출 모듈(50), 얼굴 콤포넌트 ROI 설정 모듈(60), 머리 자세 인식 모듈(70), 가상 음원 위치 정합 모듈(80) 및 3차원 음향 재생 모듈(90)으로 구성된다.
2차원 영상 입력 모듈(20)은 사용자 얼굴의 2차원 영상을 입력하고, 3차원 깊이 영상 입력 모듈(30)은 사용자 얼굴의 3차원 깊이 영상을 입력한다.
2차원 영상 입력 모듈(20)은 통상의 평면 카메라가 사용되고, 3차원 깊이 영상 입력 모듈(30)은 3D 깊이 카메라가 사용된다. 2차원 영상 입력 모듈(20) 및 3차원 깊이 영상 입력 모듈(30)은 사용자를 촬영할 수 있도록 영상 디스플레이(10)에 근방에 설치되는 것이 바람직하다.
2차원 영상 및 3차원 영상 칼리브레이션 모듈(40)은 상기 2차원 영상 및 상기 3차원 깊이 영상을 칼리브레이션(calibration)한다. 이때, 상기 2차원 영상 및 3차원 영상 칼리브레이션 모듈(40)은 상기 영상 디스플레이(10)와 연동하여 적응적으로 상기 2차원 영상 및 3차원 영상을 칼리브레이션한다.
2차원 영상 얼굴 검출 모듈(50)은 상기 2차원 영상으로부터 사용자의 얼굴을 검출한다.
얼굴 콤포넌트 ROI 설정 모듈(60)은 상기 검출된 사용자 얼굴의 깊이 정보를 이용한 쓰레드홀딩(thresholding)기법과, 상기 검출된 사용자 얼굴의 2차원 텍스쳐(texture) 정보를 이용하여 코, 눈, 귀 등의 각 콤포넌트(component)의 ROI(range of motion:관심영역)를 설정한다.
상기 ROI(range of motion)란 화면 영상 처리 등으로 특히 주목하여 처리 대상으로 하는 영역이다.
머리 자세 인식 모듈(70)은 상기 3차원 깊이 정보를 이용하여 사용자 머리 자세(head pose)를 인식한다.
가상 음원 위치 정합 모듈(80)은 상기 머리 자세에 따른 가상 음원 위치를 정합한다.
상기 가상 음원 위치 정합 모듈(80)은, 상기 머리 자세에 따른 가상 음원 위치를 정한 뒤 각각의 임펄스 응답함수를 가지고 있으며 머리 자세에 따라 적응적으로 각각의 임펄스 응답함수를 바꿔서 음원의 위치를 머리 자세에 따라 정합하여 준다.
3차원 음향 재생 모듈(90)은 상기 정합된 가상 음원 위치에 따라 헤드폰(100)을 통하여 3차원 음향을 재생한다.
상기 3차원 음향 재생 모듈(90)은, 적응적으로 바뀐 임펄스 응답함수와 컨벌루션을 적용하여 실제 헤드폰에서 들을 수 있는 3D 음향 신호를 합성해 준다.
또한, 상기 3차원 음향 재생 모듈(90)은, 상기 인식된 사용자의 머리 자세에 따라 적응적으로 HRTF(Head Related Transfer Function:머리 연관 전달 함수)를 바꿔서 3차원 음향을 합성해 줄수도 있다.
도 2는 본 발명에 따른 머리 위치에 따른 3차원 음향 구현방법을 나타낸 제어 순서도이다.
도시된 바와 같이, 본 발명에 따른 머리 위치에 따른 3차원 음향 구현방법은, 2차원 영상 입력 단계(S110), 3차원 깊이 영상 입력 단계(S120), 2차원 영상 및 3차원 영상 칼리브레이션 단계(S130), 2차원 영상 얼굴 검출 단계(S140), 얼굴 콤포넌트 ROI 설정 단계(S150), 머리 자세 인식 단계(S160), 가상 음원 위치 정합 단계(S170) 및 3차원 음향 재생 단계(S180)로 이루어진다.
2차원 영상 입력 단계(S110)에서는 사용자 얼굴의 2차원 영상을 입력하고, 3차원 깊이 영상 입력 단계(S120)에서는 사용자 얼굴의 3차원 깊이 영상을 입력한다.
2차원 영상 및 3차원 영상 칼리브레이션 단계(S130)에서는 상기 2차원 영상 및 상기 3차원 깊이 영상을 칼리브레이션(calibration)한다.
상기 2차원 영상 및 3차원 영상 칼리브레이션 단계(S130)는 상기 영상 디스플레이(10)와 연동하여 적응적으로 상기 2차원 영상 및 3차원 영상을 칼리브레이션한다.
2차원 영상 얼굴 검출 단계(S140)에서는 상기 2차원 영상으로부터 사용자의 얼굴을 검출한다.
얼굴 콤포넌트 ROI 설정 단계(S150)에서는 상기 검출된 사용자 얼굴의 깊이 정보를 이용한 쓰레드홀딩(thresholding)기법과, 상기 검출된 사용자 얼굴의 2차원 텍스쳐(texture) 정보를 이용하여 코, 눈, 귀 등의 각 콤포넌트(component)의 ROI(range of motion:관심영역)를 설정한다.
머리 자세 인식 단계(S160)에서는 상기 3차원 깊이 정보를 이용하여 사용자 머리 자세(head pose)를 인식한다.
가상 음원 위치 정합 단계(S170)에서는 상기 머리 자세에 따른 가상 음원 위치를 정합한다.
상기 가상 음원 위치 정합 단계(S170)는 상기 머리 자세에 따른 가상 음원 위치를 정한 뒤 각각의 임펄스 응답함수를 가지고 있으며 머리 자세에 따라 적응적으로 각각의 임펄스 응답함수를 바꿔서 음원의 위치를 머리 자세에 따라 정합하여 준다.
3차원 음향 재생 단계(S180)에서는 상기 정합된 가상 음원 위치에 따라 헤드폰(100)을 통하여 3차원 음향을 재생한다.
상기 3차원 음향 재생 단계(S180)는 적응적으로 바뀐 임펄스 응답함수와 컨벌루션을 적용하여 실제 헤드폰에서 들을 수 있는 3D 음향 신호를 합성해 준다.
상기 3차원 음향 재생 단계(S180)는 상기 인식된 사용자의 머리 자세에 따라 적응적으로 HRTF(Head Related Transfer Function:머리 연관 전달 함수)를 바꿔서 3차원 음향을 합성해 줄수도 있다.
따라서, 본 발명에 의하면, 사용자의 머리 움직임에 따라 적응적으로 또한 영상디스플레이가 있는 전체적인 구성위치와 상관적으로 3D 음향을 재생함으로써 사용자에서 영상과 병합하여 보다 몰입감을 줄 수 있고 또한, 2차원 영상과 3차원 깊이 카메라를 사용하여 입력된 3차원 영상을 통하여 얼굴의 깊이 정보를 이용한 쓰레드홀딩 기법과 2D의 텍스쳐 정보를 이용하여 빠르게 실시간으로 얼굴의 코, 눈 등 각 콤포넌트의 ROI를 설정할 수 있다.
본 명세서에 기재된 본 발명의 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 관한 것이고, 발명의 기술적 사상을 모두 포괄하는 것은 아니므로, 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다. 따라서, 본 발명은 상술한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 권리범위 내에 있게 된다.
10 : 영상 디스플레이
20 : 2차원 영상 입력 모듈
30 : 3차원 깊이 영상 입력 모듈
40 : 2차원 영상 및 3차원 영상 칼리브레이션 모듈
50 : 2차원 영상 얼굴 검출 모듈
60 : 얼굴 콤포넌트 ROI 설정 모듈
70 : 머리 자세 인식 모듈
80 : 가상 음원 위치 정합 모듈
90 : 3차원 음향 재생 모듈

Claims (10)

  1. 영상 디스플레이;
    사용자 얼굴의 2차원 영상을 입력하는 2차원 영상 입력 모듈;
    사용자 얼굴의 3차원 깊이 영상을 입력하는 3차원 깊이 영상 입력 모듈;
    상기 2차원 영상 및 상기 3차원 깊이 영상을 칼리브레이션(calibration)하는 2차원 영상 및 3차원 영상 칼리브레이션 모듈;
    상기 2차원 영상으로부터 사용자의 얼굴을 검출하는 2차원 영상 얼굴 검출 모듈;
    상기 검출된 사용자 얼굴의 깊이 정보를 이용한 쓰레드홀딩(thresholding)기법과, 상기 검출된 사용자 얼굴의 2차원 텍스쳐(texture) 정보를 이용하여 코, 눈, 귀 등의 각 콤포넌트(component)의 ROI(range of motion:관심영역)를 설정하는 얼굴 콤포넌트 ROI 설정 모듈;
    상기 3차원 깊이 정보를 이용하여 사용자 머리 자세(head pose)를 인식하는 머리 자세 인식 모듈;
    상기 머리 자세에 따른 가상 음원 위치를 정합하는 가상 음원 위치 정합 모듈; 및
    상기 정합된 가상 음원 위치에 따라 헤드폰을 통하여 3차원 음향을 재생하는 3차원 음향 재생 모듈을 포함하는 머리 위치에 따른 3차원 음향 구현장치.
  2. 제 1항에 있어서,
    상기 2차원 영상 및 3차원 영상 칼리브레이션 모듈은;
    상기 영상 디스플레이와 연동하여 적응적으로 상기 2차원 영상 및 3차원 영상을 칼리브레이션하는 것을 특징으로 하는 머리 위치에 따른 3차원 음향 구현장치.
  3. 제 1항에 있어서,
    상기 가상 음원 위치 정합 모듈은;
    상기 머리 자세에 따른 가상 음원 위치를 정한 뒤 각각의 임펄스 응답함수를 가지고 있으며 머리 자세에 따라 적응적으로 각각의 임펄스 응답함수를 바꿔서 음원의 위치를 머리 자세에 따라 정합하여 주는 것을 특징으로 하는 머리 위치에 따른 3차원 음향 구현장치.
  4. 제 3항에 있어서,
    상기 3차원 음향 재생 모듈은;
    적응적으로 바뀐 임펄스 응답함수와 컨벌루션을 적용하여 실제 헤드폰에서 들을 수 있는 3D 음향 신호를 합성해 주는 것을 특징으로 하는 머리 위치에 따른 3차원 음향 구현장치.
  5. 제 1항에 있어서,
    상기 3차원 음향 재생 모듈은;
    상기 인식된 사용자의 머리 자세에 따라 적응적으로 HRTF(Head Related Transfer Function:머리 연관 전달 함수)를 바꿔서 3차원 음향을 합성해 주는 것을 특징으로 하는 머리 위치에 따른 3차원 음향 구현장치.
  6. 사용자 얼굴의 2차원 영상을 입력하는 2차원 영상 입력 단계;
    사용자 얼굴의 3차원 깊이 영상을 입력하는 3차원 깊이 영상 입력 단계;
    상기 2차원 영상 및 상기 3차원 깊이 영상을 칼리브레이션(calibration)하는 2차원 영상 및 3차원 영상 칼리브레이션 단계;
    상기 2차원 영상으로부터 사용자의 얼굴을 검출하는 2차원 영상 얼굴 검출 단계;
    상기 검출된 사용자 얼굴의 깊이 정보를 이용한 쓰레드홀딩(thresholding)기법과, 상기 검출된 사용자 얼굴의 2차원 텍스쳐(texture) 정보를 이용하여 코, 눈, 귀 등의 각 콤포넌트(component)의 ROI(range of motion:관심영역)를 설정하는 얼굴 콤포넌트 ROI 설정 단계;
    상기 3차원 깊이 정보를 이용하여 사용자 머리 자세(head pose)를 인식하는 머리 자세 인식 단계;
    상기 머리 자세에 따른 가상 음원 위치를 정합하는 가상 음원 위치 정합 단계; 및
    상기 정합된 가상 음원 위치에 따라 헤드폰을 통하여 3차원 음향을 재생하는 3차원 음향 재생 단계을 포함하는 머리 위치에 따른 3차원 음향 구현방법.
  7. 제 6항에 있어서,
    상기 2차원 영상 및 3차원 영상 칼리브레이션 단계는;
    상기 영상 디스플레이와 연동하여 적응적으로 상기 2차원 영상 및 3차원 영상을 칼리브레이션하는 것을 특징으로 하는 머리 위치에 따른 3차원 음향 구현방법.
  8. 제 6항에 있어서,
    상기 가상 음원 위치 정합 단계는;
    상기 머리 자세에 따른 가상 음원 위치를 정한 뒤 각각의 임펄스 응답함수를 가지고 있으며 머리 자세에 따라 적응적으로 각각의 임펄스 응답함수를 바꿔서 음원의 위치를 머리 자세에 따라 정합하여 주는 것을 특징으로 하는 머리 위치에 따른 3차원 음향 구현방법.
  9. 제 8항에 있어서,
    상기 3차원 음향 재생 단계는;
    적응적으로 바뀐 임펄스 응답함수와 컨벌루션을 적용하여 실제 헤드폰에서 들을 수 있는 3D 음향 신호를 합성해 주는 것을 특징으로 하는 머리 위치에 따른 3차원 음향 구현방법.
  10. 제 6항에 있어서,
    상기 3차원 음향 재생 단계는;
    상기 인식된 사용자의 머리 자세에 따라 적응적으로 HRTF(Head Related Transfer Function:머리 연관 전달 함수)를 바꿔서 3차원 음향을 합성해 주는 것을 특징으로 하는 머리 위치에 따른 3차원 음향 구현방법.
KR1020110120026A 2011-11-17 2011-11-17 머리 위치에 따른 3차원 음향 구현장치 및 그 방법 KR20130054569A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110120026A KR20130054569A (ko) 2011-11-17 2011-11-17 머리 위치에 따른 3차원 음향 구현장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110120026A KR20130054569A (ko) 2011-11-17 2011-11-17 머리 위치에 따른 3차원 음향 구현장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20130054569A true KR20130054569A (ko) 2013-05-27

Family

ID=48663328

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110120026A KR20130054569A (ko) 2011-11-17 2011-11-17 머리 위치에 따른 3차원 음향 구현장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20130054569A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170088181A (ko) * 2016-01-22 2017-08-01 삼성전자주식회사 Hmd 디바이스 및 그 제어 방법
CN107977650A (zh) * 2017-12-21 2018-05-01 北京华捷艾米科技有限公司 人脸检测方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170088181A (ko) * 2016-01-22 2017-08-01 삼성전자주식회사 Hmd 디바이스 및 그 제어 방법
CN107977650A (zh) * 2017-12-21 2018-05-01 北京华捷艾米科技有限公司 人脸检测方法及装置

Similar Documents

Publication Publication Date Title
JP7275227B2 (ja) 複合現実デバイスにおける仮想および実オブジェクトの記録
US10959037B1 (en) Gaze-directed audio enhancement
KR101730737B1 (ko) 안구추적을 기반으로 한 상이한 거리 자동적응 홀로그램 디스플레이 방법 및 장치
KR102433613B1 (ko) 개인 특징을 반영한 바이노럴 오디오 신호 처리 방법 및 장치
US20110157327A1 (en) 3d audio delivery accompanying 3d display supported by viewer/listener position and orientation tracking
US11778411B2 (en) Near-field audio rendering
CN112369048B (zh) 音频装置和其操作的方法
CN109691141B (zh) 空间化音频系统以及渲染空间化音频的方法
US11234092B2 (en) Remote inference of sound frequencies for determination of head-related transfer functions for a user of a headset
CN114258687A (zh) 从传统视听媒体中确定空间化虚拟声学场景
CN112313969A (zh) 基于监视到的针对音频内容的响应定制头部相关传递函数
JP2022504203A (ja) オーディオ空間化のための強調
KR20130054569A (ko) 머리 위치에 따른 3차원 음향 구현장치 및 그 방법
CN117981347A (zh) 用于对虚拟声源进行空间化的音频系统
JP2010199739A (ja) 立体表示制御装置、立体表示システムおよび立体表示制御方法
US11967335B2 (en) Foveated beamforming for augmented reality devices and wearables
EP4325899A1 (en) Method for generating a personalised hrtf
JP2022504999A (ja) オーディオコンテンツに対する監視された応答に基づく頭部関連伝達関数のカスタマイズ

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application