KR20190004809A - 오디오, 비주얼 및 모션 분석 기능을 갖는 디지털 카메라 - Google Patents

오디오, 비주얼 및 모션 분석 기능을 갖는 디지털 카메라 Download PDF

Info

Publication number
KR20190004809A
KR20190004809A KR1020187037508A KR20187037508A KR20190004809A KR 20190004809 A KR20190004809 A KR 20190004809A KR 1020187037508 A KR1020187037508 A KR 1020187037508A KR 20187037508 A KR20187037508 A KR 20187037508A KR 20190004809 A KR20190004809 A KR 20190004809A
Authority
KR
South Korea
Prior art keywords
sensor
digital
digital camera
motion
environment
Prior art date
Application number
KR1020187037508A
Other languages
English (en)
Other versions
KR102036545B1 (ko
Inventor
찰스 에이.지. 보일
갈렙 매드슨
Original Assignee
어쿠스틱 날리지, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 어쿠스틱 날리지, 엘엘씨 filed Critical 어쿠스틱 날리지, 엘엘씨
Publication of KR20190004809A publication Critical patent/KR20190004809A/ko
Application granted granted Critical
Publication of KR102036545B1 publication Critical patent/KR102036545B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/23229—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B31/00—Arrangements for the associated working of recording or reproducing apparatus with related apparatus
    • G11B31/006—Arrangements for the associated working of recording or reproducing apparatus with related apparatus with video camera or receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H04N5/9202—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal the additional signal being a sound signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/802—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving processing of the sound signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording
    • G11B2020/10546—Audio or video recording specifically adapted for audio data
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording
    • G11B2020/10592—Audio or video recording specifically adapted for recording or reproducing multichannel signals
    • G11B2020/10611—3D video data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras

Abstract

오디오, 비주얼 및 모션 분석 기능을 갖는 디지털 카메라는 디지털 프로세서, 입력처리시스템, 및 하나 이상의 촬상센서, 음향센서 및 모션 센서를 포함한다. 비 제한적인 실시예에서, 입력처리시스템은 실시간 오디오, 비주얼 및 모션 분석을 위해, 디지털 프로세서에 의해 실행 가능한 코드 세그먼트를 포함하는 비 일시적인 컴퓨터 판독 가능한 매체를 포함하며, 촬상센서(들), 음향센서(들) 및 모션 센서(들)에서 유도된 데이터로부터 디지털 카메라의 주변 환경의 디지털 모델을 개발할 수 있다.

Description

오디오, 비주얼 및 모션 분석 기능을 갖는 디지털 카메라
본 발명은 디지털 카메라에 관한 것으로, 특히, 오디오, 비주얼 및 모션 입력 기능을 갖는 디지털 카메라에 관한 것이다.
디지털 카메라는 컴퓨터에 저장되고, 화면에 표시되며, 인쇄될 수 있는 디지털 영상을 생성하는 카메라이다. 오늘날 판매되는 대부분의 카메라는 디지털이며, 디지털 카메라는 개인 휴대 단말기(Personal Digital Assistant, PDA) 및 휴대전화(카메라폰)에서부터 차량에 이르기까지 많은 장치에 통합되어 있다. 많은 디지털 카메라(때로는 '비디오카메라'라고도 함)는 움직이는 비디오를 음향(오디오)과 함께 녹화할 수 있다. 스마트폰, 휴대전화, PDA 및 노트북 컴퓨터에 내장되는 경우, 압축되지 않은 비디오의 상대적으로 높은 비트 레이트와 파일 크기로 인해 디지털 카메라는 종종 압축된 형식으로 영상을 저장한다.
디지털 카메라 및 비디오카메라는 전형적으로 고정식 또는 가변형 조리개를 지닌 렌즈를 사용하여 광을 영상 촬상장치에 집중시키는 광학시스템을 공유한다. 조리개와 셔터는 이미저(imager)에 정확한 양의 광을 들여보내서, 처리, 저장 및 디스플레이할 수 있는 출력을 생성한다. 이 처리는 전형적으로 촬상장치(종종 CCD 센서)의 디지털화된 출력으로부터 RGB 영상의 생성, 휘도, 화이트 밸런스, 선명도 및 명암의 조정을 포함한다. 또한, 일부 디지털 카메라에서는 화상을 자르거나 합치는 등의 기본적인 영상 편집도 수행할 수 있다.
강력한 컴퓨터에 연결된 디지털 카메라는 증강현실(Augmented Reality, AR)을 가능케 할 수 있고, 디지털 세계의 구성요소를 사람이 인식하는 실제 세계로 가져온다. 증강현실(AR)은 실체와 디지털 객체가 공존하며 실시간으로 상호 작용하는 새로운 환경을 만들고 시각화하기 위해, 실제와 가상 세계를 병합하여 만든 하이브리드 현실을 의미하는 혼합 현실(Mixed Reality, MR)과 동의어로 종종 사용한다.
일부 AR 시스템에서는 머리의 움직임을 추적하는 헤드 장착 디스플레이가 AR 영상을 디스플레이하기 위해 사용된다. 고도의 AR 기술(예를 들어, 컴퓨터 비전 및 객체 인식)의 도움에 의해, 사용자 주변의 현실 세계에 관한 정보는 대화형이 되며, 디지털 조작이 가능해진다. 예를 들어, 환경 및 그 객체에 관한 정보는 실제 세계의 디스플레이 위에 중첩될 수 있다.
스마트폰, 예를 들어, iOS 또는 안드로이드(Android) 운영체계에서 작동하는 휴대전화에서는 "앱(apps)"을 사용하여 간단한 AR 기술을 구현할 수 있다. 이 앱은 전형적으로, 내장된 디지털 카메라의 출력을 조작하기 위해 다운로드 받은 응용 프로그램이다. 예를 들어, 포켓몬 고(Pokemon Go)는 iOS 및 안드로이드 장치(예를 들어, 스마트폰 및 패드)용으로 캘리포니아 샌프란시스코 소재의 Niantic Inc.에서 개발한 위치 기반 증강현실 게임이다. 그러나 전형적인 스마트폰의 처리 능력 및 감각 입력의 제한으로 인해 실제 세계의 화상에 대한 가상객체의 위치 및 특징은 상대적으로 조잡한 경향이 있다.
선행 기술의 상기한 제한 및 기타 제한은 다음의 설명 및 도면의 여러 도면을 검토하면 통상의 기술자에게 명백해질 것이다.
명세서 및 도면에 개시된 내용의 범위 내에서 요소 및 동작의 다양한 조합을 설명하기 위한 목적으로 본 명세서에서는 다양한 예를 설명한다. 당업자에게 자명한 바와 같이, 요소 및 동작의 기타 다른 조합 및 그의 변형 역시 본 명세서에서 뒷받침된다.
한정이 아닌 예시로서 설명하는 실시예에서, 오디오, 비주얼 및 모션 분석 기능을 갖는 디지털 카메라는 카메라 본체, 렌즈, 렌즈와 정렬된 촬상센서, 음향센서, 모션 센서 및 입력처리시스템을 포함한다. 비 제한적인 예에서, 이 입력처리시스템은: (a) 시스템 버스; (b) 시스템 버스에 연결된 디지털 프로세서; (c) 음향센서의 출력을 시스템 버스에 연결하는 음향센서 서브시스템; (d) 촬상센서의 출력을 시스템 버스에 연결하는 촬상센서 서브시스템; (e) 모션 센서의 출력을 시스템 버스에 연결하는 모션 센서 서브시스템; (f) 시스템 클록과 별도로, 모션 센서 서브시스템, 촬상센서 서브시스템 및 음향센서 서브시스템에 동기 클록 신호를 제공하는 고정밀 클록; 및 (g) 시스템 버스에 연결되고, 실시간 오디오, 비주얼 및 모션 분석을 위해 디지털 프로세서에 의해 실행 가능한 코드 세그먼트를 포함하며, 모션 센서 서브시스템, 촬상 센서 서브시스템 및 음향 센서 서브시스템으로부터 얻은 데이터로부터 디지털 카메라의 주변 환경의 디지털 모델을 개발하는 비 일시적인 디지털 메모리를 포함한다.
한정이 아닌 예시로서 설명하는 다른 실시예에서, 디지털 카메라에 의한 주변 환경 모델링 방법은: 적어도 촬상센서, 음향센서 및 모션 센서를 포함하는 복수의 센서로부터 원시입력데이터(raw input data)를 수집하는 단계; 원시입력데이터로부터 메타데이터를 도출하는 단계; 및 메타데이터 및 원시입력데이터를 처리하여 디지털 카메라의 주변 환경의 모델을 개발하는 단계를 포함한다. 일부 실시예에서는 원시입력데이터는 촬상센서 데이터 및 음향센서 데이터 중 하나만을 포함한다.
한정이 아닌 예시로서 설명하는 다른 실시예에서, 디지털 카메라에 의한 증강현실(AR) 제공방법은: 적어도 촬상센서, 음향센서 및 모션 센서를 포함하는 디지털 카메라에 의해 주변 환경을 스캔하는 단계; 상기 디지털 카메라의 디지털 프로세서에 의해 상기 촬상센서, 음향센서 및 모션 센서로부터 도출된 데이터로부터 물리적 객체 및 그의 특성을 포함하는 주변 환경의 모델을 개발하는 단계; 및 증강현실(augmented reality, AR)을 개발하여 주변 환경을 중첩시키는 단계를 포함한다. 특정 실시예에서는 AR은 음향을 포함하고, 특정의 다른 실시예에서는 AR은 영상을 포함하며, 다른 특정 실시예에서 AR은 음향과 영상 모두를 포함한다.
한정이 아닌 예시로서 설명하는 추가 실시예에서, 디지털 카메라의 디지털 프로세서 상에서 실행 가능한 코드 세그먼트를 포함하는 비 일시적인 컴퓨터 판독 가능한 매체는: 적어도 촬상센서, 음향센서 및 모션 센서를 포함하는 디지털 카메라에 의해 주변 환경을 스캔하고; 상기 디지털 카메라의 디지털 프로세서에 의해 상기 촬상센서, 음향센서 및 모션 센서로부터 도출된 데이터로부터 물리적 객체 및 그의 특성을 포함하는 주변 환경의 모델을 개발하며; 및 증강현실(augmented reality, AR)을 개발하여 주변 환경을 중첩시키기 위한 디지털 카메라의 디지털 프로세서에서 실행 가능한 코드 세그먼트를 포함한다. 특정 실시예에서는 AR은 음향을 포함하고, 다른 특정 실시예에서는 AR은 영상을 포함하며, 또 다른 특정 실시예에서는 AR은 음향과 영상 모두를 포함한다.
본 명세서에서 뒷받침되는 요소 및 동작의 조합을 비롯하여 그 목적 및 장점에 대한 상기 설명 및 기타 예들은 다음의 설명을 읽고 도면의 여러 도면의 검토에 의해 통상의 기술자에게 명백해질 것이다.
도면을 참조하여 몇 가지 예를 설명하며, 동일한 요소 및/또는 동작에는 동일한 참조 번호를 붙이고 있다. 이들 예들은 본 명세서에 개시된 개념을 한정하는 것이 아니라 예시하기 위한 것이다. 도면에는 다음 도면이 포함되어 있다.
도 1a는 예시적인 디지털 카메라의 정면 사시도이다.
도 1b는 도 1a의 예시적인 디지털 카메라의 배면 사시도이다.
도 2는 디지털 카메라용 렌즈 및 관련 아날로그 복합 비디오 회로의 예시적인 조립체의 블록도이다.
도 3은 디지털 카메라용 예시적인 입력처리시스템의 블록도이다.
도 4는 도 3의 예시적인 촬상센서 서브시스템의 블록도이다.
도 5는 도 3의 예시적인 모션 센서 서브시스템의 블록도이다.
도 6은 도 3의 예시적인 음향센서 서브시스템의 블록도이다.
도 7은 도 3의 예시적인 환경센서 서브시스템의 블록도이다.
도 8은 도 3의 위성위치확인시스템 서브시스템의 블록도이다.
도 9는 도 3의 예시적인 보조 주변 서브시스템의 블록도이다.
도 10은 도 3의 예시적인 코프로세싱 서브시스템의 블록도이다.
도 11은 도 3의 예시적인 비휘발성 스토리지 서브시스템의 블록도이다.
도 12는 도 3의 예시적인 네트워크 인터페이스 서브시스템의 블록도이다.
도 13은 도 3의 예시적인 사용자 인터페이스 서브시스템의 블록도이다.
도 14는 도 3의 예시적인 비주얼 출력 서브시스템의 블록도이다.
도 15는 도 3의 예시적인 음향출력 서브시스템의 블록도이다.
도 16은 도 3의 예시적인 전력공급 서브시스템의 블록도이다.
도 17은 디지털 카메라에 대한 예시적인 루트 동작 프로세스의 흐름도이다.
도 18은 도 17의 예시적인 메인 루프의 흐름도이다.
도 19는 예시적인 사용자 인터페이스 관리 프로세스의 흐름도이다.
도 20은 예시적인 데이터 획득 프로세스를 나타내는 도면이다.
도 21은 예시적인 데이터 처리 프로세스를 나타내는 도면이다.
도 22는 예시적인 데이터 렌더링 프로세스를 나타내는 도면이다.
도 23은 룸의 음향 모델을 개발하기 위한 디지털 카메라의 사용 예를 보인 흐름도이다.
도 24는 HVAC 시스템의 음향 모델을 개발하기 위한 디지털 카메라의 사용 예를 보인 흐름도이다.
도 1a 및 도 1b는 본체(12), 렌즈(14), 텔레스코핑 렌즈 배럴(telescoping lens barrel, 조리개)(16), 셔터 버튼(18), 음향센서(예를 들어, 마이크로폰) 입력(20), 및 디스플레이(22)를 포함하는 예시적인 디지털 카메라(10)의 정면 및 배면 사시도이다. 이 비 제한적인 예에서, 디지털 카메라(10)는 플래시 조립체(24), 각종 제어 버튼(26), 및 USB 포트(28) 등의 I/O 포트를 포함할 수도 있다. 이미지 센서, 아날로그 비디오 회로 및 디지털 이미지를 분석하고 향상시킬 수 있는 입력처리시스템과 같은 다수의 구성요소(도시 생략)가 카메라 본체(12) 내에 배치된다. 특정 실시예에서, 예를 들어, 본체(12)의 정면, 배면, 상부, 하부 또는 측면에는 하나 이상의 추가적인 음향센서(29)가 제공된다. 또한, 광각 카메라, 적외선(IR) 열화상 카메라와 같은 하나 이상의 추가적인 카메라(31)가 제공될 수도 있다. 이들 추가적인 카메라는 예를 들어 모션 추적에서 유용할 수 있다. 주변 환경에서의 물질의 산란 및 흡수 특성을 평가하기 위해 디지털 입자속도 센서(33)가 제공될 수 있다. 또한, I/O 포트(35)는 예를 들어 헤드폰 포트, 확성기(loudspeaker), 프린터 포트, 비디오 출력포트 등을 디지털 카메라(10)의 본체(12) 상에 더 제공될 수도 있다.
본 명세서에서 설명하는 것과 같이, 디지털 카메라(10)는 정지 화상을 캡처하는 일반 카메라로서뿐만 아니라, 영상 분석, 영상 조작 및 영상 확대가 가능한 첨단 비디오카메라 모두로서 작동할 수 있다. 본 명세서에서는 전체적으로 디지털 카메라 또는 디지털 카메라 시스템으로 기재하고 있으나, 비디오카메라 또는 비디오카메라 시스템, 증강현실(AR) 시스템, 가상현실(VR) 시스템 등으로 서로 바꿔가며 기재할 수도 있다. 디지털 카메라(10)는 바람직하게는 실시간 증강현실 디스플레이 및 분석을 제공하는 것과 같은 목적을 위해 연산 집약적인 오디오/비주얼 처리가 가능한 (예를 들어, 외부 구성요소 또는 추가적인 컴퓨팅 전력(computing power)에 접속을 필요로 하지 않는) 단일의 장치이다.
도 2는 도 1a 및 도 1b의 디지털 카메라(10)용 렌즈(14)와 관련 디지털 광 촬상센서(30)의 예시적인 조립체의 블록도이다. 이 비 제한적인 예에서, 디지털 광 촬상센서(30)는 전하결합소자(Charge Coupled Device, CCD) 영상센서(32), 수평 및 수직 구동회로(34), 동기 발생기(36), 비디오 증폭기(38), 믹서(40), 복합 비디오 출력(42), 및 아날로그 디지털(analog-to-digital, A/D) 변환기(44)를 포함한다. 수평 및 수직 구동회로(34)는 CCD의 픽셀 매트릭스를 구동하여 비디오 증폭기(38)에 아날로그 신호를 제공한다. 비디오 증폭기(38)의 출력은 믹서(40)에서 동기 발생기(36)로부터의 동기 발생기 신호와 혼합되어, A/D 변환기(44)에 의해 디지털화된 아날로그 복합 비디오 출력(42)을 제공한다.
도 3은 도 1a 및 도 1b의 디지털 카메라(10)에 대한 예시적인 입력처리시스템(46)의 블록도이다. 이 비 제한적인 예에서, 입력처리시스템은 시스템 버스(48)의 주위에 설치되어 있으며, 중앙처리유닛(central processing unit, CPU)(50), 랜덤액세스메모리(random access memory, RAM)(52), 비휘발성 판독전용 메모리(read-only memory, ROM)(54), 모션 센서 서브시스템(56), 촬상센서 서브시스템(58), 및 음향센서 서브시스템(60)을 포함한다. 이 예에서, 모션 센서 서브시스템(56), 촬상센서 서브시스템(58) 및 음향센서 서브시스템(60)은 각각 공통의 동기 고정밀 클록(62)에 의해 구동된다. 고정밀 클록(62)은 시스템 구성요소들의 동기화를 위해 매우 정확한 공통의 시간 기준을 제공한다. "고정밀 클록"은 클록 주기가 매우 규칙적이어서, 주기마다 몇 백분의 일도 변하지 않는 것을 의미한다. 그러한 고정밀 클록은 전형적으로는 수정 클록으로서 구현된다. ROM(54)은 PROM, EEPROM 및 플래시 메모리 기술을 포함한 다수의 기술에 의해 구현될 수 있다. CPU(50)는 마이크로프로세서, 마이크로컨트롤러 등에 의해 구현될 수 있으며, 본 명세서에서는 전체적으로 "디지털 프로세서"로 칭한다. 디지털 입자속도 센서(33)는 음향센서 서브시스템(60)의 일부를 구성할 수 있다.
입력처리시스템(46)의 다양한 대안적인 실시예는 전원공급 서브시스템(64), 코프로세싱 서브시스템(66), 비휘발성 스토리지 서브시스템(68), 네트워크 인터페이스 서브시스템(70), 비주얼 출력 서브시스템(72), 사용자 인터페이스 서브시스템(74), 환경센서 서브시스템(76), 위성위치확인 서브시스템(78)(global positioning subsystem), 보조 주변 서브시스템(80), 및 음향출력 서브시스템(82)을 포함한다.
전술한 바와 같이, 입력처리시스템(46)은 디지털 카메라(10)의 일부로서 구현되거나, 스마트폰 또는 기타 휴대장치에서 구현될 수 있다. 예를 들어, 스마트폰에서 입력처리시스템(46)을 구현하는 경우의 장점은, 전자 및 펌웨어 구성요소의 대부분이 이미 내장되어 있고/있거나, 인터페이스를 통해 주변 장치로서 추가될 수 있고, 스마트폰 "앱들"을 사용하여 시스템의 기능성이 구현될 수 있는 것을 포함한다. 현재의 스마트폰의 단점에는 제한된 하드웨어 및 계산 능력이 있다.
주파수 시프트로부터의 상대 운동을 추정하는 프로세스는 도플러 이미징(Doppler imaging)으로서 공지되어 있다. 비 제한적인 예로 설명하는 실시예에서, 도플러 이미징은 위치 및 속도의 음향 추적에 사용된다. 도플러 이미징에서 얻어진 국부적인 모션 신호(Local motion signal)는 전용 모션 센서와 함께 또는 전용 모션 센서가 없는 경우에 사용할 수 있다.
모션 기반 구조(Structure from Motion, SfM) 프로세스는 전형적으로 국부적인 모션 신호와 결합할 수 있는 2차원 영상 시퀀스로부터 3차원 구조를 추정하기 위한 사진측량범위 촬상 기술이다. 모션 기반 구조를 찾는 것은 스테레오 비전 기반 구조를 찾는 것과 유사한 문제를 보인다. 두 경우 모두에 있어서, 영상과 3D 객체의 재구성 간의 대응은 알고리즘적으로 도출된다. 그러나 비 제한적인 예로, 특정 실시예에서, SfM 프로세스는 예를 들어 낮은 채광 조건하에서 주변 환경의 3D 모델을 개발하기 위해 음향센서 데이터를 대안적으로 및/또는 부가적으로 사용할 수 있다. 즉, 특정 비 제한적인 예에서, 영상센서 데이터는 SfM 프로세스를 위해 필요하지 않다.
지도제작 자동화(automated mapping)에서 위치측정 동시 지도화(Simultaneous Localization and Mapping, SLAM)는 알려지지 않은 환경의 맵 또는 모델을 구축 또는 갱신하면서 그 중의 에이전트의 위치를 동시에 추적하는 계산상의 문제이다. 입자필터 및 확장된 칼만 필터(Kalman filter) 알고리즘을 포함하는 로봇 지도작성 시스템에서 사용되는 다수의 SLAM 알고리즘이 있다. 입자필터법은 신호처리 및 베이지안(Bayesian) 통계 간섭에서 발생하는 필터링 문제를 해결하기 위해 일련의 유전자형 입자 몬테카를로(Monte Carlo) 방법론을 포함한다. 필터링 문제는 부분적인 관측만이 이루어진 경우 및 센서 입력에 무작위 섭동이 존재하는 경우, 동적 시스템에서 내부 상태를 추정하는 것을 포함한다. SLAM 알고리즘의 복잡성으로 인해, 일반적으로 카메라 자체와는 독립된 컴퓨팅 시스템에서 상기 알고리즘이 수행된다.
도 4는 고정밀 클록(62) 및 시스템 버스(48)에 연결된 도 3의 예시적인 촬상센서 서브시스템(58)의 블록도이다. 이 비 제한적인 예에서, 촬상센서 서브시스템(58)은 센서 서브시스템 컨트롤러(84)에 연결된 다중 디지털 광 촬상센서(30)를 비롯해, 각기 센서 서브시스템 컨트롤러(84)에 연결된 다중 디지털 거리 촬상센서(86), 디지털 온도기록 센서(88), 발광 다이오드(light emitting diodes, LEDs)(90), 구조화된 투광기(92) 및 무선 주파수 변조된 발광기(radio frequency (RF) modulated light emitter, 94)를 포함한다. 이 비 제한적인 예에서, 촬상센서(30, 86, 88)는 발광 구성요소(90, 92, 94)와 함께 사용하여 광범위한 조명 조건에서 강력한 동작을 지원할 수 있다. 발광 구성요소는 비 제한적인 예로 디지털 카메라(10)의 플래시 조립체(24)의 일부로서 구비하는 다수의 구성으로 구현될 수 있다.
도 5는 도 3의 예시적인 모션 센서 서브시스템(56)의 블록도이다. 이 비 제한적인 예에서, 모션 센서 서브시스템(56)은 고정밀 클록(62) 및 시스템 버스(48)에 연결된 센서 서브시스템 컨트롤러(96)를 비롯해, 디지털 3축 가속도계(98), 디지털 3축 자이로미터(100) 및 디지털 자력계(102)를 포함하며, 이들은 각각 센서 서브시스템 컨트롤러(96)에 연결된다. 모션 센서 서브시스템 데이터는 예를 들어 상대 관성운동 및 경사를 측정하는데 사용할 수 있다.
도 6은 도 3의 예시적인 음향센서 서브시스템(60)의 블록도이다. 이 비 제한적인 예에서, 음향센서 서브시스템(60)은 센서 서브시스템 컨트롤러(104), B-포맷 마이크로폰 캡슐 어레이(106), 다채널 아날로그신호 전치증폭기(108), 다채널 아날로그 디지털(A/D) 오디오 변환기(110) 및 디지털 입자속도 감지 패키지(112)를 포함한다. 이 비 제한적인 예에서, B-포맷 마이크로폰 캡슐 어레이(106)는 다채널 아날로그신호 전치증폭기(108)를 통해서 다채널 A/D 오디오 변환기(110)에 접속된다. B-포맷 마이크로폰 캡슐 어레이(106)는 다른 목적들 중에서도 특히 3차원 음장(three-dimensional sound fields)을 캡처하기 위해 사용할 수 있다. 디지털 입자속도 감지 패키지(112)는 다른 목적들 중에서도 특히 표면의 음향 산란 및 흡수 특성을 측정하는데 사용할 수 있다. 또한, 디지털 입자속도 감지 패키지(112)는 B-포맷 마이크로폰 캡슐 어레이(106)와 함께, 예를 들어 음원 방향 벡터를 계산하는데 사용할 수 있다. 디지털 입자속도 감지 패키지(112)에 의해 생성된 음향 임펄스에 대한 음향 응답은 예를 들어 환경 잔향 특성의 분석을 지원하기 위해 B-포맷 마이크로폰 캡슐 어레이(106)를 사용하여 캡처할 수 있다.
도 7은 도 3의 예시적인 환경센서 서브시스템(76)의 블록도이다. 선택적인(optional) 환경센서 서브시스템(76)은 다수의 환경 특성을 캡처하는데 사용할 수 있다. 이 비 제한적인 예에서, 환경센서 서브시스템(76)은 고정밀 클록(62) 및 시스템 버스(48)에 연결된 센서 서브시스템 컨트롤러(114)를 비롯해, 디지털 가속도계(116), 디지털 기압계(118), 디지털 전자기 방사선 센서(120), 디지털 마이크로기압계(122), 디지털 습도계(124) 및 디지털 온도계(126)를 포함한다.
도 8은 도 3의 위성위치확인시스템 (Global Positioning System, GPS) 서브시스템의 블록도이다. 이 비 제한적인 예에서, GPS 서브시스템(78)은 고정밀 클록(62) 및 시스템 버스(48)에 연결된 센서 서브시스템 컨트롤러(128)를 비롯해, GPS 안테나(130) 및 GPS 위성 수신기(132)를 포함한다.
도 9는 도 3의 예시적인 보조 주변 서브시스템(80)의 블록도이다. 이 비 제한적인 예에서, 주변 인터페이스 컨트롤러(134)는 시스템 버스(48)에 연결되고, USB 커넥터(136) 및 GPIO 커넥터(138) 등의 I/O 포트는 주변 인터페이스 컨트롤러(134)에 연결된다. 선택적으로, 보조 주변 서브시스템(80)은 도 3에 도시된 것과 같이 고정밀 클록(62)에 연결된다.
도 10은 도 3의 예시적인 코프로세싱 서브시스템(66)의 블록도이다. 이 비 제한적인 예에서, 선택적인 오디오 코프로세서(140), 그래픽 코프로세서(142), 모션 코프로세서(144) 및 물리 코프로세서(146)는 시스템 버스(48)에 연결된다.
도 11은 도 3의 예시적인 비휘발성 스토리지 서브시스템(68)의 블록도이다. 이 비 제한적인 예에서, 비휘발성 스토리지 서브시스템(68)은 고정식 저장장치(150)와 착탈식 저장장치(152)를 시스템 버스(48)에 연결하는 주변 인터페이스 컨트롤러(148)를 포함한다.
도 12는 도 3의 예시적인 네트워크 인터페이스 서브시스템(70)의 블록도이다. 이 비 제한적인 예에서, 네트워크 인터페이스 컨트롤러(network interface controller, NIC)(154)는 시스템 버스(48)에 연결되고, 이더넷 송수신기(156)는 이더넷 커넥터(158)를 네트워크 인터페이스 컨트롤러(154)에 연결하고, Wi-Fi 송수신기(160)는 Wi-Fi 안테나(162)를 네트워크 인터페이스 컨트롤러(154)에 연결하고, 셀 네트워크 송수신기(164)는 셀 네트워크 안테나(166)를 네트워크 인터페이스 컨트롤러(154)에 연결하고, 블루투스 송수신기(168)는 블루투스 안테나(170)를 네트워크 인터페이스 컨트롤러(154)에 연결한다. 제한되지는 않으나, 수신된 신호강도 등의 네트워크 인터페이스 서브시스템(70)으로부터의 데이터는 향상된 위치추적 및 지도작성을 위해 (후술할) SLAM 모듈에 의해 사용될 수 있으며, 또한 질량 감쇠 계수를 추정하기 위해 (후술할) 실체 특성 모듈에 의해 사용될 수 있다.
도 13은 도 3의 예시적인 사용자 인터페이스 서브시스템(74)의 블록도이다. 이 비 제한적인 예에서, 센서 서브시스템 컨트롤러(172)는 시스템 버스(48)에 연결된다. 선택적인 사용자 인터페이스는 센서 서브시스템 컨트롤러(172)에 연결되며, 키보드(174), XY 터치패드(176), 터치 디지타이저(178), 물리 스위치(physical switche, 180), 선형 인코더(182) 및 로터리 인코더(184)를 포함한다.
도 14는 도 3의 예시적인 비주얼 출력 서브시스템(72)의 블록도이다. 이 비 제한적인 예에서, 비주얼 출력 서브시스템(72)은 시스템 버스(48)를 디스플레이 어댑터 커넥터(188)에 연결하는 디스플레이 제어부(186)를 포함한다.
도 15는 도 3의 예시적인 음향출력 서브시스템(82)의 블록도이다. 이 비 제한적인 예에서, 음향출력 서브시스템(82)은 시스템 버스(48)에 연결된 오디오 출력 컨트롤러(190), 디지털 오디오 출력(194)을 오디오 출력 컨트롤러(190)에 연결하는 디지털 오디오 신호 포맷 변환기(192), 및 아날로그 오디오 출력(198)을 오디오 출력 컨트롤러(190)에 연결하는 디지털 아날로그 오디오 변환기(196)를 포함한다.
도 16은 도 3의 예시적인 전력공급 서브시스템(64)의 블록도이다. 이 비 제한적인 예에서, 전력공급 서브시스템(64)은 시스템 버스(48)에 연결된 전원 입력 스위칭(200), 전원 입력 스위칭(200)에 연결된 배터리(202), 전원 입력 스위칭(200)과 배터리(202)에 연결된 배터리 충전 컨트롤러(204), 및 전원 입력 스위칭(200)에 연결된 외부 전원 입력(206)을 포함한다.
도 17은 디지털 카메라(10)에 대한 예시적인 루트 동작 프로세스(root operating process, 208)의 흐름도이다. 이 루트 동작 프로세스(208)는 예를 들어, 도 3의 CPU(50) 상에서 실행될 수 있다. 초기에 카메라 전원을 켜면, 동작(210)에서 주변기기를 인식하고, 동작(212)에서 코드 세그먼트를 로딩하고, 동작(214)에서 사용자 인터페이스를 시작한다. 코드 세그먼트는 바람직하게는 도 3의 메모리(54)와 같은 비휘발성 판독전용 메모리에 저장되나, EEPROMS, 플래시 메모리 등을 포함하는 다른 형태의 비휘발성 메모리를 사용해도 좋다. 이들 초기화 단계 후에, 루트 동작 프로세스(208)는 메인 루프(216)로 들어간다. 인터럽트 핸들러(218)는 이벤트 구동 처리를 위해 메인 루프(216)를 인터럽트할 수 있다. 센서 서브시스템에서 데이터의 타임스탬프된 프레임을 사용할 수 있게 됨에 따라, 프레임은 처리를 위해 코드 세그먼트 모듈로 전달된다.
도 18은 도 17의 예시적인 메인 루프 프로세스(216)의 흐름도이며, 220에서 시작하고, 이어서, 동작(222)에서 이용 가능한 새로운 데이터 프레임이 있는가를 결정한다. 예(Yes)인 경우 동작(224)에서 모듈에 통지한다. 이용 가능한 새로운 데이터 프레임이 없거나 또는 동작(224) 후에, 동작(226)에서는 데이터 후처리가 필요한가 여부를 결정한다. 예(yes)인 경우 동작(228)에서는 모듈에 통지한다. 데이터 후처리가 필요치 않거나 또는 동작(228) 후에 동작(230)에서는 디지털 카메라(10)가 저전력 "슬립(sleep)"모드로 들어가도록 하고, 프로세스 제어는 동작(222)으로 복귀한다.
도 19는 232에서 시작하는 도 17의 예시적인 시작 사용자 인터페이스 프로세스(start user interface process, 214)의 흐름도이며, 사용자 입력(UI)이 수신되었는가 여부를 결정하는 동작(234)을 갖는다. 동작(234)에서 예(yes)인 경우, 동작(236)에서는 UI 입력에 따라서 작동한다. 동작(234)에서 아니오(no)인 경우 또는 동작(236) 후에, 동작(238)에서는 UI 업데이트가 필요한가 여부를 결정한다. 예(yes)인 경우, 동작(240)은 UI를 업데이트하고, 아니오(no)인 경우 또는 동작(240) 후에, 슬립 동작(242)이 수행된다. 이어서, 프로세스 제어는 연속 루프에 의해 동작(234)으로 복귀한다.
디지털 카메라(10)의 동작을 제어하는 하드웨어 및 코드 세그먼트(전형적으로 펌웨어)는 정지 카메라로부터 비디오카메라에 이르는 많은 모드에서 작동되도록 하고, 첨단 "스마트" 카메라는 환경을 모델링하여 실시간으로 혼합된 실제 음향 및 영상을 생성할 수 있음을 이해할 것이다. 후자는 가상화 모드에 들어가서 복수의 환경센서로 환경을 "스캔"함으로써, 실시간 또는 거의 실시간으로 환경의 실체 특성을 가상화함으로써 달성된다. 예를 들어, 디지털 카메라(10)를 룸(room)의 중심에서부터 원형 패턴으로 패닝함으로써 환경을 스캔할 수 있다. 이 예에서, 디지털 카메라(10)는 합성된 특성, 구성요소 및 재료를 환경에 적용해서 예상되는 실제 세계 결과와 일치하는 시뮬레이션을 생성하기 위해 환경의 물리적 특성의 측정값을 캡처할 수 있다.
비 제한적인 예로, 디지털 카메라(10)는 증강/혼합 현실 어플리케이션(augmented/mixed reality application)을 위한 실시간의 오디오 향상(audio enhancement)을 제공하기 위해 사용될 수 있다. 이 예에서, 디지털 카메라(10)는 (예를 들어 룸을 스캔함으로써) 환경을 능동적으로 모니터하고, 이머젼(immersion)의 최적 품질을 위해 시뮬레이션 설정을 연속해서 조정한다. 복수의 센서들 간의 상관관계는 환경 측정을 따를 수 있으며, 시스템에 시뮬레이션 결과에 대한 신뢰수준을 제공한다.
음향은 시간에 의존하므로, 음향 모델링에서는 예측 가능한 변수 및 순환 특성을 특정하고, 분석하여 확인할 수 있다. 이 비 제한적인 예에서, 디지털 카메라(10)는 (이전에 수집한 데이터에 추가해서) 환경의 현재의 상태를 사용해서 계산 솔버 모듈(280)을 전제조건으로 하여 더 빠른 수렴(convergence)을 유도하며, 실시간 또는 거의 실시간으로 결과에 대해 정확한 시뮬레이션이 가능케 한다. 센서 서브시스템들 중 적어도 하나로부터의 데이터에 의한 계산 솔버 모듈(280)을 전제 조건으로 하는 것은 AR 영상 및/또는 AR 음향을 개발하여 주변 환경을 중첩시키는 계산 프로세스를 가속화한다.
비 제한적인 예로, 디지털 카메라(10)는 시각 장애인용 예측 모델링의 기초를 제공할 수 있다. 이 장치의 구성을 사용해서 시각 장애인에게 피드백을 제공하기 위해 사용할 수 있는 예측 모델을 구축할 수 있다. 장치의 각종 센서를 사용해서 실시간으로 그 특성과 함께 환경의 물리적 형상을 캡처함으로써 장치는 그와 같은 환경의 구성요소의 이해를 나타내는 모델을 구축할 수 있다. 이것은 맹인인 개인에게 예측적인 응답을 제공하기 위해 사용할 수 있는 상황 인지(contextual awareness)로 이해할 수 있다.
비 제한적인 예로, 디지털 카메라(10)는 환경을 스캔하여 카메라를 들고 있는 사람이 거리의 모퉁이에 서 있는 것을 식별할 수 있고, 음향센서를 통해서 멀리 있는 차량의 음향을 식별할 수 있다. 사람이 향하고 있는 방향 및 다가오는 차량의 음향 같은 정보를 통해서 이 도로를 통과하기에 최적의 시간이 되었을 때, 또는 사람이 도로을 건너는 것을 피해야 할 때를 사람에게 알릴 수 있다.
디지털 카메라(10)의 고도한 모델링 및 예측 모델링은 3개의 기본 단계 또는 스테이지에 의해 달성할 수 있다. 이 예에서, 스테이지 1은 원시입력데이터의 수집이며, 이는 도 20과 관련해서 보다 상세하게 논의한다. 스테이지 2는 스테이지 1에 의해 수집한 원시 입력으로부터 메타데이터를 도출하며, 이는 도 21과 관련해서 보다 상세하게 논의한다. 스테이지 3은 메타데이터 및 원시입력데이터를 합산하여 환경 모델을 작성하는 것이며, 이는 도 22와 관련해서 보다 상세하게 논의한다. 예를 들어, 음향 모델링을 통해서 새로운 음향은 모델링한 환경에서 사용자가 들을 수 있게 된다.
도 20은 선택적인 환경센서 서브시스템(76), 음향센서 서브시스템(60), 모션 센서 서브시스템(56) 및 촬상센서 서브시스템(58)으로부터의 입력에 의해 시작되는 예시적인 데이터 획득 프로세스(244)를 나타내는 도면이다. 센서 서브시스템의 출력은 실체 특성 데이터베이스(254), 실체 특성 모듈(256), 특징 벡터 데이터베이스(258), SLAM 모듈(260), 영상 분류기 데이터베이스(262) 및 컴퓨터 비전 모듈(264)을 사용하여 처리된다. 실체 특성 모듈(256), SLAM 모듈(260) 및 컴퓨터 비전 모듈(264)의 출력은 데이터 준비 모듈(266)에 입력되며, 이 모듈은 데이터 준비 데이터베이스(268)와 연결된다.
위치측정 동시 지도화(SLAM) 모듈(260)은, 제한되는 것은 아니나, 촬상센서 서브시스템(58) 및 음향센서 서브시스템(60) 같은 기타 센서 서브시스템으로부터의 데이터와 함께 모션 센서 서브시스템(56)으로부터의 데이터를 처리하여 3차원 기하학적 환경 모델을 구축할 수 있다. 데이터의 프레임은 특징 추출 기술을 이용하여 변형될 수 있고, 결과로 얻어지는 국부화된 특징 벡터는 데이터베이스(258)에 저장되어 이동중인 장치의 추적된 위치 및 배향의 보정을 지원할 수 있다.
실체 특성 모듈(256)은 음향센서 서브시스템(60)으로부터의 데이터를 처리하여, 제한되지는 않으나, 물질 흡수 및 산란 계수와 잔향 특성과 같은 환경에서의 물리적 특성을 평가할 수 있다. 실체 특성 모듈(256)은 예를 들어 음향의 감쇠 및 속도를 계산할 때, 제한되지는 않으나, 풍속, 공기 압력, 습도 및 온도와 같은 환경센서 서브시스템(76)으로부터의 데이터를 처리하여 시뮬레이션 모델을 개선할 수 있음을 이해할 것이다.
실체 특성 모듈(256)은, 제한되지는 않으나, 미리 정해진 질량 감쇠 계수 및 국부화된 음향 임펄스 응답을 포함하는 실체 특성 데이터베이스(254)와 함께 작동할 수 있다. 컴퓨터 비전 모듈(264)은, 제한되지는 않으나, 테두리 검출과 같은 기술을 이용하여 촬상센서 서브시스템(58)으로부터의 데이터를 처리할 수 있다. 또한, 컴퓨터 비전 모듈(264)은 촬상센서 서브시스템(58)으로부터의 데이터를 대상 영상의 영상 분류기 데이터베이스(262)와 함께 처리하여 라우드 스피커 및 마이크로폰과 같은 영상 프레임 내의 시각적으로 인식 가능한 대상을 분류하고, 환경에서 그들의 자세를 추정할 수 있다. 또한, 컴퓨터 비전 모듈(264)은, 제한되지는 않으나, 재료 영상의 영상 분류기 데이터베이스(262)와 함께 촬상센서 서브시스템(58)으로부터의 데이터를 처리하여 벽돌 및 목재 등의 영상 프레임에서 시각적으로 인식 가능한 재료를 분류할 수 있다. 데이터 준비 모듈(266)은 센서 서브시스템으로부터의 데이터 출력의 타임스탬프된 프레임을 결합하여 후술할 계산 솔버 모듈(280)에 대한 시뮬레이션 모델을 준비한다.
시뮬레이션 모델은, 제한되지는 않으나, 라우드 스피커, 트랜스듀서 및 마이크로폰 같은 음향 이미터 및 수신기의 기하학, 재료 특성, 경계 조건, 위치 및 방향과 같은 데이터를 포함할 수 있다. 시뮬레이션 모델은, 제한되지는 않으나, 라우드 스피커, 흡음처리(acoustic treatment) 및 가구와 같은 가상 콘텐츠로 확장될 수 있다. 데이터 준비 모듈(266)은 실제의 센서 데이터 프레임을 사용해서 센서 및 데이터의 융합을 실행할 수 있고, 제한되지는 않으나, 과거의 해답 결과와 같은 데이터 세트에 의해 훈련된 신경망에 의해 생성된 데이터를 합성할 수 있다. 데이터 준비 모듈(266)은, 제한되지는 않으나, 전자기장 강도 및 초저 잡음과 같은 환경센서 서브시스템(76)으로부터의 데이터를 처리하여, 예를 들어 센서 서브시스템에서의 바이어스를 보상함으로써 시뮬레이션 모델을 개선할 수 있다.
도 20의 데이터 획득 프로세스(244)는 센서 각각의 능력을 통해 세계에 관한 정보를 수집한다. 비 제한적인 예로, 촬상센서는 RGB-D 데이터를 캡처할 수 있고, 음향센서는 청각 데이터 등을 캡처할 수 있다. 센서 입력은 캡처한 정보에 관한 추가적인 메타데이터를 추론할 다양한 모듈로 전송된다. 예를 들어, 벽은 음향센서에 의한 관찰 후에, 재료 데이터베이스로부터의 이전에 판독된 것과 비교된 후에 벽돌로 만든 것으로 식별할 수 있다. 또한, "질감(texture)"과 같은 시각적 특징을 컴퓨터 비전 데이터베이스에 대해 처리하여 (예를 들어, 벽돌 패턴에 대한) 표면 균일성과 같은 표면으로부터의 추가적인 메타데이터를 도출할 수 있다. 다음에, 데이터베이스 처리 모듈로부터 생성된 메타데이터를 합산하여 스캔한 환경의 모델을 구축할 수 있다.
도 21은 라우드스피커 사양 데이터베이스(272), 라우드스피커 모델링 모듈(274), 데이터 준비 데이터베이스(268), 데이터 준비 모듈(266), 계산 솔버 모듈(280), 해법 결과 데이터베이스(solution result database, 282), 처리 제안 모듈(284), 및 처리 모듈 데이터베이스(286)를 포함하는 예시적인 데이터 처리 프로세스(270)를 나타내는 도면이다.
계산 솔버 모듈(280)은, 제한되지는 않으나, 광선 추적법 (Ray Tracing), 경계 요소법(Boundary Element Method) 및 유한 요소법 솔버(Finite Element Method solvers)와 같은 다수의 수치 해법과 함께 데이터 준비 모듈(266)에 의해 준비된 시뮬레이션 모델을 사용하여 수치 해를 계산할 수 있다. 계산 솔버 모듈(280)은 센서 서브시스템 및 디지털 신경망으로부터의 융합 데이터를 전제 조건으로 하여 수치 해법의 수렴을 가속화할 수 있다. 처리 제안 모듈(284)은 데이터 준비 모듈(266) 및 계산 솔버 모듈(280)과 함께 사용하여 음향 처리장치의 기하학 및 재료 특성을 계산할 수 있다. 처리 제안 모듈(284)은 음향 처리장치 모델(286)의 데이터베이스를 사용하여 현장(in situ)에서 상기 장치의 시뮬레이션 및 분석을 지원할 수 있다.
라우드스피커 모델링 모듈(274)은 계산 솔버 모듈(280)로부터의 출력과 함께 데이터 준비 모듈(266)로부터의 출력을 사용하여 임의의 위치에 있는 다수의 라우드스피커를 시뮬레이션할 수 있다. 라우드스피커 모델링 모듈(274)은 라우드스피커 사양 데이터베이스(272)를 사용하여 라우드스피커의 시뮬레이션 및 분석을 지원할 수 있다.
데이터 준비 모듈(266)은 제안된 음향 수정, 예를 들어, 룸에 존재하거나 제안될 수 있는 기존 또는 잠재적인 스피커 및 모든 음향 처리에 관한 데이터와 함께, 환경으로부터 수집한 데이터를 합산한다. 이 정보는 그 구성에서 기인하는 음장(acoustic field)의 3D 표현을 제공할 수 있는 계산 솔버 모듈(280)에 공급될 수 있다. 이 정보는 시간, 노력 또는 금전을 실제 수정에 투자하기 전에, 룸의 설정에서 문제가 되는 영역을 식별하는데 유용하다. 따라서, 프로세스는 가상 스피커 및 (예를 들어, 저주파수를 흡수하기 위해 벽에 패드를 대는) 음향처리 구성을 통해 주어진 룸의 음향이 어떨지를 예측할 수 있다.
도 22는 예시적인 데이터 렌더링 프로세스(288)를 나타내는 도면이다. 데이터 준비 모듈(266)은 오디오 촉각 렌더링 모듈(292), 계산 솔버 모듈(280), 그래픽 렌더링 모듈(296) 및 데이터 추출기 모듈(298)에 연결된다. 오디오 촉각 렌더링 모듈(292)은 오디오 컨볼루션 모듈(300)로 공급한다. 헤드 관련 전달함수(Head-Related Transfer Function, HRTF) 데이터베이스(302) 및 HRTF 렌더링 모듈(304)은 오디오 컨볼루션 모듈(300)의 출력에 연결된다. 기하학 지도작성 모듈(306) 및 양안 렌더링 모듈(binocular rendering module, 308)은 그래픽 렌더링 모듈(296)의 출력에 연결되고, 유한 임펄스 응답(Finite Impulse Response, FIR) 필터 생성 모듈(310)은 데이터 추출기 모듈(298)의 출력에 연결된다. 출력은 헤드폰(312), 라우드스피커(314), 트랜스듀서(316), 프린터(318), 스크린 디스플레이(320), 2D/3D 프로젝터(322), 혼합 현실 헤드업 디스플레이(324), 가상현실 헤드업 디스플레이(326) 및 실외 신호 처리기(328)를 포함한다.
데이터 추출기 모듈(298)은, 제한되지는 않으나, FIR 필터 계수와 같은 다수의 포맷의 데이터 익스포트 기능을 제공할 수 있다. 이 비 제한적인 예에서, FIR 필터 생성 모듈(310)은 실외 신호 프로세서(328)와 함께 사용하기 위한 FIR 필터 계수를 생성할 수 있다.
오디오 촉각 렌더링 모듈(292)은 계산 솔버 모듈(280)로부터의 출력과 함께 데이터 준비 모듈(266)로부터의 출력을 사용하여, 제한되지는 않으나, 헤드폰(312), 라우드스피커(314), 및 트랜스듀서(316) 등의 음향재생장치를 통한 전달을 위해 공간적 및 촉각적인 오디오를 렌더링할 수 있다.
이 비 제한적인 예에서, 오디오 컨볼루션 모듈(300)은 오디오 촉각 렌더링 모듈(292)과 함께 동작하여 시뮬레이션된 음향 환경 특성을 실제 음향 환경 특성과 컨볼루션할 수 있다.
이 비 제한적인 예에서, 헤드 관련 전달함수는 양쪽 귀 전달(binaural delivery)을 위해 합성 음향의 공간 도메인 컨볼루션에 사용된다. 이 비 제한적인 예에서, HRTF 렌더링 모듈(304)은 오디오 촉각 렌더링 모듈(292) 및 오디오 컨볼루션 모듈(300)과 함께 동작하여 양쪽 귀 전달을 위해 국부화된 오디오 신호를 컨볼루션할 수 있다. 이 비 제한적인 예에서, HRTF 렌더링 모듈(304)은 개별화된 양이 컨볼루션을 위해 HRTF 데이터베이스(302)를 사용할 수 있게 한다.
이 비 제한적인 예에서, 그래픽 렌더링 모듈(296)은 계산 솔버 모듈(280)로부터의 출력과 함께 데이터 준비 모듈(266)로부터의 출력을 사용하여 프린터(318) 또는 스크린 디스플레이(320)로의 출력을 위해 그래픽 디스플레이를 렌더링할 수 있다. 이 비 제한적인 예에서, 또한, 그래픽 렌더링 모듈(296)은 기하학 지도작성 모듈(306)과 함께 동작하여 2-D 또는 3-D 프로젝터(322)를 통한 출력을 위해, 그래픽 출력을 환경의 기하학 구조와 컨볼루션할 수도 있다. 이 비 제한적인 예에서, 그래픽 렌더링 모듈(296)은 양안 렌더링 모듈(308)과 함께 동작하여, 제한되지는 않으나, 헤드업 디스플레이(324 및 326) 같은 양안 디스플레이를 위해 그래픽 출력을 렌더링할 수 있다.
대안의 비 제한적인 예에서, 제한되지는 않으나, 컴퓨터 이용 디자인(Computer Aided Design) 또는 빌딩 정보 모델(Building Information Model) 데이터 같은 기존의 데이터를 사용하여 시뮬레이션 모델을 구축할 수 있다. 대안의 비 제한적인 예에서, 3차원 기하학적 재구성을 위해서, 제한되지는 않으나, 광 검출 및 거리측정(Light Detecting and Ranging, LIDAR) 등의 정적으로 위치된 거리 촬상센서를 사용할 수 있다. 대안의 비 제한적인 예에서, 미리 정해진 질량 감쇠, 흡수 및 산란 계수 데이터 세트로부터 재료 특성을 할당할 수 있다. 대안의 비 제한적인 예에서, 음향센서 서브시스템(60)은 B-포맷 어레이 대신에 A-포맷 마이크로폰 캡슐 어레이를 사용할 수 있다. 대안의 비 제한적인 예에서, 음향센서 서브시스템(60)은 B-포맷 어레이 대신에 단일 마이크로폰 캡슐을 사용할 수 있다.
앞에서의 음향 모델링의 예를 계속 설명하면, 카메라(10)는 다양한 목적을 위해, 합산 환경 특성, 기존 및 가상의 스피커 특성, 룸 처리 및 계산 결과를 활용할 수 있는 능력을 갖는다는 것을 이해할 것이다. 그러한 목적 중 하나의 예로는 환경의 현재 이용 가능한 구성에서 높은 정밀도로 가상 환경을 시뮬레이션하는(예를 들어, 스피커 위치를 이용하여 자연음을 위치적으로 정확한 공간 촬상으로 시뮬레이션하는) 것이 있다. 또 다른 예에서, 사용자는 증강현실로 들어가서 헤드폰을 통해 변경된 사항을 적용하기 전에 어떤 잠재적인 변화로 인한 영향을 경험할 수 있다. 또 다른 사용의 경우에, 계산 솔버로부터 유한 임펄스 응답 오디오 필터 계수를 도출할 수 있고, 이를 기존의 신호 프로세서 구성에 적용함으로써 기존의 장비 구성을 사용하여 청취 경험을 향상시킬 수 있다.
요약하면, 디지털 카메라(10)는 환경에 관한 많은 정보를 알고 있고, 예를 들어, 물리적인 스피커가 룸 안에 있으며, 다음과 같은 다수의 유용한 서비스를 제공할 수 있다.
· (예를 들어, 뮤직 홀과 같은 홈씨어터 음향을 만들기 위해) 기존의 실체 스피커를 이용한 새로운 3D 위치 환경을 시뮬레이션
· 사용자가 룸 주위를 걸어다닐 때에 사용자에게 AR 미리 보기를 제공함으로써 룸에 어떤 변화가 결과적으로 생기는가를 오디오로 시뮬레이션 (예를 들어, 새로운 소파가 룸의 음향에 미치는 효과를 시뮬레이션)
· 기존의 시스템(예를 들어, 서라운드 음향 시스템)이 지닌 어떤 문제를 파악하고 정확한 오디오 커브(설정)를 제공하여 기존 시스템에 적용.
예-룸의 음향 모델링
도 23을 참조하면, 룸의 음향을 모델링하는 프로세스(330)는 음향 속성을 얻기 위해 룸을 스캔하는 동작(332)에서부터 시작한다. 비 제한적인 예로, 디지털 카메라(10)를 들고 있는 사용자는 카메라로 실내 주위를 팬(pan) 하여 벽, 바닥, 천장 및 관심 있는 대상물을 스캔할 수 있다. 다음에, 동작(334)에서 룸의 음향 속성이 진단되고 처리된다. 마지막으로, 동작(336)에서 룸의 음향을 향상시키기 위한 제안이 이루어진다.
추가의 비 제한적인 예로, 사용자는 룸 안으로 들어가서 룸을 스캔하기 시작한다. 센서, 가령 하나 이상의 구조화된 투광기, 디지털 거리 촬상센서, 디지털 광 촬상센서, 디지털 가속도계, 디지털 기압계, 디지털 전자기 방사선 센서, 디지털 마이크로기압계, 디지털 습도계, 디지털 온도계, B-포맷 마이크로폰 캡슐 어레이, 다채널 아날로그 신호 전치증폭기, 다채널 아날로그 디지털 오디오 변환기, 및 디지털 입자속도 감지 패키지는 SLAM 모듈과 함께 사용자에게 재료의 흡수 특성, 재료의 반사 특성, 음향의 속도 등과 같은 구축되는 3차원 모델의 음향 특성에 관한 정보를 제공한다. 이 정보를 이용하여 정보가 처리되고 진단된 후, 룸의 물리적 특징 위에 중첩된 AR 시각화가 사용자에게 제공될 수 있다. 또한, 제한되지는 않으나, 공간에 추가할 수 있는 음향 처리를 포함하여 공간에 대한 음향 효과를 향상시키기 위해 어떤 수정을 할 수 있는지에 대한 처리된 진단을 기반으로 제안이 이루어질 수 있다.
도 24에서, 프로세스(338)는 동작(340)에서 먼저 HVAC 시스템의 속성을 스캔함으로써 HVAC 시스템의 음향 모델을 개발한다. 다음에, 동작(342)에서 HVAC 시스템이 진단되고 처리된다. 다음에, 동작(344)에서 HVAC 시스템에 대한 개선을 위한 제안이 이루어질 수 있다.
비 제한적인 예로, 프로세스(338)로, 사용자는 룸 안으로 들어가서 디지털 카메라(10)로 룸을 스캔하기 시작할 수 있다. 디지털 기압계, 디지털 전자기 방사선 센서, 디지털 마이크로기압계, 디지털 습도계, 디지털 온도계 및 디지털 온도기록 센서 중 하나 이상을 포함하는 센서는 SLAM 모듈과 함께, 사용자에게 예를 들어, 공기 유동 및 온기 대 냉기의 유동 흐름을 포함한 HVAC 시스템에 관한 정보를 제공한다. 이 정보를 이용하여 정보가 처리되고, 카메라의 화면상에서 진단된 후, 공간에 중첩된 AR 시각화를 사용자에게 제공할 수 있다. 또한, 예를 들어, 공기 유동의 최적화 및 음향의 최적화(예를 들어, 룸 안에서 HVAC 시스템에 의해 생성된 소음 수준) 모두를 포함하여 HVAC 시스템을 향상시키기 위해 어떤 수정이 이루어질 수 있는지에 관한 처리된 진단을 기반으로 제안이 이루어질 수 있다.
전술한 내용으로부터, 디지털 카메라를 이용하여 주변 환경을 모델링하기 위한 방법으로, 비 제한적인 예로 설명하는 방법은:
· 적어도 촬상센서, 음향센서 및 모션 센서를 포함한 복수의 센서로부터 원시입력데이터(raw input data)를 수집하는 단계;
· 원시입력데이터에서 메타데이터를 도출하는 단계; 및
· 메타데이터 및 원시입력데이터를 처리하여 디지털 카메라의 주변 환경의 모델을 개발하는 단계를 포함하는 것을 이해할 것이다.
예를 들어, 전술한 위치측정 동시 지도화(SLAM) 프로세스 및/또는 모션 기반 구조(SfM) 프로세스를 사용하여 메타데이터를 유도할 수 있다. SLAM 프로세스 및/또는 SfM 프로세스용 코드 세그먼트는 비 제한적인 예로 비휘발성 판독전용 메모리(54)와 같은 비 일시적인 컴퓨터 판독 가능한 매체에 저장할 수 있다. 특정 실시예에서, 원시입력데이터는 촬상센서 데이터 및 음향센서 데이터 중 하나만을 포함한다.
전술한 내용으로부터, 디지털 카메라 상에서 증강현실(AR) 디스플레이를 제공하기 위한 방법으로, 비 제한적인 예로 설명하는 방법은:
· 적어도 촬상센서, 음향센서 및 모션 센서를 포함하는 디지털 카메라에 의해 주변 환경을 스캔하는 단계;
· 디지털 카메라의 디지털 프로세서를 이용하여 촬상센서, 음향센서 및 모션 센서로부터 얻은 데이터로부터 물리적 객체 및 그의 특성을 포함하는 주변 환경의 모델을 개발하는 단계; 및
· 증강현실(AR)을 개발하여 주변 환경을 중첩시키는 단계를 포함하는 것을 이해할 것이다.
주변 환경의 스캐닝은 디지털 카메라를 팬 함으로써 달성될 수 있다. 모델은 전술한 위치측정 동시 지도화(SLAM) 프로세스 및/또는 모션 기반 구조(SfM) 프로세스를 사용하여 개발할 수 있다. 가상 물체 및 가상 특성은 하나 이상의 데이터베이스에 저장할 수 있다. SLAM 프로세스 및/또는 SfM 프로세스용 코드 세그먼트는 비 제한적인 예로 하나 이상의 데이터베이스의 가상 물체 및 가상 특성과 같이 비휘발성 판독전용 메모리(54)와 같은 비 일시적인 컴퓨터 판독 가능한 매체에 저장할 수 있다. 일 실시예에서는, AR을 생성하는 단계는 주변 환경의 영상 위에 AR 영상을 중첩시키는 단계를 포함하며, AR 영상은 주변 환경의 물리적 특성과 관련되는 가상 특성을 갖는 가상 물체를 포함한다. 다른 실시예에서는, AR을 생성하는 단계는 주변 환경의 음향 위에 AR 음향을 중첩시키는 단계를 포함하며, AR 음향은 주변 환경의 물리적 특성과 관련되는 가상 특성을 갖는 가상 물체를 포함한다. 후자의 실시예는 특히 시각 장애인에게 유용하며, 또한 엔터테인먼트 경험에서의 현실감을 향상시키기 위해 사용할 수 있다.
비록 특정 용어 및 장치를 사용하여 다양한 예들을 설명하였으나, 그러한 설명은 단지 예시적인 목적을 위한 것에 불과하다. 사용된 단어들은 제한이 아닌 설명을 위한 용어들이다. 본 명세서에 기술한 어떤 실시예의 정신 또는 범위를 벗어남이 없이 통상의 기술자에 의해서 변경 및 변형이 이루어질 수 있음을 이해해야 한다. 또한, 다양한 다른 예들의 양상들을 전체적으로 또는 부분적으로 상호 치환해서 실시할 수 있음을 이해해야 한다. 그러므로 본 명세서 및 이하에 기재한 청구범위는 그들의 진정한 기술사상 및 범위에 따라서, 그리고 제한 또는 금반언 없이 해석해야 한다.

Claims (25)

  1. 오디오, 비주얼 및 모션 분석 기능을 갖는 디지털 카메라로서:
    카메라 본체;
    상기 카메라 본체에 의해 지지되는 렌즈;
    상기 렌즈와 정렬되며 상기 카메라 본체에 의해 지지되는 촬상센서;
    상기 카메라 본체에 의해 지지되는 음향센서;
    상기 카메라 본체에 의해 지지되는 모션 센서; 및
    상기 카메라 본체에 지지되는 입력처리시스템을 포함하고,
    상기 입력처리시스템은,
    (a) 시스템 버스;
    (b) 상기 시스템 버스에 연결된 디지털 프로세서;
    (c) 상기 음향센서의 출력을 상기 시스템 버스에 연결하는 음향센서 서브시스템;
    (d) 상기 촬상센서의 출력을 상기 시스템 버스에 연결하는 촬상센서 서브시스템;
    (e) 상기 모션 센서의 출력을 상기 시스템 버스에 연결하는 모션 센서 서브시스템;
    (f) 시스템 클록과 별도로 상기 모션 센서 서브시스템, 상기 촬상센서 서브시스템 및 상기 음향센서 서브시스템에 동기 클록 신호를 제공하는 고정밀 클록; 및
    (g) 시스템 버스에 연결되고, 실시간 오디오, 비주얼 및 모션 분석을 위해 디지털 프로세서에 의해 실행 가능한 코드 세그먼트를 포함하며, 모션 센서 서브시스템, 촬상 센서 서브시스템 및 음향 센서 서브시스템으로부터 도출된 데이터로부터 디지털 카메라의 주변 환경의 디지털 모델을 개발하는 비 일시적인 디지털 메모리를 포함하는 오디오, 비주얼 및 모션 분석 기능을 갖는 디지털 카메라.
  2. 제 1항에 있어서,
    환경센서 및 상기 환경센서를 상기 시스템 버스에 연결하는 환경센서 서브시스템을 더 포함하며, 상기 주변 환경의 디지털 모델은 상기 환경센서 서브시스템으로부터의 데이터로부터도 도출하는 오디오, 비주얼 및 모션 분석 기능을 갖는 디지털 카메라.
  3. 제 1항에 있어서,
    위성위치센서(global positioning sensor) 및 상기 위성위치센서를 상기 시스템 버스에 연결하는 위성위치센서 서브시스템을 더 포함하며, 상기 주변 환경의 디지털 모델은 상기 위성위치센서 서브시스템으로부터의 데이터로부터도 도출하는 오디오, 비주얼 및 모션 분석 기능을 갖는 디지털 카메라.
  4. 제 1항에 있어서,
    모션 기반 구조(Structure from Motion, SfM) 프로세스를 구현하는 코드 세그먼트를 더 포함하는 오디오, 비주얼 및 모션 분석 기능을 갖는 디지털 카메라.
  5. 제 1항에 있어서,
    위치측정 동시 지도화(Simultaneous Localization And Mapping, SLAM) 프로세스를 구현하는 코드 세그먼트를 더 포함하는 오디오, 비주얼 및 모션 분석 기능을 갖는 디지털 카메라.
  6. 제 1항에 있어서,
    상기 주변 환경의 디지털 모델을 개발하는데 사용하는 복수의 센서로부터의 원시입력데이터(raw input data)로부터 메타데이터를 도출하는 코드 세그먼트를 더 포함하는 오디오, 비주얼 및 모션 분석 기능을 갖는 디지털 카메라.
  7. 제 1항에 있어서,
    상기 카메라 본체에 의해 지지되며, 상기 주변 환경의 영상을 디스플레이하는 디스플레이를 더 포함하는 오디오, 비주얼 및 모션 분석 기능을 갖는 디지털 카메라.
  8. 제 7항에 있어서,
    상기 주변 환경의 영상 위에 증강현실(AR) 영상을 중첩시키는 코드 세그먼트를 더 포함하는 오디오, 비주얼 및 모션 분석 기능을 갖는 디지털 카메라.
  9. 디지털 카메라에 의한 주변 환경 모델링방법으로,
    적어도 촬상센서, 음향센서 및 모션 센서를 포함하는 복수의 센서로부터 원시입력데이터를 수집하는 단계;
    상기 원시입력데이터로부터 메타데이터를 도출하는 단계; 및
    상기 메타데이터 및 상기 원시입력데이터를 처리하여 디지털 카메라의 주변 환경의 모델을 개발하는 단계를 포함하는 디지털 카메라에 의한 주변 환경 모델링방법.
  10. 제 9항에 있어서,
    모션 기반 구조(SfM) 프로세스를 구현하는 단계를 더 포함하는 디지털 카메라에 의한 주변 환경 모델링방법.
  11. 제 9항에 있어서,
    위치측정 동시 지도화(SLAM) 프로세스를 구현하는 단계를 더 포함하는 디지털 카메라에 의한 주변 환경 모델링방법.
  12. 제 9항에 있어서,
    상기 원시입력데이터는 촬상센서 데이터 및 음향센서 데이터 중 하나만을 포함하는 디지털 카메라에 의한 주변 환경 모델링방법.
  13. 디지털 카메라에 의한 증강현실 제공방법으로,
    적어도 촬상센서, 음향센서 및 모션 센서를 포함하는 디지털 카메라에 의해 주변 환경을 스캔하는 단계;
    상기 디지털 카메라의 디지털 프로세서에 의해 상기 촬상센서, 음향센서 및 모션 센서로부터 도출된 데이터로부터 물리적 객체 및 그의 특성을 포함하는 주변 환경의 모델을 개발하는 단계; 및
    증강현실(augmented reality, AR)을 개발하여 주변 환경을 중첩시키는 단계를 포함하는 디지털 카메라에 의한 증강현실 제공방법.
  14. 제 13항에 있어서,
    상기 AR 개발 단계는 주변 환경의 영상 위에 AR 영상을 중첩시키는 단계를 포함하며, 상기 AR 영상은 상기 주변 환경의 물리적 특성과 관련되는 가상 특성을 갖는 가상 물체를 포함하는 디지털 카메라에 의한 증강현실 제공방법.
  15. 제 13항에 있어서, 상기 AR 개발 단계는 상기 주변 환경의 음향 위에 AR 음향을 중첩시키는 단계를 포함하며, 상기 AR 음향은 상기 주변 환경의 물리적 특성과 관련되는 가상 특성을 갖는 가상 물체를 포함하는 디지털 카메라에 의한 증강현실 제공방법.
  16. 제 13항에 있어서,
    모션 기반 구조(SfM) 프로세스를 구현하는 단계를 더 포함하는 디지털 카메라에 의한 증강현실 제공방법.
  17. 제 13항에 있어서,
    위치측정 동시 지도화(SLAM) 프로세스를 구현하는 단계를 더 포함하는 디지털 카메라에 의한 증강현실 제공방법.
  18. 제 13항에 있어서,
    가상 물체 및 가상 특성을 포함하는 데이터베이스를 더 포함하는 디지털 카메라에 의한 증강현실 제공방법.
  19. 디지털 카메라의 디지털 프로세서에서 실행 가능한 코드 세그먼트를 포함하는 비 일시적인 컴퓨터 판독 가능한 매체로,
    적어도 촬상센서, 음향센서 및 모션 센서를 포함하는 디지털 카메라에 의해 주변 환경을 스캔하고;
    상기 디지털 카메라의 디지털 프로세서에 의해 상기 촬상센서, 음향센서 및 모션 센서로부터 도출된 데이터로부터 물리적 객체 및 그의 특성을 포함하는 주변 환경의 모델을 개발하며; 및
    증강현실(augmented reality, AR)을 개발하여 주변 환경을 중첩시키기 위한 디지털 카메라의 디지털 프로세서에서 실행 가능한 코드 세그먼트를 포함하는 비 일시적인 컴퓨터 판독 가능한 매체.
  20. 제 19항에 있어서,
    상기 AR 개발은 상기 주변 환경의 영상 위에 AR 영상을 중첩시키는 것을 포함하며, 상기 AR 영상은 상기 주변 환경의 물리적 특성과 관련되는 가상 특성을 갖는 가상 물체를 포함하는 디지털 카메라의 디지털 프로세서에서 실행 가능한 코드 세그먼트를 포함하는 비 일시적인 컴퓨터 판독 가능한 매체.
  21. 제 19항에 있어서,
    상기 AR 개발은 상기 주변 환경의 음향 위에 AR 음향을 중첩시키는 것을 포함하며, 상기 AR 음향은 상기 주변 환경의 물리적 특성과 관련되는 가상 특성을 갖는 가상 물체를 포함하는 디지털 카메라의 디지털 프로세서에서 실행 가능한 코드 세그먼트를 포함하는 비 일시적인 컴퓨터 판독 가능한 매체.
  22. 제 19항에 있어서,
    모션 기반 구조(SfM) 프로세스를 구현하는 것을 더 포함하는 디지털 카메라의 디지털 프로세서에서 실행 가능한 코드 세그먼트를 포함하는 비 일시적인 컴퓨터 판독 가능한 매체.
  23. 제 19항에 있어서,
    위치측정 동시 지도화(SLAM) 프로세스를 구현하는 것을 더 포함하는 디지털 카메라의 디지털 프로세서에서 실행 가능한 코드 세그먼트를 포함하는 비 일시적인 컴퓨터 판독 가능한 매체.
  24. 제 19항에 있어서,
    가상 물체 및 가상 특성을 포함하는 데이터베이스를 더 포함하는 디지털 카메라의 디지털 프로세서에서 실행 가능한 코드 세그먼트를 포함하는 비 일시적인 컴퓨터 판독 가능한 매체.
  25. 제 19항에 있어서,
    상기 주변 환경을 중첩시키기 위해 상기 AR을 개발하는 것은 센서 입력 또는 신경망 중 적어도 하나를 사용하여 AR 계산 프로세스를 가속시키는 것을 포함하는 디지털 카메라의 디지털 프로세서에서 실행 가능한 코드 세그먼트를 포함하는 비 일시적인 컴퓨터 판독 가능한 매체.
KR1020187037508A 2016-05-28 2017-05-30 오디오, 비주얼 및 모션 분석 기능을 갖는 디지털 카메라 KR102036545B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662342916P 2016-05-28 2016-05-28
US62/342,916 2016-05-28
PCT/US2017/035076 WO2017210228A1 (en) 2016-05-28 2017-05-30 Digital camera with audio, visual and motion analysis

Publications (2)

Publication Number Publication Date
KR20190004809A true KR20190004809A (ko) 2019-01-14
KR102036545B1 KR102036545B1 (ko) 2019-10-25

Family

ID=60418203

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187037508A KR102036545B1 (ko) 2016-05-28 2017-05-30 오디오, 비주얼 및 모션 분석 기능을 갖는 디지털 카메라

Country Status (10)

Country Link
US (3) US9959682B2 (ko)
EP (1) EP3465391B1 (ko)
JP (1) JP6609383B2 (ko)
KR (1) KR102036545B1 (ko)
CN (1) CN109564467B (ko)
AU (2) AU2017273462A1 (ko)
CA (1) CA3025525C (ko)
IL (1) IL263302B (ko)
NZ (1) NZ748891A (ko)
WO (1) WO2017210228A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200116399A (ko) 2019-04-01 2020-10-12 숭실대학교산학협력단 인-아웃 판정 방법, 이를 수행하기 위한 기록 매체 및 장치

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109564467B (zh) 2016-05-28 2022-04-15 声学知识有限责任公司 具有音频、视觉和运动分析的数码相机
US10586379B2 (en) 2017-03-08 2020-03-10 Ebay Inc. Integration of 3D models
US10306212B2 (en) * 2017-03-31 2019-05-28 Verizon Patent And Licensing Inc. Methods and systems for capturing a plurality of three-dimensional sub-frames for use in forming a volumetric frame of a real-world scene
US11727656B2 (en) * 2018-06-12 2023-08-15 Ebay Inc. Reconstruction of 3D model with immersive experience
CN110377776B (zh) * 2018-07-23 2022-06-07 北京京东尚科信息技术有限公司 生成点云数据的方法和装置
EP3942261A1 (en) * 2019-03-22 2022-01-26 Signify Holding B.V. Augmented reality-based acoustic performance analysis
KR102387501B1 (ko) 2020-03-03 2022-04-19 주식회사 코아소프트 증강현실 제공장치 및 제공방법
US11830119B1 (en) * 2020-05-29 2023-11-28 Apple Inc. Modifying an environment based on sound

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011521511A (ja) * 2008-04-18 2011-07-21 ソニー エリクソン モバイル コミュニケーションズ， エービー 拡張現実を強化した音声
KR20120011280A (ko) * 2010-07-28 2012-02-07 주식회사 팬택 음향 객체 정보 융합 장치 및 방법

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9563265B2 (en) * 2012-01-12 2017-02-07 Qualcomm Incorporated Augmented reality with sound and geometric analysis
US20130235223A1 (en) * 2012-03-09 2013-09-12 Minwoo Park Composite video sequence with inserted facial region
EP2688318B1 (en) 2012-07-17 2018-12-12 Alcatel Lucent Conditional interaction control for a virtual object
GB201216210D0 (en) * 2012-09-12 2012-10-24 Appeartome Ltd Augmented reality apparatus and method
CN105027190B (zh) 2013-01-03 2019-06-21 美达视野股份有限公司 用于虚拟或增强介导视觉的射出空间成像数字眼镜
US10339711B2 (en) * 2013-03-15 2019-07-02 Honda Motor Co., Ltd. System and method for providing augmented reality based directions based on verbal and gestural cues
US9541905B2 (en) 2013-03-15 2017-01-10 Fisher-Rosemount Systems, Inc. Context sensitive mobile control in a process plant
US9269022B2 (en) * 2013-04-11 2016-02-23 Digimarc Corporation Methods for object recognition and related arrangements
US20140313303A1 (en) * 2013-04-18 2014-10-23 Digimarc Corporation Longitudinal dermoscopic study employing smartphone-based image registration
US9645652B2 (en) * 2013-05-28 2017-05-09 The Boeing Company Ubiquitous natural user system for human-machine interaction
US10533850B2 (en) * 2013-07-12 2020-01-14 Magic Leap, Inc. Method and system for inserting recognized object data into a virtual world
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
KR102273027B1 (ko) * 2014-06-09 2021-07-05 삼성전자주식회사 위치정보를 사용하여 설정된 관심영역을 사용하여 영상데이터를 생성하는 방법 및 장치
KR102297148B1 (ko) * 2014-10-31 2021-09-03 삼성메디슨 주식회사 3차원 영상을 표시하는 초음파 시스템 및 그 방법
CN109564467B (zh) 2016-05-28 2022-04-15 声学知识有限责任公司 具有音频、视觉和运动分析的数码相机

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011521511A (ja) * 2008-04-18 2011-07-21 ソニー エリクソン モバイル コミュニケーションズ， エービー 拡張現実を強化した音声
KR20120011280A (ko) * 2010-07-28 2012-02-07 주식회사 팬택 음향 객체 정보 융합 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200116399A (ko) 2019-04-01 2020-10-12 숭실대학교산학협력단 인-아웃 판정 방법, 이를 수행하기 위한 기록 매체 및 장치

Also Published As

Publication number Publication date
US9959682B2 (en) 2018-05-01
EP3465391A1 (en) 2019-04-10
CA3025525C (en) 2020-07-14
CN109564467A (zh) 2019-04-02
EP3465391A4 (en) 2020-01-01
IL263302A (en) 2018-12-31
US10477117B2 (en) 2019-11-12
IL263302B (en) 2019-07-31
US10204457B2 (en) 2019-02-12
AU2017273462A1 (en) 2019-01-03
EP3465391B1 (en) 2021-10-20
AU2019279990B2 (en) 2020-10-01
JP2019526956A (ja) 2019-09-19
NZ748891A (en) 2019-12-20
CA3025525A1 (en) 2017-12-07
AU2019279990A1 (en) 2020-01-23
WO2017210228A1 (en) 2017-12-07
KR102036545B1 (ko) 2019-10-25
US20170345216A1 (en) 2017-11-30
JP6609383B2 (ja) 2019-11-20
US20180247461A1 (en) 2018-08-30
CN109564467B (zh) 2022-04-15
US20190089911A1 (en) 2019-03-21

Similar Documents

Publication Publication Date Title
KR102036545B1 (ko) 오디오, 비주얼 및 모션 분석 기능을 갖는 디지털 카메라
JP6258953B2 (ja) 単眼視覚ｓｌａｍのための高速初期化
US9613262B2 (en) Object detection and tracking for providing a virtual device experience
US8933931B2 (en) Distributed asynchronous localization and mapping for augmented reality
JP4926916B2 (ja) 情報処理装置、情報処理方法、およびコンピュータプログラム
US10733798B2 (en) In situ creation of planar natural feature targets
JP2020501428A (ja) 仮想現実（ｖｒ）、拡張現実（ａｒ）、および複合現実（ｍｒ）システムのための分散型オーディオ捕捉技法
US20210409628A1 (en) Visual-inertial tracking using rolling shutter cameras
CN111784765A (zh) 物体测量、虚拟对象处理方法及装置、介质和电子设备
US20230140737A1 (en) Drift cancelation for portable object detection and tracking
Afif et al. Orientation control for indoor virtual landmarks based on hybrid-based markerless augmented reality
Deldjoo et al. A low-cost infrared-optical head tracking solution for virtual 3d audio environment using the nintendo wii-remote
JP7405083B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN109116424B (zh) 地震波数据的低波数噪音分离方法、装置及存储介质
CN111784841A (zh) 重建三维图像的方法、装置、电子设备及介质
CN112233146B (zh) 位置推荐方法及装置、计算机可读存储介质和电子设备

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant