KR20230156044A - 구조물 내 객체 이미징 - Google Patents

구조물 내 객체 이미징 Download PDF

Info

Publication number
KR20230156044A
KR20230156044A KR1020237029937A KR20237029937A KR20230156044A KR 20230156044 A KR20230156044 A KR 20230156044A KR 1020237029937 A KR1020237029937 A KR 1020237029937A KR 20237029937 A KR20237029937 A KR 20237029937A KR 20230156044 A KR20230156044 A KR 20230156044A
Authority
KR
South Korea
Prior art keywords
array
ultrasonic
signal
imaging
passive object
Prior art date
Application number
KR1020237029937A
Other languages
English (en)
Inventor
토비아스 달
프로드 티홀드트
존 츠슈디
Original Assignee
손에어 에이에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 손에어 에이에스 filed Critical 손에어 에이에스
Publication of KR20230156044A publication Critical patent/KR20230156044A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/08—Systems for measuring distance only
    • G01S15/10—Systems for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S15/18—Systems for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/66—Sonar tracking systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/521—Constructional features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/523—Details of pulse systems
    • G01S7/526—Receivers
    • G01S7/527—Extracting wanted echo signals
    • G01S7/5273—Extracting wanted echo signals using digital techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/523—Details of pulse systems
    • G01S7/526—Receivers
    • G01S7/53—Means for transforming coordinates or for evaluating data, e.g. using computers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R19/00—Electrostatic transducers
    • H04R19/04—Microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/46—Indirect determination of position data
    • G01S2015/465—Indirect determination of position data by Trilateration, i.e. two transducers determine separately the distance to a target, whereby with the knowledge of the baseline length, i.e. the distance between the transducers, the position data of the target is determined
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/003—Mems transducers or their use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

주변 구조물(26; 80; 86; 98; 104) 내의 적어도 하나의 수동 객체(24; 38, 46; 78;90; 96; 108)를 이미징하는 방법 및 시스템이 제공된다. 주변 구조물(26; 80; 86; 98; 104)은 다수의 표면(28, 82; 100)을 갖는다. 이 방법은 초음파 송신기(16; 70)의 어레이(4; 88; 96; 106)를 사용하여 주변 구조물(26; 80; 86; 98; 104)로 초음파 신호를 전송하고 초음파 수신기(18; 72)의 어레이(4; 88; 96; 106)를 사용하여 수동 객체로부터 반사를 수신하는 단계를 포함한다. 이 방법은 또한 적어도 하나의 표면(28, 82; 100)의 위치에 관련된 저장된 데이터를 사용하여 주변 구조물 표면(28, 82; 100)으로부터의 적어도 하나의 반사를 포함하도록 초음파 신호를 스티어링하는 단계를 포함한다.

Description

구조물 내 객체 이미징
본 발명은 주변 구조물, 특히, 배타적이지는 않지만 방 또는 다른 인클로저와 같은 벽이 있는 구조물 내의 객체의 이미징에 관한 것이다.
방 또는 다른 밀폐 공간에 무엇이 있는지를 확인할 수 있는 것이 유용한 다양한 애플리케이션이 존재한다. 이를 수행하는 한 가지 방법은 물론 카메라를 사용하는 것이다. 그러나, 기존의 광학 이미징은 공간의 일부가 객체나 구조적 특징에 의해 가려질 수 있으므로 시야 문제(line-of-sight problems)를 야기한다. 따라서, 방을 완전하게 이미징하려면 다수의 카메라가 필요할 수 있다.
예를 들어, 건물 제어 또는 화재 안전 등의 목적으로 방의 점유 수준을 결정할 때, 카메라는 방의 2D 이미지만을 제공할 수 있다. 방의 점유 수준이 높으면, 일부 사람은 카메라가 다른 사람을 이미징하는 것을 차단할 수 있고, 따라서 시야에 있는 사람만 이미징될 수 있으므로 점유 수준의 정확한 측정을 획득하지 못할 수 있다. 따라서, 카메라의 시야로부터 숨겨진 사람들의 이미지를 제공하기 위해, 다수의 다른 카메라가 사용되어 방의 다수의 뷰포인트(viewpoint)를 제공해야 한다.
밀폐된 컨테이너의 내부를 이미징하는 것과 같은 이미징 애플리케이션의 경우 이미징을 위한 가시광선이 부족할 수 있기 때문에 카메라는 또한 이상적이지 않다.
따라서, 본 출원인은 이러한 상황에서 전통적인 광학 이미징과 연관된 단점이 있음을 인식했다.
제1 양태에서 볼 때, 본 발명은 복수의 표면을 갖는 주변 구조물 내의 적어도 하나의 수동 객체를 이미징하는 방법을 제공하는데, 이 방법은,
초음파 송신기의 어레이를 사용하여 주변 구조물로 초음파 신호를 송신하는 단계와,
초음파 수신기의 어레이를 사용하여 수동 객체로부터의 반사를 수신하는 단계와,
상기 다수의 표면 중 적어도 한 표면의 위치에 관련된 저장된 데이터를 사용하여 주변 구조물 표면으로부터의 적어도 하나의 반사를 포함하도록 초음파 신호를 스티어링하는 단계를 포함하는, 방법을 제공한다.
본 발명은 전술한 이미징 방법을 수행하도록 구성된 시스템으로 확장된다.
따라서, 당업자는 본 발명에 따라 직접 및 간접(구조물로부터 반사된) 초음파 신호 모두가 주변 구조물에 대한 지식과 결합될 때 수동 객체를 이미징하는 데 사용된다는 것을 알게 될 것이다. 본 발명에 따르면 수동 객체의 이미지는 반사를 사용하여 결정될 수 있다. 이것은 주변 구조물 표면으로부터의 간접 반사를 사용하여 객체를 이미징하는 것이 송신기/수신기의 단일 어레이가 다수의 뷰포인트로부터 효과적으로 이미징하는 것을 가능하게 한다는 점에서 출원인에 의해 식별된 광학 카메라 이미징 접근법의 단점들 중 하나를 해결한다. 예를 들어, 주변 구조물이 방이면, 초음파 신호는 벽, 바닥 및 천장에서 반사될 수 있다. 따라서 벽, 바닥 및 천장은 '보조 가상 소스'로서의 역할을 할 수 있으며, 단일 어레이를 사용하여 객체가 이미징될 수 있게 하는 다수의 효과적인 뷰포인트를 제공할 수 있다.
전형적으로, 초음파 송신기의 어레이 및 초음파 수신기의 어레이는 전형적으로 각각의 하우징 내에 존재하거나 또는 바람직하게는 공통 하우징 내에 존재할 것이다. 본 명세서에서 주변 구조물에 대한 언급은 그러한 하우징을 지칭하기 위한 것이 아니라 어레이 및 이미징되는 객체가 배치되는 구조물을 지칭하기 위한 것임을 이해해야 한다.
이에 비해, 다수의 상이한 뷰포인트로부터 객체를 이미징하기 위해서는 다수의 광학 카메라가 필요할 것이다. 이러한 다수의 뷰포인트는 어레이의 직접적인 시야 내에 있지 않은 객체의 측면들을 이미징하는 것을 가능하게 할뿐만 아니라 시야에서 차단되는 차폐된 객체의 이미징을 가능하게 한다.
초음파를 사용한 이미징은 위에서 설명한 주변 구조물 표면으로부터의 반사 외에도 기존 카메라에 비해 다른 이점을 제공한다. 빛과 달리, 초음파는 창을 통과하지 않고 대신 창에서 반사되므로, 유리 창은 초음파 신호에 대해 '투명'하지 않다. 이것은 창이 반사로 인해 초음파 신호의 '보조 가상 소스'로서의 역할을 할 수 있기 때문에 방안의 객체를 이미징하는 경우에 특히 유리하다.
이에 더해, 예를 들어 방안의 사람들이 이미징되고 있다면, 빛이 아닌 초음파를 사용한 이미징은 더 큰 프라이버시를 제공한다. 일반적으로 초음파는 감시 목적으로 사용될 수 있는 해상도에서 이미징하는 데 사용될 수 없기 때문에 사람들은 그들을 이미징하기 위해 카메라를 비추는 것보다 초음파 어레이를 사용하여 이미징되는 것을 더 편안하게 느낄 수 있다.
본 발명에 따라 송신기 및 수신기 어레이를 제어함으로써 범위 게이팅(range-gating)이 사용될 수 있다. 따라서, 초음파 신호는 후처리에서 신호가 송신기에서 수신기까지 이동한 거리에 적어도 부분적으로 기초하여 분석될 수 있는데, 이 거리는 소요 시간 및 국부 음속에 의해 측정된다. 예를 들어, 송신기/수신기 어레이에 더 가까운 객체가 분석되어 먼저 이미징되고, 더 멀리 있는 객체는 특정 시간 프레임에서 수신된 신호를 선택하여 대응하는 범위 내의 객체만 이미징함으로써 후속적으로 이미징될 수 있다. 이것은, 예컨대 더 가까운 객체 주변의 송신된 또는 반사된 빔을 스티어링함으로써, 가장 가까운 객체의 위치에 대한 지식이 더 멀리 있는 객체의 이미징을 개선할 수 있게 있다. 이해할 수 있는 바와 같이, 본 발명에 따른 빔의 스티어링 및 주변 구조물에 대한 지식은 구조물의 표면으로부터 반사된 신호의 추가 전파 시간을 고려할 수 있게 한다.
주변 구조물 내의 모든 객체/표면으로부터의 반사가 획득될 수 있다. 각각의 수신된 반사 신호는 특정 송신 신호 및 주변 구조물 내의 객체/표면으로부터의 반사의 결과물일 것이다. 이와 같이, 방에 있는 충분한 크기의 모든 객체는 어레이의 송신기와 수신기 사이의 고유한 임펄스 응답 세트에 매핑될 것이다. 따라서, 이론적으로 주변 구조물 내의 모든 객체에 대한 표현은 주변 구조물 내의 다수의 위치에 있는 다수의 센서를 필요로 하지 않으면서 단일 어레이로부터 획득될 수 있다. 수신된 임펄스로부터 주변 구조물 내의 모든 객체/표면의 위치를 계산하는 것은 계산적으로 복잡할 수 있지만, 이 정보는 반사된 신호 내에 포함된다.
빔 스티어링은 송신된 초음파 신호, 또는 반사된 초음파 신호, 또는 둘 다에 사용될 수 있다. 송신 시에, 어레이의 송신된 각 신호에 결정된 위상 조정을 추가하여 송신된 초음파 신호를 스티어링하여 결과적인 초음파 신호가 간섭을 받게 함으로써 지향되는 전반적 송신 신호를 초래하기 위해, 이것은 에너지를 주어진 방향으로 우선적으로 능동적으로 지향시킴으로써 수행될 수 있다. 대안적으로, 후처리 동안 수행되는 계산에 적절한 위상 조정이 적용될 수도 있다. 수신된 반사 초음파 신호는 유사한 방식으로 스티어링될 수 있다.
따라서 일부 실시예에서, 송신 신호와 수신 신호 모두의 스티어링은 '물리적' 스티어링이 아니라 소프트웨어만을 사용하여 효과적으로 수행될 수 있다. 이는, 정적 장면의 경우, 예를 들어, 채널의 전체 음향 정보를 획득하기 위해 처프 또는 의사 랜덤 코드와 같은 코딩된 신호를 사용하거나 펄스 에코 측정을 사용함으로써, 각 송신기와 각 수신기 사이의 임펄스 응답을 기록할 수 있기 때문이다. 그러면 채널 임펄스 응답의 전체 세트를 사용하여 송신 빔포밍의 효과를 효과적으로 시뮬레이션할 수 있다.
그러나, 실제로는 적어도 두 가지 이유로 송신 빔의 실제 또는 '물리적' 스티어링을 사용하는 것이 유리한 경우가 많다. 첫째, 사람이 방안을 돌아다니는 것처럼 장면에서 객체가 움직이고 있을 때 채널 임펄스 응답은 일정하지 않다. 따라서, 임펄스 응답만을 분석하는 것은 과거의 정보를 분석하는 것과 같다. 이러한 객체의 방향으로 신호 대 잡음비(SNR)를 최적화하기 위해 다수의 알려진 움직이는 객체를 향해 (송신) 음향 빔을 스티어링하는 것이 유리할 수 있다. 송신 빔은 임의의 수의 타겟을 향해 순차적으로 스티어링되거나 한 번에 둘 이상의 객체에 집중되는 조합된 빔이 사용될 수 있다.
둘째, 정적 장면의 경우에도 임펄스 응답은 반드시 완전히 정적일 필요는 없다. 이것은 사운드의 속도에 영향을 미치는 온도 및 습도 변화 또는 방 주변의 기울기 변화가 장면 주변의 에코의 다양한 지연으로 효과적으로 이어지기 때문일 수 있다. 에코 반사기까지의 경로 길이가 길수록 에코는 재배치되기 쉽다. 따라서, 음향 송신 빔을 관심 있는 객체 또는 객체들을 향해 스티어링하여 관심 없는 물체로부터의 신호 추가를 암시적으로 줄이는 것이 "정적" 상황에서도 유리할 수 있다.
일련의 실시예에서는, 송신기로부터 수신기로 직접 송신된 신호(직접 경로 신호)가 추가 처리 전에 기록된 신호 혼합체로부터 차감되는 신호 차감이 사용된다. 차감될 신호는, 객체가 주변 구조물에 진입하기 전에 신호를 기록하거나, 객체가 장면에서 움직이고 있는 기간 동안 관찰된 신호의 실행 평균에 따르는 등 임의의 편리한 방식으로 계산될 수 있다. 펄스 송신의 경우 또는 코딩된 송신 후 펄스 압축 해제의 경우, 송신이 시작된 후 블랭킹 기간을 할당함으로써 직접 경로 신호의 영향이 제거되거나 감소될 수 있다.
어레이의 수신기에 의해 검출된 반사는 직접 및/또는 간접 반사일 수 있다. 직접 반사는 주변 구조물 내의 객체를 향해 송신되고 어레이의 수신기로 다시 직접 반사되는 초음파 신호로부터 발생하는 것이다. 간접 반사는 주변 구조물의 표면과 객체 모두에서 반사되는 송신된 초음파 신호, 예를 들어, 표면을 향해 스티어링되는 신호로 인해 발행하는데, 이는 이미징될 객체에서 반사된 후 어레이로 되돌아 온다.
이미징될 수동 객체는 동적이거나 정적일 수 있고, 예컨대, 객체는 사람과 같이 움직일 수 있는 것이거나 가구와 같이 움직이지 않는 것일 수 있다. 객체는 수동적이므로 자체적으로 어떠한 초음파 신호도 방출하지 않고 단지 자신을 향한 신호를 반사할 뿐이다.
일련의 실시예에서는, 주변 구조물에 의해 정의된 공간의 미리 결정된 부분이 이미징에서 제외된다. 예를 들어, 카페에서, 새로운 고객이 들어오고 나가고 돌아다님에 따라 방에서 일어나는 일을 모니터링하는 것은 유용할 수 있지만, 카운터 뒤에서 일하는 직원은 그 신원이 특정 위치와 연결될 수 있으므로 모니터링되지 않을 수 있다.
주변 구조물의 LIDAR 스캐닝 또는 광학 이미징, 또는 예컨대 주변 구조물의 CAD 도면으로부터 미리 저장된 데이터를 업로드하는 것과 같이, 복수의 표면 중 적어도 한 표면의 위치에 관련된 저장된 데이터를 획득하기 위해 사용 가능한 다수의 방법이 존재한다. 그러나, 일련의 실시예에서, 초음파 송신기/수신기 어레이는 빔 스티어링 이전에, 예컨대, 학습 또는 설정 단계에서, 주변 구조물 표면(들)의 위치(들)을 추정하는 데 사용될 뿐만 아니라, 후속적으로 주변 구조물의 표면으로부터의 반사 및 빔 스티어링을 사용하여 실내의 임의의 물체를 이미징하는 데 사용된다. 이는 본 발명에 따른 이미징 시스템의 설정에 수반되는 복잡성을 감소시킬 수 있다.
단일 또는 드문 '학습 단계'를 수행하는 대신, 초음파 어레이(들)는 주변 구조물을 더 자주 설정하는 데 사용될 수 있다. 따라서 일련의 실시예에서, 주변 구조물 표면 정보는 이미징 동안 또는 이미징 에피소드 사이에서 업데이트된다. 이것은 예를 들어 주변 구조물과 어레이가 서로 상대적으로 움직이는 경우에 유용하다. 예를 들어, 주변 구조물 자체의 형상이 변경될 수도 있다.
예를 들어, 객체를 픽업하도록 제어되고 있는 로봇 그리퍼(robotic gripper)는 객체 주위에 가까워짐에 따라 형상이 변경될 것이다. 따라서, 초음파 어레이는 주변 구조물의 형상이 변할 때 이미징을 개선하기 위해 주변 구조물의 표면의 위치에 관한 정보를 정기적으로 업데이트할 수 있다. 광학 또는 레이더 기술을 사용하여 근접장 이미징을 수행하기는 어렵다. 초음파 어레이가 로봇 그리퍼에 부착되면, 주변 구조물의 표면의 위치를 결정하는 것과 관련하여 위에서 설명한 기술을 사용하여 근접장 지오메트리가 결정될 수 있다. 따라서, 그리퍼가 객체를 향해 이동하고 형상을 변경하는 동안 그리퍼에 의해 픽업될 객체를 이미징하기 위해 근접장 반사가 사용될 수 있다.
그러나, 주변 구조물의 표면에 관련된 획득된 데이터는 예컨대 로컬 처리를 허용하기 위해 어레이에 로컬로 저장될 수 있다. 그러나 이것이 필수적인 것은 아니다.
객체에 대해 획득된 이미지를 더 개선하기 위해, 일련의 실시예에서 초음파 신호의 스티어링은 반복적인 절차이다. 예를 들어, 초기에 송신기 어레이의 송신기들은 위에서 약술한 바와 같이 주변 구조물의 표면의 위치를 획득하기 위해 초음파 신호를 방출할 수 있다. 일단 이 정보가 획득되면, 신호를 (주변 구조물로부터 반사되도록) 주변 구조물의 표면을 향해 스티어링하여 객체의 이미지를 획득할 수 있다. 그런 다음, 일단 객체의 위치 및/또는 객체의 기본 형상이 알려지면 빔 스티어링을 조정하고 개선하여 객체 이미지를 더 개선하기 위해 이 과정이 반복될 수 있다. 객체의 위치가 알려지면 초음파 신호의 일부를 빈 공간으로 보내는 대신 빔은 표면 및/또는 객체를 향해 스티어링되어 객체만을 이미징할 수 있으므로, 이것은 객체가 더 미세한 해상도로 이미징될 수 있게 한다. 이 반복 절차는 객체의 보다 상세하고 정확한 이미지를 초래할 수 있다. 아래 수학에서 명확해지는 것처럼, 인클로저 및 그 안의 객체의 위치가 모두 이미징되는 상황에서, 인클로저의 형상이 올바르게 계산되었는지 여부를 판정하기 위해 테스트가 수행될 수 있으며, 이에 대한 추가 조정이 이루어질 수 있다.
일련의 실시예에서, 수신된 신호를 포함하는 반사는 추정된 수신 신호와 비교된다. 추정된 수신 신호는 주변 구조물의 과거 특성에 대한 시뮬레이션 이미지, 주변 구조물 내의 관심 객체의 과거 이미지, 또는 객체의 예비 이미지에 기초할 수 있다. 따라서, 관심 객체에 대한 추정된 수신 신호는 어레이로부터의 초음파 신호의 하나 이상의 반사에 대해 시뮬레이션될 수 있다. 추정된 수신 신호와 실제 수신된 신호의 비교를 통해 추정된 신호의 정확도가 결정될 수 있으므로, 일치도가 선택된 임계값을 초과하면 올바른 이미지가 시뮬레이션된 것으로 간주된다. 2개의 신호를 비교하기 위해, 아래에서 상세히 설명되는 바와 같이 신호의 벡터로부터 오차 함수가 획득되는 그레디언트 검색이 수행될 수 있다.
반사 이미지를 획득하는 프로세스의 임의의 시점에서, 모델링된 임펄스 응답은 정확한 추정치와 일치되거나 이를 사용하여 모델링될 수 있다. 임펄스 응답을 예측하기 위해 공식 y = Dα가 사용될 수 있는데(자세한 설명은 상세한 설명 참조), 여기서 수신된 신호는 y이고, α는 지정된 그리드 위치에서 타겟의 반사 강도를 나타내고, D는 신호의 경로 손실 및 시간 지연을 나타내는 행렬이다. 보다 일반적으로, 행렬 D는 주어진 위치에 완벽한 점 반사기가 있고 사운드가 특정 송신기로부터 해당 지점 및 수신기로 이동한다면 발생할 가설적인 임펄스 응답을 열 벡터로 포함할 수 있고, 음파가 주변 구조물(예컨대, 벽) 및 그 안의 다른 객체에서 반사됨에 따라 발생할 수 있는 모든 에코를 포함할 수 있다.
보다 일반적으로 이것은 다음과 같은 보다 복잡한 공식을 포함할 수 있다:
y = f(α)
여기서 f는 회절, 혼돈 잔향, 흡수, 반사, 및 비선형 효과 서브 및 슈퍼 고조파와 같은 효과를 통합하고 처리할 수 있다. 함수 f는 COMSOL 또는 DREAM 또는 Field II와 같은 파동 전파를 모델링하기 위한 컴퓨터 프로그램 또는 소프트웨어 시뮬레이션 패키지를 나타낼 수 있다. f가 어떤 미분 가능 함수에 의해 α 주위에서 국소적으로 근사화될 수 있는 경우,
이다.
그러면, 파라미터 α는 다음과 같은 비용 함수에 기초한 그래디언트 검색을 사용하여 업데이트될 수 있다:
따라서, 각 단계에서 α의 각 추정치에 대해, 이 파라미터의 업데이트된 추정치는 다음과 같이 계산될 수 있다:
여기서 ∇e는 함수 e의 그래디언트를 나타내고, t는 최소 오차 e(α)를 제공하도록 조정되는 특정 스텝 길이이다. 이 과정은 수렴될 때까지 반복될 수 있다. Hessian과 관련된 보다 정교한 기술이나 Simplex 검색과 같은 비선형 접근법이 채택될 수 있다. 또한, 다음과 같이 보다 복잡한 비용 함수를 고려할 수 있다:
여기서 함수 g()는 문제의 임펄스 응답/신호 추정치의 엔빌로프(envelope)를 추정하는 함수일 수 있다. 이 함수는 관찰된 임펄스 응답과 예측된 임펄스 응답이 정확히 일치할 필요가 없으므로 공간을 대략적으로 매핑하는 데 유용할 수 있다. 이는 반사가 수신되지 않는 0 위치를 식별하는 데 도움이 될 수 있다. 보다 일반적으로 오차 함수는 임의의 적절한 거리 함수 또는 놈(norm)일 수 있다:
여기서 d는 Haussdorf 놈 또는 정보 이론 함수와 같은 임의의 적절한 함수일 수 있다.
일련의 실시예에서, 초음파 신호의 도플러 편이가 사용될 수 있다. 이해될 수 있는 바와 같이, 수동 객체가 움직이고 있다면, 그것은 신호에 대해 얼마나 빨리 그리고 어떤 방향으로 움직이는지에 따라 초음파 신호(들)에 도플러 편이를 부과할 것이다. 이 도플러 편이를 고려하면, 예컨대 수신된 초음파 신호를 처리할 때 이미징 성능을 더욱 향상시키는 데 도움이 될 수 있다. 예를 들어, 이는 신호의 도플러 편이를 고려하는 데 사용될 수 있으므로 객체의 보다 정확한 순간 위치 파악을 허용한다. 추가적으로 또는 대안적으로, 도출된 움직임은 동작 추적 알고리즘에 대한 입력으로 사용될 수 있다.
일련의 실시예에서, 송신된 신호는 객체의 특성에 기초하여 스티어링된다. 예를 들어, 수동 객체의 형상, 크기 또는 움직임에 관한 정보가 획득될 수 있고, 이러한 특성에 기초하여 송신된 신호의 스티어링이 조정되고 개선되어 객체의 이미징을 개선할 수 있다. 예를 들어, 객체가 매우 크고 많은 부분이 이미징 어레이의 시야로부터 차단되면, 간접 반사를 사용하여 객체의 차폐된 부분을 이미징하기 위해, 빔 스티어링은 빔이 주변 구조물 쪽으로 더 많이 스티어링되도록 조정될 수 있다. 단일 스티어링된 빔을 사용하여 이미징하는 것이 바람직할 수 있고, 또는 대안적으로 어레이는 객체의 이미징을 개선하기 위해 다수의 빔이 서로 다른 방향으로 송신되게 하는 빔포밍을 사용할 수 있다. 다수의 빔은 동시에 송신될 수 있거나, 또는 어레이는 짧은 시간 프레임 동안 서로 다른 방향으로 스티어링된 빔을 방출함으로써 '스캔'할 수 있다. 또한, 빔의 에너지를 주로 객체에 집중시킴으로써 객체의 이미징을 더욱 개선하기 위해 송신된 빔의 '형상'은 예상 객체의 형상과 일치되도록 수정될 수 있다. 이렇게 함으로써 개선된 신호 대 잡음비가 달성될 수 있다.
위의 방법 및 시스템은 단순히 주변 구조물 내의 객체에 대한 정보를 설정하는 데 사용될 수 있지만, 일련의 실시예에서는, 객체의 결정된 위치에 기초하여 가청 오디오의 빔이 객체를 향해 능동적으로 스티어링된다. 따라서 이 오디오 빔은 초음파 신호의 주파수와 다른 주파수를 가질 것이고, 예를 들어 오디오 빔은 사람이 들을 수 있는 주파수를 가질 것이다. 이 경우 수동 객체는 사람일 수 있다. 초음파를 사용하여 사람이 있는 방을 매핑하면 벽과 천장의 위치가 획득될 수 있다. 방안에 있는 사람 또는 사람들의 위치도 초음파 어레이를 사용하여 결정될 수 있다. 그런 다음, 이 정보는 방안의 반사 및 잔향을 적극적으로 활용하여 사용자에게 최적화된 오디오 경험을 제공하기 위해 사용자를 향해 오디오 빔을 스티어링하는 데 사용될 수 있다.
추가적으로 또는 대안적으로, 본 명세서에 설명된 바와 같이 방의 초음파 이미징을 통해, 사용자가 앉아있을 가능성이 가장 높은 위치가 결정될 수 있으므로, 실제로 누군가가 있다고 결정할 필요 없이 오디오가 해당 영역을 향하도록 하여 그 전달을 최적화한다.
방에 다수의 사용자 또는 영역이 있으면, 오디오 출력 빔은 각 사용자 또는 영역을 향해 스티어링될 수 있으므로 각각은 한 사용자 또는 영역만을 위한 최적의 경험을 희생하면서 향상된 오디오 경험을 수신할 수 있다.
추가적으로 또는 대안적으로, 초음파 이미징을 사용하여 방안의 사용자의 위치를 결정함으로써, 음성과 같이 사용자로부터 발생하는 오디오는 마이크로폰에 의해 수신될 때 스티어링될 수 있다. 이것은 예를 들어 방안에 다수의 사람이 있을 수 있는 화상 회의에서 말하고 있는 사람으로부터의 사운드를 마이크로폰를 향해 스티어링하여 비디오로 연결된 사람들이 스피커로부터 고품질 오디오를 수신할 수 있도록 보장하는 데 유용하다.
일련의 실시예에서, 객체의 시각적 표현이 생성된다. 이 시각적 표현은 객체(들)의 컴퓨터 생성 이미지를 포함할 수 있거나, 주변 구조물 내의 객체의 범위 또는 크기에 대한 보다 추상적인 표시를 제공할 수 있다.
예를 들어, 특정 사용 사례에서 주변 구조물은 쓰레기 수거 트럭의 내부 캐비티이다. 따라서, 초음파 어레이를 사용하여 캐비티의 어느 부분이 어느 정도 점유되어 있는지 알아낼 수 있다. 천장과 벽으로부터의 반사가 외부 프로세서에 입력될 수 있고, 이는 캐비티의 남은 용량을 결정한다. 따라서, 시각적 표현은 캐비티가 얼마나 찼는지, 빈 공간이 얼마나 많이 남아 있는지를 보여줄 수 있다. 이것은 외부 화면에 표시될 수 있고, 예를 들어, 쓰레기 수거 트럭의 운전자에게 표시되어 운전자로 하여금 트럭이 가득 차서 비워져야 할 시기를 알 수 있게 할 수 있다.
어레이 내의 송신기 및 수신기는 어레이가 다수의 복합 송수신기를 포함하도록 결합될 수도 있고, 또는 개별 송신기 어레이 및 개별 수신기 어레이가 제공될 수도 있다. 그러나 일련의 실시예에서는, 내부에 개별 송신기 및 수신기를 포함하는 단일 어레이가 제공된다. 이것은 크기를 줄이고 재료 비용을 절약하는 측면에서 개별 어레이들을 갖는 것보다 유리할 수 있다.
각각의 어레이에서 또는 단일 어레이의 개별 요소로서 개별 송신기 및 수신기를 갖는 것은, 수신기로서의 역할을 하는 요소와 송신기로서의 역할을 하는 요소 사이를 전환하기 위해 스위칭 전자 장치를 필요로 하지 않고, 단일 어레이의 경우 전용 송신기와 전용 수신기가 단일 반도체 다이에 통합되어 신호의 동시 송신 및 수신을 허용하기 때문에 유리할 수 있다.
또한, 송신기와 수신기를 분리하는 것은, 수신기에서의 '블랭킹 기간', 즉, 수신기가 송신기의 역할을 하기 때문에 '셧다운'되는 시간 창을 피할 수 있음을 의미한다. 이는 송수신기를 사용하는 기존의 스위칭 시스템으로는 센서/송신기 설정과 매우 가까운 객체까지의 거리를 측정하는 것이 어렵다는 것을 의미한다. 더 길고 더 낮은 전력 송신이 사용되는 경우, 수신기는 송신이 진행되는 동안 '청취'할 수 있으며 송신기와 수신기 사이의 에코 및 직접 경로 사운드의 중첩을 포착할 수 있다. 이를 통해 예컨대 위의 로봇 그리퍼 예에서 근처에 있는 객체를 이미징할 수 있다.
바람직하게는, 일련의 실시예에서, 개별 송신기 및 수신기는 서로 다른 압전 재료를 사용하여 제조된다. 예를 들어, 초음파 송신기는 PZT를 사용하여 제조될 수 있고, 초음파 수신기는 AlN을 사용하여 제조될 수 있다. PZT는 일반적으로 AlN보다 낮은 전압에서 더 높은 음압을 출력한다. 또한, PZT는 더 높은 음압 레벨을 제공할 수 있기 때문에 AIN보다 더 많은 광대역 신호를 출력하는 데 사용될 수 있다. 이는 하나 이상의 공진 피크에서 멀리 떨어진 곳에서는 더 큰 출력 전력을 제공하고 공진 피크 또는 공진 피크에 가까운 곳에서는 더 작은 전력을 제공하여 상대적으로 평탄한 광대역 신호가 송신기로부터 효과적으로 출력되게 함으로써 효과적으로 수행될 수 있다. 이것은 AIN을 사용하여도 가능하지만, AlN을 사용하여 제조될 경우 일반적으로 비공진 주파수에서 발생하는 출력 에너지가 훨씬 더 낮아서 이 '광대역 방식'으로 송신기를 사용하는 것은 덜 실용적이다. 대역폭은 직접적으로 더 나은 깊이 해상도를 제공하고 간접적으로 더 나은 각도 해상도를 제공하기 때문에 많은 이미징 애플리케이션에서 매우 중요하다. 이는 서로 다른 주파수의 사이드 로브와 격자 로브가 서로 다른 공간 위치를 가져서 일부 주파수는 다른 주파수보다 일부 섹터에서 밀접하게 겹치는 객체를 분석하는 데 더 효과적이기 때문이다. 또한, 일반적으로 더 넓은 스펙트럼의 주파수는 하나 또는 몇 개의 개별 주파수만 사용하는 것보다 더 나은 각도 분리 능력을 갖는다. 다른 일련의 실시예에서는, 송신기와 수신기가 모두 알루미늄-스칸듐-질화물 또는 다른 적절한 압전 소자로 제조된다.
주변으로부터 수신되는 충분히 강한 에코를 제공하도록 송신 신호가 생성되었다면, 가능한 한 높은 신호 대 잡음비(SNR)로 에코를 수신하는 것이 바람직하다. 이것은 객체 검출(임계값 감도)과 객체 분리를 위한 어레이 방법 모두에 중요하며, 일반적으로 해상도는 다른 요소들 중에서도 센서 배치 및 간격뿐 아니라 SNR의 함수이다. 예를 들어, 초해상도 이미징 방법(super-resolution imaging methods)은 일반적으로 높은 SNR에 의존한다(예컨대, Christensen-Jeffries, K. et al., "Super-resolution ultrasound imaging", Ultrasound in Medicine & Biology, 2020, 46(4), 865-891 참조). AlN은 PZT보다 수신 감도가 높으므로 이러한 목적에 더 적합하다. 더 나은 SNR은 더 나은 초음파 검출과 어레이 빔포밍 애플리케이션에서의 더 효과적인 빔포밍으로 이어진다. 이 외에도, SNR이 좋은 충분히 민감한 초음파 수신기는 과도한 출력 전력의 필요성을 줄여주고(즉, SNR을 개선하기 위해 강한 신호가 덜 필요함), 장치에서 과도한 전력을 사용할 필요성을 줄여준다.
예를 들어, 실내 이미징 애플리케이션에서, 어레이 내에 개별 송신기와 수신기를 각각 포함하는 다수의 압전 마이크로 기계 초음파 트랜스듀서(piezoelectric micro-machine ultrasonic transducers: PMUT)를 사용하는 장치는 배터리로 구동될 수 있으며, 불필요하게 높은 전력 출력 레벨은 배터리 수명을 단축시킬 수 있다. 따라서, 어레이는 수신기와 송신기에 서로 다른 재료를 사용하여 달성된 높은 SNR로 인해 저전력에서 작동할 수 있다.
일련의 실시예에서, 초음파 신호는 높은 부분 대역폭(fractional bandwidth)을 갖는다. 예를 들어, 부분 대역폭은 20%일 수 있으므로 100kHz 중심 주파수의 경우 대역폭은 20kHz일 것이다. 높은 대역폭은 반사된 수신 신호에서 다수의 피크를 명확하게 구분하는 데 도움이 될 수 있다. 또한, 어레이의 송신기가 PZT를 사용하여 제조되면, PZT는 비공진 주파수에서도 합리적인 음압 레벨(SPL)이 획득될 수 있도록 구동될 수 있다. 이는 어레이의 송신기가 AlN을 사용하여 제조되는 경우에는 달성되기 어렵다.
일련의 실시예에서, 복수의 표면 중 적어도 하나의 위치에 관련된 저장된 데이터 및 수신된 반사 데이터는 어레이 외부에서 처리된다. 이는 감지가 계산으로부터 원격으로 발생함에 따라 데이터 공유를 허용한다. 예를 들어, 데이터는 예를 들어 Bluetooth를 사용하여 외부 처리를 위해 허브로 전송될 수 있다. 다수의 반사를 분석하는 것은 계산 비용이 많이 들고, 이는 더 높은 전력의 외부 프로세서를 사용하여 데이터를 분석하는 것을 허용하여, 센서 어레이로 하여금 최소한의 전력 및 처리 능력을 필요로 할 수 있게 한다. 이는 벽 또는 센서 장착형 시스템이나 이동식/휴대용 시스템에서 특히 중요하다.
일련의 실시예에서, 수신기 어레이는 MEMS(Micro-Electro-Mechanical System) 마이크로폰을 포함한다. MEMS 마이크로폰은 커패시터를 형성하는 MEMS 다이어프램을 포함하며, 음압파가 다이어프램의 움직임을 유발한다. MEMS 마이크로폰은 초음파 신호와 오디오 신호를 모두 캡처할 수 있으므로 오디오 용도로도 사용될 수 있다. 예를 들어, MEMS 마이크로폰은, 송신된 오디오 신호를 보정하거나, 송신기 요소를 보정하거나, 초음파 주변 구조물 형상 가설을 '검증'하는 데 사용될 수 있다. 또한, MEMS 마이크로폰 어레이는, 방안의 다른 마이크로폰 또는 마이크로폰 어레이와 함께, 빔 스티어링 기술을 사용하여 특정 관심 소스로부터의 오디오의 더 나은 추정치를 획득하는 데 사용될 수 있다.
일련의 실시예에서, 수신기 어레이는 가청 주파수 범위(20Hz 내지 20kHz)에서 피크 응답을 갖는 마이크로폰 어레이이고, 송신기 어레이는 초음파 주파수 범위(20kHz 초과)에서 음파의 반파장에 해당하는 송신기들 사이의 간격을 갖는다.
초음파 주파수 범위에서 음파의 반파장에 해당하는 거리만큼 송신기의 간격을 띄우면 빔포밍에 도움이 되며, 격자 로브 문제를 제거하는 데 도움이 된다. 이 간격은 어레이의 가장 가까운 요소들(즉, 송신기들)의 중심 간 간격으로 이해될 수 있다. 예를 들어, 음속을 343m/s로 가정하면, 송신기들 사이의 간격은 8mm 미만일 수 있다(즉, 초음파 범위에서 대략 반파장, λultrasound/2).
마이크로폰 어레이는 가청 주파수 범위에서 피크 응답을 갖는데, 이는 마이크로폰 어레이가 오디오 신호 수신에 효과적으로 최적화되어 있음을 의미한다. 보다 구체적으로, 마이크로폰 어레이는 일반적인 음성 주파수 범위(50Hz와 500Hz 사이)에서 피크 응답을 가질 수 있다.
출원인이 인식한 이러한 구성의 장점은, 송신기 어레이를 레트로핏(retro-fit)하거나 마이크로폰 어레이를 통합하는 최소한의 재설계를 통해 기존의 마이크로폰 어레이를 포함하는 장치(예컨대, 음성 어시스턴트)에 본 명세서에서 제시된 음향 이미징 기능이 비교적 쉽게 제공될 수 있다는 점이다. 일반적으로, 이러한 장치에 제공된 마이크로폰 어레이는 초음파 수신에 최적화되어 있지는 않지만 초음파 신호를 효과적으로 수신하는 데에도 사용될 수 있다. 송신기 어레이(예컨대, PMUT 어레이)는, 바람직하게는, 초음파 주파수 범위에서 음파의 반파장에 해당하는 송신기들 사이의 작은 상호 간격(예컨대, 2mm 미만)을 갖는다. 이는 그 자체가 콤팩트할 수 있는 다양한 기존의 장치에 쉽게 내장되고 레트로핏될 수 있는 콤팩트한 장치를 제공하는 이점이 있다.
예를 들어, 마이크로폰 어레이를 이미 포함하고 있는 음성 제어 스마트 스피커(예컨대, 스마트 홈 시스템용)가 존재한다. 이러한 마이크로폰 어레이는 초음파 신호를 캡처할 수도 있고, 이들이 기존 구성요소로서 장치에 제공됨에 따라, 본 발명을 구현하기 위해 송신기 어레이에 추가하여 수신기 어레이가 레트로핏될 필요가 없다.
이것은 본 발명을 사용하는 장치가 공간 및 재료 비용을 절약할 수 있게 한다. 초음파 송신기 어레이의 상대적으로 작은 간격으로 인해 레트로핏된 송신기 구성요소는 대부분의 장치에 맞을 만큼 충분히 작아지므로, 그 효과는 더욱 커진다. 사실 이것은 그 자체로 참신하고 독창적이다. 따라서, 추가적인 양태에서, 본 발명은 적어도 하나의 수동 객체를 이미징하기 위한 장치를 제공하는데, 이 장치는:
초음파 신호를 송신하도록 구성된 초음파 송신기의 어레이 ― 상기 어레이의 인접 송신기 쌍은 초음파 주파수 범위에서 음파의 반파장에 해당하는 간격을 가짐 ― 와,
수동 객체로부터의 반사를 수신하도록 구성된 마이크로폰의 어레이 ― 마이크로폰은 가청 주파수 범위에서 피크 응답을 가짐 ― 를 포함하고,
이 장치는 상기 반사를 사용하여 상기 객체의 이미지를 결정하도록 구성된다.
대안적으로, 초음파 수신기 어레이는 광학 수신기를 포함할 수 있다. 초음파 송신기와 초음파 수신기가 서로 다른 재료로 만들어진 경우, 광학 수신기는 다른 유형의 송신기와 조합하여 사용될 수 있다. 광학 수신기의 두 가지 적절한 예시적 유형은 광학 다상 판독(optical multiphase readout)을 사용하는 것과 광학 공진기를 사용하는 것이다. 광학 다상 판독은 예를 들어 WO 2014/202753에 설명되어 있고, 광학 공진기는 예를 들어 Shnaiderman, R. et al., "A submicrometre silicon-on-insulator resonator for ultrasound detection", Nature, 2020, 585, 372-378에 설명되어 있다. 이러한 광학 수신기 접근법들은 모두 수신된 신호의 SNR을 개선하고, 그에 따라 이미징의 해상도를 개선할 수 있다.
일련의 실시예에서는, 주변 구조물 내의 객체를 이미징할 때 해상도 및 정확도를 개선하기 위해 압축된 감지/희소성 방법이 사용된다. 주변 구조물 내에 빈 공간이 많은 경우 이는 임의의 추정 방법에 중요한 정보이다. 인체의 거의 모든 부분이 약간의 반사를 제공하는 의료용 초음파와 달리, 공기 중 음향 장면의 대부분은 반사를 일으키지 않을 수 있다. 따라서, 이미지를 생성할 때, 많은 수의 복셀(3D 공간에서 점을 정의하는 그래픽 정보의 단위)이 0인 것으로 알려져 있다. 그런 다음 많은 빈 복셀을 예상하는 역 문제가 공식화될 수 있다. 대안적으로, 0 요소가 많은 경우 역 문제 솔루션의 우선순위를 정하는 역 문제가 공식화될 수 있다. 일반적으로, 이러한 기술은 정확하지만 기존의 빔포밍 방법보다 훨씬 더 많은 계산 능력을 필요로 한다. 따라서, 처리는 일반적인 배터리 구동 센서 플랫폼 또는 허브에서 벗어나 원격으로 수행될 수 있다.
지연 및 합산(Delay-and-sum)과 Capon 빔포밍과 같은 기존의 빔포밍 방법에 비해 압축 감지(compressive sensing: CS) 및 압축 감지와 유사한 방법을 사용할 때의 특별한 이점은 CS가 어레이 요소들 사이의 반파장 샘플링에 엄격하게 의존하지 않는다는 점이다. 실제로 CS와 유사한 방법은 몇 가지 중요한 경우에 "Nyquist를 능가"할 수 있는 것으로 알려져 있다(예컨대, https://www.sciencedirect.com/topics/computer-science/compressed-sensing 참조).
MEMS 마이크로폰을 초음파 수신기로 사용하는 경우 이는 중요한 이점이 있다. 이러한 요소는 초음파 파장의 절반보다 큰 경우가 빈번하다. 오늘날, 일반적인 MEMS 마이크로폰 패키지는 4x3x1mm 크기이며 높이는 1mm이다. 100kHz에서, 초음파 파장은 3.4mm이고 초음파 파장의 절반은 1.7mm이다. 실제로 MEMS 마이크로폰의 간격을 좁히면 3mm에 가까운 파장을 얻을 수 있는데, 이는 분명히 λ/2를 초과하는 것이다. 기존의 빔포밍 접근법을 사용할 때 이로 인한 순 효과는 소위 격자 로브(grating lobes)로서, 이는 초음파 이미지에서 올바른 각도가 아닌 다른 각도에서 추가 물체가 있는 것처럼 보일 수 있는 관찰 가능한 인공물이다. 이는 어레이에 충돌하는 파동이 올바른 각도와 일부 다른 각도에서 동일하게 보이기 때문에 발생한다. 이는 시간 신호 처리에서의 앨리어싱 효과(aliasing effects)와 유사하다. 그러나, CS와 유사한 방법은 이러한 서브 샘플링 문제에 대해 견고함을 보여주었다. sub-Nyquist 샘플링 위치를 갖는 초음파 어레이를 사용하는 특별한 경우, 방정식 시스템 y = Dα는 일반적으로 무한히 많은 솔루션을 갖지만, 솔루션을 가능한 한 희소하게 만드는 것이 필요하다면 다수의 섹터에 다수의 물체가 동시에 나타나는 대안(덜 희소한 선택)보다 하나의 각도 섹터에 하나의 객체가 존재하는 "더 간단한" 솔루션을 효과적으로 우선시하고 선택해야 함이 명백하다.
CS와 유사한 방법을 사용하는 추가 이점은 (a) 시판되는 MEMS 마이크로폰이 우수한 품질의 초음파 이미징에 사용될 수 있고, (b) 예컨대 마이크로폰을 음성 분리에 최적화된 어레이 방식으로 배치함으로써 최상의 음향 신호를 획득하거나 가청 사운드의 양호한 추정치를 획득하는 것과 같이, 다른 목적에 맞게 MEMS 마이크로폰의 위치가 최적화될 수 있다는 것이다.
이제 본 발명의 특정 실시예가 첨부된 도면을 참조하여 단지 예로서 설명될 것이다:
도 1은 초음파 신호를 송신 및 수신하기 위한 초음파 시스템의 블록도이다.
도 2는 도 1의 시스템에서 사용하기 위한 PMUT의 직사각형 어레이의 도면이다.
도 3은 객체로부터의 직접 반사 및 벽으로부터의 반사를 사용하여 방안의 객체를 이미징하는 개략도이다.
도 4는 단일 송신기 및 단일 수신기에 의해 단일 반사기를 이미징하는 단순화된 도면이다.
도 5는 2개의 반사 경로를 사용하여 도 4의 송신기 및 수신기에 의해 반사기를 이미징하는 단순화된 도면이다.
도 6은 다중 반사 경로를 사용하여 도 4의 송신기 및 수신기에 의해 반사기를 이미징하는 단순화된 도면이다.
도 7은 다수의 송신기 및 다수의 수신기에 의해 반사기를 이미징하는 단순화된 도면이다.
도 8은 다수의 송신기 및 다수의 수신기에 의해 다수의 반사기를 이미징하는 단순화된 도면이다.
도 9는 근접장을 이미징하기 위해 빔 스티어링을 사용하여 방안의 복잡한 객체를 이미징하는 데 사용되는 초음파 이미징 시스템의 개략도이다.
도 10은 벽으로부터의 간접 반사를 사용하여 방안의 복잡한 객체를 이미징하는 개략도이다.
도 11은 많은 빈 공간이 있는 근접장을 이미징하기 위해 빔 스티어링을 사용하여 방안의 복잡한 객체를 이미징하는 데 사용되는 초음파 이미징 시스템의 개략도이다.
도 12는 빈 공간 및 반사가 있는 더 큰 근접장을 이미징하기 위해 빔 스티어링을 사용하여 방안의 복잡한 객체를 이미징하는 데 사용되는 초음파 이미징 시스템의 개략도이다.
도 13은 방안에서 차폐된 객체를 이미징하는 개략도이다.
도 14는 직접 경로가 차단되는 방안에서 차폐된 객체를 이미징하는 개략도이다.
도 15는 간접 반사를 사용하여 방안에서 차폐된 객체를 이미징하는 개략도이다.
도 16은 도 4 내지 도 6에 도시된 바와 같이 방안의 객체를 이미징하는 방법을 도시하는 흐름도이다.
도 17은 도 4 내지 도 6에 도시된 바와 같이 방안의 객체를 이미징하는 수정된 방법을 도시하는 흐름도이다.
도 18은 이미지의 선명도를 최적화하는 방법을 도시하는 흐름도이다.
도 19는 방안의 특정 사람의 사운드를 획득하기 위해 초음파 트랜스듀서와 마이크로폰 어레이가 사용되는 회의실을 도시한다.
도 20은 방안의 특정 사람에게 사운드를 전달하기 위해 초음파 트랜스듀서 및 스피커의 어레이가 사용되는 거실을 도시한다.
도 21은 컨테이너 내의 쓰레기를 이미징하는 데 사용되는 초음파 어레이를 도시한다.
도 22는 카페 내의 사람들의 위치를 결정하기 위해 초음파 트랜스듀서의 어레이가 사용되는 카페를 도시한다.
도 23은 초음파 어레이가 인클로저의 형상 및 객체의 검출에 사용되는 로봇 그리퍼 암(robot gripper arm)을 도시한다.
도 24는 내장형 마이크로폰 어레이를 갖는 장치에 초음파 송신기 어레이가 레트로핏(retrofit)되는 본 발명의 실시예를 도시한다.
도 1은 본 명세서에 설명된 본 발명에 따라 수동 객체를 이미징하기 위해 사용되는 초음파 신호를 송신 및 수신하기 위한 초음파 이미징 시스템(2)의 전형적인 구성요소의 매우 단순화된 개략적 블록도를 도시한다.
이미징 시스템(2)은 초음파 어레이(4)를 포함한다. 초음파 어레이(4)는 복수의 압전 미세 가공 초음파 트랜스듀서(piezoelectric micro machined ultrasonic transducers: PMUT)(6)를 포함하고, 어레이(4)는 도 2에서 더 상세히 도시된다. 시스템(2)은 일반적으로 시스템의 모든 구성요소에 전력을 공급할 배터리(12) 및 메모리(10)를 갖는 CPU(8)를 포함한다.
이미징 시스템(2)은 예를 들어 방의 벽에 부착될 수 있고, 초음파 어레이(4)는 PMUT(6)를 사용하여 초음파 신호를 방으로 송신하도록 구성될 수 있다. 아래에서 더 자세히 설명되는 바와 같이, 초음파 어레이(4)는 방안의 임의의 객체로부터의 반사를 수신한다. 그런 다음, 초음파 어레이(4)는 벽의 위치가 알려질 때 이러한 반사가 방의 벽으로부터의 적어도 하나의 반사를 포함하는 것을 보장하기 위해 초음파 빔을 스티어링할 수 있다.
도 2는 PMUT(6)의 직사각형 어레이(4)를 도시한다. 각각의 PMUT(6)는 초음파 송신기(16) 및 초음파 수신기(18)가 형성되는 정사각형 실리콘 다이(14)를 포함한다.
송신기(16)는 원형이며 다이의 중심에 위치한다. 수신기(18)는 송신기(16)보다 훨씬 작고 다이의 각 코너에서 미사용 공간에 위치한다. 다른 수의 수신기가 제공될 수 있고, 이들은 다른 곳에 위치할 수도 있고 각 코너에 둘 이상이 위치할 수도 있다. 송신기는 다른 형상이나 위치를 가질 수 있고/있거나 다수의 송신기가 제공될 수 있다.
개별 다이(14)는 공통 기판(미도시) 상에서 서로 맞닿은 관계로 함께 모자이크식으로 연결되어 어레이를 형성한다. 다이(14)는 반파장 너비이므로, X 및 Y 방향 모두에서 송신기(16)의 중심 간 간격(20)도 반파장이다. 인접한 다이의 각 코너에 있는 수신기(18)는 각각의 2x2 미니 어레이(22)를 형성한다. 이러한 미니 어레이(22)도 반파장만큼 분리된다.
도 2에는 단지 6개의 다이(14)가 도시되어 있지만, 예시적 실시예에서 어레이(4)의 한쪽 또는 양쪽 치수에서 다수의 다이(14)가 존재할 수 있다.
동작 시, 초음파 어레이(4)는 스티어링된 초음파 빔을 방출한다. 각각의 송신기(16) 또는 수신기(18)로부터의 신호에 결정된 위상 조정이 적용되어 이들은 예컨대 빔포밍을 위한 코리어런트 어레이로서 작용할 수 있게 된다. 빔 스티어링은 송신된 초음파 신호 또는 반사된 초음파 신호, 또는 둘 다에 사용될 수 있다. 송신된 초음파 신호를 스티어링하기 위해, 어레이(4)의 각 송신기(16)에 의해 송신된 신호에 결정된 위상 조정이 추가되어 결과적인 송신된 초음파 신호가 간섭을 받음으로써 원하는 방향으로 송신되는 전체 신호가 생성된다. 수신된 반사 초음파 신호는 유사한 방식으로 스티어링될 수 있다. 결정된 위상 조정은 주변 구조물에서 단일 방향으로부터의 반사된 신호를 결정하기 위해 모든 방향으로부터의 수신된 신호에 적용될 수 있다.
대부분의 표준 빔포밍 알고리즘은 초음파 요소(16, 18)의 반파장 간격으로부터 이익을 얻는데, 이는 각각의 들어오는 파면이 상이한 각도 또는 파수를 가진 다른 들어오는 파면과 식별될 수 있게 하여 '격자 로브(grating lobes)' 문제를 방지하기 때문이다. 반파장(또는 더 촘촘한) 간격으로부터 이익을 얻는 고전적인 빔포밍 방법은, 엔트로피 또는 정보 극대화와 같은 추가 제약을 갖는 초음파 이미징 방법, 무선 통신 방법 뿐만 아니라, (가중) 지연 및 합계 빔포밍기, MVDR/Capon과 같은 적응형 빔포밍기, MUSIC 및 ESPRIT와 같은 방향 찾기 방법, 및 DUET와 같은 블라인드 소스 추정 접근법을 포함한다.
도 3은 객체(24)로부터의 직접 반사(30) 및 벽(28)을 통해 이동하는 간접 반사(34)를 사용하여 방(26) 내의 객체(24)를 이미징하는 개략도이다. 도 2를 참조하여 위에서 설명된 송신기 및 수신기의 초음파 어레이(4)를 포함하는 초음파 이미징 시스템(2)이 방(26)의 벽(28)에 부착된다.
벽(28)의 위치는 LIDAR 스캐닝 또는 CPU에 입력되는 방의 CAD 도면을 사용하여 결정될 수 있다. 대안적으로, 어레이(4)는 방(26)이 비어 있을 때 벽(28)의 위치를 결정하는 데 사용된다. 어레이(4)의 초음파 송신기(16)는 초음파 신호를 방출하고, 이 신호는 방(26)의 벽(28)에 의해 반사된다. 이러한 반사된 신호는 어레이의 수신기(18)에 의해 수신된다. 그런 다음, CPU는 송신되고 반사된 신호에 관련된 데이터를 처리하여 신호가 반사된 벽(28)의 위치를 결정한다.
일단 벽(28)의 위치가 결정되면, 이미징 시스템(2)은 방안의 객체(24)를 이미징하는 데 사용된다. 제1 빔(30)은 근접장으로 향하고 객체(24)에서 반사된다. 반사된 빔(30)은 어레이(4)의 수신기(18)에 의해 수신되는 대역 제한 Dirac 펄스(32)이고, 어레이의 송신기와 수신기의 시야에 있는 객체의 일부에 대한 제한된 정보를 제공한다. 처프/주파수 스윕과 같은 다른 신호 또는 다른 코딩된 신호가 펄스 압축 기술과 같은 적절한 수신 후 처리와 결합되어 사용될 수 있다.
그런 다음, 객체(24)의 치수 및 위치에 대한 추가 정보를 얻기 위해, 제2 빔(34)이 방(26)의 벽(28a)을 향해 지향된다. 이 빔(34)은 제1 벽(28a)에서 후방 벽(28b)을 향해 반사된다. 그런 다음, 빔(34)은 객체(24)를 향해 반사되고, 빔(34)은 객체(24)에서 반사되어 다시 어레이(4)로 돌아온다. 제1 빔(30)과 마찬가지로, 반사된 제3 빔(34)은 역시 어레이(4)의 수신기(18)에 의해 수신되는 대역 제한 Dirac 펄스(36)이다.
도 3의 우측에 있는 시간 영역 신호 트레이스에 도시된 바와 같이, 제1 반사 펄스(32)는 제1 빔(30)이 제2 빔(34)보다 짧은 거리를 이동함으로 인해 제2 반사 펄스(36)보다 먼저 수신된다. 방(26)에 있는 객체(24)의 위치를 결정하기 위해, 수신된 신호(32, 36)는 CPU(8)에 의해 처리되고, CPU(8)는 방(26)의 알려진 치수와 함께 이 정보를 사용하여 객체(24)의 위치를 결정한다.
이하의 계산은 객체(24)의 위치를 결정하기 위해 수신된 신호(32, 36)에 대해 CPU(8)에 의해 수행되는 처리에 대한 추가 세부사항을 제공한다.
먼저, 도 4에 도시된 바와 같이 단일 반사기(74), 송신기(70) 및 수신기(72)가 있는 가상적이고 단순화된 시나리오를 고려한다. 그런 다음, 송신기(72)로부터 송신된 대역 제한 Dirac 펄스를 가정하면, 수신된 신호는 다음과 같다:
여기서 α는 지정된 그리드 위치에서 타겟의 반사 강도를 나타내고, 은 경로 손실(경로가 길수록 손실이 커짐)이고, ∂(t-τ1)은 원래 송신된 Dirac 펄스를 지연 인자 τ1 만큼 시간 지연시킨 것이다. 경로 손실 은 파동 전파 모델에 기초하여 명시적으로 계산될 수 있고, 즉, 3D의 구형파의 경우, 이는 일반적으로 1을 이동 거리의 제곱으로 나눈 값이다.
신호가 시점 t에서 t+L-1까지 수신기에서 샘플링되었다고 가정하면, 수신된 샘플 y(t)는 다음 방정식에 따라 길이 L(즉, L개의 샘플을 포함함)의 벡터에 대입될 수 있다:
도 5에는 다수의 반사 경로가 도시되어 있다. 따라서 수신 신호는 다음과 같다:
여기서는 이제 과 라는 두 가지 상이한 경로 손실이 존재한다.
보다 일반적으로, 도 6에 도시된 바와 같이, 여러 가지 상이한 에코 경로가 존재할 수 있다. 따라서 수신 신호 y(t)는 다음과 같다:
이는 또한 다음과 같이 표현될 수 있다:
S는 일반적으로 경로 길이 순으로 정렬된 다양한 에코 경로 인덱스를 나타내는 경로 인덱스 정수의 집합, 즉, S = {1, 2, 3, 4, 5, …}이다. S는 에코 인덱스 집합이다.
다음으로, 도 7에 도시된 바와 같이 여러 개의 송신기(70) 및 수신기(72)가 있는 경우, ij번째 송신기/수신기 쌍(70/72)이 표현되도록 하기 위해 수신 신호 y에 첨자가 도입된다. 시간 지연 τ, 경로 손실 l 및 에코 인덱스 집합은 또한 가상 반사점에 대한 송신기 및 수신기의 상대적인 물리적 위치에 따라 달라지므로 그에 따라 표현될 것이다. 따라서 방정식은 다음과 같다:
그런 다음, 도 8에 도시된 것처럼 가상의 반사 그리드 지점 α의 수가 증가될 수 있다. 도 8은 가시성을 위해 6개의 지점만 도시하지만 실제로는 전체 그리드가 포함될 수 있다. 각각의 송신기/수신기 쌍(70, 72)에 대해, 이것은 이러한 지점의 각각으로부터의 에코가 합산되어 다음과 같은 전체 수신 신호를 제공하는 것을 의미한다:
는 고려 중인 첫번째 내지 P번째 반사기에 대한 k번째 가상 반사기의 강도이다. 경로 길이 , 시간 지연 및 에코 인덱스는 이제 송신기(70), 수신기(72), 반사기(74) 및 에코 경로 번호의 위치에 의존한다. 이것은 다음을 정의함으로써 행렬/벡터 형태로 다시 작성될 수 있다:
그리고, 정의 를 사용하면,
행렬 는 다음과 같이 정의된다:
여기서 L은 벡터 내의 샘플의 수와 의 행 수에 대한 적절한 창 길이이다. 따라서 이것은 다음과 같은 방정식 세트를 제공한다:
여기서 i=1,..., N 및 j=1,..., Q이며, 여기서 N은 송신기(70)의 수이고 Q는 수신기(72)의 수이다. 이러한 방정식을 적층하고 표기의 편의를 위해 시간 의존성을 일시적으로 제거함으로써 반사 계수 α를 포함하는 벡터를 더 잘 추정하기 위해 다수의 송신기-수신기 쌍(70, 72)이 사용될 수 있다:
또는 더 일반적으로, 이거나, 또는 추가 잡음이 통합되는 경우 인데, 여기서 n은 추가 잡음의 벡터이다. 위의 내용으로부터, 에코 경로가 많을수록 각 서브블록 가 더 높아지므로 방정식 시스템이 더 잘 조절된다는 것을 분명히 알 수 있다. 즉, 에코 다중 경로 상황은 방정식의 해결 가능성을 개선하는 데 도움이 되며, 잡음이 있는 경우 SNR을 개선한다. 이 방정식 세트는 최소 제곱, 가중 최소 제곱, 시공간 분포 등과 같은 잡음 특성에 대한 지식을 통합하는 다양한 기술을 포함하여 임의의 수의 적절한 방식으로 해결될 수 있다.
도 9는 근접장(42)을 이미징하기 위해 빔 스티어링을 사용하여 방(26)에 있는 복잡한 형상의 객체(38)를 이미징하기 위한 초음파 이미징 시스템(2)의 사용을 도시하는 개략도이다.
어레이(4)는 근접장(42)에서 포커싱되는 스티어링된 초음파 빔(40)을 방출한다. 빔(40)은 또한 스티어링된 수신 신호를 획득하기 위해 반사된 신호의 후처리에서 '스티어링'될 수 있다. 빔(40)은 복합 객체(38)의 전면으로부터 다시 어레이(4)를 향해 반사되고 어레이(4)에서는 반사된 신호가 수신된다. 그러나 이는 어레이(4)에 가깝고 마주하는 객체의 측면에 대한 정보만을 제공한다.
객체(38)로부터의 직접 반사를 사용하여 충분한 데이터가 수집되면, 객체의 나머지 부분을 이미징하기 위해, 어레이(4)는 초음파 빔을 도 10에 도시된 바와 같이 최단 경로로부터 멀리 있는 방(26)의 벽(28)을 향해 스티어링한다.
도 10은 벽(28)으로부터의 간접 반사를 사용하여 방(26)에 있는 복잡한 객체(38)를 이미징하는 개략도이다. 빔(44)은 벽(28)을 향한다. 빔(44)은 벽(28)으로부터 객체(38)를 향해 반사된다. 이는 사실상 벽(28)이 초음파 방출기로서 작용하여 이미징될 객체(38)를 향해 빔(44)을 보내는 것을 의미한다.
빔(44)은 객체(38)로부터 다른 경로(미도시)를 따라 벽(28)을 향해 반사될 것이고, 거기에서 다시 초음파 어레이(4)로 반사될 것이다. 이 빔이 어레이(104)로 다시 반사되는 시간 지연이 벽의 미리 결정된 위치와 함께 CPU에 의해 사용되어, 물체(38)의 크기, 형상 및 위치에 대한 추가 정보를 얻는다.
도 9 및 도 10에서와 동일한 객체(38)가 이미징되는 것을 도시하는 도 11과 같은 개방형 음향 장면에서, 일반적으로 장면에는 많은 "빈 공간", 즉, 반사를 일으키지 않는 위치가 존재하고, 이 경우 벡터 α의 "반사 계수" 는 당연히 0이다. 이것은 신체 내의 다수의 층으로부터 반사가 획득되는 의료용 초음파 이미징과 대조된다. 조밀한 샘플링 그리드의 경우, 앞서 정의된 행렬 D에는 일반적으로 행보다 더 많은 열이 존재하므로, 다음과 같은 문제에 대한 어떤 솔루션을 항상 찾을 수 있다:
이것은 위에서 언급한 개방형 음향 장면의 문제를 해결하는 한 가지 방식이다. 그러나, D의 크기가 주어지면, 음향 장면이 가상 반사기의 촘촘한 간격의 격자로 구성되어 있다고 가정하면, 일반적으로 이러한 솔루션 α도 무한히 많을 것이므로, 이중 가장 "물리적으로 가능성이 높은" 솔루션을 찾아내는 것이 합리적이다. 이를 위한 한 가지 접근법은 압축 감지 접근법으로, 여기에서는 대신 다음을 해결하려고 시도한다:
를 조건으로 함 (식 A)
즉, 가장 작은 L1-norm을 갖는 문제에 대한 솔루션을 찾는 것이다. 이것은 종종 가장 적은 수의 0이 아닌 계수를 갖는 솔루션인 최상의 L0-norm 솔루션에 대한 양호한 근사치이다. 많은 수의 0을 갖는 것은 장면이 대체로 "0" 또는 비반사점, 즉, 빈 공간으로 가득 차 있다는 이전에 알려진 기본 가설을 반영한다.
더 일반적으로, 방정식 시스템의 차원은 전체 음향 장면을 나타내는 α의 계수의 수가 수십만 개 이상이 되는 것일 수 있으므로 임의의 차원 축소는 계산 시간과 복잡성을 크게 절약할 수 있다. 이를 위해, α의 일부 계수가 다른 계수보다 먼저 알려지거나 계산될 수 있다면, 일반적이고 큰 반전에 대한 단순화된 수단을 사용하여 시간/CPU 리소스 소비와 정확도가 모두 개선될 수 있다. 이 방정식은 다음과 같이 세분화될 수 있다:
여기서 는 α 의 미지의 계수를 관리하는 부분이다(여기서 α u 에서 "u" 첨자는 "알 수 없음"을 나타냄). 는 α 의 알려진 계수를 관리한다("k" 첨자는 "알려짐"을 나타냄). 그런 다음 다음과 같은 새로운 방정식 시스템이 획득될 수 있다:
이것은 α 가 추정되어야 했던 원래 문제보다 더 작은 차원을 가질 α u 에 대한 풀이일 수 있다. 일부 계수를 (쉽게) 획득하기 위한 접근법은 다음을 포함한다: 먼저, 도 11에서, 어레이(4)에서 펄스가 송신기(16)로부터 송신되고 수신기(18)에 의해 수신된다. 제1 샘플링 기간 동안 (컷오프 원(42)에 의해 도시된) K개의 샘플이 모두 0이거나 0에 가깝다면, 명백하게 이 경계 내에서 가능한 반사기를 나타내는 모든 계수는 도시된 바와 같이 0이어야 한다. 이는 치수를 줄이는 데 사용될 수 있는 초기 샘플 세트를 제공한다. 이 예에서 정확한 0의 수는 22이다.
다음으로, 도 12를 참조하면, 수신 샘플링 윈도우(42)는 조금 더 확장되고, 이 윈도우 내에서 처음 몇 개의 인입 에코, 즉, 0이 아닌 샘플이 발생한다. 반사기(38)의 위치가 아직 알려져 있지 않기 때문에, 이 시점에서는 "x"로 표시된 반사기의 잠재적 위치의 '아크'가 존재한다. 적어도 모든 샘플이 포함되는 것, 즉, 샘플링 기간에 대한 제한을 완화하는 것과 비교할 때, 이 방정식 시스템에서는 미지의 수가 여전히 적다(29개의 'x')는 것에 유의한다. 이러한 "컷오프"는 시간 영역에서 나중에 도착하는 샘플을 무시함으로써 발생하거나 또는 "임펄스 응답 영역"에서 발생할 수 있음에 유의한다. "임펄스 응답 영역"은 수신 측에서 또는 임의의 다른 적절한 영역에서 펄스 압축(해제)이 뒤따르는 적절한 코딩된 출력 신호를 사용하여 임펄스 응답이 추정되는 상황이다.
이제, 이전에 알려진 샘플을 활용하여 29개의 미지수를 사용하여 새로운 방정식 시스템이 생성될 수 있으며 이들은 추정될 수 있다. 그러면, "컷오프 접근법"에서 더 많은 샘플이 획득될 때 활용될 수 있는 알려진/추정된 샘플은 29 + 22 = 51개가 된다. 전반적으로, 장면의 전체 이미지를 점진적으로 생성하기 위해 각각 전체 이미징 문제보다 낮은 차원을 갖는 일련의 추정기가 구동되고 있다. 임의의 추정 단계는 음향 장면의 물리적으로 타당한 추정을 획득하기 위해 압축 감지를 포함하여 앞서 언급한 기술들 중 임의의 것을 활용할 수 있다.
물론, 위의 식 A를 사용하는 것이 필수적인 것은 아니다. L1/L0 이외의 다른 놈(norm) 및 계수의 분포와 같은 속성을 최적화하는 정보 이론적 접근법(예컨대, 수퍼 가우시안 분포 속성)과 같은 희소성의 다른 놈 또는 척도를 사용하여, 장면의 희소성을 활용하는 임의의 다른 적절한 방법이 채택될 수 있다. 베이지안 스파스 회귀(Bayesian Sparse Regression)와 같은 베이지안 접근법도 채택될 수 있다(예컨대, https://arxiv.org/abs/1403.0735 참조).
도 9, 도 11 및 도 12에 도시된 직접 경로 반사는 어레이(4)에 대해 객체(38) '뒤'에 있는 방(26)의 일부가 차폐되는 결과를 초래한다. 도 13은 방(26)에서 차폐된 객체(46)를 이미징하는 개략도이다. 도 13으로부터 명백한 바와 같이, 어레이(4)와 차폐된 객체(46) 사이의 객체(38)로 인해, 어레이(4)로부터 차폐된 객체(46)로 향하게 될 빔(48)은 제1 객체(38)로부터 반사될 것이므로 차폐된 객체(46)를 이미징하는 데 사용될 수 없다.
따라서, 차폐된 객체를 이미징하기 위해, 초음파 빔(50)은 그 위치가 알려져 있는 벽(28)을 향하게 된다. 빔(50)은 제1 객체(38)로부터 반사되지 않고 벽(28)으로부터 차폐된 객체(46)를 향해 직접 반사된다. 따라서, 빔(50)은 다른 경로(미도시)를 따라 차폐된 객체(46)로부터 다시 벽(28)으로, 그리고 어레이(4)로 반사될 것인데, 수신된 에코는 객체(38, 46)를 이미징하기 위해 CPU(8)에 의해 분석된다. 따라서, 간접 초음파 반사는 어레이로부터의 시야 이미징에서 실내의 다른 객체에 의해 차폐되는 실내의 객체의 이미징을 허용한다.
이하의 계산은 객체(38, 46)의 위치를 결정하기 위해 수신된 신호(40, 44, 50)에 대해 CPU(8)에 의해 수행되는 전술한 처리에 대한 추가 수정을 제공한다. 이러한 수정된 계산은 CPU(8)의 계산 부하를 줄이기 위해 데이터 세트로부터 차폐된 경로(50)를 제거한다.
일반 모델인 는 차폐과 같은 효과를 포함하지 않으며, 사운드가 모든 반사 복셀을 통해 "방해받지 않고" 전파된다고 가정한다. 다음 방정식을 다시 참조한다:
이 문제는 집합 Sij에서 잠재적 에코 경로를 효과적으로 배제하기 위해 제1 픽셀/반사기에 대한 지식을 사용하여 관리될 수 있다. 이제 도 14를 참조하면, 잠재적 반사점(46)은 클러스터(38)의 전면 반사기에 의해 효과적으로 차단되는 음향 양방향 경로(48)를 갖는다. 따라서, 이제 이 에코 경로는 어레이(4)의 각각의 관련 송신기/수신기 쌍(즉, 그 경로가 차단되는 쌍)에 대한 모든 관련 집합 Sij에서 제거된다. 이 접근법은 차폐 문제 및 이를 처리하지 않았을 때 발생할 수 있는 α의 임의의 계수와 연관된 잠재적 오차를 완화하고, D에서 열로 표시되는 에코 경로의 수를 줄임으로써 전체 계산 부하를 또한 줄인다.
마지막으로, 이전에 (순차적으로) 추정된 반사기에 대한 지식을 사용하여 음향 빔을 특정 방향으로 그리고 다른 방향으로부터 멀리 스티어링할 수 있다. 도 15에서, 송신 및/또는 수신 어레이(4)는 빔 패턴(42) 및 방향(49)으로 사운드를 포커싱하도록 구성된다. 이는 숨겨진 객체(46)를 이미징하도록 시스템을 설정한다. 그러나, 이 방출로부터 사운드가 돌아옴에 따라, 객체(46)로부터의 에코를 수신하기 전에, 많은 샘플이 0이거나 0에 가깝다는 것이 관찰될 것인데, 이는 섹터의 계수가 0으로 설정될 수 있음을 의미한다. 이는 도 15에서 0 요소로 도시된다. 역시, 빔 스티어링 기술을 사용하는 음향 장면에 대한 지식이 증가되어 계산 복잡성이 줄어들고 오차가 줄어든다.
도 16은 도 9 내지 도 13에 도시된 바와 같이 방(26) 내의 객체(38, 46)를 이미징하는 방법을 도시하는 흐름도이다. 단계 52에서, 빔포밍을 사용하여 어레이(4)에 대한 근접장이 이미징된다. 예컨대 도 9에 도시된 바와 같이 빔(40)이 이미징될 객체(38)를 향한다. 근접장 이미징을 개선하기 위해, 단계 54에서, 최단 경로로부터 멀어지고 벽(28)을 향하도록 빔(44)이 스티어링된다. 그런 다음, 빔(44)은 벽(28)으로부터 반사되므로, 벽은 이미징될 객체(38)를 향해 빔(44)을 방출하는 '송신기'로서의 역할을 한다.
대역 제한 Dirac 펄스로 설명될 수 있는 반사된 빔(40, 44)은 위에서 설명된 방정식에 입력되고, 역 방정식 는 모든 그리드 지점에서의 반사율을 설명하는 α를 결정하는 데 사용되므로 객체(38)의 이미지를 제공하는 데 사용될 수 있다.
단계 56에서, 이 역 방정식은 도 13에 도시된 경로(48)와 같은 차단된 경로를 제거하도록 수정된다. 이것은 CPU(8)에 의해 수행되어야 하는 계산의 수가 감소됨에 따라 계산 부하를 감소시킨다. 단계 58에서, 수정된 역 방정식이 풀리고, 따라서 방(26)에 있는 임의의 객체(38)뿐만 아니라 임의의 차폐된 객체(46)의 이미지를 획득한다.
도 17은 도 9 내지 도 13에 도시된 바와 같이 방(26) 내의 객체(38, 46)를 이미징하는 수정된 방법을 도시하는 흐름도이다. 단계 60 및 62는 도 9의 단계 52 및 54와 동일한 방법을 설명하는데, 빔포밍을 사용하여 어레이(4)에 대한 근접장이 이미징되고, 근접장 이미징을 개선하기 위해 빔(44)은 최단 경로로부터 멀어져 벽(28)을 향해 스티어링된다. 그런 다음, 빔(44)은 벽(28)으로부터 반사되어, 벽은 이미징될 객체(38)를 향해 빔(44)을 방출하는 '송신기'로서의 역할을 한다.
단계 64에서는 근접장 반사 빔(40, 44)에 대해 방정식 을 푼다. 이것은 객체(38)의 위치에 관한 정보를 제공하고, 따라서 객체(38)를 추가로 이미징하기 위해 빔 스티어링이 수정된다. 빔을 스티어링하고, 반사 신호를 수신하고, 객체(38)에 대한 정보를 결정하고, 빔의 방향을 수정하는 반복 절차를 통해 객체(38) 위치 및 형상에 대한 광범위한 정보가 획득될 수 있다.
도 16에 설명된 방법과 같이, 그런 다음 역 방정식은 도 13에 도시된 경로(48)와 같은 차단된 경로를 제거하기 위해 수정된다. 이것은 CPU(8)에 의해 수행되어야 하는 계산의 수가 감소됨에 따라 계산 부하를 감소시킨다. 단계 68에서는 수정된 역 방정식을 풀어서 단계 62 및 64의 반복 방법을 통해 방(26) 내의 임의의 객체(38) 및 임의의 차폐된 객체(46)의 상세한 이미지를 획득한다.
도 10을 다시 참조하면, 아마도 벽(28)의 정확한 위치 또는 각도의 오추정의 결과로서, 경로(44)의 길이는 부정확하게 계산될 수도 있음이 명백하다. 이것이 영역(38)의 반사 계수의 계산으로 이어지면 '잘못된' 결과를 제공할 수 있다. 실제로, 경로(44)를 통해 관찰된 반사를 고려하기 위해 새로운 반사 계수에는 양의 값을 부여해야 할 수도 있기 때문에 일반적인 결과는 이미지가 "번지는 것(smearing out)"일 것이다. 이는 전체 이미지의 "선명도"가 인클로저의 위치를 최적화하는 기준으로 사용될 수 있거나, 또는 대안적으로 난기류와 같은 것의 영향을 받았을 수 있는 정확한 음향 경로 길이를 다시 계산하려고 시도할 수 있음을 의미한다. 이미지 선명도와 같은 척도(https://ieeexplore.ieee.org/document/6783859 참조) 또는 낮은 반사기 값(0에 가까움)과 높은 반사 값 사이의 비율을 사용하여 이러한 선명도를 계산할 수 있다. 이러한 인클로저 업데이트 접근법은 도 23을 참조하여 아래에서 설명될 로봇 그리퍼 암의 경우와 같이 인클로저가 변경되는 것으로 알려진 경우에 특히 유용할 수 있다.
이제 도 18을 참조하면, 단계 61에서는 직접 반사와 간접 반사 모두에 대해 계산된 비행 시간을 사용하여 벽, 천장, 바닥, 객체 등과 같은 주변 구조물 위치의 현재 가정으로부터 유도된 초기 파라미터 세트를 사용하여 초기 이미지가 계산된다. 단계 63에서는 이미지 선명도가 계산되고 단계 65에서는 새로운 인클로저 파라미터 세트가 생성된다. 이는 현재 파라미터 세트에 대한 섭동으로서 무작위로 수행되거나, 알고리즘이 반복적으로 진행됨에 따라 파라미터 및 관련 이미지 선명도 점수에 대한 이전 추측에 기초할 수 있다. 단계 67에서는 새로운 이미지가 계산되고 선명도가 평가된다. 단계 69에서는 선명도 점수가 기준에 대해 매칭된다. 이것은 절대적인 기준, 예컨대, '충분히 좋은'(또는 그렇지 않은) 것으로 판정하기 위한 고정된 임계값일 수 있거나, 또는 다른 이전 추정치가 얼마나 좋은 점수를 받았는지에 기초하여 계산되거나 설정되는 동적 임계값, 즉, 로컬 최적 기준일 수 있다. 단계 71에서는, 임계값이 충족되면 프로그램은 종료되고 최적화된 이미지와 업데이트된 인클로저 파라미터를 모두 반환한다.
도 19는 방(80)에 있는 특정 사람(78)으로부터 사운드를 획득하기 위해 사용되는 초음파 트랜스듀서(75) 및 마이크로폰(76)의 어레이를 도시한다. 방에 있는 타겟이 되는 사람(78)의 위치 p = [x, y, z] 및 들을 수 있는 사운드를 캡처하려고 시도하는 데 사용되는 모든 마이크로폰의 위치 x1, x2, x3, ...xN가 주어지면, 위치 p에 있는 타겟(78)과 어레이의 각 마이크로폰(76) 사이의 예상 비행 시간은 공식 s= v*t(거리는 속도와 시간을 곱한 것과 같음)를 통해 다음과 같이 계산될 수 있다:
여기서 c(또는 v)는 사운드의 속도이다.
마이크로폰(76)은 방안 어디에나 배치될 수 있다. 마이크로폰(76)의 위치는 임의의 적절한 수단을 사용하여 계산될 수 있다. 초음파 어레이(75)는 초음파를 사용하여 스피커(78) 및/또는 마이크로폰(76)의 위치를 결정하는 데 사용될 수 있다.
타겟이 되는 사람(78)이 방안에서 유일한 활성 오디오 소스라고 가정하면, 수신된 신호 y1(t), y2(t), y3(t), ...yN(t)는 다음과 같이 표현될 수 있다:
여기서 s(t)는 "말한 단어", 즉 타겟이 되는 사람이 내는 사운드이고, n(t)는 센서 잡음이다. 이것을 표현하는 대안적 방식은 다음과 같다:
여기서 ∂(t)는 델타 Dirac 함수이다. 두 방정식은 본질적으로 각 마이크로폰이 타겟이 되는 사람으로부터 출력되는 사운드의 적절하게 시간 지연된 버전을 수신함을 나타낸다. 설명의 단순화를 위해, 감쇠 항은 포함되지 않았지만 이는 당업자에 의해 이해될 수 있는 바와 같이 쉽게 통합될 수 있다.
관심 신호 s(t)를 복구하는 간단한 방식은 다음과 같이 지연 및 합산에 의하는 것이다:
여기서 첫 번째 부분은 소스 s(t)의 증폭(N번 합산됨)이 되고 두 번째 부분은 비간섭 잡음 성분의 합, 즉, 적극적으로 합산되지 않는 잡음 성분의 부분이 된다. 전체적인 결과는 지연 및 합산 빔포밍을 통한 신호 대 잡음비의 증폭이다. 주파수 영역에서 이것은 다음과 같이 표현될 수 있다:
여기서 Di(ω)는 특정 주파수 ω에 대한 시간 지연 와 연관된 위상 지연이다. Di(ω)는 단위 모듈로(unit modulo)를 가짐에 유의한다(즉, 신호를 위상 지연시킬 뿐, 위에서 설명한 가정에 따라 신호를 증폭하거나 감쇠하지 않음). 따라서 주파수 영역에서 지연 및 합산 복구 전략은 다음과 같다:
여기서 Di(ω)*의 효과는 Di(ω)의 효과를 상쇄하고 다시 한 번 잡음에 대한 신호의 증폭을 얻는다. 이로 인해 페이즈드 어레이(phased array)의 항이 발생하고, 즉, 관심 있는 신호를 복구하기 위해 일부 또는 모든 주파수 대역의 위상 정보가 적극적으로 사용된다. 또한 혼합체에 간섭 신호가 추가되는 경우, 즉, 인 경우에, Z(ω)가 어떤 다른 위치 q에서 발생하고 Fi(ω)로 표시된 개별 시간 지연을 통해 각 마이크로폰(76)을 향해 지연되는 간섭 신호이면, 동일한 지연 및 합산 전략은 또한 관심 신호에 대한 출력 결과에서 간섭 신호의 효과를 줄이는 역할을 할 것이고, 즉, 이 전략은 위상 지식을 사용하여 신호 대 잡음 및 간섭 비를 개선할 것이다.
신호 소스 향상을 위한 다른 더 정교한 기술이 존재한다. 일부는 간섭 소스의 위치 및/또는 통계적 음향 속성을 고려하고, 즉, 위의 예에서와 같이 영향을 줄이기 위해 단순히 출력을 번지게 하는 것이 아니다. MVDR(Minimum Variance Distortionless receiver) 또는 Capon 빔포밍은 하나의 예일 뿐이다.
또한, 각 소스(78)로부터 각 마이크로폰(76)으로의 음향 전달 함수 또는 임펄스 응답이 알려져 있다면, 임펄스 응답은 단순히 사람(78)으로부터 각 마이크로폰(76)으로 향하는 사운드의 직접적인 경로뿐만 아니라 벽(82), 천장 또는 다른 객체에 충돌하는 사운드로부터 나오는 임의의 후속 에코도 고려할 수 있으므로, 더 나은 결과가 획득될 수 있다. 주파수 영역에서 Hij(ω)가 마이크로폰 번호 i에 대한 소스 j(j=1,…Q)의 임펄스 주파수 응답을 나타낸다고 하면, Sj(ω)가 j번째 소스로부터의 소스 신호라고 가정하면, 다음이 획득된다:
이것은 연속적인 마이크로폰 입력을 벡터에 적층함으로써 다음과 같이 벡터 행렬 표기법으로 표현될 수 있다:
여기서 이고, 이며, 이다. 시간 영역에서 유사한 공식이 존재하는데, 여기서는 시간 영역의 임펄스 응답, 즉, hij(t)(이는 소스 신호 sij(t)와 컨볼루션됨)의 효과가 블록 Toeplitz 행렬 시스템을 구축한다.
이제 소스의 추정치를 다음과 같이 계산할 수 있다:
여기서 H + (ω)는 H(ω)의 적절한 역행렬이다. 이는 Moore-Penrose 역(inverse), Tikhonov 정규화와 같은 잡음 레벨에 매칭되는 정규화 역, 또는 베이지안 추정기와 같은 잡음 특성에 대한 지식을 활용하는 일반화 역일 수 있다. 시간 영역에서 사용되든 주파수 영역에서 사용되든 상관없이, MMSE(Minimum Mean Square Error) 수신기 전략, 블라인드 소스 분리 또는 독립 성분 분석(Blind Source Separation or Independent Component Analysis), 관심 신호와 관련된 통계적 특성을 활용한 블라인드 소스 분리 접근법(Blind Source Separation approaches), 가우시안 혼합 모델을 사용한 베이지안 모델과 같은 스파스 방법 또는 예컨대 압축 감지에서의 L1 기반 정규화 방법, 또는 위상 정보를 활용하는 임의의 다른 적절한 기술 중 임의의 것이 동일하게 사용될 수 있다.
실제로, 이것은 본 발명의 실시예에 따라 오디오 캡처가 두 가지 중요한 방식으로 개선될 수 있음을 의미한다: 첫째, 방(80)에 있는 사람(78)의 위치, 즉 위치 p는 추정될 수 있다. 더욱이, 그의 또는 그녀가 말하고 있지 않은 경우에도 그 또는 그녀의 움직임 범위와 가능하다면 위치에 대한 통계적 "지도"가 계산될 수 있으므로 오디오 신호 처리는 이 목적에 맞게 최적화될 수 있다. 둘째, 벽(82)과 천장의 위치가 위의 임펄스 응답 함수 H(w)를 계산하는 데 사용될 수 있는데, 이는 천장과 벽(82) 및/또는 다른 반사 항목을 사용하여 사운드가 포커싱될 수 있게 한다. 따라서, 초음파 영역에서 캡처된 정보는 오디오 영역에서 유용하게 사용될 수 있다.
이제, 예컨대, 도 20에 도시된 바와 같은 방향성 하이파이 사운드 재생 시스템에서의 송신으로 돌아가면, (위의 마이크로폰에 대해) 라우드스피커(84)의 위치가 알려져 있고 타겟(78)의 위치도 알려져 있다고 유사하게 가정한다. 그러면 위에서 사용된 시간 지연을 사용하여 라우드스피커 j로부터 출력될 각 출력 신호 sj(t)를 다음과 같이 정의할 수 있다:
이 경우, 타겟이 되는 사람(78)의 위치에서 수신된 신호는 다음과 같을 것이다:
즉, 이는 사람(78)이 있는 초점 p에서의 신호의 증폭이다. 사람(78)이 다른 위치 p'로 이동하면, 항은 어떤 τj에 대한 로 대체될 것이기 때문에(τj는 일반적으로는 결합되지 않고 ∂(t)가 되게 함), 동일한 증폭이 일어나지 않을 것이다.
대신, 그 효과는 출력의 "번짐" 및 p에서 관찰된 N배 증폭의 효과적인 저하이다. 주파수 영역에서도 유사한 논의가 이루어질 수 있으므로, 시스템은 로컬 포커싱 효과를 얻기 위해 송신 신호의 위상 지연에 의존하고 있음이 명백하다.
또한 송신 측에서, 벽(82) 및 천장 또는 다른 큰 객체와 같은 반사기를 사용하여 더 나은 포커싱을 생성하기 위해 임펄스 응답 함수의 상세한 지식을 활용하는 것이 가능하다. 예를 들어, hij(t)가 각 송신기 j와 각 타겟 i 사이의 임펄스 응답이라면, 각 타겟 i에서 수신된 사운드는 다음과 같이 공동으로 모델링될 수 있다:
또는
행렬 H ij는 시프트된 행으로서 임펄스 응답 hij(t)를 포함하는 앞서 언급한 Toeptliz 행렬이고, s j(t)는 스피커 j로부터 출력된 샘플에 대한 샘플링된 벡터이며, y i(t)는 i=1,…Q인 경우에 i번째 타겟 위치에서 수신된 사운드이다.
스피커(84)는 방안 어디에나 배치될 수 있다. 스피커(84)의 위치는 임의의 적절한 수단을 사용하여 계산될 수 있다. 초음파 어레이(75)는 본 명세서에서 이전에 설명된 바와 같이 초음파를 사용하는 스피커(84) 및/또는 사용자(78)의 위치를 결정하는 데 사용될 수 있다.
이제, 최초의 송신 신호 {s j(t)}가 모두 그러한 특정 사운드의 혼합체를 포함하더라도 수신된 신호가 "원하는 것"이 되도록, 즉, 어떤 위치 I에서는 특정 사운드가 관찰되고 위치 j에서는 완전히 다른 사운드가 관찰되도록 송신 신호 {s j(t)}를 선택하는 것이 가능하다. 한 가지 간단한 예는 로 하는 것인데, 여기서 H + 는 H의 Moore-Penrose 역을 나타낸다. 수신/사운드 캡처 시나리오에 대해 위에서 설명한 것처럼 잡음 견고성을 처리할 수 있는 보다 정교한 기술도 구상될 수 있다. 위에서는 단순히 직접적인 비행 시간 경로가 아니라 전체 임펄스 응답이 오디오 포커싱에 활용할 수 있음에 유의한다.
일부 상황에서는 사운드가 포커싱되어야 할 사람(78)의 정확한 위치가 알려져 있지 않을 수 있고, 즉, 그 사람(78)의 위치 p와 관련된 불확실성이 존재하거나 다수의 사람(78)이 존재할 수 있다. 도 19의 수신 시나리오에서는 최적의 사운드 캡처를 얻기 위해 다른 빔포밍 또는 역행렬 계산이 사용될 수 있지만, 도 20에 도시된 송신 사례의 경우 일단 사운드가 송신되면 그 기회는 사라진다. 따라서, 위의 방정식 를 참조하여, 서로 가깝게 배치된 다수의 타겟 지점을 제공하거나 둘 이상의 "클러스터 지점" 그룹으로 제공함으로써 이를 처리할 수 있다. 타겟 지점의 수, 따라서 위의 행렬 H의 행 블록 수는 수백 또는 수천이 될 수 있으며, 그 결과 포커싱 영역이 더 넓어지는 순 효과가 있다. 일반적으로 곱 의 반전 전에 행렬 H에 그 전치 H T 가 미리 곱해지기 때문에, 역 문제의 복잡성은 일반적으로 극적으로 변하지 않는다.
다시, 도 19의 오디오 수신 상황에서와 같이, 이는 청구된 발명이 사람 또는 사람들(78)의 움직임과 방(80)을 둘 다 매핑하는 데 사용될 수 있고, 둘을 결합함으로써 크게 개선된 전체 오디오 경험을 얻을 수 있음을 의미한다. 도 19의 수신기 사례에서와 같이, 본 발명은 사람(78)의 소재에 대한 통계적 지도를 생성하는 데 사용될 수 있고, 이 정보를 도 20에서 오디오 "스티어링"의 최적화를 위해 사용할 수 있다.
도 21에는 인클로저(86)로부터의 반사를 이용하여 환경을 맵핑하는 데 초음파가 사용되는 이미징 접근법이 도시되어 있다. 도 19 및 도 20에서 사운드 송신 및 수신을 위해 오디오 전파를 스티어링하는 데 사용된 것과 동일한 개념은, 이제 이미징에 사용된 초음파를 특정 방향으로 또는 특정 위치를 향하고 다른 위치에서 멀어지게 스티어링하는 데 사용될 수 있다. 이 예에서, 컨테이너(86)는 초음파 어레이(88)를 포함하는데, 이는 컨테이너(86)의 치수뿐만 아니라 컨테이너(86)가 이 시나리오에서 쓰레기(90)로 얼마나 가득 차 있는지를 이미징하는 데 사용된다.
방정식 y = Hs를 다시 참조하면, s에 유지된 (적층된) 송신 신호는 (적층된) 벡터 y에서 원하는 신호 세트가 적어도 대략적으로 획득되는 방식으로 선택될 수 있다. 소스 s를 선택하는 문제는 다음과 같이 재구성될 수 있다:
여기서 H k 는 행렬 H의 k번째 블록 행을 나타내며, 즉, 이다. 오른쪽 항에 가중치를 도입하여 다음과 같은 가중 비용 함수를 생성할 수 있다:
여기서 행렬 {W k }는 일반적으로 양수 인덱스를 갖는 대각 행렬이다. 이러한 가중치 행렬을 신중하게 선택함으로써, 어떠한 에너지도 없는 시간 및 공간의 특정 지점들이 "설정"될 수 있다. 예를 들어, 연관된 타겟 신호 y k 를 갖는 특정 가상 지점 k의 경우, y k =0 이고 연관된 W k =αI이며, α는 큰 양의 정수이다.
동시에, 제로 패딩된 스파이크 또는 싱크 신호인 다른 벡터 y l (l≠k)와 적절한 가중치 행렬 W l =αI가 선택될 수 있다. 또한 초기에는 주어진 시간 이후에 특정 지점에 도달하는 에너지를 덜 고려하고 이 지점이나 다른 지점에 에너지가 없다는 사실을 더 많이 고려하는 것이 바람직할 수 있다. 이것은 객체로부터 멀어지는 방향으로 "에너지를 스티어링하는 것"과 같다(도 21 참조). 이는 설명된 대로 타겟 벡터 yk=0을 선택하지만 W k =αD라고 가정함으로써 달성할 수 있는데, 행렬 D는 대각선 요소가 처음 K개의 샘플(예컨대, 처음 500개 샘플)에 대해서는 1이고 그 이후는 0인 대각선 행렬이다. 실제로, 이는 해당 위치에서 수집된 처음 500개의 샘플에 대해서는 에너지가 필요하지 않지만 그 이후에는 에너지가 중요하지 않음을 의미한다. 장면의 모든 반사를 고려할 때, 주어진 지점에서 "영구 헐(permanent hull)" 또는 0을 생성하는 것이 매우 어렵기 때문에 이것은 합리적인 절충안으로 볼 수 있다. 그러나, 적어도 처음에는 특정 섹터에 "방향성 에너지"가 없도록 초음파를 방향성 패턴으로 스티어링할 수 있다. 도 21에 도시된 바와 같이, 신호(92)는 어떠한 유용한 이미징 정보도 제공하지 않을 컨테이너의 빈 공간을 향하는 것이 아니라 컨테이너(86)의 벽 또는 쓰레기(90)를 향해 스티어링된다.
도 22는 방(98)에 있는 사람(96)의 위치를 결정하기 위해 초음파 트랜스듀서(94)의 어레이가 사용되는 카페 형태의 본 발명의 또 다른 예시적 실시예를 도시한다. 송신된 초음파 신호의 벽(100)으로부터의 반사는 가려진 사람(96a)이 어레이(94)의 직접적인 시야에 있지 않더라도 이미징될 수 있게 한다. 새로운 고객(96)이 들어오고 나가고 이리저리 이동할 때 방(98)에서 일어나는 일을 모니터링하는 것이 유용할 수 있다. 예를 들어, 고객들 사이의 거리를 모니터링하여 이들이 특정 거리, 예컨대, Covid-19 지침에 따라 2m를 유지하는 것을 보장할 수 있다. 따라서, 초음파 변환기(94)는 고객이 가이드라인을 준수하고 있는지 모니터링하는 데 사용될 수 있다. 도 22에서, 카운터(102) 뒤의 직원(96b)은 초음파 트랜스듀서(94)에 의해 직접 이미징된다. 그러나, 일부 예에서, 일단 방(98)의 치수 및 카운터(102)와 같은 방(98) 내의 고정된 물체들의 위치가 결정되면, 카운터(102) 뒤에 있는 임의의 사람은 그 움직임 및 위치의 모니터링이 필요없는 직원(96b)일 것임이 알려지기 때문에, 카운터(102) '뒤'의 영역은 이미징될 필요가 없을 수도 있다.
도 23은 초음파 트랜스듀서 어레이(106)를 갖는 로봇 그리퍼 아암(104) 형태의 본 발명의 다른 실시예를 도시한다. 로봇 그리퍼(104)는 연필(108)을 집도록 제어되고 있다. 로봇 그리퍼(104)는 연필(108) 주위를 감쌈에 따라 그 형상이 변경된다. 초음파 어레이(106)는 연필(108)의 위치뿐만 아니라 주변 구조물(이 경우에는 로봇 그리퍼(104) 자체)의 위치를 결정하는 데 사용된다. 따라서, 초음파 어레이(106)는 도 18을 참조하여 전술한 바와 같이 로봇 그리퍼(104)가 형상을 변경할 때 연필(108)의 이미징을 개선하기 위해 로봇 그리퍼(104)의 손 및 손가락의 위치에 관련된 정보를 정기적으로 업데이트한다. 그리퍼(104)가 자신의 형상을 변경하면서 연필(108) 쪽으로 이동함에 따라 그리퍼(104)에 의해 픽업되는 연필(108)을 이미징하기 위해 근접장 반사(110)가 사용된다.
도 24는 초음파 송신기의 어레이(122)가 MEMS 마이크로폰(124)의 내장 어레이를 갖는 장치에 레트로핏(retrofit)되는 본 발명의 실시예를 도시한다. 이 예에서, 장치는 음성 제어형 스마트 스피커(120)이다. 스마트 스피커(120)는, 장치의 상부 둘레에서 일정한 간격을 두고 배치된 마이크로폰(124), 장치의 상부 중앙에 위치한 초음파 송신기의 어레이(122), 및 마이크로폰(124)으로부터 수신된 신호를 처리하고 송신기 어레이(122)를 제어하는 CPU(126)를 포함한다. 음성 제어형 스마트 스피커(120)는 주변 구조물 내의 객체를 음향학적으로 이미징하기 위해 전술한 설명에서 설명된 바와 같이 사용될 수 있다. 마이크로폰(124)은 각각 전형적인 스피치의 주파수 범위(예컨대, 50Hz에서 500Hz 사이)에서 피크 응답을 갖는다. 마이크로폰(124)은 또한 초음파 신호를 캡처하는 능력을 갖기 때문에, 전용 초음파 수신기 어레이가 레트로핏될 필요도 없다. 이는 레트로핏된 구성 요소가 작아지고 더 넓은 범위의 장치에 적합하게 되는 데 도움이 된다. 송신기 어레이(122)는 초음파 주파수 범위에서 음파의 반파장에 해당하는 간격을 갖기 때문에 특히 콤팩트하며, 이는 초음파 빔포밍을 위해 송신기 어레이(122)를 최적화하는 데 도움이 된다.
본 출원인은 또한 본 발명의 임의의 전술한 양태 또는 실시예에 따른 수신된 신호가 도플러 정보를 고려하여 처리될 수 있음을 인식하였다. 이것은 이미징 성능을 더욱 향상시킬 수 있다.
이미징 성능을 향상시키기 위해 도플러 정보가 사용될 수 있는 몇 가지 방식이 있다. 다음 수학은 처리 중에 Doppler 정보가 명시적으로 고려될 수 있는 한 가지 방식을 보여준다.
방정식 으로 돌아가면, 여기서 Dirac 펄스가 송신되었고 수신기에서 시계열 y(t)로 수신되었다고 가정한다.
보다 일반적으로 그리고 본 출원에서 앞서 언급한 바와 같이, 코딩된 신호가 사용될 수 있다. x(y)가 예를 들어 처프 신호일 수 있는 대역 제한 선형 출력 신호라고 하자.
그러면 y(t)는 다음을 통해 획득될 수 있다:
이면,
이다.
(는 신호 x(t)에 의해 정의된 주파수 대역 B 내에서 Dirac 임펄스 응답의 대역 제한 버전임)이면,
이다.
이제, 신호 x(t)가 송신되고 움직이는 객체에서 반사되면, 주요 효과는 수신 시에 송신 신호 x(t)를 효과적으로 신장시키거나 압축하는 것이 될 것이다. 이것은 다음과 같이 약간 다른 방식으로 생각될 수 있다: 객체는 가만히 있지만 송신 신호 x(t)는 시간에 따라 신장되거나 스케일링되어 이제 x(kt)가 되는데, 여기서 k는 양의 상수이며 일반적으로 1에 가깝다.
이는 다음을 제공한다:
그러나, 이제 라는 속성은 누락된다. 이 불일치를 이용하여 "x(-t) 대체" 세트를 구성할 수 있는데, 이는 신호 처리 및 후속 이미지 생성 프로세스를 특정 도플러 편이를 갖는 객체에만 집중시킬 수 있다.
이제, 특정 도플러 편이를 갖는 객체를 필터링하고 분리하기 위해, 다음 기준을 대략적으로 충족시키는 함수군 이 설계될 수 있다:
방정식 (*)
그런 다음, 수신된 신호를 함수군의 임의의 신호에 의해 미리 컨벌루션함으로써 이미징 문제의 단일 '슬라이스'가 생성될 수 있다. 예를 들어:
이면,
이고,
k=1인 경우 이고, 그렇지 않으면 0이다.
'올바른' 도플러 속도 관련 함수 를 선택함으로써, 장면에서 특정 도플러 편이를 갖는 객체는 효과적으로 캡처되고 다른 객체는 걸러낼 수 있다. 그런 다음, 출력 구동 신호가 실제로 대역 제한 Dirac 신호 ∂B(t)라고 가정하면서 이미징이 계속될 수 있다.
방정식 (*)에 포함된 함수군은 여러 가지 방식으로 도출될 수 있다. 이를 수행하는 한 가지 구체적인 방식은 (a) 서로 다른 k 값으로 함수 를 리샘플링하여, 단일 송신기만이 존재할 때 공통 변수 값이 되는 인덱스 i를 일시적으로 건너뛰면서 벡터군 를 생성하는 것이다. 그런 다음, 각 벡터는 벡터 를 (뒤집힌) 요소로 갖는 연관된 Toeplitz 행렬 X k 를 생성하는 데 사용된다.
그런 다음, 필터 의 벡터 근사값이 벡터 로서 계산될 수 있다. 이는 다음과 같은 요건을 설정함으로써여 달성된다:
여기서 d는 1인 중심 요소를 제외한 0의 벡터이거나, 대안적으로 d는 관심 주파수 대역으로 제한된 Dirac 함수의 샘플링된 대역 제한 버전을 나타낸다. 보다 구체적으로 다음 함수는 최소화될 수 있다:
방정식 (+)
여기서 w rk는 r<>k이면 0이고, r=k이면 벡터 샘플링된 Dirac 함수이며, k는 관련 도플러 속도 인덱스의 수이다. 필터링 이외의 다른 분리 전략도 존재하는데, 예를 들어, 디컨볼루션 접근법(deconvolution approaches)이 사용될 수 있거나, 다른 놈(norm)을 사용하여 위의 최적화 문제가 해결할 수 있거나, 최적의 필터를 설계하기 위해 딥 러닝 접근법이 사용될 수 있다.
도플러 편이가 동시에 몇 개만 존재한다고 가정함으로써, 예를 들어, 대부분의 객체는 정지해 있고 단지 몇 개의 객체만이 상대적으로 높은 알려진 속도로 이동하고 있다고 가정함으로써, 보다 정교한 필터링 또는 디컨볼루션 전략이 채택될 수도 있다. 이렇게 하면, 필터 h k는 필터군의 다른 모든 필터와 직교할 필요가 없고 필터군의 특정 서브세트와 일치하는 속도를 갖는 객체에만 직교하면 되므로, 기준 (+)에 대한 압력이 완화된다.
그러면 다음 방정식을 풀 수 있다:
여기서 S는 |S|<K인 관련 속도 인덱스의 서브세트이다. 그러면 기준이 더 잘 충족되어 (*)에서 설정한 설계 목표에 더 가까워질 것이다.
송신 빔과 수신 빔을 모두 스티어링하는 다수의 다른 전략이 문헌에 존재한다(예컨대, Demi, L., “Practical guide to ultrasound beam forming: beam pattern and image reconstruction analysis”, Applied Sciences, 2018, 8, 1544 참조).
당업자라면, 본 발명이 하나 이상의 특정 실시예를 설명함으로써 예시되었지지만 이들 실시예에 제한되지 않으며, 첨부된 청구범위의 범위 내에서 많은 변형 및 수정이 가능하다는 것을 이해할 것이다. 예를 들어, CPU는 이미징 시스템에 대해 로컬이 아니라 작업 공유에 사용되는 외부 허브일 수 있는데, 이 경우 이미징 시스템과 허브 사이에는 블루투스 신호를 통해 데이터가 전송된다.

Claims (30)

  1. 복수의 표면을 갖는 주변 구조물 내의 적어도 하나의 수동 객체를 이미징하는 방법으로서,
    초음파 송신기의 어레이를 사용하여 상기 주변 구조물로 초음파 신호를 송신하는 단계와,
    초음파 수신기의 어레이를 사용하여 상기 수동 객체로부터의 반사를 수신하는 단계와,
    상기 복수의 표면 중 적어도 한 표면의 위치에 관련된 저장된 데이터를 사용하여, 상기 초음파 신호가 주변 구조물 표면으로부터의 적어도 하나의 반사를 포함하도록 상기 초음파 신호를 스티어링하는 단계를 포함하는,
    방법.
  2. 제1항에 있어서,
    추가 처리 전에 기록된 신호 혼합체(signal mix)로부터 상기 송신기에서 상기 수신기로 직접 송신된 신호가 차감되는 신호 차감을 사용하는 단계를 포함하는,
    방법.
  3. 제1항 또는 제2항에 있어서,
    상기 주변 구조물에 의해 정의된 공간의 미리 결정된 부분을 이미징에서 제외하는 단계를 포함하는,
    방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 스티어링하는 단계 전에, 상기 초음파 송신기의 어레이 및/또는 상기 초음파 수신기의 어레이를 사용하여 상기 주변 구조물 표면의 위치를 추정하는 단계를 포함하는,
    방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    이미징 동안 또는 이미징의 에피소드들 사이에 상기 주변 구조물 표면의 정보를 업데이트하는 단계를 포함하는,
    방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    반복적인 절차로 상기 초음파 신호를 스티어링하는 단계를 포함하는,
    방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    어레이로부터의 상기 초음파 신호의 하나 이상의 반사에 대해 상기 수동 객체에 대한 추정된 수신 신호를 시뮬레이션하고, 실제 수신된 신호를 포함하는 상기 반사를 상기 추정된 수신 신호와 비교하는 단계를 포함하는,
    방법.
  8. 제7항에 있어서,
    상기 주변 구조물의 과거 특성으로부터의 시뮬레이션 이미지, 상기 주변 구조물 내의 상기 수동 객체의 과거 이미지, 또는 상기 수동 객체의 예비 이미지에 기초하여 상기 추정된 수신 신호를 생성하는 단계를 포함하는,
    방법.
  9. 제7항 또는 제8항에 있어서,
    상기 추정된 수신 신호를 상기 실제 수신된 신호와 비교함으로써 상기 추정된 수신 신호의 정확도를 결정하는 단계를 포함하는,
    방법.
  10. 제7항 내지 제9항 중 어느 한 항에 있어서,
    상기 추정된 수신 신호를 상기 실제 수신된 신호와 비교하기 위해 그래디언트 탐색(gradient search)을 수행하는 단계를 포함하는,
    방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 수동 객체의 특성에 기초하여 상기 송신된 신호를 스티어링하는 단계를 포함하는,
    방법.
  12. 제11항에 있어서,
    상기 특성은 상기 수동 객체의 형상, 크기 또는 움직임에 관련된 것인,
    방법.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    스티어링된 단일 초음파 신호를 사용하여 이미징하는 단계를 포함하는,
    방법.
  14. 제1항 내지 제12항 중 어느 한 항에 있어서,
    어레이를 사용하여 다수의 초음파 신호를 상이한 방향으로 송신하는 단계를 포함하는,
    방법.
  15. 제14항에 있어서,
    상기 다수의 초음파 신호를 동시에 송신하는 단계를 포함하는,
    방법.
  16. 제1항 내지 제15항 중 어느 한 항에 있어서,
    빔의 에너지를 주로 상기 수동 객체에 집중시킴으로써 상기 수동 객체의 형상과 일치되도록 상기 송신된 초음파 신호의 형상을 수정하는 단계를 포함하는,
    방법.
  17. 제1항 내지 제16항 중 어느 한 항에 있어서,
    상기 객체의 결정된 위치에 기초하여 가청 오디오 빔을 상기 객체를 향해 능동적으로 스티어링하는 단계를 포함하는,
    방법.
  18. 제17항에 있어서,
    상기 수동 객체는 사람이고 상기 가청 오디오 빔은 인간이 들을 수 있는 주파수를 가지며, 상기 방법은 사용자에게 가청 사운드를 제공하기 위해 상기 가청 오디오 빔을 상기 사람을 향해 스티어링하는 단계를 포함하는,
    방법.
  19. 제1항 내지 제18항 중 어느 한 항에 있어서,
    상기 수동 객체의 시각적 표현을 생성하는 단계를 포함하는,
    방법.
  20. 제1항 내지 제19항 중 어느 한 항에 있어서,
    상기 복수의 표면 중 적어도 한 표면의 위치에 관련된 저장된 데이터 및 수신된 반사 데이터를 어레이 외부에서 처리하는 단계를 포함하는,
    방법.
  21. 제1항 내지 제20항 중 어느 한 항에 있어서,
    압축 감지(compressed sensing) 및/또는 희소성(sparsity) 방법을 사용하는 단계를 포함하는,
    방법.
  22. 제1항 내지 제21항 중 어느 한 항에 있어서,
    상기 초음파 신호의 도플러 편이를 계산하고 상기 이미징을 위해 상기 도플러 편이를 사용하는 단계를 포함하는,
    방법.
  23. 복수의 표면을 갖는 주변 구조물 내의 적어도 하나의 수동 객체를 이미징하도록 구성된 시스템으로서,
    상기 주변 구조물로 초음파 신호를 송신하도록 구성된 초음파 송신기 어레이와,
    상기 수동 객체로부터의 반사를 수신하도록 구성된 초음파 수신기 어레이를 포함하되,
    상기 시스템은 상기 복수의 표면 중 적어도 한 표면의 위치에 관련된 저장된 데이터를 사용하여 상기 초음파 신호가 주변 구조물 표면으로부터의 적어도 하나의 반사를 포함하도록 상기 초음파 신호를 스티어링하도록 구성되는,
    시스템.
  24. 제23항에 있어서,
    개별 송신기 및 수신기를 내부에 포함하는 단일 어레이를 갖는,
    시스템.
  25. 제24항에 있어서,
    상기 개별 송신기 및 수신기는 상이한 압전 재료를 사용하여 제조된 것인,
    시스템.
  26. 제23항 내지 제25항 중 어느 한 항에 있어서,
    상기 초음파 신호는 20% 이상의 분수 대역폭(fractional bandwidth)을 갖는,
    시스템.
  27. 제23항 내지 제26항 중 어느 한 항에 있어서,
    상기 수신기 어레이는 마이크로-전자-기계 시스템 마이크로폰(Micro-Electro-Mechanical System microphones)을 포함하는,
    시스템.
  28. 제23항 내지 제27항 중 어느 한 항에 있어서,
    상기 초음파 수신기 어레이는 광학 수신기를 포함하는,
    시스템.
  29. 제23항 내지 제28항 중 어느 한 항에 있어서,
    상기 수신기 어레이는 가청 주파수 범위에서 피크 응답을 갖는 마이크로폰 어레이이고, 상기 송신기 어레이는 초음파 주파수 범위에서 음파의 반파장에 해당하는 송신기들 사이의 간격을 갖는,
    시스템.
  30. 적어도 하나의 수동 객체를 이미징하기 위한 장치로서,
    초음파 신호를 송신하도록 구성된 초음파 송신기의 어레이 ― 상기 어레이의 인접 송신기 쌍은 초음파 주파수 범위에서 음파의 반파장에 해당하는 간격을 가짐 ― 와,
    상기 수동 객체로부터의 반사를 수신하도록 구성된 마이크로폰의 어레이 ― 상기 마이크로폰은 가청 주파수 범위에서 피크 응답을 가짐 ― 를 포함하되,
    상기 장치는 상기 반사를 사용하여 상기 객체의 이미지를 결정하도록 구성되는,
    장치.
KR1020237029937A 2021-02-01 2022-02-01 구조물 내 객체 이미징 KR20230156044A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB2101374.3 2021-02-01
GBGB2101374.3A GB202101374D0 (en) 2021-02-01 2021-02-01 Object imaging within structures
PCT/GB2022/050264 WO2022162405A1 (en) 2021-02-01 2022-02-01 Object imaging within structures

Publications (1)

Publication Number Publication Date
KR20230156044A true KR20230156044A (ko) 2023-11-13

Family

ID=74865311

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237029937A KR20230156044A (ko) 2021-02-01 2022-02-01 구조물 내 객체 이미징

Country Status (8)

Country Link
US (1) US20240134041A1 (ko)
EP (1) EP4285153A1 (ko)
JP (1) JP2024504837A (ko)
KR (1) KR20230156044A (ko)
CN (1) CN117083539A (ko)
CA (1) CA3206562A1 (ko)
GB (1) GB202101374D0 (ko)
WO (1) WO2022162405A1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130182539A1 (en) * 2012-01-13 2013-07-18 Texas Instruments Incorporated Multipath reflection processing in ultrasonic gesture recognition systems
NO20130884A1 (no) 2013-06-21 2014-12-22 Sinvent As Sensorelement med optisk forskyvning
US9739883B2 (en) * 2014-05-16 2017-08-22 Elwha Llc Systems and methods for ultrasonic velocity and acceleration detection
US11125553B2 (en) * 2016-06-24 2021-09-21 Syracuse University Motion sensor assisted room shape reconstruction and self-localization using first-order acoustic echoes

Also Published As

Publication number Publication date
EP4285153A1 (en) 2023-12-06
WO2022162405A1 (en) 2022-08-04
CA3206562A1 (en) 2022-08-04
JP2024504837A (ja) 2024-02-01
US20240134041A1 (en) 2024-04-25
CN117083539A (zh) 2023-11-17
GB202101374D0 (en) 2021-03-17

Similar Documents

Publication Publication Date Title
JP5539620B2 (ja) オブジェクトを追跡する方法及び追跡装置
US11190900B2 (en) Spatial audio array processing system and method
JP5710792B2 (ja) 可聴音と超音波とを用いたソース特定のためのシステム、方法、装置、およびコンピュータ可読媒体
US20110317522A1 (en) Sound source localization based on reflections and room estimation
US12096237B2 (en) Method for predicting structure of indoor space using radio propagation channel analysis through deep learning
KR101673579B1 (ko) 이동체의 위치감지장치, 이동체의 위치감지방법, 조명장치, 공조장치, 보안장치, 및 주차장관리장치
Ba et al. L1 regularized room modeling with compact microphone arrays
US20220379346A1 (en) Ultrasonic transducers
Fernandez-Grande et al. Reconstruction of room impulse responses over extended domains for navigable sound field reproduction
Dokmanić et al. Hardware and algorithms for ultrasonic depth imaging
JP2015081824A (ja) 放射音強度マップ作成システム、移動体および放射音強度マップ作成方法
KR20230156044A (ko) 구조물 내 객체 이미징
CN118591737A (zh) 定位移动声源
US11997474B2 (en) Spatial audio array processing system and method
Pullano et al. Obstacle detection system based on low quality factor ultrasonic transducers for medical devices
Zhao Co-Prime Microphone Arrays: Geometry, Beamforming and Speech Direction of Arrival Estimation
Gandhi et al. Distributed sensing for acoustic source localization in reverberant environments
Zeng et al. Ultrasonic Hand Gesture Detection and Tracking using CFAR and Kalman Filter
Boger-Lombard et al. Non-Line-of-Sight Passive Acoustic Localization Around Corners
KR20240021716A (ko) 매질의 초음파 이미지 데이터 구축 프로세스를 최적화하기위한 방법 및 시스템
Amerineni Multi Channel Sub Band Wiener Beamformer
KR20190108236A (ko) 반사 인지를 통한 음원 위치 추적 방법 및 시스템
Candy Signal processing in acoustics: Science or science fiction
Bedri et al. Exploring the Resolution Limit for In-Air Synthetic-Aperture Audio Imaging
Hu et al. A General Model of High Frame Rate Imaging System