KR20230148020A

KR20230148020A - 청각 측면을 포함하는 의료 정보를 획득하는 스마트 단말기

Info

Publication number: KR20230148020A
Application number: KR1020220047132A
Authority: KR
Inventors: 김중희
Original assignee: 서울대학교병원
Priority date: 2022-04-15
Filing date: 2022-04-15
Publication date: 2023-10-24
Also published as: WO2023200274A1

Abstract

실시예들은 상기 스마트 단말기의 몸체에 연결되며, 대상자의 신체 음향을 획득하는 적어도 하나의 음향 유닛; 상기 스마트 단말기는 획득된 신체 음향 및 신체 심전도 중 적어도 하나의 원시 신체 정보를 미리 설정된 데이터 양식으로 처리하여 대상자의 의료 정보를 생성하는 데이터 처리 모듈; 및 압력이 가해져 스위칭되면 전기 신호를 발생시키는 압력 스위치;를 포함하는 스마트 단말기에 관련된다.

Description

청각 측면을 포함하는 의료 정보를 획득하는 스마트 단말기{SMART TERMINAL DEVICE FOR OBTAINING MEDICAL INFOMRATION INCLUDING HEARING}

본 출원은 의료 정보를 실시간으로 획득하는 기술에 관한 것으로서, 보다 상세하게는 진료 과정에서 사용하는 것만으로 임상 진료를 위해 활용 가능한 포맷으로 의료 정보를 실시간으로 획득하는 스마트 단말기에 관련된다.

성공적인 진료를 위해서는 의사의 빠르고 정확한 정보 처리 능력이 요구된다. 일반적인 임상진료에서 시진 및 청진 진료가 큰 비중을 차지한다. 따라서, 시진, 청진 진료 과정에서 얻어지는 의료 정보가 신속하게 사용 가능한 형태(또는 포맷)로 기록되는 것이 중요하다.

그러나 대부분의 시진 및 청진 진료에서 현재 광범위하게 사용되는 종래의 장비들은 스마트 폰이나 디지털 카메라, 녹음기 등과 같은 것으로서, 청진 진료 과정에서 아예 기록을 남기지 못할 가능성도 있다.

특히, 이러한 장비들은 임상진료를 위한 의료 정보 포맷에 비-적합하게 디자인되었기 때문에, 최근 임상진료의 자동화 기조에 부적합하다. 임상진료에 다양한 진단 프로그램이 활용되고 있으며 최근에는 인공지능 알고리즘을 이들 진단 프로그램에 접목시키려는 시도가 늘고 있다.

종래의 장비들은 설령 청진, 시진 과정의 기록을 남기더라도 진단 프로그램 또는 인공지능 프로그램에서 즉시 활용할 수 없는, 비-적합한 형태의 원시 신체 정보를 저장하는 한계가 있다.

특허공개공보 제 10-2015-01037129호 (2015.09.14.)

본 출원은, 일 측면에서, 적어도 청각 측면을 포함하고, 아울러 심전도 측면의 의료 정보 및/또는 시각 측면의 의료 정보를 더 획득 가능한 스마트 단말기를 제공할 수도 있다.

또한, 본 출원은, 다른 일 측면에서, 청각 측면 또는 시각 측면의 의료 정보를 획득 가능한 스마트 단말기를 제공할 수도 있다.

본 출원의 일 측면에 따른 스마트 단말기(1)는 상기 스마트 단말기(1()의 몸체에 연결되며, 대상자의 신체 음향을 획득하는 적어도 하나의 음향 유닛(10); 상기 스마트 단말기는 획득된 신체 음향 및 신체 심전도 중 적어도 하나의 원시 신체 정보를 미리 설정된 데이터 양식으로 처리하여 대상자의 의료 정보를 생성하는 데이터 처리 모듈(100); 및 압력이 가해져 스위칭되면 전기 신호를 발생시키는 압력 스위치(40);를 포함할 수도 있다.

일 실시예에서, 상기 스마트 단말기(1)는 압력 스위치(40)의 전기 신호가 발생하는 것에 응답하여 상기 음향 유닛에 의한 청취 동작을 개시 (initiating)할 수도 있다.

일 실시예에서, 상기 적어도 하나의 음향 유닛(10)의 인터페이스는 동일한 평면 상에 배열되어 유닛 어레이(1020)를 형성할 수도 있다. 상기 유닛 어레이(1020)는 상기 몸체의 제1 결합 부분에 연결되며, 상기 제1 결합 부분은 상기 몸체의 다른 부분의 표면 보다 돌출될 수도 있다.

일 실시예에서, 상기 압력 스위치(40)는 상기 제1 결합 부분과 상기 유닛 어레이에 사이에 배치될 수도 있다. 돌출된 유닛 어레이(1020)가 신체 음향을 획득할 신체 부위의 표면에 접촉하는 것에 따라서 상기 압력 스위치(40)에 압력이 가해져 상기 전기 신호가 발생할 수도 있다. 이러한 압력 스위치(40)의 동작, 유닛 어레이(1020)의 구조에 대해서는 위에서 설명하였는 바, 자세한 설명은 생략한다.

일 실시예에서, 상기 스마트 단말기(1)는 2D 단면 초음파 센서 또는 도플러 효과를 사용하는 초음파 센서(16)를 더 포함할 수도 있다.

일 실시예에서, 상기 유닛 어레이(1020)는 서로 다른 주파수 대역의 신체 음향을 청취하는 복수의 음향 유닛(21, 23)을 포함할 수도 있다. 상기 복수의 음향 유닛(21, 23)은 가청 주파수 대역에서 상대적으로 고음의 신체 음향을 청취하는 제1 음향 유닛(21)과 상기 가청 주파수 대역에서 상대적으로 저음의 신체 음향을 청취하는 제2 음향 유닛(23)을 포함할 수도 있다.

일 실시예에서, 상기 스마트 단말기(1)는 청취한 고음 및 저음을 믹싱하거나, 믹싱 비율(mixing ratio)을 제어하는 조작 유닛을 더 포함할 수도 있다.

일 실시예에서, 상기 스마트 단말기(1)는 획득한 신체 음향을 음향 신호로 출력하는 음향 출력 유닛(300); 및 획득한 신체 음향을 포함한 원시 신체 정보, 또는 대상자의 의료 정보를 표시하는 디스플레이 유닛(200) 중 하나 이상을 더 포함할 수도 있다.

일 실시예에서, 상기 스마트 단말기(1)는, 상기 대상자의 의료 정보를 진단 프로그램 또는 인공지능 프로그램이 설치된 외부기기로 전송하는 데이터 송수신 유닛(150)을 더 포함할 수도 있다.

일 실시예에서, 상기 데이터 처리 모듈(100)의 데이터 처리 유닛(110)은 신체 음향을 미리 설정된 데이터 양식으로 처리하여 대상자의 의료 정보를 생성하도록 구성될 수도 있다. 상기 미리 설정된 데이터 양식은, 데이터 송수신 유닛과 통신하는 외부기기에 설치된 응용 프로그램에서 허용 가능한 데이터 포맷일 수도 있다.

일 실시예에서, 상기 데이터 처리 유닛(110)은 상기 신체 음향에서 미리 설정된 길이 N의 1차원 음향 벡터 x를 추출하고, 그리고 상기 1차원 음향 벡터x 그 자체를 사용해 대상자의 의료 정보를 생성하거나 또는 상기 1차원 음향 벡터 x를 이미지 형식으로 변환하여 대상자의 의료 정보를 생성하도록 구성될 수도 있다.

일 실시예에서, 상기 데이터 처리 유닛(110)은, 상기 1차원 음향 벡터x를 스펙트럼(Spectrum) 형식, 파워 스펙트럼 형식 또는 스팩트로그램(spectrogram) 형식으로 변환하여 C × M 행렬로 표현되는, 이미지 형식의 음향 데이터를 생성하도록 구성될 수도 있다. 상기 대상자의 의료 정보는 상기 이미지 형식의 음향 데이터를 포함하며, 상기 C는 신체 음향의 채널, M은 신체 음향의 시간을 나타낸다.

일 실시예에서, 상기 스마트 단말기(1)는 시각 측면의 의료 정보를 더 획득하는 스마트 단말기로서, 신체를 촬영하는 적어도 하나의 촬영 유닛(30)을 더 포함할 수도 있다. 상기 데이터 처리 모듈(100)은, 상기 대상자의 의료 정보가 신체 이미지의 처리 결과를 더 포함하도록, 상기 적어도 하나의 촬영 유닛(30)에 의해 획득된 신체 이미지를 미리 설정된 데이터 양식으로 처리할 수도 있다.

일 실시예에서, 상기 스마트 단말기(1)는, 촬영 유닛(30)을 선택하거나 촬영 유닛(30)의 사양을 제어하는 조작 유닛(400)을 더 포함할 수도 있다.

일 실시예에서, 상기 적어도 하나의 촬영 유닛은 적어도 하나의 가시광선 촬영 유닛(31); 적어도 하나의 적외선 촬영 유닛(35); 및 적어도 하나의 조도 센서(37) 중 하나 이상을 포함할 수도 있다.

일 실시예에서, 상기 스마트 단말기(1)가 적어도 하나의 가시광선 촬영 유닛(31)을 포함할 경우, 백색 광원(32) 및 형광성 광원(fluorescent light source, 34) 중 하나 이상을 더 포함할 수도 있다.

일 실시예에서, 스마트 단말기(1)가 적어도 하나의 적외선 촬영 유닛(35)을 포함할 경우, 상기 데이터 처리 모듈(100)은 특정 부위의 염증 반응 여부를 확인하기 위한 촬영 영역의 온도 이미지를 생성하도록 더 구성될 수도 있다.

한편, 본 출원의 다른 일 측면에 따른, 심전도 및 청각 측면의 의료 정보를 획득하는 스마트 단말기는, 상기 스마트 단말기의 몸체에 연결되며, 대상자의 신체 음향을 획득하는 적어도 하나의 음향 유닛; 및 상기 대상자의 신체 심전도를 획득하는 복수의 심전도 유닛;을 포함할 수도 있다. 상기 복수의 심전도 유닛 중 일부 심전도 유닛과 상기 적어도 하나의 음향 유닛은 상기 대상자의 신체 부위로 향하는 유닛 어레이를 형성한다.

일 실시예에서, 상기 스마트 단말기는 획득된 신체 음향 및 신체 심전도 중 적어도 하나의 원시 신체 정보를 미리 설정된 데이터 양식으로 처리하여 대상자의 의료 정보를 생성하는 데이터 처리 모듈; 및 압력이 가해져 스위칭되면 전기 신호를 발생시키는 압력 스위치;를 더 포함할 수도 있다.

일 실시예에서, 상기 스마트 단말기는 압력 스위치의 전기 신호가 발생하는 것에 응답하여 상기 음향 유닛에 의한 청취 동작을 개시(initiating)하도록 구성될 수도 있다.

일 실시예에서, 상기 유닛 어레이는 상기 몸체의 제1 결합 부분에 연결되며, 상기 제1 결합 부분은 상기 몸체의 다른 부분의 표면 보다 돌출되도록 구성될 수도 있다.

일 실시예에서, 상기 압력 스위치는 상기 제1 결합 부분과 상기 유닛 어레이에 사이에 배치될 수도 있다. 상기 스마트 단말기는, 돌출된 유닛 어레이가 신체 음향을 획득할 신체 부위의 표면에 접촉하는 것에 따라서 상기 압력 스위치에 압력이 가해져 상기 전기 신호가 발생하도록 구성될 수도 있다.

일 실시예에서, 상기 스마트 단말기는 2D 단면 초음파 센서 또는 도플러 효과를 사용하는 초음파 센서를 더 포함할 수도 있다.

일 실시예에서, 상기 유닛 어레이는 서로 다른 주파수 대역의 신체 음향을 청취하는 복수의 음향 유닛을 포함할 수도 있다. 상기 복수의 음향 유닛은 가청 주파수 대역에서 상대적으로 고음의 신체 음향을 청취하는 제1 음향 유닛과 상기 가청 주파수 대역에서 상대적으로 저음의 신체 음향을 청취하는 제2 음향 유닛을 포함한다.

일 실시예에서, 상기 스마트 단말기는 청취한 고음 및 저음을 믹싱하거나, 믹싱 비율(mixing ratio)을 제어하는 조작 유닛을 더 포함할 수도 있다.

일 실시예에서, 상기 스마트 단말기는 획득한 신체 음향을 음향 신호로 출력하는 음향 출력 유닛; 및 획득한 신체 음향 또는 신체 심전도를 포함한 원시 신체 정보, 또는 대상자의 의료 정보를 표시하는 디스플레이 유닛; 중 하나 이상을 더 포함할 수도 있다.

일 실시예에서, 상기 일부 심전도 유닛의 전극은 상기 유닛 어레이의 접촉면 및 주변의 음향 유닛 보다 높은 단차를 형성하도록 구성될 수도 있다.

일 실시예에서, 상기 유닛 어레이의 일부 심전도 유닛의 전극은 대상자의 흉부 지역에 접촉하고, 나머지 심전도 유닛의 전극은 상기 흉부와 다른 지역에 접촉하여 신체 심전도가 획득될 수도 있다.

일 실시예에서, 상기 심전도 유닛은 상기 복수의 심전도 유닛의 전극이 서로 다른 신체 지역의 표면에 각각 접촉하는 경우 상기 심전도 유닛에 의한 심전도 측정 동작을 개시하도록 구성될 수도 있다.

일 실시예에서, 상기 나머지 심전도 유닛은 상기 스마트 단말기의 몸체로부터 연장 가능하도록 구성될 수도 있다.

일 실시예에서, 상기 스마트 단말기는, 상기 대상자의 의료 정보를 진단 프로그램 또는 인공지능 프로그램이 설치된 외부기기로 전송하는 데이터 송수신 유닛을 더 포함할 수도 있다.

일 실시예에서, 상기 데이터 처리 모듈은 신체 심전도 및 신체 음향 중 하나 이상의 원시 신체 정보를 미리 설정된 데이터 양식으로 처리하여 대상자의 의료 정보를 생성하도록 구성될 수도 있다. 상기 미리 설정된 데이터 양식은, 데이터 송수신 유닛과 통신하는 외부기기에 설치된 응용 프로그램에서 허용 가능한 데이터 포맷이다.

일 실시예에서, 상기 데이터 처리 모듈은 상기 신체 음향에서 미리 설정된 길이 N의 1차원 음향 벡터 x를 추출하고, 그리고 상기 1차원 음향 벡터x 그 자체를 사용해 대상자의 의료 정보를 생성하거나 또는 상기 1차원 음향 벡터 x를 이미지 형식으로 변환하여 대상자의 의료 정보를 생성하도록 구성될 수도 있다.

일 실시예에서, 상기 데이터 처리 모듈은, 상기 1차원 음향 벡터x를 스펙트럼(Spectrum) 형식, 파워 스펙트럼 형식 또는 스팩트로그램(spectrogram) 형식으로 변환하여 C × M 행렬로 표현되는, 이미지 형식의 음향 데이터를 생성하도록 구성될 수도 있다. 상기 대상자의 의료 정보는 상기 이미지 형식의 음향 데이터를 포함한다. 상기 C는 신체 음향의 채널, M은 신체 음향의 시간을 나타낸다.

일 실시예에서, 상기 데이터 처리 모듈은, 상기 심전도 신호로부터 심전도 측정 데이터를 추출하고 - 상기 심전도 데이터는 L×T 행렬 형식으로 표현됨, 그리고 L×T 행렬 형식의 심전도 데이터 그 자체를 사용해 심전도 측면만의 대상자의 의료 정보를 생성하거나, 또는 상기 심전도 데이터를 처리하여 음향 및 심전도 측면의 대상자의 의료 정보를 생성하도록 구성될 수도 있다. 상기 L은 심전도 채널을 나타내고, T는 심전도 시간을 나타낸다.

일 실시예에서, 상기 데이터 처리 모듈은, 음향 및 심전도 측면의 대상자의 의료 정보를 생성하기 위해, 상기 신체 심전도와 상기 신체 음향을 시간 도메인 상에서 동기화하도록 더 구성될 수도 있다.

일 실시예에서, 상기 데이터 처리 모듈은 미리 학습된 적어도 하나의 인공신경망을 포함할 수도 있다. 각 인공신경망은 상기 심전도 채널 L에 매칭한 입력 채널의 데이터를 입력 받도록 구성된 것으로서, 특정 음향 구간을 분류하기 위한 1-채널 벡터를 산출하도록 학습된다.

상기 데이터 처리 모듈은 신체 심전도 및 신체 음향에 기초한 대상자의 의료 정보를 생성하기 위해, 상기 인공신경망의 1채널 벡터를 상기 음향 데이터의 행렬에서 M 축과 동일한 값으로 사이즈를 조정(resize)하고, 조정된 1채널 벡터를 상기 음향 데이터의 행렬에서 C의 값만큼 복제함으로써 C×M 행렬 형식의 심전도 데이터를 생성하며, 그리고 C×M 행렬 형식으로 변환된 심전도 데이터를 상기 C×M 행렬 형식의 음향 데이터에 스택하도록 구성될 수도 있다.

일 실시예에서, 상기 스마트 단말기는, 시각 측면의 의료 정보를 더 획득하는 스마트 단말기로서, 신체를 촬영하는 적어도 하나의 촬영 유닛;을 더 포함할 수도 있다. 상기 데이터 처리 모듈은, 상기 대상자의 의료 정보가 신체 이미지의 처리 결과를 더 포함하도록, 상기 적어도 하나의 촬영 유닛에 의해 획득된 신체 이미지를 미리 설정된 데이터 양식으로 처리할 수도 있다.

일 실시예에서, 상기 스마트 단말기는, 촬영 유닛을 선택하거나 촬영 유닛의 사양을 제어하는 조작 유닛;을 더 포함할 수도 있다.

일 실시예에서, 상기 적어도 하나의 촬영 유닛은 적어도 하나의 가시광선 촬영 유닛; 적어도 하나의 적외선 촬영 유닛; 및 적어도 하나의 조도 센서 중 하나 이상을 포함할 수도 있다.

일 실시예에서, 상기 스마트 단말기가 적어도 하나의 가시광선 촬영 유닛을 포함할 경우, 백색 광원 및 형광성 광원(fluorescent light source) 중 하나 이상을 더 포함할 수도 있다.

일 실시예에서, 스마트 단말기가 적어도 하나의 적외선 촬영 유닛을 포함할 경우, 상기 데이터 처리 모듈은 특정 부위의 염증 반응 여부를 확인하기 위한 촬영 영역의 온도 이미지를 생성하도록 더 구성될 수도 있다.

본 발명의 실시예들에 따른 스마트 단말기는 다양한 신체 음향, 다양한 신체 이미지, 신체 심전도를 획득하여 센서 퓨전을 이용하는 인공지능 알고리즘에게 유용하게 적용될 퓨전 데이터의 대상자의 의료 정보를 생성할 수 있다.

특히, 상기 스마트 단말기는 스마트 단말기(1)는 임상 진료 시에 환자와 상호작용하는 동안 임상 진료와 관련된 여러 작업(사진 촬영, 청진, 녹음 등)을 쉽고 효과적으로 진행할 수 있게 지원함으로써, 의료인들이 얻는 임상정보를 실시간으로 간편하고 효과적으로 기록할 수 있게 해준다.

나아가, 이 퓨전 데이터의 대상자의 의료 정보는 다모드 입력 데이터(multimodal input data)와 같이 인공지능 프로그램이 보다 효과적으로 사용할 수 있는 특정 데이터 포맷을 가진다. 즉, 상기 스마트 단말기는 원시 신체 정보로부터, 여러 인공지능 알고리즘들에서 곧바로 활용 가능한 다모드 퓨전 데이터(multimodal fusion data)의 대상자의 의료 정보를 생성 및 제공함으로써, 인공지능에 기반 한 진료 효율을 향상시켜준다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명 또는 종래 기술의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시예를 설명하기 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 아래의 도면들에서 과장, 생략 등 다양한 변형이 적용된 일부 요소들이 도시될 수 있다.
도 1은, 본 출원의 일 실시예에 따른, 스마트 단말기의 개략도이다.
도 2a 및 도 2b는, 본 출원의 일 실시예에 따른, 음향 청취 동작과 심전도 측정 동작을 수행하기 위한 유닛 어레이를 도시한다.
도 3은, 본 출원의 다른 일 실시예에 따른, 음향 유닛의 배열이 변형된 유닛 어레이를 도시한다.
도 4는, 본 출원의 일 실시예에 따른, 복수의 심전도 유닛을 통해 대상자의 심전도를 측정하는 과정을 도시한다.
도 5는, 본 출원의 일 실시예에 따른, 복수의 촬영 유닛으로 이루어진 유닛 어레이를 도시한 도면이다.
도 6은, 본 출원의 일 실시예에 따른, 측정된 신체 심전도를 이용하여 구획되는 음향 구간을 도시한다.
도 7은, 본 출원의 일 실시예에 따른, 상기 심장 주기의 구획화에 기초하여 신체 심전도와 신체 음향을 동기화한 결과를 도시한다.

여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.

다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.

이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.

본 출원의 실시예들에 따른 스마트 단말기(1)는 청각 측면의 의료 정보를 획득하는 청각 입력 모듈; 심전도 측면의 의료 정보를 획득하는 심전도 입력 모듈; 및/또는 시각 측면의 의료 정보를 획득하는 시각 입력 모듈을 포함한다.

본 출원의 일 측면에 따른 특정 실시예들에서, 스마트 단말기(1)는 청각 측면의 의료 정보 및 심전도 측면의 의료 정보를 획득할 수도 있다. 또한, 대안적인 실시예들에서, 이 스마트 단말기(1)는 시각 측면의 의료 정보를 획득하도록 더 구성될 수도 있다.

도 1은, 본 출원의 일 실시예에 따른, 스마트 단말기의 개략도이다.

도 1을 참조하면, 스마트 단말기(1)는 적어도 하나의 음향 유닛(10); 복수의 심전도 유닛(20); 데이터 처리 모듈(100); 및 몸체(1000)를 포함한다. 상기 몸체(1000)는 상기 심전도 유닛(20)과 접촉하는 압력 스위치(40)를 포함한다. 또한, 상기 대안적인 실시예들에서, 상기 스마트 단말기(1)는 적어도 하나의 촬영 유닛(30)을 더 포함할 수도 있다.

일부 실시예들에서, 상기 스마트 단말기(1)는 보조 음향 유닛(50), 보조 센서(60), 디스플레이 유닛(200), 음향 출력 유닛(300) 및/또는 조작 유닛(400)을 더 포함할 수도 있다.

상기 음향 유닛(10), 심전도 유닛(20), 촬영 유닛(30)은 대상자의 원시 신체 정보를 획득하기 위해 상기 대상자의 신체와 상호작용하는 입력 유닛이다.

상기, 보조 음향 유닛(50), 보조 센서(60), 디스플레이 유닛(200), 음향 출력 유닛(300), 조작 유닛(400)은 대상자의 대상자의 의료 정보를 생성하기 위해 사용자와 상호작용하는 입/출력 유닛이다.

실시예들에 따른 스마트 단말기(1)는 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 기기(apparatus) 또는 장치(device)는 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", “모듈(module)”“장치”, 또는 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.

상기 몸체(1000)는 하나 이상의 구성요소(예컨대, 데이터 처리 모듈(100))을 내부에 포함한다. 그러면, 내부에 포함된 다른 일부 구성요소는 몸체(1000)에 의해 외부의 물질, 충격으로부터 보호된다.

또한, 몸체(1000)는 전술한 유닛(10, 20, 30)이 신체에 접촉 가능하도록 설치되는 구조를 가진다.

특정 실시예들에서, 상기 몸체(1000)는 제1 결합 부분(1100)을 포함할 수도 있다. 상기 제1 결합 부분(1100)은 몸체(1000) 중에서 음향 유닛(10) 및/또는 적어도 하나의 심전도 유닛(20) 과 연결되는 부분일 수도 있다.

또한, 상기 몸체(1000)는 제2 결합 부분(1300)을 더 포함할 수도 있다. 상기 제2 결합 부분(1300)은 촬영 유닛(30)과 연결되는 부분일 수도 있다. 상기 제1 결합 부분(1100)은 몸체(1000)의 일 단일 수도 있고, 상기 제2 결합 부분(1300)은 몸체(1000)의 타 단일 수도 있다. 예를 들어, 도 1에 도시된 것처럼, 상기 제1 결합 부분(1100)은 몸체(1000)의 하부에 형성된 일 단일 수도 있다. 상기 제2 결합 부분(1300)은 몸체(1000)의 상부에 형성된 타 단일 수도 있다.

일 실시예에서, 상기 제1 결합 부분(1100) 및/또는 제2 결합 부분(1300)은 몸체(1000)의 다른 부분에 비해 상대적으로 신체에 우선 접촉하도록 몸체(1000)의 다른 부분 보다 돌출될 수도 있다. 그러면, 상기 몸체(1000)는 상부와 하부 사이의 중간 부분의 두께가 상대적으로 좁은 형상을 가질 수도 있다. 상기 제1 결합 부분(1100), 제2 결합 부분(1300)의 돌출 정도는 동일하거나 서로 상이할 수도 있다. 예를 들어, 제1 결합 부분(1100), 제2 결합 부분(1300)은 몸체(1000)의 다른 부분과 비교하여 돌출되며, 이 돌출 정도는 도 1에 도시된 바와 같이 유사할 수도 있다.

제1 결합 부분(1100), 제2 결합 부분(1300)이 상대적으로 돌출됨으로써, 상기 몸체(1000)는 사용자의 손으로 파지하는데 적합한 형상을 가질 수도 있다. 이 경우, 사용자는 제1 결합 부분(1100), 제2 결합 부분(1300) 사이의 상대적으로 좁은 부분을 파지할 수도 있다. 이와 같이 몸체(1000)는 사용이 편리한 형상을 제공한다. 일 실시예에서, 상기 몸체(1000)에 결합된 일부 구성요소는 몸체(1000)와의 거리가 일시적으로 변경되도록 결합된 구성요소를 포함할 수도 있다. 이에 대해서는 아래의 도 2를 참조하여 보다 상세하게 서술한다.

음향 유닛(10)은 신체 음향을 획득하는 입력 구성요소이다. 상기 음향 유닛(10)은 피부 외부에서 저체 내부의 음향 신호를 곧바로 획득하거나, 피부에 접촉하여 신체 내부의 진동을 감지하여 음향 신호를 획득할 수도 있다. 상기 음향 유닛(10)은, 예를 들어, 마이크 또는 진동 센서일 수도 있다.

상기 스마트 단말기(1)는 복수의 유형의 음향 유닛(10)을 포함할 수도 있다. 복수의 유형의 음향 유닛(10)에서 일부 유형의 음향 유닛(10)과 다른 일부 유형의 음향 유닛(10)은 서로 다른 주파수 대역의 음향을 청취하도록 구성된다.

상기 복수의 유형의 음향 유닛(10)은 가청 주파수 대역의 음향을 청취하는 제1 유형의 음향 유닛(11); 및/또는 제2 유형의 음향 유닛(13)을 포함할 수도 있다.

상기 제1 음향 유닛(11)은 가청 주파수 대역에서 상대적으로 고음의 신체 음향을 청취하는 입력 구성요소이다.

상기 제2 음향 유닛(13)은 가청 주파수 대역에서 상대적으로 저음의 신체 음향을 청취하는 입력 구성요소이다.

그러면, 스마트 단말기(1)는 청취한 저음의 신체 음향 및/또는 고음의 신체 음향과 관련된 정보를 포함한 청각 의료 정보를 생성할 수도 있다.

상기 제1 유형의 음향 유닛(11), 제2 유형의 음향 유닛(13)은 접촉 마이크일 수도 있다. 상기 접촉 마이크(11, 13)에서 신체의 표면과 접촉하는 부분은 실리콘 고무와 같은, 탄성을 갖는 물질로 이루어질 수도 있다.

또한, 상기 제1 유형의 음향 유닛(11), 제2 유형의 음향 유닛(13)은 증폭 유닛을 더 포함할 수도 있다. 상기 증폭 유닛은 상기 신체의 표면과 접촉하는 부분을 경유하여 입력된 물리 에너지를 증폭하는 구성요소일 수도 있다. 상기 증폭 유닛은 압전 마이크 유닛(piezoelectric microphone unit)일 수도 있다.

또한, 상기 복수의 유형의 음향 유닛(10)은 초음파 유닛(16)을 더 포함할 수도 있다. 상기 스마트 단말기(1)는 하나 이상의 초음파 유닛(16)을 포함할 수도 있다. 그러면, 스마트 단말기(1)는 청취한 초음파 음향과 관련된 정보를 포함한 청각 의료 정보를 생성할 수도 있다.

상기 초음파 유닛(16)은 가청 주파수 밖의 초음파를 갖는 신체 음향을 청취한다. 상기 초음파 유닛(16)은 예를 들어 2D 단면 초음파 유닛 및/또는 도플러 센서를 포함할 수도 있다.

상기 2D 단면 초음파 유닛(16)은 프로브(proble)를 가지며, 피부의 2차원 단면에서 초음파를 청취하는 초음파 유닛이다.

상기 도플러 센서(16)는 도플러 효과를 사용하는 초음파 유닛이다. 상기 도플러 센서는 탐촉자로 향하거나 탐촉자로부터 멀어지는 장기 조직이나 혈류에 충돌하여 일부 반사되어 돌아오는 초음파의 주파수 변화를 청취한다.

또한, 상기 초음파 유닛(16)은 폐 초음파 검사를 진행하기 위해 활용될 수도 있다. 또한, 상기 초음파 센서16를 심초음파 계층 위치에 접촉시키면, 상기 스마트 단말기(1)는 임상 진료 시 소형 심초음파 기기의 역할을 수행할 수도 있다. 심전도 유닛(20)은 신체 심전도 신호를 획득하는 입력 구성요소이다. 상기 심전도 유닛(20)은 심전도 신호와 같은 전기 신호를 수신하기 위해, 전도성 물질로 이루어진 전극으로 구현될 수도 있다.

상기 복수의 심전도 유닛(20) 중 하나 이상의 전극(예컨대, 20A, 20B)은 상기 신체의 심장 영역에 접촉한다. 상기 심장 영역은 심장의 전기 신호를 측정 가능한 피부 영역을 지칭한다.

상기 복수의 심전도 유닛(20) 중 다른 일부 전극(예컨대, 20C)은 상기 신체의 심장 영역과 다른 영역에 접촉할 수도 있다. 그러면, 상기 스마트 단말기(1)는 복수의 심전도 유닛(20)(예컨대, 전극)을 통해 신체 표면에서 측정 가능한 미약한 전기(즉, 전위차) 신호를 신체 심전도로 획득한다. 상기 스마트 단말기(1)는 대상자의 신체 음향을 보다 편리하게 청취하도록 구성된다. 또한, 상기 스마트 단말기(1)는 신체의 음향 청취와 동시에 신체 심전도를 보다 정확하고 편리하게 측정 가능하도록 구성될 수도 있다.

도 2a 및 도 2b는, 본 출원의 일 실시예에 따른, 음향 청취 동작과 심전도 측정 동작을 수행하기 위한 유닛 어레이를 도시한다.

도 2a는 도 1에서 화살표 a로 바라본 유닛 어레이의 도면이고, 도 3b는 도 1에서 화살표 b로 바라본 유닛 어레이의 도면이다.

도 2a 및 도 2b를 참조하면, 상기 적어도 하나의 음향 유닛(10)과 일부 심전도 유닛(20)은 유닛 어레이(1020)를 형성한다. 예를 들어, 도 2a 및 도 2b에 도시된 것처럼, 유닛 어레이(1020)는 동일한 접촉면 상에 음향 유닛(11, 13, 16)과 심전도 유닛(20a, 20b)이 배열되어 형성될 수도 있다.

일 실시예에서, 상기 유닛 어레이(1020)는 보드(1021)를 포함할 수도 있다. 상기 보드(1021) 상에 적어도 하나의 음향 유닛(10)과 일부 심전도 유닛(20)이 설치된다.

상기 유닛 어레이(1020)는 신체 음향을 획득하는 음향 청취 동작 및 신체 심전도를 측정하는 심전도 측정 동작이 신체에 대향하는 접촉면을 통해 동시에 수행되도록 접촉면 상에 유닛(10, 20)이 배열되도록 구성된다.

일 실시예에서, 상기 심전도 유닛(20)은, 상기 신체에 접촉하는 전극의 표면이 유닛 어레이(1020)의 접촉면 및 주변의 음향 유닛(10)의 표면 보다 높은 단차를 형성하도록 구성될 수도 있다. 도 2b의 단차를 갖는 단면 구조로 구성된 유닛 어레이(1020)가 신체에 접촉할 경우, 상기 심전도 유닛(20)은 유닛 어레이(1020)의 접촉면 또는 주변의 음향 유닛(10) 보다 먼저 신체에 접촉한다. 심전도 신호는 전도성 매질을 통해 전파되어야 정확하게 측정 가능하다. 따라서, 신체 심전도를 보다 정확하게 측정하기 위해서는 심전도 유닛(20)이 신체의 표면(예컨대, 대상 환자의 피부)에 안정적으로 접촉해야 한다. 심전도 유닛(20)의 전극이 신체의 표면에 접촉되지 않고 떨어질 경우 부정확한 신체 심전도가 획득될 수도 있다. 반면, 음향 유닛(10)은 공기와 같은 매질을 통해 전파 가능하므로, 신체와 반드시 직접 접촉할 필요는 없다. 결국, 도 2b의 단면 구조로 음향 유닛(10)과 심전도 유닛(20)이 배열되면 상기 스마트 단말기(1)는 신체 심전도 및 신체 음향 모두 상대적으로 적은 오차로 획득할 수도 있다.

일 실시예에서, 상기 스마트 단말기(1)가 복수의 유형의 음향 유닛(10)을 포함할 경우, 복수의 유형의 음향 유닛(10)과 일부 심전도 유닛(20a, 20b)은 서로 교차 배열될 수도 있다.

예를 들어, 저음 음향 유닛(11); 고음 음향 유닛(13); 및 초음파 유닛(16) 사이에 심전도 유닛(20a, 20b)이 각각 배열될 수도 있다.

일 실시예에서, 상기 제1 유형의 음향 유닛(11) 및 제2 유형의 음향 유닛(13)은 동일한 배열 영역에 설치될 수도 있다. 예를 들어, 심전도 유닛(20a 또는 20b)로 구획되는, 도 2a의 좌측 또는 우측의 단일 배열 영역에 상기 제1 유형의 음향 유닛(11) 및 제2 유형의 음향 유닛(13)이 설치될 수도 있다.

도 3은, 본 출원의 다른 일 실시예에 따른, 음향 유닛의 배열이 변형된 유닛 어레이를 도시한다.

도 3을 참조하면, 도 2의 복수의 유형의 음향 유닛(11, 13, 16)의 배열 순서는 다양하게 변형될 수도 있다. 도 3에 도시된 것처럼 초음파 유닛16이 심전도 유닛(20a, 20b) 사이에 배열될 수도 있다.

아울러, 이러한 유닛 어레이(1020) 구조 하에서, 스마트 단말기(1)는 제1 유형의 음향 유닛(11), 제2 유형의 음향 유닛(13)을 통해 폐음을 청취하는, 폐음 청진 동작과 동시에, 초음파 유닛(16)을 통해 폐 초음파를 청취하는, 폐 초음파 검사를 함께 수행할 수도 있다. 심장은 폐와 인접하므로, 심장 영역에 상기 유닛 어레이(1020)를 접촉 시 유닛 어레이(1020)의 음향 유닛(10)을 통해 폐음 및/또는 폐 초음파를 동시에 청취 가능하기 때문이다.

일부 실시예들에서, 상기 유닛 어레이(1020)에서 신체와 접촉하는 표면은 일부 또는 전부는 전도성 물질로 이루어질 수도 있다. 그러면, 심전도 신호를 수신 가능한 전도성 영역의 면적이 증가하여, 신호 수신 성능이 보다 높아진다.

일부 실시예들에서, 도 1의 연결 부재(1200)를 통해 연장되는 심전도 유닛(20)은 적어도 부분적으로 비전도 물질로 이루어진 측벽을 포함할 수도 있다. 상기 측벽은 사용자의 손가락이 닿는 부분이다. 이 측벽 부분은 비전도 물질로 처리하여 심전도 신호 획득 시 외부 노이즈 영향이 미치는 것을 보다 억제한다.

또한, 상기 유닛 어레이(1020)는 도 1의 몸체(1000)에서 돌출된 부분과 연결된다. 일 실시예에서, 상기 유닛 어레이(1020)는 제1 결합 부분(1100)과 연결될 수도 있다.

상기 유닛 어레이(1020)가 몸체(1000)에서 돌출된 부분과 연결되면, 몸체(1000)의 다른 부분 대신에 유닛 어레이(1020)의 심전도 유닛(20a, 20b), 음향 유닛(10) 만이 보다 신체에 접촉할 수도 있다. 그 결과, 사용자는 대상자를 향해 최소한으로 스마트 단말기(1)를 이동시킴으로써 신체 음향 및 신체 심전도를 획득할 수도 있다. 또한, 스마트 단말기(1)가 신체와 접촉하는 부분이 최소화됨으로써 환자와 같은 대상자가 느끼는 불편함이 최소화된다.

또한, 상기 스마트 단말기(1)는 음향 청취 동작 및 심전도 측정 동작의 개시(initiating)가 보다 간편하게 구성될 수도 있다.

다시 도 1을 참조하면, 스마트 단말기(1)는 유닛 어레이(1020)와 몸체(1000) 사이에 배치된 압력 스위치(40)를 포함한다. 유닛 어레이(1020)는 압력 스위치(40)를 통해 몸체(1000)(예컨대, 제1 결합 부분(1100))와 결합된다.

상기 압력 스위치(40)는 압력이 가해져 온-상태가 되면 전기적 신호를 발생시키는 스위칭 소자이다. 상기 전기적 신호는 스위치(40)의 활성화를 나타내므로, 활성화 신호로 지칭될 수도 있다. 상기 압력 스위치(40)에 의해 발생된 전기 신호는 데이터 처리 모듈(100)로 전송될 수도 있다. 상기 데이터 처리 모듈(100)은 이 활성화 신호에 응답하여 제어 신호를 다른 구성요소(예컨대, 유닛(10 또는 20))로 전송할 수도 있다.

일 실시예에서, 상기 압력 스위치(40)의 전기 신호가 발생하는 것에 응답하여 상기 음향 유닛(10)은 청취 동작을 개시할 수도 있다. 상기 압력 스위치(40)의 전기 신호는 스위치가 온-상태가 될 때 발생되는 신호로서, 결합된 유닛 어레이(1020)가 신체에 접촉하여 압력이 가해지면 발생된다.

상기 압력 스위치(40)의 전기 신호는 음향 유닛(10)의 음향 청취 동작을 개시하기 위한 트리거 신호이다. 이 트리거 신호가 데이터 처리 모듈(100)로 전달되면, 데이터 처리 모듈(100)은 유닛(10)을 통해 음향 신호를 수신하고 처리하여 (예컨대, 측정 값을 포함한) 원시 신체 음향 정보 또는 이에 기초한 의료 정보를 생성할 수도 있다. (예컨대, 유닛 어레이(1020)가 신체와 비-접촉하여) 압력 스위치(40)가 오프-상태일 경우 음향 유닛(10)을 통해 신체 음향이 획득되지 않는다.

도 1에 도시된 바와 같이, 유닛 어레이(1020)은 제1 결합 부분(1100)과 연결되어 있다. 상기 제1 결합 부분(1100)은 상대적으로 돌출된 부분이기 때문에, 신체와 접촉할 때까지 스마트 단말기(1)를 신체 방향으로 이동시키면 유닛 어레이(1020), 특히 심전도 유닛(20)의 전극이 상대적으로 우선 접촉된다. 그러면, 사용자가 스마트 단말기(1)를 신체 방향으로 이동시키는 힘 및/또는 유닛 어레이(1020)가 신체의 표면에 접촉하여 발생하는 반발력이 압력 스위치(40)에 압력을 가하고, 결국 압력 스위치(40)가 트리거 신호를 발생시키는 온-상태로 스위칭될 수도 있다. 스위칭에 따른 전기 신호가 발생하면, 음향 유닛(10)의 청취 동작이 개시된다.

이와 같이, 몸체(1000)로부터 돌출된 부분과 연결된 음향 유닛(10)을 대상 환자의 청취 부위(예컨대, 흉부)에 접촉하면 압력 스위치가 작동하여, 상기 스마트 단말기(1)의 입력 모드가 자동으로 청진 모드, 심전도 모드로 변경된다.

결국, 스마트 단말기(1)는 음향 유닛(10)을 신체에 접촉하는 것만으로 자동으로 음향 청취 동작, 심전도 측정 동작을 개시한다. 스마트 단말기(1)는 음향 청취 동작, 심전도 측정 동작을 개시하기 위해 조작 유닛(400) 등의 입력 기기에 별도의 사용자 명령을 입력할 필요가 없을 수도 있다.

이러한 스마트 단말기(1)는 사용자에 의해 대상 환자의 임상 진료를 위해 사용되는 것만으로도 청각 측면의 원시 신체 정보(즉, 신체 음향), 심전도 측면의 원시 신체 정보(즉, 신체 심전도)를 획득하고, 이를 처리하여 대상자의 의료 정보를 생성하는 동작을 실시간으로 자동으로 수행하도록 구성된다.

또한, 사용자는 짧은 청진기를 굳이 귀에 쓰고 환자에게 숙여 청진을 할 필요가 없다. 즉, 보다 간편하게 임상 진료를 할 수 있다.

또한, 스마트 단말기(1)는 신체 심전도를 보다 정확하거나 편리하게 측정하도록 구성된다.

도 4는, 본 출원의 일 실시예에 따른, 복수의 심전도 유닛을 통해 대상자의 심전도를 측정하는 과정을 도시한다.

도 4를 참조하면, 상기 복수의 심전도 유닛(20)은 상기 몸체(1000)로부터 연장 가능하도록 구성된 일부 전극(예컨대, 20c)을 포함할 수도 있다.

상기 유닛 어레이(1020)의 전극(20a, 20b) 이외의 나머지 전극(20c)은 몸체(1000)의 하부면에 노출될 수도 있다.

상기 일부 전극(20c)과 몸체(1000)는 이들 사이의 상대적 거리가 축소 또는 증가하도록 구성된 연결 부재(member, 1200)로 결합된다. 상기 연결 부재는 프로브 또는 와이어일 수도 있다. 반면 나머지 심전도 유닛(20a, 20b)가 설치된 상기 유닛 어레이(1020)는 몸체(1000)로부터의 상대적 거리가 전극(20c)과 몸체(1000)로부터의 상대적 거리의 변화 보다 적은 변화를 갖도록 상기 몸체(1000)에 결합된다. 예를 들어, 유닛 어레이(1020)는 압력 스위치(40)의 변화만큼 몸체(1000)로부터의 상대적 거리가 변하도록 결합될 수도 있다.

일 실시예예서, 상기 연결 부재(1200)는 상기 몸체(1000)에 접어 넣을 수 있는 프로브(retractable probe)일 수도 있다.

다른 일 실시예예서, 상기 연결 부재(1200)는 상기 몸체(1000)에 결합된 중심 축에 롤링 가능한 프로브일 수도 있다.

또 다른 일 실시예에서, 상기 연결 부재(1200)는 상기 연결 부재(1200)가 탄성을 갖도록, 플렉서블한 물질로 이루어진 부분을 일부 또는 전부 포함할 수도 있다.

또 다른 일 실시예에서, 상기 연결 부재(1200)는 접어 넣을 수 있는 형태 또는 롤링 가능한 형태의 프로브, 및/또는 플렉서블 물질로 이루어진 부분의 조합을 포함할 수도 있다.

이러한 연결 부재(1200)를 가짐으로써, 상기 스마트 단말기(1)는 상기 일부 전극(20c)을 심장 부분과 다른 특정 부분에 보다 손쉽게 접촉시키면서, 상기 스마트 단말기(1)의 부피 또는 크기를 최소화할 수도 있다. 일 실시예에서, 상기 복수의 심전도 유닛(20a, 20b, 20c)은 각 전극이 신체의 표면에 각각 접촉할 경우에 심전도 측정 동작을 개시할 수도 있다. 상기 복수의 심전도 유닛(20a, 20b, 20c)이 신체의 표면에 접촉하여 신체 표면에서 미약한 전기 신호를 수신하는 것에 반응하여 심전도 측정 동작을 개시할 수도 있다.

일 실시예에서, 상기 스마트 단말기(1)는 압력 스위치(40)의 전기 신호가 발생하는 것에 추가로 응답하여 심전도 유닛(20)은 심전도 측정 동작을 개시할 수도 있다. 스마트 단말기(1)는 유닛 어레이(1020)의 심전도 유닛(20a, 20b)가 피부에 접촉하는 것과 동시에 압력 스위치(40)에 압력이 가해져 온-상태로 스위칭되어야 심전도 측정 동작을 개시할 수도 있다. 즉, 스마트 단말기(1)는 심전도 신호 흐름이 개통하는 조건 및 압력 스위치(40)가 온 상태가 되는 조건을 모두 달성할 경우에 상기 심전도 측정 동작을 개시할 수도 있다. 이 경우, 압력 스위치(40)의 전기 신호는 음향 유닛(10)의 음향 청취 동작 및 심전도 유닛(20)의 심전도 측정 동작을 개시하기 위한 트리거 신호이다. 이 트리거 신호가 데이터 처리 모듈(100)로 전달되면, 데이터 처리 모듈(100)은 유닛(10, 20)을 통해 신호를 수신하고 처리하여 원시 신체 음향 및 원시 신체 심전도 정보를 생성할 수도 있다.

상기 스마트 단말기(1)는 단일 리드 심전도이지만 진료 도중에 즉각적으로 심전도를 확인할 수 있어 상당히 유용하다. 또한 각 리드를 접촉시키는 위치를 조정함으로써 측정된 여러 종류의 신체 심전도를 추출해 낼 수 있는 장점이 있다.

상기 음향 유닛(10)에 의해 획득된 신체 음향 및/또는 심전도 유닛(20)에 의해 획득된 신체 심전도는, 대상자의 대상자의 의료 정보를 생성하기 위해 데이터 처리 모듈(100)로 공급된다.

다시 도 1을 참조하면, 상기 촬영 유닛(30)은 신체를 촬영하여 신체 이미지를 획득하는 입력 구성요소이다. 상기 대안적인 실시예들에서, 상기 스마트 단말기(1)는 상기 촬영 유닛(30)에 의해 임상 진료 대상의 신체 부분에 대한 시각적 측면의 원시 정보를 획득할 수 있다. 이 신체 부분에 대한 시각적 측면의 원시 정보는 시각 의료 정보를 생성하는데 사용된다. 상기 적어도 하나의 촬영 유닛(30)은 적어도 하나의 메인 촬영 유닛(31)을 포함한다. 이 경우, 상기 스마트 단말기(1)는 백색 광원(32) 및/또는 형광성 광원(fluorescent light source, 34)을 포함할 수도 있다.

상기 메인 촬영 유닛(31)은 가시광선 및/또는 자외선에 반응하여 이미지를 촬영하는 입력 구성요소일 수도 있다. 상기 메인 촬영 유닛(31)은 복수의 색상 채널(예컨대, RGB 채널)을 갖는 이미지를 촬영하도록 구성될 수도 있다. 상기 메인 촬영 유닛(31)은, 예를 들어 카메라, 디지털 카메라, 또는 멀티스펙트럼 이미지 센서일 수도 있다.

상기 백색 광원(32)은 가시광선 대역 중 적어도 일부의 파장을 갖는 빛을 출력하는 광원이다. 상기 백색 광원(32)은, 예를 들어 가시광선 LED 출력 램프(LED light lamp) 또는 카메라 촬영에 조명으로서 일반적으로 활용되는 기타 광원일 수도 있다.

형광성 광원(34)은 여기광(Excitaion light)에 의해 여기된 에너지를 빛으로 방출하는 광원이다. 상기 형광성 광원34은 형광 이미지를 얻기 위한 형광 조명으로 사용된다. 상기 형광성 광원(34)은, 예를 들어 UV 출력 램프(Ultraviolet light lamp)일 수도 있으나, 이에 제한되진 않는다.

백색 광원(32) 및/또는 형광성 광원34에서 방출된 빛이 조사되어 신체로부터 반사되면 메인 촬영 유닛31이 반사된 빛에 반응하여 일반 신체 이미지 또는 형광 신체 이미지를 생성한다. 그러면, 스마트 단말기(1)는 일반 신체 이미지 또는 형광 신체 이미지를 얻을 수 있다.

상기 메인 촬영 유닛(31), 광원(32, 34)은 제2 결합 부분(1300)과 결합될 수도 있다.

일부 실시예들에서, 상기 적어도 하나의 촬영 유닛(30)은 적외선 유닛(35) 및/또는 조도 센서(37)를 더 포함할 수도 있다. 적외선 유닛(35)은 적외선 대역의 반사광에 반응하여 적외선 이미지를 생성하는 구성요소이다. 상기 적외선 유닛(35)은, 예를 들어, 적외선 카메라 및/또는 적외선 센서를 포함할 수도 있다.

스마트 단말기(1)는 적외선 카메라(35)에 의해 적외선 강도에 따른 적외선 이미지와 같은, 단일 색상 채널의 2차원 이미지를 획득할 수도 있다.

상기 스마트 단말기(1)가 적외선 유닛(35)을 포함할 경우, 촬영 영역에 대해서 환자의 온도 이미지를 생성할 수도 있다. 신체에 염증이 발생하면, 염증 발생 부분은 염증 비-발생 부분 대비 상대적으로 높은 온도를 가진다. 상기 환자의 온도 이미지는 상기 응용 프로그램이 환자의 신체에서 특정 부위의 염증 발생 여부를 확인하는데 사용될 수도 있다.

조도 센서(37)는 스마트 단말기(1) 주변의 조도 값을 측정하거나 조도 변화를 감지하도록 구성된 입력 구성요소이다. 이러한 조도 센서(37)는 제2 결합 부분(1300)과 결합될 수도 있다.

상기 조도 센서(37)는 메인 촬영 유닛(30)이 촬영하는 피사체의 조도 값 또는 상기 제2 결합 부분(1300) 주변의 조도 값을 수집할 수도 있다. 상기 조도 센서(37)는, 예를 들어 Ambient light sensor일 수도 있으나, 이에 제한되진 않는다.

이러한 촬영 유닛(31, 35, 37) 및 광원(32, 34)은 상기 유닛 어레이(1020)와 별도로, 유닛 어레이(1030)를 형성할 수도 있다.

도 5는, 본 출원의 일 실시예에 따른, 복수의 촬영 유닛으로 이루어진 유닛 어레이를 도시한 도면이다.

도 5를 참조하면, 상기 촬영 유닛(31, 35, 37) 및 광원(32, 34)은 보드(1031) 상에 배열되어 유닛 어레이(1030)를 형성한다.

일 실시예에서, 상기 유닛 어레이(1030)에서 메인 촬영 유닛(31) 주변으로 나머지 촬영 유닛(35, 37) 및/또는 광원(32, 34)이 배열될 수도 있다. 예를 들어, 메인 촬영 유닛(31)은 유닛 어레이(1030)의 중심부에 위치하고 나머지 구성요소(32, 34, 35, 37)가 메인 촬영 유닛(31)을 따라 원형으로 배열될 수도 있다. 상기 유닛 어레이(1030)는 몸체(1000)에서 상대적으로 돌출된 제2 결합 부분(1300)에 결합된다.

이와 같이 촬영 유닛(30)이 상대적으로 돌출된 구조를 가짐으로써, 스마트 단말기(1)는 입 속과 같은, 신체 내부 구조에 적어도 부분적으로 상대적으로 쉽게 삽입게 삽입 가능하여, 이러한 신체 내부 구조를 상대적으로 쉽게 촬영할 수 있다.

상기 촬영 유닛(30)에 의해 획득된 신체 이미지는, 의료 정보를 생성하기 위해 데이터 처리 모듈(100)로 공급된다.

스마트 단말기(1)는 음향 유닛(10), 심전도 유닛(20), 촬영 유닛(30)에 의해 신체 음향, 신체 심전도를 포함한 원시 신체 정보를 획득한다. 획득된 원시 신체 정보는 데이터 처리 모듈(100)로 공급된다.

데이터 처리 모듈(100)은 적어도 하나의 프로세서를 포함하며, 의료 정보를 생성하기 위한 스마트 단말기(1)의 전반적인 구동, 동작을 제어한다. 데이터 처리 모듈(100)은 원시 신체 정보를 획득하기 위한 모드를 활성화 또는 전환할 수도 있다.

또한, 상기 데이터 처리 모듈(100)은 심전도 신호, 음향 신호를 처리하여 심전도, 음향 값을 측정하는 측정 모듈로 동작할 수도 있다. 이러한 측정 결과는 원시 신체 정보에 포함될 수도 있다.

또한, 상기 데이터 처리 모듈(100)은 상기 원시 신체 정보에 기초한 대상자의 의료 정보를 생성할 수도 있다.

데이터 처리 모듈(100)은 데이터 처리 유닛(110); 및 데이터 송수신 유닛(150)을 포함한다.

데이터 처리 유닛(110)은 원시 신체 정보를 처리하여 대상자의 의료 정보를 생성한다. 상기 원시 신체 정보는 신체 음향 및/또는 신체 심전도를 포함한다. 또한, 상기 원시 신체 정보는 촬영된 신체 이미지를 더 포함할 수도 있다. 상기 데이터 처리 유닛(110)에 의해 생성되는 의료 정보에 대해서는 아래의 도 6, 도 7 등을 참조해서 보다 상세히 서술한다.

한편, 데이터 송수신 유닛(150)은 객체와 객체가 네트워킹할 수 있는 다양한 통신 방법에 의해 외부기기와 통신할 수도 있다. 상기 통신 방법은: 유/무선 통신, 3G, 4G, 5G 유/무선 인터넷 등을 포함할 수도 있다. 예를 들어, 상기 통신 방법은: 월드 와이드 웹(WWW, World Wide Web)과 같은 인터넷, 인트라넷과 같은 네트워크 및/또는 셀룰러 전화 네트워크, 무선 네트워크, 그리고 GSM(Global System for Mobile Network, CDMA(ode Division Multiple Access, W-CDMA(Wideband Code Division Multiple Access), TDMA(Time Division Multiple Access), Bluetooth, Wi-Fi, LTE(long term evolution) 방식을 포함한 통신 프로토콜을 이용한 무선 통신 표준을 포함하나, 이에 제한되진 않는다.

상기 데이터 처리 모듈(100)은 상기 데이터 처리 유닛(110)에서 수신한 원시 신체 정보 또는 생성된 대상자의 의료 정보를 상기 데이터 송수신 유닛(150)을 통해 외부기기로 전송할 수도 있다.

다시 도 1을 참조하면, 상기 데이터 처리 유닛(110)은 청취된 신체 음향 또는 측정된 신체 심전도를 독립적으로 처리하여 단일 측면에 기초한 대상자의 의료 정보를 생성할 수도 있다.

또는, 상기 데이터 처리 유닛(110)은 청각 측면, 심전도 측면 및/또는 시각 측면을 포함한 다양한 측면의 원시 신체 정보를 획득하면, 상기 데이터 처리 모듈(100)은 상기 복수의 측면에 기초한 대상자의 의료 정보를 생성할 수도 있다. 상기 복수의 측면에 기초한 대상자의 의료 정보는 복수의 측면의 원시 신체 정보를 단일 포맷으로 통합하여 생성된 혼합 데이터(fusion data)로 구현될 수도 있다.

특정 실시예들에서, 데이터 처리 유닛(110)은 원시 신체 정보를 미리 설정된 데이터 양식으로 처리하여 대상자의 의료 정보를 생성한다. 여기서, 미리 설정된 데이터 양식은, 데이터 송수신 유닛(150)과 통신하는 외부기기에 설치된 응용 프로그램에서 허용 가능한 데이터 포맷이다. 이 포맷을 갖는 데이터는 상기 외부기기로 전송될 경우 설치된 응용 프로그램에서 곧바로 활용 가능하다.

상기 외부기기의 응용 프로그램은 임상 진료를 위한 응용 프로그램일 수도 있다. 상기 응용 프로그램은, 예를 들어 환자의 병명을 예측하는 인공지능 알고리즘과 같은, 임상 진료를 위한 인공지능 알고리즘을 포함한다.

상기 응용 프로그램이 설치된 외부기기는 전자의무기록이 설치되어 있는 개인용 컴퓨터나, 임상 진료를 위한 인공지능 알고리즘이 설치된 서버일 수도 있다.

우선, 상기 스마트 단말기(1)가 음향 정보를 입력 받는 예시적인 경우에 상기 데이터 처리 유닛(110)의 동작에 대해서 서술한다.

일 예에서, 폐음, 심음 등의 원시 신체 음향이 음향 유닛(30)을 통해 데이터 처리 유닛(110)으로 입력된다. 상기 데이터 처리 유닛(110)은 입력된 원시 신체 음향으로부터 미리 설정된 길이 N(=주파수(예컨대, Hz)*시간(예컨대, 초))의 1차원 음향 벡터 x를 추출한다.

또한, 상기 데이터 처리 유닛(110)은 상기 1차원 음향 벡터 x를 정규화(normalize)할 수도 있다. 상기 정규화는 예를 들어, min-max scaling 방식, z-변환(transformation) 등일 수도 있으나, 이에 제한되진 않는다.

상기 데이터 처리 유닛(110)은 이러한 1차원 음향 벡터x 그 자체를 사용해 대상자의 의료 정보를 생성하거나, 및/또는 상기 1차원 음향 벡터 x를 이미지 형식으로 변환하여 대상자의 의료 정보를 생성하도록 구성될 수도 있다. 전술한 대상자의 의료 정보는 음향 정보에만 기초한 것일 수도 있다. 반면 후술한 대상자의 의료 정보는 음향 정보는 물론 다른 측면의 원시 신체 정보에 기초한 것일 수도 있다.

일 실시예에서, 상기 데이터 처리 유닛(110)은 상기 1차원 음향 벡터x를 스펙트럼(Spectrum) 형식, 파워 스펙트럼 형식 또는 스팩트로그램(spectrogram) 형식으로 변환할 수도 있다. 스펙트럼 형식, 파워 스펙트럼 형식 또는 스팩트로그램(spectrogram) 형식의 이미지 데이터는 국소 푸리에 변환(STFT)에 기초하여 생성된다. 예를 들어, 스펙트럼 형식, 파워 스펙트럼 형식 또는 스팩트로그램(spectrogram) 형식은 다음의 수학식으로 표현된다.

[수학식 1]

Spectrum = STFT(x)

[수학식 2]

Power_spectrum = |STFT(x)|²

[수학식 3]

Spectrogram = log(|STFT(x)|²)

전술한 수학식 1, 2 또는 3을 통해 1차원 음향 벡터x는 C × M 행렬 로 표현되는, 이미지 형식의 음향 데이터로 변환된다. 여기서, C는 이미지의 채널 (예컨대, 스펙트그램에서 채널 축의 채널 수)를 나타내고, M은 이미지의 시간(예컨대, 스펙트그램에서 시간 축의 길이)을 나타낸다.

또한, 상기 데이터 처리 유닛(110)은 변환된 이미지 형식의 음향 데이터를 정규화(normalize)할 수도 있다. 상기 정규화는 예를 들어, min-max scaling 방식, z-변환(transformation) 등을 통해 수행될 수도 있으나, 이에 제한되진 않는다.

상기 데이터 처리 유닛(110)은 C×M 형식의 음향 데이터를 생성하는 과정에서 1차원 음향 벡터 x의 일부 또는 전체 범위에 걸쳐 정규화를 진행할 수도 있다.

일 실시예에서, 상기 데이터 처리 유닛(110)은 상기 정규화 처리를 전체 범위에 걸쳐 적용할 수도 있다. 여기서 전체 범위는 채널 축 및 시간 축 모두에 대해 적용되는 것이다.

다른 일 실시예에서, 상기 데이터 처리 유닛(110)은 상기 정규화 처리를 일부 범위에 걸쳐 적용할 수도 있다. 여기서 일부 범위는 채널 별(channel-wise)로 적용되는 것이다.

이어서, 상기 스마트 단말기(1)가 신체 심전도를 입력 받는 예시적인 경우에 상기 데이터 처리 유닛(110)의 동작에 대해서 서술한다.

일 예시에서, 상기 데이터 처리 유닛(110)은 입력된 원시 심전도 신호를 처리하여 상기 원시 심전도 신호로부터 심전도 측정 데이터를 추출할 수도 있다. 도 2의 유닛 어레이(1020)를 통해 원시 심전도 신호가 입력되므로, 상기 원시 심전도는 전술한 1차원 음향 벡터 x가 추출되는 시간 범위에 동시에 측정되어, 서로 동기화된 데이터이다.

상기 심전도 데이터는 L×T 행렬 형식으로 표현될 수도 있다. 여기서, L은 심전도 채널을 나타내는 것으로서, 리드의 개수에 의존한다. 예를 들어, 상기 L은 1 내지 12 중 어느 하나의 값을 가질 수도 있다. T는 시간(예컨대, 시간 축의 수)을 나타내는 것으로서, 샘플링 레이트(sampling rate)에 따라 가변적일 수도 있다.

또한, 상기 데이터 처리 유닛(110)은 상기 심전도 데이터를 채널별로 정규화할 수도 있다. 상기 정규화는 예를 들어, min-max scaling 방식, z-변환(transformation) 등을 통해 수행될 수도 있으나, 이에 제한되진 않는다.

상기 데이터 처리 유닛(110)은 (정규화되었거나 되지 않은) L×T 행렬 형식의 심전도 데이터 그 자체를 사용해 대상자의 의료 정보를 생성하거나, 및/또는 상기 심전도 데이터를 처리하여 복수의 측면의 원시 신체 정보에 기초한 대상자의 의료 정보를 생성할 수도 있다. 전술한 대상자의 의료 정보는 심전도 정보에만 기초한 것일 수도 있다. 반면 후술한 대상자의 의료 정보는 신체 심전도 및 신체 음향에 기초한 것과 같이, 심전도 정보는 물론 다른 측면의 원시 신체 정보에 기초한 것일 수도 있다. 상기 데이터 처리 유닛(110)은 은 C×M 행렬 형식의 음향 데이터를 보강하기 위해 상기 심전도 채널 L별로 상기 심전도 데이터를 처리한다.

일 실시예에서, 상기 데이터 처리 유닛(110)은 상기 신체 심전도와 상기 신체 음향을 시간 도메인 상에서 동기화한 대상자의 의료 정보를 생성할 수도 있다. 이러한 동기화 과정에서 음향 데이터가 심전도 데이터로 인해 보강된다.

상기 데이터 처리 유닛(110)은 음향 데이터를 보강하기 위해, L×T 행렬 형식의 심전도 데이터를 처리하여 음향 시간 구간(예컨대, 청진음 시간 구간)을 구획화한 대상자의 의료 정보를 생성하도록 구성될 수도 있다. 이 대상자의 의료 정보는 신체 음향 및 신체 심전도에 기초한 것이다.

상기 데이터 처리 유닛(110)은 L×T 행렬 형식의 상기 음향 데이터의 행렬 사이즈에 매칭한 행렬 형식을 갖도록 변환하여 상기 대상자의 의료 정보를 생성할 수도 있다. 예를 들어 상기 변환된 심전도 데이터는 C×M 행렬 형식을 가질 수도 있다.

상기 데이터 처리 모듈(100)은 미리 학습된 적어도 하나의 인공신경망을 포함할 수도 있다. 각 인공신경망은 상기 심전도 채널 L에 매칭한 입력 채널의 데이터를 입력 받도록 구성된 것으로서, 특정 음향 구간을 분류하기 위한 1-채널 벡터를 산출하도록 학습된다.

도 6은, 본 출원의 일 실시예에 따른, 측정된 신체 심전도를 이용하여 구획되는 음향 구간을 도시한다.

도 6을 참조하면, 상기 특정 음향 구간은 심장 주기(cardiac cycle)의 하나 이상의 서브 구간을 포함할 수도 있다. 상기 스마트 단말기(1)는 복수의 음향 구간을 분류하기 위해 각 구간에 대응하는 복수의 인공신경망을 포함할 수도 있다. 예를 들어, 상기 스마트 단말기(1)는 심방 확장기(Atrial diastole), 심방 수축기(Atrial systole), 심방 확장기(Atrial diastole), 심실 확장기(ventricular diastole), 심실 수축기(ventricular systole), 및/또는 심실 확장기(ventricular diastole)를 분류하기 위한 다수의 인공신경망을 포함할 수도 있다.

각 인공신경망은 입력 데이터에서 분류하도록 학습된 자신의 특정 음향 구간에 해당하는 시점에서는 제1 레이블 값, 나머지 시점에서는 제2 레이블 값으로 이루어진 출력 데이터를 산출하도록 구성된다. 일 예에서, 상기 특정 음향 구간은 심방 수축기 구간일 수도 있다. 그러면, 상기 심방 수축기를 분류하기 위한 인공신경망의 출력 벡터는 심방 수축기 시점에는 1, 나머지 시점에는 0의 값을 갖는 벡터일 수도 있다.

상기 데이터 처리 유닛(110)은, 신체 심전도 및 신체 음향에 기초한 대상자의 의료 정보를 생성하기 위해, 상기 인공신경망의 1채널 벡터를 상기 음향 데이터의 행렬에서 M 축과 동일한 값으로 사이즈를 조정(resize)하고, 그리고 조정된 1채널 벡터를 상기 음향 데이터의 행렬에서 C의 값만큼 복제함으로써 C×M 행렬 형식의 심전도 데이터를 생성하며, 그리고 C×M 행렬 형식으로 변환된 심전도 데이터를 상기 C×M 행렬 형식의 음향 데이터에 스택할 수도 있다.

C×M 행렬 형식의 음향 데이터와 C×M 행렬 형식의 심전도 데이터는 행렬 구조만 매칭할 뿐, 각 행렬 내 데이터 성분은 서로 개별적이다.

생성된 대상자의 의료 정보에서 신체 음향의 구간 정보는 신체 심전도(예컨대, 신호 측정 값)에 연관될 수도 있다.

상기 데이터 처리 유닛(110)은 심전도 데이터를 음향 데이터 상에 스택하거나 또는 그 아래에 스택할 수도 있다.

상기 데이터 처리 유닛(110)은 각 구간별 심전도 데이터를 스택할 수도 있다. 예를 들어, Z개의 특정 음향 구간에 대해 구간별 심전도 데이터가 생성된 경우, Z개의 심전도 데이터가 음향 데이터에 대해 위 또는 아래로 스택될 수도 있다. 그러면, 상기 데이터 처리 유닛(110)은 C × M × (Z+1) 형식의 대상자의 의료 정보를 생성할 수도 있다.

이와 같이, 데이터 처리 모듈(100)은 다수의 입력 모드에서 획득된, 다모드 입력 데이터(multi-modal input data)로 이루어진 대상자의 의료 정보를 생성할 수도 있다.

도 7은, 본 출원의 일 실시예에 따른, 상기 심장 주기의 구획화에 기초하여 신체 심전도와 신체 음향을 동기화한 결과를 도시한다.

도 7를 참조하면, 시간 도메인 상에서 동기화된 상기 신체 심전도 및 신체 음향에 기초한 의료 정보가 스마트 단말기(1)에서 생성될 수도 있다. 이러한 의료 정보가 상기 외부기기로 전송되어 트래이닝 데이터로 활용되면, 인공지능 알고리즘을 포함한 응용 프로그램의 인공지능 성능을 개선할 수도 있다.

예를 들어, 상기 외부기기의 응용 프로그램은 인공지능 알고리즘을 사용하여 신체 심전도에서 수축기 또는 이완기를 구별하도록 프로그래밍된 경우를 가정해보자. 상기 데이터 송수신 유닛(150)은 동기화된 정보를 포함한 대상자의 의료 정보를 외부기기로 전송한다. 대상자의 의료 정보 내 동기화된 정보는 (예컨대, 신체 심전도 단독과 같은) 비-동기화된 정보 대비 상기 응용 프로그램이 환자의 수축기 또는 이완기를 보다 정확하게 구별하게 한다.

상기 대안적인 실시예들에서, 상기 데이터 처리 유닛(110)은 상기 음향 정보, 심전도 정보 및 촬영 정보에 기초한 대상자의 의료 정보를 생성할 수도 있다.

상기 도 5의 유닛 어레이1030를 통해 신체 영상이 촬영될 경우, 원시 신체 촬영 정보는 메인 촬영 유닛31의 영상 데이터; 적외선 유닛(35)의 영상 데이터, 조도 센서(37)의 영상 데이터를 포함한다. 또한, 상기 원시 신체 촬영 정보는 형광성 광원(34)의 구동 데이터를 포함할 수도 있다.

상기 메인 촬영 유닛31의 영상 데이터는 RGB 채널과 같이, 3채널 데이터일 수도 있다. 상기 적외선 유닛(35)의 영상 데이터는 1채널 데이터일 수도 있다. 상기 조도 센서(37)는 3채널 데이터일 수도 있다.

상기 형광성 광원34의 구동 데이터는 형광성 광원(34)(예컨대, UV 램프)의 출력 유무를 나타낸 것으로서, 1채널 데이터일 수도 있다.

상기 데이터 처리 유닛(110)은 최대 8채널의 2차원 영상 입력에 기초한 의료 정보를 생성할 수도 있다. 이 의료 정보는 외부기기의 인공지능 알고리즘의 입력 데이터 형태를 가질 수도 있다. 예를 들어, 상기 입력 데이터 형태는 3-텐서(tensor) 데이터일 수도 있다.

상기 일 예시에서, 상기 데이터 처리 유닛(110)은 8채널의 2차원 영상 입력을 처리하여, 2차원 영상 입력에서 8채널 중 조도 센서(37)의 채널이 상기 조도 센서(37)의 측정 값을 나타낸 스칼라 값을 w × h 행렬로 확장(broadcasting)할 수도 있다. 여기서, w, h는 외부기기의 인공지능 알고리즘의 입력 데이터 형태에서 데이터 너비(data width), 데이터 높이(data height)일 수도 있다. 상기 조도 센서(37)의 측정 값은 3개의 스칼라 값에 대응할 수도 있다.

또한, 상기 데이터 처리 유닛(110)은 (예컨대, 온(on)은 1, 오프(off)는 0와 같이) 광원(34)의 구동 데이터를 이진 스칼라 값으로 정의할 수도 있다. 그러면 상기 데이터 처리 유닛(110)은 8채널의 2차원 영상 입력을 처리하여, 2차원 영상 입력에서 8채널 중 광원(34)의 구동 여부를 나타낸 스칼라 값을 w × h 행렬로 확장(broadcasting)할 수도 있다.

상기 데이터 처리 유닛(110)은 3-텐서 데이터를 구축하도록 8채널 2차원 영상 입력을 변환한다.

또한, 상기 데이터 처리 유닛(110)은 변환된 영상 입력을 정규화 처리할 수도 있다.

상기 의료 정보에서 촬영 정보(예컨대, 촬영 영상)의 촬영 시간은 심전도 시간 또는 음향 시간과 동기화될 수도 있다.

이와 같이, 데이터 처리 유닛(110)에 의해 신체 음향, 신체 심전도, 신체 이미지로부터 미리 설정된 데이터 양식을 갖는 대상자의 의료 정보가 생성되면, 데이터 송수신 유닛(150)은 상기 포맷의 대상자의 의료 정보를 외부기기로 전송한다. 상기 외부기기는 상기 대상자의 의료 정보를 수신하면, 상기 대상자의 의료 정보를 상기 임상 진료를 위한 응용 프로그램에 적용하여 대상자의 의료 정보를 제공한 대상 환자에 대한 임상 진료 동작을 수행한다.

상기 대상자의 의료 정보는 여러 종류의 센서를 통해 획득된 다양한 입력 신호에 기반하기 때문에, 응용 프로그램의 인공지능 알고리즘 분석 성능이 향상된다. 폐음/폐초음파 센서의 신체 음향에 기초한 퓨전 데이터를 응용 프로그램에 적용하면, 응용 프로그램의 인공지능 알고리즘 분석 성능이 향상된다.

또한, 신체 음향과 신체 심전도를 시간 도메인에서 동기화하여 함께 외부기기로 전송하면, 인공지능 알고리즘 분석 성능이 보다 정확해진다.

추가적으로, 상기 보조 음향 유닛(50)은 임상 진료에 사용될 신체 음향과 다른 음향을 청취하는 구성요소이다. 상기 보조 음향 유닛(50)은 임상 진료 도중에 발생하는 대화와 같은 비-신체 음향을 청취할 수도 있다.

상기 보조 음향 유닛(50)은, 예를 들어 마이크일 수도 있다. 상기 보조 음향 유닛(50)은 음향 유닛(10)과 서로 다른 청취 사양을 가질 수도 있다.

보조 센서(60)는 피사체를 보다 정확하고 흔들림 없이 촬영하여 보다 선명한 신체 이미지를 획득하는 것을 보조하는 센서이다.

상기 보조 센서(60)는 가속도 센서 및/또는 회전 센서를 포함할 수도 있다. 스마트 단말기(1)는 가속도 센서에 의해 획득되는 가속도 정보에 기초하여 상기 스마트 단말기(1)의 움직임 정보를 획득한다. 상기 움직임 정보는 움직임 방향 및/또는 움직임 세기를 포함한다.

스마트 단말기(1)는 회전 센서에 의해 획득되는 회전 정보에 기초하여 상기 스마트 단말기(1)의 회전 정보를 획득한다. 상기 회전 정보는 회전 방향 및/또는 회전 세기를 포함한다.

상기 스마트 단말기(1)가 보조 센서(60)를 포함할 경우, 보조 센서(60)의 감지 결과를 사용하여 사진 촬영 시 손떨림 보정을 수행할 수도 있다. 상기 데이터 처리 모듈(100)은 움직임 정보 및/또는 회전 정보를 사용하여 촬영 이미지를 얼라인 보정한 신체 이미지를 생성할 수도 있다. 또한, 상기 데이터 처리 모듈(100)은 움직임 정보 및/또는 회전 정보를 상기 미리 설정된 데이터 양식으로 처리한 대상자의 의료 정보를 생성할 수도 있다. 그러면, 원시 신체 정보의 처리 결과와 더불어, 환자의 특정 환부로 촬영 유닛(30)을 이동할 때 스마트 단말기(1)가 어느 방향으로 움직이는지에 대한 정보를 포함한 대상자의 의료 정보를 외부기기로 공급할 수도 있다. 이로 인해, 상기 대상자의 의료 정보는 외부기기의 응용 프로그램이 스마트 단말기(1)가 어느 부위로 움직이는지 분석하는데 부가적인 정보를 제공한다.

디스플레이 유닛(200)은 의료 정보 생성을 목적으로 사용자와 상호작용하기 위한 정보를 표시하거나, 생성된 의료 정보를 표시한다.

디스플레이 유닛(200)은 스마트 단말기(1)의 의료 정보 생성을 위한 조작 설명/가이드를 표시할 수도 있다. 또한, 디스플레이 유닛(200)은 입력될 신체 이미지의 촬영 위치를 조작하는 지시, 입력될 신체 이미지의 초점 위치를 조작하는 지시를 표시할 수도 있다.

또한, 디스플레이 유닛(200)은 입력된 원시 신체 정보(예컨대, 신체 심전도)를 시각한 결과를 표시한다. 데이터 처리 유닛(110)은 신체 음향(예컨대, 청진음 또는 초음파)를 그래프 형태로 시각화하여 디스플레이 유닛(200)에서 표시할 수도 있다. 데이터 처리 유닛(110)은 신체 심전도 또는 상기 신체 심전도의 측정에 사용된 임피던스 정보를 시각화하여 디스플레이 유닛(200)에서 표시할 수도 있다.

또한, 디스플레이 유닛(200)은 데이터 처리 유닛(110)에서 생성된 의료 정보를 표시한다. 디스플레이 유닛(200)은 원시 신체 정보를 분석한 결과를 표시할 수도 있다.

음향 출력 유닛(300)은 전기 신호를 수신하여 음향 신호로 변환하는 구성요소로서, 스피커 등을 포함한다.

음향 출력 유닛(300)은 청진음 또는 도플러음과 같은 신체 음향을 출력할 수도 있다.

스마트 단말기의 하단에 결합된, 연장 가능한 전극(20c)을 환자의 흉부와 다른 부위에 접촉시킨 상태에서 청진을 할 경우, 수축기/이완기를 구별하는 비프 음향(beep sound)를 음향 출력 유닛(300)으로 출력하거나 및/또는 비프 음향을 시각화한 정보를 디스플레이 유닛(200)으로 출력할 수도 있다.

음향 출력 유닛(300)은 특정 동작의 수행을 알리는 기기 작동 효과음을 동작별로 출력할 수도 있다.

음향 출력 유닛(300)은 원시 신체 정보를 획득하는 것을 유도하는 지시를 출력할 수도 있다. 예를 들어, 음향 출력 유닛(300)은 “숨을 들이쉬세요”의 음향을 출력할 수도 있다.

조작 유닛(400)은 의료 정보 생성을 위해 요구되는 정보를 입력 받거나, 의료 정보 생성을 위해 요구되는 과정을 제어하는 사용자 명령을 획득한다.

상기 조작 유닛(400)는 제1 조작 유닛(420) 및/또는 제2 조작 유닛(430)을 더 포함할 수도 있다.

제1 조작 유닛(420), 제2 조작 유닛(430) 중 어느 하나는 특정 동작을 개시하는, 트리거 명령을 입력한다. 예를 들어, 제1 조작 유닛(420)이 트리거 명령을 입력할 수도 있다.

제1 조작 유닛(420) 및 제2 조작 유닛(430)은 몸체(1000)에서 서로 대향하는 방향에 설치된다. 예를 들어, 제1 조작 유닛(420)은 스마트 단말기(1)가 대상의 신체를 향하는 방향의 몸체(1000) 부분, 즉 몸체(1000)의 전면 부분에 설치된다. 제2 조작 유닛(430)은 상기 전면 조작 유닛(420)에 대향하는 방향의 몸체(1000) 부분, 즉 몸체(1000)의 후면 부분에 설치될 수도 있다.

상기 조작 유닛(420, 430)은 버튼, 다이얼, 조이스틱, 스위치 형태로 구현될 수도 있다. 예를 들어, 제1 조작 유닛(420)은 트리거 기능을 온하는 스위치 형태로 구현될 수도 있다. 제2 조작 유닛(430)은 스틱 또는 버튼 형태로 구현될 수도 있다.

상기 스마트 단말기(1)는 제1 조작 유닛(420) 또는 제2 조작 유닛(430)에 의해 광원을 선택하거나, 선택된 광원의 세기를 조절하거나, 초점을 조절하거나, 촬영 동작을 개시할 수도 있다. 사용자는 조작 유닛(400)를 통해 촬영 초점, 노출 시간을 수동으로 조절할 수도 있다.

또한, 상기 스마트 단말기(1)는 제1 조작 유닛(420) 또는 제2 조작 유닛(430)에 의해 출력 음향의 세기를 조절할 수도 있다.

일 실시예예서, 상기 스마트 단말기(1)는 상기 조작 유닛(400)는 제1 조작 유닛(420) 또는 제2 조작 유닛(430)에 의해 신체 음향 중 서로 다른 주파수 대역의 음향을 믹싱하는 동작을 개시하거나, 믹싱 비율(mixing ratio)을 조절할 수도 있다.

스마트 단말기(1)는 조작 유닛(400)에 의해 신체 이미지의 종류를 선택할 수도 있다. 예를 들어, 조작 유닛(400)는 신체 이미지 종류를 선택하는 촬영 모드 명령을 입력하여 가시광선 또는 적외선 신체 이미지를 생성할 수도 있다. 이러한 촬영 모드는 가시광선 촬영 모드; 적외선 촬영 모드; 광섬유 촬영 모드를 포함할 수도 있다.

또한, 조작 유닛(400)는 가시광선 촬영 모드에서 백색 광원(32) 또는 형광성 광원(34)을 활성화하는 명령을 입력할 수도 있다. 광원 선택 명령에 의해 스마트 단말기(1)는 안과 또는 피부과의 임상 진료에 도움을 줄수 있다.

또한, 상기 조작 유닛(400)는 청취한 신체 음향을 녹음하는 녹음 명령을 입력하도록 더 구성될 수도 있다.

본 출원의 다른 일 측면에 따른 실시예들에서, 상기 스마트 단말기(1)는 도 1 내지 도 5의 구성요소들 중 심전도 신호와 관련된 구성요소들을 포함할 수도 있다. 상기 실시예들에서, 상기 스마트 단말기(1)는 심전도 유닛(20) 및 이와 관련된 구성요소들(예컨대, 전극(20a-20c))을 제외한, 나머지 유닛(10, 30, 40, 60, 100, 110, 150, 200, 300, 420, 430, 1100, 1200, 1300)을 포함할 수도 있다.

구체적으로, 본 출원의 다른 일 측면에 따른 스마트 단말기(1)는 상기 스마트 단말기(1()의 몸체에 연결되며, 대상자의 신체 음향을 획득하는 적어도 하나의 음향 유닛(10); 상기 스마트 단말기는 획득된 신체 음향 및 신체 심전도 중 적어도 하나의 원시 신체 정보를 미리 설정된 데이터 양식으로 처리하여 대상자의 의료 정보를 생성하는 데이터 처리 모듈(100); 및 압력이 가해져 스위칭되면 전기 신호를 발생시키는 압력 스위치(40);를 포함할 수도 있다.

이러한 구성요소 및 그 동작들은 위에서 전술하였는 바, 자세한 설명은 생략한다.

상기 스마트 단말기(1)가 본 명세서에 서술되지 않은 다른 구성요소를 포함할 수도 있다는 것이 통상의 기술자에게 명백할 것이다. 예를 들어, 상기 스마트 단말기(1) 은 네트워크 인터페이스, 데이터 엔트리를 위한 입력 장치, 데이터를 저장하는 메모리, 및 디스플레이, 인쇄 또는 다른 데이터 표시를 위한 출력 장치를 포함하는, 본 명세서에 서술된 동작에 필요한 다른 하드웨어 요소를 포함할 수도 있다.

이상에서 설명한 실시예들에 따른 스마트 단말기(1)에 의한 동작은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다.

상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록신원확인 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장신원확인 장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.

이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

Claims

청각 측면을 포함하는 의료 정보를 획득하는 스마트 단말기에 있어서,
상기 스마트 단말기의 몸체에 연결되며, 대상자의 신체 음향을 획득하는 적어도 하나의 음향 유닛;
상기 스마트 단말기는 획득된 신체 음향 및 신체 심전도 중 적어도 하나의 원시 신체 정보를 미리 설정된 데이터 양식으로 처리하여 대상자의 의료 정보를 생성하는 데이터 처리 모듈; 및
압력이 가해져 스위칭되면 전기 신호를 발생시키는 압력 스위치;를 포함하는 것을 특징으로 하는 스마트 단말기.
제1항에 있어서,
상기 압력 스위치의 전기 신호가 발생하는 것에 응답하여 상기 음향 유닛에 의한 청취 동작을 개시하는(initiating) 것을 특징으로 하는 스마트 단말기.
제1항에 있어서,
상기 적어도 하나의 음향 유닛의 인터페이스는 동일한 평면 상에 배열되어 유닛 어레이를 형성하며,
상기 유닛 어레이는 상기 몸체의 제1 결합 부분에 연결되며, 상기 제1 결합 부분은 상기 몸체의 다른 부분의 표면 보다 돌출된 것을 특징으로 하는 스마트 단말기.
제3항에 있어서,
상기 압력 스위치는 상기 제1 결합 부분과 상기 유닛 어레이에 사이에 배치되며,
돌출된 유닛 어레이가 신체 음향을 획득할 신체 부위의 표면에 접촉하는 것에 따라서 상기 압력 스위치에 압력이 가해져 상기 전기 신호가 발생하는 것을 특징으로 하는 스마트 단말기.
제1항에 있어서,
2D 단면 초음파 센서 또는 도플러 효과를 사용하는 초음파 센서를 더 포함하는 것을 특징으로 하는 스마트 단말기.
제1항에 있어서, 상기 유닛 어레이는 서로 다른 주파수 대역의 신체 음향을 청취하는 복수의 음향 유닛을 포함하고,
상기 복수의 음향 유닛은 가청 주파수 대역에서 상대적으로 고음의 신체 음향을 청취하는 제1 음향 유닛과 상기 가청 주파수 대역에서 상대적으로 저음의 신체 음향을 청취하는 제2 음향 유닛을 포함하는 것을 특징으로 하는 스마트 단말기.
제6항에 있어서,
청취한 고음 및 저음을 믹싱하거나, 믹싱 비율(mixing ratio)을 제어하는 조작 유닛을 더 포함하는 것을 특징으로 하는 스마트 단말기.
제1항에 있어서,
획득한 신체 음향을 음향 신호로 출력하는 음향 출력 유닛; 및
획득한 신체 음향을 포함한 원시 신체 정보, 또는 대상자의 의료 정보를 표시하는 디스플레이 유닛;; 중 하나 이상을 더 포함하는 것을 특징으로 하는 스마트 단말기.
제1항에 있어서,
상기 스마트 단말기는,
상기 대상자의 의료 정보를 진단 프로그램 또는 인공지능 프로그램이 설치된 외부기기로 전송하는 데이터 송수신 유닛을 더 포함하는 것을 특징으로 하는 스마트 단말기.
제9항에 있어서,
상기 데이터 처리 모듈은 신체 음향 신호를 미리 설정된 데이터 양식으로 처리하여 대상자의 의료 정보를 생성하도록 구성되고,
상기 미리 설정된 데이터 양식은, 데이터 송수신 유닛과 통신하는 외부기기에 설치된 응용 프로그램에서 허용 가능한 데이터 포맷인 것을 특징으로 하는 스마트 단말기.
제9항에 있어서,
상기 데이터 처리 모듈은 상기 신체 음향에서 미리 설정된 길이 N의 1차원 음향 벡터 x를 추출하고, 그리고
상기 1차원 음향 벡터x 그 자체를 사용해 대상자의 의료 정보를 생성하거나 또는 상기 1차원 음향 벡터 x를 이미지 형식으로 변환하여 대상자의 의료 정보를 생성하도록 구성된 것을 특징으로 하는 스마트 단말기.
제11항에 있어서, 상기 데이터 처리 모듈은,
상기 1차원 음향 벡터x를 스펙트럼(Spectrum) 형식, 파워 스펙트럼 형식 또는 스팩트로그램(spectrogram) 형식으로 변환하여 C × M 행렬로 표현되는, 이미지 형식의 음향 데이터를 생성하도록 구성되고,
상기 대상자의 의료 정보는 상기 이미지 형식의 음향 데이터를 포함하며,
상기 C는 신체 음향의 채널, M은 신체 음향의 시간을 나타내는 것을 특징으로 하는 스마트 단말기.
제1항에 있어서, 상기 스마트 단말기는,
시각 측면의 의료 정보를 더 획득하는 스마트 단말기로서, 신체를 촬영하는 적어도 하나의 촬영 유닛;을 더 포함하고,
상기 데이터 처리 모듈은, 상기 대상자의 의료 정보가 신체 이미지의 처리 결과를 더 포함하도록, 상기 적어도 하나의 촬영 유닛에 의해 획득된 신체 이미지를 미리 설정된 데이터 양식으로 처리하는 것을 특징으로 하는 스마트 단말기.
제13항에 있어서,
상기 스마트 단말기는, 촬영 유닛을 선택하거나 촬영 유닛의 사양을 제어하는 조작 유닛;을 더 포함하는 것을 특징으로 하는 스마트 단말기.
제13항에 있어서,
상기 적어도 하나의 촬영 유닛은 적어도 하나의 가시광선 촬영 유닛; 적어도 하나의 적외선 촬영 유닛; 및 적어도 하나의 조도 센서 중 하나 이상을 포함하는 것을 특징으로 하는 스마트 단말기.
제15항에 있어서,
상기 스마트 단말기가 적어도 하나의 가시광선 촬영 유닛을 포함할 경우, 백색 광원 및 형광성 광원(fluorescent light source) 중 하나 이상을 더 포함하는 것을 특징으로 하는 스마트 단말기.
제15항에 있어서,
스마트 단말기가 적어도 하나의 적외선 촬영 유닛을 포함할 경우, 상기 데이터 처리 모듈은 특정 부위의 염증 반응 여부를 확인하기 위한 촬영 영역의 온도 이미지를 생성하도록 더 구성되는 것을 특징으로 하는 스마트 단말기.