KR20240039863A - 부가 영상을 제공하는 전자 장치 및 그의 동작 방법 - Google Patents

부가 영상을 제공하는 전자 장치 및 그의 동작 방법 Download PDF

Info

Publication number
KR20240039863A
KR20240039863A KR1020220118727A KR20220118727A KR20240039863A KR 20240039863 A KR20240039863 A KR 20240039863A KR 1020220118727 A KR1020220118727 A KR 1020220118727A KR 20220118727 A KR20220118727 A KR 20220118727A KR 20240039863 A KR20240039863 A KR 20240039863A
Authority
KR
South Korea
Prior art keywords
user
data
electronic device
time
image data
Prior art date
Application number
KR1020220118727A
Other languages
English (en)
Inventor
이원경
김민규
선우준
Original Assignee
주식회사 케이티앤지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티앤지 filed Critical 주식회사 케이티앤지
Priority to KR1020220118727A priority Critical patent/KR20240039863A/ko
Priority to PCT/KR2023/012313 priority patent/WO2024063344A1/en
Priority to CN202380013347.7A priority patent/CN118057980A/zh
Publication of KR20240039863A publication Critical patent/KR20240039863A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • A—HUMAN NECESSITIES
    • A24—TOBACCO; CIGARS; CIGARETTES; SIMULATED SMOKING DEVICES; SMOKERS' REQUISITES
    • A24F—SMOKERS' REQUISITES; MATCH BOXES; SIMULATED SMOKING DEVICES
    • A24F40/00—Electrically operated smoking devices; Component parts thereof; Manufacture thereof; Maintenance or testing thereof; Charging means specially adapted therefor
    • A—HUMAN NECESSITIES
    • A24—TOBACCO; CIGARS; CIGARETTES; SIMULATED SMOKING DEVICES; SMOKERS' REQUISITES
    • A24F—SMOKERS' REQUISITES; MATCH BOXES; SIMULATED SMOKING DEVICES
    • A24F40/00—Electrically operated smoking devices; Component parts thereof; Manufacture thereof; Maintenance or testing thereof; Charging means specially adapted therefor
    • A24F40/50—Control or monitoring
    • A24F40/51—Arrangement of sensors
    • A—HUMAN NECESSITIES
    • A24—TOBACCO; CIGARS; CIGARETTES; SIMULATED SMOKING DEVICES; SMOKERS' REQUISITES
    • A24F—SMOKERS' REQUISITES; MATCH BOXES; SIMULATED SMOKING DEVICES
    • A24F40/00—Electrically operated smoking devices; Component parts thereof; Manufacture thereof; Maintenance or testing thereof; Charging means specially adapted therefor
    • A24F40/60—Devices with integrated user interfaces
    • A—HUMAN NECESSITIES
    • A24—TOBACCO; CIGARS; CIGARETTES; SIMULATED SMOKING DEVICES; SMOKERS' REQUISITES
    • A24F—SMOKERS' REQUISITES; MATCH BOXES; SIMULATED SMOKING DEVICES
    • A24F40/00—Electrically operated smoking devices; Component parts thereof; Manufacture thereof; Maintenance or testing thereof; Charging means specially adapted therefor
    • A24F40/65—Devices with integrated communication means, e.g. wireless communication means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/346—Image reproducers using prisms or semi-transparent mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • A—HUMAN NECESSITIES
    • A24—TOBACCO; CIGARS; CIGARETTES; SIMULATED SMOKING DEVICES; SMOKERS' REQUISITES
    • A24F—SMOKERS' REQUISITES; MATCH BOXES; SIMULATED SMOKING DEVICES
    • A24F40/00—Electrically operated smoking devices; Component parts thereof; Manufacture thereof; Maintenance or testing thereof; Charging means specially adapted therefor
    • A24F40/50—Control or monitoring
    • A24F40/53—Monitoring, e.g. fault detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일 예에 따른, 전자 장치는 사용자에게 부가 영상을 제공하기 위해, 외부 장치로부터 흡연 이벤트에 대한 데이터를 수신하고, 수신된 흡연 이벤트에 대한 데이터에 기초하여 흡연 이벤트에 대응되는 적어도 하나의 그래픽 객체를 포함하는 영상 데이터를 생성하고, 영상 데이터를 디스플레이를 통해 출력함으로써 사용자에게 부가 영상을 제공할 수 있고, 디스플레이를 통해 부가 영상 및 사용자의 시야에 대응하는 현실의 장면이 사용자에게 동시에 관찰될 수 있다.

Description

부가 영상을 제공하는 전자 장치 및 그의 동작 방법{ELECTRONIC DEVICE PROVIDING ADDITIONAL IMAGE/VIDEO AND METHOD OF OPERATING THE SAME}
아래의 실시예들은 사용자에게 부가 영상을 제공하는 기술에 관한 것이고, 구체적으로 사용자에게 디스플레이를 통해 증강 현실을 위한 부가 영상을 제공하는 기술에 관한 것이다.
근래에 전자 담배에 대한 수요가 점차적으로 증가하고 있다. 또한 이와 같이 전자 담배에 대한 수요가 증가함에 따라, 전자 담배와 관련된 기능이 지속적으로 개발되고 있다. 특히 전자 담배의 종류 및 특성에 따른 관련 기능이 지속적으로 개발되고 있다.
일 실시예는 사용자에 부가 영상을 제공하는 전자 장치를 제공할 수 있다.
일 실시예는 전자 장치에 의해 수행되는, 부가 영상 제공 방법을 제공할 수 있다.
일 실시 예에 따른, 전자 장치에 있어서, 외부 장치와의 통신을 수행하는 통신 모듈, 디스플레이, 및 상기 통신 모듈 및 상기 디스플레이와 전기적으로 연결되는 프로세서를 포함하고, 상기 프로세서는, 상기 통신 모듈을 통해서 상기 외부 장치로부터 흡연 이벤트에 대한 데이터를 수신하고, 상기 수신된 흡연 이벤트에 대한 데이터에 기초하여 상기 흡연 이벤트에 대응되는 적어도 하나의 그래픽 객체를 포함하는 영상 데이터를 생성하고, 상기 디스플레이는, 상기 영상 데이터를 출력할 수 있다.
상기 영상 데이터의 출력에 의해 나타나는 부가 영상에 대한 광 경로 및 상기 디스플레이를 통과한 현실의 장면에 대한 광 경로가 서로 대응할 수 있다.
상기 흡연 이벤트에 대한 데이터는 상기 외부 장치의 센서를 통해 감지된 압력 변화 또는 가속도 변화에 대한 데이터일 수 있다.
상기 전자 장치는, 외부의 오디오 데이터를 획득하는 마이크 모듈을 더 포함하고, 상기 프로세서는, 상기 외부 장치로부터 상기 흡연 이벤트에 대한 데이터를 수신하는 경우, 상기 마이크 모듈을 활성화하고, 상기 활성화된 마이크 모듈을 통해 외부로부터 획득된 오디오 데이터를 수신하고, 상기 수신된 흡연 이벤트에 대한 데이터 및 상기 수신된 오디오 데이터에 기초하여, 상기 흡연 이벤트에 대응되는 적어도 하나의 그래픽 객체를 포함하는 상기 영상 데이터를 생성할 수 있다.
상기 전자 장치는, 적어도 하나의 센서를 포함하는 센싱 모듈을 더 포함하고, 상기 센싱 모듈을 통해서 상기 외부 장치의 근접 여부, 상기 전자 장치의 사용자의 입술 모양의 변화 여부 및 상기 전자 장치의 움직임 중 적어도 하나에 대한 센싱 데이터를 획득하고, 상기 수신된 흡연 이벤트에 대한 데이터 및 상기 획득된 센싱 데이터에 기초하여, 상기 흡연 이벤트에 대응되는 적어도 하나의 그래픽 객체를 포함하는 상기 영상 데이터를 생성할 수 있다.
상기 프로세서는, 상기 흡연 이벤트에 대한 데이터에 기초하여 상기 영상 데이터의 출력 시점을 결정하고, 상기 영상 데이터가 상기 출력 시점에 출력됨으로써 부가 영상이 출력될 수 있다.
상기 프로세서는, 상기 전자 장치의 사용자의 동작이 제1 동작으로 변화하는 제1 시점을 결정하고, 상기 제1 시점 이후, 상기 사용자의 동작이 제2 동작으로 변화하는 제2 시점을 결정하고, 상기 제1 시점 및 상기 제2 시점 사이의 구간에 기초하여 상기 영상 데이터의 출력 시점을 결정할 수 있다.
상기 프로세서는, 상기 제1 시점과 상기 제2 시점 사이의 구간에 기초하여, 제1 호흡 시간을 결정하고, 상기 제1 시점과 상기 제2 시점 사이의 구간 및 상기 제1 호흡 시간에 기초하여 제2 호흡의 시점을 결정하고, 상기 제2 호흡의 시점을 상기 영상 데이터의 상기 출력 시점으로 결정할 수 있다.
상기 디스플레이는 상기 영상 데이터를 출력하기 위한, 빔 출력 장치, 및 하프 미러를 포함할 수 있다.
상기 디스플레이는 상기 영상 데이터를 출력하기 위한, EPE(Exit pupil expander) 장치를 포함할 수 있다.
상기 외부 장치는 전자 담배일 수 있다.
일 실시 예에 따른, 전자 장치에 의해 수행되는, 부가 영상 출력 방법은, 외부 장치로부터 흡연 이벤트에 대한 데이터를 수신하는 동작, 상기 수신된 흡연 이벤트에 대한 데이터에 기초하여 상기 흡연 이벤트에 대응되는 적어도 하나의 그래픽 객체를 포함하는 영상 데이터를 생성하는 동작, 및 상기 영상 데이터를 디스플레이를 통해 출력함으로써 부가 영상을 출력하는 동작을 포함할 수 있다.
사용자에 부가 영상을 제공하는 전자 장치가 제공될 수 있다.
전자 장치에 의해 수행되는, 부가 영상 제공 방법이 제공될 수 있다.
도 1은 일 예에 따른 무연 흡입 시스템의 개략도를 도시한다.
도 2는 일 예에 따른 전자 장치 및 무연 흡입 기구의 블록도를 도시한다.
도 3은 일 실시 예에 따른 부가 영상을 제공하는 방법의 흐름도를 도시한다.
도 4는 일 예에 따른 전자 장치의 디스플레이의 제1 상태를 도시한다.
도 5는 일 예에 따른 전자 장치의 디스플레이의 제2 상태를 도시한다.
도 6은 일 예에 따른 무연 흡입 기구에 대한 흡입에 대응되는 전자 장치의 디스플레이의 상태를 도시한다.
도 7은 다른 일 예에 따른 전자 장치의 블록도를 도시한다.
도 8은 일 예에 따른 디스플레이를 통해 부가 영상을 사용자에게 제공하기 위한 방법을 도시한다.
도 9는 다른 일 예에 따른 디스플레이를 통해 부가 영상을 사용자에게 제공하기 위한 방법을 도시한다.
도 10은 일 예에 따른 오디오 데이터에 기초하여 영상 데이터를 생성하는 방법의 흐름도를 도시한다.
도 11은 일 예에 따른 사용자의 입술 모양에 기초하여 영상 데이터를 생성하는 방법의 흐름도를 도시한다.
도 12a는 일 예에 따른 전자 장치가 음성 인식에 기초하여 위치를 탐색하는 예시도를 도시한다.
도 12b는 도 12a의 전자 장치가 위치 탐색 결과를 표시한 디스플레이의 예시도를 도시한다
도 13a는 일 예에 따른 전자 장치가 음성 인식에 기초하여 평균 흡연량을 탐색하는 예시도를 도시한다.
도 13b는 도 13a의 전자 장치가 평균 흡연량을 표시한 디스플레이의 예시도를 도시한다.
도 14a는 일 예에 따른 사용자의 흡연 행위를 구간별로 나누어 도시한 것이다.
도 14b는 일 예에 따른 영상 데이터의 출력 시점을 결정하고, 부가 영상을 제공하기 위한 방법의 흐름도이다.
도 15는 일 예에 따른 사용자와 외부 장치 사이의 거리에 기초하여 영상 데이터의 출력 시점을 결정하는 방법의 흐름도이다.
도 16은 일 예에 따른 외부 장치의 정전용량 센서의 값에 기초하여 영상 데이터의 출력 시점을 결정하는 방법의 흐름도이다.
도 17은 일 예에 따른 외부 장치의 방위변화 센서의 값에 기초하여 영상 데이터의 출력 시점을 결정하는 방법의 흐름도이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일 예에 따른 무연 흡입 시스템의 개략도를 도시한다.
도 1을 참조하면, 무연 흡입 시스템은 전자 장치(100) 및 무연 흡입 기구(200)를 포함할 수 있다. 본 개시에서, 전자 장치(100)는 사용자에 의해 착용 가 능한(wearable) 전자 장치를 의미할 수 있다. 예를 들어, 전자 장치(100)는 안경 또는 고글 형태의 착용 가능한 헤드 마운티드 디스플레이(head mounted display: HMD)(예: AR glass 또는 VR 장치)에 해당할 수 있다. 본 개시에서, 무연 흡입 기구(200)는 사용자에게 니코틴(또는, 담배 향미)을 전달하되 별도의 연기를 발생시키지 않는 장치를 의미할 수 있다. 예를 들어, 무연 흡입 기구(200)는 종래의 에어로졸 생성 장치와 동일 또는 유사한 외관으로 형성될 수 있다. 또한, 무연 흡입 기구(200)는 종래의 에어로졸 생성 물품과 동일한 형태의 무연 담배가 삽입(또는, 탈착)될 수 있다. 다만, 무연 흡입 기구(200)의 외관 및 삽입(또는, 탈착)될 수 있는 무연 담배의 형태는 이에 제한되지 않으며, 제조사의 설계에 따라 변경될 수 있음은 통상의 기술자에게 자명할 수 있다.
일 실시 예에서, 전자 장치(100)는 페이스 플레이트(face plate)(101) 및 장 착부(103)를 포함할 수 있다.
일 실시 예에서, 전자 장치(100)의 페이스 플레이트(101)는 사용자의 얼굴 전면 중 적어도 일부에 착용될 수 있다. 예를 들어, 페이스 플레이트(101)는 사용자의 얼굴 전면 중 적어도 일부(예: 콧등)에 의해 지지될 수 있는 다양한 구성 요소(예: 코 받침(nose pad))를 포함할 수 있다.
일 실시 예에서, 전자 장치(100)의 장착부(103)는 페이스 플레이트(101)의 일부에 결합되어 사용자의 신체 일부(예: 귀)에 지지될 수 있다. 예를 들어, 장착부(103)는 페이스 플레이트(101)가 사용자의 눈 주위로 밀착될 수 있도록, 안경 다리(temple), 스트랩(strap) 또는 헬멧(helmet)으로 구성될 수 있다.
일 실시 예에서, 전자 장치(100)는 프로세서(110), 디스플레이(120) 및 통신 모듈(130)을 포함할 수 있다. 전자 장치(100)는 센서(예: 카메라)를 더 포함할 수 있다. 일 실시 예에서, 프로세서(110) 및 통신 모듈(130)은 전자 장치(100)의 장착부(103)의 적어도 일 부분에 배치될 수 있으나, 프로세서(110) 및 통신 모듈(130)이 배치되는 부분은 이에 제한되지 아니한다. 다른 실시 예에서, 프로세서(110) 및 통신 모듈(130) 중 적어도 하나의 구성 요소는 전자 장치(100)의 페이스 플레이트(101)에서 디스플레이(120) 부분을 제외한 일 부분에 배치될 수도 있다. 일 실시 예에서, 디스플레이(120)는 안경의 렌즈 형태일 수 있으므로, 전자 장치(100)의 페이스 플레이트(101)에 배치될 수 있다.
일 실시 예에서, 전자 장치(100) 및 무연 흡입 기구(200)는 통신 인터페이스를 통해서 통신을 연결할 수 있다. 예를 들어, 전자 장치(100)의 통신 모듈(130)은 무선 통신 또는 유선 통신을 통해서 네트워크에 연결되어 무연 흡입 기구(200)와 통신할 수 있다. 무선 통신은 WI-FI(wireless fidelity), BT(Bluetooth), NFC(near field communication) 또는 셀룰러 통신(예: LTE, LTE-A, CDMA, WCDMA, UMTS 등) 중 적어도 하나를 포함할 수 있다. 유선 통신은 USB(universal serial bus) 또는 HDMI(high definition multimedia interface) 중 적어도 하나를 포함할 수 있다.
일 실시 예에서, 전자 장치(100)는 통신 모듈(130)을 통해 무연 흡입 기구(200)로부터 수신된 데이터에 기초하여 영상 데이터를 생성하고, 영상 데이터를 디스플레이(120)를 통해 출력함으로써 다양한 영상을 사용자에게 제공할 수 있다. 이에 대한 구체적인 내용은 후술하고자 한다.
도 2는 일 예에 따른 전자 장치 및 무연 흡입 기구의 블록도를 도시한다.
일 실시 예에 따르면, 도 1을 참조하여 전술된 전자 장치(100)는 프로세서(110), 디스플레이(120), 통신 모듈(130) 및 센서(140)를 포함할 수 있다.
일 실시 예에 따르면, 도 1을 참조하여 전술된 무연 흡입 기구(200)는 센서(210), 프로세서(220) 및 통신 모듈(230)을 포함할 수 있다.
일 실시 예에서, 무연 흡입 기구(200)의 프로세서(220)는 사용자에 의해 발생한 흡연 이벤트를 감지할 수 있다. 본 개시에서 '흡연 이벤트'는 무연 흡입 기구(200)에 포함된 센서를 통해서 감지되는 사용자의 퍼프 이벤트를 의미할 수 있다. 즉, 무연 흡입 기구(200)의 프로세서(220)는 무연 흡입 기구(200)에 삽입된 무연 담배에 대한 사용자의 흡입(inhalation)을 감지함에 따라, 흡연 이벤트의 발생을 감지할 수 있다.
일 실시 예에서, 무연 흡입 기구(200)의 프로세서(220)는 센서(210)를 통해 흡연 이벤트의 발생을 감지할 수 있다. 예를 들어, 센서(210)를 통해 검출된 압력 변화(예: 압력 강하)의 절대 값이 기 설정된 임계 값보다 큰 경우에, 프로세서(220)는 흡연 이벤트의 발생을 감지할 수 있다. 일 실시 예에서, 무연 흡입 기구(200)의 프로세서(220)는 통신 모듈(230)을 통해서 흡연 이벤트에 대한 데이터를 전자 장치(100)에 송신할 수 있다.
일 실시 예에서, 전자 장치(100)의 프로세서(110)는 통신 모듈(130)을 통해서 무연 흡입 기구(200)로부터 데이터를 수신할 수 있다. 예를 들어, 전자 장치(100)의 통신 모듈(130)은 무연 흡입 기구(200)의 통신 모듈(230)과 통신 연결을 수행하여, 무연 흡입 기구(200)로부터 흡연 이벤트에 대한 데이터를 수신할 수 있다. 일 실시 예에서, 무연 흡입 기구(200)의 전원 상태가 온(on) 되는 경우에, 전자 장치(100)는 통신 모듈(130)을 통해서 무연 흡입 기구(200)의 통신 모듈(230)과 자동으로(automatically) 통신 연결을 수행할 수 있다. 예를 들어, 전자 장치(100) 및 무연 흡입 기구(200)의 통신이 연결된 이후에 무연 흡입 기구(200)의 센서(210)를 통해 흡연 이벤트가 감지되면, 전자 장치(100)는 통신 모듈(130)을 통해서 무연 흡입 기구(200)로부터 흡연 이벤트에 대한 데이터를 수신할 수 있다. 다른 예를 들어, 전자 장치(100) 및 무연 흡입 기구(200)의 통신이 연결된 이후에 임계 시간(예: 15초) 이내에 무연 흡입 기구(200)의 센서(210)를 통한 흡연 이벤트가 감지되지 않으면, 전자 장치(100)는 무연 흡입 기구(200)와의 통신 연결을 해제할 수 있다. 전자 장치(100) 및 무연 흡입 기구(200) 사이의 통신 연결이 해제된 경우, 무연 흡입 기구(200)의 전원 상태가 오프(off)로 전환될 수 있다.
일 실시 예에서, 전자 장치(100)의 프로세서(110)는 무연 흡입 기구(200)로부터 수신된 흡연 이벤트에 대한 영상 데이터를 생성하고, 영상 데이터를 디스플레이(120)를 통해 출력함으로써 부가 영상을 사용자에게 제공할 수 있다. 이때, 부가 영상은 흡연 이벤트에 대응되는 적어도 하나의 그래픽 객체(예: 연기 객체)를 포함할 수 있다. 예를 들어, 프로세서(110)는 무연 흡입 기구(200)에서의 압력 강하가 종료되는 시점 이후에 부가 영상을 사용자에게 제공할 수 있고, 부가 영상은 사용자의 날숨(exhalation)에 대응되는 연기 객체를 포함할 수 있다. 이때, '압력 강하가 종료되는 시점'은, 무연 담배에 대한 1회 퍼프의 시구간(time period)에서 무연 담배에 대해 사용자가 실질적으로 빨아들이는 들숨이 종료되는 시점을 의미할 수 있다. 즉, 무연 흡입 기구(200)를 통해 흡연을 하는 사용자는 담배 연기가 현실에서는 시각적으로 관찰되지 않지만, 시각적으로 연기 객체를 포함하는 부가 영상이 제공됨에 따라 사용자의 흡연 만족감이 증대될 수 있다.
도 3은 일 실시 예에 따른 부가 영상을 제공하는 방법의 흐름도를 도시한다. 도 4는 일 예에 따른 전자 장치의 디스플레이의 제1 상태를 도시한다. 도 5는 일 예에 따른 전자 장치의 디스플레이의 제2 상태를 도시한다.
일 실시 예에 따르면, 전자 장치는 동작 301, 303 및 305를 통해 사용자에게 부가 영상을 제공할 수 있다.
동작 301에서, 전자 장치(예: 도 2의 전자 장치(100))의 프로세서(예: 도 2의 프로세서(110))는 통신 모듈(예: 도 2의 통신 모듈(130))을 통해서 외부 장치(예: 도 2의 무연 흡입 기구(200))로부터 흡연 이벤트에 대한 데이터를 수신할 수 있다. 외부 장치는 전자 담배일 수 있다.
예를 들어, 도 4를 참조하면, 사용자가 신체 일부(예: 머리)에 전자 장치(100)를 착용함에 따라, 사용자는 디스플레이(예: 도 2의 디스플레이(120))를 통해서 사용자의 시야에 대응하는 현실의 장면(400)을 관찰할 수 있다. 이때, 디스플레이(120)는 부가 영상이 출력되지 않은 상태의 투명한 렌즈에 해당할 수 있다. 이에 따라, 사용자가 디스플레이(120)를 통해 볼 수 있는 현실의 장면(400)은 사용자가 무연 흡입 기구(200)를 통해 흡연을 하는 실제 공간에서의 주변 환경을 의미할 수 있다. 이후에, 사용자가 전자 장치(100)를 착용한 상태에서 무연 흡입 기구(200)를 통해 무연 담배를 흡입하면, 전자 장치(100)의 프로세서(110)는 무연 흡입 기구(200)로부터 흡연 이벤트에 대한 데이터를 수신할 수 있다.
일 실시 예에 따르면, 무연 흡입 기구(200)의 프로세서(예: 도 2의 프로세서(220))는 압력 센서(예: 도 2의 센서(210))를 통해 압력 변화를 감지할 수 있고, 센서(210)를 통해 압력 변화가 감지된 최초 시점을 사용자가 무연 담배를 흡입하기 시작한 시점(t1)으로 결정할 수 있다. 무연 흡입 기구(200)의 프로세서(220)는 시점 t1에서 압력 변화에 대응되는 흡연 이벤트의 발생에 대한 데이터를 전자 장치(100)로 송신할 수 있다.
일 실시 예에 따르면, 사용자가 무연 담배에 대한 1회의 흡입을 종료하면, 전자 장치(100)의 프로세서(110)는 무연 흡입 기구(200)로부터 흡연 이벤트의 종료에 대한 데이터를 수신할 수 있다. 예를 들어, 무연 흡입 기구(200)의 프로세서(220)는 센서(210)를 통해 감지된 압력 변화(예: 압력 강하)가 더 이상 발생하지 않는 시점을 사용자가 무연 담배에 대한 1회의 흡입을 종료한 시점(t2)으로 결정할 수 있다. 무연 흡입 기구(200)의 프로세서(220)는 시점 t2에서 압력 변화의 종료에 대한 데이터를 전자 장치(100)로 송신할 수 있다.
일 실시 예에서, 전자 장치(100)의 프로세서(110)는 시점 t1 및 t2의 시간 차이에 기초하여 출력할 영상 데이터를 생성할 수 있다. 다른 실시 예에서, 전자 장치(100)의 프로세서(110)는 시점 t1부터 시점 t2까지의 압력 변화 정도에 기초하여 영상 데이터를 생성할 수도 있다. 이에 대한 구체적인 설명은 도 6에서 후술하고자 한다.
상기에서 흡연 이벤트는 무연 흡입 기구(200)의 압력 변화와 관련된 흡연 이벤트인 것으로 설명되었으나, 흡연 이벤트는 다양한 센서들에 의해 측정된 값에 기초한 이벤트일 수 있다. 흡연 이벤트에 대한 다양한 실시예에 대해 아래에서 도 15 내지 도 17을 참조하여 상세히 설명된다.
동작 303에서, 전자 장치(100)의 프로세서(110)는 흡연 이벤트에 대응되는 적어도 하나의 그래픽 객체를 포함하는 영상 데이터를 생성할 수 있다. 영상 데이터는 그래픽 객체가 연속적으로 출력되는 동영상에 대한 데이터일 수 있다. 영상 데이터가 디스플레이(120)를 통해 출력되는 경우 사용자에게 제공되는 동영상은 부가 영상(505)으로 명명될 수 있다. 예를 들어, 부가 영상(505)이 출력되는 동안 그래픽 객체(510)의 형상은 변화할 수 있다. 일 실시 예에 따르면, 그래픽 객체(510)는 담배 연기의 형상일 수 있다.
일 실시 예에 따르면, 프로세서(110)는 무연 흡입 기구(200)로부터 수신되는 데이터에 기초하여 부가 영상(505)의 시간을 결정하고, 부가 영상(505) 내에서 출력되는 그래픽 객체(510)의 형상을 결정할 수 있다. 예를 들어, 부가 영상(505)의 시간은 예측(또는, 결정)된 사용자의 호기 시간에 대응할 수 있다. 사용자의 호기 시간을 결정하는 방법에 대해 아래에서 도 14를 참조하여 상세히 설명된다.
동작 305에서, 전자 장치(100)의 프로세서(110)는 디스플레이(120)를 통해 영상 데이터를 출력함으로써 부가 영상(505)을 사용자에게 제공할 수 있다.
도 5를 참조하여 도시된 일 예에 따르면, 사용자가 무연 담배에 대한 1회의 흡입을 종료한 후에 날숨을 배출함에 따라, 사용자는 디스플레이(120)를 통해서 현실에 장면(500)에 부가 영상(505)이 중첩된 화면을 관찰할 수 있다. 이때, 전자 장치(100)는 장착부(예: 도 1의 장착부(103))에 배치되는 별도의 빔(beam) 출력 장치를 통해서 영상 데이터에 대한 광을 디스플레이(120)에 출력할 수 있다. 사용자에게 제공되는 부가 영상(505)은 종래의 궐련(유연 담배)을 통한 흡연 시에 발생할 수 있는 담배 연기에 대응하는 그래픽 객체(510)를 포함할 수 있다.
도 6은 일 예에 따른 무연 흡입 기구에 대한 흡입에 대응되는 전자 장치의 디스플레이의 상태를 도시한다.
도 6을 참조하면, 도 1을 참조하여 전술된 전자 장치(100)의 프로세서 (110)는 디스플레이(120)를 통해 흡연 이벤트에 대응되는 부가 영상(610, 620)을 사용자에게 제공할 수 있다.
일 실시예에 따르면, 프로세서(110)는 사용자의 흡입 정도에 기초하여 부가 영상(610, 620)을 위한 영상 데이터를 생성할 수 있다. 예를 들어, 전자 장치(100)가 외부 장치인 도 1의 무연 흡입 기구(200)로부터 수신한 흡연 이벤트에 대한 데이터는 사용자의 흡입 정도에 대한 데이터를 포함할 수 있고, 전자 장치(100)의 프로세서(110)는 사용자의 흡입 정도에 대응되는 영상 데이터를 생성할 수 있다.
일 실시예에 따르면, 전자 장치(100)는 무연 흡입 기구(200)로부터 사용자의 흡입 정도에 대한 데이터로써 압력 변화에 대한 데이터를 수신할 수 있고, 수신된 압력 변화에 대한 데이터에 대응되는 영상 데이터를 디스플레이(120)를 통해 출력할 수 있다.
예를 들어, 전자 장치(100)가 무연 흡입 기구(200)로부터 수신한 흡입 정도에 대한 데이터는 제1 흡입 압력(음의 값)을 포함할 수 있다. 즉, 사용자가 무연 흡입 기구(200)의 마우스피스 부분을 빨아들임에 따라, 무연 흡입 기구(200)의 기류 통로에 배치된 센서(예: 도 2의 센서(210))는 상기의 통로 내의 압력 강하를 감지할 수 있다. 이때, 제1 흡입 압력은 사용자가 무연 흡입 기구(200)의 마우스피스 부분을 실질적으로 약하게 빨아들였을 때 검출된 압력 변화 값일 수 있다.
전자 장치(100)는 제1 흡입 압력에 대응되는 영상 데이터를 생성할 수 있다. 예를 들어, 전자 장치(100)는 메모리(미도시)에 기 저장된 데이터에 기초하여, 제1 흡입 압력에 대응되는 영상 데이터를 결정할 수 있다. 이때, 전자 장치(100)의 메모리는 압력 값에 대응되는 영상 데이터를 미리 저장할 수 있다. 이후에, 전자 장치(100)는 결정된 제1 흡입 압력에 대응되는 영상 데이터를 디스플레이(120)를 통해 출력함으로써 부가 영상(610)을 사용자에게 제공할 수 있다. 예를 들어, 사용자는 디스플레이(120)를 통해서 현실의 장면(600a)에 결정된 제1 흡입 압력에 대응되는 부가 영상(610)이 중첩된 화면을 볼 수 있다.
다른 예를 들어, 전자 장치(100)가 무연 흡입 기구(200)로부터 수신한 흡입 정도에 대한 데이터는 제2 흡입 압력(음의 값)을 포함할 수 있다. 즉, 사용자가 무연 흡입 기구(200)의 마우스피스 부분을 빨아들임에 따라, 무연 흡입 기구(200)의 기류 통로에 배치된 센서(210)는 상기의 통로 내의 압력 강하를 감지할 수 있다. 이때, 제2 흡입 압력은 사용자가 무연 흡입 기구(200)의 마우스피스 부분을 실질적으로 강하게 빨아들였을 때 검출된 압력 변화 값일 수 있다. 또한, 제2 흡입 압력의 절대 값은 제1 흡입 압력의 절대 값보다 클 수 있다.
전자 장치(100)는 제2 흡입 압력에 대응되는 영상 데이터를 결정할 수 있다. 예를 들어, 전자 장치(100)는 메모리(미도시)에 기 저장된 데이터에 기초하여, 제2 흡입 압력에 대응되는 영상 데이터를 결정할 수 있다. 이후에, 전자 장치(100)는 결정된 제2 흡입 압력에 대응되는 영상 데이터를 디스플레이(120)를 통해 출력함으로써 부가 영상(620)을 사용자에게 제공할 수 있다. 예를 들어, 사용자는 디스플레이(120)를 통해서 현실 장면(600b)에 결정된 제2 흡입 압력에 대응되는 부가 영상(620)이 중첩된 화면을 볼 수 있다.
제1 흡입 압력에 대응되는 부가 영상(610) 및 제2 흡입 압력에 대응되는 부가 영상(620)은 서로 상이한 형상의 그래픽 객체를 포함할 수 있다. 예를 들어, 제1 흡입 압력에 대응되는 부가 영상(610) 및 제2 흡입 압력에 대응되는 부가 영상(620)은 흡연에 의해 발생될 수 있는 담배 연기의 형상을 포함할 수 있으나, 담배 연기의 형상(예: 담배 연기의 양 및/또는 담배 연기의 모양)은 서로 상이할 수 있다. 즉, 사용자가 무연 흡입 기구(200)의 마우스피스 부분을 실질적으로 강하게 빨아들였을 때의 부가 영상(620)은, 실질적으로 약하게 빨아들였을 때의 부가 영상(610)보다 크고 풍부한 담배 연기의 형상을 포함할 수 있다.
다른 실시 예에서, 전자 장치(100)는 무연 흡입 기구(200)로부터 사용자의 흡입 정도에 대한 데이터로써 흡입 시간에 대한 데이터를 수신할 수도 있고, 수신된 흡입 시간에 대한 데이터에 대응되는 영상 데이터를 생성하고, 영상 데이터를 디스플레이(120)를 통해 출력할 수도 있다.
예를 들어, 전자 장치(100)가 무연 흡입 기구(200)로부터 수신한 흡입 정도에 대한 데이터는 제1 흡입 시간(예: 1초)을 포함할 수 있다. 즉, 사용자가 무연 흡입 기구(200)의 마우스피스 부분을 빨아들임에 따라, 무연 흡입 기구(200)는 무연 흡입 기구(200)에 포함된 압력 센서 또는 정전용량 센서 등을 통해 사용자의 흡입이 개시됨을 감지할 수 있다. 이후에, 무연 흡입 기구(200)는 무연 흡입 기구(200)에 포함된 타이머를 통해 사용자가 1회의 흡입 시간을 카운팅하여 제1 흡입 시간인 1초를 검출할 수 있다. 이때, 제1 흡입 시간은 사용자가 무연 흡입 기구(200)의 마우스피스 부분을 실질적으로 짧게 빨아들였을 때 검출된 흡입 시간일 수 있다.
전자 장치(100)는 제1 흡입 시간에 대응되는 영상 데이터를 결정할 수 있다. 예를 들어, 전자 장치(100)는 메모리에 기 저장된 데이터에 기초하여, 제1 흡입 시간에 대응되는 영상 데이터를 생성할 수 있다. 이때, 전자 장치(100)의 메모리에는 무연 흡입 기구(200)에서의 흡입 시간에 대응되는 영상 데이터가 미리 저장되어 있을 수 있다. 이후에, 전자 장치(100)는 결정된 제1 흡입 시간에 대응되는 영상 데이터를 디스플레이(120)를 통해 출력함으로써 부가 영상(610)을 사용자에게 제공할 수 있다. 예를 들어, 사용자는 디스플레이(120)를 통해서 현실 장면(600a)에 결정된 제1 흡입 시간에 대응되는 부가 영상(610)이 중첩된 화면을 볼 수 있다.
다른 예를 들어, 전자 장치(100)가 무연 흡입 기구(200)로부터 수신한 흡입 정도에 대한 데이터는 제2 흡입 시간(예: 2초)을 포함할 수 있다. 즉, 사용자가 무연 흡입 기구(200)의 마우스피스 부분을 빨아들임에 따라, 무연 흡입 기구(200)는 무연 흡입 기구(200)에 포함된 압력 센서 또는 정전용량 센서 등을 통해 사용자의 흡입이 개시됨을 감지할 수 있다. 이후에, 무연 흡입 기구(200)는 무연 흡입 기구(200)에 포함된 타이머를 통해 사용자가 1회의 흡입 시간을 카운팅하여 제2 흡입 시간인 2초를 검출할 수 있다. 이때, 제2 흡입 시간은 사용자가 무연 흡입 기구(200)의 마우스피스 부분을 실질적으로 길게 빨아들였을 때 검출된 흡입 시간일 수 있다.
전자 장치(100)는 제2 흡입 시간에 대응되는 영상 데이터를 결정할 수 있다. 예를 들어, 전자 장치(100)는 메모리에 기 저장된 데이터에 기초하여, 제2 흡입 시간에 대응되는 영상 데이터를 생성할 수 있다. 이후에, 전자 장치(100)는 결정된 제2 흡입 시간에 대응되는 영상 데이터를 디스플레이(120)를 통해 출력함으로써 부가 영상(620)을 사용자에게 제공할 수 있다. 예를 들어, 사용자는 디스플레이(120)를 통해서 현실 장면(600b)에 결정된 제2 흡입 시간에 대응되는 부가 영상(620)이 중첩된 화면을 볼 수 있다.
제1 흡입 시간에 대응되는 부가 영상(610) 및 제2 흡입 시간에 대응되는 부가 영상(620)은 서로 상이한 형상의 그래픽 객체를 포함할 수 있다. 예를 들어, 제1 흡입 시간에 대응되는 부가 영상(610) 및 제2 흡입 시간에 대응되는 부가 영상(620)은 흡연에 의해 발생될 수 있는 담배 연기의 형상을 포함할 수 있으나, 담배 연기의 형상(예: 담배 연기의 양 및/또는 담배 연기의 모양)은 서로 상이할 수 있다. 즉, 사용자가 무연 흡입 기구(200)의 마우스피스 부분을 실질적으로 길게 빨아들였을 때의 부가 영상(620)은, 실질적으로 짧게 빨아들였을 때의 부가 영상 (610)보다 크고 풍부한 담배 연기의 형상을 포함할 수 있다.
도 7은 다른 일 예에 따른 전자 장치의 블록도를 도시한다.
일 실시 예에 따르면, 전자 장치(700)는 프로세서(710), 디스플레이(720), 통신 모듈(730), 마이크 모듈(740) 및 센싱 모듈(750)을 포함할 수 있다. 도 7에서의 전자 장치(700)는 도 1에서의 전자 장치(100)에 대응될 수 있으므로, 도 7의 프로세서(710), 디스플레이(720) 및 통신 모듈(730)에 대한 구체적인 설명은 도 1의 프로세서(110), 디스플레이(120) 및 통신 모듈(130)에 대한 구체적인 설명에 대응될 수 있다.
마이크 모듈(740)은 외부로부터 오디오 데이터를 획득할 수 있다. 예를 들어, 마이크 모듈(740)은 외부의 오디오 데이터를 획득하고, 획득된 오디오 데이터를 전기적 신호로 전환할 수 있다.
일 실시예에 따르면, 프로세서(710)는 미리 설정된 조건이 만족되는 경우에 마이크 모듈(740)을 비활성화 상태에서 활성화 상태로 전환할 수 있다. 예를 들어, 미리 설정된 조건은 전자 장치(700)가 무연 흡입 기구(200)로부터 흡연 이벤트에 대한 데이터를 수신하는 것을 포함할 수 있다. 즉, 전자 장치(700)가 무연 흡입 기구(200)로부터 흡연 이벤트에 대한 데이터(예: 압력 변화에 대한 데이터, 사용자의 흡입 시간에 대한 데이터 등)를 수신하면, 프로세서(710)는 마이크 모듈(740)을 비활성화 상태에서 활성화 상태로 전환할 수 있다.
일 실시예에 따르면, 센싱 모듈(750)은 전자 장치(700)의 작동 상태 또는 외부 환경 상태를 감지하고, 감지된 상태에 대응되는 전기 신호 또는 데이터 값을 생성할 수 있도록 적어도 하나의 센서를 포함할 수 있다. 예를 들어, 센싱 모듈(750)은 근접 센서(752), 이미지 센서(754) 및 가속도 센서(756)를 포함할 수 있다.
일 실시예에 따르면, 프로세서(710)는 근접 센서(752)를 통해서 외부 장치(예: 무연 흡입 기구(200))의 근접 여부를 검출할 수 있다. 프로세서(710)는 통신 모듈(730)을 통해서 무연 흡입 기구(200)로부터 수신된 흡연 이벤트에 대한 데이터 및 상기 무연 흡입 기구(200)의 근접 여부에 기초하여, 디스플레이(720)를 통해 흡연 이벤트에 대응되는 영상 데이터를 출력할 수 있다.
일 실시예에 따르면, 프로세서(710)는 이미지 센서(754)를 통해서 사용자의 입술 모양의 변화 여부를 검출할 수 있다. 즉, 전자 장치(700)를 착용한 사용자의 입술 모양을 획득할 수 있도록, 이미지 센서(754)는 전자 장치(700)의 페이스 플레이트(예: 도 1의 페이스 플레이트(101))의 하부 영역 중 일 영역에 배치될 수 있다. 프로세서(710)는 통신 모듈(730)을 통해서 무연 흡입 기구(200)로부터 수신된 흡연 이벤트에 대한 데이터 및 사용자의 입술 모양의 변화 여부에 기초하여 흡연 이벤트에 대응되는 영상 데이터를 생성할 수 있다.
일 실시예에 따르면, 프로세서(710)는 가속도 센서(756)를 통해서 전자 장치(700)의 움직임을 검출할 수 있다. 프로세서(710)는 통신 모듈(730)을 통해서 무연 흡입 기구(200)로부터 수신된 흡연 이벤트에 대한 데이터 및 전자 장치(700)의 움직임에 기초하여, 디스플레이(720)를 통해 흡연 이벤트에 대응되는 영상 데이터를 생성할 수 있다.
도 8은 일 예에 따른 디스플레이를 통해 부가 영상을 사용자에게 제공하기 위한 방법을 도시한다.
일 실시 예에 따른, 도 7을 참조하여 전술된 전자 장치(700)의 디스플레이(720-1)는 글래스(810), 빔 출력 장치(820), 적어도 하나의 렌즈(830) 및 하프 미러(840)를 포함할 수 있다. 예를 들어, 전자 장치(700)의 프로세서(710)는 영상 데이터를 빔 출력 장치(820)를 통해 출력할 수 있다. 빔 출력 장치(820)에 의해 출력된 빔이 렌즈(830) 및 하프 미러(840)를 통해 사용자의 눈(806)에 제공됨으로써 사용자는 부가 영상(804)을 제공받을 수 있다. 동시에, 사용자의 눈(806)에는 현실 장면(802)이 제공될 수 있다. 다시 말하지면, 영상 데이터의 출력에 의해 나타나는 부가 영상(804)에 대한 광 경로 및 디스플레이(720-1)를 통과한 현실의 장면(802)에 대한 광 경로가 서로 대응할 수 있다. 이에 따라, 사용자는 현실 장면(802) 및 부가 영상(804)을 중첩하여 관찰할 수 있다.
도 9는 다른 일 예에 따른 디스플레이를 통해 부가 영상을 사용자에게 제공하기 위한 방법을 도시한다.
일 실시 예에 따른, 도 7을 참조하여 전술된 전자 장치(700)의 디스플레이(720-2)는 광도파관(910), 빔 출력 장치(920), 및 적어도 하나의 렌즈(930)를 포함할 수 있다. 예를 들어, 디스플레이(720-2)는 EPE(Exit pupil expander) 장치를 포함할 수 있다.
전자 장치(700)의 프로세서(710)는 영상 데이터를 빔 출력 장치(920)를 통해 출력할 수 있다. 빔 출력 장치(920)에 의해 출력된 빔이 렌즈(930)를 통해 광도파관(910)을 통해 진행할 수 있다. 광도파관(910)을 통해 진행된 빔이 사용자의 눈(906)에 제공됨으로써 사용자는 부가 영상(904)을 제공받을 수 있다. 동시에, 사용자의 눈(906)에는 현실 장면(902)이 제공될 수 있다. 다시 말하지면, 영상 데이터의 출력에 의해 나타나는 부가 영상(904)에 대한 광 경로 및 디스플레이(720-2)를 통과한 현실의 장면(902)에 대한 광 경로가 서로 대응할 수 있다. 이에 따라, 사용자는 현실 장면(902) 및 부가 영상(904)를 중첩하여 관찰할 수 있다.
도 10은 일 예에 따른 오디오 데이터에 기초하여 영상 데이터를 생성하는 방법의 흐름도를 도시한다.
일 실시 예에 따르면, 도 3을 참조하여 전술된 동작 303는 아래의 동작들 1001, 1003 및 1005를 포함할 수 있다. 동작들 1001, 1003 및 1005은 도 1의 전자 장치(100)의 프로세서(110) 또는 도 7의 전자 장치(700)의 프로세서(710)에 의해 수행될 수 있다.
동작 1001에서, 전자 장치(700)의 프로세서(710)는 마이크 모듈(예: 도 7의 마이크 모듈(740))을 비활성화 상태에서 활성화 상태로 전환할 수 있다. 예를 들어, 프로세서(710)는 미리 설정된 조건이 만족되는 경우에 마이크 모듈(740)을 비활성화 상태에서 활성화 상태로 전환할 수 있다. 이때, 미리 설정된 조건은 무연 흡입 기구(예: 도 2의 무연 흡입 기구(200))로부터 흡연 이벤트에 대한 데이터의 수신 여부, 무연 흡입 기구(200)와의 통신 연결 여부 및 마이크 모듈(740)을 활성화하기 위한 사용자 입력 여부 중 적어도 하나를 포함할 수 있다.
동작 1003에서, 전자 장치(700)의 프로세서(710)는 마이크 모듈(740)을 통해 외부로부터 획득된 오디오 데이터를 수신할 수 있다. 예를 들어, 오디오 데이터는 사용자가 무연 흡입 기구(200)의 마우스피스 부분을 빨아들이는 들숨에 대응되는 음성 신호 및/또는 들숨 직후의 날숨에 대응되는 음성 신호를 포함할 수 있다.
일 실시 예에 따르면, 마이크 모듈(740)은 외부로부터 획득된 아날로그 신호인 음성 신호를 디지털 신호로 변환시키는 별도의 음성 처리 모듈(예: analog to digital converter(ADC))을 더 포함할 수 있다. 예를 들어, 마이크 모듈(740)의 음성 처리 모듈은 외부로부터 획득된 사용자의 들숨 및/또는 날숨에 대응되는 음성 신호를 디지털 신호로 변환시킬 수 있고, 전자 장치(700)의 프로세서(710)는 변환된 디지털 신호를 메모리에 저장할 수 있다. 이때, 음성 처리 모듈은 외부로부터 획득된 사용자의 들숨 및/또는 날숨에 대응되는 음성 신호에 대하여 표본화, 양자화 및 부호화 등의 일련의 단계를 거쳐 디지털 신호로 변환시킬 수 있다. 이후에, 마이크 모듈(740)을 통해 오디오 데이터가 수신되면, 전자 장치(700)의 프로세서(710)는 상기 메모리에 저장된 디지털 신호에 기초하여 수신된 오디오 데이터가 사용자의 들숨에 대응되는 음성 신호를 포함하는지, 날숨에 대응되는 음성 신호를 포함하는지 여부를 판단할 수도 있다.
동작 1005에서, 전자 장치(700)의 프로세서(710)는 수신된 흡연 이벤트에 대한 데이터 및 오디오 데이터에 기초하여 영상 데이터를 출력할 수 있다.
본 개시에서 '흡연 이벤트에 대한 데이터'는, 사용자가 무연 흡입 기구(200)를 통해 무연 담배를 흡입함에 따라 무연 흡입 기구(200)로부터 수신된 압력 변화에 대한 데이터를 의미할 수 있다. 또한, 본 개시에서 '오디오 데이터'는, 무연 담배를 흡입하는 사용자의 들숨에 대응되는 음성 신호 및/또는 날숨에 대응되는 음성 신호를 포함하는 오디오 데이터를 의미할 수 있다.
예를 들어, 무연 흡입 기구(200)로부터 기 설정된 임계 값보다 큰 압력 변화에 대한 데이터가 수신되고, 마이크 모듈(740)로부터 사용자의 들숨에 대응되는 음성 신호를 포함하는 오디오 데이터가 수신되면, 전자 장치(700)의 프로세서(710)는 디스플레이(720)를 통해 영상 데이터를 출력할 수 있다. 이때, 영상 데이터는 무연 흡입 기구(200)로부터 수신된 압력 변화 값 및 마이크 모듈(740)로부터 수신된 음성 신호에 기초하여 결정될 수 있다.
다른 예를 들어, 무연 흡입 기구(200)로부터 기 설정된 임계 값보다 큰 압력 변화에 대한 데이터가 수신되면, 전자 장치(700)의 프로세서(710)는 디스플레이(720)를 통해 출력할 영상 데이터를 생성할 수 있다. 이후에, 마이크 모듈(740)로부터 사용자의 날숨에 대응되는 음성 신호를 포함하는 오디오 데이터가 수신되면, 전자 장치(700)의 프로세서(710)는 오디오 데이터가 수신된 시점부터 디스플레이(720)를 통해 영상 데이터를 출력할 수도 있다.
도 11은 일 예에 따른 사용자의 입술 모양에 기초하여 영상 데이터를 생성하는 방법의 흐름도를 도시한다.
일 실시 예에 따르면, 도 3을 참조하여 전술된 동작 303는 아래의 동작들 1101 및 1103을 포함할 수 있다. 동작들 1101 및 1103은 도 1의 전자 장치(100)의 프로세서(110) 또는 도 7의 전자 장치(700)의 프로세서(710)에 의해 수행될 수 있다.
동작 1101에서, 전자 장치(700))의 프로세서(710)는 센싱 모듈(750)을 통해 무연 흡입 기구(200)의 근접 여부, 사용자의 입술 모양의 변화 여부 및 무연 흡입 기구(200)의 움직임 중 적어도 하나의 데이터를 획득할 수 있다.
예를 들어, 전자 장치(700)의 프로세서(710)는 근접 센서(예: 도 7의 근접 센서(752))를 통해서 무연 흡입 기구(200)가 전자 장치(700)에 근접하는지 여부에 대한 데이터를 획득할 수 있다. 즉, 사용자가 전자 장치(700)를 착용하고 있는 경우에, 무연 흡입 기구(200)가 전자 장치(700)에 근접하는 것을 통해서 전자 장치(700)의 프로세서(710)는 사용자에 의해 흡연 동작이 수행됨을 결정할 수 있다.
다른 예를 들어, 전자 장치(700)의 프로세서(710)는 이미지 센서(754)를 통해서 사용자의 입술 모양이 변화하는지 여부에 대한 데이터를 획득할 수 있다. 즉, 사용자가 전자 장치(700)를 착용하고 있는 경우에, 사용자의 입술 모양이 특정 모양(예: 모음 'ㅗ' 소리를 낼 때의 구부 모양)으로 변화하는 것을 통해서 전자 장치(700)의 프로세서(710)는 사용자에 의해 흡연 동작이 수행됨을 결정할 수 있다.
또 다른 예를 들어, 전자 장치(700)의 프로세서(710)는 가속도 센서(756)를 통해서 전자 장치(700)의 움직임이 발생하는지 여부에 대한 데이터를 획득할 수 있다. 즉, 사용자가 전자 장치(700)를 착용하고 있는 경우에, 흡연을 수행하기 위해 전자 장치(700)를 착용한 사용자의 움직임이 발생하는 것을 통해서 전자 장치(700)의 프로세서(710)는 사용자에 의해 흡연 동작이 수행됨을 결정할 수 있다.
동작 903에서, 전자 장치(700)의 프로세서(710)는 수신된 흡연 이벤트에 대한 데이터 및 획득된 센싱 데이터에 기초하여 영상 데이터를 생성할 수 있다.
예를 들어, 무연 흡입 기구(200)로부터 기 설정된 임계 값보다 큰 압력 변화에 대한 데이터가 수신되고, 센싱 모듈(750)로부터 무연 흡입 기구(200)의 근접 여부, 사용자의 입술 모양의 변화 여부 및 전자 장치(700)의 움직임 중 적어도 하나의 센싱 데이터가 수신되면, 전자 장치(700)의 프로세서(710)는 디스플레이(720)를 통해 영상 데이터를 출력할 수 있다. 이때, 영상 데이터는 무연 흡입 기구(200)로부터 수신된 압력 변화 값 및 센싱 모듈(750)로부터 수신된 센싱 데이터에 기초하여 생성될 수 있다.
도 12a는 일 예에 따른 전자 장치가 음성 인식에 기초하여 위치를 탐색하는 예시도를 도시한다. 도 12b는 도 12a의 전자 장치가 위치 탐색 결과를 표시한 디스플레이의 예시도를 도시한다.
도 12a를 참조하면, 전자 장치(700), 무연 흡입 기구(200) 및 사용자 단말 장치(1200)는 통신 인터페이스를 통해서 통신을 연결할 수 있다. 예를 들어, 전자 장치(700)의 통신 모듈(730)은 무선 통신 또는 유선 통신을 통해서 네트워크에 연결되어 무연 흡입 기구(200) 및/또는 사용자 단말 장치(1200)와 통신할 수 있다.
일 실시 예에서, 전자 장치(700)는 마이크 모듈(740)을 통해서 음성 인식을 수행할 수 있다. 예를 들어, 전자 장치(700)의 프로세서(710)는 별도의 음성 인식 프로세서의 활성화를 위한 웨이크업 명령어(wake-up command)(1210)로써 특정 음성(예: "오케이, 장치")을 미리 설정할 수 있다. 이후에, 마이크 모듈(740)을 통해 "오케이, 장치"라는 음성이 입력되면, 프로세서(710)는 수신된 음성이 기 설정된 음성에 대응되는 것으로 판단하여 음성 인식 프로세서를 활성화할 수 있다.
일 실시 예에서, 전자 장치(700)의 프로세서(710)는 사용자 단말 장치(1200)로 지도 데이터를 요청하기 위한 명령어로써 특정 음성(예: "근처", "주변", "어디", "찾아줘", "알려줘" 등)을 미리 설정할 수 있다. 이후에, 마이크 모듈(740)을 통해 "근처 흡연 부스 찾아줘"(1020)라는 음성이 입력되면, 전자 장치(700)의 프로세서(710)는 입력된 음성에 미리 설정된 명령어가 포함되는지 여부를 판단할 수 있다. 전자 장치(700)의 프로세서(710)는 입력된 음성에 미리 설정된 명령어가 포함되는 것으로 판단되면, 통신 모듈(730)을 통해서 사용자 단말 장치(1200)로 지도 데이터를 요청할 수 있다.
도 12b를 참조하면, 전자 장치(700)의 프로세서(710)는 디스플레이(720)를 통해서 위치 탐색 결과를 포함하는 영상 데이터를 생성할 수 있다. 예를 들어, 사용자는 디스플레이(720)를 통해서 현실 장면에 사용자 단말 장치(1200)로부터 수신된 지도 데이터가 중첩된 화면(1230)을 볼 수 있다. 이때, 사용자 단말 장치(1200)로부터 수신된 지도 데이터는, 사용자 단말 장치(1200)로부터 미러링(mirroring) 기술을 통해 공유된 데이터를 의미할 수 있다. 예를 들어, 사용자 단말 장치(1200)로부터 수신된 지도 데이터는, 사용자 단말 장치(1200)의 어플리케이션(예: 네비게이션 어플리케이션)을 통해서 획득된 지도 데이터가 공유된 것일 수 있다.
도 13a는 일 예에 따른 전자 장치가 음성 인식에 기초하여 평균 흡연량을 탐색하는 예시도를 도시한다. 도 13b는 도 13a의 전자 장치가 평균 흡연량을 표시한 디스플레이의 예시도를 도시한다.
도 13a를 참조하면, 전자 장치(700), 무연 흡입 기구(200) 및 사용자 단말 장치(1300)는 통신 인터페이스를 통해서 통신을 연결할 수 있다. 예를 들어, 전자 장치(700)의 통신 모듈(730)은 무선 통신 또는 유선 통신을 통해서 네트워크에 연결되어 무연 흡입 기구(200) 및/또는 사용자 단말 장치(1300)와 통신할 수 있다.
일 실시 예에서, 전자 장치(700)는 마이크 모듈(740)을 통해서 음성 인식을 수행할 수 있다. 예를 들어, 전자 장치(700)의 프로세서(710)는 별도의 음성 인식 프로세서의 활성화를 위한 웨이크업 명령어(wake-up command)(1310)로써 특정 음성(예: "오케이, 장치")을 미리 설정할 수 있다. 이후에, 마이크 모듈(740)을 통해 "오케이, 장치"라는 음성이 입력되면, 프로세서(710)는 수신된 음성이 기 설정된 음성에 대응되는 것으로 판단하여 음성 인식 프로세서를 활성화할 수 있다.
일 실시 예에서, 전자 장치(700)의 프로세서(710)는 사용자 단말 장치(1300)로 평균 흡연량 데이터 및 현재 흡연량 데이터 중 적어도 하나를 요청하기 위한 명령어로써 특정 음성(예: "이번 달", "오늘", "평균", "흡연량", "알려줘" 등)을 미리 설정할 수 있다. 이후에, 마이크 모듈(740)을 통해 "이번 달 평균 흡연량 알려줘"(1320)라는 음성이 입력되면, 전자 장치(700)의 프로세서(710)는 입력된 음성에 미리 설정된 명령어가 포함되는지 여부를 판단할 수 있다. 전자 장치(700)의 프로세서(710)는 입력된 음성에 미리 설정된 명령어가 포함되는 것으로 판단되면, 통신 모듈(730)을 통해서 사용자 단말 장치(1300)로 평균 흡연량 데이터 및 현재 흡연량 데이터 중 적어도 하나를 요청할 수 있다.
도 13b를 참조하면, 전자 장치(700)의 프로세서(710)는 디스플레이(720)를 통해서 평균 흡연량 데이터를 포함하는 영상 데이터를 생성할 수 있다. 예를 들어, 사용자는 디스플레이(720)를 통해서 현실 장면에 사용자 단말 장치(1300)로부터 수신된 평균 흡연량 데이터가 중첩된 화면(1330)을 볼 수 있다. 이때, 사용자 단말 장치(1300)로부터 수신된 평균 흡연량 데이터는, 사용자 단말 장치(1300)로부터 미러링 기술을 통해 공유된 데이터를 의미할 수 있다. 예를 들어, 사용자 단말 장치(1300)로부터 수신된 평균 흡연량 데이터는, 사용자 단말 장치(1300)의 어플리케이션(예: 흡연 습관 어플리케이션)을 통해서 획득된 흡연량 데이터가 공유된 것일 수 있다.
도 14a는 일 예에 따른 사용자의 흡연 행위를 구간별로 나누어 도시한 것이다.
일 실시예에 따른 사용자는 t1 시점부터 t4 시점까지의 과정을 통해 한번의 흡연 행위를 실시한다.
도 14a를 참조하면, 일 실시예에 따른 사용자는 t1 시점부터 t2 시점 사이의 D1 구간에서, 전자 장치(예: 도 1의 전자 장치(100) 도는 도 7의 전자 장치(700))를 통해 흡연 가능 물질(예를 들어, 에어로졸)을 흡입할 수 있다. 전자 장치(700)는 다양한 방식으로 에어로졸을 생성할 수 있다. 아래에서, D1 구간에서의 사용자의 동작은 '연기 흡입' 동작으로 지칭될 수 있고, 사용자는 연기 흡입 동작을 통해 전자 장치(700)를 입에 물고 흡연 가능 물질을 빨아들여 입안에 모을 수 있다. D1 구간에서는, 사용자와 전자 장치(700)의 일측(예를 들어, 흡입구 또는 마우스피스)은 접촉된 상태일 수 있다.
일 실시예에 따른 사용자는 t2 시점부터 t3시점 사이의 D2 구간에서, 입안에 모아진 연기를 들숨을 통해 흡입할 수 있다. 아래에서, D2 구간에서의 사용자의 동작은 '들숨' 동작(또는, '들숨 및 손내림' 동작)으로 지칭될 수 있고, 사용자는 들숨을 하면서 전자 장치(700)의 일측을 입술에서 분리시키고 손을 내린다. D2 구간에서는, 사용자와 전자 장치(700)는 분리된 상태일 수 있다.
일 실시예에 따른 사용자는 t3 시점부터 t4시점 사이의 D3 구간에서, 날숨을 통해 흡입했던 연기를 내뱉을 수 있다. 아래에서, D3 구간에서의 사용자의 동작은 '날숨' 동작으로 지칭될 수 있다.
일 실시예에 따른 D2 구간의 길이(들숨 시간)는 D1 구간의 길이(연기 흡입 시간)에 기초하여 추정될 수 있다. 일례로, D2 구간의 길이(들숨 시간)는 D1 구간의 길이(연기 흡입 시간)에 비례할 수 있다. 예를 들어, 연기 흡입 시간이 1초일 경우 들숨 시간도 1초일 수 있고, 연기 흡입 시간이 3초일 경우 들숨 시간도 3초일 수 있다. 또는, 인공 신경망을 이용하여 연기 흡입 시간에 대응하는 들숨 시간이 예측될 수도 있다. 예를 들어, 연기 흡입 시간 및 들숨 시간의 페어 학습 데이터에 기초하여 학습된 인공 신경망에 연기 흡입 시간을 입력하여 이에 대응하는 들숨 시간이 예측될 수도 있다. 다만, 연기 흡입 시간에 기초하여 들숨 시간을 추정하는 방법은 위 예시에 한정되지 않는다.
D2 구간의 길이(들숨 시간)를 예측할 수 있다는 것은 t3(날숨 시점)를 예측할 수 있다는 것을 의미한다. 즉, D1 구간의 길이(연기 흡입 시간)를 측정을 통해 D2 구간의 길이를 예측할 수 있고, 측정된 D1 구간의 길이에 예측된 D2 구간의 길이를 더하면 t3(날숨 시점)를 예측할 수 있다.
일 실시예에 따르면, D3 구간의 길이(날숨 시간)는 D1 구간의 길이(연기 흡입 시간) 및 D2 구간의 길이(들숨 시간) 중 적어도 하나에 기초하여 결정될 수 있다. 예를 들어, D1 구간의 길이 또는 D2 구간의 길이에 비례하도록 D3 구간의 길이가 결정될 수 있다. 예측된 t3(날숨 시점) 및 D3 구간의 길이에 기초하여 t4 시점이 예측될 수 있다.
일 실시예에 따르면, 사용자는 D3 구간의 길이에 대한 정보를 사전에 전자 장치(700)에 설정할 수 있다. 예를 들어, D1 구간의 길이 또는 D2 구간의 길이에 대한 비율이 사용자에게 의해 설정될 수 있다. 가상 연기의 출력 시간을 상대적으로 길게 유지하고 싶은 사용자는 비율을 크게 설정할 수 있다.
도 14b는 일 예에 따른 영상 데이터의 출력 시점을 결정하고, 부가 영상을 제공하기 위한 방법의 흐름도이다.
일 실시예에 따른 가상 흡연 시스템에 있어서, 사용자는 현실 세계의 외부 장치(예: 도 2의 무연 흡입 기구(200))를 통한 흡연을 전자 장치(예: 도 7의 전자 장치(700))와 연동하여 흡연의 가상 현실 또는 증간 현실을 체험할 수 있다. 보다 구체적으로, 일 실시예에 따른 전자 장치(700)는 사용자가 무연 흡입 기구(200)를 통해 실제 연기를 내뿜는 시점에 가상 공간에서도 가상 연기를 구현하여, 이질감 없는 가상 연기를 구현할 수 있다.
일 실시예에 따른 사용자는 도 14a에서의 D1 부터 D3의 동작을 적어도 한번 이상 반복하여 흡연 행위를 실시하고, 무연 흡입 기구(200) 또는 전자 장치(700)는 사용자의 담배 연기 흡입, 들숨 및 날숨을 센싱하거나 예측하여 가상 연기를 구현할 수 있다. 아래에서, "가상 연기를 구현"하는 것은 가상 연기의 구현 시점, 지속 시간 및 가상 연기의 외형(예를 들어, 모양, 색) 중 적어도 하나를 결정하는 것을 포함할 수 있다.
도 14b를 참조하면, 일 실시예에 따른 사용자의 흡연이 시작되면 사용자는 무연 흡입 기구(200)를 통해 흡연 가능 물질을 흡입하여 입안에 모을 수 있다. 동작 1410에서, 전자 장치(700)는 사용자가 담배 연기를 흡입하는 시간(예를 들어, 도 14a에서 D1)을 측정할 수 있다.
이 후에, 전자 장치(700)는 사용자가 연기 흡입을 끝내면 사용자는 들숨 및 손내림 동작을 실시한다. 동작 1420에서, 전자 장치(700)는 사용자가 들숨 및 손내림 하고 있는 시간(예를 들어, 도 14a에서 D2)을 측정할 수 있다.
동작 1430에서, 전자 장치(700)는 연기 흡입 시간에 기초하여, 들숨 및 손내림 하고 있는 시간 및 사용자의 날숨의 시작 시점(예를 들어, 도 14a의 t3)을 예측할 수 있다. 예측된 사용자의 날숨의 시작 시점은 영상 데이터의 출력 시점으로 결정될 수 있다.
동작 1440에서, 전자 장치(700)는 사용자가 날숨을 시작하면 전자 장치(700)는 사용자가 날숨을 하는 시간(예를 들어, 도 14a에서 D3)동안 부가 영상을 제공(1440)할 수 있다. 예를 들어, 전자 장치(700)는 결정된 출력 시점부터 영상 데이터를 전자 장치(700)의 디스플레이(720)에 출력함으로써 부가 영상을 사용자에게 제공할 수 있다.
날숨을 시작한 이후 미리 정해진 시간이 지나면, 전자 장치(700)는 부가 영상의 제공을 종료(1450)할 수 있다.
도 15는 일 예에 따른 사용자와 외부 장치 사이의 거리에 기초하여 영상 데이터의 출력 시점을 결정하는 방법의 흐름도이다.
일 실시예에 따른, 무연 흡입 기구(200)의 센서(210)는 거리 감지 센서를 포함할 수 있다. 예를 들어, 거리 감지 센서는 적외선 방식, 라이다 방식 또는 초음파 방식 등의 센서일 수 있다. 다만, 본 개시의 거리 감지 센서는 위의 방식에 의한 것으로 한정되는 것은 아니다.
일 실시예에 따른 사용자가 흡연을 시작하면 거리 감지 센서는 사용자의 신체의 일부(예: 입술)와 무연 흡입 기구(200) 사이의 거리를 모니터링할 수 있다. 거리 잠시 센서에 의해 생성된 데이터는 전자 장치(700)로 전송될 수 있다. 전자 장치(700)는 거리 감지 센서의 모니터링 결과를 기초로 영상 데이터의 출력 시점을 결정할 수 있다. 전자 장치(700)는 결정된 출력 시점에 부가 영상을 사용자에게 제공함으로써 사용자에게 증강 현실에서의 흡연 경험을 제공할 수 있다.
일 실시 예에 따르면, 도 14를 참조하여 전술된 동작 1430은 아래의 동작들 1510 및 1520을 포함할 수 있다.
동작 1510에서, 전자 장치(700)는 사용자와 무연 흡입 기구(200) 사이의 거리를 모니터링할 수 있다. 예를 들어, 무연 흡입 기구(200)가 사용자의 신체의 일부와 접촉하는 제1 시점을 감지하는 동작 및 무연 흡입 기구(200)가 사용자의 신체에서 멀어지는 제2 시점을 감지하는 동작을 포함할 수 있다.
예를 들어, 제1 시점을 감지하는 동작은 무연 흡입 기구(200)와 사용자의 신체가 제1 임계값 이내의 거리 근접하는 것을 거리 감지 센서가 감지하는 것을 포함할 수 있다.
예를 들어, 제2 시점을 감지하는 동작은 무연 흡입 기구(200)와 사용자의 신체가 접촉한 후 사용자의 신체가 제2 임계값 초과의 거리로 벗어나는 것을 거리 감지 센서가 감지하는 것을 포함할 수 있다.
동작 1520에서, 전자 장치(700)는 모니터링 결과에 기초하여 영상 데이터의 출력 시점을 결정할 수 있다.
제1 시점은 사용자가 연기 흡입을 시작하는 시점일 수 있다. 제1 시점과 제2 시점 사이의 구간은 사용자가 연기 흡입을 하는 시간이고, 연기 흡입 시간에 기초하여 사용자의 제1 호흡 시간을 예측할 수 있다. 제2 시점은 사용자가 들숨을 시작하는 시점일 수 있다. 제1 시점과 제2 시점 사이의 구간 및 제1 호흡 시간에 기초하여, 제2 호흡의 시점이 예측될 수 있다. 제2 호흡의 시점은 사용자가 날숨을 시작하는 시점일 수 있다. 예를 들어, 제2 호흡의 시점이 영상 데이터의 출력 시점으로 결정될 수 있다.
일 실시예에 따르면, 사용자의 연기 흡입 시간은 제1 시점과 제2 시점 사이의 구간이므로, 사용자가 들숨을 하는 시간인 제1 호흡 시간이 연기 흡입 시간과 유사하게 추정될 수 있다. 이후, 전자 장치(700)는 사용자가 날숨을 시작하는 시점인 제2 호흡의 시점을 제2 시점으로부터 제1 호흡 시간이 경과한 시점으로 예측할 수 있다.
예를 들어, 무연 흡입 기구(200)에 사용자의 신체가 닿는 제1 시점부터 제2 무연 흡입 기구(200)에서 사용자의 신체가 떼어지는 제2 시점이 1초라면, 제1 호흡 시간이 1초로 추정될 수 있고, 사용자가 들숨을 하는 시간도 제1 호흡 시간과 유사하게 1초라고 예측될 수 있다. 이에 따라, 제2 시점부터 제1 호흡 시간이 경과한 제2 호흡의 시점이 무연 흡입 기구(200)에서 사용자의 신체가 분리된 후부터 1초가 지난 시점으로 예측될 수 있다. 이에 따라, 무연 흡입 기구(200)는 사용자의 신체가 떼어진 후부터 1초가 지난 시점을 영상 데이터의 출력 시점으로 결정할 수 있다.
일 실시예에 따르면, 동작 1520은 제1 시점과 제2 시점 사이의 구간에 기초하여, 사용자의 흡입량 및 호흡량을 추정하는 동작을 포함할 수 있다. 사용자의 흡입량은 무연 흡입 기구(200)와 사용자의 신체가 접촉된 상태에서, 사용자가 무연 흡입 기구(200)를 통해 흡입하는 에어로졸의 흡입량을 포함할 수 있다. 사용자의 호흡량은 무연 흡입 기구(200)와 사용자의 신체가 접촉되지 않은 상태에서, 사용자가 흡입하는 들숨(inspiration)량을 포함할 수 있다. 추정된 호흡량과 흡입량에 기초하여, 영상 데이터의 출력 시점이 예측될 수 있다.
일 실시예에 따른, 동작 1520는 무연 흡입 기구(200)가 미리 정해진 동작 조건을 만족하는지 판단하는 동작 및 무연 흡입 기구(200)가 동작 조건을 만족한다는 판단에 기초하여 영상 데이터의 출력 시점을 결정하는 동작을 포함할 수 있다. 예를 들어, 미리 정해진 동작 조건은 사용자가 무연 흡입 기구(200)의 전원 on/off 여부, 무연 흡입 기구(200)에 포함된 퍼프(puff) 센서 및 무연 흡입 기구(200)에 포함된 압력 센서의 동작 여부 중 적어도 하나를 포함할 수 있다. 미리 설정된 사용자의 신체가 아닌 이외의 신체(예를 들어, 손가락 등)으로 거리 감지 센서의 센싱값이 변할 수 있는데, 사용자가 전원을 on/off 할 때만 거리 감지 센서가 작동하도록 할 수 있고, 퍼프 센서 또는 압력 센서 등을 통해 사용자의 흡입을 센싱하여 거리 감지 센서가 작동하도록 할 수 있다. 다만, 본 개시의 흡입 센서는 퍼프 센서 또는 압력 센서에 한정되지 않는다.
도 16은 일 예에 따른 외부 장치의 정전용량 센서의 값에 기초하여 영상 데이터의 출력 시점을 결정하는 방법의 흐름도이다.
일 실시예에 따른 무연 흡입 기구(200)의 센서(210)는 정전용량 센서를 포함할 수 있다. 예를 들어, 정전용량 센서는 커패시터(Capacitor)에 기초하여 구성되는 센서일 수 있다. 다만, 본 개시의 정전용량 센서는 위의 방식에 의한 것으로 한정되는 것은 아니다.
일 실시예에 따른 사용자가 흡연을 시작하면 정전용량 센서는 사용자의 신체의 일부(예: 입술)이 무연 흡입 기구(200)에 접촉했을 경우에, 변화되는 정전용량 센서의 정전용량을 모니터링할 수 있다. 정전용량 센서에 의해 생성된 데이터는 전자 장치(700)로 전송될 수 있다. 전자 장치(700)는 정전용량 센서의 모니터링 결과를 기초로 영상 데이터의 출력 시점을 결정할 수 있다. 전자 장치(700)는 결정된 출력 시점에 부가 영상을 사용자에게 제공함으로써 사용자에게 증강 현실에서의 흡연 경험을 제공할 수 있다.
일 실시 예에 따르면, 도 14를 참조하여 전술된 동작 1430은 아래의 동작들 1610 및 1620을 포함할 수 있다.
동작 1610에서, 전자 장치(700)는 정전용량 센서의 변화 값을 모니터링할 수 있다.
일 실시예에 따르면, 동작 1610은 무연 흡입 기구(200)에 사용자의 신체(예: 입술)가 접촉하는 제1 시점을 감지하는 동작 및 무연 흡입 기구(200)에서 사용자의 신체가 멀어지는(또는, 떼어지는) 제2 시점을 감지하는 동작을 포함할 수 있다.
예를 들어, 제1 시점을 감지하는 동작은 무연 흡입 기구(200)에 사용자의 신체가 접촉했을 경우에 센싱된 정전용량이 제1 임계값 이내의 도달하는 것을 정전용량 센서가 감지하는 것을 포함할 수 있다.
예를 들어, 제2 시점을 감지하는 동작은 무연 흡입 기구(200)에서 사용자의 신체가 접촉한 후 사용자의 신체가 떼어질 경우에 센싱된 정전용량이 제2 임계값을 초과하는 것을 정전용량 센서가 감지하는 것을 포함할 수 있다.
동작 1620에서, 전자 장치(700)는 정전용량의 모니터링 결과에 기초하여 영상 데이터의 출력 시점을 결정할 수 있다.
도 17은 일 예에 따른 외부 장치의 방위변화 센서의 값에 기초하여 영상 데이터의 출력 시점을 결정하는 방법의 흐름도이다.
일 실시예에 따른, 무연 흡입 기구(200)는 방위변화 센서를 포함할 수 있다. 예를 들어, 방위변화 센서는 자이로 센서, 가속도 센서 또는 3dof/6dof 센서 등의 센서일 수 있다. 다만, 본 개시의 방위변화 센서는 위의 방식에 의한 것으로 한정되는 것은 아니다.
일 실시예에 따른 사용자가 흡연을 시작하면 방위변화 센서는 무연 흡입 기구(200)의 방위변화를 모니터링할 수 있다. 방위변화 센서에 의해 생성된 데이터는 전자 장치(700)로 전송될 수 있다. 전자 장치(700)는 방위변화 센서의 모니터링 결과를 기초로 영상 데이터의 출력 시점을 결정할 수 있다. 전자 장치(700)는 결정된 출력 시점에 부가 영상을 사용자에게 제공함으로써 사용자에게 증강 현실에서의 흡연 경험을 제공할 수 있다.
일 실시 예에 따르면, 도 14를 참조하여 전술된 동작 1430은 아래의 동작들 1710 및 1720을 포함할 수 있다.
동작 1710에서, 전자 장치(700)는 무연 흡입 기구(200)가 사용자의 신체에 접촉하는 제1 시점을 감지하는 동작 및 무연 흡입 기구(200)에서 사용자의 신체가 멀어지는 제2 시점을 감지하는 동작을 포함할 수 있다.
예를 들어, 제1 시점을 감지하는 동작은 무연 흡입 기구(200)와 사용자의 신체가 제1 임계값 이내의 방위에 근접하는 것을 방위변화 센서가 감지하고, 사용자가 사용자의 신체로 무연 흡입 기구(200)를 가져오는 동안의 가속도 변화를 감지하는 것을 포함할 수 있다.
예를 들어, 제2 시점을 감지하는 동작은 무연 흡입 기구(200)로부터 사용자 신체가 제2 임계값 초과의 방위로 벗어나는 것을 감지하고, 사용자가 사용자의 신체로부터 무연 흡입 기구(200)를 떼어내는 동안의 가속도 변화를 감지하는 것을 포함할 수 있다.
일 실시예에 따르면, 사용자가 손을 내리고 있을 경우의 무연 흡입 기구(200)의 x, y, z축 방위와 사용자가 무연 흡입 기구(200)를 사용자의 신체와 접촉하였을 경우의 무연 흡입 기구(200)의 x, y, z축 방위를 비교하여 방위변화가 측정될 수 있다. 사용자가 무연 흡입 기구(200)를 이동시키기 위하여 손을 움직일 경우, 측정되는 가속도는 증가하다가 감소하여 멈추는 형태를 나타낼 수 있다. 가속도의 변화 구간을 측정함으로써 방위변화가 예측될 수 있고, 예측된 방위변화에 기초하여 사용자의 흡연 시간이 추정될 수 있다.
동작 1720에서, 전자 장치(700)는 모니터링 결과에 기초하여 영상 데이터의 출력 시점을 결정할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (12)

  1. 전자 장치에 있어서,
    외부 장치와의 통신을 수행하는 통신 모듈;
    디스플레이; 및
    상기 통신 모듈 및 상기 디스플레이와 전기적으로 연결되는 프로세서
    를 포함하고,
    상기 프로세서는, 상기 통신 모듈을 통해서 상기 외부 장치로부터 흡연 이벤트에 대한 데이터를 수신하고, 상기 수신된 흡연 이벤트에 대한 데이터에 기초하여 상기 흡연 이벤트에 대응되는 적어도 하나의 그래픽 객체를 포함하는 영상 데이터를 생성하고,
    상기 디스플레이는, 상기 영상 데이터를 출력하는,
    전자 장치.
  2. 제1항에 있어서,
    상기 영상 데이터의 출력에 의해 나타나는 부가 영상에 대한 광 경로 및 상기 디스플레이를 통과한 현실의 장면에 대한 광 경로가 서로 대응하는,
    전자 장치.
  3. 제1항에 있어서,
    상기 흡연 이벤트에 대한 데이터는 상기 외부 장치의 센서를 통해 감지된 압력 변화 또는 가속도 변화에 대한 데이터인,
    전자 장치.
  4. 제1항에 있어서,
    외부의 오디오 데이터를 획득하는 마이크 모듈
    을 더 포함하고,
    상기 프로세서는,
    상기 외부 장치로부터 상기 흡연 이벤트에 대한 데이터를 수신하는 경우, 상기 마이크 모듈을 활성화하고,
    상기 활성화된 마이크 모듈을 통해 외부로부터 획득된 오디오 데이터를 수신하고,
    상기 수신된 흡연 이벤트에 대한 데이터 및 상기 수신된 오디오 데이터에 기초하여, 상기 흡연 이벤트에 대응되는 적어도 하나의 그래픽 객체를 포함하는 상기 영상 데이터를 생성하는,
    전자 장치.
  5. 제1항에 있어서,
    적어도 하나의 센서를 포함하는 센싱 모듈
    을 더 포함하고,
    상기 프로세서는,
    상기 센싱 모듈을 통해서 상기 외부 장치의 근접 여부, 상기 전자 장치의 사용자의 입술 모양의 변화 여부 및 상기 전자 장치의 움직임 중 적어도 하나에 대한 센싱 데이터를 획득하고,
    상기 수신된 흡연 이벤트에 대한 데이터 및 상기 획득된 센싱 데이터에 기초하여, 상기 흡연 이벤트에 대응되는 적어도 하나의 그래픽 객체를 포함하는 상기 영상 데이터를 생성하는,
    전자 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 흡연 이벤트에 대한 데이터에 기초하여 상기 영상 데이터의 출력 시점을 결정하고,
    상기 영상 데이터가 상기 출력 시점에 출력됨으로써 부가 영상이 출력되는,
    전자 장치.
  7. 제6항에 있어서,
    상기 프로세서는,
    상기 전자 장치의 사용자의 동작이 제1 동작으로 변화하는 제1 시점을 결정하고,
    상기 제1 시점 이후, 상기 사용자의 동작이 제2 동작으로 변화하는 제2 시점을 결정하고,
    상기 제1 시점 및 상기 제2 시점 사이의 구간에 기초하여 상기 영상 데이터의 출력 시점을 결정하는,
    전자 장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 제1 시점과 상기 제2 시점 사이의 구간에 기초하여, 제1 호흡 시간을 결정하고,
    상기 제1 시점과 상기 제2 시점 사이의 구간 및 상기 제1 호흡 시간에 기초하여 제2 호흡의 시점을 결정하고,
    상기 제2 호흡의 시점을 상기 영상 데이터의 상기 출력 시점으로 결정하는,
    전자 장치.
  9. 제1항에 있어서,
    상기 디스플레이는 상기 영상 데이터를 출력하기 위한,
    빔 출력 장치; 및
    하프 미러
    를 포함하는,
    전자 장치.
  10. 제1항에 있어서,
    상기 디스플레이는 상기 영상 데이터를 출력하기 위한,
    EPE(Exit pupil expander) 장치
    를 포함하는,
    전자 장치.
  11. 제1항에 있어서,
    상기 외부 장치는 전자 담배인,
    전자 장치.
  12. 전자 장치에 의해 수행되는, 부가 영상 출력 방법은,
    외부 장치로부터 흡연 이벤트에 대한 데이터를 수신하는 동작;
    상기 수신된 흡연 이벤트에 대한 데이터에 기초하여 상기 흡연 이벤트에 대응되는 적어도 하나의 그래픽 객체를 포함하는 영상 데이터를 생성하는 동작; 및
    상기 영상 데이터를 디스플레이를 통해 출력함으로써 부가 영상을 출력하는 동작
    을 포함하는,
    부가 영상 출력 방법.
KR1020220118727A 2022-09-20 2022-09-20 부가 영상을 제공하는 전자 장치 및 그의 동작 방법 KR20240039863A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020220118727A KR20240039863A (ko) 2022-09-20 2022-09-20 부가 영상을 제공하는 전자 장치 및 그의 동작 방법
PCT/KR2023/012313 WO2024063344A1 (en) 2022-09-20 2023-08-21 Electronic device for providing additional image and operating method thereof
CN202380013347.7A CN118057980A (zh) 2022-09-20 2023-08-21 提供附加图像的电子装置及其操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220118727A KR20240039863A (ko) 2022-09-20 2022-09-20 부가 영상을 제공하는 전자 장치 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
KR20240039863A true KR20240039863A (ko) 2024-03-27

Family

ID=90454611

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220118727A KR20240039863A (ko) 2022-09-20 2022-09-20 부가 영상을 제공하는 전자 장치 및 그의 동작 방법

Country Status (3)

Country Link
KR (1) KR20240039863A (ko)
CN (1) CN118057980A (ko)
WO (1) WO2024063344A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9648907B2 (en) * 2005-05-31 2017-05-16 Philip Morris Usa Inc. Virtual reality smoking system
KR101119398B1 (ko) * 2009-04-20 2012-03-15 이동호 금연보조기구
KR20140134945A (ko) * 2013-05-15 2014-11-25 최정석 가상 현실을 이용한 금연 클리닉 시스템 및 이의 동작 방법
US10151925B2 (en) * 2016-07-26 2018-12-11 Himax Display, Inc. Head-mounted display apparatus and associated internal display and display method
KR102447537B1 (ko) * 2019-10-10 2022-09-26 주식회사 케이티앤지 흡연 시스템

Also Published As

Publication number Publication date
WO2024063344A1 (en) 2024-03-28
CN118057980A (zh) 2024-05-21

Similar Documents

Publication Publication Date Title
KR101119398B1 (ko) 금연보조기구
JP7107302B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US20120194648A1 (en) Video/ audio controller
KR20240039863A (ko) 부가 영상을 제공하는 전자 장치 및 그의 동작 방법
KR102680643B1 (ko) 영상 데이터를 출력하는 전자 장치 및 그의 동작 방법
JP7503647B2 (ja) 映像データを出力する電子装置及びその動作方法
KR20230165605A (ko) 가상 연기 구현 방법 및 장치
KR20230165607A (ko) 가상 연기 구현 방법 및 장치
KR20230165579A (ko) 가상 연기 구현 방법 및 장치
KR20230165581A (ko) 가상 연기 구현 방법 및 장치
KR20230165604A (ko) 가상 연기 구현 방법 및 장치
KR20230165599A (ko) 가상 연기 구현 방법 및 장치
KR20230165612A (ko) 가상 연기 구현 방법 및 장치
KR20230165614A (ko) 가상 연기 구현 방법 및 장치
US20240119642A1 (en) Method and apparatus for outputting virtual smoke image
EP4336321A1 (en) Method and apparatus for outputting virtual smoke image
EP4332735A1 (en) Method and device for outputting virtual smoke image
JP2024532027A (ja) 仮想煙映像出力方法及び装置｛ｍｅｔｈｏｄ ａｎｄ ａｐｐａｒａｔｕｓ ｆｏｒ ｏｕｔｐｕｔｔｉｎｇ ｖｉｒｔｕｒａｌ ｓｍｏｋｅ ｉｍａｇｅ／ｖｉｄｅｏ｝
CN115206072A (zh) 提醒方法及装置、可穿戴设备和存储介质
JP2019211877A (ja) 筒状映像処理装置、筒状映像処理システム及び筒状映像処理方法