KR20210022740A - 서비스 처리 방법 및 관련 장치 - Google Patents
서비스 처리 방법 및 관련 장치 Download PDFInfo
- Publication number
- KR20210022740A KR20210022740A KR1020217002422A KR20217002422A KR20210022740A KR 20210022740 A KR20210022740 A KR 20210022740A KR 1020217002422 A KR1020217002422 A KR 1020217002422A KR 20217002422 A KR20217002422 A KR 20217002422A KR 20210022740 A KR20210022740 A KR 20210022740A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- terminal device
- sensor
- scene
- sub
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 117
- 238000012545 processing Methods 0.000 claims abstract description 119
- 238000000034 method Methods 0.000 claims abstract description 69
- 230000006870 function Effects 0.000 claims description 96
- 238000004422 calculation algorithm Methods 0.000 claims description 64
- 238000012549 training Methods 0.000 claims description 33
- 230000005236 sound signal Effects 0.000 claims description 22
- 230000003213 activating effect Effects 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000013135 deep learning Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 10
- 238000013473 artificial intelligence Methods 0.000 description 84
- 230000001133 acceleration Effects 0.000 description 39
- 230000008569 process Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 18
- 238000003062 neural network model Methods 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 11
- 239000000872 buffer Substances 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 9
- 239000013598 vector Substances 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 230000005358 geomagnetic field Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 238000012952 Resampling Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 210000000225 synapse Anatomy 0.000 description 2
- 101100498818 Arabidopsis thaliana DDR4 gene Proteins 0.000 description 1
- MHABMANUFPZXEB-UHFFFAOYSA-N O-demethyl-aloesaponarin I Natural products O=C1C2=CC=CC(O)=C2C(=O)C2=C1C=C(O)C(C(O)=O)=C2C MHABMANUFPZXEB-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06K9/00624—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/75—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1417—2D bar codes
-
- G06K9/20—
-
- G06K9/66—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G06N3/0454—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Electromagnetism (AREA)
- Toxicology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- User Interface Of Digital Computer (AREA)
- Library & Information Science (AREA)
- Telephone Function (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
- Electrical Discharge Machining, Electrochemical Machining, And Combined Machining (AREA)
- Hardware Redundancy (AREA)
Abstract
본 출원은 단말 장치에 적용되는 서비스 처리 방법을 개시한다. 단말 장치에 구성된 센서를 이용하여 이미지 데이터를 획득하고, 이미지 데이터에 기초하여 현재 장면을 자동으로 매칭한 후 현재 장면에 대응하는 처리 방식을 자동으로 실행한다. 예를 들어, 2차원 코드(또는 "결제"와 관련된 텍스트 포함)가 수집된다. 따라서 현재 장면이 결제 장면인 것을 확인하고 결제 소프트웨어가 자동으로 시작된다. 본 출원은 또한 단말 장치 및 서비스 처리 장치를 제공한다. 전술한 방법 또는 장치에 따르면 사용자의 조작 단계를 단순화하고 조작 지능을 향상시킬 수 있다.
Description
본 출원은 2018년 11월 21일 중국 특허청에 출원된 "서비스 처리 방법 및 관련 장치"라는 제목의 중국특허출원 제201811392818.7호의 우선권을 주장하며, 이는 전체가 여기에 참조로 포함된다.
본 출원은 인공 지능 분야에 관한 것으로, 특히 서비스 처리 방법 및 관련 장치에 관한 것이다.
과학 기술의 발달로 스마트폰으로 대표되는 단말 장치는 사람들의 삶에서 점점 더 중요한 역할을 하고 있다. 스마트폰이 예로서 사용된다. 일상생활에서 스마트폰은 2차원 코드가 담긴 사진을 스캔하거나 관련 응용 프로그램의 기능을 구현하거나 정보를 얻는 데 사용될 수 있다.
현재 스마트폰은 화면이 꺼진 상태에서 2차원 코드를 스캔하는 동작을 수행해야 하는 경우 먼저 화면을 켜야하고, 스마트폰 잠금 해제 후 관련 응용 프로그램이 2차원 코드 스캔을 완료하기 위해 작동되어야 한다.
그러나 스마트폰이 2차원 코드를 담고 있는 사진을 스캔하는 전술한 동작은, 조작이 복잡하고 지능성이 낮다는 단점이 있다. 결과적으로 사용자의 사용 편의성이 저하된다.
본 출원의 실시예는 단말 장치에 적용되는 서비스 처리 방법 및 관련 장치를 제공한다. 단말 장치는 단말 장치의 센서를 이용하여 처리 대상 데이터를 획득할 수 있다. 단말 장치의 장면 식별 모델(scene identification model)은 처리 대상 데이터에 기초하여 현재 장면을 결정하고 현재 장면에 기초하여 대응하는 서비스 처리 방식을 결정한다. 서비스 처리 방식은 단말 장치에 미리 설정된 서비스 처리 방식이기 때문에 사용자의 조작 단계를 단순화할 수 있고, 조작 지능을 향상시킬 수 있으며, 사용자의 사용 편의성을 향상시킬 수 있다.
전술한 기술적 문제를 해결하기 위해 본 출원의 실시예는 다음과 같은 기술적 솔루션을 제공한다.
제1 측면에 따르면, 본 출원의 일 실시예는 단말 장치에 적용되는 서비스 처리 방법을 제공하며, 이는 처리 대상 데이터를 획득하는 단계 - 상기 처리 대상 데이터는 센서에 의해 수집된 데이터를 사용하여 생성되고, 상기 센서는 이미지 센서를 포함하고, 상기 처리 대상 데이터는 상기 이미지 센서에 의해 수집된 이미지 데이터를 이용하여 생성된 처리 대상 이미지 데이터를 포함함 -; 장면 식별 모델을 이용하여 상기 처리 대상 데이터에 대응하는 타겟 장면을 결정하는 단계 - 상기 장면 식별 모델은 센서 데이터 세트 및 장면 유형 세트를 사용하여 트레이닝을 통해 획득됨 -; 및 상기 타겟 장면에 기초하여 서비스 처리 방식을 결정하는 단계를 포함한다.
본 출원에서, 단말 장치는 단말 장치에 배치되거나 단말 장치에 연결된 센서를 사용하여 데이터를 수집한다. 여기서 센서는 적어도 적외선 이미지 센서를 포함하고, 단말 장치는 수집된 데이터에 기초하여 처리 대상 데이터를 생성하며, 처리 대상 데이터는 적어도 적외선 이미지 센서에 의해 수집된 이미지 데이터를 사용하여 생성된 처리 대상 이미지 데이터를 포함한다. 단말 장치는 처리 대상 데이터를 획득한 후 장면 식별 모델을 이용하여 처리 대상 데이터에 대응하는 타겟 장면을 결정할 수 있으며, 여기서 장면 식별 모델은 수집을 통해 센서에 의해 획득된 데이터 세트와 상이한 데이터에 대응하는 장면 유형 세트를 이용하여 트레이닝을 통해 획득되고, 오프라인 트레이닝은 딥 러닝 프레임 워크를 사용하여 모델 설계 및 트레이닝을 수행하는 것을 의미한다. 현재 타겟 장면을 결정한 후, 단말 장치는 타겟 장면에 기초하여 대응하는 서비스 처리 방식을 결정할 수 있다. 센서에 의해 수집된 데이터와 장면 식별 모델을 이용하여 단말 장치가 현재 위치한 타겟 장면이 결정될 수 있으며, 대응하는 서비스 처리 방식은 타겟 장면에 기초하여 별도의 추가 조작 없이도 타겟 장면에 대응하는 서비스 처리 방식을 단말 장치가 자동으로 결정할 수 있으므로, 사용자의 사용 편의성을 높일 수 있다. 적외선 이미지 센서는 항상 켜져 있다(상시 온). 기술이 발전함에 따라 본 출원에서 이미지 센서는, 그 센서가 이미지를 수집할 수 있다면, 적외선 센서가 아니어도 좋다. 적외선 센서는 현재 알려진 센서에서 적외선 센서의 전력 소비가 상대적으로 낮다는 이유에서 사용될 뿐이다.
제1 측면의 가능한 구현에서, 상기 장면 식별 모델을 이용하여 상기 처리 대상 데이터에 대응하는 타겟 장면을 결정하는 단계는, 상기 장면 식별 모델에서 AI 알고리즘을 사용하여 상기 처리 대상 데이터에 대응하는 타겟 장면을 결정하는 단계를 포함하고, 상기 AI 알고리즘은 딥 러닝 알고리즘을 포함하고, 상기 AI 알고리즘은 AI 프로세서에서 실행된다.
본 출원에서, 단말 장치는 구체적으로 장면 식별 모델에서 AI 알고리즘을 사용하여 처리 대상 데이터에 대응하는 타겟 장면을 결정한다. AI 알고리즘은 딥 러닝 알고리즘을 포함하며 단말 장치의 AI 프로세서에서 실행된다. AI 프로세서는, 강력한 병렬 컴퓨팅 기능을 가지고 있고, AI 알고리즘 실행시 높은 효율성을 특징으로 하기 때문에 장면 식별 모델은 AI 알고리즘을 사용하여 특정 타겟 장면을 결정한다. AI 알고리즘은 단말 장치에서 AI 프로세서에서 실행되고, 이로써 장면 식별의 효율성을 높이고 사용자의 사용 편의성을 더욱 향상시킬 수 있다.
제1 측면의 가능한 구현에서, 센서는 오디오 수집기 및 제1 서브 센서 중 적어도 하나를 더 포함하고, 처리 대상 데이터는 처리 대상 오디오 데이터 및 제1 처리 대상 서브 데이터 중 적어도 하나를 포함하고, 처리 대상 오디오 데이터는 오디오 수집기에 의해 수집된 오디오 데이터를 사용하여 생성되고, 제1 처리 대상 서브 데이터는 제1 서브 센서에 의해 수집된 제1 서브 데이터를 사용하여 생성된다.
본 출원에서, 적외선 이미지 센서에 추가하여, 단말 장치에 배치된 센서는 오디오 수집기 및 제1 서브 센서 중 하나를 더 포함한다. 제1 서브 센서는 가속 센서, 자이로스코프, 주변 광 센서, 근접(proximity) 센서 및 지자기(geomagnetic) 센서 중 하나 이상일 수 있다. 오디오 수집기는 오디오 데이터를 수집하고 오디오 데이터는 단말 장치에서 처리 대상 오디오 데이터를 생성하기 위해 처리된다. 제1 서브 센서는 제1 서브 센서 데이터를 수집하고, 제1 서브 센서 데이터는 단말 장치에 의해 처리되어 처리 대상 제1 서브 센서 데이터가 생성된다. 단말 장치는 복수의 센서를 이용하여 복수 차원의 데이터를 수집함으로써 장면 식별의 정확성을 높일 수 있다.
제1 측면의 가능한 구현에서, 상기 처리 대상 데이터를 획득하는 단계는, 미리 설정된 이미지 수집 실행 시간이 되면, 상기 이미지 센서를 이용하여 이미지 데이터를 획득하는 단계와 - 상기 이미지 데이터는 상기 이미지 센서에 의해 수집된 데이터임 -, 이미지 신호 프로세서를 이용하여 상기 처리 대상 이미지 데이터를 획득하는 단계 - 상기 처리 대상 이미지 데이터는 상기 이미지 데이터에 기초하여 상기 이미지 신호 프로세서에 의해 생성됨 -; 및/또는 미리 설정된 오디오 수집 실행 시간이 되면, 상기 오디오 수집기를 이용하여 상기 오디오 데이터를 획득하는 단계와, 상기 오디오 신호 프로세서를 이용하여 상기 처리 대상 오디오 데이터를 획득하는 단계 - 상기 처리 대상 오디오 데이터는 상기 오디오 데이터에 기초하여 상기 오디오 신호 프로세서에 의해 생성됨 -; 및/또는 미리 설정된 제1 실행 시간이 되면, 상기 제1 서브 센서를 이용하여 상기 제1 서브 센서 데이터를 획득하는 단계와 - 상기 제1 서브 센서 데이터는 상기 제1 서브 센서에 의해 수집된 데이터임 -, 제1 서브 센서 프로세서를 이용하여 상기 제1 처리 대상 서브 데이터를 획득하는 단계 - 상기 제1 처리 대상 서브 데이터는 상기 제1 서브 센서 데이터에 기초하여 상기 제1 서브 센서 프로세서에 의해 생성됨-을 포함한다..
본 출원에서, 적외선 이미지 센서, 오디오 수집기 및 제1 서브 센서 중 하나 이상은 각각의 미리 설정된 실행 시간이 도래한 후에 센서에 대응하는 데이터를 별도로 수집할 수 있다. 원본 센서 데이터가 수집된 후 단말 장치는 센서에 대응하는 프로세서를 사용하여 원본 센서 데이터를 처리하여 처리 대상 센서 데이터를 생성한다. 미리 설정된 실행 시간이 설정되고 센서가 타이밍을 통해 데이터 수집을 시작하며, 이로써 수집된 원본 데이터를 센서에 대응하는 프로세서에서 처리할 수 있고 장면 식별 모델이 차지하는 버퍼 공간을 줄여 전력 소비를 줄이며, 대기 모드에서 단말 장치의 사용 시간을 개선한다.
제1 측면의 가능한 구현에서, 상기 타겟 장면에 기초하여 서비스 처리 방식을 결정하는 단계는, 상기 타겟 장면이 2차원 코드 스캔하는 장면인 경우, 상기 2차원 코드 스캔하는 장면에 기초하여, 상기 서비스 처리 방식이 단말 장치에서 메인 이미지 센서를 시작하는 것, 및/또는 2차원 코드 스캔 기능을 지원하는 응용 프로그램을 시작하는 것으로 결정하는 단계를 포함한다.
본 출원에서, 단말 장치의 하나 이상의 센서가 수집한 데이터에 기초하여 센서가 수집한 데이터에 대응하는 타겟 장면이 2차원 코드 스캔하는 장면이라고 결정하면, 단말 장치는 2차원 코드 스캔하는 장면에 대응하는 서비스 처리 방식을 결정한다. 서비스 처리 방식은 단말 장치에서 메인 이미지 센서를 시작하는 것을 포함한다. 단말 장치는 메인 이미지 센서를 이용하여 2차원 코드를 스캔할 수 있다. 또는, 단말 장치는 2차원 코드 스캔 기능을 지원하는 응용 프로그램을 시작할 수 있다. 예를 들어, 응용 프로그램 WeChat을 시작하고 WeChat에서 2차원 코드 스캔 기능을 활성화할 수 있다. 메인 이미지 센서와 2차원 코드 스캔 기능을 지원하는 응용 프로그램이 모두 시작될 수 있거나, 메인 이미지 센서 또는 2차원 코드 스캔 기능을 지원하는 응용 프로그램이 미리 설정된 명령 또는 사용자로부터 받은 지시에 기초하여 시작될 수 있다. 이것은 여기에 제한되지 않는다. 2차원 코드를 스캔하는 것 외에도 메인 이미지 센서를 사용하여 바코드와 같은 다른 아이콘을 스캔할 수 있다. 이것은 여기에 제한되지 않는다. 단말 장치는 장면 식별 모델과 다차원 센서가 수집한 데이터를 이용하여 타겟 장면이 2차원 코드 스캔하는 장면임을 결정한 후, 관련 서비스 처리 방식을 자동으로 실행하여 단말 장치의 지능 및 사용자의 조작 편의성을 향상시킨다.
제1 측면의 가능한 구현에서, 상기 타겟 장면에 기초하여 서비스 처리 방식을 결정하는 단계는, 상기 타겟 장면이 회의 장면인 경우, 상기 회의 장면에 기초하여, 상기 서비스 처리 방식이 단말 장치의 무음 모드를 활성화하는 것, 및/또는 단말 장치에서 응용 프로그램의 무음 기능을 활성화하는 것, 및/또는 단말 장치의 대기 화면에서 상시 표시 영역에 무음 모드 아이콘을 표시하는 것으로 결정하는 단계를 포함하고, 상기 무음 모드 아이콘은 무음 모드를 활성화하는 데 사용된다. .
본 출원에서, 단말 장치의 하나 이상의 센서에 의해 수집된 데이터에 기초하여 센서에 의해 수집된 데이터에 대응하는 타겟 장면이 회의 장면임을 결정하면, 단말 장치는 회의 장면에 대응하는 서비스 처리 방식을 결정한다. 이 서비스 처리 방식은 단말 장치의 무음 모드를 활성화하는 것을 포함한다. 단말 장치가 무음 모드이면 단말 장치에서 실행되는 모든 응용 프로그램은 무음 상태이다. 다르게는, 단말 장치는 단말 장치에서 실행되는 응용 프로그램의 무음 기능을 활성화할 수 있으며, 예를 들어 응용 프로그램 위챗(WeChat)의 무음 기능을 활성화할 수 있다. 이 경우 위챗의 알림음이 무음 모드로 전환된다. 다르게는, 단말 장치는 대기 화면의 상시 표시 영역에 무음 모드 아이콘을 표시할 수 있다. 단말 장치는 무음 모드 아이콘을 이용하여 사용자의 무음 동작 명령을 수신할 수 있으며, 단말 장치는 무음 동작 명령에 응답하여 무음 모드를 활성화한다. 장면 식별 모델과 다차원 센서가 수집한 데이터를 이용하여 타겟 장면이 회의 장면임을 결정한 후, 단말 장치는 자동으로 관련 서비스 처리 방식을 실행하여 단말 장치의 지능 및 사용자 조작 편의성을 향상시킬 수 있다.
제1 측면의 가능한 구현에서, 상기 타겟 장면에 기초하여 서비스 처리 방식을 결정하는 단계는, 상기 타겟 장면이 모션 장면인 경우, 상기 모션 장면에 기초하여, 상기 서비스 처리 방식이 단말 장치의 모션 모드를 활성화하는 것, 및/또는 단말 장치에서 응용 프로그램의 모션 모드 기능을 활성화하는 것, 및/또는 단말 장치의 대기 화면의 상시 표시 영역에 음악 재생 아이콘을 표시하는 것으로 결정하는 단계를 포함하고, 상기 단말 장치의 모션 모드는 걸음 수 계산 기능을 포함하고, 상기 음악 재생 아이콘은 음악 재생을 시작하거나 일시 중지하는 데 사용된다.
본 출원에서, 단말 장치의 하나 이상의 센서에 의해 수집된 데이터에 기초하여, 센서에 의해 수집된 데이터에 대응하는 타겟 장면이 모션 장면인 것으로 결정하면, 단말 장치는 모션 장면에 대응하는 서비스 처리 방식을 결정한다. 서비스 처리 방식은 단말 장치의 모션 모드를 활성화하는 것을 포함한다. 단말 장치가 모션 모드인 경우, 단말 장치는 걸음 수 계산 응용 프로그램 및 생리(physiological) 데이터 모니터링 응용 프로그램을 시작하고, 단말 장치에서 관련 센서를 이용하여 사용자의 걸음 수 및 관련 생리 데이터를 기록한다. 다르게는, 단말 장치는 단말 장치에서 응용 프로그램의 모션 모드 기능을 활성화할 수 있으며, 예를 들어 응용 프로그램 NetEase Cloud Music의 모션 기능을 활성화할 수 있다. 이 경우 NetEase Cloud Music의 재생 모드가 모션 모드이다. 또는 단말 장치는 단말 장치 대기 화면의 상시 표시 영역에 음악 재생 아이콘을 표시할 수 있다. 단말 장치는 음악 재생 아이콘을 이용하여 사용자의 음악 재생 명령을 수신할 수 있고, 단말 장치는 음악 재생 명령에 응답하여 음악 재생을 시작하거나 일시 중지할 수 있다. 장면 식별 모델과 다차원 센서에 의해 수집된 데이터를 이용하여 타겟 장면이 모션 장면임을 결정한 후 단말 장치는 자동으로 관련 서비스 처리 방식을 실행하여 단말 장치의 지능 및 사용자 조작 편의성을 향상시킬 수 있다.
제1 측면의 가능한 구현에서, 상기 타겟 장면에 기초하여 서비스 처리 방식을 결정하는 단계는, 상기 타겟 장면이 운전 장면인 경우, 상기 운전 장면에 기초하여, 상기 서비스 처리 방식이 단말 장치의 운전 모드를 활성화하는 것, 및/또는 단말 장치에서 응용 프로그램의 운전 모드 기능을 활성화하는 것, 및/또는 단말 장치의 대기 화면의 상시 표시 영역에 운전 모드 아이콘을 표시하는 것으로 결정하는 단계를 포함하고, 상기 단말 장치의 운전 모드는 내비게이션 기능 및 음성 어시스턴트를 포함하고, 상기 운전 모드 아이콘은 운전 모드를 활성화하는 데 사용된다.
본 출원에서, 단말 장치의 하나 이상의 센서에 의해 수집된 데이터에 기초하여, 센서에 의해 수집된 데이터에 대응하는 타겟 장면이 운전 장면인 것으로 결정되면, 단말 장치는 운전 장면에 대응하는 서비스 처리 방식을 결정한다. 서비스 처리 방식은 단말 장치의 운전 모드를 활성화하는 것을 포함한다. 단말 장치가 운전 모드인 경우, 단말 장치는 음성 어시스턴트를 시작하고, 단말 장치는 사용자가 입력한 음성 명령에 따라 관련 동작을 수행할 수 있으며, 단말 장치는 내비게이션 기능을 또한 활성화할 수 있다. 다르게는, 단말 장치는 단말 장치에서 응용 프로그램의 운전 모드 기능을 활성화할 수 있으며, 예를 들어 응용 프로그램 Amap의 운전 모드 기능을 활성화할 수 있다. 이 경우 NetEase Cloud Music의 내비게이션 모드가 운전 모드이다. 다르게는, 단말 장치는 대기 화면의 상시 표시 영역에 운전 모드 아이콘을 표시할 수 있다. 단말 장치는 운전 모드 아이콘을 이용하여 사용자의 운전 모드 명령을 수신할 수 있으며, 단말 장치는 운전 모드 명령에 응답하여 운전 모드를 활성화한다. 장면 식별 모델과 다차원 센서가 수집한 데이터를 이용하여 타겟 장면이 운전 장면임을 결정한 후 단말 장치는 자동으로 관련 서비스 처리 방식을 실행하여 단말 장치의 지능 및 사용자 조작 편의성을 향상시킬 수 있다.
제2 측면에 따르면, 본 출원의 실시예는 센서 및 프로세서를 포함하는 단말 장치를 제공한다. 센서는 적어도 적외선 이미지 센서를 포함한다. 프로세서는 처리 대상 데이터를 획득하도록 구성되며, 여기서 처리 대상 데이터는 센서에 의해 수집된 데이터를 사용하여 생성되며, 처리 대상 데이터에는 적어도 적외선 이미지 센서에서 수집한 이미지 데이터를 사용하여 생성된 처리 대상 이미지 데이터가 포함된다. 프로세서는 또한 장면 식별 모델을 사용하여 처리 대상 데이터에 대응하는 타겟 장면을 결정하도록 구성되며, 여기서 장면 식별 모델은 센서에서 얻은 센서 데이터 세트와 장면 유형 세트를 사용하여 트레이닝을 통해 얻는다. 프로세서는 또한 타겟 장면에 기초하여 서비스 처리 방식을 결정하도록 구성된다. 프로세서는 또한 제1 측면에 따른 서비스 처리 방법을 수행하도록 구성된다.
제3 측면에 따르면, 본 출원의 실시예는 서비스 처리 장치를 제공하고, 여기서 서비스 처리 장치는 단말 장치에 적용되고, 처리 대상 데이터를 획득하도록 구성된 획득 유닛 - 처리 대상 데이터는 센서에 의해 수집된 데이터를 사용하여 생성되고, 센서에는 적어도 적외선 이미지 센서가 포함되며, 처리 대상 데이터에는 적외선 이미지 센서에서 수집된 이미지 데이터를 사용하여 생성된 처리 대상 이미지 데이터가 적어도 포함됨 -; 및 장면 식별 모델을 사용하여 처리 대상 데이터에 대응하는 타겟 장면을 결정하도록 구성된 결정 유닛을 포함하고, 장면 식별 모델은 센서 데이터 세트 및 장면 유형 세트를 사용하여 트레이닝을 통해 획득되며, 결정 유닛은 타겟 장면에 기초하여 서비스 처리 방식을 결정하도록 더 구성된다.
제3 측면의 가능한 구현에서, 상기 결정 유닛은 구체적으로, 상기 장면 식별 모델에서 AI 알고리즘을 사용하여 상기 처리 대상 데이터에 대응하는 타겟 장면을 결정하도록 구성되고, 상기 AI 알고리즘은 딥 러닝 알고리즘을 포함하고 상기 AI 알고리즘은 AI 프로세서에서 실행된다.
제3 측면의 가능한 구현에서, 상기 센서는 오디오 수집기 및 제1 서브 센서 중 적어도 하나를 더 포함하고, 상기 처리 대상 데이터는 처리 대상 오디오 데이터 및 제1 처리 대상 서브-데이터 중 적어도 하나를 포함하고, 상기 처리 대상 오디오 데이터는 상기 오디오 수집기에 의해 수집된 오디오 데이터를 이용하여 생성되고, 상기 제1 처리 대상 서브-데이터는 상기 제1 서브 센서에 의해 수집된 제1 서브 센서 데이터를 이용하여 생성된다.
제3 측면의 가능한 구현에서, 상기 획득 유닛은 구체적으로, 미리 설정된 이미지 수집 실행 시간이 되면, 상기 이미지 센서를 사용하여 이미지 데이터를 획득하도록 구성되고, 상기 이미지 데이터는 상기 이미지 센서에 의해 수집된 데이터이고, 상기 획득 유닛은 구체적으로, 이미지 신호 프로세서를 사용하여 처리 대상 이미지 데이터를 획득하도록 구성되며, 상기 처리 대상 이미지 데이터는 상기 이미지 데이터에 기초하여 상기 이미지 신호 프로세서에 의해 생성되고; 및/또는 상기 획득 유닛은 구체적으로, 미리 설정된 오디오 컬렉션 실행 시간이 되면, 상기 오디오 수집기를 사용하여 오디오 데이터를 획득하고, 상기 획득 유닛은 구체적으로, 오디오 신호 프로세서를 사용하여 처리 대상 오디오 데이터를 획득하도록 구성되며, 상기 처리 대상 오디오 데이터는 오디오 데이터에 기초하여 상기 오디오 신호 프로세서에 의해 생성되고; 및/또는 상기 획득 유닛은 구체적으로, 제1 사전 설정된 실행 시간이 되면, 제1 서브 센서를 사용하여 제1 서브 센서 데이터를 획득하며, 상기 제1 서브 센서 데이터는 상기 제1 서브 센서에 의해 수집된 데이터이고, 상기 획득 유닛은 구체적으로, 제1 서브 센서 프로세서를 사용하여 제1 처리 대상 서브-데이터를 획득하도록 구성되며, 상기 제1 처리 대상 서브-데이터는 상기 제1 서브 센서 데이터에 기초하여 제1 서브 센서 프로세서에 의해 생성된다.
제3 측면의 가능한 구현에서, 상기 결정 유닛은 구체적으로, 상기 결정 유닛이 타겟 장면이 2차원 코드 스캔하는 장면이라고 결정하는 경우, 상기 2차원 코드 스캔하는 장면에 기초하여, 서비스 처리 방식이 단말 장치의 1차 이미지 센서를 시작하는 것, 및/또는 단말 장치에 있는 2차원 코드 스캔 기능을 지원하는 응용 프로그램을 시작하는 것으로 결정하도록 구성된다.
제3 측면의 가능한 구현에서, 상기 결정 유닛은 구체적으로, 상기 결정 유닛이 상기 타겟 장면이 회의 장면이라고 결정하면, 상기 회의 장면에 기초하여, 상기 서비스 처리 방식이 단말 장치의 무음 모드를 활성화하는 것, 및/또는 단말 장치에서 응용 프로그램의 무음 기능을 활성화하는 것, 및/또는 단말 장치의 대기 화면에서 상시 표시 영역에 무음 모드 아이콘을 표시하는 것으로 결정하도록 구성되고, 상기 무음 모드 아이콘은 무음 모드를 활성화하는 데 사용된다.
제3 측면의 가능한 구현에서, 상기 결정 유닛은 구체적으로, 상기 결정 유닛이 상기 타겟 장면이 모션 장면이라고 결정하면, 상기 모션 장면에 기초하여, 상기 서비스 처리 방식이 단말 장치의 모션 모드를 활성화하는 것, 및/또는 단말 장치에서 응용 프로그램의 모션 모드 기능을 활성화하는 것, 및/또는 단말 장치의 대기 화면의 상시 표시 영역에 음악 재생 아이콘을 표시하는 것으로 결정하도록 구성되고, 상기 단말 장치의 모션 모드는 걸음 수 계산 기능이고, 상기 음악 재생 아이콘은 음악 재생을 시작하거나 일시 중지하는 데 사용된다.
제3 측면의 가능한 구현에서, 상기 결정 유닛은 구체적으로, 상기 결정 유닛이 타겟 장면이 운전 장면이라고 결정하면, 상기 운전 장면에 기초하여, 상기 서비스 처리 방식이 단말 장치의 운전 모드를 활성화하는 것, 및/또는 단말 장치에서 응용 프로그램의 운전 모드 기능을 활성화하는 것, 및/또는 단말 장치의 대기 화면에서 상시 표시 영역에 운전 모드 아이콘을 표시하는 것으로 결정하도록 구성되고, 상기 단말 장치의 운전 모드는 내비게이션 기능과 음성 어시스턴트를 포함하고, 상기 운전 모드 아이콘은 운전 모드를 활성화하는 데 사용된다.
제5 측면에 따르면, 본 출원의 실시예는 컴퓨터 프로그램 제품이 컴퓨터에서 실행될 때, 컴퓨터가 제1 측면에 따른 저장 블록 처리 방법을 수행할 수 있는 명령어를 포함하는 컴퓨터 프로그램 제품을 제공한다.
제6 측면에 따르면, 본 출원의 실시예는 컴퓨터 판독 가능 저장 매체를 제공하며, 컴퓨터 판독 가능 저장 매체는 패킷 처리 명령어를 저장하고, 명령어가 컴퓨터에서 실행될 때 컴퓨터는 제1 측면에 따른 저장 블록 처리 방법을 수행할 수 있다.
제7 측면에 따르면, 본 출원은 칩 시스템을 제공하며, 여기서 칩 시스템은 프로세서를 포함하고, 전술한 측면의 기능, 예컨대 상술한 방법에서의 정보 및/또는 데이터를 보내거나 처리하는 것을 구현할 때 네트워크 장치를 지원하도록 구성된다. 가능한 설계에서 칩 시스템은 메모리를 더 포함한다. 메모리는 네트워크 장치에 필요한 프로그램 명령과 데이터를 저장하도록 구성된다. 칩 시스템은 칩을 포함하거나 칩 및 다른 개별 장치를 포함할 수 있다.
제8 측면에 따르면, 본 출원은 서비스 처리 방법을 제공하는데, 이 방법은 단말 장치에 적용되고, 단말 장치에 상시 온 이미지 센서가 구성되며, 이 방법은 이미지 센서에 의해 수집된 이미지 데이터가 포함된 데이터를 획득하는 단계; 장면 식별 모델을 이용하여, 데이터에 대응하는 타겟 장면을 결정하는 단계 - 장면 식별 모델은 센서 데이터 세트 및 장면 유형 세트를 이용하여 트레이닝을 통해 획득됨 -; 타겟 장면에 기초하여 서비스 처리 방식을 결정하는 단계를 포함한다.
제8 측면의 다른 구현에 대해서는 전술한 제1 측면의 구현을 참조한다. 자세한 내용은 여기서 다시 설명하지 않는다.
제9 측면에 따르면, 본 출원은 단말 장치를 제공하는데, 여기서 상시 온 이미지 센서가 단말 장치에 구성되고, 단말 장치는 전술한 구현 중 어느 하나에서 방법을 구현하도록 구성된다.
또한, 제2 내지 제9 측면의 구현으로 인한 기술적 효과에 대해서는 제1 측면의 구현으로 인한 기술적 효과를 참조한다. 자세한 내용은 여기에서 설명하지 않는다.
본 출원의 실시예는 다음과 같은 장점이 있다는 것을 전술한 기술적 솔루션으로부터 알 수 있다.
전술한 방법에서 단말 장치는 단말 장치의 센서를 이용하여 처리 대상 데이터를 획득할 수 있다. 단말 장치의 장면 식별 모델은 처리 대상 데이터에 기초하여 현재 장면을 결정하고 현재 장면에 기초하여 대응하는 서비스 처리 방식을 결정한다. 서비스 처리 방식은 단말 장치에 미리 설정된 서비스 처리 방식이므로 사용자의 조작 단계를 단순화하고 조작 지능을 향상시킬 수 있으며 사용자의 사용 편의성을 향상시킬 수 있다. 예를 들어, 단말 장치는 특히 스마트폰이다. 스마트폰이 화면이 꺼진 상태에서 2차원 코드가 포함된 사진을 스캔해야 하는 경우 별도의 조작없이 관련 응용 프로그램의 기능을 자동으로 구현하거나 정보를 획득할 수 있어 사용자의 사용 편의성이 향상된다.
도 1a는 본 출원의 실시예에 따른 시스템 아키텍처의 개략도이다.
도 1b는 본 출원의 실시예에 따른 다른 시스템 아키텍처의 개략도이다.
도 2는 본 출원의 실시예에 따른 서비스 처리 방법에서의 사용 시나리오의 개략도이다.
도 3은 본 출원의 실시예에 따른 서비스 처리 방법의 실시예의 개략도이다.
도 4는 본 출원의 실시예에 따라 응용 프로그램을 지능적으로 시작하는 실시예의 개략도이다.
도 5는 본 출원의 실시예에 따른 지능적으로 서비스를 추천하는 실시예의 개략도이다.
도 6은 본 출원의 실시예에 따른 서비스 처리 방법의 응용 시나리오의 개략적인 흐름도이다.
도 7은 본 출원의 실시예에 따른 컴퓨터 시스템의 개략적인 구조도이다.
도 8은 본 출원의 실시예에 따른 AI 프로세서의 개략적인 구조도이다.
도 9는 본 출원의 실시예에 따른 서비스 처리 장치의 실시예의 개략도이다.
도 1b는 본 출원의 실시예에 따른 다른 시스템 아키텍처의 개략도이다.
도 2는 본 출원의 실시예에 따른 서비스 처리 방법에서의 사용 시나리오의 개략도이다.
도 3은 본 출원의 실시예에 따른 서비스 처리 방법의 실시예의 개략도이다.
도 4는 본 출원의 실시예에 따라 응용 프로그램을 지능적으로 시작하는 실시예의 개략도이다.
도 5는 본 출원의 실시예에 따른 지능적으로 서비스를 추천하는 실시예의 개략도이다.
도 6은 본 출원의 실시예에 따른 서비스 처리 방법의 응용 시나리오의 개략적인 흐름도이다.
도 7은 본 출원의 실시예에 따른 컴퓨터 시스템의 개략적인 구조도이다.
도 8은 본 출원의 실시예에 따른 AI 프로세서의 개략적인 구조도이다.
도 9는 본 출원의 실시예에 따른 서비스 처리 장치의 실시예의 개략도이다.
본 출원은 서비스 처리 방법 및 관련 장치를 제공한다. 단말 장치는 단말 장치의 센서를 이용하여 처리 대상 데이터를 획득할 수 있다. 단말 장치 내의 장면 식별 모델은 처리 대상 데이터에 기초하여 현재 장면을 결정하고 현재 장면에 기초하여 대응하는 서비스 처리 방식을 결정한다. 서비스 처리 방식은 단말 장치에 미리 설정된 서비스 처리 방식이기 때문에 사용자의 조작 단계를 단순화할 수 있고, 조작 지능을 향상시킬 수 있으며, 사용자의 사용 편의성을 향상시킬 수 있다.
본 출원의 명세서, 청구 범위 및 첨부된 도면에서, "제1", "제2", "제3" 및 "제4"(있다면)와 같은 용어는 유사한 객체를 구별하기 위한 것이지만 반드시 특정 순서를 기술하는 것은 아니다. 그러한 방식으로 사용되는 데이터는 적절한 상황에서 상호 교환될 수 있으므로, 여기에 설명된 실시예는 여기에 설명되거나 설명된 순서와 다른 순서로 구현될 수 있음을 이해해야 한다. 또한, 용어 "포함하다", "가지다" 및 그 밖의 모든 변형은 비-배타적 포함을 포함하는 것을 의미한다. 예를 들어 단계 또는 유닛 리스트를 포함하는 프로세스, 방법, 시스템, 제품 또는 장치는 명시적으로 나열된 단계 또는 유닛에 반드시 제한되지는 않지만 명시적으로 나열되지 않았거나 그러한 프로세스, 방법, 제품 또는 장치에 고유한 다른 단계 또는 단위를 포함할 수 있다.
실시예를 설명하기 전에 먼저 실시예에서 발생할 수 있는 몇 가지 개념에 대해 설명한다. 이하의 개념 설명은 실시예의 특정 경우에 의해 제한될 수 있지만, 본 출원이 특정 경우에 제한된다는 것을 의미하는 것은 아님을 이해해야 한다. 다음의 개념 설명은 또한 다른 실시예에서 특정 경우에 따라 달라질 수 있다.
본 출원의 실시예의 이해를 용이하게 하기 위해, 본 출원에서 발생할 수 있는 몇 가지 개념이 먼저 설명된다. 이하의 개념 설명은 본 출원의 특정 경우로 인해 제한될 수 있지만, 본 출원이 특정 경우에 제한된다는 것을 의미하지는 않는다는 것을 이해해야 한다. 다음의 개념 설명은 또한 다른 실시예에서 특정 경우에 따라 달라질 수 있다.
1. 프로세서
복수의 프로세서(코어 또는 컴퓨팅 유닛이라고도 함)가 단말 장치에 배치되고 이러한 코어들이 프로세서를 구성한다. 본 출원의 실시예에서 코어는 주로 이종(heterogeneous) 코어와 관련되며, 이러한 코어는 다음 유형을 포함하지만 이에 제한되지 않는다.
(1) 중앙 처리 장치(central processing unit, CPU): 중앙 처리 장치는 매우 큰 규모의 집적 회로이며 컴퓨터의 컴퓨팅 코어 및 제어 코어(제어 장치)이다. 중앙 처리 장치의 기능은 주로 컴퓨터 명령을 해석하고 컴퓨터 소프트웨어에서 데이터를 처리하는 것이다.
(2) 그래픽 처리 장치(graphics processing unit, GPU): 그래픽 처리 장치는 디스플레이 코어, 비주얼 프로세서 및 디스플레이 칩이라고도 하며, 특히 개인용 컴퓨터, 워크 스테이션, 게임 콘솔 및 일부 모바일 단말 장치(예: 태블릿 컴퓨터 및 스마트 폰)에서 이미지 계산을 수행하는 마이크로 프로세서이다.
(3) 디지털 신호 프로세서(digital signal process, DSP): DSP는 디지털 신호 처리 기술을 구현할 수 있는 칩이다. DSP 칩 내부에는 프로그램과 데이터가 분리된 하바드(Harvard) 구조가 사용된다. DSP 칩에는 전용 하드웨어 배율기가 있고 파이프 라인을 사용하여 광범위하게 작동하며 특수 DSP 명령을 제공하며 다양한 디지털 신호 처리 알고리즘을 신속하게 구현하는 데 사용할 수 있다.
(3.1) 이미지 신호 프로세서(image signal processor, ISP): ISP는 이미지 신호 처리 및 계산을 구현할 수 있는 칩이다. ISP는 DSP 칩의 일종으로 주로 이미지 센서에서 출력되는 데이터에 대한 후 처리를 수행하는 데 사용된다. 주요 기능에는 선형 보정, 노이즈 제거, 결함 픽셀 보정, 보간, 화이트 밸런스, 자동 노출 등이 포함된다.
(3.2) 오디오 신호 프로세서(audio signal processor, ASP): ASP는 오디오 신호 처리 및 계산을 구현할 수 있는 칩이다. ASP는 DSP 칩의 일종으로 주로 오디오 수집기에서 출력되는 데이터에 대한 후 처리를 수행하는 데 사용된다. 주요 기능으로는 음원 위치 파악, 음원 향상, 에코 제거, 소음 억제 기술 등이 있다.
(4) 인공 지능(artificial intelligence, AI) 프로세서
인공 지능 프로세서 또는 AI 가속기라고도 하는 AI 프로세서는 인공 지능 알고리즘이 실행되는 프로세싱 칩으로, 일반적으로 ASIC(application specific integrated circuits)를 사용하여 구현되거나, 필드 프로그래밍 가능 게이트 어레이(field-programmable gate array, FPGA)를 사용하여 구현하거나 GPU를 사용하여 구현할 수 있다. 이것은 여기에 제한되지 않는다. AI 프로세서는 시스노릭 어레이(systolic array) 구조를 사용한다. 이 어레이 구조에서 데이터는 미리 결정된 "파이프 라인" 방식으로 어레이의 처리 장치 간에 리드미컬하게 흐른다. 데이터가 흐르는 프로세스에서 모든 처리 장치는 처리 장치를 통해 흐르는 데이터를 병렬로 처리하므로 AI 프로세서가 매우 높은 병렬 처리 속도에 도달할 수 있다.
AI 프로세서는 구체적으로 신경망 처리 장치(neural-network processing unit, NPU), 텐서 처리 장치(tensor processing unit, TPU), 지능 처리 장치(intelligence processing unit, IPU), GPU 등일 수 있다.
(4.1) 신경망 처리 장치(neural-network processing unit, NPU): NPU는 회로 계층에서 인간 뉴런과 시냅스를 시뮬레이션하고, 하나의 명령이 있는 딥 러닝 명령어 세트를 사용하여 대규모 뉴런과 시냅스를 직접 처리한다. 하나의 명령은 뉴런 그룹의 처리를 완료하는 데 사용된다. 스토리지와 컴퓨팅이 분리되어 CPU에서 사용되는 본 뉴만(von Neumann) 구조에 비해 NPU는 시냅스 가중치를 사용하여 스토리지와 컴퓨팅의 통합을 구현하여 실행 효율성을 크게 향상시킵니다.
(4.2) 텐서 처리 장치(TPU): 인공 지능은 인간 지능을 기계에 할당하기 위한 것이며 기계 트레이닝은 인공 지능을 구현하는 강력한 방법이다. 기계 트레이닝은 컴퓨터가 자동으로 트레이닝할 수 있도록 하는 방법을 연구하는 학문이다. TPU는 기계 트레이닝에 특별히 사용되는 칩이며 Tensorflow 플랫폼을 위한 프로그래밍 가능한 인공 지능 가속기일 수 있으며 본질적으로 시스노릭 어레이 구조의 가속기이다. TPU의 명령어 세트는 Tensorflow 프로그램이 변경되거나 알고리즘이 업데이트될 때도 실행될 수 있다. TPU는 높은 처리량으로 낮은 정밀도의 계산을 제공할 수 있으며 모델 트레이닝보다는 모델의 순방향 계산에 사용되며 에너지 효율성(TOPS/w)이 더 높다. TPU는 지능 처리 유닛(intelligence processing unit, IPU)이라고도 한다.
2. 센서
단말 장치에는 복수의 센서가 배치되고, 단말 장치는 이들 센서를 이용하여 외부 정보를 획득한다. 본 출원의 실시예에서 센서는 다음 유형을 포함하지만 이에 제한되지는 않는다.
(1) 적외선 이미지 센서(infrared radiation-red green blue image sensor, IR-RGB image sensor): 적외선 이미지 센서는 CCD(charge-coupled device) 장치 또는 표준 CMOS(complementary metal-oxide semiconductor) 유닛을 이용하고, 색 파장의 빛과 특정 적외선 파장의 빛만 통과시키는 필터를 이용하여 필터링을 수행하고, 이미지 신호 프로세서에서 분리하여 IR(적외선) 이미지 데이터 흐름과 RGB(빨강 파랑 녹색, 빨강 녹색 파랑) 이미지 데이터 흐름을 획득한다. IR 이미지 데이터 흐름은 저조도 환경에서 얻은 이미지 데이터 흐름이며, 분리를 통해 얻은 두 이미지 데이터 흐름은 다른 응용 프로그램에서 처리된다.
(2) 가속도 센서: 가속도 센서는 물체의 가속도 변화 값을 측정하도록 구성되며 일반적으로 X, Y, Z의 세 방향으로 측정을 수행한다. X 방향의 값은 수평 방향 이동을 나타낸다. Y 방향의 값은 단말 장치의 수직 방향 이동을 나타내고, Z 방향의 값은 단말 장치의 공간적 수직 방향 이동을 나타낸다.
실제 시나리오에서 가속도 센서는 단말 장치의 이동 속도와 방향을 측정하도록 구성된다. 예를 들어, 사용자가 단말 장치를 잡고 움직이면 단말 장치가 위아래로 움직인다. 이러한 방식으로 가속도 센서는 가속도가 앞뒤로 변하는 것을 감지할 수 있고, 가속도가 앞뒤로 변하는 횟수를 감지하여 걸음 수를 계산할 수 있다.
(3) 자이로스코프: 자이로스코프는 중심 회전축을 중심으로 물체의 각속도를 측정하는 센서이다. 단말 장치에 적용되는 자이로스코프는 마이크로 전자 기계 시스템 자이로스코프(micro-electro-mechanical-systems gyroscope, MEMS gyroscope) 칩이다. 일반적인 MEMS 자이로스코프 칩은 3축 자이로스코프 칩이며, 6개 방향의 변위 변화를 추적할 수 있다. 3축 자이로스코프 칩은 x, y, z 방향의 단말 장치의 각가속도 변화 값을 획득할 수 있으며, 단말 장치의 회전 방향을 감지하도록 구성된다.
(4) 주변 광 센서(ambient light sensor): 주변 광 센서는 외광의 변화를 측정하고 광전 효과에 따라 외광 강도의 변화를 측정하는 센서이다. 주변 광 센서는 단말 장치에 적용되며 단말 장치의 디스플레이 화면의 밝기를 조절하도록 구성된다. 그러나 디스플레이 화면은 일반적으로 단말 장치에서 전력을 가장 많이 소비하는 부분이므로 주변 광 센서는 화면 밝기 조정을 지원하도록 구성되어 배터리 수명을 더욱 연장한다.
(5) 근접 센서(proximity sensor): 근접 센서에는 적외선 방출 램프와 적외선 방사선 감지기가 포함된다. 근접 센서는 단말 장치의 핸드셋 근처에 있다. 단말 장치가 귀에 가까워지면 시스템은 근접 센서를 이용하여 사용자가 통화 중임을 인지한 후 디스플레이 화면을 꺼 사용자가 오조작으로 인해 통화에 영향을 주지 않도록 한다. 근접 센서의 작동 원리는 다음과 같다. 적외선 방출 램프에서 방출되는 보이지 않는 적외선은 근처의 물체에서 반사된 후 적외선 검출기에 의해 감지된다. 일반적으로 방사되는 가시 적외선에는 근적외선 스펙트럼 대역이 사용된다.
(6) 지자기 센서(geomagnetic sensor)(자기 센서): 지자기 센서는 지자기장의 방향에 따른 자속 분포가 다르기 때문에 지자기장에서 측정 대상의 서로 다른 모션 상태를 이용하여, 지자기장의 분포 변화를 감지하여 측정 대상의 제스처 및 모션 각도와 같은 정보를 지시하는 측정 장치이다. 지자기 센서는 일반적으로 단말 장치의 나침반 또는 내비게이션 응용 프로그램에 사용되며, 3차원 공간에서 단말 장치의 특정 방향을 계산하여 사용자가 정확한 위치 지정을 구현할 수 있도록 도와준다.
3. 장면 식별: 장면 식별은 컨텍스트 인식(context awareness)이라고도 하며, 소위 퍼베이시브 컴퓨팅(pervasive computing) 연구에서 유래되었으며 1994년 실리트(Schilit)에 의해 처음 제안됐다. 컨텍스트 인식은 많은 정의를 가지며, 간단히 말해서 센서 및 센서의 관련 기술을 사용하여 컴퓨터 장치가 현재 장면을 "인식"할 수 있도록 하는 것을 의미한다. 온도, 위치, 가속도, 오디오 및 비디오와 같은 상황 인식을 수행하는 데 사용할 수있는 많은 정보도 있다.
통상의 기술자가 본 출원의 솔루션을 더 잘 이해할 수 있도록 하기 위해, 본 출원의 실시예에서 첨부 도면을 참조하여 본 출원의 실시예를 설명한다.
본 출원의 실시예에서 제공되는 서비스 처리 방법은 단말 장치에 적용될 수 있다. 단말 장치는 휴대폰, 태블릿 컴퓨터(태블릿 개인용 컴퓨터), 랩톱 컴퓨터(노트북 컴퓨터), 디지털 카메라, 개인 정보 단말기(Personal Digital Assistant, 줄여서 PDA), 내비게이션 기기, 모바일, 인터넷 기기(모바일 인터넷 기기, MID), 웨어러블 기기, 스마트 워치, 스마트 밴드 등일 수 있다. 물론, 이하의 실시예에서 단말 장치의 특정 형태는 제한되지 않는다. 단말 장치에 설치할 수 있는 시스템에는 iOS®, Android®, Microsoft®, Linux® 또는 다른 운영 체제가 포함될 수 있다. 이것은 본 출원의 실시예에서 제한되지 않는다.
Android® 운영 체제가 설치된 단말 장치가 예로 사용된다. 도 1a는 본 출원의 실시예에 따른 시스템 아키텍처의 개략도이다. 단말 장치는 논리적으로 하드웨어 계층, 운영 체제 및 애플리케이션 계층으로 구분될 수 있다. 하드웨어 계층에는 메인 프로세서, 마이크로 컨트롤러 장치, 모뎀, Wi-Fi 모듈, 센서 및 위치 지정 모듈과 같은 하드웨어 자원이 포함된다. 애플리케이션 계층은 하나 이상의 응용 프로그램을 포함한다. 예를 들어, 응용 프로그램은 소셜형 응용 프로그램, 전자 상거래형 응용 프로그램, 브라우저, 멀티미디어형 응용 프로그램 및 내비게이션 응용 프로그램과 같은 모든 유형의 응용 프로그램이거나, 장면 식별 모델 및 인공 지능 알고리즘과 같은 응용 프로그램일 수 있다. 운영 체제는 하드웨어 계층과 응용 프로그램 계층 사이에서 소프트웨어 미들웨어 역할을 하며 하드웨어 및 소프트웨어 자원을 관리하고 제어하는 응용 프로그램이다.
메인 프로세서, 센서 및 Wi-Fi 모듈과 같은 하드웨어 자원 외에도 하드웨어 계층에는 상시 온( always on, AO) 영역이 포함된다. 상시 온 영역의 하드웨어는 일반적으로 하루종일 구동된다. 상시 온 영역에는 센서 제어 센터(센서 허브), AI 프로세서 및 센서와 같은 하드웨어 자원이 추가로 포함된다. 센서 허브에는 코 프로세서와 센서 프로세서가 포함된다. 센서 프로세서는 센서가 출력하는 데이터를 처리하도록 구성된다. AI 프로세서와 센서 프로세서에 의해 생성된 데이터가 코 프로세서에 의해 추가로 처리된 후 코 프로세서는 메인 프로세서와 상호 작용 관계를 구축한다. 상시 온 영역의 센서에는 적외선 이미지 센서, 자이로스코프, 가속도 센서, 오디오 수집기(마이크) 등이 포함된다. 센서 프로세서는 미니 이미지 신호 프로세서(mini ISP)와 오디오 신호 프로세서(ASP)를 포함한다. 이해의 편의를 위해 AO 영역과 하드웨어 계층 간의 연결 관계를 도 1b에 도시하였다. 도 1b는 본 출원의 실시예에 따른 다른 시스템 아키텍처의 개략도이다.
일 실시예에서, 운영 체제는 커널, 하드웨어 추상화 계층(hardware abstraction layer, HAL), 라이브러리 및 런타임, 및 프레임 워크를 포함한다. 커널은 전원 관리, 메모리 관리, 스레드 관리 및 하드웨어 드라이버와 같은 기본 시스템 구성 요소 및 서비스를 제공하도록 구성된다. 하드웨어 드라이버에는 Wi-Fi 드라이버, 센서 드라이버, 위치 지정 모듈 드라이버 등이 포함된다. 하드웨어 추상화 계층은 커널 드라이버를 캡슐화하고 프레임 워크를 위한 인터페이스를 제공하며 그 아래에 있는 구현 세부를 보호한다. 하드웨어 추상화 계층은 사용자 공간에서 실행되고 커널 드라이버는 커널 공간에서 실행된다.
라이브러리 및 런타임은 런타임 라이브러리라고도 하며 런타임에서 실행 가능한 프로그램에 필요한 라이브러리 파일과 실행 환경을 제공한다. 라이브러리 및 런타임에는 안드로이드 런타임(Android runtime, ART), 라이브러리 등이 포함된다. ART는 응용 프로그램의 바이트 코드를 기계 코드로 변환할 수 있는 가상 머신 또는 가상 머신 인스턴스이다. 라이브러리는 런타임에서 실행 가능한 프로그램을 지원하는 프로그램 라이브러리로, 브라우저 엔진(예: 웹킷), 스크립트 실행 엔진(예: JavaScript 엔진), 그래픽 처리 엔진 등을 포함한다.
프레임 워크는 창 관리 및 위치 관리와 같은 애플리케이션 계층의 응용 프로그램에 대한 다양한 기본 공통 구성 요소 및 서비스를 제공하도록 구성된다. 프레임 워크는 전화 관리자, 자원 관리자, 위치 관리자 등을 포함할 수 있다.
운영 체제의 구성 요소로서 전술한 기능은 메모리에 저장된 프로그램을 실행하여 메인 프로세서에 의해 구현될 수 있다.
통상의 기술자는 단말이 도 1a 및 도 1b의 각각에 도시된 것보다 더 적거나 더 많은 구성 요소를 포함할 수 있다는 것을 이해할 수 있다. 도 1a 및 도 1b 각각에 도시된 단말 장치는 본 출원의 실시예들에 개시된 복수의 구현예들과 더 관련된 컴포넌트들만을 포함한다.
도 2는 본 출원의 실시예에 따른 서비스 처리 방법에서의 사용 시나리오의 개략도이다. 사용 시나리오에서 프로세서는 단말 장치에 배치되고 프로세서는 적어도 두 개의 코어를 포함한다. 적어도 2개의 코어는 CPU, AI 프로세서 등을 포함할 수 있다. AI 프로세서는 신경망 처리 장치, 텐서 처리 장치, GPU 등을 포함하지만 이에 제한되지 않는다. 이러한 칩은 코어라고도 할 수 있으며 단말 장치에서 계산을 수행하도록 구성된다. 코어마다 에너지 효율 비율이 다르다.
단말 장치는 특정 알고리즘을 사용하여 서로 다른 응용 서비스를 실행할 수 있다. 본 출원의 이 실시예에서의 방법은 장면 식별 모델을 실행하는 것과 관련된다. 단말 장치는 장면 식별 모델을 이용하여 현재 단말 장치를 사용하고 있는 사용자가 위치하는 타겟 장면을 결정하고, 결정된 타겟 장면에 따라 서로 다른 서비스 처리 방식을 실행할 수 있다.
단말 장치는 현재 단말 장치를 사용하는 사용자가 위치한 타겟 장면을 결정할 때, 장면 식별 모델에서 서로 다른 센서와 AI 알고리즘에서 수집한 데이터에 기초하여 서로 다른 타겟 장면을 결정한다.
따라서, 본 출원의 실시예는 서비스 처리 방법을 제공한다. 본 출원의 다음 실시예는 주로 단말 장치가 서로 다른 센서 및 장면 식별 모델에 의해 수집된 데이터에 기초하여 단말 장치가 위치한 타겟 장면 및 타겟 장면에 대응하는 서비스 처리 방식을 결정하는 경우를 설명한다.
다음은 실시예를 사용하여 본 출원의 기술적 솔루션을 추가로 설명한다. 도 3은 본 출원의 실시예에 따른 서비스 처리 방법의 실시예의 개략도이다. 본 출원의 본 실시예에 따른 서비스 처리 방법의 실시예는 다음 단계를 포함한다.
301. 타이머를 시작한다.
본 실시예에서 단말 장치는 센서에 연결된 타이머를 시작하고, 타이머는 타이머에 연결된 센서가 데이터를 수집하는 시간 간격을 나타내는 데 사용된다. AO 영역의 코 프로세서는 장면 식별 모델의 요구 사항에 따라 서로 다른 센서에 대응하는 타이머의 타이밍 기간을 설정한다. 예를 들어, 가속도 센서에 대응하는 타이머의 타이밍 시간은 100밀리 초(ms)로 설정될 수 있다. 즉, 가속도 데이터는 100ms 간격으로 수집되며, 가속도 데이터는 단말 장치에서 지정한 버퍼 영역에 저장된다.
여기서의 타이밍 기간은 장면 식별 모델의 요구 사항에 따라 설정되거나, 센서 수명, 버퍼 공간 사용량, 전력 소비와 같은 복수의 요구 사항에 기초하여 설정될 수 있다. 예를 들어, 적외선 이미지 센서의 경우 적외선 이미지 센서는 상대적으로 높은 프레임 주파수에서 적외선 이미지를 수집할 수 있지만, 장기간 연속 수집하면 센서가 손상되고 수명에 영향을 준다. 또한, 장시간 연속 수집하면 적외선 이미지 센서의 전력 소모가 증가하고 단말 장치의 사용 시간이 단축된다. 전술한 경우와 장면 식별 모델의 실제 요구 사항에 기초하여 적외선 이미지 센서에 연결된 타이머의 타이밍 시간은 다음 값으로 설정될 수 있다. 예를 들어, 얼굴 인식 시나리오에서 이미지 수집은 1/6초로 설정될 수 있다. 즉, 초당 10프레임의 이미지가 수집된다. 또는, 다른 식별 시나리오에서, 이미지 수집의 타이밍 기간은 1초로 설정될 수 있다. 즉, 초당 하나의 이미지 프레임이 수집된다. 또는 단말 장치가 저전력 모드인 경우, 단말 장치의 사용 기간을 연장하기 위해 타이밍 시간을 1초로 설정할 수 있다. 전력 소모가 적고 수집된 데이터가 상대적으로 작은 저장 공간을 차지하는 일부 센서의 경우 실시간 데이터 수집을 위해 센서의 타이밍 기간이 설정되지 않을 수 있다.
타이머는 센서에 연결되고 타이밍 기능이 있는 칩이거나 센서의 내장 타이밍 기능일 수 있음을 유의해야 한다. 이것은 여기에 제한되지 않는다.
302. 센서가 데이터를 수집한다.
이 실시예에서, 타이머의 타이밍 기간이 만료된 후, 타이머에 연결된 센서는 시작되고 데이터를 수집하도록 지시된다. 데이터 수집에 사용해야 하는 특정 센서는 장면 식별 모델에 기초하여 코 프로세서에서 선택한다. 예를 들어, 단말 장치가 현재 2차원 코드 스캔하는 장면에 있는지 여부를 결정해야 하는 경우, 단말 장치는 적외선 이미지 센서를 이용하여 데이터를 수집한다. 적외선 이미지 센서에 의해 수집된 데이터를 처리하고 계산한 후 단말 장치는 장면 식별 프로세스를 완료할 수 있다. 단말 장치가 현재 회의 장면에 있는지 결정해야 하는 경우, 적외선 이미지 센서를 사용하여 데이터를 수집하는 것 외에도 오디오 수집기를 사용하여 데이터를 수집해야 한다. 적외선 이미지 센서가 수집한 데이터와 오디오 수집기가 수집한 데이터를 처리하고 계산한 후 단말 장치는 장면 식별 프로세스를 완료할 수 있다.
적외선 이미지 센서가 예로 사용된다. 적외선 이미지 센서에 대응하는 타이밍 시간이 만료되면 적외선 이미지 센서는 이미지 데이터를 수집한다. 이미지 데이터에는 IR 이미지와 RGB 이미지가 포함된다. 적외선 이미지는 그레이스케일 이미지로 저조도 환경에서 촬영된 외부 정보를 표시하는 데 사용할 수 있다. RGB 이미지는 컬러 이미지로 저조도 환경에서 촬영한 외부 정보를 표시하는 데 사용할 수 있다. 적외선 이미지 센서는 수집된 이미지 데이터를 후속 단계에서 사용할 수 있도록 버퍼 공간에 저장한다.
적외선 이미지 센서에 의해 수집된 이미지 데이터를 얻기 위한 두 가지 응용 시나리오가 있다. 제1 응용 시나리오는 제1 적외선 이미지 센서가, 단말 장치의 홈 화면과 동일한 평면에 있는 단말 장치에 있는 하우징에 배치되는 것이다. 제2 응용 시나리오는 제2 적외선 이미지 센서가, 단말 장치에 있고 단말 장치의 메인 이미지 센서와 동일한 평면에 있는 하우징에 배치되는 것이다. 다음은 두 가지 경우에 대해 별도로 설명한다.
제1 응용 시나리오에서, 제1 적외선 이미지 센서는 단말 장치의 홈 화면에 투사된 이미지 데이터를 수집할 수 있다. 예를 들어, 사용자가 단말 장치를 이용하여 자화상을 찍는 동작을 수행하는 경우, 단말 장치의 홈 화면과 동일한 평면에 배치된 제1 적외선 이미지 센서는 사용자의 얼굴 이미지 데이터를 수집할 수 있다.
제2 응용 시나리오에서, 제2 적외선 이미지 센서는 단말 장치의 메인 이미지 센서에 투사된 이미지 데이터를 수집할 수 있다. 예를 들어, 사용자가 단말 장치에서 메인 이미지 센서를 이용하여 2차원 코드를 스캔하는 동작을 수행하는 경우, 단말 장치에서 메인 이미지 센서와 동일한 평면에 배치된 제2 적외선 이미지 센서는 2차원 코드 이미지 데이터를 수집할 수 있다.
제1 적외선 이미지 센서 및 제2 적외선 센서는 모두 동일한 단말 장치에 배치될 수 있음에 유의해야 한다. 배치 방식 및 데이터 수집 방식은 전술한 방식과 유사하며 자세한 내용은 여기서 다시 설명하지 않는다.
오디오 수집기는 단말 장치의 하우징상의 임의의 위치에 배치될 수 있으며, 일반적으로 단말 장치가 위치한 환경에서 16KHz의 샘플링 주파수로 오디오 데이터를 수집한다.
가속 센서는 단말 장치 내부 상시 온 영역에 배치되며, 통합 회로(inter-integrated circuit, I2C) 또는 직렬 주변 장치 인터페이스(serial peripheral interface, SPI)를 사용하여 센서 허브에 연결되고, 일반적으로 ±2중력(G)에서 ±16중력(G)까지의 가속도 측정 범위를 제공하며, 수집된 가속 데이터의 정밀도는 16 비트 미만이다.
센서에 의해 수집된 데이터는 처리를 위해 센서 프로세서 또는 장면 식별 모델로 직접 전송되거나, 버퍼 영역에 저장되어 센서 프로세서 또는 장면 식별 모델이 처리를 위해 버퍼 영역에서 센서 데이터를 읽을 수 있다. 이것은 여기에 제한되지 않는다.
303. 센서 프로세서가 데이터를 처리한다.
이 실시예에서, 센서가 데이터를 수집한 후에, 센서에 대응하는 센서 프로세서(센서에 대응하는 디지털 신호 프로세서라고도 함)는 수집된 데이터에 대해 데이터 전처리를 수행하여 장면 식별 모델에서 후속 사용을 위해 처리 대상 데이터를 생성할 수 있다.
적외선 이미지 센서에 대응하는 센서 프로세서 miniISP가 예로 사용된다. 적외선 이미지 센서에서 수집한 이미지 데이터를 얻은 후 miniISP는 이미지 데이터를 처리한다. 예를 들어, 센서가 수집한 이미지 데이터의 해상도(영상 해상도)가 640픽셀 × 480픽셀인 경우 miniISP는 이미지 데이터에 대해 압축 처리를 수행하여 320픽셀 × 240픽셀의 처리 대상 이미지 데이터를 생성할 수 있다. miniISP는 이미지 데이터에 대해 자동 노출(automatic exposure, AE) 처리를 더 수행할 수 있다. 전술한 처리 방식에 더하여, miniISP는 이미지 데이터에 포함된 밝기 정보에 기초하여 이미지 데이터에서 처리되어야 하는 이미지를 자동으로 선택하도록 더 구성될 수 있다. 예를 들어, miniISP가 저조도 환경에서 현재 영상이 수집되었다고 결정하면 IR 영상은 RGB 영상보다 저조도 환경에서 영상 상세 정보가 더 많이 포함되어 있으므로 miniISP는 처리를 위해 이미지 데이터에서 IR 영상을 선택한다.
모든 센서 데이터가 센서 프로세서에 의해 처리될 필요는 없다는 것을 이해할 수 있을 것이다. 예를 들어, 가속도 센서에 의해 수집된 가속도 데이터는 장면 식별 모델에서 직접 사용될 수 있다. 단계 303은 선택적 단계이다.
304. 타겟 장면을 결정한다.
이 실시예에서, 단말 장치는 센서가 수집한 데이터 및/또는 센서 프로세서에 의해 수행된 처리를 통해 획득된 처리 대상 데이터를 이용하여 장면 식별 모델에 기초하여 해당 타겟 장면을 결정한다. 장면 식별 모델은 코 프로세서와 AI 프로세서에서 실행되고 장면 식별 모델의 AI 알고리즘은 AI 프로세서에서 실행된다. 다른 센서에 의해 수집된 데이터의 경우 장면 식별 모델에서 데이터가 흐르는 방향과 순서가 다르다. 예를 들어, miniISP에서 이미지 데이터에 기초하여 처리하여 생성한 처리 대상 이미지 데이터와 오디오 데이터에 기초하여 ASP에서 생성한 처리 대상 오디오 데이터가 먼저 장면 식별 모델에 있고 또 AI 프로세서에서 실행되고 AI 알고리즘에 로드되고, 그런 다음 코 프로세서는 AI 프로세서의 계산 결과에 기초하여 타겟 장면을 결정한다. 수집을 통해 가속도 센서에서 생성된 가속도 데이터는 먼저 코 프로세서에 의해 처리된 후 장면 식별 모델에 있는, AI 프로세서에서 실행되는 AI 알고리즘에 로드된다. 마지막으로 코 프로세서는 AI 프로세서의 계산 결과에 기초하여 타겟 장면을 결정한다.
장면 식별 모델은 두 파트를 포함한다. 제1 파트는 AI 알고리즘이다. AI 알고리즘은 수집을 통해 센서가 획득한 데이터 세트와 처리를 통해 센서 프로세서가 획득한 처리 대상 데이터 세트를 포함한다. 신경망 모델은 오프라인 트레이닝을 통해 획득된다. 제2 파트는 AI 알고리즘의 계산 결과에 기초하여 타겟 장면을 결정하는 것으로 코 프로세서에 의해 완료된다. 이미지 데이터에 대해, 일반적으로 콘볼루션 신경망(convolutional neural network, CNN)가 사용된다. 오디오 데이터의 경우 일반적으로 심층 신경망(deep neural network, DNN)/순환 신경망(recurrent neural netwok, RNN)/장단기 기억(long short-term, LSTM) 네트워크가 사용된다. 서로 다른 데이터에 대해 서로 다른 심층 신경망 알고리즘을 사용할 수 있으며 특정 알고리즘 유형에 제한되지 않는다.
CNN은 인공 뉴런이 부분 커버리지 범위에서 주변 유닛에 응답할 수 있는 피드포워드(feedforward) 신경망이며 대규모 이미지 처리 측면에서 잘 동작한다. CNN은 하나 이상의 컨볼루션 계층과 완전히 연결된 계층(고전적인 신경망에 해당)을 맨 위에 포함하고 상관 가중치(correlation weight)와 풀링 계층(pooling layer)도 포함한다. 이 구조는 CNN이 입력 데이터의 2차원 구조를 사용할 수 있게 한다. CNN에서 컨벌루션 계층의 컨벌루션 커널은 이미지를 컨볼루션한다. 컨볼루션(Convolution)은 특정 파라미터의 필터를 사용하여 이미지를 스캔하고 이미지의 특성 값을 추출한다.
오프라인 트레이닝은 Tensorflow 또는 Caffe(빠른 피처 임베딩을 위한 컨볼 루션 아키텍처)와 같은 딥 러닝 프레임 워크에서 모델 설계 및 트레이닝을 수행하는 것을 의미한다.
적외선 이미지 센서가 예로 사용된다. 단말 장치에는 적외선 이미지 데이터를 적용할 수 있는 장면 식별 모델이 다수 존재하며, 예를 들어 2차원 코드 스캔하는(scanning) 장면 식별 모델, 코드 스캔되는(scanned) 장면 식별 모델, 자화상 장면 식별 모델 등이 있다. 하나 이상의 장면 식별 모델이 단말 장치에 적용될 수 있다. 아래에 설명이 별도로 제공된다.
2차원 코드 스캔하는 장면 식별 모델에서, AI 프로세서에 로드되고 오프라인 트레이닝을 통해 얻은 신경망 모델은 CNN 알고리즘 및 센서를 사용하여 100,000개의 2차원 코드 이미지와 100,000개의 비-2차원 코드 이미지를 수집하고, 이미지를 개별적으로 마킹한다(2차원 코드를 가진 것 또는 2차원 코드를 가지고 있지 않은 것). Tensorflow에 트레이닝이 수행된 후, 신경망 모델 및 관련 파라미터가 획득된다. 그러면, 제2 적외선 이미지 센서에서 수집한 이미지 데이터가 네트워크 유도를 위해 신경망 모델에 입력되어 이미자가 2차원 코드를 포함하는지의 결과가 획득될 수 있다. 2차원 코드 스캔하는 장면 식별 모델에서, 오프라인 트레이닝 중에, 수집된 이미지가 다르게는 2차원 이미지에 추가하여 바코드 이미지와 같은 다른 아이콘일 수 있다면, 2차원 코드 스캔하는 장면 식별 모델은 단말 장치에서 획득한 이미지에 바코드 등이 포함되어 있는지 여부를 식별하기 위해 더 사용될 수 있다.
코드 스캔되는 장면 식별 모델에서, AI 프로세서에 로드되어 오프라인 트레이닝을 통해 얻은 신경망 모델이, CNN 알고리즘과 센서를 이용하여, 코드 스캐닝 장치를 포함한 100,000개의 이미지와 코드 스캐닝 장치를 포함되지 않는 100,000개의 이미지를 수집한다. 코드 스캐닝 장치를 포함하는 이미지는 센서에 의해 수집된 이미지 데이터로서 스캐너, 스캐닝 건, 스마트폰, 스마트 밴드와 같은 웨어러블 디바이스의 스캐닝 부분을 포함한다. 스마트폰이 예로 사용된다. 이미지가 스마트폰의 메인 이미지 센서를 포함하는 경우 이미지는 코드 스캐닝 장치를 포함하는 이미지이다. 신경망 모델은 이미지에 개별로 표시한다(코드 스캐닝 장치를 가지는 것과 코드 스캐닝 장치를 가지지 않는 것). Tensorflow에 트레이닝이 수행된 후 신경망 모델 및 관련 파라미터가 획득된다. 그러면, 제1 적외선 이미지 센서에서 수집한 이미지 데이터가 네트워크 유도를 위해 신경망 모델에 입력되어 이미지가 코드 스캐닝 장치를 포함하는지 여부의 결과가 획득될 수 있다.
자화상 장면 식별 모델에서는 AI 프로세서에 탑재되어 오프라인 트레이닝을 통해 얻은 신경망 모델이, CNN 알고리즘과 센서를 이용하여, 사람의 얼굴을 포함한 100,000개의 이미지와 사람의 얼굴을 포함하지 않는 100,000개의 이미지를 수집한다. 사람의 얼굴을 포함하는 이미지는 사람의 얼굴의 일부 또는 전부를 포함하는 이미지이다. 신경망 모델은 이미지에 개별적으로 표시한다(인간 얼굴을 포함하는 것과 포함하지 않는 것). Tensorflow에 트레이닝이 수행된 후, 신경망 모델 및 관련 파라미터가 획득된다. 그러면, 제1 적외선 이미지 센서에서 수집한 이미지 데이터가 네트워크 유도(network deviation)를 위해 신경망 모델에 입력되어 이미지가 사람의 얼굴을 포함하는지의 결과가 획득될 수 있다.
단, 적외선 이미지 센서에 의해 수집된 이미지 데이터를 이용하여 타겟 장면을 결정하는 것 외에도, 단말 장치는 복수의 센서에 의해 수집된 데이터, 예를 들어 오디오 수집기에 의해 수집된 오디오 데이터 및 가속도 센서에 의해 수집된 가속도 데이터를 사용하여 타겟 장면을 더 결정할 수 있음에 유의해야 한다. 예를 들어, 이미지 데이터, 오디오 데이터 및 가속도 데이터는 단말 장치가 현재 위치한 장면이 모션 장면인지 여부를 결정하는 데 사용하거나, 또는 단말 장치가 현재 위치한 장면이 운전 장면인지 여부를 결정하기 위해 복수의 유형의 데이터가 사용된다.
특정 사용 알고리즘, 오프라인 트레이닝에 사용되는 딥 러닝 플랫폼, 오프라인 트레이닝 중 센서가 수집하는 데이터 샘플의 수량은 특별히 제한되지 않는다.
305. 서비스 처리 방법을 결정한다.
본 실시예에서, 코 프로세서가 타겟 장면을 결정한 후, 코 프로세서는 타겟 장면에 대응하는 서비스 처리 방법을 결정할 수 있거나, 코 프로세서는 결정된 타겟 장면을 메인 프로세서로 전송할 수 있고, 메인 프로세서는 타겟 장면에 대응하는 서비스 처리 방법을 결정할 수 있다.
상이한 장면에 따라, 복수의 상이한 대응 서비스 처리 방법이 있다. 예를 들어, 타겟 장면이 운전 장면인 경우, 단말 장치는 운전 장면에 기초하여 서비스 처리 방식이 단말 장치의 운전 모드를 활성화하는 것, 및/또는 단말 장치 내의 응용 프로그램의 운전 모드 기능을 활성화하는 것, 및/또는 단말 장치의 대기 화면의 상시 표시 영역에 운전 모드 아이콘을 표시하는 것으로 결정할 수 있다. 단말기의 운전 모드는 내비게이션 기능과 음성 어시스턴트를 포함하며, 운전 모드 아이콘은 운전 모드를 활성화하는 데 사용된다. 단말 장치의 운전 모드를 활성화하는 것과 단말 장치에서 응용 프로그램의 구동 모드 기능을 활성화하는 것은 메인 프로세서에서 수행하는 단계이다. 단말 장치의 대기 화면의 상시 표시 영역에 운전 모드 아이콘을 표시하는 것은 코 프로세서가 수행하는 단계이다.
본 출원의 본 실시예에서, 서비스 처리 방법이 제공된다. 단말 장치는 기존의 센서, 적외선 이미지 센서, 오디오 수집기와 같은 복수의 센서를 이용하여 외부의 다차원 정보를 수집함으로써 단말 장치의 인식 능력을 향상시킨다. AI 프로세서는 AI 알고리즘에 최적화된 전용 칩이기 때문에 단말 장치는 AI 프로세서를 이용하여 AI 알고리즘의 실행 속도를 크게 향상시키고 단말 장치의 전력 소모를 줄일 수 있다. 코 프로세서는 단말 장치의 상시 온 영역에서 실행되고 메인 프로세서를 시작하지 않고도 작동할 수 있으므로 단말 장치는 화면이 꺼진 상태에서도 장면 식별을 수행할 수 있다.
다음으로, 도 3에 대응하는 실시예에 기초하여. 다음은 별도로 설명된다: 단말 장치는 다른 시나리오에서 단말 장치가 위치한 타겟 장면과 타겟 장면에 대응하는 서비스 처리 방식을 결정한다.
도 3에 대응하는 실시예에 기초하여, 도 4는 본 출원의 실시예에 따라 응용 프로그램을 지능적으로 시작하는 실시예의 개략도이다. 이 출원의 본 실시예에 따라 응용 프로그램을 지능적으로 시작하는 실시예는 다음 단계를 포함한다.
401. 타이머를 시작한다.
이 실시예에서, 단계 401은 도 1의 단계 301과 유사하다. 따라서, 세부 사항은 여기서 다시 설명하지 않는다.
402. 센서가 수집한 데이터를 획득한다.
이 실시예에서, 단계 402는 도 3의 단계 302와 유사하다. 따라서, 세부 사항은 여기서 다시 설명하지 않는다.
403. 센서 프로세서가 데이터를 처리한다.
이 실시예에서, 단계 403은 도 3의 단계 303과 유사하다. 따라서, 세부 사항은 여기서 다시 설명하지 않는다.
404. 단말 장치가 위치한 장면이 타겟 장면인지 결정한다.
이 실시예에서, 센서에 의해 수집된 데이터에 기초하여 단말 장치가 위치한 장면이 타겟 장면인지 여부를 결정하는 방법은 도 3의 단계 304의 방법과 유사하다. 따라서, 세부 사항은 여기서 다시 설명하지 않는다.
단말 장치는 현재 획득된 데이터에 기초하여 단말 장치가 위치한 장면이 타겟 장면인 것으로 결정하면 단계 405로 진행한다. 단말 장치는 현재 획득된 데이터에 기초하여 단말 장치가 위치한 장면이 타겟 장면이 아니라고 결정하면 단계 401로 진행하여 다음 번 센서가 수집한 데이터를 획득하고 처리하기 위해 대기한다.
405. 타겟 응용 프로그램을 시작한다.
이 실시예에서, 단말 장치는 센서에 의해 수집된 데이터에 기초하여 단말 장치가 현재 위치하는 타겟 장면을 결정한 후, 단말 장치는 타겟 장면에 대응하는 타겟 응용 프로그램을 시작할 수 있다.
예를 들어, 단말 장치가 현재 장면이 모션 장면이라고 결정한 후, 단말 장치는 Amap과 같은 내비게이션 응용 프로그램을 시작하거나, 단말 장치 사용자의 생리적 데이터를 모니터링하기 위해 건강 모니터링 응용 프로그램을 시작하거나, 또는 음악 재생 응용 프로그램을 시작하고 자동으로 음악을 재생할 수 있다.
적외선 이미지 센서는 단계 404에서 적외선 이미지 데이터가 적용될 수 있는 3개의 장면 식별 모델에 대응하는 예로서 사용된다. 아래에 설명이 별도로 제공된다.
단말 장치는 계산 결과에 기초하여 현재 영상에 코드 스캐닝 장치가 포함되어 있음을 알게 되면, 단말 장치는 자신이 현재 2차원 코드 스캔하는 장면에 위치하는 것으로 결정할 수 있다. 이 경우, 단말 장치는 메인 이미지 센서와 관련된 응용 프로그램을 자동으로 시작하고, 메인 이미지 센서를 시작하고, 카메라 응용 프로그램과 같은 홈 화면을 켤 수 있다. 또는, 단말 장치는 2차원 코드 스캔 기능을 갖는 응용 프로그램을 시작하고, 또한 응용 프로그램에서 2차원 코드 스캔 기능을 활성화한다. 예를 들어, 단말 장치는 브라우저 응용 프로그램에서 "스캔" 기능을 활성화하는데, 여기서 "스캔" 기능은 2차원 코드 이미지를 스캔하는 데 사용되며 스캔을 통해 얻은 데이터를 브라우저에 제공한다.
단말 장치는 계산 결과에 기초하여 현재 이미지에 코드 스캐닝 장치가 포함되어 있음을 알게 되면, 단말 장치는 자신이 현재 코드 스캔되는 장면에 위치하는 것으로 결정할 수 있다. 이 경우, 단말 장치는 2차원 코드 및/또는 바코드가 있는 응용 프로그램을 시작하고, 단말 장치의 홈 화면을 자동으로 켠 후 홈 화면상에 응용 프로그램의 2차원 코드 및/또는 바코드를 표시할 수 있다. 예를 들어, 현재 이미지에 코드 스캐닝 장치가 포함된 것으로 결정되면 단말 장치는 단말 장치의 홈 화면을 켜고 결제 응용 프로그램의 결제 2차원 코드 및/또는 바코드를 표시하며, 여기서 결제 응용 프로그램은 알리페이(Alipay) 또는 위챗(WeChat)일 수 있다.
단말 장치는 계산 결과에 기초하여 현재 이미지에 사람의 얼굴이 포함되어 있음을 알게 되면, 단말 장치는 현재 자화상 장면에 있는 것으로 결정할 수 있다. 이 경우, 단말 장치는 홈 화면과 동일한 평면에서 보조 이미지 센서를 시작하고 보조 이미지 센서와 관련된 응용 프로그램을 자동으로 시작할 수 있다. 예를 들어, 카메라 응용 프로그램에서 셀프 촬영 기능을 활성화하고, 홈 화면을 켜고, 홈 화면의 카메라 응용 프로그램에 셀프 촬영 기능 인터페이스를 표시한다.
본 출원의 본 실시예에서 단말 장치는 적외선 이미지 센서를 이용하여 현재 장면을 자동으로 식별하고, 식별된 장면에 기초하여 타겟 장면에 대응하는 응용 프로그램을 지능적으로 시작하여 사용자 조작 편의성을 향상시킬 수 있다.
도 3에 대응하는 실시예에 기초하여, 도 5는 본 출원의 일 실시예에 따른 지능적으로 서비스를 추천하는 일 실시예의 개략도이다. 본 출원의 본 실시예에 따른 지능적으로 서비스를 추천하는 실시예는 다음 단계를 포함한다.
501. 타이머를 시작한다.
이 실시예에서, 단계 501은 도 3의 단계 301과 유사하다. 따라서, 세부 사항은 여기서 다시 설명하지 않는다.
502. 센서가 수집한 데이터를 획득한다.
이 실시예에서, 단계 502는 도 3의 단계 302와 유사하다. 따라서, 세부 사항은 여기서 다시 설명하지 않는다.
503. 센서 프로세서가 데이터를 처리한다.
이 실시예에서, 단계 503은 도 3의 단계 303과 유사하다. 따라서, 세부 사항은 여기서 다시 설명하지 않는다.
504. 단말 장치가 위치한 장면이 타겟 장면인지 결정한다.
이 실시예에서, 센서에 의해 수집된 데이터에 기초하여 단말 장치가 위치한 장면이 타겟 장면인지 여부를 결정하는 방법은 도 3의 단계 304의 방법과 유사하다. 따라서, 세부 사항은 여기서 다시 설명하지 않는다.
단말 장치는 현재 획득된 데이터에 기초하여 단말 장치가 위치한 장면이 타겟 장면이라고 결정하면 단계 505로 진행한다. 단말 장치는 현재 획득된 데이터에 기초하여 단말 장치가 위치한 장면이 타겟 장면이 아니라고 결정하면 단계 501로 진행하여 다음 번에 센서가 수집한 데이터를 획득하고 처리하기 위해 대기한다.
505. 타겟 서비스를 추천한다.
본 실시예에서, 단말 장치는 센서가 수집한 데이터에 기초하여 단말 장치가 현재 위치한 타겟 장면을 결정한 후 타겟 장면에 대응하는 타겟 서비스를 추천할 수 있다. 다음은 타겟 서비스를 추천하는 구체적인 방법을 설명한다.
단말 장치는 단말 장치가 위치한 타겟 장면을 결정한 후, 단말 장치의 사용자에게 타겟 장면에 대응하는 타겟 서비스를 추천할 수 있다. 예를 들어, 단말 장치의 상시 표시(always on display, AOD) 영역에 타겟 서비스의 기능 엔트리를 표시하고, 단말 장치의 AOD 영역에 타겟 서비스에 포함된 응용 프로그램의 프로그램 엔트리를 표시하고, 타겟 서비스를 자동으로 활성화하고, 타겟 서비스에 포함된 응용 프로그램을 자동으로 시작한다.
예를 들어, 단말 장치가 적외선 이미지 센서, 오디오 수집기, 가속도 센서와 같은 센서 세트에 의해 수집된 데이터에 기초하여 현재 장면이 단말 장치가 있는 환경이 상대적으로 조용한 장면, 예컨대 회의 장면이나 수면 장면과 같이 장면인 것으로 결정한 때, 단말 장치는 AOD 영역에 무음 아이콘을 표시할 수 있다. 단말 장치는 무음 아이콘에 대한 사용자의 조작 지시를 수신하여 무음 기능을 활성화할 수 있다. 무음 기능은 단말 장치의 모든 응용 프로그램의 볼륨을 0으로 설정하는 것이다. AOD 영역에 무음 아이콘을 표시하는 것 외에도 단말 장치는 AOD 영역에 진동 아이콘을 더 표시할 수 있다. 단말 장치는 진동 아이콘에 대한 사용자의 조작 지시를 수신하여 진동 기능을 활성화할 수 있다. 진동 기능은 단말 장치에 있는 모든 응용 프로그램의 볼륨을 0으로 설정하고, 단말 장치에 있는 모든 응용 프로그램의 경고음을 진동 모드로 설정하는 것이다. 단말 장치가 15분과 같은 시간 내에 AOD 영역에서 해당 아이콘의 조작 명령을 수신하지 못한 경우, 단말 장치는 자동으로 무음 기능 또는 진동 기능을 활성화할 수 있다.
단말 장치가 현재 장면이 모션 장면이라고 결정하면, 단말 장치는 AOD 영역에 음악 재생 응용 프로그램 아이콘을 표시할 수 있다. 단말 장치는 음악 재생 응용 프로그램 아이콘에 대한 사용자의 조작 지시를 수신하여 음악 재생 응용 프로그램을 시작할 수 있다.
본 출원의 본 실시예에서 단말 장치는 화면이 꺼진 상태와 같은 저전력 상태의 서비스를 추천할 수 있으며, 이미지 데이터, 오디오 데이터, 가속도 데이터와 같은 다양한 유형의 센서 데이터를 컨텍스트 인식 데이터로 사용하여 딥 러닝 알고리즘을 이용하여 컨텍스트 인식의 정확성을 향상시켜 사용자의 조작 편의성을 향상시킬 수 있다.
도 3, 도 4 및 도 5에 대응하는 실시예에 기초하여, 도 6은 본 출원의 실시예에 따른 서비스 처리 방법의 응용 시나리오의 개략적인 흐름도이다. 본 출원의 본 실시예에 따른 서비스 처리 방법의 응용 시나리오는 다음 단계를 포함한다.
단계 S1. 단말 장치가 블루투스를 통해 피어 장치와 연결된 경우, 사용자는 현재 블루투스를 통해 단말 장치에 연결된 피어 장치가 차량인지 여부를 표시를 통해 표시할 수 있다. 피어 장치가 차량으로 표시된 후, 단말 장치가 블루투스를 통해 피어 장치와 연결될 때마다, 단말 장치는 현재 블루투스를 통해 단말 장치에 연결된 피어 장치가 차량인 것으로 결정할 수 있다.
단말 장치의 AO 영역에 있는 코 프로세서는 보통 10초 간격으로 단말 장치의 블루투스 연결 상태를 획득한다.
단계 S2. 단말 장치가 차량용 블루투스에 연결되어 있는지 결정한다.
현재 블루투스 연결 상태를 획득한 단말 장치는 현재 단말 장치가 블루투스를 통해 단말 장치와 연결된 피어 장치가 있는지 알 수 있다. 단말 장치가 현재 블루투스를 통해 단말 장치에 연결된 피어 장치를 가지는 경우, 단말 장치는 현재 블루투스를 통해 단말 장치에 연결된 피어 장치가 사용자가 설정한 차량 식별자를 가지고 있는지 여부를 추가로 결정한다. 피어 장치가 사용자에 의해 설정된 차량 식별자를 가지고 있는 경우, 단말 장치는 단말 장치가 현재 차량 블루투스에 연결되어 있다고 결정하고 단계 S8로 진행할 수 있다. 단말 장치가 현재 블루투스가 연결되지 않은 상태이거나 블루투스를 통해 단말 장치에 연결된 피어 장치가 사용자가 설정한 차량 식별자를 가지고 있지 않은 경우, 단말 장치는 단계 S3으로 진행한다.
단계 S3. 단말 장치는 단말 장치에서 실행 중인 택시 호출 소프트웨어 관련 데이터를 획득하고, 택시 호출 소프트웨어 관련 데이터에 기초하여 택시 호출 소프트웨어가 현재 시작되었는지, 즉 사용자가 현재 택시 호출 소프트웨어를 사용하는지 여부를 결정한다. 택시 호출 소프트웨어에 관련된 데이터에 기초하여 사용자가 현재 택시 호출 소프트웨어를 사용하고 있다고 결정하면, 단말 장치는 단계 S9로 진행한다. 택시 호출 소프트웨어와 관련된 데이터에 기초하여 사용자가 현재 택시 호출 소프트웨어를 사용하고 있지 않다고 결정하면, 단말 장치는 단계 S4로 진행한다.
단계 S4. 단말 장치는 가속도 센서와 자이로스코프를 이용하여 가속도 데이터 및 각속도 데이터를 수집하고, 수집된 가속도 데이터 및 수집된 각속도 데이터에 대해 데이터 전처리를 수행하며, 데이터 전처리는 데이터 리샘플링(resampling)을 수행하는 것을 포함한다. 예컨대 가속도 센서에 의해 수집된 원래 가속도 데이터의 샘플링 레이트는 100헤르츠(hz)이고 데이터 리샘플링 후 획득되는 가속도 데이터의 샘플링 레이트는 1헤르츠이다. 리샘플링 후 얻은 데이터의 특정 샘플링 레이트는 장면 식별 모델에 적용된 신경망 모델의 샘플의 샘플링 레이트에 따라 달라지며 일반적으로 샘플의 샘플링 레이트와 일치한다.
단말 장치는 전처리된 데이터를 단말 장치의 랜덤 액세스 메모리(랜덤 액세스 메모리, RAM)에 저장한다. RAM에는 DDR2, DDR3, DDR4 및 향후 출시될 DDR5를 포함하여 이중 데이터 레이트 동기식 동적 랜덤 액세스(double data rate synchronous dynamic random access) 메모리(double data rate, DDR)가 포함된다.
단계 S5. 단말 장치의 장면 식별 모델은 RAM에 저장된 전처리된 가속도 데이터와 전처리된 각속도 데이터를 획득하고, 장면 식별 모델은 전처리된 가속도 데이터와 전처리된 각속도 데이터에 기초하여 단말 장치가 현재 운전 장면에 있는지 결정하고, 만약 그렇다면, 단말 장치는 단계 S6으로 진행하고, 그렇지 않다면, 단말 장치는 단계 S9로 진행한다.
단계 S6. 단말 장치가 가속도 데이터와 각속도 데이터에 기초하여 자신이 현재 운전 장면에 있다고 결정한 후, 가속도 데이터와 각속도 데이터에 기초하여 한 장면 식별 결과의 신뢰성이 높지 않기 때문에, 단말 장치는 장면 식별을 수행하기 위해 다른 센서 데이터를 추가로 획득해야 한다. 단말 장치는 적외선 이미지 센서에 의해 수집된 이미지 데이터와 오디오 수집기에 의해 수집된 오디오 데이터를 획득하고, 수집된 이미지 데이터와 수집된 오디오 데이터를 단말 장치의 RAM에 저장하거나, 이에 대응하여 miniISP와 ASP가 수집된 이미지 데이터 및 수집된 오디오 데이터를 처리하고, 처리된 이미지 데이터 및 처리된 오디오 데이터를 단말 장치의 RAM에 저장한다.
단계 S7. 단말 장치는 RAM에 있는 이미지 데이터와 오디오 데이터를 획득하고, 장면 식별을 위해 장면 식별 모델에 이미지 데이터와 오디오 데이터를 로드하고, 이미지 데이터와 오디오 데이터에 기초하여 단말 장치가 현재 운전 장면에 있는지 결정한다. 만약 그렇다면, 단말 장치는 단계 S8로 진행하고, 그렇지 않은 경우, 단말 장치는 단계 S9로 진행한다.
단계 S8. 단말 장치는 AOD 영역에 운전 장면 아이콘을 표시하며, 여기서 운전 장면 아이콘은 단말 장치의 운전 장면 기능 엔트리이다. 단말 장치가 운전 장면 아이콘을 사용하여 사용자에 의해 트리거된 조작 명령을 수신한 후, 단말 장치는 운전 장면 모드를 활성화하는데, 예컨대, 네비게이션 응용 프로그램을 시작하고, 단말 장치에 표시된 글자의 크기를 확대하고, 음성 조작 어시스턴트를 시작한다. 음성 조작 어시스턴트는 사용자의 음성 지시에 따라 단말 장치의 동작을 제어할 수 있다. 예를 들어, 사용자의 음성 지시에 따라 전화 번호를 다이얼링하는 동작을 수행할 수 있다.
단계 S9. 단말 장치는 운전 장면 식별 동작을 종료한다.
이 솔루션에서 단말 장치는 단말 장치의 많은 센서를 사용하여 가속도 데이터, 각속도 데이터, 이미지 데이터, 오디오 데이터 등 다양한 차원의 데이터와 인공 지능 알고리즘을 사용하여 현재 장면이 운전 장면인지를 결정하므로, 운전 장면 식별의 정확성이 향상된다.
도 7은 본 출원의 실시예에 따른 컴퓨터 시스템의 개략적인 구조도이다. 컴퓨터 시스템은 단말 장치일 수 있다. 도면에 도시된 바와 같이, 컴퓨터 시스템은 통신 모듈(710), 센서(720), 사용자 입력 모듈(730), 출력 모듈(740), 프로세서(750), 오디오/비디오 입력 모듈(760), 메모리(770) 및 전원(780)을 포함한다. 또한, 이 실시예에서 제공되는 컴퓨터 시스템은 AI 프로세서(790)를 더 포함할 수 있다.
통신 모듈(710)은 컴퓨터 시스템이 통신 시스템 또는 다른 컴퓨터 시스템과 통신할 수 있도록 할 수 있는 적어도 하나의 모듈을 포함할 수 있다. 예를 들어, 통신 모듈(710)은 유선 네트워크 인터페이스, 방송 수신 모듈, 이동 통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈 및 위치 정보 모듈 중 하나 이상을 포함할 수 있다. 복수의 모듈은 각각 종래 기술에서 복수의 구현예를 가지며, 세부 사항은 본 출원에서 일일이 설명되지 않는다.
센서(720)는 시스템의 현재 상태, 예를 들어 온/오프 상태, 위치, 시스템이 사용자와 접촉하는지 여부, 방향, 가감속을 감지할 수 있다. 또한, 센서(720)는 시스템의 동작 제어에 사용되는 센싱 신호를 생성할 수 있다. 센서(720)는 적외선 이미지 센서, 오디오 수집기, 가속 센서, 자이로스코프, 주변 광 센서, 근접 센서 및 지자기 센서 중 하나 이상을 포함한다.
사용자 입력 모듈(730)은 입력된 숫자 정보, 문자 정보 또는 접촉 터치 조작/비접촉 제스처를 수신하고, 시스템의 사용자 설정 및 기능 제어와 관련된 신호 입력 등을 수신하도록 구성된다. 사용자 입력 모듈(730)은 터치 패널 및/또는 다른 입력 장치를 포함한다.
출력 모듈(740)은 사용자가 입력한 정보, 사용자에게 제공되는 정보, 시스템의 다양한 메뉴 인터페이스 등을 표시하도록 구성된 디스플레이 패널을 포함한다. 선택적으로, 디스플레이 패널은 액정 디스플레이(LCD), 유기 발광 다이오드(OLED) 등의 형태로 구성될 수 있다. 일부 다른 실시예에서, 터치 패널은 터치 디스플레이 스크린을 형성하기 위해 디스플레이 패널을 덮을 수 있다. 또한, 출력 모듈(740)은 오디오 출력 모듈, 알람, 촉각 모듈 등을 더 포함할 수 있다.
오디오/비디오 입력 모듈(760)은 오디오 신호 또는 비디오 신호를 입력하도록 구성된다. 오디오/비디오 입력 모듈(760)은 카메라 및 마이크를 포함할 수 있다.
전원(780)은 프로세서(750)의 제어에 따라 외부 전원 및 내부 전원을 공급받을 수 있으며, 시스템의 다양한 구성 요소의 동작에 필요한 전원을 제공할 수 있다.
프로세서(750)는 하나 이상의 프로세서를 포함하고, 프로세서(750)는 컴퓨터 시스템의 메인 프로세서이다. 예를 들어, 프로세서(750)는 중앙 처리 장치 및 그래픽 처리 장치를 포함할 수 있다. 본 출원에서 중앙 처리 장치는 복수의 코어를 가지며 멀티 코어 프로세서이다. 복수의 코어는 하나의 칩으로 통합될 수 있거나, 각각이 독립적인 칩일 수 있다.
메모리(770)는 컴퓨터 프로그램을 저장하고, 컴퓨터 프로그램은 운영 체제 프로그램(772), 응용 프로그램(771) 등을 포함한다. 일반적인 운영 체제는 데스크톱 컴퓨터 또는 노트북 컴퓨터(예: Microsoft의 Windows 또는 Apple의 MacOS)에서 사용되는 시스템을 포함하며, 구글에서 개발한 Linux® 기반 Android(Android®) 시스템과 같은 모바일 단말에서 사용되는 시스템도 포함한다. 전술한 실시예에서 제공된 방법은 소프트웨어로 구현될 수 있으며, 운영 체제 프로그램(772)의 특정 구현으로 간주될 수 있다.
메모리(770)는 플래시 메모리, 하드 디스크 유형의 메모리, 마이크로 멀티미디어 카드 유형의 메모리, 카드 유형의 메모리(예: SD 메모리 또는 XD 메모리), 랜덤 액세스 메모리(RAM), 정적 랜덤 액세스 메모리(SRAM), 읽기 전용 메모리(ROM), 전기적으로 소거 가능한 프로그래밍 가능 읽기 전용 메모리(EEPROM), 프로그래밍 가능한 읽기 전용 메모리(PROM), 재생 보호된 메모리 블록(RPMB), 자기 메모리, 자기 디스크 또는 광학 디스크의 유형 중 하나 이상일 수 있다. 일부 다른 실시예에서, 메모리(770)는 인터넷의 네트워크 저장 장치일 수 있다. 시스템은 인터넷상의 메모리(770)에 대해 업데이트 동작, 읽기 동작 또는 다른 동작을 수행할 수 있다.
프로세서(750)는 메모리(770)에서 컴퓨터 프로그램을 읽은 다음 컴퓨터 프로그램에 의해 정의된 방법을 수행하도록 구성된다. 예를 들어, 프로세서(750)는 시스템에서 운영 체제를 실행하고 운영 체제의 다양한 기능을 구현하기 위해 운영 체제 프로그램(772)을 판독하거나, 시스템에서 애플리케이션을 실행하기 위해 하나 이상의 응용 프로그램(771)을 판독한다.
메모리(770)는 컴퓨터 프로그램에 추가하여 다른 데이터(773)를 더 저장한다.
AI 프로세서(790)는 코 프로세서로서 프로세서(750)에 탑재되고, 프로세서(750)에 의해 AI 프로세서(790)에 할당된 태스크를 실행하도록 구성된다. 이 실시예에서, AI 프로세서(790)는 장면 식별에서 일부 복잡한 알고리즘을 구현하기 위해 장면 식별 모델에 의해 호출될 수 있다. 구체적으로, 장면 식별 모델의 AI 알고리즘은 프로세서(750)의 복수의 코어에서 실행된다. 그 후, 프로세서(750)는 AI 프로세서(790)를 호출하고, AI 프로세서(790)에 의해 구현된 결과는 프로세서(750)로 리턴된다.
모듈 간의 연결 관계는 예시일 뿐이다. 본 출원의 임의의 실시예에서 제공되는 방법은 또한 다른 연결 방식으로 단말 장치에 적용될 수 있다. 예를 들어, 모든 모듈은 버스를 사용하여 연결된다.
본 출원의 이 실시예에서, 단말 장치에 포함된 프로세서(750)는 다음과 같은 기능을 더 갖는다:
처리 대상 데이터를 획득하는 것 - 처리 대상 데이터는 센서가 수집한 데이터를 이용하여 생성되고, 센서에는 적외선 이미지 센서가 하나 이상 포함되어 있고, 처리 대상 데이터에는 적외선 이미지 센서에 의해 수집된 이미지 데이터를 이용하여 생성된 처리 대상 이미지 데이터가 적어도 포함됨 -;
장면 식별 모델을 이용하여 처리 대상 데이터에 대응하는 타겟 장면을 결정하는 것 - 장면 식별 모델은 센서 데이터 세트 및 장면 유형 세트를 사용하여 트레이닝을 통해 획득됨 -; 및
타겟 장면에 기초하여 서비스 처리 방식을 결정하는 것.
프로세서(750)는 구체적으로 다음 단계를 수행하도록 구성된다:
장면 식별 모델에서 AI 알고리즘을 사용하여 처리 대상 데이터에 대응하는 타겟 장면을 결정하는 단계 - AI 알고리즘은 딥 러닝 알고리즘을 포함하고 AI 알고리즘은 AI 프로세서(790)에서 실행됨 -.
프로세서(750)는 구체적으로 다음 단계를 수행하도록 구성된다:
센서는 오디오 수집기 및 제1 서브 센서 중 적어도 하나를 더 포함하고, 처리 대상 데이터는 처리 대상 오디오 데이터 및 제1 처리 대상 서브 데이터 중 적어도 하나를 포함하고, 처리 대상 오디오 데이터는 오디오 수집기가 수집한 오디오 데이터를 이용하여 생성되고, 제1 처리 대상 서브-데이터는 제1 서브 센서가 수집한 제1 서브 센서 데이터를 이용하여 생성된다.
프로세서(750)는 구체적으로 다음 단계를 수행하도록 구성된다:
프로세서(750)는 이미지 신호 프로세서, 오디오 신호 프로세서 및 제1 서브 센서 프로세서 중 적어도 하나를 더 포함한다.
이미지 신호 프로세서는, 미리 설정된 이미지 수집 실행 시간이 되면 적외선 이미지 센서를 이용하여 이미지 데이터를 획득하도록 구성되고, 이미지 데이터는 적외선 이미지 센서에 의해 수집된 데이터이고,
AI 프로세서(790)는 특히 이미지 신호 프로세서를 사용하여 처리 대상 이미지 데이터를 획득하도록 구성되며, 여기서 처리 대상 이미지 데이터는 이미지 데이터에 기초하여 이미지 신호 프로세서에 의해 생성된다; 및/또는
오디오 신호 프로세서는 오디오 수집의 미리 설정된 실행 시간이 되면 오디오 수집기를 사용하여 오디오 데이터를 획득하도록 구성되고,
AI 프로세서(790)는 오디오 신호 프로세서를 사용하여 처리 대상 오디오 데이터를 획득하도록 특별히 구성되며, 여기서 처리 대상 오디오 데이터는 오디오 데이터에 기초하여 오디오 신호 프로세서에 의해 생성된다; 및/또는
제1 서브 센서 프로세서는 제1 사전 설정된 실행 시간이 되면, 제1 서브 센서를 사용하여 제1 서브 센서 데이터를 획득하도록 구성되고, 제1 서브 센서 데이터는 제1 서브 센서에 의해 수집된 데이터이고,
코 프로세서는 구체적으로 제1 서브 센서 프로세서를 사용하여 제1 처리 대상 서브 데이터를 획득하도록 구성되며, 제1 처리 대상 서브 데이터는 제1 서브 센서 프로세서에 의해 제1 서브 센서 데이터에 기초하여 생성된다.
프로세서(750)는 구체적으로 다음 단계를 수행하도록 구성된다:
코 프로세서는 구체적으로, 타겟 장면이 2차원 코드 스캔하는 장면인 경우, 2차원 코드 스캔하는 장면에 기초하여, 서비스 처리 방식이 단말 장치에서 메인 이미지 센서를 시작하는 것 및/또는 단말 장치에 있고 2차원 코드 스캔 기능을 지원하는 응용 프로그램을 시작하는 것으로 결정한다.
프로세서(750)는 구체적으로 다음 단계를 수행하도록 구성된다:
코 프로세서는 구체적으로, 타겟 장면이 회의 장면인 경우, 회의 장면에 기초하여, 서비스 처리 방식이 단말 장치의 무음 모드를 활성화하는 것, 및/또는 단말 장치의 응용 프로그램의 무음 기능을 활성화하는 것, 및/또는 단말 장치의 대기 화면에서 상시 표시 영역에 무음 모드 아이콘을 표시하는 것으로 결정한다. 여기서 무음 모드 아이콘은 무음 모드를 활성화하는 데 사용된다.
프로세서(750)는 구체적으로 다음 단계를 수행하도록 구성된다:
코 프로세서는 구체적으로, 타겟 장면이 모션 장면인 경우, 모션 장면에 기초하여, 서비스 처리 방식이, 단말 장치의 모션 모드를 활성화하는 것 및/또는 단말 장치의 응용 프로그램의 모션 모드 기능을 활성화하는 것 및/또는 단말 장치의 대기 화면의 상시 표시 영역에 음악 재생 아이콘을 표시하는 것으로 결정하고, 단말 장치의 모션 모드에는 걸음 수 계산 기능이 포함되어 있고 음악 재생 아이콘은 음악 재생을 시작하거나 일시 중지하는 데 사용된다.
프로세서(750)는 구체적으로 다음 단계를 수행하도록 구성된다:
코 프로세서는 구체적으로, 타겟 장면이 운전 장면인 경우, 운전 장면에 기초하여, 서비스 처리 방식이 단말 장치의 운전 모드를 활성화하는 것, 및/또는 단말 장치의 응용 프로그램의 운전 모드 기능을 활성화하는 것, 및/또는 단말 장치의 대기 화면의 상시 표시 영역에 운전 모드 아이콘을 표시하는 것으로 결정하고, 단말 장치의 운전 모드에는 내비게이션 기능과 음성 어시스턴트가 포함되어 있으며, 운전 모드 아이콘은 운전 모드를 활성화하는 데 사용된다.
도 8은 본 출원의 실시예에 따른 AI 프로세서의 개략적인 구조도이다. AI 프로세서(800)는 메인 프로세서 및 외부 메모리와 연결된다. AI 프로세서(800)의 코어 부분은 연산 회로(operation circuit)(803)이고, 제어기(804)는 연산 회로(803)를 제어하여 메모리에서 데이터를 추출하고 수학적 연산을 수행하는 데 사용된다.
일부 구현에서, 연산 회로(803)는 복수의 프로세싱 엔진(process engine, PE)을 포함한다. 일부 구현에서, 연산 회로(803)는 2차원 시스토릭 어레이(systolic array)이다. 대안적으로, 연산 회로(803)는 1차원 시스토릭 어레이, 또는 곱셈 및 덧셈과 같은 수학적 연산을 수행할 수 있는 다른 전자 회로일 수 있다. 일부 다른 구현에서, 연산 회로(803)는 범용 매트릭스 프로세서이다.
예를 들어 입력 행렬 A, 가중치 행렬 B, 출력 행렬 C가 있다고 가정한다. 연산 회로(803)는 가중치 메모리(802)로부터 행렬 B에 대응하는 데이터를 획득하고, 연산 회로(803)의 각 PE에 데이터를 버퍼링한다. 연산 회로(803)는 입력 메모리(801)로부터 행렬 A에 대응하는 데이터를 획득하고, 데이터 및 행렬 B에 대해 행렬 연산을 수행하고, 행렬의 부분 결과 또는 최종 결과를 누산기(accumulator)(808)에 저장한다. .
통합 메모리(806)는 입력 데이터 및 출력 데이터를 저장하도록 구성된다. 가중치 데이터는 저장 유닛 액세스 제어기(805)(예를 들어 direct memory access controller, DMAC)를 사용하여 가중치 메모리(802)로 직접 이주된다. 입력 데이터는 또한 저장 유닛 액세스 제어기(805)를 사용하여 통합 메모리(806)로 이주된다.
버스 인터페이스 유닛(bus interface unit, BIU)(810)은 AXI(advanced extensible interface) 버스와 각각의 저장 유닛 액세스 제어기(805) 및 명령어 페치 메모리(instruction fetch buffer)(809) 사이의 상호 작용을 위해 사용된다.
버스 인터페이스 유닛(810)은 외부 메모리로부터 명령어를 인출하기 위해 명령어 페치 메모리(809)에 의해 사용되며, 외부로부터 입력 행렬 A 또는 가중치 행렬 B의 원본 데이터를 얻기 위해 저장 유닛 액세스 제어기(805)에 의해서도 사용된다.
저장 유닛 액세스 제어기(805)는 주로 외부 메모리의 입력 데이터를 통합 메모리(806)로 이주시키거나, 가중치 데이터를 가중치 메모리(802)로 이주시키거나, 입력 데이터를 입력 메모리(801)로 이주시키도록 구성된다.
벡터 계산 유닛(807)은 일반적으로 복수의 연산 처리 유닛을 포함한다. 필요한 경우, 벡터 곱셈, 벡터 덧셈, 지수 연산, 로그 연산 및/또는 값 비교와 같이, 연산 회로(803)의 출력에 대해 추가 처리가 수행된다.
일부 구현에서, 벡터 계산 유닛(807)은 처리된 벡터를 통합 메모리(806)에 저장할 수 있다. 예를 들어, 벡터 계산 유닛(807)은 연산 회로(803)의 출력에 비선형 함수를 적용하여, 예를 들어 누적된 값의 벡터를 적용하여 활성화(activation) 값을 생성할 수 있다. 일부 구현에서, 벡터 계산 유닛(807)은 정규화된 값, 결합된 값, 또는 두 값 모두를 생성한다. 일부 구현에서, 처리된 벡터는 연산 회로(803)의 활성화 입력으로서 사용될 수 있다.
제어기(804)에 연결된 명령어 페치 메모리(809)는 제어기(804)에 의해 사용되는 명령어를 저장하도록 구성된다.
통합 메모리(806), 입력 메모리(801), 가중치 메모리(802) 및 명령 페치 메모리(809)는 각각 온칩 메모리이다. 도면에서 외부 메모리는 AI 프로세서의 하드웨어 아키텍처와 무관한다.
이하에서는 본 출원의 실시예들의 실시예에 대응하는 서비스 처리 장치를 상세히 설명한다. 도 9는 본 출원의 실시예에 따른 서비스 처리 장치의 실시예의 개략도이다. 본 출원의이 실시예에서 서비스 처리 장치(90)는 다음을 포함한다:
처리 대상 데이터를 획득하도록 구성된 획득 유닛(901) - 처리 대상 데이터는 센서에 의해 수집된 데이터를 사용하여 생성되며, 센서는 적어도 적외선 이미지 센서를 포함하고 처리 대상 데이터는 적외선 이미지 센서에 의해 수집된 이미지 데이터를 이용하여 생성된 처리 대상 이미지 데이터를 적어도 포함함 -; 및
장면 식별 모델을 사용하여, 처리 대상 데이터에 대응하는 타겟 장면을 결정하도록 구성된 결정 유닛(902) - 장면 식별 모델은 센서 데이터 세트 및 장면 유형 세트를 사용하여 트레이닝을 통해 획득됨 -.
결정 유닛(902)은 또한 타겟 장면에 기초하여 서비스 처리 방식을 결정하도록 구성된다.
이 실시예에서, 획득 유닛(901)은 처리 대상 데이터를 획득하도록 구성되며, 여기서 처리 대상 데이터는 센서에 의해 수집된 데이터를 사용하여 생성되고, 센서는 적어도 적외선 이미지 센서를 포함하고, 처리 대상 데이터는 적외선 이미지 센서에 의해 수집된 이미지 데이터를 이용하여 생성된 처리 대상 이미지 데이터를 적어도 포함한다. 결정 유닛(902)은 장면 식별 모델을 사용하여, 처리 대상 데이터에 대응하는 타겟 장면을 결정하도록 구성되며, 여기서 장면 식별 모델은 센서 데이터 세트 및 장면 유형 세트를 사용하여 트레이닝을 통해 획득된다. 결정 유닛(902)은 또한 타겟 장면에 기초하여 서비스 처리 방식을 결정하도록 구성된다.
본 출원의 이 실시예에서, 단말 장치는 단말 장치에 배치되거나 단말 장치에 연결된 센서를 사용하여 데이터를 수집하며, 여기서 센서는 적어도 적외선 이미지 센서를 포함하고, 단말 장치는 수집된 데이터에 기초하여 처리 대상 데이터를 생성하고, 처리 대상 데이터는 적어도 적외선 이미지 센서에 의해 수집된 이미지 데이터를 사용하여 생성된 처리 대상 이미지 데이터를 포함한다. 단말 장치는 처리 대상 데이터를 획득한 후 장면 식별 모델을 이용하여 처리 대상 데이터에 대응하는 타겟 장면을 결정할 수 있으며, 여기서 장면 식별 모델은 센서가 수집을 통해 획득한 데이터 세트 및 상이한 데이터에 대응하는 장면 유형 세트를 이용하여 오프라인 트레이닝을 통해 획득된다. 오프라인 트레이닝은 딥 러닝 프레임 워크를 사용하여 모델 설계 및 트레이닝을 수행하는 것을 의미한다. 현재 타겟 장면을 결정한 후, 단말 장치는 타겟 장면에 기초하여 대응하는 서비스 처리 방식을 결정할 수 있다. 센서에 의해 수집된 데이터와 장면 식별 모델을 이용하여 단말 장치가 현재 위치한 타겟 장면을 결정할 수 있으며, 대응하는 서비스 처리 방식은 타겟 장면에 기초하여 결정되므로, 단말 장치는 자동으로 별도의 조작없이 타겟 장면에 대응하는 서비스 처리 방식을 결정할 수 있고, 이로써 사용자의 사용 편의성을 높일 수 있다.
도 9에 대응하는 실시예에 기초하여, 본 출원의 이 실시예에서 제공되는 서비스 처리 장치(90)의 다른 실시예에서,
결정 유닛(902)은 구체적으로 장면 식별 모델에서의 AI 알고리즘을 사용하여 처리 대상 데이터에 대응하는 타겟 장면을 결정하도록 구성되며, 여기서 AI 알고리즘은 딥 러닝 알고리즘을 포함하고 AI 알고리즘은 AI 프로세서에서 실행된다.
본 출원의 본 실시예에서, 단말 장치는 장면 식별 모델에서의 AI 알고리즘을 사용하여 처리 대상 데이터에 대응하는 타겟 장면을 구체적으로 결정한다. AI 알고리즘은 딥 러닝 알고리즘을 포함하며 단말 장치의 AI 프로세서에서 실행된다. AI 프로세서는 강력한 병렬 컴퓨팅 기능을 가지고 있고 AI 알고리즘 실행시 높은 효율성을 특징으로 하기 때문에, 장면 식별 모델은 AI 알고리즘을 이용하여 특정 타겟 장면을 결정한다. AI 알고리즘은 단말 장치의 AI 프로세서에서 실행되고, 이로써 장면 식별의 효율성을 높이고 사용자의 사용 편의성을 더욱 향상시킬 수 있다.
도 9에 대응하는 실시예에 기초하여, 본 출원의 이 실시예에서 제공되는 서비스 처리 장치(90)의 다른 실시예에서,
센서는 오디오 수집기 및 제1 서브 센서 중 적어도 하나를 더 포함하고, 처리 대상 데이터는 처리 대상 오디오 데이터 및 제1 처리 대상 서브 데이터 중 적어도 하나를 포함한다. 처리 대상 오디오 데이터는 오디오 수집기가 수집한 오디오 데이터를 이용하여 생성되고, 제1 처리 대상 서브-데이터는 제1 서브 센서가 수집한 제1 서브 센서 데이터를 이용하여 생성된다.
본 출원의 이 실시예에서, 적외선 이미지 센서에 더하여, 단말 장치에 배치된 센서는 오디오 수집기 및 제1 서브 센서 중 하나를 더 포함한다. 제1 서브 센서는 가속 센서, 자이로스코프, 주변 광 센서, 근접 센서 및 지자기 센서 중 하나 이상일 수 있다. 오디오 수집기는 오디오 데이터를 수집하고 오디오 데이터는 단말 장치에서 처리되어 처리 대상 오디오 데이터를 생성한다. 제1 서브 센서는 제1 서브 센서 데이터를 수집하고, 제1 서브 센서 데이터는 단말 장치에 의해 처리되어 제1 처리 대상 서브 센서 데이터가 생성된다. 단말 장치는 복수의 센서를 이용하여 복수 차원의 데이터를 수집함으로써 장면 식별의 정확성을 높일 수 있다.
도 9에 대응하는 실시예에 기초하여, 본 출원의 이 실시예에서 제공되는 서비스 처리 장치(90)의 다른 실시예에서,
획득 유닛(901)은 구체적으로, 미리 설정된 이미지 수집 실행 시간이 되면, 적외선 이미지 센서를 사용하여 이미지 데이터를 획득하며, 여기서 이미지 데이터는 적외선 이미지 센서에 의해 수집된 데이터이고,
획득 유닛(901)은 구체적으로, 이미지 신호 프로세서를 사용하여 처리 대상 이미지 데이터를 획득하도록 구성되며, 여기서 처리 대상 이미지 데이터는 이미지 데이터에 기초하여 이미지 신호 프로세서에 의해 생성되며; 및/또는
획득 유닛(901)은 구체적으로, 미리 설정된 오디오 컬렉션 실행 시간이 되면, 오디오 수집기를 사용하여 오디오 데이터를 획득하고,
획득 유닛(901)은 구체적으로, 오디오 신호 프로세서를 사용하여 처리 대상 오디오 데이터를 획득하도록 구성되며, 여기서 처리 대상 오디오 데이터는 오디오 데이터에 기초하여 오디오 신호 프로세서에 의해 생성되고; 및/또는
획득 유닛(901)은 구체적으로, 제1 사전 설정된 실행 시간이 되면, 제1 서브 센서를 사용하여 제1 서브 센서 데이터를 획득하도록 구성되며, 여기서 제1 서브 센서 데이터는 제1 서브 센서에 의해 수집된 데이터이고,
획득 유닛(901)은 구체적으로, 제1 서브 센서 프로세서를 사용하여 제1 처리 대상 서브 데이터를 획득하도록 구성되며, 여기서 제1 처리 대상 서브 데이터는 제1 서브 센서 데이터에 기초하여 제1 서브 센서 프로세서에 의해 생성된다.
본 출원의 이 실시예에서, 적외선 이미지 센서, 오디오 수집기 및 제1 서브 센서 중 하나 이상은 각각의 미리 설정된 실행 시간이 도달한 후에 센서에 대응하는 데이터를 별도로 수집할 수 있다. 원본 센서 데이터가 수집된 후 단말 장치는 센서에 대응하는 프로세서를 사용하여 원본 센서 데이터를 처리하여 처리 대상 센서 데이터를 생성한다. 미리 설정된 실행 시간이 설정되고 센서가 타이밍을 통해 데이터 수집을 시작하여 수집된 원본 데이터를 센서에 대응하는 프로세서에서 처리할 수 있으므로, 장면 식별 모델이 차지하는 버퍼 공간을 줄이고, 장면 식별 모델의 전력 소비를 줄이며, 대기 모드에서 단말 장치의 사용 기간을 개선한다.
도 9에 대응하는 실시예에 기초하여, 본 출원의 이 실시예에서 제공되는 서비스 처리 장치(90)의 다른 실시예에서,
결정 유닛(902)은 구체적으로, 타겟 장면이 2차원 코드 스캔하는 장면이라고 결정하면, 2차원 코드 스캔하는 장면에 기초하여, 서비스 처리 방식이 단말 장치에서 메인 이미지 센서를 시작하는 것, 및/또는 단말 장치에 있고 2차원 코드 스캔 기능을 지원하는 응용 프로그램을 시작하는 것으로 결정하도록 구성된다.
본 출원의 이 실시예에서, 단말 장치에 있는 하나 이상의 센서에 의해 수집된 데이터에 기초하여, 센서에 의해 수집된 데이터에 대응하는 타겟 장면이 2차원 코드 스캔하는 장면인 것으로 결정한 때, 단말 장치는 2차원 코드 스캔하는 장면에 대응하는 서비스 처리 방식을 결정한다. 서비스 처리 방식은 단말 장치에서 메인 이미지 센서를 시작하는 것을 포함한다. 단말 장치는 메인 이미지 센서를 이용하여 2차원 코드를 스캔할 수 있다. 또는, 단말 장치는 2차원 코드 스캔 기능을 지원하는 응용 프로그램을 시작할 수 있다. 예를 들어, 응용 프로그램 위챗(WeChat)을 시작하고 위챗에서 2차원 코드 스캔 기능을 활성화할 수 있다. 메인 이미지 센서와 2차원 코드 스캔 기능을 지원하는 응용 프로그램이 모두 시작되거나, 메인 이미지 센서 또는 2차원 코드 스캔 기능을 지원하는 응용 프로그램이 미리 설정된 명령 또는 사용자로부터 받은 지시에 기초하여 시작될 수 있다. 이것은 여기에 제한되지 않는다. 2차원 코드를 스캔하는 것 외에도 메인 이미지 센서를 사용하여 바코드와 같은 다른 아이콘을 스캔할 수 있다. 이것은 여기에 제한되지 않는다. 단말 장치는 장면 식별 모델과 다차원 센서가 수집한 데이터를 이용하여 타겟 장면이 2차원 코드 스캔하는 장면임을 결정한 후 관련 서비스 처리 방식을 자동으로 실행하여 단말 장치의 지능 및 사용자 조작 편의성을 향상시킬 수 있다.
도 9에 대응하는 실시예에 기초하여, 본 출원의 이 실시예에서 제공되는 서비스 처리 장치(90)의 다른 실시예에서,
결정 유닛(902)은 구체적으로, 타겟 장면이 회의 장면이라고 결정하면, 회의 장면에 기초하여, 서비스 처리 방식이 단말 장치의 무음 모드를 활성화하는 것, 및/또는 단말 장치에서 응용 프로그램의 무음 기능을 활성화하는 것, 및/또는 단말 장치의 대기 화면에서 상시 표시 영역에 무음 모드 아이콘을 표시하는 것으로 결정하고, 여기서 무음 모드 아이콘은 무음 모드를 활성화하는 데 사용된다.
본 출원의 본 실시예에서, 단말 장치에 있는 하나 이상의 센서에 의해 수집된 데이터에 기초하여, 센서에 의해 수집된 데이터에 대응하는 타겟 장면이 회의 장면인 것으로 결정한 때, 단말 장치는 회의 장면에 대응하는 서비스 처리 방식을 결정한다. 서비스 처리 방식은 단말 장치의 무음 모드를 활성화하는 것을 포함한다. 단말 장치가 무음 모드이면 단말 장치에서 실행되는 모든 응용 프로그램은 무음 상태이다. 다르게는, 단말 장치는 단말 장치에서 실행되는 응용 프로그램의 무음 기능을 활성화할 수 있는데, 예를 들어 응용 프로그램 위챗의 무음 기능을 활성화할 수 있다. 이 경우 위챗의 경고음이 무음 모드로 전환된다. 또는 단말 장치는 대기 화면의 상시 표시 영역에 무음 모드 아이콘을 표시할 수 있다. 단말 장치는 무음 모드 아이콘을 이용하여 사용자의 무음 동작 명령을 수신할 수 있으며, 단말 장치는 무음 동작 명령에 응답하여 무음 모드를 활성화한다. 장면 식별 모델과 다차원 센서가 수집한 데이터를 이용하여 타겟 장면이 회의 장면인 것으로 결정한 후, 단말 장치는 자동으로 관련 서비스 처리 방식을 실행하여 단말 장치의 지능 및 사용자 조작 편의성을 향상시킬 수 있다.
도 9에 대응하는 실시예에 기초하여, 본 출원의 이 실시예에서 제공되는 서비스 처리 장치(90)의 다른 실시예에서,
결정 유닛(902)은 구체적으로, 타겟 장면이 모션 장면인 것으로 결정하면, 모션 장면에 기초하여, 서비스 처리 방식이 단말 장치의 모션 모드를 활성화하는 것, 및/또는 단말 장치에서 응용 프로그램의 모션 모드 기능을 활성화하는 것, 및/또는 단말 장치의 대기 화면의 상시 표시 영역에 음악 재생 아이콘을 표시하는 것으로 결정한다. 여기서 단말 장치의 모션 모드는 걸음 수 계산 기능을 포함하고, 음악 재생 아이콘은 음악 재생을 시작하거나 일시 중지하는 데 사용된다.
이 출원의 본 실시예에서, 단말 장치에 있는 하나 이상의 센서에 의해 수집된 데이터에 기초하여, 센서에 의해 수집된 데이터에 대응하는 타겟 장면이 모션 장면인 것으로 결정한 때, 단말 장치는 모션 장면에 대응하는 서비스 처리 방식을 결정한다. 서비스 처리 방식은 단말 장치의 모션 모드를 활성화하는 것을 포함한다. 단말 장치가 모션 모드인 경우, 단말 장치는 걸음 수 계산 응용 프로그램 및 생리 데이터 모니터링 응용 프로그램을 시작하고, 단말 장치에서 관련 센서를 이용하여 사용자의 걸음 수 및 관련 생리 데이터를 기록한다. 다르게는, 단말 장치는 단말 장치 내의 응용 프로그램의 모션 모드 기능을 활성화할 수 있으며, 예를 들어 응용 프로그램 NetEase Cloud Music의 모션 기능을 활성화할 수 있다. 이 경우 NetEase Cloud Music의 재생 모드가 모션 모드이다. 또는 단말 장치는 단말 장치의 대기 화면의 상시 표시 영역에 음악 재생 아이콘을 표시할 수 있다. 단말 장치는 음악 재생 아이콘을 이용하여 사용자의 음악 재생 명령을 수신할 수 있고, 단말 장치는 음악 재생 명령에 응답하여 음악 재생을 시작하거나 일시 중지할 수 있다. 장면 식별 모델과 다차원 센서에 의해 수집된 데이터를 이용하여 타겟 장면이 모션 장면인 것으로 결정한 후, 단말 장치는 자동으로 관련 서비스 처리 방식을 실행하여 단말 장치의 지능 및 사용자 조작 편의성을 향상시킬 수 있다.
도 9에 대응하는 실시예에 기초하여, 본 출원의 이 실시예에서 제공되는 서비스 처리 장치(90)의 다른 실시예에서,
결정 유닛(902)은 구체적으로, 타겟 장면이 운전 장면인 것으로 결정하면, 운전 장면에 기초하여, 서비스 처리 방식이 단말 장치의 운전 모드를 활성화하는 것, 및/또는 단말 장치에서의 응용 프로그램의 운전 모드 기능을 활성화하는 것, 및/또는 단말 장치의 대기 화면에서 상시 표시 영역에 운전 모드 아이콘을 표시하는 것으로 결정한다. 여기서 단말 장치의 운전 모드는 내비게이션 기능과 음성 어시스턴트를 포함하고, 운전 모드 아이콘은 운전 모드를 활성화하는 데 사용된다.
본 출원의 이 실시예에서, 단말 장치의 하나 이상의 센서에 의해 수집된 데이터에 기초하여, 센서에 의해 수집된 데이터에 대응하는 타겟 장면이 운전 장면 인 것으로 결정한 때, 단말 장치는 운전 장면에 대응하는 서비스 처리 방식을 결정한다. 서비스 처리 방식은 단말 장치의 운전 모드를 활성화하는 것을 포함한다. 단말 장치가 운전 모드인 경우, 단말 장치는 음성 어시스턴트를 시작하고, 단말 장치는 사용자가 입력한 음성 명령에 따라 관련 동작을 수행할 수 있으며, 단말 장치는 내비게이션 기능을 더 활성화할 수 있다. 또는, 단말 장치는 단말 장치에서 응용 프로그램의 운전 모드 기능을 활성화할 수 있으며, 예를 들어 응용 프로그램 Amap의 운전 모드 기능을 활성화할 수 있다. 이 경우 NetEase Cloud Music의 내비게이션 모드가 운전 모드이다. 또는 단말 장치는 대기 화면의 상시 표시 영역에 운전 모드 아이콘을 표시할 수 있다. 단말 장치는 운전 모드 아이콘을 이용하여 사용자의 운전 모드 명령을 수신할 수 있으며, 단말 장치는 운전 모드 명령에 응답하여 운전 모드를 활성화한다. 장면 식별 모델과 다차원 센서가 수집한 데이터를 이용하여 타겟 장면이 운전 장면임을 결정한 후, 단말 장치는 자동으로 관련 서비스 처리 방식을 실행하여 단말 장치의 지능 및 사용자 조작 편의성을 향상시킬 수 있다.
편리하고 간단한 설명을 위해, 전술한 시스템, 장치 및 유닛의 상세한 작업 프로세스에 대해서는 전술한 방법 실시예에서 대응하는 프로세스를 참조한다는 것을 통상의 기술자는 명확하게 이해할 수 있다. 자세한 내용은 여기서 다시 설명하지 않는다.
본 출원에 제공된 여러 실시예에서, 개시된 시스템, 장치 및 방법은 다른 방식으로 구현될 수 있다는 것을 이해해야 한다. 예를 들어, 설명된 장치 실시예는 단지 예시일 뿐이다. 예를 들어, 유닛 분할은 단순히 논리적 기능 분할이며 실제 구현에서는 다른 분할일 수 있다. 예를 들어, 복수의 유닛 또는 컴포넌트가 다른 시스템에 결합되거나 통합될 수 있거나, 일부 기능이 무시되거나 수행되지 않을 수 있다. 또한, 표시되거나 언급된 상호 결합 또는 직접 결합 또는 통신 연결은 일부 인터페이스를 사용하여 구현될 수 있다. 장치 또는 유닛 간의 간접 결합 또는 통신 연결은 전자적, 기계적 또는 다른 형태로 구현될 수 있다.
분리된 부분으로 기술된 유닛은 물리적으로 분리되거나 분리되지 않을 수 있으며, 유닛으로 표시되는 부분은 물리적 유닛일 수도 있고 아닐 수도 있고, 한 위치에 위치할 수도 있고, 복수의 네트워크 유닛에 분산될 수도 있다. 일부 또는 모든 유닛은 실시예의 솔루션의 목적을 달성하기 위해 실제 요건에 기초하여 선택될 수 있다.
또한, 본 출원의 실시예의 기능 유닛은 하나의 처리 유닛으로 통합될 수 있거나, 각각의 유닛은 물리적으로 단독으로 존재할 수 있거나, 둘 이상의 유닛이 하나의 유닛으로 통합될 수 있다. 통합 유닛은 하드웨어 형태로 구현될 수도 있고 소프트웨어 기능 유닛의 형태로 구현될 수도 있다.
통합 유닛이 소프트웨어 기능 유닛의 형태로 구현되어 독립적인 제품으로 판매 또는 사용되는 경우, 통합 유닛은 컴퓨터 판독 가능한 저장 매체에 저장될 수 있다. 이러한 이해를 바탕으로, 본 출원의 기술적 솔루션, 또는 종래 기술에 기여하는 부분, 또는 기술적 솔루션의 전부 또는 일부는 소프트웨어 제품의 형태로 구현될 수 있다. 컴퓨터 소프트웨어 제품은 저장 매체에 저장되며, 컴퓨터 장치(개인용 컴퓨터, 서버, 네트워크 장치 등일 수 있음)에 본 출원의 실시예에서의 방법의 모든 단계 또는 일부 단계를 수행하도록 지시하는 여러 명령을 포함한다. 전술한 저장 매체에는 USB 플래시 드라이브, 이동식 하드 디스크, 읽기 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 자기 디스크 또는 광 디스크와 같은 프로그램 코드를 저장할 수 있는 모든 매체가 포함된다.
전술한 실시예는 단지 본 출원의 기술적 솔루션을 설명하기 위한 것이며, 본 출원을 제한하려는 의도가 아니다. 본 출원이 전술한 실시예를 참조하여 상세하게 설명되었지만, 통상의 기술자는 여전히 본 출원의 실시예의 기술적 솔루션의 정신과 범위로부터 벗어나지 않고서 전술한 실시예에서 설명된 기술적 솔루션을 수정하거나 이의 일부 기술적인 특징을 등가로 대체할 수 있음을 이해해야 한다.
Claims (28)
- 단말 장치에 적용되는 서비스 처리 방법으로서,
처리 대상 데이터를 획득하는 단계 - 상기 처리 대상 데이터는 센서에 의해 수집된 데이터를 사용하여 생성되고, 상기 센서는 이미지 센서를 포함하고, 상기 처리 대상 데이터는 상기 이미지 센서에 의해 수집된 이미지 데이터를 이용하여 생성된 처리 대상 이미지 데이터를 포함함 -;
장면 식별 모델을 이용하여 상기 처리 대상 데이터에 대응하는 타겟 장면을 결정하는 단계 - 상기 장면 식별 모델은 센서 데이터 세트 및 장면 유형 세트를 사용하여 트레이닝을 통해 획득됨 -; 및
상기 타겟 장면에 기초하여 서비스 처리 방식을 결정하는 단계
를 포함하는 서비스 처리 방법. - 제1항에 있어서,
상기 장면 식별 모델을 이용하여 상기 처리 대상 데이터에 대응하는 타겟 장면을 결정하는 단계는,
상기 장면 식별 모델에서 AI 알고리즘을 사용하여 상기 처리 대상 데이터에 대응하는 타겟 장면을 결정하는 단계를 포함하고,
상기 AI 알고리즘은 딥 러닝 알고리즘을 포함하고, 상기 AI 알고리즘은 AI 프로세서에서 실행되는,
서비스 처리 방법. - 제2항에 있어서,
상기 센서는 오디오 수집기 및 제1 서브 센서 중 적어도 하나를 더 포함하고, 처리 대상 데이터는 처리 대상 오디오 데이터 및 제1 처리 대상 서브-데이터 중 적어도 하나를 포함하고,
상기 처리 대상 오디오 데이터는 상기 오디오 수집기에 의해 수집된 오디오 데이터를 이용하여 생성되고, 제1 처리 대상 서브-데이터는 상기 제1 서브 센서에 의해 수집된 제1 서브 센서 데이터를 이용하여 생성되는,
서비스 처리 방법. - 제3항에 있어서,
상기 처리 대상 데이터를 획득하는 단계는,
(1) 미리 설정된 이미지 수집 실행 시간이 되면, 상기 이미지 센서를 이용하여 이미지 데이터를 획득하는 단계와 - 상기 이미지 데이터는 상기 이미지 센서에 의해 수집된 데이터임 -,
이미지 신호 프로세서를 이용하여 상기 처리 대상 이미지 데이터를 획득하는 단계 - 상기 처리 대상 이미지 데이터는 상기 이미지 데이터에 기초하여 상기 이미지 신호 프로세서에 의해 생성됨 -; 및/또는
(2) 미리 설정된 오디오 수집 실행 시간이 되면, 상기 오디오 수집기를 이용하여 상기 오디오 데이터를 획득하는 단계와,
상기 오디오 신호 프로세서를 이용하여 상기 처리 대상 오디오 데이터를 획득하는 단계 - 상기 처리 대상 오디오 데이터는 상기 오디오 데이터에 기초하여 상기 오디오 신호 프로세서에 의해 생성됨 -; 및/또는
(3) 미리 설정된 제1 실행 시간이 되면, 상기 제1 서브 센서를 이용하여 상기 제1 서브 센서 데이터를 획득하는 단계와 - 상기 제1 서브 센서 데이터는 상기 제1 서브 센서에 의해 수집된 데이터임 -,
제1 서브 센서 프로세서를 이용하여 상기 제1 처리 대상 서브 데이터를 획득하는 단계 - 상기 제1 처리 대상 서브 데이터는 상기 제1 서브 센서 데이터에 기초하여 상기 제1 서브 센서 프로세서에 의해 생성됨-;
를 포함하는 서비스 처리 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 타겟 장면에 기초하여 서비스 처리 방식을 결정하는 단계는,
상기 타겟 장면이 2차원 코드 스캔하는 장면인 경우, 상기 2차원 코드 스캔하는 장면에 기초하여, 상기 서비스 처리 방식이 단말 장치에서 메인 이미지 센서를 시작하는 것, 및/또는 2차원 코드 스캔 기능을 지원하는 응용 프로그램을 시작하는 것으로 결정하는 단계를 포함하는,
서비스 처리 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 타겟 장면에 기초하여 서비스 처리 방식을 결정하는 단계는,
상기 타겟 장면이 회의 장면인 경우, 상기 회의 장면에 기초하여, 상기 서비스 처리 방식이 단말 장치의 무음 모드를 활성화하는 것, 및/또는 단말 장치에서 응용 프로그램의 무음 기능을 활성화하는 것, 및/또는 단말 장치의 대기 화면에서 상시 표시 영역에 무음 모드 아이콘을 표시하는 것으로 결정하는 단계를 포함하고,
상기 무음 모드 아이콘은 무음 모드를 활성화하는 데 사용되는,
서비스 처리 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 타겟 장면에 기초하여 서비스 처리 방식을 결정하는 단계는,
상기 타겟 장면이 모션 장면인 경우, 상기 모션 장면에 기초하여, 상기 서비스 처리 방식이 단말 장치의 모션 모드를 활성화하는 것, 및/또는 단말 장치에서 응용 프로그램의 모션 모드 기능을 활성화하는 것, 및/또는 단말 장치의 대기 화면의 상시 표시 영역에 음악 재생 아이콘을 표시하는 것으로 결정하는 단계를 포함하고,
상기 단말 장치의 모션 모드는 걸음 수 계산 기능을 포함하고, 상기 음악 재생 아이콘은 음악 재생을 시작하거나 일시 중지하는 데 사용되는,
서비스 처리 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 타겟 장면에 기초하여 서비스 처리 방식을 결정하는 단계는,
상기 타겟 장면이 운전 장면인 경우, 상기 운전 장면에 기초하여, 상기 서비스 처리 방식이 단말 장치의 운전 모드를 활성화하는 것, 및/또는 단말 장치에서 응용 프로그램의 운전 모드 기능을 활성화하는 것, 및/또는 단말 장치의 대기 화면의 상시 표시 영역에 운전 모드 아이콘을 표시하는 것으로 결정하는 단계를 포함하고,
상기 단말 장치의 운전 모드는 내비게이션 기능 및 음성 어시스턴트를 포함하고, 상기 운전 모드 아이콘은 운전 모드를 활성화하는 데 사용되는,
서비스 처리 방법. - 센서 및 프로세서를 포함하는 단말 장치로서, 상기 센서는 적어도 하나의 이미지 센서를 포함하고,
상기 프로세서는 처리 대상 데이터를 획득하도록 구성되며, 상기 처리 대상 데이터는 센서에 의해 수집된 데이터를 사용하여 생성되고, 상기 처리 대상 데이터는 적어도 상기 이미지 센서에 의해 수집된 이미지 데이터를 이용하여 생성된 처리 대상 이미지를 포함하고,
상기 프로세서는 또한, 장면 식별 모델을 사용하여 상기 처리 대상 데이터에 대응하는 타겟 장면을 결정하도록 구성되며, 상기 장면 식별 모델은 센서에 의해 얻은 센서 데이터 세트와 장면 유형 세트를 이용하여 트레이닝을 통해 획득되며,
상기 프로세서는 또한 상기 타겟 장면에 기초하여 서비스 처리 방식을 결정하도록 구성되는,
단말 장치. - 제9항에 있어서,
상기 프로세서는 코 프로세서(coprocessor) 및 AI 프로세서를 더 포함하고,
상기 프로세서는 장면 식별 모델에서 AI 알고리즘을 사용하여 처리 대상 데이터에 대응하는 타겟 장면을 결정하도록 구성되고, 상기 AI 알고리즘은 딥 러닝 알고리즘을 포함하고, 상기 AI 알고리즘은 AI 프로세서상에서 실행되는,
단말 장치. - 제10항에 있어서,
상기 센서는 오디오 수집기 및 제1 서브 센서 중 적어도 하나를 더 포함하는 단말 장치. - 제11항에 있어서,
상기 프로세서는 이미지 신호 프로세서, 오디오 신호 프로세서 및 상기 제1 서브 센서 프로세서 중 적어도 하나를 더 포함하고,
(1) 상기 이미지 신호 프로세서는, 미리 설정된 이미지 수집 실행 시간이 되면, 상기 이미지 센서를 이용하여 이미지 데이터를 획득하고, 상기 이미지 데이터는 상기 이미지 센서에 의해 수집된 데이터이고,
상기 AI 프로세서는 구체적으로, 상기 이미지 신호 프로세서를 사용하여 처리 대상 이미지 데이터를 획득하도록 구성되며, 상기 처리 대상 이미지 데이터는 상기 이미지 데이터에 기초하여 상기 이미지 신호 프로세서에 의해 생성되며; 및/또는
(2) 오디오 신호 프로세서는, 미리 설정된 오디오 수집 실행 시간이 되면, 상기 오디오 수집기를 사용하여 오디오 데이터를 획득하고,
상기 AI 프로세서는 구체적으로, 상기 오디오 신호 프로세서를 사용하여 처리 대상 오디오 데이터를 획득하도록 구성되며, 상기 처리 대상 오디오 데이터는 오디오 데이터에 기초하여 상기 오디오 신호 프로세서에 의해 생성되고; 및/또는
상기 제1 서브 센서 프로세서는, 미리 설정된 제1 실행 시간이 되면, 상기 제1 서브 센서를 이용하여 제1 서브 센서 데이터를 획득하고, 상기 제1 서브 센서 데이터는 상기 제1 서브 센서에 의해 수집된 데이터이고,
상기 코 프로세서는 구체적으로, 상기 제1 서브 센서 프로세서를 사용하여 제1 처리 대상 서브 데이터를 획득하도록 구성되며, 상기 제1 처리 대상 서브 데이터는 상기 제1 서브 센서 데이터에 기초하여 상기 제1 서브 센서 프로세서에 의해 생성되는,
단말 장치. - 제9항 내지 제12항 중 어느 한 항에 있어서,
상기 코 프로세서는 구체적으로, 상기 타겟 장면이 2차원 코드 스캔하는 장면인 경우, 상기 2차원 코드 스캔하는 장면에 기초하여, 상기 서비스 처리 방식이 단말 장치에서 메인 이미지 센서를 시작하는 것, 및/또는 단말 장치에 있는 2차원 코드 스캔 기능을 지원하는 응용 프로그램을 시작하는 것으로 결정하도록 구성되는,
단말 장치. - 제9항 내지 제12항 중 어느 한 항에 있어서,
상기 코 프로세서는 구체적으로, 상기 타겟 장면이 회의 장면인 경우, 상기 회의 장면에 기초하여, 상기 서비스 처리 방식이 단말 장치의 무음 모드를 활성화하는 것, 및/또는 응용 프로그램의 무음 기능을 활성화하는 것, 및/또는 단말 장치의 대기 화면의 상시 표시 영역에 무음 모드 아이콘을 표시하는 것으로 결정하도록 구성되고, 상기 무음 모드 아이콘은 무음 모드를 활성화하는 데 사용되는,
단말 장치. - 제9항 내지 제12항 중 어느 한 항에 있어서,
상기 코 프로세서는 구체적으로, 상기 타겟 장면이 모션 장면인 경우, 상기 모션 장면에 기초하여, 상기 서비스 처리 방식이 단말 장치의 모션 모드를 활성화하는 것, 및/또는 단말 장치의 응용 프로그램의 모션 모드 기능을 활성화하는 것, 및/또는 단말 장치의 대기 화면의 상시 표시 영역에 음악 재생 아이콘을 표시하는 것으로 결정하도록 구성되고, 상기 단말 장치의 모션 모드는 걸음 수 계산 기능을 포함하고, 상기 음악 재생 아이콘은 음악 재생을 시작하거나 일시 중지하는 데 사용되는,
단말 장치. - 제9항 내지 제12항 중 어느 한 항에 있어서,
상기 코 프로세서는 구체적으로, 상기 타겟 장면이 운전 장면인 경우, 상기 운전 장면에 기초하여, 상기 서비스 처리 방식이 단말 장치의 운전 모드를 활성화하는 것, 및/또는 단말 장치의 응용 프로그램의 운전 모드 기능을 활성화하는 것, 및/또는 단말 장치의 대기 화면의 상시 표시 영역에 운전 모드 아이콘을 표시하는 것으로 결정하고, 상기 단말 장치의 운전 모드는 내비게이션 기능과 음성 어시스턴트로 구성되며, 상기 운전 모드 아이콘은 운전 모드를 활성화하는 데 사용되는,
단말 장치. - 서비스 처리 장치로서,
상기 서비스 처리 장치는 단말 장치에 적용되며,
처리 대상 데이터를 획득하도록 구성된 획득 유닛 - 상기 처리 대상 데이터는 센서에 의해 수집된 데이터를 사용하여 생성되고, 상기 센서는 적어도 하나의 이미지 센서를 포함하며, 상기 처리 대상 데이터는 상기 이미지 센서에 의해 수집된 이미지 데이터를 이용하여 생성된 처리 대상 이미지 데이터를 적어도 포함함 -; 및
장면 식별 모델을 사용하여 상기 처리 대상 데이터에 대응하는 타겟 장면을 결정하도록 구성된 결정 유닛 - 상기 장면 식별 모델은 센서 데이터 세트 및 장면 유형 세트를 사용하여 트레이닝을 통해 획득됨 -
을 포함하고,
상기 결정 유닛은 또한 타겟 장면에 기초하여 서비스 처리 방식을 결정하도록 구성되는,
서비스 처리 장치. - 제17항에 있어서,
상기 결정 유닛은 구체적으로, 상기 장면 식별 모델에서 AI 알고리즘을 사용하여 상기 처리 대상 데이터에 대응하는 타겟 장면을 결정하도록 구성되고, 상기 AI 알고리즘은 딥 러닝 알고리즘을 포함하고 상기 AI 알고리즘은 AI 프로세서에서 실행되는,
서비스 처리 장치. - 제18항에 있어서,
상기 센서는 오디오 수집기 및 제1 서브 센서 중 적어도 하나를 더 포함하고, 상기 처리 대상 데이터는 처리 대상 오디오 데이터 및 제1 처리 대상 서브-데이터 중 적어도 하나를 포함하고, 상기 처리 대상 오디오 데이터는 상기 오디오 수집기에 의해 수집된 오디오 데이터를 이용하여 생성되고, 상기 제1 처리 대상 서브-데이터는 상기 제1 서브 센서에 의해 수집된 제1 서브 센서 데이터를 이용하여 생성되는,
서비스 처리 장치. - 제19항에 있어서,
(1) 상기 획득 유닛은 구체적으로, 미리 설정된 이미지 수집 실행 시간이 되면, 상기 이미지 센서를 사용하여 이미지 데이터를 획득하도록 구성되고, 상기 이미지 데이터는 상기 이미지 센서에 의해 수집된 데이터이고,
상기 획득 유닛은 구체적으로, 이미지 신호 프로세서를 사용하여 처리 대상 이미지 데이터를 획득하도록 구성되며, 상기 처리 대상 이미지 데이터는 상기 이미지 데이터에 기초하여 상기 이미지 신호 프로세서에 의해 생성되고; 및/또는
(2) 상기 획득 유닛은 구체적으로, 미리 설정된 오디오 컬렉션 실행 시간이 되면, 상기 오디오 수집기를 사용하여 오디오 데이터를 획득하고,
상기 획득 유닛은 구체적으로, 오디오 신호 프로세서를 사용하여 처리 대상 오디오 데이터를 획득하도록 구성되며, 상기 처리 대상 오디오 데이터는 오디오 데이터에 기초하여 상기 오디오 신호 프로세서에 의해 생성되고; 및/또는
(3) 상기 획득 유닛은 구체적으로, 제1 사전 설정된 실행 시간이 되면, 제1 서브 센서를 사용하여 제1 서브 센서 데이터를 획득하며, 상기 제1 서브 센서 데이터는 상기 제1 서브 센서에 의해 수집된 데이터이고,
상기 획득 유닛은 구체적으로, 제1 서브 센서 프로세서를 사용하여 제1 처리 대상 서브-데이터를 획득하도록 구성되며, 상기 제1 처리 대상 서브-데이터는 상기 제1 서브 센서 데이터에 기초하여 제1 서브 센서 프로세서에 의해 생성되는,
서비스 처리 장치. - 제17항 내지 제20항 중 어느 한 항에 있어서,
상기 결정 유닛은 구체적으로, 상기 결정 유닛이 타겟 장면이 2차원 코드 스캔하는 장면이라고 결정하는 경우, 상기 2차원 코드 스캔하는 장면에 기초하여, 서비스 처리 방식이 단말 장치의 메인 이미지 센서를 시작하는 것, 및/또는 단말 장치에 있는 2차원 코드 스캔 기능을 지원하는 응용 프로그램을 시작하는 것으로 결정하도록 구성되는,
서비스 처리 장치. - 제17항 내지 제20항 중 어느 한 항에 있어서,
상기 결정 유닛은 구체적으로, 상기 결정 유닛이 상기 타겟 장면이 회의 장면이라고 결정하면, 상기 회의 장면에 기초하여, 상기 서비스 처리 방식이 단말 장치의 무음 모드를 활성화하는 것, 및/또는 단말 장치에서 응용 프로그램의 무음 기능을 활성화하는 것, 및/또는 단말 장치의 대기 화면에서 상시 표시 영역에 무음 모드 아이콘을 표시하는 것으로 결정하도록 구성되고, 상기 무음 모드 아이콘은 무음 모드를 활성화하는 데 사용되는,
서비스 처리 방법. - 제17항 내지 제20항 중 어느 한 항에 있어서,
상기 결정 유닛은 구체적으로, 상기 결정 유닛이 상기 타겟 장면이 모션 장면이라고 결정하면, 상기 모션 장면에 기초하여, 상기 서비스 처리 방식이 단말 장치의 모션 모드를 활성화하는 것, 및/또는 단말 장치에서 응용 프로그램의 모션 모드 기능을 활성화하는 것, 및/또는 단말 장치의 대기 화면의 상시 표시 영역에 음악 재생 아이콘을 표시하는 것으로 결정하도록 구성되고,
상기 단말 장치의 모션 모드는 걸음 수 계산 기능이고, 상기 음악 재생 아이콘은 음악 재생을 시작하거나 일시 중지하는 데 사용되는,
서비스 처리 장치. - 제17항 내지 제20항 중 어느 한 항에 있어서,
상기 결정 유닛은 구체적으로, 상기 결정 유닛이 타겟 장면이 운전 장면이라고 결정하면, 상기 운전 장면에 기초하여, 상기 서비스 처리 방식이 단말 장치의 운전 모드를 활성화하는 것, 및/또는 단말 장치에서 응용 프로그램의 운전 모드 기능을 활성화하는 것, 및/또는 단말 장치의 대기 화면에서 상시 표시 영역에 운전 모드 아이콘을 표시하는 것으로 결정하도록 구성되고,
상기 단말 장치의 운전 모드는 내비게이션 기능과 음성 어시스턴트를 포함하고, 상기 운전 모드 아이콘은 운전 모드를 활성화하는 데 사용되는,
서비스 처리 장치. - 명령어를 포함하는 컴퓨터 판독 가능 저장 매체로서, 상기 명령어가 컴퓨터상에서 실행될 때, 상기 컴퓨터는 제1항 내지 제8항 중 어느 한 항에 따른 서비스 처리 방법을 수행할 수 있도록 하는, 컴퓨터 판독 가능 저장 매체.
- 명령을 포함하는 컴퓨터 프로그램 제품으로서, 상기 컴퓨터 프로그램 제품이 컴퓨터에서 실행될 때, 상기 컴퓨터가 제1항 내지 제8항 중 어느 한 항에 따른 서비스 처리 방법을 수행할 수 있도록 하는, 컴퓨터 프로그램 제품.
- 서비스 처리 방법에 있어서,
상기 서비스 처리 방법은 단말 장치에 적용되고, 상시 온 이미지 센서가 상기 단말 장치에 구성되고, 상기 서비스 처리 방법은,
이미지 센서에 의해 수집된 이미지 데이터를 포함하는 데이터를 획득하는 단계;
장면 식별 모델을 이용하여 상기 데이터에 대응하는 타겟 장면을 결정하는 단계 - 상기 장면 식별 모델은 센서 데이터 세트 및 장면 유형 세트를 사용하여 트레이닝을 통해 획득됨 -; 및
상기 타겟 장면에 기초하여 서비스 처리 방식을 결정하는 단계
를 포함하는 서비스 처리 방법. - 상시 온 이미지 센서가 단말 장치에 구성되고, 상기 단말 장치는 제1항 내지 제8항 중 어느 한 항에 따른 서비스 처리 방법 및 제27항에 따른 서비스 처리 방법을 구현하도록 구성되는, 단말 장치.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811392818.7 | 2018-11-21 | ||
| CN201811392818.7A CN111209904A (zh) | 2018-11-21 | 2018-11-21 | 一种业务处理的方法以及相关装置 |
| PCT/CN2019/086127 WO2020103404A1 (zh) | 2018-11-21 | 2019-05-09 | 一种业务处理的方法以及相关装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210022740A true KR20210022740A (ko) | 2021-03-03 |
Family
ID=70773748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217002422A KR20210022740A (ko) | 2018-11-21 | 2019-05-09 | 서비스 처리 방법 및 관련 장치 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US20200372250A1 (ko) |
| EP (1) | EP3690678A4 (ko) |
| JP (1) | JP7186857B2 (ko) |
| KR (1) | KR20210022740A (ko) |
| CN (1) | CN111209904A (ko) |
| AU (1) | AU2019385776B2 (ko) |
| CA (1) | CA3105663C (ko) |
| WO (1) | WO2020103404A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102599078B1 (ko) | 2023-03-21 | 2023-11-06 | 고아라 | 큐티클 케어 세트 및 이를 이용한 큐티클 케어 방법 |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210056220A1 (en) * | 2019-08-22 | 2021-02-25 | Mediatek Inc. | Method for improving confidentiality protection of neural network model |
| JP2021122106A (ja) * | 2020-01-31 | 2021-08-26 | キヤノン株式会社 | 撮像装置、学習装置、撮像装置の制御方法、学習方法、学習済みモデルおよびプログラム |
| CN112507356B (zh) * | 2020-12-04 | 2023-01-03 | 上海易校信息科技有限公司 | 一种基于Angular的集中式前端ACL权限控制方法 |
| CN112862479A (zh) * | 2021-01-29 | 2021-05-28 | 中国银联股份有限公司 | 一种基于终端姿态的业务处理方法及装置 |
| CN113051052B (zh) * | 2021-03-18 | 2023-10-13 | 北京大学 | 物联网系统按需设备调度规划方法与系统 |
| CN113194211B (zh) * | 2021-03-25 | 2022-11-15 | 深圳市优博讯科技股份有限公司 | 一种扫描头的控制方法及系统 |
| CN115016712B (zh) * | 2021-09-27 | 2024-05-14 | 荣耀终端有限公司 | 退出二维码的方法和装置 |
| CN113867586A (zh) * | 2021-09-28 | 2021-12-31 | 深圳传音控股股份有限公司 | 图标的显示方法、智能终端及存储介质 |
| CN113935349B (zh) * | 2021-10-18 | 2024-06-21 | 交互未来(北京)科技有限公司 | 一种扫描二维码的方法、装置、电子设备及存储介质 |
| CN113900577B (zh) * | 2021-11-10 | 2024-05-07 | 杭州逗酷软件科技有限公司 | 一种应用程序控制方法、装置、电子设备及存储介质 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8237792B2 (en) * | 2009-12-18 | 2012-08-07 | Toyota Motor Engineering & Manufacturing North America, Inc. | Method and system for describing and organizing image data |
| US8756173B2 (en) * | 2011-01-19 | 2014-06-17 | Qualcomm Incorporated | Machine learning of known or unknown motion states with sensor fusion |
| US8892162B2 (en) * | 2011-04-25 | 2014-11-18 | Apple Inc. | Vibration sensing system and method for categorizing portable device context and modifying device operation |
| PL398136A1 (pl) * | 2012-02-17 | 2013-08-19 | Binartech Spólka Jawna Aksamit | Sposób wykrywania kontekstu urzadzenia przenosnego i urzadzenie przenosne z modulem wykrywania kontekstu |
| US10739952B2 (en) * | 2012-07-31 | 2020-08-11 | Inuitive Ltd. | Multiple sensors processing system for natural user interface applications |
| CN104268547A (zh) * | 2014-08-28 | 2015-01-07 | 小米科技有限责任公司 | 一种基于图片内容播放音乐的方法及装置 |
| CN105488044A (zh) * | 2014-09-16 | 2016-04-13 | 华为技术有限公司 | 数据处理的方法和设备 |
| US9633019B2 (en) * | 2015-01-05 | 2017-04-25 | International Business Machines Corporation | Augmenting an information request |
| CN105138963A (zh) * | 2015-07-31 | 2015-12-09 | 小米科技有限责任公司 | 图片场景判定方法、装置以及服务器 |
| JP6339542B2 (ja) * | 2015-09-16 | 2018-06-06 | 東芝テック株式会社 | 情報処理装置及びプログラム |
| JP6274264B2 (ja) * | 2016-06-29 | 2018-02-07 | カシオ計算機株式会社 | 携帯端末装置及びプログラム |
| WO2018084577A1 (en) * | 2016-11-03 | 2018-05-11 | Samsung Electronics Co., Ltd. | Data recognition model construction apparatus and method for constructing data recognition model thereof, and data recognition apparatus and method for recognizing data thereof |
| US10592199B2 (en) * | 2017-01-24 | 2020-03-17 | International Business Machines Corporation | Perspective-based dynamic audio volume adjustment |
| CN107402964A (zh) * | 2017-06-22 | 2017-11-28 | 深圳市金立通信设备有限公司 | 一种信息推荐方法、服务器及终端 |
| CN107786732A (zh) * | 2017-09-28 | 2018-03-09 | 努比亚技术有限公司 | 终端应用推送方法、移动终端及计算机可读存储介质 |
| CN108322609A (zh) * | 2018-01-31 | 2018-07-24 | 努比亚技术有限公司 | 一种通知信息调控方法、设备及计算机可读存储介质 |
-
2018
- 2018-11-21 CN CN201811392818.7A patent/CN111209904A/zh active Pending
-
2019
- 2019-05-09 JP JP2021506473A patent/JP7186857B2/ja active Active
- 2019-05-09 EP EP19874765.1A patent/EP3690678A4/en active Pending
- 2019-05-09 KR KR1020217002422A patent/KR20210022740A/ko not_active Application Discontinuation
- 2019-05-09 AU AU2019385776A patent/AU2019385776B2/en active Active
- 2019-05-09 WO PCT/CN2019/086127 patent/WO2020103404A1/zh unknown
- 2019-05-09 CA CA3105663A patent/CA3105663C/en active Active
-
2020
- 2020-08-13 US US16/992,427 patent/US20200372250A1/en not_active Abandoned
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102599078B1 (ko) | 2023-03-21 | 2023-11-06 | 고아라 | 큐티클 케어 세트 및 이를 이용한 큐티클 케어 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| CA3105663A1 (en) | 2020-05-28 |
| AU2019385776B2 (en) | 2023-07-06 |
| CN111209904A (zh) | 2020-05-29 |
| EP3690678A4 (en) | 2021-03-10 |
| WO2020103404A1 (zh) | 2020-05-28 |
| JP7186857B2 (ja) | 2022-12-09 |
| JP2021535644A (ja) | 2021-12-16 |
| EP3690678A1 (en) | 2020-08-05 |
| US20200372250A1 (en) | 2020-11-26 |
| CA3105663C (en) | 2023-12-12 |
| AU2019385776A1 (en) | 2021-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7186857B2 (ja) | サービス処理方法および関連装置 | |
| US9471153B1 (en) | Motion detection systems for electronic devices | |
| CN110495819B (zh) | 机器人的控制方法、机器人、终端、服务器及控制系统 | |
| US20170243367A1 (en) | Electronic device and operating method thereof | |
| US11290643B1 (en) | Efficient digital camera image acquisition and analysis | |
| US9390032B1 (en) | Gesture camera configurations | |
| CN110059686B (zh) | 字符识别方法、装置、设备及可读存储介质 | |
| US20220262035A1 (en) | Method, apparatus, and system for determining pose | |
| CN111882642B (zh) | 三维模型的纹理填充方法及装置 | |
| CN115079886B (zh) | 二维码识别方法、电子设备以及存储介质 | |
| CN112788583B (zh) | 设备寻找方法、装置、存储介质及电子设备 | |
| US20220294961A1 (en) | Parallel high dynamic exposure range sensor | |
| EP3131293A1 (en) | Electronic device and image encoding method of electronic device | |
| CN110839128A (zh) | 拍照行为检测方法、装置及存储介质 | |
| JP6862564B2 (ja) | 画像合成のための方法、装置および不揮発性コンピュータ可読媒体 | |
| US20240193945A1 (en) | Method for determining recommended scenario and electronic device | |
| CN115643485B (zh) | 拍摄的方法和电子设备 | |
| CN110045958B (zh) | 纹理数据生成方法、装置、存储介质及设备 | |
| WO2022083344A1 (zh) | 一种定位方法和电子设备 | |
| WO2023216957A1 (zh) | 一种目标定位方法、系统和电子设备 | |
| WO2022161011A1 (zh) | 生成图像的方法和电子设备 | |
| US20220277845A1 (en) | Prompt method and electronic device for fitness training | |
| JP2023546870A (ja) | インターフェースディスプレイ方法及び電子デバイス | |
| CN116761082B (zh) | 图像处理方法及装置 | |
| CN116744118B (zh) | 确定拍摄参数的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] |