KR20240027223A - Power saving method of portable electronic devices equipped with user walking accident prevention application - Google Patents
Power saving method of portable electronic devices equipped with user walking accident prevention application Download PDFInfo
- Publication number
- KR20240027223A KR20240027223A KR1020220105167A KR20220105167A KR20240027223A KR 20240027223 A KR20240027223 A KR 20240027223A KR 1020220105167 A KR1020220105167 A KR 1020220105167A KR 20220105167 A KR20220105167 A KR 20220105167A KR 20240027223 A KR20240027223 A KR 20240027223A
- Authority
- KR
- South Korea
- Prior art keywords
- portable electronic
- electronic device
- walking
- display
- user
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000002265 prevention Effects 0.000 title 1
- 238000001514 detection method Methods 0.000 claims abstract description 54
- 238000013528 artificial neural network Methods 0.000 claims abstract description 36
- 210000001747 pupil Anatomy 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 238000011176 pooling Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000005477 standard model Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Signal Processing (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Environmental & Geological Engineering (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
본 발명의 휴대 전자기기의 제어방법은, 자세 감지부에 의해 구해진 휴대 전자기기의 기울기가 기 설정된 기울기 범위 내에 속하는 지를 판단하는 (a)단계와, 상기 기울기가 상기 기울기 범위 내에 속하는 경우, 위치 감지부의 감지값을 바탕으로 보행 여부를 판단하는 (b)단계와, 상기 (b)단계에서 보행 중인 것으로 판단된 경우, 상기 휴대 전자기기의 전면에 구비된 디스플레이가 구동 중인지 감지하는 (c)단계와, 상기 (c)단계에서 상기 디스플레이가 구동 중인 것으로 판단된 경우, 전면 카메라에 의해 획득된 영상을 바탕으로 사용자의 시선 감지를 수행하고, 감지 결과에 기초하여 상기 후면 카메라를 구동시켜 주변 영상을 획득하는 (d)단계와, 상기 후면 카메라를 통해 획득된 주변 영상을, 보행 주의물 학습데이터를 바탕으로 학습된 인공신경망에 입력하여 보행 주의물을 검출하는 (e)단계를 포함한다.The control method of a portable electronic device of the present invention includes step (a) of determining whether the tilt of the portable electronic device obtained by the posture detection unit falls within a preset tilt range, and detecting the position if the tilt falls within the tilt range. Step (b) of determining whether or not the user is walking based on a negative detection value, and (c) of detecting whether the display provided on the front of the portable electronic device is operating when it is determined that the person is walking in step (b); , If it is determined that the display is running in step (c), the user's gaze is detected based on the image acquired by the front camera, and the surrounding image is acquired by driving the rear camera based on the detection result. It includes a step (d) of detecting a walking caution object by inputting the surrounding image acquired through the rear camera into an artificial neural network learned based on the walking caution object learning data.
Description
본 발명은 보행주의 알림 어플리케이션을 탑재한 휴대 전자기기의 소비 전력을 절감하기 위한 방법에 관한 것이다.The present invention relates to a method for reducing power consumption of a portable electronic device equipped with a pedestrian caution notification application.
현대 사회에서는 스마트폰(smart phone)을 보면서 이동하는 사례가 증가하고 있다. 이런 결과로 스몸비(스마트폰과 좀비의 단어가 합성된 신조어)라는 신조어가 발생할 정도이다. 또한, 스몸비에 대한 부작용으로 충돌, 추락, 교통사고 등이 발생하고 있다. In modern society, the number of people moving around while looking at their smartphones is increasing. As a result, a new word called smombie (a combination of the words smartphone and zombie) was coined. Additionally, side effects of smombie include collisions, falls, and traffic accidents.
이러한 사고를 방지하기 위한 여러 연구가 진행되고 있다. 예를 들어, 계단의 측면 가장자리에 램프를 설치하고, 계단의 진입 측에 패드 발판을 설치하여 보행자가 패드 발판을 밟는 경우 램프가 작동하여 보행자에게 계단이 있음을 인식하게 하는 방식이 있다. 그런데, 이와 같은 방식은 보행자가 스마트폰에 집중하고 있는 경우 램프를 인지하지 못할 가능성이 있을 뿐만 아니라 설치 비용이 많이 드는 문제가 있다.Several studies are being conducted to prevent such accidents. For example, there is a method of installing a ramp on the side edge of a staircase and installing a pad step on the entrance side of the staircase, so that when a pedestrian steps on the pad step, the lamp operates to make the pedestrian aware that there is a staircase. However, this method not only has the possibility of not recognizing the ramp when a pedestrian is concentrating on a smartphone, but also has the problem of being expensive to install.
다른 예로, 사용자가 횡단보도에 이르렀을 때, 신호등 등에 설치된 장치에서 사용자에게 음성으로 횡단보도가 있다는 것을 알려주거나 램프 등으로 주의를 환기시키는 방식이 있다. 이러한 방식은 보행자가 현재 집중하고 있는 것(즉, 스마트론)으로부터 직접 주의 경보를 받는 것이 아니라, 관심 밖의 주변 대상을 통한 간접적 방식으로 주의가 환기되는 것에 불과하기 때문에 스마트폰에 집중하면서 걷는 보행자로 인한 사고가 끊이지 않고 있다.As another example, when a user reaches a crosswalk, a device installed at a traffic light or the like notifies the user with a voice that there is a crosswalk or uses a lamp to draw attention to the user. In this way, the pedestrian's attention is not directly alerted by what he or she is currently focusing on (i.e., the smart phone), but the pedestrian's attention is simply aroused in an indirect way through surrounding objects outside of the focus, so the pedestrian walking while concentrating on the smartphone Accidents due to this are continuing.
본 발명이 해결하고자 하는 과제는, 휴대 전자기기의 후면에 배치된 후면 카메라를 통해 획득된 영상을 보행 주의물 학습데이터를 바탕으로 학습된 인공신경망에 입력하여 보행 주의물을 검출하되, 이러한 보행 주의물 검출을 위한 후면 카메라의 구동이 사용자가 보행 중에 휴대 전자기기의 화면을 주시하고 있는 경우에 한해 이루어지도록 함으로써 불필요한 전력 소비를 줄인 휴대 전자기기의 제어방법을 제공하는 것이다.The problem that the present invention aims to solve is to detect pedestrian caution objects by inputting images acquired through a rear camera placed on the back of a portable electronic device into an artificial neural network learned based on walking caution object learning data, but to detect pedestrian caution objects. The present invention provides a control method for a portable electronic device that reduces unnecessary power consumption by ensuring that the rear camera for water detection is operated only when the user is looking at the screen of the portable electronic device while walking.
본 발명의 휴대 전자기기의 제어방법은, 자세 감지부에 의해 구해진 휴대 전자기기의 기울기가 기 설정된 기울기 범위 내에 속하는 지를 판단하는 (a)단계와, 상기 기울기가 상기 기울기 범위 내에 속하는 경우, 위치 감지부의 감지값을 바탕으로 보행 여부를 판단하는 (b)단계와, 상기 (b)단계에서 보행 중인 것으로 판단된 경우, 상기 휴대 전자기기의 전면에 구비된 디스플레이가 구동 중인지 감지하는 (c)단계와, 상기 (c)단계에서 상기 디스플레이가 구동 중인 것으로 판단된 경우, 전면 카메라에 의해 획득된 영상을 바탕으로 사용자의 시선 감지를 수행하고, 감지 결과에 기초하여 상기 후면 카메라를 구동시켜 주변 영상을 획득하는 (d)단계와, 상기 후면 카메라를 통해 획득된 주변 영상을, 보행 주의물 학습데이터를 바탕으로 학습된 인공신경망에 입력하여 보행 주의물을 검출하는 (e)단계를 포함한다.The control method of a portable electronic device of the present invention includes step (a) of determining whether the tilt of the portable electronic device obtained by the posture detection unit falls within a preset tilt range, and detecting the position if the tilt falls within the tilt range. Step (b) of determining whether or not the user is walking based on a negative detection value, and (c) of detecting whether the display provided on the front of the portable electronic device is operating when it is determined that the person is walking in step (b); , If it is determined that the display is running in step (c), the user's gaze is detected based on the image acquired by the front camera, and the surrounding image is acquired by driving the rear camera based on the detection result. It includes a step (d) of detecting a walking caution object by inputting the surrounding image acquired through the rear camera into an artificial neural network learned based on the walking caution object learning data.
상기 (a)단계에서의 상기 기울기 범위는, 상기 휴대 전자기기의 수평에 대한 기울기 15 내지 60도 사이에서 정의될 수 있다.The inclination range in step (a) may be defined as an inclination of 15 to 60 degrees with respect to the horizontal of the portable electronic device.
상기 (b)단계는, 상기 위치 감지부의 감지값을 바탕으로 이동 속도를 구하는 단계와, 상기 이동 속도가 1 내지 7 km/h 사이에서 정의된 소정의 보행 속도 범위에 속하는 경우 보행 중인 것으로 판단하는 단계를 포함할 수 있다.Step (b) includes calculating the moving speed based on the detection value of the position detection unit, and determining that the person is walking when the moving speed falls within a predetermined walking speed range defined between 1 and 7 km/h. May include steps.
상기 (d)단계에서의 시선 감지는, 상기 전면 카메라를 통해 획득된 영상에서 사용자의 눈동자를 검출하는 단계를 포함할 수 있다.Gaze detection in step (d) may include detecting the user's pupils in the image acquired through the front camera.
본 발명의 다른 측면에 따른 컴퓨터 판독 가능한 기록 매체는 상기 방법을 휴대 전자기기에서 실행시키기 위한 프로그램을 기록한 것이다.A computer-readable recording medium according to another aspect of the present invention records a program for executing the above method in a portable electronic device.
본 발명의 휴대 전자기기의 제어방법은, 사용자가 휴대 전자기기의 전면에 표시된 화면을 보면서 보행하는 중이라고 판단된 경우에 한하여 후면 카메라를 이용하여 보행 주의물 검출에 필요한 영상을 획득하기 때문에 소비 전력을 효과적으로 관리할 수 있다.The control method of a portable electronic device of the present invention uses the rear camera to obtain images necessary for detecting pedestrian objects only when it is determined that the user is walking while looking at the screen displayed on the front of the portable electronic device, thereby reducing power consumption. Can be managed effectively.
특히, 디스플레이를 통해 화면이 출력되는 중에 항시 후면 카메라를 통한 보행 주의물 검출을 수행하는 경우에 비해 대략 30%의 전력을 절감할 수 있는 효과가 있다.In particular, there is an effect of saving approximately 30% of power compared to the case where pedestrian detection is always performed through the rear camera while the screen is output through the display.
또한, 카메라를 통해 주변의 보행 주의물을 자동으로 검출하고 이를 사용자에게 알려주기 때문에 보행간의 안전사고를 예방할 수 있으며, 특히, 보행 주의물 검출이 기 학습된 인공신경망에 의해 매우 높은 정확도로 이루어지는 효과가 있다.In addition, safety accidents while walking can be prevented because the camera automatically detects surrounding pedestrian cautions and notifies the user of them. In particular, the detection of pedestrian cautions is achieved with very high accuracy by a previously learned artificial neural network. There is.
도 1은 본 발명의 일 실시예에 따른 휴대 전자기기의 제어방법에 적용되는 보행주의 알림시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 제어방법이 적용되는 휴대 전자기기의 블록도이다.
도 3은 휴대 전자기기에서 보행주의 알림 어플리케이션이 구동되는 것을 보인 도면이다.
도 4는 보행주의 알림방법에서 보행 주의물 학습 과정을 도시한 순서도이다.
도 5는 보행주의 알림방법을 도시한 순서도이다.
도 6은 신경망의 학습 결과를 검증한 바운딩 박스 로스 그래프(bounding box loss graph)이다.
도 7은 신경망의 학습 결과를 검증한 클래스 정확도 그래프(class accuracy graph)이다.
도 8은 인공신경망을 통해 보행 주의물을 검출한 결과들이다.
도 9는 모바일넷 표준 모델의 구조도(MobileNet Body Architecture)이다.
도 10은 보행 주의물 검출 모델의 구조도이다.Figure 1 is a configuration diagram of a pedestrian caution notification system applied to a control method of a portable electronic device according to an embodiment of the present invention.
Figure 2 is a block diagram of a portable electronic device to which a control method according to an embodiment of the present invention is applied.
Figure 3 is a diagram showing a pedestrian caution notification application running on a portable electronic device.
Figure 4 is a flowchart showing the process of learning pedestrian cautions in the pedestrian caution notification method.
Figure 5 is a flowchart showing a pedestrian warning notification method.
Figure 6 is a bounding box loss graph verifying the learning results of the neural network.
Figure 7 is a class accuracy graph verifying the learning results of the neural network.
Figure 8 shows the results of detecting pedestrian caution objects through an artificial neural network.
Figure 9 is a structural diagram of the MobileNet standard model (MobileNet Body Architecture).
Figure 10 is a structural diagram of a pedestrian warning object detection model.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.The advantages and features of the present invention and methods for achieving them will become clear by referring to the embodiments described in detail below along with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various different forms. The present embodiments are merely provided to ensure that the disclosure of the present invention is complete and to be understood by those skilled in the art. It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.
도 1은 본 발명의 일 실시예에 따른 휴대 전자기기의 제어방법에 적용되는 보행주의 알림시스템의 구성도이다. 도 2는 본 발명의 일 실시예에 따른 제어방법이 적용되는 휴대 전자기기의 블록도이다.1 is a configuration diagram of a pedestrian caution notification system applied to a control method of a portable electronic device according to an embodiment of the present invention. Figure 2 is a block diagram of a portable electronic device to which a control method according to an embodiment of the present invention is applied.
도 1 내지 도 2를 참조하면, 본 발명의 일 실시예에 따른 보행주의 알림시스템(1)은 휴대 전자기기(10)와, 통신망(20)을 통해 휴대 전자기기(10)와 통신하는 학습서버(30)를 포함할 수 있다.Referring to Figures 1 and 2, the pedestrian caution notification system 1 according to an embodiment of the present invention includes a portable electronic device 10 and a learning server that communicates with the portable electronic device 10 through a communication network 20. (30) may be included.
휴대 전자기기(10)는, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC) 또는 울트라북(ultrabook) 등을 포함하는 개념일 수 있다. Portable electronic devices 10 include mobile phones, smart phones, laptop computers, digital broadcasting terminals, personal digital assistants (PDAs), portable multimedia players (PMPs), navigation, and slate PCs. , it may be a concept that includes a tablet PC, an ultrabook, etc.
휴대 전자기기(10)는 프로세서(11), 메모리(12), 입력부(13), 통신부(15), 디스플레이(16), 전면 카메라(17), 후면 카메라(18), 음향 출력부(19), 위치 감지부(21) 및/또는 자세 감지부(22)를 포함할 수 있다.The portable electronic device 10 includes a processor 11, a memory 12, an input unit 13, a communication unit 15, a display 16, a front camera 17, a rear camera 18, and an audio output unit 19. , may include a position detection unit 21 and/or a posture detection unit 22.
메모리(12)는 프로세서(11)의 동작을 위한 알고리즘, 어플리케이션 또는 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등을 임시 저장할 수도 있다.The memory 12 can store algorithms, applications, or programs for the operation of the processor 11, and can also temporarily store input/output data (for example, phone books, messages, still images, videos, etc.).
보행 주의물 검출을 위한 인공신경망이 메모리(12)에 저장될 수 있다. 다만, 이에 한하지 않고, 상기 인공신경망은 인터넷(internet) 상의 웹 스토리지(web storage)에 저장된 상태에서 전자기기(10)와 연동될 수 있다.An artificial neural network for detecting pedestrian cautions may be stored in the memory 12. However, the artificial neural network is not limited to this, and may be linked with the electronic device 10 while stored in web storage on the Internet.
메모리(12)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램 (random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.The memory 12 is a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory, etc.), and RAM. (random access memory; RAM), static random access memory (SRAM), read-only memory (ROM), electrically erasable programmable read-only memory (EEPROM), programmable read-only memory (PROM), magnetic memory, magnetic It may include at least one type of storage medium among disks and optical disks.
입력부(13)는 사용자로부터 인가되는 휴대 전자기기(10)의 동작 제어를 위한 제어명령에 대응하여 입력 데이터를 발생시킨다. 입력부(13)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.The input unit 13 generates input data in response to a control command for controlling the operation of the portable electronic device 10 issued by the user. The input unit 13 may be composed of a key pad, a dome switch, a touch pad (static pressure/electrostatic), a jog wheel, a jog switch, etc.
통신부(15)는 통신망(20)을 통해 정보를 송수신함으로써 통신망(20)에 연결된 다른 기기(예를 들어, 학습서버(30))와의 통신을 가능하게 하는 것이다. 통신부(15)는 이동통신 모듈, 무선 인터넷 모듈 및 근거리 통신 모듈 중 적어도 하나를 포함할 수 있다.The communication unit 15 transmits and receives information through the communication network 20, thereby enabling communication with other devices (eg, learning server 30) connected to the communication network 20. The communication unit 15 may include at least one of a mobile communication module, a wireless Internet module, and a short-range communication module.
디스플레이(16)는 전자기기(10)에서 처리되는 정보를 표시(출력)한다. 예를 들어, UI(User Interface) 또는 GUI(Graphic User Interface)가 디스플레이(16)에 표시될 수 있다. 디스플레이(16)는 전자기기(10)의 전면을 구성할 수 있다.The display 16 displays (outputs) information processed by the electronic device 10. For example, a user interface (UI) or a graphic user interface (GUI) may be displayed on the display 16. The display 16 may form the front of the electronic device 10.
디스플레이(16)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.The display 16 may be a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), or a flexible display. ), a 3D display, and an electronic ink display (e-ink display).
이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다.Some of these displays may be transparent or light-transmissive so that the outside can be viewed through them. This may be called a transparent display, and representative examples of the transparent display include TOLED (Transparant OLED).
전면 카메라(17)는 디지털 정지영상 또는 동영상을 획득하는 이미지 센서를 포함할 수 있으며, 상기 이미지 센서를 통해 획득된 영상은 메모리(12)에 저장될 수 있다. 전면 카메라(17)는 디스플레이(16)의 화면이 향하는 방향으로 영상을 획득할 수 있다. 프로세서(11)는 영상을 처리하여 디스플레이(16)를 통해 표시할 수 있다. 전면 카메라(18)는 전자기기(10)의 전면을 구성할 수 있다.The front camera 17 may include an image sensor that acquires a digital still image or moving image, and the image acquired through the image sensor may be stored in the memory 12. The front camera 17 can acquire images in the direction the screen of the display 16 faces. The processor 11 can process the image and display it through the display 16. The front camera 18 may form the front of the electronic device 10.
위치 감지부(21)는 휴대 전자기기(10)의 위치(또는 현재 위치)를 획득하기 위한 것이다. 위치 감지부(21)는 GPS(Global Positioning System) 모듈 및 WiFi(Wireless Fidelity) 모듈 중 적어도 하나를 포함할 수 있다. GPS모듈은 GPS 위성에서 보내는 신호를 이용하여 휴대 전자기기(10)의 위치를 획득할 수 있다. 다르게는, Wi-Fi모듈과 무선신호를 송신 또는 수신하는 무선 AP(Wireless Access Point)의 정보에 기반하여, 휴대 전자기기(10)의 위치를 획득할 수 있다.The location detection unit 21 is used to obtain the location (or current location) of the portable electronic device 10. The location detection unit 21 may include at least one of a Global Positioning System (GPS) module and a Wireless Fidelity (WiFi) module. The GPS module can acquire the location of the portable electronic device 10 using signals sent from GPS satellites. Alternatively, the location of the portable electronic device 10 may be obtained based on information from the Wi-Fi module and a wireless AP (Wireless Access Point) that transmits or receives wireless signals.
프로세서(11)는 위치 감지부(21)를 통해 감지된 위치 정보를 바탕으로, 휴대 전자기기(10)의 이동 속도를 구할 수 있다. 예를 들어, 프로세서(11)는 상기 GPS 모듈에 의해 획득된 위성 신호를 바탕으로 휴대 전자기기(10)의 이동 속도를 구할 수 있다.The processor 11 can obtain the moving speed of the portable electronic device 10 based on the location information detected through the location detection unit 21. For example, the processor 11 may determine the moving speed of the portable electronic device 10 based on the satellite signal acquired by the GPS module.
자세 감지부(22)는 휴대 전자기기(10)의 자세를 감지하는 것이다. 예를 들어, 자세 감지부(22)는 디스플레이(16)가 수평에 대해 기울어진 각도(즉, 기울기)를 감지하는 것일 수 있다. The posture detection unit 22 detects the posture of the portable electronic device 10. For example, the posture detection unit 22 may detect the angle at which the display 16 is tilted relative to the horizontal (i.e., inclination).
자세 감지부(22)는 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor) 및 가속도 센서(acceleration sensor) 중 적어도 하나를 포함할 수 있다. 예를 들어, 상기 가속도 센서는 x, y, z축으로 작용하는 중력을 측정할 수 있으며, 이렇게 측정된 값을 이용하여 프로세서(11)는 휴대 전자기기(10)가 수평에 대해서 기울어진 각도(즉, 기울기)를 구할 수 있다. The posture sensor 22 may include at least one of a magnetic sensor, a gravity sensor, a gyroscope sensor, a motion sensor, and an acceleration sensor. there is. For example, the acceleration sensor can measure gravity acting in the x, y, and z axes, and using the measured value, the processor 11 determines the angle at which the portable electronic device 10 is tilted with respect to the horizontal ( That is, the slope) can be obtained.
후면 카메라(18)는 디지털 정지영상 또는 동영상을 획득하는 이미지 센서를 포함할 수 있으며, 상기 이미지 센서를 통해 획득된 영상은 메모리(12)에 저장될 수 있다. 프로세서(11)는 영상을 처리하여 디스플레이(16)를 통해 표시할 수 있다. 후면 카메라(18)는 전자기기(10)의 후면을 구성할 수 있다.The rear camera 18 may include an image sensor that acquires a digital still image or moving image, and the image acquired through the image sensor may be stored in the memory 12. The processor 11 can process the image and display it through the display 16. The rear camera 18 may configure the rear of the electronic device 10.
음향 출력부(19)는 통신부(15)로부터 수신되거나 메모리(12)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력부(19)는 전자기기(10)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력하기도 한다. 특히, 음향 출력부(19)는 인공신경망을 통해 보행 주의물이 검출된 경우, 사용자에게 이를 알리는 알림음을 출력할 수 있다. 이러한 음향 출력부(19)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.The audio output unit 19 may output audio data received from the communication unit 15 or stored in the memory 12. The sound output unit 19 also outputs sound signals related to functions performed by the electronic device 10 (eg, call signal reception sound, message reception sound, etc.). In particular, when a pedestrian caution object is detected through an artificial neural network, the sound output unit 19 may output a notification sound notifying the user of this. This sound output unit 19 may include a receiver, speaker, buzzer, etc.
한편, 학습서버(30)는 보행 주의물을 학습하는 머신러닝 디바이스이다. 학습서버(30)는 인공신경망(Artificial Neural Network, ANN) 기반의 학습모델일 수 있다.Meanwhile, the learning server 30 is a machine learning device that learns walking precautions. The learning server 30 may be a learning model based on an artificial neural network (ANN).
인공신경망은, 바람직하게는 합성곱 신경망(CNN: Convolutional Neural Network)이나, 반드시 이에 한정되어야 하는 것은 아니다. 이미 잘 알려진 것처럼 합성곱 신경망은 이미지 데이터 처리에 주로 사용되는 심층 신경망으로, 컨볼루션(convolution)계층과 풀링(pooling) 계층을 이용하여 입력 데이터의 분향을 줄임으로서 복잡한 특징을 추출할 수 있다.The artificial neural network is preferably a convolutional neural network (CNN), but is not necessarily limited thereto. As is already well known, a convolutional neural network is a deep neural network mainly used in image data processing, and can extract complex features by reducing the bias of input data using a convolution layer and a pooling layer.
CNN은 입력 계층 다음에 컨볼루션, 렐루, 풀링 계층이 연결되고 이어서 완전연결(fully connected)계층이 이어지고 최종적으로 소프트맥스 계층을 거쳐서 결과가 출력되는데, 컨볼루션 필터를 이미지의 각 부분에 순차적으로 내적하기 때문에 가중치를 공유하고 입력 데이터의 크기를 줄일 수 있는 이점이 있다.In CNN, the input layer is followed by convolution, relu, and pooling layers, followed by a fully connected layer, and finally, the result is output through a softmax layer. The convolution filter is sequentially applied to each part of the image as the inner product. Because this has the advantage of sharing weights and reducing the size of input data.
CNN은 이미지 탐색 및 분류에 우수한 성능을 보이지만, 학습시에 자원을 많이 사용하는 점이 있다. 따라서, 연산성능이 우수한 딥러닝머신, 예를 들어, 학습서버(30)에서 동작하는 것은 무리가 없다.CNN shows excellent performance in image search and classification, but it uses a lot of resources during training. Therefore, there is no problem in operating it on a deep learning machine with excellent computational performance, for example, the learning server 30.
그러나, 인공 신경망을 모바일 환경의 휴대 전자기기(10)에 적용하기 위해서는 지원되는 자원의 제약으로 파라미터(Parameter)를 줄여야 하므로 최소로 줄여야 적용이 가능하며, 성능도 유지해야 한다. However, in order to apply the artificial neural network to the portable electronic device 10 in a mobile environment, the parameters must be reduced due to limitations in supported resources, so it can be applied only by reducing it to a minimum, and performance must also be maintained.
이러한 측면에서, 마지막 완전 연결 레이어(Fully Connected Layer: FC Layer)를 제외한 레이어 뒤에 비선형 배치 표준 및 ReLU 또는 Leaky ReLU 함수가 적용된 모바일넷(Mobilenet) - CNN 모델을 적용하여 각 프레임별로 보행 주의물을 검출하도록 구성될 수 있다.In this respect, a Mobilenet-CNN model with a non-linear placement standard and ReLU or Leaky ReLU function applied behind layers except the last fully connected layer (FC Layer) is applied to detect pedestrian objects for each frame. It can be configured to do so.
스마트폰(10)의 전면에 배치된 디스플레이(16)를 통해 화면이 출력되는 중에, 스마트폰(10)의 후면에 배치된 후면 카메라(18)에 의해 영상이 획득될 수 있다. 즉, 사용자가 상기 화면을 보면서 보행하는 중에 후면 카메라(18)는 사용자 주변의 영상을 획득하게 된다.While the screen is displayed through the display 16 disposed on the front of the smartphone 10, an image may be acquired by the rear camera 18 disposed on the rear of the smartphone 10. That is, while the user is walking while looking at the screen, the rear camera 18 acquires images around the user.
한손으로 스마트폰(10)을 든 상태에서 고개를 숙여 화면을 보면서 보행하는 일반적인 형태를 고려할 시, 이때 후면 카메라(18)에 의해 획득되는 영상은 통상 보행자의 전방 바닥에서 획득된다고 할 수 있다.Considering the general form of walking while holding the smartphone 10 with one hand and looking at the screen with one's head down, it can be said that the image acquired by the rear camera 18 is usually acquired from the floor in front of the pedestrian.
프로세서(11)는, 후면 카메라(18)에 의해 획득된 영상을 인공신경망에 입력하여 상기 영상으로부터 보행 주의물(예를 들어, 계단, 횡단보도, 신호등 가로수, 인도 경계 등)을 검출할 수 있다. 이러한 보행 주의물 검출 과정은 프로세서(11)에 의해 구동되는 프로그램의 백그라운드 프로세스(background process)에서 실시되며, 이때 워킹 프로세스(working process 또는 foreground process)에서는 디스플레이(16)에 소정의 화면을 표시하는 것에 할당될 수 있다. 여기서, 디스플레이(16)에 표시되는 화면은 현재 구동중인 별도의 어플리케이션(예를 들어, 메신저, 웹브라우져, 게임 등)일 수 있다. The processor 11 inputs the image acquired by the rear camera 18 into an artificial neural network and detects pedestrian cautions (e.g., stairs, crosswalks, traffic lights, street trees, sidewalk boundaries, etc.) from the image. . This walking caution detection process is carried out in the background process of the program driven by the processor 11, and at this time, the working process (or foreground process) displays a predetermined screen on the display 16. can be assigned. Here, the screen displayed on the display 16 may be a separate application (eg, messenger, web browser, game, etc.) that is currently running.
보행 주의물을 검출하기 위한 후면 카메라(18)의 동작은, 바람직하게는, 디스플레이(16)에 소정의 화면이 표시된 상태에서 사용자가 보행 중일 때에 이루어질 수 있다. The operation of the rear camera 18 to detect pedestrian objects can preferably be performed while the user is walking while a predetermined screen is displayed on the display 16.
한편, 프로세서(11)는 후면 카메라(18)에 의해 획득된 동영상으로부터 기 설정된 간격으로 이미지 프레임(image frame)을 추출하고, 이렇게 추출된 이미지를 CNN에 입력하여 보행 주의물을 검출할 수 있다. 프로세서(11)는, 바람직하게는, 동영상으로부터 100ms마다 이미지 프레임을 추출하나 반드시 이에 한정되어야 하는 것은 아니다. Meanwhile, the processor 11 extracts image frames at preset intervals from the video acquired by the rear camera 18, and inputs the extracted images into the CNN to detect pedestrian cautions. The processor 11 preferably extracts an image frame every 100 ms from the video, but is not necessarily limited to this.
도 4는 보행주의 알림방법에서 보행 주의물 학습 과정을 도시한 순서도이다. 도 4를 참조하면, 본 발명의 일 실시예에서 이루어지는 인공신경망의 학습은 보행 주의물 학습을 위한 마련된 다수의 이미지들을 CNN에 입력하기 위해 처리하는 전처리단계(S110)와, 전처리된 이미지를 CNN에 입력하여 보행 주의물을 학습하는 단계(S120)를 포함할 수 있다. 이러한, 보행 주의물 학습은 학습서버(30)에서 수행될 수 있다.Figure 4 is a flowchart showing the process of learning pedestrian cautions in the pedestrian caution notification method. Referring to FIG. 4, the learning of the artificial neural network in one embodiment of the present invention includes a preprocessing step (S110) in which a number of images prepared for learning walking cautions are processed to input them into the CNN, and the preprocessed images are input to the CNN. It may include a step (S120) of learning walking precautions by inputting them. This learning of walking precautions can be performed in the learning server 30.
먼저, 계단, 횡단보도, 가로수, 인도 경계 등의 보행 주의물이 표현된 다수의 이미지를 준비한다. 이러한 이미지들은 직접 촬영하거나, 인터넷 사이트를 통해 수집할 수 있다.First, prepare a number of images depicting pedestrian warning signs such as stairs, crosswalks, street trees, and sidewalk boundaries. These images can be taken directly or collected through Internet sites.
이렇게 마련된 학습(learning) 또는 훈련(training) 이미지들에 바운딩 박스(bounding box) 작업을 진행한다. 이 과정은 준비된 이미지들에서 보행 주의물에 경계박스를 표시하고, 상기 경계박스가 지시하는 보행 주의물의 정보를 라벨링(labelling)하는 단계(S110)를 포함할 수 있다. 이러한 작업은 labellmg, CVAT, LabelMe, Labelbox, VoTT, imglab, YOLO Mark, PixelAnnotaionTool, OpenLabeling, imagetagger, Alturos.ImageAnnotation, DeepLabel, MedTagger, Turktools, Pixie, OpenLabeler, Anno-Mage, CATMAID, makesense.ai, LOST, annotorious, sloth 등의 공지된 어플리케이션을 이용하여 수동 또는 자동으로 이루어질 수 있다. 이렇게 전처리된 데이터는 인공신경망이 훈련하는 정답지(Ground true)로 활용될 수 있다. Bounding box work is performed on the learning or training images prepared in this way. This process may include a step (S110) of displaying a bounding box on a walking caution object in the prepared images and labeling information on the walking caution object indicated by the bounding box. These operations include labellmg, CVAT, LabelMe, Labelbox, VoTT, imglab, YOLO Mark, PixelAnotaionTool, OpenLabeling, imagetagger, Alturos.ImageAnnotation, DeepLabel, MedTagger, Turktools, Pixie, OpenLabeler, Anno-Mage, CATMAID, makesense.ai, LOST, This can be done manually or automatically using known applications such as annotorious and sloth. This preprocessed data can be used as a ground truth for training an artificial neural network.
학습단계(S120)는 S110단계에서 준비된 라벨링된 이미지들을 인공신경망에 입력하여 보행 주의물을 학습하는 단계이다. 전술한 바와 같이 상기 인공신경망은 CNN일 수 있으나, 반드시 이에 한정되어야 하는 것은 아니며, 공지된 다른 ANN도 가능하다.The learning step (S120) is a step of learning walking precautions by inputting the labeled images prepared in step S110 into an artificial neural network. As described above, the artificial neural network may be CNN, but it is not necessarily limited to this, and other known ANNs are also possible.
도 6은 신경망의 학습 결과를 검증한 바운딩 박스 로스 그래프(bounding box loss graph)이다. 도 7은 신경망의 학습 결과를 검증한 클래스 정확도 그래프(class accuracy graph)이다.Figure 6 is a bounding box loss graph verifying the learning results of the neural network. Figure 7 is a class accuracy graph verifying the learning results of the neural network.
신경망을 통과하고, 학습된 자료에 대한 검증으로 Bounding Box의 Loss와 Class에 대한 Accuracy는 각각 다른 수식을 적용했다. Bounding Box에 대한 것은 Mean Squared Error를 적용하였으며, Class에 대한 것은 Categorical Crossentropy를 적용했다.After passing the neural network and verifying the learned data, different formulas were applied to the Bounding Box's Loss and Class Accuracy. Mean Squared Error was applied to the Bounding Box, and Categorical Crossentropy was applied to the Class.
도 6에서 보이는 바와 같이, Training Loss는 5.3이며, Validation Loss 103.1 이다. 이와 같은 이유는 Stair, Crosswalk이라는 전체 객체를 Bonding Box에 넣는 경우도 있고, 회전형 혹은 굴곡이 있는 계단의 경우 일부만 Bounding Box에 포함시켰기 때문이다. Training 곡선을 확인해 보면, 비교적 명확한 보행 주의물 구분 때문에 급속하게 Loss가 줄어드는 것을 확인할 수 있다.As shown in Figure 6, Training Loss is 5.3 and Validation Loss is 103.1. The reason for this is that sometimes the entire object, such as a stair or crosswalk, is included in the bonding box, and in the case of a rotating or curved staircase, only a part of it is included in the bounding box. If you check the training curve, you can see that loss is rapidly decreasing due to relatively clear classification of walking cautions.
그리고, 도 7을 참조하면, Class Accuracy는 Training시에 1에 수렴하고, Validation시에 0.978에 이르는 정확도를 보이고 있다. 이러한 결과는 도 8을 통해서도 알 수 있다. And, referring to Figure 7, Class Accuracy converges to 1 during training and shows an accuracy of 0.978 during validation. These results can also be seen in Figure 8.
한편, S110단계에서의 학습 또는 훈련이 완료되면, 훈련결과를 스마트 폰으로 이식하여 보행 주의물 검출에 적용할 수 있다. 휴대용 전자제품(특히, 스마트폰)은 아직 딥러닝 전용 머신에 비해서 전산능력(computing source)이나 자원(resource)가 부족하기 때문에 학습서버(30)에서 학습된 결과를 바탕으로 보행 주의물 검출을 하게 된다.Meanwhile, when learning or training in step S110 is completed, the training results can be transferred to a smart phone and applied to detecting pedestrian cautions. Since portable electronic products (especially smartphones) still lack computing power or resources compared to machines dedicated to deep learning, they detect pedestrian cautions based on the results learned from the learning server 30. do.
특히, 스마트폰은 자원이 제한되어 있기 때문에 동시간에 이미지 인식과 표현을 하지 못하는 단점이 있다. 따라서, 인공신경망을 이용한 보행 주의물 인식은 백그라운드에서 진행하고 사용자에게는 결과만 표현해 주는 방식이 적합하다.In particular, smartphones have limited resources, so they have the disadvantage of not being able to recognize and express images at the same time. Therefore, it is appropriate to recognize walking cautions using an artificial neural network in the background and display only the results to the user.
도 5는 보행주의 알림방법을 도시한 순서도이다. 도 5에 도시된 단계들은 휴대 전자기기(10)에서 실시될 수 있다. 구체적으로, 본 발명의 일 실시예에 따른 보행주의 알림방법은, 자세 감지부(22)에 의해 구해진 휴대 전자기기(10)의 기울기가 기 설정된 기울기 범위 내에 속하는 지를 판단하는 단계(S201~ S202)와, 상기 기울기가 상기 기울기 범위 내에 속하는 경우, 위치 감지부(21)의 감지값을 바탕으로 보행 여부를 판단하는 단계(S203~S204)와, 상기 보행 여부를 판단하는 단계에서 보행 중인 것으로 판단된 경우, 휴대 전자기기(10)의 전면에 구비된 디스플레이(16)가 구동 중인지 감지하는 단계(S205)와, 상기 디스플레이가 구동 중인지 감지하는 단계에서 디스플레이(16)가 구동 중인 것으로 판단된 경우, 전면 카메라(17)에 의해 획득된 영상을 바탕으로 사용자의 시선 감지를 수행하고, 감지 결과에 기초하여 후면 카메라(18)를 구동시켜 주변 영상을 획득하는 단계(S207~S208)와, 후면 카메라(18)를 통해 획득된 주변 영상을, 보행 주의물 학습데이터를 바탕으로 학습된 인공신경망에 입력하여 보행 주의물을 검출하는 단계(S209~S211)를 포함할 수 있다.Figure 5 is a flowchart showing a pedestrian warning notification method. The steps shown in FIG. 5 may be performed in portable electronic device 10. Specifically, the pedestrian caution notification method according to an embodiment of the present invention includes the steps of determining whether the tilt of the portable electronic device 10 obtained by the posture detection unit 22 falls within a preset tilt range (S201 to S202) If the inclination falls within the inclination range, a step of determining whether or not to walk based on the detection value of the position detection unit 21 (S203 to S204); and, in the step of determining whether to walk, it is determined that the person is walking. In this case, in the step of detecting whether the display 16 provided on the front of the portable electronic device 10 is running (S205), and if it is determined that the display 16 is running in the step of detecting whether the display is running, the front Steps (S207 to S208) of detecting the user's gaze based on the image acquired by the camera 17 and acquiring surrounding images by driving the rear camera 18 based on the detection result, and acquiring the surrounding image using the rear camera 18 It may include a step (S209 to S211) of detecting a walking caution object by inputting the surrounding image acquired through ) into an artificial neural network learned based on the walking caution object learning data.
보다 구체적으로, 본 발명의 일 실시예에 따른 보행 주의 알림방법은, 자세 감지단계(S01), 기울기 판정단계(S202), 이동 감지단계(S203), 보행 판정단계(S204), 디스플레이 구동 감지단계(S205), 사용자 시선 감지단계(S206), 후면 카메라 구동단계(S207), 주변 영상 획득단계(S208), 보행 주의물 검출 단계(S209), 보행 주의물 판정 단계(S210), 경고 알림단계(S211)를 포함할 수 있다.More specifically, the walking caution notification method according to an embodiment of the present invention includes a posture detection step (S01), a tilt determination step (S202), a movement detection step (S203), a gait determination step (S204), and a display drive detection step. (S205), user gaze detection step (S206), rear camera operation step (S207), surrounding image acquisition step (S208), walking caution object detection step (S209), walking caution object determination step (S210), warning notification step ( S211) may be included.
자세 감지단계(S201)에서는 자세 감지부(22)에 의해 휴대 전자기기(10)의 기울기(A)가 감지될 수 있다. 상기 기울기(A)는 수평에 대해 휴대 전자기기(10)가 기울어진 각도로 정의될 수 있다. 예를 들어, 휴대 전자기기(10)가 수평하게 놓여진 경우(즉, 화면이 수직 상측을 향하는 경우)를 0도로 정의할 수 있다.In the posture detection step (S201), the tilt A of the portable electronic device 10 may be detected by the posture detection unit 22. The tilt (A) may be defined as the angle at which the portable electronic device 10 is tilted with respect to the horizontal. For example, when the portable electronic device 10 is placed horizontally (i.e., when the screen is facing vertically upward), it can be defined as 0 degrees.
기울기 판정단계(S202)는, 프로세서(11)가 자세 감지부(22)를 통해 감지된 휴대 전자기기(10)의 기울기(A)가 기 설정된 기울기 범위(A1 내지 A2) 내에 속하는지 여부를 판단하는 단계일 수 있다. 여기서, 상기 기울기 범위는, 사용자가 보행 중에 휴대 전자기기(10)의 화면을 바라보고 있는 경우에 있어서의 통상적인 휴대 전자기기(10)가 수평에 대해 기울어진 각도로서, 바람직하게는 15도 내지 60도이나, 반드시 이에 한정되어야 하는 것은 아니다. In the tilt determination step (S202), the processor 11 determines whether the tilt (A) of the portable electronic device 10 detected through the posture detection unit 22 falls within the preset tilt range (A1 to A2). This may be a step. Here, the tilt range is the angle at which the portable electronic device 10 is tilted relative to the horizontal when the user is looking at the screen of the portable electronic device 10 while walking, and is preferably between 15 degrees and 15 degrees. 60 degrees, but it is not necessarily limited to this.
한편, S202단계에서 기울기(A)가 상기 기울기 범위에 속하지 않는 것으로 판단된 경우(S202의 '아니오'), 프로세서(11)는 후면 카메라(18)가 구동 중지(OFF) 상태가 되도록 제어할 수 있다(S212). 여기서, '구동 중지'는 현재 후면 카메라(18)가 구동(ON) 중인 경우에는 구동 정지가 되도록 변경하는 것이고, 현재 후면 카메라(18)가 구동 정지인 경우에는 계속하여 구동 정지를 유지하도록 하는 것이다.Meanwhile, if it is determined in step S202 that the slope A does not fall within the slope range ('No' in S202), the processor 11 may control the rear camera 18 to be in an off state. There is (S212). Here, 'stop driving' means changing the operation to stop if the rear camera 18 is currently running (ON), and to continue to stop driving if the rear camera 18 is currently stopped. .
기울기 판정단계(S202)에서 기울기(A)가 기울기 범위(A1 내지 A2) 내에 속하는 것으로 판단된 경우, 이동 감지단계(S203)가 수행될 수 있다.If it is determined that the slope A falls within the slope range A1 to A2 in the slope determination step S202, the movement detection step S203 may be performed.
이동 감지단계(S203)는, 위치 감지부(21)를 통해 감지된 값을 바탕으로 프로세서(11)가 휴대 전자기기(10)의 이동 속도를 구하는 단계를 포함할 수 있다. 예를 들어, 프로세서(11)는 GPS 모듈을 통해 구해진 위치 정보를 바탕으로 이동 속도를 구할 수 있다. 다르게는, 프로세서(11)는 자세 감지부(22)를 통해 획득된 정보를 바탕으로 이동 속도를 감지할 수 있다. The movement detection step (S203) may include the processor 11 determining the movement speed of the portable electronic device 10 based on the value detected through the position detection unit 21. For example, the processor 11 may determine the moving speed based on location information obtained through the GPS module. Alternatively, the processor 11 may detect movement speed based on information obtained through the posture detection unit 22.
보행 판정단계(S204)는, 프로세서(11)가 S203단계에서 구한 이동 속도(V)를 바탕으로 현재 사용자가 보행을 하고 있는지 여부를 판단하는 단계를 포함할 수 있다. 프로세서(11)는 S203 단계에서 구한 이동 속도(V)가 기 설정된 보행 속도 범위(V1 내지 V2) 내에 속하는 경우 현재 사용자가 보행 중인 것으로 판단할 수 있다.The walking determination step (S204) may include the processor 11 determining whether the user is currently walking based on the movement speed (V) obtained in step S203. The processor 11 may determine that the user is currently walking if the movement speed (V) obtained in step S203 falls within the preset walking speed range (V1 to V2).
한편, S204단계에서 이동 속도(V)가 상기 보행 속도 범위에 속하지 않는 것으로 판단된 경우(S204의 '아니오'), 프로세서(11)는 후면 카메라(18)가 구동 중지(OFF) 상태가 되도록 제어할 수 있다(S212).Meanwhile, if it is determined in step S204 that the movement speed (V) does not fall within the walking speed range ('No' in S204), the processor 11 controls the rear camera 18 to be in the operation stop (OFF) state. You can do it (S212).
S212단계에서 프로세서(11)는, 후면 카메라(18) 뿐만 아니라, 전면 카메라(17)도 함께 구동 중지(OFF) 상태가 되도록 제어할 수 있다.In step S212, the processor 11 can control not only the rear camera 18 but also the front camera 17 to be in an off state.
실시예에 따라, S204단계에서, 프로세서(11)는 이동 속도(V)가 기 설정된 시간 동안 상기 보행 속도 범위내에 속하지 않는 상태(예를 들어, 이동 속도(V)가 0인 정지 상태)가 기 설정된 시간 이상으로 유지되는 경우에 한해, 전면 카메라(17) 및 후면 카메라(18) 중 적어도 하나가 구동 중지(OFF)가 되도록 제어할 수 있다.Depending on the embodiment, in step S204, the processor 11 is in a state in which the movement speed (V) does not fall within the walking speed range for a preset time (for example, a stationary state in which the movement speed (V) is 0). Only when the operation is maintained longer than a set time, at least one of the front camera 17 and the rear camera 18 can be controlled to stop operation (OFF).
보행 중인 사용자가 짧은 시간 동안 빈번하게 보행을 중지하는 경우에 있어, 매번 전면 및/또는 후면 카메라(17, 18)의 구동과 구동 정지를 반복함으로써 전력이 과소비 되는 것을 방지할 수 있는 효과가 있다.In cases where a walking user frequently stops walking for a short period of time, there is an effect of preventing excessive power consumption by repeating driving and stopping of the front and/or rear cameras 17 and 18 each time.
사용자의 보행 속도 범위는 4Km/h를 기준으로 +-3Km/h 범위 내에서 정의된 것일 수 있다. 바람직하게는, 상기 보행 속도 범위는 4Km/h가 속하는 구간에서 정의될 수 있다.The user's walking speed range may be defined within the range of +-3Km/h based on 4Km/h. Preferably, the walking speed range may be defined in a section including 4Km/h.
보행 판정단계(S204)에서 이동 속도(V)가 보행 속도 범위(V1 내지 V2)에 속하는 것으로 판정된 경우, 디스플레이 구동 감지단계(S205)가 수행될 수 있다.If it is determined in the walking determination step (S204) that the movement speed (V) falls within the walking speed range (V1 to V2), the display driving detection step (S205) may be performed.
디스플레이 구동 감지단계(S205), 디스플레이(16)가 현재 구동(ON)되고 있는지를 감지하는 단계로서, 디스플레이(16)의 입력 또는 출력에 기초하여 프로세서(11)에 의해 감지될 수 있다.The display driving detection step (S205) is a step of detecting whether the display 16 is currently being driven (ON), and can be detected by the processor 11 based on the input or output of the display 16.
한편, S205단계에서 디스플레이(16)가 미 구동 상태(OFF)인 것으로 판단된 경우(S205의 '아니오'), 프로세서(11)는 후면 카메라(18)가 구동 중지(OFF) 상태가 되도록 제어할 수 있다(S212).Meanwhile, if the display 16 is determined to be in a non-driving state (OFF) in step S205 ('No' in S205), the processor 11 controls the rear camera 18 to be in a non-driving state (OFF). (S212).
디스플레이 구동 감지단계(S205)에서 디스플레이(16)가 구동 중인 것으로 판정된 경우, 사용자 시선 감지단계(S206)가 실시될 수 있다.If it is determined that the display 16 is driving in the display driving detection step (S205), the user gaze detection step (S206) may be performed.
사용자 시선 감지단계(S206)는 사용자가 디스플레이(16)의 화면을 주시하고 있는지 여부를 추정하기 위한 단계일 수 있다.The user gaze detection step (S206) may be a step for estimating whether the user is looking at the screen of the display 16.
S206단계는, 전면 카메라(17)에 의해 획득된 영상을 바탕으로 사용자의 시선 감지를 수행하는 단계를 포함할 수 있다. 구체적으로, S206 단계에서, 프로세서(11)는 전면 카메라(17)를 통해 영상을 획득하고, 이렇게 획득된 영상에서 사용자의 눈동자를 검출하는 단계를 포함할 수 있다. S206단계에서, 프로세서(11)는 획득된 영상에서 사용자의 눈동자와 대응하는 특징을 추출할 수 있다. 다만, 이에 한정하지 않고, S206단계에서는, 기 공지된 다른 방식의 시선 추적(eye tracking) 기법을 바탕으로 실시될 수 있다.Step S206 may include detecting the user's gaze based on the image acquired by the front camera 17. Specifically, in step S206, the processor 11 may include the step of acquiring an image through the front camera 17 and detecting the user's pupils from the obtained image. In step S206, the processor 11 may extract features corresponding to the user's pupils from the acquired image. However, it is not limited to this, and step S206 may be performed based on another known eye tracking technique.
S206단계에서는, 사용자가 디스플레이(16)의 화면을 주시하고 있는 것으로 판단된 경우, 프로세서(11)는 후면 카메라(18)를 구동시킬 수 있다.(S207)In step S206, if it is determined that the user is looking at the screen of the display 16, the processor 11 can drive the rear camera 18 (S207).
한편, S206단계에서 사용자가 디스플레이(16)의 화면을 주시하고 있지 않은 것으로 판단된 경우(S206의 '아니오'), 프로세서(11)는 프로세서(11)는 S212단계가 실시되도록 제어할 수 있다. 전술한 바와 같이, S212단계에서는 전면 카메라(17) 및 후면 카메라(18) 중 적어도 하나가 구동 중지(OFF) 상태로 제어될 수 있다.Meanwhile, if it is determined in step S206 that the user is not looking at the screen of the display 16 ('No' in S206), the processor 11 may control step S212 to be performed. As described above, in step S212, at least one of the front camera 17 and the rear camera 18 may be controlled to be in an off state.
실시예에 따라, S206단계에서, 프로세서(11)는 시선이 감지되지 않은 상태(즉, 사용자가 디스플레이(16)의 화면을 주시하고 있지 않은 상태가 기 설정된 시간 이상 동안 유지되는 경우에 한해 S212단계가 실시되도록 제어할 수 있다.Depending on the embodiment, in step S206, the processor 11 performs step S212 only when the state in which no gaze is detected (i.e., the state in which the user is not looking at the screen of the display 16) is maintained for a preset time or more. can be controlled to be carried out.
보행 중인 사용자가 짧은 시간 동안 빈번하게 디스플레이(16)의 화면에서 시선을 떼는 경우에 있어, 매번 전면 및/또는 후면 카메라(17, 18)의 구동과 구동 정지를 반복함으로써 전력이 과소비 되는 것을 방지할 수 있는 효과가 있다.In cases where a walking user frequently takes his/her gaze off the screen of the display (16) for a short period of time, excessive power consumption can be prevented by repeatedly starting and stopping the front and/or rear cameras (17, 18) each time. There is a possible effect.
주변 영상 획득단계(S208)는 S207단계에서 구동된 후면 카메라(18)를 이용하여 주변 영상을 획득하는 단계이다. 이때, 디스플레이(16)를 통한 화면의 표시는 포그라운드(foreground) 프로세스에서 이루어지고, 후면 카메라(18)를 통한 주변 영상의 획득과 처리는 백그라운드 프로세스에서 이루어질 수 있다.The surrounding image acquisition step (S208) is a step of acquiring the surrounding image using the rear camera 18 operated in step S207. At this time, display of the screen through the display 16 may be performed in a foreground process, and acquisition and processing of surrounding images through the rear camera 18 may be performed in a background process.
S209단계에서는, S208단계에서 획득된 영상을 보행 주의물 학습데이터를 바탕으로 학습된 인공신경망에 입력하여 보행 주의물을 검출한다. 상기 인공신경망은, 바람직하게는, CNN이며, 전술한 바와 같이 학습서버(30)에서 학습된 결과를 바탕으로 구성된 것일 수 있다.In step S209, the image acquired in step S208 is input to an artificial neural network learned based on the walking caution object learning data to detect the walking caution object. The artificial neural network is preferably a CNN, and may be constructed based on results learned by the learning server 30 as described above.
여기서, CNN에 기반한 이미지 검출 과정은, 전술한 학습서버(30)에서 학습 또는 훈련 과정에서 보행 주의물을 분류(classification)하는 것과 실질적으로 동일한 방식으로 이루어질 수 있다.Here, the CNN-based image detection process can be performed in substantially the same way as the classification of pedestrian objects during the learning or training process in the learning server 30 described above.
구체적으로, S20단계에서 획득된 영상이 CNN의 입력으로 입력되고, 인공지능 기반의 분류 작업을 통해 인공신경망의 출력으로써 얻어진 결과를 바탕으로 보행 주의물을 검출하게 된다.(S209)Specifically, the image acquired in step S20 is input to the CNN, and pedestrian caution objects are detected based on the results obtained as the output of the artificial neural network through an artificial intelligence-based classification task (S209).
이후, 보행 주의물이 검출된 것으로 판정(S210)되면, 전자기기(10)의 사용자가 이를 인지할 수 있게 알리는 단계가 실시될 수 있다.(S211)Afterwards, when it is determined that a pedestrian caution object has been detected (S210), a step of notifying the user of the electronic device 10 may be performed so that he/she can recognize it (S211).
S211단계에서의 알림은 음향 출력부(19) 및 디스플레이(16) 중 적어도 하나를 통해 이루어질 수 있다. 보행 주의물을 검출하는 과정에 보행자가 디스플레이(16)의 화면에 집중하고 있는 상태에서 이루어지기 때문에 디스플레이(16)의 화면을 통해 보행 주의물이 발견되었음을 알리는 메시지를 출력하거나, 상기 보행 주의물의 이미지가 표시되도록 하는 것이 바람직하다.The notification in step S211 may be made through at least one of the audio output unit 19 and the display 16. Since the process of detecting a pedestrian caution object is performed while the pedestrian is concentrating on the screen of the display 16, a message indicating that a pedestrian caution object has been found is output through the screen of the display 16, or an image of the pedestrian caution object is output. It is desirable to display .
도 9는 모바일넷 표준 모델의 구조도(MobileNet Body Architecture)이다. 도 10은 보행 주의물 검출 모델의 구조도이다.Figure 9 is a structural diagram of the MobileNet standard model (MobileNet Body Architecture). Figure 10 is a structural diagram of a pedestrian warning object detection model.
도 9 내지 도 10을 참조하면, 본 발명의 일 실시예에 따른 보행 주의물 검출을 위한 인공신경망은 모바일에서도 사용 가능하도록 설계될 수 있으며, 이러한 측면에서 파라미터(Parameter)의 개수를 획기적으로 줄이는 동시에 성능이 저하되지 않아야 한다는 점을 전재로, 학계 및 재계에서 연구되고 있는 신경망을 채택하고 Transfer-Learning을 구현하였다.Referring to Figures 9 and 10, the artificial neural network for detecting pedestrian cautions according to an embodiment of the present invention can be designed to be usable on mobile devices, and in this respect, the number of parameters can be dramatically reduced while simultaneously Under the premise that performance should not deteriorate, we adopted a neural network being studied in academia and the business world and implemented transfer-learning.
보다 상세하게, '보행 주의물 검출을 위한 인공신경망'은 Google Inc.에서 발표한 모바일넷(Mobilenet v1) 표준모델(도 9 참조.)을 구성하는 n개의 레이어(layer)에서 n-2번째부터 최종 n번째 레어어를 제거하였으며, n-3번째 레이어의 결과를 이용하여 분류(classification)와 객체 탐지(object detection)을 수행하도록 구성된다. 여기서, 분류는 Global average pooling Layer를 이용하며, 객체 탐지는 Convolutional Layer를 이용할 수 있다. 참고로, 도 9에 도시된 것은 표준규격에 해당하며, 실제 활용시에는 stride, filter shape, input size는 적절하게 변경될 수 있다. 출원인은 여러가지 실험을 해본 결과 신경망에 입력되는 영상이 128*128*3인 경우 가장 빠른 학습이 이루어지고, 좋은 결과를 나온다는 것을 알 수 있었고, 이를 실시예에 적용하였다.In more detail, the 'Artificial Neural Network for Detecting Pedestrian Observations' is a network of n layers that constitute the Mobilenet v1 standard model (see Figure 9) announced by Google Inc., starting from the n-2nd. The final nth layer was removed, and classification and object detection were performed using the results of the n-3th layer. Here, classification uses a global average pooling layer, and object detection can use a convolutional layer. For reference, what is shown in Figure 9 corresponds to the standard specifications, and in actual use, the stride, filter shape, and input size can be changed appropriately. As a result of various experiments, the applicant found that the fastest learning occurred and good results were obtained when the image input to the neural network was 128*128*3, and this was applied to the examples.
도 9 내지 도 10에서 보이는 바와 같이, '보행 주의물 검출을 위한 인공신경망'은 모바일넷의 Average Pooling Layer, Fully Connected Layer, 그리고 Softmax Layer는 사용하지 않으며, 13번째 Convolutional Layer에서 나온 결과가 공통으로 입력되는 분류기(classifier)와 객체 탐지기(object detector)를 포함할 수 있다. As shown in Figures 9 and 10, 'Artificial Neural Network for Detecting Pedestrian Observations' does not use the Average Pooling Layer, Fully Connected Layer, and Softmax Layer of the mobile network, and the results from the 13th Convolutional Layer are common. It may include an input classifier and object detector.
여기서, 상기 분류기는 영상에서 검출된 보행 주의물을 분류하는 것으로써, 1개의 Average Pooling Layer와 적어도 하나의 Dense Layer를 포함하며, Class 정보를 얻도록 구성될 수 있다. 실시예에서와 같이 Dense Layer는 바람직하게는 4개이나, 반드시 이에 한정되어야 하는 것은 아니다.Here, the classifier classifies pedestrian objects detected in the image, includes one Average Pooling Layer and at least one Dense Layer, and can be configured to obtain class information. As in the example, the number of dense layers is preferably four, but it is not necessarily limited to this.
상기 객체 탐지기는 영상에서 보행 주의물을 탐지하는 것으로써 적어도 하나의 Convolutional Layer, 적어도 하나의 Flatten Layer 및 적어도 하나의 Dense Layer를 포함하며, Bounding Box의 정보를 얻도록 구성될 수 있다. 실시예에서 Convolutional Layer, Flatten Layer 및 Dense Layer는 각각 1개씩이나, 반드시 이에 한정되어야 하는 것은 아니다. The object detector detects pedestrian objects in the image and includes at least one convolutional layer, at least one flatten layer, and at least one dense layer, and may be configured to obtain information about the bounding box. In the embodiment, there is one Convolutional Layer, Flatten Layer, and Dense Layer each, but it is not necessarily limited thereto.
한편, 실재 학습시에는 모바일넷은 학습되지 않고, 신규로 추가한 분류/객체 탐지를 위한 레이어들만 학습을 진행할 수 있다.Meanwhile, during actual learning, MobileNet is not learned, and only newly added layers for classification/object detection can be learned.
한편, 전술한 '보행 주의물 검출을 위한 인공신경망'을 휴대용 전자기기(예를 들어, 스마트폰)에 적용하기 위해서 Tensorflow-lite가 이용될 수 있다. Tensorflow-lite는, 백그라운드 스레드(Background Thread)에서 후면 카메라(18)에 의해 영상이 획득되는 동안 100ms단위로 이미지 프레임이 추출되고, 그 추출된 이미지를 탐지 스레드(Detection Thread)로 보낼 수 있다. Detection Thread에서는 Tensorflow Lite에 기 저장되어 있는 학습데이터(즉, 전술한 학습과정에서 학습된 것)를 바탕으로 보행 주의물을 판단할 수 있다.Meanwhile, Tensorflow-lite can be used to apply the above-described 'artificial neural network for detecting pedestrian cautions' to portable electronic devices (e.g., smartphones). In Tensorflow-lite, image frames are extracted in 100ms units while images are acquired by the rear camera 18 in the background thread, and the extracted images can be sent to the detection thread. In Detection Thread, pedestrian cautions can be determined based on learning data already stored in Tensorflow Lite (i.e., what was learned in the above-mentioned learning process).
본 발명에 관한 컴퓨터 판독 가능한 기록 매체는, 상술한 현상 방법을 현상 장치에 실행시키기 위한 프로그램을 기록하고 있다. 본 명세서에 있어서, 컴퓨터 판독 가능한 기록 매체에는, 일시적이지 않은 유형의 매체(nontransitory computer recording medium)(예를 들어, 각종 주기억 장치 또는 보조 기억 장치)나, 전파 신호(transitory computer recording medium)(예를 들어, 네트워크를 통해 제공 가능한 데이터 신호)가 포함된다.The computer-readable recording medium according to the present invention records a program for causing a developing device to execute the above-described developing method. In this specification, the computer-readable recording medium includes a non-transitory computer recording medium (e.g., various main memory devices or auxiliary memory devices) or a radio signal (transitory computer recording medium) (e.g. For example, data signals available through a network) are included.
Claims (5)
상기 기울기가 상기 기울기 범위 내에 속하는 경우, 위치 감지부의 감지값을 바탕으로 보행 여부를 판단하는 (b)단계;
상기 (b)단계에서 보행 중인 것으로 판단된 경우, 상기 휴대 전자기기의 전면에 구비된 디스플레이가 구동 중인지 감지하는 (c)단계;
상기 (c)단계에서 상기 디스플레이가 구동 중인 것으로 판단된 경우, 전면 카메라에 의해 획득된 영상을 바탕으로 사용자의 시선 감지를 수행하고, 감지 결과에 기초하여 상기 후면 카메라를 구동시켜 주변 영상을 획득하는 (d)단계; 및
상기 후면 카메라를 통해 획득된 주변 영상을, 보행 주의물 학습데이터를 바탕으로 학습된 인공신경망에 입력하여 보행 주의물을 검출하는 (e)단계를 포함하는 휴대 전자기기의 제어방법.Step (a) of determining whether the tilt of the portable electronic device obtained by the posture detection unit falls within a preset tilt range;
Step (b) of determining whether to walk based on the detection value of the position sensor when the slope is within the slope range;
If it is determined that the person is walking in step (b), step (c) of detecting whether the display provided on the front of the portable electronic device is running;
If it is determined that the display is running in step (c), the user's gaze is detected based on the image acquired by the front camera, and the rear camera is driven based on the detection result to obtain surrounding images. Step (d); and
A method of controlling a portable electronic device including step (e) of detecting a pedestrian caution object by inputting the surrounding image acquired through the rear camera into an artificial neural network learned based on the pedestrian caution object learning data.
상기 (a)단계에서의 상기 기울기 범위는,
상기 휴대 전자기기의 수평에 대한 기울기 15 내지 60도 사이에서 정의되는 휴대 전자기기의 제어방법.According to claim 1,
The slope range in step (a) is,
A method of controlling a portable electronic device defined as an inclination of the portable electronic device between 15 and 60 degrees relative to the horizontal.
상기 (b)단계는,
상기 위치 감지부의 감지값을 바탕으로 이동 속도를 구하는 단계; 및
상기 이동 속도가 1 내지 7 km/h 사이에서 정의된 소정의 보행 속도 범위에 속하는 경우 보행 중인 것으로 판단하는 단계를 포함하는 휴대 전자기기의 제어방법.According to claim 1,
In step (b),
Obtaining a moving speed based on the detection value of the position sensor; and
A method of controlling a portable electronic device, including the step of determining that the mobile electronic device is walking when the moving speed falls within a predetermined walking speed range defined between 1 and 7 km/h.
상기 (d)단계에서의 시선 감지는,
상기 전면 카메라를 통해 획득된 영상에서 사용자의 눈동자를 검출하는 단계를 포함하는 휴대 전자기기의 제어방법.According to claim 1,
Gaze detection in step (d) above is,
A method of controlling a portable electronic device including detecting the user's pupils from the image acquired through the front camera.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220105167A KR20240027223A (en) | 2022-08-23 | 2022-08-23 | Power saving method of portable electronic devices equipped with user walking accident prevention application |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220105167A KR20240027223A (en) | 2022-08-23 | 2022-08-23 | Power saving method of portable electronic devices equipped with user walking accident prevention application |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20240027223A true KR20240027223A (en) | 2024-03-04 |
Family
ID=90297925
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220105167A KR20240027223A (en) | 2022-08-23 | 2022-08-23 | Power saving method of portable electronic devices equipped with user walking accident prevention application |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20240027223A (en) |
-
2022
- 2022-08-23 KR KR1020220105167A patent/KR20240027223A/en not_active Application Discontinuation
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8953841B1 (en) | User transportable device with hazard monitoring | |
US9865146B2 (en) | System and method for accident avoidance during mobile device usage | |
KR102512969B1 (en) | Control method, control device and storage medium of unmanned guided vehicle | |
CN110979318B (en) | Lane information acquisition method and device, automatic driving vehicle and storage medium | |
EP4016130B1 (en) | Method for outputting early warning information, device, storage medium and program product | |
US11120707B2 (en) | Cognitive snapshots for visually-impaired users | |
CN110864913B (en) | Vehicle testing method and device, computer equipment and storage medium | |
CN110991491A (en) | Image labeling method, device, equipment and storage medium | |
US10609510B2 (en) | Mobile electronic apparatus, mobile electronic apparatus control method, a non-transitory computer readable recording medium, for providing warnings to a user of the apparatus based on the location of the electronic apparatus | |
CN114332821A (en) | Decision information acquisition method, device, terminal and storage medium | |
WO2019156678A1 (en) | Pedestrian management systems and methods | |
CN113742440B (en) | Road image data processing method and device, electronic equipment and cloud computing platform | |
US20140194147A1 (en) | Apparatus and method for reducing battery consumption of mobile terminal | |
CN107548466B (en) | Method and device for detecting road barrier | |
KR20240027223A (en) | Power saving method of portable electronic devices equipped with user walking accident prevention application | |
KR102673435B1 (en) | Notification method to prevent portable electronic device user from walking accidents using artificial intelligence and portable electronic devices to which such method is applied | |
RU2681346C2 (en) | Method and system of accurate localization of visually impaired or blind person | |
KR20230130997A (en) | A method for preventing gait accidents of users of portable electronic devices using an accident prevention model using deep learning object detection | |
KR20230138639A (en) | Pedestrian caution notification app for mobile electronic device users using artificial intelligence | |
CN113361386B (en) | Virtual scene processing method, device, equipment and storage medium | |
US10893388B2 (en) | Map generation device, map generation system, map generation method, and non-transitory storage medium including instructions for map generation | |
US11170231B2 (en) | Electronic device and electronic device control meihod | |
CN113489838A (en) | Unsafe area prompting method and device, electronic equipment and medium | |
Grewei et al. | Traffic light detection and intersection crossing using mobile computer vision | |
KR20220046553A (en) | Autonomous Vehicle Interaction System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E90F | Notification of reason for final refusal |