WO2023146145A1 - 전자 장치 및 이의 제어 방법 - Google Patents

전자 장치 및 이의 제어 방법 Download PDF

Info

Publication number
WO2023146145A1
WO2023146145A1 PCT/KR2023/000078 KR2023000078W WO2023146145A1 WO 2023146145 A1 WO2023146145 A1 WO 2023146145A1 KR 2023000078 W KR2023000078 W KR 2023000078W WO 2023146145 A1 WO2023146145 A1 WO 2023146145A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
user
gaze
display
vehicle
Prior art date
Application number
PCT/KR2023/000078
Other languages
English (en)
French (fr)
Inventor
김현수
김승년
황호철
최보근
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220037678A external-priority patent/KR20230115184A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2023146145A1 publication Critical patent/WO2023146145A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • a plurality of displays may exist in the user's field of view.
  • a display of the AR electronic device and a HUD display of the vehicle may exist in the user's field of view.
  • the user may not be able to quickly cope with the unexpected situation because the front view is reduced due to the media data displayed on the display of the AR electronic device.
  • identifying a head up display (HUD) image identifying a user's line of sight through the second camera, determining whether the user's line of sight is directed toward the HUD image, and
  • HUD head up display
  • determining whether the user's line of sight is directed toward the HUD image and
  • brightness of the display is controlled; when the gaze of the user is not directed toward the HUD image, it is determined whether the gaze of the user is directed toward the object; instructions for controlling the brightness of the display when the gaze of the user is directed toward the object, and providing a warning notification for the object to the user when the gaze of the user is not directed toward the object.
  • FIG. 3 is a schematic diagram of a gaze tracking and display method through a transparent member, according to an embodiment.
  • FIG. 6 is a flowchart illustrating an operation of an electronic device according to an exemplary embodiment.
  • FIG. 8 is a flowchart illustrating an operation of an electronic device according to an exemplary embodiment.
  • the electronic device 201 may include at least some of the components of the electronic device 101 of FIG. 1 .
  • the electronic device 201 may include a display (eg, the display module 160 of FIG. 1 ), a camera (eg, the camera module 180 of FIG. 1 ), and at least one sensor (eg, the sensor module of FIG. 1 ). 176), a processor (eg, processor 120 of FIG. 1), a battery (eg, battery 189 of FIG. 1), a memory (eg, 130 of FIG. 1), or a communication circuit (eg, FIG. 1 ). It may include at least one of the communication modules 190). At least some of the components of the electronic device 201 may be located inside the housing of the electronic device 201 or may be exposed to the outside of the housing.
  • the electronic device 201 may include a first transparent member 296-1 and/or a second transparent member 296-2.
  • first transparent member 296-1 and/or a second transparent member 296-2 may be formed of at least one of a glass plate, a plastic plate, or a polymer, and may be transparent or translucent.
  • the first transparent member 296-1 may be disposed to face the user's right eye
  • the second transparent member 296-2 may be disposed to face the user's left eye.
  • the display of the electronic device 201 may be a transparent or translucent display.
  • the display may be disposed at a position facing the user's eyes (eg, the first screen output area 260-1 and/or the second screen output area 260-2).
  • the electronic device 201 may obtain the user's gaze from the user's pupil image and provide an image based on the acquired gaze. For example, the electronic device 201 may display an image so that the image is positioned in the direction of the user's gaze.
  • the first eye tracking sensor 276-1 and the second eye tracking sensor 276-2 have the same specifications and performance (eg, angle of view, shutter speed, resolution, and/or number of color bits). It may be a GS (global shutter) camera having
  • the display 361 (eg, the first display 261-1 or the second display 261-2 of FIG. 2 ) includes a transparent member 396 (eg, the first transparent member of FIG. 2 ).
  • An image may be provided through 296-1 or the second transparent member 296-2.
  • the display 361 is provided with the input optical member 362 (eg, the first input optical member 262-1 or the second input optical member 262-2 of FIG. 2) through the lens 351. ) can be input to the light corresponding to the image.
  • the input optical member 362 may reflect or diffract incident light and input it to the optical waveguide 360 .
  • the output optical member 364 may output light transmitted through the optical waveguide 360 toward the user's eye 399 .
  • lens 351 may be included in display 361 .
  • the position of the lens 351 may be determined based on the distance between the transparent member 396 and the user's eye 399 .
  • the processor 420 may control the brightness of the display 460 of the electronic device 401 .
  • the processor 420 may increase transparency of the display 460 by controlling brightness of media content displayed on the display 460 .
  • the processor 420 may improve the user's field of view and the user's driving environment, and allow the user to easily identify an object (eg, a HUD image) in front of the user by increasing the transparency of the display 460 .
  • the processor 420 may determine whether the user's gaze is directed toward the obstacle.
  • the processor 420 may determine whether the user's gaze is directed toward the obstacle based on the degree of overlap between the obstacle area and the gaze area.
  • FIG. 5 is a flowchart illustrating an operation of an electronic device according to an exemplary embodiment.
  • an electronic device (eg, the electronic device 101 of FIG. 1 , the electronic device 201 of FIG. 2 , or the electronic device 401 of FIG. 4 ) includes at least one sensor and/or at least one sensor.
  • the object may include at least one of objects that can be recognized by a user of an electronic device (eg, a vehicle driver) through a windshield of a vehicle, such as a person, animal, moving object, stationary object, traffic facility, or traffic signal. there is.
  • the operations included in FIG. 5 may be performed by a processor (eg, the processor 120 of FIG. 1 or the processor 420 of FIG. 4 ) of the electronic device 101 .
  • the electronic device may detect the user getting on the vehicle.
  • the second content may refer to media content in which content corresponding to the first content is displayed relatively more briefly than the first content.
  • the second content may be an image, an icon, and/or text in which content corresponding to the first content is displayed more briefly than the first content.
  • the electronic device may display a warning notification with a specified color, a specified icon, and/or a specified text.
  • Operation 600 may be substantially the same as or similar to operation 500, and operation 605 may be substantially the same as or similar to operation 505. Accordingly, detailed descriptions of operations 600 and 605 are replaced with descriptions of operations 500 and 505 described above.
  • the third control signal may include content that causes the vehicle to move a HUD image displaying an obstacle warning notification to a position corresponding to the user's line of sight on the vehicle display.
  • the vehicle may move a HUD image displaying a warning notification about an obstacle to a location corresponding to the user's line of sight on the vehicle display.
  • FIG. 7 is a diagram illustrating a user's driving environment according to an exemplary embodiment.
  • an electronic device 701 eg, the electronic device 101 of FIG. 1 , FIG. An operation performed by the electronic device 201 of FIG. 4 or the electronic device 401 of FIG. 4 may be described.
  • FIG. 7 for convenience of explanation, a case in which the line of sight area 720 , the HUD image area 730 , and the obstacle area 740 are located on a coordinate plane on the vehicle display is illustrated. Contents overlapping with detailed descriptions of the gaze area, HUD image area, and obstacle area of FIG. 5 are omitted for convenience of description.
  • the electronic device 701 when the electronic device 701 determines that the user's gaze is directed toward the HUD image, the electronic device 701 transmits a first control signal to the vehicle, provides a warning notification to the user, or the electronic device 701 At least one of operations for controlling the brightness of the display (eg, the display 460 of FIG. 4 ) may be performed.
  • a control signal may be transmitted, or a warning notification may be provided to the user.
  • the first control signal may include content that causes the vehicle to display an obstacle warning notification on the HUD image.
  • the electronic device 701 may control the brightness of a display of the electronic device 701 when it is determined that the user's gaze is directed toward an obstacle.
  • the electronic device 701 transmits a second control signal to the vehicle or a third control signal to the vehicle when it is determined that the user's gaze is directed toward an area excluding the HUD image and the obstacle. may be sent, or a warning notification may be provided to the user.
  • HUD head up display
  • the brightness of the display 460 is controlled, and when the gaze of the user is not toward the HUD image, the user's determining whether the gaze of the user is directed toward the object, controlling the brightness of the display 460 when the gaze of the user is directed toward the object, and controlling the gaze of the user toward the object; , may store instructions for providing a warning notification for the object to the user.
  • the identifying of the HUD image area may include receiving data on the HUD image area corresponding to the HUD image from the vehicle, and based on the received data on the HUD image area , may include an operation of identifying the HUD image area.
  • the method for controlling the electronic device 401 includes, when the HUD image is identified through the first camera 480, the video or image displayed on the display 460 is selected from icons or text. An operation of switching to at least one may be further included.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary' only means that the storage medium is a tangible device and does not contain a signal (e.g. electromagnetic wave), and this term refers to the case where data is stored semi-permanently in the storage medium. It does not discriminate when it is temporarily stored.
  • a signal e.g. electromagnetic wave

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

메모리, 디스플레이, 제1 카메라, 제2 카메라, 및 프로세서를 포함하고, 상기 메모리는, 상기 전자 장치가, 상기 제1 카메라를 통해, 사용자가 탑승 중인 차량 전방의 객체, 및 상기 차량의 차량 디스플레이에 표시되고 상기 객체에 대한 경고 알림을 포함하는 헤드 업 디스플레이(head up display) 이미지를 식별하고, 상기 제2 카메라를 통해, 사용자의 시선을 식별하고, 상기 사용자의 상기 시선이 상기 HUD 이미지를 향하는 경우, 상기 디스플레이의 밝기를 제어하고, 상기 사용자의 상기 시선이 상기 HUD 이미지를 향하지 않는 경우, 상기 사용자의 상기 시선이 상기 객체를 향하는지 여부를 판단하고, 상기 사용자의 상기 시선이 상기 객체를 향하는 경우, 상기 디스플레이의 상기 밝기를 제어하고, 및 상기 사용자의 상기 시선이 상기 객체를 향하지 않는 경우, 상기 객체에 대한 경고 알림을 상기 사용자에게 제공하도록 하는 인스트럭션들(instructions)을 저장하는 전자 장치가 개시된다.

Description

전자 장치 및 이의 제어 방법
본 문서에서 개시되는 다양한 실시 예들은 전자 장치 및 이의 제어 방법에 관한 것이다.
최근에 AR(augmented reality) 기기와 같은 증강 현실 전자 장치에 대한 기술이 개발되고 있다. 사용자는 AR기기의 디스플레이를 통해 증강 현실 미디어 데이터를 식별할 수 있다.
차량의 전면 유리에는 헤드 업 디스플레이(head up display, HUD)가 포함되어, 운전자는 여러가지 알림을 HUD 디스플레이를 통해 식별할 수 있다.
AR 전자 장치를 착용한 사용자가 자동차를 운전하는 경우, 사용자의 시야에는 복수 개의 디스플레이(예: AR 전자 장치의 디스플레이 및 차량의 HUD 디스플레이)가 존재할 수 있다. 사용자가 자동차를 운전하는 중 돌발 상황 발생 시, 사용자는 AR 전자 장치의 디스플레이에 표시되는 미디어 데이터로 인하여 전방 시야가 축소됨으로써, 돌발 상황에 대하여 신속하게 대처하지 못할 수 있다.
본 문서에 개시되는 다양한 실시 예들은, 전술한 과제를 해결할 수 있는 전자 장치 및 이의 제어 방법을 제공하고자 한다.
본 문서에 개시되는 일 실시 예에 따른 전자 장치는, 메모리, 디스플레이, 제1 카메라, 제2 카메라, 및 상기 메모리, 상기 디스플레이, 상기 제1 카메라, 및 상기 제2 카메라와 연결된 프로세서를 포함하고, 상기 메모리는, 상기 프로세서에 의해 실행 시에, 상기 전자 장치가, 상기 제1 카메라를 통해, 사용자가 탑승 중인 차량 전방의 객체, 및 상기 차량의 차량 디스플레이에 표시되고 상기 객체에 대한 경고 알림을 포함하는 헤드 업 디스플레이(head up display, HUD) 이미지를 식별하고, 상기 제2 카메라를 통해, 사용자의 시선을 식별하고, 상기 사용자의 상기 시선이 상기 HUD 이미지를 향하는지 여부를 판단하고, 상기 사용자의 상기 시선이 상기 HUD 이미지를 향하는 경우, 상기 디스플레이의 밝기를 제어하고, 상기 사용자의 상기 시선이 상기 HUD 이미지를 향하지 않는 경우, 상기 사용자의 상기 시선이 상기 객체를 향하는지 여부를 판단하고, 상기 사용자의 상기 시선이 상기 객체를 향하는 경우, 상기 디스플레이의 상기 밝기를 제어하고, 및 상기 사용자의 상기 시선이 상기 객체를 향하지 않는 경우, 상기 객체에 대한 경고 알림을 상기 사용자에게 제공하도록 하는 인스트럭션들(instructions)을 저장할 수 있다.
또한, 본 문서에 개시되는 일 실시 예에 따른 전자 장치를 제어하는 방법은, 상기 전자 장치에 포함된 제1 카메라를 통해, 사용자가 탑승 중인 차량 전방의 객체 및 상기 차량의 차량 디스플레이에 표시되고 상기 객체에 대한 경고 알림을 포함하는 헤드 업 디스플레이(head up display, HUD) 이미지를 식별하는 동작, 상기 전자 장치에 포함된 제2 카메라를 통해, 사용자의 시선을 식별하는 동작, 상기 사용자의 상기 시선이 상기 HUD 이미지를 향하는지 여부를 판단하는 동작, 상기 사용자의 상기 시선이 상기 HUD 이미지를 향하는 경우, 전자 장치에 포함된 디스플레이의 밝기를 제어하는 동작, 상기 사용자의 상기 시선이 상기 HUD 이미지를 향하지 않는 경우, 상기 사용자의 상기 시선이 상기 객체를 향하는지 여부를 판단하는 동작, 상기 사용자의 상기 시선이 상기 객체를 향하는 경우, 상기 디스플레이의 상기 밝기를 제어하는 동작, 및 상기 사용자의 상기 시선이 상기 객체를 향하지 않는 경우, 상기 객체에 대한 경고 알림을 상기 사용자에게 제공하는 동작을 포함할 수 있다.
본 문서에 개시되는 실시 예들에 따르면, 전자 장치는 사용자의 차량 탑승을 감지하여 AR 전자 장치의 디스플레이에 표시되는 컨텐츠를 간략하게 표시하거나, 또는 축소함으로써, 사용자의 시야, 및 운전 환경을 개선할 수 있다.
본 문서에 개시되는 실시 예들에 따르면, 사용자가 차량의 헤드 업 디스플레이를 보고 있는 경우, 전자 장치는 차량으로 하여금 헤드 업 디스플레이에 차량 전방의 장애물에 대한 경고 알림을 표시하게 함으로써, 사용자가 신속하게 장애물을 인식하도록 할 수 있다.
본 문서에 개시되는 실시 예들에 따르면, 사용자가 차량의 헤드 업 디스플레이에 표시된 차량 전방의 장애물에 대한 경고 알림을 보고 있는 경우, 전자 장치는 디스플레이의 밝기를 감소하거나, 또는 0으로 제어하여 디스플레이의 투명도를 증가시킬 수 있다. 이를 통해, 전자 장치는 사용자의 시야, 및 사용자의 운전 환경을 개선함으로써, 사용자가 장애물을 용이하게 식별하도록 할 수 있다.
본 문서에 개시되는 실시 예들에 따르면, 사용자가 차량 전방의 장애물 및 차량의 헤드 업 디스플레이를 보고 있지 않은 경우, 전자 장치는 차량으로 하여금, 차량 디스플레이 상의 사용자의 시선에 대응하는 위치에 차량 전방의 장애물에 대한 경고 알림을 표시하게 함으로써, 사용자가 시선을 이동하지 않고도 신속하게 장애물을 인식하도록 할 수 있다.
본 문서에 개시되는 실시 예들에 따르면, 사용자가 차량 전방의 장애물을 보고 있는 경우, 전자 장치는 디스플레이의 밝기를 감소하거나, 또는 0으로 제어하여 디스플레이의 투명도를 증가시킬 수 있다. 이를 통해, 전자 장치는 사용자의 시야, 및 사용자의 운전 환경을 개선함으로써, 사용자가 장애물을 용이하게 식별하도록 할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 다양한 실시 예에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는, 일 실시 예에 따른, 전자 장치의 개략도이다.
도 3는, 일 실시 예에 따른, 투명 부재를 통한 시선 추적 및 디스플레이 방법의 개략도이다.
도 4는 일 실시 예에 따른, 전자 장치의 블록도이다.
도 5는 일 실시 예에 따른, 전자 장치의 동작을 설명하는 흐름도이다.
도 6은 일 실시 예에 따른, 전자 장치의 동작을 설명하는 흐름도이다.
도 7은 일 실시 예에 따른, 사용자의 운전 환경을 설명하는 도면이다.
도 8은 일 실시 예에 따른, 전자 장치의 동작을 설명하는 흐름도이다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다.
도 1은, 본 개시에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 서버(108)와 통신할 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다.
데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다.
프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
도 2는, 일 실시 예에 따른, 전자 장치(201)의 개략도이다.
도 2를 참조하여, 도 2의 예시에서, 전자 장치(201)는 HMD(head mounted display) 장치, 웨어러블 장치, 스마트 글래스(smart glasses), 또는 아이웨어(eyewear)로 참조될 수 있다. 도 2에 도시된 전자 장치(201)의 형태는 예시적인 것으로서, 본 문서의 실시 예들이 이에 제한되는 것은 아니다. 예를 들어, 전자 장치(201)는 AR(augmented reality) 또는 VR(virtual reality)을 제공하도록 설정된 임의의 전자 장치일 수 있다.
일 실시 예에 따르면, 전자 장치(201)는 도 1의 전자 장치(101)의 구성들 중 적어도 일부를 포함할 수 있다. 예를 들어, 전자 장치(201)는 디스플레이(예: 도 1의 디스플레이 모듈(160)), 카메라(예: 도 1의 카메라 모듈(180)), 적어도 하나의 센서(예: 도 1의 센서 모듈(176)), 프로세서(예: 도 1의 프로세서(120)), 배터리(예: 도 1의 배터리(189)), 메모리(예: 도 1의 130)), 또는 통신 회로(예: 도 1의 통신 모듈(190)) 중 적어도 하나를 포함할 수 있다. 전자 장치(201)의 구성 요소들 중 적어도 일부는 전자 장치(201)의 하우징 내부에 위치되거나, 하우징의 외부로 노출될 수 있다.
전자 장치(201)는 디스플레이를 포함할 수 있다. 예를 들어, 전자 장치(201)는 제1 디스플레이(261-1) 및/또는 제2 디스플레이(261-2)를 포함할 수 있다. 제1 디스플레이(261-1) 및/또는 제2 디스플레이(261-2)는, 액정 표시 장치(liquid crystal display; LCD), 디지털 미러 장치(digital mirror device; DMD), 실리콘 액정 표시 장치(liquid crystal on silicon device; LCoS device), 유기 발광 다이오드(organic light emitting diode; OLED) 또는 마이크로 LED(micro light emitting diode; micro LED) 중 적어도 하나를 포함할 수 있다. 예를 들어, 전자 장치(201)의 디스플레이는 빛을 조사하기 위한 적어도 하나의 광원을 포함할 수 있다. 제1 디스플레이(261-1) 및/또는 제2 디스플레이(261-2)가 액정 표시 장치, 디지털 미러 장치 또는 실리콘 액정 표시 장치 중 하나를 포함하는 경우, 전자 장치(201)는 디스플레이의 화면 출력 영역(260-1 및/또는 260-2)으로 빛을 조사하는 적어도 하나의 광원을 포함할 수 있다. 다른 예를 들어, 전자 장치(201)의 디스플레이가 자체적으로 빛을 발생시킬 수 있는 경우, 디스플레이는 디스플레이에 포함된 광원 외에 별도의 광원을 포함하지 않을 수 있다. 제1 디스플레이(261-1) 및/또는 제2 디스플레이(261-2)가 유기 발광 다이오드 또는 마이크로 LED 중 적어도 하나를 포함하는 경우, 전자 장치(201)는 별도의 광원을 포함하지 않더라도 사용자에게 이미지를 제공할 수 있다. 디스플레이가 유기 발광 다이오드 또는 마이크로 LED로 구현되는 경우, 별도 광원의 생략을 통하여 전자 장치(201)의 무게가 감소될 수 있다.
일 실시 예에 따르면, 전자 장치(201)는 제1 투명 부재(296-1) 및/또는 제2 투명 부재(296-2)를 포함할 수 있다. 예를 들어, 사용자가 전자 장치(201)를 착용한 경우, 사용자는 제1 투명 부재(296-1) 및/또는 제2 투명 부재(296-2)를 통하여 볼(see through) 수 있다. 제1 투명 부재(296-1) 및/또는 제2 투명 부재(296-2)는 글래스 플레이트, 플라스틱 플레이트 또는 폴리머 중 적어도 하나로 형성될 수 있으며, 투명 또는 반투명할 수 있다. 예를 들어, 착용되었을 때, 제1 투명 부재(296-1)는 사용자의 우안에 대면하게 배치될 수 있고, 제2 투명 부재(296-2)는 사용자의 좌안에 대면하게 배치될 수 있다.
일 실시 예에 따르면, 제1 투명 부재(296-1) 및/또는 제2 투명 부재(296-2)의 적어도 일부는 광도파로(waveguide)일 수 있다. 예를 들어, 광도파로는 디스플레이(예: 제1 디스플레이(261-1) 및/또는 제2 디스플레이(261-2))에 의하여 생성된 이미지를 사용자의 눈에 전달할 수 있다. 광도파로는 글래스, 플라스틱 또는 폴리머로 형성될 수 있다. 예를 들어, 광도파로는 내부 또는 일 표면에 형성된 나노 패턴(예: 다각형 또는 곡면 형상의 격자 구조(grating structure))을 포함할 수 있다. 일 예를 들어, 광도파로의 일단으로 입사된 광은 나노 패턴에 의해 광도파로 내부에서 전파되어 사용자의 눈으로 제공될 수 있다. 일 예를 들어, Free-form형 프리즘으로 구성된 광도파로는 입사된 광을 반사 미러를 통해 사용자에게 제공하도록 구성될 수 있다.
일 실시 예에 따르면, 광도파로는 적어도 하나의 회절 요소(예: DOE(Diffractive Optical Element), HOE(Holographic Optical Element)) 또는 반사 요소(예: 반사 거울) 중 적어도 하나를 포함할 수 있다. 상기 광도파로는 광도파로에 포함된 적어도 하나의 회절 요소 또는 반사 요소를 이용하여 광원부로부터 방출된 디스플레이 광을 사용자의 눈으로 유도할 수 있다. 예를 들어, 회절 요소는 입력 광학 부재(예: 262-1 및/또는 262-2) 및/또는 출력 광학 부재(미도시)를 포함할 수 있다. 제1 입력 광학 부재(262-1) 및/또는 제2 입력 광학 부재(262-2)는 입력 그레이팅 영역(input grating area)으로 참조될 수 있으며, 출력 광학 부재(미도시)는 출력 그레이팅 영역(output grating area)으로 참조될 수 있다. 입력 그레이팅 영역은 광원(예: Micro LED)으로부터 출력되는 빛을 화면 표시부의 투명 부재(예: 제1 투명 부재(296-1) 및/또는 제2 투명 부재(296-2))로 빛을 전달하기 위해 빛을 회절 또는 반사시킬 수 있다. 출력 그레이팅 영역은 광도파로의 투명 부재(예: 제1 투명 부재(296-1) 및/또는 제2 투명 부재(296-2))에 전달된 빛을 사용자의 눈의 방향으로 회절 또는 반사시킬 수 있다. 예를 들어, 반사 요소는 전반사(total internal reflection, TIR)를 위한 전반사 광학 소자 또는 전반사 도파관을 포함할 수 있다. 전반사는 광을 유도하는 하나의 방식으로 참조될 수 있으며, 입력 그레이팅 영역을 통하여 입력되는 빛(예: 이미지)이 광도파로의 일면(예: 특정 면)에서 100% 반사되도록 입사각을 만들어, 출력 그레이팅 영역까지 100% 전달되도록 하는 것을 의미할 수 있다. 일 실시 예에서, 디스플레이로부터 방출되는 광의 광 경로는 입력 광학 부재에 의하여 광도파로로 유도될 수 있다. 광도파로 내부를 이동하는 광은 출력 광학 부재를 통해 사용자 눈 방향으로 유도될 수 있다. 화면 출력 영역(260-1 및/또는 260-2)은 눈 방향으로 방출되는 광에 기반하여 결정될 수 있다.
도 2에는 전자 장치(201)가 광도파로를 이용하여 사용자에게 이미지를 제공하는 것으로 설명되었으나, 본 문서의 실시 예들이 이에 제한되는 것은 아니다. 일 실시 예에 다르면, 전자 장치(201)의 디스플레이는 투명 또는 반투명 디스플레이일 수 있다. 이 경우, 디스플레이는 사용자의 눈과 대면하는 위치(예: 제1 화면 출력 영역(260-1) 및/또는 제 화면 출력 영역(260-2))에 배치될 수 있다.
일 실시 예에 따르면, 전자 장치(201)는 적어도 하나의 카메라를 포함할 수 있다. 예를 들어, 전자 장치(201)는 제1 카메라(280-1), 제2 카메라(280-2), 및/또는 제3 카메라(280-3)를 포함할 수 있다. 예를 들어, 제1 카메라(280-1) 및 제2 카메라(280-2)는 외부 이미지 인식을 위하여 이용될 수 있다. 제1 카메라(280-1) 및 제2 카메라(280-2)는 사용자의 시선에 대응하는 방향(예: +x 방향)에 대응하는 이미지를 획득하도록 설정될 수 있다. 전자 장치(201)는 제1 카메라(280-1) 및 제2 카메라(280-2)를 이용하여 머리 트랙킹(head tracking)(예: 3 자유도 또는 6 자유도(degree of freedom; DoF) 트랙킹), 손 이미지 검출, 손 이미지 추적 및/또는 공간 인식을 수행할 수 있다. 일 예를 들어, 제1 카메라(280-1) 및 제2 카메라(280-2)는 동일한 규격 및 성능(예: 화각, 셔터 스피드, 해상도, 및/또는 컬러 비트 수 등)을 갖는 GS(global shutter) 카메라일 수 있다. 전자 장치(201)는 좌/우에 배치된 스테레오 카메라를 이용하여 공간 인식(예: 6 자유도 공간 인식) 및/또는 X스(depth) 정보 획득을 수행함으로써, SLAM(simultaneous localization and mapping) 기술을 지원할 수 있다. 또한, 전자 장치(201)는 좌/우에 배치된 스테레오 카메라를 사용자의 제스처를 인식할 수 있다. 전자 장치(201)는 RS(rolling shutter) 카메라에 비하여 상대적으로 왜곡이 적은 GS 카메라를 이용함으로써, 보다 빠른 손동작 및 미세 움직임을 검출할 수 있다. 예를 들어, 제3 카메라(280-3)는 외부 이미지 인식을 위하여 이용될 수 있다. 제3 카메라(280-3)는 사용자의 시선에 대응하는 방향(예: +x 방향)에 대응하는 이미지를 획득하도록 설정될 수 있다. 일 예에서, 제3 카메라(280-3)는 제1 카메라(280-1) 및 제2 카메라(280-2)에 비하여 상대적으로 높은 해상도를 갖는 카메라일 수 있다. 제3 카메라(280-3)는 HR(high resolution) 카메라 또는 PV(photo video) 카메라로 참조될 수 있다. 제3 카메라(280-3)는 AF(auto focus) 및/또는 OIS(optical image stabilization)와 같은 고화질 이미지 획득을 위한 기능들을 지원할 수 있다. 제3 카메라(280-3)는 GS 카메라 또는 RS 카메라일 수 있다.
일 실시 예에 따르면, 전자 장치(201)는 적어도 하나의 시선 추적(eye-tracking) 센서를 포함할 수 있다. 예를 들어, 전자 장치(201)는 제1 시선 추적 센서(276-1) 및 제2 시선 추적 센서(276-2)를 포함할 수 있다. 제1 시선 추적 센서(276-1) 및 제2 시선 추적 센서(276-2)는, 예를 들어, 사용자의 눈에 대응하는 방향의 이미지를 획득하도록 설정된 카메라일 수 있다. 제1 시선 추적 센서(276-1) 및 제2 시선 추적 센서(276-2)는 사용자의 우안 이미지와 사용자의 좌안 이미지를 각각 획득하도록 설정될 수 있다. 전자 장치(201)는 제1 시선 추적 센서(276-1) 및 제2 시선 추적 센서(276-2)를 이용하여 사용자의 눈동자(pupil)를 검출하도록 설정될 수 있다. 전자 장치(201)는 사용자의 눈동자 이미지로부터 사용자의 시선을 획득하고, 획득된 시선에 기반하여 이미지를 제공할 수 있다. 예를 들어, 전자 장치(201)는 사용자의 시선 방향에 이미지가 위치되도록 이미지를 디스플레이할 수 있다. 일 예를 들어, 제1 시선 추적 센서(276-1) 및 제2 시선 추적 센서(276-2)는 동일한 규격 및 성능(예: 화각, 셔터 스피드, 해상도, 및/또는 컬러 비트 수 등)을 갖는 GS(global shutter) 카메라일 수 있다.
일 실시 예에 따르면, 전자 장치(201)는 적어도 하나의 조명 유닛(illumination unit)을 포함할 수 있다. 조명 유닛은, 예를 들어, 적어도 하나의 LED를 포함할 수 있다. 도 2에서, 전자 장치(201)는 제1 조명 유닛(281-1) 및 제2 조명 유닛(281-2)을 포함할 수 있다. 전자 장치(201)는, 예를 들어, 제1 조명 유닛(281-1) 및 제2 조명 유닛(281-2)을 이용하여 제1 카메라(280-1), 제2 카메라(280-2), 및/또는 제3 카메라(280-3)에 대한 보조 조명을 제공할 수 있다. 일 예에서, 전자 장치(201)는 조명 유닛(미도시)을 이용하여 동공 이미지 획득을 위한 조명을 제공할 수 있다. 예를 들어, 전자 장치(201)는 적외선 파장의 LED를 이용하여 시선 추적 센서에 대한 조명을 제공할 수 있다. 이 경우, 시선 추적 센서는 적외선 파장 이미지를 획득하기 위한 이미지 센서를 포함할 수 있다.
일 실시 예에 따르면, 전자 장치(201)는 적어도 하나의 PCB(printed circuit board)를 포함할 수 있다. 예를 들어, 전자 장치(201)는 제1 템플(temple, 298-1)에 위치된 제1 PCB(287-1) 및 제2 템플(298-2)에 위치된 제2 PCB(287-2)를 포함할 수 있다. 제1 PCB(287-1) 및/또는 제2 PCB(287-2)는 신호 선 및/또는 FPCB(flexible PCB)를 통하여 전자 장치(201)의 다른 구성 요소들과 전기적으로 연결될 수 있다. 예를 들어, 통신 회로, 메모리, 적어도 하나의 센서, 및/또는 프로세서는 제1 PCB(287-1) 및/또는 제2 PCB(287-2) 상에 배치될 수 있다. 예를 들어, 제1 PCB(287-1) 및 제2 PCB(287-2) 각각은 인터포저(interposer)에 의하여 이격된 복수의 PCB들로 구성될 수 있다.
일 실시 예에 따르면, 전자 장치(201)는 적어도 하나의 배터리를 포함할 수 있다. 예를 들어, 전자 장치(201)는 제1 템플(298-1)의 일단에 위치된 제1 배터리(289-1) 및 제2 템플(298-2)의 일단에 위치된 제2 배터리(289-2)를 포함할 수 있다. 제1 배터리(289-1) 및 제2 배터리(289-2)는 전자 장치(201)의 구성 요소들에 전력을 공급하도록 설정될 수 있다.
일 실시 예에 따르면, 전자 장치(201)는 적어도 하나의 스피커를 포함할 수 있다. 예를 들어, 전자 장치(201)는 제1 스피커(270-1) 및 제2 스피커(270-2)를 포함할 수 있다. 전자 장치(201)는 좌측 및 우측에 위치된 스피커들을 이용하여 스테레오 사운드를 제공하도록 설정될 수 있다.
일 실시 예에 따르면, 전자 장치(201)는 적어도 하나의 마이크를 포함할 수 있다. 예를 들어, 전자 장치(201)는 제1 마이크(271-1), 제2 마이크(271-2), 및/또는 제3 마이크(271-3)를 포함할 수 있다. 제1 마이크(271-1)는 프레임(297)의 우측에 위치되고, 제2 마이크(271-2)는 프레임(297)의 좌측에 위치되고, 제3 마이크(271-3)는 프레임(297)의 브릿지에 위치될 수 있다. 일 예시에서, 전자 장치(201)는 1 마이크(271-1), 제2 마이크(271-2), 및/또는 제3 마이크(271-3)를 이용하여 빔포밍(beamforming)을 수행할 수 있다.
일 실시 예에 따르면, 전자 장치(201)는 제1 템플(298-1), 제2 템플(298-2), 및 프레임(297)을 포함할 수 있다. 제1 템플(298-1), 제2 템플(298-2), 및 프레임(297)은 하우징으로 참조될 수 있다. 제1 템플(298-1)은 제1 힌지부(299-1)를 통하여 프레임(297)에 물리적으로 연결되고, 착용되었을 때, 프레임(297)을 지지할 수 있다. 제2 템플(298-2)은 제2 힌지부(299-2)를 통하여 프레임(297)에 물리적으로 연결되고, 착용되었을 때, 프레임(297)을 지지할 수 있다.
상술된 전자 장치(201)의 구성은 예시적인 것으로서, 본 문서의 실시 예들이 이에 제한되지 않는다. 예를 들어, 전자 장치(201)는 도 2와 관련하여 설명된 구성 요소의 적어도 일부를 포함하지 않거나, 설명된 구성 요소 외의 다른 구성 요소를 더 포함할 수 있다. 예를 들어, 전자 장치(201)는 적어도 하나의 센서(예: 가속도 센서, 자이로 센서, 및/또는 터치 센서 등) 및/또는 안테나를 포함할 수 있다.
도 3는, 일 실시 예에 따른, 투명 부재를 통한 시선 추적 및 디스플레이 방법의 개략도이다.
도 3을 참조하여, 디스플레이(361)(예: 도 2의 제1 디스플레이(261-1) 또는 제2 디스플레이(261-2))는 투명 부재(396)(예: 도 2의 제1 투명 부재(296-1) 또는 제2 투명 부재(296-2))를 통해 이미지를 제공할 수 있다. 일 실시 예에 따르면, 디스플레이(361)는 렌즈(351)를 통하여 입력 광학 부재(362)(예: 도 2의 제1 입력 광학 부재(262-1) 또는 제2 입력 광학 부재(262-2))에 이미지에 대응하는 광을 입력시킬 수 있다. 입력 광학 부재(362)는 입사된 광을 반사 또는 회절하여 광도파로(360)로 입력할 수 있다. 출력 광학 부재(364)는 광도파로(360)를 통하여 전달된 빛을 사용자의 눈(399) 방향으로 출력시킬 수 있다. 일 예에서, 렌즈(351)는 디스플레이(361)에 포함될 수 있다. 일 예시에서, 렌즈(351)의 위치는 투명 부재(396)와 사용자의 눈(399) 사이의 거리에 기반하여 결정될 수 있다.
시선 추적 센서(371)(예: 도 2의 제1 시선 추적 센서(276-1) 또는 제2 시선 추적 센서(276-2))는 사용자의 눈(399)의 적어도 일부에 대응하는 이미지를 획득할 수 있다. 예를 들어, 사용자의 눈(399)의 이미지에 대응하는 광은 제1 스플리터(splitter, 381)를 통하여 반사 및/또는 회절되어 광도파로(382)로 입력될 수 있다. 광도파로(382)를 통하여 제2 스플리터(383)에 전달된 광은, 제2 스플리터(383)에 의하여 반사 및/또는 회절되어 시선 추적 센서(371) 방향으로 출력될 수 있다.
도 4는 일 실시 예에 따른, 전자 장치의 블록도이다.
도 4를 참조하면, 전자 장치(401)(예: 도 1의 전자 장치(101), 또는 도 2의 전자 장치(201))는 프로세서(420)(예: 도 1의 프로세서(120)), 디스플레이(460)(예: 도 1의 디스플레이 모듈(160), 도 2의 제1 디스플레이(261-1), 제2 디스플레이(261-2), 또는 도 3의 디스플레이(361)), 제1 카메라(480)(예: 도 1의 카메라 모듈(180), 도 2의 제1 카메라(280-1), 도 2의 제2 카메라(280-2), 또는 도 2의 제3 카메라(280-3)), 제2 카메라(490)(예: 도 1의 카메라 모듈(180), 도 2의 제1 시선 추적 센서(276-1), 도 2의 제2 시선 추적 센서(276-2), 또는 도 3의 시선 추적 센서(371)), 또는 메모리(430)(예: 도 1의 메모리(130)) 중 적어도 하나를 포함할 수 있다. 전자 장치(401)의 구성 요소들 중 적어도 일부는 전자 장치(401)의 하우징 내부에 위치하거나, 하우징의 외부로 노출될 수 있다.
전자 장치(401)는 HMD(head mounted display) 장치, 웨어러블 장치, 스마트 글래스(smart glasses), 또는 아이웨어(eyewear)로 참조될 수 있다. 예를 들어, 전자 장치(401)는 AR(augmented reality) 또는 VR(virtual reality)을 제공하도록 설정된 임의의 전자 장치일 수 있다.
일 실시 예에 따르면, 제1 카메라(480)는, 전자 장치(401)를 착용한 사용자의 시선 방향의 이미지, 및/또는 사용자 전방의 이미지를 획득하도록 설정될 수 있다. 예를 들어, 제1 카메라(480)는, 차량 내부, 차량 디스플레이, HUD 이미지, 및/또는 차량 전방의 이미지를 획득할 수 있다. 차량 디스플레이는, 예를 들어, 차량의 전면 유리의 전부, 차량의 전면 유리의 일부, 차량의 사이드 미러의 전부, 또는 차량의 사이드 미러의 일부를 포함할 수 있다.
일 실시 예에 따르면, 제1 카메라(480)는 차량 내부 이미지를 획득할 수 있다. 제1 카메라(480)는 차량 디스플레이에 표시된 HUD 이미지를 획득할 수 있다.
일 실시 예에 따르면, 제1 카메라(480)는 차량 전방의 객체에 대응하는 이미지(예: 객체 이미지)를 획득할 수 있다. 객체는 사람, 동물, 움직이는 사물, 정지된 사물, 교통 시설물, 또는 교통 신호와 같은 차량의 전방 유리를 통해 전자 장치(401)의 사용자(예: 차량 운전자)가 인식할 수 있는 대상(object) 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 제2 카메라(490)는, 사용자의 눈에 대응하는 방향(예: 눈동자 방향)의 이미지를 획득하도록 설정될 수 있다. 제2 카메라(490)는 사용자의 눈동자(pupil)를 검출하도록 설정될 수 있다. 제2 카메라(490)는 사용자의 눈동자 이미지로부터 사용자의 시선을 획득하고, 획득된 시선에 기반하여 이미지를 제공할 수 있다.
일 실시 예에 따르면, 메모리(430)는, 차량에 대한 정보(예: 인증 내역, 또는 무선 통신 연결 내역)를 저장할 수 있다.
일 실시 예에 따르면, 메모리(430)는 임계치에 대한 정보를 저장할 수 있다. 임계치는, 예를 들어, 시스템 상 기 설정된 값, 또는 사용자가 설정한 값에 대응할 수 있다. 임계치는, 전자 장치가 사용자의 시선이 객체를 향하는지 판단하는데 있어서, 사용자의 시선과 객체가 중첩된 정도와 비교될 수 있다. 예를 들어, 중첩된 정도가 임계치 이상인 경우, 전자 장치는 사용자의 시선이 객체를 향한다고 판단할 수 있다. 다른 예로, 중첩된 정도가 임계치 미만인 경우, 전자 장치는 사용자의 시선이 객체를 향하지 않는다고 판단할 수 있다.
일 실시 예에 따르면, 메모리(430)는 장애물에 대한 이미지를 저장할 수 있다. 장애물에 대한 이미지는, 제1 카메라(480)를 통해 획득된 차량 전방의 객체에 대한 이미지와의 비교에 기반하여, 차량 전방의 객체가 장애물인지 식별하는 데에 사용될 수 있다.
일 실시 예에 따르면, 디스플레이(460)는, 제1 컨텐츠 및/또는 제2 컨텐츠를 표시할 수 있다. 제1 컨텐츠는, 전자 장치(401)에 디스플레이 되는 또는 디스플레이 될 미디어 컨텐츠를 의미할 수 있다. 예를 들어, 제1 컨텐츠는 네비게이션 정보, 차량의 속도, 차량의 상태, 및/또는 미디어 컨텐츠 재생 정보와 같은 전자 장치(401)에서 디스플레이 될 수 있는 일체의 미디어 컨텐츠를 의미할 수 있다. 제2 컨텐츠는, 제1 컨텐츠에 대응하는 내용이 제1 컨텐츠보다 상대적으로 간략하게 표시되는 미디어 컨텐츠를 의미할 수 있다. 예를 들어, 제2 컨텐츠는 제1 컨텐츠에 대응하는 내용이 제1 컨텐츠보다 간략하게 표시되는 이미지, 아이콘, 및/또는 텍스트일 수 있다.
일 실시 예에 따르면, 디스플레이(460)는 지정된 색상, 지정된 아이콘, 및/또는 지정된 텍스트로 장애물에 대한 경고 알림을 표시할 수 있다.
일 실시 예에 따르면, 프로세서(420)는 제1 카메라(480), 제2 카메라(490), 메모리(430), 및 디스플레이(460)와 작동적으로 및/또는 전기적으로 연결될 수 있다.
일 실시 예에 따르면, 프로세서(420)는, 차량으로부터 수신한 탑승 감지 데이터에 기반하여 사용자의 차량 탑승을 감지할 수 있다. 탑승 감지 데이터는, 예를 들어, 차량의 시동 상태, 차량의 주행 상태, 또는 차량 도어(door) 잠김 여부를 포함하는, 사용자의 차량 탑승과 관련된 일체의 정보를 포함할 수 있다.
일 실시 예에 따르면, 프로세서(420)는 제1 카메라(480)를 통해 전자 장치(401)를 착용한 사용자의 시선 방향의 이미지, 및/또는 사용자 전방의 이미지를 획득할 수 있다. 예를 들어, 프로세서(420)는 제1 카메라(480)를 통해, 차량 내부, 차량 디스플레이, HUD 이미지, 및/또는 차량 전방의 이미지를 획득할 수 있다.
일 실시 예에 따르면, 프로세서(420)는 제1 카메라(480)를 통해, 차량 전방의 장애물에 대한 이미지를 획득할 수 있다. 용어 "장애물"은 이하에서 별도로 정의되지 않으면 '차량 전방의 장애물'을 의미할 수 있다.
일 실시 예에 따르면, 프로세서(420)는 제1 카메라(480)를 통해 획득한 차량 전방의 객체에 대한 이미지에 기반하여, 차량 전방의 객체가 장애물인지 식별할 수 있다. 예를 들어, 프로세서(420)는 차량 전방의 객체에 대한 이미지와 전자 장치(401)의 메모리(430)에 저장된 장애물에 대한 이미지를 비교하여, 차량 전방의 객체가 장애물인지 식별할 수 있다. 다른 예로 프로세서(420)는 차량 전방의 객체에 대한 이미지를 서버에 전송하고, 서버로부터 서버가 차량 전방의 객체에 대한 이미지와 서버에 저장된 장애물에 대한 이미지를 비교한 결과를 수신하여 차량 전방의 객체가 장애물인지 식별할 수 있다.
일 실시 예에 따르면, 프로세서(420)는 제1 카메라(480)를 통해 차량 내부 이미지를 식별하여, 사용자의 차량 탑승을 감지할 수 있다. 프로세서(420)는 자이로 센서, 및/또는 GPS 센서를 통해 감지한 전자 장치(401)의 움직임에 기반하여, 사용자의 차량 탑승을 감지할 수 있다. 프로세서(420)는 제1 카메라(480)를 통해 HUD 이미지를 식별하여, 사용자의 차량 탑승을 감지할 수 있다. 다양한 실시 예에 따른 차량 탑승 감지 방법은 제한이 없음을 당업자는 용이하게 이해할 것이다.
일 실시 예에 따르면, 프로세서(420)는 지정된 이벤트가 감지되는 경우, 디스플레이(460)에 표시된 제1 컨텐츠를 제2 컨텐츠로 전환하여 표시할 수 있다. 예를 들어, 지정된 이벤트가 감지되는 경우는, 프로세서(420)가 사용자의 차량 탑승을 감지한 경우, 프로세서(420)가 사용자의 차량 주행을 감지한 경우, 또는 프로세서(420)가 HUD 이미지를 식별한 경우 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 프로세서(420)는, 제1 카메라(480)를 통해 식별한 객체에 대응하는 객체 영역을 식별할 수 있다. 예를 들어, 프로세서(420)는 제1 카메라(480)를 통해 식별한 HUD 이미지에 기반하여, HUD 이미지에 대응하는 HUD 이미지 영역을 식별할 수 있다. 다른 예로, 프로세서(420)는 제1 카메라(480)를 통해 식별한 장애물에 기반하여, 장애물에 대응하는 장애물 영역을 식별할 수 있다.
일 실시 예에 따르면, 객체 영역, HUD 이미지 영역, 및/또는 장애물 영역은 좌표 평면에 위치할 수 있다. 좌표 평면은 전자 장치의 디스플레이 상에 위치하거나, 차량 디스플레이 상에 위치하거나, 또는 전자 장치의 디스플레이와 차량 디스플레이 사이의 공간에 위치할 수 있다. 예를 들어, 좌표 평면은 물리적 좌표 평면, 논리적 좌표 평면(예: 가상 좌표 평면)을 포함할 수 있다.
일 실시 예에 따르면, 객체 영역은 객체에 대응하는 좌표 평면 상의 좌표들의 집합에 대응할 수 있다. 일 실시 예에 따르면, HUD 이미지 영역은 HUD 이미지에 대응하는 좌표 평면 상의 좌표들의 집합에 대응할 수 있다. 일 실시 예에 따르면, 장애물 영역은 장애물에 대응하는 좌표 평면 상의 좌표들의 집합(예컨대, 두 개 이상의 좌표 값의 집합)에 대응할 수 있다. 일 실시 예에 따르면, 프로세서(420)는, 다른 전자 장치로부터 수신한 객체와 관련된 데이터에 기반하여, 객체에 대응하는 객체 영역을 식별할 수 있다. 객체와 관련된 데이터에는, 객체에 대한 미디어 데이터가 포함될 수 있다. 예를 들어, 객체와 관련된 데이터에는, 객체에 대한 이미지, 또는 객체에 대한 동영상이 포함될 수 있다.
일 실시 예에 따르면, 프로세서(420)는 차량으로부터 수신한 감지 데이터에 기반하여 객체를 식별할 수 있다. 감지 데이터는, 차량에 포함된 적어도 하나의 센서, 및/또는 적어도 하나의 카메라를 이용하여, 차량이 감지한 객체에 대한 정보를 포함할 수 있다.
일 실시 예에 따르면, 프로세서(420)는 제2 카메라(490)를 통해 식별한 사용자의 눈에 대응하는 방향(예: 눈동자 방향)에 대한 시선 영역을 식별할 수 있다. 시선 영역은 좌표 평면에 위치할 수 있다. 시선 영역은 사용자의 시선에 대응하는 좌표 평면 상의 좌표들의 집합에 대응할 수 있다.
일 실시 예에 따르면, 프로세서(420)는 객체 영역 및 시선 영역이 중첩된 정도에 기반하여, 사용자의 시선이 객체를 향하는지 판단할 수 있다. 프로세서(420)는 객체 영역과 시선 영역이 중첩된 영역의 넓이를, 객체 영역의 넓이로 나눈 값에 기반하여, 중첩된 정도를 산출할 수 있다.
프로세서(420)는 중첩된 정도와 임계치의 상관관계에 기반하여, 사용자의 시선이 객체를 향하는지 판단할 수 있다. 예를 들어, 중첩된 정도가 임계치 이상인 경우, 프로세서(420)는 사용자의 시선이 객체를 향한다고 판단할 수 있다. 다른 예로, 중첩된 정도가 임계치 미만인 경우, 프로세서(420)는 사용자의 시선이 객체를 향하지 않는다고 판단할 수 있다.
일 실시 예에 따르면, 프로세서(420)는 사용자의 시선이 HUD 이미지를 향한다고 판단한 경우, 차량에 제1 제어 신호를 전송하거나, 사용자에게 장애물에 대한 경고 알림을 제공하거나, 또는 전자 장치(401)의 디스플레이(460)의 밝기를 제어할 수 있다.
예를 들어, 프로세서(420)가 적어도 하나의 센서 및/또는 적어도 하나의 카메라를 통해 차량 전방의 객체를 감지하는 경우, 프로세서(420)는 차량에 제1 제어 신호를 전송하거나, 또는 사용자에게 경고 알림을 제공할 수 있다. 제1 제어 신호는, 차량이 HUD 이미지에 장애물에 대한 경고 알림을 표시하도록 하는 내용을 포함할 수 있다.
다른 예로, 프로세서(420)가 차량으로부터 감지 데이터를 수신하는 경우, 프로세서(420)는 전자 장치(401)의 디스플레이(460)의 밝기를 제어할 수 있다. 예를 들어, 프로세서(420)는 디스플레이(460)에 표시되는 미디어 컨텐츠의 밝기를 제어하여 디스플레이(460)의 투명도를 증가시킬 수 있다. 프로세서(420)는 디스플레이(460)의 투명도를 증가시킴으로써, 사용자의 시야 및 사용자의 운전 환경을 개선하고, 사용자가 사용자 전방의 객체(예: HUD 이미지)를 용이하게 식별하도록 할 수 있다.
일 실시 예에 따르면, 프로세서(420)는 사용자의 시선이 HUD 이미지를 향하지 않는다고 판단한 경우, 사용자의 시선이 장애물로 향하는지 판단할 수 있다. 프로세서(420)는 장애물 영역 및 시선 영역이 중첩된 정도에 기반하여, 사용자의 시선이 장애물을 향하는지 판단할 수 있다.
일 실시 예에 따르면, 프로세서(420)는 사용자의 시선이 차량 전방의 장애물을 향한다고 판단한 경우, 전자 장치(401)의 디스플레이(460)의 밝기를 제어할 수 있다.
예를 들어, 프로세서(420)가 적어도 하나의 센서 및/또는 적어도 하나의 카메라를 통해 차량 전방의 객체를 감지하는 경우, 또는 프로세서(420)가 차량으로부터 감지 데이터를 수신하는 경우, 프로세서(420)는 디스플레이(460)의 밝기를 제어할 수 있다. 예를 들어, 프로세서(420)는 디스플레이(460)에 표시되는 미디어 컨텐츠의 밝기를 제어하여 디스플레이(460)의 투명도를 증가시킬 수 있다. 프로세서(420)는 디스플레이(460)의 투명도를 증가시킴으로써, 사용자의 시야 및 사용자의 운전 환경을 개선하고, 사용자가 사용자 전방의 객체(예: 장애물)를 용이하게 식별하도록 할 수 있다. 예를 들어, 프로세서(420)는 디스플레이(460)의 전원을 오프하거나 또는 디스플레이(460)의 명암 대비 값을 제어할 수 있다.
일 실시 예에 따르면, 프로세서(420)는 사용자의 시선이 장애물을 향하지 않는다고 판단한 경우, 차량에 제2 제어 신호를 전송하거나, 차량에 제3 제어 신호를 전송하거나, 또는 사용자에게 장애물에 대한 경고 알림을 제공할 수 있다.
예를 들어, 프로세서(420)가 적어도 하나의 센서 및/또는 적어도 하나의 카메라를 통해 차량 전방의 객체를 감지하는 경우, 프로세서(420)는 차량에 제2 제어 신호를 전송하거나, 또는 사용자에게 경고 알림을 제공할 수 있다. 제2 제어 신호는, 차량이 차량 디스플레이 상의 사용자의 시선에 대응하는 위치로 HUD 이미지를 이동하고, 및 상기 HUD 이미지에 장애물에 대한 경고 알림을 표시하도록 하는 내용을 포함할 수 있다.
다른 예로, 프로세서(420)가 차량으로부터 감지 데이터를 수신하는 경우, 프로세서(420)는 차량에 제3 제어 신호를 전송하거나, 또는 사용자에게 경고 알림을 제공할 수 있다. 제3 제어 신호는, 차량이 장애물에 대한 경고 알림을 표시하는 HUD 이미지를, 차량 디스플레이 상의 사용자의 시선에 대응하는 위치로 이동하도록 하는 내용을 포함할 수 있다.
일 실시 예에 따르면, 프로세서(420)는, 전자 장치(401)와 연결된 복수의 외부 전자 장치들(예: 출력 후보 장치) 중 사용자에게 경고 알림을 제공할 외부 전자 장치(예: 출력 장치)를 결정할 수 있다.
일 실시 예에 따르면, 프로세서(420)는 출력 후보 장치로부터, 출력 후보 장치의 동작 상태에 대한 상태 데이터를 수신할 수 있다. 프로세서(420)는 출력 후보 장치로부터 수신한 상태 데이터에 기반하여, 출력 장치를 결정할 수 있다. 예를 들어, 상태 데이터는 출력 후보 장치의 전원 상태, 출력 후보 장치의 배터리 상태, 및/또는 전자 장치(401)와 출력 후보 장치의 통신 연결 상태 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 프로세서(420)는, 알림 요청 신호를 외부 전자 장치로 전송할 수 있다. 알림 요청 신호는 외부 전자 장치가 출력 후보 장치들 중 출력 장치를 결정하도록 하는 내용을 포함할 수 있다. 외부 전자 장치는, 예를 들어, 서버, 중간 서버, 클라우드, 또는 마스터 기기(예: 사용자의 휴대 전화, 또는 다른 사용자(예: 차량 동승자)의 휴대 전화) 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 프로세서(420)는 인터페이스의 동작 가능 여부를 모니터링 할 수 있다. 인터페이스는 예를 들어, 디스플레이, 오디오, 비디오, 이미지, 및/또는 햅틱을 포함하는, 사용자에게 경고 알림을 제공할 수 있는 일체의 수단 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 프로세서(420)는 사용자에게 경고 알림을 제공할 인터페이스를 결정할 수 있다. 프로세서(420)는 결정한 인터페이스를 통해, 사용자에게 경고 알림을 제공할 수 있다.
일 실시 예에 따르면, 도 4에는 도시하지 않았으나, 전자 장치(401)는 통신 모듈(예: 도 1의 통신 모듈(190))을 포함할 수 있다. 통신 모듈은 전자 장치(401)와 차량의 유선 통신 연결 및/또는 무선 통신 연결을 지원할 수 있다. 예를 들어, 통신 모듈은 블루투스 또는 와이파이를 이용하여 전자 장치(401)와 차량을 무선 통신 연결할 수 있다. 통신 모듈은 전자 장치(401)와 차량 사이의 통신 연결(예: 무선 통신 연결 또는 유선 통신 연결)을 지원함으로써, 전자 장치(401)와 차량 사이의 데이터 송수신을 지원할 수 있다.
일 실시 예에 따르면, 통신 모듈은 차량으로부터 탑승 감지 데이터를 수신할 수 있다. 예를 들어, 탑승 감지 데이터는 차량의 시동 상태, 차량의 주행 상태, 또는 차량 도어(door) 잠김 여부를 포함하는, 사용자의 차량 탑승과 관련된 일체의 정보를 포함할 수 있다. 일 실시 예에 따르면, 통신 모듈은 인증 및/또는 허가 신호를, 차량에 송신하거나 또는 차량으로부터 수신할 수 있다.
일 실시 예에 따르면, 통신 모듈은 다른 전자 장치(예: 다른 사용자의 전자 장치)로부터 객체와 관련된 데이터를 수신할 수 있다. 예를 들어, 다른 사용자의 전자 장치는 휴대 전화, AR(augmented reality) 전자 장치, VR(virtual reality) 전자 장치, MR(mixed reality) 전자 장치, 웨어러블(wearable) 전자 장치, 히어러블(hearable) 전자 장치, 또는 링형(ring-shaped) 전자 장치 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 통신 모듈은 다른 전자 장치로부터 객체와 관련된 데이터(예: 객체에 대한 이미지, 객체에 대응하는 좌표 평면 상의 좌표들, 및/또는 객체에 대한 동영상)를 수신할 수 있다. 예를 들어, 통신 모듈은 객체와 관련된 데이터를 다른 전자 장치로부터 직접 수신할 수 있다. 다른 예로, 통신 모듈은 중간 전자 장치(예: 휴대전화 또는 서버)를 경유하여 다른 전자 장치로부터 객체와 관련된 데이터를 수신할 수 있다.
일 실시 예에 따르면, 사용자의 시선이 HUD 이미지를 향하는 경우, 통신 모듈은 차량에 제1 제어 신호를 전송할 수 있다. 예를 들어, 제1 제어 신호는, 차량이 HUD 이미지에, 장애물에 대한 경고 알림을 표시하도록 하는 내용을 포함할 수 있다.
일 실시 예에 따르면, 전자 장치(401)는 전자 장치(401)와 연결된 복수의 외부 전자 장치들(예: 출력 후보 장치) 중 사용자에게 경고 알림을 제공할 전자 장치(예: 출력 장치)를 결정할 수 있다. 통신 모듈은 출력 후보 장치로부터 출력 후보 장치의 동작 상태에 대한 상태 데이터를 수신할 수 있다. 예를 들어, 상태 데이터는 출력 후보 장치의 전원 상태, 출력 후보 장치의 배터리 상태, 및/또는 전자 장치(401)와 출력 후보 장치의 통신 연결 상태 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 전자 장치(401)는 전자 장치(401)와 연결된 외부 전자 장치가 출력 후보 장치들 중 출력 장치를 결정하도록 할 수 있다. 통신 모듈은 외부 전자 장치가 출력 후보 장치들 중 출력 장치를 결정하도록 하는 알림 요청 신호를 외부 전자 장치로 전송할 수 있다. 외부 전자 장치는, 예를 들어, 서버, 중간 서버, 클라우드, 또는 마스터 기기(예: 사용자의 휴대 전화, 또는 다른 사용자(예: 차량 동승자)의 휴대 전화) 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 전자 장치(401)가 직접 장애물을 감지하고 사용자의 시선이 장애물로 향하지 않는 경우, 통신 모듈은 차량에 제어 신호(예: 제2 제어 신호 또는 제3 제어 신호)를 전송할 수 있다. 예를 들어, 제어 신호는, 차량이 차량 디스플레이 상의 사용자의 시선에 대응하는 위치로 HUD 이미지를 이동하고, 및 상기 HUD 이미지에 장애물에 대한 경고 알림을 표시하도록 하는 내용을 포함할 수 있다.
도 5는 일 실시 예에 따른, 전자 장치의 동작을 설명하는 흐름도이다.
도 5를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 2의 전자 장치(201), 또는 도 4의 전자 장치(401))가 적어도 하나의 센서 및/또는 적어도 하나의 카메라를 통해 차량 전방의 객체를 감지하는 경우, 전자 장치의 동작을 설명할 수 있다. 객체는 사람, 동물, 움직이는 사물, 정지된 사물, 교통 시설물, 또는 교통 신호와 같은 차량의 전방 유리를 통해 전자 장치의 사용자(예: 차량 운전자)가 인식할 수 있는 대상 중 적어도 하나를 포함할 수 있다. 도 5에 포함된 동작들은 전자 장치(101)의 프로세서(예: 도 1의 프로세서(120), 도 4의 프로세서(420))에서 수행될 수 있다.
전자 장치는, 동작 500에서, 사용자의 차량 탑승을 감지할 수 있다.
일 실시 예에 따르면, 전자 장치는 차량과 무선 통신을 통해 연결되어 사용자의 차량 탑승을 감지할 수 있다. 예를 들어, 전자 장치는 차량과 블루투스, 또는 와이파이와 같은 무선 통신 기술을 통해 연결될 수 있다.
일 실시 예에 따르면, 전자 장치가 차량과 무선 통신을 통해 연결된 경우, 전자 장치는 차량으로부터 탑승 감지 데이터를 수신하여, 사용자의 차량 탑승을 감지할 수 있다. 예를 들어, 탑승 감지 데이터는 차량의 시동 상태, 차량의 주행 상태, 또는 차량 도어(door) 잠김 여부를 포함하는, 사용자의 차량 탑승과 관련된 일체의 정보를 포함할 수 있다.
일 실시 예에 따르면, 전자 장치는 전자 장치에 포함된 적어도 하나의 카메라, 및/또는 적어도 하나의 센서에 기반하여 사용자의 차량 탑승을 감지할 수 있다. 예를 들어, 전자 장치는 적어도 하나의 카메라를 통해 차량 내부 이미지를 식별하여, 사용자의 차량 탑승을 감지할 수 있다. 다른 예로, 전자 장치는 자이로 센서, 및/또는 GPS 센서를 통해 전자 장치의 움직임을 감지함으로써, 사용자의 차량 탑승을 감지할 수 있다. 또 다른 예로, 전자 장치는 차량 디스플레이에 표시된 HUD 이미지를 식별함으로써, 사용자의 차량 탑승을 감지할 수 있다.
일 실시 예에 따르면, 사용자가 차량에 최초로 탑승한 경우, 전자 장치는 인증, 및/또는 허가 신호를 차량과 송수신하여, 차량에 대한 정보(예: 인증 내역, 또는 무선 통신 연결 내역)를 전자 장치의 메모리(예: 도 4의 메모리(430))에 저장할 수 있다.
일 실시 예에 따르면, 사용자가 차량에 최초로 탑승하지 않은 경우, 메모리에 저장된 차량에 대한 정보에 기반하여, 전자 장치는 차량에 대한 인증, 및/또는 허가 신호를 차량과 송수신하는 동작을 생략할 수 있다. 이 경우, 전자 장치는 차량과 자동으로 무선 연결(예: 페어링(pairing))될 수 있다.
전자 장치는, 동작 505에서, 전자 장치의 디스플레이(예: 도 4의 디스플레이(460))에 표시된 제1 컨텐츠 또는 디스플레이에 표시될 제1 컨텐츠를 제2 컨텐츠로 전환할 수 있다.
일 실시 예에 따르면, 제1 컨텐츠는, 전자 장치에 디스플레이 되는 미디어 컨텐츠를 의미할 수 있다. 예를 들어, 제1 컨텐츠는 네비게이션 정보, 차량의 속도, 차량의 상태, 및/또는 미디어 컨텐츠 재생 정보와 같은 전자 장치에서 디스플레이 될 수 있는 일체의 미디어 컨텐츠를 의미할 수 있다.
일 실시 예에 따르면, 제2 컨텐츠는, 제1 컨텐츠에 대응하는 내용이 제1 컨텐츠보다 상대적으로 간략하게 표시되는 미디어 컨텐츠를 의미할 수 있다. 예를 들어, 제2 컨텐츠는 제1 컨텐츠에 대응하는 내용이 제1 컨텐츠보다 간략하게 표시되는 이미지, 아이콘, 및/또는 텍스트일 수 있다.
일 실시 예에 따르면, 전자 장치는 지정된 이벤트가 감지되는 경우, 제1 컨텐츠를 제2 컨텐츠로 전환할 수 있다. 예를 들어, 지정된 이벤트가 감지되는 경우는, 전자 장치가 사용자의 차량 탑승을 감지한 경우, 전자 장치가 사용자의 차량 주행을 감지한 경우, 또는 전자 장치가 HUD 이미지를 식별한 경우 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 전자 장치는 적어도 하나의 카메라, 및/또는 적어도 하나의 센서를 통해 상기 지정된 이벤트 식별할 수 있다. 일 실시 예에 따르면, 전자 장치는 차량으로부터 탑승 감지 데이터(예: 동작 500의 탑승 감지 데이터)를 수신하여, 상기 지정된 이벤트를 식별할 수 있다.
전자 장치는, 디스플레이에 표시된 제1 컨텐츠를 제2 컨텐츠로 전환함으로써, 사용자의 시야, 및 운전 환경을 개선할 수 있다.
전자 장치는, 동작 510에서, 제1 카메라(예: 도 4의 제1 카메라(480))를 통해 객체를 식별하고, 및 제2 카메라(예: 도 4의 제2 카메라(490))를 통해 사용자의 눈에 대응하는 방향(예: 눈동자 방향)을 식별할 수 있다. 객체는 사람, 동물, 움직이는 사물, 정지된 사물, 교통 시설물, 또는 교통 신호와 같은 차량의 전방 유리를 통해 전자 장치의 사용자가 인식할 수 있는 대상 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 전자 장치는 제1 카메라를 통해 식별한 객체에 대한 객체 영역을 식별할 수 있다. 일 실시 예에 따르면, 전자 장치는 제2 카메라를 통해 식별한 사용자의 시선에 대한 시선 영역을 식별할 수 있다. 사용자의 시선은, 사용자의 눈에 대응하는 방향(예: 눈동자 방향)을 포함할 수 있다.
일 실시 예에 따르면, 객체 영역 및 시선 영역은 좌표 평면에 위치할 수 있다. 좌표 평면은 전자 장치의 디스플레이 상에 위치하거나, 차량 디스플레이 상에 위치하거나, 또는 전자 장치의 디스플레이와 차량 디스플레이 사이의 공간에 위치할 수 있다. 차량 디스플레이는, 예를 들어, 차량의 전면 유리의 전부, 차량의 전면 유리의 일부, 차량의 사이드 미러의 전부, 또는 차량의 사이드 미러의 일부를 포함할 수 있다.
일 실시 예에 따르면, 객체 영역은 객체에 대응하는 좌표 평면 상의 좌표들의 집합에 대응할 수 있다. 일 실시 예에 따르면, 시선 영역은 사용자의 시선에 대응하는 좌표 평면 상의 좌표들의 집합에 대응할 수 있다.
일 실시 예에 따르면, 전자 장치는 제1 카메라를 통해 객체를 식별하는 것 대신, 다른 전자 장치(예: 다른 사용자(예: 차량 동승자)의 전자 장치)로부터 객체와 관련된 데이터를 수신할 수 있다.
일 실시 예에 따르면, 다른 사용자의 전자 장치는 휴대 전화, AR(augmented reality) 전자 장치, VR(virtual reality) 전자 장치, MR(mixed reality) 전자 장치, 웨어러블(wearable) 전자 장치, 히어러블(hearable) 전자 장치, 또는 링형(ring-shaped) 전자 장치 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 전자 장치는 다른 전자 장치로부터 수신한 객체와 관련된 데이터를 통해 객체 영역을 식별할 수 있다. 예를 들어, 객체와 관련된 데이터에는, 객체에 대한 이미지, 객체에 대응하는 좌표 평면 상의 좌표들, 또는 객체에 대한 동영상이 포함될 수 있다.
다른 전자 장치는 적어도 하나의 센서, 및/또는 적어도 하나의 카메라를 통해 객체를 식별하여 객체와 관련된 데이터를 생성하고, 및 객체와 관련된 데이터를 전자 장치에 전송할 수 있다. 전자 장치는 다른 전자 장치로부터, 객체와 관련된 데이터를 직접 수신하거나, 또는 중간 전자 장치(예: 휴대전화, 또는 서버)를 경유하여(via) 다른 전자 장치로부터 객체와 관련된 데이터를 수신할 수 있다.
전자 장치는, 동작 515에서, 차량 전방에 장애물 출현 시, 사용자의 시선이 HUD 이미지를 향하는지 판단할 수 있다.
일 실시 예에 따르면, 전자 장치는 제1 카메라를 통해 객체(예: 동작 510의 객체)를 식별할 수 있다.
일 실시 예에 따르면, 전자 장치는 제1 카메라를 통해, 차량 전방의 장애물에 대한 이미지를 획득할 수 있다.
일 실시 예에 따르면, 전자 장치는 제1 카메라를 통해 획득한 차량 전방의 객체에 대한 이미지에 기반하여, 차량 전방의 객체가 장애물인지 식별할 수 있다. 예를 들어, 전자 장치는 차량 전방의 객체에 대한 이미지와 전자 장치의 메모리에 저장된 장애물에 대한 이미지를 비교하여, 차량 전방의 객체가 장애물인지 식별할 수 있다. 다른 예로, 전자 장치는 차량 전방의 객체에 대한 이미지를 서버에 전송하고, 서버로부터 서버가 차량 전방의 객체에 대한 이미지와 서버에 저장된 장애물에 대한 이미지를 비교한 결과를 수신하여 차량 전방의 객체가 장애물인지 식별할 수 있다.
일 실시 예에 따르면, 전자 장치는 동작 510의 객체 영역(예: HUD 이미지 영역), 및 동작 510의 시선 영역이 중첩된 정도에 기반하여, 사용자의 시선이 객체(예: HUD 이미지)를 향하는지 판단할 수 있다. 예를 들어, 전자 장치는 객체 영역과 시선 영역이 중첩된 영역의 넓이를, 객체 영역의 넓이로 나눈 값에 기반하여, 중첩된 정도를 산출할 수 있다.
전자 장치는 중첩된 정도와 임계치의 상관관계에 기반하여, 사용자의 시선이 객체를 향하는지 판단할 수 있다. 예를 들어, 중첩된 정도가 임계치 이상인 경우, 전자 장치는 사용자의 시선이 객체를 향한다고 판단할 수 있다. 다른 예로, 중첩된 정도가 임계치 미만인 경우, 전자 장치는 사용자의 시선이 객체를 향하지 않는다고 판단할 수 있다.
일 실시 예에 따르면, 임계치는 시스템 상 기 설정된 값, 또는 사용자가 설정한 값에 대응할 수 있다. 전자 장치는 사용자의 전자 장치에 대한 사용 데이터에 기반하여 임계치를 수정할 수 있다.
사용자의 시선이 HUD 이미지를 향하는 경우(동작 515 - Y), 전자 장치는 동작 520을 수행할 수 있다. 전자 장치는, 동작 520에서 차량에 제1 제어 신호를 전송하거나, 또는 사용자에게 장애물에 대한 경고 알림을 제공할 수 있다.
일 실시 예에 따르면, 제1 제어 신호는, 차량이 HUD 이미지에, 장애물에 대한 경고 알림을 표시하도록 하는 내용을 포함할 수 있다. 예를 들어, 차량이 전자 장치로부터 제1 제어 신호를 수신하면, 차량은 HUD 이미지에 장애물에 대한 경고 알림을 표시할 수 있다.
전자 장치는, 사용자가 HUD 이미지를 보고 있는 경우, 차량이 HUD 이미지에 장애물에 대한 경고 알림을 표시하게 함으로써, 사용자가 시선을 이동하지 않고 신속하게 장애물을 인식하도록 할 수 있다.
일 실시 예에 따르면, 전자 장치는, 지정된 색상, 지정된 아이콘, 및/또는 지정된 텍스트로 경고 알림을 표시할 수 있다.
일 실시 예에 따르면, 전자 장치는 전자 장치와 연결된 복수의 외부 전자 장치들 중 사용자에게 경고 알림을 제공할 전자 장치를 결정할 수 있다. 사용자에게 경고 알림을 제공하는 외부 전자 장치는 이하에서 "출력 장치"로 참조된다. 전자 장치에 의해 출력 장치로 결정될 수 있는 복수의 외부 전자 장치들은 이하에서 "출력 후보 장치"로 참조된다.
전자 장치는 출력 후보 장치로부터, 출력 후보 장치의 동작 상태에 대한 상태 데이터를 수신할 수 있다. 전자 장치는 출력 후보 장치로부터 수신한 상태 데이터에 기반하여, 출력 장치를 결정할 수 있다. 예를 들어, 상태 데이터는 출력 후보 장치의 전원 상태, 출력 후보 장치의 배터리 상태, 및/또는 전자 장치와 출력 후보 장치의 통신 연결 상태 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 전자 장치는 알림 요청 신호를 외부 전자 장치로 전송할 수 있다. 알림 요청 신호는 외부 전자 장치가 출력 후보 장치들 중 출력 장치를 결정하도록 하는 내용을 포함할 수 있다. 외부 전자 장치는, 예를 들어, 서버, 중간 서버, 클라우드, 또는 마스터 기기(예: 사용자의 휴대 전화, 또는 다른 사용자(예: 차량 동승자)의 휴대 전화) 중 적어도 하나를 포함할 수 있다. 외부 전자 장치는 출력 후보 장치로부터 수신한 상태 데이터에 기반하여 출력 장치를 결정할 수 있다. 외부 전자 장치는 출력 장치에 알림 요청 신호를 전송하여, 출력 장치가 사용자에게 경고 알림을 제공하도록 할 수 있다.
일 실시 예에 따르면, 출력 장치는 인터페이스의 동작 가능 여부를 모니터링 할 수 있다. 인터페이스는 예를 들어, 디스플레이, 오디오, 비디오, 이미지, 및/또는 햅틱을 포함하는, 사용자에게 경고 알림을 제공할 수 있는 일체의 수단 중 적어도 하나를 포함할 수 있다. 전자 장치가 출력 장치로 결정된 경우(예: 전자 장치가 스스로를 출력 장치로 결정한 경우, 또는 외부 전자 장치가 전자 장치를 출력 장치로 결정한 경우), 전자 장치는 사용자에게 경고 알림을 제공할 인터페이스를 결정할 수 있다. 전자 장치는 결정한 인터페이스를 통해, 사용자에게 경고 알림을 제공할 수 있다.
사용자의 시선이 HUD 이미지를 향하지 않는 경우(동작 515 - N), 전자 장치는 동작 525를 수행할 수 있다. 전자 장치는, 동작 525에서, 사용자의 시선이 장애물로 향하는지 판단할 수 있다.
일 실시 예에 따르면, 전자 장치는 동작 510의 객체 영역(예: 장애물 영역), 및 동작 510의 시선 영역이 중첩된 정도에 기반하여, 사용자의 시선이 객체(예: 장애물)를 향하는지 판단할 수 있다. 전자 장치가 중첩된 정도를 산출하고, 및 중첩된 정도와 임계치의 상관관계에 기반하여 사용자의 시선이 객체를 향하는지 판단하는 동작에 대한 구체적인 설명은, 동작 515와 실질적으로 동일하거나 유사한 바, 생략한다.
사용자의 시선이 장애물로 향하는 경우(동작 525 - Y), 전자 장치는 동작 530을 수행할 수 있다. 전자 장치는, 동작 530에서, 전자 장치의 디스플레이의 밝기를 제어할 수 있다. 예를 들어, 전자 장치는 디스플레이의 밝기를 기존의 밝기보다 줄이거나, 또는 디스플레이의 밝기를 0으로 제어할 수 있다. 전자 장치는 디스플레이의 광원을 오프(off)하여 디스플레이의 밝기를 0으로 제어할 수 있다. 디스플레이의 밝기의 최솟값은 0으로 설정될 수 있다. 다른 예로, 전자 장치는 디스플레이의 전원을 오프하거나 디스플레이의 명암 대비 값을 제어할 수 있다.
일 실시 예에 따르면, 전자 장치는 전자 장치의 디스플레이에 표시되는 미디어 컨텐츠의 밝기를 제어하여, 디스플레이의 투명도를 증가시킬 수 있다. 전자 장치는 디스플레이의 투명도를 증가시킴으로써, 사용자의 시야 및 사용자의 운전 환경을 개선하고, 사용자가 사용자 전방의 객체(예: 장애물)를 용이하게 식별하도록 할 수 있다.
사용자의 시선이 장애물로 향하지 않는 경우(동작 525 - N), 전자 장치는 동작 535를 수행할 수 있다. 전자 장치는, 동작 535에서, 차량에 제2 제어 신호를 전송하거나, 또는 사용자에게 장애물에 대한 경고 알림을 제공할 수 있다.
일 실시 예에 따르면, 제2 제어 신호는, 차량이 차량 디스플레이 상의 사용자의 시선에 대응하는 위치로 HUD 이미지를 이동하고, 및 상기 HUD 이미지에 장애물에 대한 경고 알림을 표시하도록 하는 내용을 포함할 수 있다. 예를 들어, 차량이 전자 장치로부터 제2 제어 신호를 수신하면, 차량은 차량 디스플레이 상의 사용자의 시선에 대응하는 위치로, 장애물에 대한 경고 알림을 표시하는 HUD 이미지를 이동할 수 있다.
전자 장치는, 차량이 사용자의 시선에 대응하는 위치로 HUD 이미지를 이동하고, 상기 HUD 이미지에 장애물에 대한 경고 알림을 표시하도록 하는 내용을 포함하게 함으로써, 사용자가 시선을 움직이지 않고도 장애물에 대한 경고 알림을 식별하게 할 수 있다.
전자 장치가 사용자에게 장애물에 대한 경고 알림을 제공하는 동작에 관하여는, 동작 520과 동작 535가 실질적으로 동일하거나 유사한 바, 동작 535의 경고 알림에 대한 설명은 동작 520의 경고 알림에 대한 설명으로 대체한다.
도 6은 일 실시 예에 따른, 전자 장치의 동작을 설명하는 흐름도이다. 도 6에 포함된 동작들은 전자 장치(예: 도 1의 전자 장치(101), 도 2의 전자 장치(201), 또는 도 4의 전자 장치(401))의 프로세서(예: 도 1의 프로세서(120), 도 4의 프로세서(420))에서 수행될 수 있다.
도 6을 참조하면, 전자 장치(101) 가 차량으로부터 감지 데이터를 수신하는 경우, 전자 장치의 동작을 설명할 수 있다. 감지 데이터는, 차량에 포함된 적어도 하나의 센서, 및/또는 적어도 하나의 카메라를 이용하여, 차량이 감지한 객체(예: 도 5의 객체)에 대한 정보를 포함할 수 있다.
동작 600은 동작 500과 실질적으로 동일하거나 유사할 수 있고, 및 동작 605는 동작 505와 실질적으로 동일하거나 유사할 수 있다. 따라서, 동작 600, 및 동작 605에 대한 구체적인 설명은 전술한 동작 500, 및 동작 505에 대한 설명으로 대체한다.
전자 장치는, 동작 610에서, 차량으로부터 수신한 감지 데이터에 기반하여 객체를 식별하고, 및 제2 카메라(예: 도 4의 제2 카메라(490))를 통해 사용자의 시선을 식별할 수 있다. 사용자의 시선은, 사용자의 눈에 대응하는 방향(예: 눈동자 방향)을 포함할 수 있다.
일 실시 예에 따르면, 전자 장치는 차량과 무선 통신을 통해 연결되어 차량으로부터 감지 데이터를 수신할 수 있다. 예를 들어, 전자 장치는 차량과 블루투스, 또는 와이파이와 같은 무선 통신 기술을 통해 연결될 수 있다. 다른 예로, 전자 장치는 외부 전자 장치(예: 도 5의 외부 전자 장치)를 경유하여(via) 차량과 무선 통신을 통해 연결될 수 있다.
일 실시 예에 따르면, 전자 장치는 차량으로부터 수신한 감지 데이터에 기반하여, 객체에 대한 객체 영역을 식별할 수 있다. 일 실시 예에 따르면, 전자 장치는 제2 카메라를 통해 식별한 사용자의 시선에 대한 시선 영역을 식별할 수 있다. 사용자의 시선은, 사용자의 눈에 대응하는 방향(예: 눈동자 방향)을 포함할 수 있다. 객체 영역 및 시선 영역에 대한 구체적인 설명은, 동작 510에 설명된 내용으로 대체한다.
전자 장치는, 동작 615에서, 차량 전방에 장애물 출현 시, 사용자의 시선이 HUD 이미지를 향하는지 판단할 수 있다. 동작 615는 동작 515와 실질적으로 동일하거나 유사할 수 있으므로, 동작 615에 대한 구체적인 설명은 동작 515에 대한 설명으로 대체한다.
사용자의 시선이 HUD 이미지를 향하는 경우(동작 615 - Y), 전자 장치는 동작 620을 수행할 수 있다. 전자 장치는, 동작 620에서, 전자 장치의 디스플레이(예: 도 4의 디스플레이(460))의 밝기를 제어할 수 있다. 예를 들어, 전자 장치는 디스플레이의 밝기를 기존의 밝기보다 줄이거나, 또는 디스플레이의 밝기를 0으로 제어할 수 있다. 전자 장치는 디스플레이의 광원을 오프(off)하여 디스플레이의 밝기를 0으로 제어할 수 있다. 디스플레이의 밝기의 최솟값은 0으로 설정될 수 있다.
일 실시 예에 따르면, 전자 장치는 전자 장치의 디스플레이에 표시되는 미디어 컨텐츠의 밝기를 제어하여, 디스플레이의 투명도를 증가시킬 수 있다. 전자 장치는 디스플레이의 투명도를 증가시킴으로써, 사용자의 시야 및 사용자의 운전 환경을 개선하고, 사용자가 사용자 전방의 객체(예: HUD 이미지)를 용이하게 식별하도록 할 수 있다.
일 실시 예에 따르면, 차량은 차량 전방의 장애물을 감지한 뒤, HUD 이미지에 장애물에 대한 경고 알림을 표시하고, 및 전자 장치에 데이터(예: HUD 이미지의 위치에 대응하는 차량 디스플레이 상의 좌표)를 전송할 수 있다. 전자 장치는 차량으로부터 수신한 감지 데이터에 기반하여, 사용자의 시선이 HUD 이미지를 향하는지 판단할 수 있다. 사용자의 시선이 HUD 이미지를 향하는 경우, 전자 장치는, 디스플레이의 밝기를 제어할 수 있다. 전자 장치는 디스플레이의 밝기를 제어하여 사용자의 시야, 및 사용자의 운전 환경을 개선함으로써, 사용자가 장애물에 대한 경고 알림을 용이하게 식별하도록 할 수 있다.
사용자의 시선이 HUD 이미지를 향하지 않는 경우(동작 615 - N), 전자 장치는 동작 625를 수행할 수 있다. 전자 장치는, 동작 625에서, 사용자의 시선이 장애물로 향하는지 판단할 수 있다. 동작 625는 동작 525와 실질적으로 동일하거나 유사하므로, 동작 625에 대한 구체적인 설명은 동작 525에 대한 설명으로 대체한다.
사용자의 시선이 장애물로 향하는 경우(동작 625 - Y), 전자 장치는 동작 630을 수행할 수 있다. 전자 장치는, 동작 630에서, 전자 장치의 디스플레이의 밝기를 제어할 수 있다. 예를 들어, 전자 장치는 디스플레이의 밝기를 기존의 밝기보다 줄이거나, 또는 디스플레이의 밝기를 0으로 제어할 수 있다. 전자 장치는 디스플레이의 광원을 오프(off)하여 디스플레이의 밝기를 0으로 제어할 수 있다. 디스플레이의 밝기의 최솟값은 0으로 설정될 수 있다. 다른 예로, 전자 장치는 디스플레이의 전원을 오프하거나 디스플레이의 명암 대비 값을 제어할 수 있다.
일 실시 예에 따르면, 전자 장치는 전자 장치의 디스플레이에 표시되는 미디어 컨텐츠의 밝기를 제어하여, 디스플레이의 투명도를 증가시킬 수 있다. 전자 장치는 디스플레이의 투명도를 증가시킴으로써, 사용자의 시야 및 사용자의 운전 환경을 개선하고, 사용자가 사용자 전방의 객체(예: 장애물)를 용이하게 식별하도록 할 수 있다.
사용자의 시선이 장애물로 향하지 않는 경우(동작 625 - N), 전자 장치는 동작 635를 수행할 수 있다. 전자 장치는, 동작 635에서, 차량에 제3 제어 신호를 전송하거나, 또는 사용자에게 장애물에 대한 경고 알림을 제공할 수 있다.
일 실시 예에 따르면, 제3 제어 신호는, 차량이 장애물에 대한 경고 알림을 표시하는 HUD 이미지를, 차량 디스플레이 상의 사용자의 시선에 대응하는 위치로 이동하도록 하는 내용을 포함할 수 있다. 예를 들어, 차량이 전자 장치로부터 제3 제어 신호를 수신하면, 차량은 차량 디스플레이 상의 사용자의 시선에 대응하는 위치로, 장애물에 대한 경고 알림을 표시하는 HUD 이미지를 이동할 수 있다.
전자 장치가 사용자에게 장애물에 대한 경고 알림을 제공하는 동작에 관하여는, 동작 635와 동작 535가 실질적으로 동일하거나 유사한 바, 동작 635의 경고 알림에 대한 설명은 동작 535의 경고 알림에 대한 설명으로 대체한다.
도 7은 일 실시 예에 따른, 사용자의 운전 환경을 설명하는 도면이다.
도 7을 참작하면, 사용자의 시선 영역(720), HUD 이미지 영역(730), 및 장애물 영역(740)과 관련하여, 전자 장치(701)(예: 도 1의 전자 장치(101), 도 2의 전자 장치(201), 또는 도 4의 전자 장치(401))가 수행하는 동작을 설명할 수 있다. 도 7에서는, 설명의 편의를 위해, 시선 영역(720), HUD 이미지 영역(730), 및 장애물 영역(740)이 차량 디스플레이 상의 좌표 평면에 위치한 경우를 예시한다. 도 5의 시선 영역, HUD 이미지 영역, 및 장애물 영역에 대한 구체적인 설명과 중복되는 내용은, 설명의 편의를 위해 생략한다.
일 실시 예에 따르면, 차량 디스플레이는 HUD 이미지에 대응하는 HUD 이미지 영역(730)을 포함할 수 있다. 차량은 차량 디스플레이 내에서 HUD 이미지 영역(730)의 위치를 이동할 수 있다. 차량은 전자 장치(701)로부터 신호를 수신하여, HUD 이미지 영역(730)의 위치를 이동할 수 있다. 예를 들어, 차량은 전자 장치(701)로부터 도 5의 제2 제어 신호, 또는 도 6의 제3 제어 신호 중 적어도 하나를 수신하여, 차량 디스플레이 상에 사용자의 시선에 대응하는 위치로 HUD 이미지 영역(730)을 이동할 수 있다.
일 실시 예에 따르면, 사용자는 전자 장치(701)를 착용한 상태로 차량 디스플레이 및/또는 차량 전방을 볼 수 있다.
일 실시 예에 따르면, 전자 장치(701)는 제1 카메라(예: 도 4의 제1 카메라(480))를 통해, 차량 전방의 객체(예: 장애물) 및 차량 전방의 객체에 대응하는 객체 영역(예: 장애물 영역(740))을 식별할 수 있다.
일 실시 예에 따르면, 전자 장치(701)는 제1 카메라를 통해, 차량 디스플레이에 표시된 HUD 이미지 및 HUD 이미지에 대응하는 HUD 이미지 영역(730)을 식별할 수 있다.
일 실시 예에 따르면, 전자 장치(701)는 제2 카메라(예: 도 4의 제2 카메라(490))를 통해 사용자의 시선 및 사용자의 시선에 대응하는 시선 영역(720)을 식별할 수 있다. 사용자의 시선은, 사용자의 눈에 대응하는 방향(예: 눈동자 방향)을 포함할 수 있다.
일 실시 예에 따르면, 전자 장치(701)는, 객체 영역(예: HUD 이미지 영역(730) 또는 장애물 영역(740)) 및 시선 영역(720)이 중첩된 정도에 기반하여, 사용자의 시선이 객체를 향하는지 판단할 수 있다. 예를 들어, 전자 장치(701)는 객체 영역과 시선 영역(720)이 중첩된 영역의 넓이를, 객체 영역의 넓이로 나눈 값에 기반하여, 중첩된 정도를 산출할 수 있다.
전자 장치(701)는, 중첩된 정도와 임계치 간의 상관관계에 기반하여, 사용자의 시선이 객체를 향하는지 여부를 판단할 수 있다. 예를 들어, 전자 장치(701)는 중첩된 정도가 임계치 이상인 경우, 사용자의 시선이 객체를 향하는 것으로 판단할 수 있다. 다른 예로, 전자 장치(701)는 중첩된 정도가 임계치 미만인 경우, 사용자의 시선이 객체를 향하지 않는 것으로 판단할 수 있다. 임계치는, 시스템 상 기 설정된 값이거나, 또는 사용자가 설정한 값일 수 있다. 전자 장치(701)는, 사용자의 전자 장치(701)에 대한 사용 경험에 기반하여, 임계치를 수정할 수 있다.
일 실시 예에 따르면, 전자 장치(701)는, HUD 이미지 영역(730) 및 시선 영역(720)이 중첩된 정도에 기반하여, 사용자의 시선이 HUD 이미지를 향하는지 판단할 수 있다. 예를 들어, 전자 장치(701)는 HUD 이미지 영역(730)과 시선 영역(720)이 중첩된 영역의 넓이를, HUD 이미지 영역(730)의 넓이로 나눈 값에 기반하여, 중첩된 정도를 산출할 수 있다.
일 실시 예에 따르면, 전자 장치(701)는, 장애물 영역(740) 및 시선 영역(720)이 중첩된 정도에 기반하여, 사용자의 시선이 장애물을 향하는지 판단할 수 있다. 예를 들어, 전자 장치(701)는 장애물 영역(740)과 시선 영역(720)이 중첩된 영역의 넓이를, 장애물 영역(740)의 넓이로 나눈 값에 기반하여, 중첩된 정도를 산출할 수 있다.
일 실시 예에 따르면, 전자 장치(701)는 사용자의 시선이 HUD 이미지를 향한다고 판단한 경우, 차량에 제1 제어 신호를 전송하는 동작, 사용자에게 경고 알림을 제공하는 동작, 또는 전자 장치(701)의 디스플레이(예: 도 4의 디스플레이(460))의 밝기를 제어하는 동작 중 적어도 하나를 수행할 수 있다.
예를 들어, 전자 장치(701)가 적어도 하나의 센서 및/또는 적어도 하나의 카메라를 통해 차량 전방의 객체를 감지하는 경우, 도 5의 동작 520과 같이, 전자 장치(701)는 차량에 제1 제어 신호를 전송하거나, 또는 사용자에게 경고 알림을 제공할 수 있다. 제1 제어 신호는, 차량이 HUD 이미지에 장애물에 대한 경고 알림을 표시하도록 하는 내용을 포함할 수 있다.
다른 예로, 전자 장치(701)가 차량으로부터 감지 데이터를 수신하는 경우, 도 6의 동작 620과 같이, 전자 장치(701)는 전자 장치(701)의 디스플레이의 밝기를 제어할 수 있다.
일 실시 예에 따르면, 전자 장치(701)는 사용자의 시선이 장애물을 향한다고 판단한 경우, 전자 장치(701)의 디스플레이의 밝기를 제어할 수 있다.
예를 들어, 전자 장치(701)가 적어도 하나의 센서 및/또는 적어도 하나의 카메라를 통해 차량 전방의 객체를 감지하는 경우, 도 5의 동작 530과 같이, 전자 장치(701)는 디스플레이의 밝기를 제어할 수 있다. 도시하지는 않았으나, 전자 장치는 디스플레이의 전원을 오프하거나 디스플레이의 명암 대비 값을 제어할 수 있다.
다른 예로, 전자 장치(701)가 차량으로부터 감지 데이터를 수신하는 경우, 도 6의 동작 630과 같이, 전자 장치(701)는 디스플레이의 밝기를 제어할 수 있다. 도시하지는 않았으나, 전자 장치는 디스플레이의 전원을 오프하거나 디스플레이의 명암 대비 값을 제어할 수 있다.
일 실시 예에 따르면, 전자 장치(701)는 사용자의 시선이 HUD 이미지, 및 장애물을 제외한 영역(area)을 향한다고 판단한 경우, 차량에 제2 제어 신호를 전송하거나, 차량에 제3 제어 신호를 전송하거나, 또는 사용자에게 경고 알림을 제공할 수 있다.
예를 들어, 전자 장치(701)가 적어도 하나의 센서 및/또는 적어도 하나의 카메라를 통해 차량 전방의 객체를 감지하는 경우, 도 5의 동작 535와 같이, 전자 장치(701)는 차량에 제2 제어 신호를 전송하거나, 또는 사용자에게 경고 알림을 제공할 수 있다. 제2 제어 신호는, 차량이 차량 디스플레이 상의 사용자의 시선에 대응하는 위치로 HUD 이미지를 이동하고, 및 상기 HUD 이미지에 장애물에 대한 경고 알림을 표시하도록 하는 내용을 포함할 수 있다.
다른 예로, 전자 장치(701)가 차량으로부터 감지 데이터를 수신하는 경우, 도 6의 동작 635와 같이, 전자 장치(701)는 차량에 제3 제어 신호를 전송하거나, 또는 사용자에게 경고 알림을 제공할 수 있다. 제3 제어 신호는, 차량이 장애물에 대한 경고 알림을 표시하는 HUD 이미지를, 차량 디스플레이 상의 사용자의 시선에 대응하는 위치로 이동하도록 하는 내용을 포함할 수 있다.
도 8은 일 실시 예에 따른, 전자 장치의 동작을 설명하는 흐름도이다.
도 8을 참조하면, 사용자의 시선이 HUD 이미지를 향하는지 여부에 기반하여, 전자 장치(예: 도 1의 전자 장치(101), 도 2의 전자 장치(201), 도 4의 전자 장치(401), 또는 도 7의 전자 장치(701))의 동작을 설명할 수 있다. 도 8에 포함된 동작들은 전자 장치의 프로세서(예: 도 1의 프로세서(120), 도 4의 프로세서(420))에서 수행될 수 있다.
전자 장치는, 동작 800에서, 제1 카메라(예: 도 4의 제1 카메라(480))를 통해, 사용자가 탑승 중인 차량 전방의 객체 및 상기 차량의 차량 디스플레이에 표시되고 상기 객체에 대한 경고 알림을 포함하는 HUD 이미지를 식별할 수 있다.
일 실시 예에 따르면, 객체는 사람, 동물, 움직이는 사물, 정지된 사물, 교통 시설물, 또는 교통 신호와 같은 차량의 전방 유리를 통해 전자 장치의 사용자(예: 차량 운전자)가 인식할 수 있는 대상(object) 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 전자 장치는, 제1 카메라를 통해 식별한 객체에 대응하는 객체 영역을 식별할 수 있다. 예를 들어, 전자 장치는, 제1 카메라를 통해 식별한 HUD 이미지에 대응하는 HUD 이미지 영역을 식별할 수 있다. 다른 예로, 전자 장치는, 제1 카메라를 통해 식별한 장애물에 대응하는 장애물 영역을 식별할 수 있다.
일 실시 예에 따르면, 객체 영역, HUD 이미지 영역, 및/또는 장애물 영역은 좌표 평면에 위치할 수 있다. 좌표 평면은 전자 장치의 디스플레이 상에 위치하거나, 차량 디스플레이 상에 위치하거나, 또는 전자 장치의 디스플레이와 차량 디스플레이 사이의 공간에 위치할 수 있다.
일 실시 예에 따르면, 객체 영역은 객체에 대응하는 좌표 평면 상의 좌표들의 집합에 대응할 수 있다. 일 실시 예에 따르면, HUD 이미지 영역은 HUD 이미지에 대응하는 좌표 평면 상의 좌표들의 집합에 대응할 수 있다. 일 실시 예에 따르면, 장애물 영역은 장애물에 대응하는 좌표 평면 상의 좌표들의 집합에 대응할 수 있다.
전자 장치는, 동작 805에서, 제2 카메라(예: 도 4의 제2 카메라(490))를 통해, 사용자의 시선을 식별할 수 있다. 일 실시 예에 따르면, 전자 장치는, 제2 카메라를 통해 식별한 사용자의 시선에 대응하는 시선 영역을 식별할 수 있다. 사용자의 시선은, 사용자의 눈에 대응하는 방향(예: 눈동자 방향)을 포함할 수 있다.
일 실시 예에 따르면, 시선 영역은 좌표 평면에 위치할 수 있다. 좌표 평면은 전자 장치의 디스플레이 상에 위치하거나, 차량 디스플레이 상에 위치하거나, 또는 전자 장치의 디스플레이와 차량 디스플레이 사이의 공간에 위치할 수 있다. 일 실시 예에 따르면, 시선 영역은 사용자의 시선에 대응하는 좌표 평면 상의 좌표들의 집합에 대응할 수 있다.
전자 장치는, 동작 810에서, 사용자의 시선이 HUD 이미지를 향하는지 여부를 판단할 수 있다. 일 실시 예에 따르면, 전자 장치는 HUD 이미지 영역, 및 시선 영역이 중첩된 정도에 기반하여, 사용자의 시선이 HUD 이미지를 향하는지 판단할 수 있다.
전자 장치는, 동작 815에서, 사용자의 시선이 HUD 이미지를 향하는 경우, 디스플레이(예: 도 4의 디스플레이(460))의 밝기를 제어할 수 있다. 예를 들어, 전자 장치는 디스플레이의 밝기를 기존의 밝기보다 줄이거나, 또는 디스플레이의 밝기를 0으로 제어할 수 있다. 전자 장치는 디스플레이의 광원을 오프(off)하여 디스플레이의 밝기를 0으로 제어할 수 있다. 디스플레이의 밝기의 최솟값은 0으로 설정될 수 있다. 다른 예로, 전자 장치는 디스플레이의 전원을 오프하거나 디스플레이의 명암 대비 값을 제어할 수 있다. 전자 장치는 디스플레이의 밝기를 제어하여 사용자의 시야, 및 사용자의 운전 환경을 개선함으로써, 사용자가 장애물을 용이하게 식별하도록 할 수 있다.
전자 장치는, 동작 820에서, 사용자의 시선이 HUD 이미지를 향하지 않는 경우, 사용자의 시선이 객체(예: 장애물)를 향하는지 여부를 판단할 수 있다. 일 실시 예에 따르면, 전자 장치는 장애물 영역, 및 시선 영역이 중첩된 정도에 기반하여, 사용자의 시선이 장애물을 향하는지 판단할 수 있다.
전자 장치는, 동작 825에서, 사용자의 시선이 객체를 향하는 경우, 디스플레이의 밝기를 제어할 수 있다. 예를 들어, 전자 장치는 디스플레이의 밝기를 기존의 밝기보다 줄이거나, 또는 디스플레이의 밝기를 0으로 제어할 수 있다. 전자 장치는 디스플레이의 광원을 오프(off)하여 디스플레이의 밝기를 0으로 제어할 수 있다. 디스플레이의 밝기의 최솟값은 0으로 설정될 수 있다. 전자 장치는 디스플레이의 전원을 오프하거나 디스플레이의 명암 대비 값을 제어할 수 있다. 전자 장치는 디스플레이의 밝기를 제어하여 사용자의 시야, 및 사용자의 운전 환경을 개선함으로써, 사용자가 장애물을 용이하게 식별하도록 할 수 있다.
전자 장치는, 동작 830에서, 사용자의 시선이 객체를 향하지 않는 경우, 객체에 대한 경고 알림을 사용자에게 제공할 수 있다.
일 실시 예에 따르면, 전자 장치는, 지정된 색상, 지정된 아이콘, 및/또는 지정된 텍스트로 경고 알림을 표시할 수 있다.
일 실시 예에 따르면, 전자 장치는 전자 장치와 연결된 복수의 외부 전자 장치들 중 사용자에게 경고 알림을 제공할 전자 장치를 결정할 수 있다.
일 실시 예에 따르면, 전자 장치는 알림 요청 신호를 외부 전자 장치로 전송할 수 있다. 알림 요청 신호는 외부 전자 장치가 출력 후보 장치들 중 출력 장치를 결정하도록 하는 내용을 포함할 수 있다. 외부 전자 장치는, 예를 들어, 서버, 중간 서버, 클라우드, 또는 마스터 기기(예: 사용자의 휴대 전화, 또는 다른 사용자(예: 차량 동승자)의 휴대 전화) 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 출력 장치는 인터페이스의 동작 가능 여부를 모니터링 할 수 있다. 인터페이스는 예를 들어, 디스플레이, 오디오, 비디오, 이미지, 및/또는 햅틱을 포함하는, 사용자에게 경고 알림을 제공할 수 있는 일체의 수단 중 적어도 하나를 포함할 수 있다.
다양한 실시 예에 따르면, 전자 장치(예: 도 1의 전자 장치(101), 도 2의 전자 장치(201), 또는 도 4의 전자 장치(401))는 메모리(예: 도 4의 메모리(430)), 디스플레이(예: 도 4의 디스플레이(460)), 제1 카메라(예: 도 4의 제1 카메라(480)), 제2 카메라(예: 도 4의 제2 카메라(490)), 및 상기 메모리(430), 상기 디스플레이(460), 상기 제1 카메라(480), 및 상기 제2 카메라(490)와 연결된 프로세서(예: 도 4의 프로세서(420))를 포함하고, 상기 메모리(430)는, 상기 프로세서(420)에 의해 실행 시에, 상기 전자 장치(401)가, 상기 제1 카메라(480)를 통해, 사용자가 탑승 중인 차량 전방의 객체, 및 상기 차량의 차량 디스플레이에 표시되고 상기 객체에 대한 경고 알림을 포함하는 헤드 업 디스플레이(head up display, HUD) 이미지를 식별하고, 상기 제2 카메라(490)를 통해, 사용자의 시선을 식별하고, 상기 사용자의 상기 시선이 상기 HUD 이미지를 향하는지 여부를 판단하고, 상기 사용자의 상기 시선이 상기 HUD 이미지를 향하는 경우, 상기 디스플레이(460)의 밝기를 제어하고, 상기 사용자의 상기 시선이 상기 HUD 이미지를 향하지 않는 경우, 상기 사용자의 상기 시선이 상기 객체를 향하는지 여부를 판단하고, 상기 사용자의 상기 시선이 상기 객체를 향하는 경우, 상기 디스플레이(460)의 상기 밝기를 제어하고, 및 상기 사용자의 상기 시선이 상기 객체를 향하지 않는 경우, 상기 객체에 대한 경고 알림을 상기 사용자에게 제공하도록 하는 인스트럭션들(instructions)을 저장할 수 있다.
일 실시 예에 따르면, 상기 인스트럭션들은, 실행 시, 상기 전자 장치(401)가, 상기 차량 전방의 상기 객체를 식별하면, 상기 차량에 제1 제어 신호를 전송하도록 하고, 상기 제1 제어 신호는, 상기 차량이 상기 HUD 이미지에 상기 객체에 대한 상기 경고 알림을 표시하도록 할 수 있다.
일 실시 예에 따르면, 상기 인스트럭션들은, 실행 시, 상기 전자 장치(401)가, 상기 사용자의 상기 시선이 상기 객체를 향하지 않는 경우, 차량에 제2 제어 신호를 전송하도록 하고, 상기 제2 제어 신호는, 상기 차량이 상기 차량 디스플레이 상의 상기 사용자의 상기 시선에 대응하는 위치로, 상기 HUD 이미지를 이동시키도록 할 수 있다.
일 실시 예에 따르면, 상기 인스트럭션들은, 실행 시, 상기 전자 장치(401)가, 상기 전자 장치(401)와 연결된 외부 전자 장치로부터, 상기 외부 전자 장치의 상태 데이터를 수신하고, 및 상기 상태 데이터에 기반하여, 상기 외부 전자 장치가 상기 사용자에게 상기 경고 알림을 제공하도록 하는 요청 신호를 상기 외부 전자 장치에 전송하도록 할 수 있다.
일 실시 예에 따르면, 상기 상태 데이터는, 상기 외부 전자 장치의 전원 상태, 상기 외부 전자 장치의 배터리 상태, 또는 상기 전자 장치(401)와 상기 외부 전자 장치의 통신 연결 상태 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 상기 인스트럭션들은, 실행 시, 상기 전자 장치(401)가, 상기 HUD 이미지에 대응하는 HUD 이미지 영역을 식별하고, 상기 사용자의 상기 시선에 대응하는 시선 영역을 식별하고, 및 상기 HUD 이미지 영역 및 상기 시선 영역이 중첩된 정도에 기반하여, 상기 사용자의 상기 시선이 상기 HUD 이미지를 향하는지 여부를 판단하도록 하고, 상기 HUD 이미지 영역, 및 상기 시선 영역은 좌표 평면에 위치하고, 및 상기 좌표 평면은 상기 디스플레이(460) 상에(on) 위치하거나, 상기 차량 디스플레이 상에 위치하거나, 또는 상기 디스플레이(460)와 상기 차량 디스플레이 사이의 공간에 위치할 수 있다.
일 실시 예에 따르면, 상기 인스트럭션들은, 실행 시, 상기 전자 장치(401)가, 상기 중첩된 정도가 임계치 이상인 경우, 상기 사용자의 상기 시선이 상기 HUD 이미지를 향하는 것으로 판단하고, 및 상기 중첩된 정도가 상기 임계치 미만인 경우, 상기 사용자의 상기 시선이 상기 HUD 이미지를 향하지 않는 것으로 판단하도록 할 수 있다.
일 실시 예에 따르면, 상기 인스트럭션들은, 실행 시, 상기 전자 장치(401)가, 상기 차량으로부터 상기 HUD 이미지에 대응하는 HUD 이미지 영역에 대한 데이터를 수신하고, 및 수신한 상기 HUD 이미지 영역에 대한 데이터에 기반하여, 상기 HUD 이미지 영역을 식별할 수 있다.
일 실시 예에 따르면, 상기 인스트럭션들은, 실행 시, 상기 전자 장치(401)가, 상기 제1 카메라(480)를 통해, 상기 HUD 이미지를 식별하면, 상기 디스플레이(460)에 표시된 영상 또는 이미지를, 아이콘 또는 텍스트 중 적어도 하나로 전환하도록 할 수 있다.
일 실시 예에 따르면, 상기 인스트럭션들은, 실행 시, 상기 전자 장치(401)가, 상기 사용자의 상기 시선이 상기 HUD 이미지를 향하는 경우, 또는 상기 사용자의 상기 시선이 상기 객체를 향하는 경우, 상기 디스플레이(460)의 밝기를 줄이거나, 또는 상기 디스플레이(460)의 상기 밝기를 0으로 제어하도록 할 수 있다.
다양한 실시 예에 따르면, 전자 장치(401)를 제어하는 방법은, 상기 전자 장치(401)에 포함된 제1 카메라(480)를 통해, 사용자가 탑승 중인 차량 전방의 객체 및 상기 차량의 차량 디스플레이에 표시되고 상기 객체에 대한 경고 알림을 포함하는 헤드 업 디스플레이(head up display, HUD) 이미지를 식별하는 동작, 상기 전자 장치(401)에 포함된 제2 카메라(490)를 통해, 사용자의 시선을 식별하는 동작, 상기 사용자의 상기 시선이 상기 HUD 이미지를 향하는지 여부를 판단하는 동작, 상기 사용자의 상기 시선이 상기 HUD 이미지를 향하는 경우, 전자 장치(401)에 포함된 디스플레이(460)의 밝기를 제어하는 동작, 상기 사용자의 상기 시선이 상기 HUD 이미지를 향하지 않는 경우, 상기 사용자의 상기 시선이 상기 객체를 향하는지 여부를 판단하는 동작, 상기 사용자의 상기 시선이 상기 객체를 향하는 경우, 상기 디스플레이(460)의 상기 밝기를 제어하는 동작, 및 상기 사용자의 상기 시선이 상기 객체를 향하지 않는 경우, 상기 객체에 대한 경고 알림을 상기 사용자에게 제공하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 전자 장치(401)를 제어하는 방법은, 상기 차량 전방의 상기 객체를 식별하면, 상기 차량에 제1 제어 신호를 전송하는 동작을 더 포함하고, 상기 제1 제어 신호는, 상기 차량이 상기 HUD 이미지에 상기 객체에 대한 상기 경고 알림을 표시하도록 할 수 있다.
일 실시 예에 따르면, 전자 장치(401)를 제어하는 방법은, 상기 사용자의 상기 시선이 상기 객체를 향하지 않는 경우, 차량에 제2 제어 신호를 전송하는 동작을 더 포함하고, 상기 제2 제어 신호는, 상기 차량이 상기 차량 디스플레이 상의 상기 사용자의 상기 시선에 대응하는 위치로, 상기 HUD 이미지를 이동시키도록 할 수 있다.
일 실시 예에 따르면, 전자 장치(401)를 제어하는 방법은, 상기 전자 장치(401)와 연결된 외부 전자 장치로부터, 상기 외부 전자 장치의 상태 데이터를 수신하는 동작, 및 상기 상태 데이터에 기반하여, 상기 외부 전자 장치가 상기 사용자에게 상기 경고 알림을 제공하도록 하는 요청 신호를 상기 외부 전자 장치에 전송할지 여부를 판단하는 동작을 더 포함할 수 있다.
일 실시 예에 따르면, 상기 상태 데이터는, 상기 외부 전자 장치의 전원 상태, 상기 외부 전자 장치의 배터리 상태, 또는 상기 전자 장치(401)와 상기 외부 전자 장치의 통신 연결 상태 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 상기 판단하는 동작은, 상기 HUD 이미지에 대응하는 HUD 이미지 영역을 식별하는 동작, 상기 사용자의 상기 시선에 대응하는 시선 영역을 식별하는 동작, 및 상기 HUD 이미지 영역 및 상기 시선 영역이 중첩된 정도에 기반하여, 상기 사용자의 상기 시선이 상기 HUD 이미지를 향하는지 여부를 판단하는 동작을 포함하고, 상기 HUD 이미지 영역, 및 상기 시선 영역은 좌표 평면에 위치하고, 및 상기 좌표 평면은 상기 디스플레이(460) 상에(on) 위치하거나, 상기 차량 디스플레이 상에 위치하거나, 또는 상기 디스플레이(460)와 상기 차량 디스플레이 사이의 공간에 위치할 수 있다.
일 실시 예에 따르면, 상기 판단하는 동작은, 상기 중첩된 정도가 임계치 이상인 경우, 상기 사용자의 상기 시선이 상기 HUD 이미지를 향하는 것으로 판단하는 동작, 및 상기 중첩된 정도가 상기 임계치 미만인 경우, 상기 사용자의 상기 시선이 상기 HUD 이미지를 향하지 않는 것으로 판단하는 동작 을 더 포함할 수 있다.
일 실시 예에 따르면, 상기 HUD 이미지 영역을 식별하는 동작은, 상기 차량으로부터 상기 HUD 이미지에 대응하는 상기 HUD 이미지 영역에 대한 데이터를 수신하는 동작, 및 수신한 상기 HUD 이미지 영역에 대한 데이터에 기반하여, 상기 HUD 이미지 영역을 식별하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 전자 장치(401)를 제어하는 방법은, 상기 제1 카메라(480)를 통해, 상기 HUD 이미지를 식별하면, 상기 디스플레이(460)에 표시된 영상 또는 이미지를, 아이콘 또는 텍스트 중 적어도 하나로 전환하는 동작을 더 포함할 수 있다.
일 실시 예에 따르면, 상기 디스플레이(460)의 상기 밝기를 제어하는 동작은, 상기 사용자의 상기 시선이 상기 HUD 이미지를 향하는 경우, 또는 상기 사용자의 상기 시선이 상기 객체를 향하는 경우, 상기 디스플레이(460)의 상기 밝기를 줄이는 동작, 또는 상기 디스플레이(460)의 상기 밝기를 0으로 제어하는 동작을 포함할 수 있다.
본 문서에 개시된 다양한 실시 예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시 예들로 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다.
본 문서의 다양한 실시 예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다.
기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
다양한 실시 예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시 예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다.
다양한 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    메모리;
    디스플레이;
    제1 카메라;
    제2 카메라; 및
    상기 메모리, 상기 디스플레이, 상기 제1 카메라, 및 상기 제2 카메라와 연결된 프로세서;를 포함하고,
    상기 메모리는, 상기 프로세서에 의해 실행 시에, 상기 전자 장치가,
    상기 제1 카메라를 통해, 사용자가 탑승 중인 차량 전방의 객체, 및 상기 차량의 차량 디스플레이에 표시되고 상기 객체에 대한 경고 알림을 포함하는 헤드 업 디스플레이(head up display, HUD) 이미지를 식별하고,
    상기 제2 카메라를 통해, 사용자의 시선을 식별하고,
    상기 사용자의 상기 시선이 상기 HUD 이미지를 향하는지 여부를 판단하고,
    상기 사용자의 상기 시선이 상기 HUD 이미지를 향하는 경우, 상기 디스플레이의 밝기를 제어하고,
    상기 사용자의 상기 시선이 상기 HUD 이미지를 향하지 않는 경우, 상기 사용자의 상기 시선이 상기 객체를 향하는지 여부를 판단하고,
    상기 사용자의 상기 시선이 상기 객체를 향하는 경우, 상기 디스플레이의 상기 밝기를 제어하고, 및
    상기 사용자의 상기 시선이 상기 객체를 향하지 않는 경우, 상기 객체에 대한 경고 알림을 상기 사용자에게 제공하도록 하는 인스트럭션들(instructions)을 저장하는 전자 장치.
  2. 청구항 1에 있어서, 상기 인스트럭션들은, 상기 전자 장치가,
    상기 차량 전방의 상기 객체를 식별하면, 상기 차량에 제1 제어 신호를 전송하도록 하고,
    상기 제1 제어 신호는, 상기 차량이 상기 HUD 이미지에 상기 객체에 대한 상기 경고 알림을 표시하도록 하는 전자 장치.
  3. 청구항 1에 있어서, 상기 인스트럭션들은, 상기 전자 장치가,
    상기 사용자의 상기 시선이 상기 객체를 향하지 않는 경우, 차량에 제2 제어 신호를 전송하도록 하고,
    상기 제2 제어 신호는, 상기 차량이 상기 차량 디스플레이 상의 상기 사용자의 상기 시선에 대응하는 위치로, 상기 HUD 이미지를 이동시키도록 하는 전자 장치.
  4. 청구항 1에 있어서, 상기 인스트럭션들은, 상기 전자 장치가,
    상기 전자 장치와 연결된 외부 전자 장치로부터, 상기 외부 전자 장치의 상태 데이터를 수신하고, 및
    상기 상태 데이터에 기반하여, 상기 외부 전자 장치가 상기 사용자에게 상기 경고 알림을 제공하도록 하는 요청 신호를 상기 외부 전자 장치에 전송하도록 하며,
    상기 상태 데이터는,
    상기 외부 전자 장치의 전원 상태, 상기 외부 전자 장치의 배터리 상태, 또는 상기 전자 장치와 상기 외부 전자 장치의 통신 연결 상태 중 적어도 하나를 포함하는 전자 장치.
  5. 청구항 1에 있어서, 상기 인스트럭션들은, 상기 전자 장치가,
    상기 HUD 이미지에 대응하는 HUD 이미지 영역을 식별하고,
    상기 사용자의 상기 시선에 대응하는 시선 영역을 식별하고, 및
    상기 HUD 이미지 영역 및 상기 시선 영역이 중첩된 정도에 기반하여, 상기 사용자의 상기 시선이 상기 HUD 이미지를 향하는지 여부를 판단하도록 하고,
    상기 HUD 이미지 영역, 및 상기 시선 영역은 좌표 평면에 위치하고, 및
    상기 좌표 평면은 상기 디스플레이 상에(on) 위치하거나, 상기 차량 디스플레이 상에 위치하거나, 또는 상기 디스플레이와 상기 차량 디스플레이 사이의 공간에 위치하며,
    상기 인스트럭션들은, 상기 전자 장치가,
    상기 중첩된 정도가 임계치 이상인 경우, 상기 사용자의 상기 시선이 상기 HUD 이미지를 향하는 것으로 판단하고, 및
    상기 중첩된 정도가 상기 임계치 미만인 경우, 상기 사용자의 상기 시선이 상기 HUD 이미지를 향하지 않는 것으로 판단하도록 하는 전자 장치.
  6. 청구항 5에 있어서, 상기 인스트럭션들은, 상기 전자 장치가,
    상기 차량으로부터 상기 HUD 이미지에 대응하는 HUD 이미지 영역에 대한 데이터를 수신하고, 및
    수신한 상기 HUD 이미지 영역에 대한 데이터에 기반하여, 상기 HUD 이미지 영역을 식별하는 전자 장치.
  7. 청구항 1에 있어서, 상기 인스트럭션들은, 상기 전자 장치가,
    상기 제1 카메라를 통해, 상기 HUD 이미지를 식별하면,
    상기 디스플레이에 표시된 영상 또는 이미지를, 아이콘 또는 텍스트 중 적어도 하나로 전환하도록 하는 전자 장치
  8. 청구항 1에 있어서, 상기 인스트럭션들은, 상기 전자 장치가,
    상기 사용자의 상기 시선이 상기 HUD 이미지를 향하는 경우, 또는 상기 사용자의 상기 시선이 상기 객체를 향하는 경우,
    상기 디스플레이의 밝기를 줄이거나, 또는 상기 디스플레이의 상기 밝기를 0으로 제어하도록 하는 전자 장치
  9. 전자 장치를 제어하는 방법에 있어서,
    상기 전자 장치에 포함된 제1 카메라를 통해, 사용자가 탑승 중인 차량 전방의 객체 및 상기 차량의 차량 디스플레이에 표시되고 상기 객체에 대한 경고 알림을 포함하는 헤드 업 디스플레이(head up display, HUD) 이미지를 식별하는 동작;
    상기 전자 장치에 포함된 제2 카메라를 통해, 사용자의 시선을 식별하는 동작;
    상기 사용자의 상기 시선이 상기 HUD 이미지를 향하는지 여부를 판단하는 동작;
    상기 사용자의 상기 시선이 상기 HUD 이미지를 향하는 경우, 전자 장치에 포함된 디스플레이의 밝기를 제어하는 동작;
    상기 사용자의 상기 시선이 상기 HUD 이미지를 향하지 않는 경우, 상기 사용자의 상기 시선이 상기 객체를 향하는지 여부를 판단하는 동작;
    상기 사용자의 상기 시선이 상기 객체를 향하는 경우, 상기 디스플레이의 상기 밝기를 제어하는 동작; 및
    상기 사용자의 상기 시선이 상기 객체를 향하지 않는 경우, 상기 객체에 대한 경고 알림을 상기 사용자에게 제공하는 동작; 을 포함하는 방법.
  10. 청구항 9에 있어서,
    상기 차량 전방의 상기 객체를 식별하면, 상기 차량에 제1 제어 신호를 전송하는 동작; 을 더 포함하고,
    상기 제1 제어 신호는, 상기 차량이 상기 HUD 이미지에 상기 객체에 대한 상기 경고 알림을 표시하도록 하는 방법.
  11. 청구항 9에 있어서, 상기 사용자의 상기 시선이 상기 객체를 향하지 않는 경우, 차량에 제2 제어 신호를 전송하는 동작; 을 더 포함하고,
    상기 제2 제어 신호는, 상기 차량이 상기 차량 디스플레이 상의 상기 사용자의 상기 시선에 대응하는 위치로, 상기 HUD 이미지를 이동하도록 하는 방법.
  12. 청구항 9에 있어서,
    상기 전자 장치와 연결된 외부 전자 장치로부터, 상기 외부 전자 장치의 상태 데이터를 수신하는 동작; 및
    상기 상태 데이터에 기반하여, 상기 외부 전자 장치가 상기 사용자에게 상기 경고 알림을 제공하도록 하는 요청 신호를 상기 외부 전자 장치에 전송할지 여부를 판단하는 동작; 을 더 포함하며,
    상기 상태 데이터는,
    상기 외부 전자 장치의 전원 상태, 상기 외부 전자 장치의 배터리 상태, 또는 상기 전자 장치와 상기 외부 전자 장치의 통신 연결 상태 중 적어도 하나를 포함하는 방법.
  13. 청구항 9에 있어서, 상기 판단하는 동작은,
    상기 HUD 이미지에 대응하는 HUD 이미지 영역을 식별하는 동작;
    상기 사용자의 상기 시선에 대응하는 시선 영역을 식별하는 동작; 및
    상기 HUD 이미지 영역 및 상기 시선 영역이 중첩된 정도에 기반하여, 상기 사용자의 상기 시선이 상기 HUD 이미지를 향하는지 여부를 판단하는 동작; 을 포함하고,
    상기 HUD 이미지 영역, 및 상기 시선 영역은 좌표 평면에 위치하고, 및
    상기 좌표 평면은 상기 디스플레이 상에(on) 위치하거나, 상기 차량 디스플레이 상에 위치하거나, 또는 상기 디스플레이와 상기 차량 디스플레이 사이의 공간에 위치하며,
    상기 HUD 이미지를 향하는지 여부를 판단하는 동작은,
    상기 중첩된 정도가 임계치 이상인 경우, 상기 사용자의 상기 시선이 상기 HUD 이미지를 향하는 것으로 판단하는 동작; 및
    상기 중첩된 정도가 상기 임계치 미만인 경우, 상기 사용자의 상기 시선이 상기 HUD 이미지를 향하지 않는 것으로 판단하는 동작; 을 더 포함하는 방법.
  14. 청구항 13에 있어서, 상기 HUD 이미지 영역을 식별하는 동작은,
    상기 차량으로부터 상기 HUD 이미지에 대응하는 상기 HUD 이미지 영역에 대한 데이터를 수신하는 동작; 및
    수신한 상기 HUD 이미지 영역에 대한 데이터에 기반하여, 상기 HUD 이미지 영역을 식별하는 동작; 을 포함하는 방법.
  15. 청구항 9에 있어서,
    상기 제1 카메라를 통해, 상기 HUD 이미지를 식별하면, 상기 디스플레이에 표시된 영상 또는 이미지를, 아이콘 또는 텍스트 중 적어도 하나로 전환하는 동작; 을 더 포함하는 방법.
PCT/KR2023/000078 2022-01-26 2023-01-03 전자 장치 및 이의 제어 방법 WO2023146145A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0011772 2022-01-26
KR20220011772 2022-01-26
KR1020220037678A KR20230115184A (ko) 2022-01-26 2022-03-25 전자 장치 및 이의 제어 방법
KR10-2022-0037678 2022-03-25

Publications (1)

Publication Number Publication Date
WO2023146145A1 true WO2023146145A1 (ko) 2023-08-03

Family

ID=87472278

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/000078 WO2023146145A1 (ko) 2022-01-26 2023-01-03 전자 장치 및 이의 제어 방법

Country Status (1)

Country Link
WO (1) WO2023146145A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005135037A (ja) * 2003-10-29 2005-05-26 Toyota Central Res & Dev Lab Inc 車両用情報提示装置
KR20160109912A (ko) * 2015-03-13 2016-09-21 현대자동차주식회사 헤드업 디스플레이 장치 및 그 제어 방법
JP2019081480A (ja) * 2017-10-31 2019-05-30 日本精機株式会社 ヘッドアップディスプレイ装置
US20200090375A1 (en) * 2017-03-17 2020-03-19 Maxell, Ltd. Ar display apparatus and ar display method
KR20210025765A (ko) * 2019-08-27 2021-03-10 현대자동차주식회사 차량 디스플레이 제어 장치, 그를 포함한 시스템 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005135037A (ja) * 2003-10-29 2005-05-26 Toyota Central Res & Dev Lab Inc 車両用情報提示装置
KR20160109912A (ko) * 2015-03-13 2016-09-21 현대자동차주식회사 헤드업 디스플레이 장치 및 그 제어 방법
US20200090375A1 (en) * 2017-03-17 2020-03-19 Maxell, Ltd. Ar display apparatus and ar display method
JP2019081480A (ja) * 2017-10-31 2019-05-30 日本精機株式会社 ヘッドアップディスプレイ装置
KR20210025765A (ko) * 2019-08-27 2021-03-10 현대자동차주식회사 차량 디스플레이 제어 장치, 그를 포함한 시스템 및 그 방법

Similar Documents

Publication Publication Date Title
EP3717992A1 (en) Device for providing augmented reality service, and method of operating the same
WO2022108076A1 (ko) 증강 현실 환경의 무선 연결 방법 및 이를 위한 전자 장치
WO2021256651A1 (ko) 증강 현실 글라스 및 그 동작 방법
WO2020040367A1 (ko) 웨어러블 장치 및 그 제어 방법
WO2018066962A1 (ko) 스마트 안경
WO2022092517A1 (ko) 디스플레이를 포함하는 웨어러블 전자 장치, 그 디스플레이를 제어하는 방법, 및 그 웨어러블 전자 장치 및 케이스를 포함하는 시스템
WO2022102954A1 (ko) 디스플레이를 포함하는 웨어러블 전자 장치
WO2018182159A1 (ko) 가상 오브젝트의 처리가 가능한 스마트 안경
WO2019221518A1 (en) Electronic device for adjusting position of content displayed on display based on ambient illuminance and method for operating same
WO2023146145A1 (ko) 전자 장치 및 이의 제어 방법
WO2023017986A1 (ko) 영상 데이터 및 오디오 데이터 출력 방법 및 전자 시스템
WO2021242008A1 (en) Electronic device and operating method thereof
WO2020004941A1 (ko) 디스플레이에서 출력된 광을 렌즈로 전달할 수 있는 반사 부재 및 반투명 반사 부재를 포함하는 전자 장치
WO2023043045A1 (ko) 전기 변색 소자를 포함하는 전자 장치 및 그 제어 방법
WO2024043468A1 (ko) 객체들을 이용하여 인증 패턴을 등록 및 해제하는 장치 및 방법
WO2023080419A1 (ko) 비전 정보를 이용하여 전자기기를 제어하는 웨어러블 전자 장치 및 방법
WO2023153607A1 (ko) 주변 조도에 기초한 ar 컨텐츠 표시 방법 및 전자 장치
WO2024043611A1 (ko) 디스플레이 모듈 제어 방법 및 상기 방법을 수행하는 전자 장치
WO2024029804A1 (ko) 장애물 관련 정보를 표시하기 위한 웨어러블 전자 장치, 동작 방법, 및 저장 매체
WO2024071681A1 (ko) 이미지를 제공하는 방법 및 이를 지원하는 웨어러블 전자 장치
WO2024048986A1 (ko) 사용자 의도를 고려해서 주변 기기를 제어하기 위한 장치 및 방법
WO2024029858A1 (ko) 디스플레이 모듈 제어 방법 및 상기 방법을 수행하는 전자 장치
WO2023027300A1 (ko) 전자 장치, 헤드-마운티드 디스플레이 장치, 웨어러블 장치 및 그 동작 방법
WO2024080583A1 (ko) 이미지를 활용한 ar 정보 제공 방법 및 전자 장치
WO2022255682A1 (ko) 웨어러블 전자 장치 및 그의 파워 패스 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23747190

Country of ref document: EP

Kind code of ref document: A1