KR20210027037A - A method for providing navigation and device for providing navigation - Google Patents
A method for providing navigation and device for providing navigation Download PDFInfo
- Publication number
- KR20210027037A KR20210027037A KR1020200035935A KR20200035935A KR20210027037A KR 20210027037 A KR20210027037 A KR 20210027037A KR 1020200035935 A KR1020200035935 A KR 1020200035935A KR 20200035935 A KR20200035935 A KR 20200035935A KR 20210027037 A KR20210027037 A KR 20210027037A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- value
- vehicle
- processor
- information
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3647—Guidance involving output of stored or live camera images or video streams
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3635—Guidance using 3D or perspective road maps
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3667—Display of a road map
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
Description
본 발명은 내비게이션 영상을 제공하는 디바이스 및 그 제공 방법에 관한 것으로서, 보다 구체적으로는 5G 통신 기술 분야, 로봇 기술 분야, 자율 주행 기술 분야 및 AI (Artificial Intelligence) 기술 분야에도 모두 적용 가능하다. The present invention relates to a device for providing a navigation image and a method for providing the same, and more specifically, it is applicable to all fields of 5G communication technology, robot technology, autonomous driving technology, and AI (Artificial Intelligence) technology.
VR (Virtual Reality) 기술은 현실 세계의 객체나 배경 등을 CG (Computer Graphic) 영상으로만 제공하고, AR (Augmented Reality) 기술은 실제 사물 영상 위에 가상으로 만들어진 CG 영상을 함께 제공하며, MR (Mixed) 기술은 현실 세계에 가상 객체들을 섞고 결합시켜서 제공하는 컴퓨터 그래픽 기술이다. 전술한 VR, AR, MR 등을 모두 간단히 XR (extended reality) 기술로 지칭하기도 한다.VR (Virtual Reality) technology provides objects or backgrounds in the real world as CG (Computer Graphic) images only, while AR (Augmented Reality) technology provides virtually created CG images on top of real object images, and MR (Mixed ) Technology is a computer graphics technology that mixes and combines virtual objects in the real world. All of the aforementioned VR, AR, MR, etc. are also simply referred to as XR (extended reality) technology.
내비게이션 기능이 탑재된 디바이스에서는 XR 컨텐트를 이용하여 길표시 효과를 추가한 내비게이션 화면으로 차량의 주행경로 정보를 제공할 수 있다. In a device equipped with a navigation function, information on the driving route of the vehicle may be provided through a navigation screen in which a road marking effect is added using XR content.
내비게이션 기능이 탑재된 디바이스는 모바일 디바이스 또는 핸드폰(이하, 모바일)일 수 있다. A device equipped with a navigation function may be a mobile device or a mobile phone (hereinafter, referred to as mobile).
디바이스는 현재 차량의 전방 주행도로 이미지를 카메라로 촬영하여, 그 프리뷰 영상을 내비게이션 화면으로 재생성(또는 렌더링) 한다. The device captures an image of a driving road ahead of the current vehicle with a camera, and reproduces (or renders) the preview image as a navigation screen.
디바이스(예를 들어, 모바일)가 프리뷰 영상을 촬영 시, 주행경로 화면의 일부가 차량의 구성물들에 가려지지 않도록 카메라가 설치(install, setting)되어 있어야 한다. When a device (eg, a mobile) captures a preview image, a camera must be installed (installed, set) so that a part of the driving route screen is not covered by the components of the vehicle.
하지만, 보닛(Bonnet) 또는 대쉬보드(Dashboard)와 같은 차량의 구성물들은 모바일의 카메라의 화각의 범위 내에 포함되기 쉽다. However, components of a vehicle such as a bonnet or a dashboard are likely to be included within the range of the angle of view of the mobile camera.
이와 같은 차량의 구성물들은 프리뷰 영상에서 차선을 가리는 방해물 이미지들로서 포함되는 경우가 많다. Components of such a vehicle are often included as obstruction images covering lanes in the preview image.
또한, 도로의 요철 등으로 인한 차량의 흔들림에 따라, 모바일이 차량 내에 잘못 설치되면, 촬영된 프리뷰 영상에 전방 주행도로의 도로 영상보다 하늘의 영상 또는 도로의 한쪽으로 치우친 주변영상 등이 전방 주행도로 영상보다 더 많은 부분 포함될 수 있다. In addition, if the mobile is incorrectly installed in the vehicle due to the vibration of the vehicle due to irregularities on the road, the image of the sky or the surrounding image skewed toward one side of the road than the road image of the road ahead in the captured preview image More parts can be included than images.
차선 이미지가 방해물 이미지들에 가려지면, 디바이스가 차선 이미지를 정확히 인식할 수 없어, 정확한 AR(Augmented Reality) 길표시 효과를 도로에 추가하기 어렵다. When the lane image is obscured by obstruction images, the device cannot accurately recognize the lane image, so it is difficult to add an accurate Augmented Reality (AR) road marking effect to the road.
또한, 디바이스의 카메라가 잘못된 각도로 주행도로를 촬영하면, 주행도로와 관련없는 이미지가 더 많은 부분 포함되어, 디바이스가 정확한 주행경로 정보를 제공할 수 없는 문제가 있다.In addition, if the camera of the device photographs the driving road at an incorrect angle, there is a problem in that the device cannot provide accurate driving route information because more images are included in the image not related to the driving road.
다만, 전술한 목적만으로 제한되는 것은 아니며, 본 명세서 전체 내용에 기초하여 당업자가 유추할 수 있는 다른 목적으로 본 발명의 권리범위가 확장될 수 있다.However, it is not limited only to the above-described purpose, and the scope of the present invention may be extended for other purposes that can be inferred by those skilled in the art based on the entire contents of this specification.
본 발명의 일 실시예에 따른 내비게이션 기능이 탑재된 모바일 디바이스의 제어 방법에 있어서, 내비게이션 기능을 실행하는 단계; 카메라에 의해, 모바일 디바이스 주변의 제1 이미지를 캡쳐하는 단계; 캡쳐된 제1 이미지를 디스플레이 하는 단계- 제1 이미지는 차량 내부 오브젝트 및 차량 외부 오브젝트를 모두 포함-; 제1 이미지에서 추출된 복수개의 기준선들을 기초로 하여, 제2 이미지를 생성하는 단계- 제2 이미지는 차량 내부 오브젝트 및 차량 외부 오브젝트 이미지를 포함하지 않음-; 및 생성된 제2 이미지를 디스플레이 하는 단계를 포함할 수 있다. In accordance with an embodiment of the present invention, there is provided a method for controlling a mobile device equipped with a navigation function, the method comprising: executing the navigation function; Capturing, by the camera, a first image around the mobile device; Displaying the captured first image, the first image including both an object inside the vehicle and an object outside the vehicle; Generating a second image based on the plurality of reference lines extracted from the first image-the second image does not include the vehicle interior object and the vehicle exterior object image; And displaying the generated second image.
또한, 본 발명의 일 실시예에 따른 내비게이션 기능이 탑재된 모바일 디바이스의 제어 방법에 있어서, 제1 이미지에서 추출된 복수개의 기준선들을 기초로 하여, 제2 이미지를 생성하는 단계는, 제1 이미지에서 차량 내부 오브젝트 및 차량 외부 오브젝트가 제거된 제3 이미지를 생성하는 단계; 제1 기준선을 중심으로 제3 이미지를 상하부 이미지로 분리하는 단계-상부 이미지의 세로방향 높이는 제1값에 대응하고, 하부 이미지의 세로방향 높이는 제2값에 대응함-; 기 설정된 제1비율 및 제1값과 제2값 중 더 작은 값을 기반으로 제2이미지의 높이값을 획득하는 단계, 제1비율은 제1 값 대비 제 2값의 비율임-; 기 설정된 제2비율 및 제2 이미지의 높이값을 기반으로 제2 이미지의 너비값을 획득하는 단계, 제2비율은 제2 이미지의 높이값 대비 너비값의 비율임-; 를 포함할 수 있다. In addition, in the control method of a mobile device equipped with a navigation function according to an embodiment of the present invention, the step of generating a second image based on a plurality of reference lines extracted from the first image may include: Generating a third image from which the vehicle interior object and the vehicle exterior object are removed; Separating the third image into upper and lower images based on the first reference line-the vertical height of the upper image corresponds to the first value, and the vertical height of the lower image corresponds to the second value -; Obtaining a height value of a second image based on a preset first ratio and a smaller value among the first and second values, the first ratio being a ratio of the second value to the first value; Obtaining a width value of a second image based on a preset second ratio and a height value of the second image, the second ratio being a ratio of the width value to the height value of the second image; It may include.
본 발명의 일 실시예에 따른 내비게이션 기능이 탑재된 모바일 디바이스에서, 내비게이션 기능을 실행하는 컨트롤러; 모바일 디바이스 주변의 제1 이미지를 캡쳐하는 카메라; 캡쳐된 제1 이미지를 디스플레이 하는 디스플레이- 제1 이미지는 차량 내부 오브젝트 및 차량 외부 오브젝트를 모두 포함-; 제1 이미지에서 추출된 복수개의 기준선들을 기초로 하여, 제2 이미지를 생성하는 비디오 렌더링 프로세서- 제2 이미지는 차량 내부 오브젝트 및 차량 외부 오브젝트 이미지를 포함하지 않음-; 및 생성된 제2 이미지를 디스플레이 하는 디스플레이를 포함할 수 있다. In a mobile device equipped with a navigation function according to an embodiment of the present invention, a controller for executing a navigation function; A camera for capturing a first image around the mobile device; A display for displaying the captured first image-the first image includes both an object inside the vehicle and an object outside the vehicle; A video rendering processor that generates a second image based on a plurality of reference lines extracted from the first image, the second image does not include the vehicle interior object and the vehicle exterior object image; And a display that displays the generated second image.
다만, 전술한 목적만으로 제한되는 것은 아니며, 본 명세서 전체 내용에 기초하여 당업자가 유추할 수 있는 다른 목적으로 본 발명의 권리범위가 확장될 수 있다.However, it is not limited only to the above-described purpose, and the scope of the present invention may be extended for other purposes that can be inferred by those skilled in the art based on the entire contents of this specification.
본 발명의 실시예들에 따른 디바이스는 최초 전방 주행도로 이미지(이하, 제1 이미지)에서 복수개의 기준선들을 기반으로 차선을 가리는 방해물 이미지를 제거한 주행도로 이미지(이하, 제3 이미지)를 가공하여 내비게이션 영상으로 제공한다. The device according to the embodiments of the present invention processes a driving road image (hereinafter, referred to as a third image) by removing an obstruction image covering a lane based on a plurality of reference lines from the initial driving road image (hereinafter, referred to as the first image) to navigate. Provided by video.
실시예들에 따른 디바이스는 AI(Artificial Intelligence) 알고리즘의 DNN과 같은 프로그램을 이용하여 출력할 내비게이션 영상을 가공한다.The device according to the embodiments processes a navigation image to be output using a program such as DNN of an AI (Artificial Intelligence) algorithm.
디바이스는 주행도로의 차선의 디텍트가 용이하도록 제 3 이미지에서 차선이미지와 떨어져 있는 주변영역(예를 들어, left영역)을 삭제하여 최종 내비게이션 영상을 제공할 수 있다. The device may provide a final navigation image by deleting a peripheral area (eg, a left area) away from the lane image from the third image to facilitate detection of a lane on the driving road.
실시예들에 따른 디바이스는 소실점을 포함한 복수개의 기준선들을 기반으로 사용자 편의에 맞는 Best화면 비율로 최종 내비게이션 화면을 추출(Crop)한다. The device according to the embodiments extracts (crops) the final navigation screen at a best screen ratio suitable for user convenience based on a plurality of reference lines including a vanishing point.
따라서, 디바이스는 주행도로 주변의 불필요한 이미지는 삭제하고 AR로 정확한 길안내 정보를 포함시킨 내비게이션 화면을 제공한다. Accordingly, the device deletes unnecessary images around the driving road and provides a navigation screen including accurate directions information in AR.
디바이스는 운전자가 필요로 하는 네비게이션 화면만을 더 확대하여 보기 쉽게 내비게이션 서비스를 제공하므로, 운전자가 보다 안정적인 길안내 서비스를 제공받아 운전할 수 있다. The device further enlarges only the navigation screen required by the driver to provide an easy-to-view navigation service, so that the driver can drive with a more stable navigation service.
다만, 전술한 기술적 효과만으로 제한되는 것은 아니며, 본 명세서 전체 내용에 기초하여 당업자가 유추할 수 있는 다른 기술적 효과로 본 발명의 권리범위가 확장될 수 있다. However, it is not limited only to the above-described technical effects, and the scope of the present invention may be extended to other technical effects that can be inferred by those skilled in the art based on the entire contents of this specification.
도 1은 3GPP 기반 시스템에서 물리 신호/채널들의 매핑되는 자원 격자를 예시한 것이다.
도 2는 3GPP 신호 전송/수신 방법의 일예를 나타낸 도면이다.
도 3은 SSB 구조를 예시한다.
도 4는 임의 접속 과정의 일례를 예시한다.
도 5는 상향링크 그랜트에 따른 UL 전송의 일례를 나타낸다.
도 6은 물리 채널 프로세싱(physical channel processing)의 개념도의 일례를 나타낸다.
도 7은 하이브리드 빔포밍(hybrid beamforming)을 위한 전송단 및 수신단의 블록도의 일례를 나타낸 도이다.
도 8 (a)는 협대역 동작의 일례를 나타낸 도이며, 도 8 (b)는 RF 리튜닝(retuning)을 가지는 MTC 채널 반복의 일례를 나타낸 도이다.
도 9는 본 명세서에서 제안하는 방법들이 적용될 수 있는 무선 통신 시스템의 블록 구성도를 예시한다.
도 10은 본 발명의 일 실시 예에 따른 AI 장치(100)를 나타낸다.
도 11은 본 발명의 일 실시 예에 따른 AI 서버(200)를 나타낸다.
도 12는 본 발명의 일 실시 예에 따른 AI 시스템(1)을 나타낸다.
도 13은 본 발명의 실시예들에 의한 XR 디바이스의 블록도를 도시한 도면이다.
도 14는 도 13에 도시된 메모리를 보다 구체적으로 도시한 블록도이다.
도 15는 포인트 클라우트 데이터 처리 시스템을 나타낸다.
도 16은 러닝 프로세서를 포함하는 디바이스를 나타낸다.
도 17은 도 16에 도시된 본 발명의 XR 디바이스(1600)가 XR 서비스를 제공하는 과정을 나타낸다.
도 18은 XR 디바이스와 로봇의 외관을 도시하고 있다.
도 19는 XR 기술이 탑재된 디바이스를 이용하여, 로봇을 제어하는 과정을 도시한 플로우 차트이다.
도 20은 자율 주행 서비스를 제공하는 차량을 나타낸다.
도 21은 자율 주행 서비스 중 AR/VR 서비스를 제공하는 과정을 나타낸다.
도 22는 본 발명의 실시예들에 따른 HDM 타입 XR 디바이스를 나타낸다.
도 23은 본 발명의 실시예들에 의한 따른 AR 글래스 타입의 XR 디바이스를 나타낸다.
도 24는 실시예들에 따른 디바이스의 제어방법을 도시한 플로우 챠트이다.
도 25는 실시예들에 따른 디바이스의 구성 요소들을 도시하는 블록도이다.
도 26은 실시예들에 따른 디바이스가 복수개의 기준선들을 기반으로 영상을 렌더링 하는 예시도면이다.
도 27은 실시예들에 따른 디바이스가 제 2 기준선을 바탕으로 방해물 이미지를 삭제하는 렌더링을 도시한다.
도 28(a) 내지 도 28(b)는 실시예들에 따른 디바이스가 제 1 기준선을 수동으로 설정하여 이미지를 렌더링하는 방법을 나타낸 플로우챠트(2800) 및 도면이다.
도 29(a) 내지 도 29(c)는 실시예들에 따른 디바이스가 제 1 기준선을 자동으로 설정하여 이미지를 렌더링하는 방법을 나타낸 플로우챠트(2900) 및 도면이다.
도 30 내지 도 31은 실시예들에 따른 디바이스가 제 2 기준선을 DNN(Neural Network) 등의 알고리즘으로 자동으로 계산하여 렌더링하는 방법을 나타낸 플로우챠트(3000) 및 도면이다.
도 32는 실시예들에 따른 디바이스가 DNN을 통한 차선인식 알고리즘을 적용하여 디스플레이 이미지를 추출하는 예시이다.
도 33은 제3 이미지의 세로방향 높이의 1/2 지점에 제1 기준선이 위치하였을 경우 디바이스가 렌더링하는 예시이다.
도 34는 제3 이미지의 세로방향 높이의 1/2 지점보다 상부에 제1 기준선이 위치하였을 경우 디바이스가 렌더링하는 예시이다.
도 35는 제3 이미지의 세로방향 높이의 1/2 지점보다 하부에 제1 기준선이 위치하였을 경우 디바이스가 렌더링하는 예시이다.
도 36 내지 도 37은 디바이스가 지도모드의 내비게이션 영상을 디스플레이 하는 모드에서 AR모드의 내비게이션 영상을 디스플레이 하는 모드로 전환하는 경우의 플로우 챠트이다.
도 38은 내비게이션 영상을 디스플레이하는 화면의 비율이 변화함에 따라 디바이스가 내비게이션 영상을 재렌더링하여 디스플레이하는 방법을 예시한다.
도 39는 실시예들에 따른 디바이스의 제어 방법을 도시한 플로우 차트이다.
도 40 내지 도 41은 실시예들에 따른 디바이스가 제 2 기준선을 DNN(Neural Network) 등의 알고리즘으로 자동으로 계산하여 내비게이션 영상을 렌더링하는 방법을 나타낸 플로우챠트(4000) 및 도면이다.
도 42는 본 발명의 실시예에 따른 이동 단말기의 블럭도이다.
도 43은 본 발명의 실시예에 따른 프로세서의 상세 블럭도이다.
도 44는 본 발명의 실시예에 따른 내비게이션 화면을 설명하는데 참조되는 도면이다.
도 45는 본 발명의 실시예에 따른 내비게이션 화면을 생성하는 동작을 설명하는데 참조되는 도면이다.
도 46은 본 발명의 실시예에 따른 플로우 차트이다.
도 47a 내지 도 47b는 본 발명의 실시예에 따른 소실선, 본네트 라인 및 센터 라인을 설명하는데 참조되는 도면이다.
도 48a 내지 도 48d는 본 발명의 실시예에 따른 크로핑 동작을 설명하는데 참조되는 도면이다.
도 49a 내지 도 49b는 본 발명의 실시예에 따른 크로핑 동작을 설명하는데 참조되는 도면이다.
도 50a 내지 도 52d는 본 발명의 실시예에 따른 광각 영상 이용 동작을 설명하는데 참조되는 도면이다.
도 53a 내지 도 53b는 본 발명의 실시예에 따른 소실선 조정 동작을 설명하는데 참조되는 도면이다.
도 54a 내지 도 54c는 본 발명의 실시예에 따른 이동 단말기 설치 기울기값 보상 동작을 설명하는데 참조되는 도면이다.
도 55a 내지 도 55c는 본 발명의 실시예에 따라 특정 상황에서 이동 단말기의 동작을 설명하는데 참조되는 도면이다.
도 56는 본 발명의 실시예에 따라 도보 모드의 경우 이동 단말기의 동작을 설명하는데 참조되는 도면이다.1 illustrates a resource grid to which physical signals/channels are mapped in a 3GPP-based system.
2 is a diagram showing an example of a 3GPP signal transmission/reception method.
3 illustrates an SSB structure.
4 illustrates an example of a random access process.
5 shows an example of UL transmission according to an uplink grant.
6 shows an example of a conceptual diagram of physical channel processing.
7 is a diagram illustrating an example of a block diagram of a transmitting end and a receiving end for hybrid beamforming.
8(a) is a diagram showing an example of a narrowband operation, and FIG. 8(b) is a diagram showing an example of an MTC channel repetition with RF retuning.
9 illustrates a block diagram of a wireless communication system to which the methods proposed in the present specification can be applied.
10 shows an
11 shows an
12 shows an
13 is a diagram illustrating a block diagram of an XR device according to embodiments of the present invention.
14 is a block diagram illustrating the memory shown in FIG. 13 in more detail.
15 shows a point cloud data processing system.
16 shows a device including a learning processor.
FIG. 17 shows a process in which the
18 shows the appearance of the XR device and the robot.
19 is a flow chart showing a process of controlling a robot using a device equipped with XR technology.
20 shows a vehicle providing an autonomous driving service.
21 shows a process of providing an AR/VR service among autonomous driving services.
22 shows an HDM type XR device according to embodiments of the present invention.
23 illustrates an AR glass type XR device according to embodiments of the present invention.
24 is a flowchart illustrating a method of controlling a device according to embodiments.
25 is a block diagram illustrating components of a device according to embodiments.
26 is an exemplary diagram in which a device according to embodiments renders an image based on a plurality of reference lines.
27 illustrates rendering in which a device deletes an obstruction image based on a second reference line according to embodiments.
28A to 28B are
29A to 29C are
30 to 31 are flowcharts 3000 and diagrams illustrating a method of automatically calculating and rendering a second reference line by a device using an algorithm such as a neural network (DNN) according to embodiments.
32 is an example in which a device according to embodiments extracts a display image by applying a lane recognition algorithm through a DNN.
33 is an example of rendering by a device when a first reference line is positioned at a
34 is an example of rendering by a device when a first reference line is positioned above a point of 1/2 of the height in the vertical direction of the third image.
FIG. 35 is an example of rendering by a device when a first reference line is positioned below a point of 1/2 of the height in the vertical direction of the third image.
36 to 37 are flow charts when a device switches from a mode displaying a navigation image in a map mode to a mode displaying a navigation image in an AR mode.
38 illustrates a method in which a device re-renders and displays a navigation image according to a change in a ratio of a screen displaying a navigation image.
39 is a flow chart illustrating a method of controlling a device according to embodiments.
40 to 41 are
42 is a block diagram of a mobile terminal according to an embodiment of the present invention.
43 is a detailed block diagram of a processor according to an embodiment of the present invention.
44 is a diagram referenced to describe a navigation screen according to an embodiment of the present invention.
45 is a diagram referenced for explaining an operation of generating a navigation screen according to an embodiment of the present invention.
46 is a flow chart according to an embodiment of the present invention.
47A to 47B are views referenced for explaining a vanishing line, a bonnet line, and a center line according to an embodiment of the present invention.
48A to 48D are views referenced for describing a cropping operation according to an embodiment of the present invention.
49A to 49B are views referenced for describing a cropping operation according to an embodiment of the present invention.
50A to 52D are diagrams referenced for explaining an operation of using a wide-angle image according to an embodiment of the present invention.
53A to 53B are views referenced for explaining an operation of adjusting a vanishing line according to an embodiment of the present invention.
54A to 54C are views referenced for explaining an operation of compensating for a tilt value of a mobile terminal according to an embodiment of the present invention.
55A to 55C are diagrams referenced for describing an operation of a mobile terminal in a specific situation according to an embodiment of the present invention.
56 is a diagram referenced for explaining an operation of a mobile terminal in a walking mode according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, exemplary embodiments disclosed in the present specification will be described in detail with reference to the accompanying drawings, but identical or similar elements are denoted by the same reference numerals regardless of reference numerals, and redundant descriptions thereof will be omitted. The suffixes "module" and "unit" for constituent elements used in the following description are given or used interchangeably in consideration of only the ease of preparation of the specification, and do not have meanings or roles that are distinguished from each other by themselves. In addition, in describing the embodiments disclosed in the present specification, when it is determined that a detailed description of related known technologies may obscure the subject matter of the embodiments disclosed in the present specification, the detailed description thereof will be omitted. In addition, the accompanying drawings are for easy understanding of the embodiments disclosed in the present specification, and the technical idea disclosed in the present specification is not limited by the accompanying drawings, and all changes included in the spirit and scope of the present invention It should be understood to include equivalents or substitutes.
본 발명의 하기의 실시예들은 본 발명을 구체화하기 위한 것일 뿐 본 발명의 권리 범위를 제한하거나 한정하는 것이 아님은 물론이다. 본 발명의 상세한 설명 및 실시예들로부터 본 발명이 속하는 기술 분야의 전문가가 용이하게 유추할 수 있는 것은 본 발명의 권리 범위에 속하는 것으로 해석된다.It goes without saying that the following examples of the present invention are intended to embody the present invention and do not limit or limit the scope of the present invention. What can be easily inferred by experts in the technical field to which the present invention belongs from the detailed description and examples of the present invention is interpreted as belonging to the scope of the present invention.
상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 안되며, 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.The above detailed description should not be construed as limiting in all respects, but should be considered as illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.
IntroductionIntroduction
이하에서, 하향링크(downlink, DL)는 기지국(base station, BS)에서 사용자 기기(user equipment, UE)로의 통신을 의미하며, 상향링크(uplink, UL)는 UE에서 BS로의 통신을 의미한다. 하향링크에서 전송기(transmitter)는 BS의 일부이고, 수신기(receiver)는 UE의 일부일 수 있다. 상향링크에서 전송기는 UE의 일부이고, 수신기는 BS의 일부일 수 있다. 본 명세에서 UE는 제 1 통신 장치, BS는 제 2 통신 장치로 표현될 수도 있다. BS는 고정국(fixed station), Node B, eNB(evolved-NodeB), gNB(Next Generation NodeB), BTS(base transceiver system), 접속 포인트(access point, AP), 네트워크 혹은 5G (5th generation) 네트워크 노드, AI (Artificial Intelligence) 시스템, RSU(road side unit), 로봇, AR/VR(Augmented Reality/Virtual Reality) 시스템 등의 용어에 의해 대체될 수 있다. 또한, UE는 단말(terminal), MS(Mobile Station), UT(User Terminal), MSS(Mobile Subscriber Station), SS(Subscriber Station), AMS(Advanced Mobile Station), WT(Wireless terminal), MTC(Machine-Type Communication) 장치, M2M(Machine-to-Machine) 장치, D2D(Device-to-Device) 장치, 차량(vehicle), 로봇(robot), AI 장치 (또는 모듈), AR/VR 장치 (또는 모듈) 등의 용어로 대체될 수 있다.Hereinafter, downlink (DL) refers to communication from a base station (BS) to a user equipment (UE), and uplink (UL) refers to communication from a UE to a BS. In downlink, a transmitter may be a part of a BS, and a receiver may be a part of a UE. In the uplink, the transmitter may be part of the UE, and the receiver may be part of the BS. In this specification, the UE may be referred to as a first communication device and the BS may be referred to as a second communication device. BS is a fixed station, Node B, evolved-NodeB (eNB), Next Generation NodeB (gNB), base transceiver system (BTS), access point (AP), network or 5th generation (5G) network node. , AI (Artificial Intelligence) system, RSU (road side unit), robot, AR/VR (Augmented Reality/Virtual Reality) system. In addition, the UE is a terminal, MS (Mobile Station), UT (User Terminal), MSS (Mobile Subscriber Station), SS (Subscriber Station), AMS (Advanced Mobile Station), WT (Wireless terminal), MTC (Machine -Type Communication) device, M2M (Machine-to-Machine) device, D2D (Device-to-Device) device, vehicle, robot, AI device (or module), AR/VR device (or module ), etc.
이하의 기술은 CDMA(Code Division Multiple Access), FDMA(Frequency Division Multiple Access), TDMA(Time Division Multiple Access), OFDMA(Orthogonal Frequency Division Multiple Access), SC-FDMA(Single Carrier FDMA) 등과 같은 다양한 무선 접속 시스템에 사용될 수 있다. The following technologies include various wireless access such as Code Division Multiple Access (CDMA), Frequency Division Multiple Access (FDMA), Time Division Multiple Access (TDMA), Orthogonal Frequency Division Multiple Access (OFDMA), Single Carrier FDMA (SC-FDMA), etc. Can be used in the system.
설명의 편의를 위해, 본 명세는 3GPP 통신 시스템(예, LTE-A, NR)을 기반으로 설명하지만 본 발명이 이에 제한되는 것은 아니다. 참고로, 3GPP(3rd Generation Partnership Project) LTE(Long Term Evolution)은 E-UTRA를 사용하는 E-UMTS(Evolved UMTS)의 일부이고 LTE-A(Advanced)/LTE-A pro는 3GPP LTE의 진화된 버전이다. 3GPP NR(New Radio or New Radio Access Technology)는 3GPP LTE/LTE-A/LTE-A pro의 진화된 버전이다.For convenience of description, the present specification is described based on a 3GPP communication system (eg, LTE-A, NR), but the present invention is not limited thereto. For reference, 3GPP (3rd Generation Partnership Project) Long Term Evolution (LTE) is a part of E-UMTS (Evolved UMTS) using E-UTRA, and LTE-A (Advanced)/LTE-A pro is an evolved 3GPP LTE. Version. 3GPP NR (New Radio or New Radio Access Technology) is an evolved version of 3GPP LTE/LTE-A/LTE-A pro.
본 명세(disclosure)에서, 노드(node)라 함은 UE와 통신하여 무선 신호를 전송/수신할 수 있는 고정된 포인트(point)을 말한다. 다양한 형태의 BS들이 그 명칭에 관계없이 노드로서 이용될 수 있다. 예를 들어, BS, NB, eNB, 피코-셀 eNB(PeNB), 홈 eNB(HeNB), 릴레이(relay), 리피터(repeater) 등이 노드가 될 수 있다. 일 노드에는 최소 하나의 안테나가 설치된다. 상기 안테나는 물리 안테나를 의미할 수도 있으며, 안테나 포트, 가상 안테나, 또는 안테나 그룹을 의미할 수도 있다. 노드는 포인트(point)라고 불리기도 한다.In this disclosure, a node refers to a fixed point at which a radio signal can be transmitted/received by communicating with a UE. Various types of BSs can be used as nodes regardless of their name. For example, BS, NB, eNB, pico-cell eNB (PeNB), home eNB (HeNB), relay, repeater, etc. may be nodes. At least one antenna is installed in one node. The antenna may mean a physical antenna, or an antenna port, a virtual antenna, or an antenna group. Nodes are also called points.
본 명세에서 셀(cell)이라 함은 하나 이상의 노드가 통신 서비스를 제공하는 일정 지리적 영역 혹은 무선 자원을 의미할 수 있다. 지리적 영역의 "셀"은 노드가 반송파를 이용하여 서비스를 제공할 수 있는 커버리지(coverage)라고 이해될 수 있으며, 무선 자원의 "셀"은 상기 반송파에 의해 설정(configure)되는 주파수 크기인 대역폭(bandwidth, BW)와 연관된다. 노드가 유효한 신호를 전송할 수 있는 범위인 하향링크 커버리지와 UE로부터 유효한 신호를 수신할 수 있는 범위인 상향링크 커버리지는 해당 신호를 나르는 반송파에 의해 의존하므로 노드의 커버리지는 상기 노드가 사용하는 무선 자원의 "셀"의 커버리지와 연관되기도 한다. 따라서 "셀"이라는 용어는 때로는 노드에 의한 서비스의 커버리지를, 때로는 무선 자원을, 때로는 상기 무선 자원을 이용한 신호가 유효한 세기로 도달할 수 있는 범위를 의미하는 데 사용될 수 있다. In this specification, a cell may mean a certain geographic area or radio resource in which one or more nodes provide communication services. A "cell" in a geographic area may be understood as coverage in which a node can provide a service using a carrier, and a "cell" of a radio resource is a bandwidth ( bandwidth, BW). Downlink coverage, which is a range in which a node can transmit a valid signal, and uplink coverage, which is a range in which a valid signal can be received from a UE, depends on the carrier that carries the signal. It is also related to the coverage of the "cell". Thus, the term "cell" can sometimes be used to mean coverage of a service by a node, sometimes a radio resource, and sometimes a range within which a signal using the radio resource can reach a valid strength.
본 명세에서 특정 셀과 통신한다고 함은 상기 특정 셀에 통신 서비스를 제공하는 BS 혹은 노드와 통신하는 것을 의미할 수 있다. 또한, 특정 셀의 하향링크/상향링크 신호는 상기 특정 셀에 통신 서비스를 제공하는 BS 혹은 노드로부터의/로의 하향링크/상향링크 신호를 의미한다. UE에게 상향링크/하향링크 통신 서비스를 제공하는 셀을 특히 서빙 셀(serving cell)이라고 한다. 또한, 특정 셀의 채널 상태/품질은 상기 특정 셀에 통신 서비스를 제공하는 BS 혹은 노드와 UE 사이에 형성된 채널 혹은 통신 링크의 채널 상태/품질을 의미한다.In this specification, communication with a specific cell may mean communication with a BS or a node that provides a communication service to the specific cell. In addition, the downlink/uplink signal of a specific cell means a downlink/uplink signal from/to a BS or a node that provides a communication service to the specific cell. A cell that provides an uplink/downlink communication service to a UE is specifically referred to as a serving cell. In addition, the channel state/quality of a specific cell refers to a channel state/quality of a channel or communication link formed between a BS or a node and a UE providing a communication service to the specific cell.
한편, 무선 자원과 연관된 "셀"은 하향링크 자원(DL resources)와 상향링크 자원(UL resources)의 조합, 즉, DL 컴포넌트 반송파(component carrier, CC) 와 UL CC의 조합으로 정의될 수 있다. 셀은 DL 자원 단독, 또는 DL 자원과 UL 자원의 조합으로 설정될(configured) 수도 있다. 반송파 집성(carrier aggregation)이 지원되는 경우, DL 자원(또는, DL CC)의 반송파 주파수(carrier frequency)와 UL 자원(또는, UL CC)의 반송파 주파수(carrier frequency) 사이의 링키지(linkage)는 해당 셀을 통해 전송되는 시스템 정보(system information)에 의해 지시될 수 있다. 여기서, 반송파 주파수는 각 셀 혹은 CC의 중심 주파수(center frequency)와 같을 수도 혹은 다를 수도 있다. 이하에서는 1차 주파수(primary frequency) 상에서 동작하는 셀을 1차 셀(primary cell, Pcell) 혹은 PCC로 지칭하고, 2차 주파수(Secondary frequency) 상에서 동작하는 셀을 2차 셀(secondary cell, Scell) 혹은 SCC로 칭한다. Scell이라 함은 UE가 BS와 RRC(Radio Resource Control) 연결 수립(connection establishment) 과정을 수행하여 상기 UE와 상기 BS 간에 RRC 연결이 수립된 상태, 즉, 상기 UE가 RRC_CONNECTED 상태가 된 후에 설정될 수 있다. 여기서 RRC 연결은 UE의 RRC와 BS의 RRC가 서로 RRC 메시지를 주고 받을 수 있는 통로를 의미할 수 있다. Scell은 UE에게 추가적인 무선 자원을 제공하기 위해 설정될 수 있다. UE의 성능(capabilities)에 따라, Scell이 Pcell과 함께, 상기 UE를 위한 서빙 셀의 모음(set)을 형성할 수 있다. RRC_CONNECTED 상태에 있지만 반송파 집성이 설정되지 않았거나 반송파 집성을 지원하지 않는 UE의 경우, Pcell로만 설정된 서빙 셀이 단 하나 존재한다.Meanwhile, a "cell" associated with a radio resource may be defined as a combination of downlink resources and UL resources, that is, a combination of a DL component carrier (CC) and a UL CC. The cell may be configured with a DL resource alone or a combination of a DL resource and a UL resource. When carrier aggregation is supported, the linkage between the carrier frequency of the DL resource (or, DL CC) and the carrier frequency of the UL resource (or UL CC) corresponds to It may be indicated by system information transmitted through the cell. Here, the carrier frequency may be the same as or different from the center frequency of each cell or CC. Hereinafter, a cell operating on a primary frequency is referred to as a primary cell (Pcell) or PCC, and a cell operating on a secondary frequency is referred to as a secondary cell (Scell). Or it is called SCC. Scell refers to a state in which an RRC connection is established between the UE and the BS by performing a radio resource control (RRC) connection establishment process with the UE, that is, it can be set after the UE enters the RRC_CONNECTED state. have. Here, the RRC connection may mean a path through which the RRC of the UE and the RRC of the BS can exchange RRC messages with each other. Scell may be configured to provide additional radio resources to the UE. Depending on the capabilities of the UE, the Scell may form a set of serving cells for the UE together with the Pcell. In the case of a UE that is in the RRC_CONNECTED state but does not support carrier aggregation or does not support carrier aggregation, there is only one serving cell configured as a Pcell.
셀은 고유의 무선 접속 기술을 지원한다. 예를 들어, LTE 셀 상에서는 LTE 무선 접속 기술(radio access technology, RAT)에 따른 전송/수신이 수행되며, 5G 셀 상에서는 5G RAT에 따른 전송/수신이 수행된다.The cell supports its own radio access technology. For example, transmission/reception according to LTE radio access technology (RAT) is performed on an LTE cell, and transmission/reception according to 5G RAT is performed on a 5G cell.
반송파 집성 기술은 광대역 지원을 위해 목표 대역폭(bandwidth)보다 작은 시스템 대역폭을 가지는 복수의 반송파들을 집성하여 사용하는 기술을 말한다. 반송파 집성은 각각이 시스템 대역폭(채널 대역폭이라고도 함)을 형성하는 복수의 반송파 주파수들을 사용하여 하향링크 혹은 상향링크 통신을 수행한다는 점에서, 복수의 직교하는 부반송파들로 분할된 기본 주파수 대역을 하나의 반송파 주파수에 실어 하향링크 혹은 상향링크 통신을 수행하는 OFDMA 기술과 구분된다. 예를 들어, OFDMA 혹은 직교 주파수 분할 다중화(orthogonal frequency division multiplexing, OFDM)의 경우에는 일정 시스템 대역폭을 갖는 하나의 주파수 대역이 일정 부반송파 간격을 갖는 복수의 부반송파들로 분할되고, 정보/데이터가 상기 복수의 부반송파들 내에서 매핑되며, 상기 정보/데이터가 맵핑된 상기 주파수 대역은 주파수 상향 변환(upconversion)을 거쳐 상기 주파수 대역의 반송파 주파수로 전송된다. 무선 반송파 집성의 경우에는 각각이 자신의 시스템 대역폭 및 반송파 주파수를 갖는 주파수 대역들이 동시에 통신에 사용될 수 있으며, 반송파 집성에 사용되는 각 주파수 대역은 일정 부반송파 간격을 갖는 복수의 부반송파들로 분할될 수 있다.Carrier aggregation technology refers to a technology that aggregates and uses a plurality of carriers having a system bandwidth smaller than a target bandwidth for broadband support. In that carrier aggregation performs downlink or uplink communication using a plurality of carrier frequencies each forming a system bandwidth (also referred to as a channel bandwidth), a basic frequency band divided into a plurality of orthogonal subcarriers is divided into one. It is distinguished from OFDMA technology that performs downlink or uplink communication on a carrier frequency. For example, in the case of OFDMA or orthogonal frequency division multiplexing (OFDM), one frequency band having a certain system bandwidth is divided into a plurality of subcarriers having a certain subcarrier interval, and the information/data is divided into the plurality of The frequency band to which the information/data is mapped is transmitted to the carrier frequency of the frequency band through frequency upconversion. In the case of wireless carrier aggregation, frequency bands each having their own system bandwidth and carrier frequency can be used for communication at the same time, and each frequency band used for carrier aggregation can be divided into a plurality of subcarriers having a predetermined subcarrier spacing. .
3GPP 기반 통신 표준은 물리 계층(physical layer)의 상위 계층(upper layer)(예, 매제 접속 제어(medium access control, MAC) 계층, 무선 링크 제어(radio link control, RLC) 계층, 패킷 데이터 수렴 프로토콜(protocol data convergence protocol, PDCP) 계층, 무선 자원 제어(radio resource control, RRC) 계층, 서비스 데이터 적응 프로토콜(service data adaptation protocol, SDAP), 비-접속 층(non-access stratum, NAS) 계층)로부터 기원한 정보를 나르는 자원 요소(resource element)들에 대응하는 하향링크 물리 채널들과, 물리 계층에 의해 사용되나 상위 계층으로부터 기원하는 정보를 나르지 않는 자원 요소들에 대응하는 하향링크 물리 신호들을 정의한다. 예를 들어, 물리 하향링크 공유 채널(physical downlink shared channel, PDSCH), 물리 브로드캐스트 채널(physical broadcast channel, PBCH), 물리 멀티캐스트 채널(physical multicast channel, PMCH), 물리 제어 포맷 지시자 채널(physical control format indicator channel, PCFICH), 물리 하향링크 제어 채널(physical downlink control channel, PDCCH)이 하향링크 물리 채널들로서 정의되어 있으며, 참조 신호와 동기 신호가 하향링크 물리 신호들로서 정의되어 있다. 파일럿(pilot)이라고도 지칭되는 참조 신호(reference signal, RS)는 BS와 UE가 서로 알고 있는 기정의된 특별한 파형의 신호를 의미하는데, 예를 들어, 셀 특정적 RS(cell specific RS), UE-특정적 RS(UE-specific RS, UE-RS), 포지셔닝 RS(positioning RS, PRS), 채널 상태 정보 RS(channel state information RS, CSI-RS), 복조 참조 신호(demodulation reference signal, DMRS)가 하향링크 참조 신호들로서 정의된다. 한편, 3GPP 기반 통신 표준은 상위 계층으로부터 기원한 정보를 나르는 자원 요소들에 대응하는 상향링크 물리 채널들과, 물리 계층에 의해 사용되나 상위 계층으로부터 기원하는 정보를 나르지 않는 자원 요소들에 대응하는 상향링크 물리 신호들을 정의하고 있다. 예를 들어, 물리 상향링크 공유 채널(physical uplink shared channel, PUSCH), 물리 상향링크 제어 채널(physical uplink control channel, PUCCH), 물리 임의 접속 채널(physical random access channel, PRACH)가 상향링크 물리 채널로서 정의되며, 상향링크 제어/데이터 신호를 위한 복조 참조 신호(demodulation reference signal, DMRS)와 상향링크 채널 측정에 사용되는 사운딩 참조 신호(sounding reference signal, SRS)가 정의된다.The 3GPP-based communication standard is an upper layer of the physical layer (e.g., medium access control (MAC) layer, radio link control (RLC) layer, packet data convergence protocol ( Origin from protocol data convergence protocol (PDCP) layer, radio resource control (RRC) layer, service data adaptation protocol (SDAP), non-access stratum (NAS) layer) Define downlink physical channels corresponding to resource elements carrying one information, and downlink physical signals corresponding to resource elements used by the physical layer but not carrying information originating from an upper layer. . For example, a physical downlink shared channel (PDSCH), a physical broadcast channel (PBCH), a physical multicast channel (PMCH), a physical control format indicator channel (physical control) A format indicator channel (PCFICH) and a physical downlink control channel (PDCCH) are defined as downlink physical channels, and a reference signal and a synchronization signal are defined as downlink physical signals. A reference signal (RS), also referred to as a pilot, refers to a signal of a predefined special waveform that the BS and the UE know each other. For example, a cell specific RS (RS), a UE- Specific RS (UE-specific RS, UE-RS), positioning RS (positioning RS, PRS), channel state information RS (channel state information RS, CSI-RS), demodulation reference signal (DMRS) down They are defined as link reference signals. Meanwhile, 3GPP-based communication standards correspond to uplink physical channels corresponding to resource elements carrying information originating from an upper layer, and resource elements used by the physical layer but not carrying information originating from an upper layer. It defines uplink physical signals. For example, a physical uplink shared channel (PUSCH), a physical uplink control channel (PUCCH), and a physical random access channel (PRACH) are used as uplink physical channels. It is defined, and a demodulation reference signal (DMRS) for an uplink control/data signal and a sounding reference signal (SRS) used for uplink channel measurement are defined.
본 명세에서 물리 공유 채널(예, PUSCH, PDSCH)은 물리 계층(physical layer)의 상위 계층(upper layer)(예, 매제 접속 제어(medium access control, MAC) 계층, 무선 링크 제어(radio link control, RLC) 계층, 패킷 데이터 수렴 프로토콜(protocol data convergence protocol, PDCP) 계층, 무선 자원 제어(radio resource control, RRC) 계층, 서비스 데이터 적응 프로토콜(service data adaptation protocol, SDAP), 비-접속 층(non-access stratum, NAS) 계층)로부터 기원한 정보를 나르는 데 사용된다.In this specification, a physical shared channel (e.g., PUSCH, PDSCH) is an upper layer of a physical layer (e.g., medium access control (MAC) layer, radio link control, RLC) layer, packet data convergence protocol (PDCP) layer, radio resource control (RRC) layer, service data adaptation protocol (SDAP), non-access layer It is used to carry information originating from the access stratum (NAS) layer.
본 명세에서 참조 신호(reference signal, RS)는 BS와 UE가 서로 알고 있는 기정의된 특별한 파형의 신호를 의미한다. 3GPP 기반 통신 시스템에서는, 예를 들어, 셀 공통 RS인 셀 특정적 RS(cell specific RS), 특정 UE를 위한 물리 채널의 복조를 위한 UE-특정적 RS(UE-specific RS, UE-RS), 하향링크 채널 상태를 측정/추정하기 위한 채널 상태 정보 RS(channel state information RS, CSI-RS), 물리 채널의 복조를 위한 복조 참조 신호(demodulation reference signal, DMRS)가 하향링크 RS들로서 정의되며, 상향링크 제어/데이터 신호의 복조를 위한 DMRS와 상향링크 채널 상태 측정/추정에 사용되는 사운딩 참조 신호(sounding reference signal, SRS)가 상향링크 RS들로서 정의된다. In this specification, a reference signal (RS) refers to a signal of a predefined special waveform that the BS and the UE know each other. In a 3GPP-based communication system, for example, a cell specific RS (cell specific RS) that is a cell common RS, a UE-specific RS (UE-RS) for demodulation of a physical channel for a specific UE, Channel state information RS (channel state information RS, CSI-RS) for measuring/estimating downlink channel state, and demodulation reference signal (DMRS) for demodulation of a physical channel are defined as downlink RSs. A DMRS for demodulation of a link control/data signal and a sounding reference signal (SRS) used for measuring/estimating an uplink channel state are defined as uplink RSs.
본 명세에서 수송 블록(transport block)은 물리 계층을 위한 페이로드(payload)이다. 예를 들어, 상위 계층 혹은 매체 접속 제어(medium access control, MAC) 계층으로부터 물리 계층에 주어진 데이터가 기본적으로 수송 블록으로 지칭된다. AR/VR 모듈을 포함하는 장치(AR/VR 장치)인 UE UE는 AR/VR 데이터를 포함하는 수송 블록을 PUSCH를 통해 무선 통신 네트워크(예, 5G 네트워크)로 전송할 수 있다. 혹은 UE는 5G 네트워크로부터의 AR/VR 데이터를 포함하는 수송 블록 혹은 상기 UE가 전송한 AR/VR 데이터와 관련된 응답을 포함하는 수송 블록을 상기 무선 통신 네트워크로부터 수신할 수 있다. In this specification, a transport block is a payload for a physical layer. For example, data given to a physical layer from an upper layer or a medium access control (MAC) layer is basically referred to as a transport block. UE, which is a device (AR/VR device) including an AR/VR module, may transmit a transport block including AR/VR data to a wireless communication network (eg, 5G network) through a PUSCH. Alternatively, the UE may receive a transport block including AR/VR data from the 5G network or a transport block including a response related to AR/VR data transmitted by the UE from the wireless communication network.
본 명세에서 HARQ(Hybrid Automatic Repeat and reQuest)는 오류 제어 방법의 일종이다. 하향링크를 통해 전송되는 HARQ-ACK(HARQ acknowledgement)은 상향링크 데이터에 대한 오류 제어를 위해 사용되며, 상향링크를 통해 전송되는 HARQ-ACK은 하향링크 데이터에 대한 오류 제어를 위해 사용된다. HARQ 동작을 수행하는 전송단은 데이터(예, 수송 블록, 코드워드)를 전송한 후 긍정 확인(ACK; acknowledgement)를 기다린다. HARQ 동작을 수행하는 수신단은 데이터를 제대로 받은 경우만 긍정 확인(ACK)을 보내며, 수신 데이터에 오류가 생긴 경우 부정 확인(negative ACK, NACK)을 보낸다. 전송단이 ACK을 수신한 경우에는 (새로운) 데이터를 전송할 수 있고, NACK을 수신한 경우에는 데이터를 재전송할 수 있다. In this specification, HARQ (Hybrid Automatic Repeat and ReQuest) is a kind of error control method. HARQ acknowledgment (HARQ-ACK) transmitted through downlink is used for error control of uplink data, and HARQ-ACK transmitted through uplink is used for error control of downlink data. The transmitting end performing the HARQ operation waits for an acknowledgment (ACK) after transmitting data (eg, transport block, codeword). The receiving end performing the HARQ operation sends an affirmative acknowledgment (ACK) only when data is properly received, and sends a negative acknowledgment (negative ACK, NACK) when an error occurs in the received data. When the transmitting end receives the ACK, it can transmit (new) data, and when it receives the NACK, it can retransmit the data.
본 명세에서 채널 상태 정보(channel state information, CSI)는 UE와 안테나 포트 사이에 형성되는 무선 채널(혹은 링크라고도 함)의 품질을 나타낼 수 있는 정보를 통칭한다. CSI는 채널 품질 지시자(channel quality indicator, CQI), 프리코딩 행렬 지시자 (precoding matrix indicator, PMI), CSI-RS 자원 지시자(CSI-RS resource indicator, CRI), SSB 자원 지시자(SSB resource indicator, SSBRI), 레이어 지시자(layer indicator, LI), 랭크 지시자(rank indicator, RI) 또는 참조 신호 수신 품질(reference signal received power, RSRP) 중 적어도 하나를 포함할 수 있다.In this specification, channel state information (CSI) collectively refers to information that can indicate the quality of a radio channel (or link) formed between the UE and the antenna port. CSI is a channel quality indicator (CQI), a precoding matrix indicator (PMI), a CSI-RS resource indicator (CSI-RS resource indicator, CRI), an SSB resource indicator (SSB resource indicator, SSBRI) , It may include at least one of a layer indicator (LI), a rank indicator (RI), or a reference signal received power (RSRP).
본 명세에서 주파수 분할 다중화(frequency division multiplexing, FDM)라 함은 신호/채널/사용자들을 서로 다른 주파수 자원에서 전송/수신하는 것을 의미할 수 있으며, 시간 분할 다중화(time division multiplexing, TDM)이라 함은 신호/채널/사용자들을 서로 다른 시간 자원에서 전송/수신하는 것을 의미할 수 있다.In this specification, frequency division multiplexing (FDM) may mean transmitting/receiving signals/channels/users in different frequency resources, and time division multiplexing (TDM) means It may mean transmitting/receiving signals/channels/users in different time resources.
본 명세에서 주파수 분할 듀플렉스(frequency division duplex, FDD)는 상향링크 반송파에서 상향링크 통신이 수행되고 상기 상향링크용 반송파에 링크된 하향링크용 반송파에서 하향링크 통신이 수행되는 통신 방식을 말하며, 시간 분할 듀플렉스(time division duplex, TDD)라 함은 상향링크 통신과 하향링크 통신이 동일 반송파에서 시간을 나누어 수행되는 통신 방식을 말한다. 한편, 본 명세에서 반-듀플렉스란 통신 장치가 한 시점에 일 주파수 상에서 상향링크 아니면 상향링크로만 동작하고, 다른 시점에는 다른 주파수 상에서 하향링크 아니면 상향링크로 동작하는 것을 말한다. 예를 들어, 통신 장치가 반-듀플렉스로 동작하는 경우, 상향링크 주파수와 하향링크 주파수를 사용하여 통신하되 상기 통신 장치는 상향링크 주파수와 하향링크 주파수를 동시에 사용하지 못하며, 시간을 나눠서 일정 시간 동안에는 상향링크 주파수를 통해 상향링크 전송을 수행하고 다른 일정 시간 동안에는 하향링크 주파수로 리튜닝하여 하향링크 수신을 수행한다.In this specification, frequency division duplex (FDD) refers to a communication method in which uplink communication is performed on an uplink carrier and downlink communication is performed on a downlink carrier linked to the uplink carrier, and time division Duplex (time division duplex, TDD) refers to a communication method in which uplink communication and downlink communication are performed by dividing time on the same carrier. Meanwhile, in the present specification, a half-duplex refers to that a communication device operates only in uplink or uplink on one frequency at one point in time, and operates in downlink or uplink on another frequency at another point in time. For example, when a communication device operates in half-duplex, the communication device communicates using an uplink frequency and a downlink frequency, but the communication device cannot use an uplink frequency and a downlink frequency at the same time. Uplink transmission is performed through an uplink frequency, and downlink reception is performed by retuning to a downlink frequency for another predetermined time.
도 1은 3GPP 기반 시스템에서 물리 신호/채널들의 매핑되는 자원 격자를 예시한 것이다.1 illustrates a resource grid to which physical signals/channels are mapped in a 3GPP-based system.
도 1을 참고하면, 각 부반송파 간격 설정 및 반송파에 대해, 개 부반송파들 및 OFDM 심볼들의 자원 격자가 정의되며, 여기서 는 BS로부터의 RRC 시그널링에 의해 지시된다. μ는 부반송파 간격 △f = 2μ*15 [kHz]를 나타내며, 5G 시스템에서 μ∈{0, 1, 2, 3, 4}이다. 1, for each subcarrier spacing and carrier, Dog subcarriers and A resource grid of OFDM symbols is defined, where Is indicated by RRC signaling from the BS. μ represents the subcarrier spacing △f = 2μ*15 [kHz], and is μ∈{0, 1, 2, 3, 4} in the 5G system.
는 부반송파 간격 설정 μ뿐만 아니라 상향링크와 하향링크 간에도 달라질 수 있다. 부반송파 간격 설정 μ, 안테나 포트 p 및 전송 방향(상향링크 또는 하향링크)에 대해 하나의 자원 격자가 있다. 부반송파 간격 설정 μ 및 안테나 포트 p에 대한 자원 격자의 각 요소는 자원 요소(resource element)로 지칭되고, 인덱스 쌍 (k,l)에 의해 고유하게(uniquely) 식별되며, 여기서 k는 주파수 도메인에서의 인덱스이고, l은 참조 포인트에 대해 상대적인 시간 도메인 내 심볼 위치를 지칭한다. 물리 채널들의 자원 요소들로의 매핑을 위해 사용되는 주파수 단위인 자원 블록(resource block, RB)는 주파수 도메인에서 개의 연속적인(consecutive) 부반송파들로 정의된다. 5G 시스템에서는, 상기 5G 시스템이 지원하는 넓은 대역폭을 UE가 한 번에 지원할 수 없을 수 있다는 점을 고려하여, UE가 셀의 주파수 대역폭 중 일부(이하, 대역폭 파트(bandwidth part, BWP))에서 동작하도록 설정될 수 있다. May vary between uplink and downlink as well as the subcarrier interval setting μ. There is one resource grid for subcarrier spacing μ, antenna port p, and transmission direction (uplink or downlink). Each element of the resource grid for subcarrier spacing μ and antenna port p is referred to as a resource element and is uniquely identified by an index pair (k,l), where k is in the frequency domain. Is an index, and l refers to a symbol position in the time domain relative to the reference point. A resource block (RB), which is a frequency unit used for mapping physical channels to resource elements, is It is defined as four consecutive subcarriers. In the 5G system, considering that the UE may not be able to support a wide bandwidth supported by the 5G system at once, the UE operates in part of the frequency bandwidth of the cell (hereinafter, referred to as bandwidth part (BWP)). Can be set to
본 명세에서 사용된 배경기술, 용어, 약어 등에 관해서는 본 발명 이전에 공개된 표준 문서에 기재된 사항을 참조할 수 있다. 예를 들어, 다음 문서를 참조할 수 있다.Background art, terms, abbreviations, and the like used in the present specification may refer to matters described in standard documents published before the present invention. For example, you can refer to the following documents:
3GPP LTE3GPP LTE
- 3GPP TS 36.211: Physical channels and modulation-3GPP TS 36.211: Physical channels and modulation
- 3GPP TS 36.212: Multiplexing and channel coding-3GPP TS 36.212: Multiplexing and channel coding
- 3GPP TS 36.213: Physical layer procedures-3GPP TS 36.213: Physical layer procedures
- 3GPP TS 36.214: Physical layer; Measurements-3GPP TS 36.214: Physical layer; Measurements
- 3GPP TS 36.300: Overall description-3GPP TS 36.300: Overall description
- 3GPP TS 36.304: User Equipment (UE) procedures in idle mode-3GPP TS 36.304: User Equipment (UE) procedures in idle mode
- 3GPP TS 36.314: Layer 2 - Measurements-3GPP TS 36.314: Layer 2-Measurements
- 3GPP TS 36.321: Medium Access Control (MAC) protocol-3GPP TS 36.321: Medium Access Control (MAC) protocol
- 3GPP TS 36.322: Radio Link Control (RLC) protocol-3GPP TS 36.322: Radio Link Control (RLC) protocol
- 3GPP TS 36.323: Packet Data Convergence Protocol (PDCP)-3GPP TS 36.323: Packet Data Convergence Protocol (PDCP)
- 3GPP TS 36.331: Radio Resource Control (RRC) protocol-3GPP TS 36.331: Radio Resource Control (RRC) protocol
- 3GPP TS 23.303: Proximity-based services (Prose); Stage 2-3GPP TS 23.303: Proximity-based services (Prose);
- 3GPP TS 23.285: Architecture enhancements for V2X services-3GPP TS 23.285: Architecture enhancements for V2X services
- 3GPP TS 23.401: General Packet Radio Service (GPRS) enhancements for Evolved Universal Terrestrial Radio Access Network (E-UTRAN) access-3GPP TS 23.401: General Packet Radio Service (GPRS) enhancements for Evolved Universal Terrestrial Radio Access Network (E-UTRAN) access
- 3GPP TS 23.402: Architecture enhancements for non-3GPP accesses-3GPP TS 23.402: Architecture enhancements for non-3GPP accesses
- 3GPP TS 23.286: Application layer support for V2X services; Functional architecture and information flows-3GPP TS 23.286: Application layer support for V2X services; Functional architecture and information flows
- 3GPP TS 24.301: Non-Access-Stratum (NAS) protocol for Evolved Packet System (EPS); Stage 3-3GPP TS 24.301: Non-Access-Stratum (NAS) protocol for Evolved Packet System (EPS);
- 3GPP TS 24.302: Access to the 3GPP Evolved Packet Core (EPC) via non-3GPP access networks; Stage 3-3GPP TS 24.302: Access to the 3GPP Evolved Packet Core (EPC) via non-3GPP access networks;
- 3GPP TS 24.334: Proximity-services (ProSe) User Equipment (UE) to ProSe function protocol aspects; Stage 3-3GPP TS 24.334: Proximity-services (ProSe) User Equipment (UE) to ProSe function protocol aspects;
- 3GPP TS 24.386: User Equipment (UE) to V2X control function; protocol aspects; Stage 3-3GPP TS 24.386: User Equipment (UE) to V2X control function; protocol aspects;
3GPP NR (e.g. 5G)3GPP NR (e.g. 5G)
- 3GPP TS 38.211: Physical channels and modulation-3GPP TS 38.211: Physical channels and modulation
- 3GPP TS 38.212: Multiplexing and channel coding-3GPP TS 38.212: Multiplexing and channel coding
- 3GPP TS 38.213: Physical layer procedures for control-3GPP TS 38.213: Physical layer procedures for control
- 3GPP TS 38.214: Physical layer procedures for data-3GPP TS 38.214: Physical layer procedures for data
- 3GPP TS 38.215: Physical layer measurements-3GPP TS 38.215: Physical layer measurements
- 3GPP TS 38.300: NR and NG-RAN Overall Description-3GPP TS 38.300: NR and NG-RAN Overall Description
- 3GPP TS 38.304: User Equipment (UE) procedures in idle mode and in RRC inactive state-3GPP TS 38.304: User Equipment (UE) procedures in idle mode and in RRC inactive state
- 3GPP TS 38.321: Medium Access Control (MAC) protocol-3GPP TS 38.321: Medium Access Control (MAC) protocol
- 3GPP TS 38.322: Radio Link Control (RLC) protocol-3GPP TS 38.322: Radio Link Control (RLC) protocol
- 3GPP TS 38.323: Packet Data Convergence Protocol (PDCP)-3GPP TS 38.323: Packet Data Convergence Protocol (PDCP)
- 3GPP TS 38.331: Radio Resource Control (RRC) protocol-3GPP TS 38.331: Radio Resource Control (RRC) protocol
- 3GPP TS 37.324: Service Data Adaptation Protocol (SDAP)-3GPP TS 37.324: Service Data Adaptation Protocol (SDAP)
- 3GPP TS 37.340: Multi-connectivity; Overall description-3GPP TS 37.340: Multi-connectivity; Overall description
- 3GPP TS 23.287: Application layer support for V2X services; Functional architecture and information flows-3GPP TS 23.287: Application layer support for V2X services; Functional architecture and information flows
- 3GPP TS 23.501: System Architecture for the 5G System-3GPP TS 23.501: System Architecture for the 5G System
- 3GPP TS 23.502: Procedures for the 5G System-3GPP TS 23.502: Procedures for the 5G System
- 3GPP TS 23.503: Policy and Charging Control Framework for the 5G System; Stage 2-3GPP TS 23.503: Policy and Charging Control Framework for the 5G System;
- 3GPP TS 24.501: Non-Access-Stratum (NAS) protocol for 5G System (5GS); Stage 3-3GPP TS 24.501: Non-Access-Stratum (NAS) protocol for 5G System (5GS);
- 3GPP TS 24.502: Access to the 3GPP 5G Core Network (5GCN) via non-3GPP access networks-3GPP TS 24.502: Access to the
- 3GPP TS 24.526: User Equipment (UE) policies for 5G System (5GS); Stage 3-3GPP TS 24.526: User Equipment (UE) policies for 5G System (5GS);
도 2는 3GPP 신호 전송/수신 방법의 일례를 나타낸 도이다.2 is a diagram showing an example of a 3GPP signal transmission/reception method.
도 2를 참고하면, UE는 전원이 켜지거나 새로이 셀에 진입한 경우 BS와 동기를 맞추는 등의 초기 셀 탐색(initial cell search) 작업을 수행한다(S201). 이를 위해, UE는 BS로부터 1차 동기 채널(primary synchronization channel, P-SCH) 및 2차 동기 채널(secondary synchronization channel, S-SCH)을 수신하여 BS와 동기를 맞추고, 셀 ID 등의 정보를 획득할 수 있다. LTE 시스템과 NR 시스템에서 P-SCH와 S-SCH는 각각 1차 동기 신호(primary synchronization signal, PSS)와 2차 동기 신호(secondary synchronization signal, SSS)로 불린다. 상기 초기 셀 탐색 절차는 이하에서 더 상세히 설명된다.Referring to FIG. 2, when the UE is powered on or newly enters a cell, the UE performs an initial cell search operation such as synchronizing with the BS (S201). To this end, the UE receives a primary synchronization channel (P-SCH) and a secondary synchronization channel (S-SCH) from the BS, synchronizes with the BS, and obtains information such as cell ID. can do. In the LTE system and the NR system, the P-SCH and S-SCH are referred to as a primary synchronization signal (PSS) and a secondary synchronization signal (SSS), respectively. The initial cell search procedure is described in more detail below.
초기 셀 탐색 후, UE는 BS로부터 물리 브로드캐스트 채널(physical broadcast channel, PBCH)를 수신하여 셀 내 브로드캐스트 정보를 획득할 수 있다. 한편, UE는 초기 셀 탐색 단계에서 하향링크 참조 신호(downlink reference Signal, DL RS)를 수신하여 하향링크 채널 상태를 확인할 수 있다.After initial cell discovery, the UE may obtain intra-cell broadcast information by receiving a physical broadcast channel (PBCH) from the BS. Meanwhile, the UE may check a downlink channel state by receiving a downlink reference signal (DL RS) in the initial cell search step.
초기 셀 탐색을 마친 UE는 PDCCH 및 상기 PDCCH에 실린 정보에 따라 PDSCH를 수신함으로써 좀더 구체적인 시스템 정보를 획득할 수 있다(S202).After completing the initial cell search, the UE may obtain more detailed system information by receiving the PDCCH and the PDSCH according to the information carried on the PDCCH (S202).
한편, BS에 최초로 접속하거나 신호 전송을 위한 무선 자원이 없는 경우 UE는 BS에 대해 임의 접속 과정(random access procedure)을 수행할 수 있다(단계 S203 내지 단계 S206). 이를 위해, UE는 PRACH를 통해 특정 시퀀스를 프리앰블로서 전송하고(S203 및 S205), PDCCH 및 대응하는 PDSCH를 통해 프리앰블에 대한 임의 접속 응답(random access response, RAR) 메시지를 수신할 수 있다(S204 및 S206). 경쟁 기반 임의 접속 과정의 경우, 추가적으로 충돌 해결 과정(contention resolution procedure)를 수행할 수 있다. 상기 임의 접속 과정은 이하에서 더 상세히 설명된다.Meanwhile, when accessing the BS for the first time or when there is no radio resource for signal transmission, the UE may perform a random access procedure for the BS (steps S203 to S206). To this end, the UE may transmit a specific sequence as a preamble through the PRACH (S203 and S205), and receive a random access response (RAR) message for the preamble through the PDCCH and the corresponding PDSCH (S204 and S206). In the case of a contention-based random access process, a contention resolution procedure may be additionally performed. The random access process is described in more detail below.
상술한 바와 같은 과정을 수행한 UE는 이후 일반적인 상향링크/하향링크 신호 전송 과정으로서 PDCCH/PDSCH 수신(S207) 및 PUSCH/PUCCH 전송(S208)을 수행할 수 있다. 특히 UE는 PDCCH를 통하여 DCI를 수신한다. After performing the above-described process, the UE may perform PDCCH/PDSCH reception (S207) and PUSCH/PUCCH transmission (S208) as a general uplink/downlink signal transmission process. In particular, the UE receives the DCI through the PDCCH.
UE는 해당 탐색 공간 설정(configuration)들에 따라 서빙 셀 상의 하나 이상의 제어 요소 세트(control element set, CORESET)들에 설정된 모니터링 기회(occasion)들에서 PDCCH 후보(candidate)들의 세트를 모니터링한다. UE가 모니터할 PDCCH 후보들의 세트는 탐색 공간 세트들의 관점에서 정의되며, 탐색 공간 세트는 공통 탐색 공간 세트 또는 UE-특정 탐색 공간 세트일 수 있다. CORESET은 1~3개 OFDM 심볼들의 시간 지속기간을 갖는 (물리) 자원 블록들의 세트로 구성된다. 네트워크는 UE가 복수의 CORESET들을 갖도록 설정할 수 있다. UE는 하나 이상의 탐색 공간 세트들 내 PDCCH 후보들을 모니터링한다. 여기서 모니터링이라 함은 탐색 공간 내 PDCCH 후보(들)에 대한 디코딩을 시도하는 것을 의미한다. UE가 탐색 공간 내 PDCCH 후보들 중 하나에 대한 디코딩에 성공하면, 상기 UE는 해당 PDCCH 후보에서 PDCCH를 검출했다고 판단하고, 상기 검출된 PDCCH 내 DCI를 기반으로 PDSCH 수신 혹은 PUSCH 전송을 수행한다.The UE monitors the set of PDCCH candidates from monitoring opportunities set in one or more control element sets (CORESET) on the serving cell according to the corresponding search space configurations. The set of PDCCH candidates to be monitored by the UE is defined in terms of search space sets, and the search space set may be a common search space set or a UE-specific search space set. CORESET consists of a set of (physical) resource blocks with a time duration of 1 to 3 OFDM symbols. The network can configure the UE to have multiple CORESETs. The UE monitors PDCCH candidates in one or more search space sets. Here, monitoring means attempting to decode PDCCH candidate(s) in the search space. If the UE succeeds in decoding one of the PDCCH candidates in the discovery space, the UE determines that the PDCCH is detected in the corresponding PDCCH candidate, and performs PDSCH reception or PUSCH transmission based on the detected DCI in the PDCCH.
PDCCH는 PDSCH 상의 DL 전송들 및 PUSCH 상의 UL 전송들을 스케줄링하는 데 사용될 수 있다. 여기서 PDCCH 상의 DCI는 하향링크 공유 채널과 관련된, 변조(modulation) 및 코딩 포맷과 자원 할당(resource allocation) 정보를 적어도 포함하는 하향링크 배정(assignment)(즉, DL 그랜트), 또는 상향링크 공유 채널과 관련된, 변조 및 코딩 포맷과 자원 할당 정보를 포함하는 상향링크 그랜트(UL grant)를 포함한다.The PDCCH can be used to schedule DL transmissions on the PDSCH and UL transmissions on the PUSCH. Here, the DCI on the PDCCH is a downlink assignment (i.e., a DL grant) including at least information on a modulation and coding format and resource allocation related to a downlink shared channel, or an uplink shared channel. It includes an UL grant including related, modulation and coding format and resource allocation information.
초기 접속 (Initial Access, IA) 과정Initial Access (IA) process
SSB(Synchronization Signal Block) 전송 및 관련 동작SSB (Synchronization Signal Block) transmission and related operations
도 3은 SSB 구조를 예시한다. UE는 SSB에 기반하여 셀 탐색(search), 시스템 정보 획득, 초기 접속을 위한 빔 정렬, DL 측정 등을 수행할 수 있다. SSB라는 용어는 SS/PBCH(Synchronization Signal/Physical Broadcast channel) 블록이라는 용어와 혼용된다.3 illustrates an SSB structure. The UE may perform cell search, system information acquisition, beam alignment for initial access, and DL measurement based on the SSB. The term SSB is used interchangeably with the term SS/PBCH (Synchronization Signal/Physical Broadcast Channel) block.
도 3을 참조하면, SSB는 PSS, SSS와 PBCH로 구성된다. SSB는 4개의 연속된 OFDM 심볼들에 구성되며, OFDM 심볼별로 PSS, PBCH, SSS/PBCH 또는 PBCH가 전송된다. PBCH는 폴라(Polar) 코드를 기반으로 인코딩/디코딩되고, QPSK(Quadrature Phase Shift Keying)에 따라 변조(modulation)/복조(demodulation)된다. OFDM 심볼 내 PBCH는 PBCH의 복소 변조 값이 매핑되는 데이터 자원 요소(resource element, RE)들과 상기 PBCH를 위한 복조 참조 신호(demodulation reference signal, DMRS)가 매핑되는 DMRS RE들로 구성된다. OFDM 심볼의 자원 블록별로 3개의 DMRS RE가 존재하며, DMRS RE 사이에는 3개의 데이터 RE가 존재한다.Referring to FIG. 3, the SSB is composed of PSS, SSS and PBCH. The SSB is composed of four consecutive OFDM symbols, and PSS, PBCH, SSS/PBCH or PBCH are transmitted for each OFDM symbol. The PBCH is encoded/decoded based on a Polar code, and modulated/demodulated according to Quadrature Phase Shift Keying (QPSK). The PBCH in the OFDM symbol is composed of data resource elements (REs) to which a complex modulation value of the PBCH is mapped and DMRS REs to which a demodulation reference signal (DMRS) for the PBCH is mapped. Three DMRS REs exist for each resource block of an OFDM symbol, and three data REs exist between the DMRS REs.
셀 탐색(search)Cell search
셀 탐색은 UE가 셀의 시간/주파수 동기를 획득하고, 상기 셀의 셀 ID(Identifier)(예, Physical layer Cell ID, PCI)를 검출하는 과정을 의미한다. PSS는 셀 ID 그룹 내에서 셀 ID를 검출하는데 사용되고, SSS는 셀 ID 그룹을 검출하는데 사용된다. PBCH는 SSB (시간) 인덱스 검출 및 하프-프레임 검출에 사용된다.Cell discovery refers to a process in which the UE acquires time/frequency synchronization of a cell and detects a cell identifier (eg, Physical layer Cell ID, PCI) of the cell. PSS is used to detect a cell ID within a cell ID group, and SSS is used to detect a cell ID group. PBCH is used for SSB (time) index detection and half-frame detection.
5G 시스템에서는 336개의 셀 ID 그룹이 존재하고, 셀 ID 그룹 별로 3개의 셀 ID가 존재한다. 총 1008개의 셀 ID가 존재한다. 셀의 셀 ID가 속한 셀 ID 그룹에 관한 정보는 상기 셀의 SSS를 통해 제공/획득되며, 상기 셀 ID 내 336개 셀들 중 상기 셀 ID에 관한 정보는 PSS를 통해 제공/획득된다In the 5G system, there are 336 cell ID groups, and three cell IDs exist for each cell ID group. There are a total of 1008 cell IDs. Information on the cell ID group to which the cell ID of the cell belongs is provided/obtained through the SSS of the cell, and information on the cell ID among 336 cells in the cell ID is provided/obtained through the PSS.
SSB는 SSB 주기(periodicity)에 맞춰 주기적으로 전송된다. 초기 셀 탐색 시에 UE가 가정하는 SSB 기본 주기는 20ms로 정의된다. 셀 접속 후, SSB 주기는 네트워크(예, BS)에 의해 {5ms, 10ms, 20ms, 40ms, 80ms, 160ms} 중 하나로 설정될 수 있다. SSB 주기의 시작 부분에 SSB 버스트(burst) 세트가 구성된다. SSB 버스트 세트는 5ms 시간 윈도우(즉, 하프-프레임)로 구성되며, SSB는 SS 버스트 세트 내에서 최대 L번 전송될 수 있다. SSB의 최대 전송 횟수 L은 반송파의 주파수 대역에 따라 다음과 같이 주어질 수 있다. SSB is transmitted periodically according to the SSB period. The SSB basic period assumed by the UE during initial cell search is defined as 20 ms. After cell access, the SSB period may be set to one of {5ms, 10ms, 20ms, 40ms, 80ms, 160ms} by the network (eg, BS). At the beginning of the SSB period, a set of SSB bursts is constructed. The SSB burst set consists of a 5 ms time window (ie, half-frame), and the SSB can be transmitted up to L times within the SS burst set. The maximum number of transmissions L of the SSB may be given as follows according to the frequency band of the carrier.
- For frequency range up to 3 GHz, L = 4-For frequency range up to 3 GHz, L = 4
- For frequency range from 3GHz to 6 GHz, L = 8-For frequency range from 3GHz to 6 GHz, L = 8
- For frequency range from 6 GHz to 52.6 GHz, L = 64-For frequency range from 6 GHz to 52.6 GHz, L = 64
하프-프레임 내 SSB들의 가능한(possible) 시간 위치들은 부반송파 간격에 의해 결정되고, SSB들이 전송되는 하프-프레임들의 주기(periodicity)는 네트워크에 의해 설정된다. SSB 후보의 시간 위치는 SSB 버스트 세트(즉, 하프-프레임) 내에서 시간 순서에 따라 0 ~ L-1로 인덱싱된다(SSB 인덱스). 하프-프레임 동안, 다른 SSB들이 (셀의 커버리지 영역을 스팬하는, 다른 빔들을 사용하여) 다른 공간(spatial) 방향들로 전송될 수 있다. 따라서, 5G 시스템에서 SSBI는 BS Tx 빔 방향과 연관될 수 있다.Possible temporal positions of SSBs in a half-frame are determined by a subcarrier spacing, and a period of half-frames in which SSBs are transmitted is set by a network. The temporal position of the SSB candidate is indexed from 0 to L-1 in the temporal order within the SSB burst set (ie, half-frame) (SSB index). During a half-frame, different SSBs may be transmitted in different spatial directions (using different beams, spanning the cell's coverage area). Therefore, in the 5G system, the SSBI may be associated with the BS Tx beam direction.
UE는 SSB를 검출함으로써 DL 동기를 획득할 수 있다. UE는 검출된 SSB (시간) 인덱스(SSB index, SSBI)에 기반하여 SSB 버스트 세트의 구조를 식별할 수 있고, 이에 따라 심볼/슬롯/하프-프레임 경계를 검출할 수 있다. 검출된 SSB가 속하는 프레임/하프-프레임의 번호는 시스템 프레임 번호(system frame number, SFN) 정보와 하프-프레임 지시 정보를 이용하여 식별될 수 있다.The UE can acquire DL synchronization by detecting the SSB. The UE may identify the structure of the SSB burst set based on the detected SSB (time) index (SSB index, SSBI), and thus detect a symbol/slot/half-frame boundary. The frame/half-frame number to which the detected SSB belongs may be identified using system frame number (SFN) information and half-frame indication information.
구체적으로, UE는 PBCH로부터 상기 PBCH가 속한 프레임에 대한 10 비트의 SFN을 획득할 수 있다. 다음으로, UE는 1 비트의 하프-프레임 지시 정보를 획득할 수 있다. 예를 들어, UE가 하프-프레임 지시 비트가 0으로 세팅된 PBCH를 검출한 경우에는 상기 PBCH가 속한 SSB가 프레임 내 첫 번째 하프-프레임에 속한다고 판단할 수 있고, 하프-프레임 지시 비트가 1로 세팅된 PBCH를 검출한 경우에는 상기 PBCH가 속한 SSB가 프레임 내 두 번째 하프-프레임에 속한다고 판단할 수 있다. 마지막으로, UE는 DMRS 시퀀스와 PBCH가 나르는 PBCH 페이로드에 기반하여 상기 PBCH가 속한 SSB의 SSBI를 획득할 수 있다.Specifically, the UE may obtain a 10-bit SFN for a frame to which the PBCH belongs from the PBCH. Next, the UE may obtain 1-bit half-frame indication information. For example, when the UE detects a PBCH in which the half-frame indication bit is set to 0, it may be determined that the SSB to which the PBCH belongs belongs to the first half-frame in the frame, and the half-frame indication bit is 1 When the PBCH set to is detected, it may be determined that the SSB to which the PBCH belongs belongs to the second half-frame in the frame. Finally, the UE may obtain the SSBI of the SSB to which the PBCH belongs based on the DMRS sequence and the PBCH payload carried by the PBCH.
시스템 정보 (system information; SI) 획득System information (SI) acquisition
SI는 마스터 정보 블록(master information block, MIB)와 복수의 시스템 정보 블록(system information block, SIB)들로 나눠진다. MIB 외의 SI는 RMSI(Remaining Minimum System Information)으로 지칭될 수 있다. 자세한 사항은 다음을 참조할 수 있다. SI is divided into a master information block (MIB) and a plurality of system information blocks (SIB). SI other than MIB may be referred to as RMSI (Remaining Minimum System Information). For details, refer to the following.
- MIB는 SIB1(SystemInformationBlock1)을 나르는 PDSCH를 스케줄링하는 PDCCH의 모니터링을 위한 정보/파라미터를 포함하며 SSB의 PBCH를 통해 BS에 의해 전송된다. 예를 들어, UE는 MIB에 기반하여 Type0-PDCCH 공통 탐색 공간(common search space)을 위한 CORESET(Control Resource Set)이 존재하는지 확인할 수 있다. Type0-PDCCH 공통 탐색 공간은 PDCCH 탐색 공간의 일종이며, SI 메시지를 스케줄링하는 PDCCH를 전송하는 데 사용된다. Type0-PDCCH 공통 탐색 공간이 존재하는 경우, UE는 MIB 내의 정보(예, pdcch-ConfigSIB1)에 기반하여 (i) CORESET을 구성하는 복수의 인접(contiguous) 자원 블록들 및 하나 이상의 연속된(consecutive) 심볼들과 (ii) PDCCH 기회(occasion)(예, PDCCH 수신을 위한 시간 도메인 위치)를 결정할 수 있다. -The MIB includes information/parameters for monitoring the PDCCH that schedules the PDSCH carrying SIB1 (SystemInformationBlock1), and is transmitted by the BS through the PBCH of the SSB. For example, the UE may check whether there is a CORESET (Control Resource Set) for the Type0-PDCCH common search space based on the MIB. The Type0-PDCCH common search space is a kind of PDCCH search space, and is used to transmit a PDCCH for scheduling SI messages. When there is a Type0-PDCCH common search space, the UE is based on information in the MIB (e.g., pdcch-ConfigSIB1), based on (i) a plurality of contiguous resource blocks constituting CORESET and one or more consecutive (consecutive) Symbols and (ii) a PDCCH opportunity (eg, a time domain location for PDCCH reception) may be determined.
- SIB1은 나머지 SIB들(이하, SIBx, x는 2 이상의 정수)의 가용성(availability) 및 스케줄링(예, 전송 주기, SI-윈도우 크기)과 관련된 정보를 포함한다. 예를 들어, SIB1은 SIBx가 주기적으로 브로드캐스트되는지 on-demand 방식에 의해 UE의 요청에 의해 제공되는지 여부를 알려줄 수 있다. SIBx가 on-demand 방식에 의해 제공되는 경우, SIB1은 UE가 SI 요청을 수행하는 데 필요한 정보를 포함할 수 있다. SIB1을 스케줄링 하는 PDCCH는 Type0-PDCCH 공통 탐색 공간을 통해 전송되며, SIB1은 상기 PDCCH에 의해 지시되는 PDSCH를 통해 전송된다.-SIB1 includes information related to availability and scheduling (eg, transmission period, SI-window size) of the remaining SIBs (hereinafter, SIBx, x is an integer greater than or equal to 2). For example, SIB1 may inform whether SIBx is periodically broadcast or provided at a request of a UE by an on-demand method. When SIBx is provided by an on-demand method, SIB1 may include information necessary for the UE to perform an SI request. The PDCCH scheduling SIB1 is transmitted through the Type0-PDCCH common search space, and SIB1 is transmitted through the PDSCH indicated by the PDCCH.
- SIBx는 SI 메시지에 포함되며 PDSCH를 통해 전송된다. 각각의 SI 메시지는 주기적으로 발생하는 시간 윈도우(즉, SI-윈도우) 내에서 전송된다.-SIBx is included in the SI message and transmitted through the PDSCH. Each SI message is transmitted within a periodic time window (ie, SI-window).
임의 접속(Random Access) 과정Random Access Process
임의 접속 과정은 다양한 용도로 사용된다. 예를 들어, 임의 접속 과정은 네트워크 초기 접속, 핸드오버, UE-트리거드(triggered) UL 데이터 전송에 사용될 수 있다. UE는 임의 접속 과정을 통해 UL 동기와 UL 전송 자원을 획득할 수 있다. 임의 접속 과정은 경쟁 기반(contention-based) 임의 접속 과정과 경쟁 프리(contention free) 임의 접속 과정으로 구분된다. The random access process is used for various purposes. For example, the random access procedure may be used for initial network access, handover, and UE-triggered UL data transmission. The UE may acquire UL synchronization and UL transmission resources through a random access process. The random access process is divided into a contention-based random access process and a contention free random access process.
도 4는 임의 접속 과정의 일례를 예시한다. 특히 도 4는 경쟁 기반 임의 접속 과정을 예시한다.4 illustrates an example of a random access process. In particular, Figure 4 illustrates a contention-based random access process.
먼저, UE가 UL에서 임의 접속 과정의 Msg1로서 임의 접속 프리앰블을 PRACH를 통해 전송할 수 있다. 본 명세에서 임의 접속 과정과 임의 접속 프리앰블은 각각(respectively) RACH 과정과 RACH 프리앰블로도 칭해진다.First, the UE may transmit a random access preamble through the PRACH as Msg1 in the random access procedure in the UL. In this specification, the random access process and the random access preamble are also referred to as RACH processes and RACH preambles, respectively.
다수의 프리앰블 포맷들이 하나 또는 그 이상의 RACH OFDM 심볼들 및 서로 다른 순환 프리픽스(cyclic prefix, CP) (및/또는 가드 시간(guard time))에 의해 정의된다. 셀을 위한 RACH 설정(configuration)이 상기 셀의 시스템 정보에 포함되어 UE에게 제공된다. 상기 RACH 설정은 PRACH의 부반송파 간격, 이용 가능한 프리앰블들, 프리앰블 포맷 등에 관한 정보를 포함한다. 상기 RACH 설정은 SSB들과 RACH (시간-주파수) 자원들 간의 연관 정보, 즉, SSB 인덱스(SSB index, SSBI)들과 RACH (시간-주파수) 자원들 간의 연관 정보를 포함한다. SSBI들은 BS의 Tx 빔들과 각각(respectively) 연관된다. UE는 검출한 혹은 선택한 SSB와 연관된 RACH 시간-주파수 자원에서 RACH 프리앰블을 전송한다. BS는 RACH 프리앰블이 검출된 시간-주파수 자원을 기반으로 해당 UE가 선호하는 BS Tx 빔을 알 수 있다.Multiple preamble formats are defined by one or more RACH OFDM symbols and different cyclic prefix (CP) (and/or guard time). RACH configuration for the cell is included in the system information of the cell and provided to the UE. The RACH configuration includes information on a subcarrier spacing of the PRACH, available preambles, and preamble format. The RACH configuration includes association information between SSBs and RACH (time-frequency) resources, that is, association information between SSB indexes (SSBIs) and RACH (time-frequency) resources. SSBIs are respectively associated with the Tx beams of the BS. The UE transmits the RACH preamble in the RACH time-frequency resource associated with the detected or selected SSB. The BS may know the BS Tx beam preferred by the UE based on the time-frequency resource in which the RACH preamble is detected.
RACH 자원 연관을 위한 SSB의 임계값이 네트워크에 의해 설정될 수 있으며, SSB 기반으로 측정된 RSRP가 상기 임계값을 충족하는 SSB를 기반으로 RACH 프리앰블의 전송(즉, PRACH 전송) 또는 재전송이 수행된다. 예를 들어, UE는 임계값을 충족하는 SSB(들) 중 하나를 선택하고, 선택된 SSB에 연관된 RACH 자원을 기반으로 RACH 프리앰블을 전송 또는 재전송할 수 있다.The SSB threshold for RACH resource association may be set by the network, and the RACH preamble transmission (i.e., PRACH transmission) or retransmission is performed based on the SSB in which the RSRP measured based on the SSB satisfies the threshold value. . For example, the UE may select one of SSB(s) meeting the threshold value, and transmit or retransmit the RACH preamble based on the RACH resource associated with the selected SSB.
BS가 UE로부터 RACH 프리앰블을 수신하면, BS는 RAR 메시지(Msg2)를 상기 UE에게 전송한다. RAR을 나르는 PDSCH를 스케줄링하는 PDCCH는 임의 접속(random access, RA) 무선 네트워크 임시 식별자(radio network temporary identifier, RNTI)(RA-RNTI)로 CRC 마스킹되어 전송된다. RA-RNTI로 마스킹된 PDCCH를 검출한 UE는 상기 PDCCH가 나르는 DCI가 스케줄링하는 PDSCH로부터 RAR을 수신할 수 있다. UE는 자신이 전송한 프리앰블, 즉, Msg1에 대한 RAR 정보가 상기 RAR 내에 있는지 확인한다. 자신이 전송한 Msg1에 대한 임의 접속 정보가 존재하는지 여부는 상기 UE가 전송한 프리앰블에 대한 RACH 프리앰블 ID가 존재하는지 여부에 의해 판단될 수 있다. Msg1에 대한 응답이 없으면, UE는 전력 램핑(power ramping)을 수행하면서 RACH 프리앰블을 소정의 횟수 이내에서 재전송할 수 있다. UE는 가장 최근의 경로 손실 및 전력 램핑 카운터를 기반으로 프리앰블의 재전송에 대한 PRACH 전송 전력을 계산한다. When the BS receives the RACH preamble from the UE, the BS transmits a RAR message (Msg2) to the UE. The PDCCH for scheduling the PDSCH carrying RAR is transmitted after being CRC masked with a random access (RA) radio network temporary identifier (RNTI) (RA-RNTI). A UE that detects a PDCCH masked with RA-RNTI may receive an RAR from a PDSCH scheduled by a DCI carried by the PDCCH. The UE checks whether the preamble transmitted by the UE, that is, RAR information for Msg1, is in the RAR. Whether there is random access information for Msg1 transmitted by the UE may be determined based on whether there is a RACH preamble ID for a preamble transmitted by the UE. If there is no response to Msg1, the UE may retransmit the RACH preamble within a predetermined number of times while performing power ramping. The UE calculates the PRACH transmission power for retransmission of the preamble based on the most recent path loss and power ramping counter.
UE가 PDSCH 상에서 자신에 대한 RAR 정보를 수신하면, 상기 UE는 UL 동기화를 위한 타이밍 어드밴스(timing advance) 정보, 초기 UL 그랜트, UE 임시(temporary) 셀 RNTI(cell RNTI, C-RNTI)를 알 수 있다. 상기 타이밍 어드밴스 정보는 상향링크 신호 전송 타이밍을 제어하는 데 사용된다. UE에 의한 PUSCH/PUCCH 전송이 네트워크 단에서 서브프레임 타이밍과 더 잘 정렬(align)되도록 하기 위해, 네트워크(예, BS)는 PUSCH/PUCCH/SRS 수신 및 서브프레임 간 시간 차이를 측정하고 이를 기반으로 타이밍 어드밴스 정보를 보낼 수 있다. 상기 UE는 RAR 정보를 기반으로 PUSCH 상에서 UL 전송을 RACH 과정의 Msg3로서 전송할 수 있다. Msg3은 RRC 연결 요청 및 UE 식별자를 포함할 수 있다. Msg3에 대한 응답으로서, 네트워크는 Msg4를 전송할 수 있으며, 이는 DL 상에서의 경쟁 해결 메시지로 취급될 수 있다. Msg4를 수신함으로써, UE는 RRC 연결된 상태에 진입할 수 있다.When the UE receives RAR information for itself on the PDSCH, the UE can know timing advance information for UL synchronization, an initial UL grant, and a UE temporary cell RNTI (cell RNTI, C-RNTI). have. The timing advance information is used to control the uplink signal transmission timing. In order to better align the PUSCH/PUCCH transmission by the UE with the subframe timing at the network side, the network (e.g., BS) measures the time difference between PUSCH/PUCCH/SRS reception and subframes, and based on this You can send timing advance information. The UE may transmit UL transmission as Msg3 of the RACH procedure on the PUSCH based on RAR information. Msg3 may include an RRC connection request and a UE identifier. In response to Msg3, the network may send Msg4, which may be treated as a contention resolution message on the DL. By receiving Msg4, the UE can enter the RRC connected state.
한편, 경쟁-프리 RACH 과정은 UE가 다른 셀 혹은 BS로 핸드오버 하는 과정에서 사용되거나, BS의 명령에 의해 요청되는 경우에 수행될 수 있다. 경쟁-프리 RACH 과정의 기본적인 과정은 경쟁 기반 RACH 과정과 유사하다. 다만, UE가 복수의 RACH 프리앰블들 중 사용할 프리앰블을 임의로 선택하는 경쟁 기반 RACH 과정과 달리, 경쟁-프리 RACH 과정의 경우에는 UE가 사용할 프리앰블(이하 전용 RACH 프리앰블)이 BS에 의해 상기 UE에게 할당된다. 전용 RACH 프리앰블에 대한 정보는 RRC 메시지(예, 핸드오버 명령)에 포함되거나 PDCCH 오더(order)를 통해 UE에게 제공될 수 있다. RACH 과정이 개시되면 UE는 전용 RACH 프리앰블을 BS에게 전송한다. 상기 UE가 상기 BS로부터 RACH 과정을 수신하면 상기 RACH 과정은 완료(complete)된다.Meanwhile, the contention-free RACH process may be used in the process of handing over to another cell or BS by the UE, or may be performed when requested by the command of the BS. The basic process of the competition-free RACH process is similar to the contention-based RACH process. However, unlike a contention-based RACH process in which the UE randomly selects a preamble to be used among a plurality of RACH preambles, in the case of a contention-pre RACH process, a preamble to be used by the UE (hereinafter, dedicated RACH preamble) is allocated to the UE by the BS. . Information on the dedicated RACH preamble may be included in an RRC message (eg, a handover command) or may be provided to the UE through a PDCCH order. When the RACH process is initiated, the UE transmits a dedicated RACH preamble to the BS. When the UE receives the RACH process from the BS, the RACH process is completed.
DL 및 UL 전송/수신 동작DL and UL transmission/reception operation
DL 전송/수신 동작DL transmission/reception operation
하향링크 그랜트(downlink grant)( (assignment)이라고도 함)는 (1) 동적 그랜트(dynamic)와 (2) 설정된 그랜트(configured grant)로 구분될 수 있다. 동적 그랜트(dynamic grant)는 자원의 활용을 최대화하기 위한 것으로 BS에 의한 동적 스케줄링 기반의 데이터 전송/수신 방법을 의미한다. The downlink grant (also referred to as (assignment)) may be divided into (1) a dynamic grant and (2) a configured grant. The dynamic grant is for maximizing the utilization of resources and refers to a method for transmitting/receiving data based on dynamic scheduling by the BS.
BS는 DCI를 통해 하향링크 전송을 스케줄링한다. UE는 BS로부터 하향링크 스케줄링을 위한(즉, PDSCH의 스케줄링 정보를 포함하는) DCI(이하, DL 그랜트 DCI)를 PDCCH 상에서 수신한다. 하향링크 스케줄링을 위한 DCI에는, 예를 들어, 다음과 같은 정보가 포함될 수 있다: 대역폭 파트 지시자(bandwidth part indicator), 주파수 도메인 자원 배정(frequency domain resource assignment), 시간 도메인 자원 배정(time domain resource assignment), 변조 및 코딩 방식(modulation and coding scheme, MCS).The BS schedules downlink transmission through DCI. The UE receives a DCI (hereinafter, DL grant DCI) for downlink scheduling (ie, including scheduling information of the PDSCH) from the BS on the PDCCH. DCI for downlink scheduling may include, for example, the following information: bandwidth part indicator, frequency domain resource assignment, time domain resource assignment ), modulation and coding scheme (MCS).
UE는 DCI 내 MCS 필드를 기반으로 PDSCH에 대한 변조 차수(modulation order), 목표 코드 레이트(target code rate), 수송 블록 크기(transport block size, TBS)를 결정할 수 있다. UE는 주파수 도메인 자원 할당 정보 및 시간 도메인 자원 할당 정보에 따른 시간-주파수 자원에서 PDSCH를 수신할 수 있다.The UE may determine a modulation order, a target code rate, and a transport block size (TBS) for the PDSCH based on the MCS field in the DCI. The UE may receive the PDSCH in the time-frequency resource according to the frequency domain resource allocation information and the time domain resource allocation information.
DL 설정된 그랜트는 준-지속적 스케줄링(semi-persistent scheduling, SPS)라고도 한다. UE는 BS로부터 DL 데이터의 전송을 위한 자원 설정(resource configuration)을 포함하는 RRC 메시지를 수신할 수 있다. DL SPS의 경우에는 실제 DL 설정된 그랜트가 PDCCH에 의해 제공되며 상기 PDCCH에 의해 활성화 혹은 활성해제(deactivate)된다. DL SPS가 설정되는 경우, BS로부터의 RRC 시그널링을 통해 적어도 다음 파라미터들이 UE에게 제공된다: 활성화, 활성해제 및 재전송을 위한 설정된 스케줄링 RNTI(configured scheduling RNTI, CS-RNTI); 및 주기. DL SPS의 실제 DL 그랜트(예, 주파수 자원 할당)는 CS-RNTI에 어드레스된 PDCCH 내 DCI에 의해 UE에게 제공된다. UE는 CS-RNTI에 어드레스된 PDCCH 내 DCI의 특정 필드들이 스케줄링 활성화를 위한 특정 값으로 세팅되어 있으면, 상기 CS-RNTI와 연관된 SPS를 활성화한다. 상기 CS-RNTI에 어드레스된 PDCCH 내 DCI는 실제 주파수 자원 할당 정보, MCS 인덱스 값 등을 포함한다. UE는 SPS를 기반으로 PDSCH를 통한 하향링크 데이터를 수신할 수 있다.The DL configured grant is also referred to as semi-persistent scheduling (SPS). The UE may receive an RRC message including resource configuration for transmission of DL data from the BS. In the case of a DL SPS, an actual DL configured grant is provided by the PDCCH, and is activated or deactivated by the PDCCH. When the DL SPS is configured, at least the following parameters are provided to the UE through RRC signaling from the BS: configured scheduling RNTI (CS-RNTI) for activation, deactivation and retransmission; And cycle. The actual DL grant (eg, frequency resource allocation) of the DL SPS is provided to the UE by DCI in the PDCCH addressed to the CS-RNTI. When the specific fields of the DCI in the PDCCH addressed to the CS-RNTI are set to a specific value for scheduling activation, the UE activates the SPS associated with the CS-RNTI. The DCI in the PDCCH addressed to the CS-RNTI includes actual frequency resource allocation information, an MCS index value, and the like. The UE may receive downlink data through the PDSCH based on the SPS.
UL 전송/수신 동작UL transmit/receive operation
상향링크 그랜트(uplink grant)는 (1) PUSCH는 UL 그랜트 DCI에 의해 동적으로 PUSCH를 스케줄링하는 동적 그랜트(dynamic grant)와 (2) RRC 시그널링에 의해 준-정적으로(semi-statically) PUSCH를 스케줄링하는 설정된 그랜트(configured grant)로 구분될 수 있다.Uplink grant is (1) PUSCH is a dynamic grant for dynamically scheduling PUSCH by UL grant DCI and (2) semi-statically scheduling PUSCH by RRC signaling It can be divided into a configured grant (configured grant).
도 5는 상향링크 그랜트에 따른 UL 전송의 일례를 나타낸다. 특히, 도 5 (a)는 동적 그랜트를 기반으로 한 UL 전송 과정을 예시하고, 도 5 (b)는 설정된 그랜트를 기반으로 한 UL 전송 과정을 예시한다.5 shows an example of UL transmission according to an uplink grant. In particular, FIG. 5 (a) illustrates a UL transmission process based on a dynamic grant, and FIG. 5 (b) illustrates a UL transmission process based on a set grant.
UL 동적 그랜트(dynamic grant)의 경우, BS는 상향링크 스케줄링 정보를 포함하는 DCI를 UE에게 전송한다. 상기 UE는 BS로부터 상향링크 스케줄링을 위한(즉, PUSCH의 스케줄링 정보를 포함하는) DCI(이하, UL 그랜트 DCI)를 PDCCH 상에서 수신한다. 상향링크 스케줄링을 위한 DCI에는, 예를 들어, 다음과 같은 정보가 포함될 수 있다: 대역폭 파트 지시자(Bandwidth part indicator), 주파수 도메인 자원 배정(frequency domain resource assignment), 시간 도메인 자원 배정(time domain resource assignment), MCS. BS에 의한 상향링크 무선 자원의 효율적인 할당을 위해서, UE는 자신이 전송하고자 하는 상향링크 데이터에 관한 정보를 BS으로 전달하고, 상기 BS는 이에 기반하여 상기 UE에게 상향링크 자원을 할당할 수 있다. 이 경우, UE가 BS로 전달하는 상향링크 데이터에 정보를 버퍼 상태 보고(buffer status report, BSR)라고 하며, BSR은 UE 자신의 버퍼에 저장되어 있는 상향링크 데이터의 양과 관련이 있다. In the case of a UL dynamic grant, the BS transmits a DCI including uplink scheduling information to the UE. The UE receives DCI (hereinafter, UL grant DCI) for uplink scheduling (ie, including scheduling information of PUSCH) from the BS on the PDCCH. DCI for uplink scheduling may include, for example, the following information: bandwidth part indicator, frequency domain resource assignment, time domain resource assignment ), MCS. For efficient allocation of uplink radio resources by the BS, the UE transmits information on uplink data to be transmitted to the BS, and the BS may allocate uplink resources to the UE based on this. In this case, information on the uplink data transmitted by the UE to the BS is called a buffer status report (BSR), and the BSR is related to the amount of uplink data stored in the UE's own buffer.
도 5 (a)를 참고하면, UE가 BSR의 전송에 이용 가능한 상향링크 무선 자원을 가지고 있지 않을 때, UL 전송 과정을 예시한다. UL 데이터 전송에 이용 가능한 UL 그랜트가 없는 UE는 PUSCH를 통해 BSR을 전송할 수도 없으므로, PUCCH를 통한 스케줄링 요청 전송을 시작으로 상향링크 데이터를 위한 자원을 요청해야 하며, 이 경우 5단계의 상향링크 자원 할당 과정이 사용된다.Referring to FIG. 5 (a), when the UE does not have an uplink radio resource available for transmission of a BSR, a UL transmission process is illustrated. Since the UE without the UL grant available for UL data transmission cannot transmit the BSR through the PUSCH, it must request resources for uplink data starting from the transmission of the scheduling request through the PUCCH.In this case, the uplink resource allocation in step 5 The process is used.
도 5 (a)를 참고하면, BSR를 전송하기 위한 PUSCH 자원이 없는 경우, UE는 PUSCH 자원을 할당받기 위해 먼저 스케줄링 요청(scheduling request, SR)을 BS에 전송한다. SR은 버퍼 상태 보고 이벤트(reporting event)가 발생되었으나 UE에게 이용 가능한 PUSCH 자원이 없는 경우, UE가 상향링크 전송을 위한 PUSCH 자원을 BS에게 요청하기 위해 이용된다. SR을 위한 유효한(valid) PUCCH 자원이 있으면 UE는 PUCCH를 통해 SR을 전송하고, 유효한 PUCCH 자원이 없으면 전술한 (경쟁 기반) RACH 과정을 개시한다. UE가 BS로부터 UL 그랜트 DCI를 통해 UL 그랜트를 수신하면, 상기 UL 그랜트에 의해 할당된 PUSCH 자원을 통해 BSR을 BS로 전송한다. BS는 BSR을 기반으로 UE가 상향링크로 전송할 데이터의 양을 확인하고 UL 그랜트 DCI를 통해 UL 그랜트를 UE에 전송한다. 상기 UL 그랜트 DCI를 포함하는 PDCCH를 검출한 UE는 상기 UL 그랜트 DCI 내 UL 그랜트를 기반으로 PUSCH를 통해 실제 상향링크 데이터를 BS로 전송한다. Referring to FIG. 5 (a), when there is no PUSCH resource for transmitting the BSR, the UE first transmits a scheduling request (SR) to the BS in order to receive the PUSCH resource allocation. The SR is used to request a PUSCH resource for uplink transmission from the UE to the BS when a buffer status reporting event occurs but there is no PUSCH resource available to the UE. If there is a valid PUCCH resource for the SR, the UE transmits the SR through the PUCCH, and if there is no valid PUCCH resource, the above-described (contention-based) RACH process is initiated. When the UE receives the UL grant from the BS through the UL grant DCI, it transmits the BSR to the BS through the PUSCH resource allocated by the UL grant. The BS checks the amount of data to be transmitted by the UE in the uplink based on the BSR and transmits the UL grant to the UE through the UL grant DCI. Upon detecting the PDCCH including the UL grant DCI, the UE transmits actual uplink data to the BS through the PUSCH based on the UL grant in the UL grant DCI.
설정된 그랜트의 경우, 도 5 (b)를 참고하면, UE는 BS로부터 UL 데이터의 전송을 위한 자원 설정(resource configuration)을 포함하는 RRC 메시지를 수신한다. NR 시스템에서는 2가지 타입의 UL 설정된 그랜트가 있다: 타입 1 및 타입 2. UL 설정된 그랜트 타입 1의 경우에는 실제 UL 그랜트(예, 시간 자원, 주파수 자원)가 RRC 시그널링에 의해 제공되며, UL 설정된 그랜트 타입 2의 경우에는 실제 UL 그랜트가 PDCCH에 의해 제공되며 상기 PDCCH에 의해 활성화 혹은 활성해제(deactivate)된다. 설정된 그랜트 타입 1이 설정되는 경우, BS로부터의 RRC 시그널링을 통해 적어도 다음 파라미터들이 UE에게 제공된다: 재전송을 위한 CS-RNTI; 설정된 그랜트 타입 1의 주기(periodicity); 슬롯 내 PUSCH를 위한 시작 심볼 인덱스 S 및 심볼 개수 L에 관한 정보; 시간 도메인에서 SFN=0에 대한 자원의 오프셋을 나타내는 시간 도메인 오프셋; 변조 차수, 타겟 코드 레이트 및 수송 블록 크기를 나타내는 MCS 인덱스. 설정된 그랜트 타입 2가 설정되는 경우, BS로부터의 RRC 시그널링을 통해 적어도 다음 파라미터들이 UE에게 제공된다: 활성화, 활성해제 및 재전송을 위한 CS-RNTI; 설정된 그랜트 타입 2의 주기. 설정된 그랜트 타입 2의 실제 UL 그랜트는 CS-RNTI에 어드레스된 PDCCH 내 DCI에 의해 UE에게 제공된다. UE는 CS-RNTI에 어드레스된 PDCCH 내 DCI의 특정 필드들이 스케줄링 활성화를 위한 특정 값으로 세팅되어 있으면, 상기 CS-RNTI와 연관된 설정된 그랜트 타입 2를 활성화한다. 스케줄링 활성화를 위한 특정 값으로 세팅된 PDCCH 내 DCI는 실제 자원 할당 정보, MCS 인덱스 값 등을 포함한다. UE는 타입 1 혹은 타입 2에 따른 설정된 그랜트을 기반으로 PUSCH를 통한 상향링크 전송을 수행할 수 있다.In the case of the configured grant, referring to FIG. 5 (b), the UE receives an RRC message including resource configuration for transmission of UL data from the BS. In the NR system, there are two types of UL-configured grants:
도 6은 물리 채널 프로세싱(physical channel processing)의 개념도의 일례를 나타낸다.6 shows an example of a conceptual diagram of physical channel processing.
도 6에 도시된 블록들 각각은 전송 장치의 물리 계층 블록 내 각 모듈에서 수행될 수 있다. 보다 구체적으로, 도 6에서의 신호 처리는 본 명세에서 기재하는 UE의 프로세서에서 UL 전송을 위해 수행될 수 있다. 도 6에서 트랜스폼 프리코딩을 제외하는 한편 SC-FDMA 신호 생성 대신 CP-OFDM 신호 생성을 포함하는 신호 처리는 본 명세서에서 기재하는 BS의 프로세서에서 DL 전송을 위해 수행될 수 있다. 도 H5를 참조하면, 상향링크 물리 채널 프로세싱은 스크램블링(scrambling), 변조 매핑(modulation mapping), 레이어 매핑(layer mapping), 트랜스폼 프리코딩(transform precoding), 프리코딩(precoding), 자원 요소 매핑(resource element mapping), SC-FDMA 신호 생성 (SC-FDMA signal generation)의 과정을 거쳐 수행될 수 있다. 위의 각 과정은 전송 장치의 각 모듈에서 별도로 또는 함께 수행될 수 있다. 상기 트랜스폼 프리코딩은 파형(waveform)의 피크-to-평균 전력 비율(peak-to-average power ratio, PAPR)을 감소시키는 특별한 방식으로 UL 데이터를 스프레드하는 것이며, 이산 푸리에 변환(discrete Fourier transform, DFT)의 일종이다. DFT 스프레딩을 수행하는 트랜스폼 프리코딩과 함께 CP를 사용하는 OFDM을 DFT-s-OFDM이라 하고, DFT 스프레딩없이 CP를 사용하는 OFDM을 CP-OFDM이라 한다. DFT-s-OFDM에 의해 SC-FDMA 신호가 생성된다. NR 시스템에서 UL에 대해 가능화(enable)되면 트랜스폼 프리코딩이 선택적으로(optionally) 적용될 수 있다. 즉, NR 시스템은 UL 파형을 위해 2가지 옵션을 지원하며, 그 중 하나는 CP-OFDM이고, 다른 하나는 DFT-s-OFDM이다. UE가 CP-OFDM을 UL 전송 파형으로 사용해야 하는지 아니면 DFT-s-OFDM을 UL 전송 파형으로 사용해야 하는지는 RRC 파라미터들을 통해 BS로부터 UE에게 제공된다. 도 H5는 DFT-s-OFDM을 위한 상향링크 물리 채널 프로세싱 개념도이며, CP-OFDM의 경우에는 도 H5의 프로세스들 중 트랜스폼 프리코딩이 생략된다. DL 전송, CP-OFDM이 DL 파형 전송을 위해 사용된다.Each of the blocks shown in FIG. 6 may be performed in each module in the physical layer block of the transmission device. More specifically, the signal processing in FIG. 6 may be performed for UL transmission in the processor of the UE described in this specification. In FIG. 6, signal processing including CP-OFDM signal generation instead of SC-FDMA signal generation while excluding transform precoding in FIG. 6 may be performed for DL transmission in the processor of the BS described herein. Referring to Figure H5, uplink physical channel processing is scrambling, modulation mapping, layer mapping, transform precoding, precoding, resource element mapping ( resource element mapping) and SC-FDMA signal generation. Each of the above processes may be performed separately or together in each module of the transmission device. The transform precoding is to spread the UL data in a special way to reduce the peak-to-average power ratio (PAPR) of a waveform, and a discrete Fourier transform. DFT). OFDM using CP with transform precoding performing DFT spreading is called DFT-s-OFDM, and OFDM using CP without DFT spreading is called CP-OFDM. An SC-FDMA signal is generated by DFT-s-OFDM. If enabled for UL in the NR system, transform precoding may be selectively applied. That is, the NR system supports two options for the UL waveform, one of which is CP-OFDM and the other is DFT-s-OFDM. Whether the UE should use CP-OFDM as the UL transmission waveform or DFT-s-OFDM as the UL transmission waveform is provided from the BS to the UE through RRC parameters. H5 is a conceptual diagram of uplink physical channel processing for DFT-s-OFDM. In the case of CP-OFDM, transform precoding is omitted among the processes of FIG. H5. DL transmission, CP-OFDM is used for DL waveform transmission.
위의 각 과정에 대해 보다 구체적으로 살펴보면, 전송 장치는 하나의 코드워드에 대해, 코드워드 내 부호화된 비트(coded bits)를 스크램블링 모듈에 의해 스크램블링한 후 물리 채널을 통해 전송할 수 있다. 여기서 코드워드는 수송 블록을 인코딩하여 얻어진다. 스크램블된 비트는 변조 매핑 모듈에 의해 복소 값 변조 심볼로 변조된다. 상기 변조 매핑 모듈은 상기 스크램블된 비트들을 기결정된 변조 방식에 따라 변조하여 신호 성상(signal constellation) 상의 위치를 표현하는 복소 값 변조 심볼로 배치할 수 있다. pi/2-BPSK(pi/2-Binary Phase Shift Keying), m-PSK(m-Phase Shift Keying) 또는 m-QAM(m-Quadrature Amplitude Modulation) 등이 상기 부호화된 데이터의 변조에 이용될 수 있다. 상기 복소 값 변조 심볼은 레이어 매핑 모듈에 의해 하나 이상의 전송 레이어로 맵핑될 수 있다. 각 레이어 상의 복소 값 변조 심볼은 안테나 포트 상에서의 전송을 위해 프리코딩 모듈에 의해 프리코딩될 수 있다. UL 전송을 위해 트랜스폼 프리코딩이 가능화된 경우, 프리코딩 모듈은 도 H5에 도시된 바와 같이 복소 값 변조 심볼들에 대한 트랜스폼 프리코딩(transform precoding)을 수행한 이후에 프리코딩을 수행할 수 있다. 상기 프리코딩 모듈은 상기 복소 값 변조 심볼들을 다중 전송 안테나에 따른 MIMO 방식으로 처리하여 안테나 특정 심볼들을 출력하고, 상기 안테나 특정 심볼들을 해당 자원 요소 매핑 모듈로 분배할 수 있다. 프리코딩 모듈의 출력 z는 레이어 매핑 모듈의 출력 y를 N×M의 프리코딩 행렬 W와 곱해 얻을 수 있다. 여기서, N은 안테나 포트의 개수, M은 레이어의 개수이다. 자원 요소 매핑 모듈은 각 안테나 포트에 대한 복조 값 변조 심볼들을 전송을 위해 할당된 자원 블록 내에 있는 적절한 자원 요소에 맵핑한다. 자원 요소 매핑 모듈은 복소 값 변조 심볼들을 적절한 부반송파들에 매핑하고, 사용자에 따라 다중화할 수 있다. SC-FDMA 신호 생성 모듈(DL 전송의 경우 혹은 UL 전송을 위해 트랜스폼 프리코딩이 불능화(disable)된 경우에는 CP-OFDM 신호 생성 모듈)은 복소 값 변조 심볼을 특정 변조 방식 예컨대, OFDM 방식으로 변조하여 복소 값 시간 도메인(complex-valued time domain) OFDM 심볼 신호를 생성할 수 있다. 상기 신호 생성 모듈은 안테나 특정 심볼에 대해 IFFT(Inverse Fast Fourier Transform)를 수행할 수 있으며, IFFT가 수행된 시간 도메인 심볼에는 CP가 삽입될 수 있다. OFDM 심볼은 디지털-아날로그(digital-to-analog) 변환, 주파수 상향변환(upconversion) 등을 거쳐, 각 전송 안테나를 통해 수신 장치로 전송된다. 상기 신호 생성 모듈은 IFFT 모듈 및 CP 삽입기, DAC(Digital-to-Analog Converter), 주파수 상향 변환기(frequency uplink converter) 등을 포함할 수 있다.Looking at each of the above processes in more detail, the transmission device may scramble coded bits within the codeword by the scrambling module for one codeword and then transmit them through a physical channel. Here, the codeword is obtained by encoding the transport block. The scrambled bits are modulated into complex-valued modulation symbols by the modulation mapping module. The modulation mapping module may modulate the scrambled bits according to a predetermined modulation method and arrange the scrambled bits as a complex value modulation symbol representing a position on a signal constellation. Pi/2-Binary Phase Shift Keying (pi/2-BPSK), m-Phase Shift Keying (m-PSK), or m-Quadrature Amplitude Modulation (m-QAM) may be used for modulation of the encoded data. . The complex value modulation symbol may be mapped to one or more transport layers by a layer mapping module. Complex value modulation symbols on each layer may be precoded by a precoding module for transmission on an antenna port. When transform precoding is enabled for UL transmission, the precoding module performs precoding after performing transform precoding on complex value modulation symbols as shown in FIG. H5. I can. The precoding module may output antenna specific symbols by processing the complex value modulation symbols in a MIMO scheme according to multiple transmission antennas, and distribute the antenna specific symbols to a corresponding resource element mapping module. The output z of the precoding module can be obtained by multiplying the output y of the layer mapping module by the N×M precoding matrix W. Here, N is the number of antenna ports, and M is the number of layers. The resource element mapping module maps demodulation value modulation symbols for each antenna port to an appropriate resource element in a resource block allocated for transmission. The resource element mapping module may map complex value modulation symbols to appropriate subcarriers and multiplex them according to users. The SC-FDMA signal generation module (a CP-OFDM signal generation module in the case of DL transmission or when transform precoding is disabled for UL transmission) modulates the complex-valued modulation symbol in a specific modulation method, such as an OFDM method. Thus, a complex-valued time domain OFDM symbol signal can be generated. The signal generation module may perform Inverse Fast Fourier Transform (IFFT) on an antenna specific symbol, and a CP may be inserted into a time domain symbol on which IFFT is performed. The OFDM symbol is transmitted to a receiving device through each transmission antenna through digital-to-analog conversion, frequency upconversion, and the like. The signal generation module may include an IFFT module and a CP inserter, a digital-to-analog converter (DAC), a frequency uplink converter, and the like.
수신 장치의 신호 처리 과정은 전송 장치의 신호 처리 과정의 역으로 구성될 수 있다. 구체적인 사항은 위의 내용과 도 6을 참고하기로 한다.The signal processing process of the receiving device may be configured in reverse of the signal processing process of the transmitting device. For details, refer to the above and FIG. 6.
다음으로, PUCCH에 대해 살펴본다. Next, look at the PUCCH.
PUCCH는 UCI의 전송에 사용된다. UCI에는 상향링크 전송 자원을 요청하는 스케줄링 요청(scheduling request, SR), DL RS를 기반으로 UE 측정된 하향링크 채널 상태를 나타내는 채널 상태 정보(channel state information, CSI), 및/또는 하향링크 데이터가 UE에 의해 성공적으로 수신되었는지 여부를 나타내는 HARQ-ACK가 있다.PUCCH is used for transmission of UCI. UCI includes a scheduling request (SR) for requesting an uplink transmission resource, channel state information (CSI) indicating a UE-measured downlink channel state based on a DL RS, and/or downlink data. There is a HARQ-ACK indicating whether or not it has been successfully received by the UE.
PUCCH는 다수의 포맷(format)들을 지원하며, PUCCH 포맷들은 심볼 지속기간(symbol duration), 페이로드 크기(payload size), 그리고 다중화(multiplexing) 여부 등에 의해 분류될 수 있다. 아래 표 1은 PUCCH 포맷들을 예시한 것이다.PUCCH supports a number of formats, and PUCCH formats can be classified according to symbol duration, payload size, and multiplexing. Table 1 below illustrates PUCCH formats.
PUCCH 자원들은 BS에 의해 RRC 시그널링을 통해 UE에게 설정된다. PUCCH 자원을 할당하는 일 예로, BS는 UE에게 복수의 PUCCH 자원 세트를 설정하고, UE는 UCI (페이로드) 크기(예, UCI 비트 수)의 범위에 따라 특정 범위에 대응되는 특정 PUCCH 자원 세트를 선택할 수 있다. 예를 들어, UE는 UCI 비트 수에 따라 다음 중 하나의 PUCCH 자원 세트를 선택할 수 있다. - PUCCH 자원 세트 #0, if UCI 비트 수 ≤ 2PUCCH resources are set by the BS to the UE through RRC signaling. As an example of allocating PUCCH resources, the BS sets a plurality of PUCCH resource sets to the UE, and the UE sets a specific PUCCH resource set corresponding to a specific range according to the range of the UCI (payload) size (eg, the number of UCI bits). You can choose. For example, the UE is the number of UCI bits According to one of the following PUCCH resource sets may be selected. -PUCCH
- PUCCH 자원 세트 #1, if 2< UCI 비트 수 ≤ -PUCCH
- PUCCH 자원 세트 #(K-1), if NK-2 < UCI 비트 수 ≤ -PUCCH resource set #(K-1), if NK-2 <number of UCI bits ≤
여기서, K는 PUCCH 자원 세트를 개수를 나타내고(K>1), Ni는 PUCCH 자원 세트 #i가 지원하는 최대 UCI 비트 수이다. 예를 들어, PUCCH 자원 세트 #1은 PUCCH 포맷 0~1의 자원으로 구성될 수 있고, 그 외의 PUCCH 자원 세트는 PUCCH 포맷 2~4의 자원으로 구성될 수 있다.Here, K denotes the number of PUCCH resource sets (K>1), and Ni denotes the maximum number of UCI bits supported by the PUCCH resource set #i. For example, PUCCH
이후, BS는 UE에게 PDCCH를 통해 DCI를 전송하며, DCI 내의 ARI(ACK/NACK Resource Indicator)를 통해 특정 PUCCH 자원 세트 내 PUCCH 자원들 중에서 UCI 전송에 사용할 PUCCH 자원을 지시할 수 있다. ARI는 HARQ-ACK 전송을 위한 PUCCH 자원을 지시하는 데 사용되며, PRI(PUCCH Resource Indicator)로 지칭될 수도 있다.Thereafter, the BS transmits the DCI through the PDCCH to the UE, and may indicate a PUCCH resource to be used for UCI transmission among PUCCH resources in a specific PUCCH resource set through an ACK/NACK Resource Indicator (ARI) in the DCI. ARI is used to indicate a PUCCH resource for HARQ-ACK transmission, and may also be referred to as a PRI (PUCCH Resource Indicator).
eMBB (enhanced Mobile Broadband communication)eMBB (enhanced Mobile Broadband communication)
NR 시스템의 경우, 전송/수신 안테나가 크게 증가하는 거대(massive) 다중 입력 다중 출력(multiple input multiple output, MIMO) 환경이 고려되고 있다. 한편, 6GHz 이상의 대역을 사용하는 NR 시스템은 급격한 전파 감쇄 특성을 보상하기 위해 신호 전송을 전방향이 아닌 특정 방향으로 에너지를 모아서 전송하는 빔포밍 기법이 고려된다. 이에 따라, 하드웨어 구현의 복잡도를 줄이고, 다수의 안테나들을 이용한 성능 증가, 자원 할당의 유연성, 주파수별 빔 제어의 용이를 위해, 빔 형성 가중치 벡터(weight vector)/프리코딩 벡터(precoding vector)를 적용하는 위치에 따라 아날로그 빔포밍(analog beamforming) 기법과 디지털 빔포밍(digital beamforming) 기법이 결합된 하이브리드(hybrid) 형태의 빔포밍 기법이 요구된다.In the case of an NR system, a massive multiple input multiple output (MIMO) environment in which transmission/reception antennas are greatly increased is being considered. Meanwhile, in an NR system using a band of 6 GHz or higher, a beamforming technique in which energy is collected and transmitted in a specific direction instead of omnidirectionally is considered in order to compensate for the rapid propagation attenuation characteristic. Accordingly, to reduce the complexity of hardware implementation, increase performance using multiple antennas, flexibility in resource allocation, and facilitate beam control for each frequency, a beamforming weight vector/precoding vector is applied. Depending on the location, a hybrid beamforming technique in which an analog beamforming technique and a digital beamforming technique are combined is required.
하이브리드 빔포밍(Hybrid Beamforming)Hybrid Beamforming
도 7은 하이브리드 빔포밍(hybrid beamforming)을 위한 전송단 및 수신단의 블록도의 일례를 나타낸 도이다.7 is a diagram illustrating an example of a block diagram of a transmitting end and a receiving end for hybrid beamforming.
하이브리드 빔포밍에 의하면, BS나 UE에서 많은 수의 안테나에 적절한 위상차를 이용하여 동일한 신호를 전송함으로써 특정한 방향에서만 에너지가 높아지게 함으로써 좁은 빔이 형성될 수 있다. According to hybrid beamforming, the BS or UE transmits the same signal using a phase difference appropriate for a large number of antennas, thereby increasing energy only in a specific direction, thereby forming a narrow beam.
빔 관리(Beam Management, BM)Beam Management (BM)
BM 과정은 하향링크(downlink, DL) 및 상향링크(uplink, UL) 전송/수신에 사용될 수 있는 BS(혹은 전송 및 수신 포인트(transmission and reception point, TRP)) 및/또는 UE 빔들의 세트(set)를 획득하고 유지하기 위한 과정들로서, 아래와 같은 과정 및 용어를 포함할 수 있다.The BM process is a set of BS (or transmission and reception point (TRP)) and/or UE beams that can be used for downlink (DL) and uplink (UL) transmission/reception. ), and may include the following processes and terms.
- 빔 측정(beam measurement): BS 또는 UE가 수신된 빔포밍 신호의 특성을 측정하는 동작.-Beam measurement: An operation in which the BS or UE measures the characteristics of the received beamforming signal.
- 빔 결정(beam determination): BS 또는 UE가 자신의 전송 빔(Tx beam) / 수신 빔(Rx beam)을 선택하는 동작.-Beam determination: An operation in which the BS or the UE selects its own transmission beam (Tx beam) / reception beam (Rx beam).
- 빔 스위핑(beam sweeping): 미리 결정된 방식으로 일정 시간 인터벌 동안 전송 및/또는 수신 빔을 이용하여 공간 도메인을 커버하는 동작.-Beam sweeping: An operation of covering a spatial domain using a transmission and/or reception beam for a predetermined time interval in a predetermined manner.
- 빔 보고(beam report): UE가 빔 측정에 기반하여 빔포밍된 신호의 정보를 보고하는 동작.-Beam report: an operation in which the UE reports information on a beamformed signal based on beam measurement.
BM 과정은 (1) SSB 또는 CSI-RS를 이용하는 DL BM 과정과, (2) SRS(sounding reference signal)을 이용하는 UL BM 과정으로 구분될 수 있다. 또한, 각 BM 과정은 Tx 빔을 결정하기 위한 Tx 빔 스위핑과 Rx 빔을 결정하기 위한 Rx 빔 스위핑을 포함할 수 있다. 이하에서는 SSB를 이용한 DL BM 과정에 대해 주로 설명된다.The BM process may be divided into (1) a DL BM process using SSB or CSI-RS and (2) a UL BM process using a sounding reference signal (SRS). In addition, each BM process may include Tx beam sweeping to determine the Tx beam and Rx beam sweeping to determine the Rx beam. Hereinafter, a DL BM process using SSB will be mainly described.
SSB를 이용한 DL BM 과정은 (1) BS에 의한 빔포밍된 SSB 전송과, (2) UE에 의한 빔 보고(beam reporting)를 포함할 수 있다. SSB는 Tx 빔 스위핑과 Rx 빔 스위핑 모두에 사용될 수 있다. SSB를 이용한 Rx 빔 스위핑은 UE가 Rx 빔을 변경하면서 SSB의 수신을 시도함으로써 수행될 수 있다.The DL BM process using SSB may include (1) beamformed SSB transmission by the BS, and (2) beam reporting by the UE. SSB can be used for both Tx beam sweeping and Rx beam sweeping. Rx beam sweeping using SSB may be performed by the UE attempting to receive the SSB while changing the Rx beam.
SSB를 이용한 빔 보고(beam report)에 대한 설정은 RRC_CONNECTED에서 채널 상태 정보(channel state information, CSI)/빔 설정 시에 수행된다.Configuration for beam report using SSB is performed when channel state information (CSI)/beam is configured in RRC_CONNECTED.
- UE는 BM을 위해 사용되는 SSB 자원 세트에 대한 정보를 BS로부터 수신한다. SSB 자원 세트는 하나 이상의 SSB 인덱스(SSBI)들로 설정될 수 있다. 각 SSB 자원 세트에 대한 SSBI는 0부터 최대 63까지 정의될 수 있다.-The UE receives information on the SSB resource set used for the BM from the BS. The SSB resource set may be configured with one or more SSB indexes (SSBIs). SSBI for each SSB resource set may be defined from 0 to a maximum of 63.
- UE는 SSB 자원 세트에 대한 정보에 기초하여 SSB 자원들 상의 신호들을 상기 BS로부터 수신한다.-The UE receives signals on SSB resources from the BS based on the information on the SSB resource set.
- SSB 자원 지시자(SSB resource indicator, SSBRI) 및 RSRP에 대한 보고를 수행할 것이 BS에 의해 UE에게 설정된 경우, 상기 UE는 최선(best) SSBRI 및 이에 대응하는 RSRP를 BS에게 보고한다. -When the SSB resource indicator (SSBRI) and reporting on the RSRP are set by the BS to the UE, the UE reports the best SSBRI and the corresponding RSRP to the BS.
BS는 UE로부터의 빔 보고를 바탕으로 상기 UE로의 DL 전송에 사용할 BS Tx 빔을 결정할 수 있다.The BS may determine the BS Tx beam to be used for DL transmission to the UE based on the beam report from the UE.
빔 실패 복구(beam failure recovery, BFR) 과정Beam failure recovery (BFR) process
빔포밍된 시스템에서, RLF(Radio Link Failure)는 UE의 회전(rotation), 이동(movement) 또는 빔포밍 블로키지(blockage)로 인해 자주 발생할 수 있다. 따라서, 잦은 RLF가 발생하는 것을 방지하기 위해 BFR이 NR에서 지원된다. In a beamformed system, Radio Link Failure (RLF) may frequently occur due to rotation, movement, or beamforming blockage of the UE. Therefore, BFR is supported in NR to prevent frequent RLF from occurring.
빔 실패 검출을 위해, BS는 UE에게 빔 실패 검출 참조 신호들을 설정하고, 상기 UE는 상기 UE의 물리 계층으로부터의 빔 실패 지시(indication)들의 횟수가 BS의 RRC 시그널링에 의해 설정된 기간(period) 내에 RRC 시그널링에 의해 설정된 임계치(threshold)에 이르면(reach), 빔 실패를 선언(declare)한다. For beam failure detection, the BS sets beam failure detection reference signals to the UE, and the UE sets the number of beam failure indications from the physical layer of the UE within a period set by RRC signaling of the BS. When a threshold set by RRC signaling is reached, a beam failure is declared.
빔 실패가 검출된 후, 상기 UE는 PCell 상의 RACH 과정을 개시(initiate)함으로써 빔 실패 복구를 트리거하고; 적절한(suitable) 빔을 선택하여 빔 실패 복구를 수행한다(BS가 어떤(certain) 빔들에 대해 전용 RACH 자원들을 제공한 경우, 상기 UE는 이들을 우선적으로 사용하여 BFR을 위한 RACH 과정을 수행한다). 상기 RACH 과정의 완료(completion) 시, 빔 실패 복구가 완료된 것으로 간주된다.After the beam failure is detected, the UE triggers beam failure recovery by initiating a RACH process on the PCell; Beam failure recovery is performed by selecting a suitable beam (if the BS provides dedicated RACH resources for certain beams, the UE performs a RACH process for BFR using them preferentially). Upon completion of the RACH process, it is considered that beam failure recovery is complete.
URLLC (Ultra-Reliable and Low Latency Communication)URLLC (Ultra-Reliable and Low Latency Communication)
NR에서 정의하는 URLLC 전송은 (1) 상대적으로 낮은 트래픽 크기, (2) 상대적으로 낮은 도착 레이트(low arrival rate), (3) 극도의 낮은 레이턴시 요구사항(requirement)(예, 0.5, 1ms), (4) 상대적으로 짧은 전송 지속기간(duration)(예, 2 OFDM symbols), (5) 긴급한 서비스/메시지 등에 대한 전송을 의미할 수 있다. URLLC transmission as defined by NR is (1) relatively low traffic size, (2) relatively low arrival rate, (3) extremely low latency requirement (e.g. 0.5, 1ms), (4) It may mean a relatively short transmission duration (eg, 2 OFDM symbols), and (5) transmission of an urgent service/message.
프리엠션 지시(Pre-emption indication)Pre-emption indication
eMBB와 URLLC 서비스들은 비-중첩(non-overlapping) 시간/주파수 자원들 상에서 스케줄링될 수 있지만, 진행 중인(ongoing) eMBB 트래픽이 스케줄링된 자원들에서 URLLC 전송이 발생할 수도 있다. PDSCH를 수신하는 UE로 하여금 다른 UE에 의한 URLLC 전송에 의해 상기 PDSCH가 부분적으로 펑처링(puncturing)되었음을 알 수 있도록 하기 위해, 프리엠션 지시(preemption indication)가 사용될 수 있다. 상기 프리엠션 지시(preemption indication)는 중단된 전송 지시(interrupted transmission indication)으로 지칭될 수도 있다.The eMBB and URLLC services may be scheduled on non-overlapping time/frequency resources, but URLLC transmission may occur on resources for which ongoing eMBB traffic is scheduled. In order to allow a UE receiving the PDSCH to know that the PDSCH is partially punctured by URLLC transmission by another UE, a preemption indication may be used. The preemption indication may be referred to as an interrupted transmission indication.
프리엠션 지시와 관련하여, UE는 BS로부터의 RRC 시그널링을 통해 하향링크 프리엠션 RRC 정보(예, DownlinkPreemption IE)를 수신한다.Regarding the preemption indication, the UE receives downlink preemption RRC information (eg, DownlinkPreemption IE) through RRC signaling from the BS.
상기 UE는 하향링크 프리엠션 RRC 정보에 기초하여 DCI 포맷 2_1을 상기 BS로부터 수신한다. 예를 들어, 상기 UE는 상기 하향링크 프리엠션 RRC 정보에 의해 설정된 int-RNTI를 이용하여, 프리엠션 지시 관련 DCI인 DCI 포맷 2_1을 운반(convey)하는 PDCCH의 검출을 시도한다. The UE receives DCI format 2_1 from the BS based on downlink preemption RRC information. For example, the UE attempts to detect a PDCCH carrying DCI format 2_1, which is a DCI related to preemption indication, using the int-RNTI set by the downlink preemption RRC information.
UE가 하향링크 프리엠션 RRC 정보에 의해 설정된 서빙 셀(들)에 대한 DCI 포맷 2_1을 검출하면, 상기 UE는 상기 DCI 포맷 2_1이 속한 모니터링 기간의 바로 앞(last) 모니터링 기간의 자원 블록(resource block, RB)들의 세트 및 심볼들의 세트 중 상기 DCI 포맷 2_1에 의해 지시되는 RB들 및 심볼들 내에는 상기 UE로의 아무런 전송도 없다고 가정할 수 있다. 예를 들어, 도 J2를 참조하면, UE는 프리엠션에 의해 지시된 시간-주파수 자원 내 신호는 자신에게 스케줄링된 DL 전송이 아니라고 보고 나머지 자원 영역에서 수신된 신호들을 기반으로 데이터를 디코딩한다.When the UE detects the DCI format 2_1 for the serving cell(s) set by the downlink preemption RRC information, the UE is a resource block of the monitoring period last monitoring period to which the DCI format 2_1 belongs. It can be assumed that there is no transmission to the UE in the RBs and symbols indicated by the DCI format 2_1 among the set of RBs) and the set of symbols. For example, referring to FIG. J2, the UE determines that the signal in the time-frequency resource indicated by the preemption is not a DL transmission scheduled to itself, and decodes data based on the signals received in the remaining resource regions.
mMTC (massive MTC)mMTC (massive MTC)
mMTC(massive Machine Type Communication)은 많은 수의 UE와 동시에 통신하는 초연결 서비스를 지원하기 위한 5G의 시나리오 중 하나이다. 이 환경에서, UE는 굉장히 낮은 전송 속도와 이동성을 가지고 간헐적으로 통신하게 된다. 따라서, mMTC는 UE를 얼마나 낮은 비용으로 오랫동안 구동할 수 있는지를 주요 목표로 하고 있다. 이와 관련하여, 3GPP에서 다루고 있는 MTC와 NB-IoT에 대해 살펴본다.Massive Machine Type Communication (mMTC) is one of 5G scenarios to support hyper-connection services that communicate with a large number of UEs at the same time. In this environment, the UE communicates intermittently with a very low transmission rate and mobility. Therefore, mMTC aims at how long the UE can be driven at a low cost. In this regard, we will look at MTC and NB-IoT handled by 3GPP.
이하에서는 물리 채널의 전송 시간 인터벌(transmission time interval)이 서브프레임인 경우를 예로 하여 설명된다. 예를 들어, 일 물리 채널의 전송 시작에서 다음 물리 채널의 전송 시작까지의 최소 시간 인터벌이 1개 서브프레임인 경우를 예로 하여 설명된다. 그러나, 이하의 설명에서 서브프레임은 슬롯, 미니-슬롯, 혹은 다수(multiple) 슬롯들로 대체될 수 있다.Hereinafter, a case in which a transmission time interval of a physical channel is a subframe will be described as an example. For example, the description will be made on the case that the minimum time interval from the start of transmission of one physical channel to the start of transmission of the next physical channel is one subframe. However, in the following description, a subframe may be replaced with a slot, a mini-slot, or multiple slots.
MTC (Machine Type Communication)MTC (Machine Type Communication)
MTC(Machine Type Communication)은 M2M (Machine-to-Machine) 또는 IoT (Internet-of-Things) 등에 적용될 수 있는 많은 처리량(throughput)을 요구하지 않는 어플리케이션으로서, 3GPP(3rd Generation Partnership Project)에서 IoT 서비스의 요구 사항을 충족시키기 위해 채택된 통신 기술을 말한다.MTC (Machine Type Communication) is an application that does not require a lot of throughput that can be applied to M2M (Machine-to-Machine) or IoT (Internet-of-Things), and is an IoT service in 3GPP (3rd Generation Partnership Project). It refers to the communication technology adopted to meet the requirements of
이하에서 기술되는 내용은 주로 eMTC와 관련된 특징들이나, 특별한 언급이 없는 한 MTC, eMTC, 5G(또는 NR)에 적용될 MTC에도 동일하게 적용될 수 있다. 후술하는 MTC라는 용어는 eMTC (enhanced MTC), LTE-M1/M2, BL (Bandwidth reduced low complexity) / CE(coverage enhanced), non-BL UE(in enhanced coverage), NR MTC, enhanced BL / CE 등과 같이 다른 용어로 지칭될 수 있다. The contents described below are mainly features related to eMTC, but can be equally applied to MTC, eMTC, and MTC applied to 5G (or NR) unless otherwise specified. The term MTC to be described later is eMTC (enhanced MTC), LTE-M1/M2, BL (Bandwidth reduced low complexity) / CE (coverage enhanced), non-BL UE (in enhanced coverage), NR MTC, enhanced BL / CE, etc. Likewise, it may be referred to in other terms.
MTC 일반적 특징MTC general characteristics
(1) MTC는 특정 시스템 대역폭(또는 채널 대역폭) 내에서만 동작한다.(1) MTC operates only within a specific system bandwidth (or channel bandwidth).
MTC는 기존(legacy) LTE 시스템 혹은 NR 시스템의 시스템 대역 내 자원 블록(resource block, RB)들 중 특정 개수의 RB들을 사용할 수도 있다. MTC가 동작하는 주파수 대역폭은 NR의 주파수 범위(frequency range) 및 부반송파 간격(subcarrier spacing)을 고려하여 정의될 수 있다. 이하, MTC가 동작하는 특정 시스템 혹은 주파수 대역폭을 MTC 협대역(narrowband, NB) 혹은 MTC 서브밴드라고 칭한다. NR에서 MTC는 적어도 하나의 대역폭 파트(bandwidth part, BWP)에서 동작하거나 또는 BWP의 특정 대역에서 동작할 수도 있다.The MTC may use a specific number of RBs among resource blocks (RBs) within a system band of a legacy LTE system or an NR system. The frequency bandwidth in which the MTC operates may be defined in consideration of the frequency range of NR and subcarrier spacing. Hereinafter, a specific system or frequency bandwidth in which MTC operates is referred to as an MTC narrowband (NB) or an MTC subband. In NR, the MTC may operate in at least one bandwidth part (BWP) or may operate in a specific band of the BWP.
MTC는 1.08MHz보다 훨씬 더 큰 대역폭(예: 10MHz)을 가진 셀에 의해 지원될 수 있으나, MTC에 의해 송/수신되는 물리 채널 및 신호는 항상 1.08MHz 또는 6개 (LTE) RB들로 제한된다. 예를 들어, LTE 시스템에서 협대역은 주파수 도메인에서 6개의 비-중첩하는(non-overlapping) 연속적인(consecutive) 물리 자원 블록으로 정의된다. MTC can be supported by cells with much larger bandwidth (e.g. 10MHz) than 1.08MHz, but physical channels and signals transmitted/received by MTC are always limited to 1.08MHz or 6 (LTE) RBs. . For example, in the LTE system, a narrowband is defined as six non-overlapping consecutive physical resource blocks in the frequency domain.
MTC에서 하향링크와 상향링크의 일부 채널은 협대역 내로 제한되어 할당될 수 있으며, 한 시간 유닛에서 하나의 채널이 복수의 협대역을 점유하지는 않는다. 도 8 (a)는 협대역 동작의 일례를 나타낸 도이며, 도 8 (b)는 RF 리튜닝(retuning)을 가지는 MTC 채널 반복의 일례를 나타낸 도이다.In MTC, some channels of downlink and uplink may be limited and allocated within a narrow band, and one channel does not occupy a plurality of narrow bands in one time unit. 8(a) is a diagram showing an example of a narrowband operation, and FIG. 8(b) is a diagram showing an example of an MTC channel repetition with RF retuning.
MTC의 협대역은 BS에 의해 전송되는 시스템 정보 또는 DCI(downlink control information)를 통해 UE에게 설정될 수 있다.The narrow band of MTC may be set to the UE through system information transmitted by the BS or downlink control information (DCI).
(2) MTC는 기존 LTE 또는 NR의 전체 시스템 대역폭에 걸쳐서 분산되어야 하는 (기존 LTE 또는 NR에서 정의되는) 채널을 사용하지 않는다. 일례로, 기존 LTE의 PDCCH는 시스템 대역폭 전체에 분산되어 전송되므로, MTC 에서는 기존 PDCCH가 사용되지 않는다. 대신 MTC에서는 새로운 제어 채널인 MPDCCH(MTC PDCCH)가 사용된다. MPDCCH는 주파수 도메인에서 최대 6개 RB들 내에서 전송/수신된다. MPDCCH는 시간 도메인에서는 서브프레임 내 OFDM 심볼들 중 BS로부터의 RRC 파라미터에 의해 지시된 시작 OFDM 심볼 인덱스를 갖는 OFDM 심볼부터 시작하여 하나 이상의 OFDM 심볼들을 이용하여 전송될 수 있다. (2) MTC does not use a channel (defined in the existing LTE or NR) that should be distributed over the entire system bandwidth of the existing LTE or NR. For example, since the PDCCH of the existing LTE is distributed and transmitted over the entire system bandwidth, the existing PDCCH is not used in the MTC. Instead, in MTC, a new control channel MPDCCH (MTC PDCCH) is used. MPDCCH is transmitted/received in up to 6 RBs in the frequency domain. In the time domain, the MPDCCH may be transmitted using one or more OFDM symbols starting from an OFDM symbol having a start OFDM symbol index indicated by an RRC parameter from a BS among OFDM symbols in a subframe.
(3) MTC의 경우, PBCH, PRACH, MPDCCH, PDSCH, PUCCH, PUSCH가 반복적으로 전송될 수 있다. 이와 같은 MTC 반복 전송은 지하실과 같은 열악한 환경에서와 같이 신호 품질 또는 전력이 매우 열악한 경우에도 MTC 채널이 디코딩될 수 있어 셀 반경 증가 및 신호 침투 효과를 가져올 수 있다. (3) In the case of MTC, PBCH, PRACH, MPDCCH, PDSCH, PUCCH, and PUSCH may be repeatedly transmitted. In such MTC repetitive transmission, even when the signal quality or power is very poor, such as in a poor environment such as a basement, the MTC channel can be decoded, resulting in an increase in cell radius and a signal penetration effect.
MTC 동작 모드 및 레벨MTC operating mode and level
MTC는 커버리지 향상(coverage enhancement, CE)을 위해 2개의 동작 모드(operation mode)(CE Mode A, CE Mode B)와 4개의 서로 다른 CE 레벨들이 사용되며, 아래 표 2와 같을 수 있다.In the MTC, two operation modes (CE Mode A and CE Mode B) and four different CE levels are used for coverage enhancement (CE), and may be as shown in Table 2 below.
MTC 동작 모드는 BS에 의해 결정되며, CE 레벨은 MTC UE에 의해 결정된다. MTC 보호 기간 (guard period) The MTC operation mode is determined by the BS, and the CE level is determined by the MTC UE. MTC guard period
MTC에 사용되는 협대역의 위치는 특정 시간 유닛(예, 서브프레임 또는 슬롯)마다 다를 수 있다. MTC UE는 시간 유닛들에 따라 다른 주파수로 튜닝할 수 있다. 주파수 리튜닝에는 일정 시간이 필요하며, 이 일정 시간이 MTC의 가드 기간(guard period)으로 사용될 수 있다. 상기 가드 기간 동안에는 전송 및 수신이 발생하지 않는다. The location of the narrow band used for MTC may be different for each specific time unit (eg, subframe or slot). The MTC UE can tune to a different frequency according to the time units. A certain time is required for frequency retuning, and this certain time can be used as a guard period of the MTC. Transmission and reception do not occur during the guard period.
MTC 신호 전송/수신 방법MTC signal transmission/reception method
MTC에서의 신호 전송/수신 과정은 MTC에 특유한 사항을 제외하면 도 2의 과정과 유사하다. 도 2의 S201에서 설명된 과정이 MTC에서도 수행될 수 있다. 상기 MTC의 초기 셀 탐색 동작에 이용되는 PSS / SSS는 기존 LTE의 PSS / SSS일 수 있다. The signal transmission/reception process in the MTC is similar to that of FIG. 2 except for items specific to the MTC. The process described in S201 of FIG. 2 may also be performed in the MTC. The PSS / SSS used for the initial cell search operation of the MTC may be a PSS / SSS of the existing LTE.
PSS/SSS를 이용하여 BS와 동기화한 후, MTC UE는 BS로부터 PBCH 신호를 수신하여 셀 내 브로드캐스트 정보를 획득할 수 있다. PBCH를 통해 전송되는 브로드캐스트 정보는 MIB이다. MTC의 경우, 기존 LTE의 MIB 내 비트들 중 유보 비트(reserved bit)들이 새로운 SIB1-BR(system information block for bandwidth reduced device)에 대한 스케줄링 정보를 전송하기 위해 사용된다. SIB1-BR에 대한 상기 스케줄링 정보는 상기 SIB1-BR을 나르는 PDSCH를 위한 반복 횟수에 관한 정보 및 수송 블록 크기(transport block size, TBS)에 관한 정보를 포함할 수 있다. SIB-BR을 나르는 PDSCH에 대한 주파수 자원 할당은 협대역 내 6개 연속 RB들의 세트일 수 있다. SIB-BR은 상기 SIB-BR과 연관된 제어 채널(예, PDCCH, MPDDCH) 없이 직접 PDSCH 상에서 전송된다.After synchronizing with the BS using PSS/SSS, the MTC UE may obtain intra-cell broadcast information by receiving a PBCH signal from the BS. Broadcast information transmitted through the PBCH is MIB. In the case of MTC, reserved bits among the bits in the MIB of the existing LTE are used to transmit scheduling information for a new system information block for bandwidth reduced device (SIB1-BR). The scheduling information for SIB1-BR may include information on the number of repetitions for the PDSCH carrying the SIB1-BR and information on a transport block size (TBS). Frequency resource allocation for the PDSCH carrying SIB-BR may be a set of 6 consecutive RBs in a narrow band. SIB-BR is directly transmitted on the PDSCH without a control channel (eg, PDCCH, MPDDCH) associated with the SIB-BR.
초기 셀 탐색을 마친 MTC UE는 MPDCCH와 상기 MPDCCH 정보에 따른 PDSCH를 수신하여 조금 더 구체적인 시스템 정보를 획득할 수 있다(S202).After completing the initial cell search, the MTC UE may obtain more detailed system information by receiving the MPDCCH and the PDSCH according to the MPDCCH information (S202).
이후, MTC UE는 BS에 접속을 완료하기 위해 RACH 과정을 수행할 수 있다(S203 ~ S206). MTC UE의 RACH 과정과 관련된 기본적인 설정(configuration)은 SIB2에 의해 전송될 수 있다. 또한, SIB2는 페이징과 관련된 파라미터들을 포함한다. 3GPP 시스템에서 페이징 기회(Paging Occasion, PO)는 UE가 페이징의 수신을 시도할 수 있는 시간 유닛을 의미한다. 페이징이라 함은 네트워크가 상기 UE에게 전송할 데이터가 있음을 알리는 것을 의미한다. MTC UE는 페이징용으로 설정된 협대역(PNB) 상에서 자신의 PO에 해당하는 시간 유닛 내 P-RNTI를 기반으로 MPDCCH의 수신을 시도한다. P-RNTI를 기반으로 MPDCCH의 디코딩에 성공한 UE는 상기 MPDCCH에 의해 스케줄링된 PDSCH를 수신하여, 자신에 대한 페이징 메시지를 확인할 수 있다. 자신에 대한 페이징 메시지가 있으면 RACH 과정을 수행하여 네트워크로의 접속을 수행한다.Thereafter, the MTC UE may perform the RACH process to complete the access to the BS (S203 to S206). The basic configuration related to the RACH process of the MTC UE may be transmitted by SIB2. In addition, SIB2 includes parameters related to paging. In the 3GPP system, a paging opportunity (PO) refers to a time unit in which the UE can attempt to receive paging. Paging means that the network informs the UE that there is data to be transmitted. The MTC UE attempts to receive an MPDCCH based on a P-RNTI in a time unit corresponding to its PO on a narrow band (PNB) set for paging. The UE that has successfully decoded the MPDCCH based on the P-RNTI receives the PDSCH scheduled by the MPDCCH and can check the paging message for itself. If there is a paging message for itself, it performs the RACH process to access the network.
MTC에서 RACH 과정에서 전송되는 신호 및/또는 메시지들(Msg1, Msg2, Msg3, Msg4)는 반복적으로 전송될 수 있으며, 이러한 반복 패턴은 CE 레벨에 따라 다르게 설정된다. Signals and/or messages (Msg1, Msg2, Msg3, Msg4) transmitted in the RACH process in the MTC may be repeatedly transmitted, and this repetition pattern is set differently according to the CE level.
임의 접속을 위해 서로 다른 CE 레벨들에 대한 PRACH 자원들이 BS에 의해 시그널링된다. 최대 4개까지의 CE 레벨들에 대해 각각(respectively) 서로 다른 PRACH 자원들이 MTC UE로 시그널링될 수 있다. MTC UE는 하향링크 RS(예, CRS, CSI-RS, TRS 등)을 이용하여 RSRP를 추정하고, 측정 결과에 기초하여 BS에 의해 시그널링된 CE 레벨들 중 하나를 결정한다. 상기 UE는 상기 결정된 CE 레벨을 기반으로, 임의 접속에 대한 서로 다른 PRACH 자원 예, PRACH를 위한 주파수, 시간, 프리앰블 자원)들 중 하나를 선택하여, PRACH 전송을 수행한다. BS는 UE가 PRACH 전송에 사용한 PRACH 자원을 기반으로 상기 UE의 CE 레벨을 알 수 있다. 상기 BS는 UE가 PRACH 전송을 통해 알린 CE 레벨을 기반으로 상기 UE를 위한 CE 모드를 결정할 수 있다. 상기 BS는 상기 UE를 위한 CE 모드에 따라 DCI를 상기 UE에게 전송할 수 있다.PRACH resources for different CE levels are signaled by the BS for random access. Each (respectively) different PRACH resources for up to four CE levels may be signaled to the MTC UE. The MTC UE estimates RSRP using a downlink RS (eg, CRS, CSI-RS, TRS, etc.), and determines one of the CE levels signaled by the BS based on the measurement result. Based on the determined CE level, the UE selects one of different PRACH resources for random access, eg, frequency, time, and preamble resources for PRACH, and performs PRACH transmission. The BS may know the CE level of the UE based on the PRACH resource used by the UE for PRACH transmission. The BS may determine the CE mode for the UE based on the CE level announced by the UE through PRACH transmission. The BS may transmit DCI to the UE according to the CE mode for the UE.
PRACH에 대한 RAR 및 경쟁 해결 메시지(contention resolution message)들에 대한 탐색 공간들은 또한 시스템 정보를 통해 BS에 의해 시그널링된다.RAR for PRACH and search spaces for contention resolution messages are also signaled by the BS via system information.
상술한 바와 같은 과정을 수행한 MTC UE는 이후 일반적인 상향링크/하향링크 신호 전송 과정으로서 MPDCCH 신호 및/또는 PDSCH 신호의 수신(S207) 및 물리 상향링크 공유 채널(PUSCH) 신호 및/또는 물리 상향링크 제어 채널(PUCCH) 신호의 전송(S208)을 수행할 수 있다. MTC UE는 PUCCH 혹은 PUSCH를 통해 BS에게 UCI를 전송할 수 있다. After performing the above-described process, the MTC UE receives an MPDCCH signal and/or a PDSCH signal (S207) and a physical uplink shared channel (PUSCH) signal and/or a physical uplink signal as a general uplink/downlink signal transmission process. A control channel (PUCCH) signal may be transmitted (S208). The MTC UE may transmit UCI to the BS through PUCCH or PUSCH.
MTC UE에 대한 RRC 연결이 수립(establish)되면, MTC UE는 상향링크 및 하향링크 데이터 할당을 획득하기 위해 설정된 탐색 공간(search space)에서 MPDCCH를 모니터링하여 MDCCH의 수신을 시도한다. When the RRC connection to the MTC UE is established, the MTC UE attempts to receive the MDCCH by monitoring the MPDCCH in a search space configured to obtain uplink and downlink data allocation.
기존(legacy) LTE에서 PDSCH는 PDCCH를 사용하여 스케줄링된다. 구체적으로, PDCCH는 서브프레임(subframe, SF)에서 처음 N개의 OFDM 심볼들에서 전송될 수 있고(N=1~3), 상기 PDCCH에 의해 스케줄링되는 PDSCH는 동일한 서브프레임에서 전송된다. In legacy LTE, the PDSCH is scheduled using the PDCCH. Specifically, the PDCCH may be transmitted in the first N OFDM symbols in a subframe (SF) (N=1 to 3), and the PDSCH scheduled by the PDCCH is transmitted in the same subframe.
기존 LTE에서와 달리 MTC의 경우, MPDCCH와 상기 MDCCH에 의해 스케줄링되는 PDSCH가 서로 다른 서브프레임에서 전송/수신된다. 예를 들어, 서브프레임 #n에서 마지막 반복을 가지는 MPDCCH는 서브프레임 #n+2에서 시작하는 PDSCH를 스케줄링한다. MPDCCH는 한 번만 전송되거나 반복하여 전송될 수 있다. MPDCCH의 최대 반복 횟수는 BS로부터의 RRC 시그널링에 의해 UE에게 설정된다. MPDCCH에 의해 전송되는 DCI는 언제 PDSCH 전송이 시작되는지를 MTC UE가 알 수 있도록 하기 위해 상기 MPDCCH가 얼마나 반복되는지에 대한 정보를 제공한다. 예를 들어, 서브프레임 #n부터 전송이 시작된 MPDCCH 내 DCI가 상기 MPDCCH가 10번 반복된다는 정보를 포함하는 경우, 상기 MPDCCH가 전송되는 마지막 서브프레임은 서브프레임 #n+9이고, PDSCH의 전송은 서브프레임 #n+11에서 시작할 수 있다. MPDCCH에 의해 전송되는 DCI는 상기 DCI가 스케줄링하는 물리 데이터 채널(예, PUSCH, PDSCH)의 반복 횟수에 관한 정보를 포함할 수 있다. UE는 DCI가 스케줄링하는 물리 데이터 채널에 대한 반복 횟수 정보에 따라, 시간 도메인에서 상기 물리 데이터 채널을 반복하여 전송/수신할 수 있다. PDSCH는 상기 PDSCH를 스케줄링하는 MPDCCH가 있는 협대역과는 같은 혹은 다른 협대역에 스케줄링될 수 있다. MPDCCH와 해당 PDSCH가 다른 협대역에 위치하는 경우, MTC UE는 PDSCH를 디코딩하기 전에 상기 PDSCH가 있는 협대역으로 주파수를 리튜닝할 필요가 있다. 상향링크 스케줄링의 경우, 레거시 LTE와 동일한 타이밍을 따를 수 있다. 예를 들어, 서브프레임 #n에서 마지막 전송이 있는 MPDCCH는 서브프레임 #n+4에서 시작하는 PUSCH 전송을 스케줄링할 수 있다. 물리 채널에 반복 전송이 적용되는 경우, RF 리튜닝에 의해 서로 다른 MTC 서브밴드들 사이에서 주파수 호핑이 지원된다. 예를 들어, 32개의 서브프레임들에서 PDSCH가 반복 전송되는 경우, 처음 16개의 서브프레임들에서 PDSCH는 제1 MTC 서브밴드에서 전송되고, 나머지 16개의 서브프레임들에서 PDSCH는 제2 MTC 서브밴드에서 전송될 수 있다. MTC는 반-듀플렉스 모드로 동작할 수 있다.Unlike in the existing LTE, in the case of MTC, the MPDCCH and the PDSCH scheduled by the MDCCH are transmitted/received in different subframes. For example, the MPDCCH having the last repetition in subframe #n schedules the PDSCH starting in subframe #n+2. The MPDCCH may be transmitted only once or may be transmitted repeatedly. The maximum number of repetitions of the MPDCCH is set to the UE by RRC signaling from the BS. The DCI transmitted by the MPDCCH provides information on how many times the MPDCCH is repeated in order to allow the MTC UE to know when PDSCH transmission starts. For example, if the DCI in the MPDCCH starting from subframe #n includes information that the MPDCCH is repeated 10 times, the last subframe in which the MPDCCH is transmitted is subframe #n+9, and the transmission of the PDSCH is It can start in subframe #n+11. The DCI transmitted by the MPDCCH may include information on the number of repetitions of the physical data channel (eg, PUSCH, PDSCH) scheduled by the DCI. The UE may repeatedly transmit/receive the physical data channel in the time domain according to the repetition number information for the physical data channel scheduled by the DCI. The PDSCH may be scheduled in the same or different narrowband as the narrowband in which the MPDCCH scheduling the PDSCH is located. When the MPDCCH and the corresponding PDSCH are located in different narrowbands, the MTC UE needs to retune the frequency to the narrowband with the PDSCH before decoding the PDSCH. In the case of uplink scheduling, the same timing as legacy LTE may be followed. For example, the MPDCCH having the last transmission in subframe #n may schedule PUSCH transmission starting in subframe #n+4. When repetitive transmission is applied to a physical channel, frequency hopping between different MTC subbands is supported by RF retuning. For example, when the PDSCH is repeatedly transmitted in 32 subframes, the PDSCH is transmitted in the first MTC subband in the first 16 subframes, and the PDSCH is transmitted in the second MTC subband in the remaining 16 subframes. Can be transmitted. MTC can operate in a half-duplex mode.
NB-IoT (Narrowband-Internet of Things)NB-IoT (Narrowband-Internet of Things)
NB-IoT는 무선 통신 시스템(예, LTE 시스템, NR 시스템 등)의 1개 자원 블록(resource block, RB)에 해당하는 시스템 대역폭(system BW)을 통해 낮은 복잡도(complexity), 낮은 전력 소비(power consumption), 주파수 자원의 효율적 사용을 지원하기 위한 시스템을 의미할 수 있다. NB-IoT는 반-듀플렉스 모드로 동작할 수 있다. NB-IoT는 주로 기계 타입 통신(machine-type communication, MTC) 등과 같은 장치(device)(또는 UE)를 셀룰러 시스템(cellular system)에서 지원하여 IoT(즉, 사물 인터넷)를 구현하기 위한 통신 방식으로 이용될 수도 있다.NB-IoT provides low complexity and low power consumption through system bandwidth (system BW) corresponding to one resource block (RB) of a wireless communication system (e.g., LTE system, NR system, etc.). consumption), may mean a system to support efficient use of frequency resources. NB-IoT can operate in a half-duplex mode. NB-IoT is a communication method for implementing IoT (i.e., Internet of Things) by supporting devices (or UEs) such as machine-type communication (MTC) in a cellular system. It can also be used.
NB-IoT의 경우, 각 UE는 1개 자원 블록(resource block, RB)를 1개 반송파(carrier)로 인식하므로, 본 명세에서 NB-IoT와 관련되어 언급되는 RB 및 반송파는 서로 동일한 의미로 해석될 수도 있다.In the case of NB-IoT, since each UE recognizes one resource block (RB) as one carrier, the RB and carrier mentioned in relation to NB-IoT in this specification are interpreted as having the same meaning. It could be.
이하, 본 명세서에서의 NB-IoT와 관련된 프레임 구조, 물리 채널, 다중 반송파 동작(multi carrier operation), 일반적인 신호 전송/수신 등은 기존의 LTE 시스템의 경우를 고려하여 설명되지만, 차세대 시스템(예, NR 시스템 등)의 경우에도 적용될 수 있음은 물론이다. 또한, 본 명세서에서의 NB-IoT와 관련된 내용은 유사한 기술적 목적(예: 저-전력, 저-비용, 커버리지 향상 등)을 지향하는 MTC에 적용될 수도 있다.Hereinafter, the frame structure, physical channel, multi-carrier operation, general signal transmission/reception, etc. related to NB-IoT in this specification are described in consideration of the case of the existing LTE system, but the next-generation system (eg, It goes without saying that it can also be applied to the case of NR system, etc.). In addition, the content related to NB-IoT in the present specification may be applied to MTC aiming for similar technical purposes (eg, low-power, low-cost, coverage enhancement, etc.).
NB-IoT의 프레임 구조 및 물리 자원Frame structure and physical resources of NB-IoT
NB-IoT 프레임 구조는 부반송파 간격(subcarrier spacing)에 따라 다르게 설정될 수 있다. 예를 들어, 15kHz 부반송파 간격에 대한 NB-IoT 프레임 구조는 기존(legacy) 시스템(예, LTE 시스템)의 프레임 구조와 동일하게 설정될 수 있다. The NB-IoT frame structure may be set differently according to subcarrier spacing. For example, the NB-IoT frame structure for a 15 kHz subcarrier interval may be set the same as the frame structure of a legacy system (eg, LTE system).
예를 들어, 10ms NB-IoT 프레임은 1ms NB-IoT 서브프레임 10개를 포함하며, 1ms NB-IoT 서브프레임은 0.5ms NB-IoT 슬롯 2개를 포함할 수 있다. 또한, 각각의 0.5ms NB-IoT은 7개의 OFDM 심볼들을 포함할 수 있다. For example, a 10ms NB-IoT frame may include 10 1ms NB-IoT subframes, and a 1ms NB-IoT subframe may include 2 0.5ms NB-IoT slots. In addition, each 0.5ms NB-IoT may include 7 OFDM symbols.
다른 예로, 3.75kHz 부반송파 간격을 갖는 BWP 혹은 셀/반송파의 경우, 10ms NB-IoT 프레임은 2ms NB-IoT 서브프레임 5개를 포함하며, 2ms NB-IoT 서브프레임은 7개의 OFDM 심볼들과 하나의 보호 기간(guard period, GP)을 포함할 수 있다. As another example, in the case of a BWP or cell/carrier having a 3.75 kHz subcarrier spacing, a 10ms NB-IoT frame includes 5 2ms NB-IoT subframes, and a 2ms NB-IoT subframe includes 7 OFDM symbols and one It may include a guard period (GP).
또한, 상기 2ms NB-IoT 서브프레임은 NB-IoT 슬롯 또는 NB-IoT 자원 유닛(resource unit, RU) 등에 의해 표현될 수도 있다. NB-IoT 프레임 구조는 15kHz 및 3.75kHz에 한정되는 것은 아니며, 다른 부반송파 간격(예, 30kHz 등)에 대한 NB-IoT도 시간/주파수 단위를 달리하여 고려될 수 있음은 물론이다. In addition, the 2ms NB-IoT subframe may be expressed by an NB-IoT slot or an NB-IoT resource unit (RU). It goes without saying that the NB-IoT frame structure is not limited to 15 kHz and 3.75 kHz, and NB-IoT for other subcarrier spacings (eg, 30 kHz, etc.) may be considered in different time/frequency units.
NB-IoT 하향링크의 물리 자원은 시스템 대역폭이 특정 개수의 RB(예, 1개의 RB 즉, 180kHz)로 한정되는 것을 제외하고는, 다른 무선 통신 시스템(예, LTE 시스템, NR 시스템 등)의 물리 자원을 참고하여 설정될 수 있다. Physical resources of NB-IoT downlink are physical resources of other wireless communication systems (e.g., LTE system, NR system, etc.), except that the system bandwidth is limited to a specific number of RBs (e.g., one RB, that is, 180 kHz). It can be set by referring to resources.
일례로, 상술한 바와 같이 NB-IoT 하향링크가 15kHz 부반송파 간격만을 지원하는 경우, NB-IoT 하향링크의 물리 자원은 상술한 도 1에 예시된 자원 격자를 주파수 도메인 상의 1개 RB로 제한한 자원 영역으로 설정될 수 있다.As an example, as described above, when the NB-IoT downlink supports only a 15 kHz subcarrier interval, the physical resource of the NB-IoT downlink is a resource in which the resource grid illustrated in FIG. 1 is limited to one RB in the frequency domain. It can be set as an area.
NB-IoT 상향링크의 물리 자원의 경우에도 하향링크의 경우와 같이 시스템 대역폭은 1개의 RB로 제한되어 구성될 수 있다. NB-IoT에서, 상향링크 대역의 부반송파 수 및 슬롯 기간 은 아래의 표 3과 같이 주어질 수 있다. In the case of the NB-IoT uplink physical resource, as in the downlink case, the system bandwidth may be limited to one RB. In NB-IoT, the number of subcarriers in the uplink band And slot duration Can be given as in Table 3 below.
LTE 시스템의 NB-IoT의 경우, 한 개 슬롯의 슬롯 기간 은 시간 도메인에서 7개 SC-FDMA 심볼들로 정의된다.In the case of NB-IoT of LTE system, the slot duration of one slot Is defined as 7 SC-FDMA symbols in the time domain.
NB-IoT에서는 NB-IoT용 PUSCH(이하, NPUSCH)의 자원 요소들로의 매핑을 위해 자원 유닛(resource unit, RU)들이 사용된다. RU는 시간 도메인 상에서 개의 SC-FDMA 심볼들로 구성되고, 주파수 도메인 상에서 개의 연속적인(consecutive) 부반송파들로 구성될 수 있다. 일례로, 및 는 FDD용 프레임 구조를 가진 셀/반송파에 대해서는 아래의 표 4에 의해 주어지며, TDD용 프레임 구조인 프레임 구조를 가진 셀/반송파에 대해서는 표 5에 의해 주어질 수 있다.In NB-IoT, resource units (RUs) are used to map the PUSCH for NB-IoT (hereinafter, referred to as NPUSCH) to resource elements. RU is in the time domain It is composed of SC-FDMA symbols, and in the frequency domain It may be composed of consecutive (consecutive) subcarriers. For example, And Is given by Table 4 below for a cell/carrier having a frame structure for FDD, and Table 5 for a cell/carrier having a frame structure for TDD.
NB-IoT의 물리 채널Physical channel of NB-IoT
NB-IoT 하향링크에는 15kHz의 부반송파 간격에 기반하여 OFDMA 방식이 적용될 수 있다. 이를 통해, 부반송파 간 직교성(orthogonality)을 제공하여 다른 시스템(예, LTE 시스템, NR 시스템)과의 공존(co-existence)이 효율적으로 지원될 수 있다. NB-IoT 시스템의 하향링크 물리 채널/신호는 기존의 시스템과의 구분을 위하여 ‘N(Narrowband)’이 추가된 형태로 표현될 수 있다. 예를 들어, 하향링크 물리 채널은 NPBCH, NPDCCH, NPDSCH) 등으로 지칭되며, 하향링크 물리 신호는 NPSS, NSSS, NRS(Narrowband Reference Signal), NPRS(Narrowband Positioning Reference Signal), NWUS(Narrowband Wake Up Signal) 등으로 지칭될 수 있다. NB-IoT 시스템의 하향링크 채널인 NPBCH, NPDCCH, NPDSCH 등의 경우, 커버리지 향상을 위하여 반복 전송(repetition transmission)이 수행될 수 있다. 또한, NB-IoT는 새롭게 정의된 DCI 포맷을 사용하며, 일례로 NB-IoT를 위한 DCI 포맷은 DCI 포맷 N0, DCI 포맷 N1, DCI 포맷 N2 등으로 정의될 수 있다.An OFDMA scheme may be applied to the NB-IoT downlink based on a subcarrier spacing of 15 kHz. Through this, orthogonality between subcarriers can be provided so that co-existence with other systems (eg, LTE system, NR system) can be efficiently supported. The downlink physical channel/signal of the NB-IoT system may be expressed in a form in which “N (Narrowband)” is added to distinguish it from the existing system. For example, the downlink physical channel is referred to as NPBCH, NPDCCH, NPDSCH), and the like, and the downlink physical signal is NPSS, NSSS, Narrowband Reference Signal (NRS), Narrowband Positioning Reference Signal (NPRS), Narrowband Wake Up Signal (NWUS). ) And the like. In the case of NPBCH, NPDCCH, and NPDSCH, which are downlink channels of the NB-IoT system, repetition transmission may be performed to improve coverage. In addition, the NB-IoT uses a newly defined DCI format. For example, the DCI format for NB-IoT may be defined as DCI format N0, DCI format N1, DCI format N2, or the like.
NB-IoT 상향링크에는 15kHz 또는 3.75kHz의 부반송파 간격에 기반하여 SC-FDMA 방식이 적용될 수 있다. 하향링크 부분에서 언급한 것과 같이, NB-IoT 시스템의 물리 채널은 기존의 시스템과의 구분을 위하여 ‘N(Narrowband)’이 추가된 형태로 표현될 수 있다. 예를 들어, 상향링크 물리 채널은 NPRACH 및 NPUSCH 등으로 표현되고, 상향링크 물리 신호는 NDMRS 등으로 표현될 수 있다. NPUSCH는 NPUSCH 포맷 1과 NPUSCH 포맷 2 등으로 구분될 수 있다. 일례로, NPUSCH 포맷 1은 상향링크 공유 채널(uplink shared channel, UL-SCH) 전송(또는 운반)을 위해 이용되며, NPUSCH 포맷 2는 HARQ ACK 시그널링 등과 같은 UCI 전송을 위해 이용될 수 있다. NB-IoT 시스템의 상향링크 채널인 NPRACH 등의 경우, 커버리지 향상을 위하여 반복 전송이 수행될 수 있다. 이 경우, 반복 전송은 주파수 호핑이 적용되어 수행될 수도 있다.The SC-FDMA scheme may be applied to the NB-IoT uplink based on a subcarrier spacing of 15 kHz or 3.75 kHz. As mentioned in the downlink part, the physical channel of the NB-IoT system may be expressed in a form in which'N (Narrowband)' is added to distinguish it from the existing system. For example, the uplink physical channel may be expressed as NPRACH and NPUSCH, and the uplink physical signal may be expressed as NDMRS. The NPUSCH may be classified into an
NB-IoT의 다중 반송파 동작Multi-carrier operation of NB-IoT
NB-IoT는 다중 반송파 모드로 동작할 수 있다. 다중 반송파 동작은 NB-IoT에서 BS 및/또는 UE가 상호 간에 채널 및/또는 신호를 전송/수신함에 있어서 용도가 서로 다르게 설정된(즉, 타입이 다른) 다수의 반송파들이 이용되는 것을 의미할 수 있다.NB-IoT can operate in a multi-carrier mode. The multi-carrier operation may mean that a plurality of carriers having different uses (ie, different types) are used when the BS and/or the UE transmits/receives channels and/or signals with each other in NB-IoT. .
NB-IoT의 다중 반송파 모드에서, 반송파는 앵커 타입의 반송파(anchor type carrier)(즉, 앵커 반송파(anchor carrier), 앵커 PRB) 및 비-앵커 타입의 반송파(non-anchor type carrier)(즉, 비-앵커 반송파(non-anchor carrier), 비-앵커 PRB)로 구분될 수 있다.In the multi-carrier mode of NB-IoT, the carrier is an anchor type carrier (i.e., anchor carrier, anchor PRB) and a non-anchor type carrier (i.e., It can be classified into a non-anchor carrier and a non-anchor PRB.
앵커 반송파는 BS 관점에서 초기 접속(initial access)을 위해 NPSS, NSSS, NPBCH, 및 시스템 정보 블록(N-SIB)를 위한 NPDSCH 등을 전송하는 반송파를 의미할 수 있다. 즉, NB-IoT에서 초기 접속을 위한 반송파는 앵커 반송파로 지칭되고, 그 외의 것(들)은 비-앵커 반송파로 지칭될 수 있다.The anchor carrier may mean a carrier that transmits NPSS, NSSS, NPBCH, and NPDSCH for system information block (N-SIB) for initial access from the BS point of view. That is, in NB-IoT, a carrier for initial access may be referred to as an anchor carrier, and other(s) may be referred to as a non-anchor carrier.
NB-IoT 신호 전송/수신 과정NB-IoT signal transmission/reception process
NB-IoT에서의 신호 전송/수신 과정은 NB-IoT에 특유한 사항을 제외하면 도 2의 과정과 유사하다. 도 2를 참조하면, 전원이 꺼진 상태에서 다시 전원이 켜지거나, 새로이 셀에 진입한 NB-IoT UE는 초기 셀 탐색(Initial cell search) 작업을 수행할 수 있다(S201). 이를 위해 NB-IoT UE는 BS로부터 NPSS 및 NSSS를 수신하여 BS와의 동기화를 수행하고, 셀 ID(cell identity) 등의 정보를 획득할 수 있다. 또한, NB-IoT UE는 BS로부터 NPBCH를 수신하여 셀 내 브로드캐스트 정보를 획득할 수 있다. The process of transmitting/receiving a signal in NB-IoT is similar to that of FIG. 2 except for items specific to NB-IoT. Referring to FIG. 2, an NB-IoT UE that is powered on again while the power is turned off or newly entered a cell may perform an initial cell search operation (S201). To this end, the NB-IoT UE may receive NPSS and NSSS from the BS, perform synchronization with the BS, and obtain information such as cell identity (cell identity). In addition, the NB-IoT UE may obtain intra-cell broadcast information by receiving the NPBCH from the BS.
초기 셀 탐색을 마친 NB-IoT UE는 NPDCCH 및 이에 대응되는 NPDSCH를 수신하여 좀더 구체적인 시스템 정보를 획득할 수 있다(S202). 다시 말해, BS는 초기 셀 탐색을 마친 NB-IoT UE에게 NPDCCH 및 이에 대응되는 NPDSCH를 전송하여 좀더 구체적인 시스템 정보를 전달할 수 있다.The NB-IoT UE having finished initial cell search may obtain more detailed system information by receiving the NPDCCH and the corresponding NPDSCH (S202). In other words, the BS may transmit the NPDCCH and the corresponding NPDSCH to the NB-IoT UE that has completed initial cell search to deliver more specific system information.
이후, NB-IoT UE는 BS에 접속을 완료하기 위해 RACH 과정을 수행할 수 있다(S203 ~ S206). 구체적으로, NB-IoT UE는 NPRACH를 통해 프리앰블을 BS으로 전송할 수 있으며(S203), 상술한 바와 같이 NPRACH는 커버리지 향상 등을 위하여 주파수 호핑 등에 기반하여 반복 전송되도록 설정될 수 있다. 다시 말해, BS는 NB-IoT UE로부터 NPRACH를 통해 프리앰블을 (반복적으로) 수신할 수 있다. 이후, NB-IoT UE는 NPDCCH 및 이에 대응하는 NPDSCH를 통해 프리앰블에 대한 RAR을 BS로부터 수신할 수 있다(S204). 다시 말해, BS는 NPDCCH 및 이에 대응하는 NPDSCH를 통해 프리앰블에 대한 RAR를 NB-IoT UE로 전송할 수 있다. 이후, NB-IoT UE는 RAR 내의 스케줄링 정보를 이용하여 NPUSCH를 BS으로 전송하고(S205), NPDCCH 및 이에 대응하는 NPDSCH를 수신하여 충돌 해결 과정(Contention Resolution Procedure)를 수행할 수 있다(S206). Thereafter, the NB-IoT UE may perform a RACH process to complete access to the BS (S203 to S206). Specifically, the NB-IoT UE may transmit the preamble to the BS through the NPRACH (S203), and as described above, the NPRACH may be configured to be repeatedly transmitted based on frequency hopping or the like for coverage enhancement. In other words, the BS may (repeatedly) receive the preamble through the NPRACH from the NB-IoT UE. Thereafter, the NB-IoT UE may receive the RAR for the preamble from the BS through the NPDCCH and the corresponding NPDSCH (S204). In other words, the BS may transmit the RAR for the preamble to the NB-IoT UE through the NPDCCH and the corresponding NPDSCH. Thereafter, the NB-IoT UE transmits the NPUSCH to the BS using the scheduling information in the RAR (S205), and receives the NPDCCH and the corresponding NPDSCH to perform a contention resolution procedure (S206).
상술한 바와 같은 과정을 수행한 NB-IoT UE는 이후 일반적인 상향/하향링크 신호 전송 과정으로서 NPDCCH/NPDSCH 수신(S207) 및 NPUSCH 전송(S208)을 수행할 수 있다. 다시 말해, 상술한 과정들을 수행한 후, BS는 NB-IoT UE로 일반적인 신호 전송/수신 과정으로서 NPDCCH/NPDSCH 전송 및 NPUSCH 수신을 수행할 수 있다.After performing the above-described process, the NB-IoT UE may perform NPDCCH/NPDSCH reception (S207) and NPUSCH transmission (S208) as a general uplink/downlink signal transmission process. In other words, after performing the above-described processes, the BS may perform NPDCCH/NPDSCH transmission and NPUSCH reception as a general signal transmission/reception process to the NB-IoT UE.
NB-IoT의 경우, 앞서 언급한 바와 같이 NPBCH, NPDCCH, NPDSCH 등은 커버리지 향상 등을 위하여 반복 전송될 수 있다. 또한, NB-IoT의 경우 NPUSCH를 통해 UL-SCH(즉, 일반적인 상향링크 데이터) 및 UCI전달될 수 있다. 이 때, UL-SCH 및 UCI는 각각 다른 NPUSCH 포맷(예, NPUSCH 포맷 1, NPUSCH 포맷 2 등)을 통해 전송되도록 설정될 수도 있다.In the case of NB-IoT, as mentioned above, NPBCH, NPDCCH, NPDSCH, etc. may be repeatedly transmitted for coverage enhancement. In addition, in the case of NB-IoT, UL-SCH (ie, general uplink data) and UCI may be transmitted through NPUSCH. In this case, the UL-SCH and UCI may be set to be transmitted through different NPUSCH formats (eg,
NB-IoT에서 UCI는 일반적으로 NPUSCH를 통해 전송될 수 있다. 또한, 네트워크(예: BS)의 요청/지시에 따라 UE는 NPUSCH를 통해 UCI를 주기적(periodic), 비주기적(aperiodic), 또는 반-지속적(semi-persistent)으로 전송할 수 있다.In NB-IoT, UCI can generally be transmitted through NPUSCH. In addition, according to a request/instruction of a network (eg, BS), the UE may transmit UCI through the NPUSCH periodically (periodic), aperiodic (aperiodic), or semi-persistent.
무선 통신 장치Wireless communication device
도 9는 본 명세서에서 제안하는 방법들이 적용될 수 있는 무선 통신 시스템의 블록 구성도를 예시한다.9 illustrates a block diagram of a wireless communication system to which the methods proposed in the present specification can be applied.
도 9를 참조하면, 무선 통신 시스템은 제 1 통신 장치(910) 및/또는 제 2 통신 장치(920)을 포함한다. ‘A 및/또는 B’는 ‘A 또는 B 중 적어도 하나를 포함한다’와 동일한 의미로 해석될 수 있다. 제 1 통신 장치가 BS를 나타내고, 제 2 통신 장치가 UE를 나타낼 수 있다(또는 제 1 통신 장치가 UE를 나타내고, 제 2 통신 장치가 BS를 나타낼 수 있다). Referring to FIG. 9, the wireless communication system includes a
제 1 통신 장치와 제 2 통신 장치는 프로세서(processor, 911,921), 메모리(memory, 914,924), 하나 이상의 Tx/Rx RF 모듈(radio frequency module, 915,925), Tx 프로세서(912,922), Rx 프로세서(913,923), 안테나(916,926)를 포함한다. Tx/Rx 모듈은 트랜시버라고도 한다. 프로세서는 앞서 살핀 기능, 과정 및/또는 방법을 구현한다. 보다 구체적으로, DL(제 1 통신 장치에서 제 2 통신 장치로의 통신)에서, 코어 네트워크로부터의 상위 계층 패킷은 프로세서(911)에 제공된다. 프로세서는 레이어 2(즉, L2) 계층의 기능을 구현한다. DL에서, 프로세서는 논리 채널과 전송 채널 간의 다중화(multiplexing), 무선 자원 할당을 제 2 통신 장치(920)에 제공하며, 제 2 통신 장치로의 시그널링을 담당한다. 전송(TX) 프로세서(912)는 L1 계층(즉, 물리 계층)에 대한 다양한 신호 처리 기능을 구현한다. 상기 신호 처리 기능은 제 2 통신 장치에서 FEC(forward error correction)을 용이하게 하고, 코딩 및 인터리빙(coding and interleaving)을 포함한다. 인코딩 및 인터리밍을 거친 신호는 스크램블링(scrambling) 및 변조(modulation)을 거쳐 복소 값(complex valued) 변조 심볼들로 변조된다. 변조에는 채널에 따라 BPSK, QPSK, 16QAM, 64QAM, 246QAM 등이 사용될 수 있다. 복소 값 변조 심볼들(이하, 변조 심볼들)은 병렬 스트림으로 분할되고, 각각의 스트림은 OFDM 부반송파에 매핑되고, 시간 및/또는 주파수 도메인에서 참조 신호와 다중화(multiplexing)되며, IFFT를 사용하여 함께 결합되어 시간 도메인 OFDM 심볼 스트림을 운반하는 물리적 채널을 생성한다. OFDM 심볼 스트림은 다중 공간 스트림을 생성하기 위해 공간적으로 프리코딩된다. 각각의 공간 스트림은 개별 Tx/Rx 모듈(또는 트랜시버, 915)를 통해 상이한 안테나(916)에 제공될 수 있다. 각각의 Tx/Rx 모듈은 전송을 위해 각각의 공간 스트림을 RF 반송파로 주파수 상향변환(upconvert)할 수 있다. 제 2 통신 장치에서, 각각의 Tx/Rx 모듈(또는 트랜시버, 925)는 각 Tx/Rx 모듈의 각 안테나(926)을 통해 RF 반송파의 신호를 수신한다. 각각의 Tx/Rx 모듈은 상기 RF 반송파의 신호를 기저대역(baseband) 신호로 복원하여, 수신(RX) 프로세서(923)에 제공한다. RX 프로세서는 L1(즉, 물리 계층)의 다양한 신호 프로세싱 기능을 구현한다. RX 프로세서는 제 2 통신 장치로 향하는 임의의 공간 스트림을 복구하기 위해 정보에 공간 프로세싱을 수행할 수 있다. 만약 다수의 공간 스트림들이 제 2 통신 장치로 향하는 경우, 다수의 RX 프로세서들에 의해 단일 OFDMA 심볼 스트림으로 결합될 수 있다. RX 프로세서는 고속 푸리에 변환 (FFT)을 사용하여 시간 도메인 신호인 OFDM 심볼 스트림을 주파수 도메인 신호로 변환한다. 주파수 도메인 신호는 OFDM 신호의 각각의 부반송파에 대한 개별적인 OFDM 심볼 스트림을 포함한다. 각각의 부반송파 상의 변조 심볼들 및 참조 신호는 제 1 통신 장치에 의해 전송된 가장 가능성 있는 신호 성상(constellation) 포인트들을 결정함으로써 복원되고 복조된다. 이러한 연 판정(soft decision)들은 채널 추정 값들에 기초할 수 있다. 연판정들은 물리 채널 상에서 제 1 통신 장치에 의해 원래 전송된 데이터 및 제어 신호를 복원하기 위해 디코딩 및 디인터리빙되다. 해당 데이터 및 제어 신호는 프로세서(921)에 제공된다.The first communication device and the second communication device are a processor (processor, 911,921), memory (memory, 914,924), one or more Tx/Rx radio frequency modules (915,925), Tx processors (912,922), and Rx processors (913,923). ,
UL(제 2 통신 장치에서 제 1 통신 장치로의 통신)은 제 2 통신 장치(920)에서 수신기 기능과 관련하여 기술된 것과 유사한 방식으로 제 1 통신 장치(910)에서 처리된다. 각각의 Tx/Rx 모듈(925)는 각각의 안테나(926)을 통해 신호를 수신한다. 각각의 Tx/Rx 모듈은 RF 반송파 및 정보를 RX 프로세서(923)에 제공한다. 프로세서 (921)는 프로그램 코드 및 데이터를 저장하는 메모리 (924)와 관련될 수 있다. 메모리는 컴퓨터 판독 가능 매체로서 지칭될 수 있다.The UL (communication from the second communication device to the first communication device) is handled in the
<인공 지능(AI: Artificial Intelligence)><Artificial Intelligence (AI)>
인공 지능은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미하며, 머신 러닝(기계 학습, Machine Learning)은 인공 지능 분야에서 다루는 다양한 문제를 정의하고 그것을 해결하는 방법론을 연구하는 분야를 의미한다. 머신 러닝은 어떠한 작업에 대하여 꾸준한 경험을 통해 그 작업에 대한 성능을 높이는 알고리즘으로 정의하기도 한다.Artificial intelligence refers to the field of researching artificial intelligence or the methodology that can create it, and machine learning (Machine Learning) refers to the field of studying methodologies to define and solve various problems dealt with in the field of artificial intelligence. do. Machine learning is also defined as an algorithm that improves the performance of a task through continuous experience.
인공 신경망(ANN: Artificial Neural Network)은 머신 러닝에서 사용되는 모델로써, 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)들로 구성되는, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 인공 신경망은 다른 레이어의 뉴런들 사이의 연결 패턴, 모델 파라미터를 갱신하는 학습 과정, 출력값을 생성하는 활성화 함수(Activation Function)에 의해 정의될 수 있다.An artificial neural network (ANN) is a model used in machine learning, and may refer to an overall model with problem-solving capabilities, which is composed of artificial neurons (nodes) that form a network by combining synapses. The artificial neural network may be defined by a connection pattern between neurons of different layers, a learning process for updating model parameters, and an activation function for generating an output value.
인공 신경망은 입력층(Input Layer), 출력층(Output Layer), 그리고 선택적으로 하나 이상의 은닉층(Hidden Layer)를 포함할 수 있다. 각 층은 하나 이상의 뉴런을 포함하고, 인공 신경망은 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다. 인공 신경망에서 각 뉴런은 시냅스를 통해 입력되는 입력 신호들, 가중치, 편향에 대한 활성 함수의 함숫값을 출력할 수 있다. The artificial neural network may include an input layer, an output layer, and optionally one or more hidden layers. Each layer includes one or more neurons, and the artificial neural network may include neurons and synapses connecting neurons. In an artificial neural network, each neuron can output a function of an activation function for input signals, weights, and biases input through synapses.
모델 파라미터는 학습을 통해 결정되는 파라미터를 의미하며, 시냅스 연결의 가중치와 뉴런의 편향 등이 포함된다. 그리고, 하이퍼파라미터는 머신 러닝 알고리즘에서 학습 전에 설정되어야 하는 파라미터를 의미하며, 학습률(Learning Rate), 반복 횟수, 미니 배치 크기, 초기화 함수 등이 포함된다.Model parameters refer to parameters determined through learning, and include weights of synaptic connections and biases of neurons. In addition, the hyperparameter refers to a parameter that must be set before learning in a machine learning algorithm, and includes a learning rate, number of iterations, mini-batch size, and initialization function.
인공 신경망의 학습의 목적은 손실 함수를 최소화하는 모델 파라미터를 결정하는 것으로 볼 수 있다. 손실 함수는 인공 신경망의 학습 과정에서 최적의 모델 파라미터를 결정하기 위한 지표로 이용될 수 있다.The purpose of learning the artificial neural network can be seen as determining the model parameters that minimize the loss function. The loss function can be used as an index to determine an optimal model parameter in the learning process of the artificial neural network.
머신 러닝은 학습 방식에 따라 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning)으로 분류할 수 있다.Machine learning can be classified into supervised learning, unsupervised learning, and reinforcement learning according to the learning method.
지도 학습은 학습 데이터에 대한 레이블(label)이 주어진 상태에서 인공 신경망을 학습시키는 방법을 의미하며, 레이블이란 학습 데이터가 인공 신경망에 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과 값)을 의미할 수 있다. 비지도 학습은 학습 데이터에 대한 레이블이 주어지지 않는 상태에서 인공 신경망을 학습시키는 방법을 의미할 수 있다. 강화 학습은 어떤 환경 안에서 정의된 에이전트가 각 상태에서 누적 보상을 최대화하는 행동 혹은 행동 순서를 선택하도록 학습시키는 학습 방법을 의미할 수 있다.Supervised learning refers to a method of training an artificial neural network when a label for training data is given, and a label indicates the correct answer (or result value) that the artificial neural network must infer when training data is input to the artificial neural network. It can mean. Unsupervised learning may mean a method of training an artificial neural network in a state in which a label for training data is not given. Reinforcement learning may mean a learning method in which an agent defined in a certain environment learns to select an action or sequence of actions that maximizes the cumulative reward in each state.
인공 신경망 중에서 복수의 은닉층을 포함하는 심층 신경망(DNN: Deep Neural Network)으로 구현되는 머신 러닝을 딥 러닝(심층 학습, Deep Learning)이라 부르기도 하며, 딥 러닝은 머신 러닝의 일부이다. 이하에서, 머신 러닝은 딥 러닝을 포함하는 의미로 사용된다.Among artificial neural networks, machine learning implemented as a deep neural network (DNN) including a plurality of hidden layers is sometimes referred to as deep learning (deep learning), and deep learning is a part of machine learning. Hereinafter, machine learning is used in the sense including deep learning.
<로봇(Robot)><Robot>
로봇은 스스로 보유한 능력에 의해 주어진 일을 자동으로 처리하거나 작동하는 기계를 의미할 수 있다. 특히, 환경을 인식하고 스스로 판단하여 동작을 수행하는 기능을 갖는 로봇을 지능형 로봇이라 칭할 수 있다.A robot may refer to a machine that automatically processes or operates a task given by its own capabilities. In particular, a robot having a function of recognizing the environment and performing an operation by self-determining may be referred to as an intelligent robot.
로봇은 사용 목적이나 분야에 따라 산업용, 의료용, 가정용, 군사용 등으로 분류할 수 있다.Robots can be classified into industrial, medical, household, military, etc. depending on the purpose or field of use.
로봇은 액츄에이터 또는 모터를 포함하는 구동부를 구비하여 로봇 관절을 움직이는 등의 다양한 물리적 동작을 수행할 수 있다. 또한, 이동 가능한 로봇은 구동부에 휠, 브레이크, 프로펠러 등이 포함되어, 구동부를 통해 지상에서 주행하거나 공중에서 비행할 수 있다.The robot may be provided with a driving unit including an actuator or a motor to perform various physical operations such as moving a robot joint. In addition, the movable robot includes a wheel, a brake, a propeller, and the like in a driving unit, and can travel on the ground or fly in the air through the driving unit.
<자율 주행(Self-Driving)><Self-Driving>
자율 주행은 스스로 주행하는 기술을 의미하며, 자율 주행 차량은 사용자의 조작 없이 또는 사용자의 최소한의 조작으로 주행하는 차량(Vehicle)을 의미한다.Autonomous driving refers to self-driving technology, and autonomous driving vehicle refers to a vehicle that is driven without a user's manipulation or with a user's minimal manipulation.
예컨대, 자율 주행에는 주행중인 차선을 유지하는 기술, 어댑티브 크루즈 컨트롤과 같이 속도를 자동으로 조절하는 기술, 정해진 경로를 따라 자동으로 주행하는 기술, 목적지가 설정되면 자동으로 경로를 설정하여 주행하는 기술 등이 모두 포함될 수 있다.For example, in autonomous driving, a technology that maintains a driving lane, a technology that automatically adjusts the speed such as adaptive cruise control, a technology that automatically travels along a specified route, and a technology that automatically sets a route when a destination is set, etc. All of these can be included.
차량은 내연 기관만을 구비하는 차량, 내연 기관과 전기 모터를 함께 구비하는 하이브리드 차량, 그리고 전기 모터만을 구비하는 전기 차량을 모두 포괄하며, 자동차뿐만 아니라 기차, 오토바이 등을 포함할 수 있다.The vehicle includes all of a vehicle including only an internal combustion engine, a hybrid vehicle including an internal combustion engine and an electric motor, and an electric vehicle including only an electric motor, and may include not only automobiles, but also trains and motorcycles.
이때, 자율 주행 차량은 자율 주행 기능을 가진 로봇으로 볼 수 있다.In this case, the autonomous vehicle can be viewed as a robot having an autonomous driving function.
<확장 현실(XR: eXtended Reality)><Extended Reality (XR: eXtended Reality)>
확장 현실은 가상 현실(VR: Virtual Reality), 증강 현실(AR: Augmented Reality), 혼합 현실(MR: Mixed Reality)을 총칭한다. VR 기술은 현실 세계의 객체나 배경 등을 CG 영상으로만 제공하고, AR 기술은 실제 사물 영상 위에 가상으로 만들어진 CG 영상을 함께 제공하며, MR 기술은 현실 세계에 가상 객체들을 섞고 결합시켜서 제공하는 컴퓨터 그래픽 기술이다.Augmented reality collectively refers to virtual reality (VR), augmented reality (AR), and mixed reality (MR). VR technology provides only CG images of real-world objects or backgrounds, AR technology provides virtually created CG images on top of real object images, and MR technology is a computer that mixes and combines virtual objects in the real world. It's a graphic technology.
MR 기술은 현실 객체와 가상 객체를 함께 보여준다는 점에서 AR 기술과 유사하다. 그러나, AR 기술에서는 가상 객체가 현실 객체를 보완하는 형태로 사용되는 반면, MR 기술에서는 가상 객체와 현실 객체가 동등한 성격으로 사용된다는 점에서 차이점이 있다.MR technology is similar to AR technology in that it shows real and virtual objects together. However, in AR technology, a virtual object is used in a form that complements a real object, whereas in MR technology, there is a difference in that a virtual object and a real object are used with equal characteristics.
XR 기술은 HMD(Head-Mount Display), HUD(Head-Up Display), 휴대폰, 태블릿 PC, 랩탑, 데스크탑, TV, 디지털 사이니지 등에 적용될 수 있고, XR 기술이 적용된 장치를 XR 장치(XR Device)라 칭할 수 있다.XR technology can be applied to HMD (Head-Mount Display), HUD (Head-Up Display), mobile phones, tablet PCs, laptops, desktops, TVs, digital signage, etc. It can be called as.
도 10은 본 발명의 일 실시 예에 따른 AI 장치(1000)를 나타낸다.10 shows an
도 10에 도시된 AI 장치(1000)는 TV, 프로젝터, 휴대폰, 스마트폰, 데스크탑 컴퓨터, 노트북, 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC, 웨어러블 장치, 셋톱박스(STB), DMB 수신기, 라디오, 세탁기, 냉장고, 데스크탑 컴퓨터, 디지털 사이니지, 로봇, 차량 등과 같은, 고정형 기기 또는 이동 가능한 기기 등으로 구현될 수 있다. The
도 10을 참조하면, AI 장치(1000)는 통신부(1010), 입력부(1020), 러닝 프로세서(1030), 센싱부(1040), 출력부(1050), 메모리(1070) 및 프로세서(1080) 등을 포함할 수 있다.Referring to FIG. 10, the
통신부(1010)는 유무선 통신 기술을 이용하여 다른 AI 장치나 AI 서버 등의 외부 장치들과 데이터를 송수신할 수 있다. 예컨대, 통신부(1010)는 외부 장치들과 센서 정보, 사용자 입력, 학습 모델, 제어 신호 등을 송수신할 수 있다.The
이때, 통신부(1010)가 이용하는 통신 기술에는 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), LTE(Long Term Evolution), WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), ZigBee, NFC(Near Field Communication) 등이 있다. 특히, 이전 도 1 내지 도 9에서 전술한 5G 기술이 적용될 수도 있다.At this time, communication technologies used by the
입력부(1020)는 다양한 종류의 데이터를 획득할 수 있다. 이때, 입력부(1020)는 영상 신호 입력을 위한 카메라, 오디오 신호를 수신하기 위한 마이크로폰, 사용자로부터 정보를 입력 받기 위한 사용자 입력부 등을 포함할 수 있다. 여기서, 카메라나 마이크로폰을 센서로 취급하여, 카메라나 마이크로폰으로부터 획득한 신호를 센싱 데이터 또는 센서 정보라고 할 수도 있다.The
입력부(1020)는 모델 학습을 위한 학습 데이터 및 학습 모델을 이용하여 출력을 획득할 때 사용될 입력 데이터 등을 획득할 수 있다. 입력부(1020)는 가공되지 않은 입력 데이터를 획득할 수도 있으며, 이 경우 프로세서(1080) 또는 러닝 프로세서(1030)는 입력 데이터에 대하여 전처리로써 입력 특징점(input feature)을 추출할 수 있다.The
러닝 프로세서(1030)는 학습 데이터를 이용하여 인공 신경망으로 구성된 모델을 학습시킬 수 있다. 여기서, 학습된 인공 신경망을 학습 모델이라 칭할 수 있다. 학습 모델은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다.The
이때, 러닝 프로세서(1030)는 AI 서버의 러닝 프로세서와 함께 AI 프로세싱을 수행할 수 있다.In this case, the
이때, 러닝 프로세서(1030)는 AI 장치(1000)에 통합되거나 구현된 메모리를 포함할 수 있다. 또는, 러닝 프로세서(1030)는 메모리(1070), AI 장치(1000)에 직접 결합된 외부 메모리 또는 외부 장치에서 유지되는 메모리를 사용하여 구현될 수도 있다.In this case, the
센싱부(1040)는 다양한 센서들을 이용하여 AI 장치(1000) 내부 정보, AI 장치(1000)의 주변 환경 정보 및 사용자 정보 중 적어도 하나를 획득할 수 있다.The
이때, 센싱부(1040)에 포함되는 센서에는 근접 센서, 조도 센서, 가속도 센서, 자기 센서, 자이로 센서, 관성 센서, RGB 센서, IR 센서, 지문 인식 센서, 초음파 센서, 광 센서, 마이크로폰, 라이다, 레이더 등이 있다.At this time, sensors included in the
출력부(1050)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시킬 수 있다. The
이때, 출력부(1050)에는 시각 정보를 출력하는 디스플레이부, 청각 정보를 출력하는 스피커, 촉각 정보를 출력하는 햅틱 모듈 등이 포함될 수 있다.In this case, the
메모리(1070)는 AI 장치(1000)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 예컨대, 메모리(1070)는 입력부(1020)에서 획득한 입력 데이터, 학습 데이터, 학습 모델, 학습 히스토리 등을 저장할 수 있다.The
프로세서(1080)는 데이터 분석 알고리즘 또는 머신 러닝 알고리즘을 사용하여 결정되거나 생성된 정보에 기초하여, AI 장치(1000)의 적어도 하나의 실행 가능한 동작을 결정할 수 있다. 그리고, 프로세서(1080)는 AI 장치(1000)의 구성 요소들을 제어하여 결정된 동작을 수행할 수 있다.The
이를 위해, 프로세서(1080)는 러닝 프로세서(1030) 또는 메모리(1070)의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 상기 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 AI 장치(1000)의 구성 요소들을 제어할 수 있다.To this end, the
이때, 프로세서(1080)는 결정된 동작을 수행하기 위하여 외부 장치의 연계가 필요한 경우, 해당 외부 장치를 제어하기 위한 제어 신호를 생성하고, 생성한 제어 신호를 해당 외부 장치에 전송할 수 있다.In this case, when connection of an external device is required to perform the determined operation, the
프로세서(1080)는 사용자 입력에 대하여 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 사용자의 요구 사항을 결정할 수 있다.The
이때, 프로세서(1080)는 음성 입력을 문자열로 변환하기 위한 STT(Speech To Text) 엔진 또는 자연어의 의도 정보를 획득하기 위한 자연어 처리(NLP: Natural Language Processing) 엔진 중에서 적어도 하나 이상을 이용하여, 사용자 입력에 상응하는 의도 정보를 획득할 수 있다. At this time, the
이때, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 적어도 일부가 머신 러닝 알고리즘에 따라 학습된 인공 신경망으로 구성될 수 있다. 그리고, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 러닝 프로세서(1030)에 의해 학습된 것이나, AI 서버의 러닝 프로세서에 의해 학습된 것이거나, 또는 이들의 분산 처리에 의해 학습된 것일 수 있다. 참고로, AI 서버의 구체적인 구성요소들은 이하 도 11에 상세히 도시되어 있다.At this time, at least one or more of the STT engine and the NLP engine may be composed of an artificial neural network, at least partially trained according to a machine learning algorithm. In addition, at least one of the STT engine and the NLP engine may be learned by the
프로세서(1080)는 AI 장치(1000)의 동작 내용이나 동작에 대한 사용자의 피드백 등을 포함하는 이력 정보를 수집하여 메모리(1070) 또는 러닝 프로세서(1030)에 저장하거나, AI 서버 등의 외부 장치에 전송할 수 있다. 수집된 이력 정보는 학습 모델을 갱신하는데 이용될 수 있다.The
프로세서(1080)는 메모리(1070)에 저장된 응용 프로그램을 구동하기 위하여, AI 장치(1000)의 구성 요소들 중 적어도 일부를 제어할 수 있다. 나아가, 프로세서(1080)는 상기 응용 프로그램의 구동을 위하여, AI 장치(1000)에 포함된 구성 요소들 중 둘 이상을 서로 조합하여 동작시킬 수 있다.The
도 11은 본 발명의 일 실시 예에 따른 AI 서버(1120)를 나타낸다.11 shows an
도 11을 참조하면, AI 서버(1120)는 머신 러닝 알고리즘을 이용하여 인공 신경망을 학습시키거나 학습된 인공 신경망을 이용하는 장치를 의미할 수 있다. 여기서, AI 서버(1120)는 복수의 서버들로 구성되어 분산 처리를 수행할 수도 있고, 5G 네트워크로 정의될 수 있다. 이때, AI 서버(1120)는 AI 장치(1100)의 일부의 구성으로 포함되어, AI 프로세싱 중 적어도 일부를 함께 수행할 수도 있다.Referring to FIG. 11, the
AI 서버(1120)는 통신부(1121), 메모리(1123), 러닝 프로세서(1124) 및 프로세서(1126) 등을 포함할 수 있다.The
통신부(1121)는 AI 장치(1100) 등의 외부 장치와 데이터를 송수신할 수 있다.The communication unit 1121 may transmit and receive data with an external device such as the
메모리(1123)는 모델 저장부(1124)를 포함할 수 있다. 모델 저장부(1124)는 러닝 프로세서(1124)을 통하여 학습 중인 또는 학습된 모델(또는 인공 신경망, 1125)을 저장할 수 있다.The
러닝 프로세서(1124)는 학습 데이터를 이용하여 인공 신경망(1125)을 학습시킬 수 있다. 학습 모델은 인공 신경망의 AI 서버(1120)에 탑재된 상태에서 이용되거나, AI 장치(1100) 등의 외부 장치에 탑재되어 이용될 수도 있다.The
학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어(instruction)는 메모리(1123)에 저장될 수 있다.The learning model can be implemented in hardware, software, or a combination of hardware and software. When part or all of the learning model is implemented in software, one or more instructions constituting the learning model may be stored in the
프로세서(1126)는 학습 모델을 이용하여 새로운 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수 있다.The
도 12는 본 발명의 일 실시 예에 따른 AI 시스템을 나타낸다.12 shows an AI system according to an embodiment of the present invention.
도 12를 참조하면, AI 시스템은 AI 서버(1260), 로봇(1210), 자율 주행 차량(1220), XR 장치(1230), 스마트폰(1240) 또는 가전(1250) 중에서 적어도 하나 이상이 클라우드 네트워크(1210)와 연결된다. 여기서, AI 기술이 적용된 로봇(1210), 자율 주행 차량(1220), XR 장치(1230), 스마트폰(1240) 또는 가전(1250) 등을 AI 장치라 칭할 수 있다.Referring to FIG. 12, the AI system includes at least one of an
클라우드 네트워크(1210)는 클라우드 컴퓨팅 인프라의 일부를 구성하거나 클라우드 컴퓨팅 인프라 안에 존재하는 네트워크를 의미할 수 있다. 여기서, 클라우드 네트워크(1210)는 3G 네트워크, 4G 또는 LTE(Long Term Evolution) 네트워크 또는 5G 네트워크 등을 이용하여 구성될 수 있다.The
즉, AI 시스템을 구성하는 각 장치들(1210 내지 1260)은 클라우드 네트워크(1210)를 통해 서로 연결될 수 있다. 특히, 각 장치들(1210 내지 1260)은 기지국을 통해서 서로 통신할 수도 있지만, 기지국을 통하지 않고 직접 서로 통신할 수도 있다.That is, each of the
AI 서버(1260)는 AI 프로세싱을 수행하는 서버와 빅 데이터에 대한 연산을 수행하는 서버를 포함할 수 있다.The
AI 서버(1260)는 AI 시스템을 구성하는 AI 장치들인 로봇(1210), 자율 주행 차량(1220), XR 장치(1230), 스마트폰(1240) 또는 가전(1250) 중에서 적어도 하나 이상과 클라우드 네트워크(1210)을 통하여 연결되고, 연결된 AI 장치들(1210 내지 1250)의 AI 프로세싱을 적어도 일부를 도울 수 있다.The
이때, AI 서버(1260)는 AI 장치(1210 내지 1250)를 대신하여 머신 러닝 알고리즘에 따라 인공 신경망을 학습시킬 수 있고, 학습 모델을 직접 저장하거나 AI 장치(1210 내지 1250)에 전송할 수 있다. In this case, the
이때, AI 서버(1260)는 AI 장치(1210 내지 1250)로부터 입력 데이터를 수신하고, 학습 모델을 이용하여 수신한 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성하여 AI 장치(1210 내지 1250)로 전송할 수 있다.At this time, the
또는, AI 장치(1210 내지 1250)는 직접 학습 모델을 이용하여 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수도 있다.Alternatively, the
이하에서는, 상술한 기술이 적용되는 AI 장치(1210 내지 1250)의 다양한 실시 예들을 설명한다. 여기서, 도 12에 도시된 AI 장치(1210 내지 1250)는 도 10에 도시된 AI 장치(1000)의 구체적인 실시 예로 볼 수 있다.Hereinafter, various embodiments of the
<AI+XR><AI+XR>
XR 장치(1230)는 AI 기술이 적용되어, HMD(Head-Mount Display), 차량에 구비된 HUD(Head-Up Display), 텔레비전, 휴대폰, 스마트 폰, 컴퓨터, 웨어러블 디바이스, 가전 기기, 디지털 사이니지, 차량, 고정형 로봇이나 이동형 로봇 등으로 구현될 수도 있다.The
XR 장치(1230)는 다양한 센서들을 통해 또는 외부 장치로부터 획득한 3차원 포인트 클라우드 데이터 또는 이미지 데이터를 분석하여 3차원 포인트들에 대한 위치 데이터 및 속성 데이터를 생성함으로써 주변 공간 또는 현실 객체에 대한 정보를 획득하고, 출력할 XR 객체를 렌더링하여 출력할 수 있다. 예컨대, XR 장치(1230)는 인식된 물체에 대한 추가 정보를 포함하는 XR 객체를 해당 인식된 물체에 대응시켜 출력할 수 있다.The
XR 장치(1230)는 적어도 하나 이상의 인공 신경망으로 구성된 학습 모델을 이용하여 상기한 동작들을 수행할 수 있다. 예컨대, XR 장치(1230)는 학습 모델을 이용하여 3차원 포인트 클라우드 데이터 또는 이미지 데이터에서 현실 객체를 인식할 수 있고, 인식한 현실 객체에 상응하는 정보를 제공할 수 있다. 여기서, 학습 모델은 XR 장치(1230)에서 직접 학습되거나, AI 서버(1260) 등의 외부 장치에서 학습된 것일 수 있다. The
이때, XR 장치(1230)는 직접 학습 모델을 이용하여 결과를 생성하여 동작을 수행할 수도 있지만, AI 서버(1260) 등의 외부 장치에 센서 정보를 전송하고 그에 따라 생성된 결과를 수신하여 동작을 수행할 수도 있다.At this time, the
<AI+로봇+XR><AI+Robot+XR>
로봇(1210)은 AI 기술 및 XR 기술이 적용되어, 안내 로봇, 운반 로봇, 청소 로봇, 웨어러블 로봇, 엔터테인먼트 로봇, 펫 로봇, 무인 비행 로봇, 드론 등으로 구현될 수 있다. The
XR 기술이 적용된 로봇(1210)은 XR 영상 내에서의 제어/상호작용의 대상이 되는 로봇을 의미할 수 있다. 이 경우, 로봇(1210)은 XR 장치(1230)와 구분되며 서로 연동될 수 있다.The
XR 영상 내에서의 제어/상호작용의 대상이 되는 로봇(1210)은 카메라를 포함하는 센서들로부터 센서 정보를 획득하면, 로봇(1210) 또는 XR 장치(1230)는 센서 정보에 기초한 XR 영상을 생성하고, XR 장치(1230)는 생성된 XR 영상을 출력할 수 있다. 그리고, 이러한 로봇(1210)은 XR 장치(1230)를 통해 입력되는 제어 신호 또는 사용자의 상호작용에 기초하여 동작할 수 있다. When the
예컨대, 사용자는 XR 장치(1230) 등의 외부 장치를 통해 원격으로 연동된 로봇(1210)의 시점에 상응하는 XR 영상을 확인할 수 있고, 상호작용을 통하여 로봇(1210)의 자율 주행 경로를 조정하거나, 동작 또는 주행을 제어하거나, 주변 객체의 정보를 확인할 수 있다.For example, the user can check the XR image corresponding to the viewpoint of the
<AI+자율주행+XR><AI+Autonomous Driving+XR>
자율 주행 차량(1220)은 AI 기술 및 XR 기술이 적용되어, 이동형 로봇, 차량, 무인 비행체 등으로 구현될 수 있다. The
XR 기술이 적용된 자율 주행 차량(1220)은 XR 영상을 제공하는 수단을 구비한 자율 주행 차량이나, XR 영상 내에서의 제어/상호작용의 대상이 되는 자율 주행 차량 등을 의미할 수 있다. 특히, XR 영상 내에서의 제어/상호작용의 대상이 되는 자율 주행 차량(1220)은 XR 장치(1230)와 구분되며 서로 연동될 수 있다.The
XR 영상을 제공하는 수단을 구비한 자율 주행 차량(1220)은 카메라를 포함하는 센서들로부터 센서 정보를 획득하고, 획득한 센서 정보에 기초하여 생성된 XR 영상을 출력할 수 있다. 예컨대, 자율 주행 차량(1220)은 HUD를 구비하여 XR 영상을 출력함으로써, 탑승자에게 현실 객체 또는 화면 속의 객체에 대응되는 XR 객체를 제공할 수 있다.The
이때, XR 객체가 HUD에 출력되는 경우에는 XR 객체의 적어도 일부가 탑승자의 시선이 향하는 실제 객체에 오버랩되도록 출력될 수 있다. 반면, XR 객체가 자율 주행 차량(100b)의 내부에 구비되는 디스플레이에 출력되는 경우에는 XR 객체의 적어도 일부가 화면 속의 객체에 오버랩되도록 출력될 수 있다. 예컨대, 자율 주행 차량(1220)은 차로, 타 차량, 신호등, 교통 표지판, 이륜차, 보행자, 건물 등과 같은 객체와 대응되는 XR 객체들을 출력할 수 있다.In this case, when the XR object is output to the HUD, at least a part of the XR object may be output so that it overlaps with the actual object facing the occupant's gaze. On the other hand, when the XR object is output on a display provided inside the
XR 영상 내에서의 제어/상호작용의 대상이 되는 자율 주행 차량(1220)은 카메라를 포함하는 센서들로부터 센서 정보를 획득하면, 자율 주행 차량(1220) 또는 XR 장치(1230)는 센서 정보에 기초한 XR 영상을 생성하고, XR 장치(1230)는 생성된 XR 영상을 출력할 수 있다. 그리고, 이러한 자율 주행 차량(1220)은 XR 장치(1230) 등의 외부 장치를 통해 입력되는 제어 신호 또는 사용자의 상호작용에 기초하여 동작할 수 있다.When the
본 발명에 의한 VR (Virtual Reality) 기술, AR (Augmented Reality) 기술, MR (Mixed Reality) 기술은, 다양한 디바이스에 적용 가능하며, 보다 구체적으로 예를 들면 HMD (Head-Mount Display), 차량(vehicle)에 부착된 HUD (Head-Up Display), 휴대폰, 태블릿 PC, 랩탑, 데스크탑, TV, 사이니지 등에 적용된다. 또한, 플렉서블, 롤러블 디스플레이를 장착한 디바이스에도 적용 가능하다.VR (Virtual Reality) technology, AR (Augmented Reality) technology, and MR (Mixed Reality) technology according to the present invention can be applied to various devices, and more specifically, for example, HMD (Head-Mount Display), vehicle ) Attached to HUD (Head-Up Display), mobile phone, tablet PC, laptop, desktop, TV, signage, etc. It can also be applied to devices equipped with flexible and rollable displays.
나아가 전술한 VR 기술, AR 기술, MR 기술은 컴퓨터 그래픽을 기반으로 구현되며 사용자의 시야에 펼쳐지는 영상에서 CG(Computer Graphic) 영상이 차지하는 비율에 따라 구분될 수도 있다.Furthermore, the above-described VR technology, AR technology, and MR technology are implemented based on computer graphics, and may be classified according to a ratio of a computer graphic (CG) image in an image unfolded in the user's field of view.
즉, VR 기술은, 현실 세계의 객체나 배경 등을 CG 영상으로만 제공하는 디스플레이 기술이다. 반면, AR 기술은, 실제 사물 영상 위에 가상으로 만들어진 CG 영상을 함께 보여 주는 기술을 의미한다.That is, VR technology is a display technology that provides objects or backgrounds in the real world only as CG images. On the other hand, AR technology refers to a technology that shows a virtually created CG image on an image of a real object.
나아가, MR 기술은, 현실세계에 가상 객체들을 섞고 결합시켜서 보여준다는 점에서 전술한 AR 기술과 유사하다. 그러나, AR 기술에서는 현실 객체와 CG 영상으로 만들어진 가상 객체의 구별이 뚜렷하고, 현실 객체를 보완하는 형태로 가상 객체를 사용하는 반면, MR 기술에서는 가상 객체가 현실 객체와 동등한 성격으로 간주된다는 점에서 AR 기술과는 구별이 된다. 보다 구체적으로 예를 들면, 전술한 MR 기술이 적용된 것이 홀로그램 서비스 이다.Furthermore, the MR technology is similar to the above-described AR technology in that it mixes and combines virtual objects in the real world. However, in AR technology, the distinction between real objects and virtual objects made of CG images is clear, and virtual objects are used in a form that complements real objects, whereas in MR technology, virtual objects are regarded as having the same characteristics as real objects. It is distinct from technology. More specifically, for example, it is a hologram service to which the aforementioned MR technology is applied.
다만, 최근에는 VR, AR, MR 기술을 명확히 구별하기 보다는 XR (extended Reality) 기술로 부르기도 한다. 따라서, 본 발명의 실시예들은 VR, AR, MR, XR 기술 모두에 적용 가능하다.However, recently, VR, AR, and MR technologies are sometimes referred to as XR (extended reality) technology rather than clearly distinguishing between them. Accordingly, embodiments of the present invention are applicable to all of VR, AR, MR, and XR technologies.
한편, VR, AR, MR, XR 기술에 적용되는 하드웨어(HW) 관련 요소 기술로서, 예를 들어 유/무선 통신 기술, 입력 인터페이스 기술, 출력 인터페이스 기술 및 컴퓨팅 장치 기술 등이 존재한다. 또한, 소프트웨어(SW) 관련 요소 기술로서, 예를 들어 추적 및 정합 기술, 음성 인식 기술, 상호 작용 및 사용자 인터페이스 기술, 위치기반 서비스 기술, 검색 기술, AI (Artificial Intelligence) 기술 등이 존재한다.Meanwhile, as hardware (HW) related element technologies applied to VR, AR, MR, and XR technologies, for example, wired/wireless communication technology, input interface technology, output interface technology, and computing device technology exist. In addition, as component technologies related to software (SW), for example, there are tracking and matching technology, speech recognition technology, interaction and user interface technology, location-based service technology, search technology, and AI (Artificial Intelligence) technology.
특히, 본 발명의 실시예들은, 전술한 HW/SW 관련 요소 기술 등을 이용하여, 다른 디바이스와의 통신 문제, 효율적인 메모리 사용 문제, 불편한 UX/UI로 인한 데이터 처리 속도가 낮아지는 문제, 영상 문제, 음향 문제, 멀미 현상 또는 기타 문제 중 적어도 하나를 해결하고자 한다.In particular, embodiments of the present invention, using the above-described HW / SW-related element technology, a communication problem with other devices, an efficient memory use problem, a problem that the data processing speed is lowered due to an inconvenient UX / UI, an image problem. , An acoustic problem, motion sickness, or at least one of other problems.
도 13은 본 발명의 실시예들에 의한 XR 디바이스의 블록도를 도시한 도면이다. XR 디바이스는 카메라(1310), 디스플레이(1320), 센서(1330), 프로세서(1340), 메모리(1350) 및 통신 모듈(1360) 등을 포함한다. 물론, 당업자의 필요에 따라 일부 모듈을 삭제, 변경, 추가하는 것도 본 발명의 권리범위에 속한다.13 is a diagram illustrating a block diagram of an XR device according to embodiments of the present invention. The XR device includes a
통신 모듈(1360)은 외부 장치 또는 서버와 유선/무선으로 통신을 수행하며, 근거리 무선 통신으로 예를 들어 Wi-Fi, 블루투스 등이 사용될 수 있고, 원거리 무선 통신으로 예를 들어 3GPP 통신 규격이 사용될 수 있다. LTE는 3GPP TS 36.xxx Release 8 이후의 기술을 의미한다. 세부적으로, 3GPP TS 36.xxx Release 10 이후의 LTE 기술은 LTE-A로 지칭되고, 3GPP TS 36.xxx Release 13 이후의 LTE 기술은 LTE-A pro로 지칭된다. 3GPP 5G (5th generation) 기술은 TS 36.xxx Release 15 이후의 기술 및 TS 38.XXX Release 15 이후의 기술을 의미하며, 이 중 TS 38.xxx Release 15 이후의 기술은 3GPP NR로 지칭되고, TS 36.xxx Release 15 이후의 기술은 enhanced LTE로 지칭될 수 있다. "xxx"는 표준 문서 세부 번호를 의미한다. LTE/NR은 3GPP 시스템으로 통칭될 수 있다.The
카메라(1310)는 XR 디바이스(1300) 주변 환경을 촬영하여 전기적 신호로 변환할 수 있다. 카메라(1310)에서 촬영되어 전기적 신호로 변환된 이미지는 메모리(1350)에 저장된 후 프로세서(1340)를 통해 디스플레이(1320)에서 디스플레이 될 수 있다. 또한, 상기 이미지는 상기 메모리(1350)에 저장 없이, 바로 프로세서(1340)를 이용하여 디스플레이(1320)를 통해 디스플레이 될 수 있다. 또한, 카메라(110)는 화각을 가질 수 있다. 이 때, 화각은 예를 들어 카메라(1310) 주변에 위치하는 리얼 오브젝트를 디텍트할 수 있는 영역을 의미한다. 카메라(1310)는 화각내에 위치하는 리얼 오브젝트만을 디텍트할 수 있다. 리얼 오브젝트가 카메라(1310)의 화각 내에 위치하는 경우, XR 디바이스(1300)는 리얼 오브젝트에 대응하는 증강 현실 오브젝트를 디스플레이 할 수 있다. 또한, 카메라(1310)는 카메라(1310)와 리얼 오브젝트의 각도를 디텍트할 수 있다.The
센서(1330)는 적어도 하나의 센서를 포함할 수 있으며, 예를 들어, 중력(gravity) 센서, 지자기 센서, 모션 센서, 자이로 센서, 가속도 센서, 기울임(inclination) 센서, 밝기 센서, 고도 센서, 후각 센서, 온도 센서, 뎁스 센서, 압력 센서, 벤딩 센서, 오디오 센서, 비디오 센서, GPS(Global Positioning System) 센서, 터치 센서 등의 센싱 수단을 포함한다. 나아가, 디스플레이(1320)는 고정형일 수도 있으나, 높은 플렉시빌러티(flexibility)를 갖도록 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode), ELD(Electro Luminescent Display), M-LED(Micro LED)로 구현 가능하다. 이 때, 상기 센서(1330)는 전술한 LCD, OLED, ELD, M-LED (마이크로 LED) 등으로 구현된 디스플레이(1320)의 휘어짐, 벤딩(Bending) 정도를 디텍트 하도록 설계한다.The
그리고, 메모리(1350)는 카메라(1310)에 의해 촬영된 이미지를 저장하는 기능을 가지고 있을 뿐만 아니라, 외부 장치 또는 서버와 유선/무선으로 통신을 수행한 결과값의 전부 또는 일부를 저장하는 기능을 가지고 있다. 특히, 통신 데이터 트래픽이 증가하는 추세(예를 들어, 5G 통신 환경에서)를 고려할 때, 효율적인 메모리 관리가 요구된다. 이와 관련하여, 이하 도 14에서 상세히 후술하도록 하겠다.In addition, the
도 14는 도 13에 도시된 메모리(1350)를 보다 구체적으로 도시한 블록도이다. 이하, 도 14를 참조하여, 본 발명의 일실시예에 따라 램 및 플래쉬 메모리 간의 스왑 아웃(swap out) 과정을 설명하도록 하겠다.14 is a more detailed block diagram of the
제어부(1430)는 램(1410) 내의 AR/VR 관련 페이지 데이터들을 플래시 메모리(1420)로 스왑 아웃할 때에, 스왑 아웃할 AR/VR 관련 페이지 데이터들 중에서 서로 내용이 동일한 둘 이상의 AR/VR 관련 페이지 데이터들에 대해서는 오직 하나만을 플래시 메모리(1420)로 스왑 아웃할 수 있다.When the
즉, 제어부(1430)는 상기 스왑 아웃할 AR/VR 관련 페이지 데이터들의 내용을 각각 구별하는 구별값(예를 들어, 해쉬 함수)들을 계산하고, 상기 계산된 구별값들 중 서로 동일한 구별값을 가지는 둘 이상의 AR/VR 페이지 데이터들의 내용이 서로 동일한 것으로 판단할 수 있다. 따라서, 불필요한 AR/VR 관련 페이지 데이터들이 플래쉬 메모리(1420)에 저장되어, 상기 플래쉬 메모리(1420) 뿐만 아니라 이를 포함하는 AR/VR 디바이스의 수명이 단축되는 문제점을 해결할 수가 있다.That is, the
상기 제어부(1430)의 동작은 소프트웨어 형태로 구현할 수도 있고, 또는 하드웨어 형태로 구현하는 것도 본 발명의 권리범위에 속한다. 나아가, 보다 구체적으로 도 14에 도시된 메모리 등은, HMD (Head-Mount Display), 차량(vehicle), 휴대폰, 태블릿 PC, 랩탑, 데스크탑, TV, 사이니지 등에 포함되어, 스왑 기능을 수행한다.The operation of the
한편, 본 발명의 실시예들에 따른 디바이스는3차원 포인트 클라우드 데이터를 처리하여VR, AR, MR, XR 및 자율 주행 서비스 등 다양한 서비스를 사용자에게 제공할 수 있다. Meanwhile, the device according to the embodiments of the present invention may provide various services such as VR, AR, MR, XR, and autonomous driving services to a user by processing 3D point cloud data.
3차원 포인트 클라우드 데이터를 수집하는 센서는 예를 들어, LiDAR (light detection and ranging), RGB-D(Red Green Blue Depth), 3D 레이저 스캐너(Laser Scanner) 등이 될 수 있으며, 상기 센서는 HMD (Head-Mount Display), 차량(vehicle), 휴대폰, 태블릿 PC, 랩탑, 데스크탑, TV, 사이니지 등의 내부 또는 외부에 장착 가능하다.A sensor that collects 3D point cloud data may be, for example, LiDAR (light detection and ranging), RGB-D (Red Green Blue Depth), 3D laser scanner, and the like, and the sensor is an HMD ( Head-Mount Display), vehicle, mobile phone, tablet PC, laptop, desktop, TV, signage, etc. can be installed inside or outside.
도 15는 포인트 클라우트 데이터 처리 시스템을 나타낸다.15 shows a point cloud data processing system.
도 15에 도시된 포인트 클라우드 처리 시스템(1500)은 포인트 클라우드 데이터를 획득하여 인코딩 처리하여 전송하는 전송 디바이스 및 비디오 데이터를 수신하여 디코딩 처리하여 포인트 클라우드 데이터를 획득하는 수신 디바이스를 포함한다. 도 15에 도시된 바와 같이 본 발명의 실시예들에 따른 포인트 클라우드 데이터는 포인트 클라우드 데이터의 캡처, 합성 또는 생성 과정 등을 통하여 획득될 수 있다(S1510). 획득 과정에서 포인트들에 대한 3D 위치(x, y, z)/속성 (color, reflectance, transparency 등) 데이터 (예를 들어, PLY(Polygon File format or the Stanford Triangle format) 파일 등)이 생성될 수 있다. 여러 개의 프레임을 갖는 비디오의 경우 하나 이상의 파일들이 획득될 수 있다. 캡처 과정에서 포인트 클라우드 데이터 관련 메타데이터 (예를 들어 캡처와 관련된 메타데이터 등)가 생성될 수 있다. 본 발명의 실시예들에 따른 전송 디바이스 또는 인코더는Video-based Point Cloud Compression (V-PCC) 또는 Geometry-based Point Cloud Compression (G-PCC) 방식을 이용하여 포인트 클라우드 데이터를 인코딩하여 하나 또는 그 이상의 비디오 스트림들을 출력할 수 있다(S1520). V-PCC는 HEVC, VVC 등의 2D 비디오 코덱 (video codec)을 기반으로 포인트 클라우드 데이터를 압축하는 방법이고, G-PCC는 포인트 클라우드 데이터를 지오메트리 (geometry) 및 어트리뷰트(attribute) 두 가지 스트림으로 나누어 인코딩하는 방법이다. 지오메트리 스트림은 포인트들의 위치 정보를 재구성하고 인코딩하여 생성될 수 있으머, 어트리뷰트 스트림은 각 포인트와 연관된 속성 정보 (예를 들면 색상 등)를 재구성하고 인코딩하여 생성될 수 있다. V-PCC의 경우, 2D 비디오와 호환 가능하나, V-PCC 처리된 데이터를 복구하는데 G-PCC 대비 더 많은 데이터(예를 들면, 지오메트리 비디오, 어트리뷰트(attribute) 비디오, 어큐판시(occupancy) 맵 비디오 및 부가 정보(auxiliary information))가 필요하여 서비스 제공 시 더 긴 지연시간이 발생할 수 있다. 출력된 하나 또는 그 이상의 비트 스트림들은 관련 메타데이터와 함께 파일 등의 형태 (예를 들면 ISOBMFF 등의 파일 포맷 등)로 인캡슐레이션되어 네트워크 또는 디지털 저장매체를 통해 전송될 수 있다(S1530).The point
본 발명의 실시예들에 따른 디바이스 또는 프로세서는 수신한 비디오 데이터를 디캡슐레이션 처리하여 하나 또는 그 이상의 비트 스트림들을 및 관련 메타 데이터를 획득하고, 획득한 비트 스트림들을 V-PCC 또는 G-PCC 방식으로 디코딩하여 3차원의 포인트 클라우드 데이터를 복원할 수 있다(S1540). 렌더러는 디코딩된 포인트 클라우드 데이터를 렌더링하고 디스플레이부를 통해 사용자에게 VR/AR/MR/ 서비스에 맞는 콘텐트를 제공할 수 있다(S1550). The device or processor according to the embodiments of the present invention decapsulates the received video data to obtain one or more bit streams and related metadata, and uses the obtained bit streams in a V-PCC or G-PCC method. 3D point cloud data may be reconstructed by decoding it (S1540). The renderer may render the decoded point cloud data and provide content suitable for VR/AR/MR/service to the user through the display unit (S1550).
도 15에 도시된 바와 같이, 본 발명의 실시예들에 따른 디바이스 또는 프로세서는 렌더링/디스플레이 과정에서 획득한 다양한 피드백 정보들을 송신 디바이스로 전달하거나, 디코딩 과정에 전달하는 피드백 프로세스를 수행할 수 있다(S1560). 본 발명의 실시예들에 따른 피드백 정보는 헤드 오리엔테이션(Head Orientation) 정보, 사용자가 현재 보고 있는 영역을 나타내는 뷰포트(Viewport) 정보 등을 포함할 수 있다. 피드백 프로세스를 통해 사용자와 서비스 (또는 콘텐트) 프로바이더 간의 상호작용이 이루어지므로, 본 발명의 실시예들에 따른 디바이스는 보다 높은 사용자 편의가 고려된 다양한 서비스들을 제공할 수 있을 뿐만 아니라, 전술한 V-PCC 또는 G-PCC 방식을 이용하여 보다 빠른 데이터 처리 속도를 제공하거나 선명한 비디오 구성이 가능한 기술적 효과가 있다.As shown in FIG. 15, the device or processor according to the embodiments of the present invention may perform a feedback process of transferring various feedback information acquired during a rendering/display process to a transmitting device or transferring it to a decoding process ( S1560). Feedback information according to embodiments of the present invention may include head orientation information, viewport information indicating an area currently viewed by the user, and the like. Since the interaction between the user and the service (or content) provider is made through the feedback process, the device according to the embodiments of the present invention can provide various services considering higher user convenience, as well as the aforementioned V -There is a technical effect that provides faster data processing speed or clear video composition by using PCC or G-PCC method.
도 16은 러닝 프로세서를 포함하는 XR 디바이스(1600)를 나타낸다. 이전 도 13과 대비하여, 러닝 프로세서(1670)만 추가되었으므로, 다른 구성요소들은 도 13을 참조하여 해석 가능하므로 중복되는 설명은 생략한다.16 shows an
도 16에 도시된 XR 디바이스(160)는 학습모델을 탑재할 수 있다. 학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어(instruction)는 메모리(1650)에 저장될 수 있다.The XR device 160 shown in FIG. 16 may be equipped with a learning model. The learning model can be implemented in hardware, software, or a combination of hardware and software. When part or all of the learning model is implemented in software, one or more instructions constituting the learning model may be stored in the
본 발명의 실시예들에 따른 러닝 프로세서(1670)는 프로세서(1640)와 통신 가능하도록 연결될 수 있으며, 훈련 데이터를 이용하여 인공 신경망으로 구성된 모델을 반복적으로 학습시킬 수 있다. 인공신경망은 생물학적 뉴런의 동작원리와 뉴런간의 연결 관계를 모델링한 것으로 노드(node) 또는 처리 요소(processing element)라고 하는 다수의 뉴런들이 레이어(layer) 구조의 형태로 연결된 정보처리 시스템이다. 인공 신경망은 기계 학습에서 사용되는 모델로써, 기계학습과 인지과학에서 생물학의 신경망(동물의 중추신경계 중 특히 뇌)에서 영감을 얻은 통계학적 학습 알고리즘이다. 기계 학습은 머신 러닝(Machine Learning)과 혼용되어 사용될 수 있다. 머신 러닝은 인공지능(Artificial Intelligence, AI)의 한 분야로, 컴퓨터에 명시적인 프로그램 없이 배울 수 있는 능력을 부여하는 기술이다. 머신 러닝은 경험적 데이터를 기반으로 학습을 하고 예측을 수행하고 스스로의 성능을 향상시키는 시스템과 이를 위한 알고리즘을 연구하고 구축하는 기술이다. 따라서 본 발명의 실시예들에 따른 러닝 프로세서(1670)는 인공 신경망을 반복 학습시킴으로서, 인공 신경망의 최적화된 모델 파라미터들을 결정하여 새로운 입력 데이터에 대하여 결과 값을 추론할 수 있다. 따라서 러닝 프로세서(1670)는 사용자의 디바이스 사용 히스토리 정보를 기반으로 사용자의 디바이스 사용 패턴을 분석할 수 있다. 또한, 러닝 프로세서(1670)는 데이터 마이닝, 데이터 분석, 지능형 의사 결정, 및 기계 학습 알고리즘 및 기술을 위해 이용될 정보를 수신, 분류, 저장 및 출력하도록 구성될 수 있다.The
본 발명의 실시예들에 따른 프로세서(1640)는 러닝 프로세서(1670)에서 분석되거나 생성된 데이터를 기반으로 디바이스의 적어도 하나의 실행 가능한 동작을 결정 또는 예측할 수 있다. 또한 프로세서(1640)는 러닝 프로세서(1670)의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 XR 디바이스(1600)를 제어할 수 있다. 본 발명의 실시예들에 따른 프로세서(1640)는 지능적 에뮬레이션(즉, 지식 기반 시스템, 추론 시스템 및 지식 획득 시스템)을 구현하는 다양한 기능을 수행 할 수 있다. 이는 적응 시스템, 기계 학습 시스템, 인공 신경망 등을 포함하는, 다양한 유형의 시스템(예컨대, 퍼지 논리 시스템)에 적용될 수 있다. 즉, 프로세서(1640)는 러닝 프로세서(1670)에서 사용자의 디바이스 사용 패턴을 분석한 데이터를 기반으로 추후 사용자 디바이스 사용 패턴을 예측하여 XR 디바이스(1600)는 사용자에게 보다 적합한 XR 서비스를 제공할 수 있도록 제어할 수 있다. 여기서의, XR 서비스는 AR 서비스, VR 서비스, MR 서비스 중 적어도 하나 이상을 포함한다. The
도 17은 도 16에 도시된 본 발명의 XR 디바이스(1600)가 XR 서비스를 제공하는 과정을 나타낸다.FIG. 17 shows a process in which the
본 발명의 실시예들에 따른 프로세서(1670)는 사용자의 디바이스 사용 히스토리 정보를 메모리(1650)에 저장할 수 있다(S1710). 디바이스 사용 히스토리 정보는 사용자에게 제공된 콘텐트 이름, 카테고리, 내용 등의 정보, 디바이스가 사용된 시간 정보, 사용자가 디바이스를 사용한 장소 정보, 시간 정보, 디바이스에 설치된 어플리케이션 사용 정보 등을 포함할 수 있다. The
본 발명의 실시예들에 따른 러닝 프로세서(1670)는 디바이스 사용 히스토리 정보를 분석하여 사용자의 디바이스 사용 패턴 정보를 획득할 수 있다(S1720). 예를 들어 XR 디바이스(1600)가 사용자에게 특정 콘텐트 A를 제공한 경우, 러닝 프로세서(1670)는 콘텐트 A에 대한 구체적인 정보 (예를 들면, 콘텐트 A를 주로 사용하는 사용자들의 관한 나이 정보, 콘텐트 A의 내용 정보, 콘텐트 A와 유사한 콘텐트 정보 등), 해당 단말기를 사용하는 사용자가 특정 콘텐트 A를 소비한 시간, 장소, 횟수 등의 정보를 총 종합하여, 사용자가 콘텐트 A를 해당 디바이스에서 사용하는 패턴 정보를 학습할 수 있다. The
본 발명의 실시예들에 따른 프로세서(1640)는 러닝 프로세서(16470)에서 학습한 정보를 기반으로 생성된 사용자 디바이스 패턴 정보를 획득하고, 디바이스 사용 패턴 예측 정보를 생성할 수 있다(S1730). 또한 프로세서(1640)는 예를 들어, 사용자가 디바이스(1640)를 사용하지 않는 경우 사용자가 디바이스(1640)를 자주 사용했던 장소에 있다고 판단되거나, 사용자가 디바이스(1640)를 주로 사용하는 시간에 가까운 경우, 프로세서(1640)는 디바이스(1600)가 동작하도록 지시할 수 있다. 이 경우, 본 발명의 실시예들에 따른 디바이스는 사용자 패턴 예측 정보에 기반하여 AR 콘텐트를 제공할 수 있다(S1740). The
또한 사용자가 디바이스(1600)를 사용하는 경우, 프로세서(1640)는 현재 사용자에게 제공되고 있는 콘텐트의 정보를 파악하고, 해당 콘텐트와 관련된 사용자의 디바이스 사용 패턴 예측 정보(예를 들면 사용자가 다른 관련 콘텐트를 요청하거나 현재 콘텐트와 관련된 추가 데이터를 요청하는 경우 등)를 생성할 수 있다. 또한 프로세서(1640)는 디바이스(1600)의 동작을 지시하여 사용자 패턴 예측 정보에 기반하여 AR 콘텐트를 제공할 수 있다(S1740). 본 발명의 실시예들에 따른 AR 콘텐트는 광고, 네비게이션 정보, 위험 정보 등을 포함할 수 있다.In addition, when the user uses the
도 18은 XR 디바이스와 로봇의 외관을 도시하고 있다.18 shows the appearance of the XR device and the robot.
본 발명의 일실시예에 의한 XR 기술이 탑재된 디바이스(18000)의 구성 모듈에 대해서는 이전 도면들에서 상세히 설명한 바 중복되는 설명은 생략한다.The configuration module of the device 18000 equipped with the XR technology according to an embodiment of the present invention has been described in detail with reference to the previous drawings, and redundant descriptions will be omitted.
도 18에 도시된 로봇(1810)의 외관은 예시에 불과하며, 다양한 외관으로 본 발명의 로봇을 구현할 수 있다. 예를 들어, 도 18에 도시된 로봇(1810)은, 드론, 청소기, 요리 로봇, 웨어러블 로봇 등이 될 수 있으며, 특히, 각각의 구성요소는 로봇의 형상에 따라 상하좌우 전후 등에서 다른 위치에 배치될 수 있다.The appearance of the
로봇은 외부의 물체를 식별하기 위한 다양한 센서들을 로봇(1810)의 외부에 다수 배치할 수 있다. 또한 로봇은 사용자에게 소정의 정보를 제공하기 위해 인터페이스부(1811)를 로봇(1810)의 상부 또는 후면(1812)에 배치하였다. The robot may arrange a plurality of sensors outside the
로봇의 이동과 주변의 사물을 감지하여 로봇을 제어하기 위해 로봇제어모듈(1850)이 로봇(1810) 내부에 탑재된다. 로봇제어모듈(1850)은 소프트웨어 모듈 또는 이를 하드웨어로 구현한 칩 등으로 구현 가능하다. 로봇제어모듈(1850)은 세부적으로 딥러닝부(1851), 센싱정보처리부(1852), 이동경로생성부(1853), 통신 모듈(1854) 등을 더 포함할 수 있다. The
센싱정보처리부(1852)는 로봇(1810)에 배치된 다양한 종류의 센서들(라이다 센서, 적외선 센서, 초음파 센서, 뎁스 센서, 이미지 센서, 마이크 등)이 센싱한 정보를 취합 및 처리한다.The sensing
딥러닝부(1851)는 센싱정보처리부(1852)가 처리한 정보 또는 로봇(1810)이 이동 과정에서 누적 저장한 정보 등을 입력하여 로봇(1810)이 외부 상황을 판단하거나, 정보를 처리하거나, 이동 경로를 생성하는데 필요한 결과물을 출력할 수 있다. The
이동경로생성부(1853)는 딥러닝부(1851)가 산출한 데이터 또는 센싱정보처리부(1852)에서 처리한 데이터를 이용하여 로봇의 이동 경로를 산출할 수 있다.The movement
다만, XR 기술이 탑재된 디바이스(1800) 및 로봇(1810)은 모두 통신 모듈을 가지고 있으므로, Wi-Fi, 블루투스 등의 근거리 무선 통신이나 5G 원거리 무선 통신 등을 통하여, 데이터를 송수신 하는 것이 가능하다. XR 기술이 탑재된 디바이스(1800)를 이용하여, 로봇(1810)을 제어하는 기술에 대해서는, 이하 도 19에서 후술하도록 한다.However, since both the XR technology-equipped
도 19는 XR 기술이 탑재된 디바이스를 이용하여, 로봇을 제어하는 과정을 도시한 플로우 차트이다.19 is a flow chart showing a process of controlling a robot using a device equipped with XR technology.
우선, XR 기술이 탑재된 디바이스 및 로봇은 5G 네트워크로 통신 연결된다(S1901). 물론, 다른 근거리, 원거리 통신 기술을 통해 서로 데이터를 송수신하는 것도 본 발명의 권리범위에 속한다.First, devices and robots equipped with XR technology are connected to communication via a 5G network (S1901). Of course, it is also within the scope of the present invention to transmit and receive data to and from each other through other short-range and long-distance communication technologies.
로봇은 내외부에 설치된 적어도 하나의 카메라를 이용하여 로봇 주변의 이미지 또는 영상을 캡쳐하고(S1902), 캡쳐된 이미지/영상을 XR 디바이스로 전송한다(S1903). XR 디바이스는 캡쳐된 이미지/영상을 디스플레이 하고(S1904), 로봇을 제어하기 위한 커맨드를 로봇에 전송한다(S1905). 상기 커맨드는 XR 디바이스의 유저에 의해 수동으로 입력될 수도 있고, 또는 AI (Artificial Intelligent) 기술을 통해 자동으로 생성되는 것도 본 발명의 권리범위에 속한다.The robot captures an image or an image around the robot using at least one camera installed inside and outside the robot (S1902), and transmits the captured image/video to the XR device (S1903). The XR device displays the captured image/video (S1904), and transmits a command for controlling the robot to the robot (S1905). The command may be manually input by the user of the XR device, or automatically generated through AI (Artificial Intelligent) technology is within the scope of the present invention.
로봇은 상기 S405 단계에서 수신한 커맨드에 따라 해당 기능을 실행하고(S1906), 결과값을 XR 디바이스에 전송한다(S1907). 상기 결과값은, 통상의 데이터 처리 성공/실패 여부에 대한 인디케이터, 현재 촬영된 이미지/영상 또는 XR 디바이스를 고려한 특정 데이터가 될 수도 있다. 상기 특정 데이터라 함은, 예를 들어 XR 디바이스의 상태에 따라 변경되도록 설계한다. 만약, XR 디바이스의 디스플레이가 off 상태인 경우, XR 디바이스의 디스플레이를 ON 시키는 커맨드를 S1907 단계에 포함시킨다. 따라서, 로봇 주변에 위급한 상황 발생시, 원격에 있는 XR 디바이스의 디스플레이가 꺼져 있어도, 알림 메시지가 전달될 수 있는 기술적 효과가 있다.The robot executes the corresponding function according to the command received in step S405 (S1906), and transmits the result value to the XR device (S1907). The result value may be an indicator of success/failure of normal data processing, a currently photographed image/video, or specific data in consideration of an XR device. The specific data is designed to be changed according to the state of the XR device, for example. If the display of the XR device is off, a command to turn on the display of the XR device is included in step S1907. Therefore, when an emergency situation occurs around the robot, even if the display of the remote XR device is turned off, there is a technical effect that a notification message can be delivered.
그리고, 상기 S1907 단계에서 수신한 결과값에 따라, AR/VR 관련 컨텐츠가 디스플레이 된다(S1908).Then, according to the result value received in step S1907, AR/VR-related content is displayed (S1908).
추가적으로 본 발명의 다른 일실시예에 의하면, 로봇에 부착된 GPS 모듈을 이용하여, XR 디바이스에서 로봇의 위치 정보를 디스플레이 하는 것도 가능하다. Additionally, according to another embodiment of the present invention, it is possible to display the location information of the robot in the XR device by using the GPS module attached to the robot.
도 13에서 설명한 XR 디바이스(1300)는 자율 주행 서비스를 제공하는 차량과 유/무선 통신이 가능하도록 연결되거나, 자율 주행 서비스를 제공하는 차량에 탑재될 수 있다. 따라서 자율 주행 서비스를 제공하는 차량에서도 AR/VR를 포함한 다양한 서비스를 제공할 수 있다.The XR device 1300 described in FIG. 13 may be connected to enable wired/wireless communication with a vehicle providing an autonomous driving service, or may be mounted on a vehicle providing an autonomous driving service. Therefore, even vehicles that provide autonomous driving services can provide various services including AR/VR.
도 20은 자율 주행 서비스를 제공하는 차량을 나타낸다. 20 shows a vehicle providing an autonomous driving service.
본 발명의 실시예들에 따른 차량(2010)은 도로나 선로 위를 주행하는 수송 수단으로 자동차, 기차, 오토바이를 포함할 수 있다. 본 발명의 실시예들에 따른 차량(2010)은 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량등을 모두 포함할 수 있다.The
본 발명의 실시예들에 따른 차량(2010)은 차량의 동작을 제어하기 위해 다음의 구성요소들을 포함할 수 있다: 사용자 인터페이스 장치, 오브젝트 검출 장치, 통신 장치, 운전 조작 장치, 메인 ECU, 구동 제어 장치, 자율 주행 장치(260), 센싱부 및 위치 데이터 생성 장치;The
오브젝트 검출 장치, 통신 장치, 운전 조작 장치, 메인 ECU, 구동 제어 장치, 자율 주행 장치, 센싱부 및 위치 데이터 생성 장치는 각각 전기적 신호를 생성하고, 상호간에 전기적 신호를 교환하는 전자 장치로 구현될 수 있다. The object detection device, communication device, driving control device, main ECU, drive control device, autonomous driving device, sensing unit, and position data generation device may each be implemented as electronic devices that generate electrical signals and exchange electrical signals with each other. have.
사용자 인터페이스 장치는 사용자 입력을 수신하고, 사용자에게 차량(2010)에서 생성된 정보를 UI(User Interface) 또는 UX(User Experience)의 형식으로 제공할 수 있다. 사용자 인터페이스 장치는 입/출력 장치 및 사용자 모니터링 장치를 포함할 수 있다. 오브젝트 검출 장치는 차량(2010) 외부의 오브젝트의 존재유무를 검출하고, 오브젝트에 대한 정보를 생성할 수 있다. 상기 오브젝트 검출 장치는, 예를 들어 카메라, 라이다, 적외선 센서 및 초음파 센서 중 적어도 하나를 포함할 수 있다. 카메라는 영상을 기반으로 차량(2010) 외부의 오브젝트 정보를 생성할 수 있다. 카메라는 하나 또는 그 이상의 렌즈들, 하나 또는 그 이상의 이미지 센서들 및 오브젝트 정보를 생성하기 위한 하나 또는 그 이상의 프로세서들을 포함할 수 있다. 카메라는 다양한 영상 처리 알고리즘을 이용하여, 오브젝트의 위치 정보, 오브젝트와의 거리 정보 또는 오브젝트와의 상대 속도 정보를 획득할 수 있다. 또한 카메라는 차량 외부를 촬영하기 위해 차량에서 FOV(field of view) 확보가 가능한 위치에 장착될 수 있으며, AR/VR을 기반으로 한 서비스를 제공하기 위해 사용될 수 있다. 라이다는 레이저 광을 이용하여, 차량(K600) 외부의 오브젝트에 대한 정보를 생성할 수 있다. 라이다는 광 송신부, 광 수신부 및 광 송신부 및 광 수신부와 전기적으로 연결되어 수신되는 신호를 처리하고, 처리된 신호에 기초하여 오브젝트에 대한 데이터를 생성하는 적어도 하나의 프로세서를 포함할 수 있다.The user interface device may receive a user input and provide information generated in the
통신 장치는 차량(2010) 외부에 위치하는 디바이스(예를 들면, 인프라(예를 들면, 서버, 방송국), 타 차량, 단말기등) 와 신호를 교환할 수 있다. 운전 조작 장치는 운전을 위한 사용자 입력을 수신하는 장치이다. 메뉴얼 모드인 경우, 차량(2010)은 운전 조작 장치에 의해 제공되는 신호에 기초하여 운행될 수 있다. 운전 조작 장치는, 조향 입력 장치(예를 들면, 스티어링 휠), 가속 입력 장치(예를 들면, 가속 페달) 및 브레이크 입력 장치(예를 들면, 브레이크 페달)를 포함할 수 있다.The communication device may exchange signals with devices (eg, infrastructure (eg, servers, broadcasting stations), other vehicles, terminals, etc.) located outside the
센싱부는 차량(2010)의 상태를 센싱할 수 있으며 상태 정보를 생성할 수 있다. 위치 데이터 생성 장치는 차량(2010)의 위치 데이터를 생성할 수 있다. 위치 데이터 생성 장치는, GPS(Global Positioning System) 및 DGPS(Differential Global Positioning System) 중 적어도 어느 하나를 포함할 수 있다. 위치 데이터 생성 장치는, GPS 및 DGPS 중 적어도 어느 하나에서 생성되는 신호에 기초하여차량(K600)의 위치 데이터를 생성할 수 있다. 메인 ECU는 차량(2010)내에 구비되는 적어도 하나의 전자 장치의 전반적인 동작을 제어할 수 있으며, 구동 제어 장치는 차량(2010)내 차량 구동 장치를 전기적으로 제어할 수 있다. The sensing unit may sense the state of the
자율 주행 장치는 오브젝트 검출 장치, 센싱부, 위치 데이터 생성장치 등으로부터 획득된 데이터에 기초하여, 자율 주행 서비스를 위한 경로를 생성할 수 있다. 자율 주행 장치는, 생성된 경로를 따라 주행하기 위한 드라이빙 플랜을 생성하고 드라이빙 플랜에 따른 차량의 움직임을 제어하기 위한 신호를 생성할 수 있다. 자율 주행 장치에서 생성된 신호는 구동 제어 장치에 전송되므로 구동 제어 장치는 차량(2010)의 내 차량 구동 장치를 제어할 수 있다. The autonomous driving device may generate a route for an autonomous driving service based on data acquired from an object detection device, a sensing unit, a location data generating device, and the like. The autonomous driving apparatus may generate a driving plan for driving along the generated path and generate a signal for controlling a movement of a vehicle according to the driving plan. Since the signal generated by the autonomous driving device is transmitted to the driving control device, the driving control device may control the in-vehicle driving device of the
도 20에 도시된 바와 같이 자율 주행 서비스를 제공하는 차량(2010)은 XR 디바이스(2000)와 유/무선 통신이 가능하도록 연결된다. 도 20에 도시된 XR 디바이스(2000)는 프로세서(2001) 및 메모리(2002)를 포함할 수 있다. 또한 도면에 도시되지 않았으나, 도 20의 XR 디바이스(2000)는 도 13에서 설명한 XR 디바이스(1300)의 구성요소를 더 포함할 수 있다. As illustrated in FIG. 20, a
도 20의 XR 디바이스(2000)가 차량(2010)과 유/무선 통신이 가능하도록 연결된 경우, 도 20의 XR 디바이스(2000)는 자율 주행 서비스와 함께 제공할 수 있는 AR/VR 서비스 관련 콘텐트 데이터를 수신/처리하여 차량(2010)에 전송할 수 있다. 또한 도 20의 XR 디바이스(2000)가 차량(2010)에 탑재된 경우, 도 20의 XR 디바이스(2000)는 사용자 인터페이스 장치를 통해 입력된 사용자 입력 신호에 따라 AR/VR 서비스 관련 콘텐트 데이터를 수신/처리하여 사용자에게 제공할 수 있다. 이 경우, 프로세서(2001)는 오브젝트 검출 장치, 센싱부, 위치 데이터 생성장치, 자율 주행 장치 등으로부터 획득된 데이터에 기초하여, AR/VR 서비스 관련 콘텐트 데이터를 수신/처리할 수 있다. 본 발명의 실시예들에 따른 AR/VR 서비스 관련 콘텐트 데이터는 운전 정보, 자율 주행 서비스를 위한 경로 정보, 운전 조작 정보, 차량 상태 정보, 오브젝트 정보 등 자율 주행 서비스와 관련된 정보뿐 만 아니라 자율 주행 서비스와 관련 없는 엔터테인먼트 콘텐트, 날씨 정보 등을 포함할 수 있다. When the
도 21은 자율 주행 서비스 중 AR/VR 서비스를 제공하는 과정을 나타낸다.21 shows a process of providing an AR/VR service among autonomous driving services.
본 발명의 실시예들에 따른 차량 또는 사용자 인터페이스 장치는 사용자 입력 신호를 수신할 수 있다(S2110). 본 발명의 실시예들에 따른 사용자 입력 신호는 자율 주행 서비스를 지시하는 신호를 포함할 수 있다. 본 발명의 실시에들에 따른 자율 주행 서비스는 완전 자율 주행 서비스 및 일반 자율 주행 서비스를 포함할 수 있다. 완전 자율 주행 서비스는 도착지까지 사용자의 수동 주행 없이 완전히 자율 주행으로만 차량이 구동되는 서비스를 의미하며, 일반 자율 주행 서비스는 도착지까지 사용자의 수동 주행과 자율 주행이 복합되어 차량이 구동되는 서비스를 의미한다.A vehicle or a user interface device according to embodiments of the present invention may receive a user input signal (S2110). The user input signal according to embodiments of the present invention may include a signal indicating an autonomous driving service. The autonomous driving service according to embodiments of the present invention may include a fully autonomous driving service and a general autonomous driving service. Fully autonomous driving service refers to a service in which the vehicle is driven only by completely autonomous driving without the user's manual driving to the destination, and the general autonomous driving service refers to a service in which the vehicle is driven by combining the user's manual driving and autonomous driving to the destination. do.
본 발명의 실시예들에 따른 사용자 입력 신호가 완전 자율 주행 서비스에 대응하는지 여부를 판단할 수 있다(S2120). 판단 결과 사용자 입력 신호가 완전 자율 주행 서비스에 대응하는 경우, 본 발명의 실시예들에 따른 차량은 완전 자율 주행 서비스를 제공할 수 있다(S2130). 완전 자율 주행 서비스의 경우 사용자 조작이 필요없으므로, 본 발명의 실시예들에 따른 차량은 차량의 창문, 사이드 미러, HMD, 스마트 폰 등을 통해 사용자에게 VR 서비스와 관련된 콘텐트를 제공할 수 있다(S2130). 본 발명의 실시예들에 따른 VR 서비스와 관련된 콘텐트는 완전 자율 주행과 연관된 콘텐트(예를 들면 네비게이션 정보, 운행 정보, 외부 오브젝트 정보 등)이 될 수도 있고, 사용자의 선택에 따라 완전 자율 주행과 관련이 없는 콘텐트 (예를 들면 날씨 정보, 거리 이미지, 자연 이미지, 화상 전화 이미지 등)이 될 수 있다. It may be determined whether the user input signal according to the embodiments of the present invention corresponds to the fully autonomous driving service (S2120). As a result of the determination, when the user input signal corresponds to the fully autonomous driving service, the vehicle according to the embodiments of the present invention may provide the fully autonomous driving service (S2130). In the case of a fully autonomous driving service, since user manipulation is not required, the vehicle according to the embodiments of the present invention may provide content related to the VR service to the user through the window, side mirror, HMD, and smart phone of the vehicle (S2130). ). The content related to the VR service according to the embodiments of the present invention may be content related to fully autonomous driving (for example, navigation information, driving information, external object information, etc.), or related to fully autonomous driving according to the user's selection. It could be content without this (for example, weather information, street images, nature images, video phone images, etc.).
판단 결과 사용자 입력 신호가 완전 자율 주행 서비스에 대응하지 않는 경우, 본 발명의 실시예들에 따른 차량은 일반 자율 주행 서비스를 제공할 수 있다(S2140). 일반 자율 주행 서비스의 경우, 사용자의 수동 주행을 위하여 사용자의 시야가 확보되어야 하므로, 본 발명의 실시예들에 따른 차량은 차량의 창문, 사이드 미러, HMD, 스마트 폰 등을 통해 사용자에게 AR 서비스와 관련된 콘텐트를 제공할 수 있다(S2140).As a result of the determination, if the user input signal does not correspond to the fully autonomous driving service, the vehicle according to the embodiments of the present invention may provide a general autonomous driving service (S2140). In the case of a general autonomous driving service, since the user's field of view must be secured for the user's manual driving, the vehicle according to the embodiments of the present invention provides AR service to the user through the vehicle window, side mirror, HMD, smart phone, etc. Related content may be provided (S2140).
본 발명의 실시예들에 따른 AR 서비스와 관련된 콘텐트는 완전 자율 주행과 연관된 콘텐트(예를 들면 네비게이션 정보, 운행 정보, 외부 오브젝트 정보 등)이 될 수도 있고, 사용자의 선택에 따라 완전 자율 주행과 관련이 없는 콘텐트 (예를 들면 날씨 정보, 거리 이미지, 자연 이미지, 화상 전화 이미지 등)이 될 수 있다.The content related to the AR service according to the embodiments of the present invention may be content related to fully autonomous driving (for example, navigation information, driving information, external object information, etc.), or related to fully autonomous driving according to the user's selection. It could be content without this (for example, weather information, street images, nature images, video phone images, etc.).
도 22는 본 발명의 일실시예에 의한 XR 디바이스를 HMD 타입으로 구현한 경우를 도시하고 있다. 전술한 다양한 실시예들은 도 22에 도시된 HMD 타입으로 구현할 수도 있다.22 illustrates a case in which an XR device according to an embodiment of the present invention is implemented in an HMD type. The various embodiments described above may be implemented in the HMD type shown in FIG. 22.
도 22에 도시된 HMD 타입의 XR 디바이스(100a)는, 커뮤니케이션 유닛(110), 컨트롤 유닛(120), 메모리 유닛(130), I/O 유닛(140a), 센서 유닛(140b), 그리고 파워 공급 유닛(140c) 등을 포함한다. 특히, XR 디바이스(10a)내 커뮤니케이션 유닛(110)은 모바일 터미날(100b)과 유무선 통신이 이루어 진다.The HMD-
그리고, 도 23은 본 발명의 일실시예에 의한 XR 디바이스를 AR 글래스 타입으로 구현한 경우를 도시하고 있다. 전술한 다양한 실시예들은 도 44에 도시된 AR 글래스 타입으로 구현할 수도 있다.In addition, FIG. 23 shows a case in which an XR device according to an embodiment of the present invention is implemented in an AR glass type. The various embodiments described above may be implemented in the AR glass type shown in FIG. 44.
도 23에 도시된 바와 같이, AR 글래스는 프레임, 제어부(200) 및 광학 디스플레이부(300)를 포함할 수 있다.As shown in FIG. 23, the AR glass may include a frame, a
프레임은 도 23에 도시된 바와 같이, 사용자(10)의 신체 중 안면에 착용되는 안경 형태를 가질 수 있으나, 이에 반드시 한정되는 것은 아니고, 사용자(10)의 안면에 밀착되어 착용되는 고글 등의 형태를 가질 수도 있다.As shown in FIG. 23, the frame may have a form of glasses worn on the face of the
이와 같은 프레임은 전면 프레임(110)과 제1, 2 측면 프레임을 포함할 수 있다.Such a frame may include a
전면 프레임(110)은 적어도 하나의 개구부를 구비하고, 제1 수평 방향(x)으로 연장될 수 있으며, 제1, 2 측면 프레임은 전면 프레임(110)과 교차하는 제2 수평 방향(y)으로 연장되어 서로 나란하게 연장될 수 있다.The
제어부(200)는 사용자(10)에게 보여질 이미지 또는 이미지가 연속되는 영상을 생성할 수 있다. 이와 같은 제어부(200)에는 이미지를 발생시키는 이미지 소스와 이미지 소스에서 발생된 빛을 확산 및 수렴하는 복수의 렌즈 등을 포함할 수 있다. 이와 같이 제어부(200)에서 생성되는 이미지는 제어부(200)와 광학 디스플레이부(300) 사이에 위치하는 가이드 렌즈(P200)을 통해 광학 디스플레이부(300)로 출사될 수 있다. The
이와 같은 제어부(200)는 제1, 2 측면 프레임 중 어느 하나의 측면 프레임에 고정될 수 있다. 일례로, 제어부(200)는 어느 하나의 측면 프레임 내측 또는 외측에 고정되거나, 어느 하나의 측면 프레임의 내부에 내장되어 일체로 형성될 수 있다.Such a
광학 디스플레이부(300)는 제어부(200)에서 생성된 이미지가 사용자(10)에게 보여지도록 하는 역할을 수행할 수 있으며, 이미지가 사용자(10)에게 보여지도록 하면서, 개구부를 통하여 외부 환경을 볼 수 있도록 하기 위하여, 반투명 재질로 형성될 수 있다.The
이와 같은 광학 디스플레이부(300)는 전면 프레임(110)에 포함된 개구부에 삽입되어 고정되거나, 개부구의 배면[즉 개구부와 사용자(10) 사이]에 위치하여, 전면 프레임(110)에 고정되어 구비될 수 있다. 본 발명에서는 일례로, 광학 디스플레이부(300)가 개구부의 배면에 위치하여, 전면 프레임(110)에 고정된 경우를 일예로 도시하였다.Such an
이와 같은 XR 디바이스는 도 23에 도시된 바와 같이, 제어부(200)에서 이미지에 대한 이미지를 광학 디스플레이부(300)의 입사 영역(S1)으로 입사시키면, 이미지광이 광학 디스플레이부(300)를 통하여, 광학 디스플레이부(300)의 출사 영역(S2)으로 출사되어, 제어부(200)에서 생성된 이미지를 사용자(10)에게 보여지도록 할 수 있다.In such an XR device, as shown in FIG. 23, when an image of an image is incident on the
이에 따라, 사용자(10)는 프레임(100)의 개구부를 통하여 외부 환경을 보면서 동시에 제어부(200)에서 생성된 이미지를 함께 볼 수 있다.Accordingly, the
전술한 바와 같이, 본원 발명은 5G 통신 기술 분야, 로봇 기술 분야, 자율 주행 기술 분야 및 AI 기술 분야 모두에 적용 가능하지만, 이하 도면들에서는 XR 디바이스, 디지털 사이니지 및 TV 등의 멀티미디어 디바이스에 적용 가능한 본원 발명을 중점적으로 설명하도록 하겠다. 다만, 이전 도 1 내지 도 23을 참조하여, 후술할 도면들을 당업자가 결합하여 다른 실시예를 구현하는 것도 본 발명의 권리범위에 속한다.As described above, the present invention is applicable to both the 5G communication technology field, the robot technology field, the autonomous driving technology field, and the AI technology field, but in the following drawings, it is applicable to multimedia devices such as XR devices, digital signage, and TVs. The present invention will be mainly described. However, it is also within the scope of the present invention to implement another embodiment by combining the drawings to be described later with reference to FIGS. 1 to 23.
특히, 후술할 도면들에서 설명할 멀티미디어 디바이스는 디스플레이 기능이 있는 디바이스면 충분하므로, XR 디바이스에 한정되지 않고, 이전 도 1 내지 도 9에서 설명한 UE (User Equipment)에 해당하여 5G 에 따른 통신을 추가적으로 수행하는 것도 가능하다.In particular, since the multimedia device to be described in the drawings to be described later is sufficient as long as it has a display function, it is not limited to the XR device, and additionally provides communication according to 5G corresponding to the UE (User Equipment) previously described in FIGS. 1 to 9. It is also possible to perform.
실시예들에 따른 내비게이션 기능이 탑재된 디바이스는 주행차선의 일부를 가리는 차량의 내 외부 오브젝트 이미지들을 제거한 이미지(이하, 제3 이미지)를 재가공하여, 정확한 내비게이션 정보를 포함한 내비게이션 화면을 사용자에게 제공한다. A device equipped with a navigation function according to embodiments reprocesses an image (hereinafter, referred to as a third image) from which images of internal and external objects of the vehicle covering a part of the driving lane are removed, and provides a navigation screen including accurate navigation information to the user. .
내비게이션 기능이 탑재된 디바이스는 모바일 디바이스 또는 핸드폰(이하, 모바일)일 수 있다. A device equipped with a navigation function may be a mobile device or a mobile phone (hereinafter, referred to as mobile).
디바이스는 모바일에 내장된 카메라 또는 차량에 설치된 별도의 카메라를 이용하여 주행도로 전방뷰를 촬영한다. The device takes a front view of the driving road using a camera built into the mobile or a separate camera installed on the vehicle.
디바이스는 카메라로 촬영한 프리뷰 영상을 내비게이션 화면으로 재생성 한다. The device reproduces the preview image captured by the camera as a navigation screen.
디바이스는 XR(Extended Reality) 효과로 차량이 주행에 필요한 정보를 내비게이션 영상에 추가하여 제공한다. The device provides information necessary for the vehicle to drive by adding to the navigation image through the XR (Extended Reality) effect.
디바이스는 AR(Augment Reality) 효과로 길 표시 이미지 등을 내비게이션 영상에 추가하여 제공한다. The device provides an AR (Augment Reality) effect by adding a road sign image to the navigation image.
디바이스는 전방뷰 이미지에서 차량이 현재 주행하는 진행방향으로의 차선을 가리는 차량 내외부의 주변 장치들의 이미지를 삭제한다. The device deletes images of peripheral devices inside and outside the vehicle that block the lane in the direction in which the vehicle is currently traveling from the front view image.
예를 들어, 대쉬 보드 또는 보닛 등의 차량의 구성물 이미지로 인해 주행도로 영상의 차선 일부가 가려지더라도, 실시예들에 따른 디바이스는 이미지 렌더링을 통해 정확한 길안내 정보를 포함한 내비게이션 영상을 렌더링 한다. For example, even if a part of the lane of the driving road image is blocked due to an image of a vehicle component such as a dashboard or a bonnet, the device according to the embodiments renders a navigation image including accurate directions information through image rendering.
실시예들에 따른 디바이스는 운전자에게 차선이 명확히 보이는 전방뷰 및 주행방향 도로에 AR(Augmented Reality) 효과로 길 표시 이미지를 포함한 내비게이션 영상을 사용자에게 제공한다. The device according to embodiments provides a navigation image including a road indication image to a driver through an AR (Augmented Reality) effect on a front view and a driving direction road in which lanes are clearly visible to the driver.
실시예들에 따른 디바이스는 복수개의 기준선들을 기반으로, 주행도로 이미지를 렌더링 또는/그리고 AR 길표시 이미지를 추가한다. The device according to embodiments renders a driving road image or/and adds an AR road marking image based on a plurality of reference lines.
디바이스는 AI(인공지능) 알고리즘을 이용하여 자동으로 복수개의 기준선들을 인식할 수 있다. The device can automatically recognize multiple baselines using an artificial intelligence (AI) algorithm.
디바이스는 사용자 입력신호에 따라 수동으로 복수개의 기준선들을 인식할 수 있다. The device may manually recognize a plurality of reference lines according to a user input signal.
실시예들에 따른 디바이스는 영상을 렌더링 시, 설정된 복수개의 기준선들 중 소실점(vanishing point)을 포함한 적어도 하나의 기준선을 바탕으로 디스플레이 화면의 Best비율에 맞는 높이, 너비값을 획득한다. When rendering an image, the device according to the embodiments acquires a height and a width value suitable for the best ratio of the display screen based on at least one reference line including a vanishing point among a plurality of set reference lines.
실시예들에 따른 디바이스는 가공된 화면에 AR 길표시 이미지를 추가하는 등의 추가 렌더링을 거쳐, 정확한 주행경로와 길안내 정보를 포함한 내비게이션 영상을 디스플레이 한다. The device according to embodiments displays a navigation image including an accurate driving route and directions information through additional rendering, such as adding an AR road sign image to the processed screen.
도 24는 실시예들에 따른 디바이스의 제어방법을 도시한 플로우 챠트(flow chart)(2400)이다. 24 is a
실시예들에 따른 디바이스는 내비게이션 기능을 실행한다(2411). The device according to the embodiments executes a navigation function (2411).
실시예들에 따른 디바이스는 AR 지원여부에 대한 판단을 수행한다(2412). The device according to the embodiments determines whether AR is supported (2412).
디바이스는 AR 지원여부가 미지원의 경우로 판단되면(2420), 지도모드로 경로안내를 시작한다(2415).If it is determined that the AR support is not supported (2420), the device starts route guidance in the map mode (2415).
디바이스는 AR 지원여부가 가능한 경우로 판단되면(2421), 지난 사용이력(예를 들면, AR 모드 경로안내 또는 지도모드 경로안내)을 메모리를 참조하여 검색한다(2413). If it is determined that AR support is possible (2421), the device searches for a past usage history (eg, AR mode route guidance or map mode route guidance) with reference to the memory (2413).
디바이스는 지난 사용이력을 메모리를 참조하여, 지도모드 경로안내를 사용한 히스토리가 검색되면(2430), 지도모드로 경로안내를 시작한다(2415).When the device refers to the memory of the past usage history and retrieves the history using the map mode route guidance (2430), the device starts the route guidance in the map mode (2415).
예를 들어, 지도모드로 경로안내는 2차원 또는 3차원의 지도 이미지 위에 사용자가 따라가야 할 길을 화살표 이미지로 길 표시를 하여 안내하는 지도모드 내비게이션 기능을 나타낸다. For example, the route guidance in the map mode represents a map mode navigation function that guides a route to be followed by an arrow image on a two-dimensional or three-dimensional map image.
디바이스는 지난 사용이력을 메모리를 참조하여, AR 지원모드 시작 또는 AR 모드 경로안내를 수행한 히스토리가 검색되면(2440), AR 지원모드 시작을 수행한다(2414). When a history of starting the AR support mode or performing AR mode route guidance is retrieved (2440) by referring to the memory of the past usage history, the device starts the AR support mode (2414).
디바이스는 지난 사용이력을 메모리를 참조하여 검색하여, 사용이력이 없는 것으로 검색되어도(2441), AR 지원모드 시작을 수행한다(2414).The device searches for the past usage history with reference to the memory, and even if it is found that there is no usage history (2441), it starts the AR support mode (2414).
디바이스의 AR 지원모드는 AR지원기능을 실행하여 디바이스가 AR 모드로 경로를 안내하는 내비게이션 영상으로 촬영한 주행영상을 렌더링하여 디스플레이 하는 기능을 포함한다. The AR support mode of the device includes a function of executing an AR support function to render and display a driving image captured as a navigation image guiding a route in the AR mode by the device.
디바이스의 AR 지원기능은 디바이스가 카메라로 촬영한 주행영상 이미지에 AR(Augmented Reality) 효과의 길 표시 이미지를 추가하는 렌더링하는 기능을 포함한다. The AR support function of the device includes a rendering function that adds a road marking image with an Augmented Reality (AR) effect to the driving image image captured by the device by the camera.
디바이스의 AR지원기능은 디바이스가 사용자의 편의를 위해 필요없는 방해물 이미지를 주행영상에서 삭제하고 남은 이미지를 기 설정된 화면 비율에 따라 일부 이미지를 삭제 또는 확대하여 렌더링하는 것을 기술적으로 지원하는 기능을 포함한다. The AR support function of the device includes a function that technically supports the device to delete unnecessary obstruction images from the driving image for the user's convenience and to delete or enlarge some images according to a preset aspect ratio and render the remaining images. .
디바이스는 AR 지원 모드 시작(2414)을 수행하여 카메라로 차량의 전방 주행경로의 영상을 촬영하여 사용자에게 제공한다. The device performs AR
카메라는 디바이스, 예를 들어, 모바일 디바이스(이하, 모바일)에 설치된 카메라일 수도 있고, 별도로 차량에 설치된 카메라일 수도 있다. The camera may be a device, for example, a camera installed on a mobile device (hereinafter, referred to as mobile), or may be a camera separately installed on a vehicle.
예를 들어, 디바이스는 “아래선에 따라 카메라 화면을 맞춘 후 운행하면 AR 모드가 자동 실행합니다”. 라는 메시지를 화면에 디스플레이하여, 사용자 입력신호를 수신하여 AR 지원 모드를 시작할 수 있다. For example, the device “adjusts the camera screen according to the line below, and then runs the AR mode automatically”. Message is displayed on the screen, and the AR support mode can be started by receiving a user input signal.
예를 들어, 사용자가 화면에 디스플레이 된 점선(2415)과 주행 영상화면의 중앙이 일치하도록 카메라의 위치를 조정하거나 또는 중앙의 점선을 주행도로의 중앙에 맞추면, 디바이스는 주행영상 화면의 렌더링(Rendering)을 시작한다(2450).For example, if the user adjusts the position of the camera so that the dotted
디바이스가 터치 화면을 포함하는 경우에는 사용자의 터치 또는 드레그에 의해 사용자 입력신호가 입력될 수 있으며, 음성 인식되는 디바이스는 사용자의 음성을 입력신호로 수신하여 AR지원 모드를 시작할 수도 있다. When the device includes a touch screen, a user input signal may be input by a user's touch or drag, and the device for voice recognition may start the AR support mode by receiving the user's voice as an input signal.
실시예들에 따른 입력 신호는 상술한 실시예에 국한되지 않으며, 디바이스를 사용하기 위한 다양한 입력 신호들을 포함할 수 있다.The input signal according to the embodiments is not limited to the above-described embodiment, and may include various input signals for using the device.
디바이스의 비디오 렌더링 프로세서(video rendering processor)는 촬영한 주행경로의 영상 데이터를 수신하여, 전방뷰(view) 이미지들을 AR 모드에 맞춰 렌더링 한다. A video rendering processor of the device receives image data of a photographed driving path and renders the front view images according to the AR mode.
디바이스는 렌더링이 성공하면(Yes, 2460), AR 모드로 경로안내 시작을 수행한다(2416).When the rendering is successful (Yes, 2460), the device starts route guidance in the AR mode (2416).
디바이스는 렌더링이 실패하면(No, 2470), 예를 들어, 3회 시도할 때까지 실패하면, “….지도 모드로 경로안내를 받으시겠습니까?”와 같은 메시지를 화면에 출력하여 사용자에게 제공한다(2417). If the device fails to render (No, 2470), for example, if it fails until 3 attempts, the “… .Do you want to receive route guidance in map mode?” is displayed on the screen and provided to the user (2417).
도시하지는 않았으나, 디바이스에서 제공하는 메시지는 음성 등의 다양한 방식으로 사용자에게 제공 가능하다. Although not shown, the message provided by the device can be provided to the user in various ways such as voice.
디바이스는 “재시도”로 사용자 선택신호가 입력되면, 다시 AR 지원모드 시작(2414)을 수행한다(2490). When a user selection signal is input by “retry”, the device starts the
디바이스는 “지도모드로 안내”로 사용자 선택신호가 입력되면, 지도모드로 경로안내 시작(2415)를 수행한다(2480). When a user selection signal is input as "guide to map mode", the device starts route guidance in map mode (2415) (2480).
도시하지는 않았으나, 디바이스에서의 사용자 선택신호는 화면을 화면터치(screen touch) 및 드레그(drag)로 선택하는 방식, 사용자의 음성으로 선택하는 방식, 또는 디바이스의 HMD를 통하여 사용자의 시선 트래킹 또는 포지션 트래킹 등으로 선택하는 방식등으로 입력되도록 설계 가능하다. Although not shown, the user selection signal in the device is a method of selecting a screen with a screen touch and a drag, a method of selecting with a user's voice, or tracking the user's gaze or position through the HMD of the device. It can be designed to be input in a way that is selected by etc.
한편, 도 24의 플로우 챠트(2400)는 예를 들면 도 1 내지 도 23에서 설명한 XR 디바이스가 내비게이션 서비스를 제공하는 과정을 나타낼 수 있다. Meanwhile, the
도 25는 도 24에 도시된 플로우 차트가 적용된 디바이스의 구성 요소들을 도시하는 블록도이다. 25 is a block diagram showing components of a device to which the flow chart shown in FIG. 24 is applied.
물론, 당업자는 도 25에 도시된 디바이스를, 이전 도 1 내지 도 23의 다른 디바이스에서 구현할 수도 있고, 이 또한 본 발명의 권리범위에 속한다.Of course, those skilled in the art may implement the device shown in FIG. 25 in other devices of FIGS. 1 to 23 before, and this also belongs to the scope of the present invention.
디바이스(2500)는 도 1 내지 도 24에서 설명한 기능/동작을 수행한다. 또한 도 25에 도시된 디바이스(2500)는 도면에 도시 되지 않았으나 도 1 내지 도 24에서 설명한 기능/동작을 수행하기 위한 모듈 등을 더 포함한다.The
실시예들에 따른 내비게이션 기능이 탑재된 디바이스는, 주행도로의 전방뷰 영상 데이터를 입력받아, 설정된 복수개의 기준선을 기반으로 영상 데이터의 이미지들을 렌더링하여, AR 모드 경로안내를 위한 내비게이션 영상을 생성하여 제공한다. A device equipped with a navigation function according to embodiments receives front view image data of a driving road, renders images of the image data based on a plurality of set reference lines, and generates a navigation image for AR mode route guidance. to provide.
디바이스(2500)는 센서(2510), 비디오 렌더링 프로세서(2560), 디스플레이(2550), 컨트롤러(2530), 및 메모리(2520), 카메라(2540)를 포함한다. The
디바이스(2500)는 예를 들어, 모바일 디바이스(이하, 모바일)일 수 있다.The
실시예들에 따른 컨트롤러(2530)는 디바이스의 전반적인 기능 및 각 구성모듈들의 동작을 제어한다. The
다만, 도 25에 도시된 구성모듈들은 일 예에 불과하며, 본 발명의 기술적 사상을 구현하기 위해 일부 모듈을 삭제, 추가, 변경하는 것도 본 발명의 권리범위에 속한다.However, the configuration modules shown in FIG. 25 are only examples, and deletion, addition, and modification of some modules in order to implement the technical idea of the present invention are within the scope of the present invention.
실시예들에 따른 디바이스(2500)는 내비게이션 기능을 실행한다. The
실시예들에 따른 디바이스(2500)의 컨트롤러(2530)는 AR 지원여부(예를 들어, 도24에서의 2412)를 판단한다. The
실시예들에 따른 컨트롤러(2530)는 AR 지원여부가 불가능한 경우로 판단되면(도 24의 2420), 계속 지도모드의 내비게이션 기능을 실행한다. If it is determined that AR support is impossible (2420 in FIG. 24), the
컨트롤러(2530)는 AR 지원여부가 가능한 경우로 판단되면(도 24의 2421), 지난 내비게이션 모드의 사용이력을 메모리(2520)를 참조하여 검색한다.If it is determined that AR support is possible (2421 in FIG. 24), the
실시예들에 따른 컨트롤러(2530)는 지난 내비게이션 모드의 사용이력에서 지도모드 기능을 사용한 것으로 검색하면(도 24의 2430), 지도모드로 경로안내하는 내비게이션 기능을 수행한다. The
실시예들에 따른 컨트롤러(2530)는 지난 내비게이션 모드의 사용이력을 메모리(2520)를 참조하여 검색하여, AR 지원모드를 사용한 이력이 검색되면(도 24의 2440), AR 지원 모드 시작을 수행한다. The
실시예들에 따른 디바이스(2500)의 컨트롤러(2530)는 AR 지원모드 시작(도 24의 2414)을 수행한다. The
실시예들에 따른 디바이스(2500)의 카메라(2540)는 AR 지원모드 시작에 따라, 차량의 전방 주행도로를 촬영하여 그 영상 데이터를 센서(2510)에 전송한다. The
카메라(2540)는 설정된 픽셀값에 따라 전방 주행도로를 촬영하여 영상 데이터를 획득할 수 있다.The
디바이스(2500)의 카메라(2540)는 디바이스에 내장된 카메라일 수 있으며, 또는 차량에 설치된 별도의 카메라일 수 있다. The
모바일이 차량에 설치된 위치에 따라, 예를 들어, 차량의 보닛(Bonnet) 또는 대쉬보드(Dashboard))와 같은 차량의 구성물(이하, 오브젝트)들은 모바일의 카메라의 화각의 범위 내에 포함되는 경우가 많다. Depending on the location where the mobile is installed on the vehicle, for example, components of the vehicle such as the bonnet or dashboard of the vehicle (hereinafter, objects) are often included within the range of the angle of view of the camera of the mobile. .
실시예들에 따른 센서(2510)는 카메라(2540)에서 촬영한 주행경로 영상 데이터를 입력신호로 수신 받아, 비디오 렌더링 프로세서(video rendering processor, 2560)에 전송한다. The
실시예들에 따른 비디오 렌더링 프로세서(2560)는 AR 지원모드를 시작하여 AR 모드로 경로안내를 위한 네비게이션 영상으로 촬영된 주행경로 영상을 렌더링한다. The
비디오 렌더링 프로세서(2560)는 AR 지원모드를 자동으로 또는 사용자 입력신호에 따라 수동으로 시작한다.The
비디오 렌더링 프로세서(2560)는 주행경로 영상에서 하나 또는 그 이상의 전방뷰 이미지 프레임(이하, 제1 이미지)을 추출한다. The
비디오 렌더링 프로세서(2560)는 제1 이미지에서 설정된 복수개의 기준선들을 기반으로 AR모드로 경로안내를 위한 내비게이션 영상(이하, 제2 이미지)를 생성한다. The
비디오 렌더링 프로세서(2560)는 제1 이미지에서 차량의 전방 경로를 가리는 차량 내부 또는 외부의 구성물들의 이미지(이하, 차량 내외부 오브젝트 이미지), 예를 들어, 보닛(bonnet) 또는 대쉬보드(dashboard)) 이미지를 포함하지 않는 제3 이미지를 추출한다. The
실시예들에 따른 복수개의 기준선들은 소실점(vanishing point)을 포함하는 제1 기준선 또는 차선을 가리는 방해물 이미지와 관련된 제 2기준선을 포함한다. The plurality of reference lines according to embodiments include a first reference line including a vanishing point or a second reference line related to an obstruction image covering a lane.
실시예들에 따른 소실점은 차량의 주행도로 차선의 좌측 차선과 우측 차선이 지평선과 교차하는 포인트를 포함한다. The vanishing point according to embodiments includes a point at which the left lane and the right lane of the vehicle driving lane intersect the horizon.
실시예들에 따른 제1 기준선은 제 1 이미지에서 소실점들을 포함한 가로방향 수평선 직선을 나타낸다. The first reference line according to the embodiments represents a horizontal horizontal line including vanishing points in the first image.
실시예들에 따른 제2 기준선은 제 1 이미지에서 차량의 내부 또는 외부의 오브젝트 이미지가 제1 이미지의 하단부에 위치하는 경우, 그 오브젝트 이미지의 가장 높은 높이의 수평선이 제1 이미지에서 형성하는 수평의 경계선이라 할 수 있다. The second reference line according to the embodiments is that when an object image inside or outside the vehicle in the first image is located at the lower end of the first image, the horizontal line of the highest height of the object image is a horizontal line formed in the first image. It can be called a boundary line.
비디오 렌더링 프로세서(2560)는 제2 기준선에서부터 제1 이미지의 일 단부까지의 범위 내의 제1 이미지를 제거하여 제3 이미지를 생성한다. The
비디오 렌더링 프로세서(2560)는 제1 기준선을 중심으로 제3 이미지를 상하부 이미지로 분리한다. The
상부 이미지의 세로방향 높이는 제1값에 대응하고, 하부 이미지의 세로방향 높이는 제2값에 대응한다. The vertical height of the upper image corresponds to the first value, and the vertical height of the lower image corresponds to the second value.
비디오 렌더링 프로세서(2560)는 기 설정된 제1비율 및 제1값과 제2값 중 더 작은 값을 기반으로 최종 내비게이션 이미지(이하, 제2이미지)의 높이값을 획득한다. The
제1비율은 제1 값 대비 상기 제 2값의 비율이다. The first ratio is a ratio of the second value to the first value.
비디오 렌더링 프로세서(2560)는 기 설정된 제2비율 및 제2 이미지의 높이값을 기반으로 제2 이미지의 너비값을 획득한다. The
제2비율은 상기 제2 이미지의 높이값 대비 너비값의 비율이다. The second ratio is a ratio of the width value to the height value of the second image.
실시예들에 따른 비디오 렌더링 프로세서(2560)는 (제1 이미지의 가로방향 픽셀값 - 제2 이미지의 너비값)/2 의 값에 해당하는 너비값을 갖는 다각형의 영역에 대응되는 이미지를 제외하여 제2이미지를 생성할 수 있다. The
실시예들에 따른 디바이스(2500)의 컨트롤러(2530)는 비디오 렌더링 프로세서(2560)가 렌더링에 성공하면(도 24의 2460), AR 모드로 경로안내 시작을 수행하도록 컨트롤 할 수 있다(도 24의 2416).The
실시예들에 따른 디스플레이(2550)는 AR 모드로 경로안내 서비스를 제공하는 내비게이션 영상을 디스플레이 한다. The
실시예들에 따른 디스플레이(2550)는 디스플레이 되는 내비게이션 이미지의 높이: 너비의 비율이 3:4 또는 4:3으로 설계하여 디스플레이 한다. The
실시예들에 따른 비디오 렌더링 프로세서(2560)는 제2이미지의 높이가 너비보다 짧은 길이를 갖도록 디스플레이(2550)에서 디스플레이 되는 경우, 제2 이미지의 높이: 너비 비율이 3:4 가 되도록 제3 이미지를 렌더링 한다. When the
실시예들에 따른 비디오 렌더링 프로세서(2560)는 제2이미지의 너비가 높이보다 짧은 길이를 갖도록 디스플레이(2550)에서 디스플레이 되는 경우, 제2 이미지의 높이: 너비 비율이 4:3 이 되도록 제3이미지를 렌더링 한다. When the
실시예들에 따른 디바이스(2500)는 촬영한 영상을 렌더링한 파일이나 기타 인스트럭션 등을 포함하는 프로그램을 저장하는 메모리(2520)를 포함하여 구성될 수 있다. 본 발명의 실시예들에 따른 입력 신호는 상술한 실시예에 국한되지 않으며, 디바이스를 사용하기 위한 다양한 입력 신호들을 포함한다.The
컨트롤러(2530)는 디바이스의 전반적인 동작을 제어한다. 컨트롤러(2530)는 수신한 현재 차량의 주행 영상을 포함하여 기타 사용자 입력 신호 등을 판단할 수 있으며, 비디오 렌더링 프로세서(2560)가 입력된 전방 주행경로 영상 데이터를 렌더링하여 디바이스의 디스플레이(2550)에서 내비게이션 화면으로 디스플레이 할 수 있도록 제어한다. 컨트롤러(2530)는 센서(2510), 카메라(2540), 비디오 렌더링 프로세서(2560), 메모리(2520) 및 디스플레이(2550)와 통신 가능하도록 연결될 수 있다. 컨트롤러(2540)는 본 발명의 실시예들에 따른 센서(2510), 카메라(2540), 비디오 렌더링 프로세서(2560), 및 디스플레이(2550) 중 적어도 어느 하나 이상은디바이스의 메모리(2520)와 통신가능 하도록 설정된 하나 또는 그 이상의 프로세서들로 구성될 수 있다. The
메모리(2520)는 입력된 현재 차량이 촬영한 주행영상 또는 렌더링된 영상 등과 관련하여 디바이스의 동작을 제어하기 위한 인스트럭션(instruction)들을 포함하는 프로그램 등을 저장한다. The
또한, 도 25에 도시된 디바이스(2500)는 도 1 내지 도 24에서 설명한 기능/동작을 수행한다. 또한 디바이스(2500)는 도면에 도시 되지 않았으나 도 1 내지 도 24에서 설명한 기능/동작을 수행하기 위한 모듈 등을 더 포함한다.In addition, the
도 26은 실시예들에 따른 디바이스가 복수개의 기준선들을 기반으로 영상을 렌더링 하는 예시도면이다. 26 is an exemplary diagram in which a device according to embodiments renders an image based on a plurality of reference lines.
디바이스는 촬영된 주행영상 이미지(이하, 제1이미지)를 복수개이 기준선들을 기반으로 렌더링하여, AR 모드의 경로안내를 위한 내비게이션 화면(이하, 제2 이미지)을 생성한다. The device renders the captured driving image image (hereinafter, referred to as a first image) based on a plurality of reference lines, and generates a navigation screen (hereinafter, referred to as a second image) for route guidance in the AR mode.
디바이스는 자동 또는 수동으로 복수개의 기준선들을 설정한다. The device automatically or manually sets a plurality of baselines.
도 26(a) 는 디바이스가 사용자 입력신호를 수신 받아, 제1 이미지(2610)에서 제1 기준선(2612) 및 제2 기준선(2621)을 수동으로 설정하는 것을 나타낸다. FIG. 26A shows that the device receives a user input signal and manually sets the
디바이스는 사용자의 입력신호를 예를 들어, 터치 스크린인 경우, 화면터치(screen touch) 및 드레그(drag) 등으로 입력받을 수 있으며, 사용자의 음성 입력신호를 수신하여 설정을 수행할 수도 있다. In the case of a touch screen, for example, the device may receive an input signal from a user through a screen touch and a drag, and may receive a user's voice input signal to perform setting.
실시예들에 따른 디바이스는 HMD를 통하여 사용자의 시선 트래킹 또는 포지션 트래킹 등으로 사용자 입력신호를 수신받아 입력되도록 설계 가능하다. The device according to the embodiments may be designed to receive and input a user input signal through the user's gaze tracking or position tracking through the HMD.
실시예들에 따른 제1 기준선(2612)은 제 1 이미지(2610)에서 소실점(Vanishing Point, 2611)을 포함한 수평선을 나타낸다. The
실시예들에 따른 소실점(2611)은 차량의 주행도로 차선들의 좌우측 차선 이미지들(2613, 2614, 2615, 2616)이 지평선과 교차하는 포인트를 나타낸다. The vanishing
디바이스는 제1 이미지(2610, 2620)에서 차량 내부 오브젝트 또는 외부 오브젝트의 이미지가 이루는 경계선(2617)을 제2 기준선(2621)으로 설정한다. In the
실시예에 따른 제 2 기준선(2621)은 보닛 또는 대쉬보드의 이미지가 제1 이미지 내에서 이루는 경계선을 포함한다. The
디바이스는 제1 이미지에서 제2 기준선(2621)을 기반으로 차량 내외부 오브젝트 이미지를 삭제하고, 제1기준선(2611)을 기반으로 제2이미지(2630)를 재생성한다. The device deletes the object image inside and outside the vehicle from the first image based on the
디바이스는 기 설정된 화면 비율에 맞춰, 일부 이미지를 삭제하고 남은 이미지를 확대하여 제2 이미지(2630)로 재생성한다. The device deletes some images according to a preset aspect ratio, enlarges the remaining images, and recreates them as the
디바이스는 차량이 따라가야 할 주행방향을 AR(Augmented Reality) 길 표시 이미지의 경로안내(2631) 및 내비게이션 정보(2632) 이미지를 포함한 내비게이션 영상을 제공한다.The device provides a navigation image including an image of a
실시예들에 따른 제1 이미지는 차량의 전방 주행도로를 가리는 차량 내부 또는 외부의 방해물들, 예를 들어, 차량의 전면부 창문(windshield)와 측부창문(side window)의 차창문 사이의 기둥프레임(front pillar, A pillar), 대쉬보드(Dashboard), 본넷(Bonnet), 룸미러(room mirror), 선바이져(sun visor), 운전대(스티어링 휠, steering wheel) 등 운전자의 전방 시야를 방해하는 설치물들의 이미지를 포함할 수 있다. The first image according to the embodiments includes obstacles inside or outside the vehicle that obstruct the driving road ahead of the vehicle, for example, a pillar frame between a front window of the vehicle and a vehicle window of a side window. (front pillar, A pillar), dashboard, bonnet, room mirror, sun visor, steering wheel, etc. May contain images.
도 26(b) 는 디바이스가 사용자 입력신호를 수신 받아, 제1 이미지(2640)에서 제1 기준선(2641) 및 제2 기준선(2642)을 자동으로 설정하는 것을 나타낸다. 26(b) shows that the device receives a user input signal and automatically sets the first reference line 2461 and the
디바이스는 제1이미지(2640)에서 제2 기준선(2642)을 바탕으로 차량 내부 오브젝트 또는 외부 오브젝트의 이미지를 삭제한다. The device deletes the image of the vehicle interior object or the external object from the
디바이스는 제1 기준선(2641)을 기반으로 기 설정된 화면이나 높이 비율에 맞춰 일부 이미지를 삭제하고 남은 이미지를 추출하여 확대한다. The device deletes some images according to a preset screen or height ratio based on the
디바이스는 차량이 따라가야 할 주행방향을 AR(Augmented Reality) 길 표시 이미지의 경로안내(2661) 및 내비게이션 정보(2662) 이미지를 포함한 내비게이션 영상을 제공한다.The device provides a navigation image including a
도 27은 실시예들에 따른 디바이스가 제 2 기준선을 바탕으로 방해물 이미지를 삭제하는 렌더링을 도시한다. 27 illustrates rendering in which a device deletes an obstruction image based on a second reference line according to embodiments.
도 27의 렌더링 방법은 도 1 내지 도 26에서 설명한 디바이스(예를 들면, 도 25의 비디오 렌더링 프로세서, 2560)가 렌더링 동작을 수행하는 것의 예시를 나타낸다. The rendering method of FIG. 27 shows an example of performing a rendering operation by the device (eg, the video rendering processor of FIG. 25, 2560) described with reference to FIGS. 1 to 26.
도 27(a)는 디바이스가 차량 주변을 검색하고, 사용자 입력신호에 따라 목적지를 선택하는 것을 도시한다. Fig. 27(a) shows that the device searches around the vehicle and selects a destination according to a user input signal.
도 27(b)에서 디바이스는 차량의 현재 주행도로의 전방 뷰(view)를 촬영한 영상을 도시한다. In FIG. 27(b), the device shows an image photographing a front view of the current driving road of the vehicle.
디바이스는 제 2 기준선의 설정을 사용자 선택 입력신호를 수신하여 수동으로 또는 자동으로 수행할 수 있다. The device may manually or automatically perform the setting of the second reference line by receiving a user selection input signal.
디바이스는 도면(2720)에서와 같이 촬영된 영상에 제 2 기준선을 설정할 수 있는 가 기준선(pre-reference line, 2725)을 초기화면에 디스플레이한다. The device displays a
디바이스는 수동으로 제2 기준선을 설정해 달라는 요청 메시지(2724)를 디스플레이 하거나 음성으로 제공하고, 사용자의 입력신호에 따라 프로세스를 수행한다. The device displays a
예를 들어, “정확한 AR 길안내를 위해 전방을 가리는 부분을 제거합니다. 양쪽의 빨간점을 이동하여 전방화면을 가리는 부분을 설정하여 주세요”(2724) 라는 이미지를 디스플레이 한다. For example, “For accurate AR directions, we remove the obstruction to the front. Move the red dots on both sides to set the part that covers the front screen” (2724).
디바이스는 사용자가 가 기준선(2725)의 양 끝점(2721, 2722)의 위치를 이동시키기 위해 터치 또는 드레그 하는 사용자 입력신호를 수신한다. The device receives a user input signal that the user touches or drags to move the positions of both
디바이스는 사용자 입력신호에 따라 가 기준선의 양 끝점(2721, 2722)이 제1이미지의 하단의 보닛 또는 대쉬보드의 이미지의 양 끝점(2731, 2732)으로 이동되어 겹치면, 제2 기준선(2735)이 설정되었다는 메시지(2734, 예를 들면, “설정완료”)를 디스플레이 한다. In the device, when the
디바이스는 AI(인공지능) 알고리즘의 DNN프로그램 등으로 제2 기준선의 설정을 자동으로 수행할 수도 있다. The device may automatically set the second baseline with a DNN program of an AI (artificial intelligence) algorithm.
디바이스는 제1 이미지(2720)에서 가 기준선(2725)이 차량 내외부의 오브젝트 이미지(2723)의 꼭대기(2735) 위치에 형성되도록 또는 이동되도록 자동으로 세팅할 수 있다. In the
디바이스는 제1 이미지(2730)에서 제2 기준선(2735)의 하부 영역(2733)에 포함된 오브젝트 이미지를 삭제하고 제2 이미지(2741)를 재생성한다. The device deletes the object image included in the lower area 2733 of the
디바이스는 제2 이미지(2740)가 차량이 따라가야 할 주행방향을 AR 이미지로 표시한 AR 길 표시(2742) 이미지와 내비게이션 정보(2743) 이미지들을 포함하도록 렌더링한다.The device renders the
디바이스는 차량 내외부 오브젝트 이미지를 삭제하고 남은 이미지(2730)를 기 설정된 디스플레이 화면의 비율에 맞춰 확대하거나 및 이미지 일부를 삭제하여 제1 이미지(2720)의 크기와 동일한 제 2 이미지(2740)를 생성하여 디스플레이 한다. The device deletes the image of the object inside and outside the vehicle, enlarges the remaining
실시예들에 따른 디바이스의 렌더링 동작은 도 24 내지 도 26에서 설명한 하나 또는 그 이상의 렌더링 동작(예를 들면, 도 24의 비디오 렌더링 프로세서가 주행경로의 전방뷰(view) 이미지들을 AR 모드 내비게이션 영상으로 렌더링하는 동작)과 동일하다. 도 24 내지 도 26에서 설명한 하나 또는 그 이상의 방법들/동작들에 대한 구체적인 설명은 생략한다. The rendering operation of the device according to the embodiments includes one or more rendering operations described with reference to FIGS. 24 to 26 (for example, the video rendering processor of FIG. 24 converts the front view images of the driving route into an AR mode navigation image. It is the same as the rendering operation). Detailed descriptions of one or more methods/operations described in FIGS. 24 to 26 will be omitted.
도 28(a) 내지 도 28(b)는 실시예들에 따른 디바이스가 제 1 기준선을 수동으로 설정하여 이미지를 렌더링하는 방법을 나타낸 플로우챠트(2800) 및 도면이다. 28A to 28B are
도 28의 렌더링 방법은 도 1 내지 도 27에서 설명한 디바이스(예를 들면, 도 25의 비디오 렌더링 프로세서, 2560)가 렌더링 동작을 수행하는 것의 예시를 나타낸다. The rendering method of FIG. 28 illustrates an example of performing a rendering operation by the device (eg, the video rendering processor of FIG. 25, 2560) described with reference to FIGS. 1 to 27.
실시예들에 따른 디바이스는 제1기준선을 설정한다(2810). The device according to the embodiments establishes a first reference line (2810).
디바이스는 제1기준선을 가 설정(predesignate)할 수 있다. The device may predesignate the first baseline.
예를 들어, 디바이스는 제1이미지에서 지평선을 AI(인공지능) 알고리즘의 DNN등의 방식으로 검색하여 제1 기준선으로 설정할 수 있다.For example, the device may search for the horizon in the first image by a method such as DNN of an artificial intelligence (AI) algorithm and set it as the first reference line.
디바이스는 소실점(Vanish point)의 위치를 사용자 입력신호에 의해 수동으로 입력 받는다(2811). The device receives the location of the vanish point manually by a user input signal (2811).
도 28(b)는 디바이스가 소실점의 위치를 사용자 입력신호(예를 들면, 터치 또는 드레그)로 입력 받아 제1기준선의 위치를 수동으로 설정한 예시이다. 28(b) is an example in which the device receives the location of the vanishing point as a user input signal (eg, touch or drag) and manually sets the location of the first reference line.
디바이스는 문턱값 범위(preference scope)를 저장한다(2812).The device stores a threshold value range (2812).
디바이스는 설정된 소실점(Vanish point) 이미지의 위치가 문턱값 범위 내에 포함되면, 그 포인트를 소실점 이미지의 위치로 입력하고 그 문턱값 범위(preference scope)를 저장한다(2812). When the location of the set vanish point image falls within the threshold value range, the device inputs the point as the location of the vanish point image and stores the threshold value range (2812).
예를 들어, 수평선에서 소실점 이미지까지의 거리를 측정한 문턱값 범위를 저장한다. For example, it stores a range of threshold values obtained by measuring the distance from the horizontal line to the vanishing point image.
디바이스는 소실점의 위치를 기반으로 제2 이미지를 생성하기 위해 소실점이 제3 이미지(2830)에서 1/2지점의 상하부 이미지의 어디에 포함되는지 계산한다(Get Vanish point in Crop Class, 2813). In order to generate a second image based on the location of the vanishing point, the device calculates where the vanishing point is included in the upper and lower images of the
실시예들에 따른 제 3 이미지(2830)는 디바이스가 제1 이미지에서 제2 기준선(도 28(b)의 2822)을 기준으로 차량의 내외부 오브젝트 이미지를 제거한 이미지이다. The
디바이스는 제 2 이미지 추출을 위한 계산 및 렌더링을 수행한다(2814).The device performs calculation and rendering for extracting the second image (2814).
실시예들에 따라, 디바이스는 제1 기준선의 위치와 제2이미지의 설정된 높이 또는 너비 비율들을 기반으로 제2 이미지(2840)를 생성한다.According to embodiments, the device generates the
예를 들어, 디바이스는 제1기준선이 상하부 이미지의 어디에 포함되는지, 또는 기 설정된 제2 이미지의 높이:너비의 Best 비율 등에 따라 제2 이미지(2840)를 생성한다. For example, the device generates the
디바이스는 제 2 이미지를 렌더링하는데 성공하면(2815), AR 모드를 시작한다(2816). If the device succeeds in rendering the second image (2815), it starts the AR mode (2816).
디바이스는 AR 모드로 경로안내 내비게이션 영상을 디스플레이 한다. The device displays a route guidance navigation image in AR mode.
디바이스는 제 2 이미지를 렌더링하는데 실패하면, 디폴트 모드(예를 들어, 지도모드)로 내비게이션 영상을 디스플레이 한다(2817). If the device fails to render the second image, the device displays a navigation image in a default mode (eg, a map mode) (2817).
실시예들에 따른 디바이스의 렌더링 동작은 도 24 내지 도 27에서 설명한 하나 또는 그 이상의 렌더링 동작(예를 들면, 도 24의 비디오 렌더링 프로세서가 주행경로의 전방뷰(view) 이미지들을 AR 모드 내비게이션 영상으로 렌더링하는 동작)과 동일하다. 도 24 내지 도 27에서 설명한 하나 또는 그 이상의 방법들/동작들에 대한 구체적인 설명은 생략한다. The rendering operation of the device according to the embodiments includes one or more rendering operations described in FIGS. 24 to 27 (for example, the video rendering processor of FIG. 24 converts the front view images of the driving route into the AR mode navigation image. It is the same as the rendering operation). Detailed descriptions of one or more methods/operations described in FIGS. 24 to 27 will be omitted.
도 29(a) 내지 도 29(c)는 실시예들에 따른 디바이스가 제 1 기준선을 자동으로 설정하여 이미지를 렌더링하는 방법을 나타낸 플로우챠트(2900) 및 도면이다. 29A to 29C are
도 29의 렌더링 방법은 도 1 내지 도 28에서 설명한 디바이스(예를 들면, 도 25의 비디오 렌더링 프로세서, 2560)가 렌더링 동작을 수행하는 것의 예시를 나타낸다. The rendering method of FIG. 29 shows an example of performing a rendering operation by the device (eg, the video rendering processor of FIG. 25, 2560) described with reference to FIGS. 1 to 28.
도 29(a)에서 실시예들에 따른 디바이스는 구동을 시작하여(2909), AR 모드를 시작한다(2910). In FIG. 29(a), the device according to the embodiments starts driving (2909) and starts the AR mode (2910).
디바이스는 차량 흔들림, 떨림 발생을 감지한다(2911).The device detects vehicle shaking and shaking (2911).
차량이 주행 중 흔들림 또는 노면의 굴곡에 의해 떨림이 발생하면, 전방 주행도로를 촬영하고 있던 카메라도 위치가 변경될 수 있어, 주행도로의 화면이 안정적인 위치를 벗어날 수 있다. When the vehicle shakes while driving or vibration occurs due to the curvature of the road surface, the position of the camera that was photographing the driving road ahead may also change its position, so that the screen of the driving road may deviate from a stable position.
디바이스는 렌더링에 문제가 없는지 확인한다(렌더링 OK?, 2912).The device verifies that there are no problems with rendering (Rendering OK?, 2912).
디바이스는 렌더링에 문제가 없다고 판단하면, AR 모드로 내비게이션 영상을 계속 디스플레이 한다(2913). If the device determines that there is no problem in rendering, the device continues to display the navigation image in the AR mode (2913).
디바이스는 렌더링에 문제가 있다고 판단하면, 촬영된 영상에서 다수의 직선들을 디텍트한다(2914). If the device determines that there is a problem in rendering, it detects a plurality of straight lines in the captured image (2914).
디바이스는 촬영한 전방 주행도로의 이미지에서 제1기준선을 추출하기 위해 우선 다수의 직선들을 모두 검색하여 추출한다. In order to extract the first reference line from the photographed image of the driving road ahead, the device first searches and extracts all of a plurality of straight lines.
예를 들어, 디바이스는 차선을 이루는 다수의 직선의 이미지들이 중간부분이 끊어져 디텍트 되면 AI 알고리즘 등으로 끊어진 선들을 연결한다. For example, the device connects the broken lines using an AI algorithm or the like when a number of straight lines forming a lane are detected because the middle part is cut off.
디바이스는 연결된 직선들의 끝점이 지평선과 교차하여 생성되는 projection position을 소실점(vanishing point)의 위치로 계산한다(2915). The device calculates the projection position, which is generated when the end points of the connected straight lines intersect the horizon, as the vanishing point (2915).
카메라로 촬영한 주행영상의 이미지(이하, 제1 이미지)에서 소실점은 차량의 주행도로 차선의 좌우측 차선 이미지를 각각 하나의 선으로 연결하고, 연결된 복수개의 직선들의 끝점이 지평선과 교차하는 포인트를 포함한다. In the image of the driving image taken with the camera (hereinafter, referred to as the first image), the vanishing point includes a point where each image of the left and right lanes of the driving road lane of the vehicle is connected by one line, and the end points of the connected plurality of straight lines cross the horizon do.
디바이스는 소실점 위치를 계산한다(2916).The device calculates the vanishing point location (2916).
도 29(b)는 다수의 직선이 지평선에서 교차하는 포인트(2920)가 제1이미지에서의 소실점(vanishing point)의 위치를 포함함을 나타낸다. Fig. 29(b) shows that a
도 29(c)는 복수개의 차선을 이루는 좌우측에서 추출된 다수의 직선들(2940)이 지평선과 한 점에서 만나는 소실점(2930)을 도시하고 있다. 29(c) shows a vanishing
디바이스는 차선을 연결한 직선들(2940)이 지평선과 교차하여 생성하는 포인트의 위치를 소실점(2930)의 위치로 계산한다. The device calculates the location of a point generated by the
디바이스는 소실점의 위치를 기반으로 영상의 렌더링을 수행한다(Do Rendering, 2917).The device renders the image based on the location of the vanishing point (Do Rendering, 2917).
실시예들에 따른 디바이스는 소실점의 위치(또는 제1 기준선의 위치)가 예를 들어, 영상 이미지의 1/2 지점을 기준으로 상하 어디에 위치하는지에 따라 그리고 기 설정된 추출할 이미지의 높이:너비의 Best 비율 등에 따라 내비게이션 이미지를 생성한다. In the device according to the embodiments, according to the location of the vanishing point (or the location of the first reference line), for example, the height of the image to be extracted according to the location of the top and bottom with respect to the 1/2 point of the image image: The navigation image is created according to the best ratio, etc.
디바이스는 AR 모드로 경로안내 하는 내비게이션 영상을 계속 제공한다(AR Mode Continue, 2913). The device continues to provide navigation images that guide the route in AR mode (AR Mode Continue, 2913).
실시예들에 따른 디바이스의 렌더링 동작은 도 24 내지 도 28에서 설명한 하나 또는 그 이상의 렌더링 동작(예를 들면, 도 24의 비디오 렌더링 프로세서가 주행경로의 전방뷰(view) 이미지들을 AR 모드 내비게이션 영상으로 렌더링하는 동작)과 동일하다. 도 24 내지 도 28에서 설명한 하나 또는 그 이상의 방법들/동작들에 대한 구체적인 설명은 생략한다. The rendering operation of the device according to the embodiments may include one or more rendering operations described in FIGS. 24 to 28 (for example, the video rendering processor of FIG. 24 converts the front view images of the driving route into the AR mode navigation image. It is the same as the rendering operation). Detailed descriptions of one or more methods/operations described in FIGS. 24 to 28 will be omitted.
도 30 내지 도 31은 실시예들에 따른 디바이스가 제 2 기준선을 DNN(Neural Network) 등의 알고리즘으로 자동으로 계산하여 렌더링하는 방법을 나타낸 플로우챠트(3000) 및 도면이다. 30 to 31 are flowcharts 3000 and diagrams illustrating a method of automatically calculating and rendering a second reference line by a device using an algorithm such as a neural network (DNN) according to embodiments.
도 30의 렌더링 방법은 도 1 내지 도 29에서 설명한 디바이스(예를 들면, 도 25의 비디오 렌더링 프로세서, 2560)가 렌더링 동작을 수행하는 것의 예시를 나타낸다. The rendering method of FIG. 30 illustrates an example of performing a rendering operation by the device (eg, the video rendering processor of FIG. 25, 2560) described with reference to FIGS. 1 to 29.
실시예들에 따른 디바이스는 내비게이션 기능의 실행을 시작한다(3010).The device according to the embodiments starts execution of the navigation function (3010).
디바이스는 AR 모드 내비게이션 영상의 렌더링을 위한 프로세스를 시작한다(AR Mode Srart, 3011). The device starts a process for rendering an AR mode navigation image (AR Mode Srart, 3011).
디바이스는 AI(인공지능) 알고리즘의 DNN방식을 사용하여 전방 시야의 장애물을 탐색한다(3012).The device searches for obstacles in the front view using the DNN method of the AI (artificial intelligence) algorithm (3012).
디바이스는 전방 시야의 장애물을 탐색하기 위하여, AI(인공지능) 알고리즘의 DNN(심층신경망) 의 딥러닝(Deep Learning)을 이용한다. The device uses Deep Learning of DNN (Deep Neural Network) of AI (Artificial Intelligence) algorithm to search for obstacles in the forward field of view.
디바이스는 주행영상 이미지에서 보닛의 이미지를 검색한다(Bonnet Detection OK?, 3013)The device searches for the bonnet image from the driving image (Bonnet Detection OK?, 3013).
디바이스는 보닛 이미지를 디텍트하는데 성공한 것으로 판단하면(3020), 주행영상 이미지에서 보닛 이미지를 삭제할 경계선의 위치(Crop Position)를 설정하고, 설정된 값을 저장한다(Get Crop Position & Save preference, 3014). If the device determines that it has succeeded in detecting the bonnet image (3020), it sets the crop position to delete the bonnet image from the driving image image, and stores the set value (Get Crop Position & Save preference, 3014). .
예를 들어, 디바이스는 AI알고리즘으로 검색한 보닛 이미지를 삭제할 포지션(또는 제2기준선의 위치)가 실제 보닛의 이미지가 제1이미지에서 형성한 경계선과 일치하는지 또는 경계선과 떨어진 거리를 계산하여 문턱값 범위 내에 포함되면, preference로 저장한다. For example, the device determines whether the position to delete the bonnet image retrieved by the AI algorithm (or the position of the second reference line) matches the boundary line formed in the first image or the distance from the boundary line, and calculates the threshold value. If it is within the range, it is saved as a preference.
디바이스는 보닛 이미지를 디텍트하는데 실패한 것으로 판단하면(3030), 보닛 이미지를 삭제할 경계선의 위치를 디폴트로 세팅한다(Set default Crop Position, 3022)If the device determines that it has failed to detect the bonnet image (3030), it sets the position of the border to delete the bonnet image as a default (Set default Crop Position, 3022).
디바이스는 제1기준선을 기반으로 최종 내비게이션 영상(이하, 제2 이미지)을 생성하기 위해 소실점의 위치 정보를 획득한다(Get Vanish point in Crop Class, 3015, 3018). The device obtains location information of a vanishing point to generate a final navigation image (hereinafter, referred to as a second image) based on the first baseline (Get Vanish point in Crop Class, 3015, 3018).
디바이스는 추출할 제2 이미지의 영역 외의 삭제할 이미지 영역을 계산한다(Calculate Crop region, 3016, 3019).The device calculates an image area to be deleted other than the area of the second image to be extracted (Calculate Crop region, 3016, 3019).
디바이스는 이미지를 삭제하여(Do Crop, 3017, 3020), 제2 이미지를 추출한다.The device deletes the image (Do Crop, 3017, 3020) and extracts the second image.
디바이스는 AR 모드 내비게이션 영상을 렌더링하는 프로세스를 종료한다(3021).The device ends the process of rendering the AR mode navigation image (3021).
디바이스는 소실점의 위치 및 최종 내비게이션 영상 화면의 비율 등을 기반으로 제2 이미지를 생성한다. The device generates a second image based on the location of the vanishing point and the ratio of the final navigation image screen.
디바이스는 소실점을 기준으로 상하 이미지 영역의best 높이 비율에 따라, 설정 영역 밖의 이미지들을 삭제하고, 남은 이미지를 다시 디스플레이할 화면의 Best 비율에 따라 확대하여 제2 이미지를 생성한다.The device deletes images outside the setting area according to the best height ratio of the upper and lower image areas based on the vanishing point, and generates a second image by expanding the remaining image according to the best ratio of the screen to be displayed again.
도 31(a) 내지 도 31(c)는 도 30의 디바이스의 AR모드로 영상을 렌더링하는 동작을 나타낸 도면이다. 31(a) to 31(c) are diagrams illustrating an operation of rendering an image in the AR mode of the device of FIG. 30.
도면은 도30의 디바이스의 렌더링 동작(3012, 3013)에 따라, 디바이스가 보닛 이미지가 제1이미지(3110, 3120, 3130) 내에 형성한 경계선(3111, 3121, 3131)을 디텍트한 것을 나타낸다. The drawing shows that the device detects the
도 30 내지 도 31의 실시예들에 따른 디바이스의 렌더링 동작은 도 24 내지 도 29에서 설명한 하나 또는 그 이상의 렌더링 동작(예를 들면, 도 24의 비디오 렌더링 프로세서가 주행경로의 전방뷰(view) 이미지들을 AR 모드 내비게이션 영상으로 렌더링하는 동작)과 동일하다. The rendering operation of the device according to the embodiments of FIGS. 30 to 31 is one or more rendering operations described in FIGS. 24 to 29 (for example, the video rendering processor of FIG. 24 It is the same as the operation of rendering the audio as an AR mode navigation image).
도 24 내지 도 29에서 설명한 하나 또는 그 이상의 방법들/동작들에 대한 구체적인 설명은 생략한다. Detailed descriptions of one or more methods/operations described in FIGS. 24 to 29 will be omitted.
도 32는 실시예들에 따른 디바이스가 DNN을 통한 차선인식 알고리즘을 적용하여 AR 모드 내비게이션 영상을 렌더링하여 정확한 차선 정보를 계산하는 예시이다. 32 is an example in which a device according to embodiments renders an AR mode navigation image by applying a lane recognition algorithm through a DNN to calculate accurate lane information.
도 32의 렌더링 방법은 도 1 내지 도 31에서 설명한 디바이스(예를 들면, 도 25의 비디오 렌더링 프로세서, 2560)가 렌더링 동작을 수행하는 것의 예시를 나타낸다. The rendering method of FIG. 32 illustrates an example of performing a rendering operation by the device (eg, the video rendering processor of FIG. 25, 2560) described with reference to FIGS. 1 to 31.
디바이스는 카메라로 촬영한 주행도로 프리뷰(preview) 영상에서 하나 또는 그 이상의 제1 이미지를 추출하여 Jpeg 이미지로 변환한다. The device extracts one or more first images from the driving road preview image captured by the camera and converts it into a Jpeg image.
디바이스(예를 들면, 도 25의 비디오 렌더링 프로세서(2560))는 변환된 Jpeg이미지를 DNN 모델링 프로세스의 입력데이터(Input Data)로 수신하여 주행도로의 차선을 정확하게 디텍트하는 프로세스를 수행한다. The device (eg, the
이때, 디바이스는 DNN 알고리즘으로 차선 이미지를 정확하게 디텍트하기 위해, 이미지(3220, 이하, 제2 이미지)의 영역을 추출한다. At this time, the device extracts a region of the image 3220 (hereinafter, referred to as the second image) in order to accurately detect the lane image using the DNN algorithm.
디바이스는 예를 들어, 픽셀값을 설정하여, 카메라로 주행도로 프리뷰 영상을 촬영한다. The device sets a pixel value, for example, and takes a preview image of the driving road with the camera.
디바이스는 설정된 픽셀을 기반으로, 현재 차량의 주행 차선의 이미지들(3230)이 제2 이미지(3220) 영역의 중앙에 오도록 left(3210)값을 설정하여 제2 이미지(3220) 영역을 추출한다. Based on the set pixel, the device extracts the
디바이스는 주행도로 프리뷰(preview) 영상의 픽셀을 예를 들어, 1280*720로 설정하여 영상을 촬영한다. The device captures an image by setting a pixel of the driving road preview image to, for example, 1280*720.
디바이스는 제2 이미지의 너비값과 설정된 제1이미지의 가로방향 픽셀값을 기반으로, 제2 이미지 영역에서 제외할 영역을 추출하기 위한 left 값을 획득한다. The device obtains a left value for extracting an area to be excluded from the second image area, based on the width value of the second image and the set horizontal pixel value of the first image.
디바이스는 도면의 left값을 예를 들어, (설정된 픽셀 너비값 - 획득된 제2 이미지의 너비값)/2 의 계산식에 따라 획득한다. The device obtains the left value of the drawing according to, for example, a calculation formula of (the set pixel width value-the width value of the obtained second image)/2.
우선, 디바이스는 제1 기준선을 기준으로 제2 이미지의 상하부 영역의 이미지의 Best 높이비율과 제2 이미지 화면의 best 높이: 너비 비율을 기반으로, 제2 이미지의 너비값을 획득한다. First, the device obtains a width value of the second image based on the best height ratio of the image in the upper and lower regions of the second image and the best height: width ratio of the second image screen based on the first reference line.
디바이스는 획득된 제2 이미지의 너비값과 설정된 제1이미지의 가로방향 픽셀값(예를 들어, 1280*720 인 경우, 1280)을 기반으로, 제2 이미지에서 제외할 영역(예를 들어, Left값, 3210)의 값을 획득한다. Based on the acquired width value of the second image and the horizontal pixel value of the set first image (for example, 1280*720, 1280), the device is Value, 3210).
예를 들면, 디바이스는 제1 이미지의 가로방향 픽셀값(예를 들어, 1280)에서 상기 제2 이미지의 너비값(예를 들어, 1049)을 뺀 값(1280-1049=231)의 1/2값인 115.5를 도면에서의 left값(3210)으로 설정할 수 있다.For example, the device is 1/2 of a value obtained by subtracting the width value (eg, 1049) of the second image from the horizontal pixel value (eg, 1280) of the first image (1280-1049=231). The value 115.5 can be set as the
디바이스는 Left값을 기반으로 제2 이미지(3220)의 영역을 추출하여, DNN알고리즘을 이용하여 차선을 정확히 디텍트 할 수 있다. The device extracts the area of the
실시예들에 따른 디바이스의 렌더링 동작은 도 24 내지 도 31에서 설명한 하나 또는 그 이상의 렌더링 동작(예를 들면, 도 24의 비디오 렌더링 프로세서가 주행경로의 전방뷰(view) 이미지들을 AR 모드 내비게이션 영상으로 렌더링하는 동작)과 동일하다. The rendering operation of the device according to the embodiments may include one or more rendering operations described in FIGS. 24 to 31 (for example, the video rendering processor of FIG. 24 converts the front view images of the driving route into AR mode navigation images. It is the same as the rendering operation).
도 24 내지 도 31에서 설명한 하나 또는 그 이상의 방법들/동작들에 대한 구체적인 설명은 생략한다.Detailed descriptions of one or more methods/operations described in FIGS. 24 to 31 will be omitted.
도 33 내지 도35는 실시예들에 따른 디바이스가 촬영한 주행영상을 제 1 기준선 위치 및 제2 기준선을 기반으로 제2 이미지로 렌더링하는 방법을 나타낸 예시이다. 33 to 35 are examples illustrating a method of rendering a driving image captured by a device as a second image based on a position of a first reference line and a second reference line according to embodiments.
도 33 내지 도35의 렌더링 방법은 도 1 내지 도 32에서 설명한 디바이스(예를 들면, 도 25의 비디오 렌더링 프로세서, 2560)가 렌더링 동작을 수행하는 것의 예시를 나타낸다. The rendering methods of FIGS. 33 to 35 illustrate an example of performing a rendering operation by the device (eg, the video rendering processor of FIG. 25, 2560) described with reference to FIGS. 1 to 32.
도 33에서 디바이스는 제1 이미지(3309)에서 제2 기준선(3308)을 기준으로 하단부의 방해물 이미지를 삭제하여 추출(Crop)한 이미지를 제3 이미지(3310)로 설정한다. In FIG. 33, the device deletes the obstruction image at the lower end of the
도 33은 제3 이미지(3310)의 세로방향 높이의 1/2 지점(3330)에 제1 기준선(3320)이 위치하는 경우, 디바이스가 제 3 이미지(3310)를 제2이미지로 렌더링하는 예시이다. FIG. 33 is an example in which a device renders a third image 3310 as a second image when the
하단부의 방해물 이미지는 예를 들어, 보닛 이미지를 포함할 수 있다. The obstruction image of the lower portion may include, for example, a bonnet image.
디바이스는 하단부의 방해물 이미지를 삭제하기 위하여, 예를 들어, 제 1 이미지(3309)에서 제 2 기준선(3308)을 기준으로 하단부의 제 1 이미지를 범위 내에 포함하는 임의의 다각형을 설정한다. In order to delete the obstruction image of the lower part, for example, the device sets an arbitrary polygon including the first image of the lower part within the range based on the
디바이스는 임의의 다각형이 제 2 기준선(3308)을 일 변으로 포함하도록 설정한다. The device sets the arbitrary polygon to include the
디바이스는 임의의 다각형에 대응하는 제 1 이미지의 일부를 제 1 이미지(3309)에서 제거한다. The device removes a portion of the first image corresponding to the arbitrary polygon from the
디바이스는 소실점(vanishing point, 3340)을 포함한 제1 기준선을 설정한다. The device establishes a first baseline including a vanishing
제 1 기준선이 제 3 이미지(3310)의 세로방향 높이의 1/2지점(3330)에 위치하면, 디바이스는 제3이미지(3310)의 전체 세로방향 높이값(3350 높이+3360 높이)을 기준으로 제2 이미지(3391)의 범위를 설정한다.When the first reference line is located at the
디바이스는 제1 이미지에서 제3 이미지를 추출할 때, 제1 기준선을 중심으로 상부 이미지 영역의 높이(3350)와 하부 이미지 영역의 높이(3360)를 동일하게 설정하여 이미지를 추출(Crop)할 수 있다. When extracting the third image from the first image, the device may extract (crop) the image by setting the
제 2 이미지(3391)은 디바이스가 사용자에게 디스플레이 하는 최종 내비게이션 영상 이미지가 될 수 있다.The second image 3331 may be a final navigation image displayed by the device to the user.
디바이스는 제 3 이미지(3310)의 세로방향 높이값(3350+3360 높이)을 제 2 이미지의 세로방향 높이값(이하, 제 4값, 3391)으로 설정한다. The device sets the vertical height value (3350 + 3360 height) of the third image 3310 as the vertical height value (hereinafter, referred to as the fourth value, 3391) of the second image.
디바이스는 기 설정된 제 2 이미지의 가로: 세로의 비율(이하, 제2비율)을 이용하여, 제 2 이미지의 너비값을 계산할 수 있다. The device may calculate a width value of the second image by using a preset horizontal to vertical ratio (hereinafter, referred to as a second ratio) of the second image.
제2비율은 제 2 이미지의 높이값 대비 너비값의 비율이다. 예를 들어, 기 설정된 제2 비율은 4:3일 수 있다. The second ratio is a ratio of the width value to the height value of the second image. For example, the preset second ratio may be 4:3.
디바이스는 기 설정된 제2 비율(4:3)과 제 2 이미지의 세로방향 높이값(제 4 값, 3391)을 이용하여, 제2 이미지의 너비값을 계산할 수 있다. The device may calculate a width value of the second image using a preset second ratio (4:3) and a vertical height value (fourth value, 3391) of the second image.
예를 들어, 제 4 값(3391)이 10cm 라면, 4:3=x:10 이 되어, x=4*10/3=13.3 이므로, 제 2 이미지의 너비값(3380)은 13.3cm 정도로 설정할 수 있다. For example, if the fourth value (3391) is 10cm, 4:3=x:10, and x=4*10/3=13.3, the width value (3380) of the second image can be set to about 13.3cm. have.
디바이스는 기 설정된 제2비율과 제4값을 기반으로 제2 이미지(3391)의 너비값(3380)을 획득한다. The device acquires the
예를 들어, 디바이스는 기 설정된 최종 내비게이션 영상 이미지의 가로:세로 베스트 비율에 따라, 보닛 이미지를 삭제한 후의 영상 이미지(제 3 이미지)의 높이값을 이용하여, 제 2 이미지의 너비값을 획득한다. 다음으로, 디바이스는 제 3 이미지의 전체 너비값에서 제 2 이미지의 너비값의 차이 만큼을 제 3 이미지의 좌측의 오프셋값(3370)으로 사용하여 최종으로 제 2 이미지(3391)를 추출한다. For example, the device obtains the width value of the second image by using the height value of the image image (third image) after the bonnet image is deleted according to the horizontal: vertical best ratio of the final navigation image image. . Next, the device uses as much as the difference between the width value of the second image from the total width value of the third image as the offset
사용자가 모바일을 눕혀서 내비게이션 영상을 제공받는 경우, 즉 디바이스가 디스플레이의 가로방향이 세로방향보다 긴 형태로 제2 이미지를 포함한 내비게이션 영상을 제공할 경우, 디바이스는 제2 이미지의 높이: 너비의 Best비율값을 3:4 로 기 설정한다. When the user lays down the mobile and receives the navigation image, that is, when the device provides the navigation image including the second image in a form in which the horizontal direction of the display is longer than the vertical direction, the device is the height of the second image: Best ratio of the width. Set the value to 3:4.
사용자가 모바일을 세워서 내비게이션 영상을 제공받는 경우, 즉 디바이스가 디스플레이의 세로방향이 가로방향보다 긴 형태로 제2 이미지를 포함한 내비게이션 영상을 제공할 경우, 제2 비율의 높이: 너비의 Best비율값을 4:3 으로 기 설정한다. When a user stands on a mobile and receives a navigation image, that is, when the device provides a navigation image including a second image in a form in which the vertical direction of the display is longer than the horizontal direction, the height of the second ratio: the best ratio of the width Set it to 4:3.
디바이스는 제2 비율의 높이: 너비의 Best값을 사용자의 편의를 위해 4:4 또는 3:4로 설정할 수 있으나, 제 2 비율은 이에 국한되는 것은 아니며, 디스플레이의 설정값에 따라 그 비율은 변경될 수 있다. The device may set the best value of the height: width of the second ratio to 4:4 or 3:4 for user convenience, but the second ratio is not limited thereto, and the ratio is changed according to the setting value of the display. Can be.
디바이스는 제2 이미지(3391)의 너비값(3380)을 획득한 후 제1이미지에서 left (3370)값을 구하여(예를 들어, 도32에서의 렌더링 동작으로 획득), 제2 이미지의 영역을 추출한다. After obtaining the
도 34는 제3 이미지의 세로방향 높이의 1/2 지점보다 상부에 제1 기준선이 위치하였을 경우, 디바이스가 이미지를 렌더링하는 예시이다. 34 is an example in which a device renders an image when a first reference line is positioned above a point of 1/2 of the height in the vertical direction of the third image.
디바이스가 제1이미지에서 제2 기준선을 기준으로 방해물 이미지를 삭제하고, 추출(crop)한 제3 이미지(3410)의 세로방향 높이의 1/2 지점(3430)보다 상부에 제1 기준선(3420)이 포함되었을 경우의 렌더링 예시이다. The device deletes the obstruction image from the first image based on the second reference line, and the
디바이스는 소실점(vanishing point, 3440)을 포함한 제1 기준선(3420)을 중심으로 제3 이미지(3410)를 상하부 이미지로 나누어 분석한다. The device analyzes the
디바이스는 상부 이미지의 세로방향 높이를 제6값(3450), 하부 이미지의 세로방향 높이를 제7값(3460)으로 설정하여, 제6값(3450)을 측정하여 획득한다. The device measures and obtains the
디바이스는 상부 이미지의 높이가 하부 이미지의 높이보다 작은 값인 경우, 상부의 높이를 기준으로 하부의 밑단 부분의 영역을 제2 이미지의 영역에서 제외시킨다.When the height of the upper image is a value smaller than the height of the lower image, the device excludes the area of the lower end portion from the area of the second image based on the height of the upper image.
상부이미지에서 제2 이미지로 추출할 영역에서 제외할 영역의 높이값을 “0”으로 설정하여, 제6값을 획득할 수 있다(Top=0). The sixth value may be obtained by setting the height value of the area to be excluded from the area to be extracted as the second image in the upper image as “0” (Top=0).
디바이스는 제3비율 (예를 들어, 2:3) 및 제6값(3450)을 기반으로 제7값을 계산하여 획득한다. The device calculates and obtains a seventh value based on a third ratio (eg, 2:3) and a
제3비율은 제1기준선을 중심으로 제6 값 대비 제 7값의 비율로서 기 설정한다. The third ratio is preset as a ratio of the seventh value to the sixth value centering on the first baseline.
디바이스는 제6값과 제7값을 더한 값을 제2 이미지의 세로방향 높이값인 제 8값(3490)으로 획득한다. The device obtains a value obtained by adding the sixth value and the seventh value as an
디바이스는 기 설정된 제2비율(예를 들어, 3:4)과 제 8값(3490)을 기반으로 제2 이미지의 너비값(3480)을 계산하여 획득한다.The device calculates and obtains the
제2비율은 제 2 이미지의 높이값 대비 너비값의 비율로 설정한다. The second ratio is set as a ratio of the width value to the height value of the second image.
디바이스는 제2 이미지(3491)의 너비값(3480)을 획득한 후 제1이미지에서 left (3470)값을 구하여(예를 들어, 도32에서의 렌더링 동작으로 획득), 제2 이미지의 영역을 획득한다. After obtaining the
도 35는 제3 이미지의 세로방향 높이의 1/2 지점보다 하부에 제1 기준선이 위치하였을 경우 디바이스가 렌더링하는 예시이다.FIG. 35 is an example of rendering by a device when a first reference line is positioned below a point of 1/2 of the height in the vertical direction of the third image.
디바이스가 제1이미지에서 제2 기준선을 기준으로 방해물 이미지를 삭제하고, 추출한(crop) 제3 이미지(3510)의 세로방향 높이의 1/2 지점(3530)보다 하부에 제1 기준선(3520)이 위치하였을 경우를 나타낸다. The device deletes the obstruction image from the first image based on the second reference line, and the
디바이스는 소실점(vanishing point, 3540)을 포함한 제1 기준선(3520)을 중심으로 제3 이미지(3510)를 상하부 이미지로 나누어 분석한다. The device analyzes the third image 3510 by dividing the third image 3510 into upper and lower images around the
디바이스는 상부 이미지의 세로방향 높이를 제1값(3550), 하부 이미지의 세로방향 높이를 제2값(3560)으로 설정하고, 제2값(3560)을 측정하여 획득한다. The device sets the vertical height of the upper image to a
디바이스는 하부 이미지의 높이가 상부 이미지의 높이보다 작은 값인 경우, 하부의 높이를 기준으로 상부의 꼭대기 부분의 영역을 제2 이미지의 영역에서 제외시킨다.When the height of the lower image is smaller than the height of the upper image, the device excludes the area of the top of the upper part from the area of the second image based on the height of the lower image.
디바이스는 기 설정된 제1비율 (예를 들어, 3:2) 에 따라, 제2값(3560)을 기반으로 제1값을 계산하여 획득한다. The device calculates and obtains a first value based on the
제1비율은 제1기준선을 중심으로 제1 값: 제 2값(상부높이: 하부높이)의 비율로 설정한다.The first ratio is set as a ratio of a first value: a second value (upper height: lower height) around the first reference line.
디바이스는 제1값과 제2값을 더한 값을 제2 이미지의 세로방향 높이값인 제 3값(3590)으로 획득한다. The device obtains a value obtained by adding the first value and the second value as a
디바이스는 기 설정된 제2비율(예를 들어, 3:4)과 제 3값(3590)을 기반으로 제2 이미지의 너비값(3580)을 계산하여 획득한다.The device calculates and obtains the
제2비율은 제 2 이미지(3591)의 높이값 대비 너비값의 비율로 설정한다.The second ratio is set as a ratio of the width value to the height value of the
디바이스는 제2 이미지(3591)의 너비값(3580)을 획득한 후 제1이미지에서 left (3570)값을 구하여(예를 들어, 도32에서의 렌더링 동작으로 획득), 제2 이미지를 추출한다. The device obtains the
도 33 내지 도 35에서 도시한 실시예들에 따른 디바이스의 렌더링 동작은 도 24 내지 도 32에서 설명한 하나 또는 그 이상의 렌더링 동작(예를 들면, 도 24의 비디오 렌더링 프로세서가 주행경로의 전방뷰(view) 이미지들을 AR 모드 내비게이션 영상으로 렌더링하는 동작)과 동일하다. The rendering operation of the device according to the embodiments shown in FIGS. 33 to 35 is one or more rendering operations described in FIGS. 24 to 32 (for example, the video rendering processor of FIG. ) Same as the operation of rendering images as AR mode navigation images).
도 24 내지 도 32에서 설명한 하나 또는 그 이상의 방법들/동작들에 대한 구체적인 설명은 생략한다.Detailed descriptions of one or more methods/operations described in FIGS. 24 to 32 will be omitted.
도 36 내지 도 37은 디바이스가 지도모드의 내비게이션 영상을 디스플레이 하는 모드에서 AR모드의 내비게이션 영상을 디스플레이 하는 모드로 전환하는 경우의 플로우 챠트이다. 36 to 37 are flow charts when a device switches from a mode displaying a navigation image in a map mode to a mode displaying a navigation image in an AR mode.
도 36은 디바이스가 세로방향의 길이가 가로방향의 길이보다 크게 설정된 디스플레이 (예를 들어, 모바일을 세워서 디스플레이)를 통하여 내비게이션 영상서비스를 제공하는 경우이다. FIG. 36 is a case in which a device provides a navigation video service through a display (eg, a mobile standing display) in which the length in the vertical direction is larger than the length in the horizontal direction.
디바이스는 지도모드의 내비게이션 영상(3610)을 디스플레이 하는 도중에 AR지원 모드를 사용자 입력신호에 의해 시작한다. The device starts the AR support mode by a user input signal while displaying the
예를 들어, 디바이스는 AR 모드 버튼(3611)을 통하여 사용자 입력신호를 수신하여, AR모드 설정(3620)을 위한 모드를 수행한다(3612). For example, the device receives a user input signal through the
디바이스의 AR모드 설정(3620)은 AR 모드 경로안내 내비게이션 영상 렌더링을 시작하기 위해 사용자 입력신호를 받는 모드이다. The AR mode setting 3620 of the device is a mode that receives a user input signal to start rendering an AR mode route guidance navigation image.
디바이스는 AR모드 내비게이션 영상 렌더링을 수행하여, 렌더링의 성공여부를 판단한다(3630).The device performs AR mode navigation image rendering and determines whether rendering is successful (3630).
디바이스는 렌더링에 성공한 것으로 판단하면(3631), AR 모드 경로안내 내비게이션 영상(3640)을 디스플레이 한다. When it is determined that rendering is successful (3631), the device displays an AR mode route
디바이스는 렌더링에 실패한 것으로 판단하면(3632), 다시 지도모드 경로안내 내비게이션 영상(3610)을 디스플레이 한다(3632). If it is determined that rendering has failed (3632), the device displays a map mode route
디바이스는 AR 모드 경로안내 내비게이션 영상(3640)을 디스플레이 하는 도중에 지도모드로의 전환을 요청하는 사용자 입력신호에 따라, 다시 지도모드 경로안내 내비게이션 영상(3610)을 제공한다(3641).While displaying the AR mode route
디바이스는 지도모드 경로안내 내비게이션 영상을 요청하는 사용자 입력신호를 지도모드 버튼(3641)을 통하여 입력받을 수 있다.The device may receive a user input signal for requesting a map mode route guidance navigation image through the
도 37은 디바이스가 내비게이션 영상 모드 전환 서비스를 세로방향의 길이가 가로방향의 길이보다 작게 설정된 디스플레이 (예를 들어, 모바일을 눕혀서 디스플레이)를 통하여 내비게이션 영상서비스를 제공하는 경우이다. 37 is a case in which a device provides a navigation video service through a display (eg, a display with a mobile lying down) in which the length in the vertical direction is set smaller than the length in the horizontal direction.
도 36과 마찬가지로 디바이스는 예를 들어, 모드전환을 요청하는 사용자 입력신호를 수신할 수 있는 버튼(3711, 3741)을 내비게이션 영상에 디스플레이 한다. Like FIG. 36, the device displays
도 38은 디바이스(예를 들면, 모바일)의 내비게이션 영상을 디스플레이하는 화면의 비율이 변경되는 경우, 내비게이션 영상을 재조정하여 렌더링하여 디스플레이하는 방법을 예시한다. 38 illustrates a method of re-adjusting and rendering a navigation image when a ratio of a screen displaying a navigation image of a device (eg, mobile) is changed.
도 38의 렌더링 방법은 도 1 내지 도 37에서 설명한 디바이스(예를 들면, 도 25의 비디오 렌더링 프로세서, 2560)가 렌더링 동작을 수행하는 것의 예시를 나타낸다. The rendering method of FIG. 38 shows an example of performing a rendering operation by the device (eg, the video rendering processor of FIG. 25, 2560) described with reference to FIGS. 1 to 37.
차량에 모바일이 설치되는 방법에 따라, 디스플레이 화면의 높이: 너비의 비율이 변화할 수 있다. Depending on how the mobile is installed in the vehicle, the ratio of the height: width of the display screen may change.
디바이스는 변경된 디스플레이 화면의 높이: 너비의 비율에 따라 제2 이미지의 높이와 너비를 재계산한다. The device recalculates the height and width of the second image according to the ratio of the changed height: width of the display screen.
디바이스는 재설정된 디스플레이 화면의 비율과 재계산된 제2 이미지의 높이를 기반으로 제2 이미지의 너비를 재계산한다. The device recalculates the width of the second image based on the reset ratio of the display screen and the recalculated height of the second image.
디바이스는 최초 촬영된 영상의 픽셀과 재계산하여 획득된 제2 이미지의 너비를 기반으로 left값을 획득하여 제2 이미지를 재추출(re-Crop)하는 프로세스를 수행한다. The device performs a process of re-cropping the second image by obtaining a left value based on a pixel of the first captured image and a width of the second image obtained by recalculating.
디바이스가 제2 이미지를 재추출하는 프로세스를 시작하는 조건은 예를 들어, 모바일이 도 38(b)와 같이 기 설정된 특정 범위 내에 포함되는 각도로 기울어지는 경우이다. A condition in which the device starts the process of re-extracting the second image is, for example, when the mobile is inclined to an angle within a predetermined specific range as shown in FIG. 38(b).
예를 들어, 도 38(a)에서 모바일이 y축을 중심으로 설정된 기준선(3810)이 시계방향(3820) 또는 반시계 방향(3830)으로 회전 또는 기울어져 도38(b)와 같이 기 설정된 각도범위(a, b)에 포함되는 경우이다. For example, in Fig. 38(a), the
디바이스는 설정된 각도범위(a, b) 내에 기준선(3810)이 x축과 이루는 각도가 포함되면, 제2 이미지를 재추출하는 프로세스를 시작하도록 설정될 수 있다. The device may be set to start a process of re-extracting the second image when the angle formed by the
마찬가지로, x축과 z축에 대해서도 각도범위를 설정하여 모바일의 기준선이 각도범위 내로 포함되면, 디바이스가 제2 이미지를 재추출하는 프로세스를 시작하도록 설정될 수 있다. Likewise, when an angular range is set for the x-axis and z-axis so that the mobile reference line falls within the angular range, the device may be set to start a process of re-extracting the second image.
모바일이 회전 또는 기울어지는 것은 디바이스의 센서에 의해 디텍트될 수 있다. The rotation or tilt of the mobile can be detected by a sensor of the device.
디바이스가 제2 이미지를 재추출하는 프로세스를 시작하는 설정 각도범위(a, b)는 디바이스에 따라 또는 사용자의 선택에 따라, 그 설정값이 변경될 수 있다. The set angle ranges (a, b) at which the device starts the process of re-extracting the second image may be changed according to the device or according to the user's selection.
도 38에서 도시한 실시예들에 따른 디바이스의 렌더링 동작은 도 24 내지 도 37에서 설명한 하나 또는 그 이상의 렌더링 동작(예를 들면, 도 24의 비디오 렌더링 프로세서가 주행경로의 전방뷰(view) 이미지들을 AR 모드에 맞춰 렌더링하는 동작)과 동일하다. The rendering operation of the device according to the embodiments illustrated in FIG. 38 is performed by one or more rendering operations described in FIGS. 24 to 37 (for example, the video rendering processor of FIG. It is the same as the operation of rendering according to the AR mode).
도 24 내지 도 37에서 설명한 하나 또는 그 이상의 방법들/동작들에 대한 구체적인 설명은 생략한다.Detailed descriptions of one or more methods/operations described in FIGS. 24 to 37 will be omitted.
도 39는 실시예들에 따른 디바이스의 제어 방법을 도시한 플로우 차트(3900)이다.39 is a
도 39는 도 24 내지 도 38에서 설명한 실시예들에 따른 디바이스가 내비게이션 영상을 렌더링하여 제공하는 방법을 나타낸 플로우 다이어그램(3900)을 나타낸다.39 is a flow diagram 3900 illustrating a method of rendering and providing a navigation image by a device according to the embodiments described with reference to FIGS. 24 to 38.
실시예들에 따른 내비게이션 기능이 탑재된 디바이스(또는 디바이스의 컨트롤러(2530))는 구동을 시작하여(3911), 내비게이션 기능을 실행한다(3910). The device (or the
디바이스(예를 들면, 도 25의 디바이스(2500))는 모바일 또는 핸드폰(이하, 모바일 디바이스)를 포함한다. The device (for example, the
실시예들에 따른 디바이스(또는 디바이스의 카메라(2540))는 모바일 디바이스 주변의 제1 이미지를 캡쳐한다(3920).The device (or the
실시예들에 따른 디바이스(또는 디바이스의 비디오 렌더링 프로세서(2560))는 캡쳐된 제1 이미지에서 추출된 복수개의 기준선들을 기초로 하여, 제2 이미지를 생성하는 렌더링 단계를 수행하며(3930), 제2 이미지는 차량 내부 및 외부 오브젝트 이미지를 포함하지 않는다.The device (or the
실시예들에 따른 디바이스(또는 디바이스의 비디오 렌더링 프로세서(2560))는 제2 기준선을 기반으로 차량 내외부의 오브젝트 이미지를 삭제하여 제3 이미지를 획득한다(3940). The device (or the
복수개의 기준선들 중 제2 기준선은 차선을 가리는 차량 내외부의 오브젝트 이미지의 경계선을 포함한다.Among the plurality of reference lines, the second reference line includes a boundary line of an object image inside and outside the vehicle that covers the lane.
실시예들에 따른 디바이스(또는 디바이스의 비디오 렌더링 프로세서(2560))는 제1 기준선이 제3 이미지의 ½ 지점에 위치하는지, 또는 ½지점보다 상부, 또는 하부에 위치하는지 디텍트하여, AR모드 영상(제2 이미지)의 높이값을 계산한다(3950). The device (or the
복수개의 기준선들 중 제1 기준선은 소실점을 포함한다.Among the plurality of reference lines, the first reference line includes a vanishing point.
실시예들에 따른 디바이스(또는 디바이스의 컨트롤러(2530))는 제2 이미지의 높이값과 디스플레이할 화면의 높이:너비의 best 비율에 따라 제2 이미지의 너비를 계산한다(3960).The device (or the
실시예들에 따른 디바이스(또는 디바이스의 컨트롤러(2530))는 제2 이미지의 너비값과 제1 이미지를 캡쳐할때의 설정된 픽셀값을 기반으로 left값을 획득한다(3970).The device (or the device controller 2530) according to the embodiments obtains the left value based on the width value of the second image and the pixel value set when capturing the first image (3970).
실시예들에 따른 디바이스(또는 디바이스의 비디오 렌더링 프로세서(2560))는 제2 이미지를 추출(Crop)하여 디스플레이 한다(3980).The device according to the embodiments (or the
실시예들에 따른 XR 컨텐트 제공 디바이스(또는 제어부(2530))는 도 24 내지 도 37에서 설명한 하나 또는 그 이상의 방법들/동작들 중 적어도 하나 이상을 수행 한다. An XR content providing device (or controller 2530) according to embodiments performs at least one or more of the one or more methods/operations described in FIGS. 24 to 37.
도 24 내지 도 37에서 설명한 하나 또는 그 이상의 방법들/동작들에 대한 구체적인 설명은 생략한다. Detailed descriptions of one or more methods/operations described in FIGS. 24 to 37 will be omitted.
도 40 내지 도 41은 실시예들에 따른 디바이스가 제 2 기준선을 DNN(Neural Network) 등의 알고리즘으로 자동으로 계산하여 내비게이션 영상을 렌더링하는 방법을 나타낸 플로우챠트(4000) 및 도면이다. 40 to 41 are
도 40의 렌더링 방법은 도 1 내지 도 39에서 설명한 디바이스(예를 들면, 도 25의 비디오 렌더링 프로세서, 2560)가 렌더링 동작을 수행하는 것의 예시를 나타낸다. The rendering method of FIG. 40 illustrates an example of performing a rendering operation by the device (eg, the video rendering processor of FIG. 25, 2560) described with reference to FIGS. 1 to 39.
실시예들에 따른 디바이스는 내비게이션 기능의 실행을 시작한다.The device according to the embodiments starts execution of the navigation function.
디바이스는 예를 들어, 내비게이션 영상의 렌더링을 위한 프로세스를 시작한다(4010).The device starts a process for rendering, for example, a navigation image (4010).
디바이스는 AI(인공지능) 알고리즘의 DNN방식을 사용하여 카메라로 촬영한 프리뷰 이미지(Preview 주행 영상 이미지)에서 전방 시야의 장애물을 탐색할 수 있다.The device can search for obstacles in the front field of view from the preview image (preview driving video image) taken with the camera using the DNN method of the AI (artificial intelligence) algorithm.
전방 시야의 장애물은 보닛 또는 대쉬보드의 이미지를 포함할 수 있다. Obstacles in the forward field of view may include images of the bonnet or dashboard.
디바이스는 전방 시야의 장애물을 탐색하기 위하여, AI(인공지능) 알고리즘의 DNN(심층신경망) 의 딥러닝(Deep Learning)을 이용한다. The device uses Deep Learning of DNN (Deep Neural Network) of AI (Artificial Intelligence) algorithm to search for obstacles in the forward field of view.
디바이스는 프리뷰 이미지에서 보닛 또는 대쉬보드의 위치(position)를 추출한다(예를 들면, 도 41의 4111). The device extracts the position of the bonnet or dashboard from the preview image (for example, 4111 in FIG. 41).
디바이스는 주행영상 이미지에서 보닛 이미지의 포지션(Bonnet Position)을 이용하여 크롭할 영역의 높이(Crop Height, 예를 들어, 도 41의 4113)를 설정한다(Crop Height = Bonnet Position) (4011). The device sets the height of the area to be cropped (Crop Height, for example, 4113 in Fig. 41) using the bonnet position in the driving image image (Crop Height = Bonnet Position) 4011.
디바이스는 프리뷰 이미지의 높이(height)와 보닛 이미지의 포지션의 비율(diff)을 계산한다(diff =Preview Height / Bonnet Position)(4012)The device calculates the ratio of the height of the preview image to the position of the bonnet image (diff =Preview Height / Bonnet Position) (4012).
디바이스는 크롭(crop)영역의 너비(width)를 획득하기 위하여, 프리뷰 이미지의 높이(height)와 보닛 이미지의 포지션의 비율(diff) 및 프리뷰 이미지의 너비를 이용하여 계산한다(Crop Width = Preview Width * diff)(4013).In order to obtain the width of the crop area, the device calculates by using the height of the preview image and the ratio of the position of the bonnet image (diff) and the width of the preview image (Crop Width = Preview Width). * diff)(4013).
디바이스는 크롭영역의 너비의 오프셋(Width offset)을 프리뷰 이미지의 너비와 크롭너비를 이용하여 계산한다(Width offset = (Preview Width - Crop Width) /2)(4014). The device calculates the offset of the width of the crop region using the width and crop width of the preview image (Width offset = (Preview Width-Crop Width) /2) (4014).
크롭영역의 너비의 오프셋은 프리뷰 이미지에서 크롭영역을 추출할 때 좌측에 이격되는 너비의 길이를 포함한다(예를 들면, 도 41의 4124). The offset of the width of the crop region includes the length of the width spaced apart from the left when the crop region is extracted from the preview image (for example, 4124 in FIG. 41).
디바이스는 획득한 값들을 크롭할 영역의 left, top값으로 적용하여 이미지를 추출한다(Crop Left = Width offset, Crop Top = 0)(4015). The device extracts an image by applying the acquired values as the left and top values of the area to be cropped (Crop Left = Width offset, Crop Top = 0) (4015).
디바이스는 크롭할 영역의 top값으로 “0”을 설정할 수 있다. 예를 들면, 도 41(b)에서 프리뷰 이미지의 최상단부를 크롭할 영역의 최상단부로 설정한다. The device can set “0” as the top value of the area to be cropped. For example, in Fig. 41(b), the uppermost end of the preview image is set as the uppermost end of the cropped area.
디바이스는 크롭할 영역의 유효성을 검증한다(4016).The device verifies the validity of the area to be cropped (4016).
디바이스는 유효성 검증 결과가 성공적이라고 판단하면, 크롭할 영역을 프리뷰 이미지 크기의 비율에 맞춰 사이즈를 확대(scale up)하여 크롭을 적용한다(4017). When the device determines that the validation result is successful, the device scales up the area to be cropped according to the ratio of the preview image size and applies the crop (4017).
디바이스는 크롭한 영역의 이미지를 프리뷰 이미지의 크기만큼 확대하여 내비게이션 영상 이미지로 설정한다(예를 들면, 도 41(b)의 4120을 도 41(c)의 4130 으로 확대).The device enlarges the image of the cropped area by the size of the preview image and sets it as a navigation image (for example, 4120 in FIG. 41(b) is enlarged to 4130 in FIG. 41(c)).
디바이스는 유효성 검증 결과가 성공적이지 못하다고 판단하면, 크롭할 영역에 디폴트로 설정된 값을 적용하여 크롭을 적용한다(4019). If the device determines that the validation result is unsuccessful, the device applies the crop by applying a default value to the area to be cropped (4019).
디바이스는 내비게이션 영상 렌더링을 종료한다(4018, 4020) The device ends the rendering of the navigation image (4018, 4020).
도 41(a) 내지 도 41(c)는 도 40의 디바이스의 내비게이션 영상을 렌더링하는 동작을 나타낸 도면이다. 41A to 41C are diagrams illustrating an operation of rendering a navigation image of the device of FIG. 40.
도 41(a)는 도 40의 디바이스의 렌더링 동작(4011)에 따라, 디바이스가 보닛 또는 대쉬보드의 위치(position)(4111, 4121)를 추출하여, 크롭할 영역의 높이(4113)를 설정하는 것을 나타낸다. FIG. 41(a) shows that according to the
도 41(b)는 도 40의 디바이스의 렌더링 동작(4012, 4013)에 따라, 크롭(crop)영역의 너비(width)(4112, 4122)를 획득하는 것을 나타낸다. FIG. 41(b) illustrates obtaining the
디바이스는 프리뷰 이미지의 높이(height, 4114)와 보닛 이미지의 포지션(Bonnet Position, 4113) 의 비율(diff)을 계산한다(diff =Preview Height/ Bonnet Position).The device calculates the ratio (diff) between the height of the preview image (height, 4114) and the position of the bonnet image (Bonnet Position, 4113) (diff = Preview Height/ Bonnet Position).
디바이스는 크롭(crop)영역의 너비(width)(4122)를 획득하기 위하여, 프리뷰 이미지의 높이(height, 4114)와 보닛 이미지의 포지션(4113, 4123)의 비율(diff)과 프리뷰 이미지의 너비(4115)를 이용하여 계산한다(Crop Width = Preview Width * diff).In order to obtain the width (4122) of the crop area, the device has the ratio (diff) of the height of the preview image (height, 4114) and the positions of the bonnet image (4113, 4123) and the width of the preview image ( 4115) (Crop Width = Preview Width * diff).
디바이스는 크롭영역의 너비의 오프셋(Width offset, 4124)을 프리뷰 이미지의 너비(4115)와 크롭너비(4122)를 이용하여 계산한다(Width offset = (Preview Width - Crop Width)/2).The device calculates the offset of the width of the crop region (Width offset, 4124) using the width of the
디바이스는 획득한 값들을 크롭할 영역(4120)의 left, top값으로 적용하여 이미지를 추출한다(Crop Left = Width offset, Crop Top = 0).The device extracts an image by applying the acquired values as the left and top values of the area to be cropped 4120 (Crop Left = Width offset, Crop Top = 0).
디바이스는 크롭할 영역의 top값으로 “0”을 설정할 수 있다. The device can set “0” as the top value of the area to be cropped.
도 41(b)에서 프리뷰 이미지(4110)의 최상단부를 크롭할 영역(4120)의 최상단부로 설정한다.In FIG. 41(b), the uppermost end of the
디바이스는 크롭할 영역의 유효성을 검증하여 성공적이라고 판단하면, 크롭할 영역(4120)을 프리뷰 이미지 크기의 비율에 맞춰 화살표 방향으로(4125) 사이즈를 확대(scale up)하여, 프리뷰 이미지와 동일한 크기로 확대하여(4130) 크롭을 적용한다.If the device verifies the validity of the area to be cropped and determines that it is successful, the device scales up the area to be cropped 4120 in the direction of the arrow (4125) in accordance with the ratio of the size of the preview image to be the same size as the preview image. Zoom in (4130) and apply the crop.
도 40 내지 도 41의 실시예들에 따른 디바이스의 렌더링 동작은 도 24 내지 도 39에서 설명한 하나 또는 그 이상의 렌더링 동작(예를 들면, 도 24의 비디오 렌더링 프로세서가 주행경로의 전방뷰(view) 이미지들을 AR 모드 내비게이션 영상으로 렌더링하는 동작)과 동일하다. The rendering operation of the device according to the embodiments of FIGS. 40 to 41 is one or more rendering operations described in FIGS. 24 to 39 (for example, the video rendering processor of FIG. 24 It is the same as the operation of rendering the audio as an AR mode navigation image).
도 24 내지 도 39에서 설명한 하나 또는 그 이상의 방법들/동작들에 대한 구체적인 설명은 생략한다. Detailed descriptions of one or more methods/operations described in FIGS. 24 to 39 will be omitted.
도 24 내지 도 41에서 설명한 바와 같이 디바이스의 구성요소는 메모리와 결합된 하나 또는 그 이상의 프로세서들로 구성될 수 있으며, 하나 또는 그 이상의 컨트롤러들은 메모리에 저장된 인스트럭션들을 실행하여 도 24 내지 도 41에서 설명한 디바이스의 동작을 수행한다. 구체적인 내용은 도 24 내지 도 41에서 설명한 바와 동일하므로 자세한 설명은 생략한다.As described with reference to FIGS. 24 to 41, the device component may be composed of one or more processors coupled with a memory, and one or more controllers execute instructions stored in the memory to be described with reference to FIGS. 24 to 41. Performs the operation of the device. Since detailed contents are the same as those described with reference to FIGS. 24 to 41, detailed descriptions are omitted.
본 발명의 실시예들에 따른 디바이스의 동작들을 수행하기 위한 실행 가능한 인스트럭션(instruction)들은 하나 또는 그 이상의 프로세서들에 의해 실행되기 위해 구성된 일시적이지 않은 CRM 또는 다른 컴퓨터 프로그램 제품들에 저장될 수 있거나, 하나 또는 그 이상의 프로세서들에 의해 실행되기 위해 구성된 일시적인 CRM 또는 다른 컴퓨터 프로그램 제품들에 저장될 수 있다. 또한 본 발명의 실시예들에 따른 메모리는 휘발성 메모리(예를 들면 RAM 등)뿐 만 아니라 비휘발성 메모리, 플래쉬 메모리, PROM등을 전부 포함하는 개념으로 사용될 수 있다.Executable instructions for performing the operations of the device according to embodiments of the present invention may be stored in a non-transitory CRM or other computer program products configured to be executed by one or more processors, or It may be stored in a temporary CRM or other computer program products configured for execution by one or more processors. Further, the memory according to the embodiments of the present invention may be used as a concept including not only volatile memory (for example, RAM, etc.) but also non-volatile memory, flash memory, and PROM.
도 1 내지 도 41에서 설명한 본 발명의 실시예들에 따른 디바이스의 구성요소들은 각각 별도의 하드웨어(예를 들면 칩, 하드웨어 회로, 통신 가능한 디바이스 등)으로 구성될 수도 있고 하나의 하드웨어로 구성될 수도 있다. 또한 본 발명의 실시예들에 따른 디바이스의 구성요소들 중 적어도 하나 이상은 프로그램을 실행 할 수 있는 하나 또는 그 이상의 프로세서들로 구성될 수 있다.The components of the device according to the embodiments of the present invention described in FIGS. 1 to 41 may be configured as separate hardware (eg, a chip, a hardware circuit, a communication capable device, etc.) or may be configured as one hardware. have. In addition, at least one or more of the components of the device according to the embodiments of the present invention may be composed of one or more processors capable of executing a program.
도 42는 본 발명의 실시예에 따른 이동 단말기의 블럭도이다.42 is a block diagram of a mobile terminal according to an embodiment of the present invention.
도 42를 참조하면, 이동 단말기(100)는, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등이 포함될 수 있다. Referring to FIG. 42, the
이동 단말기(100)는, 차량에 거치된 상태로 증강 현실 내비게이션 화면을 제공할 수 있다. 이동 단말기(100)는, 디스플레이(151)가 차량의 캐빈을 향하고, 적어도 하나의 카메라(121)가 차량의 전방을 향하도록 차량 내부에 거치될 수 있다.The
이동 단말기(100)는, 무선 통신부(110) 적어도 하나의 카메라(121), 자이로스코프 센서(143), 가속도 센서(144), 디스플레이(151), 메모리(170), 적어도 하나의 프로세서(180) 및 전원 공급부(190)를 포함할 수 있다. The
이동 단말기(100)는, 방송 수신 모듈, 이동 통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈 및 위치 정보 모듈을 포함하는 무선 통신부를 더 포함할 수 있다. 이동 단말기(100)는, 마이크로폰, 사용자 입력부를 포함하는 입력부를 더 포함할 수 있다. 실시예에 따라, 카메라(121)는, 입력부의 하위 구성으로 분류될 수 있다. 이동 단말기(100)는, 근접 센서, 조도 센서를 포함하는 센싱부를 더 포함할 수 있다. 이동 단말기(100)는, 음향 출력부, 햅틱 모듈, 광출력부를 포함하는 출력부를 포함할 수 있다. 실시예에 따라, 디스플레이(151)는, 출력부의 하위 구성으로 분류될 수 있다. 이동 단말기(100)은, 다른 장치와의 전원 또는 데이터를 교환하기 위한 인터페이스부를 더 포함할 수 있다.The
무선 통신부(110)는, 이동 단말기(100)와 무선 통신 시스템 사이, 이동 단말기(100)와 다른 이동 단말기(100) 사이, 또는 이동 단말기(100)와 외부서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 무선 통신부(110)는, 이동 단말기(100)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.The
무선 통신부(110)는, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced, 5G) 등)에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다.The
카메라(121)는, 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리할 수 있다. 처리된 화상 프레임은 디스플레이부(151)에 표시되거나 메모리(170)에 저장될 수 있다. 카메라(121)는 카메라 센서(예를 들어, CCD, CMOS 등), 포토 센서(또는 이미지 센서) 및 레이저 센서 중 적어도 어느 하나를 포함한다.The
카메라(121)는, 차량의 전방 영상을 획득할 수 있다. 획득된 차량의 전방 영상은 메모리(170)에 저장되거나 프로세서(180)에 전송될 수 있다. 카메라(121)는, 프로세서(180)에서 생성되는 제어 신호에 기초하여 활성화되거나 비활성화될 수 있다.The
카메라(121)는, 제1 카메라 및 제2 카메라를 포함할 수 있다.The
제1 카메라는, 차량의 전방 영상을 획득할 수 있다. 제1 카메라는 제2 카메라에 비해 협각 영상을 획득할 수 있다. 제1 카메라는 제2 카메라 주변에 배치될 수 있다. 제1 카메라는, 프로세서(180)에서 생성되는 제어 신호에 기초하여 활성화되거나 비활성화될 수 있다.The first camera may acquire a front image of the vehicle. The first camera may acquire a narrow angle image compared to the second camera. The first camera may be disposed around the second camera. The first camera may be activated or deactivated based on a control signal generated by the
제2 카메라는, 차량의 전방 영상을 획득할 수 있다. 제2 카메라는 비활성화된 상태에서, 프로세서(180)의 요청 신호에 따라 활성화되어 전방 영상을 획득할 수 있다. 제2 카메라는, 제1 카메라에 비해 광각 영상을 획득할 수 있다. 제2 카메라는, 프로세서(180)에서 생성되는 제어 신호에 기초하여 활성화되거나 비활성화될 수 있다.The second camera may acquire a front image of the vehicle. In a deactivated state, the second camera may be activated according to a request signal from the
자이로스코프 센서(gyroscope sensor)(143)는, 이동 단말기(100)가 이동 단말기(100)의 각속도를 측정할 수 있다. 자이로스코프 센서(143)는, 측정된 각속도에 기초하여, 제1 센싱 데이터를 생성할 수 있다.The
가속도 센서(acceleration sensor)(144)는, 이동 단말기(100)의 가속도를 측정할 수 있다. 가속도 센서(144)는, 측정된 가속도에 기초하여, 제2 센싱 데이터를 생성할 수 있다.The
디스플레이(151)는, 이동 단말기(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 디스플레이부(151)는 이동 단말기(100)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다. The
디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.The
또한, 디스플레이부(151)는 이동 단말기(100)의 구현 형태에 따라 2개 이상 존재할 수 있다. 이 경우, 이동 단말기(100)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.In addition, two or
디스플레이부(151)는 터치 방식에 의하여 제어 명령을 입력 받을 수 있도록, 디스플레이부(151)에 대한 터치를 감지하는 터치센서를 포함할 수 있다. 이를 이용하여, 디스플레이부(151)에 대하여 터치가 이루어지면, 터치센서는 상기 터치를 감지하고, 프로세서(180)는 이에 근거하여 상기 터치에 대응하는 제어명령을 발생시키도록 이루어질 수 있다. 터치 방식에 의하여 입력되는 내용은 문자 또는 숫자이거나, 각종 모드에서의 지시 또는 지정 가능한 메뉴항목 등일 수 있다. 이처럼, 디스플레이부(151)는 터치센서와 함께 터치 스크린을 형성할 수 있으며, 이 경우에 터치 스크린은 사용자 입력부로 기능할 수 있다. The
메모리(170)는, 이동 단말기(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(170)는 이동 단말기(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 이동 단말기(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 이동 단말기(100)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 이동 단말기(100)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(170)에 저장되고, 이동 단말기(100) 상에 설치되어, 프로세서(180)에 의하여 상기 이동 단말기의 동작(또는 기능)을 수행하도록 구동될 수 있다.The
메모리(170)는 프로세서(180)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 상기 메모리(170)는 상기 터치 스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.The
메모리(170)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 이동 단말기(100)는 인터넷(internet)상에서 상기 메모리(170)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작될 수도 있다.The
프로세서(180)는, 카메라(121), 자이로스코프 센서(143), 가속도 센서(144), 디스플레이(151), 메모리(170) 및 전원 공급부(190)와 전기적으로 연결되어 신호를 교환할 수 있다. 프로세서(180)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 프로세서(180)는, 전원 공급부(190)로부터 제공되는 전원에 의해 구동될 수 있다. The
프로세서(180)는, 이동 단말기(100)의 전반적인 동작을 제어한다. 프로세서(180)는 위에서 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(170)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.The
프로세서(180)는, 차량의 전방 영상을 수신할 수 있다. The
프로세서(180)는, 전방 영상을 캘리브레이션할 수 있다.The
프로세서(180)는, 전방 영상을 크로핑(cropping)함으로써, 캘리브레이션을 수행할 수 있다. 전방 영상에는 내비게이션 화면 구성에 불필요한 영역들이 존재할 수 있다. 프로세서(180)는, 이러한 불필요한 영역들을 제거할 수 있다. 프로세서(180)는, 전방 영상에서 차량의 적어도 일부가 위치하는 제1 영역을 크로핑할 수 있다. 여기서, 차량의 적어도 일부는, 본네트, 루프, A 필러, 대시 보드 및 거치대 중 적어도 어느 하나를 포함할 수 있다. 프로세서(180)는, 히스토그램을 이용한 영상 처리에 기초하여, 제1 영역을 크로핑할 수 있다.The
프로세서(180)는, 크로핑된 영역에, 내비게이션 관련 정보를 출력할 수 있다. 예를 들면, 프로세서(180)는, 크로핑된 영역에, 시간 정보, 위치 정보, 주행중인 도로의 정보, 출발지 정보, 출발 시간 정보, 목적지 정보, 목적지까지 남은 거리 정보, 목적지까지 남은 시간 정보 및 도착 예정 시간 정보 중 적어도 어느 하나를 표시할 수 있다.The
프로세서(180)는, 광각 영상을 이용함으로써, 캘리브레이션을 수행할 수 있다. 프로세서(180)는, 제1 카메라에 의해 획득된 전방 영상에서 검출 가능한 소실점(vanishing point)을 지나는 수평선 및 상기 소실점을 지나는 수직선 중 적어도 어느 하나에 기초하여, 전방 영상의 상하좌우의 밸런스를 판단할 수 있다. 프로세서(180)는, 전방 영상의 상하좌우의 밸런스에 기초하여, 제2 카메라에 의해 획득되는 광각 영상의 활용여부를 결정할 수 있다. 프로세서(180)는, 제1 카메라에 의해 획득된 전방 영상에서 검출된 제1 오브젝트에 대응되는 전방 영상의 일지점에 제1 AR 그래픽 객체를 오버레이할 수 있다. 프로세서(180)는, 전방 영상에서 제1 AR 그래픽 객체의 위치에 기초하여, 광각 영상의 활용여부를 결정할 수 있다.The
프로세서(180)는, 전방 영상에서 검출 가능한 소실선(vanishing line)의 위치를 조정함으로써 캘리브레이션을 수행할 수 있다. 프로세서(180)는, 전방 영상에서 검출 가능한 좌우 방향의 소실선(vanishing line)을 내비게이션 화면의 상하 방향의 가운데에 위치시킬 수 있다.The
프로세서(180)는, 이동 단말기(100)의 거치 기울기값을 보상함으로써 캘리브레이션을 수행할 수 있다. 프로세서(180)는, 자이로스코프 센서(143)로부터 수신된 제1 센싱 데이터 및 가속도 센서(144)로부터 수신된 제2 센싱 데이터에 기초하여, 거치 기울기값을 판단할 수 있다. 프로세서(180)는, 내비게이션 화면에 거치 기울기값을 보상할 수 있다. 프로세서(180)는, 제1 센싱 데이터 및 제2 센싱 데이터를 칼만필터를 이용하여 보상할 수 있다. 실시예에 따라, 프로세서(180)는, 지자기 센서 및 온도 센서에서 수신되는 데이터에 더 기초하여 거치 기울기값을 판단할 수 있다. 실시예에 따라, 프로세서(180)는, 중력 센서로부터 수신되는 제3 센싱 데이터에 기초하여, 거치 기울기값을 판단하고, 보상할 수 있다.The
프로세서(180)는, 증강 현실 내비게이션 화면이 디스플레이(151)에 표시되도록, 증강 현실 내비게이션 애플리케이션을 구동할 수 있다. 증강 현실 내비게이션 화면은, 적어도 하나의 AR(Augmented Reality) 그래픽 객체 및 캘리브레이션된 전방 영상을 포함할 수 있다.The
프로세서(180)는, 사용자 입력부를 통해, 홈 버튼 입력 신호 및 다른 애플리케이션 실행 입력 신호 중 적어도 어느 하나를 수신할 수 있다. 이경우, 프로세서(180)는, 전방 영상 획득이 중단되도록 카메라(121)를 비활성화할 수 있다. 프로세서(180)는, 증강 현실 내비게이션 애플리케이션을 백그라운드로 구동할 수 있다. 이와 같은 제어를 통해, 불필요하게 전방 영상을 획득하여 처리하면서 발생되는 배터리 낭비 및 프로세싱 파워의 낭비를 막을 수 있다.The
프로세서(180)는, 전방 영상을 처리하거나 차량으로부터 신호를 수신함으로써, 차량의 정지 상태 정보를 획득할 수 있다. 프로세서(180)는, 차량의 정지 상태 정보를 획득하는 경우, 카메라(121)를 비활성화할 수 있다. 이경우, 프로세서(180)는, 전방 영상과 AR 그래픽 객체가 제외된 내비게이션 화면이 표시되도록 증강 현실 내비게이션 애플리케이션을 구동할 수 있다. 프로세서(180)는, 전방 영상을 처리하거나 차량으로부터 신호를 수신함으로써, 차량의 정지 상태 이후 차량의 이동 상태 정보를 획득할 수 있다. 프로세서(180)는, 차량의 정지 상태 이후 차량의 이동 상태 정보를 획득하는 경우, 카메라(121)를 활성화할 수 있다. 프로세서(180)는, 카메라(121)의 비화성화 이전의 캘리브레이션 데이터에 기초하여, 활성화된 카메라로부터 획득된 전방 영상을 캘리브레이션할 수 있다.The
프로세서(180)는, 무선 통신부(110)를 통해, 서버로부터 신호, 정보 및 데이터 중 적어도 어느 하나를 수신할 수 있다. 프로세서(180)는, 서버로부터 증강 현실 내비게이션 애플리케이션 데이터를 수신할 수 있다. The
프로세서(180)는, 서버로부터 길안내 정보를 수신하고, 길안내 정보에 기초하여 내비게이션 애플리케이션을 구동할 수 있다. 길안내 정보는 맵 데이터 및 AR 그래픽 객체를 포함할 수 있다.The
프로세서(180)는, 서버로부터 맵 데이터를 수신할 수 있다. 맵 데이터는, SD(standard definition) 맵 데이터 및 HD(high definition) 맵 데이터 중 적어도 어느 하나를 포함할 수 있다. 프로세서(180)는, 특정 시점에 전체 맵 데이터를 다운로드하여 메모리(170)에 저장하여 이용할 수 있다. 프로세서(180)는, 기 설정된 주가로 전체 맵 데이터 중 일부의 데이터만 다운로드하여, 메모리(170)에 저장 후 일시적으로 이용할 수 있다. 이용 완료된 맵 데이터는 삭제될 수 있다. 프로세서(180)는, 서버로부터 AR 그래픽 객체(예를 들면, AR 인디케이터) 데이터를 수신할 수 있다.The
프로세서(180)는, 설정된 경로에 기초하여 전체 맵 데이터 중 일부의 데이터만 다운로드하여, 메모리(170)에 저장 후 일시적으로 이용할 수 있다. 프로세서(180)는, 사용자에 의해 입력된 목적지에 의해 생성된 경로에 대응되는 맵 데이터를 수신하고, 수신된 맵 데이터를 메모리(170)에 저장할 수 있다. 프로세서(170)는, 맵 데이터와 함께 경로에 대응되는 AR 그래픽 객체를 수신하고, 수신된 AR 그래픽 객체를 메모리(170)에 저장할 수 있다. 프로세서(170)는, 메모리(170)에 저장된 맵 데이터 및 AR 그래픽 객체를 이용한 후 삭제할 수 있다.The
프로세서(180)는, 서버로부터 수신된 길안내 정보에 기초하여 내비게이션 구동 중에 길안내 정보가 업데이트 되는 경우, 업데이트된 길안내 정보를 수신하여 내비게이션 애플리케이션을 구동할 수 있다. 프로세서(180)는, 업데이트된 길안내 정보에 따라, 기 설정된 경로를 변경할 수 있다.When the directions information is updated while driving the navigation based on the directions information received from the server, the
프로세서(180)는, 실시간으로 주행 예상 경로에 대응되는 길안내 정보를 수신할 수 있다. 프로세서(180)는, 통신 세기에 따라 주행 예상 경로 포함된 구간 에 해당되는 길안내 정보의 수신량을 조정할 수 있다. 예를 들면, 프로세서(180)는, 통신 세기가 제1 기준값 이상인 경우, 상대적으로 긴 구간에 해당되는 길안내 정보를 수신할 수 있다. The
실시예에 따라 후술하는 복수의 서피스(내비게이션 맵 서피스, AR 카메라 서피스, AR GUI 서피스 및 내비게이션 GUI 서피스)는 서버에서 생성될 수 있다. 프로세서(180)는, 복수의 서피스를 서버로부터 수신하여 내비게이션 화면을 구성할 수 있다. 프로세서(180)는, 통신 세기에 따라 수신하는 서피스(surface)의 개수를 조정할 수 있다. 예를 들면, 프로세서(180)는, 통신 세기가 약한 경우, 내비게이션 GUI 서피스만 수신하다가 통신 세기가 점점 강해지면 AR GUI 서피스를 추가로 수신할 수 있다.According to an embodiment, a plurality of surfaces (a navigation map surface, an AR camera surface, an AR GUI surface, and a navigation GUI surface) to be described later may be generated in a server. The
프로세서(180)는, 서버에서 처리된 AR 그래픽 정보를 수신하고, 수신된 AR 그래픽 정보에 기초하여 AR 인디케이터를 출력할 수 있다. 증강현실 내비게이션 애플리케이션에 의해 기 설정된 POI(Point of interest)가 존재하는 경우, 프로세서(180)는, AR 길안내시, AR 인디케이터를 부가적으로 표시할 수 있다. 프로세서(180)는, POI 정보를 서버로부터 실시간으로 수신할 수 있다. 프로세서(180)는, POI 정보 수신시, POI에 대응하는 AR 인디케이터를 함께 수신할 수 있다.The
전원 공급부(190)는, 프로세서(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가 받아 각 구성요소들의 동작에 필요한 전원을 공급한다. 전원공급부(190)는 배터리를 포함하며, 배터리는 충전 가능하도록 이루어지는 내장형 배터리가 될 수 있으며, 충전 등을 위하여 단말기 바디에 착탈 가능하게 결합될 수 있다. 전원공급부(190)는 연결포트를 구비할 수 있으며, 연결포트는 배터리의 충전을 위하여 전원을 공급하는 외부 충전기가 전기적으로 연결되는 인터페이스(160)의 일 예로서 구성될 수 있다.The
다른 예로서, 전원공급부(190)는 상기 연결포트를 이용하지 않고 무선방식으로 배터리를 충전하도록 이루어질 수 있다. 이 경우에, 전원공급부(190)는 외부의 무선 전력 전송장치로부터 자기 유도 현상에 기초한 유도 결합(Inductive Coupling) 방식이나 전자기적 공진 현상에 기초한 공진 결합(Magnetic Resonance Coupling) 방식 중 하나 이상을 이용하여 전력을 전달받을 수 있다.As another example, the
한편, 이동 단말기(100)는, 프로세서(180)에 의해 구동될 때, 복수의 단계들을 실행하는 컴퓨터 판독 가능 매체를 포함할 수 있다. 복수의 단계는, 전방 영상을 수신하는 단계, 상기 전방 영상을 캘리브레이션하는 단계 및 적어도 하나의 AR 그래픽 객체 및 상기 캘리브레이션 된 전방 영상이 포함된 증강 현실 내비게이션 화면이 디스플레이에 표시되도록, 증강 현실 내비게이션 애플리케이션을 구동하는 단계를 포함할 수 있다. 복수의 단계는 도 46를 참조하여 더욱 상세하게 설명한다.Meanwhile, the
도 43은 본 발명의 실시예에 따른 프로세서의 상세 블럭도이다.43 is a detailed block diagram of a processor according to an embodiment of the present invention.
도 44은 본 발명의 실시예에 따른 내비게이션 화면을 설명하는데 참조되는 도면이다.44 is a diagram referenced to describe a navigation screen according to an embodiment of the present invention.
도 45는 본 발명의 실시예에 따른 내비게이션 화면을 생성하는 동작을 설명하는데 참조되는 도면이다.45 is a diagram referenced for explaining an operation of generating a navigation screen according to an embodiment of the present invention.
도면을 참조하면, 프로세서(180)는, 내비게이션 엔진(Navigation Engine)(210), AR 엔진(Augmented Reality Engine)(220) 및 내비게이션 애플리케이션(Navigation Application)(230)을 포함할 수 있다.Referring to the drawing, the
내비게이션 엔진(210)은, 맵 데이터 및 GPS 데이터를 수신할 수 있다. 내비게이션 엔진(210)은, 맵 데이터 및 GPS 데이터에 기초하여 맵 매칭을 수행할 수 있다. 내비게이션 엔진(210)은, 루트 플레닝(route planning)을 수행할 수 있다. 내비게이션 엔진(210)은, 맵을 디스플레이하고, 루트 가이던스(route guidance)를 수행할 수 있다. 내비게이션 엔진(210)은, 루트 가이던스 정보를 내비게이션 애플리케이션(230)에 제공할 수 있다. 한편, 내비게이션 엔진(210)은, 내비게이션 컨트롤러(211)를 포함할 수 있다. 내비게이션 컨트롤러(211)는, 맵 매칭 데이터, 맵 디스플레이 데이터, 루트 가이던스 데이터를 수신할 수 있다. 내비게이션 컨트롤러(211)는, AR 엔진(220)에 루트 데이터, POI(point of interest) 데이터 등을 제공할 수 있다. 내비게이션 콘트롤러(211)는, 내비게이션 애플리케이션(230)에 루트 가이던스 데이터 및 맵 디스플레이 프레임을 제공할 수 있다.The
AR 엔진(220)은, 어답터(adaptor)(221) 및 렌더러(renderer)(222)를 포함할 수 있다. 어답터(221)는 카메라(121)로부터 전방 영상 데이터, 자이로스코프 센서(143)로부터 제1 센싱 데이터, 가속도 센서(144)로부터 제2 센싱 데이터를 수신할 수 있다. 실시예에 따라, 어답터는, 지자기 센서, 온도 센서 및 중력 센서 중 적어도 어느 하나로부터 센싱 데이터를 수신할 수 있다.The
캘리브레이션 팩터 데이터 베이스(calibration factor DB)에서 제공되는 데이터에 기초하여, 전방 영상에 대한 캘리브레이션을 수행할 수 있다. AR 엔진(220)은, 전방 영상 데이터 및 루트 데이터에 기초하여, 오브젝트 검출을 수행할 수 있다. AR 엔진(220)은, 예측 및 보간(Prediction & Interpolation)을 수행할 수 있다. Based on data provided from a calibration factor DB, the front image may be calibrated. The
렌더러(222)은, 루트 데이터, POI 데이터 및 예측 및 보간 결과 데이터에 기초하여 렌더링을 수행할 수 있다. 렌더러(222)는, 내비게이션 애플리케이션(230)에 AR GUI(graphical user interface) 프레임 및 AR 카메라 프레임을 제공할 수 있다.The
내비게이션 애플리케이션(230)은, 증강 현실 내비게이션 화면을 생성할 수 있다. 도 44에 예시된 바와 같이, 증강 현실 내비게이션 화면은, 내비게이션 맵 서피스(310), AR 카메라 서피스(320), AR GUI 서피스(330) 및 내비게이션 GUI 서피스(340)를 포함할 수 있다. 내비게이션 애플리케이션(230)은, 내비게이션 컨트롤러(211)에서 제공받은 맵 디스플레이 프레임에 기초하여, 내비게이션 맵 서피스(310)를 생성할 수 있다. 내비게이션 애플리케이션(230)은, 렌더러(222)로부터 제공받은 AR 카메라 프레임에 기초하여, AR 카메라 서피스(320)를 생성할 수 있다. 내비게이션 애플리케이션(230)은, 렌더러(222)로부터 제공받은 AR GUI 프레임에 기초하여, AR GUI 서피스(330)를 생성할 수 있다. 내비게이션 애플리케이션(230)은, 내비게이션 컨트롤러(211)로부터 제공받은 루트 가이던스 데이터에 기초하여, 내비게이션 GUI 서피스(340)를 생성할 수 있다. The
도 45를 참조하면, 내비게이션 애플리케이션(230)이 시작되면(S410), 내비게이션 애플리케이션(230)에서 내비게이션 맵 서피스(310), AR 카메라 서피스(320), AR GUI 서피스(330) 및 내비게이션 GUI 서피스(340)를 생성할 수 있다(S420). 내비게이션 애플리케이션(230)은, AR 카메라 서피스(320)의 파라미터와 AR GUI 서피스(330)의 파라미터를 AR 엔진(220)에 제공할 수 있다(S430). AR 엔진(220)은, 카메라 서버(171)에 전방 영상 데이터를 수신하기 위해 콜백(callback) 함수를 등록할 수 있다(S440). 카메라 서버(171)는, 메모리(170)에 포함되는 개념으로 이해될 수 있다. AR 엔진(220)은, 전방 영상 데이터를 수신하여 크로핑할 수 있다(S450). 내비게이션 애플리케이션(230)은, AR 카메라 서피스(320)에 크로핑된 전방 영상을 표시할 수 있다(S460). AR 엔진(230)은, AR을 수행할 수 있다(S470). 내비게이션 애플리케이션(230)은, 크로핑된 전방 영상에 기초하여, AR GUI 서피스(330)에 AR GUI를 표시할 수 있다(S480).Referring to FIG. 45, when the
도 46는 본 발명의 실시예에 따른 플로우 차트이다.46 is a flow chart according to an embodiment of the present invention.
도 45 및 도 46를 참조하여, 이동 단말기의 동작 방법(S500)에 대해 설명한다. 이동 단말기(100)는, 차량에 거치된 상태에서 증강 현실 내비게이션 화면을 제공할 수 있다.With reference to FIGS. 45 and 46, a method of operating the mobile terminal (S500) will be described. The
프로세서(180)는, 차량 전방 영상을 수신할 수 있다(S510). 카메라(121)는, 차량 전방 영상을 촬영할 수 있다. 프로세서(180)는, 카메라(121)에 의해 촬영된 차량 전방 영상을 수신할 수 있다. S510 단계는, S511 단계, S512 단계 및 S513 단계를 포함할 수 있다.The
프로세서(180)는, AR GUI 서피스(330) 및 AR 카메라 서피스(320)를 생성할 수 있다(S511). 프로세서(180)는, 카메라(121) 컨트롤을 획득하여, 차량 전방 영상을 수신할 수 있다(S512). 프로세서(180)는, 카메라(121)로부터의 차량 전방 영상을 AR GUI 서피스(330) 및 AR 카메라 서피스(320)에 표시할 수 있다(S513).The
프로세서(180)는, 차량 전방 영상을 캘리브레이션할 수 있다(S520). S520 단계는, S521 단계, S522 단계, S523 단계, S524 단계, S525 단계 및 S526 단계를 포함할 수 있다.The
캘리브레이션이 시작되는 경우(S521), 프로세서(180)는, 차량 전방 영상에서, 소실선(vanishing line), 본네트 라인 및 센터 라인을 검출하고 추출할 수 있다(S522, S523). S523 단계에서 추출된 소실선, 본네트 라인, 센터 라인에 대한 데이터는 캘리브레이션 팩터 DB(172)에 저장될 수 있다. 캘리브레이션 팩터 DB(172)는, 메모리(170)에 포함될 수 있다. 프로세서(180)는, 카메라(121)의 높이 및 기울기를 계산할 수 있다(S524). 예를 들면, 프로세서(180)는, 센싱 데이터(예를 들면, 제1 센싱 데이터 및 제2 센싱 데이터)에 기초하여, 카메라(121)의 높이 및 기울기를 계산할 수 있다(S524). 프로세서(180)는, S523 단계 및 S524 단계에서 획득된 데이터에 기초하여, 차량 전방 영상에 대한 캘리브레이션을 수행할 수 있다(S525). 프로세서(180)는, 캘리브레이션을 종료할 수 있다(S526).When calibration is started (S521), the
캘리브레이션을 수행하는 단계(S525)는, 프로세서(180)가, 상기 전방 영상에서 차량의 적어도 일부가 위치하는 제1 영역을 크로핑하는 단계를 포함할 수 있다. 차량의 적어도 일부는, 본네트, 루프, A 필러, 대시 보드 및 거치대 중 적어도 어느 하나를 포함할 수 있다.The performing of calibration (S525) may include the step of cropping, by the
캘리브레이션을 수행하는 단계(S525)는, 프로세서(180)가, 상기 전방 영상에거 검출 가능한 소실점(vanishing point)을 지나는 수평선 및 상기 소실점을 지나는 수직선 중 적어도 어느 하나에 기초하여, 상기 전방 영상의 상하좌우의 밸런스를 판단하는 단계 및 상기 프로세서가, 상기 밸런스에 기초하여, 상기 광각 영상의 활용여부를 판단하는 단계를 포함할 수 있다.In the step of performing the calibration (S525), the
한편, 이동 단말기의 동작 방법(S500)은, 차량 전방 영상에서 검출된 제1 오브젝트에 대응되는 전방 영상의 일 지점에 제1 AR 그래픽 객체를 오버레이하는 단계를 포함할 수 있다. 오버레이 하는 단계는, S544 단계의 하위 구성일 수 있다.Meanwhile, the operation method S500 of the mobile terminal may include overlaying the first AR graphic object on a point of the front image corresponding to the first object detected in the vehicle front image. The step of overlaying may be a sub-element of step S544.
캘리브레이션을 수행하는 단계(S525)는, 프로세서(180)가, 상기 전방 영상에서 상기 제1 AR 그래픽 객체의 위치에 기초하여, 상기 광각 영상의 활용여부를 결정하는 단계를 포함할 수 있다. 캘리브레이션을 수행하는 단계(S525)는, 프로세서(180)가, 상기 전방 영상에거 검출 가능한 좌우 방향의 소실선(vanishing line)을 상기 내비게이션 화면의 상하 방향 가운데에 위치시키는 단계를 포함할 수 있다.The step of performing the calibration (S525) may include determining, by the
이동 단말기의 동작 방법(S500)은, 자이로스코프 센서(143)가, 제1 센싱 데이터를 생성하는 단계 및 가속도 센서(144)가, 제2 센싱 데이터를 생성하는 단계를 더 포함할 수 있다. 캘리브레이션을 수행하는 단계(S525)는, 상기 프로세서가, 상기 제1 센싱 데이터 및 상기 제2 센싱 데이터에 기초하여, 거치 기울기를 판단하는 단계 및 상기 프로세서가, 상기 내비게이션 화면에 상기 거치 기울기를 보상하는 단계를 포함할 수 있다.The operation method S500 of the mobile terminal may further include a step of the
프로세서(180)는, 적어도 하나의 AR 그래픽 객체 및 캘리브레이션 된 전방 영상이 포함된 증강 현실 내비게이션 화면(300)이 디스플레이(151)에 표시되도록, 증강 현실 내비게이션 애플리케이션을 구동할 수 있다(S530). S530 단계는, S531단계 내지 S549 단계를 포함할 수 있다.The
캘리브레이션이 성공한 경우의 실시예Examples of successful calibration
프로세서(180)는, 캘리브레이션 결과를 표시할 수 있다(S531). 캘리브레이션 이 성공한 것으로 판단되는 경우(S532), 프로세서(180)는, AR 모드를 시작한 후 내비게이션 모드를 시작할 수 있다(S533, S534). 프로세서(180)는, 경로를 탐색할 수 있다(S535). 프로세서(180)는, 경로 정보를 수신하고, 파싱할 수 있다(S536).The
한편, 프로세서(180)는, 센서 제어를 시작할 수 있다(S540). 프로세서(180)는, 각종 센서 데이터 수신 콜백을 등록할 수 있다(S541). 프로세서(180)는, IMU 센서 데이터를 수신하고 파싱할 수 있다. IMU 센서는, 자이로스코프 센서(143) 및 가속도 센서(144)를 포함하고, 프로세서(180)는, IMU 센서 데이터로, 제1 센싱 데이터 및 제2 센싱 데이터를 수신할 수 있다. 프로세서(180)는, S546 단계의 파싱 결과와 S542단계의 파싱 결과에 기초하여, 차량의 주행을 예측하고 보간할 수 있다(S543). 프로세서(180)는, AR GUI 서피스(330)에 머뉴버(maneuver)를 표시할 수 있다(S544). 프로세서(180)는, AR GUI 서피스(330)에 AR 그래픽 객체를 표시할 수 있다. 프로세서(180)는, S546 단계를 통해, 전방 영상에서 검출된 제1 오브젝트에 대응되는 전방 영상의 일 지점에 제1 AR 그래픽 객체를 오버레이할 수 있다. 이후에, 프로세서(180)는, 경로를 안내할 수 있다(S537). 프로세서(180)는, S535 단계에서 탐색된 경로 및 S544 단계에서의 머뉴버에 기초하여, 경로를 안내할 수 있다. 프로세서(180)는, AR 안내를 판단하고, AR 안내 시점 여부를 판단할 수 있다(S538, S539). AR 안내 시점인 것으로 판단되는 경우, 프로세서(180)는, S544 단계를 수행할 수 있다. AR 안내 시점이 아닌 것으로 판단된 경우, 프로세서(180)는, 프로세서(180)는, S537 단계를 수행할 수 있다. Meanwhile, the
프로세서(180)는, 카메라(121) 센서 데이터를 수신하고, 파싱할 수 있다(S546). 프로세서(180)는, 카메라(121)에서 획득된 영상에 기초하여 오브젝트(예를 들면, 차선, 타 차량, 이륜차, 보행자 등)를 검출할 수 있다. 프로세서(180)는, 검출된 오브젝트에 대한 정보에 기초하여, 차선을 인식할 수 있다(S547). 프로세서(180)는, 카메라 영상을 자를 수 있다(S548). 프로세서(180)는, 캘리브레이션 팩터 DB(172)에 저장된 데이터에 기초하여, 전방 영상을 자를 수 있다. 프로세서(180)는, S547의 차선 인식 데이터 및 S548의 영상 데이터에 기초하여, AR 카메라 서피스(320)에 3D 카펫을 표시할 수 있다(S549).The
캘리브레이션이 실패한 경우의 실시예Example when calibration fails
프로세서(180)는, 캘리브레이션 결과를 표시할 수 있다(S531). 캘리브레이션이 실패한 것으로 판단되는 경우(S532), 프로세서(180)는, AR 모드를 시작하지 않은 채, 내비게이션 모드를 시작할 수 있다(S534). 프로세서(180)는, 경로를 탐색할 수 있다(S535). 프로세서(180)는, 탐색된 경로에 따라 경로 안내를 수행할 수 있다(S537).The
도 47a 내지 도 47b는 본 발명의 실시예에 따른 소실선, 본네트 라인 및 센터 라인을 설명하는데 참조되는 도면이다.47A to 47B are views referenced for explaining a vanishing line, a bonnet line, and a center line according to an embodiment of the present invention.
도면을 참조하면, 프로세서(180)는, 카메라(121)에서 촬영된 차량 전방 영상에서, 소실선(610), 본네트 라인(620) 및 센터 라인(630)을 검출할 수 있다. 차량 전방 영상에서 검출된 소실점(601)을 지나는 수평선으로 정의될 수 있다. 본네트 라인(620)은, 차량 전방 영상에서 검출된 본네트의 최상단을 지나는 수평선으로 정의될 수 있다. 센터 라인(630)은, 소실점(601)을 지나는 수직선으로 정의될 수 있다. Referring to the drawing, the
실시예에 따라, 프로세서(180)는, 사용자 입력에 대응하여 소실선(610), 본네트 라인(620) 및 센터 라인(630)을 기준으로 캘리브레이션을 수행할 수 있다. 도 47a에 예시된 바와 같이, 사용자 입력에 따라 소실선(610), 본네트 라인(620) 및 센터 라인(630)을 설정하면, 프로세서(180)는, 소실선(610), 본네트 라인(620) 및 센터 라인(630) 각각에 설정된 위치에 맞도록 전방 영상을 캘리브레이션할 수 있다.According to an embodiment, the
도 48a 내지 도 48d는 본 발명의 실시예에 따른 크로핑 동작을 설명하는데 참조되는 도면이다.48A to 48D are views referenced for describing a cropping operation according to an embodiment of the present invention.
도 48a에 예시된 바와 같이, 프로세서(180)는, 카메라(121)에서 촬영된 차량 전방 영상에서 소실선(710), 본네트 라인(720) 및 센터 라인(730)을 검출할 수 있다. 도 48b에 예시된 바와 같이, 프로세서(180)는, 차량 전방 영상에서, 본네트 라인(710) 아래 영역을 삭제할 수 있다. 프로세서(180)는, 삭제된 본네트 라인(710) 아래 영역에, 내비게이션 관련 정보(740)를 출력할 수 있다. 예를 들면, 프로세서(180)는, 본네트 라인(710) 아래 영역에, 시간 정보, 위치 정보, 주행중인 도로의 정보, 출발지 정보, 출발 시간 정보, 목적지 정보, 목적지까지 남은 거리 정보, 목적지까지 남은 시간 정보 및 도착 예정 시간 정보 중 적어도 어느 하나를 표시할 수 있다. 프로세서(180)는, 디스플레이(151)의 일 영역에, 내비게이션 맵(750) 및 내비게이션 GUI(755)를 표시할 수 있다.As illustrated in FIG. 48A, the
도 48c에 예시된 바와 같이, 프로세서(180)는, 차량 전방 영상에서 불필요한 영역을 삭제할 수 있다. 프로세서(180)는, 차량의 주행에 아무런 영향을 끼지지 않는 오브젝트 영역을 삭제할 수 있다. 예를 들면, 프로세서(180)는, 차량 전방 영상에서, 인도에 위치하는 고정 오브젝트에 해당되는 영역을 삭제할 수 있다. 이와 같이, 차량의 주행에 영향을 끼지 않는 오브젝트 영역을 삭제함으로써, 운전시 주의가 분산되는 것을 방지할 수 있다. 도 48d에 예시된 바와 같이, 프로세서(180)는, AR 내비게이션 화면(300)을 표시할 수 있다.As illustrated in FIG. 48C, the
도 49a 내지 도 49b는 본 발명의 실시예에 따른 크로핑 동작을 설명하는데 참조되는 도면이다.49A to 49B are views referenced for describing a cropping operation according to an embodiment of the present invention.
도 49a에 예시된 바와 같이, 프로세서(180)는, 거치대 라인(810)을 검출할 수 있다. 거치대 라인(810)은, 이동 단말기의 거치대 중 화면의 중심으로 가장 많이 돌출된 부분에서 수직 방향 또는 수평 방향으로 형성된 라인으로 정의될 수 있다. 도 49b에 예시된 바와 같이, 프로세서(180)는, 거치대(820)가 삭제하기 위해 거치대 라인(810)을 중심으로 거치대가 표시되는 영역을 삭제할 수 있다.As illustrated in FIG. 49A, the
도 50a 내지 도 52d는 본 발명의 실시예에 따른 광각 영상 이용 동작을 설명하는데 참조되는 도면이다.50A to 52D are diagrams referenced for explaining an operation of using a wide-angle image according to an embodiment of the present invention.
도면을 참조하면, 카메라(121)는, 제1 카메라 및 제2 카메라를 포함할 수 있다. 제1 카메라는, 차량의 전방 영상을 획득할 수 있다. 제2 카메라는, 제1 카메라에 비해 광각 영상을 획득할 수 있다. 제2 카메라는, 비활성화된 상태에서, 프로세서(180)에서 광각 영상의 활용이 결정되면 활성화될 수 있다.Referring to the drawings, the
프로세서(180)는, 전방 영상에서 소실선(910) 및 센터 라인(920)에 기초하여, 전방 영상을 상하좌우 밸런스를 판단할 수 있다. 프로세서(180)는, 상하좌우의 밸런스에 기초하여, 광각 영상의 활용 여부를 결정할 수 있다. 예를 들면, 프로세서(180)는, 센터 라인(920)이 전방 영상의 왼쪽으로 치우친 것으로 판단되는 경우, 제2 카메라를 활성화 시킬 수 있다. 프로세서(180)는, 활성화된 제2 카메라에서 획득된 영상에서 제1 카메라의 획득 영상 왼쪽 바깥쪽의 영상을 가져와 제1 카메라의 전방 영상을 보완할 수 있다.The
한편, 차량(10)이 교차로에 점점 근접하는 경우, 프로세서(180)는, 제1 카메라의 화각을 점진적으로 변경하면서 전방 영상을 점차적으로 확대하여 표시할 수 있다.Meanwhile, when the
한편, 프로세서(180)는, 도로의 형상 데이터에 기초하여, 광각 영상 활용여부를 판단할 수 있다. 예를 들면, 프로세서(180)는, 좌측 또는 우측으로 형성된 도로의 커브 데이터에 기초하여, 광각 영상 활용여부를 판단할 수 있다.Meanwhile, the
도 51a의 지시부호 1010은 제1 카메라에 의해 획득된 전방 영상을 예시한다. 지시부호 1020은 제2 카메라에 의해 획득된 전방 영상을 예시한다. 프로세서(180)는, 전방 영상에서 검출된 제1 오브젝트에 대응되는 전방 영상의 일지점에 제1 AR 그래픽 객체를 오버레이할 수 있다. 프로세서(180)는, 전방 영상에서 제1 AR 그래픽 객체의 위치에 기초하여, 광각 영상의 활용 여부를 결정할 수 있다. 도 51b에 예시된 바와 같이, 경로가 우측으로 형성되어 AR 그래픽 객체(1030)가 전방 영상 우측에 위치하는 경우, 프로세서(180)는, 제2 카메라의 광각 영상 중 제1 카메라의 전방 영상에서 벗어나는 우측 영역을 가져와 제1 카메라의 전방 영상을 보완할 수 있다. 이경우, 도 51c에 예시된 바와 같이, 광각 영상 이용할 때, 프로세서(180)는, 광각 영상 이용 전보다 스케일을 작게하여, 제1 카메라의 전방 영상과 제2 카메라의 광각 영상 중 일부를 결합하여 표시할 수 있다. 또는, 프로세서(180)는, 제2 카메라의 광각 영상만을 처리하여 표시할 수도 있다. 이경우, 프로세서(180)는, 전방 영역 표시 영역의 크기를 유지할 수 있다. 도 51d에 예시된 바와 같이, 광각 영상 이용할 때, 프로세서(180)는, 광각 영상 이용 전과 스케일을 같게하여, 제1 카메라의 전방 영상과 제2 카메라의 광각 영상 중 일부를 결합하여 표시할 수 있다. 또는, 프로세서(180)는, 제2 카메라의 광각 영상만을 처리하여 표시할 수도 있다. 이경우, 프로세서(180)는, 전방 영역의 표시 영역의 크기를 크게할 수 있다. 프로세서(180)는, 내비게이션 맵 표시 영역을 작게할 수 있다.
도 52a의 지시부호 1110은 제1 카메라에 의해 획득된 전방 영상을 예시한다. 지시부호 1120은 제2 카메라에 의해 획득된 전방 영상을 예시한다. 프로세서(180)는, 전방 영상에서 검출된 제1 오브젝트에 대응되는 전방 영상의 일지점에 제1 AR 그래픽 객체를 오버레이할 수 있다. 프로세서(180)는, 전방 영상에서 제1 AR 그래픽 객체의 위치에 기초하여, 광각 영상의 활용 여부를 결정할 수 있다. 도 52b에 예시된 바와 같이, 경로가 좌측으로 형성되어 AR 그래픽 객체(1130)가 전방 영상 좌측에 위치하는 경우, 프로세서(180)는, 제2 카메라의 광각 영상 중 제1 카메라의 전방 영상에서 벗어나는 좌측 영역을 가져와 제1 카메라의 전방 영상을 보완할 수 있다. 이경우, 도 52c에 예시된 바와 같이, 광각 영상 이용할 때, 프로세서(180)는, 광각 영상 이용 전보다 스케일을 작게하여, 제1 카메라의 전방 영상과 제2 카메라의 광각 영상 중 일부를 결합하여 표시할 수 있다. 또는, 프로세서(180)는, 제2 카메라의 광각 영상만을 처리하여 표시할 수도 있다. 이경우, 프로세서(180)는, 전방 영역 표시 영역의 크기를 유지할 수 있다. 도 52d에 예시된 바와 같이, 광각 영상 이용할 때, 프로세서(180)는, 광각 영상 이용 전과 스케일을 같게하여, 제1 카메라의 전방 영상과 제2 카메라의 광각 영상 중 일부를 결합하여 표시할 수 있다. 또는, 프로세서(180)는, 제2 카메라의 광각 영상만을 처리하여 표시할 수도 있다. 이경우, 프로세서(180)는, 전방 영역의 표시 영역의 크기를 크게할 수 있다. 프로세서(180)는, 내비게이션 맵 표시 영역을 작게할 수 있다.
도 53a 내지 도 53b는 본 발명의 실시예에 따른 소실선 조정 동작을 설명하는데 참조되는 도면이다.53A to 53B are views referenced for explaining an operation of adjusting a vanishing line according to an embodiment of the present invention.
도면을 참조하면, 프로세서(180)는, 전방 영상에서 소실선(1210)을 검출할 수 있다. 도 53a에 예시된 바와 같이, 프로세서(180)는, 소실선(1210)이 내비게이션 화면의 상하 방향으로 가운데(1220)보다 아래에 위치하는지 판단할 수 있다. 이경우, 프로세서(180)는, 소실선(1210)이 가운데(1220)에 위치하도록 전방 영상 중, 내비게이션 화면에 표시되는 영역을 조정할 수 있다. 도 53b에 예시된 바와 같이, 프로세서(180)는, 소실선(1210)을 내비게이션 화면의 상하 방향 가운데(1220)에 위치시킬 수 있다.Referring to the drawings, the
프로세서(180)는, 소실선이 내비게이션 화면의 상하 방향의 가운데보다 위에 위치하는지 판단할 수 있다. 이경우, 프로세서(180)는, 소실선을 내비게이션 화면의 상하 방향 가운데에 위치시킬 수 있다.The
도 54a 내지 도 54c는 본 발명의 실시예에 따른 차량이 경사를 주행하는 경우 기울기값 보정 동작을 설명하는데 참조되는 도면이다.54A to 54C are views referenced for explaining an operation of correcting a slope value when a vehicle runs on a slope according to an embodiment of the present invention.
도 54a 및 도 54b에 예시된 바와 같이, 프로세서(180)는, 차량이 평지를 주행하는 경우, 이동 단말기의 기울기 값을 계산하고, 소실선을 계산하여, 룩업 테이블(1310)을 구성할 수 있다. 룩업 테이블(1310)은 메모리(170)에 저장될 수 있다. 예를 들면, 이동 단말기(100)의 기울기가, 90도, 85도, 80도, 75도인 경우, 각각의 소실선을 계산하여, 룩업 테이블(1310)을 구성할 수 있다.As illustrated in FIGS. 54A and 54B, the
도 54c 및 도 54d에 예시된 바와 같이, 프로세서(180)는, 차량이 경사를 주행하는 경우, 프로세서(180)는, 룩업 테이블(1310)에 기초하여, 이동 단말기(100)의 설치 기울기값을 보정할 수 있다. 예를 들면, 프로세서(180)는, 제1 센싱 데이터 및 제2 센싱 데이터 중 적어도 어느 하나에 기초하여, 이동 단말기(100)의 설치 기울기값이 75도로 판단할 수 있다. 프로세서(180)는, 소실선의 값이 540임을 확인할 수 있다. 프로세서(180)는, 룩업 테이블(1310)에 기초하여 소실선 값에 대응되는 이동 단말기의 기울기값이 90도임을 확인할 수 있다. 프로세서(180)는, 차량이 경사 주행시 이동 단말기(100)의 설치 기울기를 90도로 보정할 수 있다.As illustrated in FIGS. 54C and 54D, when the vehicle runs on an incline, the
도 55a 내지 도 55c는 본 발명의 실시예에 따라 특정 상황에서 이동 단말기의 동작을 설명하는데 참조되는 도면이다.55A to 55C are diagrams referenced for explaining an operation of a mobile terminal in a specific situation according to an embodiment of the present invention.
도 55a는 AR 내비게이션 애플리케이션이 포어 그라운드로 구동되는 경우를 예시한다. AR 내비게이션 애플리케이션의 포어 그라운드 구동은 도 42내지 도 54c를 참조하여 설명한 바와 같다.55A illustrates a case where an AR navigation application is driven to the foreground. Foreground driving of the AR navigation application is as described with reference to FIGS. 42 to 54C.
도 55b는 카메라가 비활성화된 상태에서 AR 내비게이션 애플리케이션이 포어 그라운드로 구동되는 경우를 예시한다. 이동 단말기(100)의 동작 방법은, 프로세서(180)가, 차량의 정지 상태 정보를 획득하는 단계, 프로세서(180)가, 카메라(121)를 비활성화하는 단계 및 프로세서(180)가, 전방 영상과 AR 그래픽 객체가 제외된 내비게이션 화면이 표시되도록 상기 증강 현실 내비게이션 애플리케이션을 구동하는 단계를 더 포함할 수 있다.55B illustrates a case in which an AR navigation application is driven to the foreground while the camera is deactivated. The operating method of the
프로세서(180)는, 차량의 정지 상태 정보를 획득하는 경우, 상기 카메라를 비활성화하고, 전방 영상과 AR 그래픽 객체가 제외된 내비게이션 화면이 표시되도록 상기 증강 현실 내비게이션 애플리케이션을 구동할 수 있다. 프로세서(180)는, AR 내비게이션 화면에서, AR GUI 서피스 및 AR 카메라 서피스를 제외하고, 내비게이션 GUI 서피스 및 내비게이션 맵 서피스만 포함시켜 AR 내비게이션 화면을 구성할 수 있다.The
한편, 이동 단말기(100)의 동작 방법은, 프로세서(180)가, 차량의 정지 상태 이후 차량의 이동 상태 정보를 획득하는 단계, 프로세서(180)가, 상기 카메라를 활성화하는 단계 및 프로세서(180)가, 카메라(121)의 비활성화 이전의 캘리브레이션 데이터에 기초하여, 활성화된 카메라(121)로부터 획득된 전방 영상을 캘리브레이션하는 단계를 더 포함할 수 있다. On the other hand, the operating method of the
프로세서(180)는, 차량의 정지 상태 이후 차량의 이동 상태 정보를 획득하는 경우, 카메라(121)를 활성화하고, 카메라(121)의 비활성화 이전의 캘리브레이션 데이터에 기초하여, 활성화된 카메라(121)로부터 획득된 전방 영상을 캘리브레이션할 수 있다. 프로세서(180)는, 캘리브레이션 팩터 DB(172)에서 캘리브레이션 데이터를 호출하여, 활성화된 카메라(121)로부터 획득된 전방 영상을 캘리브레이션할 수 있다. The
도 55c는 AR 내비게이션 애플리케이션이 백그라운드로 구동되는 경우를 예시한다. 이동 단말기(100)의 동작 방법은, 프로세서(180)가, 홈 버튼 입력 신호 및 다른 애플리케이션 실행 입력 신호 중 적어도 어느 하나를 수신하는 단계, 프로세서(180)가, 카메라(121)를 비활성화 하는 단계 및 프로세서(180)가, 상기 증강 현실 내비게이션 애플리케이션을 백그라운드로 구동하는 단계를 포함할 수 있다.55C illustrates a case where an AR navigation application is driven in the background. The operating method of the
프로세서(180)는, 홈 버튼 입력 신호 및 다른 애플리케이션 실행 입력 신호 중 적어도 어느 하나를 수신하는 경우, 카메라(121)를 비활성화하고, 상기 증강 현실 내비게이션 애플리케이션을 백그라운드로 구동할 수 있다.When receiving at least one of a home button input signal and another application execution input signal, the
도 56는 본 발명의 실시예에 따라 도보 모드의 경우 이동 단말기의 동작을 설명하는데 참조되는 도면이다.56 is a diagram referenced for explaining an operation of a mobile terminal in a walking mode according to an embodiment of the present invention.
도 56를 참조하면, 이동 단말기(100)는, 차량 모드 및 도보 모드로 이용될 수 있다. 이동 단말기(100)가 차량 모드로 이용되는 경우, 이동 단말기(100)는, 도 42내지 도 55를 참조하여 설명한 바와 같이 동작된다.Referring to FIG. 56, the
이동 단말기(100)가 도보 모드로 이용되는 경우, 프로세서(180)는, 도보용 AR 내비게이션 화면을 제공할 수 있다. 프로세서(180)는, 보행자 전방 영상에서 보행에 방해되지 않은 오브젝트의 영역은 제외되도록 캘리브레이션을 수행할 수 있다. 프로세서(180)는, 보행자 전방 영상에서 보행자 길안내를 위한 영역을 확대하여 표시하고, 나머지 영역은 삭제할 수 있다.When the
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 프로세서 또는 프로세서를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.The present invention described above can be implemented as a computer-readable code on a medium on which a program is recorded. The computer-readable medium includes all types of recording devices that store data that can be read by a computer system. Examples of computer-readable media include hard disk drives (HDDs), solid state disks (SSDs), silicon disk drives (SDDs), ROMs, RAM, CD-ROMs, magnetic tapes, floppy disks, optical data storage devices, etc. There is also a carrier wave (for example, transmission over the Internet) also includes the implementation of the form. In addition, the computer may include a processor or a processor. Therefore, the detailed description above should not be construed as restrictive in all respects and should be considered as illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.
Claims (20)
카메라에 의해, 상기 모바일 디바이스 주변의 제1 이미지를 캡쳐하는 단계;
상기 캡쳐된 제1 이미지를 디스플레이 하는 단계-상기 제1 이미지는 차량 내부 오브젝트 및 차량 외부 오브젝트를 모두 포함-;
상기 제1 이미지에서 추출된 복수개의 기준선들을 기초로 하여, 제2 이미지를 생성하는 단계-상기 제2 이미지는 상기 차량 내부 오브젝트 및 상기 차량 외부 오브젝트 이미지를 포함하지 않음-; 및
상기 생성된 제2 이미지를 디스플레이 하는 단계;
를 포함하는 모바일 디바이스의 제어 방법.
A method for controlling a mobile device equipped with a navigation function, the method comprising: executing the navigation function;
Capturing, by a camera, a first image around the mobile device;
Displaying the captured first image, wherein the first image includes both an object inside the vehicle and an object outside the vehicle;
Generating a second image based on a plurality of reference lines extracted from the first image-the second image does not include the vehicle interior object and the vehicle exterior object image; And
Displaying the generated second image;
Control method of a mobile device comprising a.
상기 복수개의 기준선들 중 적어도 하나의 기준선인 제1 기준선은 상기 제1 이미지의 하나 또는 그 이상의 소실점 이미지를 포함하는 가로방향 수평선 직선을 포함-;
상기 소실점 이미지는 차량의 주행도로의 좌측 차선과 우측 차선이 지평선과 교차하는 포인트를 포함-;
을 특징으로 하는 모바일 디바이스의 제어 방법.
The method of claim 1,
A first reference line, which is at least one of the plurality of reference lines, includes a horizontal horizontal line including one or more vanishing point images of the first image;
The vanishing point image includes a point where the left lane and the right lane of the vehicle's driving road intersect the horizon;
Control method of a mobile device, characterized in that.
상기 제 1 이미지에서 상기 차량 내부 오브젝트 및 상기 차량 외부 오브젝트의 이미지가 제거된 제3 이미지를 생성하는 단계-제 2 기준선에서부터 상기 제1 이미지의 일 단부까지의 범위 내의 제1 이미지를 제거함-;
을 더 포함하는 모바일 디바이스의 제어 방법.
The method of claim 1,
Generating a third image from which the images of the vehicle interior object and the vehicle exterior object are removed from the first image-removing a first image within a range from a second reference line to an end of the first image;
Control method of a mobile device further comprising a.
상기 제1 이미지와 상기 제2 이미지의 크기는 동일한 것
을 특징으로 하는 모바일 디바이스의 제어 방법.
The method of claim 1,
The first image and the second image have the same size
Control method of a mobile device, characterized in that.
상기 차량 내부 오브젝트 및 상기 차량 외부 오브젝트의 이미지는
상기 제 1 이미지에서 상기 좌측 차선 또는 우측 차선의 이미지와 겹치는 것
을 특징으로 하는 모바일 디바이스의 제어 방법.
The method of claim 2,
The image of the vehicle interior object and the vehicle exterior object
Overlapping the image of the left or right lane in the first image
Control method of a mobile device, characterized in that.
상기 차량 내부 오브젝트 및 상기 차량 외부 오브젝트의 이미지는 상기 제 1 이미지에서 상기 좌측 차선 또는 우측 차선의 일부분이 디스플레이 되지 않게 가리는 이미지
인 것을 특징으로 하는 모바일 디바이스의 제어 방법.
The method of claim 2,
The image of the vehicle interior object and the vehicle exterior object is an image in which a part of the left or right lane is not displayed in the first image
Control method of a mobile device, characterized in that.
상기 차량 내부 오브젝트 및 상기 차량 외부 오브젝트의 이미지의 일 단부는 상기 제 2 기준선에 포함되는 것
을 특징으로 하는 모바일 디바이스의 제어 방법.
The method of claim 2,
One end of the image of the vehicle interior object and the vehicle exterior object is included in the second reference line
Control method of a mobile device, characterized in that.
상기 제1 이미지에서 추출된 복수개의 기준선들을 기초로 하여, 제2 이미지를 생성하는 단계는,
상기 제1 이미지에서 상기 차량 내부 오브젝트 및 상기 차량 외부 오브젝트가 제거된 제3 이미지를 생성하는 단계;
상기 제1 기준선을 중심으로 상기 제3 이미지를 상하부 이미지로 분리하는 단계-상부 이미지의 세로방향 높이는 제1값에 대응하고, 하부 이미지의 세로방향 높이는 제2값에 대응함-;
기 설정된 제1비율 및 제1값과 제2값 중 더 작은 값을 기반으로 제2이미지의 높이값을 획득하는 단계, 상기 제1비율은 제1 값 대비 상기 제 2값의 비율임-; 및
기 설정된 제2비율 및 상기 제2 이미지의 높이값을 기반으로 상기 제2 이미지의 너비값을 획득하는 단계, 상기 제2비율은 상기 제2 이미지의 높이값 대비 너비값의 비율임-;
를 포함하는 모바일 디바이스의 제어 방법.
The method according to claim 1 or 2,
Generating a second image based on a plurality of reference lines extracted from the first image,
Generating a third image in which the vehicle interior object and the vehicle exterior object are removed from the first image;
Separating the third image into upper and lower images based on the first reference line-a vertical height of an upper image corresponds to a first value, and a vertical height of a lower image corresponds to a second value -;
Obtaining a height value of a second image based on a preset first ratio and a smaller value among the first and second values, the first ratio being a ratio of the second value to the first value; And
Obtaining a width value of the second image based on a preset second ratio and a height value of the second image, the second ratio being a ratio of a width value to a height value of the second image;
Control method of a mobile device comprising a.
상기 제1값이 상기 제2값 보다 큰 값인 경우,
상기 제3이미지의 밑면에서부터 상기 제2이미지의 높이값 보다 큰 값부터 상기 제3이미지의 꼭대기(Top)까지의 높이를 포함하는 다각형의 범위에 대응되는 상기 제3 이미지를 제거하는 단계;
를 더 포함하는 모바일 디바이스의 제어 방법.
The method of claim 8,
When the first value is greater than the second value,
Removing the third image corresponding to a range of a polygon including a height from a bottom of the third image to a height greater than a height of the second image to a top of the third image;
Control method of a mobile device further comprising a.
상기 제1 이미지에서 추출된 복수개의 기준선들을 기초로 하여, 제2 이미지를 생성하는 단계는,
상기 제1 이미지에서 상기 차량 내부 오브젝트 및 상기 차량 외부 오브젝트가 제거된 제3 이미지를 생성하는 단계;
상기 제1 기준선을 중심으로 상기 제3 이미지를 상하부 이미지로 분리하는 단계-상부 이미지의 세로방향 높이는 제1값에 대응하고, 하부 이미지의 세로방향 높이는 제2값에 대응함-;
상기 제3 이미지의 높이값을 상기 제2이미지의 높이값으로 설정하는 단계;
기 설정된 제2비율 및 상기 제2 이미지의 높이값을 기반으로 상기 제2 이미지의 너비값을 획득하는 단계-상기 제2비율은 상기 제2 이미지의 높이값 대비 너비값의 비율임-;
를 포함하는 모바일 디바이스의 제어 방법.
The method according to claim 1 or 2,
Generating a second image based on a plurality of reference lines extracted from the first image,
Generating a third image in which the vehicle interior object and the vehicle exterior object are removed from the first image;
Separating the third image into upper and lower images based on the first reference line-a vertical height of an upper image corresponds to a first value, and a vertical height of a lower image corresponds to a second value -;
Setting a height value of the third image as a height value of the second image;
Obtaining a width value of the second image based on a preset second ratio and a height value of the second image-the second ratio is a ratio of a width value to a height value of the second image;
Control method of a mobile device comprising a.
상기 제1값이 상기 제2값 보다 작은 값인 경우,
상기 제3이미지의 꼭대기에서부터 상기 제2이미지의 높이값 보다 큰 값부터 상기 제3이미지의 밑면까지의 높이를 포함하는 다각형의 범위에 대응되는 상기 제3 이미지를 제거하는 단계;
를 더 포함하는 모바일 디바이스의 제어 방법.
The method of claim 8,
When the first value is less than the second value,
Removing the third image corresponding to a range of polygons including a height from a top of the third image to a height greater than a height of the second image to a bottom of the third image;
Control method of a mobile device further comprising a.
The method of claim 8, wherein the first ratio comprises 3:2.
상기 제2이미지의 높이값이 너비값보다 작은 값을 갖도록 디스플레이 되는 경우, 상기 제2 이미지의 높이: 너비 비율은3:4 이고,
상기 제2이미지의 너비값이 높이값 보다 작은 값을 갖도록 디스플레이 되는 경우, 상기 제2 이미지의 높이: 너비 비율은 4:3 인 것
을 포함하는 모바일 디바이스의 제어 방법.
The method of claim 8,
When the height value of the second image is displayed to have a value smaller than the width value, the height:width ratio of the second image is 3:4,
When the width value of the second image is displayed to have a value smaller than the height value, the height: width ratio of the second image is 4:3.
Control method of a mobile device comprising a.
카메라에 의해, 상기 모바일 디바이스 주변의 제1 이미지를 캡쳐하는 단계, 설정된 픽셀값에 따라 상기 제1 이미지를 획득하는 단계를 더 포함함-;
(상기 제1 이미지의 가로방향 픽셀값 - 상기 제2 이미지의 너비값)/2 의 값에 해당하는 너비값을 갖는 다각형의 영역에 대응되는 제3이미지를 제외하는 단계;
를 더 포함하는 모바일 디바이스의 제어 방법.
The method according to claim 1 or 2,
Capturing a first image around the mobile device by a camera, further comprising obtaining the first image according to a set pixel value;
Excluding a third image corresponding to a polygonal region having a width value corresponding to a value of (a horizontal pixel value of the first image-a width value of the second image)/2;
Control method of a mobile device further comprising a.
상기 복수개의 기준선들은 사용자의 입력신호에 따라 수동으로 설정되는 것
을 포함하는 모바일 디바이스의 제어 방법.
The method according to claim 1 or 2,
The plurality of reference lines are manually set according to the user's input signal
Control method of a mobile device comprising a.
내비게이션 기능을 실행하는 컨트롤러;
상기 모바일 디바이스 주변의 제1 이미지를 캡쳐하는 카메라;
상기 캡쳐된 제1 이미지를 디스플레이 하는 디스플레이-상기 제1 이미지는 차량 내부 오브젝트 및 차량 외부 오브젝트를 모두 포함-;
상기 제1 이미지에서 추출된 복수개의 기준선들을 기초로 하여, 제2 이미지를 생성하는 비디오 렌더링 프로세서-상기 제2 이미지는 상기 차량 내부 오브젝트 및 상기 차량 외부 오브젝트 이미지를 포함하지 않음-; 및
상기 생성된 제2 이미지를 디스플레이 하는 디스플레이;
를 포함하는 모바일 디바이스.
On a mobile device equipped with a navigation function,
A controller that executes a navigation function;
A camera that captures a first image around the mobile device;
A display for displaying the captured first image, wherein the first image includes both an object inside the vehicle and an object outside the vehicle;
A video rendering processor that generates a second image based on a plurality of reference lines extracted from the first image, the second image does not include the vehicle interior object and the vehicle exterior object image; And
A display for displaying the generated second image;
Mobile device comprising a.
상기 복수개의 기준선들 중 적어도 하나의 기준선인 제1 기준선은 상기 제1 이미지의 하나 또는 그 이상의 소실점 이미지를 포함하는 가로방향 수평선 직선을 포함-; 및
상기 소실점 이미지는 차량의 주행도로의 좌측 차선과 우측 차선이 지평선과 교차하는 포인트를 포함-;
을 특징으로 하는 모바일 디바이스.
The method of claim 16,
A first reference line, which is at least one of the plurality of reference lines, includes a horizontal horizontal line including one or more vanishing point images of the first image; And
The vanishing point image includes a point where the left lane and the right lane of the vehicle's driving road intersect the horizon;
A mobile device characterized by a.
상기 비디오 렌더링 프로세서는 상기 제 1 이미지에서 상기 차량 내부 오브젝트 및 상기 차량 외부 오브젝트의 이미지가 제거된 제3 이미지를 생성하는 단계-제 2 기준선에서부터 상기 제1 이미지의 일 단부까지의 범위 내의 제1 이미지를 제거함-;
을 더 포함하는 모바일 디바이스.
The method of claim 16,
The video rendering processor generates a third image in which images of the vehicle interior object and the vehicle exterior object are removed from the first image-a first image within a range from a second reference line to an end of the first image To remove -;
Mobile device further comprising a.
상기 제1 이미지와 상기 제2 이미지의 크기는 동일한 것
을 특징으로 하는 모바일 디바이스.
The method of claim 16,
The first image and the second image have the same size
A mobile device characterized by a.
상기 차량 내부 오브젝트 및 상기 차량 외부 오브젝트의 이미지는
상기 제 1 이미지에서 상기 좌측 차선 또는 우측 차선의 이미지와 겹치는 것
을 특징으로 하는 모바일 디바이스.
The method of claim 17,
The image of the vehicle interior object and the vehicle exterior object
Overlapping the image of the left or right lane in the first image
A mobile device characterized by a.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962893194P | 2019-08-29 | 2019-08-29 | |
US62/893,194 | 2019-08-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20210027037A true KR20210027037A (en) | 2021-03-10 |
Family
ID=75148665
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200035935A KR20210027037A (en) | 2019-08-29 | 2020-03-24 | A method for providing navigation and device for providing navigation |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20210027037A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102287401B1 (en) * | 2021-05-28 | 2021-08-09 | 주식회사 폴라리스쓰리디 | Method and device for converting from 3D spatial map to 2D floor map |
WO2024059347A1 (en) * | 2022-09-16 | 2024-03-21 | Reliable Robotics Corporation | Verifying flight system calibration and performing automated navigation actions |
-
2020
- 2020-03-24 KR KR1020200035935A patent/KR20210027037A/en active Search and Examination
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102287401B1 (en) * | 2021-05-28 | 2021-08-09 | 주식회사 폴라리스쓰리디 | Method and device for converting from 3D spatial map to 2D floor map |
WO2024059347A1 (en) * | 2022-09-16 | 2024-03-21 | Reliable Robotics Corporation | Verifying flight system calibration and performing automated navigation actions |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102622882B1 (en) | Method for providing xr content and xr device | |
KR102592653B1 (en) | Xr device for providing ar mode and vr mode and method for controlling the same | |
KR102628102B1 (en) | Xr device and method for controlling the same | |
KR102637417B1 (en) | Xr device for providing ar mode and vr mode and method for controlling the same | |
KR102614496B1 (en) | Xr device and method for controlling the same | |
US11828614B2 (en) | Method for providing XR contents and XR device for providing XR contents | |
US11887326B2 (en) | XR device and method for controlling the same | |
KR20190104945A (en) | Xr device and method for controlling the same | |
KR20190104928A (en) | Extended reality device and method for controlling the extended reality device | |
KR102625457B1 (en) | Xr device and method for controlling the same | |
KR102614495B1 (en) | Xr device and method for controlling the same | |
KR102616496B1 (en) | Xr device and method for controlling the same | |
KR20210053554A (en) | Multimedia device and method for controlling the same | |
KR102625458B1 (en) | Method and xr device for providing xr content | |
KR20210103880A (en) | Method for providing content and device | |
KR102637416B1 (en) | Xr device and method for controlling the same | |
KR102640673B1 (en) | Multimedia device and its control method | |
KR20210048739A (en) | An apparatus for controlling AR mobility and a method of controlling AR mobility | |
KR20190095183A (en) | Xr device and method for controlling the same | |
KR20210078999A (en) | Method for providing content and device | |
KR102637415B1 (en) | Xr device for providing ar mode and vr mode and method for controlling the same | |
KR20200069242A (en) | A method for providing xr contents and xr device for providing xr contents | |
KR20190104946A (en) | Xr device and method for controlling the same | |
KR20210027037A (en) | A method for providing navigation and device for providing navigation | |
KR102655481B1 (en) | Method for providing xr content and device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination |