KR20210091070A - 이미지 프로젝션 방법, 장치, 기기 및 저장 매체 - Google Patents

Abstract

본 출원은 이미지 프로젝션 방법, 장치, 기기 및 저장 매체에 관한 것으로, 지능형 교통 분야에 관한 것이다. 구체적인 구현 방안에 따르면, 차량 상의 AR 카메라의 카메라 좌표계에서의 캘리브레이션할 영역의 제1 카메라 좌표를 획득하되, 캘리브레이션할 영역은 AR 카메라의 촬영 범위 내에 위치하고; AR 카메라의 제1 외부 파라미터 행렬과 차량 상의 헤드업 디스플레이의 제2 외부 파라미터 행렬 사이의 상대적 변환 관계를 획득하며; 제1 카메라 좌표와 상대적 변환 관계에 따라, 헤드업 디스플레이의 좌표계에서의 캘리브레이션할 영역에 대응되는 프로젝션 부호의 제2 카메라 좌표를 결정하고; 제2 카메라 좌표를 기초로, 헤드업 디스플레이가 이미지를 프로젝션하도록 제어하되, 이미지는 프로젝션 부호를 포함한다. 수동적으로 파라미터를 조정하고 여러번 시행하지 않고도 이미지 프로젝션 후에 프로젝션 부호와 캘리브레이션할 영역의 실경 오버랩을 구현할 수 있으므로, 조작이 간편하고, 효율이 보다 높다.

Description

이미지 프로젝션 방법, 장치, 기기 및 저장 매체{IMAGE PROJECTION METHOD, APPARATUS, DEVICE AND STORAGE MEDIUM}

본 출원은 데이터 처리 중의 지능형 교통 분야에 관한 것으로, 특히 이미지 프로젝션 방법, 장치, 기기 및 저장 매체에 관한 것이다.

헤드업 디스플레이(Head Up Display, HUD로 약칭)는 차량의 관건적 정보를 차량의 윈드쉴드 상에 프로젝션하여, 운전자가 머리를 숙이지 않고도 이러한 관건적 정보를 파악할 수 있도록 하는 기술이고, 증강현실(Augmented Reality, AR로 약칭) HUD는 프로젝션하는 기초 상에서, 프로젝션되는 내용과 실경을 오버랩하는 구현 방식이다.

ARHUD 프로젝션 수행 시, 프로젝션되는 내용과 실경을 오버랩하여야 하므로, 이미지는 윈드쉴드의 대응되는 위치에 프로젝션되어야 한다. 기존의 ARHUD의 구현 방안에 따르면, 사람이 운전석에 착석하고, AR 이미지를 프로젝션한 후, 프로젝션되는 이미지의 위치에 따라 관련 파라미터를 조정하며, 수동적으로 끊임없이 시행 및 조정하여, 프로젝션되는 이미지와 실경의 오버랩을 구현한다.

상술한 방안은 수동적으로 끊임없이 조정하고 시행하므로, 조작이 복잡하고, 효율이 보다 낮다.

본 출원은 이미지 프로젝션 방법, 장치, 기기 및 저장 매체를 제공한다.

본 출원의 제1 측면에 따르면, 이미지 프로젝션 방법을 제공하는바, 상기 방법은,

차량 상의 AR 카메라의 카메라 좌표계에서의 캘리브레이션할 영역의 제1 카메라 좌표를 획득하되, 상기 캘리브레이션할 영역은 상기 AR 카메라의 촬영 범위 내에 위치하는 단계;

상기 AR 카메라의 제1 외부 파라미터 행렬과 상기 차량 상의 헤드업 디스플레이의 제2 외부 파라미터 행렬 사이의 상대적 변환 관계를 획득하는 단계;

상기 제1 카메라 좌표와 상기 상대적 변환 관계에 따라, 상기 헤드업 디스플레이의 좌표계에서의 상기 캘리브레이션할 영역에 대응되는 프로젝션 부호의 제2 카메라 좌표를 결정하는 단계; 및,

상기 제2 카메라 좌표를 기초로, 상기 헤드업 디스플레이가 이미지를 프로젝션하도록 제어하되, 상기 이미지는 상기 프로젝션 부호를 포함하는 단계;를 포함한다.

본 출원의 제2 측면에 따르면, 이미지 프로젝션 장치를 제공하는바, 상기 장치는,

차량 상의 AR 카메라의 카메라 좌표계에서의 캘리브레이션할 영역의 제1 카메라 좌표를 획득하되, 상기 캘리브레이션할 영역은 상기 AR 카메라의 촬영 범위 내에 위치하는 제1 획득 모듈;

상기 AR 카메라의 제1 외부 파라미터 행렬과 상기 차량 상의 헤드업 디스플레이의 제2 외부 파라미터 행렬 사이의 상대적 변환 관계를 획득하는 제2 획득 모듈;

상기 제1 카메라 좌표와 상기 상대적 변환 관계에 따라, 상기 헤드업 디스플레이의 좌표계에서의 상기 캘리브레이션할 영역에 대응되는 프로젝션 부호의 제2 카메라 좌표를 결정하는 결정 모듈; 및,

상기 제2 카메라 좌표를 기초로, 상기 헤드업 디스플레이가 이미지를 프로젝션하도록 제어하되, 상기 이미지는 상기 프로젝션 부호를 포함하는 처리 모듈;을 포함한다.

본 출원의 제3 측면에 따르면 전자기기를 제공하는바, 상기 전자기기는,

적어도 하나의 프로세서; 및,

상기 적어도 하나의 프로세서와 통신 연결되는 메모리;를 포함하되, 여기서,

상기 메모리에상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 제1 측면 중 어느 하나에 따른 방법을 수행할 수 있도록 한다.

본 출원의 제4 측면에 따르면, 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체를 제공하는바, 여기서, 상기 컴퓨터 명령은 컴퓨터가 제1 측면 중 어느 하나에 따른 방법을 수행하도록 한다.

본 출원의 제5 측면에 따르면, 컴퓨터 프로그램을 제공하는바, 상기 컴퓨터 프로그램은 컴퓨터 판독 가능 저장 매체에 저장되고, 전자기기의 적어도 하나의 프로세서는 상기 판독 가능 저장 매체로부터 상기 컴퓨터 프로그램을 판독할 수 있으며, 상기 적어도 하나의 프로세서는 상기 컴퓨터 프로그램을 실행하여 전자기기가 제1 측면에 따른 방법을 수행하도록 한다.

본 출원의 실시예에 따른 이미지 프로젝션 방법, 장치, 기기 및 저장 매체는, 우선 차량 상의 AR 카메라의 카메라 좌표계에서의 캘리브레이션할 영역의 제1 카메라 좌표를 획득한 다음, AR 카메라의 제1 외부 파라미터 행렬과 차량 상의 헤드업 디스플레이의 제2 외부 파라미터 행렬 사이의 상대적 변환 관계를 획득하고, 제1 카메라 좌표와 상대적 변환 관계에 따라, 헤드업 디스플레이의 좌표계에서의 캘리브레이션할 영역에 대응되는 프로젝션 부호의 제2 카메라 좌표를 결정함으로써, 제2 카메라 좌표를 기초로, 헤드업 디스플레이가 이미지를 프로젝션하도록 제어하되, 이미지는 프로젝션 부호를 포함한다. 본 출원의 실시예의 방안은, 제1 외부 파라미터 행렬과 제2 외부 파라미터 행렬 사이의 상대적 변환 관계를 통해, AR 카메라에 의해 인식된 캘리브레이션할 영역의 제1 카메라 좌표를 헤드업 디스플레이의 좌표계로 변환함으로써,헤드업 디스플레이에서의 프로젝션 부호의 제2 카메라 좌표를 획득하고, 제2 카메라 좌표를 기초로 이미지 프로젝션을 수행하여, 이미지 프로젝션 후 프로젝션 부호와 캘리브레이션할 영역과의 실경 오버랩을 구현한다. 수동적으로 파라미터를 조정하고 여러번 시행할 필요가 없으므로, 조작이 간편하고, 효율이 보다 높다.

본 부분에 기재되는 내용은 본 출원의 실시예의 핵심 또는 중요 특징을 특정하려는 목적이 아니며, 본 출원의 범위를 한정하는 것도 아닌 것으로 이해하여야 한다. 본 출원의 기타 특징은 아래의 명세서로부터 쉽게 이해할 수 있다.

첨부되는 도면은 본 방안을 더 충분히 이해하도록 제공되는 것으로서, 본 출원에 대한 한정은 아니다. 여기서,
도 1은 본 출원의 실시예에 따른 응용 시나리오를 나타내는 도면이다.
도 2는 본 출원의 실시예에 따른 이미지 프로젝션 방법을 나타내는 흐름도이다.
도 3은 본 출원의 실시예에 따른 상대적 변환 관계를 획득하는 흐름도이다.
도 4는 본 출원의 실시예에 따른 제1 상대적 변환 관계의 획득을 나타내는 도면이다.
도 5는 본 출원의 실시예에 따른 제2 상대적 변환 관계의 획득을 나타내는 도면이다.
도 6은 본 출원의 실시예에 따른 이미지 프로젝션 시스템의 블록도이다.
도 7은 본 출원의 실시예에 따른 이미지 프로젝션 장치의 구성도이다.
도 8은 본 출원의 실시예에 따른 예시적 전자기기의 블록도이다.

아래에서는 첨부 도면을 결합하여 본 출원의 예시적인 실시예에 대해 설명하며, 이해를 돕기 위하여 본 출원의 실시예의 다양한 세부 사항을 포함하며, 이들은 단지 예시적인 것으로만 간주하여야 한다. 따라서, 본 분야의 통상적인 지식을 가진자라면, 여기에 기재되는 실시예에 대해 다양한 변경과 수정을 가할 수 있으며, 이는 본 출원의 범위와 정신을 벗어나지 않는다는 것을 이해하여야 한다. 마찬가지로, 명확성과 간결성을 위하여, 아래의 기재에서 공지 기능과 구조에 대한 설명을 생략한다.

HUD: Head Up Display, 헤드업 표시, 정면 주시 표시, 헤드업(정면 주시) 디스플레이, 헤드업(정면 주시) 표시 시스템이라고도 하며, 운전자를 중심으로, 시속, 네비게이션 등의 중요한 차량 주행 정보를 운전자 전방의 윈드쉴드 상에 투영하여, 운전자가 가능한 한 머리를 숙이지 않고, 머리를 돌리지 않고도 중요한 운전 정보를 볼 수 있도록 하는 기술이다.

AR: Augmented Reality, 증강 현실. 본 출원에서, ARHUD는 HUD의 기초 상에서, 내부 특수 설계된 광학 시스템을 통해 이미지 정보를 실제 교통 도로 상황에 정확하게 결합하는 것으로서, 예를 들어 타이어 압력, 속도, 회전 속도 또는 네비게이션 등의 정보를 전방의 윈드쉴드 상에 프로젝션하여, 운전자가 머리를 숙이거나 돌리지 않고도 중요한 운전 정보를 볼 수 있도록 하며, 프로젝션되는 정보는 차량 전방의 실경과 융합될 수 있다.

내부 파라미터 행렬: 카메라의 일 파라미터로서, 내부 파라미터 행렬은 3D 카메라 좌표를 2D 동종 이미지 좌표로 변환하는 행렬이며, 카메라 좌표계와 픽셀 좌표계 사이의 좌표 변환을 구현할 수 있다.

외부 파라미터 행렬: 카메라의 일 파라미터로서, 외부 파라미터 행렬은 회전 행렬과 평행 이동 벡터를 포함하되, 회전 행렬과 평행 이동 벡터는 함께 포인트를 어떻게 세계 좌표계로부터 카메라 좌표계로 변환하는지를 나타내며, 여기서, 회전 행렬은 카메라 좌표계의 좌표축에 대한 세계 좌표계의 좌표축의 방향을 나타내고, 평행 이동 벡터는 카메라 좌표계에서의 공간 원점의 위치를 나타낸다. 외부 파라미터 행렬은 세계 좌표계와 카메라 좌표계 사이의 좌표 변환을 구현할 수 있다.

도 1은 본 출원의 실시예에 따른 응용 시나리오를 나타내는 도면이다. 도 1에 도시된 바와 같이, 차량 상에 AR 카메라(11) 및 헤드업 디스플레이(12)가 포함되어 있고, AR 카메라(11)의 촬영 범위는 도 1 중 대응되는 점선으로 표시된 바와 같다. 차량 전방에 도로 구간(13)이 존재하고, AR 카메라(11)는 차량 전방의 화면을 촬영할 수 있으며, 여기서 도로 구간(13)은 AR 카메라(11)의 촬영 범위 내에 위치한다.

헤드업 디스플레이(12)는 화면을 윈드쉴드(14) 상에 프로젝션하기 위한 것이고, 운전자는 운전 시 전방을 주시할 때 윈드쉴드(14) 상의 프로젝션 화면을 관찰할 수 있다. 여기서, 운전석 상의 운전자가 전방을 관찰할 때, 프로젝션되는 화면과 차량 전방의 실경과의 융합을 구현하여야 한다.

예를 들어 차량 전방의 실경이 도로 구간(13)인 예를 들면, 도 1 중 아래에 예시된 바와 같이, 도로 구간(13)은 하나의 분기점으로서, 하나의 우회전 길목과 하나의 직진 길목을 포함한다. 이때, AR 카메라는 차량 전방의 화면을 촬영하여 상기 분기점을 인식할 수 있다. 헤드업 디스플레이(12)가 프로젝션해야 할 화면이 하나의 우회전 화살표를 포함하면, 운전자에게 보여주려는 우회전 화살표가 마침 우회전 길목 상에 대응된다. 도 1 아래의 화면은 바로 운전자에게 보여진 우회전 화살표와 우회전 길목이 오버랩되는 화면이다.

이미지 프로젝션 수행 시, 프로젝션되는 이미지 내용과 실경의 오버랩을 구현하여야 하므로, 프로젝션되는 이미지는 윈드쉴드의 대응되는 위치에 위치하여야 한다. 현재 이미지 프로젝션을 구현하는 방안에 따르면, 한 사람이 운전석에 착석하고, AR 카메라를 통해 화면을 촬영하여 화면 중의 캘리브레이션할 영역을 인식한 다음, 헤드업 디스플레이가 이미지를 프로젝션하고, 사람이 프로젝션되는 이미지와 실경이 오버랩되는 효과를 관찰한 후, 프로젝션되는 이미지와 실경이 오버랩될 때까지, 수동적으로 파라미터를 조정하고, 여러번 시행한다. 이러한 방식은 조작이 복잡하고 효율이 비교적 낮다.

상기 문제점을 기반으로, 본 출원의 실시예는 수동적으로 여러번 조정 및 시행할 필요가 없이, 이미지 프로젝션 효율을 향상시킬 수 있으며, 조작이 간편한 이미지 프로젝션 방안을 제공한다. 아래에서는 첨부되는 도면을 결합하여 본 출원의 방안에 대해 소개한다.

도 2는 본 출원의 실시예에 따른 이미지 프로젝션 방법을 나타내는 흐름도이다. 도 2에 도시된 바와 같이, 상기 방법은 아래의 단계들을 포함할 수 있다.

S21, 차량 상의 AR 카메라의 카메라 좌표계에서의 캘리브레이션할 영역의 제1 카메라 좌표를 획득하되, 상기 캘리브레이션할 영역은 상기 AR 카메라의 촬영 범위 내에 위치한다.

AR 카메라는 차량 상의 일 차량용 카메라로서, 차량 전방의 이미지를 촬영하고, 이미지로부터 캘리브레이션할 영역을 인식하는데 사용될 수 있다. 캘리브레이션할 영역은 이미지 프로젝션을 수행하여 캘리브레이션을 수행해야 할 영역이고, 캘리브레이션할 영역은 AR 카메라의 촬영 범위 내에 위치한다. 예를 들어 일반적인 캘리브레이션할 영역은 좌회전 길목, 우회전 길목, 직진 길목, U 턴 영역 등일 수 있다.

어떠한 영역들이 캘리브레이션할 영역인지를 미리 설정한 다음, AR 카메라의 촬영 화면을 획득할 수 있다. AR 카메라의 촬영 화면에 캘리브레이션할 영역이 나타나면, 인식을 수행하여, AR 카메라의 카메라 좌표계에서의 캘리브레이션할 영역의 제1 카메라 좌표를 획득할 수 있다.

S22, 상기 AR 카메라의 제1 외부 파라미터 행렬과 상기 차량 상의 헤드업 디스플레이의 제2 외부 파라미터 행렬 사이의 상대적 변환 관계를 획득한다.

헤드업 디스플레이는 이미지 프로젝션을 수행하기 위한 차량 상의 하나의 장치로서, 차량의 윈드쉴드 상에 프로젝션한다. 외부 파라미터 행렬은 세계 좌표계와 카메라 좌표계에서의 좌표 변환을 구현할 수 있다. 예를 들어, AR 카메라의 제1 외부 파라미터 행렬을 기초로, 캘리브레이션할 영역의 제1 카메라 좌표를 대응되는 세계 좌표계에서의 좌표로 변환할 수 있다. 본 출원의 실시예에서, AR 카메라의 제1 외부 파라미터 행렬과 헤드업 디스플레이의 제2 외부 파라미터 행렬 사이의 상대적 변환 관계를 획득하여야 한다. 왜냐 하면, 최종적으로 헤드업 디스플레이에서 이미지를 프로젝션하고, 프로젝션되는 이미지는 실경과 융합되어야 하기 때문이며, 캘리브레이션할 영역은 바로 하나의 실경이다.

S23, 상기 제1 카메라 좌표와 상기 상대적 변환 관계에 따라, 상기 헤드업 디스플레이의 좌표계에서의 상기 캘리브레이션할 영역에 대응되는 프로젝션 부호의 제2 카메라 좌표를 결정한다.

제1 외부 파라미터 행렬과 제2 외부 파라미터 행렬 사이의 상대적 변환 관계를 획득한 후, 제1 외부 파라미터 행렬을 기초로 제1 카메라 좌표를 세계 좌표계에서의 캘리브레이션할 영역의 좌표로 변환한 다음, 상대적 변환 관계와 제1 외부 파라미터 행렬을 기초로, 제2 외부 파라미터 행렬을 획득하고, 제2 외부 파라미터 행렬을 기초로 헤드업 디스플레이의 좌표계에서의 캘리브레이션할 영역의 카메라 좌표를 획득할 수 있다.

프로젝션 부호는 최종적으로 윈드쉴드 상에 프로젝션되어야 하며, 실경과 융합되어야 한다. 캘리브레이션할 영역이 우회전 길목인 예를 들면, 프로젝션 부호가 우회전 화살표이고, 구현하여야 할 효과는, 운전석으로부터 볼 때, 우회전 화살표의 위치가 마침 우회전 길목 상에 위치하여, 실경 융합이 이루어지는 것이다. 따라서, 헤드업 디스플레이의 좌표계에서의 캘리브레이션할 영역의 카메라 좌표를 결정한 후, 대응되게 헤드업 디스플레이의 좌표계에서의 프로젝션 부호의 제2 카메라 좌표를 결정할 수 있다.

S24, 상기 제2 카메라 좌표를 기초로, 상기 헤드업 디스플레이가 이미지를 프로젝션하도록 제어하되, 상기 이미지는 상기 프로젝션 부호를 포함한다.

프로젝션 부호의 제2 카메라 좌표를 결정한 후, 헤드업 디스플레이가 이미지를 프로젝션하도록 제어할 수 있으며, 이미지는 상기 프로젝션 부호를 포함하고, 프로젝션 부호의 제2 카메라 좌표를 기초로, 이미지에서의 프로젝션 부호의 위치를 결정하여, 이미지를 프로젝션할 수 있다.

본 출원의 실시예에 따른 이미지 프로젝션 방법은, 우선 차량 상의 AR 카메라의 카메라 좌표계에서의 캘리브레이션할 영역의 제1 카메라 좌표를 획득한 다음, AR 카메라의 제1 외부 파라미터 행렬과 차량 상의 헤드업 디스플레이의 제2 외부 파라미터 행렬 사이의 상대적 변환 관계를 획득하고, 제1 카메라 좌표와 상대적 변환 관계에 따라, 헤드업 디스플레이의 좌표계에서의 캘리브레이션할 영역에 대응되는 프로젝션 부호의 제2 카메라 좌표를 결정한다. 이에 따라, 제2 카메라 좌표를 기초로, 헤드업 디스플레이가 이미지를 프로젝션하도록 제어하되, 이미지는 프로젝션 부호를 포함한다. 본 출원의 실시예의 방안은, 제1 외부 파라미터 행렬과 제2 외부 파라미터 행렬 사이의 상대적 변환 관계를 통해, AR 카메라에 의해 인식된 캘리브레이션할 영역의 제1 카메라 좌표를 헤드업 디스플레이의 좌표계로 변환하여, 헤드업 디스플레이에서에서의 프로젝션 부호의 제2 카메라 좌표를 획득하고, 제2 카메라 좌표를 기초로 이미지 프로젝션을 수행함으로써, 이미지 프로젝션 후 프로젝션 부호와 캘리브레이션할 영역의 실경과의 오버랩을 구현한다. 수동적으로 파라미터를 조정하고 여러번 시행할 필요가 없으므로, 조작이 간편하고, 효율이 보다 높다.

아래에서는 첨부되는 도면을 결합하여 본 출원의 방안에 대해 상세하게 소개한다.

도 3은 본 출원의 실시예에 따른 상대적 변환 관계의 획득을 나타내는 흐름도이다. 도 3에 도시된 바와 같이, 아래의 단계들을 포함한다.

S31, 상기 제1 외부 파라미터 행렬과 제1 카메라의 제3 외부 파라미터 행렬 사이의 제1 상대적 변환 관계를 획득하되, 상기 제1 카메라는 상기 차량의 운전석의 기설정 위치에 설치된다.

제1 카메라는 차량의 운전석의 기설정 위치에 있는 카메라이고, 제1 카메라의 촬영 범위는 운전석에 착석한 운전자의 관측 범위에 가까우며, 일반 운전자의 눈의 대체적인 방위에 따라 제1 카메라의 운전석에서의 기설정 위치를 결정할 수 있다.

도 4는 본 출원의 실시예에 따른 제1 상대적 변환 관계의 획득을 나타내는 도면이다. 도 4에 도시된 바와 같이, 제1 카메라(41), AR 카메라(42) 및 윈드쉴드(43)를 포함하고, 제1 카메라(41)가 위치하는 기설정 위치는 운전자의 눈 위치에 인접된다. 도 4에서 점선은 각각 제1 카메라(41)와 AR 카메라(42)의 촬영 범위이다.

AR 카메라의 제1 외부 파라미터 행렬과 제1 카메라의 제3 외부 파라미터 행렬 사이의 제1 상대적 변환 관계를 획득하려면, 하나의 참조물을 설정하여야 하며, AR 카메라와 제1 카메라가 상기 참조물을 촬영한 다음, 좌표 변환을 기초로 제1 상대적 변환 관계를 획득하여야 한다.

구체적으로, 차량 전방에 하나의 기설정 패턴을 설치하여, AR 카메라가 상기 기설정 패턴을 촬영하여, 제1 이미지를 획득하고, 제1 카메라가 상기 기설정 패턴을 촬영하여, 제2 이미지를 획득할 수 있다. 다음, AR 카메라의 제1 내부 파라미터 행렬과 제1 카메라의 제2 내부 파라미터 행렬을 획득한다. 여기서, 카메라의 내부 파라미터 행렬은 카메라의 고정 파라미터로서, 직접 획득할 수 있다. 내부 파라미터 행렬은 카메라 좌표계와 픽셀 좌표계에서의 좌표 변환을 구현할 수 있다.

제1 내부 파라미터 행렬과 제2 내부 파라미터 행렬을 획득한 후, 제1 이미지, 제2 이미지, 제1 내부 파라미터 행렬 및 제2 내부 파라미터 행렬을 기초로, 제1 상대적 변환 관계를 획득할 수 있다.

구체적으로, 기설정 패턴 상의 임의의 제1 기설정 포인트에 대하여, 제1 기설정 포인트의 세계 좌표계에서의 제1 세계 좌표, 및 제1 기설정 포인트의 제1 이미지 상에서 대응되는 제1 이미지 좌표와 제2 이미지 상에서 대응되는 제2 이미지 좌표를 획득할 수 있으며, 여기서, 제1 이미지 좌표는 AR 카메라의 픽셀 좌표계에서의 제1 기설정 포인트의 좌표이고, 제2 이미지 좌표는 제1 카메라의 픽셀 좌표계에서의 제1 기설정 포인트의 좌표이다.

제1 세계 좌표, 제1 이미지 좌표 및 제2 이미지 좌표를 획득한 후, 제1 세계 좌표, 제1 이미지 좌표와 제1 내부 파라미터 행렬을 기초로, AR 카메라의 제1 자세를 획득하고, 제1 세계 좌표, 제2 이미지 좌표 및 제2 내부 파라미터 행렬을 기초로, 제1 카메라의 제2 자세를 획득할 수 있다.

제1 자세와 제2 자세를 획득한 후, 제1 자세와 제2 자세를 기초로, 제1 상대적 변환 관계를 획득할 수 있다. 아래에서는 도 4를 결합하여 상기 과정에 대해 설명한다.

도 4에 도시된 바와 같이, 기설정 패턴이 하나의 체커보드(44)인 예를 들면, AR 카메라(42)와 제1 카메라(41)는 각각 차량 전방의 체커보드(44)를 촬영하여, 각각 제1 이미지와 제2 이미지를 획득한다.

체커보드(44)의 코너 포인트를 제1 기설정 포인트로 하면, 세계 좌표계에서의 제1 기설정 포인트의 제1 세계 좌표는

이고, 그 후에 제1 이미지를 기초로 AR 카메라(42)의 픽셀 좌표계에서의 제1 기설정 포인트의 제1 이미지 좌표

를 획득하고, 제2 이미지를 기초로 제1 카메라(41)의 픽셀 좌표계에서의 제1 기설정 포인트의 제2 이미지 좌표

를 획득한다.

AR 카메라(42)의 제1 내부 파라미터 행렬이

, 제1 자세가

, 제1 카메라(41)의 제2 내부 파라미터 행렬이

, 제2 자세가

라고 가정한다.

이때, 아래와 같은 등식을 얻을 수 있다.

, (1)

, (2)

여기서,

는 제1 카메라의 스케일 팩터,

는 AR 카메라의 스케일 팩터,

는 단위 행렬이다. 등식 (1)은 AR 카메라의 픽셀 좌표계와 세계 좌표계에서의 제1 기설정 포인트의 좌표 변환 등식을 나타내고, 등식 (2)는 제1 카메라의 픽셀 좌표계와 세계 좌표계에서의 제1 기설정 포인트의 좌표 변환 등식을 나타낸다.

등식 (1)에 따라 제1 자세

를 획득하고, 등식 (2)에 따라 제2 자세

를 획득할 수 있다. 여기서,

는 AR 카메라의 회전 행렬이고,

는 대응되는 평행 이동 벡터이다.

는 제1 카메라의 회전 행렬이고,

는 대응되는 평행 이동 벡터이다.

제1 자세와 제2 자세를 획득한 후, 제1 상대적 변환 관계를 획득할 수 있다.

. (3)

여기서,

는 제3 외부 파라미터 행렬이고,

는 제1 외부 파라미터 행렬이다.

S32, 상기 제2 외부 파라미터 행렬과 상기 제3 외부 파라미터 행렬 사이의 제2 상대적 변환 관계를 획득한다.

제1 상대적 변환 관계를 획득한 후, 제2 외부 파라미터 행렬과 제3 외부 파라미터 행렬 사이의 제2 상대적 변환 관계를 더 획득하여야, 최종적으로 제1 외부 파라미터 행렬과 제2 외부 파라미터 행렬 사이의 상대적 변환 관계를 획득할 수 있고, 여기서, 제2 상대적 변환 관계의 획득은 제1 상대적 변환 관계의 획득 방법과 유사하며, 아래에서 상세하게 설명한다.

우선, 헤드업 디스플레이가 프로젝션한 제3 이미지, 및 제1 카메라가 제3 이미지를 촬영하여 획득한 제4 이미지를 획득하여야 하며, 제3 이미지와 제4 이미지의 해상도가 동일하다.

그 후, 제1 카메라의 제2 내부 파라미터 행렬과 헤드업 디스플레이의 제3 내부 파라미터 행렬을 획득하고, 제3 이미지, 제4 이미지, 제2 내부 파라미터 행렬 및 제3 내부 파라미터 행렬을 기초로, 제2 상대적 변환 관계를 획득한다.

구체적으로, 제3 이미지 상의 임의의 제2 기설정 포인트에 대하여, 세계 좌표계에서의 제2 기설정 포인트의 제2 세계 좌표, 및 제2 기설정 포인트의 제3 이미지 상에서 대응되는 제3 이미지 좌표 및 제4 이미지 상에서 대응되는 제4 이미지 좌표를 획득할 수 있으며, 여기서, 제3 이미지 좌표는 헤드업 디스플레이의 픽셀 좌표계에서의 제2 기설정 포인트의 좌표이고, 제4 이미지 좌표는 제1 카메라의 픽셀 좌표계에서의 제2 기설정 포인트의 좌표이다.

제2 세계 좌표, 제3 이미지 좌표 및 제4 이미지 좌표를 획득한 후, 제2 세계 좌표, 제3 이미지 좌표 및 제3 내부 파라미터 행렬을 기초로, 헤드업 디스플레이의 제3 자세를 획득하고, 제2 세계 좌표, 제4 이미지 좌표 및 제2 내부 파라미터 행렬을 기초로, 제1 카메라의 제2 자세를 획득할 수 있다.

제3 자세와 제2 자세를 획득한 후, 제3 자세와 제2 자세를 기초로, 제2 상대적 변환 관계를 획득할 수 있다. 아래에서는 도 5를 결합하여 상기 과정에 대해 설명한다.

도 5는 본 출원의 실시예에 따른 제2 상대적 변환 관계의 획득을 나타내는 도면이다. 도 5에 도시된 바와 같이, 제1 카메라(41), 헤드업 디스플레이(51) 및 윈드쉴드(43)를 포함하되, 제1 카메라(41)가 위치하는 기설정 위치는 운전자의 눈의 위치에 인접된다.

하나의 체커보드 이미지(52)를 생성하고, 체커보드 이미지(52)의 코너 포인트를 제2 기설정 포인트로 사용하며, 세계 좌표계에서의 제2 기설정 포인트의 제2 세계 좌표는

이고, 그 후 헤드업 디스플레이(51)를 통해 상기 체커보드 이미지(52)를 프로젝션하여 제3 이미지를 획득하고, 제1 카메라(41)로 헤드업 디스플레이(51)가 프로젝션한 체커보드 이미지(52)를 촬영하여 제4 이미지를 획득한다.

다음, 제3 이미지를 기초로 헤드업 디스플레이(51)의 픽셀 좌표계에서의 제2 기설정 포인트의 제3 이미지 좌표

를 획득하고, 제4 이미지를 기초로 제1 카메라(41)의 픽셀 좌표계에서의 제2 기설정 포인트의 제4 이미지 좌표

를 획득한다.

헤드업 디스플레이(51)의 제3 내부 파라미터 행렬은

이고, 제3 자세는

이며, 제1 카메라(41)의 제2 내부 파라미터 행렬은

이고, 제2 자세는

라고 가정한다.

이때 아래와 같은 등식을 얻을 수 있다.

, (4)

, (5)

여기서,

는 헤드업 디스플레이의 스케일 팩터이고,

는 제1 카메라의 스케일 팩터이며,

는 단위 행렬이다. 등식 (4)는 제2 기설정 포인트의 헤드업 디스플레이의 픽셀 좌표계와 세계 좌표계에서의 좌표 변환을 나타내는 등식이고, 등식 (5)는 제2 기설정 포인트의 제1 카메라의 픽셀 좌표계와 세계 좌표계에서의 좌표 변환을 나타내는 등식이다.

등식 (4)에 따라 제3 자세

를 획득하고, 등식 (5)에 따라 제2 자세

를 획득할 수 있다. 여기서,

는 헤드업 디스플레이의 회전 행렬이고,

는 대응되는 평행 이동 벡터이다.

는 제1 카메라의 회전 행렬이고,

는 대응되는 평행 이동 벡터이다.

제3 자세와 제2 자세를 획득한 후, 제2 상대적 변환 관계를 획득할 수 있다.

. (6)

여기서,

는 제3 외부 파라미터 행렬이고,

는 제2 외부 파라미터 행렬이다.

S33, 상기 제1 상대적 변환 관계와 상기 제2 상대적 변환 관계에 따라, 상기 상대적 변환 관계를 획득한다.

등식 (3) 및 등식 (6)에 따라 아래의 수식을 획득할 수 있다.

, (7)

즉, 상대적 변환 관계

는 아래와 같다.

. (8)

등식 (8)의 캘리브레이션 결과를 구성 파일 또는 데이터베이스에 저장하여, 향후의 이미지 프로젝션에 사용할 수 있다.

구체적으로, 제1 카메라 좌표와 상대적 변환 관계에 따라, 헤드업 디스플레이의 좌표계에서의 캘리브레이션할 영역의 제3 카메라 좌표를 결정한 후, 캘리브레이션할 영역과 프로젝션 부호 사이의 실경 오버랩 관계, 및 제3 카메라 좌표를 기초로, 제2 카메라 좌표를 할 수 있다. 마지막으로 제2 카메라 좌표를 기초로, 헤드업 디스플레이가 이미지를 프로젝션하도록 제어하되, 이미지는 프로젝션 부호를 포함한다.

도 6은 본 출원의 실시예에 따른 이미지 프로젝션 시스템의 블록도이다. 도 6에 도시된 바와 같이, 센터 패널, AR 카메라, 제1 카메라, 체커보드 디스플레이 및 헤드업 디스플레이를 포함한다.

여기서, AR 카메라와 제1 카메라는 각각 체커보드를 촬영하여, 제1 체커보드 이미지(즉, 상술한 실시예에 따른 제1 이미지)와 제2 체커보드 이미지(즉, 상술한 실시예에 따른 제2 이미지)를 각각 획득한 다음, AR 카메라는 센터 패널로 제1 체커보드 이미지를 송신하고, 제1 카메라는 센터 패널로 제2 체커보드 이미지를 송신한다. 다음, 헤드업 디스플레이는 제3 체커보드 이미지(즉, 상술한 실시예에 따른 제3 이미지)를 프로젝션하고, 제1 카메라는 제3 체커보드 이미지를 촬영하여 제4 체커보드 이미지(즉, 상술한 실시예에 따른 제4 이미지)를 획득하고, 헤드업 디스플레이는 센터 패널로 제3 체커보드 이미지를 송신하며, 제1 카메라는 센터 패널로 제4 체커보드 이미지를 송신한다.

다음, 센터 패널은 상기 체커보드 이미지 중의 좌표 변화 관계에 따라, AR 카메라의 제1 외부 파라미터 행렬과 헤드업 디스플레이의 제2 외부 파라미터 행렬 사이의 상대적 변환 관계를 획득하고, 상기 상대적 변환 관계에 따라 헤드업 디스플레이가 이미지를 체커보드 디스플레이 상에 프로젝션하도록 제어하며, 상기 체커보드 디스플레이는 예를 들어 차량의 윈드쉴드 등일 수 있다.

본 출원의 실시예에 따른 이미지 프로젝션 방법은, 우선 차량 상의 AR 카메라의 카메라 좌표계에서의 캘리브레이션할 영역의 제1 카메라 좌표를 획득한 다음, AR 카메라의 제1 외부 파라미터 행렬과 차량 상의 헤드업 디스플레이의 제2 외부 파라미터 행렬 사이의 상대적 변환 관계를 획득하고, 제1 카메라 좌표와 상대적 변환 관계에 따라, 헤드업 디스플레이의 좌표계에서의 캘리브레이션할 영역에 대응되는 프로젝션 부호의 제2 카메라 좌표를 결정함으로써, 제2 카메라 좌표를 기초로, 헤드업 디스플레이가 이미지를 프로젝하도록 제어하되, 이미지는 프로젝션 부호를 포함한다. 본 출원의 실시예의 방안은, 제1 외부 파라미터 행렬과 제2 외부 파라미터 행렬 사이의 상대적 변환 관계를 통해, AR 카메라에 의해 인식된 캘리브레이션할 영역의 제1 카메라 좌표를 헤드업 디스플레이의 좌표계로 변환함으로써, 헤드업 디스플레이에서의 프로젝션 부호의 제2 카메라 좌표를 획득하고, 제2 카메라 좌표를 기초로 이미지 프로젝션을 수행하여, 이미지 프로젝션 후 프로젝션 부호와 캘리브레이션할 영역의 실경과의 오버랩을 구현한다. 수동적으로 파라미터를 조정하고 여러번 시행할 필요가 없으므로, 조작이 간편하고, 효율이 보다 높다.

도 7은 본 출원의 실시예에 따른 이미지 프로젝션 장치의 구성도이다. 도 7에 도시된 바와 같이, 상기 장치(70)는,

차량 상의 AR 카메라의 카메라 좌표계에서의 캘리브레이션할 영역의 제1 카메라 좌표를 획득하되, 상기 캘리브레이션할 영역은 상기 AR 카메라의 촬영 범위 내에 위치하는 제1 획득 모듈(71);

상기 AR 카메라의 제1 외부 파라미터 행렬과 상기 차량 상의 헤드업 디스플레이의 제2 외부 파라미터 행렬 사이의 상대적 변환 관계를 획득하는 제2 획득 모듈(72);

상기 제1 카메라 좌표와 상기 상대적 변환 관계에 따라, 상기 헤드업 디스플레이의 좌표계에서의 상기 캘리브레이션할 영역에 대응되는 프로젝션 부호의 제2 카메라 좌표를 결정하는 결정 모듈(73); 및,

상기 제2 카메라 좌표를 기초로, 상기 헤드업 디스플레이가 이미지를 프로젝션하도록 제어하되, 상기 이미지는 상기 프로젝션 부호를 포함하는 처리 모듈(74);을 포함한다.

일 가능한 실시형태에서, 상기 제2 획득 모듈(72)은,

상기 제1 외부 파라미터 행렬과 제1 카메라의 제3 외부 파라미터 행렬 사이의 제1 상대적 변환 관계를 획득하되, 상기 제1 카메라는 상기 차량의 운전석의 기설정 위치에 설치되는 제1 획득 유닛;

상기 제2 외부 파라미터 행렬과 상기 제3 외부 파라미터 행렬 사이의 제2 상대적 변환 관계를 획득하는 제2 획득 유닛; 및,

상기 제1 상대적 변환 관계와 상기 제2 상대적 변환 관계에 따라, 상기 상대적 변환 관계를 획득하는 제3 획득 유닛;을 포함한다.

일 가능한 실시형태에서, 상기 제1 획득 유닛은,

상기 AR 카메라가 기설정 패턴을 촬영한 제1 이미지와 상기 제1 카메라가 상기 기설정 패턴을 촬영한 제2 이미지를 획득하되, 상기 기설정 패턴은 상기 차량 전방에 설치되는 제1 획득 서브 유닛;

상기 AR 카메라의 제1 내부 파라미터 행렬 및 상기 제1 카메라의 제2 내부 파라미터 행렬을 획득하는 제2 획득 서브 유닛; 및,

상기 제1 이미지, 상기 제2 이미지, 상기 제1 내부 파라미터 행렬 및 상기 제2 내부 파라미터 행렬을 기초로, 상기 제1 상대적 변환 관계를 획득하는 제3 획득 서브 유닛;을 포함한다.

일 가능한 실시형태에서, 상기 제3 획득 서브 유닛은 구체적으로,

상기 기설정 패턴 상의 임의의 제1 기설정 포인트에 대하여, 상기 제1 기설정 포인트의 세계 좌표계에서의 제1 세계 좌표, 상기 제1 기설정 포인트의 상기 제1 이미지 상에서 대응되는 제1 이미지 좌표 및 상기 제2 이미지 상에서 대응되는 제2 이미지 좌표를 획득하고;

상기 제1 세계 좌표, 상기 제1 이미지 좌표 및 상기 제1 내부 파라미터 행렬에 따라, 상기 AR 카메라의 제1 자세를 획득하며;

상기 제1 세계 좌표, 상기 제2 이미지 좌표 및 상기 제2 내부 파라미터 행렬을 기초로, 상기 제1 카메라의 제2 자세를 획득하고;

상기 제1 자세와 상기 제2 자세를 기초로, 상기 제1 상대적 변환 관계를 획득한다.

일 가능한 실시형태에서, 상기 제2 획득 유닛은,

상기 헤드업 디스플레이가 프로젝션한 제3 이미지, 및 상기 제1 카메라가 상기 제3 이미지를 촬영하여 획득한 제4 이미지를 획득하되, 상기 제3 이미지와 상기 제4 이미지의 해상도가 동일한 제4 획득 서브 유닛;

상기 제1 카메라의 제2 내부 파라미터 행렬과 상기 헤드업 디스플레이의 제3 내부 파라미터 행렬을 획득하는 제5 획득 서브 유닛; 및,

상기 제3 이미지, 상기 제4 이미지, 상기 제2 내부 파라미터 행렬 및 상기 제3 내부 파라미터 행렬을 기초로, 상기 제2 상대적 변환 관계를 획득하는 제6 획득 서브 유닛;을 포함한다.

일 가능한 실시형태에서, 상기 제6 획득 서브 유닛은 구체적으로,

상기 제3 이미지 상의 임의의 제2 기설정 포인트에 대하여, 상기 제2 기설정 포인트의 세계 좌표계에서의 제2 세계 좌표, 상기 제2 기설정 포인트의 상기 제3 이미지 상에서 대응되는 제3 이미지 좌표 및 상기 제4 이미지 상에서 대응되는 제4 이미지 좌표를 획득하고;

상기 제2 세계 좌표, 상기 제3 이미지 좌표 및 상기 제3 내부 파라미터 행렬을 기초로, 상기 헤드업 디스플레이의 제3 자세를 획득하며;

상기 제2 세계 좌표, 상기 제4 이미지 좌표 및 상기 제2 내부 파라미터 행렬을 기초로, 상기 제1 카메라의 제2 자세를 획득하고;

상기 제3 자세와 상기 제2 자세를 기초로, 상기 제2 상대적 변환 관계를 획득한다.

일 가능한 실시형태에서, 상기 결정 모듈(73)은,

상기 제1 카메라 좌표와 상기 상대적 변환 관계에 따라, 상기 헤드업 디스플레이의 좌표계에서의 상기 캘리브레이션할 영역의 제3 카메라 좌표를 결정하는 결정 유닛; 및,

상기 캘리브레이션할 영역과 상기 프로젝션 부호 사이의 실경 오버랩 관계, 및 상기 제3 카메라 좌표를 기초로, 상기 제2 카메라 좌표를 결정하는 처리 유닛;을 포함한다.

본 출원의 실시예에 따른 이미지 프로젝션 장치는 상술한 방법 실시예를 수행하기 위한 것으로서, 그 구현 원리와 기술효과가 유사하므로, 본 실시예는 여기에서 반복되는 설명을 생략한다.

본 출원의 실시예에 따르면, 본 출원은 전자기기와 판독 가능 저장 매체를 더 제공한다.

본 출원의 실시예에 따르면, 본 출원은 컴퓨터 프로그램을 더 제공하며, 컴퓨터 프로그램은 컴퓨터 판독 가능 저장 매체에 저장되며, 전자기기의 적어도 하나의 프로세서는 판독 가능 저장 매체로부터 컴퓨터 프로그램을 판독할 수 있고, 적어도 하나의 프로세서는 컴퓨터 프로그램을 실행하여 전자기기가 상술한 어느 하나의 실시예에 따른 방안을 수행하도록 한다.

도 8은 본 출원의 실시예를 수행할 수 있는 예시적인 전자기기(800)를 나타내는 블록도이다. 전자기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크 스테이션, 개인 정보 단말기, 서버, 블레이드 서버, 대형 컴퓨터, 및 기타 적합한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 의미한다. 전자기기는 개인 디지털 처리, 셀룰러폰, 스마트 폰, 웨어러블 기기 및 다른 유사한 컴퓨팅 장치와 같은 다양한 형태의 모바일 장치를 의미할 수도 있다. 본문에 개시된 부재, 이들의 연결 및 관계, 및 이들의 기능은 단지 예시적인 것이며, 본문에 개시된 것 및/또는 요구하는 본 출원의 구현을 한정하려는 의도가 아니다.

도 8에 도시된 바와 같이, 전자기기(800)는 읽기 전용 메모리(802, ROM)에 저장된 컴퓨터 프로그램 또는 저장 유닛(808)으로부터 랜덤 액세스 메모리(803, RAM)에 로딩된 컴퓨터 프로그램에 따라 다양한 적절한 동작 및 처리를 수행할 수 있는 컴퓨팅 유닛(801)을 포함한다. RAM (803)에서, 기기(800)의 조작에 필요한 다양한 프로그램과 데이터를 더 저장할 수 있다. 컴퓨팅 유닛(801), ROM (802) 및 RAM (803)은 버스(804)를 통해 서로 연결된다. 입력/출력(I/O) 인터페이스(805)도 버스(804)에 연결된다.

키보드, 마우스 등과 같은 입력 유닛(806); 다양한 유형의 디스플레이, 스피커 등과 같은 출력 유닛(807); 자기 디스크, 광 디스크 등과 같은 저장 유닛(808); 및 네트워크 카드, 모뎀, 무선 통신 트랜시버 등과 같은 통신 유닛(809)을 포함하는 기기(800)의 복수의 부재는 I/O 인터페이스(805)에 연결된다. 통신 유닛(809)은 기기(800)가 인터넷과 같은 컴퓨터 네트워크 및/또는 다양한 통신 네트워크를 통해 다른 기기와 정보/데이터를 교환하도록 허용한다.

컴퓨팅 유닛(801)은 처리 및 컴퓨팅 능력을 갖춘 다양한 범용 및/또는 전용 처리 컴포넌트일 수 있다. 컴퓨팅 유닛(801)의 일부 예시는 중앙 처리 유닛(CPU), 그래픽 처리 유닛(GPU), 다양한 전용 인공지능(AI) 컴퓨팅 칩, 기계 학습 모델 알고리즘을 실행하는 다양한 컴퓨팅 유닛, 디지털 신호 프로세서(DSP), 및 임의의 적절한 프로세서, 컨트롤러, 마이크로 컨트롤러 등을 포함하지만 이에 한정되는 것은 아니다. 컴퓨팅 유닛(801)은 이미지 프로젝션 방법과 같이 상술한 다양한 방법 및 처리를 수행한다. 예를 들어, 일부 실시예에서, 이미지 프로젝션 방법은 저장 유닛(808)과 같은 기계 판독 가능 매체에 유형적으로 포함되는 컴퓨터 소프트웨어 프로그램으로 구현될 수 있다. 일부 실시예에서, 컴퓨터 프로그램의 부분 또는 전부는 ROM(802) 및/또는 통신 유닛(809)을 통해 기기(800)에 로딩 및/또는 설치될 수 있다. 컴퓨터 프로그램이 RAM(803)에 로딩되어 컴퓨팅 유닛(801)에 의해 실행될 경우, 상술한 이미지 프로젝션 방법의 하나 또는 복수의 단계를 수행할 수 있다. 대안적으로, 다른 실시예에서, 컴퓨팅 유닛(801)은 다른 임의의 적절한 방식(예를 들어, 펌웨어에 의함)을 통해 이미지 프로젝션 방법을 수행하도록 구성될 수 있다.

본문에서 이상 서술된 시스템 및 기술의 다양한 실시형태는 디지털 전자 회로 시스템, 집적 회로 시스템, 필드 프로그래머블 어레이(FPGA), 전용 집적 회로(ASIC), 전용 표준 제품(ASSP), 시스텝 온 칩(SOC), 복합 프로그래머블 논리 소자(CPLD), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시형태는 하나 또는 복수의 컴퓨터 프로그램에서 구현되는 것을 포함할 수 있고, 상기 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그래머블 프로세서를 포함하는 프로그래머블 시스템에서 실행 및/또는 해석될 수 있으며, 상기 프로그래머블 프로세서는 전용 또는 범용 프로그래머블 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력장치, 및 적어도 하나의 출력장치로부터 데이터와 명령을 수신할 수 있으며, 데이터와 명령을 상기 저장 시스템, 상기 적어도 하나의 입력장치, 및 상기 적어도 하나의 출력장치로 전송한다.

본 출원의 방법을 실시하기 위한 프로그램 코드는 하나 또는 복수의 프로래밍 언어의 임의의 조합으로 작성될 수 있다. 이러한 프로그램 코드는 범용 컴퓨터, 전용 컴퓨터 또는 다른 프로그래머블 데이터 처리 장치의 프로세서 또는 컨트롤러에 제공되어, 프로그램 코드가 프로세서 또는 컨트롤러에 의해 실행될 경우 흐름도 및/또는 블록도에서 규정하는 기능/동작이 실시될 수 있도록 한다. 프로그램 코드는 완전히 기계에서 실행되거나, 부분적으로 기계에서 실행될 수 있으며, 독립형 소프트웨어 패키지로서 부분적으로 기계에서 실행되고 부분적으로 원격 기계에서 실행되거나 완전히 원격 기계 또는 서버에서 실행될 수도 있다.

본 출원의 컨텍스트에서, 기계 판독 가능 매체는 명령 실행 시스템, 장치 또는 기기에 의해 사용되거나 명령 실행 시스템, 장치 또는 기기와 결합되어 사용되는 프로그램을 포함하거나 저장할 수 있는 유형 매체일 수 있다. 기계 판독 가능 매체는 기계 판독 가능 신호 매체이거나 기계 판독 가능 저장 매체일 수 있다. 기계 판독 가능 매체는 전자적, 자기적, 광학적, 전자기적, 적외선, 또는 반도체 시스템, 장치 또는 기기, 또는 상술한 내용의 임의의 적절한 조합을 포함할 수 있지만 이에 한정되는 것은 아니다. 기계 판독 가능 저장 매체의 더 구체적인 예시는 하나 또는 복수의 와이어를 기반으로 하는 전기적 연결, 휴대형 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 소거 가능 및 프로그래머블 읽기 전용 메모리(EPROM 또는 플래쉬 메모리), 광섬유, 휴대용 컴팩트 읽기 전용 메모리(CD-ROM), 광학 저장 기기, 자기 저장 기기, 또는 상술한 내용의 임의의 적절한 조합을 포함한다.

사용자와의 인터랙션을 제공하기 위하여, 컴퓨터에서 여기에 설명된 시스템 및 기술을 구현할 수 있고, 상기 컴퓨터는 사용자에게 정보를 표시하기 위한 표시 장치(예를 들어, CRT(캐소드 레이 튜브) 또는 LCD(액정 디스플레이) 모니터); 및 키보드와 포인팅 장치(예를 들어, 마우스 또는 트랙볼)를 구비하며, 사용자는 상기 키보드와 상기 포인팅 장치를 통해 입력하여 컴퓨터에 제공할 수 있다. 다른 종류의 장치는 사용자와의 인터랙션을 제공할 수도 있는데 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 센싱 피드백(예를 들어, 시각적 피드백, 청각적 피드백, 또는 촉각적 피드백)일 수 있고; 임의의 형태(사운드 입력, 음성 입력 또는 촉각 입력)을 통해 사용자로부터의 입력을 수신할 수 있다.

여기에 설명되는 시스템과 기술은 백엔드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버로 사용됨), 또는 미들웨어 부재를 포함하는 컴퓨팅 시스템(예를 들어, 애플리케이션 서버), 또는 프론트 엔드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 유저 인터페이스 또는 인터넷 브라우저를 구비하는 사용자 컴퓨터, 사용자는 상기 그래픽 유저 인터페이스 또는 상기 웹 브라우저를 통해 여기에 설명되는 시스템 및 기술의 실시형태와 인터랙션할 수 있음), 또는 이러한 백엔드 부재, 미들웨어 부재, 또는 프론트 엔드 부재의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)을 통해 시스템의 부재를 서로 연결시킬 수 있다. 통신 네트워크의 예시로서, 근거리 통신망(LAN), 광역 통신망(WAN) 및 인터넷을 포함한다.

컴퓨터 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며, 일반적으로 통신 네트워크를 통해 인터랙션한다. 상응한 컴퓨터에서 실행되며 서로 클라이언트 - 서버 관계를 가지는 컴퓨터 프로그램을 통해 클라이언트와 서버의 관계를 생성한다. 서버는 클라우드 컴퓨팅 서버 또는 클라우드 호스트로도 지칭되는 클라우드 서버일 수 있고, 클라우드 컴퓨팅 서비스 시스템 중의 일 호스트 제품으로서, 기존의 물리 호스트와 VPS 서비스 (“Virtual Private Server”, 또는 “VPS”로 약칭)에서 존재하는 관리 상의 어려움이 크고, 서비스 확장이 약한 결함을 해결한다. 서버는 분산형 시스템의 서버, 또는 블록 체인이 결합된 서버일 수도 있다.

상술한 다양한 형태의 프로세스를 사용하여 단계를 재배열, 추가 또는 삭제할 수 있다는 것을 이해하여야 한다. 예를 들어, 본 출원에 기재된 각 단계는 병렬, 순차적 또는 상이한 순서로 수행될 수 있으며, 본 출원에 개시된 기술적 해결수단이 원하는 결과를 달성할 수만 있으면, 본문에서는 이에 대해 한정하지 않는다.

상기 구체적인 실시형태는 본 출원의 보호범위에 대한 한정이 아니다. 본 분야의 기술자라면, 설계 요구와 기타 요소에 따라, 다양한 수정, 조합, 서브 조합 및 대체를 수행할 수 있음을 이해하여야 한다. 본 출원의 사상과 원칙 내에서 이루어진 모든 수정, 동등한 교체 및 개선 등은 모두 본 출원의 보호 범위 내에 포함되어야 한다.

Claims (17)

1. 이미지 프로젝션 방법에 있어서,
   차량 상의 AR 카메라의 카메라 좌표계에서의 캘리브레이션할 영역의 제1 카메라 좌표를 획득하되, 상기 캘리브레이션할 영역은 상기 AR 카메라의 촬영 범위 내에 위치하는 단계;
   상기 AR 카메라의 제1 외부 파라미터 행렬과 상기 차량 상의 헤드업 디스플레이의 제2 외부 파라미터 행렬 사이의 상대적 변환 관계를 획득하는 단계;
   상기 제1 카메라 좌표와 상기 상대적 변환 관계에 따라, 상기 헤드업 디스플레이의 좌표계에서의 상기 캘리브레이션할 영역에 대응되는 프로젝션 부호의 제2 카메라 좌표를 결정하는 단계; 및,
   상기 제2 카메라 좌표를 기초로, 상기 헤드업 디스플레이가 이미지를 프로젝션하도록 제어하되, 상기 이미지는 상기 프로젝션 부호를 포함하는 단계를 포함하는 방법.
2. 제1항에 있어서,
   상기 AR 카메라의 제1 외부 파라미터 행렬과 상기 차량 상의 헤드업 디스플레이의 제2 외부 파라미터 행렬 사이의 상대적 변환 관계를 획득하는 단계는,
   상기 제1 외부 파라미터 행렬과 제1 카메라의 제3 외부 파라미터 행렬 사이의 제1 상대적 변환 관계를 획득하되, 상기 제1 카메라는 상기 차량의 운전석의 기설정 위치에 설치되는 단계;
   상기 제2 외부 파라미터 행렬과 상기 제3 외부 파라미터 행렬 사이의 제2 상대적 변환 관계를 획득하는 단계; 및,
   상기 제1 상대적 변환 관계와 상기 제2 상대적 변환 관계에 따라, 상기 상대적 변환 관계를 획득하는 단계;를 포함하는 방법.
3. 제2항에 있어서,
   상기 제1 외부 파라미터 행렬과 제1 카메라의 제3 외부 파라미터 행렬 사이의 제1 상대적 변환 관계를 획득하는 단계는,
   상기 AR 카메라가 기설정 패턴을 촬영한 제1 이미지와 상기 제1 카메라가 상기 기설정 패턴을 촬영한 제2 이미지를 획득하되, 상기 기설정 패턴은 상기 차량 전방에 설치되는 단계;
   상기 AR 카메라의 제1 내부 파라미터 행렬과 상기 제1 카메라의 제2 내부 파라미터 행렬을 획득하는 단계; 및,
   상기 제1 이미지, 상기 제2 이미지, 상기 제1 내부 파라미터 행렬 및 상기 제2 내부 파라미터 행렬을 기초로, 상기 제1 상대적 변환 관계를 획득하는 단계;를 포함하는 방법.
4. 제3항에 있어서,
   상기 제1 이미지, 상기 제2 이미지, 상기 제1 내부 파라미터 행렬 및 상기 제2 내부 파라미터 행렬을 기초로, 상기 제1 상대적 변환 관계를 획득하는 단계는,
   상기 기설정 패턴 상의 임의의 제1 기설정 포인트에 대하여, 상기 제1 기설정 포인트의 세계 좌표계에서의 제1 세계 좌표, 상기 제1 기설정 포인트의 상기 제1 이미지 상에서 대응되는 제1 이미지 좌표 및 상기 제2 이미지 상에서 대응되는 제2 이미지 좌표를 획득하는 단계;
   상기 제1 세계 좌표, 상기 제1 이미지 좌표 및 상기 제1 내부 파라미터 행렬을 기초로, 상기 AR 카메라의 제1 자세를 획득하는 단계;
   상기 제1 세계 좌표, 상기 제2 이미지 좌표 및 상기 제2 내부 파라미터 행렬을 기초로, 상기 제1 카메라의 제2 자세를 획득하는 단계; 및,
   상기 제1 자세와 상기 제2 자세를 기초로, 상기 제1 상대적 변환 관계를 획득하는 단계;를 포함하는 방법.
5. 제2항 내지 제4항 중 어느 한 항에 있어서,
   상기 제2 외부 파라미터 행렬과 상기 제3 외부 파라미터 행렬 사이의 제2 상대적 변환 관계를 획득하는 단계는,
   상기 헤드업 디스플레이가 프로젝션한 제3 이미지, 및 상기 제1 카메라가 상기 제3 이미지를 촬영하여 획득한 제4 이미지를 획득하되, 상기 제3 이미지와 상기 제4 이미지의 해상도가 동일한 단계;
   상기 제1 카메라의 제2 내부 파라미터 행렬과 상기 헤드업 디스플레이의 제3 내부 파라미터 행렬을 획득하는 단계; 및,
   상기 제3 이미지, 상기 제4 이미지, 상기 제2 내부 파라미터 행렬 및 상기 제3 내부 파라미터 행렬을 기초로, 상기 제2 상대적 변환 관계를 획득하는 단계;를 포함하는 방법.
6. 제5항에 있어서,
   상기 제3 이미지, 상기 제4 이미지, 상기 제2 내부 파라미터 행렬 및 상기 제3 내부 파라미터 행렬을 기초로, 상기 제2 상대적 변환 관계를 획득하는 단계는,
   상기 제3 이미지 상의 임의의 제2 기설정 포인트에 대하여, 상기 제2 기설정 포인트의 세계 좌표계에서의 제2 세계 좌표, 상기 제2 기설정 포인트의 상기 제3 이미지 상에서 대응되는 제3 이미지 좌표 및 상기 제4 이미지 상에서 대응되는 제4 이미지 좌표를 획득하는 단계;
   상기 제2 세계 좌표, 상기 제3 이미지 좌표 및 상기 제3 내부 파라미터 행렬을 기초로, 상기 헤드업 디스플레이의 제3 자세를 획득하는 단계;
   상기 제2 세계 좌표, 상기 제4 이미지 좌표 및 상기 제2 내부 파라미터 행렬을 기초로, 상기 제1 카메라의 제2 자세를 획득하는 단계; 및,
   상기 제3 자세와 상기 제2 자세를 기초로, 상기 제2 상대적 변환 관계를 획득하는 단계;를 포함하는 방법.
7. 제1항 내지 제4항 중 어느 한 항에 있어서,
   상기 제1 카메라 좌표와 상기 상대적 변환 관계에 따라, 상기 헤드업 디스플레이의 좌표계에서의 상기 캘리브레이션할 영역에 대응되는 프로젝션 부호의 제2 카메라 좌표를 결정하는 단계는,
   상기 제1 카메라 좌표와 상기 상대적 변환 관계에 따라, 상기 헤드업 디스플레이의 좌표계에서의 상기 캘리브레이션할 영역의 제3 카메라 좌표를 결정하는 단계;
   상기 캘리브레이션할 영역과 상기 프로젝션 부호 사이의 실경 오버랩 관계, 및 상기 제3 카메라 좌표를 기초로, 상기 제2 카메라 좌표를 결정하는 단계를 포함하는 방법.
8. 이미지 프로젝션 장치에 있어서,
   차량 상의 AR 카메라의 카메라 좌표계에서의 캘리브레이션할 영역의 제1 카메라 좌표를 획득하되, 상기 캘리브레이션할 영역은 상기 AR 카메라의 촬영 범위 내에 위치하는 제1 획득 모듈;
   상기 AR 카메라의 제1 외부 파라미터 행렬과 상기 차량 상의 헤드업 디스플레이의 제2 외부 파라미터 행렬 사이의 상대적 변환 관계를 획득하는 제2 획득 모듈;
   상기 제1 카메라 좌표와 상기 상대적 변환 관계에 따라, 상기 헤드업 디스플레이의 좌표계에서의 상기 캘리브레이션할 영역에 대응되는 프로젝션 부호의 제2 카메라 좌표를 결정하는 결정 모듈; 및,
   상기 제2 카메라 좌표를 기초로, 상기 헤드업 디스플레이가 이미지를 프로젝션하도록 제어하되, 상기 이미지는 상기 프로젝션 부호를 포함하는 처리 모듈;을 포함하는 장치.
9. 제8항에 있어서, 상기 제2 획득 모듈은,
   상기 제1 외부 파라미터 행렬과 제1 카메라의 제3 외부 파라미터 행렬 사이의 제1 상대적 변환 관계를 획득하되, 상기 제1 카메라는 상기 차량의 운전석의 기설정 위치에 설치되는 제1 획득 유닛;
   상기 제2 외부 파라미터 행렬과 상기 제3 외부 파라미터 행렬 사이의 제2 상대적 변환 관계를 획득하는 제2 획득 유닛; 및,
   상기 제1 상대적 변환 관계와 상기 제2 상대적 변환 관계에 따라, 상기 상대적 변환 관계를 획득하는 제3 획득 유닛;을 포함하는 장치.
10. 제9항에 있어서, 상기 제1 획득 유닛은,
    상기 AR 카메라가 기설정 패턴을 촬영한 제1 이미지와 상기 제1 카메라가 상기 기설정 패턴을 촬영한 제2 이미지를 획득하되, 상기 기설정 패턴은 상기 차량 전방에 설치되는 제1 획득 서브유닛;
    상기 AR 카메라의 제1 내부 파라미터 행렬 및 상기 제1 카메라의 제2 내부 파라미터 행렬을 획득하는 제2 획득 서브 유닛; 및,
    상기 제1 이미지, 상기 제2 이미지, 상기 제1 내부 파라미터 행렬 및 상기 제2 내부 파라미터 행렬을 기초로, 상기 제1 상대적 변환 관계를 획득하는 제3 획득 서브 유닛;을 포함하는 장치.
11. 제10항에 있어서, 상기 제3 획득 서브 유닛은 구체적으로,
    상기 기설정 패턴 상의 임의의 제1 기설정 포인트에 대하여, 상기 제1 기설정 포인트의 세계 좌표계에서의 제1 세계 좌표, 상기 제1 기설정 포인트의 상기 제1 이미지 상에서 대응되는 제1 이미지 좌표 및 상기 제2 이미지 상에서 대응되는 제2 이미지 좌표를 획득하고;
    상기 제1 세계 좌표, 상기 제1 이미지 좌표 및 상기 제1 내부 파라미터 행렬을 기초로, 상기 AR 카메라의 제1 자세를 획득하며;
    상기 제1 세계 좌표, 상기 제2 이미지 좌표 및 상기 제2 내부 파라미터 행렬을 기초로, 상기 제1 카메라의 제2 자세를 획득하고;
    상기 제1 자세와 상기 제2 자세를 기초로, 상기 제1 상대적 변환 관계를 획득하는 장치.
12. 제9항 내지 제11항 중 어느 한 항에 있어서, 상기 제2 획득 유닛은,
    상기 헤드업 디스플레이가 프로젝션한 제3 이미지, 및 상기 제1 카메라가 상기 제3 이미지를 촬영하여 획득한 제4 이미지를 획득하되, 상기 제3 이미지와 상기 제4 이미지의 해상도가 동일한 제4 획득 서브 유닛;
    상기 제1 카메라의 제2 내부 파라미터 행렬과 상기 헤드업 디스플레이의 제3 내부 파라미터 행렬을 획득하는 제5 획득 서브 유닛; 및,
    상기 제3 이미지, 상기 제4 이미지, 상기 제2 내부 파라미터 행렬 및 상기 제3 내부 파라미터 행렬을 기초로, 상기 제2 상대적 변환 관계를 획득하는 제6 획득 서브 유닛;을 포함하는 장치.
13. 제12항에 있어서, 상기 제6 획득 서브 유닛은 구체적으로,
    상기 제3 이미지 상의 임의의 제2 기설정 포인트에 대하여, 상기 제2 기설정 포인트의 세계 좌표계에서의 제2 세계 좌표, 상기 제2 기설정 포인트의 상기 제3 이미지 상에서 대응되는 제3 이미지 좌표 및 상기 제4 이미지 상에서 대응되는 제4 이미지 좌표를 획득하고;
    상기 제2 세계 좌표, 상기 제3 이미지 좌표 및 상기 제3 내부 파라미터 행렬에 따라, 상기 헤드업 디스플레이의 제3 자세를 획득하며;
    상기 제2 세계 좌표, 상기 제4 이미지 좌표 및 상기 제2 내부 파라미터 행렬을 기초로, 상기 제1 카메라의 제2 자세를 획득하고;
    상기 제3 자세와 상기 제2 자세를 기초로, 상기 제2 상대적 변환 관계를 획득하는 장치.
14. 제8항 내지 제11항 중 어느 한 항에 있어서, 상기 결정 모듈은,
    상기 제1 카메라 좌표와 상기 상대적 변환 관계에 따라, 상기 헤드업 디스플레이의 좌표계에서의 상기 캘리브레이션할 영역의 제3 카메라 좌표를 결정하는 결정 유닛; 및,
    상기 캘리브레이션할 영역과 상기 프로젝션 부호 사이의 실경 오버랩 관계, 및 상기 제3 카메라 좌표를 기초로, 상기 제2 카메라 좌표를 결정하는 처리 유닛;을 포함하는 장치.
15. 전자기기에 있어서,
    적어도 하나의 프로세서; 및 ,
    상기 적어도 하나의 프로세서와 통신 연결되는 메모리;를 포함하되,
    상기 메모리에 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 제1항 내지 제4항 중 어느 하나에 따른 방법을 수행할 수 있도록 하는 전자기기.
16. 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체에 있어서,
    상기 컴퓨터 명령은 컴퓨터가 제1 항 내지 제 4항 중 어느 하나에 따른 방법을 수행하도록 하는 저장 매체.
17. 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우 제1 항 내지 제 4항 중 어느 하나에 따른 방법을 구현하는 컴퓨터 프로그램.

Images