KR102158167B1 - 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체 - Google Patents

Abstract

전자 장치의 제어 방법이 개시된다. 본 제어 방법은, 차량의 주행 중에 카메라에서 촬영된 영상의 소실점(Vanishing point)을 결정하는 단계, 결정된 소실점의 최적의 위치인 기준 위치를 결정하는 단계, 결정된 소실점의 위치 및 기준 위치를 이용하여 카메라의 거치 위치를 안내하는 단계를 포함한다.

Description

전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체{ELECTRONIC APPARATUS, CONTROL METHOD OF ELECTRONIC APPARATUS AND COMPUTER READABLE RECORDING MEDIUM}

본 발명은 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체에 관한 것으로, 보다 상세하게는 차량용 카메라의 거치 방안을 제공하는 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.

전자 기술의 발달에 힘입어 다양한 종류의 전자 장치 및 기술이 개발 및 보급되고 있다. 특히, 최근에는 실시간으로 촬영되는 촬영 영상에 컴퓨터 그래픽스(Computer Graphics: CG), 문자 등의 부가 정보를 합성하여 표시하는 증강 현실(Augmented Reality: AR)의 형태로 지리 정보를 제공하는 기술이 소개된 바 있다.

이러한 증강 현실 기술에 따르면, 사용자가 실제로 보고 있는 현실 세계를 담고 있는 화면에 부가 정보(예를 들면, 관심 지점(Point Of Interest: POI)을 나타내는 그래픽 요소, 목적지까지의 경로를 나타내는 그래픽 요소 등)를 시각적으로 중첩하여 제공할 수 있으므로 사용자에게 보다 직관적인 방법으로 지리 정보를 제공할 수 있게 된다.

한편, 증강 현실 기술과 더불어, 운전자의 안전한 운전을 보조하기 위해 차선 이탈 안내, 전방 차량 충돌 안내, 신호등 변경 안내, 전방 차량 추돌 방지 안내 등과 같은 다양한 기술들이 소개되고 있다.

다만, 상술한 다양한 기술들을 제공하기 위해서는 차량에 거치된 카메라에서 촬영된 영상이 상술한 다양한 기술들의 제공에 적합한 영상이어야 한다.

따라서, 영상을 촬영하는 카메라를 최적의 위치에 거치시키기 위한 방안이 필요하다.

본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은 사용자가 차량용 카메라를 쉽게 최적의 위치에 거치할 수 있는 거치 방안을 제공하는 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체를 제공함에 있다.

상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법은, 차량의 운전 중에 카메라에서 촬영된 영상의 소실점(Vanishing point)을 결정하는 단계, 상기 결정된 소실점의 최적의 위치인 기준 위치를 결정하는 단계 및 상기 결정된 소실점의 위치 및 기준 위치를 이용하여 상기 카메라의 거치 위치를 안내하는 단계를 포함한다.

또한, 상기 기준 위치는, 상기 차량의 운전 중에 상기 카메라에서 촬영된 영상을 이용하여 최적의 운전 관련 안내를 제공할 수 있는 소실점의 위치일 수 있다.

그리고, 상기 운전 관련 안내는, 증강 현실 경로 안내, 차선 이탈 안내, 전방 차량 출발 안내, 신호등 변경 안내, 전방 차량 추돌 방지 안내 중 적어도 하나를 포함하고, 상기 기준 위치는, 상기 촬영 영상의 중심으로부터 소정 거리 내에 위치할 수 있다.

또한, 상기 카메라의 거치 위치 안내를 요청하는 사용자 입력을 수신하는 단계를 더 포함하고, 상기 안내하는 단계는, 상기 차량의 속도가 기 설정된 속도 이하인 경우에 수행될 수 있다.

그리고, 상기 안내하는 단계는, 상기 결정된 소실점의 위치 및 상기 기준 위치 간의 위치 차이를 산출하는 단계, 상기 결정된 소실점의 위치를 상기 기준 위치에 위치시키기 위해 상기 카메라의 기존 거치 위치를 기준으로 이동시켜야하는 거리 및 방향을 상기 산출된 위치 차이를 이용하여 산출하는 단계 및 산출된 거리 및 방향을 음성으로 제공하거나 또는 산출된 거리 및 방향을 나타내는 안내 객체를 화면에 표시하는 단계를 포함할 수 있다.

또한, 사용자가 상기 안내를 기초로 상기 카메라를 이동시키면, 상기 사용자의 카메라 이동에 따른 결과를 반영하여 상기 거리 및 방향을 갱신하는 단계 및 상기 갱신된 거리 및 방향을 음성으로 제공하거나 또는 상기 갱신된 거리 및 방향을 나타내는 안내 객체를 화면에 표시하는 단계를 더 포함할 수 있다.

그리고, 상기 안내하는 단계는, 상기 결정된 소실점의 위치 및 상기 기준 위치 간의 위치 차이를 산출하는 단계, 상기 카메라의 기존 거치 위치에서 실시간으로 촬영된 영상을 캡쳐링하는 단계, 상기 위치 차이를 이용하여 상기 캡쳐링 영상을 표시할 화면 내 소정 영역을 결정하는 단계 및 상기 실시간 촬영 영상을 상기 화면에 표시하고, 상기 결정된 영역에 상기 캡쳐링 영상을 겹쳐서 표시하는 단계를 포함할 수 있다.

또한, 상기 결정된 소실점의 위치를 상기 기준 위치에 위치시키기 위해 상기 카메라의 기존 거치 위치를 기준으로 이동시켜야하는 거리 및 방향을 산출하는 단계 및 상기 산출된 거리 및 방향을 나타내는 안내 객체를 상기 화면에 표시하는 단계를 더 포함할 수 있다.

그리고, 상기 실시간 촬영 영상과 상기 캡쳐링 영상을 매칭하는 단계, 상기 매칭 결과를 반영하여 상기 거리 및 방향을 갱신하는 단계 및 상기 갱신된 거리 및 방향을 나타내는 안내 객체를 상기 화면에 표시하는 단계를 더 포함할 수 있다.

한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전자 장치는, 차량의 운전 중에 카메라에서 촬영된 영상의 소실점(Vanishing point)을 결정하고, 상기 결정된 소실점의 최적의 위치인 기준 위치를 결정하는 결정부, 상기 결정된 소실점의 위치 및 상기 기준 위치를 저장하는 저장부 및 상기 결정된 소실점의 위치 및 기준 위치를 이용하여 상기 카메라의 거치 위치를 안내하는 제어부를 포함한다.

그리고, 상기 기준 위치는, 상기 차량의 운전 중에 상기 카메라에서 촬영된 영상을 이용하여 최적의 운전 관련 안내를 제공할 수 있는 소실점의 위치일 수 있다.

또한, 상기 운전 관련 안내는, 증강 현실 경로 안내, 차선 이탈 안내, 전방 차량 출발 안내, 신호등 변경 안내, 전방 차량 추돌 방지 안내 중 적어도 하나를 포함하고, 상기 기준 위치는, 상기 촬영 영상의 중심으로부터 소정 거리 내에 위치할 수 있다.

그리고, 상기 카메라의 거치 위치 안내를 요청하는 사용자 입력을 수신하는 입력부를 더 포함하고, 상기 제어부는, 상기 차량의 속도가 기 설정된 속도 이하인 경우에 상기 안내를 수행하도록 제어할 수 있다.

또한, 음성을 출력하는 오디오 출력부, 화면을 표시하는 디스플레이부 및 상기 결정된 소실점의 위치 및 상기 기준 위치 간의 위치 차이를 산출하고, 상기 결정된 소실점의 위치를 상기 기준 위치에 위치시키기 위해 상기 카메라의 기존 거치 위치를 기준으로 이동시켜야하는 거리 및 방향을 상기 산출된 위치 차이를 이용하여 산출하는 산출부를 더 포함하고, 상기 제어부는, 상기 산출된 거리 및 방향을 음성으로 제공하도록 상기 오디오 출력부를 제어하거나 또는 상기 산출된 거리 및 방향을 나타내는 안내 객체를 화면에 표시하도록 상기 디스플레이부를 제어할 수 있다.

그리고, 상기 산출부는, 사용자가 상기 안내를 기초로 상기 카메라를 이동시키면, 상기 사용자의 카메라 이동에 따른 결과를 반영하여 상기 거리 및 방향을 갱신하고, 상기 제어부는, 상기 갱신된 거리 및 방향을 음성으로 제공하도록 상기 오디오 출력부를 제어하거나 또는 상기 갱신된 거리 및 방향을 나타내는 안내 객체를 화면에 표시하도록 상기 디스플레이부를 제어할 수 있다.

또한, 화면을 표시하는 디스플레이부 및 상기 결정된 소실점의 위치 및 상기 기준 위치 간의 위치 차이를 산출하고, 캡쳐링 영상을 표시할 화면 내 소정 영역을 상기 위치 차이를 이용하여 결정하는 산출부를 더 포함하고, 상기 캡쳐링 영상은, 상기 카메라의 기존 거치 위치에서 실시간으로 촬영된 영상에서 캡쳐링된 영상이며, 상기 제어부는, 상기 실시간 촬영 영상을 상기 화면에 표시하고, 상기 결정된 영역에 상기 캡쳐링 영상을 겹쳐서 표시하도록 상기 디스플레이부를 제어할 수 있다.

그리고, 상기 산출부는, 상기 결정된 소실점의 위치를 상기 기준 위치에 위치시키기 위해 상기 카메라의 기존 거치 위치를 기준으로 이동시켜야하는 거리 및 방향을 산출하고, 상기 제어부는, 상기 산출된 거리 및 방향을 나타내는 안내 객체를 상기 화면에 표시하도록 상기 디스플레이부를 제어할 수 있다.

또한, 상기 실시간 촬영 영상과 상기 캡쳐링 영상을 매칭하는 영상 매칭부;를 더 포함하고, 상기 산출부는, 상기 매칭 결과를 반영하여 상기 거리 및 방향을 갱신하며, 상기 제어부는, 상기 갱신된 거리 및 방향을 나타내는 안내 객체를 상기 화면에 표시하도록 상기 디스플레이부를 제어할 수 있다.

한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법을 수행하기 위한 프로그램 코드가 기록된 컴퓨터 판독 가능한 기록 매체에 있어서, 상기 제어 방법은, 차량의 운전 중에 카메라에서 촬영된 영상의 소실점(Vanishing point)을 결정하는 단계, 상기 결정된 소실점의 최적의 위치인 기준 위치를 결정하는 단계 및 상기 결정된 소실점의 위치 및 기준 위치를 이용하여 상기 카메라의 거치 위치를 안내하는 단계를 포함한다.

상술한 본 발명의 다양한 실시 예에 따르면, 사용자가 차량용 카메라를 쉽게 최적의 위치에 거치할 수 있는 거치할 수 있다.

이에 따라, 전자 장치는 최적의 위치에 거치된 카메라의 촬영 영상을 이용하여 차선 이탈 안내 기능, 전방 차량 출발 안내 기능, 신호등 변경 안내 기능, 전방 차량 추돌 방지 안내 기능, 증강현실 경로 안내 기능 등과 같은 운전자의 안전한 운전을 보조하는 기능을 정확하게 제공할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 전자 장치를 나타내는 블록도 이다.
도 2는 본 발명의 일 실시 예에 따른 전자 장치를 구체적으로 나타내는 블록도 이다.
도 3은 본 발명의 일 실시 예에 따른 소실점 결정 방법을 나타내는 도면이다.
도 4는 본 발명의 일 실시 예에 따른 소실점의 위치와 기준 위치를 나타내는 도면이다.
도 5는 본 발명의 일 실시 예에 따른 위치 차이 산출 방법을 나타내는 도면이다.
도 6은 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법을 나타내는 흐름도 이다.
도 7은 본 발명의 일 실시 예에 따른 전자 장치의 구체적으로 제어 방법을 나타내는 흐름도 이다.
도 8은 본 발명의 일 실시 예에 따른 안내 방법을 나타내는 UI(User Interface) 화면을 나타내는 도면이다.
도 9는 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법을 구체적으로 나타내는 흐름도 이다.
도 10은 본 발명의 일 실시 예에 따른 안내 방법을 나타내는 UI(User Interface) 화면을 나타내는 도면이다.
도 11은 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법을 구체적으로 나타내는 흐름도 이다.
도 12는 본 발명의 일 실시 예에 따른 카메라와 전자 장치가 분리형이 경우 구현 형태를 나타내는 도면이다.
도 13은 본 발명의 일 실시 예에 따른 카메라와 전자 장치가 일체형인 경우 구현 형태를 나타내는 도면이다.
도 14는 본 발명의 일 실시 예에 따른 HUD(Head-Up Display) 및 전자 장치를 이용한 구현 형태를 나타내는 도면이다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

또한, 본 발명의 원리, 관점 및 실시 예들 뿐만 아니라 특정 실시 예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.

프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.

또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.

본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시 예를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시 예에 따른 전자 장치를 나타내는 블록도 이다. 도 1을 참조하면, 전자 장치(100)는 저장부(110), 입력부(120), 출력부(130), 결정부(140), 산출부(150), 영상 매칭부(160), 제어부(170)의 전부 또는 일부를 포함한다.

여기서, 전자 장치(100)는 차량 운전자에게 운전 관련 안내를 제공할 수 있는 스마트 폰, 태블릿 컴퓨터, 노트북 컴퓨터, PDA(personal digital assistant), PMP(portable multimedia player), 스마트 글래스, 프로젝트 글래스, 내비게이션(navigation), 블랙 박스(Black-box) 등과 같은 다양한 장치로 구현될 수 있다.

여기서, 차량의 운전 상태는, 차량의 정차 상태, 차량의 주행 상태, 차량의 주차 상태 등과 같이 차량이 운전자에 의하여 운전되고 있는 다양한 상태를 포함할 수 있다.

운전 관련 안내는 경로 안내, 차선 이탈 안내, 전방 차량 출발 안내, 신호등 변경 안내, 전방 차량 추돌 방지 안내등과 같이 차량 운전자의 운전을 보조하기 위한 다양한 안내를 포함할 수 있다.

여기서, 경로 안내는, 운전 중인 차량의 전방을 촬영한 영상에 사용자의 위치, 방향 등과 같은 각종 정보를 결합하여 경로 안내를 수행하는 증강 현실 경로 안내, 및 2D(2-Dimensional) 또는 3D(3-Dimensional)의 지도 데이터에 사용자의 위치, 방향 등과 같은 각종 정보를 결합하여 경로 안내를 수행하는 2D(2-Dimensional) 또는 3D(3-Dimensional) 경로 안내를 포함할 수 있다. 여기서, 경로 안내는, 사용자가 차량에 탑승하여 운전하는 경우 뿐만 아니라, 사용자가 걷거나 뛰어서 이동하는 경우의 경로 안내도 포함하는 개념으로 해석될 수 있다.

또한, 차선 이탈 안내는, 주행 중인 차량이 차선을 이탈하였는지 여부를 안내하는 것일 수 있다.

또한, 전방 차량 출발 안내는, 정차 중인 차량의 전방에 위치한 차량의 출발 여부를 안내하는 것일 수 있다.

또한, 신호등 변경 안내는, 정차 중인 차량의 전방에 위치한 신호등의 변경 여부를 안내하는 것일 수 있다. 일 예로, 정지 신호를 나타내는 빨간등이 켜진 상태에서 출발 신호를 나타내는 파란등으로 변경되면, 이를 안내하는 것 일 수 있다.

또한, 전방 차량 추돌 방지 안내는 정차 또는 주행 중인 차량의 전방에 위치한 차량과의 거리가 일정 거리 이내가 되면 전방 차량과 추돌을 방지하기 위해 이를 안내하는 것일 수 있다.

이러한, 다양한 안내의 제공을 가능하게 하는 차량의 전방 영상은 차량에 거치된 카메라에서 촬영될 수 있다. 여기서 카메라는 차량에 거치된 전자 장치(100)와 일체로 형성되어 차량의 전방을 촬영하는 카메라일 수 있다. 이 경우, 카메라는 스마트 폰, 내비게이션, 또는 블랙 박스와 일체로 형성될 수 있고, 전자 장치(100)는 일체로 형성된 카메라에서 촬영된 영상을 입력 받을 수 있다.

다른 예로, 카메라는 전자 장치(100)와 별개로 차량에 거치되어 차량의 전방을 촬영하는 카메라일 수 있다. 이 경우, 카메라는 차량의 전방을 향하여 거치된 별도의 블랙 박스일 수 있고, 전자 장치(100)는 별도로 거치된 블랙박스와 유/무선 통신을 통하여 촬영 영상을 입력 받거나, 블랙 박스의 촬영 영상을 저장하는 저장 매체가 전자 장치(100)에 삽입되면, 전자 장치(100)는 촬영 영상을 입력 받을 수 있다.

이하에서는, 상술한 내용을 기초로 본 발명의 일 실시 예에 따른 전자 장치(100)에 대해서 보다 구체적으로 설명하기로 한다.

저장부(110)는 전자 장치(100)의 동작에 필요한 다양한 데이터 및 어플리케이션을 저장하는 기능을 한다. 특히, 저장부(110)는 전자 장치(100)의 동작에 필요한 데이터, 예를 들어, OS, 경로 탐색 어플리케이션, 맵(map) 등을 저장할 수 있다. 또한, 저장부(110)는 전자 장치(100)의 동작에 의하여 생성된 데이터, 예를 들어, 탐색된 경로 데이터, 수신한 영상 등을 저장할 수 있다. 또한, 저장부(110)는 결정부(140)에서 결정된 소설점의 위치 및 기준 위치를 저장할 수 있다.

여기서 저장부(110)는 RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USIM(Universal Subscriber Identity Module)등과 같은 내장된 형태의 저장소자는 물론, USB 메모리 등과 같은 착탈가능한 형태의 저장소자로 구현될 수도 있다.

입력부(120)는 전자 장치(100)의 외부로부터의 물리적 입력을 특정한 전기 신호로 변환하는 기능을 한다. 이에 따라, 입력부(120)는 카메라의 거치 위치 안내를 요청하는 사용자 입력을 수신할 수 있다. 여기서, 입력부(120)는 사용자 입력 부(121)와 마이크부(123)의 전부 또는 일부를 포함할 수 있다.

사용자 입력부(121)는 터치, 푸쉬동작 등과 같은 사용자 입력을 수신할 수 있다. 여기서 사용자 입력부(120)는 다양한 버튼의 형태, 터치 입력을 수신하는 터치 센서, 접근하는 모션을 수신하는 근접 센서 중 적어도 하나를 이용하여 구현될 수 있다.

마이크부(123)는 사용자의 음성 및 차량의 내외부에서 발생한 음향을 수신할 수 있다.

출력부(130)는 전자 장치(100)의 데이터를 출력하는 장치이다. 여기서, 출력부(130)는 디스플레이부(131)와 오디오 출력부(133)의 전부 또는 일부를 포함할 수 있다.

디스플레이부(131)는 전자 장치(100)이 시각적으로 인식될 수 있는 데이터를 출력하는 장치이다. 디스플레이부(131)는 전자 장치(100)의 하우징 전면(前面)에 마련된 디스플레이부로 구현될 수 있다. 여기서 디스플레이부(131)는 전자 장치(100)와 일체로 형성되어 시각적 인식 데이터를 출력할 수 있고, HUD(Head Up Display)와 같이 전자 장치(100)와 별개로 설치되어 시각적 인식 데이터를 출력할 수도 있다.

오디오 출력부(133)는 전자 장치(100)가 청각적으로 인식될 수 있는 데이터를 출력하는 장치이다. 오디오 출력부(133)는 전자 장치(100)의 사용자에게 알려야 할 데이터를 소리를 표현하는 스피커로 구현될 수 있다.

결정부(140)는 차량의 운전 중에 카메라에서 촬영된 영상의 소실점(Vanishing point)을 결정할 수 있다. 구체적으로 결정부(140)는 차량의 운전 중에 카메라에서 촬영된 촬영 영상으로부터 차선을 추출하고, 추출된 차선을 연장하여 서로 교차하게 되는 점을 소실점(Vanishing point)으로 결정할 수 있다.

또한, 결정부(140)는 촬영 영상에 결정된 소실점의 위치인 소실점 위치를 결정할 수 있다.

여기서, 결정된 소실점의 위치는, 차량에서 카메라의 거치 위치에 따라 변경될 수 있다. 이러한, 결정부(140)의 소실점 결정 및 소실점 위치 결정은 도 3을 참조하여 후술하기로 한다.

한편, 결정부(140)는 소실점의 최적의 위치인 기준 위치를 결정할 수 있다. 여기서, 기준 위치는, 차량의 운전 중에 카메라에서 촬영된 영상을 이용하여 최적의 운전 관련 안내를 제공할 수 있는 소실점의 위치일 수 있다. 여기서, 운전 관련 안내는, 증강 현실 경로 안내, 차선 이탈 안내, 전방 차량 출발 안내, 신호등 변경 안내, 전방 차량 추돌 방지 안내 중 적어도 하나를 포함할 수 있다.

이러한 기준 위치는, 운전자가 선택한 운전 관련 안내 중요 순위에 따라 결정될 수 있다. 일 예로, 운전자가 차선 이탈 안내의 중요 순위를 1순위로 선택한 경우, 전자 장치(100)가 촬영 영상에서 차선 검출을 정확하게 수행할 수 있도록, 기준 위치는 촬영 영상의 가로 중심 라인을 기준으로 위쪽에 위치할 수 있다. 다른 예로, 운전자가 신호등 변경 안내의 중요 순위를 1순위로 선택한 경우, 전자 장치(100)가 촬영 영상에서 신호등 검출을 정확하게 수행할 수 있도록, 기준 위치는 촬영 영상의 가로 중심 라인을 기준으로 아래쪽에 위치할 수 있다.

또 다른 예로, 운전자가 증강 현실 경로 안내, 차선 이탈 안내, 전방 차량 출발 안내, 신호등 변경 안내, 전방 차량 추돌 방지 안내 모두의 중요 순위를 1순위로 선택하는 경우, 전자 장치(100)가 촬영 영상을 이용하여 상술한 안내를 모두 정확하게 수행할 수 있도록, 기준 위치는 촬영 영상의 중심으로부터 소정 거리 내에 위치할 수 있다.

이러한, 결정부(140)의 기준 위치 결정은 도 4를 참조하여 후술하기로 한다.

산출부(150)는 결정부(140)에서 결정된 소실점의 위치 및 기준 위치 간의 위치 차이를 산출할 수 있다. 구체적으로 산출부(150)는 결정부(140)에서 결정된 소실점의 위치 및 기준 위치를 비교하고, 소실점의 위치 및 기준 위치 간의 위치 차이를 산출할 수 있다.

일 예로, 산출부(150)는 소실점의 위치를 기준으로 설정하고, 소실점의 위치로부터 기준 위치까지의 거리 및 방향을 나타내는 위치 차이를 산출할 수 있다. 즉, 산출부(150)는 소실점의 위치에 대응되는 좌표 (X1,Y1)을 기준으로 설정하고, 소실점의 위치에 대응되는 좌표로부터 기준 위치에 대응되는 좌표 (X2, Y2)까지의 거리 및 방향을 나타내는 위치 차이(X1-X2, Y1-Y2)를 산출할 수 있다.

다른 예로, 산출부(150)는 기준 위치를 기준으로 설정하고, 기준 위치로부터 소실점 위치까지의 거리 및 방향을 나타내는 위치 차이를 산출할 수 있다. 즉, 산출부(150)는 기준 위치에 대응되는 좌표 (X2,Y2)를 기준으로 설정하고, 기준 위치에 대응되는 좌표로부터 소실점의 위치에 대응되는 좌표 (X1, Y1)까지의 거리 및 방향을 나타내는 위치 차이(X2-X1, Y2-Y1)를 산출할 수 있다. 이러한, 산출부(150)의 동작에 대해서는 도 5를 참조하여 후술하기로 한다.

한편, 산출부(150)는 결정된 소실점의 위치를 기준 위치에 위치시키기 위해 카메라의 기존 거치 위치를 기준으로 이동시켜야하는 거리 및 방향을 산출할 수 있다.

구체적으로, 산출부(150)는 산출된 위치 차이를 이용하여 카메라의 기존 거치 위치를 기준으로 이동시켜야하는 거리 및 방향을 산출할 수 있다. 일 예로, 소실점의 위치를 기준으로 소실점의 위치로부터 기준 위치까지의 거리 및 방향을 나타내는 위치 차이가 (X1-X2, Y1-Y2)인 경우, 산출부(150)는 산출된 위치 차이를 이용하여 카메라의 기존 거치 위치를 기준으로 이동시켜야하는 거리 및 방향을, 예를 들어, 왼쪽으로 X cm, 윗쪽으로 Y cm 와 같이 산출할 수 있다. 이에 대해서는 도 8을 참조하여 후술하기로 한다.

또는, 산출부(150)는 이미지 매칭부(160)의 매칭 결과를 이용하여 카메라의 기존 거치 위치를 기준으로 이동시켜야하는 거리 및 방향을 산출할 수 있다. 구체적으로, 산출부(150)는 산출된 위치 차이를 이용하여 캡쳐링 영상을 표시할 화면 내 소정 영역을 결정할 수 있다. 여기서, 캡쳐링 영상은, 카메라의 기존 거치 위치에서 실시간으로 촬영된 영상에서 캡쳐링된 영상일 수 있다. 또한, 캡쳐링 영상이 표시될 화면 내 소정 영역은, 결정된 소실점의 위치를 기준 위치에 위치시키기 위해 카메라의 기존 거치 위치를 기준으로 이동시켜야하는 거리 및 방향을 반영한 영역일 수 있다. 그리고, 제어부(170)는 실시간 촬영 영상을 화면에 표시하고, 결정된 영역에 캡쳐링 영상을 겹쳐서 표시하도록 디스플레이부(131)를 제어할 수 있다. 이 경우, 이미지 매칭부(160)는 실시간 촬영 영상과 캡쳐링 영상과의 이미지 매칭을 수행하여 실시간 촬영 영상과 캡쳐링 영상간의 이동 화소 및 이동 방향을 산출할 수 있다. 산출부(150)는 이미지 매칭 결과 산출된 이동 화소 및 이동 방향을 이용하여 카메라의 기존 거치 위치를 기준으로 이동시켜야하는 거리 및 방향을, 예를 들어, 왼쪽으로 X cm, 윗쪽으로 Y cm 와 같이, 산출할 수 있다. 이에 대해서는 도 10을 참조하여 후술하기로 한다.

한편, 제어부(170)는 전자 장치(100)의 전반적인 동작을 제어한다. 구체적으로 제어부(170)는 저장부(110), 입력부(120), 출력부(130), 결정부(140), 산출부(150), 영상 매칭부(160)의 전부 또는 일부를 제어할 수 있다.

특히, 제어부(170)는 결정부(140)에서 결정된 소실점의 위치 및 기준 위치를 이용하여 카메라의 거치 위치를 안내할 수 있다.

여기서, 제어부(170)는 차량의 속도가 기 설정된 속도 이하인 경우에만 안내를 수행하도록 제어할 수 있다. 일 예로, 입력부(120)를 통하여 카메라의 거치 위치 안내를 요청하는 사용자 입력이 수신되면, 제어부(170)는 차량의 속도를 판단하고, 차량의 속도가 기 설정된 속도 이하인 경우에 안내를 수행하도록 제어할 수 있다. 여기서, 기 설정된 속도는, 차량이 움직이지 않는 정차 또는 주차 상태에서의 속도일 수 있으나, 이에 한정되는 것은 아니다.

한편, 제어부(170)는 산출부(150)에서 산출된 카메라의 기존 거치 위치를 기준으로 이동시켜야하는 거리 및 방향을 이용하여, 이를 음성으로 제공하도록 오디오 출력부(133)를 제어하거나 또는 이를 나타내는 안내 객체를 화면에 표시하도록 디스플레이부(131)를 제어함으로써 상기 안내를 수행할 수 있다. 이 경우, 사용자는 음성 또는 화면을 통하여 카메라를 이동시켜야하는 거리 및 방향을 확인한 후, 카메라를 대응되는 거리 및 방향만큼 이동시켜 새로운 위치에 거치할 수 있다. 이에 대해서는 도 8을 참조하여 후술하기로 한다.

또는, 제어부(170)는 실시간 촬영 영상을 화면에 표시하고, 산출부(150)에서 결정된 영역에 캡쳐링 영상을 겹쳐서 표시하도록 디스플레이부(131)를 제어함으로써 상기 안내를 수행할 수 있다. 여기서, 겹쳐서 표시된 화면은 산출된 거리 및 방향을 나타내는 안내 객체를 함께 표시할 수 있다. 이 경우, 사용자는 화면을 통하여 실시간 촬영 영상과 캡쳐 영상을 확인하고, 실시간 촬영 영상과 캡쳐 영상이 정확히 일치하여 표시되도록 카메라를 대응되는 거리 및 방향만큼 이동시켜 새로운 위치에 거치할 수 있다. 이에 대해서는 도 10을 참조하여 후술하기로 한다.

한편, 상술한 카메라 거치 안내를 확인한 사용자가 카메라를 이동시키면, 산출부(150)는 사용자의 카메라 이동에 따른 결과를 반영하여 이동해야하는 거리 및 방향을 갱신할 수 있다.

구체적으로, 산출부(150)는 상기 카메라의 이동에 따른 센싱부(190)의 센싱 값을 기초로 사용자의 카메라 이동에 따른 결과를 반영하여 이동해야하는 거리 및 방향을 갱신할 수 있다. 일 예로, 카메라가 차량에 거치된 전자 장치(100)와 일체로 형성되어 차량의 전방을 촬영하는 카메라인 경우, 산출부(150)는 전자 장치(100)의 모션 센싱부(191)의 센싱 값을 기초로 사용자의 카메라 이동에 따른 결과를 반영하여 이동해야하는 거리 및 방향을 갱신할 수 있다. 다른 예로, 카메라가 전자 장치(100)와 별개로 차량에 거치되어 차량의 전방을 촬영하는 블랙 박스인 경우, 산출부(150)는 블랙 박스로부터 수신된 3축 지자기 센서 및 3축 가속도 센서의 센싱 값을 이용하여 사용자의 카메라 이동에 따른 결과를 반영하여 이동해야하는 거리 및 방향을 갱신할 수 있다.

또는, 산출부(150)는 상기 카메라의 이동에 따른 이미지 매칭부(160)에서의 이미지 매칭 결과를 이용하여 이동해야하는 거리 및 방향을 갱신할 수 있다. 구체적으로, 이미지 매칭부(160)는 실시간 촬영 영상과 캡쳐링 영상의 이미지 매칭을 수행하여 실시간 촬영 영상과 캡쳐링 영상간의 이동 화소 및 이동 방향을 산출할 수 있다. 그리고, 산출부(150)는 이미지 매칭 결과 산출된 이동 화소 및 이동 방향을 이용하여 사용자의 카메라 이동에 따른 결과를 산출하고, 이를 반영하여 거리 및 방향을 갱신할 수 있다.

도 2는 본 발명의 일 실시 예에 따른 전자 장치를 구체적으로 나타내는 블록도 이다. 도 2를 참조하면, 전자 장치(100)는 저장부(110), 입력부(120), 출력부(130), 결정부(140), 산출부(150), 영상 매칭부(160), 제어부(170), 통신부(180), 센싱부(190), 전원부(195)의 전부 또는 일부를 포함한다. 이하에서는, 도 2를 참조하여 본 발명의 일 실시 예에 따른 전자 장치(100)를 설명하기로 한다. 다만, 도 2를 설명함에 있어서, 도 1에 설명한 구성에 대한 구체적인 설명은 생략하기로 한다.

통신부(180)는 전자 장치(100)가 다른 디바이스와 통신하기 위하여 마련될 수 있다. 통신부(180)는, 위치 데이터부(181)과, 무선 인터넷부(183)과, 방송 송수신부(185), 이동 통신부(186), 근거리 통신부(187), 유선 통신부(189)의 전부 또는 일부를 포함할 수 있다.

위치 데이터부(181)는 GNSS(Global Navigation Satellite System)를 통하여 위치 데이터를 획득하는 장치이다. GNSS는 인공위성으로부터 수신한 전파신호를 이용하여 수신 단말기의 위치를 산출할 수 있는 항법 시스템을 의미한다. GNSS의 구체적인 예로는, 그 운영 주체에 따라서 GPS(Global Positioning System), Galileo, GLONASS(Global Orbiting Navigational Satellite System), COMPASS, IRNSS(Indian Regional Navigational Satellite System), QZSS(Quasi-Zenith Satellite System) 등 일 수 있다. 본 발명의 일 실시예에 따른 전자 장치(100)의위치 데이터부(181)는, 전자 장치(100)가 사용되는 지역에서 서비스하는 GNSS 신호를 수신하여 위치 데이터를 획득할 수 있다.

무선 인터넷부(183)는 무선 인터넷에 접속하여 데이터를 획득하거나 송신하는 장치이다. 무선 인터넷부(183)를 통하여 접속할 수 있는 무선 인터넷은, WLAN(Wireless LAN), Wibro(Wireless broadband), Wimax(World interoperability for microwave access), HSDPA(High Speed Downlink Packet Access) 등 일 수 있다.

방송 송수신부(185)는 각종 방송 시스템을 통하여 방송 신호를 송수신하는 장치이다. 방송 송수신부(185)를 통하여 송수신할 수 있는 방송 시스템은, DMBT(Digital Multimedia Broadcasting Terrestrial), DMBS(Digital Multimedia Broadcasting Satellite), MediaFLO(Media Forward Link Only), DVBH(Digital Video Broadcast Handheld), ISDBT(Integrated Services Digital Broadcast Terrestrial) 등일 수 있다. 방송 송수신부(185)를 통하여 송수신되는 방송 신호에는 교통 데이터, 생활 데이터 등을 포함할 수 있다.

이동 통신부(186)는 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신 망에 접속하여 통신할 수 있다.

근거리 통신부(187)는 근거리 통신을 위한 장치이다. 근거리 통신부(187)는, 전술한 바와 같이, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, Infrared Data Association), UWB(Ultra WidBand), ZigBee, NFC(Near Field Communication), Wi-Fi 등을 통하여 통신할 수 있다.

유선 통신부(189)는 전자 장치(100)를 다른 디바이스와 유선으로 연결할 수 있는 인터페이스 장치이다. 유선 통신부(119)는, USB Port를 통하여 통신할 수 있는 USB 모듈일 수 있다.

이러한, 통신부(180)는 위치 데이터부(181)와, 무선 인터넷부(183)와, 방송 송수신부(185), 이동 통신부(186), 근거리 통신부(187), 유선 통신부(189) 중 적어도 하나를 이용하여 다른 디바이스와 통신할 수 있다.

일 예로, 전자 장치(100)가 카메라 기능을 포함하지 않는 경우, 블랙 박스 등과 같은 차량용 카메라에서 촬영된 영상을 근거리 통신부(187), 유선 통신부(189) 중 적어도 하나를 이용하여 수신할 수 있다.

다른 예로, 복수의 디바이스와 통신하는 경우에, 어느 하나는 근거리 통신부(187)로 통신하고, 다른 하나는 유선 통신부(119)를 통하여 통신하는 경우도 가능하다.

센싱부(190)는 전자 장치(100)의 현재 상태를 감지할 수 있는 장치이다. 센싱부(190)는 모션 센싱부(191)와, 광 센싱부(193)의 전부 또는 일부를 포함할 수 있다.

모션 센싱부(191)는 전자 장치(100)의 3차원 공간 상에서의 운동을 감지할 수 있다. 모션 센싱부(191)은, 3축 지자기 센서 및 3축 가속도 센서를 포함할 수 있다. 모션 센싱부(191)을 통하여 획득한 운동 데이터를 위치 데이터부(191)를 통하여 획득한 위치 데이터와 결합하여, 전자 장치(100)를 부착한 차량의 보다 정확한 궤적을 산출할 수 있다.

광 센싱부(193)는 전자 장치(100)의 주변 조도(illuminance)를 측정하는 장치이다. 광 센싱부(193)를 통하여 획득한 조도데이터를 이용하여, 디스플레이부(195)의 밝기를 주변 밝기에 대응되도록 변화시킬 수 있다.

전원부(195)는 전자 장치(100)의 동작 또는 전자 장치(100)와 연결된 다른 디바이스의 동작을 위하여 필요한 전원을 공급하는 장치이다. 전원부(195)는, 전자 장치(100)에 내장된 배터리 또는 차량 등의 외부전원에서 전원을 공급받는 장치일 수 있다. 또한, 전원부(195)는, 전원을 공급받는 형태에 따라서 유선 통신 모듈(119)로 구현되거나, 무선으로 공급받는 장치로 구현될 수도 있다.

도 3은 본 발명의 일 실시 예에 따른 소실점 결정 방법을 나타내는 도면이다. 도 3을 참조하면, 결정부(140)는 차량의 운전 중에 카메라에서 촬영된 촬영 영상(300)으로부터 차선(310,320)을 추출하고, 추출된 차선을 연장하여 서로 교차하게 되는 점을 소실점(Vanishing point)(330)으로 결정할 수 있다.

또한, 결정부(140)는 촬영 영상(300)에 결정된 소실점(330)의 위치인 소실점 위치를 결정할 수 있다.

도 4는 본 발명의 일 실시 예에 따른 소실점의 위치와 기준 위치를 나타내는 도면이다. 도 4를 참조하면, 촬영 영상(300)에서 결정된 소실점(330)의 위치는 차량의 운전 중에 영상을 촬영하는 카메라의 차량 거치 위치에 따라 변경될 수 있는 바, 소실점(330)의 최적의 위치인 기준(340)의 위치와 상이할 수 있다.

한편, 기준(340)의 위치는, 운전자가 선택한 운전 관련 안내 중요 순위에 따라 결정될 수 있다. 다만, 바람직하게는, 전자 장치(100)가 촬영 영상(300)을 이용하여 증강 현실 경로 안내, 차선 이탈 안내, 전방 차량 출발 안내, 신호등 변경 안내, 전방 차량 추돌 방지 안내 모두를 정확하게 수행할 수 있도록, 기준(340) 위치는 도 4와 같이 촬영 영상(300)의 중심으로부터 소정 거리(350) 내에 위치할 수 있다.

도 5는 본 발명의 일 실시 예에 따른 위치 차이 산출 방법을 나타내는 도면이다. 일 예로, 소실점(330)의 위치에 대응되는 좌표가 (0,0)이고, 기준(340) 위치에 대응되는 좌표가 (20,-20)인 경우, 산출부(150)는 소실점(330)의 위치에 대응되는 좌표 (0,0)를 기준으로 기준(340) 위치에 대응되는 좌표 (20, -20)까지의 거리 및 방향을 나타내는 위치 차이(-20, 20)(360)를 산출할 수 있다.

다른 예로, 소실점(330)의 위치에 대응되는 좌표가 (0,0)이고, 기준(340) 위치에 대응되는 좌표가 (20,-20)인 경우, 산출부(150)는 기준(340)의 위치에 대응되는 좌표 (20,-20)를 기준으로 소실점(330) 위치에 대응되는 좌표 (0, 0)까지의 거리 및 방향을 나타내는 위치 차이(20, -20)(370)를 산출할 수 있다.

이에 따라, 산출부(150)는 소실점의 위치 또는 기준 위치 중 하나를 기준으로 설정하고, 소실점의 위치가 기준 위치에 위치하기 위해서는 소실점의 위치가 오른쪽으로 20, 아래쪽으로 20 이동해야 함을 산출할 수 있다.

또한, 산출부(150)는 산출된 위치 차이를 이용하여 카메라의 기존 거치 위치를 기준으로 이동시켜야하는 거리 및 방향을 산출할 수 있다. 일 예로, 소실점의 위치, 기준 위치의 위치 차이가 도 5와 같은 경우, 산출부(150)는 산출된 위치 차이를 이용하여 카메라가 기존 거치 위치를 기준으로 왼쪽으로 X cm, 윗쪽으로 Y cm 이동해야 함을 산출할 수 있다.

도 6은 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법을 나타내는 흐름도 이다. 도 6을 참조하면, 먼저 전자 장치(100)는 차량의 운전 중에 카메라에서 촬영된 영상의 소실점(Vanishing point)을 결정할 수 있다(S601).

그리고, 결정된 소실점의 최적의 위치인 기준 위치를 결정할 수 있다(S602).

여기서, 기준 위치는, 차량의 운전 중에 카메라에서 촬영된 영상을 이용하여 최적의 운전 관련 안내를 제공할 수 있는 소실점의 위치일 수 있고, 운전 관련 안내는, 증강 현실 경로 안내, 차선 이탈 안내, 전방 차량 출발 안내, 신호등 변경 안내, 전방 차량 추돌 방지 안내 중 적어도 하나를 포함할 수 있다.

한편, 바람직하게는, 기준 위치는, 촬영 영상의 중심으로부터 소정 거리 내에 위치할 수 있다.

그리고, 결정된 소실점의 위치 및 기준 위치를 이용하여 카메라의 거치 위치를 안내할 수 있다(S603).

도 7은 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법을 구체적으로 나타내는 흐름도 이다. 도 7을 참조하면, 먼저 전자 장치(100)는 차량의 운전 중에 카메라에서 촬영된 영상의 소실점(Vanishing point)을 결정할 수 있다(S701).

그리고, 전자 장치(100)는 결정된 소실점의 최적의 위치인 기준 위치를 결정할 수 있다(S702).

그리고, 전자 장치(100)는 결정된 소실점의 위치 및 기준 위치 간의 위치 차이를 산출할 수 있다(S703).

그리고, 전자 장치(100)는 결정된 소실점의 위치를 기준 위치에 위치시키기 위해 카메라의 기존 거치 위치를 기준으로 이동시켜야하는 거리 및 방향을 산출된 위치 차이를 이용하여 산출할 수 있다(S704).

그리고, 전자 장치(100)는 산출된 거리 및 방향을 음성으로 제공하거나 또는 산출된 거리 및 방향을 나타내는 안내 객체를 화면에 표시할 수 있다(S705).

그리고, 사용자가 안내를 기초로 카메라를 이동시키면, 전자 장치(100)는 사용자의 카메라 이동에 따른 결과를 반영하여 거리 및 방향을 갱신할 수 있다(S706).

이 경우, 전자 장치(100)는 갱신된 거리 및 방향을 음성으로 제공하거나 또는 갱신된 거리 및 방향을 나타내는 안내 객체를 화면에 표시할 수 있다(S707).

도 8은 본 발명의 일 실시 예에 따른 안내 방법을 나타내는 UI(User Interface) 화면을 나타내는 도면이다. 도 8(a)를 참조하면, 전자 장치(100)는 소실점(330)의 위치를 기준 위치(340)에 위치시키기 위해 카메라의 기존 거치 위치를 기준으로 이동시켜야하는 거리 및 방향을 나타내는 안내 객체(801,802)를 화면에 표시할 수 있다. 이에 따라, 사용자는 표시된 화면을 확인한 후, 카메라를 기존 거치 위치를 기준으로 좌측 3cm, 상측으로 2cm 이동시킬 수 있다.

한편, 사용자가 안내를 기초로 카메라를 이동시키면, 전자 장치(100)는 사용자의 카메라 이동에 따른 결과를 반영하여 갱신된 거리 및 방향을 나타내는 안내 객체를 도 8(b)와 같이 화면에 표시할 수 있다. 즉, 사용자가 카메라를 좌측 1cm, 상측으로 1cm 이동시키면, 전자 장치(100)는 사용자의 카메라 이동에 따른 결과(모션 감지 센서(191)의 센싱 값)를 반영하여 좌측 2cm, 상측 1cm를 이동시키라는 안내 객체(803,804)를 도 8(b)와 같이 화면에 표시할 수 있다. 이에 따라, 사용자는 카메라를 현재 위치를 기준으로 좌측으로 2cm, 상측으로 1cm 이동시킬 수 있다.

도 9는 본 발명의 일 실시 예에 다른 전자 장치의 제어 방법을 구체적으로 나타내는 흐름도 이다. 도 9를 참조하면, 먼저 전자 장치(100)는 차량의 운전 중에 카메라에서 촬영된 영상의 소실점(Vanishing point)을 결정할 수 있다(S901).

그리고, 전자 장치(100)는 결정된 소실점의 최적의 위치인 기준 위치를 결정할 수 있다(S902).

그리고, 전자 장치(100)는 결정된 소실점의 위치 및 기준 위치 간의 위치 차이를 산출할 수 있다(S903).

그리고, 전자 장치(100)는 카메라의 기존 거치 위치에서 실시간으로 촬영된 영상을 캡쳐링할 수 있다(S904).

그리고, 전자 장치(100)는 위치 차이를 이용하여 캡쳐링 영상을 표시할 화면 내 소정 영역을 결정할 수 있다(S905).

그리고, 전자 장치(100)는 실시간 촬영 영상을 화면에 표시하고, 결정된 영역에 캡쳐링 영상을 겹쳐서 표시할 수 있다(S906).

그리고, 전자 장치(100)는 결정된 소실점의 위치를 기준 위치에 위치시키기 위해 카메라의 기존 거치 위치를 기준으로 이동시켜야하는 거리 및 방향을 산출할 수 있다(S907).

그리고, 전자 장치(100)는 산출된 거리 및 방향을 나타내는 안내 객체를 화면에 표시할 수 있다(S908).

그리고, 전자 장치(100)는 실시간 촬영 영상과 캡쳐링 영상을 매칭하고, 매칭 결과를 반영하여 거리 및 방향을 갱신할 수 있다(S909).

그리고, 전자 장치(100)는 갱신된 거리 및 방향을 나타내는 안내 객체를 화면에 표시할 수 있다(S910).

도 10은 본 발명의 일 실시 예에 따른 안내 방법을 나타내는 UI(User Interface) 화면을 나타내는 도면이다. 도 10(a)를 참조하면, 전자 장치(100)는 카메라의 기존 거치 위치에서 실시간으로 촬영된 영상의 캡쳐링 영상(1020)과 실시간 촬영 영상(1010)과 함께 겹쳐서 표시할 수 있다. 여기서, 캡쳐링 영상(1020)은 결정된 소실점의 위치를 기준 위치에 위치시키기 위해 카메라의 기존 거치 위치를 기준으로 이동시켜야하는 거리 및 방향을 반영한 영역에 표시될 수 있다.

또한, 도 10(b)를 참조하면, 전자 장치(100)는 소실점의 위치를 기준 위치에 위치시키기 위해 카메라의 기존 거치 위치를 기준으로 이동시켜야하는 거리 및 방향을 나타내는 안내 객체(1030)를 함께 표시할 수 있다.

한편, 사용자가 상술한 안내를 기초로 카메라를 이동시키면, 도 10(b)에 표시된 안내 객체는 사용자의 카메라 이동에 따른 결과를 반영하여 갱신될 수 있다. 구체적으로 이미지 매칭부(160)는 실시간 촬영 영상과 캡쳐링 영상의 이미지 매칭을 수행하여 실시간 촬영 영상과 캡쳐링 영상간의 이동 화소 및 이동 방향을 산출할 수 있고, 산출부(150)는 이미지 매칭 결과 산출된 이동 화소 및 이동 방향을 이용하여 사용자의 카메라 이동에 따른 결과를 산출하고, 이를 반영하여 거리 및 방향을 갱신할 수 있다.

한편, 사용자는 도 10(a) 또는 도 10(b)를 화면을 통하여 실시간 촬영 영상과 캡쳐 영상을 확인한 후, 실시간 촬영 영상과 캡쳐 영상이 정확히 일치하는 도 10(c)와 같이 표시될 때까지, 카메라를 좌측으로 소정 거리 및 상측으로 소정 거리 이동시켜 새로운 위치에 거치할 수 있다.

도 11은 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법을 구체적으로 나타내는 흐름도 이다. 도 11을 참조하면, 먼저 전자 장치(100)는 차량의 운전 중에 카메라에서 촬영된 영상의 소실점(Vanishing point)을 결정할 수 있다(S1101).

그리고, 전자 장치(100)는 결정된 소실점의 최적의 위치인 기준 위치를 결정할 수 있다(S1102).

그리고, 전자 장치(100)는 카메라의 거치 위치 안내를 요청하는 사용자 입력을 수신할 수 있다(S1103).

그리고, 전자 장치(100)는 차량의 속도가 기 설정된 속도 이하인지 여부를 판단할 수 있다(S1104).

만약, 차량의 속도가 기 설정된 속도 이하인 경우(S1104:Y), 전자 장치(100)는 결정된 소실점의 위치 및 기준 위치를 이용하여 카메라의 거치 위치를 안내할 수 있다(S1105).

다만, 차량의 속도가 기 설정된 속도 이하가 아닌 경우(S1104:N), 전자 장치(100)는 카메라의 거치 위치 안내를 수행하지 않을 수 있다(S1106)

이에 따라, 사용자가 카메라의 기존 거치 위치를 새로운 위치로 이동시키기 안전한 상태, 예를 들어 정차 상태 등의 경우, 전자 장치(100)는 카메라 거치 위치 안내를 수행할 수 있다.

도 12는 본 발명의 일 실시 예에 따른 카메라와 전자 장치가 분리형이 경우 구현 형태를 나타내는 도면이다. 도 12를 참조하면, 차량용 내비게이션(100)과 별도로 마련된 차량용 블랙박스(200)가 유선/무선 통신 방식을 이용하여 본 발명의 일 실시 예에 따른 시스템을 구성할 수 있다.

차량용 내비게이션(100)은 내비게이션 하우징(191)의 전면에 마련된 디스플레이부(145)와, 내비게이션 조작키(193)와, 내비게이션 마이크(195)를 포함할 수 있다.

차량용 블랙박스(200)는 주행 중 및 정차 중에 차량의 데이터를 획득할 수 있다. 즉, 차량의 주행 중의 영상을 촬영할 수 있음은 물론, 차량이 정차하여 있는 경우에도 영상을 촬영할 수 있다. 차량용 블랙박스(200)를 통하여 획득된 영상의 화질은, 일정하거나 변화될 수 있다. 예를 들어, 사고의 발생을 전후하여서는 영상의 화질을 높게 하고, 통상적인 경우에는 영상의 화질을 낮게 함으로써 요구되는 저장공간을 최소화하면서도 핵심적인 영상을 저장할 수 있다.

차량용 블랙박스(200)는 블랙박스 카메라(222)와, 블랙박스 마이크(224)와, 부착부(281)를 포함할 수 있다.

한편, 도 12에서는 차량용 내비게이션(100)과 별도로 마련된 차량용 블랙박스(200)가 유/무선 통신 방식을 통하여 연결된 것으로 도시하였으나, 차량용 내비게이션(100)과 차량용 블랙박스(200)는 유/무선 통신 방식을 통하여 연결되지 않을 수도 있다. 이 경우, 블랙 박스(200)의 촬영 영상을 저장하는 저장 매체가 전자 장치(100)에 삽입되면, 전자 장치(100)는 촬영 영상을 입력받을 수 있다. 한편, 차량용 블랙박스(200)가 차량용 내비게이션(100)의 기능을 구비하거나, 차량용 내비게이션(100)이 카메라를 구비하여 일체화되는 경우도 가능하다. 이에 대해서는 도 13을 참조하여 구체적으로 설명하기로 한다.

도 13은 본 발명의 일 실시 예에 따른 카메라와 전자 장치가 일체형인 경우 구현 형태를 나타내는 도면이다.도 13을 참조하면, 전자 장치가 카메라 기능을 내포하는 경우, 사용자는 전자 장치의 카메라 부분이 차량의 전방을 촬영하고, 전자 장치의 디스플레이 부분이 사용자 인식가능하도록 전자 장치를 거치시킬 수 있다. 이에 따라, 본 발명의 일 실시 예에 따른 시스템을 구현할 수 있다.

도 14는 본 발명의 일 실시 예에 따른 HUD(Head-Up Display) 및 전자 장치를 이용한 구현 형태를 나타내는 도면이다. 도 14를 참조하면, 전자 장치는 헤드업 디스플레이와 유/무선 통신을 통하여 증강 현실 경로 안내 화면을 헤드업 디스플레이 상에서 표시할 수 있다.

한편, 상술한 본 발명의 다양한 실시 예들에 따른 전자 장치의 제어 방법은 프로그램 코드로 구현되어 다양한 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장된 상태로 각 서버 또는 기기들에 제공될 수 있다.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100 : 전자 장치 110 : 저장부
120 : 입력부 130 : 출력부
140 : 결정부 150 : 산출부
160 : 영상 매칭부 170 : 제어부
180 : 통신부 190 : 센싱부
195 : 전원부

Claims (19)

1. 전자 장치의 제어 방법에 있어서,
   차량에 거치된 카메라에서 촬영된 영상의 소실점(Vanishing point)을 결정하는 단계;
   상기 결정된 소실점의 최적의 위치인 기준 위치를 결정하는 단계; 및
   상기 결정된 소실점의 위치 및 기준 위치를 이용하여 상기 카메라의 거치 위치를 안내하는 단계;를 포함하고,
   상기 안내하는 단계는,
   상기 결정된 소실점의 위치 및 상기 기준 위치 간의 위치 차이를 산출하는 단계;
   상기 카메라의 기존 거치 위치에서 촬영된 영상을 캡쳐링하는 단계;
   상기 위치 차이를 이용하여 상기 캡쳐링 영상을 표시할 화면 내 소정 영역을 결정하는 단계; 및
   실시간 촬영 영상을 상기 화면에 표시하고, 상기 결정된 소정 영역에 상기 캡쳐링 영상을 겹쳐서 표시하는 단계;를 포함하고,
   상기 캡쳐링 영상을 표시할 화면 내 소정 영역은 상기 소실점의 위치를 상기 기준 위치에 위치시키기 위해 상기 카메라의 기존 거치 위치를 기준으로 상기 카메라를 이동시켜야 하는 거리 및 방향을 반영한 영역인 것을 특징으로 하는 제어 방법.
2. 제1항에 있어서,
   상기 기준 위치는,
   상기 차량의 운전 중에 상기 카메라에서 촬영된 영상을 이용하여 최적의 운전 관련 안내를 제공할 수 있는 소실점의 위치인 것을 특징으로 하는 제어 방법.
3. 제2항에 있어서,
   상기 운전 관련 안내는,
   증강 현실 경로 안내, 차선 이탈 안내, 전방 차량 출발 안내, 신호등 변경 안내, 전방 차량 추돌 방지 안내 중 적어도 하나를 포함하고,
   상기 기준 위치는,
   상기 촬영 영상의 중심으로부터 소정 거리 내에 위치하는 것을 특징으로 하는 제어 방법.
4. 제1항에 있어서,
   상기 카메라의 거치 위치 안내를 요청하는 사용자 입력을 수신하는 단계;를 더 포함하고,
   상기 안내하는 단계는,
   상기 차량의 속도가 기 설정된 속도 이하인 경우에 수행되는 것을 특징으로 하는 제어 방법.
5. 제1항에 있어서,
   상기 안내하는 단계는,
   상기 결정된 소실점의 위치 및 상기 기준 위치 간의 위치 차이를 산출하는 단계;
   상기 결정된 소실점의 위치를 상기 기준 위치에 위치시키기 위해 상기 카메라의 기존 거치 위치를 기준으로 이동시켜야하는 거리 및 방향을 상기 산출된 위치 차이를 이용하여 산출하는 단계; 및
   산출된 거리 및 방향을 음성으로 제공하거나 또는 산출된 거리 및 방향을 나타내는 안내 객체를 화면에 표시하는 단계;를 포함하는 것을 특징으로 하는 제어 방법.
6. 삭제
7. 삭제
8. 제1항에 있어서,
   상기 결정된 소실점의 위치를 상기 기준 위치에 위치시키기 위해 상기 카메라의 기존 거치 위치를 기준으로 이동시켜야하는 거리 및 방향을 산출하는 단계; 및
   상기 산출된 거리 및 방향을 나타내는 안내 객체를 상기 화면에 표시하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
9. 삭제
10. 전자 장치에 있어서,
    차량에 거치된 카메라에서 촬영된 영상의 소실점(Vanishing point)을 결정하고, 상기 결정된 소실점의 최적의 위치인 기준 위치를 결정하는 결정부;
    상기 결정된 소실점의 위치 및 상기 기준 위치를 저장하는 저장부;
    화면을 표시하는 디스플레이부;
    상기 결정된 소실점의 위치 및 상기 기준 위치 간의 위치 차이를 산출하는 산출부; 및
    상기 결정된 소실점의 위치 및 기준 위치를 이용하여 상기 카메라의 거치 위치를 안내하는 제어부;를 포함하고,
    상기 제어부는,
    상기 카메라의 기존 거치 위치에서 촬영된 영상을 캡쳐링하고, 상기 위치 차이를 이용하여 상기 캡쳐링 영상을 표시할 화면 내 소정 영역을 결정하며,
    실시간 촬영 영상과 상기 결정된 소정 영역에 상기 캡쳐링 영상을 겹쳐서 표시하도록 상기 디스플레이부를 제어하며,
    상기 캡쳐링 영상을 표시할 화면 내 소정 영역은 상기 소실점의 위치를 상기 기준 위치에 위치시키기 위해 상기 카메라의 기존 거치 위치를 기준으로 상기 카메라를 이동시켜야 하는 거리 및 방향을 반영한 영역인 것을 특징으로 하는 전자 장치.
11. 제10항에 있어서,
    상기 기준 위치는,
    상기 차량의 운전 중에 상기 카메라에서 촬영된 영상을 이용하여 최적의 운전 관련 안내를 제공할 수 있는 소실점의 위치인 것을 특징으로 하는 전자 장치.
12. 제11항에 있어서,
    상기 운전 관련 안내는,
    증강 현실 경로 안내, 차선 이탈 안내, 전방 차량 출발 안내, 신호등 변경 안내, 전방 차량 추돌 방지 안내 중 적어도 하나를 포함하고,
    상기 기준 위치는,
    상기 촬영 영상의 중심으로부터 소정 거리 내에 위치하는 것을 특징으로 하는 전자 장치.
13. 제10항에 있어서,
    상기 카메라의 거치 위치 안내를 요청하는 사용자 입력을 수신하는 입력부;를 더 포함하고,
    상기 제어부는,
    상기 차량의 속도가 기 설정된 속도 이하인 경우에 상기 안내를 수행하도록 제어하는 것을 특징으로 하는 전자 장치.
14. 제10항에 있어서,
    음성을 출력하는 오디오 출력부;
    화면을 표시하는 디스플레이부; 및
    상기 결정된 소실점의 위치 및 상기 기준 위치 간의 위치 차이를 산출하고, 상기 결정된 소실점의 위치를 상기 기준 위치에 위치시키기 위해 상기 카메라의 기존 거치 위치를 기준으로 이동시켜야하는 거리 및 방향을 상기 산출된 위치 차이를 이용하여 산출하는 산출부;를 더 포함하고,
    상기 제어부는,
    상기 산출된 거리 및 방향을 음성으로 제공하도록 상기 오디오 출력부를 제어하거나 또는 상기 산출된 거리 및 방향을 나타내는 안내 객체를 화면에 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 전자 장치.
15. 삭제
16. 삭제
17. 제10항에 있어서,
    상기 산출부는,
    상기 결정된 소실점의 위치를 상기 기준 위치에 위치시키기 위해 상기 카메라의 기존 거치 위치를 기준으로 이동시켜야하는 거리 및 방향을 산출하고,
    상기 제어부는,
    상기 산출된 거리 및 방향을 나타내는 안내 객체를 상기 화면에 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 전자 장치.
18. 삭제
19. 제 1 항 내지 제 5 항 및 제 8 항 중 어느 한 항에 기재된 제어 방법을 실행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.

Images