KR20190071067A - 차량 및 그 제어 방법 - Google Patents

차량 및 그 제어 방법 Download PDF

Info

Publication number
KR20190071067A
KR20190071067A KR1020170171794A KR20170171794A KR20190071067A KR 20190071067 A KR20190071067 A KR 20190071067A KR 1020170171794 A KR1020170171794 A KR 1020170171794A KR 20170171794 A KR20170171794 A KR 20170171794A KR 20190071067 A KR20190071067 A KR 20190071067A
Authority
KR
South Korea
Prior art keywords
image
vehicle
information
unit
capturing
Prior art date
Application number
KR1020170171794A
Other languages
English (en)
Other versions
KR102443843B1 (ko
Inventor
김선아
이정엄
신동수
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020170171794A priority Critical patent/KR102443843B1/ko
Publication of KR20190071067A publication Critical patent/KR20190071067A/ko
Application granted granted Critical
Publication of KR102443843B1 publication Critical patent/KR102443843B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105Speed
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H04N5/23219
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • B60W2420/42
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • B60W2550/22
    • B60W2550/308
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/801Lateral distance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60Traffic rules, e.g. speed limits or right of way

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

본 발명의 차량은 주행 속도를 검출하는 속도 검출부; 외부의 영상을 획득하는 제1영상 획득부; 내부의 영상을 획득하는 제2영상 획득부; 제2영상 획득부에서 획득된 영상에 기초하여 운전자 및 동승자의 행동을 인식하고, 인식된 행동의 행동 정보와 검출된 주행 속도의 변화 정보 중 적어도 하나에 기초하여 획득된 외부의 영상을 캡쳐하고, 주행이 종료되면 캡쳐된 외부의 영상을 연결하여 드라이브 비디오를 생성하는 제어부; 및 생성된 드라이브 비디오를 저장하는 저장부를 포함한다.

Description

차량 및 그 제어 방법 {Vehicle and method for controlling the vehicle}
본 발명은 외부의 영상을 획득하고 획득된 영상을 저장하기 위한 차량 및 그 제어 방법에 관한 것이다.
차량은 사람 또는 화물을 운송할 목적으로 차륜을 구동시켜 주행하는 기계로, 도로 위를 이동한다.
이러한 차량은 기본적인 주행 기능 외에도 라디오 기능, 오디오 기능, 비디오 기능, 길 안내 기능(내비게이션 기능), 공조 기능, 시트 열선 기능, 외부 촬영 기능(블랙박스 기능) 외부의 사용자용 단말기와의 통신 기능 등 사용자 편의를 위한 부가적인 기능을 더 수행한다.
여기서 라디오 기능은 방송국에서 송신되는 교통 정보, 뉴스 등의 각종 정보나 음악 등을 출력하는 기능이다.
오디오 기능은 차량에 마련된 카세트 테이프 레코더, CD플레이어 또는 저장매체나 사용자용 단말기와 통신을 수행하는 통신 모듈을 이용하여 카세트 테이프나 CD플레이어에 의해 저장된 오디오 파일을 로딩하여 재생하거나, 저장매체나 사용자용 단말기에 저장된 음악 파일을 로딩하여 재생하는 기능이다.
또한 차량은 외부와의 통신을 통해 컨텐츠 재생 기능, 인터넷 검색 기능, 통화 기능, 및 위치 검색 기능 등을 수행한다.
일 측면은 사용자의 행동 정보와 차량의 주행 정보 중 적어도 하나에 기초하여 획득 중인 외부의 영상을 캡쳐하고, 캡쳐된 영상들을 연결하여 드라이브 비디오를 생성 및 출력하는 차량 및 그 제어 방법을 제공한다.
다른 측면은 외부의 영상 캡쳐 시의 사용자의 행동 정보, 위치 정보 및 관심 지역 정보를 태그 정보로 저장하고, 태그 정보를 가진 드라이브 비디오를 생성 및 출력하는 차량 및 그 제어 방법을 제공한다.
일 측면에 따른 차량은 주행 속도를 검출하는 속도 검출부; 외부의 영상을 획득하는 제1영상 획득부; 검출된 주행 속도의 변화 정보에 기초하여 획득된 외부의 영상을 캡쳐하고, 주행이 종료되면 캡쳐된 외부의 영상을 연결하여 드라이브 비디오를 생성하는 제어부; 및 생성된 드라이브 비디오를 저장하는 저장부를 포함한다.
일 측면에 따른 차량은 현재 위치에 대응하는 위치 정보를 수신하는 위치 수신부; 목적지 정보를 입력받는 입력부를 더 포함하고, 제어부는, 위치 정보와 목적지 정보에 기초하여 현재 위치가 목적지인지 판단하고 출발지부터 목적지까지 드라이브 비디오를 생성하는 것을 포함한다.
일 측면에 따른 차량의 제어부는, 외부의 영상 캡쳐 시, 캡쳐 시점의 차량의 위치 정보를 확인하고 확인된 위치 정보를 캡쳐된 영상과 결합하여 저장하는 것을 더 포함한다.
일 측면에 따른 차량은 현재 위치에 대응하는 위치 정보를 수신하는 위치 수신부를 더 포함하고, 제어부는 주행 속도의 변화가 속도 감소이면 제1영상 획득부에서 획득된 영상을 캡쳐하고 획득된 영상의 캡쳐 시점의 차량의 위치 정보를 확인하고 확인된 위치 정보를 캡쳐된 영상과 결합하여 저장하는 것을 더 포함한다.
일 측면에 따른 차량은 제어부는, 변속 레버의 위치 정보를 확인하고, 변속 레버의 위치가 파킹 단이면 제1영상 획득부에서 획득된 영상을 캡쳐하고 획득된 영상의 캡쳐 시점의 차량의 위치 정보를 확인하고 확인된 위치 정보를 캡쳐된 영상과 결합하여 저장하는 것을 더 포함한다.
일 측면에 따른 차량의 제어부는 제1영상 획득부에서 획득된 외부의 영상을 영상처리하고, 영상 처리된 영상에서 타 차량을 인식하고 인식된 타 차량과의 거리가 기준 거리 이상이고, 주행 속도의 변화가 속도 감소이면 제1영상 획득부에서 획득된 영상을 캡쳐하는 것을 더 포함한다.
일 측면에 따른 차량은 타 차량과의 거리를 검출하는 거리 검출부를 더 포함하고, 제어부는 검출된 타 차량과의 거리가 기준 거리 이상이고, 주행 속도의 변화가 속도 감소이면 제1영상 획득부에서 획득된 영상을 캡쳐하는 것을 더 포함한다.
일 측면에 따른 차량은 내부의 영상을 획득하는 제2영상 획득부;를 더 포함하고, 제어부는, 제2영상 획득부에서 획득된 영상에 기초하여 운전자 및 동승자의 행동을 인식하고, 인식된 행동의 행동 정보에 기초하여 획득된 외부의 영상을 캡쳐하고, 캡쳐된 외부의 영상을 연결하여 드라이브 비디오를 생성하는 것을 더 포함한다.
일 측면에 따른 차량은 현재 위치에 대응하는 위치 정보를 수신하는 위치 수신부를 더 포함하고, 제어부는 획득된 내부의 영상을 영상처리하고, 영상 처리된 영상에서 운전자의 시선을 인식하고, 운전자의 시선이 외부 주시 영역에 기준 시간 위치하면 제1영상 획득부에서 획득된 영상을 캡쳐하는 것을 더 포함한다.
일 측면에 따른 차량의 제어부는, 운전자 및 동승자 중 적어도 하나의 탑승자가 내부와 외부를 교대로 주시하는 반복 횟수를 확인하고 확인된 반복 횟수가 기준 횟수 이상이면 제1영상 획득부에서 획득된 영상을 캡쳐하는 것을 더 포함한다.
일 측면에 따른 차량의 제어부는, 영상 처리된 영상에서 동승자의 시선을 인식하고, 동승자의 시선이 기준 시간 이상 고정 위치이면 제1영상 획득부에서 획득된 영상을 캡쳐하는 것을 더 포함한다.
일 측면에 따른 차량의 제어부는, 동승자의 모션을 확인하고 확인된 동승자의 모션이 단말기를 이용한 외부 촬영 모션이면 제1영상 획득부에서 획득된 영상을 캡쳐하는 것을 더 포함한다.
일 측면에 따른 차량의 제어부는, 획득된 외부의 영상을 영상 처리하고 영상 처리된 영상에서 표지판을 인식하고, 인식된 표지판의 영상을 저장하는 것을 더 포함한다.
일 측면에 따른 차량은 현재 위치에 대응하는 위치 정보를 수신하는 위치 수신부; 목적지 정보를 입력받는 입력부를 더 포함하고, 제어부는 위치 정보와 목적지 정보에 기초하여 출발지부터 목적지까지 내비게이션 정보를 생성하고 생성된 내비게이션 정보와 현재 위치의 위치 정보에 기초하여 현재 위치가 관심 지역이라고 판단되면 제1영상 획득부에서 획득된 영상을 캡쳐하는 것을 더 포함한다.
일 측면에 따른 차량의 제어부는 시동이 오프되면 현재 위치가 목적지인지 판단하고, 현재 위치가 목적지가 아니라고 판단되면 제1영상 획득부에서 획득된 영상을 캡쳐하는 것을 더 포함한다.
다른 측면에 따른 차량의 제어 방법은, 차량의 주행 속도를 검출하고,검출된 주행 속도를 실시간으로 확인하고, 주행 속도가 감소되면 제1영상 획득부를 통해 획득된 외부의 영상을 캡쳐하고, 외부의 영상 캡쳐 시 차량의 위치를 확인하고, 캡쳐된 영상과 차량의 위치를 결합하여 드라이브 영상을 생성하고, 주행이 종료되면 생성된 드라이브 영상을 연결하여 드라이브 비디오를 생성하고, 생성된 드라이브 비디오를 출력한다.
드라이브 영상을 생성하는 것은, 제2영상 획득부에서 획득된 내부의 영상에 기초하여 운전자 및 동승자의 행동 정보를 인식하고, 인식된 행동 정보에 기초하여 제1영상 획득부에서 획득된 외부의 영상을 캡쳐하고, 외부의 영상 캡쳐 시 차량의 위치를 확인하고, 캡쳐된 영상과 차량의 위치를 결합하여 드라이브 영상을 생성하는 것을 포함한다.
주행이 종료되었는지 판단하는 것은, 위치 수신부에 수신된 위치 정보를 확인하고, 확인된 위치 정보와 목적지 정보에 기초하여 현재 위치가 목적지인지 판단하고, 현재 위치가 목적지이면 주행이 종료되었다고 판단하는 것을 포함한다.
차량의 제어 방법은 목적지 정보가 수신되면 위치 수신부에 수신된 위치 정보를 확인하고, 확인된 위치 정보와 목적지 정보에 기초하여 출발지부터 목적지까지 내비게이션 정보를 생성하고, 내비게이션 정보에 기초하여 캡쳐 시점인지를 판단하고, 현재가 캡쳐 시점이라고 판단되면 제1영상 획득부에서 획득된 외부의 영상을 캡쳐하는 것을 포함한다.
제1영상 획득부에서 획득된 외부의 영상을 캡쳐하는 것은, 타 차량과의 거리를 확인하고, 확인된 거리가 기준 거리 이상이고, 주행 속도의 변화가 속도 감소이면 제1영상 획득부에서 획득된 외부의 영상을 캡쳐하는 것을 포함한다.
차량의 제어 방법은 속도 감소에 대응하는 태그를 생성하고, 생성된 태그를 캡쳐된 외부의 영상과 결합하여 저장하는 것을 더 포함한다.
차량의 제어 방법은, 제2영상획득부에서 획득된 차량의 내부 영상을 영상 처리하고, 영상 처리된 영상에서 사용자의 시선을 인식하고, 인식된 시선에 기초하여 캡쳐 시점인지를 판단하고, 캡쳐 시점이라고 판단되면 제1영상 획득부에서 획득된 외부의 영상을 캡쳐하고, 시선 인식에 대응하는 태그를 생성하고, 생성된 태그와 캡쳐된 영상을 결합하여 저장하는 것을 더 포함한다.
차량의 제어 방법은 제2영상획득부에서 획득된 차량의 내부 영상을 영상 처리하고, 영상 처리된 영상에서 사용자의 모션을 인식하고, 인식된 사용자의 모션이 단말기를 이용한 외부 촬영 모션이면 제1영상 획득부에서 획득된 외부의 영상을 캡쳐하고,션 인식에 대응하는 태그를 생성하고, 생성된 태그와 캡쳐된 영상을 결합하여 저장하는 것을 더 포함한다.
차량의 제어 방법은 변속 레버의 위치 정보를 확인하고, 변속 레버의 위치가 파킹 단이면 제1영상 획득부에서 획득된 영상을 캡쳐하고, 획득된 영상의 캡쳐 시점의 차량의 위치 정보를 확인하고, 확인된 위치 정보를 캡쳐된 영상과 결합하여 저장하는 것을 더 포함한다.
또 다른 측면에 따른 차량은 주행 속도를 검출하는 속도 검출부; 내비게이션 모드 및 목적지를 입력받는 입력부; 현재의 위치 정보를 수신하는 위치 수신부; 외부의 영상을 획득하는 영상 획득부; 수신된 위치 정보와 목적지 정보에 기초하여 내비게이션 정보를 생성하고 생기 생성된 내비게이션 정보와 검출된 주행 속도의 변화 정보 중 적어도 하나에 기초하여 획득된 외부의 영상을 캡쳐하고, 현재 위치가 목적지이면 캡쳐된 외부의 영상을 연결하여 드라이브 비디오를 생성하는 제어부; 및 생성된 드라이브 비디오를 저장하는 저장부를 포함한다.
본 발명은 사용자의 행동 정보와 차량의 주행 정보 중 적어도 하나에 기초하여 자동으로 드라이브 비디오를 생성함으로써 편리하고 용이하게 드라이브 비디오를 생성할 수 있다.
또한 본 발명은 외부의 영상과 태그를 조합하여 드라이브 비디오를 생성하기 때문에 드라이브 비디오 재생 시, 각 영상의 위치 및 각 영상의 캡쳐 이유를 사용자가 용이하게 인식할 수 있다.
또한 본 발명은 저장된 드라이브 비디오에서 어느 하나의 영상을 검색할 때 태그를 이용할 수 있기 때문에 검색하고자 하는 영상을 신속하고, 편리하고 정확하게 검색할 수 있다.
본 발명은 의식 및 무의식적으로 운전자가 바라 본 장면에 대한 영상을 이용하여 드라이브(여행) 비디오를 만들기 때문에 운전자가 교감하는 드라이브 비디오를 만들 수 있고, 운전자의 추억이 깃든 드라이브 비디오를 만들 수 있으며, 추후 운전자가 드라이브 히스토리를 용이하게 알도록 할 수 있다.
본 발명은 차량을 이용하여 여행하는 경우, 여행 이후에 여행 비디오를 자동으로 만들 수 있어 사용자의 편의성을 향상시킬 수 있고, 남기고 싶거나 알리고 싶은 장소들의 영상을 캡쳐하여 위치 정보와 함께 저장함으로써 영상 검색이 용이하고, 영상 편집에 소요되는 시간을 줄일 수 있다.
본 발명은 영상을 캡쳐하고자 할 때 의도적으로 주행 속도를 줄임으로써 영상의 캡쳐 시점을 조정할 수 있고 이로 인해 개인화된 서비스를 제공할 수 도 있다. 이는 소셜미디어의 발달에 따라 운전자에게 큰 편의를 제공할 수 있으며, 차량의 상품성을 향상시킬 수 있고, 나아가 사용자의 만족도를 높일 수 있으며 사용자의 편리성, 신뢰성을 향상시킬 수 있고 제품의 경쟁력을 확보할 수 있다.
도 1은 실시 예에 따른 차량의 외장 예시도이다.
도 2는 도 1에 도시된 차량의 내장 예시도이다.
도 3은 실시 예에 따른 차량의 제어 구성도이다.
도 4는 실시 예에 따른 차량에 마련된 제어부의 상세 구성도이다.
도 5는 실시 예에 따른 차량의 제어 순서도이다.
도 6 및 도 7은 실시 예에 따른 차량의 영상 캡쳐 예시도이다.
도 8 내지 도 10은 실시 예에 따른 차량의 드라이브 비디오의 생성 예시도이다.
이하, 첨부된 도면을 참조하여 본 발명에 대해 상세히 설명한다.
차량(100)은 외장(110)과 내장(120)을 갖는 차체(Body)와, 차체를 제외한 나머지 부분으로 주행에 필요한 기계 장치가 설치되는 차대(Chassis)를 포함한다.
도 1 에 도시된 바와 같이 차체의 외장(110)은 프론트 패널(111), 본네트(112), 루프 패널(113), 리어 패널(114), 전후좌우의 도어(115), 전후좌우의 도어(115)에 개폐 가능하게 마련되고, 차량의 정면과 후면에 고정 설치된 창문(116)을 포함한다.
창문(116)는 운전석의 도어에 마련된 운전석 측 창문(116a)과, 동승석의 도어에 마련된 동승석 측 창문(116b)과, 대시보드와 본네트에 마련된 정면 창문(116c)을 포함할 수 있다.
차체의 외장은 전방시야를 주시하면서 주변의 정보를 쉽게 볼 수 있도록 하고 다른 차량과 보행자에 대한 신호, 커뮤니케이션의 기능을 수행하는 램프(117)와, 전후좌우 도어의 윈도우 글래스 사이의 경계에 마련된 필러와, 운전자에게 차랑(100) 후방의 시야를 제공하는 사이드 미러(118)를 포함한다.
사이드 미러(118)는 운전석 측에 마련된 좌측 사이드 미러(118a)와, 동승석 측에 마련된 우측 사이드 미러(118b)를 포함한다.
차체의 외장은 GPS 위성, 방송국 등의 신호를 수신하고, 다른 차량과의 통신(V2V) 및 인프라와의 통신(V2I) 등의 무선 차량 네트워크(V2X: Vehicle to everything)를 수행하기 위한 안테나(119)를 더 포함한다.
도 2에 도시된 바와 같이, 차체의 내장(120)은 탑승자가 앉는 시트(121)와, 대시 보드(122)와, 대시 보드 상에 배치되고 타코미터, 속도계, 냉각수 온도계, 연료계, 방향전환 지시등, 상향등 표시등, 경고등, 안전벨트 경고등, 주행 거리계, 주행 기록계, 변속 레버 표시등, 도어 열림 경고등, 엔진 오일 경고등, 연료부족 경고등이 배치된 계기판(즉 클러스터, 123)과, 공기조화기의 송풍구와 조절판이 배치된 센터 페시아(124)와, 센터 페시아(124)에 마련되고 오디오 기기와 공기 조화기의 동작 명령을 입력받는 헤드유닛(125)과, 센터 페시아(124)에 마련되고 시동 명령을 입력받는 시동버튼과, 센터 페시아(124)에 마련되고 저장 장치(300) 및 단말기가 연결되는 멀티 인터페이스를 포함한다.
시트(121)는 운전자가 앉는 운전석 시트(121a)와, 동승자가 앉는 동승자 시트(121b)를 포함할 수 있다.
차량은 센터페시아(124)에 마련되고 조작 위치를 입력받는 변속 레버(126)와, 변속 레버의 주변 또는 헤드 유닛(125)에 위치하고 전자식 주차 브레이크 장치(미도시)의 동작 명령을 입력받는 주차 버튼(EPB 버튼)을 더 포함한다.
차랑(100)은 각종 기능의 동작 명령을 입력받기 위한 입력부(127)를 더 포함할 수 있다.
입력부(127)는 헤드 유닛(125) 및 센터페시아(124)에 마련될 수 있고, 각종 기능의 동작 온 오프 버튼, 각종 기능의 설정값을 변경하기 위한 버튼 등과 같은 적어도 하나의 물리적인 버튼을 포함할 수 있다.
입력부(127)는 사용자 인터페이스(129)의 표시부에 표시된 커서의 이동 명령 및 선택 명령 등을 입력하기 위한 조그 다이얼(미도시) 또는 터치 패드(미도시)를 더 포함하는 것도 가능하다.
여기서 조그 다이얼 또는 터치 패드는 센터페시아 등에 마련될 수 있다.
차랑(100)은 헤드 유닛(125)에 마련되고, 차량에서 수행 중인 기능에 대한 정보 및 사용자에 의해 입력된 정보를 표시하는 표시부(128)를 더 포함할 수 있다.
차량은 사용자의 사용 편의를 위한 사용자 인터페이스(129)를 더 포함한다.
사용자 인터페이스(129)는 오디오 기능, 비디오 기능, 내비게이션 기능, 방송 기능(DMB 기능), 라디오 기능, 컨텐츠 재생 기능, 인터넷 검색 기능 중 사용자에 의해 선택된 적어도 하나의 기능에 대한 영상을 표시한다.
사용자 인터페이스(129)는 대시 보드 상에 매립식 또는 거치식으로 설치될 수 있다.
사용자 인터페이스(129)는 표시부로 디스플레이 패널을 포함할 수 있고, 입력부로 터치 패널을 더 포함할 수 있다.
즉 사용자 인터페이스(129)는 디스플레이 패널만을 포함할 수 있고, 디스플레이 패널에 터치 패널이 일체화된 터치 스크린을 포함할 수도 있다.
사용자 인터페이스(129)는 디스플레이 패널만으로 구현된 경우, 센터페시아에 마련된 입력부(127)를 이용하여 디스플레이 패널에 표시된 버튼을 선택받을 수 있다.
사용자 인터페이스(129)는 터치 스크린으로 구현된 경우, 터치 패널을 통해 사용자의 동작 명령을 직접 입력받을 수 있다.
이와 같이 사용자 인터페이스(129)는 표시부를 포함할 수 있고, 입력부를 더 포함할 수 있다.
차량의 차대는 차체(110, 120)를 지지하는 틀로, 전후좌우에 각 배치된 차륜(131)과, 전후좌우의 차륜(131)에 구동력을 인가하기 위한 동력 장치, 조향 장치, 전후좌우의 차륜(131)에 제동력을 인가하기 위한 제동 장치 및 차량의 서스펜션을 조절하기 위한 현가 장치가 마련될 수 있다.
차량(100)은 주행 방향을 조절하기 위한 조향 장치의 스티어링 휠(132)과, 사용자의 제동 의지에 따라 사용자에 의해 가압되는 브레이크 페달(133)과, 사용자의 가속 의지에 따라 사용자에 의해 가압되는 엑셀러레이터 페달(134)을 포함할 수 있다(도 2 참조).
차량은 외부의 영상으로, 도로의 주변 영상을 획득하기 위한 제1영상 획득부(141)를 더 포함할 수 있다. 여기서 제1영상 획득부(141)는 블랙박스에 마련된 영상 획득부일 수 있고, 자율 주행을 위한 자율 주행 제어 장치의 영상 획득부일 수도 있으며, 장애물 검출을 위한 영상 획득부일 수도 있다.
이러한 제1영상 획득부(141)는 전면의 창문(116c)에 마련되되 차량 내부의 창문에 마련되어 차량의 외부를 향하도록 마련될 수도 있고, 차량 내부의 룸미러에 마련되되 차량의 외부를 향하도록 마련될 수도 있으며, 루프 패널(113)의 마련되되 외부로 노출되도록 마련될 수도 있다(도 1 참조).
제1영상 획득부(141)는 차량 전방의 영상을 획득하는 전방 카메라뿐만 아니라 차량 좌우 측방의 영상을 획득하는 좌측 카메라와 우측 카메라, 차량 후방의 영상을 획득하는 후방 카메라 중 적어도 하나를 더 포함하는 것도 가능하다.
제1영상 획득부(141)는 카메라로, CCD 또는CMOS 이미지 센서를 포함할 수 있고, KINECT(RGB-D 센서), TOF(Structured Light Sensor), 스테레오 카메라(Stereo Camera) 등과 같은 3차원 공간 인식 센서를 포함할 수도 있다.
차량(100)은 내부의 각종 전자 장치들 사이의 통신과, 외부 장치와의 통신과, 사용자용 단말기와의 통신 및 저장 매체와의 통신을 위한 통신부(170)를 더 포함할 수 있다(도 3참조).
여기서 외부 장치는, 서버(300), 사용자용 단말기(200), 저장 장치(미도시) 중 적어도 하나를 포함할 수 있다.
차량은 장애물과의 거리를 검출하기 위한 거리 검출부(144)를 더 포함할 수 있다(도3 참조).
거리 검출부는 차량의 외장의 전후좌우에 각각 마련될 수 있다.
이러한 거리 검출부(144)는 라이더 센서를 포함한다.
라이다(LiDAR: Light Detection And Ranging)센서는 레이저 레이다(Laser Radar) 원리를 이용한 비접촉식 거리 검출 센서이다.
거리 검출부(144)는 초음파 센서 또는 레이더 센서를 포함할 수도 있다.
도 3은 실시 예에 따른 차량의 제어 구성도이고, 도 4는 실시 예에 따른 차량에 마련된 데이터 처리 장치의 제어 구성도이다.
차량(100)은 입력부(127), 표시부(128), 제1영상획득부(141), 제2영상 획득부(142), 속도 검출부(143), 거리 검출부(144), 시동부(145), 변속 레버 정보 수신부(146), 위치 수신부(147), 사운드 입력부(148), 사운드 출력부(149), 제어부(150), 저장부(160) 및 통신부(170)를 포함한다.
입력부(127)는 비디오 생성 모드의 시작 및 종료 명령을 입력받고, 드라이브 비디오의 검색 명령을 입력받는 것도 가능하며, 드라이브 비디오의 편집 명령을 입력받는 것도 가능하다.
입력부(127)는 내비게이션 모드의 온 오프 명령을 입력받고, 목적지의 정보를 입력받는 것도 가능하다.
이러한 입력부(127)는 헤드 유닛에 마련된 복수 개의 버튼을 포함할 수 있고, 스티어링 휠에 마련된 복수 개의 버튼을 포함할 수 있으며, 스티어링 휠 주변의 조작 레버(미도시)에 마련된 버튼을 포함할 수 있고, 센터페시아에 마련된 터치 패드 및 조그 다이얼을 포함할 수 있으며, 사용자 인터페이스(129)에 마련된 입력부를 포함할 수 있다.
여기서 사용자 인터페이스(129)에 마련된 입력부는 터치패널일 수 있다.
표시부(128)는 비디오 생성 모드의 온 오프 상태를 표시할 수 있고, 내비게이션 모드의 온 오프 상태를 표시할 수 있다.
표시부(128)는 저장부에 저장된 드라이브 비디오를 표시할 수 있고, 검색 결과에 대응하는 영상을 표시할 수 있으며 편집된 영상을 표시할 수 있다.
표시부(128)는 저장부에 저장된 드라이브 비디오의 전송 상태(즉, 전송 중, 전송완료 등)를 표시하는 것도 가능하다.
표시부(128)는 사용자 인터페이스(129)에 마련된 표시부일 수 있다.
아울러 사용자 인터페이스의 표시부는 내비게이션 모드가 수행되면 차량의 현재 위치부터 일정 범위 내의 지도 영상을 표시하고, 목적지 정보가 입력되면 현재 위치부터 목적지까지의 경로 정보가 매치된 지도 정보를 표시하고, 길 안내 정보를 표시한다.
사용자 인터페이스의 표시부는 맵 표시 모드가 선택되면 차량의 현재 위치부터 일정 범위 내의 지도 영상을 표시한다.
제1영상 획득부(141)는 차량 주변의 물체에 대한 형상 정보를 전기적인 영상 신호로 변환하는 것으로, 자 차량의 현재 위치에서 자 차량 외부의 환경, 특히 차량이 주행하는 도로 및 그 주변의 자 차량의 전방, 좌우의 측방의 물체의 형상 정보에 대응하는 영상 신호를 제어부(150)로 전송한다.
제1영상획득부(141)는 후방 카메라, 블랙 박스의 카메라일 수 있고, 자율 주행을 위해 마련된 자율 주행 제어 장치의 카메라일 수 있다.
즉 제1영상 획득부(141)는 차량 외부의 도로 및 도로 주변의 영상을 실시간으로 획득하는 영상 획득 기능을 수행한다.
제1영상 획득부(141)는 동작 오프 상태에서 제어부(150)의 제어 명령에 기초하여 온 동작되어 외부의 영상을 획득하는 것도 가능하다.
제2영상 획득부(142)는 차량 내부의 물체의 형상 정보를 전기적인 영상 신호로 변환하는 것으로, 차량 내부의 운전자 및 동승자 등의 탑승자를 검출하고 검출된 탑승자의 형상 정보에 대응하는 영상 신호를 제어부(150)로 전송한다.
제2영상획득부(142)는 차량 내부를 촬영하도록 설치된 내부 카메라일 수 있다.
즉 제2영상 획득부(142)는 차량 내부의 영상을 실시간으로 획득하는 영상 획득 기능을 수행한다.
속도 검출부(143)는 차량의 주행 정보를 검출하기 위한 것으로서, 차량의 주행 속도를 검출한다.
속도 검출부(143)는 차량의 복수 개의 휠에 각각 마련된 복수 개의 휠 속도 센서를 포함할 수 있고, 차량의 가속도를 검출하는 가속도 센서를 포함할 수 있다.
거리 검출부(144)는 자 차량의 전방에 위치한 전방의 타 차량과의 거리를 검출하고, 자 차량의 후방에 위치한 후방의 타 차랑과의 거리를 검출한다.
시동부(145)는 차량의 시동 온 신호 및 차량의 시동 오프 신호를 수신하고 수신된 시동 온 신호 및 시동 오프 신호에 대응하는 시동 온오프 정보를 제어부(150)에 전송한다.
변속 레버 정보 수신부(146)는 변속 레버의 조작 신호를 수신하고 수신된 조작 신호에 대응하는 변속 레버의 조작 신호에 대응하는 단의 위치 정보를 제어부(150)에 전송한다.
변속 레버가 조작될 수 있는 위치는, 파킹 단(P단), 중립 단(N단), 전진 주행 단(D단), 후진 주행 단(R단)을 포함한다. 즉 변속 레버 정보 수신부는, 파킹 단(P단), 중립 단(N단), 전진 주행 단(D단), 후진 주행 단(R단)의 위치 정보를 제어부(150)에 전송한다.
위치 수신부(147)는 GPS(Global Positioning System) 수신부와, GPS 수신부에서 획득한 GPS 신호를 신호 처리하는 신호 처리부를 포함한다.
여기서 GPS(Global Positioning System) 수신부는 복수의 GPS 위성의 신호를 수신하는 안테나 모듈을 포함한다. 이 안테나 모듈은 차량의 외장에 마련된 안테나(119)에 마련될 수 있다.
신호 처리부는 복수의 GPS위성의 위치 신호에 대응하는 거리 및 시간 정보를 이용하여 현재의 위치를 획득하는 소프트웨어와, 획득된 차량의 위치 데이터를 출력하는 출력부를 포함한다.
위치 수신부(147)는 현재의 위치에 대한 위치 데이터를 제어부(150)에 전송한다.
사운드 입력부(148)는 차량 내부의 사운드를 입력받는다.
여기서 차량 내부의 사운드는 사용자의 음성일 수 있다.
사운드 입력부(148)는 음파를 전기 신호로 바꾸는 마이크로폰을 포함할 수 있다. 여기서 마이크로 폰은 하나 또는 두 개 이상일 수 있고, 하나의 마이크로 폰은 지향성일 수 있다.
그리고 두 개 이상의 마이크로 폰은 마이크로 폰 어레이로 구현될 수 있다.
사운드 출력부(149)는 드라이브 비디오의 생성 완료 및 전송 완료에 대한 완료 정보를 사운드로 출력한다.
또한 사운드 출력부(149)는 수행 중인 기능에 대응하는 오디오 데이터를 사운드로 출력한다. 여기서 수행 중인 기능은 라디오 기능, 컨텐츠 재생 및 음악 재생에 대응하는 오디오 기능, 내비게이션 기능일 수 있다.
이러한 사운드 출력부(149)는 스피커를 포함할 수 있다.
스피커는 증폭된 저주파의 음성 신호를 오리지널의 음파로 변환시키고 공기에 소밀파를 발생시켜 음파를 복사함으로써 오디오 데이터들을 사용자가 들을 수 있는 사운드로 출력한다.
제어부(150)는 내비게이션 모드의 온 명령이 수신되고 목적지 정보가 수신되면 현재 위치를 확인하고, 현재 위치와 목적지 정보에 기초하여 경로 정보를 생성하고, 지도 정보에 생성된 경로 정보를 매칭시키며 매칭된 지도 정보와 경로 정보의 출력을 제어하고 길 안내 정보의 출력을 제어한다.
제어부(150)는 경로 정보 생성 시 복수 개의 경로 정보를 생성 및 출력할 수 있고, 복수 개의 경로 정보 중 사용자에 의해 선택된 어느 하나의 경로 정보를 저장하고 저장된 경로 정보에 기초하여 내비게이션 기능을 수행할 수 있다.
제어부(150)는 비디오 생성 모드의 수행 시작 명령이 수신되면 제1, 2 영상획득부(141, 142)의 동작을 활성화시키고, 제1, 2 영상획득부(141, 142)에서 획득된 영상의 영상 정보와 속도 검출부(143)에서 검출된 주행 속도의 속도 정보에 기초하여 제1영상획득부에서 획득되는 영상 중 일부 영상을 캡쳐하고 캡쳐된 영상들을 연결하여 드라이브 비디오를 생성한다.
제어부(150)는 생성된 드라이브 비디오를 저장하고 저장된 드라이브 비디오를 단말기(200) 및 서버(300) 중 적어도 하나에 전송한다.
이러한 제어부(150)는 제1영상 획득부(141)에서 획득되는 영상의 캡쳐 시점(즉 캡쳐 타이밍)을 획득하기 위해 주행 정보와 사용자의 행동 정보를 분석하는 분석부(151)와, 분석부의 분석 결과에 기초하여 제1영상 획득부(141)에서 획득되는 영상의 일부 영상을 캡쳐하는 캡쳐부(152)와, 캡쳐된 영상의 영상 정보에 태그 정보를 결합시켜 드라이브 비디오를 생성하는 생성부(154)를 포함할 수 있다.
분석부(151)는 캡쳐 시점을 획득하기 위해 차량의 주행 정보를 분석하는 주행 정보 분석부(151a), 캡쳐 시점을 획득하기 위해 사용자의 행동을 분석하는 행동 정보 분석부(151b)를 포함한다.
주행 정보 분석부(151a)는 속도 검출부(143)에서 검출된 주행 속도에 기초하여 캡쳐 시점인지 판단한다.
주행 정보 분석부(151a)는 속도 검출부(143)에서 검출된 주행 속도와 거리 검출부(144)에서 검출된 타 차량과의 거리에 기초하여 캡쳐 시점인지를 판단하는 것도 가능하다.
주행 정보 분석부(151a)는 시동부(145)에서 전송된 시동 오프 정보와, 변속 레버 정보 수신부(146)에 수시된 파킹 단 정보에 기초하여 캡쳐 시점인지를 판단하는 것도 가능하다.
주행 정보 분석부(151a)는 내비게이션 정보와 현재 위치 정보에 기초하여 현재 위치가 관심 지역인지 판단하고, 현재 위치가 관심 지역이라고 판단되면 캡쳐 시점이라고 판단한다.
여기서 내비게이션 정보는 지도 정보, 경로 정보, 길 안내 정보 등을 포함할 수 있고, 지도 정보는 도로명, 도로 번호, 도로의 위치 정보를 포함할 수 있다.
주행 정보 분석부(151a)는 제1영상 획득부(141)에서 획득된 도로의 영상을 영상 처리하고 영상 처리된 영상에서 표지판을 인식하고 인식된 표지판의 문자 및 기호를 인식하며 인식된 문자와 기호에 기초하여 캡쳐 시점인지를 판단한다.
행동 정보 분석부(151b)는 제2영상 획득부(142)에서 획득된 영상에서 사용자의 시선을 인식하고, 사용자의 모션을 인식한다.
행동 정보 분석부(151b)는 인식된 시선이 기준 시간 이상 한 곳을 주시하면 캡쳐 시점이라고 판단하고, 한 곳을 기준 횟수 이상 반복하여 주시하면 캡쳐 시점이라고 판단한다. 여기서 사용자의 시선은 운전자의 시선 및 동승자의 시선 중 적어도 하나일 수 있다.
행동 정보 분석부(151b)는 운전자의 시선을 인식하고 인식 결과가 운전자가 주행 주시 영역(a1, b1, c1)의 이외의 외부 주시 영역(a2, b2, c2)을 기준 시간 이상 주시한다고 판단되면 캡쳐 시점이라고 판단한다(도 7참조).
행동 정보 분석부(151b)는 동승자의 시선을 인식하고 인식 결과가 동승자가 기준 시간 이상 어느 하나의 목표물을 주시한다고 판단되면 캡쳐 시점이라고 판단한다.
행동 정보 분석부(151b)는 운전자의 시선을 인식하고 인식 결과가 운전자가 주행 주시 영역(a1, b1, c1)의 이외의 외부 주시 영역(a2, b2, c2)을 기준 횟수 이상 반복하여 주시한다고 판단되면 캡쳐 시점이라고 판단한다(도 7 참조).
행동 정보 분석부(151b)는 동승자의 시선을 인식하고 인식 결과가 동승자가 기준 횟수 이상 반복하여 어느 하나의 목표물을 주시한다고 판단되면 캡쳐 시점이라고 판단한다.
행동 정보 분석부(151b)는 인식된 사용자의 모션이 단말기를 이용한 외부 촬영 모션이면 캡쳐 시점이라고 판단한다. 여기서 사용자의 모션은 동승자의 모션일 수 있다.
행동 정보 분석부(151b)는 사운드 입력부(148)에서 입력된 사운드의 음성 인식을 수행하고, 인식된 음성의 음성 정보 중 감탄사를 인식하고 감탄사가 인식되면 캡쳐 시점이라고 판단하는 것도 가능하다.
캡쳐부(152)는 분석부(151)로부터 캡쳐 시점에 대한 정보가 수신되면 캡쳐 시점에 제1획득부에서 획득되는 영상을 캡쳐한다.
생성부(153)는 위치 수신부에 수신된 위치 정보에 기초하여 캡쳐 시점의 차량의 위치를 확인하고, 확인된 차량의 위치를 태그로 생성하고, 캡쳐 시점의 분석 정보를 태그로 생성하며, 캡쳐된 영상과 태그를 결합하여 드라이브 영상을 생성하고, 주행이 완료되면 주행이 완료되기 전까지 생성된 드라이브 영상을 시간 순으로 연결하여 드라이브 비디오를 생성한다.
분석 정보는, 분석부에서 분석된 주행 정보와 사용자의 행동 정보의 분석 결과에 대응하는 정보일 수 있다.
예를 들어, 분석 정보는 속도 감소, 정차, 사용자 주시, 관심 지역, 외부 촬영, 사용자 감탄 등을 포함할 수 있다.
생성부(153)는 드라이브 비디오를 저장부(160)에 저장하거나, 통신부를 통해 외부 장치(200, 300)에 전송한다.
제어부(150)의 분석부, 캡쳐부 및 생성부는 별개의 칩으로 구현될 수도 있고, 단일 칩으로 구현될 수도 있다.
분석부, 캡쳐부 및 생성부를 가지는 제어부(150)의 제어 구성을 종합적으로 설명하도록 한다.
제어부(150)는 내비게이션 모드가 수행되면 내비게이션 정보를 생성하고, 생성된 내비게이션 정보에 기초하여 경로가 매칭된 지도 정보 및 길 안내 정보의 출력을 제어하며, 출발지부터 목적지에 도착할 때까지 제1영상획득부에서 획득된 영상 중 일부 영상을 캡쳐하고 캡쳐된 영상들을 연결하여 드라이브 비디오를 생성한다.
제어부(150)는 하루를 단위로 하여 제1영상획득부에서 획득된 영상 중 일부 영상을 캡쳐하고 캡쳐된 영상들을 연결하여 드라이브 비디오를 생성하는 것도 가능하다.
제어부(150)는 시동 온 시점에서 시동 오프 시점 사이에 제1영상획득부에서 획득된 영상 중 일부 영상을 캡쳐하고 캡쳐된 영상들을 연결하여 드라이브 비디오를 생성하는 것도 가능하다.
제어부(150)는 차량의 주행 속도를 실시간으로 확인하고 확인된 주행 속도의 변화를 확인하며, 주행 속도가 감속이라고 판단되면 제1영상 획득부에서 획득되는 영상을 캡쳐하고, 영상이 캡쳐된 위치를 확인하고, 확인된 위치를 태그로 생성하고, 캡쳐된 영상과 태그를 함께 저장한다. 제어부(150)는 캡쳐 이유인 감속을 태그로 생성하고 생성된 태그와 캡쳐된 영상을 함께 저장하는 것도 가능하다.
제어부(150)는 차량의 주행 속도를 실시간으로 확인하고 확인된 주행 속도의 변화를 확인하며, 제1영상 획득부(141)에서 획득된 영상에 기초하여 자 차량의 전후방의 타 차량과의 거리를 확인하고, 전후방의 타 차량과의 거리가 기준 거리 이상이면 타 차량과의 거리가 기준 거리 이상으로 일정 시간 이상 유지되는지 판단하고, 타 차량과의 거리가 기준 거리 이상으로 일정 시간 이상 유지되는 상태에서 주행속도가 감소된다고 판단되면 제1영상 획득부에서 획득되는 영상을 캡쳐하고, 영상이 캡쳐된 위치를 확인하고, 확인된 위치를 태그로 생성하고, 캡쳐된 영상과 태그를 함께 저장한다.
제어부(150)는 거리 검출부(144)에서 검출된 검출 정보에 기초하여 자 차량의 전후방의 타 차량과의 거리를 확인하고, 전후방의 타 차량과의 거리가 기준 거리 이상이면 타 차량과의 거리가 기준 거리 이상으로 일정 시간 이상 유지되는지 판단하고, 타 차량과의 거리가 기준 거리 이상으로 일정 시간 이상 유지되는 상태에서 주행속도가 감소된다고 판단되면 제1영상 획득부에서 획득되는 영상을 캡쳐하고, 영상이 캡쳐된 위치를 확인하고, 확인된 위치를 태그로 생성하고, 캡쳐된 영상과 태그를 함께 저장하는 것도 가능하다.
제어부(150)는 내비게이션 정보와 현재 위치의 위치 정보에 기초하여 현재 위치가 관심 지역인지 판단하고 현재 위치가 관심 지역이라고 판단되면 판단되면 제1영상 획득부에서 획득되는 영상을 캡쳐하고, 확인된 관심 지역의 정보를 태그로 생성하고, 캡쳐된 영상과 태그를 함께 저장한다.
제어부(150)는 제1영상 획득부에서 획득된 영상에서 표지판을 인식하고, 인식된 표지판의 문자 및 기호에 기초하여 관심 지역 또는 유명한 지역인지를 판단하고, 표지판이 관심 지역 또는 유명한 지역에 대응하는 표지판이라고 판단되면 표지판의 영상을 캡쳐하고, 표지판의 영상이 캡쳐된 위치를 확인하고, 확인된 위치를 태그로 생성하며, 캡쳐된 표지판의 영상과 태그를 함께 저장한다.
제어부(150)는 시동이 오프되면 내비게이션 정보에 기초하여 현재 위치가 목적지인지 판단하고, 목적지가 아니라고 판단되면 제1영상 획득부에서 획득되는 영상을 캡쳐하고, 영상이 캡쳐된 위치를 확인하고, 확인된 위치를 태그로 생성하고, 캡쳐된 영상과 태그를 함께 저장한다. 제어부(150)는 캡쳐 이유인 잠시 정차를 태그로 생성하고 생성된 태그와 캡쳐된 영상을 함께 저장하는 것도 가능하다.
제어부(150)는 변속 레버의 위치가 파킹 단이라고 판단되면 제1영상 획득부에서 획득되는 영상을 캡쳐하고, 영상이 캡쳐된 위치를 확인하고, 확인된 위치를 태그로 생성하고, 캡쳐된 영상과 태그를 함께 저장한다. 제어부(150)는 캡쳐 이유인 잠시 주차를 태그로 생성하고 생성된 태그와 캡쳐된 영상을 함께 저장하는 것도 가능하다.
제어부(150)는 제2영상획득부에서 획득된 영상을 영상처리하고 영상 처리된 영상에 기초하여 운전자의 시선을 인식하고 운전자의 시선이 주행 주시 영역이 아닌 외부 주시 영역에 기준 시간 이상 머물고 있다고 판단되면 제1영상 획득부에서 획득되는 영상을 캡쳐하고, 영상이 캡쳐된 위치를 확인하고, 확인된 위치를 태그로 생성하고, 캡쳐된 영상과 태그를 함께 저장한다. 제어부(150)는 캡쳐 이유인 운전자 외부 주시를 태그로 생성하고 생성된 태그와 캡쳐된 영상을 함께 저장하는 것도 가능하다.
제어부(150)는 제2영상획득부에서 획득된 영상을 영상처리하고 영상 처리된 영상에 기초하여 운전자의 시선을 인식하고 운전자가 주행 주시 영역이 아닌 외부 주시 영역을 기준 횟수 이상 반복하여 주시한다고 판단되면 제1영상 획득부에서 획득되는 영상을 캡쳐하고, 영상이 캡쳐된 위치를 확인하고, 확인된 위치를 태그로 생성하고, 캡쳐된 영상과 태그를 함께 저장한다. 제어부(150)는 캡쳐 이유인 운전자 외부 주시를 태그로 생성하고 생성된 태그와 캡쳐된 영상을 함께 저장하는 것도 가능하다.
제어부(150)는 제2영상획득부(142)에서 획득된 영상을 영상처리하고 영상 처리된 영상에 기초하여 동승자의 시선을 인식하고 동승자의 시선이 기준 시간 이상 한 곳에 머물러 있다고 판단되면 제1영상 획득부에서 획득되는 영상을 캡쳐하고, 영상이 캡쳐된 위치를 확인하고, 확인된 위치를 태그로 생성하고, 캡쳐된 영상과 태그를 함께 저장한다. 제어부(150)는 캡쳐 이유인 동승자 외부 주시를 태그로 생성하고 생성된 태그와 캡쳐된 영상을 함께 저장하는 것도 가능하다.
제어부(150)는 제2영상획득부(142)에서 획득된 영상을 영상처리하고 영상 처리된 영상에 기초하여 동승자의 시선을 인식하고 동승자가 어느 한 곳을 기준 횟수 이상 반복하여 주시한다고 판단되면 제1영상 획득부에서 획득되는 영상을 캡쳐하고, 영상이 캡쳐된 위치를 확인하고, 확인된 위치를 태그로 생성하고, 캡쳐된 영상과 태그를 함께 저장한다. 제어부(150)는 캡쳐 이유인 동승자 외부 주시를 태그로 생성하고 생성된 태그와 캡쳐된 영상을 함께 저장하는 것도 가능하다.
제어부(150)는 제2영상획득부(142)에서 획득된 영상을 영상처리하고 영상 처리된 영상에 기초하여 동승자의 모션을 인식하고 동승자의 모션이 단말기를 이용한 외부 촬영의 모션이라고 판단되면 제1영상 획득부에서 획득되는 영상을 캡쳐하고, 영상이 캡쳐된 위치를 확인하고, 확인된 위치를 태그로 생성하고, 캡쳐된 영상과 태그를 함께 저장한다. 제어부(150)는 캡쳐 이유인 촬영 모션을 태그로 생성하고 생성된 태그와 캡쳐된 영상을 함께 저장하는 것도 가능하다.
제어부(150)는 캡쳐된 영상들 중 불필요한 영상을 삭제하는 것도 가능하다.
예를 들어, 불필요한 영상은 신호등의 영상, 셀카 촬영의 영상, 도로 번호 및 제한 속도의 표지판의 영상 등을 포함할 수 있다.
제어부(150)는 내비게이션 정보에 기초하여 주행 중인 도로의 도로 정보를 획득하고 획득된 도로 정보를 태그로 저장하는 것을 더 포함한다.
제어부(150)는 입력부(127)에 검색 명령과 검색어가 입력되면 입력된 검색어에 대응하는 드라이브 영상을 검색하고 검색된 드라이브 영상의 출력을 제어한다.
제어부(150)는 입력부(127)에 편집을 위한 삭제 명령과 어느 하나의 드라이브 영상이 선택되면 드라이브 비디오에서 선택된 드라이브 영상을 삭제한다.
제어부(150)는 차량 내 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리(미도시), 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하는 프로세서(미도시)로 구현될 수 있다. 이때, 메모리와 프로세서는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서는 단일 칩으로 구현될 수도 있다.
저장부(160)는 생성된 드라이브 비디오를 저장한다.
저장부(160)는 드라이브 비디오를 전송하기 위한 단말기의 식별 정보를 저장하는 것도 가능하다.
저장부(160)는 기준 거리, 기준 시간, 기준 횟수를 저장한다.
저장부(160)는 차량의 내부에 고정 장착된 저장부일 수 있고, 차량으로부터 분리 가능하게 마련된 저장부일 수도 있다.
저장부(160)는 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(HDD, Hard Disk Drive), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다.
저장부(160)는 제어부(150)와 관련하여 전술한 프로세서와 별개의 칩으로 구현된 메모리일 수 있고, 프로세서와 단일 칩으로 구현될 수도 있다.
통신부(170)는 제어부(150)와 외부 장치 사이에서 통신을 수행하고, 제어부(150)의 제어 명령에 따라 드라이브 비디오를 외부 장치인 단말기(200) 또는 서버(300)에 전송한다.
통신부(170)는 외부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어 근거리 통신 모듈, 유선 통신 모듈 및 무선 통신 모듈 중 적어도 하나를 포함할 수 있다.
근거리 통신 모듈은 블루투스 모듈, 적외선 통신 모듈, RFID(Radio Frequency Identification) 통신 모듈, WLAN(Wireless Local Access Network) 통신 모듈, NFC 통신 모듈, 직비(Zigbee) 통신 모듈 등 근거리에서 무선 통신망을 이용하여 신호를 송수신하는 다양한 근거리 통신 모듈을 포함할 수 있다.
유선 통신 모듈은 캔(Controller Area Network; CAN) 통신 모듈, 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈 등 다양한 유선 통신 모듈뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 다양한 케이블 통신 모듈을 포함할 수 있다.
무선 통신 모듈은 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution) 등 다양한 무선 통신 방식을 지원하는 무선 통신 모듈을 포함할 수 있다.
단말기(200)는 사용자 단말기로, 사용자 단말기(200)는 네트워크를 통해 차량에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다.
여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 태블릿 PC, 슬레이트 PC 등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), WiBro(Wireless Broadband Internet) 단말, 스마트 폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등과 같은 웨어러블 장치를 포함할 수 있다.
단말기(200)는 드라이브 비디오가 수신되면 수신된 드라이브 비디오를 저장한다.
단말기(200)는 사용자에 의해 입력된 날짜 및 파일 명과 함께 드라이브 비디오를 저장할 수 있다.
단말기(200)는 사용자의 요청에 따라 드라이브 비디오를 재생할 수 있고 사용자의 요청에 따라 다른 외부 장치로 전송할 수 있다.
도 3에 도시된 데이터 처리 장치의 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
도 4는 실시 예에 따른 차량의 제어 순서도로 도 5 내지 도 10을 참조하여 설명한다.
차량은 시동이 온되면 입력부(127), 표시부(128), 제1영상획득부(141), 제2영상 획득부(142), 속도 검출부(143), 거리 검출부(144), 시동부(145), 변속 레버 정보 수신부(146), 위치 수신부(147), 사운드 입력부(148), 사운드 출력부(149), 제어부(150), 저장부(160) 및 통신부(170) 등 각종 장치의 동작을 활성화시킨다.
차량은 내비게이션 모드가 선택되고 목적지의 정보가 입력되면 현재 위치를 확인하고 현재 위치인 출발지부터 목적지까지 경로를 탐색하며 탐색된 경로를 지도 정보에 매칭시켜 내비게이션 정보를 생성하고, 경로가 매칭된 지도 정보를 사용자 인터페이스를 통해 표시하며, 길 안내 정보를 사용자 인터페이스 및 사운드 출력부를 통해 출력한다.
차량은 시동이 온되면 비디오 생성 모드를 자동으로 수행시키는 것도 가능하다. 또한 차량은 시동이 온되고 입력부(127)를 통해 비디오 생성 모드가 선택되면 비디오 생성 모드를 수행시키는 것도 가능하다.
차량은 비디오 생성 모드 수행 중 차량의 주행 정보와 사용자의 행동 정보를 확인(180)한다.
여기서 차량의 주행 정보를 확인하는 것은, 차량의 속도를 확인하고, 변속 레버의 위치를 확인하고, 시동 오프 상태를 확인하는 것을 포함한다.
그리고 사용자의 행동 정보를 확인하는 것은, 차량 내부의 영상을 획득하고 획득된 차량의 영상을 영상처리하고 영상 처리된 영상 정보에 기초하여 운전자와 동승자를 인식하고, 인식된 운전자의 행동 정보와 인식된 동승자의 행동 정보를 확인하는 것을 포함한다.
여기서 운전자의 행동 정보를 확인하는 것은, 운전자의 시선을 확인하는 것을 포함한다.
그리고 동승자의 행동 정보를 확인하는 것은, 동승자의 시선과 모션을 확인하는 것을 포함한다.
차량은 확인된 주행 정보를 분석(381)하고, 분석 정보에 기초하여 제1영상 획득부에서 획득 중인 영상의 캡쳐 시점인지를 판단하고, 캡쳐 시점이라고 판단되면 제1영상 획득부에서 획득된 영상을 캡쳐한다.
좀 더 구체적으로, 차량은 주행 상태를 확인한다.
여기서 주행 상태를 확인하는 것은, 차량의 주행 속도가 감소하는지, 차량이 주행 정지인지 확인하는 것을 포함할 수 있다.
차량은 속도 검출부에서 검출된 검출 정보에 대응하는 차량의 주행 속도를 실시간으로 확인하고, 실시간으로 확인된 주행 속도에 기초하여 차량의 주행 속도의 변화를 확인하며, 주행 속도의 변화가 속도 감소인지를 판단(382)한다.
차량은 주행 속도가 감소한다고 판단되면 영상의 캡쳐 시점이라고 판단하여 제1영상 획득부에서 획득되는 영상을 캡쳐(188)하고, 영상이 캡쳐된 시점의 차량의 위치를 확인하고, 확인된 차량의 위치를 태그로 생성하고, 캡쳐된 영상과 태그를 결합하여 드라이브 영상을 생성하고 생성된 드라이브 영상을 저장(190)한다.
아울러 차량은 캡쳐 이유인 감속을 태그로 생성하고 생성된 감속 태그와, 위치 태그, 캡쳐된 영상을 결합하여 함께 저장하는 것도 가능하다.
차량은 제1영상획득부에서 획득된 영상에 기초하여 전방의 타 차량과의 거리를 확인하고 확인된 거리가 기준 거리 이상으로 유지됨에도 불구하고 차량의 주행 속도가 감소하고 있다고 판단되면 영상의 캡쳐 시점이라고 판단하여 제1영상 획득부에서 획득되는 영상을 캡쳐(188)하는 것도 가능하다.
도 6에 도시된 바와 같이, 차량은 거리 검출부에서 검출된 검출 정보에 기초하여 전방의 타 차량(100a)과의 거리(d1)와 후방의 타 차량(100b)과의 거리(d2)를 확인하고 전방의 타 차량과의 거리가 기준 거리(dr) 이상이고, 후방의 타 차량과의 거리(d2)가 기준 거리(dr) 이상으로 유지됨에도 불구하고 차량의 주행 속도가 감소(60km/h -> 40km/h)하고 있다고 판단되면 영상의 캡쳐 시점이라고 판단하여 제1영상 획득부에서 획득되는 영상을 캡쳐(188)하는 것도 가능하다.
차량은 주행을 정지하였다고 판단(183)되면 영상의 캡쳐 시점이라고 판단하여 제1영상 획득부에서 획득되는 영상을 캡쳐(188)하고, 영상이 캡쳐된 시점의 차량의 위치를 확인하고, 확인된 차량의 위치를 태그로 생성하고, 캡쳐된 영상과 태그를 결합하여 드라이브 영상을 생성하고 생성된 드라이브 영상을 저장(190)한다.
여기서 주행을 정지하였다고 판단하는 것은, 주행 속도가 영이면 주행 정지로 판단하는 것을 포함하고, 변속 레버의 위치가 파킹 단이면 차량이 정지하였다고 판단하는 것을 포함하며, 시동이 오프 상태이면 차량이 정지하였다고 판단하는 것을 포함한다.
아울러 차량은 시동이 오프 상태이면 내비게이션 정보에 기초하여 현재 위치가 목적지인지 판단하고, 목적지가 아니라고 판단되면 영상의 캡쳐 시점이라고 판단하여 제1영상 획득부에서 획득되는 영상을 캡쳐하고, 영상이 캡쳐된 위치를 확인하고, 확인된 위치를 태그로 생성하고, 캡쳐된 영상과 태그를 함께 저장한다. 이때 차량은 캡쳐 이유인 잠시 정차를 태그로 생성하고 생성된 태그와 캡쳐된 영상을 함께 저장하는 것도 가능하다.
차량은 확인된 사용자의 행동 정보를 분석(384)하고, 분석 정보에 기초하여 제1영상 획득부에서 획득 중인 영상의 캡쳐 시점인지를 판단하고, 캡쳐 시점이라고 판단되면 제1영상 획득부에서 획득된 영상을 캡쳐한다.
좀 더 구체적으로, 차량은 제2영상획득부에서 획득된 영상을 영상 처리하고 영상 처리된 영상에 기초하여 사용자의 시선을 인식하고 시선의 인식 결과에 기초하여 사용자가 기준 시간 이상 한 곳을 주시하고 있는지 판단(185)하고, 사용자가 기준 시간 이상 한 곳을 주시하고 있다고 판단되면 영상의 캡쳐 시점이라고 판단하여 제1영상 획득부에서 획득되는 영상을 캡쳐(188)하고, 영상이 캡쳐된 시점의 차량의 위치를 확인(189)하고, 확인된 차량의 위치를 태그로 생성하고, 캡쳐된 영상과 태그를 결합하여 드라이브 영상을 생성하고 생성된 드라이브 영상을 저장(190)한다. 이때 차량은 캡쳐 이유인 사용자 외부 주시를 태그로 생성하고 생성된 외부 주시 태그와, 위치 태그와, 캡쳐된 영상을 함께 저장하는 것도 가능하다.
여기서 사용자의 시선을 인식하여 캡쳐 시점인지를 판단하는 구성을 도 7을 참조하여 설명한다.
차량의 운전석 측 창문(116a)은 주행을 위해 운전자가 주시해야 하는 주행 주시 영역(a1)과 운전자가 외부 환경을 보거나 주행의 보조 정보를 획득하기 위해 주시하는 외부 주시 영역(a2)을 포함한다.
차량의 동승석 측 창문(116b)은 주행을 위해 운전자가 주시해야 하는 주행 주시 영역(b1)과 운전자가 외부 환경을 보거나 주행의 보조 정보를 획득하기 위해 주시하는 외부 주시 영역(b2)을 포함한다.
차량의 전면 창문(116c)은 주행을 위해 운전자가 주시해야 하는 주행 주시 영역(c1)과 운전자가 외부 환경을 보거나 주행의 보조 정보를 획득하기 위해 주시하는 외부 주시 영역(c2)을 포함한다.
즉 차량은 제2영상 획득부에 의해 획득된 영상에서 운전석(121a)에 위치한 운전자의 영상을 획득하고, 획득된 영상에서 운전자의 시선을 인식하며 인식된 시선이 어느 영역을 향하고 있는지를 판단한다.
차량은 운전자의 시선의 인식 결과에 기초하여 운전자가 주행 주시 영역이 아닌 외부 주시 영역(ab, b2, c2)을 기준 시간 이상 주시하고 있다고 판단되면 영상의 캡쳐 시간이라고 판단하고, 제1영상 획득부에서 획득된 영상을 캡쳐하되 운전자의 시선의 방향에 대응하는 위치의 영상을 캡쳐할 수 있다. 이때 차량은 캡쳐 이유인 운전자 외부 주시를 태그로 생성하고 생성된 운전자의 외부 주시 태그와, 위치 태그와, 캡쳐된 영상을 함께 저장하는 것도 가능하다.
차량은 제2영상 획득부에 의해 획득된 영상에서 동승석(121b)에 위치한 동승자의 영상을 획득하고, 획득된 영상에서 동승자의 시선을 인식하며, 시선의 인식 결과에 기초하여 동승자가 어느 한 곳을 기준 시간 이상 주시하고 있는지 판단하고, 동승하자 기준 시간 이상 어느 한 곳을 주시하고 있다고 판단되면 영상의 캡쳐 시간이라고 판단하고, 제1영상 획득부에서 획득된 영상을 캡쳐하되 동승자의 시선의 방향에 대응하는 위치의 영상을 캡쳐할 수 있다.
이때 차량은 캡쳐 이유인 동승자 외부 주시를 태그로 생성하고 생성된 동승자의 외부 주시 태그와, 위치 태그와, 캡쳐된 영상을 함께 저장하는 것도 가능하다.
차량은 사용자가 어느 한 곳을 반복 주시하는지 판단(186)하고, 사용자가 어느 한곳을 반복적으로 주시하고 있다고 판단되면 캡쳐 시점이라고 판단하여 제1영상 획득부에서 획득된 영상을 캡쳐한다. 이때 차량은 캡쳐 이유인 사용자 외부 반복 주시를 태그로 생성하고 생성된 외부 반복 주시 태그와, 위치 태그와, 캡쳐된 영상을 함께 저장하는 것도 가능하다.
좀 더 구체적으로, 차량은 제2영상 획득부에 의해 획득된 영상에서 운전석(121a)에 위치한 운전자의 영상을 획득하고, 획득된 영상에서 운전자의 시선을 인식하며 인식된 시선이 어느 영역을 향하고 있는지를 판단한다.
차량은 운전자의 시선의 인식 결과에 기초하여 운전자가 주행 주시 영역이 아닌 외부 주시 영역(ab, b2, c2)을 기준 시간 이상 주시하고 있다고 판단되면 운전자가 외부 주시 영역을 반복적으로 주시하는지 판단한다.
운전자가 외부 주시 영역을 반복적으로 주시하는지 판단하는 것은, 운전자가 외부 주시 영역과 주행 주시 영역을 교대로 주시하는 횟수가 기준 횟수 이상 반복적으로 주시하는지 판단하는 것을 포함한다.
운전자가 외부 주시 영역을 반복적으로 주시하는지 판단하는 것은, 운전자가 외부 주시 영역과 차량 내부를 교대로 주시하는 횟수가 기준 횟수 이상 반복적으로 주시하는지 판단하는 것을 포함한다.
차량은 운전자가 어느 한 영역을 반복적으로 주시한다고 판단되면 영상의 캡쳐 시간이라고 판단하고, 제1영상 획득부에서 획득된 영상을 캡쳐하되 동승자의 시선의 방향에 대응하는 위치의 영상을 캡쳐할 수 있다. 이때 차량은 캡쳐 이유인 운전자 외부 반복 주시를 태그로 생성하고 생성된 운전자의 외부 반복 주시 태그와, 위치 태그와, 캡쳐된 영상을 함께 저장하는 것도 가능하다.
차량은 제2영상 획득부에 의해 획득된 영상에서 동승석(121b)에 위치한 동승자의 영상을 획득하고, 획득된 영상에서 동승자의 시선을 인식하며 인식된 동승자의 시선이 어느 영역을 향하고 있는지를 판단한다.
차량은 동승자의 시선의 인식 결과에 기초하여 동승자가 어느 한 곳을 반복적으로 주시하고 있다고 판단되면 영상의 캡쳐 시점이라고 판단하여 영상의 캡쳐 시간이라고 판단하고, 제1영상 획득부에서 획득된 영상을 캡쳐하되 동승자의 시선의 방향에 대응하는 위치의 영상을 캡쳐할 수 있다. 이때 차량은 캡쳐 이유인 동승자 외부 반복 주시를 태그로 생성하고 생성된 동승자의 외부 반복 주시 태그와, 위치 태그와, 캡쳐된 영상을 함께 저장하는 것도 가능하다.
동승자가 외부 주시 영역을 반복적으로 주시하는지 판단하는 것은, 동승자가 외부의 어느 한 곳과 다른 곳을 교대로 주시하는 반복 횟수가 기준 횟수 이상 반복적으로 주시하는지 판단하는 것을 포함한다. 여기서 다른 곳은 차량의 내부를 포함할 수 있다.
차량은 제2영상획득부(142)에서 획득된 영상을 영상처리하고 영상 처리된 영상에 기초하여 동승자의 모션을 인식하고 동승자의 모션이 단말기(200a, 도 6참조)를 이용한 외부 촬영의 모션이라고 판단(187)되면 제1영상 획득부에서 획득되는 영상을 캡쳐(188)하고, 영상이 캡쳐된 시점의 차량의 위치를 확인(189)하고, 확인된 위치를 태그로 생성하고, 캡쳐된 영상과 태그를 결합하여 드라이브 영상을 생성하고 생성된 드라이브 영상을 저장(190)한다. 이때 차량은 캡쳐 이유인 촬영 모션을 태그로 생성하고 생성된 태그와 캡쳐된 영상을 함께 저장하는 것도 가능하다.
부가적으로 차량은 내비게이션 정보와 현재 위치의 위치 정보에 기초하여 현재 위치가 관심 지역인지 판단하고 현재 위치가 관심 지역이라고 판단되면 판단되면 제1영상 획득부에서 획득되는 영상을 캡쳐하고, 확인된 관심 지역의 정보를 태그로 생성하고, 캡쳐된 영상과 태그를 함께 저장하는 것도 가능하다.
또한 제어부(150)는 제1영상 획득부에서 획득된 영상에서 표지판을 인식하고, 인식된 표지판의 문자 및 기호에 기초하여 관심 지역 또는 유명한 지역인지를 판단하고, 표지판이 관심 지역 또는 유명한 지역에 대응하는 표지판이라고 판단되면 표지판의 영상을 캡쳐하고, 표지판의 영상이 캡쳐된 위치를 확인하고, 확인된 위치를 태그로 생성하며, 캡쳐된 표지판의 영상과 태그를 함께 저장하는 것도 가능하다.
차량은 주행이 종료되었는지 판단(191)하고 주행이 종료되었다고 판단되면 주행 중 캡쳐된 드라이브 영상을 시간 순서로 연결하여 드라이브 비디오를 생성하고 생성된 드라이브 비디오를 저장(192)한다.
여기서 주행이 종료되었는지 판단하는 것은, 시동 오프 상태인지 판단하는 것을 포함하고, 현재 위치가 목적지인지 판단하는 것을 포함한다.
아울러 차량은 드라이브 비디오 저장 시, 생성 날짜를 함께 저장할 수 있고, 출발지와 목적지의 정보도 함께 저장할 수 있다.
도 8에 도시된 바와 같이, 차량은 차량은 출발지에서 출발 후부터 목적지에 도착하기 전까지 캡쳐된 드라이브 영상을 시간 순으로 연결하여 드라이브 비디오를 생성할 수 있다.
차량은 출발 후 신호 대기에 의해 정차한다. 이때 차량은 주행 속도가 영으로 차량이 정차 상태라고 판단되면 캡쳐 시점이라고 판단하고 제1영상 획득부에서 획득된 영상을 캡쳐(M1)한다.
사용자가 관광지를 보기 위해 서행하면, 차량은 주행 속도의 감소를 판단하고 캡쳐 시점이라고 판단하여 제1영상 획득부에서 획득된 영상을 캡쳐(M2)한다.
사용자가 무지개를 보기 위해 '우와'라는 감탄사를 발화하면, 차량은 음성 인식을 통해 캡쳐 시점이라고 판단하고 제1영상 획득부에서 획득된 영상을 캡쳐(M3)한다.
사용자가 식사를 위해 정차를 하면, 차량은 현재 위치가 목적지 인지 판단하고 현재 위치가 목적지가 아니라고 판단되면 잠시 정차라고 판단하고, 제1영상 획득부에서 획득된 영상을 캡쳐(M4)한다.
차량은 주행 중 제1영상 획득부에서 획득된 영상 내 표지판을 인식하고 인식된 표지판의 정보가 관심 지역 정보라고 판단되면 캡쳐 시점이라고 판단하고 제1영상 획득부에서 획득된 표지판의 영상을 캡쳐(M5)하고, 내비게이션 정보에 기초하여 표지판의 정보에 대응하는 위치에 도달하면 제1영상 획득부의 영상을 캡쳐(M6)한다.
도 9에 도시된 바와 같이, 차량은 캡쳐된 드라이브 영상들(M1-M6) 중 불필요한 드라이브 영상(M1)을 확인하고 확인된 드라이브 영상을 삭제하며, 삭제된 드라이브 영상을 제외한 나머지 드라이브 영상들(M2-M6)을 시간 순으로 연결하여 드라이브 영상을 생성한다.
예를 들어, 불필요한 영상은 신호등의 영상, 셀카 촬영의 영상, 도로 번호 및 제한 속도의 표지판의 영상 등을 포함할 수 있다.
도 10에 도시된 바와 같이, 차량은 캡쳐된 영상들 중 표지판의 영상(M5)을 확인하고, 확인된 표지판의 영상의 문자 및 기호를 인식하며, 인식된 문자 및 기호를 태그로 생성하고, 표지판의 영상에 대응하는 외부 영상(M6)을 확인하며, 확인된 외부 영상에 표지판의 문자 및 기호를 태그로 결합하여 하나의 드라이브 영상으로 생성하는 것도 가능하다.
즉 차량은 출발지에서 출발 후부터 목적지에 도착하기 전까지 캡쳐된 드라이브 영상(M1-M4, M6)을 시간 순으로 연결하여 드라이브 비디오를 생성할 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
100: 차량 200: 단말기
141: 제1영상 획득부 142: 제2영상 획득부
143: 속도 검출부 144: 거리 검출부
145: 시동부 146: 변속 레버 정보 수신부
147: 위치 수신부

Claims (25)

  1. 주행 속도를 검출하는 속도 검출부;
    외부의 영상을 획득하는 제1영상 획득부;
    상기 검출된 주행 속도의 변화 정보에 기초하여 상기 획득된 외부의 영상을 캡쳐하고, 주행이 종료되면 상기 캡쳐된 외부의 영상을 연결하여 드라이브 비디오를 생성하는 제어부; 및
    상기 생성된 드라이브 비디오를 저장하는 저장부를 포함하는 차량.
  2. 제1항에 있어서,
    현재 위치에 대응하는 위치 정보를 수신하는 위치 수신부;
    목적지 정보를 입력받는 입력부를 더 포함하고,
    상기 제어부는, 상기 위치 정보와 상기 목적지 정보에 기초하여 현재 위치가 목적지인지 판단하고 출발지부터 목적지까지 드라이브 비디오를 생성하는 것을 포함하는 차량.
  3. 제1항에 있어서, 상기 제어부는,
    상기 외부의 영상 캡쳐 시, 캡쳐 시점의 차량의 위치 정보를 확인하고 확인된 위치 정보를 캡쳐된 영상과 결합하여 저장하는 것을 더 포함하는 차량.
  4. 제 1항에 있어서,
    현재 위치에 대응하는 위치 정보를 수신하는 위치 수신부를 더 포함하고,
    상기 제어부는, 상기 주행 속도의 변화가 속도 감소이면 상기 제1영상 획득부에서 획득된 영상을 캡쳐하고 상기 획득된 영상의 캡쳐 시점의 차량의 위치 정보를 확인하고 확인된 위치 정보를 캡쳐된 영상과 결합하여 저장하는 것을 더 포함하는 차량.
  5. 제 4항에 있어서, 상기 제어부는,
    변속 레버의 위치 정보를 확인하고, 상기 변속 레버의 위치가 파킹 단이면 상기 제1영상 획득부에서 획득된 영상을 캡쳐하고 상기 획득된 영상의 캡쳐 시점의 차량의 위치 정보를 확인하고 확인된 위치 정보를 캡쳐된 영상과 결합하여 저장하는 것을 더 포함하는 차량.
  6. 제 4항에 있어서, 상기 제어부는,
    상기 제1영상 획득부에서 획득된 외부의 영상을 영상처리하고, 영상 처리된 영상에서 타 차량을 인식하고 인식된 타 차량과의 거리가 기준 거리 이상이고, 상기 주행 속도의 변화가 속도 감소이면 상기 제1영상 획득부에서 획득된 영상을 캡쳐하는 것을 더 포함하는 차량.
  7. 제 4항에 있어서,
    타 차량과의 거리를 검출하는 거리 검출부를 더 포함하고,
    상기 제어부는, 상기 검출된 타 차량과의 거리가 기준 거리 이상이고, 상기 주행 속도의 변화가 속도 감소이면 상기 제1영상 획득부에서 획득된 영상을 캡쳐하는 것을 더 포함하는 차량.
  8. 제1항에 있어서,
    내부의 영상을 획득하는 제2영상 획득부;를 더 포함하고,
    상기 제어부는, 상기 제2영상 획득부에서 획득된 영상에 기초하여 운전자 및 동승자의 행동을 인식하고, 상기 인식된 행동의 행동 정보에 기초하여 상기 획득된 외부의 영상을 캡쳐하고, 상기 캡쳐된 외부의 영상을 연결하여 드라이브 비디오를 생성하는 것을 더 포함하는 차량.
  9. 제 8항에 있어서,
    현재 위치에 대응하는 위치 정보를 수신하는 위치 수신부를 더 포함하고,
    상기 제어부는, 상기 획득된 내부의 영상을 영상처리하고, 영상 처리된 영상에서 운전자의 시선을 인식하고, 상기 운전자의 시선이 외부 주시 영역에 기준 시간 위치하면 상기 제1영상 획득부에서 획득된 영상을 캡쳐하는 것을 더 포함하는 차량.
  10. 제 9항에 있어서, 상기 제어부는,
    상기 운전자 및 상기 동승자 중 적어도 하나의 탑승자가 내부와 외부를 교대로 주시하는 반복 횟수를 확인하고 상기 확인된 반복 횟수가 기준 횟수 이상이면 상기 제1영상 획득부에서 획득된 영상을 캡쳐하는 것을 더 포함하는 차량.
  11. 제9항에 있어서, 상기 제어부는,
    상기 영상 처리된 영상에서 동승자의 시선을 인식하고, 상기 동승자의 시선이 기준 시간 이상 고정 위치이면 상기 제1영상 획득부에서 획득된 영상을 캡쳐하는 것을 더 포함하는 차량.
  12. 제11항에 있어서, 상기 제어부는,
    상기 동승자의 모션을 확인하고 상기 확인된 동승자의 모션이 단말기를 이용한 외부 촬영 모션이면 상기 제1영상 획득부에서 획득된 영상을 캡쳐하는 것을 더 포함하는 차량.
  13. 제1항에 있어서, 상기 제어부는,
    상기 획득된 외부의 영상을 영상 처리하고 영상 처리된 영상에서 표지판을 인식하고, 상기 인식된 표지판의 영상을 저장하는 것을 더 포함하는 차량.
  14. 제1항에 있어서,
    현재 위치에 대응하는 위치 정보를 수신하는 위치 수신부;
    목적지 정보를 입력받는 입력부를 더 포함하고,
    상기 제어부는, 상기 위치 정보와 목적지 정보에 기초하여 출발지부터 목적지까지 내비게이션 정보를 생성하고 상기 생성된 내비게이션 정보와 현재 위치의 위치 정보에 기초하여 상기 현재 위치가 관심 지역이라고 판단되면 상기 제1영상 획득부에서 획득된 영상을 캡쳐하는 것을 더 포함하는 차량.
  15. 제14항에 있어서, 상기 제어부는,
    시동이 오프되면 현재 위치가 목적지인지 판단하고, 상기 현재 위치가 목적지가 아니라고 판단되면 상기 제1영상 획득부에서 획득된 영상을 캡쳐하는 것을 더 포함하는 차량.
  16. 차량의 주행 속도를 검출하고,
    상기 검출된 주행 속도를 실시간으로 확인하고,
    상기 주행 속도가 감소되면 제1영상 획득부를 통해 획득된 외부의 영상을 캡쳐하고,
    상기 외부의 영상 캡쳐 시 차량의 위치를 확인하고,
    상기 캡쳐된 영상과 상기 차량의 위치를 결합하여 드라이브 영상을 생성하고,
    주행이 종료되면 생성된 드라이브 영상을 연결하여 드라이브 비디오를 생성하고,
    상기 생성된 드라이브 비디오를 출력하는 차량의 제어 방법.
  17. 제 16항에 있어서, 상기 드라이브 영상을 생성하는 것은,
    제2영상 획득부에서 획득된 내부의 영상에 기초하여 운전자 및 동승자의 행동 정보를 인식하고,
    상기 인식된 행동 정보에 기초하여 상기 제1영상 획득부에서 획득된 외부의 영상을 캡쳐하고,
    상기 외부의 영상 캡쳐 시 차량의 위치를 확인하고,
    상기 캡쳐된 영상과 상기 차량의 위치를 결합하여 드라이브 영상을 생성하는 것을 포함하는 차량의 제어 방법.
  18. 제 17항에 있어서, 상기 주행이 종료되었는지 판단하는 것은,
    위치 수신부에 수신된 위치 정보를 확인하고,
    상기 확인된 위치 정보와 목적지 정보에 기초하여 현재 위치가 목적지인지 판단하고,
    상기 현재 위치가 목적지이면 주행이 종료되었다고 판단하는 것을 포함하는 차량의 제어 방법.
  19. 제 17항에 있어서,
    목적지 정보가 수신되면 위치 수신부에 수신된 위치 정보를 확인하고,
    상기 확인된 위치 정보와 목적지 정보에 기초하여 출발지부터 목적지까지 내비게이션 정보를 생성하고,
    상기 내비게이션 정보에 기초하여 캡쳐 시점인지를 판단하고,
    현재가 캡쳐 시점이라고 판단되면 상기 제1영상 획득부에서 획득된 외부의 영상을 캡쳐하는 것을 포함하는 차량의 제어 방법.
  20. 제17항에 있어서, 상기 제1영상 획득부에서 획득된 외부의 영상을 캡쳐하는 것은,
    타 차량과의 거리를 확인하고
    상기 확인된 거리가 기준 거리 이상이고,
    상기 주행 속도의 변화가 속도 감소이면 상기 제1영상 획득부에서 획득된 외부의 영상을 캡쳐하는 것을 포함하는 차량의 제어 방법.
  21. 제20항에 있어서,
    상기 속도 감소에 대응하는 태그를 생성하고,
    상기 생성된 태그를 상기 캡쳐된 외부의 영상과 결합하여 저장하는 것을 더 포함하는 차량의 제어 방법.
  22. 제 16항에 있어서,
    제2영상획득부에서 획득된 차량의 내부 영상을 영상 처리하고,
    상기 영상 처리된 영상에서 사용자의 시선을 인식하고,
    상기 인식된 시선에 기초하여 캡쳐 시점인지를 판단하고,
    상기 캡쳐 시점이라고 판단되면 상기 제1영상 획득부에서 획득된 외부의 영상을 캡쳐하고,
    상기 시선 인식에 대응하는 태그를 생성하고,
    상기 생성된 태그와 상기 캡쳐된 영상을 결합하여 저장하는 것을 더 포함하는 차량의 제어 방법.
  23. 제 16항에 있어서,
    제2영상획득부에서 획득된 차량의 내부 영상을 영상 처리하고,
    상기 영상 처리된 영상에서 사용자의 모션을 인식하고,
    상기 인식된 사용자의 모션이 단말기를 이용한 외부 촬영 모션이면 상기 제1영상 획득부에서 획득된 외부의 영상을 캡쳐하고,
    상기 모션 인식에 대응하는 태그를 생성하고,
    상기 생성된 태그와 상기 캡쳐된 영상을 결합하여 저장하는 것을 더 포함하는 차량의 제어 방법.
  24. 제 16항에 있어서,
    변속 레버의 위치 정보를 확인하고,
    상기 변속 레버의 위치가 파킹 단이면 상기 제1영상 획득부에서 획득된 영상을 캡쳐하고,
    상기 획득된 영상의 캡쳐 시점의 차량의 위치 정보를 확인하고,
    상기 확인된 위치 정보를 캡쳐된 영상과 결합하여 저장하는 것을 더 포함하는 차량의 제어 방법.
  25. 주행 속도를 검출하는 속도 검출부;
    내비게이션 모드 및 목적지를 입력받는 입력부;
    현재의 위치 정보를 수신하는 위치 수신부;
    외부의 영상을 획득하는 영상 획득부;
    상기 수신된 위치 정보와 목적지 정보에 기초하여 내비게이션 정보를 생성하고 생기 생성된 내비게이션 정보와 상기 검출된 주행 속도의 변화 정보 중 적어도 하나에 기초하여 상기 획득된 외부의 영상을 캡쳐하고, 현재 위치가 목적지이면 상기 캡쳐된 외부의 영상을 연결하여 드라이브 비디오를 생성하는 제어부; 및
    상기 생성된 드라이브 비디오를 저장하는 저장부를 포함하는 차량.
KR1020170171794A 2017-12-14 2017-12-14 차량 및 그 제어 방법 KR102443843B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170171794A KR102443843B1 (ko) 2017-12-14 2017-12-14 차량 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170171794A KR102443843B1 (ko) 2017-12-14 2017-12-14 차량 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20190071067A true KR20190071067A (ko) 2019-06-24
KR102443843B1 KR102443843B1 (ko) 2022-09-16

Family

ID=67055874

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170171794A KR102443843B1 (ko) 2017-12-14 2017-12-14 차량 및 그 제어 방법

Country Status (1)

Country Link
KR (1) KR102443843B1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008165433A (ja) * 2006-12-27 2008-07-17 Fujitsu Ten Ltd 情報記録装置
JP2009246503A (ja) * 2008-03-28 2009-10-22 Denso It Laboratory Inc ドライブ映像要約装置
JP2011028651A (ja) * 2009-07-28 2011-02-10 Yupiteru Corp 車両用映像記録装置
KR20140038582A (ko) * 2012-09-20 2014-03-31 주식회사 에이엠아이 도로 표지판의 이미지 정보를 이용하여 길 안내를 수행하는 내비게이션 장치 및 방법 및 상기 장치와 통신하는 통신 장치
KR20140091170A (ko) * 2013-01-10 2014-07-21 주식회사 마루테크 지능형 영상 관제 시스템 및 방법
KR20150074488A (ko) * 2013-12-24 2015-07-02 전자부품연구원 운전자 시야 추적형 블랙 박스 및 그 제어 방법
JP2015230519A (ja) * 2014-06-03 2015-12-21 株式会社デンソー 車両用思い出共有システム、車載機及び思い出共有プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008165433A (ja) * 2006-12-27 2008-07-17 Fujitsu Ten Ltd 情報記録装置
JP2009246503A (ja) * 2008-03-28 2009-10-22 Denso It Laboratory Inc ドライブ映像要約装置
JP2011028651A (ja) * 2009-07-28 2011-02-10 Yupiteru Corp 車両用映像記録装置
KR20140038582A (ko) * 2012-09-20 2014-03-31 주식회사 에이엠아이 도로 표지판의 이미지 정보를 이용하여 길 안내를 수행하는 내비게이션 장치 및 방법 및 상기 장치와 통신하는 통신 장치
KR20140091170A (ko) * 2013-01-10 2014-07-21 주식회사 마루테크 지능형 영상 관제 시스템 및 방법
KR20150074488A (ko) * 2013-12-24 2015-07-02 전자부품연구원 운전자 시야 추적형 블랙 박스 및 그 제어 방법
JP2015230519A (ja) * 2014-06-03 2015-12-21 株式会社デンソー 車両用思い出共有システム、車載機及び思い出共有プログラム

Also Published As

Publication number Publication date
KR102443843B1 (ko) 2022-09-16

Similar Documents

Publication Publication Date Title
KR102027646B1 (ko) 트래픽 사운드 데이터를 처리하여 운전자 보조를 제공하기 위한 시스템 및 방법
US10214145B2 (en) Vehicle control device and vehicle control method thereof
CN107315988B (zh) 用于在无人驾驶车辆中呈现媒体内容的系统和方法
CN104252229B (zh) 用于通过跟踪驾驶员眼睛视线来检测驾驶员是否对广告感兴趣的设备和方法
CN106027749B (zh) 车辆、移动终端及其控制方法
KR102659059B1 (ko) 차량용 아바타 처리 장치 및 그를 제어 방법
US11057575B2 (en) In-vehicle device, program, and vehicle for creating composite images
US10099616B2 (en) Vehicle and method for controlling the vehicle
KR20160114486A (ko) 이동단말기 및 이동 단말기의 제어방법
WO2018180756A1 (ja) 運転支援システム
US20220196427A1 (en) Mobile Device and Vehicle
US20210110433A1 (en) Vehicle caching of local business data
CN114756700B (zh) 场景库建立方法、装置、车辆、存储介质及芯片
US11050981B2 (en) Vehicle and method of controlling the same
KR102443843B1 (ko) 차량 및 그 제어 방법
CN115164910A (zh) 行驶路径生成方法、装置、车辆、存储介质及芯片
KR102600203B1 (ko) 영상 처리 장치, 그를 가지는 차량 및 그 제어 방법
KR102531869B1 (ko) 데이터 처리 장치, 그를 가지는 차량 및 그 제어 방법
JP2021033944A (ja) 通信装置、通信方法及びプログラム
KR20180094684A (ko) 차량 단말 시스템 및 그 제어 방법
CN114842454B (zh) 障碍物检测方法、装置、设备、存储介质、芯片及车辆
US11482010B2 (en) Methods and systems to utilize cameras to predict driver intention and highlight useful data
US20230391189A1 (en) Synchronized rendering
KR20210077039A (ko) 차량 및 그 제어 방법
KR20190083814A (ko) 차량 및 그 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant