KR20230138911A - 영상 전송 시스템, 차량, 및 영상 전송 방법 - Google Patents

영상 전송 시스템, 차량, 및 영상 전송 방법 Download PDF

Info

Publication number
KR20230138911A
KR20230138911A KR1020230035370A KR20230035370A KR20230138911A KR 20230138911 A KR20230138911 A KR 20230138911A KR 1020230035370 A KR1020230035370 A KR 1020230035370A KR 20230035370 A KR20230035370 A KR 20230035370A KR 20230138911 A KR20230138911 A KR 20230138911A
Authority
KR
South Korea
Prior art keywords
video
video signal
vehicle
camera
signals
Prior art date
Application number
KR1020230035370A
Other languages
English (en)
Inventor
다카유키 하토리
Original Assignee
도요타 지도샤（주）
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 도요타 지도샤（주） filed Critical 도요타 지도샤（주）
Publication of KR20230138911A publication Critical patent/KR20230138911A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/10—Adaptations for transmission by electrical cable
    • H04N7/102—Circuits therefor, e.g. noise reducers, equalisers, amplifiers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/10—Adaptations for transmission by electrical cable
    • H04N7/106—Adaptations for transmission by electrical cable for domestic distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

[과제] 복수의 영상을 효율 좋게 전송한다.
[해결 수단] 영상 전송 시스템에, 제 1 영상 전송 규격을 이용하여, 두 개 이상의 제 1 영상 신호를 중첩시켜, 제 2 영상 신호를 생성하는 제 1 트랜스미터와, 상기 제 1 영상 전송 규격과는 상이한 제 2 영상 전송 규격을 이용하여, 제 3 영상 신호와, 상기 제 2 영상 신호를 중첩시켜, 제 4 영상 신호를 생성하는 제 2 트랜스미터와, 단일의 케이블에 의해 전송된 상기 제 4 영상 신호를 수신하여, 상기 제 2 영상 신호와 상기 제 3 영상 신호를 분리하는 제 1 리시버와, 상기 제 2 영상 신호로부터, 상기 두 개 이상의 제 1 영상 신호를 분리하는 제 2 리시버를 마련한다.

Description

영상 전송 시스템, 차량, 및 영상 전송 방법{VIDEO TRANSMISSION SYSTEM, VEHICLE AND VIDEO TRANSMISSION METHOD}
본 발명은 영상의 전송에 관한 것이다.
영상의 전송을 효율화하기 위한 기술이 있다. 이와 관련하여, 예를 들면, 특허문헌 1에는, 복수의 카메라를 접속한 시스템에 있어서, 영상 신호를 다중화함으로써, 효율이 좋은 영상 전송을 행하는 시스템이 개시되어 있다.
일본공개특허 특개2005-328479호
본 개시는, 복수의 영상을 효율 좋게 전송하는 것을 목적으로 한다.
본 개시의 실시형태의 일 양태는, 제 1 영상 전송 규격을 이용하여, 두 개 이상의 제 1 영상 신호를 중첩시켜, 제 2 영상 신호를 생성하는 제 1 트랜스미터와, 상기 제 1 영상 전송 규격과는 상이한 제 2 영상 전송 규격을 이용하여, 제 3 영상 신호와, 상기 제 2 영상 신호를 중첩시켜, 제 4 영상 신호를 생성하는 제 2 트랜스미터와, 단일의 케이블에 의해 전송된 상기 제 4 영상 신호를 수신하여, 상기 제 2 영상 신호와 상기 제 3 영상 신호를 분리하는 제 1 리시버와, 상기 제 2 영상 신호로부터, 상기 두 개 이상의 제 1 영상 신호를 분리하는 제 2 리시버를 가지는, 영상 전송 시스템이다.
본 개시의 실시형태의 일 양태는, 차 밖의 화상을 촬상하는 복수의 카메라와, 제 1 영상 전송 규격을 이용하여, 두 개 이상의 제 1 영상 신호를 중첩시켜, 제 2 영상 신호를 생성하고, 또한, 상기 제 1 영상 전송 규격과는 상이한 제 2 영상 전송 규격을 이용하여, 제 3 영상 신호와, 상기 제 2 영상 신호를 중첩시켜, 제 4 영상 신호를 생성하는 제 1 장치와, 단일의 케이블에 의해 전송된 상기 제 4 영상 신호를 수신하여, 상기 제 2 영상 신호와 상기 제 3 영상 신호를 분리하고, 또한, 상기 제 2 영상 신호로부터, 상기 두 개 이상의 제 1 영상 신호를 분리하는 제 2 장치를 가지는, 차량이다.
또한, 다른 양태로서, 상기의 시스템이나 차량이 실행하는 방법, 당해 방법을 컴퓨터에 실행시키기 위한 프로그램, 또는, 당해 프로그램을 비일시적으로 기억한 컴퓨터 가독 기억 매체를 들 수 있다.
본 개시에 의하면, 복수의 영상을 효율 좋게 전송할 수 있다.
도 1은, 실시형태에 관련된 차량 시스템의 개요도이다.
도 2는, GVIF에 의해 영상 신호를 중첩하는 시스템의 개략도이다.
도 3은, MIPI에 의해 영상 신호를 중첩하는 시스템의 개략도이다.
도 4는, 차량이 후퇴할 때에, 차재(車載) 단말(20)에 의해 표시되는 화상의 예이다.
도 5는, 제 1 실시형태에서 영상 전송 시스템이 행하는 처리의 개요도이다.
도 6은, ECU(10)와 차재 단말(20) 사이에서 전송되는 영상 신호의 개략도이다.
도 7은, 차량(100)의 구성의 일례를 개략적으로 나타낸 블록도이다.
도 8은, 제어부(11)가 가지는 기능 모듈과, 모듈간에 있어서의 데이터의 흐름을 설명하는 도면이다.
도 9는, 차재 단말(20)에 의해 송신되는 선택 데이터의 일례이다.
도 10은, 제어부(21)가 가지는 기능 모듈과, 모듈간에 있어서의 데이터의 흐름을 설명하는 도면이다.
도 11은, 카메라를 선택할 때에 차재 단말(20)이 참조하는 데이터의 예이다.
도 12는, ECU(10) 및 차재 단말(20)이 실행하는 처리의 플로우 차트이다.
도 13은, 제 2 실시형태에 있어서의, 제어부(11)의 모듈 구성도이다.
도 14는, 차량에 설치된 카메라의 위치를 예시하는 도면이다.
근래, 차재용의 카메라가 증가하고 있다. 차재 카메라로서, 예를 들면, 드라이브 레코더 외에, 리어 카메라, 사이드 카메라, 자동 운전용의 스테레오 카메라, 운전자 감시용의 카메라 등을 들 수 있다. 도 14는, 차량의 외부에 설치된 카메라를 예시하는 도이다. 도시한 바와 같이, 차량에는, 복수의 방향을 모니터할 수 있도록, 복수의 카메라가 구비되어 있다. 이들 카메라는, 영상을 관리하는 전자 제어 유닛(ECU)에 접속된다. 또한, 당해 전자 제어 유닛은, 차재 장치(네비게이션 장치) 등과 접속된다.
영상의 전송에는, 소정의 영상 전송 규격이 이용된다. 영상 전송 규격으로서, GVIF(Gigabit Video Interface)(등록상표)나, MIPI(Mobile Industry Processor Interface)(등록상표)라는 것이 있다.
영상의 전송은, 영상을 송수신하는 모듈과, 모듈끼리를 접속하는 케이블을 개재하여 행할 수 있다. 그러나, 차재된 카메라의 수가 증가하면, 영상을 송수신하기 위한 모듈과, 케이블의 수가 증가해 버린다는 문제가 있다.
이 문제를 해결하기 위한 방법으로서, 영상을 중첩 전송한다는 방법이 있다. 영상 신호를 중첩하여 전송함으로써, 영상의 송수신에 이용되는 모듈이나, 케이블의 수를 삭감할 수 있다.
반면에, 중첩되는 영상이 증가하면, 필요한 하드웨어가 증가하여, 비용 증가로 연결될 우려가 있다. 단일의 하드웨어로 복수의 영상을 중첩 가능한 규격도 있지만, 영상의 해상도나 프레임 레이트를 통일할 필요가 있어, 여러 가지 종류의 카메라가 탑재되는 차량에는 적합하지 않다. 또한, 영상을 중첩하면, 비트 레이트의 저하 등이 발생하여, 화질을 비롯한 영상 품질이 저하할 우려도 있다. 특히, 안전에 관계된 영상(예를 들면, 리어 카메라의 영상 등)은, 규정된 품질 요건을 충족하지 않으면 안되어, 영상 품질의 저하(화질 등의 저하)가 허용되지 않는 경우가 있다.
본 개시에 관련된 영상 전송 시스템은, 품질 요건을 확보한 다음에, 복수의 영상의 중첩 전송을 가능하게 하는 것이다.
본 개시의 일 양태는, 영상 전송 시스템이다.
구체적으로는, 제 1 영상 전송 규격을 이용하여, 두 개 이상의 제 1 영상 신호를 중첩시켜, 제 2 영상 신호를 생성하는 제 1 트랜스미터와, 상기 제 1 영상 전송 규격과는 상이한 제 2 영상 전송 규격을 이용하여, 제 3 영상 신호와, 상기 제 2 영상 신호를 중첩시켜, 제 4 영상 신호를 생성하는 제 2 트랜스미터와, 단일의 케이블에 의해 전송된 상기 제 4 영상 신호를 수신하여, 상기 제 2 영상 신호와 상기 제 3 영상 신호를 분리하는 제 1 리시버와, 상기 제 2 영상 신호로부터, 상기 두 개 이상의 제 1 영상 신호를 분리하는 제 2 리시버를 가진다.
두 개 이상의 제 1 영상 신호와, 제 3 영상 신호는, 단일의 케이블을 개재하여, 상이한 장치간에서 전송되는 영상 신호이다. 영상 전송 시스템을 차량에 적용하는 경우, 두 개 이상의 제 1 영상 신호, 및, 제 3 영상 신호는, 차재 카메라에 의해 생성된 영상 신호여도 된다.
제 1 트랜스미터는, 두 개 이상의 제 1 영상 신호를 중첩시켜, 제 2 영상 신호를 생성한다. 또한, 제 2 트랜스미터는, 제 2 영상 신호에 대하여, 제 3 영상 신호를 추가로 중첩시켜, 제 4 영상 신호를 생성한다.
제 1 트랜스미터가 이용하는 영상 전송 규격과, 제 2 트랜스미터가 이용하는 영상 전송 규격은, 각각 상이한 규격이다.
예를 들면, 제 1 트랜스미터는, 복수의 영상을 중첩 가능한 제 1 영상 전송 규격을 이용하여, 두 개 이상의 제 1 영상 신호를 중첩시킨다. 이 결과 얻어진 제 2 영상 신호는, 제 2 트랜스미터로 송신되고, 제 2 영상 신호와, 제 3 영상 신호가 중첩된다. 제 2 트랜스미터는, 제 2 영상 전송 규격을 이용하여 당해 중첩을 행하여, 제 4 영상 신호를 생성한다.
제 1 및 제 2 리시버는, 반대의 순서에 의해, 중첩된 영상 신호의 분리를 행한다. 즉, 제 4 영상 신호로부터, 제 2 영상 전송 규격을 이용하여, 제 3 영상 신호와, 제 2 영상 신호를 분리한다. 또한, 제 1 영상 전송 규격을 이용하여, 제 2 영상 신호를, 두 개 이상의 제 1 영상 신호로 분리한다.
이와 같이 함으로써, 상이한 복수의 영상 전송 규격을 조합하여, 영상의 중첩 및 분리를 행하는 것이 가능해진다.
단일의 영상 전송 규격에 의해 영상을 중첩 전송하면, 이하와 같은 문제가 생길 수 있다.
· 전송하는 영상 신호의 수가 변화하면, 각각에 할당되는 대역이 변하기 때문에, 영상의 품질이 변해 버린다
· 해상도나 프레임 레이트가 상이한 영상을 혼재시키는 것이 어렵다
한편, 상이한 복수의 영상 전송 규격을 조합함으로써, 영상의 품질 요건을 확보하면서, 해상도나 프레임 레이트가 상이한 복수의 영상 신호를 동시에 전송하는 것이 가능해진다.
이하, 본 개시의 구체적인 실시형태에 관하여 도면에 기초하여 설명한다. 각 실시형태에 기재되어 있는 하드웨어 구성, 모듈 구성, 기능 구성 등은, 특별히 기재가 없는 한은 개시의 기술적 범위를 그들만으로 한정하는 취지의 것이 아니다.
(제 1 실시형태)
제 1 실시형태에 관련된 차량 시스템의 개요에 관하여, 도 1을 참조하면서 설명한다. 본 실시형태에 관련된 차량 시스템은, 차량(100)을 포함하여 구성된다.
차량(100)은, 복수의 카메라를 탑재한 자동차이다. 복수의 카메라로서, 예를 들면, 리어 카메라, 사이드 카메라, 드라이브 레코더용 카메라, 자동 운전용 카메라, 운전자 감시용 카메라 등을 들 수 있다.
차량(100)은, 당해 차량의 외부를 운전석으로부터 모니터링 가능한 차량이어도 된다. 또한, 차량(100)은, 자동 운전 또는 반자동 운전이 가능한 차량이어도 된다. 차량(100)이 가지는 복수의 카메라는, ECU(10)에 접속된다.
ECU(10)는, 복수의 카메라가 취득한 영상 신호를 처리하는 전자 제어 유닛이다. ECU(10)는, 카메라 ECU라고도 불린다.
ECU(10)는, 복수의 카메라로부터 영상 신호를 취득 가능하게 구성되어 있고, 다른 전자 제어 유닛이나, 차재 단말(20)로부터의 요구에 기초하여, 영상 신호를 선택하여, 제공할 수 있다. 또한, 도 1에는, 단일의 ECU가 예시되어 있으나, 차량(100)은, 복수의 다른 ECU를 포함하여 구성되어도 된다. 다른 ECU로서, 예를 들면, 엔진 ECU, 보디 ECU, 자동 운전 ECU, 파워 컨트롤 ECU 등을 예시할 수 있다. ECU(10)는, 카메라 영상만을 관리하는 것이어도 되고, 카메라 영상에 기초하여 다른 처리(예를 들면, 자동 운전, 운전자 어시스트 등)를 행하는 것이어도 된다.
차재 단말(20)은, 차량(100)에 탑재된 정보 단말이다. 차재 단말(20)은, 인포테인먼트 단말이라고도 불리며, 차량의 탑승자에 대하여 정보(예를 들면, 교통 정보나 경로 안내)나 오락(예를 들면, 음악이나 동영상)을 제공하는 기능을 가진다. 차재 단말(20)은, 예를 들면, 카 네비게이션 장치와 같이, 단독으로 기능하는 것이어도 되고, 스마트폰 등과 연계하는 기능을 가진 것이어도 된다.
또한, 차재 단말(20)은, 통신 모듈을 개재하여 네트워크와 통신 가능하게 구성되어 있어도 된다.
차재 단말(20)은, 차량의 스테이터스에 따라, 카메라 영상을 출력 가능하게 구성된다. 예를 들면, 기어 포지션이 「리버스」인 경우, 차재 단말(20)은, 리어 카메라에 대응하는 영상을 ECU(10)로부터 수신하고, 디스플레이를 개재하여 출력해도 된다. 또한, 차량(100)의 차속이 일정 속도를 하회하고, 또한, 차량(100)이 시야가 나쁜 교차점에 위치하는 경우, 차재 단말(20)은, 좌우의 프런트 사이드 카메라에 대응하는 영상을 ECU(10)로부터 수신하고, 디스플레이를 개재하여 출력해도 된다.
또한, 차재 단말(20)은, 운전자의 조작에 기초하여, 카메라 영상을 출력 가능하게 구성되어도 된다. 예를 들면, 차량의 전체 주위를 모니터링하는 기능이 기동된 경우, 차재 단말(20)은, 복수의 카메라에 대응하는 영상을 ECU(10)로부터 수신하고, 이것을 합성하여, 차량(100)을 내려다보는 시점의 영상(이하, 전체 주위 영상)을 생성하고, 디스플레이를 개재하여 출력해도 된다.
여기서, 영상의 전송에 있어서의 문제점에 관하여 설명한다.
차내에 있어서의 영상의 전송(예를 들면, ECU(10)∼차재 단말(20)간의 전송)은, 소정의 영상 전송 규격을 이용하여 행할 수 있다. 예를 들면, 영상 전송 규격의 하나인 GVIF(Gigabit Video InterFace)(등록상표)를 이용하면, 영상 신호를 단일의 케이블에 의해 고속으로 시리얼 전송할 수 있다.
도 2의 (A)는, GVIF에 의해 영상을 전송하는 시스템의 개략도이다. 전송은, 도시한 바와 같이, 트랜스미터에 의해, 영상 신호를 시리얼화(시리얼라이즈)함으로써 행할 수 있다. 시리얼화된 신호는, 수신측(리시버)에 있어서 복호(디시리얼라이즈)되고, 이에 의해, 영상 신호가 취출된다.
한편, 복수의 카메라가 영상 신호를 생성하는 경우, 이들을 합하여 전송할 필요가 생긴다. 예를 들면, 전체 주위 영상을 생성하기 위하여, 차량의 외부를 파악하는 복수의 카메라에 대응하는 영상을 동시에 전송하는 경우이다. 이를 실현하는 방법의 하나로서, 도 2의 (B)와 같이, 영상 신호를 송수신하는 유닛(트랜스미터 및 리시버), 및, 전송 케이블을 복수 마련한다는 방법이 있다. 그러나, 이 방법에서는, 카메라의 개수만큼 하드웨어가 필요해져, 비용이 든다.
다른 방법으로서, 도 2의 (C)와 같이, 복수의 영상 신호를 중첩하는 방법이 있다. GVIF 규격이 이용하는 트랜스미터(시리얼라이저)에는, 영상 신호끼리를 중첩하는 기능이 있고, 이것을 이용하여, 복수의 카메라가 출력한 영상 신호를 동시에 전송할 수 있다. 트랜스미터는, 시분할에 의해 복수의 영상 신호를 시퀀셜로 송신한다. 중첩된 복수의 영상은, 리시버(디시리얼라이저)에 의해 분리할 수 있다.
또한, 본 개시에 있어서의 중첩이란, 복수의 영상 신호를 하나의 전송로로 시퀀셜로 전송하기 위한 처리를 가리킨다. 이와 같은 처리로서, 예를 들면, 1프레임마다 영상 신호의 소스를 전환하는 처리(Frame Interleaving)나, 1라인마다 영상 신호의 소스를 전환하는 처리(Line Interleaving)를 예시할 수 있다.
그러나, 이 방법에도 문제가 있다. GVIF가 이용하는 트랜스미터는, 기존의 영상 신호에, 하나의 영상 신호밖에 추가할 수 없다는 점이다. 즉, 3개의 카메라에 의해 생성된 영상 신호를 전송하고 싶은 경우, 3개의 트랜스미터와 3개의 리시버가 필요해진다. 즉, 비용면에 있어서 문제가 생긴다.
한편, 영상 전송 규격의 하나인 MIPI(Mobile Industry Processor Interface)(등록상표)를 이용함으로써, 복수의 영상 신호를 중첩할 수도 있다. 도 3은, MIPI에 의해 영상 신호를 중첩하는 시스템의 개략도이다. 예를 들면, 복수(최대 4레인)의, MIPI 규격의 영상 신호를 시리얼 신호로 변환하는 트랜스미터가 알려져 있다.
그러나, 이 방법을 이용한 경우, 동시에 전송하는 영상 신호의 수가 증가하면, 한 개당의 대역이 압박되어, 품질이 저하해 버린다는 문제가 생긴다.
도 4는, 차량이 후퇴할 때에, 차재 단말(20)에 의해 표시되는 화상의 예이다. 차량이 후퇴할 때, 예를 들면, 도 4의 (A)와 같이, 리어 카메라에 대응하는 영상을 출력하는 경우가 있다. 이 경우, 전송되는 영상은 1종류이다. 한편, 도 4의 (B)와 같이, 리어 카메라에 대응하는 영상에 더하여, 전체 주위 영상을 생성하기 위한 복수의 카메라 영상을 동시에 전송하는 경우가 있다. 이 경우, 전송되는 영상은 4종류가 된다. 즉, 화상의 표시 방법에 의해, 하나의 카메라에 할당되는 대역이 변화한다.
리어 카메라에 대응하는 영상은, 안전 확보를 위해, 고우선도로 전송하는 것이 바람직하다. 그러나, 전술한 방법에서는, 전체 주위 영상을 표시한 경우에 있어서, 리어 카메라에 대응하는 카메라 영상의 대역이 압박되어 버린다. 대역이 압박되면, 프레임 레이트가 저하된다, 화질이 저하된다, 영상이 프리즈된다는 문제가 생겨, 안전상 문제가 될 우려가 있다.
또한, MIPI 규격에서는, 상이한 해상도나 프레임 레이트의 화상을 중첩시킨 경우에, 안정된 전송을 행할 수 없다는 문제가 있다. 즉, 리어 카메라만 고해상도의 카메라를 채용한다는 것이 어렵다.
이 문제를 해결하기 위하여, 본 실시형태에 있어서의 영상 전송 시스템은, MIPI 규격의 트랜스미터에 의해 복수의 카메라 영상을 중첩하고, 중첩 후의 영상 신호를, GVIF 규격의 트랜스미터에 의해 추가로 중첩한다. 도 5는, 본 실시형태에 있어서의 영상 전송 시스템이 행하는 처리의 개요도이다. 또한, 도 6은, 영상의 전송 대역을 설명하는 도이다.
여기서, 영상 신호 1은, 전술한 리어 카메라로부터의 영상 신호(즉, 우선도가 높은 영상 신호)를 나타낸다. 영상 신호 2∼4는, 다른 카메라(예를 들면, 프런트 카메라, 사이드 카메라 등)로부터의 영상을 나타낸다.
GVIF 규격에서는, 하나의 트랜스미터로 중첩 가능한 영상 신호는 최대 2세트이기 때문에, 전송 대역이, 부호 601과 부호 602와 같이 할당된다. 즉, 영상 신호 1(즉, 리어 카메라로부터의 영상 신호)에 관해서는, 부호 601로 나타낸 대역을 최저한 보증하는 것이 가능해진다.
또한, 소정의 규격(MIPI)에 의해 중첩된 영상 신호를, 추가로 상이한 규격(GVIF)에 의해 중첩하기 때문에, 해상도나 프레임 레이트가 상이한 영상을 혼재시키는 것이 가능해진다.
다음에, 차량(100)이 가지는 각 구성 요소에 관하여, 자세하게 설명한다.
도 7은, 도 1에 나타낸 차량(100)의 구성의 일례를 개략적으로 나타낸 블록도이다. 차량(100)은, ECU(10), 및, 차재 단말(20)을 가지고 구성된다. 이들 구성 요소는, 영상 신호를 전송하는 케이블과, 제어 신호를 전송하는 케이블에 의해 상호 접속된다. 또한, 본 예에서는, 차량(100)이 가지는 구성 요소로서, ECU(10), 및, 차재 단말(20)을 예시하고 있지만, 차량(100)에는, 엔진 ECU, 보디 ECU 등, 차량의 제어를 담당하는 복수의 전자 제어 유닛이 탑재되어 있어도 된다.
먼저, ECU(10)에 관하여 설명한다.
ECU(10)는, 차재된 복수의 카메라가 취득한 영상 신호를 처리하는 전자 제어 유닛이다. ECU(10)는, 카메라 ECU라고도 불린다. ECU(10)는, 다른 전자 제어 유닛이나, 차재 단말(20)로부터의 요구에 기초하여, 영상 신호를 선택하여, 제공한다. 또한, 본 실시형태에서는, ECU(10)는, 카메라 영상만을 관리하는 것이지만, 카메라 영상에 기초한 다른 처리(예를 들면, 자동 운전, 운전 어시스트 등)를 ECU(10)에 실행시켜도 된다. 이 경우, ECU(10)를, ADAS-ECU 등이라고 불러도 된다.
ECU(10)는, 제어부(11), 기억부(12), 통신부(13), 및, 영상 인터페이스(14)를 가지고 구성된다.
제어부(11)는, 소정의 프로그램을 실행함으로써, ECU(10)의 각종 기능을 실현하는 연산 유닛이다. 제어부(11)는, 예를 들면, CPU 등에 의해 실현할 수 있다.
제어부(11)는, 외부(전형적으로는, 차재 단말(20))로부터 수신한 지령에 기초하여, 복수의 카메라에 의해 생성된 영상 신호를 선택하고, 송신하는 처리를 실행한다. 예를 들면, 차재 단말(20)이, 차량(100)의 전체 주위를 표시하는 파노라마 영상을 요구한 경우, 제어부(11)는, 당해 파노라마 영상을 생성하기 위한 카메라를 선택하고, 대응하는 영상 신호를 차재 단말(20)에 송신한다.
제어부(11)가 실행하는 처리의 상세에 관해서는 후술한다.
기억부(12)는, 주기억 장치 및 보조 기억 장치를 포함하는 메모리 장치이다. 보조 기억 장치에는, 오퍼레이팅 시스템(OS), 각종 프로그램, 각종 테이블 등이 저장되고, 그곳에 저장된 프로그램을 주기억 장치에 로드하여 실행함으로써, 후술하는 바와 같은, 소정의 목적에 합치한 각 기능을 실현할 수 있다.
통신부(13)는, ECU(10)와 차재 단말(20)을 접속하기 위한 인터페이스 유닛이다. 본 실시형태에서는, ECU(10)와 차재 단말(20)은, 영상을 전송하는 경로와, 제어 신호를 전송하는 경로의 두 개의 경로에 의해 접속되어 있다. 영상을 전송하는 경로로서, 트위스트 페어 케이블이나 동축 케이블을 예시할 수 있다. 본 실시형태에서는, 복수 채널의 영상을 중첩하여 전송하기 때문에, 케이블은 1개이다. 또한, 제어 신호를 전송하는 경로로서, 차재 네트워크를 예시할 수 있다. 예를 들면, CAN(Controller Area Network)에 의한 네트워크나, 이더넷(등록상표)에 의해 제어 신호를 전송할 수 있다. 또한, 제어 신호를 전송하는 경로는, 다른 ECU 등과 공용되어 있어도 된다.
통신부(13)는, 이들을 접속하는 인터페이스이다. 통신부(13)는, 영상을 전송하기 위한 하드웨어 인터페이스와, 제어 신호를 전송하기 위한 하드웨어 인터페이스(예를 들면, CAN 컨트롤러)를 포함하고 있어도 된다.
영상 인터페이스(14)는, 차재된 복수의 카메라를 접속하기 위한 인터페이스 유닛이다. 본 실시형태에서는, 영상 인터페이스(14)는, MIPI 규격(예를 들면, MIPI CSI-2)에 준거한 영상 신호를 카메라로부터 수신한다.
카메라(30A∼30E)는, 차량(100)에 탑재된 복수의 카메라이다. 차량(100)에 탑재된 카메라로서, 녹화(드라이브 레코더)용 카메라, 자동 운전용 카메라, 운전자에 의한 안전 확인용 카메라, 운전자 감시용 카메라 등을 예시할 수 있다. 또한, 카메라의 배치 위치로서, 예를 들면, 프런트, 프런트 사이드, 사이드, 리어 등을 예시할 수 있다. 도 7의 예에서는, 차량(100)은, 리어 카메라인 카메라 30A, 프런트 카메라인 카메라 30B, 사이드 카메라인 카메라 30C∼E를 가지고 구성된다. 리어 카메라(30A)는, 차량 후퇴 시 등의 안전 확인용으로서 이용된다. 프런트 카메라(30B)는, 운전 어시스트용이나, 드라이브 레코더의 녹화용으로서 이용된다. 사이드 카메라(30C∼E)는, 사각의 확인용으로서 이용된다. 또한, 이들 카메라가 취득한 영상에 기초하여, 전체 주위 영상을 생성할 수 있다.
이들 카메라는, MIPI 규격(예를 들면, MIPI CSI-2)에 의해 ECU(10)와 접속된다.
다음에, 제어부(11)의 기능에 관하여 설명한다.
도 8은, 제어부(11)가 가지는 기능 모듈과, 모듈간에 있어서의 데이터의 흐름을 설명하는 도이다. 도시한 기능 모듈은, ROM 등의 기억 수단에 기억된 프로그램을 CPU 등에 의해 실행함으로써 실현할 수 있다.
먼저, 영상 인터페이스(14)를 개재하여 취득된 복수의 영상 신호가, 제어부(11)에 입력된다. 본 예에서는, 리어 카메라인 카메라 30A로부터의 영상 신호를, 제 1 카메라 신호라고 한다. 또한, 카메라 30B∼E로부터의 영상 신호를, 제 2 카메라 신호라고 한다. 본 실시형태에서는, 제 1 카메라 신호는, 처리 우선도가 가장 높은 영상 신호이다. 이것은, 제 1 카메라 신호는, 차량 후방을 파악하는 영상을 포함하기 때문에, 리얼타임으로 전송해야 한다(예를 들면, 차량의 후퇴 중에 영상이 끊어지면, 차량 후방을 가로지르는 보행자를 파악할 수 없게 될 우려가 있음)는 이유에 의한다. 이에 비하여, 제 2 카메라 신호는, 보조적인 영상(전체 주위 영상)을 생성하기 위한 것이기 때문에, 제 1 카메라 신호에 비하여, 상대적으로 우선도가 낮아진다.
제 1 카메라 신호는, 차재 단말(20)에 반드시 송신되는 것에 비하여, 제 2 카메라 신호는, 차재 단말(20)로부터의 지시에 기초하여 적절히 선택된다. 예를 들면, 사이드 카메라의 영상이 차재 단말(20)에 의해 요구된 경우, 사이드 카메라로부터의 영상 신호만이 선택된다.
영상 선택부(111)는, 복수의 제 2 카메라 신호 중, 송신의 대상이 되는 것을 선택한다. 본 실시형태에서는, 차재 단말(20)이, 영상 선택부(111)에 대하여, 카메라를 지정하는 데이터(도면 중의 「선택 데이터」)를 송신하고, 영상 선택부(111)가, 이에 응답하여, 제 2 카메라 신호의 선택을 행한다. 도 9의 (A)는, 선택 데이터의 일례이다.
예를 들면, 차재 단말(20)이, 전체 주위 영상을 생성하기 위한 영상을 요구하는 취지의 선택 데이터를 송신한 경우, 영상 선택부(111)는, 전체 주위 영상을 생성하기 위한 제 2 카메라 신호를 선택한다.
본 실시형태에서는, 「제 1 카메라 신호」와, 「영상 선택부(111)가 선택한 제 2 카메라 신호」가, 중첩의 대상이 된다.
화상 처리부(112)는, 중첩의 대상인 복수의 제 2 카메라 신호에 대하여 조정을 행한다. 예를 들면, 화상 처리부(112)는, 복수의 제 2 카메라 신호의 각각에 관하여, 해상도나 프레임 레이트를 일치시키는 처리를 행한다. 예를 들면, MIPI 규격에 준거한 영상 신호를 중첩하는 경우, 통신 속도를 평활화하기 위하여, 모든 영상 신호에 관하여, 해상도나 프레임 레이트를 일치시키는 것이 바람직하다. 해상도는, 화상의 확대나 축소에 의해 조정해도 되고, 블리드나 클리핑 등에 의해 조정해도 된다.
또한, 화상 처리부(112)가 행하는 처리는, 영상 신호의 중첩을 위한 처리에 한정되지 않는다. 예를 들면, LED 신호기의 발광 주기(예를 들면, 60Hz)를 고려하여, 영상의 프레임 레이트를 조정하는(예를 들면, 30fps의 영상 신호를 29fps로 변환함) 처리를 행해도 된다.
제 1 중첩부(113)는, 영상 선택부(111)에 의해 선택된 복수의 제 2 카메라 신호를 중첩하는 처리를 행한다. 이에 의해, 복수의 영상 신호가, 복수의 레인을 포함하는 단일의 영상 신호로 변환된다. 또한, 제 2 카메라 신호의 선택, 및, 신호의 중첩은, 영상 신호의 규격 내(예를 들면, 최대 비트 레이트의 범위 내)에 있어서 자유롭게 실시할 수 있다. 변환 후의 신호는, 예를 들면, CSI-2로 할 수 있다.
제 2 중첩부(114)는, 제 1 중첩부(113)에 의해 중첩된 영상 신호와, 제 1 카메라 신호를 중첩하는 처리를 행한다. 이에 의해, 도 6에 나타낸 바와 같이, 네스티드 구조로 된 영상 신호를 얻을 수 있다. 영상 신호 1∼4는, MIPI 규격에 준거한 것이고, 제 2 중첩부(114)가 생성하는 영상 신호(부호 603)는, GVIF 규격에 준거한 것이다.
제 2 중첩부(114)에 의해 생성된 영상 신호는, 차재 단말(20)로 송신된다.
다음에, 도 7에 나타낸 차재 단말(20)에 관하여 설명한다.
차재 단말(20)은, 차량(100)의 탑승자에게 정보를 제공하는 장치로서, 카 네비게이션 시스템, 인포테인먼트 시스템, 헤드 유닛이라고도 불린다. 차재 단말(20)은, 차량의 탑승자에 대하여, 네비게이션이나 오락의 제공을 행할 수 있다. 차재 단말(20)은, 차량(100)의 외부 네트워크와 통신함으로써, 교통 정보, 도로 지도 데이터, 음악이나 동영상 등을 다운로드하는 기능을 가지고 있어도 된다.
차재 단말(20)은, 범용의 컴퓨터에 의해 구성할 수 있다. 즉, 차재 단말(20)은, CPU나 GPU 등의 프로세서, RAM이나 ROM 등의 주기억 장치, EPROM, 하드디스크 드라이브, 리무버블 미디어 등의 보조 기억 장치를 가지는 컴퓨터로서 구성할 수 있다. 보조 기억 장치에는, 오퍼레이팅 시스템(OS), 각종 프로그램, 각종 테이블 등이 저장되고, 그곳에 저장된 프로그램을 실행함으로써, 후술하는 바와 같은, 소정의 목적에 합치한 각 기능을 실현할 수 있다. 단, 일부 또는 전부의 기능은 ASIC나 FPGA와 같은 하드웨어 회로에 의해 실현되어도 된다.
차재 단말(20)은, 제어부(21), 기억부(22), 통신부(23), 및 입출력부(24)를 가지고 구성된다.
제어부(21)는, 차재 단말(20)의 제어를 담당하는 수단이다. 제어부(21)는, 예를 들면, CPU(Central Processing Unit)나 GPU(Graphics Processing Unit) 등의 정보 처리 유닛에 의해 구성된다.
제어부(21)는, 차량의 탑승자에 대하여 정보의 제공을 행한다. 제공되는 정보로서, 예를 들면, 교통 정보, 네비게이션 정보, 음악이나 영상, 라디오 방송, 디지털 텔레비전 방송 등이 있다. 제어부(21)는, 입출력부(24)를 개재하여 정보의 출력을 행한다.
또한, 제어부(21)는, 차재 카메라를 이용한 운전 보조 기능을 제공한다. 차재 카메라를 이용한 운전 보조 기능으로서, 예를 들면, 후퇴 시에 차량의 후방을 모니터하는 기능, 시야가 나쁜 교차점에 있어서, 좌우의 교통 상황을 모니터하는 기능 등을 예시할 수 있다. 차재 카메라를 이용한 운전 보조 기능을 제공하는 경우, 제어부(21)는, ECU(10)에 대하여 영상의 송신을 요구한다. 제어부(21)는, ECU(10)로부터 송신된 영상 신호에 기초하여, 출력하는 화상을 생성하는 처리나, 사용자 인터페이스 화면을 생성하는 처리를 실행해도 된다.
제어부(21)가 실행하는 처리의 상세에 관해서는 후술한다.
기억부(22)는, 정보를 기억하는 수단이며, RAM, 자기 디스크나 플래시 메모리 등의 기억 매체에 의해 구성된다. 기억부(22)에는, 제어부(21)로 실행되는 각종 프로그램, 당해 프로그램이 이용하는 데이터 등이 기억된다.
통신부(23)는, 차재 단말(20)과 ECU(10)를 접속하기 위한 인터페이스 유닛이다. 통신부(23)는, 통신부(13)와 마찬가지로, 영상을 전송하는 경로에 대응하는 인터페이스와, 제어 신호를 전송하는 경로에 대응하는 인터페이스의 두 개를 가지고 있다. 영상을 전송하는 경로에 대응하는 인터페이스는, 예를 들면, 트위스트 페어 케이블이나 동축 케이블이다. 제어 신호를 전송하는 경로에 대응하는 인터페이스는, 예를 들면, CAN(Controller Area Network)이다.
입출력부(24)는, 사용자가 행한 입력 조작을 접수하고, 사용자에 대하여 정보를 제시하는 수단이다. 구체적으로는, 터치 패널과 그 제어 수단, 액정 디스플레이와 그 제어 수단으로 구성된다. 터치 패널 및 액정 디스플레이는, 본 실시형태에서는 하나의 터치 패널 디스플레이로 이루어진다. 또한, 입출력부(24)는, 음성을 출력하기 위한 스피커 등을 가지고 있어도 된다.
다음에, 제어부(21)의 기능에 관하여 설명한다.
도 10은, 제어부(21)가 가지는 기능 모듈과, 모듈간에 있어서의 데이터의 흐름을 설명하는 도이다. 도시한 기능 모듈은, ROM 등의 기억 수단에 기억된 프로그램을 CPU 등에 의해 실행함으로써 실현할 수 있다.
선택부(211)는, ECU(10)에 대하여, 영상을 취득하는 카메라를 지정하는 데이터(선택 데이터)를 송신한다.
선택부(211)는, 운전자의 조작에 기초하여, ECU(10)에 대하여 어느 카메라의 영상을 요구할지를 결정한다. 예를 들면, 차량(100)이 후퇴하는 경우에 있어서, 도 4의 (A)에 예시한 바와 같이, 리어 카메라의 영상을 출력하는 경우가 있다. 이 경우, 리어 카메라가 선택된다. 또한, 차량(100)이 후퇴하는 경우에 있어서, 도 4의 (B)에 예시한 바와 같이, 리어 카메라의 영상과, 전체 주위 영상을 출력하는 경우가 있다. 이 경우, 리어 카메라를 포함하는, 외부 모니터용의 모든 카메라가 선택된다.
사용할 카메라는, 운전자의 조작에 기초하여 결정되어도 되고, 차량(100)의 상태에 기초하여 결정되어도 된다. 예를 들면, 기어 포지션이 「리버스」인 경우, 후퇴 시에 사용되는 카메라를 결정해도 된다. 이를 위해, 차재 단말(20)은, 차량의 상태(모드)와, 사용할 카메라를 관련시킨 데이터를 기억하고, 당해 데이터에 기초하여 선택 데이터를 생성해도 된다. 선택부(211)는, 예를 들면, 도 11에 예시한 바와 같은 데이터에 기초하여, 선택 데이터를 생성할 수 있다. 이와 같은 데이터는, 기억부(22)에 기억되어 있어도 된다.
제 1 분리부(212)는, ECU(10)로부터 송신된 영상 신호를, 통신부(23)를 개재하여 수신하고, 당해 영상 신호를 분리한다. 도 6을 나타내어 설명한 바와 같이, ECU(10)와 차재 단말(20)의 사이에서 송수신되는 영상 신호는, GVIF 규격에 준거한 것이고, 이를 분리함으로써, MIPI 규격에 준거한 두 개의 영상 신호(도 6에 있어서의 부호 601, 602)를 얻을 수 있다. 분리한 영상 신호 중, 제 1 카메라 신호(부호 601)(즉, 리어 카메라가 생성한 영상 신호)는, 정보 제공부(214)로 송신된다.
제 1 카메라 신호 이외의 영상 신호(부호 602)는, 제 2 분리부(213)로 송신된다.
제 2 분리부(213)는, 제 1 분리부(212)로부터 송신된 영상 신호를 분리하여, 복수의 제 2 카메라 신호를 취득한다. 복수의 제 2 카메라 신호는, 제 1 카메라 신호와 마찬가지로, 정보 제공부(214)로 송신된다.
정보 제공부(214)는, 제 1 카메라 신호, 및, 제 2 카메라 신호에 기초하여, 차량의 탑승자(운전자)에게 제공하는 사용자 인터페이스 화면을 생성한다. 예를 들면, 정보 제공부(214)는, 소정의 그래픽에, 카메라가 파악한 영상을 감입하여, 출력한다. 이 때, 차량의 위치나 예상 궤적 등을 나타내는 가이드 라인 등을 중첩해도 된다. 또한, 복수의 카메라가 인식한 영상에 기초하여, 한 장의 화상(전체 주위 영상 등)을 생성하는 처리를 행해도 된다.
(처리의 흐름)
도 12는, ECU(10) 및 차재 단말(20)이 실행하는 처리의 플로우 차트이다.
먼저, 단계 S11에서, 선택부(211)가, 영상을 취득하는 카메라를 결정한다. 본 단계는, 운전자가 소정의 조작을 행한 경우에 실행되어도 되고, 차량이 소정의 상태가 된 경우에 실행되어도 된다. 선택부(211)는, 운전자에 의한 조작, 또는, 차량의 상태에 기초하여, 사용할 카메라를 결정하고, 당해 카메라를 지정하기 위한 데이터(선택 데이터)를, ECU(10)에 송신한다.
단계 S12에서는, ECU(10)(영상 선택부(111))가, 선택 데이터에 기초하여, 영상 신호를 취득하는 하나 이상의 카메라를 특정하고, 당해 카메라로부터의 영상 신호를 선택한다. 선택된 영상 신호(제 2 카메라 신호)는, 화상 처리부(112)에 전달된다.
다음에, 단계 S13에서, 화상 처리부(112)가, 영상 신호의 중첩을 행하기 위한 전처리를 행한다. 구체적으로는, 제 2 카메라 신호에 대하여, 프레임 레이트의 변환, 해상도의 변환 등을 행한다. 또한, 복수의 영상 신호를 중첩하기 위한 전처리이면, 예시한 처리 이외를 본단계에서 실행해도 된다. 또한, 필요가 없으면, 본단계는 생략할 수도 있다. 화상 처리부(112)가 처리를 행한 후의 제 2 카메라 신호는, 제 1 중첩부(113)에 전달된다.
다음에, 단계 S14에서, 제 1 중첩부(113)가, 입력된 복수의 제 2 카메라 신호를 중첩하여, 단일의 영상 신호를 생성한다.
다음에, 단계 S15에서, 제 2 중첩부(114)가, 제 1 중첩부(113)에 의해 중첩된 제 2 카메라 신호와, 제 1 카메라 신호를 중첩한다. 중첩 후의 영상 신호는, 영상을 전송하기 위한 인터페이스를 개재하여, 차재 단말(20)에 송신된다.
단계 S16에서는, 제 1 분리부(212)가, 수신한 영상 신호를 분리하여, 제 1 카메라 신호를 얻는다. 분리 후의 영상 신호는, 제 2 분리부(213)로 송신된다. 단계 S17에서는, 제 2 분리부(213)가, 수신한 영상 신호를 분리하여, 제 2 카메라 신호를 얻는다. 제 1 카메라 신호 및 제 2 카메라 신호는, 정보 제공부(214)로 송신된다.
정보 제공부(214)는, 수신한 제 1 카메라 신호 및 제 2 카메라 신호에 기초하여, 차량의 탑승자에 대하여 정보 제공을 행한다.
이상에서 설명한 바와 같이, 본 실시형태에 관련된 ECU(10)는, 상이한 2종류의 영상 전송 규격에 의해, 복수의 카메라가 생성한 영상 신호를 다단계로 중첩한다. 이에 의해, 소정의 영상 신호에 관하여 품질 요건을 확보하면서, 복수의 영상 신호를 중첩 전송하는 것이 가능해진다. 또한, 품질이 요구되는 영상 신호에 관해서는, 해상도나 프레임 레이트를 다른 영상 신호보다 높게 설정하는 것이 가능해진다.
(제 2 실시형태)
제 1 실시형태에서는, 리어 카메라에 의해 생성된 영상 신호를 고우선도로 전송했다. 한편, 어느 영상 신호를 우선할지(즉, 어느 영상 신호를 제 1 카메라 신호로서 취급할지)를, ECU(10)의 외부로부터 지정할 수 있도록 해도 된다.
제 2 실시형태는, 차재 단말(20)로부터 ECU(10)에 대하여 영상 신호의 우선도를 지시하는 실시형태이다.
도 13은, 제 2 실시형태에 있어서의, ECU(10)(제어부(11))의 모듈 구성도이다. 본 실시형태에서는, 영상 선택부(111)가, 제 1 카메라 신호 및 제 2 카메라 신호의 쌍방을 선택한다는 점과, 차재 단말(20)로부터 송신되는 선택 데이터에, 우선도의 지정이 포함된다는 점에 있어서, 제 1 실시형태와 상이하다.
도 9의 (B)는, 제 2 실시형태에 있어서의 선택 데이터의 예이다. 도시한 바와 같이, 본 실시형태에서는, 선택 데이터는, 사용할 카메라를, 우선도마다 관련시킨 데이터이다. 본 예에서는, 가장 우선도가 높은 카메라가 리어 카메라인 취지가 나타내어져 있다. 즉, 제 1 카메라 신호는, 리어 카메라가 생성한 영상 신호가 된다. 제 2 카메라 신호는, 그 밖의 카메라가 생성한 영상 신호가 된다.
영상 선택부(111)는, 당해 선택 데이터에 기초하여, 영상 신호의 선택을 행함과 함께, 우선도마다 그 출력처를 결정한다. 구체적으로는, 가장 우선도가 높은 카메라에 대응하는 영상 신호를, 제 1 카메라 신호로서 제 2 중첩부(114)에 송신하고, 그 밖의 영상 신호를, 제 2 카메라 신호로서 제 1 중첩부(113)에 송신한다.
이후의 처리는, 제 1 실시형태와 마찬가지이다.
이상에서 설명한 바와 같이, 제 2 실시형태에 의하면, 영상 신호의 우선도를 동적으로 지정하는 것이 가능해진다.　이에 의해, 예를 들면, 차량이 후퇴하는 장면에서는 리어 카메라의 영상을 우선하고, 차량이 합류하는 장면에서는 사이드 카메라의 영상을 우선하는 등 구분하여 사용하는 것이 가능해진다.
(변형례)
상기의 실시형태는 어디까지나 일례로서, 본 발명은 그 요지를 일탈하지 않는 범위 내에서 적절히 변경하여 실시할 수 있다.
예를 들면, 본 개시에 있어서 설명한 처리나 수단은, 기술적인 모순이 생기지 않는 한에 있어서, 자유롭게 조합하여 실시할 수 있다.
또한, 실시형태의 설명에서는, 복수의 카메라가, MIPI 규격에 준거한 영상 신호를 출력하는 것으로 했지만, 카메라가 출력하는 영상 신호는, 다른 규격에 준거한 것이어도 된다.
또한, 실시형태의 설명에서는, GVIF 규격에 준거한 영상 신호에 의해, ECU(10)와 차재 단말(20)간의 전송을 행하는 것으로 했지만, 장치간에 있어서의 영상의 전송은, 다른 규격을 이용해도 된다. 단, 채용 가능한 규격은, 이하의 조건 중 적어도 하나를 만족하는 것이 바람직하다.
(1) 중첩 전송되는 적어도 하나의 영상 신호에 관하여, 소정의 품질 요건을 보증 가능한 규격인 것
소정의 품질 요건이란, 예를 들면, 리얼타임 요건이다. 이에 의해, 제 1 카메라 신호를 리얼타임으로 전송하는 것이 가능해진다.
(2) 중첩 전송되는 적어도 하나의 영상 신호에 관하여, 항상 소정값 이상의 대역을 할당 가능한 규격인 것
이에 의해, 예를 들면, 소정값 이상의 대역을 제 1 카메라 신호에 할당하고, 나머지의 대역을 제 2 카메라 신호에 할당한다는 것이 가능해진다.
(3) 복수의 해상도 및 프레임 레이트가 혼재 가능한 규격인 것
또한, 1개의 장치가 행하는 것으로서 설명한 처리가, 복수의 장치에 의해 분담하여 실행되어도 된다. 또는, 상이한 장치가 행하는 것으로서 설명한 처리가, 1개의 장치에 의해 실행되어도 상관없다. 컴퓨터 시스템에 있어서, 각 기능을 어떠한 하드웨어 구성(서버 구성)에 의해 실현할지는 유연하게 변경 가능하다.
본 개시는, 상기의 실시형태에서 설명한 기능을 실장한 컴퓨터 프로그램을 컴퓨터에 공급하고, 당해 컴퓨터가 가지는 1개 이상의 프로세서가 프로그램을 읽어내어 실행하는 것에 의해서도 실현 가능하다. 이와 같은 컴퓨터 프로그램은, 컴퓨터의 시스템 버스에 접속 가능한 비일시적인 컴퓨터 가독 기억 매체에 의해 컴퓨터에 제공되어도 되고, 네트워크를 개재하여 컴퓨터에 제공되어도 된다. 비일시적인 컴퓨터 가독 기억 매체는, 예를 들면, 자기 디스크(플로피(등록상표) 디스크, 하드 디스크 드라이브(HDD) 등), 광 디스크(CD-ROM, DVD 디스크·블루레이 디스크 등) 등 임의의 타입의 디스크, 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), EPROM, EEPROM, 자기 카드, 플래시 메모리, 광학식 카드, 전자적 명령을 저장하기 위해 적합한 임의의 타입의 매체를 포함한다.
100 : 차량
10 : ECU
20 : 차재 단말
11, 21 : 제어부
12, 22 : 기억부
13, 23 : 통신부
14 : 영상 인터페이스
24 : 입출력부
30 : 카메라

Claims (20)

  1. 제 1 영상 전송 규격을 이용하여, 두 개 이상의 제 1 영상 신호를 중첩시켜, 제 2 영상 신호를 생성하는 제 1 트랜스미터와,
    상기 제 1 영상 전송 규격과는 상이한 제 2 영상 전송 규격을 이용하여, 제 3 영상 신호와, 상기 제 2 영상 신호를 중첩시켜, 제 4 영상 신호를 생성하는 제 2 트랜스미터와,
    단일의 케이블에 의해 전송된 상기 제 4 영상 신호를 수신하여, 상기 제 2 영상 신호와 상기 제 3 영상 신호를 분리하는 제 1 리시버와,
    상기 제 2 영상 신호로부터, 상기 두 개 이상의 제 1 영상 신호를 분리하는 제 2 리시버
    를 가지는, 영상 전송 시스템.
  2. 제 1 항에 있어서,
    상기 제 3 영상 신호는, 소정의 품질 요건이 요구되는 영상 신호인,
    영상 전송 시스템.
  3. 제 2 항에 있어서,
    상기 소정의 품질 요건은, 리얼타임 요건인,
    영상 전송 시스템.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 제 2 영상 전송 규격은, 중첩 전송되는 적어도 하나의 영상 신호에 관하여, 소정의 품질 요건을 보증 가능한 규격인,
    영상 전송 시스템.
  5. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 제 2 영상 전송 규격은, 상기 제 3 영상 신호에, 소정값 이상의 대역을 할당 가능한 규격인,
    영상 전송 시스템.
  6. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 제 3 영상 신호에, 소정값의 대역이 할당되고, 상기 두 개 이상의 상기 제 1 영상 신호를 포함하는 상기 제 2 영상 신호에, 나머지의 대역이 할당되는,
    영상 전송 시스템.
  7. 제 6 항에 있어서,
    상기 제 3 영상 신호는 단일의 영상 신호이고, 상기 제 2 영상 신호에 포함되는 상기 제 1 영상 신호의 수는, 외부로부터의 지정에 기초하여 결정되는,
    영상 전송 시스템.
  8. 제 1 항에 있어서,
    상기 제 1 및 제 3 영상 신호는, 차량의 외부를 촬상하는 카메라에 의해 생성된 영상 신호인,
    영상 전송 시스템.
  9. 제 8 항에 있어서,
    상기 제 3 영상 신호는, 리어 카메라에 의해 생성된 영상 신호이고,
    상기 제 1 영상 신호는, 리어 이외에 배치된 카메라에 의해 생성된 영상 신호인,
    영상 전송 시스템.
  10. 제 8 항 또는 제 9 항에 있어서,
    상기 차량에 탑재된 소정의 전자 제어 유닛이, 상기 제 1 및 상기 제 2 트랜스미터를 가지는,
    영상 전송 시스템.
  11. 제 10 항에 있어서,
    상기 차량에 탑재된 차재 단말이, 상기 제 1 및 상기 제 2 리시버를 가지는,
    영상 전송 시스템.
  12. 제 11 항에 있어서,
    상기 차재 단말은, 상기 전자 제어 유닛에 대하여, 상기 제 1 영상 신호를 생성하는 두 개 이상의 카메라를 지정하는 제 1 데이터를 송신하고,
    상기 전자 제어 유닛이 가지는 상기 제 1 트랜스미터가, 상기 제 1 데이터에 의해 지정된 두 개 이상의 카메라가 생성한 상기 제 1 영상 신호를 중첩시키는,
    영상 전송 시스템.
  13. 차 밖의 화상을 촬상하는 복수의 카메라와,
    제 1 영상 전송 규격을 이용하여, 두 개 이상의 제 1 영상 신호를 중첩시켜, 제 2 영상 신호를 생성하고, 또한, 상기 제 1 영상 전송 규격과는 상이한 제 2 영상 전송 규격을 이용하여, 제 3 영상 신호와, 상기 제 2 영상 신호를 중첩시켜, 제 4 영상 신호를 생성하는 제 1 장치와,
    단일의 케이블에 의해 전송된 상기 제 4 영상 신호를 수신하여, 상기 제 2 영상 신호와 상기 제 3 영상 신호를 분리하고, 또한, 상기 제 2 영상 신호로부터, 상기 두 개 이상의 제 1 영상 신호를 분리하는 제 2 장치
    를 가지는, 차량.
  14. 제 13 항에 있어서,
    상기 제 1 장치는, 상기 복수의 카메라를 관리하는 전자 제어 유닛이고,
    상기 제 2 장치는, 차재 단말인,
    차량.
  15. 제 13 항에 있어서,
    상기 제 3 영상 신호는, 소정의 품질 요건이 요구되는 영상 신호인,
    차량.
  16. 제 15 항에 있어서,
    상기 소정의 품질 요건은, 리얼타임 요건이고, 상기 제 3 영상 신호는, 리어 카메라에 의해 생성된 영상 신호인,
    차량.
  17. 제 15 항 또는 제 16 항에 있어서,
    상기 제 2 영상 전송 규격은, 중첩 전송되는 적어도 하나의 영상 신호에 관하여, 상기 소정의 품질 요건을 보증 가능한 규격인,
    차량.
  18. 제 15 항 또는 제 16 항에 있어서,
    상기 제 2 영상 전송 규격은, 상기 제 3 영상 신호에, 소정값 이상의 대역을 할당 가능한 규격인,
    차량.
  19. 제 1 영상 전송 규격을 이용하여, 두 개 이상의 제 1 영상 신호를 중첩시켜, 제 2 영상 신호를 생성하는 제 1 단계와,
    상기 제 1 영상 전송 규격과는 상이한 제 2 영상 전송 규격을 이용하여, 제 3 영상 신호와, 상기 제 2 영상 신호를 중첩시켜, 제 4 영상 신호를 생성하는 제 2 단계와,
    단일의 케이블에 의해 상기 제 4 영상 신호를 송신하는 제 3 단계와,
    상기 제 4 영상 신호를 수신하여, 상기 제 2 영상 신호와 상기 제 3 영상 신호를 분리하는 제 4 단계와,
    상기 제 2 영상 신호로부터, 상기 두 개 이상의 제 1 영상 신호를 분리하는 제 5 단계
    를 포함하는, 영상 전송 방법.
  20. 제 19 항에 있어서,
    상기 분리 후의 제 3 영상 신호와, 상기 분리 후의 상기 두 개 이상의 제 1 영상 신호를 동시에 출력하는 단계를 더 포함하는,
    영상 전송 방법.
KR1020230035370A 2022-03-24 2023-03-17 영상 전송 시스템, 차량, 및 영상 전송 방법 KR20230138911A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022048297A JP2023141798A (ja) 2022-03-24 2022-03-24 映像伝送システム、車両、および映像伝送方法
JPJP-P-2022-048297 2022-03-24

Publications (1)

Publication Number Publication Date
KR20230138911A true KR20230138911A (ko) 2023-10-05

Family

ID=87930956

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230035370A KR20230138911A (ko) 2022-03-24 2023-03-17 영상 전송 시스템, 차량, 및 영상 전송 방법

Country Status (5)

Country Link
US (1) US20230306749A1 (ko)
JP (1) JP2023141798A (ko)
KR (1) KR20230138911A (ko)
CN (1) CN116805959A (ko)
DE (1) DE102023106922A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117149125A (zh) * 2023-10-27 2023-12-01 武汉海微科技有限公司 车载显示屏、车载显示屏分区显示系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005328479A (ja) 2004-05-17 2005-11-24 Sony Corp 監視カメラシステム、カメラ及び監視カメラ制御方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017200557A (ja) 2016-04-29 2017-11-09 清彦 濱口 デスクッション本体及びデスクッション

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005328479A (ja) 2004-05-17 2005-11-24 Sony Corp 監視カメラシステム、カメラ及び監視カメラ制御方法

Also Published As

Publication number Publication date
DE102023106922A1 (de) 2023-09-28
CN116805959A (zh) 2023-09-26
US20230306749A1 (en) 2023-09-28
JP2023141798A (ja) 2023-10-05

Similar Documents

Publication Publication Date Title
CN106803878B (zh) 车载全景环视系统、用于实现全景环视的方法及装置
EP2048826B1 (en) Multiplexing network system and digital information transferring method with setting of data stream compression rates by a master device
US9294798B2 (en) System and method for controlling a mirror link of a multimedia system and portable terminal
KR20230138911A (ko) 영상 전송 시스템, 차량, 및 영상 전송 방법
CN109204138B (zh) 一种融合语音的快速环视探测与警示系统
US9253522B2 (en) Method for controlling data flow of mirror link system
US20170127112A1 (en) Vehicle image transmission system
JP2013031109A (ja) カメラシステム
CN110834579B (zh) 汽车前照灯控制系统、方法、装置、设备和存储介质
CN113561773A (zh) 一种座舱的显示系统、座舱及汽车
US20140146168A1 (en) Method for displaying images of a reverse view camera system of a motor vehicle on a display
CN108924455B (zh) 一种基于FPD-Link总线的叠加传输系统
CN212737762U (zh) 一种座舱的显示系统、座舱及汽车
CN210007818U (zh) 车载多媒体处理装置
US20140362214A1 (en) Apparatus and method for processing image signal
CN210591712U (zh) 一种视频接入装置
KR100849615B1 (ko) 차량 통합 관리 시스템
US10586363B2 (en) Output processing device and output processing method
US20160073051A1 (en) Driving recorder and driving recording method
US20170085807A1 (en) Video signal transmission system and display apparatus
US20150116320A1 (en) Device for Operating One or More Optical Display Devices of a Vehicle
WO2018192585A1 (zh) 传输方法和传输装置
CN210804379U (zh) 一种车辆的多屏显示系统
CN217730220U (zh) 一种车载hud显示组件
JP3235506U (ja) 車載用のａｖ制御装置