WO2015159407A1 - 車載表示装置 - Google Patents

車載表示装置 Download PDF

Info

Publication number
WO2015159407A1
WO2015159407A1 PCT/JP2014/060939 JP2014060939W WO2015159407A1 WO 2015159407 A1 WO2015159407 A1 WO 2015159407A1 JP 2014060939 W JP2014060939 W JP 2014060939W WO 2015159407 A1 WO2015159407 A1 WO 2015159407A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
display
image data
unit
Prior art date
Application number
PCT/JP2014/060939
Other languages
English (en)
French (fr)
Inventor
聖崇 加藤
星原　靖憲
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to CN201480078077.9A priority Critical patent/CN106232427A/zh
Priority to DE112014006597.8T priority patent/DE112014006597T5/de
Priority to US15/120,321 priority patent/US20170066375A1/en
Priority to PCT/JP2014/060939 priority patent/WO2015159407A1/ja
Priority to JP2016513582A priority patent/JPWO2015159407A1/ja
Publication of WO2015159407A1 publication Critical patent/WO2015159407A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Definitions

  • the present invention relates to an in-vehicle display device that displays a camera image taken around a vehicle on a display installed in the vehicle.
  • the occupant can visually recognize obstacles and approaching objects (other vehicles, motorcycles, bicycles, pedestrians, etc.) on the display. Is possible. Passengers in the front passenger seat or rear seat confirm the situation around the vehicle on the display and inform the driver, or use it for safety confirmation when getting off the vehicle, leading to driving assistance to the driver.
  • the rear seat sitting is detected by the rear seat seating detection sensor
  • the rear seat door opening operation is detected by the rear seat door opening motion detection sensor
  • the moving object is detected by the moving object approach detection sensor.
  • the control unit instructs the rear seat display to display an alarm for opening the rear seat door.
  • the alarm displayed only text information, and displayed text information and the type of moving object approaching.
  • an image of at least a peripheral region of the vehicle door is captured by an imaging unit and provided in the vehicle before the vehicle door in a stopped state is opened.
  • the approaching object detection means detects an approaching object in at least the peripheral area of the door, an image of the approaching object is displayed on the display device.
  • Patent Document 1 since information on all obstacles and moving objects in the sensor reaction range is displayed on the screen in a text base, it is difficult for an occupant to understand intuitively and may cause confusion. Further, in Patent Documents 1 and 2, the passenger cannot freely select which part of the vehicle around the camera image is displayed on the screen, and driving assistance to the driver based on them. There was a problem that it was not possible.
  • the present invention has been made to solve the above-described problems, and provides an in-vehicle display device that allows a passenger to freely select and display a camera image obtained by photographing the periphery of a vehicle on a display. With the goal.
  • An in-vehicle display device includes a plurality of displays installed in a vehicle, a plurality of operation reception units corresponding to each of the plurality of displays, and a plurality of cameras from a plurality of outside cameras that capture the periphery of the vehicle.
  • an image processing control unit for instructing an image processing command for generating a camera image, and selecting a camera image to be displayed on the display from the plurality of camera images according to the image processing command of the image processing control unit
  • an image integration processing unit that generates image data.
  • the camera image to be displayed on the display is selected from the plurality of camera images to generate image data. Therefore, it is possible to provide an in-vehicle display device that allows a passenger to freely select a camera image and display it on a display.
  • FIG. 6 is a diagram illustrating an example of a connection method of an image receiving unit according to Embodiment 1.
  • FIG. 3 is a diagram illustrating a screen configuration example of each display connected to each image receiving unit according to the first embodiment.
  • FIG. 6 is a diagram illustrating a screen transition example of a display connected to the image receiving unit according to Embodiment 1.
  • FIG. 6 is a diagram illustrating a screen transition example of a display connected to the image receiving unit according to Embodiment 1.
  • FIG. 6 is a diagram illustrating a screen transition example of a display connected to the image receiving unit according to Embodiment 1.
  • FIG. 6 is a diagram illustrating a screen transition example of a display connected to the image receiving unit according to Embodiment 1.
  • FIG. 3 is a flowchart showing the operation of the in-vehicle display device according to the first embodiment. It is a figure explaining the condition inside and outside the vehicle carrying the vehicle-mounted display apparatus which concerns on Embodiment 1.
  • FIG. It is a figure which shows the screen operation and screen transition example of the display which a passenger performs in the condition shown in FIG.
  • FIG. 6 is a diagram illustrating a setting example of a buffer for performing image capture and image integration processing by the image integration processing unit according to the first embodiment.
  • FIG. 3 is a timing chart illustrating operations of the image integration processing unit and the image transmission processing unit of the first embodiment in units of frames and lines.
  • the in-vehicle display device 1 includes an image acquisition unit that includes a CPU (Central Processing Unit) 2 that controls the overall operation and a plurality of image acquisition units 3-1 to 3-n.
  • the unit 3 the image integration processing unit 4 that combines and integrates a plurality of images, the image transmission processing unit 5 that transmits image data to the image receiving units 8-1 to 8-m, and the image transmission processing unit 5 transmit Image receiving units 8-1 to 8-m that receive image data and displays 9-1 to 9-m that display the received image data are provided.
  • the vehicle control part 10 which performs control of the vehicle equipment mounted in the vehicle, and the vehicle-mounted display apparatus 1 are connected by the vehicle interior network.
  • the CPU 2 includes an image processing control unit 2a that controls the entire image processing of the in-vehicle display device 1, and a vehicle control instruction unit 2b that issues an instruction to the vehicle control unit 10 through the in-vehicle network.
  • the CPU 2 includes an internal memory, an input / output port for exchanging information with peripheral devices, a network interface, and the like.
  • the image processing control unit 2a via the image transmission processing unit 5 and the internal bus 7, out of the status information of the image receiving units 8-1 to 8-m stored in the memory 6b, The number of 8-m, display size, communication state, and error information are acquired. Further, the image processing control unit 2a obtains passenger operation information from the displays 9-1 to 9-m via the image receiving units 8-1 to 8-m, the image transmission processing unit 5, and the internal bus 7. To do. The image processing control unit 2a controls the image integration processing unit 4 and the image transmission processing unit 5 based on the acquired information.
  • the vehicle control instruction unit 2b acquires the detection information of obstacles or approaching objects around the vehicle detected by the image integration processing unit 4 via the internal bus 7. Based on this detection information, the vehicle control instruction unit 2b outputs an instruction for controlling the operation of the vehicle such as door locking and unlocking to the vehicle control unit 10 through the in-vehicle network.
  • the vehicle control unit 10 controls the door lock control system of the vehicle in accordance with an instruction from the vehicle control instruction unit 2b, and locks and unlocks the door.
  • the image acquisition unit 3 includes n (n ⁇ 2) image acquisition units 3-1 to 3-n.
  • the image acquisition units 3-1 to 3-n perform preprocessing such as color conversion and format conversion of the input image, and output to the image integration processing unit 4.
  • As an image to be input there are images around the vehicle (front and rear, left and right, etc.) captured by the outside camera.
  • the in-vehicle display device 1 is also used as an RSE (Rear Seat Entertainment), and a DVD (Digital Versatile Disc) or BD (Blu-ray Disc; registered trademark), which is output from a disk device mounted on the vehicle, is a registered trademark below.
  • Disc images (not shown), navigation images output by the navigation device, smartphone images output by a smartphone connected to the external input terminal of the in-vehicle display device 1, and the like can also be used as input images.
  • FIG. 2 shows an installation example of an on-vehicle camera connected to the image acquisition unit 3 and a display for displaying images taken by the on-vehicle camera.
  • a front camera 11-1 for photographing the front of the vehicle at the front of the vehicle
  • a rear camera 11-2 for photographing the rear of the vehicle at the rear
  • a left camera 11-3 for photographing the left side of the vehicle and a left rear of the vehicle at the left door mirror.
  • a left rear camera 11-4 for photographing, a right camera 11-5 for photographing the right side of the vehicle, and a right rear camera 11-6 for photographing the right rear of the vehicle are installed on the right door mirror.
  • a front seat display 9-1 is provided at the front center of the driver seat and the passenger seat, and a left rear seat display 9- is provided at the back of each of the driver seat and the passenger seat. 2 and the right rear seat display 9-3 are installed.
  • FIG. 3 shows the installation status of the front seat display 9-1, the left rear seat display 9-2, and the right rear seat display 9-3 as viewed from the rear seat in the vehicle. Note that the number of cameras to be used and their installation positions may be changed according to the angle of view and resolution of the cameras to be used.
  • the image integration processing unit 4 integrates or combines a plurality of images acquired by the image acquisition units 3-1 to 3-n, image processing for detecting a moving object and an obstacle from the image, and marking the moving object and the obstacle Perform graphics rendering processing (coloring, emphasis, etc.).
  • the image integration processing unit 4 receives the image processing command from the image processing control unit 2a via the internal bus 7, executes each processing, and stores the processing result (image data) of the image integration processing in the memory 6a. Further, the image integration processing unit 4 reads out the image data subjected to each processing from the memory 6 a and outputs it to the image transmission processing unit 5.
  • the image capturing buffer and the image integration processing / display buffer used in the image integration processing unit 4 are arranged in the memory 6a. Note that the memory 6 a may be provided outside the image integration processing unit 4 as shown in FIG. 1 or may be built in the image integration processing unit 4.
  • the image transmission processing unit 5 packetizes the image data received from the image integration processing unit 4 as an image to be displayed on the displays 9-1 to 9-m, adds the header information, and transmits it. Further, the image transmission processing unit 5 receives the status information of the image receiving units 8-1 to 8-m and the operation information of the displays 9-1 to 9-m, and holds them in the memory 6b. The image processing control unit 2a can recognize the status information and operation information of the image receiving units 8-1 to 8-m by reading the information held in the memory 6b.
  • M displays (9-1 to 9-m) are connected to m (m ⁇ 2) image receiving units 8-1 to 8-m. Further, the image receiving units 8-1 to 8-m are cascade-connected to each other, and select and receive the packet data addressed to itself from the packet data transmitted by the image transmission processing unit 5, and receive the lower-level connected image. The packet data is transferred to the part.
  • the image receiving units 8-1 to 8-m output the image data included in the received packet data to the displays 9-1 to 9-m for display.
  • the displays 9-1 to 9-m may be connected to the image receiving units 8-1 to 8-m, or the image receiving units 8-1 to 8-m and the displays 9-1 to 9-m May be integrated.
  • the connection method is not limited to cascade connection.
  • the image transmission processing unit 5 and each of the image receiving units 8-1 to 8-m are connected by a bus 12.
  • each of the image receiving units 8-1 to 8-m is individually connected to the image transmission processing unit 5.
  • the components other than the image transmission processing unit 5 and the image receiving units 8-1 to 8-m are not shown.
  • the displays 9-1 to 9-m are configured by integrating a screen and a touch panel.
  • the displays 9-1 to 9-m receive the image data output from the image receiving units 8-1 to 8-m and display it on the screen, and the image receiving unit 8 uses the operation input of the passenger received by the touch panel as operation information. Output to -1 to 8-m.
  • the touch panel of the displays 9-1 to 9-m is used as an operation receiving unit that receives the passenger's operation input, but an input device such as a switch, a button, or a voice recognition device is used as the operation receiving unit. May be.
  • FIG. 5 shows a screen configuration example of the displays 9-1 to 9-3 connected to the image receiving units 8-1 to 8-3. As shown in FIG. 5, when a plurality of images are input, one input image is displayed on one screen, and a plurality of input images are arranged side by side and displayed as one integrated screen at the same time. It is possible to configure.
  • the front seat display 9-1 is the navigation image only
  • the left rear seat display 9-2 is the disc image (eg, a DVD movie) only
  • the right rear seat display 9-3 is the right rear camera 11. Only the right rear image taken by -6 is displayed.
  • the front seat display 9-1 in FIG. 5B displays a disc image, a smartphone image, a left rear image taken by the left rear camera 11-4, and a right rear image taken by the right rear camera 11-6.
  • An integrated screen is displayed.
  • the left rear seat display 9-2 and the right rear seat display 9-3 display the integrated screen, but the display area of each image is different.
  • the synthesized rear image is an image obtained by synthesizing three images of the rear camera 11-2, the left rear camera 11-4, and the right rear camera 11-6 in order to eliminate the blind spot behind the vehicle.
  • FIGS. 6 to 9 show screen transition examples of the left rear seat display 9-2 connected to the image receiving unit 8-2.
  • the image is displayed on the entire screen.
  • the image selection may be an operation method using a switch, button, voice, or the like in addition to the touch button operation on the menu screen and the screen touch operation.
  • the menu screen M is displayed on the left rear seat display 9-2.
  • the left rear seat display 9-2 displays the navigation image in full screen.
  • the left rear seat display 9-2 displays the disc image in full screen.
  • the left rear seat display 9-2 displays the smartphone image in full screen.
  • the left rear seat display 9-2 displays the left rear image in full screen.
  • the left rear seat display 9-2 before the button operation is shown in a large size for easy viewing of the menu screen M, but the size of the left rear seat display 9-2 is actually the same before and after the button operation. It is.
  • FIG. 7 an integrated screen of the navigation image N, the disc image O, the smartphone image P, and the left rear image Q is displayed on the left rear seat display 9-2.
  • the left rear seat display 9-2 displays the navigation image in full screen.
  • the disc image O the left rear seat display 9-2 displays the disc image in full screen.
  • the smartphone image P the left rear seat display 9-2 displays the smartphone image in full screen.
  • the left rear seat display 9-2 displays the left rear image in full screen.
  • FIGS. 8 and 9 a screen in which the image of the camera outside the vehicle is arranged around the image of the vehicle viewed from above is displayed on the left portion of the left rear seat display 9-2.
  • the left rear seat display 9-2 displays the left image selected by the touch operation and the composite rear image as one. Zoom in as a screen.
  • the left rear seat display 9-2 displays an image in a rectangular frame with the locus of the touch operation as a diagonal line. Zoom in as one screen.
  • an image selection method for example, there are a method of touching a point R to a point S on the screen, or a method of touching the point R and the point S within a predetermined time.
  • the passenger designates an area with a finger such as double-tapping or pinching out on the screen, the designated area may be enlarged and displayed so as to be located at the center of the screen.
  • the passenger can freely select an image to be viewed from the image input to the in-vehicle display device 1 and the composite image and display the image on the display. For example, when parking or changing lanes, the passenger can check the periphery of the vehicle on the display and support the driver. In addition, safety can be confirmed on the display when the passenger gets off, so that the driver is not bothered.
  • FIG. 10 is a flowchart showing the operation of the in-vehicle display device 1.
  • FIG. 11 is a diagram for explaining the situation inside and outside the vehicle on which the in-vehicle display device 1 is mounted.
  • the driver 21 is in the driver's seat
  • the child's left rear passenger 22 is on the left side of the rear seat
  • the adult is on the right side of the rear seat.
  • the passenger 23 on the right rear seat is sitting.
  • On the left side of the vehicle is a person riding a bicycle (hereinafter referred to as an approaching object 24).
  • FIG. 12 shows screen operations and screen transitions of the right rear seat display 9-3 performed by the right rear seat passenger 23 in this situation.
  • the in-vehicle display device 1 When the ignition key of the vehicle is turned on (IG-ON), the in-vehicle display device 1 is activated, and the image processing control unit 2a controls each unit according to the flowchart of FIG. First, the image processing control unit 2a outputs an initial screen display processing command to the image integration processing unit 4, and displays the initial screen on the displays 9-1 to 9-m (step ST1). As shown in FIG. 12 (a), the right rear seat display 9-3 displays a camera image, a disk image, and a smartphone image taken around the vehicle as an initial screen.
  • the image integration processing unit 4 integrates the camera image, the disk image, and the smartphone image acquired by the image acquisition units 3-1 to 3-n to generate image data for the initial screen, and the image transmission processing unit 5 to the image receiving units 8-1 to 8-m.
  • the image receiving units 8-1 to 8-m receive the image data and display them on the displays 9-1 to 9-m.
  • the selection operation is expressed using a cursor.
  • the image processing control unit 2a determines the content of the operation information and instructs the image integration processing unit 4 to generate image data of the disc image (step ST3).
  • the image integration processing unit 4 generates image data obtained by performing graphics drawing processing on the “return” button on the disk image acquired by the image acquisition unit 3-1.
  • the image receiving unit 8-3 receives this image data via the image transmission processing unit 5 and displays it on the right rear seat display 9-3 (step ST4).
  • a “return” button may be displayed on the screen as a graphic for returning to the initial screen, or a switch, voice recognition, or the like may be used.
  • step ST6 When the ignition key is turned off, the image processing control unit 2a ends the screen display (step ST6 “YES”). On the other hand, if the ignition key is on (“NO” in step ST6), the process returns to step ST2 to check whether new operation information has been input (step ST2) The image processing control unit 2a does not have new operation information (step ST2). “YES”), the image integration processing unit 4 and the like are controlled so as to continue displaying the current screen (here, the disc image) (step ST5).
  • the image processing control unit 2a Upon receiving the operation information for initial screen selection (“YES” in step ST2), the image processing control unit 2a outputs an initial screen display processing command to the image integration processing unit 4 (step ST3), and the process shown in FIG. Thus, the initial screen is displayed on the right rear seat display 9-3 (step ST4).
  • the right rear seat passenger 23 selects and operates the left image from the initial screen (FIG. 12 (f)).
  • the image processing control unit 2a Upon receiving the operation information for selecting the left image (“YES” in step ST2), the image processing control unit 2a outputs a processing command for displaying the left image to the image integration processing unit 4 (step ST3), and FIG. ), The left image is displayed on the screen on the right rear seat display 9-3 (step ST4).
  • the image integration processing unit 4 may emphasize the approaching object 24 by surrounding the approaching object 24 with a frame line 25 or may draw and emphasize the icon 26. .
  • the right rear seat passenger 23 assists driving by giving guidance, advice, notification of the presence or absence of danger, etc. to the driver 21 while viewing the left image displayed on the right rear seat display 9-3.
  • the right rear seat passenger 23 touches the screen of the right rear seat display 9-3 as shown in FIG. A gaze area with R and S as vertices is selected.
  • the image processing control section 2a Upon receiving the gaze area selection operation information (step ST2 “YES”), the image processing control section 2a outputs a processing command for enlarging the gaze area to the image integration processing section 4 (step ST3), and FIG. In this way, the gaze area in the left image is enlarged and displayed on the right rear seat display 9-3 (step ST4).
  • the right rear seat passenger 23 can perform driving support based on more detailed information.
  • the right rear seat passenger 23 displays the object on the left image on the right rear seat display 9-3 in an enlarged manner, thereby It becomes possible to determine to be an obstacle and to inform the driver 21.
  • the in-vehicle display device 1 may lock the door of the vehicle so that it cannot get off.
  • the vehicle control instruction unit 2b receives the detection information from the image integration processing unit 4. Obtaining and transmitting an instruction to lock the door on the side where the approaching object 24 is detected to the vehicle control unit 10.
  • the vehicle control unit 10 locks the instructed door.
  • the image acquisition unit 3-1 acquires the disc image
  • the image acquisition unit 3-2 acquires the navigation image
  • the image acquisition unit 3-3 acquires the left rear image of the left rear camera 11-4
  • the image acquisition unit 3-4 acquires the rear image of the rear camera 11-2.
  • the resolution and frame rate of each input image are assumed to be 720 ⁇ 480 pixels and 30 fps, respectively.
  • the image receiving unit 8-1 outputs image data to the front seat display 9-1
  • the image receiving unit 8-2 outputs image data to the left rear seat display 9-2
  • the image receiving unit 8-3 The image data is output to the seat display 9-3.
  • the resolution of the display connected to the image receiving units 8-1 to 8-3 is assumed to be WVGA (800 ⁇ 480 pixels).
  • the image acquisition units 3-1 to 3-4 perform A / D conversion, format conversion, and the like on the input image and output the result to the image integration processing unit 4.
  • the image acquisition units 3-1 to 3-4 convert the image to a digital signal.
  • the color format is converted to the RGB format. Note that color conversion and format conversion may be performed by the image integration processing unit 4 instead of the image acquisition units 3-1 to 3-4.
  • FIG. 13 shows a setting example of a buffer for performing image capture and image integration processing of the image integration processing unit 4.
  • the image integration processing unit 4 performs buffer setting for taking the images output from the image acquisition units 3-1 to 3-4 into the memory 6a.
  • Each buffer is composed of a double buffer (A buffer, B buffer).
  • the image integration processing unit 4 configures the disk image buffer as a double buffer (A buffer, B buffer), and secures buffer areas (cap_0_A, cap_0_B).
  • a navigation image buffer (cap_1_A, cap_1_B), a left rear image buffer (cap_2_A, cap_2_B), and a rear image buffer (cap_3_A, cap_3_B) are secured.
  • each buffer size is equal to the resolution of the input image ⁇ the number of gradations ⁇ the number of image inputs for both the A buffer and the B buffer.
  • the image integration processing unit 4 subsequently performs image integration processing and display buffer setting in the memory 6a.
  • both the A buffer and the B buffer have a size corresponding to the resolution of the output image ⁇ the number of gradations ⁇ the number of image outputs.
  • the image integration processing unit 4 sets an A buffer (dist_cell_0_A, dist_cell_1_A, dist_cell_2_A) and a B buffer (dist_cell_0_B, dist_cell_1_B, dist_cell_2_B) as buffers for image integration processing and display.
  • the image integration processing unit 4 sets the A buffer (cap_0_A) as the image capturing buffer and the B buffer (cap_0_B) as the image reading buffer of the disk image buffer.
  • the image integration processing unit 4 first determines whether or not the buffer A is performing a disk image capturing operation. If importing is in progress, the buffer is not changed, and the settings of each buffer are not changed. If capture is complete, the image capture buffer is switched from the A buffer to the B buffer, the image read buffer is switched from the B buffer to the A buffer, and the capture operation is started. When the image capture for one screen of 720 ⁇ 480 pixels is completed after the capture operation is started, the capture operation is stopped. Thereafter, the process of starting the image capturing operation, acquiring one frame, and stopping the capturing operation are repeated. The image integration processing unit 4 performs the same processing for the navigation image, the left rear image, and the rear image.
  • the image integration processing unit 4 performs image integration processing.
  • the image integration processing unit 4 uses the disk image, the navigation image, the left rear image, and the rear image in each image reading buffer to perform image conversion processing (enlargement, reduction, rotation, mirror surface) designated by the image processing control unit 2a. Conversion etc.) and composition processing are performed and stored in the image integration processing / display buffer.
  • image conversion processing enlargement, reduction, rotation, mirror surface
  • Conversion etc. Conversion etc.
  • composition processing are performed and stored in the image integration processing / display buffer.
  • the horizontal width of 80 pixels is set to black and displayed at the same magnification.
  • resolution conversion may be performed and displayed as a horizontally long image.
  • the four systems of input images may be displayed side by side in a tile shape (for example, the display screen of the left rear seat display 9-2 in FIG. 5B).
  • a tile shape for example, the display screen of the left rear seat display 9-2 in FIG. 5B.
  • 1/4 of the screen size of 800 ⁇ 480 pixels is 400 ⁇ 240 pixels
  • resolution conversion from 720 ⁇ 480 pixels to 400 ⁇ 240 pixels is performed for each input image, and four screens are used.
  • the integrated screen can integrate each input image into one screen with an arbitrary size and an arbitrary number.
  • the image integration processing unit 4 uses the data of the previous frame when the input image acquisition is not completed at the time of the image integration processing, and when the acquisition is completed, the image integration processing unit 4 Perform integration using data.
  • the image integration processing unit 4 has a graphics processing function for creating a menu screen, highlighting obstacles and approaching objects, processing images, etc., and superimposing them on the input image.
  • the graphics processing includes, for example, point drawing, line drawing, polygon drawing, rectangle drawing, painting, gradation, texture mapping, blending, anti-aliasing, animation, font, drawing by display list, 3D drawing, and the like.
  • the image integration processing unit 4 detects an approaching object and an obstacle from the input image, and uses the graphics function based on the detection result to display a display effect (highlighting, enclosing line, Coloring, etc.), icons, warning messages, etc. are superimposed.
  • the image integration processing unit 4 waits for a vertical synchronization signal for display, and switches the image integration processing / display buffer from buffer A to buffer B. For example, the image processing control unit 2a outputs the vertical synchronization signal. If the frame rate of the display is 60 fps, the vertical synchronization signal has a cycle of 1/60 second. If the image integration processing is not completed within one frame period, the image integration processing unit 4 waits for the next vertical synchronization signal and switches the buffer. In this case, the frame rate of the image update is 30 fps. Thereafter, image data to be displayed on the front seat display 9-1, the left rear seat display 9-2, and the right rear seat display 9-3 is output from the image integration processing unit 4 to the image transmission processing unit 5.
  • FIG. 14 is a timing chart showing the operations of the image integration processing unit 4 and the image transmission processing unit 5 in frame units (vertical synchronization) and line units (horizontal synchronization), and the horizontal axis is time.
  • the image integration processing unit 4 performs the image integration processing using the A buffer
  • the image data in the B buffer is output to the image transmission processing unit 5.
  • the image transmission processing unit 5 multiplexes three pieces of image data in units of horizontal lines, and the image receiving units 8-1 to 8-1 Transmit to 8-m.
  • the image transmission processing unit 5 converts the multiplexed signal of the image data for each line received from the image integration processing unit 4 into packet data, adds header information (packet header), and receives the image reception unit 8-1. Send to ⁇ 8-m.
  • the header information includes a packet ID, a line number, a data transmission destination (identification information of the image receiving units 8-1 to 8-m), an image data size, and the like.
  • the image transmission processing unit 5 receives the header and packet data from the image receiving units 8-1 to 8-m in the upstream transfer, and acquires the status information of the image receiving units 8-1 to 8-m.
  • the header information includes a packet ID, a line number, a data transmission source (identification information of the image receiving units 8-1 to 8-m), and the like.
  • the packet data is not image data, but status information indicating the status (communication status, error information, connection information of displays 9-1 to 9-m) of each image receiving unit 8-1 to 8-m, and operation Contains information.
  • the image transmission processing unit 5 stores the received / acquired status information and operation information in the memory 6b.
  • the highest-level image receiving unit 8-1 receives the packet header and the packet data from the image transmission processing unit 5 in the downlink transfer. Then, it is determined from the header information included in the packet header whether or not the packet data is addressed to itself, only the packet data addressed to itself is received, and the image data included therein is displayed on the display 9-1.
  • the image receiving unit 8-1 does not receive packet data other than that addressed to itself, and sends the packet header and packet data to the image receiving unit 8-2 connected to the subsequent stage as it is. Further, the image receiving unit 8-1 sends its status information and operation information to the image transmission processing unit 5 as upstream transfer.
  • the image receiving unit 8-2 also receives only the packet data addressed to itself among the packet data transmitted from the higher-order image receiving unit 8-1 and displays the image data contained therein on the display 9. -2 is sent to the image transmission processing unit 5 through the image receiving unit 8-1. Thereafter, the image receiving units 8-3 to 8-m perform the same processing.
  • the in-vehicle display device 1 corresponds to each of the plurality of displays 9-1 to 9-m and the plurality of displays 9-1 to 9-m installed in the vehicle.
  • a plurality of operation reception units for example, a touch panel
  • an image acquisition unit 3 that selects a plurality of camera images from a plurality of outside cameras that capture the periphery of the vehicle, and displays 9-1 to 9-
  • the image processing control unit 2a instructs an image processing command for generating image data to be displayed on a display corresponding to the operation accepting unit.
  • the display on the display from the plurality of camera images For each of the plurality of displays 9-1 to 9-m, according to the image processing command of the image processing control unit 2a, the display on the display from the plurality of camera images. And a configuration and an image integration processing unit 4 for generating image data by selecting La image. Therefore, a passenger in the passenger seat or the rear seat can freely select and display a camera image around the vehicle on the display installed in each seat. Therefore, for drivers such as beginners, seniors, and paper drivers who are not familiar with driving, passengers can provide driving assistance such as guidance, advice, and notification of danger from any seat in the car. This makes it possible to provide a safer driving environment.
  • the image processing control unit 2a receives an operation of an occupant selecting a part of the first image data displayed on the displays 9-1 to 9-m as an operation receiving unit (for example, a touch panel). Is received, an image processing command for enlarging the part is instructed, and the image integration processing unit 4 combines the plurality of camera images to generate first image data (for example, the combined rear image in FIG. 8). The second image data is generated by enlarging a part of the first image data in accordance with the image processing command. For this reason, it is possible to select a gaze area that the fellow passenger wants to see from a composite image of a plurality of camera images and display it in full screen. Moreover, the blind spot of the camera outside the vehicle can be eliminated by synthesizing a plurality of camera images.
  • the second image data obtained by enlarging a part of the first image data includes at least two camera images.
  • the second image data obtained by enlarging a part of the first image data includes at least two camera images.
  • the image integration processing unit 4 detects the approaching object 24 approaching the vehicle using a plurality of camera images, and superimposes information that warns the approaching object 24 on the image data. As a result, it is easy for passengers to notice objects approaching the vehicle (for example, other vehicles, motorcycles, bicycles, pedestrians, etc.).
  • the information that warns the approach of the object is highlighted, so that the passenger can intuitively recognize the approaching object by looking at the screen display.
  • the highlighting may be a method of alerting with characters in addition to a method of surrounding an approaching object with a frame line or the like.
  • the image processing control unit 2a receives an operation of an occupant selecting a part of the first image data displayed on the displays 9-1 to 9-m as an operation receiving unit (for example, a touch panel). Is received, an image processing instruction for enlarging and displaying the part in the center of the screen of the displays 9-1 to 9-m is instructed, and the image integration processing unit 4 sets the first image in which a plurality of camera images are arranged side by side. Data (for example, an integrated screen in which the left image and the composite rear image in FIG. 8 are arranged side by side) is generated and displayed in the center of the screen of the display in which a part of the first image data is enlarged according to the image processing command. The second image data arranged is generated.
  • an operation receiving unit for example, a touch panel
  • the gaze area that the passenger wants to see from the integrated image of the plurality of camera images can be enlarged and displayed by a simple operation such as surrounding with a finger, double tapping, pinching out, etc., and an intuitive and easy-to-understand operation can be realized.
  • the selected gaze area is enlarged and displayed at the center of the screen, even if an approaching object or the like is enlarged and displayed, it can be prevented from disappearing from the screen.
  • any component of the embodiment can be modified or any component of the embodiment can be omitted within the scope of the invention.
  • the vehicle-mounted display device changes the image displayed on the display in accordance with the passenger's operation, the passenger checks the safety around the vehicle on the display and notifies the driver, etc. Suitable for driving assistance.
  • 1 on-vehicle display device 2 CPU, 2a image processing control unit, 2b vehicle control instruction unit, 3 image acquisition unit, 3-1 to 3-n image acquisition unit, 4 image integration processing unit, 5 image transmission processing unit, 6a, 6b memory, 7 internal bus, 8-1 to 8-m image receiver, 9-1 to 9-m display, 10 vehicle controller, 12 bus, 11-1 to 11-6 camera, 21 driver, 22 left Rear seat passenger, 23 right rear passenger, 24 approaching objects, 25 borders, 26 icons.

Abstract

　車載表示装置１は、車両内に設置された複数のディスプレイ９－１～９－ｍと、複数のディスプレイ９－１～９－ｍのそれぞれに対応した複数の操作受付部（例えば、タッチパネル）と、車両の周辺を撮影する複数の車外カメラから複数のカメラ画像を選択する画像取得ユニット３と、複数のカメラ画像の中からディスプレイ９－１～９－ｍに表示するカメラ画像を選択する乗員の操作を操作受付部が受け付けた場合、当該操作受付部に対応したディスプレイに表示する画像データを生成するための画像処理命令を指示する画像処理制御部２ａと、複数のディスプレイ９－１～９－ｍのそれぞれについて、画像処理制御部２ａの画像処理命令に従い複数のカメラ画像の中から当該ディスプレイに表示するカメラ画像を選択して画像データを生成する画像統合処理部４とを備える。

Description

車載表示装置
　この発明は、車両周辺を撮影したカメラ画像を、車内に設置したディスプレイに表示する車載表示装置に関するものである。
　車両周辺を撮影したカメラ画像を車内に設置したディスプレイに表示することで、乗員が車両の前後左右の障害物および接近物体（他車両、バイク、自転車、歩行者等）をディスプレイ上で視認することが可能となる。助手席または後部座席の乗員がディスプレイ上で車両周辺の状況を確認して運転者に伝えたり、自身が降車するときの安全確認に使用したりすることで、運転者への運転支援につながる。
　例えば特許文献１に係る車載用電子機器では、後席着座検出センサによる後席着座が検出され、後席ドア開放動作検出センサによる後席ドア開放動作が検出され、移動物体接近検出センサによる移動物体接近が検出された時に、制御部が後席用ディスプレイに指示して後席ドアの開放に対する警報を表示させる。警報は、文字情報だけを表示したもの、文字情報と接近する移動物体の種類とを表示したものであった。
　また、例えば特許文献２に係る車両周辺監視システムでは、停車した状態の車両のドアが開放される前に、車両のドアの少なくとも周辺領域の画像を撮像手段により撮像して車両内に設けられた表示装置に表示したり、接近物検知手段がドアの少なくとも周辺領域に接近物を検知した場合にその接近物の画像を表示装置に表示したりする。
特開２０１３－１８０６３４号公報 特開２００７－１４８６１８号公報
　上記特許文献１では、センサの反応範囲にある全ての障害物および移動物体の情報が、画面上にテキストベースで表示されるため、乗員にとって直感的に分かりづらく、混乱を招く恐れがあった。また、上記特許文献１，２では、車両周辺のどの部分を撮影したカメラ画像を画面上に表示するか、同乗者が自由に選択することができず、それらに基づいた運転者への運転支援ができないという課題があった。
　この発明は、上記のような課題を解決するためになされたもので、車両周辺を撮影したカメラ画像を同乗者が自由に選択してディスプレイに表示させることが可能な車載表示装置を提供することを目的とする。
　この発明に係る車載表示装置は、車両内に設置された複数のディスプレイと、複数のディスプレイのそれぞれに対応した複数の操作受付部と、車両の周辺を撮影する複数の車外カメラからの複数のカメラ画像を取得する画像取得ユニットと、複数のカメラ画像の中からディスプレイに表示するカメラ画像を選択する乗員の操作を操作受付部が受け付けた場合、当該操作受付部に対応したディスプレイに表示する画像データを生成するための画像処理命令を指示する画像処理制御部と、複数のディスプレイのそれぞれについて、画像処理制御部の画像処理命令に従い複数のカメラ画像の中からディスプレイに表示するカメラ画像を選択して画像データを生成する画像統合処理部とを備えるものである。
　この発明によれば、複数のカメラ画像の中からディスプレイに表示するカメラ画像を選択する乗員の操作を受け付けると、複数のカメラ画像の中からディスプレイに表示するカメラ画像を選択して画像データを生成するようにしたので、同乗者がカメラ画像を自由に選択してディスプレイに表示させることが可能な車載表示装置を提供することができる。
この発明の実施の形態１に係る車載表示装置の構成を示すブロック図である。 実施の形態１の画像取得ユニットに接続される車外カメラと、車外カメラが撮影した画像を表示するディスプレイの設置例を示す図である。 図２のディスプレイの設置状況を車内後席から見た様子を示す図である。 実施の形態１の画像受信部の接続方法の例を示す図である。 実施の形態１の各画像受信部に接続された各ディスプレイの画面構成例を示す図である。 実施の形態１の画像受信部に接続されたディスプレイの画面遷移例を示す図である。 実施の形態１の画像受信部に接続されたディスプレイの画面遷移例を示す図である。 実施の形態１の画像受信部に接続されたディスプレイの画面遷移例を示す図である。 実施の形態１の画像受信部に接続されたディスプレイの画面遷移例を示す図である。 実施の形態１に係る車載表示装置の動作を示すフローチャートである。 実施の形態１に係る車載表示装置を搭載した車両内外の状況を説明する図である。 図１１に示す状況において同乗者が行うディスプレイの画面操作と画面遷移例を示す図である。 実施の形態１の画像統合処理部による画像取り込みおよび画像統合処理を行うためのバッファの設定例を示す図である。 実施の形態１の画像統合処理部と画像伝送処理部のフレーム単位およびライン単位での動作を示したタイミングチャートである。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１に示すように、実施の形態１に係る車載表示装置１は、全体の動作を制御するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２と、複数の画像取得部３－１～３－ｎからなる画像取得ユニット３と、複数画像の合成および統合等する画像統合処理部４と、画像受信部８－１～８－ｍへ画像データを伝送する画像伝送処理部５と、画像伝送処理部５が伝送した画像データを受信する画像受信部８－１～８－ｍと、受信した画像データを表示するディスプレイ９－１～９－ｍとを備える。また、車両に搭載された車載機器の制御を行う車両制御部１０と車載表示装置１とは、車内ネットワークにより接続されている。
　ＣＰＵ２は、車載表示装置１の画像処理全体の制御を行う画像処理制御部２ａと、車内ネットワークを通じて車両制御部１０へ指示を出す車両制御指示部２ｂとを備える。また、図示は省略するが、このＣＰＵ２は、内部メモリ、周辺機器との間で情報をやり取りする入出力ポート、ネットワークインタフェース等を備える。
　画像処理制御部２ａは、画像伝送処理部５と内部バス７を経由して、メモリ６ｂに格納された画像受信部８－１～８－ｍのステータス情報のうち、画像受信部８－１～８－ｍの個数、表示サイズ、通信状態、およびエラー情報を取得する。また、画像処理制御部２ａは、画像受信部８－１～８－ｍと画像伝送処理部５と内部バス７を経由して、ディスプレイ９－１～９－ｍから同乗者の操作情報を取得する。画像処理制御部２ａは、取得した情報に基づいて、画像統合処理部４と画像伝送処理部５を制御する。
　車両制御指示部２ｂは、内部バス７を経由して、画像統合処理部４が検出した車両周辺の障害物または接近物体の検出情報を取得する。車両制御指示部２ｂはこの検出情報に基づいて、ドアの施錠、解錠など車両の動作を制御する指示を車内ネットワークを通じて車両制御部１０に出力する。車両制御部１０は、車両制御指示部２ｂの指示に従って車両のドアロック制御システムなどを制御し、ドアの施錠、解錠などを行う。
　画像取得ユニット３は、ｎ個（ｎ≧２）の画像取得部３－１～３－ｎを備える。画像取得部３－１～３－ｎは、入力される画像の色変換、フォーマット変換等の前処理を行って、画像統合処理部４へ出力する。入力される画像として、車外カメラが撮影する車両周辺（前後左右等）の画像がある。また、例えば車載表示装置１をＲＳＥ（Ｒｅａｒ　Ｓｅａｔ　Ｅｎｔｅｒｔａｉｎｍｅｎｔ）と兼用し、車両に搭載されたディスク装置が出力するＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）またはＢＤ（Ｂｌｕ－ｒａｙ　Ｄｉｓｃ；登録商標、以下では登録商標の記載を省略する）等のディスク画像、ナビゲーション装置が出力するナビ画像、車載表示装置１の外部入力端子に接続されたスマートフォンが出力するスマホ画像等を、入力画像として用いることも可能である。
　図２は、画像取得ユニット３に接続される車外カメラと、車外カメラが撮影した画像を表示するディスプレイの設置例を示す。車両のフロントには車両前方を撮影する前方カメラ１１－１、リアには車両後方を撮影する後方カメラ１１－２、左側のドアミラーには車両左側を撮影する左側カメラ１１－３と車両左後方を撮影する左後方カメラ１１－４、右側のドアミラーには車両右側を撮影する右側カメラ１１－５と車両右後方を撮影する右後方カメラ１１－６がそれぞれ設置されている。また、画像受信部８－１～８－ｍに接続されるディスプレイとして、運転席と助手席の前方中央に前席ディスプレイ９－１、運転席と助手席の各背面に左後席ディスプレイ９－２と右後席ディスプレイ９－３がそれぞれ設置されている。図３は、前席ディスプレイ９－１、左後席ディスプレイ９－２および右後席ディスプレイ９－３の設置状況を車内後席から見た様子を示す。
　なお、使用するカメラの数およびその設置位置は、使用するカメラの画角および解像度等に応じて変更してもよい。
　画像統合処理部４は、画像取得部３－１～３－ｎが取得した複数の画像を統合または合成する処理、画像から移動物体および障害物を検出する画像処理、移動物体および障害物をマーキング（色付け、強調等）するためのグラフィックス描画処理等を行う。画像統合処理部４は、内部バス７を経由して画像処理制御部２ａから画像処理命令を受けて各処理を実行し、画像統合処理の処理結果（画像データ）をメモリ６ａへ格納する。また、画像統合処理部４は、各処理を施した画像データをメモリ６ａから読出し、画像伝送処理部５へ出力する。画像統合処理部４で使用する画像取込用バッファおよび画像統合処理・表示用バッファは、メモリ６ａ内に配置される。なお、メモリ６ａは、図１に示す通り、画像統合処理部４の外部に設けてもよいし、画像統合処理部４の内部に内蔵してもよい。
　画像伝送処理部５は、画像統合処理部４から受信した画像データをディスプレイ９－１～９－ｍに表示する画像としてパケット化し、ヘッダ情報を付加して送信する。また、画像伝送処理部５は、画像受信部８－１～８－ｍのステータス情報およびディスプレイ９－１～９－ｍの操作情報を受信して、メモリ６ｂに保持する。画像処理制御部２ａは、メモリ６ｂが保持する情報を読み出すことで、画像受信部８－１～８－ｍのステータス情報および操作情報を認識できる。
　ｍ個（ｍ≧２）の画像受信部８－１～８－ｍには、ｍ個のディスプレイ９－１～９－ｍが接続される。また、画像受信部８－１～８－ｍは互いにカスケード接続され、画像伝送処理部５が送信したパケットデータの中から自分宛てのパケットデータを選択して受信すると共に、下位接続された画像受信部にパケットデータを転送する。画像受信部８－１～８－ｍは、受信したパケットデータに含まれている画像データをディスプレイ９－１～９－ｍへ出力して表示させる。なお、画像受信部８－１～８－ｍにディスプレイ９－１～９－ｍを接続する構成としてもよいし、画像受信部８－１～８－ｍとディスプレイ９－１～９－ｍとを一体に構成してもよい。
　図１のように画像受信部８－１～８－ｍをカスケード接続した場合、画像受信部の接続数を容易に変更できる利点がある。
　なお、接続方法はカスケード接続に限定されるものではない。図４（ａ）の例では、バス１２により画像伝送処理部５と画像受信部８－１～８－ｍのそれぞれとが接続されている。図４（ｂ）の例では、画像受信部８－１～８－ｍそれぞれが個別に画像伝送処理部５に接続されている。なお、図４では画像伝送処理部５と画像受信部８－１～８－ｍ以外の構成は図示を省略している。
　ディスプレイ９－１～９－ｍは、画面とタッチパネルとが一体に構成されている。ディスプレイ９－１～９－ｍは、画像受信部８－１～８－ｍが出力した画像データを受け付けて画面表示すると共に、タッチパネルが受け付けた同乗者の操作入力を操作情報として画像受信部８－１～８－ｍに出力する。
　実施の形態１では、ディスプレイ９－１～９－ｍのタッチパネルを、同乗者の操作入力を受け付ける操作受付部として使用するが、スイッチ、ボタン、音声認識装置等の入力デバイスを操作受付部として使用してもよい。
　図５は、画像受信部８－１～８－３に接続されたディスプレイ９－１～９－３の画面構成例を示す。図５に示す通り、複数の画像が入力される場合に、１画面に１つの入力画像を表示する、複数の入力画像を並べて配置して同時に１つの統合画面として表示するなど、自由に画面を構成することが可能である。
　例えば、図５（ａ）では前席ディスプレイ９－１はナビ画像のみ、左後席ディスプレイ９－２はディスク画像（例えば、ＤＶＤの映画）のみ、右後席ディスプレイ９－３は右後方カメラ１１－６が撮影した右後方画像のみ表示している。図５（ｂ）の前席ディスプレイ９－１は、ディスク画像と、スマホ画像と、左後方カメラ１１－４が撮影した左後方画像と、右後方カメラ１１－６が撮影した右後方画像とを統合した画面を表示している。図５（ｃ）では左後席ディスプレイ９－２と右後席ディスプレイ９－３が統合画面を表示しているが、各画像の表示面積が異なっている。図５（ｄ）の左後席ディスプレイ９－２は、車両を上から見た画像のまわりに車外カメラの画像を並べて配置した統合画面を表示している。なお、合成後方画像は、車両後方の死角を無くすために、後方カメラ１１－２と左後方カメラ１１－４と右後方カメラ１１－６の３つの画像を合成した画像である。
　図６～図９は、画像受信部８－２に接続された左後席ディスプレイ９－２の画面遷移例を示す。図６～図９に示す通り、同乗者が左後席ディスプレイ９－２のメニュー画面上のタッチボタンの操作または画面のタッチ操作により画像を選択すると、その画像が画面全体に表示される。なお、画像選択については、メニュー画面のタッチボタン操作および画面のタッチ操作以外に、スイッチ、ボタン、音声等による操作方法でもよい。
　例えば、図６では左後席ディスプレイ９－２にメニュー画面Ｍが表示されている。同乗者がメニュー画面Ｍ上の「ナビ」ボタンＮを操作すると、左後席ディスプレイ９－２がナビ画像を全画面表示する。同乗者が「ＤＶＤ」ボタンＯを操作すると、左後席ディスプレイ９－２がディスク画像を全画面表示する。同乗者が「外部」ボタンＰを操作すると、左後席ディスプレイ９－２がスマホ画像を全画面表示する。同乗者が「左後」ボタンＱを操作すると、左後席ディスプレイ９－２が左後方画像を全画面表示する。なお、図６ではメニュー画面Mを見やすくするためにボタン操作前の左後席ディスプレイ９－２を大きく図示したが、実際にはボタン操作の前後で左後席ディスプレイ９－２の大きさは同じである。
　図７では、左後席ディスプレイ９－２にナビ画像Ｎとディスク画像Ｏとスマホ画像Ｐと左後方画像Ｑとの統合画面が表示されている。同乗者がナビ画像Ｎをタッチ操作すると、左後席ディスプレイ９－２がナビ画像を全画面表示する。同乗者がディスク画像Ｏをタッチ操作すると、左後席ディスプレイ９－２がディスク画像を全画面表示する。同乗者がスマホ画像Ｐをタッチ操作すると、左後席ディスプレイ９－２がスマホ画像を全画面表示する。同乗者が左後方画像Ｑをタッチ操作すると、左後席ディスプレイ９－２が左後方画像を全画面表示する。
　図８および図９では、左後席ディスプレイ９－２の左部分に、車両を上から見た画像のまわりに車外カメラの画像を配置した画面が表示されている。図８の場合、同乗者がタッチ操作により画面上のポイントＲから下方向のポイントＳまでなぞると、左後席ディスプレイ９－２がタッチ操作により選択された左方画像と合成後方画像を１つの画面として拡大表示する。図９の場合、同乗者がタッチ操作により画面上のポイントＲから斜め下方向のポイントＳまでなぞると、左後席ディスプレイ９－２がタッチ操作の軌跡を対角線とした四角形枠内の画像を１つの画面として拡大表示する。画像の選択方法としては、例えば画面上のポイントＲからポイントＳまでなぞるようにタッチしたり、所定の時間内にポイントＲとポイントＳにタッチしたりする方法がある。
　また、同乗者が画面上をダブルタップ、ピンチアウトなど、指で領域を指定した場合には、指定領域が画面中央部に位置するように拡大表示してもよい。
　以上のように、同乗者は、車載表示装置１に入力される画像とその合成画像との中から、見たい画像を自由に選択してディスプレイに表示させることができる。例えば、駐車または車線変更等の際に、同乗者がディスプレイ上で車両周辺を確認して運転者をサポートできる。また、同乗者が降車する際にディスプレイ上で安全確認できるので、運転者を煩わせることもない。
　次に、車載表示装置１の動作を説明する。
　図１０は、車載表示装置１の動作を示すフローチャートである。図１１は、車載表示装置１を搭載した車両内外の状況を説明する図であり、運転席に運転者２１、後席の左側に子供の左後席同乗者２２、後席の右側に大人の右後席同乗者２３が座っている。また、車両左側には自転車に乗った人（以下、接近物体２４と呼ぶ）がいる。右後席同乗者２３が運転者２１へ車両左側の接近物体２４および障害物について安全確認等を伝える場合、右後席から目視確認にて状況を伝えることは難しい。そこで、右後席同乗者２３は、右後席ディスプレイ９－３で車両周囲のカメラ画像を視認して運転支援を行う。
　この状況において右後席同乗者２３が行う右後席ディスプレイ９－３の画面操作と画面遷移を、図１２に示す。
　車両のイグニッションキーがオンになると（ＩＧ－ＯＮ）、車載表示装置１が起動し、画像処理制御部２ａが図１０のフローチャートに沿って各部を制御する。まず、画像処理制御部２ａが初期画面表示の処理命令を画像統合処理部４へ出力し、ディスプレイ９－１～９－ｍに初期画面を表示させる（ステップＳＴ１）。図１２（ａ）に示すように、右後席ディスプレイ９－３には、初期画面として車両周囲を撮影したカメラ画像と、ディスク画像と、スマホ画像とが表示される。このとき、画像統合処理部４は、画像取得部３－１～３－ｎが取得するカメラ画像とディスク画像とスマホ画像とを統合して初期画面用の画像データを生成し、画像伝送処理部５から画像受信部８－１～８－ｍに送信する。画像受信部８－１～８－ｍは画像データを受信し、ディスプレイ９－１～９－ｍに表示する。
　図１２（ｂ）で右後席同乗者２３が初期画面の中からディスク画像を選択操作すると、右後席ディスプレイ９－３がこの操作入力を受け付けて操作情報を画像伝送処理部５へ送信する（ステップＳＴ２“ＹＥＳ”）。ここでは、右後席同乗者２３の操作を分かりやすくするため、カーソルを用いて選択操作を表現している。
　画像処理制御部２ａはこの操作情報の内容を判定して、ディスク画像の画像データを生成するよう画像統合処理部４に命令する（ステップＳＴ３）。画像統合処理部４は、画像取得部３－１が取得するディスク画像上に「戻る」ボタンをグラフィックス描画処理した画像データを生成する。画像受信部８－３は、この画像データを画像伝送処理部５を経由して受信し、右後席ディスプレイ９－３に表示する（ステップＳＴ４）。なお、初期画面に戻る用に画面上に「戻る」ボタンをグラフィックス表示してもよいし、スイッチ、音声認識等を用いてもよい。
　画像処理制御部２ａは、イグニッションキーがオフになると、画面表示を終了する（ステップＳＴ６“ＹＥＳ”）。一方、イグニッションキーがオンなら（ステップＳＴ６“ＮＯ”、ステップＳＴ２に戻って新しい操作情報の入力があるか確認する（ステップＳＴ２）。画像処理制御部２ａは、新しい操作情報がなければ（ステップＳＴ２“ＹＥＳ”）、現在の画面（ここでは、ディスク画像）の表示を継続するよう画像統合処理部４等を制御する（ステップＳＴ５）。
　右後席同乗者２３がディスク画像の鑑賞中に運転者２１の運転支援のために車両左方の接近物体２４等の確認を行う場合、まず、右後席ディスプレイ９－３のディスク画像に重畳表示されている「戻る」ボタンを選択操作する（図１２（ｄ））。画像処理制御部２ａは、初期画面選択の操作情報を受け付けると（ステップＳＴ２“ＹＥＳ”）、画像統合処理部４へ初期画面表示の処理命令を出力し（ステップＳＴ３）、図１２（ｅ）のように右後席ディスプレイ９－３に初期画面を表示させる（ステップＳＴ４）。
　続いて、右後席同乗者２３は初期画面の中から左方画像を選択操作する（図１２（ｆ））。画像処理制御部２ａは、左方画像選択の操作情報を受け付けると（ステップＳＴ２“ＹＥＳ”）、画像統合処理部４へ左方画像表示の処理命令を出力し（ステップＳＴ３）、図１２（ｇ）のように右後席ディスプレイ９－３に左方画像を画面表示させる（ステップＳＴ４）。このとき、画像統合処理部４は、左方画像から接近物体２４を検出した場合にその接近物体２４を枠線２５で囲んで強調したり、アイコン２６を描画して強調したりしてもよい。右後席同乗者２３は、右後席ディスプレイ９－３に表示された左方画像を見ながら、運転者２１へ誘導、助言、危険の有無の通知等を行うことによって運転を支援する。
　さらに詳細な情報を得たい（詳細な画像を見たい）場合には、右後席同乗者２３が右後席ディスプレイ９－３の画面を図１２（ｈ）のようにタッチ操作して、ポイントＲ，Ｓを頂点にした注視領域を選択する。画像処理制御部２ａは、注視領域選択の操作情報を受け付けると（ステップＳＴ２“ＹＥＳ”）、画像統合処理部４へ注視領域を拡大する処理命令を出力し（ステップＳＴ３）、図１２（ｉ）のように右後席ディスプレイ９－３に左方画像中の注視領域を拡大して表示させる（ステップＳＴ４）。これにより、右後席同乗者２３は、より詳細な情報をもとに運転支援を行うことが可能となる。また、車両周囲に障害物または接近物体２４が存在する場合には画面内に強調表示されるため、右後席同乗者２３はより危険を回避した支援を行うことが可能となる。さらに、車両周囲に障害物または接近物体２４らしき物体が存在する場合に、右後席同乗者２３が左方画像上のその物体を右後席ディスプレイ９－３に拡大表示させることにより、走行の障害になり得るか判断して運転者２１に伝えることが可能となる。
　また、子供の左後席同乗者２２が降車する際に、大人の右後席同乗者２３が左方画像を右後席ディスプレイ９－３に表示させて安全確認することが可能となる。さらに、降車時に車両周辺に障害物または接近物体２４が存在する場合に、車載表示装置１が車両のドアを施錠して降車できないようにしてもよい。具体的には、画像統合処理部４が車両周囲を撮影したカメラ画像から車両に接近してくる接近物体２４を検出した場合に、車両制御指示部２ｂが画像統合処理部４からその検出情報を取得し、接近物体２４を検出した側のドアの施錠指示を車両制御部１０へ送信する。車両制御部１０は、車内ネットワークを通じて車両制御指示部２ｂからドア施錠指示を受信すると、指示されたドアを施錠する。
　次に、車載表示装置１の詳細な動作を説明する。
　ここでは、画像入力数を４入力（ｎ＝４）、画像出力を３出力（ｍ＝３）とした場合について説明する。画像取得部３－１がディスク画像を取得し、画像取得部３－２がナビ画像を取得し、画像取得部３－３が左後方カメラ１１－４の左後方画像を取得し、画像取得部３－４が後方カメラ１１－２の後方画像を取得する。説明を簡単にするため、各入力画像の解像度とフレームレートを各々７２０×４８０ピクセル、３０ｆｐｓとする。
　画像受信部８－１は前席ディスプレイ９－１に画像データを出力し、画像受信部８－２は左後席ディスプレイ９－２に画像データを出力し、画像受信部８－３は右後席ディスプレイ９－３に画像データを出力する。画像受信部８－１～８－３に接続されるディスプレイの解像度をＷＶＧＡ（８００×４８０ピクセル）とする。
　画像取得部３－１～３－４は、入力された画像に対してＡ／Ｄ変換およびフォーマット変換等を行い、画像統合処理部４へ出力する。画像取得部３－１～３－４は、例えば、入力された画像がアナログ信号の場合にはデジタル信号へ変換する。輝度／色差（ＹＵＶ／ＹＣｂＣｒ系）フォーマットの場合には色フォーマットをＲＧＢフォーマットへ変換する。
　なお、色変換およびフォーマット変換は、画像取得部３－１～３－４ではなく画像統合処理部４が実施してもよい。
　図１３は、画像統合処理部４の画像取り込み、画像統合処理を行うためのバッファの設定例を示したものである。画像統合処理部４は、まず、メモリ６ａ内に画像取得部３－１～３－４が出力した画像を取り込むためのバッファ設定を行う。各バッファは、ダブルバッファ（Ａバッファ、Ｂバッファ）で構成される。画像統合処理部４は、ディスク画像用バッファをダブルバッファ（Ａバッファ、Ｂバッファ）で構成し、バッファ領域（ｃａｐ＿０＿Ａ、ｃａｐ＿０＿Ｂ）を確保する。同様に、ナビ画像用バッファ（ｃａｐ＿１＿Ａ、ｃａｐ＿１＿Ｂ）、左後方画像用バッファ（ｃａｐ＿２＿Ａ、ｃａｐ＿２＿Ｂ）、後方画像用バッファ（ｃａｐ＿３＿Ａ、ｃａｐ＿３＿Ｂ）を確保する。
　このとき、各バッファサイズは、Ａバッファ、Ｂバッファともに入力画像の解像度×階調数×画像入力数分となる。
　画像統合処理部４は続いて、メモリ６ａ内に画像統合処理および表示用のバッファの設定を行う。ここでは、ＷＶＧＡの３画面を表示するため、Ａバッファ、Ｂバッファともに、出力画像の解像度×階調数×画像出力数分のサイズとなる。画像統合処理部４は、画像統合処理・表示用のバッファとして、Ａバッファ（ｄｉｓｔ＿ｃｅｌｌ＿０＿Ａ、ｄｉｓｔ＿ｃｅｌｌ＿１＿Ａ、ｄｉｓｔ＿ｃｅｌｌ＿２＿Ａ）、Ｂバッファ（ｄｉｓｔ＿ｃｅｌｌ＿０＿Ｂ、ｄｉｓｔ＿ｃｅｌｌ＿１＿Ｂ、ｄｉｓｔ＿ｃｅｌｌ＿２＿Ｂ）を設定する。
　画像統合処理部４は続いて、ディスク画像用バッファの画像取込用バッファにＡバッファ（ｃａｐ＿０＿Ａ）を、画像読出用バッファにＢバッファ（ｃａｐ＿０＿Ｂ）を設定する。画像統合処理部４は、入力画像の取り込み動作として、まず、バッファＡがディスク画像を取り込み動作中か否かを判定する。取り込み中ならバッファを変更せず、各バッファの設定も変更しない。取り込み完了なら画像取込用バッファをＡバッファからＢバッファに切り替え、画像読出用バッファをＢバッファからＡバッファに切り替え、取り込み動作を起動する。取り込み動作の起動後、７２０×４８０ピクセルの１画面分の画像取り込みが終了したら、取り込み動作を停止する。以降、画像取り込み動作を起動、１フレーム分取得、取り込み動作停止の各処理を繰り返す。画像統合処理部４は同様の処理をナビ画像、左後方画像、および後方画像についても行う。
　画像統合処理部４は続いて、画像統合処理を行う。画像統合処理部４は、各画像読出用バッファにあるディスク画像、ナビ画像、左後方画像および後方画像を使用して、画像処理制御部２ａが指定する画像変換処理（拡大、縮小、回転、鏡面変換等）および合成処理を実施し、画像統合処理・表示用バッファに格納する。ここでは左後方画像入力が７２０×４８０ピクセルで、画像表示出力が８００×４８０ピクセルであるため、横幅８０ピクセル分を黒とし、等倍で表示する。もしくは、解像度変換を行い、横長の画像として表示してもよい。また、４系統の入力画像を、上下左右にタイル状に並べて表示してもよい（例えば、図５（ｂ）の左後席ディスプレイ９－２の表示画面）。その場合、８００×４８０ピクセルの画面サイズの１／４は、４００×２４０ピクセルであるため、それぞれの入力画像に対して７２０×４８０ピクセルから４００×２４０ピクセルへの解像度変換を行い、４系統分の画像データをタイル状に統合する。なお、図５に示したように、統合画面は、各入力画像を任意のサイズ、任意の数で１つの画面に統合することができる。また、画像統合処理部４は、画像統合処理時に各入力画像の取り込みが完了していない場合には前フレームのデータを使用し、取り込みが完了している場合には取り込みが完了した現フレームのデータを使用して統合処理を行う。
　また、画像統合処理部４は、メニュー画面作成、障害物と接近物体の強調表示、画像加工等を行い、入力画像に重畳するためのグラフィックス処理の機能を持つ。グラフィックス処理とは、例えば、点描画、線描画、多角形描画、矩形描画、塗りつぶし、グラデーション、テクスチャマッピング、ブレンディング、アンチエリアシング、アニメーション、フォント、ディスプレイリストによる描画、３Ｄ描画などである。
　また、画像統合処理部４は、入力画像内から接近物体および障害物を検出し、検出結果を元に前記グラフィックス機能を用いて、接近物体および障害物に表示効果（強調表示、囲み線、色付け等）、アイコン、警告メッセージ等を重畳する。
　画像統合処理部４は一連の画像統合処理を完了後、表示用の垂直同期信号を待ち、画像統合処理・表示用バッファをバッファＡからバッファＢへ切り替える。垂直同期信号は例えば画像処理制御部２ａが出力する。ディスプレイのフレームレートが６０ｆｐｓならば垂直同期信号は１／６０秒に１回の周期となる。画像統合処理部４は、画像統合処理が１フレーム期間内で完了しない場合には次の垂直同期信号を待ってバッファを切り替える。
　この場合、画像更新のフレームレートは３０ｆｐｓとなる。
　その後、画像統合処理部４から画像伝送処理部５へ、前席ディスプレイ９－１、左後席ディスプレイ９－２および右後席ディスプレイ９－３に表示する画像データを出力する。
　図１４は、画像統合処理部４と画像伝送処理部５のフレーム単位（垂直同期）およびライン単位（水平同期）での動作を示したタイミングチャートであり、横軸が時間である。
　画像統合処理部４がＡバッファを使用して画像統合処理を実施している間は、Ｂバッファの画像データを画像伝送処理部５へ出力する。反対に、Ｂバッファを使用して画像統合処理を実施している間は、Ａバッファの画像データを画像伝送処理部５へ出力する。ここでは、３つのディスプレイ９－１～９－３へ表示を行うため、画像伝送処理部５が３つ分の画像データを水平ライン単位で多重して、多重信号として画像受信部８－１～８－ｍへ伝送する。
　つぎに、画像伝送処理部５の動作を説明する。画像伝送処理部５と画像受信部８－１～８－ｍのデータ転送は、双方向で行われる。ここで、画像伝送処理部５から画像受信部８－１～８－ｍへの転送を下り転送と呼び、画像受信部８－１～８－ｍから画像伝送処理部５への転送を上り転送と呼ぶこととする。下り転送時、画像伝送処理部５は、画像統合処理部４より受信した各ライン単位の画像データの多重信号をパケットデータにし、ヘッダ情報（パケットヘッダ）を付加して、画像受信部８－１～８－ｍへ送出する。ヘッダ情報には、パケットＩＤ、ライン番号、データ送付先（画像受信部８－１～８－ｍの識別情報）、画像データサイズ等が含まれる。
　画像伝送処理部５は、上り転送において画像受信部８－１～８－ｍからヘッダとパケットデータを受信し、画像受信部８－１～８－ｍのステータス情報を取得する。ヘッダ情報には、パケットＩＤ、ライン番号、データ送付元（画像受信部８－１～８－ｍの識別情報）等が含まれる。パケットデータには、画像データではなく、各画像受信部８－１～８－ｍの状態（通信状態、エラー情報、ディスプレイ９－１～９－ｍの接続情報）を表したステータス情報、および操作情報が含まれる。画像伝送処理部５は、受信・取得したステータス情報および操作情報をメモリ６ｂに格納する。
　次に、画像受信部８－１～８－ｍの動作を説明する。
　図１のようにカスケード接続された画像受信部８－１～８－ｍのうち、最上位の画像受信部８－１は、下り転送において、画像伝送処理部５よりパケットヘッダおよびパケットデータを受信し、パケットヘッダに含まれるヘッダ情報から、自分宛てのパケットデータか否かを判定し、自分宛てのパケットデータのみを受信しその中に含まれる画像データをディスプレイ９－１に表示する。画像受信部８－１は、自分宛て以外のパケットデータは受信せず、そのまま、後段に接続された画像受信部８－２へパケットヘッダおよびパケットデータを送出する。また、画像受信部８－１は、上り転送として、自分のステータス情報および操作情報を画像伝送処理部５へ送出する。
　同様に、画像受信部８－２も、上位側の画像受信部８－１から送信されるパケットデータのうち、自分宛てのパケットデータのみを受信して、その中に含まれる画像データをディスプレイ９－２に表示すると共に、自分のステータス情報および操作情報を、画像受信部８－１経由で画像伝送処理部５へ送出する。
　以降、画像受信部８－３～８－ｍも同様の処理を行う。
　以上より、実施の形態１によれば、車載表示装置１は、車両内に設置された複数のディスプレイ９－１～９－ｍと、複数のディスプレイ９－１～９－ｍのそれぞれに対応した複数の操作受付部（例えば、タッチパネル）と、車両の周辺を撮影する複数の車外カメラから複数のカメラ画像を選択する画像取得ユニット３と、複数のカメラ画像の中からディスプレイ９－１～９－ｍに表示するカメラ画像を選択する乗員の操作を操作受付部が受け付けた場合、当該操作受付部に対応したディスプレイに表示する画像データを生成するための画像処理命令を指示する画像処理制御部２ａと、複数のディスプレイ９－１～９－ｍのそれぞれについて、画像処理制御部２ａの画像処理命令に従い複数のカメラ画像の中から当該ディスプレイに表示するカメラ画像を選択して画像データを生成する画像統合処理部４とを備える構成にした。このため、助手席または後席にいる同乗者が、各席に設置されたディスプレイ上で、車両周辺のカメラ画像を自由に選択して表示させることができる。
　よって、運転初心者、高齢者、ペーパードライバ等の運転に不慣れな人をはじめとする運転者に対して、同乗者が車内のどの席からも誘導、助言、危険の有無の通知等の運転支援を行うことが可能となり、より安全な運転環境を提供することが可能となる。
　また、実施の形態１によれば、画像処理制御部２ａは、ディスプレイ９－１～９－ｍに表示した第１の画像データの一部分を選択する乗員の操作を操作受付部（例えば、タッチパネル）が受け付けた場合、当該一部分を拡大する画像処理命令を指示し、画像統合処理部４は、複数のカメラ画像を合成して第１の画像データ（例えば、図８の合成後方画像）を生成し、画像処理命令に従い第１の画像データの一部分を拡大した第２の画像データを生成する構成にした。このため、複数のカメラ画像の合成画像から同乗者が見たい注視領域を選択して全画面表示させることができる。また、複数のカメラ画像を合成することにより、車外カメラの死角を無くすことができる。
　また、実施の形態１によれば、図８および図９のように、前記第１の画像データの一部分を拡大した第２の画像データが、少なくとも２枚以上のカメラ画像を含むようにすることで、同乗者が一度に見たい画像を複数表示させることができる。
　また、実施の形態１によれば、画像統合処理部４は、複数のカメラ画像を用いて車両に接近する接近物体２４を検出し、当該接近物体２４の接近を警告する情報を画像データに重畳するようにしたので、同乗者が車両に接近する物体（例えば、他車両、バイク、自転車、歩行者等）に気付きやすくなる。
　また、実施の形態１によれば、物体の接近を警告する情報は強調表示であるので、同乗者が画面表示を見て直感的に接近物体を認識できる。なお、強調表示としては、接近物体を枠線で囲む方法等のほかに、文字で警告する方法等であってもよい。
　また、実施の形態１によれば、画像処理制御部２ａは、ディスプレイ９－１～９－ｍに表示した第１の画像データの一部分を選択する乗員の操作を操作受付部（例えば、タッチパネル）が受け付けた場合、当該一部分をディスプレイ９－１～９－ｍの画面中央部で拡大表示する画像処理命令を指示し、画像統合処理部４は、複数のカメラ画像を並べて配置した第１の画像データ（例えば、図８の左方画像と合成後方画像とを並べて配置した統合画面）を生成し、画像処理命令に従い第１の画像データの一部分を拡大したディスプレイの画面中央部に表示されるよう配置した第２の画像データを生成する構成にした。このため、複数のカメラ画像の統合画像から同乗者が見たい注視領域を指で囲む、ダブルタップする、ピンチアウトする等の簡単な操作で拡大表示でき、直感的な分かりやすい操作を実現できる。また、選択した注視領域を画面中央部に拡大表示するので、接近物体等を拡大表示しても画面から消えないようにできる。
　なお、本発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
　以上のように、この発明に係る車載表示装置は、同乗者の操作に応じてディスプレイに表示する画像を変更するので、同乗者がディスプレイで車両周辺の安全確認をして運転者に伝える等の運転支援に用いるのに適している。
　１　車載表示装置、２　ＣＰＵ、２ａ　画像処理制御部、２ｂ　車両制御指示部、３　画像取得ユニット、３－１～３－ｎ　画像取得部、４　画像統合処理部、５　画像伝送処理部、６ａ，６ｂ　メモリ、７　内部バス、８－１～８－ｍ　画像受信部、９－１～９－ｍ　ディスプレイ、１０　車両制御部、１２　バス、１１－１～１１－６　カメラ、２１　運転者、２２　左後席同乗者、２３　右後席同乗者、２４　接近物体、２５　枠線、２６　アイコン。

Claims (6)

  1. 　車両内に設置された複数のディスプレイと、
    　前記複数のディスプレイのそれぞれに対応した複数の操作受付部と、
    　前記車両の周辺を撮影する複数の車外カメラから複数のカメラ画像を取得する画像取得ユニットと、
    　前記複数のカメラ画像の中から前記ディスプレイに表示するカメラ画像を選択する乗員の操作を前記操作受付部が受け付けた場合、当該操作受付部に対応した前記ディスプレイに表示する画像データを生成するための画像処理命令を指示する画像処理制御部と、
    　前記複数のディスプレイのそれぞれについて、前記画像処理制御部の前記画像処理命令に従い前記複数のカメラ画像の中から当該ディスプレイに表示するカメラ画像を選択して前記画像データを生成する画像統合処理部とを備える車載表示装置。
  2. 　前記画像処理制御部は、前記ディスプレイに表示した第１の画像データの一部分を選択する前記乗員の操作を前記操作受付部が受け付けた場合、当該一部分を拡大する画像処理命令を指示し、
    　前記画像統合処理部は、前記複数のカメラ画像を合成して前記第１の画像データを生成し、前記画像処理命令に従い前記第１の画像データの前記一部分を拡大した第２の画像データを生成することを特徴とする請求項１記載の車載表示装置。
  3. 　前記第２の画像データは、少なくとも２枚以上の前記カメラ画像を含むことを特徴とする請求項２記載の車載表示装置。
  4. 　前記画像統合処理部は、前記複数のカメラ画像を用いて前記車両に接近する物体を検出し、当該物体の接近を警告する情報を前記画像データに重畳することを特徴とする請求項１記載の車載表示装置。
  5. 　前記物体の接近を警告する情報は強調表示であることを特徴とする請求項４記載の車載表示装置。
  6. 　前記画像処理制御部は、前記ディスプレイに表示した第１の画像データの一部分を選択する前記乗員の操作を前記操作受付部が受け付けた場合、当該一部分を前記ディスプレイの画面中央部で拡大表示する画像処理命令を指示し、
    　前記画像統合処理部は、前記複数のカメラ画像を並べて配置した前記第１の画像データを生成し、前記画像処理命令に従い前記第１の画像データの前記一部分を拡大して前記ディスプレイの画面中央部に表示されるよう配置した第２の画像データを生成することを特徴とする請求項１記載の車載表示装置。
PCT/JP2014/060939 2014-04-17 2014-04-17 車載表示装置 WO2015159407A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201480078077.9A CN106232427A (zh) 2014-04-17 2014-04-17 车载显示装置
DE112014006597.8T DE112014006597T5 (de) 2014-04-17 2014-04-17 Fahrzeugmontierte Vorrichtung
US15/120,321 US20170066375A1 (en) 2014-04-17 2014-04-17 Vehicle-mounted display device
PCT/JP2014/060939 WO2015159407A1 (ja) 2014-04-17 2014-04-17 車載表示装置
JP2016513582A JPWO2015159407A1 (ja) 2014-04-17 2014-04-17 車載表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/060939 WO2015159407A1 (ja) 2014-04-17 2014-04-17 車載表示装置

Publications (1)

Publication Number Publication Date
WO2015159407A1 true WO2015159407A1 (ja) 2015-10-22

Family

ID=54323649

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/060939 WO2015159407A1 (ja) 2014-04-17 2014-04-17 車載表示装置

Country Status (5)

Country Link
US (1) US20170066375A1 (ja)
JP (1) JPWO2015159407A1 (ja)
CN (1) CN106232427A (ja)
DE (1) DE112014006597T5 (ja)
WO (1) WO2015159407A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017110144A1 (ja) * 2015-12-22 2017-06-29 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP2018006908A (ja) * 2016-06-29 2018-01-11 株式会社デンソーテン 映像の解像度を変更する映像処理装置及び方法
WO2019003996A1 (ja) * 2017-06-28 2019-01-03 京セラ株式会社 プロセッサ、画像処理装置、移動体、画像処理方法、及びプログラム
KR20190069640A (ko) * 2017-11-30 2019-06-20 현대자동차주식회사 차량의 디스플레이 제어 장치 및 방법
KR102235949B1 (ko) * 2020-03-24 2021-04-06 (주)에이스캠엔지니어링 차량용 뷰어 및 이를 이용한 차량 제어 시스템
WO2022113521A1 (ja) * 2020-11-30 2022-06-02 パナソニックＩｐマネジメント株式会社 車両および車両制御装置
WO2023017577A1 (ja) * 2021-08-11 2023-02-16 日本電信電話株式会社 映像信号を合成する装置、方法及びプログラム

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102411171B1 (ko) * 2015-05-19 2022-06-21 엘지이노텍 주식회사 디스플레이장치 및 이의 동작 방법
JP6413974B2 (ja) * 2015-08-05 2018-10-31 株式会社デンソー キャリブレーション装置、キャリブレーション方法、及びプログラム
US10471611B2 (en) * 2016-01-15 2019-11-12 Irobot Corporation Autonomous monitoring robot systems
JP6738613B2 (ja) * 2016-02-10 2020-08-12 株式会社小糸製作所 車両用表示システム
US10152893B2 (en) * 2016-05-26 2018-12-11 Kennesaw State University Research And Service Foundation, Inc. Retrofit wireless blind spot detection system
JP6802008B2 (ja) * 2016-08-25 2020-12-16 キャタピラー エス エー アール エル 建設機械
JP6493368B2 (ja) * 2016-11-25 2019-04-03 トヨタ自動車株式会社 車両用表示装置
US10343555B2 (en) * 2017-02-27 2019-07-09 Nissan North America, Inc. Autonomous vehicle seat positioning system
JP6649914B2 (ja) * 2017-04-20 2020-02-19 株式会社Ｓｕｂａｒｕ 画像表示装置
JP6822303B2 (ja) * 2017-04-28 2021-01-27 トヨタ自動車株式会社 画像表示装置
DE102017113781B4 (de) * 2017-06-21 2023-10-05 SMR Patents S.à.r.l. Verfahren zum Betreiben einer Anzeigevorrichtung für einen Kraftwagen, sowie Kraftwagen
CN107301135A (zh) * 2017-06-22 2017-10-27 深圳天珑无线科技有限公司 连接建立方法及装置
US10960761B2 (en) * 2017-07-05 2021-03-30 Mitsubishi Electric Corporation Display system and display method
EP3466761B1 (en) * 2017-10-05 2020-09-09 Ningbo Geely Automobile Research & Development Co. Ltd. A display system and method for a vehicle
JP6950538B2 (ja) * 2018-01-11 2021-10-13 トヨタ自動車株式会社 車両撮影支援装置及びプログラム
US10562539B2 (en) * 2018-07-10 2020-02-18 Ford Global Technologies, Llc Systems and methods for control of vehicle functions via driver and passenger HUDs
JP7119798B2 (ja) * 2018-09-07 2022-08-17 株式会社アイシン 表示制御装置
DE102018217127A1 (de) * 2018-10-08 2020-04-09 Audi Ag Verfahren und Anzeigesystem zur Anzeige von Sensordaten einer Sensoreinrichtung auf einer Anzeigeeinrichtung sowie Kraftfahrzeug mit einem Anzeigesystem
KR20190101922A (ko) * 2019-08-12 2019-09-02 엘지전자 주식회사 차량용 인포테인먼트의 제어방법 및 제어장치
US11375126B2 (en) * 2019-11-29 2022-06-28 Canon Kabushiki Kaisha Imaging apparatus, information processing apparatus, operation method, information processing method, and storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003116125A (ja) * 2001-10-03 2003-04-18 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP2005136561A (ja) * 2003-10-29 2005-05-26 Denso Corp 車両周辺画像表示装置
JP2006246430A (ja) * 2005-02-02 2006-09-14 Auto Network Gijutsu Kenkyusho:Kk 車両周辺監視装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
US5680123A (en) * 1996-08-06 1997-10-21 Lee; Gul Nam Vehicle monitoring system
JPH10116086A (ja) * 1996-10-08 1998-05-06 Aqueous Res:Kk 車載カラオケ
JP3607994B2 (ja) * 2001-11-12 2005-01-05 トヨタ自動車株式会社 車両用周辺監視装置
JP2004015235A (ja) * 2002-06-04 2004-01-15 Sumitomo Electric Ind Ltd 画像表示システム及び中継装置
JP2006243641A (ja) * 2005-03-07 2006-09-14 Matsushita Electric Ind Co Ltd 映像表示制御装置及び映像表示装置
JP2007045168A (ja) * 2005-08-05 2007-02-22 Aisin Aw Co Ltd 車両用情報処理装置
JP5122826B2 (ja) * 2007-01-16 2013-01-16 株式会社日立製作所 車載装置および出力装置
JP4286876B2 (ja) * 2007-03-01 2009-07-01 富士通テン株式会社 画像表示制御装置
JP2011160190A (ja) * 2010-02-01 2011-08-18 Clarion Co Ltd 車載モニタシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003116125A (ja) * 2001-10-03 2003-04-18 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP2005136561A (ja) * 2003-10-29 2005-05-26 Denso Corp 車両周辺画像表示装置
JP2006246430A (ja) * 2005-02-02 2006-09-14 Auto Network Gijutsu Kenkyusho:Kk 車両周辺監視装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017110144A1 (ja) * 2015-12-22 2017-06-29 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
US10549693B2 (en) 2015-12-22 2020-02-04 JVC Kenwood Corporation Bird's-eye view video generation device, bird's-eye view video generation system, bird's-eye view video generation method and program
JP2018006908A (ja) * 2016-06-29 2018-01-11 株式会社デンソーテン 映像の解像度を変更する映像処理装置及び方法
WO2019003996A1 (ja) * 2017-06-28 2019-01-03 京セラ株式会社 プロセッサ、画像処理装置、移動体、画像処理方法、及びプログラム
JPWO2019003996A1 (ja) * 2017-06-28 2020-07-09 京セラ株式会社 プロセッサ、画像処理装置、移動体、画像処理方法、及びプログラム
KR20190069640A (ko) * 2017-11-30 2019-06-20 현대자동차주식회사 차량의 디스플레이 제어 장치 및 방법
KR102441079B1 (ko) * 2017-11-30 2022-09-06 현대자동차주식회사 차량의 디스플레이 제어 장치 및 방법
KR102235949B1 (ko) * 2020-03-24 2021-04-06 (주)에이스캠엔지니어링 차량용 뷰어 및 이를 이용한 차량 제어 시스템
WO2022113521A1 (ja) * 2020-11-30 2022-06-02 パナソニックＩｐマネジメント株式会社 車両および車両制御装置
WO2023017577A1 (ja) * 2021-08-11 2023-02-16 日本電信電話株式会社 映像信号を合成する装置、方法及びプログラム

Also Published As

Publication number Publication date
US20170066375A1 (en) 2017-03-09
JPWO2015159407A1 (ja) 2017-04-13
CN106232427A (zh) 2016-12-14
DE112014006597T5 (de) 2017-04-06

Similar Documents

Publication Publication Date Title
WO2015159407A1 (ja) 車載表示装置
JP5187179B2 (ja) 車両周辺監視装置
JP5421788B2 (ja) 車両周辺画像表示システム
CN102407807B (zh) 车辆图像显示设备
US10235117B2 (en) Display control system
JP3916958B2 (ja) 車両後方モニタシステムおよびモニタ装置
US11082657B2 (en) Camera system for use in a vehicle with settable image enlargement values
JP2015193280A (ja) 車両制御装置及び車両制御方法
KR20120118074A (ko) 차량 주변 감시 장치
CN103809876A (zh) 车用影像系统及其影像的显示控制方法
JP2009057010A (ja) 車載表示装置
JP2012049918A (ja) 撮像装置、撮像システム及び撮像方法
US11363216B2 (en) Vehicle-mounted device
JP2011066763A (ja) 運転支援装置
JP5924370B2 (ja) 映像表示装置、映像切替装置、及び映像表示方法
JP2007290433A (ja) 駐車支援システム
JP2013031109A (ja) カメラシステム
JP6261542B2 (ja) 画像処理装置および画像処理方法
JP5143596B2 (ja) 車両用画像表示装置
KR102170191B1 (ko) 듀얼 카메라를 이용한 차량 주행 보조 장치
KR20210083693A (ko) 차량의 주변 감시 장치 및 그 동작 방법
JP2007256707A (ja) マルチビュー表示装置及び表示方法
JP2012063830A (ja) 入力装置
TW201536605A (zh) 攝影機、遠端控制系統及遠端控制方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14889613

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016513582

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15120321

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112014006597

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14889613

Country of ref document: EP

Kind code of ref document: A1