WO2016147387A1 - 表示制御装置および車載表示システム - Google Patents

表示制御装置および車載表示システム Download PDF

Info

Publication number
WO2016147387A1
WO2016147387A1 PCT/JP2015/058281 JP2015058281W WO2016147387A1 WO 2016147387 A1 WO2016147387 A1 WO 2016147387A1 JP 2015058281 W JP2015058281 W JP 2015058281W WO 2016147387 A1 WO2016147387 A1 WO 2016147387A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
landscape
display
scenery
Prior art date
Application number
PCT/JP2015/058281
Other languages
English (en)
French (fr)
Inventor
聖崇 加藤
星原　靖憲
武史 三井
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2017505981A priority Critical patent/JP6192871B2/ja
Priority to PCT/JP2015/058281 priority patent/WO2016147387A1/ja
Publication of WO2016147387A1 publication Critical patent/WO2016147387A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof

Definitions

  • the present invention relates to a display control device and an in-vehicle display system for controlling contents displayed on a rear seat display of a vehicle.
  • RSE Rear Seat Entertainment
  • digital broadcasting DVD (Digital Versatile Disc), and BD (Blu-ray Disc; registered trademarks; the registered trademark is omitted in the following), etc.
  • DVD Digital Versatile Disc
  • BD Blu-ray Disc
  • registered trademarks the registered trademark is omitted in the following
  • Patent Document 2 live images from cameras installed at sightseeing spots are transmitted to the vehicle via a wireless network, so that images with realism such as display images being cut off due to wireless interference or poor image quality are continued. There was a problem that it could not be provided. In addition, there is a problem that it is not possible to deal with sightseeing spots where cameras are not installed.
  • the present invention has been made to solve the above-described problems, and aims to alert passengers who are watching RSE not to miss the scenery around the vehicle.
  • an image acquisition unit that acquires a camera image from a camera that captures the periphery of the vehicle, a landscape determination unit that determines the quality of the landscape around the vehicle, and a landscape around the vehicle by the landscape determination unit are good.
  • the image integration processing unit that interrupts the camera image acquired by the image acquisition unit into the image data displayed on the display arranged for the rear seat of the vehicle.
  • the camera image is interrupted and displayed on the display for the rear seat, so that the scenery around the current vehicle can be provided to the passenger in the rear seat, You can call attention not to miss the scenery.
  • FIG. 6 is a diagram illustrating an example of a connection method between an image transmission processing unit and an image reception unit according to Embodiment 1.
  • FIG. 3 is a diagram illustrating a display configuration example of a display in Embodiment 1.
  • FIG. 6 is a diagram illustrating an example of an interrupt display on the display when the vehicle passes through a viewpoint in Embodiment 1.
  • FIG. 6 is a diagram illustrating a setting example of a buffer for performing image capture and image integration processing by the image integration processing unit according to the first embodiment.
  • FIG. 3 is a timing chart illustrating operations of the image integration processing unit and the image transmission processing unit of the first embodiment in units of frames and lines.
  • FIG. 3 is a diagram illustrating a positional relationship among a host vehicle Z, a famous spot A, and viewpoint points KA1, KA2 on a navigation image in the first embodiment.
  • 3 is a flowchart illustrating an operation of an image integration processing unit according to the first embodiment.
  • FIG. 4 is a flowchart illustrating an operation of a landscape determination unit according to the first embodiment. It is a flowchart which shows the in-point determination process of the famous place A in step ST26 of FIG. It is a flowchart which shows operation
  • FIG. 1 is a block diagram showing a configuration example of an in-vehicle display system to which a display control device 10 according to Embodiment 1 of the present invention is applied.
  • the in-vehicle display system is mounted on a vehicle, and includes a display control device 10, a plurality of image receiving units 8-1 to 8-m, and a plurality of displays 9-1 to 9-m.
  • the display control apparatus 10 includes an image processing control unit 1 that controls the overall operation, an image acquisition unit 3 that includes a plurality of image acquisition units 3-1 to 3-n, and an image integration processing unit that performs a process of integrating a plurality of images. 4, an image transmission processing unit 5 that transmits image data to the image receiving units 8-1 to 8-m, memories 6a, 6b, and 6c, and a landscape determination unit 7 that determines the quality of the landscape.
  • the image processing controller 1 controls the entire apparatus, and exchanges information with a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and peripheral devices. An output port, network interface, etc. are provided.
  • the image acquisition units 3-1 to 3-n, the image integration processing unit 4, the image transmission processing unit 5, and the landscape determination unit 7 are processing circuits such as an LSI (Large Scale Integration).
  • the memories 6a, 6b, and 6c are nonvolatile memory, volatile memory, HDD (Hard Disk Drive), or the like.
  • the image processing control unit 1 exchanges information with each of the image acquisition units 3-1 to 3-n, the image integration processing unit 4, the image transmission processing unit 5, and the landscape determination unit 7 via the internal bus 2. Is possible.
  • the image processing control unit 1 sets parameters such as the image format and operation mode, and instructs the image acquisition units 3-1 to 3-n to start and stop image acquisition. Further, the image processing control unit 1 instructs the image integration processing unit 4 to select an image, process the selected image, synthesize, superimpose graphics, start processing, stop processing, and other instructions necessary for the operation. And control the image integration process. Further, the image processing control unit 1 transmits the statuses of the image receiving units 8-1 to 8-m and the displays 9-1 to 9-m stored in the memory 6b via the image transmission processing unit 5 and the internal bus 2.
  • the image processing control unit 1 acquires operation information received from a passenger or the like by the operation means of the displays 9-1 to 9-m via the image receiving units 8-1 to 8-m and the internal bus 2. To do.
  • the image processing control unit 1 can acquire vehicle information from the vehicle via the in-vehicle network.
  • the vehicle information is information such as the vehicle position, traveling direction, vehicle speed, acceleration, date and time, wiper operating state, light lighting state, shift lever position, and the like.
  • the in-vehicle network is, for example, a CAN (Controller Area Network).
  • the image processing control unit 1 can acquire landscape information from an information source outside the vehicle via a network outside the vehicle. Details of the landscape information will be described later with reference to FIG.
  • the outside-vehicle network is, for example, a wireless LAN (Local Area Network).
  • the image processing control unit 1 outputs the vehicle information and landscape information acquired via the in-vehicle network and the outside network to the landscape determination unit 7 via the internal bus 2.
  • the landscape information is stored in the memory 6c.
  • the image processing control unit 1 acquires the information on the vehicle position via the in-vehicle network.
  • the display control device 10 includes GPS ( The vehicle position information may be generated by providing a dead reckoning (autonomous navigation) function using a global positioning system), a gyro sensor, an acceleration sensor, or the like.
  • the image processing control unit 1 may acquire position information from a portable information terminal such as a smartphone and use it as the vehicle position.
  • the image acquisition unit 3 includes n (n ⁇ 2) image acquisition units 3-1 to 3-n.
  • the image acquisition units 3-1 to 3-n perform preprocessing such as color conversion, format conversion, and filter processing of the acquired input image, and output to the image integration processing unit 4.
  • an input image there is a camera image in which a camera mounted on a vehicle images the periphery of the vehicle.
  • an in-vehicle display system is applied to RSE, and is connected to an external input terminal of the display control device 10, a disc image such as a DVD or BD output from a disc device mounted on the vehicle, a navigation image output from the navigation device
  • a smartphone image or the like output from a smartphone can also be used as an input image.
  • FIG. 2 shows a vehicle installation example of a camera and a display connected to the display control device 10.
  • cameras 11-1 to 11-4 for capturing landscape images around the vehicle are installed on the front, rear, left and right sides of the vehicle.
  • the cameras 11-1 to 11-4 are connected to the image acquisition units 3-3 to 3-6.
  • a display connected to the image receiving units 8-1 to 8-m a display 9-1 for the front seat is provided on the center console, and a display 9-2 for the left rear seat is provided on each back of the left and right front seats.
  • a display 9-3 for the right rear seat is installed.
  • FIG. 3 shows the installation status of the displays 9-1 to 9-3 shown in FIG. 2 as viewed from the rear seat in the vehicle.
  • the number of cameras and the installation positions thereof are not limited to the above as long as they can capture the landscape around the front, back, left, and right of the vehicle, and may be changed according to the angle of view, resolution, and the like of the camera. .
  • the left and right rear seat displays 9-2 and 9-3 are used as RSE.
  • the display control apparatus 10 according to the present invention travels on a point with good scenery so that passengers in the rear seat who are watching the displays 9-2 and 9-3 do not miss the scenery around the vehicle. Sometimes the passenger is notified by interrupting the camera image on the displays 9-2 and 9-3.
  • the display that is the subject of the present invention is not limited to the displays 9-2 and 9-3 shown in FIGS. 2 and 3, and may be used for a seat behind the driver seat and the passenger seat.
  • the display may be a display for the remaining seats in a moving body such as a railroad, a ship, and an aircraft, excluding the driver or driver's seat.
  • the image integration processing unit 4 displays the images selected from the plurality of images acquired by the image acquisition units 3-1 to 3-n according to the integration processing parameters received from the image processing control unit 1 on the displays 9-1 to 9-.
  • the image data is output to the image transmission processing unit 5 as image data to be displayed on any of m.
  • the image integration processing unit 4 performs image processing and image synthesis of a plurality of acquired images as necessary, and generates graphics and superimposes graphics such as a menu screen and a warning screen.
  • the image integration processing unit 4 captures a landscape image around the vehicle with respect to the image data being displayed on the displays 9-1 to 9-m. Interrupt.
  • the image integration processing unit 4 outputs the final image data subjected to these processes to the image transmission processing unit 5.
  • the landscape determination unit 7 determines the quality of the landscape around the vehicle using the vehicle information received from the image processing control unit 1 and the landscape information stored in the memory 6c. Enable In addition, the landscape determination unit 7 uses the vehicle information and the landscape information to calculate in which direction of the own vehicle there is a point where the scenery is good, and determines the direction from the cameras 11-1 to 11-4. A camera capable of imaging is determined and notified to the image integration processing unit 4 as camera position information.
  • FIG. 4 shows an example of landscape information.
  • landscape information is made into a list table and stored in the memory 6c.
  • points with good scenery such as sightseeing spots are called “famous points”
  • points where the points of interest are seen as “view points”
  • environmental factors that affect how the points of interest are seen are called “environmental conditions”.
  • the “famous spot” includes a “spot name” such as Nagoya Castle, “location information” such as latitude and longitude, and a “target area” that starts determining whether or not the vehicle has approached the famous spot.
  • the “view point” existing in the target area of the famous spot includes “point name” and “area information” in which the famous spot looks superb.
  • the “environmental condition” includes information such as the presence / absence of an effect of environmental factors such as “night view”, “weather”, and “season” at a sight spot, and “sight spot type”.
  • An environmental factor marked with “ ⁇ ” in the list table indicates the effect of improving the appearance of the landscape, and an environmental factor indicated by “x” indicates the effect of deteriorating the appearance of the landscape.
  • a landscape can be enjoyed depending on a famous spot even at night or in bad weather.
  • there are famous spots such as Yokohama Port and Kobe Port, Sky Tree, Tokyo Tower, Rainbow Bridge, Bay Bridge, etc. where you can enjoy illuminated night views.
  • information on “famous spots” and “viewpoints” is indispensable as scenery information indicating points with good scenery, but “environmental conditions” are not essential but additional information.
  • an example using information on “famous points” and “viewpoints” in the list table shown in FIG. 4 will be described.
  • An example using information on “environmental conditions” is described in the third embodiment. I will explain it.
  • the landscape information stored in the memory 6c may be acquired by the image processing control unit 1 from an information source on the Internet through a network outside the vehicle, for example, or the landscape determination unit 7 may obtain a POI (PoI included in the map data of the navigation device). (Point of Interest) or the like, or the passenger may operate the input device to register the landscape information.
  • a POI PoI included in the map data of the navigation device. (Point of Interest) or the like, or the passenger may operate the input device to register the landscape information.
  • the image transmission processing unit 5 packetizes the image data received from the image integration processing unit 4 as an image to be displayed on the displays 9-1 to 9-m, adds the header information, and transmits it. Further, the image transmission processing unit 5 receives status information and operation information of the image receiving units 8-1 to 8-m and the displays 9-1 to 9-m, and stores them in the memory 6b. The image processing control unit 1 can recognize the status information and operation information of the image receiving units 8-1 to 8-m and the displays 9-1 to 9-m by reading the information stored in the memory 6b.
  • M displays (9-1 to 9-m) are connected to m (m ⁇ 2) image receiving units 8-1 to 8-m. Further, the image receiving units 8-1 to 8-m are cascade-connected to each other, and select and receive the packet data addressed to itself from the packet data transmitted by the image transmission processing unit 5, and receive the lower-level connected image. The packet data is transferred to the part.
  • the image receiving units 8-1 to 8-m output the image data included in the received packet data to the displays 9-1 to 9-m for display.
  • the image receiving units 8-1 to 8-m and the displays 9-1 to 9-m may be connected as separate devices, or the image receiving units 8-1 to 8-m and the display may be connected. 9-1 to 9-m may be integrated.
  • the connection method is not limited to cascade connection.
  • the image transmission processing unit 5 and each of the image receiving units 8-1 to 8-m are connected by a bus 12.
  • each of the image receiving units 8-1 to 8-m is individually connected to the image transmission processing unit 5.
  • the components other than the image transmission processing unit 5 and the image receiving units 8-1 to 8-m are not shown.
  • the displays 9-1 to 9-m are configured by integrating a screen and a touch panel, and also function as input devices.
  • the displays 9-1 to 9-m receive the image data output from the image receiving units 8-1 to 8-m and display it on the screen, and the image receiving unit uses the operation input of the passengers received by the touch panel as operation information. Output to 8-1 to 8-m.
  • the input device is not limited to the touch panel, and may be a switch, a button, a voice recognition device, or the like.
  • FIG. 6 shows a screen configuration example of the displays 9-1 to 9-3. As shown in FIG. 6, when a plurality of images are input to the display control apparatus 10, one input image is displayed on one screen, and a plurality of input images are arranged side by side on one screen, and one integration is performed at the same time.
  • the screen can be freely configured, for example, displayed as a screen.
  • the front seat display 9-1 is the navigation image only
  • the left rear seat display 9-2 is the disc image (eg DVD movie only)
  • the right rear seat display 9 is. -3 displays only the right rear image obtained by combining the camera images captured by the right camera 11-3 and the rear camera 11-4.
  • the disc image, the smartphone image, and the camera images captured by the left camera 11-2 and the rear camera 11-4 are combined.
  • a screen in which the left rear image and the right rear image obtained by combining the camera images taken by the right camera 11-3 and the rear camera 11-4 are displayed is displayed.
  • FIG. 6A the front seat display 9-1 is the navigation image only
  • the left rear seat display 9-2 is the disc image (eg DVD movie only)
  • the right rear seat display 9 is.
  • -3 displays only the right rear image obtained by combining the camera images captured by the right camera 11-3 and the rear camera 11-4.
  • the display 9-2 for the left rear seat and the display 9-3 for the right rear seat display the integrated screen, but the display area of each image is different.
  • the display 9-2 for the left rear seat in FIG. 6 (d) has an integrated screen in which camera images taken by the cameras 11-1 to 11-4 are arranged side by side around an image in the shape of a vehicle viewed from above. it's shown.
  • the image processing control unit 1 controls the image integration processing unit 4 to perform image integration processing in accordance with the instruction from the passenger and generate image data to be displayed on the display.
  • FIG. 7 shows an example of interrupt display on the displays 9-1 to 9-3 when the vehicle passes the viewpoint.
  • a navigation image is displayed on the display 9-1 for the front seat
  • a disk image is displayed on the display 9-2 for the left rear seat and the display 9-3 for the right rear seat. Is displayed.
  • the positional relationship among the host vehicle Z, the famous place B, and the viewpoint point KB1 at this time is shown on the navigation image on the display 9-1 for the front seat.
  • the host vehicle Z is far from the viewpoint point KB1 and is in a position where the famous spot B cannot be seen. Therefore, disc images (for example, DVD movies) are displayed on the passenger displays 9-2 and 9-3. Is displayed.
  • the camera images captured by the front camera 11-1 are interrupted and displayed on the displays 9-2 and 9-3.
  • a camera image capturing a mountain that is a famous spot B is interrupted and displayed.
  • FIG. 7C on the screens of the displays 9-2 and 9-3, a so-called picture in which a child image 21 for a camera image captured by the front camera 11-1 is interrupted and displayed.
  • -It may be an in-picture configuration. Since the camera image is automatically displayed on the displays 9-2 and 9-3 at the viewpoint point KB1 where the sight spot B looks superb, the passengers in the rear seats can use DVDs etc. on the display installed for each seat.
  • the image processing control unit 1 initializes each unit of the display control device 10 when the ignition key of the vehicle is turned on and the power is turned on. For example, the image processing control unit 1 controls the image integration processing unit 4 and the image transmission processing unit 5 to display a navigation image on the front seat display 9-1 as an initial screen, and the rear seat display 9- 2 and 9-3 display a disc image such as a DVD. Further, the vehicle information and the landscape information are output from the image processing control unit 1 to the landscape determination unit 7.
  • the landscape determination unit 7 Upon receiving the landscape information, the landscape determination unit 7 generates a list table as shown in FIG. 4 and stores it in the memory 6c.
  • the landscape information may be downloaded via a network outside the vehicle and stored in the memory 6c in a state created in advance as a list table.
  • the image acquisition unit 3-1 acquires a disc image
  • the image acquisition unit 3-2 acquires a navigation image
  • the image acquisition unit 3-3 acquires a vehicle front camera image
  • the image acquisition unit 3-4 acquires the vehicle left camera image
  • the image acquisition unit 3-5 acquires the vehicle right camera image
  • the image acquisition unit 3-6 acquires the vehicle rear camera image
  • the image acquisition unit 3-7 Acquires a smartphone image.
  • the resolution and frame rate of each input image are assumed to be 720 ⁇ 480 pixels and 30 fps, respectively.
  • the image receiving unit 8-1 is connected to the display 9-1 for the front seat, the image receiving unit 8-2 is connected to the display 9-2 for the left rear seat, and the image receiving unit 8-3 is the right rear seat.
  • the resolution of each of the displays 9-1 to 9-3 is assumed to be WVGA (800 ⁇ 480 pixels).
  • the image acquisition units 3-1 to 3-7 perform A / D conversion and format conversion on the input image, and output to the image integration processing unit 4. For example, when the input image is an analog signal, the image acquisition units 3-1 to 3-7 convert the image into a digital signal. In the case of the luminance / color difference (YUV / YCbCr system) format, the color format is converted to the RGB format. Note that color conversion and format conversion may be performed by the image integration processing unit 4 instead of the image acquisition units 3-1 to 3-7. In addition, the image acquisition unit 3-1 to 3-7 may not perform conversion to the RGB format, and the image integration processing unit 4 may perform image processing while maintaining the luminance / color difference (YUV / YCbCr system) format.
  • FIG. 8 shows an example of setting a buffer for performing image capture and image integration processing by the image integration processing unit 4.
  • the image integration processing unit 4 performs buffer setting for taking the images output from the image acquisition units 3-1 to 3-7 into the memory 6a.
  • Each buffer is composed of a double buffer (A buffer, B buffer).
  • the image integration processing unit 4 configures the disk image buffer as a double buffer (A buffer, B buffer), and secures buffer areas (cap_0_A, cap_0_B).
  • buffer areas for seven systems such as a navigation image buffer (cap_1_A, cap_1_B), a left image buffer (cap_2_A, cap_2_B), and a rear image buffer (cap_3_A, cap_3_B), are secured.
  • each buffer size is equal to the resolution of the input image ⁇ the number of gradations ⁇ the number of image inputs for both the A buffer and the B buffer.
  • the image integration processing unit 4 subsequently performs image integration processing and display buffer setting in the memory 6a.
  • both the A buffer and the B buffer have a size corresponding to the resolution of the output image ⁇ the number of gradations ⁇ the number of image outputs.
  • the image integration processing unit 4 sets an A buffer (dist_cell_0_A, dist_cell_1_A, dist_cell_2_A) and a B buffer (dist_cell_0_B, dist_cell_1_B, dist_cell_2_B) as buffers for image integration processing and display.
  • the image integration processing unit 4 sets the A buffer (cap_0_A) as the image capturing buffer and the B buffer (cap_0_B) as the image reading buffer of the disk image buffer.
  • the image integration processing unit 4 first determines whether or not the buffer A is performing a disk image capturing operation. If importing is in progress, the buffer is not changed, and the settings of each buffer are not changed. If capture is complete, the image capture buffer is switched from the A buffer to the B buffer, the image read buffer is switched from the B buffer to the A buffer, and the capture operation is started. When the image capture for one screen of 720 ⁇ 480 pixels is completed after the capture operation is started, the capture operation is stopped. Thereafter, the process of starting the image capturing operation, acquiring one frame, and stopping the capturing operation are repeated. The image integration processing unit 4 performs the same processing for each input image.
  • the image integration processing unit 4 performs image integration processing.
  • the image integration processing unit 4 uses each input image in each image reading buffer to perform image conversion processing and composition processing specified by the image processing control unit 1 using the integration processing parameters, and performs image integration processing / display processing. Store in buffer.
  • the image conversion process designated by the image processing control unit 1 is, for example, enlargement, reduction, rotation, mirror surface conversion, or the like.
  • the horizontal width of 80 pixels is set to black and displayed at the same magnification.
  • resolution conversion may be performed and displayed as a horizontally long image.
  • the image designated by the image processing control unit 1 is integrated in a tiled manner in the vertical and horizontal directions as in the display screen of the display 9-1 shown in FIG. 6B. Also good. In that case, since 1/4 of the screen size of 800 ⁇ 480 pixels is 400 ⁇ 240 pixels, resolution conversion from 720 ⁇ 480 pixels to 400 ⁇ 240 pixels is performed for each input image, and four screens are used. Integrate images into tiles. Note that, as shown in FIG. 6, the integrated screen can integrate each input image into one screen with an arbitrary size and an arbitrary number. Further, the image integration processing unit 4 uses the data of the previous frame when the input image acquisition is not completed at the time of the image integration processing, and when the acquisition is completed, the image integration processing unit 4 Perform integration using data.
  • the image integration processing unit 4 has a function of graphics processing for performing menu screen creation, highlighting of obstacles and the like reflected in the camera image, image processing, etc., and superimposing them on the input image.
  • the graphics processing includes, for example, point drawing, line drawing, polygon drawing, rectangle drawing, painting, gradation, texture mapping, blending, anti-aliasing, animation, font, drawing by display list, 3D drawing, and the like.
  • the image integration processing unit 4 waits for a vertical synchronization signal for display, and switches the image integration processing / display buffer from buffer A to buffer B. For example, the image processing control unit 1 outputs the vertical synchronization signal. If the frame rate of the display is 60 fps, the vertical synchronization signal has a cycle of 1/60 second. If the image integration processing is not completed within one frame period, the image integration processing unit 4 waits for the next vertical synchronization signal and switches the buffer. In this case, the frame rate of the image update is 30 fps. Thereafter, the image data to be displayed on the front seat display 9-1, the left rear seat display 9-2, and the right rear seat display 9-3 from the image integration processing unit 4 to the image transmission processing unit 5 Is output.
  • FIG. 9 is a timing chart showing the operations of the image integration processing unit 4 and the image transmission processing unit 5 in frame units (vertical synchronization) and line units (horizontal synchronization), and the horizontal axis is time.
  • the image integration processing unit 4 performs the image integration processing using the A buffer
  • the image data in the B buffer is output to the image transmission processing unit 5.
  • the image transmission processing unit 5 multiplexes three pieces of image data in units of horizontal lines, and the image receiving units 8-1 to 8-1 Transmit to 8-3.
  • the image transmission processing unit 5 converts the multiplexed signal of the image data for each line received from the image integration processing unit 4 into packet data, adds a packet header including header information, and adds an image reception unit 8- Send to 1-8-3.
  • the header information includes a packet ID, a line number, identification information of the image receiving units 8-1 to 8-3 that are data transmission destinations, an image data size, and the like.
  • the image transmission processing unit 5 receives the header and packet data from the image receiving units 8-1 to 8-3 in the upstream transfer, and the statuses of the image receiving units 8-1 to 8-3 and the displays 9-1 to 9-3 Get information.
  • the header information includes a packet ID, a line number, identification information of the image receiving units 8-1 to 8-3 that are data transmission sources, and the like.
  • the packet data includes status information representing the states of the image receiving units 8-1 to 8-3 and the displays 9-1 to 9-3, and operation information, not image data.
  • the status information includes communication status, error information, connection information for the displays 9-1 to 9-3, and the like.
  • the operation information is information indicating an operation input of a passenger or the like received by an input device such as a touch panel integrally formed with the displays 9-1 to 9-3, and is, for example, a screen change request.
  • the image transmission processing unit 5 stores the acquired status information and operation information in the memory 6b.
  • the highest-level image receiving unit 8-1 receives the packet header and packet data from the image transmission processing unit 5 in the downstream transfer. Then, it is determined from the header information included in the packet header whether or not the packet data is addressed to itself, only the packet data addressed to itself is acquired, and the image data included therein is displayed on the display 9-1.
  • the image receiving unit 8-1 does not receive packet data other than that addressed to itself, and sends the packet header and packet data to the image receiving unit 8-2 connected to the subsequent stage as it is. Further, the image receiving unit 8-1 sends its status information and operation information to the image transmission processing unit 5 as upstream transfer.
  • the image receiving unit 8-2 also receives only the packet data addressed to itself among the packet data transmitted from the higher-order image receiving unit 8-1 and displays the image data contained therein on the display 9. -2 is sent to the image transmission processing unit 5 through the image receiving unit 8-1.
  • the lower-level image receiving unit 8-3 performs the same process as the image receiving unit 8-2.
  • the landscape determination unit 7 constantly monitors the vehicle information received from the image processing control unit 1 during the operation of the display control device 10, and compares the vehicle information around the famous spot with the landscape information list table shown in FIG. 4. It is determined whether or not the user is at the viewpoint point.
  • FIG. 10 shows the positional relationship among the host vehicle Z, the famous spot A, and the viewpoints KA1, KA2 on the navigation image.
  • FIG. 11 is a flowchart showing the operation of the image integration processing unit 4 according to the first embodiment.
  • FIG. 12 is a flowchart showing the operation of the landscape determination unit 7 according to the first embodiment. The operation of the image integration processing unit 4 illustrated in FIG. 11 and the operation of the landscape determination unit 7 illustrated in FIG. 12 are performed in parallel.
  • the flowcharts of FIGS. 11 and 12 will be described along the flow in which the host vehicle Z moves to positions (Zx0, Zy0), (Zx1, Zy1), and (Zx2, Zy2) as time elapses.
  • the image integration processing unit 4 receives the integration processing parameters instructed from the image processing control unit 1 (step ST1), and each of the displays 9-1 to 9-3 It is set as an integrated processing parameter (step ST2).
  • the initial setting integrated processing parameters include a parameter indicating that a navigation image is selected as an initial screen of the front seat display 9-1, a left rear seat display 9-2, and a right rear seat display.
  • the initial screen of 9-3 includes a parameter indicating that a disc image (for example, a DVD movie) is selected.
  • the host vehicle Z is traveling around the famous spot A and is proceeding toward the viewpoint point KA1 where the famous spot A can be seen.
  • the disk image as the initial screen is displayed on the display 9-2 for the left rear seat and the display 9-3 for the right rear seat.
  • the landscape determination unit 7 first sets the interrupt signal to invalid. Subsequently, the landscape determination unit 7 receives landscape information from the image processing control unit 1 (step ST22), generates a list table as shown in FIG. 4 and stores it in the memory 6c (step ST23). Subsequently, the landscape determination unit 7 receives vehicle information from the image processing control unit 1 (step ST24), and compares the vehicle position included in the vehicle information with a list table of landscape information stored in the memory 6c. Then, it is determined whether or not the vehicle position is within the target area of the famous spot A (step ST25).
  • the landscape determination unit 7 sets a target area within a radius of 0.5 km centered on the position (Ax, Ay) of the famous spot A. Then, it is determined whether or not the vehicle position is in this target area.
  • the landscape determining unit 7 performs the in-viewpoint determination process for the famous place A in step ST26.
  • the landscape determining unit 7 proceeds to step ST27, and the own vehicle position is within the target area of the next famous spot B. It is determined whether or not.
  • the landscape determination unit 7 determines whether or not the own vehicle Z has entered the target areas of the famous points A to G. If the own vehicle Z has entered the target area, the viewpoint of the corresponding famous point In-point determination processing (steps ST26, ST28, ST30) is performed. On the other hand, when the own vehicle Z does not enter any of the target areas A to G (step ST29 “NO”), the landscape determination unit 7 invalidates the interrupt signal (step ST31). Thereafter, the landscape determination unit 7 determines whether or not the display control device 10 ends the operation (step ST32), and repeats the processes of steps ST24 to ST31 while the operation does not end (step ST32 “NO”), When the operation ends (step ST32 “YES”), the process ends.
  • the in-viewpoint determination process for the famous spot A performed in step ST26 of FIG. 12 is shown in the flowchart of FIG.
  • the landscape determination unit 7 first sets the maximum value KAmax of the number of viewpoint points corresponding to the famous place A (step ST41).
  • KAmax 2 is set because there are two viewpoints KA, KA1 and KA2, at which the sight spot A can be seen.
  • the landscape determination unit 7 sets a count value h for counting the viewpoint point KA to 1 (step ST42).
  • the landscape determination unit 7 determines whether or not the vehicle position is within the viewpoint point KA1 (step ST43).
  • the area indicating the viewpoint point KA1 is defined by the area information KA1_00 to KA1_01 shown in FIG.
  • KA1_00 and KA1_01 indicate the positions of the opposite corners by latitude and longitude
  • the rectangular area of the viewpoint point KA1 is defined by these KA1_00 and KA1_01.
  • step ST ⁇ b> 3 the image integration processing unit 4 receives an interrupt signal from the landscape determination unit 7.
  • the interrupt signal of the landscape determination unit 7 is set to invalid. Therefore, the image integration processing unit 4 determines that the interrupt signal is not valid (step ST4 “NO”), and proceeds to step ST13.
  • the image processing control unit 1 instructs the image integration processing unit 4 to change the screen change request.
  • the integrated processing parameters for generating the rear screen are output.
  • step ST13 when the image integration processing unit 4 receives a screen change request from the image processing control unit 1 (step ST13 “YES”), the image integration processing unit 4 continues to receive integration processing parameters (step ST14). Switching to the integrated processing parameter received from the parameter (step ST9). The image integration processing unit 4 executes image integration processing using the switched integration processing parameters, generates image data according to the screen change request (step ST10), and outputs the generated image data to the image transmission processing unit 5. (Step ST11).
  • the image integration processing unit 4 determines whether or not the integration processing parameters are stored in the memory 6a (step ST15). If it is stored, the integration processing parameter is acquired from the memory 6a (step ST16), and the integration processing parameter is switched from the already set (step ST9).
  • the integrated processing parameters stored in the memory 6a are information for generating image data before the camera image is interrupted and displayed, and the display 9-2 for the left rear seat and the display 9 for the right rear seat. This is used to return to the original display screen when the interrupt display of the camera image is completed in -3. Accordingly, the image integration processing unit 4 generates screen data using the same integration processing parameters as before the camera image interrupt display (step ST10), and outputs the generated image data to the image transmission processing unit 5 (step ST10). ST11).
  • step ST13 If there is no screen change request (“NO” in step ST13) and no integration processing parameter is stored in the memory 6a (“NO” in step ST15), the image integration processing unit 4 sets the integration processing parameter that has already been set. The process proceeds to step ST10 without changing.
  • step ST11 the image integration processing unit 4 determines whether or not the display control apparatus 10 ends the operation (step ST12), and during the time when the operation does not end (step ST12 “NO”), the steps ST3 to ST11 are performed. If the process is repeated and the operation ends (step ST12 “YES”), the process ends.
  • the landscape determination unit 7 determines that the vehicle position is within the viewpoint point KA1 in step ST43 shown in FIG. 13 (step ST43 “YES”). Subsequently, the landscape determination unit 7 receives vehicle information including the current position and traveling direction of the host vehicle from the image processing control unit 1, and acquires position information of the famous spot A from the list table of the memory 6c (step ST47). A camera position that can image the sight spot A is calculated (step ST48), and a camera to be used for imaging is determined from the cameras 11-1 to 11-4 (step ST49). Then, the landscape determination unit 7 sets the interrupt signal to be valid (step ST50), and notifies the image integration processing unit 4 of the camera position information indicating the camera determined in step ST49 (step ST51).
  • steps ST48 and ST49 an example of the camera determination method in steps ST48 and ST49 will be described. Assume that the traveling direction of the vehicle and the imaging directions of the cameras 11-1 to 11-4 are as shown in FIG. In this case, in the own vehicle Z at the position (Zx1, Zy1) in FIG. 10, since the famous spot A exists in the imaging direction of the left camera 11-2, the left camera 11-2 is determined. Is done.
  • step ST3 the image integration processing unit 4 receives an interrupt signal from the landscape determination unit 7.
  • the interrupt signal of the landscape determination unit 7 is set to be valid. Therefore, the image integration processing unit 4 determines that the interrupt signal is valid (step ST4 “YES”), and is an initial screen of the display 9-2 for the left rear seat and the display 9-3 for the right rear seat.
  • the disc image integration processing parameters are temporarily stored in the memory 6a (step ST5).
  • the image integration processing unit 4 receives notification of the camera position information for imaging the sight spot A from the landscape determination unit 7 (step ST6), and displays the display 9-2 for the left rear seat and the display 9- for the right rear seat. 3 is selected as the integration processing parameter for generating image data 3 (step ST8), and the left image acquired by the image acquisition unit 3-5 from the disk image acquired by the image acquisition unit 3-1. It is set to switch to the camera image of the secondary camera 11-2 (step ST9).
  • the image integration processing unit 4 may set the integration processing parameters so as to switch the entire screen to the camera image as shown in FIG. 7B, or the child screen 21 as shown in FIG. 7C.
  • the integrated processing parameter may be set so as to be displayed.
  • the image integration processing unit 4 uses the camera image captured by one camera as it is. However, for example, when the sight spot A is located at the end of the imaging range of one camera and spans the imaging range of multiple cameras, the camera images captured by multiple cameras are combined. Also good.
  • the image integration processing unit 4 switches from the already set integration processing parameters to the integration processing parameters set in steps ST7 and ST8 (step ST9), and executes the image integration processing using the switched integration processing parameters.
  • the image data with the camera image interrupted is output to the image transmission processing unit 5.
  • the display 9-2 for the left rear seat and the display 9-3 for the right rear seat are displayed on the left camera from the disc image display screen when the host vehicle Z enters the journey W2 from the journey W1.
  • the display is switched to the display screen of the camera image captured in 11-2.
  • the vehicle Z enters the route W3 deviated from the viewpoint point KA1.
  • the landscape determination unit 7 determines that the vehicle position is not within the viewpoint point KA1 in step ST43 shown in FIG. 13 (step ST43 “NO”), and sets the interrupt signal to be invalid (step ST44).
  • the image integration processing unit 4 executes the image integration processing using the integration processing parameters related to the image data before camera image interruption stored in the memory 6a.
  • the display 9-2 for the left rear seat and the display 9-3 for the right rear seat change from the camera image display screen to the disc image display screen when the host vehicle Z enters the journey W3 from the journey W2.
  • the landscape determination unit 7 determines that the own vehicle position is within the viewpoint point KA2 in step ST43 shown in FIG. 13 (step ST43 “YES”), and the own vehicle position, the traveling direction, and the famous spot A in the list table.
  • the camera used for imaging is determined based on the position information (steps ST47 to ST49).
  • the landscape determination unit 7 sets the interrupt signal to be valid (step ST50), and notifies the camera position information determined in step ST49 to the image integration processing unit 4 (step ST51).
  • the image integration processing unit 4 interrupts the camera image captured by the rear camera 11-4 notified from the landscape determination unit 7 at the viewpoint point KA2 as well as at the viewpoint point KA1.
  • Image data is generated and output to the display 9-2 for the left rear seat and the display 9-3 for the right rear seat via the image transmission processing unit 5.
  • the display 9-2 for the left rear seat and the display 9-3 for the right rear seat allow the rear camera 11- from the disc image display screen when the host vehicle Z enters the journey W4 from the journey W3. 4 is switched to the display screen of the camera image taken in step 4.
  • the journey W5 is not in the viewpoint spot, so the display 9-2 for the left rear seat
  • the display 9-3 for the right rear seat returns from the display screen of the camera image captured by the rear camera 11-4 to the display screen of the disk image.
  • the landscape determination unit 7 first determines whether or not the own vehicle has entered the target area of the sight spot in the flowchart shown in FIG. In the flowchart, it is configured to determine whether or not the point of interest is within the viewpoint point, but it is determined whether or not the point of interest is entered directly without determining whether or not the target area is entered. You may make it the structure which performs.
  • the display control apparatus 10 includes the image acquisition units 3-3 to 3-6 that acquire camera images from the cameras 11-1 to 11-4 that image the periphery of the vehicle, and the vehicle periphery.
  • a landscape determination unit 7 that determines whether the scenery of the vehicle is good, and a camera image acquired by any of the image acquisition units 3-3 to 3-6 when the landscape determination unit 7 determines that the scenery around the vehicle is good, Since it is configured to include the image integration processing unit 4 that interrupts the image data displayed on the displays 9-2 and 9-3 arranged for the rear seats of the vehicle, it is automatically used when driving in a spot with good scenery.
  • Embodiment 2 At night, or in bad weather such as rainfall or snowfall, even if you are driving a viewpoint where you can see a spectacular spot, you may not be able to see the spot or you may see it. Therefore, in the display control apparatus 10 according to the second embodiment, the landscape determination unit 7 considers the traveling environment of the vehicle such as nighttime and bad weather in addition to the landscape information as illustrated in FIG. It is configured to determine the quality of the scenery.
  • the display control apparatus 10 which concerns on Embodiment 2 is the same structure on the drawing as the display control apparatus 10 which concerns on Embodiment 1 shown in FIG. 1, FIG. 1 is used below.
  • the landscape determination unit 7 of the second embodiment operates according to the flowchart shown in FIG. 14 instead of the flowchart shown in FIG. 13 of the first embodiment. Note that steps ST41 to ST51 shown in FIG. 14 are the same processes as steps ST41 to ST51 shown in FIG.
  • step ST43 shown in FIG. 14 when the landscape determination unit 7 determines that the vehicle position is within the viewpoint point KAh (step STST43 “YES”), it is included in the vehicle information notified from the image processing control unit 1. Based on the date information, it is determined whether or not the present is night (step ST61). When the current time is night (step ST61 “YES”), the scenery determination unit 7 determines that the famous spot A cannot be seen at night even if the host vehicle is passing through the viewpoint point KAh, that is, the scenery is not good. Then, the interrupt signal is set invalid (step ST44).
  • the landscape determination unit 7 determines whether or not the weather is bad such as rain or snow based on the wiper operating state information included in the vehicle information notified from the image processing control unit 1 (step ST62). If the weather is currently in bad weather (“YES” in step ST62), the scenery determination unit 7 is in a superb view where the host vehicle is passing through the viewpoint KAh and expected to see the famous spot A due to rain or snow. It is determined that it cannot be seen, that is, the landscape is not good, and the interrupt signal is set to be invalid (step ST44).
  • the landscape determination unit 7 sets the interrupt signal to be invalid in step ST44, so even if the host vehicle is passing the viewpoint point KAh, the display 9 for the left rear seat -2 and the right rear seat display 9-3 are not interrupted and displayed for the camera image capturing the sight spot A.
  • the scenery determination unit 7 proceeds to steps ST47 to ST51 and sets an interrupt signal to be effective, so that the display for the left rear seat 9-2 and the display for the right rear seat An interruption display of the camera image obtained by capturing the sight spot A is performed on 9-3.
  • the landscape determination unit 7 determines whether it is night based on the date / time information, but may determine whether it is night based on information indicating the lighting state of the light. Further, it may be determined whether it is night based on the luminance distribution of the camera image. Moreover, although the landscape determination part 7 determines whether it is bad weather based on the information of a wiper operation state, it determines whether it is bad weather based on the detection result of various sensors, such as a rain detection sensor and an atmospheric pressure sensor. Also good. Further, it may be determined whether the weather is bad by acquiring weather information on the Internet via an outside vehicle network.
  • the scenery determination unit 7 is configured to determine the quality of the scenery around the vehicle based on the scenery information indicating the point where the scenery is good and the traveling environment of the vehicle. If the superb view scenery is not seen or is not the expected scenery, useless display switching of the display arranged for the rear seat is not performed. Therefore, the passenger in the rear seat can enjoy moving the vehicle without disturbing the viewing of the DVD or the like when the driving environment is bad and the scenic view is not visible.
  • Embodiment 3 FIG.
  • the landscape determination unit 7 determines the scenery around the vehicle based on the landscape information indicating the point where the scenery is good and the environmental conditions that affect the appearance of the landscape. It is configured to determine pass / fail.
  • FIG. 1 is used below.
  • “environmental conditions” in the list table shown in FIG. 4 are used as environmental conditions that affect the appearance of the landscape.
  • the landscape determination unit 7 of the third embodiment operates according to the flowchart shown in FIG. 15 instead of the flowchart shown in FIG. 13 of the first embodiment. Note that steps ST41 to ST51 shown in FIG. 15 are the same processes as steps ST41 to ST51 shown in FIG.
  • step ST43 when the landscape determination unit 7 determines that the vehicle position is within the viewpoint point KAh (step ST43 “YES”), it is included in the vehicle information notified from the image processing control unit 1. Based on the date information, it is determined whether or not the present is night (step ST71). If the current time is not night (step ST71 “NO”), the landscape determination unit 7 proceeds to step ST73.
  • step ST71 “YES”) the landscape determination unit 7 refers to the list table shown in FIG. 4 to determine whether or not the night view is set as the environmental condition of the viewpoint point KAh. Determination is made (step ST72). For example, when the vehicle position is within the viewpoint point KA1, since “ ⁇ ” is set for the night view as the environmental condition of the viewpoint point KA1 in the list table of FIG. 4, the landscape determination unit 7 determines that there is a night view effect ( Step ST72 “YES”), the process proceeds to step ST73.
  • step ST72 “NO” when the night view is not set at the viewpoint point KAh (step ST72 “NO”), the landscape determination unit 7 determines that the sight spot A is not visible because it is dark at night, that is, the landscape is not good. Invalidation is set (step ST44). In this example, it is determined that a famous spot without night view effect is not visible at night, and determination of weather and seasonal environmental conditions (steps ST73 to ST75) is skipped.
  • step ST73 the landscape determination unit 7 determines whether or not the weather condition is raining or snowing based on the wiper operating state information included in the vehicle information notified from the image processing control unit 1. If the driving environment of the vehicle is not raining or snowing (step ST73 “NO”), the landscape determination unit 7 proceeds to step ST75.
  • the landscape determination unit 7 refers to the list table shown in FIG. 4 and the presence / absence of weather is set as the environmental condition of the viewpoint point KAh. It is determined whether or not (step ST74). For example, when the vehicle position is within the viewpoint point KA1, “ ⁇ ” is set for the rain effect of the weather and “X” is set for the snow effect as the environmental condition of the viewpoint point KA1 in the list table of FIG.
  • the scenery determination unit 7 determines that there is no weather effect, that is, the scenery at the famous spot A is not good due to rain or snow (step ST74 “NO”), and sets the interrupt signal to be invalid (step ST44).
  • the landscape determination unit 7 looks at the sight spot A as a superb view due to the rain effect or the snow effect, that is, the landscape. It determines with it being good and progresses to step ST75.
  • step ST75 the landscape determination unit 7 determines the current season based on the date and time information included in the vehicle information notified from the image processing control unit 1, and refers to the list table shown in FIG. It is determined whether or not a seasonal effect corresponding to the current season is set as the environmental condition for KAh (step ST75). For example, if the vehicle position is within the viewpoint point KA1, “ ⁇ ” is set only for spring as the environmental condition of the viewpoint point KA1 in the list table of FIG. Conceivable. Therefore, when the current season is spring, the landscape determination unit 7 determines that the landscape at the famous spot A is good ("YES" in step ST75), and proceeds to step ST47. On the other hand, if the current season is other than spring, the landscape determination unit 7 determines that the landscape is not good and sets the interrupt signal to be invalid (step ST44).
  • the landscape determination unit 7 proceeds to steps ST47 to ST51 and sets the interrupt signal to be effective, so the display 9-2 for the left rear seat and the right An interrupt display of the camera image obtained by capturing the famous spot A is performed on the rear seat display 9-3.
  • the landscape determination unit 7 sets the interrupt signal to be invalid in step ST44, so that the host vehicle is passing the viewpoint point KAh. Even in such a case, the interrupt display of the camera image that captures the landmark A is not performed on the display 9-2 for the left rear seat and the display 9-3 for the right rear seat.
  • the landscape determination unit 7 can determine the environmental condition based on information other than the date / time information and the wiper operating state information.
  • the scenery determination unit 7 determines the quality of the scenery around the vehicle based on the scenery information indicating the point where the scenery is good and the environmental condition that affects the appearance of the scenery. Since the configuration is adopted, the interrupt display can be selectively performed only when the scenery that changes in appearance according to the environment outside the vehicle is good. Therefore, even if the passengers in the rear seats are intensive with viewing DVDs or the like on the displays arranged in the respective seats, they do not miss the superb scenery outside the vehicle. If the scenery outside the vehicle is not visible or not the expected scenery, no unnecessary interrupt display is provided, so passengers in the rear seats can watch DVDs etc. when the driving environment is bad and the scenery is not visible. You can enjoy moving without disturbing the car.
  • Embodiment 4 FIG.
  • the landscape information is used to determine the quality of the landscape.
  • the camera image obtained by capturing the scenery outside the vehicle is analyzed to determine the quality of the landscape.
  • FIG. 1 is used below.
  • recommended patterns for determining the quality of the scenery are stored in advance.
  • a recommended pattern there is an image having a composition with a good landscape. Also, images of buildings, mountains, seas, lakes, and the like that are landmarks such as towers, castles, and bridges may be used.
  • the landscape determination unit 7 collates the camera images of the cameras 11-1 to 11-4 acquired by the image acquisition units 3-3 to 3-6 with the recommended pattern by a method such as pattern matching, and the matching degree is determined in advance. If the threshold value is greater than or equal to the threshold, it is determined that the scenery around the vehicle is good and the interrupt signal is set to be valid.
  • the landscape determination unit 7 selects, for example, a camera image captured by the left camera 11-2 among the camera images of the cameras 11-1 to 11-4 acquired by the image acquisition units 3-3 to 3-6.
  • the matching degree is equal to or greater than the threshold
  • the camera image captured by the left camera 11-2 is displayed as an interrupt on the left rear seat display 9-2 and the right rear seat display 9-3. decide.
  • the recommended pattern may be color information indicating the color distribution of an image with a good landscape or luminance information indicating a luminance distribution. For example, when at least one of red or yellow occupies a predetermined ratio or more in the camera image, the landscape determination unit 7 determines that a landscape including autumn leaves, that is, a landscape is good. In addition, for example, the landscape determination unit 7 shows that if various colors are uniformly distributed in the camera image, a flower field, if there are many pink distributions in the left and right areas of the camera image, a row of cherry trees, and a blue distribution in the upper area of the camera image.
  • the landscape determination unit 7 detects the luminance distribution of the camera image, and includes an area having a luminance lower than a predetermined value, that is, a dark area, and an area having a luminance higher than the predetermined value, that is, a bright area. When a peak is detected on both sides, it may be determined that the night view is illuminated.
  • the landscape determination unit 7 is configured to analyze the camera images acquired by the image acquisition units 3-3 to 3-6 and determine the quality of the scenery around the vehicle. It is possible to call attention so as not to miss a superb view of a sightseeing spot that is not on the guidebook, the map data of the navigation device or the Internet.
  • the scenery determination unit 7 is configured to determine the quality of the scenery by comparing the camera image with a predetermined recommended pattern. You can enjoy moving around the car while discovering and appreciating new places of interest.
  • the display control apparatus is adapted to be used for an in-vehicle display system such as an RSE because the camera image obtained by capturing the scenery outside the vehicle is interrupted and displayed on the rear seat display when passing through a point with good scenery. ing.
  • 1 image processing control unit 2 internal bus, 3-1 to 3-n image acquisition unit, 4 image integration processing unit, 5 image transmission processing unit, 6a, 6b, 6c memory, 7 landscape determination unit, 8-1 to 8 -M image receiver, 9-1 to 9-m display, 10 display control device, 11-1 to 11-4 camera, 21 sub-screens, A and B famous spots, KA1, KA2, KB1 viewpoints, V shield , W1-W5 journey, Z own vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　表示制御装置は、車両周囲を撮像するカメラからカメラ画像を取得する画像取得部と、車両周囲の風景の良否を判定する風景判定部と、風景判定部により車両周囲の風景が良いと判定された場合に画像取得部が取得するカメラ画像を後部座席用に配置されたディスプレイが表示する画像データに割り込ませる画像統合処理部とを備える。

Description

表示制御装置および車載表示システム
　この発明は、車両の後部座席用ディスプレイに表示する内容を制御する表示制御装置および車載表示システムに関するものである。
　近年、ナビゲーションシステムおよび車速メータ等の計器類を統合した計器パネル、車載カメラを用いた後方モニタリングシステム、車両周辺監視および運転支援システム、ならびにＲＳＥ（Ｒｅａｒ　Ｓｅａｔ　Ｅｎｔｅｒｔａｉｎｍｅｎｔ）など、表示装置を搭載した車両が増えている。特にＲＳＥにより、車内でデジタル放送、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）およびＢＤ（Ｂｌｕ－ｒａｙ　Ｄｉｓｃ；登録商標、以下では登録商標の記載を省略する）などを楽しむことができるため、長時間の移動または渋滞などの退屈しがちな状況でも、同乗者は車内にいる時間を快適に過ごすことができるようになった。その一方で、同乗者がＲＳＥでの視聴に夢中になるあまり、移動途中に存在する絶景地点、観光地名所およびランドマークなどに気づかず見逃してしまい、旅行の楽しみが減ってしまうことがあった。仮に運転者が声をかけても、ヘッドホンをしていて聞こえない、また、子供もしくは高齢者の場合には視聴を優先するあまり聞こえていても反応しないこともあり、同乗者が後々に絶景地点などを見逃したことを後悔することがあった。
　絶景地点などの見逃しを防止するために、例えば特許文献１に係る画面設計支援装置のようにイベント発生時に割り込み画面をポップアップ表示することで、ＲＳＥ視聴中の同乗者に通知することが考えられる。
　また、例えば特許文献２に係るナビゲーション装置のように、観光地点に設置されたカメラ映像をネットワーク経由で受信して表示することが考えられる。
特開２００８－４０６６６号公報 特開２００７－１０８１１９号公報
　上記特許文献１では、予め登録された文字等の単なるポップアップ表示による臨場感のない通知であるため、同乗者がＤＶＤ等の視聴を中断してまで、車両周囲に目線を変えるほどのインパクトを与えることができないという課題があった。
　上記特許文献２では、観光地点に設置されたカメラのライブ映像を無線ネットワークで車両に伝送するため、無線干渉により表示映像が途中で切れる、画質が悪いなど、臨場感のある映像を継続して提供できないという課題があった。
　また、カメラの設置されていない観光地点には対応することができないという課題もあった。
　この発明は、上記のような課題を解決するためになされたもので、ＲＳＥを視聴中の同乗者に対して、車両周囲の風景を見逃さないよう注意喚起することを目的とする。
　この発明に係る表示制御装置は、車両周囲を撮像するカメラからカメラ画像を取得する画像取得部と、車両周囲の風景の良否を判定する風景判定部と、風景判定部により車両周囲の風景が良いと判定された場合、画像取得部が取得するカメラ画像を、車両の後部座席用に配置されたディスプレイが表示する画像データに割り込ませる画像統合処理部とを備えるものである。
　この発明によれば、車両周囲の風景が良い場合に後部座席用のディスプレイにカメラ画像を割り込み表示するようにしたので、後部座席の同乗者に対して現在の車両周囲の風景を提供でき、当該風景を見逃さないよう注意喚起することができる。
この発明の実施の形態１に係る表示制御装置を適用した車載表示システムの構成例を示すブロック図である。 実施の形態１の画像取得ユニットに接続されるカメラと、カメラが撮影した画像を表示するディスプレイの設置例を示す図である。 図２のディスプレイの設置状況を車内後部座席から見た様子を示す図である。 風景情報をリストテーブルにした例を示す図である。 実施の形態１の画像伝送処理部と画像受信部の接続方法の例を示す図である。 実施の形態１においてディスプレイの表示構成例を示す図である。 実施の形態１において車両が視点地点を通過するときのディスプレイの割り込み表示の例を示す図である。 実施の形態１の画像統合処理部による画像取り込みおよび画像統合処理を行うためのバッファの設定例を示す図である。 実施の形態１の画像統合処理部と画像伝送処理部のフレーム単位およびライン単位での動作を示したタイミングチャートである。 実施の形態１においてナビ画像上の自車両Ｚと名所地点Ａと視点地点ＫＡ１，ＫＡ２との位置関係を示す図である。 実施の形態１に係る画像統合処理部の動作を示すフローチャートである。 実施の形態１に係る風景判定部の動作を示すフローチャートである。 図１２のステップＳＴ２６における名所地点Ａの視点地点内判定処理を示すフローチャートである。 この発明の実施の形態２に係る風景判定部の動作を示すフローチャートである。 この発明の実施の形態３に係る風景判定部の動作を示すフローチャートである。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、この発明の実施の形態１に係る表示制御装置１０を適用した車載表示システムの構成例を示すブロック図である。車載表示システムは、車両に搭載されるものであり、表示制御装置１０と、複数の画像受信部８－１～８－ｍと、複数のディスプレイ９－１～９－ｍとを備えている。
　表示制御装置１０は、全体の動作を制御する画像処理制御部１と、複数の画像取得部３－１～３－ｎからなる画像取得ユニット３と、複数画像の統合処理を行う画像統合処理部４と、画像受信部８－１～８－ｍへ画像データを伝送する画像伝送処理部５と、メモリ６ａ，６ｂ，６ｃと、風景の良否を判定する風景判定部７とを備えている。
　画像処理制御部１は、本装置全体の制御を行うものであり、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、周辺機器との間で情報をやり取りする入出力ポート、ネットワークインタフェースなどを備えている。
　画像取得部３－１～３－ｎ、画像統合処理部４、画像伝送処理部５、および風景判定部７は、ＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路である。メモリ６ａ，６ｂ，６ｃは、不揮発性メモリ、揮発性メモリ、またはＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等である。
　画像処理制御部１は、内部バス２を経由して、画像取得部３－１～３－ｎ、画像統合処理部４、画像伝送処理部５、および風景判定部７のそれぞれと情報のやり取りが可能である。画像処理制御部１は、画像取得部３－１～３－ｎに対して、画像のフォーマットおよび動作モード等のパラメータを設定したり、画像取得の開始および停止を指示したりする。また、画像処理制御部１は、画像統合処理部４に対して、画像の選択、選択した画像の加工、合成、グラフィックス重畳、処理開始および処理停止など、動作に必要な指示を統合処理パラメータとして与え、画像統合処理を制御する。また、画像処理制御部１は、画像伝送処理部５と内部バス２を経由して、メモリ６ｂに格納された画像受信部８－１～８－ｍおよびディスプレイ９－１～９－ｍのステータス情報のうち、表示制御装置１０に接続されているディスプレイの個数、表示サイズ、通信状態、およびエラー情報を取得する。また、画像処理制御部１は、画像受信部８－１～８－ｍと内部バス２を経由して、ディスプレイ９－１～９－ｍの操作手段が同乗者等から受け付けた操作情報を取得する。
　また、画像処理制御部１は車内ネットワークを経由して車両から車両情報を取得可能である。車両情報は、例えば、自車位置、進行方向、車速、加速度、日時、ワイパの作動状態、ライトの点灯状態、シフトレバーのポジションなどの情報である。車内ネットワークは、例えばＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）である。
　さらに、画像処理制御部１は車外ネットワークを経由して車外の情報源から風景情報を取得可能である。風景情報の詳細は、後述の図４で説明する。車外ネットワークは、例えば無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）である。
　画像処理制御部１は、車内ネットワークおよび車外ネットワークを経由して取得した車両情報および風景情報を、内部バス２を経由して風景判定部７へ出力する。風景情報は、メモリ６ｃに格納される。
　なお、実施の形態１は画像処理制御部１が車内ネットワーク経由で自車位置の情報を取得する構成にしたが、この構成に限定されるものではなく、例えば表示制御装置１０が内部にＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）、ジャイロセンサおよび加速度センサ等を用いたデッドレコニング（自律航法）機能を備えて自車位置の情報を生成してもよい。また、画像処理制御部１がスマートフォン等の携帯情報端末から位置情報を取得して自車位置として用いてもよい。
　画像取得ユニット３は、ｎ個（ｎ≧２）の画像取得部３－１～３－ｎを備える。画像取得部３－１～３－ｎは、取得した入力画像の色変換、フォーマット変換、およびフィルタ処理等の前処理を行って、画像統合処理部４へ出力する。入力画像として、車両に搭載されたカメラが車両周囲を撮像したカメラ画像がある。また、例えば車載表示システムをＲＳＥに適用し、車両に搭載されたディスク装置が出力するＤＶＤまたはＢＤ等のディスク画像、ナビゲーション装置が出力するナビ画像、表示制御装置１０の外部入力端子に接続されたスマートフォンが出力するスマホ画像等を、入力画像として用いることも可能である。
　図２は、表示制御装置１０に接続されるカメラとディスプレイの車両設置例を示す。図２に示す通り、車両の前後左右には、車両周囲の風景画像を撮像するカメラ１１－１～１１－４が設置されている。カメラ１１－１～１１－４は、画像取得部３－３～３－６に接続される。また、画像受信部８－１～８－ｍに接続されるディスプレイとして、センタコンソールに前部座席用のディスプレイ９－１、左右前部座席の各背面に左側後部座席用のディスプレイ９－２と右側後部座席用のディスプレイ９－３がそれぞれ設置されている。図３は、図２に示したディスプレイ９－１～９－３の設置状況を、車内後部座席から見た様子を示す。
　なお、車両の前後左右の周囲の風景を撮像できるものであれば、カメラの数およびその設置位置は上記に限定されるものではなく、カメラの画角および解像度等に応じて変更してもよい。
　左右の後部座席用のディスプレイ９－２，９－３はＲＳＥとして利用される。本発明に係る表示制御装置１０は、このディスプレイ９－２，９－３を視聴している後部座席の同乗者が車両周囲の風景を見逃すことがないよう、風景の良い地点を走行しているときにカメラ画像をディスプレイ９－２，９－３に割り込み表示することによって同乗者に通知する。本発明の対象となるディスプレイは、図２および図３に示したディスプレイ９－２，９－３に限定されるものではなく、運転席と助手席より後ろ側の座席用であればよい。また、車両の他、鉄道、船舶および航空機などの移動体における、運転者または操縦者用の座席を除いた残りの座席用のディスプレイであってもよい。
　画像統合処理部４は、画像処理制御部１から受け取る統合処理パラメータに従い、画像取得部３－１～３－ｎが取得した複数の画像の中から選択した画像を、ディスプレイ９－１～９－ｍのいずれかに表示する画像データとして画像伝送処理部５へ出力する。また、画像統合処理部４は、必要に応じて、取得した複数の画像の画像処理および画像合成を行ったり、メニュー画面およびワーニング画面等のグラフィックス生成とグラフィックス重畳を行ったりする。また、画像統合処理部４は、風景判定部７の割り込み信号が有効な場合には、ディスプレイ９－１～９－ｍに表示中の画像データに対して、車両周囲の風景を撮像したカメラ画像を割り込ませる。画像統合処理部４は、これらの処理を行った最終的な画像データを、画像伝送処理部５へ出力する。
　風景判定部７は、画像処理制御部１から受け取った車両情報とメモリ６ｃに格納されている風景情報とを用いて車両周囲の風景の良否を判定し、風景が良いと判定した場合に割り込み信号を有効にする。また、風景判定部７は、車両情報と風景情報とを用いて、自車のどの方向に風景が良い地点があるかを算出して、カメラ１１－１～１１－４の中からその方向を撮像可能なカメラを決定し、カメラ位置情報として画像統合処理部４へ通知する。
　ここで、図４に、風景情報の一例を示す。この例では、風景情報がリストテーブルにされてメモリ６ｃに格納されている。
　以下では、観光地などの風景の良い地点を「名所地点」、名所地点が絶景に見える地点を「視点地点」、名所地点の見え方に影響を及ぼす環境要因を「環境条件」と呼ぶ。
　「名所地点」は、名古屋城などの「地点名」と、緯度経度などの「位置情報」と、車両が名所地点に近づいたか否かの判定を開始する「対象エリア」とを含む。
　名所地点の対象エリア内に存在する「視点地点」は、名所地点が絶景に見える「地点名」と「エリア情報」を含む。
　「環境条件」は、名所地点における「夜景」、「天候」、「季節」といった環境要因の効果の有無と、「名所種別」等の情報を含む。リストテーブルに「○」が記された環境要因は風景の見え方が良くなる効果を与えることを示し、「×」が記された環境要因は風景の見え方が悪くなる効果を与えることを示す。
　例えば、夜間または悪天候時であっても、名所地点によっては風景を楽しむことができる。また、横浜港および神戸港等の港町、スカイツリー、東京タワー、レインボーブリッジおよびベイブリッジ等のようにライトアップされた夜景を楽しむ名所地点がある。また、雨の京都、霧の摩周湖、雲海に浮かぶ城跡等、天候により風情が増す名所地点もある。また、春の桜、夏の海、秋の紅葉、冬の雪景色等、各季節に応じた旬な風景を楽しむ名所地点もある。
　なお、本発明において風景の良い地点を示す風景情報として「名所地点」と「視点地点」の情報は必須であるが、「環境条件」は必須ではなく付加的な情報である。実施の形態１，２では図４に示したリストテーブルのうち「名所地点」と「視点地点」の情報を用いた例を説明し、「環境条件」の情報を用いた例は実施の形態３で説明する。
　メモリ６ｃに格納しておく風景情報は、例えば、画像処理制御部１が車外ネットワークを通じてインターネット上の情報源から取得してもよいし、風景判定部７がナビゲーション装置の地図データに含まれるＰＯＩ（Ｐｏｉｎｔ　Ｏｆ　Ｉｎｔｅｒｅｓｔ）等に基づいて作成してもよいし、同乗者が入力デバイスを操作して風景情報を登録してもよい。
　画像伝送処理部５は、画像統合処理部４から受け取った画像データをディスプレイ９－１～９－ｍに表示する画像としてパケット化し、ヘッダ情報を付加して送信する。また、画像伝送処理部５は、画像受信部８－１～８－ｍおよびディスプレイ９－１～９－ｍのステータス情報および操作情報を受信して、メモリ６ｂに格納させる。画像処理制御部１は、メモリ６ｂに格納された情報を読み出すことで、画像受信部８－１～８－ｍおよびディスプレイ９－１～９－ｍのステータス情報および操作情報を認識できる。
　ｍ個（ｍ≧２）の画像受信部８－１～８－ｍには、ｍ個のディスプレイ９－１～９－ｍが接続される。また、画像受信部８－１～８－ｍは互いにカスケード接続され、画像伝送処理部５が送信したパケットデータの中から自分宛てのパケットデータを選択して受信すると共に、下位接続された画像受信部にパケットデータを転送する。画像受信部８－１～８－ｍは、受信したパケットデータに含まれている画像データをディスプレイ９－１～９－ｍへ出力して表示させる。なお、画像受信部８－１～８－ｍとディスプレイ９－１～９－ｍとを別々の装置として構成したものを接続してもよいし、画像受信部８－１～８－ｍとディスプレイ９－１～９－ｍとを一体に構成してもよい。
　図１のように画像受信部８－１～８－ｍをカスケード接続した場合、画像受信部の接続数を容易に変更できる利点がある。
　なお、接続方法はカスケード接続に限定されるものではない。図５（ａ）の例では、バス１２により画像伝送処理部５と画像受信部８－１～８－ｍのそれぞれとが接続されている。図５（ｂ）の例では、画像受信部８－１～８－ｍそれぞれが個別に画像伝送処理部５に接続されている。なお、図５では画像伝送処理部５と画像受信部８－１～８－ｍ以外の構成は図示を省略している。
　ディスプレイ９－１～９－ｍは、画面とタッチパネルとが一体に構成され、入力デバイスとしても機能する。ディスプレイ９－１～９－ｍは、画像受信部８－１～８－ｍが出力した画像データを受け付けて画面表示すると共に、タッチパネルが受け付けた同乗者等の操作入力を操作情報として画像受信部８－１～８－ｍに出力する。
　なお、入力デバイスは、タッチパネルに限定されるものではなく、スイッチ、ボタン、音声認識装置等であってもよい。
　図６は、ディスプレイ９－１～９－３の画面構成例を示す。図６に示す通り、表示制御装置１０に対して複数の画像が入力される場合に、１画面に１つの入力画像を表示する、１画面に複数の入力画像を並べて配置して同時に１つの統合画面として表示するなど、自由に画面を構成することが可能である。
　例えば、図６（ａ）では前部座席用のディスプレイ９－１はナビ画像のみ、左後部座席用のディスプレイ９－２はディスク画像（例えば、ＤＶＤの映画）のみ、右後部座席用のディスプレイ９－３は、右方用のカメラ１１－３と後方用のカメラ１１－４が撮像したカメラ画像が合成された右後方画像のみ表示している。図６（ｂ）の前部座席用のディスプレイ９－１は、ディスク画像と、スマホ画像と、左方用のカメラ１１－２と後方用のカメラ１１－４が撮像したカメラ画像が合成された左後方画像と、右方用のカメラ１１－３と後方用のカメラ１１－４が撮像したカメラ画像が合成された右後方画像とを統合した画面を表示している。図６（ｃ）では左後部座席用のディスプレイ９－２と右後部座席用のディスプレイ９－３が統合画面を表示しているが、各画像の表示面積が異なっている。図６（ｄ）の左後部座席用のディスプレイ９－２は、上から見た車両の形をした画像のまわりにカメラ１１－１～１１－４が撮像したカメラ画像を並べて配置した統合画面を表示している。
　なお、詳細は後述するが、ディスプレイ画面上のどこに何の画像を表示するかは、同乗者等が入力デバイスを介して表示制御装置１０へ指示することが可能である。この指示を受けた画像処理制御部１が画像統合処理部４を制御して、同乗者等の指示に応じた画像の統合処理を行い、ディスプレイに表示させる画像データを生成する。
　図７は、車両が視点地点を通過するときのディスプレイ９－１～９－３の割り込み表示の例を示す。図７（ａ）に示すように、前部座席用のディスプレイ９－１にはナビ画像が表示され、左後部座席用のディスプレイ９－２と右後部座席用のディスプレイ９－３にはディスク画像が表示されている。このときの自車両Ｚと名所地点Ｂと視点地点ＫＢ１の位置関係を、前部座席用のディスプレイ９－１のナビ画像上に示す。図７（ａ）では自車両Ｚが視点地点ＫＢ１から遠く、名所地点Ｂが見えない位置にいるため、同乗者用のディスプレイ９－２，９－３にはディスク画像（例えば、ＤＶＤの映画）が表示されている。
　図７（ｂ）に示すように、自車両Ｚが視点地点ＫＢ１に到達すると、ディスプレイ９－２，９－３に前方用のカメラ１１－１が撮像したカメラ画像が割り込み表示される。図７の例では、名所地点Ｂである山を撮像したカメラ画像が割り込み表示されている。
　または、図７（ｃ）に示すように、ディスプレイ９－２，９－３の画面上に、前方用のカメラ１１－１が撮像したカメラ画像用の子画面２１が割り込み表示される、いわゆるピクチャ・イン・ピクチャの構成であってもよい。
　名所地点Ｂが絶景に見える視点地点ＫＢ１において、自動的にディスプレイ９－２，９－３にカメラ画像が表示されるので、後部座席にいる同乗者は各席用に設置されたディスプレイでＤＶＤ等の視聴に夢中になっていても、車両が名所地点Ｂ付近を走行中であることを認識できる。さらに、現在カメラが撮像しているカメラ画像を用いて同乗者へ注意喚起を行うことで、印象強く訴求することができる。よって、後部座席の同乗者が名所地点Ｂを見逃すことなく、旅行中の車移動を楽しむことができる。
　次に、表示制御装置１０の動作を説明する。
　ここでは、画像入力数を７入力（ｎ＝７）、画像出力を３出力（ｍ＝３）とした場合について説明する。
　画像処理制御部１は、車両のイグニッションキーがオンになる等して電源が投入されると、表示制御装置１０の各部を初期化する。例えば、画像処理制御部１が画像統合処理部４と画像伝送処理部５を制御して、初期画面として前部座席用のディスプレイ９－１にナビ画像を表示させ、後部座席用のディスプレイ９－２，９－３にＤＶＤ等のディスク画像を表示させる。
　また、画像処理制御部１から風景判定部７へ、車両情報および風景情報を出力する。風景判定部７は、風景情報を受け取ると、図４に示したようなリストテーブルを生成し、メモリ６ｃに格納する。なお、風景情報は、予めリストテーブルとして作成された状態で、車外ネットワーク経由でダウンロードされ、メモリ６ｃに格納されてもよい。
　画像取得ユニット３において、画像取得部３－１がディスク画像を取得し、画像取得部３－２がナビ画像を取得し、画像取得部３－３が車両前方カメラ画像を取得し、画像取得部３－４が車両左方カメラ画像を取得し、画像取得部３－５が車両右方カメラ画像を取得し、画像取得部３－６が車両後方カメラ画像を取得し、画像取得部３－７がスマホ画像を取得する。ここで、説明を簡単にするため、各入力画像の解像度とフレームレートを各々７２０×４８０ピクセル、３０ｆｐｓとする。
　画像受信部８－１は前部座席用のディスプレイ９－１と接続され、画像受信部８－２は左後部座席用のディスプレイ９－２と接続され、画像受信部８－３は右後部座席用のディスプレイ９－３と接続されている。ここでは、各ディスプレイ９－１～９－３の解像度をＷＶＧＡ（８００×４８０ピクセル）とする。
　画像取得部３－１～３－７は、入力された画像に対してＡ／Ｄ変換およびフォーマット変換を行い、画像統合処理部４へ出力する。画像取得部３－１～３－７は、例えば、入力された画像がアナログ信号の場合にはデジタル信号へ変換する。輝度／色差（ＹＵＶ／ＹＣｂＣｒ系）フォーマットの場合には色フォーマットをＲＧＢフォーマットへ変換する。
　なお、色変換およびフォーマット変換は、画像取得部３－１～３－７ではなく画像統合処理部４が実施してもよい。また、画像取得部３－１～３－７でＲＧＢフォーマットへの変換を行わず、画像統合処理部４が輝度／色差（ＹＵＶ／ＹＣｂＣｒ系）フォーマットのまま画像処理を行ってもよい。
　次に、画像統合処理部４の動作を説明する。
　図８は、画像統合処理部４の画像取り込み、画像統合処理を行うためのバッファの設定例を示したものである。画像統合処理部４は、まず、メモリ６ａ内に画像取得部３－１～３－７が出力した画像を取り込むためのバッファ設定を行う。各バッファは、ダブルバッファ（Ａバッファ、Ｂバッファ）で構成される。画像統合処理部４は、ディスク画像用バッファをダブルバッファ（Ａバッファ、Ｂバッファ）で構成し、バッファ領域（ｃａｐ＿０＿Ａ、ｃａｐ＿０＿Ｂ）を確保する。同様に、ナビ画像用バッファ（ｃａｐ＿１＿Ａ、ｃａｐ＿１＿Ｂ）、左方画像用バッファ（ｃａｐ＿２＿Ａ、ｃａｐ＿２＿Ｂ）、後方画像用バッファ（ｃａｐ＿３＿Ａ、ｃａｐ＿３＿Ｂ）など、７系統分のバッファ領域を確保する。
　このとき、各バッファサイズは、Ａバッファ、Ｂバッファともに入力画像の解像度×階調数×画像入力数分となる。
　画像統合処理部４は続いて、メモリ６ａ内に画像統合処理および表示用のバッファの設定を行う。ここでは、ＷＶＧＡの３画面を表示するため、Ａバッファ、Ｂバッファともに、出力画像の解像度×階調数×画像出力数分のサイズとなる。画像統合処理部４は、画像統合処理・表示用のバッファとして、Ａバッファ（ｄｉｓｔ＿ｃｅｌｌ＿０＿Ａ、ｄｉｓｔ＿ｃｅｌｌ＿１＿Ａ、ｄｉｓｔ＿ｃｅｌｌ＿２＿Ａ）、Ｂバッファ（ｄｉｓｔ＿ｃｅｌｌ＿０＿Ｂ、ｄｉｓｔ＿ｃｅｌｌ＿１＿Ｂ、ｄｉｓｔ＿ｃｅｌｌ＿２＿Ｂ）を設定する。
　画像統合処理部４は続いて、ディスク画像用バッファの画像取込用バッファにＡバッファ（ｃａｐ＿０＿Ａ）を、画像読出用バッファにＢバッファ（ｃａｐ＿０＿Ｂ）を設定する。画像統合処理部４は、入力画像の取り込み動作として、まず、バッファＡがディスク画像を取り込み動作中か否かを判定する。取り込み中ならバッファを変更せず、各バッファの設定も変更しない。取り込み完了なら画像取込用バッファをＡバッファからＢバッファに切り替え、画像読出用バッファをＢバッファからＡバッファに切り替え、取り込み動作を起動する。取り込み動作の起動後、７２０×４８０ピクセルの１画面分の画像取り込みが終了したら、取り込み動作を停止する。以降、画像取り込み動作を起動、１フレーム分取得、取り込み動作停止の各処理を繰り返す。画像統合処理部４は同様の処理を入力画像それぞれについて行う。
　画像統合処理部４は続いて、画像統合処理を行う。画像統合処理部４は、各画像読出用バッファにある各入力画像を使用して、画像処理制御部１が統合処理パラメータにより指定する画像変換処理および合成処理を実施し、画像統合処理・表示用バッファに格納する。画像処理制御部１が指定する画像変換処理とは、例えば拡大、縮小、回転、鏡面変換等である。この例では、左方画像入力が７２０×４８０ピクセルで、画像表示出力が８００×４８０ピクセルであるため、横幅８０ピクセル分を黒とし、等倍で表示する。もしくは、解像度変換を行い、横長の画像として表示してもよい。また、７系統の入力画像のうちの画像処理制御部１が指定する画像を、図６（ｂ）に示したディスプレイ９－１の表示画面のように、上下左右にタイル状に並べて統合してもよい。その場合、８００×４８０ピクセルの画面サイズの１／４は、４００×２４０ピクセルであるため、それぞれの入力画像に対して７２０×４８０ピクセルから４００×２４０ピクセルへの解像度変換を行い、４系統分の画像をタイル状に統合する。なお、図６に示したように、統合画面は、各入力画像を任意のサイズ、任意の数で１つの画面に統合することができる。また、画像統合処理部４は、画像統合処理時に各入力画像の取り込みが完了していない場合には前フレームのデータを使用し、取り込みが完了している場合には取り込みが完了した現フレームのデータを使用して統合処理を行う。
　また、画像統合処理部４は、メニュー画面作成、カメラ画像に写った障害物等の強調表示および画像加工等を行い、それを入力画像に重畳するためのグラフィックス処理の機能を持つ。グラフィックス処理とは、例えば、点描画、線描画、多角形描画、矩形描画、塗りつぶし、グラデーション、テクスチャマッピング、ブレンディング、アンチエリアシング、アニメーション、フォント、ディスプレイリストによる描画、３Ｄ描画などである。
　画像統合処理部４は一連の画像統合処理を完了後、表示用の垂直同期信号を待ち、画像統合処理・表示用バッファをバッファＡからバッファＢへ切り替える。垂直同期信号は例えば画像処理制御部１が出力する。ディスプレイのフレームレートが６０ｆｐｓならば垂直同期信号は１／６０秒に１回の周期となる。画像統合処理部４は、画像統合処理が１フレーム期間内で完了しない場合には次の垂直同期信号を待ってバッファを切り替える。
　この場合、画像更新のフレームレートは３０ｆｐｓとなる。
　その後、画像統合処理部４から画像伝送処理部５へ、前部座席用のディスプレイ９－１、左後部座席用のディスプレイ９－２、および右後部座席用のディスプレイ９－３に表示する画像データを出力する。
　図９は、画像統合処理部４と画像伝送処理部５のフレーム単位（垂直同期）およびライン単位（水平同期）での動作を示したタイミングチャートであり、横軸が時間である。
　画像統合処理部４がＡバッファを使用して画像統合処理を実施している間は、Ｂバッファの画像データを画像伝送処理部５へ出力する。反対に、Ｂバッファを使用して画像統合処理を実施している間は、Ａバッファの画像データを画像伝送処理部５へ出力する。ここでは、３つのディスプレイ９－１～９－３へ表示を行うため、画像伝送処理部５が３つ分の画像データを水平ライン単位で多重して、多重信号として画像受信部８－１～８－３へ伝送する。
　次に、画像伝送処理部５の動作を説明する。
　画像伝送処理部５と画像受信部８－１～８－３のデータ転送は、双方向で行われる。ここで、画像伝送処理部５から画像受信部８－１～８－３への転送を下り転送と呼び、画像受信部８－１～８－３から画像伝送処理部５への転送を上り転送と呼ぶこととする。下り転送時、画像伝送処理部５は、画像統合処理部４より受信した各ライン単位の画像データの多重信号をパケットデータにし、ヘッダ情報を内包したパケットヘッダを付加して、画像受信部８－１～８－３へ送出する。ヘッダ情報には、パケットＩＤ、ライン番号、データ送付先となる画像受信部８－１～８－３の識別情報、画像データサイズ等が含まれる。
　画像伝送処理部５は、上り転送において画像受信部８－１～８－３からヘッダとパケットデータを受信し、画像受信部８－１～８－３およびディスプレイ９－１～９－３のステータス情報を取得する。ヘッダ情報には、パケットＩＤ、ライン番号、データ送付元となる画像受信部８－１～８－３の識別情報等が含まれる。パケットデータには、画像データではなく、各画像受信部８－１～８－３およびディスプレイ９－１～９－３の状態を表したステータス情報、および操作情報が含まれる。ステータス情報は、通信状態、エラー情報、ディスプレイ９－１～９－３の接続情報等である。操作情報は、ディスプレイ９－１～９－３と一体に構成されたタッチパネル等の入力デバイスが受け付けた同乗者等の操作入力を示す情報であり、例えば画面変更要求などである。画像伝送処理部５は、取得したステータス情報および操作情報をメモリ６ｂに格納する。
　次に、画像受信部８－１～８－３の動作を説明する。
　図１のようにカスケード接続された画像受信部８－１～８－３のうち、最上位の画像受信部８－１は、下り転送において、画像伝送処理部５よりパケットヘッダおよびパケットデータを受信し、パケットヘッダに含まれるヘッダ情報から、自分宛てのパケットデータか否かを判定し、自分宛てのパケットデータのみを取得しその中に含まれる画像データをディスプレイ９－１に表示する。画像受信部８－１は、自分宛て以外のパケットデータは受信せず、そのまま、後段に接続された画像受信部８－２へパケットヘッダおよびパケットデータを送出する。また、画像受信部８－１は、上り転送として、自分のステータス情報および操作情報を画像伝送処理部５へ送出する。
　同様に、画像受信部８－２も、上位側の画像受信部８－１から送信されるパケットデータのうち、自分宛てのパケットデータのみを受信して、その中に含まれる画像データをディスプレイ９－２に表示すると共に、自分のステータス情報および操作情報を、画像受信部８－１経由で画像伝送処理部５へ送出する。
　これより下位の画像受信部８－３も、画像受信部８－２と同様の処理を行う。
　次に、風景判定部７の動作を説明する。
　風景判定部７は、表示制御装置１０の動作中、画像処理制御部１から受け取る車両情報を常時監視し、図４に示した風景情報のリストテーブルと照らし合わせて、自車両が名所地点周辺の視点地点にいるか否かを判定する。
　図１０は、ナビ画像上の自車両Ｚと名所地点Ａと視点地点ＫＡ１，ＫＡ２との位置関係を示している。図１１は、実施の形態１に係る画像統合処理部４の動作を示すフローチャートである。図１２は、実施の形態１に係る風景判定部７の動作を示すフローチャートである。図１１に示す画像統合処理部４の動作と、図１２に示す風景判定部７の動作は、並行して行われるものとする。
　以下、自車両Ｚが時間経過に伴い位置（Ｚｘ０，Ｚｙ０）、（Ｚｘ１，Ｚｙ１）、（Ｚｘ２，Ｚｙ２）へ移動する流れに沿って、図１１と図１２のフローチャートを説明する。
　図１１に示す通り、表示制御装置１０が起動するとまず、画像統合処理部４は画像処理制御部１から指示された統合処理パラメータを受け取り（ステップＳＴ１）、ディスプレイ９－１～９－３それぞれの統合処理パラメータとして設定する（ステップＳＴ２）。例えば初期設定用の統合処理パラメータには、前部座席用のディスプレイ９－１の初期画面としてナビ画像を選択することを示すパラメータ、左後部座席用のディスプレイ９－２と右後部座席用のディスプレイ９－３の初期画面としてディスク画像（例えば、ＤＶＤの映画）を選択することを示すパラメータなどが含まれている。
　図１０に示す通り、（Ｚｘ０，Ｚｙ０）の位置において、自車両Ｚは名所地点Ａの周辺を走行しており、名所地点Ａが見える視点地点ＫＡ１に向かって進行中である。自車両Ｚが視点地点ＫＡ１に到達するまでの道程Ｗ１では、左後部座席用のディスプレイ９－２と右後座席用のディスプレイ９－３には初期画面であるディスク画像が表示されている。
　図１２に示す通り、風景判定部７はまず割り込み信号を無効に設定する。続いて風景判定部７は、画像処理制御部１から風景情報を受け取り（ステップＳＴ２２）、図４に示すようなリストテーブルを生成してメモリ６ｃに格納する（ステップＳＴ２３）。続いて風景判定部７は、画像処理制御部１から車両情報を受け取り（ステップＳＴ２４）、この車両情報に含まれる自車位置とメモリ６ｃに格納されている風景情報のリストテーブルとを照らし合わせて、自車位置が名所地点Ａの対象エリア内か否かを判定する（ステップＳＴ２５）。
　例えば、図４に示す通り名所地点Ａの対象エリアが０．５ｋｍである場合、風景判定部７は名所地点Ａの位置（Ａｘ，Ａｙ）を中心とした半径０．５ｋｍ圏内を対象エリアに設定し、この対象エリア内に自車位置が入ったか否かを判定する。風景判定部７は、自車位置が名所地点Ａの対象エリア内であると判定した場合（ステップＳＴ２５“ＹＥＳ”）、ステップＳＴ２６において名所地点Ａの視点地点内判定処理を行う。一方、自車位置が名所地点Ａの対象エリア外であると判定した場合（ステップＳＴ２５“ＮＯ”）、風景判定部７はステップＳＴ２７へ進み、次の名所地点Ｂの対象エリア内に自車位置が入ったか否かを判定する。
　このように、風景判定部７は、名所地点Ａ～Ｇの対象エリア内に自車両Ｚが入ったか否かを判定し、対象エリア内に自車両Ｚが入った場合は対応する名所地点の視点地点内判定処理（ステップＳＴ２６，ＳＴ２８，ＳＴ３０）を行う。一方、自車両Ｚが名所地点Ａ～Ｇのいずれの対象エリア内にも入っていない場合（ステップＳＴ２９“ＮＯ”）、風景判定部７は、割り込み信号を無効にする（ステップＳＴ３１）。その後、風景判定部７は、表示制御装置１０が動作を終了するか否かを判定し（ステップＳＴ３２）、動作が終了しない間（ステップＳＴ３２“ＮＯ”）はステップＳＴ２４～ＳＴ３１の処理を繰り返し、動作が終了した場合（ステップＳＴ３２“ＹＥＳ”）は処理を終了する。
　ここで、図１２のステップＳＴ２６で行う名所地点Ａの視点地点内判定処理を、図１３のフローチャートに示す。なお、ステップＳＴ２８，ＳＴ３０で行う名所地点Ｂ～Ｇの視点地点内判定処理も、図１３に示されたフローチャートと同様である。
　図１３に示す通り、風景判定部７はまず、名所地点Ａに対応する視点地点数の最大値ＫＡｍａｘを設定する（ステップＳＴ４１）。図４の例では名所地点Ａが見える視点地点ＫＡはＫＡ１，ＫＡ２の２個であるため、ＫＡｍａｘ＝２が設定される。また、風景判定部７は、視点地点ＫＡをカウントするカウント値ｈを１に設定する（ステップＳＴ４２）。
　続いて風景判定部７は、自車位置が視点地点ＫＡ１内か否かを判定する（ステップＳＴ４３）。視点地点ＫＡ１を示す領域は、図４に示したエリア情報ＫＡ１＿００～ＫＡ１＿０１で規定される。図１０に示す通り、視点地点ＫＡ１においてＫＡ１＿００とＫＡ１＿０１は向かい合う角の位置を緯度経度などで示しており、これらＫＡ１＿００とＫＡ１＿０１とで視点地点ＫＡ１の矩形領域が規定されている。
　現在、自車両Ｚが位置（Ｚｘ０，Ｚｙ０）を走行中であるため、風景判定部７は自車位置が視点地点ＫＡ１内ではないと判定する（ステップＳＴ４３“ＮＯ”）。そして、風景判定部７は、割り込み信号を無効に設定し（ステップＳＴ４４）、視点地点ＫＡのカウント値ｈをインクリメントし（ステップＳＴ４５）、ｈ＞ＫＡｍａｘではない場合に（ステップＳＴ４６“ＮＯ”）、ステップＳＴ４３へ戻って次の視点地点ＫＡ２と自車位置とを比較する。風景判定部７は、名所地点Ａに対応する視点地点ＫＡ１，ＫＡ２の判定処理を終え、ｈ＞ＫＡｍａｘになった場合（ステップＳＴ４６“ＹＥＳ”）、図１３に示す動作を終了して、図１２のステップＳＴ３２へ進む。
　説明を図１１に戻す。ステップＳＴ３において、画像統合処理部４は風景判定部７から割り込み信号を受信する。位置（Ｚｘ０，Ｚｙ０）では、自車両Ｚが名所地点の対象エリア内を走行していないため、風景判定部７の割り込み信号は無効に設定されている。従って、画像統合処理部４は、割り込み信号が有効でないと判定し（ステップＳＴ４“ＮＯ”）、ステップＳＴ１３へ進む。同乗者がディスプレイ９－２，９－３の入力デバイスを操作して画面変更要求を入力した場合などに、画像処理制御部１が画像統合処理部４に対して画面変更要求の指示と、変更後画面を生成するための統合処理パラメータとを出力する。ステップＳＴ１３において画像統合処理部４は、画像処理制御部１から画面変更要求を受け取った場合（ステップＳＴ１３“ＹＥＳ”）、続けて統合処理パラメータを受け取り（ステップＳＴ１４）、既に設定されている統合処理パラメータから受け取った統合処理パラメータへ切り替える（ステップＳＴ９）。画像統合処理部４は、切り替えた統合処理パラメータを用いて画像統合処理を実行し、画面変更要求に応じた画像データを生成し（ステップＳＴ１０）、生成した画像データを画像伝送処理部５へ出力する（ステップＳＴ１１）。
　一方、画像処理制御部１から画面変更要求を受け取らなかった場合（ステップＳＴ１３“ＮＯ”）、画像統合処理部４は、メモリ６ａに統合処理パラメータが格納されているか否かを判定し（ステップＳＴ１５）、格納されている場合にはその統合処理パラメータをメモリ６ａから取得し（ステップＳＴ１６）、既に設定されている統合処理パラメータから切り替える（ステップＳＴ９）。メモリ６ａに格納されている統合処理パラメータとは、カメラ画像が割り込み表示される前の画像データを生成するための情報であり、左後部座席用のディスプレイ９－２と右後部座席用のディスプレイ９－３においてカメラ画像の割り込み表示が終了したときに元の表示画面に戻すために用いられる。従って、画像統合処理部４は、カメラ画像割り込み表示前と同じ統合処理パラメータを用いて画面データを生成し（ステップＳＴ１０）、生成した画像データを画像伝送処理部５へ出力することになる（ステップＳＴ１１）。
　なお、画面変更要求がなく（ステップＳＴ１３“ＮＯ”）、メモリ６ａに統合処理パラメータも格納されていない場合（ステップＳＴ１５“ＮＯ”）、画像統合処理部４は既に設定されている統合処理パラメータのまま変更せず、ステップＳＴ１０へ進む。
　ステップＳＴ１１の後、画像統合処理部４は、表示制御装置１０が動作を終了するか否かを判定し（ステップＳＴ１２）、動作が終了しない間（ステップＳＴ１２“ＮＯ”）はステップＳＴ３～ＳＴ１１の処理を繰り返し、動作が終了した場合（ステップＳＴ１２“ＹＥＳ”）は処理を終了する。
　図１０に示す通り、位置（Ｚｘ０，Ｚｙ０）の自車両Ｚが走行を継続した結果、視点地点ＫＡ１に到達する。この場合、風景判定部７は、図１３に示すステップＳＴ４３において自車位置が視点地点ＫＡ１内であると判定する（ステップＳＴ４３“ＹＥＳ”）。続いて風景判定部７は、自車両の現在位置と進行方向を含む車両情報を画像処理制御部１から受け取ると共に、メモリ６ｃのリストテーブルから名所地点Ａの位置情報を取得し（ステップＳＴ４７）、名所地点Ａを撮像可能なカメラ位置を算出し（ステップＳＴ４８）、カメラ１１－１～１１－４の中から撮像に用いるカメラを決定する（ステップＳＴ４９）。そして、風景判定部７は、割り込み信号を有効に設定して（ステップＳＴ５０）、ステップＳＴ４９で決定したカメラを示すカメラ位置情報を画像統合処理部４へ通知する（ステップＳＴ５１）。
　ここで、ステップＳＴ４８，ＳＴ４９におけるカメラ決定方法の一例を説明する。
　車両の進行方向とカメラ１１－１～１１－４の撮像方向とが、図２に示した通りであるものとする。この場合、図１０の位置（Ｚｘ１，Ｚｙ１）にいる自車両Ｚにおいては、左方用のカメラ１１－２の撮像方向に名所地点Ａが存在するため、左方用のカメラ１１－２が決定される。
　図１１に戻り、ステップＳＴ３において、画像統合処理部４は風景判定部７から割り込み信号を受信する。位置（Ｚｘ１，Ｚｙ１）では、自車両Ｚが名所地点Ａの視点地点ＫＡ１内を走行しているため、風景判定部７の割り込み信号は有効に設定されている。従って、画像統合処理部４は、割り込み信号が有効であると判定し（ステップＳＴ４“ＹＥＳ”）、左後部座席用のディスプレイ９－２と右後部座席用のディスプレイ９－３の初期画面であるディスク画像の統合処理パラメータを、一時的にメモリ６ａに格納する（ステップＳＴ５）。続いて画像統合処理部４は、名所地点Ａを撮像するカメラ位置情報の通知を風景判定部７から受け取り（ステップＳＴ６）、左後部座席用のディスプレイ９－２と右後部座席用のディスプレイ９－３の画像データ生成用の統合処理パラメータとして、左方用のカメラ１１－２を選択し（ステップＳＴ８）、画像取得部３－１が取得するディスク画像から画像取得部３－５が取得する左方用のカメラ１１－２のカメラ画像へ切り替えるよう設定する（ステップＳＴ９）。
　なお、ステップＳＴ９において画像統合処理部４は、図７（ｂ）のように画面全体をカメラ画像に切り替えるよう統合処理パラメータを設定してもよいし、図７（ｃ）のように子画面２１を表示するよう統合処理パラメータを設定してもよい。
　また、図１０の例では、左方用のカメラ１１－２の撮像範囲内に名所地点Ａが位置しているため、画像統合処理部４は１台のカメラで撮像したカメラ画像をそのまま使用しているが、例えば名所地点Ａが１台のカメラの撮像範囲の端に位置しており複数台のカメラの撮像範囲にまたがっている場合には複数台のカメラで撮像したカメラ画像を合成してもよい。
　続いて画像統合処理部４は、既に設定されている統合処理パラメータから、ステップＳＴ７，ＳＴ８で設定した統合処理パラメータに切り替え（ステップＳＴ９）、切り替えた統合処理パラメータを用いて画像統合処理を実行し、カメラ画像を割り込ませた画像データを画像伝送処理部５へ出力する。これにより、左後部座席用のディスプレイ９－２と右後部座席用のディスプレイ９－３は、自車両Ｚが道程Ｗ１から道程Ｗ２へ進入したとき、ディスク画像の表示画面から、左方用のカメラ１１－２で撮像されたカメラ画像の表示画面に切り替わる。
　自車両Ｚがさらに走行を継続した結果、視点地点ＫＡ１内の道程Ｗ２を通過すると、視点地点ＫＡ１から外れた道程Ｗ３へ入る。例えば、名所地点Ａと自車両Ｚとの間に遮蔽物Ｖが存在し、道程Ｗ３を走行中の車両からは名所地点Ａが見えないため、道程Ｗ３には視点地点が設定されていない。この場合、風景判定部７は、図１３に示すステップＳＴ４３において自車位置が視点地点ＫＡ１内ではないと判定し（ステップＳＴ４３“ＮＯ”）、割り込み信号を無効に設定する（ステップＳＴ４４）。すると、画像統合処理部４は、メモリ６ａに格納されているカメラ画像割り込み前の画像データに関する統合処理パラメータを用いて、画像統合処理を実行することになる。これにより、左後部座席用のディスプレイ９－２と右後部座席用のディスプレイ９－３は、自車両Ｚが道程Ｗ２から道程Ｗ３へ進入したとき、カメラ画像の表示画面からディスク画像の表示画面に戻る。
　その後、自車両Ｚがさらに走行を継続した結果、視点地点ＫＡ２に到達する。この場合、風景判定部７は、図１３に示すステップＳＴ４３において自車位置が視点地点ＫＡ２内であると判定し（ステップＳＴ４３“ＹＥＳ”）、自車位置と進行方向とリストテーブルの名所地点Ａの位置情報とから撮像に用いるカメラを決定する（ステップＳＴ４７～ＳＴ４９）。図１０に示す通り、位置（Ｚｘ２，Ｚｙ２）にいる自車両Ｚにおいては、後方用のカメラ１１－４の撮像方向に名所地点Ａが存在するため、後方用のカメラ１１－４が決定される。そして、風景判定部７は、割り込み信号を有効に設定して（ステップＳＴ５０）、ステップＳＴ４９で決定したカメラ位置情報を画像統合処理部４へ通知する（ステップＳＴ５１）。
　図１１に戻り、画像統合処理部４は、視点地点ＫＡ１のときと同様に視点地点ＫＡ２においても、風景判定部７から通知された後方用のカメラ１１－４が撮像するカメラ画像を割り込ませた画像データを生成して、画像伝送処理部５を経由して左後部座席用のディスプレイ９－２と右後部座席用のディスプレイ９－３とに出力する。これにより、左後部座席用のディスプレイ９－２と右後部座席用のディスプレイ９－３は、自車両Ｚが道程Ｗ３から道程Ｗ４へ進入したとき、ディスク画像の表示画面から後方用のカメラ１１－４で撮像されたカメラ画像の表示画面に切り替わる。
　自車両Ｚがさらに走行を継続した結果、視点地点ＫＡ２内の道程Ｗ４を通過して続く道程Ｗ５へ進入すると、この道程Ｗ５は視点地点内ではないので、左後部座席用のディスプレイ９－２と右後部座席用のディスプレイ９－３は後方用のカメラ１１－４で撮像されたカメラ画像の表示画面からディスク画像の表示画面へ戻る。
　なお、上記説明では、風景判定部７が、図１２に示したフローチャートにおいて先ず自車両が名所地点の対象エリア内に入ったか否かを判定し、対象エリア内に入った場合に図１３に示したフローチャートにおいて当該名所地点の視点地点内に入ったか否かを判定する構成にしたが、対象エリア内に入ったか否かの判定を行わずに、直接、視点地点内に入ったか否かの判定を行う構成にしてもよい。
　以上より、実施の形態１によれば、表示制御装置１０は、車両周囲を撮像するカメラ１１－１～１１－４からカメラ画像を取得する画像取得部３－３～３－６と、車両周囲の風景の良否を判定する風景判定部７と、風景判定部７により車両周囲の風景が良いと判定された場合、画像取得部３－３～３－６のいずれかが取得するカメラ画像を、車両の後部座席用に配置されたディスプレイ９－２，９－３が表示する画像データに割り込ませる画像統合処理部４とを備える構成にしたので、風景が良い地点を走行しているときに自動的にディスプレイに当該風景が良い地点を撮像したカメラ画像を割り込み表示させ、後部座席の同乗者に対して車外風景を見逃すことがないよう注意喚起することができる。よって、後部座席にいる同乗者は、各席に配置されたディスプレイにおいてＤＶＤ等の視聴に夢中になっていても、車外の絶景風景を見逃すことがない。
実施の形態２．
　夜間、または降雨もしくは降雪といった悪天候では、名所地点が絶景に見える視点地点を走行していたとしてもその名所地点が見えない、または見えても期待した風景ではないことがある。そこで、本実施の形態２に係る表示制御装置１０は、風景判定部７が、図４に示したような風景情報に加えて、夜間および悪天候といった車両の走行環境を考慮して、車両周囲の風景の良否を判定する構成とする。なお、実施の形態２に係る表示制御装置１０は、図１に示した実施の形態１に係る表示制御装置１０と図面上は同じ構成であるため、以下では図１を援用する。
　実施の形態２の風景判定部７は、実施の形態１の図１３に示したフローチャートの代わりに、図１４に示すフローチャートに従って動作する。なお、図１４に示すステップＳＴ４１～ＳＴ５１は、図１３に示したステップＳＴ４１～ＳＴ５１と同様の処理である。
　図１４に示すステップＳＴ４３において、風景判定部７は、自車位置が視点地点ＫＡｈ内であると判定した場合（ステップＳＴＳＴ４３“ＹＥＳ”）、画像処理制御部１から通知される車両情報に含まれる日時情報に基づいて、現在が夜であるか否かを判定する（ステップＳＴ６１）。風景判定部７は、現在が夜である場合（ステップＳＴ６１“ＹＥＳ”）、自車両が視点地点ＫＡｈ内を通過中であっても夜間では名所地点Ａが見えない、つまり風景が良くないと判定し、割り込み信号を無効に設定する（ステップＳＴ４４）。
　続くステップＳＴ６２において、風景判定部７は、画像処理制御部１から通知される車両情報に含まれるワイパ作動状態の情報に基づいて、降雨または降雪といった悪天候か否かを判定する（ステップＳＴ６２）。風景判定部７は、現在悪天候である場合（ステップＳＴ６２“ＹＥＳ”）、自車両が視点地点ＫＡｈ内を通過中であって降雨または降雪の影響で名所地点Ａが見えないか期待した絶景には見えない、つまり風景が良くないと判定し、割り込み信号を無効に設定する（ステップＳＴ４４）。
　現在が夜の場合、または悪天候である場合、風景判定部７がステップＳＴ４４において割り込み信号を無効に設定するため、自車両が視点地点ＫＡｈを通過中であっても、左後部座席用のディスプレイ９－２と右後部座席用のディスプレイ９－３に対して名所地点Ａを撮像したカメラ画像の割り込み表示は行われない。
　一方、現在が夜ではなく、なおかつ悪天候でもない場合、風景判定部７がステップＳＴ４７～ＳＴ５１へ進み割り込み信号を有効に設定するため、左後部座席用のディスプレイ９－２と右後部座席用のディスプレイ９－３に対して名所地点Ａを撮像したカメラ画像の割り込み表示が行われる。
　なお、上記説明では、風景判定部７が日時情報に基づいて夜か否かを判定しているが、ライトの点灯状態を示す情報に基づいて夜か否かを判定してもよい。また、カメラ画像の輝度分布等に基づいて夜か否かを判定してもよい。
　また、風景判定部７がワイパ作動状態の情報に基づいて悪天候か否かを判定しているが、雨検知センサ、気圧センサ等の各種センサの検出結果に基づいて悪天候か否かを判定してもよい。また、車外ネットワーク経由でインターネット上の天気情報を取得して悪天候か否かを判定してもよい。
　以上より、実施の形態２によれば、風景判定部７は、風景の良い地点を示す風景情報と車両の走行環境とに基づいて、車両周囲の風景の良否を判定する構成にしたので、車外の絶景風景が見えない、または期待した風景ではない場合には後部座席用に配置されたディスプレイの無駄な表示切替を行わないようになる。よって、後部座席にいる同乗者は、走行環境が悪く絶景風景が見えない場合に、ＤＶＤ等の視聴を妨害されずに車移動を楽しむことができる。
実施の形態３．
　上記実施の形態２では、車両の走行環境が夜間または悪天候であった場合には、それらの環境要因が風景の見え方に及ぼす影響を考慮せず、カメラ画像の割り込み表示を行わない構成であった。しかし、夜間または悪天候であっても、名所地点によっては風景を楽しむことができる。また、名所地点によっては季節に応じた風景を楽しむことも多い。そこで、本実施の形態３に係る表示制御装置１０は、風景判定部７が、風景の良い地点を示す風景情報と当該風景の見え方に影響する環境条件とに基づいて、車両周囲の風景の良否を判定する構成とする。なお、実施の形態３に係る表示制御装置１０は、図１に示した実施の形態１に係る表示制御装置１０と図面上は同じ構成であるため、以下では図１を援用する。また、風景の見え方に影響する環境条件として、図４に示したリストテーブルのうちの「環境条件」を使用する。
　実施の形態３の風景判定部７は、実施の形態１の図１３に示したフローチャートの代わりに、図１５に示すフローチャートに従って動作する。なお、図１５に示すステップＳＴ４１～ＳＴ５１は、図１３に示したステップＳＴ４１～ＳＴ５１と同様の処理である。
　図１５に示すステップＳＴ４３において、風景判定部７は、自車位置が視点地点ＫＡｈ内であると判定した場合（ステップＳＴ４３“ＹＥＳ”）、画像処理制御部１から通知される車両情報に含まれる日時情報に基づいて、現在が夜であるか否かを判定する（ステップＳＴ７１）。現在が夜でない場合（ステップＳＴ７１“ＮＯ”）、風景判定部７はステップＳＴ７３へ進む。
　現在が夜である場合（ステップＳＴ７１“ＹＥＳ”）、風景判定部７は、図４に示したリストテーブルを参照して、視点地点ＫＡｈの環境条件として夜景の有無が設定されているか否かを判定する（ステップＳＴ７２）。例えば自車位置が視点地点ＫＡ１内である場合、図４のリストテーブルにおいて視点地点ＫＡ１の環境条件として夜景に「○」が設定されているので、風景判定部７は夜景効果ありと判定し（ステップＳＴ７２“ＹＥＳ”）、ステップＳＴ７３へ進む。一方、視点地点ＫＡｈに夜景が設定されていない場合（ステップＳＴ７２“ＮＯ”）、風景判定部７は、夜間は暗くて名所地点Ａが見えない、つまり風景が良くないと判定し、割り込み信号を無効に設定する（ステップＳＴ４４）。この例では、夜間に夜景効果のない名所地点は見えないと判定して、天候および季節の環境条件の判定（ステップＳＴ７３～ＳＴ７５）をスキップしている。
　ステップＳＴ７３において、風景判定部７は、画像処理制御部１から通知される車両情報に含まれるワイパ作動状態の情報に基づいて、降雨または降雪の天候に当てはまるか否かを判定する。現在、車両の走行環境が降雨または降雪ではない場合（ステップＳＴ７３“ＮＯ”）、風景判定部７はステップＳＴ７５へ進む。
　車両の走行環境が降雨または降雪である場合（ステップＳＴ７３“ＹＥＳ”）、風景判定部７は、図４に示したリストテーブルを参照して、視点地点ＫＡｈの環境条件として天候の有無が設定されているか否かを判定する（ステップＳＴ７４）。例えば自車位置が視点地点ＫＡ１内である場合、図４のリストテーブルにおいて視点地点ＫＡ１の環境条件として天候の雨効果に「×」が、雪効果にも「×」が設定されているので、風景判定部７は天候効果なし、つまり降雨または降雪の影響により名所地点Ａの風景の見え方が良くないと判定し（ステップＳＴ７４“ＮＯ”）、割り込み信号を無効に設定する（ステップＳＴ４４）。一方、雨効果または雪効果の少なくとも一方に「○」が設定されている場合（ステップＳＴ７４“ＹＥＳ”）、風景判定部７は雨効果または雪効果により名所地点Ａが絶景に見える、つまり風景が良いと判定して、ステップＳＴ７５へ進む。
　なお、この説明では、天候効果として降雨と降雪を例に挙げたが、これ以外にも例えば霧、雲などの効果を考慮してもよい。
　ステップＳＴ７５において、風景判定部７は、画像処理制御部１から通知される車両情報に含まれる日時情報に基づいて現在の季節を判定し、図４に示したリストテーブルを参照して、視点地点ＫＡｈの環境条件として現在の季節に対応する季節効果が設定されているか否かを判定する（ステップＳＴ７５）。例えば自車位置が視点地点ＫＡ１内である場合、図４のリストテーブルにおいて視点地点ＫＡ１の環境条件として春のみに「○」が設定されており、名所地点Ａは春の桜のみが見所であると考えられる。そのため、風景判定部７は、現在の季節が春である場合、名所地点Ａの風景が良いと判定し（ステップＳＴ７５“ＹＥＳ”）、ステップＳＴ４７へ進む。一方、現在の季節が春以外である場合、風景判定部７は、風景が良くないと判定し、割り込み信号を無効に設定する（ステップＳＴ４４）。
　夜景効果、天候効果、または季節効果により風景が良いと判定された場合、風景判定部７がステップＳＴ４７～ＳＴ５１へ進み割り込み信号を有効に設定するため、左後部座席用のディスプレイ９－２と右後部座席用のディスプレイ９－３に対して名所地点Ａを撮像したカメラ画像の割り込み表示が行われる。
　一方、夜景効果、天候効果、または季節効果がなく風景が良くないと判定された場合、風景判定部７がステップＳＴ４４において割り込み信号を無効に設定するため、自車両が視点地点ＫＡｈを通過中であっても、左後部座席用のディスプレイ９－２と右後部座席用のディスプレイ９－３に対して名所地点Ａを撮像したカメラ画像の割り込み表示は行われない。
　このように、風景情報に対して季節、月日、時間帯等に応じた環境条件を設定しておくことで、最適な見どころ時間または時期を判定して、カメラ画像の割り込み表示を行うか否かを判定することができる。なお、上記例では、夜景効果、天候効果および季節効果の全てについて判定を行ったが、どの効果の判定を行うかは自由とする。
　なお、上記実施の形態２と同様、本実施の形態３においても風景判定部７は日時情報およびワイパ作動状態の情報以外の情報に基づいて環境条件を判定することが可能である。
　以上より、実施の形態３によれば、風景判定部７は、風景の良い地点を示す風景情報と当該風景の見え方に影響する環境条件とに基づいて、車両周囲の風景の良否を判定する構成にしたので、車外環境に応じて見え方が変わる風景について見え方が良いときのみ選択的に割り込み表示を行うことができる。よって、後部座席にいる同乗者は、各席に配置されたディスプレイにおいてＤＶＤ等の視聴に夢中になっていても、車外の絶景風景を見逃すことがない。車外の絶景風景が見えない、または期待した風景ではない場合には無駄な割り込み表示は行わないので、後部座席にいる同乗者は、走行環境が悪く絶景風景が見えない場合に、ＤＶＤ等の視聴を妨害されずに車移動を楽しむことができる。
実施の形態４．
　上記実施の形態１～３では、風景情報を用いて風景の良否を判定する構成であったが、本実施の形態４では、車外風景を撮像したカメラ画像を解析して風景の良否を判定する構成とする。なお、実施の形態４に係る表示制御装置１０は、図１に示した実施の形態１に係る表示制御装置１０と図面上は同じ構成であるため、以下では図１を援用する。
　実施の形態４のメモリ６ｃには、風景の良否を判定するための推奨パターンを予め格納しておく。推奨パターンとしては、風景が良い構図の画像がある。また、タワー、城およびブリッジ等のランドマークとなる建物、山、海、ならびに湖などの画像でもよい。
　風景判定部７は、画像取得部３－３～３－６が取得したカメラ１１－１～１１－４のカメラ画像と推奨パターンとをパターンマッチング等の方法で照合し、マッチング度合いが予め定められた閾値以上の場合に車両周囲の風景が良いと判定して割り込み信号を有効に設定する。また、風景判定部７は、画像取得部３－３～３－６が取得したカメラ１１－１～１１－４のカメラ画像のうち、例えば左方用のカメラ１１－２が撮像したカメラ画像が閾値以上のマッチング度合いであった場合、この左方用のカメラ１１－２が撮像したカメラ画像を左後部座席用のディスプレイ９－２と右後部座席用のディスプレイ９－３に割り込み表示させるカメラとして決定する。
　さらに、推奨パターンは、風景が良い画像の色の分布を示す色情報、または輝度分布を示す輝度情報であってもよい。
　例えば、風景判定部７は、カメラ画像において赤色または黄色の少なくとも一方が予め定められた割合以上を占めていた場合、紅葉を含んだ風景、つまり風景が良いと判定する。また例えば、風景判定部７は、カメラ画像において様々な色が一様に分布していたら花畑、カメラ画像の左右領域に桃色の分布が多ければ桜並木、カメラ画像の上領域に青色の分布が多ければ快晴、カメラ画像の下領域に青色の分布が多ければ海と判定してもよい。また例えば、風景判定部７は、カメラ画像の輝度分布を検出し、予め定められた値より輝度が低い領域、つまり暗い領域と、当該予め定められた値より輝度が高い領域、つまり明るい領域の双方にピークを検出した場合に、ライトアップされた夜景と判定してもよい。
　以上より、実施の形態４によれば、風景判定部７は、画像取得部３－３～３－６が取得するカメラ画像を解析して車両周囲の風景の良否を判定する構成にしたので、ガイドブック、ナビゲーション装置の地図データまたはインターネット等にない名所地点についても、絶景風景を見逃すことがないよう注意喚起することができる。
　また、実施の形態４によれば、風景判定部７は、カメラ画像と予め定められた推奨パターンとを照合して風景の良否を判定する構成にしたので、後部座席の同乗者は、ガイドブック等にない新しい名所地点を発見および観賞しながら、車移動を楽しむことができる。
　なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。
　この発明に係る表示制御装置は、風景の良い地点を通過するときに車外風景を撮像したカメラ画像を後部座席用ディスプレイに割り込み表示させるようにしたので、ＲＳＥなどの車載表示システムに用いるのに適している。
　１　画像処理制御部、２　内部バス、３－１～３－ｎ　画像取得部、４　画像統合処理部、５　画像伝送処理部、６ａ，６ｂ，６ｃ　メモリ、７　風景判定部、８－１～８－ｍ　画像受信部、９－１～９－ｍ　ディスプレイ、１０　表示制御装置、１１－１～１１－４　カメラ、２１　子画面、Ａ，Ｂ　名所地点、ＫＡ１，ＫＡ２，ＫＢ１　視点地点、Ｖ　遮蔽物、Ｗ１～Ｗ５　道程、Ｚ　自車両。

Claims (6)

  1. 　車両周囲を撮像するカメラからカメラ画像を取得する画像取得部と、
    　前記車両周囲の風景の良否を判定する風景判定部と、
    　前記風景判定部により前記車両周囲の風景が良いと判定された場合、前記画像取得部が取得するカメラ画像を、前記車両の後部座席用に配置されたディスプレイが表示する画像データに割り込ませる画像統合処理部とを備える表示制御装置。
  2. 　前記風景判定部は、風景の良い地点を示す風景情報と前記車両の走行環境とに基づいて、前記車両周囲の風景の良否を判定することを特徴とする請求項１記載の表示制御装置。
  3. 　前記風景判定部は、風景の良い地点を示す風景情報と当該風景の見え方に影響する環境条件とに基づいて、前記車両周囲の風景の良否を判定することを特徴とする請求項１記載の表示制御装置。
  4. 　前記風景判定部は、前記画像取得部が取得するカメラ画像を解析して前記車両周囲の風景の良否を判定することを特徴とする請求項１記載の表示制御装置。
  5. 　前記風景判定部は、前記画像取得部が取得するカメラ画像と予め定められた推奨パターンとを照合して前記車両周囲の風景の良否を判定することを特徴とする請求項４記載の表示制御装置。
  6. 　車両の後部座席用に配置されたディスプレイと、
    　車両周囲を撮像するカメラからカメラ画像を取得する画像取得部と、
    　前記車両周囲の風景の良否を判定する風景判定部と、
    　前記風景判定部により前記車両周囲の風景が良いと判定された場合、前記画像取得部が取得するカメラ画像を、前記ディスプレイが表示する画像データに割り込ませる画像統合処理部とを備える車載表示システム。
PCT/JP2015/058281 2015-03-19 2015-03-19 表示制御装置および車載表示システム WO2016147387A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017505981A JP6192871B2 (ja) 2015-03-19 2015-03-19 表示制御装置および車載表示システム
PCT/JP2015/058281 WO2016147387A1 (ja) 2015-03-19 2015-03-19 表示制御装置および車載表示システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/058281 WO2016147387A1 (ja) 2015-03-19 2015-03-19 表示制御装置および車載表示システム

Publications (1)

Publication Number Publication Date
WO2016147387A1 true WO2016147387A1 (ja) 2016-09-22

Family

ID=56918747

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/058281 WO2016147387A1 (ja) 2015-03-19 2015-03-19 表示制御装置および車載表示システム

Country Status (2)

Country Link
JP (1) JP6192871B2 (ja)
WO (1) WO2016147387A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180079802A (ko) * 2017-01-02 2018-07-11 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 그의 제어방법
WO2020013519A1 (en) * 2018-07-10 2020-01-16 Samsung Electronics Co., Ltd. Method and system of displaying multimedia content on glass window of vehicle

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10116086A (ja) * 1996-10-08 1998-05-06 Aqueous Res:Kk 車載カラオケ
JP2003315069A (ja) * 2002-04-24 2003-11-06 Equos Research Co Ltd 情報センタ装置、データ提供装置、データ収集システム、データ配信システム及びその方法
JP2011020539A (ja) * 2009-07-15 2011-02-03 Panasonic Corp 後部座席用映像表示装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10116086A (ja) * 1996-10-08 1998-05-06 Aqueous Res:Kk 車載カラオケ
JP2003315069A (ja) * 2002-04-24 2003-11-06 Equos Research Co Ltd 情報センタ装置、データ提供装置、データ収集システム、データ配信システム及びその方法
JP2011020539A (ja) * 2009-07-15 2011-02-03 Panasonic Corp 後部座席用映像表示装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180079802A (ko) * 2017-01-02 2018-07-11 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 그의 제어방법
KR101916726B1 (ko) * 2017-01-02 2018-11-08 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 그의 제어방법
WO2020013519A1 (en) * 2018-07-10 2020-01-16 Samsung Electronics Co., Ltd. Method and system of displaying multimedia content on glass window of vehicle
US11407359B2 (en) 2018-07-10 2022-08-09 Samsung Electronics Co., Ltd Method and system of displaying multimedia content on glass window of vehicle

Also Published As

Publication number Publication date
JP6192871B2 (ja) 2017-09-06
JPWO2016147387A1 (ja) 2017-06-29

Similar Documents

Publication Publication Date Title
JP7331696B2 (ja) 情報処理装置、情報処理方法、プログラム、および移動体
JP4895313B2 (ja) ナビゲーション装置およびその方法
CN109155834B (zh) 显示控制装置、显示控制方法、显示装置以及移动体装置
CN109937568A (zh) 图像处理装置和图像处理方法
JP5890294B2 (ja) 映像処理システム
CN116189431A (zh) 减少交叉路口处的车辆拥堵
JP2009057010A (ja) 車載表示装置
JPH10311732A (ja) 車両用表示装置
JPH11108684A (ja) カーナビゲーションシステム
CN111480194A (zh) 信息处理装置、信息处理方法、程序、显示系统和移动物体
US20180111554A1 (en) Vehicle communication and image projection systems
JP6930971B2 (ja) 表示装置、表示システム、および移動体
US20230014553A1 (en) Display device, display method, and vehicle
JP4787196B2 (ja) 車載用ナビゲーション装置
JP4858212B2 (ja) 車載ナビゲーション装置
US20230017486A1 (en) Display device, display method, and vehicle
CN109564696A (zh) 图像处理设备和图像处理方法
JP6192871B2 (ja) 表示制御装置および車載表示システム
WO2018058361A1 (en) Method, system, display device for displaying virtual reality in vehicle, and computer program product
JP2022184919A (ja) 表示制御装置、表示制御方法
CN109643468B (zh) 图像处理装置和图像处理方法
JP6246077B2 (ja) 表示制御システムおよび表示制御方法
JP4578987B2 (ja) 画像表示システム
KR20240012449A (ko) 증강현실과 혼합현실에 기반한 경로 안내 장치 및 경로안내 시스템
US20210318560A1 (en) Information processing device, information processing method, program, and mobile object

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15885483

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017505981

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15885483

Country of ref document: EP

Kind code of ref document: A1