WO2021172491A1 - 画像処理装置、表示システム、画像処理方法及び記録媒体 - Google Patents

画像処理装置、表示システム、画像処理方法及び記録媒体 Download PDF

Info

Publication number
WO2021172491A1
WO2021172491A1 PCT/JP2021/007265 JP2021007265W WO2021172491A1 WO 2021172491 A1 WO2021172491 A1 WO 2021172491A1 JP 2021007265 W JP2021007265 W JP 2021007265W WO 2021172491 A1 WO2021172491 A1 WO 2021172491A1
Authority
WO
WIPO (PCT)
Prior art keywords
screen
image
content
automobile
shape
Prior art date
Application number
PCT/JP2021/007265
Other languages
English (en)
French (fr)
Inventor
真秀 林
幸子 西出
実祐樹 白川
朋成 村上
章雄 鈴木
あさみ 山岸
長田　浩二
誠史 友永
哲男 池田
長良　徹
竹内　宏
孝至 高松
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to EP21761934.5A priority Critical patent/EP4112387A4/en
Priority to JP2022503736A priority patent/JPWO2021172491A1/ja
Priority to US17/904,428 priority patent/US20230054104A1/en
Priority to CN202180015580.XA priority patent/CN115136184A/zh
Publication of WO2021172491A1 publication Critical patent/WO2021172491A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1431—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/02—Graphics controller able to handle multiple formats, e.g. input or output formats
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/04—Display device controller operating with a plurality of display units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Definitions

  • the present disclosure relates to an image processing device, a display system, an image processing method, and a recording medium.
  • the technology for displaying content on a screen such as an organic EL sheet installed on the ceiling inside an automobile is known.
  • a technique for displaying a sky map that can be seen from the current position on a screen.
  • a technique for displaying a single road for displaying a route to a destination and a technique for displaying a position on the straight road are known on a screen.
  • the above-mentioned conventional technology has a problem that the mode of the screen may not be suitable for viewing the content. For example, it is difficult for the driver to comfortably view the content displayed on the overhead screen while ensuring the front view.
  • the present disclosure proposes an image processing device, a display system, an image processing method, and a recording medium capable of optimizing the mode of the screen for viewing the content.
  • the image processing device of one form according to the present disclosure is a plurality of the screens based on the information on the automatic driving state of the automobile and the contents displayed on the screen provided in the automobile. Outputs a determination unit that determines whether or not the conditions associated with each of the shapes of are satisfied, and information that identifies the shape associated with the conditions determined to be satisfied by the determination unit. It is provided with a screen shape output unit.
  • FIG. 1 It is a figure which shows the structural example of the image processing apparatus which concerns on 1st Embodiment. It is a figure which shows an example of a screen. It is a figure which shows the screen seen from the rear part of an automobile. It is a figure which shows the pattern of the screen shape. It is a figure (1) which shows the display pattern of metadata. It is a figure (2) which shows the display pattern of metadata. It is a figure which shows the relationship between the screen shape and the inclination of the backrest of a seat. It is a figure (1) which shows an example of the content displayed on a screen. It is a figure (1) which shows the display pattern of a content. It is a figure (2) which shows an example of the content displayed on a screen.
  • FIG (3) which shows an example of the content displayed on a screen. It is a figure (2) which shows the display pattern of a content. It is a figure (4) which shows an example of the content displayed on a screen. It is a figure (3) which shows the display pattern of a content. It is a figure (5) which shows an example of the content displayed on a screen. It is a figure (4) which shows the display pattern of a content. It is a figure (6) which shows an example of the content displayed on a screen. It is a figure (5) which shows the display pattern of a content. It is a figure (7) which shows an example of the content displayed on a screen. It is a figure (6) which shows the display pattern of a content.
  • FIG (8) which shows an example of the content displayed on a screen. It is a figure (7) which shows the display pattern of a content. It is a flowchart which shows the processing flow of the image processing apparatus which concerns on 1st Embodiment. It is a flowchart which shows the flow of the process of determining a screen shape. It is a figure which shows the structural example of the image processing apparatus which concerns on 2nd Embodiment. It is a figure which shows the relationship between the screen shape and the inclination of the backrest of a seat. It is a flowchart which shows the processing flow of the image processing apparatus which concerns on 2nd Embodiment. It is a figure which shows the structural example of the image processing apparatus which concerns on 3rd Embodiment.
  • FIG. 1 is a diagram showing a configuration example of an image processing device according to the first embodiment.
  • the image processing device 10 shown in FIG. 1 is a device for performing processing related to displaying contents on a screen provided in an automobile having an automatic driving function.
  • the input unit 11 is an input device that receives inputs such as the traveling status of the automobile, the status of the passenger, and the operation by the passenger.
  • the input unit 11 includes various sensors such as an image sensor, a depth sensor, and a touch sensor.
  • the image sensor is a sensor that acquires a two-dimensional image, and is, for example, a visible light camera, an infrared camera, or the like.
  • the depth sensor is a sensor that acquires three-dimensional information including depth, and is a sensor that can implement, for example, a stereo camera, a time of flight method, a structured light method, and the like.
  • the input unit 11 can accept the automatic driving state as the state of the automobile.
  • the automatic driving state includes the automatic driving level in addition to whether or not the automatic driving is in progress.
  • the input unit 11 accepts operations by the passenger, such as an operation by a touch display, an operation by voice, and a gesture operation using a skeletal field.
  • the communication unit 12 is an interface for performing data communication with other devices.
  • the communication unit 12 is realized by, for example, a NIC (Network Interface Card) or the like.
  • the information processing unit 13 executes each process related to content display.
  • the information processing unit 13 is realized by, for example, a computer equipped with a CPU (Central Processing Unit).
  • the information processing unit 13 performs a process for displaying an image included in the content based on the information received from the input unit 11.
  • the information processing unit 13 controls drawing of multi-contents such as a window for displaying an application, and distributes events such as touches to each content.
  • the information processing unit 13 performs a process corresponding to a general OS control layer.
  • the image display device 40 displays an image included in the content.
  • the image display device 40 may be a projector and a projector screen. Further, the image display device 40 may be a display such as a liquid crystal display.
  • a surface such as a projector screen or a liquid crystal display on which an image is actually displayed is simply referred to as a screen.
  • the shape output unit 14 outputs the screen shape. Specifically, the shape output unit 14 changes the screen shape.
  • the screen shape and the method of changing the screen shape will be described later.
  • the display control unit 15 determines the screen shape and creates an image to be displayed.
  • the display control unit 15 is realized by, for example, a computer equipped with a CPU. As shown in FIG. 1, the display control unit 15 includes a content acquisition unit 151, a shape determination unit 152, an image creation unit 153, and a shape storage unit 154.
  • the content acquisition unit 151 acquires the content.
  • the content acquisition unit 151 may acquire the content from a predetermined storage device, or may acquire the content from an external device or another automobile via a network.
  • the shape determination unit 152 determines the shape of the screen suitable for displaying the content based on the information on the automatic driving state of the automobile and the content displayed on the screen provided in the automobile.
  • the image creation unit 153 creates an image of the content to be displayed on the screen according to the screen shape determined by the shape determination unit 152 to be suitable for displaying the content.
  • FIG. 2 is a diagram showing an example of a screen.
  • the automobile is provided with a lower front screen 31, an upper front screen 32 and a lookup screen 33.
  • Each screen may be a projector screen that displays an image projected from the projector, or may be a liquid crystal display.
  • FIG. 2 shows an example when the projector projects an image.
  • the projector 20 projects an image from the rear of the automobile onto each screen.
  • the projector 20 may be capable of changing the direction and height of projecting an image according to the shape of the screen. Further, the projector 20 may be provided on the headrest of the driver's seat.
  • the lower front screen 31 and the upper front screen 32 are arranged inside the windshield.
  • the upper front screen 32 is arranged on the ceiling side of the lower front screen 31.
  • the lookup screen 33 is arranged on the ceiling.
  • front screens there are two front screens, the lower front screen 31 and the upper front screen 32, but the number of front screens may be one or three or more. good.
  • the front screen may also be provided on the sun visor.
  • FIG. 3 is a diagram showing a screen seen from the rear of the automobile. As shown in FIG. 3, the lower front screen 31 and the upper front screen 32 cover a part of the driver's field of view through the windshield.
  • Each screen shall be movable.
  • the shape output unit 14 can move each screen along the ceiling and the windshield by using an actuator such as a motor as a power source.
  • the lower front screen 31 and the upper front screen 32 move between a position visible to the occupant and a position invisible to the occupant.
  • the state in which each screen is visible to the passenger is called a feeding state.
  • the state in which each screen is invisible to the passenger is called the stored state.
  • the person in the car is called the passenger.
  • the person sitting in the driver's seat is called a driver regardless of whether or not he / she is actually operating the car.
  • a passenger sitting in the driver's seat while the vehicle is traveling by the automatic driving function is called a driver even if no operation is performed.
  • FIG. 4 is a diagram showing a screen shape pattern.
  • the screen shape pattern is stored in the shape storage unit 154.
  • both the lower front screen 31 and the upper front screen 32 are in the stored state.
  • the lower front screen 31 and the upper front screen 32 both move to the gap between the lookup screen 33 and the ceiling.
  • the lower front screen 31 is in the retracted state and the upper front screen 32 is in the extended state.
  • the lower front screen 31 moves into the gap between the lookup screen 33 and the ceiling.
  • the upper front screen 32 moves to a predetermined position inside the windshield.
  • both the lower front screen 31 and the upper front screen 32 are in the extended state.
  • the lower front screen 31 and the upper front screen 32 both move to predetermined positions inside the windshield.
  • the shape determination unit 152 determines one of the three patterns shown in FIG. 4 as the optimum pattern based on predetermined conditions. In the first embodiment, the shape determination unit 152 makes a determination based on at least one of the automatic driving state, the content information, and the seat setting information.
  • the automatic driving state is whether or not the car is in automatic driving and the automatic driving level. That is, the shape determination unit 152 determines the shape of the screen based on whether or not the vehicle is in automatic driving and the automatic driving state including the automatic driving level.
  • the autonomous driving level is Level 3, where the system performs all driving tasks under limited conditions and the driver is expected to respond to the system's intervention request, and the level at which the system performs all driving tasks. There are 5 mag.
  • the operation level mentioned here is an example.
  • the shape determination unit 152 determines that the shape in which the screen is not arranged on the windshield of the automobile is suitable for displaying the content when the automatic driving state is the manual driving.
  • the automatic driving state is in manual driving, it means that the automatic driving function is turned off and the driver is manually operating the car. In this case, it is conceivable that the driver secures a front view for safety. Therefore, the shape determination unit 152 determines that a shape in which both the lower front screen 31 and the upper front screen 32 are in the retracted state is suitable when the automatic operation state is in the manual operation.
  • the shape determination unit 152 determines that a shape in which at least one of a plurality of screens is arranged on the windshield of an automobile is suitable for displaying contents when the automatic driving state is in automatic driving.
  • the higher the automatic driving level the less frequently the driver is required to perform manual operation.
  • the automatic driving level is 3, when the system detects an obstacle that is difficult to avoid automatically, the driver is required to manually operate the steering wheel and the brake.
  • the automatic driving level is 5, the driver is not required to perform any operation.
  • the shape determination unit 152 has a shape in which the lower front screen 31 is in the retracted state and the upper front screen 32 is in the extended state (corresponding to the partial use of the front screen in FIG. 4).
  • Judge as suitable In this case, since the driver can see the front from a part of the windshield, he / she can perform the operation when requested.
  • the shape determination unit 152 determines that a shape in which both the lower front screen 31 and the upper front screen 32 are in the extended state (using all screens in FIG. 4) is suitable. do. In this case, the driver does not need to perform any operation, so that the content can be viewed using the entire screen.
  • the shape determination unit 152 determines the shape based on the information about the content. For example, when the size of the screen to be displayed for each content is predetermined, the shape determination unit 152 determines the shape according to the size.
  • the driver's driving can be assisted by displaying an image of the car navigation system, the rear-view mirror camera, the rear seats, etc. on the upper front screen 32. Therefore, when the content for assisting the driver is displayed, the shape determination unit 152 has a shape in which the upper front screen 32 is in the extended state even in the manual operation (a part of the front screen in FIG. 4 is used). May be determined to be suitable.
  • the shape determination unit 152 has a shape in which both the lower front screen 31 and the upper front screen 32 are extended (all screens in FIG. 4). Use) is judged to be suitable.
  • the shape determination unit 152 may make a determination based on information about the content only during automatic operation. Further, when the screen shape is specified by the passenger, the shape determination unit 152 may give priority to the specified screen shape.
  • contents have the main content and information related to the main content (hereinafter referred to as content metadata).
  • content metadata information related to the main content
  • the image creation unit 153 can determine the display position of the metadata according to the shape of the screen.
  • FIG. 5 is a diagram (1) showing a metadata display pattern.
  • the area surrounded by the solid line indicates the screen used (where the image is displayed).
  • the area surrounded by the dotted line indicates an unused screen (no image is displayed).
  • the image creation unit 153 displays metadata on a part of the image on the lookup screen 33.
  • the lower front screen 31 and the upper front screen 32 are not used and the lookup screen 33 is used. This is because in a pattern where only the lookup screen is used, only the passengers in the back seats need to be able to see the content.
  • the image creation unit 153 displays the metadata on the upper front screen 32.
  • the lower front screen 31 is not used and the upper front screen 32 and lookup screen 33 are used.
  • the image creation unit 153 displays metadata on the lower front screen 31.
  • the lower front screen 31, the upper front screen 32 and the lookup screen 33 are used.
  • driving assistance information may be displayed on the screen. Similar to the metadata, the image creation unit 153 can determine the display position of the driving assistance information according to the shape of the screen. However, the driving assistance information may not need to be displayed depending on the automatic driving state.
  • FIG. 6 is a diagram (2) showing a metadata display pattern.
  • the area surrounded by the solid line indicates the screen used (where the image is displayed).
  • the area surrounded by the dotted line indicates an unused screen (no image is displayed).
  • the image creation unit 153 can prevent the driving assistance information from being displayed.
  • the lower front screen 31 and the upper front screen 32 are not used and the lookup screen 33 is used. This is because it is difficult for the driver during manual driving to see the lookup screen 33.
  • the image creation unit 153 displays driving assistance information on the upper front screen 32.
  • the image creation unit 153 creates an image to be displayed on the screen arranged on the windshield of the automobile among the plurality of screens and shows information for assisting driving.
  • the lower front screen 31 is not used and the upper front screen 32 and lookup screen 33 are used.
  • the driver during automatic operation can perform manual operation when there is an operation request while confirming the information on the upper front screen 32.
  • the image creation unit 153 does not display the driving assistance information.
  • the lower front screen 31, the upper front screen 32 and the lookup screen 33 are used. This is because it corresponds to the case where the above-mentioned automatic operation level is 5, and the driver does not perform manual operation.
  • the shape determination unit 152 determines the shape of the screen suitable for displaying the content based on the automatic driving state, information on the content, and the inclination of the backrest of the automobile seat. For example, the shape determination unit 152 determines that a shape in which a part of the screen is arranged on the windshield of an automobile is suitable for displaying contents when the seat of the automobile is tilted to an extent unsuitable for driving. do. The driver may tilt the back of the seat to look up at the look-up screen.
  • the shape determination unit 152 determines that the shape in which one or both of the lower front screen 31 and the upper front screen 32 is in the extended state is suitable for viewing the content.
  • the state (b) is changed to the state (c-1) or the state (c-2) as the passenger tilts the backrest of the seat. That is, one or both of the lower front screen 31 and the upper front screen 32 move and are in the feeding state.
  • the state (c-1) and the state (c-2) are states in which the shape of the screen has been deformed after the backrest of the front seat is tilted.
  • both the lower front screen 31 and the upper front screen 32 are in the extended state.
  • the upper front screen 32 is in the extended state.
  • FIG. 8 is a diagram (1) showing an example of the content displayed on the screen.
  • the image creation unit 153 is an image to be displayed on the lookup screen 33 arranged on the ceiling of the automobile among the plurality of screens, and is an image obtained by photographing the sky of the automobile and also.
  • the image creation unit 153 creates an image to be displayed on the upper front screen 32 arranged on the windshield of the automobile, and an image of the rear of the automobile. In this way, by displaying the surrounding image in real time, the passenger of a car that is not an open car can experience a feeling of liberation like an open car.
  • FIG. 10 is a diagram (2) showing an example of the content displayed on the screen.
  • the image creation unit 153 is an image to be displayed on the upper front screen 32 arranged on the windshield of the automobile among the plurality of screens, and creates an image of the rear seats. ..
  • the passengers in the front seats can have a conversation while checking the facial expressions of the passengers in the rear seats.
  • FIG. 11 is a diagram (3) showing an example of the content displayed on the screen.
  • the look-up screen 33 displays an image of the sky above the automobile
  • the look-up screen 33 displays an image different from the image of the sky above the automobile. For example, by displaying a superb view, a view of a foreign tourist spot, or the like on the lookup screen 33, the passenger can enjoy the view of a place that cannot be easily reached.
  • FIG. 12 is a diagram (2) showing a display pattern of the content.
  • the area surrounded by the solid line indicates the screen used (where the image is displayed).
  • the area surrounded by the dotted line indicates an unused screen (no image is displayed).
  • the image of the rear of the automobile is not displayed on any of the screens when only the lookup screen is used and when all the screens are used.
  • the lower front screen 31 and the upper front screen 32 are not used and the lookup screen 33 is used.
  • the lower front screen 31 is not used and the upper front screen 32 and lookup screen 33 are used.
  • the lower front screen 31, the upper front screen 32 and the lookup screen 33 are used.
  • the lower front screen 31, the upper front screen 32 and the lookup screen 33 are used.
  • the image creation unit 153 displays the first image to be displayed on the lookup screen 33 arranged on the ceiling of the automobile and the upper front screen 32 arranged on the windshield of the automobile among the plurality of screens.
  • a second image which is an image of the above, and displays a description of the first image, is created.
  • FIG. 13 is a diagram (4) showing an example of the content displayed on the screen.
  • the image of the polar bear published in the pictorial book is displayed as the first image on the lookup screen 33. Further, on the upper front screen 32, the explanatory text published in the pictorial book is displayed.
  • the image creation unit 153 may create an image according to the destination of the automobile. For example, when a car is heading for an aquarium, the image creation unit 153 creates an image of a fish pictorial book and an image of its description.
  • FIG. 14 is a diagram (3) showing a display pattern of the content.
  • the area surrounded by the solid line indicates the screen used (where the image is displayed).
  • the area surrounded by the dotted line indicates an unused screen (no image is displayed).
  • the metadata is displayed according to the display pattern described with reference to FIG. In this case, the metadata is the descriptive text of the picture book.
  • the lower front screen 31 and the upper front screen 32 are not used and the lookup screen 33 is used.
  • the lower front screen 31 is not used and the upper front screen 32 and lookup screen 33 are used.
  • the lower front screen 31, the upper front screen 32 and the lookup screen 33 are used.
  • FIG. 15 is a diagram (5) showing an example of the content displayed on the screen.
  • the image of the soccer game is displayed as the first image on the lookup screen 33.
  • the scores of both teams are displayed on the upper front screen 32.
  • FIG. 16 is a diagram (4) showing a display pattern of the content.
  • the area surrounded by the solid line indicates the screen used (where the image is displayed).
  • the area surrounded by the dotted line indicates an unused screen (no image is displayed).
  • the metadata is displayed according to the display pattern described with reference to FIG. In this case, the metadata is the score of both teams.
  • the lower front screen 31 and the upper front screen 32 are not used and the lookup screen 33 is used.
  • the lower front screen 31 is not used and the upper front screen 32 and lookup screen 33 are used.
  • the lower front screen 31, the upper front screen 32 and the lookup screen 33 are used.
  • the lower front screen 31, the upper front screen 32 and the lookup screen 33 are used.
  • FIG. 17 is a diagram (6) showing an example of the content displayed on the screen.
  • the image of the route from the current location to the destination is displayed as the first image on the lookup screen 33. Further, the distance to the destination is displayed on the upper front screen 32.
  • FIG. 18 is a diagram (5) showing a display pattern of the content.
  • the area surrounded by the solid line indicates the screen used (where the image is displayed).
  • the area surrounded by the dotted line indicates an unused screen (no image is displayed).
  • the image of the rear of the automobile is not displayed on any of the screens when only the lookup screen is used and when all the screens are used. This makes it possible to increase the amount of information displayed on the screen when manual operation is not performed.
  • the lower front screen 31 and the upper front screen 32 are not used and the lookup screen 33 is used.
  • the lower front screen 31 is not used and the upper front screen 32 and lookup screen 33 are used.
  • the lower front screen 31 is not used and the upper front screen 32 and lookup screen 33 are used.
  • the lower front screen 31, the upper front screen 32 and the lookup screen 33 are used.
  • FIG. 19 is a diagram (7) showing an example of the content displayed on the screen.
  • the image corresponding to the quiz answer options is displayed as the first image on the lookup screen 33.
  • a question sentence of the quiz is displayed on the upper front screen 32.
  • FIG. 20 is a diagram (6) showing a display pattern of the content.
  • the area surrounded by the solid line indicates the screen used (where the image is displayed).
  • the area surrounded by the dotted line indicates an unused screen (no image is displayed).
  • the metadata is displayed according to the display pattern described with reference to FIG. In this case, the metadata is a quiz question sentence.
  • the lower front screen 31 and the upper front screen 32 are not used and the lookup screen 33 is used.
  • the lower front screen 31 is not used and the upper front screen 32 and lookup screen 33 are used.
  • the lower front screen 31, the upper front screen 32 and the lookup screen 33 are used.
  • the lower front screen 31, the upper front screen 32 and the lookup screen 33 are used.
  • FIG. 22 is a diagram (7) showing a display pattern of the content.
  • the area surrounded by the solid line indicates the screen used (where the image is displayed).
  • the area surrounded by the dotted line indicates an unused screen (no image is displayed).
  • the metadata is displayed according to the display pattern described with reference to FIG.
  • the metadata is a list of executable application icons or an image of the application launcher.
  • the lower front screen 31 and the upper front screen 32 are not used and the lookup screen 33 is used.
  • the lower front screen 31 is not used and the upper front screen 32 and lookup screen 33 are used.
  • the lower front screen 31, the upper front screen 32 and the lookup screen 33 are used.
  • the lower front screen 31, the upper front screen 32 and the lookup screen 33 are used.
  • FIG. 23 is a flowchart showing a processing flow of the image processing apparatus according to the first embodiment. As shown in FIG. 23, it is determined whether or not the passenger views the content (step S10). For example, when the passenger performs an operation of instructing the display of the content by voice, gesture, or the like, the image processing device 10 determines that the passenger views the content.
  • the image processing device 10 determines that the passenger does not view the content (step S10, No)
  • the image processing device 10 executes the cancellation process.
  • the image processing device 10 does not display an image and executes a stop process by putting the front screen in the retracted state (step S20). Further, the image processing device 10 may execute the cancel process by displaying a black screen.
  • the image processing device 10 determines that the passenger views the content (step S10, Yes)
  • the image processing device 10 acquires the automatic driving status, the content information, and the seat setting information (step S30). Then, the image processing device 10 determines the screen shape (step S40). Further, the image processing device 10 outputs the screen shape (step S50), creates an image corresponding to the screen shape, and displays the image (step S70).
  • FIG. 24 is a flowchart showing the flow of the process of determining the screen shape (step S40 of FIG. 23).
  • the image processing device 10 determines whether or not it is in automatic operation (step S401).
  • the image processing device 10 determines whether or not the conditions for using all screens are met (step S402).
  • the image processing device 10 determines whether or not the conditions for partially using the front screen are met (step S401, No). Step S404).
  • step S402 When the conditions for using all screens are met (step S402, Yes), the image processing apparatus 10 determines that the optimum screen shape pattern is used for all screens (step S403). When the condition of partially using the front screen is satisfied (step S404, Yes), the image processing apparatus 10 determines that the optimum screen shape pattern is partially used of the front screen (step S405). When the conditions for partially using the front screen are not met (step S404, No), the image processing apparatus 10 determines that the optimum screen shape pattern is only the lookup screen (step S406).
  • the image processing device determines the shape of the screen suitable for displaying the content based on the information on the automatic driving state of the automobile and the content displayed on the screen provided in the automobile.
  • a unit shape determination unit 152 in the embodiment
  • a creation unit image creation in the embodiment
  • a unit 153 is provided.
  • the image processing device can determine how much the driver should secure the field of view according to the automatic driving state.
  • the image processing device can determine the shape of the screen suitable for the content. Therefore, according to the first embodiment, the aspect of the screen can be optimized for viewing the content.
  • the determination unit determines the shape of the screen based on whether or not the vehicle is in automatic driving and the automatic driving state including the automatic driving level. Therefore, according to the first embodiment, the shape of the screen can be finely optimized according to the automatic operation level as well as whether or not the automatic operation is in progress.
  • the judgment unit determines that the shape in which at least one of the plurality of screens is arranged on the windshield of the automobile is suitable for displaying the content. Therefore, according to the first embodiment, the screen can be optimized to a shape that prioritizes viewing of the content during automatic driving.
  • the determination unit determines that the shape in which the screen is not arranged on the windshield of the automobile is suitable for displaying the content when the automatic driving state is the manual driving. Therefore, according to the first embodiment, the screen can be optimized to a shape that prioritizes safety during manual operation.
  • the determination unit determines the shape of the screen suitable for displaying the content based on the automatic driving state, information on the content, and the inclination of the backrest of the car seat. Therefore, according to the first embodiment, the passenger can comfortably view the content on the screen having a shape optimized for the inclination of the backrest of the seat.
  • the judgment unit determines that the shape in which a part of the screen is arranged on the windshield of the car is suitable for displaying the content. Therefore, according to the first embodiment, the driver can more comfortably view the content when he / she does not drive.
  • the creation unit creates an image to be displayed on the screen arranged on the windshield of the automobile among a plurality of screens and shows information for assisting driving. Therefore, according to the first embodiment, the driving assistance information can be displayed at a position that is easy for the driver to see while driving.
  • the creation unit creates an image of the rear seats, which is an image to be displayed on the screen arranged on the windshield of the automobile among a plurality of screens. Therefore, according to the first embodiment, the passengers in the front seats can have a conversation while checking the facial expressions of the passengers in the rear seats.
  • the creating unit has an image to be displayed on the first screen arranged on the ceiling of the automobile and an image to be displayed on the second screen arranged on the windshield of the automobile.
  • a second image, which displays a description of the first image, and a second image are created. Therefore, according to the first embodiment, the passenger can browse the explanation and enjoy the content more deeply.
  • the creator has an image of the running application for display on a first screen located on the ceiling of the car and a launcher for the application for display on a second screen placed on the windshield of the car. Create an image of. Therefore, according to the first embodiment, the passenger can start and execute the application by an intuitive operation.
  • FIG. 25 is a diagram showing a configuration example of the image processing apparatus according to the second embodiment.
  • the image processing device 10a of the second embodiment has a seat setting device 50 unlike the image processing device 10 of the first embodiment.
  • the image processing device 10 determines the optimum inclination of the backrest of the seat based on the automatic driving situation and the content information, and actually sets the inclination according to the determination result.
  • the shape determination unit 152 further determines the inclination of the backrest of the automobile seat suitable for displaying the content. Then, the seat setting device 50 sets the inclination of the backrest of the seat according to the inclination of the backrest of the seat determined to be suitable for displaying the content determined by the shape determination unit 152. At this time, the backrest of the seat automatically tilts according to the set tilt.
  • FIG. 26 is a diagram showing the relationship between the screen shape and the inclination of the backrest of the seat.
  • the state (d) is the initial state, in which the backrest of the front seat (driver or passenger seat) is not tilted and the shape of the screen is not deformed.
  • the undeformed state in the state (d) is a state corresponding to the use of only the lookup screen of FIG. That is, the undeformed state in the state (d) is a state in which both the lower front screen 31 and the upper front screen 32 are in the stored state and only the lookup screen 33 is used (the image is displayed). be.
  • the shape determination unit 152 determines the shape of the screen suitable for the content and the inclination of the backrest of the seat. At this time, the transition from the state (d) to the state (e) occurs. That is, the upper front screen 32 moves and is in the extended state. On the other hand, the inclination of the backrest of the seat is not changed.
  • the state (e) is a state in which the shape of the screen has been deformed and the inclination of the backrest of the seat has not changed.
  • the deformed state in the state (e) is a state corresponding to the partial use of the front screen of FIG. That is, in the deformed state in the state (e), the lower front screen 31 is in the retracted state, the upper front screen 32 is in the extended state, and the upper front screen 32 and the lookup screen 33 are used (image). Is displayed).
  • the shape determination unit 152 further determines the shape of the screen and the inclination of the backrest of the seat.
  • the transition from the state (e) to the state (f) occurs. That is, the lower front screen 31 moves and is in the extended state. This puts the entire screen in use.
  • the tilt of the backrest of the front seats is changed.
  • the state (f) is a state in which the shape of the screen has been deformed and the inclination of the backrest of the seat has been changed.
  • the deformed state in the state (f) is a state corresponding to the use of all the screens of FIG.
  • both the lower front screen 31 and the upper front screen 32 are in the extended state, and the lower front screen 31, the upper front screen 32, and the lookup screen 33 are used. (The image is displayed).
  • the backrest of the front seat is tilted more than an angle suitable for driving.
  • FIG. 27 is a flowchart showing a processing flow of the image processing apparatus according to the second embodiment. As shown in FIG. 27, it is determined whether or not the passenger views the content (step S10). When the image processing device 10 determines that the passenger does not view the content (step S10, No), the image processing device 10 executes the cancellation process.
  • the image processing device 10 determines that the passenger views the content (step S10, Yes). Then, the image processing device 10 acquires the automatic driving status and the content information (step S31). Then, the image processing device 10 determines the screen shape (step S40). Further, the image processing device 10 outputs the screen shape (step S50), sets the inclination of the backrest of the seat (step S60), creates an image corresponding to the screen shape, and displays the image (step S70).
  • the determination unit (shape determination unit 152 in the embodiment) further determines the inclination of the backrest of the automobile seat suitable for displaying the content.
  • the seat setting unit (in the embodiment, the seat setting device 50) sets the inclination of the seat according to the inclination of the backrest of the seat determined to be suitable for displaying the content determined by the determination unit. Therefore, according to the second embodiment, the passenger can view the content in a comfortable posture without manually changing the inclination of the backrest of the seat.
  • FIG. 28 is a diagram showing a configuration example of the image processing apparatus according to the third embodiment.
  • the image processing device 10b of the second embodiment receives input of shape information unlike the image processing device 10a of the second embodiment.
  • the image processing device 10 determines the optimum inclination of the backrest of the seat based on the shape information specified by the passenger in addition to the automatic driving status and the content information, and actually sets the inclination according to the determination result. do.
  • the shape information is the screen shape specified by the passenger.
  • the passenger may specify whether to use only the lookup screen, part of the front screen, or full screen.
  • the image processing device 10b determines the shape of the screen with priority given to the designation of the passenger. However, the image processing device 10b may not give priority to the designation of the passenger when the screen shape specified by the passenger cannot be changed. For example, if the passenger specifies the use of all screens during manual operation, the image processing apparatus 10b does not determine the optimum screen shape to use all screens.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
  • FIG. 31 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via the communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (Interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 provides a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, blinkers or fog lamps.
  • the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the image pickup unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle outside information detection unit 12030 causes the image pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on the road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received.
  • the image pickup unit 12031 can output an electric signal as an image or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects the in-vehicle information.
  • a driver state detection unit 12041 that detects the driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing.
  • the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. It is possible to perform cooperative control for the purpose of.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform coordinated control for the purpose of automatic driving, etc., which runs autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the vehicle exterior information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the external information detection unit 12030, and performs coordinated control for the purpose of anti-glare such as switching the high beam to the low beam. It can be carried out.
  • the audio image output unit 12052 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to the passenger or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a heads-up display.
  • FIG. 32 is a diagram (1) showing an example of the installation position of the imaging unit.
  • the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, 12105, and 12106.
  • the imaging units 12101, 12102, 12103, 12104, 12105, 12106 are provided, for example, at positions such as the front nose, side mirrors, rear bumpers, back doors, the upper part of the windshield in the vehicle interior, and the roof of the vehicle 12100.
  • the imaging unit 12101 provided on the front nose and the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • the imaging unit 12106 provided on the roof mainly captures an image of the sky.
  • FIG. 32 shows an example of the photographing range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates the imaging range of the imaging units 12102 and 12103.
  • the imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 as viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image pickup units 12101 to 12104 may be a stereo camera composed of a plurality of image pickup elements, or may be an image pickup element having pixels for phase difference detection.
  • the microcomputer 12051 has a distance to each three-dimensional object within the imaging range 12111 to 12114 based on the distance information obtained from the imaging units 12101 to 12104, and a temporal change of this distance (relative velocity with respect to the vehicle 12100). By obtaining can. Further, the microcomputer 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle in advance, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform coordinated control for the purpose of automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, utility poles, and other three-dimensional objects based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that can be seen by the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 is used via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging units 12101 to 12104.
  • pedestrian recognition includes, for example, a procedure for extracting feature points in an image captured by an imaging unit 12101 to 12104 as an infrared camera, and pattern matching processing for a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian. It is done by the procedure to determine.
  • the audio image output unit 12052 When the microcomputer 12051 determines that a pedestrian is present in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 outputs a square contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • FIG. 33 is a diagram (2) showing an example of the installation position of the imaging unit. As shown in FIG. 33, the imaging unit 12106 captures an image of the sky above the vehicle.
  • the imaging unit 12106 may be a wide-angle camera or an omnidirectional camera.
  • the above is an example of a vehicle control system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to the microcomputer 12051 among the configurations described above.
  • the processing of the display control unit 15 of the image processing device 10 is realized by the microcomputer 12051.
  • the image of the sky above the automobile described with reference to FIG. 8 or the like may be taken by the imaging unit 12106.
  • FIG. 34 is a diagram showing a configuration example of a network system.
  • the automobile 100V provided with the image processing device may be connected to the other automobile 110V so as to be able to communicate data.
  • the automobile 100V may be communicably connected to the server 100S via the network N.
  • the network N is, for example, the Internet.
  • the image processing device provided in the automobile 100V can acquire the contents from the server 100S or the automobile 110V.
  • the system including the devices of FIGS. 1, 25 and 28 may be realized as one device. That is, as one embodiment, in addition to the same functions as the image processing device 10, a device having the same functions as at least one of the image display device 40 and the seat setting device 50 can be realized. For example, an image processing device having the same functions as the image processing device 10a and the seat setting device 50 of FIG. 25 can provide the same processing as the system including all the devices of FIG. 25.
  • the functions of the information processing unit 13 and the display control unit 15 of FIGS. 1, 25 and 28 may be provided to a server on a network outside the automobile so that the automobile and the server can communicate with each other. ..
  • the image display device 40 and the seat setting device 50 may be controlled by the server.
  • the present technology can also have the following configurations.
  • a determination unit that determines the shape of the screen suitable for displaying the content based on the information on the automatic driving state of the vehicle and the content displayed on the screen provided in the vehicle.
  • a creation unit that creates an image of the content to be displayed on the screen according to the shape determined by the determination unit to be suitable for displaying the content.
  • An image processing device comprising.
  • the determination unit determines that a shape in which at least one of a plurality of screens is arranged on the windshield of the automobile is suitable for displaying the content.
  • the image processing apparatus according to any one of (1) to (2). (4)
  • the determination unit determines that the shape in which the screen is not arranged on the windshield of the automobile is suitable for displaying the contents when the automatic driving state is in manual driving (1) to (3).
  • the image processing apparatus according to any one of. (5)
  • the determination unit determines any of the above (1) to (4), which determines the shape of the screen suitable for displaying the content based on the automatic driving state, the information about the content, and the inclination of the backrest of the seat of the automobile.
  • the image processing apparatus according to any one of (1) to (5) above.
  • the determination unit further determines the inclination of the backrest of the seat of the automobile suitable for displaying the content, and further determines.
  • (1) to (4) further including a seat setting unit that sets the inclination of the backrest of the seat according to the inclination of the backrest of the seat determined to be suitable for displaying the content determined by the determination unit.
  • the image processing apparatus according to any one of.
  • the creating unit creates an image to be displayed on a screen arranged on the windshield of the automobile among a plurality of screens, and creates an image showing information for assisting driving.
  • the image processing apparatus according to any one of 7).
  • the creating unit is an image to be displayed on a first screen arranged on the ceiling of the automobile among a plurality of screens, and is arranged on an image of the sky above the automobile and a windshield of the automobile.
  • the image processing apparatus according to any one of (1) to (8) above, wherein the image to be displayed on the second screen is an image obtained by photographing the rear of the automobile.
  • the creating unit is an image to be displayed on a screen arranged on the windshield of the automobile among a plurality of screens, and any of the above (1) to (9) for creating an image of a rear seat.
  • the creating unit displays a first image for displaying on a first screen arranged on the ceiling of the automobile and a second screen arranged on the windshield of the automobile among a plurality of screens.
  • the image processing apparatus according to any one of (1) to (10) above, wherein the second image for displaying the explanation of the first image and the second image for displaying the description of the first image are created.
  • the creator has an image of a running application for display on a first screen located on the ceiling of the vehicle and a second screen arranged on the windshield of the vehicle.
  • the image processing apparatus according to any one of (1) to (11) above, which creates an image of a launcher of an application.
  • a display system having a movable screen provided in an automobile, a projector, and an image processing device.
  • the image processing device is A determination unit that determines the shape of the screen suitable for displaying the content based on the information on the automatic driving state of the automobile and the content displayed on the screen.
  • a creation unit that creates an image of the content to be displayed on the screen according to the shape determined by the determination unit to be suitable for displaying the content.
  • the determination unit further determines the inclination of the backrest of the seat of the automobile suitable for displaying the content, and further determines.
  • the computer Based on the information about the automatic driving state of the automobile and the content displayed on the screen provided in the automobile, the shape of the screen suitable for displaying the content is determined. An image processing method for creating an image of content to be displayed on the screen according to a shape determined to be suitable for displaying the content.
  • Computer A determination unit that determines the shape of the screen suitable for displaying the content based on the information on the automatic driving state of the vehicle and the content displayed on the screen provided in the vehicle.
  • a creation unit that creates an image of the content to be displayed on the screen according to the shape determined by the determination unit to be suitable for displaying the content.

Abstract

スクリーンの態様をコンテンツの視聴に最適化させることを可能にする。本開示に係る画像処理装置（１０）は、自動車の自動運転状態、及び自動車に備えられたスクリーンに表示されるコンテンツに関する情報を基に、コンテンツの表示に適したスクリーンの形状を判定する形状判定部（１５２）と、形状判定部（１５２）によってコンテンツの表示に適していると判定された形状に応じて、スクリーンに表示するコンテンツの画像を作成する画像作成部（１５３）と、を備える。

Description

画像処理装置、表示システム、画像処理方法及び記録媒体
　本開示は、画像処理装置、表示システム、画像処理方法及び記録媒体に関する。
　自動車内の天井に設置された有機ＥＬシート等のスクリーンに、コンテンツを表示する技術が知られている。例えば、スクリーンに、現在位置から見える天空図を表示する技術が知られている。また、例えば、スクリーンに、目的地までの経路を表示する一本道及び当該一本道上の位置を表示する技術が知られている。
特開２００２－３２８６２４号公報
　しかしながら、上記の従来技術には、スクリーンの態様がコンテンツの視聴に適さない場合があるという問題がある。例えば、運転者が、前方の視野を確保しながら、頭上のスクリーンに表示されるコンテンツを快適に視聴することは困難である。
　そこで、本開示では、スクリーンの態様をコンテンツの視聴に最適化させることができる画像処理装置、表示システム、画像処理方法及び記録媒体を提案する。
　上記の課題を解決するために、本開示に係る一形態の画像処理装置は、自動車の自動運転状態、及び前記自動車に備えられたスクリーンに表示されるコンテンツに関する情報を基に、前記スクリーンの複数の形状のそれぞれと対応付けられた条件が満たされているか否かを判定する判定部と、前記判定部によって満たされていると判定された条件に対応付けられた形状を特定する情報を出力するスクリーン形状出力部と、を備える。
第１の実施形態に係る画像処理装置の構成例を示す図である。 スクリーンの一例を示す図である。 自動車の後部から見たスクリーンを示す図である。 スクリーン形状のパターンを示す図である。 メタデータの表示パターンを示す図（１）である。 メタデータの表示パターンを示す図（２）である。 スクリーン形状と座席の背もたれの傾きの関係を示す図である。 スクリーンに表示されるコンテンツの一例を示す図（１）である。 コンテンツの表示パターンを示す図（１）である。 スクリーンに表示されるコンテンツの一例を示す図（２）である。 スクリーンに表示されるコンテンツの一例を示す図（３）である。 コンテンツの表示パターンを示す図（２）である。 スクリーンに表示されるコンテンツの一例を示す図（４）である。 コンテンツの表示パターンを示す図（３）である。 スクリーンに表示されるコンテンツの一例を示す図（５）である。 コンテンツの表示パターンを示す図（４）である。 スクリーンに表示されるコンテンツの一例を示す図（６）である。 コンテンツの表示パターンを示す図（５）である。 スクリーンに表示されるコンテンツの一例を示す図（７）である。 コンテンツの表示パターンを示す図（６）である。 スクリーンに表示されるコンテンツの一例を示す図（８）である。 コンテンツの表示パターンを示す図（７）である。 第１の実施形態に係る画像処理装置の処理の流れを示すフローチャートである。 スクリーン形状を判定する処理の流れを示すフローチャートである。 第２の実施形態に係る画像処理装置の構成例を示す図である。 スクリーン形状と座席の背もたれの傾きの関係を示す図である。 第２の実施形態に係る画像処理装置の処理の流れを示すフローチャートである。 第３の実施形態に係る画像処理装置の構成例を示す図である。 第３の実施形態に係る画像処理装置の処理の流れを示すフローチャートである。 スクリーンに表示されるコンテンツの一例を示す図（９）である。 自動車制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の例を示す図（１）である。 撮像部の設置位置の例を示す図（２）である。 ネットワークシステムの構成例を示す図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、以下の順序で説明を行う。
　　１．第１の実施形態
　　２．第２の実施形態
　　３．第３の実施形態
　　４．移動体への応用例
［１．第１の実施形態］
　図１は、第１の実施形態に係る画像処理装置の構成例を示す図である。図１に示す画像処理装置１０は、自動運転機能を備えた自動車内に備えられたスクリーンへのコンテンツの表示に関する処理を行うための装置である。
　入力部１１は、自動車の走行状況、搭乗者の状況及び搭乗者による操作等の入力を受ける入力装置である。入力部１１には、画像センサ、デプスセンサ及びタッチセンサ等の各種センサが含まれる。画像センサは、二次元の画像を取得するセンサであり、例えば可視光カメラ及び赤外線カメラ等である。デプスセンサは、奥行きを含む三次元の情報を取得するセンサであり、例えばステレオカメラや、time　of　flight方式、structured　light方式等を実施可能なセンサである。
　ここで、入力部１１は、自動車の状態として、自動運転状態を受け付けることができる。自動運転状態は、自動運転中であるか否かに加え、自動運転レベルが含まれる。また、入力部１１は、搭乗者による操作として、タッチディスプレイによる操作、音声による操作、骨格場を用いたジェスチャ操作等を受け付ける。
　通信部１２は、他の装置との間でデータ通信を行うためのインタフェースである。通信部１２は、例えばＮＩＣ（Network　Interface　Card）等によって実現される。
　情報処理部１３は、コンテンツ表示に関する各処理を実行する。情報処理部１３は、例えばＣＰＵ（Central　Processing　Unit）を備えたコンピュータによって実現される。情報処理部１３は、入力部１１から受け付けた情報を基に、コンテンツに含まれる画像を表示するための処理を行う。情報処理部１３は、アプリケーションを表示するウィンドウ等の、マルチコンテンツの描画制御や、各コンテンツに対するタッチ等のイベント配信を行う。情報処理部１３は、一般的なＯＳの制御レイヤーに相当する処理を行う。
　画像表示装置４０は、コンテンツに含まれる画像を表示する。画像表示装置４０は、プロジェクタ及びプロジェクタスクリーンであってもよい。また、画像表示装置４０は、液晶ディスプレイ等のディスプレイであってもよい。以降、プロジェクタスクリーン及び液晶ディスプレイ等の、実際に画像が表示される面を、単にスクリーンと呼ぶ。
　形状出力部１４は、スクリーン形状を出力する。具体的には、形状出力部１４は、スクリーン形状を変化させる。スクリーン形状及びスクリーン形状の変更方法については後に説明する。
　表示制御部１５は、スクリーン形状の判定及び表示する画像の作成を行う。表示制御部１５は、例えばＣＰＵを備えたコンピュータによって実現される。図１に示すように、表示制御部１５は、コンテンツ取得部１５１、形状判定部１５２、画像作成部１５３及び形状蓄積部１５４を有する。
　コンテンツ取得部１５１は、コンテンツを取得する。コンテンツ取得部１５１は、所定の記憶装置からコンテンツを取得してもよいし、ネットワークを経由して外部の装置や他の自動車からコンテンツを取得してもよい。
　形状判定部１５２は、自動車の自動運転状態、及び自動車に備えられたスクリーンに表示されるコンテンツに関する情報を基に、コンテンツの表示に適したスクリーンの形状を判定する。
　画像作成部１５３は、形状判定部１５２によってコンテンツの表示に適していると判定されたスクリーン形状に応じて、スクリーンに表示するコンテンツの画像を作成する。
　ここで、図２を用いて、画像表示装置４０に含まれるスクリーンについて説明する。図２は、スクリーンの一例を示す図である。図２に示すように、自動車には、下側フロントスクリーン３１、上側フロントスクリーン３２及びルックアップスクリーン３３が備えられる。各スクリーンは、プロジェクタからの投射された画像を表示するプロジェクタスクリーンであってもよいし、液晶ディスプレイであってもよい。
　図２は、プロジェクタが画像を投射する場合の例を示している。図２に示すように、プロジェクタ２０は、自動車の後部から各スクリーンに画像を投射する。プロジェクタ２０は、スクリーンの形状に合わせて、画像を投射する方向及び高さを変更可能なものであってもよい。また、プロジェクタ２０は、運転席のヘッドレストに備えられてもよい。
　下側フロントスクリーン３１及び上側フロントスクリーン３２は、フロントガラスの内側に配置される。上側フロントスクリーン３２は、下側フロントスクリーン３１よりも天井側に配置される。また、ルックアップスクリーン３３は、天井に配置される。
　なお、図２の例では、フロントスクリーンは、下側フロントスクリーン３１及び上側フロントスクリーン３２の２枚であるが、フロントスクリーンの数は１枚であってもよいし、３枚以上であってもよい。また、フロントスクリーンはサンバイザーに備えられていてもよい。
　図３は、自動車の後部から見たスクリーンを示す図である。図３に示すように、下側フロントスクリーン３１及び上側フロントスクリーン３２は、運転者のフロントガラス越しの視界の一部を覆い隠す。
　各スクリーンは可動であるものとする。例えば、形状出力部１４は、モータ等のアクチュエータを動力とし、天井及びフロントガラスに沿って各スクリーンを移動させることができる。特に、下側フロントスクリーン３１及び上側フロントスクリーン３２は、搭乗者から見える位置と搭乗者から見えない位置との間を移動する。また、各スクリーンが搭乗者から見える位置にある状態を繰出状態と呼ぶ。一方、各スクリーンが搭乗者から見えない位置にある状態を収納状態と呼ぶ。
　なお、以降の説明では、自動車に乗っている者を搭乗者と呼ぶ。また、搭乗者のうち、運転席に座っている者を、実際に自動車の操作を行っているか否かにかかわらず運転者と呼ぶ。例えば、自動車が自動運転機能により走行しているときに運転席に座っている搭乗者は、一切の操作を行っていない場合であっても運転者と呼ばれる。
　下側フロントスクリーン３１、上側フロントスクリーン３２及びルックアップスクリーン３３の配置を、スクリーン形状と呼ぶ。スクリーン形状には、使用されるスクリーンに応じたいくつかのパターンがある。図４は、スクリーン形状のパターンを示す図である。スクリーン形状のパターンは、形状蓄積部１５４に蓄積されている。
　まず、図４に示すように、ルックアップスクリーン３３のみが使用されるパターンでは、下側フロントスクリーン３１及び上側フロントスクリーン３２は、いずれも収納状態になる。図４の例では、下側フロントスクリーン３１及び上側フロントスクリーン３２は、いずれもルックアップスクリーン３３と天井との間の隙間に移動する。
　また、図４に示すように、フロントスクリーンの一部が使用されるパターンでは、下側フロントスクリーン３１が収納状態になり、上側フロントスクリーン３２が繰出状態になる。図４の例では、下側フロントスクリーン３１は、ルックアップスクリーン３３と天井との間の隙間に移動する。一方、上側フロントスクリーン３２は、フロントガラスの内側の所定の位置に移動する。
　さらに、図４に示すように、全スクリーンが使用されるパターンでは、下側フロントスクリーン３１及び上側フロントスクリーン３２は、いずれも繰出状態になる。図４の例では、下側フロントスクリーン３１及び上側フロントスクリーン３２は、いずれもフロントガラスの内側の所定の位置に移動する。
　形状判定部１５２は、あらかじめ定められた条件を基に、図４に示す３つのパターンのうち１つを最適なパターンとして判定する。第１の実施形態では、形状判定部１５２は、自動運転状態、コンテンツ情報、座席設定情報の少なくともいずれかに基づいて判定を行う。
　自動運転状態は、自動車が自動運転中であるか否か、及び自動運転レベルである。つまり、形状判定部１５２は、自動車が自動運転中であるか否か、及び自動運転レベルを含む自動運転状態を基に、スクリーンの形状を判定する。
　自動運転レベルには、システムが全ての運転タスクを限定条件下で実施し、システムの介入要求に対して運転者が応答することが期待されるレベル３、システムが全ての運転タスクを実施するレベル５等がある。なお、ここで挙げた運転レベルは一例である。
　形状判定部１５２は、自動運転状態が手動運転中である場合、自動車のフロントガラスにスクリーンが配置されない形状が、コンテンツの表示に適していると判定する。自動運転状態が手動運転中であるとは、自動運転機能がオフになっており、運転者が手動で操作していることを意味する。この場合、運転者は、安全のために前方の視野を確保しておくことが考えられる。このため、形状判定部１５２は、自動運転状態が手動運転中である場合、下側フロントスクリーン３１及び上側フロントスクリーン３２の両方が収納状態になる形状が適していると判定する。
　形状判定部１５２は、自動運転状態が自動運転中である場合、自動車のフロントガラスに、複数のスクリーンのうちの少なくとも１つが配置される形状が、コンテンツの表示に適していると判定する。
　ここでは、自動運転レベルが高い程、運転者に手動操作が要求される頻度は小さくなるものとする。例えば、自動運転レベルが３の場合、システムによって自動的に回避することが困難な障害物が検知された場合、運転者には手動でハンドルやブレーキを操作することが求められるものとする。一方、自動運転レベルが５の場合、運転者には一切の操作が求められないものとする。
　例えば、自動運転レベルが３の場合、形状判定部１５２は、下側フロントスクリーン３１が収納状態になり、上側フロントスクリーン３２が繰出状態になる形状（図４のフロントスクリーン一部使用に相当）が適していると判定する。この場合、運転者は、フロントガラスの一部から前方を見ることができるため、要求があった場合には操作を行うことができる。
　また、例えば、自動運転レベルが５の場合、形状判定部１５２は、下側フロントスクリーン３１及び上側フロントスクリーン３２の両方が繰出状態になる形状（図４の全スクリーン使用）が適していると判定する。この場合、運転者は、一切の操作を行う必要がないため、全スクリーンを使ってコンテンツを視聴することができる。
　また、形状判定部１５２は、コンテンツに関する情報を基に形状を判定する。例えば、コンテンツごとに表示するスクリーンのサイズがあらかじめ定められている場合、形状判定部１５２は、当該サイズに合わせて形状を判定する。
　ここで、上側フロントスクリーン３２に、カーナビ、バックミラーカメラ、後部座席を撮影した画像等を表示することで、運転者の運転を補助することができる。このため、運転者を補助するためのコンテンツが表示される場合、手動運転であっても、形状判定部１５２は、上側フロントスクリーン３２が繰出状態になる形状（図４のフロントスクリーン一部使用）が適していると判定してもよい。
　また、下側フロントスクリーン３１を含む全スクリーンを繰出状態としてコンテンツを表示することで、没入感を向上させることができる。このため、スポーツ観戦やプラネタリウムといった没入感が求められるコンテンツが表示される場合、形状判定部１５２は、下側フロントスクリーン３１及び上側フロントスクリーン３２の両方が繰出状態になる形状（図４の全スクリーン使用）が適していると判定する。
　なお、形状判定部１５２は、自動運転中の場合にのみコンテンツに関する情報による判定を行うようにしてもよい。また、搭乗者からスクリーン形状の指定があった場合、形状判定部１５２は、当該指定されたスクリーン形状を優先するようにしてもよい。
　また、コンテンツによっては、メインコンテンツと当該メインコンテンツに関連する情報（以下、コンテンツのメタデータと呼ぶ）を持つものがある。例えば、サッカーの試合の映像がメインコンテンツである場合、現在の両チームの得点がメタデータであってもよい。画像作成部１５３は、スクリーンの形状に応じてメタデータの表示位置を決定することができる。
　図５は、メタデータの表示パターンを示す図（１）である。実線で囲まれた領域は、使用される（画像が表示される）スクリーンを示している。また、点線で囲まれた領域は、使用されない（画像が表示されない）スクリーンを示している。図５に示すように、ルックアップスクリーンのみが使用されるパターンでは、画像作成部１５３は、ルックアップスクリーン３３の画像の一部にメタデータを表示する。ルックアップスクリーンのみが使用されるパターンでは、下側フロントスクリーン３１及び上側フロントスクリーン３２は使用されず、ルックアップスクリーン３３は使用される。これは、ルックアップスクリーンのみが使用されるパターンでは、後部座席の搭乗者のみがコンテンツを見ることができればよいためである。
　また、フロントスクリーンの一部が使用されるパターンでは、画像作成部１５３は、上側フロントスクリーン３２にメタデータを表示する。フロントスクリーンの一部が使用されるパターンでは、下側フロントスクリーン３１は使用されず、上側フロントスクリーン３２及びルックアップスクリーン３３は使用される。
　また、全スクリーンが使用されるパターンでは、画像作成部１５３は、下側フロントスクリーン３１にメタデータを表示する。全スクリーンが使用されるパターンでは、下側フロントスクリーン３１、上側フロントスクリーン３２及びルックアップスクリーン３３が使用される。
　また、前述の通り、スクリーンには、運転補助の情報が表示される場合がある。画像作成部１５３は、メタデータと同様に、スクリーンの形状に応じて運転補助の情報の表示位置を決定することができる。ただし、運転補助の情報は、自動運転状態によっては表示が不要な場合がある。
　図６は、メタデータの表示パターンを示す図（２）である。実線で囲まれた領域は、使用される（画像が表示される）スクリーンを示している。また、点線で囲まれた領域は、使用されない（画像が表示されない）スクリーンを示している。図６に示すように、ルックアップスクリーンのみが使用されるパターンでは、画像作成部１５３は、運転補助の情報を表示しないようにすることができる。ルックアップスクリーンのみが使用されるパターンでは、下側フロントスクリーン３１及び上側フロントスクリーン３２は使用されず、ルックアップスクリーン３３は使用される。これは、手動運転中の運転者は、ルックアップスクリーン３３を見ることは困難であるためである。
　また、フロントスクリーンの一部が使用されるパターンでは、画像作成部１５３は、上側フロントスクリーン３２に運転補助の情報を表示する。このように、画像作成部１５３は、複数のスクリーンのうち、自動車のフロントガラスに配置されたスクリーンに表示するための画像であって、運転を補助するための情報を示す画像を作成する。フロントスクリーンの一部が使用されるパターンでは、下側フロントスクリーン３１は使用されず、上側フロントスクリーン３２及びルックアップスクリーン３３は使用される。これにより、自動運転中の運転者が、上側フロントスクリーン３２で情報を確認しつつ、操作要求があった場合に手動運転を行うことができる。
　また、全スクリーンが使用されるパターンでは、画像作成部１５３は、運転補助の情報を表示しない。全スクリーンが使用されるパターンでは、下側フロントスクリーン３１、上側フロントスクリーン３２及びルックアップスクリーン３３が使用される。これは、前述の自動運転レベルが５の場合に相当し、運転者は手動運転を行わないためである。
　形状判定部１５２は、自動運転状態、コンテンツに関する情報及び自動車の座席の背もたれの傾きを基にコンテンツの表示に適したスクリーンの形状を判定する。例えば、形状判定部１５２は、自動車の座席が運転に不向きな程度にまで傾けられている場合、自動車のフロントガラスにスクリーンの一部が配置される形状が、コンテンツの表示に適していると判定する。運転者は、ルックアップスクリーンを見上げるために座席の背もたれを傾けることが考えられる。
　運転に不向きな程度の傾きとして、事前に所定の角度が定められていてもよい。例えば、座席の背もたれが３０度以上傾けられた場合に、形状判定部１５２は、座席の背もたれが運転に不向きな程度にまで傾けられたと判定してもよい。また、手動運転中の座席の背もたれの角度を記録しておき、座席の背もたれの傾きが、記録した角度から算出される所定の範囲を超えた場合、形状判定部１５２は、座席の背もたれが運転に不向きな程度にまで傾けられたと判定する。なお、座席の背もたれの傾きは、背もたれの傾き調節機構の状態でわかる。また、背もたれの傾きは、背もたれに設けられた傾き計測センサーにより計測されてもよい。
　図７は、スクリーン形状と座席の背もたれの傾きの関係を示す図である。状態（ａ）は初期状態であり、前部座席（運転者又は助手席）の背もたれが傾けられていない状態である。前部座席の背もたれが傾けられた場合、状態（ａ）から状態（ｂ）に遷移する。状態（ｂ）は、前部座席の背もたれが傾けられた後、スクリーンの形状が未変形の状態である。
　このとき、形状判定部１５２は、下側フロントスクリーン３１及び上側フロントスクリーン３２の一方又は両方が繰出状態になる形状がコンテンツの視聴に適していると判定する。これにより、搭乗者が座席の背もたれを傾けるのに合わせて、状態（ｂ）から状態（ｃ－１）又は状態（ｃ－２）に遷移する。つまり、下側フロントスクリーン３１及び上側フロントスクリーン３２の一方又は両方が移動し、繰出状態になる。
　状態（ｃ－１）及び状態（ｃ－２）は、前部座席の背もたれが傾けられた後、スクリーンの形状が変形済みの状態である。状態（ｃ－１）では、下側フロントスクリーン３１及び上側フロントスクリーン３２の両方が繰出状態になる。状態（ｃ－２）では、上側フロントスクリーン３２が繰出状態になる。
　以降、スクリーン形状ごとのコンテンツの表示態様について、例を挙げて説明する。図８は、スクリーンに表示されるコンテンツの一例を示す図（１）である。図８に示すように、画像作成部１５３は、複数のスクリーンのうち自動車の天井に配置されたルックアップスクリーン３３に表示するための画像であって、自動車の上空を撮影した画像と、また、図８に示すように、画像作成部１５３は、自動車のフロントガラスに配置された上側フロントスクリーン３２に表示するための画像であって、自動車の後方を撮影した画像と、を作成する。このように、周囲の映像をリアルタイムで表示することにより、オープンカーでない自動車の搭乗者が、オープンカーのような解放感を体験することができる。
　図９は、コンテンツの表示パターンを示す図（１）である。実線で囲まれた領域は、使用される（画像が表示される）スクリーンを示している。また、点線で囲まれた領域は、使用されない（画像が表示されない）スクリーンを示している。図９に示すように、ルックアップスクリーンのみの場合と、全スクリーン使用の場合は、自動車の後方を撮影した画像はいずれのスクリーンにも表示されない。これは、前述の通り、運転補助の情報が不要であるためである。ルックアップスクリーンのみが使用されるパターンでは、下側フロントスクリーン３１及び上側フロントスクリーン３２は使用されず、ルックアップスクリーン３３は使用される。フロントスクリーンの一部が使用されるパターンでは、下側フロントスクリーン３１は使用されず、上側フロントスクリーン３２及びルックアップスクリーン３３は使用される。全スクリーンが使用されるパターンでは、下側フロントスクリーン３１、上側フロントスクリーン３２及びルックアップスクリーン３３が使用される。
　図１０は、スクリーンに表示されるコンテンツの一例を示す図（２）である。図１０に示すように、画像作成部１５３は、複数のスクリーンのうち、自動車のフロントガラスに配置された上側フロントスクリーン３２に表示するための画像であって、後部座席を撮影した画像を作成する。これにより、前部座席の搭乗者は、後部座席の搭乗者の表情を確認しながら会話をすることができる。
　図１１は、スクリーンに表示されるコンテンツの一例を示す図（３）である。図９ではルックアップスクリーン３３に自動車の上空の画像が表示されていたのに対し、図１１では、ルックアップスクリーン３３に自動車の上空の画像とは異なる画像が表示されている。例えば、ルックアップスクリーン３３に、絶景とされる景色、外国の観光地の景色等を表示することにより、搭乗者は容易には行くことができない場所の景色を楽しむことができる。
　図１２は、コンテンツの表示パターンを示す図（２）である。実線で囲まれた領域は、使用される（画像が表示される）スクリーンを示している。また、点線で囲まれた領域は、使用されない（画像が表示されない）スクリーンを示している。図９の例と同様に、図１２の例でも、ルックアップスクリーンのみの場合と、全スクリーン使用の場合は、自動車の後方を撮影した画像はいずれのスクリーンにも表示されない。ルックアップスクリーンのみが使用されるパターンでは、下側フロントスクリーン３１及び上側フロントスクリーン３２は使用されず、ルックアップスクリーン３３は使用される。フロントスクリーンの一部が使用されるパターンでは、下側フロントスクリーン３１は使用されず、上側フロントスクリーン３２及びルックアップスクリーン３３は使用される。全スクリーンが使用されるパターンでは、下側フロントスクリーン３１、上側フロントスクリーン３２及びルックアップスクリーン３３が使用される。
　画像作成部１５３は、複数のスクリーンのうち、自動車の天井に配置されたルックアップスクリーン３３に表示するための第１の画像と、自動車のフロントガラスに配置された上側フロントスクリーン３２に表示するための画像であって、第１の画像の説明文を表示する第２の画像と、を作成する。
　図１３は、スクリーンに表示されるコンテンツの一例を示す図（４）である。図１３の例では、ルックアップスクリーン３３に、図鑑に掲載されたシロクマの画像が第１の画像として表示されている。また、上側フロントスクリーン３２には、図鑑に掲載された説明文が表示されている。また、画像作成部１５３は、自動車の目的地に応じた画像を作成してもよい。例えば、自動車が水族館に向かっている場合、画像作成部１５３は、魚図鑑の画像とその説明文の画像を作成する。
　図１４は、コンテンツの表示パターンを示す図（３）である。実線で囲まれた領域は、使用される（画像が表示される）スクリーンを示している。また、点線で囲まれた領域は、使用されない（画像が表示されない）スクリーンを示している。図１４の例では、図５を用いて説明した表示パターンに従ってメタデータが表示されている。この場合、メタデータは図鑑の説明文である。ルックアップスクリーンのみが使用されるパターンでは、下側フロントスクリーン３１及び上側フロントスクリーン３２は使用されず、ルックアップスクリーン３３は使用される。フロントスクリーンの一部が使用されるパターンでは、下側フロントスクリーン３１は使用されず、上側フロントスクリーン３２及びルックアップスクリーン３３は使用される。全スクリーンが使用されるパターンでは、下側フロントスクリーン３１、上側フロントスクリーン３２及びルックアップスクリーン３３が使用される。
　図１５は、スクリーンに表示されるコンテンツの一例を示す図（５）である。図１５の例では、ルックアップスクリーン３３に、サッカーの試合の映像が第１の画像として表示されている。また、上側フロントスクリーン３２には、両チームの得点が表示されている。
　図１６は、コンテンツの表示パターンを示す図（４）である。実線で囲まれた領域は、使用される（画像が表示される）スクリーンを示している。また、点線で囲まれた領域は、使用されない（画像が表示されない）スクリーンを示している。図１４の例では、図５を用いて説明した表示パターンに従ってメタデータが表示されている。この場合、メタデータは両チームの得点である。ルックアップスクリーンのみが使用されるパターンでは、下側フロントスクリーン３１及び上側フロントスクリーン３２は使用されず、ルックアップスクリーン３３は使用される。フロントスクリーンの一部が使用されるパターンでは、下側フロントスクリーン３１は使用されず、上側フロントスクリーン３２及びルックアップスクリーン３３は使用される。全スクリーンが使用されるパターンでは、下側フロントスクリーン３１、上側フロントスクリーン３２及びルックアップスクリーン３３が使用される。
　図１７は、スクリーンに表示されるコンテンツの一例を示す図（６）である。図１７の例では、ルックアップスクリーン３３に、現在地から目的地までのルートの画像が第１の画像として表示されている。また、上側フロントスクリーン３２には、目的地までの距離が表示されている。
　図１８は、コンテンツの表示パターンを示す図（５）である。実線で囲まれた領域は、使用される（画像が表示される）スクリーンを示している。また、点線で囲まれた領域は、使用されない（画像が表示されない）スクリーンを示している。図９の例と同様に、図１８の例でも、ルックアップスクリーンのみの場合と、全スクリーン使用の場合は、自動車の後方を撮影した画像はいずれのスクリーンにも表示されない。これにより、手動運転を行わない場合は、スクリーンに表示される情報の量を増やすことができる。ルックアップスクリーンのみが使用されるパターンでは、下側フロントスクリーン３１及び上側フロントスクリーン３２は使用されず、ルックアップスクリーン３３は使用される。フロントスクリーンの一部が使用されるパターンでは、下側フロントスクリーン３１は使用されず、上側フロントスクリーン３２及びルックアップスクリーン３３は使用される。全スクリーンが使用されるパターンでは、下側フロントスクリーン３１、上側フロントスクリーン３２及びルックアップスクリーン３３が使用される。
　図１９は、スクリーンに表示されるコンテンツの一例を示す図（７）である。図１９の例では、ルックアップスクリーン３３に、クイズの回答の選択肢に対応する画像が第１の画像として表示されている。また、上側フロントスクリーン３２には、クイズの問題文が表示されている。
　図２０は、コンテンツの表示パターンを示す図（６）である。実線で囲まれた領域は、使用される（画像が表示される）スクリーンを示している。また、点線で囲まれた領域は、使用されない（画像が表示されない）スクリーンを示している。図２０の例では、図５を用いて説明した表示パターンに従ってメタデータが表示されている。この場合、メタデータはクイズの問題文である。ルックアップスクリーンのみが使用されるパターンでは、下側フロントスクリーン３１及び上側フロントスクリーン３２は使用されず、ルックアップスクリーン３３は使用される。フロントスクリーンの一部が使用されるパターンでは、下側フロントスクリーン３１は使用されず、上側フロントスクリーン３２及びルックアップスクリーン３３は使用される。全スクリーンが使用されるパターンでは、下側フロントスクリーン３１、上側フロントスクリーン３２及びルックアップスクリーン３３が使用される。
　図２１は、スクリーンに表示されるコンテンツの一例を示す図（８）である。図２１の例では、ルックアップスクリーン３３に、実行中のアプリケーションの画像が表示されている。また、上側フロントスクリーン３２には、アプリケーションのランチャの画像が表示されている。
　このように、画像作成部１５３は、自動車の天井に配置された第１のスクリーンに表示するための、実行中のアプリケーションの画像と、自動車のフロントガラスに配置された第２のスクリーンに表示するための、アプリケーションのランチャの画像と、を作成する。
　図２２は、コンテンツの表示パターンを示す図（７）である。実線で囲まれた領域は、使用される（画像が表示される）スクリーンを示している。また、点線で囲まれた領域は、使用されない（画像が表示されない）スクリーンを示している。図２２の例では、図５を用いて説明した表示パターンに従ってメタデータが表示されている。この場合、メタデータは実行可能なアプリケーションのアイコンの一覧又はアプリケーションのランチャの画像である。ルックアップスクリーンのみが使用されるパターンでは、下側フロントスクリーン３１及び上側フロントスクリーン３２は使用されず、ルックアップスクリーン３３は使用される。フロントスクリーンの一部が使用されるパターンでは、下側フロントスクリーン３１は使用されず、上側フロントスクリーン３２及びルックアップスクリーン３３は使用される。全スクリーンが使用されるパターンでは、下側フロントスクリーン３１、上側フロントスクリーン３２及びルックアップスクリーン３３が使用される。
　図２３は、第１の実施形態に係る画像処理装置の処理の流れを示すフローチャートである。図２３に示すように、搭乗者がコンテンツを視聴するか否かを判定する（ステップＳ１０）。例えば、搭乗者が音声又はジェスチャ等によりコンテンツの表示を指示する操作を行った場合に、画像処理装置１０は、搭乗者がコンテンツを視聴すると判定する。
　画像処理装置１０は、搭乗者がコンテンツを視聴しないと判定した場合（ステップＳ１０、Ｎｏ）、中止処理を実行する。例えば、画像処理装置１０は、画像を表示せず、フロントスクリーンを収納状態とすることで中止処理を実行する（ステップＳ２０）。また、画像処理装置１０は、黒画面を表示することで中止処理を実行してもよい。
　画像処理装置１０は、搭乗者がコンテンツを視聴すると判定した場合（ステップＳ１０、Ｙｅｓ）、自動運転状況、コンテンツ情報、座席設定情報を取得する（ステップＳ３０）。そして、画像処理装置１０は、スクリーン形状を判定する（ステップＳ４０）。さらに、画像処理装置１０は、スクリーン形状を出力し（ステップＳ５０）、スクリーン形状に対応した画像を作成し画像を表示する（ステップＳ７０）。
　図２４は、スクリーン形状を判定する処理（図２３のステップＳ４０）の流れを示すフローチャートである。図２４に示すように、まず、画像処理装置１０は、自動運転中であるか否かを判定する（ステップＳ４０１）。自動運転中である場合（ステップＳ４０１、Ｙｅｓ）、画像処理装置１０は、全スクリーン使用の条件に当てはまるか否かを判定する（ステップＳ４０２）。自動運転中でない場合（ステップＳ４０１、Ｎｏ）、又は、全スクリーン使用の条件に当てはまらない場合（ステップＳ４０２）、画像処理装置１０は、フロントスクリーン一部使用の条件に当てはまるか否かを判定する（ステップＳ４０４）。
　全スクリーン使用の条件に当てはまる場合（ステップＳ４０２、Ｙｅｓ）、画像処理装置１０は、最適なスクリーン形状のパターンを全スクリーン使用と判定する（ステップＳ４０３）。フロントスクリーン一部使用の条件に当てはまる場合（ステップＳ４０４、Ｙｅｓ）、画像処理装置１０は、最適なスクリーン形状のパターンをフロントスクリーン一部使用と判定する（ステップＳ４０５）。フロントスクリーン一部使用の条件に当てはまらない場合（ステップＳ４０４、Ｎｏ）、画像処理装置１０は、最適なスクリーン形状のパターンをルックアップスクリーンのみと判定する（ステップＳ４０６）。
（第１の実施形態の効果）
　これまで説明してきたように、画像処理装置は、自動車の自動運転状態、及び自動車に備えられたスクリーンに表示されるコンテンツに関する情報を基に、コンテンツの表示に適したスクリーンの形状を判定する判定部（実施形態では形状判定部１５２）と、判定部によってコンテンツの表示に適していると判定されたスクリーン形状に応じて、スクリーンに表示するコンテンツの画像を作成する作成部（実施形態では画像作成部１５３）を備える。例えば、画像処理装置は、自動運転状態に応じて、運転者がどの程度視野を確保するべきかを判定することができる。また、画像処理装置は、コンテンツに適したスクリーンの形状を判定することができる。このため、第１の実施形態によれば、スクリーンの態様をコンテンツの視聴に最適化させることができる。
　判定部は、自動車が自動運転中であるか否か、及び自動運転レベルを含む自動運転状態を基に、スクリーンの形状を判定する。このため、第１の実施形態によれば、自動運転中であるか否かだけでなく、自動運転レベルに応じてスクリーンの形状を細かく最適化することができる。
　判定部は、自動運転状態が自動運転中である場合、自動車のフロントガラスに、複数のスクリーンのうちの少なくとも１つが配置される形状が、コンテンツの表示に適していると判定する。このため、第１の実施形態によれば、自動運転中である場合に、よりコンテンツの視聴を優先した形状にスクリーンを最適化できる。
　判定部は、自動運転状態が手動運転中である場合、自動車のフロントガラスにスクリーンが配置されない形状が、コンテンツの表示に適していると判定する。このため、第１の実施形態によれば、手動運転中である場合に、より安全性を優先した形状にスクリーンを最適化できる。
　判定部は、自動運転状態、コンテンツに関する情報及び自動車の座席の背もたれの傾きを基にコンテンツの表示に適したスクリーンの形状を判定する。このため、第１の実施形態によれば、搭乗者は、座席の背もたれの傾きに最適化された形状のスクリーンで快適にコンテンツを視聴することができる。
　判定部は、自動車の座席の背もたれが運転に不向きな程度にまで傾けられている場合、自動車のフロントガラスにスクリーンの一部が配置される形状が、コンテンツの表示に適していると判定する。このため、第１の実施形態によれば、運転者は、運転しない場合は、より快適にコンテンツを視聴することができる。
　作成部は、複数のスクリーンのうち、自動車のフロントガラスに配置されたスクリーンに表示するための画像であって、運転を補助するための情報を示す画像を作成する。このため、第１の実施形態によれば、運転中の運転者にとって見やすい位置に運転補助の情報を表示することができる。
　作成部は、複数のスクリーンのうち、自動車の天井に配置された第１のスクリーンに表示するための画像であって、自動車の上空を撮影した画像と、自動車のフロントガラスに配置された第２のスクリーンに表示するための画像であって、自動車の後方を撮影した画像と、を作成する。このため、第１の実施形態によれば、運転中の運転者にとって見やすい位置に後方の様子を確認可能な画像を表示することができる。
　作成部は、複数のスクリーンのうち、自動車のフロントガラスに配置されたスクリーンに表示するための画像であって、後部座席を撮影した画像を作成する。このため、第１の実施形態によれば、前部座席の搭乗者は、後部座席の搭乗者の表情を確認しながら会話をすることができる。
　作成部は、複数のスクリーンのうち、自動車の天井に配置された第１のスクリーンに表示するための第１の画像と、自動車のフロントガラスに配置された第２のスクリーンに表示するための画像であって、第１の画像の説明文を表示する第２の画像と、を作成する。このため、第１の実施形態によれば、搭乗者は、説明文を閲覧し、コンテンツをより深く楽しむことができる。
　作成部は、自動車の天井に配置された第１のスクリーンに表示するための、実行中のアプリケーションの画像と、自動車のフロントガラスに配置された第２のスクリーンに表示するための、アプリケーションのランチャの画像と、を作成する。このため、第１の実施形態によれば、搭乗者は、直感的な操作によりアプリケーションの起動及び実行を行うことができる。
［２．第２の実施形態］
　図２５は、第２の実施形態に係る画像処理装置の構成例を示す図である。図２５に示すように、第２の実施形態の画像処理装置１０ａは、第１の実施形態の画像処理装置１０と異なり、座席設定装置５０を有する。第２の実施形態では、画像処理装置１０は、自動運転状況及びコンテンツ情報を基に、最適な座席の背もたれの傾きを判定し、判定結果に従い実際に設定する。
　形状判定部１５２は、コンテンツの表示に適した自動車の座席の背もたれの傾きをさらに判定する。そして、座席設定装置５０は、形状判定部１５２によって判定されたコンテンツの表示に適していると判定された座席の背もたれの傾きに従って、座席の背もたれの傾きを設定する。このとき、座席の背もたれは、設定された傾きに従って自動的に傾く。
　図２６は、スクリーン形状と座席の背もたれの傾きの関係を示す図である。状態（ｄ）は初期状態であり、前部座席（運転者又は助手席）の背もたれが傾けられておらず、スクリーンの形状が未変形の状態である。状態（ｄ）における未変形の状態とは、図５のルックアップスクリーンのみ使用に対応する状態である。すなわち、状態（ｄ）における未変形の状態とは、下側フロントスクリーン３１及び上側フロントスクリーン３２の両方が収納状態であり、ルックアップスクリーン３３のみが使用される（画像が表示される）状態である。
　ここで、形状判定部１５２が、コンテンツに適したスクリーンの形状と座席の背もたれの傾きを判定する。このとき、状態（ｄ）から状態（ｅ）に遷移する。つまり、上側フロントスクリーン３２が移動し、繰出状態になる。一方、座席の背もたれの傾きは変更されない。状態（ｅ）は、スクリーンの形状が変形済みであり、座席の背もたれの傾きが未変更の状態である。状態（ｅ）における変形済みの状態とは、図５のフロントスクリーン一部使用に対応する状態である。すなわち、状態（ｅ）における変形済みの状態とは、下側フロントスクリーン３１が収納状態であり、上側フロントスクリーン３２が繰出状態であり、上側フロントスクリーン３２及びルックアップスクリーン３３が使用される（画像が表示される）状態である。
　さらに、例えば全スクリーンを使用するような別のコンテンツが表示される場合、形状判定部１５２はさらにスクリーンの形状及び座席の背もたれの傾きを判定する。このとき、状態（ｅ）から状態（ｆ）に遷移する。つまり、下側フロントスクリーン３１が移動し、繰出状態になる。これにより、全スクリーンが使用される状態になる。さらに、前部座席の背もたれの傾きが変更される。状態（ｆ）は、スクリーンの形状が変形済みであり、かつ、座席の背もたれの傾きが変更済みの状態である。状態（ｆ）における変形済みの状態とは、図５の全スクリーン使用に対応する状態である。すなわち、状態（ｆ）における変形済みの状態とは、下側フロントスクリーン３１及び上側フロントスクリーン３２の両方が繰出状態であり、下側フロントスクリーン３１、上側フロントスクリーン３２及びルックアップスクリーン３３が使用される（画像が表示される）状態である。ここでは、ルックアップスクリーン３３を含めた全スクリーンが使用される状態であるため、前部座席の背もたれは、運転をするのに適した角度よりも大きく傾けられる。
　図２７は、第２の実施形態に係る画像処理装置の処理の流れを示すフローチャートである。図２７に示すように、搭乗者がコンテンツを視聴するか否かを判定する（ステップＳ１０）。画像処理装置１０は、搭乗者がコンテンツを視聴しないと判定した場合（ステップＳ１０、Ｎｏ）、中止処理を実行する。
　画像処理装置１０は、搭乗者がコンテンツを視聴すると判定した場合（ステップＳ１０、Ｙｅｓ）、自動運転状況、コンテンツ情報を取得する（ステップＳ３１）。そして、画像処理装置１０は、スクリーン形状を判定する（ステップＳ４０）。さらに、画像処理装置１０は、スクリーン形状を出力し（ステップＳ５０）、座席の背もたれの傾きを設定し（ステップＳ６０）、スクリーン形状に対応した画像を作成し画像を表示する（ステップＳ７０）。
　判定部（実施形態では形状判定部１５２）は、コンテンツの表示に適した自動車の座席の背もたれの傾きをさらに判定する。座席設定部（実施形態では座席設定装置５０）は、判定部によって判定されたコンテンツの表示に適していると判定された座席の背もたれの傾きに従って、座席の傾きを設定する。このため、第２の実施形態によれば、搭乗者は、手動で座席の背もたれの傾きを変更することなく、快適な姿勢でコンテンツを視聴することができる。
［３．第３の実施形態］
　図２８は、第３の実施形態に係る画像処理装置の構成例を示す図である。図２８に示すように、第２の実施形態の画像処理装置１０ｂは、第２の実施形態の画像処理装置１０ａと異なり、形状情報の入力を受け付ける。第３の実施形態では、画像処理装置１０は、自動運転状況及びコンテンツ情報に加え、搭乗者が指定した形状情報を基に、最適な座席の背もたれの傾きを判定し、判定結果に従い実際に設定する。
　形状情報は、搭乗者が指定するスクリーン形状である。例えば、搭乗者は、ルックアップスクリーンのみを使用、フロントスクリーンの一部を使用、全スクリーンを使用のいずれかを指定する。画像処理装置１０ｂは、搭乗者の指定を優先してスクリーンの形状を判定する。ただし、画像処理装置１０ｂは、搭乗者が指定したスクリーン形状への変更が不可能である場合、搭乗者の指定を優先しないようにしてもよい。例えば、手動運転中に、搭乗者が全スクリーンの使用を指定した場合、画像処理装置１０ｂは、最適なスクリーン形状を全スクリーンの使用と判定しない。
　図２９は、第３の実施形態に係る画像処理装置の処理の流れを示すフローチャートである。図２９に示すように、搭乗者がコンテンツを視聴するか否かを判定する（ステップＳ１０）。画像処理装置１０は、搭乗者がコンテンツを視聴しないと判定した場合（ステップＳ１０、Ｎｏ）、中止処理を実行する。
　画像処理装置１０は、搭乗者がコンテンツを視聴すると判定した場合（ステップＳ１０、Ｙｅｓ）、自動運転状況、コンテンツ情報及び形状情報を取得する（ステップＳ３１）。そして、画像処理装置１０は、スクリーン形状を判定する（ステップＳ４０）。さらに、画像処理装置１０は、スクリーン形状を出力し（ステップＳ５０）、座席の背もたれの傾きを設定し（ステップＳ６０）、スクリーン形状に対応した画像を作成し画像を表示する（ステップＳ７０）。座席の背もたれの傾きの一例としては、実施例２で述べた図２６の例がある。図２６の例では、前部座席の背もたれの傾きは、運転をするのに適した角度、及び運転をするのに適した角度よりも大きい角度のいずれかに設定される場合がある。
（その他の実施形態）
　図１４等に示すように、これまで説明した実施形態では、メインコンテンツと当該メインコンテンツに対応するメタデータが同時に表示されていた。一方で、図３０に示すように、関連のないメインコンテンツとメタデータ、又は異なるメインコンテンツ同士が同時にスクリーンに表示されてもよい。
　図３０は、スクリーンに表示されるコンテンツの一例を示す図（９）である。図３０の例では、ルックアップスクリーン３３にサッカーの試合の映像が表示されている。また、上側フロントスクリーン３２にはアプリケーションの実行画面が表示されている。また、下側フロントスクリーン３１にはアプリケーションのランチャ画面が表示されている。これにより、ある搭乗者が全スクリーンでコンテンツを視聴しているときに、他の搭乗者がフロントスクリーンで別のコンテンツを視聴することができる。
［４．移動体への応用例］
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図３１は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図３１に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３１の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも１つを含んでいてもよい。
　図３２は、撮像部の設置位置の例を示す図（１）である。
　図３２では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５、１２１０６を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５、１２１０６は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部、ルーフ等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。ルーフに備えられる撮像部１２１０６は、主として上空の画像を撮影する。
　なお、図３２には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前にあらかじめ確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　図３３は、撮像部の設置位置の例を示す図（２）である。図３３に示すように、撮像部１２１０６は、車両の上空の画像を撮影する。撮像部１２１０６は、広角カメラ又は全周囲カメラであってもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、マイクロコンピュータ１２０５１に適用され得る。具体的には、画像処理装置１０の表示制御部１５の処理は、マイクロコンピュータ１２０５１によって実現される。また、図８等で説明した自動車の上空の画像は、撮像部１２１０６によって撮影されたものであってもよい。
　画像処理装置を搭載した自動車は、ネットワークに接続されたものであってもよい。図３４は、ネットワークシステムの構成例を示す図である。図３４に示すように、画像処理装置を備えた自動車１００Ｖは、他の自動車１１０Ｖとデータを通信可能に接続されていてもよい。また、自動車１００Ｖは、ネットワークＮを介してサーバ１００Ｓと通信可能に接続されていてもよい。ネットワークＮは、例えばインターネットである。この場合、自動車１００Ｖに備えられた画像処理装置は、サーバ１００Ｓ又は自動車１１０Ｖからコンテンツを取得することができる。
　なお、図１、図２５及び図２８の各装置を含むシステムは、１つの装置として実現されてもよい。つまり、１つの実施形態として、画像処理装置１０と同様の機能に加え、画像表示装置４０又は座席設定装置５０のうちの少なくともいずれかと同様の機能を有する装置が実現可能である。例えば、図２５の画像処理装置１０ａ及び座席設定装置５０と同様の機能を有する画像処理装置は、図２５の全装置を含むシステムと同等の処理を提供できる。
　さらに、図１、図２５及び図２８の情報処理部１３と表示制御部１５の機能を、自動車の外部のネットワーク上のサーバに持たせ、自動車と当該サーバが通信可能に構成されていてもよい。この場合、画像表示装置４０及び座席設定装置５０は、当該サーバによって制御されてもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　自動車の自動運転状態、及び前記自動車に備えられたスクリーンに表示されるコンテンツに関する情報を基に、前記コンテンツの表示に適した前記スクリーンの形状を判定する判定部と、
　前記判定部によって前記コンテンツの表示に適していると判定された形状に応じて、前記スクリーンに表示するコンテンツの画像を作成する作成部と、
　を備える画像処理装置。
（２）
　前記判定部は、前記自動車が自動運転中であるか否か、及び自動運転レベルを含む自動運転状態を基に、前記スクリーンの形状を判定する前記（１）に記載の画像処理装置。
（３）
　前記判定部は、前記自動運転状態が自動運転中である場合、前記自動車のフロントガラスに、複数のスクリーンのうちの少なくとも１つが配置される形状が、前記コンテンツの表示に適していると判定する前記（１）～（２）のいずれかに記載の画像処理装置。
（４）
　前記判定部は、前記自動運転状態が手動運転中である場合、前記自動車のフロントガラスに前記スクリーンが配置されない形状が、前記コンテンツの表示に適していると判定する前記（１）～（３）のいずれかに記載の画像処理装置。
（５）
　前記判定部は、前記自動運転状態、前記コンテンツに関する情報及び前記自動車の座席の背もたれの傾きを基に前記コンテンツの表示に適した前記スクリーンの形状を判定する前記（１）～（４）のいずれかに記載の画像処理装置。
（６）
　前記判定部は、前記自動車の座席の背もたれが運転に不向きな程度にまで傾けられている場合、前記自動車のフロントガラスに前記スクリーンの一部が配置される形状が、前記コンテンツの表示に適していると判定する前記（１）～（５）のいずれかに記載の画像処理装置。
（７）
　前記判定部は、前記コンテンツの表示に適した前記自動車の座席の背もたれの傾きをさらに判定し、
　前記判定部によって判定された前記コンテンツの表示に適していると判定された前記座席の背もたれの傾きに従って、前記座席の背もたれの傾きを設定する座席設定部をさらに備える前記（１）～（４）のいずれかに記載の画像処理装置。
（８）
　前記作成部は、複数のスクリーンのうち、前記自動車のフロントガラスに配置されたスクリーンに表示するための画像であって、運転を補助するための情報を示す画像を作成する前記（１）～（７）のいずれかに記載の画像処理装置。
（９）
　前記作成部は、複数のスクリーンのうち、前記自動車の天井に配置された第１のスクリーンに表示するための画像であって、前記自動車の上空を撮影した画像と、前記自動車のフロントガラスに配置された第２のスクリーンに表示するための画像であって、前記自動車の後方を撮影した画像と、を作成する前記（１）～（８）のいずれかに記載の画像処理装置。
（１０）
　前記作成部は、複数のスクリーンのうち、前記自動車のフロントガラスに配置されたスクリーンに表示するための画像であって、後部座席を撮影した画像を作成する前記（１）～（９）のいずれかに記載の画像処理装置。
（１１）
　前記作成部は、複数のスクリーンのうち、前記自動車の天井に配置された第１のスクリーンに表示するための第１の画像と、前記自動車のフロントガラスに配置された第２のスクリーンに表示するための画像であって、前記第１の画像の説明文を表示する第２の画像と、を作成する前記（１）～（１０）のいずれかに記載の画像処理装置。
（１２）
　前記作成部は、前記自動車の天井に配置された第１のスクリーンに表示するための、実行中のアプリケーションの画像と、前記自動車のフロントガラスに配置された第２のスクリーンに表示するための、アプリケーションのランチャの画像と、を作成する前記（１）～（１１）のいずれかに記載の画像処理装置。
（１３）
　自動車に備えられた移動可能なスクリーンと、プロジェクタと画像処理装置とを有する表示システムであって、
　前記画像処理装置は、
　前記自動車の自動運転状態、及び前記スクリーンに表示されるコンテンツに関する情報を基に、前記コンテンツの表示に適した前記スクリーンの形状を判定する判定部と、
　前記判定部によって前記コンテンツの表示に適していると判定された形状に応じて、前記スクリーンに表示するコンテンツの画像を作成する作成部と、
　を備える表示制御装置と、
　を有する表示システム。
（１４）
　前記判定部は、前記コンテンツの表示に適した前記自動車の座席の背もたれの傾きをさらに判定し、
　前記判定部によって判定された前記コンテンツの表示に適していると判定された前記座席の背もたれの傾きに従って、前記座席の背もたれの傾きを設定する座席設定装置をさらに備える前記（１３）に記載の表示システム。
（１５）
　コンピュータが、
　自動車の自動運転状態、及び前記自動車に備えられたスクリーンに表示されるコンテンツに関する情報を基に、前記コンテンツの表示に適した前記スクリーンの形状を判定し、
　前記コンテンツの表示に適していると判定された形状に応じて、前記スクリーンに表示するコンテンツの画像を作成する
　画像処理方法。
（１６）
　コンピュータを、
　自動車の自動運転状態、及び前記自動車に備えられたスクリーンに表示されるコンテンツに関する情報を基に、前記コンテンツの表示に適した前記スクリーンの形状を判定する判定部と、
　前記判定部によって前記コンテンツの表示に適していると判定された形状に応じて、前記スクリーンに表示するコンテンツの画像を作成する作成部と、
として機能させるためのプログラムを記録した記録媒体。
　１０、１０ａ、１０ｂ　画像処理装置
　１１　入力部
　１２　通信部
　１３　情報処理部
　１４　形状出力部
　１５　表示制御部
　２０　プロジェクタ
　３１　下側フロントスクリーン
　３２　上側フロントスクリーン
　３３　ルックアップスクリーン
　４０　画像表示装置
　５０　座席設定装置
　１５１　コンテンツ取得部
　１５２　形状判定部
　１５３　画像作成部
　１５４　形状蓄積部

Claims (16)

  1. 　自動車の自動運転状態、及び前記自動車に備えられたスクリーンに表示されるコンテンツに関する情報を基に、前記コンテンツの表示に適した前記スクリーンの形状を判定する判定部と、
    　前記判定部によって前記コンテンツの表示に適していると判定された形状に応じて、前記スクリーンに表示するコンテンツの画像を作成する作成部と、
    　を備える画像処理装置。
  2. 　前記判定部は、前記自動車が自動運転中であるか否か、及び自動運転レベルを含む自動運転状態を基に、前記スクリーンの形状を判定する請求項１に記載の画像処理装置。
  3. 　前記判定部は、前記自動運転状態が自動運転中である場合、前記自動車のフロントガラスに、複数のスクリーンのうちの少なくとも１つが配置される形状が、前記コンテンツの表示に適していると判定する請求項１に記載の画像処理装置。
  4. 　前記判定部は、前記自動運転状態が手動運転中である場合、前記自動車のフロントガラスに前記スクリーンが配置されない形状が、前記コンテンツの表示に適していると判定する請求項１に記載の画像処理装置。
  5. 　前記判定部は、前記自動運転状態、前記コンテンツに関する情報及び前記自動車の座席の背もたれの傾きを基に前記コンテンツの表示に適した前記スクリーンの形状を判定する請求項１に記載の画像処理装置。
  6. 　前記判定部は、前記自動車の座席の背もたれが運転に不向きな程度にまで傾けられている場合、前記自動車のフロントガラスに前記スクリーンの一部が配置される形状が、前記コンテンツの表示に適していると判定する請求項１に記載の画像処理装置。
  7. 　前記判定部は、前記コンテンツの表示に適した前記自動車の座席の背もたれの傾きをさらに判定し、
    　前記判定部によって判定された前記コンテンツの表示に適していると判定された前記座席の背もたれの傾きに従って、前記座席の背もたれの傾きを設定する座席設定部をさらに備える請求項１に記載の画像処理装置。
  8. 　前記作成部は、複数のスクリーンのうち、前記自動車のフロントガラスに配置されたスクリーンに表示するための画像であって、運転を補助するための情報を示す画像を作成する請求項１に記載の画像処理装置。
  9. 　前記作成部は、複数のスクリーンのうち、前記自動車の天井に配置された第１のスクリーンに表示するための画像であって、前記自動車の上空を撮影した画像と、前記自動車のフロントガラスに配置された第２のスクリーンに表示するための画像であって、前記自動車の後方を撮影した画像と、を作成する請求項１に記載の画像処理装置。
  10. 　前記作成部は、複数のスクリーンのうち、前記自動車のフロントガラスに配置されたスクリーンに表示するための画像であって、後部座席を撮影した画像を作成する請求項１に記載の画像処理装置。
  11. 　前記作成部は、複数のスクリーンのうち、前記自動車の天井に配置された第１のスクリーンに表示するための第１の画像と、前記自動車のフロントガラスに配置された第２のスクリーンに表示するための画像であって、前記第１の画像の説明文を表示する第２の画像と、を作成する請求項１に記載の画像処理装置。
  12. 　前記作成部は、前記自動車の天井に配置された第１のスクリーンに表示するための、実行中のアプリケーションの画像と、前記自動車のフロントガラスに配置された第２のスクリーンに表示するための、アプリケーションのランチャの画像と、を作成する請求項１に記載の画像処理装置。
  13. 　自動車に備えられた移動可能なスクリーンと、プロジェクタと画像処理装置とを有する表示システムであって、
    　前記画像処理装置は、
    　前記自動車の自動運転状態、及び前記スクリーンに表示されるコンテンツに関する情報を基に、前記コンテンツの表示に適した前記スクリーンの形状を判定する判定部と、
    　前記判定部によって前記コンテンツの表示に適していると判定された形状に応じて、前記スクリーンに表示するコンテンツの画像を作成する作成部と、
    　を備える表示システム。
  14. 　前記判定部は、前記コンテンツの表示に適した前記自動車の座席の背もたれの傾きをさらに判定し、
    　前記判定部によって判定された前記コンテンツの表示に適していると判定された前記座席の背もたれの傾きに従って、前記座席の背もたれの傾きを設定する座席設定装置をさらに備える請求項１３に記載の表示システム。
  15. 　コンピュータが、
    　自動車の自動運転状態、及び前記自動車に備えられたスクリーンに表示されるコンテンツに関する情報を基に、前記コンテンツの表示に適した前記スクリーンの形状を判定し、
    　前記コンテンツの表示に適していると判定された形状に応じて、前記スクリーンに表示するコンテンツの画像を作成する
    　画像処理方法。
  16. 　コンピュータを、
    　自動車の自動運転状態、及び前記自動車に備えられたスクリーンに表示されるコンテンツに関する情報を基に、前記コンテンツの表示に適した前記スクリーンの形状を判定する判定部と、
    　前記判定部によって前記コンテンツの表示に適していると判定された形状に応じて、前記スクリーンに表示するコンテンツの画像を作成する作成部と、
    として機能させるためのプログラムを記録した記録媒体。
PCT/JP2021/007265 2020-02-28 2021-02-26 画像処理装置、表示システム、画像処理方法及び記録媒体 WO2021172491A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP21761934.5A EP4112387A4 (en) 2020-02-28 2021-02-26 IMAGE PROCESSING DEVICE, DISPLAY SYSTEM, IMAGE PROCESSING METHOD AND RECORDING MEDIA
JP2022503736A JPWO2021172491A1 (ja) 2020-02-28 2021-02-26
US17/904,428 US20230054104A1 (en) 2020-02-28 2021-02-26 Image processing apparatus, display system, image processing method, and recording medium
CN202180015580.XA CN115136184A (zh) 2020-02-28 2021-02-26 图像处理装置、显示系统、图像处理方法和记录介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-034111 2020-02-28
JP2020034111 2020-02-28

Publications (1)

Publication Number Publication Date
WO2021172491A1 true WO2021172491A1 (ja) 2021-09-02

Family

ID=77491221

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/007265 WO2021172491A1 (ja) 2020-02-28 2021-02-26 画像処理装置、表示システム、画像処理方法及び記録媒体

Country Status (5)

Country Link
US (1) US20230054104A1 (ja)
EP (1) EP4112387A4 (ja)
JP (1) JPWO2021172491A1 (ja)
CN (1) CN115136184A (ja)
WO (1) WO2021172491A1 (ja)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002328624A (ja) 2001-04-26 2002-11-15 Sony Corp 車両用表示装置
WO2009072366A1 (ja) * 2007-12-05 2009-06-11 Bosch Corporation 車両情報表示装置
JP2016053622A (ja) * 2014-09-03 2016-04-14 株式会社デンソー 表示装置
JP2016215743A (ja) * 2015-05-18 2016-12-22 小島プレス工業株式会社 自動車
WO2017130439A1 (ja) * 2016-01-28 2017-08-03 鴻海精密工業股▲ふん▼有限公司 車両用画像表示システム及びその画像表示システムを搭載した車両
JP2017149222A (ja) * 2016-02-23 2017-08-31 株式会社 ミックウェア 演出装置、車輌及びコンピュータプログラム
JP2019009598A (ja) * 2017-06-23 2019-01-17 パナソニックＩｐマネジメント株式会社 表示制御装置、表示制御方法、及び、表示制御プログラム
JP2019014450A (ja) * 2017-07-10 2019-01-31 トヨタ自動車株式会社 車両用表示装置
JP2019018804A (ja) * 2017-07-20 2019-02-07 アルパイン株式会社 車載表示システム
JP2019130971A (ja) * 2018-01-30 2019-08-08 トヨタ自動車株式会社 車両用表示装置
JP2019137146A (ja) * 2018-02-07 2019-08-22 トヨタ自動車株式会社 車両用表示装置
JP2020189618A (ja) * 2019-05-16 2020-11-26 株式会社デンソー 車両用体験装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9712741B2 (en) * 2014-09-19 2017-07-18 Be Topnotch, Llc Smart vehicle sun visor
CN111480194B (zh) * 2017-12-19 2023-08-04 索尼公司 信息处理装置、信息处理方法、程序、显示系统和移动物体
DE102018206656B4 (de) * 2018-04-30 2024-03-21 Audi Ag Anzeigevorrichtung für ein Kraftfahrzeug und Kraftfahrzeug

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002328624A (ja) 2001-04-26 2002-11-15 Sony Corp 車両用表示装置
WO2009072366A1 (ja) * 2007-12-05 2009-06-11 Bosch Corporation 車両情報表示装置
JP2016053622A (ja) * 2014-09-03 2016-04-14 株式会社デンソー 表示装置
JP2016215743A (ja) * 2015-05-18 2016-12-22 小島プレス工業株式会社 自動車
WO2017130439A1 (ja) * 2016-01-28 2017-08-03 鴻海精密工業股▲ふん▼有限公司 車両用画像表示システム及びその画像表示システムを搭載した車両
JP2017149222A (ja) * 2016-02-23 2017-08-31 株式会社 ミックウェア 演出装置、車輌及びコンピュータプログラム
JP2019009598A (ja) * 2017-06-23 2019-01-17 パナソニックＩｐマネジメント株式会社 表示制御装置、表示制御方法、及び、表示制御プログラム
JP2019014450A (ja) * 2017-07-10 2019-01-31 トヨタ自動車株式会社 車両用表示装置
JP2019018804A (ja) * 2017-07-20 2019-02-07 アルパイン株式会社 車載表示システム
JP2019130971A (ja) * 2018-01-30 2019-08-08 トヨタ自動車株式会社 車両用表示装置
JP2019137146A (ja) * 2018-02-07 2019-08-22 トヨタ自動車株式会社 車両用表示装置
JP2020189618A (ja) * 2019-05-16 2020-11-26 株式会社デンソー 車両用体験装置

Also Published As

Publication number Publication date
US20230054104A1 (en) 2023-02-23
JPWO2021172491A1 (ja) 2021-09-02
EP4112387A1 (en) 2023-01-04
CN115136184A (zh) 2022-09-30
EP4112387A4 (en) 2023-08-16

Similar Documents

Publication Publication Date Title
CN109032124B (zh) 车辆控制系统、车辆控制方法及存储介质
US10649461B2 (en) Around view monitoring apparatus for vehicle, driving control apparatus, and vehicle
CN108973682B (zh) 车辆控制系统、车辆控制方法及存储介质
KR101855940B1 (ko) 차량용 증강현실 제공 장치 및 그 제어방법
CN110709304B (zh) 车辆控制系统、车辆控制方法及存储介质
JP6555599B2 (ja) 表示システム、表示方法、およびプログラム
KR102001917B1 (ko) 차량용 주차 시스템 및 차량
JP2019006275A (ja) 車両制御システム、車両制御方法、および車両制御プログラム
CN108973988B (zh) 车辆控制系统、车辆控制方法及存储介质
KR101969805B1 (ko) 차량 제어 장치 및 그것을 포함하는 차량
WO2019008764A1 (ja) 駐車支援方法及び駐車支援装置
CN107867296A (zh) 安装在车辆上的车辆控制装置和控制该车辆的方法
US10732715B2 (en) Input output device and vehicle comprising the same
US11601621B2 (en) Vehicular display system
CN109484343B (zh) 车辆上安装的车辆控制设备和用于控制车辆的方法
KR102135379B1 (ko) 차량용 로봇 및 상기 로봇의 제어 방법
KR20220083675A (ko) 표시 시스템, 표시 장치, 표시 방법 및 이동 장치
JP2022095303A (ja) 周辺画像表示装置、表示制御方法
WO2021172492A1 (ja) 画像処理装置、表示システム、画像処理方法及び記録媒体
KR102005443B1 (ko) 사용자 인터페이스 장치
KR102053201B1 (ko) 차량에 구비된 차량용 로봇 및 차량용 로봇의 제어방법
WO2021172491A1 (ja) 画像処理装置、表示システム、画像処理方法及び記録媒体
KR102089955B1 (ko) 차량에 구비된 차량용 로봇 및 차량용 로봇의 제어방법
KR20220113929A (ko) 차량
US20230415652A1 (en) Camera module, information processing system, information processing method, and information processing apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21761934

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022503736

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021761934

Country of ref document: EP

Effective date: 20220928