WO2016035281A1 - 車載システム、情報処理方法、およびコンピュータプログラム - Google Patents

車載システム、情報処理方法、およびコンピュータプログラム Download PDF

Info

Publication number
WO2016035281A1
WO2016035281A1 PCT/JP2015/004252 JP2015004252W WO2016035281A1 WO 2016035281 A1 WO2016035281 A1 WO 2016035281A1 JP 2015004252 W JP2015004252 W JP 2015004252W WO 2016035281 A1 WO2016035281 A1 WO 2016035281A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
passenger
input
software
Prior art date
Application number
PCT/JP2015/004252
Other languages
English (en)
French (fr)
Inventor
友昭 天野
Original Assignee
株式会社ランディード
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ランディード filed Critical 株式会社ランディード
Publication of WO2016035281A1 publication Critical patent/WO2016035281A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Definitions

  • the present invention relates to an in-vehicle system, an information processing method, and a method for acquiring image data by capturing a landscape, determining output contents and hardware or software for executing output based on an analysis result of the image data and a presumed purpose. It relates to a computer program.
  • a passenger wants information related to various things that he / she actually sees while driving.
  • a typical navigation system uses the landmark name or place name. It is necessary to set a destination and display a route by inputting or selecting or specifying a specific point on the map image.
  • you want to know detailed information by looking at products installed in the city, advertisements for movies, and billboards at stores, launch a browser on an in-vehicle display or mobile device, It is necessary to perform a search by inputting characters such as names and movie titles.
  • an in-vehicle system that provides information and functions to passengers in a running car can provide information and functions with a more intuitive and simple operation.
  • Patent Document 1 Similar image data is extracted from an image database using image data input to the apparatus as a search key, and is output together with point specifying information stored in association therewith and used for destination setting. Navigation devices have been proposed.
  • the present invention has been made to solve the above-described problems, and obtains image data of a scene outside the vehicle by an intuitive and simple operation, and outputs contents based on an analysis result of the image data and an estimated purpose. It is another object of the present invention to provide an in-vehicle system that determines hardware or software for executing output.
  • an in-vehicle system is an in-vehicle system capable of communicating and linking with any hardware or software, and an out-of-vehicle imaging unit that captures an image of an outside scenery through a car window; Gesture recognition means for recognizing a predetermined motion of an occupant as an input, a position where the motion is performed is calculated as a coordinate on the vehicle window, and an image of an area corresponding to the coordinate is cut out and acquired from the video Image acquisition means, image analysis means for analyzing the acquired image and recognizing an object in the image, and environmental information accumulated in the system, to determine the purpose of the occupant from the recognized object
  • an in-vehicle system includes a passenger image capturing unit that captures a passenger, and a passenger's line-of-sight direction from an image of a passenger's eye obtained by the passenger image capturing unit.
  • Gaze direction detecting means for detecting, and the image acquisition means corrects the coordinates with reference to the detected gaze direction.
  • the in-vehicle system draws a circular or elliptical figure with a finger in the air near the vehicle window so that the predetermined operation surrounds the object of interest in the landscape.
  • the image acquisition means acquires an image corresponding to a closed region defined by the circular or elliptical figure from the video.
  • the vehicle window has an image display function
  • the acquired image can be displayed
  • the displayed image is a passenger. It is possible to display the image by moving it to an arbitrary place on the vehicle window by the operation of, and the image analysis means starts image analysis in response to a predetermined operation on the displayed image by the passenger.
  • the in-vehicle system is characterized in that the image analysis means includes character information recognition means for recognizing character information included in the acquired image.
  • the in-vehicle system is configured such that the environment information is estimated based on in-vehicle environment data, out-of-vehicle environment data, passenger profile data, action history data, and the action history. It includes data relating to current emotions, or data relating to hardware and software linked with the in-vehicle system.
  • the in-vehicle system according to the present invention further includes evaluation input means capable of inputting a passenger's evaluation for the output content, and the input evaluation is used as part of the environmental information. It is characterized by using.
  • an information processing method recognizes as an input an outside imaging process for capturing an image of a scenery outside a vehicle through a window and a predetermined operation performed by a passenger in the vicinity of the window.
  • a gesture recognition step an image acquisition step of calculating the position where the operation is performed as coordinates on the vehicle window, and cutting out and acquiring an image of a region corresponding to the coordinates from the video; and the acquired image
  • An image analysis step of analyzing and recognizing an object in the image, a purpose estimating step of estimating the purpose of the occupant from the recognized object using the environment information stored in the device, and the estimated Based on the purpose, an output determination step for determining output contents and hardware or software for executing the output contents, and input information necessary for executing the output contents to the hardware or software. Characterized in that it comprises an input step of force, the.
  • a computer program according to the present invention causes a computer to execute the information processing method according to the present invention.
  • the present invention it is possible to acquire image data of an arbitrary thing in the scenery outside the vehicle by a simple and intuitive gesture of the passenger in the running vehicle and use it as an input to the in-vehicle system.
  • the passenger's operation required when using the data as an input becomes very simple, and the passenger can obtain necessary information and functions immediately by an intuitive operation.
  • the passenger's purpose is estimated based on various environmental information accumulated in the system, and an output suitable for the purpose is automatically selected and executed. No further operations are required.
  • FIG. 1 is a diagram illustrating an example of a hardware configuration of an in-vehicle system according to the present invention.
  • the in-vehicle system 1 in this embodiment includes a CPU 101, a RAM 102, a ROM 103.
  • An input I / F 104, an output I / F 105, an external memory I / F 106, a communication I / F 107, and a hardware I / F 108 are provided.
  • the in-vehicle system 1 includes a touch panel 111, a sensor 112, a camera 113, a display 114, an external memory 115, a NIC 116, and an NFC 117, and is connected to the in-vehicle hardware 121 through the in-vehicle LAN.
  • CPU is an abbreviation for Central Processing Unit.
  • RAM is an abbreviation for Random Access Memory.
  • ROM is an abbreviation for Read Only Memory.
  • NIC is an abbreviation for Network Interface Card.
  • the CPU 101 comprehensively controls each device connected to the system bus according to a program stored in the ROM 103 which is a storage unit.
  • the RAM 102 functions as a main memory and work area of the CPU 101, and is also used as an input information expansion area and an environment data storage area.
  • the ROM 103 stores various programs and data.
  • the input I / F 104 controls input from the touch panel 111, the sensor 112, and the camera 113.
  • the touch panel 111 is an input device for user operation.
  • Other input devices may include a keyboard, a remote control, a button device, and the like.
  • the camera 113 is a plurality of cameras installed in the vehicle, and some of them are installed at positions where the scenery outside the vehicle can be photographed through the car window, and photographs the car window and the scenery outside the car. Get image data. In this embodiment, these cameras are installed as many as necessary to capture all the windows of the vehicle, but in other configurations, as many cameras as necessary to capture only some of the vehicle windows are installed. May be.
  • the sensor 112 is a gesture sensor for recognizing a predetermined motion (gesture) of a passenger, a GPS receiver for acquiring position data, a geomagnetic sensor and gyroscope for acquiring azimuth data, and for acquiring distance data. Includes a distance sensor.
  • GPS is an abbreviation for Global Positioning System.
  • the output I / F 105 controls screen display on the display 114. Depending on the configuration, audio output to the speaker may be controlled.
  • the external memory I / F 106 controls access to the external memory 115 such as a flash memory or an SSD (Solid State Disk).
  • the external memory 115 functions as a storage medium that can be saved or read, and stores an operating system (OS), a Web browser, and an application.
  • OS operating system
  • Web browser Web browser
  • the application and the program of each module (software) are stored in the external memory 115, read into the RAM 102 as necessary, and executed by the CPU 101. Thereby, the function of the application or each module (software) is realized.
  • the communication I / F 107 controls communication of the NIC 116 and NFC 117.
  • the NIC 116 is a connection I / F with a network.
  • the NIC 116 enables connection of the in-vehicle system 1 to the network.
  • communication with a mobile network or the like may be controlled to connect to a network with a radio base station.
  • NFC 117 is a connection I / F that functions as a non-contact type near field communication unit.
  • the NFC 117 enables connection with a smartphone and controls data transmission / reception through wireless communication.
  • the hardware I / F 108 is connected to an in-vehicle hardware 121 or an in-vehicle hardware control unit such as an ECU via an in-vehicle LAN.
  • the processing described in the present embodiment is realized by loading a program recorded in the external memory 115 into the RAM 102 and executing it by the CPU 101. Note that the program may be stored in the RAM 102 or the ROM 103 in addition to
  • FIG. 2 is a functional block diagram illustrating processing performed by the in-vehicle system according to the present embodiment. Each component shown in FIG. 2 is realized by the CPU 101 of the in-vehicle system 1 shown in FIG. 1 loading the program stored in the ROM 103 or the external memory 115 into the RAM 102, and the CPU 101 executing the loaded program.
  • the CPU 101 of the in-vehicle system 1 shown in FIG. 1 loading the program stored in the ROM 103 or the external memory 115 into the RAM 102, and the CPU 101 executing the loaded program.
  • the vehicle exterior imaging unit 201 activates the camera 113 to capture the scenery outside the vehicle through the vehicle window and temporarily stores it along with the imaging time.
  • the gesture recognition unit 202 recognizes a predetermined motion (gesture) of the passenger by the sensor 112.
  • the predetermined movement of the passenger is a gesture for drawing a circular or elliptical figure so as to surround the object of interest in the scenery in the air near the vehicle window.
  • a gesture that draws a square figure or other relatively simple polygon may be configured as a predetermined action.
  • the gesture recognition only needs to be able to recognize such a simple gesture by the passenger, and any known method can be used.
  • gesture recognition is performed based on the shape of the passenger's fingers photographed by the camera and their movements.
  • a transparent touch sensor is formed on the inner surface of the vehicle window, and the passenger You may make it recognize the figure drawn while touching the car window.
  • the image acquisition unit 205 calculates the position where the gesture is performed as coordinate data on the vehicle window.
  • the calculation of the coordinate data may be calculated based on the image of the passenger's hand reflected in the image obtained by photographing the scenery outside the vehicle, or may be calculated based on the image of the passenger's hand captured by another camera. . Or you may calculate based on the image
  • a series of coordinate data obtained by projecting the locus drawn by the tip of the passenger's index finger onto the vehicle window is acquired.
  • the passenger imaging unit 203 activates the camera 113 to capture the passenger's face and temporarily stores it along with the imaging time.
  • the gaze direction detection unit 204 identifies an eyeball region from the face image captured by the passenger imaging unit 203 and detects the gaze direction of the passenger at the gesture start time using any known technique.
  • the image acquisition unit 205 uses the data relating to the installation position of the camera 113 and the distance to the vehicle window, the position of the passenger's face and the distance to the vehicle window, and the specified gaze direction.
  • the parallax between 113 and the passenger is estimated, and correction for the acquired series of coordinates is performed. Any appropriate method can be used for the correction.
  • a rough distance from the size of the figure drawn by the passenger to the object of interest is estimated, and the amount of parallax is calculated based on the estimated distance.
  • the series of coordinates obtained and obtained based on the amount of parallax may be offset in a specific direction.
  • the passenger imaging unit and the line-of-sight direction detection unit can be omitted, and in this case, the correction of the acquired coordinates based on the parallax is not performed.
  • the image acquisition unit 205 cuts out and acquires an image of an area corresponding to the calculated corrected coordinates from the video of the scenery outside the vehicle. Rather than directly cutting out the image corresponding to the coordinates of the position where the gesture was performed, by cutting out the image corresponding to the corrected coordinates, the object of interest, that is, the thing in the landscape that the passenger intended to cut out The possibility of being included in the clipped image increases.
  • the image acquisition unit 205 extracts an image of a frame corresponding to the time when the occupant's gesture was started from a video obtained by photographing a scenery outside the vehicle, and based on the series of coordinate data calculated from the image. The image within the closed region to be drawn is cut out and acquired.
  • the gesture position may be acquired as the coordinates of one point on the vehicle window, and an image in a certain range centered on this coordinate may be cut out.
  • the image display unit 206 displays the cut image on the display 114.
  • the image operation unit 207 accepts an input operation by the passenger, moves the displayed image to an arbitrary position on the display, and accepts a specific operation by the passenger to perform an image analysis unit 208 described later. Start image analysis.
  • This specific operation may be, for example, drag and drop to a specific position of an image displayed on the touch panel 111 or flick in a specific direction.
  • the display 114 and the touch panel 111 are transmissive touch panels installed on the inner surface of the vehicle window.
  • the passenger can cut out a landscape image in front of the vehicle and display it on the touch panel on the vehicle window on the side of the vehicle. In this embodiment, the passenger touches the cut image and flicks it downward to start image analysis.
  • an icon representing hardware or software that cooperates with the in-vehicle system 1 is displayed on the display 114, and the rider displays an image cut out by, for example, a drag and drop operation.
  • the passenger may be able to specify hardware or software for executing the output contents described later.
  • the analysis of the clipped image may be automatically started without an operation by the passenger.
  • the image analysis unit 208 recognizes an object in the clipped image using any known image analysis technique.
  • the analysis method used may be a known object recognition technique, scene analysis technique, or the like, or may be a similar image search technique performed by accessing the image database 209 or the Internet. It is also possible to use information for specifying an object by calling information on the current position and direction of the vehicle and estimating the position of the object in the image.
  • the image analysis unit 208 includes a character information recognition unit, which analyzes and reads character information in the image.
  • the purpose estimation unit 210 estimates the purpose of the passenger based on the object or character included in the image.
  • the purpose estimation is performed using any known prediction model.
  • various environmental information collected and stored in the environmental information database 212 by the environmental information management unit 211 is used as a clue.
  • the accumulated environmental information includes information inside the vehicle (for example, remaining amount of gasoline, room temperature, time, etc.), information outside the vehicle (for example, weather, temperature, current position, road surface condition, etc.), boarding Profile information (gender, age, hobbies, favorite foods, etc.), action history (places visited frequently, life cycle, recent actions, recent actions, etc.), current passenger emotions estimated from the action history,
  • system information such as in-vehicle hardware accessible by the vehicle system 1 and software installed in the vehicle system 1 is assumed, but is not limited thereto.
  • Such environmental information is collected through sensors 213 and various input devices provided in the in-vehicle system 1, mobile devices that cooperate with the in-vehicle system 1, or Internet access.
  • the output determination unit 214 determines the content of the output for the image input and the hardware or software for executing it based on the estimated purpose. In this determination, for example, various actions (such as “route search”, “information search”, “driving control”, “mail transmission”, etc.) assumed as purposes are appropriately associated with each hardware / software in advance. Can be realized.
  • the input unit 215 inputs input information necessary for executing the determined output contents to hardware or software for executing output.
  • the evaluation input unit 216 receives an evaluation from the passenger for the output executed for the image input of the passenger.
  • the evaluation from the passenger may be performed in any format that can indicate the degree of satisfaction of the passenger with respect to the output content. For example, you may make it input or select the numerical value which shows satisfaction on a touchscreen, and when the output content is not what a passenger wants on a touchscreen, the virtual button and icon for telling it to a system May be displayed. Alternatively, the passenger may input the evaluation by voice using a microphone (not shown).
  • the input evaluation is stored in the environment information database 212 by the environment information management unit 211 and can be referred to in the subsequent purpose estimation.
  • the in-vehicle system 1 can cooperate with the vehicle control system hardware via the in-vehicle hardware I / F 108. For example, if it is determined that the input image shows a sign indicating the speed limit, it is assumed that the passenger's purpose is to comply with the speed limit, and the speed limit is set to the maximum speed of the vehicle. It is possible to perform engine control as follows.
  • the in-vehicle system 1 is installed with application software such as navigation software, Internet browser, and mail software, and can be linked with these software. For example, if it is determined that the input image shows a specific landmark, the passenger's purpose is estimated to be route information with the landmark as the destination, and the navigation software is started. Provide this information to the passenger.
  • the input image shows an advertising billboard for a product
  • the purpose of the passenger is detailed information on the product, and the browser is started to provide these information.
  • the browser is started to provide these information.
  • the same image is input, the same output content is not always obtained. For example, even when it is determined that the input image indicates a landmark, the other destination is already the navigation software.
  • FIG. 3 shows a flow from the start of the in-vehicle system 1 to the start of image analysis. After the in-vehicle system 1 is activated, in step 300, photographing outside the vehicle by the outside imaging unit 201 is started.
  • the gesture recognition unit 202 recognizes that the gesture has been performed, and in step 304, the image acquisition unit 205 calculates and acquires the position where the gesture is performed as coordinates on the vehicle window.
  • the image acquisition unit 205 acquires a series of coordinate data obtained by projecting the locus drawn by the tip of the passenger's index finger onto the vehicle window.
  • step 306 the gaze direction detection unit 204 detects the gaze direction of the passenger at the gesture start time.
  • step 308 the series of coordinates acquired by the image acquisition unit 205 in step 304 is corrected based on the sight line direction of the passenger detected in step 306.
  • step 310 the image acquisition unit 205 acquires an image of an area corresponding to the corrected series of coordinates by cutting out the image of the scenery outside the vehicle started to be captured in step 300. Specifically, an image of a frame corresponding to the gesture start time is extracted from a video of a scene outside the vehicle, and an image inside the closed region defined by the corrected series of coordinates is cut out and acquired from this image. .
  • step 312 the image display unit 206 displays the clipped image on the display 114.
  • step 314 the displayed image can be freely moved on the display 114 by an operation by the passenger.
  • a specific operation by the passenger that is, a flick operation in the downward direction of the image in the present embodiment
  • an analysis of the image is started in step 316.
  • FIG. 4 shows a flow of processing from the start of image analysis to input of input information in the in-vehicle system 1 according to the present embodiment.
  • the image analysis unit 208 performs object recognition in the image acquired in step 310.
  • the character information in the image is analyzed and read.
  • the purpose of the passenger is estimated in step 406 based on the recognized object or character.
  • the output contents are determined based on the inferred purpose in Step 408, and the hardware / software for executing the output contents is determined in Step 410. It should be noted that both steps may be executed integrally in mounting steps 408 and 410.
  • the input unit 215 inputs input information necessary for execution of output to the determined hardware or software.
  • step 414 the hardware or software that cooperates with the in-vehicle system 1 processes the input information and provides the passenger with appropriate information or functions as an output. Thereafter, in step 416, an evaluation input for the output by the passenger is accepted. In step 418, the evaluation is stored along with input and output information as an indicator of whether the output was in accordance with the passenger's requirements.
  • FIG. 5 to FIG. 7 are diagrams for explaining the operation of cropping a landscape image in an automobile equipped with the in-vehicle system according to the present invention.
  • FIG. 5 shows a landscape that can be seen from the inside of the driving car through the front car window.
  • the camera 501 is an installation example of the camera 113 for photographing the scenery outside the vehicle or the passenger.
  • a plurality of cameras (not shown) for photographing the scenery outside the vehicle in front or side are installed at appropriate positions. Is done.
  • the passenger can see the landmark 502, the event 503, the speed regulation sign 504, the road guide sign 505, and the preceding vehicle 506 through the front car window.
  • the passenger is interested in the landmark 502, and draws a locus 602 surrounding the landmark 502 in the air near the vehicle window by the passenger's hand 601.
  • the passenger does not necessarily need to draw a beautiful and accurate circle or ellipse, and even if the passenger draws an incomplete ellipse that does not form a closed region like the locus 602, the image It is possible to cut out an image of a closed region that is appropriately complemented at the stage of the acquisition process.
  • FIG. 7 shows a state in the vehicle after an image of a certain area is cut out based on the locus 602.
  • a transmissive touch panel is installed on the inner surface of the vehicle window, and a cut image 701 is displayed on the touch panel.
  • the passenger can display the image 701 by moving it to an arbitrary location on the touch panel. Further, for example, by performing a flick operation on the image 701 in the downward direction, the in-vehicle system can start image analysis.
  • the in-vehicle system identifies that the object included in the image 701 is the landmark A by analysis. For example, the in-vehicle system determines that the purpose of the occupant is route guidance to the landmark A and appropriately inputs to the navigation software. I do.
  • the navigation software receives the input and performs route guidance to the landmark A.
  • FIGS. 5 to 7 an example in which an image of the landmark 502 is cut out to provide route guidance has been described.
  • Image input and output are possible.
  • the maximum speed of the vehicle can be set by cutting out and inputting the image of the speed regulation sign 504.
  • the browser software by cutting out and inputting an image of the preceding vehicle 506, it is possible to set automatic driving so as to follow the preceding vehicle 506.
  • image data of any thing in the scenery outside the vehicle can be acquired and input to the in-vehicle system or apparatus by a simple and intuitive gesture of the passenger in the running vehicle. Therefore, the operation of the passenger required when using the image data as an input becomes very simple, and the passenger can obtain necessary information / function immediately by intuitive operation.
  • the passenger's purpose is estimated based on various information stored in the system or device, and an output suitable for the purpose is automatically selected and executed. No further operation is required from the user.
  • passengers can use images of things of interest in the scenery outside the vehicle as input to the hardware or software through intuitive and simple operations, with various results depending on the inferred purpose. Can be obtained.
  • An object of the present invention is to supply a storage medium storing a program code (computer program) for realizing the functions of the above-described embodiments to a system or apparatus, and a program in which the computer of the supplied system or apparatus is stored in the storage medium. It is also achieved by reading and executing the code.
  • the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention.
  • the computer functions as each processing unit by executing a program. However, part or all of the processing may be configured by a dedicated electronic circuit (hardware). I do not care.
  • the present invention is not limited to the specific embodiments described, and various modifications and changes can be made within the scope of the gist of the present invention described in the claims.
  • DESCRIPTION OF SYMBOLS 201 ... Outside imaging part, 202 ... Gesture recognition part, 203 ... Passenger imaging part, 204 ... Gaze direction detection part, 205 ... Image acquisition part, 206 ... Image display part, 207 ... Image operation part, 208 ... Image analysis part, 209 ... Image database, 210 ... Purpose estimation part, 211 ... Environmental information management part, 212 ... Environmental information database, 213 ... Sensor, 214 ... Output determination part, 215 ... Input part, 216 ... Evaluation input part, 501 ... Camera, 502 ... landmark, 503 ... event, 504 ... speed regulation sign, 505 ... road guide sign, 506 ... preceding vehicle, 601 ... passenger's hand, 602 ... locus, 701 ... image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

車載システムは、車窓越しの車外風景の映像を撮影する車外撮像手段と、所定の動作を認識するジェスチャー認識手段と、動作が行われた位置を算出し、映像から画像を切り出して取得する画像取得手段と、取得された画像中の物体を認識する画像解析手段と、環境情報を用いて、認識された物体から目的を推測する目的推測手段と、推測された目的に基づき、出力内容とそれを実行するハードウェアまたはソフトウェアを決定する出力決定手段と、入力情報を前記ハードウェアまたはソフトウェアに入力する入力手段と、を備える。

Description

車載システム、情報処理方法、およびコンピュータプログラム
　本発明は、風景を撮影して画像データを取得し、該画像データの解析結果と推測された目的に基づき出力内容および出力を実行するハードウェアまたはソフトウェアを決定する車載システム、情報処理方法、およびコンピュータプログラムに関する。
　近年、自動車等の移動体に搭載される車載システムにおいて、モバイル機器との連携を可能とするものや、コネクテッド・カーと呼ばれる、自動車に通信機能を与えるものなどが登場し、その多機能化が進んでいる。こうした車載システムは、搭乗者に様々な情報や機能を提供することで、運転の補助や運転時の利便性の向上に寄与する。一方で、多機能化および情報量の増加により、搭乗者が行うべき操作が煩雑化し、目視負担も増大するという問題点も生じている。
　例えば、搭乗者が走行中に実際に目にした様々な事物に対して、それに関連する情報を欲するという状況は多々考えられる。一例として、自動車で移動中の搭乗者が、遠くのランドマークや交通案内の標識を目にしてそこまでの経路を知りたいと考えた場合、一般的なナビゲーションシステムでは、ランドマークの名称や地名を入力または選択し、あるいは地図画像上で特定の地点を指定することによって、目的地を設定し、経路を表示させる必要がある。また、別の例として、街中に設置された商品や映画の広告や店舗の看板を見て、詳細な情報を知りたいと考えた場合、車載ディスプレイ上またはモバイル機器上でブラウザを起動し、商品名や映画のタイトル等を文字入力して検索を行うことなどが必要とされる。
　従来機器において必要とされるこれらの操作は比較的煩雑であり、特に運転者が走行中に行う場合には危険も伴う。また、適切な地名が分からない場合や、地図上での適切な位置が把握できない場合、または正しい商品名等が不明な場合などに、所望の結果を得られない可能性もある。
　このような問題点に鑑み、走行中の車内で搭乗者に情報や機能を提供する車載システムにおいては、より直感的でシンプルな操作により情報・機能を提供可能であることが望ましい。
　直感的な操作方法の一つとして、システムや装置への入力を文字ではなく画像で行うという試みがある。例えば特許文献１においては、装置に入力された画像データを検索キーとして画像データベースから類似画像データを抽出し、これに対応付けて記憶されている地点特定情報と共に出力し、目的地設定に利用するナビゲーション装置が提案されている。
特開２００４－３３３２３３号公報
　しかしながら、特許文献１のナビゲーション装置においては、装置に入力するための画像をデジタルカメラ等で撮影すること等により予め用意しておく必要があり、走行中に目にしたものを即座に検索に用いたい場合、行うべき操作は依然として煩雑なものとなってしまう。また、検索結果に対して搭乗者による絞り込みの操作が必要とされており、これが操作の煩雑さを増大させる一因となりうる。また、画像を入力して得られる情報・機能は、目的地としての地点情報と経路案内に限られており、搭乗者が必要とし得る幅広い情報の提供を可能とするものではない。
　本発明は以上のような課題を解決するためになされたものであり、直感的で簡易な操作により車外風景の画像データを取得し、該画像データの解析結果と推測された目的に基づき出力内容および出力を実行するハードウェアまたはソフトウェアを決定する車載システムを提供することを目的とする。
　上記課題を解決するために、本発明に係る車載システムは、任意のハードウェアまたはソフトウェアと通信および連携が可能な車載システムであって、車窓越しの車外風景の映像を撮影する車外撮像手段と、搭乗者の所定の動作を入力として認識するジェスチャー認識手段と、前記動作が行われた位置を前記車窓上の座標として算出し、前記映像から、前記座標に対応する領域の画像を切り出して取得する画像取得手段と、前記取得された画像を解析して画像中の物体を認識する画像解析手段と、前記システムに蓄積された環境情報を用いて、前記認識された物体から前記搭乗者の目的を推測する目的推測手段と、前記推測された目的に基づき、出力内容とそれを実行するハードウェアまたはソフトウェアを決定する出力決定手段と、前記出力内容の実行に必要な入力情報を前記ハードウェアまたはソフトウェアに入力する入力手段と、を備えることを特徴とする。
　本発明の一実施形態によれば、本発明に係る車載システムは、搭乗者を撮影する搭乗者撮像手段と、前記搭乗者撮像手段により得られる搭乗者の目の画像から搭乗者の視線方向を検出する視線方向検出手段と、を更に備え、前記画像取得手段は、前記検出された視線方向を参照して前記座標の補正を行うことを特徴とする。
　本発明の一実施形態によれば、本発明に係る車載システムは、前記所定の動作が風景中の関心対象を囲むように前記車窓の付近の空中に指で円状または楕円状の図形を描く動作であり、前記画像取得手段は、前記円状または楕円状の図形によって画定される閉領域に対応する画像を前記映像から取得することを特徴とする。
　本発明の一実施形態によれば、本発明に係る車載システムは、前記車窓が画像表示機能を有し、前記取得された画像を表示することが可能であり、前記表示された画像は搭乗者の操作により車窓上の任意の場所に動かして表示させることが可能であり、前記画像解析手段は、搭乗者による前記表示された画像に対する所定の操作に応じて画像の解析を開始することを特徴とする。
　本発明の一実施形態によれば、本発明に係る車載システムは、前記画像解析手段が前記取得された画像に含まれる文字情報を認識する文字情報認識手段を備えることを特徴とする。
　本発明の一実施形態によれば、本発明に係る車載システムは、前記環境情報が車内環境データ、車外環境データ、搭乗者プロフィールデータ、行動履歴データ、前記行動履歴に基づき推測された搭乗者の現在の感情に関するデータ、または前記車載システムと連携するハードウェアおよびソフトウェアに関するデータを含むことを特徴とする。
　本発明の一実施形態によれば、本発明に係る車載システムは、前記出力内容に対する搭乗者の評価を入力可能な評価入力手段を更に備え、前記入力された評価を前記環境情報の一部として利用することを特徴とする。
　本発明の一態様によれば、本発明に係る情報処理方法は、車窓越しの車外風景の映像を撮影する車外撮像工程と、搭乗者が前記車窓の付近で行う所定の動作を入力として認識するジェスチャー認識工程と、前記動作が行われた位置を前記車窓上の座標として算出し、前記映像から、前記座標に対応する領域の画像を切り出して取得する画像取得工程と、前記取得された画像を解析して画像中の物体を認識する画像解析工程と、前記装置に蓄積された環境情報を用いて、前記認識された物体から前記搭乗者の目的を推測する目的推測工程と、前記推測された目的に基づき、出力内容とそれを実行するハードウェアまたはソフトウェアを決定する出力決定工程と、前記出力内容の実行に必要な入力情報を前記ハードウェアまたはソフトウェアに入力する入力工程と、を含むことを特徴とする。
　本発明の一態様によれば、本発明に係るコンピュータプログラムは、本発明に係る情報処理方法をコンピュータにより実行させることを特徴とする。
　本発明によれば、走行中の車内において、搭乗者の簡易で直感的なジェスチャーにより車外の風景内の任意の事物の画像データを取得し、車載システムへの入力とすることができるため、画像データを入力として用いる際に要求される搭乗者の操作は非常に簡単なものとなり、搭乗者は直感的な操作によって即座に必要な情報・機能を得ることができる。
　また、入力された画像の解析後、システムに蓄積された種々の環境情報に基づき搭乗者の目的が推測され、当該目的に適した出力が自動で選択実行されるため、画像の入力後に搭乗者に更なる操作が求められることもない。
　上記の利点の結果、搭乗者は、直感的かつ簡単な操作により、車外風景中の関心のある事物の画像をハードウェアまたはソフトウェアに対する入力として用いることができ、推測された目的に応じた様々な結果を得ることができる。
本発明に係る車載システムのハードウェア構成の一例を示す図である。 本発明に係る車載システムのソフトウェア構成の一例を示す図である。 本発明に係る車載システムにおける、画像の解析を開始するまでの処理の流れを示すフローチャートである。 本発明に係る車載システムにおける、画像の解析からハードウェア／ソフトウェアへの入力が行われるまでの処理の流れを示すフローチャートである。 本発明に係る車載システムを搭載する自動車における風景画像切り取りの操作を説明する図である。 本発明に係る車載システムを搭載する自動車における風景画像切り取りの操作を説明する図である。 本発明に係る車載システムを搭載する自動車における風景画像切り取りの操作を説明する図である。
（実施例）
　以下、本発明の車載システムの実施形態を、図面を参照しながら説明する。なお、以下に示す実施例は本発明の車載システムにおける好適な具体例であり、一般的な自動車の構造および構成に即した種々の限定を付している場合もあるが、本発明の技術範囲は、特に本発明を限定する記載がない限り、これらの態様に限定されるものではない。また、以下に示す実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、かつ、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下に示す実施形態の記載をもって、請求の範囲に記載された発明の内容を限定するものではない。
（ハードウェア構成）
　図１は、本発明に係る車載システムのハードウェア構成の一例を示す図である。本実施例における車載システム１は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３．入力Ｉ／Ｆ１０４、出力Ｉ／Ｆ１０５、外部メモリＩ／Ｆ１０６、通信Ｉ／Ｆ１０７、およびハードウェアＩ／Ｆ１０８を備える。また、車載システム１は、タッチパネル１１１、センサー１１２、カメラ１１３、ディスプレイ１１４、外部メモリ１１５、ＮＩＣ１１６、ＮＦＣ１１７を備え、車内ＬＡＮを介して車載ハードウェア１２１と接続する。ＣＰＵは、Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔの略称である。ＲＡＭは、Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙの略称である。ＲＯＭは、Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙの略称である。ＮＩＣは、Ｎｅｔｗｏｒｋ　Ｉｎｔｅｒｆａｃｅ　Ｃａｒｄの略称である。
　ＣＰＵ１０１は、記憶部であるＲＯＭ１０３に記憶されているプログラムに従って、システムバスに接続される各デバイスを総括的に制御する。ＲＡＭ１０２は、ＣＰＵ１０１の主メモリ、ワークエリア等として機能すると共に、入力情報展開領域、環境データ格納領域としても用いられる。ＲＯＭ１０３は、各種プログラムおよびデータを格納している。
　入力Ｉ／Ｆ１０４は、タッチパネル１１１、センサー１１２、カメラ１１３からの入力を制御する。タッチパネル１１１は、ユーザ操作における入力装置である。その他の入力装置として、キーボードやリモコン、ボタンデバイス等を備えていてもよい。また、後述するように、カメラ１１３は車内に設置される複数のカメラであり、その一部は、車窓越しに車外の風景を撮影可能な位置に設置されて、車窓および車外風景を撮影して画像データを取得する。本実施例において、これらのカメラは車両が有する全ての窓を撮影するのに必要な数だけ設置されるが、他の構成では、一部の車窓のみを撮影するのに必要な数だけ設置されてもよい。また、カメラ１１３の他の一部は、搭乗者を撮影可能な位置に設置され、搭乗者の視線方向の検出のために搭乗者の顔を撮影する。センサー１１２は、搭乗者の所定の動作（ジェスチャー）を認識するためのジェスチャー用センサー、位置データ取得のためのＧＰＳ受信機、方位データ取得のための地磁気センサーおよびジャイロスコープ、距離データ取得のための距離センサーを含む。ＧＰＳは、Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍの略称である。
　出力Ｉ／Ｆ１０５は、ディスプレイ１１４への画面表示を制御する。構成によっては、スピーカへの音声出力を制御するようにしてもよい。外部メモリＩ／Ｆ１０６は、例えばフラッシュメモリ、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｉｓｋ）等の外部メモリ１１５とのアクセスを制御する。外部メモリ１１５は、保存または読み取り可能な記憶媒体として機能し、オペレーティングシステム（ＯＳ）、Ｗｅｂブラウザ、およびアプリケーションが記憶されている。アプリケーション、および各モジュール（ソフトウェア）のプログラムは外部メモリ１１５に記憶され、必要に応じてＲＡＭ１０２に読み出されてＣＰＵ１０１により実行される。これにより、アプリケーションまたは各モジュール（ソフトウェア）の機能を実現する。
　通信Ｉ／Ｆ１０７は、ＮＩＣ１１６やＮＦＣ１１７の通信を制御している。ＮＩＣ１１６はネットワークとの接続Ｉ／Ｆである。ＮＩＣ１１６は、車載システム１のネットワークへの接続を可能とする。なお、他の構成例においては、携帯網などへの通信を制御して無線基地局とのネットワークに接続可能であってもよい。ＮＦＣ１１７は、非接触型の近距離通信ユニットとして機能する接続Ｉ／Ｆである。例えばＮＦＣ１１７は、スマートフォンとの接続を可能とし、ワイヤレス通信によるデータの送受信を制御する。ハードウェアＩ／Ｆ１０８は、車内ＬＡＮを介して車載ハードウェア１２１あるいはＥＣＵなどの車載ハードウェア制御ユニットと接続する。本実施例で説明する処理は、外部メモリ１１５に記録されたプログラムをＲＡＭ１０２にロードし、ＣＰＵ１０１が実行することによって実現される。なお、プログラムは、外部メモリ１１５以外にもＲＡＭ１０２やＲＯＭ１０３において記憶されてもよい。
（ソフトウェア構成）
　図２は、本実施形態に係る車載システムが行う処理を表す機能ブロック図である。図２に示す各構成部は、図１に示した車載システム１のＣＰＵ１０１がＲＯＭ１０３または外部メモリ１１５に記憶されているプログラムをＲＡＭ１０２にロードし、ロードされたプログラムをＣＰＵ１０１が実行することで実現される。
　車外撮像部２０１は、カメラ１１３を起動して、車窓越しに車外の風景を撮影し、撮影時刻とともに一時的に記憶する。ジェスチャー認識部２０２は、センサー１１２により搭乗者の所定の動作（ジェスチャー）を認識する。本実施例において、搭乗者の所定の動作とは、車窓付近の空中で、風景中の関心対象を囲むように円状または楕円状の図形を描くジェスチャーである。他の実施例において、四角図形や他の比較的簡単な多角形を描くジェスチャーを所定の動作とするように構成してもよい。ジェスチャー認識は、こうした搭乗者による簡易なジェスチャーを認識可能であればよく、任意の公知の手法を用いることが可能である。本実施例においては、カメラで撮影した搭乗者の手指の形状とそれらの動きに基づきジェスチャー認識を行うが、他の実施例において、例えば車窓の内表面に透明なタッチセンサを構成し、搭乗者が車窓に触れながら描いた図形を認識するようにしてもよい。
　画像取得部２０５は、ジェスチャーが行われた位置を車窓上の座標データとして算出する。座標データの算出は、車外風景を撮影した映像に映りこんだ搭乗者の手の映像に基づき算出されてもよいし、別のカメラで撮影した搭乗者の手の映像に基づき算出されてもよい。あるいは、複数のカメラにより捉えられた搭乗者の手の映像に基づき算出されてもよい。本実施例においては、搭乗者の人差し指の先端部が描く軌跡を車窓上に投影して得られる一連の座標データを取得する。
　搭乗者撮像部２０３は、カメラ１１３を起動して、搭乗者の顔を撮影し、撮影時刻とともに一時的に記憶する。視線方向検出部２０４は、搭乗者撮像部２０３が撮影した顔画像から眼球領域を特定し、任意の公知の手法を用いて、ジェスチャー開始時刻における搭乗者の視線方向を検出する。画像取得部２０５は、ジェスチャー位置座標の取得の際、カメラ１１３の設置位置および車窓までの距離、搭乗者の顔の位置および車窓までの距離、並びに特定された視線方向に関するデータを用いて、カメラ１１３と搭乗者の間の視差を推定し、取得した一連の座標に対する補正を行う。当該補正には任意の適切な方法を用いることが可能であるが、例えば、搭乗者が描く図形の大きさから関心対象までの大まかな距離を推定し、推定された距離に基づいて視差量を求め、視差量に基づき取得した一連の座標を特定方向にオフセットさせてもよい。なお、別の実施例において、搭乗者撮像部および視線方向検出部を省略することも可能であり、その場合、視差に基づく取得座標の補正は行われない。
　さらに、画像取得部２０５は、車外風景を撮影した映像から、算出された補正後の座標に対応する領域の画像を切り出して取得する。ジェスチャーが行われた位置の座標に対応する画像を直接切り出すのではなく、上記補正後の座標に対応する画像を切り出すことにより、関心対象、すなわち搭乗者が切り取ることを意図した風景中の事物が切り出された画像中に含まれる可能性が上昇する。本実施例において、画像取得部２０５は、車外風景を撮影した映像から、搭乗者のジェスチャーが開始された時刻に対応するフレームの画像を抽出し、この画像から、算出された一連の座標データによって描かれる閉領域内の画像を切り出して取得する。なお、別の実施例においては、ジェスチャー位置を車窓上の一点の座標として取得し、この座標を中心とした一定範囲の画像を切り出すようにしてもよい。
　画像表示部２０６は、切り出された画像をディスプレイ１１４に表示する。画像操作部２０７は、搭乗者による入力操作を受け付けて、表示されている画像をディスプレイ上の任意の位置に移動させ、また、搭乗者による特定の操作を受け付けて、後述する画像解析部２０８による画像の解析を開始させる。この特定の操作としては、例えば、タッチパネル１１１上に表示されている画像の特定位置へのドラッグ＆ドロップや、特定方向へのフリックであってよい。本実施例においては、ディスプレイ１１４およびタッチパネル１１１は、車窓内表面に設置された透過型のタッチパネルである。搭乗者は、例えば、車両前方の風景画像を切り出して、車両側面の車窓上のタッチパネルに表示させておくことが可能である。本実施例においては、搭乗者が切り出された画像にタッチし、下方向にフリック操作することで、画像の解析を開始する。なお、別の実施例において、例えばディスプレイ１１４上に、車載システム１と連携するハードウェアまたはソフトウェアを表すアイコンを表示するようにして、搭乗者が、例えばドラッグ＆ドロップ操作により、切り出された画像をいずれかのアイコン上に投げ込む操作を行うことで、後述する出力内容を実行するハードウェアまたはソフトウェアを搭乗者が指定できるようにしてもよい。また、別の実施形態では、搭乗者による操作を介さずに、切り出された画像の解析を自動的に開始するようにしてもよい。
　画像解析部２０８は、任意の公知の画像解析技術を用いて、切り出された画像中の物体を認識する。用いられる解析手法は、公知の物体認識技術、シーン解析技術などであってよく、画像データベース２０９またはインターネットにアクセスして行う類似画像検索技術であってもよい。また、車両の現在位置および方位に関する情報を呼び出して、画像中の物体の位置の推定することにより、物体の特定に利用することも可能である。また、画像解析部２０８は文字情報認識部を含み、画像中の文字情報を解析して読み取る。
　目的推測部２１０は、画像中に含まれる物体または文字に基づき、搭乗者の目的を推測する。目的の推測は任意の公知の予測モデルを用いて行われ、その際、環境情報管理部２１１によって環境情報データベース２１２に収集・蓄積された種々の環境情報が手掛かりとして用いられる。本実施例において、蓄積される環境情報としては、車両内部の情報（例えば、ガソリン残量、室温、時刻など）、車両外部の情報（例えば、天気、気温、現在位置、路面状況など）、搭乗者のプロフィール情報（性別、年齢、趣味、好物など）、行動履歴（訪問頻度が高い場所、生活サイクル、直近の行動、直近の操作など）、行動履歴から推測される搭乗者の現在の感情、または車両システム１がアクセス可能な車載ハードウェア、車両システム１にインストールされたソフトウェアなどのシステム情報が想定されるが、これらに限定されることはない。これらの環境情報は、車載システム１に備えられたセンサー２１３や各種の入力装置、車載システム１と連携するモバイル機器、またはインターネットアクセスを介して収集される。
　出力決定部２１４は、推測された目的に基づき、画像入力に対する出力の内容と、それを実行するハードウェアまたはソフトウェアを決定する。この決定は、例えば、目的として想定される種々のアクション（「経路検索」「情報検索」「運転制御」「メール送信」など）と、各ハードウェア・ソフトウェアとを予め適切に紐付けておくことにより実現され得る。入力部２１５は、決定された出力内容の実行に必要な入力情報を、出力実行するハードウェアまたはソフトウェアに入力する。
　評価入力部２１６は、搭乗者の画像入力に対して実行された出力に対する搭乗者からの評価を受け付ける。搭乗者からの評価は、出力内容に対する搭乗者の満足度を示すことが可能な任意の形式で行われるものであってよい。例えば、タッチパネル上で満足度を示す数値を入力または選択させるようにしてもよいし、タッチパネル上に、出力内容が搭乗者の望むものではない場合に、それをシステムに伝えるための仮想ボタンやアイコンを表示してもよい。あるいは、不図示のマイクにより、搭乗者が音声で評価を入力するようにしてもよい。入力された評価は、環境情報管理部２１１によって環境情報データベース２１２に記憶され、以降の目的推測の際に参照され得る。
　本実施形態において、車載システム１は、車載ハードウェアＩ／Ｆ１０８を介して車両の制御系ハードウェアと連携可能である。例えば、入力された画像が制限速度を示す標識を示していると判断されると、搭乗者の目的は制限速度を遵守することであるとの推測が行われ、当該制限速度を車両の最高速度とするようにエンジン制御を行うことが可能である。また、本実施形態において、車載システム１には、ナビゲーションソフトウェア、インターネットブラウザ、メールソフトなどのアプリケーションソフトウェアがインストールされており、これらのソフトウェアとの連携が可能である。例えば、入力された画像が特定のランドマークを示していると判断されると、搭乗者の目的は当該ランドマークを目的地とした経路情報であるとの推測が行われ、ナビゲーションソフトウェアを起動してこれらの情報を搭乗者に提供する。また、例えば、入力された画像が商品の広告看板を示していると判断されると、搭乗者の目的は当該商品の詳細情報であるとの推測が行われ、ブラウザを起動してこれらの情報を搭乗者に提供する。なお、目的として想定されるアクションとハードウェアまたはソフトウェアとの紐付けをより詳細に設定することにより、上述の例の他にも様々なハードウェア・ソフトウェアによる出力を実行することが可能である。また、同一の画像を入力した場合に必ず同一の出力内容となるとは限らず、例えば、入力画像がランドマークを示していると判断された場合であっても、既に他の目的地がナビゲーションソフトウェアに設定されている場合にはブラウザを起動して詳細情報を提供したり、当該ランドマークへの訪問が〈例えば搭乗者の勤務地として設定されている場合のように〉生活サイクルの一部に組み込まれている場合はスケジュール管理ソフトを起動してその日のスケジュールを表示するなど、そのときの状況や搭乗者によって様々な出力内容が実行され得る。
（本車載システムの処理のフローチャート）
　図３および図４は、本実施例に係る車載システム１の処理の流れを示したフローチャートである。図３は、車載システム１の起動から画像の解析を開始するまでの流れを示す。車載システム１の起動後、ステップ３００において、車外撮像部２０１による車外風景の撮影が開始される。搭乗者が車外の風景中の特定の事物に関心を持ち、特定のジェスチャー、すなわち、車窓付近の空中で風景中の関心対象を囲むように円状または楕円状の図形を描くジェスチャーを行うと、ステップ３０２でジェスチャー認識部２０２が当該ジェスチャーが行われたことを認識し、ステップ３０４で画像取得部２０５が当該ジェスチャーが行われた位置を車窓上の座標として算出し取得する。本実施例では、画像取得部２０５は、搭乗者の人差し指の先端部が描く軌跡を車窓上に投影して得られる一連の座標データを取得する。
　ステップ３０４に引き続き、またはステップ３０４と並行して、ステップ３０６で視線方向検出部２０４がジェスチャー開始時刻における搭乗者の視線方向を検出する。ステップ３０８では、ステップ３０４で画像取得部２０５が取得した一連の座標を、ステップ３０６で検出された搭乗者の視線方向に基づき補正する。続いて、ステップ３１０において、画像取得部２０５は、補正後の一連の座標に対応する領域の画像を、ステップ３００で撮影開始された車外風景の映像から切り出して取得する。具体的には、車外風景を撮影した映像からジェスチャー開始時刻に対応するフレームの画像を抽出し、この画像から、上記補正後の一連の座標によって画定される閉領域内部の画像を切り出して取得する。
　続いて、ステップ３１２において、画像表示部２０６により、切り出された画像がディスプレイ１１４上に表示される。ステップ３１４において、表示された画像は、搭乗者による操作により、ディスプレイ１１４上を自由に移動可能である。ここで、搭乗者による特定の操作、すなわち本実施形態においては画像の下方向へのフリック操作が行われると、ステップ３１６で画像の解析が開始される。
　図４は、本実施例に係る車載システム１における、画像の解析開始から入力情報の入力までの処理の流れを示す。図３のステップ３１６に引き続き、図４のステップ４０２において、画像解析部２０８により、ステップ３１０で取得された画像中の物体認識が行われる。さらに、当該画像中に文字情報が含まれる場合、ステップ４０４において、画像中の文字情報が解析され読み取られる。
　切り取られた画像の物体認識が完了すると、ステップ４０６において、認識された物体または文字に基づき、搭乗者の目的が推測される。このステップでは、蓄積された種々の環境情報を参照することにより、搭乗者が上記画像を切り出して車載システム１に入力することでどのような情報・機能を要求しているのか、ということが推測される。続いて、ステップ４０８で推測された目的に基づき出力内容が決定され、ステップ４１０で当該出力内容を実行するハードウェア／ソフトウェアが決定される。なお、ステップ４０８とステップ４１０の実装にあたっては、両ステップを一体的に実行してもよい。その後、ステップ４１２において、入力部２１５が、決定されたハードウェアまたはソフトウェアに対して、出力の実行に必要な入力情報を入力する。
　ステップ４１２の入力を受けて、ステップ４１４において、車載システム１と連携するハードウェアまたはソフトウェアは、入力情報を処理して適切な情報または機能を出力として搭乗者に提供する。その後、ステップ４１６において、搭乗者による出力に対する評価の入力が受け付けられる。ステップ４１８において、上記評価は、上記出力が搭乗者の要求に適合するものであったかどうかの指標として、入力および出力の情報とともに記憶される。
　図５～図７は、本発明に係る車載システムを搭載する自動車における風景画像切り取りの操作を説明する図である。図５は、運転中の車内から前方の車窓を通して見える風景を表している。カメラ５０１は、車外風景または搭乗者を撮影するためのカメラ１１３の設置例であり、この他にも、前方または側方の車外風景を撮影するための不図示のカメラが適切な位置に複数設置される。搭乗者には、前方の車窓を通してランドマーク５０２、イベント５０３、速度規制標識５０４、道路案内標識５０５、先行車両５０６が見えている。
　図６において、搭乗者はランドマーク５０２に興味を持ち、搭乗者の手６０１により、車窓の近くの空中で、ランドマーク５０２を囲むような軌跡６０２を描く。なお、図６に示すとおり、搭乗者は必ずしも綺麗で正確な円または楕円を描く必要はなく、軌跡６０２のように閉領域を形成しない不完全な楕円形を描いた場合であっても、画像取得処理の段階で適切に補完された閉領域の画像を切り出すことが可能である。
　図７は、軌跡６０２に基づき一定領域の画像が切り出されたあとの車内の状態を表す。この実施例において、車窓の内表面上に透過型のタッチパネルが設置されており、切り出された画像７０１がタッチパネル上に表示されている。搭乗者は画像７０１をタッチパネル上の任意の場所に動かして表示させておくことが可能である。また、例えば画像７０１を下方向にフリック操作することにより、本車載システムに画像の解析を開始させることが可能である。本車載システムは、解析により画像７０１に含まれる物体がランドマークＡであることを特定し、例えば、搭乗者の目的はランドマークＡまでの経路案内であると判断してナビゲーションソフトウェアに適切な入力を行う。ナビゲーションソフトウェアは、当該入力を受けて、ランドマークＡまでの経路案内を実行する。
　図５～７においては、ランドマーク５０２の画像を切り出して経路案内を提供する例を説明したが、本車載システムと連携するハードウェアまたはソフトウェア、ならびに目的推測の精度によっては、他にも様々な画像入力とそれに対する出力が可能である。想定される入力‐出力の例としては、例えばイベント５０３の画像を切り出して入力することで、メールソフトを起動して当該切り出した画像を添付したメールを送信することが可能である。また、速度規制標識５０４の画像を切り出して入力することで、車両の最高速度を設定することが可能である。また、道路案内標識５０５の画像を切り出して入力することで、ブラウザソフトウェアを起動して目的地の観光情報を提供することが可能である。また、先行車両５０６の画像を切り出して入力することで、先行車両５０６を追従するように自動運転の設定を行うことが可能である。
　以上、本実施形態によれば、走行中の車内において、搭乗者の簡易で直感的なジェスチャーにより車外の風景内の任意の事物の画像データを取得し、車載システムまたは装置への入力とすることができるため、画像データを入力として用いる際に要求される搭乗者の操作は非常に簡単なものとなり、搭乗者は直感的な操作によって即座に必要な情報・機能を得ることができる。また、入力された画像の解析後、システムまたは装置に蓄積された種々の情報に基づき搭乗者の目的が推測され、当該目的に適した出力が自動で選択実行されるため、画像の入力後に搭乗者に更なる操作が求められることもない。こうした利点の結果、搭乗者は、直感的かつ簡単な操作により、車外風景中の関心のある事物の画像をハードウェアまたはソフトウェアに対する入力として用いることができ、推測された目的に応じた様々な結果を得ることができる。
（その他の実施形態）
　以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されるものではない。本発明の目的は、上述の実施例の機能を実現するプログラムコード（コンピュータプログラム）を格納した記憶媒体をシステムあるいは装置に供給し、供給されたシステムあるいは装置のコンピュータが記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施例の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、上述した実施形態では、コンピュータがプログラムを実行することにより、各処理部として機能するものとしたが、処理の一部または全部を専用の電子回路（ハードウェア）で構成するようにしても構わない。本発明は、説明された特定の実施例に限定されるものではなく、請求の範囲に記載された本発明の趣旨の範囲内において、種々の変形・変更が可能である。
２０１…車外撮像部、２０２…ジェスチャー認識部、２０３…搭乗者撮像部、２０４…視線方向検出部、２０５…画像取得部、２０６…画像表示部、２０７…画像操作部、２０８…画像解析部、２０９…画像データベース、２１０…目的推測部、２１１…環境情報管理部、２１２…環境情報データベース、２１３…センサー、２１４…出力決定部、２１５…入力部、２１６…評価入力部、５０１…カメラ、５０２…ランドマーク、５０３…イベント、５０４…速度規制標識、５０５…道路案内標識、５０６…先行車両、６０１…搭乗者の手、６０２…軌跡、７０１…画像

Claims (9)

  1. 　任意のハードウェアまたはソフトウェアと通信および連携が可能な車載システムであって、
    　車窓越しの車外風景の映像を撮影する車外撮像手段と、
    　搭乗者の所定の動作を入力として認識するジェスチャー認識手段と、
    　前記動作が行われた位置を前記車窓上の座標として算出し、前記映像から、前記座標に対応する領域の画像を切り出して取得する画像取得手段と、
    　前記取得された画像を解析して画像中の物体を認識する画像解析手段と、
    　前記システムに蓄積された環境情報を用いて、前記認識された物体から前記搭乗者の目的を推測する目的推測手段と、
    　前記推測された目的に基づき、出力内容とそれを実行するハードウェアまたはソフトウェアを決定する出力決定手段と、
    　前記出力内容の実行に必要な入力情報を前記ハードウェアまたはソフトウェアに入力する入力手段と、
    を備えることを特徴とする車載システム。
  2. 　搭乗者を撮影する搭乗者撮像手段と、
    　前記搭乗者撮像手段により得られる搭乗者の目の画像から搭乗者の視線方向を検出する視線方向検出手段と、を更に備え、
    　前記画像取得手段は、前記検出された視線方向を参照して前記座標の補正を行う、請求項１に記載の車載システム。
  3. 　前記所定の動作が、風景中の関心対象を囲むように前記車窓の付近の空中に指で円状または楕円状の図形を描く動作であり、
    　前記画像取得手段は、前記円状または楕円状の図形によって画定される閉領域に対応する画像を前記映像から取得する、請求項１に記載の車載システム。
  4. 　前記車窓が画像表示機能を有し、前記取得された画像を表示することが可能であり、
    　前記表示された画像は搭乗者の操作により車窓上の任意の場所に動かして表示させることが可能であり、
    　前記画像解析手段は、搭乗者による前記表示された画像に対する所定の操作に応じて画像の解析を開始する、請求項１に記載の車載システム。
  5. 　前記画像解析手段は、前記取得された画像に含まれる文字情報を認識する文字情報認識手段を備える、請求項１に記載の車載システム。
  6. 　前記環境情報が、車内環境データ、車外環境データ、搭乗者プロフィールデータ、行動履歴データ、前記行動履歴に基づき推測された搭乗者の現在の感情に関するデータ、または前記車載システムと連携するハードウェアおよびソフトウェアに関するデータを含む、請求項１に記載の車載システム。
  7. 　前記出力内容に対する搭乗者の評価を入力可能な評価入力手段を更に備え、
    　前記入力された評価を前記環境情報の一部として利用する、請求項１に記載の車載システム。
  8. 　車窓越しの車外風景の映像を撮影する車外撮像工程と、
    　搭乗者が前記車窓の付近で行う所定の動作を入力として認識するジェスチャー認識工程と、
    　前記動作が行われた位置を前記車窓上の座標として算出し、前記映像から、前記座標に対応する領域の画像を切り出して取得する画像取得工程と、
    　前記取得された画像を解析して画像中の物体を認識する画像解析工程と、
    　前記装置に蓄積された環境情報を用いて、前記認識された物体から前記搭乗者の目的を推測する目的推測工程と、
    　前記推測された目的に基づき、出力内容とそれを実行するハードウェアまたはソフトウェアを決定する出力決定工程と、
    　前記出力内容の実行に必要な入力情報を前記ハードウェアまたはソフトウェアに入力する入力工程と、
    を含むことを特徴とする情報処理方法。
  9. 　車窓越しの車外風景の映像を撮影する車外撮像工程と、
    　搭乗者が前記車窓の付近で行う所定の動作を入力として認識するジェスチャー認識工程と、
    　前記動作が行われた位置を前記車窓上の座標として算出し、前記映像から、前記座標に対応する領域の画像を切り出して取得する画像取得工程と、
    　前記取得された画像を解析して画像中の物体を認識する画像解析工程と、
    　前記装置に蓄積された環境情報を用いて、前記認識された物体から前記搭乗者の目的を推測する目的推測工程と、
    　前記推測された目的に基づき、出力内容とそれを実行するハードウェアまたはソフトウェアを決定する出力決定工程と、
    　前記出力内容の実行に必要な入力情報を前記ハードウェアまたはソフトウェアに入力する入力工程と、
    を含む情報処理方法をコンピュータにより実行させることを特徴とするコンピュータプログラムを記憶させた記録媒体。
PCT/JP2015/004252 2014-09-04 2015-08-25 車載システム、情報処理方法、およびコンピュータプログラム WO2016035281A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-180029 2014-09-04
JP2014180029A JP2016053880A (ja) 2014-09-04 2014-09-04 車載システム、情報処理方法、およびコンピュータプログラム

Publications (1)

Publication Number Publication Date
WO2016035281A1 true WO2016035281A1 (ja) 2016-03-10

Family

ID=55439369

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/004252 WO2016035281A1 (ja) 2014-09-04 2015-08-25 車載システム、情報処理方法、およびコンピュータプログラム

Country Status (2)

Country Link
JP (1) JP2016053880A (ja)
WO (1) WO2016035281A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109712250A (zh) * 2019-01-24 2019-05-03 深圳前海达闼云端智能科技有限公司 一种基于交通工具的显示方法、装置和终端
CN110738704A (zh) * 2019-10-29 2020-01-31 福建省汽车工业集团云度新能源汽车股份有限公司 一种车载无透镜双目成像方法及其汽车
WO2021013469A1 (de) * 2019-07-19 2021-01-28 Volkswagen Aktiengesellschaft Bereitstellung und übertragung von positionsdaten einer umgebung eines kraftfahrzeugs

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102272309B1 (ko) * 2019-03-15 2021-07-05 엘지전자 주식회사 차량 제어 장치
JP2021085746A (ja) * 2019-11-27 2021-06-03 パイオニア株式会社 表示制御装置、表示制御方法及び表示制御用プログラム
JP7383549B2 (ja) 2020-03-30 2023-11-20 日産自動車株式会社 画像記録システム及び画像記録方法
JP6976378B2 (ja) * 2020-05-12 2021-12-08 株式会社エイチアイ 情報処理方法、プログラム及び車載装置
JP2022071797A (ja) * 2020-10-28 2022-05-16 株式会社日本総合研究所 車両及び表示方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007080060A (ja) * 2005-09-15 2007-03-29 Matsushita Electric Ind Co Ltd 対象物特定装置
JP2009151419A (ja) * 2007-12-19 2009-07-09 Advanced Telecommunication Research Institute International 対象物特定方法および装置
WO2013090046A1 (en) * 2011-12-13 2013-06-20 Microsoft Corporation Gesture-based tagging to view related content
WO2013151614A1 (en) * 2012-04-02 2013-10-10 Google Inc. Gesture-based automotive controls
WO2013166190A2 (en) * 2012-05-03 2013-11-07 Honda Motor Co., Ltd. Landmark-based location belief tracking for voice controlled navigation system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007080060A (ja) * 2005-09-15 2007-03-29 Matsushita Electric Ind Co Ltd 対象物特定装置
JP2009151419A (ja) * 2007-12-19 2009-07-09 Advanced Telecommunication Research Institute International 対象物特定方法および装置
WO2013090046A1 (en) * 2011-12-13 2013-06-20 Microsoft Corporation Gesture-based tagging to view related content
WO2013151614A1 (en) * 2012-04-02 2013-10-10 Google Inc. Gesture-based automotive controls
WO2013166190A2 (en) * 2012-05-03 2013-11-07 Honda Motor Co., Ltd. Landmark-based location belief tracking for voice controlled navigation system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109712250A (zh) * 2019-01-24 2019-05-03 深圳前海达闼云端智能科技有限公司 一种基于交通工具的显示方法、装置和终端
WO2021013469A1 (de) * 2019-07-19 2021-01-28 Volkswagen Aktiengesellschaft Bereitstellung und übertragung von positionsdaten einer umgebung eines kraftfahrzeugs
CN110738704A (zh) * 2019-10-29 2020-01-31 福建省汽车工业集团云度新能源汽车股份有限公司 一种车载无透镜双目成像方法及其汽车

Also Published As

Publication number Publication date
JP2016053880A (ja) 2016-04-14

Similar Documents

Publication Publication Date Title
WO2016035281A1 (ja) 車載システム、情報処理方法、およびコンピュータプログラム
US11275447B2 (en) System and method for gesture-based point of interest search
JP6456901B2 (ja) 自律走行車においてメディアコンテンツを提示するためのシステム及び方法
US11120264B2 (en) Augmented reality interface for facilitating identification of arriving vehicle
US20170284822A1 (en) Input/Output Functions Related to a Portable Device In An Automotive Environment
CN107315511B (zh) 服务显示方法、装置、设备和系统
KR102010298B1 (ko) 영상표시장치 및 영상표시장치의 동작방법
EP2826689B1 (en) Mobile terminal
EP3012589B1 (en) Mobile terminal and method of controlling the same
US9097554B2 (en) Method and apparatus for displaying image of mobile communication terminal
KR101866860B1 (ko) 전자기기 및 그것의 제어방법
US11900672B2 (en) Integrated internal and external camera system in vehicles
US20100305844A1 (en) Mobile vehicle navigation method and apparatus thereof
CN103294190A (zh) 通过手势识别与车辆控制交互的识别系统
KR20160053596A (ko) 디바이스가 다른 디바이스를 제어하는 방법 및 그 디바이스
US9983407B2 (en) Managing points of interest
WO2019207944A1 (ja) 情報処理装置、プログラム、及び情報処理方法
US9469304B2 (en) Vehicular system
US11858526B2 (en) Apparatus and method for use with vehicle
US20140181651A1 (en) User specific help
CN108762713B (zh) 预约车辆的定位导航方法、装置以及计算机可读存储介质
WO2019117046A1 (ja) 車載装置、情報提示方法
CN107624184A (zh) 用于从车辆分享图片的方法和装置
KR20140099129A (ko) 전자기기 및 그것의 제어방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15837857

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15837857

Country of ref document: EP

Kind code of ref document: A1