JPWO2012086052A1 - Image control apparatus and image control method - Google Patents

Image control apparatus and image control method Download PDF

Info

Publication number
JPWO2012086052A1
JPWO2012086052A1 JP2011545965A JP2011545965A JPWO2012086052A1 JP WO2012086052 A1 JPWO2012086052 A1 JP WO2012086052A1 JP 2011545965 A JP2011545965 A JP 2011545965A JP 2011545965 A JP2011545965 A JP 2011545965A JP WO2012086052 A1 JPWO2012086052 A1 JP WO2012086052A1
Authority
JP
Japan
Prior art keywords
facility
display
image
imaging
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011545965A
Other languages
Japanese (ja)
Other versions
JP4917191B1 (en
Inventor
徹練 柴尾
徹練 柴尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Application granted granted Critical
Publication of JP4917191B1 publication Critical patent/JP4917191B1/en
Publication of JPWO2012086052A1 publication Critical patent/JPWO2012086052A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3635Guidance using 3D or perspective road maps
    • G01C21/3638Guidance using 3D or perspective road maps including 3D objects and buildings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Navigation (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

画像制御装置は、取得手段と、記憶手段と、判断手段と、表示制御手段と、を備える。取得手段は、移動体に搭載された撮像手段が撮像した画像を取得する。記憶手段は、施設に関する施設情報を記憶する。判断手段は、撮像手段の撮像範囲にある施設のうち、画像に表示されない非表示施設、又は/及び、撮像範囲の外にある施設のうち、撮影範囲の近傍に位置する非表示施設の有無を判断する。表示制御手段は、判断手段によって非表示施設があると判断された場合、当該非表示施設に関する施設情報を画像に重畳して表示手段に表示させる。The image control apparatus includes an acquisition unit, a storage unit, a determination unit, and a display control unit. The acquisition unit acquires an image captured by the imaging unit mounted on the moving body. The storage means stores facility information related to the facility. The determination means determines whether or not there is a non-display facility that is not displayed in the image among facilities in the imaging range of the imaging means, and / or a non-display facility that is located in the vicinity of the imaging range among facilities that are outside the imaging range. to decide. When the determining means determines that there is a non-display facility, the display control means superimposes facility information relating to the non-display facility on the image and causes the display means to display the information.

Description

本発明は、移動体に搭載された撮像手段から得られる画像を制御する技術に関する。   The present invention relates to a technique for controlling an image obtained from an imaging unit mounted on a moving body.

従来から、移動体の位置とカメラの設置位置、設置方向により、施設情報の画像上の位置を推定し、実写画像に重畳して表示する技術が知られている。例えば、特許文献1には、ランドマーク(施設マーク)として重畳表示する付加情報のうち、所定の条件を満たすものだけを表示することで閲覧性を向上させる画像撮影装置が開示されている。具体的には、上述の画像撮影装置は、実写画像の撮影範囲をエリア分けし、そのエリア内で最大表示個数を設け、予めランドマークデータに付与された優先度順に表示させている。   2. Description of the Related Art Conventionally, a technique for estimating the position of facility information on an image based on the position of a moving body, the installation position of a camera, and the installation direction and displaying the information superimposed on a real image is known. For example, Patent Document 1 discloses an image capturing apparatus that improves the viewability by displaying only additional information that satisfies a predetermined condition among additional information that is superimposed and displayed as a landmark (facility mark). Specifically, the above-described image photographing device divides the photographing range of the photographed image into areas, provides the maximum display number within the area, and displays them in the order of priorities previously given to the landmark data.

特開2009−017540号公報JP 2009-0175540 A

上述の技術によれば、実写画像に重畳させるランドマークの数を制限することができる一方で、実写画像から容易に視認できる施設についてもランドマークが表示される場合がある。従って、この場合、表示が煩雑化すると共に、運転者にとって有益な情報が表示されない可能性がある。   According to the above-described technique, the number of landmarks to be superimposed on a live-action image can be limited. On the other hand, a landmark may be displayed for a facility that can be easily visually recognized from the live-action image. Therefore, in this case, the display becomes complicated and information useful for the driver may not be displayed.

本発明は、上記のような課題を解決するためになされたものであり、移動体に搭載された撮像手段から得られる画像に、必要な施設情報のみを選定して付加することが可能な画像制御装置を提供することを主な目的とする。   The present invention has been made to solve the above-described problems, and can select and add only necessary facility information to an image obtained from an imaging unit mounted on a moving body. The main object is to provide a control device.

請求項1に記載の発明は、移動体に搭載された撮像手段が撮像した画像を取得する取得手段と、施設に関する施設情報を記憶する記憶手段と、前記撮像手段の撮像範囲にある前記施設のうち、前記画像に表示されない非表示施設、又は/及び、前記撮像範囲の外にある前記施設のうち、前記撮影範囲の近傍に位置する非表示施設の有無を判断する判断手段と、前記判断手段によって前記非表示施設があると判断された場合、当該非表示施設に関する前記施設情報を前記画像に重畳して表示手段に表示させる表示制御手段と、を備えることを特徴とする。   According to the first aspect of the present invention, an acquisition unit that acquires an image captured by an imaging unit mounted on a moving body, a storage unit that stores facility information about the facility, and the facility within the imaging range of the imaging unit Among the non-display facilities that are not displayed in the image, and / or, among the facilities that are outside the imaging range, a determination unit that determines the presence or absence of a non-display facility located in the vicinity of the imaging range, and the determination unit Display means for superimposing the facility information on the non-display facility on the image to be displayed on the display means when it is determined that there is the non-display facility.

請求項6に記載の発明は、施設に関する施設情報を記憶する記憶手段を有する画像制御装置により実行される制御方法であって、移動体に搭載された撮像手段が撮像した画像を取得する取得工程と、前記撮像手段の撮像範囲にある前記施設のうち、前記画像に表示されない非表示施設、又は/及び、前記撮像範囲の外にある前記施設のうち、前記撮影範囲の近傍に位置する非表示施設の有無を判断する判断工程と、前記判断工程によって前記非表示施設があると判断された場合、当該非表示施設に関する前記施設情報を前記画像に重畳して表示手段に表示させる表示制御工程と、を備えることを特徴とする。   The invention according to claim 6 is a control method executed by an image control apparatus having a storage unit that stores facility information relating to a facility, and acquiring an image captured by an imaging unit mounted on a moving body And, among the facilities in the imaging range of the imaging means, a non-display facility that is not displayed in the image, and / or a non-display located in the vicinity of the imaging range among the facilities that are outside the imaging range A determination step of determining the presence or absence of a facility, and a display control step of displaying on the display means the facility information related to the non-display facility superimposed on the image when it is determined by the determination step that the non-display facility exists. It is characterized by providing.

請求項7に記載の発明は、施設に関する施設情報を記憶する記憶手段を有する画像制御装置により実行されるプログラムであって、移動体に搭載された撮像手段が撮像した画像を取得する取得手段と、前記撮像手段の撮像範囲にある前記施設のうち、前記画像に表示されない非表示施設、又は/及び、前記撮像範囲の外にある前記施設のうち、前記撮影範囲の近傍に位置する非表示施設の有無を判断する判断手段と、前記判断手段によって前記非表示施設があると判断された場合、当該非表示施設に関する前記施設情報を前記画像に重畳して表示手段に表示させる表示制御手段、として前記画像制御装置を機能させることを特徴とする。   The invention according to claim 7 is a program executed by an image control apparatus having a storage unit that stores facility information relating to a facility, and an acquisition unit that acquires an image captured by an imaging unit mounted on a moving body; Among the facilities in the imaging range of the imaging means, a non-display facility that is not displayed in the image, and / or a non-display facility located in the vicinity of the imaging range among the facilities that are outside the imaging range And a display control unit for displaying the facility information on the non-display facility superimposed on the image on the display unit when the determination unit determines that there is the non-display facility. The image control apparatus is made to function.

本実施例に係るナビゲーション装置の概略構成の一例である。It is an example of schematic structure of the navigation apparatus concerning a present Example. (a)は、仮想的に生成したカメラの視野に対応する3次元空間の概念図である。(b)は、撮影範囲空間と、撮影範囲外空間との位置関係を示す。(A) is a conceptual diagram of the three-dimensional space corresponding to the visual field of the virtually generated camera. (B) shows the positional relationship between the shooting range space and the space outside the shooting range. (a)は、オブジェクトによって生成される非表示空間をXZ平面上で表した図を示す。(b)は、オブジェクトによって生成される非表示空間をXY平面上で表した図を示す。(A) shows the figure which represented the non-display space produced | generated by the object on the XZ plane. (B) shows the figure which represented the non-display space produced | generated by the object on XY plane. (a)は、施設マークを重畳させる前の撮影画像の一例を示す。(b)は、システムコントローラが非表示施設検出処理を実行し、施設マークを重畳させた撮影画像を示す。(A) shows an example of the captured image before the facility mark is superimposed. (B) shows the picked-up image which the system controller performed the non-display facility detection process and superimposed the facility mark. 本実施例の処理手順を示すフローチャートの一例である。It is an example of the flowchart which shows the process sequence of a present Example.

本発明の好適な実施形態によれば、画像制御装置は、施設に関する施設情報を記憶する記憶手段と、前記撮像手段の撮像範囲にある前記施設のうち、前記画像に表示されない非表示施設、又は/及び、前記撮像範囲の外にある前記施設のうち、前記撮影範囲の近傍に位置する非表示施設の有無を判断する判断手段と、前記判断手段によって前記非表示施設があると判断された場合、当該非表示施設に関する前記施設情報を前記画像に重畳して表示手段に表示させる表示制御手段と、を備える。   According to a preferred embodiment of the present invention, the image control apparatus includes a storage unit that stores facility information related to a facility, and a non-display facility that is not displayed in the image among the facilities in the imaging range of the imaging unit, or And / or a determination unit that determines whether or not there is a non-display facility located in the vicinity of the imaging range among the facilities outside the imaging range, and the determination unit determines that there is the non-display facility Display control means for causing the display means to display the facility information related to the non-display facility superimposed on the image.

上記の画像制御装置は、取得手段と、記憶手段と、判断手段と、表示制御手段と、を備える。取得手段は、移動体に搭載された撮像手段が撮像した画像を取得する。記憶手段は、施設に関する施設情報を記憶する。判断手段は、撮像手段の撮像範囲にある施設のうち、画像に表示されない非表示施設、又は/及び、撮像範囲の外にある施設のうち、撮影範囲の近傍に位置する非表示施設の有無を判断する。「撮影範囲の近傍」とは、撮影範囲にあるエリアに隣接した所定範囲のエリアであり、例えば実験等に基づき予めその特定方法が規定される。表示制御手段は、判断手段によって非表示施設があると判断された場合、当該非表示施設に関する施設情報を画像に重畳して表示手段に表示させる。   The image control apparatus includes an acquisition unit, a storage unit, a determination unit, and a display control unit. The acquisition unit acquires an image captured by the imaging unit mounted on the moving body. The storage means stores facility information related to the facility. The judging means determines whether or not there is a non-display facility that is not displayed in the image among the facilities in the imaging range of the imaging means and / or a non-display facility that is located in the vicinity of the imaging range among the facilities that are outside the imaging range. to decide. “Near the shooting range” is an area in a predetermined range adjacent to the area in the shooting range, and its specifying method is defined in advance based on, for example, experiments. When the determining means determines that there is a non-display facility, the display control means superimposes facility information relating to the non-display facility on the image and causes the display means to display the information.

この実施形態によれば、画像制御装置は、撮影した画像からは視認しにくい又は視認することができない非表示施設の施設情報を当該画像に重畳して表示する。従って、画像制御装置は、撮影画像上の情報が煩雑になるのを防ぎつつ、画像から得られる情報の不足を補い、運転者にとって有益な情報を提示することができる。   According to this embodiment, the image control apparatus superimposes and displays the facility information of the non-display facility that is difficult to view from the captured image or cannot be viewed. Therefore, the image control apparatus can compensate for the shortage of information obtained from the image while preventing the information on the captured image from becoming complicated, and can present information useful to the driver.

上記の画像制御装置の一態様では、前記移動体の現在位置を測位する測位手段をさらに備え、前記記憶手段は、地図上の前記施設の位置を示す施設位置情報を記憶し、前記判断手段は、前記測位手段により測位された前記現在位置と、前記施設位置情報とに基づいて前記非表示施設の有無を判断する。この態様により、画像制御装置は、好適に、非表示施設を特定することが可能となる。   In one aspect of the image control apparatus, the image processing apparatus further includes positioning means for measuring the current position of the moving body, the storage means stores facility position information indicating the position of the facility on a map, and the determination means includes The presence / absence of the non-display facility is determined based on the current position measured by the positioning means and the facility position information. According to this aspect, the image control apparatus can preferably specify the non-display facility.

上記の画像制御装置の他の一態様では、前記判断手段は、前記撮像手段の撮影範囲にある前記施設のうち、前記画像に所定の割合以上表示されない施設を前記非表示施設とする。「所定の割合」とは、運転者が当該施設の存在を視認しにくい又は視認することができないと判断される割合であり、例えば実験等に基づき予め定められる。このようにすることで、画像制御装置は、好適に、非表示施設を特定することができる。   In another aspect of the above-described image control apparatus, the determination unit sets, as the non-display facility, a facility that is not displayed in a predetermined ratio or more in the image among the facilities in the imaging range of the imaging unit. The “predetermined ratio” is a ratio at which it is determined that it is difficult for the driver to visually recognize the presence of the facility or cannot be visually recognized, and is determined in advance based on, for example, experiments. By doing in this way, the image control apparatus can specify a non-display facility suitably.

上記の画像制御装置の他の一態様では、前記表示制御手段は、前記施設情報を、当該施設情報に対応する非表示施設とずれた位置に表示すると共に、当該非表示施設の位置と前記施設情報との対応を示す矢印を表示する。このようにすることで、画像制御装置は、施設情報と当該施設情報が示す施設の位置との対応を運転者に明確に把握させることができる。   In another aspect of the image control device, the display control unit displays the facility information at a position shifted from a non-display facility corresponding to the facility information, and the position of the non-display facility and the facility An arrow indicating the correspondence with information is displayed. In this way, the image control apparatus can make the driver clearly understand the correspondence between the facility information and the location of the facility indicated by the facility information.

上記の画像制御装置の他の一態様では、前記判断手段により前記非表示施設であるか否か判断の対象となる施設は、駐車場である。一般に、駐車場及びその入口は、走行中に撮影される画像上では他の施設に遮られて特に視認しにくい又は視認することができない場合が多い。従って、この態様では、画像制御装置は、非表示となっている駐車場の情報を撮影画像に重畳させることで、画像から得られる情報の不足を補い、利便性を向上させることができる。   In another aspect of the above-described image control apparatus, the facility to be determined by the determination unit as to whether or not it is the non-display facility is a parking lot. In general, a parking lot and its entrance are often difficult to see or cannot be visually recognized because they are blocked by other facilities on an image taken during traveling. Therefore, in this aspect, the image control apparatus can compensate for the shortage of information obtained from the image and improve convenience by superimposing the non-displayed parking lot information on the captured image.

本発明の他の実施形態によれば、施設に関する施設情報を記憶する記憶手段を有する画像制御装置により実行される制御方法であって、移動体に搭載された撮像手段が撮像した画像を取得する取得工程と、前記撮像手段の撮像範囲にある前記施設のうち、前記画像に表示されない非表示施設、又は/及び、前記撮像範囲の外にある前記施設のうち、前記撮影範囲の近傍に位置する非表示施設の有無を判断する判断工程と、前記判断工程によって前記非表示施設があると判断された場合、当該非表示施設に関する前記施設情報を前記画像に重畳して表示手段に表示させる表示制御工程と、を備える。画像制御装置は、この制御方法を実行することで、撮影画像上の情報が煩雑になるのを防ぎつつ、画像から得られる情報の不足を補い、運転者にとって有益な情報を提示することができる。   According to another embodiment of the present invention, there is provided a control method executed by an image control apparatus having a storage unit that stores facility information related to a facility, and acquires an image captured by an imaging unit mounted on a moving body. Of the facilities that are in the imaging range of the imaging means and the imaging means, the non-display facilities that are not displayed in the image, and / or the facilities that are outside the imaging range, are located in the vicinity of the imaging range A determination step for determining whether or not there is a non-display facility, and a display control for displaying on the display unit the facility information related to the non-display facility superimposed on the image when the determination step determines that there is the non-display facility. A process. By executing this control method, the image control apparatus can prevent the information on the captured image from becoming complicated, compensate for the lack of information obtained from the image, and present information useful to the driver. .

本発明のさらに別の実施形態によれば、施設に関する施設情報を記憶する記憶手段を有する画像制御装置により実行されるプログラムであって、移動体に搭載された撮像手段が撮像した画像を取得する取得手段と、前記撮像手段の撮像範囲にある前記施設のうち、前記画像に表示されない非表示施設、又は/及び、前記撮像範囲の外にある前記施設のうち、前記撮影範囲の近傍に位置する非表示施設の有無を判断する判断手段と、前記判断手段によって前記非表示施設があると判断された場合、当該非表示施設に関する前記施設情報を前記画像に重畳して表示手段に表示させる表示制御手段、として前記画像制御装置を機能させる。画像制御装置は、このプログラムを搭載し実行することで、撮影画像上の情報が煩雑になるのを防ぎつつ、画像から得られる情報の不足を補い、運転者にとって有益な情報を提示することができる。なお、好適には、上記のプログラムは記憶媒体に記憶される。   According to still another embodiment of the present invention, a program executed by an image control apparatus having a storage unit that stores facility information related to a facility, and acquires an image captured by an imaging unit mounted on a moving body. Among the facilities in the imaging range of the acquisition unit and the imaging unit, the non-display facility that is not displayed in the image and / or the facility that is outside the imaging range is located in the vicinity of the imaging range A determination unit that determines whether or not there is a non-display facility, and a display control that causes the display unit to display the facility information related to the non-display facility on the image when the determination unit determines that there is the non-display facility. The image control apparatus is caused to function as means. By installing and executing this program, the image control apparatus can prevent the information on the captured image from becoming complicated, compensate for the lack of information obtained from the image, and present information useful to the driver. it can. Preferably, the above program is stored in a storage medium.

以下、図面を参照して本発明の好適な実施例について説明する。以後では、「目的地」とは、使用者がナビゲーション装置1に設定した目的の地点を指す。また、「立寄地」とは、使用者が目的地の途中で立ち寄る地点としてナビゲーション装置1に設定した地点を指す。また、目的地及び立寄地を特に区別しない場合、これらを「目的地等」とも呼ぶ。   Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. Hereinafter, the “destination” refers to a destination point set in the navigation device 1 by the user. Further, the “stop-by place” refers to a point set in the navigation device 1 as a point where the user stops in the middle of the destination. In addition, when there is no particular distinction between the destination and the stopover location, these are also referred to as “destination etc.”.

[概略構成]
図1は、本発明における画像制御装置の一例であるナビゲーション装置1の概略構成を示す。ナビゲーション装置1は、車両に搭載され、カメラ5と接続する。図1に示すように、ナビゲーション装置1は、自立測位装置10、GPS受信機18、システムコントローラ20、ディスクドライブ31、データ記憶ユニット36、通信用インタフェース37、通信装置38、表示ユニット40、音声出力ユニット50及び入力装置60を備える。
[Schematic configuration]
FIG. 1 shows a schematic configuration of a navigation apparatus 1 which is an example of an image control apparatus according to the present invention. The navigation device 1 is mounted on a vehicle and connected to the camera 5. As shown in FIG. 1, the navigation device 1 includes a self-supporting positioning device 10, a GPS receiver 18, a system controller 20, a disk drive 31, a data storage unit 36, a communication interface 37, a communication device 38, a display unit 40, an audio output. A unit 50 and an input device 60 are provided.

自立測位装置10は、加速度センサ11、角速度センサ12及び距離センサ13を備える。加速度センサ11は、例えば圧電素子からなり、車両の加速度を検出し、加速度データを出力する。角速度センサ12は、例えば振動ジャイロからなり、車両の方向変換時における車両の角速度を検出し、角速度データ及び相対方位データを出力する。距離センサ13は、車両の車輪の回転に伴って発生されているパルス信号からなる車速パルスを計測する。   The autonomous positioning device 10 includes an acceleration sensor 11, an angular velocity sensor 12, and a distance sensor 13. The acceleration sensor 11 is made of, for example, a piezoelectric element, detects vehicle acceleration, and outputs acceleration data. The angular velocity sensor 12 is composed of, for example, a vibrating gyroscope, detects the angular velocity of the vehicle when the direction of the vehicle is changed, and outputs angular velocity data and relative azimuth data. The distance sensor 13 measures a vehicle speed pulse composed of a pulse signal generated with the rotation of the vehicle wheel.

GPS受信機18は、複数のGPS衛星から、測位用データを含む下り回線データを搬送する電波19を受信する。測位用データは、緯度及び経度情報等から車両の絶対的な位置(以後、「現在位置」とも呼ぶ。)を検出するために用いられる。   The GPS receiver 18 receives radio waves 19 carrying downlink data including positioning data from a plurality of GPS satellites. The positioning data is used to detect the absolute position of the vehicle (hereinafter also referred to as “current position”) from latitude and longitude information.

システムコントローラ20は、インタフェース21、CPU(Central Processing Unit)22、ROM(Read Only Memory)23及びRAM(Random Access Memory)24を含んでおり、ナビゲーション装置1全体の制御を行う。   The system controller 20 includes an interface 21, a CPU (Central Processing Unit) 22, a ROM (Read Only Memory) 23, and a RAM (Random Access Memory) 24, and controls the entire navigation apparatus 1.

インタフェース21は、加速度センサ11、角速度センサ12及び距離センサ13並びにGPS受信機18とのインタフェース動作を行う。そして、これらから、車速パルス、加速度データ、相対方位データ、角速度データ、GPS測位データ、絶対方位データ等をシステムコントローラ20に入力する。CPU22は、予め用意されたプログラムを実行することにより、システムコントローラ20全体を制御する。ROM23は、システムコントローラ20を制御する制御プログラム等が格納された図示しない不揮発性メモリ等を有する。RAM24は、入力装置60を介して使用者により予め設定された経路データ等の各種データを読み出し可能に格納したり、CPU22に対してワーキングエリアを提供したりする。   The interface 21 performs an interface operation with the acceleration sensor 11, the angular velocity sensor 12, the distance sensor 13, and the GPS receiver 18. From these, vehicle speed pulses, acceleration data, relative azimuth data, angular velocity data, GPS positioning data, absolute azimuth data, and the like are input to the system controller 20. The CPU 22 controls the entire system controller 20 by executing a program prepared in advance. The ROM 23 includes a nonvolatile memory (not shown) in which a control program for controlling the system controller 20 is stored. The RAM 24 stores various data such as route data preset by the user via the input device 60 so as to be readable, and provides a working area to the CPU 22.

システムコントローラ20、CD−ROMドライブ又はDVD−ROMドライブなどのディスクドライブ31、データ記憶ユニット36、通信用インタフェース37、表示ユニット40、音声出力ユニット50及び入力装置60は、バスライン30を介して相互に接続されている。   A system controller 20, a disk drive 31 such as a CD-ROM drive or a DVD-ROM drive, a data storage unit 36, a communication interface 37, a display unit 40, an audio output unit 50, and an input device 60 are mutually connected via a bus line 30. It is connected to the.

ディスクドライブ31は、システムコントローラ20の制御の下、CD又はDVDといったディスク33から、音楽データ、映像データなどのコンテンツデータを読み出し、出力する。なお、ディスクドライブ31は、CD−ROMドライブ又はDVD−ROMドライブのうち、いずれか一方としてもよいし、CD及びDVDコンパチブルのドライブとしてもよい。   The disk drive 31 reads and outputs content data such as music data and video data from a disk 33 such as a CD or DVD under the control of the system controller 20. The disk drive 31 may be either a CD-ROM drive or a DVD-ROM drive, or may be a CD and DVD compatible drive.

データ記憶ユニット36は、例えば、HDDなどにより構成され、地図データなどのナビゲーション処理に用いられる各種データを記憶するユニットである。データ記憶ユニット36は、本発明における「記憶手段」の一例である。   The data storage unit 36 is configured by, for example, an HDD and stores various data used for navigation processing such as map data. The data storage unit 36 is an example of the “storage unit” in the present invention.

通信装置38は、例えば、FMチューナやビーコンレシーバ、携帯電話や専用の通信カードなどにより構成され、VICS(Vehicle Information Communication System)センタなどから配信される情報(以下、「VICS情報」と呼ぶ。)を電波39より取得する。そしてインタフェース37は、通信装置38のインタフェース動作を行い、VICS情報をシステムコントローラ20等に入力する。   The communication device 38 includes, for example, an FM tuner, a beacon receiver, a mobile phone, a dedicated communication card, and the like, and is distributed from a VICS (Vehicle Information Communication System) center or the like (hereinafter referred to as “VICS information”). Is acquired from the radio wave 39. The interface 37 performs an interface operation of the communication device 38 and inputs the VICS information to the system controller 20 or the like.

表示ユニット40は、システムコントローラ20の制御の下、各種表示データをディスプレイなどの表示装置に表示する。具体的には、システムコントローラ20は、データ記憶ユニット36から地図データを読み出す。表示ユニット40は、本発明における「表示手段」の一例であり、システムコントローラ20によってデータ記憶ユニット36から読み出された地図データなどを表示画面上に表示する。表示ユニット40は、バスライン30を介してCPU22から送られる制御データに基づいて表示ユニット40全体の制御を行うグラフィックコントローラ41と、VRAM(Video RAM)等のメモリからなり即時表示可能な画像情報を一時的に記憶するバッファメモリ42と、グラフィックコントローラ41から出力される画像データに基づいて、液晶、CRT(Cathode Ray Tube)等のディスプレイ44を表示制御する表示制御部43と、ディスプレイ44とを備える。ディスプレイ44は、画像表示部として機能し、例えば対角5〜10インチ程度の液晶表示装置等からなり、車内のフロントパネル付近に装着される。   The display unit 40 displays various display data on a display device such as a display under the control of the system controller 20. Specifically, the system controller 20 reads map data from the data storage unit 36. The display unit 40 is an example of the “display unit” in the present invention, and displays the map data read from the data storage unit 36 by the system controller 20 on the display screen. The display unit 40 includes a graphic controller 41 that controls the entire display unit 40 based on control data sent from the CPU 22 via the bus line 30 and a memory such as a VRAM (Video RAM), and can display image information that can be displayed immediately. A buffer memory 42 that temporarily stores, a display control unit 43 that controls display of a display 44 such as a liquid crystal display or a CRT (Cathode Ray Tube) based on image data output from the graphic controller 41, and a display 44 are provided. . The display 44 functions as an image display unit, and includes, for example, a liquid crystal display device having a diagonal size of about 5 to 10 inches and is mounted near the front panel in the vehicle.

音声出力ユニット50は、システムコントローラ20の制御の下、CD−ROMドライブ31又はDVD−ROM32、若しくはRAM24等からバスライン30を介して送られる音声デジタルデータのD/A(Digital to Analog)変換を行うD/Aコンバータ51と、D/Aコンバータ51から出力される音声アナログ信号を増幅する増幅器(AMP)52と、増幅された音声アナログ信号を音声に変換して車内に出力するスピーカ53とを備えて構成されている。   The audio output unit 50 performs D / A (Digital to Analog) conversion of audio digital data sent from the CD-ROM drive 31, DVD-ROM 32, RAM 24, or the like via the bus line 30 under the control of the system controller 20. A D / A converter 51 to perform, an amplifier (AMP) 52 that amplifies the audio analog signal output from the D / A converter 51, and a speaker 53 that converts the amplified audio analog signal into sound and outputs the sound into the vehicle. It is prepared for.

入力装置60は、各種コマンドやデータを入力するための、キー、スイッチ、ボタン、リモコン、音声入力装置等から構成されている。入力装置60は、車内に搭載された当該車載用電子システムの本体のフロントパネルやディスプレイ44の周囲に配置される。また、ディスプレイ44がタッチパネル方式の場合、ディスプレイ44の表示画面上に設けられたタッチパネルも入力装置60として機能する。   The input device 60 includes keys, switches, buttons, a remote controller, a voice input device, and the like for inputting various commands and data. The input device 60 is disposed around the front panel and the display 44 of the main body of the in-vehicle electronic system mounted in the vehicle. When the display 44 is a touch panel system, the touch panel provided on the display screen of the display 44 also functions as the input device 60.

カメラ5は、所定の画角を有し、撮像素子に入射する光に基づき撮影した画像(単に「撮影画像」とも呼ぶ。)を生成する。カメラ5は、車両の前方方向に向けられる。カメラ5は、本発明における「撮像手段」の一例である。以後では、「撮影範囲」とは、カメラ5の視野(Field of View)内の空間であって、撮影画像に映り得る距離にある空間を指す。   The camera 5 has a predetermined angle of view and generates an image photographed based on light incident on the image sensor (also simply referred to as “captured image”). The camera 5 is directed in the forward direction of the vehicle. The camera 5 is an example of the “imaging unit” in the present invention. Hereinafter, the “shooting range” refers to a space within the field of view (Field of View) of the camera 5 and at a distance that can be reflected in the shot image.

システムコントローラ20は、現在位置及び地図情報に基づき、撮影画像から一部または全部が非表示となっている施設を特定し、当該施設を識別するためのマーク(「施設マーク」とも呼ぶ。)を重畳させて表示ユニット40に表示させる。施設マークは、本発明における「施設情報」の一例である。このように、システムコントローラ20は、本発明における「取得手段」、「判断手段」、「表示制御手段」に相当する。   Based on the current position and map information, the system controller 20 identifies a facility that is partially or completely hidden from the captured image, and a mark for identifying the facility (also referred to as “facility mark”). The images are displayed on the display unit 40 in a superimposed manner. The facility mark is an example of “facility information” in the present invention. Thus, the system controller 20 corresponds to “acquisition means”, “determination means”, and “display control means” in the present invention.

以下、システムコントローラ20が実行する具体的な処理について説明する。以後では、施設マークを撮影画像に重畳させる対象となる施設を、「非表示施設In」とも呼ぶ。   Hereinafter, specific processing executed by the system controller 20 will be described. Hereinafter, the facility that is the target of superimposing the facility mark on the captured image is also referred to as “non-display facility In”.

[非表示施設検出処理]
次に、非表示施設Inの検出処理(「非表示施設検出処理」とも呼ぶ。)について具体的に説明する。概略的には、システムコントローラ20は、カメラ5の撮影範囲外にある施設うち、撮影範囲の近傍に存在する施設(「撮影範囲外非表示施設Ino」とも呼ぶ。)と、撮影範囲内にある施設のうち、撮影画像に表示されない施設(「撮影範囲内非表示施設Ini」とも呼ぶ。)とを、施設マークを付す非表示施設Inに定める。このようにすることで、システムコントローラ20は、撮影画像からは視認しにくい又は視認することができない施設の施設マークを積極的に提示し、利便性を向上させる。
[Hidden facility detection processing]
Next, the detection process of the non-display facility In (also referred to as “non-display facility detection process”) will be specifically described. Schematically, the system controller 20 is located within the photographing range of the facilities outside the photographing range of the camera 5 and the facilities existing in the vicinity of the photographing range (also referred to as “outside photographing range non-display facility Ino”). Of the facilities, the facility that is not displayed in the captured image (also referred to as “non-display facility Ini within the capturing range”) is defined as a non-display facility In that is assigned a facility mark. By doing in this way, the system controller 20 positively presents the facility mark of the facility that is difficult to visually recognize from the captured image or cannot be visually recognized, and improves convenience.

1.撮影範囲外非表示施設
まず、撮影範囲外非表示施設Inoの特定方法について具体的に説明する。まず、システムコントローラ20は、撮影画像と同縮尺であって、撮影範囲と一致する仮想的な3次元空間(「撮影範囲空間Si」とも呼ぶ。)を生成する。これについて、図2を参照して説明する。
1. First, a method for specifying an out-of-shooting range non-display facility Ino will be described in detail. First, the system controller 20 generates a virtual three-dimensional space (also referred to as “shooting range space Si”) that is the same scale as the shot image and matches the shooting range. This will be described with reference to FIG.

図2(a)は、撮影範囲空間Siの概念図である。図2(a)において、「視点Pv」は、カメラ5の位置を示し、「四角錐Fv」は、視点Pvからカメラ5の向き、及び画角に基づき生成したカメラ5の視野に相当する空間を示し、「前方クリップ面Cf」は、四角錐Fvから撮影範囲空間Siを切り取る2つの面のうち、視点Pvに近い面を指し、「後方クリップ面Cr」は、四角錐Fvから撮影範囲空間Siを切り取る2つの面のうち、視点Pvから遠い面を指す。また、以後では、「X軸」は、車両の進行方向を正とする座標軸を指し、「Y軸」は、車両の側面方向であって車両の前方を向いて右方向を正方向とする座標軸を指し、「Z軸」は、重力方向と反対方向を正方向とする座標軸を指すものとする。   FIG. 2A is a conceptual diagram of the shooting range space Si. In FIG. 2A, “viewpoint Pv” indicates the position of the camera 5, and “square pyramid Fv” is a space corresponding to the field of view of the camera 5 generated based on the direction and angle of view of the camera 5 from the viewpoint Pv. The “front clip plane Cf” refers to a plane close to the viewpoint Pv among the two planes that cut out the shooting range space Si from the quadrangular pyramid Fv, and the “rear clip plane Cr” refers to the shooting range space from the quadrangular pyramid Fv. Of the two surfaces from which Si is cut, the surface far from the viewpoint Pv is indicated. Further, hereinafter, the “X axis” refers to a coordinate axis in which the traveling direction of the vehicle is positive, and the “Y axis” is a coordinate axis in which the vehicle is in the lateral direction and faces the front of the vehicle and the right direction is the positive direction. The “Z-axis” refers to a coordinate axis whose forward direction is the direction opposite to the gravitational direction.

まず、システムコントローラ20は、カメラ5が設置される高さ及び測定した車両の現在位置に基づき視点Pvの位置を特定する。次に、システムコントローラ20は、図2(a)に基づき、視点Pvから、カメラ5の向き及び画角に基づき、四角錐Fvを生成する。さらに、システムコントローラ20は、X軸と垂直な平面である前方クリップ面Cf及び後方クリップ面Crで四角錐Fvを切り取ることで、撮影範囲空間Siを生成する。なお、カメラ5が設置される高さ、カメラ5の向き、画角、前方クリップ面Cf及び後方クリップ面CrのX座標値は、例えば予めROM23やデータ記憶ユニット36等のメモリ(単に、「メモリ」とも呼ぶ。)に予め記憶されている。   First, the system controller 20 specifies the position of the viewpoint Pv based on the height at which the camera 5 is installed and the measured current position of the vehicle. Next, the system controller 20 generates a quadrangular pyramid Fv from the viewpoint Pv based on the direction and angle of view of the camera 5 based on FIG. Further, the system controller 20 generates the imaging range space Si by cutting out the quadrangular pyramid Fv at the front clip surface Cf and the rear clip surface Cr which are planes perpendicular to the X axis. Note that the height at which the camera 5 is installed, the orientation of the camera 5, the angle of view, the X coordinate values of the front clip surface Cf and the rear clip surface Cr are stored in advance in a memory such as the ROM 23 or the data storage unit 36 (simply simply “memory”). Is also stored in advance.

次に、システムコントローラ20は、撮影範囲空間Siの近傍にある所定の空間に存在する施設を、撮影範囲外非表示施設Inoとする。以後では、上述の所定の空間を、「撮影範囲外空間So」とも呼ぶ。   Next, the system controller 20 sets a facility existing in a predetermined space in the vicinity of the shooting range space Si as a non-display range non-display facility Ino. Hereinafter, the above-described predetermined space is also referred to as “outside imaging range space So”.

これについて、図2(b)を参照して説明する。図2(b)は、図2(a)の矢印「Y1」から見た場合の撮影範囲空間Siと、撮影範囲外空間Soとの位置関係を示す。また、「中心線Lc」は、視点Pvから前方クリップ面Cf及び後方クリップ面Crへの垂線を表す。   This will be described with reference to FIG. FIG. 2B shows the positional relationship between the shooting range space Si and the outside shooting range space So when viewed from the arrow “Y1” in FIG. The “center line Lc” represents a perpendicular line from the viewpoint Pv to the front clip surface Cf and the rear clip surface Cr.

図2(b)に示すように、撮影範囲外空間Soは、撮影範囲空間SiからY軸の正負両方向に延在する。具体的には、撮影範囲外空間Soは、前方クリップ面Cf及び後方クリップ面CrをそれぞれX軸と平行な中心線Lcから所定距離「D1」の位置までY軸方向に拡大し、拡大後の前方クリップ面Cf及び後方クリップ面Crを上面及び底面とする錐台から撮影範囲空間Siを除外した空間である。   As shown in FIG. 2B, the photographing area outside space So extends from the photographing area space Si in both the positive and negative directions of the Y axis. Specifically, the space So outside the shooting range So expands the front clip surface Cf and the rear clip surface Cr in the Y axis direction from the center line Lc parallel to the X axis to a position of a predetermined distance “D1”. This is a space obtained by excluding the imaging range space Si from the frustum having the front clip surface Cf and the rear clip surface Cr as the upper surface and the bottom surface.

そして、システムコントローラ20は、撮影範囲外空間Soを特定後、地図データに記憶された施設の位置情報(「施設位置情報」とも呼ぶ。)に基づき、撮影範囲外空間Soに位置する施設を撮影範囲外非表示施設Inoとする。   Then, after identifying the space So outside the shooting range, the system controller 20 takes a picture of the facility located in the space outside the shooting range So based on the location information of the facility stored in the map data (also referred to as “facility location information”). The out-of-range hidden facility Ino.

2.撮影範囲内非表示施設
次に、撮影範囲内非表示施設Iniの特定方法について具体的に説明する。まず、システムコントローラ20は、地図データを参照し、施設位置情報に加え、施設の高さの情報(「施設高さ情報」とも呼ぶ。)と、施設の横幅に相当するY軸方向での幅及び施設の奥行き幅に相当するX軸方向での幅から特定される立地範囲の情報(「施設範囲情報」とも呼ぶ。)とに基づき、撮影範囲空間Si中に各施設の模型に相当するオブジェクトを配置する。そして、システムコントローラ20は、カメラ5の向き及び画角に基づき、視点Pvから撮影範囲空間Siを撮影画像と同様の2次元空間に投影した場合に、他の施設のオブジェクトにより非表示となる空間(「非表示空間Sh」とも呼ぶ。)を特定する。上述した撮影範囲空間Siを投影後の2次元空間を、「投影2D空間Sp」とも呼ぶ。
2. Next, the method for specifying the non-display facility Ini within the photographing range will be described in detail. First, the system controller 20 refers to the map data, in addition to the facility position information, information on the height of the facility (also referred to as “facility height information”), and the width in the Y-axis direction corresponding to the width of the facility And an object corresponding to a model of each facility in the imaging range space Si based on the location range information (also referred to as “facility range information”) specified from the width in the X-axis direction corresponding to the depth width of the facility. Place. The system controller 20 is a space that is hidden by objects of other facilities when the imaging range space Si is projected from the viewpoint Pv onto the same two-dimensional space as the captured image based on the orientation and the angle of view of the camera 5. (Also referred to as “non-display space Sh”). The two-dimensional space after projecting the imaging range space Si described above is also referred to as “projection 2D space Sp”.

この処理について図3を参照して具体的に説明する。   This process will be specifically described with reference to FIG.

図3(a)は、撮影範囲空間Siに配置された施設のオブジェクト「Ob1」によって生成される非表示空間ShをXZ平面上で表した図を示す。図3(b)は、オブジェクトOb1によって生成される非表示空間ShをXY平面上で表した図を示す。非表示空間Shは、斜線により図示されている。   FIG. 3A shows a non-display space Sh generated by the facility object “Ob1” arranged in the photographing range space Si on the XZ plane. FIG. 3B illustrates a non-display space Sh generated by the object Ob1 on the XY plane. The non-display space Sh is illustrated by oblique lines.

図3(a)、(b)では、システムコントローラ20は、撮影範囲空間Siに対応する位置関係を有する施設について、施設高さ情報及び施設範囲情報に基づき、オブジェクトOb1を生成し、撮影範囲空間Siに配置している。具体的には、システムコントローラ20は、図3(a)に示すように、施設高さ情報に基づき、矢印60の幅に相当するオブジェクトOb1の高さを定める。また、システムコントローラ20は、図3(b)に示すように、矢印61の幅に相当する施設の横幅の情報及び矢印62の幅に相当する施設の奥行き幅の情報からなる施設範囲情報に基づき、オブジェクトOb1の立地範囲を定める。従って、この場合、オブジェクトOb1は、直方体の形状を有する。そして、システムコントローラ20は、視点PvからオブジェクトOb1の各頂点を通過する半直線を撮影範囲空間Si中に描き(破線「L1」乃至「L3」参照)、非表示空間Shを特定する。   In FIGS. 3A and 3B, the system controller 20 generates an object Ob1 based on the facility height information and the facility range information for the facility having the positional relationship corresponding to the shooting range space Si, and the shooting range space. Arranged in Si. Specifically, as shown in FIG. 3A, the system controller 20 determines the height of the object Ob1 corresponding to the width of the arrow 60 based on the facility height information. Further, as shown in FIG. 3B, the system controller 20 is based on facility range information including facility width information corresponding to the width of the arrow 61 and facility depth width information corresponding to the width of the arrow 62. The location range of the object Ob1 is determined. Therefore, in this case, the object Ob1 has a rectangular parallelepiped shape. Then, the system controller 20 draws a half line passing through each vertex of the object Ob1 from the viewpoint Pv in the imaging range space Si (see broken lines “L1” to “L3”), and specifies the non-display space Sh.

そして、システムコントローラ20は、非表示空間Shと重なるオブジェクトであって、全体のうち所定割合以上が非表示となるオブジェクトを、撮影範囲内非表示施設Iniのオブジェクトであると特定する。具体的には、投影2D空間Sp中で他のオブジェクトにより非表示となった面積を「A1」、投影2D空間Sp中で当該オブジェクトが表示される面積を「A2」とし、上述の所定割合を「Th」とすると、システムコントローラ20は、以下の式(1)が満たされた場合、当該オブジェクトを、撮影範囲内非表示施設Iniのオブジェクトであると特定する。   Then, the system controller 20 identifies an object that overlaps the non-display space Sh and is an object of the non-display facility Ini within the photographing range, in which a predetermined ratio or more of the whole is non-display. Specifically, an area that is not displayed by another object in the projection 2D space Sp is “A1”, an area in which the object is displayed in the projection 2D space Sp is “A2”, and the above-described predetermined ratio is set. Assuming that “Th” is satisfied, the system controller 20 specifies that the object is an object in the imaging range non-display facility Ini when the following expression (1) is satisfied.

A1/(A1+A2)≧Th 式(1)
上述の所定割合Thは、例えば実験等に基づき予め定められる。
A1 / (A1 + A2) ≧ Th Formula (1)
The above-mentioned predetermined ratio Th is determined in advance based on, for example, experiments.

このように、システムコントローラ20は、撮影範囲空間Siに生成した各施設のオブジェクトについて非表示空間Shを生成し、当該非表示空間Shと重なるオブジェクトであって、投影2D空間Spで所定割合Th以上非表示となるオブジェクトを、撮影範囲内非表示施設Iniのオブジェクトであると特定する。これにより、システムコントローラ20は、好適に、撮影範囲内非表示施設Iniを特定することができる。   As described above, the system controller 20 generates a non-display space Sh for each facility object generated in the imaging range space Si, and is an object that overlaps the non-display space Sh, and is equal to or greater than a predetermined ratio Th in the projection 2D space Sp. The object to be hidden is specified as the object of the non-display facility Ini within the photographing range. Thereby, the system controller 20 can specify the non-display facility Ini within the photographing range suitably.

[表示例]
次に、上述の処理に基づいて、システムコントローラ20が表示ユニット40に表示させる表示例について図4を参照して説明する。
[Display example]
Next, a display example that the system controller 20 displays on the display unit 40 based on the above-described processing will be described with reference to FIG.

図4(a)は、施設マークを重畳させる前の撮影画像の一例を示す。図4(a)に示す撮影画像は、施設「70A」乃至「70G」が表示されている。なお、施設70Fは、駐車場である。さらに、撮影範囲外には、図示しない施設「70H」が存在する。施設70B、70Fは、他施設により所定割合Th以上が非表示となっている。   FIG. 4A shows an example of a captured image before the facility mark is superimposed. In the captured image shown in FIG. 4A, facilities “70A” to “70G” are displayed. The facility 70F is a parking lot. Further, a facility “70H” (not shown) exists outside the imaging range. The facilities 70B and 70F are not displayed at a predetermined ratio Th or more by other facilities.

図4(b)は、システムコントローラ20が非表示施設検出処理を実行し、施設マークを重畳させた撮影画像を示す。図4(b)に示すように、システムコントローラ20は、非表示施設検出処理により、施設70B、70Fを撮影範囲内非表示施設Iniであると判断し、かつ、施設70Hを撮影範囲外非表示施設Inoであると判断し、各施設に対応する施設マーク「71B」、「71F」、「71H」を撮影画像に重畳させている。また、システムコントローラ20は、各施設マーク71B、71F、71Hに対応して、対応する施設の位置を明示するための矢印「72B」、「72F」、「72H」を表示させている。   FIG. 4B shows a captured image in which the system controller 20 executes the non-display facility detection process and the facility mark is superimposed. As shown in FIG. 4B, the system controller 20 determines that the facilities 70B and 70F are the non-display facilities Ini within the shooting range by the non-display facility detection process, and the facility 70H is hidden outside the shooting range. It is determined that the facility is Ino, and facility marks “71B”, “71F”, and “71H” corresponding to each facility are superimposed on the captured image. Further, the system controller 20 displays arrows “72B”, “72F”, and “72H” for clearly indicating the positions of the corresponding facilities corresponding to the facility marks 71B, 71F, and 71H.

このように、システムコントローラ20は、非表示施設に対応する施設マークを撮影画像に重畳させることで、撮影画像のみでは把握することができない施設の存在をユーザに知らせることができる。特に、運転者が駐車場を探しているときに、当該駐車場及びその入口の存在を撮影画像のみでは把握できない場合であっても、システムコントローラ20は、その駐車場に対応する施設マークを撮影画像に重畳させて表示することで、運転者に容易に所望の駐車場及びその入口を把握させることができる。   As described above, the system controller 20 can notify the user of the existence of a facility that cannot be grasped only by the captured image by superimposing the facility mark corresponding to the non-display facility on the captured image. In particular, when the driver is looking for a parking lot, the system controller 20 takes a facility mark corresponding to the parking lot even when the presence of the parking lot and its entrance cannot be grasped only by a captured image. By displaying the image superimposed on the image, the driver can easily grasp the desired parking lot and its entrance.

一方、システムコントローラ20は、撮影画像から明確に視認される施設(図4(b)では施設70A、70C乃至70E、70G)の施設マークを撮影画像に重畳しない。このように、システムコントローラ20は、非表示施設に対応する施設マークのみを撮影画像に重畳させることで、不要な情報表示により表示が煩雑化するのを防ぎ、運転者に必要な情報のみを運転者に提示することができる。   On the other hand, the system controller 20 does not superimpose the facility marks of the facilities clearly visible from the captured image (the facilities 70A, 70C to 70E, and 70G in FIG. 4B) on the captured image. In this manner, the system controller 20 prevents only complicated information from being displayed due to unnecessary information display by superimposing only the facility mark corresponding to the non-display facility on the captured image, and only drives information necessary for the driver. Can be presented to the person.

また、図4(b)では、システムコントローラ20は、施設マーク71B、71F、71Hを対応する施設とずれた位置に配置すると共に、当該施設マークと、これに対応する施設70B、70F、70Hとを、矢印72B、72F、72Hを表示することで対応づけた。これにより、施設マークが前面に表示されている施設に対応すると運転者が誤認するのを防ぎ、各施設マークに対応する施設の位置を明確に把握させることができる。   In FIG. 4B, the system controller 20 arranges the facility marks 71B, 71F, and 71H at positions shifted from the corresponding facilities, and the facility marks and the corresponding facilities 70B, 70F, and 70H. Are correlated by displaying arrows 72B, 72F, 72H. Thereby, when the facility mark corresponds to the facility displayed on the front, the driver can be prevented from misidentifying, and the location of the facility corresponding to each facility mark can be clearly grasped.

[処理フロー]
次に、本実施例でシステムコントローラ20が実行する処理手順について図5を用いて説明する。図5は、本実施例でシステムコントローラ20が実行する処理手順を示すフローチャートの一例である。システムコントローラ20は、図5に示すフローチャートの処理を、所定の周期に従い繰り返し実行する。
[Processing flow]
Next, a processing procedure executed by the system controller 20 in this embodiment will be described with reference to FIG. FIG. 5 is an example of a flowchart showing a processing procedure executed by the system controller 20 in this embodiment. The system controller 20 repeatedly executes the process of the flowchart shown in FIG. 5 according to a predetermined cycle.

まず、システムコントローラ20は、現在位置を特定する(ステップS101)。例えば、システムコントローラ20は、GPS受信機18や自立測位装置10の検出信号に基づき、現在位置を特定する。   First, the system controller 20 specifies the current position (step S101). For example, the system controller 20 specifies the current position based on detection signals from the GPS receiver 18 and the autonomous positioning device 10.

次に、システムコントローラ20は、撮影範囲空間Si及び撮影範囲外空間Soを生成する(ステップS102)。具体的には、システムコントローラ20は、カメラ5が設置される高さ及び現在位置に基づき、視点Pvを定めると共に、カメラ5の向き、画角、前方クリップ面Cf及び後方クリップ面Crの位置とに基づき、撮影範囲空間Siを生成する。また、システムコントローラ20は、撮影範囲空間SiからY軸の正負両方向に所定幅だけ延在する隣接空間を撮影範囲外空間Soに定める。   Next, the system controller 20 generates a shooting range space Si and a shooting range outside space So (step S102). Specifically, the system controller 20 determines the viewpoint Pv based on the height at which the camera 5 is installed and the current position, the orientation of the camera 5, the angle of view, the positions of the front clip surface Cf and the rear clip surface Cr. Based on the above, an imaging range space Si is generated. Further, the system controller 20 defines an adjacent space extending from the imaging range space Si by a predetermined width in both the positive and negative directions of the Y axis as the imaging range outside space So.

次に、システムコントローラ20は、撮影範囲空間Si中に各施設のオブジェクトを配置し、非表示空間Shを生成する(ステップS103)。具体的には、システムコントローラ20は、視点Pvから各施設のオブジェクトの頂点を通過する半直線を描くことで、各オブジェクトに対応する非表示空間Shを特定する。   Next, the system controller 20 arranges the objects of each facility in the imaging range space Si, and generates a non-display space Sh (step S103). Specifically, the system controller 20 specifies a non-display space Sh corresponding to each object by drawing a half line passing through the vertex of each facility object from the viewpoint Pv.

そして、システムコントローラ20は、撮影範囲外空間Soに対応する施設が存在するか否か判定する(ステップS104)。そして、システムコントローラ20は、撮影範囲外空間Soに対応する施設が存在すると判断した場合(ステップS104;Yes)、当該施設の施設マークを撮影画像に重畳させる(ステップS105)。これにより、システムコントローラ20は、カメラ5の撮影範囲外で撮影画像に表示されない施設であっても、ユーザにその存在を知らせることができ、利便性を向上させることができる。   Then, the system controller 20 determines whether or not there is a facility corresponding to the space outside the imaging range So (step S104). If the system controller 20 determines that there is a facility corresponding to the space So outside the imaging range (step S104; Yes), the system controller 20 superimposes the facility mark of the facility on the captured image (step S105). Thereby, even if the system controller 20 is a facility that is not displayed in the captured image outside the imaging range of the camera 5, the system controller 20 can inform the user of the presence and improve convenience.

一方、システムコントローラ20は、撮影範囲外空間Soに施設が存在しないと判断した場合(ステップS104;No)、又はステップS105の処理の終了後、非表示空間Shと重なるオブジェクトが存在するか否か判定する(ステップS106)。そして、システムコントローラ20は、非表示空間Shと重なるオブジェクトが存在すると判断した場合(ステップS106;Yes)、投影2D空間Spを生成し、所定割合Th以上非表示となるか否か判定する(ステップS107)。そして、システムコントローラ20は、投影2D空間Sp上で所定割合Th以上非表示となるオブジェクトが存在すると判断した場合(ステップS107;Yes)、当該オブジェクトに対応する施設の施設マークを撮影画像に重畳させる(ステップS108)。これにより、システムコントローラ20は、他の施設と重なって撮影画像中で隠れた施設であっても、ユーザにその存在を知らせることができ、利便性を向上させることができる。   On the other hand, when the system controller 20 determines that there is no facility in the space So outside the imaging range (step S104; No), or after the process of step S105 is finished, whether or not there is an object that overlaps the non-display space Sh. Determination is made (step S106). If the system controller 20 determines that there is an object that overlaps the non-display space Sh (step S106; Yes), the system controller 20 generates a projection 2D space Sp and determines whether or not the non-display is greater than a predetermined ratio Th (step). S107). If the system controller 20 determines that there is an object that is not displayed in the projection 2D space Sp for a predetermined ratio Th or more (step S107; Yes), the facility mark of the facility corresponding to the object is superimposed on the captured image. (Step S108). As a result, the system controller 20 can inform the user of the presence of facilities that are hidden in the captured image by overlapping with other facilities, and can improve convenience.

一方、システムコントローラ20は、非表示空間Shと重なるオブジェクトが存在しない場合(ステップS106;No)、または、投影2D空間Sp上で所定割合Th以上非表示となるオブジェクトが存在しない場合(ステップS107;No)、当該オブジェクトに対応する施設の施設マークを表示する必要はないと判断し、フローチャートの処理を終了する。これにより、システムコントローラ20は、不要な情報表示により表示が煩雑化するのを防ぎ、運転者に必要な情報のみを運転者に提示することができる。   On the other hand, the system controller 20 does not have an object that overlaps the non-display space Sh (step S106; No), or does not have an object that is not displayed in the projection 2D space Sp for a predetermined ratio Th or more (step S107; No), it is determined that there is no need to display the facility mark of the facility corresponding to the object, and the process of the flowchart is terminated. Accordingly, the system controller 20 can prevent the display from becoming complicated due to unnecessary information display, and can present only the information necessary for the driver to the driver.

[変形例]
以下、本実施例の各変形例について説明する。なお、これらの各変形例は、任意に組み合わせて上述の実施例に適用することが可能である。
[Modification]
Hereafter, each modification of a present Example is demonstrated. Each of these modified examples can be applied to the above-described embodiments in any combination.

(変形例1)
図5の処理フローでは、システムコントローラ20は、ステップS103で撮影範囲空間Siに全てのオブジェクトを配置した後、ステップS107において、投影2D空間Sp上で所定割合Th以上非表示となるオブジェクトがあるか否か判定した。しかし、本発明が適用可能な方法はこれに限定されない。
(Modification 1)
In the processing flow of FIG. 5, the system controller 20 arranges all the objects in the shooting range space Si in step S103, and then in step S107, is there an object that is not displayed in the projection 2D space Sp for a predetermined ratio Th or more? Judged whether or not. However, the method to which the present invention is applicable is not limited to this.

これに代えて、システムコントローラ20は、視点Pv(現在位置)から近い施設から順に撮影範囲空間Siにオブジェクトを配置し、そのたびに、当該オブジェクトが投影2D空間Sp上で所定割合Th以上非表示となるか否か判定してもよい。これによっても、好適に、システムコントローラ20は、撮影範囲内非表示施設Iniを特定することができる。   Instead, the system controller 20 arranges objects in the imaging range space Si in order from the facility closest to the viewpoint Pv (current position), and each time the object is not displayed in the projection 2D space Sp for a predetermined ratio Th or more. It may be determined whether or not. Also by this, the system controller 20 can specify the non-display facility Ini within the photographing range preferably.

(変形例2)
上述の説明では、システムコントローラ20は、地図データを参照して施設高さ情報及び施設範囲情報を取得し、撮影範囲空間Si中に配置する施設のオブジェクトの形状を定め、非表示空間Shを特定した。
(Modification 2)
In the above description, the system controller 20 refers to the map data, acquires facility height information and facility range information, determines the shape of the facility object to be placed in the imaging range space Si, and specifies the non-display space Sh did.

しかし、本発明が適用可能な方法は、これに限定されない。これに代えて、システムコントローラ20は、施設高さ情報又は施設範囲情報のいずれか一方に基づき、非表示空間Shを特定してもよい。   However, the method to which the present invention is applicable is not limited to this. Instead, the system controller 20 may specify the non-display space Sh based on either the facility height information or the facility range information.

例えば、システムコントローラ20は、施設範囲情報のみに基づき非表示空間Shを定める場合、図3(b)に示すように、XY平面上で、撮影範囲空間Si中の非表示空間Shを平面的に定める。そして、システムコントローラ20は、当該XY平面上で、非表示空間Shと施設の範囲が所定割合Th以上重なる施設を、撮影範囲内非表示施設Iniであるとしてもよい。   For example, when the system controller 20 determines the non-display space Sh based only on the facility range information, the non-display space Sh in the imaging range space Si is planarly displayed on the XY plane as shown in FIG. Determine. And the system controller 20 is good also considering the plant | facility in which the non-display space Sh and the range of a facility overlap on the said XY plane as the imaging | photography range non-display facility Ini more than predetermined ratio Th.

一方、システムコントローラ20は、施設高さ情報のみに基づき非表示空間Shを特定する場合、例えば、各施設の立地範囲を予め定めた大きさに画一的に定め、実施例と同様、オブジェクトを撮影範囲空間Siに直方体状に配置し、非表示空間Shを特定する。   On the other hand, when the system controller 20 specifies the non-display space Sh based only on the facility height information, for example, the system controller 20 uniformly sets the location range of each facility to a predetermined size. The non-display space Sh is specified by arranging the imaging range space Si in a rectangular parallelepiped shape.

(変形例3)
非表示施設検出処理の説明では、システムコントローラ20は、撮影範囲空間Siに対応する全ての施設について、オブジェクトを生成して撮影範囲内非表示施設Iniか否かを判定し、撮影範囲内非表示施設Iniの場合には施設マークを撮影画像に重畳させた。これに代えて、システムコントローラ20は、撮影範囲空間Siに対応する施設のうち、所定の種類又は予め定められた施設についてのみ、撮影範囲内非表示施設Iniか否か判定し、施設マークを撮影画像に重畳させてもよい。上述の「所定の種類」とは、例えば駐車場が該当する。また、「予め定められた施設」とは、例えば交差点付近の施設、その他地図データ等で予め指定された運転上目印となる施設が該当する。
(Modification 3)
In the description of the non-display facility detection process, the system controller 20 generates objects for all the facilities corresponding to the shooting range space Si, determines whether or not the shooting range is non-display facility Ini, and does not display the shooting range. In the case of the facility Ini, the facility mark is superimposed on the captured image. Instead, the system controller 20 determines whether or not only a predetermined type or a predetermined facility among the facilities corresponding to the imaging range space Si is a non-display facility Ini within the imaging range, and captures the facility mark. It may be superimposed on the image. The above-mentioned “predetermined type” corresponds to a parking lot, for example. The “predetermined facility” corresponds to, for example, a facility in the vicinity of an intersection or other facility that is designated as a driving mark in advance by map data or the like.

同様に、システムコントローラ20は、撮影範囲外空間So中の全ての施設を対象に、施設マークを撮影画像に重畳させる場合に代えて、撮影範囲外空間So中の施設のうち、所定の種類又は予め定められた施設のみを撮影範囲外非表示施設Inoと定め、施設マークを撮影画像に重畳させてもよい。   Similarly, instead of superimposing a facility mark on a captured image for all facilities in the shooting area outside space So, the system controller 20 selects a predetermined type or Only a predetermined facility may be determined as a non-display facility Ino outside the imaging range, and the facility mark may be superimposed on the captured image.

この例によっても、システムコントローラ20は、撮影画像では視認できない運転者にとって重要な施設を知らせることができ、利便性を向上させることができる。   Also in this example, the system controller 20 can notify facilities important to the driver who cannot be visually recognized in the captured image, and can improve convenience.

(変形例4)
図4の説明では、システムコントローラ20は、撮影範囲内非表示施設Iniに対応する施設マークを表示する場合、撮影範囲内非表示施設Iniとずれた位置に施設マークを配置すると共に、当該施設マークと、これに対応する撮影範囲内非表示施設Iniとを、矢印を表示することで対応づけた。しかし、本発明が適用可能な構成は、これに限定されない。
(Modification 4)
In the description of FIG. 4, when displaying the facility mark corresponding to the non-display facility Ini within the shooting range, the system controller 20 arranges the facility mark at a position shifted from the non-display facility Ini within the shooting range, And the in-photographing-range non-display facility Ini corresponding thereto are displayed by displaying arrows. However, the configuration to which the present invention is applicable is not limited to this.

これに代えて、システムコントローラ20は、施設マークを対応する撮影範囲内非表示施設Ini上に重ねて表示すると共に、当該施設マークを、半透明により、又は、点線枠を付すなどにより表示態様を変化させて表示してもよい。この態様によっても、システムコントローラ20は、撮影範囲内非表示施設Iniの前面に表示された施設が施設マークに対応するとの誤認が生じるのを防ぎ、撮影範囲内非表示施設Iniの存在を運転者に知らせることができる。   Instead of this, the system controller 20 displays the facility mark by superimposing it on the corresponding non-display facility Ini within the imaging range, and displaying the facility mark in a translucent or dotted line frame. You may change and display. Also in this aspect, the system controller 20 prevents the facility displayed in front of the photographing area non-display facility Ini from corresponding to the facility mark, and prevents the presence of the photographing range non-display facility Ini from the driver. Can let you know.

本発明は、車載用ナビゲーション装置、PND(Personal Navigation Device)、その他移動体に搭載されたカメラから取得した画像を制御する装置に好適に適用することができる。   The present invention can be suitably applied to an in-vehicle navigation device, a PND (Personal Navigation Device), and other devices that control images acquired from a camera mounted on a moving body.

1 ナビゲーション装置
10 自立測位装置
12 GPS受信機
20 システムコントローラ
22 CPU
36 データ記憶ユニット
38 通信装置
40 表示ユニット
44 ディスプレイ
DESCRIPTION OF SYMBOLS 1 Navigation apparatus 10 Self-supporting positioning apparatus 12 GPS receiver 20 System controller 22 CPU
36 Data storage unit 38 Communication device 40 Display unit 44 Display

請求項1に記載の発明は、移動体に搭載された撮像手段が撮像した画像を取得する取得手段と、施設に関する施設情報を記憶する記憶手段と、前記撮像手段の撮像範囲にある前記施設のうち、撮像位置から見て他の施設の背後に位置することにより所定の割合以上前記画像に表示されない撮影範囲内非表示施設、又は/及び、前記撮像範囲の外にあることにより所定の割合以上表示されない前記施設のうち前記撮影範囲の近傍に位置する撮影範囲外非表示施設の有無を判断する判断手段と、前記画像に含まれる施設のうち前記判断手段によって前記撮影範囲内非表示施設又は/及び前記撮影範囲外非表示施設と判断された施設の前記施設情報のみを前記画像に重畳して表示手段に表示させ、前記撮影範囲内非表示施設又は前記撮影範囲外非表示施設のいずれにも判断されなかった施設の前記施設情報を前記表示手段に表示させない表示制御手段と、を備えることを特徴とする。
According to the first aspect of the present invention, an acquisition unit that acquires an image captured by an imaging unit mounted on a moving body, a storage unit that stores facility information about the facility, and the facility within the imaging range of the imaging unit Of these, a non-display facility within the shooting range that is not displayed in the image by being located behind other facilities as viewed from the imaging position , and / or a predetermined rate or more by being outside the imaging range Of the facilities that are not displayed, a determination unit that determines whether or not there is a non- photographing range non -displaying facility located in the vicinity of the shooting range , and among the facilities included in the image, the non-displaying facility within the shooting range or / And only the facility information of the facility determined to be a non-display facility outside the shooting range is superimposed on the image and displayed on the display unit, and the non-display facility within the shooting range or the non-shooting range non-display Characterized in that it comprises a display control means for not displaying on said display means the facility information that was not also determined in any facility.

請求項6に記載の発明は、画像制御装置により実行される画像制御方法であって、移動体に搭載された撮像手段が撮像した画像を取得する取得工程と、施設に関する施設情報を記憶する記憶工程と、前記撮像手段の撮像範囲にある前記施設のうち、撮像位置から見て他の施設の背後に位置することにより所定の割合以上前記画像に表示されない撮影範囲内非表示施設、又は/及び、前記撮像範囲の外にあることにより所定の割合以上表示されない前記施設のうち前記撮影範囲の近傍に位置する撮影範囲外非表示施設の有無を判断する判断工程と、前記画像に含まれる施設のうち前記判断工程で前記撮影範囲内非表示施設又は/及び前記撮影範囲外非表示施設と判断された施設の前記施設情報のみを前記画像に重畳して表示手段に表示させ、前記撮影範囲内非表示施設又は前記撮影範囲外非表示施設のいずれにも判断されなかった施設の前記施設情報を前記表示手段に表示させない表示制御工程と、を備えることを特徴とする。
The invention according to claim 6 is an image control method executed by the image control device, wherein an acquisition step of acquiring an image captured by an imaging means mounted on a moving body, and a storage for storing facility information relating to the facility And a non-display facility in the imaging range that is not displayed in the image for a predetermined ratio or more by being positioned behind other facilities as viewed from the imaging position among the facilities in the imaging range of the imaging means, and / or Determining whether or not there is a non-photographing range non-displaying facility located in the vicinity of the photographing range among the facilities that are not displayed at a predetermined rate or more due to being outside the photographing range, and the facility included in the image Of these, only the facility information of the facility determined to be a non-display facility within the shooting range or / and a non-display facility outside the shooting range in the determination step is displayed on the display means while being superimposed on the image. A display control step of either do not also to display the facility information is not determined facility on the display unit in the imaging range hidden property or the shooting range hidden property, characterized in that it comprises a.

Claims (8)

移動体に搭載された撮像手段が撮像した画像を取得する取得手段と、
施設に関する施設情報を記憶する記憶手段と、
前記撮像手段の撮像範囲にある前記施設のうち、前記画像に表示されない非表示施設、又は/及び、前記撮像範囲の外にある前記施設のうち、前記撮影範囲の近傍に位置する非表示施設の有無を判断する判断手段と、
前記判断手段によって前記非表示施設があると判断された場合、当該非表示施設に関する前記施設情報を前記画像に重畳して表示手段に表示させる表示制御手段と、
を備えることを特徴とする画像制御装置。
An acquisition means for acquiring an image captured by an imaging means mounted on a moving body;
Storage means for storing facility information about the facility;
Of the facilities in the imaging range of the imaging means, a non-display facility that is not displayed in the image, and / or a non-display facility located in the vicinity of the imaging range among the facilities that are outside the imaging range. A determination means for determining presence or absence;
When it is determined by the determining means that there is the non-display facility, display control means for superimposing the facility information on the non-display facility on the image and displaying it on the display means,
An image control apparatus comprising:
前記移動体の現在位置を測位する測位手段をさらに備え、
前記記憶手段は、地図上の前記施設の位置を示す施設位置情報を記憶し、
前記判断手段は、前記測位手段により測位された前記現在位置と、前記施設位置情報とに基づいて前記非表示施設の有無を判断することを特徴とする請求項1に記載の画像制御装置。
It further comprises positioning means for positioning the current position of the moving body,
The storage means stores facility location information indicating a location of the facility on a map;
The image control apparatus according to claim 1, wherein the determination unit determines the presence or absence of the non-display facility based on the current position measured by the positioning unit and the facility position information.
前記判断手段は、前記撮像手段の撮影範囲にある前記施設のうち、前記画像に所定の割合以上表示されない施設を前記非表示施設とすることを特徴とする請求項1または2に記載の画像制御装置。   3. The image control according to claim 1, wherein the determination unit sets, as the non-display facility, a facility that is not displayed in the image at a predetermined ratio or more among the facilities in the imaging range of the imaging unit. apparatus. 前記表示制御手段は、前記施設情報を、当該施設情報に対応する非表示施設とずれた位置に表示すると共に、当該非表示施設の位置と前記施設情報との対応を示す矢印を表示することを特徴とする請求項1乃至3のいずれか一項に記載の画像制御装置。   The display control means displays the facility information at a position shifted from a non-display facility corresponding to the facility information, and displays an arrow indicating a correspondence between the position of the non-display facility and the facility information. The image control apparatus according to any one of claims 1 to 3, wherein the image control apparatus is characterized. 前記判断手段により前記非表示施設であるか否か判断の対象となる施設は、駐車場であることを特徴とする請求項1乃至4のいずれか一項に記載の画像制御装置。   The image control apparatus according to any one of claims 1 to 4, wherein a facility that is a target of determination as to whether or not the facility is the non-display facility by the determination unit is a parking lot. 施設に関する施設情報を記憶する記憶手段を有する画像制御装置により実行される制御方法であって、
移動体に搭載された撮像手段が撮像した画像を取得する取得工程と、
前記撮像手段の撮像範囲にある前記施設のうち、前記画像に表示されない非表示施設、又は/及び、前記撮像範囲の外にある前記施設のうち、前記撮影範囲の近傍に位置する非表示施設の有無を判断する判断工程と、
前記判断工程によって前記非表示施設があると判断された場合、当該非表示施設に関する前記施設情報を前記画像に重畳して表示手段に表示させる表示制御工程と、
を備えることを特徴とする制御方法。
A control method executed by an image control apparatus having storage means for storing facility information about a facility,
An acquisition step of acquiring an image captured by an imaging means mounted on a moving body;
Of the facilities in the imaging range of the imaging means, a non-display facility that is not displayed in the image, and / or a non-display facility located in the vicinity of the imaging range among the facilities that are outside the imaging range. A determination process for determining presence or absence;
When it is determined that there is the non-display facility by the determination step, a display control step of superimposing the facility information on the non-display facility on the image and displaying it on a display unit;
A control method comprising:
施設に関する施設情報を記憶する記憶手段を有する画像制御装置により実行されるプログラムであって、
移動体に搭載された撮像手段が撮像した画像を取得する取得手段と、
前記撮像手段の撮像範囲にある前記施設のうち、前記画像に表示されない非表示施設、又は/及び、前記撮像範囲の外にある前記施設のうち、前記撮影範囲の近傍に位置する非表示施設の有無を判断する判断手段と、
前記判断手段によって前記非表示施設があると判断された場合、当該非表示施設に関する前記施設情報を前記画像に重畳して表示手段に表示させる表示制御手段、
として前記画像制御装置を機能させることを特徴とするプログラム。
A program executed by an image control apparatus having storage means for storing facility information relating to a facility,
An acquisition means for acquiring an image captured by an imaging means mounted on a moving body;
Of the facilities in the imaging range of the imaging means, a non-display facility that is not displayed in the image, and / or a non-display facility located in the vicinity of the imaging range among the facilities that are outside the imaging range. A determination means for determining presence or absence;
Display control means for displaying on the display means the facility information related to the non-display facility superimposed on the image when the determination means determines that there is the non-display facility;
A program for causing the image control device to function as:
請求項7に記載のプログラムを記憶したことを特徴とする記憶媒体。   A storage medium storing the program according to claim 7.
JP2011545965A 2010-12-24 2010-12-24 Image control apparatus and image control method Active JP4917191B1 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/073324 WO2012086052A1 (en) 2010-12-24 2010-12-24 Image control device, control method, program, and storage medium

Publications (2)

Publication Number Publication Date
JP4917191B1 JP4917191B1 (en) 2012-04-18
JPWO2012086052A1 true JPWO2012086052A1 (en) 2014-05-22

Family

ID=46243756

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011545965A Active JP4917191B1 (en) 2010-12-24 2010-12-24 Image control apparatus and image control method

Country Status (2)

Country Link
JP (1) JP4917191B1 (en)
WO (1) WO2012086052A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3002636C (en) * 2015-10-22 2023-01-10 Nissan Motor Co., Ltd. Parking support information display method and parking support device
JP6615053B2 (en) * 2016-06-16 2019-12-04 三菱電機株式会社 Mobile terminal with popup information function and popup information system
WO2021256241A1 (en) * 2020-06-15 2021-12-23 Necソリューションイノベータ株式会社 Guide device, guide system, guide method, program, and recording medium

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005069776A (en) * 2003-08-21 2005-03-17 Denso Corp Display method for vehicle, and display device for vehicle
JP2006059136A (en) * 2004-08-20 2006-03-02 Seiko Epson Corp Viewer apparatus and its program
JP4861105B2 (en) * 2006-09-15 2012-01-25 株式会社エヌ・ティ・ティ・ドコモ Spatial bulletin board system
JP2010118019A (en) * 2008-11-14 2010-05-27 Sharp Corp Terminal device, distribution device, control method of terminal device, control method of distribution device, control program, and recording medium

Also Published As

Publication number Publication date
JP4917191B1 (en) 2012-04-18
WO2012086052A1 (en) 2012-06-28

Similar Documents

Publication Publication Date Title
US9179140B2 (en) 3dimension stereoscopic display device
JP2007080060A (en) Object specification device
JP2009020089A (en) System, method, and program for navigation
JP2009250827A (en) Navigation device, method, and program
JP2015172548A (en) Display control device, control method, program, and recording medium
JP5795386B2 (en) Display device and control method
JP5735658B2 (en) Display device and display method
JP2015128956A (en) Head-up display, control method, program and storage medium
JP2009236843A (en) Navigation device, navigation method, and navigation program
US20150029214A1 (en) Display device, control method, program and storage medium
JP4833384B1 (en) Navigation device, navigation method, navigation program, and recording medium
JP4917191B1 (en) Image control apparatus and image control method
JP5702476B2 (en) Display device, control method, program, storage medium
JP6444508B2 (en) Display control device and navigation device
JP2015105903A (en) Navigation device, head-up display, control method, program, and storage medium
JP5517176B2 (en) Image adjustment apparatus, control method, program, and storage medium
JPH08184457A (en) Vehicle-mounted navigation device
JP6401925B2 (en) Virtual image display device, control method, program, and storage medium
JP2015152467A (en) display control device, control method, program, and storage medium
JPWO2011121788A1 (en) Navigation device, information display device, navigation method, navigation program, and recording medium
JP2005201883A (en) Navigation device and map indication method of the navigation device
JP5438172B2 (en) Information display device, information display method, information display program, and recording medium
JP2007121797A (en) Map display device
WO2013046423A1 (en) Head-up display, control method, and display device
WO2013046425A1 (en) Head-up display, control method, and display device

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111227

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120125

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150203

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4917191

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150