JP7267105B2 - Information processing device and program - Google Patents

Information processing device and program Download PDF

Info

Publication number
JP7267105B2
JP7267105B2 JP2019099583A JP2019099583A JP7267105B2 JP 7267105 B2 JP7267105 B2 JP 7267105B2 JP 2019099583 A JP2019099583 A JP 2019099583A JP 2019099583 A JP2019099583 A JP 2019099583A JP 7267105 B2 JP7267105 B2 JP 7267105B2
Authority
JP
Japan
Prior art keywords
route
person
display
control unit
detection unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019099583A
Other languages
Japanese (ja)
Other versions
JP2020193873A (en
Inventor
健一 松井
祐 甲斐田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2019099583A priority Critical patent/JP7267105B2/en
Publication of JP2020193873A publication Critical patent/JP2020193873A/en
Application granted granted Critical
Publication of JP7267105B2 publication Critical patent/JP7267105B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、目的地までの経路を案内するための技術に関する。 The present invention relates to technology for guiding a route to a destination.

ユーザを目的地まで案内する技術に関して、例えば特許文献1には、車両に搭載されたナビゲーション装置が、自車両を誘導するための案内物体を自車両の前方に表示する仕組みが記載されている。この仕組みにおいて、前方に他の車両が存在する場合には、上記案内物体を上空に表示することで、案内物体と前方車両とが重ならないようにしている。 Regarding technology for guiding a user to a destination, for example, Patent Document 1 describes a mechanism in which a navigation device mounted on a vehicle displays a guide object for guiding the own vehicle in front of the own vehicle. In this mechanism, when there is another vehicle ahead, the guide object is displayed in the sky so that the guide object and the vehicle ahead do not overlap.

国際公開WO2012/090325International publication WO2012/090325

ところで、人混みの中で経路案内を行う場合、他の人間が邪魔になってしまい、自身が進むべき経路の状況を見通せないという問題がある。 By the way, when route guidance is performed in a crowd, there is a problem that other people get in the way and the situation of the route to be taken by oneself cannot be foreseen.

そこで、本発明は、人混みであっても分かりやすい経路案内を行うことを目的とする。 SUMMARY OF THE INVENTION Accordingly, it is an object of the present invention to provide easy-to-understand route guidance even in crowded places.

上記課題を解決するため、本発明は、撮像された画像に含まれる人間を検出する人間検出部と、表示装置に経路の案内表示を行わせる表示制御部であって、前記人間検出部により検出された前記人間が経路に居ないときの画像を当該人間に重ね合わせて表示させる表示制御部とを備え、記人間検出部は、経路が案内されるユーザと同伴する同伴者を検出し、前記表示制御部は、検出された前記同伴者については前記表示を行わないことを特徴とする情報処理装置を提供する。
また、本発明は、撮像された画像に含まれる人間を検出する人間検出部と、示装置に経路の案内表示を行わせる表示制御部であって、前記人間検出部により検出された前記人間が経路に居ないときの画像を当該人間に重ね合わせて表示させる表示制御部とを備え、前記人間検出部は、案内される経路において危険個所を報知する危険報知者を検出し、前記表示制御部は、検出された前記危険報知者については前記表示を行わないことを特徴とする情報処理装置を提供する。
In order to solve the above-mentioned problems, the present invention provides a human detection unit for detecting a person included in a captured image, and a display control unit for causing a display device to perform guidance display of a route, wherein the human detection unit detects a display control unit that superimposes an image of the person who is not on the route and displays the image when the person is not on the route, and the person detection unit detects the user to whom the route is guided and the accompanying companion, The information processing apparatus is characterized in that the display control unit does not display the detected accompanying person .
Further, the present invention is a human detection unit for detecting a person included in a captured image, and a display control unit for causing a display device to display a route guidance, wherein the person detected by the human detection unit a display control unit for superimposing and displaying an image of a person not on the route, wherein the human detection unit detects a danger informer who informs a dangerous place on the route to be guided, and the display control unit provides an information processing apparatus characterized in that the display is not performed for the detected danger alerter.

前記表示制御部は、前記経路において検出された前記人間の数の多さに関する条件を満たしたときに、検出された前記人間が居ないときの画像を当該人間に重ね合わせて表示するようにしてもよい。 The display control unit, when a condition regarding the number of the people detected along the route is satisfied, displays an image when the detected people are absent, superimposed on the people. good too.

前記表示制御部は、前記経路における進路変更位置から所定の範囲内において、検出された前記人間が居ないときの画像を当該人間に重ね合わせて表示するようにしてもよい。 The display control unit may display the detected image when the person is not present, superimposed on the person within a predetermined range from the course change position on the route.

前記所定の範囲は、経路が案内されるユーザの移動速度に応じて異なるようにしてもよい。 The predetermined range may differ according to the moving speed of the user whose route is guided.

前記表示制御部は、経路が案内されるユーザの移動速度が閾値以上の場合には、前記表示を行わないようにしてもよい。 The display control unit may not perform the display when the moving speed of the user to whom the route is guided is equal to or higher than a threshold.

前記表示制御部は、前記人間検出部により検出された前記人間と経路が案内されるユーザとの距離に応じて、前記人間が居ないときの画像を当該人間に重ね合わせて表示するときの強度を変えるようにしてもよい。 According to the distance between the person detected by the human detection unit and the user to whom the route is guided, the display control unit controls the intensity when the image when the person is not present is superimposed on the person and displayed. may be changed.

また、本発明は、コンピュータに、撮像された画像に含まれる人間を検出する人間検出部であって、経路が案内されるユーザと同伴する同伴者を検出する人間検出部と、表示装置に経路の案内表示を行わせる表示制御部であって、前記人間検出部により検出された前記人間が経路に居ないときの画像を当該人間に重ね合わせて表示させ、検出された前記同伴者については当該表示を行わない表示制御部とを実現させるためのプログラムを提供する。
また、本発明は、コンピュータに、撮像された画像に含まれる人間を検出する人間検出部だって、案内される経路において危険個所を報知する危険報知者を検出する人間検出部と、表示装置に経路の案内表示を行わせる表示制御部であって、前記人間検出部により検出された前記人間が経路に居ないときの画像を当該人間に重ね合わせて表示させ、検出された前記危険報知者については当該表示を行わない表示制御部とを実現させるためのプログラムを提供する。
Further, the present invention provides a computer with a human detection unit for detecting a person included in a photographed image, the human detection unit for detecting a user to whom a route is guided and a companion who accompanies the user, and a display device. , wherein an image of the person detected by the human detection unit when the person is not on the route is superimposed on the person , and the detected companion is displayed on the route. A program for realizing a display control unit that does not perform display is provided.
In addition, the present invention provides a human detection unit for detecting a person included in a photographed image in a computer, a human detection unit for detecting a danger alerter who notifies a dangerous place on a guided route, and a display device. A display control unit for performing guidance display of the above, wherein an image when the person detected by the human detection unit is not on the route is displayed superimposed on the person, and the detected danger alerter is displayed A program for realizing a display control unit that does not perform the display is provided.

本発明によれば、人混みであっても分かりやすい経路案内を行うことができる。 According to the present invention, easy-to-understand route guidance can be performed even in crowded places.

経路案内システム1の構成の一例を示す図である。1 is a diagram showing an example of the configuration of a route guidance system 1; FIG. 通信装置10のハードウェア構成を示す図である。2 is a diagram showing the hardware configuration of the communication device 10; FIG. サーバ装置20のハードウェア構成を示す図である。2 is a diagram showing a hardware configuration of a server device 20; FIG. 経路案内システム1の機能構成の一例を示す図である。1 is a diagram showing an example of a functional configuration of a route guidance system 1; FIG. サーバ装置20による動作の一例を示すフローチャートである。4 is a flowchart showing an example of operations by the server apparatus 20;

[構成]
図1は、本実施形態の経路案内システム1の一例を示す図である。経路案内システム1は、ユーザによって使用される通信装置10と、ユーザに対して経路案内を行うサーバ装置20と、これらサーバ装置20及び通信装置10を通信可能に接続する通信網2とを備えている。通信網2は、例えばLTE(Long Term Evolution)や、その他の通信規格に従う無線通信網又は有線通信網を含む。図1には、通信装置10及びサーバ装置20を1つずつ示しているが、これらはそれぞれ複数であってもよい。
[composition]
FIG. 1 is a diagram showing an example of a route guidance system 1 of this embodiment. The route guidance system 1 includes a communication device 10 used by a user, a server device 20 that provides route guidance to the user, and a communication network 2 that communicably connects the server device 20 and the communication device 10. there is The communication network 2 includes, for example, LTE (Long Term Evolution), a wireless communication network or a wired communication network conforming to other communication standards. Although one communication device 10 and one server device 20 are shown in FIG. 1, there may be a plurality of each.

通信装置10は、例えばグラス型又はヘッドマウントディスプレイ型のウェアラブルコンピュータ、或いは、スマートフォン又はタブレットなどの携帯型コンピュータである。通信装置10は、いわゆるAR(Augmented Reality)を実現する。ARとは、ARオブジェクトと呼ばれる仮想的な画像を現実空間に重畳表示することである。以下、この表示をAR表示という。 The communication device 10 is, for example, a glasses-type or head-mounted display-type wearable computer, or a portable computer such as a smart phone or a tablet. The communication device 10 implements so-called AR (Augmented Reality). AR is to superimpose and display a virtual image called an AR object on the real space. This display is hereinafter referred to as AR display.

なお、ARを実現する装置には、現実空間の撮像画像を表示する表示面においてARオブジェクトを撮像画像に重畳して表示するタイプと、ユーザの眼の前に配置された光透過型の表示面において、ユーザから表示面を介して見える現実空間の所定の位置に重なる表示面上の位置にARオブジェクトを表示するタイプとがある。通信装置10はいずれもタイプであってもよいが、本実施形態では、通信装置10として、グラス型のウェアラブルコンピュータを用いる例で説明する。 Note that there are two types of devices that realize AR: a type that displays an AR object superimposed on a captured image on a display surface that displays a captured image of the real space, and a light transmission type display surface that is placed in front of the user's eyes. , there is a type in which an AR object is displayed at a position on the display surface that overlaps a predetermined position in the real space seen by the user through the display surface. The communication device 10 may be of any type, but in this embodiment, an example in which a glass-type wearable computer is used as the communication device 10 will be described.

サーバ装置20は、通信装置10を制御し、ユーザに対して画像表示による経路案内を行う。具体的には、サーバ装置20は、通信装置10によって撮像された現実空間の撮像画像を取得し、その現実空間にARオブジェクトを重畳表示することで、そのARオブジェクトが意味する方向に移動するようユーザを案内する。このARオブジェクトは、例えばユーザが進むべき方向を意味する矢印を模した画像であり、ユーザに案内される経路の上に重畳表示される。さらに、サーバ装置20は、AR表示を利用して、ユーザが進むべき経路において、そのユーザ以外の他の人間を透過した状態にして、その人間の向こう側にある風景を表示する。これにより、ユーザ自身が進むべき経路の状況を遠くまで見通せるようになる。 The server device 20 controls the communication device 10 and provides route guidance to the user by image display. Specifically, the server device 20 acquires a captured image of the physical space captured by the communication device 10, and superimposes the AR object on the physical space so that the AR object moves in the direction indicated by the AR object. Guide users. This AR object is, for example, an image imitating an arrow that indicates the direction in which the user should proceed, and is displayed superimposed on the route guided by the user. Furthermore, the server device 20 utilizes the AR display to display the landscape on the other side of the person other than the user on the route that the user should take, in a transparent state. As a result, the user himself/herself can see far the situation of the route to be taken.

図2は、通信装置10のハードウェア構成を示す図である。通信装置10は、物理的には、プロセッサ1001、メモリ1002、ストレージ1003、通信装置1004、入力装置1005、出力装置1006、センサ1007、測位装置1008及びこれらを接続するバスなどを含むコンピュータ装置として構成されている。これらの各装置は図示せぬ電池から供給される電力によって動作する。なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。通信装置10のハードウェア構成は、図に示した各装置を1つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。また、それぞれ筐体が異なる複数の装置が通信接続されて、通信装置10を構成してもよい。 FIG. 2 is a diagram showing the hardware configuration of the communication device 10. As shown in FIG. The communication device 10 is configured as a computer device physically including a processor 1001, a memory 1002, a storage 1003, a communication device 1004, an input device 1005, an output device 1006, a sensor 1007, a positioning device 1008, and a bus connecting them. It is Each of these devices operates with power supplied from a battery (not shown). Note that in the following description, the term "apparatus" can be read as a circuit, device, unit, or the like. The hardware configuration of the communication device 10 may be configured to include one or more of each device shown in the figure, or may be configured without some of the devices. Further, the communication device 10 may be configured by connecting a plurality of devices each having a different housing.

通信装置10における各機能は、プロセッサ1001、メモリ1002などのハードウェア上に所定のソフトウェア(プログラム)を読み込ませることによって、プロセッサ1001が演算を行い、通信装置1004による通信を制御したり、メモリ1002及びストレージ1003におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。 Each function in the communication device 10 is performed by causing the processor 1001 to perform calculations, controlling communication by the communication device 1004, and controlling communication by the memory 1002 by loading predetermined software (programs) onto hardware such as the processor 1001 and the memory 1002 . and by controlling at least one of reading and writing of data in the storage 1003 .

プロセッサ1001は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ1001は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置(CPU:Central Processing Unit)によって構成されてもよい。また、例えばベースバンド信号処理部や呼処理部などがプロセッサ1001によって実現されてもよい。 The processor 1001, for example, operates an operating system to control the entire computer. The processor 1001 may be configured by a central processing unit (CPU) including an interface with peripheral devices, a control device, an arithmetic device, registers, and the like. Also, for example, a baseband signal processing unit, a call processing unit, and the like may be implemented by the processor 1001 .

プロセッサ1001は、プログラム(プログラムコード)、ソフトウェアモジュール、データなどを、ストレージ1003及び通信装置1004の少なくとも一方からメモリ1002に読み出し、これらに従って各種の処理を実行する。プログラムとしては、後述する動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。通信装置10の機能ブロックは、メモリ1002に格納され、プロセッサ1001において動作する制御プログラムによって実現されてもよい。各種の処理は、1つのプロセッサ1001によって実行されてもよいが、2以上のプロセッサ1001により同時又は逐次に実行されてもよい。プロセッサ1001は、1以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介して通信網2から通信装置10に送信されてもよい。 The processor 1001 reads programs (program codes), software modules, data, etc. from at least one of the storage 1003 and the communication device 1004 to the memory 1002, and executes various processes according to them. As the program, a program that causes a computer to execute at least part of the operations described below is used. The functional blocks of communication device 10 may be implemented by a control program stored in memory 1002 and running on processor 1001 . Various types of processing may be executed by one processor 1001, but may also be executed by two or more processors 1001 simultaneously or sequentially. Processor 1001 may be implemented by one or more chips. Note that the program may be transmitted from the communication network 2 to the communication device 10 via an electric communication line.

メモリ1002は、コンピュータ読み取り可能な記録媒体であり、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、RAM(Random Access Memory)などの少なくとも1つによって構成されてもよい。メモリ1002は、レジスタ、キャッシュ、メインメモリ(主記憶装置)などと呼ばれてもよい。メモリ1002は、本実施形態に係る方法を実施するために実行可能なプログラム(プログラムコード)、ソフトウェアモジュールなどを保存することができる。 The memory 1002 is a computer-readable recording medium, and is composed of at least one of, for example, ROM (Read Only Memory), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), and RAM (Random Access Memory). may be The memory 1002 may also be called a register, cache, main memory (main storage device), or the like. The memory 1002 can store executable programs (program code), software modules, etc. to perform the methods of the present invention.

ストレージ1003は、コンピュータ読み取り可能な記録媒体であり、例えば、CD-ROM(Compact Disc ROM)などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu-ray(登録商標)ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー(登録商標)ディスク、磁気ストリップなどの少なくとも1つによって構成されてもよい。ストレージ1003は、補助記憶装置と呼ばれてもよい。ストレージ1003は、例えば通信装置10の識別情報を記憶する。この識別情報は、サーバ装置20との通信時にサーバ装置20に通知される。この識別情報は、サーバ装置20が通信装置10を識別して制御するために用いられる。 The storage 1003 is a computer-readable recording medium, for example, an optical disc such as a CD-ROM (Compact Disc ROM), a hard disk drive, a flexible disc, a magneto-optical disc (for example, a compact disc, a digital versatile disc, a Blu-ray disk), smart card, flash memory (eg, card, stick, key drive), floppy disk, magnetic strip, and/or the like. Storage 1003 may also be called an auxiliary storage device. The storage 1003 stores identification information of the communication device 10, for example. This identification information is notified to the server device 20 when communicating with the server device 20 . This identification information is used by the server device 20 to identify and control the communication device 10 .

通信装置1004は、通信網2を介してコンピュータ間の通信を行うためのハードウェア(送受信デバイス)であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。通信装置1004は、例えば周波数分割複信(FDD:Frequency Division Duplex)及び時分割複信(TDD:Time Division Duplex)の少なくとも一方を実現するために、高周波スイッチ、デュプレクサ、フィルタ、周波数シンセサイザなどを含んで構成されてもよい。例えば、送受信アンテナ、アンプ部、送受信部、伝送路インターフェースなどは、通信装置1004によって実現されてもよい。送受信部は、送信制御部と受信部とで、物理的に、又は論理的に分離された実装がなされてもよい。 The communication device 1004 is hardware (transmitting/receiving device) for communicating between computers via the communication network 2, and is also called a network device, a network controller, a network card, a communication module, or the like. The communication device 1004 includes a high-frequency switch, a duplexer, a filter, a frequency synthesizer, and the like, for example, in order to realize at least one of frequency division duplex (FDD) and time division duplex (TDD). may consist of For example, a transmitting/receiving antenna, an amplifier section, a transmitting/receiving section, a transmission line interface, etc. may be implemented by the communication device 1004 . The transmitting/receiving section may be physically or logically separated into a transmission control section and a receiving section.

入力装置1005は、外部からの入力を受け付ける入力デバイス(例えば、キー、マイクロフォン、スイッチ、ボタン、カメラなど)であり、特にカメラ等の撮像装置を含む。出力装置1006は、外部への出力を実施する出力デバイス(例えば、ディスプレイ、スピーカー、LEDランプなど)であり、特にディスプレイ等の表示装置及びスピーカー等の放音装置を含む。この放音装置は、複数のスピーカーが並べられた、いわゆるアレイスピーカーの構造になっている。これら複数のスピーカーから音を出力するタイミングやレベルに差を設けることで、ユーザは現実空間において或る方向から或る音量の音が聞こえてくるように感じることができる。 The input device 1005 is an input device (for example, a key, a microphone, a switch, a button, a camera, etc.) that receives input from the outside, and particularly includes an imaging device such as a camera. The output device 1006 is an output device (for example, a display, a speaker, an LED lamp, etc.) that outputs to the outside, and particularly includes a display device such as a display and a sound emitting device such as a speaker. This sound emitting device has a so-called array speaker structure in which a plurality of speakers are arranged. By providing a difference in the timing and level of sound output from these speakers, the user can feel as if the sound of a certain volume is coming from a certain direction in the real space.

センサ1007は、例えばジャイロセンサ、加速度センサ、磁気(方位)センサ等の、通信装置10の姿勢を検出するためのセンサ群を含む。 The sensor 1007 includes a sensor group for detecting the orientation of the communication device 10, such as a gyro sensor, an acceleration sensor, and a magnetic (orientation) sensor.

測位装置1008は、通信装置10の位置を測定する。測位装置1008は、例えばGPS受信機であり、複数の衛星から受信したGPS信号に基づいて通信装置10の位置を測定する。 Positioning device 1008 measures the position of communication device 10 . The positioning device 1008 is, for example, a GPS receiver, and measures the position of the communication device 10 based on GPS signals received from multiple satellites.

プロセッサ1001、メモリ1002などの各装置は、情報を通信するためのバスによって接続される。バスは、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。 Each device such as processor 1001 and memory 1002 is connected by a bus for communicating information. The bus may be configured using a single bus, or may be configured using different buses between devices.

通信装置10は、マイクロプロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ1001は、これらのハードウェアの少なくとも1つを用いて実装されてもよい。 The communication device 10 includes hardware such as a microprocessor, a digital signal processor (DSP), an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), and an FPGA (Field Programmable Gate Array). Alternatively, the hardware may implement part or all of each functional block. For example, processor 1001 may be implemented using at least one of these pieces of hardware.

図3は、サーバ装置20のハードウェア構成を示す図である。サーバ装置20は、物理的には、プロセッサ2001、メモリ2002、ストレージ2003、通信装置2004、入力装置2005、出力装置2006及びこれらを接続するバスなどを含むコンピュータ装置として構成されている。サーバ装置20における各機能は、プロセッサ2001、メモリ2002などのハードウェア上に所定のソフトウェア(プログラム)を読み込ませることによって、プロセッサ2001が演算を行い、通信装置2004による通信を制御したり、メモリ2002及びストレージ2003におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。プロセッサ2001、メモリ2002、ストレージ2003、通信装置2004、入力装置2005、出力装置2006及びこれらを接続するバスは、通信装置10について説明したプロセッサ1001、メモリ1002、ストレージ1003、通信装置1004、入力装置1005、出力装置1006及びこれらを接続するバスと、ハードウェアとしては同様であるため、その説明を省略する。なお、入力装置2005は、例えばキーボード、マウス、マイクロフォン、スイッチ、ボタン、センサ、ジョイスティック、ボールコントローラなどであるが、通信装置10が備えるような撮像装置は必須ではない。出力装置2006は、例えばディスプレイ、スピーカー、LEDランプなどであるが、通信装置10が備えるような表示装置及び放音装置は必須ではない。なお、入力装置2005及び出力装置2006は、一体となった構成(例えば、タッチパネル)であってもよい。 FIG. 3 is a diagram showing the hardware configuration of the server device 20. As shown in FIG. The server device 20 is physically configured as a computer device including a processor 2001, a memory 2002, a storage 2003, a communication device 2004, an input device 2005, an output device 2006, and a bus connecting them. Each function in the server apparatus 20 is performed by causing the processor 2001 to perform calculations, controlling communication by the communication apparatus 2004, and controlling the and by controlling at least one of reading and writing data in the storage 2003 . A processor 2001, a memory 2002, a storage 2003, a communication device 2004, an input device 2005, an output device 2006, and a bus connecting them are the same as the processor 1001, memory 1002, storage 1003, communication device 1004, and input device 1005 described for the communication device 10. , the output device 1006 and the bus connecting them are the same as the hardware, so description thereof will be omitted. The input device 2005 is, for example, a keyboard, a mouse, a microphone, a switch, a button, a sensor, a joystick, a ball controller, etc., but an imaging device such as that included in the communication device 10 is not essential. The output device 2006 is, for example, a display, a speaker, an LED lamp, etc., but the display device and sound emitting device that the communication device 10 has are not essential. Note that the input device 2005 and the output device 2006 may be integrated (for example, a touch panel).

なお、サーバ装置20のハードウェア構成は、図に示した各装置を1つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。また、それぞれ筐体が異なる複数の装置が通信接続されて、サーバ装置20を構成してもよい。 Note that the hardware configuration of the server device 20 may be configured to include one or more of each device shown in the drawing, or may be configured without including some of the devices. Further, the server device 20 may be configured by connecting a plurality of devices having different housings for communication.

図4は、経路案内システム1の機能構成の一例を示す図である。サーバ装置20において、取得部21は、通信装置10から通信網2経由で各種のデータを取得する。このデータには、例えば通信装置10の識別情報、通信装置10の位置及び姿勢等の各種挙動データ、ユーザにより通信装置10に入力された目的地を示すデータ、又は、通信装置10によって撮像された画像を示す撮像データ等が含まれる。 FIG. 4 is a diagram showing an example of the functional configuration of the route guidance system 1. As shown in FIG. In the server device 20 , an acquisition unit 21 acquires various data from the communication device 10 via the communication network 2 . This data includes, for example, identification information of the communication device 10 , various behavior data such as the position and attitude of the communication device 10 , data indicating the destination input to the communication device 10 by the user, or data captured by the communication device 10 . Captured data and the like representing an image are included.

経路特定部22は、通信装置10の位置(つまりユーザの現在地)からユーザにより入力された目的地までの経路を特定する。このため、経路特定部22は、広範なエリアに含まれる道路や地形、その道路周辺にある建物、設備乃至施設等の位置、大きさ、形状及び色等を含む地図情報を記憶している。この地図情報は、各地点を車両で走行して撮像された画像を立体的に閲覧できるような情報を含んでいる。経路特定部22は、この地図情報に基づいて、道路や、道路周辺にある建物、設備乃至施設等の位置、大きさ、形状及び色等を特定し得るようになっている。 The route specifying unit 22 specifies a route from the position of the communication device 10 (that is, the user's current location) to the destination input by the user. For this reason, the route specifying unit 22 stores map information including roads and topography included in a wide area, and the positions, sizes, shapes, colors, etc. of buildings, equipment, facilities, etc. around the roads. This map information includes information that enables stereoscopic viewing of images captured by driving a vehicle at each location. Based on this map information, the route specifying unit 22 can specify the position, size, shape, color, and the like of roads and buildings, equipment, facilities, etc. around the roads.

人間検出部23は、取得部21により取得された撮像データが示す撮像された画像から、例えばパターンマッチング等の画像解析手法を用いて、その画像に含まれる人間を検出する。 The human detection unit 23 detects a person included in the captured image indicated by the captured image data acquired by the acquisition unit 21 using an image analysis method such as pattern matching, for example.

表示制御部24は、通信装置10の出力装置1006(表示装置)に経路の案内表示を行わせる。具体的には、表示制御部24は、ユーザが進むべき方向を意味する矢印を模した画像を、経路特定部22により特定された経路の上にAR表示する。さらに、表示制御部24は、人間検出部23により検出された人間の数の多さに関する条件(例えば画像に含まれる人間の数が閾値以上である条件)が満たされるときには、人間検出部23により検出された人間が居ないときの画像を当該人間に重ね合わせて表示する。つまり、表示制御部24は、検出された人間が透過した状態の3次元空間を表示する。このときの透過度は任意に設定し得るが、例えば50%である。従って、ユーザから見て、自身の視界に居る人間とその人間が居ないときの風景とが同程度に観察し得ることになる。ここで、表示制御部24がこのような透過表示を行う位置は、経路特定部22により特定された経路における進路変更位置(いわゆる曲がり角)から所定の範囲内(例えば曲がり角の手前側10mの位置からその曲がり角の位置まで)である。つまり、ユーザは曲がり角の手前においてのみ、他の人間が居ないときの風景を観察することができるので、自身がどこでどの程度進路を変更すればよいのかが分かりやすくなっている。 The display control unit 24 causes the output device 1006 (display device) of the communication device 10 to display route guidance. Specifically, the display control unit 24 AR-displays an image imitating an arrow indicating the direction in which the user should proceed on the route specified by the route specifying unit 22 . Furthermore, the display control unit 24 causes the human detection unit 23 to An image when the detected person is not present is superimposed on the person and displayed. In other words, the display control unit 24 displays the three-dimensional space through which the detected person is seen. Although the transmittance at this time can be set arbitrarily, it is, for example, 50%. Therefore, from the user's point of view, the person in his/her field of vision and the scenery without the person can be observed to the same degree. Here, the position where the display control unit 24 performs such transmissive display is within a predetermined range from the route change position (so-called turning corner) on the route specified by the route specifying unit 22 (for example, from a position 10 m before the turning corner). up to that corner). In other words, since the user can observe the scenery when there are no other people only before the corner, it is easy for the user to know where and how much he/she should change the course.

[動作]
次に、図5を参照して、サーバ装置20の動作について説明する。なお、以下の説明において、サーバ装置20を処理の主体として記載する場合には、具体的にはプロセッサ2001、メモリ2002などのハードウェア上に所定のソフトウェア(プログラム)を読み込ませることで、プロセッサ2001が演算を行い、通信装置2004による通信や、メモリ2002及びストレージ2003におけるデータの読み出し及び/又は書き込みを制御することにより、処理が実行されることを意味する。通信装置10についても同様である。
[motion]
Next, operations of the server device 20 will be described with reference to FIG. In the following description, when the server device 20 is described as the main body of processing, specifically, the processor 2001 and the memory 2002 are loaded with predetermined software (program) on hardware such as the processor 2001 and the memory 2002. performs an operation and controls communication by the communication device 2004 and data reading and/or writing in the memory 2002 and storage 2003 to execute processing. The same applies to the communication device 10 as well.

図5において、まず、ユーザは通信装置10において目的地を入力し、その目的地までの経路案内を要求する操作を行う。この操作に応じて、通信装置10は、入力された目的地及び測位装置1008によって測位された位置(つまりユーザの現在地)を含む経路案内要求を、サーバ装置20に送信する。サーバ装置20の取得部21は、通信装置10から通信網2経由でその経路案内要求を取得する(ステップS11)。なお、これ以降、取得部21は、入力装置1005(撮像装置)によって撮像された撮像データ、測位装置1008によって測位された位置及びセンサ1007によって検出された通信装置10の姿勢に関するデータを定期的に取得する。 In FIG. 5, first, the user inputs a destination on the communication device 10 and performs an operation to request route guidance to the destination. In response to this operation, the communication device 10 transmits to the server device 20 a route guidance request including the input destination and the position determined by the positioning device 1008 (that is, the user's current location). The acquisition unit 21 of the server device 20 acquires the route guidance request from the communication device 10 via the communication network 2 (step S11). After that, the acquisition unit 21 periodically acquires imaged data captured by the input device 1005 (image capturing device), the position measured by the positioning device 1008, and the attitude of the communication device 10 detected by the sensor 1007. get.

次に、サーバ装置20の経路特定部22は、地図情報を用いて、ユーザの現在地から目的地までの経路を特定する(ステップS12)。ここでは、ユーザの移動距離が最も短い経路が特定される。そして、サーバ装置20の表示制御部24は、経路案内を開始し、ユーザが進むべき方向を意味する矢印を模した画像を、経路特定部22により特定された経路の上にAR表示する(ステップS13)。 Next, the route specifying unit 22 of the server device 20 specifies a route from the user's current location to the destination using the map information (step S12). Here, the route with the shortest distance traveled by the user is identified. Then, the display control unit 24 of the server device 20 starts route guidance, and AR displays an image imitating an arrow indicating the direction in which the user should proceed on the route specified by the route specifying unit 22 (step S13).

表示制御部24は、取得部21によって取得された通信装置10の位置と、経路特定部22により特定された経路とを照合し、通信装置10の位置が経路上の進路変更位置から所定の範囲内(例えば曲がり角の前後10m)に含まれるか否かを判断する(ステップS14)。 The display control unit 24 compares the position of the communication device 10 acquired by the acquisition unit 21 with the route specified by the route specifying unit 22, and the position of the communication device 10 is within a predetermined range from the route change position on the route. (for example, 10 m before and after the turn) or not (step S14).

通信装置10の位置が経路上の進路変更位置から所定の範囲内に含まれる場合(ステップS14;YES)、サーバ装置20の人間検出部23は、取得部21により取得された撮像データが示す画像から人間に相当する画像を検出する(ステップS15)。 If the position of the communication device 10 is within a predetermined range from the route change position on the route (step S14; YES), the human detection unit 23 of the server device 20 detects the image indicated by the imaging data acquired by the acquisition unit 21. An image corresponding to a human is detected from the image (step S15).

次に、表示制御部24は、人間検出部23により検出された人間の数が閾値以上であると判断した場合(ステップS16;YES)、その検出された人間が居ないときの画像を当該人間に重ね合わせて表示する(ステップS17)。具体的には、表示制御部24は、取得部21によって取得された通信装置10の位置及び姿勢と地図情報とを照合し、通信装置10の撮像位置から見て、道路、道路周辺にある建物、設備乃至施設等の位置、大きさ、形状及び色等がどのように見えるかを特定する。そして、表示制御部24は、撮像データが示す画像中の人間に相当する画像に対して、上記のようにして特定した道路、道路周辺にある建物、設備乃至施設等の画像を、人間の画像の透過度を50%として重畳して表示させるためのデータを生成し、通信装置10に送信する。通信装置10は、このデータに従い、画像を表示する。このような処理が、ユーザが経路上を移動している期間にわたって(ステップS18;NO)繰り返し行われる。 Next, when the display control unit 24 determines that the number of people detected by the human detection unit 23 is equal to or greater than the threshold (step S16; YES), the image when the detected person is not present is are superimposed on each other (step S17). Specifically, the display control unit 24 collates the position and orientation of the communication device 10 acquired by the acquisition unit 21 with the map information, and determines whether the road or buildings around the road are viewed from the imaging position of the communication device 10 . , the position, size, shape, color, etc. of equipment or facilities are specified. Then, the display control unit 24 displays the image of the road identified as described above and the buildings, equipment, facilities, etc., in the vicinity of the road, as an image of the person, for the image corresponding to the person in the image indicated by the imaging data. data to be superimposed and displayed with a transparency of 50%, and transmitted to the communication device 10 . The communication device 10 displays an image according to this data. Such processing is repeatedly performed while the user is moving on the route (step S18; NO).

以上説明した実施形態によれば、人混みであっても分かりやすい経路案内を行うことが可能となる。 According to the embodiments described above, it is possible to provide easy-to-understand route guidance even in crowded places.

[変形例]
本発明は、上述した実施形態に限定されない。上述した実施形態を以下のように変形してもよい。また、以下の2つ以上の変形例を組み合わせて実施してもよい。
[変形例1]
上記実施形態において、表示制御部24が人間を透過されたAR表示を行う位置は、経路特定部22により特定された経路における進路変更位置から所定の範囲内であった。この所定の範囲はこの例に限らず、任意に決められるが、例えば、経路が案内されるユーザの移動速度に応じて異なっていてもよい。例えば表示制御部24は、通信装置10の位置の履歴からユーザの移動速度を算出し、或る速度S1のときは、経路における進路変更位置の手前側X1mの位置からその曲がり角の位置までにおいて上記AR表示を行い、或る速度S2(S2>S1)のときは、経路における進路変更位置の手前側X2(X2>X1)の位置からその曲がり角の位置までにおいて上記AR表示を行う。このようにすれば、ユーザは自身の移動速度に適した範囲にわたって自身の進むべき経路を見通せることが可能となる。
[Modification]
The invention is not limited to the embodiments described above. The embodiment described above may be modified as follows. Also, two or more of the following modified examples may be combined for implementation.
[Modification 1]
In the above-described embodiment, the position at which the display control unit 24 performs AR display through which humans can see is within a predetermined range from the route change position on the route specified by the route specifying unit 22 . This predetermined range is not limited to this example and can be determined arbitrarily, but may differ, for example, according to the moving speed of the user to whom the route is guided. For example, the display control unit 24 calculates the moving speed of the user from the history of the position of the communication device 10, and when the speed is S1, from the position on the route change position X1m on the route to the turning corner position, the above-mentioned AR display is performed, and at a certain speed S2 (S2>S1), the AR display is performed from the position on the front side X2 (X2>X1) of the course change position on the route to the position of the turn. In this way, the user can see the route to be taken over a range suitable for his/her movement speed.

[変形例2]
また、表示制御部24は、上記のようにして算出したユーザの移動速度が閾値以上の場合には、上記AR表示を行わないようにしてもよい。つまり、ユーザの移動速度があまりに速い場合は、上記AR表示を行うことが危険となることが考えられるからである。
[Modification 2]
Further, the display control unit 24 may prevent the AR display from being performed when the moving speed of the user calculated as described above is equal to or greater than the threshold. In other words, if the moving speed of the user is too fast, it may be dangerous to perform the AR display.

[変形例3]
また、表示制御部24は、経路が案内されるユーザと同伴して移動する同伴者については上記のAR表示を行わないようにしてもよい。つまり、人間検出部23は、ユーザと同伴する同伴者の特に顔面の画像を予め記憶しておき、パターンマッチング等の画像解析手法を用いてその同伴者を特定し、表示制御部24は、特定された同伴者については上記AR表示を行わないようにする。ユーザの同伴者をAR表示することは適切ではない場合があるからである。
[Modification 3]
In addition, the display control unit 24 may not perform the above AR display for a companion traveling with the user whose route is guided. In other words, the human detection unit 23 pre-stores an image of the user and the companion accompanying the user, especially the facial image, and identifies the companion using an image analysis method such as pattern matching. The above AR display will not be performed for the accompanying companion. This is because it may not be appropriate to display the user's companion in AR.

[変形例4]
また、経路以上には、工事等の存在を知らせる係員等が居る場合があるが、表示制御部24は、このような場合にも上記のAR表示を行わないようにしてもよい。つまり、人間検出部23は、危険個所を報知する危険報知者の服装の特徴を予め記憶しておき、パターンマッチング等の画像解析手法を用いてその危険報知者を特定し、表示制御部24は、特定された危険報知者については上記AR表示を行わないようにする。このような危険報知者をAR表示することは適切ではないと考えられるからである。
[Modification 4]
In addition, there may be a person in charge or the like who informs the presence of construction or the like above the route, but the display control unit 24 may prevent the above AR display even in such a case. In other words, the human detection unit 23 stores in advance the characteristics of the clothing of the person who reports the danger, and uses an image analysis method such as pattern matching to identify the person who reports the danger, and the display control unit 24 , the above AR display is not performed for the identified danger alerter. This is because it is considered inappropriate to display such a danger alerter in AR.

[変形例5]
経路が案内されるユーザと他の人間との距離に応じて、その人間の透過度を変えるようにしてもよい。つまり、表示制御部24は、人間検出部23により特定された人間と経路が案内されるユーザとの距離に応じて、人間が居ないときの画像を当該人間に重ね合わせるときの強度を変える。
[Modification 5]
Depending on the distance between the user to whom the route is guided and another person, the degree of transparency of that person may be changed. In other words, the display control unit 24 changes the intensity when superimposing the image when the person is not present on the person, according to the distance between the person specified by the person detection unit 23 and the user to whom the route is guided.

[変形例6]
本発明に係る情報処理装置は、上記実施形態で説明したようにサーバ装置20に実装されていてもよいが、これに代えて、通信装置10に実装されていてもよい。
[Modification 6]
The information processing device according to the present invention may be implemented in the server device 20 as described in the above embodiment, but may be implemented in the communication device 10 instead.

[その他の変形例]
なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック(構成部)は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した1つの装置を用いて実現されてもよいし、物理的又は論理的に分離した2つ以上の装置を直接的又は間接的に(例えば、有線、無線などを用いて)接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記1つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
[Other Modifications]
It should be noted that the block diagrams used in the description of the above embodiments show blocks in units of functions. These functional blocks (components) are realized by any combination of at least one of hardware and software. Also, the method of implementing each functional block is not particularly limited. That is, each functional block may be implemented using one device that is physically or logically coupled, or directly or indirectly using two or more devices that are physically or logically separated (e.g. , wired, wireless, etc.) and may be implemented using these multiple devices. A functional block may be implemented by combining software in the one device or the plurality of devices.

機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知(broadcasting)、通知(notifying)、通信(communicating)、転送(forwarding)、構成(configuring)、再構成(reconfiguring)、割り当て(allocating、mapping)、割り振り(assigning)などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック(構成部)は、送信制御部(transmitting unit)や送信機(transmitter)と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。 Functions include judging, determining, determining, calculating, calculating, processing, deriving, investigating, searching, checking, receiving, transmitting, outputting, accessing, resolving, selecting, choosing, establishing, comparing, assuming, expecting, assuming, Broadcasting, notifying, communicating, forwarding, configuring, reconfiguring, allocating, mapping, assigning, etc. can't For example, a functional block (component) that makes transmission work is called a transmitting control unit (transmitting unit) or a transmitter (transmitter). In either case, as described above, the implementation method is not particularly limited.

例えば、本開示の一実施の形態におけるサーバ装置などは、本開示の処理を行うコンピュータとして機能してもよい。 For example, a server device or the like according to an embodiment of the present disclosure may function as a computer that performs processing of the present disclosure.

本開示において説明した各態様/実施形態は、LTE(Long Term Evolution)、LTE-A(LTE-Advanced)、SUPER 3G、IMT-Advanced、4G(4th generation mobile communication system)、5G(5th generation mobile communication system)、FRA(Future Radio Access)、NR(new Radio)、W-CDMA(登録商標)、GSM(登録商標)、CDMA2000、UMB(Ultra Mobile Broadband)、IEEE 802.11(Wi-Fi(登録商標))、IEEE 802.16(WiMAX(登録商標))、IEEE 802.20、UWB(Ultra-WideBand)、Bluetooth(登録商標)、その他の適切なシステムを利用するシステム及びこれらに基づいて拡張された次世代システムの少なくとも一つに適用されてもよい。また、複数のシステムが組み合わされて(例えば、LTE及びLTE-Aの少なくとも一方と5Gとの組み合わせ等)適用されてもよい。 Each aspect/embodiment described in the present disclosure includes LTE (Long Term Evolution), LTE-A (LTE-Advanced), SUPER 3G, IMT-Advanced, 4G (4th generation mobile communication system), 5G (5th generation mobile communication system), FRA (Future Radio Access), NR (new Radio), W-CDMA (registered trademark), GSM (registered trademark), CDMA2000, UMB (Ultra Mobile Broadband), IEEE 802.11 (Wi-Fi (registered trademark) )), IEEE 802.16 (WiMAX®), IEEE 802.20, UWB (Ultra-WideBand), Bluetooth®, and other suitable systems and extended It may be applied to at least one of the next generation systems. Also, a plurality of systems may be applied in combination (for example, a combination of at least one of LTE and LTE-A and 5G, etc.).

本開示において説明した各態様/実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。 The processing procedures, sequences, flowcharts, etc. of each aspect/embodiment described in this disclosure may be rearranged as long as there is no contradiction. For example, the methods described in this disclosure present elements of the various steps using a sample order, and are not limited to the specific order presented.

入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。 Input/output information and the like may be stored in a specific location (for example, memory), or may be managed using a management table. Input/output information and the like can be overwritten, updated, or appended. The output information and the like may be deleted. The entered information and the like may be transmitted to another device.

判定は、1ビットで表される値(0か1か)によって行われてもよいし、真偽値(Boolean:true又はfalse)によって行われてもよいし、数値の比較(例えば、所定の値との比較)によって行われてもよい。 The determination may be made by a value represented by one bit (0 or 1), by a true/false value (Boolean: true or false), or by numerical comparison (for example, a predetermined value).

以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。 Although the present disclosure has been described in detail above, it should be apparent to those skilled in the art that the present disclosure is not limited to the embodiments described in this disclosure. The present disclosure can be practiced with modifications and variations without departing from the spirit and scope of the present disclosure as defined by the claims. Accordingly, the description of the present disclosure is for illustrative purposes and is not meant to be limiting in any way.

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術(同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL:Digital Subscriber Line)など)及び無線技術(赤外線、マイクロ波など)の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。 Software, whether referred to as software, firmware, middleware, microcode, hardware description language or otherwise, includes instructions, instruction sets, code, code segments, program code, programs, subprograms, and software modules. , applications, software applications, software packages, routines, subroutines, objects, executables, threads of execution, procedures, functions, and the like. Software, instructions, information, etc. may also be sent and received over a transmission medium. For example, the software uses wired technology (coaxial cable, fiber optic cable, twisted pair, Digital Subscriber Line (DSL), etc.) and/or wireless technology (infrared, microwave, etc.) to create websites, Wired and/or wireless technologies are included within the definition of transmission medium when sent from a server or other remote source.

本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
なお、本開示において説明した用語及び本開示の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。
Information, signals, etc. described in this disclosure may be represented using any of a variety of different technologies. For example, data, instructions, commands, information, signals, bits, symbols, chips, etc. that may be referred to throughout the above description may refer to voltages, currents, electromagnetic waves, magnetic fields or magnetic particles, light fields or photons, or any of these. may be represented by a combination of
The terms explained in this disclosure and the terms necessary for understanding the present disclosure may be replaced with terms having the same or similar meanings.

また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。 In addition, the information, parameters, etc. described in the present disclosure may be expressed using absolute values, may be expressed using relative values from a predetermined value, or may be expressed using other corresponding information. may be represented.

本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。 As used in this disclosure, the phrase "based on" does not mean "based only on," unless expressly specified otherwise. In other words, the phrase "based on" means both "based only on" and "based at least on."

本開示において使用する「第1」、「第2」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、2つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第1及び第2の要素への参照は、2つの要素のみが採用され得ること、又は何らかの形で第1の要素が第2の要素に先行しなければならないことを意味しない。 Any reference to elements using the "first," "second," etc. designations used in this disclosure does not generally limit the quantity or order of those elements. These designations may be used in this disclosure as a convenient method of distinguishing between two or more elements. Thus, reference to a first and second element does not imply that only two elements can be employed or that the first element must precede the second element in any way.

上記の各装置の構成における「部」を、「手段」、「回路」、「デバイス」等に置き換えてもよい。 The "unit" in the configuration of each device described above may be replaced with "means", "circuit", "device", or the like.

本開示において、「含む(include)」、「含んでいる(including)」及びそれらの変形が使用されている場合、これらの用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は(or)」は、排他的論理和ではないことが意図される。 Where "include," "including," and variations thereof are used in this disclosure, these terms are inclusive, as is the term "comprising." is intended. Furthermore, the term "or" as used in this disclosure is not intended to be an exclusive OR.

本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。 In this disclosure, where articles have been added by translation, such as a, an, and the in English, the disclosure may include the plural nouns following these articles.

本開示において、「AとBが異なる」という用語は、「AとBが互いに異なる」ことを意味してもよい。なお、当該用語は、「AとBがそれぞれCと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。 In the present disclosure, the term "A and B are different" may mean "A and B are different from each other." The term may also mean that "A and B are different from C". Terms such as "separate," "coupled," etc. may also be interpreted in the same manner as "different."

1:経路案内システム、2:通信網、10:通信装置、1001:プロセッサ、1002:メモリ、1003:ストレージ、1004:通信装置、1005:入力装置、1006:出力装置、1007:センサ、1008:測位装置、20:サーバ装置、21:取得部、22:経路特定部、23:人間検出部、24:表示制御部、2001:プロセッサ、2002:メモリ、2003:ストレージ、2004:通信装置、2005:入力装置、2006:出力装置。 1: route guidance system, 2: communication network, 10: communication device, 1001: processor, 1002: memory, 1003: storage, 1004: communication device, 1005: input device, 1006: output device, 1007: sensor, 1008: positioning Device, 20: Server device, 21: Acquisition unit, 22: Route identification unit, 23: Human detection unit, 24: Display control unit, 2001: Processor, 2002: Memory, 2003: Storage, 2004: Communication device, 2005: Input Devices, 2006: Output Devices.

Claims (9)

撮像された画像に含まれる人間を検出する人間検出部と、
表示装置に経路の案内表示を行わせる表示制御部であって、前記人間検出部により検出された前記人間が経路に居ないときの画像を当該人間に重ね合わせて表示させる表示制御部と
を備え
前記人間検出部は、経路が案内されるユーザと同伴する同伴者を検出し、
前記表示制御部は、検出された前記同伴者については前記表示を行わない
ことを特徴とする情報処理装置。
a human detection unit that detects a human included in the captured image;
a display control unit that causes a display device to perform route guidance display, wherein an image detected by the human detection unit when the person is not on the route is superimposed on the person and displayed. ,
The human detection unit detects a user whose route is guided and a companion accompanying the user,
The display control unit does not display the detected companion
An information processing device characterized by:
撮像された画像に含まれる人間を検出する人間検出部と、
表示装置に経路の案内表示を行わせる表示制御部であって、前記人間検出部により検出された前記人間が経路に居ないときの画像を当該人間に重ね合わせて表示させる表示制御部と
を備え、
前記人間検出部は、案内される経路において危険個所を報知する危険報知者を検出し、
前記表示制御部は、検出された前記危険報知者については前記表示を行わない
ことを特徴とする情報処理装置。
a human detection unit that detects a human included in the captured image;
a display control unit that causes a display device to perform route guidance display, wherein an image detected by the human detection unit when the person is not on the route is superimposed on the person and displayed;
with
The human detection unit detects a danger informer who informs of a dangerous place on the route to be guided,
The display control unit does not display the detected danger alerter.
An information processing device characterized by:
記表示制御部は、前記経路において検出された前記人間の数の多さに関する条件を満たしたときに、検出された前記人間が居ないときの画像を当該人間に重ね合わせて表示する
ことを特徴とする請求項1又は2記載の情報処理装置。
The display control unit is configured to display an image when the detected person is not present superimposed on the person when a condition regarding the number of the persons detected along the route is satisfied. 3. An information processing apparatus according to claim 1 or 2 .
記表示制御部は、前記経路における進路変更位置から所定の範囲内において、検出された前記人間が居ないときの画像を当該人間に重ね合わせて表示する
ことを特徴とする請求項1~3のいずれか1項に記載の情報処理装置。
3. The display control unit superimposes the detected image when the person is not present on the person within a predetermined range from the route change position on the route, and displays the image. The information processing device according to any one of .
記所定の範囲は、経路が案内されるユーザの移動速度に応じて異なる
ことを特徴とする請求項記載の情報処理装置。
5. The information processing apparatus according to claim 4 , wherein the predetermined range varies according to the moving speed of the user whose route is guided.
記表示制御部は、経路が案内されるユーザの移動速度が閾値以上の場合には、前記表示を行わない
ことを特徴とする請求項1~のいずれか1項に記載の情報処理装置。
The information processing apparatus according to any one of claims 1 to 5 , wherein the display control unit does not perform the display when the moving speed of the user to whom the route is guided is equal to or higher than a threshold. .
記表示制御部は、前記人間検出部により検出された前記人間と経路が案内されるユーザとの距離に応じて、前記人間が居ないときの画像を当該人間に重ね合わせて表示するときの強度を変える
ことを特徴とする請求項1~のいずれか1項に記載の情報処理装置。
According to the distance between the person detected by the human detection unit and the user to whom the route is guided, the display control unit displays an image when the person is not present so as to be superimposed on the person. 7. The information processing apparatus according to any one of claims 1 to 6 , wherein intensity is changed.
ンピュータに、
撮像された画像に含まれる人間を検出する人間検出部であって、経路が案内されるユーザと同伴する同伴者を検出する人間検出部と、
表示装置に経路の案内表示を行わせる表示制御部であって、前記人間検出部により検出された前記人間が経路に居ないときの画像を当該人間に重ね合わせて表示させ、検出された前記同伴者については当該表示を行わない表示制御部と
を実現させるためのプログラム。
to the computer ,
a human detection unit for detecting a human included in the captured image , the human detection unit for detecting a companion accompanying the user to whom the route is guided ;
A display control unit for causing a display device to display guidance for a route, wherein an image when the person detected by the human detection unit is not on the route is displayed superimposed on the person , and the detected accompanying person is displayed. The display control unit that does not display the
program to make it happen.
コンピュータに、to the computer,
撮像された画像に含まれる人間を検出する人間検出部だって、案内される経路において危険個所を報知する危険報知者を検出する人間検出部と、A human detection unit for detecting a human included in a captured image includes a human detection unit for detecting a danger alerter who notifies a dangerous place on a guided route,
表示装置に経路の案内表示を行わせる表示制御部であって、前記人間検出部により検出された前記人間が経路に居ないときの画像を当該人間に重ね合わせて表示させ、検出された前記危険報知者については当該表示を行わない表示制御部とA display control unit that causes a display device to display route guidance, wherein an image of the person detected by the human detection unit when the person is not on the route is superimposed on the person, and the detected danger is displayed. For the informer, the display control unit that does not display the
を実現させるためのプログラム。program to make it happen.
JP2019099583A 2019-05-28 2019-05-28 Information processing device and program Active JP7267105B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019099583A JP7267105B2 (en) 2019-05-28 2019-05-28 Information processing device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019099583A JP7267105B2 (en) 2019-05-28 2019-05-28 Information processing device and program

Publications (2)

Publication Number Publication Date
JP2020193873A JP2020193873A (en) 2020-12-03
JP7267105B2 true JP7267105B2 (en) 2023-05-01

Family

ID=73548648

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019099583A Active JP7267105B2 (en) 2019-05-28 2019-05-28 Information processing device and program

Country Status (1)

Country Link
JP (1) JP7267105B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006098225A (en) 2004-09-29 2006-04-13 Aisin Aw Co Ltd Navigation apparatus
JP2014066595A (en) 2012-09-26 2014-04-17 Panasonic Corp Navigation apparatus
JP2014096661A (en) 2012-11-08 2014-05-22 International Business Maschines Corporation Method for realtime diminishing of moving object in moving image during photographing of moving image, moving image photographing apparatus for the same, and program for mentioned moving image photographing apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006098225A (en) 2004-09-29 2006-04-13 Aisin Aw Co Ltd Navigation apparatus
JP2014066595A (en) 2012-09-26 2014-04-17 Panasonic Corp Navigation apparatus
JP2014096661A (en) 2012-11-08 2014-05-22 International Business Maschines Corporation Method for realtime diminishing of moving object in moving image during photographing of moving image, moving image photographing apparatus for the same, and program for mentioned moving image photographing apparatus

Also Published As

Publication number Publication date
JP2020193873A (en) 2020-12-03

Similar Documents

Publication Publication Date Title
US9800717B2 (en) Mobile terminal and method for controlling the same
US9869556B2 (en) Mobile terminal and control method therefor
CN105278670B (en) Eyeglasses-type terminal and method of controlling the same
KR102222250B1 (en) Method and Apparatus for Providing Route Guidance using Reference Points
KR20150129546A (en) Wearable glass-type device and method of controlling the device
CN111680697B (en) Method, device, electronic equipment and medium for realizing field adaptation
KR20180059191A (en) Electronic device, external electronic device and method for connecting between electronic device and external electronic device
KR20150136391A (en) Method for providing service and an electronic device thereof
US10796439B2 (en) Motion information generating method and electronic device supporting same
US11836978B2 (en) Related information output device
JP7117451B2 (en) Information Display Device Using Gaze and Gesture
JP7267105B2 (en) Information processing device and program
EP3068128A1 (en) Information processing device, information processing method, and information processing system
CN111949341A (en) Method, device and equipment for displaying information and storage medium
JP7246255B2 (en) Information processing device and program
JP2017032870A (en) Image projection device and image display system
JP7246254B2 (en) Information processing device and program
JP7198966B2 (en) Positioning system
JP6999821B2 (en) Terminal device and control method of terminal device
JP7307593B2 (en) Information processing device and program
US11449135B2 (en) Terminal apparatus and method for controlling terminal apparatus
WO2023026634A1 (en) Display control device
US20240289080A1 (en) Display control device
WO2022201739A1 (en) Display control device
WO2021172137A1 (en) Content sharing system and terminal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230419

R150 Certificate of patent or registration of utility model

Ref document number: 7267105

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150