JP7323013B2

JP7323013B2 - Information display system, screen generation method, and program

Info

Publication number: JP7323013B2
Application number: JP2022096192A
Authority: JP
Inventors: 浩幸松本; 道太郎正沢
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2016-07-28
Filing date: 2022-06-15
Publication date: 2023-08-08
Anticipated expiration: 2036-07-28
Also published as: JP2022137044A

Description

本発明は、情報表示システム、サーバ、情報表示装置、画面生成方法、情報表示方法及びプログラムに関する。 The present invention relates to an information display system, a server, an information display device, a screen generation method, an information display method and a program.

情報表示装置は、街角や店舗等に設置され付近に存在する人に対して広告などの情報を提示するのに利用されている。近年、情報表示装置の付近の領域（エリア）を撮影し、画像からユーザの情報を取得して、取得した情報に応じて画面への表示を制御する情報表示装置が実現されている。 2. Description of the Related Art Information display devices are installed at street corners, stores, etc., and are used to present information such as advertisements to people in the vicinity. 2. Description of the Related Art In recent years, an information display device has been realized that captures an image of an area in the vicinity of an information display device, acquires user information from the image, and controls display on a screen according to the acquired information.

例えば特許文献１に関連する技術が開示されている。特許文献１に開示されている情報表示装置は、撮像された画像データから画像データに映っているユーザの年代や性別などを識別し、ユーザに提供する情報を生成する。例えばユーザの性別が男性であり、年代が６０代である場合、情報表示装置は、６０代の男性向けの広告画像を生成する。また情報表示装置は、ユーザの動作情報を取得し、取得された動作に同調した動作を行う擬人化媒体を表示する。 For example, Patent Literature 1 discloses related technology. The information display device disclosed in Patent Literature 1 identifies the age, sex, etc. of the user appearing in the captured image data, and generates information to be provided to the user. For example, if the gender of the user is male and the user is in his 60s, the information display device generates an advertisement image for males in their 60s. Further, the information display device acquires the motion information of the user and displays an anthropomorphic medium that performs motions in sync with the acquired motion.

また特許文献２には、複数のモニター装置を備えた遠隔会議装置が開示されている。遠隔会議装置は、会議参加者を撮像した画像データから、会議参加者の視線や顔の向きを検出して注目度の情報を演算する。遠隔会議装置は、注目度の情報を用いて対応する音声データや画像データを調整し、画像を見易く、音声を聞き取り易くする。 Japanese Patent Application Laid-Open No. 2002-200001 discloses a teleconference device having a plurality of monitor devices. The teleconferencing device detects the line of sight and face orientation of the conference participants from image data of the conference participants, and calculates attention level information. The teleconference device adjusts the corresponding audio data and image data using the attention level information so that the image is easy to see and the audio is easy to hear.

特開２０１４－０１０６０５号公報JP 2014-010605 A 国際公開第２０００／０２２８２３号WO2000/022823

例えば個人の携帯端末を用いて、空港内の搭乗ゲートや空港内のフロアの経路を調べたり、空港内の施設の情報を検索することが可能である。しかしながら荷物が多かったり時間に余裕がない場合に、個人の携帯端末を取り出して調べることは、ユーザに多大なストレスを与える。上述の特許文献１に開示されている情報表示装置は、ユーザ個別に対応するものではなく、性別や年代から想定される一般的、概略的な情報を表示するものにすぎない。特許文献２にもユーザに対応する個別情報を提示する技術は開示されていない。 For example, using a personal mobile terminal, it is possible to check the boarding gate in the airport and the route to the floor in the airport, and to search for information on the facilities in the airport. However, when there is a lot of luggage or there is not enough time, taking out a personal mobile terminal and checking it causes a great deal of stress to the user. The information display device disclosed in the above-mentioned Patent Document 1 does not correspond to individual users, but merely displays general and schematic information assumed from gender and age. Japanese Patent Application Laid-Open No. 2002-200001 also does not disclose a technique for presenting individual information corresponding to a user.

本発明の主な目的は、ユーザが個人の携帯端末を取り出すことなくユーザに対応する個別情報を空港などに設置された情報表示装置に表示する技術を提供することにある。 A main object of the present invention is to provide a technique for displaying individual information corresponding to a user on an information display device installed at an airport or the like without the user having to take out his personal mobile terminal.

本発明の１側面による情報表示システムは、ユーザの顔を含む顔画像を撮像する撮像部と、前記顔画像を用いて推定された前記ユーザの視線方向が所定の条件を満たす場合に、前記所定の条件を満たす前記ユーザの前記顔画像を用いて前記ユーザの認証可否を判断する認証部と、前記認証部による認証に成功した前記ユーザのフライトに関するフライト情報を取得する取得部と、前記取得部が取得した前記フライト情報に基づいて、搭乗ゲートに関する情報と、前記搭乗ゲートまでの距離と、前記搭乗ゲートの方向と、搭乗時刻と、現時刻と前記搭乗時刻との差が所定時間以上大きい場合に前記搭乗時刻まで前記ユーザが楽しむための情報と、を併せて示す第１画面を生成する表示画面生成部と、前記表示画面生成部が生成した画面を表示する表示部と、を有し、前記表示部は、前記表示部に対して所定の方向に複数のユーザが存在し、前記複数のユーザの視線方向が所定の条件を満たす場合、前記複数のユーザ全員の認証が成功し、かつ前記複数のユーザ全員の前記フライト情報に共通する情報が存在すれば前記所定の方向に対して前記第１画面を表示し、前記複数のユーザ全員の認証が成功しても前記複数のユーザ全員のフライト情報に共通する情報が存在しなければ前記所定の方向に対して前記第１画面とは異なる第２画面を表示し、前記複数のユーザのうちいずれかのユーザが認証に失敗すれば前記所定の方向に対して前記第２画面を表示し、前記所定の方向以外の方向に対しては前記第２画面を表示する。 An information display system according to one aspect of the present invention is an imaging unit that captures a face image including a user's face, and when the line-of-sight direction of the user estimated using the face image satisfies a predetermined condition, the predetermined condition is satisfied. An authentication unit that determines whether or not the user is authenticated using the face image of the user that satisfies the conditions of; Based on the flight information acquired by, the difference between the information on the boarding gate, the distance to the boarding gate, the direction of the boarding gate, the boarding time, and the current time and the boarding time is greater than a predetermined time. and information for the user to enjoy until the boarding time, and a display screen generating unit that generates a first screen showing together; In the display unit, when a plurality of users exist in a predetermined direction with respect to the display unit and the line-of-sight directions of the plurality of users satisfy a predetermined condition, all of the plurality of users are successfully authenticated, and the plurality of users are all successfully authenticated. If common information exists in the flight information of all of the plurality of users, the first screen is displayed in the predetermined direction, and even if authentication of all of the plurality of users succeeds, flight of all of the plurality of users. If there is no information common to the information, a second screen different from the first screen is displayed in the predetermined direction, and if any one of the plurality of users fails authentication, the predetermined The second screen is displayed for a direction, and the second screen is displayed for a direction other than the predetermined direction.

本発明の他の側面による画面生成方法は、ユーザの顔を含む顔画像を撮像し、前記顔画像を用いて推定された前記ユーザの視線方向が所定の条件を満たす場合に、前記所定の条件を満たす前記ユーザの前記顔画像を用いて前記ユーザの認証可否を判断し、認証に成功した前記ユーザのフライトに関するフライト情報を取得し、取得した前記フライト情報に基づいて、搭乗ゲートに関する情報と、前記搭乗ゲートまでの距離と、前記搭乗ゲートの方向と、搭乗時刻と、現時刻と前記搭乗時刻との差が所定時間以上大きい場合に前記搭乗時刻まで前記ユーザが楽しむための情報と、を併せて示す第１画面を生成し、生成した画面を表示部に表示し、前記表示部に対して所定の方向に複数のユーザが存在し、前記複数のユーザの視線方向が所定の条件を満たす場合、前記複数のユーザ全員の認証が成功し、かつ前記複数のユーザ全員の前記フライト情報に共通する情報が存在すれば前記所定の方向に対して前記第１画面を表示し、前記複数のユーザ全員の認証が成功しても前記複数のユーザ全員のフライト情報に共通する情報が存在しなければ前記所定の方向に対して前記第１画面とは異なる第２画面を表示し、前記複数のユーザのうちいずれかのユーザが認証に失敗すれば前記所定の方向に対して前記第２画面を表示し、前記所定の方向以外の方向に対しては前記第２画面を表示する。 A screen generation method according to another aspect of the present invention captures a facial image including a user's face, and if the user's line-of-sight direction estimated using the facial image satisfies a predetermined condition, the predetermined condition is satisfied. Determine whether the user is authenticated using the face image of the user that satisfies the requirements, acquire flight information related to the flight of the successfully authenticated user, and based on the acquired flight information, information related to the boarding gate, A combination of the distance to the boarding gate, the direction of the boarding gate, the boarding time, and information for the user to enjoy until the boarding time when the difference between the current time and the boarding time is greater than or equal to a predetermined time. is generated, the generated screen is displayed on the display unit, a plurality of users are present in a predetermined direction with respect to the display unit, and the line-of-sight directions of the plurality of users satisfy a predetermined condition and displaying the first screen in the predetermined direction if authentication of all of the plurality of users is successful and there is information common to the flight information of all of the plurality of users, and all of the plurality of users Even if the authentication is successful, if there is no information common to the flight information of all of the plurality of users, a second screen different from the first screen is displayed in the predetermined direction, and the plurality of users If any of the users fails authentication, the second screen is displayed in the predetermined direction, and the second screen is displayed in directions other than the predetermined direction.

本発明の他の側面によるプログラムは、ユーザの顔を含む顔画像を撮像する処理と、前記顔画像を用いて推定された前記ユーザの視線方向が所定の条件を満たす場合に、前記所定の条件を満たす前記ユーザの前記顔画像を用いて前記ユーザの認証可否を判断する処理と、認証に成功した前記ユーザのフライトに関するフライト情報を取得する処理と、取得した前記フライト情報に基づいて、搭乗ゲートに関する情報と、前記搭乗ゲートまでの距離と、前記搭乗ゲートの方向と、搭乗時刻と、現時刻と前記搭乗時刻との差が所定時間以上大きい場合に前記搭乗時刻まで前記ユーザが楽しむための情報と、を併せて示す第１画面を生成する処理と、生成した画面を表示部に表示する処理と、をコンピュータに実行させ、前記表示部に対して所定の方向に複数のユーザが存在し、前記複数のユーザの視線方向が所定の条件を満たす場合、前記複数のユーザ全員の認証が成功し、かつ前記複数のユーザ全員の前記フライト情報に共通する情報が存在すれば前記所定の方向に対して前記第１画面を表示し、前記複数のユーザ全員の認証が成功しても前記複数のユーザ全員のフライト情報に共通する情報が存在しなければ前記所定の方向に対して前記第１画面とは異なる第２画面を表示し、前記複数のユーザのうちいずれかのユーザが認証に失敗すれば前記所定の方向に対して前記第２画面を表示し、前記所定の方向以外の方向に対しては前記第２画面を表示する処理をコンピュータに実行させる。 According to another aspect of the present invention, there is provided a program that captures a facial image including a user's face and, if the user's line-of-sight direction estimated using the facial image satisfies a predetermined condition, performs the predetermined condition. A process of determining whether or not the user is authenticated using the face image of the user that satisfies the requirements, a process of acquiring flight information related to the flight of the successfully authenticated user, and a boarding gate based on the acquired flight information , the distance to the boarding gate, the direction of the boarding gate, the boarding time, and information for the user to enjoy until the boarding time if the difference between the current time and the boarding time is greater than a predetermined time. and a process of displaying the generated screen on a display unit, wherein a plurality of users are present in a predetermined direction with respect to the display unit, When the line-of-sight directions of the plurality of users satisfy a predetermined condition, authentication of all of the plurality of users is successful, and if there is information common to the flight information of all of the plurality of users, the direction of the predetermined direction is satisfied. to display the first screen, and if there is no information common to the flight information of all of the plurality of users even if authentication of all of the plurality of users is successful, the first screen and the first screen are displayed in the predetermined direction. displays a different second screen, displays the second screen in the predetermined direction if any one of the plurality of users fails authentication, and displays the second screen in the direction other than the predetermined direction causes the computer to execute the process of displaying the second screen.

本発明の上記の各側面により、ユーザが個人の携帯端末を取り出すことなくユーザに対応する個別情報を空港などに設置された情報表示装置に表示することができる。 According to the above-described aspects of the present invention, individual information corresponding to a user can be displayed on an information display device installed at an airport or the like without the user having to take out his personal mobile terminal.

本発明の第１の実施形態の構成を示すブロック図である。1 is a block diagram showing the configuration of a first exemplary embodiment of the present invention; FIG. 図１の情報表示装置の表示画面の一例を示す図である。2 is a diagram showing an example of a display screen of the information display device of FIG. 1; FIG. 図１の情報表示装置の表示画面の他の一例を示す図である。3 is a diagram showing another example of the display screen of the information display device of FIG. 1; FIG. 図１の表示部の概要を示す図である。2 is a diagram showing an overview of a display unit in FIG. 1; FIG. 図１の表示部の構成の一例を示す図である。FIG. 2 is a diagram showing an example of a configuration of a display unit in FIG. 1; FIG. 図１の表示部の構成の他の例を示す図である。2 is a diagram showing another example of the configuration of the display section in FIG. 1; FIG. 図１の各部を実現する情報処理装置の構成の一例を示すブロック図である。FIG. 2 is a block diagram showing an example of the configuration of an information processing device that implements each unit in FIG. 1; 本発明の第１の実施形態の動作を示すフローチャートである。4 is a flow chart showing the operation of the first exemplary embodiment of the present invention; 本発明の第２の実施形態の構成を示すブロック図である。FIG. 4 is a block diagram showing the configuration of a second exemplary embodiment of the present invention; FIG. 本発明の第２の実施形態の動作を示すフローチャートである。9 is a flow chart showing the operation of the second embodiment of the present invention; 本発明の第３の実施形態の構成を示すブロック図である。FIG. 11 is a block diagram showing the configuration of a third embodiment of the present invention; FIG. 本発明の第３の実施形態の動作を示すフローチャートである。It is a flowchart which shows the operation|movement of the 3rd Embodiment of this invention. 本発明の第４の実施形態の構成を示すブロック図である。FIG. 12 is a block diagram showing the configuration of a fourth embodiment of the present invention; FIG.

次に、本発明の実施形態について図面を参照して詳細に説明する。本実施形態の情報表示装置は、例えば、空港等に設置されるいわゆるデジタルサイネージであり、フライト情報や、空港内の店舗の案内、広告などのサービス情報を提示するのに利用される。 Next, embodiments of the present invention will be described in detail with reference to the drawings. The information display device of this embodiment is, for example, a so-called digital signage installed at an airport or the like, and is used to present service information such as flight information, information on shops in the airport, and advertisements.

図１は、本発明の第１の実施形態の構成を示すブロック図である。 FIG. 1 is a block diagram showing the configuration of the first embodiment of the present invention.

図１に示すように本発明の第１の実施形態の情報表示システム１は、情報表示装置１０と、情報表示装置１０に接続され、情報表示装置１０に表示する画面の情報を送信するサーバ２０を備えている。サーバ２０は、１以上の情報表示装置１０と接続される。またサーバ２０は、１以上のユーザ端末３０とも接続される。 As shown in FIG. 1, an information display system 1 according to the first embodiment of the present invention includes an information display device 10 and a server 20 connected to the information display device 10 for transmitting screen information to be displayed on the information display device 10. It has The server 20 is connected to one or more information display devices 10 . The server 20 is also connected to one or more user terminals 30 .

情報表示装置１０は、周囲のユーザを撮像しサーバ２０に撮像したユーザの画像を送信する撮像部１０１と、ユーザの方向を認識するユーザ方向認識部１０２と、指定の方向に画面を表示する表示部１０３と、を有している。 The information display device 10 includes an image capturing unit 101 that captures an image of a surrounding user and transmits the captured image of the user to the server 20, a user direction recognition unit 102 that recognizes the direction of the user, and a display that displays a screen in a specified direction. and a part 103 .

サーバ２０は、例えば天気予報、鉄道運行状況、フライト情報、広告情報等の公共的に得られる一般情報を取得する一般情報取得部２０１を備えている。またサーバ２０は、情報表示装置１０からユーザの画像を受信し、ユーザの画像に基づいて認証を行うユーザ認証部２０２と、ユーザに関する個別情報を取得する個別情報取得部２０３を備えている。またサーバ２０は、情報表示装置１０で表示する画面等の情報を生成し、情報表示装置１０に送信する表示画面生成部２０４を備えている。 The server 20 includes a general information acquisition unit 201 that acquires publicly available general information such as weather forecasts, railroad operating conditions, flight information, and advertisement information. The server 20 also includes a user authentication unit 202 that receives a user image from the information display device 10 and performs authentication based on the user image, and an individual information acquisition unit 203 that acquires individual information about the user. The server 20 also includes a display screen generation unit 204 that generates information such as a screen to be displayed on the information display device 10 and transmits the information to the information display device 10 .

ユーザ端末３０は、ユーザの顔画像を撮像する撮像部３０１と、サーバ２０にユーザ端末３０のアドレスや電話番号を登録する情報登録部３０２を備えている。 The user terminal 30 includes an imaging unit 301 that captures a user's face image, and an information registration unit 302 that registers the address and telephone number of the user terminal 30 in the server 20 .

撮像部１０１は、情報表示装置１０の周囲にいるユーザを撮像する。 The imaging unit 101 images a user around the information display device 10 .

ユーザ方向認識部１０２は、撮像部１０１の撮像した画像から周囲のユーザの顔画像を抽出する。またユーザ方向認識部１０２は、顔認証技術により周囲のユーザの視線方向を認識することもできる。ユーザ方向認識部１０２は、情報表示装置１０に視線を向けていると認識したユーザの方向を把握し、ユーザの顔情報に添付して出力する。 The user direction recognition unit 102 extracts facial images of surrounding users from the image captured by the imaging unit 101 . The user direction recognition unit 102 can also recognize the line-of-sight directions of surrounding users by face recognition technology. The user direction recognition unit 102 recognizes the direction of the user recognized as looking at the information display device 10, and outputs it by attaching it to the user's face information.

撮像部１０１は、ユーザ方向認識部１０２から出力されたユーザの方向とユーザの顔画像をサーバ２０に送信する。 The imaging unit 101 transmits the direction of the user and the face image of the user output from the user direction recognition unit 102 to the server 20 .

一般情報取得部２０１は、情報表示装置１０で表示するための、例えば天気予報、鉄道運行状況、フライト情報、店舗や保安検査場の混み具合、広告情報等の公共的に得られる情報、を取得する。 The general information acquisition unit 201 acquires publicly available information such as weather forecasts, railroad operation status, flight information, store and security checkpoint congestion, and advertising information for display on the information display device 10. do.

ユーザ認証部２０２は、情報表示装置１０からユーザの画像を受信し、その画像を送信した情報表示装置１０を識別する。ユーザ認証部２０２は、情報表示装置１０から受信したユーザの顔画像をもとにユーザの認証を行う。なおユーザの操作により、ユーザ端末３０の情報登録部３０２が、サーバ２０との情報連携をおこなうことを許可する処理を実行し、また撮像部３０１によって予め撮影されたユーザの顔画像をサーバ２０に登録していてもよい。 The user authentication unit 202 receives a user image from the information display device 10 and identifies the information display device 10 that has transmitted the image. The user authentication unit 202 authenticates the user based on the user's face image received from the information display device 10 . Note that the information registration unit 302 of the user terminal 30 executes processing for permitting information cooperation with the server 20 by the user's operation, and sends the user's face image captured in advance by the imaging unit 301 to the server 20. You may be registered.

例えばユーザ端末３０はスマートフォンであり、ユーザはユーザ端末３０を用いてフライト予約を行っており、フライト予約のウェブサイトに掲載されているアプリケーションをダウンロードして実行し、アプリケーションの表示画面に沿ってユーザが操作する。このユーザの操作によってユーザ端末３０の情報登録部３０２は、サーバ２０との情報連携を行う処理、及び、撮像部３０１によって予め撮影されたユーザの顔画像をサーバ２０に登録する処理を実行するよう構成されていてもよい。 For example, the user terminal 30 is a smartphone, and the user uses the user terminal 30 to make a flight reservation. operated by. By this user's operation, the information registration unit 302 of the user terminal 30 executes processing for information cooperation with the server 20 and processing for registering in the server 20 the user's face image captured in advance by the imaging unit 301. may be configured.

サーバ２０との情報連携とは、サーバ２０が、ユーザ端末３０に保持されている情報を検索して、サーバが、例えばユーザが予約したフライト情報、行動予定リスト、スケジューラ、行き先案内、インターネットアクセス履歴又は検索履歴等のユーザの直近の行動予定や個人の好みに関する情報を取得することをいう。 Information cooperation with the server 20 means that the server 20 retrieves information held in the user terminal 30, and the server retrieves, for example, flight information reserved by the user, action schedule list, scheduler, destination guide, Internet access history, etc. Alternatively, it refers to acquiring information related to the user's most recent action schedule and personal preferences, such as search history.

個別情報取得部２０３は、ユーザ端末３０から、上記のように例えばユーザが予約したフライト情報、行動予定リスト、スケジューラ、行き先案内、インターネットアクセス履歴又は検索履歴等のユーザの直近の行動予定や個人の好みに関する情報を取得する。個別情報取得部２０３は、表示画面生成部２０４にユーザ端末３０から取得した情報を出力する。 The individual information acquisition unit 203 receives from the user terminal 30, as described above, the user's most recent action schedule and personal information such as flight information reserved by the user, action schedule list, scheduler, destination guidance, Internet access history, search history, etc. Get information about preferences. The individual information acquisition unit 203 outputs information acquired from the user terminal 30 to the display screen generation unit 204 .

表示画面生成部２０４は、個別情報取得部２０３から取得したユーザの直近の行動予定に関する情報に基づいて、個別の案内画面を生成する。図２及び図３は、情報表示装置１０が表示する個別の案内画面の例を示す図である。図２に示すように、情報表示装置１０は、ユーザの予約したフライト情報に含まれた搭乗ゲートに基づき保安検査場への経路を案内する案内画面を表示してもよい。なお、表示画面生成部２０４は、一般情報取得部２０１が取得している保安検査場の混雑状況を把握して、比較的すいている保安検査場を案内する画面を生成してもよい。 The display screen generation unit 204 generates an individual guide screen based on the information about the user's most recent action schedule acquired from the individual information acquisition unit 203 . 2 and 3 are diagrams showing examples of individual guidance screens displayed by the information display device 10. FIG. As shown in FIG. 2, the information display device 10 may display a guidance screen that guides the route to the security checkpoint based on the boarding gate included in the flight information reserved by the user. Note that the display screen generation unit 204 may grasp the congestion status of the security checkpoint acquired by the general information acquisition unit 201, and generate a screen that guides the user to a security checkpoint that is relatively unoccupied.

また図３に示すように表示画面生成部２０４は、ユーザの予約したフライト情報に含まれた搭乗開始時刻に基づき搭乗開始までの時間を算出して表示する案内画面を生成してもよい。また、表示画面生成部２０４は、案内画面に搭乗ゲートの方向や距離を算出して表示してもよい。また、表示画面生成部２０４は、搭乗までの余裕時間と、インターネットアクセス履歴又は検索履歴等から把握できるユーザの好みから、搭乗までの時間を過ごすのにお勧めの店舗を抽出し、店舗への方向、距離などを案内画面に表示してもよい。また表示画面生成部２０４は、案内画面にその店舗のおすすめ商品を示す情報を加えてもよい。 Further, as shown in FIG. 3, the display screen generation unit 204 may generate a guidance screen that calculates and displays the time until boarding starts based on the boarding start time included in the flight information reserved by the user. The display screen generation unit 204 may also calculate and display the direction and distance to the boarding gate on the guide screen. In addition, the display screen generating unit 204 extracts recommended stores to spend the time before boarding based on the time available before boarding and the user's preferences that can be grasped from the Internet access history or search history. The direction, distance, etc. may be displayed on the guidance screen. Also, the display screen generation unit 204 may add information indicating recommended products of the store to the guide screen.

表示画面生成部２０４は、生成した個別の案内画面を、表示方向を指定して情報表示装置１０に出力する。 The display screen generation unit 204 outputs the generated individual guidance screen to the information display device 10 by designating the display direction.

情報表示装置１０の表示部１０３は、サーバ２０が生成した案内画面を指定された方向に表示する。 The display unit 103 of the information display device 10 displays the guide screen generated by the server 20 in the designated direction.

図４は、図１の表示部１０３の機能の概要を示す図である。図４に示すように表示部１０３は、見る方向によって異なる画面を表示できるよう構成されている。表示部１０３は、多視点裸眼(立体視)ディスプレイ技術、例えば視差バリアやレンチキュラーレンズアレイを用い、複数の方向にそれぞれ異なる情報を表示可能に構成されている。 FIG. 4 is a diagram showing an overview of the functions of the display unit 103 in FIG. As shown in FIG. 4, the display unit 103 is configured to display different screens depending on the viewing direction. The display unit 103 uses multi-viewpoint naked-eye (stereoscopic) display technology, such as a parallax barrier or a lenticular lens array, and is configured to be able to display different information in a plurality of directions.

図５は、表示部１０３の構成の一例を示す図である。図５に示すように表示部１０３は、例えば、表示制御部１１１、１１２、１１３と、表示素子１２１、１２２、１２３と、レンチキュラーレンズ１３０を備えている。表示素子１２１、１２２、１２３は例えば液晶表示素子である。表示素子１２１は、図４のユーザＣの方向（以下、Ｃ方向という）に向けて表示する画面を表示する。表示素子１２２は、図４のユーザＢの方向（以下、Ｂ方向という）に向けて表示する画面を表示する。表示素子１２３は、図４のユーザＡの方向（以下、Ａ方向という）に向けて表示する画面を表示する。サーバ２０の表示画面生成部２０４は、表示する方向を指定して表示部１０３に画面の情報を出力する。表示制御部１１１は表示画面生成部２０４からＣ方向が指定された画面が出力されると、表示画面生成部２０４から出力された画面を表示素子１２１に表示させる。表示制御部１１２は表示画面生成部２０４からＢ方向が指定された画面が出力されると、表示画面生成部２０４から出力された画面を表示素子１２２に表示させる。表示制御部１１３は表示画面生成部２０４からＡ方向が指定された画面が出力されると、表示画面生成部２０４から出力された画面を表示素子１２３に表示させる。レンチキュラーレンズ１３０を通してみた場合に、表示素子１２１、１２２、１２３のうち１つの領域以外はレンチキュラーレンズ１３０で拡散され、特定の１つの領域のみがはっきり見えるようにレンチキュラーレンズ１３０と表示素子１２１、１２２、１２３との配置が設定される。 FIG. 5 is a diagram showing an example of the configuration of the display unit 103. As shown in FIG. As shown in FIG. 5, the display unit 103 includes display control units 111, 112 and 113, display elements 121, 122 and 123, and a lenticular lens 130, for example. The display elements 121, 122 and 123 are liquid crystal display elements, for example. The display element 121 displays a screen displayed in the direction of the user C in FIG. 4 (hereinafter referred to as the C direction). The display element 122 displays a screen displayed in the direction of the user B in FIG. 4 (hereinafter referred to as the B direction). The display element 123 displays a screen displayed in the direction of the user A in FIG. 4 (hereinafter referred to as the A direction). The display screen generation unit 204 of the server 20 outputs screen information to the display unit 103 by designating the display direction. When the display screen generation unit 204 outputs the screen with the direction C specified, the display control unit 111 causes the display device 121 to display the screen output from the display screen generation unit 204 . When the display screen generation unit 204 outputs the screen with the B direction specified, the display control unit 112 causes the display element 122 to display the screen output from the display screen generation unit 204 . When the display screen generation unit 204 outputs the screen with the A direction specified, the display control unit 113 causes the display element 123 to display the screen output from the display screen generation unit 204 . When viewed through the lenticular lens 130, the lenticular lens 130 and the display elements 121, 122, 123, 123 are diffused by the lenticular lens 130 so that only one specific area can be seen clearly. 123 is set.

なお図５に示したようなレンチキュラーレンズを利用したディスプレイは表示部１０３を実現する構成の一例であり、例えば図６に示すように、表示部１０３は、異なる方向に向けて設置された複数のディスプレイにより実現しても構わない。図６は、表示部１０３の構成の他の例を示す図である。図６に示すように、表示部１０３は、異なる方向に向けて複数備えられたディスプレイ１３１、１３２、１３３と、各ディスプレイに対応する、図５の例と同様な表示制御部１１１、１１２、１１３を備えている。ディスプレイ１３１、１３２、１３３は例えば液晶ディスプレイである。ディスプレイ１３１は、Ａ方向に向けて表示する画面を表示する。ディスプレイ１３２は、Ｂ方向に向けて表示する画面を表示する。ディスプレイ１３３は、Ｃ方向に向けて表示する画面を表示する。サーバ２０の表示画面生成部２０４は、表示する方向を指定して表示部１０３に画面の情報を出力する。表示制御部１１１は表示画面生成部２０４からＣ方向が指定された画面が出力されると、表示画面生成部２０４から出力された画面をディスプレイ１３３に表示させる。表示制御部１１２は表示画面生成部２０４からＢ方向が指定された画面が出力されると、表示画面生成部２０４から出力された画面をディスプレイ１３２に表示させる。表示制御部１１３は表示画面生成部２０４からＡ方向が指定された画面が出力されると、表示画面生成部２０４から出力された画面をディスプレイ１３１に表示させる。 A display using a lenticular lens as shown in FIG. 5 is an example of a configuration for realizing the display unit 103. For example, as shown in FIG. A display may be used. FIG. 6 is a diagram showing another example of the configuration of the display unit 103. As shown in FIG. As shown in FIG. 6, the display unit 103 includes a plurality of displays 131, 132, and 133 facing different directions, and display control units 111, 112, and 113 corresponding to the respective displays, similar to the example of FIG. It has The displays 131, 132, 133 are liquid crystal displays, for example. The display 131 displays a screen displayed in the A direction. The display 132 displays a screen displayed in the B direction. The display 133 displays a screen displayed in the C direction. The display screen generation unit 204 of the server 20 outputs screen information to the display unit 103 by designating the display direction. When the display screen generation unit 204 outputs the screen with the direction C specified, the display control unit 111 causes the display 133 to display the screen output from the display screen generation unit 204 . When the display screen generation unit 204 outputs the screen with the B direction specified, the display control unit 112 causes the display 132 to display the screen output from the display screen generation unit 204 . When the display screen generation unit 204 outputs the screen in which the A direction is specified, the display control unit 113 causes the display 131 to display the screen output from the display screen generation unit 204 .

なお図１に示す第１の実施形態の情報表示システム及び後述の各実施形態の各構成要素は、機能単位のブロックを示している。各実施形態の各構成要素の一部又は全部は、例えば図７に示すような情報処理装置５０とプログラムとの任意の組み合わせにより実現されてもよい。情報処理装置５０は、一例として、以下のような構成を含む。 Note that each component of the information display system of the first embodiment shown in FIG. 1 and each of the embodiments to be described later indicates a functional unit block. A part or all of each component of each embodiment may be realized by an arbitrary combination of an information processing device 50 and a program as shown in FIG. 7, for example. The information processing device 50 includes, as an example, the following configuration.

・ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）５１
・ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）５２
・ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）５３
・ＲＡＭ５３にロードされるプログラム５４
・プログラム５４を格納する記憶装置５５
・記録媒体５６の読み書きを行うドライブ装置５７
・通信ネットワーク５９と接続する通信インタフェース５８
・データの入出力を行う入出力インタフェース６０
・各構成要素を接続するバス６１
第１の実施形態の各構成要素は、これらの機能を実現するプログラム５４をＣＰＵ５１
が取得して実行することで実現される。・CPU (Central Processing Unit) 51
・ROM (Read Only Memory) 52
・RAM (Random Access Memory) 53
・Program 54 loaded into RAM 53
- Storage device 55 for storing program 54
・Drive device 57 for reading and writing the recording medium 56
- A communication interface 58 that connects to a communication network 59
・Input/output interface 60 for inputting/outputting data
- A bus 61 connecting each component
Each component of the first embodiment executes a program 54 that realizes these functions by the CPU 51
is obtained and executed.

各実施形態の各構成要素の機能を実現するプログラム５４は、例えば、予め記憶装置５５やＲＯＭ５２やＲＡＭ５３に格納されており、必要に応じてＣＰＵ５１が読み出すように構成されてもよい。 A program 54 that implements the function of each component of each embodiment is stored in advance in, for example, the storage device 55, the ROM 52, or the RAM 53, and may be configured to be read by the CPU 51 as necessary.

なお、プログラム５４は、通信ネットワーク５９を介してＣＰＵ５１に供給されてもよいし、予め記録媒体５６に格納されており、ドライブ装置５７が当該プログラムを読み出してＣＰＵ５１に供給してもよい。 The program 54 may be supplied to the CPU 51 via the communication network 59 , or may be stored in the recording medium 56 in advance, and the drive device 57 may read the program and supply it to the CPU 51 .

また各実施形態の実現方法には、様々な変形例がある。各実施形態の各構成要素は、構成要素毎にそれぞれ別個の情報処理装置とプログラムとの任意の組み合わせにより実現されてもよい。また、各実施形態が備える複数の構成要素が、一つの情報処理装置とプログラムとの任意の組み合わせにより実現されてもよい。 Further, there are various modifications of the implementation method of each embodiment. Each component of each embodiment may be realized by any combination of an information processing device and a program that are separate for each component. Also, a plurality of components included in each embodiment may be realized by any combination of a single information processing apparatus and a program.

また、各実施形態の各構成要素の一部又は全部は、その他の汎用または専用の回路（ｃｉｒｃｕｉｔｒｙ）、プロセッサ等やこれらの組み合わせによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。第１の実施形態の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。 Also, part or all of each component of each embodiment may be realized by other general-purpose or dedicated circuits, processors, etc., or combinations thereof. These may be composed of a single chip, or may be composed of multiple chips connected via a bus. A part or all of each component of the first embodiment may be realized by a combination of the above-described circuit or the like and a program.

各実施形態の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。 When part or all of each component of each embodiment is realized by a plurality of information processing devices, circuits, etc., the plurality of information processing devices, circuits, etc. may be centrally arranged or distributed. may For example, the information processing device, circuits, and the like may be realized as a form in which each is connected via a communication network, such as a client-and-server system, a cloud computing system, or the like.

次に本実施形態の個別の案内画面を表示する動作について説明する。図８は、図１の第１の実施形態の動作を示すフローチャートである。 Next, the operation of displaying an individual guide screen according to this embodiment will be described. FIG. 8 is a flow chart showing the operation of the first embodiment of FIG.

まずユーザの操作によりユーザ端末３０は、予めサーバ２０に接続し、フライト予約を行う（ステップＳ２１）。またユーザの操作により、ユーザ端末３０は、予めユーザ端末３０とサーバ２０の情報連携をおこなうことを許可する処理を実行する。またユーザの操作により、ユーザ端末３０は、ユーザ認証のために予め撮影されたユーザの顔画像をサーバ２０に登録する（ステップＳ２２）。サーバ２０は、ユーザ端末３０のアドレスなど情報連携のための情報及びユーザ認証のための顔情報を記憶する（ステップＳ１１）
空港等に設置された情報表示装置１０の撮像部１０１は、周囲のユーザの画像を撮像する（ステップＳ１）。ユーザ方向認識部１０２は、周囲の画像からユーザの顔画像を抽出し、顔認証技術により周囲のユーザの視線方向を認識し、情報表示装置１０に視線を向けているユーザが存在するか判断する（ステップＳ２）。情報表示装置１０に視線を向けているユーザが存在する場合、ユーザ方向認識部１０２は、そのユーザの顔画像と、ユーザの方向をサーバ２０に送信する（ステップＳ３）。なお、ユーザ方向認識部１０２は、情報表示装置１０に視線を向けているユーザが存在しない方向を認識すると、表示部１０３に通知する。表示部１０３は、通知に対応する方向には、公共的に得られる一般的な情報、例えば天気予報、鉄道運行状況、フライト情報、店舗や保安検査場の混み具合、広告等の画面を表示する（ステップＳ４）。なおこのような一般的な情報の画面は、サーバ２０の一般情報取得部２０１から取得してもよい。あるいは、一般的な情報の画面は、情報表示装置１０内の図示しない記憶装置等に予め設定されていてもよい。 First, the user terminal 30 is connected to the server 20 in advance by the user's operation and makes a flight reservation (step S21). Further, by the user's operation, the user terminal 30 executes a process of permitting information cooperation between the user terminal 30 and the server 20 in advance. Further, by the user's operation, the user terminal 30 registers in the server 20 the face image of the user that has been captured in advance for user authentication (step S22). The server 20 stores information for information linkage such as the address of the user terminal 30 and face information for user authentication (step S11).
The imaging unit 101 of the information display device 10 installed at an airport or the like captures images of surrounding users (step S1). The user direction recognition unit 102 extracts a user's face image from surrounding images, recognizes the line-of-sight direction of the surrounding users by face recognition technology, and determines whether or not there is a user whose line of sight is directed toward the information display device 10 . (Step S2). If there is a user looking at the information display device 10, the user direction recognition unit 102 transmits the face image of the user and the direction of the user to the server 20 (step S3). When the user direction recognizing unit 102 recognizes a direction in which the user who is looking at the information display device 10 does not exist, the user direction recognizing unit 102 notifies the display unit 103 of the direction. The display unit 103 displays, in the direction corresponding to the notification, general information that is publicly available, such as weather forecast, railroad operation status, flight information, congestion at stores and security checkpoints, advertisements, and other screens. (Step S4). Note that such a general information screen may be obtained from the general information obtaining unit 201 of the server 20 . Alternatively, general information screens may be set in advance in a storage device or the like (not shown) in the information display device 10 .

サーバ２０のユーザ認証部２０２は、ユーザの顔画像及び情報表示装置１０からみたユーザの方向を受信し（ステップＳ１２）、送信した情報表示装置１０を識別する。 The user authentication unit 202 of the server 20 receives the face image of the user and the direction of the user as seen from the information display device 10 (step S12), and identifies the information display device 10 that has sent them.

ユーザ認証部２０２は、顔認証技術により受信した顔情報からユーザ認証を行い（ステップＳ１３）、ユーザ認証が成功したか判断する（ステップＳ１４）。 The user authentication unit 202 performs user authentication from the received face information using face authentication technology (step S13), and determines whether the user authentication has succeeded (step S14).

例えば上述のステップＳ２１、Ｓ２２の処理がされていない場合、ユーザ認証部２０２は、ユーザ認証ができない。ユーザ認証部２０２は、ユーザ認証ができなかった場合、情報表示装置に通知する（ステップＳ１５）。 For example, if the above steps S21 and S22 have not been performed, the user authentication unit 202 cannot perform user authentication. If the user authentication is not successful, the user authentication unit 202 notifies the information display device (step S15).

情報表示装置１０は、サーバ２０からユーザ認証ができなかったことを示す通知を受信すると、表示部１０３は、通知に対応する方向にはステップＳ４と同様な一般的な情報の画面を表示する（ステップＳ５）。 When the information display device 10 receives a notification from the server 20 indicating that the user authentication has failed, the display unit 103 displays a general information screen similar to step S4 in the direction corresponding to the notification ( step S5).

上述のステップＳ２１、Ｓ２２の処理がされ、ユーザ認証ができた場合、個別情報取得部２０３は、ユーザ端末３０と連携し、ユーザ端末３０に保有されたユーザアカウント情報及びユーザが予約しているフライト情報等上述の情報を取得する（ステップＳ１６）。 When the above-described steps S21 and S22 are processed and the user is authenticated, the individual information acquisition unit 203 cooperates with the user terminal 30 to obtain the user account information held by the user terminal 30 and the flight reserved by the user. The above information such as information is acquired (step S16).

表示画面生成部２０４は、取得したフライト情報等を元に表示の候補となる情報を収集する。表示画面生成部２０４は、フライトまでの時間やユーザの位置に応じて優先度を判断し、個別案内画面を生成する。表示画面生成部２０４は、例えばフライトまで時間がない場合には、図２に示すように保安検査場等への経路の案内画面を生成し、時間がある場合には、図３に示すように搭乗開始までの時間や、搭乗ゲートの方向や距離、それまでの時間を過ごすのにお勧めの場所、その方向、距離などの個別案内画面を生成する（ステップＳ１７）。なお上述のステップＳ２１、Ｓ２２の処理がされていない場合には、表示画面生成部２０４は、一般情報取得部２０１から一般的な情報を収集して案内画面を生成してよい。 The display screen generation unit 204 collects information as candidates for display based on the acquired flight information and the like. The display screen generation unit 204 determines the priority according to the time until the flight and the position of the user, and generates an individual guidance screen. The display screen generation unit 204 generates a guidance screen for a route to a security checkpoint or the like as shown in FIG. An individual guidance screen is generated that includes the time until boarding starts, the direction and distance to the boarding gate, recommended places to spend the time until then, the direction and distance, etc. (step S17). It should be noted that if the above-described steps S21 and S22 have not been performed, the display screen generation unit 204 may collect general information from the general information acquisition unit 201 and generate the guide screen.

表示画面生成部２０４は、認証できたユーザの方向を指定して、生成した個別案内画面の情報を情報表示装置１０に送信する（ステップＳ１８）。 The display screen generation unit 204 designates the direction of the authenticated user, and transmits information of the generated individual guidance screen to the information display device 10 (step S18).

情報表示装置１０の表示部１０３は、指定された方向に取得した案内画面を表示する（ステップＳ６）。 The display unit 103 of the information display device 10 displays the acquired guidance screen in the specified direction (step S6).

以上説明したように本実施形態の情報表示システム１は、情報表示装置１０が、周囲のユーザの顔画像をユーザ端末３０と連携するサーバ２０に送信し、顔認証によるユーザ認証を行い、ユーザ端末３０から取得したユーザの情報を取得し、関連する個別の案内画面を生成して表示する。 As described above, in the information display system 1 of the present embodiment, the information display device 10 transmits facial images of surrounding users to the server 20 cooperating with the user terminal 30, performs user authentication by face authentication, and performs user terminal User information obtained from 30 is obtained, and a related individual guidance screen is generated and displayed.

このようにして本実施形態の情報表示システム１は、ユーザがユーザ端末３０を取りだすことなく空港等に設置された情報表示装置１０でユーザ端末３０に保持された情報に関連する個別の案内画面を見ることができる。また本実施形態の情報表示装置１０は、複数の方向にそれぞれ異なる情報を表示可能に構成された表示手段を備えることにより複数のユーザに対してそれぞれ個別の案内画面を表示することができる。 In this way, the information display system 1 of the present embodiment allows the user to display individual guidance screens related to information held in the user terminal 30 on the information display device 10 installed at an airport or the like without taking out the user terminal 30. can see. Further, the information display device 10 of the present embodiment can display individual guide screens for a plurality of users by providing display means configured to display different information in a plurality of directions.

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。 Although the present invention has been described with reference to the embodiments, the present invention is not limited to the above embodiments. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.

例えばユーザ認証部２０２は、顔認証技術により受信した顔情報からユーザ認証を行い、ユーザ認証が成功した場合、表示画面生成部２０４がそのつど個別の案内画面を生成するものとして説明したがこれに限らない。表示画面生成部２０４は、例えば、同一方向に複数のユーザが存在した場合、複数ユーザがグループか否かを判断して異なる画面を生成してもよい。 For example, the user authentication unit 202 performs user authentication from face information received by face authentication technology, and when the user authentication is successful, the display screen generation unit 204 generates an individual guide screen each time. Not exclusively. For example, when there are multiple users in the same direction, the display screen generation unit 204 may determine whether the users are in a group and generate different screens.

図９は本発明の第２の実施形態の構成を示すブロック図である。本実施形態の情報表示システム２は、サーバ２１に、同一方向に複数のユーザが存在した場合、複数ユーザがグループか否かを判断するグループ判断部２１１を備えている点で第１の実施形態と異なる。 FIG. 9 is a block diagram showing the configuration of the second embodiment of the present invention. The information display system 2 of the present embodiment differs from the first embodiment in that the server 21 includes a group determination unit 211 that determines whether or not a plurality of users belong to a group when there are multiple users in the same direction. different from

図１０は第２の実施形態の動作を示すフローチャートである。図１０に示すように第１の実施形態と同様に、ユーザ端末３０は、ステップＳ２１、Ｓ２２の処理を行い、サーバ２１はこれらに対し第１の実施形態と同様にステップＳ１１の処理を行う。また情報表示装置１０は第１の実施形態と同様にステップＳ１からＳ４の処理を行い、サーバ２１において、第１の実施形態と同様に、ユーザ認証部２０２が、ユーザの顔画像及び情報表示装置１０からみたユーザの方向を受信する（ステップＳ１２）。また第１の実施形態と同様に、送信した情報表示装置１０を識別し、ユーザ認証部２０２が、顔認証技術により受信した顔情報からユーザ認証を行い（ステップＳ１３）、ユーザ認証が成功したか判断する（ステップＳ１４）。 FIG. 10 is a flow chart showing the operation of the second embodiment. As shown in FIG. 10, the user terminal 30 performs steps S21 and S22 as in the first embodiment, and the server 21 performs step S11 as in the first embodiment. Further, the information display device 10 performs the processing of steps S1 to S4 in the same manner as in the first embodiment, and in the server 21, the user authentication unit 202, in the same manner as in the first embodiment, recognizes the face image of the user and the information display device. The direction of the user as seen from 10 is received (step S12). As in the first embodiment, the transmitted information display device 10 is identified, and the user authentication unit 202 performs user authentication from the received face information using face authentication technology (step S13). It judges (step S14).

ここで本実施形態においては、同一方向に複数のユーザがいた場合、グループ判断部２１１が、複数ユーザの全員が認証に成功し、複数ユーザが１つのグループか否かを判断する（ステップＳ３１）。同一方向にいる複数のユーザのうち１人でもユーザ認証ができない場合には、１つのグループではない可能性があるため、ユーザ認証部２０２は、ユーザ認証ができなかったことを情報表示装置１０に通知する（ステップＳ１５）。また複数ユーザの全員が認証に成功した場合でも、例えばフライト情報や住所や氏名から、判断して１グループではない可能性が高い場合は、ステップＳ１５の処理を行い、第１の実施形態と同様、情報表示装置１０の表示部１０３は、通知に対応する方向にはステップＳ４と同様な一般的な情報の画面を表示する（ステップＳ５）。 Here, in this embodiment, when there are multiple users in the same direction, the group determination unit 211 determines whether or not all of the multiple users have been successfully authenticated and the multiple users form one group (step S31). . If even one of a plurality of users in the same direction cannot be authenticated, there is a possibility that they are not in one group. Notify (step S15). Also, even if all of the multiple users have been successfully authenticated, if it is highly likely that they are not one group judging from the flight information, address, and name, for example, the processing of step S15 is performed in the same manner as in the first embodiment. , the display unit 103 of the information display device 10 displays a general information screen similar to that in step S4 in the direction corresponding to the notification (step S5).

ステップＳ３１において複数ユーザの全員が認証に成功し、複数ユーザが１つのグループであると判断すると、第１の実施形態と同様に、個別情報取得部２０３は、ステップＳ１６、Ｓ１７、Ｓ１８の処理を行い、表示部１０３は、指定された方向に取得した画面を表示する（ステップＳ６）。 In step S31, when all of the multiple users are successfully authenticated and it is determined that the multiple users belong to one group, the individual information acquiring unit 203 performs the processes of steps S16, S17, and S18, as in the first embodiment. Then, the display unit 103 displays the acquired screen in the specified direction (step S6).

このような構成とすることにより、同一方向に複数のユーザが存在した場合には、複数ユーザがグループか否かを判断し、１グループではない可能性が高い場合は、表示内容を一般的な情報の画面とすることができ、他人に向けてユーザの個別情報が表示されることを防止できる。 With such a configuration, when a plurality of users exist in the same direction, it is determined whether or not the plurality of users belong to a group. It can be used as an information screen, and it is possible to prevent the user's individual information from being displayed to others.

また、例えばユーザが遅延して空港に到着した場合には、空港のスタッフに通知されるような構成としてもよい。図１１は本発明の第３の実施形態の構成を示すブロック図である。 Further, for example, if the user arrives late at the airport, the airport staff may be notified. FIG. 11 is a block diagram showing the configuration of the third embodiment of the invention.

本実施形態の情報表示システム３は、サーバ２２に接続されたスタッフ端末４０を備え、サーバ２２に、ユーザのフライト情報から遅延ユーザを認識する遅延ユーザ認識部２２１を備えている。またサーバ２２に、ユーザ端末３０をユーザが携帯している場合、空港内に設置されたＧＰＳやビーコンを用いてユーザ端末３０の位置情報を取得するユーザ位置取得部２２２を備えている。 The information display system 3 of this embodiment includes a staff terminal 40 connected to a server 22, and the server 22 includes a delayed user recognition unit 221 that recognizes a delayed user from the user's flight information. The server 22 also includes a user position acquisition unit 222 that acquires position information of the user terminal 30 using GPS or beacons installed in the airport when the user carries the user terminal 30 .

図１２は第３の実施形態のサーバの動作を示すフローチャートである。ユーザ端末３０が図８のステップＳ２１、ステップＳ２２の処理を行うことにより、サーバ２２は、これらに対し第１の実施形態と同様にステップＳ１１の処理を行う。また情報表示装置１０が図８のステップＳ１からＳ４の処理を行うことによりサーバ２２がユーザの画像を受信した場合、サーバ２２は、第１の実施形態と同様に、ステップＳ１２からＳ１５の処理を行い、ユーザ認証ができる。また、上述のステップＳ２１及びＳ２２の処理がされていた場合、個別情報取得部２０３は、ユーザ端末３０と連携し、ユーザ端末３０に保持されたユーザアカウント情報及びユーザが予約しているフライト情報等の情報を取得する（ステップＳ１６）。ここで本実施形態においては、遅延ユーザ認識部２２１は、予約しているフライト情報と情報表示装置１０の位置から、ユーザが遅延しているか判断し（ステップＳ４１）、遅延している場合、ユーザの画像を受信した情報表示装置１０をスタッフ端末４０に遅延ユーザの位置情報を送信する（ステップＳ４２）。またその後、ユーザ位置取得部２２２は、遅延ユーザの位置情報を空港内に設置されたＧＰＳやビーコン等を用いてユーザ端末３０の位置を取得し、スタッフ端末４０に遅延ユーザの位置情報を送信してもよい。スタッフ端末４０の遅延ユーザ情報表示部４０１は、サーバ２２から送信された遅延ユーザの位置情報等を表示する。 FIG. 12 is a flow chart showing the operation of the server of the third embodiment. When the user terminal 30 performs the processing of steps S21 and S22 of FIG. 8, the server 22 performs the processing of step S11 for these in the same manner as in the first embodiment. When the information display device 10 performs the processing of steps S1 to S4 in FIG. 8 and the server 22 receives the image of the user, the server 22 performs the processing of steps S12 to S15 as in the first embodiment. to perform user authentication. Further, when the above-described steps S21 and S22 have been processed, the individual information acquisition unit 203 cooperates with the user terminal 30 to obtain the user account information held in the user terminal 30, the flight information reserved by the user, and the like. information is obtained (step S16). Here, in the present embodiment, the delayed user recognition unit 221 determines whether the user is delayed from the reserved flight information and the position of the information display device 10 (step S41). The information display device 10 that has received the image of the delay user transmits the location information of the delayed user to the staff terminal 40 (step S42). After that, the user position acquisition unit 222 acquires the position of the user terminal 30 using GPS, beacons, etc. installed in the airport, and transmits the position information of the delayed user to the staff terminal 40. may The delayed user information display unit 401 of the staff terminal 40 displays the delayed user's location information and the like transmitted from the server 22 .

ステップＳ４１において遅延ユーザ認識部２２１が遅延していないと判断した場合は、ステップＳ４２の処理は行わない。第１の実施形態と同様に、表示画面生成部２０４は、例えばフライトまで時間がない場合には、図２に示すように保安検査場等への経路の案内画面を生成する。また、時間がある場合には、図３に示すように搭乗開始までの時間や、搭乗ゲートの方向や距離、それまでの時間を過ごすのにお勧めの場所、その方向、距離などの案内画面を生成する（ステップＳ１７）。 If the delayed user recognition unit 221 determines in step S41 that there is no delay, the process of step S42 is not performed. As in the first embodiment, the display screen generation unit 204 generates a guidance screen for a route to a security checkpoint or the like as shown in FIG. 2, for example, when there is not enough time before a flight. In addition, if there is time, as shown in Fig. 3, a guide screen showing the time until boarding starts, the direction and distance to the boarding gate, the recommended place to spend the time until then, the direction and distance, etc. is generated (step S17).

表示画面生成部２０４は、ユーザの方向を指定して生成した個別案内画面の情報を情報表示装置１０に送信し（ステップＳ１８）、情報表示装置１０の表示部１０３は、指定された方向に取得した案内画面を表示する（ステップＳ６）。 The display screen generation unit 204 transmits the information of the individual guidance screen generated by designating the direction of the user to the information display device 10 (step S18), and the display unit 103 of the information display device 10 acquires the information in the designated direction. Then, the guidance screen is displayed (step S6).

このような構成とすることにより、遅延して空港に到着したユーザの画像が撮像された場合には、空港のスタッフがすばやくユーザをエスコートすることができ、フライトの遅延を防止することが可能となる。 With such a configuration, when an image of a user arriving at the airport after a delay is captured, the airport staff can quickly escort the user, thereby preventing flight delays. Become.

さらに上記の各実施形態のサーバが情報表示装置内に搭載されて、情報表示装置１１として一体構成されていてもよい。図１３は、本発明の第４の実施形態の構成を示すブロック図である。図１３は第１の実施形態のサーバ２０の構成要素が情報表示装置内に搭載され情報表示装置として構成されている例である。なお第２の実施形態、第３の実施形態のサーバ２１、２２が情報表示装置内に搭載されて情報表示装置として構成されていてもよい。このような構成でも、第１、第２、第３の実施形態と同様な効果が得られる。 Furthermore, the server of each of the above-described embodiments may be installed in the information display device and integrated as the information display device 11 . FIG. 13 is a block diagram showing the configuration of the fourth embodiment of the invention. FIG. 13 shows an example in which the constituent elements of the server 20 of the first embodiment are installed in an information display device and configured as an information display device. Note that the servers 21 and 22 of the second and third embodiments may be installed in an information display device and configured as an information display device. Even with such a configuration, the same effects as those of the first, second, and third embodiments can be obtained.

なお、これらの実施形態はどのように組み合わせてもよく、例えば第３の実施形態に第２の実施形態のグループ判断部２１１を含み、同一方向に複数のユーザが存在した場合、複数ユーザがグループか否かを判断して判断結果により異なる画面を生成してもよい。 These embodiments may be combined in any way. For example, when the group determination unit 211 of the second embodiment is included in the third embodiment and there are multiple users in the same direction, the multiple users are grouped together. It is also possible to determine whether or not to generate a different screen depending on the result of the determination.

また第３の実施形態において、情報表示システム３は、スタッフ端末４０に位置取得要求部を備え、遅延ユーザでないと認識した場合でも、スタッフ端末４０がユーザを指定して位置情報の取得を要求するように構成してもよい。また位置情報の取得を要求に対し、サーバ２２のユーザ位置取得部２２２はユーザの位置を取得してスタッフ端末４０に通知するように構成してもよい。またこの場合、取得したユーザの位置をスタッフ端末４０の遅延ユーザ情報表示部４０１が表示するように構成してもよい。 In the third embodiment, the information display system 3 includes a position acquisition request unit in the staff terminal 40, and even when the staff terminal 40 recognizes that the user is not the delayed user, the staff terminal 40 designates the user and requests acquisition of position information. It may be configured as Further, in response to a request to acquire position information, the user position acquisition unit 222 of the server 22 may be configured to acquire the user's position and notify the staff terminal 40 of it. Further, in this case, the delayed user information display unit 401 of the staff terminal 40 may be configured to display the acquired position of the user.

１、２、３情報表示システム
１０、１１情報表示装置
２０、２１、２２サーバ
３０ユーザ端末
４０スタッフ端末
１０１撮像部
１０２ユーザ方向認識部
１０３表示部
１１１、１１２、１１３表示制御部
１２１、１２２、１２３表示素子
１３０レンチキュラーレンズ
１３１、１３２、１３３ディスプレイ
２０１一般情報取得部
２０２ユーザ認証部
２０３個別情報取得部
２０４表示画面生成部
２１１グループ判断部
２２１遅延ユーザ認識部
２２２ユーザ位置取得部
３０１撮像部
３０２情報登録部
４０１遅延ユーザ情報表示部
５０情報処理装置
５１ＣＰＵ
５２ＲＯＭ
５３ＲＡＭ
５４プログラム
５５記憶装置
５６記録媒体
５７ドライブ装置
５８通信インタフェース
５９通信ネットワーク
６０入出力インタフェース
６１バス 1, 2, 3 information display system 10, 11 information display device 20, 21, 22 server 30 user terminal 40 staff terminal 101 imaging unit 102 user direction recognition unit 103 display unit 111, 112, 113 display control unit 121, 122, 123 Display element 130 Lenticular lens 131, 132, 133 Display 201 General information acquisition unit 202 User authentication unit 203 Individual information acquisition unit 204 Display screen generation unit 211 Group determination unit 221 Delayed user recognition unit 222 User position acquisition unit 301 Imaging unit 302 Information registration Unit 401 Delayed user information display unit 50 Information processing device 51 CPU
52 ROMs
53 RAM
54 program 55 storage device 56 recording medium 57 drive device 58 communication interface 59 communication network 60 input/output interface 61 bus

Claims

an imaging unit that captures a face image including the user's face;
an authentication unit that determines whether or not the user can be authenticated using the face image of the user that satisfies the predetermined condition when the line-of-sight direction of the user estimated using the face image satisfies the predetermined condition;
an acquisition unit that acquires flight information related to the flight of the user that has been successfully authenticated by the authentication unit;
Based on the flight information acquired by the acquisition unit, information about the boarding gate, distance to the boarding gate, direction of the boarding gate, boarding time, and a difference between the current time and the boarding time is a predetermined time. a display screen generation unit that generates a first screen showing together information for the user to enjoy until the boarding time when the number is greater than or equal to the boarding time;
a display unit that displays different screens in a first direction and a second direction based on the screen generated by the display screen generation unit;
The display unit has a plurality of users present in the first direction with respect to the display unit, authentication of all of the plurality of users has succeeded, and information common to the flight information of all of the plurality of users is if present, displaying the first screen for the first direction and displaying the second screen for the second direction;
The display unit displays the flight information of all of the plurality of users even when the plurality of users are present in the first direction with respect to the display unit and authentication of all of the plurality of users is successful. if there is no common information, displaying the second screen for the first direction and the second direction ;
further comprising a user direction recognition unit that recognizes the direction of the user;
further comprising a group judgment unit for judging whether or not all of the plurality of users are successfully authenticated and the plurality of users belong to one group when there are a plurality of users in the same direction;
When the plurality of users are present in the first direction with respect to the display unit, authentication of all of the plurality of users is successful, and common information exists in the flight information of all of the plurality of users, The display unit displays the first screen in the specified first direction, and displays the second screen of general information in the second direction where the user is not present,
When even one of the plurality of users fails authentication, and when the group determination unit determines that the plurality of users are not in one group, the display unit displays the designated first Display said second screen of general information in the direction
Information display system.

further comprising a user direction recognition unit that recognizes the direction of the user;
The display screen generation unit designates the first direction for displaying the first screen,
the display unit displays the first screen in the specified first direction;
The information display system according to claim 1.

further comprising an information acquisition unit that acquires information from the registered user terminal;
The acquisition unit acquires information about the user's action schedule from the user terminal,
The display screen generation unit generates the first screen based on information about the user's action schedule.
The information display system according to claim 1 or 2.

staff terminals,
Obtaining the flight information reserved from the user terminal, determining whether the user is delayed based on the flight information and position information of an information processing device including the imaging unit that has captured an image of the user, a delayed user recognition unit that transmits the location information of the user to the staff terminal when the is delayed;
The staff terminal displays the location information of the user when the user is delayed and when the staff designates the user and requests acquisition of location information;
The information display system according to claim 3.

further comprising a user location acquisition unit that acquires location information of the registered user terminal and transmits the location information of the user terminal to the staff terminal;
The information display system according to claim 4.

The information display system according to any one of claims 1 to 5, wherein the display screen generation unit displays recommended information on the first screen based on the user's spare time.

The information display system according to any one of claims 1 to 6, wherein the display unit displays the second screen showing how crowded the store or the security checkpoint is.

further comprising a general information acquiring unit for acquiring information indicating how crowded the store or security checkpoint is,
The information display system according to claim 7, wherein the display screen generator generates the second screen based on information indicating how crowded the store is.

The information display system according to claim 7 or 8, wherein the display screen generation unit displays information indicating recommended products of the store on the second screen.

10. The information display system according to any one of claims 7 to 9, wherein the display screen generator causes the first screen to display the direction and distance of the store as seen from the user.

When the current time and the boarding time are greater than the boarding time by a predetermined time or more, the display screen generation unit extracts stores that can be reached by the boarding time based on at least one of the user's access history and search history. , generating the first screen showing the direction to the store, the distance to the store, and information about recommended products of the store;
The information display system according to any one of claims 1 to 10.

Capturing a face image including the user's face,
when the gaze direction of the user estimated using the face image satisfies a predetermined condition, determining whether or not the user is authenticated using the face image of the user who satisfies the predetermined condition;
obtaining flight information for flights of the successfully authenticated user;
Based on the acquired flight information, if the difference between the information on the boarding gate, the distance to the boarding gate, the direction of the boarding gate, the boarding time, and the current time and the boarding time is greater than or equal to a predetermined time generating a first screen showing information for the user to enjoy until the boarding time, and
displaying different screens in the first direction and the second direction on the display unit based on the generated screen;
When a plurality of users are present in the first direction with respect to the display unit, authentication of all of the plurality of users is successful, and common information exists in the flight information of all of the plurality of users, displaying the first screen in the first direction and displaying the second screen in the second direction;
Even when the plurality of users are present in the first direction with respect to the display unit and authentication of all of the plurality of users is successful, information common to the flight information of all of the plurality of users is if not, displaying the second screen for the first direction and the second direction ;
recognizing the direction of the user;
if there are multiple users in the same direction, determining whether all of the multiple users have been successfully authenticated and whether the multiple users are one group;
When the plurality of users are present in the first direction with respect to the display unit, authentication of all of the plurality of users is successful, and common information exists in the flight information of all of the plurality of users, displaying the first screen in the designated first direction, and displaying the second screen of general information in the second direction where the user does not exist;
When even one of the plurality of users fails authentication, and when it is determined that the plurality of users are not one group, the second screen of general information in the designated first direction display the
Screen generation method.

a process of capturing a face image including the user's face;
a process of determining whether or not the user is authenticated using the face image of the user who satisfies the predetermined condition when the line-of-sight direction of the user estimated using the face image satisfies the predetermined condition;
A process of obtaining flight information about a flight of the successfully authenticated user;
Based on the acquired flight information, if the difference between the information on the boarding gate, the distance to the boarding gate, the direction of the boarding gate, the boarding time, and the current time and the boarding time is greater than or equal to a predetermined time A process of generating a first screen that also shows information for the user to enjoy until the boarding time;
causing a computer to execute a process of displaying different screens in the first direction and the second direction on the display unit based on the generated screen;
When a plurality of users are present in the first direction with respect to the display unit, authentication of all of the plurality of users is successful, and common information exists in the flight information of all of the plurality of users, displaying the first screen in the first direction and displaying the second screen in the second direction;
Even when the plurality of users are present in the first direction with respect to the display unit and authentication of all of the plurality of users is successful, information common to the flight information of all of the plurality of users is if it does not exist, cause a computer to execute a process of displaying the second screen in the first direction and the second direction ;
to the computer,
recognizing the direction of the user;
If there are multiple users in the same direction, all of the multiple users are successfully authenticated and it is determined whether the multiple users are one group;
When the plurality of users are present in the first direction with respect to the display unit, authentication of all of the plurality of users is successful, and common information exists in the flight information of all of the plurality of users, displaying the first screen in the designated first direction, and displaying the second screen of general information in the second direction where the user does not exist;
When even one of the plurality of users fails authentication, and when it is determined that the plurality of users are not one group, the second screen of general information in the designated first direction display
program.