JP7340896B1 - 検索表示プログラム、検索表示装置、及び検索表示システム - Google Patents

検索表示プログラム、検索表示装置、及び検索表示システム Download PDF

Info

Publication number
JP7340896B1
JP7340896B1 JP2023002278A JP2023002278A JP7340896B1 JP 7340896 B1 JP7340896 B1 JP 7340896B1 JP 2023002278 A JP2023002278 A JP 2023002278A JP 2023002278 A JP2023002278 A JP 2023002278A JP 7340896 B1 JP7340896 B1 JP 7340896B1
Authority
JP
Japan
Prior art keywords
search
image data
unit
display
search key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023002278A
Other languages
English (en)
Inventor
優太 内藤
Original Assignee
エピソテック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エピソテック株式会社 filed Critical エピソテック株式会社
Priority to JP2023002278A priority Critical patent/JP7340896B1/ja
Application granted granted Critical
Publication of JP7340896B1 publication Critical patent/JP7340896B1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】ユーザが撮影対象物を撮像したとき、その対象物に関連する情報を自動的に検索し仮想オブジェクトとして表示することで、ユーザの利便性を向上する。【解決手段】情報端末の演算部に対し、撮影対象物4を含む第1視野を撮像部16により撮像し、第1画像データを取得する第1画像データ取得手順(S2)と、S2で取得した第1画像データを人工知能部へ向けて出力する第1画像データ出力手順(S3)と、S3で出力した第1画像データに対応して人工知能部から出力された第1検索キー情報5を取得する第1検索キー取得手順(S4)と、S4で取得した第1検索キー情報5を用いて第1検索対象体を検索する第1検索手順(S5)と、S5での第1検索結果物を、第1視野内の仮想オブジェクト6として表示部11の第1所定部位において表示する第1表示手順(S7)とを実行させる検索表示プログラム。【選択図】図5

Description

本発明は、現実世界の映像データに仮想オブジェクトを重ねて表示する際に用いられる、検索表示プログラム、検索表示装置、及び検索表示システムに関する。
近年、AR(拡張現実)等と称され、現実世界の映像に仮想の視覚情報を有する仮想オブジェクトを重ねて表示する技術の開発が進められている。このような技術に関連して、例えば、特許文献1の図7、図8、段落[0060]等には、ユーザの所定操作により撮像された撮影対象物の実画像(現実世界の映像)を、仮想オブジェクト(特許文献1においては、VR映像)に重ねて表示する技術について記載されている。
特開2021-9647号公報
このような技術を用途展開する際、ユーザが撮影対象物を撮像したとき、その対象物に関連する情報を自動的に検索し検索結果を仮想オブジェクトとして表示するようにすれば、対象物について何か知りたいことがあるような場合、その対象物を撮像するだけで関連する情報を得ることができて便利である。しかし、上記特許文献1には、そのようなニーズについて特に配慮されていない。
本発明の目的は、ユーザが撮影対象物を撮像したとき、その対象物に関連する情報を自動的に検索し仮想オブジェクトとして表示することで、ユーザの利便性を向上する検索表示プログラム、検索表示装置、及び検索表示システムを提供することにある。
上記目的を達成するために、本願発明は、撮像部と、表示部と、演算部と、を有する情報端末の前記演算部に対し、撮影対象物を含む第1視野を前記撮像部により撮像し、対応する第1画像データを取得する第1画像データ取得手順と、前記第1画像データ取得手順で取得した前記第1画像データを、人工知能部へ向けて出力する第1画像データ出力手順と、前記第1画像データ出力手順で出力した前記第1画像データに対応して前記人工知能部から出力された、当該第1画像データに対応する第1検索キー情報を取得する第1検索キー取得手順と、前記第1検索キー取得手順で取得した前記第1検索キー情報を用いて、前記撮影対象物に関連付けられる第1検索対象体を検索する第1検索手順と、前記第1検索手順での第1検索結果物を、前記第1視野内の仮想オブジェクトとして前記表示部の第1所定部位において表示する第1表示手順とを実行させるための、検索表示プログラムであることを特徴としている。
本願発明の検索表示プログラムは、情報端末の演算部で実行される。ユーザが情報端末の撮像部を用いて適宜の撮影対象物を撮像すると、その対象物を含む視野(第1視野)に対応する画像データ(第1画像データ)が取得される(第1画像データ取得手順)。撮影対象物の例としては、例えば各種施設の内部又は周辺部に配置された機器(ポンプ、バルブ、ハシゴ、スイッチ盤等)や販売用に陳列された販売品(自動車、家電品、各種物品等)等がある。
取得された第1画像データは情報端末に接続された人工知能部へと出力され(第1画像データ出力手順)、人工知能部において当該第1画像データに対応した第1検索キー情報が決定される。第1検索キー情報の例としては、撮影対象物を表す又は関連するテキストやいわゆるタグ等がある。決定された第1検索キー情報は人工知能部から出力され、情報端末において取得される(第1検索キー取得手順)。
その後、取得された第1検索キー情報を用いて、撮影対象物に関連付けられる検索対象体(第1検索対象体)が検索される(第1検索手順)。検索対象体の例としては、撮影対象物に係わる各種情報が予め蓄積されている社内データベース、公共機関のデータベース、市場に公開されているデータベース、等の各種データベースや、ネットワークを介し随意にアクセス可能な各種webサイト、等がある。
そして、検索対象体での検索の結果得られた検索結果物(第1検索結果物)は、情報端末の表示部における上記第1視野の中の所定部位において、仮想オブジェクトの形で表示される(第1表示手順)。検索結果物の例としては、例えば、撮影対象物に係わる各種文書(操作マニュアル、各種履歴、汚損情報)、各種画像(静止画・動画)、各種webサイト、等がある。これにより、第1視野の中には、撮影対象物の実像が表示されると共に、例えばその脇に、検索結果物の仮想オブジェクトが併せて表示されることになる。
以上の結果、本願発明によれば、ユーザが撮影対象物を適宜に撮像するだけで、その撮影対象物に関する各種情報が、当該撮影対象物の実画像と共に同一視野内に自動的に表示される。これにより、ユーザは、対象物について何か知りたいことがある場合、その対象物を撮像するだけで関連する情報を得ることができ、しかも同一視野内において対象物の実像と共にその情報を視認することができるので、利便性を飛躍的に向上することができる。
また、一般に、撮影された視野の中に仮想オブジェクトを表示しようとする場合、視野の中に何らかの物品が映された場合に、視野の中のどの場所にどの情報を表示させるかを固定的に決めておく(いわゆるマーキング)必要があり、そのマーキングを手動操作にて行うために多大な労力が必要となる。これに対して本願発明では、予め表示場所だけを適宜に決めておけば、その中にどの情報を表示するかは人口知能部により自動的に決定されるので、上記のような手動操作のための労力は必要なくなる。
本発明によれば、ユーザが撮影対象物を撮像したとき、その対象物に関連する情報を自動的に検索し仮想オブジェクトとして表示することで、ユーザの利便性を向上する。
第1実施形態に係る検索表示システムの概略的なシステム構成図である。 工場施設内で撮像された第1画像データの一例及び第1画像データに対応して出力される第1検索キー情報の一例を表す図である。 施設関連情報データベースの一例を表す図である。 仮想オブジェクト6が表示された表示部の表示画面の一例を表す図である。 操作端末の制御部により実行される各処理を表すフローチャートである。 第2実施形態に係る検索表示システムの概略的なシステム構成図である。 中古車販売店で撮像された第1画像データの一例及び第1画像データに対応して出力される第1検索キー情報の一例を表す図である。 公開データベースの一例を表す図である。 軽自動車に対応する仮想オブジェクトが表示された表示部の表示画面の一例を表す図である。 操作端末の制御部により実行される各処理を表すフローチャートである。 汚損状態情報に対応する第2画像データの一例及び汚損箇所に対応する第2検索結果物が、第2視野内の仮想オブジェクトとして表示された、表示部の表示画面の一例を表す図である。 第2検索結果物を仮想オブジェクトとして表示する際に、操作端末の制御部により実行される各処理を表すフローチャートである。 Wifiルータを撮影対象物とした第1画像データ及び第1画像データに対応して出力される第1検索キー情報の一例を表す図である。 第1検索対象体を検索して得られた第1検索結果物及び第1検索結果物を仮想オブジェクトとして表示した際の表示部の表示画面を表す図である。 第3実施形態において操作端末の制御部により実行される各処理を表すフローチャートである。 家電販売店で販売される複数のテレビを含む第1視野を撮像した第1画像データ及び第1画像データに対応する仮想オブジェクトが重ねて表示された表示部の表示画面を表す図である。 変形例において操作端末の制御部により実行される各処理を表すフローチャートである。
以下、本発明の第1実施形態を図面を参照して説明する。なお、以下に説明する実施形態は説明のためのものであり、本発明の技術的範囲を制限するものではない。したがって、当業者であれば下記の各構成要素を均等なものに置換した実施形態を採用することができ、それらについても本発明の技術的範囲に含まれる。また、以下の説明では、本発明の理解を容易にするため、重要でない公知の技術的事項の説明を適宜省略又は簡略化する。
<システム構成>
図1に第1実施形態に係る検索表示システムの概略的なシステム構成図を示す。検索表示システムは、ユーザが操作する操作端末10Aと、クラウドサーバ20と、各種の製品やサービス等を提供する企業の社内サーバ30とを含む。
操作端末10Aは例えばスマートフォン、タブレット端末、ノート型パソコン、もしくはメガネ型のスマートグラス等の端末である。操作端末10Aは、表示部11と、制御部12と、操作部15と、撮像部16と、記憶部17とを有する。操作端末10Aが情報端末の一例である。
表示部11は例えばディスプレイ等である。
制御部12は、例えばCPUであり、各種の情報処理を実行する。なお、制御部12は、演算部の一例である。制御部12は、仮想オブジェクトを生成する仮想オブジェクト生成部13と、仮想オブジェクトの表示位置を設定するオブジェクト位置設定部14とを機能的に備える。
撮像部16は、カメラレンズ等により、現実世界の画像データを撮像する。
操作部15はユーザによって操作される、タッチパネルやボタン、キーボード等であって、表示部11と一体化したものであってもよい。
記憶部17は、アプリケーションプログラム18を含む各種のプログラム等を記憶する。アプリケーションプログラム18が、検索表示プログラムの一例である。
クラウドサーバ20は人工知能(AI)モジュール23を提供する。人工知能(AI)モジュール23は人工知能部の一例である。
クラウドサーバ20は、例えばインターネット等の通信ネットワーク3を介して、操作端末10Aとの間で画像、テキスト、タグ等の各種データ情報を送受可能となっている。
人工知能(AI)モジュール23は、画像認識、テキスト認識、タグ認識等の各種機能を備え、人工知能(AI)モジュール23に所定の画像を送信すれば、画像に映っている製品の製品名を画像認識により自動的に出力したり、画像に映っているテキストをテキスト認識により自動的に出力するようになっている。
このような人工知能(AI)モジュール23としては、オンライン上で有償提供されている公知のものを用いることができる。
操作端末10Aは、予め図示されない外部サーバ等からアプリケーションプログラム18をダウンロード及びインストールすることで、記憶部17に当該アプリケーションプログラム18が記憶され、制御部12に仮想オブジェクト生成部13及びオブジェクト位置設定部14が機能的に実装される。
社内サーバ30は、制御部31、施設関連情報データベース32、記憶部33を備える。施設関連情報データベース32には、撮像部16により撮像される撮影対象物に関連付けられる所定の検索対象体が記憶されている。社内サーバ30は、例えば、社外からはアクセスが制限されたサーバであり、少なくとも操作端末10Aとは、相互に情報送受可能となっている。
<第1画像データ2A>
図2(a)に工場施設内で撮像された第1画像データ2Aの一例を示す。第1画像データ2Aは、工場施設内部に配置された施設関連機器である渦巻きポンプ4A、はしご4B、スイッチ盤4C等を撮影対象物4として含む第1視野を、ユーザが操作端末10Aの撮像部16により撮像することで取得される。
第1画像データ2Aは、静止画としてのデータであっても、動画としてのデータであってもよい。
<第1検索キー情報>
図2(b)に、図2(a)の第1画像データ2Aに対応して出力される第1検索キー情報5の一例を示す。第1検索キー情報5は、操作端末10Aから出力された第1画像データ2Aに基づき、人工知能(AI)モジュール23から出力される。この例では、第1画像データ2Aに含まれる渦巻きポンプ4A、はしご4B、スイッチ盤4Cの全体外観もしくは部分外観を含む画像データが人工知能(AI)モジュール23により画像認識され、対応する第1検索キー情報5として、「渦巻きポンプ」を意味するタグ5A、「はしご」を意味するタグ5B、「スイッチ盤」を意味するタグ5Cが出力される。なお、タグ5A、タグ5B、タグ5Cはそれぞれテキスト5A、テキスト5B、テキスト5Cであってもよい。
この例では、第1画像データ2Aに含まれる撮影対象物4が人工知能(AI)モジュール23により画像認識されているが、撮影対象物4が人工知能(AI)モジュール23によりテキスト認識や、タグ認識されてもかまわない。その場合は、例えば、渦巻きポンプ4A本体に表記された「渦巻きポンプ」等のテキストや、「渦巻きポンプ」を表す型番や記号(タグ)等を、人工知能(AI)モジュール23が第1画像データ2Aから認識し、得られたテキストやタグ等を出力することとなる。
また、この例では、第1検索キー情報5として、タグが用いられているが、第1検索キー情報5としてテキスト等を用いてもよい。
<施設関連情報データベース32A>
図3に第1検索キー情報5としてのタグ5A、タグ5B、タグ5Cに関連付けられる施設関連情報データベース32Aの一例を示す。施設関連情報データベース32Aは第1検索対象体の一例であり、工場施設を所有する会社の社内サーバ(社内サーバ30)に保管されている。
施設関連情報データベース32Aには工場施設内に設置される各種の機械設備についてのID、機器種類名、対応する操作マニュアルの保管場所(アドレス)、過去のインシデント(事故)動画の保管場所(アドレス)、修復履歴があらかじめ入力され、記憶されている。ID、機器種類名、操作マニュアル、過去のインシデント動画、修復履歴は、第1検索結果物の一例である。
この図では、操作端末10Aの制御部12等が、「渦巻きポンプ」を意味するタグ5Aにより施設関連情報データベース32A内を所定の検索プログラム等を介して検索することで、IDがPumpA2、機器種類名が渦巻きポンプの渦巻きポンプ4Aが特定され、渦巻きポンプ4Aに関連する操作マニュアルのアドレス「xxx//yyy/pump-b.pdf」、インシデント動画のアドレス「xxx//yyy/pump-b.mp4」、修復履歴「2021年4月:パーツB交換」といった第1検索結果物が検索される(太枠で示される範囲)。
なお、この例では、画像認識のみで渦巻きポンプ4Aを特定しているが、画像認識とテキスト認識とを組み合わせて、渦巻きポンプ4Aを特定してもよい。すなわち、ポンプ本体に記された型番や機器名等のテキスト、ポンプの近辺に表示された施設内の区画番号等を人工知能(AI)モジュール23によりテキスト認識、もしくはタグ認識し、渦巻きポンプ4Aの画像認識結果と組み合わせることにより、渦巻きポンプ4Aを特定してもよい。このような手法は特に工場施設内に同じような機器が複数ある場合等に有効である。また画像認識の精度向上のために併用されてもよい。以下の全実施形態についても同様の説明が適用される。
<仮想オブジェクト6が表示された表示画面>
図4に、仮想オブジェクト6が表示された表示部11の表示画面の一例を示す。この図では、渦巻きポンプ4Aの第1検索結果物として図3で検索された機器種類名「渦巻きポンプ」が仮想オブジェクト6A、操作マニュアルが仮想オブジェクト6B、インシデント動画が仮想オブジェクト6C、修復履歴が仮想オブジェクト6Dとして表示部11に表示されている。仮想オブジェクト6は、撮像部16で撮像されるとともに表示部11に表示されている、第1視野の実映像に、重ねて表示される。第1画像データ2Aの取得から仮想オブジェクト6の表示までは、若干のライムラグが生じるが、処理が早ければ、リアルタイムで撮像される映像に仮想オブジェクト6が表示されているように、体感される。
前記第1所定部位は、渦巻きポンプ4Aの近傍、例えば、渦巻きポンプ4Aの中心座標から上下左右の所定の方角に所定距離離れた座標等に設定される。この図では、仮想オブジェクト6Aは渦巻きポンプ4Aの下部、仮想オブジェクト6Bは渦巻きポンプ4Aの左上部、仮想オブジェクト6Cは渦巻きポンプ4Aの上部、仮想オブジェクト6Dは渦巻きポンプ4Aの右上部に表示されている。これらの所定部位は仮想オブジェクト毎に設定されていてもよく、複数設定された所定部位の中からランダムに選択されて表示されるようになっていてもよい。
この図では、図示の煩雑を避けるため、渦巻きポンプ4Aに関連する仮想オブジェクト6A、6B、6C、6Dのみが表示部11に表示されているが、実際には、はしご4Bやスイッチ盤4C等の仮想オブジェクト6についても同一表示画面に表示されている。なお、例えば表示部11の中央付近に位置する撮影対象物4についてのみ、関連する仮想オブジェクト6を表示するようにしたり、指で任意の撮影対象物4をタップする等の操作に応じて、関連する仮想オブジェクト6を表示するようになっていてもよい。
なお、仮想オブジェクト6Bとしての操作マニュアルは、指によるタップや、ページをめくるジェスチャー等により、オブジェクトが表示された領域範囲内において、ページをめくるようにして複数ページを表示させることができる。なお、仮想オブジェクト6Cとしてのインシデント動画は、指によるタップや、ジェスチャー等により、オブジェクトが表示された領域範囲内において、動画再生や動画停止を行うことができる。
<制御部12等による処理>
図5に、操作端末10Aの制御部12により実行される各処理を表すフローチャートを示す。以下の処理は、操作端末10Aにおいて、アプリケーションプログラム18(検索表示プログラムの一例)が起動されることにより、開始される。
まずS1において、制御部12は、撮像部16により、任意の撮影対象物4を含む第1視野の撮像が開始されたか否かを判定する。
第1視野の撮像が開始されていた場合、Yes判定され、処理はS2に移行する。第1視野の撮像が開始されていなかった場合、No判定され、処理はS1に戻る。
次いで、S2において、制御部12は、撮像部16により撮像された第1視野に対応する第1画像データ2Aを取得する。このS2が第1画像データ取得手順の一例である。
次いで、S3において、制御部12は、S2で取得した第1画像データ2Aを、クラウドサーバ20の、人工知能(AI)モジュール23に対して出力する。このS3が第1画像データ出力手順の一例である。
次いで、S4において、制御部12は、S3で出力した第1画像データ2Aに対応して人工知能(AI)モジュール23から出力された、第1画像データ2Aに対応する第1検索キー情報5を、例えばテキストやタグ等のデータ形式として、取得する。このS4が第1検索キー取得手順の一例である。
次いで、S5において、制御部12は、S4で取得した第1検索キー情報5を用いて、撮影対象物4に関連付けられる施設関連情報データベース32Aを検索する。このS5が第1検索手順の一例である。
次いで、S6において、制御部12の仮想オブジェクト生成部13は、S5で検索して得られた第1検索結果物に対応する仮想オブジェクト6を生成する。
次いで、S7において、制御部12のオブジェクト位置設定部14は、S6で生成された仮想オブジェクト6を表示させる第1所定部位を設定し、表示部11において、仮想オブジェクト6を、ユーザにより撮像される第1視野内の所定位置に表示し、処理を終了する。このS7が第1表示手順の一例である。
<第1実施形態の効果>
本実施形態の検索表示プログラムは、操作端末10Aの制御部12で実行される。ユーザが情報端末の撮像部16を用いて適宜の撮影対象物4を撮像すると、その対象物を含む視野(第1視野)に対応する画像データ(第1画像データ2A)が取得される(第1画像データ取得手順)。撮影対象物4の例としては、例えば各種施設の内部又は周辺部に配置された機器(ポンプ、バルブ、ハシゴ、スイッチ盤等)や販売用に陳列された販売品(自動車、家電品、各種物品等)等がある。
取得された第1画像データ2Aは操作端末10Aに接続された人工知能(AI)モジュール23へと出力され(第1画像データ出力手順)、人工知能(AI)モジュール23において第1画像データ2Aに対応した第1検索キー情報5が決定される。第1検索キー情報5の例としては、撮影対象物4を表す又は関連するテキストやいわゆるタグ等がある。決定された第1検索キー情報5は人工知能(AI)モジュール23から出力され、操作端末10Aにおいて取得される(第1検索キー取得手順)。
その後、取得された第1検索キー情報5を用いて、撮影対象物4に関連付けられる検索対象体(第1検索対象体)が検索される(第1検索手順)。検索対象体の例としては、撮影対象物に係わる各種情報が予め蓄積されている社内データベース(施設関連情報データベース32A)、公共機関のデータベース、市場に公開されているデータベース、等の各種データベースや、ネットワークを介し随意にアクセス可能な各種webサイト、等がある。
そして、検索対象体での検索の結果得られた検索結果物(第1検索結果物)は、操作端末10Aの表示部11における第1視野の中の所定部位において、仮想オブジェクト6の形で表示される(第1表示手順)。検索結果物の例としては、例えば、撮影対象物4に係わる各種文書(操作マニュアル、各種履歴、汚損情報)、各種画像(静止画・動画)、各種webサイト、等がある。これにより、第1視野の中には、撮影対象物4の実像が表示されると共に、例えばその脇に、検索結果物の仮想オブジェクト6が併せて表示されることになる。
以上の結果、本実施形態によれば、ユーザが撮影対象物4を適宜に撮像するだけで、その撮影対象物4に関する各種情報が、撮影対象物4の実画像と共に同一視野内に自動的に表示される。これにより、ユーザは、対象物について何か知りたいことがある場合、その対象物を撮像するだけで関連する情報を得ることができ、しかも同一視野内において対象物の実像と共にその情報を視認することができるので、利便性を飛躍的に向上することができる。
また、一般に、現実世界において撮影された視野の中に仮想オブジェクト6を表示しようとする場合、視野の中に何らかの物品が映された場合に、視野の中のどの場所にどの情報を表示させるかを固定的に決めておく(いわゆるマーキング)必要があり、そのマーキングを手動操作にて行うために多大な労力が必要となる。これに対して本実施形態では、予め表示場所だけを適宜に決めておけば、その中にどの情報を表示するかは人口知能部により自動的に決定されるので、上記のような手動操作のための労力は必要なくなる。
また、本実施形態では特に、ユーザが施設関連機器を撮像するだけで、自動的に施設関連情報データベース32Aが検索され、必要な所望の情報(操作マニュアル、メンテナンス履歴、インシデント動画、等)を得ることができる。
このような仮想オブジェクト6の表示は、ユーザが現場で、操作端末10Aを操作しながら、工場等の所定施設内の機械設備の保守点検や修理、メンテナンス、又は新人研修等の教育等の目的のために、使用することができる。
次に、本発明の第2実施形態を図面を参照して説明する。
<システム構成>
図6に、第2実施形態に係る検索表示システムの概略的なシステム構成図を示す。第2実施形態において、検索表示システムは、図1に示した社内サーバ30のかわりに、ネットワーク通信によりアクセス可能なWebサーバ40、Webサーバ50・・・を含む。Webサーバ40やWebサーバ50には、例えば、撮影対象物4の製造メーカーである、企業の公式ホームページや製品データベース等が公開されている。
<第1画像データ2B>
図7(a)に中古車販売店で撮像された第1画像データ2Bの一例を示す。この例において、第1画像データ2Bは、中古車販売店に陳列されて販売されている、ライト4E及びエンブレム4Fを備えた軽自動車4Dを撮影対象物4として含む第1視野をユーザが操作端末10Aの撮像部16により撮像することで取得される。
<第1検索キー情報>
図7(b)に、第1画像データ2Bに対応して出力される第1検索キー情報5の一例を示す。この例では、第1画像データ2Bに含まれるライト4E、エンブレム4F、軽自動車4Dのそれぞれの全体外観に対応する画像データが人工知能(AI)モジュール23により画像認識され、対応する第1検索キー情報5として、「軽自動車」を意味するタグ5D、「ライト」を意味するタグ5E、軽自動車のメーカーの1つである「ススキ」を意味するタグ5Fが出力される。
<公開データベース7>
図8に第1検索キー情報5としてのタグ5D、タグ5E、タグ5Fに関連付けられる公開データベース7の一例を示す。公開データベース7は第1検索対象体の一例であり、例えばWebサーバ40やWebサーバ50において、中古車販売店の公式ホームページに、製品情報として公開されている。
公開データベース7には中古車販売店で販売されている中古車のタグ(ここでは、メーカー名)、車種、走行距離、セールスポイント、汚損状態情報(傷や汚れに関する情報)等があらかじめ入力され、記憶されている。タグ(メーカー名)、車種、走行距離、セールスポイント、汚損状態情報は、第1検索結果物の一例である。
この図では、操作端末10Aの制御部12が、タグ5D、タグ5E、タグ5Fにより公開データベース7を検索し、同じような製品が複数ある場合、軽自動車4Dに付された走行距離等をテキスト認識し、タグ認識と組み合わせて撮影対象物4を特定する。ここではタグが「ススキ」、車種が「チムニー4WD」、走行距離が「165000km」、セールスポイントが「全塗装済み」、汚損状態情報が「シートカバー汚れあり」の軽自動車4Dが検索されている。
<仮想オブジェクト6が表示された表示画面>
図9に、軽自動車4Dに対応する仮想オブジェクト6が表示された表示部11の表示画面の一例を示す。この図では、軽自動車4Dの第1検索結果物として図7で検索されたセールスポイント「全塗装済み」が仮想オブジェクト6E、汚損状態情報である「シートカバー汚れあり」が仮想オブジェクト6Fとして表示部11の所定部位に表示されている。
<制御部12等による処理>
図10に、操作端末10Aの制御部12により実行される各処理を表すフローチャートを示す。
この実施形態においては、図5のS5に対応するS5′において、制御部12は、S4で取得した第1検索キー情報5を用いて、撮影対象物4に関連付けられるWebサーバ40の自社サイト(中古車販売店のサイト)を検索する。前記自社サイト内には例えば図8で説明した公開データベース7が記憶されている。このS5′もまた第1検索手順の一例である。
<汚損状態情報>
図11(a)に汚損状態情報に対応する第2画像データ8Aの一例を示す。第2画像データ8Aは、図9の表示部11に表示された仮想オブジェクト6Fに対応する汚損箇所(この図では運転席側のシートカバーSの傷K)を含む第2視野を、ユーザが撮像部16により撮像することで取得される。
図11(b)は、傷Kに対応する第2検索結果物が、第2視野内の仮想オブジェク6G及び仮想オブジェクト6Hとして第2所定部位に表示された、表示部11の表示画面の一例である。この図では、シートカバーSの傷Kを補修する場合の補修案(修理業者情報、修理方法、価格等を含む)が第2検索結果物であり、シートカバーを全取り換えする場合の補修案を提案する仮想オブジェクト6Gと、シートカバーを部分補修する場合の補修案を提案する仮想オブジェクト6Hとが、第2視野内の実映像に重ねて表示されている。第2検索結果物としては、前記汚損箇所に関連したあらゆる情報であって、ここに示した例以外にも、例えばメンテナンス履歴や、市場の代替品価格情報等の様々の情報が含まれる。これらの第2検索結果物は、公開データベース7等から検索されてもよいし、Webサーバ上の任意の検索エンジン等から、自動的に検索されるようにしてもよい。
<制御部12等による処理>
第2検索結果物を仮想オブジェクト6として表示する際に、操作端末10Aの制御部12により実行される各処理を表すフローチャートを図12に示す。
図5のS1に対応するS1′において、制御部12は、撮像部16により汚損箇所を含む第2視野の撮像が開始されたか否かを判定する。
次いで、図5と同様のS2において、制御部12は、S1′で撮像された第2視野に対応する第2画像データ8Aを取得する。このS2が第2画像データ取得手順の一例である。
次いで、図5と同様のS3において、制御部12は、S2で取得した第2画像データ8Aをクラウドサーバ20に出力する。このS3が第2画像データ出力手順の一例である。
次いで、図5と同様のS4において、制御部12は、S3で出力した第2画像データ8Aに対応して人工知能(AI)モジュール23から出力された、第2検索キー情報を、例えばテキストやタグ等のデータ形式として、取得する。このS4が第2検索キー取得手順の一例である。
次いで、図5のS5に対応するS5′において、制御部12は、S4で取得した第2検索キー情報を用いて、Webサーバの自社サイト内を検索する。このS5が第2検索手順の一例である。
図5と同様のS7において、制御部12のオブジェクト位置設定部14は、S6で生成された仮想オブジェクト6を表示させる第2所定部位を設定し、表示部11において、仮想オブジェクト6を、ユーザにより撮像されている第2視野内の映像に重ねて表示し、処理を終了する。このS7が第2表示手順の一例である。
<第2実施形態の効果>
本実施形態では、第1検索結果物が撮影対象物の汚損状態情報を含むことにより、ユーザが販売品を撮像するだけで、自動的に各種webサイトが検索され、必要な所望の情報(製品が新品か中古品か、中古品である場合には汚れや傷の有無、その場所、程度等)を得ることができる。
また、本実施形態においては、前述のようにして販売品が撮像されることで汚損状態情報が第1視野内に表示されたとき、その汚損状態情報が表す汚損箇所を視認したユーザは、当該汚損箇所を含む視野(第2視野)を新たに撮像する。汚損箇所の例としては、例えば販売品が中古車であれば当該中古車の車体各部位や車体に取り付けた各部品等である。
上記撮像により、第2視野に対応する画像データ(第2画像データ8A)が取得される(第2画像データ取得手順)。取得された第2画像データ8Aは人工知能(AI)モジュール23へと出力され(第2画像データ出力手順)、人工知能(AI)モジュール23において当該第2画像データ8Aに対応した第2検索キー情報が決定される。第2検索キー情報は、上記第1検索キー情報と同様、例えば関連するテキストやいわゆるタグ等である。決定された第2検索キー情報は人工知能(AI)モジュール23から出力され、操作端末10Aにおいて取得される(第2検索キー取得手順)。
その後、取得された第2検索キー情報を用いて、撮影対象物に関連付けられる検索対象体(第2検索対象体)が検索される(第2検索手順)。第2検索対象体は、上記第1検索対象体と同様、例えば各種データベースや各種webサイト、等がある。ここでは、Webサーバ上の自社サイトが第2検索対象体として、検索される。
そして、第2検索対象体での検索の結果得られた検索結果物(第2検索結果物)は、上記第2視野の中の所定部位に、仮想オブジェクトの形で表示される(第2表示手順)。これにより、第2視野の中には、汚損箇所の実像が表示されると共に、例えばその脇に、第2検索結果物の仮想オブジェクトが併せて表示されることになる。
以上の結果、本実施形態によれば、販売品全体のみならず、販売品の汚損箇所をユーザが撮像することで、その汚損箇所に関する各種情報が、当該汚損箇の実画像と共に同一視野内に自動的に表示される。これにより、さらにユーザの利便性を向上することができる。
<変形例>
なお、本実施形態は、上記実施形態に限られるものではなく、その趣旨及び技術的思想を逸脱しない範囲内で種々の変形が可能である。以下、そのような変形例を順を追って説明する。
(1)汚損状態情報が操作ボタンを備える場合
本変形例においては、第1表示手順で仮想オブジェクト6Fとして表示される汚損状態情報は、操作ボタンを備える。制御部12は、前記操作ボタンが操作された場合、汚損状態情報の詳細内容情報又は関連情報(補修案の提案等)を新たに仮想オブジェクトとして表示部11において表示する第3表示手順を実行する。
本変形例においては、前述のようにして販売品が撮像されることで汚損情報が第1視野内に表示されたとき、ユーザはその汚損状態情報に備えられる操作ボタンを操作することができる。操作ボタンが操作されると、当該汚損状態情報の詳細内容情報又は関連情報(例えばどこの業者がいくらで直してくれるか、等)が新たに仮想オブジェクトとして表示部において表示される。これにより、さらにユーザの利便性を向上することができる。
(2)その他
次に、本発明の第3実施形態を図面を参照して説明する。
図13(a)にWifiルータ4Fを撮影対象物4とした第1画像データ2Cを、図13(b)に第1画像データ2Cに対応して出力される第1検索キー情報5の一例を示す。
この図では、第1画像データ2Cを元に、Wifiルータ4Fの全体外観から「WifiルータXXXモデル(製品名)」を意味するタグ5Gが、Wifiルータ4Fに付された型番やマークから社名「AB-RING」を意味するタグ5H、「CEマーキング」を意味するタグ5Iが、それぞれ人工知能(AI)モジュール23の画像認識又はテキスト認識又はタグ認識を介して出力される。
図14(a)に第1検索キー情報5により第1検索対象体を検索して得られた第1検索結果物の一例を示す。この例では、「WifiルータXXXモデル(製品名)」を意味するタグ5Gを第1検索キー情報5とし、人工知能(AI)モジュール23が所定の検索プログラムにより任意の検索エンジン等を介してWebサーバA40上の、Wifiルータ4Fの製造メーカーの公式ホームページを検索することで、例えばファームウェアアップデート案内w1、操作マニュアルw2、新製品紹介w3等の各ウェブページが、第1検索結果物として得られている。この時、第1検索対象体は、ネットワーク通信によりアクセス可能なウェブサイトであって、例えば、WebサーバA40等により提供される、「WifiルータXXXモデル」の製造メーカーの公式ホームページ等を含む。
図14(b)に第1検索結果物を仮想オブジェクト6として表示した際の表示部11の表示画面を示す。この図では、第1視野内に撮像されたWifiルータ4Fの実映像の所定部位に、Wifiルータ4Fのファームウェアアップデート案内w1、操作マニュアルw2、新製品紹介w3等の各ウェブサイトページに対応する仮想オブジェクト6I、6J、6Kが重ねて表示されている。
<制御部12等による処理>
第3実施形態において操作端末10Aの制御部12により実行される各処理を表すフローチャートを図15に示す。
図5のS5に対応するS5″において、制御部12は、S4で取得した第1検索キー情報を用いて、Webサーバの各社サイト内を検索する。なおここでいう前記各社サイトとは例えば撮影対象物4の製造メーカーの公式サイト等を指し、WebサーバA40、WebサーバB50等の複数のサーバ上で当該製造メーカーの公式サイトが検索されることを意味する。このS5″もまた第1検索手順の一例である。これ以外の点については図5と同様のため説明を省略する。
<第3実施形態の効果>
本実施形態においても第1実施形態及び第2実施形態と同様の効果を得る。また、本実施形態では、特に、あらかじめ用意されたデータベース等がない場合でも、制御部12は、メーカーの公式サイト等から、特定された撮影対象物4に関する一般的な第1検索結果物を検索し、仮想オブジェクト6として表示部11に表示する。
<変形例>
なお、本実施形態は、上記実施形態に限られるものではなく、その趣旨及び技術的思想を逸脱しない範囲内で種々の変形が可能である。以下、そのような変形例を順を追って説明する。
(1)検索結果に応じたアイコンが仮想オブジェクトとして表示される場合
図16(a)に家電販売店で販売される複数のテレビを含む第1視野を撮像した第1画像データ2Dを示す。図16(b)に第1画像データ2Dに対応する仮想オブジェクト6L~6Nが重ねて表示された表示部11の表示画面を示す。図16(a)において、店頭販売品である複数のテレビ4G~4Lを撮影対象物4として含む第1視野が撮像され、図16(b)において、テレビ4G~4Lのそれぞれに対応する評判情報図像が、仮想オブジェクト6L~6Nとして、第1視野内に重ねて表示されている。
この図では、インターネット上の検索で得られた評価が良い順に、アイコン「\(^0^)/」であらわされる仮想オブジェクト6M、アイコン「(^-^)」で表される仮想オブジェクト6N、アイコン「(t_t)」で表される仮想オブジェクト6Lが各撮影対象物4の周囲に表示されるようになっているが、例えば、評価の度合いを、星の数「★★★☆☆」等で表示されるようになっていてもよい。
<制御部12等による処理>
この変形例において操作端末10Aの制御部12により実行される各処理を表すフローチャートを図17に示す。
図5のS5に対応するS5″において、制御部12は、S4で取得した第1検索キー情報を用いて、WebサーバA40、WebサーバB50等の各社サイト内を検索する。このS5″もまた第1検索手順の一例である。
次いで、本変形例においては、S8において、制御部12は、S5″で実行した検索の結果として、S1で撮像された第1画像データ2Dに含まれるテレビ4G~4Lに関する製品評判情報を第1検索結果物として取得する。前記製品評判情報はテレビ4G~4Lの各製造メーカーの公式ホームページ等の公式情報から取得されたものであってもよいし、任意の比較サイト、通販サイト等の口コミ情報等から、取得されたものであってもよい。
次いで、図5のS6に対応するS6′において、制御部12の仮想オブジェクト生成部13は、S8で取得した製品評判情報に対応する表情アイコンの仮想オブジェクトを生成する。これ以外の点については図5と同様であるため説明を省略する。
<変形例の効果>
本変形例によれば、ユーザが販売品を撮像するだけで、自動的に各種webサイトが検索され、当該撮像されている販売品に関する評判情報(いわゆる口コミ等、別ユーザによる評価の良否を表す情報)が取得される。
第1表示手順では、その取得された評判情報に対応した評判情報図像(いわゆる笑顔や困り顔や泣き顔等のアイコンや、評価の度合いを数で表す★マーク等)が仮想オブジェクトとして表示される。
また、本変形例においては特に、例えばユーザが、自分が購入を意図している家電品等の販売品が多数陳列されている箇所に赴き、それら販売品を順次撮像することで、各販売品ごとの評判情報図像が順次表示部において表示される。これにより、目の前の販売品が、既に購入した他のユーザによりどのような評価を受けているかを、図像の態様によって一目瞭然に知ることができ、非常に利便性が高くなる。
(2)その他
なお、上述した実施形態に限られず、検索表示システムは、撮像部16及び表示部11を有する検索表示装置と、撮像部16により撮像された撮影対象物4を含む視野に対応する画像データを取得する画像データ取得部と、前記画像データ取得部により取得された前記画像データを、人工知能部(人工知能(AI)モジュール23に相当)へ向けて出力する画像データ出力部と、前記画像データ出力部により出力された前記画像データに対応する検索キー情報を決定するとともに、その決定された前記検索キー情報を、前記検索表示装置へ向けて出力する人工知能部と、前記人工知能部により出力された前記検索キー情報を取得する検索キー取得部と、前記検索キー取得部により取得された前記検索キー情報を用いて、前記撮影対象物に関連付けられる所定の検索対象体を検索する検索部とを有し、前記検索表示装置の前記表示部は、前記検索部による検索結果物を、前記視野内の仮想オブジェクトとして当該表示部の所定部位において表示することができるものであればよい。
すなわち、例えば、上述した実施形態では、操作端末10Aの制御部12が前記画像データ取得部、前記画像データ出力部、前記検索部として機能したが、このようなシステムに限られず、人工知能部と連携可能な任意の外部サーバ等に前記画像データ取得部、前記画像データ出力部、及び前記検索部等を設け、検索表示装置は、単に画像データの撮像と、対応する仮想オブジェクトを受け取って表示部11に表示するのみ、であるようなシステムであってもかまわない。
この時、検索表示装置としては、例えば装置端末10Aと同様にスマートフォンやタブレット、ノート型パソコン、スマートグラス等の端末を用いることができる。
また、上述した実施形態においては、人工知能(AI)モジュール23が操作端末10Aの制御部12の外部に設けられているが、操作端末10Aの制御部12内に、人工知能(AI)モジュール23が設けられているようなシステムであってもかまわない。
なお、上述した手順は一例であって、上記手順の少なくとも一部を削除又は変更してもよいし、上記以外の手順を追加してもよい。また、上記手順の少なくとも一部の順番を変更してもよいし、複数の手順が単一の手順にまとめられてもよい。
なお、上述したステップは一例であって、上記ステップの少なくとも一部を削除又は変更してもよいし、上記以外のステップを追加してもよい。また、上記ステップの少なくとも一部の順番を変更してもよいし、複数のステップが単一のステップにまとめられてもよい。
なお、以上の説明において、外観上の寸法や大きさが「同一」「等しい」「異なる」等の記載がある場合は、当該記載は厳密な意味ではない。すなわち、それら「同一」「等しい」「異なる」とは、設計上、製造上の公差、誤差が許容され、「実質的に同一」「実質的に等しい」「実質的に異なる」という意味である。
また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。
その他、一々例示はしないが、本発明は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。
2 第1画像データ
3 通信ネットワーク
4 撮影対象物
5 第1検索キー情報
6 仮想オブジェクト
7 公開データベース
8 第2画像データ
10A 操作端末(情報端末の一例)
11 表示部
12 制御部
13 仮想オブジェクト生成部
14 オブジェクト位置設定部
15 操作部
16 撮像部
17 記憶部
18 アプリケーションプログラム(検索表示プログラムの一例)
20 クラウドサーバ
23 人工知能(AI)モジュール
30 社内サーバ
31 制御部
32 施設関連情報データベース
33 記憶部

Claims (8)

  1. 撮像部と、表示部と、演算部と、を有する情報端末の前記演算部に対し、
    撮影対象物を含む第1視野を前記撮像部により撮像し、対応する第1画像データを取得する第1画像データ取得手順と、
    前記第1画像データ取得手順で取得した前記第1画像データを、人工知能部へ向けて出力する第1画像データ出力手順と、
    前記第1画像データ出力手順で出力した前記第1画像データに対応して前記人工知能部から出力された、当該第1画像データに対応する第1検索キー情報を取得する第1検索キー取得手順と、
    前記第1検索キー取得手順で取得した前記第1検索キー情報を用いて、前記撮影対象物に関連付けられる第1検索対象体を検索する第1検索手順と、
    前記第1検索手順での第1検索結果物を、前記第1視野内の仮想オブジェクトとして前記表示部の第1所定部位において表示する第1表示手順と、
    を実行させるための、検索表示プログラムであって、
    前記撮影対象物は、
    販売用の所定箇所に陳列された販売品であり、
    前記第1検索対象体は、
    ネットワーク通信によりアクセス可能なウェブサイトであり、
    前記第1検索結果物は、
    前記撮影対象物の汚損状態情報を含み、
    前記演算部に対し、さらに、
    前記第1表示手順で前記仮想オブジェクトとして表示される前記汚損状態情報で表される汚損箇所を含む第2視野を前記撮像部により撮像し、対応する第2画像データを取得する第2画像データ取得手順と、
    前記第2画像データ取得手順で取得した前記第2画像データを、人工知能部へ向けて出力する第2画像データ出力手順と、
    前記第2画像データ出力手順で出力した前記第2画像データに対応して前記人工知能部から出力された、当該第2画像データに対応する第2検索キー情報を取得する第2検索キー取得手順と、
    前記第2検索キー取得手順で取得した前記第2検索キー情報を用いて、前記撮影対象物に関連付けられる所定の第2検索対象体を検索する第2検索手順と、
    前記第2検索手順での第2検索結果物を、前記第2視野内の仮想オブジェクトとして前記表示部の第2所定部位において表示する第2表示手順と、
    を実行させる
    ことを特徴とする検索表示プログラム。
  2. 撮像部と、表示部と、演算部と、を有する情報端末の前記演算部に対し、
    撮影対象物を含む第1視野を前記撮像部により撮像し、対応する第1画像データを取得する第1画像データ取得手順と、
    前記第1画像データ取得手順で取得した前記第1画像データを、人工知能部へ向けて出力する第1画像データ出力手順と、
    前記第1画像データ出力手順で出力した前記第1画像データに対応して前記人工知能部から出力された、当該第1画像データに対応する第1検索キー情報を取得する第1検索キー取得手順と、
    前記第1検索キー取得手順で取得した前記第1検索キー情報を用いて、前記撮影対象物に関連付けられる第1検索対象体を検索する第1検索手順と、
    前記第1検索手順での第1検索結果物を、前記第1視野内の仮想オブジェクトとして前記表示部の第1所定部位において表示する第1表示手順と、
    を実行させるための、検索表示プログラムであって、
    前記撮影対象物は、
    販売用の所定箇所に陳列された販売品であり、
    前記第1検索対象体は、
    ネットワーク通信によりアクセス可能なウェブサイトであり、
    前記第1検索結果物は、
    前記撮影対象物の汚損状態情報を含み、
    前記第1表示手順で前記仮想オブジェクトとして表示される前記汚損状態情報は、操作ボタンを備えており、
    前記演算部に対し、さらに、
    前記操作ボタンが操作されることで、前記汚損状態情報の詳細内容情報又は関連情報を新たに仮想オブジェクトとして前記表示部において表示する第3表示手順を実行させる
    ことを特徴とする検索表示プログラム。
  3. 撮像部と、
    表示部と、
    制御部と、
    を有する検索表示装置であって、
    前記制御部は、
    撮影対象物を含む第1視野を前記撮像部により撮像し、対応する第1画像データを取得する第1画像データ取得処理と、
    前記第1画像データ取得処理で取得された前記第1画像データを、人工知能部へ向けて出力する第1画像データ出力処理と、
    前記第1画像データ出力処理で出力された前記第1画像データに対応して前記人工知能部から出力された、当該第1画像データに対応する第1検索キー情報を取得する第1検索キー取得処理と、
    前記第1検索キー取得処理で取得された前記第1検索キー情報を用いて、前記撮影対象物に関連付けられる所定の第1検索対象体を検索する第1検索処理と、
    前記第1検索処理での第1検索結果物を、前記第1視野内の仮想オブジェクトとして前記表示部の第1所定部位において表示する第1表示処理と、
    を実行し、
    前記撮影対象物は、
    販売用の所定箇所に陳列された販売品であり、
    前記第1検索対象体は、
    ネットワーク通信によりアクセス可能なウェブサイトであり、
    前記第1検索結果物は、
    前記撮影対象物の汚損状態情報を含み、
    前記制御部は、さらに、
    前記第1表示処理で前記仮想オブジェクトとして表示される前記汚損状態情報で表される汚損箇所を含む第2視野を前記撮像部により撮像し、対応する第2画像データを取得する第2画像データ取得処理と、
    前記第2画像データ取得処理で取得した前記第2画像データを、人工知能部へ向けて出力する第2画像データ出力処理と、
    前記第2画像データ出力処理で出力した前記第2画像データに対応して前記人工知能部から出力された、当該第2画像データに対応する第2検索キー情報を取得する第2検索キー取得処理と、
    前記第2検索キー取得処理で取得した前記第2検索キー情報を用いて、前記撮影対象物に関連付けられる所定の第2検索対象体を検索する第2検索処理と、
    前記第2検索処理での第2検索結果物を、前記第2視野内の仮想オブジェクトとして前記表示部の第2所定部位において表示する第2表示処理と、
    を実行する
    ことを特徴とする検索表示装置。
  4. 撮像部と、
    表示部と、
    制御部と、
    を有する検索表示装置であって、
    前記制御部は、
    撮影対象物を含む第1視野を前記撮像部により撮像し、対応する第1画像データを取得する第1画像データ取得処理と、
    前記第1画像データ取得処理で取得された前記第1画像データを、人工知能部へ向けて出力する第1画像データ出力処理と、
    前記第1画像データ出力処理で出力された前記第1画像データに対応して前記人工知能部から出力された、当該第1画像データに対応する第1検索キー情報を取得する第1検索キー取得処理と、
    前記第1検索キー取得処理で取得された前記第1検索キー情報を用いて、前記撮影対象物に関連付けられる所定の第1検索対象体を検索する第1検索処理と、
    前記第1検索処理での第1検索結果物を、前記第1視野内の仮想オブジェクトとして前記表示部の第1所定部位において表示する第1表示処理と、
    を実行し、
    前記撮影対象物は、
    販売用の所定箇所に陳列された販売品であり、
    前記第1検索対象体は、
    ネットワーク通信によりアクセス可能なウェブサイトであり、
    前記第1検索結果物は、
    前記撮影対象物の汚損状態情報を含み、
    前記第1表示処理で前記仮想オブジェクトとして表示される前記汚損状態情報は、操作ボタンを備えており
    前記制御部は、さらに、
    前記操作ボタンが操作されることで、前記汚損状態情報の詳細内容情報又は関連情報を新たに仮想オブジェクトとして前記表示部において表示する第3表示処理を実行する
    ことを特徴とする検索表示装置。
  5. 撮像部、表示部、及び、制御部、を有する検索表示装置と、
    人工知能部と、
    を有する検索表示システムであって、
    前記検索表示装置の前記制御部は、
    撮影対象物を含む第1視野を前記撮像部により撮像し、対応する第1画像データを取得する第1画像データ取得処理と、
    前記第1画像データ取得処理で取得された前記第1画像データを、前記人工知能部へ向けて出力する第1画像データ出力処理と、
    を実行し、
    前記人工知能部は、
    前記第1画像データ出力処理で出力された前記第1画像データに対応する第1検索キー情報を決定する第1検索キー決定処理と、
    前記第1検索キー決定処理で決定された前記第1検索キー情報を、前記検索表示装置へ向けて出力する第1検索キー出力処理と、
    を実行し、
    前記検索表示装置の前記制御部は、
    前記第1検索キー出力処理で出力された前記第1検索キー情報を取得する第1検索キー取得処理と、
    前記第1検索キー取得処理で取得された前記第1検索キー情報を用いて、前記撮影対象物に関連付けられる所定の第1検索対象体を検索する第1検索処理と、
    前記第1検索処理での第1検索結果物を、前記第1視野内の仮想オブジェクトとして前記表示部の第1所定部位において表示する第1表示処理と、
    を実行し、
    前記撮影対象物は、
    販売用の所定箇所に陳列された販売品であり、
    前記第1検索対象体は、
    ネットワーク通信によりアクセス可能なウェブサイトであり、
    前記第1検索結果物は、
    前記撮影対象物の汚損状態情報を含み、
    前記制御部は、さらに、
    前記第1表示処理で前記仮想オブジェクトとして表示される前記汚損状態情報で表される汚損箇所を含む第2視野を前記撮像部により撮像し、対応する第2画像データを取得する第2画像データ取得処理と、
    前記第2画像データ取得処理で取得した前記第2画像データを、人工知能部へ向けて出力する第2画像データ出力処理と、
    前記第2画像データ出力処理で出力した前記第2画像データに対応して前記人工知能部から出力された、当該第2画像データに対応する第2検索キー情報を取得する第2検索キー取得処理と、
    前記第2検索キー取得処理で取得した前記第2検索キー情報を用いて、前記撮影対象物に関連付けられる所定の第2検索対象体を検索する第2検索処理と、
    前記第2検索処理での第2検索結果物を、前記第2視野内の仮想オブジェクトとして前記表示部の第2所定部位において表示する第2表示処理と、
    を実行する
    ことを特徴とする検索表示システム。
  6. 撮像部、表示部、及び、制御部、を有する検索表示装置と、
    人工知能部と、
    を有する検索表示システムであって、
    前記検索表示装置の前記制御部は、
    撮影対象物を含む第1視野を前記撮像部により撮像し、対応する第1画像データを取得する第1画像データ取得処理と、
    前記第1画像データ取得処理で取得された前記第1画像データを、前記人工知能部へ向けて出力する第1画像データ出力処理と、
    を実行し、
    前記人工知能部は、
    前記第1画像データ出力処理で出力された前記第1画像データに対応する第1検索キー情報を決定する第1検索キー決定処理と、
    前記第1検索キー決定処理で決定された前記第1検索キー情報を、前記検索表示装置へ向けて出力する第1検索キー出力処理と、
    を実行し、
    前記検索表示装置の前記制御部は、
    前記第1検索キー出力処理で出力された前記第1検索キー情報を取得する第1検索キー取得処理と、
    前記第1検索キー取得処理で取得された前記第1検索キー情報を用いて、前記撮影対象物に関連付けられる所定の第1検索対象体を検索する第1検索処理と、
    前記第1検索処理での第1検索結果物を、前記第1視野内の仮想オブジェクトとして前記表示部の第1所定部位において表示する第1表示処理と、
    を実行し、
    前記撮影対象物は、
    販売用の所定箇所に陳列された販売品であり、
    前記第1検索対象体は、
    ネットワーク通信によりアクセス可能なウェブサイトであり、
    前記第1検索結果物は、
    前記撮影対象物の汚損状態情報を含み、
    前記第1表示処理で前記仮想オブジェクトとして表示される前記汚損状態情報は、操作ボタンを備えており、
    前記制御部は、さらに、
    前記操作ボタンが操作されることで、前記汚損状態情報の詳細内容情報又は関連情報を新たに仮想オブジェクトとして前記表示部において表示する第3表示処理を実行する
    ことを特徴とする検索表示システム。
  7. 撮像部、及び、表示部、を有する検索表示装置と、
    前記撮像部により撮像された、撮影対象物を含む第1視野に対応する第1画像データを取得する第1画像データ取得部と、
    前記第1画像データ取得部により取得された前記第1画像データを、人工知能部へ向けて出力する第1画像データ出力部と、
    前記第1画像データ出力部により出力された前記第1画像データに対応する第1検索キー情報を決定するとともに、その決定された前記第1検索キー情報を、前記検索表示装置へ向けて出力する前記人工知能部と、
    前記人工知能部により出力された前記第1検索キー情報を取得する第1検索キー取得部と、
    前記第1検索キー取得部により取得された前記第1検索キー情報を用いて、前記撮影対象物に関連付けられる所定の第1検索対象体を検索する第1検索部と、
    を有し、
    前記検索表示装置の前記表示部は、
    前記第1検索部による第1検索結果物を、前記第1視野内の仮想オブジェクトとして当該表示部の第1所定部位において表示する検索表示システムであって、
    前記撮影対象物は、
    販売用の所定箇所に陳列された販売品であり、
    前記第1検索対象体は、
    ネットワーク通信によりアクセス可能なウェブサイトであり、
    前記第1検索結果物は、
    前記撮影対象物の汚損状態情報を含み、
    前記検索表示システムは、さらに、
    前記表示部において前記仮想オブジェクトとして表示される前記汚損状態情報で表される汚損箇所を含む第2視野を前記撮像部により撮像し、対応する第2画像データを取得する第2画像データ取得部と、
    前記第2画像データ取得部で取得した前記第2画像データを、前記人工知能部へ向けて出力する第2画像データ出力部と、
    前記第2画像データ出力部で出力した前記第2画像データに対応して前記人工知能部から出力された、当該第2画像データに対応する第2検索キー情報を取得する第2検索キー取得部と、
    前記第2検索キー取得部で取得した前記第2検索キー情報を用いて、前記撮影対象物に関連付けられる所定の第2検索対象体を検索する第2検索部と、
    を有し、
    前記表示部は、
    前記第2検索部での第2検索結果物を、前記第2視野内の仮想オブジェクトとして当該表示部の第2所定部位において表示する
    ことを特徴とする検索表示システム。
  8. 撮像部、及び、表示部、を有する検索表示装置と、
    前記撮像部により撮像された、撮影対象物を含む第1視野に対応する第1画像データを取得する第1画像データ取得部と、
    前記第1画像データ取得部により取得された前記第1画像データを、人工知能部へ向けて出力する第1画像データ出力部と、
    前記第1画像データ出力部により出力された前記第1画像データに対応する第1検索キー情報を決定するとともに、その決定された前記第1検索キー情報を、前記検索表示装置へ向けて出力する前記人工知能部と、
    前記人工知能部により出力された前記第1検索キー情報を取得する第1検索キー取得部と、
    前記第1検索キー取得部により取得された前記第1検索キー情報を用いて、前記撮影対象物に関連付けられる所定の第1検索対象体を検索する第1検索部と、
    を有し、
    前記検索表示装置の前記表示部は、
    前記第1検索部による第1検索結果物を、前記第1視野内の仮想オブジェクトとして当該表示部の第1所定部位において表示する検索表示システムであって、
    前記撮影対象物は、
    販売用の所定箇所に陳列された販売品であり、
    前記第1検索対象体は、
    ネットワーク通信によりアクセス可能なウェブサイトであり、
    前記第1検索結果物は、
    前記撮影対象物の汚損状態情報を含み、
    前記表示部において前記仮想オブジェクトとして表示される前記汚損状態情報は、操作ボタンを備えており、
    前記表示部は、さらに、
    前記操作ボタンが操作されることで、前記汚損状態情報の詳細内容情報又は関連情報を新たに仮想オブジェクトとして表示する
    ことを特徴とする検索表示システム。
JP2023002278A 2023-01-11 2023-01-11 検索表示プログラム、検索表示装置、及び検索表示システム Active JP7340896B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023002278A JP7340896B1 (ja) 2023-01-11 2023-01-11 検索表示プログラム、検索表示装置、及び検索表示システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2023002278A JP7340896B1 (ja) 2023-01-11 2023-01-11 検索表示プログラム、検索表示装置、及び検索表示システム

Publications (1)

Publication Number Publication Date
JP7340896B1 true JP7340896B1 (ja) 2023-09-08

Family

ID=87886945

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023002278A Active JP7340896B1 (ja) 2023-01-11 2023-01-11 検索表示プログラム、検索表示装置、及び検索表示システム

Country Status (1)

Country Link
JP (1) JP7340896B1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012215989A (ja) 2011-03-31 2012-11-08 Toppan Printing Co Ltd 拡張現実表示方法
JP2020115284A (ja) 2019-01-17 2020-07-30 株式会社日立製作所 データ作成システム及びデータ作成方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012215989A (ja) 2011-03-31 2012-11-08 Toppan Printing Co Ltd 拡張現実表示方法
JP2020115284A (ja) 2019-01-17 2020-07-30 株式会社日立製作所 データ作成システム及びデータ作成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
EC・店舗で活用されるAR施策10選,[online],日本,2018年,https://www.startialab.co.jp/marketing/column/store1.html

Similar Documents

Publication Publication Date Title
US11403829B2 (en) Object preview in a mixed reality environment
CN112771472B (zh) 提供实时产品交互协助的系统和方法
US10127606B2 (en) Augmented reality system and method for visualizing an item
US11720954B2 (en) Image-based listing using image of multiple items
CN106598998B (zh) 信息获取方法和信息获取装置
CN106127552B (zh) 一种虚拟场景显示方法、装置及系统
JP7104948B2 (ja) 在庫管理サーバ、在庫管理システム、在庫管理プログラムおよび在庫管理方法
US20170032481A1 (en) Method and system for identifying a property for purchase and related products and services using image processing
US10692103B2 (en) Systems and methods for hashtag embedding based on user generated content for creating user specific loyalty identifiers
KR20110061575A (ko) 객체 식별을 이용하는 타깃화된 광고
WO2012075589A1 (en) Method and system for virtual shopping
US20010004735A1 (en) Electronic commerce system and method
JP2011138367A (ja) 商品関連情報を提供するサーバ、方法及びシステム
JP2020086658A (ja) 情報処理装置、情報処理システム、情報処理方法および類否判断方法
JP7340896B1 (ja) 検索表示プログラム、検索表示装置、及び検索表示システム
WO2021153796A1 (ja) 見積装置、見積システム、見積方法及びプログラム
JP2018195302A (ja) 仮想オブジェクトの表示システムを用いた顧客把握システム、顧客把握システムプログラム及び顧客把握方法
KR102651838B1 (ko) 시각적 다이어그램 검색
JP2021182276A (ja) 点検支援装置、点検支援システム、点検支援方法、及びプログラム
US20210149544A1 (en) Information processing apparatus, information processing method, and program
JP6586825B2 (ja) 端末装置及びプログラム
US11941343B2 (en) Methods for recognizing and interpreting graphical elements to create and operate a web site with input possibilities
KR20180119995A (ko) 이미지 설문 기반의 컨셉 제안 장치 및 방법
Shukla et al. Augmented Reality Product Showcase E-commerce Application
JP2022186676A (ja) プログラム、情報処理装置、方法およびシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230111

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230810

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230822

R150 Certificate of patent or registration of utility model

Ref document number: 7340896

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150