JP6958570B2 - 表示制御装置、表示制御方法およびプログラム - Google Patents

表示制御装置、表示制御方法およびプログラム Download PDF

Info

Publication number
JP6958570B2
JP6958570B2 JP2018553686A JP2018553686A JP6958570B2 JP 6958570 B2 JP6958570 B2 JP 6958570B2 JP 2018553686 A JP2018553686 A JP 2018553686A JP 2018553686 A JP2018553686 A JP 2018553686A JP 6958570 B2 JP6958570 B2 JP 6958570B2
Authority
JP
Japan
Prior art keywords
livestock
display control
display
user
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018553686A
Other languages
English (en)
Other versions
JPWO2018100874A1 (ja
Inventor
真里 斎藤
矢島 正一
芳恭 久保田
千佐子 梶原
昭広 向井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018100874A1 publication Critical patent/JPWO2018100874A1/ja
Application granted granted Critical
Publication of JP6958570B2 publication Critical patent/JP6958570B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01KANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K11/00Marking of animals
    • A01K11/006Automatic identification systems for animals, e.g. electronic devices, transponders for animals
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01KANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K29/00Other apparatus for animal husbandry
    • A01K29/005Monitoring or measuring activity, e.g. detecting heat or mating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0261Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Environmental Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Animal Husbandry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Zoology (AREA)
  • Biophysics (AREA)
  • Birds (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本開示は、表示制御装置、表示制御方法およびプログラムに関する。
近年、現実世界を拡張表現する技術としてAR(Augmented Reality)技術が知られている。例えば、AR技術の例として、ユーザの視野に存在する1の対象物が他の物体に遮蔽されている場合に、当該1の対象物が存在することをユーザに知らせる技術が開示されている(例えば、特許文献1参照。)。また、AR技術の例として、ユーザの視野に存在する1の対象物を認識し、当該1の対象物に関する情報(以下、「AR情報」とも言う。)をユーザに提示する技術が存在する。
特開2014−106681号公報
しかし、ユーザにAR情報が提示される1の対象物がユーザにとって見にくい場合があり得る。かかる場合などには、ユーザにAR情報が提示される1の対象物がユーザに把握されにくいといった状況が起こり得る。そこで、ユーザにAR情報が提示される1の対象物がユーザに容易に把握されるようにすることが可能な技術が提供されることが望まれる。
本開示によれば、ユーザの視野に存在する対象物に関する情報の表示を制御する表示制御部を備え、前記表示制御部は、前記ユーザの位置を基準として前記対象物の少なくとも一部が他の物体に遮蔽されていると判定された場合に、前記視野において遮蔽されている前記対象物が前記ユーザに視認されている形態とは異なる表示となるように前記対象物に関する画像の表示を制御する、表示制御装置が提供される。
本開示によれば、ユーザの視野に存在する対象物に関する情報の表示を制御することを含み、プロセッサにより、前記ユーザの位置を基準として前記対象物の少なくとも一部が他の物体に遮蔽されていると判定された場合に、前記視野において遮蔽されている前記対象物が前記ユーザに視認されている形態とは異なる表示となるように前記対象物に関する画像の表示を制御することを含む、表示制御方法が提供される。
本開示によれば、コンピュータを、ユーザの視野に存在する対象物に関する情報の表示を制御する表示制御部を備え、前記表示制御部は、前記ユーザの位置を基準として前記対象物の少なくとも一部が他の物体に遮蔽されていると判定された場合に、前記視野において遮蔽されている前記対象物が前記ユーザに視認されている形態とは異なる表示となるように前記対象物に関する画像の表示を制御する、表示制御装置として機能させるためのプログラムが提供される。
以上説明したように本開示によれば、ユーザにAR情報が提示される1の対象物がユーザに容易に把握されるようにすることが可能な技術が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る表示制御システムの構成例を示す図である。 同実施形態に係る表示制御装置の機能構成例を示すブロック図である。 同実施形態に係るサーバの機能構成例を示すブロック図である。 家畜の選択の一例について説明するための図である。 家畜の選択の他の一例について説明するための図である。 家畜の個体情報のAR表示例および他の家畜が見にくい場合の第1の判定例を説明するための図である。 家畜の個体情報のAR表示例および他の家畜が見にくい場合の第2の判定例を説明するための図である。 家畜の個体情報のAR表示例および他の家畜が見にくい場合の判定例を説明するための図である。 俯瞰画像の表示例を示す図である。 家畜を横から写した画像の表示例を示す図である。 選択部によって選択された家畜の個体情報のAR表示例を示す図である。 ユーザによって付与されるIDの表示例を示す図である。 複数の家畜それぞれの個体情報が同時にAR表示される例を示す図である。 複数の個体情報同士が重なってしまうような状況の例を示す図である。 複数の家畜それぞれの個体情報の情報量を低減させる例を示す図である。 本開示の実施形態に係る表示制御システムの動作の第1の例を示すフローチャートである。 同実施形態に係る表示制御システムの動作の第2の例を示すフローチャートである。 同実施形態に係る表示制御システムの動作の第3の例を示すフローチャートである。 同実施形態に係る表示制御システムの動作の第1の例の変形例を示すフローチャートである。 同実施形態に係る表示制御システムの動作の第2の例の変形例を示すフローチャートである。 同実施形態に係る表示制御システムの動作の第3の例の変形例を示すフローチャートである。 ユーザにAR情報が提示される1の対象物がスポーツ選手である場合を説明するための図である。 表示制御装置のハードウェア構成例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書および図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
なお、説明は以下の順序で行うものとする。
0.背景
1.本開示の実施形態
1.1.システム構成例
1.2.表示制御装置の機能構成例
1.3.サーバの機能構成例
1.3.表示制御システムの機能詳細
1.3.1.家畜の選択
1.3.2.個体情報のAR表示
1.3.3.画像のVR表示
1.3.4.識別情報の表示
1.3.5.複数の個体情報のAR表示
1.3.6.動作例
1.4.各種の変形例
1.5.ハードウェア構成例
2.むすび
<0.背景>
近年、現実世界を拡張表現する技術としてAR技術が知られている。例えば、AR技術の例として、ユーザの視野に存在する1の対象物が他の物体に遮蔽されている場合に、当該1の対象物が存在することをユーザに知らせる技術が開示されている(例えば、特開2014−106681号公報参照。)。また、AR技術の例として、ユーザの視野に存在する1の対象物を認識し、当該1の対象物に関する情報(AR情報)をユーザに提示する技術が存在する。
しかし、ユーザにAR情報が提示される1の対象物がユーザにとって見にくい場合があり得る。かかる場合の例としては、ユーザにAR情報が提示される1の対象物が他の物体に遮蔽されてしまっている場合が挙げられる。また、かかる場合の他の例として、ユーザにAR情報が提示される1の対象物がユーザから遠い場合が挙げられる。ただし、ユーザにAR情報が提示される1の対象物がユーザにとって見にくい場合は、これらの例に限定されない。
このように、ユーザにAR情報が提示される1の対象物がユーザにとって見にくい場合などには、ユーザにAR情報が提示される1の対象物がユーザに把握されにくいといった状況が起こり得る。そこで、本明細書においては、ユーザにAR情報が提示される1の対象物がユーザに容易に把握されるようにすることが可能な技術について主に説明する。
なお、以下の説明においては、ユーザにAR情報が提示される1の対象物(あるいは、複数の対象物)が家畜である場合を主に想定する。しかし、ユーザにAR情報が提示される1の対象物(あるいは、複数の対象物)は家畜でなくてもよい。例えば、ユーザにAR情報が提示される1の対象物(あるいは、複数の対象物)は、他の生物(後に説明するように、スポーツ選手など)であってもよいし、無生物(例えば、車両などの移動体)であってもよい。また、本明細書においては、家畜が屋外の飼育場に存在する場合を主に想定するが、家畜は屋内の飼育場に存在してもよい。
また、以下の説明においては、ユーザにAR情報が提示される1の対象物(あるいは、複数の対象物)を遮蔽する他の物体も家畜である場合を主に想定する。しかし、ユーザにAR情報が提示される1の対象物(あるいは、複数の対象物)を遮蔽する他の物体は家畜でなくてもよい。例えば、ユーザにAR情報が提示される1の対象物(あるいは、複数の対象物)を遮蔽する他の物体は、家畜以外の物体(例えば、建物、積み上げられた牧草など)であってもよい。
なお、以下の説明においては、現実世界に対する拡張表現を単に「AR表示」とも言う。より具体的には、AR表示は、ユーザの視野に存在する対象物に依存した位置への表示を意味し得る。一方、以下の説明においては、現実世界に対する拡張とは異なる仮想的な表現(Virtual reality表現、VR表現)を単に「VR表示」とも言う。より具体的には、VR表示は、ユーザの視野に存在する対象物には依存しない位置への表示を意味し得る。
また、以下の説明においては、AR情報として、AR表示がなされる1の対象物(あるいは、複数の対象物)の個体情報を例に挙げて説明する。しかし、AR情報は、かかる例に限定されない。
以上、本開示の一実施形態の背景について説明した。
<1.本開示の実施形態>
[1.1.システム構成例]
続いて、図面を参照しながら、本開示の一実施形態に係る表示制御システムの構成例について説明する。図1は、本開示の一実施形態に係る表示制御システムの構成例を示す図である。図1に示したように、表示制御システム1は、表示制御装置10と、サーバ20と、外部センサ30と、装着型デバイス40−1〜40−Nと、中継器50−1、50−2と、ゲートウェイ装置60と、ネットワーク931とを備える。
本明細書においては、ネットワーク931が無線LAN(Local Area Network)である場合を主に想定するが、後にも説明するように、ネットワーク931の種類は限定されない。また、中継器50(中継器50−1、50−2)は、装着型デバイス40(装着型デバイス40−1〜40−N)とサーバ20との間の通信を中継する。図1に示した例では、中継器50の数が2つであるが、中継器50の数は、2つに限定されず、複数であればよい。ゲートウェイ装置60は、ネットワーク931と中継器50(中継器50−1、50−2)および外部センサ30とを接続する。
表示制御装置10は、ユーザU−1によって用いられる装置である。本明細書においては、ユーザU−1が家畜Bを飼育する農家である場合を主に想定する。しかし、ユーザU−1は、家畜Bを飼育する農家に限定されない。例えば、ユーザU−1は、家畜Bの怪我または病気を治療する獣医などであってもよい。
なお、本明細書においては、ユーザU−1が手作業を効率的に行うことを考慮し、表示制御装置10がユーザU−1に装着されるタイプ(例えば、グラスタイプ)のデバイスである場合を想定する。しかし、表示制御装置10は、ユーザU−1に装着されないタイプのデバイス(例えば、スマートフォンなど)であってもよい。また、本明細書においては、表示制御装置10がシースルー型のデバイスである場合を想定する。しかし、表示制御装置10は非シースルー型のデバイスであってもよい。
外部センサ30は、対応する家畜B(家畜B−1〜家畜B−N)の身体に直接的には装着されないセンサである。本明細書においては、外部センサ30が監視カメラである場合を主に想定するが、外部センサ30は、監視カメラに限定されない。例えば、外部センサ30は、カメラ搭載型のドローンであってもよい。また、本明細書においては、外部センサ30が家畜B(家畜B−1〜家畜B−N)を俯瞰するように撮像することによって画像(以下、「俯瞰画像」とも言う。)を得る場合を主に想定する。しかし、外部センサ30の向きは限定されない。
また、本明細書においては、外部センサ30が可視光カメラである場合を主に想定する。しかし、外部センサ30の種類は限定されない。例えば、外部センサ30は、赤外線カメラであってもよいし、空間の3次元データを取得可能なデプスセンサ等他の種類のカメラであってもよい。外部センサ30によって得られた画像は、外部センサ30からゲートウェイ装置60およびネットワーク931を介して、サーバ20に送信される。
サーバ20は、家畜B(家畜B−1〜家畜B−N)を管理するための各種の情報処理を行う装置である。具体的には、サーバ20は、家畜B(家畜B−1〜家畜B−N)の識別情報と個体情報と位置情報とが関連付けられた情報(以下、「家畜情報」とも言う。)を記憶している。識別情報には、国から付与される個体識別情報、IOT(Internet of Things)デバイスの識別番号、ユーザU−1によって付与されるIDなどが含まれ得る。そして、サーバ20は、必要に応じて、家畜情報を更新したり、家畜情報を読み出したりする。なお、本明細書においては、家畜情報がサーバ20の内部に格納されている場合を主に想定するが、家畜情報は、サーバ20とは異なるサーバの内部に格納されてもよい。
装着型デバイス40(装着型デバイス40−1〜40−N)は、対応する家畜B(家畜B−1〜家畜B−N)の身体に装着されている。装着型デバイス40は、対応する家畜BのIOTデバイスの識別番号と位置情報を特定するための情報とを、中継器50−1、中継器50−2、ゲートウェイ装置60、および、ネットワーク931を介して、サーバ20に送信する。ここで、家畜Bの位置情報を特定するための情報としては、様々な情報が想定される。
本明細書においては、家畜Bの位置情報を特定するための情報は、中継器50−1および中継器50−2それぞれから所定の時間ごとに送信される無線信号の装着型デバイス40における受信強度を含む。そして、サーバ20は、これらの受信強度と中継器50−1および中継器50−2それぞれの位置情報とに基づいて、装着型デバイス40(家畜B)の位置情報を特定する。これによって、サーバ20においては、家畜Bの位置情報をリアルタイムに管理することが可能である。
なお、家畜Bの位置情報を特定するための情報は、かかる例に限定されない。例えば、家畜Bの位置情報を特定するための情報は、装着型デバイス40によって各GPS(Global Positioning System)衛星から受信される信号の到達時間(送信時刻と受信時刻との差分)を含んでもよい。また、本明細書においては、サーバ20において家畜Bの位置情報が特定される場合を主に想定するが、装着型デバイス40において家畜Bの位置情報が特定されてもよい。かかる場合には、家畜Bの位置情報を特定するための情報の代わりに、家畜Bの位置情報がサーバ20に送信されてもよい。
あるいは、家畜Bの位置情報を特定するための情報は、外部センサ30によって得られた俯瞰画像であってもよい。例えば、サーバ20は、家畜Bの模様を個体ごとにあらかじめ管理していれば、外部センサ30によって得られた俯瞰画像から認識した家畜Bの模様の位置を家畜Bの位置情報として特定することが可能である。
以上、本開示の実施形態に係る表示制御システム1の構成例について説明した。
[1.2.表示制御装置の機能構成例]
続いて、本開示の実施形態に係る表示制御装置10の機能構成例について説明する。図2は、本開示の実施形態に係る表示制御装置10の機能構成例を示すブロック図である。図2に示したように、表示制御装置10は、制御部110、検出部120、通信部130、記憶部150および出力部160を備える。以下、表示制御装置10が備えるこれらの機能ブロックについて説明する。
制御部110は、表示制御装置10の各部の制御を実行する。なお、制御部110は、例えば、1または複数のCPU(Central Processing Unit;中央演算処理装置)などといった処理装置によって構成されてよい。制御部110がCPUなどといった処理装置によって構成される場合、かかる処理装置は電子回路によって構成されてよい。図2に示したように、制御部110は、表示制御部111、選択部112および判定部113を有する。制御部110が有するこれらのブロックについては、後に詳細に説明する。
検出部120は、3次元空間におけるユーザU−1による指示方向(以下、単に「指示方向」とも言う。)を検出することが可能なセンサである。本明細書においては、指示方向としてユーザU−1の視線を用いる場合を主に説明する。ここで、ユーザU−1の視線は、どのようにして検出されてもよい。一例として、ユーザU−1の視線は、検出部120が撮像装置を有する場合、撮像装置によって得られた画像に写る目領域に基づいて検出されてよい。しかし、指示方向は、ユーザU−1の視線に限定されない。
例えば、指示方向は、ユーザU−1の動きを検出するモーションセンサによる検出結果に基づいて検出されてもよい(モーションセンサによって検出された3次元空間における位置を先とする指示方向が検出されてもよい)。モーションセンサは、加速度センサによって加速度を検出してもよいし、ジャイロセンサ(例えば、指輪型ジャイロマウスなど)によって角速度を検出してもよい。あるいは、指示方向は、触感型デバイスによる検出結果に基づいて検出されてもよい。触感型デバイスの例としては、ペン型の触感デバイスが挙げられる。
あるいは、指示方向は、所定の物体が指し示す方向(例えば、棒の先端が指し示す方向など)であってもよいし、ユーザU−1の指が指し示す方向であってもよい。所定の物体が指し示す方向およびユーザU−1の指が指し示す方向は、検出部120が撮像装置を有する場合、撮像装置によって得られた画像に写る物体および指に基づいて検出されてよい。あるいは、指示方向は、ユーザU−1の顔認識結果に基づいて検出されてもよい。例えば、検出部120が撮像装置を有する場合、撮像装置によって得られた画像に基づいて両目間の中心位置が認識され、両目間の中心位置から伸びる直線が指示方向として検出されてもよい。
あるいは、指示方向は、ユーザU−1の発話内容に対応する方向であってもよい。ユーザU−1の発話内容に対応する方向は、検出部120がマイクロフォンを有する場合、マイクロフォンによって得られた音情報に対する音声認識結果に基づいて検出されてもよい。例えば、ユーザU−1が指示方向の先として、視野の奥を指定したい場合には、視野の奥を表現する発話(例えば、「奥の家畜」などといった発話)を行えばよい。そうすれば、かかる発話に対する音声認識結果として、テキストデータ「奥の」が得られ、このテキストデータ「奥の」に基づいて、視野の奥を先とする指示方向が検出され得る。また、発話内容は、「俯瞰画像にして」「上から見せて」「奥の家畜見せて」などであってもよい。
また、検出部120は、ユーザU−1による各種の操作を検出することが可能である。なお、本明細書においては、ユーザU−1による操作の例として、選択操作および切り替え操作を主に説明する。ここで、ユーザU−1による各種の操作は、どのようにして検出されてもよい。一例として、ユーザU−1による各種の操作は、ユーザU−1の動きに基づいて検出されてよい。
ユーザU−1の動きの検出はどのようになされてもよい。例えば、検出部120が撮像装置を有する場合、撮像装置によって得られた画像からユーザU−1の動きが検出されてもよい。らユーザU−1の動きは、まばたきなどであってもよい。あるいは、検出部120は、モーションセンサによってユーザU−1の動きを検出してもよい。モーションセンサは、加速度センサによって加速度を検出してもよいし、ジャイロセンサによって角速度を検出してもよい。あるいは、ユーザU−1の動きは、音声認識結果に基づいて検出されてもよい。
あるいは、ユーザU−1による各種の操作は、ユーザU−1の身体の位置(例えば、頭部の位置など)に基づいて検出されてもよいし、ユーザU−1の姿勢(例えば、全身の姿勢など)に基づいて検出されてもよい。あるいは、ユーザU−1による各種の操作は、筋電(例えば、顎の筋電、腕の筋電など)によって検出されてもよいし、脳波によって検出されてもよい。あるいは、ユーザU−1による各種の操作は、スイッチ、レバーおよびボタンなどに対する操作であってもよい。
また、検出部120は、表示制御装置10の向き、および、表示制御装置10の位置情報を検出することが可能である。ここで、表示制御装置10の向き、および、表示制御装置10の位置情報は、どのように検出されてもよい。例えば、表示制御装置10の向きは、地軸センサによって検出されてもよいし、モーションセンサによって検出されてもよい。また、表示制御装置10の位置情報は、表示制御装置10によって各GPS衛星から受信される信号の到達時間(送信時刻と受信時刻との差分)に基づいて検出されてもよい。
通信部130は、通信回路を含んで構成され、ネットワーク931(図1)を介して他の装置との間で通信を行う機能を有する。例えば、通信部130は、通信インターフェースにより構成される。例えば、通信部130は、ネットワーク931(図1)を介して、サーバ20との間で通信を行うことが可能である。
記憶部150は、メモリを含んで構成され、制御部110によって実行されるプログラムを記憶したり、プログラムの実行に必要なデータを記憶したりする記録デバイスである。また、記憶部150は、制御部110による演算のためにデータを一時的に記憶する。なお、記憶部150は、磁気記憶部デバイスであってもよいし、半導体記憶デバイスであってもよいし、光記憶デバイスであってもよいし、光磁気記憶デバイスであってもよい。
出力部160は、各種の情報を出力する出力装置である。例えば、出力部160は、ユーザU−1に視認可能な表示を行うことが可能なディスプレイを含んでよく、ディスプレイは、液晶ディスプレイであってもよいし、有機EL(Electro−Luminescence)ディスプレイであってもよい。特に、家畜等に対する作業現場では、別の作業に手を使うために、家畜等に対する作業に手を使うことができない場合があるため、ハンズフリー操作が望ましい。そこで、ディスプレイは、ユーザU−1の頭部に装着可能なデバイス(例えば、HMD(Head Mounted Display)など)であるのが望ましい。出力部160は、ユーザの頭部に装着可能な筐体を含む場合、筐体はAR表示およびVR表示を行うディスプレイを含んでよい。このとき、ディスプレイは、透過型ディスプレイであってもよいし、非透過型ディスプレイであってもよい。ディスプレイが非透過型ディスプレイである場合、センサ部120が有する撮像装置によって撮像された画像を表示することによって、視野に対応する空間をユーザU−1が視認可能になる。また、出力部160は、スピーカなどの音声出力装置を含んでもよい。あるいは、出力部160は、ユーザU−1に触覚を提示する触覚提示装置を含んでもよい(触覚提示装置は、所定の電圧によって振動する振動子を含んで構成される)。
以上、本開示の実施形態に係る表示制御装置10の機能構成例について説明した。
[1.3.サーバの機能構成例]
続いて、本開示の実施形態に係るサーバ20の機能構成例について説明する。図3は、本開示の実施形態に係るサーバ20の機能構成例を示すブロック図である。図3に示したように、サーバ20は、制御部210、記憶部220および通信部230を備える。以下、サーバ20が備えるこれらの機能ブロックについて説明する。
制御部210は、サーバ20の各部の制御を実行する。なお、制御部210は、例えば、CPU(Central Processing Unit;中央演算処理装置)などといった処理装置によって構成されてよい。制御部210がCPUなどといった処理装置によって構成される場合、かかる処理装置は電子回路によって構成されてよい。図3に示したように、制御部210は、情報取得部211および情報提供部212を有する。制御部210が有するこれらのブロックについては、後に詳細に説明する。
記憶部220は、制御部210によって実行されるプログラムを記憶したり、プログラムの実行に必要なデータ(例えば、家畜情報221など)を記憶したりする記録デバイスである。また、記憶部220は、制御部210による演算のためにデータを一時的に記憶する。なお、記憶部220は、磁気記憶部デバイスであってもよいし、半導体記憶デバイスであってもよいし、光記憶デバイスであってもよいし、光磁気記憶デバイスであってもよい。
通信部230は、ネットワーク931(図1)を介して他の装置との間で通信を行う機能を有する。例えば、通信部230は、通信インターフェースにより構成される。例えば、通信部230は、ネットワーク931(図1)を介して、表示制御装置10、外部センサ30および装着型デバイス40(装着型デバイス40−1〜40−N)との間で通信を行うことが可能である。
以上、本開示の実施形態に係るサーバ20の機能構成例について説明した。
[1.3.表示制御システムの機能詳細]
続いて、表示制御システム1の機能詳細について説明する。
(1.3.1.家畜の選択)
まず、家畜Bの選択の例について説明する。図4は、家畜Bの選択の一例について説明するための図である。図4を参照すると、ユーザU−1の視野V−1が示されている。また、視野V−1には、家畜B−1〜B−3が存在している。ユーザU−1が装着する表示制御装置10において、検出部120が、表示制御装置10の向き、および、表示制御装置10の位置情報を検出すると、通信部130は、表示制御装置10の向き、および、表示制御装置10の位置情報をサーバ20に送信する。
サーバ20においては、通信部230が、表示制御装置10の向き、および、表示制御装置10の位置情報を受信すると、情報取得部211は、表示制御装置10の向き、および、表示制御装置10の位置情報と、複数の家畜それぞれの位置情報とに基づいて、視野V−1に存在する家畜B−1〜B−3を決定する。情報取得部211によって、視野V−1に存在する家畜B−1〜B−3それぞれの個体情報および位置情報が取得されると、情報提供部212は、視野V−1に存在する家畜B−1〜B−3それぞれの個体情報および位置情報を、通信部230を介して表示制御装置10に提供する。なお、個体情報の詳細については、後に説明する。
表示制御装置10においては、通信部130が、視野V−1に存在する家畜B−1〜B−3それぞれの個体情報および位置情報を受信する。ここで、ユーザU−1が、家畜B−1〜B−3のうち、家畜B−1の個体情報を知りたいと考えた場合を想定する。このとき、ユーザU−1は、家畜B−1に視線P−1を当てればよい。表示制御装置10において、検出部120によって視線P−1が検出されると、選択部112は、視線P−1と家畜B−1〜B−3それぞれの位置情報とに基づいて、家畜B−1に視線P−1が当てられていると判断する。選択部112は、視線P−1が当てられている家畜B−1を選択する。このとき、表示制御部111は、視線P−1の位置へのポインタの表示を制御してもよい。そうすれば、ユーザU−1は、ポインタの位置によって視線P−1の位置を容易に把握することができる。ここでは、家畜B−1の選択について説明したが、家畜B−2および家畜B−3も家畜B−1と同様に選択され得る。
なお、上記においては、選択部112が、家畜B−1に視線P−1が当てられた場合に、視線P−1が当てられた家畜B−1を即座に選択する例を示した。しかし、選択部112は、家畜B−1に視線P−1が当てられた場合、即座に家畜B−1を選択しなくてもよい。例えば、選択部112は、家畜B−1に視線P−1が所定の時間を超えて当てられた場合に、視線P−1が所定の時間を超えて当てられた家畜B−1を選択してもよい。
以上、家畜Bの選択の一例について説明した。しかし、家畜Bの選択は、かかる例に限定されない。図5は、家畜Bの選択の他の一例について説明するための図である。図5を参照すると、図4に示した例と同様に、ユーザU−1の視野V−1が示されている。また、視野V−1には、家畜B−1〜B−3が存在している。表示制御装置10によって、視野V−1に存在する家畜B−1〜B−3それぞれの個体情報および位置情報が受信されるまでの動作は、図4を用いて説明した例と同様になされ得る。
ここで、ユーザU−1が、家畜B−1〜B−3のうち、家畜B−1の個体情報を知りたいと考えた場合を想定する。このとき、ユーザU−1は、視野V−1において家畜B−1が存在する位置に対応する動き(例えば、視野V−1において家畜B−1が存在する位置への回り込み動作)をすればよい。例えば、図5を参照すると、視野V−1において家畜B−1が最も左に存在するため、回り込み動作は、左から回り込むような動作(すなわち、上から見て時計回りを描く動作)であってよい。
表示制御装置10において、検出部120によって回り込み動作が検出されると、選択部112は、回り込み動作と家畜B−1〜B−3それぞれの位置情報とに基づいて、回り込み動作に対応する位置に、家畜B−1が存在すると判断する。選択部112は、回り込み動作に対応する位置に存在する家畜B−1を選択する。なお、ユーザU−1が視野V−1において最も右に存在する家畜B−3の個体情報を知りたいと考えた場合、回り込み動作は、右から回り込むような動作(すなわち、上から見て反時計回りを描く動作)であってよい。
なお、上記した例では、ユーザU−1の視線に基づいて(あるいは、回り込み動作に基づいて)、家畜B−1が選択される例を説明した。しかし、家畜を選択する手法は、かかる例に限定されない。例えば、選択部112は、視野V−1における所定の領域に存在する家畜を選択してもよい。視野V−1における所定の領域は、視野V−1における中央領域であってもよいし、視野V−1における他の領域であってもよい。
以上、家畜Bの選択の例について説明した。
(1.3.2.個体情報のAR表示)
続いて、選択部112によって選択された家畜B−1の個体情報のAR表示例および家畜B−3が見にくい場合の判定例について説明する。図6は、家畜B−1の個体情報のAR表示例および家畜B−3が見にくい場合の第1の判定例を説明するための図である。図6を参照すると、ユーザU−1の視野V−2が示されている。ここで、上記したように、選択部112によって家畜B−1が選択された場合を想定する。
かかる場合、表示制御部111は、選択部112によって選択された家畜B−1の個体情報I−11のAR表示を制御する。例えば、表示制御部111は、選択部112によって選択された家畜B−1の個体情報I−11を、視野V−2において家畜B−1が存在する位置に応じた位置(例えば、視野V−2において家畜B−1が存在する位置の近傍位置)にAR表示させればよい。このような表示によれば、ユーザU−1にとって、視野V−2における家畜B−1と家畜B−1のARI−11との対応が把握しやすくなる。
なお、選択部112は、ユーザにより切り替え操作がなされた場合、現在選択されている家畜B−1とは異なる家畜(家畜B−2または家畜B−3)を選択してもよい。例えば、選択部112は、切り替え操作がなされるたびに、ユーザU−1から近い順に(例えば、家畜B−2、家畜B−3の順に)次の家畜を選択してもよい。
本明細書においては、家畜B−1の個体情報I−11が、出生(例えば、出生は、出生日および出生時の状態を含んでよい。)、体重、病歴、投薬およびBC(Body Condition)を含む場合を主に想定する。しかし、家畜B−1の個体情報I−11が含む情報は、これらに限定されない。
さらに、図6に示したように、表示制御部111は、視野V−2における家畜B−1と家畜B−1の個体情報I−11との間を結ぶ情報(以下「リンク情報」とも言う。)の表示を制御するとよい。リンク情報が表示されることによって、ユーザU−1にとって、視野V−2における家畜B−1と家畜B−1の個体情報I−11との対応がさらに把握しやすくなる。
また、上記したように、家畜B−1の個体情報I−11は、視野V−2において家畜B−1が存在する位置に応じた位置に無条件にAR表示されてもよい。しかし、家畜B−1は移動してしまう場合も想定される。かかる場合、視野V−2において家畜B−1の移動に追随して、個体情報I−11の位置も移動させてしまうと、個体情報I−11が見づらくなってしまうことが想定される。
したがって、表示制御部111は、家畜B−1が移動中でない場合、視野V−2における家畜B−1の位置に基づいて、家畜B−1の個体情報I−11の位置を決定してよい。一方、表示制御部111は、家畜B−1が移動中である場合、家畜B−1の個体情報I−11の位置を固定してよい。このとき、視野V−2における家畜B−1と家畜B−1の個体情報I−11との対応が把握しづらくなることを防ぐため、リンク情報が表示されるとよい。家畜B−1の個体情報I−11が固定される位置は、特に限定されない。
また、図6を参照すると、表示制御部111は、家畜B−1の個体情報I−11の位置に対応する位置に、被選択項目Hとして「統計情報表示」「詳しく見る」「音声記録」を表示させている。「統計情報表示」に対する選択操作がなされると、家畜B−1と他の家畜との比較によって得られる統計情報が表示される。
「詳しく見る」に対する選択操作がなされると、家畜B−1に関するさらに詳細な情報が表示される。詳細な情報は、特に限定されない。例えば、詳細な情報は、家畜B−1の病気に対して治療を行った医者名であってもよいし、家畜B−1の病気に対する治療方法であってもよいし、家畜B−1の親に関する情報であってもよいし、家畜B−1の分娩状況であってもよい。
「音声記録」に対する選択操作がなされると、家畜B−1に関するコメントの音声による入力が受け付けられ、家畜B−1に関するコメントが音声によって記憶部150に記録される。家畜B−1に関するコメントは、どのようなコメントであってもよい。例えば、家畜B−1に関するコメントは、後に家畜B−1に対して行う予定の作業に関するコメントなどであってもよい。声によって記憶部150に記録された家畜B−1に関するコメントは、後に再生されることによって参照され得る。
表示制御装置10において、判定部113は、ユーザU−1にとって家畜B−1〜B−3が見づらくなっているか否かを判定する。一例として、判定部113は、ユーザU−1の位置を基準として家畜B−3の少なくとも一部が他の物体に遮蔽されているか否かを示す判定(以下、「遮蔽判定」とも言う。)を行う。図6には、判定部113が、ユーザU−1の位置を基準として家畜B−3の一部が家畜B−1によって遮蔽されていることを判定する例が示されている。家畜B−1および家畜B−2に対しても同様の判定がなされてよい。
このとき、表示制御部111は、他の物体に遮蔽されている家畜B−3の存在を示す遮蔽通知情報M−1を表示させてもよい。図6に示すように、遮蔽通知情報M−1は、「遮蔽されている牛がいます」といった情報であってもよいが、遮蔽通知情報M−1の具体的な内容は限定されない。また、遮蔽通知情報M−1の表示位置は、限定されないが、図6に示すように、遮蔽通知情報M−1の表示位置は、視野V−2において遮蔽されている家畜B−3の位置に応じた位置(例えば、家畜B−3の位置の近傍など)であってもよい。
なお、遮蔽判定はどのようになされてもよい。一例として、画像を利用して遮蔽判定がなされてもよい。より具体的には、表示制御装置10がユーザU−1の視野を撮像する撮像装置を備える場合、判定部113は、視野の撮像画像に家畜B−3の一部の領域が写っているという第1の条件が満たされている場合、かつ、当該領域に隣接して他の物体の領域が写っているという第2の条件が満たされている場合に、家畜B−3の一部が他の物体に遮蔽されていると判定してよい。なお、撮像画像は、デプスセンサによって検出される3次元空間データであってもよい。
図6に示した例では、視野の撮像画像に家畜B−3の一部の領域が写っており、かつ、当該領域に隣接して家畜B−1の領域が写っている。かかる場合、判定部113は、家畜B−3の一部が家畜B−1に遮蔽されていると判定してよい。なお、第1の条件および第2の条件に対して、視野の撮像画像に家畜B−3の顔が写っていないという第3の条件が追加されてもよいし、第1の条件は、視野の撮像画像に写る家畜B−3の家畜B−3の全体に対する割合が所定の割合未満であるという条件に置き換えられてもよい。
他の例として、ユーザU−1および家畜B−1それぞれの位置情報を利用して遮蔽判定がなされてもよい。判定部113は、ユーザU−1の位置を基準として家畜B−3および他の物体それぞれの方向が一致または近接する場合、かつ、ユーザU−1の位置を基準として他の物体よりも家畜B−3が遠い場合に、家畜B−3の少なくとも一部が他の物体に遮蔽されていると判定してよい。
図6に示した例では、ユーザU−1の位置を基準とした家畜B−3の方向と、ユーザU−1の位置を基準とした家畜B−1の方向とが近接し、かつ、ユーザU−1の位置を基準として家畜B−1よりも家畜B−3が遠いことが想定される。かかる場合、判定部113は、家畜B−3の一部が家畜B−1に遮蔽されていると判定してよい。なお、ユーザU−1および家畜B−1〜B−3それぞれの位置情報は、既に説明したようにして取得され得る。
以上、家畜B−1の個体情報のAR表示例および家畜B−3が見にくい場合の第1の判定例について説明した。続いて、家畜B−3が見にくい場合の第2の判定例について説明する。図7は、家畜B−1の個体情報のAR表示例および家畜B−3が見にくい場合の第2の判定例を説明するための図である。図7を参照すると、ユーザU−1の視野V−3が示されている。ここで、選択部112によって家畜B−1が選択された場合を想定する。かかる場合、図6を参照しながら説明したように、表示制御部111は、選択部112によって選択された家畜B−1の個体情報I−11のAR表示を制御する。
表示制御装置10において、判定部113は、ユーザU−1にとって家畜B−1〜B−3が見づらくなっているか否かを判定する。一例として、判定部113は、(例えば、家畜B−3が見づらいために)ユーザU−1による所定の表示操作がなされたか否かを判定する。所定の表示操作は限定されない。しかし、上記のように、家畜等に対する作業現場では、ハンズフリー操作が望ましい。そこで、所定の表示操作は、ユーザU−1によるタッチ操作およびボタン操作以外であるのが望ましい(すなわち、判定部113は、ユーザU−1によるタッチ操作およびボタン操作の有無以外の条件を満たしたか否かに基づき判定を行うのが望ましい)。図7に示すように、所定の表示操作は、ユーザの見上げるような動作(すなわち、ユーザの頭頂部を後方に傾ける動作)であってもよい。しかし、所定の表示操作は、かかる例に限定されない。
例えば、所定の表示操作は、見下ろすような動作(すなわち、頭頂部を前方に傾ける動作)であってもよい。あるいは、所定の表示操作は、左から回り込むような動作(すなわち、上から見て時計回りを描く動作)であってもよいし、右から回り込むような動作(すなわち、上から見て反時計回りを描く動作)であってもよい。あるいは、所定の表示操作は、下から覗き込むような動作(すなわち、頭頂部を左方向または右方向に傾ける動作)であってもよいし、ユーザU−1によって発せられる所定の音声(例えば、発話)であってもよい。所定の表示操作は、これらの動作の所定の時間を超えた継続であってもよい。
以上、家畜B−1の個体情報のAR表示例および家畜B−3が見にくい場合の第2の判定例について説明した。続いて、家畜B−1〜B−3が見にくい場合の判定例について説明する。図8は、家畜B−1の個体情報のAR表示例および家畜B−1〜B−3が見にくい場合の判定例を説明するための図である。
図8を参照すると、ユーザU−1の視野V−4が示されている。ユーザU−1と家畜B−1〜B−3とが遠いため、視野V−4には、家畜B−1〜B−3が小さいサイズで存在している。ここで、選択部112によって家畜B−1が選択された場合を想定する。かかる場合、図6を参照しながら説明したように、表示制御部111は、選択部112によって選択された家畜B−1の個体情報I−11のAR表示を制御する。
表示制御装置10において、判定部113は、ユーザU−1にとって家畜B−1〜B−3が見づらくなっているか否かを判定する。一例として、ユーザU−1と家畜B−1〜B−3との距離が所定の距離を超えている場合には、ユーザU−1にとって家畜B−1〜B−3が見づらくなっていると考えられる。そのため、判定部113は、ユーザU−1と家畜B−1〜B−3のいずれか(例えば、家畜B−1〜B−3のうちで最もユーザU−1からの距離が小さい家畜B−1)との距離が所定の距離を超えているか否かを判定する。
以上、家畜B−1の個体情報の表示例および家畜B−1〜B−3が見にくい場合の判定例について説明した。しかし、家畜B−1〜B−3が見にくい場合の判定例は、これらの例に限定されない。例えば、家畜B−1〜B−3のいずれかが所定の姿勢(例えば、座っている姿勢、ユーザU−1に対して後ろ向きの姿勢など)である場合、または、所定の動き(例えば、移動など)をしている場合には、その家畜はユーザU−1にとって見にくいことが考えられる。
したがって、判定部113は、家畜B−1〜B−3のいずれかが所定の姿勢であるという条件、または、所定の動きをしているという条件が満たされているか否かを判定してよい。図7に示した例では、家畜B−2が座っている姿勢である。このとき、判定部113は、家畜B−2が座っている姿勢であるという条件が満たされていると判定すればよい。
以上、家畜B−1の個体情報のAR表示例および家畜B−2が見にくい場合の判定例について説明した。
(1.3.3.画像のVR表示)
上記のように、判定部113によって家畜B−3が見にくいと判定された場合を想定する。かかる場合、表示制御部111は、家畜B−3に関する画像のVR表示を制御すればよい。かかる構成によれば、個体情報I−31(図11)がAR表示される家畜B−3がユーザU−1に容易に把握されるようになる。このとき、表示制御部111は、家畜B−3に関する画像のVR表示を、視野において遮蔽されている家畜B−3がユーザU−1に視認されている形態とは異なる表示となるように制御するとよい。
なお、本明細書においては、家畜B−3に関する画像がVR表示される場合に、家畜B−1の個体情報も継続してAR表示される例を主に説明する。しかし、家畜B−3に関する画像がVR表示される場合に、家畜B−1の個体情報は非表示になってもよい。すなわち、家畜B−3に関する画像がVR表示されるモードと家畜B−1の個体情報がAR表示されるモードとの間で切り替えがなされてもよい。また、本明細書においては、家畜B−3に関する画像として、俯瞰画像を例に挙げて説明する。俯瞰画像に写る空間のアングルは、ユーザによる操作によって制御可能であってもよい。しかし、家畜B−3に関する画像は、かかる例に限定されない。例えば、家畜B−3に関する画像は、あらかじめ作成された3Dデータであってもよい。
例えば、家畜B−3に関する画像は、家畜B−3を頭部側から写した画像であってもよいし、家畜B−3を横から写した画像であってもよいし、家畜B−3を尻部側から写した画像であってもよい。このとき、家畜B−3に関する画像は、外部センサ30によって撮像された画像全体であってもよいし、外部センサ30によって撮像された画像の一部の領域であってもよい。また、外部センサ30が複数設置されている場合、家畜B−3に関する画像は、複数の外部センサ30によって撮像された画像の合成画像であってもよいし、複数の外部センサ30のいずれかによって撮像された画像であってもよい。
外部センサ30は、過去のある時点において1度撮像を行ってもよい。かかる場合には、家畜B−3に関する画像は、過去のある時点から特に変化しない。しかし、外部センサ30は、常時撮像を行って最新の画像によって古い画像を更新するようにしてもよい。かかる場合には、家畜B−3に関する画像は、時間の経過とともに変化し得る。したがって、ユーザU−1は、家畜B−3に関する画像を見ることによって、家畜B−3の成長の様子を把握することが可能である。また、家畜B−3に関する画像は、地図または2次元画像において家畜B−3の位置に存在する所定のオブジェクト(例えば、絵、マークなど)であってもよい。
図9は、俯瞰画像のVR表示例を示す図である。図9を参照すると、ユーザU−1の視野V−5が示されている。表示制御部111は、家畜B−3が見にくくないと判定された場合には、家畜B−3の個体情報と家畜B−3とを関連付けたAR表示を行うように制御する。ここでのAR表示は、ユーザU−1が視認している空間に家畜B−3の個体情報が表示されているとユーザU−1に認識させるための表示(例えば、上記したリンク情報など)であってよい。ここで、上記したように、家畜B−3が見にくいと判定された場合を想定する。具体的に、家畜B−3が見にくいと判定された場合としては、家畜B−3が家畜B−1に遮蔽されていると判定された場合、所定の表示操作がなされた場合、および、ユーザU−1と家畜B−1〜B−3のいずれかとの距離が所定の距離を超えている場合などが挙げられる。
このように、家畜B−3が見にくいと判定された場合、図9に示すように、表示制御部111は、遮蔽された家畜B−3を選択させるための俯瞰画像T−1をVR表示させる。ここで、VR表示は、少なくとも家畜B−3に対応する俯瞰画像、家畜B−3に対応する三次元画像、家畜B−3が遮蔽されていない状態の画像を含む撮像画像のうちのいずれかであってよい。俯瞰画像T−1には、見にくいと判定された家畜B−3に関する画像R−31が含まれている。その他、俯瞰画像T−1には、家畜B−1に関する画像R−11が含まれており、家畜B−2に関する画像R−21が含まれている。ここで、ユーザU−1が家畜B−3の個体情報を知りたいと考えた場合を想定する。このとき、ユーザU−1は、家畜B−3の代わりに、俯瞰画像T−1に含まれる(家畜B−3に関する)画像R−31に視線P−2を当てればよい。
表示制御装置10において、検出部120によって視線P−2が検出されると、選択部112は、視線P−2と俯瞰画像T−1における(家畜B−3に関する)画像R−31の位置情報とに基づいて、家畜B−3に関する画像R−31に視線P−2が当てられていると判断する。選択部112は、視線P−2が当てられている(家畜B−3に関する)画像R−31に対応する家畜B−3を選択する。
このように、家畜B−3に関する画像R−31のVR表示によって、見にくいと判定された家畜B−3が容易に選択され得る。特に、多くの家畜が密集して存在する場合には、耳標に記載されたバーコードの読み取り結果、カメラによる画像認識結果などに基づいて、奥側に存在する家畜B−3を選択するのは困難である。それに対し、家畜B−3に関する画像R−31のVR表示によって、家畜B−3が容易に選択され得る。また、家畜B−3に関する画像R−31のVR表示によって、ユーザU−1が家畜B−3に近づいてバーコードの読み取りを行う必要がなくなるため、ユーザU−1の作業効率が向上する。
なお、上記においては、選択部112が、家畜B−3に関する画像R−31に視線P−2が当てられた場合に、視線P−2が当てられた(家畜B−3に関する)画像R−31に対応する家畜B−3を即座に選択する例を示した。しかし、選択部112は、家畜B−3に関する画像R−31に視線P−2が所定の時間を超えて当てられた場合に、視線P−2が所定の時間を超えて当てられた(家畜B−3に関する)画像R−31に対応する家畜B−3を選択してもよい。
なお、家畜B−3の少なくとも一部が他の物体に遮蔽されるように状態が遷移する場合も想定される。かかる場合には、表示制御部111は、家畜B−3に関する画像R−31の存在を示す情報の表示を制御してもよい。これによって、家畜B−3に関する画像R−31の存在を示す情報を見たユーザU−1が所定の表示操作を行うと、所定の表示操作によって、家畜B−3に関する画像R−31がVR表示され得る。
以上、俯瞰画像T−1のVR表示例について説明した。なお、例えば、俯瞰画像T−1は、(例えば、ユーザU−1が屋外にいる場合などには、上方に設置された外部センサ30はユーザU−1から見えにくいため、)ユーザU−1による見下ろすような動作がなされた場合に、表示されてもよい。あるいは、俯瞰画像T−1は、(例えば、ユーザU−1が屋内にいる場合などには、上方に設置された外部センサ30はユーザU−1から見えやすいため、)ユーザU−1による見上げるような動作がなされた場合に、表示されてもよい。
また、表示制御部111は、家畜B−3の少なくとも一部を遮蔽している家畜B−1を視野V−5から消去し、視野V−5に存在する家畜B−3を家畜B−3に関する画像によって置換してもよい。家畜B−3に関する画像は、視認しやすい姿勢の画像であるのがよい。視認しやすい姿勢の画像は、家畜B−3を横から写した画像であってもよいし、家畜B−3を頭部側から写した画像であってもよいし、家畜B−3を尻部側から写した画像であってもよい。また、視認しやすい姿勢の画像は、家畜B−3が立ち上がった姿を写した画像であるのがよい。
また、表示操作の種類によって、画像の種類が変化してもよい。例えば、ユーザU−1によって左右から回り込むような動作がなされた場合、家畜B−3を横から写した画像が表示されてもよい。また、ユーザU−1によって下から覗き込むような動作がなされた場合、家畜B−3を下から写した画像がVR表示されてもよい。あるいは、画像の種類は、ユーザU−1によって発せられる音声(例えば、発話)によって指定されてもよい。
さらに、上記したように、家畜B−1〜B−3のいずれかが所定の姿勢である場合、または、所定の動きをしている場合にも、その家畜はユーザU−1にとって見にくいことが考えられる。例えば、図6に示したように、家畜B−2が座っている姿勢である場合には、家畜B−2はユーザU−1にとって見にくいことが考えられる。
かかる場合、表示制御部111は、家畜B−2に関する画像のVR表示を制御するとよい。家畜B−2に関する画像は、視認しやすい姿勢の画像であるのがよい。視認しやすい姿勢の画像は、家畜B−2を横から写した画像であってもよいし、家畜B−2を頭部側から写した画像であってもよいし、家畜B−2を尻部側から写した画像であってもよい。また、視認しやすい姿勢の画像は、家畜B−2が立ち上がった姿を写した画像であるのがよい。
図10は、家畜B−2を横から写した画像のVR表示例を示す図である。図10を参照すると、ユーザU−1の視野V−6が示されている。ここで、上記したように、家畜B−2が(座っている姿勢であるために)見にくいと判定された場合を想定する。このように、(座っている姿勢であるために)家畜B−2が見にくいと判定された場合、図10に示すように、表示制御部111は、家畜B−2を横から写した横方向画像T−2を表示させる。横方向画像T−2には、見にくいと判定された家畜B−2に関する画像R−22が含まれている。
ここで、ユーザU−1が家畜B−2の個体情報を知りたいと考えた場合を想定する。このとき、ユーザU−1は、横方向画像T−2に含まれる(家畜B−2に関する)画像R−22に視線を当てればよい。
表示制御装置10において、検出部120によって視線が検出されると、選択部112は、視線と横方向画像T−2における(家畜B−2に関する)画像R−22の位置情報とに基づいて、家畜B−2に関する画像R−22に視線が当てられていると判断する。選択部112は、視線が当てられている(家畜B−2に関する)画像R−22に対応する家畜B−2を選択する。
以上、横方向画像T−2のVR表示例について説明した。上記したように、選択部112によって、(家畜B−3に関する)画像R−31に対応する家畜B−3が選択された場合(VR表示を用いてユーザU−1が家畜B−3を選択した場合)、表示制御部111は、家畜B−3の個体情報のAR表示を制御すればよい。また、上記したように、選択部112によって、(家畜B−2に関する)画像R−22に対応する家畜B−2が選択された場合、表示制御部111は、家畜B−2の個体情報のAR表示を制御すればよい。例として、家畜B−3の個体情報のAR表示例を説明する。
図11は、選択部112によって選択された家畜B−3の個体情報のAR表示例を示す図である。図11を参照すると、ユーザU−1の視野V−7が示されている。表示制御部111は、選択部112によって選択された家畜B−3の個体情報I−31のAR表示を制御する。なお、図11に示した例では、視野V−7においては、家畜B−3に対応する画像R32が見やすい位置(例えば、視野V−7に存在する他の家畜に重ならない位置など)にVR表示され、画像R32と個体情報I−31とを結ぶリンク情報が表示されている。これによって、ユーザU−1は、個体情報I−31に対応する家畜B−3をさらに把握しやすくなる。
なお、上記においては、選択部112によって家畜B−3が選択された場合に、俯瞰画像T−1が非表示となる例を説明した。しかし、俯瞰画像T−1が非表示となるタイミングは、かかる場合に限定されない。例えば、ユーザU−1による所定の表示操作の解除によって、俯瞰画像T−1が非表示となってもよい。
より具体的には、ユーザU−1による見上げるような動作によって俯瞰画像T−1がVR表示された場合には、ユーザU−1による見下ろすような動作によって、俯瞰画像T−1が非表示となってもよい。あるいは、ユーザU−1による見下ろすような動作によって俯瞰画像T−1がVR表示された場合には、ユーザU−1による見上げるような動作によって、俯瞰画像T−1が非表示となってもよい
家畜B−3に関する画像のVR表示例について説明した。
(1.3.4.識別情報の表示)
上記においては、家畜の個体情報がAR表示される例について説明した。しかし、表示制御部111は、家畜の個体情報だけではなく、家畜の識別情報の表示を制御してもよい。そうすれば、ユーザU−1は、家畜の識別情報を見れば、視野に存在する家畜をより容易に識別することが可能である。ここでは、家畜の識別情報の例として、ユーザU−1によって付与されるIDが表示される例を説明する。
図12は、ユーザU−1によって付与されるIDの表示例を示す図である。図12を参照すると、ユーザU−1の視野V−8が示されている。また、視野V−8には、家畜B−1〜B−3が存在している。ここで、家畜B−2に装着された装着型デバイス40から、家畜B−2のIOTデバイスの識別番号がサーバ20に送信されると、サーバ20からIOTデバイスの識別番号に対応するIDが家畜B−2のIDとして表示制御装置10に送信される。
表示制御装置10においては、表示制御部111が、家畜B−2のIDの表示を制御する。具体的には、サーバ20から家畜B−2の位置情報が送信されると、表示制御装置10においては、表示制御部111が、家畜B−2の位置情報と、検出部120によって検出された表示制御装置10の向き、および、表示制御装置10の位置情報とに基づいて、視野V−8における家畜B−2が存在する位置に、家畜B−2のIDが表示されるように制御する。
このとき、表示制御部111は、家畜B−2のIDを視野V−8における家畜B−2に重畳させるように表示させるとよい。そうすれば、家畜B−2のIDと視野V−8に存在する家畜B−2との対応が把握されやすくなる。より具体的には、図12に示すように、表示制御部111は、家畜B−2のIDが記載されたゼッケンZを視野V−8における家畜B−2の身体(例えば、腹部など)に重畳させるように表示させるとよい。なお、家畜B−1の識別情報および家畜B−3の識別情報も、家畜B−2の識別情報と同様に表示され得る。
以上、家畜の識別情報の表示について説明した。
(1.3.5.複数の個体情報のAR表示)
上記においては、家畜の個体情報が1つだけAR表示される例を説明した。しかし、一度にAR表示される家畜の個体情報は1つに限定されない。具体的には、複数の家畜それぞれの個体情報が同時にAR表示されてもよい。すなわち、表示制御部111は、視野に複数の家畜が存在する場合、複数の家畜それぞれの個体情報のAR表示を制御してもよい。以下においては、複数の家畜それぞれの個体情報が同時にAR表示される例について説明する。
図13は、複数の家畜それぞれの個体情報が同時にAR表示される例を示す図である。図13を参照すると、ユーザU−1の視野V−9が示されている。また、視野V−9には、家畜B−1,B−2が存在している。このとき、表示制御部111は、家畜B−1の個体情報I−11および家畜B−2の個体情報I−21のAR表示を制御してよい。例えば、表示制御部111は、選択部112によって家畜B−1,B−2が選択された場合に、家畜B−1の個体情報I−11および家畜B−2の個体情報I−21のAR表示を制御してよい。
図13には、AR表示される個体情報が2つである例が示されている。このときには、2つの個体情報が重なってしまうような状況が生じていない。しかし、表示される個体情報が増加していくと、複数の個体情報同士が重なってしまうような状況が生じ得る。このような状況においては、少なくとも一部が表示されない個体情報が出現してしまうという状況が生じ得る。そこで、複数の個体情報同士が重なってしまう状況を回避する手法が採用され得る。
図14は、複数の個体情報同士が重なってしまうような状況の例を示す図である。図14を参照すると、ユーザU−1の視野V−10が示されている。また、視野V−10には、家畜B−1,B−2の他に、家畜B−4が存在している。このとき、図14に示すように、表示制御部111は、家畜B−1の個体情報I−11、家畜B−2の個体情報I−21および家畜B−4の個体情報I−41のAR表示を制御してよい。例えば、表示制御部111は、選択部112によって家畜B−1,B−2,B−4が選択された場合に、家畜B−1の個体情報I−11、家畜B−2の個体情報I−21および家畜B−4の個体情報I−41のAR表示を制御してよい。
しかし、図14を参照すると、家畜B−2の個体情報I−21と家畜B−4の個体情報I−41とが重なってしまっている。そこで、表示制御部111は、複数の家畜それぞれの個体情報の密集度合いが所定の密集度合いよりも高い場合に、複数の家畜それぞれの個体情報のAR表示を停止するとよい。さらに、表示制御部111は、複数の家畜それぞれの個体情報の密集度合いが所定の密集度合いよりも高い場合に、複数の家畜それぞれに関する画像のVR表示を制御するとよい。
図14に示した例では、家畜B−4の個体情報I−41が見えなくなってしまっているため、表示制御部111は、家畜B−4の個体情報I−41のAR表示を停止し、家畜B−4に関する画像のVR表示を制御してもよい。さらに、表示制御部111は、家畜B−1の個体情報I−11のAR表示を停止し、家畜B−2に関する画像のVR表示を制御してもよい。また、表示制御部111は、家畜B−2の個体情報I−21のAR表示を停止し、家畜B−2に関する画像のVR表示を制御してもよい。
表示制御部111は、複数の家畜それぞれの個体情報の密集度合いが所定の密集度合いよりも高い場合に、複数の家畜それぞれの個体情報の表示または非表示を制御してもよい。例えば、表示制御部111は、一部が見えなくなってしまっている個体情報I−41だけを非表示にしてもよい。あるいは、表示制御部111は、ユーザU−1の視線が当っていない個体情報だけを非表示にしてもよい。
あるいは、表示制御部111は、複数の家畜それぞれの個体情報の密集度合いが所定の密集度合いよりも高い場合に、複数の家畜それぞれの個体情報の表示位置を制御してもよい。例えば、例えば、表示制御部111は、一部が見えなくなってしまっている個体情報I−41の表示位置として個体情報I−11および個体情報I−21とは重ならない位置を選択してもよい。
あるいは、表示制御部111は、複数の家畜それぞれの個体情報の密集度合いが所定の密集度合いよりも高い場合に、複数の家畜それぞれの個体情報の情報量を制御してもよい。例えば、表示制御部111は、複数の家畜それぞれの個体情報の密集度合いが所定の密集度合いよりも高い場合に、複数の家畜それぞれの個体情報の情報量を低減させてもよい。
図15は、複数の家畜それぞれの個体情報の情報量を低減させる例を示す図である。図15を参照すると、ユーザU−1の視野V−11が示されている。また、視野V−11には、家畜B−1,B−2の他に、家畜B−4が存在している。このとき、図14に示すように、表示制御部111は、家畜B−1の個体情報I−11の他、情報量が低減された、家畜B−2の個体情報I−22および家畜B−4の個体情報I−42のAR表示を制御してよい。これによって、複数の個体情報同士が重なってしまう状況が回避され得る。
家畜B−2の個体情報I−22および家畜B−4の個体情報I−42には、出生、体重、病歴、投薬およびBCといった項目のうち、出生だけが残されているが、削除されるべき項目は、特に限定されない。また、図15に示した例では、互いに重なり合う家畜B−2の個体情報I−22および家畜B−4の個体情報I−42の情報量だけが低減されているが、他の個体情報と重ならない家畜B−1の個体情報I−11の情報量が低減されてもよい。
以上、家畜の個体情報が複数AR表示される例を説明した。
(1.3.6.動作例)
続いて、本開示の実施形態に係る表示制御システム1の動作の第1の例を説明する。図16は、本開示の実施形態に係る表示制御システム1の動作の第1の例を示すフローチャートである。なお、図16に示したフローチャートは、表示制御システム1の動作の一例を示したに過ぎない。したがって、表示制御システム1の動作は、図16に示したフローチャートの動作例に限定されない。
まず、サーバ20は、家畜B−1〜家畜B−Nの位置情報を特定するための情報に基づいて、家畜B−1〜家畜B−Nの位置情報を特定する。このようにして、サーバ20によって個体認識がなされる(S11)。サーバ20において、情報取得部211が、視野V−1に存在する家畜B−1〜B−3それぞれの個体情報および位置情報を取得すると(S12)、情報提供部212は、視野V−1に存在する家畜B−1〜B−3それぞれの個体情報および位置情報を、通信部230を介して表示制御装置10に提供する。
続いて、表示制御装置10においては、選択部112は、ユーザU−1の注視点を取得すると(S13)、注視点と家畜B−1〜B−3それぞれの位置情報とに基づいて、ユーザU−1が注目する家畜B−1を選択する。表示制御部111は、選択された家畜B−1の個体情報I−11のAR表示を制御する(S14)。
続いて、判定部113は、家畜B−1〜B−3のいずれかが他の物体に遮蔽されているか否かを判定する(S15)。表示制御部111は、他の物体に遮蔽されている家畜が存在する場合(S15において「Yes」)、俯瞰画像のVR表示を制御し(S16)、選択部112は、ユーザU−1の注視点を取得し(S21)、表示制御部111は、VR表示を用いて他の物体に遮蔽されている家畜が(例えば、注視点が俯瞰画像上に存在することによって)選択部112によって選択された場合(S22において「Yes」)、当該家畜の個体情報の表示を制御し(S23)、動作を終了する。表示制御部111は、VR表示を用いて他の物体に遮蔽されている家畜が選択されなかった場合(S22において「No」)、動作を終了する。一方、表示制御部111は、他の物体に遮蔽されている家畜が存在しない場合(S15において「No」)、動作を終了する。
続いて、本開示の実施形態に係る表示制御システム1の動作の第2の例を説明する。図17は、本開示の実施形態に係る表示制御システム1の動作の第2の例を示すフローチャートである。なお、図17に示したフローチャートは、表示制御システム1の動作の一例を示したに過ぎない。したがって、表示制御システム1の動作は、図17に示したフローチャートの動作例に限定されない。
S11〜S14は、図16を参照しながら説明したように、実行され得る。続いて、判定部113は、ユーザU−1の姿勢が所定の姿勢であるか否かを判定する(S17)。ユーザU−1の姿勢が所定の姿勢である場合(S17において「Yes」)、図16を参照しながら説明したように、S16,S21〜S23が実行され、動作が終了する。一方、表示制御部111は、ユーザU−1の姿勢が所定の姿勢である場合(S17において「No」)、動作を終了する。
続いて、本開示の実施形態に係る表示制御システム1の動作の第3の例を説明する。図18は、本開示の実施形態に係る表示制御システム1の動作の第3の例を示すフローチャートである。なお、図18に示したフローチャートは、表示制御システム1の動作の一例を示したに過ぎない。したがって、表示制御システム1の動作は、図18に示したフローチャートの動作例に限定されない。
S11〜S14は、図16を参照しながら説明したように、実行され得る。続いて、判定部113は、ユーザU−1と家畜B−1〜B−3との距離(例えば、ユーザU−1とユーザU−1から最も近い家畜までの距離)が閾値を超えるか否かを判定する(S18)。表示制御部111は、ユーザU−1と家畜B−1〜B−3との距離が閾値を超える場合(S18において「Yes」)、図16を参照しながら説明したように、S16,S21〜S23が実行され、動作が終了する。一方、表示制御部111は、ユーザU−1と家畜B−1〜B−3との距離が閾値を超えない場合(S18において「No」)、動作を終了する。
続いて、本開示の実施形態に係る表示制御システム1の動作の第1の例の変形例を説明する。図19は、本開示の実施形態に係る表示制御システム1の動作の第1の例の変形例を示すフローチャートである。なお、図19に示したフローチャートは、表示制御システム1の動作の一例を示したに過ぎない。したがって、表示制御システム1の動作は、図19に示したフローチャートの動作例に限定されない。
まず、サーバ20は、家畜B−1〜家畜B−Nの位置情報を特定するための情報に基づいて、家畜B−1〜家畜B−Nの位置情報を特定する。このようにして、サーバ20によって個体認識がなされる(S11)。サーバ20において、情報取得部211が、視野V−1に存在する家畜B−1〜B−3それぞれの個体情報および位置情報を取得すると(S12)、情報提供部212は、視野V−1に存在する家畜B−1〜B−3それぞれの個体情報および位置情報を、通信部230を介して表示制御装置10に提供する。
続いて、表示制御装置10においては、判定部113は、家畜B−1〜B−3のいずれかが他の物体に遮蔽されているか否かを判定する(S15)。他の物体に遮蔽されている家畜が存在する場合(S15において「Yes」)、図16を参照しながら説明したように、S16,S21〜S23が実行され、動作が終了する。一方、他の物体に遮蔽されている家畜が存在しない場合(S15において「No」)、動作が終了する。
続いて、本開示の実施形態に係る表示制御システム1の動作の第2の例の変形例を説明する。図20は、本開示の実施形態に係る表示制御システム1の動作の第2の例の変形例を示すフローチャートである。なお、図20に示したフローチャートは、表示制御システム1の動作の一例を示したに過ぎない。したがって、表示制御システム1の動作は、図20に示したフローチャートの動作例に限定されない。
S11〜S12は、図16を参照しながら説明したように、実行され得る。続いて、判定部113は、ユーザU−1の姿勢が所定の姿勢であるか否かを判定する(S17)。ユーザU−1の姿勢が所定の姿勢である場合(S17において「Yes」)、図16を参照しながら説明したように、S16,S21〜S23が実行され、動作が終了する。一方、ユーザU−1の姿勢が所定の姿勢である場合(S17において「No」)、図16を参照しながら説明したように、S13〜S14が実行され、動作が終了する。
続いて、本開示の実施形態に係る表示制御システム1の動作の第3の例の変形例を説明する。図21は、本開示の実施形態に係る表示制御システム1の動作の第3の例の変形例を示すフローチャートである。なお、図21に示したフローチャートは、表示制御システム1の動作の一例を示したに過ぎない。したがって、表示制御システム1の動作は、図21に示したフローチャートの動作例に限定されない。
S11〜S12は、図16を参照しながら説明したように、実行され得る。続いて、判定部113は、ユーザU−1と家畜B−1〜B−3との距離(例えば、ユーザU−1とユーザU−1から最も近い家畜までの距離)が閾値を超えるか否かを判定する(S18)。ユーザU−1と家畜B−1〜B−3との距離が閾値を超える場合(S18において「Yes」)、図16を参照しながら説明したように、S16,S21〜S23が実行され、動作が終了する。一方、表示制御部111は、ユーザU−1と家畜B−1〜B−3との距離が閾値を超えない場合(S18において「No」)、図16を参照しながら説明したように、S13〜S14が実行され、動作が終了する。
以上、本開示の実施形態に係る表示制御システム1の動作の例について説明した。
[1.4.各種の変形例]
続いて、本開示の実施形態に係る各種の変形例について説明する。上記においては、ユーザにAR情報が提示される1の対象物が、家畜である例を説明した。しかし、ユーザにAR情報が提示される1の対象物は、家畜に限定されない。例えば、ユーザにAR情報が提示される1の対象物は、スポーツ選手であってもよい。以下、ユーザにAR情報が提示される1の対象物がスポーツ選手である場合について説明する。
図22は、ユーザにAR情報が提示される1の対象物がスポーツ選手である場合を説明するための図である。図22に示した例では、団体競技の監督(またはコーチ)が、上記したユーザU−1に該当し、選手に関する情報を見ながら、選手を指導する場面が想定されている。図22を参照すると、監督の視野G−2には、選手L−1〜L−3が存在している。また、表示制御部111によって、選手L−3に関する情報(以下、「選手情報」とも言う。)J−31が表示制御されている。
奥側の選手の少なくとも一部が手前側の選手に遮蔽されている場合は、監督の回り込み動作により、表示制御部111によって奥側の選手に関する情報が表示制御され、奥側の選手に関する情報が監督に見えるようになってもよい。また、遠くにいる選手に関する情報は、表示制御部111によって拡大されてVR表示が制御されてもよい。監督による見上げるような動作または見下ろすような動作によって、表示制御部111によって画像のVR表示が制御されてもよい。ここで、画像は、外部センサ30によって撮像された3次元画像であってもよいし、地図または2次元画像であってもよい。
また、練習時に監督から選手に(例えば、ヘッドセットなどを用いて)音声を伝えることが可能であれば、監督は視線によって選手を選択し、選択した選手に対してヘッドセットから指示を出すことが可能である。監督が動いている選手を目で追った場合(あるいは、音声によって選手を特定した場合)、表示制御部111によってその選手の移動軌跡が表示制御され、監督によって確認されてもよい。
奥側の選手の少なくとも一部が手前側の選手に遮蔽されている場合は、監督による順送りによって、表示制御部111によって奥側の選手が表示制御されてもよい。図22には、視野G−2においては、選手L−3の一部が選手L−1に遮蔽されているが、監督による順送り操作によって、視野G−2よりも後の視野G−1においては、選手L−3の全体が見えるようになっている。また、表示制御部111によって選手L−1が消去されてもよいし、表示制御部111によって選手L−3が選手L−1に遮蔽されない位置に再配置されてもよい(VR表示されてもよい)。
また、音声による指示、GUIメニューに対して視線を当てる動作、ジェスチャによる指示などによって、表示制御部111によって選手の少し前の動作がリプレイされてもよい。表示される情報としては、戦歴、身体特性、トレーニング状況、過去の試合または練習の動画、これらの分析結果などが挙げられる。また、予測アルゴリズムを利用して、VRによって、過去に実施された同様のフォーメーションの再生、戦略シミュレーションが可能であってよい。
以上、ユーザにAR情報が提示される1の対象物がスポーツ選手である場合について説明した。
本開示の実施形態は様々な用途に適用され得る。表示制御部111によって顕微鏡下でユーザに見えている物体にメタ情報が重畳されてもよい。あるいは、ユーザにAR情報が提示される1の対象物は、動物園に存在する動物であってもよい。あるいは、ユーザにAR情報が提示される1の対象物は、養殖されている魚であってもよい。
また、ユーザが自由に移動させることが可能な物体(例えば、文房具、道具、小型機器など)に対して、表示制御部111によって必要に応じてメタ情報が重畳されてもよい。これによって、ユーザは、他のユーザが勝手に移動させてしまった物体を探すことが可能となる。このとき、ユーザが見ている方向に置いてある物体のメタ情報が表示制御部111によって表示制御されてもよい。
上記においては、表示によって情報が出力される例を主に説明した。しかし、音声によって情報が出力部160によって出力されてもよい。例えば、ユーザが牛に触った場合に、その牛のコンディションが出力部160によって読み上げられてもよい。また、その牛のコンディションが悪い場合には、出力部160によってアラートが出力されてもよい。また、出力部160は、ユーザの視野に存在する対象物の認識に失敗したら、対象物の候補を複数出力してもよい。このとき、ユーザによって複数の候補から1の候補が選択されてもよい。
以上、本開示の実施形態に係る各種の変形例について説明した。
[1.5.ハードウェア構成例]
次に、図23を参照して、本開示の実施形態に係る表示制御装置10のハードウェア構成について説明する。図23は、本開示の実施形態に係る表示制御装置10のハードウェア構成例を示すブロック図である。
図23に示すように、表示制御装置10は、CPU(Central Processing unit)901、ROM(Read Only Memory)903、およびRAM(Random Access Memory)905を含む。CPU901、ROM903およびRAM905によって、制御部110が実現され得る。また、表示制御装置10は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923、通信装置925を含んでもよい。さらに、表示制御装置10は、必要に応じて、撮像装置933、およびセンサ935を含んでもよい。表示制御装置10は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)またはASIC(Application Specific Integrated Circuit)と呼ばれるような処理回路を有してもよい。
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、表示制御装置10内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。CPU901、ROM903、およびRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、ボタンなど、ユーザによって操作される装置である。入力装置915は、マウス、キーボード、タッチパネル、スイッチおよびレバーなどを含んでもよい。また、入力装置915は、ユーザの音声を検出するマイクロフォンを含んでもよい。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、表示制御装置10の操作に対応した携帯電話などの外部接続機器929であってもよい。入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、表示制御装置10に対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置933も、ユーザの手の動き、ユーザの指などを撮像することによって、入力装置として機能し得る。このとき、手の動きや指の向きに応じてポインティング位置が決定されてよい。なお、入力装置915によって、上記した検出部120が実現され得る。
出力装置917は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置917は、例えば、LCD(Liquid Crystal Display)、有機EL(Electro−Luminescence)ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音出力装置などであり得る。また、出力装置917は、PDP(Plasma Display Panel)、プロジェクタ、ホログラム、プリンタ装置などを含んでもよい。出力装置917は、表示制御装置10の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音として出力したりする。また、出力装置917は、周囲を明るくするためライトなどを含んでもよい。なお、出力装置917によって、上記した出力部160が実現され得る。
ストレージ装置919は、表示制御装置10の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)などの磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体927のためのリーダライタであり、表示制御装置10に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体927に記録を書き込む。
接続ポート923は、機器を表示制御装置10に直接接続するためのポートである。接続ポート923は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどであり得る。また、接続ポート923は、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High−Definition Multimedia Interface)ポートなどであってもよい。接続ポート923に外部接続機器929を接続することで、表示制御装置10と外部接続機器929との間で各種のデータが交換され得る。
通信装置925は、例えば、ネットワーク931に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置925は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カードなどであり得る。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置925は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置925に接続されるネットワーク931は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などである。なお、通信装置925によって、上記した通信部130が実現され得る。
撮像装置933は、例えば、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置933は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。なお、撮像装置933によって、上記した検出部120が実現され得る。
センサ935は、例えば、測距センサ、加速度センサ、ジャイロセンサ、地磁気センサ、振動センサ、光センサ、音センサなどの各種のセンサである。センサ935は、例えば表示制御装置10の筐体の姿勢など、表示制御装置10自体の状態に関する情報や、表示制御装置10の周辺の明るさや騒音など、表示制御装置10の周辺環境に関する情報を取得する。また、センサ935は、GPS(Global Positioning System)信号を受信して装置の緯度、経度および高度を測定するGPSセンサを含んでもよい。なお、センサ935によって、上記した検出部120が実現され得る。
<2.むすび>
以上説明したように、本開示の実施形態によれば、ユーザの視野に存在する1の対象物に関する情報の表示を制御する表示制御部を備え、前記表示制御部は、前記ユーザの位置を基準として前記1の対象物の少なくとも一部が他の物体に遮蔽されていると判定された場合に、前記1の対象物に関する画像の表示を制御する、表示制御装置が提供される。そうすれば、ユーザにAR情報が提示される1の対象物がユーザに容易に把握されるようにすることが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記した表示制御装置10およびサーバ20の動作が実現されれば、各構成の位置は特に限定されない。具体的な一例として、表示制御装置10における制御部110が有する各ブロック(表示制御部111、選択部112、判定部113)の一部または全部は、サーバ20などに存在していてもよい。また例えば表示制御装置10とサーバ20の他に各構成の一部の処理を行う1または複数の中継装置(図示なし)が表示制御システム1に存在してもよい。この場合中継装置は例えばユーザU−1が持つスマートフォンとすることができる。例えば中継装置は中継装置の筐体の中に表示制御装置10およびサーバ20と通信する通信回路と、上記実施例中の各ブロックが行う処理のうちの一部の処理を行う処理回路を有する。そして中継装置は例えばサーバ20の通信部230から所定のデータを受信し各構成のうちの一部の処理を行い、処理結果に基づきデータを表示制御装置10の通信部130に送信したり、またその逆方向の通信と処理を行ったりすることで、上記した表示制御装置10およびサーバ20の動作の実施例と同様の効果をもたらす。
また、上記においては、実世界に存在する対象物(例えば、家畜)と対象物の個体情報とをユーザの視野において結び付ける例(対象物の個体情報のAR表示を行う例)を示した。しかし、実世界に存在する対象物と対象物の個体情報との結び付け(対象物の個体情報のAR表示)はなされなくてもよい。対象物が家畜の場合を例として説明すると、ユーザが家畜の装着センサから家畜の識別番号を視認可能である場合、識別番号が視認された位置を用いて、対象物と個体情報との対応付けが把握され得る。かかる構成によれば、表示制御装置10による処理負荷が軽減され得る。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
ユーザの視野に存在する対象物に関する情報の表示を制御する表示制御部を備え、
前記表示制御部は、前記ユーザの位置を基準として前記対象物の少なくとも一部が他の物体に遮蔽されていると判定された場合に、前記視野において遮蔽されている前記対象物が前記ユーザに視認されている形態とは異なる表示となるように前記対象物に関する画像の表示を制御する、
表示制御装置。
(2)
前記表示制御部は
前記対象物の少なくとも一部が他の物体に遮蔽されていないと判定された場合に、前記対象物に関する情報と前記対象物とを関連付けたAR(Augmented reality)表示を行うように制御し、
前記対象物の少なくとも一部が他の物体に遮蔽されていると判定された場合に、遮蔽された前記対象物を選択させるためのVR(Virtual reality)表示を行うように制御する、
前記(1)に記載の表示制御装置。
(3)
前記AR表示は、前記ユーザが視認している空間に前記対象物に関する情報が表示されていると前記ユーザに認識させるための表示であり、
前記VR表示は、少なくとも前記対象物に対応する俯瞰画像、前記対象物に対応する三次元画像、前記対象物が遮蔽されていない状態の画像を含む撮像画像のうちのいずれかである、
前記(2)に記載の表示制御装置。
(4)
前記表示制御部は、前記VR表示を用いて前記ユーザが前記対象物を選択した場合に、前記対象物に関する情報の表示の制御を行う、
前記(2)または(3)に記載の表示制御装置。
(5)
前記ユーザの頭部に装着可能な筐体と、
前記筐体に備えられ、前記AR表示及び前記VR表示を行うディスプレイと、
前記ユーザの位置を基準として前記対象物の少なくとも一部が前記他の物体に遮蔽されているか否かを判定する判定部をさらに備え、
前記判定部は、前記ユーザによるタッチ操作及びボタン操作の有無以外の条件を満たしたか否かに基づき判定を行う、
前記(2)〜(4)のいずれか一項に記載の表示制御装置。
(6)
前記対象物は、家畜である、
前記(1)〜(5)のいずれか一項に記載の表示制御装置。
(7)
前記表示制御部は、前記ユーザと前記対象物との距離が所定の距離を超えている場合に、前記対象物に関する画像の表示を制御する、
前記(1)〜(6)のいずれか一項に記載の表示制御装置。
(8)
前記表示制御部は、前記ユーザによる所定の表示操作がなされた場合、前記対象物に関する画像の表示を制御する、
前記(1)〜(7)のいずれか一項に記載の表示制御装置。
(9)
前記表示制御部は、前記対象物が所定の姿勢である場合、または、前記対象物が所定の動きをしている場合に、前記対象物に関する画像の表示を制御する、
前記(1)〜(8)のいずれか一項に記載の表示制御装置。
(10)
前記表示制御部は、前記視野における前記対象物の位置と前記対象物に関する情報の位置との間を結ぶリンク情報の表示を制御する、
前記(1)〜(9)のいずれか一項に記載の表示制御装置。
(11)
前記表示制御部は、前記対象物が移動中でない場合、前記視野における前記対象物の位置に基づいて、前記対象物に関する情報の位置を決定し、前記対象物が移動中である場合、前記対象物に関する情報の位置を固定する、
前記(1)〜(10)のいずれか一項に記載の表示制御装置。
(12)
前記表示制御部は、前記視野に前記対象物を含む複数の対象物が存在する場合、前記複数の対象物に関する各情報の表示を制御する、
前記(1)〜(11)のいずれか一項に記載の表示制御装置。
(13)
前記表示制御部は、前記複数の対象物それぞれに関する各情報の密集度合いが所定の密集度合いよりも高い場合に、前記複数の対象物に関する各画像の表示を制御する、
前記(12)に記載の表示制御装置。
(14)
前記表示制御部は、前記複数の対象物それぞれに関する各情報の密集度合いが所定の密集度合いよりも高い場合に、前記複数の対象物に関する各情報の表示を停止する、
前記(12)または(13)に記載の表示制御装置。
(15)
前記表示制御部は、前記複数の対象物それぞれに関する各情報の密集度合いが所定の密集度合いよりも高い場合に、前記複数の対象物に関する各情報の表示または非表示、表示位置、および、情報量の少なくともいずれか一つを制御する、
前記(12)〜(14)のいずれか一項に記載の表示制御装置。
(16)
前記表示制御部は、前記対象物の識別情報を、前記視野における前記対象物に重畳させるように表示させる、
前記(1)〜(15)のいずれか一項に記載の表示制御装置。
(17)
前記判定部は、前記視野の撮像画像に前記対象物の一部の領域が写っている場合、かつ、当該領域に隣接して前記他の物体の領域が写っている場合に、前記対象物の一部が前記他の物体に遮蔽されていると判定する、
前記(5)に記載の表示制御装置。
(18)
前記判定部は、前記ユーザの位置を基準として前記対象物および前記他の物体それぞれの方向が一致または近接する場合、かつ、前記ユーザの位置を基準として前記他の物体よりも前記対象物が遠い場合に、前記対象物の少なくとも一部が前記他の物体に遮蔽されていると判定する、
前記(5)に記載の表示制御装置。
(19)
ユーザの視野に存在する対象物に関する情報の表示を制御することを含み、
プロセッサにより、前記ユーザの位置を基準として前記対象物の少なくとも一部が他の物体に遮蔽されていると判定された場合に、前記視野において遮蔽されている前記対象物が前記ユーザに視認されている形態とは異なる表示となるように前記対象物に関する画像の表示を制御することを含む、
表示制御方法。
(20)
コンピュータを、
ユーザの視野に存在する対象物に関する情報の表示を制御する表示制御部を備え、
前記表示制御部は、前記ユーザの位置を基準として前記対象物の少なくとも一部が他の物体に遮蔽されていると判定された場合に、前記視野において遮蔽されている前記対象物が前記ユーザに視認されている形態とは異なる表示となるように前記対象物に関する画像の表示を制御する、
表示制御装置として機能させるためのプログラム。
1 表示制御システム
10 表示制御装置
110 制御部
111 表示制御部
112 選択部
113 判定部
120 検出部
130 通信部
150 記憶部
160 出力部
20 サーバ
210 制御部
211 情報取得部
212 情報提供部
220 記憶部
221 家畜情報
230 通信部
30 外部センサ
40 装着型デバイス
50 中継器
60 ゲートウェイ装置

Claims (19)

  1. ユーザの視野に存在する対象物に関する情報の表示を制御する表示制御部を備え、
    前記表示制御部は、
    前記ユーザの位置を基準として前記対象物の少なくとも一部が他の物体に遮蔽されていると判定された場合に、前記視野において遮蔽されている前記対象物が前記ユーザに視認されている形態とは異なる表示となるように前記対象物に関する画像の表示を制御し、
    前記対象物の少なくとも一部が他の物体に遮蔽されていないと判定された場合に、前記対象物に関する情報と前記対象物とを関連付けたAR(Augmented reality)表示を行うように制御し、
    前記対象物の少なくとも一部が他の物体に遮蔽されていると判定された場合に、遮蔽された前記対象物を選択させるためのVR(Virtual reality)表示を行うように制御する、
    表示制御装置。
  2. 前記AR表示は、前記ユーザが視認している空間に前記対象物に関する情報が表示されていると前記ユーザに認識させるための表示であり、
    前記VR表示は、少なくとも前記対象物に対応する俯瞰画像、前記対象物に対応する三次元画像、前記対象物が遮蔽されていない状態の画像を含む撮像画像のうちのいずれかである、
    請求項に記載の表示制御装置。
  3. 前記表示制御部は、前記VR表示を用いて前記ユーザが前記対象物を選択した場合に、前記対象物に関する情報の表示の制御を行う、
    請求項またはに記載の表示制御装置。
  4. 前記ユーザの頭部に装着可能な筐体と、
    前記筐体に備えられ、前記AR表示及び前記VR表示を行うディスプレイと、
    前記ユーザの位置を基準として前記対象物の少なくとも一部が前記他の物体に遮蔽されているか否かを判定する判定部をさらに備え、
    前記判定部は、前記ユーザによるタッチ操作及びボタン操作の有無以外の条件を満たしたか否かに基づき判定を行う、
    請求項のいずれか一項に記載の表示制御装置。
  5. 前記対象物は、家畜である、
    請求項1〜のいずれか一項に記載の表示制御装置。
  6. 前記表示制御部は、前記ユーザと前記対象物との距離が所定の距離を超えている場合に、前記対象物に関する画像の表示を制御する、
    請求項1〜のいずれか一項に記載の表示制御装置。
  7. 前記表示制御部は、前記ユーザによる所定の表示操作がなされた場合、前記対象物に関する画像の表示を制御する、
    請求項1〜のいずれか一項に記載の表示制御装置。
  8. 前記表示制御部は、前記対象物が所定の姿勢である場合、または、前記対象物が所定の動きをしている場合に、前記対象物に関する画像の表示を制御する、
    請求項1〜のいずれか一項に記載の表示制御装置。
  9. 前記表示制御部は、前記視野における前記対象物の位置と前記対象物に関する情報の位置との間を結ぶリンク情報の表示を制御する、
    請求項1〜のいずれか一項に記載の表示制御装置。
  10. 前記表示制御部は、前記対象物が移動中でない場合、前記視野における前記対象物の位置に基づいて、前記対象物に関する情報の位置を決定し、前記対象物が移動中である場合、前記対象物に関する情報の位置を固定する、
    請求項1〜のいずれか一項に記載の表示制御装置。
  11. 前記表示制御部は、前記視野に前記対象物を含む複数の対象物が存在する場合、前記複数の対象物に関する各情報の表示を制御する、
    請求項1〜10のいずれか一項に記載の表示制御装置。
  12. 前記表示制御部は、前記複数の対象物それぞれに関する各情報の密集度合いが所定の密集度合いよりも高い場合に、前記複数の対象物に関する各画像の表示を制御する、
    請求項11に記載の表示制御装置。
  13. 前記表示制御部は、前記複数の対象物それぞれに関する各情報の密集度合いが所定の密集度合いよりも高い場合に、前記複数の対象物に関する各情報の表示を停止する、
    請求項11または12に記載の表示制御装置。
  14. 前記表示制御部は、前記複数の対象物それぞれに関する各情報の密集度合いが所定の密集度合いよりも高い場合に、前記複数の対象物に関する各情報の表示または非表示、表示位置、および、情報量の少なくともいずれか一つを制御する、
    請求項1113のいずれか一項に記載の表示制御装置。
  15. 前記表示制御部は、前記対象物の識別情報を、前記視野における前記対象物に重畳させるように表示させる、
    請求項1〜14のいずれか一項に記載の表示制御装置。
  16. 前記判定部は、前記視野の撮像画像に前記対象物の一部の領域が写っている場合、かつ、当該領域に隣接して前記他の物体の領域が写っている場合に、前記対象物の一部が前記他の物体に遮蔽されていると判定する、
    請求項に記載の表示制御装置。
  17. 前記判定部は、前記ユーザの位置を基準として前記対象物および前記他の物体それぞれの方向が一致または近接する場合、かつ、前記ユーザの位置を基準として前記他の物体よりも前記対象物が遠い場合に、前記対象物の少なくとも一部が前記他の物体に遮蔽されていると判定する、
    請求項に記載の表示制御装置。
  18. ユーザの視野に存在する対象物に関する情報の表示を制御することを含み、
    プロセッサにより、
    前記ユーザの位置を基準として前記対象物の少なくとも一部が他の物体に遮蔽されていると判定された場合に、前記視野において遮蔽されている前記対象物が前記ユーザに視認されている形態とは異なる表示となるように前記対象物に関する画像の表示を制御することと、
    前記対象物の少なくとも一部が他の物体に遮蔽されていないと判定された場合に、前記対象物に関する情報と前記対象物とを関連付けたAR(Augmented reality)表示を行うように制御することと、
    前記対象物の少なくとも一部が他の物体に遮蔽されていると判定された場合に、遮蔽された前記対象物を選択させるためのVR(Virtual reality)表示を行うように制御することと、
    を含む、
    表示制御方法。
  19. コンピュータを、
    ユーザの視野に存在する対象物に関する情報の表示を制御する表示制御部を備え、
    前記表示制御部は、
    前記ユーザの位置を基準として前記対象物の少なくとも一部が他の物体に遮蔽されていると判定された場合に、前記視野において遮蔽されている前記対象物が前記ユーザに視認されている形態とは異なる表示となるように前記対象物に関する画像の表示を制御し、
    前記対象物の少なくとも一部が他の物体に遮蔽されていないと判定された場合に、前記対象物に関する情報と前記対象物とを関連付けたAR(Augmented reality)表示を行うように制御し、
    前記対象物の少なくとも一部が他の物体に遮蔽されていると判定された場合に、遮蔽された前記対象物を選択させるためのVR(Virtual reality)表示を行うように制御する、
    表示制御装置として機能させるためのプログラム。
JP2018553686A 2016-11-29 2017-10-04 表示制御装置、表示制御方法およびプログラム Active JP6958570B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016231232 2016-11-29
JP2016231232 2016-11-29
PCT/JP2017/036186 WO2018100874A1 (ja) 2016-11-29 2017-10-04 表示制御装置、表示制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2018100874A1 JPWO2018100874A1 (ja) 2019-10-17
JP6958570B2 true JP6958570B2 (ja) 2021-11-02

Family

ID=62241483

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018553686A Active JP6958570B2 (ja) 2016-11-29 2017-10-04 表示制御装置、表示制御方法およびプログラム

Country Status (4)

Country Link
US (1) US10923083B2 (ja)
EP (1) EP3550525A4 (ja)
JP (1) JP6958570B2 (ja)
WO (1) WO2018100874A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113163734A (zh) * 2018-11-28 2021-07-23 赢创运营有限公司 控制养殖场的方法
KR102539579B1 (ko) * 2018-12-18 2023-06-05 삼성전자주식회사 정보의 표시 영역을 적응적으로 변경하기 위한 전자 장치 및 그의 동작 방법
US11568530B2 (en) * 2018-12-21 2023-01-31 Precision Livestock Technologies, Inc. System and method to analyse an animal's image for market value determination
US10945097B1 (en) * 2019-09-06 2021-03-09 Andy Doyle Jones Method of implementing a lightweight, electronic ear tag for location tracking and geo-fencing tasks
US11755999B2 (en) * 2019-10-24 2023-09-12 Accenture Global Solutions Limited Artificial intelligence based project implementation
KR102452932B1 (ko) * 2022-01-20 2022-10-11 정우석 지도 기반 유기동물 관리 플랫폼 서비스 제공 시스템
CN115361526A (zh) * 2022-08-16 2022-11-18 苏州数智赋农信息科技有限公司 一种基于图像处理的养猪场巡检系统及方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8963954B2 (en) * 2010-06-30 2015-02-24 Nokia Corporation Methods, apparatuses and computer program products for providing a constant level of information in augmented reality
US20120176525A1 (en) * 2011-01-12 2012-07-12 Qualcomm Incorporated Non-map-based mobile interface
US9256711B2 (en) * 2011-07-05 2016-02-09 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for providing health information to employees via augmented reality display
JP2013037476A (ja) * 2011-08-05 2013-02-21 Nikon Corp 観察装置、観察方法、及び撮像装置
JP5942422B2 (ja) * 2011-12-26 2016-06-29 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法及びプログラム
KR101957943B1 (ko) * 2012-08-31 2019-07-04 삼성전자주식회사 정보 제공 방법 및 이를 위한 정보 제공 차량
JP6064544B2 (ja) 2012-11-27 2017-01-25 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び端末装置
JP6291927B2 (ja) * 2014-03-13 2018-03-14 富士通株式会社 特定方法、特定プログラム、特定装置および特定システム
US9928658B2 (en) * 2015-11-02 2018-03-27 International Business Machines Corporation Overlay for camera field of vision
US10043238B2 (en) * 2016-01-21 2018-08-07 International Business Machines Corporation Augmented reality overlays based on an optically zoomed input

Also Published As

Publication number Publication date
EP3550525A1 (en) 2019-10-09
US20200090627A1 (en) 2020-03-19
US10923083B2 (en) 2021-02-16
EP3550525A4 (en) 2019-11-27
WO2018100874A1 (ja) 2018-06-07
JPWO2018100874A1 (ja) 2019-10-17

Similar Documents

Publication Publication Date Title
JP6958570B2 (ja) 表示制御装置、表示制御方法およびプログラム
CN104025158B (zh) 信息处理设备、信息处理方法和程序
US11170580B2 (en) Information processing device, information processing method, and recording medium
WO2018105222A1 (ja) 表示制御装置、表示制御方法およびプログラム
JP6348741B2 (ja) 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法
JP6074525B1 (ja) 仮想空間における視界領域調整方法、およびプログラム
CN103871092A (zh) 显示控制装置以及显示控制方法
JPWO2015122108A1 (ja) 情報処理装置、情報処理方法及びプログラム
JPWO2019130864A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP7247260B2 (ja) データ処理プログラム、データ処理方法、および、データ処理装置
US11695908B2 (en) Information processing apparatus and information processing method
EP3528024B1 (en) Information processing device, information processing method, and program
JP6342024B1 (ja) 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP2019009816A (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
WO2019142560A1 (ja) 視線を誘導する情報処理装置
CN107148614A (zh) 信息处理设备、信息处理方法和程序
CN110446995A (zh) 信息处理装置、信息处理方法及程序
US20200058271A1 (en) Display control device, display control method, and program
WO2019123744A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20230122636A1 (en) Apparatus and method for localisation and mapping
JP2018094086A (ja) 情報処理装置および画像生成方法
JP7196856B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6974253B2 (ja) 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
WO2016151958A1 (ja) 情報処理装置、情報処理システム、情報処理方法およびプログラム
WO2024004398A1 (ja) 情報処理装置、プログラム、及び情報処理システム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200709

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210712

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210920

R151 Written notification of patent or utility model registration

Ref document number: 6958570

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151