WO2021095235A1 - 表示装置、および表示方法 - Google Patents

表示装置、および表示方法 Download PDF

Info

Publication number
WO2021095235A1
WO2021095235A1 PCT/JP2019/044879 JP2019044879W WO2021095235A1 WO 2021095235 A1 WO2021095235 A1 WO 2021095235A1 JP 2019044879 W JP2019044879 W JP 2019044879W WO 2021095235 A1 WO2021095235 A1 WO 2021095235A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
display device
schedule
display
schedule information
Prior art date
Application number
PCT/JP2019/044879
Other languages
English (en)
French (fr)
Inventor
尚久 高見澤
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to CN201980102261.5A priority Critical patent/CN114730209A/zh
Priority to JP2021555749A priority patent/JP7364686B2/ja
Priority to PCT/JP2019/044879 priority patent/WO2021095235A1/ja
Priority to US17/776,307 priority patent/US11967148B2/en
Publication of WO2021095235A1 publication Critical patent/WO2021095235A1/ja
Priority to JP2023173637A priority patent/JP2023168591A/ja
Priority to US18/610,818 priority patent/US20240233376A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/109—Time management, e.g. calendars, reminders, meetings or time accounting
    • G06Q10/1093—Calendar-based scheduling for persons or groups
    • G06Q10/1095—Meeting or appointment
    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G21/00—Input or output devices integrated in time-pieces
    • G04G21/02—Detectors of external physical values, e.g. temperature
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Definitions

  • the present invention relates to a display device and a display method.
  • Patent Document 1 there is a head-mounted display that uses augmented reality, and there is a technique for displaying schedule information using the head-mounted display (for example, Patent Document 1).
  • An object of the present invention is to display schedule information in association with the actual environment.
  • it is a display device that displays schedule information and can be worn by the user, and is photographed by a schedule acquisition unit that acquires schedule information, a photographing unit that photographs the surroundings of the display device, and a photographing unit. From the result, when the recognition unit that recognizes the real object related to time or date and the recognition unit recognizes the real object related to time or date, it is acquired by the schedule acquisition unit according to the position of the real object related to time or date. Includes a display control unit that displays and outputs the schedule information.
  • schedule information can be displayed in association with the actual environment.
  • FIG. 1 is a diagram illustrating a hardware configuration of the display device 100.
  • the display device 100 is a device that can be worn by the user, and specifically, is a head-mounted display device.
  • This head-mounted display is a device that visually displays and executes various applications (for example, an application that outputs schedule information) to the user while the user wears the head-mounted display on the head.
  • the display device 100 may be a glasses-type head-mounted display.
  • the display device 100 has a main control unit 101, and controls each unit via the bus 102.
  • the main control unit 101 is a CPU (Central Processing Unit) or the like.
  • the display device 100 includes a RAM 103, a storage 110, an operation input unit 120, an image processing unit 130, a sensor unit 150, a communication processing unit 160, and an extended I / F unit 170.
  • the operation input unit 120 has an operation key 121, a touch sensor 122, and a touch panel 123.
  • the image processing unit 130 includes a display unit 131, an image signal processing unit 132, a first image input unit 133, and a second image input unit 134.
  • the main control unit 101 is an arithmetic processing unit that executes various functions by executing various information processing programs stored in the storage 110.
  • the RAM 103 serves as a work area when executing various programs.
  • the storage 110 is a portion that stores various information and images captured by the first image input unit 133 and the second image input unit 134 by the main control unit 101.
  • the storage 110 is a non-volatile storage medium such as Flash ROM or EEPROM.
  • the operation input unit 120 is a user operation I / F that accepts operation input.
  • the operation key 121 is a physical key (for example, a power key, a volume key, a home key, etc.) installed at a predetermined position on the display device 100.
  • the touch sensor 122 is an input sensor installed in the housing of the display device 100 or the like.
  • the touch panel 123 is included in the display device 100.
  • the image processing unit 130 is realized by an image (video) processor or the like.
  • the display unit 131 is a see-through type (transparent type) display device, the display unit 131 superimposes and displays an object on the actual image in the transparent type. Further, when the display unit 131 is a non-transparent display device, the display unit 131 superimposes and displays an object on the camera-through image in a non-transparent manner.
  • the image signal processing unit 132 is an image signal processor, and is a unit that analyzes an image by the first image input unit 133 or the second image input unit 134 and outputs the analysis result to the main control unit 101 or the like.
  • the first image input unit 133 is a part that captures the outside world.
  • the second image input unit 134 is a portion that images the user's eye.
  • the sensor unit 150 is a part that acquires information for specifying the position and direction of the display device 100.
  • the sensor unit 150 includes a GPS receiving unit 151, a gyro sensor 152, a geomagnetic sensor 153, an acceleration sensor 154, and a depth sensor 155.
  • the GPS receiving unit 151 acquires GPS information obtained by receiving a GPS signal.
  • the gyro sensor 152 has a function of detecting the moving direction of the display device 100, and acquires gyro information indicating angular velocity data accompanying a change in the direction of the display device 100.
  • the geomagnetic sensor 153 is a type of orientation detection device that detects an angle representing the absolute orientation of the display device 100 based on the geomagnetism. Examples of such an angle include an azimuth angle.
  • the acceleration sensor 154 has a function of detecting at least one of the acceleration and the tilt angle of the display device 100.
  • the sensor unit 150 may further include a proximity sensor, an illuminance sensor, and the like.
  • the depth sensor 155 is a so-called 3D sensor, which can capture the shape of an object such as a person or an object as a three-dimensional object by using the distance information measured in a plane shape.
  • the communication processing unit 160 is a communication processor that controls wireless communication.
  • the communication processing unit 160 transmits / receives information to / from an external device via a LAN or the like.
  • the extended I / F unit 170 is an interface for connecting to a peripheral device.
  • FIG. 2 is a functional block diagram of the display device 100.
  • the display device 100 includes a schedule acquisition unit 11, a photographing unit 12, a position information acquisition unit 13, a movement state determination unit 14, a line-of-sight detection unit 15, a recognition unit 16, and a display control unit 17. It should be noted that these functions are realized by executing various programs stored in the storage 110 or the like. Further, the display device 100 also has a function other than the function shown in FIG.
  • the schedule acquisition unit 11 is a part for acquiring schedule information.
  • the schedule acquisition unit 11 acquires, for example, the schedule information stored in the storage 110 in advance at a predetermined timing.
  • a real object such as a clock may be recognized by the recognition unit 16 described later.
  • the schedule information includes at least the schedule contents (for example, information on business trips and reservations) and information on the time when the schedule is executed (schedule start time, schedule end time, etc.). Further, a category may be associated with the schedule information. Here, the category indicates a place (for example, a house, a conference room, etc.) where the schedule information is displayed.
  • the schedule acquisition unit 11 may acquire schedule information after the current time based on the built-in clock of the display device 100.
  • the photographing unit 12 is a portion that photographs the surroundings of the display device 100.
  • the photographing unit 12 starts photographing at a predetermined timing.
  • the photographing unit 12 is realized by, for example, the first image input unit 133 or the like.
  • the photographing unit 12 photographs the surroundings of the display device 100 at a predetermined timing, and sends the photographed result (shooting result) to the recognition unit 16.
  • the position information acquisition unit 13 is a part that acquires position information, which is information regarding the position of the display device 100.
  • the position information acquisition unit 13 is realized by, for example, a GPS receiving unit 151 or the like.
  • the position information acquisition unit 13 sends the acquired signal to the movement state determination unit 14 and the display control unit 17.
  • the moving state determination unit 14 is a part that determines whether or not the user is moving based on the change in the position information acquired by the position information acquisition unit 13.
  • the movement state determination unit 14 is realized by, for example, the main control unit 101 or the like.
  • the moving state determination unit 14 acquires the position information from the position information acquisition unit 13, and determines that the movement is moving when the change of the acquired position information exceeds a predetermined standard. Further, the movement state determination unit 14 has a change in the facility specified by a known technique such as matching with the facility position information included in the map information held in advance based on the position information by the position information acquisition unit 13. In some cases, it may be determined that it is moving.
  • the moving state determination unit 14 determines whether or not the user is moving by the moving state determination unit 14 by a known technique such as autonomous navigation positioning based on not only the position information but also other information (for example, the result by another sensor of the sensor unit 150). You may try to judge.
  • a known technique such as autonomous navigation positioning based on not only the position information but also other information (for example, the result by another sensor of the sensor unit 150). You may try to judge.
  • the line-of-sight detection unit 15 is a part that detects the line of sight of the user.
  • the line-of-sight detection unit 15 is realized by, for example, a second image input unit 134, an image signal processing unit 132, or the like. Specifically, based on the state of the user's eyes taken by the second image input unit 134, the image signal processing unit 132 identifies the destination of the user's line of sight by a known technique such as eye tracking using corneal reflex.
  • the line-of-sight detection unit 15 sends information indicating the destination of the line of sight of the specified user to the display control unit 17.
  • the recognition unit 16 is a part that recognizes a real object related to time or date from the result of being photographed by the photographing unit 12.
  • the recognition unit 16 is realized by, for example, the main control unit 101.
  • the recognition unit 16 acquires the shooting result from the shooting unit 12, the recognition unit 16 performs image analysis of the shooting result and determines whether or not a real object related to the time or date is included by a known technique of image recognition.
  • the actual object related to the time or date is a clock in the room, a wristwatch worn by the user, a calendar in the room, or the like.
  • the recognition unit 16 When the shooting result includes a real object related to time or date, the recognition unit 16 also specifies the position of the real object based on the shooting result. Further, when the real object is a clock, the recognition unit 16 also recognizes the time indicated by the clock by a known technique of image recognition. Further, the recognition unit 16 also recognizes the position of the real object (for example, the position relative to the front of the user) based on the shooting result by a known technique of image recognition.
  • the recognition unit 16 When a real object is included, the recognition unit 16 notifies the display control unit 17 of the position and time of the real object (when the real object is a clock).
  • the display control unit 17 displays and outputs the schedule information acquired by the schedule acquisition unit 11 according to the position of the real object related to the time or date.
  • the display control unit 17 is realized by, for example, the main control unit 101.
  • the display control unit 17 acquires the position and time of the real object from the recognition unit 16, and acquires the schedule information from the schedule acquisition unit 11.
  • the display control unit 17 displays and outputs schedule information according to the position of the real object recognized by the recognition unit 16.
  • a display control example will be described with reference to FIGS. 3 and 4.
  • FIG. 3 is a diagram illustrating a case where a user 500 wearing a display device 100 refers to a real object clock 300. As shown in FIG. 3, when the user 500 wearing the display device 100 looks at the clock 300, the clock 300 falls within the imaging range, so that the recognition unit 16 recognizes the clock 300. The recognition unit 16 also recognizes the time of the clock 300.
  • the display control unit 17 acquires schedule information from the schedule acquisition unit 11.
  • the display control unit 17 displays the schedule information acquired by the schedule acquisition unit 11 in accordance with the position of the clock 300 recognized by the recognition unit 16.
  • FIG. 4 is a diagram illustrating a display example of schedule information. As shown in FIG. 4, the display control unit 17 displays and outputs the content 401a of the schedule information and the content 401b of the schedule information according to the position of the clock 300.
  • the display control unit 17 compares the time managed by the display device 100 (so-called built-in clock) with the time recognized by the recognition unit 16, and if there is a difference as a result of the comparison, provides information indicating that fact. It may be output. For example, when the display control unit 17 compares the time recognized by the recognition unit 16 with the time managed by the display device 100 and the result is different by a predetermined allowable error time (for example, 10 minutes) or more. Display and output information indicating the difference. Further, the display control unit 17 may indicate how much the difference is (for example, a delay of 15 minutes, etc.) as information to the effect that the difference is made.
  • the time managed by the display device 100 and the time recognized by the recognition unit 16 are compared, and if they are different, the user can be alerted by displaying that fact.
  • the display device 100 displays the schedule information according to the local clock having a time difference, the clock that has not been adjusted, and the like, which may cause an inconvenient situation for the user (such as being late). It can be avoided.
  • the display control unit 17 may display and output the schedule information of the category information corresponding to the position information acquired by the position information acquisition unit 13.
  • the display control unit 17 uses a known technique such as matching by a database using map information or the like that holds in advance which facility it is based on the position information acquired by the position information acquisition unit 13. to decide.
  • the display control unit 17 extracts the schedule information associated with the category corresponding to the facility and displays the extracted schedule information.
  • the display control unit 17 determines that the user is at home based on the position information acquired by the position information acquisition unit 13, the display control unit 17 displays the schedule information of the private category. Further, when the display control unit 17 determines that the user is in a conference room of a company or the like, and recognizes the clock of the conference room, the display control unit 17 displays schedule information indicating the usage schedule of the conference room. In this way, by changing the display schedule depending on the position where the user is, the display can be narrowed down to the schedule desired by the user.
  • the display control unit 17 adjusts to the position of the real object recognized by the recognition unit 16.
  • the schedule information may be displayed and output.
  • a method of determining whether or not the line of sight detected by the line-of-sight detection unit 15 corresponds to the position of the real object recognized by the recognition unit 16 is realized by, for example, a known technique such as eye tracking using corneal reflex. be able to.
  • the display device 100 can display the schedule information at an appropriate timing by displaying and outputting the schedule information on condition that the user has detected that the line of sight is aligned with the real object.
  • the display control unit 17 may extract the schedule information after the time indicated by the real object recognized by the recognition unit 16 and display and output the schedule information. As a result, the display device 100 can display and output only the schedule information necessary for the user.
  • FIG. 5 is a flowchart illustrating a processing procedure for displaying schedule information according to the position of the clock.
  • the photographing unit 12 of the display device 100 photographs the surroundings of the display device 100 at a predetermined timing (step S1).
  • the recognition unit 16 performs image processing on the result photographed by the photographing unit 12 to determine the presence or absence of the clock (step S2). When the recognition unit 16 determines that there is no clock by the above image processing (step S2: No), the process proceeds to step S1.
  • step S2 determines that there is a clock by the above image processing (step S2: Yes)
  • the schedule acquisition unit 11 acquires the schedule information (step S3).
  • the display control unit 17 displays and outputs the schedule information according to the position of the clock (step S4).
  • the schedule acquisition unit 11 may acquire schedule information by communicating with an external server device or the like.
  • the display control unit 17 when the display control unit 17 displays the schedule information on the clock, if the schedule to be displayed has 12 hours or more, the display control unit 17 spirals in the Z-axis direction (depth direction). It may be displayed. Further, the display control unit 17 may display the schedule information of the next day for more than 24 hours. Further, the display control unit 17 may display only the schedule information of the morning part or the afternoon part depending on the time (for example, the current time indicated by the internal clock).
  • the display control unit 17 may display the schedule information on the clock in a spiral shape on the XY.
  • the example of displaying the schedule information in a circular shape according to the shape of the analog clock has been described.
  • the clock is AR-displayed and the schedule information is displayed on the AR-displayed clock. It may be.
  • FIG. 6 is a diagram showing a display example including a clock displayed in AR.
  • the display control unit 17 displays the content 401a of the schedule information with the current time as the start time immediately below the position of the clock 300, and the AR clock indicating the end time of the content 401a of the schedule information. Display 402a. Further, the display control unit 17 displays the content 401b of the schedule information whose start time is the time of the AR clock 402a and the AR clock 402b indicating the end time of the content 401b of the schedule information.
  • the display device 100 displays the schedule information around the analog clock, but the schedule information may be displayed around the user's digital wristwatch.
  • the schedule information may be displayed around the user's digital wristwatch.
  • FIG. 7 is a diagram showing a display example of a digital wristwatch.
  • FIG. 7A is an example in which the display control unit 17 displays the schedule content 401c and the schedule content 401d around the clock portion 310 of the wristwatch.
  • FIG. 7B is an example in which the display control unit 17 displays the schedule content 401e and the schedule content 401f around the clock portion 310 of the wristwatch.
  • the schedule content 401e and the schedule content 401f also include information on the start time.
  • the display control unit 17 may display the schedule of a plurality of days superimposed in the depth direction around the clock portion 310 of the wristwatch. Further, the display schedule may be changed according to the operating state of the wristwatch. For example, the display control unit 17 may preferentially display the latest schedule information when the wristwatch is pulled to the hand.
  • the display control unit 17 changes the display position of the schedule information being displayed according to the measurement results of the gyro sensor 152, the geomagnetic sensor 153, and the acceleration sensor 154. You may. As a result, even if the user changes his / her posture, the display control unit 17 controls the display device 100 so that the positional relationship between the actual object and the schedule information to be displayed does not change from the line-of-sight position. Information can be displayed.
  • the display control unit 17 may shift to detailed schedule information as a corresponding schedule during the movement and output the display. ..
  • the display control unit 17 determines the position of the clock when a real object such as a clock is recognized.
  • the schedule information of "business trip” is displayed according to.
  • the display control unit 17 determines that the actual object such as a clock is recognized. Display detailed schedule information for business trips according to the location of.
  • the display device 100 can display and output the schedule information according to the situation by switching the schedule information to be displayed according to the moving state of the user.
  • the display control unit 17 may specify the date to be watched from the calendar and display the detailed schedule of the date. Further, when the display control unit 17 is displaying the schedule information on the calendar, the user gazes at the month name for a certain period of time (a predetermined reference time, for example, 5 seconds), and then the line of sight. May display the schedule for the months before and after when it detects that has moved sideways. The display control unit 17 may display the schedule for the months before and after the calendar on the side or top and bottom of the calendar.
  • a predetermined reference time for example, 5 seconds
  • the display control unit 17 when the display control unit 17 is displaying the schedule information on the calendar, the line of sight is after the user gazes at the year for a certain period of time (a predetermined reference time, for example, 5 seconds). When it is detected that it has moved sideways, the schedule for the same month of the previous and next years may be displayed. The display control unit 17 may display the schedule for the same month of the subsequent year on the side or top and bottom of the calendar.
  • a predetermined reference time for example, 5 seconds
  • the photographing unit 12 photographs the surroundings of the display device 100, and the recognition unit 16 recognizes the clock 300 (a real object related to time or date) from the photographed result.
  • the schedule acquisition unit 11 acquires the schedule information, and the display control unit 17 displays and outputs the schedule information according to the position of the clock 300.
  • the display device 100 displays the schedule information according to the position of the clock 300, the schedule information can be displayed in association with the actual environment, and the schedule information can be output in a format that is easier to recognize. it can.
  • the display control unit 17 compares the time of the clock 300 recognized by the recognition unit 16 with the built-in clock, and if there is a significant difference, outputs information indicating that fact. In this case, the display device 100 can call attention to the discrepancy between the displayed schedule information and the time of the clock 300.
  • the above-mentioned functions of the present invention and the like may be realized by hardware, for example, by designing a part or all of them with an integrated circuit. Further, it may be realized by software by interpreting and executing an operation program in which the microprocessor unit or the like realizes each function or the like. Hardware and software may be used together.
  • control lines and information lines shown in the figure indicate what is considered necessary for explanation, and do not necessarily indicate all the control lines and information lines on the product. In practice, it can be considered that almost all configurations are interconnected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electric Clocks (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

表示装置１００では、撮影部１２が、表示装置１００の周囲を撮影し、認識部１６が、当該撮影した結果から時計３００（時刻または日付に関する実物体）を認識する。認識部１６により、時計３００が認識されると、スケジュール取得部１１が、スケジュール情報を取得し、表示制御部１７が、時計３００の位置に合せて当該スケジュール情報を表示出力する。この場合、表示装置１００では、時計３００の位置に合せてスケジュール情報を表示するので、実環境と紐づけてスケジュール情報を表示することができ、よりスケジュール情報を認識しやすい形式で出力することができる。

Description

表示装置、および表示方法
　本発明は、表示装置および表示方法に関する。
　従来から、拡張現実を利用したヘッドマウントディスプレイがあり、当該ヘッドマウントディスプレイを用いて、スケジュール情報を表示する技術がある（例えば、特許文献１）。
特開２０１７―１２０５５６号公報
　上記特許文献１に開示されている技術においては、ヘッドマウントディスプレイを装着したユーザが、時計を見ると、これに応じて、ヘッドマウントディスプレイがスケジュール情報を表示するものである。このような、スケジュール情報は、実環境と紐づけて表示することが望ましい。すなわち、実体と融合して表示する方が、ユーザにとってより有益な情報を提供し得る。
　本発明の目的は、実環境と紐づけてスケジュール情報を表示することを目的とする。
　本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
　前記課題を解決するための手段として、特許請求の範囲に記載の技術を用いる。
　一例を挙げるならば、スケジュール情報を表示し、ユーザが装着可能な表示装置であって、スケジュール情報を取得するスケジュール取得部と、表示装置の周囲を撮影する撮影部と、撮影部により撮影された結果から、時刻または日付に関する実物体を認識する認識部と、認識部により、時刻または日付に関する実物体が認識された場合、時刻または日付に関する実物体の位置に合せて、スケジュール取得部により取得されたスケジュール情報を表示出力する表示制御部と、を含む。
　本発明の技術を用いることにより、実環境と紐づけてスケジュール情報を表示することができる。
本実施形態による表示装置のハードウェア構成を説明する図である。 本実施形態による表示装置の機能ブロック図である。 表示装置を装着したユーザが、実物体の時計を参照した場合を説明する図である。 スケジュール情報の表示例を説明する図である。 時計の位置に合せてスケジュール情報を表示する処理手順を説明するフローチャートである。 ＡＲ表示した時計も含めた表示例を示す図である。 デジタルの腕時計の表示例を示す図である。
　以下、本発明の実施形態の例を、図面を用いて説明する。
　まず、図１を用いて表示装置１００のハードウェア構成を説明する。図１は、表示装置１００のハードウェア構成を説明する図である。この表示装置１００は、ユーザが装着可能な装置であり、具体的には、ヘッドマウントディスプレイ装置である。このヘッドマウントディスプレイは、ユーザが頭部に装着した状態で、各種アプリケーション（例えば、スケジュール情報を出力するアプリケーション）をユーザに視認可能に表示し、実行する装置である。なお、表示装置１００は、眼鏡型のヘッドマウントディスプレイでもよい。
　表示装置１００は、主制御部１０１を有し、バス１０２を介して各部を制御する。この主制御部１０１は、ＣＰＵ（Central Processing Unit）等である。また、表示装置１００は、ＲＡＭ１０３、ストレージ１１０、操作入力部１２０、画像処理部１３０、センサ部１５０、通信処理部１６０、および拡張Ｉ／Ｆ部１７０を有する。
　操作入力部１２０は、操作キー１２１、タッチセンサ１２２およびタッチパネル１２３を有する。画像処理部１３０は、表示部１３１、画像信号処理部１３２、第１画像入力部１３３、および第２画像入力部１３４を有する。
　主制御部１０１は、ストレージ１１０に記憶されている各種情報処理プログラムを実行することにより、各種機能を実行させる演算処理装置である。ＲＡＭ１０３は、各種プログラム実行時のワークエリアとなる。ストレージ１１０は、主制御部１０１が第１画像入力部１３３や第２画像入力部１３４により撮像した画像や、各種情報を記憶する部分である。ストレージ１１０は、ＦｌａｓｈＲＯＭやＥＥＰＲＯＭ等の不揮発記憶媒体である。
　操作入力部１２０は、操作入力を受け付けるユーザ操作Ｉ／Ｆである。操作キー１２１は、表示装置１００の所定位置に設置される物理キー(例えば、電源キー、音量キー、ホームキー等)である。タッチセンサ１２２は、表示装置１００の筐体等に設置される入力用センサである。タッチパネル１２３は、表示装置１００が有するものである。
　画像処理部１３０は、イメージ（ビデオ）プロセッサなどにより実現するものである。表示部１３１は、シースルー型（透過型）の表示装置である場合、透過型で実映像にオブジェクトを重畳表示する。また、表示部１３１は、非透過の表示装置である場合、非透過でカメラスルー画像にオブジェクトを重畳表示する。
　画像信号処理部１３２は、イメージシグナルプロセッサであり、第１画像入力部１３３または第２画像入力部１３４による画像を解析して、当該解析結果を主制御部１０１等に出力する部分である。
　第１画像入力部１３３は、外界を撮像する部分である。第２画像入力部１３４は、ユーザの眼を撮像する部分である。
　センサ部１５０は、表示装置１００の位置および方向を特定するための情報を取得する部分である。センサ部１５０は、ＧＰＳ受信部１５１、ジャイロセンサ１５２、地磁気センサ１５３、加速度センサ１５４、および深度センサ１５５を有する。
　ＧＰＳ受信部１５１は、ＧＰＳ信号を受信して得られるＧＰＳ情報を取得する。ジャイロセンサ１５２は、表示装置１００の移動方位の検出を行う機能を有し、表示装置１００の方向変化に伴う角速度データを示すジャイロ情報を取得する。地磁気センサ１５３は、地磁気に基づいて表示装置１００の絶対方位を表す角度を検出する方位検出装置の一種である。このような角度としては、例えば方位角を挙げることができる。加速度センサ１５４は、表示装置１００の加速度および傾斜角の少なくとも一方を検出する機能を有する。センサ部１５０は、さらに近接センサや照度センサ等を有するようにしてもよい。深度センサ１５５は、いわゆる３Ｄセンサであり、面状に測距した距離情報を用いて、人や物などの対象物の形状を立体として捉えることができるセンサである。
　通信処理部１６０は、無線通信を制御するコミュニケーションプロセッサである。通信処理部１６０は、ＬＡＮ等により外部の装置と情報を送受信する。拡張Ｉ／Ｆ部１７０は、周辺機器と接続するためのインタフェースである。
　続いて、図２を用いて、表示装置１００の機能説明をする。図２は、表示装置１００の機能ブロック図である。表示装置１００は、スケジュール取得部１１と、撮影部１２と、位置情報取得部１３と、移動状態判断部１４と、視線検出部１５と、認識部１６と、表示制御部１７とを有する。なお、これらの機能は、ストレージ１１０で記憶されている各種プログラムを実行する等により実現する。また、表示装置１００は、図２に示した機能以外の機能も有する。
　スケジュール取得部１１は、スケジュール情報を取得する部分である。スケジュール取得部１１は、例えば、予めストレージ１１０に記憶されているスケジュール情報を所定のタイミングで取得する。当該タイミングとして、後述の認識部１６により、時計等の実物体が認識された場合がある。
　ここで、スケジュール情報とは、スケジュール内容（例えば、出張、予約に関する情報等）と、当該スケジュールを実行する時刻に関する情報（スケジュールの開始時刻、スケジュールの終了時刻等）とを少なくとも含む。また、当該スケジュール情報にカテゴリが、対応付けられていてもよい。ここで、カテゴリとは、当該スケジュール情報を表示する箇所（例えば、家、会議室等）を示す。
　スケジュール取得部１１は、表示装置１００の内蔵時計に基づいた現在時刻以降のスケジュール情報を取得するようにしてもよい。
　撮影部１２は、表示装置１００の周囲を撮影する部分である。撮影部１２は、所定のタイミングで撮影を開始する。撮影部１２は、例えば、第１画像入力部１３３等により実現する。撮影部１２は、所定のタイミングで表示装置１００の周囲を撮影し、撮影した結果（撮影結果）を認識部１６へ送出する。
　位置情報取得部１３は、表示装置１００の位置に関する情報である位置情報を取得する部分である。位置情報取得部１３は、例えば、ＧＰＳ受信部１５１等により実現する。位置情報取得部１３は、取得した信号を移動状態判断部１４や表示制御部１７へ送出する。
　移動状態判断部１４は、位置情報取得部１３により取得された位置情報の変化に基づいて、ユーザが移動中か否かを判断する部分である。移動状態判断部１４は、例えば、主制御部１０１等により実現する。移動状態判断部１４は、位置情報取得部１３から位置情報を取得し、取得した位置情報の変化が予め定められている基準を超えて変化している場合、移動していると判断する。また、移動状態判断部１４は、位置情報取得部１３による位置情報に基づいて、予め保持している地図情報に含まれる施設位置情報と突き合わせる等の公知技術により特定される施設に変化がある場合に、移動していると判断するようにしてもよい。
　移動状態判断部１４は、位置情報だけでなく、他の情報（例えば、センサ部１５０の他のセンサによる結果）に基づいた自律航法測位等の公知の技術により、ユーザが移動しているか否かを判断するようにしてもよい。
　視線検出部１５は、ユーザの視線を検出する部分である。視線検出部１５は、例えば、第２画像入力部１３４および画像信号処理部１３２等により実現する。具体的に、第２画像入力部１３４が撮影したユーザの目の状態に基づいて、画像信号処理部１３２が、角膜反射を利用したアイトラッキング等の公知技術によりユーザの視線の先を特定する。視線検出部１５は、特定したユーザの視線の先を示す情報を表示制御部１７へ送出する。
　認識部１６は、撮影部１２により撮影された結果から、時刻または日付に関する実物体を認識する部分である。認識部１６は、例えば、主制御部１０１により実現する。認識部１６は、撮影部１２から撮影結果を取得すると、当該撮影結果を画像解析して、画像認識の公知技術により時刻または日付に関する実物体が含まれるか否かを判断する。
　ここで、時刻または日付に関する実物体とは、部屋にある時計や、ユーザが装着している腕時計や、部屋にあるカレンダー等である。
　認識部１６は、撮影結果に時刻または日付に関する実物体が含まれる場合、当該撮影結果に基づいて実物体の位置も特定する。また、認識部１６は、当該実物体が時計である場合、画像認識の公知技術により、当該時計が示している時刻も認識する。また、認識部１６は、撮影結果に基づいて、実物体の位置（例えば、ユーザの正面に対する相対位置）も同様に画像認識の公知技術により認識する。
　認識部１６は、実物体が含まれる場合、当該実物体の位置および時刻（実物体が時計の場合）を表示制御部１７へ通知する。
　表示制御部１７は、認識部１６により、時刻または日付に関する実物体が認識された場合、時刻または日付に関する実物体の位置に合せて、スケジュール取得部１１により取得されたスケジュール情報を表示出力する。表示制御部１７は、例えば、主制御部１０１により実現する。
　表示制御部１７は、認識部１６から実物体の位置および時刻を取得し、スケジュール取得部１１からスケジュール情報を取得する。表示制御部１７は、認識部１６に認識された実物体の位置に合せて、スケジュール情報を表示出力する。ここで、図３および図４を用いて、表示制御例を説明する。
　図３は、表示装置１００を装着したユーザ５００が、実物体の時計３００を参照した場合を説明する図である。図３に示すように、表示装置１００を装着したユーザ５００が時計３００を見ると、時計３００が撮像範囲に入るため、認識部１６が時計３００を認識する。また、認識部１６は、当該時計３００の時刻も認識する。
　なお、表示制御部１７は、認識部１６により時計３００が認識されると、スケジュール取得部１１からスケジュール情報を取得する。表示制御部１７は、スケジュール取得部１１により取得されたスケジュール情報を、認識部１６により認識された時計３００の位置に合せて、表示する。
　図４は、スケジュール情報の表示例を説明する図である。図４に示すように、表示制御部１７は、時計３００の位置に合せて、スケジュール情報の内容４０１ａおよびスケジュール情報の内容４０１ｂを表示出力する。
　図４に示す例の場合、４時台前後に会議のスケジュールがあることを示し、５時台前後に打合せのスケジュールがあることを示している。
　なお、表示制御部１７は、表示装置１００で管理する時刻（いわゆる内蔵時計）と、認識部１６により認識された時刻とを比較し、比較した結果、相違がある場合、その旨を示す情報を出力するようにしてもよい。例えば、表示制御部１７は、認識部１６により認識された時刻と、表示装置１００で管理する時刻とを比較した結果、予め定められている許容誤差時間（例えば、１０分）以上相違する場合、相違する旨を示す情報を表示出力する。また、表示制御部１７は、相違する旨の情報として、どの程度相違するか（例えば、１５分遅れ等）を示すようにしてもよい。
　上記のように、表示装置１００で管理する時刻と、認識部１６により認識された時刻とを比較して、相違する場合に、その旨を表示することにより、ユーザに注意喚起することができる。これにより、表示装置１００は、時差のある現地時計、調整されていない時計などに合せてスケジュール情報を表示してしまい、ユーザにとって不都合な事態（遅刻してしまう等）が発生してしまうことを回避することができる。
　また、表示制御部１７は、位置情報取得部１３により取得された位置情報に対応するカテゴリ情報のスケジュール情報を表示出力するようにしてもよい。
　例えば、表示制御部１７は、位置情報取得部１３により取得された位置情報に基づいて、どの施設にいるかを予め保持している地図情報等を用いてデータベースによるマッチング等の公知技術を利用して判断する。表示制御部１７は、当該施設に対応するカテゴリに対応付けられているスケジュール情報を抽出して、抽出したスケジュール情報を表示する。
　例えば、表示制御部１７は、位置情報取得部１３により取得された位置情報に基づいて家にいると判断した場合、プライベート用のカテゴリのスケジュール情報を表示する。また、表示制御部１７は、会社等の会議室にいると判断した場合、当該会議室の時計を認識したとき、当該会議室の使用予定を示すスケジュール情報を表示する。このように、ユーザがいる位置によって、表示するスケジュールを変えることにより、ユーザが所望するスケジュールに絞って表示することができる。
　また、表示制御部１７は、視線検出部１５により検出された視線が、認識部１６により認識された実物体の位置に対応する場合に、認識部１６に認識された実物体の位置に合せて、スケジュール情報を表示出力するようにしてもよい。視線検出部１５により検出された視線が、認識部１６により認識された実物体の位置に対応するか否かを判断する方法は、例えば、角膜反射を利用したアイトラッキング等の公知技術により実現することができる。
　このように、表示装置１００は、ユーザが実物体に視線を合わせていることを検出したことを条件として、スケジュール情報を表示出力することにより、適したタイミングでスケジュール情報を表示することができる。
　また、表示制御部１７は、認識部１６により認識された実物体が示す時刻以降のスケジュール情報を抽出して、表示出力するようにしてもよい。これにより、表示装置１００は、ユーザにとって必要なスケジュール情報に絞って表示出力することができる。
　続いて、図５を用いて、時計の位置に合せてスケジュール情報を表示する処理手順を説明する。図５は、時計の位置に合せてスケジュール情報を表示する処理手順を説明するフローチャートである。
　まず、表示装置１００の撮影部１２は、所定のタイミングで表示装置１００の周囲を撮影する（ステップＳ１）。
　認識部１６は、撮影部１２により撮影された結果に対して画像処理をして、時計の有無を判断する（ステップＳ２）。認識部１６が、上記画像処理により、時計が無いと判断した場合（ステップＳ２：Ｎｏ）、ステップＳ１へ進む。
　認識部１６は、上記画像処理により、時計があると判断した場合（ステップＳ２：Ｙｅｓ）、スケジュール取得部１１は、スケジュール情報を取得する（ステップＳ３）。そして、表示制御部１７は、時計の位置に合せてスケジュール情報を表示出力する（ステップＳ４）。
　上述の実施例では、特に述べなかったが、スケジュール取得部１１は、外部のサーバ装置等と通信して、スケジュール情報を取得するようにしてもよい。
　上述の実施例では、特に述べなかったが、表示制御部１７は、時計にスケジュール情報を表示する際に、表示対象のスケジュールが１２時間以上ある場合、Ｚ軸方向（奥行き方向）に螺旋状に表示するようにしてもよい。また、表示制御部１７は、２４時間を超えて次の日のスケジュール情報を表示するようにしてもよい。また、表示制御部１７は、時間によって（例えば、内部時計が示す現在時刻）、午前部分または午後部分のスケジュール情報に絞って表示するようにしてもよい。
　上述の実施例では、特に述べなかったが、表示制御部１７は、時計にスケジュール情報を表示する際に、ＸＹ上に渦巻状に表示してもよい。
　また、上述の実施例では、実物体として、時計を認識する例について述べたが、カレンダーを認識するようにしてもよい。
　また、上述の実施例では、アナログの時計の形状に合わせて、円状にスケジュール情報を表示する例について述べたが、時計をＡＲ表示して、当該ＡＲ表示した時計にスケジュール情報を表示するようにしてもよい。
　ここで、図６を用いて、ＡＲ表示した時計も含めた表示例を説明する。図６は、ＡＲ表示した時計も含めた表示例を示す図である。
　図６に示すように、表示制御部１７は、時計３００の位置の直下に、現在時刻を開始時刻とするスケジュール情報の内容４０１ａを表示し、当該スケジュール情報の内容４０１ａの終了時刻を示すＡＲ時計４０２ａを表示する。また、表示制御部１７は、当該ＡＲ時計４０２ａの時刻を開始時刻とするスケジュール情報の内容４０１ｂと、当該スケジュール情報の内容４０１ｂの終了時刻を示すＡＲ時計４０２ｂを表示する。
　また、上述の実施例では、表示装置１００が、アナログの時計の周囲にスケジュール情報を表示する例について述べたが、ユーザのデジタルの腕時計の周囲にスケジュール情報を表示するようにしてもよい。ここで、図７を用いて、デジタルの腕時計の周囲にスケジュール情報を表示する例を説明する。図７は、デジタルの腕時計の表示例を示す図である。
　図７（ａ）は、表示制御部１７が、腕時計の時計部分３１０の周囲に、スケジュールの内容４０１ｃおよびスケジュールの内容４０１ｄを表示した例である。図７（ｂ）は、表示制御部１７が、腕時計の時計部分３１０の周囲に、スケジュールの内容４０１ｅおよびスケジュールの内容４０１ｆを表示した例である。スケジュールの内容４０１ｅおよびスケジュールの内容４０１ｆには、開始時刻の情報も含められている。
　表示制御部１７は、腕時計の時計部分３１０の周囲に、複数日のスケジュールを奥行方向に重ねて表示するようにしてもよい。また、当該腕時計の動作状態に応じて、表示するスケジュールを変えてもよい。例えば、表示制御部１７は、腕時計が手元に引き寄せられた場合、直近のスケジュール情報を優先して表示するようにしてもよい。
　上述の実施例では、特に述べなかったが、表示制御部１７は、ジャイロセンサ１５２、地磁気センサ１５３、及び加速度センサ１５４による計測結果に応じて、表示中のスケジュール情報の表示位置を変更するようにしてもよい。これにより、表示装置１００は、ユーザが姿勢を変えても、それに追随して実物体と表示するスケジュール情報との視線位置からの位置関係が変化しないように表示制御部１７が制御して、スケジュール情報を表示することができる。
　なお、表示制御部１７は、移動状態判断部１４によりユーザが移動中であると判断された場合、当該移動中に対応するスケジュールとして詳細なスケジュール情報に遷移させて表示出力するようにしてもよい。
　例えば、上位概念の「出張」というスケジュール情報と、下位概念の出張の詳細なスケジュール情報があるものとする。出張の詳細なスケジュール情報として、出張の移動中の経路の情報が含められているものとする。移動状態判断部１４が、位置情報取得部１３により取得された位置情報に基づいて、会社にいると判断した場合、表示制御部１７は、時計等の実物体が認識された場合、時計の位置に合せて、「出張」のスケジュール情報を表示する。また、移動状態判断部１４が、位置情報取得部１３により取得された位置情報に基づいて、会社を出たと判断した場合、表示制御部１７は、時計等の実物体が認識された場合、時計の位置に合せて、出張の詳細なスケジュール情報を表示する。
　このように、表示装置１００は、ユーザの移動状態に応じて、表示するスケジュール情報を切替えることによって、状況に応じたスケジュール情報を表示出力することができる。
　表示制御部１７は、日付に関する実物体がカレンダーである場合、当該カレンダーの内、注視した日付を特定して、当該日付の詳細のスケジュールを表示するようにしてもよい。また、表示制御部１７が、カレンダーに、スケジュール情報を表示している際に、ユーザが月名を一定時間（予め定められている基準時間であって、例えば、５秒）注視した後に、視線が横に移動したことを検知した場合に、前後の月のスケジュールを表示してもよい。表示制御部１７は、当該前後の月のスケジュールの表示先として、カレンダーの横や上下に表示するようにしてもよい。
　また、表示制御部１７が、カレンダーに、スケジュール情報を表示している際に、ユーザが年を一定時間（予め定められている基準時間であって、例えば、５秒）注視した後に、視線が横に移動したことを検知した場合に、前後の年の同月のスケジュールを表示してもよい。表示制御部１７は、当該後の年の同月のスケジュールの表示先として、カレンダーの横や上下に表示するようにしてもよい。
　上述のように、表示装置１００では、撮影部１２が、表示装置１００の周囲を撮影し、認識部１６が、当該撮影した結果から時計３００（時刻または日付に関する実物体）を認識する。認識部１６により、時計３００が認識されると、スケジュール取得部１１が、スケジュール情報を取得し、表示制御部１７が、時計３００の位置に合せて当該スケジュール情報を表示出力する。
　この場合、表示装置１００では、時計３００の位置に合せてスケジュール情報を表示するので、実環境と紐づけてスケジュール情報を表示することができ、よりスケジュール情報を認識しやすい形式で出力することができる。
　また、表示制御部１７は、認識部１６により認識された時計３００の時刻と、内蔵時計とを比較して、相違が著しい場合、その旨を示す情報を出力する。この場合、表示装置１００は、表示したスケジュール情報と時計３００の時刻にズレがあることについて注意を促すことができる。
　前述した本発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、マイクロプロセッサユニット等がそれぞれの機能等を実現する動作プログラムを解釈して実行することによりソフトウェアで実現してもよい。ハードウェアとソフトウェアを併用してもよい。
　また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、必ずしも製品上の全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
　１１…スケジュール取得部、１２…撮影部、１３…位置情報取得部、１４…移動状態判断部、１５…視線検出部、１６…認識部、１７…表示制御部、１００…表示装置、１０１…主制御部、１０２…バス、１０３…ＲＡＭ、１１０…ストレージ、１２０…操作入力部、１２１…操作キー、１２２…タッチセンサ、１２３…タッチパネル、１３０…画像処理部、１３１…表示部、１３２…画像信号処理部、１３３…第１画像入力部、１３４…第２画像入力部、１５０…センサ部、１５１…ＧＰＳ受信部、１５２…ジャイロセンサ、１５３…地磁気センサ、１５４…加速度センサ、１５５…深度センサ、１６０…通信処理部、１７０…拡張Ｉ／Ｆ部。

Claims (6)

  1. 　スケジュール情報を表示し、ユーザが装着可能な表示装置であって、
    　前記スケジュール情報を取得するスケジュール取得部と、
    　前記表示装置の周囲を撮影する撮影部と、
    　前記撮影部により撮影された結果から、時刻または日付に関する実物体を認識する認識部と、
    　前記認識部により、前記時刻または日付に関する実物体が認識された場合、前記時刻または日付に関する実物体の位置に合せて、前記スケジュール取得部により取得されたスケジュール情報を表示出力する表示制御部と、
    を含む、表示装置。
  2. 　請求項１に記載の表示装置であって、
    　前記実物体は、時計であり、
    　前記認識部は、前記時計の時刻をさらに認識し、
    　前記表示制御部は、前記認識部により認識された時刻と、前記表示装置が管理する時刻とを比較し、比較した結果、相違がある場合、その旨を示す情報を出力する、表示装置。
  3. 　請求項１に記載の表示装置であって、
    　前記表示装置の位置に関する情報である位置情報を取得する位置情報取得部をさらに含み、
    　前記スケジュール情報は、カテゴリ情報が対応付けられており、
    　前記表示制御部は、前記位置情報取得部により取得された位置情報に対応するカテゴリ情報のスケジュール情報を表示出力する、表示装置。
  4. 　請求項３に記載の表示装置であって、
    　前記位置情報取得部により取得された位置情報の変化に基づいて、前記ユーザが移動中か否かを判断する移動状態判断部をさらに含み、
    　前記表示制御部は、前記移動状態判断部により前記ユーザが移動中であると判断された場合、当該移動中に対応するスケジュールとして詳細なスケジュール情報に遷移させて表示出力する、表示装置。
  5. 　請求項１に記載の表示装置であって、
    　前記ユーザの視線を検出する視線検出部をさらに含み、
    　前記表示制御部は、前記視線検出部により検出された視線が、前記認識部により認識された実物体の位置に対応する場合に、前記時刻または日付に関する実物体の位置に合せて、前記スケジュール取得部により取得されたスケジュール情報を表示出力する、表示装置。
  6. 　スケジュール情報を表示し、ユーザが装着可能な表示装置で実行する表示方法であって、
    　前記スケジュール情報を取得するスケジュール取得ステップと、
    　前記表示装置の周囲を撮影する撮影ステップと、
    　前記撮影ステップで撮影した結果から、時刻または日付に関する実物体を認識する認識ステップと、
    　前記認識ステップで、前記時刻または日付に関する実物体を認識した場合、前記時刻または日付に関する実物体の位置に合せて、前記スケジュール取得ステップで取得したスケジュール情報を表示出力する表示制御ステップと、
    を含む、表示方法。
PCT/JP2019/044879 2019-11-15 2019-11-15 表示装置、および表示方法 WO2021095235A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201980102261.5A CN114730209A (zh) 2019-11-15 2019-11-15 显示装置以及显示方法
JP2021555749A JP7364686B2 (ja) 2019-11-15 2019-11-15 表示装置、および表示方法
PCT/JP2019/044879 WO2021095235A1 (ja) 2019-11-15 2019-11-15 表示装置、および表示方法
US17/776,307 US11967148B2 (en) 2019-11-15 2019-11-15 Display device and display method
JP2023173637A JP2023168591A (ja) 2019-11-15 2023-10-05 表示装置、および表示方法
US18/610,818 US20240233376A1 (en) 2019-11-15 2024-03-20 Display device and display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/044879 WO2021095235A1 (ja) 2019-11-15 2019-11-15 表示装置、および表示方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/776,307 A-371-Of-International US11967148B2 (en) 2019-11-15 2019-11-15 Display device and display method
US18/610,818 Continuation US20240233376A1 (en) 2019-11-15 2024-03-20 Display device and display method

Publications (1)

Publication Number Publication Date
WO2021095235A1 true WO2021095235A1 (ja) 2021-05-20

Family

ID=75912973

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/044879 WO2021095235A1 (ja) 2019-11-15 2019-11-15 表示装置、および表示方法

Country Status (4)

Country Link
US (2) US11967148B2 (ja)
JP (2) JP7364686B2 (ja)
CN (1) CN114730209A (ja)
WO (1) WO2021095235A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011135346A (ja) * 2009-12-24 2011-07-07 Kyocera Corp 携帯端末装置
JP2011227644A (ja) * 2010-04-19 2011-11-10 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP2015078943A (ja) * 2013-10-18 2015-04-23 カシオ計算機株式会社 指針位置修正方法、指針位置修正システム及び指針式表示装置
WO2015107625A1 (ja) * 2014-01-15 2015-07-23 日立マクセル株式会社 情報表示端末、情報表示システム及び情報表示方法
WO2015189973A1 (ja) * 2014-06-13 2015-12-17 三菱電機株式会社 情報処理装置、情報重畳画像表示装置、マーカー表示プログラムおよび情報重畳画像表示プログラム
JP2016506562A (ja) * 2012-11-29 2016-03-03 マイクロソフト テクノロジー ライセンシング，エルエルシー ウェアラブル食品栄養素フィードバックシステム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2996016B1 (en) * 2013-05-09 2020-02-12 Sony Interactive Entertainment Inc. Information processing device and application execution method
JP2017120556A (ja) 2015-12-28 2017-07-06 株式会社ブリリアントサービス 操作用ヘッドマウントディスプレイ、操作用ヘッドマウントディスプレイの制御方法および操作用ヘッドマウントディスプレイのプログラム
US10969747B2 (en) * 2017-12-08 2021-04-06 Samrat Solutions, Inc. Electrical time measuring system or device indicating time intervals by regioned concentric arciforms that indicate the time of duration of particular events

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011135346A (ja) * 2009-12-24 2011-07-07 Kyocera Corp 携帯端末装置
JP2011227644A (ja) * 2010-04-19 2011-11-10 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP2016506562A (ja) * 2012-11-29 2016-03-03 マイクロソフト テクノロジー ライセンシング，エルエルシー ウェアラブル食品栄養素フィードバックシステム
JP2015078943A (ja) * 2013-10-18 2015-04-23 カシオ計算機株式会社 指針位置修正方法、指針位置修正システム及び指針式表示装置
WO2015107625A1 (ja) * 2014-01-15 2015-07-23 日立マクセル株式会社 情報表示端末、情報表示システム及び情報表示方法
WO2015189973A1 (ja) * 2014-06-13 2015-12-17 三菱電機株式会社 情報処理装置、情報重畳画像表示装置、マーカー表示プログラムおよび情報重畳画像表示プログラム

Also Published As

Publication number Publication date
JPWO2021095235A1 (ja) 2021-05-20
US11967148B2 (en) 2024-04-23
CN114730209A (zh) 2022-07-08
US20220406057A1 (en) 2022-12-22
JP2023168591A (ja) 2023-11-24
JP7364686B2 (ja) 2023-10-18
US20240233376A1 (en) 2024-07-11

Similar Documents

Publication Publication Date Title
US9401050B2 (en) Recalibration of a flexible mixed reality device
CN108986766B (zh) 信息显示终端以及信息显示方法
US20170221244A1 (en) Image processing device, image processing method, non-transitory computer readable recording medium and photographing assist equipment
CN111886564B (zh) 信息处理装置、信息处理方法和程序
JP2016167688A (ja) 画像生成方法、システム、装置、及び端末
US10234955B2 (en) Input recognition apparatus, input recognition method using maker location, and non-transitory computer-readable storage program
US20190335115A1 (en) Display control device, head-mounted display, and control program
US11169764B2 (en) Remote work-support system
US11393177B2 (en) Information processing apparatus, information processing method, and program
KR101474534B1 (ko) 정보 처리 단말, 정보 처리 방법, 정보 처리 프로그램
WO2021095235A1 (ja) 表示装置、および表示方法
WO2021020068A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20190048810A (ko) 증강현실용 컨텐츠 제공 장치 및 방법
JP2023075236A (ja) 軌跡表示装置
JP6975001B2 (ja) 傾き測定装置及び傾き測定方法
KR20200122754A (ko) 증강 현실 이미지를 제공하는 스마트 안경 시스템
US20230120092A1 (en) Information processing device and information processing method
US20190124298A1 (en) Image-providing system, image-providing method, and program
CN107193513B (zh) 终端装置、数据处理系统和数据处理方法
US20240126369A1 (en) Information processing system and information processing method
EP4246282A1 (en) Information processing apparatus, information processing system, and information processing method
CN117687502A (zh) 处理器、图像处理装置及方法、信息显示装置和存储介质
WO2024057783A1 (ja) ３６０度画像視点位置同定部を備える情報処理装置
CN115280408A (zh) 影像显示装置及影像显示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19952874

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021555749

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19952874

Country of ref document: EP

Kind code of ref document: A1