WO2025215698A1 - 推定装置、推定方法、プログラム、および推定システム - Google Patents

推定装置、推定方法、プログラム、および推定システム

Info

Publication number
WO2025215698A1
WO2025215698A1 PCT/JP2024/014249 JP2024014249W WO2025215698A1 WO 2025215698 A1 WO2025215698 A1 WO 2025215698A1 JP 2024014249 W JP2024014249 W JP 2024014249W WO 2025215698 A1 WO2025215698 A1 WO 2025215698A1
Authority
WO
WIPO (PCT)
Prior art keywords
pupil diameter
estimation
time
subject
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/014249
Other languages
English (en)
French (fr)
Inventor
雄太 鈴木
シンイ リャオ
慎平 山岸
和史 丸谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
NTT Inc USA
Original Assignee
Nippon Telegraph and Telephone Corp
NTT Inc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT Inc USA filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2024/014249 priority Critical patent/WO2025215698A1/ja
Publication of WO2025215698A1 publication Critical patent/WO2025215698A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement

Definitions

  • the present invention relates to technology for estimating a subject's direction of attention from changes in the subject's pupil diameter.
  • Non-Patent Documents 1 and 2 Conventional technology is known that uses the pupil's light response (pupil dilation or contraction in response to light) to read visual or auditory attention.
  • Patent Document 1 proposes a technique in which images with different brightness levels are presented to the subject while different sounds are presented to the left and right ears, and which sound the subject is focusing their attention on is estimated from changes in the subject's pupil diameter.
  • Patent Document 1 it is necessary to first acquire time-series information (first biometric information) of pupil diameter when the subject is not paying attention to either the left or right (neutral state), and then acquire and estimate time-series information (second biometric information) of pupil diameter when the subject is paying attention to either the left or right.
  • first biometric information time-series information
  • second biometric information time-series information
  • the present invention aims to provide an estimation device, estimation method, and program that can estimate a subject's auditory attention with high accuracy in real time by using the results of calculations of trends in time-series changes in past biological information, even when biological information cannot be obtained in a neutral state.
  • auditory attention refers to the direction in which auditory attention is directed, and whether or not auditory attention is being directed (including when the subject is not hearing).
  • the estimation device includes a memory unit that stores biometric information, which is time-series information on pupil diameter acquired while presenting images of different brightness to a subject; an area information acquisition unit that acquires area information, which is an index value for the brightness of an area of the image presented to the subject; an analysis unit that calculates the statistical trend of time-series changes in pupil diameter from the subject's biometric information; and an estimation unit that estimates the direction in which the subject is paying attention using the statistical trend of time-series changes in pupil diameter and the area information.
  • biometric information which is time-series information on pupil diameter acquired while presenting images of different brightness to a subject
  • an area information acquisition unit that acquires area information, which is an index value for the brightness of an area of the image presented to the subject
  • an analysis unit that calculates the statistical trend of time-series changes in pupil diameter from the subject's biometric information
  • an estimation unit that estimates the direction in which the subject is paying attention using the statistical trend of time-series changes in pupil diameter and the area information.
  • the estimation technology of the present invention has the advantage that, even when biometric information cannot be obtained in a neutral state, the subject's auditory attention can be estimated in real time with high accuracy by using the calculation results of the trend of time-series changes in past biometric information.
  • FIG. 1 is a diagram showing an experimental situation to explain the technical background.
  • 10A and 10B are diagrams for explaining a method for determining the trend of changes in human pupil size from time-series data of the subject's pupil size.
  • 10A and 10B are diagrams showing examples of estimation results of actual pupil diameter and attention direction.
  • 10A and 10B are diagrams showing the estimation results and estimation accuracy of the experiment.
  • FIG. 1 is a block diagram showing the configuration of an estimation device according to a first embodiment.
  • FIG. 3 is a flowchart showing the operation of the estimation device according to the first embodiment.
  • FIG. 10 is a diagram showing an example of an estimation result.
  • FIG. 10 is a block diagram showing the configuration of an estimation device according to a second embodiment.
  • FIG. 10 is a flowchart showing the operation of the estimation device according to the second embodiment.
  • 10A and 10B are diagrams showing the estimation results and estimation accuracy of the second estimator.
  • 10A and 10B are diagrams showing the estimation results and estimation accuracy of a third estimation unit.
  • FIG. 2 is a diagram showing an example of the functional configuration of a computer.
  • An embodiment of the present invention i.e., an estimation device for estimating human auditory attention, is based on the discovery of a natural law that there is a correlation between the luminance information of the target of auditory attention and the trend of changes in human pupil size.
  • the experimental setup is shown in Figure 1.
  • the experimental procedure is as follows. (1) A display 23 is placed in front of the subject 21, an image is presented, and speakers 25-R and 25-L are placed on either side of the display 23 to present different sounds.
  • the images presented have different brightness levels in the right-side region 23-R and the left-side region 23-L, as shown in Figure 1. Images corresponding to the sounds presented from the speakers 25-R and 25-L are presented in the regions 23-R and 23-L of the display on the same side.
  • the sound of a saxophone is played from the left-side speaker 25-L, and a video of a saxophone performance is played in the brightened left-side region 23-L of the display 23.
  • the sound of a bass guitar is played from the right-side speaker 25-R, and a video of a bass guitar performance is played in the darkened right-side region 23-R of the display 23.
  • the subject 21 is instructed to listen to the performance by alternating between different sound sources at any time, and to press the button corresponding to the sound to which the subject 21 is paying attention.
  • the size of the subject's pupil e.g., pupil diameter
  • the size of the subject's pupil is measured while the performance sounds and the video are being played.
  • Figure 2 is a diagram explaining a method for determining the trend in changes in human pupil size from time-series data on the subject's pupil size.
  • the average pupil diameter for the analysis time width w1 which is set in advance depending on the target of attention, is calculated by shifting the discrimination interval w2 by w3 .
  • the average pupil diameter -pi at a certain time ti is calculated using equation (1).
  • pupil t indicates the pupil diameter at time t.
  • t0 represents the current time.
  • n is the order of the coefficient ⁇ , and can be set to any value so that the coefficient ⁇ can be found from the mean pupil diameter P and the vector T.
  • the predicted value p pred of the pupil diameter is calculated.
  • the current pupil diameter p current is calculated.
  • the predicted value p pred is compared with the current pupil diameter p current , and if p current > p pred , it is assumed that the pupil diameter is on an upward trend, and that the person is paying attention to sounds in the dark. If p current ⁇ p pred , it is assumed that the pupil diameter is on a downward trend, and that the person is paying attention to sounds in the brighter direction.
  • Figure 3 shows an example of the estimation results for actual pupil diameter and direction of attention
  • Figure 4 shows the experimental estimation results and estimation accuracy.
  • the estimation accuracy was approximately 60-70%.
  • the image into two may be divided into three or more regions with different brightness levels.
  • the images presented are not limited to moving images.
  • the brightness e.g., luminance
  • each area can be made darker, brighter, etc.
  • still images or images of a real environment can also be used.
  • visual information still images, moving images, and the real environment
  • the estimation device of the first embodiment estimates the direction in which a subject's auditory attention is directed.
  • the estimation device 100 will be described below with reference to Figures 5 and 6.
  • Figure 5 is a block diagram showing the configuration of the estimation device 100.
  • Figure 6 is a flowchart showing the operation of the estimation device 100.
  • the estimation device 100 includes a visual information presentation unit 110, an acoustic information presentation unit 120, a biometric information acquisition unit 130, a region information acquisition unit 140, an analysis unit 150, an estimation unit 160, and a recording unit 190.
  • the recording unit 190 is a component that appropriately records information necessary for processing.
  • the visual information presentation unit 110 receives moving image data (also referred to as visual information a), plays the moving image data, and presents a moving image consisting of two or more regions with different index values indicating brightness (e.g., luminance) to the subject. Therefore, the subject's field of vision includes two or more regions with different index values indicating brightness.
  • the visual information presentation unit 110 also outputs the visual information a to the region information acquisition unit 140. Note that a display device such as a monitor may be used to present the moving image.
  • the acoustic information presenting unit 120 receives acoustic data corresponding to the video image data, plays the acoustic data, and presents different sounds from two or more different directions to the subject. It also outputs information for identifying the sounds presented from each direction (also referred to as identification information b) to the estimation unit 160.
  • the acoustic information presenting unit 120 presents different sounds from two directions, one toward the right ear and one toward the left ear, and outputs information for identifying the sounds presented from each of the directions, the right ear and the left ear, (sound identification information) to the estimation unit 160.
  • a sound reproduction device such as a speaker may be used to present the sounds.
  • the biometric information acquisition unit 130 measures the pupil diameter while presenting images of different luminance to the subject, acquires biometric information c, which is time-series information on the measured pupil diameter, and outputs it to the analysis unit 150.
  • biometric information acquisition unit 130 receives as input video data of the subject's pupil, performs image analysis, and measures the pupil diameter.
  • the region information acquisition unit 140 receives visual information a as input, acquires region information d, which is an index value indicating the brightness of each region of the moving image presented in S110, i.e., each region included in the subject's field of view, and outputs the region information d to the estimation unit 160.
  • region information d is an index value indicating the brightness of each region of the moving image presented in S110, i.e., each region included in the subject's field of view
  • step S150 the analysis unit 150 receives the subject's biometric information c as input, calculates the statistical trend of the time-series change in pupil diameter from the biometric information c, and outputs the calculated trend e to the estimation unit 160.
  • the analysis unit 150 uses the biological information c (time-series information on the measured pupil diameter) to calculate the average pupil diameter over an analysis time width w1 while moving the discrimination interval w2 by w3 .
  • the analysis unit 150 calculates the average pupil diameter -pi at time ti using the following equation:
  • the analysis unit 150 calculates the pupil diameter p current at the current time t 0 using the following equation.
  • the analysis unit 150 compares the predicted value p pred with the pupil diameter p current at the current time t 0 , and determines that the change in pupil diameter is on an upward trend if p current > p pred , and determines that the change in pupil diameter is on a downward trend if p current ⁇ p pred , and outputs the upward trend or downward trend as the statistical trend of the time-series change in pupil diameter.
  • step S150 the estimation unit 160 receives the statistical trend e of the time-series change in pupil diameter and the area information d as input, and uses these values to estimate the direction in which the subject is paying attention and outputs the estimation result f.
  • the direction determined from relatively dark areas of the moving image presented by the visual information presentation unit 110 i.e., areas with small area information (e.g., low brightness)
  • the direction determined from relatively bright areas of the moving image presented by the visual information presentation unit 110 i.e., areas with large area information (e.g., high brightness)
  • the reason for this estimation is that when auditory attention is directed toward relatively bright areas, the trend of change in pupil size is downward, and when auditory attention is directed toward relatively dark areas, the trend of change in pupil size is upward.
  • Figures 3 and 7 show examples of estimation results
  • Figure 4 shows an example of estimation accuracy
  • the method can be expanded to estimate which of three or more different objects the subject is paying attention to, such as other instrumentalists in addition to the bass and saxophone in Figure 1.
  • a moving image consisting of three or more regions with different brightness index values may be presented to the subject, and three or more audio data corresponding to the moving image may be played back, presenting different sounds to the subject from three or more different directions.
  • the method may then estimate which of the three or more sounds the subject will pay auditory attention to.
  • the statistical trend of the time-series change in pupil diameter may be divided into multiple levels (e.g., a large upward trend, a small upward trend, a small downward trend, and a large downward trend).
  • multiple thresholds may be set, and the difference p current - p pred between the predicted value p pred and the pupil diameter p current at the current time t 0 may be calculated, and the sound to which the subject will pay auditory attention may be estimated based on the magnitude relationship between the difference and the threshold.
  • a threshold value ⁇ >0 is set, and when ⁇ p current -p pred, there is a large upward trend, when 0 ⁇ p current -p pred ⁇ , there is a small upward trend, when - ⁇ p current -p pred ⁇ 0, there is a small downward trend, and when p current -p pred ⁇ - ⁇ , there is a large downward trend.
  • a model (classifier) may be trained that inputs the subject's biometric information c and outputs the statistical trend e of time-series changes in pupil diameter from the biometric information c, and the analysis unit 150 may use this model to calculate the statistical trend of time-series changes in pupil diameter from the subject's biometric information.
  • the correct answer data can be obtained by pressing a button corresponding to the sound to which the subject is paying attention. By providing three or more sounds and buttons to which the subject is paying attention, it is possible to estimate which sound the subject will direct their auditory attention to when presented from three or more different directions.
  • the estimated attention state may be fed back to the subject in real time.
  • the subject can determine their next action after recognizing their own attention state.
  • sounds may be converted and presented to the subject depending on their attention state. For example, sounds in the direction of their attention may be emphasized or reduced. This configuration also makes it possible to use the device to manipulate their attention state.
  • auditory attention direction is estimated not only by looking at the statistical trend of changes in pupil diameter over time, but also by incorporating other indicators.
  • gaze movement is used.
  • the estimation device of the second embodiment estimates the direction in which the subject's auditory attention is directed.
  • the estimation device 100 includes a visual information presentation unit 110, an acoustic information presentation unit 120, a biometric information acquisition unit 130, a region information acquisition unit 140, an analysis unit 150, an estimation unit 160, a second biometric information acquisition unit 230, a second estimation unit 270, a third estimation unit 280, and a recording unit 290.
  • the recording unit 290 is a component that appropriately records information necessary for processing.
  • step S230 the second biometric information acquisition unit 230 measures the gaze movement while presenting images of different luminance to the subject, acquires second biometric information g that is time-series information on the measured gaze movement, and outputs the second biometric information g to the second estimation unit 270.
  • Various conventional techniques can be used as a method for measuring the gaze movement.
  • step S270 the second estimation unit 270 receives the second biometric information g as input, estimates the direction in which the subject is paying attention using the second biometric information g, and outputs a second estimation result h.
  • the second estimation unit 270 estimates that the direction of the gaze point determined from the movement of the gaze is the direction in which the subject is paying auditory attention.
  • Figure 10 shows the estimation result and estimation accuracy of the second estimation unit 270.
  • the estimation accuracy of the second estimation result h was approximately 60-70%.
  • step S270 the second estimation unit 270 receives the estimation result f and the second estimation result h as input, and uses these values to determine and output the third estimation result p, which is the final estimation result. For example, if the estimation result f and the second estimation result h match, the matching estimation result is designated as the third estimation result p. If the estimation result f and the second estimation result h do not match, the third estimation result p is designated as a value indicating that an appropriate estimation was not performed.
  • FIG. 11 shows the estimation results and estimation accuracy of the third estimation unit 280. The estimation accuracy for the time when an appropriate estimation was performed was approximately 70-90%.
  • eye movement is used as an index other than the tendency of pupil diameter change, but other indices may be used. Also, three or more indices including the tendency of pupil diameter change may be used. When three or more indices are used, the final estimation result may be determined, for example, by majority vote of the estimation results.
  • a device (terminal) for using the device of the present invention or the method of the present invention via a network (telecommunications line) may also be included.
  • the "device (terminal) for use” may be equipped with the functions (e.g., control functions, decoding functions, restoration functions, input/output functions, etc.) necessary to obtain the effects of implementing the device of the present invention or the method of the present invention.
  • functions e.g., control functions, decoding functions, restoration functions, input/output functions, etc.
  • a configuration including a device (terminal) for using the device of the present invention or the method of the present invention via a network (telecommunications line) is also referred to as an estimation system.
  • processors may be implemented in circuitry or processing circuitry, including general-purpose processors, application-specific processors, integrated circuits, ASICs (Application Specific Integrated Circuits), a CPU (a Central Processing Unit), conventional circuits, and/or combinations thereof, programmed to perform the described functions.
  • a processor includes transistors and other circuits and is considered to be circuitry or processing circuitry.
  • a processor may also be a programmed processor that executes programs stored in memory.
  • a circuit, unit, or means refers to hardware that is programmed to realize or executes the described functions.
  • the hardware may be any hardware disclosed in this specification or any hardware known to be programmed to realize or execute the described functions.
  • the hardware is a processor, which is considered to be a type of circuitry
  • the circuitry, means, or unit is the combination of the hardware and the software used to configure the hardware and/or processor.
  • the program describing this processing can be recorded on a computer-readable recording medium.
  • Examples of computer-readable recording media include magnetic recording devices, optical disks, magneto-optical recording media, and semiconductor memory.
  • this program may be distributed, for example, by selling, transferring, or lending portable recording media such as DVDs or CD-ROMs on which the program is recorded.
  • the program may be stored in a storage device on a server computer, and then transferred from the server computer to other computers via a network, thereby distributing the program.
  • a computer that executes such a program for example, first stores the program recorded on a portable recording medium or transferred from a server computer in its own storage device. Then, when executing processing, the computer reads the program stored on its own recording medium and executes processing in accordance with the read program. As another form of execution of this program, the computer may read the program directly from the portable recording medium and execute processing in accordance with that program, or it may execute processing in accordance with the received program each time a program is transferred to this computer from the server computer. Alternatively, the server computer may not transfer the program to this computer, but rather executes processing using a so-called ASP (Application Service Provider) type service, which realizes processing functions simply by issuing execution instructions and obtaining results.
  • ASP Application Service Provider
  • the computer may be configured to execute terminal processing using a so-called SaaS (Software as a Service) type service, which allows users to use part of a server computer along with the program.
  • the program includes information used for processing by an electronic computer that is equivalent to a program (such as data that is not a direct command to a computer but has properties that dictate computer processing).
  • the device is configured by executing a specific program on a computer, but at least part of the processing may also be implemented in hardware.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

ニュートラルな状態での生体情報が取得できない場合でも、リアルタイムに高い精度で対象者の聴覚的な注意を推定することができる推定装置等を提供する。推定装置は、対象者に輝度の異なる画像を提示しながら取得した瞳孔径の時系列情報である生体情報が格納される記憶部と、対象者に提示する画像の領域の明るさの指標値である領域情報を取得する領域情報取得部と、対象者の生体情報から瞳孔径の時系列的な変化の統計的な傾向を算出する解析部と、瞳孔径の時系列的な変化の統計的な傾向と領域情報を用いて対象者が注意を向けている方向を推定する推定部とを含む。

Description

推定装置、推定方法、プログラム、および推定システム
　本発明は、対象者の瞳孔径の変化から対象者の注意方向を推定する技術に関する。
　瞳孔径の対光反応（光に対する瞳孔の拡大や縮小）を利用して、視覚や聴覚の注意を読み取る従来技術が知られている（非特許文献１，２）。
　例えば、空間中の様々な位置に存在する情報のうち、対象者がどの位置にある情報に注意を向けているか推測する技術として、対象者に左右で輝度の異なる画像を提示したときに対象者の注意を向けた方向により眼の瞳孔径が変化することを利用する方法が提案されている。特許文献１では、対象者に左右で輝度の異なる画像を提示しながら、左右の耳に異なる音を提示し、対象者が左右のどちらの音に注意を向けているかを、対象者の瞳孔径の変化から推定する技術が提案されている。
　しかしながら、特許文献１では、まず、対象者が左右のどちらにも注意を向けていない状態（ニュートラルな状態）での瞳孔径の時系列情報（第１生体情報）を取得したのちに、左右どちらかに注意を向けている状態の瞳孔径の時系列情報（第２生体情報）を取得して推定する必要がある。ニュートラルな状態の第１生体情報の取得が難しく、実世界での利用場面が制限されるといった難しい側面がある。また、所定時間の中で時々刻々と対象者の注意対象が変化する状況でのリアルタイムの推定が難しいという課題がある。
　本発明は、ニュートラルな状態での生体情報が取得できない場合でも、過去の生体情報の時系列的な変化の傾向の算出結果を用いることで、リアルタイムに高い精度で対象者の聴覚的な注意を推定することができる推定装置、推定方法、およびプログラムを提供することを目的とする。なお、「聴覚的な注意」とは、聴覚的に注意を向けている方向、および、聴覚的に注意を向けているか否か（聞こえていない場合を含む）を意味する。
　上記の課題を解決するために、本発明の一態様によれば、推定装置は、対象者に輝度の異なる画像を提示しながら取得した瞳孔径の時系列情報である生体情報が格納される記憶部と、対象者に提示する画像の領域の明るさの指標値である領域情報を取得する領域情報取得部と、対象者の生体情報から瞳孔径の時系列的な変化の統計的な傾向を算出する解析部と、瞳孔径の時系列的な変化の統計的な傾向と領域情報を用いて対象者が注意を向けている方向を推定する推定部とを含む。
　本発明の推定技術によれば、ニュートラルな状態での生体情報が取得できない場合でも、過去の生体情報の時系列的な変化の傾向の算出結果を用いることで、リアルタイムに高い精度で対象者の聴覚的な注意を推定することができるという効果を奏する。
技術的背景を説明するための実験の状況を示す図。 対象者の瞳孔の大きさの時系列データからヒトの瞳孔の大きさの変化の傾向（トレンド）を求める方法を説明するための図。 実際の瞳孔径と注意を向けている方向の推定結果の例を示す図。 実験の推定結果および推定精度を示す図。 第一実施形態に係る推定装置の構成を示すブロック図。 第一実施形態に係る推定装置の動作を示すフローチャートを示す図。 推定結果の例を示す図。 第二実施形態に係る推定装置の構成を示すブロック図。 第二実施形態に係る推定装置の動作を示すフローチャートを示す図。 第二推定部の推定結果および推定精度を示す図。 第三推定部の推定結果および推定精度を示す図。 コンピュータの機能構成例を示す図。
　以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。以下の説明において、テキスト中で使用する記号「-」等は、本来直後の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直前に記載する。式中においてはこれらの記号は本来の位置に記述している。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
　＜技術的背景＞
　本発明の実施形態、つまりヒトの聴覚的な注意を推定する推定装置は、聴覚的な注意を向けた先の輝度情報とヒトの瞳孔の大きさの変化の傾向（トレンド）との間に相関関係があるという自然法則の発見に基づくものである。
　そこでここでは、本発明の実施形態の前提となる聴覚的な注意とヒトの瞳孔の大きさの変化の傾向（トレンド）との間の相関関係の発見について説明する。
　図１は実験の状況を示す。実験の手順は以下の通りである。
（１）対象者２１の前にディスプレイ２３を置き、画像を提示し、ディスプレイ２３の両側にスピーカ２５－Ｒ，２５－Ｌをそれぞれ配置し、異なる音を提示する。提示する画像として、図１のように右側の領域２３－Ｒと左側の領域２３－Ｌでそれぞれ輝度が異なるものを用いる。また、スピーカ２５－Ｒ，２５－Ｌから提示される音に対応する画像をそれぞれ同じ側にあるディスプレイの領域２３－Ｒ，２３－Ｌで提示する。図１では、左側のスピーカ２５－Ｌからサックスの演奏音を再生し、ディスプレイ２３の左側の領域２３－Ｌの明るくしサックスの演奏動画を再生し、右側のスピーカ２５－Ｒからベースの演奏音を再生し、ディスプレイ２３の右側の領域２３－Ｒを暗くしベースの演奏動画を再生する。
（２）対象者２１には演奏の中の何れかの音源に自由なタイミングで交互に注意を向けて聴くように指示し、さらに、対象者２１が注意を向けている音に対応するボタンを押すように指示しておく。演奏音および動画再生中の間の対象者の瞳孔の大きさ(例えば瞳孔径pupil diameter)を計測する。
　図２は、対象者の瞳孔の大きさの時系列データからヒトの瞳孔の大きさの変化の傾向（トレンド）を求める方法を説明するための図である。
　注意対象に応じてあらかじめ設定された解析時間幅w1の瞳孔径の平均を判別区間w2でw3ずつ移動しながら求める。ある時刻tiにおける平均瞳孔径-piは式(1)のように求める。
なお、pupiltは時刻tにおける瞳孔径を示す。t0は現在時刻を表す。iは時刻tiに対応するインデックスであり、i=1,2,…,Lであり、L=(w1-w2)/w3である。これより求められた平均瞳孔径-p1から-pLとそれらを取得した時刻のインデックスのベクトルT=(1,2,…,L)より、式(2-1)～式(2-3)を用いて、β=(β0,β1,…,βn)を求める。
なお、nは係数βの次数であり、平均瞳孔径PとベクトルTから係数βが求まるように、任意の値を設定すればよい。なお、ベクトルTkは、ベクトルTの各要素のｋ乗した値を各要素とするベクトル、つまり、Tk=(1k,2k,…,Lk)である。
　求めた式に現在時刻t0のインデックスmを入力することにより、瞳孔径の予測値ppredを算出する。
ppred=P(m)=β0+β1m+β2m2+…+βnmn    (3)
現在時刻t0のインデックスmが0の場合、ppred=P(0)=β0である。さらに、現在の瞳孔径pcurrentを求める。
予測値ppredと現在の瞳孔径pcurrentとを比較し、pcurrent>ppredであれば瞳孔径の変化が上昇傾向であるとし、暗い方向にある音に注意を向けていると推定する。pcurrent<ppredであれば下降傾向であるとし、明るい方向にある音に注意を向けていると推定する。
　図３は実際の瞳孔径と注意を向けている方向の推定結果の例を示す図、図４は実験の推定結果および推定精度を示す図である。図４の例では、約6-7割程度の推定精度であった。
　この結果から、聴覚的な注意を傾けようとする方向の明るさに応じて、（実際に眼をその方向に向けているか否かにかかわらず）瞳孔の大きさの変化の傾向が変わることが分かる。本発明の実施形態では、この自然法則の発見を利用する。
　なお、画像を２分割するのではなく、輝度の異なる３以上の領域に分割してもよい。
　また、この実験では演奏動画を用いているが、提示する画像は動画像に限られるものではなく、位置ごとに異なる明るさ（例えば、輝度）が一定の領域で近い値にできる（つまり、領域ごとに暗めの領域、明るめの領域などとできる）のであれば、静止画像であってもよいし、実環境であってもよい。
　以下、静止画像、動画像、実環境のことを視覚情報という。
　＜第一実施形態＞
　第一実施形態の推定装置は、対象者の聴覚的な注意が向いている方向を推定する。
　以下、図５～図６を参照して、推定装置１００を説明する。図５は、推定装置１００の構成を示すブロック図である。図６は、推定装置１００の動作を示すフローチャートである。図５に示すように推定装置１００は、視覚情報提示部１１０と、音響情報提示部１２０と、生体情報取得部１３０と、領域情報取得部１４０と、解析部１５０と、推定部１６０と、記録部１９０を含む。記録部１９０は、処理に必要な情報を適宜記録する構成部である。
　以下、図６を参照して、推定装置１００の動作について説明する。
　［視覚情報提示部１１０］
　ステップＳ１１０において、視覚情報提示部１１０は、動画像データ（視覚情報aともいう）を入力とし、動画像データを再生し、明るさを示す指標値（例えば、輝度）が異なる２以上の領域からなる動画像を対象者に提示する。したがって、対象者の視野には、明るさを示す指標値が異なる２以上の領域が含まれる。また、視覚情報提示部１１０は、視覚情報aを領域情報取得部１４０に出力する。なお、動画像の提示には、ディスプレイ等の表示装置を用いればよい。
　［音響情報提示部１２０］
　ステップＳ１２０において、音響情報提示部１２０は、動画像データに対応する音響データを入力とし、音響データを再生し、対象者に対して２以上の異なる方向からそれぞれ異なる音を提示する。また、各方向から提示された音を特定するための情報（特定情報bともいう）を推定部１６０に出力する。例えば、音響情報提示部１２０は、右耳側と左耳側の２つの方向からそれぞれ異なる音を提示し、右耳側と左耳側の各方向から提示した音を特定するための情報（音特定情報）を推定部１６０に出力する。なお、音の提示には、スピーカ等の音響再生装置を用いればよい。
　［生体情報取得部１３０］
　ステップＳ１３０において、生体情報取得部１３０は、対象者に輝度の異なる画像を提示しながら瞳孔径を計測し、計測した瞳孔径の時系列情報である生体情報cを取得し、解析部１５０に出力する。瞳孔径を計測する方法としては、様々な従来技術を用いることができる。例えば、生体情報取得部１３０は、対象者の瞳孔を撮影した動画像データを入力とし、画像解析を行って、瞳孔径を計測する。
　［領域情報取得部１４０］
　ステップＳ１４０において、領域情報取得部１４０は、視覚情報aを入力とし、Ｓ１１０で提示した動画像の領域、つまり対象者の視野に含まれる各領域について、領域の明るさを示す指標値である領域情報dを取得し、当該領域情報dを推定部１６０に出力する。
　［解析部１５０］
　ステップＳ１５０において、解析部１５０は、対象者の生体情報cを入力とし、生体情報cから瞳孔径の時系列的な変化の統計的な傾向を算出し、算出した傾向eを推定部１６０に出力する。
　例えば、解析部１５０は、生体情報c（計測した瞳孔径の時系列情報）を用いて、解析時間幅w1の瞳孔径の平均を判別区間w2でw3ずつ移動しながら求める。例えば、解析部１５０は、時刻tiにおける平均瞳孔径-piを次式により求める。
解析部１５０は、L(L=(w1-w2)/w3)個の平均瞳孔径-piを求め、L個の平均瞳孔径-piとそれらを取得した時刻のインデックスのベクトルTにより、式(2-1)～式(2-3)を用いて、β=(β0,β1,…,βn)を求める。
さらに、解析部１５０は、求めたβ=(β0,β1,…,βn)と現在時刻t0のインデックスmとを用いて、次式により、瞳孔径の予測値ppredを算出する。
ppred=P(m)=β0+β1m+β2m2+…+βnmn    (3)
また、解析部１５０は、次式により、現在時刻t0の瞳孔径pcurrentを求める。
次に、解析部１５０は、予測値ppredと現在時刻t0の瞳孔径pcurrentとを比較し、pcurrent>ppredであれば瞳孔径の変化が上昇傾向であるとし、pcurrent<ppredであれば下降傾向であるとし、瞳孔径の時系列的な変化の統計的な傾向として、上昇傾向または下降傾向を出力する。
　［推定部１６０］
　ステップＳ１５０において、推定部１６０は、瞳孔径の時系列的な変化の統計的な傾向eと領域情報dを入力とし、これらの値を用いて、対象者が注意を向けている方向を推定し、推定結果fを出力する。
　具体的には、瞳孔径の時系列的な変化の統計的な傾向が上昇傾向であれば、視覚情報提示部１１０が提示した動画像の領域うち、相対的に暗い領域、つまり領域情報が小さい（例えば輝度が低い）領域から定まる方向を聴覚的注意方向と推定する。一方、瞳孔径の時系列的な変化の統計的な傾向が下降傾向であれば、視覚情報提示部１１０が提示した動画像の領域のうち、相対的に明るい領域、つまり領域情報が大きい（例えば、輝度が高い）領域から定まる方向を聴覚的注意方向と推定する。このように推定すればよいのは、相対的に明るい領域の方向に聴覚的注意を向けるときは、瞳孔の大きさの変化の傾向が下降傾向となり、相対的に暗い領域の方向に聴覚的注意を向けるときは、瞳孔の大きさの変化の傾向が上昇傾向となるからである。
　図３，図７は推定結果の例を示し、図４は推定精度の例を示す。
　＜効果＞
　以上の構成により、生体情報の時系列的な変化の傾向を用いることで、リアルタイムに高い精度で対象者の聴覚的な注意の方向を推定することができる。
　［変形例］
　例えば、図１のベース、サックスに加え、他の楽器演奏者がいるような３以上の異なる対象のいずれかに注意を向けているかを推定するように拡張することできる。この場合、明るさを示す指標値が異なる３つ以上の領域からなる動画像を対象者に提示し、動画像に対応する３つ以上の音響データを再生し、対象者に対して３以上の異なる方向からそれぞれ異なる音を提示し、対象者が３つ以上の異なる方向から提示される何れかの音に聴覚的注意を向けるかを推定する構成としてもよい。この場合、瞳孔径の時系列的な変化の統計的な傾向を複数のレベル(例えば、大きく上昇傾向、小さく上昇傾向、小さく下降傾向、大きく下降傾向)に分ける。例えば、複数の閾値を設け、予測値ppredと現在時刻t0の瞳孔径pcurrentとの差分pcurrent-ppredを求め、差分と閾値との大小関係に基づき、何れかの音に聴覚的注意を向けるかを推定する。例えば、閾値θ>0を設け、θ<pcurrent-ppredのとき大きく上昇傾向とし、0<pcurrent-ppred<θのとき小さく上昇傾向とし、-θ<pcurrent-ppred<0のとき小さく下降傾向とし、pcurrent-ppred<-θのとき大きく下降傾向とする。
　また、学習用の生体情報cと正解データを用いて、対象者の生体情報cを入力とし、生体情報cから瞳孔径の時系列的な変化の統計的な傾向eを出力するモデル(分類器)を学習しておき、解析部１５０は、このモデルを用いて、対象者の生体情報から瞳孔径の時系列的な変化の統計的な傾向を算出してもよい。ただし、正解データは、対象者が注意を向けている音に対応するボタンを押すことで得られる。対象者が注意を向けている音およびボタンを3つ以上設けることで、対象者が３つ以上の異なる方向から提示される何れかの音に聴覚的注意を向けるかを推定することができる。
　推定された注意状態をリアルタイムに対象者へフィードバックしてもよい。この構成により、対象者は自身の注意状態を認識した上で、次の行動を決定することができる。
　さらに、注意状態に応じて音を変換して対象者に提示してもよい。例えば、注意が向いている方向の音を強調、または、低減して提示する。この構成により、注意状態を操作するといった利用方法も可能となる。
　＜第二実施形態＞
　第一実施形態と異なる部分を中心に説明する。
　本実施形態では、瞳孔径の時系列的な変化の統計的な傾向だけではなく、他の指標を取り入れて、聴覚的注意方向を推定する。
　他の指標として、視線の動き、微小な視線の動き、マイクロサッケード等を用いることができる。本実施形態では、視線の動きを用いる。
　第二実施形態の推定装置は、対象者の聴覚的な注意が向いている方向を推定する。
　以下、図８～図９を参照して、推定装置２００を説明する。図８は、推定装置２００の構成を示すブロック図である。図９は、推定装置２００の動作を示すフローチャートである。図５に示すように推定装置１００は、視覚情報提示部１１０と、音響情報提示部１２０と、生体情報取得部１３０と、領域情報取得部１４０と、解析部１５０と、推定部１６０と、第二生体情報取得部２３０と、第二推定部２７０と、第三推定部２８０と、記録部２９０を含む。記録部２９０は、処理に必要な情報を適宜記録する構成部である。
　第一実施形態と異なる第二生体情報取得部２３０と、第二推定部２７０と、第三推定部２８０を中心説明する。
　以下、図９を参照して、推定装置２００の動作について説明する。
　［第二生体情報取得部２３０］
　ステップＳ２３０において、第二生体情報取得部２３０は、対象者に輝度の異なる画像を提示しながら視線の動きを計測し、計測した視線の動きの時系列情報である第二生体情報ｇを取得し、第二推定部２７０に出力する。視線の動きを計測する方法としては、様々な従来技術を用いることができる。
　［第二推定部２７０］
　ステップＳ２７０において第二推定部２７０は、第二生体情報ｇを入力とし、第二生体情報ｇを用いて、対象者が注意を向けている方向を推定し、第二推定結果hを出力する。第二推定部２７０では、視線の動きから分かる注視点の方向が、対象者が聴覚的な注意を向けている方向であると推定する。図１０は、第二推定部２７０の推定結果および推定精度を示す。第二推定結果hの推定精度は、6-7割程度であった。
　［第三推定部２８０］
　ステップＳ２７０において第二推定部２７０は、推定結果fと第二推定結果hとを入力とし、これらの値を用いて、最終的な推定結果である第三推定結果pを求め、出力する。例えば、推定結果fと第二推定結果hとが一致する場合にはその一致した推定結果を第三推定結果pとし、推定結果fと第二推定結果hとが一致しない場合には適切な推定が行われなかったことを示す値を第三推定結果pとする。図１１は、第三推定部２８０の推定結果および推定精度を示す。適切な推定が行われた時間の推定精度は、7-9割程度であった。
　＜効果＞
　このような構成とすることで、第一実施形態と同様の効果を得ることができる。さらに、推定精度を向上させることができる。
　［変形例］
　本実施形態では、瞳孔径の変化の傾向以外の指標として、視線の動きを用いているが、他の指標を用いてもよい。また、瞳孔径の変化の傾向を含む3つ以上の指標を用いてもよい。3つ以上の指標を用いる場合には、例えば、推定結果の多数決により最終的な推定結果を求めてもよい。
　本発明の装置もしくは本発明の方法を、ネットワーク（電気通信回線）を介して使用するための装置（端末）も有してもよい。「使用するための装置（端末）」には、本発明の装置もしくは本発明の方法の実施による効果を得るために必要な機能（例えば、制御機能、復号機能、復元機能、入出力機能など）を備えさせてもよい。なお、本発明の装置もしくは本発明の方法を、ネットワーク（電気通信回線）を介して使用するための装置（端末）を含む構成を推定システムともいう。
［プロセッサ、プログラム、記録媒体］
　本明細書中に記載されている構成要素により実現される機能は、当該記載された機能を実現するようにプログラムされた、汎用プロセッサ、特定用途プロセッサ、集積回路、ＡＳＩＣｓ(Application Specific Integrated Circuits)、ＣＰＵ(a Central Processing Unit)、従来型の回路、および／又はそれらの組合せを含む、circuitry又はprocessing circuitryにおいて実装されてもよい。プロセッサは、トランジスタやその他の回路を含み、 circuitry又はprocessing circuitryとみなされる。プロセッサは、メモリに格納されたプログラムを実行する、programmed processorであってもよい。
　本明細書において、circuitry、ユニット、手段は、記載された機能を実現するようにプログラムされたハードウェア、又は実行するハードウェアである。当該ハードウェアは、本明細書に開示されているあらゆるハードウェア、又は、当該記載された機能を実現するようにプログラムされた、又は、実行するものとして知られているあらゆるハードウェアであってもよい。
　当該ハードウェアがcircuitryのタイプであるとみなされるプロセッサである場合、当該circuitry、手段、又はユニットは、ハードウェアと、当該ハードウェア及び又はプロセッサを構成する為に用いられるソフトウェアの組合せである。
　上述の各種の処理は、図１２に示すコンピュータ２０００の記録部２０２０に、上記方法の各ステップを実行させるプログラムを読み込ませ、制御部２０１０、入力部２０３０、出力部２０４０、表示部２０５０などに動作させることで実施できる。
　この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
　また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって処理を実行する構成としてもよい。さらには、サーバコンピュータの一部をプログラムと共にユーザに使用させる、いわゆるＳａａＳ（Software as a Service）型のサービスを利用して、端末の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (7)

  1. 　対象者に輝度の異なる画像を提示しながら取得した瞳孔径の時系列情報である生体情報が格納される記憶部と、
    　前記対象者に提示する画像の領域の明るさの指標値である領域情報を取得する領域情報取得部と、
    　前記対象者の前記生体情報から瞳孔径の時系列的な変化の統計的な傾向を算出する解析部と、
    　前記瞳孔径の時系列的な変化の統計的な傾向と前記領域情報を用いて前記対象者が注意を向けている方向を推定する推定部とを含む、
    　推定装置。
  2. 　請求項１の推定装置であって、
    　前記記憶部には、前記対象者に輝度の異なる画像を提示しながら取得した視線の動きの時系列情報である第二生体情報が格納され、
    　当該推定装置は、
    　視線の動きの時系列情報を用いて前記対象者が注意を向けている方向を推定する第二推定部と、
    　前記推定部の推定結果と、前記第二推定部の推定結果とを用いて、最終的な推定結果を求める第三推定部とをさらに含む、
    　推定装置。
  3. 　請求項１の推定装置であって、
    　前記解析部は、前記生体情報を用いて、解析時間幅の瞳孔径の平均を判別区間で所定の区間ずつ移動しながら求め、求めた1つ以上の平均瞳孔径-piとそれらを取得した時刻から所定の係数を求め、前記所定の係数と現在時刻とから瞳孔径の予測値を算出し、予測値と現在の瞳孔径とを比較して、瞳孔径の変化の傾向を算出する、
    　推定装置。
  4. 　請求項１の推定装置であって、
    　解析時間幅をw1とし、瞳孔径の平均の判別区間をw2とし、移動幅をw3とし、時刻tにおける瞳孔径をpupiltとし、現在時刻をt0とし、iを時刻tiに対応するインデックスとし、i=1,2,…,L、L=(w1-w2)/w3とし、前記解析部は、ある時刻tiにおける平均瞳孔径-piを次式により求め、

    Ｌ個の平均瞳孔径-piとそれらを取得した時刻のインデックスのベクトルTより、次式から、β=(β0,β1,…,βn)を求め、

    前記βと前記現在時刻t0のインデックスmを用いて、瞳孔径の予測値ppred=β0+β1m+β2m2+…+βnmnを算出し、現在の瞳孔径が前記予測値よりも大きい場合には瞳孔径の変化が上昇傾向にあると判断し、現在の瞳孔径が前記予測値よりも小さい場合には瞳孔径の変化が下降傾向にあると判断する、
    　推定装置。
  5. 　記憶部に対象者に輝度の異なる画像を提示しながら取得した瞳孔径の時系列情報である生体情報が格納される記憶ステップと、
    　前記対象者に提示する画像の領域の明るさの指標値である領域情報を取得する領域情報取得ステップと、
    　前記対象者の前記生体情報から瞳孔径の時系列的な変化の統計的な傾向を算出する解析ステップと、
    　前記瞳孔径の時系列的な変化の統計的な傾向と前記領域情報を用いて前記対象者が注意を向けている方向を推定する推定ステップとを含む、
    　推定方法。
  6. 　請求項１の推定装置としてコンピュータを機能させるためのプログラム。
  7. 　請求項１の推定装置と、
    　前記推定装置を、ネットワークを介して使用するための装置と
    　を備える推定システム。
PCT/JP2024/014249 2024-04-08 2024-04-08 推定装置、推定方法、プログラム、および推定システム Pending WO2025215698A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/014249 WO2025215698A1 (ja) 2024-04-08 2024-04-08 推定装置、推定方法、プログラム、および推定システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/014249 WO2025215698A1 (ja) 2024-04-08 2024-04-08 推定装置、推定方法、プログラム、および推定システム

Publications (1)

Publication Number Publication Date
WO2025215698A1 true WO2025215698A1 (ja) 2025-10-16

Family

ID=97349597

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/014249 Pending WO2025215698A1 (ja) 2024-04-08 2024-04-08 推定装置、推定方法、プログラム、および推定システム

Country Status (1)

Country Link
WO (1) WO2025215698A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019126423A (ja) * 2018-01-22 2019-08-01 日本電信電話株式会社 聴覚的注意推定装置、聴覚的注意推定方法、プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019126423A (ja) * 2018-01-22 2019-08-01 日本電信電話株式会社 聴覚的注意推定装置、聴覚的注意推定方法、プログラム

Similar Documents

Publication Publication Date Title
JP6282769B2 (ja) エンゲージメント値処理システム及びエンゲージメント値処理装置
JP6904269B2 (ja) 聴覚的注意推定装置、聴覚的注意推定方法、プログラム
JP5829590B2 (ja) 疲労感評価装置、疲労感評価方法、及びプログラム
WO2022168185A1 (ja) ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
JP7121439B1 (ja) 動画像分析システム
JP2023059238A (ja) ビデオミーティング評価端末
JP7849877B2 (ja) ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
JP7100938B1 (ja) 動画像分析プログラム
JP7388768B2 (ja) 動画像分析プログラム
JP7705176B2 (ja) 動画像分析システム
US11935329B2 (en) Video analysis program
WO2023032058A1 (ja) ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
WO2022254496A1 (ja) 動画像分析システム
WO2022254498A1 (ja) 動画像分析システム
WO2022264221A1 (ja) 動画像分析システム
WO2022254493A1 (ja) 動画像分析システム
WO2022254490A1 (ja) 動画像分析システム
WO2022264218A1 (ja) 動画像分析システム
WO2022254492A1 (ja) 動画像分析システム
WO2022254489A1 (ja) 動画像分析システム
WO2022201275A1 (ja) 動画像分析プログラム
CN122056557A (en) Cognitive function evaluation method, device, equipment and system
WO2022254499A1 (ja) 動画像分析システム
WO2022201266A1 (ja) 動画像分析プログラム
WO2022230138A1 (ja) 動画像分析システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24935079

Country of ref document: EP

Kind code of ref document: A1