JP6717268B2 - Information processing apparatus and information processing program - Google Patents
Information processing apparatus and information processing program Download PDFInfo
- Publication number
- JP6717268B2 JP6717268B2 JP2017136416A JP2017136416A JP6717268B2 JP 6717268 B2 JP6717268 B2 JP 6717268B2 JP 2017136416 A JP2017136416 A JP 2017136416A JP 2017136416 A JP2017136416 A JP 2017136416A JP 6717268 B2 JP6717268 B2 JP 6717268B2
- Authority
- JP
- Japan
- Prior art keywords
- document
- information
- display
- unit
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010365 information processing Effects 0.000 title claims description 46
- 230000006870 function Effects 0.000 claims description 22
- 239000003550 marker Substances 0.000 description 12
- 238000000034 method Methods 0.000 description 10
- 230000003190 augmentative effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000010267 cellular communication Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Description
本発明は情報処理装置及び情報処理プログラムに関し、特に、カメラの撮像画像に含まれる多くの情報の中からユーザーが所望する情報を絞り込んで表示する技術に関する。 The present invention relates to an information processing device and an information processing program, and more particularly to a technique for narrowing down and displaying information desired by a user from among many information included in an image captured by a camera.
自動車などの乗り物に運転者の利便性を向上するために運転者に情報を表示するヘッド・アップ・ディスプレイ（ＨＵＤ）が搭載されることがある。例えば、下記特許文献１には、起点位置と目的位置を受信して、該起点位置から該目的位置へ至る経路を生成するように構成され、前記経路の１つ又は複数の部分は、１つ又は複数の道路区間、又は該道路区間の１つ又は複数の交差点に対応する１つ又は複数のナビゲーション命令を含み、１つの乗り物に対応づけられているナビゲーション・コンポーネントと、１つ又は複数のグラフィック要素を、該乗り物を囲む環境の周囲にある１つ又は複数の焦点面上に投影するヘッド・アップ・ディスプレイ・コンポーネントと、１つ又は複数の該グラフィック要素の１つ又は複数の該焦点面と該乗り物との間の距離を、該経路の１つ又は複数の部分に対応する１つ又は複数の道路状況及び、該乗り物の現在位置に基づいて調整する制御コンポーネントと、を含むことを特徴とする、３次元ナビゲーション・システムが開示されている。 A vehicle such as an automobile may be equipped with a head-up display (HUD) that displays information to the driver in order to improve the convenience of the driver. For example, Patent Document 1 below is configured to receive a starting position and a destination position and generate a route from the starting position to the destination position, and one or more portions of the route are one. A navigation component associated with a vehicle, the navigation component including one or more navigation instructions corresponding to a plurality of road sections, or one or more intersections of the road sections, and one or more graphics; A head-up display component that projects an element onto one or more focal planes around the environment surrounding the vehicle; and one or more focal planes of one or more of the graphic elements. A control component that adjusts a distance to the vehicle based on one or more road conditions corresponding to one or more portions of the route and a current position of the vehicle. A three-dimensional navigation system is disclosed.
ＨＵＤにより表示される情報は、運転者が運転している間、拡張現実要素として乗り物のフロントガラスに投影されて、運転者の視界に提示される。運転者の視界に拡張現実要素として情報を表示することで、運転者は、提示された情報を運転中に見るために、フロントガラスから目を離す（例えば、センターダッシュボード上の計器表示の方を向く）必要がなくなる。しかしながら、ユーザーの視界に拡張現実要素を多く表示してしまうとユーザーが認識すべきオブジェクトが増えてしまい、ユーザーが本当に必要とする情報を素早く探し出せなくなるおそれがある。 The information displayed by the HUD is projected on the windshield of the vehicle as an augmented reality element and presented to the driver's field of view while the driver is driving. By displaying the information as an augmented reality element in the driver's field of view, the driver takes his/her eyes off the windshield to view the presented information while driving (e.g. the instrument display on the center dashboard). Facing away). However, if many augmented reality elements are displayed in the user's field of view, the number of objects that the user should recognize increases, and it may not be possible to quickly find the information that the user really needs.
本発明は、上記の事情に鑑みてなされたものであり、カメラの撮像画像に含まれる多くの情報の中からユーザーが所望する情報を絞り込んで表示することを目的とする。 The present invention has been made in view of the above circumstances, and an object of the present invention is to narrow down and display information desired by a user from among many pieces of information included in a captured image of a camera.
本発明の一局面に係る情報処理装置は、カメラと、タッチパネル式のディスプレイと、前記カメラによる撮像画像に写った複数の文書のそれぞれを区別して認識する文書認識部と、前記文書認識部により認識された各文書に付されたタグを検出し、当該検出したタグにより示される、文書のメタ情報を取得する文書メタ情報取得部と、前記文書メタ情報取得部により取得されたメタ情報に基づいて、前記文書認識部により認識された各文書についてそれぞれの優先度を決定する文書優先度決定部と、前記カメラによる撮像画像に写った複数の文書のうち、前記優先度が高いものを前記ディスプレイに拡大表示する文書拡大表示部と、を備えたものである。 An information processing apparatus according to one aspect of the present invention includes a camera, a touch panel display, a document recognition unit that distinguishes and recognizes each of a plurality of documents captured in an image captured by the camera, and a document recognition unit that recognizes the document. Based on the meta information acquired by the document meta information acquisition unit that detects the tag attached to each document that is identified and that acquires the meta information of the document indicated by the detected tag, and the document meta information acquisition unit , A document priority determining unit that determines respective priorities of the respective documents recognized by the document recognizing unit, and among the plurality of documents captured in the image captured by the camera, the one with the higher priority is displayed on the display. And a document enlargement display section for performing enlarged display.
また、本発明の一局面に係る情報処理プログラムは、カメラによる撮像画像に写った複数の文書のそれぞれを区別して認識する文書認識部と、前記文書認識部により認識された各文書に付されたタグを検出し、当該検出したタグにより示される、文書のメタ情報を取得する文書メタ情報取得部と、前記文書メタ情報取得部により取得されたメタ情報に基づいて、前記文書認識部により認識された各文書についてそれぞれの優先度を決定する文書優先度決定部と、前記カメラによる撮像画像に写った複数の文書のうち、前記優先度が高いものをディスプレイに拡大表示する文書拡大表示部としてコンピューターを機能させるものである。 Further, the information processing program according to one aspect of the present invention is attached to a document recognition unit that distinguishes and recognizes each of a plurality of documents captured in an image captured by a camera, and each document recognized by the document recognition unit. A document is detected by the document recognition unit based on the document meta information acquisition unit that detects a tag and acquires the meta information of the document indicated by the detected tag and the meta information acquired by the document meta information acquisition unit. And a computer as a document magnifying display unit for magnifying and displaying a document with a higher priority among the plurality of documents captured in the image captured by the camera on the display. To function.
上記の本発明によれば、カメラの撮像画像に含まれる多くの情報の中からユーザーが所望する情報を絞り込んで表示することができる。 According to the present invention described above, it is possible to narrow down and display the information desired by the user from among many pieces of information included in the image captured by the camera.
以下、本発明の一実施形態に係る情報処理装置について図面を参照して説明する。図１は、本発明の一実施形態に係る情報処理装置１の外観図である。情報処理装置１は、縦長矩形の偏平な外観形状を有し、片手で操作することができる大きさの端末である。例えば、情報処理装置１は、一般にスマートフォンと呼ばれる端末である。例えば、情報処理装置１の前面のほぼ全体をカバーするようにタッチパネル式のディスプレイ４０が配置されている。 An information processing apparatus according to an embodiment of the present invention will be described below with reference to the drawings. FIG. 1 is an external view of an information processing device 1 according to an embodiment of the present invention. The information processing device 1 is a terminal having a vertically long rectangular flat outer shape and capable of being operated with one hand. For example, the information processing device 1 is a terminal generally called a smartphone. For example, a touch panel type display 40 is arranged so as to cover almost the entire front surface of the information processing apparatus 1.
典型的にはディスプレイ４０の画面の大きさは５〜６インチ前後であるが、情報処理装置１はこれに限定されない。なお、９インチ程度以上の大型画面のディスプレイ４０を有する端末は一般にタブレット端末と呼ばれ、情報処理装置１は当該タブレット端末であってもよい。タブレット端末は片手で操作することが困難であり、一方の手で持って他方の手で操作するか、机上等に置いて使用する。 The size of the screen of the display 40 is typically around 5 to 6 inches, but the information processing device 1 is not limited to this. A terminal having a display 40 having a large screen of about 9 inches or more is generally called a tablet terminal, and the information processing device 1 may be the tablet terminal. It is difficult to operate a tablet terminal with one hand, so hold it with one hand and operate with the other hand, or place it on a desk or the like for use.
なお、情報処理装置１の外面にはディスプレイ４０にカメラ、スピーカー、ＬＥＤ（Light Emitting Diode）、ハードボタンなどが配置されているが、便宜上、図１ではそのような部材の図示を省略している。 Although a camera, a speaker, an LED (Light Emitting Diode), a hard button, and the like are arranged on the display 40 on the outer surface of the information processing device 1, such members are omitted in FIG. 1 for convenience. ..
図２は、本発明の一実施形態に係る情報処理装置のブロック図である。情報処理装置１は、制御ユニット１０、メモリー２０、カメラ３０、ディスプレイ４０、ネットワークインターフェイス５０、マイクロフォン６０、及びスピーカー７０を備える。これら要素はバス８０に接続されている。 FIG. 2 is a block diagram of an information processing device according to an embodiment of the present invention. The information processing device 1 includes a control unit 10, a memory 20, a camera 30, a display 40, a network interface 50, a microphone 60, and a speaker 70. These elements are connected to the bus 80.
メモリー２０は、制御ユニット１０で実行されるコンピュータープログラムや長期間保存すべきデータや電子ファイルなどを格納したり、制御ユニット１０で処理されるデータを一時的に保存したりする。メモリー２０は、例えば、ＳＲＡＭ（Static Random Access Memory）やフラッシュメモリーなどの不揮発性メモリーで構成される。 The memory 20 stores computer programs executed by the control unit 10, data to be stored for a long time, electronic files, and the like, and temporarily stores data processed by the control unit 10. The memory 20 is composed of, for example, a nonvolatile memory such as SRAM (Static Random Access Memory) or flash memory.
カメラ３０は、図略の光学系及びＣＭＯＳイメージセンサーなどを備え、光学系が捉えた光学像をイメージセンサーで光電変換して画像データを生成する。 The camera 30 includes an optical system (not shown), a CMOS image sensor, and the like, and photoelectrically converts an optical image captured by the optical system by the image sensor to generate image data.
ディスプレイ４０は、液晶ディスプレイや有機ＥＬディスプレイなどで構成され、カメラ３０で撮像された画像や制御ユニット１０で処理されたテキストデータや画像などを表示する。特にディスプレイ４０はタッチパネル機能を有しており、ユーザーはディスプレイ４０に表示されたボタンやアイコンをタッチ操作したり、ディスプレイ４０の表示画面をスワイプ操作やフリック操作したりすると、当該操作がタッチパネル機能により制御ユニット１０の制御部１００に送出される。例えば、制御ユニット１０の制御部１００は、当該操作が示す内容に応じて、情報処理装置１を動作制御する。 The display 40 is composed of a liquid crystal display, an organic EL display, or the like, and displays an image captured by the camera 30, text data or an image processed by the control unit 10, and the like. In particular, the display 40 has a touch panel function, and when a user touches a button or icon displayed on the display 40 or swipes or flicks the display screen of the display 40, the operation is performed by the touch panel function. It is sent to the control unit 100 of the control unit 10. For example, the control unit 100 of the control unit 10 controls the operation of the information processing device 1 according to the content indicated by the operation.
ネットワークインターフェイス５０は、無線Ｗｉ−Ｆｉ（登録商標）、ＢＬＵＥＴＯＯＴＨ（登録商標）、セルラー通信などの無線通信インターフェイスである。情報処理装置１は、ネットワークインターフェイス５０を通じてインターネットに接続してクラウドサーバーなどにアクセスする。 The network interface 50 is a wireless communication interface such as wireless Wi-Fi (registered trademark), BLUETOOTH (registered trademark), and cellular communication. The information processing device 1 connects to the Internet through the network interface 50 to access a cloud server or the like.
マイクロフォン６０は、情報処理装置１のユーザーの音声や周囲の音を集音して音声信号を生成する。スピーカー７０は、制御ユニット１０で生成された音声信号を音として出力し、アラーム音を出力する。 The microphone 60 collects a voice of the user of the information processing device 1 and ambient sounds to generate a voice signal. The speaker 70 outputs the audio signal generated by the control unit 10 as a sound and outputs an alarm sound.
制御ユニット１０は、プロセッサー、ＲＡＭ、ＲＯＭ及び専用のハードウェア回路等から構成される。プロセッサーは、例えば、ＣＰＵ、ＭＰＵ、ＡＳＩＣ等である。制御ユニット１０は、例えば、メモリー２０に記憶されている各コンピュータープログラムを実行して、情報処理装置１に様々な機能を実現させる。例えば、制御ユニット１０は、上記コンピュータープログラムの１つである情報処理プログラムを実行して、情報処理装置１に、カメラ３０の撮像画像を処理する装置として機能させることができる。本実施形態では、制御ユニット１０は、情報処理プログラムを実行することで、文書認識部１０１、文書メタ情報取得部１０２、文書優先度決定部１０３、スケジュール連携部１０４、及び文書拡大表示部１０５として機能する。 The control unit 10 includes a processor, a RAM, a ROM, a dedicated hardware circuit, and the like. The processor is, for example, a CPU, MPU, ASIC, or the like. The control unit 10 executes each computer program stored in the memory 20, for example, and causes the information processing apparatus 1 to realize various functions. For example, the control unit 10 can execute an information processing program, which is one of the computer programs, to cause the information processing device 1 to function as a device that processes a captured image of the camera 30. In the present embodiment, the control unit 10 executes the information processing program so that the document recognition unit 101, the document meta-information acquisition unit 102, the document priority determination unit 103, the schedule cooperation unit 104, and the document enlargement display unit 105. Function.
制御部１００は、情報処理装置１の全体的な動作制御を司る。 The control unit 100 controls the overall operation of the information processing device 1.
文書認識部１０１は、カメラ３０による撮像画像に写った複数の文書のそれぞれを区別して認識する。文書にＡＲ（Augmented Reality）マーカー又はタグなどの特定のマーカーが付されていれば、文書認識部１０１は、カメラ３０の撮像画像に写った当該マーカーを既知の方法により検出し、当該マーカーが付された画像を文書として認識する。さらに、文書認識部１０１は、ＯＣＲ（Optical Character Recognition）技術を用いて、文書中の文字列を認識する。 The document recognition unit 101 distinguishes and recognizes each of a plurality of documents captured in an image captured by the camera 30. If the document has a specific marker such as an AR (Augmented Reality) marker or a tag, the document recognition unit 101 detects the marker in the image captured by the camera 30 by a known method, and adds the marker. The recognized image is recognized as a document. Furthermore, the document recognition unit 101 recognizes a character string in a document by using an OCR (Optical Character Recognition) technique.
なお、文書に上記マーカーが付されていなくても、文書認識部１０１は、カメラ３０の撮像画像中の矩形オブジェクトをパターンマッチング技術等により検出して、当該検出した矩形オブジェクトを文書として認識することも可能である。 Even if the above-mentioned marker is not attached to the document, the document recognition unit 101 detects the rectangular object in the image captured by the camera 30 by the pattern matching technique or the like, and recognizes the detected rectangular object as the document. Is also possible.
文書メタ情報取得部１０２は、文書認識部１０１により認識された各文書に付されたマーカーにより示される、文書のメタ情報を取得する。文書のメタ情報は例えばその文書の重要度、期日、対象地域、対象年齢層、対象家族構成などである。本実施形態では、(1)メタ情報を例えばエンコードして例えばタグとして文書に付しておくものとし、文書メタ情報取得部１０２は、当該タグを例えばデコードしてメタ情報を取得する。或いは、(2)文書メタ情報取得部１０２は、文書認識部１０１により認識される各ＡＲマーカーに対応するそれぞれのメタ情報を記憶しており、認識されたＡＲマーカーに対応するメタ情報を読み出すことでメタ情報を取得する。 The document meta information acquisition unit 102 acquires the meta information of the document indicated by the marker attached to each document recognized by the document recognition unit 101. The meta information of a document includes, for example, the importance of the document, the due date, the target area, the target age group, and the target family structure. In the present embodiment, (1) the meta information is encoded and attached to the document as a tag, for example, and the document meta information acquisition unit 102 decodes the tag to obtain the meta information. Alternatively, (2) the document meta information acquisition unit 102 stores each meta information corresponding to each AR marker recognized by the document recognition unit 101, and reads the meta information corresponding to the recognized AR marker. To get meta information.
文書優先度決定部１０３は、文書メタ情報取得部１０２により取得されたメタ情報に基づいて、文書認識部１０１により認識された各文書の優先度を決定する。文書優先度決定部１０３は、文書の優先度を、文書のメタ情報と、現在の日時条件（曜日、日付、時間など）や現在の居場所条件（都道府県、市町村、現在地など）といった、情報処理装置１が置かれた状況、及びユーザーの性別、年齢、家族構成といった情報処理装置１に登録されたパーソナルデータとに基づいて決定する。 The document priority determination unit 103 determines the priority of each document recognized by the document recognition unit 101 based on the meta information acquired by the document meta information acquisition unit 102. The document priority determination unit 103 processes the priority of the document such as the meta information of the document, the current date/time condition (day of the week, date, time, etc.) and the current whereabouts condition (prefecture, city, town, etc.). It is determined based on the situation in which the device 1 is placed and the personal data registered in the information processing device 1 such as the sex, age, and family structure of the user.
例えば、文書優先度決定部１０３は、現在時に期日が近ければその文書の優先度は高く、逆に期日を過ぎていれば過ぎた分に応じてその文書の優先度を低くする。また、文書優先度決定部１０３は、文書の対象地域が情報処理装置１の現在位置に一致する、あるいは、文書の対象年齢層、対象家族構成が、メモリー２０に登録されているパーソナルデータと一致すれば、その文書の優先度を高くし、現在位置に一致しない又は登録されているパーソナルデータと一致しない場合には、一致する場合よりも優先度を低くする。なお、文書優先度決定部１０３は、現在日時は制御ユニット１０が有するカレンダー及び時計機能から取得し、現在の居場所は制御ユニット１０が有するＧＰＳ（Global Positioning System）機能から取得する。 For example, the document priority determination unit 103 lowers the priority of the document according to the amount of the past due if the due date is near at the present time and conversely with the past due. Further, the document priority determination unit 103 determines that the target area of the document matches the current position of the information processing apparatus 1, or the target age group and target family composition of the document match the personal data registered in the memory 20. Then, the priority of the document is increased, and if the current position does not match or the registered personal data does not match, the priority is lower than that of the match. The document priority determination unit 103 acquires the current date and time from the calendar and clock functions of the control unit 10, and acquires the current whereabouts from the GPS (Global Positioning System) function of the control unit 10.
さらに文書優先度決定部１０３は、各文書の既読情報も加味してその文書の優先度を決定する。例えば、文書優先度決定部１０３は、既読フラグが設定されている文書については、上記の他の要素に基づいて決定した優先度に拘わらず、優先度を最も低くする。 Further, the document priority determining unit 103 determines the priority of the document by also taking into consideration the read information of each document. For example, the document priority determination unit 103 sets the document with the read flag set to the lowest priority regardless of the priority determined based on the other elements described above.
スケジュール連携部１０４は、文書認識部１０１により認識された各文書からその文書中に記述された日時情報を認識し、当該日時情報をスケジュール帳データに追加する。制御ユニット１０は、メモリー２０に記憶されたスケジュールプログラムに従った動作によりスケジュール管理機能を発揮する。メモリー２０には、当該スケジュール管理機能に用いられるスケジュール帳データとして、スケジュール情報が保管されている。文書認識部１０１により認識された文書にイベントの開催日時などが記載されている場合、スケジュール連携部１０４は、当該日時情報を認識して、当該イベントの開催日時を、メモリー２０に保管されるスケジュール帳データに追加する。 The schedule cooperation unit 104 recognizes the date/time information described in each document recognized by the document recognition unit 101, and adds the date/time information to the schedule book data. The control unit 10 exhibits a schedule management function by an operation according to the schedule program stored in the memory 20. Schedule information is stored in the memory 20 as schedule book data used for the schedule management function. When the date and time of the event is described in the document recognized by the document recognition unit 101, the schedule cooperation unit 104 recognizes the date and time information and stores the date and time of the event in the memory 20. Add to book data.
文書拡大表示部１０５は、カメラ３０による撮像画像に写った複数の文書のうち優先度が高いものをディスプレイ４０に拡大表示する。すなわち、文書拡大表示部１０５は、ユーザーが画像拡大の操作をしなくても、カメラ３０で撮影した複数の文書の中から優先度の高いものを選択し、当該文書を拡大してディスプレイ４０に表示する。 The document magnifying display unit 105 magnifies and displays on the display 40 a document having a high priority among the plurality of documents captured in the image captured by the camera 30. That is, the document magnifying display unit 105 selects a document having a high priority from a plurality of documents photographed by the camera 30, magnifies the document, and displays it on the display 40 without the user performing an image magnifying operation. indicate.
また、文書拡大表示部１０５は、カメラ３０による撮像画像を表示する一覧モードと、複数の文書のうちの個別の文書を拡大表示する閲覧モードとで、ディスプレイ４０での表示を行う。文書拡大表示部１０５は、ディスプレイ４０に対するユーザーの操作に応じて、一覧モードと閲覧モードとを切り替える。一覧モードでは複数の文書が表示されるが、ディスプレイ４０の画面サイズ及び解像度の制約から、ユーザーは各文書の内容を読むことは困難である。一方、閲覧モードでは個別の文書が拡大表示されることにより、ユーザーはその文書の内容を比較的容易に読むことができる。 Further, the document enlargement display unit 105 performs display on the display 40 in a list mode in which an image captured by the camera 30 is displayed and in a browse mode in which an individual document among a plurality of documents is enlarged and displayed. The document enlargement display unit 105 switches between the list mode and the browsing mode according to the user's operation on the display 40. Although a plurality of documents are displayed in the list mode, it is difficult for the user to read the contents of each document due to the restrictions on the screen size and resolution of the display 40. On the other hand, in the browsing mode, the individual document is enlarged and displayed, so that the user can read the content of the document relatively easily.
さらに文書拡大表示部１０５は、一覧モードにおいて、カメラ３０による撮像画像に写った各文書にその文書の個別情報を重ねてディスプレイ４０に表示する。例えば、文書拡大表示部１０５は、文書のメタ情報から、重要度や既読日時などの個別情報を取得し、当該取得した個別情報を当該文書に重ねて表示する。ユーザーは各文書に重ねて表示された個別情報を見てその文書を読むべきかどうかを判断することができ、読みたい文書は閲覧モードにして読むことができる。 Further, in the list mode, the document enlargement display unit 105 superimposes the individual information of the document on each document shown in the image captured by the camera 30 and displays it on the display 40. For example, the document enlargement display unit 105 acquires individual information such as the importance and the read date and time from the meta information of the document, and displays the acquired individual information on the document in an overlapping manner. The user can determine whether or not to read the document by looking at the individual information displayed on each document, and the desired document can be read in the browsing mode.
次に、情報処理装置１による文書認識・拡大表示処理について説明する。図３は、情報処理装置１による文書認識・拡大表示処理のフローチャートである。なお、便宜のため、処理対象となる文書は図４に示した掲示板に掲示された複数の文書であるとして説明する。図４において各文書に付した「Ｄｏｃ−○」（○はアルファベット）は、各文書を区別するための参照符号であり、実際の文書に記載されている文字ではない。 Next, the document recognition/enlargement display processing by the information processing apparatus 1 will be described. FIG. 3 is a flowchart of document recognition/enlargement display processing by the information processing device 1. For convenience, the document to be processed will be described as a plurality of documents posted on the bulletin board shown in FIG. In FIG. 4, “Doc-∘” (∘ is an alphabet) attached to each document is a reference numeral for distinguishing each document, and is not a character described in the actual document.
まず、情報処理装置１におけるカメラ機能をオンにして、カメラ３０により掲示板を撮影する。なお、カメラ３０の撮像画像は静止画像及び動画による画像のいずれでもよい。文書認識部１０１は、カメラ３０による撮像画像を取得する（Ｓ１）。 First, the camera function of the information processing device 1 is turned on and the bulletin board is photographed by the camera 30. The image captured by the camera 30 may be a still image or a moving image. The document recognition unit 101 acquires an image captured by the camera 30 (S1).
カメラ３０により撮像画像が取得されると、文書認識部１０１は、当該撮像画像中に存在する各マーカーを認識し、マーカーが付されたそれぞれの画像を別々の文書として認識する（Ｓ２）。文書認識部１０１は、マーカーが付されていない場合には、撮像画像中の矩形オブジェクトを認識してそれを文書として認識するようにしてもよい。 When the captured image is acquired by the camera 30, the document recognition unit 101 recognizes each marker existing in the captured image and recognizes each image with the marker as a separate document (S2). If the marker is not attached, the document recognition unit 101 may recognize the rectangular object in the captured image and recognize it as a document.
カメラ３０の撮像画像に写った各文書が文書認識部１０１により認識されると、文書メタ情報取得部１０２が、文書認識部１０１により認識された各文書に付されたマーカーに基づいて、それぞれの文書のメタ情報を取得する（Ｓ３）。 When the documents recognized in the image captured by the camera 30 are recognized by the document recognition unit 101, the document meta-information acquisition unit 102 determines each of the documents based on the marker attached to each document recognized by the document recognition unit 101. The meta information of the document is acquired (S3).
続いて、文書優先度決定部１０３は、文書メタ情報取得部１０２により取得された各文書のメタ情報に基づいて、各文書の優先度を決定する（Ｓ４）。 Then, the document priority determination unit 103 determines the priority of each document based on the meta information of each document acquired by the document meta information acquisition unit 102 (S4).
文書優先度決定部１０３により各文書の優先度が決定されると、文書拡大表示部１０５が、優先度が最も高い文書を１つ抽出して、当該文書を示す画像を拡大してディスプレイ４０に表示する（Ｓ５）。このとき、文書拡大表示部１０５は、カメラ３０による撮像画像の一部分を拡大して当該文書を拡大表示してもよいし、情報処理装置１がインターネットと接続可能な状態にあればネットワークインターフェイス５０を通じてクラウドサーバーにアクセスして、該当文書のデータをダウンロードしてそれを表示してもよい。 When the priority of each document is determined by the document priority determination unit 103, the document enlargement display unit 105 extracts one document having the highest priority, enlarges the image showing the document, and displays it on the display 40. Display (S5). At this time, the document magnifying display unit 105 may magnify a part of the image captured by the camera 30 to magnify and display the document, or through the network interface 50 if the information processing apparatus 1 is connectable to the Internet. You may access the cloud server, download the data of the relevant document, and display it.
図５は、閲覧モードでの文書の拡大表示例を示す図である。文書拡大表示部１０５により、複数の文書の中から優先度の最も高い文書が選択されてディスプレイ４０に拡大表示される（図５ではＤｏｃ−Ｅが選択された例を示す）。これにより、ユーザーは、図４に示したような掲示板に掲示された複数の文書の中から、自分にとって重要と想定される文書のみを真っ先に読むことができる。 FIG. 5 is a diagram showing an enlarged display example of a document in the browsing mode. The document enlargement display unit 105 selects the document with the highest priority from the plurality of documents and enlarges and displays it on the display 40 (FIG. 5 shows an example in which Doc-E is selected). As a result, the user can first read only the document supposed to be important to him from the plurality of documents posted on the bulletin board as shown in FIG.
図３へ戻り、閲覧モードの画面においてユーザーが例えばスワイプ操作を行い、これがタッチパネル機能により認識されると（Ｓ６でＹＥＳ）、文書拡大表示部１０５は、次に優先度が高い文書を示す画像を拡大表示する（Ｓ７）。この後、処理はステップＳ６へ戻る。このようにして、ユーザーは、掲示板に掲示された複数の文書を優先度が高い順に読むことができる。 Returning to FIG. 3, when the user performs, for example, a swipe operation on the screen in the browse mode and this is recognized by the touch panel function (YES in S6), the document enlarged display unit 105 displays the image showing the document with the next highest priority. The display is enlarged (S7). Then, the process returns to step S6. In this way, the user can read the plurality of documents posted on the bulletin board in descending order of priority.
図５に示すように閲覧モードの画面には、文書拡大表示部１０５により、一覧ボタンＢ１、保存ボタンＢ２、及びメモボタンＢ３が表示される。一覧ボタンＢ１は、画面表示を一覧モードに切り替える指示を受け付けるための操作ボタンである。保存ボタンＢ２は、拡大表示された文書を情報処理装置１に保存する指示を受け付けるための操作ボタンである。メモボタンＢ３は、拡大表示された文書にメモを記す指示を受け付けるための操作ボタンである。 As shown in FIG. 5, the document enlargement display unit 105 displays a list button B1, a save button B2, and a memo button B3 on the browsing mode screen. The list button B1 is an operation button for receiving an instruction to switch the screen display to the list mode. The save button B2 is an operation button for receiving an instruction to save the enlarged and displayed document in the information processing device 1. The memo button B3 is an operation button for receiving an instruction to write a memo on the enlarged and displayed document.
閲覧モードの画面において保存ボタンＢ２がタッチ操作され、これがタッチパネル機能により認識されると（Ｓ６でＮＯ、Ｓ８でＹＥＳ）、文書拡大表示部１０５は、拡大表示している文書をメモリー２０に保存する（Ｓ９）。この後、処理はステップＳ６へ戻る。なお、カメラ３０による撮像画像の部分画像を保存してもよいし、クラウドサーバーからダウンロードした文書データを保存してもよい。 When the save button B2 is touch-operated on the screen of the browsing mode and this is recognized by the touch panel function (NO in S6, YES in S8), the document enlargement display unit 105 stores the enlarged document in the memory 20. (S9). Then, the process returns to step S6. A partial image of the image captured by the camera 30 may be stored, or the document data downloaded from the cloud server may be stored.
閲覧モードの画面においてメモボタンＢ３がタッチ操作され、これがタッチパネル機能により認識されると（Ｓ８でＮＯ、Ｓ１０でＹＥＳ）、文書拡大表示部１０５は、拡大表示している文書についてのメモ入力を受け付ける（Ｓ１１）。例えば、文書拡大表示部１０５は、ディスプレイ４０にソフトキーボードを表示させ、当該ソフトキーボードに対するユーザーによるタッチ操作に基づいてタッチパネル機能が文字入力を受け付ける。文書拡大表示部１０５は、受け付けられた文字群をメモ書きとして、当該文書のメタ情報に関連付けて記憶しておく。これにより、ユーザーは拡大表示された文書に自由にメモ書きする感覚を得ることができる。このメモ書きは、文書拡大表示部１０５により、後述する一覧モードでの表示時に表示される。Ｓ１１の後、処理はステップＳ６へ戻る。 When the memo button B3 is touch-operated on the screen in the browsing mode and this is recognized by the touch panel function (NO in S8, YES in S10), the document enlargement display unit 105 accepts a memo input regarding the enlarged-displayed document. (S11). For example, the document enlargement display unit 105 displays a soft keyboard on the display 40, and the touch panel function receives a character input based on a touch operation by the user on the soft keyboard. The document enlargement display unit 105 stores the received character group as a memo in association with the meta information of the document. As a result, the user can obtain the feeling of freely writing notes on the enlarged and displayed document. This memo writing is displayed by the document enlargement display unit 105 at the time of display in the list mode described later. After S11, the process returns to step S6.
閲覧モードの画面において一覧ボタンＢ１がタッチ操作され、これがタッチパネル機能により認識されると（Ｓ１０でＮＯ、Ｓ１２でＹＥＳ）、文書拡大表示部１０５は、ディプレイ４０の表示画面を一覧モードに切り換え、この表示画面では、Ｓ２で認識された複数の文書を示す画像をディスプレイ４０に表示する（Ｓ１３）。一方、閲覧モードの画面において一覧ボタンＢ１がタッチ操作されなければ（Ｓ１２でＮＯ）、処理はステップＳ６へ戻る。 When the list button B1 is touch-operated on the screen in the browsing mode and this is recognized by the touch panel function (NO in S10, YES in S12), the document enlarged display unit 105 switches the display screen of the display 40 to the list mode, On this display screen, images showing the plurality of documents recognized in S2 are displayed on the display 40 (S13). On the other hand, if the list button B1 is not touch-operated on the browsing mode screen (NO in S12), the process returns to step S6.
図６は、一覧モードでの文書の一覧表示例を示す図である。図６に示すように、文書拡大表示部１０５は、一覧モードでは、カメラ３０による撮像画像に写った各文書に、文書メタ情報取得部１０２により取得されたその文書の個別情報、例えば、その文書の既読の有無及び既読日時情報、その文書の対象地域情報などを重ねてディスプレイ４０に表示する。さらに、文書拡大表示部１０５は、一覧モードにおいては、文書にステップＳ１１で入力されたメモ書きが付随している場合は、当該メモ書きを吹き出しＭ１の形態からなる画像によりディスプレイ４０に表示する。これにより、各文書に付随する様々な情報をユーザーが一度に視認することができ、各文書がどのような内容を示す文書であるのかを、文書を実際に開かなくてもカメラ３０で撮影するだけで把握することが可能になる。 FIG. 6 is a diagram showing an example of a document list display in the list mode. As shown in FIG. 6, in the list mode, the document enlargement display unit 105, for each document shown in the image captured by the camera 30, the individual information of the document acquired by the document meta information acquisition unit 102, for example, the document. The presence/absence of information already read, the date and time information already read, the target area information of the document, and the like are overlapped and displayed on the display 40. Further, in the list mode, when the document is accompanied by the memo writing input in step S11, the document enlargement display unit 105 displays the memo writing on the display 40 in the form of a balloon M1. As a result, the user can visually recognize various information associated with each document at a time, and the contents of each document are captured by the camera 30 without actually opening the document. It will be possible to grasp only by.
一覧モードの画面には閲覧ボタンＢ４が含まれる。閲覧ボタンＢ４は、画面表示を閲覧モードに切り替えるための操作ボタンである。閲覧ボタンＢ４がタッチ操作され、タッチパネル機能によりこれが認識されると、文書拡大表示部１０５は、ディスプレイ４０の表示画面を閲覧モードに切り換え、優先度の最も高い文書のみを示す画像を拡大表示する。また、一覧モードの画面において、ユーザーが任意の文書をタッチ操作し、タッチパネル機能によりこれが認識されると、文書拡大表示部１０５は、ディスプレイ４０の表示画面を閲覧モードに切り換え、当該タッチ操作された文書を示す画像を拡大表示する。 The list mode screen includes a browse button B4. The browse button B4 is an operation button for switching the screen display to the browse mode. When the browse button B4 is touch-operated and recognized by the touch panel function, the document enlargement display unit 105 switches the display screen of the display 40 to the browse mode and enlarges and displays the image showing only the document with the highest priority. When the user touch-operates an arbitrary document on the list mode screen and the touch panel function recognizes this, the document enlarged display unit 105 switches the display screen of the display 40 to the browsing mode, and the touch operation is performed. Enlarge the image showing the document.
以上のように、本実施形態に係る情報処理装置１によれば、カメラ３０の撮像画像に写った複数の文書のそれぞれが認識され、複数の文書の中からユーザーにとって重要と想定される文書が拡大表示される。これにより、カメラ３０の撮像画像に含まれる多くの情報の中からユーザーが所望する情報を絞り込んで表示することができ、ユーザーの利便性を向上させることができる。 As described above, according to the information processing apparatus 1 according to the present embodiment, each of the plurality of documents captured in the image captured by the camera 30 is recognized, and the document that is assumed to be important to the user is selected from the plurality of documents. Enlarged display. As a result, the information desired by the user can be narrowed down and displayed from among many information included in the image captured by the camera 30, and the convenience for the user can be improved.
＜その他の変形例＞ <Other modifications>
上記の実施の形態で説明した情報処理プログラムをコンピューター読み取り可能な非一時的な記録媒体、例えば、ハードディスク、CD-ROM、DVD-ROM、半導体メモリー等に記録するようにしてもよい。この場合、当該情報処理プログラムを記録したコンピューター読み取り可能な非一時的な記録媒体が、本発明の一実施形態となる。 The information processing program described in the above embodiments may be recorded in a computer-readable non-transitory recording medium, for example, a hard disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like. In this case, a computer-readable non-transitory recording medium recording the information processing program is an embodiment of the present invention.
また、文書認識部１０１、文書メタ情報取得部１０２、文書優先度決定部１０３、スケジュール連携部１０４、及び文書拡大表示部１０５は制御ユニット１０で実行されるコンピュータープログラムとして実現される以外にハード回路で構成することも可能である。 Further, the document recognition unit 101, the document meta information acquisition unit 102, the document priority determination unit 103, the schedule cooperation unit 104, and the document enlargement display unit 105 are implemented as a computer program executed by the control unit 10, and other than hardware circuits. It is also possible to configure with.
１ 情報処理装置
３０ カメラ
４０ ディスプレイ
１０１ 文書認識部
１０２ 文書メタ情報取得部
１０３ 文書優先度決定部
１０４ スケジュール連携部
１０５ 文書拡大表示部
1 information processing device 30 camera 40 display 101 document recognition unit 102 document meta information acquisition unit 103 document priority determination unit 104 schedule cooperation unit 105 document enlargement display unit
Claims (8)
タッチパネル式のディスプレイと、
前記カメラによる撮像画像に写った複数の文書のそれぞれを区別して認識する文書認識部と、
前記文書認識部により認識された各文書に付されたタグを検出し、当該検出したタグにより示される、文書のメタ情報を取得する文書メタ情報取得部と、
前記文書メタ情報取得部により取得されたメタ情報に基づいて、前記文書認識部により認識された各文書についてそれぞれの優先度を決定する文書優先度決定部と、
前記カメラによる撮像画像に写った複数の文書のうち、前記優先度が高いものを前記ディスプレイに拡大表示する文書拡大表示部と、を備えた情報処理装置。 A camera,
Touch panel type display,
A document recognition unit that distinguishes and recognizes each of a plurality of documents captured in the image captured by the camera,
A document meta-information acquisition unit that detects a tag attached to each document recognized by the document recognition unit and that acquires the meta-information of the document indicated by the detected tag,
A document priority determination unit that determines the priority of each document recognized by the document recognition unit based on the meta information acquired by the document meta information acquisition unit;
An information processing apparatus, comprising: a document magnifying display unit that magnifies and displays, on the display, a document having a higher priority among a plurality of documents captured in an image captured by the camera.
前記文書認識部により認識された各文書からその文書中に記述された日時情報を認識し、当該日時情報を前記スケジュール帳データに追加するスケジュール連携部と、を更に備えた請求項１乃至請求項３のいずれかに記載の情報処理装置。 A storage unit that stores schedule book data used for the schedule management function,
The schedule coordinating unit that further recognizes date and time information described in the document from each document recognized by the document recognition unit and adds the date and time information to the schedule book data. 3. The information processing device according to any one of 3.
前記文書認識部により認識された各文書に付されたタグを検出し、当該検出したタグにより示される、文書のメタ情報を取得する文書メタ情報取得部と、
前記文書メタ情報取得部により取得されたメタ情報に基づいて、前記文書認識部により認識された各文書についてそれぞれの優先度を決定する文書優先度決定部と、
前記カメラによる撮像画像に写った複数の文書のうち、前記優先度が高いものをディスプレイに拡大表示する文書拡大表示部としてコンピューターを機能させる情報処理プログラム。 A document recognition unit that distinguishes and recognizes each of a plurality of documents captured in an image captured by a camera,
A document meta-information acquisition unit that detects a tag attached to each document recognized by the document recognition unit and that acquires the meta-information of the document indicated by the detected tag,
A document priority determination unit that determines the priority of each document recognized by the document recognition unit based on the meta information acquired by the document meta information acquisition unit;
An information processing program that causes a computer to function as a document magnifying display unit that magnifies and displays the document with the higher priority among a plurality of documents captured in an image captured by the camera.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017136416A JP6717268B2 (en) | 2017-07-12 | 2017-07-12 | Information processing apparatus and information processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017136416A JP6717268B2 (en) | 2017-07-12 | 2017-07-12 | Information processing apparatus and information processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019020843A JP2019020843A (en) | 2019-02-07 |
| JP6717268B2 true JP6717268B2 (en) | 2020-07-01 |
Family
ID=65354307
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017136416A Expired - Fee Related JP6717268B2 (en) | 2017-07-12 | 2017-07-12 | Information processing apparatus and information processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6717268B2 (en) |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000339327A (en) * | 1999-05-27 | 2000-12-08 | Ricoh Co Ltd | System for operating thumbnail image |
| JP2007066291A (en) * | 2005-08-02 | 2007-03-15 | Seiko Epson Corp | Method, apparatus and system for image display, server, program, and recording medium |
| JP2011055190A (en) * | 2009-09-01 | 2011-03-17 | Fujifilm Corp | Image display apparatus and image display method |
| JP2011053611A (en) * | 2009-09-04 | 2011-03-17 | Ricoh Co Ltd | Electronic signboard device and control program |
| JP5846378B2 (en) * | 2012-03-29 | 2016-01-20 | 株式会社日立製作所 | Information management method and information management system |
| US9619911B2 (en) * | 2012-11-13 | 2017-04-11 | Qualcomm Incorporated | Modifying virtual object display properties |
| US9996150B2 (en) * | 2012-12-19 | 2018-06-12 | Qualcomm Incorporated | Enabling augmented reality using eye gaze tracking |
| CN104246864B (en) * | 2013-02-22 | 2016-06-29 | 索尼公司 | Head mounted display and image display device |
| JP2015034954A (en) * | 2013-08-09 | 2015-02-19 | 富士ゼロックス株式会社 | Display control device and program |
-
2017
- 2017-07-12 JP JP2017136416A patent/JP6717268B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019020843A (en) | 2019-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10817243B2 (en) | Controlling a user interface based on change in output destination of an application | |
| US20180267642A1 (en) | Method and apparatus for operating functions of portable terminal having bended display | |
| US8489993B2 (en) | Storage medium storing information processing program, information processing apparatus and information processing method | |
| US20120011466A1 (en) | List display device, method and program | |
| US10592188B2 (en) | Content bumping in multi-layer display systems | |
| US20130050131A1 (en) | Hover based navigation user interface control | |
| EP2704024B1 (en) | Input assistance device, input asssistance method, and program | |
| US20130091474A1 (en) | Method and electronic device capable of searching and displaying selected text | |
| CN108431757B (en) | Vehicle-mounted device, display area segmentation method and computer-readable storage medium | |
| JP2013221769A (en) | On-vehicle information system, on-vehicle device, and information terminal | |
| US20160203628A1 (en) | Information processing device editing map acquired from server | |
| JP2014056217A (en) | Wearable portable display device, head mounting type display device, display process system, and program | |
| EP2905692B1 (en) | Information processing apparatus, information processing method, and program | |
| CN106201301B (en) | Mobile terminal and control method thereof | |
| JP2003216927A (en) | Image display program | |
| JP2014153095A (en) | Information display device | |
| JP6717268B2 (en) | Information processing apparatus and information processing program | |
| US20130050267A1 (en) | Information processing terminal, display control method, and display control program | |
| JP6791043B2 (en) | Information processing equipment and information processing programs | |
| EP3024205B1 (en) | Mobile terminal and control method thereof | |
| JP2009204460A (en) | Information display system, terminal device and server | |
| JP2010061348A (en) | Button display method and portable device using the same | |
| JP5054987B2 (en) | Navigation device | |
| JP5229640B2 (en) | Display device and program | |
| JP2009288119A (en) | Navigation system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190731 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200417 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200512 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200525 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6717268 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |