JP5799911B2 - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JP5799911B2
JP5799911B2 JP2012163517A JP2012163517A JP5799911B2 JP 5799911 B2 JP5799911 B2 JP 5799911B2 JP 2012163517 A JP2012163517 A JP 2012163517A JP 2012163517 A JP2012163517 A JP 2012163517A JP 5799911 B2 JP5799911 B2 JP 5799911B2
Authority
JP
Japan
Prior art keywords
image
display
displayed
casing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012163517A
Other languages
English (en)
Other versions
JP2014023139A (ja
Inventor
達司 市川
達司 市川
耕司 西谷
耕司 西谷
文則 佐野
文則 佐野
典嘉 勝村
典嘉 勝村
山根 一快
一快 山根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2012163517A priority Critical patent/JP5799911B2/ja
Priority to US13/938,457 priority patent/US9223396B2/en
Priority to CN201310314419.XA priority patent/CN103581549B/zh
Publication of JP2014023139A publication Critical patent/JP2014023139A/ja
Application granted granted Critical
Publication of JP5799911B2 publication Critical patent/JP5799911B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、情報処理装置及びプログラムに関する。
近年、会議やプレゼンテーションでは、PC(Personal Computer)やタブレット型端末に資料を表示させながら説明を行う機会が多い。参加者は、表示される資料を閲覧しながら、話のポイントや気付いた点等について、ノートにメモを取ることになる。資料は電子ファイルとして配布される場合もあるが、後に、資料の各ページと手書きされたメモとの対応関係がわからなくなるおそれがある。
そこで、参加者のノートを撮影するカメラが設置された会議室において、会議中に表示される資料のスライドの切り替えに応じて、そのスライドの表示開始時点のノートの撮影画像と、表示切替時点のノートの撮影画像との差分を抽出し、その差分の領域画像データと表示切替時点の撮影画像とを含む差分情報を生成し、スライドIDと差分情報とを関連付けて登録する会議資料検索支援装置が提案されている(特許文献1参照)。これにより、ノートにメモが書き込まれた際に表示されていた会議資料を探し出すことができる。
特開2010−176603号公報
しかしながら、上記従来技術においては、会議の進行等に用いられるコンピュータ装置、会議資料が表示される表示板、ノートを撮影するカメラ等を含む大掛かりなシステムが必要であった。また、メモが書き込まれた際に表示されていた会議資料を検索する際にも、ノートをカメラで撮影し、撮影画像と差分情報に含まれる領域画像データとを照合する必要があり、会議資料を特定するための処理が複雑であった。
本発明は、上記の従来技術における問題に鑑みてなされたものであって、記録媒体に記録された内容と表示手段に表示された内容との対応関係を容易に参照可能とすることを課題とする。
上記課題を解決するために、本発明の情報処理装置は、
第1の画像を表示する表示手段と、
記録媒体を撮影して第2の画像を生成する撮像手段と、
所定のタイミングで前記撮像手段に撮影を行わせる撮影制御手段と、
前記撮像手段により生成された第2の画像と、前記所定のタイミングに前記表示手段に表示されていた第1の画像と、を関連付けて記憶手段に記憶させる記憶制御手段と、
前記記録媒体が配置される第1の筐体と、
ヒンジ部により前記第1の筐体と開閉可能に連結され、前記撮像手段が設けられた第2の筐体と、
前記第1の筐体と前記第2の筐体とが所定の状態まで閉じられたことを検出する検出手段と、
を備え、
前記撮像手段は、前記第1の筐体に対向する位置に設けられており、
前記所定のタイミングは、前記検出手段により前記第1の筐体と前記第2の筐体とが前記所定の状態まで閉じられたことが検出されたタイミングである
本発明によれば、記録媒体に記録された内容と表示手段に表示された内容との対応関係が容易に参照可能となる。
第1の実施の形態における情報処理装置の外観斜視図である。 第1のカバー(第1の筐体)及び第2のカバー(第2の筐体)を閉じる途中の図である。 情報処理装置の機能的構成を示すブロック図である。 第1の撮影処理を示すフローチャートである。 資料画像とメモ画像とが関連付けられた状態を説明するための図である。 表示処理を示すフローチャートである。 (a)は、メモ画像表示画面の例である。(b)は、資料画像表示画面の例である。 (a)は、第2の実施の形態における情報処理装置が本体カバーに収納されている状態を示す図である。(b)は、情報処理装置が本体カバーに立て掛けられた状態を示す側面図である。(c)は、情報処理装置が本体カバーに立て掛けられた状態を示す斜視図である。 情報処理装置の前に記録媒体が置かれた状態を示す図である。 第2の撮影処理を示すフローチャートである。 第3の撮影処理を示すフローチャートである。
〔第1の実施の形態〕
まず、図1〜図7を参照して、本発明に係る情報処理装置の第1の実施の形態について説明する。なお、本発明は、図示例に限定されるものではない。
図1は、第1の実施の形態における情報処理装置1の外観斜視図である。情報処理装置1は、タブレット型端末装置であり、本体部10と、バインダ30と、から構成されている。
本体部10には、画面表示及びタッチ入力のためのタッチ表示部14、撮像手段としての撮像部15等が設けられている。
バインダ30は、第1の筐体としての第1のカバー30aと第2の筐体としての第2のカバー30bとがヒンジ部30cを回転軸として開閉可能に連結されて構成されている。第1のカバー30aには記録媒体40が配置され、第2のカバー30bには本体部10が設けられている。本体部10、記録媒体40は、留め具、フック等により、バインダ30に着脱可能に装着されている。
なお、本実施の形態において、記録媒体とは、撮影すべき情報が記録されている媒体を示すものであり、情報が記録されている被写体を意味している。また、記録媒体には、情報を電子的に表示可能な電子ペーパーも含まれる。
第1のカバー30a及び第2のカバー30bは、平板長方形状に構成され、ヒンジ部30cにより、本や手帳を開閉するように、開閉可能となっている。図1は、第1のカバー30aと第2のカバー30bとのなす角度が180°である状態(開いた状態)を図示している。ユーザは、この状態でタッチ表示部14に表示される画面の参照及びタッチ入力を行い、記録媒体40に文字や図表等を記入する。
ヒンジ部30cには、第1のカバー30aと第2のカバー30bとのなす角度を検出する開閉角度センサ20が設けられている。開閉角度センサ20は、ヒンジ部30cの軸の回転を検出するロータリーエンコーダや、ホール素子等を用いて開閉状態を検出する磁気センサによって構成されている。
記録媒体40は、ユーザがメモを取る際に使用するノートやレポート用紙、資料が印刷されている用紙、書籍等である。ただし、記録媒体40は、撮影すべき情報が記録されている媒体であればよく、素材は紙に限定されない。記録媒体40は、1枚のシート状の用紙であってもよいし、冊子状に綴じられていてもよい。
図2は、バインダ30を構成する第1のカバー30a及び第2のカバー30bを閉じる途中の図である。撮像部15は、本体部10の第1のカバー30aに対向する位置に設けられており、第1のカバー30aと第2のカバー30bとのなす角度が所定の角度(例えば、70°等)になった場合に、撮像部15により記録媒体40が撮影される。所定の角度は、撮影に最適な角度に予め設定されており、この角度に合わせてフォーカス、露出等の撮影条件が設定されている。ユーザが第1のカバー30a及び第2のカバー30bを閉じると(第1のカバー30aと第2のカバー30bとのなす角度を0°にすると)、閉じる途中で所定の角度を通過するため、ユーザが意識することなく撮影を行うことができる。
図3は、情報処理装置1の機能的構成を示すブロック図である。
情報処理装置1は、撮影制御手段、記憶制御手段、検出手段、表示制御手段としてのCPU(Central Processing Unit)11と、電源部12と、操作部13と、タッチ表示部14と、撮像部15と、無線通信部16と、RAM(Random Access Memory)17と、ROM(Read Only Memory)18と、記憶部19と、開閉角度センサ20と、を備える。
CPU11は、操作部13やタッチ表示部14から入力される操作信号又は無線通信部16により受信される指示信号に応じて、情報処理装置1の各部の処理動作を統括的に制御する。具体的には、CPU11は、ROM18に記憶されている各種処理プログラムを読み出してRAM17に展開し、当該プログラムとの協働により各種処理を行う。
電源部12は、情報処理装置1を構成する各部に電力を供給する。
操作部13は、電源をオン/オフさせる電源キー等の操作キーを備え、各操作キーに対応する操作信号をCPU11に出力する。
タッチ表示部14は、表示手段としての表示パネル14aにタッチパネル14bが積層されて構成されている。表示パネル14aは、LCD(Liquid Crystal Display)等で構成され、CPU11からの表示制御信号に従って画面表示を行う。表示パネル14aは、第1の画像としての資料画像を表示する。タッチパネル14bは、ユーザの指等によるタッチ操作の位置を検出し、その位置に応じた操作信号をCPU11に出力する。タッチパネル14bは、ユーザによる操作指示を受け付ける操作手段である。
撮像部15は、光学レンズ、撮像素子、各種センサ等を備え、被写体の撮影を行うデジタルカメラである。撮像部15は、記録媒体40を撮影して第2の画像としてのメモ画像を生成する。
無線通信部16は、無線LAN(Local Area Network)ルータを介してインターネットに接続し、データ通信を行う無線通信モジュールである。
RAM17は、揮発性のメモリである。RAM17には、CPU11により実行される各種プログラムやこれら各種プログラムに係るデータ等が一時的に格納される。
ROM18は、各種プログラム及び各種データを記憶する読み出し専用の半導体メモリである。ROM18には、撮影処理プログラム181、表示処理プログラム182等が記憶されている。
記憶部19は、HDD(Hard Disk Drive)や不揮発性メモリ等により構成され、情報を読み出し及び書き込み可能に記憶する。具体的には、記憶部19には、資料の電子データ等が記憶されている。資料の電子データは、スライド形式で文字や図表を表示するプレゼンテーションソフトウェアにより作成されたものの他、PDF(登録商標;Portable Document Format)等のデータであってもよく、データ形式については限定されない。
開閉角度センサ20は、第1のカバー30aと第2のカバー30bとのなす角度を検出し、検出した角度をCPU11に出力する。
CPU11は、開閉角度センサ20から出力された角度に基づいて、第1のカバー30aと第2のカバー30bとが所定の状態まで閉じられたことを検出する。
CPU11は、第1のカバー30aと第2のカバー30bとが所定の状態まで閉じられたことが検出されたタイミングで、撮像部15に撮影を行わせる。撮影画像(メモ画像)の画像データは、JPEG、TIFF等のデータ形式で生成される。
CPU11は、撮像部15により生成されたメモ画像と、第1のカバー30aと第2のカバー30bとが所定の状態まで閉じられたことが検出された際に表示パネル14aに表示されていた資料画像と、を関連付けて記憶部19に記憶させる。表示パネル14aに表示されていた資料画像を画面キャプチャーした画像データは、JPEG、GIF、PNG等のデータ形式で生成される。
CPU11は、記憶部19に記憶されている資料画像が表示パネル14aに表示されている状態でタッチパネル14bから表示を切り替えるための操作指示が入力された場合に、記憶部19から表示パネル14aに表示されている資料画像と関連付けられたメモ画像を読み出し、当該読み出したメモ画像を表示パネル14aに表示させる。
CPU11は、記憶部19に記憶されているメモ画像が表示パネル14aに表示されている状態でタッチパネル14bから表示を切り替えるための操作指示が入力された場合に、記憶部19から表示パネル14aに表示されているメモ画像と関連付けられた資料画像を読み出し、当該読み出した資料画像を表示パネル14aに表示させる。
次に、情報処理装置1における動作について説明する。
図4は、情報処理装置1において実行される第1の撮影処理を示すフローチャートである。この処理は、CPU11とROM18に記憶されている撮影処理プログラム181との協働によるソフトウェア処理によって実現される。
まず、CPU11は、開閉角度センサ20により出力された第1のカバー30aと第2のカバー30bとのなす角度に基づいて、開閉角度が所定の角度(例えば、70°等)以下であるか否かを判断する(ステップS1)。すなわち、CPU11は、バインダ30を構成する第1のカバー30aと第2のカバー30bとが所定の状態まで閉じられたか否かを判断する。
開閉角度が所定の角度以下である場合(ステップS1;YES)、すなわち、第1のカバー30aと第2のカバー30bとが所定の状態まで閉じられた場合には、CPU11は、撮像部15を制御して、記録媒体40に記録された手書きメモの撮影を行わせ、撮像部15により生成されたメモ画像を取得する(ステップS2)。例えば、CPU11は、撮像部15により出力された撮影画像から記録媒体40の領域を抽出し、抽出した領域に対して台形歪みを補正する処理等を行う。CPU11は、メモ画像の画像データをRAM17に格納する。
次に、CPU11は、タッチ表示部14の表示パネル14aに表示されている資料画像をキャプチャーし、資料画像(スクリーンショット)を保存する(ステップS3)。CPU11は、資料画像の画像データをRAM17に格納する。
次に、CPU11は、ステップS2において取得されたメモ画像と、ステップS3において保存された資料画像と、を関連付けて記憶部19に記憶させる(ステップS4)。
次に、CPU11は、ユーザのタッチパネル14bからの操作により、撮影モードを終了する旨の指示があったか否かを判断する(ステップS5)。
ステップS1において、開閉角度が所定の角度より大きい場合(ステップS1;NO)、又は、ステップS5において、撮影モードを終了する旨の指示がない場合には(ステップS5;NO)、ステップS1に戻り、処理が繰り返される。
ステップS5において、撮影モードを終了する旨の指示があった場合には(ステップS5;YES)、第1の撮影処理が終了する。
第1の撮影処理により、図5に示すように、資料画像とメモ画像とが関連付けられる。資料画像とメモ画像とは、一対一に関連付けられるだけでなく、一つの資料画像に対して複数のメモ画像が関連付けられてもよいし、一つのメモ画像に対して複数の資料画像が関連付けられてもよい。
なお、ステップS3において、表示パネル14aに表示されている資料画像が前回キャプチャーされた資料画像と同一である場合には、ステップS3の処理を省略することとしてもよい。
次に、図6を参照して、情報処理装置1において実行される表示処理について説明する。この処理は、CPU11とROM18に記憶されている表示処理プログラム182との協働によるソフトウェア処理によって実現される。
まず、CPU11は、ユーザのタッチパネル14bからの操作により、記憶部19に記憶されているメモ画像のうち表示対象となるメモ画像が選択されたか否かを判断する(ステップS11)。表示対象となるメモ画像が選択された場合には(ステップS11;YES)、CPU11は、選択されたメモ画像を記憶部19から読み出して、読み出したメモ画像を表示パネル14aに表示させる(ステップS12)。
次に、CPU11は、表示パネル14aに表示されているメモ画像と関連付けられた資料画像が記憶部19に記憶されているか否かを判断する(ステップS13)。表示中のメモ画像と関連付けられた資料画像が記憶部19に記憶されている場合には(ステップS13;YES)、CPU11は、ユーザのタッチパネル14bからの操作により、表示中のメモ画像と関連付けられた資料画像の表示が指示されたか否かを判断する(ステップS14)。すなわち、CPU11は、表示を切り替えるための操作指示が入力されたか否かを判断する。
図7(a)に、表示パネル14aに表示されるメモ画像表示画面141の例を示す。メモ画像表示画面141には、メモ画像が表示されている。このメモ画像と関連付けられた資料画像が存在する場合には、メモ画像表示画面141に切り替えボタンB1が表示される。ユーザは、この切り替えボタンB1をタッチすることにより、表示中のメモ画像と関連付けられた資料画像の表示を指示することができる。
ステップS14において、表示中のメモ画像と関連付けられた資料画像の表示が指示された場合には(ステップS14;YES)、CPU11は、表示中のメモ画像と関連付けられた資料画像を記憶部19から読み出して、読み出した資料画像を表示パネル14aに表示させる(ステップS15)。
次に、CPU11は、表示パネル14aに表示されている資料画像と関連付けられたメモ画像が記憶部19に記憶されているか否かを判断する(ステップS16)。表示中の資料画像と関連付けられたメモ画像が記憶部19に記憶されている場合には(ステップS16;YES)、CPU11は、ユーザのタッチパネル14bからの操作により、表示中の資料画像と関連付けられたメモ画像の表示が指示されたか否かを判断する(ステップS17)。すなわち、CPU11は、表示を切り替えるための操作指示が入力されたか否かを判断する。
図7(b)に、表示パネル14aに表示される資料画像表示画面142の例を示す。資料画像表示画面142には、資料画像が表示されている。この資料画像と関連付けられたメモ画像が存在する場合には、資料画像表示画面142に切り替えボタンB2が表示される。ユーザは、この切り替えボタンB2をタッチすることにより、表示中の資料画像と関連付けられたメモ画像の表示を指示することができる。
ステップS17において、表示中の資料画像と関連付けられたメモ画像の表示が指示された場合には(ステップS17;YES)、CPU11は、表示中の資料画像と関連付けられたメモ画像を記憶部19から読み出して、読み出したメモ画像を表示パネル14aに表示させ(ステップS18)、ステップS13に移行する。
ステップS11において、表示対象となるメモ画像が選択されない場合には(ステップS11;NO)、CPU11は、ユーザのタッチパネル14bからの操作により、記憶部19に記憶されている資料画像のうち表示対象となる資料画像が選択されたか否かを判断する(ステップS19)。表示対象となる資料画像が選択された場合には(ステップS19;YES)、CPU11は、選択された資料画像を記憶部19から読み出して、読み出した資料画像を表示パネル14aに表示させ(ステップS20)、ステップS16に移行する。
ステップS19において、表示対象となる資料画像が選択されない場合には(ステップS19;NO)、ステップS11に戻る。
ステップS13において、表示中のメモ画像と関連付けられた資料画像が記憶部19に記憶されていない場合(ステップS13;NO)、ステップS14において、表示中のメモ画像と関連付けられた資料画像の表示が指示されない場合(ステップS14;NO)、ステップS16において、表示中の資料画像と関連付けられたメモ画像が記憶部19に記憶されていない場合(ステップS16;NO)、又は、ステップS17において、表示中の資料画像と関連付けられたメモ画像の表示が指示されない場合には(ステップS17;NO)、表示処理が終了する。
以上説明したように、第1の実施の形態の情報処理装置1によれば、第1のカバー30aと第2のカバー30bとが所定の状態まで閉じられたことが検出されたタイミングで撮像部15に撮影を行わせ、撮像部15により生成されたメモ画像と、第1のカバー30aと第2のカバー30bとが所定の状態まで閉じられたことが検出された際に表示パネル14aに表示されていた資料画像と、を関連付けて記憶部19に記憶させるので、記録媒体40に記録された内容(メモ画像)と、表示パネル14aに表示された内容(資料画像)と、の対応関係が容易に参照可能となる。
また、第1のカバー30aと第2のカバー30bとが所定の状態まで閉じられたことが検出されたタイミングで撮影を行うので、容易に撮影を行うことができる。
また、表示パネル14aに資料画像が表示されている状態で、この資料画像と関連付けられたメモ画像の表示へ簡単に切り替えることができる。また、表示パネル14aにメモ画像が表示されている状態で、このメモ画像と関連付けられた資料画像の表示へ簡単に切り替えることができる。
なお、予め手書きメモを撮影又はスキャンしてメモ画像の電子データを生成しておき、表示パネル14aにメモ画像を表示した状態で資料(記録媒体40)の撮影を行い、撮影により得られた資料画像(第2の画像)と、撮影時に表示パネル14aに表示されていたメモ画像(第1の画像)と、を関連付けて記憶することとしてもよい。
また、第1のカバー30aと第2のカバー30bの開閉角度の検出方法は、上記の方法に限定されない。例えば、第1のカバー30aの所定の位置に指標を付しておき、撮像部15により取り込まれた画像内の指標の位置に基づいて、第1のカバー30aと第2のカバー30bとが所定の状態まで閉じられたことを検出することとしてもよい。また、第2のカバー30b内に加速度センサを設け、加速度センサにより重力の方向を検出して、第1のカバー30aと第2のカバー30bの開閉角度を検出することとしてもよい。
〔第2の実施の形態〕
次に、本発明を適用した第2の実施の形態について説明する。
図8(a)は、第2の実施の形態における情報処理装置1Aが本体カバー50に収納されている状態を示す図であり、図8(b)及び(c)は、情報処理装置1Aが本体カバー50に立て掛けられた状態を示す図である。情報処理装置1Aにおいて、第1の実施の形態に示した情報処理装置1と同様の構成については、同一の符号を付し、説明を省略する。
図9は、情報処理装置1Aが本体カバー50に立て掛けられ、情報処理装置1Aの前に記録媒体40が置かれた状態を示す図である。第2の実施の形態では、記録媒体40は複数のページからなる冊子状に構成されており、記録媒体40のページをめくるタイミングで、撮像部15により記録媒体40が撮影される。情報処理装置1Aの下端と記録媒体40の上端とを合わせるように記録媒体40を置くと、撮像部15の画角及びピントが記録媒体40に合うように予め設定されている。
情報処理装置1Aは、第1の実施の形態に示した情報処理装置1との比較において、開閉角度センサ20及びバインダ30が不要である点が異なるが、その他の構成については情報処理装置1と同様であるため、図3を援用し、説明を省略する。以下、第2の実施の形態に特徴的な構成及び処理について説明する。
CPU11は、撮像部15により連続的に撮影される動画像データを取り込み、この動画像データを解析することにより、撮影されている記録媒体40のページめくり動作を検出する。撮像部15から出力される画像データが変化しつつある間は、記録媒体40の各ページやユーザの指等が移動中であると推測される。CPU11は、撮像部15により撮影された動画像データを取り込み続け、画像が静止した場合に、ページめくり動作が行われたと判断する。
CPU11は、記録媒体40のページめくり動作が検出されたタイミングで、撮像部15に撮影を行わせる。
CPU11は、撮像部15により生成されたメモ画像と、記録媒体40のページめくり動作が検出された際に表示パネル14aに表示されていた資料画像と、を関連付けて記憶部19に記憶させる。
次に、情報処理装置1Aにおける動作について説明する。
図10は、情報処理装置1Aにおいて実行される第2の撮影処理を示すフローチャートである。この処理は、CPU11とROM18に記憶されている撮影処理プログラム181との協働によるソフトウェア処理によって実現される。この処理は、ユーザが会議等の終了後に、資料を表示パネル14aに表示させて確認しながら、記録媒体40に記録された複数ページからなる手書きメモをまとめて撮影する場合を想定している。
まず、ユーザのタッチパネル14bからの操作により、撮影モードを開始する旨の指示が行われると、CPU11は、撮像部15を制御して、記録媒体40に記録された手書きメモの撮影を行わせ、撮像部15により生成されたメモ画像(静止画像)を取得する(ステップS21)。CPU11は、メモ画像の画像データをRAM17に格納する。
次に、CPU11は、表示パネル14aに表示されている資料画像をキャプチャーし、資料画像を保存する(ステップS22)。CPU11は、資料画像の画像データをRAM17に格納する。
次に、CPU11は、ステップS21において取得されたメモ画像と、ステップS22において保存された資料画像と、を関連付けて記憶部19に記憶させる(ステップS23)。
次に、CPU11は、ユーザのタッチパネル14bからの操作により、表示パネル14aに表示されている資料画像の切り替え指示が行われたか否かを判断する(ステップS24)。資料画像の切り替え指示を検出した場合には(ステップS24;YES)、CPU11は、記憶部19に記憶されている資料の電子データに基づいて、資料画像を次のページに切り替えて表示パネル14aに表示させる(ステップS25)。
ステップS24において、資料画像の切り替え指示を検出しない場合には(ステップS24;NO)、CPU11は、撮像部15から連続的に取り込まれた動画像データに基づいて、手書きメモ(記録媒体40)のページめくり動作を検出したか否かを判断する(ステップS26)。
手書きメモのページめくり動作を検出した場合には(ステップS26;YES)、CPU11は、撮像部15を制御して、記録媒体40に記録された手書きメモの撮影を行わせ、撮像部15により生成されたメモ画像(静止画像)を取得する(ステップS27)。CPU11は、メモ画像の画像データをRAM17に格納する。
次に、CPU11は、表示パネル14aに表示されている資料画像をキャプチャーし、資料画像を保存する(ステップS28)。CPU11は、資料画像の画像データをRAM17に格納する。
次に、CPU11は、ステップS27において取得されたメモ画像と、ステップS28において保存された資料画像と、を関連付けて記憶部19に記憶させる(ステップS29)。
次に、CPU11は、ユーザのタッチパネル14bからの操作により、撮影モードを終了する旨の指示があったか否かを判断する(ステップS30)。
ステップS26において、手書きメモのページめくり動作を検出しない場合(ステップS26;NO)、ステップS30において、撮影モードを終了する旨の指示がない場合(ステップS30;NO)、又は、ステップS25の後、ステップS24に戻り、処理が繰り返される。
ステップS30において、撮影モードを終了する旨の指示があった場合には(ステップS30;YES)、第2の撮影処理が終了する。
なお、ステップS28において、表示パネル14aに表示されている資料画像が前回キャプチャーされた資料画像と同一である場合には、ステップS28の処理を省略することとしてもよい。
第2の撮影処理により相互に関連付けられた資料画像やメモ画像を表示する際の表示処理については、第1の実施の形態において説明した表示処理と同様である。
以上説明したように、第2の実施の形態の情報処理装置1Aによれば、記録媒体40のページめくり動作が検出されたタイミングで撮像部15に撮影を行わせ、撮像部15により生成されたメモ画像と、記録媒体40のページめくり動作が検出された際に表示パネル14aに表示されていた資料画像と、を関連付けて記憶部19に記憶させるので、記録媒体40に記録された内容(メモ画像)と、表示パネル14aに表示された内容(資料画像)と、の対応関係が容易に参照可能となる。
また、記録媒体40のページめくり動作が検出されたタイミングで撮影を行うので、容易に撮影を行うことができる。
なお、予め手書きメモを撮影又はスキャンしてメモ画像の電子データを生成しておき、表示パネル14aにメモ画像を表示した状態で、複数のページからなる冊子状の資料(記録媒体40)を、資料のページめくり動作に応じて撮影し、撮影により得られた資料画像と、撮影時に表示パネル14aに表示されていたメモ画像と、を関連付けて記憶することとしてもよい。
また、ページめくり動作の検出方法は、上記の方法に限定されない。例えば、予め記録媒体40の各ページの所定の位置に、ページを特定するためのマークを付しておき、取り込んだ画像内の所定の位置からマークが検出された場合に、ページめくり動作が行われたと判断することとしてもよい。
〔第3の実施の形態〕
次に、本発明を適用した第3の実施の形態について説明する。
第3の実施の形態における情報処理装置1Bは、第1の実施の形態に示した情報処理装置1との比較において、開閉角度センサ20及びバインダ30が不要である点が異なるが、その他の構成については情報処理装置1と同様であるため、図3を援用し、説明を省略する。以下、第3の実施の形態に特徴的な構成及び処理について説明する。
CPU11は、ユーザのタッチパネル14bからの操作に基づいて、表示パネル14aに表示される資料画像の切り替え指示(複数ページからなる資料画像の次のページへの切り替え指示)を検出する。
CPU11は、表示パネル14aに表示される資料画像の切り替え指示が検出されたタイミングで、撮像部15に撮影を行わせる。
CPU11は、撮像部15により生成されたメモ画像と、資料画像の切り替え指示が検出された際に表示パネル14aに表示されていた資料画像と、を関連付けて記憶部19に記憶させる。
次に、情報処理装置1Bにおける動作について説明する。
図11は、情報処理装置1Bにおいて実行される第3の撮影処理を示すフローチャートである。この処理は、CPU11とROM18に記憶されている撮影処理プログラム181との協働によるソフトウェア処理によって実現される。
まず、CPU11は、ユーザのタッチパネル14bからの操作により、表示パネル14aに表示されている資料画像の切り替え指示が行われたか否かを判断する(ステップS31)。資料画像の切り替え指示を検出した場合には(ステップS31;YES)、CPU11は、撮像部15を制御して、記録媒体40に記録された手書きメモの撮影を行わせ、撮像部15により生成されたメモ画像を取得する(ステップS32)。CPU11は、メモ画像の画像データをRAM17に格納する。
次に、CPU11は、表示パネル14aに表示されている資料画像をキャプチャーし、資料画像を保存する(ステップS33)。CPU11は、資料画像の画像データをRAM17に格納する。
次に、CPU11は、ステップS32において取得されたメモ画像と、ステップS33において保存された資料画像と、を関連付けて記憶部19に記憶させる(ステップS34)。
次に、CPU11は、記憶部19に記憶されている資料の電子データに基づいて、資料画像を次のページに切り替えて表示パネル14aに表示させる(ステップS35)。ステップS35で資料画像を切り替える前に、ステップS33でメモ画像と関連付ける資料画像を取得しているので、メモ画像とメモが記入された際に表示されていた資料画像とを関連付けることができる。
次に、CPU11は、ユーザのタッチパネル14bからの操作により、撮影モードを終了する旨の指示があったか否かを判断する(ステップS36)。
ステップS31において、資料画像の切り替え指示を検出しない場合(ステップS31;NO)、又は、ステップS36において、撮影モードを終了する旨の指示がない場合には(ステップS36;NO)、ステップS31に戻り、処理が繰り返される。
ステップS36において、撮影モードを終了する旨の指示があった場合には(ステップS36;YES)、第3の撮影処理が終了する。
第3の撮影処理により相互に関連付けられた資料画像やメモ画像を表示する際の表示処理については、第1の実施の形態において説明した表示処理と同様である。
以上説明したように、第3の実施の形態の情報処理装置1Bによれば、表示パネル14aに表示される資料画像の切り替え指示が検出されたタイミングで撮像部15に撮影を行わせ、撮像部15により生成されたメモ画像と、資料画像の切り替え指示が検出された際に表示パネル14aに表示されていた資料画像と、を関連付けて記憶部19に記憶させるので、記録媒体40に記録された内容(メモ画像)と、表示パネル14aに表示された内容(資料画像)と、の対応関係が容易に参照可能となる。
また、表示パネル14aに表示される資料画像の切り替え指示が検出されたタイミングで撮影を行うので、容易に撮影を行うことができる。
なお、第3の実施の形態では、ユーザのタッチパネル14bからの操作に基づいて、表示パネル14aに表示される資料画像を切り替える場合について説明したが、無線通信部16を介して外部装置から取得される資料画像を受動的に表示パネル14aに表示する場合には、表示パネル14aに表示される内容が変化したときに、資料画像が切り替えられたと判断すればよい。この場合、ユーザの意志に関係なく表示パネル14aの表示内容が切り替わってしまうので、資料画像が切り替えられたタイミングで撮影されたメモ画像と、表示パネル14aをキャプチャーして得られた資料画像と、の間にズレが生じる。そのため、1番目の資料画像については予め取得しておき、1番目の資料画像と、2番目の資料画像に切り替えられたタイミングで撮影されたメモ画像と、を関連付けることとすればよい。そして、2番目の資料画像に切り替えられたタイミングで表示パネル14aをキャプチャーして得られた2番目の資料画像と、3番目の資料画像に切り替えられたタイミングで撮影されたメモ画像と、を順次関連付けていけばよい。
なお、上記各実施の形態における記述は、本発明に係る情報処理装置の例であり、これに限定されるものではない。装置を構成する各部の細部構成及び細部動作に関しても本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
例えば、上記各実施の形態では、相互に関連付けられた資料画像とメモ画像とを切り替えて表示パネル14aに表示することとしたが、相互に関連付けられた資料画像とメモ画像とを表示パネル14aの同一画面に同時に並べて表示することとしてもよい。また、相互に関連付けられた資料画像とメモ画像とを同じページに印刷させるべく、無線通信部16を介して印刷データをプリンタに出力することとしてもよい。
また、表示パネル14aに表示される資料画像は、予め記憶部19に記憶されているものに限らず、無線通信部16を介してWebサーバから取得されたWeb表示画面等、外部装置から取得されたものであってもよい。
以上の説明では、各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体としてROMを使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、フラッシュメモリ等の不揮発性メモリ、CD−ROM等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを通信回線を介して提供する媒体として、キャリアウェーブ(搬送波)を適用することとしてもよい。
本発明の実施の形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
第1の画像を表示する表示手段と、
記録媒体を撮影して第2の画像を生成する撮像手段と、
所定のタイミングで前記撮像手段に撮影を行わせる撮影制御手段と、
前記撮像手段により生成された第2の画像と、前記所定のタイミングに前記表示手段に表示されていた第1の画像と、を関連付けて記憶手段に記憶させる記憶制御手段と、
を備える情報処理装置。
<請求項2>
前記記録媒体が配置される第1の筐体と、
ヒンジ部により前記第1の筐体と開閉可能に連結され、本体部が設けられた第2の筐体と、
前記第1の筐体と前記第2の筐体とが所定の状態まで閉じられたことを検出する検出手段と、
を備え、
前記撮像手段は、前記本体部の前記第1の筐体に対向する位置に設けられており、
前記所定のタイミングは、前記検出手段により前記第1の筐体と前記第2の筐体とが前記所定の状態まで閉じられたことが検出されたタイミングである、
請求項1に記載の情報処理装置。
<請求項3>
前記記録媒体は複数のページからなる冊子状に構成されており、
前記記録媒体のページめくり動作を検出する検出手段を備え、
前記所定のタイミングは、前記検出手段により前記記録媒体のページめくり動作が検出されたタイミングである、
請求項1に記載の情報処理装置。
<請求項4>
前記表示手段に表示される第1の画像の切り替え指示を検出する検出手段を備え、
前記所定のタイミングは、前記検出手段により前記表示手段に表示される第1の画像の切り替え指示が検出されたタイミングである、
請求項1に記載の情報処理装置。
<請求項5>
ユーザによる操作指示を受け付ける操作手段と、
前記記憶手段に記憶されている第1の画像が前記表示手段に表示されている状態で前記操作手段から表示を切り替えるための操作指示が入力された場合に、前記記憶手段から前記表示手段に表示されている第1の画像と関連付けられた第2の画像を読み出し、当該読み出した第2の画像を前記表示手段に表示させ、前記記憶手段に記憶されている第2の画像が前記表示手段に表示されている状態で前記操作手段から表示を切り替えるための操作指示が入力された場合に、前記記憶手段から前記表示手段に表示されている第2の画像と関連付けられた第1の画像を読み出し、当該読み出した第1の画像を前記表示手段に表示させる表示制御手段と、
を備える、
請求項1〜4のいずれか一項に記載の情報処理装置。
<請求項6>
コンピュータを、
表示手段に第1の画像を表示させる表示制御手段、
記録媒体を撮影して第2の画像を生成する撮像手段に所定のタイミングで撮影を行わせる撮影制御手段、
前記撮像手段により生成された第2の画像と、前記所定のタイミングに前記表示手段に表示されていた第1の画像と、を関連付けて記憶手段に記憶させる記憶制御手段、
として機能させるためのプログラム。
1 情報処理装置
1A 情報処理装置
1B 情報処理装置
10 本体部
11 CPU
12 電源部
13 操作部
14 タッチ表示部
14a 表示パネル
14b タッチパネル
15 撮像部
16 無線通信部
17 RAM
18 ROM
19 記憶部
20 開閉角度センサ
30 バインダ
30a 第1のカバー
30b 第2のカバー
30c ヒンジ部
40 記録媒体
50 本体カバー
181 撮影処理プログラム
182 表示処理プログラム

Claims (5)

  1. 第1の画像を表示する表示手段と、
    記録媒体を撮影して第2の画像を生成する撮像手段と、
    所定のタイミングで前記撮像手段に撮影を行わせる撮影制御手段と、
    前記撮像手段により生成された第2の画像と、前記所定のタイミングに前記表示手段に表示されていた第1の画像と、を関連付けて記憶手段に記憶させる記憶制御手段と、
    前記記録媒体が配置される第1の筐体と、
    ヒンジ部により前記第1の筐体と開閉可能に連結され、前記撮像手段が設けられた第2の筐体と、
    前記第1の筐体と前記第2の筐体とが所定の状態まで閉じられたことを検出する検出手段と、
    を備え、
    前記撮像手段は、前記第1の筐体に対向する位置に設けられており、
    前記所定のタイミングは、前記検出手段により前記第1の筐体と前記第2の筐体とが前記所定の状態まで閉じられたことが検出されたタイミングである情報処理装置。
  2. ユーザによる操作指示を受け付ける操作手段と、
    前記記憶手段に記憶されている第1の画像が前記表示手段に表示されている状態で前記操作手段から表示を切り替えるための操作指示が入力された場合に、前記記憶手段から前記表示手段に表示されている第1の画像と関連付けられた第2の画像を読み出し、当該読み出した第2の画像を前記表示手段に表示させ、前記記憶手段に記憶されている第2の画像が前記表示手段に表示されている状態で前記操作手段から表示を切り替えるための操作指示が入力された場合に、前記記憶手段から前記表示手段に表示されている第2の画像と関連付けられた第1の画像を読み出し、当該読み出した第1の画像を前記表示手段に表示させる表示制御手段と、
    を備える、
    請求項に記載の情報処理装置。
  3. 第1の画像を表示する表示手段と、記録媒体が配置される第1の筐体と、ヒンジ部により前記第1の筐体と開閉可能に連結され、前記第1の筐体に対向する位置に前記記録媒体を撮影して第2の画像を生成する撮像手段が設けられた第2の筐体と、を備える情報処理装置のコンピュータを、
    前記表示手段に前記第1の画像を表示させる表示制御手段、
    前記第1の筐体と前記第2の筐体とが所定の状態まで閉じられたことを検出する検出手段、
    前記検出手段により前記第1の筐体と前記第2の筐体とが前記所定の状態まで閉じられたことが検出されたタイミングで前記撮像手段に前記記録媒体を撮影させ、前記第2の画像を生成させる撮影制御手段、
    前記撮像手段により生成された第2の画像と、前記タイミングに前記表示手段に表示されていた第1の画像と、を関連付けて記憶手段に記憶させる記憶制御手段、
    として機能させるためのプログラム。
  4. 表示手段と、
    記録媒体が配置される第1の筐体と、
    前記第1の筐体と開閉可能に連結され、前記第1の筐体に対向する位置に前記記録媒体を撮影する撮像手段が設けられた第2の筐体と、
    前記第1の筐体と前記第2の筐体とが所定の状態まで閉じられたことを検出する検出手段と、
    前記検出手段により前記第1の筐体と前記第2の筐体とが前記所定の状態まで閉じられたことが検出されたタイミングで前記撮像手段に撮影を行わせる撮影制御手段と、
    前記撮像手段により撮影された画像と、前記タイミングに前記表示手段に表示されていた資料と、を関連付けて記憶手段に記憶させる記憶制御手段と、
    を備える情報処理装置。
  5. 表示手段と、記録媒体が配置される第1の筐体と、前記第1の筐体と開閉可能に連結され、前記第1の筐体に対向する位置に前記記録媒体を撮影する撮像手段が設けられた第2の筐体と、を備える情報処理装置のコンピュータを、
    前記第1の筐体と前記第2の筐体とが所定の状態まで閉じられたことを検出する検出手段、
    前記検出手段により前記第1の筐体と前記第2の筐体とが前記所定の状態まで閉じられたことが検出されたタイミングで前記撮像手段に撮影を行わせる撮影制御手段、
    前記撮像手段により撮影された画像と、前記タイミングに前記表示手段に表示されていた資料と、を関連付けて記憶手段に記憶させる記憶制御手段、
    として機能させるためのプログラム。
JP2012163517A 2012-07-24 2012-07-24 情報処理装置及びプログラム Active JP5799911B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012163517A JP5799911B2 (ja) 2012-07-24 2012-07-24 情報処理装置及びプログラム
US13/938,457 US9223396B2 (en) 2012-07-24 2013-07-10 Information processing apparatus and computer readable medium
CN201310314419.XA CN103581549B (zh) 2012-07-24 2013-07-24 信息处理装置以及信息处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012163517A JP5799911B2 (ja) 2012-07-24 2012-07-24 情報処理装置及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015163600A Division JP6149905B2 (ja) 2015-08-21 2015-08-21 情報処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2014023139A JP2014023139A (ja) 2014-02-03
JP5799911B2 true JP5799911B2 (ja) 2015-10-28

Family

ID=50197516

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012163517A Active JP5799911B2 (ja) 2012-07-24 2012-07-24 情報処理装置及びプログラム

Country Status (1)

Country Link
JP (1) JP5799911B2 (ja)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006108813A (ja) * 2004-09-30 2006-04-20 Fuji Xerox Co Ltd 画像処理システムおよび画像処理方法および画像処理プログラム
JP5287303B2 (ja) * 2009-02-02 2013-09-11 富士ゼロックス株式会社 会議資料検索装置、会議資料検索支援装置、会議資料検索支援プログラム、会議資料検索プログラム及び会議支援システム

Also Published As

Publication number Publication date
JP2014023139A (ja) 2014-02-03

Similar Documents

Publication Publication Date Title
CN103810471B (zh) 识别文档图像的方法和装置及其拍摄方法
JP5754653B2 (ja) 画像制御装置及びプログラム
JP2013255166A (ja) 画像読取装置及びプログラム
JP6149905B2 (ja) 情報処理装置及びプログラム
US9223396B2 (en) Information processing apparatus and computer readable medium
US9413931B2 (en) Information processing apparatus and computer-readable storage medium
JP5799911B2 (ja) 情報処理装置及びプログラム
JP5971003B2 (ja) 情報処理装置及びプログラム
JP6439738B2 (ja) 画像処理装置及びプログラム
JP2014026408A (ja) 情報処理装置及びプログラム
JP6024330B2 (ja) 情報処理装置及びプログラム
JP6337934B2 (ja) 情報処理装置及びプログラム
JP5962975B2 (ja) 情報処理装置及びプログラム
JP5849886B2 (ja) 情報処理装置及びプログラム
JP6319186B2 (ja) 画像制御装置及びプログラム
JP6380567B2 (ja) 情報処理装置及びプログラム
JP6094660B2 (ja) 情報処理装置及びプログラム
JP5907017B2 (ja) 情報処理装置及びプログラム
JP6128358B2 (ja) 画像読取装置、画像読取方法及びプログラム
JP4865079B1 (ja) 携帯用電子スクラップ装置
JP2015142283A (ja) 情報処理端末、データ化キット、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140925

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150728

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150810

R150 Certificate of patent or registration of utility model

Ref document number: 5799911

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150