JP6269727B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、画像処理装置及びプログラムに関する。

近年、スマートフォン（多機能型携帯電話機）などの普及によりネットワーク上のトラフィックが増大したり、Ｗｅｂ（ウェブ）サイト上の情報量も増大したりする傾向にあり、使用者がＷｅｂブラウザによってコンテンツを閲覧できる状態になるまでのブラウザの読み込み時間も無視することができない。例えば、コンテンツ（Ｗｅｂページデータ）を構成する個々のデータ（例えば、画像など）を逐次読み込むと共にそのページ全体の体裁を整えながら個々のデータを配置表示するようにしているため、使用者が見ていたデータなどが他の新たなデータの読み込み及び表示によってその位置が移動してしまうことがある。特に、Ｗｅｂサイトの読み込み途中に、リンクされたＵＲＬ（Uniform Resource Locator）を選択して別のページにジャンプしたい場合に、そのリンクを指示するクリック操作と新たなデータが配置されるタイミングとが重なってしまったときには、望んでいないリンク先を選択して遷移してしまうことがある。

このように間違ったリンク先にジャンプしたときには、元のサイトに戻す必要があり、時間的なロスがかかることに加えて心的なストレスの要因にもなっていた。また、所望するリンク先に正しくジャンプすることができたとしても、突然のデータの切り替わりによって重要なデータの見逃しやデータの見間違えるおそれがあると共に、その切り替え前後の内容とリンク先の内容とを混同してしまったりするおそれもあった。
ところで、従来、コンテンツ（動画像データ）の表示中に付加情報の再生要求を受け付けた際に、その再生時間帯に応じたリンク先から付加情報を取得して表示するようにした技術が知られている（特許文献１参照）。

特開２０１３‐１４０５４２号公報

上述の特許文献の技術にあっては、再生中のコンテンツのシーンに合わせたコンテンツに切り替えることができるようになるが、コンテンツの再生途中において気になったデータ（リンク先）を見つけた際のユーザ操作（再生要求）でそのリンク先にジャンプしてしまうために、それまでの再生が中断し、見たい部分があってもそれを見逃したり、中断前後の内容とリンク先の内容とを混同したりするおそれがあった。このようなコンテンツ（動画像データ）の再生途中であっても、上述したＷｅｂページの閲覧時と同様の問題が起きる。

本発明の課題は、一連の画像の表示途中での任意の指示に対しては、その画像表示内容の一連の表示を妨げることなく、その指示対象となる情報に対する処理を実行できるようにすることである。

請求項１の発明は、時系列で変化する一連の画像表示内容を表示する画像処理装置であって、前記一連の画像表示内容が変化して表示されている途中にあって、任意のタイミングで前記画像表示内容の内で任意の座標位置が指示された際は、前記画像表示内容の一連の表示を妨げることなく、その指示のあった指示タイミング時点と指示座標位置とを検出する検出手段と、前記検出手段で検出された前記指示タイミング時点と前記指示座標位置とを前記一連の画像表示内容に対応付けて記憶手段に記憶させる記憶制御手段と、前記一連の画像表示内容の表示が終了したか否かを判別する判別手段と、前記一連の画像表示内容の内で、前記記憶手段に記憶された指示タイミング時点で表示されていた画像表示内容を特定する特定手段と、前記判別手段で前記一連の画像表示内容の表示が終了したと判別された際に、前記特定手段で特定された画像表示内容の内で前記指示座標位置に表示されていた個別情報に基づいた処理を実行する処理手段と、を具備したことを特徴とする。

本発明によれば、一連の画像の表示途中での任意の指示に対しては、その一連の表示を妨げることなく、その指示対象となる情報に対する処理を実行することができる。

出力制御装置として適用したタブレット端末装置を使用可能な通信システムを示したブロック図。 タブレット端末装置１の基本的な構成要素を示したブロック図。 （１）、（２）は、出力情報メモリ１３ｃを説明するための図。 （１）〜（３）は、指示情報メモリ１３ｄを説明するための図。 Ｗｅｂブラウザ機能の起動に応じて実行開始される動作（第１実施形態の特徴的な動作）を説明するためのフローチャート。 図５の動作に続くフローチャート。 テレビ放送受信機能の起動に応じて実行開始される動作（第２実施形態の特徴的な動作）を説明するためのフローチャート。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。
（第１実施形態）
先ず、図１〜図６を参照して本発明の第１実施形態を説明する。
本実施形態は、出力制御装置として携帯端末装置（タブレット端末）に適用した場合を例示したもので、図１は、このタブレット端末装置を使用可能な通信システムを示したブロック図である。
出力制御装置（タブレット端末装置）１は、その基本的な機能として文章作成機能、計時機能、タッチ入力機能、無線通信機能、インターネット接続機能、Ｗｅｂ（ウェブ）ブラウザ機能のほか、テレビ・ラジオ放送受信機能などを備えている。計時機能は、現在時刻として（年月日時分秒ミリ秒）を計時したり、タイマ時間を計測したりする。

タブレット端末装置１は、各種のコンテンツ（例えば、Ｗｅｂページデータ、テレビ放送データ、ラジオ放送データ、動画データ、静止画像群データ、音声データなど）を出力可能となっている。そして、タブレット端末装置１は、コンテンツ配信装置（サーバ装置）２から通信網（無線通信網３、インターネット４）を介して受信したＷｅｂページを自己の表示画面に表示したり、テレビ局からテレビアンテナ５を介して受信したテレビ放送番組の映像データを表示画面に表示したり、ラジオ局からラジオアンテナ６を介して受信したラジオ番組の音声データをスピーカから出力したり、更に着脱自在な可搬型メモリ（記録メディア）から外部供給された動画データ、静止画群データ、電子書籍データなどを表示画面に表示したりする。なお、タブレット端末装置１は、地上波デジタル放送（テレビ・ラジオ番組）を受信する場に限らず、インターネット４を介してダウンロード受信するようにしてもよい。

図２は、タブレット端末装置１の基本的な構成要素を示したブロック図である。
タブレット端末装置１の中核となるＣＰＵ１１は、電源部（二次電池）１２からの電力供給によって動作し、記憶部１３内の各種のプログラムに応じてこのタブレット端末装置１の全体動作を制御する中央演算処理装置である。記憶部１３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、図５及び図６に示した動作手順に応じて本実施形態を実現するためのプログラムを記憶するプログラムメモリ１３ａと、このタブレット端末装置１で必要とされる各種のデータ（計時時刻、タイマ計測時間、フラグなど）を一時記憶するワークメモリ１３ｂと、後述する出力情報メモリ１３ｃ及び指示情報メモリ１３ｄなどを有している。なお、記憶部１３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続されている状態においては所定のサーバ装置側の記憶領域を含むものであってもよい。

ＣＰＵ１１には、その入出力デバイスとして、キー操作部１４、タッチ表示部１５、通信部１６、テレビ・ラジオ放送受信部１７、マウス操作部１８、音声出力部１９が接続されており、ＣＰＵ１１は、入出力プログラムにしたがって各入出力デバイスを制御する。キー操作部１４は、電源をオン／オフさせる電源キーなどの押しボタン式のキーを備えるもので、キーボード（図示省略）を外付け可能となっている。タッチ表示部１５は、ソフトウェアキーとしての機能名を表示したり、各種のアイコンを表示したり、タッチ操作された位置を検出してその座標データを入力したりするタッチスクリーンを構成する。

通信部１６は、高速大容量の通信が可能な通信モジュールで、例えば、無線ＬＡＮ（Local Area Network）などを有する構成で、インターネット４を介して受信したＷｅｂページは、タッチ表示部（表示画面）１５に表示される。テレビ・ラジオ放送受信部１７は、テレビ放送信号やラジオ放送信号を受信するもので、その映像信号はタッチ表示部１５に与えられて表示され、音声信号は音声出力部１９に与えられて音声出力される。マウス操作部１８は、ポインティングデバイスとしてのマウスで、表示画面上のマウスカーソルを移動する操作やクリック操作などを行う。

図３（１）、（２）は、出力情報メモリ１３ｃを説明するための図である。
図３（１）は、コンテンツ配信装置２から通信網（無線通信網３、インターネット４）を介して受信したコンテンツ（Ｗｅｂページデータ）を構成する個々のデータ（例えば、画像など）を逐次読み込むと共に、そのページ全体の体裁を整えながら個々のデータを表示画面上に配置表示する様子を示した図である。図示の例は、Ｗｅｂページ上の画像Ａ及び画像Ｂが配置表示された状態の表示画面を示し、図３（２）は、この場合における出力情報メモリ１３ｃの内容を示した図である。

出力情報メモリ１３ｃは、コンテンツを構成する個々のデータが逐次出力される毎にその出力に関する状況（出力情報）として、その出力タイミングなどを一時記憶するメモリであり、図３（２）に示すように「データ番号」、「データ名」、「データサイズ」、「データの貼付位置」、「リンク先」、「データ読み込み時のタイムスタンプ」の各項目を有している。「データ番号」は、Ｗｅｂページ上の個々のデータが出力される毎に生成された一連番号（データ識別情報）を示し、データが逐次出力される毎にその番号が更新される。「データ名」は、“画像Ａ”、“画像Ｂ”などのデータ識別情報で、図３（１）に示すように最初に画像Ａが配置表示され、次に画像Ｂが配置表示された場合を示している。「データサイズ」は、表示画面上のデータの大きさ（横幅及び縦幅）を示し、図３（１）に示すように画像Ａは２００×１００ドットサイズ、画像Ｂは９００×８０ドットサイズであることを示している。

「データの貼付位置」は、表示画面の左上角部を原点とする平面座標系において、データの左上角部の位置をその貼付位置としたもので、図３（１）に示すように画像Ａの貼付位置は、Ｘ座標値が５０ドット、Ｙ座標値が５００ドットであることを示し、画像Ｂの貼付位置は、Ｘ座標値が５０ドット、Ｙ座標値が８００ドットであることを示している。「リンク先」は、そのデータに対する処理内容を示す情報（処理識別情報）であり、図示の例は、コンテンツ内の画像Ａや画像Ｂに埋め込まれているリンク先のＵＲＬ（Uniform Resource Locator）を示している。

「データ読み込み時のタイムスタンプ」は、データを読み込んだ際に計時機能で得られた時刻で、データの出力タイミングを示す情報、つまり、データの読み込み時をデータの出力時としている情報である。図示の例では、「データ読み込み時のタイムスタンプ（出力タイミング）」として、画像Ａの場合には、“２０１３．０３．２６．０９：４７：５０：０００（年月日時分秒ミリ秒）”、画像Ｂの場合には、“２０１３．０３．２６．０９：４７：５１：５００（年月日時分秒ミリ秒）” であることを示している。

図４（１）〜（３）は、指示情報メモリ１３ｄを説明するための図である。
図４（１）は、Ｗｅｂページの読み込み中の画面、例えば、図３（１）で示した画像Ａが配置表示された際の表示画面を示し、出力されたデータ（画像Ａ）に対して所定のユーザ指示が行われた場合を示している。ここで、第１実施形態において所定のユーザ指示とは、コンテンツの出力途中においてリンク先にジャンプさせるためにそのリンク先が埋め込まれているデータを選択指定する操作（ジャンプ指示操作）を意味し、キー操作部１４によるキー操作、タッチ表示部１５によるタッチ操作（タップ操作）、マウス操作部１８によるクリック操作のいずれであってもよいが、図示の例は、タッチ操作（タップ操作）が行われた場合を示している。

図４（２）は、Ｗｅｂページの読み込み完了時（全データの表示完了時）の画面、例えば、画像Ａの表示に続いて画像Ｂが配置表示された際の表示画面を示している。この場合、読み込み途中の画面と全データの読み込み完了時の画面とは画像Ａの表示位置が異なってしまう。すなわち、Ｗｅｂページの読み込み中は、読み込みが完了したデータから配置表示するようにしているため、読み込み途中と全データの読み込み完了時とでは画像Ａの表示位置が異なってしまう。したがって、図４（１）に示すように任意のデータ（画像Ａ）に対してユーザ指示操作（ジャンプ指示操作）が行われたものとすると、そのジャンプ処理が実行される前にデータの読み込みとその表示が行われる結果、図４（２）に示すような画面内容となり、ユーザ指示がデータ（画像Ａ）から外れてデータ（画像Ｂ）に対して行われたものとして認識されてしまい、間違ったリンク先にジャンプされることがある。

第１実施形態においては、コンテンツ読み込み途中で所定のユーザ指示が行われた際に、その指示状況を指示情報メモリ１３ｄに一時記憶するようにしている。この指示情報メモリ１３ｄは、コンテンツを構成する個々のデータを逐次出力する出力途中においてその出力されたデータに対して所定のユーザ指示（ジャンプ指示操作）が行われた際に、その指示状況として、その際の時刻（指示タイミング）とその指示が行われた位置（指示位置）を一時記憶するメモリであり、図４（３）に示すように「指示番号」、「指示タイミング」、「指示位置」の各項目を有している。「指示番号」は、コンテンツの出力途中にユーザ指示される毎に生成された一連番号（指示識別情報）を示し、「指示タイミング」は、出力されたデータに対してジャンプ指示操作が行われた際に計時機能で得られた時刻（年月日時分秒ミリ秒）を示している。「指示位置」は、データ出力途中に所定のユーザ指示が行われた表示画面上の位置を示し、図示の例は、Ｘ座標値が８０ドット、Ｙ座標値が７００ドットであることを示している。

このように構成された指示情報メモリ１３ｄを用いてＣＰＵ１１は、指示情報メモリ１３ｄ内の「指示タイミング」、「指示位置」と出力情報メモリ１３ｃ内の「データサイズ」、「データの貼付位置」、「データ読み込み時のタイムスタンプ」とを照合することによって、「指示タイミング」の時点で出力されていたデータを特定する。すなわち、データ出力途中で所定のユーザ指示が行われたタイミングを示す「指示タイミング」とデータが出力されたタイミングを示す「データ読み込み時のタイムスタンプ」とを照合し、「指示タイミング」の時点で出力されていたデータがあれば、更に「指示位置」と「データサイズ」、「データの貼付位置」とを照合し、その「指示位置」に出力されていたデータがあれば、そのデータを特定する。そして、ＣＰＵ１１は、この特定したデータに対応付けられている処理内容である出力情報メモリ１３ｃ内の「リンク先」をユーザ指示された処理内容（指示処理内容）として特定する。

また、第１実施形態において、指示操作に応じた処理の実行タイミングは、（１）コンテンツの逐次出力の終了直後、（２）指示タイミングから所定時間経過時のいずれかであり、この実行タイミング（１）、（２）の中からユーザ操作により予め任意に選択可能としている。実行タイミング（１）は、コンテンツの終了時点を示し、その終了時に指示処理内容に応じた処理が実行される。実行タイミング（２）は、上述の指示タイミングから所定時間（例えば、５秒）経過時を示し、その経過時に指示処理内容に応じた処理が実行される。なお、この実行タイミング（２）を決定する所定時間は、ユーザ操作によって任意に変更可能としている。

次に、第１実施形態における出力制御装置（タブレット端末装置）１の動作概念を図５及び図６に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。このことは後述する他の実施形態においても同様であり、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。なお、図５及び図６図は、タブレット端末装置１の全体動作のうち、第１実施形態の特徴部分の動作概要を示したフローチャートであり、この図５及び図６のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。

図５及び図６は、Ｗｅｂブラウザ機能の起動に応じて実行開始される動作（本実施形態の特徴的な動作）を説明するためのフローチャートである。
先ず、ＣＰＵ１１は、出力対象のコンテンツ（Ｗｅｂページ）をコンテンツ配信装置（サーバ装置）２から通信網（無線通信網３、インターネット４）を介して逐次受信取得すると共に（図５のステップＡ１）、このコンテンツ（Ｗｅｂページ）を構成する個々のデータを逐次読み込んでタッチ表示部１５の表示画面上に配置表示させる動作を開始する（ステップＡ２）。そして、配置表示させたデータ毎にその出力に関する状況（出力情報）を生成して出力情報メモリ１３ｃに一時記憶させる（ステップＡ３）。

この場合、ＣＰＵ１１は、「データ名」、「データサイズ」、「データの貼付位置」、「リンク先」、「データ読み込み時のタイムスタンプ」の項目毎にその各データを揃えることによって出力情報の生成を行う。例えば、図３（１）の場合には、「データ名」として“画像Ａ”、「データサイズ」として“２００×１００ドットサイズ”、「データの貼付位置」として“Ｘ座標値が５０ドット、Ｙ座標値が５００ドット”、「リンク先」として“ＵＲＬ情報”、「データ読み込み時のタイムスタンプ」として、“２０１３．０３．２６．０９：４７：５０：０００（年月日時分秒ミリ秒）”を検出して出力情報の生成し、「データ番号」を更新して出力情報メモリ１３ｃに一時記憶させる。

そして、出力対象のコンテンツ（Ｗｅｂページ）をその最後まですべて読み込んだか（読み込みを完了したか）を調べ（ステップＡ４）、読み込みが完了していなければ（ステップＡ４でＮＯ）、つまり、読み込み途中であれば、リンク先が埋め込まれている表示画面上のデータに対して所定のユーザ指示（ジャンプ指示操作）が行われたかを調べる（ステップＡ５）。いま、ジャンプ指示操作が行われなければ（ステップＡ５でＮＯ）、上述のステップＡ１に戻って上述の動作を行う。

また、ジャンプ指示操作が行われないまま（ステップＡ５でＮＯ）、Ｗｅｂページの読み込みが完了したときには（ステップＡ４でＹＥＳ）、Ｗｅｂページを閉じる操作が行われたかを調べたり（ステップＡ７）、その他の指示操作（例えば、ページの保存指示操作や印刷指示操作など）が行われたかを調べたりする（ステップＡ８）。ここで、その他の指示操作が行われたときには（ステップＡ８でＹＥＳ）、その操作に応じた処理として保存処理や印刷処理（ステップＡ９）などを実行した後、ステップＡ７に戻る。

一方、Ｗｅｂページの読み込みが完了する前に（ステップＡ４でＮＯ）、ジャンプ指示操作が行われたときには（ステップＡ５でＹＥＳ）、その指示の実行待ちの状態か、つまり、その指示の実行タイミングに到達する前であるかを調べる（ステップＡ６）。ここで、コンテンツの出力を開始してから最初にジャンプ指示操作が行われた場合には、その指示の実行待ち状態ではないので（ステップＡ６でＮＯ）、図６のステップＡ１０に移り、表示画面上の座標位置を指示位置として取得すると共に、計時機能で得られた時刻（年月日時分秒ミリ秒）を指示タイミングとして取得する。そして、この指示位置と指示タイミングを指示情報メモリ１３ｄに一時記憶させる処理を行う（ステップＡ１１）。

次に、指示の実行タイミングを特定する（ステップＡ１２）。この場合、予めユーザ操作によって任意に選択されている実行タイミングは、指示タイミングから所定時間（例えば、５秒）経過時、つまり、実行タイミング（２）であるかを調べ（ステップＡ１３）、コンテンツの逐次出力の終了直後、つまり、実行タイミング（１）であれば（ステップＡ１３でＮＯ）、そのままステップＡ１５に移るが、実行タイミング（２）であれば（ステップＡ１３でＹＥＳ）、タイマ（図示省略）の計測動作をスタート（ステップＡ１４）させた後、ステップＡ１５に移り、その実行タイミングに到達したか否かを判別する。

ここで、実行タイミング（１）がユーザ選択されている場合には、コンテンツの逐次出力の終了を検出したか否か、実行タイミング（２）がユーザ選択されている場合には、その値が所定時間（例えば、５秒）に到達したか否かを調べる。いま、指示の実行タイミングに到達していなければ（ステップＡ１５でＮＯ）、図５のステップＡ１に戻るが、実行タイミングに到達したことを検出したときには（ステップＡ１５でＹＥＳ）、出力情報メモリ１３ｃと指示情報メモリ１３ｄとの内容を照合してユーザ指示されたデータを特定すると共に、その指示処理内容を特定する処理を行う（ステップＡ１６）。

すなわち、指示情報メモリ１３ｄ内の「指示タイミング」、「指示位置」と出力情報メモリ１３ｃ内の「データサイズ」、「データの貼付位置」、「データ読み込み時のタイムスタンプ」とを照合し、「指示タイミング」の時点で出力され、かつ、その指示位置に出力されていたデータを特定する。そして、この特定したデータに対応付けられている出力情報メモリ１３ｃ内の「リンク先」を指示処理内容として特定する。これによって特定した指示処理内容の「リンク先」を読み出してそのＵＲＬが示すリンク先にジャンプさせる処理（ステップＡ１７）を実行した後、図５及び図６のフローから抜けてジャンプ先での処理に移る。

以上のように、第１実施形態においてＣＰＵ１１は、コンテンツを構成する個々のデータを逐次出力する出力途中においてその出力されたデータに対して所定のユーザ指示が行われた際に、その指示タイミングを検出して指示情報メモリ１３ｄに記憶させておき、この指示情報メモリ１３ｄに記憶されている指示タイミングよりも遅い所定のタイミングをそのユーザ指示に応じた処理の実行タイミングとして特定して当該処理を実行するようにしたので、コンテンツの出力途中で所定のユーザ指示が行われた場合でも、そのユーザ指示に応じた処理を適切なタイミングで実行することができ、コンテンツの出力が円滑なものとなる。

指示処理内容に応じた処理の実行タイミングとして、コンテンツの逐次出力の終了直後、又はその指示タイミングから所定時間が経過したときとしたから、コンテンツの出力途中で所定のユーザ指示が行われた場合でも、データの突然の切り替わりによって重要部分などを見逃したり、見間違えたりするおそれもなく、コンテンツの出力が円滑なものとなる。

ＣＰＵ１１は、コンテンツの出力途中において逐次出力された出力済みのデータのうち、指示情報メモリ１３ｄ内の指示タイミングの時点で出力されていたデータを特定すると共に、その特定データに対応付けられている処理内容を指示処理内容として特定して当該処理を実行するようにしたので、指示タイミングから指示処理内容を特定することができる。

コンテンツを構成する個々のデータに対応付けてその出力タイミングとして、「データ読み込み時のタイムスタンプ」を記憶する出力情報メモリ１３ｃを有し、ＣＰＵ１１は、出力情報メモリ１３ｃ内の「データ読み込み時のタイムスタンプ（出力タイミング）」と指示情報メモリ１３ｄ内の指示タイミングとを照合することによってその指示タイミングの時点で出力されていたデータを特定するようにしたので、指示されたデータをその指示タイミングから適切に特定することができる。

出力情報メモリ１３ｃは、コンテンツを構成する個々のデータに対応付けてその出力タイミングのほかに、その処理内容を記憶し、ＣＰＵ１１は、出力情報メモリ１３ｃ内の出力タイミングと指示情報メモリ１３ｄ内の指示タイミングとを照合することによって、その指示タイミングの時点で出力されていたデータを特定すると共に、その特定データに対応付けられている処理内容を指示処理内容として特定して当該処理を実行するようにしたので、容易かつ確実な特定が可能となる。

ＣＰＵ１１は、コンテンツを構成する個々のデータを逐次出力する毎に、出力したデータに対応付けてその出力タイミング及び処理内容を出力情報として生成して出力情報メモリ１３ｃに記憶させるようにしたので、予めコンテンツ毎の出力情報を用意しておかなくても、コンテンツの出力時にその出力情報を生成することができる。

コンテンツは、通信網（無線通信網３、インターネット４記憶部１３）を介して受信した複数のデータから成るｗｅｂページデータであり、ＣＰＵ１１は、逐次受信したｗｅｂページを構成する個々のデータが表示画面上に逐次配置される毎に、配置表示されたデータに対応付けてその出力タイミング及び処理内容を出力情報として生成して出力情報メモリ１３ｃに記憶させるようにしたので、ｗｅｂページを受信するだけで出力情報を生成することができる。

ＣＰＵ１１は、コンテンツを構成する個々のデータが逐次表示される表示画面上の任意の位置を指示するユーザ操作が行われたか否かに基づいて所定のユーザ指示が行われたか否かを判別した結果、そのユーザ指示が行われた際に、その指示タイミング及び指示位置を検出して指示情報メモリ１３ｄに記憶させた状態において、この指示情報メモリ１３ｄを参照して、その指示タイミング及び指示位置で表示されていたデータを特定すると共に、その特定データに対応付けられている処理内容を特定して当該処理を実行するようにしたので、指示タイミングの時点で複数のデータが出力されていても指示されたデータと共にその処理内容を適切に特定することが可能となる。

なお、上述した第１実施形態においては、コンテンツの出力途中でのユーザ指示の回数としては特に言及しなかったが、所定のユーザ指示が複数回行われた際には、その指示毎に指示タイミングを検出して指示情報メモリ１３ｄに記憶させるようにしてもよい。この場合、指示情報メモリ１３ｄを参照した結果、複数の指示タイミングが記憶されていれば、指示タイミング毎にその指示処理内容に応じた処理の実行タイミングをそれぞれ特定して当該処理を逐次実行するようにすればよい。これによって複数のユーザ指示が行われた場合でも対応可能となる。

また、指示情報メモリ１３ｄに複数の指示タイミングが記憶されている場合にそのユーザ指示に応じて複数の処理を逐次実行する場合に限らず、例えば、複数の指示タイミングの中からユーザ操作によって任意に選択指定された指示タイミングからその指示処理内容に応じた処理の実行タイミングを特定して当該処理を実行するようにしてもよい。これによって例えば、間違って複数のユーザ指示を行ってしまった場合でも、ユーザの所望する処理の実行が可能となり、また、正しいユーザ指示であっても重要度の高い処理を優先的に実行することができる。

また、上述した第１実施形態においては、指示処理内容に応じた処理の実行タイミングとして、コンテンツの逐次出力の終了直後を示す実行タイミング（１）、又は指示タイミングから所定時間経過時を示す実行タイミング（２）としたが、これに限らず、例えば、コンテンツの区切り検出時、又はコンテンツの出力開始から所定時間経過毎であってもよい。また、上述した第１実施形態においては、実行タイミング（１）、（２）の中からユーザ操作により予め任意に選択可能としたが、例えば、実行タイミングをコンテンツの種類毎に固定するようにしてもよい。

また、上述した第１実施形態においては、コンテンツとしてＷｅｂページを例示したが、これに限らず、例えば、デジタルカメラで撮影した撮影画像（動画像）データをコンテンツとして再生する場合であってもよい。この場合、コンテンツの再生開始時からそのコンテンツを構成する個々のデータ（フレーム）に対応付けて、そのデータが再生されるまでの再生経過時間を示す出力タイミングを出力情報メモリ１３ｃに記憶させるようにしてもよい。この場合、処理内容（例えば、スキップや早送りなど）をユーザ操作で指示するようにしてもよい。このようにコンテンツが撮影画像（動画像）データであっても同様に適用可能となる。

更に、撮影画像データとしては、動画像データに限らず、複数枚の静止画像（静止画像群）データであってもよく、この複数枚の静止画像をスライドショー表示（逐次切り替え表示）する場合するようにしてもよい。この場合、一定時間毎に画像を自動的に切り替え表示するスライドショーにあっては、画像の残り枚数に切り替え時間を乗じた値を出力タイミングとして出力情報メモリ１３ｃに記憶させるようにしてもよい。また、この場合、処理内容（例えば、スキップや早送りなど）をユーザ操作で指示するようにしてもよい。このようにコンテンツが撮影画像（静止画像）データをスライドショー形式で再生表示する場合であっても同様に適用可能となる。

（第２実施形態）
以下、この発明の第２実施形態について図７を参照して説明する。
なお、上述した第１実施形態は、コンテンツの出力途中で所定のユーザ指示が行われた際に、その際の指示タイミングを検出して指示情報メモリ１３ｄに記憶させ、この指示情報メモリ１３ｄに記憶されている指示タイミングよりも遅い所定のタイミングをそのユーザ指示に応じた処理の実行タイミングとして特定して当該処理を実行するようにしたが、この第２実施形態にあっては、コンテンツの出力途中で所定のユーザ指示が行われた場合に、そのユーザ指示されたタイミングで出力されていたデータに対する処理内容を特定し、その処理内容に応じた処理をそのユーザ指示よりも遅い所定のタイミングで実行するようにしたものである。

なお、第２実施形態では出力対象のコンテンツとして、テレビ局側からリアルタイムに受信したテレビ放送番組を出力する場合で、このテレビ放送番組は、インターネット４を介してテレビ局側と送受信が可能な双方向番組であり、例えば、視聴者への質問や募集などに対して視聴者がその番組に参加する場合を示している。ここで、両実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第２実施形態の特徴部分を中心に説明するものとする。なお、図７は、タブレット端末装置１の全体動作のうち、第２実施形態の特徴部分の動作概要を示したフローチャートであり、この図７のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。

図７は、テレビ放送受信機能の起動に応じて実行開始される動作（第２実施形態の特徴的な動作）を説明するためのフローチャートである。
先ず、ＣＰＵ１１は、テレビ・ラジオ放送受信部１７が起動され、テレビ放送番組（双方向番組）が選局されると（ステップＢ１）、テレビ・ラジオ放送受信部１７からその双方向番組を受信する動作を開始すると共に（ステップＢ２）、その番組内容を逐次読み込むと共にそのテレビ映像データ（フレーム）を表示画面上に逐次表示させ、音声データを音声出力部１９から逐次出力させる出力動作を開始する（ステップＢ３）。そして、番組内容の区切り（コマーシャルの開始時）を検出する動作を開始する（ステップＢ４）。この場合、フレーム毎に映像データや音声データを基にコマーシャルの開始時をその番組内容の区切りとして検出するようにしている。

このようにコンテンツ（双方向番組）を構成する個々のデータ（フレーム）を逐次出力する。この出力途中においてそのデータに対して所定のユーザ指示操作（双方向番組への参加を指示する操作）が行われたかを調べたり（ステップＢ５）、番組内容の区切り（コマーシャル）を検出したかを調べたり（ステップＢ６）、テレビ放送受信の終了を指示するユーザ操作が行われたかを調べたりする（ステップＢ７）。ここで、テレビ放送受信の終了がユーザ操作により指示されたときには（ステップＢ７でＹＥＳ）、この図７のフローから抜ける。

いま、双方向番組の出力途中において視聴者への質問や意見などを募集するためのメッセージがテレビ映像に重畳された場合、そのメッセージが表示されている間又は所定時間が経過するまでの間に、視聴者から双方向番組への参加を指示する操作（番組参加指示操作）が行われたときには（ステップＢ５でＹＥＳ）、その受信メッセージの内容に基づいて、その指示処理内容（質問や募集内容など））を特定して、指示情報メモリ１３ｄに一時記憶させる（ステップＢ８）。更に、この受信メッセージの内容を出力情報メモリ１３ｃに一時記憶させる（ステップＢ９）。その後、上述のステップＢ５に戻る。

一方、番組内容の区切り（コマーシャルの開始時）を検出したときには（ステップＢ６でＹＥＳ）、指示情報メモリ１３ｄ内に指示処理内容が記憶されているか、つまり、コマーシャルの開始前に番組参加指示操作が行われたかを調べ（ステップＢ１０）、番組参加指示操作が行われていなければ（ステップＢ１０でＮＯ）、上述のステップＢ５に戻るが、番組参加指示操作が行われていれば（ステップＢ１０でＹＥＳ）、出力情報メモリ１３ｃ内の受信メッセージの内容を読み出して表示画面（テレビ画面）に重畳表示させる（ステップＢ１１）。この場合、表示画面（テレビ画面）にはコマーシャルが表示されているが、その一部に受信メッセージの内容を重ね合わせ表示させる。

次に、コマーシャルの開始時に指示情報メモリ１３ｄ内の指示処理内容に応じて処理を実行する（ステップＢ１２）。すなわち、受信メッセージの内容がコマーシャル映像に重畳表示されている状態において、例えば、視聴者への質問や募集内容に応じて回答データや意見データなどがユーザ操作によって入力されると、その入力された回答データや意見データなどをテレビ局側に送信する処理を行う。その後、上述のステップＢ５に戻り、以下、上述の動作を繰り返す。

以上のように、第２実施形態においてＣＰＵ１１は、コンテンツを構成する個々のデータを逐次出力する出力途中においてその出力されたデータに対して所定のユーザ指示が行われた場合に、そのユーザ指示されたタイミングで出力されていたデータに対する処理内容を特定し、その処理内容に応じた処理をそのユーザ指示よりも遅い所定のタイミングで実行するようにしたので、第１実施形態と同様に、コンテンツの出力途中で所定の指示が行われた場合でも、その指示に応じた処理を適切なタイミングで実行することができ、コンテンツの出力が円滑なものとなる。また、双方向番組において視聴者への質問や募集などに対して視聴者がその番組に参加する場合、コマーシャル放送が開始されてから行うことができる。

なお、上述した第２実施形態においては、テレビ放送番組（双方向番組）を受信してリアルタイムに表示する場合を例示したが、テレビ放送番組を録画記録した後にその録画番組を再生する場合であってもよい。この場合、コンテンツの再生開始時からそのコンテンツを構成する個々のデータに対応付けて、そのデータが再生されるまでの再生経過時間を出力タイミングとして出力情報メモリ１３ｃに一時記憶するようにしてもよい。これによってテレビ放送番組をリアルタイムに視聴する場合に限らず、録画番組であっても同様に適用可能となる。また、テレビ放送録画時に所定のシーンなどの区切り毎にチャプタを付加するようにすれば、このチャプタを指示処理内容に応じた処理の実行タイミングとして検出するようにしてもよい。このようにチャプタ検出時を処理の実行タイミングとすれば、例えば、シーンが異なるまでは同一のシーンの再生を継続して視聴することが可能となる。

また、上述した第２実施形態においては、指示処理内容に応じた処理の実行タイミングとして、コンテンツの区切り検出時（コマーシャル放送の開始時）としたが、上述のようにチャプタ検出時としてもよく、更に、第１実施形態と同様にコンテンツの出力終了直後などであってもよい。

その他、コンテンツとしては、画像データに限らず、音声データであつてもよい。この場合、コンテンツが電子書籍データの内容を音声読み上げする場合に、章や節などのセクションを処理の実行タイミングとして検出するようにしてもよい。このようにセクション検出時を処理の実行タイミングとすれば、同じ章や節を継続して聞くことが可能となる。

また、上述した各実施形態においては、出力制御装置として、タブレット端末装置に適用した場合を示したが、これに限らず、パーソナルコンピュータ、ＰＤＡ（個人向け携帯型情報通信機器）、デジタルカメラ、音楽プレイヤー、電子ゲームなどであってもよい。

また、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
コンテンツを構成する個々のデータを逐次出力する出力途中においてその出力途中のデータに対して所定のユーザ指示が行われたか否かを判別する判別手段と、
前記判別手段によって所定のユーザ指示が行われたと判別された際に、その指示タイミングを検出して指示情報記憶手段に記憶させる指示制御手段と、
前記指示情報記憶手段に記憶されている指示タイミングよりも遅い所定のタイミングをそのユーザ指示に応じた処理の実行タイミングとして特定して当該処理を実行する指示処理手段と、
を備えたことを特徴とする出力制御装置である。
（請求項２）
請求項２に記載の発明は、請求項１に記載の出力制御装置において、
前記指示処理手段は、前記コンテンツの逐次出力の終了直後、前記コンテンツの区切り検出時、前記指示タイミングから所定時間経過時、前記コンテンツの出力開始から所定時間経過毎のうち、そのいずれかを前記実行タイミングとして特定する、
ことを特徴とする。
（請求項３）
請求項３に記載の発明は、請求項１又は請求項２に記載の出力制御装置において、
前記指示処理手段は、前記逐次出力された出力済みのデータのうち、前記指示情報記憶手段内の指示タイミングの時点で出力されていたデータを特定すると共に、その特定データに対応付けられている処理内容を特定して当該処理を実行する、
ことを特徴とする。
（請求項４）
請求項４に記載の発明は、請求項３に記載の出力制御装置において、
前記コンテンツを構成する個々のデータに対応付けてその出力タイミングを記憶する出力情報記憶手段を更に備え、
前記指示処理手段は、前記出力情報記憶手段内の出力タイミングと前記指示情報記憶手段内の指示タイミングとを照合することによってその指示タイミングの時点で出力されていたデータを特定する、
ことを特徴とする。
（請求項５）
請求項５に記載の発明は、請求項４に記載の出力制御装置において、
前記出力情報記憶手段は、コンテンツを構成する個々のデータに対応付けてその出力タイミング及び処理内容を記憶し、
前記指示処理手段は、前記出力情報記憶手段内の出力タイミングと前記指示情報記憶手段内の指示タイミングとを照合することによって、その指示タイミングの時点で出力されていたデータを特定すると共に、その特定データに対応付けられている処理内容を特定して当該処理を実行する、
ことを特徴とする。
（請求項６）
請求項６に記載の発明は、請求項５に記載の出力制御装置において、
前記コンテンツを構成する個々のデータが逐次出力される毎に、出力されたデータに対応付けてその出力タイミング及び処理内容を出力情報として生成して前記出力情報記憶手段に記憶させる出力情報生成手段を更に備える、
ことを特徴とする。
（請求項７）
請求項７に記載の発明は、請求項６に記載の出力制御装置において、
前記コンテンツを受信する通信手段を更に備え、
前記コンテンツは、前記通信手段を介して受信した複数のデータから成るページデータであり、
前記出力情報生成手段は、前記通信手段によって逐次受信したページデータを構成する個々のデータが表示画面上に逐次配置される毎に、配置表示されたデータに対応付けてその出力タイミング及び処理内容を出力情報として生成して前記出力情報記憶手段に記憶させる、
ことを特徴とする。
（請求項８）
請求項８に記載の発明は、請求項５に記載の出力制御装置において、
前記出力情報記憶手段は、前記コンテンツの再生開始時からそのコンテンツを構成する個々のデータに対応付けて、そのデータが再生されるまでの再生経過時間を示す出力タイミングを記憶する、
ことを特徴とする。
（請求項９）
請求項９に記載の発明は、請求項１又は請求項２に記載の出力制御装置において、
前記判別手段は、コンテンツを構成する個々のデータが逐次表示される表示画面上の任意の位置を指示するユーザ操作が行われたか否かに基づいて所定のユーザ指示が行われたか否かを判別し、
前記指示制御手段は、前記判別手段によって所定のユーザ指示が行われたと判別された際に、その指示タイミング及び指示位置を検出して指示情報記憶手段に記憶させ、
前記指示処理手段は、前記指示情報記憶手段を参照して、その指示タイミング及び指示位置に表示されていたデータを特定すると共に、その特定データに対応付けられている処理内容を特定して当該処理を実行する、
ことを特徴とする。
（請求項１０）
請求項１０に記載の発明は、請求項１〜請求項９のいずれか１項に記載の出力制御装置において、
前記指示制御手段は、前記判別手段によって所定のユーザ指示が複数回行われたと判別された際に、その指示毎の指示タイミングを検出して前記指示情報記憶手段に記憶させ、
前記指示処理手段は、前記出力されたデータに対して複数の指示タイミングが前記指示情報記憶手段に記憶されているか否かを判別し、複数の指示タイミングが記憶されていれば、指示タイミング毎にそのユーザ指示に応じた処理の実行タイミングをそれぞれ特定して当該処理を逐次実行する、
ことを特徴とする。
（請求項１１）
請求項１１に記載の発明は、請求項１〜請求項９のいずれか１項に記載の出力制御装置において、
前記指示制御手段は、前記判別手段によって所定のユーザ指示が複数回行われたと判別された際に、その指示毎の指示タイミングを検出して前記指示情報記憶手段に記憶させ、
前記指示処理手段は、前記出力されたデータに対して複数の指示タイミングが前記指示情報記憶手段に記憶されているか否かを判別し、複数の指示タイミングが記憶されていれば、この複数の指示タイミングの中からユーザ操作により任意に選択指定された指示タイミングからそのユーザ指示に応じた処理の実行タイミングを特定して当該処理を実行する、
ことを特徴とする。
（請求項１２）
請求項１２に記載の発明は、
コンテンツを構成する個々のデータを逐次出力する出力途中においてその出力されたデータに対して所定のユーザ指示が行われたか否かを判別する判別手段と、
前記判別手段によって所定のユーザ指示が行われたと判別された場合に、そのユーザ指示されたタイミングで出力されていたデータに対する処理内容を指示処理内容として特定すると共に、そのユーザ指示よりも遅い所定のタイミングを前記特定した指示処理内容に応じた処理の実行タイミングとして特定する特定手段と、
前記特定手段によって特定された指示処理内容に応じた処理を前記特定された実行タイミングで実行する指示処理手段と、
を備えたことを特徴とする出力制御装置である。
（請求項１３）
請求項１３に記載の発明は、請求項１２に記載の出力制御装置において、
前記特定手段は、前記コンテンツの逐次出力の終了直後、前記コンテンツの区切り検出時、前記指示タイミングから所定時間経過時、前記コンテンツの出力開始から所定時間経過毎のうち、そのいずれかを前記実行タイミングとして特定する、
ことを特徴とする。
（請求項１４）
請求項１４に記載の発明は、
出力制御装置のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
コンテンツを構成する個々のデータを逐次出力する出力途中においてその出力途中のデータに対して所定のユーザ指示が行われたか否かを判別する判別手段、
前記判別手段によって所定のユーザ指示が行われたと判別された際に、その指示タイミングを検出して指示情報記憶手段に記憶させる指示制御手段、
前記指示情報記憶手段に記憶されている指示タイミングよりも遅い所定のタイミングをそのユーザ指示に応じた処理の実行タイミングとして特定して当該処理を実行する指示処理手段、
として機能させるようにしたコンピュータが読み取り可能なプログラムである。
（請求項１５）
請求項１５に記載の発明は、
出力制御装置のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
コンテンツを構成する個々のデータを逐次出力する出力途中においてその出力されたデータに対して所定のユーザ指示が行われたか否かを判別する判別手段、
前記判別手段によって所定のユーザ指示が行われたと判別された場合に、そのユーザ指示されたタイミングで出力されていたデータに対する処理内容を指示処理内容として特定すると共に、そのユーザ指示よりも遅い所定のタイミングを前記特定した指示処理内容に応じた処理の実行タイミングとして特定する特定手段、
前記特定手段によって特定された指示処理内容に応じた処理を前記特定された実行タイミングで実行する指示処理手段、
として機能させるようにしたコンピュータが読み取り可能なプログラムである。

１ タブレット端末装置
２ コンテンツ配信装置（サーバ装置）
３ 無線通信網
４ インターネット
１３ 記憶部
１３ａ プログラムメモリ
１３ｃ 出力情報メモリ
１３ｄ 指示情報メモリ
１５ タッチ表示部
１６ 通信部
１７ テレビ・ラジオ放送受信部
１８ マウス操作部
１９ 音声出力部

Claims (6)

1. 時系列で変化する一連の画像表示内容を表示する画像処理装置であって、
   前記一連の画像表示内容が変化して表示されている途中にあって、任意のタイミングで前記画像表示内容の内で任意の座標位置が指示された際は、前記画像表示内容の一連の表示を妨げることなく、その指示のあった指示タイミング時点と指示座標位置とを検出する検出手段と、
   前記検出手段で検出された前記指示タイミング時点と前記指示座標位置とを前記一連の画像表示内容に対応付けて記憶手段に記憶させる記憶制御手段と、
   前記一連の画像表示内容の表示が終了したか否かを判別する判別手段と、
   前記一連の画像表示内容の内で、前記記憶手段に記憶された指示タイミング時点で表示されていた画像表示内容を特定する特定手段と、
   前記判別手段で前記一連の画像表示内容の表示が終了したと判別された際に、前記特定手段で特定された画像表示内容の内で前記指示座標位置に表示されていた個別情報に基づいた処理を実行する処理手段と、
   を具備したことを特徴とする画像処理装置。
2. 前記特定手段は、前記指示タイミング時点で前記画像表示内容を特定すると共に、特定された当該画像表示内容の内で前記指示座標位置に表示されていた個別情報を特定する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記処理手段は、前記判別手段で前記一連の画像表示内容の表示が終了したと判別されるまでは、前記特定手段による特定を待機し、前記一連の画像表示内容の表示が終了した直後において、前記個別情報に基づいた所定処理を実行する、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記画像表示内容に対する指示操作に対する処理実行タイミングを、前記一連の画像表示内容の表示終了後とするか、前記指示操作後の所定時間経過後とするか、を予め任意に選択可能とする選択手段と、
   を更に具備し、
   前記処理手段は、前記選択手段で前記一連の画像表示内容の表示終了後とする選択があった場合に、前記一連の画像表示内容の表示終了した判別されたタイミングで前記個別情報に対する処理を実行し、一方、前記選択手段で前記指示操作後の所定時間経過後とする選択があった場合に、前記指示操作から所定時間経過後のタイミングで前記個別情報に対する処理を実行する、
   ことを特徴とする請求項１〜３の何れかに記載の画像処理装置。
5. 前記画像表示内容は、特定の画像表示内容を記憶するリンク先へのジャンプを指示するリンク情報を含み、
   前記処理手段は、前記取得手段で取得した個別情報が前記リンク情報であれば、当該リンク情報に基づいたそのリンク先の画像表示内容を取得して表示させる処理を行う、
   ことを特徴とする請求項１〜５の何れかに記載の画像処理装置。
6. 時系列で変化する一連の画像表示内容を表示する画像処理装置のコンピュータを制御するためのプログラムであって、
   前記コンピュータを、
   前記一連の画像表示内容が変化して表示されている途中にあって、任意のタイミングで前記画像表示内容の内で任意の座標位置が指示された際は、前記画像表示内容の一連の表示を妨げることなく、その指示のあった指示タイミング時点と指示座標位置とを検出する検出手段、
   前記検出手段で検出された前記指示タイミング時点と前記指示座標位置とを前記一連の画像表示内容に対応付けて記憶手段に記憶させる記憶制御手段、
   前記一連の画像表示内容の表示が終了したか否かを判別する判別手段、
   前記一連の画像表示内容の内で、前記記憶手段に記憶された指示タイミング時点で表示されていた画像表示内容を特定する特定手段、
   前記判別手段で前記一連の画像表示内容の表示が終了したと判別された際に、前記特定手段で特定された画像表示内容の内で前記指示座標位置に表示されていた個別情報に基づいた処理を実行する処理手段、
   として機能させるようにしたプログラム。

Images