JP5799815B2 - 画像処理プログラムおよび画像処理装置 - Google Patents

画像処理プログラムおよび画像処理装置 Download PDF

Info

Publication number
JP5799815B2
JP5799815B2 JP2012002513A JP2012002513A JP5799815B2 JP 5799815 B2 JP5799815 B2 JP 5799815B2 JP 2012002513 A JP2012002513 A JP 2012002513A JP 2012002513 A JP2012002513 A JP 2012002513A JP 5799815 B2 JP5799815 B2 JP 5799815B2
Authority
JP
Japan
Prior art keywords
image
absolute position
sign
frame
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012002513A
Other languages
English (en)
Other versions
JP2013142987A (ja
Inventor
北 耕次
耕次 北
由紀子 村田
由紀子 村田
宮本 高宏
高宏 宮本
由美子 中川
由美子 中川
智生 中野
智生 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Noritsu Precision Co Ltd
Original Assignee
NK Works Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NK Works Co Ltd filed Critical NK Works Co Ltd
Priority to JP2012002513A priority Critical patent/JP5799815B2/ja
Publication of JP2013142987A publication Critical patent/JP2013142987A/ja
Application granted granted Critical
Publication of JP5799815B2 publication Critical patent/JP5799815B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像処理プログラムおよび画像処理装置に関する。
従来より、動画の中の対象物にモザイク、ぼかし等を施し、その対象物の移動に追従してモザイクも移動するような画像処理が多く提案されている。例えば、特許文献1には、動画を構成するすべてのフレームに対して、次のような画像処理を行うことが開示されている。すなわち、各フレームに対象物が写っているか否かを検出し、写っている場合には、その対象物の大きさや形状に適したモザイクを決定し、これを対象物に対して施す。このような画像処理をすべてのフレームに対して行っている。
特開2011−97238号公報
しかしながら、上記のように、動画のすべてのフレームに対して移動対象物を検出した上で、対象物に適したモザイクを施すといった画像処理を行うのは多大な時間を要し、コンピュータの負担も大きい。また、動画中の対象物を追従するという画像処理は、モザイクを施して動画中の対象物を隠すという目的以外にも用いられており、例えば、矢印等の図形、または文字などを動画中の対象物に付して、これを追従するために用いるといった画像処理も行われている。しかしながら、このような画像処理も、すべてのフレームに対して適用すると、モザイクを施す場合と同様に負担が大きいという問題がある。本発明は、上記問題を解決するためになされたものであり、動画内で移動する対象物を指し示す標識を、容易に動画に表すことができる画像処理プログラムおよび画像処理装置を提供することを目的とする。
本発明に係る画像処理プログラムは、1のタイムライン上の画像群の中から第1の画像、及び当該第1の画像との間に少なくとも一つの中間画像が存在する第2の画像、をユーザから受け付けるステップと、前記第1の画像上への第1の標識の書き込みをユーザから受け付けるとともに、前記第1の標識の前記タイムラインの画像上での絶対位置である第1の絶対位置を記憶するステップと、前記第2の画像上への第2の標識の書き込みをユーザから受け付けるとともに、前記第2の標識の前記タイムラインの画像上での絶対位置である第2の絶対位置を記憶するステップと、前記第1の絶対位置と前記第2の絶対位置とを結ぶ直線上に、前記中間画像の数と同じ数の中間絶対位置を所定間隔で割り付けて前記各中間画像とそれぞれ対応づけるとともに、前記各中間画像上の対応する中間絶対位置に中間標識をそれぞれ書き込むステップと、をコンピュータに実行させる。
この構成によれば、1のタイムライン上の画像群の中から、2つの画像を選択し、各画像に標識を書き込むとともに、各標識の絶対位置を記憶する。そして、両絶対位置を結ぶ直線上に、選択した画像の間にある中間画像と同じ数の中間絶対位置を割り付け、各中間画像の中間絶対位置に中間標識を書き込んでいる。すなわち、動画を構成する画像の中で、対象物等を考慮して標識を書き込むのは、最初と最後の2つの画像だけであり、残りの中間画像は、最初と最後の画像の各標識の間の直線上にあると仮定して、中間標識を書き込んでいる。したがって、中間画像については、対象物を考慮せずに中間標識を書き込むため、画像処理にかかる時間を短縮でき、処理を軽減することができる。
なお、本発明でいう絶対位置とは、タイムライン上のすべての画像に共通する位置であり、異なる画像であっても絶対位置が同じであれば、タイムライン上の画像では同じ位置を示すことになる。絶対位置としては、例えば、画像上に規定された座標を用いることができ、座標として表された絶対位置を絶対座標と称することがある。また、タイムライン上の画像群から第1の画像と第2の画像を選択するステップは、個別に行われてもよいが、同時に行うこともできる。例えば、複数の連続して並ぶ画像群を一括で選択したときに、その先頭に配置される画像を第1の画像にするとともに、最後尾に配置される画像を第2の画像とすることができる。
第1の画像、及び第2の画像をユーザから受け付けるステップは、これら2つの画像を別個に受け付けてもよいし、一度に受け付けてもよい。例えば、タイムライン上の画像群の中から連続する3以上の画像の選択をユーザから受け付け、これら3以上の画像のうち、先頭の画像を第1の画像、最後尾の画像を第2の画像として受け付けることもできる。
上記標識は、図形、文字など、種々の態様にすることができ、第1の標識、第2の標識、及び各中間標識が、同じ種類の図形または文字であることが好ましい。
中間絶対位置を規定するには、例えば、以下のようにすることができる。すなわち、第1絶対位置及び第2絶対位置に、各標識上にある少なくとも一つの規定点の絶対位置を含めておき、中間絶対位置を、第1の標識における各規定点の第1絶対位置と第2の標識における各規定点の第2絶対位置との直線上にそれぞれ設けることができる。したがって、規定点の絶対位置は、例えば、画像における座標として規定することができる。なお、規定点は、各標識の近傍に設けることもできる。
あるいは、第1絶対位置及び第2絶対位置に、前記各標識において最も離れた第1規定点及び第2規定点の絶対位置を含めておき、中間絶対位置を、第1規定点の第1絶対位置と第2絶対位置との直線上、及び第2規定点の第1絶対位置と第2絶対位置との直線上にそれぞれ設けることもできる。例えば、第1の標識、第2の標識、及び各中間標識が矩形状の図形である場合には、第1規定点及び第2規定点が、それぞれ、当該図形の対角線上で対向する2点とすることができる。
第1の標識、第2の標識、及び各中間標識が閉じた図形である場合には、当該図形の内部または外部に、画像の視認を抑制する画像処理を施すことができる。画像の視認を抑制する画像処理とは、例えば、モザイク、ぼかし、着色などが該当するが、標識として、対象物を囲むように図形を設定した場合、その対象物にモザイク等を付することができるほか、その対象物以外の領域にモザイク等を付することもできる。
また、第1の標識、第2の標識、及び各中間標識が文字の場合、当該文字は、時刻とすることができる。これにより、対象物の移動に伴う時間の経過を視認することができる。なお、ここでいう「時刻」とは、例えば、実際に撮影された時刻のほか、タイムライン上での時刻とすることもできる。タイムライン上の時刻としては、タイムラインの先頭のフレームからの経過時間のほか、任意のフレームからの経過時間など種々の設定が可能である。また、標識としての文字を、各画像のファイル名とすることもできる。
本発明に係る画像処理装置は、1のタイムライン上の画像群の中から第1の画像と、当該第1の画像との間に少なくとも一つの中間画像が存在する第2の画像と、をユーザから受け付ける画像選択部と、前記第1の画像上への第1の標識の書き込みをユーザから受け付けるとともに、前記第1の標識の前記タイムラインの画像上での絶対位置である第1の絶対位置を記憶し、且つ前記第2の画像上への第2の標識の書き込みをユーザから受け付けるとともに、前記第2の標識の前記タイムラインの画像上での絶対位置である第2の絶対位置を記憶する標識設定部と、前記第1の絶対位置と前記第2の絶対位置とを結ぶ直線上に、前記中間画像の数と同じ数の中間絶対位置を所定間隔に割り付けて前記各中間画像とそれぞれ対応づけるとともに、前記各中間画像上の対応する中間絶対位置に中間標識をそれぞれ書き込む画像処理部と、を備えている。
本発明によれば、動画内で移動する対象物を指し示す標識を、容易に動画に書き込むことができる。
本発明の一実施形態に係る画像処理装置のブロック図である。 画像データが取り込まれる前の基本画面の図である。 画像データが取り込まれた後の基本画面の図である。 標識選択ダイアログボックスを示す図である。 モザイク設定用ダイアログボックスを示す図である。 選択フレーム群の先頭フレームを示す図である。 図6の先頭フレームにモザイクを施す画像処理を行った例を示す図である。 選択フレーム群の最後尾フレームを示す図である。 図8の最後尾フレームにモザイクを施した画像処理を行った例を示す図である。 仮想的に先頭フレームの移動対象物と最後尾フレームの移動対象物とを同一のフレームに表した例を示す図である。 中間フレームにおいてモザイクを施す画像処理を行うべき選択フレームの設定を説明する図である。 移動対象物を追従するモザイクを施した画像処理の例である。 矢印設定用ダイアログボックスを示す図である。 図6の先頭フレームに矢印を描画する画像処理を施した例を示す図である。 図8の最後尾フレームに矢印を描画する画像処理を施した例を示す図である。 中間フレームにおいて矢印を描画する画像処理を行うべき選択フレームの設定を説明する図である。 移動対象物を追従する矢印を描画した画像処理の例である。 文字設定用ダイアログボックスを示す図である。 図6の先頭フレームに文字を描画した画像処理を施した例を示す図である。 中間フレームにおいて文字を描画する画像処理を行うべき選択フレームの設定を説明する図である。 移動対象物を追従する文字を描画した画像処理の例である。
以下、図面を参照しつつ、本発明の一実施形態に係る画像処理プログラムおよび画像処理装置について説明する。本実施形態に係る画像処理プログラム及び画像処理装置は、動画の中で移動する対象物に対し、これを追従する標識を付する画像処理を行うものである。
<1.画像処理装置の概要>
図1に示す画像処理装置1は、本発明に係る画像処理装置の一実施形態である。画像処理装置1は、汎用のパーソナルコンピュータである。この画像処理装置1には、本発明に係る画像処理プログラムの一実施形態である画像処理プログラム2がインストールされている。画像処理プログラム2は、動画および静止画に対する画像処理を支援するためのアプリケーションソフトウェアであり、画像処理装置1に後述する動作に含まれるステップを実行させる。
画像処理装置1は、ディスプレイ10、入力部20、記憶部30および制御部40を有し、これらは、相互に通信可能となるようにバス線5で接続されている。本実施形態では、ディスプレイ10は、液晶ディスプレイであり、後述する画面等をユーザに対し表示する。入力部20は、マウスおよびキーボート等から構成され、画像処理装置1に対するユーザからの操作を受け付ける。また、記憶部30は、不揮発性のハードディスク等から構成され、制御部40は、CPU、ROMおよび揮発性のRAM等から構成される。
記憶部30内には、画像処理プログラム2、ソフトウェア管理領域50が確保されている。このソフトウェア管理領域50は、画像処理プログラム2が使用する領域である。また、ソフトウェア管理領域50内には、オリジナル画像領域51、選択フレーム群領域52、標識設定領域53、処理後画像領域54が確保されている。各領域51〜54の役割については、後述する。
制御部40は、記憶部30内に格納されている画像処理プログラム2を読み出して実行することにより、仮想的に画像選択部41、標識設定部42、及び画像処理部43として動作する。各部41〜43の動作については、後述する。
<2.画像処理装置の構成および動作の詳細>
制御部40は、ユーザが入力部20を介して所定の操作を行ったことを検知すると、画像処理プログラム2を起動する。画像処理プログラム2が起動されると、基本画面W1(図2参照)がディスプレイ10上に表示される。なお、制御部40は、ディスプレイ10上に表示される画面、ウィンドウ、ボタンその他の全ての要素の表示を制御する。
<2−1.画像データの取り込み>
基本画面W1は、オリジナル画像領域51への画像データの取り込みの命令をユーザから受け付ける。オリジナル画像領域51へ取り込まれた画像データは、後述する画像処理の対象になる。制御部40は、静止画ファイル又は動画ファイルから、オリジナル画像領域51へ画像データを取り込む。なお、本明細書において、静止画ファイルとは、静止画形式のデータファイルであり、動画ファイルとは、動画形式のデータファイルである。
静止画ファイルから画像データを取り込む場合、ユーザは、入力部20を操作することにより、1の静止画ファイルを指定するか、又は1のフォルダを指定する。前者の場合、制御部40は、その静止画ファイルの記憶部30内のアドレスパスおよびファイル名をユーザに入力させる。後者の場合、制御部40は、そのフォルダの記憶部30内のアドレスパスおよびフォルダ名をユーザに入力させる。その後、制御部40は、指定された1の静止画ファイル又は指定された1のフォルダ内の全ての静止画ファイルを、オリジナル画像領域51に静止画ファイル群として保存する。なお、本明細書において、「群」という場合には、その要素数は複数とは限らず、1つであってもよい。
一方、動画ファイルから画像データを取り込む場合、ユーザは、入力部20を操作することにより、1の動画ファイルの記憶部30内のアドレスパスおよびファイル名を入力する。制御部40は、ユーザが動画ファイルを指定したことを検知すると、基本画面W1上に動画取込みウィンドウ(図示されない)を重ねて表示させる。動画取込みウィンドウは、指定された動画ファイルの全タイムラインのうち、任意の長さのタイムラインの選択をユーザから受け付ける。制御部40は、ユーザが入力部20を介して任意の長さのタイムラインの選択を行ったことを検知すると、その選択に対応する静止画ファイル群を生成する。この静止画ファイル群は、ユーザの選択に係るタイムラインの動画に含まれるフレーム群に1対1で対応する。その後、制御部40は、この静止画ファイル群をオリジナル画像領域51に保存する。
したがって、本実施形態では、後述する画像処理の対象は、動画ファイルではなく、静止画ファイルである。静止画ファイルは、オリジナル画像領域51へファイル単位、フォルダ単位、あるいは動画ファイルの全部又は一部のタイムライン単位で取り込まれる。
<2−2.静止画ファイル群の再生>
オリジナル画像領域51へ静止画ファイル群が取り込まれると、制御部40は、基本画面W1上に表示ウィンドウW2(図3参照)を重ねて表示させる。表示ウィンドウW2は、オリジナル画像領域51への静止画ファイル群の取り込み動作の数だけ、表示される。
表示ウィンドウW2内には、まず、オリジナル画像領域51へ取り込まれた静止画ファイル群に含まれる1の静止画ファイル(例えば、タイムライン上で先頭のフレームに対応する静止画ファイル)が表示される。なお、制御部40は、静止画ファイル群が動画ファイルに由来するものではなく、静止画ファイルに由来するものであっても、静止画ファイル群に含まれる静止画ファイルをタイムラインに沿って配列されているものと認識する。配列は、ファイルの属性(ファイル名、作成日時、更新日時等)から自動的に判断される。
後述するとおり、表示ウィンドウW2内に表示されるフレームは、ユーザの操作を受けて切り替わる。制御部40は、表示ウィンドウW2内に現在表示されているフレームの識別情報を、表示フレーム領域54内でリアルタイムに管理する。
制御部40は、表示ウィンドウW2内で、その表示ウィンドウW2に対応する静止画ファイル群を、動画として再生可能である。図3に示すとおり、基本画面W1上には、ウィンドウ選択プルダウンメニューT1、再生ボタンT2、コマ送りボタンT3、コマ戻しボタンT4およびタイムラインバーT5が配置されている。
表示ウィンドウW2が複数存在する場合であっても、アクティブな表示ウィンドウW2は1つである。選択部46は、ウィンドウ選択プルダウンメニューT1を介し、どの表示ウィンドウW2をアクティブとするかの選択をユーザから受け付ける。以下、アクティブな表示ウィンドウW2に対応する静止画ファイル群を、アクティブファイル群と呼ぶ。また、アクティブな表示ウィンドウW2内に現在表示されているフレームを、アクティブ表示フレームと呼ぶ。
再生ボタンT2は、アクティブファイル群の動画としての再生の命令をユーザから受け付ける。制御部40は、ユーザが入力部20を介して再生ボタンT2を押下したことを検知すると、アクティブな表示ウィンドウW2内に、アクティブファイル群のフレームをタイムラインに沿って順次コマ送りの形式で表示させる。なお、再生は、再生ボタンT2が押下された時点のアクティブ表示フレームから開始する。また、再生ボタンT2は、再生の停止の命令をユーザから受け付ける。制御部40は、再生中にユーザが入力部20を介して再生ボタンT2を押下したことを検知すると、アクティブな表示ウィンドウW2内の表示を、その時点のアクティブ表示フレームに固定する。
コマ送りボタンT3、コマ戻しボタンT4はそれぞれ、アクティブ表示フレームを、アクティブファイル群のタイムラインに沿って1つ後、1つ前のフレームへ切り替える命令をユーザから受け付ける。
タイムラインバーT5は、アクティブファイル群のタイムラインを図式的に表す。タイムラインバーT5は、そのバーが延びる方向に、アクティブファイル群のフレーム数で等分に分割されている。タイムラインバーT5上の左からn番目の分割領域は、アクティブファイル群のタイムライン上でn番目のフレームに対応する(nは、自然数)。
図3に示すように、タイムラインバーT5は、選択フレーム群に対応する分割領域A1と、非選択フレーム群に対応する分割領域A2とを異なる態様で表示する。選択フレーム群とは、アクティブファイル群のタイムライン上で現在選択されている区間に対応するフレーム群である。非選択フレーム群とは、アクティブファイル群のタイムライン上で現在選択されていない区間に対応するフレーム群である。本実施形態では、領域A1は、薄いトーンの色で表示され、領域A2は、濃いトーンの色で表示される。画像選択部41は、タイムラインバーT5を介し、アクティブファイル群のタイムライン上の任意の区間の選択をユーザから受け付ける。例えば、タイムラインバーT5でマウスをドラッグすることで、任意の区間を選択することができる。そして、後述するように、この選択フレーム群に対して画像処理が行われる。
<2−3.画像処理>
以下、選択フレーム群に対する画像処理について説明する。ここでは、動画の中で移動する対象物が存在する場合、その対象物に追従して移動する標識を付する画像処理を行う。上述した画像選択部41、標識設定部42、および画像処理部43は、このような標識を付する画像処理モジュールを実行可能である。そして、画像処理モジュールは、画像処理プログラム2に組み込まれている。
ユーザは、入力部20を介して基本画面W1を操作することにより、タイムラインの中で画像処理の対象となるフレーム群を選択する。この決定を行うには、タイムライン上で画像処理の対象、つまり、移動体が写っているフレーム群を確認した上で、画像処理を行うべきフレーム群を選択するが、このフレーム群が上述した選択フレーム群となる。画像選択部41は、ユーザが選択フレーム群の選択を行う操作を検知すると、いずれのフレームが選択されたかを、選択フレーム領域51に記憶する。こうして、選択フレーム群が選択された状態で、ユーザは画像処理を開始する。例えば、本実施形態においては、画像上に、文字、矢印、及びモザイクの3種類の標識を付することができ、標識設定部42は、以下に示すような標識の設定を行う。標識設定部42は、基本ウィンドウW1のプルダウンメニューなどから標識設定の画像処理が選択されたことを検知すると、図4のような標識選択ダイアログボックスD1を表示し、ユーザに、この標識選択ダイアログボックスD1の中から、文字、矢印、及びモザイクのいずれかを選択させる。まず、モザイクを施す場合について説明する。
(1)モザイク
モザイクを選択した場合、図5に示すようなモザイク設定用ダイアログボックスD2が表示され、詳細な設定が可能となる。ここでは、「モザイク」という処理名が付されているが、モザイク以外の画像処理も選択可能であり、例えば、黒着色、ぼかし、階調反転など、画像の視認を抑制する処理を選択することができる。すなわち、ある領域を選択してその領域の内部又は外部に画像処理を施すことで標識を作成することを示す処理として、代表例のモザイクという処理名を付している。したがって、以下では、「モザイク」という文言を、ぼかしなどの他の処理を含む総称として用いることもある。このダイアログボックスD2が現れると、動画に付する画像処理の種類の設定を行うほか、処理を行う先頭フレームまたは最後尾フレームの選択を行うことができる。
画像処理の選択について、このダイアログボックスD2では、モザイクが選択されているが、上述した黒着色など、他の画像処理も選択できる。また、選択した領域内に画像処理を施すことができるほか、選択した領域外に画像処理を施すこともできる。この場合には、ダイアログボックスD2にある「選択領域以外」のボックスにチェックを入れる。また、モザイクやぼかしを選択した場合、これらのサイズを選択可能となっている。例えば、モザイクの場合にはブロックサイズを選択することができ、ぼかしの場合にはσ値を選択することができる。
これと平行して、選択フレーム群の先頭にあるフレーム画像(第1の画像)に対し、画像処理を施すための選択領域を設定する。このダイアログボックスD2の下端部には、始点フレーム及び終点フレームのいずれかを選択できるラジオボタンが配置されており、図5のダイアログボックスD2では、始点フレームにチェックが入っているため、先頭フレームにおいて選択領域の設定ができるようになっている。この状態で、図6に示すように、表示ウィンドウW2には先頭フレームが表示されており、ユーザはモザイクを施すべき選択領域を設定する。
この方法には種々の方法があるが、例えば、キーボードのCtrlボタンを押しながらマウスをドラッグすることで、画像上で矩形状の領域を選択することができる。このとき、対象となる移動体を選択領域で囲むようにする。画像処理部43は、選択領域の設定操作を検知すると、図7に示すように、設定された選択領域Sを基準としてモザイクを付す画像処理を施す。図7の例では、上述した「選択領域以外」のボックスにチェックを入れた状態で、画像の右側にある車を矩形状の領域で囲んでいるので、この囲まれた領域外にモザイクが付されている。このとき、標識設定部42は、選択領域Sの対角線上の2つの頂点(領域の左上の頂点SA(規定点)と右下の頂点SB(規定点))の座標SA(x11,y11)、SB(x12,y12)を標識設定領域53に記憶し、ダイアログボックスにもその座標を表示する。この例では、開始点、及び終了点の座標が表示されているが、開始点とはマウスでドラッグするときの始点であり、終了点はドラッグが完了するときの終点であり、それぞれ上記頂点SA,SBに該当する。選択領域の設定は、マウスで行うほか、座標を直接入力することでも行うことができる。なお、標識設定領域53には、ダイアログボックスD2で設定したモザイクの種類なども記憶される。
こうして、先頭フレームにおける標識の設定が完了すると、最後尾フレームにおける標識の設定を行う。まず、モザイク設定用ダイアログボックスD2で終点フレームのラジオボタンをチェックすると、図8に示すように、表示ウィンドウW2には最後尾フレームが表示される。この状態で、先頭フレームと同様に、マウスをドラッグしながら、モザイクを施す矩形状の選択領域Fを設定する。これにより、図9に示すように、選択領域Fの外側にモザイクが施されるとともに、この領域Fの対角線上の2つの頂点(領域の左上の頂点FA(規定点)と右下の頂点FB(規定点))の座標FA(x21,y21)、FB(x22,y22)が標識設定領域53に記憶され、ダイアログボックスD2にもその座標が表示される。こうして、すべての設定が終了し、ダイアログボックスのOKボタンをクリックすると、画像処理部43が、先頭フレームと最後尾フレームの間に配置されている中間フレームに対して画像処理が行う。詳細は、以下の通りである。
上述したように、先頭フレーム及び最後尾のフレームで選択領域が設定されると、標識設定領域53には、各選択領域S,Fの2つの座標が記憶される。この座標は、先頭フレーム及び最後尾フレームにおける座標ではあるが、タイムラインにあるすべての画像に共通の座標となる。すなわち、一つのタイムラインの中では同じ大きさの画像が使用されるため、画像の中の位置を示すためには、すべての画像において共通の座標系を使用することができる。これを絶対座標(絶対位置)と称することとする。ここで、図10に示すように、先頭フレームで設定された選択領域Sと最後尾フレームで設定された選択領域Fを同じ画像上で仮想的に表す。ここで示されている座標SA、SB、及び座標FA、FBは、いずれもタイムラインの中のすべての画像を通して共通する絶対座標であるので、上述した先頭フレーム及び最後尾フレームで設定した座標をそのまま利用できる。このような絶対座標が標識設定領域53に記憶されている。
続いて、画像処理部43は、先頭フレームと最後尾フレームの間にある中間フレーム(中間画像)に対し、画像処理を施すべき領域を設定する。この点について、図11を参照しつつ説明する。図11は中間フレームへの標識の設定の例を示す概略図である。まず、上記のように設定された先頭フレームの選択領域Sの座標SAと最後尾フレームの選択領域Fの座標FAとを結ぶ直線L1上に、中間フレームと同じ数の中間点を設定する。この例は、3つの中間画像、つまり第1,第2及び第3中間画像が存在する場合であり、直線L1を4等分する3つの中間点を設定する。これらの中間点を第1,第2,第3左上中間点MA1,MA2,MA3とする。同様にして、先頭フレームの選択領域Sの座標SBと最後尾フレームの選択領域Fの座標FBとを結ぶ直線L2上に中間画像と同じ数の中間点を設定する。これらの中間点を第1,第2,第3右下中間点MB1,MB2,MB3とする。
こうして、例えば、第1左上中間点MA1と第1右下中間点MB1が決まると、これらを対角線の両端の頂点とする矩形状の領域が決まる。この領域M1を第1中間画像における選択領域M1として、第1中間画像に設定し、設定された選択領域M1の外側にモザイクを施す。すなわち、標識設定部42は、上記各中間点の座標を、対応する中間画像と関連づけて標識設定領域53に記憶し、画像処理部43は、各中間画像に対し、記憶された中間点の座標を頂点とする矩形状の選択領域を設定し、その外側にモザイクを施す画像処理を行う。同様にして、第2、第3中間画像にそれぞれ選択領域M2,M3を設定し、各中間フレームにおいて、選択領域の外側にモザイクを施す画像処理を行う。処理が施されたフレーム群A1は、選択されていないフレーム群A2とともに、一つのタイムラインを構成する静止画ファイル群として処理後画像領域54に記憶される。
こうして画像処理が完了した後、図3に示す基本ウィンドウW1の再生ボタンT2をクリックすると、処理後画像領域54から取り込んだ静止画ファイル群が、動画として再生される。そして、画像処理を施した選択フレーム群の再生が始まると、上述したように、モザイクが施された画像が再生される。図12は、その結果を示したものであり、図12(a)〜図12(c)は、それぞれ、選択フレーム群A1の先頭フレーム、第2中間画像、及び最後尾フレームを示している。この結果より、直接モザイクの設定をしていない第2中間画像においても、移動体の周囲を囲むように選択領域が設定されており、移動体を追従できていることが分かる。なお、上述した頂点MA1〜MA3,MB1〜MB3が本発明における中間絶対位置に相当し、これを基準に設定された選択領域M1〜M3に基づいて描画されたモザイクが本発明の中間標識に相当する。
(2)矢印
対象物を指し示す標識としては「矢印」を用いることもできる。図4の標識選択ダイアログボックスD1で「矢印」を選択すると、図13に示すような矢印設定用ダイアログボックスD3が現れる。これにより、例えば、矢印の先端の矢の形状、矢の有無、線のサイズ(太さ)、及び矢印の色の選択が可能である。そして、モザイクの設定時と同じく、先頭フレーム及び最後尾フレームにおいて、矢印を付する領域を設定する。図13のダイアログボックスD3では、下端部のラジオボタンで、始点フレームがチェックされているので、表示ウィンドウW2には、選択フレーム群の先頭フレームが表示される。そして、この先頭フレームに対して、矢印を描画する。すなわち、モザイクの設定と同様に、キーボードのCtrlボタンを押しながらマウスをドラッグすることで、画像処理部43は、図14に示すように、画像上に矢印を描画する。このとき、マウスでドラッグするときの始点から終点の間に矢印が描画され、終点に矢印の矢が描画される。そして、標識設定部42は、矢印の始点と終点の座標を標識設定領域53に記憶し、ダイアログボックスD3にもその座標を表示する。なお、矢印の描画は、マウスで行うほか、座標を直接入力することでも行うことができる。また、標識設定領域53には、ダイアログボックスD3で設定した矢印の種類、色なども記憶される。
これに続いて、最後尾フレームにおける矢印の描画を行う。モザイク設定時と同様に、ダイアログボックスD3で終点フレームをチェックし、表示ウィンドウW2に最後尾フレームを表示させる。この状態で、先頭フレームと同様に、マウスをドラッグすると、図15に示すように、表示ウィンドウW2上に矢印が描画されるとともに、矢印の始点と終点の座標が記憶される。こうして、すべての設定が終了し、ダイアログボックスD3のOKボタンをクリックすると、先頭フレームと最後尾フレームの間に配置されている中間フレームに対して画像処理が行われ、フレーム群は処理後画像領域54に記憶される。この画像処理はモザイクの設定と同じである。すなわち、モザイクの設定時に選択領域S,Fの2つの頂点が用いられたのと同様に、矢印における画像処理では、矢印の始点と終点の座標が利用される。
例えば、図16に示すように、先頭フレームの矢印Sと最後尾フレームの矢印Fにおける始点同士SA,FAを直線L1で結び、その直線L1に中間フレーム(第1〜第3中間フレーム)と同じ数の中間点MA1〜MA3を等分となるように設定する。同様に、先頭フレームと最後尾フレームにおける矢印S,Fの終点同士SB,FBを直線L2で結び、その直線L2に中間フレームと同じ数の中間点MB1〜MB3を等分となるように設定する。こうして設定された中間点同士を結ぶと、各中間フレームに描画される矢印M1〜M3が設定される。したがって、標識設定部42は、上記各中間点の座標を、対応する中間フレームと関連づけて標識設定領域53に記憶するとともに、矢印の種類なども記憶する。そして、画像処理部43は、記憶された矢印の種類などに基づいて、各中間フレームに対し、記憶された中間点の座標を頂点とする矢印を描画する画像処理を行う。これにより、図17に示すような画像が生成される。
(3)文字
対象物を指し示す標識としては「文字」を用いることもできる。図4のダイアログボックスで「文字」を選択すると、図18に示すような文字設定用ダイアログボックスD4が現れる。このダイアログボックスD4の中では、任意の文字を入力できるほか、各フレームのファイル名や時刻を設定することができる。この点は後述する。時刻とは、タイムライン上での各フレームの時刻であり、各フレームの画像ファイルとともに組み込まれている。また、文字の大きさ、文字の色、文字が付される領域の背景色も選択可能である。そして、モザイク、矢印の設定時と同じく、先頭フレーム及び最後尾フレームにおいて、文字を付する領域を設定する。図18のダイアログボックスD4では、下端部のラジオボタンで、始点フレームがチェックされているので、表示ウィンドウW2には、選択フレーム群の先頭フレームが表示される。そして、この先頭フレームに対して、文字を付する位置を選択する。ここでは、モザイクや矢印の設定とは異なり、文字を付する位置のみを選択する。すなわち、文字列の先頭を配置すべき位置を画像上でマウスによりクリックすると、画像処理部43は、図19に示すように、画像上の選択位置に文字列を表示させる。この例では、タイムライン上での時刻を表示させている。この場合、画像処理部43は、オリジナル画像領域51及び選択フレーム群領域52の少なくとも一方を参照し、先頭フレームの時刻を読み出して描画を行う。そして、標識設定領域53には、文字列の先頭の座標が記憶され、ダイアログボックスD4にもその座標が表示される。なお、文字列の表示は、マウスで行うほか、座標を直接入力することでも行うことができる。また、標識設定領域53には、ダイアログボックスD4で設定した文字の種類なども記憶される。
これに続いて、最後尾フレームにおける文字列の表示位置の設定を行う。モザイク設定時と同様に、ダイアログボックスD4で終点フレームをチェックし、表示ウィンドウW2に最後尾フレームを表示させる。この状態で、先頭フレームと同様に、表示ウィンドウW2上でマウスをクリックし、文字列の表示位置を設定すると、最後尾フレームに、文字列が表示されるとともに、標識設定領域53に文字列の先頭の座標が記憶される。こうして、すべての設定が終了し、ダイアログボックスのOKボタンをクリックすると、先頭フレームと最後尾フレームの間に配置されている中間フレームに対して画像処理が行われる。すなわち、図20に示すように、先頭フレームの文字列Sの先頭と、最後尾フレームの文字列Fの先頭とを結ぶ直線Lに、中間フレームと同じ数の中間点を等分となるように設定する。この例は、中間フレームが一つの場合を示している。こうして設定された中間フレームの中間点MAに、先頭フレーム及び最後尾フレームと同じ種類の文字列を描画する画像処理を行う。このとき、文字列として時刻を選択した場合には、同図に示すように、各中間フレームにおける時刻が選択画像領域またはオリジナル画像領域の少なくとも一方から読み出されて描画されることになる。また、文字設定用ダイアログボックスD4に任意の文字列を入力していた場合には、その文字が画像処理が付されたすべてのフレームに描画される。こうして、図21に示すような画像が生成される。
なお、上記説明では、文字として、時刻、任意の文字を用いたが、時刻のほかに、タイムライン上の任意のフレームからの経過時間、または選択フレーム群の中での経過時間を計算して表示させることもできる。このほか、ファイル名、通し番号などを用いることができる。例えば、防犯カメラで撮影された動画から静止画ファイル群を生成すると、ファイル名が撮影時刻になっている場合があり、これをそのまま用いる方が、後に撮影時刻やFPS(Frames Per Second)から計算された時刻を描画することよりも正確であることが多い。このようなファイル名を表示する場合、拡張子とともに表示してもよいし、拡張子を省いたファイル名を表示することもできる。
<4.特徴>
以上のように、本実施形態によれば、1のタイムライン上の画像群の中から、2つの画像を選択し、各画像に標識を書き込むとともに、各標識の絶対座標を記憶する。そして、両絶対座標を結ぶ直線上に、選択した画像の間にある中間フレームと同じ数の中間絶対座標を割り付け、各中間フレームの中間絶対座標を基準としてモザイク、矢印、文字などの標識を描画する画像処理を行っている。すなわち、動画を構成するフレームの中で、対象物等を考慮して標識を書き込むのは、最初と最後の2つのフレームだけであり、残りの中間フレームは、最初と最後のフレームの各標識の間の直線上にあると仮定して、標識を書き込んでいる。したがって、中間フレームについては、対象物を考慮せずに標識を書き込むため、画像処理にかかる時間を短縮でき、処理を軽減することができる。なお、上述した標識であるモザイク、矢印、文字は、単独で用いる以外に、一つのフレーム画像の中にこれらのうちの2以上を描画することもできる。例えば、フレーム画像の中に矢印を2つ表示させたり、あるいはモザイクと矢印と文字を表示させることもできる。
<5.変形例>
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。
<5−1>
上記実施形態では、モザイク、矢印、文字を標識として用いているが、これ以外の図形などを採用することもできる。例えば、円形、楕円形、多角形状の図形、アイコンなど、種々の標識を用いることができる。モザイク等を設ける場合にも、同様に、矩形状の領域にモザイクを設定する以外に、円形、楕円形、多角形状などの領域を設定し、この領域の内側または外側にモザイクなどを設定することができる。また、中間フレームの標識を設定するための規定点の数は、上記実施形態では1または2を採用したが、この数は特には限定されず、3以上であってもよい。すなわち、標識を決定するための最小限の規定点の数が設定されればよい。例えば、円形、楕円形の場合には、少なくとも2つの規定点が設定されていればよい。
<5−2>
文字を標識とする場合、文字のみを表示する以外に、例えば、吹き出しなどのアイコンと合わせて表示し、その中に文字を表示することもできる。また、文字のフォントの大きさ、矢印の長さ、太さなどを先頭フレームと最後尾フレームとで異なるものを使用した場合、これらが、中間フレームで徐々に変化するように構成することもできる。
<5−3>
上記実施形態では、選択フレーム群の設定に伴って、先頭フレームと最後尾フレームとを選択しているが、これらのフレームを個別に選択することもできる。また、先頭フレームの選択、先頭フレームへの標識の設定、最後尾フレームの選択、及び最後尾フレームへの標識の設定の順序は、特には限定されず、先に先頭フレームの選択と,このフレームへの標識の設定を行った後に、最後尾フレームの選択と,このフレームへの標識の設定を行ってもよい。
<5−4>
また、中間フレームの選択領域の絶対座標を設定するときは、先頭フレームの規定点と、最後尾フレームの規定点とを直線で結び、これを等分して絶対座標を割り付けているが、これに限定されるものではなく、フレームのコマ割りにしたがって微調整することもできる。
1 画像処理装置(コンピュータ)
2 画像処理プログラム
41 画像選択部
42 標識設定部
43 画像処理部

Claims (7)

  1. 1のタイムライン上の画像群の中から第1の画像、及び当該第1の画像との間に少なくとも一つの中間画像が存在する第2の画像、をユーザから受け付けるステップと、
    前記第1の画像上への第1の標識の位置をユーザから受け付けるとともに、前記第1の標識の前記タイムラインの画像上での絶対位置である第1の絶対位置を記憶するステップと、
    前記第2の画像上への第2の標識の位置をユーザから受け付けるとともに、前記第2の標識の前記タイムラインの画像上での絶対位置である第2の絶対位置を記憶するステップと、
    前記第1の絶対位置と前記第2の絶対位置とを結ぶ直線上に、前記中間画像の数と同じ数の中間標識用の中間絶対位置を所定間隔で割り付けて前記各中間画像とそれぞれ対応づけるステップと、
    前記第1の画像における第1の絶対位置、前記第2の画像における第2の絶対位置、及び前記中間画像における中間絶対位置に、それぞれ、前記各画像を特定するための文字を前記各標識として表示させるステップと
    をコンピュータに実行させる、画像処理プログラム。
  2. 前記第1の画像及び第2の画像をユーザから受け付けるステップは、
    前記タイムライン上の画像群の中から連続する3以上の画像の選択をユーザから受け付け、前記3以上の画像のうち、先頭の画像を前記第1の画像、最後尾の画像を前記第2の画像として受け付ける、請求項1に記載の画像処理プログラム。
  3. 前記第1絶対位置及び第2絶対位置は、前記各標識上にある少なくとも一つの規定点の絶対位置を含み、
    前記中間絶対位置は、前記第1の標識における各規定点の第1絶対位置と前記第2標識における各規定点の第2絶対位置との直線上にそれぞれ設けられる、請求項1または2に記載の画像処理プログラム。
  4. 前記第1絶対位置及び第2絶対位置は、前記各標識において最も離れた第1規定点及び第2規定点の絶対位置を含み、
    前記中間絶対位置は、前記第1規定点の第1絶対位置と第2絶対位置との直線上、及び前記第2規定点の第1絶対位置と第2絶対位置との直線上にそれぞれ設けられる、請求項1または2に記載の画像処理プログラム。
  5. 前記文字が、前記各画像に対応する時間表示である、請求項1から4のいずれかに記載の画像処理プログラム。
  6. 前記文字が、前記各画像のファイル名である、請求項1から4のいずれかに記載の画像処理プログラム。
  7. 1のタイムライン上の画像群の中から第1の画像と、当該第1の画像との間に少なくとも一つの中間画像が存在する第2の画像と、をユーザから受け付ける画像選択部と、
    前記第1の画像上への第1の標識の位置をユーザから受け付けるとともに、前記第1の標識の前記タイムラインの画像上での絶対位置である第1の絶対位置を記憶し、且つ前記第2の画像上への第2の標識の位置をユーザから受け付けるとともに、前記第2の標識の前記タイムラインの画像上での絶対位置である第2の絶対位置を記憶する標識設定部と、
    前記第1の絶対位置と前記第2の絶対位置とを結ぶ直線上に、前記中間画像の数と同じ数の中間標識用の中間絶対位置を所定間隔に割り付けて前記各中間画像とそれぞれ対応づけるとともに、前記第1の画像における第1の絶対位置、前記第2の画像における第2の絶対位置、及び前記中間画像における中間絶対位置に、それぞれ、前記各画像を特定するための文字を前記各標識として表示させる、画像処理部と、
    を備えている、画像処理装置。
JP2012002513A 2012-01-10 2012-01-10 画像処理プログラムおよび画像処理装置 Active JP5799815B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012002513A JP5799815B2 (ja) 2012-01-10 2012-01-10 画像処理プログラムおよび画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012002513A JP5799815B2 (ja) 2012-01-10 2012-01-10 画像処理プログラムおよび画像処理装置

Publications (2)

Publication Number Publication Date
JP2013142987A JP2013142987A (ja) 2013-07-22
JP5799815B2 true JP5799815B2 (ja) 2015-10-28

Family

ID=49039527

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012002513A Active JP5799815B2 (ja) 2012-01-10 2012-01-10 画像処理プログラムおよび画像処理装置

Country Status (1)

Country Link
JP (1) JP5799815B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015186174A (ja) * 2014-03-26 2015-10-22 株式会社 日立産業制御ソリューションズ 画像処理装置、画像処理システム、画像処理方法、及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3907344B2 (ja) * 1996-01-31 2007-04-18 三菱電機株式会社 動画アンカー設定装置
JP2000232609A (ja) * 1999-02-10 2000-08-22 Matsushita Electric Ind Co Ltd 特殊効果処理方法及び画像処理装置
JP4464211B2 (ja) * 2004-06-30 2010-05-19 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波診断装置
JP2007266661A (ja) * 2006-03-27 2007-10-11 Sanyo Electric Co Ltd 撮像装置、情報処理装置、撮像表示システム

Also Published As

Publication number Publication date
JP2013142987A (ja) 2013-07-22

Similar Documents

Publication Publication Date Title
TWI621097B (zh) 行動裝置、操作方法及非揮發性電腦可讀取記錄媒體
US20140375578A1 (en) Information display apparatus, non-transitory computer-readable storage medium and display control method
US20160054981A1 (en) Programming interface
JP2008186095A (ja) 画像処理装置及び画像処理方法、及びプログラム
US20110099471A1 (en) Product preview in a product selection and management workflow
JP2010041663A5 (ja)
JP6206202B2 (ja) 情報処理装置及び情報処理プログラム
JP2013015949A5 (ja) プログラム、表示装置、携帯端末および表示装置の制御方法
US20130083071A1 (en) Image display apparatus, image display method and computer readable recording medium
JP5799815B2 (ja) 画像処理プログラムおよび画像処理装置
JP2011221940A (ja) 画像作成編集ツールのプレビュー方法およびプログラム
JP2014085814A (ja) 情報処理装置及びその制御方法、プログラム
EP3734431A1 (en) Image panning method
JP5528410B2 (ja) ビューワ装置、サーバ装置、表示制御方法、電子コミック編集方法及びプログラム
JP4455235B2 (ja) 画像処理装置、画像処理装置の制御方法、コンピュータプログラム
JP6828586B2 (ja) 表示プログラム、表示装置及び表示方法
US20150277705A1 (en) Graphical user interface user input technique for choosing and combining digital images as video
JP6722505B2 (ja) 画像制御方法、装置、及びプログラム
KR101891245B1 (ko) 미리보기 화면을 이용한 문서 편집 시스템 및 방법
JP3578917B2 (ja) 画像加工装置、画像加工システム、画像加工方法、およびコンピュータ読み取り可能な記録媒体
US20100164994A1 (en) Content display apparatus, content display method, and content display program embodied on computer readable medium
JP4963633B2 (ja) 情報処理装置及び情報処理方法
JP4758841B2 (ja) 画像表示装置、画像表示方法及び画像表示プログラム
JP2008301285A5 (ja)
JP2013143108A (ja) 画像処理プログラムおよび画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140314

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150728

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150810

R150 Certificate of patent or registration of utility model

Ref document number: 5799815

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250