KR101441587B1 - 개인 일생 기록을 위한 디지털 이미징 기기의 촬영프로파일 학습 장치 및 방법 - Google Patents

개인 일생 기록을 위한 디지털 이미징 기기의 촬영프로파일 학습 장치 및 방법 Download PDF

Info

Publication number
KR101441587B1
KR101441587B1 KR1020080009493A KR20080009493A KR101441587B1 KR 101441587 B1 KR101441587 B1 KR 101441587B1 KR 1020080009493 A KR1020080009493 A KR 1020080009493A KR 20080009493 A KR20080009493 A KR 20080009493A KR 101441587 B1 KR101441587 B1 KR 101441587B1
Authority
KR
South Korea
Prior art keywords
image
user
profile
recommendation
photographing
Prior art date
Application number
KR1020080009493A
Other languages
English (en)
Other versions
KR20090083594A (ko
Inventor
장병탁
강병호
김성수
Original Assignee
삼성전자 주식회사
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사, 삼성전기주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020080009493A priority Critical patent/KR101441587B1/ko
Priority to US12/213,289 priority patent/US8520096B2/en
Publication of KR20090083594A publication Critical patent/KR20090083594A/ko
Application granted granted Critical
Publication of KR101441587B1 publication Critical patent/KR101441587B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 개인 일생 기록을 위한 디지털 이미징 기기의 촬영 프로파일 학습 장치 및 방법에 관한 것으로서, 사용자의 피드백 또는 보상치를 바탕으로 하는 사용자 프로파일 및 추천함수를 이용하여 사용자의 촬영 성향에 맞는 이전 영상을 추천해 주고 추천된 영상으로부터 다시 사용자 피드백을 받아 위 사용자 프로파일 및 추천함수를 갱신하여 사용자의 촬영 패턴을 학습할 수 있도록 하는 것을 특징으로 한다. 이에 의하면, 사용자 성향과 상황에 따른 맞춤 촬영이 가능하기 때문에 과거의 촬영 영상과 현재의 촬영 영상간의 일관성을 보장할 수 있고 체계적인 영상 다이어리 제작에 활용할 수 있다.
디지털 이미징 기기, 사용자 프로파일, 추천함수, 추천 영상, 영상 다이어리

Description

개인 일생 기록을 위한 디지털 이미징 기기의 촬영 프로파일 학습 장치 및 방법{An apparatus for learning photographing profiles of digital imaging devices for personal lifelong recording and learning methods thereof}
본 발명은 프로파일 학습 장치 및 방법에 관한 것이다. 특히 디지털 이미징 기기를 사용하는 사용자의 촬영 성향을 파악할 수 있는 촬영 프로파일 학습 장치 및 방법과 관련된다.
일반적으로 디지털 이미징 기기란 피사체로부터 반사된 빛 정보를 전기적인 정보로 변환하고 이를 디지털화하여 피사체의 영상을 표시하거나 저장하는 장치를 말한다. 이러한 디지털 이미징 기기로는 개인용 디지털 카메라, 휴대폰에 내장된 카메라 등을 예로 들 수 있다.
최근에는 자신을 표현하고자 하는 현대인의 자기 표출 욕구가 증대됨에 따라 이러한 디지털 이미징 기기를 이용하여 일상 생활을 기록하고 영상 다이어리로 활용하고자 하는 소비자가 늘어나고 있는 추세이다. 이를 위해 소비자들은 정보통신기술을 응용하여 디지털 이미징 기기에 저장된 영상을 다른 기기(예컨대, 개인용 PC)에 전송하여 이를 관리하거나 인터넷상의 개인 홈페이지에 업로드(upload)하여 영상 다이어리를 제작하는 방식으로 디지털 이미징 기기를 활용하고 있다.
디지털 이미징 기기에 저장되는 촬영 영상은 촬영된 순서에 따라 순차적으로 저장되거나 사용자가 지정한 파일명에 따라 저장된다. 또한, 사용자가 여러 개의 폴더를 생성하여 각 폴더별로 종류가 다른 촬영 영상을 저장하여 관리하는 것도 가능하다.
그러나 이러한 방식에 의하면 디지털 이미징 기기에 저장된 영상을 활용하는데 다소 불편함이 따를 수 있다. 예컨대, 인터넷상의 개인 홈페이지에 영상 다이어리를 제작하고자 하는 경우, 영상 다이어리의 특성상 어떤 시간적인 연관성이 있는 촬영 영상들을 이용하여야 하는데, 이러한 영상들을 사용자가 일일이 확인하고 촬영 당시의 상황을 다시 고려하여야 한다. 따라서, 사용자의 개인적 특성 또는 성향이 반영된 지표를 이용하여 체계적으로 촬영 영상을 관리할 필요성이 있다.
본 발명은 촬영시 과거 연관된 영상을 사용자에게 추천하고 사용자 피드백에 따라 상기 추천 알고리즘을 갱신함으로써, 사용자의 촬영 패턴을 학습하는 개인 일생 기록을 위한 디지털 이미징 기기의 촬영 프로파일 학습 장치 및 방법에 관한 것이다.
본 발명의 일 양상에 따르면 디지털 이미징 기기는 사용자의 피드백 또는 보상치를 바탕으로 하는 사용자 프로파일 및 추천함수를 이용하여 사용자의 촬영 성향에 맞는 이전 영상을 추천해 주고 추천된 영상으로부터 다시 사용자 피드백을 받아 위 사용자 프로파일 및 추천함수를 갱신하여 사용자의 촬영 패턴을 학습할 수 있다.
보다 구체적으로, 본 발명의 일 양상에 따른 개인 일생 기록을 위한 디지털 이미징 기기의 촬영 프로파일 학습 장치는, 프리뷰 영상 또는 촬영된 영상의 촬영 정보를 추출하는 촬영정보 획득부; 프리뷰 영상과 관련된 이전 영상을 검색하고, 검색된 영상 중 사용자의 촬영 패턴이 누적된 추천 영상을 하나 이상 선별하여 사용자에게 추천하는 촬영 추천부; 및 추천 영상에 따른 사용자 피드백을 반영하여 촬영 추천부의 영상 검색 및 추천 알고리즘을 갱신하는 촬영 프로파일 학습부;를 포함할 수 있다.
촬영 추천부는 프리뷰 영상의 촬영 정보 및 사용자 프로파일을 기반으로 질의어를 생성하여 관련된 이전 영상을 검색하고 사용자 피드백이 반영된 추천함수를 이용하여 검색된 영상 중 추천 영상을 제공할 수 있다.
또한, 촬영 프로파일 학습부는 추천 영상에 따라 사용자가 실제 촬영한 영상의 촬영 정보를 이용하여 사용자 프로파일을 갱신하며 갱신된 사용자 프로파일을 기반으로 추천함수를 갱신하는 것이 가능하다.
한편, 본 발명의 일 양상에 따른 개인 일생 기록을 위한 디지털 이미징 기기의 촬영 프로파일 학습 방법은, 프리뷰 영상의 촬영 정보를 추출하는 단계; 프리뷰 영상의 촬영 정보 및 사용자 프로파일을 이용하여 프리뷰 영상과 관련된 이전 영상을 검색하는 단계; 추천함수를 이용하여 검색된 영상 중 사용자의 촬영 패턴이 누적된 추천 영상을 하나 이상 선별하여 사용자에게 추천하는 단계; 및 추천된 영상에 따른 사용자 피드백을 받아 사용자 프로파일 및 상기 추천함수를 갱신하는 단계;를 포함할 수 있다.
또한, 본 발명의 다른 양상에 따른 개인 일생 기록을 위한 디지털 이미징 기기의 촬영 프로파일 학습 방법은, 프리뷰 영상의 촬영 정보 u(t)를 추출하는 단계; 프리뷰 영상의 촬영 정보 u(t) 및 사용자 프로파일 s(t)을 기반으로 질의어를 생성하여 관련된 이전 영상을 검색하는 단계; 사용자 피드백이 반영된 추천함수 R(s,a)를 이용하여 검색된 영상 중 사용자의 촬영 패턴이 누적된 추천 영상을 하나 이상 선별하여 사용자에게 추천하는 단계; 추천된 영상으로부터 사용자 피드백을 받는 단계; 사용자 피드백이 반영된 촬영 영상에 대한 촬영 정보 u(t+1)를 추출하는 단계; 촬영 정보 u(t+1)을 이용하여 사용자 프로파일 s(t)을 갱신하는 단계; 및 갱신된 프로파일을 기반으로 추천함수 R(s,a)를 갱신하는 단계;를 포함할 수 있다.
이하에서는 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 실시예에 따른 개인 일생 기록을 위한 디지털 이미징 기기의 촬영 프로파일 학습 장치의 구성을 나타낸 것이다.
도 1을 참조하면, 본 실시예에 따른 디지털 이미징 기기의 촬영 프로파일 학습 장치는 촬영정보 획득부(101), 촬영 추천부(102) 및 촬영 프로파일 학습부(103)를 포함하며, 촬영 데이터베이스(104)를 더 구비할 수 있다.
도 1에서, 렌즈부(200), 영상센서부(300), 영상처리부(400) 및 영상표시부(500)는 디지털 이미징 기기에서 일반적으로 채용되는 구성이므로 자세한 설명은 생략하기로 한다.
상기 디지털 이미징 기기는 피사체로부터 입력된 빛을 전기적인 신호로 변환하고 변환된 전기적인 신호를 디지털화하여 이를 사용자에게 표시하거나 저장하는 각종 장치로서, 일반적인 디지털 카메라 또는 휴대폰, PDA, PMP와 같은 휴대 단말에 내장되는 디지털 카메라 등이 될 수 있다. 이때, 상기 디지털 이미징 기기는 개인용 PC 또는 다른 휴대 단말과 유/무선 데이터 통신을 하여 촬영된 피사체의 영상 을 전송할 수 있도록 구성되는 것이 바람직하다. 본 실시예에서는 설명의 편의를 위해 상기 디지털 이미징 기기가 일반적으로 많이 사용되는 개인용 디지털 카메라인 것으로 가정하였다.
이러한 디지털 이미징 기기의 동작을 살펴보면, 먼저 피사체에서 반사된 빛은 렌즈부(200)를 통해 영상센서부(300)로 입력된다. 상기 렌즈부(200)는 다수의 광학 렌즈 및 조리개를 포함하며 상기 영상센서부(300)에 빛이 결상될 수 있도록 상기 렌즈 또는 조리개를 컨트롤하는 각종 구동모터 등을 더 포함할 수 있다. 영상센서부(300)는 입력된 빛 신호를 검출하여 이를 전기적인 신호로 변환하는 소자로서, CCD 이미지 센서 또는 CMOS 이미지 센서와 같은 고체촬상소자가 이용될 수 있다. 상기 영상센서부(300)에 의해 변환된 전기적인 신호는 영상처리부(400)로 입력되어 소정의 영상 처리 과정을 거친 후 영상표시부(500)에 표시되거나 별도의 저장부(미도시)에 저장된다.
사용자가 어떠한 피사체를 촬영하고자 하는 경우, 전술한 과정을 거쳐 영상표시부(500)에는 프리뷰(preview) 영상이 표시되고 사용자는 표시된 프리뷰 영상을 보고 피사체를 촬영하게 된다. 본 실시예에 따른 촬영 프로파일 학습 장치(100)는 프리뷰 영상이 표시될 때, 사용자의 촬영 성향을 파악하여 이전에 촬영된 영상 중 유사하거나 관련성이 있는 영상을 추천하여 과거의 촬영 영상과 현재의 촬영 영상이 일정한 줄거리를 갖도록 하는 것이 가능하다.
예컨대, 사용자가 A라는 인물을 찍을 때 3배의 줌(zoom) 기능을 이용하여 찍은 경향이 많다고 가정하자. 이러한 경우 A라는 인물을 찍는 경우 본 실시예에 따 른 촬영 프로파일 학습 장치(100)는 이전의 사진 중에서 A가 촬영된 사진을 검색하고 이 중에서 3배의 줌 기능이 활성화되어 촬영된 사진을 영상표시부(500)에 표시해 준다. 이렇게 되면, 사용자는 과거 촬영 당시의 촬영 조건에 따라 카메라 세팅을 조절하여 촬영할 수 있게 되므로 일관성 있게 촬영을 할 수 있게 되는 것이다. 또한, 카메라 세팅을 조절하여 촬영된 실제 촬영 영상을 기반으로 사용자의 촬영 패턴을 학습하여 사용자의 성향에 따른 촬영 정보를 추천해 줄 수 있다.
이러한 기능을 위한 본 실시예에 따른 촬영 프로파일 학습 장치(100)의 구성을 더욱 자세히 살펴보기로 한다.
도 1에서, 촬영정보 획득부(101)는 프리뷰 영상 또는 촬영된 영상의 촬영정보를 추출하는 부분이다. 여기서 촬영 정보는 촬영 당시의 피사체의 종류(예컨대, 인물, 동물, 경치 등), 촬영 당시의 피사체의 위치, 촬영 당시의 시간, 촬영 당시의 날씨 등과 같은 정보를 말한다. 이때, 영상 자체에 관한 정보는 영상처리부(400)의 영상 처리 과정을 통해 획득하는 것이 가능하며(예컨대, 색상 히스토그램 분석, 얼굴인식기술 등), 영상 외적인 정보는 상기 디지털 이미징 기기에 별도로 구비된 내/외부 장치(예컨대, GPS 수신기, 시계 등) 또는 사용자 조작(예컨대, 날씨 입력, 사진에 관한 부가 설명 입력 등)에 의해 획득될 수 있다.
촬영정보 획득부(101)에서 획득된 촬영정보는 벡터량으로서, 본 명세서에서는 u(t) 또는 u(t+1)이라고 표시하였다(u(t)와 u(t+1)의 차이점에 대해서는 후술함).
촬영 추천부(102)는 프리뷰 영상과 관련된 이전 영상을 검색하고, 검색된 영 상 중 사용자의 촬영 패턴이 누적된 추천 영상을 하나 이상 선별하여 사용자에게 추천하는 부분이다. 예컨대, 촬영 추천부(102)는 촬영정보 획득부(101)로부터 프리뷰 영상의 촬영 정보 u(t)를 입력받고 이를 이용하여 촬영 데이터베이스(104)를 검색하여 추천 영상이 영상표시부(500)에 표시되도록 하는 것이 가능하다.
도 2는 본 발명의 실시예에 따라 추천 영상이 표시되는 방식을 나타낸 것으로, 디지털 카메라(201)의 영상표시부(500)를 이용한 일 예이다.
도 2에서, 영상표시부(500)는 4부분으로 나눌 수 있다. 이 중 한 부분에는 프리뷰 영상 또는 촬영 영상이 표시되고 다른 세 부분에는 추천 영상들이 표시되는 것을 예시하였다.
예를 들어, 좌측 상단 화면(501)에는 피사체의 종류를 기준으로 하는 추천 영상을, 우측 상단 화면(502)에는 촬영 당시의 피사체의 위치를 기준으로 하는 추천 영상을, 좌측 하단 화면(503)에는 촬영 당시의 시간을 기준으로 하는 추천 영상을 표시할 수 있다. 또한, 각 추천 화면(501)(502)(503)은 다시 4등분 또는 8등분으로 나누어져서 다수의 추천 영상이 표시되는 것이 가능하다. 나아가 영상표시부(500)는 터치조작이 가능한 터치스크린을 채용함으로써 사용자가 추천 영상을 선택하고자 하는 경우 해당 추천 영상을 터치하여 일정한 피드백 신호를 주는 것도 가능하다.
상기 촬영 추천부(102)가 이와 같이 촬영 데이터베이스(104)로부터 영상 자료를 검색하고 추천 영상을 선별하는 방법은 다양한 정보 검색 알고리즘을 적용하여 구현하는 것이 가능하다. 본 실시예에서는 과거 영상과 현재 영상이 일관된 줄 거리를 갖도록 하기 위해 사용자 프로파일과 추천함수를 기반으로 검색 및 추천을 하는 방식을 이용하였다.
예컨대, 상기 촬영 추천부(102)는 프리뷰 영상의 촬영 정보 u(t) 및 사용자 프로파일 s(t)을 기반으로 질의어를 생성하여 이전 영상을 검색하고, 사용자 피드백이 반영된 추천함수 R(s,a)를 이용하여 검색된 영상 중 추천 영상을 선별하는 것이 가능하다.
즉, 촬영 데이터베이스(104)에는 이전 촬영 영상에 대한 촬영 정보가 저장되어 있으므로, 촬영 추천부(102)는 촬영정보 획득부(101)로부터 프리뷰 영상의 촬영 정보 u(t)와 유사한 촬영 정보를 갖고 있는 이전 촬영 영상을 검색할 수 있다. 이때, 검색을 위한 질의어 생성시 촬영 정보 u(t)와 사용자 프로파일 s(t)를 기반으로 질의어를 생성하여 보다 관련성 있는 이전 영상이 검색되도록 할 수 있다.
사용자 프로파일 s(t)는 사용자의 개인적 촬영 특성 정보를 포함하는 정보 집합으로서 상기 촬영 정보 u(t)를 기반으로 검색된 결과를 프로파일 s(t)에 수록된 정보를 근거로 재조직하거나 질의어를 수정하는 것이 가능하다. 이러한 프로파일 s(t)는 이후 촬영 프로파일 학습부(103)에서 갱신되는데 이에 대해서는 후술한다.
추천함수 R(s,a)는 프로파일의 특정 상태 s에서 a라는 추천을 할 경우 그 결과가 좋은 정도를 평가하는 함수이며, 사용자 피드백에 바탕을 두고 있다. 예컨대, 현재 프로파일이 s0 일 때, a1 및 a2 두 가지 행동 벡터가 가능하다고 가정하자. 이 때, a1 행동 벡터는 검색된 영상 중 1번 영상을 선별하는 것으로, a2 행동 벡터는 검색된 영상 중 2번 영상을 선별하는 것으로 볼 수 있다. 만약 과거 어느 순간에 1번 영상 및 2번 영상이 모두 추천되었는데 사용자가 1번 영상을 선택하였다면, 사용자 피드백(즉, 일종의 보상치)으로 a1 행동 벡터에는 포인트 '1'점이 주어지고 a2 행동 벡터에는 포인트 '-1'점을 주는 것이 가능하다. 따라서 이러한 경우 촬영 추천부(102)는 a1 행동 벡터를 취하여 1번 영상을 추천해 주는 것이 가능하다. 이러한 추천함수 R(s,a) 역시 사용자 피드백에 따라 촬영 프로파일 학습부(103)에서 갱신되어 사용자의 촬영 패턴이 시간이 지남에 따라 계속적으로 반영될 수 있도록 한다.
다시 말해, 상기 촬영 추천부(102)는 사용자의 촬영 패턴이 반영된 사용자 프로파일 s(t) 및 추천함수 R(s,a)를 이용하여 사용자의 촬영 성향에 따른 특정 영상을 추천해 줌으로써 현재 촬영 영상과 이전 촬영 영상 간에 연관성 내지는 일관성이 유지될 수 있도록 해준다. 이렇게 되려면 상기 사용자 프로파일 s(t) 및 추천함수 R(s,a)가 사용자의 촬영 패턴을 학습하여 적절한 이전 영상을 제공할 수 있어야 하는데, 이러한 학습 과정은 후술할 촬영 프로파일 학습부(103)에서 이루어진다.
촬영 프로파일 학습부(103)는 추천 영상에 따른 사용자 피드백을 반영하여 상기 촬영 추천부(102)의 영상 검색 및 추천 알고리즘을 갱신하는 부분이다. 영상 검색 및 추천 알고리즘의 갱신은 전술한 사용자 프로파일 s(t) 및 추천함수 R(s,a) 를 갱신하는 것으로 이루어질 수 있다. 또한 여기서 사용자 피드백이란 도 2와 같이 영상표시부(500)에 추천 영상이 표시되었을 때, 특정 추천 영상을 선택하거나 추천 영상을 참조하여 촬영 조건(예컨대, 셔터 스피드, 줌, 화이트 밸런싱 등)을 세팅하여 다시 촬영하는 것 등을 포함한다.
예컨대, 사용자가 추천 영상 중 어느 하나를 선택하면 선택된 추천 영상이 촬영되었던 당시의 촬영 조건대로 카메라가 자동으로 세팅되고 세팅된 새로운 촬영 조건에서 피사체를 촬영하여 추천 영상에 사용자 피드백을 주는 것이 가능하다.
사용자 피드백이 있는 경우 촬영정보 획득부(101)는 실제 촬영된 영상의 촬영정보 u(t+1)를 추출한다. 즉, 프리뷰 영상의 촬영 정보 u(t)는 사용자 피드백이 반영되기 이전의 영상을 나타내고, 촬영된 영상의 촬영 정보 u(t+1)은 사용자 피드백이 반영된 이후 새로운 영상에 대한 촬영 정보를 나타내는 것이다.
촬영 프로파일 학습부(103)는 이러한 사용자 피드백이 반영된 촬영 정보 u(t+1)을 이용하여 상기 사용자 프로파일 s(t)를 갱신할 수 있다. 예컨대, 상기 u(t+1)에 소정의 가중치 β를 주고 현재 사용자 프로파일 s(t)와 합하여 새로운 사용자 프로파일 s(t+1)을 생성할 수 있다.
또한, 촬영 프로파일 학습부(103)는 생성된 새로운 사용자 프로파일 s(t+1)을 이용하여 상기 추천함수 R(s,a)를 갱신하는 것이 가능하다.
도 3은 추천함수 R(s,a)를 갱신하는 과정을 설명하기 위한 참고도이다. 추천함수 R(s,a)는 특정 프로파일 상태 s에서 행동 a를 취했을 때 그 행동의 좋은 정도(예컨대, 추천도 예상치)를 나타내는 함수 또는 테이블이 될 수 있다. 예컨대, 특정 프로파일 상태 s에서 행동 a를 취했을 때의 추천도 예상치가 나타난 테이블을 반복적으로 사용하면 특정 사용자 프로파일의 미래에 대한 예측치를 계산할 수 있다. 여기서 미래에 대한 예측치란 갱신된 사용자 프로파일 상태 s`에서 새로운 추천 행동 a`을 수행했을 때 전이된 상태가 얼마나 좋은지를 나타내는 추천도의 예상값을 말한다. 이러한 미래에 대한 예측치는 현재의 추천함수 R을 이용하여 다양한 행동 a`에 대해서 추천도를 계산해 본 후 그 중 최대가 되는 추천도를 선택하고 이 최대 추천도에 대하여 시간에 대한 감가상각률 γ 만큼을 상쇄한 후 현재의 피드백 보상치 r(t)를 더하는 방식으로 계산되는 것이 가능하다. 이렇게 계산된 미래에 대한 예측치와 현재의 추천함수에 각각 가중치 α 및 (1-α)를 주고 합하는 방식으로 추천함수 R(s,a)를 갱신하는 것이 가능하다.
촬영정보 획득부(101)가 피사체 자체에 관한 정보 외에 다양한 영상 정보를 획득하고, 촬영 추천부(102)가 촬영 시점과 비슷한 과거 상황에 대한 영상, 특히 사용자의 촬영 성향이 누적된 추천 영상을 제공하며, 촬영 프로파일 학습부(103)가 추천 영상을 선별하는 기준을 사용자 피드백에 따라 계속적으로 학습하기 때문에, 사용자 성향과 상황에 따른 맞춤 촬영이 가능하다. 또한, 과거의 촬영 영상과 현재의 촬영 영상이 문맥(history)정보로서 일관성을 갖기 때문에 영상 다이어리를 제작하는 경우 그 편의성을 증진시킬 수 있다.
다음으로, 도 4를 참조하여 본 발명의 실시예에 따른 개인 일생 기록을 위한 디지털 이미징 기기의 촬영 프로파일 학습 방법을 설명한다.
도 4에서, 단계 S401은 프리뷰 영상의 촬영 정보 u(t)를 추출하는 단계이다. 예컨대, 상기 촬영 정보는 촬영정보 획득부(101)가 영상표시부(500)에 표시된 프리뷰 영상을 분석하여 촬영 장시의 피사체 종류, 위치, 시간, 날씨에 대한 정보 등을 획득하는 것이 가능하다.
단계 S402는 상기 프리뷰 영상의 촬영 정보 u(t) 및 사용자 프로파일 s(t)를 이용하여 상기 프리뷰 영상과 관련된 이전 영상을 검색하고, 추천함수 R(s,a)를 이용하여 검색된 영상 중 사용자의 촬영 패턴이 누적된 추천 영상을 하나 이상 선별하여 사용자에게 추천하는 단계이다. 여기서 사용자 프로파일 s(t) 및 추천함수 R(s,a)는 사용자의 촬영 패턴을 나타내는 척도로서 전술한 바와 같이 사용자 피드백에 의해 계속적으로 갱신 또는 학습되므로 여기에는 사용자의 촬영 성향이 시간이 지남에 따라 누적적으로 반영되게 된다.
관련된 이전 영상을 검색하는 과정은 상기 프리뷰 영상의 촬영 정보 u(t) 및 사용자 프로파일 s(t)를 기반으로 질의어를 생성하여 촬영 데이터베이스(104)를 검색하는 방식으로 이루어질 수 있다. 이때, 사용자 프로파일 s(t)에는 사용자의 촬영 성향에 대한 특징 정보가 포함되어 있으므로 불필요하게 촬영 데이터베이스(104)를 검색하지 않고서도 관련된 이전 영상을 검색하는 것이 가능하다. 또한, 검색된 영상 중 추천 영상을 선별하는 과정은 프로파일의 특정 상태 s에서 a라는 추천을 할 경우 그 결과가 좋은 정도를 사용자 피드백으로부터 평가한 추천함수 R(s,a)를 이용할 수 있다.
단계 S403은 추천 영상에 따른 사용자 피드백을 입력받아 실제 촬영이 수행되는 단계이다. 예컨대, 도 2와 같이 영상표시부(500)에 표시된 추천 영상을 선택 하여 선택된 영상이 촬영된 당시의 촬영 조건으로 카메라를 세팅하여 실제 촬영을 할 수 있다.
단계 S404는 이와 같이 사용자 피드백이 반영된 촬영 영상에 대해 촬영 정보 u(t+1)를 추출하는 단계이다. 즉 상기 u(t+1)은 사용자 피드백이 반영된 값으로 프리뷰 영상에 대한 촬영 정보 u(t)의 다른 형태로 볼 수 있다.
단계 S405는 상기 사용자 프로파일 s(t) 및 추천함수 R(s,a)를 갱신 또는 학습하는 단계이다.
사용자 프로파일 s(t)를 갱신하는 과정을 구체적인 수식으로 나타내면 다음과 같다.
Figure 112008007801660-pat00001
여기서, s(t+1)은 갱신된 사용자 프로파일을, s(t)는 현재의 사용자 프로파일을, u(t+1)은 상기 S404 단계에서 얻어진 실제 촬영 영상(즉, 사용자 피드백이 반영된 영상)에 대한 촬영 정보를, β는 학습율을 나타낸다. β는 사용자 프로파일 변경의 정도를 조절하는 파라미터로써, 그 값이 클수록 현재의 상황을 많이 반영하게 된다. 따라서 안정적인 수렴을 위해 작은 값을 사용할 수 있다.
추천함수 R(s,a)를 갱신하는 과정을 구체적인 수식으로 나타내면 다음과 같다.
Figure 112008007801660-pat00002
여기서, s는 프로파일의 상태를, a는 추천 행동 벡터를, r(t)는 사용자 피드백을 나타낸다. 상기 수학식 2에서, 추천함수 R(s,a)는 현재의 값(첫번째 항)과 미래에 대한 예측치(두번째 항)에 각각 가중치 (1-α) 및 α를 부여한 값의 합으로 계산된다. 두 번째 식에서 R(s`,a`)은 새로운 추천 행동을 탐색해 보는 과정으로서 새로운 행동 a`을 수행했을 때 전이된 상태 s`이 얼마나 좋은지를 나타낸다. 다양한 행동 a`에 대해서 이를 계산해 본 후 그 중에 가장 최대가 되는, 즉 MAXa`R(s`,a`)가 되는 행동 a`을 선택하게 된다. 이 최대값에 대해서 시간에 대한 감가상각율 γ 만큼을 상쇄한 후 현재의 피드백 보상치 r(t)를 더하면 미라에 대한 추천 행동 a의 좋은 정도를 알 수 있다.
위 학습 방식의 특징은 다음의 수학식 3에서 알 수 있듯이, 상태 s에서의 추천값의 기대치 R(s)의 좋은 정도는 전이한 새로운 상태 s+1에서의 좋은 정도에 감가상각 비율 γ만큼의 비율이 감해진 값이 된다는 것이다(0≤γ≤1). 이는 상태 s에서 다양한 행동 a를 수행하는 과정을 반복하면 프로파일 s의 좋은 정도가 R(s)로 수렴함을 의미한다. 즉,
Figure 112008007801660-pat00003
수학식 3에서, Rt는 사용자 피드백 값 r을 시간 t+1부터 무한대까지 받을 경우의 기대치를 나타낸다. 이것은 결국 다음 시간의 피드백 값 rt +1과 다음 상태 즉 st +1 때의 추천함수 값의 γ만큼 상쇄된 것의 합과 같다. 여기서 γ는 미래에 대한 불확실성을 반영하며 그 값이 작을수록 미래에 대한 비중을 줄이고 현재의 사용자와의 상호작용에 의한 피드백의 비중을 높이는 경향이 있다.
전술한 방법에 의하면, 사용자의 촬영 성향에 맞는 추천 영상을 제공하고 이전 영상의 검색 및 추천 알고리즘을 사용자 피드백에 따라 촬영 패턴을 계속적으로 학습할 수 있기 때문에, 사용자가 선호하는 패턴의 영상 다이어리 스토리를 만들 수 있게 된다.
이상에서 본 발명의 바람직한 실시예에 대하여 설명하였으나 본 발명은 상술한 특정의 실시예에 한정되지 아니한다. 즉, 본 발명이 속하는 기술분야에서 통상의 지식을 가지는 자라면 첨부된 특허청구범위의 사상 및 범주를 일탈함이 없이 본 발명에 대한 다수의 변경 및 수정이 가능하며, 그러한 모든 적절한 변경 및 수정의 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
도 1은 본 발명의 실시예에 따른 개인 일생 기록을 위한 디지털 이미징 기기 및 이에 대한 촬영 프로파일 학습 장치의 구성을 나타낸 도면,
도 2는 본 발명의 실시예에 따라 프리뷰 영상 및 추천 영상이 표시되는 방식을 나타낸 참고도면,
도 3은 본 발명의 실시예에 따른 추천함수의 개념을 설명하기 위한 참고도면,
도 4는 본 발명의 실시예에 따른 개인 일생 기록을 위한 디지털 이미징 기기의 촬영 프로파일 학습 방법을 나타낸 흐름도이다.
<도면의 주요부호에 대한 설명>
101 : 촬영정보 획득부
102 : 촬영 추천부
103 : 촬영 프로파일 학습부
104 : 촬영 데이터베이스

Claims (11)

  1. 프리뷰 영상 또는 촬영된 영상의 촬영 정보를 추출하는 촬영정보 획득부;
    상기 프리뷰 영상과 관련된 이전 영상을 검색하고, 추천함수를 이용하여 상기 검색된 영상 중 사용자의 촬영 패턴이 누적된 추천 영상을 하나 이상 선별하여 상기 사용자에게 추천하는 촬영 추천부; 및
    상기 추천 영상에 따른 사용자 피드백을 반영하여 상기 촬영 추천부의 영상 검색 및 추천 알고리즘을 갱신하는 촬영 프로파일 학습부;를 포함하고,
    상기 추천함수는 임의의 프로파일 벡터가 주어질 때 영상 추천 행동 벡터의 추천도를 나타내는 개인 일생 기록을 위한 디지털 이미징 기기의 촬영 프로파일 학습 장치.
  2. 제 1 항에 있어서,
    상기 촬영 추천부는 상기 프리뷰 영상의 촬영 정보 및 사용자 프로파일을 기반으로 질의어를 생성하여 관련된 이전 영상을 검색하고, 상기 사용자 피드백이 반영된 추천함수를 이용하여 검색된 영상 중 상기 추천 영상을 제공하는 개인 일생 기록을 위한 디지털 이미징 기기의 촬영 프로파일 학습 장치.
  3. 제 2 항에 있어서,
    상기 촬영 프로파일 학습부는 상기 추천 영상에 따라 사용자가 실제 촬영한 영상의 촬영 정보를 이용하여 상기 사용자 프로파일을 갱신하며, 갱신된 사용자 프로파일을 기반으로 상기 추천함수를 갱신하는 개인 일생 기록을 위한 디지털 이미 징 기기의 촬영 프로파일 학습 장치.
  4. 제 1 항에 있어서,
    상기 촬영 정보는 촬영 당시의 피사체 종류, 위치, 시간 또는 날씨에 대한 정보를 적어도 하나 이상 포함하는 개인 일생 기록을 위한 디지털 이미징 기기의 촬영 프로파일 학습 장치.
  5. 제 1 항에 있어서,
    촬영 조건은 상기 추천 영상이 제공되어 사용자가 이를 선택하면, 선택된 추천 영상의 촬영 조건과 동일하게 세팅되는 개인 일생 기록을 위한 디지털 이미징 기기의 촬영 프로파일 학습 장치.
  6. 프리뷰 영상의 촬영 정보를 추출하는 단계;
    상기 프리뷰 영상의 촬영 정보 및 사용자 프로파일을 이용하여 상기 프리뷰 영상과 관련된 이전 영상을 검색하는 단계;
    추천함수를 이용하여 상기 검색된 영상 중 사용자의 촬영 패턴이 누적된 추천 영상을 하나 이상 선별하여 상기 사용자에게 추천하는 단계; 및
    추천된 영상에 따른 사용자 피드백을 받아 상기 사용자 프로파일 및 상기 추천함수를 갱신하는 단계;를 포함하고,
    상기 추천함수는 임의의 프로파일 벡터가 주어질 때 영상 추천 행동 벡터의 추천도를 나타내는 개인 일생 기록을 위한 디지털 이미징 기기의 촬영 프로파일 학습 방법.
  7. 제 6 항에 있어서,
    상기 촬영 정보는 촬영 당시의 피사체 종류, 위치, 시간 또는 날씨에 대한 정보를 적어도 하나 이상 포함하는 것을 특징으로 하는 개인 일생 기록을 위한 디지털 이미징 기기의 촬영 프로파일 학습 방법.
  8. 삭제
  9. 제 6 항에 있어서,
    상기 사용자 프로파일의 갱신은 다음 수식에 의하며,
    Figure 112008007801660-pat00004
    상기 s(t+1)은 갱신된 사용자 프로파일을, 상기 s(t)는 현재 사용자 프로파일을, u(t+1)은 사용자 피드백이 반영된 촬영 영상의 촬영 정보를, 상기 β는 상기 프로파일의 변경 정도를 조절하는 학습률 파라미터를 나타내는 개인 일생 기록을 위한 디지털 이미징 기기의 촬영 프로파일 학습 방법.
  10. 제 6 항에 있어서,
    상기 추천함수의 갱신은 다음 수식에 의하며,
    Figure 112008007801660-pat00005
    상기 R(s,a)는 추천함수를, 상기 s는 프로파일의 상태를, 상기 a는 촬영 추천 행동 벡터를, 상기 r(t)는 사용자 피드백을, 상기 R(s`,a`)은 새로운 추천 행동 a`을 수행했을 때 전이된 상태 s`의 추천도를, α 및 γ는 상수를 나타내는 개인 일생 기록을 위한 디지털 이미징 기기의 촬영 프로파일 학습 방법.
  11. 프리뷰 영상의 촬영 정보 u(t)를 추출하는 단계;
    상기 프리뷰 영상의 촬영 정보 u(t) 및 사용자 프로파일 s(t)을 기반으로 질의어를 생성하여 관련된 이전 영상을 검색하는 단계;
    사용자 피드백이 반영된 추천함수 R(s,a)를 이용하여 상기 검색된 영상 중 사용자의 촬영 패턴이 누적된 추천 영상을 하나 이상 선별하여 사용자에게 추천하는 단계;
    추천된 영상으로부터 사용자 피드백을 받는 단계;
    상기 사용자 피드백이 반영된 촬영 영상에 대한 촬영 정보 u(t+1)를 추출하는 단계;
    상기 촬영 정보 u(t+1)을 이용하여 상기 사용자 프로파일 s(t)을 갱신하는 단계; 및
    상기 갱신된 프로파일을 기반으로 상기 추천함수 R(s,a)를 갱신하는 단계;를 포함하는 개인 일생 기록을 위한 디지털 이미징 기기의 촬영 프로파일 학습 방법.
KR1020080009493A 2008-01-30 2008-01-30 개인 일생 기록을 위한 디지털 이미징 기기의 촬영프로파일 학습 장치 및 방법 KR101441587B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080009493A KR101441587B1 (ko) 2008-01-30 2008-01-30 개인 일생 기록을 위한 디지털 이미징 기기의 촬영프로파일 학습 장치 및 방법
US12/213,289 US8520096B2 (en) 2008-01-30 2008-06-17 Apparatus and method for learning photographing profiles of digital imaging device for recording personal life history

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080009493A KR101441587B1 (ko) 2008-01-30 2008-01-30 개인 일생 기록을 위한 디지털 이미징 기기의 촬영프로파일 학습 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20090083594A KR20090083594A (ko) 2009-08-04
KR101441587B1 true KR101441587B1 (ko) 2014-09-23

Family

ID=40898813

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080009493A KR101441587B1 (ko) 2008-01-30 2008-01-30 개인 일생 기록을 위한 디지털 이미징 기기의 촬영프로파일 학습 장치 및 방법

Country Status (2)

Country Link
US (1) US8520096B2 (ko)
KR (1) KR101441587B1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9936143B2 (en) 2007-10-31 2018-04-03 Google Technology Holdings LLC Imager module with electronic shutter
US9392322B2 (en) 2012-05-10 2016-07-12 Google Technology Holdings LLC Method of visually synchronizing differing camera feeds with common subject
US9357127B2 (en) 2014-03-18 2016-05-31 Google Technology Holdings LLC System for auto-HDR capture decision making
US9774779B2 (en) * 2014-05-21 2017-09-26 Google Technology Holdings LLC Enhanced image capture
US9729784B2 (en) * 2014-05-21 2017-08-08 Google Technology Holdings LLC Enhanced image capture
US10250799B2 (en) 2014-05-21 2019-04-02 Google Technology Holdings LLC Enhanced image capture
US9813611B2 (en) * 2014-05-21 2017-11-07 Google Technology Holdings LLC Enhanced image capture
US9413947B2 (en) 2014-07-31 2016-08-09 Google Technology Holdings LLC Capturing images of active subjects according to activity profiles
US9654700B2 (en) 2014-09-16 2017-05-16 Google Technology Holdings LLC Computational camera using fusion of image sensors
US10129461B2 (en) 2016-12-05 2018-11-13 International Business Machines Corporation Automated image capture based on image context
JP7333683B2 (ja) * 2018-03-22 2023-08-25 エヌ・ティ・ティ・コミュニケーションズ株式会社 情報提供システム、情報提供方法及びコンピュータープログラム
KR20220114521A (ko) * 2019-12-13 2022-08-17 엘지전자 주식회사 스마트 월 및 그 제어 방법
CN115103127B (zh) * 2022-08-22 2022-11-08 环球数科集团有限公司 一种嵌入式智能摄像机设计方法与系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08129129A (ja) * 1994-11-02 1996-05-21 Nikon Corp 自動焦点調節装置および自動焦点調節装置を備えたカメ ラ
JP2003262910A (ja) * 2002-03-12 2003-09-19 Casio Comput Co Ltd 撮像装置、合焦状況表示方法及びプログラム
JP2005151375A (ja) * 2003-11-19 2005-06-09 Casio Comput Co Ltd カメラ装置、及びその撮影条件設定方法
JP2007274195A (ja) * 2006-03-30 2007-10-18 Casio Comput Co Ltd 撮像装置、撮像方法及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4006448B2 (ja) 1995-12-28 2007-11-14 キヤノン株式会社 画像処理装置およびその方法
US6930718B2 (en) * 2001-07-17 2005-08-16 Eastman Kodak Company Revised recapture camera and method
JP4123841B2 (ja) 2002-06-24 2008-07-23 ソニー株式会社 サービス提供システム、情報処理装置および方法、記録媒体、並びにプログラム
JP2004213567A (ja) 2003-01-08 2004-07-29 Ntt Docomo Inc 画像学習装置及びその学習方法
US20050104976A1 (en) * 2003-11-17 2005-05-19 Kevin Currans System and method for applying inference information to digital camera metadata to identify digital picture content
US7898572B2 (en) * 2004-02-04 2011-03-01 Sony Corporation Methods and apparatuses for identifying opportunities to capture content
KR100581434B1 (ko) 2004-02-23 2006-05-17 주식회사 팬택앤큐리텔 이동 통신 단말기에서 사진 관리 방법
JP2005260689A (ja) 2004-03-12 2005-09-22 Fuji Photo Film Co Ltd 携帯電話機及び日記データ送信通知プログラム
US7333962B2 (en) * 2006-02-22 2008-02-19 Microsoft Corporation Techniques to organize test results

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08129129A (ja) * 1994-11-02 1996-05-21 Nikon Corp 自動焦点調節装置および自動焦点調節装置を備えたカメ ラ
JP2003262910A (ja) * 2002-03-12 2003-09-19 Casio Comput Co Ltd 撮像装置、合焦状況表示方法及びプログラム
JP2005151375A (ja) * 2003-11-19 2005-06-09 Casio Comput Co Ltd カメラ装置、及びその撮影条件設定方法
JP2007274195A (ja) * 2006-03-30 2007-10-18 Casio Comput Co Ltd 撮像装置、撮像方法及びプログラム

Also Published As

Publication number Publication date
US20090189992A1 (en) 2009-07-30
US8520096B2 (en) 2013-08-27
KR20090083594A (ko) 2009-08-04

Similar Documents

Publication Publication Date Title
KR101441587B1 (ko) 개인 일생 기록을 위한 디지털 이미징 기기의 촬영프로파일 학습 장치 및 방법
KR20080080106A (ko) 디지털 이미지들의 전송 방법, 컴퓨터 프로그램, 및 장치
US9338311B2 (en) Image-related handling support system, information processing apparatus, and image-related handling support method
US8330830B2 (en) Camera user input based image value index
JP5847070B2 (ja) サーバ装置及び撮影装置
JP4870503B2 (ja) カメラ、ブログ管理システム
US20160309051A1 (en) Imaging operation terminal, imaging system, software extraction method, and computer-readable device
JP4965361B2 (ja) カメラ、撮影情報表示方法、およびサーバー
JP2018148483A (ja) 撮像装置及び撮像方法
JP2011040860A (ja) 画像処理装置及び画像処理プログラム
JP4922066B2 (ja) カメラ
JP2020129268A (ja) 学習依頼装置、学習装置、推論モデル利用装置、推論モデル利用方法、推論モデル利用プログラム及び撮像装置
JP2021077131A (ja) 構図アドバイスシステム、構図アドバイス方法、ユーザ端末、プログラム
JP2012038345A (ja) 画像処理装置、画像処理方法、およびカメラ
WO2023286652A1 (ja) 学習装置、予測装置および撮像装置
JP5213285B2 (ja) カメラおよび撮影方法
KR20110139441A (ko) 네트워크를 이용한 이미지 콘텐츠 공유 방법
KR101431191B1 (ko) 영상보정 시스템, 영상보정방법 및 스마트 영상획득 장치
JP2012027678A (ja) 画像表示装置およびプログラム
JP7200030B2 (ja) 学習装置、撮像装置、学習システム、ａｉ情報提供装置、学習方法及び学習プログラム
JP5609108B2 (ja) 撮影データ出力システム、撮影データ出力装置、撮影データ出力方法及びコンピュータプログラム
JP2006092280A (ja) 携帯型撮像装置
JP2022080436A (ja) 撮影システム、サーバ、通信端末、撮影方法、プログラムおよび記録媒体
JP5568149B2 (ja) カメラおよび撮影方法
JP2022040912A (ja) 検出装置および検出方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170818

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190820

Year of fee payment: 6