KR20150082204A - 이미지 캡쳐 및 심층 어노테이션 방법 및 시스템 - Google Patents

Abstract

본 발명은 이미지 센서로 캡쳐된 이미지를 나타내는 데이터를 캡쳐하는 단계; 상기 캡쳐된 데이터에 숨겨진 스테가노그래픽 마크를 검색하는 단계; 변경된 이미지를 나타내는 이미지 처리된 데이터를 생성하기 위해 상기 히든 마크들을 기초로 상기 캡쳐된 데이터를 이미지 처리하는 단계; 다른 이미지들을 나타내는 참조 데이터 세트로부터 참조 데이터와 상기 이미지 처리된 데이터를 매치시키는 단계; 및 상기 이미지 처리된 데이터를 기초로 어노테이션된 이미지를 렌더링하는 단계를 포함한 이미지 캡쳐 및 처리 방법에 관한 것이다. 본 발명은 또한 적어도 하나의 이미지를 나타내는 데이터를 캡쳐하는데 적합한 이미지 센서 및 캡쳐된 데이터에 있는 히든 마크를 적어도 부분적으로 검색하도록 프로그램된 프로세서를 구비하고, 상기 히든 마크 검색을 기초로 이미지 처리된 데이터를 생성하며 원격 서버로부터 수신된 어노테이션을 포함하는 사용자 디바이스에 관한 것이다. 사용자 디바이스는 원격 서버가 이미지를 매칭시키는 시스템의 일부이다.

Description

이미지 캡쳐 및 심층 어노테이션 방법 및 시스템{Method and system for image capture and facilitated annotation}

본 발명은 이미지 캡쳐 및 심층 어노테이션을 위한 방법 및 시스템에 관한 것이다. 더욱이, 본 발명은 하기에 나타낸 방법 단계들을 수행하는데 적합한 컴퓨터 프로그램 제품을 다룬다.

참조문헌 WO2012/019163은 휴대폰으로 정지 이미지 또는 비디오 이미지가 캡쳐되고 비디오 디스플레이 크기에 해당하는 직사각형 부분이 검색된 후 이런 부분 내에 있는 히든 마크들이 식별되는 방법을 개시하고 있다.

참조문헌 WO2011/088386은 컨텐츠 저작시스템에 의해 이전에 포함된 히든 데이터를 포함한 캡쳐 이미지의 증강현실 방법을 개시하고 있다.

더욱이, US2007/0024527은 휴대폰에 의해 캡쳐되고 히든 컨텐츠를 포함한 후의 이미지가 이 같은 히든 컨텐츠와 더불어 원격 유닛으로 보내지는 방법을 개시하고 있다.

마찬가지로, WO2011/156475는 위치에 대한 히든 컨텐츠가 이미지 내에 포함되는 방법을 개시하고 있다. 이런 이미지는 휴대폰에 의해 캡쳐될 수 있다. 상기 참조문헌은 휴대폰에 의해 디스플레이된 다음 캡쳐된 이미지에 위치종속정보를 겹치는 것을 더 개시하고 있다.

증강현실 방안에서, 이미지들은 통상적으로 카메라가 달린 휴대폰과 같은 휴대용 카메라로 사용자에 의해 캡쳐되고 컬렉션에 저장된 참조 이미지와 비교된다. 일치하는 경우, 즉, 캡쳐된 이미지가 사전에 저장된 참조 이미지들 중 하나와 일치하면, 이 참조 이미지와 관련된 어노테이션 요소가 검색되고 캡쳐된 이미지 위에 겹쳐져, 어노테이션 이미지가 된다.

참조 이미지의 개수는 매우 많을 수 있기 때문에, 사용자의 디바이스에 로컬로 참조 이미지의 완전한 컬렉션을 저장하는 것은 대개 적합하지 않다. 게다가, 다른 사용자들이 참고 이미지를 추가, 변경 및 공유할 수 있어, 참조 이미지의 컬렉션을 매우 자주 업데이트하는 것이 종종 바람직하다. 그러므로, 참조 이미지가 저장되고 제한 및 매칭 프로세스가 수행되는 원격 서버로 캡쳐된 이미지들이 자주 전송된다.

이런 통상적으로 사용되는 방법은 많은 결함들이 있다. 사용자의 사용자 디바이스는 캡쳐된 이미지들 중 어떤 것이 어노테이션과 연관되는지 모르기 때문에, 모든 캡쳐된 이미지들을 원격 서버로 보내는 것이 필요하며, 그런 후 상기 서버는 그 컬렉션에서 각 참조이미지와 각각 캡쳐되고 전송된 이미지를 매치시키려 할 것이다. 비디오 이미지의 경우, 이는 많은 프레임들이 어떤 참조 이미지와 일치하지 않고 어노테이션될 수 없는 비디오스트림을 전송하는 것은 쓸모없으며, 따라서, 대역폭을 낭비하게 된다. 더욱이, 이는 참조 이미지와 함께 수신된 매우 많은 상관없는 이미지들을 처리하는 게 필요한 원격서버에 업무량이 증가하게 된다.

다른 공지의 시스템들은 가령, 전송 명령을 선택함으로써 캡쳐된 이미지를 서버에 전송하는 것을 개시하도록 사용자로부터 동작을 필요로 한다. 이는 사용자가 어떤 캡쳐된 이미지들이 어노테이션과 연관되고 어떤 이미지가 전송되어야 하는지 판단할 수 있는지 알 것을 필요로 한다.

수신된 이미지의 캡쳐 조건들이 참조 이미지의 캡쳐 조건과 다를 경우 원격 서버의 업무량은 심지어 더 증가된다. 예컨대, 이미지가 다른 거리 및/또는 각도로부터 캡쳐되면, 서버는 등록을 하고 가능한 매치를 검증하기 위해 수신된 이미지를 크롭, 회전, 및/또는 그렇지 않으면 왜곡하는 게 필요할 수도 있다. 캡쳐 이미지와 참조 이미지에서 다른 주밍팩터(zooming facor), 휘도, 콘트라스트, 채도, 화이트 밸런스, 등을 보상하기 위해 다른 조정들이 필요로 할 수 있다. 그러나, 실시간으로 매우 많이 수신된 캡쳐 이미지들을 인식하는 것은 엄청난 처리능력을 필요로 한다. 더욱이, 서버는 캡쳐 이미지가 어떻게 등록되어야 하고 가령, 캡쳐된 이미지를 다른 가능한 방식으로 크롭(crop) 또는 리사이즈(resize)함으로써 다른 조절들이 필요할 수 있는지 사전에 알지 못한다.

따라서, 본 발명의 목적은 기존 증강현실 시스템의 상술한 문제들을 해결하거나 적어도 완화하는 것이다.

일태양에 따르면, 이들 목적은 이미지 센서로 이미지를 나타내는 캡쳐된 데이터를 획득하는 단계; 상기 캡쳐된 데이터에 숨겨진 스테가노그래픽 마크를 검색하는 단계; 변경된 이미지를 나타내는 이미지 처리된 데이터를 생성하기 위해 상기 히든 마크들을 기초로 상기 캡쳐된 데이터를 이미지 처리하는 단계; 다른 이미지들을 나타내는 참조 데이터 세트로부터 참조 데이터와 상기 이미지 처리된 데이터를 매치시키는 단계; 매치된 참조 데이터와 관련된 어노테이션을 검색하는 단계; 및 상기 이미지 처리된 데이터를 기초로 어노테이션된 이미지를 렌더링하는 단계를 포함한 이미지 캡쳐 및 처리 방법에 의해 달성된다.

이는 히든 마크와 관련된 캡쳐된 이미지들 중 이들만 처리되는 것이 필요하다는 이점이 있다. 히든 마크는 가령 사용자 디바이스 내 모듈에 의해 감지하기가 쉬울 수 있다. 따라서, 사용자의 디바이스는 이들 히든 마크들 중 하나를 포함하고 따라서 참조 이미지와 매치할 것 같은 이들 이미지들을 분류할 수 있고, 원격 서버로 이들 이미지들만 보내므로, 전송될 데이터량이 감소된다.

스테가노그래픽 마크들이 이미지에 숨겨져 있기 때문에, 이들은 어떤 특수한 이미지 처리를 하지 않고는 보여질 수 없고 따라서 기존 정지 또는 비디오 이미지에 통합하기가 쉽다.

특허청구된 방법은 캡쳐된 이미지를 나타내는 데이터가 히든 마크에 포함된 정보를 이용해 처리되는 한층 더한 이점이 있어, 이미지 처리된 데이터는 참고 이미지를 나타내는 데이터와 매치하기가 더 쉬워질 수 있다. 예컨대, 히든 마크는 해당 참조 이미지와 매치하기 위해 캡쳐된 이미지가 리사이즈, 크롭, 회전 또는 그렇지 않으면 변환되어야 하는 지를 결정하는데 사용될 수 있다.

일실시예에서, 히든 마크는 캡쳐되어야 하는 이미지의 적어도 한 경계를 정의한다.

일실시예에서, 히든 마크는 이미지의 기하학적 왜곡 또는 화이트 밸런스, 콘트라스트, 채도 및/또는 휘도를 보정하는데 사용될 수 있다.

이는 일단 처리된 다음 이미지 최종 품질의 향상을 가능하게 하는 이점이 있다. 이는 또한 이미지의 캡쳐 품질을 향상시켜, 가령, 더 안정적이고, 더 나은 센터링과 그렇지 않으면 향상된 이미지 데이터 스트림을 만든다. 이는 기존의 참조 이미지 데이터와 매칭 및 등록 프로세스를 더 쉽고, 더 빠르고, 더 강건하게 한다.

히든 마크는 단지 이미지를 안정화시키기 위해 또는 그렇지 않으면 이미지 처리에 필요한 데이터를 나타내는 데 필요하다. 어노테이션 그 자체는 컴퓨터 비전 및 피처 인식방법으로 결정된 바와 같이 이미지의 시각적 컨텐츠에 따른다. 따라서, 히든 마크는 작고 쉽게 숨겨질 수 있다. 그러나, 히든 마크에 있는 어노테이션을 결정하기 위해 사용된 어떤 컨텐츠를 또한 숨길 수 있다.

일실시예에서, 히든 마크가 캡쳐된 데이터를 나타내는 데이터 중 하나에 검색될 때까지 연속 정지 이미지 또는 비디오에서 연속 프레임과 같은 연속 이미지들이 카메로로 캡쳐된다. 프로세스는 이들 캡쳐된 이미지만을 상기 참고 이미지와 매치시키려고 시도하는 것을 포함한다. 히든 마크가 전혀 없는 이미지를 나타내는 데이터는 서버로 전송되지 않고 더 이상 처리되지 않으므로, 대역폭과 계산 자원의 낭비를 막는다.

일태양에 따르면, 이들 목적은 또한 적어도 하나의 이미지를 나타내는 데이터를 캡쳐하는데 적합한 이미지 센서 및 캡쳐된 데이터에 있는 히든 마크를 적어도 부분적으로 검색하도록 구성되고 상기 히든 마크 검색을 기초로 이미지 처리된 데이터를 로컬로 생성하며 원격으로 처리된 어노테이션을 매칭시키는 프로세서를 구비한 사용자 디바이스에 의해 실행된다.

이는 사용자 디바이스가 이미지 매칭을 수행하는데 필요할 수 있는 전체 처리능력을 필요로 하지 않고, 대조적으로 일종의 "전처리"로 원격 프로세서를 이점적으로 도울 수 있어, 원격 프로세서와 오가며 교환되는 데이터량을 삭감하는 이점이 있다.

일실시예에서, 사용자 디바이스는 이미지를 나타내기에 적합한 디스플레이를 구비하고, 상기 프로세서는 디스플레이에 보조신호를 나타내게 함으로써 히든 마크 검색시 사용자를 돕도록 구성된다.

이는 사용자가 증강현실의 프로세스에 연루되게 하고 동시에 사용자 디바이스를 도와 더한 처리 부담을 야기하지 않으며 외부 사람 지원에 의해 히든 마크의 적어도 일부를 인식하게 하는 이점이 있다.

바람직하게, 일실시예에서, 보조신호는 상기 히든 마크의 자동 완전 식별이 실패하고/하거나 사용자가 히든 마크 검색 및/또는 캡쳐된 이미지의 인식을 향상시키기 위한 임의의 다른 가능한 방식으로 카메라를 이동하거나, 주밍팩터를 변경하거나, 캡쳐 상태를 변경할 수 있음을 다바이스가 감지할 경우 디스플레이에 나타내진다.

일실시예에서, 사용자 디바이스는 히든 마크를 감지하기 위해 이들 이미지들을 원격 서버로 전송할 필요없이 로컬로 히든 마크를 감지한다.

이는 처리 부담을 이점적으로 감소시키는데, 히든 마크는 데이터를 전송할 필요없이 로컬로 감지될 수 있기 때문이다. 히든 마크의 감지는 캡쳐된 이미지가 어떤 어노테이션과 관련 있는지 여부를 결정하는데 사용될 수 있고, 이들 어노테이션을 검색하기 위해 로컬로 또는 원격 서버에서 처리되어야 한다.

어노테이션 처리는 가령, 디바이스에 저장되거나 서버로부터 검색된 몇몇 기준 모델을 이용해 디바이스 내에 또는 참고 모델을 저장하고 캡쳐된 이미지 또는 캡쳐된 이미지의 처리된 버전이 전송되는 원격 서버에 행해질 수 있다.

로컬로 또는 서버에 있는 이미지를 처리하는 결정은 히든 마크에 따를 수 있다. 대안으로, 디바이스는 일치하는 참조 이미지를 로컬로 발견하고, 로컬 메모리에 있는 일치하는 참조 이미지를 찾는 데 실패할 경우, 캡쳐된 이미지 또는 캡쳐된 이미지의 이미지 처리되 버전을 원격 서버로 전송하려고 시도할 수 있다.

따라서, 상술한 목적은 또한

- 이미지를 나타내는 데이터를 캡쳐하기에 적합한 이미지 센서와 상기 데이터에 히든 마크를 식별하기 위해 배열된 프로세서를 갖는 적어도 하나의 디바이스; 및

- 상기 사용자 디바이스로부터 송신된 캡쳐 이미지의 적어도 일부를 처리하고 상기 사용자 디바이스로 어노테이션 또는 어노테이션된 이미지를 보내기 위해 상기 적어도 하나의 사용자 디바이스에 데이터를 송수신하는데 적합한 원격 서버를 구비하는 시스템에 의해 얻어진다.

따라서, 이점적으로, 시스템은 사용자 디바이스가 이미지 매칭 처리의 계산 노력으로부터 사용자 디바이스의 부담을 덜어주는 외부 서버로부터 수신된 데이터를 기초로 어노테이션된 이미지를 디스플레이하게 한다.

히든 마크의 식별은 주파수 영역, 시간 영역 및/또는 공간 영역 중 적어도 하나에서 수행된다.

이는 이미지 캡쳐 상태가 나쁘거나, 정지하거나 정지하지 않은 이미지에 열악한 품질을 가진 노이즈가 있거나, 캡쳐 정확도를 희석시키는 기타 효과들이 있더라도 검색될 수 있는 이점이 있다.

마지막으로, 상술한 목적은 비일시적 미디어 지원장치(media suport)에 저장되고 적어도 하나의 데이터 프로세서가 상술한 방법의 단계들을 실행하게 하는 명령어를 포함하는 컴퓨터 프로그램 제품에 의해 얻어진다.

상술한 특징들의 또 다른 이점은 사용자 디바이스와 원격 서버 간에 전송되는 데이터량을 줄이는 것이다.

본 발명의 내용에 포함됨.

예로써 주어지고 도면에 도시된 실시예에 대한 설명의 도움을 받음으로써 본 발명을 더 잘 이해할 것이다:
도 1은 이미지 캡쳐 및 어노테이션을 위한 시스템의 전체 도면을 도시한 것이다.
도 2는 도 1의 시스템의 일부의 세부내용을 도시한 것이다.
도 3은 시스템에 의해 수행된 알고리즘의 부분들을 포함한 흐름도를 도시한 것이다.
도 4는 선택한 히든 마크 식별방법을 기술한 흐름도를 도시한 것이다.
도 5는 방법 및 시스템의 사용 예를 도시한 것이다.

간략히 하기 위해, 본 명세서에서 "어노테이션"이라는 용어는 적어도 하나의 단어, 심볼, 스마일리(Smiley), 도면, 선, 화살표, 하이퍼텍스트, 음향, 이미지의 특별한 피처와 관련된 정지 또는 동영상을 나타낸다. 어노테이션은 이미지의 통상적인 관찰 동안 볼 수 있거나 인식될 수 있다; 가령, 어노테이션은 어노테이션 이미지 상에 중첩될 수 있다.

도 1에 나타난 바와 같이, 이미지 캡쳐 및 어노테이션용 시스템은 적어도 하나의 원격 서버(20) 뿐만 아니라, 비제한적인 범위로, 가령, 개인 휴대폰, 스마트폰, 태블릿, 컴퓨터, 통신 인터페이스가 달린 카메라, 카메라가 달린 헬멧, 카메라가 달린 고글, 컨택트 렌즈, 또는 사람에 탑재되고 가시광, 적외선 및/또는 자외선을 캡쳐하기 위한 센서 및 디스플레이를 구비한 기타 디바이스와 같은 휴대용 디바이스일 수 있는 사용자 디바이스(10)를 구비한다. 원격 서버(20)와 적어도 하나의 사용자 디바이스(10)는 이미지를 나타내는 데이터와 기타 데이터를 교환하는데 적합하다. 본 명세서에서 원격 서버를 말하고 있으나, 가령, 클라우드 서버 또는 복수의 서버들을 포함한 이미지 처리 및 데이터 송수신을 수행할 수 있는 임의의 원격 처리 시스템에 의해 대체될 수 있다.

상세하게, 사용자 디바이스(10)는 디스플레이(11)와 (가령, 슬라이드, 프리젠테이션, 인물사진, 광고, 스포츠를 포함한) 정지 및/또는 동영상을 캡쳐할 수 있는 이미지 센서(12)를 구비한다. 사용자 디바이스는 이미지를 나타내는 데이터를 처리할 수 있는 프로세서(13)와 이미지를 저장하도록 구성된 메모리(14)를 구비한다. 프로세서(13)는 메모리(14)에 저장된 적절한 프로그램 코드를 실행할 수 있다. WIFI 및/또는 셀룰러 인터페이스와 같은 트랜시버(15)가 인터넷과 같은 네트워크를 통해 디바이스(10)를 원격 서버(20) 또는 클라우드 서버에 연결시키고, 데이터를 원격 서버(20)와 무선으로 교환하는데 이용될 수 있다. 이 트랜시버는 사용된 사용자 디바이스(10)의 실제 카테고리에 따라 맞춰질 것이며, 가능하다면, 공지의 데이터 송수신 표준에 따르도록 설계될 것이다.

사용자 디바이스(10)에서 메모리(14)에 저장되고 프로세서(13)에 의해 실행된 프로그램 코드는 가령 사용자가 사용자 디바이스(10)에 다운로드하고 설치할 수 있는 애플리케이션 소프트웨어, 또는 앱을 포함할 수 있다. 프로그램 코드는 또한 디바이스(10)의 동작 코드의 일부를 포함할 수 있다. 프로그램 코드는 또한 웹페이지에 들어 있거나 가령, 자바, 자바스크립트, HTML5 코드 등을 포함해 브라우저에 실행되는 코드를 포함할 수 있다. 프로그램 코드는 플래시 메모리, 하드 디스크, 또는 임의의 타입의 영구 또는 반영구 메모리와 같은 접촉식 기기 판독매체에 컴퓨터 프로그램 제품으로서 저장될 수 있다.

서버(20)는 2D 및/또는 3D 참조 이미지와 같은 참조 이미지 및/또는 하나 또는 복수의 글로벌 모델의 컬렉션을 저장하기 위한 SQL 데이터베이스, 한 세트의 XML 다큐먼트, 한 세트의 이미지 등과 같은 데이터베이스를 갖는 스토리지(21), 및 마이크로프로세서가 어노테이션 방법에 필요한 동작을 수행하게 하기 위한 컴퓨터 코드를 갖는 마이크로프로메서와 같은 프로세서를 포함한다.

방법의 일예를 설명한다.

이미지 센서(12)에 의해 캡쳐된 정지 또는 동영상 프레임들 중 적어도 일부는 캡쳐된 이미지를 이미지-처리하는데 사용될 수 있는 동의어 스테가노그래피(synonym steganography) 마크들로 본 명세서에 또한 나타낸 몇몇 히든 마크(30)를 포함한다. 이들 히든 마크들은 사람의 눈으로 이들을 알아챌 수 없지만 이미지를 처리하는 사용자 디바이스(10)의 프로세서(13)에 의해 실행된 적절한 소프트웨어 모듈에 의해 추출될 수 있다. 따라서, 리더(reader) 또는 사용자가 이들 마크들 없는 이미지와의 차이를 인식하지 못하면서 많은 정보들이 스테가노그래픽 마크들에 저장될 수 있다.

예컨대, 도 2에 나타낸 바와 같이, 시스템(1)에 의해 감지될 수 있는 몇몇 마크들은 스크린, 모니터 상에 투사되거나 페이퍼 상에 인쇄된 정지 또는 비디오 이미지와 같이 이미지(61)의 코너(30a-30d)를 나타내는 정렬 마크들을 나타낼 수 있다. 몇몇 마크들은 또한 휘도 및/또는 화이트 밸런스를 조절하기 위한 기준 그레이 레벨, 기하학적 왜곡을 보정하기 위한 라인, 등과 같이 이미지의 기타 파라미터들을 나타내는 테스트 패턴을 나타낼 수 있다. 몇몇 히든 마크들은 또한 이미지가 원격 서버(20)로부터 이용가능한 어노테이션과 연관되는 것을 나타내도록 포함될 수 있다. 예컨대, 몇몇 히든 마크들은 히든 하이퍼링크를 포함할 수 있다.

다양한 스테카노그래픽 방법들이 종래 기술에 공지되어 있고 이러한 다른 타입의 마크들 숨기는데 사용될 수 있다. 예컨대, 마크는 사람의 눈 또는 뇌가 평균내는 복수의 연속 프레임들에 포함될 수 있거나; 시간 및/또는 공간 및/또는 주파수 영역에서 알아챌 수 없는 이미지의 변화로서 포함될 수 있다.

따라서, 히든 마크들은 공간 영역에서 픽셀들의 조작 또는 변위를 통해 숨겨질 수 있을 뿐만 아니라 시간 영역에서 연속 프레임들에 픽셀들의 조작에 의해 숨겨질 수 있다. 몇몇 히든 마크들은 DFT(Discrete Fourier Transform) 또는 DCT (Direct Cosine Transform)방법과 같은 이미지 데이터의 퓨리에 변환을 통해서만 드러날 수 있다. 이러한 히든 마크 방법들은 함께 혼합될 수 있어 감지하기 더 강건한 히든 마크들을 제공한다.

일예에서, DCT 기술은 이미지에 마크를 숨기고 마크를 검색하는데 이용된다. 마크를 숨기기 위해, 각 이미지는 복수의 블록들로 컷팅된다. 그런 후 이산 코사인 변환이 각 블록에 별개로 가해진다. 일실시예에서, 3개의 다른 종류의 데이터들이 3개의 브록들에 숨겨져 이들 3개의 블록들은 추후 이미지 면을 검색하기 위한 기하학적 통찰로 이용될 수 있다. 이들 3개의 다른 정보를 3개의 선택된 블록들에 숨기기 위해, 최하위 DCT 블록의 최하위 비트(LSB)를명확히 변경할 수 있다. 단 2비트만의 정보가 공간에 수직인 면을 회복하고 따라서 면이 투사 스크린면에 나란하지 않은 카메라에 의해 야기된 임의의 키스톤(keystone)을 교정하기 위해 각 블록에 매립되는 것이 필요하다. 추가 정보는 더 많은 블록들 및/또는 각 블록에 있는 더 많은 비트들 변경함으로써 숨겨질 수 있다.

히든 마크는 또한 "확장형 히든 마크"일 수 있다. 광고가 있는 신문의 경우를 가정하자; 이 경우, 가능성 있는 작은 이미지 치수, 이미지의 질감 결여, 및 이와 관련된 열악한 품질로 인해 스테가노그래픽 신호들을 정확히 인식하기가 어려울 수 있다. 따라서, 확장형 히든 마크는 그 자체를 캡쳐하기 위한 이미지에 뿐만 아니라 적어도 부분적으로 캡쳐된 이미지를 둘러싼 질감 영역을 포함한 그 주변들에 숨겨질 수 있다. 이런 식으로, 캡쳐된 이미지에 포함된 히든 데이터는 실제로 확장형 히든 마크라고 하는 상기를 포함한 풀 히든 데이터의 단지 일부이다.

도 3에 도시된 바와 같이, 시스템은 사용자 디바이스(10)와 서버(20) 간에 교환되는 데이터량을 가능한 한 많이 줄이면서 이미지 센서(12)에 의해 캡쳐된 이미지에 데이터를 어노테이션할 가능성을 갖는 쉬운 이미지 포커싱, 디블러링(deblurring), 안정화, 크롭핑 및/또는 프론트-플래닝에 이르는 방법을 수행한다. 하기에 더 상세히 세부적인 알고리즘 동작을 설명한다. 알고리즘의 다양한 단계들은 편의상 사용자 디바이스(10) 또는 서버(20)내 메모리에 저장된 컴퓨터 프로그램에 의해 실행될 수 있다.

시스템이 수행하는 알고리즘의 제 1 단계(100)는 이미지 센서(12)를 통해 사용자 디바이스(10)로 정지 이미지, 비디오 중 한 프레임 또는 전체 비디오를 나타내는 데이터를 캡쳐하는 것이다. 캡쳐된 데이터는 사용자 디바이스(10)의 메모리(14)에 저장된다.

그런 후, 연이은 단계(110)는 캡쳐된 데이터내 히든 마크(30)를 감지하는 데 있다. 이 단계 동안, 사용자 디바이스(10)의 프로세서(13)에 의해 실행된 모듈은 (가능하다면) 히든 마크를 추출하기 위해 캡쳐된 이미지를 처리하고, 이에 따라 포함된 데이터를 디코딩한다.

상세하게, 도 4에 개시된 바와 같이, 복수의 다른 방법들에 따라 스테가노그래픽 마크가 추출될 수 있다. 이는 사용자 디바이스(10)의 프로세서(12)가 실행하는 모듈은 히든 마크 인식을 자동으로 검색하기 위해 복수의 방법들 가운데서 고를 수 있다는 것을 의미한다. 도 4에 도시된 바와 같이, 히든 마크 인식방법을 고르는 제 1 단계는 상태 식별단계(2000)이다; 상기 상태식별은 이미지 센서(12)의 초점 거리, 또는 사용자에 의해 또는 사용자 디바이스(10)의 프로세서(13)에 의해 자동으로 검출되는 장면/모드, 및/또는 위치센서로 감지된 사용자 디바이스의 위치 및/또는 사용자 디바이스에 의해 수신된 무선 신호, 가령, 장면내 한 물체로부터 수신된 무선 신호에 따를 수 있다.

따라서, 검색된 적어도 하나의 상태는 사용자 디바이스의 메모리 내에 저장된 프로그램 코드에 의해 실행될 수 있는 복수의 식별방법들 중에 히든 마크 식별방법(3000)을 자동으로 선택하는데 사용된다.

그러므로, 스테가노그래픽 마크 내에 포함된 데이터를 추출하기 위해 캡쳐된 이미지에 선택된 식별방법을 적용하는 것이 또 다른 단계이다(블록 4000).

사용자 디바이스(10)는 캡쳐된 이미지(들)을 나타낸 데이터 내에 다른 스테가노그래픽 마크들을 식별할 수 있으며, 이는 매칭 및 등록 프로세스를 더 잘 구현하기 위해 사용될 수 있다. 예컨대, 이미지와 관련된 스테가노그래픽 마크들은 데이터, 시간, 지리위치코드, 이미지 타입, 식별 및 전반적으로 스테가노그래픽 메시지로서 이미지에 저장될 수 있는 임의의 종류의 정보를 나타낼 수 있다. 이 추가 정보는 프로세서가 이미지를 인식하고/하거나 이들 마크들에 따라 어노테이션을 바꾸도록 돕기 위해 사용자 디바이스(10)에 또는 가능하게는 원격 서버(20)에 검색될 수 있다. 예컨대, 동일한 이미지는 이들 추가 스테가노그래픽 마크들에 따라 다른 어노테이션과 연관될 수 있다.

때로, 캡쳐되는 이미지 또는 이미지들의 특정 위치나 거리 또는 특징으로 인해, 사용자 디바이스(10)의 프로세서(13)는 히든 마크의 전체 세트의 단지 일부만 감지한다. 판단블록(120)에 일치하는 경우에는 "예"로 나가고, 프로세서(13)가 실행한 프로그램은 모든 히든 마크들과 바라건대 어노테이션을 달기 위한 전체 이미지를 캡쳐하기 위해 사용자가 소정 방향으로 자신의 디바이스를 이동시키거나 회전시키도록 촉구하기 위해 사용자 디바이스의 디스플레이에 또는 뷰파인더에 보조신호 또는 청음신호를 디스플레이하도록 구성된다(블록(130), "제어신호를 디스플레이")). 사용자는 또한 히든 마크와 전체 이미지의 캡쳐를 향상시키기 위해 리포커싱, 휘도 조절, 또는 다른 조절을 할 수 있다. 초점, 휘도, 및/또는 컬러의 조절은 또한 전기적으로 제어될 수 있는 반면, 설정 값은 감지된 히든 마크에 따른다.

기타 보조신호가 디스플레이(11)에 나타나거나 그렇지 않으면 캡쳐를 돕기 위해 사용자에 주어질 수 있다. 예컨대, 이미지의 감지된 경계 또는 이미지의 일부 요소들의 경계가 부각될 수 있다. 그렇지 않으면 감지된 요소들은 히든 마크를 기초로 강조될 수 있다. 로고, 비디오, 광고가 히든 마크가 있고 따라서 가능하게는 어노테이션들과 관련된 대상물의 이미지를 현재 켭쳐하고 있음을 사용자가 알도록 히든 마크들이 감지된 것을 나타내도록 디스플레이될 수 있거나 그렇지 않으면 사용자에게 렌더링될 수 있다. 따라서, 사용자는 인식 프로세스가 스크린 주위에 유용한 뭔가를 이미 학습하기 시작했음을 안다. 히든 마크가 인식되는 대상물의 타입(가령, 2D 대상물, 3D 대상물, 얼굴, 건물, 등)에 대한 어떤 정보를 인코딩하는 경우, 감지된 타입에 대한 애니메이션 또는 일러스트레이션이 사용자에 나타날 수 있다.

사용자를 돕기 위한 신호들은 인식된 이미지로부터 디바이스를 멀리 움직이지 않게 하며 사용자 디바이스(10)를 동일한 위치로 계속 가리켜 사용자를 돕기 위해 전체 획득 기간 동안 디스플레이되거나 그렇지 않으면 나타날 수 있다. 사용자에 제공될 수 있는 메시지는 가령 디바이스 진동, 프로세서가 디스플레이로 전송한 비디오, 이미지에 겹쳐진 메시지, 카메라가 정확히 지향된다면 또는 어떤 방향으로 이동되어야 하는 지 나타내기 위한 라인, 화살표 등과 같은 그래픽 심볼일 수 있다.

단계(122)에서, 단계(100) 동안 캡쳐된 데이터는 사용자 디바이스(10)에 있는 소프트웨어 모듈에 의해 이미지 처리되어, 예로써 비제한적인 범위로, 더 많이 포커싱, 재정렬, 리사이즈 또는 크롭, 줌, 컬러 톤의 적용, 컬러 변환, 디노이징, 디블러링, 프론트 플래닝 또는 회전될 수 있는 변환 이미지에 해당하는 이미지 처리 데이터를 발생한다. 일태양에 따르면, 이 이미지 처리는 단계(110) 동안 감지된 히든 마크에 따른다. 가령, 히든 마크가 어노테이션을 달 직사각형 이미지의 코너를 나타내면, 단계(122) 동안 수행된 이미지 처리는 이들 코너들 외부의 모든 영역들을 크롭핑하는 단계를 포함할 수 있어, 관심 영역만을 포함한 변형된 이미지 데이터를 발생한다. 이미지 처리는 또한 가령 직사각형 대신 사다리꼴을 이루는 카메라의 지향으로 인해 및/또는 카메라의 렌즈로 인해 기하학적 또는 광학적 왜곡의 보정을 포함할 수 있다. 히든 마크가 기준 그레이 또는 기타 기준 컬러를 계산하는 것을 포함하거나 그렇지 않으면 이를 허용하다면, 이미지 처리는 컬러보정 이미지 데이터, 예컨대 화이트 밸런스, 채도, 콘트라스트, 및/또는 휘도 등이 보정된 이미지를 계산할 수 있다.

단계(125)에서, 처리된 이미지 데이터를 기초로 한 이미지 설명은 사용자 디바이스(10)에 있는 적절한 소프트웨어 모듈에 의해 계산된다. 이미지 설명은 가령 이미지의 로컬 피처들, 가령 높은 엔트로피와 신뢰할 수 있게 이미지를 식별하는 피처들의 디스크립터 리스트를 포함할 수 있다. 컴퓨터 비전 기술에 알려진 바와 같이, 다른 타입의 피처들이 사용될 수 있다. 그 후 이들 피처들의 디스크립터들가 계산된다. 디스크립터들은 바람직하게는 단계(122)에서 이미지 처리 후 계산되기 때문에, 관심 영역 밖의 영역들에 대한 디스크립터를 방지하며 더 신뢰할 수 있는 디스크립터들이 계산된다.

단계(140)에서, 디스크립터들의 리스트는 가능하게는 GPS 수신기, 캡쳐된 대상물로부터 수신된 신호, 사용자가 입력한 선택, 및/또는 이미 디코딩된 스테가노그래픽 마크들을 포함해 캡쳐된 데이터로부터 검색된 데이터에 의해 나타낸 바와 같이 사용자의 로컬화와 관련된 추가 데이터와 함께 서버(20)로 전송된다. 그런 후, 서버(20)는 2D 또는 3D 모델을 포함한 참고 이미지의 컬렉션에서 매칭 참고 이미지를 찾으려고 시도한다. 캡쳐된 데이터가 비교되어야 하는 참고 이미지의 선택은 사용자 디바이스에 의해 전송된 추가 정보를 이용하고/이용하거나 몇몇 참고 이미지들이 제한된 기간을 가질 경우 시간에 따라 이에 의해 제한될 수 있다. 전체 이미지를 기초로 하는 대신에, 피처의 설명을 기초로 할 수 있다면 매칭이 더 빨라진다.

참고 데이터로 캡쳐된 데이터를 매칭하기 위해 다른 알고리즘들이 이용될 수 있다. 예컨대, 제 1 알고리즘은 매칭 얼굴들에 대해 사용될 있고, 다른 알고리즘은 2D 참고 이미지와 캡쳐 데이터를 일치시키는데 사용될 수 있고, 제 3 알고리즘은 3D 모델과 캡쳐 데이터를 일치시키는데 사용될 수 있고, 이하 등등이다. 최선의 알고리즘의 선택은 적어도 부분적으로 감지된 스테가노그래픽 마크로부터 검색된 정보를 기초로 할 수 있다. 예컨대, 장면내 한 요소 상의 한 스테가노그래픽 마크는 장면의 3D 모델이 이용될 수 있는 것을 나타낼 수 있고, 3D 모델을 기초로 한 적절한 알고리즘을 선택하기 위해 서버에 의해 이용될 수 있다.

단계(150)에서, 하나 또는 복수의 매칭 기준 이미지가 발견되면, 서버(20)는 매칭 참고 이미지 또는 모델과 캡쳐된 이미지를 정렬하기 위해 등록을 수행하고, 참고 이미지의 좌표계에 카메라(10)의 위치를 결정한다.

단계(160)에서, 매칭 참고 이미지와 관련된 어노테이션 리스트는, 해당 이미지의 관련된 피처 또는 위치에 따라 서버(20)에 의해 실행된 프로그램 모듈에 의해, 스토리지(21)로부터 검색된다. 이들 어노테이션은 사용자 디바이스(10)로 보내진다. 대안으로, 어노테이션된 이미지가 전송된다.

단계(170)에서, 어노테이션은 이전의 이미지 처리 데이터에 추가되고, 데이터는 텍스트, 비디오, 이미지, 음향, 또는 하이퍼링크의 형태로 있을 수 있는 어노테이션(530)과 함께 처리된 이미지(53)를 나타낸다. 그런 후, 변경되고 어노테이션된 이미지가 디스플레이(11)에 나타난다.

제시된 방법으로, 사용자 디바이스에 의해 캡쳐된 이미지(들)은 노이지 없이 올바른 컬러와 정확한 줌으로, 그리고 회전이나 불필요한 부분들 없이 공면(共面) 방향으로 취해진 것처럼 나타나도록 가능한 한 자동으로 변형된다. 이런 식으로, 이미지, 스트림 비디오, 프리젠테이션, 광고 또는 영화의 일부를 취하는 것이 쉬워지고 특히 복잡한 연산이나 사용자 디비이스의 위치지정에 있어 사용자를 관여시키지 않고도 최종 품질이 향상되며 더욱 증강된 현실 충족감을 가이드한다. 더욱이, 이는 캡쳐된 이미지를 참고 이미지와 매칭하는 프로세스를 더 빠르고 더 강건하게 한다.

시스템 및 방법의 가능한 사용의 일예를 설명하며 도 5를 예로 든다. 이 예에서, 이미지(61)는 비머(beamer)(60)에 의해 벽에 투사된다. 이미지는 가령 포토그래프, 텍스트 파일, 프리젠테이션, 영화 등과 같은 정지 이미지일 수 있다. 이는 스테가노그래프적으로 이미지에 숨겨진 몇몇 히든 마크들을 포함한다.

사용자는 사용자 다비이스(10)로 프리젠테이션(정지 사진 또는 비디오 중 하나)을 캡쳐한다. 그러나, 비머(60)와 디바이스(10) 간에 오정렬로 인해, 캡쳐된 이미지(52)에서 프리젠테이션(61)의 이미지는 직사각형이 아니라, 키스톤 또는 톰스톤(tombstone) 왜곡과 같은 다양한 기하학적 왜곡을 포함한다. 다른 광학적 왜곡은 비머(60)의 렌즈, 디바이스(10)내 카메라의 렌즈, 비머로부터 투사라인에 평평하거나 수직하지 않은 투사면 등에 기인할 수 있다. 더욱이, 사용자는 사용자 디바이스로 안정적인 이미지를 캡쳐하기 어려우므로, 캡쳐된 이미지는 흔들릴 수 있고 프리젠테이션 이미지 주위로 많은 상관없는 영역을 포함할 수 있다. 캡쳐된 이미지는 또한 소정의 화이트 밸런스 또는 기타 컬러 문제가 있을 수 있다.

상술한 바와 같이 캡쳐의 품질을 향상시키기 위해, 사용자 디바이스에서 프로세서에 의해 실행된 프로그램은 캡쳐된 이미지(52)를 나타내는 데이터에 숨겨진 스테가노그래픽 마크들을 감지하고, 이 데이터를 이미지 처리하기 위한 명령어로 이들 마크들을 사용하며, 따라서 안정화, 크롭, 기하학적 조절, 또는 그렇지 않으면 향상될 수 있는 이미지를 나타내는 변경된 데이터를 발생한다. 예컨대, 히든 마크가 직사각형 표면의 4개 코너들을 나타내면, 프로그램은 이들 4개 코너들의 외부의 모든 영역들을 크롭할 수 있고 직사각형으로 만들기 위해 안쪽 부분을 교정할 수 있다.

사용자 디바이스에 의해 실행된 프로그램이 이들 히든 마크를 감지하기 때문에, 캡쳐된 이미지는 어노테이션과 관련 있음을 또한 안다. 어노테이션 또는 어노테이션된 이미지 데이터는 그런 후 이전에 기술된 방법을 이용해 사용자 디바이스(10)내 로컬 메모리로부터 또는 원격 서버(20)로부터 검색된다. 어노테이션되고 변형된 이미지(53)는 그런 후 사용자 디바이스(10)의 디스플레이(11)에 생성되고 디스플레이된다.

어떤 히든 마크들은 또한 완전한 이미지의 특정 요소들과 관련될 수 있다. 예컨대, 사람 또는 사물의 식별은 이 요소와 관련된 스테가노그래픽 마크로서 숨겨질 수 있고 프로그램에 의해 비디오의 연속 프레임들에서 이 사람 또는 사물을 추적하기 위해 사용자 디바이스(10)에 사용될 수 있다.

상술한 다양한 동작방법은 다양한 하드웨어 및/또는 소프트웨어 요소(들), 회로, 및/또는 모듈(들)과 같은 동작들을 수행할 수 있는 임의의 적절한 수단에 의해 수행될 수 있다. 일반적으로, 애플리케이션에 기술된 임의의 동작은 동작을 수행할 수 있는 해당 기능적 수단에 의해 수행될 수 있다. 다양한 수단, 논리 블록, 및 모듈은 회로, ASIC(Application Specific Integrate Circuit), 또는 범용 프로세서, DSP(Digital Signal Processor), ASIC(Application Specific Integrate Circuit), FPGA(Filed Programmable Gate Array Signal) 또는 다른 PLD(Programmabe Logic Device), 이산 하드웨어 구성요소들 또는 본 명세서에 기술된 기능을 수행하도록 설계된 그 임의의 조합을 포함하나 이에 국한되지 않는 다양한 하드웨어 및/또는 소프트웨어 구성요소(들) 및/또는 모듈(들)을 포함할 수 있다. 범용 프로세서는 마이크로프로세서일 수 있으나, 대안으로, 프로세서는 임의의 상용으로 구매가능한 프로세서, 컨트롤러, 마이크로컨트롤러 또는 상태 기계일 수 있다. 프로세서는 또한 컴퓨팅 디바이스들의 조합, 가령, DSP 및 마이크로프로세서의 조합, 복수의 마이크로 프로세서들, DSP 코어와 결부된 하나 이상의 마이크로프로세서들, 또는 임의의 다른 이러한 구성으로 구현될 수 있다. 서버는 단일 기계, 한 세트의 기계, 가상 서버, 또는 클라우드 서버로 구현될 수 있다.

본 명세서에 사용된 바와 같이, "어노테이션"이라는 용어는 가령, 텍스트, 정지 이미지, 비디오 이미지, 로고, 이미지 레이어, 음향 및/또는 중첩될 수 있거나 그렇지 않으면 이미지에 추가될 수 있는 기타 요소들을 포함한 광범위하게 다양한 가능한 요소들을 포함한다.

본 명세서에 사용된 바와 같이, "결정"이라는 용어는 광범위하게 다양한 동작을 포함한다. 예컨대, "결정"은 계산, 컴퓨팅, 프로세싱, 도출, 조사, 참조(가령, 표, 데이터 베이스, 또는 또 다른 데이터 구조의 참조), 확신, 추정 등을 포함할 수 있다. 또한, "결정"은 수신(가령, 정보 수신), 액세스(가령, 메모리에 있는 데이터에 액세스) 등을 포함할 수 있다. 또한, "결정"은 해결, 선택, 고름, 확립 등을 포함할 수 있다.

장면 이미지를 캡쳐하는 것은 카메라의 이미지 센서에 도달한 빛의 휘도를 측정하기 위해 디지털 카메라를 이용하는 것을 포함한다.

본 발명과 연계해 기술된 방법 또는 알고리즘의 단계들은 직접적으로 하드웨어에, 소프트웨어 모듈에, 또는 이 둘의 조합으로 구현될 수 있다. 소프트웨어 모듈은 해당기술분야에 공지된 임의의 형태의 저장매체에 상주할 수 있다. 사용될 수 있는 저장매체의 몇몇 예들은 RAM, ROM, 플래시 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 탈착식 디스크, CD-ROM 등을 포함한다. 소프트웨어 모듈은 단일 명령어 또는 많은 명령어들을 포함할 수 있고, 다른 프로그램들 중에서 다수의 다른 코드 세그먼트들 위로 그리고 다수의 저장매체에 걸쳐 분포될 수 있다. 소프트웨어 모듈은 실행가능한 프로그램, 부분 또는 루틴 또는 완전한 프로그램에 사용된 라이브러리, 복수의 상호연결된 프로그램, 많은 스마트폰, 태블릿 또는 컴퓨터에 의해 실행되는 "앱", 위젯, 플래시 애플리케이션, HTML 코드의 일부 등으로 구성될 수 있다. 저장매체는 프로세서가 저장매체로부터 정보를 읽고 쓸 수 있도록 프로세서에 연결될 수 있다. 대안으로, 저장매체는 프로세서에 통합될 수 있다. 데이터베이스는 SQL 데이터베이스, XML 다큐먼트 세트, 시맨티컬 데이터베이스, 또는 IP 네트워크를 통해 이용가능한 정보 세트 또는 임의의 다른 적절한 구조를 포함한 임의로 구성된 데이터의 수집으로 구현될 수 있다.

따라서, 몇몇 태양들은 본 명세서에 표현된 동작들을 수행하기 위한 컴퓨터 프로그램 제품을 포함할 수 있다. 예컨대, 이런 컴퓨터 프로그램 제품은 상술한 동작들을 수행하기 위해 명령어가 저장(및/또는 코딩)된 컴퓨터 판독가능 매체, 하나 이상의 프로세서들에 의해 실행될 수 있는 명령어들을 포함할 수 있다. 몇몇 태양에 대해, 컴퓨터 프로그램 제품은 패키지 재료를 포함할 수 있다.

특허청구범위는 정확한 구성 및 상술한 구성요소들에 국한되지 않음을 알아야 한다. 본 발명의 기술범위와 특허청구범위로부터 벗어남이 없이 상술한 방법 및 기기에 대한 배열, 동작 및 상세내용에 있어 다양한 변경, 변형 및 변화들이 행해질 수 있다.

Claims (22)

1. 이미지 센서(12)로 캡쳐된 이미지(52)를 나타내는 데이터를 캡쳐하는 단계;
   상기 캡쳐된 데이터에 숨겨진 스테가노그래픽 마크(30)를 검색하는 단계;
   변경된 이미지를 나타내는 이미지 처리된 데이터를 생성하기 위해 상기 히든 마크들을 기초로 상기 캡쳐된 데이터를 이미지 처리하는 단계;
   다른 이미지들을 나타내는 참조 데이터 세트(21)로부터 참조 데이터와 상기 이미지 처리된 데이터를 매치시키는 단계; 및
   상기 이미지 처리된 데이터를 기초로 어노테이션된 이미지(53)를 렌더링하는 단계를 포함한 이미지 캡쳐 및 처리 방법.
2. 제 1 항에 있어서,
   상기 캡쳐된 이미지는 비디오 이미지인 이미지 캡쳐 및 처리 방법.
3. 제 1 항에 있어서,
   상기 캡쳐된 이미지는 정지 이미지인 이미지 캡쳐 및 처리 방법.
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
   상기 스테가노그래픽 마크(30)는 캡쳐할 관심 부분의 경계를 정의하는 정렬 마크를 포함하고, 상기 이미지처리 단계는 상기 마크들에 따라 상기 처리된 이미지를 정렬하기 위해 상기 이미지를 크롭 및/또는 리사이즈하는 단계를 포함하는 이미지 캡쳐 및 처리 방법.
5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
   상기 이미지처리 단계는 상기 히든 마크를 기초로 기하학적 또는 광학적 왜곡을 보정하는 단계를 포함하는 이미지 캡쳐 및 처리 방법.
6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
   상기 이미지처리 단계는 상기 히든 마크를 기초로 컬러를 적용하는 단계를 포함하는 이미지 캡쳐 및 처리 방법.
7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
   상기 이미지처리 단계는 상기 히든 마크를 기초로 콘트라스트 및/또는 채도 및/또는 휘도를 적용하는 단계를 포함하는 이미지 캡쳐 및 처리 방법.
8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
   상기 캡쳐된 이미지들 중 하나에서 히든 마크가 검색될 때까지 복수의 캡쳐된 이미지들을 나타내는 데이터의 캡쳐를 포함하고, 히든 마크를 포함한 상기 이미지 처리된 데이터를 상기 참고 이미지와 단지 데이터 매치시키려고 하는 이미지 캡쳐 및 처리 방법.
9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
   상기 이미지는 사용자 디바이스(10)로 캡쳐되고, 상기 스테가노그래픽 마크를 검색하는 단계와 상기 캡쳐된 이미지를 처리하는 단계는 상기 사용자 디바이스에서 수행되고, 상기 매칭은 원격으로 수행되는 이미지 캡쳐 및 처리 방법.
10. 제 9 항에 있어서,
    상기 사용자 디바이스(10)에 상기 캡쳐된 이미지의 로컬 피처의 디스크립터를 계산하는 단계를 더 포함하는 이미지 캡쳐 및 처리 방법.
11. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
    사용자에 주어지는 명령어를 결정하기 위해 상기 히든 마크를 이용하는 단계를 포함하는 이미지 캡쳐 및 처리 방법.
12. 제 11 항에 있어서,
    상기 명령어는 상기 이미지 센서를 이동시키기 위한 명령어를 포함하는 이미지 캡쳐 및 처리 방법.
13. 제 1 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 스테가노그래픽 마크를 검색하기 위한 복수의 방법들 중에 한 방법을 선택하는 것을 포함하고, 상기 선택은 하기의 조건들:
    이미지 센서(12)의 초점 거리;
    사용자가 선택하거나 자동으로 감지되는 장면/모드;
    장면의 한 요소로부터 수신된 무선 신호; 및
    위치;
    중 적어도 하나에 따르는 이미지 캡쳐 및 처리 방법.
14. 제 1 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 이미지 처리된 데이터와 참고 데이터를 매치시키기 위한 복수의 방법들 중에 한 방법을 선택하는 것을 포함하고, 상기 선택은 상기 한 스테가노그래픽 마크로부터 검색된 정보에 따르는 이미지 캡쳐 및 처리 방법.
15. 적어도 하나의 이미지를 나타내는 데이터를 캡쳐하는데 적합한 이미지 센서(12) 및 캡쳐된 데이터에 있는 히든 마크(30)를 적어도 부분적으로 검색하도록 프로그램되고 상기 히든 마크 검색을 기초로 이미지 처리된 데이터를 생성하며 원격 서버(20)로부터 수신된 어노테이션(530)을 포함하는 프로세서(13)를 구비하는 디바이스(10).
16. 제 15 항에 있어서,
    상기 캡쳐된 데이터 또는 상기 캡쳐된 데이터로부터 검색된 피처 중 어느 하나를 원격 서버(20)로 전송하고, 상기 서버로부터 상기 어노테이션을 수신하기에 적합한 송수신 스테이지(15)를 구비하는 디바이스.
17. 제 15 항 또는 제 16 항에 있어서,
    처리는 상기 데이터를 포커싱, 주밍, 크롭핑, 화이트 밸런싱, 콘트라스팅 또는 컬러링하는 것 중에 하나 또는 다수를 포함하는 디바이스.
18. 제 16 항 또는 제 17 항에 있어서,
    이미지를 나타내기에 적합한 디스플레이(11)를 구비하고, 상기 프로세서(13)는 디스플레이(11)에 보조신호를 나타내게 함으로써 히든 마크 검색시 사용자를 돕도록 프로그램되는 디바이스.
19. 제 18 항에 있어서,
    상기 보조신호는 몇몇 필요한 히든 마크들이 이미지 밖에 있을 때 디스플레이(11)에 나타나게 만들어지므로, 디바이스를 움직이는 방법을 사용자에게 나타내는 디바이스.
20. 제 18 항 또는 제 19 항에 있어서,
    상기 보조신호는 요소의 경계 이미지의 경계를 부각시키기 위해 디스플레이(11)에 나타나게 만들어지는 디바이스.
21. 이미지를 캡쳐하고 상기 이미지에 히든 마크를 식별하기에 적합한 이미지 센서(12)를 갖는 적어도 하나의 디바이스(10); 및
    상기 디바이스로부터 송신된 캡쳐 이미지의 적어도 일부를 처리하고 상기 디바이스로 어노테이션 또는 어노테이션된 이미지를 보내기 위해 상기 적어도 하나의 디바이스에 데이터를 송수신하는 원격 서버(20)를 구비하는 시스템.
22. 비일시적 미디어 지원장치에 저장되고 적어도 하나의 데이터 프로세서가 제 1 항 내지 제 14 항 중 어느 한 항에 따른 방법 단계들을 실행하게 하는 명령어를 포함하는 컴퓨터 프로그램 제품.

Images