29 окт. 2011 г.

Исследовательские плагины для Хрома

Сбор информации дело не простое, а когда из источников только один сайт исследуемого объекта, то становиться совсем не просто. По этому полезно под рукой иметь инструменты для препарирования сайтов. Интересный обзор таких инструментов приведен в публикации Хак-машина из Google Chrome

Хак-машина из Google Chrome:
Очень многие впечатляются и радуются скорости работы Google Chrome, но удивительное дело, даже не пробовали подключить дополнительные расширения. Какая глупость! Толковых аддонов пока действительно не так много, но уже сейчас есть набор расширений, которые могут пригодиться для пенстеста. Впрочем, большинство из них с большой вероятностью окажутся полезными и для вполне мирных целей.

Сбор информации и Fingerprinting
Аудит чаще всего начинается с анализа тех технологий и инструментов, которые используются веб-приложением. Применялся ли какой-то готовый движок, на каком веб-сервере все крутится, есть ли еще сайты, которые хостятся на том же сервере (и возможно уязвимы) — ответы на эти вопросы дадут специальные расширения.

Wappalyzer
Этот аддон изначально разработан для Firefox, а потому ты, возможно, с ним уже знаком. Сейчас это, пожалуй, лучшее решение для определения технологий, которые применялись для построения ресурса. Большинство движков CMS/форумов/блогов имеют ряд характерных признаков, по которым можно распознать факт их использования. Например, тег недвусмысленно указывает на то, что сайт построен на движке WordPress. Чем занимается Wappalyzer, так это исследует исходники страницы и пытается распознать подобные метки. В базе Wappalyzer есть данные по всем самым популярным решениям для создания порталов, блогов, форумов, хостинг-панелей, электронных магазинов.

Chrome Sniffer
Chrome Sniffer во многом повторяет функционал Wappalyzer’а и выполняет fingerprinting используемых на странице фреймворков, движков и JS-библиотек. Всего в базе сейчас находятся слепки 100 популярных инструментов. В случае удачного распознавания их иконки отображаются прямо в адресной строке.

IP Address information
Пищу для размышления может подкинуть информация о хосте из WHOIS и других открытых источников. И, пожалуй, нет более удобного способа ее получить, нежели заюзать IP Address information. Расширение в один клик предоставляет геолокационную информацию, справку из WHOIS, отчет из базы спам-ресурсов, данные о DNS, хостинге, а также (и это мое любимое) соседях по домену (других сайтах, которые хостятся на этом же сервере).

Web Server Notifier
А это расширение от одного парижского ботаника (как он сам себя называет) делают одну, но очень важную вещь — пытается определить веб-сервер, на котором крутится проект. Распознав Apache, IIS, Nginx, GWS, Lighttpd или какой-то другой веб-сервер, Web Server Notifier выводит соответствующую пиктограмму в адресную строку.

Web Technology Notifier
Не менее важно знать, какая технология использована для выполнения веб-приложения: Ruby, PHP, ASP.NET или что-то еще? Web Technology Notifier пытается осуществить соответствующий fingerprinting. Важно, что выявляются еще и многие сопряженные с этими технологиями инструменты: например, Phusion Passenger для приложений на Ruby или Zope для приложений на Python.

HTTP Headers
Зачастую администраторы не пытаются скрыть информацию об используемых программных средствах и технологиях, и она отображается прямо в HTTP-заголовках (например, X-Powered-By и Server). Чтобы быстро посмотреть хедеры в ответах сервера, рекомендую установить аддон HTTP Headers.


Манипуляция с HTTP-запросами
Имея некоторое представление о том, с чем имеем дело, можно приступать непосредственно к аудиту. Инструментами первой необходимости тут являются расширения, позволяющие, во-первых, отслеживать те HTTP-запросы, которые отправляются на веб-сервер, во-вторых, как угодно модифицировать их, "играя" с различными параметрами, и, в-третьих, удобно просматривать вернувшийся результат.

Request Maker
Для Firefox’а есть известный аддон Tamper Data, который на лету перехватывает и позволяет изменить HTTP/HTTPS-заголовки, а также POST-параметры. В силу ограничений архитектуры расширений Google Chrome полностью реализовать аналогичный функционал пока невозможно, но Request Maker максимально близко приблизился к этому. С его помощью ты легко сможешь мониторить запросы, сделанные веб-страницами, играться с URL, заголовками, и POST-данными, а также конструировать новые запросы. Тут надо отметить, что Request Maker перехватывает не все, а только запросы, отправленные через HTML-формы или XMLHttpRequests, поэтому в логах не будет кучи лишней информации о загрузке изображений или CSS-стилей.

HTTP Response Browser
Это расширение так же, как и Request Maker, предназначено для составления самых разных HTTP-запросов (правда с помощью XMLHttpRequest, что накладывает ограничения). Ты можешь изменять параметры запроса или хедеров и изучать реакцию приложения.

Advanced REST client Application
Инструмент, изначально реализованный в виде расширения, а теперь Chrome-приложения (программы, работающей внутри браузера). В отличие от HTTP Response Browser, это не просто помощник для составления произвольных HTTP-запросов. Advanced REST client предлагает много интересных фишек, в том числе продвинутый просмотр ответов в форматах JSON и XML с подсветкой синтаксиса, удобный составитель HTTP-заголовков (подсказки + система автодополнения) и многое другое. Незаменимая вещь, когда необходимо взаимодействовать с сервисами, возвращающими ответ в JSON или XML-форматах.


Игры с кукисами
Важным компонентом для работы веб-приложений являются кукисы, которые хранит браузер. С их помощью сервисы узнают тебя, не запрашивая повторной авторизации, отслеживают твою активность (ай-ай-ай) и вообще сильно в них нуждаются. Увы, Chrome, как и другие браузеры, практически не представляют возможностей для манипуляции с кукисами. По умолчанию.

Edit This Cookie
Что удивительно, для манипуляции с кукисами долгое время не было даже достойного расширения. И только сейчас появился замечательный аддон Edit This Cookie, позволяющий через всплывающую панель удалить произвольные куки на текущем сайте, редактировать их значения или создать уже новые "плюшки". Очень радует возможность для автоматизации: задав регулярку для поиска, можно создать специальный фильтр, который будет автоматически удалять нежелательные кукисы. Помимо этого есть опция для создания так называемых Read-Only-кукисов, которые не сможет модифицировать никакой сайт и никакое другое расширение.

Swap My Cookies
Необходимость использовать несколько аккаунтов на одном и том же ресурсе возникает крайне часто. Чтобы не заморачиваться со входом-выходом, гораздо удобнее использовать аддон Swap My Cookies. По сути, это менеджер сессий. Для любого сайта ты можешь создать несколько профилей, каждый со своим набором кукисов, и быстро переключаться между ними. Я это делаю с помощью горячих клавиш.


Пентест веб-приложений
Для Google Chrome есть несколько расширений, которые специально заточены для поиска XSS-дыр, SQL-уязвимостей, а также других брешей безопасности. Пригодятся также и несколько других аддонов, которые хотя напрямую и не связаны с пентестом, но могут помочь автоматизировать некоторые из действий (вроде подстановки зловредных значений в разные места ввода данных).

Web Securify
Если название покажется тебе знакомым, не удивляйся. Возможно, когда-то ты использовал утилиту Websecurify, представляющую собой мощную среду для тестирования безопасности веб-приложений. Позже разработчики реализовали функционал сканера в виде аддона для Chrome. Поэтому теперь одним кликом можно запустить анализ сайта на наличие таких уязвимостей, как SQL Injection, Cross-site Scripting, Cross-site Request Forgery, Local/Remote File Include и т.д. Все работает в автоматическом режиме.

XSS Rays
Замечательный инструмент для пентестера, включающий в себя XSS-сканер, XSS реверсер, а также инспектор объектов. Функция Scan поможет быстро реализовать инъекцию для всех возможных местах ввода данных (аддон сам их определит и предложит на выбор). Нужно узнать, как конкретная страница отфильтровывает вывод, но сорцов нет? Нет проблем — просто выбери опцию Reverse — и вскоре ты увидишь, какие из символов разрешены. Инспектор объектов позволяет в реальном времени изменять содержимое функций и быстро разобраться в логике работы веб-приложения.

Firebug lite for Chrome
Нет лучшего инструмента для изучения особенностей работы веб-приложения, чем Firebug lite. К сожалению, он сильно отстает от своего старшего брата, функционал сильно урезан из-за ограничений архитектуры расширений Google Chrome. Так, к примеру, Firebug lite не имеет встроенного JavaScript-отладчика, поэтому ты не сможешь в полной мере поковыряться с JS-скриптами. Но аддон все равно предоставляет немало полезных возможностей и, к примеру, позволяет в реальном времени изменять и выполнение HTML-кода, CSS на абсолютно любой странице. Отмечу также опцию Inspect: когда ты кликаешь на нужный тебе элемент сайта, Firebug lite мгновенно находит в сорцах код, который этот элемент реализует.

Anti XSS
Это расширение пассивно анализирует код просматриваемых в браузере страниц и в случае обнаружения слабых мест, чреватых XSS-инъекцией, предупреждает об этом, показывая соответствующий значок в адресной строке. Справедливости ради, стоит упомянуть, что аддон уже довольно продолжительный период не обновляется.

iMacros for Chrome
Если тебе необходимо автоматизировать какую-то проверку или фаззинг, то самый верный способ — создать макрос с помощью этого расширения. Один раз записав сценарий и показав браузеру последовательность действий, его можно воспроизводить сколько угодно раз на любой странице. Причем если ты уже создавал макросы в аналогичном аддоне, но для Firefox, то их не придется создавать заново — все заработает и в Chrome.


Анонимность и безопасность
Если говорить о пентесте, нельзя не упомянуть аспекты своей собственной безопасности и анонимности. Берем основное: соединение через прокси (что может понадобиться и просто для работы с сервисами, которые накладывают ограничения по региону пользователя), работу с защищенными версиями сайта, отключение зловредных скриптов, тщательное удаление историй посещений.

NotScripts
Этот сценарий, являющийся аналогом расширения NoScript для Firefox, делает одну простую вещь — полностью отключает выполнение скриптов на сайте. Это единственный гарантированный способ серфить зараженные сайты, откуда пачками грузятся трояны, а также защитить себя от XSS и Clickjacking атак :).

IP-адрес
Чтобы сразу убедиться, что прокси работает, есть этот полезный аддон. What is my ip adresse покажет текущий IP-адрес, а также выдаст по нему полную информацию о провайдере, а также геолокационную информацию, включая страну и примерное месторасположение.

KB SSL Enforcer
Не надо еще раз объяснять, насколько важно использовать защищенные версии сайтов. Многие популярные ресурсы сейчас поддерживают работу через SSL, но не всегда предлагают их использовать по умолчанию. KB SSL Enforcer позаботится, чтобы ты работал именно с SSL-версией ресурса, если она существует.

Proxy Switchy!
О назначении этого расширения понятно из названия. Оно позволяет определить в настройках прокси-серверы и быстро между ними переключаться. Приятно, что в аддоне реализована система правил: для обозначенных URL аддон автоматически может переключаться на нужный прокси-сервер. Например, для того чтобы пользоваться онлайн-радио Pandora, которое доступно только для пользователей из Америки, мы можем установить соответствующий прокси из Штатов.

Tampermonkey
Ты наверняка знаешь о таком инструменте, как Greasemonkey, позволяющем изменять просматриваемые страницы на лету с помощью специальных JS-скриптов, которые инъектируется в текущую страницу. Tampermonkey — это на 90% совместимый аналог для Chrome, который поддерживает большинство сценариев, написанных для Greasemonkey. Модифицировать страницу, убрав или добавив какие-то элементы, — задачка для этого расширения. Большая база уже готовых скриптов доступна на сайте userscripts.org.

Click&Clean
Для того чтобы стереть следы пребывания на каком-то ресурсе, недостаточно только очистить куки браузера. Есть еще немало мест, где легко могут остаться отметки о твоей деятельности: это Flash-cookies, которые создаются на компьютере как LSO-объекты (Local Shared Objects), и куки Silverlight, и кэш Java. Click&Clean позаботится о том, чтобы полностью удалить историю просмотров и загрузок, очистить кэш и почистить кукисы. Учти, аддон работает только под виндой.

Мониторинг новостей в конкурентной разведке

Мониторинг новостей в конкурентной разведке

Самый простой способ быть в курсе событий на рынке – регулярно отслеживать новости. И конкурентная разведка не исключение :) Очень многое быстро становиться доступно в интернете. При этом нужно понимать, что новости это не только то, что публикуется в Ленте Яндекса, а гораздо шире. Любые сообщения отражающие изменения в ситуации на рынке нужно рассматривать как новость. Сейчас, когда практически у каждого есть мобильный телефон, а у многих с доступом в интернет, люди стали основным источником оперативной информации. Любое событие может быть зафиксировано случайным свидетелем, сфотографировано или снято, выложено в интернет и прокомментировано. Порой от момента события до момента публикации первых сведений о нем проходят считанные минуты. При такой оперативности нужна и соответствующая оперативность в отслеживании событий, если того требует поставленная цель.
Как вы понимаете, такой мониторинг позволяет узнавать очень многое и достаточно оперативно. Но для конкретного потребителя информации нужно не знание «всего обо всем», а очень четко определенные знания. Да и «знать всё обо всём» это скорее утопия чем реальная цель – просто не хватит ресурсов как финансовых и технических, так и собственного времени.

Источники
Первым делом нужно понять откуда черпать информацию. Ведь контролировать все сайты в интернете не получиться. Во первых их много. А во вторых их количество ежеминутно увеличивается. Но в этой ситуации нужно понять как происходит распространение информации. Изначально материал попадает в интернет несколькими путями:
- публикация специализированных агентств, имеющих собственный штат журналистов, выискивающих новости;
- публикация компаниями новостей о себе (в виде новостей, пресс-релизов и т.п.);
- публикации частных пользователей (блоги, форумы, чаты, соцсети…).
Это и есть те группы источников, активность которых нужно будет отслеживать:
- агрегаторы новостей;
- сайты игроков рынка;
- странички экспертов и интересующихся;
- площадки, где идет обсуждение тем, связанных с вашей темой (в т.ч. блоги, форумы, соцсети…);

Агрегаторы новостей
Это порталы, специализирующиеся на сборе и удобном представлении всех новостей. Их достаточно много и отсматривать все не хватит ни сил ни средств. Поэтому нужно выбрать наиболее полезные. Вопрос как эту полезность понять. Самый простой и распространенный способ это взять с проверяемых на полезность порталов новости за некоторый период (от одного дня до месяца в зависимости от интенсивности пополнения новостей и активности рынка) и по каждому порталу отдельно посчитать количество уникальных новостей, содержащих полезную для вас информацию. Эта цифра и будет показателем полезности. Безусловно данный метод далек от идеала, но он уже позволяет принять обоснованное решение, а не полагатся на волю случая.
К сожалению это не всё – необходимо также учесть еще некоторые факторы. Первый – территориальная, языковая и национальная близость. Понятно, что агрегатор англоязычный уделяет больше внимания англоязычным источникам, а агрегатор китайский – китайским источникам. Исходя из территориальных, языковых и национальных особенностей ваших интересов и нужно исходить при выборе новостных агрегаторов как источников постоянной информации.
Второй фактор – принадлежность агрегатора тем или иным силам. Не секрет, что новости это тоже бизнес и он кому то принадлежит, причем крупные корпорации также являются и владельцами медийных ресурсов. На таких порталах ряд материалов (в т.ч. и новостей) будут подаваться с определенной обработкой. И это нужно учитывать при выборе источников. Оптимальный вариант в такой ситуации понять какие игроки на рынке с какими медийными ресурсами связаны и использовать, в качестве источников информации, по возможности агрегаторы каждого из игроков. Наиболее одиозные новости они будут освещать с удобной для себя стороны и с не выгодной стороны для оппонентов – именно эта разница в подаче информации, в скорости ее выхода и в ее трактовке и представляет наибольший интерес в последующих исследованиях.
Третий фактор – региональная близость источника к объекту интереса. В данном случае, в отличии от первого фактора, речь идет о степени осведомленности, а не о близости позиций. Местные источники, как правило, знают больше о ситуации в их регионе, по скольку видят происходящее своими глазами, а их родные, друзья, знакомые за частую участвуют в освещаемых событиях. И это тоже нужно учитывать при выборе источника.
Обрисованные принципы выбора новостных агрегаторов распространяются и на остальные источники информации.
Отдельно нужно сказать об агрегаторах, специализирующихся не столько на новостях, сколько на консолидации информации из СМИ и из официальных источников государства. Интересным примером такого консолидатора является компания Интегрум, на портале которой можно получить информацию из самых разнообразных СМИ в привязке к объекту вашего интереса, что весьма удобно и значительно экономит время.

Отраслевые источники
Это те же агрегаторы новостей, но не всех, а новостей вашего рынка, вашей отрасли, вашего сектора экономики. Здесь значительно меньше «общей» информации и больше конкретики, причем конкретики иногда с весьма интимными подробностями.
Такие агрегаторы хороши именно ориентированием на проблемы интересующей вас отрасли, а также тем, что на подобных агрегаторах присутствуют и соответствующие эксперты, и руководители, и потребители информации.

Сайты игроков рынка
Это сайты компаний, которые оказывают какое то влияние на ситуацию на рынке. Это и ваши конкуренты, и потребители, и поставщики, и производители оборудования для вас… В общем круг достаточно широк и нужно выбрать наиболее значимых и/или потенциально опасных.
Что может представлять интерес на их сайтах? – сами новости из соответствующего раздела. Причем и новости компании и новости рынка, представленные у них на сайте. Вторые с одной стороны покажут интересы компании (вряд ли будут публиковаться не значимые для компании новости), а с другой стороны покажут как компания хочет чтобы эти новости воспринимались ее клиентами. Ведь это в основном на них они ориентированы.
Помимо новостного раздела интерес представляют пресс-релизы (иногда их выносят отдельно), информация для акционеров (это тоже новости), информация о руководстве…. По сути весь сайт конкурента можно рассматривать как источник новостей – каждую его страничку. Ведь изменение информации на любой страничке такого сайта указывает на какие то изменения внутри компании, а для вас это самая настоящая новость!

Отраслевые on-line БД
Под данным типом источников новостей нужно понимать базы данных разнообразных регуляторов (в т.ч. и госорганов), которые контролируют и регулируют отношения на интересующем вас рынке. Например выдача лицензий. Это способ регулирования или точнее защиты рынка от не добросовестных игроков. Но для нас интересно другое – мы можем с некоторой регулярностью проверять кому выдавались соответствующие лицензии и таким образом своевременно выявить, что некая компания получила соответствующую лицензию. Это новость, которая влечет за собой ряд исследований: что за компания, кто за ней стоит, на сколько она опасна как конкурент и т.д..
Или у нашего конкурента истек срок действия лицензии, а документы на продление не подаются – тоже новость, влекущая за определенные умозаключения.

Странички экспертов
Это персональные сайты или странички на сайтах людей, которые освещают события на интересующем вас рынке, являются признанными специалистами в данной отрасли и т.п.. Как правило, такие люди, кроме того, что достаточно хорошо знакомы с ситуацией, еще и имеют обширные связи среди коллег. А по тому имеют высокую осведомленность о ситуации. Мало того, им присуще некоторая «не организованность», выражающаяся в склонности обсуждать внутренние проблемы (технические и организационные) без оглядки на защиту информации. Поэтому у них можно получить не просто самую свежую информацию, но и порой упреждающую, что для разведки крайне важно.

Площадки обсуждения ваших тем
Это форумы, блоги, социальные сети, Твиттер и ему подобные ресурсы, где идет обсуждение проблем вашего рынка. Такие площадки являются источником информации о проблемах отрасли (рынка) в целом, о том, чем недовольны ваши клиенты, о том чем не довольны клиенты ваших конкурентов. Причем всё это в режиме реального времени, что бывает очень важно.

Площадки не довольных потребителей
Это специализированные сайты, где потребители оставляют информацию (чаще негативную) о тех или иных поставщиках товаров и услуг. Понятно, что как и предыдущая группа источников, данные сайты имеют все недостатки «черных списков», но это не значит, что их нужно игнорировать. Наоборот – за ними нужно внимательно следить, но информацию с них перепроверять. Помимо указания на возможные проблемы у вас, у ваших конкурентов или поставщиков, или идеи для бизнеса, такие ресурсы помогут своевременно выявить начало PR-компании против вас, а то и ее подготовки.

Как понять ценность новости
Предположим с источниками вы определились и организовали регулярный получение нужной вам информации. Далее нужно решить достаточно не простую проблему – как не захлебнуться в этом потоке.
Эта проблема связана с двумя особенностями распространения информации в интернете:
- новости многократно дублируются;
- как бы вы не отбирали источники, всё равно к вам будет попадать информация не интересующая вас в данный момент.
Соответственно вам необходимо организовать удаление дублей. Для визуального представления, но не их полного удаления – они вам понадобятся для анализа цитируемости, определения уровня интереса, выявления начала «информационной волны» и т.п.. А также убрать из своего поля зрения информацию не релевантную вашим нынешним интересам. О программах, способных помочь в решении данного вопроса поговорим ниже, а сейчас обсудим механизм (алгоритм) решения проблемы удаления не релевантной информации.

Кючевые слова
Основывается это решение на использовании ключевых слов – пока ничего близкого по своей эффективности и доступности нет. Что вполне обоснованно – ведь работать с текстом можно только опираясь на слова, как носители смысла. А всё остальное это надстройки и сервисы.
Итак – что такое ключевое слово? По версии Википедии «Ключевое слово — слово в тексте, способное в совокупности с другими ключевыми словами представлять текст. В Интернете используется главным образом для поиска. Набор ключевых слов документа называют поисковым образом документа. Набор ключевых слов близок к аннотации, плану и конспекту, которые тоже представляют документ с меньшей детализацией, но лишён синтаксической структуры.»
Вопрос в том – как подобрать нужные ключевые слова, которые позволят максимально удалить информационный шум, но при этом сохранить всю полезную информацию?
Попробуем проделать это на простом примере. Предположим, что мы представляем интересы некой компании. У нас есть два основных конкурента, есть пара основных поставщиков и с десяток наиболее крупных потребителей. Как определить ключевые слова, способны помочь нам в отсеве информации?
Если мы организуем наблюдение за рынком, то нам будут интересны все высказывания об основных игроках нашего рынка. Такие высказыванию будут содержать названия этих игроков – значит названия это ключевые слова. Но высказываясь о компании, обозначить ее можно и не используя ее названия, а используя например ее бренд, торговую марку, бытовое или сокращенное название…. Всё это будет ключевыми словами. Кроме того указать на компанию можно используя имя руководителя, владельца или собственника – это тоже ключевые слова, которые необходимо использовать. Если компания использует уникальную технику или технологию или ее не широко распространенные аналоги, то названия таких технологий, методов, технических решений тоже могут выступать в качестве ключевых слов. При условии, что указанные сущности присущи только данному рынку.
Другими словами к ключевым словам нужно отнести все слова и словообразования, которые однозначно или близко к этому указывают на ваш объект интереса. Но увы и это не всё. Дело в том, что наблюдая за рынком, особенно за рынком глобальным, динамичным или привлекательным, нужно держать в поле зрения не только его основных игроков, но и «сопредельные территории» в виде потенциальных конкурентов или потенциальных поставщиков в том числе и не только ресурсов, но и решений. А это уже сопряжено с необходимостью понять что для работы на данном рынке является наиболее важным, ключевым.

Ключевые факторы успеха
Ответ на этот вопрос хорошо показан в работах А. Томпсона и А. Стрикленда, в частности в их книге «Стратегический Менеджмент». Они в том числе классифицировали факторы успеха компаний и выделили обычные и ключевые факторы успеха (КФУ). Иже приведена не большая выжимка из их трудов:
Ниже приведены наиболее распространенные типы КФУ по представлению А. Томпсона и А. Стрикленда :
1. Факторы, связанные с технологией:
- компетентность в научных исследованиях (особенно в наукоемких отраслях);
- способность к инновациям в производственных процессах;
- способность к инновациям в продукции;
- роль экспертов в данной технологии.
2. Факторы, связанные с производством:
- эффективность низкозатратного производства (экономия на масштабе производства, эффект накопления опыта);
- качество производства;
- высокая фондоотдача;
- размещение производства, гарантирующее низкие издержки;
- обеспечение адекватной квалифицированной рабсилой;
- высокая производительность труда (особенно в трудоемких производствах);
- дешевое проектирование и техническое обеспечение;
- гибкость производства при изменении моделей и размеров.
3. Факторы, связанные с распределением:
- мощная сеть дистрибьюторов /дилеров;
- возможность доходов в розничной торговле;
- собственная торговая сеть компании;
- быстрая доставка.
4. Факторы, связанные с маркетингом:
- хорошо испытанный, проверенный способ продаж;
- удобный, доступный сервис и техобслуживание;
- точное удовлетворение покупательских запросов;
- широта диапазона товаров;
- коммерческое искусство;
- притягательные дизайн и упаковка;
- гарантии покупателям.
5. Факторы, связанные с квалификацией:
- выдающиеся таланты;
- "ноу-хау" в контроле качества;
- эксперты в области проектирования;
- эксперты в области технологии;
- способность к точной ясной рекламе;
- способность получить в результате разработки новые продукты в фазе НИОКР и быстро вывести их на рынок.
6. Факторы, связанные с возможностями организации:
- первоклассные информационные системы;
- способность быстро реагировать на изменяющиеся рыночные условия;
- компетентность в управлении и наличие управляющих "ноу-хау".
7. Другие типы КФУ:
- благоприятный имидж и репутация;
- осознание себя, как лидера;
- удобное расположение;
- приятное, вежливое обслуживание;
- доступ к финансовому капиталу;
- патентная защита;
- общие низкие издержки.
На основе понимания КФУ для вашего рынка можно определиться и с ключевыми словами для ваших новостных фильтров.

С уважением!
Нежданов Игорь

28 окт. 2011 г.

Американские ученые разработали метод организации Twitter-революций

В общем то это было уже понятно, но тем ни менее интересно...

Американские ученые разработали метод организации Twitter-революций
Выпускники Массачусетского технологического института (MIT) с помощью методов сетевого маркетинга создали универсальный алгоритм мобилизации и координации действий больших групп людей через Twitter, другие блоги и социальные сети - такую технологию можно использовать как для спасательных операций, так и для организации действий политических активистов во время революции, говорится в статье, опубликованной в журнале Science.

В 2009 году американское агентство оборонных разработок DARPA объявило конкурс "Сетевой вызов", участники которого должны были разработать лучший метод для мобилизации и координации общественных действий по всей территории США. Организаторы конкурса спрятали на континентальной территории США десять красных шаров-метеорологических зондов, запуск которых должны были зафиксировать участники "вызова".

Группа ученых под руководством Алекса Пентланда (Alex Pentland) из MIT решила эту проблему за девять часов после взлета шаров. Команда из четырех человек обогнала другие группы участников из нескольких сотен человек, которые использовали менее эффективные методы сбора информации - альтруистические стратегии, связи и славу самых популярных пользователей социальной сети Twitter, а также сообщество пользователей в этой сети, увлекающихся геолокацией.
Секрет их успеха заключается в том, что за 36 часов до начала эксперимента исследователи собрали в микроблогах Twitter многотысячную армию добровольцев со всех уголков Соединенных Штатов при помощи механизма "обратного" стимулирования, который основывается на принципах сетевого маркетинга и финансовых пирамид.

Пентланд и его коллеги заранее объявили, что они потратят весь призовой фонд, 40 тысяч долларов, на вознаграждение не только тем, кто сообщил им о местонахождении красного шара, но и тем, кто был задействован в приглашении этих людей. Авторы статьи оценили находку каждого зонда в 4 тысячи долларов, половину из которых получает сам "первооткрыватель", четвертую часть - тот человек, который пригласил его в сетевую команду, 500 долларов - участник группы, пригласивший второго "пирамидчика" и так далее.

Таким образом, чем больше человек пригласил людей, тем больше у него было шансов получить некоторую долю призового "пирога" по цепочке его "последователей". Подобная структура пирамиды стимулирует ее расширение на всех уровнях. С одной стороны, участник старается приглашать новых участников сети самостоятельно, а не через своих последователей, из-за прямой финансовой выгоды. С другой стороны, он не препятствует росту дерева последователей, так как это в любом случае увеличивает его шансы на выигрыш.

Подобная стратегия позволила ученым собрать 845 "пирамид" из добровольных последователей, общая численность которых составила 4,5 тысячи пользователей. Самая широкая сеть содержала 602 пользователя, а самая "высокая" состояла из 14 уровней "пирамидчиков". В половине случаев новые пользователи не покидали пирамиду и привлекали в нее других людей, хотя обычно этот показатель составляет 10-35%.

Затем исследователи проверили, влияет ли географическое положение пользователей на то, кого они приглашают в социальную пирамиду, и на успешность этих приглашений. Авторы статьи измерили расстояния между пользователями при помощи LiveJournal и обнаружили, что люди прикладывали наибольшие усилия и достигали большего успеха в том случае, если они пытались привлечь своих друзей из удаленных от них городов США.

Таким образом, стратегия "обратного" стимулирования позволяет мобилизовать большое количество ранее незаинтересованных пользователей социальных сетей для решения сложных задач, требующих мобилизации и слаженных действий нескольких тысяч людей в практически неограниченных географических масштабах.

Поиск персональной информации в интернете

Интересный материал был не так давно опубликован в журнале UPGRADE - публикация называется "Поиск персональных данных"
Автор Алексей Кутовенко. В нем рассмотрены некоторые ресурсы интернета, позволяющие вести сбор и консолидацию данных о людях.

Далее выборочные цитаты:

"Обзор посвящен интернет-поисковикам, предназначенным для розыска информации о пользователях Сети. Они помогут установить личность человека, с которым вы встретились в интернете, навести справки о знакомых или же провести поиск по собственному имени.
...

Яндекс
Немного дальше пошел "Яндекс", запустивший в своем новостном разделе оригинальный сервис "Пресс-портреты" (news.yandex.ru/people). Это своеобразный справочник о встречающихся в новостях персоналиях. Для каждой персоны приводится настоящее досье, состоящее из нескольких разделов. Первый бесхитростно назван "Кто это" и содержит перечень ключевых слов, которые характеризуют героя досье. Для каждого такого слова приводится количество упоминаний в СМИ, а также ссылки. Названия разделов "Работа", "Новости" и "Интервью" говорят сами за себя: там вы найдете именно названные сведения о данной персоне. Весьма полезна функция "Связанные пресс-портреты". Раздел содержит ссылки на пресс-портреты других людей, которые часто упоминаются вместе с именем героя изначального поиска.
...

PeekYou
Ресурс PeekYou (www.peekyou.com) обладает базой, содержащей порядка 250 млн персональных "досье", полученных индексированием различных открытых источников: блог-платформ, ме-диахостингов, социальных сетей и других подобных ресурсов. PeekYou работает с открытым, "видимым" вебом, индексируя Twitter, Linkedln и еще парочку подобных источников. К сожалению, он не взаимодействует с нашими популярными социальными ресурсами.
...

CVGadget
Еще один проект, делающий ставку на удобный анализ открытых источников, -CVGadget (www.cvgadget.com). Устроен он весьма просто: заданный запрос отправляется на поддерживаемые источники, после чего результаты демонстрируются на одной странице. Обрабатываются 14 проектов, среди которых Face-book, MySpace и Linkedln, а также линейка сервисов Google - от блогов до "Документов". Для каждого блока показывается общее количество найденных совпадений. Сами ссылки можно увидеть в раскрывающемся списке. Надо сказать, такой подход заметно ускоряет работу с ресурсом, да и результаты поиска довольно приличные.
...

Wink
В этой связи нельзя не упомянуть сервис Wink (wink.com). Дело в том, что его создатели называют Wink крупнейшей открытой базой персональной информации в интернете, заявляя о том, что их система проиндексировала к настоящему времени более 400 млн профилей на самых различных сетевых ресурсах.
Форма составления запроса Wink достаточно проста и предлагает отличный набор дополнительных фильтров, сгруппированных в тематические блоки, расположенные под строкой запроса. С их помощью можно отфильтровать данные по полу и возрасту, указать возможные интересы, местоположение и другие дополнительные сведения, позволяющие уточнить результаты поиска. Возможен также реверсивный поиск по адресу электронной почты.
...

kgbpeople
Следующий проект нашего обзора вовсю эксплуатирует образ всезнающих чекистов, kgbpeople (www.kgbpeople.ru) позиционируется как средство поиска сведений о людях, размещенных в социальных сетях и на других интернет-источниках. Кроме того, создатели kgbpeople предлагают находить некорректные сведения о себе и, соответственно, принимать те или иные меры для исправления ситуации. Можно также включить оповещение о новой информации, связанной с вашим именем, которая попадает в индексные базы проекта.
...

Pipl
Поисковая система Pipl (pipl.com) также пытается связать данные, полученные из различных источников, с конкретной персоной и представить их в более-менее организованном виде. Pipl применяет собственные алгоритмы ранжирования. "Вес" найденных данных определяется в отрыве от конкретных страниц и источников, из которых они извлекаются. Соответственно, и "улов" ближе к фактографическому: даты, записи профилей, адреса -все это оценивается применительно именно к характеристике персоны. Досье может содержать сведения о возрасте, предполагаемом географическом местоположении, аватар, а также короткие выдержки из найденных профилей.
...

Spokeo
В отличие от рассмотренных выше поисковиков, Spokeo (www.spokeo.com) не ставит задачу нахождения всех упоминаний человека в Сети. Его создатели вместо этого предлагают своеобразный гибрид поискового и мониторингового сервиса: вы указываете людей, a Spokeo пытается отследить все связанные с ними обновления на сетевых ресурсах. Другими словами, вам предлагается самостоятельно "сдать" системе персональную информацию о своих контактах, например импортировав адресную книгу своего почтового клиента. Нельзя не напомнить, что и с вами могут поступить аналогичным образом. Spokeo также обрабатывает основные блог-платформы, крупные зарубежные социальные сети, а также ряд ме-диахостингов и рекомендательных сервисов. В результате вы получаете обзор сетевой активности интересующего вас человека на всех этих ресурсах. Spokeo пытается сгенерировать собственное "досье" на каждого отслеживаемого человека. В нем могут находиться достаточно чувствительные персональные данные, извлеченные из профилей отслеживаемых сервисов.
...

Zoominfo
Среди современных социальных сетей можно найти немало специализированных ресурсов, призванных объединять не просто всех желающих, но определенные группы пользователей, например по профессиональному признаку. Аналогичное разделение сфер начинает проявляться и в нише поисковиков персональной информации. Удачным примером здесь будет бесплатный сервис Zoominfo (www.zoominfo.com), ориентированный на поиск информации о специалистах и потенциальных деловых партнерах. Источников пополнения у данного проекта несколько. Кроме индексирования сетевых ресурсов и получения информации от проектов-партнеров практикуется и прямое получение данных от пользователей. На сервисе предусмотрена бесплатная регистрация. В ходе нее вам предложат скачать и установить дополнение для Outlook, которое предназначено для анализа переписки пользователя. В ходе этого анализа программа пытается автоматически выделять имена, адреса, названия фирм, должности, ссылки на корпоративные веб-сайты и социальные сети, а также другую подобную информацию. Взамен пользователь получает доступ к полной базе данных Zoominfo, в которой содержится примерно 50 млн персональных "досье" и 5 млн профилей фирм. Насколько это равнозначный обмен, решать вам. Упомянем только, что разработчики Zoominfo предусмотрели возможность удаления собственных данных из их каталога по запросу пользователя...."

Полный текст опубликован в журнале :)

27 окт. 2011 г.

Visa и MasterCard хотят торговать персональными данными

Взято с Рамблер-Новости

Крупнейшие платежные системы Visa Inc. и MasterCard Inc. собираются продавать рекламным агентствам данные о покупках, которые делают держатели карт, сообщает газета The Wall Street Journal. Используя эти данные, производители и продавцы рекламы смогут показывать пользователю рекламу, соответствующую его потребительским предпочтениям.
Реализация этой идеи призвана многократно повысить эффективность целевой рекламы в интернете.
Сейчас рекламные агентства опираются на поисковые запросы пользователя, которые нередко не совпадают с его предпочтениями в реальной жизни.
«Данных много, но нет тех, которые получены на основе покупок, которые делает человек. Это более точный механизм таргетирования», говорила руководитель группы медиарешений MasterCard Advisors Сьюзан Гроссман.
По данным WSJ, сейчас Visa и Mastercard прорабатывают варианты создания единой базы покупок своих клиентов, которая и будет предлагаться рекламным агентствам. Как рассказал изданию источник, знакомый с планами компаний, система будет действовать следующим образом: клиенту, который расплатился картой, например, в сети фастфуда, будет предложена реклама средства для похудания. При этом технология позволит узнать, покупал ли клиент такой товар раньше. «Рекламодателю такие данные, безусловно, могут быть полезны, говорит исполнительный директор компании Бегун" Борис Омельницкий. Они повышают лояльность пользователей и результативность рекламных коммуникаций».
По данным The Wall Street Journal, в начале текущего года MasterCard вела переговоры с рекламными компаниями на предмет создания четко таргетированной рекламы в интернете.
Visa в апреле текущего года ходатайствовала об оформлении патента на использование технологии, которая позволит создавать профили, собирающие различные данные о держателе карты: не только о покупках, но и данные из социальных сетей, кредитных бюро, наиболее частых запросах поиска в интернете и страховых случаях.
В компании Visa получить оперативный комментарий не удалось. В MasterCard утверждают, что отложили свои планы из-за действующих ограничений на использование данных о клиентах, пишет WSJ. Неясно, где и как показывать рекламу конкретному человеку, если он не давал согласия на получение рекламных сообщений по почте или в СМС-формате. В MasterCard обещают уделить особое внимание сохранению приватности компания не собирается раскрывать имя и адрес держателя карты.
В России защита персональных данных обеспечивается законом N 152 «О персональных данных», который предписывает хранить информацию о клиентах и запрещает передавать ее третьим лицам без их согласия. «Платежная система может использовать данные только тех держателей карт, которые дали соответствующее согласие при заключении договора о выпуске карты с банком, говорит начальник управления пластиковых карт банка Абсолют" Елена Новикова. Если клиент такого согласия не давал, использование информации будет неправомерным».
Сейчас в скандал, связанный с обработкой персональных данных, оказалась замешана социальная сеть Facebook. Ресурс обвиняют в создании профайлов незарегистрированных пользователей и хранении информации, которая была давно удалена пользователями. В России была утечка данных о клиентах сотового оператора «Мегафон»: в поисковике «Яндекс» были обнаружены СМС абонентов «Мегафона». Позже в публичном доступе оказалась информация о билетах, заказанных на сайте RailWayTicket.ru и Tutu.ru, включая фамилию, имя, отчество пассажира, последние цифры паспорта, пункт отправления и назначения, даты поездки, номер поезда и номер места в вагоне. Летом в открытом доступе в поисковиках «Яндекс», Google и Mail.Ru оказались и персональные данные граждан, которые были пользователями различных интернет-магазинов. Так, отправив поисковый запрос «site: название ресурса" статус заказа получатель», можно было найти сохраненные копии страниц заказов в секс-шопах с указанием имен и фамилий, почтовых адресов, адресов электронной почты, мобильных телефонов.

26 окт. 2011 г.

К нам едет шеф "цифровой дипломатии"

Взято с сайта Радио Голос России

В Москву на этой неделе прибудет с официальным визитом Алек Росс - старший советник Хиллари Клинтон по инновациям, ответственный за интернет-пропаганду США. Цель его визита - разъяснить основные принципы интернет-дипломатии (АУДИО)
Главной инновацией, которую курирует Росс, является так называемая цифровая, или интернет-дипломатия. Пропаганда, которая раньше велась традиционными способами и через традиционные СМИ, теперь почти целиком переместилась в Интернет. Только у Госдепа больше 200 страниц в сети Facebook и почти 100 микроблогов Twitter. Помимо этого, Алек Росс отвечает за внедрение новых технологий в работу зарубежных дипмиссий США. Именно с его подачи в посольствах появились новые должности, рассказал "Голосу России" эксперт по конкурентной разведке Андрей Масалович:
"Сейчас во многих посольствах введена должность советника по цифровой дипломатии. Поездка Алека Росса - это не разовое действо, это компонент целенаправленной стратегии США, которая не может не вызывать опасений. Если бы сейчас был жив Че Гевара, он бы назвал все это цифровым неоколониализмом. Потому что это усовершенствование инструментов вмешательства в дела развивающихся стран силами развитых государств. И здесь сразу вызывает вопросы подбор стран. В одних посольствах советников нет. В других странах такие должности появились".
Сам Алек Росс ранее заявлял, что едет в Москву встречаться с российскими чиновниками, дипломатами и студентами (он прочтет несколько публичных лекций), то есть не оправдываться, а разъяснять. Он подчеркивал, что "США не должны извиняться за то, что помогают людям пользоваться свободой самовыражения через Интернет".
Однако именно эта свобода самовыражения сыграла ключевую роль в ходе "арабской весны". О том, что Facebook (2 миллиона пользователей по всему миру, работает на 70 языках) и другие соцсети – "удобный инструмент в дополнение к традиционным способам информирования и мобилизации общественности", недавно заявила заместитель помощника генсека НАТО Стефани Бабст.
В этой связи концепция "цифровой дипломатии" может напрямую подвергать угрозе суверенитет государства, считает член "Общественной палаты" Антон Коробков-Землянский:
"Интересы у страны могут быть разные - популяризация языка и культуры, каких-то традиций. Но это может быть и желание контролировать государства, захватывать ресурсы. Если мы декларируем какие-то гуманистические цели, то в принципе ничего не мешает скрывать под ними какие-то другие задачи. Продвижение демократии в Интернете - вещь условная. Ведь мы видим, что в Египте, в других странах происходит, когда социальные сети, блоги используются провокаторами для разжигания внутренних конфликтов".
При этом, проповедуя демократию в Сети, сами США зачастую ограничивают ее совсем не демократическими методами, добавляет Антон Коробков-Землянский:
"Викиликс" (WikiLeaks) - это показательная история, где как раз видно как, с одной стороны, декларируется свобода слова, всеобщая открытость. И при этом "Викиликс" "кошмарят", есть такой русский термин, арестовывают счета Джулиана Ассанжа, стремятся блокировать сайт, взломали личную переписку владельца сайта и все прочее".
Другое цифровое детище Госдепа США - так называемый теневой Интернет. Разработанная при участии Пентагона система позволяет диссидентам в той или иной стране обмениваться информацией, обходя местные механизмы цензуры. Но вместе с новыми возможностями иранские или, к примеру, китайские борцы с режимом получили новую головную боль. Власти в разы усилили прессинг на оппозицию. В этой связи встает вопрос координации между странами, чтобы исключать возможности неправомерного использования Интернета. Но найти решение будет непросто, отмечает Андрей Масалович:
"Все эти шаги надо продумывать, их надо делать международными. Речь идет не о каком-нибудь маленьком островном государстве. Речь идет об Интернете, то есть о виртуальном государстве с населением в миллиард человек. Здесь скорее нужны конкретные меры по наведению порядка в Интернете, а не его демократизации".
Первые шаги в этом направлении были сделаны в конце сентября на встрече стран-участниц ОДКБ. Россия выступила за разработку новейших инструментов коллективной интернет-безопасности. В целом эксперты отмечают, что миссия Алека Росса в Москву – при всех опасениях – важна как элемент "перезагрузки". Возможно, в ходе одного визита позиции России и США не изменятся, но все помнят еще время, когда стороны вообще предпочитали избегать дискуссий.
автор материала Мария Весновская

23 окт. 2011 г.

Роскомнадзор хочет расширить полномочия по защите персональных данных

Взято с сайта РИА-Новости
Роскомнадзор предлагает передать ему от прокуратуры полномочия по возбуждению дел в области нарушений закона о защите персональных данных, сообщил в интервью корреспонденту РИА Новости заместитель руководителя ведомства Роман Шередин.

Федеральная служба по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор) является уполномоченным органом по контролю в сфере защиты персональных данных в России. Однако факты о выявленных нарушениях ведомство должно передавать в прокуратуру, что иногда приводит к тому, что нарушители избегают наказания.

Одна из причин нынешней ситуации в том, что установленный срок для привлечения к административной ответственности за нарушения закона о защите персональных данных - три месяца. "Дела по этой статье имеют право возбуждать только органы прокуратуры, которые зачастую перегружены и не всегда могут вовремя рассмотреть наши документы", - сказал Шередин корреспонденту РИА Новости.

С законодательной инициативой о передаче прав возбуждения дел в области защиты персональных данных Роскомнадзор обратился в Госдуму. Принятие предлагаемой поправки в законодательство, которое ожидается осенью, позволит существенно сократить время возбуждения и передачи в суды административных дел, и чаще будет соблюдаться принцип неотвратимости наказания, полагает Шередин.

С позиции Роскомнадзора, показательными являются последствия волны массовых утечек персональных данных в интернет, которая была в июле. Так, в свободном доступе оказались сведения о покупателях интернет-магазинов.

Тогда Роскомнадзор направил соответствующие документы в органы прокуратуры о тех 15 магазинах, что предоставили доступ к наиболее широкому перечню сведений о покупателях, "На сегодняшний день дела об административном правонарушении возбуждены в отношении владельцев только шести сайтов", - констатировал Шередин.

Кроме получения новых полномочий, Роскомнадзор рассчитывает на ужесточение наказаний за нарушения закона о персональных данных - по этому поводу ведомство также подготовило законодательную инициативу.

Последние изменения в закон о персональных данных вступили в силу 26 июля после подписания их президентом России Дмитрием Медведевым. Изменения коснулись повышения обязательств операторов персональных данных по их защите. Сейчас контролирующие органы власти - ФСБ, ВСТЭК и Роскомнадзор - готовят к принятию документы, которые должны привести действующие нормативные акты в соответствие с принятыми изменениями в законе.