навыки поиска и сбора информации
Боевой OSINT — разведка и сбор информации из открытых источников
OSINT (англ. Open source intelligence) или разведка на основе открытых источников включает в себя поиск, сбор и анализ информации, полученной из общедоступных источников. Ключевой целью является поиск информации, которая представляет ценность для злоумышленника либо конкурента. Сбор информации во многом является ключевым элементом проведения пентеста. От того, насколько качественно он был осуществлён, может зависеть, как эффективность пентеста в целом, так и эффективность отработки отдельных векторов атаки (социальная инженерия, брутфорс, атака на Web-приложения и пр.). В разрезе кибербезопасности/пентеста OSINT чаще всего применяется для сбора публичных данных о компании, и это касается не только информации о email-адресах ее сотрудников. Не менее интересной будет информация о:
DNS-именах и IP-адресах;
доменах и субдоменах, зарегистрированных за компанией;
фактах компрометации почтовых адресов;
открытых портах и сервисах на них;
публичных эксплойтах для найденных сервисов;
имеющихся механизмах безопасности и т.д.
Сегодня посмотрим с помощью каких инструментов и какую информацию можно найти в открытых источниках на примере нашей компании.
Статья носит информационный характер. Не нарушайте законодательство.
Консольные инструменты
TheHarvester
Используя различные поисковые источники можно получить различный результат. Например, при использовании поисковой системы Yahoo:
А при использовании Google:
Dmitry
Чтобы получить максимальное количество информации о домене указываем все ключи. В числе прочего, инструмент будет сканировать порты, но в ограниченном диапазоне, поэтому лучше для этих целей использовать Nmap
Nmap («Network Mapper») — это утилита с открытым исходным кодом для исследования сети и проверки безопасности. Она была разработана для быстрого сканирования больших сетей, хотя прекрасно справляется и с единичными целями. Это нестареющая классика и первый инструмент, который используют при проведении пентеста. Его функционал довольно обширен, но в нашем случае от него потребуется только определение открытых портов, названия запущенных сервисов и их версии.
Узнав открытые порты запустим тот же Nmap, но уже будем использовать различные группы скриптов, которые помогут обнаружить возможные ошибки конфигурации:
При выполнении этой команды Nmap выполнит все скрипты, собранные в этих группах для получения информации из каждой группы: получение расширенного вывода версии сервисов, поиск расширенной информации о сервере, поиск публичных уязвимостей и т.д. Эта информация так же поможет определить возможные точки входа в сетевой периметр организации.
WhatWeb
TiDos
поиск email-адресов и прочую контактную информацию в Интернете;
О сборе данных. Как собирать данные, анализировать их и грабить корованы
В предыдущей статье мы рассматривали вопросы качества данных («О качестве данных и распространенных ошибках при их сборе» на Хабре).
Сегодня я хочу продолжить разговор о качестве данных и обсудить их сбор: как правильно расставить приоритеты при выборе источника, как и какие данные собирать, оценка ценности данных для компании и другое.
Собирайте всё
Вы решили улучшить оформление и оплату товара на сайте?
Отлично, а как проходит процесс формирования корзины покупателем? В какой момент он делает окончательный выбор товаров: до добавления в корзину или перед оплатой покупки?
На каждом сайте может быть по разному, но как ведет себя клиент у вас?
При обладании данными об оформлении заказа их можно проанализировать и определиться с вектором обновления, который будет удобен не только вам, но и пользователям.
Собирайте все данные, до которых дотягиваетесь. Вы никогда не будете знать со стопроцентной уверенностью, какие из них могут вам понадобится, а возможность сбора может выдаться только одна.
Чем больше данных вы соберете, тем больше информации о пользователях у вас будет, а что важнее — вы сможете понимать и прогнозировать контекст их поступков.
Контекст помогает лучше понимать своего клиента, его желания и намерения, а чем лучше вы знаете своего клиента, тем лучше вы сможете реализовать его персональные потребности, а значит повысить лояльность и повысить вероятность возврата клиента.
Сегодня сбор абсолютно всех данных уже не такая редкость, особенно это распространено в онлайн проектах. В компании, максимизирующей сбор данных и умеющей с ними работать, на их основе будет вестись практически вся деятельность: маркетинг, продажи, работа персонала, обновления и усовершенствования, поставки.
У каждого направления есть внутренние и внешние источники данных в различных форматах и разного качества.
Это хорошо для работы аналитиков и принятия решений, но отсюда также возникает проблема с хранением этого массива данных и их обработкой. Каждое действие увеличивает финансовую нагрузку и положительный эффект от обладания данными может вырасти в «головную боль».
Для принятия решения о целесообразности сбора и обработки тех или иных данных нужно понимание их основных характеристик. Давайте вкратце пройдемся по ним:
Объем
Показатель, влияющий на финансовые издержки по хранению и изменению данных и временные издержки по их обработке. И хотя с увеличением объема данных цена на хранение единицы снижается, но, учитывая увеличивающееся количество источников, финансовая нагрузка может стать нерациональной.
Разнообразие
Разнообразный набор источников данных дает более полную картину и помогает лучше оценить контекст действий пользователя, но обратная сторона медали — разнообразие форматов и расходы на их интеграцию в вашу систему аналитики. Не всегда все данные возможно собрать воедино, а если и возможно, то не всегда это необходимо.
Скорость
Какой объем данных требуется обрабатывать в единицу времени?
Вспомним недавние выборы президента США — благодаря быстрой обработке сообщений Twitter можно было понимать настроение избирателей в ходе дебатов и корректировать их ход.
Гигантам работы с данными, таким как Facebook и Google, на достижение сегодняшних результатов потребовать огромное количество времени, но благодаря этому у них теперь есть данные о каждом пользователе и они могут прогнозировать их действия.
Частая проблема персонала, работающего с данными — ограниченные ресурсы, в первую очередь финансовые и кадровые.
В большинстве компаний аналитикам приходится расставлять жесткие приоритеты в выборе источников данных, и тем самым отказываться от некоторых из них.
Кроме того необходимо учитывать интересы бизнеса, а значит оценивать рентабельность инвестиций в работу с данными и возможное влияние данных на компанию.
Приоритеты и выбор источников данных
При ограниченных ресурсах в работе с данными специалистам приходится расставлять приоритеты и делать выбор между источниками.
Чем же руководствоваться при этом и как определить ценность данных для компании?
Главная цель работы аналитиков — давать необходимую другим подразделениям информацию качественно и своевременно. Эта информация оказывает прямое влияние на эффективность компании и работу отделов.
У каждого отдела или подразделения есть свой «основной» тип данных.
Так для отдела по работе с клиентами важны контакты клиента и данные его социальных сетей, а для отдела маркетинга — история покупок и карта действий.
Так и выходит, что каждая команда имеет свой набор «очень важных данных» и эти данные определенно важнее и нужнее чем у других подразделений.
Вот только от важности и нужности данных проблема с ограниченными ресурсами не исчезает, а значит приходится расставлять приоритеты и действовать в соответствии с ними. Основной фактор для определения приоритетности данных — ROI, но не стоит забывать и про доступность, полноту и качество.
Вот список в котором приведены некоторые показатели, которые могут помочь в расстановке приоритетов:
Высокая
Причина: Данные нужны немедленно.
Объяснение: Если у какого-то подразделения появляется острая необходимость в данных с жестко ограниченными сроками, такие данные предоставляются в первую очередь.
Высокая
Причина: Данные повышают ценность.
Объяснение: Данные повышают прибыль или сокращают издержки, обеспечивая высокую ROI.
Высокая
Причина: Разным командам требуются одни и те же данные.
Объяснение: Удовлетворяя потребности нескольких команд в данных вы повышаете ROI.
Высокая
Причина: Краткосрочные или потоковые данные.
Объяснение: Некоторые интерфейсы и протоколы дают ограниченное по времени «окно» для сбора данных, следует поторопиться.
Средняя
Причина: Дополнение для существующего набора данных, которые повышают их качества.
Объяснение: Новые данные дополняют имеющиеся и улучшают понимание контекста действий.
Средняя
Причина: Код обработки данных может быть использован повторно.
Объяснение: Использование известного кода сокращает ROI и уменьшает количество возможных ошибок.
Средняя
Причина: Данные легко доступны.
Объяснение: Если данные ценны, а добыть их просто — вперед.
Средняя
Причина: Удобный API позволяет собрать данные за прошедшие периоды.
Объяснение: Если данные не требуются еще вчера, а вы всегда можете получить к ним доступ, то не стоит ставить им слишком высокий приоритет.
Низкая
Причина: Аналитики имеют доступ к данным или иные пути их получения.
Объяснение: Если у аналитиков уже имеется доступ к данным, то, возможно, есть более приоритетные задачи.
Низкая
Причина: Низкое качество данных.
Объяснение: Низкокачественные данные могут быть бесполезны, а иногда и вредны.
Низкая
Причина: Необходимо извлечение из веб-страниц.
Объяснение: Обработка таких данных может быть достаточно сложной и требовать чрезмерных усилий.
Низкая
Причина: Низкая вероятность использования данных.
Объяснение: Данные, которые хорошо бы иметь, но если их нет, то и ладно.
Зато, обладая этими данными, можно грабить корованы!
Как мы видим не всякие данные важно предоставить «прямо сейчас», а значит необходимо расставлять приоритеты и следовать в соответствии с ними.
Важно сохранять баланс между приобретением новых данных и их ценностью для компании.
Взаимосвязь данных
Вы получаете важные данные от отдела продаж, маркетинга, от логистов и обратную связь от клиентов, но самая большая ценность данных возникает после установления связей между разными видами данных.
Для примера рассмотрим Диану и ее заказ. Недавно она заказала комплект садовой мебели, сопоставив ее заказ с данными аналитики, мы видим, что она провела на сайте 30 минут и просмотрела 20 разных наборов. Это значит, что она выбирала мебель уже на сайте, не зная заранее, что будет заказывать.
Смотрим откуда она пришла — поисковая выдача.
Если бы у нас была информация о других покупках Дианы, то мы бы узнали, что она за последний месяц часто покупала товары для дома.
Частые онлайн покупки и использования поисковиков для нахождения интернет-магазинов говорит о низкой лояльности брендам, а значит склонить ее к повторной покупке будет сложно.
Так, получая каждый новый уровень информации, составляется индивидуальный портрет пользователя, по которому можно узнать о его жизни, привязанностях, привычках и прогнозировать его поведение.
Добавляем информацию из оформления заказа и понимаем, что это женщина, а по адресу доставки видим, что она живет в частном секторе.
Продолжая анализировать можно найти информацию о ее доме и участке, спрогнозировать ее потребности и сделать превентивное предложение.
При правильном анализе данных предложение может сработать и мы склоним клиента к повторной покупке, а так же повысим его лояльность за счет индивидуального подхода.
Предложение скидок за приглашение друга из соцсети даст нам доступ к ее списку друзей и информации аккаунта, тогда можно будет продолжать индивидуальный маркетинговый подход к клиенту и составить под нее таргетированную рекламу, но это вряд ли будет рентабельно.
Сбор и покупка данных
Сегодня существует множество способов сбора данных, один из самых распространенных — API. Но кроме того как собрать данные, их нужно обновлять, и тут все уже зависит от объема.
Небольшие объемы данных (до 100 тысяч строк) целесообразнее заменять свежими, а вот с крупными массивами уже актуально частичное обновление: добавление новых и удаление устаревших значений.
Массивы некоторых данных настолько огромны, что обрабатывать их все будет слишком дорого для компании, в таких случая проводят выборку, и на ее основании проводят аналитику. Часто практикуется «простая случайная выборка», но обычно данные, собранные с ее помощью, не репрезентативны и сравнимы с подбрасыванием монетки.
Важный вопрос: собирать сырые или агрегированные данные?
Некоторые поставщики данных дают уже скомпилированные подборки, но у них есть несколько недостатков. Например, в них могут отсутствовать необходимые или желаемые значения, которые повысили бы ценность аналитики на основе этих данных для компании, но у вас не будет возможности собирать или дополнять их. Данные, собранные сторонними агрегаторами, удобны для архивации и хранения, также они значительно экономят время и человеческий ресурс.
Но если есть возможность собирать сырые данные, то лучше выбрать их — они более полные, и вы сможете самостоятельно агрегировать их в соответствии со своими потребностями и запросами бизнеса, а после работать с ними так, как вам потребуется.
Многие компании самостоятельно собирают данные, а также использует доступные в открытых источниках. Но в некоторых случаях они вынуждены заплатить за получение необходимых данных третьей стороне. Иногда выбор мест приобретения данных может быть ограничен, в других случаях нет, но независимо от этого при выборе источника данных и принятии решения о их приобретении следует обратить внимание на несколько факторов:
Цена
Все любят бесплатные данные — и руководство и аналитики, но иногда высококачественная информация доступна только за деньги. В таком случае следует взвесить рациональность приобретения и сравнить стоимость и ценность данных.
Качество
Данные чисты, им можно доверять?
Эксклюзивность
Данные подготовлены индивидуально для вас или доступны всем желающим? Вы получите преимущество перед конкурентами, если будете использовать их?
Выборка
Есть возможность получить выборку для оценки качества данных до приобретения?
Обновления
Какой срок жизни данных, как быстро они устаревают, будут ли они обновляться и как часто?
Надежность
Какие ограничения у интерфейсов получения данных, какие еще ограничения могут накладываться на вас?
Безопасность
Если данные важны, то будут ли они зашифрованы и насколько надежными протоколами? Также не стоит забывать о безопасности при их передаче.
Условия использования
Лицензирование или иные ограничения. Что может не позволить вам воспользоваться данными в полном объеме?
Формат
Насколько вам удобно работать с форматом приобретаемых данных? Есть ли возможность их интеграции в вашу систему?
Документация
Если вам предоставляют документацию — хорошо, а если нет, то стоит поинтересоваться способом сбора данных для оценки их ценности и надежности.
Объем
Если данных много, вы сможете обеспечить их хранение и обработку? Ценные данные не всегда будут объемные, как и наоборот.
Степень детализации
Эти данные подходят для уровня необходимой вам аналитики?
Это далеко не все, но основные и несомненно важные вопросы, которыми стоит задаться перед приобретением данных у поставщиков.
На этом я закончу статью по сбору данных.
Если информация была для вас полезна, то я буду рад обратной связи.
Возможно, вы с чем-то не согласны или хотите поделиться своими методами и наработками — приглашаю в комментарии, и надеюсь на увлекательное и полезное обсуждение.
Всем спасибо за внимание и хорошего дня!
Работа с информацией. Этап поиска и сбора информации
Продолжим тему «Работа с информацией» и сегодня о первом этапе – Поиск и сбор информации.
Если есть задача/ проблема/ цель, но нет ее решения, — то неизбежно наступает этап поиска этого решения.
И чем правильнее сформулирована проблема, тем проще найти решение.
Если проблема тривиальная, то достаточно одного шага в поиске информации – открываем поисковую систему в Интернете, делаем запрос – и имеем несколько источников информации.
Основной навык, требуемый в этих случаях – правильно составить запрос. Но это тоже нужно сделать грамотно и этому нужно также учиться.
Думаю, что 90 % людей ограничиваются именно этим уровнем работы с информацией. Возникла проблема – зашел в поисковик – получил ответ.
Если задачи не выходят за эти рамки, а именно – найти ответ на бытовой вопрос или быть в курсе новостных событий, — то заморачиваться по поводу выстраивания персональной системы работы с информацией, видимо не стоит.
Для тех же, у кого работа с информацией заключается в необходимости сбора и обработки больших массивов, выраженных в 1 000 единиц файлов или книг, — создание системы работы с информацией будет просто необходимо.
Потребность в системе работы с информацией
У любого специалиста высокого уровня существует своя библиотека знаний.
Знания не имеют границ и требуют постоянного совершенствования и обновления.
Сбор информации в этом случае носит систематический характер. Т.е. информация вносится в базу знаний – постоянно.
Но потребность в системе работы с информацией возникает не только у профессиональных специалистов, возникает она и на бытовом уровне, в личной жизни каждого человека, который стремится к саморазвитию или хотя бы к упорядочению своей жизни.
Жизнь может протекать как сплошной поток непрерывной деятельности. В таком потоке сложно выделить и структурировать отдельные части. Человек живет и все, ему этого достаточно.
Но нашу жизнь можно разнообразить, структурировать наши жизненные цели, придать смысл существованию и всей нашей жизни.
Вам уже скорее всего известен такой инструмент анализа текущего состояния как «Колесо жизни». Оно позволяет оценить вашу текущую ситуацию и определить в каких сферах необходимо развитие.
Таких сфер/направлений может быть несколько (как правило, не более 10): «Здоровье», «Духовное развитие», «Спорт», «Карьера», «Семья», «Финансы» и т.д.
Совершенствование в любой сфере требует знаний. И начинается этот процесс со сбора информации, а именно с формирования личной библиотеки по этим темам.
Итак, наличие системы работы с информацией требуется как на работе, так и в личной жизни. Между работой и личной жизнью, как известно должен быть баланс.
Зачем мы собираем информацию?
Чтобы сбор информации не превратился в самоцель, определимся – зачем же мы собираем информацию.
«… мы собираем информацию не для того, чтобы накапливать знания, а для того, чтобы предпринимать правильные действия», – это сказал гуру менеджмента Питер Ф. Друкер.
Это важно помнить, что сбор информации не ради сбора и не только для накопления знаний, но в итоге – для принятия верных решений и достижения наших целей, независимо на работе или в быту.
Когда, где и как собирать информацию?
Ответим на эти вопросы.
Если формируется база знаний специалиста – то информация пополняется постоянно. Возникла новая информация, привлек внимание заголовок – информация сразу поступает в эту базу.
Можно сформировать папку «Для рассмотрения» и регулярно проводить обработку новой информации, удаляя ненужную, а нужную распределяя по тематическим каталогам вашей системы (о систематизации информации поговорим в следующих статьях).
Если же решается конкретная задача требующая принятия решения, то сбор информации может носить ситуативный характер и быть разовым. Т.е. собрали- проблему решили – получили отчет – отчет на хранение.
Это как управление в Компании: может быть регулярный менеджмент, а может ситуативный. И тот и другой, как ни странно работает.
Но управляемость, прозрачность, отсутствие суеты и стрессов и в конечном итоге — результативность у регулярного менеджмента намного выше.
Т.е. отвечая на вопрос – когда — можно по ситуации, но безусловно лучше – регулярно и используя Технологии.
Где собирать информацию?
Для этого вспомним, что есть информация первичная и вторичная.
Вторичная – это информация, которая уже имеется в каком либо источнике, например в книгах, журналах, бухгалтерских данных, в отделе статистики, в отчетах, ранее проведенных исследованиях и тд.
Первичная – это информация, которая получается непосредственно для целей решения данной проблемы. Это различные опросы, интервью, наблюдения.
Вторичная информация собирается, как правило, в процессе кабинетных исследований без привлечения других. Место: рабочее место, библиотека.
Если приобретаются уже проведенные исследования – то делаем соответствующий запрос и оплату.
Думаю, что это понятно. Вторичная – это уже имеющаяся информация на каком либо носителе.
С этой информацией в основном и работают, считая что информация существует только в таком виде.
Но, получить более качественную информацию можно опросив эксперта по данному вопросу, или нескольких экспертов, чтобы сопоставить точки зрения.
Или провести опрос клиентов, чтобы получить информацию — что же они думают про Вашу компанию, продукт и обслуживание.
Или провести мозговой штурм, среди сотрудников, чтобы получить нетривиальное решение проблемы.
Все это относится к сбору первичной информации.
Руководитель может принимать решения – выслушав мнение одного –двух своих специалистов. В этом случае он также занимается сбором первичной информации.
Наблюдение за поведение человека, например в торговом зале – это также сбор первичной информации, на основе которой принимаются решения по размещению витрин, например.
Итак, первичная информация – это информация, которой еще нет на каком-либо носителе и нам приходится ее собирать общаясь с другими людьми.
Думаю, что так будет более-менее понятно в общих чертах.
Как собирать информацию?
Ответим на этот вопрос, т.е. определим какие методы сбора информации существуют.
Как я уже говорил в статье « Умение работы с информацией» – важно знать этапы и методы работы на каждом этапе.
Сейчас мы рассматриваем первый этап – поиск и сбор информации. И подошли к методам сбора информации.
Методы поиска информации:
1. Аудит своей знаниевой базы информации.
У вас уже имеется накопленная база данных в виде: файлов, книг, аудио и видео материалов. Первое что можно сделать – это поискать среди уже имеющейся у вас информации.
Как правило – если информация правильно систематизирована и кодифицирована, сделать это несложно. Достаточно задать Поиск по имени файла или другим способом, в соответствии с вашей кодификацией.
Если информация не систематизирована, то можно сделать поиск – по ключевым словам в тексте документа. Эти операции позволяет провести Microsoft Windows.
Таким образом указав нужные критерии запроса (ключевые слова) вы легко найдете подходящие папки и файлы внутри вашей базы.
Второй шаг – это поиск в вашей библиотеке — книг и журналов в печатном виде.
Расширение списка книги можно сделать следующим образом:
Начать с составления списка.
В своей книге «Как читать деловую литературу» я приводил основные источники получения информации для составления списка:
1. Рекомендации друзей и коллег.
2. Различные ссылки, содержащиеся в уже изученных ранее книгах.
3. Поиск списков литературы на специализированных форумах.
4. Различные подписки на специализированные рассылки.
5. Участие в различных электронных сообществах, посвященных Вашей тематике.
6. Посещение магазинов, в том числе поиск в Интернет-магазинах.
7. Обращения к специалистам с просьбой порекомендовать нужную литературу.
Это основные источники для получения списка важных книг по теме
2. Кабинетные исследования.
Получив информацию из существующей у вас базы Знаний, вы дополняете ее путем:
Работа с библиотечным фондом в центральных библиотеках, запросы в статистические и архивные службы.
Работа в поисковых системах.
Просмотр телепередач, видео и аудио–материалов.
На этом этап работы со вторичной информацией можно закончить и приступить при необходимости к сбору первичной информации.
3. Общение с экспертами по интересующей теме.
Часто эксперты дают «зацепки» по которым можно расширить область поиска информации. Узнать у эксперта – какие источники информации наиболее важные, какие книги почитать в первую очередь и тд.
Доступность экспертов в настоящее время облегает Интернет. Достаточно набрать на YouTube свой вопрос – и появится масса видеоматериалов, лекций, семинаров. Остается только выбрать действительно приличных экспертов.
Но лучше использовать живое общение, тем самым расширяя свои связи и улучшая навыки коммуникаций.
4. Непосредственное наблюдение.
Это один из методов сбора первичной информации. Например чтобы снять соц-дем портрет посетителей торговой точки – достаточно выделить один наиболее насыщенный потоком день и заполнить таблицу – группы по возрасту, полу и времени. Очень полезная информация для решений.
5. Опросы, анкетирование, тестирование.
Методик может быть множество: это и фокус-группы, мозговые штурмы, использование модели Исикавы и тд.
На этапе сбора информации лучше создать некоторую избыточность, чтобы затем отобрать важное и полезное.
На этом ограничусь, думаю, что для первого раза по этапу поиск информации достаточно.
Если есть вопросы, с удовольствием отвечу. Пишите, пожалуйста в комментариях.