Текст майнинг что это
Text Mining Framework (Java)
Что это и для кого (вместо вступления)
В данной статье я бы хотел рассказать о небольших результатах своей научной деятельности в сфере Text Mining. Этими самыми «результатами» стал небольшой FrameWork, который, пока еще, и до либы то не очень дотягивает, но мы растем =). Данный проект — реализация на практике некоторых, разработанных мною, теоретических положений. Как следствие этого я представляю возможности, которыми он может потенциально обладать в конце внедрения всех идей. Названо сее творение: «Text Mining FrameWork»(TextMF). Давайте в кратце рассмотрим, что именно будет позволять TextMF в своей первой финальной версии и что работает уже сейчас.
Должно быть в финальной версии:
Дело в том, что цель данного проекта не создать инструмент, используя который можно реализовать какой либо алгоритм обработки текста (как например Python NLTK и схожие), а дать возможность использовать уже готовые алгоритмы. А заодно и апробировть на практике свой собственный алгоритм. Т.е. это не еще один статистический анализатор или набор контейнеров оптимизированных под работу с текстовыми данными. Нет! Это набор эвристик, которые будут работать из коробки, не нуждаясь в дополнительных знаниях.
С какими входными данными работает TextMF: пока только текстовые файлы. Само собой далее планируется поддержка намного больших входных форматов. Так же планируется сделать интеграцию с Веб, дабы можно было-бы спокойно анализировать Веб-странички.
Проект распространяется через репозиторий BitBucket.
Клоните его себе и подключаете к своему проекту =) Все предельно просто. В скором времени будут доступны сборки в виде подключаемого jar.
Обработка текста очень часто занимает много времени, особенно если пытаться открыть целую книгу! Так что в целях «на попробовать» настоятельно рекомендую ограничивать себя несколькими страничными текстами с сайтов. Однако, уж очень маленькие тексты так же могут дать не очень хороший результат, из-за недостаточности информации в них.
Как уже говорилось ранее, основная идея в максимальной простоте использования и сокрытие эвристик и алгоритмов. Так что все банально:
Повторюсь, получение темы — довольно долгая процедура, так что вызывая данный метод будьте осторожны;) Само собой будет реализован и асинхронный метод получения темы, но позже. Так же ОЧЕНЬ важно отметить, что качество работы методов растет в зависимости от того, какого размера текст подан на вход. Чем больше информации тем, как правило, больше возможности выучить язык. Однако и время открытия файлов существенно возрастает, при увеличении размеров содержимого.
Для наглядной демонстрации некоторых функций программы, моим коллегой по имени Андрей, был на скорую руку написан небольшой UI клиент. На текущей стадии он носит просто ознакомительный характер, так как иногда удобнее воспользоваться им. Написан он на Java FX, и пока не распространяется в виде отдельного jar файла. Для того, что бы его «пощупать», нужно его собрать =(.
Главное окно программы:
1) Меню выбора текста для обработки;
2) Список выбранных файлов;
3) Результаты работы:
a) слово встречаемое в тексте;
b) вес слова в тексте;
с) количество повторений в тексте
4) Поле для вывода темы текста;
5) Список словоформ.
Давайте посмотрим, что мы можем узнать, используя нашу программу для этого текста: Владельцам «Волг» и «Москвичей» дадут еще один год:
Поиск темы осуществлялся около минуты (долго, согласен). При выборе какого либо отдельного слова, можно посмотреть его словоформы:
А теперь попробуем еще один текст: «Пришельцы похитили семью украинцев и рассказали о будущем землян!», наверное один из самых «желтых» текстов =):
Текст открывался долго, наверное минуту, тему искал где-то так же. Само собой, под темой текста стоит понимать цепочку слов, которые алгоритм посчитал как тему текста. В дальнейшем алгоритм сможет выдавать вывод в читабильном виде, но это будущее, а сейчас
нам нужна Ваша помощь
По любым предложениям сотрудничества прошу обращаться сюда: Viacheslav@b0noI.com
Из того, что будет в ближайшее время(думаю в пределах месяца-двух) с проектом:
Сейчас TextMF стал полуфиналистом проекта www.ukrinnovation.com. Так что есть, хоть и маленький, но все же шанс получить инвестиции на развитие.
Знаю, что пока это мечты, но если бы у меня спросили какой функционал я вижу в конце, то я бы ответил: библиотека, используя которую можно написать чат-бота, который пройдет тест Тюринга. Если говорить более реальное, то скорее всего движки для динамического отслеживания информации в интернете. Отслеживание связей и контроль за их изменениями. Ну и, само собой, нечто для создания каких либо локальных поисковых систем.
Сама идея имеет огромный потенциал, тут и спам-фильтры, и поисковые системы, и системы автоматического реферированная, и еще много-много чего того, что можно построить на базе такого framework.
Полное руководство о том, как работает Text Mining
Введение в разработку текстов
Что такое Text Mining
Text Mining также известен как Text Analytics. Это процесс понимания информации из набора текстов. Text Mining разработан, чтобы помочь бизнесу найти ценные знания из текстового контента. Это содержимое может быть в форме текстового документа, электронной почты или сообщений в социальных сетях.
Преимущества Text Mining
Есть много преимуществ использования Text Mining. Они перечислены ниже
Использование Text Mining
Важность текстового майнинга
Приложения Text Mining
Анализ ответов открытого опроса
Открытые вопросы опроса помогут респондентам высказать свое мнение или мнение без каких-либо ограничений. Это поможет узнать больше о мнениях клиентов, чем полагаться на структурированные анкеты. Анализ текста может быть использован для анализа такой информации в виде текста.
Автоматическая обработка сообщений, писем
Text Mining также в основном используется для классификации текста. Text Mining может использоваться для фильтрации ненужной почты, используя определенные слова или фразы. Такие письма будут автоматически отбрасывать такие письма для спама. Такая автоматическая система классификации и фильтрации выбранных писем и отправки их в соответствующий отдел осуществляется с помощью системы Text Mining. Text Mining также отправит пользователю электронной почты предупреждение об удалении писем с такими оскорбительными словами или контентом.
Анализ гарантийных или страховых претензий
В большинстве коммерческих организаций информация собирается в основном в виде текста. Например, в больнице интервью с пациентами можно кратко изложить в текстовой форме, а отчеты также в виде текста. Эти заметки теперь собираются в электронном виде за один день, чтобы их можно было легко перенести в алгоритмы интеллектуального анализа текста. Эти записи затем могут быть использованы для диагностики реальной ситуации.
Расследование конкурентов путем сканирования их веб-сайтов
Другой важной областью применения Text Mining является обработка содержимого веб-страниц в определенном домене. Таким образом, система интеллектуального анализа текста автоматически найдет список терминов, которые используются на сайте. Таким образом, вы можете узнать наиболее важные термины, используемые на сайте. Таким образом можно узнать о возможностях конкурентов, которые помогут вам эффективно вести бизнес.
Другие приложения Text Mining включают в себя следующее
Методы, используемые в Text Mining
В системе Text Mining используются пять основных технологий. Они подробно обсуждаются ниже
Извлечение информации
Это используется для анализа неструктурированного текста путем нахождения важных слов и выявления связей между ними. В этой технике процесс сопоставления с образцом используется для определения порядка в тексте. Это помогает в преобразовании неструктурированного текста в структурированную форму. Техника извлечения информации включает в себя модули языковой обработки. Это в основном используется там, где имеется большой объем данных. Процесс извлечения информации объясняется на рисунке ниже.
Категоризация
Техника категоризации классифицирует текстовый документ по одной или нескольким категориям. Он основан на примерах входных и выходных данных для классификации. Процесс категоризации включает в себя предварительную обработку, индексацию, уменьшение размеров и классификацию. Текст можно классифицировать с использованием таких методов, как наивный байесовский классификатор, дерево решений, классификатор ближайших соседей и машины поддержки поставщиков.
Кластеризация
Визуализация
Техника визуализации используется для упрощения процесса поиска актуальной информации. Этот метод использует текстовые флаги для представления документов или группы документов и использует цвета для обозначения компактности. Техника визуализации помогает отображать текстовую информацию более привлекательным способом. На картинке ниже представлена техника визуализации
Суммирование
Техника суммирования поможет сократить длину документа и кратко изложить детали документов. Это делает документ рабочим чтением для пользователей и сразу понимает его содержание. Суммирование заменяет весь комплект документов. Он суммирует большой текстовый документ легко и быстро. Людям требуется больше времени, чтобы прочитать, а затем обобщить документ, но этот метод делает его очень быстрым. Это помогает выделить основные моменты в документе. Процесс суммирования представлен на рисунке ниже.
Методы и модели, используемые в текстовом майнинге
На основе поиска информации Text Mining имеет четыре основных метода
Метод, основанный на сроках (TBM)
Фразовый метод (PBM)
В этом методе документ анализируется на основе фраз, которые менее очевидны для большего количества значений и более дискриминационны. К недостаткам этого способа относится
Концептуальный метод (CBM)
В этом методе документ анализируется на основе предложения и уровня документа. В этом методе есть три основных компонента. Первый компонент исследует значимую часть предложений. Второй компонент создает концептуальный онтологический граф для объяснения структур. Третий компонент извлекает основные понятия, основанные на первых двух компонентах. Этот метод может различать важные и неважные слова.
Метод таксономической структуры (PTM)
Как работает Text Mining
Теперь вы должны понимать, что анализ текста позволяет лучше понять текст, чем что-либо еще. Система Text Mining осуществляет обмен словами из неструктурированных данных в числовые значения. Анализ текста помогает идентифицировать шаблоны и связи, которые существуют в большом объеме текста. При анализе текста часто используются вычислительные алгоритмы для чтения и анализа текстовой информации. Без интеллектуального анализа текста будет трудно понять текст легко и быстро. Текст может быть получен более систематическим и всеобъемлющим образом, а информация о бизнесе может быть получена автоматически. Шаги в процессе добычи текста перечислены ниже.
Шаг 1: Поиск информации
Это первый шаг в процессе интеллектуального анализа данных. Этот шаг включает в себя помощь поисковой системы, чтобы найти коллекцию текста, также известную как совокупность текстов, которые могут нуждаться в некотором преобразовании. Эти тексты также должны быть собраны в определенном формате, который будет полезен для понимания пользователями. Обычно XML является стандартом для интеллектуального анализа текста.
Шаг 2: Обработка естественного языка
Этот шаг позволяет системе выполнить грамматический анализ предложения для чтения текста. Он также анализирует текст в структурах.
Шаг 3: извлечение информации
Это второй этап, на котором делается определение значения разметки текста. На этом этапе в базу данных добавляются метаданные о тексте. Это также включает добавление имен или местоположений к тексту. Этот шаг позволяет поисковой системе получить информацию и выяснить отношения между текстами, используя их метаданные.
Шаг 4: добыча данных
Text Mining включает в себя следующий список элементов
Проблемы текстового майнинга
Основной проблемой, с которой сталкивается система Text Mining, является естественный язык. Естественный язык сталкивается с проблемой неоднозначности. Двусмысленность означает, что один термин имеет несколько значений, одна фраза интерпретируется по-разному, и в результате получаются разные значения.
Другое ограничение заключается в том, что при использовании системы извлечения информации она включает семантический анализ. В связи с этим полный текст не представлен, только ограниченная часть текста представлена пользователям. Но в наши дни нужно больше понимания текста.
Text Mining также имеет ограничения с законодательством об авторском праве. Есть много ограничений в текстовом анализе документа. В большинстве случаев это включает в себя права владельцев авторских прав. Большинство текстов не будут найдены как открытый исходный код, и в таких случаях требуются разрешения от соответствующих авторов, издателей и других связанных сторон.
Еще одно ограничение заключается в том, что добыча текста не генерирует новых фактов и не является конечным процессом.
Вывод
Анализ текста или анализ текста является быстро развивающейся технологией, но результаты и глубина анализа варьируются от бизнеса к бизнесу. Организация может использовать интеллектуальный анализ текста, чтобы получить знания о конкретных значениях контента.
Интеллектуальный анализ текста: что это и зачем он нужен
Интеллектуальный анализ текста, или text mining — автоматизация извлечения сведений из текстовых данных. Его особенность (в отличие от анализа других данных) заключается в неформализованности исходной информации: ее не описать простой математической функцией. Технологии анализа текста, машинного обучения и Big Data у всех на слуху и доступны все большему количеству компаний, но информации об условиях их реального применения не так много. Мы хотим восполнить этот пробел и рассказать, какие задачи и каким образом можно решить с помощью text mining.
В современном мире генерируется огромный объем информации, и он растет с каждым годом. Данные становятся важнейшим организационным ресурсом, обеспечивающим конкурентные преимущества, дают начало инициативам по менеджменту знаний. Ручная обработка и классификация данных становится неэффективной и дорогостоящей. Ее стремятся либо полностью автоматизировать, либо использовать только на тех этапах работы, когда среди большого количества данных автоматически отобраны нужные.
Интеллектуальный анализ текста, или text mining — автоматизация извлечения сведений из текстовых данных. Его особенность (в отличие от анализа других данных) заключается в неформализованности исходной информации: ее не описать простой математической функцией.
Технологии анализа текста, машинного обучения и Big Data у всех на слуху и доступны все большему количеству компаний, но информации об условиях их реального применения не так много. Мы хотим восполнить этот пробел и рассказать, какие задачи и каким образом можно решить с помощью text mining.
Основные задачи в text mining
Всего за несколько шагов системы интеллектуального анализа извлекают из «корпуса» ключевые смыслы, определяют, пригоден ли текст для решения поставленной задачи, и выявляют детали его содержания. В данном случае под «корпусом» подразумевается набор текстов, которые отвечают предварительно заданным параметрам: сначала формируются критерии, а затем подбираются соответствующие им тексты.
Примеры задач в text mining
Анализ текста позволяет не только извлекать полезные сведения из проектов по управлению неструктурированными данными, но и ожидать от них большего ROI (показатель окупаемости инвестиций). Для бизнеса это означает возможность получать выгоду от использования крупных массивов данных, избегая затратной ручной обработки: отставить в сторону нерелевантный материал и просто получать ответы.
Вот некоторые области, где text mining уже успешно применяется:
Поиск научной литературы определенной тематики
Text mining помогает сориентироваться в огромном потоке научных публикаций: настроить получение релевантных статей, сэкономить деньги и время.
В соответствии с требованиями законодательства, фармацевтические компании США и Европы должны самостоятельно отзывать свои продукты или добавлять соответствующие данные в информационные материалы, если у продукта были обнаружены побочные эффекты, влияющие на здоровье пациентов. При этом основным источником такой информации, кроме собственных исследований компании, выступают научные публикации в различных журналах. В силу большого объема выпускаемых статей, обработать его вручную практически невозможно.
Чтобы решить эту проблему, издательства (или отдельные компании, оказывающие услуги по автоматической обработке текста) предлагают сервис по поиску статей по алгоритмам и подходам, согласованным с заказчиком. В результате такой обработки заказчик получает краткий отчет о найденных статьях в требуемом для него формате. Изучив список, он при необходимости приобретает необходимые публикации.
Платные публикации
Получить доступ к новейшим научным статьям и отчетам о результатах исследований в англоязычных изданиях бесплатно нельзя. Тексты можно лишь купить, и каждый будет стоить не меньше 25-30 долларов.
К примеру, статья о влиянии переработки и хранения на полифенольный состав и антиоксидантные свойства Rubus adenotrichus обойдется почти в 42 доллара.
Эта ситуация ставит многие фармацевтические компании США перед сложным выбором. По закону они обязаны отслеживать все упоминания своих препаратов, связанные с побочными эффектами, чтобы добавлять в инструкции новые данные или отзывать препараты с рынка. Однако приобретение всех существующих статей, в которых может присутствовать упоминание медикамента, обойдется в крупную сумму, не говоря уже о затратах человеко-часов на обработку текстов.
Одному из наших клиентов из отрасли здравоохранения мы предложили решение по автоматизации поиска среди статей: организовали поиск по публикациям и их метаданным при помощи text mining платформы. Теперь автоматизированный поиск публикаций позволяет компании экономить: приобретать только те статьи, в которых, наиболее вероятно, содержится важный для компании текст.
Подобные задачи требуют применения text mining в силу своей сложности: например, не во всех источниках стандартизованы библиографические данные. Иногда эти данные нужно искать в тексте самостоятельно. Порой даже для того, чтобы разобрать адрес организации из метаданных, приходится применять методы машинного обучения.
Маркетинговые исследования
Приложения на основе text mining помогают лучше понять, в каком информационном поле действует компания и как к ней относится аудитория.
Чтобы строить стратегию развития, компаниям необходимы отзывы и объективные оценки использования своих и конкурирующих продуктов. Из-за большого количества источников информации (научные статьи, обзоры продуктов, исследования, конференции, новости и др.) здесь также требуется автоматическая обработка текстов.
Степень доверия к источнику
С использованием text mining сложно отличить заказные обзоры (особенно, если они хорошо составлены) от честных и объективных. Дело в том, что в медицинской сфере гораздо чаще анализ проводится среди отзывов в авторитетных научных журналах, в которых гораздо сложнее опубликовать фальшивый обзор благодаря высоким требованиям к материалам.
Десятки компаний пишут отзывы на заказ, хотя авторы далеко не всегда пользовались товаром или услугой, которую оценивают.
Но если бы стояла задача проанализировать данные в интернете, то для решения такой задачи пришлось бы составлять соответствующий рейтинг авторов и источников, чтобы выявлять заказные работы. Кстати, для научных журналов и авторов как раз имеются индексы цитирования. Мы используем такую информацию в проектах по поиску научных статей — она добавляется в итоговый отчет, чтобы помочь читателю определиться со степенью доверия к источнику.
Отдельной задачей, связанной с остальными, является анализ тональности текста (sentiment analysis). В данном случае требуется оценить эмоциональное отношение автора документа к некоторому объекту. Это используется, например, для классификации отзывов о товарах или о самой компании.
Управление знаниями (knowledge management)
Наведение порядка в документообороте помогает лучше понять, какими данными и документами уже располагает компания, и настроить к ним быстрый доступ.
С ростом организация накапливает значительный объем интеллектуальных активов. Их хранение не всегда хорошо структурировано и стандартизировано, разные отделы могут использовать разные инструменты для хранения документов или вообще обходиться без них. Это затрудняет поиск нужной информации или делает его невозможным. Особенно остро проблема проявляется при слиянии компаний.
Для эффективного использования накопленных знаний могут быть использованы text mining системы, которые:
выполняют автоматический сбор информации из различных источников и приводят ее к единому формату;
дополняют документы метаданными (например: источник документов, дата его создания, авторы и т.д.);
предварительно индексируют и кластеризуют документы;
предоставляют интерфейс для поиска документов по заданным пользователем параметрам.
Такие системы могут иметь возможность настройки уровней доступа к информации, исходя из требований безопасности.
Оптимизация отдела по работе с клиентами
Помимо документов, которые создаются внутри компании, бизнес получает много входящей текстовой информации. Например, запросы и заказы через формы обратной связи на сайте.
Входящие заявки от потенциальных клиентов часто бывают заполнены недостаточно подробно. Менеджеры тратят много времени на обработку заказа и переговоры с клиентом, а до звонка им может быть неясно, что именно хочет клиент и на самом ли деле он заинтересован в покупке.
Text mining системы могут сортировать входящие заявки и предоставлять на выходе более полную информацию о клиенте и его потребностях. Сокращается время обработки заказов, разгружается клиентский отдел, компания может увеличивать свой доход.
Как text mining повышает выручку?
Один из наших клиентов занимается ремонтом и техобслуживанием промобъектов. Категорий ремонта — множество (электрика, ремонт дорожного покрытия, десятки других категорий), а разновидностей ремонта всего два:
гарантийный ремонт, который осуществляется бесплатно;
негарантийный ремонт, на котором компания зарабатывает.
За день на сайт компании приходит до 3 000 заявок на ремонт, каждую из которых необходимо обработать: менеджер создает в CRM-системе заказ на ремонт, выбирая из всплывающего списка категорию и подвид ремонта, а также планируя загрузку ремонтных бригад разной направленности.
Заказчики ремонта оставляют заявки в свободной форме, ранее оцифровать их могли только менеджеры. На это уходило много времени, и при этом не всегда было очевидно, бесплатный ли ремонт или нет.
Мы разработали систему, которая помогает отделу по работе с заказами быстрее сортировать заявки, опираясь только на текст в свободной форме. Text mining система подсказывает менеджеру несколько наиболее вероятных категорий и подвидов ремонта, позволяя быстрее найти их в CRM.
Но главным плюсом решения оказалось умение отличить гарантийный ремонт от негарантийного. Автоматически выявляя случаи платного ремонта, система помогла увеличить выручку компании. Также сократилось количество случаев, когда с клиентов ошибочно взималась плата за гарантийный ремонт.
Фильтрация спама
В данном случае задача заключается в классификации большого потока сообщений (писем, SMS) с целью отсеивания «мусорных». Здесь важна скорость работы алгоритмов в силу большого объема информации.
Кроме приведенных text mining приложений, могут существовать и более специфические, определяемые потребностями заказчиков.
Заключение
Основная задача обработки текстов — извлечение информации, которая необходима для эффективного принятия решений. С ростом объема текстовой информации для сокращения расходов на ее обработку возникает необходимость в автоматизации.
В силу неформализованности текстовой информации и разнообразия решаемых задач не существует единого подхода для анализа, что усложняет разработку автоматических text mining систем. Они могут быть построены как системы поддержки принятия решения для повышения производительности экспертов, работающих с текстами.
Во второй части статьи мы расскажем, как можно оптимизировать процесс text mining, на какие этапы делится разработка и какие подходы используются.
Хотите узнать, как text mining можно применить в вашем проекте?