Квантовая математика поможет в поиске ключевых слов
Испанские ученые создали новый алгоритм поиска в тексте ключевых слов, основанный на использовании теории случайных матриц, сообщает New Scientist. Работа ученых опубликована в журнале Physical Review E.
Самый простой метод поиска ключевых слов в тексте заключается в следующем. Чтобы определить, является ли слово ключевым, изучается частота его повторения в тексте. Затем частота того же слова определяется для некоторого базового текста, привязанного к изучаемому из некоторых сторонних соображений. Если частота в исходном тексте оказывается выше, чем в базовом, то слово признается ключевым.
В рамках нового исследования ученые предложили считать не только частоту вхождения слов, но их группировку. Ученые полагают, что более важные слова обычно группируются автором вместе, в тех частях текста, где он пытается донести основную мысль. При этом менее значимые слова оказываются более равномерно распределены в тексте.
Для описания данной идеи исследователи использовали так называемую теорию случайных матриц - раздел теории вероятности и статистики, занимающийся изучением случайных величин, которые принимают матричные значения. Оказалось, что многие математические методы данной теории представляется возможным применять к изучению текстов.
В качестве тестирования своего метода ученые предприняли попытку обнаружить ключевые слова в нескольких известных текстах на разных языках: английском, немецком, испанском, итальянском и латыни. Опыт оказался достаточно успешным. Например, в труде Эйнштейна, посвященном общей и специальной теориям относительности, в первую десятку ключевых слов новый метод поместил "поле" (field) и "гравитационный" (gravitational). В "Трех мушкетерах" Александра Дюма первую строчку оккупировала "миледи", а Атос оказался важнее д'Артаньяна. Полный список изучавшихся текстов доступен здесь.
Кроме этого исследователи провели тестирование нового метода в текстах, предварительно удалив из них пробелы. Результаты, по словам исследователей, указывают на то, что новый метод может применяться для изучения абстрактных массивов данных.
Создатели нового метода позиционируют его в качестве будущего метода для интернет-поиска. Специалисты в данной области, однако, пока настроены скептически. Они полагают, что, прежде чем можно будет говорить о практическом применении нового метода, необходимо провести сравнительное тестирование с существующими методами поиска.
«Как ты там?»: голос Харькова, который должен быть услышан (фото, видео)
«Форд» въехал в «Фольксваген» на перекрестке в Николаеве - пострадала женщина (фото, видео)
Патрульные заблокировали в Николаеве «Фольксваген» - водитель заявляет, что он человек, и отказывается предъявить документы
Полиция Швейцарии задержала мужчину, который напал на украиноязычную семью с ребенком в поезде (видео)
В Николаеве дом остался без отопления: управляющая компания игнорирует обращения
Сотни николаевцев пришли проститься с директором «Николаевводоканала» Борисом Дуденко (видео)
Бабье лето в Николаеве: когда ждать и будет ли оно
Изготовили амфетамина почти на 5 миллионов гривен: полиция разоблачила преступную группировку в Николаевской области (видео)
Мотоциклист насмерть разбился возле заправки в Николаеве (фото, видео)