XV Международная студенческая научная конференция Студенческий научный форум - 2023

Частотный анализ — один из методов криптоанализа, основывающийся на предположении о существовании нетривиального статистического распределения отдельных символов и их последовательностей, как в открытом тексте, так и в шифротексте, которое, с точностью до замены символов, будет сохраняться в процессе шифрования и дешифрования. Иначе говоря, это частота употребления букв слов или каких-либо знаков в данном тексте.

С помощью частотного анализа употребления букв в русском алфавите. Легко заметить, что некоторые буквы мы употребляем часто такие как (а, е, и, о), а некоторые редко (ж, ц, э, щ). Одним из инструментов визуального представления часто встречаемости слов в тексте является облако слов. Облако слов самостоятельно имеет огромную дидактическую ценность и может использоваться в различных учебных ситуациях.

Что же такое облако слов? Облако слов — это визуальное представление списка категорий или тегов, также называемых метками, ярлыками, ключевыми словами и т.п. иначе говоря, это визуализированный с помощью цвета размера шрифта частотный анализ.

Для анализа текстов огромными возможностями обладает язык Питон. Рассмотрим несколько команд и составим программу для генерации облака слов. Питон или Пайтон - это язык программирования общего назначения, который широко применяется в различных областях: от создания разнообразных веб-страниц до систем управления роверами на других планетах. В настоящее время язык распространен, потому что на нем легче всего пройти обучение программированию. Этот язык скриптовый, он универсален и является самым популярным языком программирования в мире.

Приведем программу генерирования облака слов на Питоне будет выглядеть:

Рассмотрим основной фрагмент и объясним входящие в него команды.

Первая строка задает ширину и высоту самого облака слов (можно догадаться при дословном переводе).

Вторая строка задает цвет заднего фона.

Четвертая строка минимальный размер шрифта (в данном случае 10).

Далее этой строкой мы задаем размеры фигуры в которой будут выведены слова, а так же лицевой цвет.

Частотный анализ является одним из сравнительно простых методов обработки текста на естественном языке (NLP). Его результатом является список слов, наиболее часто встречающихся в тексте. Частотный анализ также позволяет получить представление о тематике и основных понятиях текста. Визуализировать его результаты удобно в виде облака слов. Эта диаграмма содержит слова, размер шрифта которых отражает их популярность в тексте.

Рассмотрим результат работы программы по математической статье о теореме Пифагора. Как не трудно заметить, ключевые понятия и символы легко находятся и распознаются. Данный материал можно использовать в качестве интерактивного задания для изучения нового или повторения по данной тематики. Можно сделать распечатки. Само облако слов хорошо развивает ассоциативное мышление и креативность. Возможности его использования ограничивается лишь вашей фантазией.