Add Популярные программы для работы с текстовыми колонками

%D0%9F%D0%BE%D0%BF%D1%83%D0%BB%D1%8F%D1%80%D0%BD%D1%8B%D0%B5-%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D1%8B-%D0%B4%D0%BB%D1%8F-%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D1%8B-%D1%81-%D1%82%D0%B5%D0%BA%D1%81%D1%82%D0%BE%D0%B2%D1%8B%D0%BC%D0%B8-%D0%BA%D0%BE%D0%BB%D0%BE%D0%BD%D0%BA%D0%B0%D0%BC%D0%B8.md

@@ -0,0 +1,25 @@
+Сила скрытая в словах: что такое извлечение данных из текста?
+В наше время онлайн среда полон текстами со всех сторон: включая новостные потоки, статьи ученых, правовые бумаги, отзывы клиентов, общение в мессенджерах. Под этим колоссальным текстовым массивом скрывается бесценный ресурс — упорядоченные сведения, готовые к использованию. Их процесс поиска и организации именуется извлечение данных из текста. Это не только поиск ключевых слов, а сложная технология, которая помогает машине понять смысл, извлечь факты, названия, отношения и представить их в понятном, готовом к анализу форма<D0BC>
+
+
+
+Да, однако процесс превращается в двухшаговым. Первоначально системы компьютерного зрения (OCR) декодируют почерк, преобразуя данный текст в электронный вид. Затем в работу включаются инструменты получения данных из текстовой информации для структурирования сведен<D0B5>
+
+
+
+Помимо классики, существуют более новые варианты, дающие улучшенный функционал и дополнительные возможности.
+
+csvkit представляет собой пакет инструментов для работы с колонками в CSV-файлах. В него входят такие команды, как csvcut для селекции и реорганизации колонок, csvgrep для фильтрации и csvsql для выполнения SQL-запросов прямо на CSV-файлах. 
+Miller (mlr) — мощный утилита, который понимает множество форматов (CSV, JSON, DKVP) и оперирует с данными как с записями в базе данных. Он дает возможность проводить разнообразные операции: слияние, упорядочивание, статвычисления и, естественно, работу с колонками. 
+xsv — молниеносная программа, написанная на Rust, целенаправленно созданная для работы с крупными CSV-файлами. Её команды для извлечения колонок, отбора и статистики работают поразительно быстро даже на гигабайтах данн<D0BD>
+
+Как быстро [инструменты для списков](https://saga.iao.ru:3043/staceybirkbeck/1227297/wiki/%D0%9F%D0%BE%D0%BF%D1%83%D0%BB%D1%8F%D1%80%D0%BD%D1%8B%D0%B5-%D0%B8%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D1%8B-%D0%B4%D0%BB%D1%8F-%D1%83%D0%BF%D1%80%D0%B0%D0%B2%D0%BB%D0%B5%D0%BD%D0%B8%D1%8F-%D1%81%D0%BE-%D0%B7%D0%B0%D0%B4%D0%B0%D1%87%D0%B0%D0%BC%D0%B8) убрать дублирующиеся элементы из списка
+Полное руководство по исключению дубликатов в списках на Python
+
+Часто задаваемые вопросы (FAQ) касаемо удалении копий
+Какой же подход самый быстрый при работе с крупных наборов данных?
+Для подавляющего большинства вариантов использования преобразование в набор (set) остаётся наиболее быстрым решением из-за высокооптимизированной внутреннего устройства.
+Как поступить, когда требуется удалить повторы, но принимать во внимание не все поля объекта?
+Необходимо реализовать персональную систему проверки на дубликаты. К примеру, можно создать множество для сохранения неповторяющихся значений определенного поля инструменты для списков (например, email), и включать в результирующий список лишь те элементы, чьё ключевое свойство попадается впервые.
+Оказывает ли влияние устранение повторов в списках на первоначальные информацию?
+Все указанных методов создает новый список с неповторяющимися элементами. Первоначальный список остается без изменений, в случае если вы прямо не назначите переменной указатель на новый объект.