Управление большими объемами данных стало распространенной проблемой в современную цифровую эпоху. Одной из наиболее распространенных проблем является наличие дубликатов файлов, которые могут занимать ценное место в памяти и затруднять поиск нужных файлов. В этой статье мы рассмотрим, как найти и удалить дубликаты файлов в Linux, включая команды и инструменты, которые помогут выполнить эту задачу быстро и эффективно.
Как найти и удалить дубликаты файлов в Linux
При работе с большим количеством медиафайлов и документов вполне нормально иметь на компьютере множество версий одного и того же файла. Дубликаты файлов в конечном итоге приведут к накоплению массы данных и ограничению объема памяти, что заставит вас проверить систему на наличие дубликатов файлов.
Ручная проверка на наличие дубликатов файлов по понятным причинам не подходит. Для поиска и удаления дубликатов файлов можно использовать различные программы. В этой статье мы расскажем вам, как справиться с дубликатами файлов с помощью двух методов: Fdupes и DupeGuru.
Необходимые условия:
- Система на базе Linux
- Терминальный доступ
- Учетная запись пользователя с привилегиями sudo
Метод 1: Поиск и удаление дубликатов файлов в Linux с помощью Fdupes
Одним из наиболее простых инструментов для поиска и удаления дубликатов файлов в папках является программа fdupes. Это бесплатная программа для поиска дубликатов файлов с открытым исходным кодом, опубликованная на GitHub под лицензией MIT.
Эта программа для поиска дубликатов файлов в Linux использует сигнатуру md5sum и побайтовую проверку сравнения для выявления дубликатов файлов в каталоге. При необходимости можно выполнять рекурсивный поиск, исключать определенные результаты поиска и выводить список найденных дубликатов файлов.
С помощью fdupes можно либо удалить дубликаты файлов, либо заменить их ссылками на реальные файлы после их обнаружения в каталоге.
Установка Fdupes для Linux
- В дистрибутивах на базе Debian
sudo apt install fdupes
- На дистрибутивах на базе RHEL
sudo yum install fdupes
sudo dnf install fdupes
- В Arch Linux и Manjar
sudo pacman -S fdupes
Поиск дубликатов файлов в Linux с помощью Fdupes
После установки можно использовать fdupes для поиска дубликатов файлов.
Для поиска дубликатов файлов выполните следующую команду с указанием пути к каталогу. Эта команда ищет дубликаты файлов только в текущей папке. Поиск во вложенных папках и т.п. не производится.
fdupes <путь к каталогу>
Выполните команду fdupes с опцией -r для поиска дубликатов в папке и подпапках. Из результатов видно, что опция "-r" выполняет более тщательный поиск дубликатов в папках и подпапках.
fdupes -r <путь к каталогу>
Можно также искать дубликаты в непустых файлах. Это позволит сконцентрироваться на задаче и избавит от необходимости разбираться с пустыми файлами. Для включения этой опции используйте следующую команду.
fdupes -n <путь к каталогу>.
Чтобы получить более подробную информацию о наборе дубликатов файлов, используйте команду fdupes с опцией -m.
fdupes -m <путь к каталогу>.
Для получения информации о размере дублирующихся файлов можно также ввести эту команду fdupes с опцией -S.
fdupes -S <путь к каталогу>
Для сохранения результатов работы команды fdupes выполните следующую команду.
fdupes <путь к каталогу> > output.txt
Удаление дубликатов файлов в Linux с помощью fdupes
После того как круг дубликатов в каталоге сузился, для их удаления используйте команду fdupes с опцией -d.
fdupes -d <путь к каталогу>
Вам будет предложено сохранить версии из списка дублирующихся файлов. Введите номер файла из списка для его сохранения.
Примечание: Существуют также расширенные опции команды fdupes. Выполняйте команды fdupes с несколькими опциями.
Следующая команда найдет все непустые файлы во всех папках и подпапках.
fdupes -n -r <путь к каталогу>.
Или получите обзор всех дубликатов файлов в папках и подпапках, введя следующую команду.
fdupes -m -r <путь к каталогу>.
Метод 2: Поиск и удаление дубликатов файлов в Linux с помощью программы dupeGuru
dupeGuru - это кроссплатформенная программа для поиска и удаления дубликатов файлов с компьютера. Одним из наиболее важных свойств программы является возможность настройки механизма поиска в соответствии с вашими предпочтениями, что повышает шансы найти нужный тип дубликатов файлов в каталоге. Кроме того, как и некоторые другие программы для поиска дубликатов, dupeGoogle имеет графический интерфейс, облегчающий работу.
Что касается функциональности, то dupeGuru использует алгоритм нечеткого сопоставления для сканирования имен или содержимого файлов и быстрого и эффективного поиска дубликатов. Он также умеет работать с музыкой и изображениями, что дает ему преимущество перед другими программами поиска дубликатов файлов в Linux. Кроме того, при необходимости можно модифицировать механизм поиска для определения типа дубликатов файлов, которые необходимо удалить.
С помощью dupeGuru можно также удалять дубликаты файлов. Для предотвращения случайного удаления не тех файлов в программе предусмотрена система каталогов ссылок. Кроме удаления, вы можете переместить или скопировать их в другое место.
Установка DupeGuru для Linux
- В дистрибутивах на базе Debian
sudo add-apt-repository ppa:dupeguru/ppa
sudo apt-get update
sudo apt-get install dupeguru
- В Arch Linux
sudo pacman -S dupeguru
Поиск и удаление дубликатов файлов в Linux с помощью dupeGuru
dupeGuru - это быстрая и безопасная программа для поиска дубликатов в Linux. Поэтому она не будет "громить" вашу систему. Вероятность удаления того, что вы не собирались удалять, очень мала. Однако, поскольку мы все еще обсуждаем удаление файлов, всегда стоит быть особенно осторожным: необходимо создать надежную резервную копию.
После принятия мер предосторожности запустите dupeGuru с помощью команды:
Шаг 1. Должен появиться экран выбора папок, в котором можно добавить папки для сканирования на дедупликацию.
Шаг 2. После выбора папок и запуска сканирования dupeGuru отобразит результаты, сгруппировав дубликаты файлов в список.
Шаг 3. По умолчанию dupeGuru сопоставляет файлы, основываясь на их содержимом, а не на имени. В колонке "Совпадение" отображается точность алгоритма сопоставления, что позволяет избежать случайного удаления важных файлов. Выберите дубликаты файлов и нажмите кнопку Действия, чтобы увидеть доступные действия.
Шаг 4. Доступны различные действия. Можно удалить дубликаты, переместить, игнорировать, открыть, переименовать или даже запустить для них пользовательскую команду. Если вы решили удалить дубликат, выберите доступные варианты удаления.
Вы можете не только отправить дубликаты файлов в корзину или удалить их навсегда, но и оставить ссылку на оригинальный файл (жесткую ссылку или симлинк). При этом дубликаты будут удалены, а ссылка на оригинал останется, что позволит сэкономить значительное количество дискового пространства. Это удобно, если вы импортируете эти файлы в свою рабочую область или имеете зависимости от них.
Другой возможностью является экспорт результатов в виде HTML- или CSV-файла. Это может быть полезно, если вы предпочитаете отслеживать дубликаты, а не применять к ним какие-либо действия dupeGuru.
Шаг 5. Наконец, в меню настроек вы удалите все дубликаты файлов.
Вы можете выбрать сканирование по содержимому или по имени и установить порог дубликатов для ограничения количества результатов. Можно также задать пользовательскую команду, которую можно выбрать из меню действий. Среди множества других опций стоит отметить, что по умолчанию dupeGuru игнорирует файлы размером менее 10 КБ.
Как восстановить удаленные файлы в Linux
Случайное удаление файлов и папок или каталогов в Linux неизбежно, особенно если для выполнения необходимых действий требуется техническая подкованность. Но если это все же произошло, не расстраивайтесь! Их все равно можно восстановить. Для восстановления удаленного файла в Linux существует множество процедур и программ. Но лучше выбрать самую лучшую из них!
Поэтому Wondershare Recoverit Linux File Recovery является одним из лучших инструментов восстановления, который мы рекомендуем всем пользователям. Пользователи Linux могут восстановить удаленные файлы, папки и разделы с помощью Wondershare Recoverit.
Вот некоторые особенности Wondershare Recoverit Linux Recovery:
- Recoverit поможет восстановить данные более чем в 500 случаях, включая случайное удаление, форматирование диска, сбои в работе операционной системы, отключение питания, вирусные атаки, потерю разделов и многие другие.
- Он работает со всеми основными дистрибутивами Linux, такими как Ubuntu, Linux Mint, Debian, Fedora, Solus, Opensuse, Manjaro и др.
- Recoverit может эффективно, безопасно и полностью восстановить различные файлы, такие как документы, фотографии, видео, музыку, электронную почту и более 1000 других типов файлов.
- Благодаря простому и интуитивно понятному интерфейсу вы сможете быстро восстановить данные с жестких дисков Linux всего за несколько кликов.
Для Windows XP/Vista/7/8/10/11
Для macOS X 10.10 или более поздней версии
Просто установите Recoverit на свой компьютер и следуйте видеоинструкции, чтобы узнать, как восстановить ошибочно удаленные файлы из Linux.
Для Windows XP/Vista/7/8/10/11
Для macOS X 10.10 или более поздней версии
Просто установите Recoverit на свой ПК и следуйте видеоинструкции, чтобы узнать, как восстановить ошибочно удаленные файлы с Linux.
Вывод
Найти и удалить дубликаты файлов, которые могут занимать место на компьютере с Linux, легко с помощью команд fdupes и dupeGuru. Это поможет вам сэкономить место на диске, избежать путаницы и оптимизировать рабочий процесс. Чтобы случайно не удалить важные данные, действуйте крайне осторожно. Однако если вы удалили файлы и хотите их восстановить, вы все равно можете восстановить их с помощью Wondershare Recoverit Linux Recovery.