rm Argument list too long...

Посмотреть лимит аргументов для вашей системы

#getconf ARG_MAX
2097152

Решение заключается в комбинировании команд

#ls | grep PATTERN | xargs rm

Если нужна дополнительная логика или привычнее через циклы

#for files in PATTERN; do rm "$files"; done