Почему не получается заставить работать дисковые квоты?

Не включайте квотирование на /,

Помещайте файл с квотами в ту файловую систему, которую он обслуживает, то есть:

Файловая система

Файл квот