Большие файлы

...и файловые системы.

Ниже описано, почему файлы >2Gb могут успешно создаваться одним и тем же бинарником на reiserfs и не создаваться, скажем, на ext3.

Date: Wed, 21 Sep 2005 22:40:16 +0400 From: Sergey Vlasov <vsu/altlinux.ru> To: ALT Linux Community <community/altlinux.ru> Subject: Re: [Comm] Re: ограничение размера файла на ext3 On Wed, Sep 21, 2005 at 08:16:40PM +0300, Michael Shigorin wrote: > On Wed, Sep 21, 2005 at 09:03:38PM +0400, Владимир Гусев wrote: > > >mc - глюкало. VMware поддерживает файлы больше 2G но как-то > > >странно работает. А вообще это проблемы софта. > > Почему "софта"? Ведь тот же софт не "жужжит", если это reiserfs 3.6.. > > Не верю (c) Ха. А ведь это правда. Причём вплоть до последних ядер 2.6.x. Однако ошибка в данном случае не в ext2/3, а как раз в reiserfs. Дело в том, что для работы с файлами больше 2 Гб программы должны быть либо собраны с опцией -D_FILE_OFFSET_BITS=64 (в этом случае переопределяется тип off_t и структуры, где присутствуют размеры файлов - например, struct stat), либо с опцией -D_LARGEFILE64_SOURCE (в этом случае должны использоваться функции open64(), lseek64() и т.д.). При открытии файлов в ядро передаётся флаг, определяющий возможности программы (O_LARGEFILE); если этот флаг не установлен, открытие файлов размером более 2 Гб невозможно. (Всё это относится к 32-разрядным архитектурам - на 64-разрядных архитектурах этой проблемы нет в принципе.) Большинство файловых систем использует общую функцию для обработки открытия файлов - generic_file_open(); именно там выполняется проверка O_LARGEFILE при открытии. Однако в reiserfs обработчик ->open вообще не задан, в результате проверка размера не выполняется, и файл удаётся открыть даже при несоблюдении ограничения на размер. Это может привести к проблемам при дальнейшем выполнении программы - например, если программа, собранная без поддержки больших файлов, попытается определить размер такого файла, она получит совершенно неверный результат (а в некоторых случаях может повести себя совсем непредсказуемым образом, поскольку из-за переполнения получится отрицательное число). Так что то, что на reiserfs файлы размером более 2 Гб открываются любой программой, даже собранной без поддержки больших файлов - это ошибка reiserfs, и когда-нибудь она будет исправлена. Кстати, похожие баги были и в других ФС (или, вероятно, в общем коде), и чинились довольно давно: http://lkml.org/lkml/2000/7/30/38
Ссылок на эту страницу нет