Inherited from Proto-Slavic *bylь. By surface analysis, быть (bytʹ) + -ль (-lʹ) or было́й (bylój) + -ь (-ʹ).
быль • (bylʹ) f inan (genitive бы́ли, nominative plural бы́ли, genitive plural бы́лей)