На вопрос о том, почему в Valheim ломаются стены, ответ в целом довольно простой: здесь может быть два фактора, а именно - естественный износ и нанесение этим самым стенам физического ущерба вследствие атак различных существ на эти стены. В первом случае виновником всему служит время и дожди (или подтопление - воздействие воды, в общем), во втором - нападения как других игроков, так и различных агрессивных представителей местной фауны.
Вы можете частично обезопасить стены от нападений, соорудив ров вокруг базы, в меньшей степени с той же функцией могут справляться заборы, однако они защитят вас от лесных жителей, а вот от троллей - никак.
К счастью, стены в Valheim можно отремонтировать, если они уже получили урон - для этого используется молот из инвентаря.