А дырки позаделывать? Они обычно гнезда майстрячат не прямо на балконе, а где-то в полу балкона, если там есть отверстия.

У меня над балконом ласточки детей своих каждый год выводят. Где-то между моим балконом и балконом верхних соседей. Понаходили дырки какие-то. Собираюсь менять остекление, жду вот когда дети эти вырастут и гнездо освободят. Чтоб не замуровать ненароком.