Судиться не будет, а вот погрозить занести вас в какой-нидь черный список - может.
И теоретически может занести, как должника и теоретически, вы можете не получить кредит в каком-нибудь другом банке на основании того, что вы занесены в черный список клиентов, если он , конечно, существует

Вероятность этого всего мала, но я, в несколько похожем случае, съездил в центральное отделение банка и закрыл эту карточку (счет), заплатив "смешные" деньги в кассу банка.