Суд же не может мне отказать по п.4 ст.453 ГК РФ?
Не может. А чего запутались то? Я вроде все доходчиво расписал. Банк заинтересован не вернуть Вам деньги, поэтому пишет что хочет. Но это же не означает, что доводы банка - это истина в последней инстанции. Ответ банка с отказом - это всего лишь отказ банка в удовлетворении законных требований потребителя в добровольном порядке и основание для Вас требовать в иске взыскания, кроме всего прочего, неустойки и штрафа. Надо во всем находить положительные моменты.