2002年，李先生与某房地产公司签订了合同，购买5套房屋，首付款即达400万元。此后李先生又向按揭贷款银行贷款将近1600万元左右，全部款项均向房地产公司支付。
后李先生发现此楼盘存在很多问题，遂萌生退意。经过反复与房地产公司交涉，房地产公司同意李先生退房。2004年2月，双方签订协议，开发商将李先生所有的首付款归还李先生，并给了李先生一定补偿，但是双方并没有谈到银行贷款的问题。此后李先生没有通知银行即停止支付按揭贷款。过了几个月，银行方面发现李先生停止还款，即进行调查。李先生称已经与开发商解除了合同，因此与银行间的贷款合同也应当解除。但银行方面予以拒绝，并明确表示要起诉李先生，要求其归还剩余全部贷款本息。
根据以上情况，回答下列问题：