有一份CIF合同规定：在货物到达目的港时凭装运单据支付现金。合同订立后一个月，货物出运，但由于运输途中遇险不能到达目的港。当卖方持提单等装运单据要求买方付款时，买方以货物不能到达目的港为由拒绝接受单据和付款。但卖方认为他已经按照合同规定的条件投保，买方应该接受符合合同规定的单据并支付货款。
问：买方是否有权拒绝支付货款？