李某（男）于1992年因酒后驾车、犯交通肇事罪被判处有期徒刑5年。其妻关某一人抚养不满一岁的儿子李予，生活十分困难。1993年，李某和关某离婚。关某为了能顺利改嫁，将儿子送给了蔡某夫妇收养。蔡某时年41岁，与妻结婚多年未育。双方达成了收养协议。当双方到民政部门办收养手续时，被告知还必须征得孩子生父的同意。在狱中的李某虽毫无心理准备，但苦于自己不能抚养孩子，又不能拖累妻子，无奈在收养协议上签了字。1997年，李某出狱，借钱做起了买卖。经过几年努力，日子逐渐富裕起来。为了领回儿子李予，李某起诉到法院，以当初迫于无奈才同意送养、现在自己有能力抚养为由要求解除收养关系。问：