某村村民吴某因家里人口多，住房紧张，向乡政府提出建房申请。经乡人民政府土地员刘某批准后，即开始划线动工。周围左邻申某与右邻崔某发现吴某占用了自己使用多年的宅基地，即同吴某交涉。吴某申辩说建房是按批准文件划线动工，不同意改变施工计划。据此，请回答下列问题。