吴某与蓝某同属一个村的村民。1985年，两人分别在村里承包了各自的责任田。同年，双方达成书面协议，吴某将自己的责任田A与蓝某的责任田B调换耕种，协议上没有约定期限，也没有经村委会批准。至2001年春，吴某要求换回责任田，遭到蓝某拒绝。2002年，吴某强行耕种A田，双方多次发生冲突，经村委会调解，2002年大秋后双方换回责任田，吴某给蓝某补偿费500元，蓝某不同意，故未在协议上签字。2003年，吴某在A田种植桑苗，被蓝妻毁掉。双方为此发生纠纷，于是吴某以1985年与蓝某互换承包责任田时未经村委会同意，互换行为是无效的，其有权换回自己的责任田为由向法院提起诉讼。请问本案应如何处理?