A县村民赵四，未经允许擅自改变林地用途，依据《安徽省林地保护管理条例》规定，A县林业行政主管部门应当责令赵四限期恢复原状，并处非法改变用途林地每平方米10元至30元的罚款。