段某，某县税务局人事科长。段某任职期间，在上级主管部门批给的事业单位招聘指标中，利用职权私自安插亲友2人。对此，本单位干部潘某向有关部门写信检举，段某受到通报批评，其私自安排的亲友也被除名。之后，段某借调整职级之机，捏造、散布潘某有不正当两性关系的谣言，致使潘某未能晋升。对段某的行为应该如何认定和处理？