当事人对县级以上人民政府统计机构作出的行政处罚决定不服的，只能申请行政复议。

《统计法》第四十六条规定，当事人对县级以上人民政府统计机构作出的行政处罚决定不服的，可以依法申请行政复议或者提起行政诉讼。