102年1月3日的凌晨大火，造成曾建元的妻子肺部及氣管嗆傷，且不慎摔跤以致腳骨骨裂，需要拐杖支撐和輪椅代步，火災意外讓他們在旅館住了近一個月，且造成許多額外的財務支出。他們和產品廠商於1月9日在法院進行和解，並算出財務損失約121萬，因有些認定不容易，舉證較難，後來雙方以一百萬元賠償金完成和解與賠償事宜。除了醫療費用支出，賠償金也用在宿舍重新裝潢，購買家具等等，然多年藏書和隨身用書，只能視工作和教學研究需要再慢慢添購，而妻子多年來收藏的心愛衣物、首飾和紀念品幾乎付之一炬，因此真正的損失絕對不止賠償金額。

103年曾教授將一百萬元賠償金列為災害損失報稅，沒想到105年1月21日卻收到財政部台北國稅局長何瑞芳署名的裁處書，指和解賠償金不能列為當年的災害損失，要求補繳所得稅和罰鍰達20多萬元，讓他感到非常匪夷所思。賠償金性質是填補財產、人格權損害、宿舍修繕與身體受傷期間所增加生活必要支出，既不是所得也沒有利益，更何況賠償金除了醫療費用支出，其餘都用於買家具、衣物、書籍，及交通費和旅館房租，又怎有餘錢補繳稅金？

政府官員的心態，拿著「依惡法行政」卻一幅事與我無關，說不知道有這件事，或者躱起來裝沒事，政府官員沒有擔當，如何為官？要把危機變成轉機，把事情透明化，讓人民知道國家解嚴了，沒有什麼祕密不能讓人民知道，否則就是官員打算做壞事了！

前台大陳志龍教授認為，撤銷違法行政處分，在法治國家大量適用，但在台灣卻沒有。人難免有錯，政府也會犯錯，政府有錯就要認錯，行政有錯就要改，就要撤銷，因為撤銷是行政機關的法定義務。政府有保障人民各種權利的義務與責任，人民應該有的權益不應該無端被剝奪，才是真正人權法治的國家！因而呼籲政府官員應善用《行政程序法》第117條撤銷違法行政處分，莫讓台灣賦稅人權倒退走！

公民監督國會聯盟理事長暨國立中央大學客家學院客家語文暨社會科學學系副教授曾建元指出，人民跟政府打官司是非常不容易的，特別是在稅捐有關的案件當中。他自己的案例是，某一年家裡火燒厝，因為電器線路設計不當，導致半夜著火，後來電器的販售商賠償了一百萬，但是隔年繳稅的時候，他竟多了一筆收入，就是這個賠償金。國稅局把損失當成所得課稅，這就是標準的趁火打劫。

曾建元在大學教行政法，就以行政程序法第117條的主張提出陳情，並運用媒體的力量，及在法稅改革聯盟幫助下，公開說明這個案件，也控訴當時核課的不法。所以最後國稅局撤銷了原先的違法行政處分。行政程序法第117條是能讓行政機關來面對錯誤的一種制度上的設計。此條法律規定很俱人權精神，但要官員本著良心執法才有意義。