曹操被其智略打动，纳其谏言出兵，助陈登大破吴军。事后曹操欲留陈矫于许都，被其以「奉命求援，不可忘忠义」为由婉拒。
陈登病逝后，陈矫正式归附曹操。历任司空掾属、相县令、征南长史等职。
在魏郡太守任上，他发现狱中积压囚犯千余人，甚至有人被囚禁数年未决。
陈矫以「周有三典，汉约三章」为据，亲审案卷，迅速裁决，使冤屈者得以昭雪，社会秩序大为改善。
建安二十五年，曹操病逝于洛阳，群臣因曹丕继位需等汉献帝诏命而犹豫不决。
陈矫当机立断，力排众议道：「王薨于外，天下惶惧，太子宜割哀即位，以系远近之望。」（大王在外驾崩，天下惶惧，太子应立即即位以安人心。若迁延不决，恐生变故。）
他假传卞皇后诏令，为曹丕举行了即位仪式，并且大赦天下。曹丕事后称赞其：「临大节，明略过人，信一时之俊杰！」
曹丕称帝后，陈矫历任吏部尚书、尚书令，封高陵亭侯。
作为尚书令，他相当于曹魏的宰相。执掌中枢期间，他选贤任能，不徇私情。曾拒绝同乡好友薛夏的请托，直言「君才非百里也」。
魏明帝曹叡继位后，陈矫进爵东乡侯，升任侍中、光禄大夫。
有一次曹叡突然驾临尚书台欲查阅文书，陈矫跪谏：「此臣职分，非陛下所宜亲临。若臣不称职，请即黜退。」
曹叡深感惭愧，回宫后赞叹其「刚直不可夺」。
