AInstEmitSimdArithmetic.cs 17 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498499500501502503504505506507508509510511512513514515516517518519520521522523524525526527528529530531532533534535536537538539540541542543544545546547548549550551552553554555556557558559560561562563564565566567568569570571572573574575576577578579580581582583584585586587588589590591592593594595596597598599600601602603604605606607608609610611612613614615
  1. using ChocolArm64.Decoder;
  2. using ChocolArm64.State;
  3. using ChocolArm64.Translation;
  4. using System;
  5. using System.Reflection;
  6. using System.Reflection.Emit;
  7. using static ChocolArm64.Instruction.AInstEmitSimdHelper;
  8. namespace ChocolArm64.Instruction
  9. {
  10. static partial class AInstEmit
  11. {
  12. public static void Add_V(AILEmitterCtx Context)
  13. {
  14. EmitVectorBinaryOpZx(Context, () => Context.Emit(OpCodes.Add));
  15. }
  16. public static void Addp_S(AILEmitterCtx Context)
  17. {
  18. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  19. EmitVectorExtractZx(Context, Op.Rn, 0, Op.Size);
  20. EmitVectorExtractZx(Context, Op.Rn, 1, Op.Size);
  21. Context.Emit(OpCodes.Add);
  22. EmitScalarSet(Context, Op.Rd, Op.Size);
  23. }
  24. public static void Addp_V(AILEmitterCtx Context)
  25. {
  26. AOpCodeSimdReg Op = (AOpCodeSimdReg)Context.CurrOp;
  27. int Bytes = Context.CurrOp.GetBitsCount() >> 3;
  28. int Elems = Bytes >> Op.Size;
  29. int Half = Elems >> 1;
  30. for (int Index = 0; Index < Elems; Index++)
  31. {
  32. int Elem = (Index & (Half - 1)) << 1;
  33. EmitVectorExtractZx(Context, Index < Half ? Op.Rn : Op.Rm, Elem + 0, Op.Size);
  34. EmitVectorExtractZx(Context, Index < Half ? Op.Rn : Op.Rm, Elem + 1, Op.Size);
  35. Context.Emit(OpCodes.Add);
  36. EmitVectorInsertTmp(Context, Index, Op.Size);
  37. }
  38. Context.EmitLdvectmp();
  39. Context.EmitStvec(Op.Rd);
  40. if (Op.RegisterSize == ARegisterSize.SIMD64)
  41. {
  42. EmitVectorZeroUpper(Context, Op.Rd);
  43. }
  44. }
  45. public static void Addv_V(AILEmitterCtx Context)
  46. {
  47. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  48. int Bytes = Context.CurrOp.GetBitsCount() >> 3;
  49. EmitVectorExtractZx(Context, Op.Rn, 0, Op.Size);
  50. for (int Index = 1; Index < (Bytes >> Op.Size); Index++)
  51. {
  52. EmitVectorExtractZx(Context, Op.Rn, Index, Op.Size);
  53. Context.Emit(OpCodes.Add);
  54. }
  55. EmitScalarSet(Context, Op.Rd, Op.Size);
  56. }
  57. public static void Cnt_V(AILEmitterCtx Context)
  58. {
  59. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  60. int Elems = Op.RegisterSize == ARegisterSize.SIMD128 ? 16 : 8;
  61. for (int Index = 0; Index < Elems; Index++)
  62. {
  63. EmitVectorExtractZx(Context, Op.Rn, Index, 0);
  64. Context.Emit(OpCodes.Conv_U1);
  65. ASoftFallback.EmitCall(Context, nameof(ASoftFallback.CountSetBits8));
  66. Context.Emit(OpCodes.Conv_U8);
  67. EmitVectorInsert(Context, Op.Rd, Index, 0);
  68. }
  69. if (Op.RegisterSize == ARegisterSize.SIMD64)
  70. {
  71. EmitVectorZeroUpper(Context, Op.Rd);
  72. }
  73. }
  74. public static void Fabd_S(AILEmitterCtx Context)
  75. {
  76. EmitScalarBinaryOpF(Context, () =>
  77. {
  78. Context.Emit(OpCodes.Sub);
  79. EmitUnaryMathCall(Context, nameof(Math.Abs));
  80. });
  81. }
  82. public static void Fabs_S(AILEmitterCtx Context)
  83. {
  84. EmitScalarUnaryOpF(Context, () =>
  85. {
  86. EmitUnaryMathCall(Context, nameof(Math.Abs));
  87. });
  88. }
  89. public static void Fadd_S(AILEmitterCtx Context)
  90. {
  91. EmitScalarBinaryOpF(Context, () => Context.Emit(OpCodes.Add));
  92. }
  93. public static void Fadd_V(AILEmitterCtx Context)
  94. {
  95. EmitVectorBinaryOpF(Context, () => Context.Emit(OpCodes.Add));
  96. }
  97. public static void Fdiv_S(AILEmitterCtx Context)
  98. {
  99. EmitScalarBinaryOpF(Context, () => Context.Emit(OpCodes.Div));
  100. }
  101. public static void Fdiv_V(AILEmitterCtx Context)
  102. {
  103. EmitVectorBinaryOpF(Context, () => Context.Emit(OpCodes.Div));
  104. }
  105. public static void Fmadd_S(AILEmitterCtx Context)
  106. {
  107. EmitScalarTernaryRaOpF(Context, () =>
  108. {
  109. Context.Emit(OpCodes.Mul);
  110. Context.Emit(OpCodes.Add);
  111. });
  112. }
  113. public static void Fmax_S(AILEmitterCtx Context)
  114. {
  115. EmitScalarBinaryOpF(Context, () =>
  116. {
  117. EmitBinaryMathCall(Context, nameof(Math.Max));
  118. });
  119. }
  120. public static void Fmin_S(AILEmitterCtx Context)
  121. {
  122. EmitScalarBinaryOpF(Context, () =>
  123. {
  124. EmitBinaryMathCall(Context, nameof(Math.Min));
  125. });
  126. }
  127. public static void Fmaxnm_S(AILEmitterCtx Context)
  128. {
  129. Fmax_S(Context);
  130. }
  131. public static void Fminnm_S(AILEmitterCtx Context)
  132. {
  133. Fmin_S(Context);
  134. }
  135. public static void Fmla_V(AILEmitterCtx Context)
  136. {
  137. EmitVectorTernaryOpF(Context, () =>
  138. {
  139. Context.Emit(OpCodes.Mul);
  140. Context.Emit(OpCodes.Add);
  141. });
  142. }
  143. public static void Fmla_Ve(AILEmitterCtx Context)
  144. {
  145. EmitVectorTernaryOpByElemF(Context, () =>
  146. {
  147. Context.Emit(OpCodes.Mul);
  148. Context.Emit(OpCodes.Add);
  149. });
  150. }
  151. public static void Fmsub_S(AILEmitterCtx Context)
  152. {
  153. EmitScalarTernaryRaOpF(Context, () =>
  154. {
  155. Context.Emit(OpCodes.Mul);
  156. Context.Emit(OpCodes.Sub);
  157. });
  158. }
  159. public static void Fmul_S(AILEmitterCtx Context)
  160. {
  161. EmitScalarBinaryOpF(Context, () => Context.Emit(OpCodes.Mul));
  162. }
  163. public static void Fmul_V(AILEmitterCtx Context)
  164. {
  165. EmitVectorBinaryOpF(Context, () => Context.Emit(OpCodes.Mul));
  166. }
  167. public static void Fmul_Ve(AILEmitterCtx Context)
  168. {
  169. EmitVectorBinaryOpByElemF(Context, () => Context.Emit(OpCodes.Mul));
  170. }
  171. public static void Fneg_S(AILEmitterCtx Context)
  172. {
  173. EmitScalarUnaryOpF(Context, () => Context.Emit(OpCodes.Neg));
  174. }
  175. public static void Fnmadd_S(AILEmitterCtx Context)
  176. {
  177. AOpCodeSimdReg Op = (AOpCodeSimdReg)Context.CurrOp;
  178. int SizeF = Op.Size & 1;
  179. EmitVectorExtractF(Context, Op.Rn, 0, SizeF);
  180. Context.Emit(OpCodes.Neg);
  181. EmitVectorExtractF(Context, Op.Rm, 0, SizeF);
  182. Context.Emit(OpCodes.Mul);
  183. EmitVectorExtractF(Context, Op.Ra, 0, SizeF);
  184. Context.Emit(OpCodes.Sub);
  185. EmitScalarSetF(Context, Op.Rd, SizeF);
  186. }
  187. public static void Fnmsub_S(AILEmitterCtx Context)
  188. {
  189. AOpCodeSimdReg Op = (AOpCodeSimdReg)Context.CurrOp;
  190. int SizeF = Op.Size & 1;
  191. EmitVectorExtractF(Context, Op.Rn, 0, SizeF);
  192. EmitVectorExtractF(Context, Op.Rm, 0, SizeF);
  193. Context.Emit(OpCodes.Mul);
  194. EmitVectorExtractF(Context, Op.Ra, 0, SizeF);
  195. Context.Emit(OpCodes.Sub);
  196. EmitScalarSetF(Context, Op.Rd, SizeF);
  197. }
  198. public static void Fnmul_S(AILEmitterCtx Context)
  199. {
  200. EmitScalarBinaryOpF(Context, () =>
  201. {
  202. Context.Emit(OpCodes.Mul);
  203. Context.Emit(OpCodes.Neg);
  204. });
  205. }
  206. public static void Frinta_S(AILEmitterCtx Context)
  207. {
  208. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  209. EmitVectorExtractF(Context, Op.Rn, 0, Op.Size);
  210. EmitRoundMathCall(Context, MidpointRounding.AwayFromZero);
  211. EmitScalarSetF(Context, Op.Rd, Op.Size);
  212. }
  213. public static void Frinta_V(AILEmitterCtx Context)
  214. {
  215. EmitVectorUnaryOpF(Context, () =>
  216. {
  217. EmitRoundMathCall(Context, MidpointRounding.AwayFromZero);
  218. });
  219. }
  220. public static void Frinti_S(AILEmitterCtx Context)
  221. {
  222. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  223. EmitScalarUnaryOpF(Context, () =>
  224. {
  225. Context.EmitLdarg(ATranslatedSub.StateArgIdx);
  226. Context.EmitCallPropGet(typeof(AThreadState), nameof(AThreadState.Fpcr));
  227. if (Op.Size == 0)
  228. {
  229. ASoftFallback.EmitCall(Context, nameof(ASoftFallback.RoundF));
  230. }
  231. else if (Op.Size == 1)
  232. {
  233. ASoftFallback.EmitCall(Context, nameof(ASoftFallback.Round));
  234. }
  235. else
  236. {
  237. throw new InvalidOperationException();
  238. }
  239. });
  240. }
  241. public static void Frinti_V(AILEmitterCtx Context)
  242. {
  243. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  244. EmitVectorUnaryOpF(Context, () =>
  245. {
  246. Context.EmitLdarg(ATranslatedSub.StateArgIdx);
  247. Context.EmitCallPropGet(typeof(AThreadState), nameof(AThreadState.Fpcr));
  248. if (Op.Size == 2)
  249. {
  250. ASoftFallback.EmitCall(Context, nameof(ASoftFallback.RoundF));
  251. }
  252. else if (Op.Size == 3)
  253. {
  254. ASoftFallback.EmitCall(Context, nameof(ASoftFallback.Round));
  255. }
  256. else
  257. {
  258. throw new InvalidOperationException();
  259. }
  260. });
  261. }
  262. public static void Frintm_S(AILEmitterCtx Context)
  263. {
  264. EmitScalarUnaryOpF(Context, () =>
  265. {
  266. EmitUnaryMathCall(Context, nameof(Math.Floor));
  267. });
  268. }
  269. public static void Frintm_V(AILEmitterCtx Context)
  270. {
  271. EmitVectorUnaryOpF(Context, () =>
  272. {
  273. EmitUnaryMathCall(Context, nameof(Math.Floor));
  274. });
  275. }
  276. public static void Frintn_S(AILEmitterCtx Context)
  277. {
  278. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  279. EmitVectorExtractF(Context, Op.Rn, 0, Op.Size);
  280. EmitRoundMathCall(Context, MidpointRounding.ToEven);
  281. EmitScalarSetF(Context, Op.Rd, Op.Size);
  282. }
  283. public static void Frintn_V(AILEmitterCtx Context)
  284. {
  285. EmitVectorUnaryOpF(Context, () =>
  286. {
  287. EmitRoundMathCall(Context, MidpointRounding.ToEven);
  288. });
  289. }
  290. public static void Frintp_S(AILEmitterCtx Context)
  291. {
  292. EmitScalarUnaryOpF(Context, () =>
  293. {
  294. EmitUnaryMathCall(Context, nameof(Math.Ceiling));
  295. });
  296. }
  297. public static void Frintp_V(AILEmitterCtx Context)
  298. {
  299. EmitVectorUnaryOpF(Context, () =>
  300. {
  301. EmitUnaryMathCall(Context, nameof(Math.Ceiling));
  302. });
  303. }
  304. public static void Frintx_S(AILEmitterCtx Context)
  305. {
  306. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  307. EmitScalarUnaryOpF(Context, () =>
  308. {
  309. Context.EmitLdarg(ATranslatedSub.StateArgIdx);
  310. Context.EmitCallPropGet(typeof(AThreadState), nameof(AThreadState.Fpcr));
  311. if (Op.Size == 0)
  312. {
  313. ASoftFallback.EmitCall(Context, nameof(ASoftFallback.RoundF));
  314. }
  315. else if (Op.Size == 1)
  316. {
  317. ASoftFallback.EmitCall(Context, nameof(ASoftFallback.Round));
  318. }
  319. else
  320. {
  321. throw new InvalidOperationException();
  322. }
  323. });
  324. }
  325. public static void Frintx_V(AILEmitterCtx Context)
  326. {
  327. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  328. EmitVectorUnaryOpF(Context, () =>
  329. {
  330. Context.EmitLdarg(ATranslatedSub.StateArgIdx);
  331. Context.EmitCallPropGet(typeof(AThreadState), nameof(AThreadState.Fpcr));
  332. if (Op.Size == 0)
  333. {
  334. ASoftFallback.EmitCall(Context, nameof(ASoftFallback.RoundF));
  335. }
  336. else if (Op.Size == 1)
  337. {
  338. ASoftFallback.EmitCall(Context, nameof(ASoftFallback.Round));
  339. }
  340. else
  341. {
  342. throw new InvalidOperationException();
  343. }
  344. });
  345. }
  346. public static void Fsqrt_S(AILEmitterCtx Context)
  347. {
  348. EmitScalarUnaryOpF(Context, () =>
  349. {
  350. EmitUnaryMathCall(Context, nameof(Math.Sqrt));
  351. });
  352. }
  353. public static void Fsub_S(AILEmitterCtx Context)
  354. {
  355. EmitScalarBinaryOpF(Context, () => Context.Emit(OpCodes.Sub));
  356. }
  357. public static void Fsub_V(AILEmitterCtx Context)
  358. {
  359. EmitVectorBinaryOpF(Context, () => Context.Emit(OpCodes.Sub));
  360. }
  361. public static void Mla_V(AILEmitterCtx Context)
  362. {
  363. EmitVectorTernaryOpZx(Context, () =>
  364. {
  365. Context.Emit(OpCodes.Mul);
  366. Context.Emit(OpCodes.Add);
  367. });
  368. }
  369. public static void Mla_Ve(AILEmitterCtx Context)
  370. {
  371. EmitVectorTernaryOpByElemZx(Context, () =>
  372. {
  373. Context.Emit(OpCodes.Mul);
  374. Context.Emit(OpCodes.Add);
  375. });
  376. }
  377. public static void Mls_V(AILEmitterCtx Context)
  378. {
  379. EmitVectorTernaryOpZx(Context, () =>
  380. {
  381. Context.Emit(OpCodes.Mul);
  382. Context.Emit(OpCodes.Sub);
  383. });
  384. }
  385. public static void Mul_V(AILEmitterCtx Context)
  386. {
  387. EmitVectorBinaryOpZx(Context, () => Context.Emit(OpCodes.Mul));
  388. }
  389. public static void Mul_Ve(AILEmitterCtx Context)
  390. {
  391. EmitVectorBinaryOpByElemZx(Context, () => Context.Emit(OpCodes.Mul));
  392. }
  393. public static void Neg_V(AILEmitterCtx Context)
  394. {
  395. EmitVectorUnaryOpSx(Context, () => Context.Emit(OpCodes.Neg));
  396. }
  397. public static void Saddw_V(AILEmitterCtx Context)
  398. {
  399. EmitVectorWidenRmBinaryOpSx(Context, () => Context.Emit(OpCodes.Add));
  400. }
  401. public static void Smax_V(AILEmitterCtx Context)
  402. {
  403. Type[] Types = new Type[] { typeof(long), typeof(long) };
  404. MethodInfo MthdInfo = typeof(Math).GetMethod(nameof(Math.Max), Types);
  405. EmitVectorBinaryOpSx(Context, () => Context.EmitCall(MthdInfo));
  406. }
  407. public static void Smin_V(AILEmitterCtx Context)
  408. {
  409. Type[] Types = new Type[] { typeof(long), typeof(long) };
  410. MethodInfo MthdInfo = typeof(Math).GetMethod(nameof(Math.Min), Types);
  411. EmitVectorBinaryOpSx(Context, () => Context.EmitCall(MthdInfo));
  412. }
  413. public static void Smlal_V(AILEmitterCtx Context)
  414. {
  415. EmitVectorWidenRnRmTernaryOpSx(Context, () =>
  416. {
  417. Context.Emit(OpCodes.Mul);
  418. Context.Emit(OpCodes.Add);
  419. });
  420. }
  421. public static void Smull_V(AILEmitterCtx Context)
  422. {
  423. EmitVectorWidenRnRmBinaryOpSx(Context, () => Context.Emit(OpCodes.Mul));
  424. }
  425. public static void Sub_S(AILEmitterCtx Context)
  426. {
  427. EmitScalarBinaryOpZx(Context, () => Context.Emit(OpCodes.Sub));
  428. }
  429. public static void Sub_V(AILEmitterCtx Context)
  430. {
  431. EmitVectorBinaryOpZx(Context, () => Context.Emit(OpCodes.Sub));
  432. }
  433. public static void Uabd_V(AILEmitterCtx Context)
  434. {
  435. EmitVectorTernaryOpZx(Context, () => EmitAbd(Context));
  436. }
  437. public static void Uabdl_V(AILEmitterCtx Context)
  438. {
  439. EmitVectorWidenRnRmTernaryOpZx(Context, () => EmitAbd(Context));
  440. }
  441. private static void EmitAbd(AILEmitterCtx Context)
  442. {
  443. Context.Emit(OpCodes.Sub);
  444. Type[] Types = new Type[] { typeof(long) };
  445. Context.EmitCall(typeof(Math).GetMethod(nameof(Math.Abs), Types));
  446. Context.Emit(OpCodes.Add);
  447. }
  448. public static void Uaddl_V(AILEmitterCtx Context)
  449. {
  450. EmitVectorWidenRnRmBinaryOpZx(Context, () => Context.Emit(OpCodes.Add));
  451. }
  452. public static void Uaddlv_V(AILEmitterCtx Context)
  453. {
  454. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  455. int Bytes = Context.CurrOp.GetBitsCount() >> 3;
  456. EmitVectorExtractZx(Context, Op.Rn, 0, Op.Size);
  457. for (int Index = 1; Index < (Bytes >> Op.Size); Index++)
  458. {
  459. EmitVectorExtractZx(Context, Op.Rn, Index, Op.Size);
  460. Context.Emit(OpCodes.Add);
  461. }
  462. EmitScalarSet(Context, Op.Rd, Op.Size + 1);
  463. }
  464. public static void Uaddw_V(AILEmitterCtx Context)
  465. {
  466. EmitVectorWidenRmBinaryOpZx(Context, () => Context.Emit(OpCodes.Add));
  467. }
  468. public static void Uhadd_V(AILEmitterCtx Context)
  469. {
  470. EmitVectorBinaryOpZx(Context, () =>
  471. {
  472. Context.Emit(OpCodes.Add);
  473. Context.EmitLdc_I4(1);
  474. Context.Emit(OpCodes.Shr_Un);
  475. });
  476. }
  477. public static void Umull_V(AILEmitterCtx Context)
  478. {
  479. EmitVectorWidenRnRmBinaryOpZx(Context, () => Context.Emit(OpCodes.Mul));
  480. }
  481. }
  482. }