AInstEmitSimdArithmetic.cs 38 KB

12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182838485868788899091929394959697989910010110210310410510610710810911011111211311411511611711811912012112212312412512612712812913013113213313413513613713813914014114214314414514614714814915015115215315415515615715815916016116216316416516616716816917017117217317417517617717817918018118218318418518618718818919019119219319419519619719819920020120220320420520620720820921021121221321421521621721821922022122222322422522622722822923023123223323423523623723823924024124224324424524624724824925025125225325425525625725825926026126226326426526626726826927027127227327427527627727827928028128228328428528628728828929029129229329429529629729829930030130230330430530630730830931031131231331431531631731831932032132232332432532632732832933033133233333433533633733833934034134234334434534634734834935035135235335435535635735835936036136236336436536636736836937037137237337437537637737837938038138238338438538638738838939039139239339439539639739839940040140240340440540640740840941041141241341441541641741841942042142242342442542642742842943043143243343443543643743843944044144244344444544644744844945045145245345445545645745845946046146246346446546646746846947047147247347447547647747847948048148248348448548648748848949049149249349449549649749849950050150250350450550650750850951051151251351451551651751851952052152252352452552652752852953053153253353453553653753853954054154254354454554654754854955055155255355455555655755855956056156256356456556656756856957057157257357457557657757857958058158258358458558658758858959059159259359459559659759859960060160260360460560660760860961061161261361461561661761861962062162262362462562662762862963063163263363463563663763863964064164264364464564664764864965065165265365465565665765865966066166266366466566666766866967067167267367467567667767867968068168268368468568668768868969069169269369469569669769869970070170270370470570670770870971071171271371471571671771871972072172272372472572672772872973073173273373473573673773873974074174274374474574674774874975075175275375475575675775875976076176276376476576676776876977077177277377477577677777877978078178278378478578678778878979079179279379479579679779879980080180280380480580680780880981081181281381481581681781881982082182282382482582682782882983083183283383483583683783883984084184284384484584684784884985085185285385485585685785885986086186286386486586686786886987087187287387487587687787887988088188288388488588688788888989089189289389489589689789889990090190290390490590690790890991091191291391491591691791891992092192292392492592692792892993093193293393493593693793893994094194294394494594694794894995095195295395495595695795895996096196296396496596696796896997097197297397497597697797897998098198298398498598698798898999099199299399499599699799899910001001100210031004100510061007100810091010101110121013101410151016101710181019102010211022102310241025102610271028102910301031103210331034103510361037103810391040104110421043104410451046104710481049105010511052105310541055105610571058105910601061106210631064106510661067106810691070107110721073107410751076107710781079108010811082108310841085108610871088108910901091109210931094109510961097109810991100110111021103110411051106110711081109111011111112111311141115111611171118111911201121112211231124112511261127112811291130113111321133113411351136113711381139114011411142114311441145114611471148114911501151115211531154115511561157115811591160116111621163116411651166116711681169117011711172117311741175117611771178117911801181118211831184118511861187118811891190119111921193119411951196119711981199120012011202120312041205120612071208120912101211121212131214121512161217121812191220122112221223122412251226122712281229123012311232123312341235123612371238123912401241124212431244124512461247124812491250125112521253125412551256125712581259126012611262126312641265126612671268126912701271127212731274127512761277127812791280128112821283128412851286128712881289129012911292129312941295129612971298129913001301130213031304130513061307130813091310131113121313131413151316131713181319132013211322132313241325132613271328132913301331133213331334133513361337133813391340134113421343
  1. using ChocolArm64.Decoder;
  2. using ChocolArm64.State;
  3. using ChocolArm64.Translation;
  4. using System;
  5. using System.Reflection;
  6. using System.Reflection.Emit;
  7. using System.Runtime.Intrinsics.X86;
  8. using static ChocolArm64.Instruction.AInstEmitSimdHelper;
  9. namespace ChocolArm64.Instruction
  10. {
  11. static partial class AInstEmit
  12. {
  13. public static void Abs_S(AILEmitterCtx Context)
  14. {
  15. EmitScalarUnaryOpSx(Context, () => EmitAbs(Context));
  16. }
  17. public static void Abs_V(AILEmitterCtx Context)
  18. {
  19. EmitVectorUnaryOpSx(Context, () => EmitAbs(Context));
  20. }
  21. public static void Add_S(AILEmitterCtx Context)
  22. {
  23. EmitScalarBinaryOpZx(Context, () => Context.Emit(OpCodes.Add));
  24. }
  25. public static void Add_V(AILEmitterCtx Context)
  26. {
  27. if (AOptimizations.UseSse2)
  28. {
  29. EmitSse2Call(Context, nameof(Sse2.Add));
  30. }
  31. else
  32. {
  33. EmitVectorBinaryOpZx(Context, () => Context.Emit(OpCodes.Add));
  34. }
  35. }
  36. public static void Addhn_V(AILEmitterCtx Context)
  37. {
  38. EmitHighNarrow(Context, () => Context.Emit(OpCodes.Add), Round: false);
  39. }
  40. public static void Addp_S(AILEmitterCtx Context)
  41. {
  42. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  43. EmitVectorExtractZx(Context, Op.Rn, 0, Op.Size);
  44. EmitVectorExtractZx(Context, Op.Rn, 1, Op.Size);
  45. Context.Emit(OpCodes.Add);
  46. EmitScalarSet(Context, Op.Rd, Op.Size);
  47. }
  48. public static void Addp_V(AILEmitterCtx Context)
  49. {
  50. EmitVectorPairwiseOpZx(Context, () => Context.Emit(OpCodes.Add));
  51. }
  52. public static void Addv_V(AILEmitterCtx Context)
  53. {
  54. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  55. int Bytes = Op.GetBitsCount() >> 3;
  56. int Elems = Bytes >> Op.Size;
  57. EmitVectorExtractZx(Context, Op.Rn, 0, Op.Size);
  58. for (int Index = 1; Index < Elems; Index++)
  59. {
  60. EmitVectorExtractZx(Context, Op.Rn, Index, Op.Size);
  61. Context.Emit(OpCodes.Add);
  62. }
  63. EmitScalarSet(Context, Op.Rd, Op.Size);
  64. }
  65. public static void Cls_V(AILEmitterCtx Context)
  66. {
  67. MethodInfo MthdInfo = typeof(ASoftFallback).GetMethod(nameof(ASoftFallback.CountLeadingSigns));
  68. EmitCountLeadingBits(Context, () => Context.EmitCall(MthdInfo));
  69. }
  70. public static void Clz_V(AILEmitterCtx Context)
  71. {
  72. MethodInfo MthdInfo = typeof(ASoftFallback).GetMethod(nameof(ASoftFallback.CountLeadingZeros));
  73. EmitCountLeadingBits(Context, () => Context.EmitCall(MthdInfo));
  74. }
  75. private static void EmitCountLeadingBits(AILEmitterCtx Context, Action Emit)
  76. {
  77. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  78. int Bytes = Op.GetBitsCount() >> 3;
  79. int Elems = Bytes >> Op.Size;
  80. int ESize = 8 << Op.Size;
  81. for (int Index = 0; Index < Elems; Index++)
  82. {
  83. EmitVectorExtractZx(Context, Op.Rn, Index, Op.Size);
  84. Context.EmitLdc_I4(ESize);
  85. Emit();
  86. EmitVectorInsert(Context, Op.Rd, Index, Op.Size);
  87. }
  88. if (Op.RegisterSize == ARegisterSize.SIMD64)
  89. {
  90. EmitVectorZeroUpper(Context, Op.Rd);
  91. }
  92. }
  93. public static void Cnt_V(AILEmitterCtx Context)
  94. {
  95. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  96. int Elems = Op.RegisterSize == ARegisterSize.SIMD128 ? 16 : 8;
  97. for (int Index = 0; Index < Elems; Index++)
  98. {
  99. EmitVectorExtractZx(Context, Op.Rn, Index, 0);
  100. Context.Emit(OpCodes.Conv_U4);
  101. ASoftFallback.EmitCall(Context, nameof(ASoftFallback.CountSetBits8));
  102. Context.Emit(OpCodes.Conv_U8);
  103. EmitVectorInsert(Context, Op.Rd, Index, 0);
  104. }
  105. if (Op.RegisterSize == ARegisterSize.SIMD64)
  106. {
  107. EmitVectorZeroUpper(Context, Op.Rd);
  108. }
  109. }
  110. private static void EmitAbs(AILEmitterCtx Context)
  111. {
  112. AILLabel LblTrue = new AILLabel();
  113. Context.Emit(OpCodes.Dup);
  114. Context.Emit(OpCodes.Ldc_I4_0);
  115. Context.Emit(OpCodes.Bge_S, LblTrue);
  116. Context.Emit(OpCodes.Neg);
  117. Context.MarkLabel(LblTrue);
  118. }
  119. private static void EmitDoublingMultiplyHighHalf(AILEmitterCtx Context, bool Round)
  120. {
  121. AOpCodeSimdReg Op = (AOpCodeSimdReg)Context.CurrOp;
  122. int ESize = 8 << Op.Size;
  123. Context.Emit(OpCodes.Mul);
  124. if (!Round)
  125. {
  126. Context.EmitAsr(ESize - 1);
  127. }
  128. else
  129. {
  130. long RoundConst = 1L << (ESize - 1);
  131. AILLabel LblTrue = new AILLabel();
  132. Context.EmitLsl(1);
  133. Context.EmitLdc_I8(RoundConst);
  134. Context.Emit(OpCodes.Add);
  135. Context.EmitAsr(ESize);
  136. Context.Emit(OpCodes.Dup);
  137. Context.EmitLdc_I8((long)int.MinValue);
  138. Context.Emit(OpCodes.Bne_Un_S, LblTrue);
  139. Context.Emit(OpCodes.Neg);
  140. Context.MarkLabel(LblTrue);
  141. }
  142. }
  143. private static void EmitHighNarrow(AILEmitterCtx Context, Action Emit, bool Round)
  144. {
  145. AOpCodeSimdReg Op = (AOpCodeSimdReg)Context.CurrOp;
  146. int Elems = 8 >> Op.Size;
  147. int ESize = 8 << Op.Size;
  148. int Part = Op.RegisterSize == ARegisterSize.SIMD128 ? Elems : 0;
  149. long RoundConst = 1L << (ESize - 1);
  150. if (Part != 0)
  151. {
  152. Context.EmitLdvec(Op.Rd);
  153. Context.EmitStvectmp();
  154. }
  155. for (int Index = 0; Index < Elems; Index++)
  156. {
  157. EmitVectorExtractZx(Context, Op.Rn, Index, Op.Size + 1);
  158. EmitVectorExtractZx(Context, Op.Rm, Index, Op.Size + 1);
  159. Emit();
  160. if (Round)
  161. {
  162. Context.EmitLdc_I8(RoundConst);
  163. Context.Emit(OpCodes.Add);
  164. }
  165. Context.EmitLsr(ESize);
  166. EmitVectorInsertTmp(Context, Part + Index, Op.Size);
  167. }
  168. Context.EmitLdvectmp();
  169. Context.EmitStvec(Op.Rd);
  170. if (Part == 0)
  171. {
  172. EmitVectorZeroUpper(Context, Op.Rd);
  173. }
  174. }
  175. public static void Fabd_S(AILEmitterCtx Context)
  176. {
  177. EmitScalarBinaryOpF(Context, () =>
  178. {
  179. Context.Emit(OpCodes.Sub);
  180. EmitUnaryMathCall(Context, nameof(Math.Abs));
  181. });
  182. }
  183. public static void Fabs_S(AILEmitterCtx Context)
  184. {
  185. EmitScalarUnaryOpF(Context, () =>
  186. {
  187. EmitUnaryMathCall(Context, nameof(Math.Abs));
  188. });
  189. }
  190. public static void Fabs_V(AILEmitterCtx Context)
  191. {
  192. EmitVectorUnaryOpF(Context, () =>
  193. {
  194. EmitUnaryMathCall(Context, nameof(Math.Abs));
  195. });
  196. }
  197. public static void Fadd_S(AILEmitterCtx Context)
  198. {
  199. if (AOptimizations.UseSse && AOptimizations.UseSse2)
  200. {
  201. EmitSseOrSse2CallF(Context, nameof(Sse.AddScalar));
  202. }
  203. else
  204. {
  205. EmitScalarBinaryOpF(Context, () => Context.Emit(OpCodes.Add));
  206. }
  207. }
  208. public static void Fadd_V(AILEmitterCtx Context)
  209. {
  210. if (AOptimizations.UseSse && AOptimizations.UseSse2)
  211. {
  212. EmitSseOrSse2CallF(Context, nameof(Sse.Add));
  213. }
  214. else
  215. {
  216. EmitVectorBinaryOpF(Context, () => Context.Emit(OpCodes.Add));
  217. }
  218. }
  219. public static void Faddp_S(AILEmitterCtx Context)
  220. {
  221. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  222. int SizeF = Op.Size & 1;
  223. EmitVectorExtractF(Context, Op.Rn, 0, SizeF);
  224. EmitVectorExtractF(Context, Op.Rn, 1, SizeF);
  225. Context.Emit(OpCodes.Add);
  226. EmitScalarSetF(Context, Op.Rd, SizeF);
  227. }
  228. public static void Faddp_V(AILEmitterCtx Context)
  229. {
  230. AOpCodeSimdReg Op = (AOpCodeSimdReg)Context.CurrOp;
  231. int SizeF = Op.Size & 1;
  232. int Bytes = Op.GetBitsCount() >> 3;
  233. int Elems = Bytes >> SizeF + 2;
  234. int Half = Elems >> 1;
  235. for (int Index = 0; Index < Elems; Index++)
  236. {
  237. int Elem = (Index & (Half - 1)) << 1;
  238. EmitVectorExtractF(Context, Index < Half ? Op.Rn : Op.Rm, Elem + 0, SizeF);
  239. EmitVectorExtractF(Context, Index < Half ? Op.Rn : Op.Rm, Elem + 1, SizeF);
  240. Context.Emit(OpCodes.Add);
  241. EmitVectorInsertTmpF(Context, Index, SizeF);
  242. }
  243. Context.EmitLdvectmp();
  244. Context.EmitStvec(Op.Rd);
  245. if (Op.RegisterSize == ARegisterSize.SIMD64)
  246. {
  247. EmitVectorZeroUpper(Context, Op.Rd);
  248. }
  249. }
  250. public static void Fdiv_S(AILEmitterCtx Context)
  251. {
  252. if (AOptimizations.UseSse && AOptimizations.UseSse2)
  253. {
  254. EmitSseOrSse2CallF(Context, nameof(Sse.DivideScalar));
  255. }
  256. else
  257. {
  258. EmitScalarBinaryOpF(Context, () => Context.Emit(OpCodes.Div));
  259. }
  260. }
  261. public static void Fdiv_V(AILEmitterCtx Context)
  262. {
  263. if (AOptimizations.UseSse && AOptimizations.UseSse2)
  264. {
  265. EmitSseOrSse2CallF(Context, nameof(Sse.Divide));
  266. }
  267. else
  268. {
  269. EmitVectorBinaryOpF(Context, () => Context.Emit(OpCodes.Div));
  270. }
  271. }
  272. public static void Fmadd_S(AILEmitterCtx Context)
  273. {
  274. EmitScalarTernaryRaOpF(Context, () =>
  275. {
  276. Context.Emit(OpCodes.Mul);
  277. Context.Emit(OpCodes.Add);
  278. });
  279. }
  280. public static void Fmax_S(AILEmitterCtx Context)
  281. {
  282. EmitScalarBinaryOpF(Context, () =>
  283. {
  284. EmitBinarySoftFloatCall(Context, nameof(ASoftFloat.Max));
  285. });
  286. }
  287. public static void Fmax_V(AILEmitterCtx Context)
  288. {
  289. EmitVectorBinaryOpF(Context, () =>
  290. {
  291. EmitBinarySoftFloatCall(Context, nameof(ASoftFloat.Max));
  292. });
  293. }
  294. public static void Fmaxnm_S(AILEmitterCtx Context)
  295. {
  296. EmitScalarBinaryOpF(Context, () =>
  297. {
  298. EmitBinarySoftFloatCall(Context, nameof(ASoftFloat.MaxNum));
  299. });
  300. }
  301. public static void Fmaxnm_V(AILEmitterCtx Context)
  302. {
  303. EmitVectorBinaryOpF(Context, () =>
  304. {
  305. EmitBinarySoftFloatCall(Context, nameof(ASoftFloat.MaxNum));
  306. });
  307. }
  308. public static void Fmin_S(AILEmitterCtx Context)
  309. {
  310. EmitScalarBinaryOpF(Context, () =>
  311. {
  312. EmitBinarySoftFloatCall(Context, nameof(ASoftFloat.Min));
  313. });
  314. }
  315. public static void Fmin_V(AILEmitterCtx Context)
  316. {
  317. EmitVectorBinaryOpF(Context, () =>
  318. {
  319. EmitBinarySoftFloatCall(Context, nameof(ASoftFloat.Min));
  320. });
  321. }
  322. public static void Fminnm_S(AILEmitterCtx Context)
  323. {
  324. EmitScalarBinaryOpF(Context, () =>
  325. {
  326. EmitBinarySoftFloatCall(Context, nameof(ASoftFloat.MinNum));
  327. });
  328. }
  329. public static void Fminnm_V(AILEmitterCtx Context)
  330. {
  331. EmitVectorBinaryOpF(Context, () =>
  332. {
  333. EmitBinarySoftFloatCall(Context, nameof(ASoftFloat.MinNum));
  334. });
  335. }
  336. public static void Fmla_Se(AILEmitterCtx Context)
  337. {
  338. EmitScalarTernaryOpByElemF(Context, () =>
  339. {
  340. Context.Emit(OpCodes.Mul);
  341. Context.Emit(OpCodes.Add);
  342. });
  343. }
  344. public static void Fmla_V(AILEmitterCtx Context)
  345. {
  346. EmitVectorTernaryOpF(Context, () =>
  347. {
  348. Context.Emit(OpCodes.Mul);
  349. Context.Emit(OpCodes.Add);
  350. });
  351. }
  352. public static void Fmla_Ve(AILEmitterCtx Context)
  353. {
  354. EmitVectorTernaryOpByElemF(Context, () =>
  355. {
  356. Context.Emit(OpCodes.Mul);
  357. Context.Emit(OpCodes.Add);
  358. });
  359. }
  360. public static void Fmls_V(AILEmitterCtx Context)
  361. {
  362. EmitVectorTernaryOpF(Context, () =>
  363. {
  364. Context.Emit(OpCodes.Mul);
  365. Context.Emit(OpCodes.Sub);
  366. });
  367. }
  368. public static void Fmls_Ve(AILEmitterCtx Context)
  369. {
  370. EmitVectorTernaryOpByElemF(Context, () =>
  371. {
  372. Context.Emit(OpCodes.Mul);
  373. Context.Emit(OpCodes.Sub);
  374. });
  375. }
  376. public static void Fmsub_S(AILEmitterCtx Context)
  377. {
  378. EmitScalarTernaryRaOpF(Context, () =>
  379. {
  380. Context.Emit(OpCodes.Mul);
  381. Context.Emit(OpCodes.Sub);
  382. });
  383. }
  384. public static void Fmul_S(AILEmitterCtx Context)
  385. {
  386. if (AOptimizations.UseSse && AOptimizations.UseSse2)
  387. {
  388. EmitSseOrSse2CallF(Context, nameof(Sse.MultiplyScalar));
  389. }
  390. else
  391. {
  392. EmitScalarBinaryOpF(Context, () => Context.Emit(OpCodes.Mul));
  393. }
  394. }
  395. public static void Fmul_Se(AILEmitterCtx Context)
  396. {
  397. EmitScalarBinaryOpByElemF(Context, () => Context.Emit(OpCodes.Mul));
  398. }
  399. public static void Fmul_V(AILEmitterCtx Context)
  400. {
  401. if (AOptimizations.UseSse && AOptimizations.UseSse2)
  402. {
  403. EmitSseOrSse2CallF(Context, nameof(Sse.Multiply));
  404. }
  405. else
  406. {
  407. EmitVectorBinaryOpF(Context, () => Context.Emit(OpCodes.Mul));
  408. }
  409. }
  410. public static void Fmul_Ve(AILEmitterCtx Context)
  411. {
  412. EmitVectorBinaryOpByElemF(Context, () => Context.Emit(OpCodes.Mul));
  413. }
  414. public static void Fneg_S(AILEmitterCtx Context)
  415. {
  416. EmitScalarUnaryOpF(Context, () => Context.Emit(OpCodes.Neg));
  417. }
  418. public static void Fneg_V(AILEmitterCtx Context)
  419. {
  420. EmitVectorUnaryOpF(Context, () => Context.Emit(OpCodes.Neg));
  421. }
  422. public static void Fnmadd_S(AILEmitterCtx Context)
  423. {
  424. AOpCodeSimdReg Op = (AOpCodeSimdReg)Context.CurrOp;
  425. int SizeF = Op.Size & 1;
  426. EmitVectorExtractF(Context, Op.Rn, 0, SizeF);
  427. Context.Emit(OpCodes.Neg);
  428. EmitVectorExtractF(Context, Op.Rm, 0, SizeF);
  429. Context.Emit(OpCodes.Mul);
  430. EmitVectorExtractF(Context, Op.Ra, 0, SizeF);
  431. Context.Emit(OpCodes.Sub);
  432. EmitScalarSetF(Context, Op.Rd, SizeF);
  433. }
  434. public static void Fnmsub_S(AILEmitterCtx Context)
  435. {
  436. AOpCodeSimdReg Op = (AOpCodeSimdReg)Context.CurrOp;
  437. int SizeF = Op.Size & 1;
  438. EmitVectorExtractF(Context, Op.Rn, 0, SizeF);
  439. EmitVectorExtractF(Context, Op.Rm, 0, SizeF);
  440. Context.Emit(OpCodes.Mul);
  441. EmitVectorExtractF(Context, Op.Ra, 0, SizeF);
  442. Context.Emit(OpCodes.Sub);
  443. EmitScalarSetF(Context, Op.Rd, SizeF);
  444. }
  445. public static void Fnmul_S(AILEmitterCtx Context)
  446. {
  447. EmitScalarBinaryOpF(Context, () =>
  448. {
  449. Context.Emit(OpCodes.Mul);
  450. Context.Emit(OpCodes.Neg);
  451. });
  452. }
  453. public static void Frecpe_S(AILEmitterCtx Context)
  454. {
  455. EmitScalarUnaryOpF(Context, () =>
  456. {
  457. EmitUnarySoftFloatCall(Context, nameof(ASoftFloat.RecipEstimate));
  458. });
  459. }
  460. public static void Frecpe_V(AILEmitterCtx Context)
  461. {
  462. EmitVectorUnaryOpF(Context, () =>
  463. {
  464. EmitUnarySoftFloatCall(Context, nameof(ASoftFloat.RecipEstimate));
  465. });
  466. }
  467. public static void Frecps_S(AILEmitterCtx Context)
  468. {
  469. EmitScalarBinaryOpF(Context, () =>
  470. {
  471. EmitBinarySoftFloatCall(Context, nameof(ASoftFloat.RecipStep));
  472. });
  473. }
  474. public static void Frecps_V(AILEmitterCtx Context)
  475. {
  476. EmitVectorBinaryOpF(Context, () =>
  477. {
  478. EmitBinarySoftFloatCall(Context, nameof(ASoftFloat.RecipStep));
  479. });
  480. }
  481. public static void Frinta_S(AILEmitterCtx Context)
  482. {
  483. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  484. EmitVectorExtractF(Context, Op.Rn, 0, Op.Size);
  485. EmitRoundMathCall(Context, MidpointRounding.AwayFromZero);
  486. EmitScalarSetF(Context, Op.Rd, Op.Size);
  487. }
  488. public static void Frinta_V(AILEmitterCtx Context)
  489. {
  490. EmitVectorUnaryOpF(Context, () =>
  491. {
  492. EmitRoundMathCall(Context, MidpointRounding.AwayFromZero);
  493. });
  494. }
  495. public static void Frinti_S(AILEmitterCtx Context)
  496. {
  497. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  498. EmitScalarUnaryOpF(Context, () =>
  499. {
  500. Context.EmitLdarg(ATranslatedSub.StateArgIdx);
  501. Context.EmitCallPropGet(typeof(AThreadState), nameof(AThreadState.Fpcr));
  502. if (Op.Size == 0)
  503. {
  504. AVectorHelper.EmitCall(Context, nameof(AVectorHelper.RoundF));
  505. }
  506. else if (Op.Size == 1)
  507. {
  508. AVectorHelper.EmitCall(Context, nameof(AVectorHelper.Round));
  509. }
  510. else
  511. {
  512. throw new InvalidOperationException();
  513. }
  514. });
  515. }
  516. public static void Frinti_V(AILEmitterCtx Context)
  517. {
  518. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  519. int SizeF = Op.Size & 1;
  520. EmitVectorUnaryOpF(Context, () =>
  521. {
  522. Context.EmitLdarg(ATranslatedSub.StateArgIdx);
  523. Context.EmitCallPropGet(typeof(AThreadState), nameof(AThreadState.Fpcr));
  524. if (SizeF == 0)
  525. {
  526. AVectorHelper.EmitCall(Context, nameof(AVectorHelper.RoundF));
  527. }
  528. else if (SizeF == 1)
  529. {
  530. AVectorHelper.EmitCall(Context, nameof(AVectorHelper.Round));
  531. }
  532. else
  533. {
  534. throw new InvalidOperationException();
  535. }
  536. });
  537. }
  538. public static void Frintm_S(AILEmitterCtx Context)
  539. {
  540. EmitScalarUnaryOpF(Context, () =>
  541. {
  542. EmitUnaryMathCall(Context, nameof(Math.Floor));
  543. });
  544. }
  545. public static void Frintm_V(AILEmitterCtx Context)
  546. {
  547. EmitVectorUnaryOpF(Context, () =>
  548. {
  549. EmitUnaryMathCall(Context, nameof(Math.Floor));
  550. });
  551. }
  552. public static void Frintn_S(AILEmitterCtx Context)
  553. {
  554. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  555. EmitVectorExtractF(Context, Op.Rn, 0, Op.Size);
  556. EmitRoundMathCall(Context, MidpointRounding.ToEven);
  557. EmitScalarSetF(Context, Op.Rd, Op.Size);
  558. }
  559. public static void Frintn_V(AILEmitterCtx Context)
  560. {
  561. EmitVectorUnaryOpF(Context, () =>
  562. {
  563. EmitRoundMathCall(Context, MidpointRounding.ToEven);
  564. });
  565. }
  566. public static void Frintp_S(AILEmitterCtx Context)
  567. {
  568. EmitScalarUnaryOpF(Context, () =>
  569. {
  570. EmitUnaryMathCall(Context, nameof(Math.Ceiling));
  571. });
  572. }
  573. public static void Frintp_V(AILEmitterCtx Context)
  574. {
  575. EmitVectorUnaryOpF(Context, () =>
  576. {
  577. EmitUnaryMathCall(Context, nameof(Math.Ceiling));
  578. });
  579. }
  580. public static void Frintx_S(AILEmitterCtx Context)
  581. {
  582. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  583. EmitScalarUnaryOpF(Context, () =>
  584. {
  585. Context.EmitLdarg(ATranslatedSub.StateArgIdx);
  586. Context.EmitCallPropGet(typeof(AThreadState), nameof(AThreadState.Fpcr));
  587. if (Op.Size == 0)
  588. {
  589. AVectorHelper.EmitCall(Context, nameof(AVectorHelper.RoundF));
  590. }
  591. else if (Op.Size == 1)
  592. {
  593. AVectorHelper.EmitCall(Context, nameof(AVectorHelper.Round));
  594. }
  595. else
  596. {
  597. throw new InvalidOperationException();
  598. }
  599. });
  600. }
  601. public static void Frintx_V(AILEmitterCtx Context)
  602. {
  603. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  604. EmitVectorUnaryOpF(Context, () =>
  605. {
  606. Context.EmitLdarg(ATranslatedSub.StateArgIdx);
  607. Context.EmitCallPropGet(typeof(AThreadState), nameof(AThreadState.Fpcr));
  608. if (Op.Size == 0)
  609. {
  610. AVectorHelper.EmitCall(Context, nameof(AVectorHelper.RoundF));
  611. }
  612. else if (Op.Size == 1)
  613. {
  614. AVectorHelper.EmitCall(Context, nameof(AVectorHelper.Round));
  615. }
  616. else
  617. {
  618. throw new InvalidOperationException();
  619. }
  620. });
  621. }
  622. public static void Frsqrte_S(AILEmitterCtx Context)
  623. {
  624. EmitScalarUnaryOpF(Context, () =>
  625. {
  626. EmitUnarySoftFloatCall(Context, nameof(ASoftFloat.InvSqrtEstimate));
  627. });
  628. }
  629. public static void Frsqrte_V(AILEmitterCtx Context)
  630. {
  631. EmitVectorUnaryOpF(Context, () =>
  632. {
  633. EmitUnarySoftFloatCall(Context, nameof(ASoftFloat.InvSqrtEstimate));
  634. });
  635. }
  636. public static void Frsqrts_S(AILEmitterCtx Context)
  637. {
  638. EmitFrsqrts(Context, 0, Scalar: true);
  639. }
  640. public static void Frsqrts_V(AILEmitterCtx Context)
  641. {
  642. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  643. int SizeF = Op.Size & 1;
  644. int Bytes = Op.GetBitsCount() >> 3;
  645. for (int Index = 0; Index < Bytes >> SizeF + 2; Index++)
  646. {
  647. EmitFrsqrts(Context, Index, Scalar: false);
  648. }
  649. if (Op.RegisterSize == ARegisterSize.SIMD64)
  650. {
  651. EmitVectorZeroUpper(Context, Op.Rd);
  652. }
  653. }
  654. private static void EmitFrsqrts(AILEmitterCtx Context, int Index, bool Scalar)
  655. {
  656. AOpCodeSimdReg Op = (AOpCodeSimdReg)Context.CurrOp;
  657. int SizeF = Op.Size & 1;
  658. if (SizeF == 0)
  659. {
  660. Context.EmitLdc_R4(3);
  661. }
  662. else /* if (SizeF == 1) */
  663. {
  664. Context.EmitLdc_R8(3);
  665. }
  666. EmitVectorExtractF(Context, Op.Rn, Index, SizeF);
  667. EmitVectorExtractF(Context, Op.Rm, Index, SizeF);
  668. Context.Emit(OpCodes.Mul);
  669. Context.Emit(OpCodes.Sub);
  670. if (SizeF == 0)
  671. {
  672. Context.EmitLdc_R4(0.5f);
  673. }
  674. else /* if (SizeF == 1) */
  675. {
  676. Context.EmitLdc_R8(0.5);
  677. }
  678. Context.Emit(OpCodes.Mul);
  679. if (Scalar)
  680. {
  681. EmitVectorZeroAll(Context, Op.Rd);
  682. }
  683. EmitVectorInsertF(Context, Op.Rd, Index, SizeF);
  684. }
  685. public static void Fsqrt_S(AILEmitterCtx Context)
  686. {
  687. EmitScalarUnaryOpF(Context, () =>
  688. {
  689. EmitUnaryMathCall(Context, nameof(Math.Sqrt));
  690. });
  691. }
  692. public static void Fsub_S(AILEmitterCtx Context)
  693. {
  694. if (AOptimizations.UseSse && AOptimizations.UseSse2)
  695. {
  696. EmitSseOrSse2CallF(Context, nameof(Sse.SubtractScalar));
  697. }
  698. else
  699. {
  700. EmitScalarBinaryOpF(Context, () => Context.Emit(OpCodes.Sub));
  701. }
  702. }
  703. public static void Fsub_V(AILEmitterCtx Context)
  704. {
  705. if (AOptimizations.UseSse && AOptimizations.UseSse2)
  706. {
  707. EmitSseOrSse2CallF(Context, nameof(Sse.Subtract));
  708. }
  709. else
  710. {
  711. EmitVectorBinaryOpF(Context, () => Context.Emit(OpCodes.Sub));
  712. }
  713. }
  714. public static void Mla_V(AILEmitterCtx Context)
  715. {
  716. EmitVectorTernaryOpZx(Context, () =>
  717. {
  718. Context.Emit(OpCodes.Mul);
  719. Context.Emit(OpCodes.Add);
  720. });
  721. }
  722. public static void Mla_Ve(AILEmitterCtx Context)
  723. {
  724. EmitVectorTernaryOpByElemZx(Context, () =>
  725. {
  726. Context.Emit(OpCodes.Mul);
  727. Context.Emit(OpCodes.Add);
  728. });
  729. }
  730. public static void Mls_V(AILEmitterCtx Context)
  731. {
  732. EmitVectorTernaryOpZx(Context, () =>
  733. {
  734. Context.Emit(OpCodes.Mul);
  735. Context.Emit(OpCodes.Sub);
  736. });
  737. }
  738. public static void Mul_V(AILEmitterCtx Context)
  739. {
  740. EmitVectorBinaryOpZx(Context, () => Context.Emit(OpCodes.Mul));
  741. }
  742. public static void Mul_Ve(AILEmitterCtx Context)
  743. {
  744. EmitVectorBinaryOpByElemZx(Context, () => Context.Emit(OpCodes.Mul));
  745. }
  746. public static void Neg_S(AILEmitterCtx Context)
  747. {
  748. EmitScalarUnaryOpSx(Context, () => Context.Emit(OpCodes.Neg));
  749. }
  750. public static void Neg_V(AILEmitterCtx Context)
  751. {
  752. EmitVectorUnaryOpSx(Context, () => Context.Emit(OpCodes.Neg));
  753. }
  754. public static void Raddhn_V(AILEmitterCtx Context)
  755. {
  756. EmitHighNarrow(Context, () => Context.Emit(OpCodes.Add), Round: true);
  757. }
  758. public static void Rsubhn_V(AILEmitterCtx Context)
  759. {
  760. EmitHighNarrow(Context, () => Context.Emit(OpCodes.Sub), Round: true);
  761. }
  762. public static void Saba_V(AILEmitterCtx Context)
  763. {
  764. EmitVectorTernaryOpSx(Context, () =>
  765. {
  766. Context.Emit(OpCodes.Sub);
  767. EmitAbs(Context);
  768. Context.Emit(OpCodes.Add);
  769. });
  770. }
  771. public static void Sabal_V(AILEmitterCtx Context)
  772. {
  773. EmitVectorWidenRnRmTernaryOpSx(Context, () =>
  774. {
  775. Context.Emit(OpCodes.Sub);
  776. EmitAbs(Context);
  777. Context.Emit(OpCodes.Add);
  778. });
  779. }
  780. public static void Sabd_V(AILEmitterCtx Context)
  781. {
  782. EmitVectorBinaryOpSx(Context, () =>
  783. {
  784. Context.Emit(OpCodes.Sub);
  785. EmitAbs(Context);
  786. });
  787. }
  788. public static void Sabdl_V(AILEmitterCtx Context)
  789. {
  790. EmitVectorWidenRnRmBinaryOpSx(Context, () =>
  791. {
  792. Context.Emit(OpCodes.Sub);
  793. EmitAbs(Context);
  794. });
  795. }
  796. public static void Saddw_V(AILEmitterCtx Context)
  797. {
  798. EmitVectorWidenRmBinaryOpSx(Context, () => Context.Emit(OpCodes.Add));
  799. }
  800. public static void Smax_V(AILEmitterCtx Context)
  801. {
  802. Type[] Types = new Type[] { typeof(long), typeof(long) };
  803. MethodInfo MthdInfo = typeof(Math).GetMethod(nameof(Math.Max), Types);
  804. EmitVectorBinaryOpSx(Context, () => Context.EmitCall(MthdInfo));
  805. }
  806. public static void Smaxp_V(AILEmitterCtx Context)
  807. {
  808. Type[] Types = new Type[] { typeof(long), typeof(long) };
  809. MethodInfo MthdInfo = typeof(Math).GetMethod(nameof(Math.Max), Types);
  810. EmitVectorPairwiseOpSx(Context, () => Context.EmitCall(MthdInfo));
  811. }
  812. public static void Smin_V(AILEmitterCtx Context)
  813. {
  814. Type[] Types = new Type[] { typeof(long), typeof(long) };
  815. MethodInfo MthdInfo = typeof(Math).GetMethod(nameof(Math.Min), Types);
  816. EmitVectorBinaryOpSx(Context, () => Context.EmitCall(MthdInfo));
  817. }
  818. public static void Sminp_V(AILEmitterCtx Context)
  819. {
  820. Type[] Types = new Type[] { typeof(long), typeof(long) };
  821. MethodInfo MthdInfo = typeof(Math).GetMethod(nameof(Math.Min), Types);
  822. EmitVectorPairwiseOpSx(Context, () => Context.EmitCall(MthdInfo));
  823. }
  824. public static void Smlal_V(AILEmitterCtx Context)
  825. {
  826. EmitVectorWidenRnRmTernaryOpSx(Context, () =>
  827. {
  828. Context.Emit(OpCodes.Mul);
  829. Context.Emit(OpCodes.Add);
  830. });
  831. }
  832. public static void Smlsl_V(AILEmitterCtx Context)
  833. {
  834. EmitVectorWidenRnRmTernaryOpSx(Context, () =>
  835. {
  836. Context.Emit(OpCodes.Mul);
  837. Context.Emit(OpCodes.Sub);
  838. });
  839. }
  840. public static void Smull_V(AILEmitterCtx Context)
  841. {
  842. EmitVectorWidenRnRmBinaryOpSx(Context, () => Context.Emit(OpCodes.Mul));
  843. }
  844. public static void Sqabs_S(AILEmitterCtx Context)
  845. {
  846. EmitScalarSaturatingUnaryOpSx(Context, () => EmitAbs(Context));
  847. }
  848. public static void Sqabs_V(AILEmitterCtx Context)
  849. {
  850. EmitVectorSaturatingUnaryOpSx(Context, () => EmitAbs(Context));
  851. }
  852. public static void Sqadd_S(AILEmitterCtx Context)
  853. {
  854. EmitScalarSaturatingBinaryOpSx(Context, SaturatingFlags.Add);
  855. }
  856. public static void Sqadd_V(AILEmitterCtx Context)
  857. {
  858. EmitVectorSaturatingBinaryOpSx(Context, SaturatingFlags.Add);
  859. }
  860. public static void Sqdmulh_S(AILEmitterCtx Context)
  861. {
  862. EmitSaturatingBinaryOp(Context, () => EmitDoublingMultiplyHighHalf(Context, Round: false), SaturatingFlags.ScalarSx);
  863. }
  864. public static void Sqdmulh_V(AILEmitterCtx Context)
  865. {
  866. EmitSaturatingBinaryOp(Context, () => EmitDoublingMultiplyHighHalf(Context, Round: false), SaturatingFlags.VectorSx);
  867. }
  868. public static void Sqneg_S(AILEmitterCtx Context)
  869. {
  870. EmitScalarSaturatingUnaryOpSx(Context, () => Context.Emit(OpCodes.Neg));
  871. }
  872. public static void Sqneg_V(AILEmitterCtx Context)
  873. {
  874. EmitVectorSaturatingUnaryOpSx(Context, () => Context.Emit(OpCodes.Neg));
  875. }
  876. public static void Sqrdmulh_S(AILEmitterCtx Context)
  877. {
  878. EmitSaturatingBinaryOp(Context, () => EmitDoublingMultiplyHighHalf(Context, Round: true), SaturatingFlags.ScalarSx);
  879. }
  880. public static void Sqrdmulh_V(AILEmitterCtx Context)
  881. {
  882. EmitSaturatingBinaryOp(Context, () => EmitDoublingMultiplyHighHalf(Context, Round: true), SaturatingFlags.VectorSx);
  883. }
  884. public static void Sqsub_S(AILEmitterCtx Context)
  885. {
  886. EmitScalarSaturatingBinaryOpSx(Context, SaturatingFlags.Sub);
  887. }
  888. public static void Sqsub_V(AILEmitterCtx Context)
  889. {
  890. EmitVectorSaturatingBinaryOpSx(Context, SaturatingFlags.Sub);
  891. }
  892. public static void Sqxtn_S(AILEmitterCtx Context)
  893. {
  894. EmitScalarSaturatingNarrowOpSxSx(Context, () => { });
  895. }
  896. public static void Sqxtn_V(AILEmitterCtx Context)
  897. {
  898. EmitVectorSaturatingNarrowOpSxSx(Context, () => { });
  899. }
  900. public static void Sqxtun_S(AILEmitterCtx Context)
  901. {
  902. EmitScalarSaturatingNarrowOpSxZx(Context, () => { });
  903. }
  904. public static void Sqxtun_V(AILEmitterCtx Context)
  905. {
  906. EmitVectorSaturatingNarrowOpSxZx(Context, () => { });
  907. }
  908. public static void Ssubw_V(AILEmitterCtx Context)
  909. {
  910. EmitVectorWidenRmBinaryOpSx(Context, () => Context.Emit(OpCodes.Sub));
  911. }
  912. public static void Sub_S(AILEmitterCtx Context)
  913. {
  914. EmitScalarBinaryOpZx(Context, () => Context.Emit(OpCodes.Sub));
  915. }
  916. public static void Sub_V(AILEmitterCtx Context)
  917. {
  918. if (AOptimizations.UseSse2)
  919. {
  920. EmitSse2Call(Context, nameof(Sse2.Subtract));
  921. }
  922. else
  923. {
  924. EmitVectorBinaryOpZx(Context, () => Context.Emit(OpCodes.Sub));
  925. }
  926. }
  927. public static void Subhn_V(AILEmitterCtx Context)
  928. {
  929. EmitHighNarrow(Context, () => Context.Emit(OpCodes.Sub), Round: false);
  930. }
  931. public static void Suqadd_S(AILEmitterCtx Context)
  932. {
  933. EmitScalarSaturatingBinaryOpSx(Context, SaturatingFlags.Accumulate);
  934. }
  935. public static void Suqadd_V(AILEmitterCtx Context)
  936. {
  937. EmitVectorSaturatingBinaryOpSx(Context, SaturatingFlags.Accumulate);
  938. }
  939. public static void Uaba_V(AILEmitterCtx Context)
  940. {
  941. EmitVectorTernaryOpZx(Context, () =>
  942. {
  943. Context.Emit(OpCodes.Sub);
  944. EmitAbs(Context);
  945. Context.Emit(OpCodes.Add);
  946. });
  947. }
  948. public static void Uabal_V(AILEmitterCtx Context)
  949. {
  950. EmitVectorWidenRnRmTernaryOpZx(Context, () =>
  951. {
  952. Context.Emit(OpCodes.Sub);
  953. EmitAbs(Context);
  954. Context.Emit(OpCodes.Add);
  955. });
  956. }
  957. public static void Uabd_V(AILEmitterCtx Context)
  958. {
  959. EmitVectorBinaryOpZx(Context, () =>
  960. {
  961. Context.Emit(OpCodes.Sub);
  962. EmitAbs(Context);
  963. });
  964. }
  965. public static void Uabdl_V(AILEmitterCtx Context)
  966. {
  967. EmitVectorWidenRnRmBinaryOpZx(Context, () =>
  968. {
  969. Context.Emit(OpCodes.Sub);
  970. EmitAbs(Context);
  971. });
  972. }
  973. public static void Uaddl_V(AILEmitterCtx Context)
  974. {
  975. EmitVectorWidenRnRmBinaryOpZx(Context, () => Context.Emit(OpCodes.Add));
  976. }
  977. public static void Uaddlv_V(AILEmitterCtx Context)
  978. {
  979. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  980. int Bytes = Op.GetBitsCount() >> 3;
  981. int Elems = Bytes >> Op.Size;
  982. EmitVectorExtractZx(Context, Op.Rn, 0, Op.Size);
  983. for (int Index = 1; Index < Elems; Index++)
  984. {
  985. EmitVectorExtractZx(Context, Op.Rn, Index, Op.Size);
  986. Context.Emit(OpCodes.Add);
  987. }
  988. EmitScalarSet(Context, Op.Rd, Op.Size + 1);
  989. }
  990. public static void Uaddw_V(AILEmitterCtx Context)
  991. {
  992. EmitVectorWidenRmBinaryOpZx(Context, () => Context.Emit(OpCodes.Add));
  993. }
  994. public static void Uhadd_V(AILEmitterCtx Context)
  995. {
  996. EmitVectorBinaryOpZx(Context, () =>
  997. {
  998. Context.Emit(OpCodes.Add);
  999. Context.EmitLdc_I4(1);
  1000. Context.Emit(OpCodes.Shr_Un);
  1001. });
  1002. }
  1003. public static void Umin_V(AILEmitterCtx Context)
  1004. {
  1005. Type[] Types = new Type[] { typeof(ulong), typeof(ulong) };
  1006. MethodInfo MthdInfo = typeof(Math).GetMethod(nameof(Math.Min), Types);
  1007. EmitVectorBinaryOpZx(Context, () => Context.EmitCall(MthdInfo));
  1008. }
  1009. public static void Uminp_V(AILEmitterCtx Context)
  1010. {
  1011. Type[] Types = new Type[] { typeof(ulong), typeof(ulong) };
  1012. MethodInfo MthdInfo = typeof(Math).GetMethod(nameof(Math.Min), Types);
  1013. EmitVectorPairwiseOpZx(Context, () => Context.EmitCall(MthdInfo));
  1014. }
  1015. public static void Umax_V(AILEmitterCtx Context)
  1016. {
  1017. Type[] Types = new Type[] { typeof(ulong), typeof(ulong) };
  1018. MethodInfo MthdInfo = typeof(Math).GetMethod(nameof(Math.Max), Types);
  1019. EmitVectorBinaryOpZx(Context, () => Context.EmitCall(MthdInfo));
  1020. }
  1021. public static void Umaxp_V(AILEmitterCtx Context)
  1022. {
  1023. Type[] Types = new Type[] { typeof(ulong), typeof(ulong) };
  1024. MethodInfo MthdInfo = typeof(Math).GetMethod(nameof(Math.Max), Types);
  1025. EmitVectorPairwiseOpZx(Context, () => Context.EmitCall(MthdInfo));
  1026. }
  1027. public static void Umull_V(AILEmitterCtx Context)
  1028. {
  1029. EmitVectorWidenRnRmBinaryOpZx(Context, () => Context.Emit(OpCodes.Mul));
  1030. }
  1031. public static void Uqadd_S(AILEmitterCtx Context)
  1032. {
  1033. EmitScalarSaturatingBinaryOpZx(Context, SaturatingFlags.Add);
  1034. }
  1035. public static void Uqadd_V(AILEmitterCtx Context)
  1036. {
  1037. EmitVectorSaturatingBinaryOpZx(Context, SaturatingFlags.Add);
  1038. }
  1039. public static void Uqsub_S(AILEmitterCtx Context)
  1040. {
  1041. EmitScalarSaturatingBinaryOpZx(Context, SaturatingFlags.Sub);
  1042. }
  1043. public static void Uqsub_V(AILEmitterCtx Context)
  1044. {
  1045. EmitVectorSaturatingBinaryOpZx(Context, SaturatingFlags.Sub);
  1046. }
  1047. public static void Uqxtn_S(AILEmitterCtx Context)
  1048. {
  1049. EmitScalarSaturatingNarrowOpZxZx(Context, () => { });
  1050. }
  1051. public static void Uqxtn_V(AILEmitterCtx Context)
  1052. {
  1053. EmitVectorSaturatingNarrowOpZxZx(Context, () => { });
  1054. }
  1055. public static void Usqadd_S(AILEmitterCtx Context)
  1056. {
  1057. EmitScalarSaturatingBinaryOpZx(Context, SaturatingFlags.Accumulate);
  1058. }
  1059. public static void Usqadd_V(AILEmitterCtx Context)
  1060. {
  1061. EmitVectorSaturatingBinaryOpZx(Context, SaturatingFlags.Accumulate);
  1062. }
  1063. public static void Usubw_V(AILEmitterCtx Context)
  1064. {
  1065. EmitVectorWidenRmBinaryOpZx(Context, () => Context.Emit(OpCodes.Sub));
  1066. }
  1067. }
  1068. }