+
    9i,             
       ,   ^ RI t ^ RIt^ RIt^ RIt^ RIt^ RIHtHtHt ^ RI	H
t
 ]
P                  ! ]P                  4      ]
P                  ! R4      8  g   Q h]P                  ! ]4      tRR ltR tR tR tR	 tR
 tR tR tR tR tRR ltR tR tR t ! R R4      tR t]R8X  Edh   ]! 4       t ]PC                  R] PD                  ,           4       ] PF                  '       d#   ]PC                  R] PF                  ,           4       ]PC                  R4       ]PI                  ]PJ                  ! ] PD                  4      ] PL                  ] PN                  ] PP                  ] PR                  4      t*] PF                  '       d   ]*'       d   ] PV                  '       dC   ]PX                  ! ]*] PF                  R] PZ                  ] P\                  ] P^                  RR7       M]P`                  ! ]*] PF                  4       ]PC                  R4       R# R# R# R# )    N)helpernumpy_helpershape_inference)versionz1.8.0c                     V P                    Uu. uF  q3P                  V8X  g   K  VNK  	  ppV'       d   \        P                  ! V^ ,          4      # V# u upi r   )	attributenamer   get_attribute_value)node	attr_namedefault_valueattrfounds   &&&  d/var/www/html/photoedit/myenv/lib/python3.14/site-packages/onnxruntime/tools/symbolic_shape_infer.pyget_attributer      sI    "nnGnd		Y0FTTnEG))%(33 Hs
   AAc                 ~    \        V P                  R 4      4      \        J d   \        W P                  R 4      4      # R# valueN)type
WhichOneofstrgetattrdims   &r   get_dim_from_protor      s2    489P4QUX4X73w/0b^bb    c                 @    V P                  R 4      pVR9   g   Q hVR8H  # )r   sequence_type)tensor_typer   )r   )
type_protocls_types   & r   is_sequencer#      s,    $$W-H7777&&r   c                     \        V 4      '       d   Q hV P                  P                  R 4      '       d:   V P                  P                  P                   Uu. uF  p\        V4      NK  	  up# R# u upi )shapeN)r#   r    HasFieldr%   r   r   )r!   ds   & r   get_shape_from_type_protor(   $   sb    :&&&&&&w///9/E/E/K/K/O/OP/O!"1%/OPP Qs   A0c                     \        V 4      '       d+   V P                  P                  P                  P                  # V P                  P                  # N)r#   r   	elem_typer    )r!   s   &r   get_elem_type_from_type_protor,   ,   s=    :''11==GGG%%///r   c                 b   V P                   P                  R 4      pVf   R# \        V P                   4      '       d`   V P                   P                  P                  P                  R 4      R8X  d*   \        V P                   P                  P                  4      # R# \        V P                   4      # )r   Nr    )r   r   r#   r   r+   r(   )vir"   s   & r   get_shape_from_value_infor/   3   s~    ww!!'*H27777  **55g>-O,RWW-B-B-L-LMM(11r   c                 <    \         P                  ! 4       pWn        V# r*   )onnxValueInfoProtor
   )r
   r.   s   & r   make_named_value_infor3   @   s    				BGIr   c                     V  Uu. uF/  qf   R M&\        V4      '       d   \        V4      M
\        V4      NK1  	  up# u upi r*   )
is_literalintr   )sympy_shapeis   & r   get_shape_from_sympy_shaper9   F   s5    R]^R]QIDjmmCFQHR]^^^s   5=c                     \        V 4      \        \        P                  \        P                  \
        P                  39   ;'       g!    \        V R 4      ;'       d    V P                  # )	is_number)	r   r6   npint64int32sympyIntegerhasattrr;   r   s   &r   r5   r5   J   sE    9bhh%--@@qqWSR]E^EpEpcfcpcpqr   c                 B    W8  d   W) 8  g   Q hV ^ 8  d   V # W,           # r    )axisranks   &&r   handle_negative_axisrF   N   s&    ;45=((194-$+-r   c                     T;'       g    . ROp\        V4      \        8w  d   V.pV P                   F"  pVP                  V9   g   K  VP                  u # 	  R# ) N)rH   r1   zai.onnx)r   listopset_importdomainr   )mprK   opsets   && r   	get_opsetrN   S   sL    ...FF|t<<6!==  ! r   c                     \        V 4      \        J d   \        V 4      ^8X  g   Q hV ^ ,          # \        V 4      \        P                  J d   V P                  4       # V #    )r   rI   lenr<   ndarrayitemxs   &r   	as_scalarrW   ^   sF    Aw$1v{{t	aBJJ	vvxr   c                     \        V 4      \        J d   V # \        V 4      \        P                  J d   \        V 4      # V'       d   V f   R # V .# r*   )r   rI   r<   rS   )rV   	keep_nones   &&r   as_listrZ   h   s<    Aw$	aBJJ	Aw	qys
r   c                     \        V 4      \        J d*   \        P                  ! ^4      pV  F  pW,          pK  	  V# T pV# rP   )r   rI   r?   r@   )rV   r   vs   &  r   sympy_reduce_productr]   s   s?    Aw$a AIE  L Lr   c                   F  a  ] tR t^}t o RR ltRR ltRR ltR tR tR t	R t
R tR	 tR
 tR tR tR tR tRR ltRR ltR tR tR tR tRR ltRR ltRR ltRR ltRR ltR tR tR tR t R t!R  t"R! t#R" t$R# t%R$ t&R% t'R& t(R' t)R( t*R) t+R* t,R+ t-R, t.R- t/R. t0R/ t1R0 t2R1 t3R2 t4R3 t5R4 t6R5 t7R6 t8R7 t9R8 t:R9 t;R: t<R; t=R< t>R= t?R> t@R? tAR@ tBRA tCRB tDRC tERD tFRE tGRF tHRG tIRH tJRI tKRJ tLRK tMRL tNRM tORN tPRO tQRP tRRQ tSRR tTRS tURT tVRU tWRV tXRW tYRX tZRY t[RZ t\R[ t]R\ t^R] t_R^ t`R_ taR` tbRa tcRb tdRc teRd tfRe tgRf thRg tiRh tjRi tkRj tlRk tmRl tnRm toRn tpRo tqRp trRq tsRr ttRs tuRt tvRu twRv txRw tyRRx ltzRy t{Rz t|RR{ lt}R| t~]RR} l4       tR~tV tR# )SymbolicShapeInferencec                J   / R V P                   bRV P                  bRV P                  bRV P                  bRV P                  bRV P
                  bRV P                  bRV P                  bRV P                  bR	V P                  bR
V P                  bRV P                  bRV P                  bRV P                  bRV P                   bRV P                  bRV P                  b/ RV P                   bRV P                   bRV P                  bRV P                   bRV P"                  bRV P                  bRV P$                  bRV P&                  bRV P(                  bRV P*                  bRV P                  bRV P                   bRV P                  bRV P                  bRV P                   bR V P                  bR!V P                   bC/ R"V P,                  bR#V P.                  bR$V P0                  bR%V P2                  bR&V P4                  bR'V P                  bR(V P6                  bR)V P8                  bR*V P:                  bR+V P<                  bR,V P>                  bR-V P                  bR.V P@                  bR/V PB                  bR0V PD                  bR1V PF                  bR2V PH                  bC/ R3V PJ                  bR4V PL                  bR5V PN                  bR6V PN                  bR7V PN                  bR8V PP                  bR9V PR                  bR:V PT                  bR;V P                   bR<V PV                  bR=V PX                  bR>V PZ                  bR?V P\                  bR@V P                   bRAV P^                  bRBV P                   bRCV P`                  bC/ RDV Pb                  bREV Pd                  bRFV Pf                  bRGV Ph                  bRHV Pj                  bRIV Pl                  bRJV Pn                  bRKV Pp                  bRLV Pr                  bRMV P                  bRNV Pt                  bROV Pv                  bRPV Px                  bRQV Pz                  bRRV Pz                  bRSV P|                  bRTV P~                  bC/ RUV P                  bRVV P                  bRWV P                  bRXV P                  bRYV P                  bRZV P                  bR[V P                  bR\V P                  bR]V P                  bR^V P                  bR_V P                  bR`V Pp                  bRaV P                  bRbV P                  bRcV P                  bRdV P                  bReV P~                  bCRfV P                  RgV P                  RhV P                  RiV P                  RjV P                  /CV nR        / RkV P                  bRlV P                  bRmV P                  bRnV P                  bRoV P                  bRpV P                  bRqV P                  bRrV P                  bRsV P                  bRtV P                  bRuV P                  bRvV PZ                  bRwV P                  bRxV P                  bRyV P                  bRzV P                  bR{V P                  bV n\        R|V n]        / V n^        / V n_        / V n`        W na        W0nb        W@nc        Wnd        ^ V ne        WPnf        R}# )~Add	AllReduceArrayFeatureExtractorAveragePoolBatchNormalizationCastCategoryMapperCompressConcatConcatFromSequenceConstantConstantOfShapeConvCumSumDivEinsumExpandEqualFloorGatherGatherElementsGatherNDIdentityIfLoopMatMulMatMulInteger16MaxPoolMaxMemcpyFromHostMemcpyToHostMinMoEMulNonMaxSuppressionNonZeroOneHotPadRange
Reciprocal	ReduceSum
ReduceMean
ReduceProdReshapeResizeRoundScanScatterElements
SequenceAtSequenceInsertShapeSizeSliceSoftmaxCrossEntropyLossSoftmaxCrossEntropyLossInternal!NegativeLogLikelihoodLossInternalSplitSplitToSequenceSqueezeSubTileTopK	Transpose	UnsqueezeWhereZipMapNeg	AttentionBiasAddBiasGeluBiasSplitGeluDecoderMaskedMultiHeadAttentionDequantizeLinearDynamicTimeWarpingEmbedLayerNormalizationFastGeluGatedRelativePositionBiasGatherBlockQuantizedGeluGemmFastGelu
GemmFloat8	GroupNormGroupNormalizationGroupQueryAttentionLayerNormalizationLongformerAttentionMatMulNBitsMultiHeadAttentionNhwcConvPackedAttentionPackedMultiHeadAttentionPagedAttentionPythonOp
QLinearAdd
QLinearMulQuantizeLinear	QuickGeluRelativePositionBiasRemovePaddingRestorePaddingRotaryEmbeddingSimplifiedLayerNormalizationSkipGroupNormSkipLayerNormalization SkipSimplifiedLayerNormalizationSparseAttentionUnfoldTensor	embedding
bitwise_ordiagonalmax_pool2d_with_indicesmaxminmultinomialunfoldargmax
avg_pool2d_adaptive_avg_pool2dnumpy_Tnative_group_normupsample_nearest1dupsample_nearest2dupsample_nearest3dupsample_bicubic2dTN)g_infer_symbolic_compute_ops_pass_on_shape_and_type_infer_ArrayFeatureExtractor_infer_Pool_infer_BatchNormalization_infer_Cast_infer_CategoryMapper_infer_Compress_infer_Concat_infer_ConcatFromSequence_infer_Constant_infer_ConstantOfShape_infer_Conv_infer_Einsum_infer_Expand_infer_Gather_infer_GatherElements_infer_GatherND	_infer_If_infer_Loop_infer_MatMul_infer_MatMulInteger_infer_NonMaxSuppression_infer_NonZero_infer_OneHot
_infer_Pad_infer_Range_infer_ReduceSum_infer_ReduceMean_infer_ReduceProd_infer_Reshape_infer_Resize_infer_Scan_infer_ScatterElements_infer_SequenceAt_infer_SequenceInsert_infer_Shape_infer_Size_infer_Slice_infer_SoftmaxCrossEntropyLoss_infer_Split_infer_SplitToSequence_infer_Squeeze_infer_Tile_infer_TopK_infer_Transpose_infer_Unsqueeze_infer_ZipMap_infer_Attention_infer_BiasAdd_infer_BiasGelu_infer_BiasSplitGelu&_infer_DecoderMaskedMultiHeadAttention_infer_DequantizeLinear_infer_DynamicTimeWarping_infer_EmbedLayerNormalization_infer_FastGelu _infer_GatedRelativePositionBias_infer_Gelu_infer_GemmFastGelu_infer_GemmFloat8_infer_GroupNorm_infer_GroupQueryAttention_infer_LayerNormalization_infer_LongformerAttention_infer_MatMulNBits_infer_MultiHeadAttention_infer_NhwcConv_infer_PackedAttention_infer_PackedMultiHeadAttention_infer_PagedAttention_infer_PythonOp_infer_QLinearBinary_infer_QuantizeLinear_infer_RelativePositionBias_infer_RemovePadding_infer_RestorePadding_infer_RotaryEmbedding_infer_SkipGroupNorm_infer_SkipLayerNormalization_infer_SparseAttention_infer_UnfoldTensordispatcher__infer_aten_bitwise_or_infer_aten_diagonal_infer_aten_pool2d_infer_aten_minmax_infer_aten_multinomial_infer_aten_unfold_infer_aten_argmax_infer_aten_group_norm_infer_aten_upsampleaten_op_dispatcher_run_suggested_merge_symbolic_dims_input_symbols_auto_merge_guess_output_rank_verbose_int_max_subgraph_id_prefix_)selfint_max
auto_mergeguess_output_rankverboseprefixs   &&&&&&r   __init__SymbolicShapeInference.__init__~   s	   m
433m
55m
 $T%F%Fm
 4++	m

 !$"@"@m
 D$$m
 d88m
 ,,m
 d((m
 !$"@"@m
 ,,m
 t::m
 D$$m
 d22m
 433m
  d((!m
" d((#m
$ T55%m
& T55'm
( d(()m
* d88+m
, ,,-m
. 44/m
0 $..1m
2 D$$3m
4 d((5m
6 t887m
8 t''9m
: 433;m
< d::=m
> D88?m
@ 433Am
B 4//Cm
D 433Em
F  !>!>Gm
H t**Im
J d((Km
L 4??Mm
N T&&Om
P $66Qm
R ..Sm
T $00Um
V $00Wm
X t**Ym
Z d(([m
\ T11]m
^ D$$_m
` t::am
b $00cm
d d88em
f T&&gm
h D$$im
j T&&km
l &t'J'Jmm
n .t/R/Rom
p 01T1Tqm
r T&&sm
t t::um
v t**wm
x 433ym
z D$${m
| D$$}m
~ ..m
@ ..Am
B T55Cm
D d((Em
F 433Gm
J ..Km
L t**Mm
N ,,Om
P T66Qm
R .t/Z/ZSm
T  < <Um
V !$"@"@Wm
X &t'J'JYm
Z ,,[m
\ ()N)N]m
^ #D$6$6_m
` D$$am
b D44cm
d $00em
f ..gm
h !$"7"7im
j "4#B#Bkm
l !$"@"@mm
n "4#B#Bom
p 422qm
r !$"@"@sm
t ,,um
v t::wm
x '(L(Lym
z d88{m
| ,,}m
~ $33m
@ $33Am
B d88Cm
D --Em
F #D$D$DGm
H T66Im
J d88Km
L t::Mm
N +D,J,JOm
P T66$d&H&H.0R0Rt::D44Ym
\$
++$
$55$
 11$
 &t'>'>	$

 4**$
 4**$
 477$
 d--$
 d--$
 $11$
 #D$;$;$
 t,,$
  !<!<$
 !$";";$
 !$";";$
  !$";";!$
" !$";";#$
 & 	 "  %"3r   c                *  a  \         ;QJ d    V 3R  lV 4       F  '       d   K   RM	  RM! V 3R  lV 4       4      '       g   Q h\        V4      pS P                  P                  4        F/  w  r4W19   g   K  VP	                  V4       VP                  V4       K1  	  RpV F  p\        V4      '       g   K  Tp M	  Vf   V F  pVS P                  9   g   K  Tp M	  Vf<   V F5  p\        S P                  V,          4      \        P                  J g   K3  Tp M	  Vf   S P                  ^ 8  d&   \        P                  RRP                  V4      4       \!        V4      pV Uu. uF  p\#        V4      NK  	  ppWxP%                  \'        V4      4      ,          pVP	                  V4       V F  pWe8X  d   K  \        V4      '       d-   \        V4      '       d   \)        V4      \)        V4      8X  g   Q h\        V4      '       d   \)        V4      MTS P                  V&   S P                  P                  4        F  w  r4WF8X  g   K  VS P                  V&   K  	  K  	  V'       d'   S P*                  '       d   S P-                  4        R# R# R# u upi )c              3      <"   T F@  p\        V4      \        J ;'       d    VSP                  9   ;'       g    \        V4      x  KB  	  R # 5ir*   )r   r   r<  r5   ).0srD  s   & r   	<genexpr>>SymbolicShapeInference._add_suggested_merge.<locals>.<genexpr>  s>     c[bVWDGsN??qD,?,?'?QQJqMQ[bs   AAAFTNz9Potential unsafe merge between symbolic expressions: (%s),)allsetr;  itemsremoveaddr5   r=  r   r<  r?   Symbolr@  loggerwarningjoinrI   rR   indexr   r6   r>  _apply_suggested_merge)	rD  symbolsapplykr\   map_torO  symbols_listlenss	   f&&      r   _add_suggested_merge+SymbolicShapeInference._add_suggested_merge  s   sc[bcsssc[bcccccg,))//1DA|q!A 2 A!}} 
 >+++F  >++A./5<<?F 
 >}}q Z\_\d\del\mn=L$01LqCFLD1!**SY"78FNN6"A{&!!jmm6{c!f,,,6@6H6Hs6{fD!!!$--3356/5D))!, 6  T%%%'') &5 2s   &Jc                &   V P                   '       g   R # \        V P                  P                  P                  4      V'       d   . M(\        V P                  P                  P
                  4      ,            F  pVP                  P                  P                  P                   Ff  pVP                  V P                   9   g   K   V P                   VP                  ,          p\        V4      '       d   \        V4      Vn        K`  WCn
        Kh  	  K  	  R # r*   )r;  rI   out_mp_graphinput
value_infor   r    r%   r   	dim_paramr5   r6   	dim_value)rD  graph_input_onlyr8   r'   r\   s   &&   r   r]  -SymbolicShapeInference._apply_suggested_merge8  s    $$$dll((../9I2tTXT`T`TfTfTqTqOrssAVV''--11;;$"7"77--akk:A!!}}&)!f&' 2 tr   c                X   \         P                  ! 4       V n        V P                  P                  V4       \	        V P                  P
                  P                  4       Uu/ uF  q"P                  VbK  	  upV n        V P                  P
                  P                   Uu/ uF  q"P                  VbK  	  upV n
        \	        V P                  P
                  P                  4       Uu/ uF  q"P                  VbK  	  upV n        V P                  P                  V P                  P
                  P                   Uu/ uFM  pVP                  \        P                  ! VP                  VP                  \	        VP                   4      4      bKO  	  up4       R # u upi u upi u upi u upi r*   )r1   
ModelProtorg  CopyFromrI   rh  ri  r
   graph_inputs_initializerinitializers_	known_vi_updater   make_tensor_value_info	data_typedims)rD  in_mpr8   s   && r   _preprocess"SymbolicShapeInference._preprocessD  s3   (e$15dll6H6H6N6N1OP1OAffai1OP151C1C1O1OP1OAffai1OP-1$,,2D2D2J2J-KL-K&&!)-KL ++777A 55affakk4PQPVPV<XX7	
 QPLs   !F F(F"<AF'c                r  aa \         ;QJ d    R  S 4       F  '       d   K   RM	  RM! R  S 4       4      '       Eg   V P                  '       Ed   \        \        S4      4      pV Uu. uF  p\	        V4      NK  	  pp\        V4      ^8:  g   Q h\        V4      ^8X  dr   VP                  ^4      pV P                  ^ 8  d5   \        P                  RVRV W%^,           R ,            RW%,           24       V P                  VRR7       W%,          # V P                  ^ 8  d*   \        P                  RVR,           RV^ ,           24       S^ ,          # R# \         ;QJ d    V3R	 lS 4       F  '       d   K   RM	  RM! V3R	 lS 4       4      '       d
   S^ ,          # S Uu. uF  q0P                  P                  W34      NK  	  upo\         ;QJ d    V3R
 lS 4       F  '       d   K   RM	  RM! V3R
 lS 4       4      '       d$   S^ ,          V P                  9   g   Q hS^ ,          # R# u upi u upi )c              3   D   "   T F  p\        V4      \        J x  K  	  R # 5ir*   )r   r   rN  r'   s   & r   rP  8SymbolicShapeInference._merge_symbols.<locals>.<genexpr>R  s     04a47c>4s    FTzdim Nz has been merged with value allow_broadcastrQ   NNz has been merged with dim c              3   :   <"   T F  qS^ ,          8H  x  K  	  R# 5ir   NrC   rN  r'   ry  s   & r   rP  r  e  s     *TDG|T   c              3   :   <"   T F  qS^ ,          8H  x  K  	  R# 5ir  rC   )rN  r'   mergeds   & r   rP  r  h  s     .v!F1I~vr  )rS  r>  rI   rT  r5   sumr\  r@  rY  debug_check_merged_dimsr;  getr<  )rD  ry  unique_dimsr'   is_intint_dimr  s   &f    @r   _merge_symbols%SymbolicShapeInference._merge_symbolsQ  s   s040sss04000"3t9o1<=A*Q-=6{a'''v;!#$ll1oG}}q(";x#8;QR{};U#U"VVrs~  tH  sI  J ++K+O&//}}q(tKO+<<VWbcdWeVf%gh7N3*T*333*T***7N;?@4a''++A14@3.v.333.v...!9 3 3333!9/ >$ As   )H/$#H4c                    . p\        V4      p\        V4      p\        WE4      p\        V4       F  pWt8  d   W^,
          V,
          ,          M^pWu8  d   W%^,
          V,
          ,          M^p	V^8X  g   W8X  d   T	p
MV	^8X  d   Tp
M}V P                  W.4      p
V
'       gd   V P                  '       d   V P                  W.RR7       M<\        P                  R\        V4      ,           R,           \        V	4      ,           4       V
.VOpK  	  V# )rQ   Tr_  zunsupported broadcast between  )	rR   r   ranger  r>  rd  rY  rZ  r   )rD  shape1shape2	new_shaperank1rank2new_rankr8   dim1dim2new_dims   &&&        r   _broadcast_shapes(SymbolicShapeInference._broadcast_shapeso  s    	FFu$xA,-I6!)a-(1D,-I6!)a-(1DqyDL--tl; '''114,d1K'G#d)'SVY'Y\_`d\e'ef -9-I# !$ r   c                    VP                   V,          pW0P                  9   d   V P                  V,          p\        V4      # W0P                  9   g   Q h\	        V P                  V,          P
                  4      # r*   )ri  ru  r/   rt  rI   ry  rD  r   idxr
   r.   s   &&&  r   
_get_shape!SymbolicShapeInference._get_shape  s`    zz#>>!%B,R00-----**405566r   c                :   V\        VP                  4      ^,
          8  d   R# VP                  V,          pW0P                  9   d   V P                  V,          p\        V4      # W0P                  9   d'   \        V P                  V,          P                  4      # R# rQ   N)rR   ri  ru  r/   rt  rI   ry  r  s   &&&  r   _try_get_shape%SymbolicShapeInference._try_get_shape  su    TZZ1$$zz#>>!%B,R00%%%**405566r   c                6    \        V P                  W4      4      # r*   )rR   r  )rD  r   r  s   &&&r   _get_shape_rank&SymbolicShapeInference._get_shape_rank  s    4??4-..r   c           	     ,   . pV P                  W4       F|  p\        V4      \        J dN   TP                  W@P                  9   d   V P                  V,          M\
        P                  ! VR R R7      4       Kc  RVJg   Q hVP                  V4       K~  	  V# )TintegernonnegativeN)r  r   r   appendr<  r?   rX  )rD  r   r  r7   r'   s   &&&  r   _get_sympy_shape'SymbolicShapeInference._get_sympy_shape  s    +AAw#~""/// ''*a4H 1}$}""1% , r   c                    VP                   V,          pW0P                  9   g   W0P                  9   g   Q hW0P                  9   d   V P                  V,          # \        P                  ! V P                  V,          4      # r*   )ri  sympy_data_rt  r   to_arrayrD  r   r  r
   s   &&& r   
_get_value!SymbolicShapeInference._get_value  se    zz#'''43E3E+EEE)-1A1A)At%v|G\G\]a]o]opt]uGvvr   c                    V\        VP                  4      8  d   R # VP                  V,          pW0P                  9   g   W0P                  9   d   V P	                  W4      # R # r*   )rR   ri  r  rt  r  r  s   &&& r   _try_get_value%SymbolicShapeInference._try_get_value  sK    #djj/!zz####t/A/A'A??4--r   c                   \        V4       F  w  r#\        V4      '       d   K  \        V4      \        8w  g   K.  \        V4      pW@P                  9   dM   \        V P                  V,          4      '       d   Km  V P
                  V P                  V,          ,          W&   K  \        V4      V P
                  9  g   K  W0P
                  \        V4      &   K  	  R # r*   )	enumerater5   r   r   r;  r<  )rD  new_sympy_shaper8   r  str_dims   &&   r   _update_computed_dims,SymbolicShapeInference._update_computed_dims  s    #O4JAg&&4=C+?g,333!$"7"7"@AA )-)<)<T=R=RSZ=[)\O& 7|4+>+>><C++CL9 5r   c                   VP                   . R NRNRNRNRNRNRNRNRNR	NR
NRNRNRNRNRNRNRNRNRNRNRNRNRNRNRNRNRNRNRNRNRNR NR!NR"NR#NR$NR%NR&N9   pV'       Eg   . p\        V P                  4      ^	8  db   VP                   R+9   dQ   VP                   Uu. uF:  pW@P                  9   g   K  W@P
                  9  g   K'  V P                  V,          NK<  	  ppVP                   R,9   Ed9   VP                  ^ ,          V P                  9   Ed   V P                  VP                  ^ ,          ,          p\        \        VP                  4      4      p\        \        VP                  4      4       Uu. uF  qpP                  W4      NK  	  pp\        YaP                   R-9   d   ^M^ ,
          4       Fp  p	V U
u. uF<  p
\        V
4      V	,           V8  g   K  V
\        V
4      V,
          V	,           ,          NK>  	  pp
\        V4      ^8  g   K]  V P                  VR'R(7       Kr  	  \        P                  ! V.R)VP                   Uu. uF  qw'       g   K  V P                  V,          NK!  	  upVP                   Uu. uF  p\!        V4      NK  	  upV4      pV P"                  P$                  P'                  V4       \(        P*                  ! V P"                  4      V n        \        \        VP                  4      4       F  pVP                  V,          pV'       g   K   V P                  P$                  P,                  P/                  4       pV'       g8   VP'                  V P"                  P$                  P                  V,          4       MWn        WPP                  V&   K  	  R*# u upi u upi u up
i u upi u upi ).rx   ry   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   Tr  tmpN)r   	ra   r   r   ro   rz   MatMulIntegerr{   r   Sumrz   r  r{   )op_typerN   rg  ri  rt  rr  outputru  rR   r(   r   r  r  r  r   
make_graphr3   tmp_mp_rh  rq  r   infer_shapesrj  rW  r
   )rD  r   
skip_inferinitializersr
   r.   out_rankr8   	in_shapesr'   rO  in_dims	tmp_graphi_oos   &&             r   _onnx_infer_single_node.SymbolicShapeInference._onnx_infer_single_node  sS   \\ (&
(&
(&
 (&
 	(&

 (&
 (&
 (&
 (&
 (&
 (&
 !(&
 &(&
 (&
 #(&
 (&
  !(&
" #(&
$ !%(&
& "'(&
( !)(&
* "+(&
, !-(&
. /(&
0 1(&
2 3(&
4 5(&
6 7(&
8 9(&
: #;(&
< =(&
> ?(&
@ A(&
B +C(&
D %E(&
F /G(&
H I(&
J K(&
L M(&
N O(&
 (

T z L$,,'1,$,,-2O !%

  * 2 22 -7;CUCU7U -D&&t,, *    || 
  
 ;;q>T^^3A7B"#<RWW#EFHCHTZZCY ZCYa!9CYI Z" 9g)gAmno FO"iYRUVWRX[\R\`hRh#;1SVh%6%:#;#;Y"iw<!+ 33GT3R )),0JJ<Jq!"""J<37;;?;a&q);?I LL''	2*77EDLT[[)*CC Aq\\''22668!KK 2 2 9 9# >?G$&q! +S ( ![ #j =?s6   "N/9N/N/;N4N9$N9	N>N>Oc                
   V P                   ^8  dD   \        P                  RVP                   RVP                  ^ ,           RVP
                   24       \        VP                  4      \        VP                  4      ,            Uu0 uF  qUP                  kK  	  ppV P                   Uu0 uF  qwV9  g   K  VkK  	  pp\        P                  ! \        VP                  4      R\        VP                  4      V Uu. uF  qPP                  V,          NK  	  up,           VP                   Uu. uF  p\        VP                  4      NK  	  up4      p	V	P                  P                  V P                  P                   P                   Uu. uF  qUP                  V9   g   K  VNK  	  up4       V	P                  P                  VP                  4       V P"                  P                   P%                  V	4       \'        V P(                  V P*                  V P,                  V P                   V P.                  R,           \1        V P2                  4      ,           R7      p
V'       d   V ;P2                  ^,          un        V
P5                  V P"                  4       V P6                  P9                  4       V
n        V
P:                  '       d,   V
P=                  V P>                  P9                  4       4       K=  V
PA                  4        V'       da   VPC                  R4       VP                  P                  V
P                  P                   P                  R\E        VP                  4       4       VPC                  R	4       VP                  P                  V
P                  P                   P                  4       VPC                  R
4       VPF                  P                  V
P                  P                   PF                  4       VPC                  R4       VP                  P                  V
P                  P                   P                  4       V
P                  P                   P                   Uu. uF  p\I        V4      NK  	  ppV UUu0 uF>  q'       g   K  V F,  p\K        V4      \0        J g   K  WPL                  9  g   K*  VkK.  	  K@  	  ppp/ pV F+  pWPL                  9   g   Q hV
PL                  V,          VV&   K-  	  V PL                  PO                  V4       V
# u upi u upi u upi u upi u upi u upi u uppi )   zInferencing subgraph of node z with output(z...): r  _)rI  ri  Nr  rj  r   )(r@  rY  r  r
   r  r  rI   rs  ri  ru  r   r  r   r3   extendrg  rh  r  rq  r_   rA  r>  r?  rC  r   rB  r{  r;  copyr:  _infer_implr  _update_output_from_vi
ClearFieldrR   rj  r/   r   r<  rv  )rD  r   subgraphuse_node_inputinc_subgraph_idr8   subgraph_inputsr
   subgraph_implicit_inputr  symbolic_shape_inferencer  subgraph_shapesrO  r'   subgraph_new_symbolic_dimsnew_dimss   &&&&&            r   _onnx_infer_subgraph+SymbolicShapeInference._onnx_infer_subgraph.  s   ==1LL8=QUQ\Q\]^Q_P``fgkgsgsftuv
 ,00D0D+EX^^H\+\]+\a66+\]48NN"bNDRaFa44N"b%% ?V#W?V!NN1$5$5?V#WW4<OODOq"166*OD	
	 	$$1C1C1O1O%u1OASYSY]tStaa1O%uv$$X%9%9:##I.#9MM##MM<<#%D,=,=(>>$
  " ,,T\\:484I4I4N4N4P 1&+++$001A1A1F1F1HI 779(NN!!":"B"B"H"H"N"NO`QTUYU_U_Q`"abH%7??EELLML)""#;#C#C#I#I#T#TUF#5==CCHHIAYAaAaAgAgAnAnoAnA4Q7Ano&&
&!!AQ$q'S.AQViViMiAAQA 	# &
 +A?????2AA!DHQK , 	""8,''_ ^"b $XD%u< p&
sH   T*T!7T!<T&-T+	T0 T0*T5	T:T:-T:?
T:c                   R  p\        \        VP                  4      4       Uu. uF  qPP                  W4      NK  	  pp\        ;QJ d    R V 4       F  '       d   K   RM	  RM! R V 4       4      '       d   \        V4       F  w  rW\        V4      \        P                  Jd   K$  \        VP                  4      ^8  d   RpMd\        VP                  4      ^ 8X  d   V! VP                  4       V4      pM2\        VP                  4      ^8X  g   Q hV U	u. uF
  q! W4      NK  	  pp	WV&   K  	  V Uu. uF&  p\        V\        4      '       d   \        V4      M^ NK(  	  p
p\        V
4      pV^8  du   V'       dm   \        V4       F]  w  rWVf   K  \        V\        4      '       d1   \        V4      V8  d   W{,          We&   K=  \        V4      V8X  g   Q hKQ  V.V,          We&   K_  	  V# u upi u up	i u upi )c                 H    V'       d   V ^,          ^ 8w  d   V # \        V 4      # rP   )r6   )r   allow_float_valuess   &&r   int_or_floatESymbolicShapeInference._get_int_or_float_values.<locals>.int_or_floatg  s    !eai1nu:r   c              3   (   "   T F  qR Jx  K
  	  R # 5ir*   rC   rN  r\   s   & r   rP  BSymbolicShapeInference._get_int_or_float_values.<locals>.<genexpr>n       -f}f   FTN)r  rR   ri  r  rS  r  r   r<   rS   r%   rT   
isinstancerI   r   )rD  r   	broadcastr  r  r8   valuesr\   new_vvv
values_lenmax_lens   &&&&        r   _get_int_or_float_values/SymbolicShapeInference._get_int_or_float_valuesf  s   	 9>c$**o8NO8N1%%d.8NO3-f-333-f---!&)7"**,qww<!# E\Q&(3EFEqww<1,,,LMNAb\"AAEN!q	 * EKKFq
1d 3 3c!f:F
Kj/a<I!&)9a&&1v'$%K	"1v000!"gFI * 9 P OKs   G+G05,G5c                l   \        VP                  4      ^8X  g   Q hVP                  R9   d   V P                  VRRR7      pMV P                  VRR7      p\        ;QJ d    R V 4       F  '       d   K   RM	  RM! R V 4       4      '       d   V Uu. uF  p\        V\        4      NK  	  pp\        V4      pV'       dA   \        VRR/  Uu. uF
  qr! V4      NK  	  upV P                  VP                  ^ ,          &   R# V! V4      V P                  VP                  ^ ,          &   R# R# u upi u upi )	rQ   T)r  r  )r  c              3   (   "   T F  qR Jx  K
  	  R # 5ir*   rC   r  s   & r   rP  @SymbolicShapeInference._compute_on_sympy_data.<locals>.<genexpr>  r  r  FstrictN)r   ro   )
rR   r  r  r  rS  r  rI   anyzipr  )rD  r   op_funcr  r\   is_listrZ   vss   &&&     r   _compute_on_sympy_data-SymbolicShapeInference._compute_on_sympy_data  s    4;;1$$$
 <<>)2244\`2aF22442HF3-f-333-f---4:;Fqz!T*FG;'lGJMvJd^cJd3eJdBGBKJd3e  Q03:6?  Q0 .; 4fs   D,D1c                    \        VP                  4      ^8X  g   VP                  R9   g   Q hV P                  VR 4       R# )rQ   c                     V ^ ,          # r   rC   rU   s   &r   <lambda><SymbolicShapeInference._pass_on_sympy_data.<locals>.<lambda>  s    AaDr   N)r   r   r   )rR   ri  r  r  rD  r   s   &&r   _pass_on_sympy_data*SymbolicShapeInference._pass_on_sympy_data  s>    4::!#t|| 8
 (
 	
 

 	##D.9r   c           
     H   V P                   VP                  ^ ,          ,          pVP                  \        P                  ! VP                  ^ ,          \        V P                   VP                  ^ ,          ,          P                  4      V P                  V^ 4      4      4       R# r  )	ru  r  rq  r   rw  r,   ri  r   r  )rD  r   r.   s   && r   r   .SymbolicShapeInference._pass_on_shape_and_type  sj    ^^DKKN+
))A-dnnTZZ].K.P.PQa(	
r   c                   V R V 2pW0P                   9   dJ   V P                   V,          p\        V4      '       d"   \        P                  ! \	        V4      4      pV# TpV# \        P
                  ! VRRR7      pWPP                  V&   V# )_dTr  )r;  r5   r?   r@   r6   rX  r<  )rD  rI  r   r  r\   new_symbolic_dims   &&&   r   _new_symbolic_dim(SymbolicShapeInference._new_symbolic_dim  s    HBse$+++%%g.A8B1u}}SV4  	 LM    %||GTtT+;(r   c           	         V P                  VP                   V P                   R \        V P                  P
                  P                  4      P                  V4       RV R 2V4      # )r  _o)r  r  rC  rI   rg  rh  r   r\  )rD  r   out_idxr   s   &&&&r   _new_symbolic_dim_from_output4SymbolicShapeInference._new_symbolic_dim_from_output  s`    %%||nT\\N!D1C1C1H1H,I,O,OPT,U+VVXY`Xaabc
 	
r   c                `    \        V4       Uu. uF  q@P                  W#V4      NK  	  up# u upi r*   )r  r  )rD  rE   r   r  r8   s   &&&& r   _new_symbolic_shape*SymbolicShapeInference._new_symbolic_shape  s*    NSTXkZk224!DkZZZs   +c           
     8	   V P                  V^ 4      p\        VP                  4      ^8  dT   V P                  V^4      p\        V4      ^,
          pV'       d   WE) ^,
          R MWE) R pV^ ,          Y2'       d   ^M^&   MRp\        VR4      p\        V4      p\        V4      V^,           8X  g   Q hV'       d   W5) ^,
          R MW5) R pV Uu. uF  p\	        V4      '       * NK  	  p	p\        V	4      '       g   \        V P                  VP                  ^ ,          ,          4      p
\        V
4      ^ 8  d   \        V4      \        V
4      8X  g   Q hV'       d=   W) ^,
          R  Uu. uF  p\        P                  ! V4      NK  	  upW5) ^,
          R% V# W) R  Uu. uF  p\        P                  ! V4      NK  	  upW5) R% V# \        VR^.V,          4      p\        VR^.V,          4      p\        WlRR7       UUu. uF  w  rV^,
          V,          ^,           NK  	  ppp\        VR4      pVf   ^ .^V,          ,          p\        VRR	4      P                  R
4      pVR8w  d   VR8w  d    \        W5) R VRR7       UUu. uF  w  pp\        P                  ! VV4      NK  	  ppp\        WVRR7       UUUu. uF*  w  ppp\        ^ V^ 8X  d
   VV,
          MVV,
          4      NK,  	  ppppM]VR8X  d   . pMS^ .V,          pMH\        V4      ^V,          8X  g   Q h\        VRV VVR RR7       UUu. uF  w  ppVV,           NK  	  ppp\        VR^ 4      p\!        V4       F  pY5) V,           V'       d   RM^ ,           ,          p\        V4      ^ 8  d   VVV,          ,           pV'       d2   \        P"                  ! VW,          ,
          W,          ,          4      pMVW,          ,
          W,          ,          pV^,           Y5) V,           V'       d   RM^ ,           &   K  	  V# u upi u upi u upi u uppi u uppi u upppi   \         d>    \        YRR7       UUu. uF  w  pp\        ^ TT,
          4      NK  	  Mu uppi ppp ELDi ; iu uppi )r   Nkernel_shape	dilationsstridesFr  padsauto_pads   NOTSETutf-8VALIDNOTSET	ceil_mode)r  rR   ri  r   r5   r  r/   ru  r  r?   r@   r  decodeModr   	TypeErrorr  ceiling)rD  r   channels_lastr7   W_shaperE   r!  spatial_shaper8   is_symbolic_dimsr%   r'   r"  r#  r`  effective_kernel_shaper%  r&  rO  residualr
total_padsp1p2r*  effective_input_sizestrided_kernel_positionss   &&&                        r   _compute_conv_pool_shape/SymbolicShapeInference._compute_conv_pool_shape  sR   ++D!4tzz?Q++D!4Gw<!#D6C7519r2QVQWL5<QZK]2G(~>L|$D;4!8+++ 8EEAI3+V[V\J]7DE}!
1-}E#$$-dnnT[[^.LME5zA~;'3u:555 MRSX[\S\_aMb2cMb5==3CMb2cK	B/ #" FK56]*S]5==+;]*SK'""!$aS4Z@	i!t<>A,bg>h!i>hda1q5A+//>h!iT6*<3!d(#D$T:yAHHQH7"x8';	<?EF@SU\ej<kl<kDAq		!Q<kHl (++AH]b'c"'cGAq! A!q&Aq1u>'c  "J W$
S4Z
t9D(((03D$KdeUZ0[\0[fb""r''0[J\!$Q7	tA#.uqy-BUV/W#X :"';jm'K$+0==),B,EES,( -ACYC\,\ahak+k(D\_`D`K	=Ra@A  e F 3d*S
 "j  m" ! 478N`e4f"4fDAqAA4f"J "J ]sZ   P))P.P3?"P80Q #P>'Q <0Q,Q 6R>Q R&R
RRc                6  a V'       d6   S Uu. uF(  p\        V4      '       d   \        V4      ^8:  d   K&  VNK*  	  upo\        ;QJ d    V3R lS 4       F  '       d   K   RM	  RM! V3R lS 4       4      '       g   V P                  SRR7       R# R# u upi )rQ   c              3   :   <"   T F  qS^ ,          8H  x  K  	  R# 5ir  rC   r  s   & r   rP  <SymbolicShapeInference._check_merged_dims.<locals>.<genexpr>
       .AQ<r  FTr  N)r5   r6   rS  rd  )rD  ry  r  r'   s   &f& r   r  )SymbolicShapeInference._check_merged_dims  sm    #Kt!JqMMc!fkAAtKDs..sss....%%d$%7 / Ls
   #BBNc                   V P                  V^ 4      pV P                  V^4      p\        V4      p\        V4      p^ p^ pV^ 8  d   V^ 8  g   Q hV^8X  d   V^8X  d   . p	MYV^8X  d   Rp. VRV OVR,          Np	M?V^8X  d	   RpVRV p	M0RpRp. V P                  VRR VRR 4      OVR,          NVR,          Np	V P                  W7,          WH,          .RR7       VfC   V P                  VP
                  ^ ,          ,          P                  P                  P                  pV P                  VP                  ^ ,          ,          p
V
P                  \        P                  ! VP                  ^ ,          W)4      4       R# )r   NFr  r+  )r  rR   r  r  ru  ri  r   r    r+   r  rq  r   rw  )rD  r   output_dtype	lhs_shape	rhs_shapelhs_rankrhs_ranklhs_reduce_dimrhs_reduce_dimr  r.   s   &&&        r   _compute_matmul_shape,SymbolicShapeInference._compute_matmul_shape  sq   OOD!,	OOD!,	y>y>!|1,,q=X]I]ND)O^4DimDI]N!/>2INNo$003B3BPoR[\^R_oajkmanoI&	(AB! 	  	
 >>$**Q-8==IISSL^^DKKN+
F11$++a.,Z[r   c           
        \        V4      '       d!   VP                  P                  P                  MVP                  p\        V4      '       d!   VP                  P                  P                  MVP                  pVP                  VP                  8w  d   VP                  '       d   VP                  MVP
                  p\        RV R\        P                  P                  P                  P                  VP                  4       R\        P                  P                  P                  P                  VP                  4       24      hVP                  R4      '       d   \        \        VP                  P                   VP                  P                   RR7      4       F  w  rV	^ ,          V	^,          8w  g   K  \        P"                  P%                  4       p
\        V4      '       g!   \'        V P)                  WV4      4      V
n        VP                  P                   V,          P-                  V
4       K  	  R# VP-                  V4       R# )zX
update dst_tensor_type to be compatible with src_tensor_type when dimension mismatches
z	For node z:, dst_tensor_type.elem_type != src_tensor_type.elem_type: z vs r%   Fr$  N)r#   r   r+   r    r
   r  
ValueErrorr1   onnx_pbTensorProtoDataTypeNamer&   r  r  r%   r   TensorShapeProto	Dimensionr   r  rk  rq  )rD  r   r  dst_typesrc_typedst_tensor_typesrc_tensor_typenode_iddidsr  s   &&&&&      r   _fuse_tensor_type(SymbolicShapeInference._fuse_tensor_type,  s   
 =H<Q<QH"",,88W_WkWk 	 =H<Q<QH"",,88W_WkWk 	 $$(A(AA#'999dii$,,GG9$^<<++4499/:S:STUUY<<++4499/:S:STUW 
 ##G,,#C(=(=(A(A?CXCXC\C\ej$kla5BqE> #33==?G&x00,/0R0RSWbd0e,f)#))--b1::7C m $$_5r   c           	        V P                  V^ 4      pV P                  V^4      pV P                  VP                  ^ ,          ,          pVP                  \        P
                  ! VP                  ^ ,          V P                  VP                  ^ ,          ,          P                  P                  P                  VRR V,           4      4       R# r   Nr+  
r  ru  r  rq  r   rw  ri  r   r    r+   )rD  r   
data_shapeindices_shaper.   s   &&   r   r   3SymbolicShapeInference._infer_ArrayFeatureExtractorI  s    __T1-
a0^^DKKN+
))Atzz!}-22>>HH3B-/	
r   c                   a  R R RR RR RR RV 3R	 lR
V 3R lRR RR RR RR /
pVP                   V9   g   Q hS P                  WVP                   ,          4       R# )ra   c                 0    V ^ ,          V ^,          ,           # r   rC   ls   &r   r  DSymbolicShapeInference._infer_symbolic_compute_ops.<locals>.<lambda>W      QqTAaD[r   ro   c                     \        V ^ ,          V ^,          ,          \        4      '       d!   \        V ^ ,          V ^,          ,          4      # V ^ ,          V ^,          ,          # r   r  floatr6   rg  s   &r   r  ri  X  sE    %/!!e%D%DAaDAaDL!V!A$RSTURV,Vr   rr   c                 (    V ^ ,          V ^,          8H  # r   rC   rg  s   &r   r  ri  [  s    qtqt|r   rs   c                 <    \         P                  ! V ^ ,          4      # r   )r?   floorrg  s   &r   r  ri  \  s    u{{1Q40r   r}   c                 Z  < \        V ^ ,          4      '       d,   \        V ^ ,          4      SP                  ) 8  d
   V ^,          # \        V ^,          4      '       d,   \        V ^,          4      SP                  ) 8  d
   V ^ ,          # \        P                  ! V ^ ,          V ^,          4      # r   )r5   r6   rA  r?   r}   rh  rD  s   &r   r  ri  ]  s    ad##AaD	T]]N(B ! j(1..3qt9~3MadjSXS\S\]^_`]acdefcgShjr   r   c                 V  < \        V ^ ,          4      '       d+   \        V ^ ,          4      SP                  8  d
   V ^,          # \        V ^,          4      '       d+   \        V ^,          4      SP                  8  d
   V ^ ,          # \        P                  ! V ^ ,          V ^,          4      # r   )r5   r6   rA  r?   r   rr  s   &r   r  ri  b  s    ad##AaD	DMM(A ! i(1..3qt9t}}3LadiRWR[R[\]^_\`bcdebfRgir   r   c                     \        V ^ ,          V ^,          ,          \        4      '       d!   \        V ^ ,          V ^,          ,          4      # V ^ ,          V ^,          ,          # r   rl  rg  s   &r   r  ri  g  sH    AaD1Q4K1O1OS1!-`UVWXUY\]^_\`U``r   r   c                 0    V ^ ,          V ^,          ,
          # r   rC   rg  s   &r   r  ri  h  rj  r   r   c                 D    V ^ ,          '       d
   V ^,          # V ^,          # r   rC   rg  s   &r   r  ri  i  s    qttqt515r   r   c                     V ^ ,          ) # r   rC   rg  s   &r   r  ri  j  s
    adUr   N)r  r  )rD  r   funcss   f& r   r   2SymbolicShapeInference._infer_symbolic_compute_opsU  s|    (  +0 
  
 `(5?)
, ||u$$$##D*=>r   c                (    V P                  V4       R # r*   )r  r  s   &&r   r   "SymbolicShapeInference._infer_Casto  s      &r   c           
        V P                   VP                  ^ ,          ,          P                  P                  P                  pV\
        P                  P                  8X  d   \
        P                  P                  pM\
        P                  P                  pV P                   VP                  ^ ,          ,          pVP                  \        P                  ! VP                  ^ ,          W0P                  V^ 4      4      4       R# r  )ru  ri  r   r    r+   r1   rQ  STRINGINT64r  rq  r   rw  r  )rD  r   
input_typeoutput_typer.   s   &&   r   r   ,SymbolicShapeInference._infer_CategoryMapperr  s    ^^DJJqM277CCMM
))000**00K**11K^^DKKN+
F11$++a.+_cefOghir   c                   V P                  V^ 4      p\        V P                  V4      4      p\        VR4      pVf   V.pMTpW5\	        V\        V4      4      &   V P                  VP                  ^ ,          ,          pVP                  \        P                  ! VP                  ^ ,          V P                  VP                  ^ ,          ,          P                  P                  P                  V4      4       R# )r   rD   N)r  r   r  r   rF   rR   ru  r  rq  r   rw  ri  r   r    r+   )rD  r   input_shapecompress_lenrD   output_shaper.   s   &&     r   r   &SymbolicShapeInference._infer_Compress{  s    oodA.4==dCDT6*<(>L&LIU-dC4DEF^^DKKN+
))Atzz!}-22>>HH	
r   c           	       a a \         ;QJ d)    V 3R  lVP                   4       F  '       g   K   RM	  RM! V 3R  lVP                   4       4      '       Ed*   S P                  V4      p\        ;QJ d    R V 4       F  '       d   K   RM	  RM! R V 4       4      '       d   \	        VR4      ^ 8X  g   Q h. S P
                  VP                  ^ ,          &   \        \        VP                  4      4       F  pW#,          p\        V\        4      '       d6   S P
                  VP                  ^ ,          ,          P                  V4       KV  S P
                  VP                  ^ ,          ,          P                  V4       K  	  S P                  V^ 4      p\        \	        VR4      \        V4      4      p\        ^\        VP                  4      4       F5  pS P                  W4      pV'       g   K  WV,          W,          ,           WV&   K7  	  S P                  V4       \        \        V4      4       F  p	W8X  d   K  \        \        VP                  4      4       Uu. uF4  pS P!                  W4      '       g   K  S P!                  W4      V	,          NK6  	  upo\        ;QJ d    V3R lS 4       F  '       d   K   RM	  RM! V3R lS 4       4      '       d   K  S P#                  S4      p
\%        V
4      \&        J d"   V
'       d   S P(                  V
,          MRWY&   K  WV	&   K  	  S P*                  VP                  ^ ,          ,          pVP-                  \.        P0                  ! VP                  ^ ,          S P*                  VP                  ^ ,          ,          P$                  P2                  P4                  \7        V4      4      4       R# u upi )c              3   n   <"   T F*  qSP                   9   ;'       g    VSP                  9   x  K,  	  R # 5ir*   )r  rt  rN  r8   rD  s   & r   rP  7SymbolicShapeInference._infer_Concat.<locals>.<genexpr>  s0     TAD$$$??T-?-?(??s   55TFc              3   (   "   T F  qR Jx  K
  	  R # 5ir*   rC   r  s   & r   rP  r    s     1&QD=&r  rD   c              3   :   <"   T F  qS^ ,          8H  x  K  	  R# 5ir  rC   r  s   & r   rP  r    rA  r  N)r  ri  r  rS  r   r  r  r  rR   r  rI   r  r  r  rF   r  r  r  r   r   r<  ru  rq  r   rw  r    r+   r9   )rD  r   r  r8   r   r7   rD   i_idxr  r'   r  r.   ry  s   f&          @r   r   $SymbolicShapeInference._infer_Concat  s   3TT333TTTT2248Fs1&1sss1&111$T62a77735  Q0s4::/A"IE!%..((Q8??F((Q8??F 0 ++D!4#M$$?[AQR1c$**o.E//<K{$/$58I$I! / 	"";/s;'(AyAFs4::AWxAW[_[j[jko[w3DOOD033AWxDs..sss....((.FF|s"@F!4!4V!<D!'A ) ^^DKKN+
))Atzz!}-22>>HH*;7	
 ys   O8Oc                r   V P                  V^ 4      p\        VR4      '       d   ^M^ p\        \        VR4      \        V4      V,           4      p\	        V P                  V^ V4      4      pTpV'       d   . VRV OVNW$R OpMWVV&   V P                  VP                  ^ ,          ,          pVP                  \        P                  ! VP                  ^ ,          V P                  VP                  ^ ,          ,          P                  P                  P                  P                  P                  V4      4       R# )r   new_axisrD   N)r  r   rF   rR   r   r  ru  r  rq  r   rw  ri  r   r   r+   r    )rD  r   	seq_shaper  rD   
concat_dimr  r.   s   &&      r   r   0SymbolicShapeInference._infer_ConcatFromSequence  s    OOD!,	%dJ771Q#M$$?YRZAZ[;;D!TJK
	J)ET*JJJ59IJI(dO^^DKKN+
))Atzz!}-22@@JJVV``	
r   c                    \        VR 4      p\        P                  ! V4      V P                  VP                  ^ ,          &   R# r   )r   r   r  r  r  )rD  r   ts   && r   r   &SymbolicShapeInference._infer_Constant  s1    $(+7+@+@+CQ(r   c           	        V P                  V4      ^ ,          pV P                  VP                  ^ ,          ,          pVEe$   \        V4      \        8w  d   V.pV P                  V4       VP                  P                  P                  \        P                  P                  8X  d   \        ;QJ d    R V 4       F  '       d   K   RM	  RM! R V 4       4      '       d   \        P                  ! V Uu. uF  p\        V4      NK  	  up\        P                  R7      \         P"                  ! \%        VR^ 4      4      ,          V P&                  VP                  ^ ,          &   M)V P)                  V P+                  V^ 4      ^ ,          V4      pVP-                  \.        P0                  ! VP                  ^ ,          VP                  P                  P                  \3        V4      4      4       R# u upi )r   Nc              3   8   "   T F  p\        V4      x  K  	  R # 5ir*   )r5   )rN  rV   s   & r   rP  @SymbolicShapeInference._infer_ConstantOfShape.<locals>.<genexpr>  s     NrfqabzZ[}}fqs   FT)dtyper   )r  ru  r  r   rI   r  r    r+   r1   rQ  r~  rS  r<   onesr6   r=   r   r  r   r  r  r  rq  r   rw  r9   )rD  r   r7   r.   rV   s   &&   r   r   -SymbolicShapeInference._infer_ConstantOfShape  s`   33D9!<^^DKKN+"K D(*m&&{3ww"",,0@0@0F0FF33NrfqNr333NrfqNrKrKr3577%01[SV[14 ))-gq*IJ4K  Q0 224??43KA3NPTUK
))A##--*;7	
 2s   5G/c           	     P   V P                  V4      pV P                  V4       V P                  VP                  ^ ,          ,          pVP	                  \
        P                  ! VP                  ^ ,          VP                  P                  P                  \        V4      4      4       R# r  )r<  r  ru  r  rq  r   rw  r   r    r+   r9   rD  r   r7   r.   s   &&  r   r   "SymbolicShapeInference._infer_Conv  sv    33D9"";/^^DKKN+
))A##--*;7	
r   c           	        V P                  VR R7      pV P                  V4       V P                  VP                  ^ ,          ,          pVP	                  \
        P                  ! VP                  ^ ,          V P                  VP                  ^ ,          ,          P                  P                  P                  \        V4      4      4       R# )T)r0  N)r<  r  ru  r  rq  r   rw  ri  r   r    r+   r9   r  s   &&  r   r   &SymbolicShapeInference._infer_NhwcConv  s    33D3M"";/^^DKKN+
))Atzz!}-22>>HH*;7	
r   c                d   V P                   VP                  ^,          ,          P                  P                  P                  pV P                  V^ 4      pV P                   VP                  ^ ,          ,          pVP                  \        P                  ! VP                  ^ ,          W#4      4       R# r  )
ru  ri  r   r    r+   r  r  rq  r   rw  rD  r   rE  r  r.   s   &&   r   r  .SymbolicShapeInference._infer_DequantizeLinear   ss    ~~djjm499EEOO tQ/^^DKKN+
F11$++a.,]^r   c                   \         P                  P                  p\        VP                  4      ^8  d\   VP                  ^,          '       dC   V P
                  VP                  ^,          ,          P                  P                  P                  pV P                  V^ 4      pV P
                  VP                  ^ ,          ,          pVP                  \        P                  ! VP                  ^ ,          W#4      4       R# r  N)r1   rQ  UINT8rR   ri  ru  r   r    r+   r  r  rq  r   rw  r  s   &&   r   r&  ,SymbolicShapeInference._infer_QuantizeLinear
  s     ''--tzz?Q4::a==>>$**Q-8==IISSL tQ/^^DKKN+
F11$++a.,]^r   c                   V P                   VP                  ^ ,          ,          P                  P                  P                  pV P                  V^ 4      pV P                  V^4      pV P                  W44      pV P                   VP                  ^ ,          ,          pVP                  \        P                  ! VP                  ^ ,          W%4      4       R# r  )ru  ri  r   r    r+   r  r  r  rq  r   rw  )rD  r   rE  input_1_shapeinput_2_shaper  r.   s   &&     r   r%  +SymbolicShapeInference._infer_QLinearBinary  s    ~~djjm499EEOO a0a0 **=H	^^DKKN+
F11$++a.,Z[r   c                   \        VR 4      pVP                  RR4      pVP                  R4      pVR8w  d   VRV MTp^ p^ p^ p/ pVP                  R4      p	V	 F  p
V
P                  R4      pV P	                  W4      p\        V4      pVR8w  d*   V^ 8X  d   V\        V
4      ,
          ^,           pV^,           p\        ^V^,           4       FM  pW) ,          pV^.8w  g   K  W) ,          pW9  d   VW&   K*  \        V4      \        P                  Jg   KI  VW&   KO  	  V^,           pK  	  . p^ RI
Hp V! 4       pVR8w  dy   W#^,           R pVP                  R4      pVR8w  d+   \        V4       F  pVP                  XV,          4       K  	  V F$  pV^.8w  g   K  VP                  VV,          4       K&  	  M\        V4       F  pVP                  XV,          4       K  	  V F6  pV^,8w  g   K  V^.8w  g   K  VV9   d   VV,          ^,           VV&   K1  ^VV&   K8  	  VP                  4        F'  w  ppV^8X  g   K  VP                  VV,          4       K)  	  V P                  VP                  ^ ,          ,          P                  P                   P"                  pV P                  VP$                  ^ ,          ,          pVP'                  \(        P*                  ! VP$                  ^ ,          VV4      4       R# )	equation    r   s   ->N   ,s   ...)OrderedDictr+  )r   replacefindsplitr  rR   r  r   r?   rX  collectionsr  r  rU  ru  ri  r    r+   r  rq  r   rw  )rD  r   r  	mid_indexleft_equationnum_operandsnum_ellipsisnum_ellipsis_indicesletter_to_dimtermstermellipsis_indexr%   rE   r8   letterr   r  r  num_letter_occurrencesright_equationright_ellipsis_indexckeyr   rE  r.   s   &&                         r   r   $SymbolicShapeInference._infer_Einsum%  s    z2##D#.MM%(	09R),X ##D)D!YYv.NOOD7Eu:D#1$+/#d)+;a+?(+a/1dQh'bR<)C203-c%,,603- ( (!+L! $ +!,?%!mo6N#1#6#6v#> #r)34A#**584 5#7#**=+;< $ /0&&uQx0 1"7qBw224J14MPQ4Q.q145.q1 # 5::<
UA:#**=+=> = ~~djjm499EEOO^^DKKN+
F11$++a.,P_`ar   c                    \        V P                  V^4      RR7      pVe   V P                  V4       V P                  V^ 4      pV P	                  V\        V4      4      pV P                  VP                  ^ ,          ,          pVP                  \        P                  ! VP                  ^ ,          V P                  VP                  ^ ,          ,          P                  P                  P                  V4      4       R# R# )rQ   TrY   N)rZ   r  r  r  r  r9   ru  r  rq  r   rw  ri  r   r    r+   )rD  r   expand_to_shaper%   r  r.   s   &&    r   r   $SymbolicShapeInference._infer_Expandc  s    !$"5"5dA">$O&&&7OOD!,E..u6PQ`6abIA/BKK--KKNNN4::a=166BBLL 'r   c           
        V P                  V^ 4      p\        \        VR^ 4      \        V4      4      pV P                  V^4      pV P                  VP
                  ^ ,          ,          pVP                  R8X  dD   V P                  VP                  ^ ,          ,          P                  P                  P                  pMlVP                  R8X  dD   V P                  VP                  ^,          ,          P                  P                  P                  pM\        RVP                   24      hVP                  \        P                  ! VP
                  ^ ,          VVRV V,           W#^,           R ,           4      4       VP                  ^ ,          V P                  9   EdT   \        V4      ^8X  EdA   \        VR^ 4      ^ 8X  Ed,   V P!                  V^4      pVEe   V P                  VP                  ^ ,          ,          p\        V4      \"        J d   \        V4      \$        P&                  J d\   \        VP(                  4      ^8X  dB   V U	u. uF  q\+        V	4      ,          NK  	  up	V P                  VP
                  ^ ,          &   R# V\+        V4      ,          V P                  VP
                  ^ ,          &   R# V^ 8X  g
   VR8X  g   Q hWP                  VP
                  ^ ,          &   R# R# R# R# R# u up	i )r   rD   rt   r   zUnsupported Gather op_type: Nr+  )r  rF   r   rR   ru  r  r  ri  r   r    r+   rO  rq  r   rw  r  r  rI   r<   rS   r%   r6   )
rD  r   rb  rD   rc  r.   r+   r  datar8   s
   &&        r   r   $SymbolicShapeInference._infer_Gathers  s9   __T1-
#M$$BC
OTa0^^DKKN+<<8#tzz!}5::FFPPI\\33tzz!}5::FFPPI;DLL>JKK
))A5D!M1Jaxz4JJ	
 ::a=D,,,ZA1E-X\^dfgJhlmJm%%dA.C''

16:%CyBJJ.3syy>Q3FRU;VRUQQLLRU;V((Q8;?C>((Q8!8sby007;$$T[[^4  Kn1E, <Ws   K3c                b   V P                  V^4      pV P                  VP                  ^ ,          ,          pVP                  \        P
                  ! VP                  ^ ,          V P                  VP                  ^ ,          ,          P                  P                  P                  V4      4       R# r  ra  )rD  r   rc  r.   s   &&  r   r   ,SymbolicShapeInference._infer_GatherElements  sv    a0^^DKKN+
))Atzz!}-22>>HH	
r   c                   V P                  V^ 4      p\        V4      pV P                  V^4      p\        V4       VR,          p\        V4      '       d   WS8:  g   Q hVRR W%R ,           pV P                  VP                  ^ ,          ,          pVP                  \        P                  ! VP                  ^ ,          V P                  VP                  ^ ,          ,          P                  P                  P                  V4      4       R# r`  )r  rR   r5   ru  r  rq  r   rw  ri  r   r    r+   )rD  r   rb  	data_rankrc  last_index_dimensionr  r.   s   &&      r   r   &SymbolicShapeInference._infer_GatherND  s    __T1-

O	a0M,R0.//4H4UUU!#2&4I)JJ	^^DKKN+
))Atzz!}-22>>HH	
r   c           	        \        VR 4      \        VR4      .pV P                  V^ 4      pVeP   \        V4      ^ 8  d!   V^,          P                  V^ ,          4       MV^ ,          P                  V^,          4       \	        V4       EFr  w  rEV P                  WRR7      p\        \        VP                  4      4       EF6  pV P                  VP                  V,          ,          pV^ 8X  d<   VP                  VP                  V,          4       VP                  V,          Vn
        M8V P                  WVP                  VP                  V,          P                  4       Vf   K  T\        V4      ^ 8  d   ^ M^8X  g   K  VP                  V,          P                  VP                  9   g   K  VP                  VP                  V,          P                  ,          V P                  VP                  &   EK9  	  EKu  	  R# )then_branchelse_branchNF)r  )r   r  rW   rq  r  r  r  rR   r  ru  r
   r]  r   r  )	rD  r   	subgraphscondi_subr  subgraph_inferi_outr.   s	   &&       r   r    SymbolicShapeInference._infer_If  s    $.$.
	 ""4+"!%%il3!%%il3(3OE!66tV[6\Ns4;;/0^^DKK$67A:KK 67"kk%0BG**4QVAWA\A\] #y7J!PQ(Ru-22n6P6PP4B4N4Nx_dOeOjOj4k((1 1  4r   c           	     d	   \        VR 4      p\        VP                  4      \        VP                  4      8X  g   Q h\        VP                  4      ^,
          p\        VP                  4       FJ  w  rEVP                  pVP                  V P                  VP                  V,          ,          4       Wen        KL  	  V P                  W4       Rp\        ^V^,           4       EF  pVP                  V,          p	\        V	4      p
\        V	P                  4      '       d}   V
'       ds   RV
9   dj   VP                  V^,           ,          P                  P                  P                  P                  V	P                  P                  P                  4       RpK  K  K  VP                  V^,           ,          p\        V4      p\        \        WRR7      4       F  w  rV^ ,          V^,          8w  g   K  \         P"                  P%                  4       p\'        V P)                  WV4      4      Vn        VP                  P,                  P.                  P0                  V,          P                  V4       V	P                  P,                  P.                  P0                  V,          P                  V4       RpK  	  EK  	  V'       d\   V P2                  ^8  d8   \4        P7                  RVP                   RVP                  ^ ,           R24       V P                  WRR7       \'        V P)                  V4      4      p\        \        VP                  4      4       EFV  pV P                  VP                  V,          ,          pVP                  VP                  V^,           ,          4       WC8  d   \        VP                  4      '       d   Q hVP                  V^,           ,          P                  P,                  P.                  P0                  pVP                  P,                  P.                  P9                  R	4       VP                  P,                  P.                  P0                  pVVP;                  4       n        VP=                  \?        V4      4       VP                  V,          Vn        EKY  	  R# )
bodyFNTr$  zRerun Loop: (z3...), because of sequence in loop carried variables)r  r   ) r   rR   ri  r  r
   rq  ru  r  r  r  r/   r#   r   r   r+   r  r1   rT  rU  r   r  rk  r    r%   r   r@  rY  r  r  rW  r  rI   )rD  r   r  num_loop_carriedr8   sisi_nameneed_second_inferr  soso_shapesi_shaper[  ry  r  loop_iter_dimr.   subgraph_vi_dimvi_dims   &&                 r   r   "SymbolicShapeInference._infer_Loop  s\    v.8>>"c$**o555tzz?Q. x~~.EAggGKKtzz!}56G /
 	!!$1
 "1.23E'B04H277## 0 NN519-22@@JJSSTVT[T[TiTiTsTst(,% !18 ^^EAI.4R8 )#h*O PHBAw$q')"&"7"7"A"A"C,/0R0RSW`b0c,d)++1155b9BB7K++1155b9BB7K,0) !Q 4* }}q "499+Qt{{1~.>>qr %%de%L D>>tDEs4;;'(AA/BKKA./$&rww////"*//!a%"8"="="I"I"O"O"S"S##))44U;,,2266)6

&d?34kk!nBG )r   c                (    V P                  V4       R # r*   rL  r  s   &&r   r   $SymbolicShapeInference._infer_MatMul      ""4(r   c                Z    V P                  V\        P                  P                  4       R # r*   )rL  r1   rQ  INT32r  s   &&r   r   +SymbolicShapeInference._infer_MatMulInteger
  s    ""4)9)9)?)?@r   c                J   V P                  V^ 4      p\        VR4      \        VR4      .p\        V4      pV^ 8  g   Q hV^8X  d   VR,          pMVRR VR,          ,           pV P                  VR,          V^ ,          .RR7       V P                  VP
                  ^ ,          ,          P                  P                  P                  pV P                  VP                  ^ ,          ,          pVP                  \        P                  ! VP                  ^ ,          We4      4       R# )r   KNr  NFr  r+  )r  r   rR   r  ru  ri  r   r    r+   r  rq  r   rw  )rD  r   rF  rG  rH  r  rE  r.   s   &&      r   r  )SymbolicShapeInference._infer_MatMulNBits  s    OOD!,	"4-}T3/GH	y>!||q=!"I!#226Ir]IaL)! 	  	

 ~~djjm499EEOO^^DKKN+
F11$++a.,Z[r   c                &   \        V P                  V4      4      pV P                  VP                  ^ ,          ,          pVP	                  \
        P                  ! VP                  ^ ,          \        P                  P                  V^.4      4       R# r  )
r   r  ru  r  rq  r   rw  r1   rQ  r~  )rD  r   selectedr.   s   &&  r   r   /SymbolicShapeInference._infer_NonMaxSuppression   sc    t99$?@^^DKKN+
F11$++a.$BRBRBXBX[cefZghir   c                X   V P                  V^ 4      p\        V P                  V^ ^4      4      pV P                  VP                  ^ ,          ,          pVP                  \        P                  ! VP                  ^ ,          VP                  P                  P                  W#.4      4       R# r  )r  r   r  ru  r  rq  r   rw  r   r    r+   )rD  r   
input_ranknz_lenr.   s   &&   r   r   %SymbolicShapeInference._infer_NonZero%  sz    ))$2
T77aCD^^DKKN+
F11$++a."''BUBUB_B_blauvwr   c                H   V P                  V^ 4      pV P                  V^4      p\        VRR4      p\        V\	        V4      ^,           4      p\        . VRV O\        V4      '       g   V P                  V4      MTNW$R O4      pV P                  VP                  ^ ,          ,          pVP                  \        P                  ! VP                  ^ ,          V P                  VP                  ^,          ,          P                  P                  P                   V4      4       R# )r   rD   Nr+  )r  r  r   rF   rR   r9   r5   r  ru  r  rq  r   rw  ri  r   r    r+   )rD  r   r7   depthrD   r  r.   s   &&     r   r   $SymbolicShapeInference._infer_OneHot,  s    ++D!4##D!,T62.#D#k*:Q*>?.Ud#@J5@Q@Q2248W\ U#
	 ^^DKKN+
))Atzz!}-22>>HH	
r   c           	        \        V P                  4      ^
8:  d   \        VR4      pMV P                  V^4      pV P	                  V^ 4      p\        V4      pVeb   \        V4      ^V,          8X  g   Q h\        W2RV W$R RR7       UUUu. uF  w  rVpWV,           V,           NK  	  ppppV P                  V4       MV P                  WA4      pV P                  VP                  ^ ,          ,          P                  P                  P                  p	V P                  VP                  ^ ,          ,          p
V
P                  \         P"                  ! VP                  ^ ,          V	\%        V4      4      4       R# u upppi )
   r%  NFr$  )rN   rg  r   r  r  rR   r  r  r  ru  ri  r   r    r+   r  rq  r   rw  r9   )rD  r   r%  r7   rE   r'   pad_uppad_downr  	output_tpr.   s   &&         r   r   !SymbolicShapeInference._infer_PadA  s@   T\\"b( v.D&&tQ/D++D!4;t9D((( ,/{$Ke]b+c+c'Ax 
X%%+c   &&7 #66tBONN4::a=166BBLL	^^DKKN+
))$++a.)E_`oEpq	
s   E6c           
     F   V P                  V4      pV P                  V4       VP                   Fn  pV'       g   K  V P                  V,          pVP	                  \
        P                  ! VVP                  P                  P                  \        V4      4      4       Kp  	  R # r*   )r<  r  r  ru  rq  r   rw  r   r    r+   r9   )rD  r   r7   r  r.   s   &&   r   r   "SymbolicShapeInference._infer_Pool[  sz    33D9"";/A"BKK--GG''11.{;	 r   c                   V P                  V^ 4      pV P                  V^4      pV P                  W#4      pV P                  VP                  ^ ,          ,          pV P                  VP                  ^ ,          ,          pVP                  \        P                  ! VP                  ^ ,          VP                  P                  P                  V4      4       R# r  )r  r  ru  ri  r  rq  r   rw  r   r    r+   )rD  r   shape0r  r  t0r.   s   &&     r   r0  -SymbolicShapeInference._infer_aten_bitwise_orj  s    q)q)**6:	^^DJJqM*^^DKKN+
F11$++a."''BUBUB_B_ajklr   c           	        V P                  V^ 4      p\        V4      pV P                  V^4      pV P                  V^4      pV P                  V^4      pVe	   Ve   Vf   Q h\        WS4      p\        Wc4      p. p\	        V4       F   w  rWV39  g   K  VP                  V	4       K"  	  W%,          p
W&,          pV^ 8  d4   \        P                  ! ^ \        P                  ! WV,
          4      4      pM2\        P                  ! ^ \        P                  ! W,           V4      4      pVP                  V4       VP                  ^ ,          '       d   V P                  VP                  ^ ,          ,          pVP                  \        P                  ! VP                  ^ ,          V P                  VP                  ^ ,          ,          P                  P                   P"                  \%        V4      4      4       R# R# r  )r  rR   r  rF   r  r  r?   r}   r   r  ru  rq  r   rw  ri  r   r    r+   r9   )rD  r   r7   rE   offsetr  r  r  r   valr  r  
diag_shaper.   s   &&            r   r1  +SymbolicShapeInference._infer_aten_diagonalr  s   ++D!4;$$T1-""4+""4+!d&64;KKK#D/#D/	!+.HC,&  % / ""Q;1eii&HIJ1eii&HIJ$;;q>>A/BKK--KKNNN4::a=166BBLL.y9 r   c           	        V P                  V^ 4      p\        V4      pVR9   g   Q hV P                  V^4      pV^,
          pV'       d   TM\        V P	                  V^ V4      4      p. VRR OVNpV P
                  VP                  ^ ,          ,          pVP                  \        P                  ! VP                  ^ ,          \        P                  P                  \        V4      4      4       R# )r   NrQ   r  r+  )r  rR   r  r   r  ru  r  rq  r   rw  r1   rQ  r~  r9   )	rD  r   r7   rE   num_samplesr[  last_dimr  r.   s	   &&       r   r4  .SymbolicShapeInference._infer_aten_multinomial  s    ++D!4;v~~))$2AX"-;3t7Y7YZ^`ace7f3g4Sb)484^^DKKN+
))A  &&*<8	
r   c           
     ^   V P                  V^ 4      p\        V4      ^8X  g   Q hR Uu. uF  q0P                  V^ V4      NK  	  upVRR% V P                  V4       \	        VP
                  4       F  w  r4V'       g   K  V P                  V,          pV^8X  d   \        P                  P                  MAV P                  VP                  ^ ,          ,          P                  P                  P                  pVP                  \        P                   ! WF\#        V4      4      4       K  	  R# u upi )r   Nr     rD  )r  rR   r  r  r  r  ru  r1   rQ  r~  ri  r   r    r+   rq  r   rw  r9   )rD  r   r7   r8   r  r.   r+   s   &&     r   r2  )SymbolicShapeInference._infer_aten_pool2d  s    ++D!4;1$$$TZ[TZq>>tQJTZ[BC"";/dkk*DA"B23q&((..dnnTZZXY]>[>`>`>l>l>v>vIKK55aD^_jDklm + \s   D*c                   V P                   VP                  ^ ,          ,          p\        VP                  4      ^8X  d{   VP	                  \
        P                  ! VP                  ^ ,          V P                   VP                  ^ ,          ,          P                  P                  P                  . 4      4       R# \        VP                  4      ^8X  g   Q hV P                  V^4      pVf   Q hV P                  V^4      pVf7   V P                  V^ 4      pT P                  V'       d   TMV^,
          V4      pMPV P                  V^ 4      p\        V\        V4      4      pVRV pV'       d   V^.,          pWgV^,           R ,          p\        V4      pVP	                  \
        P                  ! VP                  ^ ,          V P                   VP                  ^ ,          ,          P                  P                  P                  V4      4       V P                   VP                  ^,          ,          pVP	                  \
        P                  ! VP                  ^,          \         P"                  P$                  V4      4       R# r  )ru  r  rR   ri  rq  r   rw  r   r    r+   r  r  r  r  rF   r9   r1   rQ  r~  )	rD  r   r.   keepdimr   rE   r  r%   vi1s	   &&       r   r3  )SymbolicShapeInference._infer_aten_minmax  s   ^^DKKN+tzz?aKK--KKNDNN4::a=$A$F$F$R$R$\$\^` tzz?a'''))$2G&&&%%dA.C{++D!4#77TTUXW[\--dA6*3E
;$Tc{ QC'LcAgi 005lCLKK--KKNDNN4::a=$A$F$F$R$R$\$\^j
 ..Q0CLL66t{{1~tGWGWG]G]_klmr   c           	        V P                  V^ 4      pV P                  V^4      pV P                  V^4      pV P                  V^4      pVeL   VeH   VeD   V\        V4      8  g   Q hW#,          V,
          V,          ^,           W#&   VP                  V4       M$\        V4      pV P	                  V^,           V4      pV P                  V4       VP                  ^ ,          '       d   V P                  VP                  ^ ,          ,          pVP                  \        P                  ! VP                  ^ ,          V P                  VP                  ^ ,          ,          P                  P                  P                  \        V4      4      4       R# R# r  )r  r  rR   r  r  r  r  ru  rq  r   rw  ri  r   r    r+   r9   )rD  r   r7   	dimensionsizesteprE   r.   s   &&      r   r5  )SymbolicShapeInference._infer_aten_unfold  s>   ++D!4''a0	""4+""4+ T%5$:Js;////&1&<t&C%Lq%PK"t${#D224!8TBK"";/;;q>>A/BKK--KKNNN4::a=166BBLL.{; r   c                   R pVP                   ^,          '       g   . pMV P                  V^4      pV P                  V^4      pVe   V P                  V^ 4      pVe&   \        V\	        V4      4      pV'       d   ^WS&   M1WS M.\	        V4      pT P                  V'       d   TMV^,
          V4      pV P                  V4       \        V4      pVP                  ^ ,          '       d}   Vew   V P                  VP                  ^ ,          ,          pVP                  \        P                  ! VP                  ^ ,          \        P                  P                  V4      4       R # R # R # r*   )ri  r  r  rF   rR   r  r  r9   r  ru  rq  r   rw  r1   rQ  r~  )rD  r   r  r   r  r7   rE   r.   s   &&      r   r6  )SymbolicShapeInference._infer_aten_argmax  s   	zz!}}I%%dA.C))$2G""33D!<?.sC4DEC+,(',{+D"&":":74PTWXPXZ^"_K**;76{C	;;q>>i3A/BKK55dkk!ndFVFVF\F\^ghi 4>r   c                   V P                  V4       V P                  V^ 4      pVe   \        V4      ^ 8w  d
   V^ ,          MRpV P                  V^4      pV P                  VP
                  ^ ,          ,          P                  P                  P                  pR F  pVP                  V,          '       g   K  V P                  VP                  V,          ,          pTP                  \        P                  ! VP                  V,          TVe   TM\        V P                  W^ 4      4      Ve   \        V4      M\        V P                  W^4      4      .4      4       K  	  R# )r   Nr  )_propagate_shape_and_typer  rR   r  ru  ri  r   r    r+   r  rq  r   rw  r   r  rW   )rD  r   r  r  grouprE  r8   r.   s   &&      r   r7  -SymbolicShapeInference._infer_aten_group_norm  s   &&t,oodA.)5#k:Ja:OKNUY##D!,~~djjm499EEOOA{{1~~^^DKKN311A$!"AC8Z8Z[_de8f4g $)#4 !*% 0%()K)KDUV)W%X r   c                    R pV P                  V^ 4      pVe   VR,          pV P                  V^4      pVeG   Y$ Uu. uF2  p\        V4      \        P                  J d   VP                  4       MTNK4  	  up,          pMH\        V4      pT\        ^V4       Uu. uF  p\        V P                  V^ V4      4      NK!  	  up,          pVP                  ^ ,          '       d   Ve   V P                  VP                  ^ ,          ,          P                  P                  P                  pV P                  VP                  ^ ,          ,          p	V	P                  \         P"                  ! VP                  ^ ,          W4      4       R # R # R # u upi u upi )N:Nr  N)r  r  r   r<   r=   rT   rR   r  r   r  r  ru  ri  r    r+   rq  r   rw  )
rD  r   r  r  output_sizedim_sizerE   r8   rE  r.   s
   &&        r   r8  +SymbolicShapeInference._infer_aten_upsample  s>   	oodA."#BI--dA6K&juvju^fh2881KhmmoQYYjuvv	;'[`abdh[ij[iVWc$"D"DT1a"PQ[ijj	;;q>>i3>>$**Q-8==IISSLA/BKK55dkk!nl^_ 4>	 w ks   8F%Fc                    V P                  V4       R FN  pV\        VP                  4      8  g   K  VP                  V,          '       g   K:  V P                  V^VR7       KP  	  R# )rQ   input_indexoutput_indexN)rQ   r  r     r%  rR   r  )rD  r   r8   s   && r   r   0SymbolicShapeInference._infer_BatchNormalization*  sO    &&t, A3t{{##A..tQR.S r   c           	        V P                   VP                  ^ ,          ,          pV P                  V4      p\        ;QJ d    R V 4       F  '       d   K   RM	  RM! R V 4       4      '       dq   \	        V^ ,          4      p\	        V^,          4      p\	        V^,          4      p\
        P                  ! \
        P                  ! WT,
          V,          4      ^ 4      .pMV P                  V4      .pV P                  V4       VP                  \        P                  ! VP                  ^ ,          V P                   VP                  ^ ,          ,          P                  P                  P                   \#        V4      4      4       R# )r   c              3   (   "   T F  qR Jx  K
  	  R # 5ir*   rC   )rN  r8   s   & r   rP  6SymbolicShapeInference._infer_Range.<locals>.<genexpr>6  s     1j}jr  FTN)ru  r  r  rS  rW   r?   r}   r/  r  r  rq  r   rw  ri  r   r    r+   r9   )rD  r   r.   
input_datastartlimitdeltar  s   &&      r   r   #SymbolicShapeInference._infer_Range3  s   ^^DKKN+2248
31j13331j111jm,Ejm,Ejm,E$yy7N)OQRSTO#AA$GHO""?3
))Atzz!}-22>>HH*?;	
r   c                \   \        VR ^4      p\        V P                  4      ^8  Ed   \        VP                  4      ^8  Ed   V P                  V^4      pV P                  VP                  ^ ,          ,          pVf   V'       g   Q hVP                  \        P                  ! VP                  ^ ,          V P                  VP                  ^ ,          ,          P                  P                  P                  \        V P                  V P!                  V^ 4      V4      4      4      4       R# V P#                  V^ 4      p. pV Uu. uF  p\%        V\        V4      4      NK  	  pp\'        V4       F9  w  rW9   d   V'       d   VP)                  ^4       K&  K(  VP)                  V	4       K;  	  VP                  \        P                  ! VP                  ^ ,          V P                  VP                  ^ ,          ,          P                  P                  P                  V4      4       R# R# R# u upi )keepdimsN)r   rN   rg  rR   ri  r  ru  r  rq  r   rw  r   r    r+   r9   r  r  r  rF   r  r  )
rD  r   	keep_dimsaxesr.   r%   r  ar8   r'   s
   &&        r   r   'SymbolicShapeInference._infer_ReduceSumF  s   !$
A6	T\\"b(S_q-@&&tQ/DA/B|  y11Atzz!}5::FFPP243K3KDL`L`aeghLiko3pq a0!EIJT,QE
;TJ%e,DAy$(//2 % %++A. - 11Atzz!}5::FFPP$/ .A(  Ks   H)c                `    \        V P                  4      ^8  d   V P                  V4       R# R# )   N)rN   rg  r   r  s   &&r   r   (SymbolicShapeInference._infer_ReduceMeang  s&    T\\"b(!!$' )r   c                    \        VR 4      p\        VR^4      pV^ 8X  dT   V^ .8X  dJ   V P                  V4      ^ ,          pVe,   \        V4      V P                  VP                  ^ ,          &   R# R# R# R# )r>  r<  N)r   r  r]   r  r  )rD  r   r>  r=  r  s   &&   r   r   (SymbolicShapeInference._infer_ReduceProdl  so    T6*!$
A6	>dqck006q9D3G3M  Q0   *>r   c                   V P                  V^4      pV P                  V^4      pVe   Vf   R# V P                  V^ 4      ^,          p^V\        V4      \        V4      .pV P                  VP                  ^ ,          ,          P
                  P                  P                  pV P                  VP                  ^ ,          ,          pVP                  \        P                  ! VP                  ^ ,          We4      4       R# r  )r  r  r   ru  ri  r   r    r+   r  rq  r   rw  )rD  r   seq_lenreal_seq_len	num_headsr  rE  r.   s   &&      r   r'  2SymbolicShapeInference._infer_RelativePositionBiast  s    %%dA.**43?l2))$215		3w<\1BC	~~djjm499EEOO^^DKKN+
F11$++a.,Z[r   c                   V P                  V^4      pV P                  VP                  ^ ,          ,          pVf   V P                  V^4      p\	        V4      ^8X  g   Q hV^ ,          p\        V4      '       g   Q hVP                  \        P                  ! VP                  ^ ,          VP                  P                  P                  \        V P                  WQ4      4      4      4       EMdV P                  V^ 4      p^pV F  pWx,          pK  	  . p	Rp
^p\        V4       F  w  r\        V4      \         P"                  J d   V	P%                  V4       M?V^ 8X  d(   V	P%                  Wl,          4       WV,          ,          pMV	P%                  V4       VR8X  d   Tp
K~  V^ 8w  g   K  W,          pK  	  V	P'                  R4      ^8  g   Q hRV	9   d   W{,          pWV
&   V P)                  V	4       VP                  \        P                  ! VP                  ^ ,          VP                  P                  P                  \        V	4      4      4       V P+                  V4       R# )rQ   Nr+  )r  ru  r  r  rR   r5   rq  r   rw  r   r    r+   r9   r  r  r  r?   rX  r  countr  r  )rD  r   shape_valuer.   shape_shape
shape_rankinput_sympy_shapetotalr'   r  deferred_dim_idxnon_deferred_sizer8   r  s   &&            r   r   %SymbolicShapeInference._infer_Reshape  s   ))$2^^DKKN+//$2K{#q((($QJj))))KK--KKNGG''11.t/G/G
/YZ !% 5 5dA >E&	 ' O! !!+.7ell*#**1-!V#**+<+?@(9a<P(P%#**1-7'($!V(9(=% / #((,q000_$44; 01&&7KK--KKNGG''11.? 	  &r   c                   V P                   VP                  ^ ,          ,          pV P                  V^ 4      p\        V P                  4      ^
8:  d   V P                  V^4      pVe   \        W4RR7       UUu. uF5  w  rV\        P                  ! \        P                  ! WV,          4      4      NK7  	  pppV P                  V4       VP                  \        P                  ! VP                  ^ ,          V P                   VP                  ^ ,          ,          P                  P                   P"                  \%        V4      4      4       R# R# V P                  V^4      pV P                  V^4      pV P                  V^4      p	V	eM   V	 Uu. uF-  p\        P                  ! \        P                  ! V4      4      NK/  	  ppV P                  V4       EMVe   \'        V4      p
\)        VR4      R8X  d7   \'        V4      ^V
,          8X  g   Q h\+        V4      RV
 p\+        V4      V
R pM^ .V
,          p^.V
,          p\+        V4      p\        W;WRR7       UUUUu. uFD  w  r]r\        P                  ! \        P                  ! W^V,
          ,          V,          4      4      NKF  	  pppppV P                  V4       M"V P-                  V P/                  V^ 4      V4      pVP                  \        P                  ! VP                  ^ ,          V P                   VP                  ^ ,          ,          P                  P                   P"                  \%        V4      4      4       R# u uppi u upi u uppppi )r   NFr$  coordinate_transformation_modetf_crop_and_resize)ru  r  r  rN   rg  r  r  r?   simplifyrp  r  rq  r   rw  ri  r   r    r+   r9   rR   r   rI   r  r  )rD  r   r.   rP  scalesr'   rO  r  roisizesrE   	roi_startroi_endr7  endscales   &&              r   r   $SymbolicShapeInference._infer_Resize  s   ^^DKKN+ 11$:T\\"b(((q1F!CFGXinCo#Co41ENN5;;qu#56Co   # **?;11Atzz!}5::FFPP2?C " %%dA.C((q1F''a0E KP"Q5a5>>%++a.#A5"Q**?;#6{ 'GHL``s8q4x/// $S	%4 0I"3i.G!"d
I cDjGf 144ERYjo0p#0p,# NN5;;q%K/@5/H#IJ0p   # **?;"&":":4;O;OPTVW;XZ^"_KK--KKNNN4::a=166BBLL.?I#  #R#s   7;M	3M%A
M*
c                L   \        VR 4      p\        VR4      p\        VR^ .V,          4      p\        VP                  4      V,
          p\        V4       UUu. uF&  w  rg\	        WpP                  WV,           4      4      NK(  	  ppp\        VP                  4      \        VP                  4      8  g   Q hVP                  R\        VP                  4       p\        V4       F  w  riV	P                  p
V	P                  V P                  VP                  V,          ,          4       We8  dO   V	P                  P                  P                  P                  pVP                  WWe,
          ,          ,          4       Wn        K  	  V P                  W4       \        VP                  4      V,
          p\        VR^ .V,          4      p\!        V P                  VP                  R,          ,          P                  4      VR,          ,          p\        VP                  4       F  w  rnV P                  V,          pWe8  d   \!        VP                  V,          P                  4      p\	        WV,
          ,          \        V4      ^,           4      p. VRV OVNVVR OpVP                  \"        P$                  ! WP                  V,          P                  P                  P&                  V4      4       M"VP                  VP                  V,          4       Wn        K  	  R# u uppi )r  num_scan_inputsscan_input_axesNscan_output_axesr+  )r   rR   ri  r  rF   r  r
   rq  ru  r   r    r%   r   rV  r  r  r(   r   rw  r+   )rD  r   r  rb  rc  num_scan_statesr8   axr  r  subgraph_namescan_input_dimnum_scan_outputsrd  r  r.   r%   r  s   &&                r   r   "SymbolicShapeInference._infer_Scan  sr    v.'.?@'.?!AVWdjj/O; #?3
3 !%9%9$O@S%TU3 	 
 8>>"c$**o555"..):3tzz?;/EAGGMKKtzz!}56#!#!4!4!:!:!>!>%%nQEX5Y&Z[#G 0 	!!$1t{{+o=(/AA3IYCYZ24>>$**R.3Q3V3VWXghjXkldkk*DA"B#1(//!2D2I2IJ./?O@S/TVYZ_V`cdVdeL%/L>LE'(OLF99!__Q=O=T=T=`=`=j=jlqrsHOOA./G +'
s   ,L c                b   V P                  V^ 4      pV P                  VP                  ^ ,          ,          pVP                  \        P
                  ! VP                  ^ ,          V P                  VP                  ^ ,          ,          P                  P                  P                  V4      4       R# r  ra  )rD  r   rb  r.   s   &&  r   r   -SymbolicShapeInference._infer_ScatterElements
  sv    __T1-
^^DKKN+
))Atzz!}-22>>HH	
r   c                   V P                  V^ 4      pV P                  VP                  ^ ,          ,          pVe   \        V4       F  w  rEVe   K  \        P
                  P                  4       p\        V P                  V^ V4      4      Vn	        VP                  P                  P                  P                  V,          P                  V4       K  	  R# R# r  )r  ru  r  r  r1   rT  rU  r   r  rk  r   r    r%   r   rq  )rD  r   r  r.   r[  r'   r  s   &&     r   r   (SymbolicShapeInference._infer_SequenceAt  s    OOD!,	^^DKKN+ "9-=//99;$'(J(J4QRTV(W$X!##))--b1::7C . !r   c                   V P                   VP                  ^ ,          ,          pV P                   VP                  ^,          ,          pV P                   VP                  ^ ,          ,          pVP                  V4       VP                  ^ ,          Vn        V P                  V^ VP                  VP                  4       R# r  )ru  ri  r  rq  r
   r]  r   )rD  r   vi_seq	vi_tensor
vi_out_seqs   &&   r   r   ,SymbolicShapeInference._infer_SequenceInsert!  s}    

1.NN4::a=1	^^DKKN3
F#++a.
tQ
Hr   c                f    V P                  V^ 4      V P                  VP                  ^ ,          &   R# r  )r  r  r  r  s   &&r   r  #SymbolicShapeInference._infer_Shape*  s'    +/+@+@q+IQ(r   c                `   V P                  V^ 4      p\        V4      V P                  VP                  ^ ,          &   V P                  VP                  ^ ,          ,          P                  \        P                  ! VP                  ^ ,          \        P                  P                  . 4      4       R# r  )r  r]   r  r  ru  rq  r   rw  r1   rQ  r~  )rD  r   r7   s   && r   r  "SymbolicShapeInference._infer_Size-  sw    ++D!4+?+LQ(t{{1~&//))$++a.$:J:J:P:PRTU	
r   c           	     .  a aa R  oV3R loVV 3R lp\        S P                  4      ^	8:  d^   \        VR4      p\        VR4      p\        VR4      pV'       g   \        \	        \        V4      4      4      p^.\        V4      ,          pM\        S P                  V^4      RR7      p\        S P                  V^4      RR7      pS P                  V^4      pS P                  V^4      pVf,   Vf   Ve$   \        \	        \        Ve   TMT4      4      4      pVf"   Vf   Ve   ^.\        Ve   TMT4      ,          p\        VRR7      p\        VRR7      pS P                  V^ 4      pVe   Vfb   Vf3   \	        \        V4      4       F  pS P                  V^ V4      Wx&   K  	  EM\        V4      pV F  pS P                  V^ V4      Wx&   K  	  EM\        W4WVR	R
7       EF  w  rrV! WV,          4      p
\        V
4      '       d   V
S P                  8  d
   Wx,          p
MV
S P                  ) 8:  d   V	^ 8  d   ^ MRp
M\        Wx,          4      '       d4   V
^ 8  d   \        ^ WV,          ,           4      p
\        WV,          4      p
MV
^ 8  d'   V
^8  d   \         P"                  ! WV,          4      MT
p
MS\        Wx,          4      '       d   \         P"                  ! WV,          4      p
M S! WV,          4      '       g	   Wx,          p
V! WV,          4      p	\        Wx,          4      '       d.   \        V	4      '       d   \        ^ \        WV,          4      4      p	\         P*                  ! W,
          V,           V^ 8  d   RM^,           V,          4      Wx&   EK  	  S P-                  V4       S P.                  VP0                  ^ ,          ,          pVP3                  \4        P6                  ! VP0                  ^ ,          VP8                  P:                  P<                  \        V4      4      4       VP>                  ^ ,          S P@                  9   Ed   V^ .8X  d   Ve   \        V4      ^8X  d   Ve   \        V4      ^8X  d   Ve   \        V4      ^8X  d   S P@                  VP>                  ^ ,          ,          p\9        V4      \        J g8   \9        V4      \B        PD                  J d]   \        VPF                  4      ^8X  dA   W^ ,          V^ ,          V^ ,          1,          S P@                  VP0                  ^ ,          &   R# R# R# R# R# R# R# R# R# R# R#   \$         d/    \&        P)                  RT
 RYx,           R24       Yx,          p
 ELi ; i)c                   a a \        S \        P                  4      '       g   Q R S  24       h\        \	        S P
                  4      4       Uu. uF8  p\        S P
                  V,          \        P                  4      '       g   K6  VNK:  	  pp\	        V4      ^8X  d!   V^ ,          oV V3R lpV! ^ 4      V! ^4      .# S .# u upi )z%Expected a sum of two arguments, got c                 j  < \        SP                  4      p\        VS,          \        P                  4      '       g   Q R S RVS,           24       h\        VS,          P                  4      ^8X  g   Q RVS,           24       hVS,          P                  V ,          VS&   \        P                  ! V!  # )z#Expected a sympy.Min() at position z, got z5Expected a sympy.Min() with exactly 2 arguments, got )rI   argsr  r?   r   rR   ra   )arg_idxreplacedexprmin_poss   & r   replace_min_with_argVSymbolicShapeInference._infer_Slice.<locals>.flatten_min.<locals>.replace_min_with_argB  s    #DIIH%hw&7CC =gYfXV]M^L_`C x0556!; OPXY`PaObc; )1(9(>(>w(GHW% 99h//r   )r  r?   ra   r  rR   r{  r   )r~  r  min_positionsr  r  s   f   @r   flatten_min8SymbolicShapeInference._infer_Slice.<locals>.flatten_min<  s    dEII..^2WX\W]0^^.,1#dii.,Ak,ASZPTPYPYZ]P^`e`i`iEjSS,AMk=!Q&'*	0 )+(+  6M' ls   3C C c                   <  \        W8*  4      #   \         d     Mi ; i \        Y8  4      #   \         d     Mi ; i \        T ) T) 8  4      #   \         d     Mi ; i \        T) T ) 8*  4      #   \         d     Mi ; i \        Y,
          ^ 8  4      #   \         dT    \        ;QJ d,    R S! Y,
          4       4       F  '       d   K   Ru # 	  Ru # ! R S! Y,
          4       4       4      u # i ; i)r   c              3   >   "   T F  p\        V^ 8  4      x  K  	  R# 5ir  )boolr  s   & r   rP  JSymbolicShapeInference._infer_Slice.<locals>.less_equal.<locals>.<genexpr>h  s     D1CA4Q<<1Cs   FT)r  r.  rS  )rV   yr  s   &&r   
less_equal7SymbolicShapeInference._infer_Slice.<locals>.less_equalS  s    AF|# AF|# QB1"H~% QB1"H~% EAEQJ'' EsDQU1CDssDsDsDQU1CDDDEsf    / ==A AA#A3 3B BB C7/C7C7C7C76C7c                   <  S! ^ V 4      '       g.   \        V 4      '       d   V SP                  ) 8:  d   V # W,           #  V #   \         d    \        P	                  RT  R24        T # i ; i)z/normalizes a negative index to be in [0, bound)zCannot determine if z < 0)r5   rA  r.  rY  rZ  )r\  boundr  rD  s   &&r   handle_negative_indexBSymbolicShapeInference._infer_Slice.<locals>.handle_negative_indexj  su    C!!U++!%((Ut}}n-D$ =(	 , L  C!5eWDABLCs   A $A A $A*)A*r>  startsendsTr  NFr$  zUnable to determine if z <= z, treat as equalr+  )$rN   rg  r   rI   r  rR   rZ   r  r  r  r9   r  r5   rA  r   r   r?   r   	ExceptionrY  rZ  rX  r  ru  r  rq  r   rw  r   r    r+   ri  r  r<   arrayr%   )rD  r   r  r>  r  r  stepsr  r8   rO  er  r.   input_sympy_datar  r  s   f&            @@r   r  #SymbolicShapeInference._infer_Slice4  s   	.	E.
	 T\\"a' v.D"42F v.DE#f+./C#d)OET00q9TJF4..tQ74HD&&tQ/D''a0E|V^E#0Bf"MNO}fncF,>&DII440DET2E//a8>T\|s?34A)-)K)KDRSUV)WO& 5 #=_"MA)-)K)KDRSUV)WO&  "$EJJ
a)!Q-?@a==DMM)+.t}}n,!"QAB#O$677q5 #Aq1+='= >A1#56q5DEE		!Q-? @q  "/"455!IIa);<3#-a1C#D#D$3$6
 *!Q-?@o011jmmAs1a&89:A%*^^QUQYA"ST5UZ[4[%\"? KB &&7^^DKKN+
))A##--*?;	
 JJqMT---"Fq  D	Q!E
a#//

1>$%-%&"((2s;K;Q;Q7RVW7W3C1IPTUVPWZ_`aZbDb3c  Q0 8X2	   "  ! ! #  ./  ) 3"NN-DQCtOL^K__o+pq / 2A3s   -U5VVc                   V P                   VP                  ^ ,          ,          pV P                   VP                  ^ ,          ,          P                  P                  P
                  p\        VRR4      pVe   TpW2P                  P                  n        VP                  P                  P                  P                  \        P                  ! 4       4       \        VP                  4      ^8  di   V P                  V^ 4      pV P                   VP                  ^,          ,          pVP                  \        P                  ! VP                  W54      4       R# R# )r   r  N)ru  r  ri  r   r    r+   r   r%   rq  r1   rT  rR   r  r   rw  r
   )rD  r   r.   r+   specified_output_typerb  s   &&    r   r  5SymbolicShapeInference._infer_SoftmaxCrossEntropyLoss  s    ^^DKKN+NN4::a=166BBLL	 !.dM4 H ,-I(1%
!!**4+@+@+BCt{{aq1JA/BKK55bggyUV  r   c                   V P                  V^ 4      p\        \        VR^ 4      \        V4      4      p\	        V P
                  4      pV^8  d$   \        VR4      pV P                  V^4      e   Q hM"V P                  V^4      p\        VR4      e   Q hVfS   \        VP                  4      pW4,          \        P                  ! V4      ,          .V,          pV P                  V4       M%V Uu. uF  p\        P                  ! V4      NK  	  pp\        \        V4      4       F  p	V P                  VP                  V	,          ,          p
V
P                  V! VP                  V	,          V P                  VP                  ^ ,          ,          P                  P                   P"                  \%        . VRV OWi,          NW4^,           R O4      4      4       WP                  V
P&                  &   K  	  R# u upi )r   rD   r  N)r  rF   r   rR   rN   rg  r  r  r?   r@   r  r  ru  rq  ri  r   r    r+   r9   r
   )rD  r   make_value_info_funcrP  rD   op_setr  num_outputsrO  r  r.   s   &&&        r   _infer_Split_Common*SymbolicShapeInference._infer_Split_Common  s    11$:#M$$BCHYDZ[4<<( B;!$0E&&tQ/777''a0E w/777=dkk*K&,u}}[/IIJ[XE&&u-/45u!U]]1%uE5U$CC 01BKK$KK$NN4::a=166BBLL./v1B5D1I/v5:/vXiqrjrjtXu/vw ')NN277# % 6s   .G3c                F    V P                  V\        P                  4       R # r*   )r  r   rw  r  s   &&r   r  #SymbolicShapeInference._infer_Split   s      v'D'DEr   c                F    V P                  V\        P                  4       R # r*   )r  r   make_sequence_value_infor  s   &&r   r  -SymbolicShapeInference._infer_SplitToSequence  s      v'F'FGr   c                |   V P                  V^ 4      p\        V P                  4      pV^8  d$   \        VR4      pV P	                  V^4      e   Q hM"V P	                  V^4      p\        VR4      e   Q hVf   V Uu. uF  qU^8w  g   K  VNK  	  ppV P
                  ^ 8  dj   V Uu. uF  p\        V4      \        8w  g   K  VNK  	  pp\        V4      ^ 8  d3   \        P                  RVP                   RVP                   RV 24       MV Uu. uF  p\        V\        V4      4      NK  	  pp. p\        \        V4      4       F  p	W9  d   VP                  W),          4       K"  W),          ^8X  g   \        W),          4      \        8w  g   Q hV P
                  ^ 8  g   K^  \        W),          4      \        8w  g   Kz  \        P                  RVP                   RVP                   RW),           RV	 R2	4       K  	  V P                   VP"                  ^ ,          ,          p
V
P%                  \&        P(                  ! VP"                  ^ ,          V P                   VP*                  ^ ,          ,          P                  P,                  P.                  V4      4       V P1                  V4       R# u upi u upi u upi )	r   r>  Nz+Symbolic dimensions in input shape of op: 'z	' node: 'z;'. Assuming the following dimensions are never equal to 1: z'. Assuming the dimension 'z' at index z of the input to be equal to 1.)r  rN   rg  r   r  r@  r   r6   rR   rY  r  r  r
   rF   r  r  ru  r  rq  r   rw  ri  r    r+   r  )rD  r   r  r  r>  rO  r  symbolic_dimensionsr?  r8   r.   s   &&         r   r  %SymbolicShapeInference._infer_Squeeze  s]   oodA.4<<( B; v.D&&tQ/777&&tQ/D v.666< (3={!1fAA{L=}}q 2=&P+QaCqq+#&P*+a/LLEdll^S\]a]f]f\g hSSfRgi
 HLLt!(C,<=tDLL3{+,= ''7&>Q.${~2F#2MMM}}q(T+.-AS-HI$,,W`aeajaj`k l77B~6FkRSQTTsu - ^^DKKN+
))Atzz!}-22>>HH	
 	  &= >&P Ms   <J/	J/&J4J4J9c           	     0   V P                  V^4      p. pVeY   V P                  V^ 4      p\        V4       F%  w  rVWbV,          ,          pVP                  V4       K'  	  V P	                  V4       M"V P                  V P                  V^ 4      V4      pV P                  VP                  ^ ,          ,          pVP                  \        P                  ! VP                  ^ ,          VP                  P                  P                  \        V4      4      4       R# r  )r  r  r  r  r  r  r  ru  r  rq  r   rw  r   r    r+   r9   )	rD  r   repeats_valuer  rP  r8   r'   r  r.   s	   &&       r   r  "SymbolicShapeInference._infer_Tile6  s    ++D!4$ $ 5 5dA >!"34A..&&w/ 5 &&7"66t7K7KDRS7TVZ[O^^DKKN+
))A##--*?;	
r   c                   V P                  V^ 4      p\        \        VRR4      V4      pV P                  V^ 4      p\	        V P
                  4      ^	8:  d   \        VR4      pMV P                  V4      ^,          pVf   V P                  V4      pM\        V4      p\        V4      \        \        39   d   WTV&   M2V P                  V^ 4      pWVV&   V P                  V4       \        V4      p\        \!        VP"                  4      4       F}  pV P$                  VP"                  V,          ,          pVP'                  \(        P*                  ! VP"                  V,          VP                  P,                  P.                  V4      4       K  	  R# )r   rD   r`  Nr+  )r  rF   r   r  rN   rg  r  r  rW   r   r6   r   r  r  r9   r  rR   r  ru  rq  r   rw  r    r+   )	rD  r   rE   rD   r  r`  r  r  r.   s	   &&       r   r	  "SymbolicShapeInference._infer_TopKJ  s;   ##D!,#M$$CTJOOD!,	T\\"a'dC(A--d3A6A92248A!A7sCj dO"33D!<O$%D!&& 3?CIT[[)*CC 01BKK55dkk#6FH[H[HeHegpqr +r   c                   VP                   ^ ,          V P                  9   d   V P                  V^ 4      p\        VR\	        \        \        \        V4      4      4      4      4      pV P                  VP                   ^ ,          ,          p\        P                  ! \        P                  ! V4      P                  ! V!  \        V4      R7      P                  4       P                  4       V P                  VP                  ^ ,          &   R# R# )r   perm)r>  N)ri  r  r  r   reversedrI   r  rR   r<   	transposer  reshapetupleflattentolistr  )rD  r   rb  r  r6  s   &&   r   r
  'SymbolicShapeInference._infer_Transposeg  s    ::a=D,,,q1J vxU3z?=S8T/UVD))$**Q-8JRXXj199:FUSW[Yaacjjl T[[^,	 -r   c                X   V P                  V^ 4      p\        V P                  4      pV^8  d$   \        VR4      pV P	                  V^4      e   Q hM"V P	                  V^4      p\        VR4      e   Q h\        V4      \        V4      ,           pV Uu. uF  p\        We4      NK  	  pp^ p. p\        V4       F<  p	W9   d   VP                  ^4       K  VP                  W',          4       V^,          pK>  	  V P                  VP                  ^ ,          ,          p
V
P                  \        P                  ! VP                  ^ ,          V P                  VP                  ^ ,          ,          P                  P                   P"                  V4      4       V P%                  V4       R# u upi )r   r>  N)r  rN   rg  r   r  rR   rF   r  r  ru  r  rq  r   rw  ri  r   r    r+   r  )rD  r   r  r  r>  output_rankr?  
input_axisr  r8   r.   s   &&         r   r  'SymbolicShapeInference._infer_Unsqueezep  sb   oodA.4<<( B; v.D&&tQ/777&&tQ/D v.666+&T2>BCd$Q4dC
{#Ay##A&##K$;<a
 $ ^^DKKN+
))Atzz!}-22>>HH	
 	  &) Ds   F'c                   R p\        VR4      e   \        P                  P                  pM(\        VR4      e   \        P                  P                  pVf   Q h\        P
                  ! 4       pVP                  ^ ,          Vn        \        P                  P                  VP                  P                  P                  P                  P                  P                  n        W#P                  P                  P                  P                  n        V P                   VP                  ^ ,          ,          pVP#                  V4       R # )Nclasslabels_int64sclasslabels_strings)r   r1   rQ  r~  r}  r2   r  r
   FLOATr   r   r+   map_type
value_typer    key_typeru  rq  )rD  r   map_key_typenew_vir.   s   &&   r   r  $SymbolicShapeInference._infer_ZipMap  s    34@++11L4!67C++22L'''$$&kk!nX\XhXhXnXn!!++44??KKU@L!!++44=^^DKKN+
Fr   c                   V P                  V^ 4      pV P                  V^4      pV P                  V^4      pVe   \        V4      ^8X  g   Q hVe
   V^ ,          MV^,          pV'       Edq   \        V4      ^8X  Ed^   \        VR4      pVe)   \        V4      ^8X  g   Q h\	        V^,          4      V^&   M+\        V\        4      '       d   \	        V^,          4      V^&   V P                  VP                  ^ ,          ,          P                  P                  P                  pV P                  VP                  ^ ,          ,          pVP                  \        P                  ! VP                  ^ ,          Wr4      4       \        VP                  4      ^8  EdA   V P                  V^ 4      p	\        VP                  4      ^8  d,   VP                  ^,          '       d   V P                  V^4      M. p
\        VP                  4      ^8  d,   VP                  ^,          '       d   V P                  V^4      M. pV
'       Ed   \        V
4      ^8X  Ed   V'       d   \        V4      R9   d   VR,          V
^&   MV	'       d~   \        V	4      ^8X  dn   \        V	^,          \        4      '       d9   \        V
^,          \        4      '       d   V	^,          V
^,          ,           V
^&   MV
^,           RV	^,           2V
^&   V P                  VP                  ^,          ,          pVP                  \        P                  ! VP                  Wz4      4       R# \        VR4      pV	^,          V,          p^V	^ ,          W^,          V.pV P                  VP                  ^,          ,          pVP                  \        P                  ! VP                  W~4      4       R# R# R# R# )r   Nqkv_hidden_sizes+rI  r  r+  )r  r  rR   r   r6   r  ru  ri  r   r    r+   r  rq  r   rw  r
   )rD  r   r%   shape_weights
shape_biastripled_hidden_sizeqkv_hidden_sizes_attrrE  r.   r  
past_shape
mask_shaperI  	head_sizepresent_shapes   &&             r   r  'SymbolicShapeInference._infer_Attention  s   a(a0((q1
!z?a'''/9/Ejm=YZK[5SZ1_$1$8J$K!$001Q6664Q78a/552Q67a>>$**Q-8==IISSLA/BKK55dkk!nlZ[4;;!#
 #oodA69<TZZ19LQUQ[Q[\]Q^Q^T__T15df
9<TZZ19LQUQ[Q[\]Q^Q^T__T15df
:#j/Q"6!c*o&?(22
1$[)9Q)>%k!nc::z*UV-Y\?]?],7NZ],JJqM/9!}oQ{1~>N,OJqMA7BKK = =bgg| `a !.dK @I +A) ;I%&A	q>S\$]MA7BKK = =bgg| cd3 $ %5r   c                >   \        VR 4      pV P                  V^4      pVe   V^ ,          W#^,          V^,          .pMBV P                  V^ 4      pVe   \        V4      ^8X  g   Q hV^ ,          W%^,          V^,          .pV P                  VP
                  ^ ,          ,          P                  P                  P                  pV P                  VP                  ^ ,          ,          pVP                  \        P                  ! VP                  ^ ,          Wd4      4       R# )rI  N)r   r  r  rR   ru  ri  r   r    r+   r  rq  r   rw  )rD  r   rI  token_offset_shaper  query_layer_shaperE  r.   s   &&      r   r  7SymbolicShapeInference._infer_GatedRelativePositionBias  s     "$4	!00q9).q19QR>SUghiUjkL $a 8$0S9J5Kq5PPP-a0)q=QSdefSghL~~djjm499EEOO^^DKKN+
F11$++a.,]^r   c                   V P                  V^ 4      pV P                  V^4      pV P                  V^4      pVe   \        V4      ^8X  g   Q hVe
   V^ ,          MV^,          pV'       Ed   \        V4      ^8X  Ed   \        VR4      pVe)   \        V4      ^8X  g   Q h\	        V^,          4      V^&   M+\        V\        4      '       d   \	        V^,          4      V^&   V P                  VP                  ^ ,          ,          P                  P                  P                  pV P                  VP                  ^ ,          ,          pVP                  \        P                  ! VP                  ^ ,          Wr4      4       R# R# R# )r   Nr  )r  r  rR   r   r6   r  ru  ri  r   r    r+   r  rq  r   rw  )	rD  r   r%   r  r  r  r  rE  r.   s	   &&       r   r!  -SymbolicShapeInference._infer_PackedAttention  s6   a(a0((q1
!z?a'''/9/Ejm=YZK[5SZ1_$1$8J$K!$001Q6664Q78a/552Q67a>>$**Q-8==IISSLA/BKK55dkk!nlZ[ %5r   c                "   V P                  V^4      pVe   \        V4      ^8X  d   TpMHV P                  V^ 4      pVe   \        V4      ^8X  g   Q hV^ ,          V^,          V^,          ,          .pV P                  VP                  ^ ,          ,          P
                  P                  P                  pV P                  VP                  ^ ,          ,          pVP                  \        P                  ! VP                  ^ ,          WS4      4       R# r  )r  rR   r  ru  ri  r   r    r+   r  rq  r   rw  )rD  r   rM  r  shape_queryrE  r.   s   &&     r   r"  6SymbolicShapeInference._infer_PackedMultiHeadAttention  s    ))$2"s;'71'<&L//$2K*s;/?1/DDD'NKN[^,KLL~~djjm499EEOO^^DKKN+
F11$++a.,]^r   c           	        V P                  V^ 4      pV'       Ed+   \        V4      ^8X  Ed   V P                  VP                  ^ ,          ,          P                  P
                  P                  pV P                  VP                  ^ ,          ,          pVP                  \        P                  ! VP                  ^ ,          VRV^,          .4      4       V P                  VP                  ^,          ,          pVP                  \        P                  ! VP                  ^,          \        P                  P                  V^ ,          V^,          .4      4       V P                  VP                  ^,          ,          pVP                  \        P                  ! VP                  ^,          \        P                  P                  R.4      4       V P                  VP                  ^,          ,          pVP                  \        P                  ! VP                  ^,          \        P                  P                  ^.4      4       R# R# R# )r   token_countzbatch_size + 1Nr  rR   ru  ri  r   r    r+   r  rq  r   rw  r1   rQ  r  )rD  r   r%   rE  r.   vi_token_offsetvi_cumulated_seq_lenvi_max_seq_lens   &&      r   r(  +SymbolicShapeInference._infer_RemovePadding	  s   a(5SZ1_>>$**Q-8==IISSLA/BKK55dkk!nlUbdijkdlTmno"nnT[[^<O$$--dkk!nd>N>N>T>TW\]^W_afghaiVjk $(>>$++a.#A  ))--dkk!nd>N>N>T>TWgVhi "^^DKKN;N##F$A$A$++a.RVRbRbRhRhkljm$no! %5r   c                ,   V P                  V^ 4      pV P                  V^4      pV'       d   \        V4      ^8X  d   V'       d   \        V4      ^8X  d   V P                  VP                  ^ ,          ,          P                  P
                  P                  pV P                  VP                  ^ ,          ,          pV^ ,          V^,          V^,          .pVP                  \        P                  ! VP                  ^ ,          WF4      4       R# R# R# R# R# r  )r  rR   ru  ri  r   r    r+   r  rq  r   rw  )rD  r   shape_inputshape_token_offsetrE  r.   r  s   &&     r   r)  ,SymbolicShapeInference._infer_RestorePadding	  s    oodA.!__T153{+q05GCPbLcghLh>>$**Q-8==IISSLA/B.q13Ea3H+VW.YLKK55dkk!nlab Mi5G0;r   c                (    V P                  V4       R # r*   r%  r  s   &&r   r  &SymbolicShapeInference._infer_BiasGelu"	      &&t,r   c                   V P                  V^ 4      pRpRpVEeT   \        V4      ^8X  Ed   V P                  V^4      pTpVeL   \        V4      ^8X  d<   V P                  V^4      pVe   \        V4      ^8X  d   V^,          V^&   V^,          pV P                  VP                  ^ ,          ,          P
                  P                  P                  pV P                  VP                  ^ ,          ,          pVP                  \        P                  ! VP                  ^ ,          WF4      4       EM@\        V4      ^8X  Ed0   \        V^,          \        4      '       dG   \        V^,          \        4      '       d*   V^ ,          V^,          V^,          V^,          ,          .pM&V^ ,          V^,          V^,           RV^,           2.pV^,          pV P                  VP                  ^ ,          ,          P
                  P                  P                  pV P                  VP                  ^ ,          ,          pVP                  \        P                  ! VP                  ^ ,          WF4      4       \        VP                  4      ^8  Ed   V^ ,          p	\        VR4      p
Rp\        V4      ^8X  dF   \        V^,          \        4      '       d   \        V^,          V
,          4      MV^,           RV
 2pM	V^,          pV P                  V^4      pVeS   \        V^,          \        4      '       d(   \        V\        4      '       d   V^,          V,           pMV^,           RV 2pWW;.pVf   Q h\        VP                  4      ^8  d   VP                  ^,          '       d   VP                  ^,          '       d   V P                  VP                  ^,          ,          pVP                  \        P                  ! VP                  WM4      4       V P                  VP                  ^,          ,          pVP                  \        P                  ! VP                  WM4      4       R# R# R# R# R# R# )r   N*rI  /r  )r  rR   r  ru  ri  r   r    r+   r  rq  r   rw  r  r6   r   r
   )rD  r   query_shapetotal_sequence_lengthrE  	key_shaper  value_shaper.   
batch_sizerI  r  r  r  s   &&            r   r  0SymbolicShapeInference._infer_MultiHeadAttention%	  sz    oodA. $";1$ //a8	*(S^q-@"&"5"5dA">K".3{3Cq3H*5a.Q,5aL)#~~djjm<AAMMWW^^DKKN3F99$++a.,ef[!Q&k!nc22z+a.RU7V7V$/NKNKPQNU`abUcDc#dL$/NKN{ST~FVVWXcdeXfWgDh#iL(3A%#~~djjm<AAMMWW^^DKKN3F99$++a.,ef4;;!#(^
)$<	 	{#q( &k!nc:: KNY67 +A/q<  !,AI!00q9
)!*Q-55*EZ\_:`:`0:1@U0U-3=a=/CXBY0Z-!+8M Y#///t{{#a'DKKNNt{{1~~A7BKK = =bgg| cdA7BKK = =bgg| cd	 @NN'3 $7 #r   c                   V P                  V^ 4      pVEe   TpV P                  VP                  ^ ,          ,          P                  P                  P
                  pVf   Q hV P                  VP                  ^ ,          ,          pVP                  \        P                  ! VP                  ^ ,          WC4      4       \        VP                  4      ^8  d   VP                  ^,          '       d   VP                  ^,          '       d   V P                  V^4      pVe   V P                  VP                  ^,          ,          pVP                  \        P                  ! VP                  WF4      4       V P                  VP                  ^,          ,          pVP                  \        P                  ! VP                  WF4      4       R# R# R# R# R# R# r  )r  ru  ri  r   r    r+   r  rq  r   rw  rR   r  r
   )rD  r   r  r  rE  r.   r  s   &&     r   r  =SymbolicShapeInference._infer_DecoderMaskedMultiHeadAttentionq	  sF    oodA."&L>>$**Q-8==IISSL+++A/BKK55dkk!nlab4;;!#A4;;q>>!00q9
)A7BKK = =bgg| `aA7BKK = =bgg| `a	 * <J# #r   c                $   V P                  V^ 4      pVEey   VP                  4       pV P                  VP                  ^ ,          ,          P                  P
                  P                  pVf   Q h\        V4      RRR3w  rVrxVP                   Fq  p	V	P                  R8X  d    V	P                  pVR8X  d	   WV,           MTpK3  V	P                  R8X  d   V	P                  pKR  V	P                  R8X  g   Ke  V	P                  pKs  	  VP                  V4       W&,          V,
          V,          ^,           W6&   V P                  VP                  ^ ,          ,          p
V
P                  \        P                  ! VP                  ^ ,          WC4      4       R# R# )r   Nr   r  r   r+  )r  r  ru  ri  r   r    r+   rR   r	   r
   r8   r  r  rq  r   rw  )rD  r   r  r  rE  rE   r   r  r   r   r.   s   &&         r   r.  *SymbolicShapeInference._infer_UnfoldTensor	  s4   oodA."&++-L>>$**Q-8==IISSL+++$'$4dD$$F!Dt99%&&C(+r	$*sCYY&(66DYY&(66D ' %!,!1D!8T AA ELA/BKK55dkk!nlab' #r   c           	        V P                  V^ 4      pVe   \        V4      pV^8X  g
   V^8X  g   Q hW#^,
          ,          W#^,
          ,          rT^RV RV RV RV 2.p\        P                  P                  pV P
                  VP                  ^ ,          ,          pVP                  \        P                  ! VP                  ^ ,          Wv4      4       R# R# )r   Nzmax(z, z	) <= O < z + )
r  rR   r1   rQ  r  ru  r  rq  r   rw  )	rD  r   r  	shape_lenMr  r  rE  r.   s	   &&       r   r  0SymbolicShapeInference._infer_DynamicTimeWarping	  s     oodA."K(I>Y!^331}-{q=/IqaS1#YqcQC@AL++11LA/BKK55dkk!nlab #r   c                (    V P                  V4       R # r*   r  r  s   &&r   r  &SymbolicShapeInference._infer_FastGelu	  r  r   c                (    V P                  V4       R # r*   r  r  s   &&r   r  "SymbolicShapeInference._infer_Gelu	  r  r   c                (    V P                  V4       R # r*   r  r  s   &&r   _infer_QuickGelu'SymbolicShapeInference._infer_QuickGelu	  r  r   c                (    V P                  V4       R # r*   r  r  s   &&r   r  *SymbolicShapeInference._infer_GemmFastGelu	  r  r   c                (    V P                  V4       R # r*   r  r  s   &&r   r  (SymbolicShapeInference._infer_GemmFloat8	  r  r   c                   V P                  V4       \        VP                  4      ^8  Ed   \        VR4      pVf   RpV P	                  V^ 4      pVEe   \        V4      p\        W$4      pVRV \        WB,
          4       Uu. uF  p^NK  	  up,           pV P                  VP                  ^ ,          ,          P                  P                  P                  pV\        P                  P                  8X  g    V\        P                  P                  8X  d   \        P                  P                   pV P                  VP                  ^,          ,          pVP#                  \$        P&                  ! VP                  ^,          Wv4      4       \        VP                  4      ^8  d^   V P                  VP                  ^,          ,          pVP#                  \$        P&                  ! VP                  ^,          Wv4      4       R# R# R# R# u upi )rQ   rD   Nr+  )r%  rR   r  r   r  rF   r  ru  ri  r   r    r+   r1   rQ  FLOAT16BFLOAT16r  rq  r   rw  )	rD  r   rD   x_shaperE   r  
mean_shape
mean_dtyper.   s	   &&       r   r  0SymbolicShapeInference._infer_LayerNormalization	  s|   &&t,t{{a v.D|oodA.G"7|+D7$Ud^%:L.M:LQq:L.MM
!^^DJJqM:??KKUU
!1!1!9!99Z4K[K[KdKd=d!%!1!1!7!7J^^DKKN3F99$++a.*abt{{#a'A7BKK = =dkk!nj ef ( #   /Ns   H	c                (    V P                  V4       R # r*   r  r  s   &&r   r  1SymbolicShapeInference._infer_LongformerAttention	  r  r   c                6   V P                  V^ 4      pV P                  V^4      p\        V4      ^8X  d   \        V4      ^8X  g   Q h. VOV^,          NpV P                  VP                  ^,          ,          P                  P
                  P                  pV P                  VP                  ^ ,          ,          pVP                  \        P                  ! VP                  ^ ,          WT4      4       \        VP                  4      ^8  d   VP                  ^,          '       d   V^ ,          .pV P                  VP                  ^,          ,          pVP                  \        P                  ! VP                  ^,          \        P                  P                  V4      4       \        VP                  4      ^8  d^   V P                  VP                  ^,          ,          pVP                  \        P                  ! VP                  ^,          WT4      4       R# R# r  r  )rD  r   input_ids_shapeword_embedding_shaper  word_embedding_dtyper.   mask_index_shapes   &&      r   r  5SymbolicShapeInference._infer_EmbedLayerNormalization	  sz   //$2#tQ7?#q(S1E-F!-KKKBB*>q*AB#~~djjm<AAMMWW^^DKKN+
F11$++a.BVeft{{aDKKNN / 23A/BKK55dkk!ndFVFVF\F\^nopt{{a A/BKK55dkk!nFZij	  r   c                    V P                  V4       \        VP                  4      ^8  d   V P                  V^ ^4       R# R# )r  Nr1  r  s   &&r   r,  4SymbolicShapeInference._infer_SkipLayerNormalization	  s:    &&t, t{{a**4A6  r   c                (    V P                  V4       R # r*   r  r  s   &&r   r  'SymbolicShapeInference._infer_GroupNorm	  r  r   c                (    V P                  V4       R # r*   r  r  s   &&r   r#  ,SymbolicShapeInference._infer_PagedAttention	  r  r   c                   V P                   VP                  ^ ,          ,          P                  P                  P                  pV P                  V^4      pVe   V P                   VP                  ^,          ,          pVP                  \        P                  ! VP                  W#4      4       V P                   VP                  ^,          ,          pVP                  \        P                  ! VP                  W#4      4       VP                  ^,          R8w  d.   VP                  ^,          R8w  d   V P                  V^ ^ 4       R# VP                  ^,          R8X  d   VP                  ^,          R8X  g   Q h\        VR4      p\        VR4      pV P                  V^ 4      pVe   V^,          p\        V\        4      '       d   \        W^V,          ,           ,          4      p	WY,          V^&   V P                   VP                  ^ ,          ,          pVP                  \        P                  ! VP                  ^ ,          W'4      4       R# R# R# )r   NrH   rI  kv_num_heads)ru  ri  r   r    r+   r  r  rq  r   rw  r
   r%  r   r  r  r6   )
rD  r   rE  r  r.   rI  r  r  hidden_sizer  s
   &&        r   r  1SymbolicShapeInference._infer_GroupQueryAttention	  s   ~~djjm499EEOO((q1
! A/BKK55bgg|XYA/BKK55bgg|XY::a=B4::a=B#6**4A6 ::a=B&4::a=B+>>>%dK8I(~>L//$2K&)!nk3// #Kq<?O3O$P QI%.%:KNA7BKK = =dkk!nl hi	 0 'r   c                (    V P                  V4       R # r*   )r  r  s   &&r   r-  -SymbolicShapeInference._infer_SparseAttention
  s    ''-r   c                    V P                  V^ ^ 4       \        VP                  4      ^8  d   V P                  V^ ^4       R# R# r  r1  r  s   &&r   r+  +SymbolicShapeInference._infer_SkipGroupNorm
  s<    &&tQ2t{{a**4A6  r   c                   V P                  V^ 4      pV P                  V^4      pV'       d   V'       d   \        V^ ,          \        4      '       d   Tp\        V^ ,          ^,          4      V^&   V P                  VP                  ^ ,          ,          pV P                  VP
                  ^ ,          ,          P                  P                  P                  pVP                  \        P                  ! VP                  Wd4      4       R# R# R# R# r  )r  r  r6   ru  r  ri  r   r    r+   rq  r   rw  r
   )rD  r   r  
bias_shaper  r.   rE  s   &&     r   r  +SymbolicShapeInference._infer_BiasSplitGelu
  s    oodA.__T1-
:*Z]C*H*H&L!*Q-!"34LOA/B>>$**Q-8==IISSLKK55bgg|Z[ +I:;r   c                (    V P                  V4       R # r*   r  r  s   &&r   r  %SymbolicShapeInference._infer_BiasAdd"
  r  r   c                   \        VP                  4      ^8X  d   V P                  V4       R# \        VP                  4      ^8X  d+   V P                  V^^ R7       V P                  V^ ^R7       R# \        VP                  4      ^8X  d?   V P                  V^^ R7       V P                  V^^R7       V P                  V^ ^R7       R# R# )rQ   r-  N)rR   r  r%  r  s   &&r   r*  -SymbolicShapeInference._infer_RotaryEmbedding%
  s    t{{q **40"**4QQ*O**4QQ*O"**4QQ*O**4QQ*O**4QQ*O	 #r   c                   \        VR 4      pV'       g   Q RVP                   R24       h\        VR4      pV'       g   Q RVP                   R24       h^ RIHp \        VR4      P	                  4       pV! V4      pV P
                  VP                  ^ ,          ,          pVP                  \        P                  ! VP                  ^ ,          \        P                  P                  . 4      4       VEe   . p. p	\        \        VP                  4      4       Fx  p
V P!                  W4      pVP#                  V4       V P
                  VP                  V
,          ,          P$                  P&                  P(                  pV	P#                  V4       Kz  	  V! WV	4      w  r\        V4      \        V4      u;8X  d"   \        VP                  4      ^,
          8X  gC   M Q RV R\        V4       R	\        V4       R
\        VP                  4      ^,
           R2	4       h\        \        VP                  4      ^,
          4       Ft  pV^,           pV P
                  VP                  V,          ,          pVP                  \        P                  ! VP                  V,          W,          W,          4      4       Kv  	  R# \        \        VP                  4      ^,
          4       F  pV P
                  VP                  V^,           ,          ,          pV P+                  W?,          V4      p\-        V4      p\        P                  ! VP                  V^,           ,          W/,          V4      pVP                  V4       K  	  R# )output_tensor_typesz
PythonOp 'z'' has no output_tensor_types attribute.output_tensor_ranksz'' has no output_tensor_ranks attribute.)get_shape_inference_function	func_nameNz' returned z shapes and z dtypes, but expected z	 outputs.)r   r
   onnxruntime.capi._pybind_stater,  r,  ru  r  rq  r   rw  r1   rQ  r~  r  rR   ri  r  r  r   r    r+   r  r9   )rD  r   r*  r+  r,  r-  shape_infererr.   input_shapesinput_dtypesr.  r%   input_dtypeoutput_shapesoutput_dtypesr8   r/  r7   rj  s   &&                 r   r$  &SymbolicShapeInference._infer_PythonOp2
  s   +D2GH"cj;b$cc"+D2GH"cj;b$cc"O!$4;;=	4Y? ^^DKKN+
F11$++a.$BRBRBXBXZ\]^$LL$S_5:##E*"nnTZZ-DEJJVV``##K0	  6
 ,9\+Z(M}%]);UDKK@PST@TU YK{3}3E2FlSVWdSeRf g  #DKK 01 45Y@U 3t{{+a/0 1u^^DKK$=>11$++l2K]M]_l_op 1 3t{{+a/0^^DKKA$67"667J7MtT2;?#::4;;q1u;MObOeglm
J' 1r   c                b   V P                  W4      pV P                  VP                  V,          ,          P                  P                  P
                  pV P                  VP                  V,          ,          pVP                  \        P                  ! VP                  V,          WT4      4       R # r*   )
r  ru  ri  r   r    r+   r  rq  r   rw  )rD  r   r.  r/  r%   rE  r.   s   &&&&   r   r%  0SymbolicShapeInference._propagate_shape_and_typea
  sr    2~~djj&=>CCOOYY^^DKK56
F11$++l2K\abr   c                h    \        V4      \        8w  d   R # RV9  d   R # WP                  9   d   R # R# )Funk__T)r   r   r<  )rD  rl  s   &&r   _is_none_dim#SymbolicShapeInference._is_none_dimg
  s.    	?c!)#+++r   c                N    V F  pV P                  V4      '       g   K  Vu # 	  R # r*   )r:  )rD  	out_shapeouts   && r   _is_shape_contains_none_dim2SymbolicShapeInference._is_shape_contains_none_dimp
  s'    C  %%
  r   c                x'  a a$a% T;'       g    / S n         S P                  P                  P                  R 4       S P	                  RR7       \        4       S n        S P                  P                  P                   EF#  p\        V4      pVf   K  \        VP                  4      '       d@   VP                  P                  P                  P                  P                  P                  pM*VP                  P                  P                  P                  p\!        V4       F;  w  rVVe   K  \#        S P%                  VP&                  V4      4      WE,          n        K=  	  S P                  P+                  V Uu. uF  p\        V4      \"        J g   K  VNK  	  up4       EK&  	  S P                   F  pVS P,                  9   dI   S P,                  V,          p	V	S P.                  9   g   Q hS P.                  V	,          S P.                  V&   K\  \0        P2                  ! VRRR7      S P.                  V&   K  	  \4        P6                  ! 4       S n        S P8                  P;                  S P                  4       S P8                  P                  P                  R4       / p
V$3R lo$S P8                  P                  P<                   F  pS$! V4      WP>                  ^ ,          &   K   	  . p\A        S P                  P                  P                  4      \A        S P                  P                  PB                  4      ,            Uu0 uF  q"P&                  kK  	  upo%\D        ;QJ d=    V%3R lS P                  P                  P>                   4       F  '       g   K   RM2	  RM.! V%3R lS P                  P                  P>                   4       4      '       d#   S P                  P                  P<                  pEM\F        ;QJ d=    V%3R	 lS P                  P                  P>                   4       F  '       d   K   RM2	  RM.! V%3R	 lS P                  P                  P>                   4       4      '       Eg   \I        V4      pS P                  P                  P<                   F  pVP>                  ^ ,          S%9  g   K  \F        ;QJ d6    V%3R
 lWP>                  ^ ,          ,           4       F  '       d   K   RM+	  RM'! V%3R
 lWP>                  ^ ,          ,           4       4      '       g   K  S%P+                  VP>                  4       VPK                  V4       K  	  V\I        V4      8X  g   EKx  \F        ;QJ d=    V%3R lS P                  P                  P>                   4       F  '       d   K   RM2	  RM.! V%3R lS P                  P                  P>                   4       4      '       d   EK  \M        R4      hV EF  p\F        ;QJ d)    V 3R lVP                   4       F  '       d   K   RM	  RM! V 3R lVP                   4       4      '       g   Q hS PO                  V4       RpVPP                  S PR                  9   d&   S PR                  VPP                  ,          ! V4       EM\VPP                  R,9   d   S PT                  VP>                  ^ ,          ,          p\I        VP                  P                  P                  P                  4      ^ 8X  d4   \4        PV                  PX                  VP                  P                  n        MVPP                  R8X  d   VPZ                  R8X  d   VP\                   F  pVP&                  R8X  g   K  \_        VP`                  \b        4      '       d   VP`                  Pe                  R4      MVP`                  pVS Pf                  9   d   RpS Pf                  V,          ! V4        M	  S Ph                  ^8  d   \j        Pm                  VPP                  R,           VP&                  ,           4       \!        VP                  4       F1  w  pp\j        Pm                  RTTVS Pn                  9   d   RMR4       K3  	  VPP                  R-9   Ed   S PT                  VP>                  ^ ,          ,          p\I        \q        VP                  4      4      p\s        \I        VP                  4      4       Uu. uF  pS Pu                  W4      NK  	  pp\s        TVPP                  R.9   d   ^M^ ,
          4       Fp  pV Uu. uF<  p\I        V4      V,           V8  g   K  V\I        V4      V,
          V,           ,          NK>  	  pp\I        V4      ^8  g   K]  S Pw                  VRR7       Kr  	  \s        \I        VP>                  4      4       E	F  pVPP                  R8X  g   VPP                  R8X  d
   VR/9   d   K/  VPP                  R8X  d   \I        VP>                  4      ^8  d   K\  S PT                  VP>                  V,          ,          pVP                  pVPy                  R4      pVR09  EdE   S Ph                  ^8  Ed0   VR8X  d   VP                  P                  Py                  R4      pVR8X  d   \j        Pm                  RP{                  VP>                  V,          \#        \        V4      4      \4        PV                  P|                  P                  VP                  P                  P                  P                  P                  4      4      4       MY\j        Pm                  RVP>                  V,           RV 24       M,\j        Pm                  RVP>                  V,           RV 24       EK  \        V4      pVP                  P                  \4        PV                  PX                  8H  pS Ph                  ^8  d   \j        Pm                  RVP>                  V,           RV: R\4        PV                  P|                  P                  VP                  P                  P                  4       24       VP>                  V,          S P                   9   dH   \j        Pm                  R \#        S P                   VP>                  V,          ,          4      ,           4       Ve   RV9   g#   S P                  V4      '       g   V'       g   EKA  S P                  '       Ed   VPP                  R19   EdT   \s        \I        VP                  4      4       Uu. uF  pS Pu                  W4      NK  	  ppVPP                  R.9   Ed   RV9   g   S P                  V4      '       d   RV9   d   VP                  R4      pM VP                  S P                  V4      4      pV Uu. uF%  p\I        V4      \I        V4      ,
          V,           NK'  	  pp\I        V^ ,          4      ^8  d&   V^ ,          \I        V^ ,          4      ^,
          8  g   Q h\I        V^,          4      ^8  d&   V^,          \I        V^,          4      ^,
          8  g   Q hM8VPP                  R!8X  d&   S Pu                  V^ 4      S P                  V^4      .pM. pV'       d   \s        \I        V4      4       F  pVV,          e!   S P                  VV,          4      '       g   K.  V Uu. uF%  p\I        V4      \I        V4      ,
          V,           NK'  	  pp\I        V4      ^ 8  g   Kq  S P                  \        VVRR"7       UUu. uF>  w  rV^ 8  g   K  \        W,          4      '       d	   W,          M\#        W,          4      NK@  	  upp4       K  	  RS nH        MRS nH        MRS nH        S P                  RJ Ed   VPP                  S PR                  9  Ed   V'       Eg   T;'       d    VRJ ;'       g    \I        V4      ^ 8H  p V '       d(   S P                  '       d   S P                  V^ 4      MR2pM\I        V4      pV^ 8  Edx   S P                  VVV4      p!V'       dD   S PT                  VP                  ^ ,          ,          P                  P                  P                  p"M VP                  P                  P                  p"VP;                  \        P                  ! VP&                  V"\        V!4      4      4       S Ph                  ^ 8  d   V '       d>   \j        Pm                  R#VPP                   R$VP&                   R%VP&                   R&24       S Ph                  ^8  dO   \j        Pm                  RVP>                  V,           RV!: RVP                  P                  P                   24       RS nH        EK  S Ph                  ^ 8  g   S P                  '       d
   V'       Edg   \j        Pm                  R'VPP                  VP&                  4       \j        Pm                  R(4       VP                   FT  pVS PT                  9   d)   \j        Pm                  S PT                  V,          4       K<  \j        Pm                  R)V 24       KV  	  \j        Pm                  R*4       VP>                   FT  p#V#S PT                  9   d)   \j        Pm                  S PT                  V#,          4       K<  \j        Pm                  R)V# 24       KV  	  S P                  '       d8   V'       g0   \j        Pm                  R+\#        S P,                  4      ,           4         R# 	  EK  	  RS nH        R# u upi u upi u upi u upi u upi u upi u upi u uppi )3rj  T)rm  N)r  positivers  c           	        < V P                    Uu0 uF  q'       g   K  VkK  	  pp. pV P                  R 8X  d   \        V R4      \        V R4      .pMV P                  R9   d   \        V R4      .pV F  pVP                   Uu0 uF  qP                  kK  	  pp\        4       pVP                   F  pVP                  VP                  4       K   	  VP                   F2  pTP                  S! V4       Uu. uF  qV9  g   K  VNK  	  up4       K4  	  VP                  V4       VP                    F  pVP                  VP                  4       K   	  K  	  V# u upi u upi u upi )rx   r  r  r  )ry   r   )
ri  r  r   rs  r
   rT  r   rv  r  discard)	r   r8   namesr  gg_outputs_and_initializersg_prereqn
get_prereqs	   &       r   rJ  6SymbolicShapeInference._infer_impl.<locals>.get_prereq
  s,    $

0
1aQQ
E0I||t#!$6!$6	 !11*489	>?mm-Lmffm*-L5A.55ahh?  AOO
1$e1JdAdQQ$ef  X&AMM!&&) !  L) 1 .M
 %fs   	EEE5E"E"c              3   @   <"   T F  qP                   S9   x  K  	  R # 5ir*   r
   rN  r  sorted_known_vis   & r   rP  5SymbolicShapeInference._infer_impl.<locals>.<genexpr>
  s     L2KQvv(2K   Fc              3   @   <"   T F  qP                   S9   x  K  	  R # 5ir*   rM  rN  s   & r   rP  rP  
  s     W=V&&O3=VrQ  c              3   @   <"   T F  q'       g   K  VS9   x  K  	  R # 5ir*   rC   )rN  r8   rO  s   & r   rP  rP  
  s!      G6UYZ,_,6Us   	c              3   @   <"   T F  qP                   S9   x  K  	  R # 5ir*   rM  rN  s   & r   rP  rP  
  s      I7P!FFo-7PrQ  zInvalid model with cyclic graphc              3   T   <"   T F  q'       g   K  VSP                   9   x  K  	  R # 5ir*   )ru  r  s   & r   rP  rP  
  s     DJq!*qDNN*Js   	((ATenzorg.pytorch.atenoperatorr'  z: z  Input %s: %s %srH   r  r   r   r   r   r    r   z  {}: sequence of {} {}z  z: sequence of r  z  Sympy Data: rq   r$  zPossible unknown op: z node: z, guessing z shapez0Stopping at incomplete shape inference at %s: %sznode inputs:znot in known_vi_ for znode outputs:z	Merging: )ConvTransposer  r  r  )r    sparse_tensor_typeN)ra   r   r   ro   rz   r  r{   ri   r   r  rr   LessGreaterLessOrEqualGreaterOrEqualr   r}   r+  )Or  rg  rh  r  r]  rT  r=  ri  r/   r#   r   r   r+   r    r%   r   r  r   r  r
   rk  rv  r;  r<  r?   rX  r1   rp  r  rq  r   r  rI   rs  r  rS  rR   r  r  r  r  r/  ru  rQ  	UNDEFINEDrK   r	   r  rO  bytesr,  r9  r@  rY  r  rt  r(   r  r  r  r   formatrR  rS  r?  r>  r\  r  r:  rd  r  r5   r:  r?  r  r  r   rw  r9   )&rD  start_sympy_datar8   r  
input_dimsi_dimr   r'   rO  s_mergeprereq_for_noderI  sorted_nodesold_sorted_nodes_lenr   known_aten_opr.   r   aten_op_namer
   r  r  r  r  out_typeout_type_kindseq_cls_typer=  out_type_undefinedshapesr  dim_idxis_unknown_opr  	out_dtyper  rJ  rO  s&   f&                                  @@r   r  "SymbolicShapeInference._infer_implv
  s   +11r%%l3##T#:!e##))A3A6K"166""VV11;;GGMMQQ
VV//5599
'4
;25d6L6LQVVUZ6[2\J%/ 5
 &&;'Q;a$q'S.;'QR *" $$AD)))//2$"5"5555)-)<)<W)E##A& */aPT)U##A& % (dll+%%m4 	. ##((A+5a=OHHQK( ) +/0B0B0H0H+IDQUQ]Q]QcQcQoQoLp+pq+pa66+pq3L$,,2D2D2K2KL333L$,,2D2D2K2KLLL<<--22LcWT\\=O=O=V=VWcccWT\\=O=O=V=VWWW'*<'8$ LL..33DAo=33 G6EkkRSn6UG333 G6EkkRSn6UG D D (..t{{;$++D1 4 (3|+<<SS I7;||7I7I7P7PISSS I7;||7I7I7P7PI F F $$EFF D3DDJJD333DDJJDDDDD((.!M||t///  .t4!22 ^^DKKN3rww**00445:484D4D4N4NBGG''1'DKK;M,M NNDyyJ.AKDFFTYAZAZtvv}}W'=`d`f`f'4+C+CC,0M 44\B4H + }}q T\\D0499<=(4GAtLL!4aPTX\XjXjPj}prs  5
 || 
  
 ^^DKKN38AB?DS_?UV?U!T__T5?U	Vx@n0n1tuvwAAJeAcRSfWXj\dNd7qQ(!2Q!677Ge7|a'///N x
 S-. LL$<<Pr@rVm<<#44T[[9IA9M ^^DKK$4577 ( 3 3G < !(SS}}q((O;+3+A+A+K+K+V+VW^+_L+}< &$=$D$D(,C(8(+,Eb,I(J(,(8(8(A(A(F(F,.GG,A,A,K,K,W,W,a,a)*%&!" !'r$++c2B1C>R^Q_-` a"LL2dkk#.>-?r-)QR5b9	%-%9%9%C%CtGWGWGaGa%a"==1$LLT[[-.bQt?O?O?X?X?]?]^`^e^e^q^q^{^{?|>}~ {{3'4+;+;;%5D<L<LT[[Y\M]<^8_%_` )ty/@DDdDdenDoDo'''''<< , & INcRVR\R\oH^%_H^1dood&>H^F%_#|| 0  
 $(9#48X8XYb8c8c'+y'8.7ood.C.7ood>^>^_h>i.jV\.]V\QRs1vI/F/L/LV\G.]+.vay>A+='!*sSYZ[S\~`aOaBa$a+a+.vay>A+='!*sSYZ[S\~`aOaBa$a+a!\\X5 !%a 8 $a 8&F
 &(F!',S^'<#,S>#=dFWFWXabeXfFgFg$, SY*YRXQ3q6C	N+BS+H+HRX*Y#&w<!#3$($=$= 9<FGTY8Z)*8Z/0Av -TJqt4D4DAD#ad),S8Z)*%& (= )-DI(-DI$)	 yyE)dll$BRBR.R[h[h(:(i(i	T@Q@h@hUXYbUcghUh( IMH_H_H_t';';D!'DegH (+9~H#q=(,(@(@4QT(UI1,0NN4::a=,I,N,N,Z,Z,d,d	 -/GG,?,?,I,I	KK & = =$&GG$-$>y$I!"  $}}q0#0$*LL*?~WUYU^U^T__jkmkrkrjssy(z%& $(==1#4$*LL2dkk#6F5Gr)VWXZX_X_XkXkXuXuWv1w$x(,DI$}}q(0@0@0@DVDV%WY]YeYegkgpgpq^4!%A DNN2 &T^^A-> ? &/DQC-H I	 ",
 _5!%A DNN2 &T^^A-> ? &/DQC-H I	 "-
  +++4F"LLs4;P;P7Q)QR Y /c !~ 	G	 (Rb rz WeZ &` /^& +Z)*sM   7AN
AN
>ANANAN",$AN"AN'(+AN,+AN1
3AN64AN6c                    V P                   P                  P                   FL  pVP                  V P                  9   g   K   VP                  V P                  VP                  ,          4       KN  	  R # r*   )rg  rh  r  r
   ru  rq  )rD  r  s   & r   r  -SymbolicShapeInference._update_output_from_vi  sE    ll((//F{{dnn,v{{ ;< 0r   c                   \        V 4      pV'       d   V^8  d   \        P                  R4       R# \        WW44      pRpVP	                  V 4       VP
                  '       d   VP                  4       pK$  VP                  4        V'       g/   \        P                  ! VP                  RRR7       \        R4      hVP                  # )   z.Only support models of onnx opset 7 and above.NFzsym_shape_infer_temp.onnxT)save_as_external_dataz#Incomplete symbolic shape inference)rN   rY  rZ  r_   r{  r:  r  r  r1   
save_modelrg  r  )rz  rE  rF  rG  rH  
onnx_opsetr  all_shapes_inferreds   &&&&&   r   r  #SymbolicShapeInference.infer_shapes  s    u%
zA~NNKL#9'O`#j # ,,U3&+++":"F"F"H 779"OO4<<>YquvABB'///r   )r9  r>  r/  rr  r?  rt  r=  rA  ru  rg  rC  r:  rB  r;  r<  r  r  r@  )rH   )F)TT)FF)r   r   r   )Tr*   )FFr   )__name__
__module____qualname____firstlineno__rJ  rd  r]  r{  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r   r  r  r  r<  r  rL  r]  r   r   r   r   r   r   r   r   r   r   r   r  r&  r%  r   r   r   r   r   r   r   r   r   r  r   r   r   r   r   r0  r1  r4  r2  r3  r5  r6  r7  r8  r   r   r   r   r   r'  r   r   r   r   r   r   r  r  r  r  r  r  r  r  r  r	  r
  r  r  r  r  r!  r"  r(  r)  r  r  r  r.  r  r  r  r  r  r  r  r  r  r,  r  r#  r  r-  r+  r  r  r*  r$  r%  r:  r?  r  r  staticmethodr  __static_attributes____classdictcell__)__classdict__s   @r   r_   r_   }   s    KZ+*Z
(
<27	/w
De'N6(p#JC&:
 
[BH8\>6:

?4'j
('
R
&D
2



__\<b| <B	

"l89%v)A\&j
x
*
4m D
"
nnB.j20` T
&B(
N\2'h0d!F	

DIJ
ZdxW")>FH.'`
(s:!'F+eZ_,\$_p(c-JeXb,c.c---))g(-k*7--j8.7
\-P-(^cwr	=
 0 0r   r_   c                      \         P                  ! 4       p V P                  R RRR7       V P                  RRR7       V P                  RRR	R
R7       V P                  RR\        RR7       V P                  RRR	R
R7       V P                  RR\        ^ R7       V P                  RRR	R
R7       V P                  RRR	R
R7       V P                  RRRR7       V P                  RR\        RR7       V P	                  4       # )z--inputTzThe input model file)requiredhelpz--outputzThe output model file)r  z--auto_mergez:Automatically merge symbolic dims when confliction happens
store_trueF)r  actiondefaultz	--int_maxzGmaximum value for integer to be treated as boundless for ops like slice)r  r   r  z--guess_output_rankz;guess output rank to be the same as input 0 for unknown opsz	--verbosezHPrints detailed logs of inference, 0: turn off, 1: warnings, 3: detailedz--save_as_external_dataz%Saving an ONNX model to external dataz--all_tensors_to_one_filez(Saving all the external data to one filez--external_data_locationz+The file location to save the external filez./)r  r  z--external_data_size_thresholdz$The size threshold for external datai   r|  )argparseArgumentParseradd_argumentr6   
parse_args)parsers    r   parse_argumentsr    sN   $$&F
	D7MN

)@A
I	   V	   J	   W	   !4	   #7	   ":  
 (3	   r   __main__zinput model: zoutput model z!Doing symbolic shape inference...TF)rw  all_tensors_to_one_filelocationsize_thresholdconvert_attributezDone!r*   )1r  loggingnumpyr<   r1   r?   r   r   r   	packagingr   parse__version__	getLoggerr}  rY  r   r   r#   r(   r,   r/   r3   r9   r5   rF   rN   rW   rZ   r]   r_   r  r{  infori  r  r  loadrE  rF  rG  rH  out_mprw  rx  r  external_data_locationexternal_data_size_thresholdsaverC   r   r   <module>r     s  
      6 6 }}T%%&'--*@@ @@			8	$c'0
2_r.
F-0 F-0RZ3l zD
KK$**,-{{{Odkk12
KK34#00		$**F {{{v%%%OO&*(,(D(D44#@@"' IIfdkk*G { r   