/[escript]/trunk/dudley/src/Mesh_optimizeDOFDistribution.c
ViewVC logotype

Diff of /trunk/dudley/src/Mesh_optimizeDOFDistribution.c

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

temp_trunk_copy/finley/src/Mesh_optimizeDOFDistribution.c revision 1384 by phornby, Fri Jan 11 02:29:38 2008 UTC trunk/finley/src/Mesh_optimizeDOFDistribution.c revision 1720 by gross, Fri Aug 22 00:24:35 2008 UTC
# Line 26  Line 26 
26  #ifdef _OPENMP  #ifdef _OPENMP
27  #include <omp.h>  #include <omp.h>
28  #endif  #endif
29    #ifdef USE_PARMETIS
30    #include "parmetis.h"
31    #endif
32    
33  /**************************************************************/  /**************************************************************/
34    
# Line 40  void Finley_Mesh_optimizeDOFDistribution Line 43  void Finley_Mesh_optimizeDOFDistribution
43       Paso_MPI_rank myRank,dest,source,current_rank, rank;       Paso_MPI_rank myRank,dest,source,current_rank, rank;
44       Finley_IndexList* index_list=NULL;       Finley_IndexList* index_list=NULL;
45       float *xyz=NULL;       float *xyz=NULL;
46         int c;
47            
48       #ifdef PASO_MPI       #ifdef PASO_MPI
49       MPI_Status status;       MPI_Status status;
# Line 67  void Finley_Mesh_optimizeDOFDistribution Line 71  void Finley_Mesh_optimizeDOFDistribution
71       newGlobalDOFID=TMPMEMALLOC(len,index_t);       newGlobalDOFID=TMPMEMALLOC(len,index_t);
72       setNewDOFId=TMPMEMALLOC(in->Nodes->numNodes,bool_t);       setNewDOFId=TMPMEMALLOC(in->Nodes->numNodes,bool_t);
73       if (!(Finley_checkPtr(partition) || Finley_checkPtr(xyz) || Finley_checkPtr(partition_count) || Finley_checkPtr(partition_count) || Finley_checkPtr(newGlobalDOFID) || Finley_checkPtr(setNewDOFId))) {       if (!(Finley_checkPtr(partition) || Finley_checkPtr(xyz) || Finley_checkPtr(partition_count) || Finley_checkPtr(partition_count) || Finley_checkPtr(newGlobalDOFID) || Finley_checkPtr(setNewDOFId))) {
74             dim_t *recvbuf=TMPMEMALLOC(mpiSize*mpiSize,dim_t);
75    
76           /* set the coordinates: *?           /* set the coordinates: *?
77           /* it is assumed that at least one node on this processor provides a coordinate */           /* it is assumed that at least one node on this processor provides a coordinate */
# Line 106  void Finley_Mesh_optimizeDOFDistribution Line 111  void Finley_Mesh_optimizeDOFDistribution
111             }             }
112                        
113             /* create the local matrix pattern */             /* create the local matrix pattern */
114             pattern=Finley_IndexList_createPattern(myNumVertices,index_list,0,globalNumVertices,0);             pattern=Finley_IndexList_createPattern(0,myNumVertices,index_list,0,globalNumVertices,0);
115    
116             /* clean up index list */             /* clean up index list */
117             if (index_list!=NULL) {             if (index_list!=NULL) {
# Line 116  void Finley_Mesh_optimizeDOFDistribution Line 121  void Finley_Mesh_optimizeDOFDistribution
121    
122             if (Finley_noError()) {             if (Finley_noError()) {
123    
124  /*  #ifdef USE_PARMETIS
125    
126          ParMETIS_V3_PartGeomKway(distribution,            if (in->MPIInfo->size>1) {
127             int i;
128             int wgtflag = 0;
129             int numflag = 0;   /* pattern->ptr is C style: starting from 0 instead of 1 */
130             int ncon = 1;
131             int edgecut;
132             int options[2];
133             float *tpwgts = TMPMEMALLOC(ncon*mpiSize,float);
134             float *ubvec = TMPMEMALLOC(ncon,float);
135             for (i=0; i<ncon*mpiSize; i++) tpwgts[i] = 1.0/(float)mpiSize;
136             for (i=0; i<ncon; i++) ubvec[i] = 1.05;
137             options[0] = 0;
138             options[1] = 15;
139             ParMETIS_V3_PartGeomKway(distribution,
140                                   pattern->ptr,                                   pattern->ptr,
141                                   pattern->index,                                   pattern->index,
142                                   idxtype *vwgt, +                                   NULL,
143                                   idxtype *adjwgt, +                                   NULL,
144                                   int *wgtflag, +                                   &wgtflag,
145                                   int *numflag, +                                   &numflag,
146                                   dim,                                   &dim,
147                                   xyz,                                   xyz,
148                                   int *ncon, +                                   &ncon,
149                                   mpiSize,                                   &mpiSize,
150                                   float *tpwgts, +                                   tpwgts,
151                                   float *ubvec, +                                   ubvec,
152                                   int *options, +                                   options,
153                                   int *edgecut, +                                   &edgecut,
154                                   partition,                                   partition,             /* new CPU ownership of elements */
155                                   in->MPIInfo->comm);                                   &(in->MPIInfo->comm));
156  */           printf("ParMETIS number of edges cut by partitioning: %d\n", edgecut);
157                 for (i=0;i<myNumVertices;++i) partition[i]=myRank; /* remove */                   TMPMEMFREE(ubvec);
158                     TMPMEMFREE(tpwgts);
159              } else {
160                     for (i=0;i<myNumVertices;++i) partition[i]=0;      /* CPU 0 owns it */
161              }
162    #else
163                  for (i=0;i<myNumVertices;++i) partition[i]=myRank;    /* CPU 0 owns it */
164    #endif
165    
166             }             }
167    
168             Paso_Pattern_free(pattern);             Paso_Pattern_free(pattern);
# Line 156  void Finley_Mesh_optimizeDOFDistribution Line 182  void Finley_Mesh_optimizeDOFDistribution
182                 THREAD_MEMFREE(loc_partition_count);                 THREAD_MEMFREE(loc_partition_count);
183             }             }
184             #ifdef PASO_MPI             #ifdef PASO_MPI
185                MPI_Allreduce( new_distribution, partition_count, mpiSize, MPI_INT, MPI_SUM, in->MPIInfo->comm );            /* recvbuf will be the concatenation of each CPU's contribution to new_distribution */
186              MPI_Allgather(new_distribution, mpiSize, MPI_INT, recvbuf, mpiSize, MPI_INT, in->MPIInfo->comm);
187             #else             #else
188                 for (i=0;i<mpiSize;++i) partition_count[i]=new_distribution[i];                 for (i=0;i<mpiSize;++i) recvbuf[i]=new_distribution[i];
189             #endif             #endif
190             new_distribution[0]=0;             new_distribution[0]=0;
191             for (i=0;i<mpiSize;++i) {         for (rank=0; rank<mpiSize;rank++) {
192                 new_distribution[i+1]=new_distribution[i]+partition_count[i];            c=0;
193                 partition_count[i]=0;                for (i=0;i<myRank;++i) c+=recvbuf[rank+mpiSize*i];
194             }                for (i=0;i<myNumVertices;++i) {
195             for (i=0;i<myNumVertices;++i) {                   if (rank==partition[i]) {
196                rank=partition[i];                      newGlobalDOFID[i]=new_distribution[rank]+c;
197                newGlobalDOFID[i]=new_distribution[rank]+partition_count[rank];                      c++;
198                partition_count[rank]++;               }
199                  }
200                  for (i=myRank+1;i<mpiSize;++i) c+=recvbuf[rank+mpiSize*i];
201                  new_distribution[rank+1]=new_distribution[rank]+c;
202             }             }
203               TMPMEMFREE(recvbuf);
204    
205             /* now the overlap needs to be created by sending the partition around*/             /* now the overlap needs to be created by sending the partition around*/
206    
207             dest=Paso_MPIInfo_mod(mpiSize, myRank + 1);             dest=Paso_MPIInfo_mod(mpiSize, myRank + 1);

Legend:
Removed from v.1384  
changed lines
  Added in v.1720

  ViewVC Help
Powered by ViewVC 1.1.26