/[escript]/trunk/ripley/src/Rectangle.cpp
ViewVC logotype

Diff of /trunk/ripley/src/Rectangle.cpp

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 4583 by jfenwick, Wed Dec 11 02:09:19 2013 UTC revision 4765 by sshaw, Wed Mar 19 00:17:16 2014 UTC
# Line 1  Line 1 
1    
2  /*****************************************************************************  /*****************************************************************************
3  *  *
4  * Copyright (c) 2003-2013 by University of Queensland  * Copyright (c) 2003-2014 by University of Queensland
5  * http://www.uq.edu.au  * http://www.uq.edu.au
6  *  *
7  * Primary Business: Queensland, Australia  * Primary Business: Queensland, Australia
# Line 9  Line 9 
9  * http://www.opensource.org/licenses/osl-3.0.php  * http://www.opensource.org/licenses/osl-3.0.php
10  *  *
11  * Development until 2012 by Earth Systems Science Computational Center (ESSCC)  * Development until 2012 by Earth Systems Science Computational Center (ESSCC)
12  * Development since 2012 by School of Earth Sciences  * Development 2012-2013 by School of Earth Sciences
13    * Development from 2014 by Centre for Geoscience Computing (GeoComp)
14  *  *
15  *****************************************************************************/  *****************************************************************************/
16    
17    #include <algorithm>
18    
19  #include <ripley/Rectangle.h>  #include <ripley/Rectangle.h>
20  #include <paso/SystemMatrix.h>  #include <paso/SystemMatrix.h>
21  #include <esysUtils/esysFileWriter.h>  #include <esysUtils/esysFileWriter.h>
22    #include <ripley/DefaultAssembler2D.h>
23    #include <ripley/WaveAssembler2D.h>
24    #include <ripley/LameAssembler2D.h>
25    #include <ripley/domainhelpers.h>
26  #include <boost/scoped_array.hpp>  #include <boost/scoped_array.hpp>
27  #include "esysUtils/EsysRandom.h"  #include "esysUtils/EsysRandom.h"
28    #include "blocktools.h"
29    
30  #ifdef USE_NETCDF  #ifdef USE_NETCDF
31  #include <netcdfcpp.h>  #include <netcdfcpp.h>
# Line 39  using esysUtils::FileWriter; Line 46  using esysUtils::FileWriter;
46  namespace ripley {  namespace ripley {
47    
48  Rectangle::Rectangle(int n0, int n1, double x0, double y0, double x1,  Rectangle::Rectangle(int n0, int n1, double x0, double y0, double x1,
49                       double y1, int d0, int d1) :                       double y1, int d0, int d1,
50                         const std::vector<double>& points,
51                         const std::vector<int>& tags,
52                         const simap_t& tagnamestonums) :
53      RipleyDomain(2)      RipleyDomain(2)
54  {  {
55      // ignore subdivision parameters for serial run      // ignore subdivision parameters for serial run
# Line 49  Rectangle::Rectangle(int n0, int n1, dou Line 59  Rectangle::Rectangle(int n0, int n1, dou
59      }      }
60    
61      bool warn=false;      bool warn=false;
62      // if number of subdivisions is non-positive, try to subdivide by the same      std::vector<int> factors;
63      // ratio as the number of elements      int ranks = m_mpiInfo->size;
64      if (d0<=0 && d1<=0) {      int epr[2] = {n0,n1};
65          warn=true;      int d[2] = {d0,d1};
66          d0=max(1, (int)(sqrt(m_mpiInfo->size*(n0+1)/(float)(n1+1))));      if (d0<=0 || d1<=0) {
67          d1=m_mpiInfo->size/d0;          for (int i = 0; i < 2; i++) {
68          if (d0*d1 != m_mpiInfo->size) {              if (d[i] < 1) {
69              // ratios not the same so subdivide side with more elements only                  d[i] = 1;
70              if (n0>n1) {                  continue;
                 d0=0;  
                 d1=1;  
             } else {  
                 d0=1;  
                 d1=0;  
71              }              }
72                epr[i] = -1; // can no longer be max
73                //remove
74                if (ranks % d[i] != 0) {
75                    throw RipleyException("Invalid number of spatial subdivisions");
76                }
77                ranks /= d[i];
78            }
79            factorise(factors, ranks);
80            if (factors.size() != 0) {
81                warn = true;
82          }          }
83      }      }
84      if (d0<=0) {      
85          // d1 is preset, determine d0 - throw further down if result is no good      while (factors.size() > 0) {
86          d0=m_mpiInfo->size/d1;          int i = epr[0] > epr[1] ? 0 : 1;
87      } else if (d1<=0) {          int f = factors.back();
88          // d0 is preset, determine d1 - throw further down if result is no good          factors.pop_back();
89          d1=m_mpiInfo->size/d0;          d[i] *= f;
90            epr[i] /= f;
91      }      }
92        d0 = d[0]; d1 = d[1];
93        
94      // ensure number of subdivisions is valid and nodes can be distributed      // ensure number of subdivisions is valid and nodes can be distributed
95      // among number of ranks      // among number of ranks
96      if (d0*d1 != m_mpiInfo->size)      if (d0*d1 != m_mpiInfo->size)
# Line 141  Rectangle::Rectangle(int n0, int n1, dou Line 158  Rectangle::Rectangle(int n0, int n1, dou
158    
159      populateSampleIds();      populateSampleIds();
160      createPattern();      createPattern();
161        assembler = new DefaultAssembler2D(this, m_dx, m_NX, m_NE, m_NN);
162        for (map<string, int>::const_iterator i = tagnamestonums.begin();
163                i != tagnamestonums.end(); i++) {
164            setTagMap(i->first, i->second);
165        }
166        addPoints(tags.size(), &points[0], &tags[0]);
167  }  }
168    
169  Rectangle::~Rectangle()  Rectangle::~Rectangle()
170  {  {
171      Paso_SystemMatrixPattern_free(m_pattern);      Paso_SystemMatrixPattern_free(m_pattern);
172      Paso_Connector_free(m_connector);      Paso_Connector_free(m_connector);
173        delete assembler;
174  }  }
175    
176  string Rectangle::getDescription() const  string Rectangle::getDescription() const
# Line 169  bool Rectangle::operator==(const Abstrac Line 193  bool Rectangle::operator==(const Abstrac
193  }  }
194    
195  void Rectangle::readNcGrid(escript::Data& out, string filename, string varname,  void Rectangle::readNcGrid(escript::Data& out, string filename, string varname,
196              const vector<int>& first, const vector<int>& numValues,              const ReaderParameters& params) const
             const vector<int>& multiplier) const  
197  {  {
198  #ifdef USE_NETCDF  #ifdef USE_NETCDF
199      // check destination function space      // check destination function space
# Line 185  void Rectangle::readNcGrid(escript::Data Line 208  void Rectangle::readNcGrid(escript::Data
208      } else      } else
209          throw RipleyException("readNcGrid(): invalid function space for output data object");          throw RipleyException("readNcGrid(): invalid function space for output data object");
210    
211      if (first.size() != 2)      if (params.first.size() != 2)
212          throw RipleyException("readNcGrid(): argument 'first' must have 2 entries");          throw RipleyException("readNcGrid(): argument 'first' must have 2 entries");
213    
214      if (numValues.size() != 2)      if (params.numValues.size() != 2)
215          throw RipleyException("readNcGrid(): argument 'numValues' must have 2 entries");          throw RipleyException("readNcGrid(): argument 'numValues' must have 2 entries");
216    
217      if (multiplier.size() != 2)      if (params.multiplier.size() != 2)
218          throw RipleyException("readNcGrid(): argument 'multiplier' must have 2 entries");          throw RipleyException("readNcGrid(): argument 'multiplier' must have 2 entries");
219      for (size_t i=0; i<multiplier.size(); i++)      for (size_t i=0; i<params.multiplier.size(); i++)
220          if (multiplier[i]<1)          if (params.multiplier[i]<1)
221              throw RipleyException("readNcGrid(): all multipliers must be positive");              throw RipleyException("readNcGrid(): all multipliers must be positive");
222        if (params.reverse.size() != 2)
223            throw RipleyException("readNcGrid(): argument 'reverse' must have 2 entries");
224    
225      // check file existence and size      // check file existence and size
226      NcFile f(filename.c_str(), NcFile::ReadOnly);      NcFile f(filename.c_str(), NcFile::ReadOnly);
# Line 216  void Rectangle::readNcGrid(escript::Data Line 241  void Rectangle::readNcGrid(escript::Data
241    
242      // is this a slice of the data object (dims!=2)?      // is this a slice of the data object (dims!=2)?
243      // note the expected ordering of edges (as in numpy: y,x)      // note the expected ordering of edges (as in numpy: y,x)
244      if ( (dims==2 && (numValues[1] > edges[0] || numValues[0] > edges[1]))      if ( (dims==2 && (params.numValues[1] > edges[0] || params.numValues[0] > edges[1]))
245              || (dims==1 && numValues[1]>1) ) {              || (dims==1 && params.numValues[1]>1) ) {
246          throw RipleyException("readNcGrid(): not enough data in file");          throw RipleyException("readNcGrid(): not enough data in file");
247      }      }
248    
249      // check if this rank contributes anything      // check if this rank contributes anything
250      if (first[0] >= m_offset[0]+myN0 || first[0]+numValues[0]*multiplier[0] <= m_offset[0] ||      if (params.first[0] >= m_offset[0]+myN0 ||
251              first[1] >= m_offset[1]+myN1 || first[1]+numValues[1]*multiplier[1] <= m_offset[1])              params.first[0]+params.numValues[0]*params.multiplier[0] <= m_offset[0] ||
252                params.first[1] >= m_offset[1]+myN1 ||
253                params.first[1]+params.numValues[1]*params.multiplier[1] <= m_offset[1])
254          return;          return;
255    
256      // now determine how much this rank has to write      // now determine how much this rank has to write
257    
258      // first coordinates in data object to write to      // first coordinates in data object to write to
259      const int first0 = max(0, first[0]-m_offset[0]);      const int first0 = max(0, params.first[0]-m_offset[0]);
260      const int first1 = max(0, first[1]-m_offset[1]);      const int first1 = max(0, params.first[1]-m_offset[1]);
261      // indices to first value in file      // indices to first value in file (not accounting for reverse yet)
262      const int idx0 = max(0, m_offset[0]-first[0]);      int idx0 = max(0, m_offset[0]-params.first[0]);
263      const int idx1 = max(0, m_offset[1]-first[1]);      int idx1 = max(0, m_offset[1]-params.first[1]);
264      // number of values to read      // number of values to read
265      const int num0 = min(numValues[0]-idx0, myN0-first0);      const int num0 = min(params.numValues[0]-idx0, myN0-first0);
266      const int num1 = min(numValues[1]-idx1, myN1-first1);      const int num1 = min(params.numValues[1]-idx1, myN1-first1);
267    
268        // make sure we read the right block if going backwards through file
269        if (params.reverse[0])
270            idx0 = edges[dims-1]-num0-idx0;
271        if (dims>1 && params.reverse[1])
272            idx1 = edges[dims-2]-num1-idx1;
273    
274      vector<double> values(num0*num1);      vector<double> values(num0*num1);
275      if (dims==2) {      if (dims==2) {
# Line 250  void Rectangle::readNcGrid(escript::Data Line 283  void Rectangle::readNcGrid(escript::Data
283      const int dpp = out.getNumDataPointsPerSample();      const int dpp = out.getNumDataPointsPerSample();
284      out.requireWrite();      out.requireWrite();
285    
286        // helpers for reversing
287        const int x0 = (params.reverse[0] ? num0-1 : 0);
288        const int x_mult = (params.reverse[0] ? -1 : 1);
289        const int y0 = (params.reverse[1] ? num1-1 : 0);
290        const int y_mult = (params.reverse[1] ? -1 : 1);
291    
292      for (index_t y=0; y<num1; y++) {      for (index_t y=0; y<num1; y++) {
293  #pragma omp parallel for  #pragma omp parallel for
294          for (index_t x=0; x<num0; x++) {          for (index_t x=0; x<num0; x++) {
295              const int baseIndex = first0+x*multiplier[0]              const int baseIndex = first0+x*params.multiplier[0]
296                                    +(first1+y*multiplier[1])*myN0;                                    +(first1+y*params.multiplier[1])*myN0;
297              const int srcIndex = y*num0+x;              const int srcIndex = (y0+y_mult*y)*num0+(x0+x_mult*x);
298              if (!isnan(values[srcIndex])) {              if (!isnan(values[srcIndex])) {
299                  for (index_t m1=0; m1<multiplier[1]; m1++) {                  for (index_t m1=0; m1<params.multiplier[1]; m1++) {
300                      for (index_t m0=0; m0<multiplier[0]; m0++) {                      for (index_t m0=0; m0<params.multiplier[0]; m0++) {
301                          const int dataIndex = baseIndex+m0+m1*myN0;                          const int dataIndex = baseIndex+m0+m1*myN0;
302                          double* dest = out.getSampleDataRW(dataIndex);                          double* dest = out.getSampleDataRW(dataIndex);
303                          for (index_t q=0; q<dpp; q++) {                          for (index_t q=0; q<dpp; q++) {
# Line 275  void Rectangle::readNcGrid(escript::Data Line 314  void Rectangle::readNcGrid(escript::Data
314  }  }
315    
316  void Rectangle::readBinaryGrid(escript::Data& out, string filename,  void Rectangle::readBinaryGrid(escript::Data& out, string filename,
317                                 const vector<int>& first,                                 const ReaderParameters& params) const
                                const vector<int>& numValues,  
                                const std::vector<int>& multiplier,  
                                int byteOrder, int dataType) const  
318  {  {
319      // the mapping is not universally correct but should work on our      // the mapping is not universally correct but should work on our
320      // supported platforms      // supported platforms
321      switch (dataType) {      switch (params.dataType) {
322          case DATATYPE_INT32:          case DATATYPE_INT32:
323              readBinaryGridImpl<int>(out, filename, first, numValues,              readBinaryGridImpl<int>(out, filename, params);
                                     multiplier, byteOrder);  
324              break;              break;
325          case DATATYPE_FLOAT32:          case DATATYPE_FLOAT32:
326              readBinaryGridImpl<float>(out, filename, first, numValues,              readBinaryGridImpl<float>(out, filename, params);
                                       multiplier, byteOrder);  
327              break;              break;
328          case DATATYPE_FLOAT64:          case DATATYPE_FLOAT64:
329              readBinaryGridImpl<double>(out, filename, first, numValues,              readBinaryGridImpl<double>(out, filename, params);
                                        multiplier, byteOrder);  
330              break;              break;
331          default:          default:
332              throw RipleyException("readBinaryGrid(): invalid or unsupported datatype");              throw RipleyException("readBinaryGrid(): invalid or unsupported datatype");
333      }      }
334  }  }
335    
336    void Rectangle::readBinaryGridFromZipped(escript::Data& out, string filename,
337                                   const ReaderParameters& params) const
338    {
339        // the mapping is not universally correct but should work on our
340        // supported platforms
341        switch (params.dataType) {
342            case DATATYPE_INT32:
343                readBinaryGridZippedImpl<int>(out, filename, params);
344                break;
345            case DATATYPE_FLOAT32:
346                readBinaryGridZippedImpl<float>(out, filename, params);
347                break;
348            case DATATYPE_FLOAT64:
349                readBinaryGridZippedImpl<double>(out, filename, params);
350                break;
351            default:
352                throw RipleyException("readBinaryGridFromZipped(): invalid or unsupported datatype");
353        }
354    }
355    
356  template<typename ValueType>  template<typename ValueType>
357  void Rectangle::readBinaryGridImpl(escript::Data& out, const string& filename,  void Rectangle::readBinaryGridImpl(escript::Data& out, const string& filename,
358                                     const vector<int>& first,                                     const ReaderParameters& params) const
                                    const vector<int>& numValues,  
                                    const std::vector<int>& multiplier,  
                                    int byteOrder) const  
359  {  {
360      // check destination function space      // check destination function space
361      int myN0, myN1;      int myN0, myN1;
# Line 327  void Rectangle::readBinaryGridImpl(escri Line 377  void Rectangle::readBinaryGridImpl(escri
377      f.seekg(0, ios::end);      f.seekg(0, ios::end);
378      const int numComp = out.getDataPointSize();      const int numComp = out.getDataPointSize();
379      const int filesize = f.tellg();      const int filesize = f.tellg();
380      const int reqsize = numValues[0]*numValues[1]*numComp*sizeof(ValueType);      const int reqsize = params.numValues[0]*params.numValues[1]*numComp*sizeof(ValueType);
381      if (filesize < reqsize) {      if (filesize < reqsize) {
382          f.close();          f.close();
383          throw RipleyException("readBinaryGrid(): not enough data in file");          throw RipleyException("readBinaryGrid(): not enough data in file");
384      }      }
385    
386      // check if this rank contributes anything      // check if this rank contributes anything
387      if (first[0] >= m_offset[0]+myN0 || first[0]+numValues[0] <= m_offset[0] ||      if (params.first[0] >= m_offset[0]+myN0 ||
388              first[1] >= m_offset[1]+myN1 || first[1]+numValues[1] <= m_offset[1]) {              params.first[0]+params.numValues[0] <= m_offset[0] ||
389                params.first[1] >= m_offset[1]+myN1 ||
390                params.first[1]+params.numValues[1] <= m_offset[1]) {
391          f.close();          f.close();
392          return;          return;
393      }      }
# Line 343  void Rectangle::readBinaryGridImpl(escri Line 395  void Rectangle::readBinaryGridImpl(escri
395      // now determine how much this rank has to write      // now determine how much this rank has to write
396    
397      // first coordinates in data object to write to      // first coordinates in data object to write to
398      const int first0 = max(0, first[0]-m_offset[0]);      const int first0 = max(0, params.first[0]-m_offset[0]);
399      const int first1 = max(0, first[1]-m_offset[1]);      const int first1 = max(0, params.first[1]-m_offset[1]);
400      // indices to first value in file      // indices to first value in file
401      const int idx0 = max(0, m_offset[0]-first[0]);      const int idx0 = max(0, m_offset[0]-params.first[0]);
402      const int idx1 = max(0, m_offset[1]-first[1]);      const int idx1 = max(0, m_offset[1]-params.first[1]);
403      // number of values to read      // number of values to read
404      const int num0 = min(numValues[0]-idx0, myN0-first0);      const int num0 = min(params.numValues[0]-idx0, myN0-first0);
405      const int num1 = min(numValues[1]-idx1, myN1-first1);      const int num1 = min(params.numValues[1]-idx1, myN1-first1);
406    
407      out.requireWrite();      out.requireWrite();
408      vector<ValueType> values(num0*numComp);      vector<ValueType> values(num0*numComp);
409      const int dpp = out.getNumDataPointsPerSample();      const int dpp = out.getNumDataPointsPerSample();
410    
411      for (int y=0; y<num1; y++) {      for (int y=0; y<num1; y++) {
412          const int fileofs = numComp*(idx0+(idx1+y)*numValues[0]);          const int fileofs = numComp*(idx0+(idx1+y)*params.numValues[0]);
413          f.seekg(fileofs*sizeof(ValueType));          f.seekg(fileofs*sizeof(ValueType));
414          f.read((char*)&values[0], num0*numComp*sizeof(ValueType));          f.read((char*)&values[0], num0*numComp*sizeof(ValueType));
415          for (int x=0; x<num0; x++) {          for (int x=0; x<num0; x++) {
416              const int baseIndex = first0+x*multiplier[0]              const int baseIndex = first0+x*params.multiplier[0]
417                                      +(first1+y*multiplier[1])*myN0;                                      +(first1+y*params.multiplier[1])*myN0;
418              for (int m1=0; m1<multiplier[1]; m1++) {              for (int m1=0; m1<params.multiplier[1]; m1++) {
419                  for (int m0=0; m0<multiplier[0]; m0++) {                  for (int m0=0; m0<params.multiplier[0]; m0++) {
420                        const int dataIndex = baseIndex+m0+m1*myN0;
421                        double* dest = out.getSampleDataRW(dataIndex);
422                        for (int c=0; c<numComp; c++) {
423                            ValueType val = values[x*numComp+c];
424    
425                            if (params.byteOrder != BYTEORDER_NATIVE) {
426                                char* cval = reinterpret_cast<char*>(&val);
427                                // this will alter val!!
428                                byte_swap32(cval);
429                            }
430                            if (!std::isnan(val)) {
431                                for (int q=0; q<dpp; q++) {
432                                    *dest++ = static_cast<double>(val);
433                                }
434                            }
435                        }
436                    }
437                }
438            }
439        }
440    
441        f.close();
442    }
443    
444    template<typename ValueType>
445    void Rectangle::readBinaryGridZippedImpl(escript::Data& out, const string& filename,
446                                       const ReaderParameters& params) const
447    {
448        // check destination function space
449        int myN0, myN1;
450        if (out.getFunctionSpace().getTypeCode() == Nodes) {
451            myN0 = m_NN[0];
452            myN1 = m_NN[1];
453        } else if (out.getFunctionSpace().getTypeCode() == Elements ||
454                    out.getFunctionSpace().getTypeCode() == ReducedElements) {
455            myN0 = m_NE[0];
456            myN1 = m_NE[1];
457        } else
458            throw RipleyException("readBinaryGrid(): invalid function space for output data object");
459    
460        // check file existence and size
461        ifstream f(filename.c_str(), ifstream::binary);
462        if (f.fail()) {
463            throw RipleyException("readBinaryGridFromZipped(): cannot open file");
464        }
465        f.seekg(0, ios::end);
466        const int numComp = out.getDataPointSize();
467        int filesize = f.tellg();
468        f.seekg(0, ios::beg);
469        std::vector<char> compressed(filesize);
470        f.read((char*)&compressed[0], filesize);
471        f.close();
472        std::vector<char> decompressed = unzip(compressed);
473        filesize = decompressed.size();
474        const int reqsize = params.numValues[0]*params.numValues[1]*numComp*sizeof(ValueType);
475        if (filesize < reqsize) {
476            throw RipleyException("readBinaryGridFromZipped(): not enough data in file");
477        }
478    
479        // check if this rank contributes anything
480        if (params.first[0] >= m_offset[0]+myN0 ||
481                params.first[0]+params.numValues[0] <= m_offset[0] ||
482                params.first[1] >= m_offset[1]+myN1 ||
483                params.first[1]+params.numValues[1] <= m_offset[1]) {
484            f.close();
485            return;
486        }
487    
488        // now determine how much this rank has to write
489    
490        // first coordinates in data object to write to
491        const int first0 = max(0, params.first[0]-m_offset[0]);
492        const int first1 = max(0, params.first[1]-m_offset[1]);
493        // indices to first value in file
494        const int idx0 = max(0, m_offset[0]-params.first[0]);
495        const int idx1 = max(0, m_offset[1]-params.first[1]);
496        // number of values to read
497        const int num0 = min(params.numValues[0]-idx0, myN0-first0);
498        const int num1 = min(params.numValues[1]-idx1, myN1-first1);
499    
500        out.requireWrite();
501        vector<ValueType> values(num0*numComp);
502        const int dpp = out.getNumDataPointsPerSample();
503    
504        for (int y=0; y<num1; y++) {
505            const int fileofs = numComp*(idx0+(idx1+y)*params.numValues[0]);
506                memcpy((char*)&values[0], (char*)&decompressed[fileofs*sizeof(ValueType)], num0*numComp*sizeof(ValueType));
507            for (int x=0; x<num0; x++) {
508                const int baseIndex = first0+x*params.multiplier[0]
509                                        +(first1+y*params.multiplier[1])*myN0;
510                for (int m1=0; m1<params.multiplier[1]; m1++) {
511                    for (int m0=0; m0<params.multiplier[0]; m0++) {
512                      const int dataIndex = baseIndex+m0+m1*myN0;                      const int dataIndex = baseIndex+m0+m1*myN0;
513                      double* dest = out.getSampleDataRW(dataIndex);                      double* dest = out.getSampleDataRW(dataIndex);
514                      for (int c=0; c<numComp; c++) {                      for (int c=0; c<numComp; c++) {
515                          ValueType val = values[x*numComp+c];                          ValueType val = values[x*numComp+c];
516    
517                          if (byteOrder != BYTEORDER_NATIVE) {                          if (params.byteOrder != BYTEORDER_NATIVE) {
518                              char* cval = reinterpret_cast<char*>(&val);                              char* cval = reinterpret_cast<char*>(&val);
519                              // this will alter val!!                              // this will alter val!!
520                              byte_swap32(cval);                              byte_swap32(cval);
# Line 436  void Rectangle::writeBinaryGridImpl(cons Line 580  void Rectangle::writeBinaryGridImpl(cons
580      if (numComp > 1 || dpp > 1)      if (numComp > 1 || dpp > 1)
581          throw RipleyException("writeBinaryGrid(): only scalar, single-value data supported");          throw RipleyException("writeBinaryGrid(): only scalar, single-value data supported");
582    
     escript::Data* _in = const_cast<escript::Data*>(&in);  
583      const int fileSize = sizeof(ValueType)*numComp*dpp*totalN0*totalN1;      const int fileSize = sizeof(ValueType)*numComp*dpp*totalN0*totalN1;
584    
585      // from here on we know that each sample consists of one value      // from here on we know that each sample consists of one value
# Line 449  void Rectangle::writeBinaryGridImpl(cons Line 592  void Rectangle::writeBinaryGridImpl(cons
592          ostringstream oss;          ostringstream oss;
593    
594          for (index_t x=0; x<myN0; x++) {          for (index_t x=0; x<myN0; x++) {
595              const double* sample = _in->getSampleDataRO(y*myN0+x);              const double* sample = in.getSampleDataRO(y*myN0+x);
596              ValueType fvalue = static_cast<ValueType>(*sample);              ValueType fvalue = static_cast<ValueType>(*sample);
597              if (byteOrder == BYTEORDER_NATIVE) {              if (byteOrder == BYTEORDER_NATIVE) {
598                  oss.write((char*)&fvalue, sizeof(fvalue));                  oss.write((char*)&fvalue, sizeof(fvalue));
# Line 620  const int* Rectangle::borrowSampleRefere Line 763  const int* Rectangle::borrowSampleRefere
763          case FaceElements:          case FaceElements:
764          case ReducedFaceElements:          case ReducedFaceElements:
765              return &m_faceId[0];              return &m_faceId[0];
766            case Points:
767                return &m_diracPointNodeIDs[0];
768          default:          default:
769              break;              break;
770      }      }
# Line 877  void Rectangle::assembleCoordinates(escr Line 1022  void Rectangle::assembleCoordinates(escr
1022  }  }
1023    
1024  //protected  //protected
1025  void Rectangle::assembleGradient(escript::Data& out, escript::Data& in) const  void Rectangle::assembleGradient(escript::Data& out, const escript::Data& in) const
1026  {  {
1027      const dim_t numComp = in.getDataPointSize();      const dim_t numComp = in.getDataPointSize();
1028      const double cx0 = .21132486540518711775/m_dx[0];      const double cx0 = .21132486540518711775/m_dx[0];
# Line 1082  void Rectangle::assembleGradient(escript Line 1227  void Rectangle::assembleGradient(escript
1227  }  }
1228    
1229  //protected  //protected
1230  void Rectangle::assembleIntegrate(vector<double>& integrals, escript::Data& arg) const  void Rectangle::assembleIntegrate(vector<double>& integrals,
1231                                      const escript::Data& arg) const
1232  {  {
1233      const dim_t numComp = arg.getDataPointSize();      const dim_t numComp = arg.getDataPointSize();
1234      const index_t left = (m_offset[0]==0 ? 0 : 1);      const index_t left = (m_offset[0]==0 ? 0 : 1);
# Line 1268  dim_t Rectangle::insertNeighbourNodes(In Line 1414  dim_t Rectangle::insertNeighbourNodes(In
1414  }  }
1415    
1416  //protected  //protected
1417  void Rectangle::nodesToDOF(escript::Data& out, escript::Data& in) const  void Rectangle::nodesToDOF(escript::Data& out, const escript::Data& in) const
1418  {  {
1419      const dim_t numComp = in.getDataPointSize();      const dim_t numComp = in.getDataPointSize();
1420      out.requireWrite();      out.requireWrite();
# Line 1288  void Rectangle::nodesToDOF(escript::Data Line 1434  void Rectangle::nodesToDOF(escript::Data
1434  }  }
1435    
1436  //protected  //protected
1437  void Rectangle::dofToNodes(escript::Data& out, escript::Data& in) const  void Rectangle::dofToNodes(escript::Data& out, const escript::Data& in) const
1438  {  {
1439      const dim_t numComp = in.getDataPointSize();      const dim_t numComp = in.getDataPointSize();
1440      Paso_Coupler* coupler = Paso_Coupler_alloc(m_connector, numComp);      Paso_Coupler* coupler = Paso_Coupler_alloc(m_connector, numComp);
1441      in.requireWrite();      // expand data object if necessary to be able to grab the whole data
1442      Paso_Coupler_startCollect(coupler, in.getSampleDataRW(0));      const_cast<escript::Data*>(&in)->expand();
1443        Paso_Coupler_startCollect(coupler, in.getSampleDataRO(0));
1444    
1445      const dim_t numDOF = getNumDOF();      const dim_t numDOF = getNumDOF();
1446      out.requireWrite();      out.requireWrite();
# Line 1488  void Rectangle::createPattern() Line 1635  void Rectangle::createPattern()
1635      RankVector neighbour;      RankVector neighbour;
1636      IndexVector offsetInShared(1,0);      IndexVector offsetInShared(1,0);
1637      IndexVector sendShared, recvShared;      IndexVector sendShared, recvShared;
1638      int numShared=0;      int numShared=0, expectedShared=0;
1639      const int x=m_mpiInfo->rank%m_NX[0];      const int x=m_mpiInfo->rank%m_NX[0];
1640      const int y=m_mpiInfo->rank/m_NX[0];      const int y=m_mpiInfo->rank/m_NX[0];
1641        if (x > 0)
1642            expectedShared += nDOF1;
1643        if (x < m_NX[0] - 1)
1644            expectedShared += nDOF1;
1645        if (y > 0)
1646            expectedShared += nDOF0;
1647        if (y < m_NX[1] - 1)
1648            expectedShared += nDOF0;
1649        if (x > 0 && y > 0) expectedShared++;
1650        if (x > 0 && y < m_NX[1] - 1) expectedShared++;
1651        if (x < m_NX[0] - 1 && y > 0) expectedShared++;
1652        if (x < m_NX[0] - 1 && y < m_NX[1] - 1) expectedShared++;
1653        
1654        vector<IndexVector> rowIndices(expectedShared);
1655        
1656      for (int i1=-1; i1<2; i1++) {      for (int i1=-1; i1<2; i1++) {
1657          for (int i0=-1; i0<2; i0++) {          for (int i0=-1; i0<2; i0++) {
1658              // skip this rank              // skip this rank
# Line 1510  void Rectangle::createPattern() Line 1672  void Rectangle::createPattern()
1672                          sendShared.push_back(firstDOF+i);                          sendShared.push_back(firstDOF+i);
1673                          recvShared.push_back(numDOF+numShared);                          recvShared.push_back(numDOF+numShared);
1674                          if (i>0)                          if (i>0)
1675                              colIndices[firstDOF+i-1].push_back(numShared);                              doublyLink(colIndices, rowIndices, firstDOF+i-1, numShared);
1676                          colIndices[firstDOF+i].push_back(numShared);                          doublyLink(colIndices, rowIndices, firstDOF+i, numShared);
1677                          if (i<nDOF0-1)                          if (i<nDOF0-1)
1678                              colIndices[firstDOF+i+1].push_back(numShared);                              doublyLink(colIndices, rowIndices, firstDOF+i+1, numShared);
1679                          m_dofMap[firstNode+i]=numDOF+numShared;                          m_dofMap[firstNode+i]=numDOF+numShared;
1680                      }                      }
1681                  } else if (i1==0) {                  } else if (i1==0) {
# Line 1525  void Rectangle::createPattern() Line 1687  void Rectangle::createPattern()
1687                          sendShared.push_back(firstDOF+i*nDOF0);                          sendShared.push_back(firstDOF+i*nDOF0);
1688                          recvShared.push_back(numDOF+numShared);                          recvShared.push_back(numDOF+numShared);
1689                          if (i>0)                          if (i>0)
1690                              colIndices[firstDOF+(i-1)*nDOF0].push_back(numShared);                              doublyLink(colIndices, rowIndices, firstDOF+(i-1)*nDOF0, numShared);
1691                          colIndices[firstDOF+i*nDOF0].push_back(numShared);                          doublyLink(colIndices, rowIndices, firstDOF+i*nDOF0, numShared);
1692                          if (i<nDOF1-1)                          if (i<nDOF1-1)
1693                              colIndices[firstDOF+(i+1)*nDOF0].push_back(numShared);                              doublyLink(colIndices, rowIndices, firstDOF+(i+1)*nDOF0, numShared);
1694                          m_dofMap[firstNode+i*m_NN[0]]=numDOF+numShared;                          m_dofMap[firstNode+i*m_NN[0]]=numDOF+numShared;
1695                      }                      }
1696                  } else {                  } else {
# Line 1538  void Rectangle::createPattern() Line 1700  void Rectangle::createPattern()
1700                      offsetInShared.push_back(offsetInShared.back()+1);                      offsetInShared.push_back(offsetInShared.back()+1);
1701                      sendShared.push_back(dof);                      sendShared.push_back(dof);
1702                      recvShared.push_back(numDOF+numShared);                      recvShared.push_back(numDOF+numShared);
1703                      colIndices[dof].push_back(numShared);                      doublyLink(colIndices, rowIndices, dof, numShared);
1704                      m_dofMap[node]=numDOF+numShared;                      m_dofMap[node]=numDOF+numShared;
1705                      ++numShared;                      ++numShared;
1706                  }                  }
1707              }              }
1708          }          }
1709      }      }
1710            
1711    #pragma omp parallel for
1712        for (int i = 0; i < numShared; i++) {
1713            std::sort(rowIndices[i].begin(), rowIndices[i].end());
1714        }
1715        
1716      // create connector      // create connector
1717      Paso_SharedComponents *snd_shcomp = Paso_SharedComponents_alloc(      Paso_SharedComponents *snd_shcomp = Paso_SharedComponents_alloc(
1718              numDOF, neighbour.size(), &neighbour[0], &sendShared[0],              numDOF, neighbour.size(), &neighbour[0], &sendShared[0],
# Line 1560  void Rectangle::createPattern() Line 1727  void Rectangle::createPattern()
1727      // create main and couple blocks      // create main and couple blocks
1728      Paso_Pattern *mainPattern = createMainPattern();      Paso_Pattern *mainPattern = createMainPattern();
1729      Paso_Pattern *colPattern, *rowPattern;      Paso_Pattern *colPattern, *rowPattern;
1730      createCouplePatterns(colIndices, numShared, &colPattern, &rowPattern);      createCouplePatterns(colIndices, rowIndices, numShared, &colPattern, &rowPattern);
1731    
1732      // allocate paso distribution      // allocate paso distribution
1733      Paso_Distribution* distribution = Paso_Distribution_alloc(m_mpiInfo,      Paso_Distribution* distribution = Paso_Distribution_alloc(m_mpiInfo,
# Line 1663  void Rectangle::addToMatrixAndRHS(Paso_S Line 1830  void Rectangle::addToMatrixAndRHS(Paso_S
1830    
1831  //protected  //protected
1832  void Rectangle::interpolateNodesOnElements(escript::Data& out,  void Rectangle::interpolateNodesOnElements(escript::Data& out,
1833                                          escript::Data& in, bool reduced) const                                             const escript::Data& in,
1834                                               bool reduced) const
1835  {  {
1836      const dim_t numComp = in.getDataPointSize();      const dim_t numComp = in.getDataPointSize();
1837      if (reduced) {      if (reduced) {
# Line 1721  void Rectangle::interpolateNodesOnElemen Line 1889  void Rectangle::interpolateNodesOnElemen
1889  }  }
1890    
1891  //protected  //protected
1892  void Rectangle::interpolateNodesOnFaces(escript::Data& out, escript::Data& in,  void Rectangle::interpolateNodesOnFaces(escript::Data& out,
1893                                            const escript::Data& in,
1894                                          bool reduced) const                                          bool reduced) const
1895  {  {
1896      const dim_t numComp = in.getDataPointSize();      const dim_t numComp = in.getDataPointSize();
# Line 1840  void Rectangle::interpolateNodesOnFaces( Line 2009  void Rectangle::interpolateNodesOnFaces(
2009      }      }
2010  }  }
2011    
 //protected  
 void Rectangle::assemblePDESingle(Paso_SystemMatrix* mat,  
         escript::Data& rhs, const escript::Data& A, const escript::Data& B,  
         const escript::Data& C, const escript::Data& D,  
         const escript::Data& X, const escript::Data& Y) const  
 {  
     const double SQRT3 = 1.73205080756887719318;  
     const double w1 = 1.0/24.0;  
     const double w5 = -SQRT3/24 + 1.0/12;  
     const double w2 = -SQRT3/24 - 1.0/12;  
     const double w19 = -m_dx[0]/12;  
     const double w11 = w19*(SQRT3 + 3)/12;  
     const double w14 = w19*(-SQRT3 + 3)/12;  
     const double w16 = w19*(5*SQRT3 + 9)/12;  
     const double w17 = w19*(-5*SQRT3 + 9)/12;  
     const double w27 = w19*(-SQRT3 - 3)/2;  
     const double w28 = w19*(SQRT3 - 3)/2;  
     const double w18 = -m_dx[1]/12;  
     const double w12 = w18*(5*SQRT3 + 9)/12;  
     const double w13 = w18*(-5*SQRT3 + 9)/12;  
     const double w10 = w18*(SQRT3 + 3)/12;  
     const double w15 = w18*(-SQRT3 + 3)/12;  
     const double w25 = w18*(-SQRT3 - 3)/2;  
     const double w26 = w18*(SQRT3 - 3)/2;  
     const double w22 = m_dx[0]*m_dx[1]/144;  
     const double w20 = w22*(SQRT3 + 2);  
     const double w21 = w22*(-SQRT3 + 2);  
     const double w23 = w22*(4*SQRT3 + 7);  
     const double w24 = w22*(-4*SQRT3 + 7);  
     const double w3 = m_dx[0]/(24*m_dx[1]);  
     const double w7 = w3*(SQRT3 + 2);  
     const double w8 = w3*(-SQRT3 + 2);  
     const double w6 = -m_dx[1]/(24*m_dx[0]);  
     const double w0 = w6*(SQRT3 + 2);  
     const double w4 = w6*(-SQRT3 + 2);  
   
     rhs.requireWrite();  
 #pragma omp parallel  
     {  
         for (index_t k1_0=0; k1_0<2; k1_0++) { // colouring  
 #pragma omp for  
             for (index_t k1=k1_0; k1<m_NE[1]; k1+=2) {  
                 for (index_t k0=0; k0<m_NE[0]; ++k0)  {  
                     bool add_EM_S=false;  
                     bool add_EM_F=false;  
                     vector<double> EM_S(4*4, 0);  
                     vector<double> EM_F(4, 0);  
                     const index_t e = k0 + m_NE[0]*k1;  
                     ///////////////  
                     // process A //  
                     ///////////////  
                     if (!A.isEmpty()) {  
                         add_EM_S = true;  
                         const double* A_p = const_cast<escript::Data*>(&A)->getSampleDataRO(e);  
                         if (A.actsExpanded()) {  
                             const double A_00_0 = A_p[INDEX3(0,0,0,2,2)];  
                             const double A_01_0 = A_p[INDEX3(0,1,0,2,2)];  
                             const double A_10_0 = A_p[INDEX3(1,0,0,2,2)];  
                             const double A_11_0 = A_p[INDEX3(1,1,0,2,2)];  
                             const double A_00_1 = A_p[INDEX3(0,0,1,2,2)];  
                             const double A_01_1 = A_p[INDEX3(0,1,1,2,2)];  
                             const double A_10_1 = A_p[INDEX3(1,0,1,2,2)];  
                             const double A_11_1 = A_p[INDEX3(1,1,1,2,2)];  
                             const double A_00_2 = A_p[INDEX3(0,0,2,2,2)];  
                             const double A_01_2 = A_p[INDEX3(0,1,2,2,2)];  
                             const double A_10_2 = A_p[INDEX3(1,0,2,2,2)];  
                             const double A_11_2 = A_p[INDEX3(1,1,2,2,2)];  
                             const double A_00_3 = A_p[INDEX3(0,0,3,2,2)];  
                             const double A_01_3 = A_p[INDEX3(0,1,3,2,2)];  
                             const double A_10_3 = A_p[INDEX3(1,0,3,2,2)];  
                             const double A_11_3 = A_p[INDEX3(1,1,3,2,2)];  
                             const double tmp0 = w3*(A_11_0 + A_11_1 + A_11_2 + A_11_3);  
                             const double tmp1 = w1*(A_01_0 + A_01_3 - A_10_1 - A_10_2);  
                             const double tmp2 = w4*(A_00_2 + A_00_3);  
                             const double tmp3 = w0*(A_00_0 + A_00_1);  
                             const double tmp4 = w5*(A_01_2 - A_10_3);  
                             const double tmp5 = w2*(-A_01_1 + A_10_0);  
                             const double tmp6 = w5*(A_01_3 + A_10_0);  
                             const double tmp7 = w3*(-A_11_0 - A_11_1 - A_11_2 - A_11_3);  
                             const double tmp8 = w6*(A_00_0 + A_00_1 + A_00_2 + A_00_3);  
                             const double tmp9 = w1*(A_01_1 + A_01_2 + A_10_1 + A_10_2);  
                             const double tmp10 = w2*(-A_01_0 - A_10_3);  
                             const double tmp11 = w4*(A_00_0 + A_00_1);  
                             const double tmp12 = w0*(A_00_2 + A_00_3);  
                             const double tmp13 = w5*(A_01_1 - A_10_0);  
                             const double tmp14 = w2*(-A_01_2 + A_10_3);  
                             const double tmp15 = w7*(A_11_0 + A_11_2);  
                             const double tmp16 = w4*(-A_00_2 - A_00_3);  
                             const double tmp17 = w0*(-A_00_0 - A_00_1);  
                             const double tmp18 = w5*(A_01_3 + A_10_3);  
                             const double tmp19 = w8*(A_11_1 + A_11_3);  
                             const double tmp20 = w2*(-A_01_0 - A_10_0);  
                             const double tmp21 = w7*(A_11_1 + A_11_3);  
                             const double tmp22 = w4*(-A_00_0 - A_00_1);  
                             const double tmp23 = w0*(-A_00_2 - A_00_3);  
                             const double tmp24 = w5*(A_01_0 + A_10_0);  
                             const double tmp25 = w8*(A_11_0 + A_11_2);  
                             const double tmp26 = w2*(-A_01_3 - A_10_3);  
                             const double tmp27 = w5*(-A_01_1 - A_10_2);  
                             const double tmp28 = w1*(-A_01_0 - A_01_3 - A_10_0 - A_10_3);  
                             const double tmp29 = w2*(A_01_2 + A_10_1);  
                             const double tmp30 = w7*(-A_11_1 - A_11_3);  
                             const double tmp31 = w1*(-A_01_1 - A_01_2 + A_10_0 + A_10_3);  
                             const double tmp32 = w5*(-A_01_0 + A_10_2);  
                             const double tmp33 = w8*(-A_11_0 - A_11_2);  
                             const double tmp34 = w6*(-A_00_0 - A_00_1 - A_00_2 - A_00_3);  
                             const double tmp35 = w2*(A_01_3 - A_10_1);  
                             const double tmp36 = w5*(A_01_0 + A_10_3);  
                             const double tmp37 = w2*(-A_01_3 - A_10_0);  
                             const double tmp38 = w7*(-A_11_0 - A_11_2);  
                             const double tmp39 = w5*(-A_01_3 + A_10_1);  
                             const double tmp40 = w8*(-A_11_1 - A_11_3);  
                             const double tmp41 = w2*(A_01_0 - A_10_2);  
                             const double tmp42 = w5*(A_01_1 - A_10_3);  
                             const double tmp43 = w2*(-A_01_2 + A_10_0);  
                             const double tmp44 = w5*(A_01_2 - A_10_0);  
                             const double tmp45 = w2*(-A_01_1 + A_10_3);  
                             const double tmp46 = w5*(-A_01_0 + A_10_1);  
                             const double tmp47 = w2*(A_01_3 - A_10_2);  
                             const double tmp48 = w5*(-A_01_1 - A_10_1);  
                             const double tmp49 = w2*(A_01_2 + A_10_2);  
                             const double tmp50 = w5*(-A_01_3 + A_10_2);  
                             const double tmp51 = w2*(A_01_0 - A_10_1);  
                             const double tmp52 = w5*(-A_01_2 - A_10_1);  
                             const double tmp53 = w2*(A_01_1 + A_10_2);  
                             const double tmp54 = w5*(-A_01_2 - A_10_2);  
                             const double tmp55 = w2*(A_01_1 + A_10_1);  
                             EM_S[INDEX2(0,0,4)]+=tmp15 + tmp16 + tmp17 + tmp18 + tmp19 + tmp20 + tmp9;  
                             EM_S[INDEX2(0,1,4)]+=tmp0 + tmp1 + tmp2 + tmp3 + tmp4 + tmp5;  
                             EM_S[INDEX2(0,2,4)]+=tmp31 + tmp34 + tmp38 + tmp39 + tmp40 + tmp41;  
                             EM_S[INDEX2(0,3,4)]+=tmp28 + tmp52 + tmp53 + tmp7 + tmp8;  
                             EM_S[INDEX2(1,0,4)]+=tmp0 + tmp2 + tmp3 + tmp31 + tmp50 + tmp51;  
                             EM_S[INDEX2(1,1,4)]+=tmp16 + tmp17 + tmp21 + tmp25 + tmp28 + tmp54 + tmp55;  
                             EM_S[INDEX2(1,2,4)]+=tmp10 + tmp6 + tmp7 + tmp8 + tmp9;  
                             EM_S[INDEX2(1,3,4)]+=tmp1 + tmp30 + tmp33 + tmp34 + tmp44 + tmp45;  
                             EM_S[INDEX2(2,0,4)]+=tmp1 + tmp34 + tmp38 + tmp40 + tmp42 + tmp43;  
                             EM_S[INDEX2(2,1,4)]+=tmp36 + tmp37 + tmp7 + tmp8 + tmp9;  
                             EM_S[INDEX2(2,2,4)]+=tmp15 + tmp19 + tmp22 + tmp23 + tmp28 + tmp48 + tmp49;  
                             EM_S[INDEX2(2,3,4)]+=tmp0 + tmp11 + tmp12 + tmp31 + tmp46 + tmp47;  
                             EM_S[INDEX2(3,0,4)]+=tmp27 + tmp28 + tmp29 + tmp7 + tmp8;  
                             EM_S[INDEX2(3,1,4)]+=tmp30 + tmp31 + tmp32 + tmp33 + tmp34 + tmp35;  
                             EM_S[INDEX2(3,2,4)]+=tmp0 + tmp1 + tmp11 + tmp12 + tmp13 + tmp14;  
                             EM_S[INDEX2(3,3,4)]+=tmp21 + tmp22 + tmp23 + tmp24 + tmp25 + tmp26 + tmp9;  
                         } else { // constant data  
                             const double A_00 = A_p[INDEX2(0,0,2)];  
                             const double A_01 = A_p[INDEX2(0,1,2)];  
                             const double A_10 = A_p[INDEX2(1,0,2)];  
                             const double A_11 = A_p[INDEX2(1,1,2)];  
                             const double tmp0 = 6*w1*(A_01 - A_10);  
                             const double tmp1 = 6*w1*(A_01 + A_10);  
                             const double tmp2 = 6*w1*(-A_01 - A_10);  
                             const double tmp3 = 6*w1*(-A_01 + A_10);  
                             EM_S[INDEX2(0,0,4)]+=-8*A_00*w6 + 8*A_11*w3 + tmp1;  
                             EM_S[INDEX2(0,1,4)]+=8*A_00*w6 + 4*A_11*w3 + tmp0;  
                             EM_S[INDEX2(0,2,4)]+=-4*A_00*w6 - 8*A_11*w3 + tmp3;  
                             EM_S[INDEX2(0,3,4)]+=4*A_00*w6 - 4*A_11*w3 + tmp2;  
                             EM_S[INDEX2(1,0,4)]+=8*A_00*w6 + 4*A_11*w3 + tmp3;  
                             EM_S[INDEX2(1,1,4)]+=-8*A_00*w6 + 8*A_11*w3 + tmp2;  
                             EM_S[INDEX2(1,2,4)]+=4*A_00*w6 - 4*A_11*w3 + tmp1;  
                             EM_S[INDEX2(1,3,4)]+=-4*A_00*w6 - 8*A_11*w3 + tmp0;  
                             EM_S[INDEX2(2,0,4)]+=-4*A_00*w6 - 8*A_11*w3 + tmp0;  
                             EM_S[INDEX2(2,1,4)]+=4*A_00*w6 - 4*A_11*w3 + tmp1;  
                             EM_S[INDEX2(2,2,4)]+=-8*A_00*w6 + 8*A_11*w3 + tmp2;  
                             EM_S[INDEX2(2,3,4)]+=8*A_00*w6 + 4*A_11*w3 + tmp3;  
                             EM_S[INDEX2(3,0,4)]+=4*A_00*w6 - 4*A_11*w3 + tmp2;  
                             EM_S[INDEX2(3,1,4)]+=-4*A_00*w6 - 8*A_11*w3 + tmp3;  
                             EM_S[INDEX2(3,2,4)]+=8*A_00*w6 + 4*A_11*w3 + tmp0;  
                             EM_S[INDEX2(3,3,4)]+=-8*A_00*w6 + 8*A_11*w3 + tmp1;  
                         }  
                     }  
                     ///////////////  
                     // process B //  
                     ///////////////  
                     if (!B.isEmpty()) {  
                         add_EM_S=true;  
                         const double* B_p=const_cast<escript::Data*>(&B)->getSampleDataRO(e);  
                         if (B.actsExpanded()) {  
                             const double B_0_0 = B_p[INDEX2(0,0,2)];  
                             const double B_1_0 = B_p[INDEX2(1,0,2)];  
                             const double B_0_1 = B_p[INDEX2(0,1,2)];  
                             const double B_1_1 = B_p[INDEX2(1,1,2)];  
                             const double B_0_2 = B_p[INDEX2(0,2,2)];  
                             const double B_1_2 = B_p[INDEX2(1,2,2)];  
                             const double B_0_3 = B_p[INDEX2(0,3,2)];  
                             const double B_1_3 = B_p[INDEX2(1,3,2)];  
                             const double tmp0 = w11*(B_1_0 + B_1_1);  
                             const double tmp1 = w14*(B_1_2 + B_1_3);  
                             const double tmp2 = w15*(-B_0_1 - B_0_3);  
                             const double tmp3 = w10*(-B_0_0 - B_0_2);  
                             const double tmp4 = w11*(B_1_2 + B_1_3);  
                             const double tmp5 = w14*(B_1_0 + B_1_1);  
                             const double tmp6 = w11*(-B_1_2 - B_1_3);  
                             const double tmp7 = w14*(-B_1_0 - B_1_1);  
                             const double tmp8 = w11*(-B_1_0 - B_1_1);  
                             const double tmp9 = w14*(-B_1_2 - B_1_3);  
                             const double tmp10 = w10*(-B_0_1 - B_0_3);  
                             const double tmp11 = w15*(-B_0_0 - B_0_2);  
                             const double tmp12 = w15*(B_0_0 + B_0_2);  
                             const double tmp13 = w10*(B_0_1 + B_0_3);  
                             const double tmp14 = w10*(B_0_0 + B_0_2);  
                             const double tmp15 = w15*(B_0_1 + B_0_3);  
                             EM_S[INDEX2(0,0,4)]+=B_0_0*w12 + B_0_1*w10 + B_0_2*w15 + B_0_3*w13 + B_1_0*w16 + B_1_1*w14 + B_1_2*w11 + B_1_3*w17;  
                             EM_S[INDEX2(0,1,4)]+=B_0_0*w10 + B_0_1*w12 + B_0_2*w13 + B_0_3*w15 + tmp0 + tmp1;  
                             EM_S[INDEX2(0,2,4)]+=B_1_0*w11 + B_1_1*w17 + B_1_2*w16 + B_1_3*w14 + tmp14 + tmp15;  
                             EM_S[INDEX2(0,3,4)]+=tmp12 + tmp13 + tmp4 + tmp5;  
                             EM_S[INDEX2(1,0,4)]+=-B_0_0*w12 - B_0_1*w10 - B_0_2*w15 - B_0_3*w13 + tmp0 + tmp1;  
                             EM_S[INDEX2(1,1,4)]+=-B_0_0*w10 - B_0_1*w12 - B_0_2*w13 - B_0_3*w15 + B_1_0*w14 + B_1_1*w16 + B_1_2*w17 + B_1_3*w11;  
                             EM_S[INDEX2(1,2,4)]+=tmp2 + tmp3 + tmp4 + tmp5;  
                             EM_S[INDEX2(1,3,4)]+=B_1_0*w17 + B_1_1*w11 + B_1_2*w14 + B_1_3*w16 + tmp10 + tmp11;  
                             EM_S[INDEX2(2,0,4)]+=-B_1_0*w16 - B_1_1*w14 - B_1_2*w11 - B_1_3*w17 + tmp14 + tmp15;  
                             EM_S[INDEX2(2,1,4)]+=tmp12 + tmp13 + tmp8 + tmp9;  
                             EM_S[INDEX2(2,2,4)]+=B_0_0*w15 + B_0_1*w13 + B_0_2*w12 + B_0_3*w10 - B_1_0*w11 - B_1_1*w17 - B_1_2*w16 - B_1_3*w14;  
                             EM_S[INDEX2(2,3,4)]+=B_0_0*w13 + B_0_1*w15 + B_0_2*w10 + B_0_3*w12 + tmp6 + tmp7;  
                             EM_S[INDEX2(3,0,4)]+=tmp2 + tmp3 + tmp8 + tmp9;  
                             EM_S[INDEX2(3,1,4)]+=-B_1_0*w14 - B_1_1*w16 - B_1_2*w17 - B_1_3*w11 + tmp10 + tmp11;  
                             EM_S[INDEX2(3,2,4)]+=-B_0_0*w15 - B_0_1*w13 - B_0_2*w12 - B_0_3*w10 + tmp6 + tmp7;  
                             EM_S[INDEX2(3,3,4)]+=-B_0_0*w13 - B_0_1*w15 - B_0_2*w10 - B_0_3*w12 - B_1_0*w17 - B_1_1*w11 - B_1_2*w14 - B_1_3*w16;  
                         } else { // constant data  
                             const double B_0 = B_p[0];  
                             const double B_1 = B_p[1];  
                             EM_S[INDEX2(0,0,4)]+= 2*B_0*w18 + 2*B_1*w19;  
                             EM_S[INDEX2(0,1,4)]+= 2*B_0*w18 +   B_1*w19;  
                             EM_S[INDEX2(0,2,4)]+=   B_0*w18 + 2*B_1*w19;  
                             EM_S[INDEX2(0,3,4)]+=   B_0*w18 +   B_1*w19;  
                             EM_S[INDEX2(1,0,4)]+=-2*B_0*w18 +   B_1*w19;  
                             EM_S[INDEX2(1,1,4)]+=-2*B_0*w18 + 2*B_1*w19;  
                             EM_S[INDEX2(1,2,4)]+=  -B_0*w18 +   B_1*w19;  
                             EM_S[INDEX2(1,3,4)]+=  -B_0*w18 + 2*B_1*w19;  
                             EM_S[INDEX2(2,0,4)]+=   B_0*w18 - 2*B_1*w19;  
                             EM_S[INDEX2(2,1,4)]+=   B_0*w18 -   B_1*w19;  
                             EM_S[INDEX2(2,2,4)]+= 2*B_0*w18 - 2*B_1*w19;  
                             EM_S[INDEX2(2,3,4)]+= 2*B_0*w18 -   B_1*w19;  
                             EM_S[INDEX2(3,0,4)]+=  -B_0*w18 -   B_1*w19;  
                             EM_S[INDEX2(3,1,4)]+=  -B_0*w18 - 2*B_1*w19;  
                             EM_S[INDEX2(3,2,4)]+=-2*B_0*w18 -   B_1*w19;  
                             EM_S[INDEX2(3,3,4)]+=-2*B_0*w18 - 2*B_1*w19;  
                         }  
                     }  
                     ///////////////  
                     // process C //  
                     ///////////////  
                     if (!C.isEmpty()) {  
                         add_EM_S=true;  
                         const double* C_p=const_cast<escript::Data*>(&C)->getSampleDataRO(e);  
                         if (C.actsExpanded()) {  
                             const double C_0_0 = C_p[INDEX2(0,0,2)];  
                             const double C_1_0 = C_p[INDEX2(1,0,2)];  
                             const double C_0_1 = C_p[INDEX2(0,1,2)];  
                             const double C_1_1 = C_p[INDEX2(1,1,2)];  
                             const double C_0_2 = C_p[INDEX2(0,2,2)];  
                             const double C_1_2 = C_p[INDEX2(1,2,2)];  
                             const double C_0_3 = C_p[INDEX2(0,3,2)];  
                             const double C_1_3 = C_p[INDEX2(1,3,2)];  
                             const double tmp0 = w11*(C_1_0 + C_1_1);  
                             const double tmp1 = w14*(C_1_2 + C_1_3);  
                             const double tmp2 = w15*(C_0_0 + C_0_2);  
                             const double tmp3 = w10*(C_0_1 + C_0_3);  
                             const double tmp4 = w11*(-C_1_0 - C_1_1);  
                             const double tmp5 = w14*(-C_1_2 - C_1_3);  
                             const double tmp6 = w11*(-C_1_2 - C_1_3);  
                             const double tmp7 = w14*(-C_1_0 - C_1_1);  
                             const double tmp8 = w11*(C_1_2 + C_1_3);  
                             const double tmp9 = w14*(C_1_0 + C_1_1);  
                             const double tmp10 = w10*(-C_0_1 - C_0_3);  
                             const double tmp11 = w15*(-C_0_0 - C_0_2);  
                             const double tmp12 = w15*(-C_0_1 - C_0_3);  
                             const double tmp13 = w10*(-C_0_0 - C_0_2);  
                             const double tmp14 = w10*(C_0_0 + C_0_2);  
                             const double tmp15 = w15*(C_0_1 + C_0_3);  
                             EM_S[INDEX2(0,0,4)]+=C_0_0*w12 + C_0_1*w10 + C_0_2*w15 + C_0_3*w13 + C_1_0*w16 + C_1_1*w14 + C_1_2*w11 + C_1_3*w17;  
                             EM_S[INDEX2(0,1,4)]+=-C_0_0*w12 - C_0_1*w10 - C_0_2*w15 - C_0_3*w13 + tmp0 + tmp1;  
                             EM_S[INDEX2(0,2,4)]+=-C_1_0*w16 - C_1_1*w14 - C_1_2*w11 - C_1_3*w17 + tmp14 + tmp15;  
                             EM_S[INDEX2(0,3,4)]+=tmp12 + tmp13 + tmp4 + tmp5;  
                             EM_S[INDEX2(1,0,4)]+=C_0_0*w10 + C_0_1*w12 + C_0_2*w13 + C_0_3*w15 + tmp0 + tmp1;  
                             EM_S[INDEX2(1,1,4)]+=-C_0_0*w10 - C_0_1*w12 - C_0_2*w13 - C_0_3*w15 + C_1_0*w14 + C_1_1*w16 + C_1_2*w17 + C_1_3*w11;  
                             EM_S[INDEX2(1,2,4)]+=tmp2 + tmp3 + tmp4 + tmp5;  
                             EM_S[INDEX2(1,3,4)]+=-C_1_0*w14 - C_1_1*w16 - C_1_2*w17 - C_1_3*w11 + tmp10 + tmp11;  
                             EM_S[INDEX2(2,0,4)]+=C_1_0*w11 + C_1_1*w17 + C_1_2*w16 + C_1_3*w14 + tmp14 + tmp15;  
                             EM_S[INDEX2(2,1,4)]+=tmp12 + tmp13 + tmp8 + tmp9;  
                             EM_S[INDEX2(2,2,4)]+=C_0_0*w15 + C_0_1*w13 + C_0_2*w12 + C_0_3*w10 - C_1_0*w11 - C_1_1*w17 - C_1_2*w16 - C_1_3*w14;  
                             EM_S[INDEX2(2,3,4)]+=-C_0_0*w15 - C_0_1*w13 - C_0_2*w12 - C_0_3*w10 + tmp6 + tmp7;  
                             EM_S[INDEX2(3,0,4)]+=tmp2 + tmp3 + tmp8 + tmp9;  
                             EM_S[INDEX2(3,1,4)]+=C_1_0*w17 + C_1_1*w11 + C_1_2*w14 + C_1_3*w16 + tmp10 + tmp11;  
                             EM_S[INDEX2(3,2,4)]+=C_0_0*w13 + C_0_1*w15 + C_0_2*w10 + C_0_3*w12 + tmp6 + tmp7;  
                             EM_S[INDEX2(3,3,4)]+=-C_0_0*w13 - C_0_1*w15 - C_0_2*w10 - C_0_3*w12 - C_1_0*w17 - C_1_1*w11 - C_1_2*w14 - C_1_3*w16;  
                         } else { // constant data  
                             const double C_0 = C_p[0];  
                             const double C_1 = C_p[1];  
                             EM_S[INDEX2(0,0,4)]+= 2*C_0*w18 + 2*C_1*w19;  
                             EM_S[INDEX2(0,1,4)]+=-2*C_0*w18 +   C_1*w19;  
                             EM_S[INDEX2(0,2,4)]+=   C_0*w18 - 2*C_1*w19;  
                             EM_S[INDEX2(0,3,4)]+=  -C_0*w18 -   C_1*w19;  
                             EM_S[INDEX2(1,0,4)]+= 2*C_0*w18 +   C_1*w19;  
                             EM_S[INDEX2(1,1,4)]+=-2*C_0*w18 + 2*C_1*w19;  
                             EM_S[INDEX2(1,2,4)]+=   C_0*w18 -   C_1*w19;  
                             EM_S[INDEX2(1,3,4)]+=  -C_0*w18 - 2*C_1*w19;  
                             EM_S[INDEX2(2,0,4)]+=   C_0*w18 + 2*C_1*w19;  
                             EM_S[INDEX2(2,1,4)]+=  -C_0*w18 +   C_1*w19;  
                             EM_S[INDEX2(2,2,4)]+= 2*C_0*w18 - 2*C_1*w19;  
                             EM_S[INDEX2(2,3,4)]+=-2*C_0*w18 -   C_1*w19;  
                             EM_S[INDEX2(3,0,4)]+=   C_0*w18 +   C_1*w19;  
                             EM_S[INDEX2(3,1,4)]+=  -C_0*w18 + 2*C_1*w19;  
                             EM_S[INDEX2(3,2,4)]+= 2*C_0*w18 -   C_1*w19;  
                             EM_S[INDEX2(3,3,4)]+=-2*C_0*w18 - 2*C_1*w19;  
                         }  
                     }  
                     ///////////////  
                     // process D //  
                     ///////////////  
                     if (!D.isEmpty()) {  
                         add_EM_S=true;  
                         const double* D_p=const_cast<escript::Data*>(&D)->getSampleDataRO(e);  
                         if (D.actsExpanded()) {  
                             const double D_0 = D_p[0];  
                             const double D_1 = D_p[1];  
                             const double D_2 = D_p[2];  
                             const double D_3 = D_p[3];  
                             const double tmp0 = w21*(D_2 + D_3);  
                             const double tmp1 = w20*(D_0 + D_1);  
                             const double tmp2 = w22*(D_0 + D_1 + D_2 + D_3);  
                             const double tmp3 = w21*(D_0 + D_1);  
                             const double tmp4 = w20*(D_2 + D_3);  
                             const double tmp5 = w22*(D_1 + D_2);  
                             const double tmp6 = w21*(D_0 + D_2);  
                             const double tmp7 = w20*(D_1 + D_3);  
                             const double tmp8 = w21*(D_1 + D_3);  
                             const double tmp9 = w20*(D_0 + D_2);  
                             const double tmp10 = w22*(D_0 + D_3);  
                             EM_S[INDEX2(0,0,4)]+=D_0*w23 + D_3*w24 + tmp5;  
                             EM_S[INDEX2(0,1,4)]+=tmp0 + tmp1;  
                             EM_S[INDEX2(0,2,4)]+=tmp8 + tmp9;  
                             EM_S[INDEX2(0,3,4)]+=tmp2;  
                             EM_S[INDEX2(1,0,4)]+=tmp0 + tmp1;  
                             EM_S[INDEX2(1,1,4)]+=D_1*w23 + D_2*w24 + tmp10;  
                             EM_S[INDEX2(1,2,4)]+=tmp2;  
                             EM_S[INDEX2(1,3,4)]+=tmp6 + tmp7;  
                             EM_S[INDEX2(2,0,4)]+=tmp8 + tmp9;  
                             EM_S[INDEX2(2,1,4)]+=tmp2;  
                             EM_S[INDEX2(2,2,4)]+=D_1*w24 + D_2*w23 + tmp10;  
                             EM_S[INDEX2(2,3,4)]+=tmp3 + tmp4;  
                             EM_S[INDEX2(3,0,4)]+=tmp2;  
                             EM_S[INDEX2(3,1,4)]+=tmp6 + tmp7;  
                             EM_S[INDEX2(3,2,4)]+=tmp3 + tmp4;  
                             EM_S[INDEX2(3,3,4)]+=D_0*w24 + D_3*w23 + tmp5;  
                         } else { // constant data  
                             const double D_0 = D_p[0];  
                             EM_S[INDEX2(0,0,4)]+=16*D_0*w22;  
                             EM_S[INDEX2(0,1,4)]+=8*D_0*w22;  
                             EM_S[INDEX2(0,2,4)]+=8*D_0*w22;  
                             EM_S[INDEX2(0,3,4)]+=4*D_0*w22;  
                             EM_S[INDEX2(1,0,4)]+=8*D_0*w22;  
                             EM_S[INDEX2(1,1,4)]+=16*D_0*w22;  
                             EM_S[INDEX2(1,2,4)]+=4*D_0*w22;  
                             EM_S[INDEX2(1,3,4)]+=8*D_0*w22;  
                             EM_S[INDEX2(2,0,4)]+=8*D_0*w22;  
                             EM_S[INDEX2(2,1,4)]+=4*D_0*w22;  
                             EM_S[INDEX2(2,2,4)]+=16*D_0*w22;  
                             EM_S[INDEX2(2,3,4)]+=8*D_0*w22;  
                             EM_S[INDEX2(3,0,4)]+=4*D_0*w22;  
                             EM_S[INDEX2(3,1,4)]+=8*D_0*w22;  
                             EM_S[INDEX2(3,2,4)]+=8*D_0*w22;  
                             EM_S[INDEX2(3,3,4)]+=16*D_0*w22;  
                         }  
                     }  
                     ///////////////  
                     // process X //  
                     ///////////////  
                     if (!X.isEmpty()) {  
                         add_EM_F=true;  
                         const double* X_p=const_cast<escript::Data*>(&X)->getSampleDataRO(e);  
                         if (X.actsExpanded()) {  
                             const double X_0_0 = X_p[INDEX2(0,0,2)];  
                             const double X_1_0 = X_p[INDEX2(1,0,2)];  
                             const double X_0_1 = X_p[INDEX2(0,1,2)];  
                             const double X_1_1 = X_p[INDEX2(1,1,2)];  
                             const double X_0_2 = X_p[INDEX2(0,2,2)];  
                             const double X_1_2 = X_p[INDEX2(1,2,2)];  
                             const double X_0_3 = X_p[INDEX2(0,3,2)];  
                             const double X_1_3 = X_p[INDEX2(1,3,2)];  
                             const double tmp0 = 6*w15*(X_0_2 + X_0_3);  
                             const double tmp1 = 6*w10*(X_0_0 + X_0_1);  
                             const double tmp2 = 6*w11*(X_1_0 + X_1_2);  
                             const double tmp3 = 6*w14*(X_1_1 + X_1_3);  
                             const double tmp4 = 6*w11*(X_1_1 + X_1_3);  
                             const double tmp5 = w25*(X_0_0 + X_0_1);  
                             const double tmp6 = w26*(X_0_2 + X_0_3);  
                             const double tmp7 = 6*w14*(X_1_0 + X_1_2);  
                             const double tmp8 = w27*(X_1_0 + X_1_2);  
                             const double tmp9 = w28*(X_1_1 + X_1_3);  
                             const double tmp10 = w25*(-X_0_2 - X_0_3);  
                             const double tmp11 = w26*(-X_0_0 - X_0_1);  
                             const double tmp12 = w27*(X_1_1 + X_1_3);  
                             const double tmp13 = w28*(X_1_0 + X_1_2);  
                             const double tmp14 = w25*(X_0_2 + X_0_3);  
                             const double tmp15 = w26*(X_0_0 + X_0_1);  
                             EM_F[0]+=tmp0 + tmp1 + tmp2 + tmp3;  
                             EM_F[1]+=tmp4 + tmp5 + tmp6 + tmp7;  
                             EM_F[2]+=tmp10 + tmp11 + tmp8 + tmp9;  
                             EM_F[3]+=tmp12 + tmp13 + tmp14 + tmp15;  
                         } else { // constant data  
                             const double X_0 = X_p[0];  
                             const double X_1 = X_p[1];  
                             EM_F[0]+= 6*X_0*w18 + 6*X_1*w19;  
                             EM_F[1]+=-6*X_0*w18 + 6*X_1*w19;  
                             EM_F[2]+= 6*X_0*w18 - 6*X_1*w19;  
                             EM_F[3]+=-6*X_0*w18 - 6*X_1*w19;  
                         }  
                     }  
                     ///////////////  
                     // process Y //  
                     ///////////////  
                     if (!Y.isEmpty()) {  
                         add_EM_F=true;  
                         const double* Y_p=const_cast<escript::Data*>(&Y)->getSampleDataRO(e);  
                         if (Y.actsExpanded()) {  
                             const double Y_0 = Y_p[0];  
                             const double Y_1 = Y_p[1];  
                             const double Y_2 = Y_p[2];  
                             const double Y_3 = Y_p[3];  
                             const double tmp0 = 6*w22*(Y_1 + Y_2);  
                             const double tmp1 = 6*w22*(Y_0 + Y_3);  
                             EM_F[0]+=6*Y_0*w20 + 6*Y_3*w21 + tmp0;  
                             EM_F[1]+=6*Y_1*w20 + 6*Y_2*w21 + tmp1;  
                             EM_F[2]+=6*Y_1*w21 + 6*Y_2*w20 + tmp1;  
                             EM_F[3]+=6*Y_0*w21 + 6*Y_3*w20 + tmp0;  
                         } else { // constant data  
                             EM_F[0]+=36*Y_p[0]*w22;  
                             EM_F[1]+=36*Y_p[0]*w22;  
                             EM_F[2]+=36*Y_p[0]*w22;  
                             EM_F[3]+=36*Y_p[0]*w22;  
                         }  
                     }  
   
                     // add to matrix (if add_EM_S) and RHS (if add_EM_F)  
                     const index_t firstNode=m_NN[0]*k1+k0;  
                     addToMatrixAndRHS(mat, rhs, EM_S, EM_F, add_EM_S, add_EM_F, firstNode);  
                 } // end k0 loop  
             } // end k1 loop  
         } // end of colouring  
     } // end of parallel region  
 }  
   
 //protected  
 void Rectangle::assemblePDESingleReduced(Paso_SystemMatrix* mat,  
         escript::Data& rhs, const escript::Data& A, const escript::Data& B,  
         const escript::Data& C, const escript::Data& D,  
         const escript::Data& X, const escript::Data& Y) const  
 {  
     const double w0 = 1./4;  
     const double w1 = m_dx[0]/8;  
     const double w2 = m_dx[1]/8;  
     const double w3 = m_dx[0]*m_dx[1]/16;  
     const double w4 = m_dx[0]/(4*m_dx[1]);  
     const double w5 = m_dx[1]/(4*m_dx[0]);  
   
     rhs.requireWrite();  
 #pragma omp parallel  
     {  
         for (index_t k1_0=0; k1_0<2; k1_0++) { // colouring  
 #pragma omp for  
             for (index_t k1=k1_0; k1<m_NE[1]; k1+=2) {  
                 for (index_t k0=0; k0<m_NE[0]; ++k0)  {  
                     bool add_EM_S=false;  
                     bool add_EM_F=false;  
                     vector<double> EM_S(4*4, 0);  
                     vector<double> EM_F(4, 0);  
                     const index_t e = k0 + m_NE[0]*k1;  
                     ///////////////  
                     // process A //  
                     ///////////////  
                     if (!A.isEmpty()) {  
                         add_EM_S=true;  
                         const double* A_p=const_cast<escript::Data*>(&A)->getSampleDataRO(e);  
                         const double A_00 = A_p[INDEX2(0,0,2)];  
                         const double A_10 = A_p[INDEX2(1,0,2)];  
                         const double A_01 = A_p[INDEX2(0,1,2)];  
                         const double A_11 = A_p[INDEX2(1,1,2)];  
                         const double tmp0 = (A_01 + A_10)*w0;  
                         const double tmp1 = A_00*w5;  
                         const double tmp2 = A_01*w0;  
                         const double tmp3 = A_10*w0;  
                         const double tmp4 = A_11*w4;  
                         EM_S[INDEX2(0,0,4)]+=tmp4 + tmp0 + tmp1;  
                         EM_S[INDEX2(1,0,4)]+=tmp4 - tmp1 + tmp3 - tmp2;  
                         EM_S[INDEX2(2,0,4)]+=tmp2 - tmp3 - tmp4 + tmp1;  
                         EM_S[INDEX2(3,0,4)]+=-tmp1 - tmp4 - tmp0;  
                         EM_S[INDEX2(0,1,4)]+=tmp4 - tmp1 + tmp2 - tmp3;  
                         EM_S[INDEX2(1,1,4)]+=tmp4 + tmp1 - tmp0;  
                         EM_S[INDEX2(2,1,4)]+=-tmp1 + tmp0 - tmp4;  
                         EM_S[INDEX2(3,1,4)]+=-tmp4 + tmp1 + tmp3 - tmp2;  
                         EM_S[INDEX2(0,2,4)]+=-tmp4 + tmp1 + tmp3 - tmp2;  
                         EM_S[INDEX2(1,2,4)]+=-tmp1 + tmp0 - tmp4;  
                         EM_S[INDEX2(2,2,4)]+=tmp4 + tmp1 - tmp0;  
                         EM_S[INDEX2(3,2,4)]+=tmp4 - tmp1 + tmp2 - tmp3;  
                         EM_S[INDEX2(0,3,4)]+=-tmp1 - tmp4 - tmp0;  
                         EM_S[INDEX2(1,3,4)]+=tmp2 - tmp3 - tmp4 + tmp1;  
                         EM_S[INDEX2(2,3,4)]+=tmp4 - tmp1 + tmp3 - tmp2;  
                         EM_S[INDEX2(3,3,4)]+=tmp4 + tmp0 + tmp1;  
                     }  
                     ///////////////  
                     // process B //  
                     ///////////////  
                     if (!B.isEmpty()) {  
                         add_EM_S=true;  
                         const double* B_p=const_cast<escript::Data*>(&B)->getSampleDataRO(e);  
                         const double tmp0 = B_p[0]*w2;  
                         const double tmp1 = B_p[1]*w1;  
                         EM_S[INDEX2(0,0,4)]+=-tmp0 - tmp1;  
                         EM_S[INDEX2(1,0,4)]+= tmp0 - tmp1;  
                         EM_S[INDEX2(2,0,4)]+= tmp1 - tmp0;  
                         EM_S[INDEX2(3,0,4)]+= tmp0 + tmp1;  
                         EM_S[INDEX2(0,1,4)]+=-tmp0 - tmp1;  
                         EM_S[INDEX2(1,1,4)]+= tmp0 - tmp1;  
                         EM_S[INDEX2(2,1,4)]+= tmp1 - tmp0;  
                         EM_S[INDEX2(3,1,4)]+= tmp0 + tmp1;  
                         EM_S[INDEX2(0,2,4)]+=-tmp0 - tmp1;  
                         EM_S[INDEX2(1,2,4)]+= tmp0 - tmp1;  
                         EM_S[INDEX2(2,2,4)]+= tmp1 - tmp0;  
                         EM_S[INDEX2(3,2,4)]+= tmp0 + tmp1;  
                         EM_S[INDEX2(0,3,4)]+=-tmp0 - tmp1;  
                         EM_S[INDEX2(1,3,4)]+= tmp0 - tmp1;  
                         EM_S[INDEX2(2,3,4)]+= tmp1 - tmp0;  
                         EM_S[INDEX2(3,3,4)]+= tmp0 + tmp1;  
                     }  
                     ///////////////  
                     // process C //  
                     ///////////////  
                     if (!C.isEmpty()) {  
                         add_EM_S=true;  
                         const double* C_p=const_cast<escript::Data*>(&C)->getSampleDataRO(e);  
                         const double tmp0 = C_p[0]*w2;  
                         const double tmp1 = C_p[1]*w1;  
                         EM_S[INDEX2(0,0,4)]+=-tmp1 - tmp0;  
                         EM_S[INDEX2(1,0,4)]+=-tmp1 - tmp0;  
                         EM_S[INDEX2(2,0,4)]+=-tmp1 - tmp0;  
                         EM_S[INDEX2(3,0,4)]+=-tmp1 - tmp0;  
                         EM_S[INDEX2(0,1,4)]+= tmp0 - tmp1;  
                         EM_S[INDEX2(1,1,4)]+= tmp0 - tmp1;  
                         EM_S[INDEX2(2,1,4)]+= tmp0 - tmp1;  
                         EM_S[INDEX2(3,1,4)]+= tmp0 - tmp1;  
                         EM_S[INDEX2(0,2,4)]+= tmp1 - tmp0;  
                         EM_S[INDEX2(1,2,4)]+= tmp1 - tmp0;  
                         EM_S[INDEX2(2,2,4)]+= tmp1 - tmp0;  
                         EM_S[INDEX2(3,2,4)]+= tmp1 - tmp0;  
                         EM_S[INDEX2(0,3,4)]+= tmp0 + tmp1;  
                         EM_S[INDEX2(1,3,4)]+= tmp0 + tmp1;  
                         EM_S[INDEX2(2,3,4)]+= tmp0 + tmp1;  
                         EM_S[INDEX2(3,3,4)]+= tmp0 + tmp1;  
                     }  
                     ///////////////  
                     // process D //  
                     ///////////////  
                     if (!D.isEmpty()) {  
                         add_EM_S=true;  
                         const double* D_p=const_cast<escript::Data*>(&D)->getSampleDataRO(e);  
                         EM_S[INDEX2(0,0,4)]+=D_p[0]*w3;  
                         EM_S[INDEX2(1,0,4)]+=D_p[0]*w3;  
                         EM_S[INDEX2(2,0,4)]+=D_p[0]*w3;  
                         EM_S[INDEX2(3,0,4)]+=D_p[0]*w3;  
                         EM_S[INDEX2(0,1,4)]+=D_p[0]*w3;  
                         EM_S[INDEX2(1,1,4)]+=D_p[0]*w3;  
                         EM_S[INDEX2(2,1,4)]+=D_p[0]*w3;  
                         EM_S[INDEX2(3,1,4)]+=D_p[0]*w3;  
                         EM_S[INDEX2(0,2,4)]+=D_p[0]*w3;  
                         EM_S[INDEX2(1,2,4)]+=D_p[0]*w3;  
                         EM_S[INDEX2(2,2,4)]+=D_p[0]*w3;  
                         EM_S[INDEX2(3,2,4)]+=D_p[0]*w3;  
                         EM_S[INDEX2(0,3,4)]+=D_p[0]*w3;  
                         EM_S[INDEX2(1,3,4)]+=D_p[0]*w3;  
                         EM_S[INDEX2(2,3,4)]+=D_p[0]*w3;  
                         EM_S[INDEX2(3,3,4)]+=D_p[0]*w3;  
                     }  
                     ///////////////  
                     // process X //  
                     ///////////////  
                     if (!X.isEmpty()) {  
                         add_EM_F=true;  
                         const double* X_p=const_cast<escript::Data*>(&X)->getSampleDataRO(e);  
                         const double wX0 = 4*X_p[0]*w2;  
                         const double wX1 = 4*X_p[1]*w1;  
                         EM_F[0]+=-wX0 - wX1;  
                         EM_F[1]+=-wX1 + wX0;  
                         EM_F[2]+=-wX0 + wX1;  
                         EM_F[3]+= wX0 + wX1;  
                     }  
                     ///////////////  
                     // process Y //  
                     ///////////////  
                     if (!Y.isEmpty()) {  
                         add_EM_F=true;  
                         const double* Y_p=const_cast<escript::Data*>(&Y)->getSampleDataRO(e);  
                         EM_F[0]+=4*Y_p[0]*w3;  
                         EM_F[1]+=4*Y_p[0]*w3;  
                         EM_F[2]+=4*Y_p[0]*w3;  
                         EM_F[3]+=4*Y_p[0]*w3;  
                     }  
   
                     // add to matrix (if add_EM_S) and RHS (if add_EM_F)  
                     const index_t firstNode=m_NN[0]*k1+k0;  
                     addToMatrixAndRHS(mat, rhs, EM_S, EM_F, add_EM_S, add_EM_F, firstNode);  
                 } // end k0 loop  
             } // end k1 loop  
         } // end of colouring  
     } // end of parallel region  
 }  
   
 //protected  
 void Rectangle::assemblePDESystem(Paso_SystemMatrix* mat,  
         escript::Data& rhs, const escript::Data& A, const escript::Data& B,  
         const escript::Data& C, const escript::Data& D,  
         const escript::Data& X, const escript::Data& Y) const  
 {  
     dim_t numEq, numComp;  
     if (!mat)  
         numEq=numComp=(rhs.isEmpty() ? 1 : rhs.getDataPointSize());  
     else {  
         numEq=mat->logical_row_block_size;  
         numComp=mat->logical_col_block_size;  
     }  
     const double SQRT3 = 1.73205080756887719318;  
     const double w1 = 1.0/24;  
     const double w5 = -SQRT3/24 + 1.0/12;  
     const double w2 = -SQRT3/24 - 1.0/12;  
     const double w19 = -m_dx[0]/12;  
     const double w11 = w19*(SQRT3 + 3)/12;  
     const double w14 = w19*(-SQRT3 + 3)/12;  
     const double w16 = w19*(5*SQRT3 + 9)/12;  
     const double w17 = w19*(-5*SQRT3 + 9)/12;  
     const double w27 = w19*(-SQRT3 - 3)/2;  
     const double w28 = w19*(SQRT3 - 3)/2;  
     const double w18 = -m_dx[1]/12;  
     const double w10 = w18*(SQRT3 + 3)/12;  
     const double w15 = w18*(-SQRT3 + 3)/12;  
     const double w12 = w18*(5*SQRT3 + 9)/12;  
     const double w13 = w18*(-5*SQRT3 + 9)/12;  
     const double w25 = w18*(-SQRT3 - 3)/2;  
     const double w26 = w18*(SQRT3 - 3)/2;  
     const double w22 = m_dx[0]*m_dx[1]/144;  
     const double w20 = w22*(SQRT3 + 2);  
     const double w21 = w22*(-SQRT3 + 2);  
     const double w23 = w22*(4*SQRT3 + 7);  
     const double w24 = w22*(-4*SQRT3 + 7);  
     const double w3 = m_dx[0]/(24*m_dx[1]);  
     const double w7 = w3*(SQRT3 + 2);  
     const double w8 = w3*(-SQRT3 + 2);  
     const double w6 = -m_dx[1]/(24*m_dx[0]);  
     const double w0 = w6*(SQRT3 + 2);  
     const double w4 = w6*(-SQRT3 + 2);  
   
     rhs.requireWrite();  
 #pragma omp parallel  
     {  
         for (index_t k1_0=0; k1_0<2; k1_0++) { // colouring  
 #pragma omp for  
             for (index_t k1=k1_0; k1<m_NE[1]; k1+=2) {  
                 for (index_t k0=0; k0<m_NE[0]; ++k0)  {  
                     bool add_EM_S=false;  
                     bool add_EM_F=false;  
                     vector<double> EM_S(4*4*numEq*numComp, 0);  
                     vector<double> EM_F(4*numEq, 0);  
                     const index_t e = k0 + m_NE[0]*k1;  
                     ///////////////  
                     // process A //  
                     ///////////////  
                     if (!A.isEmpty()) {  
                         add_EM_S = true;  
                         const double* A_p = const_cast<escript::Data*>(&A)->getSampleDataRO(e);  
                         if (A.actsExpanded()) {  
                             for (index_t k=0; k<numEq; k++) {  
                                 for (index_t m=0; m<numComp; m++) {  
                                     const double A_00_0 = A_p[INDEX5(k,0,m,0,0,numEq,2,numComp,2)];  
                                     const double A_01_0 = A_p[INDEX5(k,0,m,1,0,numEq,2,numComp,2)];  
                                     const double A_10_0 = A_p[INDEX5(k,1,m,0,0,numEq,2,numComp,2)];  
                                     const double A_11_0 = A_p[INDEX5(k,1,m,1,0,numEq,2,numComp,2)];  
                                     const double A_00_1 = A_p[INDEX5(k,0,m,0,1,numEq,2,numComp,2)];  
                                     const double A_01_1 = A_p[INDEX5(k,0,m,1,1,numEq,2,numComp,2)];  
                                     const double A_10_1 = A_p[INDEX5(k,1,m,0,1,numEq,2,numComp,2)];  
                                     const double A_11_1 = A_p[INDEX5(k,1,m,1,1,numEq,2,numComp,2)];  
                                     const double A_00_2 = A_p[INDEX5(k,0,m,0,2,numEq,2,numComp,2)];  
                                     const double A_01_2 = A_p[INDEX5(k,0,m,1,2,numEq,2,numComp,2)];  
                                     const double A_10_2 = A_p[INDEX5(k,1,m,0,2,numEq,2,numComp,2)];  
                                     const double A_11_2 = A_p[INDEX5(k,1,m,1,2,numEq,2,numComp,2)];  
                                     const double A_00_3 = A_p[INDEX5(k,0,m,0,3,numEq,2,numComp,2)];  
                                     const double A_01_3 = A_p[INDEX5(k,0,m,1,3,numEq,2,numComp,2)];  
                                     const double A_10_3 = A_p[INDEX5(k,1,m,0,3,numEq,2,numComp,2)];  
                                     const double A_11_3 = A_p[INDEX5(k,1,m,1,3,numEq,2,numComp,2)];  
                                     const double tmp0 = w3*(A_11_0 + A_11_1 + A_11_2 + A_11_3);  
                                     const double tmp1 = w1*(A_01_0 + A_01_3 - A_10_1 - A_10_2);  
                                     const double tmp2 = w4*(A_00_2 + A_00_3);  
                                     const double tmp3 = w0*(A_00_0 + A_00_1);  
                                     const double tmp4 = w5*(A_01_2 - A_10_3);  
                                     const double tmp5 = w2*(-A_01_1 + A_10_0);  
                                     const double tmp6 = w5*(A_01_3 + A_10_0);  
                                     const double tmp7 = w3*(-A_11_0 - A_11_1 - A_11_2 - A_11_3);  
                                     const double tmp8 = w6*(A_00_0 + A_00_1 + A_00_2 + A_00_3);  
                                     const double tmp9 = w1*(A_01_1 + A_01_2 + A_10_1 + A_10_2);  
                                     const double tmp10 = w2*(-A_01_0 - A_10_3);  
                                     const double tmp11 = w4*(A_00_0 + A_00_1);  
                                     const double tmp12 = w0*(A_00_2 + A_00_3);  
                                     const double tmp13 = w5*(A_01_1 - A_10_0);  
                                     const double tmp14 = w2*(-A_01_2 + A_10_3);  
                                     const double tmp15 = w7*(A_11_0 + A_11_2);  
                                     const double tmp16 = w4*(-A_00_2 - A_00_3);  
                                     const double tmp17 = w0*(-A_00_0 - A_00_1);  
                                     const double tmp18 = w5*(A_01_3 + A_10_3);  
                                     const double tmp19 = w8*(A_11_1 + A_11_3);  
                                     const double tmp20 = w2*(-A_01_0 - A_10_0);  
                                     const double tmp21 = w7*(A_11_1 + A_11_3);  
                                     const double tmp22 = w4*(-A_00_0 - A_00_1);  
                                     const double tmp23 = w0*(-A_00_2 - A_00_3);  
                                     const double tmp24 = w5*(A_01_0 + A_10_0);  
                                     const double tmp25 = w8*(A_11_0 + A_11_2);  
                                     const double tmp26 = w2*(-A_01_3 - A_10_3);  
                                     const double tmp27 = w5*(-A_01_1 - A_10_2);  
                                     const double tmp28 = w1*(-A_01_0 - A_01_3 - A_10_0 - A_10_3);  
                                     const double tmp29 = w2*(A_01_2 + A_10_1);  
                                     const double tmp30 = w7*(-A_11_1 - A_11_3);  
                                     const double tmp31 = w1*(-A_01_1 - A_01_2 + A_10_0 + A_10_3);  
                                     const double tmp32 = w5*(-A_01_0 + A_10_2);  
                                     const double tmp33 = w8*(-A_11_0 - A_11_2);  
                                     const double tmp34 = w6*(-A_00_0 - A_00_1 - A_00_2 - A_00_3);  
                                     const double tmp35 = w2*(A_01_3 - A_10_1);  
                                     const double tmp36 = w5*(A_01_0 + A_10_3);  
                                     const double tmp37 = w2*(-A_01_3 - A_10_0);  
                                     const double tmp38 = w7*(-A_11_0 - A_11_2);  
                                     const double tmp39 = w5*(-A_01_3 + A_10_1);  
                                     const double tmp40 = w8*(-A_11_1 - A_11_3);  
                                     const double tmp41 = w2*(A_01_0 - A_10_2);  
                                     const double tmp42 = w5*(A_01_1 - A_10_3);  
                                     const double tmp43 = w2*(-A_01_2 + A_10_0);  
                                     const double tmp44 = w5*(A_01_2 - A_10_0);  
                                     const double tmp45 = w2*(-A_01_1 + A_10_3);  
                                     const double tmp46 = w5*(-A_01_0 + A_10_1);  
                                     const double tmp47 = w2*(A_01_3 - A_10_2);  
                                     const double tmp48 = w5*(-A_01_1 - A_10_1);  
                                     const double tmp49 = w2*(A_01_2 + A_10_2);  
                                     const double tmp50 = w5*(-A_01_3 + A_10_2);  
                                     const double tmp51 = w2*(A_01_0 - A_10_1);  
                                     const double tmp52 = w5*(-A_01_2 - A_10_1);  
                                     const double tmp53 = w2*(A_01_1 + A_10_2);  
                                     const double tmp54 = w5*(-A_01_2 - A_10_2);  
                                     const double tmp55 = w2*(A_01_1 + A_10_1);  
                                     EM_S[INDEX4(k,m,0,0,numEq,numComp,4)]+=tmp15 + tmp16 + tmp17 + tmp18 + tmp19 + tmp20 + tmp9;  
                                     EM_S[INDEX4(k,m,0,1,numEq,numComp,4)]+=tmp0 + tmp1 + tmp2 + tmp3 + tmp4 + tmp5;  
                                     EM_S[INDEX4(k,m,0,2,numEq,numComp,4)]+=tmp31 + tmp34 + tmp38 + tmp39 + tmp40 + tmp41;  
                                     EM_S[INDEX4(k,m,0,3,numEq,numComp,4)]+=tmp28 + tmp52 + tmp53 + tmp7 + tmp8;  
                                     EM_S[INDEX4(k,m,1,0,numEq,numComp,4)]+=tmp0 + tmp2 + tmp3 + tmp31 + tmp50 + tmp51;  
                                     EM_S[INDEX4(k,m,1,1,numEq,numComp,4)]+=tmp16 + tmp17 + tmp21 + tmp25 + tmp28 + tmp54 + tmp55;  
                                     EM_S[INDEX4(k,m,1,2,numEq,numComp,4)]+=tmp10 + tmp6 + tmp7 + tmp8 + tmp9;  
                                     EM_S[INDEX4(k,m,1,3,numEq,numComp,4)]+=tmp1 + tmp30 + tmp33 + tmp34 + tmp44 + tmp45;  
                                     EM_S[INDEX4(k,m,2,0,numEq,numComp,4)]+=tmp1 + tmp34 + tmp38 + tmp40 + tmp42 + tmp43;  
                                     EM_S[INDEX4(k,m,2,1,numEq,numComp,4)]+=tmp36 + tmp37 + tmp7 + tmp8 + tmp9;  
                                     EM_S[INDEX4(k,m,2,2,numEq,numComp,4)]+=tmp15 + tmp19 + tmp22 + tmp23 + tmp28 + tmp48 + tmp49;  
                                     EM_S[INDEX4(k,m,2,3,numEq,numComp,4)]+=tmp0 + tmp11 + tmp12 + tmp31 + tmp46 + tmp47;  
                                     EM_S[INDEX4(k,m,3,0,numEq,numComp,4)]+=tmp27 + tmp28 + tmp29 + tmp7 + tmp8;  
                                     EM_S[INDEX4(k,m,3,1,numEq,numComp,4)]+=tmp30 + tmp31 + tmp32 + tmp33 + tmp34 + tmp35;  
                                     EM_S[INDEX4(k,m,3,2,numEq,numComp,4)]+=tmp0 + tmp1 + tmp11 + tmp12 + tmp13 + tmp14;  
                                     EM_S[INDEX4(k,m,3,3,numEq,numComp,4)]+=tmp21 + tmp22 + tmp23 + tmp24 + tmp25 + tmp26 + tmp9;  
                                 }  
                             }  
                         } else { // constant data  
                             for (index_t k=0; k<numEq; k++) {  
                                 for (index_t m=0; m<numComp; m++) {  
                                     const double A_00 = A_p[INDEX4(k,0,m,0, numEq,2, numComp)];  
                                     const double A_01 = A_p[INDEX4(k,0,m,1, numEq,2, numComp)];  
                                     const double A_10 = A_p[INDEX4(k,1,m,0, numEq,2, numComp)];  
                                     const double A_11 = A_p[INDEX4(k,1,m,1, numEq,2, numComp)];  
                                     const double tmp0 = 6*w1*(A_01 - A_10);  
                                     const double tmp1 = 6*w1*(A_01 + A_10);  
                                     const double tmp2 = 6*w1*(-A_01 - A_10);  
                                     const double tmp3 = 6*w1*(-A_01 + A_10);  
                                     EM_S[INDEX4(k,m,0,0,numEq,numComp,4)]+=-8*A_00*w6 + 8*A_11*w3 + tmp1;  
                                     EM_S[INDEX4(k,m,0,1,numEq,numComp,4)]+=8*A_00*w6 + 4*A_11*w3 + tmp0;  
                                     EM_S[INDEX4(k,m,0,2,numEq,numComp,4)]+=-4*A_00*w6 - 8*A_11*w3 + tmp3;  
                                     EM_S[INDEX4(k,m,0,3,numEq,numComp,4)]+=4*A_00*w6 - 4*A_11*w3 + tmp2;  
                                     EM_S[INDEX4(k,m,1,0,numEq,numComp,4)]+=8*A_00*w6 + 4*A_11*w3 + tmp3;  
                                     EM_S[INDEX4(k,m,1,1,numEq,numComp,4)]+=-8*A_00*w6 + 8*A_11*w3 + tmp2;  
                                     EM_S[INDEX4(k,m,1,2,numEq,numComp,4)]+=4*A_00*w6 - 4*A_11*w3 + tmp1;  
                                     EM_S[INDEX4(k,m,1,3,numEq,numComp,4)]+=-4*A_00*w6 - 8*A_11*w3 + tmp0;  
                                     EM_S[INDEX4(k,m,2,0,numEq,numComp,4)]+=-4*A_00*w6 - 8*A_11*w3 + tmp0;  
                                     EM_S[INDEX4(k,m,2,1,numEq,numComp,4)]+=4*A_00*w6 - 4*A_11*w3 + tmp1;  
                                     EM_S[INDEX4(k,m,2,2,numEq,numComp,4)]+=-8*A_00*w6 + 8*A_11*w3 + tmp2;  
                                     EM_S[INDEX4(k,m,2,3,numEq,numComp,4)]+=8*A_00*w6 + 4*A_11*w3 + tmp3;  
                                     EM_S[INDEX4(k,m,3,0,numEq,numComp,4)]+=4*A_00*w6 - 4*A_11*w3 + tmp2;  
                                     EM_S[INDEX4(k,m,3,1,numEq,numComp,4)]+=-4*A_00*w6 - 8*A_11*w3 + tmp3;  
                                     EM_S[INDEX4(k,m,3,2,numEq,numComp,4)]+=8*A_00*w6 + 4*A_11*w3 + tmp0;  
                                     EM_S[INDEX4(k,m,3,3,numEq,numComp,4)]+=-8*A_00*w6 + 8*A_11*w3 + tmp1;  
                                 }  
                             }  
                         }  
                     }  
                     ///////////////  
                     // process B //  
                     ///////////////  
                     if (!B.isEmpty()) {  
                         add_EM_S=true;  
                         const double* B_p=const_cast<escript::Data*>(&B)->getSampleDataRO(e);  
                         if (B.actsExpanded()) {  
                             for (index_t k=0; k<numEq; k++) {  
                                 for (index_t m=0; m<numComp; m++) {  
                                     const double B_0_0 = B_p[INDEX4(k,0,m,0, numEq,2,numComp)];  
                                     const double B_1_0 = B_p[INDEX4(k,1,m,0, numEq,2,numComp)];  
                                     const double B_0_1 = B_p[INDEX4(k,0,m,1, numEq,2,numComp)];  
                                     const double B_1_1 = B_p[INDEX4(k,1,m,1, numEq,2,numComp)];  
                                     const double B_0_2 = B_p[INDEX4(k,0,m,2, numEq,2,numComp)];  
                                     const double B_1_2 = B_p[INDEX4(k,1,m,2, numEq,2,numComp)];  
                                     const double B_0_3 = B_p[INDEX4(k,0,m,3, numEq,2,numComp)];  
                                     const double B_1_3 = B_p[INDEX4(k,1,m,3, numEq,2,numComp)];  
                                     const double tmp0 = w11*(B_1_0 + B_1_1);  
                                     const double tmp1 = w14*(B_1_2 + B_1_3);  
                                     const double tmp2 = w15*(-B_0_1 - B_0_3);  
                                     const double tmp3 = w10*(-B_0_0 - B_0_2);  
                                     const double tmp4 = w11*(B_1_2 + B_1_3);  
                                     const double tmp5 = w14*(B_1_0 + B_1_1);  
                                     const double tmp6 = w11*(-B_1_2 - B_1_3);  
                                     const double tmp7 = w14*(-B_1_0 - B_1_1);  
                                     const double tmp8 = w11*(-B_1_0 - B_1_1);  
                                     const double tmp9 = w14*(-B_1_2 - B_1_3);  
                                     const double tmp10 = w10*(-B_0_1 - B_0_3);  
                                     const double tmp11 = w15*(-B_0_0 - B_0_2);  
                                     const double tmp12 = w15*(B_0_0 + B_0_2);  
                                     const double tmp13 = w10*(B_0_1 + B_0_3);  
                                     const double tmp14 = w10*(B_0_0 + B_0_2);  
                                     const double tmp15 = w15*(B_0_1 + B_0_3);  
                                     EM_S[INDEX4(k,m,0,0,numEq,numComp,4)]+=B_0_0*w12 + B_0_1*w10 + B_0_2*w15 + B_0_3*w13 + B_1_0*w16 + B_1_1*w14 + B_1_2*w11 + B_1_3*w17;  
                                     EM_S[INDEX4(k,m,0,1,numEq,numComp,4)]+=B_0_0*w10 + B_0_1*w12 + B_0_2*w13 + B_0_3*w15 + tmp0 + tmp1;  
                                     EM_S[INDEX4(k,m,0,2,numEq,numComp,4)]+=B_1_0*w11 + B_1_1*w17 + B_1_2*w16 + B_1_3*w14 + tmp14 + tmp15;  
                                     EM_S[INDEX4(k,m,0,3,numEq,numComp,4)]+=tmp12 + tmp13 + tmp4 + tmp5;  
                                     EM_S[INDEX4(k,m,1,0,numEq,numComp,4)]+=-B_0_0*w12 - B_0_1*w10 - B_0_2*w15 - B_0_3*w13 + tmp0 + tmp1;  
                                     EM_S[INDEX4(k,m,1,1,numEq,numComp,4)]+=-B_0_0*w10 - B_0_1*w12 - B_0_2*w13 - B_0_3*w15 + B_1_0*w14 + B_1_1*w16 + B_1_2*w17 + B_1_3*w11;  
                                     EM_S[INDEX4(k,m,1,2,numEq,numComp,4)]+=tmp2 + tmp3 + tmp4 + tmp5;  
                                     EM_S[INDEX4(k,m,1,3,numEq,numComp,4)]+=B_1_0*w17 + B_1_1*w11 + B_1_2*w14 + B_1_3*w16 + tmp10 + tmp11;  
                                     EM_S[INDEX4(k,m,2,0,numEq,numComp,4)]+=-B_1_0*w16 - B_1_1*w14 - B_1_2*w11 - B_1_3*w17 + tmp14 + tmp15;  
                                     EM_S[INDEX4(k,m,2,1,numEq,numComp,4)]+=tmp12 + tmp13 + tmp8 + tmp9;  
                                     EM_S[INDEX4(k,m,2,2,numEq,numComp,4)]+=B_0_0*w15 + B_0_1*w13 + B_0_2*w12 + B_0_3*w10 - B_1_0*w11 - B_1_1*w17 - B_1_2*w16 - B_1_3*w14;  
                                     EM_S[INDEX4(k,m,2,3,numEq,numComp,4)]+=B_0_0*w13 + B_0_1*w15 + B_0_2*w10 + B_0_3*w12 + tmp6 + tmp7;  
                                     EM_S[INDEX4(k,m,3,0,numEq,numComp,4)]+=tmp2 + tmp3 + tmp8 + tmp9;  
                                     EM_S[INDEX4(k,m,3,1,numEq,numComp,4)]+=-B_1_0*w14 - B_1_1*w16 - B_1_2*w17 - B_1_3*w11 + tmp10 + tmp11;  
                                     EM_S[INDEX4(k,m,3,2,numEq,numComp,4)]+=-B_0_0*w15 - B_0_1*w13 - B_0_2*w12 - B_0_3*w10 + tmp6 + tmp7;  
                                     EM_S[INDEX4(k,m,3,3,numEq,numComp,4)]+=-B_0_0*w13 - B_0_1*w15 - B_0_2*w10 - B_0_3*w12 - B_1_0*w17 - B_1_1*w11 - B_1_2*w14 - B_1_3*w16;  
                                 }  
                             }  
                         } else { // constant data  
                             for (index_t k=0; k<numEq; k++) {  
                                 for (index_t m=0; m<numComp; m++) {  
                                     const double wB0 = B_p[INDEX3(k,0,m,numEq,2)]*w18;  
                                     const double wB1 = B_p[INDEX3(k,1,m,numEq,2)]*w19;  
                                     EM_S[INDEX4(k,m,0,0,numEq,numComp,4)]+= 2*wB0 + 2*wB1;  
                                     EM_S[INDEX4(k,m,0,1,numEq,numComp,4)]+= 2*wB0 +   wB1;  
                                     EM_S[INDEX4(k,m,0,2,numEq,numComp,4)]+=   wB0 + 2*wB1;  
                                     EM_S[INDEX4(k,m,0,3,numEq,numComp,4)]+=   wB0 +   wB1;  
                                     EM_S[INDEX4(k,m,1,0,numEq,numComp,4)]+=-2*wB0 +   wB1;  
                                     EM_S[INDEX4(k,m,1,1,numEq,numComp,4)]+=-2*wB0 + 2*wB1;  
                                     EM_S[INDEX4(k,m,1,2,numEq,numComp,4)]+=  -wB0 +   wB1;  
                                     EM_S[INDEX4(k,m,1,3,numEq,numComp,4)]+=  -wB0 + 2*wB1;  
                                     EM_S[INDEX4(k,m,2,0,numEq,numComp,4)]+=   wB0 - 2*wB1;  
                                     EM_S[INDEX4(k,m,2,1,numEq,numComp,4)]+=   wB0 -   wB1;  
                                     EM_S[INDEX4(k,m,2,2,numEq,numComp,4)]+= 2*wB0 - 2*wB1;  
                                     EM_S[INDEX4(k,m,2,3,numEq,numComp,4)]+= 2*wB0 -   wB1;  
                                     EM_S[INDEX4(k,m,3,0,numEq,numComp,4)]+=  -wB0 -   wB1;  
                                     EM_S[INDEX4(k,m,3,1,numEq,numComp,4)]+=  -wB0 - 2*wB1;  
                                     EM_S[INDEX4(k,m,3,2,numEq,numComp,4)]+=-2*wB0 -   wB1;  
                                     EM_S[INDEX4(k,m,3,3,numEq,numComp,4)]+=-2*wB0 - 2*wB1;  
                                 }  
                             }  
                         }  
                     }  
                     ///////////////  
                     // process C //  
                     ///////////////  
                     if (!C.isEmpty()) {  
                         add_EM_S=true;  
                         const double* C_p=const_cast<escript::Data*>(&C)->getSampleDataRO(e);  
                         if (C.actsExpanded()) {  
                             for (index_t k=0; k<numEq; k++) {  
                                 for (index_t m=0; m<numComp; m++) {  
                                     const double C_0_0 = C_p[INDEX4(k,m,0, 0, numEq,numComp,2)];  
                                     const double C_1_0 = C_p[INDEX4(k,m,1, 0, numEq,numComp,2)];  
                                     const double C_0_1 = C_p[INDEX4(k,m,0, 1, numEq,numComp,2)];  
                                     const double C_1_1 = C_p[INDEX4(k,m,1, 1, numEq,numComp,2)];  
                                     const double C_0_2 = C_p[INDEX4(k,m,0, 2, numEq,numComp,2)];  
                                     const double C_1_2 = C_p[INDEX4(k,m,1, 2, numEq,numComp,2)];  
                                     const double C_0_3 = C_p[INDEX4(k,m,0, 3, numEq,numComp,2)];  
                                     const double C_1_3 = C_p[INDEX4(k,m,1, 3, numEq,numComp,2)];  
                                     const double tmp0 = w11*(C_1_0 + C_1_1);  
                                     const double tmp1 = w14*(C_1_2 + C_1_3);  
                                     const double tmp2 = w15*(C_0_0 + C_0_2);  
                                     const double tmp3 = w10*(C_0_1 + C_0_3);  
                                     const double tmp4 = w11*(-C_1_0 - C_1_1);  
                                     const double tmp5 = w14*(-C_1_2 - C_1_3);  
                                     const double tmp6 = w11*(-C_1_2 - C_1_3);  
                                     const double tmp7 = w14*(-C_1_0 - C_1_1);  
                                     const double tmp8 = w11*(C_1_2 + C_1_3);  
                                     const double tmp9 = w14*(C_1_0 + C_1_1);  
                                     const double tmp10 = w10*(-C_0_1 - C_0_3);  
                                     const double tmp11 = w15*(-C_0_0 - C_0_2);  
                                     const double tmp12 = w15*(-C_0_1 - C_0_3);  
                                     const double tmp13 = w10*(-C_0_0 - C_0_2);  
                                     const double tmp14 = w10*(C_0_0 + C_0_2);  
                                     const double tmp15 = w15*(C_0_1 + C_0_3);  
                                     EM_S[INDEX4(k,m,0,0,numEq,numComp,4)]+=C_0_0*w12 + C_0_1*w10 + C_0_2*w15 + C_0_3*w13 + C_1_0*w16 + C_1_1*w14 + C_1_2*w11 + C_1_3*w17;  
                                     EM_S[INDEX4(k,m,0,1,numEq,numComp,4)]+=-C_0_0*w12 - C_0_1*w10 - C_0_2*w15 - C_0_3*w13 + tmp0 + tmp1;  
                                     EM_S[INDEX4(k,m,0,2,numEq,numComp,4)]+=-C_1_0*w16 - C_1_1*w14 - C_1_2*w11 - C_1_3*w17 + tmp14 + tmp15;  
                                     EM_S[INDEX4(k,m,0,3,numEq,numComp,4)]+=tmp12 + tmp13 + tmp4 + tmp5;  
                                     EM_S[INDEX4(k,m,1,0,numEq,numComp,4)]+=C_0_0*w10 + C_0_1*w12 + C_0_2*w13 + C_0_3*w15 + tmp0 + tmp1;  
                                     EM_S[INDEX4(k,m,1,1,numEq,numComp,4)]+=-C_0_0*w10 - C_0_1*w12 - C_0_2*w13 - C_0_3*w15 + C_1_0*w14 + C_1_1*w16 + C_1_2*w17 + C_1_3*w11;  
                                     EM_S[INDEX4(k,m,1,2,numEq,numComp,4)]+=tmp2 + tmp3 + tmp4 + tmp5;  
                                     EM_S[INDEX4(k,m,1,3,numEq,numComp,4)]+=-C_1_0*w14 - C_1_1*w16 - C_1_2*w17 - C_1_3*w11 + tmp10 + tmp11;  
                                     EM_S[INDEX4(k,m,2,0,numEq,numComp,4)]+=C_1_0*w11 + C_1_1*w17 + C_1_2*w16 + C_1_3*w14 + tmp14 + tmp15;  
                                     EM_S[INDEX4(k,m,2,1,numEq,numComp,4)]+=tmp12 + tmp13 + tmp8 + tmp9;  
                                     EM_S[INDEX4(k,m,2,2,numEq,numComp,4)]+=C_0_0*w15 + C_0_1*w13 + C_0_2*w12 + C_0_3*w10 - C_1_0*w11 - C_1_1*w17 - C_1_2*w16 - C_1_3*w14;  
                                     EM_S[INDEX4(k,m,2,3,numEq,numComp,4)]+=-C_0_0*w15 - C_0_1*w13 - C_0_2*w12 - C_0_3*w10 + tmp6 + tmp7;  
                                     EM_S[INDEX4(k,m,3,0,numEq,numComp,4)]+=tmp2 + tmp3 + tmp8 + tmp9;  
                                     EM_S[INDEX4(k,m,3,1,numEq,numComp,4)]+=C_1_0*w17 + C_1_1*w11 + C_1_2*w14 + C_1_3*w16 + tmp10 + tmp11;  
                                     EM_S[INDEX4(k,m,3,2,numEq,numComp,4)]+=C_0_0*w13 + C_0_1*w15 + C_0_2*w10 + C_0_3*w12 + tmp6 + tmp7;  
                                     EM_S[INDEX4(k,m,3,3,numEq,numComp,4)]+=-C_0_0*w13 - C_0_1*w15 - C_0_2*w10 - C_0_3*w12 - C_1_0*w17 - C_1_1*w11 - C_1_2*w14 - C_1_3*w16;  
                                 }  
                             }  
                         } else { // constant data  
                             for (index_t k=0; k<numEq; k++) {  
                                 for (index_t m=0; m<numComp; m++) {  
                                     const double wC0 = C_p[INDEX3(k,m,0,numEq,numComp)]*w18;  
                                     const double wC1 = C_p[INDEX3(k,m,1,numEq,numComp)]*w19;  
                                     EM_S[INDEX4(k,m,0,0,numEq,numComp,4)]+= 2*wC0 + 2*wC1;  
                                     EM_S[INDEX4(k,m,0,1,numEq,numComp,4)]+=-2*wC0 +   wC1;  
                                     EM_S[INDEX4(k,m,0,2,numEq,numComp,4)]+=   wC0 - 2*wC1;  
                                     EM_S[INDEX4(k,m,0,3,numEq,numComp,4)]+=  -wC0 -   wC1;  
                                     EM_S[INDEX4(k,m,1,0,numEq,numComp,4)]+= 2*wC0 +   wC1;  
                                     EM_S[INDEX4(k,m,1,1,numEq,numComp,4)]+=-2*wC0 + 2*wC1;  
                                     EM_S[INDEX4(k,m,1,2,numEq,numComp,4)]+=   wC0 -   wC1;  
                                     EM_S[INDEX4(k,m,1,3,numEq,numComp,4)]+=  -wC0 - 2*wC1;  
                                     EM_S[INDEX4(k,m,2,0,numEq,numComp,4)]+=   wC0 + 2*wC1;  
                                     EM_S[INDEX4(k,m,2,1,numEq,numComp,4)]+=  -wC0 +   wC1;  
                                     EM_S[INDEX4(k,m,2,2,numEq,numComp,4)]+= 2*wC0 - 2*wC1;  
                                     EM_S[INDEX4(k,m,2,3,numEq,numComp,4)]+=-2*wC0 -   wC1;  
                                     EM_S[INDEX4(k,m,3,0,numEq,numComp,4)]+=   wC0 +   wC1;  
                                     EM_S[INDEX4(k,m,3,1,numEq,numComp,4)]+=  -wC0 + 2*wC1;  
                                     EM_S[INDEX4(k,m,3,2,numEq,numComp,4)]+= 2*wC0 -   wC1;  
                                     EM_S[INDEX4(k,m,3,3,numEq,numComp,4)]+=-2*wC0 - 2*wC1;  
                                 }  
                             }  
                         }  
                     }  
                     ///////////////  
                     // process D //  
                     ///////////////  
                     if (!D.isEmpty()) {  
                         add_EM_S=true;  
                         const double* D_p=const_cast<escript::Data*>(&D)->getSampleDataRO(e);  
                         if (D.actsExpanded()) {  
                             for (index_t k=0; k<numEq; k++) {  
                                 for (index_t m=0; m<numComp; m++) {  
                                     const double D_0 = D_p[INDEX3(k,m,0,numEq,numComp)];  
                                     const double D_1 = D_p[INDEX3(k,m,1,numEq,numComp)];  
                                     const double D_2 = D_p[INDEX3(k,m,2,numEq,numComp)];  
                                     const double D_3 = D_p[INDEX3(k,m,3,numEq,numComp)];  
                                     const double tmp0 = w21*(D_2 + D_3);  
                                     const double tmp1 = w20*(D_0 + D_1);  
                                     const double tmp2 = w22*(D_0 + D_1 + D_2 + D_3);  
                                     const double tmp3 = w21*(D_0 + D_1);  
                                     const double tmp4 = w20*(D_2 + D_3);  
                                     const double tmp5 = w22*(D_1 + D_2);  
                                     const double tmp6 = w21*(D_0 + D_2);  
                                     const double tmp7 = w20*(D_1 + D_3);  
                                     const double tmp8 = w21*(D_1 + D_3);  
                                     const double tmp9 = w20*(D_0 + D_2);  
                                     const double tmp10 = w22*(D_0 + D_3);  
                                     EM_S[INDEX4(k,m,0,0,numEq,numComp,4)]+=D_0*w23 + D_3*w24 + tmp5;  
                                     EM_S[INDEX4(k,m,0,1,numEq,numComp,4)]+=tmp0 + tmp1;  
                                     EM_S[INDEX4(k,m,0,2,numEq,numComp,4)]+=tmp8 + tmp9;  
                                     EM_S[INDEX4(k,m,0,3,numEq,numComp,4)]+=tmp2;  
                                     EM_S[INDEX4(k,m,1,0,numEq,numComp,4)]+=tmp0 + tmp1;  
                                     EM_S[INDEX4(k,m,1,1,numEq,numComp,4)]+=D_1*w23 + D_2*w24 + tmp10;  
                                     EM_S[INDEX4(k,m,1,2,numEq,numComp,4)]+=tmp2;  
                                     EM_S[INDEX4(k,m,1,3,numEq,numComp,4)]+=tmp6 + tmp7;  
                                     EM_S[INDEX4(k,m,2,0,numEq,numComp,4)]+=tmp8 + tmp9;  
                                     EM_S[INDEX4(k,m,2,1,numEq,numComp,4)]+=tmp2;  
                                     EM_S[INDEX4(k,m,2,2,numEq,numComp,4)]+=D_1*w24 + D_2*w23 + tmp10;  
                                     EM_S[INDEX4(k,m,2,3,numEq,numComp,4)]+=tmp3 + tmp4;  
                                     EM_S[INDEX4(k,m,3,0,numEq,numComp,4)]+=tmp2;  
                                     EM_S[INDEX4(k,m,3,1,numEq,numComp,4)]+=tmp6 + tmp7;  
                                     EM_S[INDEX4(k,m,3,2,numEq,numComp,4)]+=tmp3 + tmp4;  
                                     EM_S[INDEX4(k,m,3,3,numEq,numComp,4)]+=D_0*w24 + D_3*w23 + tmp5;  
                                 }  
                              }  
                         } else { // constant data  
                             for (index_t k=0; k<numEq; k++) {  
                                 for (index_t m=0; m<numComp; m++) {  
                                     const double D_0 = D_p[INDEX2(k, m, numEq)];  
                                     EM_S[INDEX4(k,m,0,0,numEq,numComp,4)]+=16*D_0*w22;  
                                     EM_S[INDEX4(k,m,0,1,numEq,numComp,4)]+=8*D_0*w22;  
                                     EM_S[INDEX4(k,m,0,2,numEq,numComp,4)]+=8*D_0*w22;  
                                     EM_S[INDEX4(k,m,0,3,numEq,numComp,4)]+=4*D_0*w22;  
                                     EM_S[INDEX4(k,m,1,0,numEq,numComp,4)]+=8*D_0*w22;  
                                     EM_S[INDEX4(k,m,1,1,numEq,numComp,4)]+=16*D_0*w22;  
                                     EM_S[INDEX4(k,m,1,2,numEq,numComp,4)]+=4*D_0*w22;  
                                     EM_S[INDEX4(k,m,1,3,numEq,numComp,4)]+=8*D_0*w22;  
                                     EM_S[INDEX4(k,m,2,0,numEq,numComp,4)]+=8*D_0*w22;  
                                     EM_S[INDEX4(k,m,2,1,numEq,numComp,4)]+=4*D_0*w22;  
                                     EM_S[INDEX4(k,m,2,2,numEq,numComp,4)]+=16*D_0*w22;  
                                     EM_S[INDEX4(k,m,2,3,numEq,numComp,4)]+=8*D_0*w22;  
                                     EM_S[INDEX4(k,m,3,0,numEq,numComp,4)]+=4*D_0*w22;  
                                     EM_S[INDEX4(k,m,3,1,numEq,numComp,4)]+=8*D_0*w22;  
                                     EM_S[INDEX4(k,m,3,2,numEq,numComp,4)]+=8*D_0*w22;  
                                     EM_S[INDEX4(k,m,3,3,numEq,numComp,4)]+=16*D_0*w22;  
                                 }  
                             }  
                         }  
                     }  
                     ///////////////  
                     // process X //  
                     ///////////////  
                     if (!X.isEmpty()) {  
                         add_EM_F=true;  
                         const double* X_p=const_cast<escript::Data*>(&X)->getSampleDataRO(e);  
                         if (X.actsExpanded()) {  
                             for (index_t k=0; k<numEq; k++) {  
                                 const double X_0_0 = X_p[INDEX3(k,0,0,numEq,2)];  
                                 const double X_1_0 = X_p[INDEX3(k,1,0,numEq,2)];  
                                 const double X_0_1 = X_p[INDEX3(k,0,1,numEq,2)];  
                                 const double X_1_1 = X_p[INDEX3(k,1,1,numEq,2)];  
                                 const double X_0_2 = X_p[INDEX3(k,0,2,numEq,2)];  
                                 const double X_1_2 = X_p[INDEX3(k,1,2,numEq,2)];  
                                 const double X_0_3 = X_p[INDEX3(k,0,3,numEq,2)];  
                                 const double X_1_3 = X_p[INDEX3(k,1,3,numEq,2)];  
                                 const double tmp0 = 6*w15*(X_0_2 + X_0_3);  
                                 const double tmp1 = 6*w10*(X_0_0 + X_0_1);  
                                 const double tmp2 = 6*w11*(X_1_0 + X_1_2);  
                                 const double tmp3 = 6*w14*(X_1_1 + X_1_3);  
                                 const double tmp4 = 6*w11*(X_1_1 + X_1_3);  
                                 const double tmp5 = w25*(X_0_0 + X_0_1);  
                                 const double tmp6 = w26*(X_0_2 + X_0_3);  
                                 const double tmp7 = 6*w14*(X_1_0 + X_1_2);  
                                 const double tmp8 = w27*(X_1_0 + X_1_2);  
                                 const double tmp9 = w28*(X_1_1 + X_1_3);  
                                 const double tmp10 = w25*(-X_0_2 - X_0_3);  
                                 const double tmp11 = w26*(-X_0_0 - X_0_1);  
                                 const double tmp12 = w27*(X_1_1 + X_1_3);  
                                 const double tmp13 = w28*(X_1_0 + X_1_2);  
                                 const double tmp14 = w25*(X_0_2 + X_0_3);  
                                 const double tmp15 = w26*(X_0_0 + X_0_1);  
                                 EM_F[INDEX2(k,0,numEq)]+=tmp0 + tmp1 + tmp2 + tmp3;  
                                 EM_F[INDEX2(k,1,numEq)]+=tmp4 + tmp5 + tmp6 + tmp7;  
                                 EM_F[INDEX2(k,2,numEq)]+=tmp10 + tmp11 + tmp8 + tmp9;  
                                 EM_F[INDEX2(k,3,numEq)]+=tmp12 + tmp13 + tmp14 + tmp15;  
                             }  
                         } else { // constant data  
                             for (index_t k=0; k<numEq; k++) {  
                                 const double wX0 = X_p[INDEX2(k, 0, numEq)]*w18;  
                                 const double wX1 = X_p[INDEX2(k, 1, numEq)]*w19;  
                                 EM_F[INDEX2(k,0,numEq)]+= 6*wX0 + 6*wX1;  
                                 EM_F[INDEX2(k,1,numEq)]+=-6*wX0 + 6*wX1;  
                                 EM_F[INDEX2(k,2,numEq)]+= 6*wX0 - 6*wX1;  
                                 EM_F[INDEX2(k,3,numEq)]+=-6*wX0 - 6*wX1;  
                             }  
                         }  
                     }  
                     ///////////////  
                     // process Y //  
                     ///////////////  
                     if (!Y.isEmpty()) {  
                         add_EM_F=true;  
                         const double* Y_p=const_cast<escript::Data*>(&Y)->getSampleDataRO(e);  
                         if (Y.actsExpanded()) {  
                             for (index_t k=0; k<numEq; k++) {  
                                 const double Y_0 = Y_p[INDEX2(k, 0, numEq)];  
                                 const double Y_1 = Y_p[INDEX2(k, 1, numEq)];  
                                 const double Y_2 = Y_p[INDEX2(k, 2, numEq)];  
                                 const double Y_3 = Y_p[INDEX2(k, 3, numEq)];  
                                 const double tmp0 = 6*w22*(Y_1 + Y_2);  
                                 const double tmp1 = 6*w22*(Y_0 + Y_3);  
                                 EM_F[INDEX2(k,0,numEq)]+=6*Y_0*w20 + 6*Y_3*w21 + tmp0;  
                                 EM_F[INDEX2(k,1,numEq)]+=6*Y_1*w20 + 6*Y_2*w21 + tmp1;  
                                 EM_F[INDEX2(k,2,numEq)]+=6*Y_1*w21 + 6*Y_2*w20 + tmp1;  
                                 EM_F[INDEX2(k,3,numEq)]+=6*Y_0*w21 + 6*Y_3*w20 + tmp0;  
                             }  
                         } else { // constant data  
                             for (index_t k=0; k<numEq; k++) {  
                                 EM_F[INDEX2(k,0,numEq)]+=36*Y_p[k]*w22;  
                                 EM_F[INDEX2(k,1,numEq)]+=36*Y_p[k]*w22;  
                                 EM_F[INDEX2(k,2,numEq)]+=36*Y_p[k]*w22;  
                                 EM_F[INDEX2(k,3,numEq)]+=36*Y_p[k]*w22;  
                             }  
                         }  
                     }  
   
                     // add to matrix (if add_EM_S) and RHS (if add_EM_F)  
                     const index_t firstNode=m_NN[0]*k1+k0;  
                     addToMatrixAndRHS(mat, rhs, EM_S, EM_F, add_EM_S, add_EM_F,  
                             firstNode, numEq, numComp);  
                 } // end k0 loop  
             } // end k1 loop  
         } // end of colouring  
     } // end of parallel region  
 }  
   
 //protected  
 void Rectangle::assemblePDESystemReduced(Paso_SystemMatrix* mat,  
         escript::Data& rhs, const escript::Data& A, const escript::Data& B,  
         const escript::Data& C, const escript::Data& D,  
         const escript::Data& X, const escript::Data& Y) const  
 {  
     dim_t numEq, numComp;  
     if (!mat)  
         numEq=numComp=(rhs.isEmpty() ? 1 : rhs.getDataPointSize());  
     else {  
         numEq=mat->logical_row_block_size;  
         numComp=mat->logical_col_block_size;  
     }  
   
     const double w0 = 1./4;  
     const double w1 = m_dx[0]/8;  
     const double w2 = m_dx[1]/8;  
     const double w3 = m_dx[0]*m_dx[1]/16;  
     const double w4 = m_dx[0]/(4*m_dx[1]);  
     const double w5 = m_dx[1]/(4*m_dx[0]);  
   
     rhs.requireWrite();  
 #pragma omp parallel  
     {  
         for (index_t k1_0=0; k1_0<2; k1_0++) { // colouring  
 #pragma omp for  
             for (index_t k1=k1_0; k1<m_NE[1]; k1+=2) {  
                 for (index_t k0=0; k0<m_NE[0]; ++k0)  {  
                     bool add_EM_S=false;  
                     bool add_EM_F=false;  
                     vector<double> EM_S(4*4*numEq*numComp, 0);  
                     vector<double> EM_F(4*numEq, 0);  
                     const index_t e = k0 + m_NE[0]*k1;  
                     ///////////////  
                     // process A //  
                     ///////////////  
                     if (!A.isEmpty()) {  
                         add_EM_S=true;  
                         const double* A_p=const_cast<escript::Data*>(&A)->getSampleDataRO(e);  
                         for (index_t k=0; k<numEq; k++) {  
                             for (index_t m=0; m<numComp; m++) {  
                                 const double Aw00 = A_p[INDEX4(k,0,m,0, numEq,2, numComp)]*w5;  
                                 const double Aw01 = A_p[INDEX4(k,0,m,1, numEq,2, numComp)]*w0;  
                                 const double Aw10 = A_p[INDEX4(k,1,m,0, numEq,2, numComp)]*w0;  
                                 const double Aw11 = A_p[INDEX4(k,1,m,1, numEq,2, numComp)]*w4;  
                                 EM_S[INDEX4(k,m,0,0,numEq,numComp,4)]+= Aw00 + Aw01 + Aw10 + Aw11;  
                                 EM_S[INDEX4(k,m,1,0,numEq,numComp,4)]+=-Aw00 - Aw01 + Aw10 + Aw11;  
                                 EM_S[INDEX4(k,m,2,0,numEq,numComp,4)]+= Aw00 + Aw01 - Aw10 - Aw11;  
                                 EM_S[INDEX4(k,m,3,0,numEq,numComp,4)]+=-Aw00 - Aw01 - Aw10 - Aw11;  
                                 EM_S[INDEX4(k,m,0,1,numEq,numComp,4)]+=-Aw00 + Aw01 - Aw10 + Aw11;  
                                 EM_S[INDEX4(k,m,1,1,numEq,numComp,4)]+= Aw00 - Aw01 - Aw10 + Aw11;  
                                 EM_S[INDEX4(k,m,2,1,numEq,numComp,4)]+=-Aw00 + Aw01 + Aw10 - Aw11;  
                                 EM_S[INDEX4(k,m,3,1,numEq,numComp,4)]+= Aw00 - Aw01 + Aw10 - Aw11;  
                                 EM_S[INDEX4(k,m,0,2,numEq,numComp,4)]+= Aw00 - Aw01 + Aw10 - Aw11;  
                                 EM_S[INDEX4(k,m,1,2,numEq,numComp,4)]+=-Aw00 + Aw01 + Aw10 - Aw11;  
                                 EM_S[INDEX4(k,m,2,2,numEq,numComp,4)]+= Aw00 - Aw01 - Aw10 + Aw11;  
                                 EM_S[INDEX4(k,m,3,2,numEq,numComp,4)]+=-Aw00 + Aw01 - Aw10 + Aw11;  
                                 EM_S[INDEX4(k,m,0,3,numEq,numComp,4)]+=-Aw00 - Aw01 - Aw10 - Aw11;  
                                 EM_S[INDEX4(k,m,1,3,numEq,numComp,4)]+= Aw00 + Aw01 - Aw10 - Aw11;  
                                 EM_S[INDEX4(k,m,2,3,numEq,numComp,4)]+=-Aw00 - Aw01 + Aw10 + Aw11;  
                                 EM_S[INDEX4(k,m,3,3,numEq,numComp,4)]+= Aw00 + Aw01 + Aw10 + Aw11;  
                             }  
                         }  
                     }  
                     ///////////////  
                     // process B //  
                     ///////////////  
                     if (!B.isEmpty()) {  
                         add_EM_S=true;  
                         const double* B_p=const_cast<escript::Data*>(&B)->getSampleDataRO(e);  
                         for (index_t k=0; k<numEq; k++) {  
                             for (index_t m=0; m<numComp; m++) {  
                                 const double wB0 = B_p[INDEX3(k,0,m, numEq, 2)]*w2;  
                                 const double wB1 = B_p[INDEX3(k,1,m, numEq, 2)]*w1;  
                                 EM_S[INDEX4(k,m,0,0,numEq,numComp,4)]+=-wB0 - wB1;  
                                 EM_S[INDEX4(k,m,0,1,numEq,numComp,4)]+=-wB0 - wB1;  
                                 EM_S[INDEX4(k,m,0,2,numEq,numComp,4)]+=-wB0 - wB1;  
                                 EM_S[INDEX4(k,m,0,3,numEq,numComp,4)]+=-wB0 - wB1;  
                                 EM_S[INDEX4(k,m,1,0,numEq,numComp,4)]+= wB0 - wB1;  
                                 EM_S[INDEX4(k,m,1,1,numEq,numComp,4)]+= wB0 - wB1;  
                                 EM_S[INDEX4(k,m,1,2,numEq,numComp,4)]+= wB0 - wB1;  
                                 EM_S[INDEX4(k,m,1,3,numEq,numComp,4)]+= wB0 - wB1;  
                                 EM_S[INDEX4(k,m,2,0,numEq,numComp,4)]+=-wB0 + wB1;  
                                 EM_S[INDEX4(k,m,2,1,numEq,numComp,4)]+=-wB0 + wB1;  
                                 EM_S[INDEX4(k,m,2,2,numEq,numComp,4)]+=-wB0 + wB1;  
                                 EM_S[INDEX4(k,m,2,3,numEq,numComp,4)]+=-wB0 + wB1;  
                                 EM_S[INDEX4(k,m,3,0,numEq,numComp,4)]+= wB0 + wB1;  
                                 EM_S[INDEX4(k,m,3,1,numEq,numComp,4)]+= wB0 + wB1;  
                                 EM_S[INDEX4(k,m,3,2,numEq,numComp,4)]+= wB0 + wB1;  
                                 EM_S[INDEX4(k,m,3,3,numEq,numComp,4)]+= wB0 + wB1;  
                             }  
                         }  
                     }  
                     ///////////////  
                     // process C //  
                     ///////////////  
                     if (!C.isEmpty()) {  
                         add_EM_S=true;  
                         const double* C_p=const_cast<escript::Data*>(&C)->getSampleDataRO(e);  
                         for (index_t k=0; k<numEq; k++) {  
                             for (index_t m=0; m<numComp; m++) {  
                                 const double wC0 = C_p[INDEX3(k, m, 0, numEq, numComp)]*w2;  
                                 const double wC1 = C_p[INDEX3(k, m, 1, numEq, numComp)]*w1;  
                                 EM_S[INDEX4(k,m,0,0,numEq,numComp,4)]+=-wC0 - wC1;  
                                 EM_S[INDEX4(k,m,1,0,numEq,numComp,4)]+=-wC0 - wC1;  
                                 EM_S[INDEX4(k,m,2,0,numEq,numComp,4)]+=-wC0 - wC1;  
                                 EM_S[INDEX4(k,m,3,0,numEq,numComp,4)]+=-wC0 - wC1;  
                                 EM_S[INDEX4(k,m,0,1,numEq,numComp,4)]+= wC0 - wC1;  
                                 EM_S[INDEX4(k,m,1,1,numEq,numComp,4)]+= wC0 - wC1;  
                                 EM_S[INDEX4(k,m,2,1,numEq,numComp,4)]+= wC0 - wC1;  
                                 EM_S[INDEX4(k,m,3,1,numEq,numComp,4)]+= wC0 - wC1;  
                                 EM_S[INDEX4(k,m,0,2,numEq,numComp,4)]+=-wC0 + wC1;  
                                 EM_S[INDEX4(k,m,1,2,numEq,numComp,4)]+=-wC0 + wC1;  
                                 EM_S[INDEX4(k,m,2,2,numEq,numComp,4)]+=-wC0 + wC1;  
                                 EM_S[INDEX4(k,m,3,2,numEq,numComp,4)]+=-wC0 + wC1;  
                                 EM_S[INDEX4(k,m,0,3,numEq,numComp,4)]+= wC0 + wC1;  
                                 EM_S[INDEX4(k,m,1,3,numEq,numComp,4)]+= wC0 + wC1;  
                                 EM_S[INDEX4(k,m,2,3,numEq,numComp,4)]+= wC0 + wC1;  
                                 EM_S[INDEX4(k,m,3,3,numEq,numComp,4)]+= wC0 + wC1;  
                             }  
                         }  
                     }  
                     ///////////////  
                     // process D //  
                     ///////////////  
                     if (!D.isEmpty()) {  
                         add_EM_S=true;  
                         const double* D_p=const_cast<escript::Data*>(&D)->getSampleDataRO(e);  
                         for (index_t k=0; k<numEq; k++) {  
                             for (index_t m=0; m<numComp; m++) {  
                                 const double wD0 = D_p[INDEX2(k, m, numEq)]*w3;  
                                 EM_S[INDEX4(k,m,0,0,numEq,numComp,4)]+=wD0;  
                                 EM_S[INDEX4(k,m,1,0,numEq,numComp,4)]+=wD0;  
                                 EM_S[INDEX4(k,m,2,0,numEq,numComp,4)]+=wD0;  
                                 EM_S[INDEX4(k,m,3,0,numEq,numComp,4)]+=wD0;  
                                 EM_S[INDEX4(k,m,0,1,numEq,numComp,4)]+=wD0;  
                                 EM_S[INDEX4(k,m,1,1,numEq,numComp,4)]+=wD0;  
                                 EM_S[INDEX4(k,m,2,1,numEq,numComp,4)]+=wD0;  
                                 EM_S[INDEX4(k,m,3,1,numEq,numComp,4)]+=wD0;  
                                 EM_S[INDEX4(k,m,0,2,numEq,numComp,4)]+=wD0;  
                                 EM_S[INDEX4(k,m,1,2,numEq,numComp,4)]+=wD0;  
                                 EM_S[INDEX4(k,m,2,2,numEq,numComp,4)]+=wD0;  
                                 EM_S[INDEX4(k,m,3,2,numEq,numComp,4)]+=wD0;  
                                 EM_S[INDEX4(k,m,0,3,numEq,numComp,4)]+=wD0;  
                                 EM_S[INDEX4(k,m,1,3,numEq,numComp,4)]+=wD0;  
                                 EM_S[INDEX4(k,m,2,3,numEq,numComp,4)]+=wD0;  
                                 EM_S[INDEX4(k,m,3,3,numEq,numComp,4)]+=wD0;  
                             }  
                         }  
                     }  
                     ///////////////  
                     // process X //  
                     ///////////////  
                     if (!X.isEmpty()) {  
                         add_EM_F=true;  
                         const double* X_p=const_cast<escript::Data*>(&X)->getSampleDataRO(e);  
                         for (index_t k=0; k<numEq; k++) {  
                             const double wX0 = 4*X_p[INDEX2(k, 0, numEq)]*w2;  
                             const double wX1 = 4*X_p[INDEX2(k, 1, numEq)]*w1;  
                             EM_F[INDEX2(k,0,numEq)]+=-wX0 - wX1;  
                             EM_F[INDEX2(k,1,numEq)]+= wX0 - wX1;  
                             EM_F[INDEX2(k,2,numEq)]+=-wX0 + wX1;  
                             EM_F[INDEX2(k,3,numEq)]+= wX0 + wX1;  
                         }  
                     }  
                     ///////////////  
                     // process Y //  
                     ///////////////  
                     if (!Y.isEmpty()) {  
                         add_EM_F=true;  
                         const double* Y_p=const_cast<escript::Data*>(&Y)->getSampleDataRO(e);  
                         for (index_t k=0; k<numEq; k++) {  
                             EM_F[INDEX2(k,0,numEq)]+=4*Y_p[k]*w3;  
                             EM_F[INDEX2(k,1,numEq)]+=4*Y_p[k]*w3;  
                             EM_F[INDEX2(k,2,numEq)]+=4*Y_p[k]*w3;  
                             EM_F[INDEX2(k,3,numEq)]+=4*Y_p[k]*w3;  
                         }  
                     }  
   
                     // add to matrix (if add_EM_S) and RHS (if add_EM_F)  
                     const index_t firstNode=m_NN[0]*k1+k0;  
                     addToMatrixAndRHS(mat, rhs, EM_S, EM_F, add_EM_S, add_EM_F,  
                             firstNode, numEq, numComp);  
                 } // end k0 loop  
             } // end k1 loop  
         } // end of colouring  
     } // end of parallel region  
 }  
   
 //protected  
 void Rectangle::assemblePDEBoundarySingle(Paso_SystemMatrix* mat,  
       escript::Data& rhs, const escript::Data& d, const escript::Data& y) const  
 {  
     const double SQRT3 = 1.73205080756887719318;  
     const double w5 = m_dx[0]/12;  
     const double w6 = w5*(SQRT3 + 2);  
     const double w7 = w5*(-SQRT3 + 2);  
     const double w8 = w5*(SQRT3 + 3);  
     const double w9 = w5*(-SQRT3 + 3);  
     const double w2 = m_dx[1]/12;  
     const double w0 = w2*(SQRT3 + 2);  
     const double w1 = w2*(-SQRT3 + 2);  
     const double w3 = w2*(SQRT3 + 3);  
     const double w4 = w2*(-SQRT3 + 3);  
     const bool add_EM_S=!d.isEmpty();  
     const bool add_EM_F=!y.isEmpty();  
     rhs.requireWrite();  
 #pragma omp parallel  
     {  
         if (m_faceOffset[0] > -1) {  
             for (index_t k1_0=0; k1_0<2; k1_0++) { // colouring  
 #pragma omp for  
                 for (index_t k1=k1_0; k1<m_NE[1]; k1+=2) {  
                     vector<double> EM_S(4*4, 0);  
                     vector<double> EM_F(4, 0);  
                     ///////////////  
                     // process d //  
                     ///////////////  
                     if (add_EM_S) {  
                         const double* d_p=const_cast<escript::Data*>(&d)->getSampleDataRO(k1);  
                         if (d.actsExpanded()) {  
                             const double d_0 = d_p[0];  
                             const double d_1 = d_p[1];  
                             const double tmp0 = w2*(d_0 + d_1);  
                             EM_S[INDEX2(0,0,4)]+=d_0*w0 + d_1*w1;  
                             EM_S[INDEX2(2,0,4)]+=tmp0;  
                             EM_S[INDEX2(0,2,4)]+=tmp0;  
                             EM_S[INDEX2(2,2,4)]+=d_0*w1 + d_1*w0;  
                         } else { // constant data  
                             EM_S[INDEX2(0,0,4)]+=4*d_p[0]*w2;  
                             EM_S[INDEX2(2,0,4)]+=2*d_p[0]*w2;  
                             EM_S[INDEX2(0,2,4)]+=2*d_p[0]*w2;  
                             EM_S[INDEX2(2,2,4)]+=4*d_p[0]*w2;  
                         }  
                     }  
                     ///////////////  
                     // process y //  
                     ///////////////  
                     if (add_EM_F) {  
                         const double* y_p=const_cast<escript::Data*>(&y)->getSampleDataRO(k1);  
                         if (y.actsExpanded()) {  
                             EM_F[0]+=w3*y_p[0] + w4*y_p[1];  
                             EM_F[2]+=w3*y_p[1] + w4*y_p[0];  
                         } else { // constant data  
                             EM_F[0]+=6*w2*y_p[0];  
                             EM_F[2]+=6*w2*y_p[0];  
                         }  
                     }  
                     const index_t firstNode=m_NN[0]*k1;  
                     addToMatrixAndRHS(mat, rhs, EM_S, EM_F, add_EM_S, add_EM_F, firstNode);  
                 }  
             } // end colouring  
         }  
   
         if (m_faceOffset[1] > -1) {  
             for (index_t k1_0=0; k1_0<2; k1_0++) { // colouring              
 #pragma omp for  
                 for (index_t k1=k1_0; k1<m_NE[1]; k1+=2) {  
                     vector<double> EM_S(4*4, 0);  
                     vector<double> EM_F(4, 0);  
                     const index_t e = m_faceOffset[1]+k1;  
                     ///////////////  
                     // process d //  
                     ///////////////  
                     if (add_EM_S) {  
                         const double* d_p=const_cast<escript::Data*>(&d)->getSampleDataRO(e);  
                         if (d.actsExpanded()) {  
                             const double d_0 = d_p[0];  
                             const double d_1 = d_p[1];  
                             const double tmp0 = w2*(d_0 + d_1);  
                             EM_S[INDEX2(1,1,4)]+=d_0*w0 + d_1*w1;  
                             EM_S[INDEX2(3,1,4)]+=tmp0;  
                             EM_S[INDEX2(1,3,4)]+=tmp0;  
                             EM_S[INDEX2(3,3,4)]+=d_0*w1 + d_1*w0;  
                         } else { // constant data  
                             EM_S[INDEX2(1,1,4)]+=4*d_p[0]*w2;  
                             EM_S[INDEX2(3,1,4)]+=2*d_p[0]*w2;  
                             EM_S[INDEX2(1,3,4)]+=2*d_p[0]*w2;  
                             EM_S[INDEX2(3,3,4)]+=4*d_p[0]*w2;  
                         }  
                     }  
                     ///////////////  
                     // process y //  
                     ///////////////  
                     if (add_EM_F) {  
                         const double* y_p=const_cast<escript::Data*>(&y)->getSampleDataRO(e);  
                         if (y.actsExpanded()) {  
                             EM_F[1]+=w3*y_p[0] + w4*y_p[1];  
                             EM_F[3]+=w3*y_p[1] + w4*y_p[0];  
                         } else { // constant data  
                             EM_F[1]+=6*w2*y_p[0];  
                             EM_F[3]+=6*w2*y_p[0];  
                         }  
                     }  
                     const index_t firstNode=m_NN[0]*(k1+1)-2;  
                     addToMatrixAndRHS(mat, rhs, EM_S, EM_F, add_EM_S, add_EM_F, firstNode);  
                 }  
             } // end colouring  
         }  
   
         if (m_faceOffset[2] > -1) {  
             for (index_t k0_0=0; k0_0<2; k0_0++) { // colouring  
 #pragma omp for  
                 for (index_t k0 = k0_0; k0 < m_NE[0]; k0+=2) {  
                     vector<double> EM_S(4*4, 0);  
                     vector<double> EM_F(4, 0);  
                     const index_t e = m_faceOffset[2]+k0;  
                     ///////////////  
                     // process d //  
                     ///////////////  
                     if (add_EM_S) {  
                         const double* d_p=const_cast<escript::Data*>(&d)->getSampleDataRO(e);  
                         if (d.actsExpanded()) {  
                             const double d_0 = d_p[0];  
                             const double d_1 = d_p[1];  
                             const double tmp0 = w5*(d_0 + d_1);  
                             EM_S[INDEX2(0,0,4)]+=d_0*w6 + d_1*w7;  
                             EM_S[INDEX2(1,0,4)]+=tmp0;  
                             EM_S[INDEX2(0,1,4)]+=tmp0;  
                             EM_S[INDEX2(1,1,4)]+=d_0*w7 + d_1*w6;  
                         } else { // constant data  
                             EM_S[INDEX2(0,0,4)]+=4*d_p[0]*w5;  
                             EM_S[INDEX2(1,0,4)]+=2*d_p[0]*w5;  
                             EM_S[INDEX2(0,1,4)]+=2*d_p[0]*w5;  
                             EM_S[INDEX2(1,1,4)]+=4*d_p[0]*w5;  
                         }  
                     }  
                     ///////////////  
                     // process y //  
                     ///////////////  
                     if (add_EM_F) {  
                         const double* y_p=const_cast<escript::Data*>(&y)->getSampleDataRO(e);  
                         if (y.actsExpanded()) {  
                             EM_F[0]+=w8*y_p[0] + w9*y_p[1];  
                             EM_F[1]+=w8*y_p[1] + w9*y_p[0];  
                         } else { // constant data  
                             EM_F[0]+=6*w5*y_p[0];  
                             EM_F[1]+=6*w5*y_p[0];  
                         }  
                     }  
                     const index_t firstNode=k0;  
                     addToMatrixAndRHS(mat, rhs, EM_S, EM_F, add_EM_S, add_EM_F, firstNode);  
                 }  
             } // end colouring  
         }  
   
         if (m_faceOffset[3] > -1) {  
             for (index_t k0_0=0; k0_0<2; k0_0++) { // colouring  
 #pragma omp for  
                 for (index_t k0 = k0_0; k0 < m_NE[0]; k0+=2) {  
                     const index_t e = m_faceOffset[3]+k0;  
                     vector<double> EM_S(4*4, 0);  
                     vector<double> EM_F(4, 0);  
                     ///////////////  
                     // process d //  
                     ///////////////  
                     if (add_EM_S) {  
                         const double* d_p=const_cast<escript::Data*>(&d)->getSampleDataRO(e);  
                         if (d.actsExpanded()) {  
                             const double d_0 = d_p[0];  
                             const double d_1 = d_p[1];  
                             const double tmp0 = w5*(d_0 + d_1);  
                             EM_S[INDEX2(2,2,4)]+=d_0*w6 + d_1*w7;  
                             EM_S[INDEX2(3,2,4)]+=tmp0;  
                             EM_S[INDEX2(2,3,4)]+=tmp0;  
                             EM_S[INDEX2(3,3,4)]+=d_0*w7 + d_1*w6;  
                         } else { // constant data  
                             EM_S[INDEX2(2,2,4)]+=4*d_p[0]*w5;  
                             EM_S[INDEX2(3,2,4)]+=2*d_p[0]*w5;  
                             EM_S[INDEX2(2,3,4)]+=2*d_p[0]*w5;  
                             EM_S[INDEX2(3,3,4)]+=4*d_p[0]*w5;  
                         }  
                     }  
                     ///////////////  
                     // process y //  
                     ///////////////  
                     if (add_EM_F) {  
                         const double* y_p=const_cast<escript::Data*>(&y)->getSampleDataRO(e);  
                         if (y.actsExpanded()) {  
                             EM_F[2]+=w8*y_p[0] + w9*y_p[1];  
                             EM_F[3]+=w8*y_p[1] + w9*y_p[0];  
                         } else { // constant data  
                             EM_F[2]+=6*w5*y_p[0];  
                             EM_F[3]+=6*w5*y_p[0];  
                         }  
                     }  
                     const index_t firstNode=m_NN[0]*(m_NN[1]-2)+k0;  
                     addToMatrixAndRHS(mat, rhs, EM_S, EM_F, add_EM_S, add_EM_F, firstNode);  
                 }  
             } // end colouring  
         }  
     } // end of parallel section  
 }  
2012    
 //protected  
 void Rectangle::assemblePDEBoundarySingleReduced(Paso_SystemMatrix* mat,  
       escript::Data& rhs, const escript::Data& d, const escript::Data& y) const  
 {  
     const double w0 = m_dx[0]/4;  
     const double w1 = m_dx[1]/4;  
     const bool add_EM_S=!d.isEmpty();  
     const bool add_EM_F=!y.isEmpty();  
     rhs.requireWrite();  
 #pragma omp parallel  
     {  
         if (m_faceOffset[0] > -1) {  
             for (index_t k1_0=0; k1_0<2; k1_0++) { // colouring  
 #pragma omp for  
                 for (index_t k1=k1_0; k1<m_NE[1]; k1+=2) {  
                     vector<double> EM_S(4*4, 0);  
                     vector<double> EM_F(4, 0);  
                     ///////////////  
                     // process d //  
                     ///////////////  
                     if (add_EM_S) {  
                         const double* d_p=const_cast<escript::Data*>(&d)->getSampleDataRO(k1);  
                         EM_S[INDEX2(0,0,4)]+=d_p[0]*w1;  
                         EM_S[INDEX2(2,0,4)]+=d_p[0]*w1;  
                         EM_S[INDEX2(0,2,4)]+=d_p[0]*w1;  
                         EM_S[INDEX2(2,2,4)]+=d_p[0]*w1;  
                     }  
                     ///////////////  
                     // process y //  
                     ///////////////  
                     if (add_EM_F) {  
                         const double* y_p=const_cast<escript::Data*>(&y)->getSampleDataRO(k1);  
                         EM_F[0]+=2*w1*y_p[0];  
                         EM_F[2]+=2*w1*y_p[0];  
                     }  
                     const index_t firstNode=m_NN[0]*k1;  
                     addToMatrixAndRHS(mat, rhs, EM_S, EM_F, add_EM_S, add_EM_F, firstNode);  
                 }  
             } // end colouring  
         }  
   
         if (m_faceOffset[1] > -1) {  
             for (index_t k1_0=0; k1_0<2; k1_0++) { // colouring              
 #pragma omp for  
                 for (index_t k1=k1_0; k1<m_NE[1]; k1+=2) {  
                     vector<double> EM_S(4*4, 0);  
                     vector<double> EM_F(4, 0);  
                     const index_t e = m_faceOffset[1]+k1;  
                     ///////////////  
                     // process d //  
                     ///////////////  
                     if (add_EM_S) {  
                         const double* d_p=const_cast<escript::Data*>(&d)->getSampleDataRO(e);  
                         EM_S[INDEX2(1,1,4)]+=d_p[0]*w1;  
                         EM_S[INDEX2(3,1,4)]+=d_p[0]*w1;  
                         EM_S[INDEX2(1,3,4)]+=d_p[0]*w1;  
                         EM_S[INDEX2(3,3,4)]+=d_p[0]*w1;  
                     }  
                     ///////////////  
                     // process y //  
                     ///////////////  
                     if (add_EM_F) {  
                         const double* y_p=const_cast<escript::Data*>(&y)->getSampleDataRO(e);  
                         EM_F[1]+=2*w1*y_p[0];  
                         EM_F[3]+=2*w1*y_p[0];  
                     }  
                     const index_t firstNode=m_NN[0]*(k1+1)-2;  
                     addToMatrixAndRHS(mat, rhs, EM_S, EM_F, add_EM_S, add_EM_F, firstNode);  
                 }  
             } // end colouring  
         }  
   
         if (m_faceOffset[2] > -1) {  
             for (index_t k0_0=0; k0_0<2; k0_0++) { // colouring  
 #pragma omp for  
                 for (index_t k0 = k0_0; k0 < m_NE[0]; k0+=2) {  
                     vector<double> EM_S(4*4, 0);  
                     vector<double> EM_F(4, 0);  
                     const index_t e = m_faceOffset[2]+k0;  
                     ///////////////  
                     // process d //  
                     ///////////////  
                     if (add_EM_S) {  
                         const double* d_p=const_cast<escript::Data*>(&d)->getSampleDataRO(e);  
                         EM_S[INDEX2(0,0,4)]+=d_p[0]*w0;  
                         EM_S[INDEX2(1,0,4)]+=d_p[0]*w0;  
                         EM_S[INDEX2(0,1,4)]+=d_p[0]*w0;  
                         EM_S[INDEX2(1,1,4)]+=d_p[0]*w0;  
                     }  
                     ///////////////  
                     // process y //  
                     ///////////////  
                     if (add_EM_F) {  
                         const double* y_p=const_cast<escript::Data*>(&y)->getSampleDataRO(e);  
                         EM_F[0]+=2*w0*y_p[0];  
                         EM_F[1]+=2*w0*y_p[0];  
                     }  
                     const index_t firstNode=k0;  
                     addToMatrixAndRHS(mat, rhs, EM_S, EM_F, add_EM_S, add_EM_F, firstNode);  
                 }  
             } // end colouring  
         }  
   
         if (m_faceOffset[3] > -1) {  
             for (index_t k0_0=0; k0_0<2; k0_0++) { // colouring  
 #pragma omp for  
                 for (index_t k0 = k0_0; k0 < m_NE[0]; k0+=2) {  
                     vector<double> EM_S(4*4, 0);  
                     vector<double> EM_F(4, 0);  
                     const index_t e = m_faceOffset[3]+k0;  
                     ///////////////  
                     // process d //  
                     ///////////////  
                     if (add_EM_S) {  
                         const double* d_p=const_cast<escript::Data*>(&d)->getSampleDataRO(e);  
                         EM_S[INDEX2(2,2,4)]+=d_p[0]*w0;  
                         EM_S[INDEX2(3,2,4)]+=d_p[0]*w0;  
                         EM_S[INDEX2(2,3,4)]+=d_p[0]*w0;  
                         EM_S[INDEX2(3,3,4)]+=d_p[0]*w0;  
                     }  
                     ///////////////  
                     // process y //  
                     ///////////////  
                     if (add_EM_F) {  
                         const double* y_p=const_cast<escript::Data*>(&y)->getSampleDataRO(e);  
                         EM_F[2]+=2*w0*y_p[0];  
                         EM_F[3]+=2*w0*y_p[0];  
                     }  
                     const index_t firstNode=m_NN[0]*(m_NN[1]-2)+k0;  
                     addToMatrixAndRHS(mat, rhs, EM_S, EM_F, add_EM_S, add_EM_F, firstNode);  
                 }  
             } // end colouring  
         }  
     } // end of parallel section  
 }  
   
 //protected  
 void Rectangle::assemblePDEBoundarySystem(Paso_SystemMatrix* mat,  
       escript::Data& rhs, const escript::Data& d, const escript::Data& y) const  
 {  
     dim_t numEq, numComp;  
     if (!mat) {  
         numEq=numComp=(rhs.isEmpty() ? 1 : rhs.getDataPointSize());  
     } else {  
         numEq=mat->logical_row_block_size;  
         numComp=mat->logical_col_block_size;  
     }  
     const double SQRT3 = 1.73205080756887719318;  
     const double w5 = m_dx[0]/12;  
     const double w6 = w5*(SQRT3 + 2);  
     const double w7 = w5*(-SQRT3 + 2);  
     const double w8 = w5*(SQRT3 + 3);  
     const double w9 = w5*(-SQRT3 + 3);  
     const double w2 = m_dx[1]/12;  
     const double w0 = w2*(SQRT3 + 2);  
     const double w1 = w2*(-SQRT3 + 2);  
     const double w3 = w2*(SQRT3 + 3);  
     const double w4 = w2*(-SQRT3 + 3);  
     const bool add_EM_S=!d.isEmpty();  
     const bool add_EM_F=!y.isEmpty();  
     rhs.requireWrite();  
 #pragma omp parallel  
     {  
         if (m_faceOffset[0] > -1) {  
             for (index_t k1_0=0; k1_0<2; k1_0++) { // colouring  
 #pragma omp for  
                 for (index_t k1=k1_0; k1<m_NE[1]; k1+=2) {  
                     vector<double> EM_S(4*4*numEq*numComp, 0);  
                     vector<double> EM_F(4*numEq, 0);  
                     const index_t e = k1;  
                     ///////////////  
                     // process d //  
                     ///////////////  
                     if (add_EM_S) {  
                         const double* d_p=const_cast<escript::Data*>(&d)->getSampleDataRO(e);  
                         if (d.actsExpanded()) {  
                             for (index_t k=0; k<numEq; k++) {  
                                 for (index_t m=0; m<numComp; m++) {  
                                     const double d_0 = d_p[INDEX3(k,m,0,numEq,numComp)];  
                                     const double d_1 = d_p[INDEX3(k,m,1,numEq,numComp)];  
                                     const double tmp0 = w2*(d_0 + d_1);  
                                     EM_S[INDEX4(k,m,0,0,numEq,numComp,4)]+=d_0*w0 + d_1*w1;  
                                     EM_S[INDEX4(k,m,2,0,numEq,numComp,4)]+=tmp0;  
                                     EM_S[INDEX4(k,m,0,2,numEq,numComp,4)]+=tmp0;  
                                     EM_S[INDEX4(k,m,2,2,numEq,numComp,4)]+=d_0*w1 + d_1*w0;  
                                 }  
                              }  
                         } else { // constant data  
                             for (index_t k=0; k<numEq; k++) {  
                                 for (index_t m=0; m<numComp; m++) {  
                                     const double d_0 = d_p[INDEX2(k, m, numEq)];  
                                     EM_S[INDEX4(k,m,0,0,numEq,numComp,4)]+=4*d_0*w2;  
                                     EM_S[INDEX4(k,m,2,0,numEq,numComp,4)]+=2*d_0*w2;  
                                     EM_S[INDEX4(k,m,0,2,numEq,numComp,4)]+=2*d_0*w2;  
                                     EM_S[INDEX4(k,m,2,2,numEq,numComp,4)]+=4*d_0*w2;  
                                 }  
                             }  
                         }  
                     }  
                     ///////////////  
                     // process y //  
                     ///////////////  
                     if (add_EM_F) {  
                         const double* y_p=const_cast<escript::Data*>(&y)->getSampleDataRO(e);  
                         if (y.actsExpanded()) {  
                             for (index_t k=0; k<numEq; k++) {  
                                 const double y_0 = y_p[INDEX2(k, 0, numEq)];  
                                 const double y_1 = y_p[INDEX2(k, 1, numEq)];  
                                 EM_F[INDEX2(k,0,numEq)]+=w3*y_0 + w4*y_1;  
                                 EM_F[INDEX2(k,2,numEq)]+=w3*y_1 + w4*y_0;  
                             }  
                         } else { // constant data  
                             for (index_t k=0; k<numEq; k++) {  
                                 EM_F[INDEX2(k,0,numEq)]+=6*w2*y_p[k];  
                                 EM_F[INDEX2(k,2,numEq)]+=6*w2*y_p[k];  
                             }  
                         }  
                     }  
                     const index_t firstNode=m_NN[0]*k1;  
                     addToMatrixAndRHS(mat, rhs, EM_S, EM_F, add_EM_S, add_EM_F,  
                             firstNode, numEq, numComp);  
                 }  
             } // end colouring  
         }  
   
         if (m_faceOffset[1] > -1) {  
             for (index_t k1_0=0; k1_0<2; k1_0++) { // colouring              
 #pragma omp for  
                 for (index_t k1=k1_0; k1<m_NE[1]; k1+=2) {  
                     vector<double> EM_S(4*4*numEq*numComp, 0);  
                     vector<double> EM_F(4*numEq, 0);  
                     const index_t e = m_faceOffset[1]+k1;  
                     ///////////////  
                     // process d //  
                     ///////////////  
                     if (add_EM_S) {  
                         const double* d_p=const_cast<escript::Data*>(&d)->getSampleDataRO(e);  
                         if (d.actsExpanded()) {  
                             for (index_t k=0; k<numEq; k++) {  
                                 for (index_t m=0; m<numComp; m++) {  
                                     const double d_0 = d_p[INDEX3(k,m,0,numEq,numComp)];  
                                     const double d_1 = d_p[INDEX3(k,m,1,numEq,numComp)];  
                                     const double tmp0 = w2*(d_0 + d_1);  
                                     EM_S[INDEX4(k,m,1,1,numEq,numComp,4)]+=d_0*w0 + d_1*w1;  
                                     EM_S[INDEX4(k,m,3,1,numEq,numComp,4)]+=tmp0;  
                                     EM_S[INDEX4(k,m,1,3,numEq,numComp,4)]+=tmp0;  
                                     EM_S[INDEX4(k,m,3,3,numEq,numComp,4)]+=d_0*w1 + d_1*w0;  
                                 }  
                              }  
                         } else { // constant data  
                             for (index_t k=0; k<numEq; k++) {  
                                 for (index_t m=0; m<numComp; m++) {  
                                     const double d_0 = d_p[INDEX2(k, m, numEq)];  
                                     EM_S[INDEX4(k,m,1,1,numEq,numComp,4)]+=4*d_0*w2;  
                                     EM_S[INDEX4(k,m,3,1,numEq,numComp,4)]+=2*d_0*w2;  
                                     EM_S[INDEX4(k,m,1,3,numEq,numComp,4)]+=2*d_0*w2;  
                                     EM_S[INDEX4(k,m,3,3,numEq,numComp,4)]+=4*d_0*w2;  
                                 }  
                             }  
                         }  
                     }  
                     ///////////////  
                     // process y //  
                     ///////////////  
                     if (add_EM_F) {  
                         const double* y_p=const_cast<escript::Data*>(&y)->getSampleDataRO(e);  
                         if (y.actsExpanded()) {  
                             for (index_t k=0; k<numEq; k++) {  
                                 const double y_0 = y_p[INDEX2(k, 0, numEq)];  
                                 const double y_1 = y_p[INDEX2(k, 1, numEq)];  
                                 EM_F[INDEX2(k,1,numEq)]+=w3*y_0 + w4*y_1;  
                                 EM_F[INDEX2(k,3,numEq)]+=w3*y_1 + w4*y_0;  
                             }  
                         } else { // constant data  
                             for (index_t k=0; k<numEq; k++) {  
                                 EM_F[INDEX2(k,1,numEq)]+=6*w2*y_p[k];  
                                 EM_F[INDEX2(k,3,numEq)]+=6*w2*y_p[k];  
                             }  
                         }  
                     }  
                     const index_t firstNode=m_NN[0]*(k1+1)-2;  
                     addToMatrixAndRHS(mat, rhs, EM_S, EM_F, add_EM_S, add_EM_F,  
                             firstNode, numEq, numComp);  
                 }  
             } // end colouring  
         }  
   
         if (m_faceOffset[2] > -1) {  
             for (index_t k0_0=0; k0_0<2; k0_0++) { // colouring  
 #pragma omp for  
                 for (index_t k0 = k0_0; k0 < m_NE[0]; k0+=2) {  
                     vector<double> EM_S(4*4*numEq*numComp, 0);  
                     vector<double> EM_F(4*numEq, 0);  
                     const index_t e = m_faceOffset[2]+k0;  
                     ///////////////  
                     // process d //  
                     ///////////////  
                     if (add_EM_S) {  
                         const double* d_p=const_cast<escript::Data*>(&d)->getSampleDataRO(e);  
                         if (d.actsExpanded()) {  
                             for (index_t k=0; k<numEq; k++) {  
                                 for (index_t m=0; m<numComp; m++) {  
                                     const double d_0 = d_p[INDEX3(k,m,0,numEq,numComp)];  
                                     const double d_1 = d_p[INDEX3(k,m,1,numEq,numComp)];  
                                     const double tmp0 = w5*(d_0 + d_1);  
                                     EM_S[INDEX4(k,m,0,0,numEq,numComp,4)]+=d_0*w6 + d_1*w7;  
                                     EM_S[INDEX4(k,m,1,0,numEq,numComp,4)]+=tmp0;  
                                     EM_S[INDEX4(k,m,0,1,numEq,numComp,4)]+=tmp0;  
                                     EM_S[INDEX4(k,m,1,1,numEq,numComp,4)]+=d_0*w7 + d_1*w6;  
                                 }  
                              }  
                         } else { // constant data  
                             for (index_t k=0; k<numEq; k++) {  
                                 for (index_t m=0; m<numComp; m++) {  
                                     const double d_0 = d_p[INDEX2(k, m, numEq)];  
                                     EM_S[INDEX4(k,m,0,0,numEq,numComp,4)]+=4*d_0*w5;  
                                     EM_S[INDEX4(k,m,1,0,numEq,numComp,4)]+=2*d_0*w5;  
                                     EM_S[INDEX4(k,m,0,1,numEq,numComp,4)]+=2*d_0*w5;  
                                     EM_S[INDEX4(k,m,1,1,numEq,numComp,4)]+=4*d_0*w5;  
                                 }  
                             }  
                         }  
                     }  
                     ///////////////  
                     // process y //  
                     ///////////////  
                     if (add_EM_F) {  
                         const double* y_p=const_cast<escript::Data*>(&y)->getSampleDataRO(e);  
                         if (y.actsExpanded()) {  
                             for (index_t k=0; k<numEq; k++) {  
                                 const double y_0 = y_p[INDEX2(k, 0, numEq)];  
                                 const double y_1 = y_p[INDEX2(k, 1, numEq)];  
                                 EM_F[INDEX2(k,0,numEq)]+=w8*y_0 + w9*y_1;  
                                 EM_F[INDEX2(k,1,numEq)]+=w8*y_1 + w9*y_0;  
                             }  
                         } else { // constant data  
                             for (index_t k=0; k<numEq; k++) {  
                                 EM_F[INDEX2(k,0,numEq)]+=6*w5*y_p[k];  
                                 EM_F[INDEX2(k,1,numEq)]+=6*w5*y_p[k];  
                             }  
                         }  
                     }  
                     const index_t firstNode=k0;  
                     addToMatrixAndRHS(mat, rhs, EM_S, EM_F, add_EM_S, add_EM_F,  
                             firstNode, numEq, numComp);  
                 }  
             } // end colouring  
         }  
   
         if (m_faceOffset[3] > -1) {  
             for (index_t k0_0=0; k0_0<2; k0_0++) { // colouring  
 #pragma omp for  
                 for (index_t k0 = k0_0; k0 < m_NE[0]; k0+=2) {  
                     vector<double> EM_S(4*4*numEq*numComp, 0);  
                     vector<double> EM_F(4*numEq, 0);  
                     const index_t e = m_faceOffset[3]+k0;  
                     ///////////////  
                     // process d //  
                     ///////////////  
                     if (add_EM_S) {  
                         const double* d_p=const_cast<escript::Data*>(&d)->getSampleDataRO(e);  
                         if (d.actsExpanded()) {  
                             for (index_t k=0; k<numEq; k++) {  
                                 for (index_t m=0; m<numComp; m++) {  
                                     const double d_0 = d_p[INDEX3(k,m,0,numEq,numComp)];  
                                     const double d_1 = d_p[INDEX3(k,m,1,numEq,numComp)];  
                                     const double tmp0 = w5*(d_0 + d_1);  
                                     EM_S[INDEX4(k,m,2,2,numEq,numComp,4)]+=d_0*w6 + d_1*w7;  
                                     EM_S[INDEX4(k,m,3,2,numEq,numComp,4)]+=tmp0;  
                                     EM_S[INDEX4(k,m,2,3,numEq,numComp,4)]+=tmp0;  
                                     EM_S[INDEX4(k,m,3,3,numEq,numComp,4)]+=d_0*w7 + d_1*w6;  
                                 }  
                              }  
                         } else { // constant data  
                             for (index_t k=0; k<numEq; k++) {  
                                 for (index_t m=0; m<numComp; m++) {  
                                     const double d_0 = d_p[INDEX2(k, m, numEq)];  
                                     EM_S[INDEX4(k,m,2,2,numEq,numComp,4)]+=4*d_0*w5;  
                                     EM_S[INDEX4(k,m,3,2,numEq,numComp,4)]+=2*d_0*w5;  
                                     EM_S[INDEX4(k,m,2,3,numEq,numComp,4)]+=2*d_0*w5;  
                                     EM_S[INDEX4(k,m,3,3,numEq,numComp,4)]+=4*d_0*w5;  
                                 }  
                             }  
                         }  
                     }  
                     ///////////////  
                     // process y //  
                     ///////////////  
                     if (add_EM_F) {  
                         const double* y_p=const_cast<escript::Data*>(&y)->getSampleDataRO(e);  
                         if (y.actsExpanded()) {  
                             for (index_t k=0; k<numEq; k++) {  
                                 const double y_0 = y_p[INDEX2(k, 0, numEq)];  
                                 const double y_1 = y_p[INDEX2(k, 1, numEq)];  
                                 EM_F[INDEX2(k,2,numEq)]+=w8*y_0 + w9*y_1;  
                                 EM_F[INDEX2(k,3,numEq)]+=w8*y_1 + w9*y_0;  
                             }  
                         } else { // constant data  
                             for (index_t k=0; k<numEq; k++) {  
                                 EM_F[INDEX2(k,2,numEq)]+=6*w5*y_p[k];  
                                 EM_F[INDEX2(k,3,numEq)]+=6*w5*y_p[k];  
                             }  
                         }  
                     }  
                     const index_t firstNode=m_NN[0]*(m_NN[1]-2)+k0;  
                     addToMatrixAndRHS(mat, rhs, EM_S, EM_F, add_EM_S, add_EM_F,  
                             firstNode, numEq, numComp);  
                 }  
             } // end colouring  
         }  
     } // end of parallel section  
 }  
   
 //protected  
 void Rectangle::assemblePDEBoundarySystemReduced(Paso_SystemMatrix* mat,  
       escript::Data& rhs, const escript::Data& d, const escript::Data& y) const  
 {  
     dim_t numEq, numComp;  
     if (!mat)  
         numEq=numComp=(rhs.isEmpty() ? 1 : rhs.getDataPointSize());  
     else {  
         numEq=mat->logical_row_block_size;  
         numComp=mat->logical_col_block_size;  
     }  
     const double w0 = m_dx[0]/4;  
     const double w1 = m_dx[1]/4;  
     const bool add_EM_S=!d.isEmpty();  
     const bool add_EM_F=!y.isEmpty();  
     rhs.requireWrite();  
 #pragma omp parallel  
     {  
         if (m_faceOffset[0] > -1) {  
             for (index_t k1_0=0; k1_0<2; k1_0++) { // colouring  
 #pragma omp for  
                 for (index_t k1=k1_0; k1<m_NE[1]; k1+=2) {  
                     vector<double> EM_S(4*4*numEq*numComp, 0);  
                     vector<double> EM_F(4*numEq, 0);  
                     ///////////////  
                     // process d //  
                     ///////////////  
                     if (add_EM_S) {  
                         const double* d_p=const_cast<escript::Data*>(&d)->getSampleDataRO(k1);  
                         for (index_t k=0; k<numEq; k++) {  
                             for (index_t m=0; m<numComp; m++) {  
                                 const double tmp0 = d_p[INDEX2(k, m, numEq)]*w1;  
                                 EM_S[INDEX4(k,m,0,0,numEq,numComp,4)]+=tmp0;  
                                 EM_S[INDEX4(k,m,2,0,numEq,numComp,4)]+=tmp0;  
                                 EM_S[INDEX4(k,m,0,2,numEq,numComp,4)]+=tmp0;  
                                 EM_S[INDEX4(k,m,2,2,numEq,numComp,4)]+=tmp0;  
                             }  
                         }  
                     }  
                     ///////////////  
                     // process y //  
                     ///////////////  
                     if (add_EM_F) {  
                         const double* y_p=const_cast<escript::Data*>(&y)->getSampleDataRO(k1);  
                         for (index_t k=0; k<numEq; k++) {  
                             EM_F[INDEX2(k,0,numEq)]+=2*w1*y_p[k];  
                             EM_F[INDEX2(k,2,numEq)]+=2*w1*y_p[k];  
                         }  
                     }  
                     const index_t firstNode=m_NN[0]*k1;  
                     addToMatrixAndRHS(mat, rhs, EM_S, EM_F, add_EM_S, add_EM_F,  
                             firstNode, numEq, numComp);  
                 }  
             } // end colouring  
         }  
   
         if (m_faceOffset[1] > -1) {  
             for (index_t k1_0=0; k1_0<2; k1_0++) { // colouring              
 #pragma omp for  
                 for (index_t k1=k1_0; k1<m_NE[1]; k1+=2) {  
                     vector<double> EM_S(4*4*numEq*numComp, 0);  
                     vector<double> EM_F(4*numEq, 0);  
                     const index_t e = m_faceOffset[1]+k1;  
                     ///////////////  
                     // process d //  
                     ///////////////  
                     if (add_EM_S) {  
                         const double* d_p=const_cast<escript::Data*>(&d)->getSampleDataRO(e);  
                         for (index_t k=0; k<numEq; k++) {  
                             for (index_t m=0; m<numComp; m++) {  
                                 const double tmp0 = d_p[INDEX2(k, m, numEq)]*w1;  
                                 EM_S[INDEX4(k,m,1,1,numEq,numComp,4)]+=tmp0;  
                                 EM_S[INDEX4(k,m,3,1,numEq,numComp,4)]+=tmp0;  
                                 EM_S[INDEX4(k,m,1,3,numEq,numComp,4)]+=tmp0;  
                                 EM_S[INDEX4(k,m,3,3,numEq,numComp,4)]+=tmp0;  
                             }  
                         }  
                     }  
                     ///////////////  
                     // process y //  
                     ///////////////  
                     if (add_EM_F) {  
                         const double* y_p=const_cast<escript::Data*>(&y)->getSampleDataRO(e);  
                         for (index_t k=0; k<numEq; k++) {  
                             EM_F[INDEX2(k,1,numEq)]+=2*w1*y_p[k];  
                             EM_F[INDEX2(k,3,numEq)]+=2*w1*y_p[k];  
                         }  
                     }  
                     const index_t firstNode=m_NN[0]*(k1+1)-2;  
                     addToMatrixAndRHS(mat, rhs, EM_S, EM_F, add_EM_S, add_EM_F,  
                             firstNode, numEq, numComp);  
                 }  
             } // end colouring  
         }  
   
         if (m_faceOffset[2] > -1) {  
             for (index_t k0_0=0; k0_0<2; k0_0++) { // colouring  
 #pragma omp for  
                 for (index_t k0 = k0_0; k0 < m_NE[0]; k0+=2) {  
                     vector<double> EM_S(4*4*numEq*numComp, 0);  
                     vector<double> EM_F(4*numEq, 0);  
                     const index_t e = m_faceOffset[2]+k0;  
                     ///////////////  
                     // process d //  
                     ///////////////  
                     if (add_EM_S) {  
                         const double* d_p=const_cast<escript::Data*>(&d)->getSampleDataRO(e);  
                         for (index_t k=0; k<numEq; k++) {  
                             for (index_t m=0; m<numComp; m++) {  
                                 const double tmp0 = d_p[INDEX2(k, m, numEq)]*w0;  
                                 EM_S[INDEX4(k,m,0,0,numEq,numComp,4)]+=tmp0;  
                                 EM_S[INDEX4(k,m,1,0,numEq,numComp,4)]+=tmp0;  
                                 EM_S[INDEX4(k,m,0,1,numEq,numComp,4)]+=tmp0;  
                                 EM_S[INDEX4(k,m,1,1,numEq,numComp,4)]+=tmp0;  
                             }  
                         }  
                     }  
                     ///////////////  
                     // process y //  
                     ///////////////  
                     if (add_EM_F) {  
                         const double* y_p=const_cast<escript::Data*>(&y)->getSampleDataRO(e);  
                         for (index_t k=0; k<numEq; k++) {  
                             EM_F[INDEX2(k,0,numEq)]+=2*w0*y_p[k];  
                             EM_F[INDEX2(k,1,numEq)]+=2*w0*y_p[k];  
                         }  
                     }  
                     const index_t firstNode=k0;  
                     addToMatrixAndRHS(mat, rhs, EM_S, EM_F, add_EM_S, add_EM_F,  
                             firstNode, numEq, numComp);  
                 }  
             } // end colouring  
         }  
   
         if (m_faceOffset[3] > -1) {  
             for (index_t k0_0=0; k0_0<2; k0_0++) { // colouring  
 #pragma omp for  
                 for (index_t k0 = k0_0; k0 < m_NE[0]; k0+=2) {  
                     vector<double> EM_S(4*4*numEq*numComp, 0);  
                     vector<double> EM_F(4*numEq, 0);  
                     const index_t e = m_faceOffset[3]+k0;  
                     ///////////////  
                     // process d //  
                     ///////////////  
                     if (add_EM_S) {  
                         const double* d_p=const_cast<escript::Data*>(&d)->getSampleDataRO(e);  
                         for (index_t k=0; k<numEq; k++) {  
                             for (index_t m=0; m<numComp; m++) {  
                                 const double tmp0 = d_p[INDEX2(k, m, numEq)]*w0;  
                                 EM_S[INDEX4(k,m,2,2,numEq,numComp,4)]+=tmp0;  
                                 EM_S[INDEX4(k,m,3,2,numEq,numComp,4)]+=tmp0;  
                                 EM_S[INDEX4(k,m,2,3,numEq,numComp,4)]+=tmp0;  
                                 EM_S[INDEX4(k,m,3,3,numEq,numComp,4)]+=tmp0;  
                             }  
                         }  
                     }  
                     ///////////////  
                     // process y //  
                     ///////////////  
                     if (add_EM_F) {  
                         const double* y_p=const_cast<escript::Data*>(&y)->getSampleDataRO(e);  
                         for (index_t k=0; k<numEq; k++) {  
                             EM_F[INDEX2(k,2,numEq)]+=2*w0*y_p[k];  
                             EM_F[INDEX2(k,3,numEq)]+=2*w0*y_p[k];  
                         }  
                     }  
                     const index_t firstNode=m_NN[0]*(m_NN[1]-2)+k0;  
                     addToMatrixAndRHS(mat, rhs, EM_S, EM_F, add_EM_S, add_EM_F,  
                             firstNode, numEq, numComp);  
                 }  
             } // end colouring  
         }  
     } // end of parallel section  
 }  
2013    
2014  namespace  namespace
2015  {  {
2016      // Calculates a guassian blur colvolution matrix for 2D      // Calculates a guassian blur colvolution matrix for 2D
2017        // See wiki article on the subject    
2018      double* get2DGauss(unsigned radius, double sigma)      double* get2DGauss(unsigned radius, double sigma)
2019      {      {
2020          double* arr=new double[(radius*2+1)*(radius*2+1)];          double* arr=new double[(radius*2+1)*(radius*2+1)];
2021          double common=M_1_PI*0.5*1/(sigma*sigma);          double common=M_1_PI*0.5*1/(sigma*sigma);
2022      double total=0;          double total=0;
2023      int r=static_cast<int>(radius);          int r=static_cast<int>(radius);
2024      for (int y=-r;y<=r;++y)          for (int y=-r;y<=r;++y)
2025      {          {
2026          for (int x=-r;x<=r;++x)              for (int x=-r;x<=r;++x)
2027          {                      {        
2028              arr[(x+r)+(y+r)*(r*2+1)]=common*exp(-(x*x+y*y)/(2*sigma*sigma));                  arr[(x+r)+(y+r)*(r*2+1)]=common*exp(-(x*x+y*y)/(2*sigma*sigma));
2029  // cout << (x+y*(r*2+1)) << " " << arr[(x+r)+(y+r)*(r*2+1)] << endl;                  total+=arr[(x+r)+(y+r)*(r*2+1)];
2030              total+=arr[(x+r)+(y+r)*(r*2+1)];              }
2031          }          }
2032      }          double invtotal=1/total;
2033      double invtotal=1/total;          for (size_t p=0;p<(radius*2+1)*(radius*2+1);++p)
2034  //cout << "Inv total is "    << invtotal << endl;          {
2035      for (size_t p=0;p<(radius*2+1)*(radius*2+1);++p)              arr[p]*=invtotal;
2036      {          }
2037          arr[p]*=invtotal;          return arr;
 //cout << p << "->" << arr[p] << endl;        
     }  
     return arr;  
2038      }      }
2039            
2040      // applies conv to source to get a point.      // applies conv to source to get a point.
# Line 3951  namespace Line 2042  namespace
2042      double Convolve2D(double* conv, double* source, size_t xp, size_t yp, unsigned radius, size_t width)      double Convolve2D(double* conv, double* source, size_t xp, size_t yp, unsigned radius, size_t width)
2043      {      {
2044          size_t bx=xp-radius, by=yp-radius;          size_t bx=xp-radius, by=yp-radius;
2045      size_t sbase=bx+by*width;          size_t sbase=bx+by*width;
2046      double result=0;          double result=0;
2047      for (int y=0;y<2*radius+1;++y)          for (int y=0;y<2*radius+1;++y)
2048      {              {        
2049          for (int x=0;x<2*radius+1;++x)              for (int x=0;x<2*radius+1;++x)
2050          {              {
2051              result+=conv[x+y*(2*radius+1)] * source[sbase + x+y*width];                  result+=conv[x+y*(2*radius+1)] * source[sbase + x+y*width];
2052          }              }
2053      }          }
2054          return result;                return result;      
2055      }      }
2056  }  }
2057    
2058    
2059    /* This is a wrapper for filtered (and non-filtered) randoms
2060     * For detailed doco see randomFillWorker
2061    */
2062    escript::Data Rectangle::randomFill(const escript::DataTypes::ShapeType& shape,
2063           const escript::FunctionSpace& what,
2064           long seed, const boost::python::tuple& filter) const
2065    {
2066        int numvals=escript::DataTypes::noValues(shape);
2067        if (len(filter)>0 && (numvals!=1))
2068        {
2069            throw RipleyException("Ripley only supports filters for scalar data.");
2070        }
2071        escript::Data res=randomFillWorker(shape, seed, filter);
2072        if (res.getFunctionSpace()!=what)
2073        {
2074            escript::Data r=escript::Data(res, what);
2075            return r;
2076        }
2077        return res;
2078    }
2079    
2080    
2081  /* This routine produces a Data object filled with smoothed random data.  /* This routine produces a Data object filled with smoothed random data.
2082  The dimensions of the rectangle being filled are internal[0] x internal[1] points.  The dimensions of the rectangle being filled are internal[0] x internal[1] points.
2083  A parameter radius  dives the size of the stencil used for the smoothing.  A parameter radius  gives the size of the stencil used for the smoothing.
2084  A point on the left hand edge for example, will still require `radius` extra points to the left  A point on the left hand edge for example, will still require `radius` extra points to the left
2085  in order to complete the stencil.  in order to complete the stencil.
2086    
# Line 4005  that ripley has. Line 2117  that ripley has.
2117    
2118    
2119  */  */
2120  escript::Data Rectangle::randomFill(long seed, const boost::python::tuple& filter) const  escript::Data Rectangle::randomFillWorker(const escript::DataTypes::ShapeType& shape,
2121           long seed, const boost::python::tuple& filter) const
2122  {  {
 //     if (m_mpiInfo->size!=1)  
 //     {  
 //         throw RipleyException("This type of random does not support MPI yet.");  
 //     }  
2123      if (m_numDim!=2)      if (m_numDim!=2)
2124      {      {
2125          throw RipleyException("Only 2D supported at this time.");          throw RipleyException("Only 2D supported at this time.");
2126      }      }
     if (len(filter)!=3) {  
         throw RipleyException("Unsupported random filter");  
     }  
     boost::python::extract<string> ex(filter[0]);  
     if (!ex.check() || (ex()!="gaussian"))  
     {  
         throw RipleyException("Unsupported random filter");  
     }  
     boost::python::extract<unsigned int> ex1(filter[1]);  
     if (!ex1.check())  
     {  
         throw RipleyException("Radius of gaussian filter must be a positive integer.");  
     }  
     unsigned int radius=ex1();  
 #ifdef ESYS_MPI      
2127    
2128      // Need to check to see that radius would not cause the overlap to cover      unsigned int radius=0;      // these are only used by gaussian
2129      // more than one cell (eg each rank holds 4 columns and the radius is 5).      double sigma=0.5;
     // Also need to take special care with narrow cells  
       
       
     // In fact it needs to be stricter than this, if a rank has neighbours on both sides, the borders can't overlap.  
       
     // basically, 2*inset<ext[i]  
2130            
2131        unsigned int numvals=escript::DataTypes::noValues(shape);
2132            
2133            
2134  #endif          if (len(filter)==0)
     double sigma=0.5;  
     boost::python::extract<double> ex2(filter[2]);  
     if (!ex2.check() || (sigma=ex2())<=0)  
2135      {      {
2136          throw RipleyException("Sigma must be a postive floating point number.");          // nothing special required here yet
2137      }          }    
2138        else if (len(filter)==3)
2139        {
2140            boost::python::extract<string> ex(filter[0]);
2141            if (!ex.check() || (ex()!="gaussian"))
2142            {
2143                throw RipleyException("Unsupported random filter");
2144            }
2145            boost::python::extract<unsigned int> ex1(filter[1]);
2146            if (!ex1.check())
2147            {
2148                throw RipleyException("Radius of gaussian filter must be a positive integer.");
2149            }
2150            radius=ex1();
2151            sigma=0.5;
2152            boost::python::extract<double> ex2(filter[2]);
2153            if (!ex2.check() || (sigma=ex2())<=0)
2154            {
2155                throw RipleyException("Sigma must be a postive floating point number.");
2156            }        
2157        }
2158        else
2159        {
2160            throw RipleyException("Unsupported random filter for Rectangle.");
2161        }
2162          
2163      
2164            
2165      size_t internal[2];      size_t internal[2];
2166      internal[0]=m_NE[0]+1;  // number of points in the internal region      internal[0]=m_NE[0]+1;      // number of points in the internal region
2167      internal[1]=m_NE[1]+1;  // that is, the ones we need smoothed versions of      internal[1]=m_NE[1]+1;      // that is, the ones we need smoothed versions of
2168      size_t ext[2];      size_t ext[2];
2169      ext[0]=internal[0]+2*radius;    // includes points we need as input      ext[0]=internal[0]+2*radius;        // includes points we need as input
2170      ext[1]=internal[1]+2*radius;    // for smoothing      ext[1]=internal[1]+2*radius;        // for smoothing
2171            
2172      // now we check to see if the radius is acceptable      // now we check to see if the radius is acceptable
2173      // That is, would not cross multiple ranks in MPI      // That is, would not cross multiple ranks in MPI
2174    
2175      if ((2*radius>=internal[0]) || (2*radius>=internal[1]))      if (2*radius>=internal[0]-4)
     {  
         throw RipleyException("Radius of gaussian filter must be less than half the width/height of a rank");  
     }  
       
       
       
       
     size_t inset=2*radius+1;  
     size_t Eheight=ext[1]-2*inset;  // how high the E (shared) region is  
     size_t Swidth=ext[0]-2*inset;  
   
       
 //     size_t numpoints[2];  
 //     numpoints[0]=m_ownNE[0]+1;  
 //     numpoints[1]=m_ownNE[1]+1;  
 //     size_t padding=max((unsigned)max((m_NE[0]-m_ownNE[0])/2, (m_NE[1]-m_ownNE[1])/2), radius);  
 //     size_t width=(numpoints[0]+2*padding);   // width of one row in points  
 //     size_t height=(numpoints[1]+2*padding);  // height of one row in points  
 //     size_t dsize=width * height; // size of padded source grid  
       
     double* src=new double[ext[0]*ext[1]];  
     esysUtils::randomFillArray(seed, src, ext[0]*ext[1]);    
       
       
     double zz=m_mpiInfo->rank;  
     for (uint i=0;i<ext[0]*ext[1];++i)  
2176      {      {
2177          src[i]=zz*1000+i;          throw RipleyException("Radius of gaussian filter is too large for X dimension of a rank");
2178      }      }
2179            if (2*radius>=internal[1]-4)
     for (uint j=0;j<ext[1];++j)  
2180      {      {
2181      ostringstream oss;          throw RipleyException("Radius of gaussian filter is too large for Y dimension of a rank");
         oss << ">:" << m_mpiInfo->rank << ": ";  
     for (uint i=0;i<ext[0];++i)  
     {  
         oss << src[i+j*ext[0]] << " ";  
     }  
     oss << endl;  
     cerr << oss.str();  
2182      }      }
2183      // Now we need to copy the regions owned by other ranks over here    
2184  //#ifdef ESYS_MPI          double* src=new double[ext[0]*ext[1]*numvals];
2185        esysUtils::randomFillArray(seed, src, ext[0]*ext[1]*numvals);  
2186            
2187    
2188    
2189      double* SWin=new double[inset*inset];  memset(SWin, 0, inset*inset*sizeof(double));  #ifdef ESYS_MPI
2190      double* SEin=new double[inset*inset];  memset(SEin, 0, inset*inset*sizeof(double));      if ((internal[0]<5) || (internal[1]<5))
     double* NWin=new double[inset*inset];  memset(NWin, 0, inset*inset*sizeof(double));  
     double* Sin=new double[inset*Swidth];  memset(Sin, 0, inset*Swidth*sizeof(double));  
     double* Win=new double[inset*Eheight];  memset(Win, 0, inset*Eheight*sizeof(double));  
   
     double* NEout=new double[inset*inset];  memset(NEout, 0, inset*inset*sizeof(double));  
     uint base=ext[0]-inset+(ext[1]-inset)*ext[0];  
     for (uint i=0;i<inset;++i)  
     {  
     memcpy(NEout+inset*i, src+base, inset*sizeof(double));  
     base+=ext[0];  
     }  
     double* NWout=new double[inset*inset];  memset(NWout, 0, inset*inset*sizeof(double));  
     base=(ext[1]-inset)*ext[0];  
     for (uint i=0;i<inset;++i)  
     {  
     memcpy(NWout+inset*i, src+base, inset*sizeof(double));  
     base+=ext[0];  
     }  
       
 // for (uint j=0;j<inset;++j)  
 // {  
 //     ostringstream oss;  
 //     oss << "NW: ";  
 //     for (uint i=0;i<inset;++i)  
 //     {  
 //         oss << NWout[i+j*inset] << " ";  
 //     }  
 //     oss << endl;  
 //     if (m_mpiInfo->rank==0)  
 //     {  
 //         cerr << oss.str();  
 //     }  
 // }  
       
       
     double* SEout=new double[inset*inset];  memset(SEout, 0, inset*inset*sizeof(double));  
     base=ext[0]-inset;  
     for (int i=0;i<inset;++i)  
     {  
     memcpy(SEout+inset*i, src+base, inset*sizeof(double));  
     base+=ext[0];  
     }  
     double* Nout=new double[inset*Swidth];  memset(Nout, 0, inset*Swidth*sizeof(double));  
     base=inset+(ext[1]-inset)*ext[0];  
     for (uint i=0;i<inset;++i)  
     {  
     memcpy(Nout+Swidth*i, src+base, Swidth*sizeof(double));  
     base+=ext[0];  
     }  
       
       
     
       
       
       
     double* Eout=new double[inset*Eheight];  memset(Eout, 0, inset*Eheight*sizeof(double));  
     base=ext[0]-inset+inset*ext[0];  
     for (uint i=0;i<Eheight;++i)  
2191      {      {
2192      memcpy(Eout+i*inset, src+base, inset*sizeof(double));          // since the dimensions are equal for all ranks, this exception
2193      base+=ext[0];          // will be thrown on all ranks
2194            throw RipleyException("Random Data in Ripley requries at least five elements per side per rank.");
2195      }      }
2196        dim_t X=m_mpiInfo->rank%m_NX[0];
2197        dim_t Y=m_mpiInfo->rank%(m_NX[0]*m_NX[1])/m_NX[0];
2198    #endif      
2199    
2200    /*    
2201        // if we wanted to test a repeating pattern
2202        size_t basex=0;
2203        size_t basey=0;
2204    #ifdef ESYS_MPI    
2205        basex=X*m_gNE[0]/m_NX[0];
2206        basey=Y*m_gNE[1]/m_NX[1];
2207    #endif
2208            
2209        esysUtils::patternFillArray2D(ext[0], ext[1], src, 4, basex, basey, numvals);
2210    */
2211    
2212            
2213    #ifdef ESYS_MPI  
2214            
2215  /* for (uint j=0;j<Eheight;++j)      BlockGrid2 grid(m_NX[0]-1, m_NX[1]-1);
2216  {      size_t inset=2*radius+2;    // Its +2 not +1 because a whole element is shared (and hence
2217      ostringstream oss;                  // there is an overlap of two points both of which need to have "radius" points on either side.
     oss << "E: ";  
     for (uint i=0;i<inset;++i)  
     {  
         oss << Eout[i+j*inset] << " ";  
     }  
     oss << endl;  
     if (m_mpiInfo->rank==0)  
     {  
         cerr << oss.str();  
     }  
 }   */    
       
2218            
2219        size_t xmidlen=ext[0]-2*inset;      // how wide is the x-dimension between the two insets
2220        size_t ymidlen=ext[1]-2*inset;      
2221            
2222  #ifdef ESYS_MPI          Block2 block(ext[0], ext[1], inset, xmidlen, ymidlen, numvals);
2223    
2224  deliberate error to test buildbot      MPI_Request reqs[40];               // a non-tight upper bound on how many we need
2225        MPI_Status stats[40];
   
     MPI_Request reqs[10];  
     MPI_Status stats[10];  
2226      short rused=0;      short rused=0;
2227            
2228      dim_t X=m_mpiInfo->rank%m_NX[0];      messvec incoms;
2229      dim_t Y=m_mpiInfo->rank/m_NX[0];      messvec outcoms;  
     dim_t row=m_NX[0];  
     bool swused=false;      // These vars will be true if data needs to be copied out of them  
     bool seused=false;  
     bool nwused=false;  
     bool sused=false;  
     bool wused=false;      
2230            
2231      // Tags:      grid.generateInNeighbours(X, Y, incoms);
2232      // 10 : EW transfer (middle)      grid.generateOutNeighbours(X, Y, outcoms);
     // 8 : NS transfer (middle)  
     // 7 : NE corner -> to N, E and NE  
     // 11 : NW corner to SW corner (only used on the left hand edge  
     // 12 : SE corner to SW corner (only used on the bottom edge  
2233            
2234        block.copyAllToBuffer(src);  
 //cerr << m_mpiInfo->rank << "[" << __LINE__ << "]: " << SWin << " " << SEin << " " << NWin << " "<< Sin << " "<< Win << " "<< NEout << " "<< NWout << " "  
 //<< SEout << " "  
 //<< Nout << " "  
 //<< Eout << " "  
 //<< endl;            
       
   
     int comserr=0;  
     if (Y!=0)   // not on bottom row,  
     {  
     if (X!=0)   // not on the left hand edge  
     {  
         // recv bottomleft from SW  
 // cerr << m_mpiInfo->rank << "[" << __LINE__ << "]: " << "Recv SW (7) from " << (X-1)+(Y-1)*row << endl;  
         comserr|=MPI_Irecv(SWin, inset*inset, MPI_DOUBLE, (X-1)+(Y-1)*row, 7, m_mpiInfo->comm, reqs+(rused++));  
         swused=true;  
 // cerr << m_mpiInfo->rank << "[" << __LINE__ << "]: " << "Recv W (10) from " <<  X-1+Y*row << endl;          
         comserr|=MPI_Irecv(Win, Eheight*inset, MPI_DOUBLE, X-1+Y*row, 10, m_mpiInfo->comm, reqs+(rused++));  
         wused=true;  
     }  
     else    // on the left hand edge  
     {  
 // cerr << m_mpiInfo->rank << "[" << __LINE__ << "]: " << "Recv SW (11) from " << (Y-1)*row  << endl;              
         comserr|=MPI_Irecv(SWin, inset*inset, MPI_DOUBLE, (Y-1)*row, 11, m_mpiInfo->comm, reqs+(rused++));  
         swused=true;  
     }  
 // cerr << m_mpiInfo->rank << "[" << __LINE__ << "]: " << "Recv S (8) from " << X+(Y-1)*row  << endl;        
     comserr|=MPI_Irecv(Sin, Swidth*inset, MPI_DOUBLE, X+(Y-1)*row, 8, m_mpiInfo->comm, reqs+(rused++));  
     sused=true;  
 // cerr << m_mpiInfo->rank << "[" << __LINE__ << "]: " << "Recv SE (7) from " << X+(Y-1)*row << endl;    
     comserr|=MPI_Irecv(SEin, inset*inset, MPI_DOUBLE, X+(Y-1)*row, 7, m_mpiInfo->comm, reqs+(rused++));  
     seused=true;  
   
         
     }  
     else        // on the bottom row  
     {  
     if (X!=0)  
     {  
 // cerr << m_mpiInfo->rank << "[" << __LINE__ << "]: " << "Recv W (10) from " << X-1+Y*row << endl;    
         comserr|=MPI_Irecv(Win, Eheight*inset, MPI_DOUBLE, X-1+Y*row, 10, m_mpiInfo->comm, reqs+(rused++));  
         wused=true;  
 // cerr << m_mpiInfo->rank << "[" << __LINE__ << "]: " << "Recv NW (7) from " << X-1+Y*row << endl;      
 //      comserr|=MPI_Irecv(NWin, inset*inset, MPI_DOUBLE, X-1+Y*row, 7, m_mpiInfo->comm, reqs+(rused++));  
 //      nwused=true;  
         // Need to use tag 12 here because SW is coming from the East not South East  
         comserr|=MPI_Irecv(SWin, inset*inset, MPI_DOUBLE, X-1+Y*row, 12, m_mpiInfo->comm, reqs+(rused++));  
         swused=true;  
     }  
     if (X!=(row-1))  
     {  
 // cerr << m_mpiInfo->rank << "[" << __LINE__ << "]: " << "Send SE (12) to " <<  X+1+(Y)*row << endl;          
         comserr|=MPI_Isend(SEout, inset*inset, MPI_DOUBLE, X+1+(Y)*row, 12, m_mpiInfo->comm, reqs+(rused++));    
     }  
     }  
2235            
2236      if (Y!=(m_NX[1]-1)) // not on the top row      int comserr=0;    
2237      {      for (size_t i=0;i<incoms.size();++i)
 // cerr << m_mpiInfo->rank << "[" << __LINE__ << "]: " << "Send N (8) to " << X+(Y+1)*row  << endl;  
     comserr|=MPI_Isend(Nout, inset*Swidth, MPI_DOUBLE, X+(Y+1)*row, 8, m_mpiInfo->comm, reqs+(rused++));  
 // cerr << m_mpiInfo->rank << "[" << __LINE__ << "]: " << "Send NE (7) to " <<  X+(Y+1)*row << endl;  
     comserr|=MPI_Isend(NEout, inset*inset, MPI_DOUBLE, X+(Y+1)*row, 7, m_mpiInfo->comm, reqs+(rused++));  
     if (X!=(row-1)) // not on right hand edge  
     {  
 // cerr << m_mpiInfo->rank << "[" << __LINE__ << "]: " << "Send NE (7) to " <<  X+1+(Y+1)*row << endl;              
         comserr|=MPI_Isend(NEout, inset*inset, MPI_DOUBLE, X+1+(Y+1)*row, 7, m_mpiInfo->comm, reqs+(rused++));  
     }  
     if (X==0)   // left hand edge  
     {  
 // cerr << m_mpiInfo->rank << "[" << __LINE__ << "]: " << "Send NW (11) to " << (Y+1)*row << endl;      
         comserr|=MPI_Isend(NWout, inset*inset, MPI_DOUBLE, (Y+1)*row,11, m_mpiInfo->comm, reqs+(rused++));        
     }    
     }  
     if (X!=(row-1)) // not on right hand edge  
2238      {      {
2239  // cerr << m_mpiInfo->rank << "[" << __LINE__ << "]: " << "Send NE (7) to " << X+1+(Y)*row << endl;                message& m=incoms[i];
2240      comserr|=MPI_Isend(NEout, inset*inset, MPI_DOUBLE, X+1+(Y)*row, 7, m_mpiInfo->comm, reqs+(rused++));          comserr|=MPI_Irecv(block.getInBuffer(m.destbuffid), block.getBuffSize(m.destbuffid) , MPI_DOUBLE, m.sourceID, m.tag, m_mpiInfo->comm, reqs+(rused++));
2241  // cerr << m_mpiInfo->rank << "[" << __LINE__ << "]: " << "Send E (10) to " << X+1+(Y)*row << endl;              block.setUsed(m.destbuffid);
     comserr|=MPI_Isend(Eout, Eheight*inset, MPI_DOUBLE, X+1+(Y)*row, 10, m_mpiInfo->comm, reqs+(rused++));  
2242      }      }
2243      if (X!=0)  
2244        for (size_t i=0;i<outcoms.size();++i)
2245      {      {
2246  // cerr << m_mpiInfo->rank << "[" << __LINE__ << "]: " << "Recv NW (7) from " << (X-1)+Y*row << endl;            message& m=outcoms[i];
2247                  comserr|=MPI_Isend(block.getOutBuffer(m.srcbuffid), block.getBuffSize(m.srcbuffid) , MPI_DOUBLE, m.destID, m.tag, m_mpiInfo->comm, reqs+(rused++));
2248      comserr|=MPI_Irecv(NWin, inset*inset, MPI_DOUBLE, (X-1)+Y*row, 7, m_mpiInfo->comm, reqs+(rused++));      }    
     nwused=true;  
         
         
     }  
2249            
2250      if (!comserr)      if (!comserr)
2251      {      {    
 //cerr << rused << ": " <<   m_mpiInfo->rank << "[" << __LINE__ << "]\n";          
2252          comserr=MPI_Waitall(rused, reqs, stats);          comserr=MPI_Waitall(rused, reqs, stats);
2253      }      }
2254    
2255      if (comserr)      if (comserr)
2256      {      {
2257      // Yes this is throwing an exception as a result of an MPI error.          // Yes this is throwing an exception as a result of an MPI error.
2258      // and no we don't inform the other ranks that we are doing this.          // and no we don't inform the other ranks that we are doing this.
2259      // however, we have no reason to believe coms work at this point anyway          // however, we have no reason to believe coms work at this point anyway
2260          throw RipleyException("Error in coms for randomFill");                throw RipleyException("Error in coms for randomFill");      
2261      }      }
2262            
2263        block.copyUsedFromBuffer(src);    
     // Need to copy the values back from the buffers  
     // Copy from SW  
       
     if (swused)  
     {  
     base=0;  
     for (uint i=0;i<inset;++i)  
     {  
         memcpy(src+base, SWin+i*inset, inset*sizeof(double));  
         base+=ext[0];  
     }  
     }  
     if (seused)  
     {  
         base=ext[0]-inset;  
     for (uint i=0;i<inset;++i)  
     {  
         memcpy(src+base, SEin+i*inset, inset*sizeof(double));  
         base+=ext[0];  
     }  
     }  
     if (nwused)  
     {  
         base=(ext[1]-inset)*ext[0];  
     for (uint i=0;i<inset;++i)  
     {  
         memcpy(src+base, NWin+i*inset, inset*sizeof(double));  
         base+=ext[0];  
     }  
     }  
     if (sused)  
     {  
        base=inset;  
        for (uint i=0;i<inset;++i)  
        {  
        memcpy(src+base, Sin+i*Swidth, Swidth*sizeof(double));  
        base+=ext[0];  
        }  
     }  
     if (wused)  
     {  
     base=inset*ext[0];  
     for (uint i=0;i<Eheight;++i)  
     {  
         memcpy(src+base, Win+i*inset, inset*sizeof(double));  
         base+=ext[0];  
     }  
         
     }  
     for (uint j=0;j<ext[1];++j)  
     {  
     ostringstream oss;  
         oss << "<;" << m_mpiInfo->rank << "; ";  
     for (uint i=0;i<ext[0];++i)  
     {  
         oss << src[i+j*ext[0]] << " ";  
     }  
     oss << endl;  
     cerr << oss.str();  
     }      
       
       
     delete[] SWin;  
     delete[] SEin;  
     delete[] NWin;  
     delete[] Sin;  
     delete[] Win;  
   
     delete[] NEout;  
     delete[] NWout;  
     delete[] SEout;  
     delete[] Nout;  
     delete[] Eout;  
       
       
       
2264            
2265  #endif      #endif    
2266      // Lets call that done for now      
2267      escript::FunctionSpace fs(getPtr(), getContinuousFunctionCode());      if (radius==0 || numvals>1) // the truth of either should imply the truth of the other but let's be safe
     escript::Data resdat(0, escript::DataTypes::scalarShape, fs , true);  
     // don't need to check for exwrite because we just made it  
     escript::DataVector& dv=resdat.getExpandedVectorReference();  
     double* convolution=get2DGauss(radius, sigma);  
     for (size_t y=0;y<(m_ownNE[1]+1);++y)      
2268      {      {
2269          for (size_t x=0;x<(m_ownNE[0]+1);++x)        
2270      {              escript::FunctionSpace fs(getPtr(), getContinuousFunctionCode());
2271          dv[x+y*(m_ownNE[0]+1)]=Convolve2D(convolution, src, x+radius, y+radius, radius, ext[0]);          escript::Data resdat(0, shape, fs , true);
2272      }          // don't need to check for exwrite because we just made it
2273            escript::DataVector& dv=resdat.getExpandedVectorReference();
2274            
2275            
2276            // now we need to copy values over
2277            for (size_t y=0;y<(internal[1]);++y)    
2278            {
2279                for (size_t x=0;x<(internal[0]);++x)
2280                {
2281                    for (unsigned int i=0;i<numvals;++i)
2282                    {
2283                        dv[i+(x+y*(internal[0]))*numvals]=src[i+(x+y*ext[0])*numvals];
2284                    }
2285                }
2286            }
2287            delete[] src;
2288            return resdat;      
2289        }
2290        else                // filter enabled      
2291        {    
2292            escript::FunctionSpace fs(getPtr(), getContinuousFunctionCode());
2293            escript::Data resdat(0, escript::DataTypes::scalarShape, fs , true);
2294            // don't need to check for exwrite because we just made it
2295            escript::DataVector& dv=resdat.getExpandedVectorReference();
2296            double* convolution=get2DGauss(radius, sigma);
2297            for (size_t y=0;y<(internal[1]);++y)    
2298            {
2299                for (size_t x=0;x<(internal[0]);++x)
2300                {    
2301                    dv[x+y*(internal[0])]=Convolve2D(convolution, src, x+radius, y+radius, radius, ext[0]);
2302                    
2303                }
2304            }
2305            delete[] convolution;
2306            delete[] src;
2307            return resdat;
2308        }
2309    }
2310    
2311    int Rectangle::findNode(const double *coords) const {
2312        const int NOT_MINE = -1;
2313        //is the found element even owned by this rank
2314        // (inside owned or shared elements but will map to an owned element)
2315        for (int dim = 0; dim < m_numDim; dim++) {
2316            double min = m_origin[dim] + m_offset[dim]* m_dx[dim]
2317                    - m_dx[dim]/2.; //allows for point outside mapping onto node
2318            double max = m_origin[dim] + (m_offset[dim] + m_NE[dim])*m_dx[dim]
2319                    + m_dx[dim]/2.;
2320            if (min > coords[dim] || max < coords[dim]) {
2321                return NOT_MINE;
2322            }
2323        }
2324        // get distance from origin
2325        double x = coords[0] - m_origin[0];
2326        double y = coords[1] - m_origin[1];
2327        // distance in elements
2328        int ex = (int) floor(x / m_dx[0]);
2329        int ey = (int) floor(y / m_dx[1]);
2330        // set the min distance high enough to be outside the element plus a bit
2331        int closest = NOT_MINE;
2332        double minDist = 1;
2333        for (int dim = 0; dim < m_numDim; dim++) {
2334            minDist += m_dx[dim]*m_dx[dim];
2335        }
2336        //find the closest node
2337        for (int dx = 0; dx < 1; dx++) {
2338            double xdist = (x - (ex + dx)*m_dx[0]);
2339            for (int dy = 0; dy < 1; dy++) {
2340                double ydist = (y - (ey + dy)*m_dx[1]);
2341                double total = xdist*xdist + ydist*ydist;
2342                if (total < minDist) {
2343                    closest = INDEX2(ex+dx-m_offset[0], ey+dy-m_offset[1], m_NE[0] + 1);
2344                    minDist = total;
2345                }
2346            }
2347        }
2348        //if this happens, we've let a dirac point slip through, which is awful
2349        if (closest == NOT_MINE) {
2350            throw RipleyException("Unable to map appropriate dirac point to a node,"
2351                    " implementation problem in Rectangle::findNode()");
2352        }
2353        return closest;
2354    }
2355    
2356    void Rectangle::setAssembler(std::string type, std::map<std::string,
2357            escript::Data> constants) {
2358        if (type.compare("WaveAssembler") == 0) {
2359            if (assembler_type != WAVE_ASSEMBLER && assembler_type != DEFAULT_ASSEMBLER)
2360                throw RipleyException("Domain already using a different custom assembler");
2361            assembler_type = WAVE_ASSEMBLER;
2362            delete assembler;
2363            assembler = new WaveAssembler2D(this, m_dx, m_NX, m_NE, m_NN, constants);
2364        } else if (type.compare("LameAssembler") == 0) {
2365            if (assembler_type != LAME_ASSEMBLER && assembler_type != DEFAULT_ASSEMBLER)
2366                throw RipleyException("Domain already using a different custom assembler");
2367            assembler_type = LAME_ASSEMBLER;
2368            delete assembler;
2369            assembler = new LameAssembler2D(this, m_dx, m_NX, m_NE, m_NN);
2370        } else { //else ifs would go before this for other types
2371            throw RipleyException("Ripley::Rectangle does not support the"
2372                                    " requested assembler");
2373      }      }
     delete[] convolution;  
     return resdat;  
2374  }  }
2375    
   
   
   
2376  } // end of namespace ripley  } // end of namespace ripley
2377    

Legend:
Removed from v.4583  
changed lines
  Added in v.4765

  ViewVC Help
Powered by ViewVC 1.1.26