/** * Checks {@link AvroTypeConverter#convertToAvro(String, String)} returns Float avro schema in case TalendType.FLOAT Talend * type is * passed */ @Test public void testConvertToAvroFloat() { Schema expectedSchema = AvroUtils._float(); assertEquals(expectedSchema, AvroTypeConverter.convertToAvro(TalendType.FLOAT, null)); }
/** * Checks {@link TalendType#convertFromAvro(Schema)} converts float avro type to "id_Float" di type */ @Test public void testConvertFromAvroFloat() { TalendType expectedType = TalendType.FLOAT; Schema fieldSchema = AvroUtils._float(); assertEquals(expectedType, TalendType.convertFromAvro(fieldSchema)); }
/** * Infers an Avro schema for the given DataPrep Field. This can be an expensive operation so the schema should be * cached where possible. The return type will be the Avro Schema that can contain the field data without loss of * precision. * * @param field the Field to analyse. * @return the schema for data that the field describes. */ private Schema inferSchemaField(DataPrepField field) { Schema base; switch (field.getType()) { case "boolean": base = AvroUtils._boolean(); break; case "double": base = AvroUtils._double(); break; case "integer": base = AvroUtils._int(); break; case "float": base = AvroUtils._float(); break; default: base = AvroUtils._string(); break; } // TODO add handling for numeric, any and date. return base; }
if (AvroUtils.isSameType(fieldType, AvroUtils._int())) { return AvroUtils._long(); } else if (AvroUtils.isSameType(fieldType, AvroUtils._float())) { return AvroUtils._double();
if (AvroUtils.isSameType(fieldType, AvroUtils._int())) { return AvroUtils._long(); } else if (AvroUtils.isSameType(fieldType, AvroUtils._float())) { return AvroUtils._double();
return AvroUtils._double(); case FLOAT: return AvroUtils._float(); case BYTE: return AvroUtils._byte();
return AvroUtils._double(); case FLOAT: return AvroUtils._float(); case BYTE: return AvroUtils._byte();
|| AvroUtils.isSameType(inputFieldSchema, AvroUtils._long())) { return new SumLongAccumulatorFn(); } else if (AvroUtils.isSameType(inputFieldSchema, AvroUtils._float()) || AvroUtils.isSameType(inputFieldSchema, AvroUtils._double())) { return new SumDoubleAccumulatorFn(); } else if (AvroUtils.isSameType(inputFieldSchema, AvroUtils._long())) { return new MinLongAccumulatorFn(); } else if (AvroUtils.isSameType(inputFieldSchema, AvroUtils._float())) { return new MinFloatAccumulatorFn(); } else if (AvroUtils.isSameType(inputFieldSchema, AvroUtils._double())) { } else if (AvroUtils.isSameType(inputFieldSchema, AvroUtils._long())) { return new MaxLongAccumulatorFn(); } else if (AvroUtils.isSameType(inputFieldSchema, AvroUtils._float())) { return new MaxFloatAccumulatorFn(); } else if (AvroUtils.isSameType(inputFieldSchema, AvroUtils._double())) {
|| AvroUtils.isSameType(inputFieldSchema, AvroUtils._long())) { return new SumLongAccumulatorFn(); } else if (AvroUtils.isSameType(inputFieldSchema, AvroUtils._float()) || AvroUtils.isSameType(inputFieldSchema, AvroUtils._double())) { return new SumDoubleAccumulatorFn(); } else if (AvroUtils.isSameType(inputFieldSchema, AvroUtils._long())) { return new MinLongAccumulatorFn(); } else if (AvroUtils.isSameType(inputFieldSchema, AvroUtils._float())) { return new MinFloatAccumulatorFn(); } else if (AvroUtils.isSameType(inputFieldSchema, AvroUtils._double())) { } else if (AvroUtils.isSameType(inputFieldSchema, AvroUtils._long())) { return new MaxLongAccumulatorFn(); } else if (AvroUtils.isSameType(inputFieldSchema, AvroUtils._float())) { return new MaxFloatAccumulatorFn(); } else if (AvroUtils.isSameType(inputFieldSchema, AvroUtils._double())) {
} else if (AvroUtils.isSameType(fieldSchema, AvroUtils._double())) { return new StringToDoubleConverter(f); } else if (AvroUtils.isSameType(fieldSchema, AvroUtils._float())) { return new StringToFloatConverter(f); } else if (AvroUtils.isSameType(fieldSchema, AvroUtils._int())) {
base = AvroUtils._long(); } else if (fieldType == Float.TYPE || fieldType == Float.class) { base = AvroUtils._float(); } else if (fieldType == Double.TYPE || fieldType == Double.class) { base = AvroUtils._double();
} else if (AvroUtils.isSameType(fieldSchema, AvroUtils._double())) { return new StringToDoubleConverter(f); } else if (AvroUtils.isSameType(fieldSchema, AvroUtils._float())) { return new StringToFloatConverter(f); } else if (AvroUtils.isSameType(fieldSchema, AvroUtils._int())) {
} else if (AvroUtils.isSameType(basicSchema, AvroUtils._double())) { return Types.DOUBLE; } else if (AvroUtils.isSameType(basicSchema, AvroUtils._float())) { return Types.FLOAT; } else if (AvroUtils.isSameType(basicSchema, AvroUtils._boolean())) {
public AvroConverter<String, ?> getConverter(Schema.Field f, FileDelimitedProperties properties) { Schema fieldSchema = AvroUtils.unwrapIfNullable(f.schema()); if (AvroUtils.isSameType(fieldSchema, AvroUtils._boolean())) { return new BooleanConverter(f); } else if (AvroUtils.isSameType(fieldSchema, AvroUtils._decimal())) { return new DecimalConverter(f, properties); } else if (AvroUtils.isSameType(fieldSchema, AvroUtils._double())) { return new DoubleConverter(f, properties); } else if (AvroUtils.isSameType(fieldSchema, AvroUtils._float())) { return new FloatConverter(f, properties); } else if (AvroUtils.isSameType(fieldSchema, AvroUtils._int())) { return new IntegerConverter(f, properties); } else if (AvroUtils.isSameType(fieldSchema, AvroUtils._date())) { return new DateConverter(f, properties); } else if (AvroUtils.isSameType(fieldSchema, AvroUtils._long())) { return new LongConverter(f, properties); } else if (AvroUtils.isSameType(fieldSchema, AvroUtils._bytes())) { return new BytesConverter(f, properties); } else if (AvroUtils.isSameType(fieldSchema, AvroUtils._byte())) { return new ByteConverter(f, properties); } else if (AvroUtils.isSameType(fieldSchema, AvroUtils._short())) { return new ShortConverter(f, properties); } else if (AvroUtils.isSameType(fieldSchema, AvroUtils._character())) { return new CharacterConverter(f); } else if (AvroUtils.isSameType(fieldSchema, AvroUtils._string())) { return super.getConverter(String.class); } throw new UnsupportedOperationException("The type " + fieldSchema.getType() + " is not supported."); //$NON-NLS-1$ //$NON-NLS-2$ }
} else if (AvroUtils.isSameType(basicSchema, AvroUtils._double())) { return Types.DOUBLE; } else if (AvroUtils.isSameType(basicSchema, AvroUtils._float())) { return Types.FLOAT; } else if (AvroUtils.isSameType(basicSchema, AvroUtils._boolean())) {
} else if (AvroUtils.isSameType(basicSchema, AvroUtils._double())) { writer = new DoubleTypeWriter(statement, statementIndex, inputValueLocation); } else if (AvroUtils.isSameType(basicSchema, AvroUtils._float())) { writer = new FloatTypeWriter(statement, statementIndex, inputValueLocation); } else if (AvroUtils.isSameType(basicSchema, AvroUtils._boolean())) {
} else if (AvroUtils.isSameType(basicSchema, AvroUtils._double())) { writer = new DoubleTypeWriter(statement, statementIndex, inputValueLocation); } else if (AvroUtils.isSameType(basicSchema, AvroUtils._float())) { writer = new FloatTypeWriter(statement, statementIndex, inputValueLocation); } else if (AvroUtils.isSameType(basicSchema, AvroUtils._boolean())) {
return BigQueryType.INTEGER.toString(); if (AvroUtils.isSameType(schema, AvroUtils._float()) // || AvroUtils.isSameType(schema, AvroUtils._double())) { return BigQueryType.FLOAT.toString();
public static DTEConverter createConverter(final Field f, final String mappedName) { Schema basicSchema = AvroUtils.unwrapIfNullable(f.schema()); AzureStorageDTEConverters converters = new AzureStorageDTEConverters(); DTEConverter dteConverter; if (AvroUtils.isSameType(basicSchema, AvroUtils._string()) || AvroUtils.isSameType(basicSchema, AvroUtils._character())) { dteConverter = converters.new StringDTEConverter(f, mappedName); } else if (AvroUtils.isSameType(basicSchema, AvroUtils._int()) || AvroUtils.isSameType(basicSchema, AvroUtils._short()) || AvroUtils.isSameType(basicSchema, AvroUtils._byte())) { dteConverter = converters.new IntegerDTEConverter(mappedName); } else if (AvroUtils.isSameType(basicSchema, AvroUtils._date())) { dteConverter = converters.new DateDTEConverter(f, mappedName); } else if (AvroUtils.isSameType(basicSchema, AvroUtils._decimal()) || AvroUtils.isSameType(basicSchema, AvroUtils._double()) || AvroUtils.isSameType(basicSchema, AvroUtils._float())) { dteConverter = converters.new DoubleDTEConverter(mappedName); } else if (AvroUtils.isSameType(basicSchema, AvroUtils._long())) { dteConverter = converters.new LongDTEConverter(f, mappedName); } else if (AvroUtils.isSameType(basicSchema, AvroUtils._boolean())) { dteConverter = converters.new BooleanDTEConverter(mappedName); } else if (AvroUtils.isSameType(basicSchema, AvroUtils._bytes())) { dteConverter = converters.new ByteArrayDTEConverter(mappedName); } else { dteConverter = converters.new StringDTEConverter(f, mappedName); } return dteConverter; }
public static DTEConverter createConverter(final Field f, final String mappedName) { Schema basicSchema = AvroUtils.unwrapIfNullable(f.schema()); AzureStorageDTEConverters converters = new AzureStorageDTEConverters(); DTEConverter dteConverter; if (AvroUtils.isSameType(basicSchema, AvroUtils._string()) || AvroUtils.isSameType(basicSchema, AvroUtils._character())) { dteConverter = converters.new StringDTEConverter(f, mappedName); } else if (AvroUtils.isSameType(basicSchema, AvroUtils._int()) || AvroUtils.isSameType(basicSchema, AvroUtils._short()) || AvroUtils.isSameType(basicSchema, AvroUtils._byte())) { dteConverter = converters.new IntegerDTEConverter(mappedName); } else if (AvroUtils.isSameType(basicSchema, AvroUtils._date())) { dteConverter = converters.new DateDTEConverter(f, mappedName); } else if (AvroUtils.isSameType(basicSchema, AvroUtils._decimal()) || AvroUtils.isSameType(basicSchema, AvroUtils._double()) || AvroUtils.isSameType(basicSchema, AvroUtils._float())) { dteConverter = converters.new DoubleDTEConverter(mappedName); } else if (AvroUtils.isSameType(basicSchema, AvroUtils._long())) { dteConverter = converters.new LongDTEConverter(f, mappedName); } else if (AvroUtils.isSameType(basicSchema, AvroUtils._boolean())) { dteConverter = converters.new BooleanDTEConverter(mappedName); } else if (AvroUtils.isSameType(basicSchema, AvroUtils._bytes())) { dteConverter = converters.new ByteArrayDTEConverter(mappedName); } else { dteConverter = converters.new StringDTEConverter(f, mappedName); } return dteConverter; }