hadoop1版本中提供了获取文件名的功能，就是在map阶段可以获取每一行记录属于哪个文件，可以得到这个文件名，代码如下：

Java代码 

1. //获取文件名  
2. InputSplit inputSplit=(InputSplit)context.getInputSplit();  
3. String filename=((FileSplit)inputSplit).getPath().getName();  

Java代码 

1. object Mytest3 {  
2.   def main(args: Array[String]): Unit = {  
3.     val conf=new SparkConf  
4.     conf.setMaster("local[2]").setAppName("mytest")  
5.     System.setProperty("hadoop.home.dir","E:\\hadoop2\\hadoop-2.6.0")  
6.     val sc=new SparkContext(conf)  
7.           
8.     val fileRDD=sc.hadoopFile[LongWritable, Text, TextInputFormat]("C:\\sparksplit\\*")  
9.       
10.     val hadoopRdd = fileRDD.asInstanceOf[HadoopRDD[LongWritable, Text]]  
11.       
12.     val fileAndLine = hadoopRdd.mapPartitionsWithInputSplit((inputSplit:InputSplit,iterator:Iterator[(LongWritable, Text)]) =>{  
13.       val file = inputSplit.asInstanceOf[FileSplit]  
14.       iterator.map(x=>{file.getPath.toString()+"\t"+x._2})  
15.     }   
16.     )  
17.       
18.     fileAndLine.foreach(println)  
19.   }  
20. }  

Java代码 

1. import cn.wjpt.AuditLogManager  
2. import org.apache.spark.SparkContext  
3. import org.apache.spark.SparkContext._  
4. import org.apache.spark.SparkConf  
5. import org.apache.hadoop.mapred.lib.MultipleTextOutputFormat  
6. import org.apache.hadoop.io.Text  
7. import org.apache.hadoop.io.LongWritable  
8. import org.apache.spark.rdd.HadoopRDD  
9. import org.apache.hadoop.mapred.InputSplit  
10. import org.apache.hadoop.mapred.FileSplit  
11. import org.apache.hadoop.mapred.TextInputFormat